WO2020178916A1 - 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム - Google Patents

環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム Download PDF

Info

Publication number
WO2020178916A1
WO2020178916A1 PCT/JP2019/008193 JP2019008193W WO2020178916A1 WO 2020178916 A1 WO2020178916 A1 WO 2020178916A1 JP 2019008193 W JP2019008193 W JP 2019008193W WO 2020178916 A1 WO2020178916 A1 WO 2020178916A1
Authority
WO
WIPO (PCT)
Prior art keywords
environment map
tracker
common
user
environment
Prior art date
Application number
PCT/JP2019/008193
Other languages
English (en)
French (fr)
Inventor
良徳 大橋
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2019/008193 priority Critical patent/WO2020178916A1/ja
Priority to JP2021503266A priority patent/JP7218426B2/ja
Priority to US17/431,520 priority patent/US11906322B2/en
Publication of WO2020178916A1 publication Critical patent/WO2020178916A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Definitions

  • the present invention relates to an environmental map management device, an environmental map management system, an environmental map management method and a program.
  • the SLAM Simultaneous Localization and Mapping
  • an environmental map is generated based on the sensing data acquired by the tracker, such as an image taken by the camera provided by the tracker.
  • the environment map generated in this way is used for various processes such as VR (Virtual Reality) display and AR (Augmented Reality) display.
  • the inventor is considering creating a common environment map that can be used by multiple users by allowing multiple users, each wearing a tracker, to update the environment map. If there is a common environment map, it is convenient because it will be possible to display point clouds and 3D meshes added to the common environment map by other users in estimating the global position or orientation of the tracker, VR display, AR display, etc. is there.
  • the environment information of the private space such as the user's home is added to the common environment map and used by other users.
  • the present invention has been made in view of the above problems, and one of its objects is an environment map capable of generating a common environment map in consideration of privacy while securing a space covered by an environment map available to a user.
  • An object is to provide a management device, an environmental map management system, an environmental map management method, and a program.
  • an environment map management device includes an individual environment map access unit that accesses an individual environment map that can be used by a focused user, and a common environment that can be used by multiple users including the focused user.
  • a common environment map access unit that accesses the environment map, an addition unit that adds environment information generated based on the sensing data acquired by the tracker used by the user of interest to the individual environment map, and a privacy attribute of the environment information.
  • an additional control unit that controls whether or not to add the environment information to the common environment map.
  • a determination unit that determines a privacy attribute of the environmental information associated with the position of the tracker based on the sensing data, wherein the additional control unit corresponds to the position of the tracker. Depending on the privacy attribute of the environmental information attached, it is controlled whether or not to add the environmental information generated based on the sensing data acquired at the position to the common environment map.
  • the determination unit determines the privacy attribute of the environment information associated with the position of the tracker. judge.
  • the determination unit based on the determination result of whether a wall exists between the position where the environment information is expressed in the common environment map and the position of the tracker, You may determine the privacy attribute of the said environmental information matched with a position.
  • the determination unit may further determine the privacy attribute of the environment information associated with the position of the tracker, based on the determination result of whether or not a ceiling exists at the position of the tracker.
  • the environment map management system includes an individual environment map management device and a common environment map management device, and the individual environment map management device is used by a user of interest who uses the individual environment map management device.
  • an individual environment map access unit that accesses a possible individual environment map
  • a common environment map access unit that accesses a common environment map that can be used by a plurality of users including the user of interest, and a tracker used by the user of interest.
  • An environmental information generation unit that generates environmental information based on sensing data, an individual addition unit that adds the environmental information to the individual environment map, and the environment information according to the privacy attribute of the environment information, the common environment map.
  • a transmission control unit for controlling whether or not to transmit to the management device, wherein the common environment map management device receives the environment information transmitted from the individual environment map management device;
  • a common addition unit that adds the environment information received by the environment information reception unit to the common environment map.
  • the plurality of individual environment map management devices are included, and the environment information receiving unit may receive the environment information transmitted from each of the plurality of individual environment map management devices.
  • the environment map management method includes a step of accessing an individual environment map that can be used by a user of interest, a step of accessing a common environment map that can be used by a plurality of users including the user of interest, Adding environmental information generated based on sensing data acquired by a tracker used by the user to the individual environmental map, and adding the environmental information to the common environmental map according to a privacy attribute of the environmental information. Controlling whether or not.
  • the program according to the present invention includes a procedure for accessing an individual environment map that can be used by a user of interest, a procedure of accessing a common environment map that can be used by a plurality of users including the user of interest, and a tracker used by the user of interest. Controls whether to add the environment information to the common environment map according to the procedure of adding the environment information generated based on the sensing data acquired by the individual environment map to the individual environment map and the privacy attribute of the environment information. Let the computer perform the procedure.
  • FIG. 1 is a configuration diagram showing an example of an environment map management system 1 according to an embodiment of the present invention.
  • the environment map management system 1 according to the present embodiment includes a plurality of user systems 10.
  • the user system 10 according to the present embodiment includes the user server 12 and the tracker 14.
  • FIG. 1 illustrates two user systems 10a and 10b.
  • the user system 10a includes a user server 12a and a tracker 14a.
  • the user system 10b includes a user server 12b and a tracker 14b.
  • the common server 16 is also included in the environment map management system 1 according to the present embodiment.
  • the user server 12, tracker 14, and common server 16 are connected to a computer network 18 such as the Internet. Then, in the present embodiment, the user server 12 and the common server 16 can communicate with each other. Further, in the present embodiment, the user server 12 included in the user system 10 and the tracker 14 included in the user system 10 can communicate with each other.
  • the user server 12 is, for example, a server computer used by a user of the environment map management system 1.
  • the user server 12 does not have to be a server operated by the user, and may be, for example, a cloud server operated by a business operator who operates a cloud service.
  • the user server 12 includes a processor 20, a storage unit 22, and a communication unit 24.
  • the processor 20 is, for example, a program control device such as a CPU that operates according to a program installed in the user server 12.
  • the storage unit 22 is, for example, a storage element such as a ROM or RAM or a hard disk drive.
  • the storage unit 22 stores programs executed by the processor 20 and the like.
  • the communication unit 24 is a communication interface such as a network board and a wireless LAN module.
  • the tracker 14 is a device that tracks the position and orientation of the user who wears the tracker 14.
  • the tracker 14 includes a processor 30, a storage unit 32, a communication unit 34, a display unit 36, and a sensor unit 38.
  • the processor 30 is a program control device such as a microprocessor that operates according to a program installed in the tracker 14, for example.
  • the storage unit 32 is, for example, a storage element such as a ROM or a RAM.
  • the storage unit 32 stores a program executed by the processor 30 and the like.
  • the communication unit 34 is a communication interface such as a wireless LAN module.
  • the display unit 36 is a display, such as a liquid crystal display or an organic EL display, arranged on the front side of the tracker 14.
  • the display unit 36 according to the present embodiment can display a three-dimensional image by displaying, for example, an image for the left eye and an image for the right eye.
  • the display unit 36 may not be able to display a three-dimensional image but only a two-dimensional image.
  • the sensor unit 38 is a sensor such as a camera, an inertial sensor (IMU), a geomagnetic sensor (direction sensor), a GPS (Global Positioning System) module, and a depth sensor.
  • the camera included in the sensor unit 38 captures an image at a predetermined sampling rate, for example.
  • the geomagnetic sensor included in the sensor unit 38 outputs data indicating the direction in which the tracker 14 is facing to the processor 30 at a predetermined sampling rate.
  • the inertial sensor included in the sensor unit 38 outputs data indicating the acceleration, rotation amount, movement amount, etc. of the tracker 14 to the processor 30 at a predetermined sampling rate.
  • the GPS module included in the sensor unit 38 outputs data indicating the latitude and longitude of the tracker 14 to the processor 30 at a predetermined sampling rate.
  • the depth sensor included in the sensor unit 38 is, for example, a depth sensor using technologies such as ToF (Time of Flight), Patterned stereo, and Structured Light.
  • the depth sensor outputs data indicating the distance from the tracker 14 to the processor 30 at a predetermined sampling rate.
  • the sensor unit 38 may include other sensors such as an RF sensor, an ultrasonic sensor, and an event driven sensor.
  • the tracker 14 may include an HDMI (registered trademark) (High-Definition Multimedia Interface) port, a USB port, an input/output port such as an AUX port, headphones, a speaker, and the like.
  • HDMI registered trademark
  • AUX AUX Port
  • the common server 16 according to the present embodiment is, for example, a server computer such as a cloud server used by all users who use the environment map management system 1.
  • the common server 16 according to the present embodiment can be accessed from any user system 10 included in the environment map management system 1.
  • the common server 16 includes a processor 40, a storage unit 42, and a communication unit 44.
  • the processor 40 is a program control device such as a CPU that operates according to a program installed in the common server 16, for example.
  • the storage unit 42 is, for example, a storage element such as a ROM or RAM, a hard disk drive, or the like.
  • the storage unit 42 stores programs executed by the processor 40 and the like.
  • the communication unit 44 is a communication interface such as a network board and a wireless LAN module.
  • SLAM Simultaneous Localization and Mapping
  • self-position estimation for example, at least one of the position and orientation of the tracker 14 is estimated.
  • the global position and orientation of the tracker 14 may be estimated.
  • the environment map generated in this way is used for various processes such as VR (Virtual Reality) display and AR (Augmented Reality) display.
  • each user system 10 uploads environmental information such as a part of the environment map generated in the user system 10 to the common server 16. Then, the common server 16 generates a common environment map based on the uploaded environment information. Further, the common server 16 adds the environmental information to the common environment map each time the environment information is uploaded, so that the space covered by the common environment map becomes wider.
  • the common environment map generated in this way can be used in all user systems 10. Therefore, for example, the user system 10a can execute a process using the environment information generated by the user system 10b. On the contrary, the user system 10b can execute the process using the environment information generated by the user system 10a.
  • the environment map available to the user has a large space. .. From this point of view, it is desirable that many users add a lot of environmental information to the common environment map.
  • the environment information of the private space such as the user's home is added to the common environment map and used by other users.
  • a common environment map that takes privacy into consideration can be generated while ensuring a space covered by the environment map that can be used by the user as follows.
  • the functions of the user server 12a, the tracker 14a, and the common server 16 according to the present embodiment, and the processing performed by the user server 12a will be further described, centering on the processing related to the generation of the common environment map in consideration of privacy.
  • FIG. 3 is a functional block diagram showing an example of the functions implemented in the user server 12a, the tracker 14a, and the common server 16 according to the present embodiment. It should be noted that the user server 12a, the tracker 14a, and the common server 16 according to the present embodiment do not need to implement all the functions shown in FIG. 3, and functions other than the functions shown in FIG. 3 are implemented. It doesn't matter.
  • the user server 12a is functionally provided with, for example, a sensing data receiving unit 50, a SLAM process executing unit 52, an individual environment map storage unit 54, a privacy attribute determination unit 56, and a privacy attribute management data storage unit.
  • a transmission control unit 60 an environment information transmission unit 62, a common environment map reception unit 64, a common environment map storage unit 66, and a processing data transmission unit 68 are included.
  • the sensing data receiving unit 50, the environment information transmitting unit 62, the common environment map receiving unit 64, and the processing data transmitting unit 68 are implemented mainly by the communication unit 24.
  • the SLAM process execution unit 52, the privacy attribute determination unit 56, and the transmission control unit 60 are implemented mainly by the processor 20.
  • the individual environment map storage unit 54, the privacy attribute management data storage unit 58, and the common environment map storage unit 66 are implemented mainly by the storage unit 22.
  • the above functions may be implemented by causing the processor 20 to execute a program that is installed in the user server 12a, which is a computer, and that includes instructions corresponding to the above functions.
  • This program may be supplied to the user server 12a via a computer-readable information storage medium such as an optical disc, a magnetic disc, a magnetic tape, a magneto-optical disc, a flash memory, or the like, or via the Internet or the like.
  • the tracker 14a functionally includes, for example, a sensing data acquisition unit 70, a sensing data transmission unit 72, a processing data reception unit 74, and a processing execution unit 76.
  • the sensing data acquisition unit 70 is mainly mounted on the processor 30 and the sensor unit 38.
  • the sensing data transmission unit 72 and the processing data reception unit 74 are mainly mounted with the communication unit 34.
  • the process execution unit 76 is mainly mounted on the processor 30 and the display unit 36.
  • the above functions may be implemented by causing the processor 30 to execute a program that is installed in the tracker 14a that is a computer and that includes a command corresponding to the above functions.
  • This program may be supplied to the tracker 14a via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, a flash memory, or the like, or via the Internet or the like.
  • the common server 16 is functionally provided with, for example, an environment information receiving unit 80, a common environment map storage unit 82, a common environment map update unit 84, a privacy attribute management data storage unit 86, and a common environment map receiving unit 80.
  • An environment map transmitter 88 is included.
  • the environment information receiving unit 80 and the common environment map transmitting unit 88 are mainly implemented with the communication unit 44.
  • the common environment map storage unit 82 and the privacy attribute management data storage unit 86 are implemented mainly by the storage unit 42.
  • the common environment map updating unit 84 is implemented mainly by the processor 40.
  • the above functions may be implemented by the processor 40 executing a program that is installed in the common server 16 that is a computer and that includes a command corresponding to the above functions.
  • This program may be supplied to the common server 16 via a computer-readable information storage medium such as an optical disc, a magnetic disc, a magnetic tape, a magneto-optical disc, a flash memory, or the like, or via the Internet or the like.
  • the sensing data acquisition unit 70 acquires sensing data generated by the sensor unit 38 of the tracker 14a, for example.
  • the sensing data acquired by the sensing data acquisition unit 70 may include, for example, an image taken by a camera included in the sensor unit 38 of the tracker 14a. Further, the sensing data acquired by the tracker 14a may include depth data measured by a camera or a depth sensor included in the sensor unit 38 of the tracker 14a. Further, the sensing data acquired by the tracker 14a may include data indicating the orientation of the tracker 14a, which is measured by the geomagnetic sensor included in the sensor unit 38 of the tracker 14a. Further, the sensing data acquired by the tracker 14a may include data indicating the acceleration, rotation amount, movement amount, etc. of the tracker 14a measured by the inertial sensor included in the sensor unit 38.
  • the sensing data acquired by the tracker 14a may include data indicating the latitude and longitude of the tracker 14a measured by the GPS module included in the sensor unit 38. Further, the sensing data acquired by the tracker 14a may include a feature point group (key frame).
  • the sensing data transmission unit 72 transmits the sensing data acquired by the sensing data acquisition unit 70 to the user server 12a, for example.
  • the sensing data receiving unit 50 receives, for example, the sensing data transmitted by the tracker 14a.
  • the SLAM processing execution unit 52 executes SLAM processing including estimation of the position or orientation of the tracker 14a based on the sensing data received by the sensing data receiving unit 50, for example.
  • the global position and orientation of the tracker 14 may be estimated.
  • the SLAM processing execution unit 52 may execute SLAM processing including relocalization processing, loop closing processing, 3D mesh processing, object recognition processing, and the like.
  • the SLAM processing may include plane detection/3D mesh segmentation processing.
  • the plane detection/3D mesh segmentation processing refers to processing for detecting continuous planes such as the ground surface and walls and dividing the entire 3D mesh into individual 3D meshes such as the ground surface, buildings, and trees.
  • the SLAM process may include a 3D mesh optimization process.
  • the 3D mesh optimization processing refers to processing for removing a portion estimated to be a moving body, dust due to noise, etc., reducing the number of polygons, and smoothing the surface of the mesh from the 3D mesh.
  • the SLAM processing may include texture generation processing.
  • the texture generation process refers to a process of generating a texture image for a 3D mesh based on the colors of the vertices of the mesh.
  • the SLAM process execution unit 52 also executes an environment map generation process based on the sensing data received by the sensing data receiving unit 50.
  • the environment map thus generated will be referred to as an individual environment map.
  • the SLAM processing execution unit 52 stores the generated individual environment map in the individual environment map storage unit 54.
  • the SLAM process executing unit 52 may store the sensing data received by the sensing data receiving unit 50. Then, the SLAM process may be executed using the time-series sensing data.
  • the SLAM process execution unit 52 may access the individual environment map stored in the individual environment map storage unit 54 when executing the SLAM process.
  • the SLAM process execution unit 52 may access a common environment map, which will be described later, stored in the common environment map storage unit 66 when executing the SLAM process.
  • the SLAM process execution unit 52 may execute the update process of the individual environment map, such as adding the environmental information generated based on the sensing data received by the sensing data receiving unit 50 to the individual environment map.
  • the environment information may include, for example, a point cloud.
  • the environment information may include a 3D mesh generated based on the point cloud.
  • the individual environment map storage unit 54 stores, for example, the individual environment map described above.
  • the individual environment map stored in the individual environment map storage unit 54 included in the user server 12a can be used by a user who uses the user system 10a (hereinafter, referred to as a user of interest), but users other than the user of interest can use it. Not available.
  • the privacy attribute determination unit 56 determines, based on the sensing data received by the sensing data receiving unit 50, the privacy attribute of the environment information generated based on the sensing data.
  • the privacy attribute of the environmental information associated with the position of the tracker 14a may be determined.
  • it may be determined whether the position of the tracker 14a belongs to a private space or a public space.
  • a position observable by a satellite may be determined to belong to a public space.
  • a position observable from the public space may be determined as a position belonging to the public space.
  • the sensing data received by the sensing data receiving unit 50 includes data indicating the position of the tracker 14a
  • the privacy attribute of the environment information associated with the position may be determined. Further, for example, the privacy attribute of the environment information associated with the position of the tracker 14a estimated by the SLAM process execution unit 52 may be determined.
  • the privacy attribute of the environmental information associated with the position of the tracker 14a may be determined based on the position where the environmental information is expressed on the common environment map and the position of the tracker 14a. For example, the privacy attribute of the environmental information associated with the position of the tracker 14a based on the determination result of whether or not a wall exists between the position where the environmental information is expressed on the common environment map and the position of the tracker 14a. May be determined. Furthermore, the privacy attribute of the environment information associated with the position of the tracker 14a may be determined based on the result of the determination as to whether or not the ceiling is present at the position of the tracker 14a.
  • the privacy attribute determination unit 56 also generates privacy attribute management data including, for example, position data indicating the position of the tracker 14a and privacy attribute data indicating privacy attributes of environment information associated with the position. To generate. Then, the privacy attribute determination unit 56 stores the generated privacy attribute management data in the privacy attribute management data storage unit 58.
  • the privacy attribute management data including the position data indicating the position and the privacy attribute data whose value is 1 is the privacy attribute management data.
  • the data is stored in the storage unit 58.
  • the privacy attribute management data including the position data indicating the position and the privacy attribute data whose value is 0 is the privacy attribute management data storage unit 58. It will be remembered in.
  • the privacy attribute management data storage unit 58 stores the above-mentioned privacy attribute management data.
  • the transmission control unit 60 controls whether to add the environment information generated based on the sensing data to the common environment map according to the privacy attribute determined by the privacy attribute determination unit 56. ..
  • whether or not to add the environmental information generated based on the sensing data acquired at the position to the common environment map may be controlled.
  • the transmission control unit 60 transmits the environment information generated based on the sensing data. May be controlled.
  • the environment information generated based on the sensing data may not be added to the common environment map.
  • the environment information transmission unit 62 transmits environment information to the common server 16, for example.
  • the transmission control unit 60 may control whether the environment information transmission unit 62 transmits the environment information to the common server 16. For example, when it is determined that the position of the tracker 14a corresponding to the sensing data belongs to a public space, the environment information transmission unit 62 transmits the environment information generated based on the sensing data to the common server 16. Further, the environment information may be associated with privacy attribute management data including position data indicating the position of the tracker 14a corresponding to the sensing data and privacy attribute data having a value of 0.
  • the environment information receiving unit 80 receives the environment information transmitted by the environment information transmitting unit 62, for example.
  • the common environment map storage unit 82 stores, for example, a common environment map in this embodiment.
  • the common environment map update unit 84 updates the common environment map stored in the common environment map storage unit 82 based on the environment information received by the environment information receiving unit 80, for example.
  • the common environment map updating unit 84 may add the environment information received by the environment information receiving unit 80 to the common environment map. Further, the common environment map updating unit 84 may execute a loop closing process for the common environment map.
  • the common environment map update unit 84 may store the privacy attribute management data associated with the environment information received by the environment information receiving unit 80 in the privacy attribute management data storage unit 86.
  • the privacy attribute management data storage unit 86 stores, for example, the privacy attribute management data associated with the environmental information received by the environmental information receiving unit 80.
  • the common environment map transmission unit 88 transmits, for example, the common environment map stored in the common environment map storage unit 82 to each of the plurality of user servers 12.
  • the common environment map may be transmitted.
  • the common environment map may be transmitted at predetermined time intervals.
  • the common environment map transmission unit 88 may transmit the common environment map associated with the privacy attribute management data newly added to the common environment map storage unit 82 to each of the plurality of user servers 12.
  • the common environment map receiving unit 64 receives the common environment map transmitted from the common server 16 and stores the common environment map in the common environment map storage unit 66.
  • the common environment map reception unit 64 may store the privacy attribute management data associated with the common environment map received from the common server 16 in the privacy attribute management data storage unit 58.
  • the common environment map storage unit 66 stores, for example, a common environment map in this embodiment.
  • the common environment map transmission unit 88 may transmit the environment information received by the environment information reception unit 80 to each of the plurality of user servers 12. Then, the common environment map reception unit 64 may add the environment information transmitted by the common environment map transmission unit 88 to the common environment map stored in the common environment map storage unit 66.
  • the processing data transmission unit 68 generates, for example, processing data used for processing executed by the tracker 14a.
  • the processing data transmission unit 68 may access the individual environment map stored in the individual environment map storage unit 54 when generating the processing data. Further, the processing data transmission unit 68 may access the common environment map stored in the common environment map storage unit 66 when generating the processing data. Then, in the present embodiment, the processing data transmission unit 68 transmits the generated processing data to the tracker 14a, for example.
  • data indicating the estimated position and orientation of the tracker 14a may be transmitted.
  • 3D mesh data representing the environment map may be transmitted.
  • data representing a virtual object placed on the environment map may be transmitted.
  • an image showing a state in which the direction in the environment map corresponding to the direction of the tracker 14a is viewed may be transmitted from the position in the environment map corresponding to the position of the tracker 14a.
  • the processing data receiving unit 74 receives, for example, the processing data described above.
  • the process execution unit 76 executes various processes such as VR display and AR display using the processing data received by the processing data receiving unit 74, for example.
  • a display control process for displaying on the display unit 36 an image in which the image captured by the camera and the 3D mesh of the environment map of the region where the occlusion occurs are displayed on the display unit 36. It may be executed.
  • a display control process may be executed that causes the display unit 36 to display virtual objects that move along walls, floors, ceilings, and the like in the environment map.
  • the user server 12b also has the same functions as the user server 12a. Further, the tracker 14b has the same function as the tracker 14a. Communication of sensing data and processing data about the user server 12b is performed with the tracker 14b.
  • a plurality of users including the focused user can use the same common environment map.
  • the individual environment map stored in the individual environment map storage unit 54 of the user server 12a can be used only by the focused user, and cannot be used by users other than the focused user.
  • the individual environment map stored in the individual environment map storage unit 54 of the user server 12b can be used only by the user who uses the user system 10b, and cannot be used by other users.
  • a series of processes from the acquisition of sensing data by the tracker 14a to the execution of the process in the process execution unit 76 of the tracker 14a may be repeatedly executed at, for example, predetermined time intervals.
  • a series of processes from the acquisition of the sensing data by the tracker 14b to the execution of the process in the process execution unit 76 of the tracker 14b may be repeatedly executed at, for example, predetermined time intervals.
  • the process execution unit 76 may execute the process in a situation where the sensing data is not acquired by the tracker 14.
  • privacy attribute management data including position data indicating the position and privacy attribute data having a value of 0 is stored in the privacy attribute management data storage unit 58 and the privacy attribute management data storage unit 86. To do.
  • the privacy attribute determination unit 56 determines whether or not the position of the tracker 14a belonging to the public space has been observed (S101).
  • the space observed by the sensing data may be specified based on the time-series sensing data.
  • the space observed by the sensing data may be specified based on the individual environment map generated based on the sensing data.
  • the privacy attribute management data it may be determined whether or not the position indicated by the position data associated with the privacy attribute data having a value of 0 is included in the space. If the position indicated by the position data associated with the privacy attribute data having a value of 0 is included in the space, it may be determined that the position belonging to the public space has been observed. If this is not the case, it may be determined that the position belonging to the public space has not been observed.
  • the privacy attribute determination unit 56 determines whether or not the current position of the tracker 14a is set as a position belonging to the public space (S102).
  • the current position of the tracker 14a may be the position of the tracker 14a estimated by the SLAM process execution unit 52.
  • the current position of the tracker 14a may be the position of the tracker 14a indicated by the sensing data received by the sensing data receiving section 50.
  • the privacy attribute management data including the position data indicating the current position of the tracker 14a and the privacy attribute data having a value of 0 is stored in the privacy attribute management data storage unit 58. You may. Then, when such privacy attribute management data is stored in the privacy attribute management data storage unit 58, it may be determined that the current position of the tracker 14a is set as a position belonging to the public space. On the contrary, if not, it may be determined that the current position of the tracker 14a is not set as a position belonging to the public space.
  • the privacy attribute determination unit 56 determines whether or not there is a wall between the current position of the tracker 14a and the public space (S103).
  • the current position of the tracker 14a and the public space It may be determined that there is a wall.
  • the determination may be executed based on at least one of the individual environment map, the common environment map, the privacy management level data, and the sensing data. For example, if there is a point cloud that occupies a larger area than a predetermined size along the vertical plane between the current position and the public space on the environmental map, the current position of the tracker 14a and the public space are separated from each other. It may be determined that there is a wall. Further, for example, when an image of the wall taken in a public space includes a wall image, it may be determined that the wall exists between the current position of the tracker 14a and the public space. Also, if it is unclear whether a wall exists between the current position of the tracker 14a and the public space, it is determined that a wall exists between the current position of the tracker 14a and the public space. It may be.
  • the tracker 14a is determined to have not observed the position belonging to the public space (S101:N).
  • the process shown in S103 it is determined that a wall exists between the current position of the tracker 14a and the public space (S103: Y).
  • the privacy attribute determination unit 56 determines whether or not there is a ceiling at the current position of the tracker 14a (S104).
  • the ceiling exists at the current position of the tracker 14a when a plane exists vertically upward at the current position of the tracker 14a.
  • the determination may be executed based on at least one of the individual environment map, the common environment map, the privacy management level data, and the sensing data. For example, when a point cloud that occupies an area larger than a predetermined size along the horizontal plane exists above the current position in the environment map, it may be determined that the ceiling exists at the current position of the tracker 14a. Further, for example, when the image of the ceiling is included in the image taken vertically upward, it may be determined that the ceiling exists at the current position of the tracker 14a. Further, if it is unknown whether or not the ceiling is present at the current position of the tracker 14a, it may be determined that the ceiling is present at the current position of the tracker 14a.
  • the privacy attribute determination unit 56 determines that the current position of the tracker 14a belongs to the private space (S105), and ends the processing shown in this processing example.
  • the privacy attribute determination unit 56 may generate privacy attribute management data including position data indicating the current position of the tracker 14a and privacy attribute data having a value of 1. Then, the privacy attribute determination unit 56 may store the privacy attribute management data in the privacy attribute management data storage unit 58.
  • the current position of the tracker 14a is set as a position belonging to a public space (S102: Y).
  • S102: Y it is assumed that in the process shown in S103, it is not determined that a wall exists between the current position of the tracker 14a and the public space (S103: N).
  • S104:N it is assumed that it is not determined that the ceiling is present at the current position of the tracker 14a in the process shown in S104 (S104:N).
  • the privacy attribute determination unit 56 determines that the current position of the tracker 14a belongs to the public space (S106), and ends the processing shown in this processing example.
  • the privacy attribute determination unit 56 may generate privacy attribute management data including position data indicating the current position of the tracker 14a and privacy attribute data having a value of 0. Then, the privacy attribute determination unit 56 may store the privacy attribute management data in the privacy attribute management data storage unit 58.
  • the user of interest can use both the individual environment map and the common environment map stored in the user server 12a. Further, the environment information of the position of the focused user belonging to the private space is not added to the common environment map. Therefore, the environment information of the position belonging to the focused user's private space is not used by users other than the focused user. In this way, according to the present embodiment, it is possible to generate a common environment map in consideration of privacy while ensuring the space covered by the environment map available to the user.
  • relocalization processing, loop closing processing, 3D mesh processing, plane detection/3D mesh segmentation processing, 3D mesh optimization processing, texture generation processing, object recognition processing, etc. for the common environment map are performed. Is distributed and executed by each of the plurality of user servers 12 and the common server 16. For example, generation of environment information and addition of environment information to the individual environment map are executed by each of the plurality of user servers 12, and addition of the environment information to the common environment map is executed by the common server 16. Therefore, the load on the common server 16 does not become so high.
  • the time required for a series of processes from the acquisition of sensing data by the tracker 14a to the execution of the process in the process execution unit 76 of the tracker 14a does not become so long.
  • the individual environment map and time-series sensing data stored in the user server 12 can be utilized as a user's life log.
  • the present invention is not limited to the above embodiment.
  • the environment information corresponding to the position designated by the user may be added to the common environment map even if the position is not determined to belong to the public space by the privacy attribute determination unit 56. Also, not all of the environmental information at locations that belong to a public space need be added to the common environment map.
  • the division of roles of the user server 12, the tracker 14, and the common server 16 is not limited to the above.
  • the user system 10a may be implemented by one device that has the roles of the user server 12a and the tracker 14a.
  • the user system 10b may be implemented by a single device that has the roles of the user server 12b and the tracker 14b.
  • the functions of the user server 12a may be implemented in the tracker 14a.
  • the tracker 14a may generate environment information based on the sensing data. Then, the environment information may be transmitted from the tracker 14a to the user server 12a.
  • the common server 16 may be implemented in the user server 12a or the tracker 14a. Further, for example, the common server 16 may not be included in the environment map management system 1. In this case, the user server 12a may transmit the environment information to all the other user servers 12. Then, each user server 12 may generate a common environment map based on the environment information received from another user server 12 and the environment information generated by the user server 12.
  • the user server 12a may generate an integrated environment map in which the individual environment map and the common environment map are integrated. Then, the SLAM process based on the integrated environment map may be executed on the user server 12a.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

ユーザが利用可能な環境地図によってカバーされる空間を確保しつつプライバシーに配慮した共通環境地図を生成できる環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラムを提供する。処理用データ送信部（６８）は、着目ユーザが利用可能な個別環境地図にアクセスする。処理用データ送信部（６８）は、着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする。ＳＬＡＭ処理実行部（５２）は、着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を個別環境地図に追加する。送信制御部（６０）は、環境情報のプライバシー属性に応じて、当該環境情報を共通環境地図に追加するか否かを制御する。

Description

環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム
　本発明は、環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラムに関する。
　トラッカーの位置の推定及び環境地図生成を行うＳＬＡＭ（Simultaneous Localization and Mapping）の技術が知られている。
　ＳＬＡＭの技術では、例えばトラッカーが備えるカメラにより撮影された撮影画像などといった、トラッカーが取得するセンシングデータに基づいて、環境地図が生成される。このようにして生成される環境地図は、ＶＲ（Virtual Reality）表示やＡＲ（Augmented Reality）表示等の各種の処理に利用される。
　発明者は、それぞれトラッカーを装着した複数のユーザによって環境地図の更新が行われるようにすることで、複数のユーザによって利用可能な共通環境地図を生成することを検討している。共通環境地図があれば、トラッカーのグローバルな位置又は向きの推定、ＶＲ表示、ＡＲ表示などにおいて他のユーザによって共通環境地図に追加されたポイントクラウドや３Ｄメッシュなども表示できるようになるため便利である。
　様々な場所でのトラッカーのグローバルな位置又は向きの推定や、様々な場所についてのＶＲ表示やＡＲ表示を可能にするため、ユーザが利用可能な環境地図によってカバーされる空間は広い方がよい。この観点では、多くのユーザによって多くの環境情報が共通環境地図に追加されることが望ましい。
　しかし一方で、ユーザの自宅などといったプライベートな空間の環境情報については、共通環境地図に追加され、他のユーザに利用されることは望ましくない。
　本発明は上記課題に鑑みてなされたものであって、その目的の１つは、ユーザが利用可能な環境地図によってカバーされる空間を確保しつつプライバシーに配慮した共通環境地図を生成できる環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る環境地図管理装置は、着目ユーザが利用可能な個別環境地図にアクセスする個別環境地図アクセス部と、前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする共通環境地図アクセス部と、前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加する追加部と、前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御する追加制御部と、を含む。
　本発明の一態様では、前記センシングデータに基づいて、前記トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する判定部、をさらに含み、前記追加制御部は、前記トラッカーの位置に対応付けられる前記環境情報のプライバシー属性に応じて、当該位置で取得される前記センシングデータに基づいて生成される前記環境情報を前記共通環境地図に追加するか否かを制御する。
　この態様では、前記判定部は、前記共通環境地図に前記環境情報が表現されている位置と、前記トラッカーの位置と、に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する。
　この場合、前記判定部は、前記共通環境地図に前記環境情報が表現されている位置と、前記トラッカーの位置と、の間に壁が存在するか否かの判定結果に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定してもよい。
　また、前記判定部は、さらに、前記トラッカーの位置に天井が存在するか否かの判定結果に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定してもよい。
　また、本発明に係る環境地図管理システムは、個別環境地図管理装置と、共通環境地図管理装置と、を含み、前記個別環境地図管理装置は、前記個別環境地図管理装置を利用する着目ユーザが利用可能な個別環境地図にアクセスする個別環境地図アクセス部と、前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする共通環境地図アクセス部と、前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて環境情報を生成する環境情報生成部と、前記環境情報を前記個別環境地図に追加する個別追加部と、前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図管理装置に送信するか否かを制御する送信制御部と、を含み、前記共通環境地図管理装置は、前記個別環境地図管理装置から送信される前記環境情報を受信する環境情報受信部と、前記環境情報受信部が受信する前記環境情報を前記共通環境地図に追加する共通追加部と、を含む。
　この態様では、複数の前記個別環境地図管理装置を含み、前記環境情報受信部は、前記複数の前記個別環境地図管理装置のそれぞれから送信される前記環境情報を受信してもよい。
　また、本発明に係る環境地図管理方法は、着目ユーザが利用可能な個別環境地図にアクセスするステップと、前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスするステップと、前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加するステップと、前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御するステップと、を含む。
　また、本発明に係るプログラムは、着目ユーザが利用可能な個別環境地図にアクセスする手順、前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする手順、前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加する手順、前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御する手順、をコンピュータに実行させる。
本発明の一実施形態に係る環境地図管理システムの一例を示す構成図である。 本発明の一実施形態に係るユーザサーバの一例を示す構成図である。 本発明の一実施形態に係るトラッカーの一例を示す構成図である。 本発明の一実施形態に係る共通サーバの一例を示す構成図である。 本発明の一実施形態に係る環境地図管理システムで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るユーザサーバで行われる処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る環境地図管理システム１の一例を示す構成図である。図１に示すように、本実施形態に係る環境地図管理システム１には、複数のユーザシステム１０が含まれる。そして、本実施形態に係るユーザシステム１０には、ユーザサーバ１２と、トラッカー１４と、が含まれる。図１には、２つのユーザシステム１０ａ、１０ｂが例示されている。ユーザシステム１０ａには、ユーザサーバ１２ａとトラッカー１４ａとが含まれる。ユーザシステム１０ｂには、ユーザサーバ１２ｂとトラッカー１４ｂとが含まれる。また、本実施形態に係る環境地図管理システム１には、共通サーバ１６も含まれる。
　本実施形態では例えば、環境地図管理システム１を利用する複数のユーザが、それぞれ、当該ユーザのユーザシステム１０を管理していることとする。そして各ユーザは、他のユーザが管理しているユーザシステム１０にはアクセスできないこととする。
　ユーザサーバ１２、トラッカー１４、共通サーバ１６は、インターネット等のコンピュータネットワーク１８に接続されている。そして本実施形態では、ユーザサーバ１２と共通サーバ１６とは、互いに通信可能になっている。また、本実施形態では、ユーザシステム１０に含まれるユーザサーバ１２と当該ユーザシステム１０に含まれるトラッカー１４とは、互いに通信可能となっている。
　本実施形態に係るユーザサーバ１２は、例えば、環境地図管理システム１のユーザが利用するサーバコンピュータである。なおユーザサーバ１２は、ユーザが自ら運用するサーバである必要はなく、例えばクラウドサービスを営む事業者によって運用されているクラウドサーバであっても構わない。
　図２Ａに示すように、本実施形態に係るユーザサーバ１２には、プロセッサ２０、記憶部２２、及び、通信部２４、が含まれる。プロセッサ２０は、例えばユーザサーバ１２にインストールされているプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。通信部２４は、ネットワークボードや無線ＬＡＮモジュールなどといった通信インタフェースである。
　本実施形態に係るトラッカー１４は、当該トラッカー１４を装着したユーザの位置や向きを追跡する装置である。
　図２Ｂに示すように、本実施形態に係るトラッカー１４には、プロセッサ３０、記憶部３２、通信部３４、表示部３６、センサ部３８、が含まれる。
　プロセッサ３０は、例えばトラッカー１４にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。
　表示部３６は、トラッカー１４の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部３６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
　センサ部３８は、例えばカメラ、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、ＧＰＳ（Global Positioning System）モジュール、デプスセンサなどといったセンサである。センサ部３８に含まれるカメラは、例えば所定のサンプリングレートで画像を撮影する。またセンサ部３８に含まれる地磁気センサは、トラッカー１４が向く方位を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれる慣性センサは、トラッカー１４の加速度、回転量、移動量などを示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれるＧＰＳモジュールは、トラッカー１４の緯度及び経度を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。センサ部３８に含まれるデプスセンサは、例えば、ＴｏＦ（Time of Flight）、Patterned stereo、Structured Lightなどの技術を用いたデプスセンサである。当該デプスセンサは、トラッカー１４からの距離を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。また、センサ部３８に、ＲＦセンサ、超音波センサ、イベントドリブンセンサなどの他のセンサが含まれていてもよい。
　なお本実施形態に係るトラッカー１４が、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポート、ヘッドホン、スピーカなどを含んでいてもよい。
　本実施形態に係る共通サーバ１６は、例えば、環境地図管理システム１を利用するすべてのユーザによって利用されるクラウドサーバなどのサーバコンピュータである。本実施形態に係る共通サーバ１６は、環境地図管理システム１に含まれるいずれのユーザシステム１０からもアクセスできるようになっている。
　図２Ｃに示すように、本実施形態に係る共通サーバ１６には、プロセッサ４０、記憶部４２、及び、通信部４４、が含まれる。プロセッサ４０は、例えば共通サーバ１６にインストールされているプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部４２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部４２には、プロセッサ４０によって実行されるプログラムなどが記憶される。通信部４４は、ネットワークボードや無線ＬＡＮモジュールなどといった通信インタフェースである。
　本実施形態では、トラッカー１４によって取得されるセンシングデータに基づいて、自己位置推定、及び、環境地図生成を含むＳＬＡＭ（Simultaneous Localization and Mapping）処理が実行される。当該自己位置推定においては、例えば、トラッカー１４の位置及び向きの少なくとも一方が推定される。ここでトラッカー１４のグローバルな位置や向きが推定されてもよい。また、このようにして生成される環境地図は、ＶＲ（Virtual Reality）表示やＡＲ（Augmented Reality）表示等の各種の処理に利用される。
　また、本実施形態では、それぞれのユーザシステム１０は、当該ユーザシステム１０において生成される環境地図の一部などといった環境情報を共通サーバ１６にアップロードする。そして共通サーバ１６は、アップロードされた環境情報に基づいて、共通環境地図を生成する。また、共通サーバ１６は、環境情報がアップロードされる度に当該環境情報を共通環境地図に追加することで、共通環境地図によってカバーされる空間が広くなっていく。
　そして本実施形態では、このようにして生成される共通環境地図は、すべてのユーザシステム１０において利用可能である。そのため例えば、ユーザシステム１０ａは、ユーザシステム１０ｂによって生成された環境情報を用いた処理を実行できる。また逆に、ユーザシステム１０ｂは、ユーザシステム１０ａによって生成された環境情報を用いた処理を実行できる。
　様々な場所でのトラッカー１４のグローバルな位置又は向きの推定や、様々な場所についてのＶＲ表示やＡＲ表示を可能にするため、ユーザが利用可能な環境地図によってカバーされる空間は広い方がよい。この観点では、多くのユーザによって多くの環境情報が共通環境地図に追加されることが望ましい。
　しかし一方で、ユーザの自宅などといったプライベートな空間の環境情報については、共通環境地図に追加され、他のユーザに利用されることは望ましくない。
　そこで本実施形態では以下のようにして、ユーザが利用可能な環境地図によってカバーされる空間を確保しつつプライバシーに配慮した共通環境地図を生成できるようにした。
　以下、プライバシーに配慮した共通環境地図の生成に関する処理を中心に、本実施形態に係るユーザサーバ１２ａ、トラッカー１４ａ、共通サーバ１６の機能、及び、ユーザサーバ１２ａで行われる処理についてさらに説明する。
　図３は、本実施形態に係るユーザサーバ１２ａ、トラッカー１４ａ、及び、共通サーバ１６で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るユーザサーバ１２ａ、トラッカー１４ａ、及び、共通サーバ１６で、図３に示す機能のすべてが実装される必要はなく、また、図３に示す機能以外の機能が実装されていても構わない。
　図３に示すように、ユーザサーバ１２ａには、機能的には例えば、センシングデータ受信部５０、ＳＬＡＭ処理実行部５２、個別環境地図記憶部５４、プライバシー属性判定部５６、プライバシー属性管理データ記憶部５８、送信制御部６０、環境情報送信部６２、共通環境地図受信部６４、共通環境地図記憶部６６、処理用データ送信部６８、が含まれる。センシングデータ受信部５０、環境情報送信部６２、共通環境地図受信部６４、処理用データ送信部６８は、通信部２４を主として実装される。ＳＬＡＭ処理実行部５２、プライバシー属性判定部５６、送信制御部６０は、プロセッサ２０を主として実装される。個別環境地図記憶部５４、プライバシー属性管理データ記憶部５８、共通環境地図記憶部６６は、記憶部２２を主として実装される。
　以上の機能は、コンピュータであるユーザサーバ１２ａにインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してユーザサーバ１２ａに供給されてもよい。
　また、図３に示すように、トラッカー１４ａには、機能的には例えば、センシングデータ取得部７０、センシングデータ送信部７２、処理用データ受信部７４、処理実行部７６、が含まれる。センシングデータ取得部７０は、プロセッサ３０及びセンサ部３８を主として実装される。センシングデータ送信部７２、処理用データ受信部７４は、通信部３４を主として実装される。処理実行部７６は、プロセッサ３０及び表示部３６を主として実装される。
　以上の機能は、コンピュータであるトラッカー１４ａにインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してトラッカー１４ａに供給されてもよい。
　また、図３に示すように、共通サーバ１６には、機能的には例えば、環境情報受信部８０、共通環境地図記憶部８２、共通環境地図更新部８４、プライバシー属性管理データ記憶部８６、共通環境地図送信部８８、が含まれる。環境情報受信部８０、共通環境地図送信部８８は、通信部４４を主として実装される。共通環境地図記憶部８２、プライバシー属性管理データ記憶部８６は、記憶部４２を主として実装される。共通環境地図更新部８４は、プロセッサ４０を主として実装される。
　以上の機能は、コンピュータである共通サーバ１６にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ４０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して共通サーバ１６に供給されてもよい。
　センシングデータ取得部７０は、本実施形態では例えば、トラッカー１４ａのセンサ部３８により生成されるセンシングデータを取得する。
　センシングデータ取得部７０が取得するセンシングデータには、例えば、トラッカー１４ａのセンサ部３８に含まれるカメラにより撮影される画像が含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータに、トラッカー１４ａのセンサ部３８に含まれるカメラやデプスセンサにより計測されるデプスデータが含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータには、トラッカー１４ａのセンサ部３８に含まれる地磁気センサにより計測される、トラッカー１４ａの方位を示すデータが含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータには、センサ部３８に含まれる慣性センサにより計測される、トラッカー１４ａの加速度、回転量、移動量などを示すデータが含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータには、センサ部３８に含まれるＧＰＳモジュールにより計測される、トラッカー１４ａの緯度及び経度を示すデータが含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータに、特徴点群（キーフレーム）が含まれていてもよい。
　センシングデータ送信部７２は、本実施形態では例えば、センシングデータ取得部７０が取得するセンシングデータをユーザサーバ１２ａに送信する。
　センシングデータ受信部５０は、本実施形態では例えば、トラッカー１４ａにより送信されるセンシングデータを受信する。
　ＳＬＡＭ処理実行部５２は、本実施形態では例えば、センシングデータ受信部５０が受信するセンシングデータに基づいて、トラッカー１４ａの位置又は向きの推定を含むＳＬＡＭ処理を実行する。ここでトラッカー１４のグローバルな位置や向きが推定されてもよい。ここで例えば、ＳＬＡＭ処理実行部５２が、リロカライズ処理、ループクロージング処理、３Ｄメッシュ化処理、物体認識処理などを含むＳＬＡＭ処理を実行してもよい。
　ここで当該ＳＬＡＭ処理に、平面検出／３Ｄメッシュのセグメンテーション処理が含まれていてもよい。平面検出／３Ｄメッシュのセグメンテーション処理とは、地面、壁などといった連続した平面を検出して、全体の３Ｄメッシュを、地面、建物、木、などといった個々の３Ｄメッシュに分割する処理を指す。また、当該ＳＬＡＭ処理に、３Ｄメッシュの最適化処理が含まれていてもよい。３Ｄメッシュの最適化処理とは、３Ｄメッシュから、移動体と推定される部分や、ノイズなどによるゴミを除去したり、ポリゴン数を減らしたり、メッシュの表面を滑らかにしたりする処理を指す。また、当該ＳＬＡＭ処理に、テクスチャ生成処理が含まれていてもよい。テクスチャ生成処理とは、メッシュの頂点の色に基づいて３Ｄメッシュに対するテクスチャイメージを生成する処理を指す。
　また、ＳＬＡＭ処理実行部５２は、センシングデータ受信部５０が受信するセンシングデータに基づく環境地図の生成処理を実行する。以下、このようにして生成される環境地図を個別環境地図と呼ぶこととする。そして、ＳＬＡＭ処理実行部５２は、生成される個別環境地図を個別環境地図記憶部５４に記憶させる。
　また例えば、ＳＬＡＭ処理実行部５２が、センシングデータ受信部５０が受信するセンシングデータを記憶してもよい。そして、時系列のセンシングデータを用いてＳＬＡＭ処理を実行してもよい。
　ＳＬＡＭ処理実行部５２は、ＳＬＡＭ処理の実行にあたり、個別環境地図記憶部５４に記憶されている個別環境地図にアクセスすることがある。また、ＳＬＡＭ処理実行部５２は、ＳＬＡＭ処理の実行にあたり、共通環境地図記憶部６６に記憶されている後述の共通環境地図にアクセスすることがある。
　また、ＳＬＡＭ処理実行部５２は、センシングデータ受信部５０が受信するセンシングデータに基づいて生成される環境情報の個別環境地図への追加などといった、個別環境地図の更新処理を実行してもよい。ここで当該環境情報には、例えば、ポイントクラウドが含まれていてもよい。また当該環境情報には、ポイントクラウドに基づいて生成される３Ｄメッシュが含まれていてもよい。
　個別環境地図記憶部５４は、本実施形態では例えば、上述の個別環境地図を記憶する。ユーザサーバ１２ａに含まれる個別環境地図記憶部５４に記憶される個別環境地図は、ユーザシステム１０ａを利用するユーザ（以下、着目ユーザと呼ぶ。）は利用可能であるが、着目ユーザ以外のユーザは利用可能ではない。
　プライバシー属性判定部５６は、本実施形態では例えば、センシングデータ受信部５０が受信するセンシングデータに基づいて、当該センシングデータに基づいて生成される環境情報のプライバシー属性を判定する。ここで例えば、トラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されてもよい。ここで例えば、トラッカー１４ａの位置が、プライベートな空間に属する位置であるか、パブリックな空間に属する位置であるかが判定されてもよい。例えば、衛星によって観測可能な位置は、パブリックな空間に属する位置と判定されてもよい。また、例えば、パブリックな空間から観測可能な位置が、パブリックな空間に属する位置と判定されてもよい。
　例えば、センシングデータ受信部５０が受信するセンシングデータにトラッカー１４ａの位置を示すデータが含まれている場合に、当該位置に対応付けられる環境情報のプライバシー属性が判定されるようにしてもよい。また例えば、ＳＬＡＭ処理実行部５２により推定されるトラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されるようにしてもよい。
　ここで、共通環境地図に環境情報が表現されている位置と、トラッカー１４ａの位置と、に基づいて、当該トラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されてもよい。例えば、共通環境地図に環境情報が表現されている位置とトラッカー１４ａの位置との間に壁が存在するか否かの判定結果に基づいて、トラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されてもよい。また、さらに、トラッカー１４ａの位置に天井が存在するか否かの判定結果に基づいて、トラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されてもよい。
　また、プライバシー属性判定部５６は、本実施形態では例えば、トラッカー１４ａの位置を示す位置データと、当該位置に対応付けられる環境情報のプライバシー属性を示すプライバシー属性データと、を含むプライバシー属性管理データを生成する。そして、プライバシー属性判定部５６は、生成されるプライバシー属性管理データをプライバシー属性管理データ記憶部５８に記憶させる。
　以下の説明では、トラッカー１４ａの位置がプライベートな空間に属すると判定される場合には、当該位置を示す位置データと値が１であるプライバシー属性データとを含むプライバシー属性管理データがプライバシー属性管理データ記憶部５８に記憶されることとする。また、トラッカー１４ａの位置がパブリックな空間に属すると判定される場合には、当該位置を示す位置データと値が０であるプライバシー属性データとを含むプライバシー属性管理データがプライバシー属性管理データ記憶部５８に記憶されることとする。
　プライバシー属性管理データ記憶部５８は、上述のプライバシー属性管理データを記憶する。
　送信制御部６０は、本実施形態では例えば、プライバシー属性判定部５６により判定されるプライバシー属性に応じて、センシングデータに基づいて生成される環境情報を共通環境地図に追加するか否かを制御する。
　ここで例えば、トラッカー１４ａの位置のプライバシー属性に応じて、当該位置で取得されるセンシングデータに基づいて生成される環境情報を共通環境地図に追加するか否かが制御されてもよい。例えば、送信制御部６０は、センシングデータに対応するトラッカー１４ａの位置がパブリックな空間に属すると判定された場合に、当該センシングデータに基づいて生成される環境情報を送信するよう環境情報送信部６２を制御してもよい。
　逆に、センシングデータに対応するトラッカー１４ａの位置がプライベートな空間に属すると判定された場合に、当該センシングデータに基づいて生成される環境情報が共通環境地図に追加されないようにしてもよい。
　環境情報送信部６２は、本実施形態では例えば、環境情報を共通サーバ１６に送信する。上述のように、環境情報送信部６２が環境情報を共通サーバ１６に送信するか否かは送信制御部６０によって制御されてもよい。環境情報送信部６２は、例えば、センシングデータに対応するトラッカー１４ａの位置がパブリックな空間に属すると判定された場合に、当該センシングデータに基づいて生成される環境情報を共通サーバ１６に送信する。また当該環境情報には、当該センシングデータに対応するトラッカー１４ａの位置を示す位置データと値が０であるプライバシー属性データとを含むプライバシー属性管理データが関連付けられていてもよい。
　環境情報受信部８０は、本実施形態では例えば、環境情報送信部６２により送信される環境情報を受信する。
　共通環境地図記憶部８２は、本実施形態では例えば、共通環境地図を記憶する。
　共通環境地図更新部８４は、本実施形態では例えば、環境情報受信部８０が受信する環境情報に基づいて、共通環境地図記憶部８２に記憶されている共通環境地図を更新する。ここで例えば、共通環境地図更新部８４が、環境情報受信部８０が受信する環境情報を共通環境地図に追加してもよい。また、共通環境地図更新部８４が、共通環境地図に対するループクロージング処理を実行してもよい。
　また共通環境地図更新部８４は、環境情報受信部８０が受信した環境情報に関連付けられているプライバシー属性管理データをプライバシー属性管理データ記憶部８６に記憶させてもよい。
　プライバシー属性管理データ記憶部８６は、本実施形態では例えば、環境情報受信部８０が受信した環境情報に関連付けられているプライバシー属性管理データを記憶する。
　共通環境地図送信部８８は、本実施形態では例えば、共通環境地図記憶部８２に記憶されている共通環境地図を複数のユーザサーバ１２のそれぞれに送信する。ここで例えば、共通環境地図が更新される度に、更新後の共通環境地図が送信されるようにしてもよい。また例えば、所定の時間間隔で共通環境地図が送信されるようにしてもよい。
　また、共通環境地図送信部８８は、共通環境地図記憶部８２に新たに追加されたプライバシー属性管理データに関連付けられた共通環境地図を複数のユーザサーバ１２のそれぞれに送信してもよい。
　共通環境地図受信部６４は、共通サーバ１６から送信される共通環境地図を受信して、当該共通環境地図を共通環境地図記憶部６６に記憶させる。
　ここで共通環境地図受信部６４は、共通サーバ１６から受信した共通環境地図に関連付けられているプライバシー属性管理データをプライバシー属性管理データ記憶部５８に記憶させてもよい。
　共通環境地図記憶部６６は、本実施形態では例えば、共通環境地図を記憶する。
　なお、共通環境地図送信部８８が、環境情報受信部８０が受信した環境情報を複数のユーザサーバ１２のそれぞれに送信してもよい。そして、共通環境地図受信部６４は、共通環境地図送信部８８が送信する環境情報を共通環境地図記憶部６６に記憶されている共通環境地図に追加してもよい。
　処理用データ送信部６８は、本実施形態では例えば、トラッカー１４ａで実行される処理に用いられる処理用データを生成する。処理用データ送信部６８は、処理用データの生成にあたって、個別環境地図記憶部５４に記憶されている個別環境地図にアクセスすることがある。また、処理用データ送信部６８は、処理用データの生成にあたって、共通環境地図記憶部６６に記憶されている共通環境地図にアクセスすることがある。そして、処理用データ送信部６８は、本実施形態では例えば、生成された処理用データをトラッカー１４ａに送信する。
　ここで例えば、リロカライズされた位置及び向きを示すデータなどといった、推定されたトラッカー１４ａの位置及び向きを示すデータが送信されるようにしてもよい。また例えば、環境地図を表す３Ｄメッシュのデータが送信されるようにしてもよい。また、環境地図に配置された仮想オブジェクトを表すデータが送信されるようにしてもよい。また例えば、トラッカー１４ａの位置に相当する環境地図内における位置から、トラッカー１４ａに向きに相当する環境地図内における向きを見た様子を表す画像が送信されるようにしてもよい。
　処理用データ受信部７４は、本実施形態では例えば、上述の処理用データを受信する。
　処理実行部７６は、本実施形態では例えば、処理用データ受信部７４が受信する処理用データを用いた、ＶＲ表示やＡＲ表示などの各種の処理を実行する。ここで例えばカメラが撮影した画像においてオクルージョンが発生した際に、カメラが撮影した画像とオクルージョンが発生した領域の環境地図の３Ｄメッシュとを重畳させた画像を表示部３６に表示させる表示制御処理が実行されてもよい。また例えば、環境地図における壁、床、天井などに沿って移動する仮想オブジェクトを表示部３６に表示させる表示制御処理が実行されてもよい。
　ユーザサーバ１２ｂにもユーザサーバ１２ａと同様の機能が実装される。また、トラッカー１４ｂにもトラッカー１４ａと同様の機能が実装される。ユーザサーバ１２ｂについてのセンシングデータや処理用データの通信はトラッカー１４ｂとの間で行われる。
　本実施形態では、着目ユーザを含む複数のユーザが同一の共通環境地図を利用可能である。一方で、ユーザサーバ１２ａの個別環境地図記憶部５４に記憶されている個別環境地図については、着目ユーザのみが利用可能であり、着目ユーザ以外のユーザは利用可能ではない。また、ユーザサーバ１２ｂの個別環境地図記憶部５４に記憶されている個別環境地図については、ユーザシステム１０ｂを利用するユーザのみが利用可能であり、他のユーザは利用可能ではない。
　本実施形態において、トラッカー１４ａによるセンシングデータの取得からトラッカー１４ａの処理実行部７６における処理の実行までの一連の処理が、例えば所定の時間間隔で繰り返し実行されてもよい。また同様に、トラッカー１４ｂによるセンシングデータの取得からトラッカー１４ｂの処理実行部７６における処理の実行までの一連の処理が、例えば所定の時間間隔で繰り返し実行されてもよい。また、トラッカー１４によるセンシングデータの取得が行われてない状況での、処理実行部７６による処理の実行が行われてもよい。
　ここで、本実施形態に係るユーザサーバ１２ａのプライバシー属性判定部５６で行われるプライバシー属性の判定処理の流れの一例を、図４に例示するフロー図を参照しながら説明する。
　なお本処理例に示す処理が実行される際には、予め、衛星によって観測可能な位置、及び、パブリックな空間から観測可能な位置が、パブリックな空間に属する位置と判定されていることとする。そして、当該位置を示す位置データと値が０であるプライバシー属性データとを含むプライバシー属性管理データが、プライバシー属性管理データ記憶部５８、及び、プライバシー属性管理データ記憶部８６に記憶されていることとする。
　まず、プライバシー属性判定部５６が、トラッカー１４ａがパブリックな空間に属する位置を観測済であるか否かを判定する（Ｓ１０１）。ここでは例えば、時系列のセンシングデータに基づいて、センシングデータによって観測された空間が特定されてもよい。あるいは、センシングデータに基づいて生成される個別環境地図に基づいて、センシングデータによって観測された空間が特定されてもよい。そして、プライバシー属性管理データにおいて、値が０であるプライバシー属性データに関連付けられている位置データが示す位置が、当該空間に含まれるか否かが判定されてもよい。そして値が０であるプライバシー属性データに関連付けられている位置データが示す位置が、当該空間に含まれる場合は、パブリックな空間に属する位置を観測済であると判定されてもよい。そしてそうでない場合は、パブリックな空間に属する位置を観測済でないと判定されてもよい。
　Ｓ１０１に示す処理において、トラッカー１４ａがパブリックな空間に属する位置を観測済であると判定されたとする（Ｓ１０１：Ｙ）。この場合は、プライバシー属性判定部５６が、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されているか否かを判定する（Ｓ１０２）。ここでトラッカー１４ａの現在位置は、ＳＬＡＭ処理実行部５２により推定されるトラッカー１４ａの位置であってもよい。またトラッカー１４ａの現在位置は、センシングデータ受信部５０が受信するセンシングデータが示すトラッカー１４ａの位置であってもよい。
　Ｓ１０２に示す処理では、例えば、トラッカー１４ａの現在位置を示す位置データと値が０であるプライバシー属性データを含むプライバシー属性管理データがプライバシー属性管理データ記憶部５８に記憶されているか否かが確認されてもよい。そして、このようなプライバシー属性管理データがプライバシー属性管理データ記憶部５８に記憶されている場合に、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されていると判定されてもよい。逆に、そうでない場合に、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されていないと判定されてもよい。
　Ｓ１０２に示す処理において、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されていないと判定されたとする（Ｓ１０２：Ｎ）。この場合は、プライバシー属性判定部５６が、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在するか否かを判定する（Ｓ１０３）。
　例えば窓などに相当する穴が形成されていても、トラッカー１４ａの現在位置とパブリックな空間との間にある程度の連続した面が存在する場合にトラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されてもよい。
　ここで例えば、個別環境地図、共通環境地図、プライバシー管理レベルデータ、及び、センシングデータのうちの少なくとも１つに基づいて、当該判定が実行されてもよい。例えば、環境地図において現在位置とパブリックな空間との間に鉛直面に沿った所定の大きさよりも大きな領域を占めるポイントクラウドが存在する場合に、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されてもよい。また例えば、パブリックな空間を向いて撮影した画像に壁の像が含まれている場合に、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されてもよい。また、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在するか否かが不明である場合は、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されるようにしてもよい。
　Ｓ１０１に示す処理において、トラッカー１４ａがパブリックな空間に属する位置を観測済でないと判定されたとする（Ｓ１０１：Ｎ）。あるいは、Ｓ１０３に示す処理において、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されたとする（Ｓ１０３：Ｙ）。これらの場合は、プライバシー属性判定部５６が、トラッカー１４ａの現在位置に天井が存在するか否かを判定する（Ｓ１０４）。
　例えば天窓などに相当する穴が形成されていても、トラッカー１４ａの現在位置の鉛直上向きに平面が存在する場合にトラッカー１４ａの現在位置に天井が存在すると判定されてもよい。
　ここで例えば、個別環境地図、共通環境地図、プライバシー管理レベルデータ、及び、センシングデータのうちの少なくとも１つに基づいて、当該判定が実行されてもよい。例えば、環境地図において現在位置の上方に水平面に沿った所定の大きさよりも大きな領域を占めるポイントクラウドが存在する場合に、トラッカー１４ａの現在位置に天井が存在すると判定されてもよい。また例えば、鉛直方向上向きを撮影した画像に天井の像が含まれている場合に、トラッカー１４ａの現在位置に天井が存在すると判定されてもよい。また、トラッカー１４ａの現在位置に天井が存在するか否かが不明である場合は、トラッカー１４ａの現在位置に天井が存在すると判定されるようにしてもよい。
　Ｓ１０４に示す処理において、トラッカー１４ａの現在位置に天井が存在すると判定されたとする（Ｓ１０４：Ｙ）。この場合は、プライバシー属性判定部５６は、トラッカー１４ａの現在位置をプライベートな空間に属する位置と判定して（Ｓ１０５）、本処理例に示す処理を終了する。
　この場合は、例えば、プライバシー属性判定部５６は、トラッカー１４ａの現在位置を示す位置データと値が１であるプライバシー属性データとを含むプライバシー属性管理データを生成してもよい。そして、プライバシー属性判定部５６は、当該プライバシー属性管理データをプライバシー属性管理データ記憶部５８に記憶させてもよい。
　なお、Ｓ１０４に示す処理において、トラッカー１４ａの現在位置に天井が存在すると判定された場合に、トラッカー１４ａの現在位置を通る、床から天井に至る線状のすべての位置が、プライベートな空間に属する位置と判定されるようにしてもよい。
　Ｓ１０２に示す処理において、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されていると判定されたとする（Ｓ１０２：Ｙ）。あるいは、Ｓ１０３に示す処理において、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されなかったとする（Ｓ１０３：Ｎ）。あるいは、Ｓ１０４に示す処理において、トラッカー１４ａの現在位置に天井が存在すると判定されなかったとする（Ｓ１０４：Ｎ）。これらの場合は、プライバシー属性判定部５６は、トラッカー１４ａの現在位置をパブリックな空間に属する位置と判定して（Ｓ１０６）、本処理例に示す処理を終了する。
　この場合は、例えば、プライバシー属性判定部５６は、トラッカー１４ａの現在位置を示す位置データと値が０であるプライバシー属性データとを含むプライバシー属性管理データを生成してもよい。そして、プライバシー属性判定部５６は、当該プライバシー属性管理データをプライバシー属性管理データ記憶部５８に記憶させてもよい。
　本処理例では、衛星によって観測可能な位置、及び、パブリックな空間から観測可能な位置が、予め、パブリックな空間に属する位置と判定されていることによって、Ｓ１０１～Ｓ１０６に示す処理を実行することで的確にプライバシー属性が判定できることとなる。
　本実施形態では、着目ユーザは、ユーザサーバ１２ａに記憶されている個別環境地図と共通環境地図の両方を利用可能である。また、着目ユーザのプライベートな空間に属する位置の環境情報については、共通環境地図に追加されない。そのため、着目ユーザのプライベートな空間に属する位置の環境情報は、着目ユーザ以外のユーザによって利用されない。このようにして、本実施形態によれば、ユーザが利用可能な環境地図によってカバーされる空間を確保しつつプライバシーに配慮した共通環境地図を生成できることとなる。
　また本実施形態では、共通環境地図を対象とする、リロカライズ処理、ループクロージング処理、３Ｄメッシュ化処理、平面検出／３Ｄメッシュのセグメンテーション処理、３Ｄメッシュの最適化処理、テクスチャ生成処理、物体認識処理などは複数のユーザサーバ１２のそれぞれ、及び、共通サーバ１６で分散して実行される。例えば、環境情報の生成、及び、個別環境地図への環境情報の追加は複数のユーザサーバ１２のそれぞれで実行され、当該環境情報の共通環境地図への追加は共通サーバ１６で実行される。そのため、共通サーバ１６の負荷はそれほど高くならない。
　またユーザサーバ１２がユーザの自宅などに配置されていれば、トラッカー１４ａによるセンシングデータの取得からトラッカー１４ａの処理実行部７６における処理の実行までの一連の処理に要する時間はそれほど長くならない。
　ユーザサーバ１２に記憶された個別環境地図や時系列のセンシングデータは、ユーザのライフログとして活用することができる。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えば、プライバシー属性判定部５６によってパブリックな空間に属する位置と判定されていない位置であっても、ユーザが指定した位置に対応する環境情報は、共通環境地図に追加されるようにしてもよい。また、パブリックな空間に属する位置における環境情報のすべてが共通環境地図に追加される必要はない。
　また、ユーザサーバ１２、トラッカー１４、共通サーバ１６の役割分担は上述のものに限定されない。例えば、ユーザシステム１０ａが、ユーザサーバ１２ａの役割と、トラッカー１４ａの役割を兼ねた１つのデバイスによって実装されていてもよい。また、ユーザシステム１０ｂが、ユーザサーバ１２ｂの役割と、トラッカー１４ｂの役割を兼ねた１つのデバイスによって実装されていてもよい。
　例えば、ユーザサーバ１２ａの機能の一部又は全部がトラッカー１４ａにおいて実装されてもよい。例えば、トラッカー１４ａにおいてセンシングデータに基づく環境情報の生成が実行されてもよい。そして当該環境情報がトラッカー１４ａからユーザサーバ１２ａに送信されるようにしてもよい。
　また共通サーバ１６の機能の一部又は全部がユーザサーバ１２ａやトラッカー１４ａにおいて実装されてもよい。また例えば、環境地図管理システム１に共通サーバ１６が含まれていなくてもよい。この場合、ユーザサーバ１２ａが他のユーザサーバ１２のすべてに環境情報を送信してもよい。そしてそれぞれのユーザサーバ１２において、他のユーザサーバ１２から受信する環境情報、及び、当該ユーザサーバ１２で生成される環境情報に基づく共通環境地図の生成が実行されてもよい。
　また、ユーザサーバ１２ａにおいて、個別環境地図と共通環境地図とを統合した統合環境地図が生成されてもよい。そしてユーザサーバ１２ａにおいて、統合環境地図に基づくＳＬＡＭ処理が実行されてもよい。

Claims (9)

  1. 　着目ユーザが利用可能な個別環境地図にアクセスする個別環境地図アクセス部と、
    　前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする共通環境地図アクセス部と、
    　前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加する追加部と、
    　前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御する追加制御部と、
    　を含むことを特徴とする環境地図管理装置。
  2. 　前記センシングデータに基づいて、前記トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する判定部、をさらに含み、
    　前記追加制御部は、前記トラッカーの位置に対応付けられる前記環境情報のプライバシー属性に応じて、当該位置で取得される前記センシングデータに基づいて生成される前記環境情報を前記共通環境地図に追加するか否かを制御する、
    　ことを特徴とする請求項１に記載の環境地図管理装置。
  3. 　前記判定部は、前記共通環境地図に前記環境情報が表現されている位置と、前記トラッカーの位置と、に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する、
    　ことを特徴とする請求項２に記載の環境地図管理装置。
  4. 　前記判定部は、前記共通環境地図に前記環境情報が表現されている位置と、前記トラッカーの位置と、の間に壁が存在するか否かの判定結果に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する、
    　ことを特徴とする請求項３に記載の環境地図管理装置。
  5. 　前記判定部は、さらに、前記トラッカーの位置に天井が存在するか否かの判定結果に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する、
    　ことを特徴とする請求項４に記載の環境地図管理装置。
  6. 　個別環境地図管理装置と、共通環境地図管理装置と、を含み、
    　前記個別環境地図管理装置は、
    　　前記個別環境地図管理装置を利用する着目ユーザが利用可能な個別環境地図にアクセスする個別環境地図アクセス部と、
    　　前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする共通環境地図アクセス部と、
    　　前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて環境情報を生成する環境情報生成部と、
    　　前記環境情報を前記個別環境地図に追加する個別追加部と、
    　　前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図管理装置に送信するか否かを制御する送信制御部と、を含み、
    　前記共通環境地図管理装置は、
    　　前記個別環境地図管理装置から送信される前記環境情報を受信する環境情報受信部と、
    　　前記環境情報受信部が受信する前記環境情報を前記共通環境地図に追加する共通追加部と、を含む、
    　ことを特徴とする環境地図管理システム。
  7. 　複数の前記個別環境地図管理装置を含み、
    　前記環境情報受信部は、前記複数の前記個別環境地図管理装置のそれぞれから送信される前記環境情報を受信する、
    　ことを特徴とする請求項６に記載の環境地図管理システム。
  8. 　着目ユーザが利用可能な個別環境地図にアクセスするステップと、
    　前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスするステップと、
    　前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加するステップと、
    　前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御するステップと、
    　を含むことを特徴とする環境地図管理方法。
  9. 　着目ユーザが利用可能な個別環境地図にアクセスする手順、
    　前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする手順、
    　前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加する手順、
    　前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2019/008193 2019-03-01 2019-03-01 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム WO2020178916A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/008193 WO2020178916A1 (ja) 2019-03-01 2019-03-01 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム
JP2021503266A JP7218426B2 (ja) 2019-03-01 2019-03-01 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム
US17/431,520 US11906322B2 (en) 2019-03-01 2019-03-01 Environment map management device, environment map management system, environment map management method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008193 WO2020178916A1 (ja) 2019-03-01 2019-03-01 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020178916A1 true WO2020178916A1 (ja) 2020-09-10

Family

ID=72337049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008193 WO2020178916A1 (ja) 2019-03-01 2019-03-01 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム

Country Status (3)

Country Link
US (1) US11906322B2 (ja)
JP (1) JP7218426B2 (ja)
WO (1) WO2020178916A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186808A (ja) * 2010-03-09 2011-09-22 Sony Corp 情報処理装置、マップ更新方法、プログラム及び情報処理システム
JP2013242738A (ja) * 2012-05-22 2013-12-05 Sharp Corp ロボット装置、端末装置、ロボット装置の遠隔操作システム及びプログラム
JP2018519558A (ja) * 2015-05-11 2018-07-19 グーグル エルエルシー 移動体装置ローカリゼーションのためのエリア記述ファイルのクラウドソーシングによる作成および更新

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
JP6048894B2 (ja) * 2012-03-08 2016-12-21 パナソニックＩｐマネジメント株式会社 地図情報の管理方法、ナビゲーションシステム、情報端末、および、ナビゲーション装置
US20180350216A1 (en) 2014-01-03 2018-12-06 Google Inc. Generating Representations of Interior Space
US9854206B1 (en) * 2016-12-22 2017-12-26 TCL Research America Inc. Privacy-aware indoor drone exploration and communication framework
US10169850B1 (en) * 2017-10-05 2019-01-01 International Business Machines Corporation Filtering of real-time visual data transmitted to a remote recipient
US10867061B2 (en) * 2018-09-28 2020-12-15 Todd R. Collart System for authorizing rendering of objects in three-dimensional spaces

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186808A (ja) * 2010-03-09 2011-09-22 Sony Corp 情報処理装置、マップ更新方法、プログラム及び情報処理システム
JP2013242738A (ja) * 2012-05-22 2013-12-05 Sharp Corp ロボット装置、端末装置、ロボット装置の遠隔操作システム及びプログラム
JP2018519558A (ja) * 2015-05-11 2018-07-19 グーグル エルエルシー 移動体装置ローカリゼーションのためのエリア記述ファイルのクラウドソーシングによる作成および更新

Also Published As

Publication number Publication date
US20220136858A1 (en) 2022-05-05
JPWO2020178916A1 (ja) 2021-09-30
JP7218426B2 (ja) 2023-02-06
US11906322B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
US11165959B2 (en) Connecting and using building data acquired from mobile devices
AU2019356907B2 (en) Automated control of image acquisition via use of acquisition device sensors
CA3058602C (en) Automated mapping information generation from inter-connected images
CN112805748B (zh) 使用深度提示对深度估计模型的自我监督训练
US9728009B2 (en) Augmented reality based management of a representation of a smart environment
US12092479B2 (en) Map feature identification using motion data and surfel data
KR20190089681A (ko) 파노라마 뷰에 대한 ３차원 모델을 생성하는 방법 및 시스템
US9191782B2 (en) 2D to 3D map conversion for improved navigation
TW201539385A (zh) 利用方向感應之侵入偵測技術
US20160298969A1 (en) Graceful sensor domain reliance transition for indoor navigation
CA3143960A1 (en) Spatial processing for map geometry simplification
KR102540594B1 (ko) 단일 이미지로부터의 횡단 가능 공간 판정
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices
WO2020178916A1 (ja) 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム
JP7495502B2 (ja) マッピング装置、トラッカー、マッピング方法及びプログラム
JP7291251B2 (ja) 環境地図管理装置、環境地図管理方法及びプログラム
JP7232909B2 (ja) 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造
US20230366973A1 (en) Map generation system and method
US20230277943A1 (en) Mapping traversable space in a scene using a three-dimensional mesh
JP2021131713A (ja) 自己位置推定システム及び移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917708

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503266

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19917708

Country of ref document: EP

Kind code of ref document: A1