WO2020255409A1 - 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造 - Google Patents

要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造 Download PDF

Info

Publication number
WO2020255409A1
WO2020255409A1 PCT/JP2019/024817 JP2019024817W WO2020255409A1 WO 2020255409 A1 WO2020255409 A1 WO 2020255409A1 JP 2019024817 W JP2019024817 W JP 2019024817W WO 2020255409 A1 WO2020255409 A1 WO 2020255409A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
element data
sensing
time
environmental
Prior art date
Application number
PCT/JP2019/024817
Other languages
English (en)
French (fr)
Inventor
良徳 大橋
敬之 越智
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2021528627A priority Critical patent/JP7232909B2/ja
Priority to PCT/JP2019/024817 priority patent/WO2020255409A1/ja
Priority to US17/615,148 priority patent/US20220237865A1/en
Publication of WO2020255409A1 publication Critical patent/WO2020255409A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • the present invention relates to an element data management device, an element data management method, a program, and a data structure of element data.
  • the SLAM Simultaneous Localization and Mapping
  • feature points are specified based on sensing data acquired by the tracker, such as an image taken by a camera provided by the tracker. Then, the position or orientation of the tracker is estimated and the environment map is updated based on the specified feature points and the environment map stored in advance.
  • life log technology that records human life experiences as digital data such as video, audio, and location information is known.
  • the inventor is considering including the environment map as a part of the life log and displaying the environment map at the present time specified by the user.
  • the elements of the environmental map at multiple time points are not related to each other, and the utility value is not fully exhibited.
  • the present invention has been made in view of the above problems, and one of the objects thereof is to provide an element data management device, an element data management method, a program, and a data structure of element data capable of improving the utility value of an environmental map. There is.
  • the element data management device is based on the environmental data generated based on the sensing data acquired by the tracker and the time when the element represented by the environmental data is sensed.
  • One of the element data storage unit that stores at least one element data including the sensing time point data associated with the time range in which the existence in the real space is estimated, and the environmental data generated based on the new sensing data. It includes an element data specifying unit that identifies the element data to which the additional environment data, which is a unit or the whole, is associated, and an association unit that associates the element data including the additional environment data with the specified element data.
  • the recurrent time receiving unit that accepts the designation of the recurrent time point at which the environmental map should be reproduced and the plurality of element data stored in the element data storage unit are selected.
  • the environment map reproduction unit that generates the environment map at the present time is further included.
  • the element data includes a link to the other element data
  • the reproduction element identification unit is referred to by the link included in the element data in order from the element data which is a given root element.
  • the process of identifying the sensing time point data associated with the time range including the recurrent time range is recursively executed from among the other element data to be performed, and the environment map reproduction unit recursively executes the process.
  • the environment map at the present time may be generated by synthesizing the environment data included in each of the plurality of reproduction element data specified by executing the process.
  • the time range associated with the sensing time point data included in the element data includes a time range associated with the sensing time point data included in the element data referred to by the link included in the element data. It may be.
  • the plurality of element data stored in the element data storage unit are arranged on the root side as the time range associated with the sensing time point data included in the element data is longer. The shorter the data, the more the data of the network structure is arranged on the leaf side.
  • a plurality of texture data indicating textures associated with each time zone are associated with the element data indicating the mesh, and the environment map reproduction unit attaches the reproduction element data to the mesh indicated by the reproduction element data.
  • An environment map to which the texture indicated by the texture data associated with the time zone to which the recurrent time belongs, which is associated with, may be generated.
  • a plurality of vertex color data indicating the vertex colors associated with each time zone are associated with the element data indicating the mesh, and the environment map reproduction unit connects the vertex of the mesh indicated by the reproduction element data with the vertex color data.
  • An environment map in which the color indicated by the vertex color data associated with the time zone to which the recurrent time belongs, which is associated with the reproduction element data, may be set may be generated.
  • the environmental data appearing in the environmental map but based on the sensing data.
  • An extinguishing element specifying unit that specifies an extinguished element that does not appear in, and a deleting unit that deletes the extinguished element from the element data in which the extinguished element appears in a part, which is stored in the element data storage unit.
  • the association unit further includes, and the association unit associates the extinction environment data representing the extinction element with a time range in which the existence of the extinction element in the real space is estimated based on the time when the extinction element is sensed. The time point data and the new element data including the time point data are generated, and the new element data is associated with the element data in which the disappearing element partially appears.
  • the environmental data generated based on the sensing data acquired by the tracker and the existence of the element in the real space based on the time when the element represented by the environmental data is sensed are present.
  • Based on new sensing data from the sensing time point data associated with the estimated time range and at least one element data stored in the element data storage unit that stores at least one element data including the included element data. Includes a step of identifying the element data to which the additional environment data, which is a part or all of the generated environment data, is associated, and a step of associating the element data including the additional environment data with the identified element data. ..
  • the existence of the environmental data generated based on the sensing data acquired by the tracker and the existence of the element in the real space are estimated based on the time when the element represented by the environmental data is sensed. It is generated based on new sensing data from the sensing time point data associated with the time range and at least one element data stored in the element data storage unit that stores at least one element data including the data.
  • the computer is made to execute a procedure for identifying the element data to which the additional environmental data which is a part or all of the environment data is associated, and a procedure for associating the element data including the additional environment data with the identified element data.
  • the data structure of the element data is a data structure of the element data, and the environmental data generated based on the sensing data indicating the sensing result by the tracker and the element represented by the environmental data are sensed.
  • the sensing time point data included in the element data includes sensing time point data associated with a time range in which the element's presence in real space is estimated based on the time point, and links to other element data.
  • the associated time range includes a time range associated with the sensing time point data included in the element data referenced by the link included in the element data.
  • FIG. 1 is a configuration diagram showing an example of an environmental map management system 1 according to an embodiment of the present invention.
  • the environment map management system 1 includes a server 10 and a tracker 12.
  • the server 10 and the tracker 12 are connected to a computer network 14 such as the Internet. Then, in the present embodiment, the server 10 and the tracker 12 can communicate with each other.
  • the server 10 is, for example, a server computer used by a user of the environment map management system 1.
  • the server 10 includes a processor 20, a storage unit 22, and a communication unit 24.
  • the processor 20 is, for example, a program control device such as a CPU that operates according to a program installed in the server 10.
  • the storage unit 22 is, for example, a storage element such as a ROM or RAM, a hard disk drive, or the like.
  • a program or the like executed by the processor 20 is stored in the storage unit 22.
  • the communication unit 24 is a communication interface such as a network board or a wireless LAN module.
  • the tracker 12 is a device that tracks the position and orientation of the user who wears the tracker 12.
  • the tracker 12 includes a processor 30, a storage unit 32, a communication unit 34, a display unit 36, and a sensor unit 38.
  • the processor 30 is a program control device such as a microprocessor that operates according to a program installed on the tracker 12, for example.
  • the storage unit 32 is, for example, a storage element such as a memory. A program or the like executed by the processor 30 is stored in the storage unit 32.
  • the communication unit 34 is a communication interface such as a wireless LAN module.
  • the display unit 36 is a display arranged in front of the tracker 12, such as a liquid crystal display or an organic EL display.
  • the display unit 36 according to the present embodiment can display a three-dimensional image by displaying, for example, an image for the left eye and an image for the right eye.
  • the display unit 36 may not be able to display a three-dimensional image and may only display a two-dimensional image.
  • the sensor unit 38 is a sensor such as a camera, an inertial sensor (IMU), a geomagnetic sensor (direction sensor), a GPS (Global Positioning System) module, a depth sensor, or the like.
  • the camera included in the sensor unit 38 captures an image at a predetermined sampling rate, for example.
  • the geomagnetic sensor included in the sensor unit 38 outputs data indicating the direction in which the tracker 12 faces to the processor 30 at a predetermined sampling rate.
  • the inertial sensor included in the sensor unit 38 outputs data indicating the acceleration, rotation amount, movement amount, etc. of the tracker 12 to the processor 30 at a predetermined sampling rate.
  • the GPS module included in the sensor unit 38 outputs data indicating the latitude and longitude of the tracker 12 to the processor 30 at a predetermined sampling rate.
  • the depth sensor included in the sensor unit 38 is, for example, a depth sensor using technologies such as ToF (Time of Flight), Patterned stereo, and Structured Light. The depth sensor outputs data indicating the distance from the tracker 12 to the processor 30 at a predetermined sampling rate.
  • the sensor unit 38 may include other sensors such as an RF sensor, an ultrasonic sensor, and an event driven sensor.
  • the tracker 12 may include, for example, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, a USB port, an input / output port such as an AUX port, headphones, a speaker, and the like.
  • HDMI registered trademark
  • AUX AUX Port
  • SLAM Simultaneous Localization and Mapping
  • self-position estimation for example, at least one of the position and orientation of the tracker 12 is estimated.
  • the global position and orientation of the tracker 12 may be estimated.
  • the environment map generated in this way is used for various processes such as VR (Virtual Reality) display and AR (Augmented Reality) display.
  • the utility value of the environmental map is improved as described below.
  • the SLAM processing generates environmental data based on the sensing data acquired by the tracker 12.
  • the environmental data is data indicating an object such as a point cloud, a 3D mesh, or a texture, which is generated based on the sensing data by, for example, SLAM processing.
  • the environment data generated in this way is accumulated in the server 10 as a part of the life log.
  • the environment map at the present time specified by the user is generated based on the environment data stored in the server 10.
  • the environment map generated in this way is displayed on the display unit 36 of the tracker 12, for example.
  • the storage capacity required to store the environment map becomes enormous. Become.
  • the storage capacity required for storing the environment map managed in chronological order can be saved as follows.
  • FIG. 3 is a functional block diagram showing an example of the functions implemented by the server 10 and the tracker 12 according to the present embodiment. It is not necessary that all the functions shown in FIG. 3 are implemented in the server 10 and the tracker 12 according to the present embodiment, and functions other than the functions shown in FIG. 3 may be implemented.
  • the server 10 includes an element data storage unit 40, a sensing data reception unit 42, a SLAM processing execution unit 44, an element data update unit 46, a recurrent reception unit 48, and a reproduction element.
  • a specific unit 50, an environment map reproduction unit 52, and a reproduction environment map transmission unit 54 are included.
  • the element data storage unit 40 mainly implements the storage unit 22.
  • the sensing data receiving unit 42, the recurrent reception unit 48, and the reproduction environment map transmitting unit 54 are mainly implemented with the communication unit 24.
  • the SLAM processing execution unit 44, the element data update unit 46, the reproduction element identification unit 50, and the environment map reproduction unit 52 are mainly implemented with the processor 20.
  • the above functions may be implemented by executing a program installed on the server 10 which is a computer and including a command corresponding to the above functions on the processor 20.
  • This program may be supplied to the server 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.
  • the tracker 12 includes, for example, a sensing data acquisition unit 60, a sensing data transmission unit 62, a recurrent transmission unit 64, a reproduction environment map reception unit 66, and a display control unit 68.
  • the sensing data acquisition unit 60 mainly mounts the processor 30 and the sensor unit 38.
  • the sensing data transmission unit 62, the recurrent transmission unit 64, and the reproduction environment map reception unit 66 are mainly implemented with the communication unit 34.
  • the display control unit 68 mainly mounts the processor 30 and the display unit 36.
  • the above functions may be implemented by executing a program installed on the tracker 12 which is a computer and including a command corresponding to the above functions on the processor 30.
  • This program may be supplied to the tracker 12 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.
  • the element data storage unit 40 stores, for example, at least one element data.
  • the element data according to the present embodiment includes environmental data and sensing time point data.
  • the environmental data is, for example, data indicating an object such as a point cloud, a 3D mesh, or a texture, which is generated based on the sensing data by SLAM processing as described above.
  • the sensing time point data is data associated with the time point when an element such as an object or a part of the object represented by the environmental data is sensed.
  • the representation format of the time point in the sensing time point data is not particularly limited, and is represented by, for example, a date, a date and time, a time, and a time stamp.
  • FIG. 4 is a diagram showing an example of a data structure of mesh element data, which is an example of element data according to the present embodiment.
  • the mesh element data is data associated with a mesh such as a 3D mesh.
  • the mesh element data shown in FIG. 4 includes an element ID, a mesh data, a texture element ID list, sensing time point data, and a child element ID list.
  • the element ID included in the mesh element data is the identification information of the mesh element data.
  • the mesh data included in the mesh element data is an example of the above-mentioned environmental data, and is data indicating a mesh such as a 3D mesh and the position and orientation in which the mesh is arranged.
  • the element ID of the texture element data associated with the mesh element data is set. That is, the texture element ID list is a link to the texture element data associated with the mesh element data. A plurality of element IDs may be set in the texture element ID list.
  • the sensing time point data included in the mesh element data includes the occurrence time point data and the disappearance time point data.
  • the occurrence time data included in the mesh element data is, for example, data indicating the time when the element represented by the mesh indicated by the mesh data included in the mesh element data is first sensed.
  • the disappearance time data included in the mesh element data is, for example, when it is confirmed that the element represented by the mesh indicated by the mesh data included in the mesh element data has disappeared in the real space based on the sensing data. It is the data which shows.
  • the disappearance time point data is, for example, data indicating a time point when it is confirmed that the element represented by the mesh has disappeared in the real space based on the latest sensing data.
  • the sensing time point data may be data associated with a time range in which the existence of the element in the real space is estimated based on the time point when the element represented by the environmental data is sensed.
  • the time range from the time point indicated by the generation time point data included in the mesh element data to the time point indicated by the disappearance time point data corresponds to the time range in which the existence of the element represented by the element data in the real space is estimated.
  • values may not be set for at least one of the data at the time of occurrence and the data at the time of disappearance.
  • the fact that the extinction time data included in the element data is not set corresponds to the end of the time range in which the existence of the element represented by the element data is estimated in the real space is not set.
  • the fact that the occurrence time data included in the element data is not set corresponds to the fact that the start of the time range in which the existence of the element represented by the element data in the real space is estimated is not set.
  • the element IDs of other mesh element data associated as child elements of the mesh element data are set.
  • a plurality of element IDs may be set in the child element ID list.
  • FIG. 5 is a diagram showing an example of a data structure of texture element data, which is another example of element data according to the present embodiment.
  • the texture element data is, for example, data associated with a texture attached to a 3D mesh.
  • the mesh element data shown in FIG. 5 includes element ID, texture data, and sensing time point data.
  • the element ID included in the texture element data is the identification information of the texture element data.
  • the texture data included in the texture element data is data indicating the texture to be attached to a mesh such as a 3D mesh.
  • the sensing time point data is, for example, data indicating a time point when the texture indicated by the texture data included in the texture element data is sensed.
  • FIG. 6 is a diagram schematically showing an example of the relationship between the element data according to the present embodiment.
  • the elements M1 to M7 shown in FIG. 6 correspond to the mesh element data.
  • the elements T1 to T8 shown in FIG. 6 correspond to the texture element data.
  • element data having no associated parent element that is, an element in which the element ID of the element data is not set in the child element ID list of any element data stored in the element data storage unit 40.
  • the data will be called root element data.
  • the element M1 is the root element data.
  • the child elements of the element M1 are the element M2 and the element M3. Further, two texture element data (element T1 and element T2) are associated with the element M1. Then, the child elements of the element M2 are the element M4 and the element M5. Further, one texture element data (element T3) is associated with the element M2. One texture element data (element T4) is associated with the element M3. The child elements of element M4 are element M6 and element M7. Further, one texture element data (element T5) is associated with the element M4. One texture element data (element T6) is associated with the element M5. One texture element data (element T7) is associated with the element M6. One texture element data (element T8) is associated with the element M7.
  • a plurality of element data are managed by a network structure (for example, a tree structure) in which a plurality of element data are associated with each other.
  • the plurality of element data are network structure data arranged on the root side as the time range associated with the sensing time point data included in the element data is longer, and arranged on the leaf side as the time range is shorter. ..
  • the sensing data acquisition unit 60 acquires the sensing data generated by the sensor unit 38 of the tracker 12, for example.
  • the sensing data acquired by the sensing data acquisition unit 60 may include, for example, an image taken by a camera included in the sensor unit 38 of the tracker 12. Further, the sensing data acquired by the tracker 12 may include the depth data measured by the camera or the depth sensor included in the sensor unit 38 of the tracker 12.
  • the sensing data acquired by the tracker 12 may include data indicating the orientation of the tracker 12 measured by the geomagnetic sensor included in the sensor unit 38 of the tracker 12. Further, the sensing data acquired by the tracker 12 may include data indicating the acceleration, rotation amount, movement amount, etc. of the tracker 12 measured by the inertial sensor included in the sensor unit 38.
  • the sensing data acquired by the tracker 12 may include data indicating the latitude and longitude of the tracker 12 measured by the GPS module included in the sensor unit 38. Further, the sensing data acquired by the tracker 12 may include a feature point cloud (keyframe).
  • the sensing data transmission unit 62 transmits, for example, the sensing data acquired by the sensing data acquisition unit 60 to the server 10.
  • sensing data associated with sensing time point data indicating a time point at which sensing by the tracker 12 is performed is transmitted.
  • the acquisition and transmission of sensing data in the tracker 12 are repeatedly executed.
  • the sensing data receiving unit 42 receives the sensing data transmitted by the tracker 12, for example.
  • the SLAM processing execution unit 44 executes SLAM processing including estimation of the position or orientation of the tracker 12 based on the sensing data received by the sensing data receiving unit 42, for example.
  • the global position and orientation of the tracker 12 may be estimated.
  • the SLAM processing execution unit 44 may execute SLAM processing including relocalization processing, loop closing processing, 3D meshing processing, object recognition processing, and the like.
  • the SLAM process may include a plane detection / 3D mesh segmentation process.
  • Plane detection / 3D mesh segmentation processing refers to the processing of detecting continuous planes such as the ground and walls and dividing the entire 3D mesh into individual 3D meshes such as the ground, buildings, and trees.
  • the SLAM process may include a 3D mesh optimization process.
  • the 3D mesh optimization process refers to a process of removing presumed moving objects, dust due to noise, etc., reducing the number of polygons, and smoothing the surface of the mesh from the 3D mesh.
  • the SLAM process may include a texture generation process.
  • the texture generation process refers to a process of generating a texture image for a 3D mesh based on the colors of the vertices of the mesh.
  • the SLAM processing execution unit 44 may store the sensing data received by the sensing data receiving unit 42. Then, the SLAM process may be executed using the time-series sensing data.
  • Environmental data such as mesh data and texture data is generated by the above-mentioned SLAM processing executed by the SLAM processing execution unit 44.
  • the SLAM processing execution unit 44 may access the element data stored in the element data storage unit 40 and the environment map generated based on the element data when executing the SLAM processing.
  • the environmental data based on the new sensing data (the last sensing data received by the server 10) will be referred to as the latest environmental data.
  • the element data update unit 46 generates the latest environment map based on a plurality of element data stored in the element data storage unit 40, for example. Then, the element data update unit 46 identifies the difference between a part of the latest environment map and the latest environment data.
  • the element data update unit 46 specifies the difference between a part of the latest environment map corresponding to the position of the element appearing in the latest environment data in the real space and the latest environment data.
  • the element data update unit 46 represents additional environmental data that is a part or all of the latest environment data and represents an element that does not appear in the latest environment map based on a plurality of element data stored in the element data storage unit 40. To generate.
  • the element data update unit 46 specifies, for example, a part of the latest environmental data that represents an element that does not appear in the latest environmental map. If the elements represented by the latest environmental data do not appear in the latest environmental map at all, all of the latest environmental data is specified. Then, the element data update unit 46 generates additional environmental data representing a part or all of the environmental data specified in this way.
  • additional environment data There are two types of additional environment data: additional mesh data indicating a mesh and additional texture data indicating a texture.
  • the element data update unit 46 generates new element data including the additional environment data generated in this way.
  • new element data including additional environment data will be referred to as additional element data.
  • new element data including additional mesh data is referred to as additional mesh element data
  • new element data including additional texture data is referred to as additional texture element data.
  • the element data update unit 46 stores the additional element data in the element data storage unit 40.
  • the newly assigned identification information is set in the element ID of the additional mesh element data.
  • the additional mesh data is set in the mesh data included in the additional mesh element data.
  • the texture element ID of the texture data (for example, additional texture data) indicating the texture of the element represented by the additional mesh data is set.
  • the value of the sensing time point data associated with the latest sensing data is set in the value of the occurrence time point data included in the additional mesh element data.
  • the element data update unit 46 specifies the mesh element data to which the additional mesh data is associated. For example, the mesh element data of the mesh adjacent to the mesh indicated by the additional mesh data is specified. Then, the element data update unit 46 adds the element ID of the additional mesh element data to the child element ID list of the specified mesh element data. In this way, additional mesh element data is registered as a child element of the specified mesh element data. In this way, the element data update unit 46 associates the additional mesh element data with the specified mesh element data.
  • Newly assigned identification information is set in the element ID of the additional texture element data.
  • the additional texture data is set in the texture data included in the additional texture element data.
  • the value of the sensing time point data associated with the latest sensing data is set in the value of the sensing time point data included in the additional texture element data.
  • the element data update unit 46 may specify a mesh to which the texture indicated by the additional texture data is attached. Then, the element ID of the additional texture data may be added to the texture element ID list of the mesh data indicating the mesh.
  • the element data update unit 46 identifies an extinguished element that appears in the environmental map but does not appear in the latest environmental data in the latest environmental map. Then, the element data update unit 46 generates the extinction environment data representing the extinction element specified in this way.
  • extinction environment data There are two types of extinction environment data: extinction mesh data indicating a mesh and extinction texture data indicating a texture.
  • the element data update unit 46 deletes the disappearing element from the element data in which the disappearing element partially appears, for example.
  • a part of the mesh data is deleted.
  • the element data update unit 46 includes new disappearance environment data and sensing time point data associated with a time range in which the existence of the disappearing element in the real space is estimated based on the time when the disappearing element is sensed. Element data is generated.
  • new element data including the extinction environment data will be referred to as extinction element data.
  • New element data including the annihilation mesh data will be referred to as annihilation mesh element data.
  • new element data including the disappearance texture data will be referred to as disappearance texture element data.
  • the element data update unit 46 stores the disappearing element data in the element data storage unit 40.
  • Newly assigned identification information is set in the element ID of the disappearance mesh element data.
  • the disappearance mesh data is set in the mesh data included in the disappearance mesh element data.
  • the texture element ID list included in the disappearance mesh element data the texture element ID of the texture data indicating the texture of the element represented by the disappearance mesh data is set.
  • the value of the occurrence time data of the mesh element data in which a part corresponding to the disappearance element is deleted is set as the value of the occurrence time data included in the disappearance mesh element data.
  • the mesh element data in which a part corresponding to the disappearing element is deleted is set as the parent element of the disappearing mesh element data.
  • the value of the generation time data of the mesh element data which is the parent element of the disappearance mesh element data is set as the value of the generation time data included in the disappearance mesh element data.
  • the value of the sensing time point data associated with the latest sensing data is set in the value of the disappearance time point data included in the disappearance mesh element data.
  • the element data update unit 46 specifies the mesh element data associated with the disappearance mesh data. For example, the mesh element data in which a part corresponding to the disappearing element is deleted is specified. Then, the element ID of the disappearing mesh element data is added to the child element ID list of the specified mesh element data. In this way, the disappearing mesh element data is registered as a child element of the specified mesh element data.
  • Newly assigned identification information is set in the element ID of the disappearing texture element data.
  • the disappearance texture data is set in the texture data included in the disappearance texture element data.
  • the value of the sensing time point data associated with the latest sensing data is set as the value of the sensing time point data included in the disappearance texture element data.
  • the element data update unit 46 may specify a mesh to which the texture indicated by the disappeared texture data is attached. Then, the element ID of the disappearing texture data may be added to the texture element ID list of the mesh data indicating the mesh.
  • the element data update unit 46 sets the value of the sensing time point data associated with the latest sensing data to the value of the disappearance time point data included in the element data.
  • the time range associated with the sensing time point data included in the element data includes the time range associated with the sensing time point data included in the element data referenced by the link included in the element data. ..
  • the time range associated with the sensing time point data included in the mesh element data includes the time range associated with the sensing time point data included in the mesh element data which is a child element of the mesh element data. ..
  • the recurrent time transmission unit 64 generates, for example, recurrent time data indicating the recurrent time according to the operation of specifying the recurrent time by the user, and transmits the recurrent time data to the server 10.
  • the representation format of the time point in the recurrent data is not particularly limited, and is represented by, for example, a date, a date and time, a time, and a time stamp.
  • the re-current time reception unit 48 accepts, for example, the designation of the re-current time, which is the time when the environmental map should be reproduced.
  • the recurrent reception unit 48 receives, for example, the recurrent data transmitted from the tracker 12.
  • the reproduction element specifying unit 50 identifies, for example, a plurality of element data stored in the element data storage unit 40, including a plurality of sensing time point data associated with a time range including the recurrent time. To do.
  • the element data including the sensing time point data associated with the time range including the recurrent time will be referred to as the reproduction element data.
  • the mesh element data is the reproduction element data that the re-current time is included between the time point indicated by the occurrence time point data and the time point indicated by the disappearance time point data included in the mesh element data. .. Then, the mesh element data satisfying the condition is specified as the reproduction element data.
  • the time point indicated by the occurrence time data is specified as the reproduction element data before the recurrent time.
  • the time point indicated by the disappearance time data is specified as the reproduction element data after the re-current time.
  • the texture element data that matches the time point indicated by the sensing time point data and the re-current time point is specified.
  • the texture element data whose time point indicated by the sensing time point data is closest to the re-current time may be specified.
  • the texture element data whose time point indicated by the sensing time point data is closest to the recurrent time may be specified from those whose time point indicated by the sensing time point data is before the recurrent time.
  • the environmental map reproduction unit 52 generates an environmental map at the present time again by synthesizing the environmental data included in each of the reproduction element data specified by the reproduction element identification unit 50, for example.
  • an environmental map at the time indicated by the recurrent data received from the tracker 12 is generated.
  • the environment map generated in this way will be referred to as a reproduction environment map.
  • the reproduction environment map transmission unit 54 transmits, for example, the reproduction environment map generated by the environment map reproduction unit 52 to the tracker 12.
  • the reproduction environment map generated by the environment map reproduction unit 52 may be transmitted from the position in the environment map corresponding to the position of the tracker 12.
  • the reproduction environment map receiving unit 66 receives data such as a reproduction environment map transmitted by the reproduction environment map transmission unit 54, for example.
  • the display control unit 68 executes various processes such as VR display and AR display using data such as the reproduction environment map received by the reproduction environment map receiving unit 66.
  • the sensing data receiving unit 42 receives the latest sensing data (S101).
  • the SLAM processing execution unit 44 executes the SLAM processing based on the sensing data received in the processing shown in S101 (S102).
  • the latest environment data is generated by executing the process shown in S102.
  • the element data update unit 46 includes the latest environment data generated by the process shown in S102 and a part of the latest environment map generated based on the plurality of element data stored in the element data storage unit 40. , And specify the difference (S103).
  • the element data update unit 46 generates the latest environment map by synthesizing a plurality of element data, and specifies the difference between a part of the generated environment map and the latest environment data. May be good.
  • the element data update unit 46 generates additional environment data and disappearance environment data based on the specific result in the process shown in S103 (S104).
  • the element data update unit 46 selects one of the additional environment data generated in the process shown in S104 that has not been executed in the processes shown in S106 and S107 (S105).
  • the element data update unit 46 specifies the element data associated with the additional environment data selected in the process shown in S105 (S106).
  • the element data update unit 46 generates additional element data including the additional environment data selected in the process shown in S105, and uses the additional element data as an element associated with the element data specified in the process shown in S106.
  • Register (S107) Here, the additional mesh element data is registered as a child element of the element data specified in the process shown in S106.
  • the element data update unit 46 confirms whether or not the processes shown in S105 to S107 have been executed for all the additional environment data generated in the process shown in S104 (S108).
  • the element data update unit 46 selects one of the disappearance environment data generated in the process shown in S104 that has not been executed in the processes shown in S110 to S114 (S109).
  • the element data update unit 46 specifies the element data associated with the disappearance environment data selected in the process shown in S109 (S110).
  • the element data update unit 46 determines whether or not the environment data included in the element data specified in the process shown in S110 matches the disappearing environment data selected in the process shown in S109 (S111).
  • the element data update unit 46 generates the disappearing element data including the disappearing environment data selected in the process shown in S109, and uses the disappeared element data as an element associated with the element data specified in the process shown in S110.
  • Register (S114) Here, the disappearance mesh element data is registered as a child element of the element data specified in the process shown in S110.
  • the element data update unit 46 confirms whether or not the processes shown in S109 to S114 have been executed for all the disappearance environment data generated in the process shown in S104 (S115).
  • the recurrent reception unit 48 receives the recurrent data transmitted from the tracker 12 (S201).
  • the reproduction element specifying unit 50 specifies the mesh indicated by the mesh data included in the root element data (S202).
  • the reproduction element specifying unit 50 specifies the texture element data referred to by the texture element ID list included in the root element data, and specifies the texture indicated by the texture data included in the specified texture element data (S203). ..
  • the texture element data corresponding to each of the plurality of element IDs is based on the recurrent time indicated by the recurrent time data. One of them is selected. Then, the texture indicated by the texture data included in the selected texture element data is specified.
  • the environment map reproduction unit 52 generates a reproduction environment map which is an environment map in which the texture specified by the process shown in S203 is attached to the mesh specified by the process shown in S202 (S204).
  • the reproduction element specifying unit 50 specifies the reproduction element data from the mesh element data which is a child element of the root element data (S205).
  • the reproduction element specifying unit 50 selects one of the reproduction element data specified in the process shown in S205 that has not been executed the subroutine process shown in FIG. 9 described later (S206).
  • reproduction element specifying unit 50 and the environment map reproduction unit 52 execute the subroutine process shown in FIG. 9 with the reproduction element data selected in the process shown in S206 as an argument (S207).
  • the reproduction element specifying unit 50 confirms whether or not the subroutine processing shown in FIG. 9 has been executed for all the reproduction element data specified in the process shown in S205 (S208).
  • the reproduction environment map transmission unit 54 transmits the reproduction environment map to the tracker 12 (S209), and ends the process shown in this processing example.
  • the reproduction element specifying unit 50 specifies the mesh indicated by the mesh data included in the reproduction element data (S301).
  • the reproduction element specifying unit 50 specifies the texture element data referred to by the texture element ID list included in the reproduction element data, and specifies the texture indicated by the texture data included in the specified texture element data (S302). ..
  • the texture element data corresponding to each of the plurality of element IDs is based on the recurrent time indicated by the recurrent time data. One of them is selected. Then, the texture indicated by the texture data included in the selected texture element data is specified.
  • the environment map reproduction unit 52 generates an environment map in which the texture specified by the process shown in S302 is attached to the mesh specified by the process shown in S301, and uses the generated environment map as the reproduction environment map. Add (S303).
  • the reproduction element specifying unit 50 confirms whether or not there is a mesh element data that is a child element of the reproduction element data that satisfies the condition of being the reproduction element data (S304).
  • the reproduction element specifying unit 50 and the environment map reproduction unit 52 take the child element as an argument for each of the child elements satisfying the condition of being the reproduction element data, as shown in FIG.
  • Subroutine processing (S301 to S305) is recursively executed (S305).
  • the utility value of the environmental map is improved by making the element data associated with each of the plurality of time points associated with each other as described above.
  • the storage capacity required for storing the environment map managed in time series can be saved as compared with the case where the environment map at various time points is stored in time series.
  • the reproduction element specifying unit 50 recursively performs a process of specifying the mesh element data which is a child element, in order from the root element data, which satisfies the condition of being the reproduction element data. Execute.
  • the time range associated with the sensing time point data included in the element data includes the time range associated with the sensing time point data included in the child element of the element data. Therefore, when it is confirmed that a certain element data does not satisfy the condition of the reproduction element data, it is found that the child element also does not satisfy the condition of the reproduction element data. Therefore, it is not necessary to access the child element. Therefore, the reproduction environment map can be generated without accessing all the element data stored in the element data storage unit 40.
  • the sensing time point data included in the texture element data may indicate a time zone such as "morning”, "daytime”, “night”, or the like. Then, when registering the texture element data, a value corresponding to the time zone to which the time point indicated by the sensing time point data associated with the latest sensing data belongs may be set in the sensing time point data. Then, a plurality of texture element data associated with each other in different time zones may be associated with each other by the texture element ID list of the mesh element data.
  • the environment map reproduction unit 52 uses the texture element data to display the texture indicated by the texture data associated with the sensing time point data associated with the time zone to which the recurrent time belongs. You may generate a pasted environmental map.
  • the texture element data including the sensing time point data associated with the time zone to which the recurrent time belongs is selected from the texture element data referenced by the texture element ID list included in the root element data. You may. Then, the texture indicated by the texture data included in the texture element data may be specified. Then, in the process shown in S204, a reproduced environment map which is an environment map in which the texture specified in this way is attached to the mesh specified in the process shown in S202 may be generated.
  • the texture element data including the sensing time point data associated with the time zone to which the recurrent time belongs is selected from the texture element data referred by the texture element ID list included in the root element data. May be done. Then, the texture indicated by the texture data included in the texture element data may be specified. Then, in the process shown in S303, an environment map in which the texture specified in this way is attached to the mesh specified in the process shown in S301 may be added to the reproduced environment map.
  • vertex color data indicating the vertex color may be used instead of the texture data.
  • the environment map reproduction unit 52 may generate an environment map in which the colors indicated by the vertex color data associated with the reproduction element data are set at the vertices of the mesh indicated by the reproduction element data.
  • a plurality of vertex color data associated with each time zone may be associated with the element data indicating the mesh. Then, the environment map reproduction unit 52 sets the color indicated by the vertex color data associated with the reproduction element data and associated with the time zone to which the recurrent time belongs, at the apex of the mesh indicated by the reproduction element data. An environmental map may be generated.
  • texture element data according to the present embodiment may be the same data as the mesh element data, which is associated with the time range in which the existence in the real space is estimated.
  • the element data at the end (leaf) or the element data having a small number of links with the element data at the end and having a short time range in which the existence in the real space is estimated is the element data. It is highly possible that it is a moving object such as a person. Therefore, such element data may be deleted.
  • the number of links between the terminal element data or the element data is a predetermined number or less (for example, 3 or less), and the length of time from the time point indicated by the occurrence time point data to the time point indicated by the extinction time point data is predetermined. Element data shorter than the length of time may be deleted.
  • the environment map reproduction unit 52 may generate a four-dimensional environment map including three-dimensional space and time in dimensions based on the environment data corresponding to the sensing data acquired by the tracker. ..
  • the environment map reproduction unit 52 may generate a four-dimensional environment map including three-dimensional space and time in dimensions based on a plurality of element data stored in the element data storage unit 40.
  • the environment map reproduction unit 52 may generate an environment map for a plurality of recurrent times, and may generate a four-dimensional environment map including the generated plurality of environment maps. Then, the recurrent transmission unit 64 may transmit the generated four-dimensional environment map to the tracker 12.
  • the environment map reproduction unit 52 may generate a recurrent environment map received by the recurrent reception unit 48 based on the generated four-dimensional environment map. Then, the recurrent transmission unit 64 may transmit the generated environment map to the tracker 12.
  • the newly generated environmental data may not be registered. In this case, the registered environmental data will be used instead of the newly generated environmental data.
  • This embodiment can be used, for example, in a scene where an event such as a trip performed at a designated date and time is relived, or a memory is relived at a designated date and time.
  • the element data storage unit 40 may also store data indicating the position of the user's viewpoint and the time series in the line-of-sight direction. Then, an environment map of a specific date and time may be generated so that changes in the appearance of the environment map viewed from the viewpoint may be displayed according to the time series of the user's viewpoint and line-of-sight direction at this time. ..
  • this embodiment can be used in a scene where the construction process of a specific building is fast-forwarded and reproduced. For example, an environmental map for the same place may be displayed continuously over time.
  • the present invention is not limited to the above-described embodiment.
  • the division of roles between the server 10 and the tracker 12 is not limited to the above.
  • some or all of the functions of the server 10 may be implemented in the tracker 12.
  • the tracker 12 may execute the generation of environmental data based on the sensing data. Then, the environment data may be transmitted from the tracker 12 to the server 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

環境地図の利用価値を向上できる要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造を提供する。要素データ記憶部（４０）は、トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する。要素データ更新部（４８）は、新たなセンシングデータに基づいて生成される環境データに基づいて、当該環境データの一部又は全部である追加環境データが関連付けられる要素データを特定する。要素データ更新部（４８）は、特定される要素データに追加環境データを含む要素データを関連付ける。

Description

要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造
　本発明は、要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造に関する。
　トラッカーの位置の推定及び環境地図作成を行うＳＬＡＭ（Simultaneous Localization and Mapping）の技術が知られている。
　ＳＬＡＭの技術では、例えばトラッカーが備えるカメラにより撮影された撮影画像などといった、トラッカーが取得するセンシングデータに基づいて特徴点が特定される。そして特定される特徴点と予め記憶されている環境地図とに基づいて、トラッカーの位置又は向きの推定、及び、環境地図の更新が行われる。
　また、人間の生活体験を、映像や音声や位置情報などのデジタルデータとして記録するライフログの技術が知られている。
　発明者は、環境地図をライフログの一部に含め、ユーザによって指定された再現時点における環境地図を表示させることを検討している。
　しかし従来の環境地図は、複数の時点における環境地図の要素同士が互いに関連付けられておらず、その利用価値が充分発揮されていなかった。
　本発明は上記課題に鑑みてなされたものであって、その目的の１つは、環境地図の利用価値を向上できる要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造を提供することにある。
　上記課題を解決するために、本発明に係る要素データ管理装置は、トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部と、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定する要素データ特定部と、特定される前記要素データに前記追加環境データを含む前記要素データを関連付ける関連付け部と、を含む。
　本発明の一態様では、環境地図を再現すべき時点である再現時点の指定を受け付ける再現時点受付部と、前記要素データ記憶部に記憶されている複数の前記要素データのうちから、前記再現時点を含む時間範囲に対応付けられる前記センシング時点データを含むものである、再現要素データを複数特定する再現要素特定部と、特定される複数の前記再現要素データのそれぞれに含まれる前記環境データを合成することで、前記再現時点における環境地図を生成する環境地図再現部と、をさらに含む。
　この態様では、前記要素データは、他の前記要素データへのリンクを含み、前記再現要素特定部は、所与のルート要素である前記要素データから順に、当該要素データに含まれる前記リンクにより参照される他の前記要素データのうちから、前記再現時点を含む時間範囲に対応付けられる前記センシング時点データを含むものを特定する処理を再帰的に実行し、前記環境地図再現部は、再帰的な前記処理の実行によって特定される複数の前記再現要素データのそれぞれに含まれる前記環境データを合成することで、前記再現時点における環境地図を生成してもよい。
　さらに、前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲が含まれていてもよい。
　また、本発明の一態様では、前記要素データ記憶部に記憶されている複数の要素データは、当該要素データに含まれる前記センシング時点データに対応付けられる時間範囲が長いものであるほどルート側に配置され、短いものであるほどリーフ側に配置されたネットワーク構造のデータである。
　また、メッシュを示す前記要素データには、それぞれ時間帯に対応付けられるテクスチャを示すテクスチャデータが複数関連付けられており、前記環境地図再現部は、前記再現要素データが示すメッシュに、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる前記テクスチャデータが示すテクスチャが貼られた環境地図を生成してもよい。
　あるいは、メッシュを示す前記要素データには、それぞれ時間帯に対応付けられる頂点色を示す頂点色データが複数関連付けられており、前記環境地図再現部は、前記再現要素データが示すメッシュの頂点に、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる前記頂点色データが示す色が設定された環境地図を生成してもよい。
　また、本発明の一態様では、前記要素データ記憶部に記憶されている少なくとも１つの前記要素データに基づく最新の環境地図において、当該環境地図には表れているが前記センシングデータに基づく前記環境データには表れていない消滅要素を特定する消滅要素特定部と、前記要素データ記憶部に記憶されている、前記消滅要素が一部に表れている前記要素データから当該消滅要素を削除する削除部と、をさらに含み、前記関連付け部は、前記消滅要素を表す消滅環境データと、前記消滅要素がセンシングされた時点に基づいて当該消滅要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む新たな前記要素データを生成して、当該新たな要素データを前記消滅要素が一部に表れている前記要素データに関連付ける。
　また、本発明に係る要素データ管理方法は、トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部に記憶されている少なくとも１つの前記要素データのうちから、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定するステップと、特定される前記要素データに前記追加環境データを含む前記要素データを関連付けるステップと、を含む。
　また、本発明に係るプログラムは、トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部に記憶されている少なくとも１つの前記要素データのうちから、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定する手順、特定される前記要素データに前記追加環境データを含む前記要素データを関連付ける手順、をコンピュータに実行させる。
　また、本発明に係る要素データのデータ構造は、要素データのデータ構造であって、トラッカーによるセンシング結果を示すセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、他の前記要素データへのリンクと、を含み、前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲が含まれる。
本発明の一実施形態に係る環境地図管理システムの一例を示す構成図である。 本発明の一実施形態に係るサーバの一例を示す構成図である。 本発明の一実施形態に係るトラッカーの一例を示す構成図である。 本発明の一実施形態に係る環境地図管理システムで実装される機能の一例を示す機能ブロック図である。 メッシュ要素データのデータ構造の一例を示す図である。 テクスチャ要素データのデータ構造の一例を示す図である。 要素データ間の関係の一例を模式的に示す図である。 本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る環境地図管理システム１の一例を示す構成図である。図１に示すように、本実施形態に係る環境地図管理システム１には、サーバ１０とトラッカー１２とが含まれる。
　サーバ１０、トラッカー１２は、インターネット等のコンピュータネットワーク１４に接続されている。そして本実施形態では、サーバ１０とトラッカー１２とは、互いに通信可能となっている。
　本実施形態に係るサーバ１０は、例えば、環境地図管理システム１のユーザが利用するサーバコンピュータである。
　図２Ａに示すように、本実施形態に係るサーバ１０には、プロセッサ２０、記憶部２２、及び、通信部２４、が含まれる。プロセッサ２０は、例えばサーバ１０にインストールされているプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。通信部２４は、ネットワークボードや無線ＬＡＮモジュールなどといった通信インタフェースである。
　本実施形態に係るトラッカー１２は、当該トラッカー１２を装着したユーザの位置や向きを追跡する装置である。
　図２Ｂに示すように、本実施形態に係るトラッカー１２には、プロセッサ３０、記憶部３２、通信部３４、表示部３６、センサ部３８、が含まれる。
　プロセッサ３０は、例えばトラッカー１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部３２は、例えばメモリ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。
　表示部３６は、トラッカー１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部３６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
　センサ部３８は、例えばカメラ、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、ＧＰＳ（Global Positioning System）モジュール、デプスセンサなどといったセンサである。センサ部３８に含まれるカメラは、例えば所定のサンプリングレートで画像を撮影する。またセンサ部３８に含まれる地磁気センサは、トラッカー１２が向く方位を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれる慣性センサは、トラッカー１２の加速度、回転量、移動量などを示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれるＧＰＳモジュールは、トラッカー１２の緯度及び経度を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。センサ部３８に含まれるデプスセンサは、例えば、ＴｏＦ（Time of Flight）、Patterned stereo、Structured Lightなどの技術を用いたデプスセンサである。当該デプスセンサは、トラッカー１２からの距離を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。また、センサ部３８に、ＲＦセンサ、超音波センサ、イベントドリブンセンサなどの他のセンサが含まれていてもよい。
　なお本実施形態に係るトラッカー１２が、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポート、ヘッドホン、スピーカなどを含んでいてもよい。
　本実施形態では、トラッカー１２によって取得されるセンシングデータに基づいて、自己位置推定、及び、環境地図生成を含むＳＬＡＭ（Simultaneous Localization and Mapping）処理が実行される。当該自己位置推定においては、例えば、トラッカー１２の位置及び向きの少なくとも一方が推定される。ここでトラッカー１２のグローバルな位置や向きが推定されてもよい。また、このようにして生成される環境地図は、ＶＲ（Virtual Reality）表示やＡＲ（Augmented Reality）表示等の各種の処理に利用される。
　本実施形態では以下で説明するようにして、環境地図の利用価値が向上する。
　また、本実施形態では、ＳＬＡＭ処理によって、トラッカー１２が取得するセンシングデータに基づく環境データが生成される。環境データとは、本実施形態では例えば、ＳＬＡＭ処理によってセンシングデータに基づいて生成される、ポイントクラウド、３Ｄメッシュ、テクスチャなどのオブジェクトを示すデータである。そしてこのようにして生成される環境データがライフログの一部としてサーバ１０に蓄積される。そして、本実施形態では、サーバ１０に蓄積される環境データに基づいて、ユーザによって指定された再現時点における環境地図が生成される。このようにして生成される環境地図は、例えば、トラッカー１２の表示部３６に表示される。
　ここで指定された再現時点における環境地図が表示されるようにするために、様々な時点における環境地図を時系列でサーバ１０に記憶すると、環境地図を記憶するために必要な記憶容量が膨大になる。
　そこで本実施形態では以下のようにして、時系列で管理された環境地図の記憶に必要な記憶容量を節約できるようにした。
　以下、本実施形態に係るサーバ１０及びトラッカー１２の機能、及び、サーバ１０で行われる処理についてさらに説明する。
　図３は、本実施形態に係るサーバ１０及びトラッカー１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るサーバ１０及びトラッカー１２で、図３に示す機能のすべてが実装される必要はなく、また、図３に示す機能以外の機能が実装されていても構わない。
　図３に示すように、サーバ１０には、機能的には例えば、要素データ記憶部４０、センシングデータ受信部４２、ＳＬＡＭ処理実行部４４、要素データ更新部４６、再現時点受付部４８、再現要素特定部５０、環境地図再現部５２、再現環境地図送信部５４、が含まれる。要素データ記憶部４０は、記憶部２２を主として実装される。センシングデータ受信部４２、再現時点受付部４８、再現環境地図送信部５４は、通信部２４を主として実装される。ＳＬＡＭ処理実行部４４、要素データ更新部４６、再現要素特定部５０、環境地図再現部５２は、プロセッサ２０を主として実装される。
　以上の機能は、コンピュータであるサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してサーバ１０に供給されてもよい。
　また、図３に示すように、トラッカー１２には、機能的には例えば、センシングデータ取得部６０、センシングデータ送信部６２、再現時点送信部６４、再現環境地図受信部６６、表示制御部６８、が含まれる。センシングデータ取得部６０は、プロセッサ３０及びセンサ部３８を主として実装される。センシングデータ送信部６２、再現時点送信部６４、再現環境地図受信部６６は、通信部３４を主として実装される。表示制御部６８は、プロセッサ３０及び表示部３６を主として実装される。
　以上の機能は、コンピュータであるトラッカー１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してトラッカー１２に供給されてもよい。
　要素データ記憶部４０は、本実施形態では例えば、要素データを少なくとも１つ記憶する。本実施形態に係る要素データには、環境データとセンシング時点データとが含まれる。
　環境データとは、本実施形態では例えば、上述のように、ＳＬＡＭ処理によってセンシングデータに基づいて生成される、ポイントクラウド、３Ｄメッシュ、テクスチャなどのオブジェクトを示すデータである。
　センシング時点データとは、本実施形態では例えば、環境データが表す物体や物体の一部などといった要素がセンシングされた時点に対応付けられるデータである。センシング時点データにおける時点の表現形式は特に限定されず、例えば、年月日、日時、時刻、タイムスタンプなどによって表現される。
　図４は、本実施形態に係る要素データの一例であるメッシュ要素データのデータ構造の一例を示す図である。メッシュ要素データは、例えば、３Ｄメッシュなどのメッシュに対応付けられるデータである。図４に示すメッシュ要素データには、要素ＩＤ、メッシュデータ、テクスチャ要素ＩＤリスト、センシング時点データ、及び、子要素ＩＤリストが含まれる。
　メッシュ要素データに含まれる要素ＩＤは、当該メッシュ要素データの識別情報である。
　メッシュ要素データに含まれるメッシュデータは、上述の環境データの一例であり、３Ｄメッシュなどのメッシュ、及び、当該メッシュが配置される位置や向きを示すデータである。
　メッシュ要素データに含まれるテクスチャ要素ＩＤリストには、当該メッシュ要素データと関連付けられているテクスチャ要素データの要素ＩＤが設定される。すなわち、テクスチャ要素ＩＤリストは、当該メッシュ要素データと関連付けられているテクスチャ要素データへのリンクである。テクスチャ要素ＩＤリストには、複数の要素ＩＤが設定されてもよい。
　メッシュ要素データに含まれるセンシング時点データには、発生時点データと、消滅時点データと、が含まれる。
　メッシュ要素データに含まれる発生時点データは、本実施形態では例えば、当該メッシュ要素データに含まれるメッシュデータが示すメッシュが表す要素が最初にセンシングされた時点を示すデータである。
　メッシュ要素データに含まれる消滅時点データは、本実施形態では例えば、センシングデータに基づいて、当該メッシュ要素データに含まれるメッシュデータが示すメッシュが表す要素が実空間において消滅したことが確認された時点を示すデータである。消滅時点データは、例えば、最新のセンシングデータに基づいて、当該メッシュが表す要素が実空間において消滅したことが確認された時点を示すデータである。
　このように本実施形態に係るセンシング時点データが、環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるデータであってもよい。本実施形態では例えば、メッシュ要素データに含まれる発生時点データが示す時点から消滅時点データが示す時点までの時間範囲が、当該要素データが表す要素の実空間における存在が推定される時間範囲に相当する。
　なお本実施形態において、発生時点データ、及び、消滅時点データのうちの少なくとも一方について、値が設定されていなくてもよい。例えば、要素データに含まれる消滅時点データが設定されていないことは、当該要素データが表す要素の実空間における存在が推定される時間範囲の終わりが設定されていないことに相当する。また例えば、要素データに含まれる発生時点データが設定されていないことは、当該要素データが表す要素の実空間における存在が推定される時間範囲の始まりが設定されていないことに相当する。
　メッシュ要素データに含まれる子要素ＩＤリストには、当該メッシュ要素データの子要素として関連付けられている他のメッシュ要素データの要素ＩＤが設定される。子要素ＩＤリストには、複数の要素ＩＤが設定されてもよい。
　図５は、本実施形態に係る要素データの別の一例であるテクスチャ要素データのデータ構造の一例を示す図である。テクスチャ要素データは、例えば、３Ｄメッシュに貼られるテクスチャに対応付けられるデータである。図５に示すメッシュ要素データには、要素ＩＤ、テクスチャデータ、及び、センシング時点データが含まれる。
　テクスチャ要素データに含まれる要素ＩＤは、当該テクスチャ要素データの識別情報である。
　テクスチャ要素データに含まれるテクスチャデータは、３Ｄメッシュなどのメッシュに貼られるテクスチャを示すデータである。
　センシング時点データは、本実施形態では例えば、当該テクスチャ要素データに含まれるテクスチャデータが示すテクスチャがセンシングされた時点を示すデータである。
　図６は、本実施形態に係る要素データ間の関係の一例を模式的に示す図である。
　図６に示す要素Ｍ１～要素Ｍ７は、メッシュ要素データに対応する。図６に示す要素Ｔ１～要素Ｔ８は、テクスチャ要素データに対応する。以下、関連付けられている親要素がない要素データ、すなわち、要素データ記憶部４０に記憶されているいずれの要素データの子要素ＩＤリストにも当該要素データの要素ＩＤが設定されていないような要素データをルート要素データと呼ぶこととする。図６の例では要素Ｍ１がルート要素データである。
　そして、要素Ｍ１の子要素が、要素Ｍ２、要素Ｍ３である。また、要素Ｍ１には、２つのテクスチャ要素データ（要素Ｔ１、及び、要素Ｔ２）が関連付けられている。そして、要素Ｍ２の子要素が、要素Ｍ４及び要素Ｍ５である。また、要素Ｍ２には、１つのテクスチャ要素データ（要素Ｔ３）が関連付けられている。要素Ｍ３には、１つのテクスチャ要素データ（要素Ｔ４）が関連付けられている。要素Ｍ４の子要素が、要素Ｍ６及び要素Ｍ７である。また、要素Ｍ４には、１つのテクスチャ要素データ（要素Ｔ５）が関連付けられている。要素Ｍ５には、１つのテクスチャ要素データ（要素Ｔ６）が関連付けられている。要素Ｍ６には、１つのテクスチャ要素データ（要素Ｔ７）が関連付けられている。要素Ｍ７には、１つのテクスチャ要素データ（要素Ｔ８）が関連付けられている。
　このように本実施形態では、複数の要素データが互いに関連付けられたネットワーク構造（ここでは例えば木構造）で管理される。当該複数の要素データは、当該要素データに含まれるセンシング時点データに対応付けられる時間範囲が長いものであるほどルート側に配置され、短いものであるほどリーフ側に配置されたネットワーク構造のデータである。
　センシングデータ取得部６０は、本実施形態では例えば、トラッカー１２のセンサ部３８により生成されるセンシングデータを取得する。
　センシングデータ取得部６０が取得するセンシングデータには、例えば、トラッカー１２のセンサ部３８に含まれるカメラにより撮影される画像が含まれていてもよい。また、トラッカー１２が取得するセンシングデータに、トラッカー１２のセンサ部３８に含まれるカメラやデプスセンサにより計測されるデプスデータが含まれていてもよい。
　また、トラッカー１２が取得するセンシングデータには、トラッカー１２のセンサ部３８に含まれる地磁気センサにより計測される、トラッカー１２の方位を示すデータが含まれていてもよい。また、トラッカー１２が取得するセンシングデータには、センサ部３８に含まれる慣性センサにより計測される、トラッカー１２の加速度、回転量、移動量などを示すデータが含まれていてもよい。
　また、トラッカー１２が取得するセンシングデータには、センサ部３８に含まれるＧＰＳモジュールにより計測される、トラッカー１２の緯度及び経度を示すデータが含まれていてもよい。また、トラッカー１２が取得するセンシングデータに、特徴点群（キーフレーム）が含まれていてもよい。
　センシングデータ送信部６２は、本実施形態では例えば、センシングデータ取得部６０が取得するセンシングデータをサーバ１０に送信する。本実施形態では例えば、トラッカー１２によるセンシングが行われた時点を示すセンシング時点データが関連付けられたセンシングデータが送信される。
　本実施形態では例えば、トラッカー１２におけるセンシングデータの取得及び送信は、繰り返し実行される。
　センシングデータ受信部４２は、本実施形態では例えば、トラッカー１２により送信されるセンシングデータを受信する。
　ＳＬＡＭ処理実行部４４は、本実施形態では例えば、センシングデータ受信部４２が受信するセンシングデータに基づいて、トラッカー１２の位置又は向きの推定を含むＳＬＡＭ処理を実行する。ここでトラッカー１２のグローバルな位置や向きが推定されてもよい。ここで例えば、ＳＬＡＭ処理実行部４４が、リロカライズ処理、ループクロージング処理、３Ｄメッシュ化処理、物体認識処理などを含むＳＬＡＭ処理を実行してもよい。
　ここで当該ＳＬＡＭ処理に、平面検出／３Ｄメッシュのセグメンテーション処理が含まれていてもよい。平面検出／３Ｄメッシュのセグメンテーション処理とは、地面、壁などといった連続した平面を検出して、全体の３Ｄメッシュを、地面、建物、木、などといった個々の３Ｄメッシュに分割する処理を指す。また、当該ＳＬＡＭ処理に、３Ｄメッシュの最適化処理が含まれていてもよい。３Ｄメッシュの最適化処理とは、３Ｄメッシュから、移動体と推定される部分や、ノイズなどによるゴミを除去したり、ポリゴン数を減らしたり、メッシュの表面を滑らかにしたりする処理を指す。また、当該ＳＬＡＭ処理に、テクスチャ生成処理が含まれていてもよい。テクスチャ生成処理とは、メッシュの頂点の色に基づいて３Ｄメッシュに対するテクスチャイメージを生成する処理を指す。
　また例えば、ＳＬＡＭ処理実行部４４が、センシングデータ受信部４２が受信するセンシングデータを記憶してもよい。そして、時系列のセンシングデータを用いてＳＬＡＭ処理を実行してもよい。
　ＳＬＡＭ処理実行部４４が実行する上述のＳＬＡＭ処理によって、メッシュデータやテクスチャデータなどといった、環境データが生成される。
　ＳＬＡＭ処理実行部４４は、ＳＬＡＭ処理の実行にあたり、要素データ記憶部４０に記憶されている要素データや、当該要素データに基づいて生成される環境地図にアクセスすることがある。
　以下、新たなセンシングデータ（サーバ１０が最後に受信したセンシングデータ）に基づく環境データを、最新環境データと呼ぶこととする。
　要素データ更新部４６は、本実施形態では例えば、要素データ記憶部４０に記憶されている複数の要素データに基づいて最新の環境地図を生成する。そして、要素データ更新部４６は、当該最新の環境地図の一部と、最新環境データと、の差分を特定する。
　例えば、要素データ更新部４６は、例えば、最新環境データに表れている要素の実空間における位置に相当する最新の環境地図の一部と、当該最新環境データと、の差分を特定する。
　そして、要素データ更新部４６は、最新環境データの一部又は全部である、要素データ記憶部４０に記憶されている複数の要素データに基づく最新の環境地図に表れていない要素を表す追加環境データを生成する。
　ここで要素データ更新部４６は、例えば、最新環境データのうちから、最新の環境地図に表れていない要素を表す一部を特定する。ここで最新環境データが表す要素が、最新の環境地図に全く表れてない場合は、最新環境データの全部が特定される。そして、要素データ更新部４６は、このようにして特定される環境データのうちの一部又は全部を表す追加環境データを生成する。追加環境データには、メッシュを示す追加メッシュデータとテクスチャを示す追加テクスチャデータの２種類が存在する。
　そして、要素データ更新部４６は、このようにして生成される追加環境データを含む新たな要素データを生成する。以下、追加環境データを含む新たな要素データを追加要素データと呼ぶこととする。また、追加メッシュデータを含む新たな要素データを追加メッシュ要素データと呼び、追加テクスチャデータを含む新たな要素データを追加テクスチャ要素データと呼ぶこととする。
　そして、要素データ更新部４６は、追加要素データを要素データ記憶部４０に記憶させる。
　追加メッシュ要素データの要素ＩＤには、新たに割り当てられる識別情報が設定される。追加メッシュ要素データに含まれるメッシュデータには、追加メッシュデータが設定される。追加メッシュ要素データに含まれるテクスチャ要素ＩＤリストには、当該追加メッシュデータが表す要素のテクスチャを示すテクスチャデータ（例えば追加テクスチャデータ）のテクスチャ要素ＩＤが設定される。追加メッシュ要素データに含まれる発生時点データの値には、最新のセンシングデータに関連付けられているセンシング時点データの値が設定される。
　また本実施形態では、要素データ更新部４６は、当該追加メッシュデータが関連付けられるメッシュ要素データを特定する。例えば追加メッシュデータが示すメッシュに隣接するメッシュのメッシュ要素データが特定される。そして、要素データ更新部４６は、特定されるメッシュ要素データの子要素ＩＤリストに、追加メッシュ要素データの要素ＩＤを追加する。このようにして、特定されるメッシュ要素データの子要素として、追加メッシュ要素データが登録される。このようにして、要素データ更新部４６は、特定されるメッシュ要素データに追加メッシュ要素データを関連付ける。
　追加テクスチャ要素データの要素ＩＤには、新たに割り当てられる識別情報が設定される。追加テクスチャ要素データに含まれるテクスチャデータには、追加テクスチャデータが設定される。追加テクスチャ要素データに含まれるセンシング時点データの値には、最新のセンシングデータに関連付けられているセンシング時点データの値が設定される。
　ここで要素データ更新部４６は、追加テクスチャデータが示すテクスチャが貼られるメッシュを特定してもよい。そして、当該メッシュを示すメッシュデータのテクスチャ要素ＩＤリストに当該追加テクスチャデータの要素ＩＤを追加してもよい。
　また、要素データ更新部４６は、最新の環境地図において、当該環境地図には表れているが最新環境データには表れていない消滅要素を特定する。そして、要素データ更新部４６は、このようにして特定される消滅要素を表す消滅環境データを生成する。消滅環境データには、メッシュを示す消滅メッシュデータとテクスチャを示す消滅テクスチャデータの２種類が存在する。
　また、要素データ更新部４６は、本実施形態では例えば、消滅要素が一部に表れている要素データから消滅要素を削除する。ここでは例えば、メッシュデータの一部が削除される。
　そして、要素データ更新部４６は、消滅環境データと、消滅要素がセンシングされた時点に基づいて当該消滅要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む新たな要素データを生成する。以下、消滅環境データを含む新たな要素データを消滅要素データと呼ぶこととする。消滅メッシュデータを含む新たな要素データを消滅メッシュ要素データと呼ぶこととする。また、消滅テクスチャデータを含む新たな要素データを消滅テクスチャ要素データと呼ぶこととする。
　そして、要素データ更新部４６は、消滅要素データを要素データ記憶部４０に記憶させる。
　消滅メッシュ要素データの要素ＩＤには、新たに割り当てられる識別情報が設定される。消滅メッシュ要素データに含まれるメッシュデータには、消滅メッシュデータが設定される。消滅メッシュ要素データに含まれるテクスチャ要素ＩＤリストには、当該消滅メッシュデータが表す要素のテクスチャを示すテクスチャデータのテクスチャ要素ＩＤが設定される。消滅メッシュ要素データに含まれる発生時点データの値には、消滅要素に相当する一部が削除されたメッシュ要素データの発生時点データの値が設定される。後述するように消滅要素に相当する一部が削除されたメッシュ要素データは消滅メッシュ要素データの親要素として設定される。そのため、消滅メッシュ要素データに含まれる発生時点データの値には、当該消滅メッシュ要素データの親要素であるメッシュ要素データの発生時点データの値が設定されることとなる。消滅メッシュ要素データに含まれる消滅時点データの値には、最新のセンシングデータに関連付けられているセンシング時点データの値が設定される。
　また本実施形態では、要素データ更新部４６は、当該消滅メッシュデータに関連付けられるメッシュ要素データを特定する。例えば消滅要素に相当する一部が削除されたメッシュ要素データが特定される。そして、特定されるメッシュ要素データの子要素ＩＤリストに、消滅メッシュ要素データの要素ＩＤが追加される。このようにして、特定されるメッシュ要素データの子要素として、消滅メッシュ要素データが登録される。
　消滅テクスチャ要素データの要素ＩＤには、新たに割り当てられる識別情報が設定される。消滅テクスチャ要素データに含まれるテクスチャデータには、消滅テクスチャデータが設定される。消滅テクスチャ要素データに含まれるセンシング時点データの値には、最新のセンシングデータに関連付けられているセンシング時点データの値が設定される。
　ここで要素データ更新部４６は、消滅テクスチャデータが示すテクスチャが貼られるメッシュを特定してもよい。そして、当該メッシュを示すメッシュデータのテクスチャ要素ＩＤリストに当該消滅テクスチャデータの要素ＩＤを追加してもよい。
　ここで、要素データ記憶部４０に記憶されている要素データのうちに、含まれる環境データが表す要素が消滅要素と一致するものが存在することがある。この場合は、上述した、消滅要素が一部に表れている要素データからの消滅要素の削除は実行されない。その代わりに、要素データ更新部４６は、当該要素データに含まれる消滅時点データの値に、最新のセンシングデータに関連付けられているセンシング時点データの値を設定する。
　本実施形態では、以上のようにして要素データの生成及び登録が行われる。そのため、要素データに含まれるセンシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される要素データに含まれるセンシング時点データに対応付けられる時間範囲が含まれることとなる。例えば、メッシュ要素データに含まれるセンシング時点データに対応付けられる時間範囲には、当該メッシュ要素データの子要素であるメッシュ要素データに含まれるセンシング時点データに対応付けられる時間範囲が含まれることとなる。
　再現時点送信部６４は、本実施形態では例えば、ユーザにより再現時点の指定操作に応じて、当該再現時点を示す再現時点データを生成して、当該再現時点データをサーバ１０に送信する。再現時点データにおける時点の表現形式は特に限定されず、例えば、年月日、日時、時刻、タイムスタンプなどによって表現される。
　再現時点受付部４８は、本実施形態では例えば、環境地図を再現すべき時点である再現時点の指定を受け付ける。再現時点受付部４８は、例えば、トラッカー１２から送信される再現時点データを受信する。
　再現要素特定部５０は、本実施形態では例えば、要素データ記憶部４０に記憶されている複数の要素データのうちから、再現時点を含む時間範囲に対応付けられるセンシング時点データを含むものを複数特定する。以下、再現時点を含む時間範囲に対応付けられるセンシング時点データを含む要素データを、再現要素データと呼ぶこととする。
　ここでは例えば、メッシュ要素データに含まれる発生時点データが示す時点と消滅時点データが示す時点との間に再現時点が含まれることが、当該メッシュ要素データが再現要素データであることの条件である。そして当該条件を満たすメッシュ要素データが、再現要素データとして特定される。ここで消滅時点データの値が設定されていないメッシュ要素データについては、発生時点データが示す時点が再現時点以前であるものが再現要素データとして特定される。また、発生時点データの値が設定されていないメッシュ要素データについては、消滅時点データが示す時点が再現時点以後であるものが再現要素データとして特定される。
　また、センシング時点データが示す時点と再現時点とが一致するテクスチャ要素データが特定される。ここでセンシング時点データが示す時点が再現時点に最も近いテクスチャ要素データが特定されてもよい。あるいは、センシング時点データが示す時点が再現時点よりも前であるもののうちから、センシング時点データが示す時点が再現時点に最も近いテクスチャ要素データが特定されてもよい。
　環境地図再現部５２は、本実施形態では例えば、再現要素特定部５０により特定される再現要素データのそれぞれに含まれる環境データを合成することで、再現時点における環境地図を生成する。ここでは例えばトラッカー１２から受信する再現時点データが示す時点における環境地図が生成される。以下、このようにして生成される環境地図を再現環境地図と呼ぶこととする。
　再現環境地図送信部５４は、本実施形態では例えば、環境地図再現部５２により生成される再現環境地図をトラッカー１２に送信する。ここで例えば、トラッカー１２の位置に相当する環境地図内における位置から、トラッカー１２に向きに相当する環境地図内における向きを見た様子を表す画像が送信されるようにしてもよい。
　再現環境地図受信部６６は、本実施形態では例えば、再現環境地図送信部５４が送信する再現環境地図などのデータを受信する。
　表示制御部６８は、本実施形態では例えば、再現環境地図受信部６６が受信する再現環境地図などのデータを用いた、ＶＲ表示やＡＲ表示などの各種の処理を実行する。
　ここで、本実施形態に係るサーバ１０で行われる要素データの更新処理の流れの一例を、図７Ａ及び図７Ｂに例示するフロー図を参照しながら説明する。
　まず、センシングデータ受信部４２が、最新のセンシングデータを受信する（Ｓ１０１）。
　そして、ＳＬＡＭ処理実行部４４が、Ｓ１０１に示す処理で受信したセンシングデータに基づくＳＬＡＭ処理を実行する（Ｓ１０２）。Ｓ１０２に示す処理が実行されることにより、最新環境データが生成される。
　そして、要素データ更新部４６が、Ｓ１０２に示す処理で生成された最新環境データと、要素データ記憶部４０に記憶されている複数の要素データに基づいて生成される最新の環境地図の一部と、の差分を特定する（Ｓ１０３）。Ｓ１０３に示す処理において、要素データ更新部４６は、複数の要素データを合成することにより最新の環境地図を生成して、生成された環境地図の一部と最新環境データとの差分を特定してもよい。
　そして、要素データ更新部４６が、Ｓ１０３に示す処理での特定の結果に基づいて、追加環境データ、及び、消滅環境データを生成する（Ｓ１０４）。
　要素データ更新部４６が、Ｓ１０４に示す処理で生成された追加環境データのうちから、Ｓ１０６及びＳ１０７に示す処理が実行されていない１つを選択する（Ｓ１０５）。
　そして、要素データ更新部４６が、Ｓ１０５に示す処理で選択された追加環境データに関連付けられる要素データを特定する（Ｓ１０６）。
　そして、要素データ更新部４６が、Ｓ１０５に示す処理で選択された追加環境データを含む追加要素データを生成して、当該追加要素データをＳ１０６に示す処理で特定された要素データに関連付けられる要素として登録する（Ｓ１０７）。ここで追加メッシュ要素データについては、Ｓ１０６に示す処理で特定された要素データの子要素として登録される。
　そして、要素データ更新部４６は、Ｓ１０４に示す処理で生成されたすべての追加環境データについて、Ｓ１０５～Ｓ１０７に示す処理が実行されたか否かを確認する（Ｓ１０８）。
　Ｓ１０４に示す処理で生成されたすべての追加環境データについて、Ｓ１０５～Ｓ１０７に示す処理が実行されていないことが確認された場合は（Ｓ１０８：Ｎ）、Ｓ１０５に示す処理に戻る。
　Ｓ１０４に示す処理で生成されたすべての追加環境データについて、Ｓ１０５～Ｓ１０７に示す処理が実行されたことが確認されたとする（Ｓ１０８：Ｙ）。この場合、要素データ更新部４６が、Ｓ１０４に示す処理で生成された消滅環境データのうちから、Ｓ１１０～Ｓ１１４に示す処理が実行されていない１つを選択する（Ｓ１０９）。
　そして、要素データ更新部４６が、Ｓ１０９に示す処理で選択された消滅環境データに関連付けられる要素データを特定する（Ｓ１１０）。
　そして、要素データ更新部４６は、Ｓ１１０に示す処理で特定された要素データに含まれる環境データがＳ１０９に示す処理で選択された消滅環境データと一致するか否かを判定する（Ｓ１１１）。
　一致する場合は（Ｓ１１１：Ｙ）、Ｓ１１０に示す処理で特定された要素データの消滅時点データの値に、Ｓ１０１に示す処理で受信した最新のセンシングデータに関連付けられているセンシング時点データの値を設定する（Ｓ１１２）。
　一致しない場合は（Ｓ１１１：Ｎ）、Ｓ１１０に示す処理で特定された要素データからＳ１０９に示す処理で選択された消滅環境データに相当する消滅要素を削除する（Ｓ１１３）。
　そして、要素データ更新部４６が、Ｓ１０９に示す処理で選択された消滅環境データを含む消滅要素データを生成して、当該消滅要素データをＳ１１０に示す処理で特定された要素データに関連付けられる要素として登録する（Ｓ１１４）。ここで消滅メッシュ要素データについては、Ｓ１１０に示す処理で特定された要素データの子要素として登録される。
　そして、要素データ更新部４６は、Ｓ１０４に示す処理で生成されたすべての消滅環境データについて、Ｓ１０９～Ｓ１１４に示す処理が実行されたか否かを確認する（Ｓ１１５）。
　Ｓ１０４に示す処理で生成されたすべての消滅環境データについて、Ｓ１０９～Ｓ１１４に示す処理が実行されていないことが確認された場合は（Ｓ１１５：Ｎ）、Ｓ１０９に示す処理に戻る。
　Ｓ１０４に示す処理で生成されたすべての消滅環境データについて、Ｓ１０９～Ｓ１１４に示す処理が実行されたことが確認された場合は（Ｓ１１５：Ｙ）、本処理例に示す処理は終了する。
　次に、本実施形態に係るサーバ１０で行われる再現環境地図の送信に係る処理の流れの一例を、図８に例示するフロー図を参照しながら説明する。
　まず、再現時点受付部４８が、トラッカー１２から送信される再現時点データを受信する（Ｓ２０１）。
　そして、再現要素特定部５０は、ルート要素データに含まれるメッシュデータが示すメッシュを特定する（Ｓ２０２）。
　そして、再現要素特定部５０は、ルート要素データに含まれるテクスチャ要素ＩＤリストにより参照されるテクスチャ要素データを特定し、特定されたテクスチャ要素データに含まれるテクスチャデータが示すテクスチャを特定する（Ｓ２０３）。ここで、ルート要素データに含まれるテクスチャ要素ＩＤリストに複数の要素ＩＤが設定されている場合は、再現時点データが示す再現時点に基づいて、これら複数の要素ＩＤのそれぞれに対応するテクスチャ要素データのうちの１つが選択される。そして選択されたテクスチャ要素データに含まれるテクスチャデータが示すテクスチャが特定される。
　そして、環境地図再現部５２は、Ｓ２０２に示す処理で特定されたメッシュにＳ２０３に示す処理で特定されたテクスチャが貼られた環境地図である再現環境地図を生成する（Ｓ２０４）。
　そして、再現要素特定部５０は、ルート要素データの子要素であるメッシュ要素データのうちから、再現要素データを特定する（Ｓ２０５）。
　再現要素特定部５０は、Ｓ２０５に示す処理で特定された再現要素データのうちから、後述の図９に示すサブルーチン処理が実行されていない１つを選択する（Ｓ２０６）。
　そして、再現要素特定部５０、及び、環境地図再現部５２は、Ｓ２０６に示す処理で選択された再現要素データを引数とする、図９に示すサブルーチン処理を実行する（Ｓ２０７）。
　そして、再現要素特定部５０は、Ｓ２０５に示す処理で特定されたすべての再現要素データについて、図９に示すサブルーチン処理が実行されたか否かを確認する（Ｓ２０８）。
　Ｓ２０５に示す処理で特定されたすべての再現要素データについて、図９に示すサブルーチン処理が実行されていないことが確認された場合は（Ｓ２０８：Ｎ）、Ｓ２０６に示す処理に戻る。
　Ｓ２０５に示す処理で特定されたすべての再現要素データについて、図９に示すサブルーチン処理が実行されたことが確認されたとする（Ｓ２０８：Ｙ）。この場合は、再現環境地図送信部５４は、再現環境地図をトラッカー１２に送信して（Ｓ２０９）、本処理例に示す処理を終了する。
　ここで、再現要素データを引数とするサブルーチン処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。
　まず、再現要素特定部５０は、再現要素データに含まれるメッシュデータが示すメッシュを特定する（Ｓ３０１）。
　そして、再現要素特定部５０は、再現要素データに含まれるテクスチャ要素ＩＤリストにより参照されるテクスチャ要素データを特定し、特定されたテクスチャ要素データに含まれるテクスチャデータが示すテクスチャを特定する（Ｓ３０２）。ここで、再現要素データに含まれるテクスチャ要素ＩＤリストに複数の要素ＩＤが設定されている場合は、再現時点データが示す再現時点に基づいて、これら複数の要素ＩＤのそれぞれに対応するテクスチャ要素データのうちの１つが選択される。そして選択されたテクスチャ要素データに含まれるテクスチャデータが示すテクスチャが特定される。
　そして、環境地図再現部５２は、Ｓ３０１に示す処理で特定されたメッシュにＳ３０２に示す処理で特定されたテクスチャが貼られた環境地図を生成して、生成された環境地図を、再現環境地図に追加する（Ｓ３０３）。
　そして、再現要素特定部５０は、再現要素データの子要素であるメッシュ要素データのうちに、再現要素データであることの条件を満たすものがあるか否かを確認する（Ｓ３０４）。
　ある場合は（Ｓ３０４：Ｙ）、再現要素特定部５０及び環境地図再現部５２は、再現要素データであることの条件を満たす子要素のそれぞれについて、当該子要素を引数とする、図９に示すサブルーチン処理（Ｓ３０１～Ｓ３０５）を再帰的に実行する（Ｓ３０５）。
　ない場合は（Ｓ３０４：Ｎ）、本サブルーチン処理を終了する。
　本実施形態によれば、以上のようにして複数の時点にそれぞれ対応付けられる要素データ同士が互いに関連付けられるようにすることで、環境地図の利用価値が向上することとなる。
　また、以上のようにして、本実施形態によれば、様々な時点における環境地図を時系列で記憶する場合よりも、時系列で管理された環境地図の記憶に必要な記憶容量を節約できる。
　また上述の処理例では、再現要素特定部５０は、ルート要素データから順に、子要素であるメッシュ要素データのうちから、再現要素データであることの条件を満たすものを特定する処理を再帰的に実行する。
　本実施形態では、要素データに含まれるセンシング時点データに対応付けられる時間範囲には、当該要素データの子要素に含まれるセンシング時点データに対応付けられる時間範囲が含まれる。そのため、ある要素データが再現要素データの条件を満たさないことが確認された場合は、その子要素についても同様に、再現要素データの条件を満たさないことが判明する。そのため当該子要素についてはアクセスする必要がない。そのため、要素データ記憶部４０に記憶されているすべての要素データにアクセスすることなく再現環境地図を生成することができる。
　本実施形態において、テクスチャ要素データに含まれるセンシング時点データが、例えば、「朝」、「昼」、「夜」などといった時間帯を示してもよい。そして、テクスチャ要素データの登録の際には、最新のセンシングデータに関連付けられているセンシング時点データが示す時点が属する時間帯に応じた値がセンシング時点データに設定されてもよい。そして、メッシュ要素データのテクスチャ要素ＩＤリストによって、それぞれ互いに異なる時間帯に対応付けられるテクスチャ要素データが複数関連付けられてもよい。
　また、再現環境地図の生成の際には、環境地図再現部５２は、テクスチャ要素データにおいて、再現時点が属する時間帯に対応付けられるセンシング時点データに関連付けられているテクスチャデータが示すテクスチャがメッシュに貼られた環境地図を生成してもよい。
　例えば、Ｓ２０３に示す処理において、ルート要素データに含まれるテクスチャ要素ＩＤリストにより参照されるテクスチャ要素データのうちから、再現時点が属する時間帯に対応付けられるセンシング時点データを含むテクスチャ要素データが選択されてもよい。そして、当該テクスチャ要素データに含まれるテクスチャデータが示すテクスチャが特定されてもよい。そして、Ｓ２０４に示す処理において、Ｓ２０２に示す処理で特定されたメッシュにこのようにして特定されたテクスチャが貼られた環境地図である再現環境地図が生成されてもよい。
　また例えば、Ｓ３０２に示す処理において、ルート要素データに含まれるテクスチャ要素ＩＤリストにより参照されるテクスチャ要素データのうちから、再現時点が属する時間帯に対応付けられるセンシング時点データを含むテクスチャ要素データが選択されてもよい。そして、当該テクスチャ要素データに含まれるテクスチャデータが示すテクスチャが特定されてもよい。そして、Ｓ３０３に示す処理において、Ｓ３０１に示す処理で特定されたメッシュにこのようにして特定されたテクスチャが貼られた環境地図が再現環境地図に追加されてもよい。
　また、本実施形態において、テクスチャデータの代わりに、頂点色を示す頂点色データが用いられてもよい。この場合に、環境地図再現部５２は、再現要素データが示すメッシュの頂点に、当該再現要素データに関連付けられている頂点色データが示す色が設定された環境地図を生成してもよい。
　また、例えば、メッシュを示す要素データに、それぞれ時間帯に対応付けられる頂点色データが複数関連付けられていてもよい。そして、環境地図再現部５２は、再現要素データが示すメッシュの頂点に、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる頂点色データが示す色が設定された環境地図を生成してもよい。
　また、本実施形態において、「朝」、「昼」、「夜」などの時間帯について、日をまたいで同じ時間帯のテクスチャが類似している場合は、共通のテクスチャが用いられるようにしてもよい。
　また、本実施形態に係るテクスチャ要素データが、メッシュ要素データと同様の、実空間における存在が推定される時間範囲に対応付けられるデータであっても構わない。
　また本実施形態において、末端（リーフ）の要素データ、あるいは、末端の要素データとの間のリンク数が少ない要素データであり、実空間における存在が推定される時間範囲が短い要素データについては、人などの移動体である可能性が高い。そのためこのような要素データは削除されるようにしてもよい。例えば、末端の要素データ、あるいは、要素データとの間のリンク数が所定数以下（例えば３以下）であり、発生時点データが示す時点から消滅時点データが示す時点までの時間の長さが所定の時間の長さより短い要素データについては削除されるようにしてもよい。
　また、本実施形態において、環境地図再現部５２が、トラッカーが取得するセンシングデータに対応する環境データに基づいて、三次元空間と時間とを次元に含む四次元の環境地図を生成してもよい。例えば、環境地図再現部５２が、要素データ記憶部４０に記憶されている複数の要素データに基づいて、三次元空間と時間とを次元に含む四次元の環境地図を生成してもよい。例えば、環境地図再現部５２が、複数の再現時点についての環境地図を生成し、生成された複数の環境地図を含む四次元環境地図を生成してもよい。そして再現時点送信部６４が、生成された四次元環境地図をトラッカー１２に送信してもよい。
　また、環境地図再現部５２が、生成された四次元の環境地図に基づいて、再現時点受付部４８が受け付ける再現時点における環境地図を生成してもよい。そして再現時点送信部６４が、生成された環境地図をトラッカー１２に送信してもよい。
　また本実施形態において、登録されている環境データと新たに生成された環境データとの差分が小さい場合には、新たに生成された環境データが登録されないようにしてもよい。この場合は、新たに生成された環境データの代わりに登録済の環境データが用いられることとなる。
　本実施形態は、例えば指定された日時に行われた旅行等のイベントの追体験や、指定された日時における記憶の追体験を行う場面に用いることができる。例えば要素データ記憶部４０に、ユーザの視点の位置や視線方向の時系列を示すデータが併せて記憶されていてもよい。そして、特定の日時の環境地図を生成して、このときのユーザの視点や視線方向の時系列に応じた、当該視点から当該環境地図を見た様子の変化が表示されるようにしてもよい。
　また本実施形態は、特定の建築物の建築過程が早送り再生される場面に用いることができる。例えば同じ場所についての環境地図が時間経過に沿って連続して表示されるようにしてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　また、サーバ１０とトラッカー１２の役割分担は上述のものに限定されない。例えば、サーバ１０の機能の一部又は全部がトラッカー１２において実装されてもよい。例えば、トラッカー１２においてセンシングデータに基づく環境データの生成が実行されてもよい。そして当該環境データがトラッカー１２からサーバ１０に送信されるようにしてもよい。

Claims (11)

  1. 　トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部と、
    　新たなセンシングデータに基づいて生成される環境データに基づいて、当該環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定する要素データ特定部と、
    　特定される前記要素データに前記追加環境データを含む前記要素データを関連付ける関連付け部と、
    　を含むことを特徴とする要素データ管理装置。
  2. 　環境地図を再現すべき時点である再現時点の指定を受け付ける再現時点受付部と、
    　前記要素データ記憶部に記憶されている複数の前記要素データのうちから、前記再現時点を含む時間範囲に対応付けられる前記センシング時点データを含むものである、再現要素データを複数特定する再現要素特定部と、
    　特定される複数の前記再現要素データのそれぞれに含まれる前記環境データを合成することで、前記再現時点における環境地図を生成する環境地図再現部と、をさらに含む、
    　ことを特徴とする請求項１に記載の要素データ管理装置。
  3. 　前記要素データは、他の前記要素データへのリンクを含み、
    　前記再現要素特定部は、所与のルート要素である前記要素データから順に、当該要素データに含まれる前記リンクにより参照される他の前記要素データのうちから、前記再現時点を含む時間範囲に対応付けられる前記センシング時点データを含むものを特定する処理を再帰的に実行し、
    　前記環境地図再現部は、再帰的な前記処理の実行によって特定される複数の前記再現要素データのそれぞれに含まれる前記環境データを合成することで、前記再現時点における環境地図を生成する、
    　ことを特徴とする請求項２に記載の要素データ管理装置。
  4. 　前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲が含まれる、
    　ことを特徴とする請求項３に記載の要素データ管理装置。
  5. 　前記要素データ記憶部に記憶されている複数の要素データは、当該要素データに含まれる前記センシング時点データに対応付けられる時間範囲が長いものであるほどルート側に配置され、短いものであるほどリーフ側に配置されたネットワーク構造のデータである、
    　ことを特徴とする請求項２に記載の要素データ管理装置。
  6. 　メッシュを示す前記要素データには、それぞれ時間帯に対応付けられるテクスチャを示すテクスチャデータが複数関連付けられており、
    　前記環境地図再現部は、前記再現要素データが示すメッシュに、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる前記テクスチャデータが示すテクスチャが貼られた環境地図を生成する、
    　ことを特徴とする請求項２から５のいずれか一項に記載の要素データ管理装置。
  7. 　メッシュを示す前記要素データには、それぞれ時間帯に対応付けられる頂点色を示す頂点色データが複数関連付けられており、
    　前記環境地図再現部は、前記再現要素データが示すメッシュの頂点に、当該再現要素データに関連付けられている、前記再現時点が属する時間帯に対応付けられる前記頂点色データが示す色が設定された環境地図を生成する、
    　ことを特徴とする請求項２から５のいずれか一項に記載の要素データ管理装置。
  8. 　前記要素データ記憶部に記憶されている少なくとも１つの前記要素データに基づく最新の環境地図において、当該環境地図には表れているが前記センシングデータに基づく前記環境データには表れていない消滅要素を特定する消滅要素特定部と、
    　前記要素データ記憶部に記憶されている、前記消滅要素が一部に表れている前記要素データから当該消滅要素を削除する削除部と、をさらに含み、
    　前記関連付け部は、前記消滅要素を表す消滅環境データと、前記消滅要素がセンシングされた時点に基づいて当該消滅要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む新たな前記要素データを生成して、当該新たな要素データを前記消滅要素が一部に表れている前記要素データに関連付ける、
    　ことを特徴とする請求項１から７のいずれか一項に記載の要素データ管理装置。
  9. 　トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部に記憶されている少なくとも１つの前記要素データのうちから、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定するステップと、
    　特定される前記要素データに前記追加環境データを含む前記要素データを関連付けるステップと、
    　を含むことを特徴とする要素データ管理方法。
  10. 　トラッカーが取得するセンシングデータに基づいて生成される環境データと、当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、を含む要素データを少なくとも１つ記憶する要素データ記憶部に記憶されている少なくとも１つの前記要素データのうちから、新たなセンシングデータに基づいて生成される環境データの一部又は全部である追加環境データが関連付けられる前記要素データを特定する手順、
    　特定される前記要素データに前記追加環境データを含む前記要素データを関連付ける手順、
    　をコンピュータに実行させることを特徴とするプログラム。
  11. 　要素データのデータ構造であって、
    　トラッカーによるセンシング結果を示すセンシングデータに基づいて生成される環境データと、
    　当該環境データが表す要素がセンシングされた時点に基づいて当該要素の実空間における存在が推定される時間範囲に対応付けられるセンシング時点データと、
    　他の前記要素データへのリンクと、を含み、
    　前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲には、当該要素データに含まれるリンクにより参照される前記要素データに含まれる前記センシング時点データに対応付けられる時間範囲が含まれる、
    　ことを特徴とする要素データのデータ構造。
PCT/JP2019/024817 2019-06-21 2019-06-21 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造 WO2020255409A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021528627A JP7232909B2 (ja) 2019-06-21 2019-06-21 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造
PCT/JP2019/024817 WO2020255409A1 (ja) 2019-06-21 2019-06-21 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造
US17/615,148 US20220237865A1 (en) 2019-06-21 2019-06-21 Element data management apparatus, element data management method, program, and data structure of element data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024817 WO2020255409A1 (ja) 2019-06-21 2019-06-21 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造

Publications (1)

Publication Number Publication Date
WO2020255409A1 true WO2020255409A1 (ja) 2020-12-24

Family

ID=74040463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024817 WO2020255409A1 (ja) 2019-06-21 2019-06-21 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造

Country Status (3)

Country Link
US (1) US20220237865A1 (ja)
JP (1) JP7232909B2 (ja)
WO (1) WO2020255409A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544904B1 (en) * 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169845A (ja) * 2008-01-18 2009-07-30 Toyota Motor Corp 自律移動ロボット及び地図更新方法
JP2018156482A (ja) * 2017-03-17 2018-10-04 株式会社東芝 移動制御システム、移動制御装置及びプログラム
WO2019069524A1 (ja) * 2017-10-02 2019-04-11 ソニー株式会社 環境情報更新装置、環境情報更新方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
WO2018126215A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates
US10628686B2 (en) * 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
US10665028B2 (en) * 2018-06-04 2020-05-26 Facebook, Inc. Mobile persistent augmented-reality experiences
US11151104B2 (en) * 2019-05-16 2021-10-19 Microsoft Technology Licensing, Llc Time systems as data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169845A (ja) * 2008-01-18 2009-07-30 Toyota Motor Corp 自律移動ロボット及び地図更新方法
JP2018156482A (ja) * 2017-03-17 2018-10-04 株式会社東芝 移動制御システム、移動制御装置及びプログラム
WO2019069524A1 (ja) * 2017-10-02 2019-04-11 ソニー株式会社 環境情報更新装置、環境情報更新方法及びプログラム

Also Published As

Publication number Publication date
US20220237865A1 (en) 2022-07-28
JP7232909B2 (ja) 2023-03-03
JPWO2020255409A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
US20240087258A1 (en) Cross reality system with prioritization of geolocation information for localization
US7535473B2 (en) Collaborative environments in a graphical information system
Pavlik Drones, augmented reality and virtual reality journalism: Mapping their role in immersive news content
CA2949543C (en) Platform for constructing and consuming realm and object feature clouds
CN103279187B (zh) 一种用于构建多场景虚拟全景空间的方法及智能终端
EP1764744A2 (en) Streaming geometry data using a quasi-pyramidal structure
US20210019953A1 (en) Real-time feedback for surface reconstruction as a service
CN110462420A (zh) 联合定位
WO2018076372A1 (zh) 一种航点编辑方法、装置、设备及飞行器
WO2019167213A1 (ja) 位置推定装置、トラッカー、位置推定方法及びプログラム
JP7532539B2 (ja) 改善された合成および安定した特徴識別情報をサポートする位相的ベースモデル
US11423625B2 (en) Augmented reality scene image processing method and apparatus, electronic device and storage medium
CN110659385A (zh) 一种多路视频与三维gis场景的融合方法
CN114241143A (zh) 基于多维度数据和三维建模的智慧城市规划平台及方法
WO2020255409A1 (ja) 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造
JP2008230592A (ja) 解釈型航空機搭載型レーダ・マップの生成の方法およびシステム
KR20200072319A (ko) ３ｄ 지도를 이용한 원격 위치 기반 ａｒ 저작 방법 및 시스템
US10916066B2 (en) Methods of virtual model modification
KR20110058089A (ko) 백터 기반 ｇｉｓ를 이용한 객체 및 이벤트 관리 장치 및 방법
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
JP7218426B2 (ja) 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム
CN112686953A (zh) 基于逆深度参数的视觉定位方法、装置、电子设备
Demirkan et al. Real-time perception enhancement in obscured environments for underground mine search and rescue teams
KR102669915B1 (ko) 크라우드 소싱 기반 3차원 지도 갱신 방법 및 장치
US11836420B1 (en) Constructing a 3D model of a facility based on video streams from cameras at the facility

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933380

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528627

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933380

Country of ref document: EP

Kind code of ref document: A1