WO2021166747A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2021166747A1
WO2021166747A1 PCT/JP2021/004821 JP2021004821W WO2021166747A1 WO 2021166747 A1 WO2021166747 A1 WO 2021166747A1 JP 2021004821 W JP2021004821 W JP 2021004821W WO 2021166747 A1 WO2021166747 A1 WO 2021166747A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
heat map
attention
spatial structure
Prior art date
Application number
PCT/JP2021/004821
Other languages
English (en)
French (fr)
Inventor
真治 木村
林　宏樹
泰士 山本
後藤　修
大関　江利子
幹生 岩村
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2022501827A priority Critical patent/JP7490743B2/ja
Publication of WO2021166747A1 publication Critical patent/WO2021166747A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • This disclosure relates to an information processing system.
  • Patent Document 1 can grasp the direction in which the user visually recognizes, it grasps the point in the direction in which the user visually recognizes, that is, which area the user is paying attention to in the real space. Can't. In this way, conventionally, it has not been possible to properly grasp which area (space) the user is paying attention to and which space is highly valuable.
  • This disclosure was made in view of the above circumstances, and relates to an information processing system that can appropriately grasp the value of space.
  • the information processing system is data representing an object in the real space in a three-dimensional virtual space, and represents the shape of the object at a position on the virtual space corresponding to the position of the object in the real space.
  • a storage unit that stores spatial structure data
  • a user information acquisition unit that acquires a user's position and a viewing direction that the user visually recognizes, and a user's position and viewing direction acquired by the user information acquisition unit from the storage unit.
  • the structural data acquisition unit that acquires spatial structure data
  • the collision area estimation unit that estimates the three-dimensional collision area where the spatial structure data acquired by the structural data acquisition unit collides with the viewing direction
  • the collision area estimation unit A heat map generation unit that generates a three-dimensional heat map indicating the degree of attention of each region in the three-dimensional space based on the estimated collision region is provided.
  • Spatial structure data is data that represents an object in the real space in a three-dimensional virtual space, and represents the shape of the object at a position in the virtual space corresponding to the position of the object in the real space.
  • a three-dimensional heat map showing the degree of attention of each region in the three-dimensional space is generated, so that the region in which the user is paying attention in the space is visualized, and each region (space). It is possible to appropriately grasp the value according to the degree of attention of. As described above, according to this information processing system, the value of the space can be appropriately grasped.
  • the value of space can be properly grasped.
  • FIG. 1 is a diagram illustrating an outline of an information processing system according to the present embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the information processing system according to the present embodiment.
  • FIG. 3 is a diagram illustrating a method of estimating the viewing direction of the user.
  • FIG. 4 is a diagram illustrating an example of a three-dimensional heat map.
  • FIG. 5 is a diagram illustrating a collision region between the spatial structure data and the user's viewing direction.
  • FIG. 6 is a flowchart showing processing performed by the information processing system according to the present embodiment.
  • FIG. 7 is a diagram showing a hardware configuration of a positioning server, a spatial structure server, and a communication terminal included in the information processing system according to the present embodiment.
  • FIG. 1 is a diagram illustrating an outline of an information processing system according to the present embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the information processing system according to the present embodiment.
  • FIG. 3 is a diagram illustrating a method
  • FIG. 8 is a block diagram showing a functional configuration of an information processing system according to a modified example.
  • FIG. 9 is a flowchart showing a process performed by the information processing system according to the modified example.
  • FIG. 10 is a diagram illustrating an example of a three-dimensional heat map according to a modified example.
  • FIG. 11 is a diagram illustrating an example of a three-dimensional heat map according to a modified example.
  • the information processing system 1 shown in FIGS. 1 and 2 is a system that generates a three-dimensional heat map.
  • the three-dimensional heat map is a map showing the degree of attention of each of a plurality of compartmentalized regions (each region of the three-dimensional space) divided in the three-dimensional real space. The details of the three-dimensional heat map will be described later.
  • the information processing system 1 includes a positioning server 10, a spatial structure server 30, and a communication terminal (terminal) 50 carried by a user.
  • the information processing system 1 transmits the captured image captured by the communication terminal 50 to the positioning server 10.
  • the image (captured image) P1 of the building B is shown as the captured image captured by the communication terminal 50.
  • the positioning server 10 acquires global position information based on the captured image captured by the communication terminal 50, and transmits the global position information to the communication terminal 50.
  • Global position information is position information (absolute position information) indicated by a common coordinate system that can be used by any device.
  • the global position information includes, for example, position, direction, and tilt information.
  • the global position information is generated in advance and stored in the position positioning server 10. The details of the global location information will be described later.
  • the communication terminal 50 estimates (acquires) the position of the communication terminal 50 by acquiring global position information from the positioning server 10. Then, the communication terminal 50 transmits the acquired global position information to the spatial structure server 30.
  • the spatial structure server 30 acquires the spatial structure data according to the global location information, and transmits the spatial structure data corresponding to the global location information to the communication terminal 50.
  • Spatial structure data is data that represents objects in real space in a three-dimensional virtual space (details will be described later).
  • the spatial structure data is generated in advance and stored in the spatial structure server 30.
  • the building B displayed in the image P1 is an object in the real space. Therefore, the spatial structure data D corresponding to the building B represents the shape of the object of the building B represented in the three-dimensional virtual space.
  • the communication terminal 50 estimates (acquires) the viewing direction of the user based on the captured image.
  • the user's visual direction is the direction in which the user visually recognizes in the real space.
  • the number of communication terminals 50 shown in FIGS. 1 and 2 is one, the number of communication terminals 50 may be plural.
  • the communication terminal 50 acquires the spatial structure data from the spatial structure server 30 and generates a three-dimensional heat map by estimating the collision area where the spatial structure data collides with the user's visual direction.
  • the user visually recognizes the direction near the center in front of the building B (see FIG. 3). Therefore, the direction from the user toward the center of the front of the building B is the viewing direction of the user.
  • the details of the viewing direction such as the method of estimating the viewing direction, will be described later.
  • the collision area where the spatial structure data and the user's visual direction collide is near the center in the front of the building B.
  • a three-dimensional heat map 5B having a high degree of attention is generated in the center of the three-dimensional space in front of the building B.
  • the positioning server 10 has a storage unit 11 and a positioning unit 12 as functional components.
  • the storage unit 11 stores the map data 100.
  • the feature amount for example, the luminance direction vector
  • the global position information which is the absolute position information associated with the feature points.
  • the map data 100 is, for example, a 3D point cloud.
  • the map data 100 is preliminarily imaged by a stereo camera (not shown) or the like capable of simultaneously capturing an object from a plurality of different directions, and is generated based on a large number of captured images.
  • the feature point is a point that is prominently detected in the image, and is, for example, a point whose brightness (intensity) is larger (or smaller) than that of other regions.
  • the global position information of the feature points is the global position information set in association with the feature points, and is the global position information in the real world about the region indicated by the feature points in the image. It should be noted that the association of the global position information with each feature point can be performed by a conventionally known method.
  • the storage unit 11 stores three-dimensional position information as global position information of the feature points of the map data 100.
  • the storage unit 11 stores, for example, the latitude, longitude, and height of the feature points as three-dimensional global position information of the feature points.
  • the storage unit 11 may store a plurality of divided map data divided for each fixed area according to the global position information of the map data 100.
  • the positioning unit 12 Based on the captured image captured by the communication terminal 50 and the map data 100 stored in the storage unit 11, the positioning unit 12 provides global position information (three-dimensional) of the communication terminal 50 at the time of imaging by the communication terminal 50. Position information) is estimated. Specifically, the positioning unit 12 matches the feature points of the map data 100 with the feature points of the captured image captured by the communication terminal 50, and obtains a region of the map data 100 corresponding to the captured captured image. Identify. Then, the positioning unit 12 estimates the imaging position of the captured image (that is, the global position information of the communication terminal 50 at the time of imaging) based on the global position information associated with the feature points of the map data 100 related to the specified region. do. The positioning unit 12 transmits the positioning result to the communication terminal 50.
  • the positioning result may include information on the direction estimated from the captured image (direction in the three-dimensional coordinates of roll, pitch, and yaw) in addition to the global position information. Further, the positioning unit 12 may acquire global position information based on the captured image captured by the communication terminal 50 at a fixed cycle, or the captured image captured at the timing of receiving an instruction from the communication terminal 50. Global location information may be acquired based on.
  • the spatial structure server 30 specifies the spatial structure data according to the global location information based on the global location information transmitted from the communication terminal 50. Then, the spatial structure server 30 transmits the specified spatial structure data to the communication terminal 50.
  • the spatial structure server 30 has a storage unit 31 and a specific unit 32.
  • the storage unit 31 stores the data 300 in which the global position information and the spatial structure data are associated with each other.
  • the identification unit 32 identifies the spatial structure data corresponding to the global position information of the communication terminal 50 based on the global position information transmitted from the communication terminal 50 and the data 300 stored in the storage unit 31. Then, the specific unit 32 transmits the specified spatial structure data to the communication terminal 50.
  • the communication terminal 50 is, for example, a terminal configured to perform wireless communication.
  • the communication terminal 50 is, for example, a smartphone, a tablet type terminal, a PC, a goggle type wearable device, or the like.
  • the communication terminal 50 generates a three-dimensional heat map and stores the three-dimensional heat map.
  • the communication terminal 50 for example, when an application is executed, an image is taken by the mounted camera. Then, the communication terminal 50 acquires global position information from the positioning server 10 according to the captured image, and based on the global position information, from the spatial structure server 30 or the storage medium of the communication terminal 50. Get spatial structure data. Then, the communication terminal 50 estimates (acquires) the viewing direction of the user of the terminal, estimates the collision area where the viewing direction and the spatial structure data collide, and generates a three-dimensional heat map based on the collision area. do.
  • the communication terminal 50 includes a storage unit 51, a user information acquisition unit 52, a structural data acquisition unit 53, a collision area estimation unit 54, and a heat map generation unit 55.
  • the storage unit 51 stores information used for various processes performed by the information processing system 1. Specifically, the storage unit 51 stores an image captured by the camera of the communication terminal 50, global position information acquired from the positioning server 10, information on the user's visual direction, a three-dimensional heat map, and the like. ing. The captured image is acquired by imaging with the camera of the communication terminal 50, for example, at the timing when the execution of the application for generating the three-dimensional heat map is started. The acquired captured image is stored in the storage unit 51, and is used for estimation of global position information by the positioning server 10, estimation of the user's viewing direction, and the like.
  • the user information acquisition unit 52 acquires information about the user. Specifically, the user information acquisition unit 52 acquires (estimates) the position and viewing direction of the user as information about the user.
  • the user information acquisition unit 52 transmits the captured image to the positioning server 10, acquires the global position information corresponding to the captured image from the positioning server 10, and the user's position based on the global position information. To estimate. Further, in the present embodiment, the user information acquisition unit 52 acquires an captured image captured by the camera of the communication terminal 50 (hereinafter, referred to as “captured by the communication terminal 50”), and based on the captured image, the viewing direction. To estimate.
  • the visual direction estimation method includes the following three estimation methods.
  • the three estimation methods will be described with reference to the example shown in FIG.
  • the communication terminal 50 shown in FIG. 3 is a goggle-type wearable device and is worn by the user. The user is visually recognizing the vicinity of the center on the right side of the building B in the real space.
  • the first estimation method which is the first estimation method, is a method based on the region of the captured image. Specifically, the user information acquisition unit 52 estimates the direction from the user's position to the region of the captured image as the visual viewing direction. In the example shown in FIG. 3, the user information acquisition unit 52 estimates the direction from the user's position to the area of the image P1 (the area near the center in front of the building B) as the viewing direction. That is, the viewing direction of the user in the first estimation method is estimated on the assumption that the user captures the entire region of the captured image, not the narrow dot-shaped region.
  • the second estimation method which is the second estimation method, is a method based on the optical center region, which is the region corresponding to the optical center of the captured image. Specifically, the user information acquisition unit 52 estimates the direction from the user's position to the optical center region as the viewing direction. In the example shown in FIG. 3, the user information acquisition unit 52 estimates the direction from the user's position to the optical center region C of the image P1 as the viewing direction.
  • the third estimation method which is the third estimation method, is a method based on the area corresponding to the user's gaze point.
  • the communication terminal 50 is, for example, a goggle-type wearable device or the like and is configured so that the user's line-of-sight information can be acquired
  • the user's gaze point can be specified.
  • the user information acquisition unit 52 estimates the direction from the user's position to the user's gaze point as the viewing direction.
  • the user information acquisition unit 52 estimates the direction from the user's position to the user's gazing point S as the viewing direction.
  • the viewing direction means a direction in which the user is presumed to be visually recognizing based on the information obtained from the communication terminal 50.
  • the structural data acquisition unit 53 acquires spatial structure data corresponding to the user's position (acquired) estimated (acquired) by the user information acquisition unit 52 and the viewing direction from the storage unit 51.
  • Spatial structure data is data that represents an object in real space in a three-dimensional virtual space.
  • Spatial structure data is data representing the shape of an object at a position in virtual space corresponding to the position of the object in real space. For example, suppose that there are a plurality of buildings (plural objects) in an outdoor place in a real space. In that case, the structural data of the virtual space corresponding to the outdoor place (real space) represents an object on the ground and an object of a plurality of buildings arranged at the same position as the outdoor place.
  • the structural data of the virtual space corresponding to the indoor place includes wall objects, floor objects, ceiling objects, and chair objects arranged at the same positions as the indoor place. It is represented. That is, the object in the spatial structure data is linked to the object in the real space.
  • the spatial structure data may be data representing the shape of only a static object (basically an object that does not move). Further, the object of the spatial structure data may include an object that is not linked to the object in the real space.
  • the structural data acquisition unit 53 acquires the spatial structure data from the storage unit 51.
  • the structural data acquisition unit 53 acquires the spatial structure data from the storage unit 31 of the spatial structure server 30 when the spatial structure data corresponding to the user's position and viewing direction is not stored in the storage unit 51.
  • the collision area estimation unit 54 estimates a three-dimensional collision area in which the spatial structure data acquired by the structure data acquisition unit 53 collides with the user's visual direction.
  • the collision area is a case where it is assumed that the user (communication terminal 50) exists at a position corresponding to the position of the user (that is, the communication terminal 50) in the real space in the three-dimensional virtual space represented by the spatial structure data. , This is a three-dimensional region where the spatial structure data and the user's viewing direction collide.
  • the collision area is an object in the virtual space that first intersects the straight line when a straight line is drawn from the position of the user (communication terminal 50) toward the object of the spatial structure data in the virtual space. Means the area of.
  • the collision area means that when a straight line is drawn from the position of the user (communication terminal 50) to one object in the virtual space in the virtual space, the straight line is not obstructed by another object. It means the area that intersects the object.
  • FIG. 5 is a plan view that virtually represents the positional relationship between the three-dimensional virtual space D1 represented by the spatial structure data and the communication terminal 50.
  • the spatial structure data represents the shapes of a plurality of objects X1, objects X2, objects X3, and objects X4 at positions on the virtual space.
  • Each object X1 to X4 is an object in which each object in the real space is represented in the three-dimensional virtual space D1.
  • the communication terminal 50 images each object in the real space corresponding to each object X1 to X4, and the positional relationship between the communication terminal 50 and each object in the real space is the same as in FIG.
  • the imaging target range 5A of the communication terminal 50 for example, extends in a cone shape toward each object with the optical center of the camera of the communication terminal 50 as the apex.
  • the collision area estimation unit 54 is a virtual corresponding to the position of the communication terminal 50 in the real space based on internal parameters such as the user's position, the viewing direction, and the angle of view of the communication terminal 50 estimated by the user information acquisition unit 52. Estimate the position of space D1. Then, the collision area estimation unit 54 estimates the collision area as follows, assuming that the communication terminal 50 is located at the position of the virtual space D1 in the viewing direction. That is, the collision area estimation unit 54 estimates the collision area in which the spatial structure data collides with the viewing direction in the virtual space D1. Specifically, when a straight line is drawn from the origin in the viewing direction, the collision area estimation unit 54 estimates the areas of objects X1 to X4 in the virtual space D1 that first intersect the straight line as the collision area.
  • the collision area is estimated according to the method of estimating the viewing direction.
  • the collision area estimation unit 54 estimates a collision area in which the spatial structure data collides with the visual area estimated by the first estimation method. Specifically, the collision area estimation unit 54 estimates the collision area R1 which is a region where the surface of each object X1 to X4 on the communication terminal 50 side and the region of the captured image overlap.
  • the collision area estimation unit 54 is estimated by the spatial structure data and the second estimation method. Estimate the collision area that collides with the visible area. Specifically, as shown in FIG. 5, the collision area estimation unit 54 estimates the collision point (collision area) R2, which is a region where the surface of the object X1 on the communication terminal 50 side and the optical center region C overlap. do.
  • the communication terminal 50 is configured to be able to acquire the user's line-of-sight information. If so, the collision area estimation unit 54 estimates the collision area where the spatial structure data and the visual area estimated by the third estimation method collide. Specifically, as shown in FIG. 5, the collision area estimation unit 54 sets a collision point (collision area) R3, which is an area where the surface of the object X4 on the communication terminal 50 side and the user's gazing point S overlap. presume.
  • the collision area R1 when a straight line is drawn from the position of the user (communication terminal 50) to each object X1 to X4 in the virtual space, the straight line is not obstructed by other objects and each object X1 to X4. It is an area that intersects with.
  • the region R4 shown in FIG. 5 is a region on the surface of the object X4 on the communication terminal 50 side, and is included in the imaging target range 5A, but is not a collision region. This is because when a straight line is drawn from the user's position to the object X4, the straight line is blocked by another object X3.
  • the collision area estimation unit 54 estimates the collision area according to the estimation method of each viewing direction.
  • the heat map generation unit 55 generates a three-dimensional heat map based on the collision area estimated by the collision area estimation unit 54.
  • the three-dimensional heat map of the present embodiment is a map that visualizes where and how much the user is paying attention to the space around the communication terminal 50.
  • a region having a high degree of attention is displayed in red
  • an region having a low degree of attention is displayed in blue
  • the degree of attention is expressed by a color or the like.
  • the area where the object in the real space collides with the viewing direction of the user in the real space can be said to be the area that the user is paying attention to.
  • the communication terminal 50 generates a three-dimensional heat map by estimating the collision region where the spatial structure data corresponding to the object in the real space collides with the user's visual direction.
  • the three-dimensional heat map shows the degree of attention of each of the plurality of compartment areas partitioned in the three-dimensional space corresponding to the virtual space in the spatial structure data.
  • the heat map generation unit 55 repeats the process of aggregating the three-dimensional heat maps from the communication terminal 50. Thereby, by referring to the three-dimensional heat map, the degree of attention of one or more users to the predetermined three-dimensional space can be grasped.
  • the heat map generation unit 55 generates a three-dimensional heat map by weighting the degree of attention according to the environment in which the collision region is estimated.
  • the heat map generation unit 55 weights the degree of attention according to the method of estimating the viewing direction.
  • the reliability of each estimation method in the viewing direction of the user is determined by the third estimation method (estimation method based on the region of the captured image), the second estimation method (estimation method based on the optical center region of the captured image), and the first. It is generally considered that the estimation method (estimation method based on the user's gaze point) has the highest order. This is because it is considered that the region actually viewed by the user is more likely to be the region of the user's gaze point, the optical center region, and the captured image region (a wider region including the optical center region) in that order. ..
  • the heat map generation unit 55 refers to the partition area corresponding to the collision area estimated based on the second estimation method from the partition area corresponding to the collision area estimated based on the first estimation method. Also weights the degree of attention heavily (highly). Further, in the three-dimensional heat map, the heat map generation unit 55 has a section corresponding to the collision area estimated based on the third estimation method, and the section corresponding to the collision area estimated based on the second estimation method. Weight the degree of attention heavier (higher) than the area.
  • the collision point based on the user's gazing point S is estimated. (See Fig. 3). Therefore, the heat map generation unit 55 makes the degree of attention of the partition region W2 corresponding to the collision region based on the optical center region C heavier than the degree of attention of the compartment region W1 corresponding to the collision region based on the region of the image P1. Weight.
  • the heat map generation unit 55 makes the degree of attention of the partition region W3 corresponding to the collision region based on the user's gaze point S higher than the degree of attention of the compartment region W2 corresponding to the collision region based on the optical center region C. Weight heavily. In this way, the heat map generation unit 55 generates a three-dimensional heat map.
  • the heat map generation unit 55 stores the generated three-dimensional heat map in the storage unit 51.
  • the heat map generation unit 55 generates, for example, a three-dimensional heat map each time an captured image is acquired, and repeats the process of storing the three-dimensional heat map in the storage unit 51, thereby causing the communication terminal 50.
  • the 3D heat map that aggregates the degree of attention of one or more users to the surrounding space is updated at any time. Then, for example, when the display process of the application is executed, the heat map generation unit 55 displays the three-dimensional heat map 5B on the screen of the communication terminal 50 (see FIG. 4).
  • FIG. 6 is a flowchart showing the processing performed by the information processing system 1.
  • the position of the user and the viewing direction that the user visually recognizes are estimated (acquired) in the communication terminal 50 (step S11).
  • the communication terminal 50 acquires the captured image captured by the communication terminal 50 and visually recognizes the direction from the user's position to the region of the captured image and the direction from the user's position to the optical center region of the captured image. Get as direction.
  • step S12 it is determined whether or not the storage unit 51 holds the spatial structure data corresponding to the user's position and viewing direction estimated in step S11 (step S12).
  • step S12: YES the spatial structure data is loaded from the storage unit 51 in the communication terminal 50 (step S13).
  • step S12: NO the spatial structure server in the communication terminal 50 Spatial structure data is acquired from 30 (step S14).
  • a three-dimensional collision region and a first collision point where the spatial structure data collides with the viewing direction are estimated (step S15). That is, first, the communication terminal 50 acquires the spatial structure data corresponding to the position and the viewing direction acquired by the user information acquisition unit 52 from the storage unit 51 of the communication terminal 50 or the storage unit 31 of the spatial structure server 30. Then, in the communication terminal 50, the collision region where the spatial structure data collides with the visible region estimated based on the region of the captured image collides with each other, and the spatial structure data collides with the visible region estimated based on the optical center region. Estimate the first collision point.
  • the communication terminal 50 determines whether or not the user's gaze point can be specified (step S16). For example, when it is determined that the user's gaze point can be specified (step S16: YES), such as when the communication terminal 50 is a wearable device configured to be able to specify the user's gaze point, the communication terminal 50 has a second The collision point is estimated (step S17). The second collision point is a collision area where the spatial structure data and the visible area estimated based on the user's gaze point collide. On the other hand, when it is determined that the gaze point of the user cannot be specified (step S16: NO), the process proceeds to S18.
  • the communication terminal 50 generates a three-dimensional heat map (step S18).
  • the three-dimensional heat map is generated based on the collision region and the first collision point estimated in step S15, and the second collision point. 2 If the collision point is not estimated, it is generated based on the collision area and the first collision point.
  • the three-dimensional heat map generated in step S18 is stored (step S19).
  • data representing an object in the real space in a three-dimensional virtual space and a space representing the shape of the object at a position on the virtual space corresponding to the position of the object in the real space.
  • a storage unit 51 that stores structural data
  • a user information acquisition unit 52 that acquires a user's position and a viewing direction that the user visually recognizes, and a user's position and viewing direction acquired by the user information acquisition unit 52 from the storage unit 51.
  • a structural data acquisition unit 53 that acquires spatial structure data corresponding to the above, and a collision area estimation unit 54 that estimates a three-dimensional collision area in which the spatial structure data acquired by the structural data acquisition unit 53 collides with the viewing direction.
  • a heat map generation unit 55 that generates a three-dimensional heat map indicating the degree of attention of each division area (each area of the three-dimensional space) of the three-dimensional space based on the collision area estimated by the collision area estimation unit 54. , Is equipped.
  • spatial structure data corresponding to the user's position and viewing direction is acquired based on the user's position and viewing direction. Then, the collision region where the spatial structure data and the viewing direction collide is estimated.
  • Spatial structure data is data that represents an object in the real space in a three-dimensional virtual space, and represents the shape of the object at a position in the virtual space corresponding to the position of the object in the real space. In this way, by estimating the collision area where the spatial structure data corresponding to the position and shape of the object in the real space collides with the viewing direction, not only the user's viewing direction but also the user's viewing direction ahead. In other words, the area that the user is paying attention to in the space is surely grasped.
  • a three-dimensional heat map showing the degree of attention of each region in the three-dimensional space is generated, so that the region in which the user is paying attention in the space is visualized, and each region (space). It is possible to appropriately grasp the value according to the degree of attention of. As described above, according to the information processing system 1, the value of the space can be appropriately grasped. Further, in the information processing system 1, since the collision area is estimated by using the spatial structure data stored in advance, the technical effect that the processing load can be reduced can be obtained.
  • the user information acquisition unit 52 acquires an captured image captured by the communication terminal 50 carried by the user, and acquires a direction from the user's position to a region corresponding to the optical center of the captured image as a viewing direction.
  • the region corresponding to the optical center of the captured image has a high probability of corresponding to the region actually visually recognized by the user. Since such a region is specified as a viewing direction, it is possible to generate a three-dimensional heat map that accurately represents the degree of attention of the user.
  • the user information acquisition unit 52 includes a direction from the user's position to the region of the captured image, a direction from the user's position to the region corresponding to the optical center of the captured image, and a user's position to the user.
  • the direction to the gazing point is acquired as the viewing direction. This makes it possible to generate a three-dimensional heat map that more accurately represents the degree of attention of the user.
  • the heat map generation unit 55 generates a three-dimensional heat map by weighting the degree of attention according to the environment in which the collision region is estimated. As a result, a three-dimensional heat map that more appropriately reflects the degree of attention of the user is generated, so that the degree of attention of the user can be visualized with reliability.
  • the heat map generation unit 55 weights the degree of attention according to the method of estimating the viewing direction.
  • the viewing direction is the optical center of the captured image, it is determined that the viewing direction has a high probability of representing the actual user's viewpoint, and the weighting of the degree of attention is heavily weighted.
  • a three-dimensional heat map is generated by reflecting the reliability of the information source in the viewing direction of. As a result, the degree of attention of the user can be visualized with reliability.
  • the heat map generation unit 55 corresponds to the degree of attention of the partition region corresponding to the collision region based on the optical center region to the collision region based on the region of the captured image in the three-dimensional heat map. Weight more than the degree of attention of multiple compartment areas. Then, the heat map generation unit 55 weights the degree of attention of the partition region corresponding to the collision region based on the user's gaze point heavier than the degree of attention of the compartment region corresponding to the collision region based on the optical center region. As a result, it is possible to generate a three-dimensional heat map by reliably reflecting the reliability of the information source in the viewing direction of the user.
  • the positioning server 10, the spatial structure server 30, and the communication terminal 50 physically include a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like. It may be configured as a device.
  • the word “device” can be read as a circuit, device, unit, etc.
  • the hardware configuration of the positioning server 10, the spatial structure server 30, and the communication terminal 50 may be configured to include one or more of the devices shown in the figure, or may not include some of the devices. May be done.
  • the processor 1001 For each function of the positioning server 10, the spatial structure server 30, and the communication terminal 50, the processor 1001 performs calculations and communicates by loading predetermined software (programs) on hardware such as the processor 1001 and the memory 1002. It is realized by controlling communication by the device 1004 and reading and / or writing of data in the memory 1002 and the storage 1003.
  • Processor 1001 operates, for example, an operating system to control the entire computer.
  • the processor 1001 may be composed of a central processing unit (CPU: Central Processing Unit) including an interface with a peripheral device, a control device, an arithmetic unit, a register, and the like.
  • CPU Central Processing Unit
  • the control function of the positioning unit 12 and the like of the positioning server 10 may be realized by the processor 1001.
  • the processor 1001 reads a program (program code), a software module, and data from the storage 1003 and / or the communication device 1004 into the memory 1002, and executes various processes according to these.
  • program program code
  • a program that causes a computer to execute at least a part of the operations described in the above-described embodiment is used.
  • control function of the positioning unit 12 of the positioning server 10 or the like may be realized by a control program stored in the memory 1002 and operated by the processor 1001, or may be realized in the same manner for other functional blocks.
  • processor 1001 may be executed simultaneously or sequentially by two or more processors 1001.
  • Processor 1001 may be mounted on one or more chips.
  • the program may be transmitted from the network via a telecommunication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of at least one such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). May be done.
  • the memory 1002 may be referred to as a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store a program (program code), a software module, or the like that can be executed to implement the wireless communication method according to the embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, and is, for example, an optical disk such as a CDROM (Compact Disc ROM), a hard disk drive, a flexible disk, an optical magnetic disk (for example, a compact disk, a digital versatile disk, or a Blu-ray (registration)). It may consist of at least one such as a (trademark) disc), a smart card, a flash memory (eg, a card, stick, key drive), a floppy® disc, a magnetic strip, and the like.
  • the storage 1003 may be referred to as an auxiliary storage device.
  • the storage medium described above may be, for example, a database, server or other suitable medium containing memory 1002 and / or storage 1003.
  • the communication device 1004 is hardware (transmission / reception device) for communicating between computers via a wired and / or wireless network, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that outputs to the outside.
  • the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
  • Bus 1007 may be composed of a single bus, or may be composed of different buses between devices.
  • the positioning server 10, the spatial structure server 30, and the communication terminal 50 include a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field). It may be configured to include hardware such as Programmable Gate Array), and a part or all of each functional block may be realized by the hardware. For example, processor 1001 may be implemented on at least one of these hardware.
  • the information processing system 1 has been described as being configured to include the positioning server 10, the spatial structure server 30, and the communication terminal 50, but the present invention is not limited to this, and each function of the information processing system 1 communicates. It may be realized only by the terminal 50.
  • the communication terminal 50 includes a storage unit 51, a user information acquisition unit 52, a structural data acquisition unit 53, a collision area estimation unit 54, and a heat map generation unit 55.
  • the server may include each functional component.
  • the information processing system 1 shown in FIG. 8 further includes a heat map server 7.
  • the heat map server 7 includes a storage unit 71, a user information acquisition unit 72, a structural data acquisition unit 73, a collision area estimation unit 74, and a heat map generation unit 75.
  • the basic functional configurations of the storage unit 71, the user information acquisition unit 72, the structural data acquisition unit 73, the collision area estimation unit 74, and the heat map generation unit 75 are the storage unit 51 and the user information acquisition unit 52 of the above embodiment.
  • the structural data acquisition unit 53, the collision area estimation unit 54, and the heat map generation unit 55 are the differences between each component of the present modification and the above-described embodiment.
  • the storage unit 71 stores the user's position information acquired from the transmission unit 56 of the communication terminal 50, the user's visual direction information, a three-dimensional heat map, and the like.
  • the transmission unit 56 is a functional component that transmits each information stored in the storage unit 51 of the communication terminal 50 to the outside.
  • the user information acquisition unit 72 acquires the position of the user and the viewing direction of the user from the communication terminal 50. Specifically, the user information acquisition unit 72 acquires the viewing direction based on the region of the captured image and the viewing direction based on the optical center region of the captured image. Further, when the communication terminal 50 is configured so that the user's gaze point can be specified, the user information acquisition unit 72 also acquires the viewing direction based on the user's gaze point.
  • the structural data acquisition unit 73 acquires spatial structure data corresponding to the user's position and viewing direction from the spatial structure server 30.
  • the collision area estimation unit 74 estimates the collision range and the first collision point. Further, the collision area estimation unit 74 also estimates the second collision point when the user information acquisition unit 52 acquires the viewing direction based on the user's gaze point.
  • the heat map generation unit 75 stores the generated three-dimensional heat map in the storage unit 71.
  • the heat map generation unit 75 transmits, for example, a three-dimensional heat map to the communication terminal 50 when the display processing of the application of the communication terminal 50 is executed. As a result, the three-dimensional heat map is displayed on the screen of the communication terminal 50 (see FIG. 4).
  • FIG. 9 is a flowchart showing a process performed by the information processing system 1 according to this modification.
  • the position of the user and the viewing direction that the user visually recognizes are acquired in the heat map server 7 (step S21).
  • the heat map server 7 acquires the user's position based on the global position information, the viewing direction based on the area of the captured image, and the viewing direction based on the optical center area of the captured image from the communication terminal 50. do.
  • the heat map server 7 also acquires the viewing direction based on the user's gaze point from the communication terminal 50.
  • the heat map server 7 loads the spatial structure data corresponding to the user's position and viewing direction acquired in step S21 (step S22). Subsequently, the heat map server 7 estimates the collision area and the first collision point (step S23). Further, when the viewing direction based on the user's gaze point is also acquired in step S21, the heat map server 7 also estimates the second collision point.
  • the heat map server 7 generates a three-dimensional heat map based on the collision region, the first collision point, and the second collision point (only when it is estimated) estimated in step S23 (only when it is estimated). Step S24). Finally, the heat map server 7 stores the three-dimensional heat map generated in step S24 (step S25).
  • the information processing system 1 according to the present modification described above also has the same effect as that of the above embodiment.
  • the user information acquisition unit 52 weights the degree of attention to the partition area of the three-dimensional heat map according to the method of estimating the viewing direction.
  • the weighting of the degree of attention may be performed according to the environment in which the collision region is estimated.
  • the weighting of the degree of attention may be performed by other conditions, for example, instead of the condition according to the method for estimating the viewing direction, or in addition to the condition according to the method for estimating the viewing direction.
  • the heat map generation unit 55 may weight the degree of attention according to the distance between the position of the user and the collision area in the virtual space. For example, if the chair in the room is an object in real space and the user is paying attention to the chair, the closer the distance between the user and the chair that is the object, the more attention the user is to the chair that is the object. It can be generally said that the degree is high. Therefore, for example, the heat map generation unit 55 weights the degree of attention more heavily as the distance between the user's position and the collision region (including the first collision point and the second collision point) is closer. As a result, the three-dimensional heat map is generated according to the positional relationship between the user and the area of interest of the user, so that the degree of attention of the user can be visualized with reliability.
  • the weighting of the degree of attention according to the distance between the user's position and the collision area in the virtual space is not limited to the above-mentioned example.
  • the area from the sea to the observatory where the sea can be seen is an object in the real space
  • the user at the observatory will pay more attention to the sea than to objects near the user such as trees and buildings. It can be generally said that the higher is higher.
  • the heat map generation unit 55 increases the distance between the user's position and the collision area.
  • the degree of attention may be heavily weighted.
  • the user information acquisition unit 52 may further acquire the user's identification information, and the heat map generation unit 55 may weight the degree of attention according to the identification information.
  • the heat map generation unit 55 shall aggregate the three-dimensional heat maps from the plurality of communication terminals 50.
  • the user information acquisition unit 52 acquires the account information of the external SNS service used by the user of the communication terminal 50.
  • the account information includes the number of followers of the user (other users viewing posts by the account).
  • the heat map generation unit 55 weights the degree of attention of each partition area based on the number of followers of the user.
  • the heat map generation unit 55 weights the degree of attention more heavily as the partition area attracts the attention of the user with a large number of followers. That is, in this modified example, the degree of attention increases as the area attracts the attention of the user having a strong social influence, and a three-dimensional heat map is generated. As a result, the user's status is taken into consideration to generate the three-dimensional heat map, so that the degree of attention of the user can be visualized with reliability.
  • the user identification information is not particularly limited to the user account information, and may be, for example, the user's income. In that case, the heat map generation unit 55 may weight the degree of attention according to the income of the user, for example, the division area that the high-income user pays attention to is weighted more heavily. Further, the user identification information may be, for example, the type of business of the user's occupation. In that case, the heat map generation unit 55 may weight the degree of attention according to the type of industry, for example.
  • the user information acquisition unit 52 may further acquire the biometric information of the user, and the heat map generation unit 55 may weight the degree of attention according to the biometric information.
  • the user information acquisition unit 52 acquires the user's heart rate information as the user's biological information.
  • the heart rate information is information on the user's heart rate when the collision area is estimated.
  • the heat map generation unit 55 weights the degree of attention of each section region based on the user's heart rate information. Specifically, the heat map generation unit 55 weights the degree of attention more heavily as the user's heart rate when the collision region is estimated is higher.
  • the three-dimensional heat map is generated in consideration of the biological reaction of the user, so that the degree of attention of the user can be visualized with reliability.
  • the biometric information of the user is not limited to the heart rate information of the user, and may be, for example, an electroencephalogram, a pulse wave, or the like. By using these biological information, a three-dimensional heat map is generated in consideration of the biological reaction of the user, and the degree of concentration of the user who is paying attention to the space, the stress state, and the like can be acquired. ..
  • the heat map generation unit 55 may generate a three-dimensional heat map without weighting each section area.
  • the viewing direction of the user is acquired based on each of the region of the captured image, the optical center region of the captured image, and the gazing point of the user.
  • the viewing direction of the user may be acquired based on any one or two of the region of the captured image, the optical center region of the captured image, and the user's gazing point, or by, for example, other methods. May be obtained.
  • the information processing system 1 may further include an output unit.
  • the output unit receives the input of the position information in the real space, identifies the value information based on the three-dimensional heat map, and outputs the specified value information.
  • the value information is information on the value according to the degree of attention of the area corresponding to the location information.
  • An example of value information is the cost of advertising when a virtual advertisement is placed in a predetermined area. As a result, the value of the space can be appropriately grasped by a simple method.
  • the heat map generation unit 55 generates a three-dimensional heat map for each direction visually recognized for each region based on the collision region and the viewing direction, and the output unit visually recognizes the region corresponding to the position information in the real space.
  • the input of the direction information which is the information of the direction to be performed, may be further accepted, and the value information may be output based on the input position information and the information of the three-dimensional heat map corresponding to the direction information.
  • the degree of attention of people when looking at a building near an intersection from a sidewalk away from the intersection is higher than the degree of attention of people when looking at the building from an intersection where many people stop.
  • the heat map generation unit 55 in this modification generates a three-dimensional heat map for each direction to be visually recognized for each region based on the collision region and the user's visual viewing direction.
  • the heat map generation unit 55 has a direction (viewing direction) Z1 that is visually recognized for the partition area W4 and a partition area based on the collision area and the viewing direction of the user.
  • a three-dimensional heat map 5C is generated for each of the directions (visual directions) Z2 that are visually recognized for W4 and different from the direction Z1.
  • direction Z1 indicates the southeastern direction
  • direction Z2 indicates the northeastern direction.
  • the output unit When the output unit receives the input of the position information of the area corresponding to the partition area W4 in the real space and the direction information of the direction Z1 as the direction visually recognized for the area, the input position information and the direction of the direction Z1. Based on the information of the three-dimensional heat map corresponding to the information, the value information of the partition area W4 when viewed from the direction Z1 (that is, when viewed from the southeast direction) is output.
  • the output unit receives the input of the position information of the area corresponding to the partition area W4 in the real space and the direction information of the direction Z2 as the direction visually recognized for the area
  • the output unit receives the input position information.
  • the value information of the partition area W4 when viewed from the direction Z2 (that is, when viewed from the northeast direction) is output.
  • the value of the space in each direction in which the space is noticed can be appropriately grasped.
  • the virtual advertisement is displayed in the area in the direction in which the area is more noticed, and the virtual advertisement is effective. Display can be prompted.
  • the direction visually recognized in each region in the three-dimensional heat map and the direction visually recognized in the region corresponding to the position information, which is the information source of the direction information may be different from each other.
  • the heat map generation unit 55 generates three-dimensional heat maps 5C for each of the directions Z1 and Z2, and the output unit generates the position information of the area corresponding to the partition area W4 in the real space and the direction in which the area is visually recognized. It is assumed that the input of the direction information of the direction Z3 is accepted.
  • Direction Z3 is a direction different from direction Z1 and direction Z2, and indicates an eastern direction as an example.
  • the heat map generation unit 55 estimates the degree of attention of the direction Z3 visually recognized for the partition area W4 based on the three-dimensional heat maps 5C of each of the directions Z1 and the direction Z2, and creates a three-dimensional heat map of the direction Z3.
  • Perform the interpolation process which is the process to generate.
  • linear interpolation based on the three-dimensional heat map 5C of the direction Z1 and the direction Z2 which has already been generated and is the closest to the direction Z3 can be mentioned.
  • the method of interpolation processing is not limited to linear interpolation.
  • the output unit outputs the value information of the partition area W4 when viewed from the direction Z3 (that is, when viewed from the east direction) based on the three-dimensional heat map corresponding to the direction information in the direction Z3.
  • the information processing system 1 may further include an estimation unit that estimates the user's visual area based on the degree of attention of each region in the three-dimensional heat map.
  • the user's viewing area is, for example, a predetermined area that the user is viewing in the real space.
  • the user's line of sight can be grasped even on a terminal that does not have a device or the like configured to be able to acquire the user's line of sight information such as the user's gaze point.
  • the storage unit 51 stores the object information indicating the object corresponding to the spatial structure data with respect to the spatial structure data
  • the heat map generation unit 55 corresponds to the collision area based on the collision area and the object information. You may generate a 3D heatmap showing the degree of attention of the object.
  • the storage unit 51 stores the object information indicating the object H1 corresponding to the spatial structure data and the object information indicating the object H2 for the spatial structure data.
  • the object H1 and the object H2 are objects corresponding to the paintings displayed in the exhibition room of the museum in the real space.
  • the heat map generation unit 55 generates a three-dimensional heat map 5D indicating the degree of attention of the objects H1 and the object H2 corresponding to the collision area based on the collision area and each object information.
  • the heat map generation unit 55 first generates a three-dimensional heat map indicating the degree of attention of each section area. Then, the heat map generation unit 55 recognizes the partition area W5 corresponding to the object H1 as the object H1 based on the object information of the object H1 stored in the storage unit 51, the object information of the object H2, and the collision area. , The partition area W6 corresponding to the object H2 is recognized as the object H2. Then, the heat map generation unit 55 generates a three-dimensional heat map 5D indicating the degree of attention of the object H1 and the object H2. This makes it possible to grasp the object that the user is paying attention to in the real space based on the three-dimensional heat map.
  • Each aspect / embodiment described in the present specification includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA. (Registered Trademarks), GSM (Registered Trademarks), CDMA2000, UMB (Ultra Mobile Broad-band), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-Wide) Band), WiMAX®, and other systems that utilize suitable systems and / or extended next-generation systems based on them may be applied.
  • the input / output information and the like may be saved in a specific location (for example, memory) or may be managed by a management table. Input / output information and the like can be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made by a value represented by 1 bit (0 or 1), by a true / false value (Boolean: true or false), or by comparing numerical values (for example, a predetermined value). It may be done by comparison with the value).
  • the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit one, but is performed implicitly (for example, the notification of the predetermined information is not performed). May be good.
  • Software whether referred to as software, firmware, middleware, microcode, hardware description language, or by any other name, is an instruction, instruction set, code, code segment, program code, program, subprogram, software module.
  • Applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, features, etc. should be broadly interpreted.
  • software, instructions, etc. may be transmitted and received via a transmission medium.
  • the software uses wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to websites, servers, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • the information, signals, etc. described herein may be represented using any of a variety of different techniques.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
  • information, parameters, etc. described in the present specification may be represented by an absolute value, a relative value from a predetermined value, or another corresponding information. ..
  • Communication terminals may be mobile communication terminals, subscriber stations, mobile units, subscriber units, wireless units, remote units, mobile devices, wireless devices, wireless communication devices, remote devices, mobile subscriber stations, access terminals, etc. It may also be referred to as a mobile device, wireless device, remote device, handset, user agent, mobile client, client, or some other suitable term.
  • any reference to that element does not generally limit the quantity or order of those elements. These designations can be used herein as a convenient way to distinguish between two or more elements. Thus, references to the first and second elements do not mean that only two elements can be adopted there, or that the first element must somehow precede the second element.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理システムは、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部と、ユーザの位置、及びユーザが視認する視認方向を取得するユーザ情報取得部と、記憶部から、ユーザ情報取得部が取得したユーザの位置及び視認方向に対応する空間構造データを取得する構造データ取得部と、構造データ取得部によって取得された空間構造データと、視認方向とが衝突する３次元の衝突領域を推定する衝突領域推定部と、衝突領域推定部が推定した衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップを生成するヒートマップ生成部と、を備える。

Description

情報処理システム
　本開示は、情報処理システムに関する。
　近年、ＡＲ（Augmented　Reality：拡張現実）を用いて、現実空間に仮想的なオブジェクトを表示する技術が注目されている。今後ＡＲ技術が更に発展していくと、街中のあらゆる空間が情報（仮想的なオブジェクト）の置場となり、仮想的なオブジェクトを広告に用いるバーチャル広告等の市場が盛り上がることが予想される。仮想的なオブジェクトを広告として用いる場合、例えば、空間に対するユーザの注目度（空間が有する価値）に応じて、各空間に仮想的なオブジェクトを表示する料金（広告料金）を決定することが考えられる。空間に対するユーザの注目度は、例えば特許文献１に示されるゴーグル型表示装置等によって検出されるユーザの視線位置に基づいて推定することが考えられる。この場合、ユーザに頻繁に視認される方向の空間ほど、ユーザの注目度が高く且つ価値が高いと判断される。
特開２０１９－４７９１１号公報
　しかしながら、特許文献１に記載された技術では、ユーザが視認する方向までは把握できるものの、ユーザが視認する方向の先、すなわち現実空間においてユーザがどこの領域に注目しているのかまでは把握することができない。このように、従来、ユーザがどこの領域（空間）に注目しており、どの空間の価値が高いのかを適切に把握することができていなかった。
　本開示は上記実情に鑑みてなされたものであり、空間が有する価値を適切に把握することができる情報処理システムに関する。
　本開示の一側面に係る情報処理システムは、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部と、ユーザの位置、及びユーザが視認する視認方向を取得するユーザ情報取得部と、記憶部から、ユーザ情報取得部が取得したユーザの位置及び視認方向に対応する空間構造データを取得する構造データ取得部と、構造データ取得部によって取得された空間構造データと、視認方向とが衝突する３次元の衝突領域を推定する衝突領域推定部と、衝突領域推定部が推定した衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップを生成するヒートマップ生成部と、を備える。
　この情報処理システムでは、ユーザの位置、及び視認方向に基づいて、ユーザの位置及び視認方向に対応する空間構造データが取得される。そして、空間構造データと視認方向とが衝突する衝突領域が推定される。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す。このように、現実空間のオブジェクトの位置及び形状に対応した空間構造データと、視認方向とが衝突する衝突領域が推定されることにより、ユーザの視認方向のみならず、ユーザの視認方向の先、言い換えれば、空間においてユーザが注目している領域が確実に把握される。そして、衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップが生成されることにより、空間においてユーザが注目している領域が視覚化され、各領域（空間）の注目度合いに応じた価値を適切に把握することができる。以上のように、この情報処理システムによれば、空間が有する価値を適切に把握することができる。
　本開示によれば、空間が有する価値を適切に把握することができる。
図１は、本実施形態に係る情報処理システムの概要を説明する図である。 図２は、本実施形態に係る情報処理システムの機能構成を示すブロック図である。 図３は、ユーザの視認方向の推定方法について説明する図である。 図４は、３次元ヒートマップの一例について説明する図である。 図５は、空間構造データとユーザの視認方向との衝突領域について説明する図である。 図６は、本実施形態に係る情報処理システムが行う処理を示すフローチャートである。 図７は、本実施形態に係る情報処理システムに含まれる位置測位サーバ、空間構造サーバ、及び通信端末のハードウェア構成を示す図である。 図８は、変形例に係る情報処理システムの機能構成を示すブロック図である。 図９は、変形例に係る情報処理システムが行う処理を示すフローチャートである。 図１０は、変形例に係る３次元ヒートマップの一例について説明する図である。 図１１は、変形例に係る３次元ヒートマップの一例について説明する図である。
　以下、添付図面を参照しながら本開示の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
　図１及び図２に示される情報処理システム１は、３次元ヒートマップを生成するシステムである。３次元ヒートマップは、３次元の現実空間において区画された複数の区画領域のそれぞれ（３次元の空間の各領域）の注目度合いを示すマップである。３次元ヒートマップの詳細については後述する。情報処理システム１は、位置測位サーバ１０と、空間構造サーバ３０と、ユーザが携帯する通信端末（端末）５０と、を備えている。
　情報処理システム１では、通信端末５０が撮像した撮像画像を位置測位サーバ１０に送信する。図１に示される例では、通信端末５０において撮像された撮像画像として、建物Ｂの画像（撮像画像）Ｐ１が示されている。位置測位サーバ１０は、通信端末５０において撮像された撮像画像に基づいてグローバル位置情報を取得し、グローバル位置情報を通信端末５０に送信する。グローバル位置情報とは、どのデバイスでも利用できる共通の座標系で示される位置情報（絶対的な位置情報）である。グローバル位置情報には、例えば、位置、方向及び傾きの情報が含まれている。グローバル位置情報は、あらかじめ生成されて位置測位サーバ１０に記憶されている。グローバル位置情報の詳細については後述する。
　通信端末５０は、位置測位サーバ１０からグローバル位置情報を取得することにより、通信端末５０の位置を推定する（取得する）。そして、通信端末５０は、取得したグローバル位置情報を空間構造サーバ３０に送信する。空間構造サーバ３０は、グローバル位置情報に応じた空間構造データを取得し、グローバル位置情報に応じた空間構造データを通信端末５０に送信する。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータである（詳細は後述）。空間構造データは、あらかじめ生成されて空間構造サーバ３０に記憶されている。
　図１に示される例では、画像Ｐ１に表示された建物Ｂが現実空間のオブジェクトである。したがって、建物Ｂに対応する空間構造データＤには、３次元の仮想空間に表された建物Ｂのオブジェクトの形状が表されている。
　また、通信端末５０は、撮像画像に基づいて、ユーザの視認方向を推定する（取得する）。ユーザの視認方向とは、現実空間においてユーザが視認する方向である。なお、図１及び図２に示される通信端末５０の数は１台であるが、通信端末５０の数は複数であってもよい。
　そして、通信端末５０は、空間構造サーバ３０から空間構造データを取得し、空間構造データとユーザの視認方向とが衝突する衝突領域を推定することによって、３次元ヒートマップを生成する。
　図１に示される例では、ユーザは、建物Ｂの正面における中央付近の方向を視認している（図３参照）。このため、ユーザから建物Ｂの正面における中央付近に向かう方向がユーザの視認方向となる。なお、視認方向の推定方法等、視認方向の詳細については後述する。
　図１及び図３に示される例では、空間構造データとユーザの視認方向とが衝突する衝突領域は、建物Ｂの正面における中央付近となる。その結果、図４に示されるように、３次元の空間のうち建物Ｂの正面における中央において注目度合いが高い３次元ヒートマップ５Ｂが生成される。以上の処理により、情報処理システム１では、３次元ヒートマップが生成される。
　ここで、図２を参照して、位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０の機能的な構成要素について説明する。位置測位サーバ１０は、機能的な構成要素として、記憶部１１と、測位部１２と、を有している。
　記憶部１１は、マップデータ１００を記憶している。マップデータ１００では、予め取得された撮像画像に含まれる特徴点の特徴量（例えば、輝度方向ベクトル）と、特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられている。マップデータ１００は、例えば、３Ｄポイントクラウドである。マップデータ１００は、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ（図示省略）等によって予め撮像され、大量の撮像画像に基づいて生成される。特徴点とは、画像中において際立って検出される点であって、例えば、他の領域と比べて輝度（強度）が大きい（又は小さい）点である。特徴点のグローバル位置情報とは、特徴点に関連付けて設定されたグローバル位置情報であって、画像中の特徴点が示す領域についての現実世界におけるグローバル位置情報である。なお、各特徴点に対するグローバル位置情報の関連付けは、従来から周知の方法によって行うことができる。
　記憶部１１は、マップデータ１００の特徴点のグローバル位置情報として３次元の位置情報を記憶している。記憶部１１は、特徴点の３次元のグローバル位置情報として、例えば、特徴点の緯度、経度及び高さを記憶している。なお、記憶部１１は、マップデータ１００についてグローバル位置情報に応じて一定の領域毎に分割された複数の分割マップデータを記憶していてもよい。
　測位部１２は、通信端末５０において撮像された撮像画像と、記憶部１１に記憶されているマップデータ１００とに基づいて、通信端末５０における撮像時の通信端末５０のグローバル位置情報（３次元の位置情報）を推定する。具体的には、測位部１２は、マップデータ１００の特徴点と、通信端末５０において撮像された撮像画像の特徴点とのマッチングを行い、撮像された撮像画像に対応するマップデータ１００の領域を特定する。そして、測位部１２は、特定した領域に係るマップデータ１００の特徴点に関連付けられたグローバル位置情報に基づいて、撮像画像の撮像位置（すなわち、撮像時における通信端末５０のグローバル位置情報）を推定する。測位部１２は、測位結果を通信端末５０に送信する。
　なお、測位結果には、グローバル位置情報に加えて撮像画像から推定される方向（ロール、ピッチ、ヨーの３次元座標中の方向）に関する情報が含まれていてもよい。また、測位部１２は、通信端末５０において一定の周期で撮像された撮像画像に基づいてグローバル位置情報を取得してもよいし、通信端末５０からの指示を受けたタイミングで撮像された撮像画像に基づいてグローバル位置情報を取得してもよい。
　空間構造サーバ３０は、通信端末５０から送信されたグローバル位置情報に基づいて、グローバル位置情報に応じた空間構造データを特定する。そして、空間構造サーバ３０は、特定した空間構造データを通信端末５０に送信する。空間構造サーバ３０は、記憶部３１と、特定部３２とを有する。記憶部３１は、グローバル位置情報と空間構造データとが対応付けられたデータ３００を記憶している。特定部３２は、通信端末５０から送信されたグローバル位置情報と、記憶部３１に記憶されているデータ３００とに基づいて、通信端末５０のグローバル位置情報に応じた空間構造データを特定する。そして、特定部３２は、特定した空間構造データを通信端末５０に送信する。
　通信端末５０は、例えば、無線通信を行うよう構成された端末である。通信端末５０は、例えば、スマートフォン、タブレット型端末、ＰＣ、ゴーグル型のウェアラブル機器等である。通信端末５０は、３次元ヒートマップを生成し、３次元ヒートマップを記憶する。
　通信端末５０では、例えばアプリケーションが実行されると、実装されたカメラによる撮像が実施される。そして、通信端末５０は、撮像された撮像画像に応じて位置測位サーバ１０からグローバル位置情報を取得し、当該グローバル位置情報に基づいて、空間構造サーバ３０、或いは通信端末５０が有する記憶媒体から、空間構造データを取得する。そして、通信端末５０は、端末のユーザの視認方向を推定し（取得し）、当該視認方向と空間構造データとが衝突する衝突領域を推定し、当該衝突領域に基づいて３次元ヒートマップを生成する。通信端末５０は、記憶部５１と、ユーザ情報取得部５２と、構造データ取得部５３と、衝突領域推定部５４と、ヒートマップ生成部５５と、を備えている。
　記憶部５１は、情報処理システム１で実施される種々の処理に用いられる情報を記憶している。具体的には、記憶部５１は、通信端末５０が有するカメラによって撮像された撮像画像、位置測位サーバ１０から取得したグローバル位置情報、ユーザの視認方向の情報、及び３次元ヒートマップ等を記憶している。撮像画像は、例えば、３次元ヒートマップの生成のためのアプリケーションの実行が開始されたタイミングで、通信端末５０のカメラによる撮像によって取得される。取得された撮像画像は、記憶部５１に格納され、位置測位サーバ１０によるグローバル位置情報の推定、ユーザの視認方向の推定等に用いられる。
　ユーザ情報取得部５２は、ユーザに関する情報を取得する。具体的には、ユーザ情報取得部５２は、ユーザに関する情報として、ユーザの位置及び視認方向を取得する（推定する）。
　本実施形態では、ユーザ情報取得部５２は、撮像画像を位置測位サーバ１０に送信し、位置測位サーバ１０から撮像画像に対応するグローバル位置情報を取得し、該グローバル位置情報に基づいてユーザの位置を推定する。また、本実施形態では、ユーザ情報取得部５２は、通信端末５０のカメラが撮像した（以下、「通信端末５０が撮像した」という）撮像画像を取得し、当該撮像画像に基づいて、視認方向を推定する。
　視認方向の推定方法には、以下の３つの推定方法が含まれる。以下、当該３つの推定方法について、図３に示される例を用いて説明する。図３に示される通信端末５０は、ゴーグル型のウェアラブル機器であって、ユーザに装着されている。ユーザは、現実空間において建物Ｂにおける右側中央付近を視認している。
　１つ目の推定方法である第１推定方法は、撮像画像の領域に基づいた方法である。具体的には、ユーザ情報取得部５２は、ユーザの位置から撮像画像の領域に至る方向を視認方向として推定する。図３に示される例では、ユーザ情報取得部５２は、ユーザの位置から画像Ｐ１の領域（建物Ｂの正面における中央付近の領域）に至る方向を、視認方向として推定する。つまり、第１推定方法におけるユーザの視認方向は、点状の狭い領域ではなく、撮像画像の領域全体をユーザが捉えているものと仮定して推定される。
　２つ目の推定方法である第２推定方法は、撮像画像の光学中心に対応する領域である光学中心領域に基づいた方法である。具体的には、ユーザ情報取得部５２は、ユーザの位置から光学中心領域に至る方向を視認方向として推定する。図３に示される例では、ユーザ情報取得部５２は、ユーザの位置から画像Ｐ１の光学中心領域Ｃに至る方向を視認方向として推定する。
　３つ目の推定方法である第３推定方法は、ユーザの注視点に対応する領域に基づいた方法である。通信端末５０が、例えばゴーグル型のウェアラブル機器等であって、ユーザの視線情報を取得可能に構成されている場合には、ユーザの注視点を特定することができる。その場合、ユーザ情報取得部５２は、ユーザの位置からユーザの注視点に至る方向を視認方向として推定する。図３に示される例では、ユーザ情報取得部５２は、ユーザの位置からユーザの注視点Ｓに至る方向を視認方向として推定する。以上のように、視認方向とは、通信端末５０から得られる情報に基づいて、ユーザが視認していると推測される方向のことを意味する。
　構造データ取得部５３は、記憶部５１から、ユーザ情報取得部５２が推定した（取得した）ユーザの位置及び視認方向に対応する空間構造データを取得する。ここで、空間構造データについて詳細に説明する。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータである。空間構造データは、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表すデータである。例えば、現実空間においてある屋外の場所に複数の建物（複数のオブジェクト）が存在するとする。その場合、当該屋外の場所（現実空間）に対応する仮想空間の構造データには、地面のオブジェクト、及び当該屋外の場所と同じ位置に配置された複数の建物のオブジェクトが表されている。また、例えば、現実空間のある屋内の場所に椅子が存在するとする。その場合、当該屋内の場所（現実空間）に対応する仮想空間の構造データには、当該屋内の場所と同じ位置に配置された壁のオブジェクト、床のオブジェクト、天井のオブジェクト、及び椅子のオブジェクトが表されている。つまり、空間構造データにおけるオブジェクトは、現実空間におけるオブジェクトとリンクしている。なお、空間構造データは、静的なオブジェクト（基本的に動かないオブジェクト）のみの形状を表すデータであってもよい。また、空間構造データのオブジェクトには、現実空間におけるオブジェクトとリンクしていないオブジェクトが含まれていてもよい。
　構造データ取得部５３は、ユーザの位置及び視認方向に対応する空間構造データが記憶部５１に記憶されている場合には、記憶部５１から当該空間構造データを取得する。一方、構造データ取得部５３は、ユーザの位置及び視認方向に対応する空間構造データが記憶部５１に記憶されていない場合には、空間構造サーバ３０の記憶部３１から空間構造データを取得する。
　衝突領域推定部５４は、構造データ取得部５３によって取得された空間構造データと、ユーザの視認方向とが衝突する３次元の衝突領域を推定する。衝突領域とは、空間構造データに表された３次元の仮想空間において、現実空間のユーザ（すなわち、通信端末５０）の位置に対応する位置にユーザ（通信端末５０）が存在すると仮定した場合に、空間構造データと、ユーザの視認方向とが衝突する３次元の領域である。具体的には、衝突領域とは、当該仮想空間において、ユーザ（通信端末５０）の位置から空間構造データのオブジェクトに向かって直線を引いた際に、当該直線と最初に交差する仮想空間のオブジェクトの領域を意味する。言い換えれば、衝突領域とは、当該仮想空間において、ユーザ（通信端末５０）の位置から仮想空間の一のオブジェクトまで直線を引いた場合に、当該直線が他のオブジェクトによって遮られずに当該一のオブジェクトと交差する領域を意味する。
　ここで、衝突領域の推定方法について、図５に示される具体例を用いて説明する。図５は、空間構造データに表された３次元の仮想空間Ｄ１と、通信端末５０との位置関係を仮想的に表した平面図である。空間構造データには、仮想空間上の位置において複数のオブジェクトＸ１、オブジェクトＸ２、オブジェクトＸ３、及びオブジェクトＸ４の形状が表されている。各オブジェクトＸ１～Ｘ４は、現実空間の各オブジェクトが３次元の仮想空間Ｄ１に表されたオブジェクトである。
　通信端末５０は、各オブジェクトＸ１～Ｘ４に対応する現実空間における各オブジェクトを撮像しており、通信端末５０と現実空間における各オブジェクトとの位置関係は、図５と同様となっている。通信端末５０の撮像対象範囲５Ａは、例えば、通信端末５０のカメラの光学中心を頂点として各オブジェクトに向かって錐体状に広がっている。
　衝突領域推定部５４は、ユーザ情報取得部５２によって推定されたユーザの位置、視認方向、及び通信端末５０の画角等の内部パラメータに基づいて、現実空間の通信端末５０の位置に対応する仮想空間Ｄ１の位置を推定する。そして、衝突領域推定部５４は、視認方向に向かって、仮想空間Ｄ１の当該位置に通信端末５０が位置していると仮定して、以下のように衝突領域を推定する。すなわち、衝突領域推定部５４は、仮想空間Ｄ１において、空間構造データと、視認方向とが衝突する衝突領域を推定する。具体的には、衝突領域推定部５４は、視認方向における原点から直線を引いた際に、当該直線と最初に交差する仮想空間Ｄ１のオブジェクトＸ１～Ｘ４の領域を衝突領域として推定する。
　ここで、衝突領域は、視認方向の推定方法に応じて推定される。まず、衝突領域推定部５４は、空間構造データと、第１推定方法によって推定された視認領域とが衝突する衝突領域を推定する。具体的には、衝突領域推定部５４は、各オブジェクトＸ１～Ｘ４における通信端末５０側の面と、撮像画像の領域とが重なる領域である衝突領域Ｒ１を推定する。
　上記第１推定方法による衝突領域の推定に加えて（或いは、上記第１推定方法による衝突領域に推定に替えて）、衝突領域推定部５４は、空間構造データと、第２推定方法によって推定された視認領域とが衝突する衝突領域を推定する。具体的には、衝突領域推定部５４は、図５に示されるように、オブジェクトＸ１における通信端末５０側の面と、光学中心領域Ｃとが重なる領域である衝突点（衝突領域）Ｒ２を推定する。
　上記第１推定方法及び上記第２推定方法による衝突領域の推定に加えて（或いはこれらの推定方法による衝突領域の推定に替えて）、通信端末５０がユーザの視線情報を取得可能に構成されている場合、衝突領域推定部５４は、空間構造データと、第３推定方法によって推定された視認領域とが衝突する衝突領域を推定する。具体的には、衝突領域推定部５４は、図５に示されるように、オブジェクトＸ４における通信端末５０側の面と、ユーザの注視点Ｓとが重なる領域である衝突点（衝突領域）Ｒ３を推定する。
　例えば、衝突領域Ｒ１は、当該仮想空間において、ユーザ（通信端末５０）の位置から各オブジェクトＸ１～Ｘ４まで直線を引いた場合に、当該直線が他のオブジェクトによって遮られずに各オブジェクトＸ１～Ｘ４と交差する領域である。一方、図５に示される領域Ｒ４は、オブジェクトＸ４における通信端末５０側の表面の領域であって、撮像対象範囲５Ａに含まれているが、衝突領域とはならない。これは、ユーザの位置からオブジェクトＸ４まで直線を引いた場合に、当該直線が他のオブジェクトＸ３によって遮られるためである。以上のように、衝突領域推定部５４は、各視認方向の推定方法に応じた衝突領域を推定する。
　ヒートマップ生成部５５は、衝突領域推定部５４が推定した衝突領域に基づいて３次元ヒートマップを生成する。本実施形態の３次元ヒートマップは、通信端末５０周辺の空間に対してユーザが何処をどれだけ注目しているのかが視覚化されたマップである。一例として、３次元ヒートマップでは、注目度合いが高い領域は赤く表示され、注目度合いが低い領域は青く表示される等、色等によって注目度合いが表現される。ここで、現実空間のオブジェクトと、現実空間におけるユーザの視認方向とが衝突する領域は、ユーザが注目している領域といえる。そこで、通信端末５０では、現実空間のオブジェクトに対応する空間構造データと、ユーザの視認方向とが衝突する衝突領域を推定することによって、３次元ヒートマップを生成する。３次元ヒートマップは、空間構造データにおける仮想空間に対応する３次元の空間において区画された複数の区画領域のそれぞれの注目度合いを示す。ヒートマップ生成部５５は、通信端末５０から３次元ヒートマップを集約する処理を繰り返す。これにより、３次元ヒートマップを参照することによって、所定の３次元の空間に対する一又は複数のユーザの注目度合いが把握される。
　ヒートマップ生成部５５は、衝突領域が推定された環境に応じて注目度合いを重み付けして３次元ヒートマップを生成する。本実施形態では、ヒートマップ生成部５５は、視認方向の推定方法に応じて注目度合いを重み付けする。
　ユーザの視認方向の各推定方法の信頼度は、第３推定方法（撮像画像の領域に基づいた推定方法）、第２推定方法（撮像画像の光学中心領域に基づいた推定方法）、及び第１推定方法（ユーザの注視点に基づいた推定方法）の順に高いと一般的に考えられる。これは、ユーザが実際に視認している領域である可能性は、ユーザの注視点、光学中心領域、撮像画像の領域（光学中心領域も含むより広い領域）の順に高いと考えられるためである。ヒートマップ生成部５５は、３次元ヒートマップにおいて、第２推定方法に基づいて推定された衝突領域に対応する区画領域について、第１推定方法に基づいて推定された衝突領域に対応する区画領域よりも注目度合いを重く（高く）重み付けする。また、ヒートマップ生成部５５は、３次元ヒートマップにおいて、第３推定方法に基づいて推定された衝突領域に対応する区画領域について、第２推定方法に基づいて推定された衝突領域に対応する区画領域よりも注目度合いを重く（高く）重み付けする。
　図４に示される３次元ヒートマップ５Ｂの例では、画像Ｐ１の領域に基づいた衝突領域及び光学中心領域Ｃに基づいた衝突点に加え、ユーザの注視点Ｓに基づいた衝突点が推定されている（図３参照）。したがって、ヒートマップ生成部５５は、光学中心領域Ｃに基づいた衝突領域に対応する区画領域Ｗ２の注目度合いを、画像Ｐ１の領域に基づいた衝突領域に対応する区画領域Ｗ１の注目度合いよりも重く重み付けする。そして、ヒートマップ生成部５５は、ユーザの注視点Ｓに基づいた衝突領域に対応する区画領域Ｗ３の注目度合いを、光学中心領域Ｃに基づいた衝突領域に対応する区画領域Ｗ２の注目度合いよりも重く重み付けする。このようにして、ヒートマップ生成部５５は、３次元ヒートマップを生成する。
　そして、ヒートマップ生成部５５は、生成した３次元ヒートマップを、記憶部５１に格納する。本実施形態では、ヒートマップ生成部５５は、例えば、撮像画像が取得される度に３次元ヒートマップを生成し、記憶部５１に３次元ヒートマップを格納する処理を繰り返すことにより、通信端末５０周辺の空間に対する一又は複数のユーザの注目度合いが集約された３次元ヒートマップを随時更新する。そして、ヒートマップ生成部５５は、例えば、アプリケーションの表示処理が実行されると、通信端末５０の画面に３次元ヒートマップ５Ｂを表示する（図４参照）。
　次に、本実施形態に係る情報処理システム１が行う処理、具体的には３次元ヒートマップの生成に係る処理について、図６を参照して説明する。図６は、情報処理システム１が行う処理を示すフローチャートである。
　図６に示されるように、情報処理システム１では、通信端末５０において、ユーザの位置、及びユーザが視認する視認方向が推定される（取得される）（ステップＳ１１）。具体的には、通信端末５０は、通信端末５０が撮像した撮像画像を取得し、ユーザの位置から撮像画像の領域に至る方向、及びユーザの位置から撮像画像の光学中心領域に至る方向を視認方向として取得する。
　続いて、通信端末５０において、ステップＳ１１で推定されたユーザの位置及び視認方向に対応する空間構造データを記憶部５１が保有しているか否かが判定される（ステップＳ１２）。記憶部５１が空間構造データを保有していると判定された場合（ステップＳ１２：ＹＥＳ）、通信端末５０において、記憶部５１から空間構造データがロードされる（ステップＳ１３）。一方、ステップＳ１１にて推定されたユーザの位置及び視認方向に対応する空間構造データを記憶部５１が保有していないと判定された場合（ステップＳ１２：ＮＯ）、通信端末５０において、空間構造サーバ３０から、空間構造データが取得される（ステップＳ１４）。
　続いて、通信端末５０において、空間構造データと、視認方向とが衝突する３次元の衝突領域及び第１衝突点が推定される（ステップＳ１５）。すなわち、まず、通信端末５０は、通信端末５０の記憶部５１、或いは空間構造サーバ３０の記憶部３１から、ユーザ情報取得部５２が取得した位置及び視認方向に対応する空間構造データを取得する。そして、通信端末５０は、空間構造データと撮像画像の領域に基づいて推定された視認領域とが衝突する衝突領域、及び空間構造データと光学中心領域に基づいて推定された視認領域とが衝突する第１衝突点を推定する。
　続いて、通信端末５０において、ユーザの注視点が特定できるか否かが判定される（ステップＳ１６）。例えば、通信端末５０がユーザの注視点を特定可能に構成されたウェアラブル機器である場合等、ユーザの注視点が特定できると判定された場合（ステップＳ１６：ＹＥＳ）、通信端末５０において、第２衝突点が推定される（ステップＳ１７）。第２衝突点は、空間構造データとユーザの注視点に基づいて推定された視認領域とが衝突する衝突領域である。一方、ユーザの注視点が特定できないと判定された場合（ステップＳ１６：ＮＯ）、処理がＳ１８に進む。
　続いて、通信端末５０において、３次元ヒートマップが生成される（ステップＳ１８）。３次元ヒートマップは、ステップＳ１７にて第２衝突点が推定された場合には、ステップＳ１５にて推定された衝突領域及び第１衝突点、並びに当該第２衝突点に基づいて生成され、第２衝突点が推定されない場合には、衝突領域及び第１衝突点に基づいて生成される。最後に、通信端末５０において、ステップＳ１８にて生成された３次元ヒートマップが記憶される（ステップＳ１９）。
　次に、本実施形態に係る情報処理システム１の作用効果について説明する。
　本実施形態に係る情報処理システム１では、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部５１と、ユーザの位置、及びユーザが視認する視認方向を取得するユーザ情報取得部５２と、記憶部５１から、ユーザ情報取得部５２が取得したユーザの位置及び視認方向に対応する空間構造データを取得する構造データ取得部５３と、構造データ取得部５３によって取得された空間構造データと、視認方向とが衝突する３次元の衝突領域を推定する衝突領域推定部５４と、衝突領域推定部５４が推定した衝突領域に基づいて、３次元の空間の各区画領域（３次元の空間の各領域）の注目度合いを示す３次元ヒートマップを生成するヒートマップ生成部５５と、を備えている。
　本実施形態に係る情報処理システム１では、ユーザの位置、及び視認方向に基づいて、ユーザの位置及び視認方向に対応する空間構造データが取得される。そして、空間構造データと視認方向とが衝突する衝突領域が推定される。空間構造データは、現実空間のオブジェクトを３次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す。このように、現実空間のオブジェクトの位置及び形状に対応した空間構造データと、視認方向とが衝突する衝突領域が推定されることにより、ユーザの視認方向のみならず、ユーザの視認方向の先、言い換えれば、空間においてユーザが注目している領域が確実に把握される。そして、衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップが生成されることにより、空間においてユーザが注目している領域が視覚化され、各領域（空間）の注目度合いに応じた価値を適切に把握することができる。以上のように、情報処理システム１によれば、空間が有する価値を適切に把握することができる。また、情報処理システム１では、予め記憶された空間構造データが用いられて衝突領域が推定されるので、処理負荷を軽減することができるという技術的効果を奏する。
　ユーザ情報取得部５２は、ユーザが携帯する通信端末５０が撮像した撮像画像を取得し、ユーザの位置から撮像画像の光学中心に対応する領域に至る方向を視認方向として取得する。撮像画像の光学中心に対応する領域は、実際にユーザが視認する領域に対応する確率が高い。そのような当該領域が視認方向として特定されるため、ユーザの注目度合いを精度よく表した３次元ヒートマップを生成することができる。
　特に、本実施形態では、ユーザ情報取得部５２は、ユーザの位置から撮像画像の領域に至る方向、ユーザの位置から撮像画像の光学中心に対応する領域に至る方向、及びユーザの位置からユーザの注視点に至る方向を視認方向として取得する。これにより、ユーザの注目度合いをより一層精度よく表した３次元ヒートマップを生成することができる。
　ヒートマップ生成部５５は、衝突領域が推定された環境に応じて注目度合いを重み付けして３次元ヒートマップを生成する。これにより、ユーザの注目度合いがより適切に反映された３次元ヒートマップが生成されるため、信頼性をもってユーザの注目度合いを視覚化することができる。
　特に、ヒートマップ生成部５５は、視認方向の推定方法に応じて注目度合いを重み付けする。これにより、例えば、視認方向が撮像画像の光学中心である場合には、当該視認方向が実際のユーザの視点を表している確率が高いと判断して注目度合いの重み付けを重く重み付けする等、ユーザの視認方向の情報元の信頼度が反映されて３次元ヒートマップが生成される。その結果、信頼性を持ってユーザの注目度合いを視覚化することができる。
　特に、本実施形態では、ヒートマップ生成部５５は、３次元ヒートマップにおいて、光学中心領域に基づいた衝突領域に対応する区画領域の注目度合いを、撮像画像の領域に基づいた衝突領域に対応する複数の区画領域の注目度合いよりも重く重み付けする。そして、ヒートマップ生成部５５は、ユーザの注視点に基づいた衝突領域に対応する区画領域の注目度合いを、光学中心領域に基づいた衝突領域に対応する区画領域の注目度合いよりも重く重み付けする。これにより、ユーザの視認方向の情報元の信頼度を確実に反映して３次元ヒートマップを生成することができる。
　次に、情報処理システム１に含まれた位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０のハードウェア構成について、図７を参照して説明する。上述の位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）で構成されてもよい。例えば、位置測位サーバ１０の測位部１２等の制御機能はプロセッサ１００１で実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。
　例えば、位置測位サーバ１０の測位部１２等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
　また、位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
　以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
　例えば、情報処理システム１は、位置測位サーバ１０、空間構造サーバ３０、及び通信端末５０を含んで構成されているとして説明したが、これに限定されず、情報処理システム１の各機能が、通信端末５０のみによって実現されてもよい。
　また、本実施形態では、通信端末５０が、記憶部５１と、ユーザ情報取得部５２と、構造データ取得部５３と、衝突領域推定部５４と、ヒートマップ生成部５５と、を備えている構成を例示した。しかしながら、情報処理システム１では、例えば、サーバが各機能的構成要素を備えていてもよい。
　図８に示される情報処理システム１は、ヒートマップサーバ７を更に備えている。ヒートマップサーバ７は、記憶部７１と、ユーザ情報取得部７２と、構造データ取得部７３と、衝突領域推定部７４と、ヒートマップ生成部７５と、を備えている。記憶部７１、ユーザ情報取得部７２、構造データ取得部７３、衝突領域推定部７４、及びヒートマップ生成部７５の基本的な機能的構成は、上記実施形態の記憶部５１、ユーザ情報取得部５２、構造データ取得部５３、衝突領域推定部５４、及びヒートマップ生成部５５と同様である。以下、本変形例の各構成要素について、上記実施形態との異なる点について説明する。
　記憶部７１は、通信端末５０が有する送信部５６から取得したユーザの位置の情報、及びユーザの視認方向の情報、並びに３次元ヒートマップ等を記憶している。送信部５６は、通信端末５０の記憶部５１に記憶されている各情報を外部に送信する機能的構成要素である。ユーザ情報取得部７２は、通信端末５０からユーザの位置及びユーザの視認方向を取得する。具体的には、ユーザ情報取得部７２は、撮像画像の領域に基づいた視認方向、及び撮像画像の光学中心領域に基づいた視認方向を取得する。また、ユーザ情報取得部７２は、通信端末５０がユーザの注視点を特定可能に構成されている場合には、ユーザの注視点に基づいた視認方向も取得する。構造データ取得部７３は、空間構造サーバ３０から、ユーザの位置及び視認方向に対応する空間構造データを取得する。
　衝突領域推定部７４は、衝突範囲及び第１衝突点を推定する。また、衝突領域推定部７４は、ユーザの注視点に基づいた視認方向をユーザ情報取得部５２が取得している場合、第２衝突点も推定する。ヒートマップ生成部７５は、生成した３次元ヒートマップを記憶部７１に格納する。ヒートマップ生成部７５は、例えば、通信端末５０のアプリケーションの表示処理が実行されると、通信端末５０に３次元ヒートマップを送信する。これにより、通信端末５０の画面に３次元ヒートマップが表示される（図４参照）。
　次に、本変形例に係る情報処理システム１が行う処理について、図９を参照して説明する。図９は、本変形例に係る情報処理システム１が行う処理を示すフローチャートである。
　図９に示されるように、情報処理システム１では、ヒートマップサーバ７において、ユーザの位置、及びユーザが視認する視認方向が取得される（ステップＳ２１）。具体的には、ヒートマップサーバ７は、通信端末５０から、グローバル位置情報に基づいたユーザの位置、撮像画像の領域に基づいた視認方向、及び撮像画像の光学中心領域に基づいた視認方向を取得する。また、ヒートマップサーバ７は、通信端末５０がユーザの注視点を特定可能に構成されている場合、通信端末５０から、ユーザの注視点に基づいた視認方向も取得する。
　続いて、ヒートマップサーバ７において、ステップＳ２１にて取得されたユーザの位置及び視認方向に対応する空間構造データがロードされる（ステップＳ２２）。続いて、ヒートマップサーバ７において、衝突領域及び第１衝突点が推定される（ステップＳ２３）。また、ステップＳ２１にてユーザの注視点に基づいた視認方向も取得されている場合、ヒートマップサーバ７において、第２衝突点も推定される。
　続いて、ヒートマップサーバ７において、ステップＳ２３にて推定された衝突領域、第１衝突点、及び第２衝突点（推定された場合に限る）に基づいて、３次元ヒートマップが生成される（ステップＳ２４）。最後に、ヒートマップサーバ７において、ステップＳ２４にて生成された３次元ヒートマップが記憶される（ステップＳ２５）。以上説明した本変形例に係る情報処理システム１でも、上記実施形態と同様の効果が奏される。
　また、上記実施形態では、ユーザ情報取得部５２は、視認方向の推定方法に応じて３次元ヒートマップの区画領域に対する注目度合いを重み付けした。しかしながら、注目度合いの重み付けは、衝突領域が推定された環境に応じて実施されればよい。注目度合いの重み付けは、例えば、視認方向の推定方法による条件の代わりに、或いは、視認方向の推定方法に応じた条件とともに、他の条件によって実施されてもよい。
　以下、注目度合いの重み付けの他の条件について説明する。ヒートマップ生成部５５は、仮想空間においてユーザの位置と衝突領域との距離に応じて注目度合いを重み付けしてもよい。例えば、室内にある椅子が現実空間のオブジェクトであって、ユーザが当該椅子に注目している場合には、ユーザとオブジェクトである椅子との距離が近い方が、ユーザがオブジェクトである椅子に対する注目度が高いと一般的にいえる。そこで、例えば、ヒートマップ生成部５５は、ユーザの位置と、衝突領域（第１衝突点及び第２衝突点を含む）との距離が近いほど、注目度合いを重く重み付けする。これにより、ユーザとユーザが注目する領域との位置関係に応じて３次元ヒートマップが生成されるため、信頼性を持ってユーザの注目度合いを視覚化することができる。
　なお、仮想空間においてユーザの位置と衝突領域との距離に応じた注目度合いの重み付けは、上述した例に限られない。例えば、海から当該海が見える展望台までが現実空間のオブジェクトである場合、展望台にいるユーザにおいては、木々、建物等のユーザの近くにあるオブジェクトに対する注目度よりも、海に対する注目度の方が高いと一般的にいえる。このように、現実空間においてユーザの位置とオブジェクトとが遠いほどオブジェクトに対するユーザの注目度合いが高くなると想定される場合、ヒートマップ生成部５５は、ユーザの位置と、衝突領域との距離が遠いほど、注目度合いを重く重み付けしてもよい。
　また、ユーザ情報取得部５２は、ユーザの識別情報を更に取得し、ヒートマップ生成部５５は、当該識別情報に応じて注目度合いを重み付けしてもよい。その場合、ヒートマップ生成部５５は、複数の通信端末５０から３次元ヒートマップを集約するものとする。ユーザ情報取得部５２は、通信端末５０のユーザが利用している外部のＳＮＳサービスのアカウント情報を取得する。アカウント情報には、ユーザのフォロワー（当該アカウントによる投稿を閲覧する他のユーザ）数が含まれている。ヒートマップ生成部５５は、ユーザのフォロワー数に基づいて、各区画領域の注目度合いを重み付けする。
　具体的には、ヒートマップ生成部５５は、フォロワー数が多いユーザが注目する区画領域ほど注目度合いを重く重み付けする。つまり、本変形例では、社会的影響力の強いユーザが注目する領域ほど注目度合いが高くなって、３次元ヒートマップが生成される。これにより、ユーザのステータスが加味されて３次元ヒートマップが生成されるため、信頼性を持ってユーザの注目度合いを視覚化することができる。なお、ユーザの識別情報は、ユーザのアカウント情報に特に限定されるものではなく、例えば、ユーザの収入であってもよい。その場合、ヒートマップ生成部５５は、例えば、高収入なユーザが注目する区画領域ほど注目度合いを重く重み付けする等、ユーザの収入に応じて注目度合いを重み付けしてもよい。また、ユーザの識別情報は、例えば、ユーザの職業の業種であってもよい。その場合、ヒートマップ生成部５５は、例えば、当該業種に応じて注目度合いを重み付けしてもよい。
　また、ユーザ情報取得部５２は、ユーザの生体情報を更に取得し、ヒートマップ生成部５５は、生体情報に応じて注目度合いを重み付けしてもよい。一例として、ユーザ情報取得部５２は、ユーザの生体情報としてユーザの心拍数情報を取得する。心拍数情報は、衝突領域が推定された時のユーザの心拍数の情報である。ヒートマップ生成部５５は、ユーザの心拍数情報に基づいて、各区画領域の注目度合いを重み付けする。具体的には、ヒートマップ生成部５５は、衝突領域が推定された時のユーザの心拍数が高いほど注目度合いを重く重み付けする。つまり、本変形例では、ユーザの心拍数が高いほどユーザが高揚している、言い換えればユーザが衝突領域をより注目していると推定されて、３次元ヒートマップが生成される。これにより、ユーザの生体反応が加味されて３次元ヒートマップが生成されるため、信頼性を持ってユーザの注目度合いを視覚化することができる。なお、ユーザの生体情報は、ユーザの心拍数情報に限定されるものではなく、例えば、脳波、脈波等であってもよい。これらの生体情報を用いることによっても、ユーザの生体反応が加味されて３次元ヒートマップが生成され、また、空間を注目しているユーザの空間に対する集中度合い、ストレス状態等を取得することができる。
　なお、ヒートマップ生成部５５は、各区画領域の重み付けをせずに３次元ヒートマップを生成してもよい。また、上記実施形態では、ユーザの視認方向は、撮像画像の領域、撮像画像の光学中心領域、及びユーザの注視点のそれぞれに基づいて取得された。しかしながら、ユーザの視認方向は、撮像画像の領域、撮像画像の光学中心領域、及びユーザの注視点のいずれか１つ又は２つに基づいて取得されてもよく、また、例えば、他の方法によって取得されてもよい。
　また、情報処理システム１は、出力部を更に備えていてもよい。出力部は、現実空間における位置情報の入力を受付け、３次元ヒートマップに基づいて、価値情報を特定し、特定した価値情報を出力する。価値情報は、位置情報に対応する領域の注目度合いに応じた価値に関する情報である。価値情報の一例としては、所定の領域にバーチャル広告を設置した場合にかかる広告の費用が挙げられる。これにより、簡易な方法で空間の価値を適切に把握することができる。
　また、ヒートマップ生成部５５は、衝突領域及び視認方向に基づいて、各領域について視認される方向毎の３次元ヒートマップを生成し、出力部は、現実空間において位置情報に対応する領域について視認される方向の情報である方向情報の入力を更に受付け、入力された位置情報及び方向情報に対応する３次元ヒートマップの情報に基づいて、価値情報を出力してもよい。例えば、交差点から離れた歩道から交差点付近の建物を見た場合の人の注目度合いと比較して、多くの人が立ち止まる交差点から当該建物を見た場合の人の注目度合いの方が高いと一般的にいえる。つまり、各区画領域に対する注目度合いは、方向に応じて異なってくる。そこで、本変形例におけるヒートマップ生成部５５は、衝突領域及びユーザの視認方向に基づいて、各領域について視認される方向毎の３次元ヒートマップを生成する。
　具体的には、ヒートマップ生成部５５は、例えば、図１０に示されるように、衝突領域及びユーザの視認方向に基づいて、区画領域Ｗ４について視認される方向（視認方向）Ｚ１、及び区画領域Ｗ４について視認され且つ方向Ｚ１とは異なる方向（視認方向）Ｚ２それぞれの３次元ヒートマップ５Ｃを生成する。一例として、方向Ｚ１は、南東の方位を示し、方向Ｚ２は、北東の方位を示す。
　出力部は、現実空間において区画領域Ｗ４に対応する領域の位置情報、及び当該領域について視認される方向として方向Ｚ１の方向情報の入力を受付けた場合、入力された位置情報、及び方向Ｚ１の方向情報に対応する３次元ヒートマップの情報に基づいて、方向Ｚ１から見た場合（すなわち、南東の方向から見た場合）の区画領域Ｗ４の価値情報を出力する。
　また、出力部は、現実空間において区画領域Ｗ４に対応する領域の位置情報、及び当該領域について視認される方向として方向Ｚ２の方向情報の入力を受付けた場合、出力部は、入力された位置情報、及び方向Ｚ２の方向情報に対応する３次元ヒートマップの情報に基づいて、方向Ｚ２から見た場合（すなわち、北東の方向から見た場合）の区画領域Ｗ４の価値情報を出力する。これにより、当該空間が注目される方向毎の空間の価値を適切に把握することができる。特に、本変形例による情報処理システム１によれば、例えば、現実空間のある領域において、当該領域がより注目される方向に向けて当該領域にバーチャル広告を表示する等、効果的なバーチャル広告の表示を促すことができる。
　なお、３次元ヒートマップにおける各領域において視認される方向と、方向情報の情報源であって位置情報に対応する領域について視認される方向とは、互いに異なるものであってもよい。例えば、ヒートマップ生成部５５が、方向Ｚ１及び方向Ｚ２それぞれの３次元ヒートマップ５Ｃを生成し、出力部が、現実空間において区画領域Ｗ４に対応する領域の位置情報及び当該領域について視認される方向として方向Ｚ３の方向情報の入力を受付けたとする。方向Ｚ３は、方向Ｚ１及び方向Ｚ２とは異なる方向であって、一例として、東の方位を示す。その場合、ヒートマップ生成部５５は、方向Ｚ１及び方向Ｚ２それぞれの３次元ヒートマップ５Ｃに基づいて、区画領域Ｗ４について視認される方向Ｚ３の注目度合いを推定し、方向Ｚ３の３次元ヒートマップを生成する処理である補間処理を実施する。補間処理の一例としては、すでに生成されており方向Ｚ３の最近傍である方向Ｚ１及び方向Ｚ２の３次元ヒートマップ５Ｃに基づいた線形補間が挙げられる。なお、補間処理の方法は、線形補間に限られるものではない。そして、出力部は、方向Ｚ３の方向情報に対応する３次元ヒートマップに基づいて、方向Ｚ３から見た場合（すなわち、東の方向から見た場合）の区画領域Ｗ４の価値情報を出力する。
　また、情報処理システム１は、３次元ヒートマップにおける各領域の注目度合いに基づいて、ユーザの視認エリアを推定する推定部を更に備えてもよい。ユーザの視認エリアは、例えば、現実空間においてユーザが視認している所定の領域である。これにより、ユーザの注視点等、ユーザの視線情報を取得可能に構成されたデバイス等を有していない端末においても、ユーザの視線を把握することができる。
　また、記憶部５１は、空間構造データについて、空間構造データに対応するオブジェクトを示すオブジェクト情報を記憶しており、ヒートマップ生成部５５は、衝突領域及びオブジェクト情報に基づいて、衝突領域に対応するオブジェクトの注目度合いを示す３次元ヒートマップを生成してもよい。
　図１１に示される例では、記憶部５１は、空間構造データについて、空間構造データに対応するオブジェクトＨ１を示すオブジェクト情報、及びオブジェクトＨ２を示すオブジェクト情報を記憶している。オブジェクトＨ１及びオブジェクトＨ２は、現実空間において美術館の展示室に展示されている絵画に対応するオブジェクトである。そして、ヒートマップ生成部５５は、衝突領域及び各オブジェクト情報に基づいて、衝突領域に対応するオブジェクトＨ１及びオブジェクトＨ２の注目度合いを示す３次元ヒートマップ５Ｄを生成する。
　具体的には、例えば、ヒートマップ生成部５５は、まず、各区画領域の注目度合いを示す３次元ヒートマップを生成する。そして、ヒートマップ生成部５５は、記憶部５１が記憶しているオブジェクトＨ１のオブジェクト情報、オブジェクトＨ２のオブジェクト情報、及び衝突領域に基づいて、オブジェクトＨ１に対応する区画領域Ｗ５をオブジェクトＨ１として認識し、オブジェクトＨ２に対応する区画領域Ｗ６をオブジェクトＨ２として認識する。そして、ヒートマップ生成部５５は、オブジェクトＨ１及びオブジェクトＨ２の注目度合いを示す３次元ヒートマップ５Ｄを生成する。これにより、３次元ヒートマップに基づいて、現実空間においてユーザが注目しているオブジェクトを把握することができる。
　本明細書で説明した各態様／実施形態は、ＬＴＥ（Long　Term　Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future　Radio　Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra　Mobile　Broad-band）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ultra-Wide　Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
　本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
　本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
　また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
　通信端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
　本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
　本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
　本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
　１…情報処理システム、５Ｂ，５Ｃ，５Ｄ…３次元ヒートマップ、５０…通信端末（端末）、５１，７１…記憶部、５２，７２…ユーザ情報取得部、５３，７３…構造データ取得部、５４，７４…衝突領域推定部、５５，７５…ヒートマップ生成部、Ｃ…光学中心領域（撮像画像の光学中心に対応する領域）、Ｄ…空間構造データ、Ｄ１…仮想空間、Ｈ１，Ｈ２…オブジェクト、Ｐ１…画像（撮像画像）、Ｒ１…衝突領域、Ｒ２，Ｒ３…衝突点（衝突領域）、Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６…区画領域（領域）、Ｚ１，Ｚ２…方向（視認方向）。

Claims (10)

  1. 　現実空間のオブジェクトを３次元の仮想空間に表したデータであって、前記現実空間のオブジェクトの位置に対応する前記仮想空間上の位置において前記オブジェクトの形状を表す空間構造データを記憶する記憶部と、
    　ユーザの位置、及び前記ユーザが視認する視認方向を取得するユーザ情報取得部と、
    　前記記憶部から、前記ユーザ情報取得部が取得した前記ユーザの位置及び前記視認方向に対応する前記空間構造データを取得する構造データ取得部と、
    　前記構造データ取得部によって取得された前記空間構造データと、前記視認方向とが衝突する３次元の衝突領域を推定する衝突領域推定部と、
    　前記衝突領域推定部が推定した前記衝突領域に基づいて、３次元の空間の各領域の注目度合いを示す３次元ヒートマップを生成するヒートマップ生成部と、を備える、情報処理システム。
  2. 　前記ユーザ情報取得部は、
    　前記ユーザが携帯する端末が撮像した撮像画像を更に取得し、
    　前記ユーザの位置から前記撮像画像の光学中心に対応する領域に至る方向を前記視認方向として取得する、請求項１に記載の情報処理システム。
  3. 　前記ヒートマップ生成部は、前記衝突領域が推定された環境に応じて前記注目度合いを重み付けして前記３次元ヒートマップを生成する、請求項１又は２に記載の情報処理システム。
  4. 　前記ヒートマップ生成部は、前記視認方向の推定方法に応じて前記注目度合いを重み付けする、請求項３に記載の情報処理システム。
  5. 　前記ヒートマップ生成部は、前記仮想空間において前記ユーザの位置と前記衝突領域との距離に応じて前記注目度合いを重み付けする、請求項３又は４に記載の情報処理システム。
  6. 　前記ユーザ情報取得部は、前記ユーザの識別情報を更に取得し、
    　前記ヒートマップ生成部は、前記識別情報に応じて前記注目度合いを重み付けする、請求項３～５のいずれか一項に記載の情報処理システム。
  7. 　前記ユーザ情報取得部は、前記ユーザの生体情報を更に取得し、
    　前記ヒートマップ生成部は、前記生体情報に応じて前記注目度合いを重み付けする、請求項３～６のいずれか一項に記載の情報処理システム。
  8. 　前記現実空間における位置情報の入力を受付け、前記３次元ヒートマップに基づいて、前記位置情報に対応する領域の注目度合いに応じた価値に関する情報である価値情報を特定し、特定した前記価値情報を出力する出力部を更に備える、請求項１～７のいずれか一項に記載の情報処理システム。
  9. 　前記ヒートマップ生成部は、前記衝突領域及び前記視認方向に基づいて、前記各領域について視認される方向毎の前記３次元ヒートマップを生成し、
    　前記出力部は、前記現実空間において前記位置情報に対応する領域について視認される方向の情報である方向情報の入力を更に受付け、入力された前記位置情報及び前記方向情報に対応する前記３次元ヒートマップの情報に基づいて、前記価値情報を出力する、請求項８に記載の情報処理システム。
  10. 　前記記憶部は、前記空間構造データについて、前記空間構造データに対応する前記オブジェクトを示すオブジェクト情報を記憶しており、
    　前記ヒートマップ生成部は、前記衝突領域及び前記オブジェクト情報に基づいて、前記衝突領域に対応する前記オブジェクトの注目度合いを示す前記３次元ヒートマップを生成する、請求項１～９のいずれか一項に記載の情報処理システム。
PCT/JP2021/004821 2020-02-18 2021-02-09 情報処理システム WO2021166747A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022501827A JP7490743B2 (ja) 2020-02-18 2021-02-09 情報処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-025356 2020-02-18
JP2020025356 2020-02-18

Publications (1)

Publication Number Publication Date
WO2021166747A1 true WO2021166747A1 (ja) 2021-08-26

Family

ID=77391036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004821 WO2021166747A1 (ja) 2020-02-18 2021-02-09 情報処理システム

Country Status (2)

Country Link
JP (1) JP7490743B2 (ja)
WO (1) WO2021166747A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212322A (ja) * 1996-01-30 1997-08-15 Nec Corp 画面サイズ設定装置
JP2007286995A (ja) * 2006-04-19 2007-11-01 Hitachi Ltd 注目度計測装置及び注目度計測システム
WO2014091824A1 (ja) * 2012-12-10 2014-06-19 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2017068851A (ja) * 2015-09-30 2017-04-06 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2019097726A1 (ja) * 2017-11-20 2019-05-23 楽天株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212322A (ja) * 1996-01-30 1997-08-15 Nec Corp 画面サイズ設定装置
JP2007286995A (ja) * 2006-04-19 2007-11-01 Hitachi Ltd 注目度計測装置及び注目度計測システム
WO2014091824A1 (ja) * 2012-12-10 2014-06-19 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2017068851A (ja) * 2015-09-30 2017-04-06 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2019097726A1 (ja) * 2017-11-20 2019-05-23 楽天株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Also Published As

Publication number Publication date
JP7490743B2 (ja) 2024-05-27
JPWO2021166747A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
US10614605B2 (en) Information processing apparatus, information processing method, and program for displaying a virtual object on a display
KR102374408B1 (ko) 가상 현실에서의 포인터 제어 방법 및 전자 장치
US8654151B2 (en) Apparatus and method for providing augmented reality using synthesized environment map
US9940087B2 (en) Method for displaying image and electronic device thereof
US20160086386A1 (en) Method and apparatus for screen capture
US20230360337A1 (en) Virtual image displaying method and apparatus, electronic device and storage medium
KR102649197B1 (ko) 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US8121353B2 (en) Apparatus, system and method for mapping information
US20150348453A1 (en) Method and apparatus for processing images
KR20180080474A (ko) 뷰 벡터별 다른 렌더링 품질을 갖는 영상을 생성하는 전자 장치
EP2972089A1 (en) System and method for determining and maintaining object location and status
KR20180091381A (ko) 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
KR20180059210A (ko) 영상 처리 장치 및 그 영상 처리 방법
EP3092613B1 (en) Image processing method and electronic device implementing the same
KR102651793B1 (ko) 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체
US20150243158A1 (en) Method for finding objects
CN108141567A (zh) 图像生成系统以及图像生成方法
CN108919951B (zh) 一种信息交互方法及装置
WO2021166747A1 (ja) 情報処理システム
US20180158242A1 (en) Information processing method and program for executing the information processing method on computer
US10664948B2 (en) Method and apparatus for processing omni-directional image
CN111381967A (zh) 虚拟对象的处理方法及装置
CN113096254B (zh) 目标物渲染方法及装置、计算机设备和介质
WO2022163651A1 (ja) 情報処理システム
US20140320494A1 (en) Image processing apparatus, image processing method, computer readable non-transitory recording medium and image processing system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757462

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501827

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21757462

Country of ref document: EP

Kind code of ref document: A1