WO2022168515A1 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2022168515A1
WO2022168515A1 PCT/JP2022/000077 JP2022000077W WO2022168515A1 WO 2022168515 A1 WO2022168515 A1 WO 2022168515A1 JP 2022000077 W JP2022000077 W JP 2022000077W WO 2022168515 A1 WO2022168515 A1 WO 2022168515A1
Authority
WO
WIPO (PCT)
Prior art keywords
real world
information processing
map
change
camera
Prior art date
Application number
PCT/JP2022/000077
Other languages
English (en)
French (fr)
Inventor
剛 松盛
裕樹 辻
早百合 若林
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202280012469.XA priority Critical patent/CN116783617A/zh
Priority to JP2022579392A priority patent/JPWO2022168515A1/ja
Priority to EP22749394.7A priority patent/EP4290468A1/en
Publication of WO2022168515A1 publication Critical patent/WO2022168515A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, for example, an information processing device, an information processing method, and a program that reflect changes in the real world on a 3D map.
  • AR Augmented Reality
  • Information (AR content) presented to the user in AR technology is also called annotation.
  • Annotations are visualized by various forms of virtual objects such as text, icons, and animations.
  • Patent Document 1 proposes to appropriately control the display of virtual objects so as not to confuse the user due to disturbance in the display of virtual objects.
  • a 3D map of the real world is generated to place the AR content.
  • the AR content may not be displayed in the expected position, which may confuse the user.
  • there is a change in the real world there is a demand for a mechanism that can easily reflect the change in the three-dimensional map.
  • This technology was created in view of this situation, and enables the 3D map to be updated in response to changes in the real world.
  • a first information processing apparatus includes a detection unit that detects a change in the real world using an image of the real world, and when the detection unit detects a change in the real world: and an updating unit for updating the three-dimensional map generated by photographing the real world.
  • a second information processing apparatus includes a detection unit that detects a gesture performed by a person in the real world using an image captured by a camera installed in the real world; and a processing unit that, when the gesture is detected by the unit, executes processing corresponding to the detected gesture.
  • a third information processing apparatus includes a recognition unit that recognizes an attribute of a person in the real world using an image captured by a camera installed in the real world, and and a providing unit that generates and provides AR (Augmented Reality) content to be provided to the person based on the recognized attribute.
  • a recognition unit that recognizes an attribute of a person in the real world using an image captured by a camera installed in the real world
  • a providing unit that generates and provides AR (Augmented Reality) content to be provided to the person based on the recognized attribute.
  • An information processing device is configured such that the information processing device detects a change in the real world using a photographed image of the real world, and when the change in the real world is detected, the real world is This is an information processing method for updating a three-dimensional map generated by photographing.
  • a program causes a computer to detect a change in the real world using an image of the real world captured, and when the change in the real world is detected, capture the real world. This is a program for executing processing for updating the generated three-dimensional map.
  • an image of the real world is used to detect changes in the real world, and when changes in the real world are detected , the 3D map generated by photographing the real world is updated.
  • an image captured by a camera installed in the real world is used to detect a gesture performed by a person in the real world, and the gesture is detected. If so, a process corresponding to the detected gesture is executed.
  • an image captured by a camera installed in the real world is used to recognize the attribute of a person in the real world, and based on the recognized attribute , AR (Augmented Reality) content to be provided to people is generated and provided.
  • AR Augmented Reality
  • the information processing device may be an independent device, or may be an internal block that constitutes one device.
  • the program can be provided by transmitting it via a transmission medium or by recording it on a recording medium.
  • FIG. 1 is a diagram illustrating a configuration of an embodiment of a system to which the present technology is applied;
  • FIG. It is a figure which shows the structural example of an information processing apparatus.
  • 4 is a flowchart for explaining processing of an information processing device; It is a figure which shows an example of AR content.
  • FIG. 10 is a diagram for explaining changes in the real world;
  • FIG. FIG. 4 is a diagram for explaining updating of a 3D map;
  • FIG. 4 is a flowchart for explaining processing of an information processing device;
  • FIG. 4 is a diagram for explaining detection of a gesture;
  • It is a figure which shows the structural example of a personal computer.
  • FIG. 1 is a diagram showing the configuration of an embodiment of an information processing system to which the present technology is applied.
  • cameras 21-1 to 21-3, an information processing device 22, and a portable terminal 23 are connected via a network 24 so as to exchange data.
  • the information processing system 11 shown in FIG. 1 generates a three-dimensional map (hereinafter referred to as a 3D map), arranges AR (Augmented Reality) content on the generated 3D map, and supplies the arranged AR content to the user. do.
  • a 3D map three-dimensional map
  • AR Augmented Reality
  • the information processing system 11 also detects the change and updates the 3D map.
  • the cameras 21-1 to 21-3 are simply referred to as cameras 21 when there is no need to distinguish them individually. Although three cameras 21 are shown in FIG. 1 , the number of cameras 21 is not limited to three, and a plurality of cameras 21 are connected to the network 24 . Although one information processing device 22 and one mobile terminal 23 are also shown in FIG.
  • the network 24 is a wired or/and wireless network that supports, for example, a home network, a LAN (Local Area Network), a WAN (Wide Area Network), or a wide area network such as the Internet.
  • a home network a LAN (Local Area Network), a WAN (Wide Area Network), or a wide area network such as the Internet.
  • LAN Local Area Network
  • WAN Wide Area Network
  • Internet a wide area network
  • the camera 21 captures an image and supplies the captured image (image data) to the information processing device 22 via the network 24 .
  • the supplied image data may be image data of a still image or image data of a moving image.
  • the information processing device 22 uses the supplied image data to generate a 3D map or update a 3D map that has been generated.
  • the information processing device 22 generates AR content, arranges it at a predetermined position on the 3D map, and supplies the arranged AR content to the mobile terminal 23 .
  • the information processing device 22 changes the arrangement position of the AR content or changes it to another AR content and arranges it as necessary.
  • the information processing device 22 supplies AR content to the mobile terminal 23 .
  • the mobile terminal 23 is a smart phone, a tablet terminal, smart glasses, a head-mounted display, or the like. For example, when the user is shooting a position A in the real world for which a 3D map is created with the mobile terminal 23, the AR content arranged at the position A is supplied to the mobile terminal 23 so that the user can AR content is provided.
  • FIG. 2 is a diagram showing a functional configuration example of the information processing device 22. As shown in FIG. The information processing device 22 shown in FIG. 2 is referred to as the information processing device 22 in the first embodiment, and is described as an information processing device 22a.
  • the information processing device 22a includes a camera information acquisition unit 41, a 3D map generation unit 42, a 3D map storage unit 43, an AR content generation unit 44, a change detection unit 45, a 3D map update unit 46, and an AR content provision unit 47.
  • the camera information acquisition unit 41 acquires image data of images captured by the camera 21 and information such as an ID that uniquely identifies the camera 21 .
  • the 3D map generation unit 42 analyzes the image based on the image data from the camera information acquisition unit 41 and generates a 3D map.
  • the generated 3D map is held (recorded) in the 3D map holding unit 43 .
  • the AR content generation unit 44 generates AR content to be placed on the 3D map, and places the AR content at a predetermined position on the 3D map.
  • the AR content arranged on the 3D map by the AR content generation unit 44 is supplied to the mobile terminal 23 of the user by the AR content provision unit 47 .
  • the AR content providing unit 47 supplies the mobile terminal 23 with AR content arranged at a position within the 3D map corresponding to the position in the real world captured by the mobile terminal 23 .
  • the 3D map held in the 3D map holding unit 43 In the real world on which the 3D map held in the 3D map holding unit 43 is based, if there is any change, for example, the layout of the shelves, the 3D map must be changed (updated) according to the change. .
  • an image based on the image data acquired by the camera information acquisition section 41 is analyzed by the change detection section 45, and if there is a change in the real world, the change is detected.
  • the 3D map update unit 46 updates the 3D map held in the 3D map holding unit 43 so that the change in the real world is reflected. is updated.
  • step S ⁇ b>11 the camera information acquisition unit 41 acquires image data of the image captured by the camera 21 .
  • a 2D camera or a 3D camera can be used as the camera 21 that takes an image when generating a 3D map, and it may be a camera that acquires a color image or a camera that acquires a monochrome image. good.
  • the camera 21 is a 3D camera
  • a stereo camera can be used.
  • a camera that performs distance measurement using an iToF (Indirect time of flight) method or a dToF (Direct time of flight) method can be used.
  • An ultrasonic sensor can also be used instead of the camera 21 for measuring the distance.
  • a camera called a multispectral camera or a polarization camera can also be used.
  • These cameras may be used in combination to acquire the images used when generating the 3D map.
  • images from a 2D camera, images from a multispectral camera, and/or images from a polarization camera may be used to generate a 3D map.
  • an image from a 3D camera, an image from a multispectral camera, and/or an image from a polarization camera may be used to generate a 3D map.
  • the camera 21 may be a fixed camera fixed at a predetermined position, or may be a portable camera.
  • a fixed camera a camera called a celestial camera or the like, which is installed on a ceiling or a wall, or a camera called a surveillance camera or the like can be used.
  • Examples of portable cameras include devices called scanning devices, such as handheld scanners that are held by hand for scanning, laser scanners that are placed on the ground using a tripod for scanning, and automobiles and trolleys. It is possible to use a device or the like that is mounted and travels for scanning.
  • scanning devices such as handheld scanners that are held by hand for scanning, laser scanners that are placed on the ground using a tripod for scanning, and automobiles and trolleys. It is possible to use a device or the like that is mounted and travels for scanning.
  • a camera mounted on a drone an AVG (Automatic Guided Vehicle), a walking robot, or the like may be used.
  • AVG Automatic Guided Vehicle
  • Smartphones, smart glasses, tablet terminals, etc. can also be used as portable cameras. These terminals can also be mobile terminals 23 .
  • the camera 21 When creating a 3D map, the camera 21 is used to photograph the real world for which the 3D map is to be created, and a large amount of image data is acquired.
  • the image used to create the 3D map may be data processed so that personal information is not included.
  • the information processing device 22a may be supplied with the feature points extracted from the image. Even when an image is supplied to the information processing device 22a, an image in which the face of a person photographed in the image is mosaiced or processed to make it invisible is supplied. You may do so. By doing so, it is possible to create a 3D map in consideration of privacy.
  • the 3D map generation unit 42 uses the image data captured by the camera 21 acquired from the camera information acquisition unit 41 to generate a 3D map.
  • a 3D map is generated, for example, by analyzing an image, generating point cloud data, performing a stitching process, and removing overlaps. The generation of the 3D map depends on what kind of camera is used as the camera 21, for example, whether a 2D camera or a 3D camera is used, and an appropriate method is selected depending on the type of camera used and the type of data to be handled. It should be applied and generated.
  • AR content is generated by the AR content generation unit 44 and placed at a predetermined position on the 3D map.
  • AR content of signboards and guide displays is generated and placed in the area corresponding to the wall in the 3D map
  • AR content of product description is generated in the area corresponding to the product shelf in the 3D map. be placed.
  • the generated AR content is held in the 3D map holding unit 43 in association with the 3D map.
  • the process in step S13 may be performed when the AR content is provided to the user, and the AR content suitable for providing to the user at that time may be generated.
  • step S14 the AR content is supplied to the mobile terminal 23 by the AR content providing unit 47.
  • the processing in step S14 is performed when the mobile terminal 23 side requests to supply the AR content, and the AR content is placed at a position on the 3D map corresponding to the position in the real world captured by the mobile terminal 23.
  • the AR content is supplied from the AR content providing unit 47 to the mobile terminal 23 via the network 24 and played back on the mobile terminal 23, thereby providing the AR content to the user.
  • the upper diagram in FIG. 4 is a diagram showing an example of the real world (assumed to be the real world 61) photographed by the mobile terminal 23.
  • FIG. A shelf 71 is arranged at a position A in the real world 61 .
  • the AR content providing unit 47 selects the AR content arranged at the position A on the 3D map corresponding to the position A in the real world captured by the mobile terminal 23. , to the mobile terminal 23 .
  • FIG. 4 is a diagram showing an example of a screen on which AR content is supplied to the mobile terminal 23 and displayed on the display 62 of the mobile terminal 23.
  • FIG. A display 62 of the mobile terminal 23 displays a shelf 71 arranged in the real world 61 , and a lamp-shaped AR content 72 is displayed on the shelf 71 .
  • the shelf 71 was located at position A in the real world 61 at time T1 when the 3D map was generated, but the real world at time T2 after time T1 has passed.
  • the shelf 71 has moved to position B as shown in the lower diagram of FIG.
  • the map generated at time T1 remains unchanged, so the state where the shelf 71 is at position A in the 3D map (the state shown in the upper diagram of FIG. 5). is.
  • the real world 61 there is a shelf 71 at position B (the state shown in the lower diagram of FIG. 5). That is, in this case, there is a discrepancy between the position of the shelf 71 in the 3D map and the real world.
  • AR content 72 is displayed at a position corresponding to position A in the real world 61, and a shelf 71 is displayed at a position corresponding to position B. A screen appears. In this way, when there is a change in the real world, the AR content 72 may not be displayed in the correct position unless the change is reflected in the 3D map.
  • the display 62 of the mobile terminal 23 displays a shelf 71 arranged at a position B in the real world 61, and AR content 72 is displayed on the shelf 71.
  • the screen on which the AR content 72 is arranged at an appropriate position as shown in the lower diagram of FIG. be presented to the user.
  • the 3D map is updated and the AR content is rearranged on the updated 3D map as described below. You can prevent things from happening.
  • FIG. 7 is a flowchart for explaining the processing related to updating the 3D map and the AR content performed by the information processing device 22a.
  • step S ⁇ b>21 the camera information acquisition unit 41 acquires image data and identification information for identifying the camera 21 .
  • the 3D map is created, there is a camera 21 that continues to photograph the real world on which the 3D map is based, and the image from the camera 21 is supplied to the information processing device 22a.
  • a surveillance camera or a fixed-point camera can be used as the camera 21 that continuously captures the real world.
  • a camera mounted on the user's portable terminal 23 can also be used.
  • the camera information acquisition unit 41 acquires image data from the camera 21 capturing the real world at predetermined intervals.
  • the change detection unit 45 analyzes the image data from the camera information acquisition unit 41 and determines whether or not there has been a change in the real world.
  • the camera 21 is installed as a fixed camera at a position for photographing the real world 61 shown in FIG.
  • An image (video) captured by the camera 21 is supplied from such a camera 21 to the change detection section 45 via the camera information acquisition section 41 .
  • the change detection unit 45 holds at least the image supplied at the previous time.
  • an image hereinafter referred to as image T1 as shown in the upper diagram of FIG. 5 acquired at time T1 is held.
  • an image as shown in the lower diagram of FIG. 5 hereinafter referred to as image T2 is acquired at time T2.
  • the change detection unit 45 detects the shelf 71 from the image T1 supplied at time T1. Detecting the shelf 71 means, for example, detecting a feature point (described as a feature point T1) for specifying the shelf 71 as an object. At time T2, the change detection unit 45 detects feature points (described as feature points T2) of the shelf 71 from the image T2 supplied at time T2.
  • the change detection unit 45 compares the feature point T1 and the feature point T2. If there is no change in the real world, in this case the shelf 71 does not move, the coordinates of the feature point T1 and the feature point T2 detected from the shelf 71 do not change, so the positions of the feature points are compared. As a result, in other words, the result of calculating the difference between the positions of the feature points is a value that falls below the threshold.
  • the coordinates of the feature points will change, so the amount of change in the position of the feature points will be greater than or equal to the threshold. If the amount of change in the position of the feature point is greater than or equal to the threshold, it is determined that there has been a change in the real world. In the situation shown in FIG. 5, the difference between the feature point T1 and the feature point T2 is greater than or equal to the threshold, and it is determined that the real world 61 has changed.
  • the images used to update the 3D map are, as described above, images from surveillance cameras, fixed-point cameras, etc. that capture the real world.
  • images from surveillance cameras, fixed-point cameras, etc. that capture the real world.
  • the image used to update the 3D map may be data processed so as not to include personal information.
  • the information processing device 22a may be supplied with the feature points extracted from the image. Even when an image is supplied to the information processing device 22a, an image in which the face of a person photographed in the image is mosaiced or processed to make it invisible is supplied. You may do so. By doing so, the 3D map can be updated in consideration of privacy.
  • step S22 If it is determined in step S22 that there is no change in the real world, the process returns to step S21 and the subsequent processes are repeated. That is, a series of processes are continued in which the camera 21 continues to capture images, the images are analyzed, and it is determined whether or not there is any change in the real world.
  • step S22 if it is determined in step S22 that there has been a change in the real world, the process proceeds to step S23.
  • step S ⁇ b>23 the 3D map updating unit 46 updates the 3D map held in the 3D map holding unit 43 .
  • the change detection unit 45 detects data required for creating a 3D map, such as point cloud data, from the image acquired when it is determined that there has been a change, and uses the point cloud data to generate a real image.
  • the 3D map corresponding to the changed part in the world is updated.
  • an image captured by the camera 21 capturing the real world is analyzed, a change occurring in the real world is detected, and the 3D map is updated when the change is detected. It is possible to shorten the time loss from when the 3D map is updated.
  • the image from the fixed camera it is possible to eliminate the process of re-imaging, and it is possible to reduce the time and labor required for re-imaging.
  • the AR content is rearranged in step S24.
  • the AR content generator 44 arranges AR content on the updated 3D map. By rearranging the AR content on the updated 3D map, even if there is a change in the real world 61, the AR content 72 corresponding to the changed real world as shown in the lower diagram of FIG. A properly displayed image can be presented to the user.
  • the shelf 71 is moved has been described as an example, but it can also be applied to the following cases, for example, detecting changes in scenery.
  • the video from the camera 21 capturing the road for example, the road in the town, or the road in the facility such as a shopping mall is analyzed, and a situation occurs in which the road width is narrowed due to construction. Assume that
  • a change in the real world 61 that the passage has narrowed is detected, the 3D map is updated, and AR content for the narrowed road is placed on that road.
  • AR content for the narrowed road is placed on that road.
  • a signboard that calls for caution such as "The road width is narrowing. Please be careful” may be provided as AR content.
  • images from surveillance cameras installed outdoors are acquired, and changes in landscape such as topographical changes due to disasters, seasonal changes in plants, changes due to construction, changes due to redevelopment, changes due to new construction, etc. It is made to be detected as a change in the real world 61. - ⁇ By updating the 3D map when a change is detected, it is possible to perform navigation corresponding to a change in terrain due to, for example, a disaster.
  • image data is supplied from the camera 21 to the information processing device 22a, and a change in the real world 61 is detected by the change detection unit 45.
  • a function for detecting changes may be provided.
  • the camera 21 may perform processing up to detection of a change in the real world 61, and send image data or the like to the information processing device 22a only when the change is detected.
  • a process of detecting feature points from an image and sending the feature points to the information processing device 22a may be performed. That is, part of the processing performed by the information processing device 22 described above may be configured to be performed on the camera 21 side.
  • Such processing may be carried out by an AI (artificial intelligence) chip mounted on the camera 21.
  • AI artificial intelligence
  • FIG. 8 is a diagram for explaining an embodiment (referred to as a second embodiment) in which the real world 61 is photographed by the camera 21 and changes in the real world 61 are detected.
  • the camera 21 is, for example, a camera installed within a shopping mall, and photographs a predetermined area within the shopping mall.
  • the camera 21 may also detect a user's gesture and perform processing corresponding to the gesture.
  • a change in the real world 61 is detected, but a gesture of the user is detected as this change, and processing corresponding to the detected gesture is executed.
  • FIG. 9 is a diagram showing a configuration example of the information processing device 22b when detecting a user's gesture and executing corresponding processing.
  • the information processing device 22b shown in FIG. 9 parts similar to those of the information processing device 22a shown in FIG.
  • the information processing device 22b includes a camera information acquisition unit 41, a 3D map storage unit 43, an AR content generation unit 44, an AR content provision unit 47, a gesture detection unit 101, and a user identification unit 102.
  • the information processing device 22b has a configuration in which a 3D map that has already been generated is held in the 3D map holding unit 43, and the AR content arranged in the 3D map is supplied to the mobile terminal 23.
  • the information processing device 22b may be configured to include the change detection unit 45 and the 3D map update unit 46 .
  • the information processing device 22a in the first embodiment described above and the information processing device 22b in the second embodiment may be combined.
  • the gesture detection unit 101 analyzes image data from the camera 21 acquired via the camera information acquisition unit 41, detects gestures made by the user, and performs processing corresponding to the detected gestures.
  • the user identification unit 102 identifies the user (the mobile terminal 23 of the user) who performed the gesture.
  • step S ⁇ b>41 the gesture detection unit 101 acquires image data from the camera 21 acquired via the camera information acquisition unit 41 .
  • step S42 the gesture detection unit 101 analyzes the acquired image and detects gestures.
  • a person is detected from the image to be analyzed, and if a person is detected, the person's hand is also detected.
  • the movement of the hand is detected over a plurality of frames, and it is determined whether or not the movement corresponds to a predetermined gesture.
  • step S42 when it is determined in step S42 that a gesture has been detected, the processing proceeds to step S43, and when it is determined that no gesture has been detected, the processing returns to step S41.
  • the gesture detection process continues until the gesture is detected.
  • the user identification unit 102 identifies the coordinates of the person (user) who made the gesture.
  • the camera information acquisition unit 41 acquires information (camera ID) for uniquely identifying the camera 21 in addition to the image data. From the camera ID, the location in the real world 61 photographed by the camera 21 can be known, and the corresponding location on the 3D map can also be determined.
  • the coordinates of the user's position in the coordinate system set in the real world 61 are obtained. What is detected may be the coordinates of the position corresponding to the position of the user in the real world 61 in the coordinate system set in the 3D map.
  • the user identification unit 102 identifies the position of the mobile terminal 23. For example, the user identification unit 102 acquires an image captured by the mobile terminal 23 and extracts feature points from the acquired image. The extracted feature points are collated with the 3D map held in the 3D map holding unit 43, and positions (objects) matching the extracted feature points are specified. Through such processing, the position of the mobile terminal 23 capturing the image is specified.
  • step S45 the person and the mobile terminal 23 are linked.
  • a person and the mobile terminal 23 are associated with each other where the position of the person specified in step S43 and the position of the mobile terminal 23 specified in step S44 match.
  • the person who performed the gesture and the mobile terminal 23 of the person who performed the gesture are linked.
  • step S46 processing corresponding to the gesture is executed. For example, if the gesture is an instruction to the mobile terminal 23, the specified mobile terminal 23 is notified of the instruction given by the user by the gesture. In the portable terminal 23, processing according to the instruction supplied from the information processing device 22b is executed.
  • the gesture is an instruction for the AR content displayed on the display 62 of the mobile terminal 23
  • the AR content matching the instruction is set and supplied.
  • the camera 21 detects a gesture and executes processing for that gesture. Also, the mobile terminal 23 can be caused to execute a process instructed by a gesture by the user.
  • ⁇ Third Embodiment> As a third embodiment, a case of detecting information about a user and providing AR content suitable for the obtained information about the user will be described.
  • the camera 21 is, for example, a camera installed within a shopping mall, and photographs a predetermined area within the shopping mall. Information about a user photographed by a camera 21 is acquired, and AR contents are selected and provided based on the acquired information.
  • User information includes user attributes, and user attributes include, for example, gender and age.
  • FIG. 11 is a diagram showing a configuration example of the information processing device 22c when detecting a user's attribute and providing AR content suitable for that user.
  • the same parts as those of the information processing device 22a shown in FIG. 11 the same parts as those of the information processing device 22a shown in FIG.
  • the information processing device 22c includes a camera information acquisition unit 41, a 3D map storage unit 43, an AR content generation unit 44, an AR content provision unit 47, a user identification unit 102, and a user attribute recognition unit 121.
  • the user attribute recognition unit 121 recognizes user attributes. Attributes include information such as sex, age, family, and friends. When user's preference information can be acquired in advance, the preference information can be used as an attribute.
  • An action history may be used as an attribute. The action history includes, for example, being in front of a predetermined store for a predetermined time, purchasing a product, and the like.
  • the user's situation in the real world may be used as the attribute. The user's situation in the real world is, for example, being in a crowded situation.
  • the information processing device 22c shows a configuration in which a 3D map that has already been generated is held in the 3D map holding unit 43, and AR content placed on the 3D map is supplied to the mobile terminal 23.
  • the change detection unit 45 and the 3D map update unit 46 may be provided in the information processing device 22c.
  • the information processing device 22c may be configured to include the gesture detection unit 101 .
  • step S ⁇ b>61 the user attribute recognition unit 121 acquires image data from the camera 21 acquired via the camera information acquisition unit 41 .
  • step S62 the user attribute recognition unit 121 analyzes the acquired image data and recognizes the user's attribute. For example, attributes such as gender and age are recognized using machine learning such as deep learning. When the action history is recognized, the movement of a predetermined user is continuously monitored. This action is recognized in the process of step S62.
  • Step S63 When the user's attribute is recognized in step S62, the process proceeds to step S63.
  • Steps S63 to S65 are the same processing as steps S43 to S65 (FIG. 10), so description thereof is omitted here.
  • step S66 the AR content generator 44 generates (selects) AR content suitable for the recognized attribute, and the AR content provider 47 supplies it to the mobile terminal 23.
  • a male-recognized user is presented with male-oriented AR content
  • a female-recognized user is presented with female-oriented AR content.
  • AR content related to the stopping store is presented.
  • the degree of congestion is acquired as the user's situation in the real world, different AR content is presented depending on whether the degree of congestion is high or low.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 13 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 1005 is further connected to the bus 1004 .
  • An input unit 1006 , an output unit 1007 , a storage unit 1008 , a communication unit 1009 and a drive 1010 are connected to the input/output interface 1005 .
  • the input unit 1006 consists of a keyboard, mouse, microphone, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the storage unit 1008 includes a hard disk, nonvolatile memory, and the like.
  • a communication unit 1009 includes a network interface and the like.
  • a drive 1010 drives a removable medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 1001 loads, for example, a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the above-described series of programs. is processed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on removable media 1011 such as package media, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage section 1008 via the input/output interface 1005 by loading the removable medium 1011 into the drive 1010 . Also, the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium. In addition, programs can be installed in the ROM 1002 and the storage unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • system refers to an entire device composed of a plurality of devices.
  • the present technology can also take the following configuration.
  • a detection unit that detects a change in the real world using an image of the real world;
  • An information processing apparatus comprising: an update unit that updates a three-dimensional map generated by photographing the real world when the detection unit detects a change in the real world.
  • the information processing apparatus according to (1) wherein the image is an image captured by a camera installed in the real world.
  • the change in the real world is a change in scenery.
  • Arrangement of AR (Augmented Reality) content arranged in the 3D map is also updated when the 3D map is updated by the update unit.
  • a detection unit that detects a gesture made by a person in the real world using an image captured by a camera installed in the real world; and a processing unit that, when the detection unit detects the gesture, executes processing corresponding to the detected gesture.
  • the gesture is a gesture performed by the person on the mobile terminal;
  • a recognition unit that recognizes attributes of a person in the real world using an image captured by a camera installed in the real world; and a providing unit that generates and provides AR (Augmented Reality) content to be provided to the person based on the attribute recognized by the recognition unit.
  • the information processing apparatus according to (9), wherein the attributes are gender and age.
  • (11) The information processing apparatus according to (9) or (10), wherein the attribute is the situation in the real world.
  • the information processing device using an image of the real world to detect changes in the real world;
  • An information processing method comprising, when a change in the real world is detected, updating a three-dimensional map generated by photographing the real world.
  • (13) to the computer using an image of the real world to detect changes in the real world;
  • 11 information processing system 21 camera, 22 information processing device, 23 mobile terminal, 24 network, 41 camera information acquisition unit, 42 3D map generation unit, 43 3D map storage unit, 44 AR content generation unit, 45 change detection unit, 46 3D map update unit, 47 AR content provision unit, 61 real world, 62 display, 71 shelf, 72 AR content, 101 gesture detection unit, 102 user identification unit, 121 user attribute recognition unit

Abstract

本技術は、現実世界に変更があった場合、対応する３次元マップを、その変更に合わせて更新できるようにする情報処理装置、情報処理方法、並びにプログラムに関する。 現実世界を撮影した画像を用いて、現実世界における変更を検出する検出部と、検出部で現実世界における変更が検出された場合、現実世界を撮影することで生成された３次元マップを更新する更新部とを備える。本技術は、例えば、３次元マップを保持し、その保持している３次元マップを更新する情報処理装置に適用できる。

Description

情報処理装置、情報処理方法、並びにプログラム
　本技術は、情報処理装置、情報処理方法、並びにプログラムに関し、例えば、現実世界での変更を３Ｄマップに反映するようにした情報処理装置、情報処理方法、並びにプログラムに関する。
　現実世界に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。ＡＲ技術においてユーザに提示される情報（ＡＲコンテンツ）は、アノテーションとも呼ばれる。アノテーションは、テキスト、アイコン、アニメーションなどさまざまな形態の仮想的なオブジェクトによって可視化される。
　特許文献１では、仮想オブジェクトの表示を適切に制御し、仮想オブジェクトの表示の乱れによってユーザに混乱を与えないようにすることが提案されている。
特開２０１２－２２１２５０号公報
　ＡＲコンテンツを配置するために、現実世界の３次元マップが生成される。現実世界に変更があった場合、その変更を３次元マップに反映しなければ、想定されていた位置にＡＲコンテンツが表示されず、ユーザに混乱を与えてしまう可能性があった。現実世界に変更があった場合、その変更を３次元マップに簡便に反映できる仕組みが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、現実世界に変更があった場合に、その変更に応じた３次元マップの更新を行えるようにするものである。
　本技術の一側面の第１の情報処理装置は、現実世界を撮影した画像を用いて、前記現実世界における変更を検出する検出部と、前記検出部で前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する更新部とを備える情報処理装置である。
　本技術の一側面の第２の情報処理装置は、現実世界に設置されているカメラにより撮影された画像を用いて、前記現実世界にいる人が行ったジェスチャーを検出する検出部と、前記検出部により前記ジェスチャーが検出された場合、検出された前記ジェスチャーに対応する処理を実行する処理部とを備える情報処理装置である。
　本技術の一側面の第３の情報処理装置は、現実世界に設置されているカメラにより撮影された画像を用いて、前記現実世界にいる人の属性を認識する認識部と、前記認識部により認識された前記属性に基づき、前記人に提供するＡＲ（Augmented Reality）コンテンツを生成し、提供する提供部とを備える情報処理装置である。
　本技術の一側面の情報処理装置は、情報処理装置が、現実世界を撮影した画像を用いて、前記現実世界における変更を検出し、前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する情報処理方法である。
　本技術の一側面のプログラムは、コンピュータに、現実世界を撮影した画像を用いて、前記現実世界における変更を検出し、前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する処理を実行させるためのプログラムである。
　本技術の一側面の第１の情報処理装置、情報処理方法、並びにプログラムにおいては、現実世界を撮影した画像が用いられて、現実世界における変更が検出され、現実世界における変更が検出された場合、現実世界を撮影することで生成された３次元マップが更新される。
　本技術の一側面の第２の情報処理装置においては、現実世界に設置されているカメラにより撮影された画像が用いられて、現実世界にいる人が行ったジェスチャーが検出され、ジェスチャーが検出された場合、検出されたジェスチャーに対応する処理が実行される。
　本技術の一側面の第３の情報処理装置においては、現実世界に設置されているカメラにより撮影された画像が用いられて、現実世界にいる人の属性が認識され、認識された属性に基づき、人に提供するＡＲ（Augmented Reality）コンテンツが生成され、提供される。
　なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本技術を適用したシステムの一実施の形態の構成を示す図である。 情報処理装置の構成例を示す図である。 情報処理装置の処理について説明するためのフローチャートである。 ＡＲコンテンツの一例を示す図である。 現実世界での変更について説明するための図である。 ３Ｄマップの更新について説明するための図である。 情報処理装置の処理について説明するためのフローチャートである。 ジェスチャーの検出について説明するための図である。 情報処理装置の他の構成例を示す図である。 情報処理装置の他の処理について説明するためのフローチャートである。 情報処理装置の他の構成例を示す図である。 情報処理装置の他の処理について説明するためのフローチャートである。 パーソナルコンピュータの構成例を示す図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　＜システム構成例＞
　図１は、本技術を適用した情報処理システムの一実施の形態の構成を示す図である。図１に示した情報処理システム１１は、カメラ２１－１乃至２１－３、情報処理装置２２、および携帯端末２３が、それぞれデータの授受を行えるようにネットワーク２４を介して接続されている。
　図１に示した情報処理システム１１は、３次元マップ（以下、３Ｄマップと記述する）を生成し、生成した３ＤマップにＡＲ（Augmented Reality）コンテンツを配置し、配置したＡＲコンテンツをユーザに供給する。情報処理システム１１は、作成された３Ｄマップに変更があった場合、その変更を検出し、３Ｄマップを更新する処理も行う。
　以下の説明において、カメラ２１－１乃至２１－３を、個々に区別する必要が無い場合、単に、カメラ２１と記述する。図１では、３台のカメラ２１を示したが、カメラ２１は、３台に限定される記載ではなく、複数のカメラ２１がネットワーク２４には接続されている。情報処理装置２２と携帯端末２３も、図１では１台示したが、複数の情報処理装置２２と、複数の携帯端末２３がネットワーク２４には接続されている。
　ネットワーク２４は、有線または／および無線により構成された、例えば、ホームネットワーク、ＬＡＮ（Local Area Network），ＷＡＮ（Wide Area Network），または、インターネットなどの広域ネットワークなどに対応するネットワークである。
　カメラ２１は、画像を撮影し、撮影した画像（画像データ）を、ネットワーク２４を介して、情報処理装置２２に供給する。供給される画像データは、静止画像の画像データであっても良いし、動画像の画像データであっても良い。情報処理装置２２は、供給された画像データを用いて、３Ｄマップを生成する、または生成されている３Ｄマップを更新する。
　情報処理装置２２は、ＡＲコンテンツを生成し、３Ｄマップの所定の位置に配置し、その配置したＡＲコンテンツを、携帯端末２３に供給する。情報処理装置２２は、３Ｄマップを更新したとき、必要に応じて、ＡＲコンテンツの配置位置を変更したり、他のＡＲコンテンツに変更して配置したりする。
　情報処理装置２２は、携帯端末２３にＡＲコンテンツを供給する。携帯端末２３は、スマートフォンや、タブレット端末、スマートグラス、ヘッドマウントディスプレイなどである。例えば、３Ｄマップが作成された現実世界の位置Ａを、ユーザが携帯端末２３で撮影しているとき、位置Ａに配置されているＡＲコンテンツが、携帯端末２３に供給されることで、ユーザにＡＲコンテンツが提供される。
　＜情報処理装置の機能構成例＞
　図２は、情報処理装置２２の機能構成例を示す図である。図２に示した情報処理装置２２を、第１の実施の形態における情報処理装置２２とし、情報処理装置２２ａと記述する。
　情報処理装置２２ａは、カメラ情報取得部４１、３Ｄマップ生成部４２、３Ｄマップ保持部４３、ＡＲコンテンツ生成部４４、変更検出部４５、３Ｄマップ更新部４６、およびＡＲコンテンツ提供部４７を備える。
　カメラ情報取得部４１は、カメラ２１で撮像された画像の画像データや、カメラ２１を一意に特定するＩＤなどの情報を取得する。
　３Ｄマップ生成部４２は、カメラ情報取得部４１からの画像データに基づく画像を解析し、３Ｄマップを生成する。生成された３Ｄマップは、３Ｄマップ保持部４３に保持（記録）される。
　ＡＲコンテンツ生成部４４は、３Ｄマップに配置するＡＲコンテンツを生成し、３Ｄマップの所定の位置にＡＲコンテンツを配置する。ＡＲコンテンツ生成部４４により３Ｄマップに配置されたＡＲコンテンツは、ＡＲコンテンツ提供部４７により、ユーザの携帯端末２３に供給される。
　ＡＲコンテンツ提供部４７は、携帯端末２３で撮影されている現実世界の位置に対応する３Ｄマップ内の位置に配置されているＡＲコンテンツを、携帯端末２３に供給する。
　３Ｄマップ保持部４３に保持されている３Ｄマップの基になった現実世界において、何らかの変更、例えば棚のレイアウトが変更された場合、その変更に応じて、３Ｄマップも変更（更新）必要がある。本実施の形態においては、カメラ情報取得部４１により取得される画像データに基づく画像が、変更検出部４５により解析され、現実世界において変更があった場合、その変更が検出される。
　変更検出部４５により現実世界の変更が検出された場合、３Ｄマップ更新部４６により、３Ｄマップ保持部４３に保持されている３Ｄマップに、現実世界での変更が反映されるように、３Ｄマップの更新が行われる。
　＜情報処理装置の処理＞
　情報処理装置２２ａが行う３Ｄマップの生成と、ＡＲコンテンツの供給に係わる処理について、図３のフローチャートを参照して説明する。
　ステップＳ１１において、カメラ情報取得部４１は、カメラ２１により撮影された画像の画像データを取得する。３Ｄマップを生成するときに画像を撮影するカメラ２１としては、２Ｄカメラや３Ｄカメラを用いることができ、カラー画像を取得するカメラであっても良いし、モノクロ画像を取得するカメラであっても良い。
　カメラ２１を３Ｄカメラとした場合、ステレオカメラを用いることができる。カメラ２１としてｉＴｏＦ（Indirect time of flight）方式やｄＴｏＦ（Direct time of flight）方式を用いた測距を行うカメラを用いることができる。測距を行うカメラ２１の代わりに、超音波センサを用いることもできる。カメラ２１としては、マルチスペクトルカメラと称されるカメラや、偏光カメラを用いることもできる。
　これらのカメラが組み合わされて用いられ、３Ｄマップを生成するときに用いられる画像が取得されるようにしても良い。例えば、２Ｄカメラからの画像と、マルチスペクトルカメラからの画像、または／および、偏光カメラからの画像が用いられて３Ｄマップが生成されるようにしても良い。
　例えば、３Ｄカメラからの画像と、マルチスペクトルカメラからの画像、または／および、偏光カメラからの画像が用いられて３Ｄマップが生成されるようにしても良い。
　なおここで例示したカメラ２１の種類やカメラ２１の組み合わせは一例であり、限定を示す記載ではない。例えば、上記した測距方式以外のセンシング方式を用いた場合も、本技術の適用範囲内である。
　カメラ２１は、所定の位置に固定されている固定カメラであっても良いし、携帯可能なカメラであっても良い。固定カメラとしては、天球カメラなどと称され、天井や壁などに設置されているカメラや、監視カメラなどと称されるカメラを用いることができる。
　携帯可能なカメラとしては、スキャニングデバイスと称されるデバイス、例えば、手で保持してスキャニングを行うハンドヘルド型のスキャナ、三脚などを用いて地面に置いてスキャニングを行うレーザスキャナ、自動車や台車などに搭載し、走行してスキャニングを行うデバイスなどを用いることができる。
　カメラ２１として、ドローン、ＡＶＧ（Automatic Guided Vehicle）、歩行ロボットなどに搭載されているカメラを用いても良い。
　携帯可能なカメラとして、スマートフォン、スマートグラス、タブレット端末などを用いることもできる。これらの端末は、携帯端末２３とすることもできる。
　３Ｄマップを作成するときには、カメラ２１を用いられて３Ｄマップを作成する現実世界が撮影され、多くの画像データが取得される。
　なお、３Ｄマップを作成するために用いられる画像は、個人情報が含まれないように加工されたデータであっても良い。例えば、３Ｄマップを画像から抽出される特徴点を用いて作成する場合、情報処理装置２２ａには、画像から抽出された特徴点が供給されるようにしても良い。情報処理装置２２ａに、画像が供給されるようにした場合も、その画像に撮影されている人の顔にはモザイクがかけられていたり、可視できない加工が施されていたりする画像が供給されるようにしてもよい。このようにすることで、プライバシーに配慮した３Ｄマップの作成を行うことができる。
　ステップＳ１２において、３Ｄマップ生成部４２は、カメラ情報取得部４１から取得されたカメラ２１で撮影された画像データを用いて、３Ｄマップを生成する。３Ｄマップは、例えば画像を解析し、点群データを生成し、スティッチング処理を実行し、重なりを除去することで生成される。３Ｄマップの生成は、カメラ２１としてどのようなカメラを用いたか、例えば、２Ｄカメラを用いたか、３Ｄカメラを用いたかなどにより、用いたカメラの種類や、扱うデータの種類などにより適切な方法を適用して生成されれば良い。
　ステップＳ１３において、ＡＲコンテンツ生成部４４によりＡＲコンテンツが生成され、３Ｄマップの所定の位置に配置される。例えば、３Ｄマップ内の壁に該当する領域に看板や案内表示のＡＲコンテンツが生成され、配置されたり、３Ｄマップ内の商品棚に該当する領域に、商品の説明書きのＡＲコンテンツが生成され、配置されたりする。
　生成されたＡＲコンテンツは、３Ｄマップと関連付けられて３Ｄマップ保持部４３に保持される。または、ユーザにＡＲコンテンツが提供されるときに、ステップＳ１３における処理が実行され、そのときにユーザに提供するのに適しているＡＲコンテンツが生成されるようにしても良い。
　ステップＳ１４において、ＡＲコンテンツ提供部４７によりＡＲコンテンツが、携帯端末２３に対して供給される。ステップＳ１４における処理は、携帯端末２３側から、ＡＲコンテンツの供給の要求があったときに行われ、携帯端末２３が撮影している現実世界の位置に対応した３Ｄマップの位置に配置されているＡＲコンテンツが、ＡＲコンテンツ提供部４７から、ネットワーク２４を介して携帯端末２３に供給され、携帯端末２３において再生されることで、ＡＲコンテンツが、ユーザに提供される。
　このようにして、３Ｄマップが生成され、その生成された３Ｄマップに対してＡＲコンテンツが配置される。
　図４の上図は、携帯端末２３で撮影される現実世界（現実世界６１とする）の一例を示す図である。現実世界６１の位置Ａには、棚７１が配置されている。携帯端末２３により現実世界６１が撮影されている場合、ＡＲコンテンツ提供部４７は、携帯端末２３で撮影されている現実世界の位置Ａに該当する３Ｄマップの位置Ａに配置されているＡＲコンテンツを、携帯端末２３に供給する。
　図４の下図は、携帯端末２３にＡＲコンテンツが供給され、携帯端末２３のディスプレイ６２でＡＲコンテンツが表示されている画面の一例を示す図である。携帯端末２３のディスプレイ６２には、現実世界６１に配置されている棚７１が表示され、その棚７１の上に、ランプ形状のＡＲコンテンツ７２が表示されている。
　ところで、３Ｄマップ保持部４３に保持されている３Ｄマップが取得された現実世界に変更があった場合、例えば、棚７１のレイアウトが変更されたような場合、３Ｄマップと現実世界との間に乖離が生じ可能性がある。
　例えば、図５の上図に示すように、３Ｄマップを生成した時刻Ｔ１の現実世界６１には、位置Ａに棚７１が位置していたが、時刻Ｔ１から時間が経過した時刻Ｔ２の現実世界６１では、図５の下図に示すように位置Ｂに棚７１が移動してるような場合がある。
　このような場合、３Ｄマップを更新しなければ、時刻Ｔ１のときに生成されたマップのままであるため、３Ｄマップにおける位置Ａに棚７１がある状態（図５の上図に示した状態）である。一方で現実世界６１では位置Ｂに棚７１がある状態（図５の下図に示した状態）である。すなわちこの場合、棚７１の位置に関して、３Ｄマップと現実世界で乖離が生じている状態となる。
　３Ｄマップが更新されずに、図５の上図に示したような状態の３Ｄマップが、３Ｄマップ保持部４３に保持されているときに、図５の下図にしめしたような状態の現実世界６１が携帯端末２３により撮影され、ＡＲコンテンツ提供部４７によりＡＲコンテンツ７２が供給されると、図６の上図に示したような画面が、ユーザに提供されてしまう可能性がある。
　図６の上図を参照するに、携帯端末２３のディスプレイ６２には、現実世界６１の位置Ａに対応する位置にＡＲコンテンツ７２が表示され、位置Ｂに対応する位置に棚７１が表示されているような画面が表示される。このように、現実世界に変更があったときに、３Ｄマップに、その変更が反映されないと、ＡＲコンテンツ７２が正しい位置に表示されない可能性がある。
　そこで、現実世界に変更があったときに、その変更を３Ｄマップにも反映させることで、図６の下図に示すように、ＡＲコンテンツ７２が適切な位置に表示されるようにする。図６の下図を参照するに、携帯端末２３のディスプレイ６２には、現実世界６１の位置Ｂに配置されている棚７１が表示され、その棚７１上にＡＲコンテンツ７２が表示されている。棚７１が位置Ｂに移動したという変更を、３Ｄマップに反映し、ＡＲコンテンツを再配置することで、図６の下図に示したような適切な位置にＡＲコンテンツ７２が配置された画面を、ユーザに提示できるようになる。
　このように、３Ｄマップと現実世界に乖離が生じると、３Ｄマップに配置されているＡＲコンテンツが意図した位置に表示されないことになるため、再度３Ｄマップを作成し直したり、ＡＲコンテンツを配置し直したりする必要がある。３Ｄマップを更新するとき、変更があった箇所を含む現実世界を、再度撮影してデータを収集する必要があった。
　すなわち、例えば図５を参照して説明したように、現実世界６１において、棚Ａが位置Ａから位置Ｂに移動したという変更があったような場合、そのような変更があった時刻Ｔ２以降に、再度現実世界６１が撮影され、位置Ｂにおける画像や画像から取得される点群データなどが取得されることで、３Ｄマップの更新が行われる。
　このような再度の撮影には、従来、上述したステップＳ１，Ｓ２（図３）の処理と同様の処理が再度実行される必要があった。そのため、カメラ２１を持って、現実世界６１に行き、撮影を行うといった工程が発生したり、その撮影のために人を派遣するといった労力が発生したりする。従来の方法で３Ｄマップを更新するには、工数が発生し、３Ｄマップを更新し終わるまでに時間的なロスが発生する可能性があった。
　本実施の形態によれば、以下に説明するように３Ｄマップの更新や、更新された３ＤマップへのＡＲコンテンツの再配置が行われるため、更新にかかる工数を削減し、時間的なロスが発生するようなことを抑制することができる。
　＜更新に係わる処理＞
　図７は、情報処理装置２２ａが行う３ＤマップとＡＲコンテンツの更新に係わる処理について説明するためのフローチャートである。
　ステップＳ２１において、カメラ情報取得部４１は、画像データと、カメラ２１を識別するための識別情報を取得する。３Ｄマップが作成された後、その３Ｄマップの元になった現実世界を撮影し続けるカメラ２１があり、そのカメラ２１からの画像が、情報処理装置２２ａに供給される。
　現実世界を撮影し続けるカメラ２１としては、例えば、監視カメラや定点カメラなどを用いることができる。ユーザの携帯端末２３に搭載されているカメラも用いることができる。
　カメラ情報取得部４１は、所定の間隔で、現実世界を撮像しているカメラ２１からの画像データを取得する。ステップＳ２２において、変更検出部４５は、カメラ情報取得部４１からの画像データを解析し、現実世界に変更があったか否かを判定する。
　例えば、カメラ２１は、図５に示した現実世界６１を撮影する位置に固定カメラとして設置されている。そのようなカメラ２１から、カメラ２１で撮影されている画像（映像）が、カメラ情報取得部４１を介して、変更検出部４５に供給される。
　変更検出部４５は、少なくとも前の時刻に供給された画像を保持している。ここでは、時刻Ｔ１において取得された図５の上図に示したような画像（以下、画像Ｔ１と記述する）が保持されているとする。時刻Ｔ２において、図５の下図に示したような画像（以下、画像Ｔ２と記述する）が取得されたとする。
　変更検出部４５は、時刻Ｔ１のときに供給された画像Ｔ１から、棚７１を検出する。棚７１を検出するとは、例えば、棚７１という物体を特定するための特徴点（特徴点Ｔ１と記述する）を検出することである。変更検出部４５は、時刻Ｔ２において、時刻Ｔ２のときに供給された画像Ｔ２から、棚７１の特徴点（特徴点Ｔ２と記述する）を検出する。
　変更検出部４５は、特徴点Ｔ１と特徴点Ｔ２を比較する。現実世界に変化がなければ、この場合棚７１が移動していなければ、棚７１から検出された特徴点Ｔ１の座標と特徴点Ｔ２の座標は変化することはないため、特徴点の位置を比較した結果、換言すれば特徴点の位置の差分を算出した結果は、閾値以下に収まる値となる。
　一方で、現実世界に変化があると、特徴点の座標は変化するため、特徴点の位置の変化量は、閾値以上になる。特徴点の位置の変化量が閾値以上となった場合、現実世界に変化があったと判定される。図５に示したような状況の場合、特徴点Ｔ１と特徴点Ｔ２の差分は閾値以上となり、現実世界６１に変化があったと判定される。
　なお、この判定の仕方は、一例であり、他の方法で、現実世界の変化が検出されるようにしても良い。
　なお、３Ｄマップを更新するために用いられる画像は、上記したように、現実世界を撮影している監視カメラや定点カメラなどからの画像である。例えば、ショッピングモールに設置されているカメラからの画像を用いて３Ｄマップの更新を行う場合、客が映っている可能性が高く、客のプライバシーを考慮した処理が望まれる場合もある。そこで、３Ｄマップを更新するために用いられる画像は、個人情報が含まれないように加工されたデータであっても良い。
　例えば、３Ｄマップを画像から抽出される特徴点を用いて作成する場合、情報処理装置２２ａには、画像から抽出された特徴点が供給されるようにしても良い。情報処理装置２２ａに、画像が供給されるようにした場合も、その画像に撮影されている人の顔にはモザイクがかけられていたり、可視できない加工が施されていたりする画像が供給されるようにしてもよい。このようにすることで、プライバシーに配慮した３Ｄマップの更新を行うことができる。
　ステップＳ２２において、現実世界に変化はないと判定された場合、ステップＳ２１に処理は戻され、それ以降の処理が繰り返される。すなわち、カメラ２１により画像の撮影が継続して行われ、その画像が解析され、現実世界に変化はないか否かの判定が行われるという一連の処理が継続される。
　一方、ステップＳ２２において、現実世界に変化があったと判定された場合、ステップＳ２３に処理は進められる。ステップＳ２３において、３Ｄマップ更新部４６は、３Ｄマップ保持部４３に保持されている３Ｄマップを更新する。変更検出部４５は、変更があったと判定されたときに取得された画像から、３Ｄマップを作成するときに必要とされたデータ、例えば点群データを検出し、その点群データを用いて現実世界で変更があった箇所に該当する３Ｄマップが更新される。
　このように、現実世界を撮影しているカメラ２１からの画像を解析し、現実世界に起きた変化を検出し、変化が検出されたとき、３Ｄマップを更新するため、現実世界に変化が起きてから、３Ｄマップが更新されるまでのタイムロスを短くすることができる。また、固定カメラからの映像を用いることで、再度撮影を行う工程を削減することができ、再度の撮影にかかる時間や労力を削減することができる。
　このようにして３Ｄマップが更新されると、ステップＳ２４において、ＡＲコンテンツの再配置が行われる。ＡＲコンテンツ生成部４４は、更新された３Ｄマップに対して、ＡＲコンテンツを配置する。更新された３ＤマップにＡＲコンテンツが再配置されることで、現実世界６１に変化があっても、例えば、図６の下図に示したような、変化後の現実世界に対応したＡＲコンテンツ７２が適切に表示された画像を、ユーザに提示することができる。
　ここでは、棚７１が移動された場合を例に挙げて説明したが、以下のような、例えば、景観が変化したことを検出するような場合にも適用できる。１例として、道路、例えば町中の道、ショッピングモールのような施設内の道を撮影しているカメラ２１からの映像を解析し、工事のため、道幅が狭くなっているような状況が発生した場合を想定する。
　このような状況が発生した場合、通路が狭くなったという現実世界６１における変化が検出され、３Ｄマップが更新され、狭くなった道に対するＡＲコンテンツが、その道に配置される。例えば、“道幅が狭くなっています。注意してください”といった注意を促す看板が、ＡＲコンテンツとして提供されるようにしても良い。
　他の例として、例えば商品棚の商品をカメラ２１で撮影し、商品が買われ商品棚から商品の数が所定数減ると、商品の個数の減少を、現実世界６１での変化として検出されるようにする。また変化が検出されたとき、商品が少なくなったことを定員にアラートするためのＡＲコンテンツが表示されたり、客に対して“売れ筋の商品なのでもうすぐ無くなります”といった看板がＡＲコンテンツとして表示されたりするようにしても良い。
　他の例として、屋外に設置されている監視カメラの映像を取得し、災害による地形の変化、季節による植物の変化、工事による変化、再開発による変化、新規建設による変化などの景観の変化が現実世界６１での変化として検出されるようにする。変化が検出されたとき、３Ｄマップが更新されることで、例えば災害による地形の変化に対応したナビゲーションを行うことができる。
　上記した実施の形態においては、カメラ２１から画像データが情報処理装置２２ａに供給され、変更検出部４５により現実世界６１の変更が検出されるとして説明したが、例えば、カメラ２１に現実世界６１の変化を検出する機能を持たせても良い。
　例えば、カメラ２１側で、現実世界６１の変化を検出するまでの処理を行うようにし、検出したときだけ、画像データなどを情報処理装置２２ａに送付するようにしても良いし、撮影されている画像から特徴点を検出し、その特徴点を情報処理装置２２ａに送付する処理までを行うようにしても良い。すなわち上述した情報処理装置２２が行う処理の一部を、カメラ２１側で行う構成とすることもできる。
　このような処理は、カメラ２１にＡＩ（artificial intelligence）チップを搭載し、そのＡＩチップで行われるようにしても良い。
　＜第２の実施の形態＞
　図８は、カメラ２１により現実世界６１を撮影し、現実世界６１における変化を検出する場合の実施の形態（第２の実施の形態とする）について説明するための図である。
　カメラが搭載されている携帯端末２３において、ユーザが、カメラの画角内で所定のジェスチャーを行うと、そのジェスチャーに対応した処理が行われる。
　カメラ２１は、例えばショッピングモール内に設置されているカメラであり、ショッピングモール内の所定の領域を撮影している。カメラ２１でも、ユーザのジェスチャーを検出し、そのジェスチャーに対応する処理が行えるようにしてもよい。
　第１の実施の形態においては、現実世界６１の変化を検出するようにしたが、この変化として、ユーザのジェスチャーが検出されるようにし、その検出されたジェスチャーに対応する処理が実行されるようにすることができる。
　図９は、ユーザのジェスチャーを検出し、対応する処理を実行するようにした場合の情報処理装置２２ｂの構成例を示す図である。図９に示した情報処理装置２２ｂにおいて、図２に示した情報処理装置２２ａと同様な部分には、同一の符号を付し、その説明は適宜省略する。
　情報処理装置２２ｂは、カメラ情報取得部４１、３Ｄマップ保持部４３、ＡＲコンテンツ生成部４４、ＡＲコンテンツ提供部４７、ジェスチャー検出部１０１、およびユーザ特定部１０２を含む。
　情報処理装置２２ｂは、３Ｄマップ保持部４３に既に生成された３Ｄマップが保持され、その３Ｄマップに配置されたＡＲコンテンツが、携帯端末２３に供給される場合の構成を示している。現実世界６１に変化が生じたことを検知し、３Ｄマップの更新を行う場合、変更検出部４５や３Ｄマップ更新部４６を、情報処理装置２２ｂが備える構成とすれば良い。上記した第１の実施の形態における情報処理装置２２ａと、第２の実施の形態における情報処理装置２２ｂを、組み合わせた構成とすることも可能である。
　ジェスチャー検出部１０１は、カメラ情報取得部４１を介して取得されるカメラ２１からの画像データを解析し、ユーザが行ったジェスチャーを検出し、検出されたジェスチャーに対応する処理を行う。ユーザ特定部１０２は、ジェスチャーを行ったユーザ（そのユーザの携帯端末２３）を特定する。
　図１０のフローチャートを参照し、情報処理装置２２ｂで行われるジェスチャー検出に係わる処理について説明する。
　ステップＳ４１において、ジェスチャー検出部１０１は、カメラ情報取得部４１を介して取得されるカメラ２１からの画像データを取得する。ステップＳ４２において、ジェスチャー検出部１０１は、取得された画像を解析し、ジェスチャーを検出する。
　例えば、解析対象としてる画像から、人を検出し、人が検出された場合、その人の手をさらに検出する。人の手が検出された場合、複数フレームにわたり、その手の動きが検出され、その動きが所定のジェスチャーに該当するか否かが判定される。
　このような処理が行われることで、ステップＳ４２において、ジェスチャーが検出されたと判定された場合、ステップＳ４３に処理は進められ、ジェスチャーは検出されていないと判定された場合、ステップＳ４１に処理が戻され、ジェスチャーが検出されるまで、ジェスチャーを検出処理が継続して行われる。
　ステップＳ４３において、ユーザ特定部１０２によりジェスチャーを行った人（ユーザ）の座標が特定される。カメラ情報取得部４１では、画像データの他にカメラ２１を一意に特定するための情報（カメラＩＤとする）を取得している。カメラＩＤから、そのカメラ２１が撮影している現実世界６１の場所がわかり、３Ｄマップの該当する箇所を判定することもできる。
　カメラ２１で撮影されている画像を解析することで、ユーザが画像内でどこにいるかを判定することができる。これらの判定結果から、現実世界６１に設定されている座標系におけるユーザがいる位置の座標が取得される。検出されるのは、３Ｄマップに設定されている座標系において、現実世界６１にいるユーザの位置に該当する位置の座標であっても良い。
　ステップＳ４４において、ユーザ特定部１０２は、携帯端末２３の位置を特定する。例えば、ユーザ特定部１０２は、携帯端末２３が撮影している画像を取得し、取得された画像から、特徴点を抽出する。抽出された特徴点が、３Ｄマップ保持部４３に保持されている３Ｄマップと照らし合わされ、抽出された特徴点と一致する位置（物体）が特定される。このような処理により、画像を撮影している携帯端末２３の位置が特定される。
　ステップＳ４５において、人と携帯端末２３とが紐付けられる。ステップＳ４３において特定された人の位置と、ステップＳ４４において特定された携帯端末２３の位置とが一致している人と携帯端末２３とが紐付けられる。紐付けが行われることで、ジェスチャーを行った人と、ジェスチャーを行った人の携帯端末２３とが紐付けられる。
　ステップＳ４６において、ジェスチャーに応じた処理が実行される。例えば、ジェスチャーが携帯端末２３に対する指示であった場合、特定された携帯端末２３に対して、ジェスチャーによるユーザから出された指示が通知される。携帯端末２３では、情報処理装置２２ｂから供給された指示に応じた処理が実行される。
　例えば、ジェスチャーが、携帯端末２３のディスプレイ６２に表示されているＡＲコンテンツに対する指示であった場合、その指示にあったＡＲコンテンツが設定され、供給される。
　このように、カメラ２１により、ジェスチャーが検出され、そのジェスチャーに対する処理が実行されるため、例えば、携帯端末２３のユーザが、携帯端末２３のカメラの画角外でジェスチャーしたような場合であっても、携帯端末２３に、ユーザがジェスチャーで指示した処理を実行させることができる。
　＜第３の実施の形態＞
　第３の実施の形態として、ユーザに関する情報を検出し、得られたユーザに関する情報に適したＡＲコンテンツを提供する場合について説明を加える。
　カメラ２１は、例えばショッピングモール内に設置されているカメラであり、ショッピングモール内の所定の領域を撮影している。カメラ２１により撮影されているユーザに関する情報が取得され、その取得された情報に基づいてＡＲコンテンツが選択され、提供されるようにする。ユーザに関する情報として、ユーザの属性が有り、ユーザの属性としては、例えば、性別や年齢などである。
　図１１は、ユーザの属性を検出し、そのユーザに適したＡＲコンテンツを提供するようにした場合の情報処理装置２２ｃの構成例を示す図である。図１１に示した情報処理装置２２ｃにおいて、図２に示した情報処理装置２２ａと同様な部分には、同一の符号を付し、その説明は適宜省略する。
　情報処理装置２２ｃは、カメラ情報取得部４１、３Ｄマップ保持部４３、ＡＲコンテンツ生成部４４、ＡＲコンテンツ提供部４７、ユーザ特定部１０２、およびユーザ属性認識部１２１を含む。
　ユーザ属性認識部１２１は、ユーザの属性を認識する。属性としては、性別、年齢、家族連れある、友達同士であるといった情報である。事前に、ユーザの嗜好情報などを取得できるときには、その嗜好情報を属性として用いることもできる。属性として行動履歴が用いられるようにしても良い。行動履歴としては、例えば所定の店の前に所定の時間居た、商品を購入したなどである。また属性として、ユーザの現実世界における状況が用いられるようにしても良い。ユーザの現実世界における状況とは、例えば、混雑している状況に居るなどである。
　情報処理装置２２ｃは、３Ｄマップ保持部４３に既に生成された３Ｄマップが保持され、その３Ｄマップに配置されたＡＲコンテンツが、携帯端末２３に供給される場合の構成を示している。現実世界６１に変化が生じた場合に３Ｄマップの更新を行う場合、変更検出部４５や３Ｄマップ更新部４６を、情報処理装置２２ｃが備える構成とすれば良い。また、ユーザのジェスチャーを検出して、そのジェスチャーに対応する処理を実行する場合、ジェスチャー検出部１０１を情報処理装置２２ｃが備える構成とすれば良い。
　上記した第１の実施の形態における情報処理装置２２ａと、第２の実施の形態における情報処理装置２２ｂを、第３の実施の形態における情報処理装置２２ｃと組み合わせた構成とすることも可能である。
　図１２のフローチャートを参照して、図１１に示した情報処理装置２２ｃの動作について説明する。
　ステップＳ６１において、ユーザ属性認識部１２１は、カメラ情報取得部４１を介して取得されるカメラ２１からの画像データを取得する。ステップＳ６２において、ユーザ属性認識部１２１は、取得された画像データを解析して、ユーザの属性を認識する。例えば、ディープラーニングなどの機械学習を用いて、性別や年齢といった属性が認識される。行動履歴を認識するようにした場合、所定のユーザの移動を継続的に監視し、例えば所定の店前で所定の時間立ち止まっていたといった行動があった場合には、その店の前で立ち止まっていたという行動がステップＳ６２の処理で認識される。
　ステップＳ６２において、ユーザの属性が認識されると、ステップＳ６３に処理は進められる。ステップＳ６３乃至Ｓ６５は、ステップＳ４３乃至Ｓ６５（図１０）と同様の処理のため、ここでは説明を省略する。
　ステップＳ６６において、ＡＲコンテンツ生成部４４により、認識された属性に適したＡＲコンテンツが生成され（選択され）、ＡＲコンテンツ提供部４７により、携帯端末２３に供給される。例えば、属性として、男性と認識されたユーザには、男性向けのＡＲコンテンツが提示され、女性と認識されたユーザには、女性向けのＡＲコンテンツが提示される。例えば、行動履歴として、所定の店の前に立ち止まっていたという履歴が取得されていた場合には、その立ち止まっていた店に関するＡＲコンテンツが提示される。例えば、ユーザの現実世界における状況として、混雑度が取得されるようにされている場合、混雑度が高い場合と、混雑度が低い場合とで、異なるＡＲコンテンツが提示される。
　このように、ユーザの属性、行動履歴、ユーザの状況などを参考にして、ユーザに適したＡＲコンテンツが提示されるようにすることができる。
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　現実世界を撮影した画像を用いて、前記現実世界における変更を検出する検出部と、
　前記検出部で前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する更新部と
　を備える情報処理装置。
（２）
　前記画像は、前記現実世界に設置されているカメラにより撮影された画像である
　前記（１）に記載の情報処理装置。
（３）
　前記現実世界における変更は、物体の位置の変更である
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記現実世界における変更は、景観の変化である
　前記（１）または（２）に記載の情報処理装置。
（５）
　前記更新部により前記３次元マップが更新された場合、前記３次元マップに配置されているＡＲ（Augmented Reality）コンテンツの配置も更新する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記現実世界を撮影した画像は、個人情報を含まないように加工された画像である
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　現実世界に設置されているカメラにより撮影された画像を用いて、前記現実世界にいる人が行ったジェスチャーを検出する検出部と、
　前記検出部により前記ジェスチャーが検出された場合、検出された前記ジェスチャーに対応する処理を実行する処理部と
　を備える情報処理装置。
（８）
　前記ジェスチャーは、前記人が携帯端末に対して行ったジェスチャーであり、
　前記処理部は、前記携帯端末に前記ジェスチャーで指示されたことを前記携帯端末に通知する
　前記（７）に記載の情報処理装置。
（９）
　現実世界に設置されているカメラにより撮影された画像を用いて、前記現実世界にいる人の属性を認識する認識部と、
　前記認識部により認識された前記属性に基づき、前記人に提供するＡＲ（Augmented Reality）コンテンツを生成し、提供する提供部と
　を備える情報処理装置。
（１０）
　前記属性は、性別、年齢である
　前記（９）に記載の情報処理装置。
（１１）
　前記属性は、前記現実世界の状況である
　前記（９）または（１０）に記載の情報処理装置。
（１２）
　情報処理装置が、
　現実世界を撮影した画像を用いて、前記現実世界における変更を検出し、
　前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する
　情報処理方法。
（１３）
　コンピュータに、
　現実世界を撮影した画像を用いて、前記現実世界における変更を検出し、
　前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する
　処理を実行させるためのプログラム。
　１１　情報処理システム，　２１　カメラ，　２２　情報処理装置，　２３　携帯端末，　２４　ネットワーク，　４１　カメラ情報取得部，　４２　３Ｄマップ生成部，　４３　３Ｄマップ保持部，　４４　ＡＲコンテンツ生成部，　４５　変更検出部，　４６　３Ｄマップ更新部，　４７　ＡＲコンテンツ提供部，　６１　現実世界，　６２　ディスプレイ，　７１　棚，　７２　ＡＲコンテンツ，　１０１　ジェスチャー検出部，　１０２　ユーザ特定部，　１２１　ユーザ属性認識部

Claims (13)

  1. 　現実世界を撮影した画像を用いて、前記現実世界における変更を検出する検出部と、
    　前記検出部で前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する更新部と
    　を備える情報処理装置。
  2. 　前記画像は、前記現実世界に設置されているカメラにより撮影された画像である
    　請求項１に記載の情報処理装置。
  3. 　前記現実世界における変更は、物体の位置の変更である
    　請求項１に記載の情報処理装置。
  4. 　前記現実世界における変更は、景観の変化である
    　請求項１に記載の情報処理装置。
  5. 　前記更新部により前記３次元マップが更新された場合、前記３次元マップに配置されているＡＲ（Augmented Reality）コンテンツの配置も更新する
    　請求項１に記載の情報処理装置。
  6. 　前記現実世界を撮影した画像は、個人情報を含まないように加工された画像である
    　請求項１に記載の情報処理装置。
  7. 　現実世界に設置されているカメラにより撮影された画像を用いて、前記現実世界にいる人が行ったジェスチャーを検出する検出部と、
    　前記検出部により前記ジェスチャーが検出された場合、検出された前記ジェスチャーに対応する処理を実行する処理部と
    　を備える情報処理装置。
  8. 　前記ジェスチャーは、前記人が携帯端末に対して行ったジェスチャーであり、
    　前記処理部は、前記携帯端末に前記ジェスチャーで指示されたことを前記携帯端末に通知する
    　請求項７に記載の情報処理装置。
  9. 　現実世界に設置されているカメラにより撮影された画像を用いて、前記現実世界にいる人の属性を認識する認識部と、
    　前記認識部により認識された前記属性に基づき、前記人に提供するＡＲ（Augmented Reality）コンテンツを生成し、提供する提供部と
    　を備える情報処理装置。
  10. 　前記属性は、性別、年齢である
    　請求項９に記載の情報処理装置。
  11. 　前記属性は、前記現実世界の状況である
    　請求項９に記載の情報処理装置。
  12. 　情報処理装置が、
    　現実世界を撮影した画像を用いて、前記現実世界における変更を検出し、
    　前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する
    　情報処理方法。
  13. 　コンピュータに、
    　現実世界を撮影した画像を用いて、前記現実世界における変更を検出し、
    　前記現実世界における変更が検出された場合、前記現実世界を撮影することで生成された３次元マップを更新する
    　処理を実行させるためのプログラム。
PCT/JP2022/000077 2021-02-05 2022-01-05 情報処理装置、情報処理方法、並びにプログラム WO2022168515A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280012469.XA CN116783617A (zh) 2021-02-05 2022-01-05 信息处理装置、信息处理方法和程序
JP2022579392A JPWO2022168515A1 (ja) 2021-02-05 2022-01-05
EP22749394.7A EP4290468A1 (en) 2021-02-05 2022-01-05 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-017389 2021-02-05
JP2021017389 2021-02-05

Publications (1)

Publication Number Publication Date
WO2022168515A1 true WO2022168515A1 (ja) 2022-08-11

Family

ID=82742286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000077 WO2022168515A1 (ja) 2021-02-05 2022-01-05 情報処理装置、情報処理方法、並びにプログラム

Country Status (5)

Country Link
EP (1) EP4290468A1 (ja)
JP (1) JPWO2022168515A1 (ja)
CN (1) CN116783617A (ja)
TW (1) TW202236077A (ja)
WO (1) WO2022168515A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005251170A (ja) * 2004-01-23 2005-09-15 Sony United Kingdom Ltd 表示装置
JP2012221250A (ja) 2011-04-08 2012-11-12 Sony Corp 画像処理装置、表示制御方法及びプログラム
JP2019046291A (ja) * 2017-09-05 2019-03-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
JP2020204708A (ja) * 2019-06-17 2020-12-24 株式会社ジースキャン 地図情報更新システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005251170A (ja) * 2004-01-23 2005-09-15 Sony United Kingdom Ltd 表示装置
JP2012221250A (ja) 2011-04-08 2012-11-12 Sony Corp 画像処理装置、表示制御方法及びプログラム
JP2019046291A (ja) * 2017-09-05 2019-03-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
JP2020204708A (ja) * 2019-06-17 2020-12-24 株式会社ジースキャン 地図情報更新システム

Also Published As

Publication number Publication date
CN116783617A (zh) 2023-09-19
JPWO2022168515A1 (ja) 2022-08-11
EP4290468A1 (en) 2023-12-13
TW202236077A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
US9661214B2 (en) Depth determination using camera focus
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US10264207B2 (en) Method and system for creating virtual message onto a moving object and searching the same
CN108921894B (zh) 对象定位方法、装置、设备和计算机可读存储介质
US20170337747A1 (en) Systems and methods for using an avatar to market a product
US20160119607A1 (en) Image processing system and image processing program
US20170255947A1 (en) Image processing system and image processing method
US11715236B2 (en) Method and system for re-projecting and combining sensor data for visualization
CN110555876B (zh) 用于确定位置的方法和装置
US20200294318A1 (en) Representation of user position, movement, and gaze in mixed reality space
JP2019174920A (ja) 物品管理システム、及び物品管理プログラム
EP2808805A1 (en) Method and apparatus for displaying metadata on a display and for providing metadata for display
US9851784B2 (en) Movement line conversion and analysis system, method and program
JP2013195725A (ja) 画像表示システム
WO2022168515A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP2016021097A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6399096B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
US11341774B2 (en) Information processing apparatus, data generation method, and non-transitory computer readable medium storing program
GB2513865A (en) A method for interacting with an augmented reality scene
JP2011192220A (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
TW201822034A (zh) 收集系統、終端用程式以及收集方法
CN111860070A (zh) 识别发生改变的对象的方法和装置
KR20220013235A (ko) 영상 통화 수행 방법, 그 방법을 수행하는 디스플레이 기기, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
US11393197B2 (en) System and method for quantifying augmented reality interaction
US20230127443A1 (en) System for Controlling Display Device on Basis of Identified Capture Range

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22749394

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022579392

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280012469.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022749394

Country of ref document: EP

Effective date: 20230905