WO2023149118A1 - プログラム、情報処理装置、および情報処理方法 - Google Patents

プログラム、情報処理装置、および情報処理方法 Download PDF

Info

Publication number
WO2023149118A1
WO2023149118A1 PCT/JP2022/047391 JP2022047391W WO2023149118A1 WO 2023149118 A1 WO2023149118 A1 WO 2023149118A1 JP 2022047391 W JP2022047391 W JP 2022047391W WO 2023149118 A1 WO2023149118 A1 WO 2023149118A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sensing
program according
coverage
output
Prior art date
Application number
PCT/JP2022/047391
Other languages
English (en)
French (fr)
Inventor
遵 五味田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023149118A1 publication Critical patent/WO2023149118A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the present disclosure relates to a program, an information processing device, and an information processing method.
  • Patent Document 1 discloses a technique for notifying the user of a request for additional sensing.
  • Patent Document 1 only requires additional sensing, and it is difficult to say that it is sufficient as a technology that supports efficient and effective sensing.
  • the computer includes an output control unit that controls output of support information that supports exhaustive sensing in a predetermined space, and the output control unit detects from acquired sensing information
  • a program that functions as an information processing device that controls the output of the support information based on the positional relationship between the set feature points and the set reference points is provided.
  • an output control unit that controls the output of support information that supports exhaustive sensing in a predetermined space, the output control unit detects from the acquired sensing information
  • An information processing device is provided that controls the output of the support information based on the positional relationship between the set feature points and the set reference points.
  • the processor includes controlling output of support information that supports exhaustive sensing in a predetermined space, and controlling the output of the support information includes obtained and controlling the output of the support information based on the positional relationship between the feature point detected from the sensing information and the set reference point.
  • FIG. 1 is a block diagram showing a configuration example of an information processing device 10 according to an embodiment of the present disclosure
  • FIG. 10 is a flow chart showing an example of the flow of Visual SLAM according to the same embodiment.
  • 7 is a flowchart showing an example of the flow of position estimation using a pre-map according to the embodiment; It is a figure for demonstrating the output control of the support information which concerns on the same embodiment. It is a figure for demonstrating designation
  • FIG. 10 is a flow chart showing an example of the flow of Visual SLAM according to the same embodiment.
  • 7 is a flowchart showing an example of the flow of position estimation using a pre-map according to the embodiment; It is a figure for demonstrating the output control of the support information which concerns on the same
  • FIG. 10 is a diagram for explaining recalculation of a cover area, a coverage ratio, and a recommended sensing direction based on addition of a key frame according to the embodiment;
  • FIG. 10 is a diagram for explaining recalculation of a cover area, a coverage ratio, and a recommended sensing direction based on a change in the position of a reference point according to the embodiment;
  • FIG. 10 is a diagram for explaining designation of an invalid area and calculation of a cover area, a coverage ratio, and a recommended sensing direction based on the invalid area according to the embodiment;
  • It is a flowchart which shows an example of the flow of output control of the support information which concerns on the same embodiment.
  • It is a block diagram which shows the hardware structural example of the information processing apparatus 90 which concerns on the same embodiment.
  • SLAM Simultaneous Localization and Mapping
  • sensors used in SLAM include LIDAR (Light Detection and Ranging) and imaging sensors.
  • a program causes a computer to realize an output control function that controls the output of support information that supports comprehensive sensing in a predetermined space, and the output control
  • the function controls the output of support information based on the positional relationship between the feature point detected from the acquired sensing information and the set reference point.
  • SLAM as an example of control based on sensing information, especially Visual SLAM, which performs control based on captured images, will be mainly described.
  • sensing information according to this embodiment is not limited to SLAM. Also, sensing information according to the present embodiment is not limited to images.
  • the technology according to this embodiment can be widely applied to technologies in which comprehensive sensing in space is important.
  • FIG. 1 is a block diagram showing a configuration example of an information processing apparatus 10 according to this embodiment.
  • the information processing apparatus 10 includes an imaging unit 110, a feature point detection unit 115, a matching unit 120, a distance estimation unit 125, a pose difference estimation unit 130, a pose difference accumulation unit 135, a key A frame search unit 140, a coverage calculation unit 145, an output control unit 150, a display unit 155, and a map DB 160 may be provided.
  • the configuration of the information processing apparatus 10 shown in FIG. 1 is merely an example, and the configuration of the information processing apparatus 10 according to the present embodiment is not limited to this example.
  • the imaging unit 110 is an example of a sensor unit when the sensing information is an image. Therefore, when other information is used as the sensing information, the information processing apparatus 10 may be provided with a configuration for acquiring the corresponding sensing information instead of or in addition to the imaging unit 110 .
  • the information processing apparatus 10 may further include an operation unit that receives user operations, an audio output unit that outputs audio, and the like.
  • each configuration shown in FIG. 1 does not necessarily have to be provided in a single device.
  • the information processing apparatus 10 includes the imaging unit 110, the output control unit 150, and the display unit 155 among the configurations shown in FIG. may be controlled.
  • the configuration of the information processing device 10 according to the present embodiment and the configuration of the system including the information processing device 10 can be flexibly modified according to specifications, operation, and the like.
  • FIG. 2 is a flow chart showing an example of the flow of Visual SLAM according to this embodiment.
  • the imaging unit 110 captures an image in a predetermined space (S102).
  • the image captured in step S102 is an example of sensing information according to the present embodiment.
  • the information processing apparatus 10 uses an IMU (Inertial Measurement Unit), a compass, a ToF (Time Of Flight) sensor, a GNSS (Global Navigation Satellite System), a wireless communication device, etc. Additional sensing information may be obtained.
  • IMU Inertial Measurement Unit
  • compass compass
  • ToF Time Of Flight
  • GNSS Global Navigation Satellite System
  • wireless communication device etc. Additional sensing information may be obtained.
  • the image captured in step S102 is subjected to processing such as optical distortion correction and gain adjustment as necessary, and is input to the feature point detection unit 115 .
  • the feature point detection unit 115 detects feature points that can be used for self-position estimation from the image captured in step S102, and describes feature amounts of the detected feature points (S104).
  • the feature points detected from the image are typically high-contrast patterns with no similar structures around them. Feature points are desired to be uniquely matched due to their uniqueness.
  • the two-dimensional coordinates and feature amounts on the image related to the feature points detected by the feature point detection unit 115 are stored in the map DB 160.
  • the matching unit 120 when two images are obtained in time series (hereinafter, the most recently captured image is referred to as the current frame, and the image captured before the current frame is referred to as the past frame), the matching unit 120 , and information about feature points detected from past frames stored in the map DB 160, a point (corresponding point) corresponding to the feature point in the current frame is searched for by matching.
  • a corresponding point is found here, it means that the same object (point) can be seen from each viewpoint (position and orientation of the imaging unit 110) in the past frame and the current frame. It can be assumed that this is due to changes in the position and orientation of the portion 110 .
  • the movement parallax (the parallax caused by the movement of the photographing unit 110) can be calculated. ), it is possible to estimate the distance by triangulation.
  • the distance estimation unit 125 obtains the three-dimensional coordinates of each feature point by distance estimation, and stores the acquired three-dimensional coordinates of each feature amount in the map DB 160 (S108).
  • the pose difference estimation unit 130 combines the three-dimensional coordinates of each feature point in the past frame stored in the map DB 160 with the two-dimensional information of the corresponding point on the current frame obtained by the matching unit 120. , the pose difference between the past frame and the current frame is estimated (S108).
  • a point group (three-dimensional coordinates) on a three-dimensional space and a point group (two-dimensional coordinates) on a two-dimensional plane corresponding to the point group (that is, the point group on the three-dimensional space is projected) are given.
  • the position/orientation corresponding to the projection plane that is, the position/orientation of the imaging unit 110
  • the cost is the error on the image when each feature point is projected onto the two-dimensional plane.
  • the pose difference obtained by the pose difference estimating unit 130 is input to the distance estimating unit 125 and used as a change in position/orientation between two viewpoints when performing distance estimation based on movement parallax.
  • the pose difference accumulation unit 135 accumulates the pose differences obtained by the pose difference estimation unit 130 (S110).
  • step S110 By accumulating pose differences in step S110, it is possible to obtain an accumulated pose from the starting point.
  • the pose is stored in the map DB 160 and used as a keyframe pose.
  • the feature point information (two-dimensional coordinates and three-dimensional coordinates of feature points, feature amount) in the past frames stored in the map DB 160, and the position and orientation of the photographing unit 110 at the time of photographing the past frames are stored in a reusable pre-map map. function as
  • the past frame is also referred to as a keyframe
  • each feature point associated with the keyframe is also referred to as a landmark.
  • FIG. 3 is a flowchart showing an example of the flow of position estimation using a pre-map according to this embodiment.
  • Image capturing in step S202 and feature point detection in step S204 shown in FIG. 3 may be substantially the same as the processing in step S102 and the processing in step S104 shown in FIG. .
  • the keyframe search unit 140 creates a query for searching for keyframes from the map DB 160 based on the two-dimensional coordinates and feature amounts of each feature point detected in step S204. , search is performed (S206).
  • a keyframe that is most similar to the query is selected by the search in step S206, and the two-dimensional coordinates and feature amount of each landmark in the keyframe are input to the matching unit 120.
  • the matching unit 120 performs motion matching based on the above information that has been input, and obtains the two-dimensional coordinates of the corresponding points in the current frame (S208).
  • the pose difference estimation unit 130 estimates the pose difference based on the three-dimensional coordinates of each landmark in the keyframe selected in step S206 and the two-dimensional coordinates of the corresponding points obtained in step S208 (S210 ).
  • the pose difference estimated in step S210 represents changes in the position/orientation of the imaging unit 110 from the key frame to the current frame.
  • the pose difference accumulating unit 135 accumulates the pose difference estimated in step S210 to the pose of the key frame stored in the map DB 160 (S212).
  • step S212 the position/orientation of the photographing unit 110 at the time of photographing the current frame on the preliminary map is obtained.
  • the information accumulated in the map DB 160 during the Visual SLAM process can be reused as a preliminary map in the SLAM process that will be performed separately later.
  • Support information output control >> Next, output control of support information according to this embodiment will be described in detail.
  • one of the characteristics of the output control unit 150 according to the present embodiment is to control the output of support information that more effectively and efficiently supports exhaustive sensing in a predetermined space.
  • the information processing device 10 which is a mobile device such as a smartphone, will be described as a main example.
  • the advance map generated based on the image captured by the information processing device 10 may be used for processing such as SLAM by the information processing device 10, or may be used for processing such as SLAM by another device. good too.
  • the imaging unit used to implement SLAM is mounted on a relatively large device such as a car or robot, it may be difficult to handle for pre-map creation due to its size.
  • FIG. 4 is a diagram for explaining output control of support information according to this embodiment.
  • FIG. 4 shows a situation in which the user U10 takes an image using the information processing device 10, which is a mobile device, in a predetermined space E10, and an example of support information displayed on the display unit 155 of the information processing device 10 in this situation. is shown.
  • the user U10 uses the imaging unit 110 of the information processing device 10 to capture images while moving within the predetermined space E10 in order to generate a preliminary map for the predetermined space E10.
  • the output control unit 150 may be displayed on the display unit 155 in real time.
  • the support information according to the present embodiment may include information regarding the sensor position and orientation when the acquired sensing information was acquired, the current sensor position and orientation, detected feature points, and the like.
  • the user U10 can check the above-described support information to grasp the direction in which landmarks are lacking, and the like, thereby making subsequent photography more effective and efficient. can be done systematically.
  • the user U10 can intuitively determine the direction in which the image should be captured even if given the information about the position/orientation of the image capturing unit 110 and the position of the landmark when the key frame was captured. It is assumed that it is difficult to grasp
  • the output control unit 150 controls the output of the support information based on the coverage ratio of the acquired sensing information calculated based on the positional relationship between the feature points and the reference points.
  • the output control unit 150 controls the display of the message M1 indicating the value of the coverage rate and the graphical reflection of the coverage rate on the sphere S10 centered on the reference point R10. .
  • the user U10 can confirm the change (increase) in the coverage rate from the display as described above, and can make the shooting work more efficient by shooting so that the coverage rate increases significantly.
  • the support information according to the present embodiment may include information related to the recommended direction of sensing.
  • the output control unit 150 controls the display of the object O4 indicating the recommended sensing direction and the display of the message M2 linguistically explaining the recommended sensing direction.
  • the coverage calculation unit 145 calculates the coverage based on the positional relationship between feature points such as landmarks and designated reference points.
  • FIG. 5 is a diagram for explaining designation of a reference point according to this embodiment. Note that FIG. 5 illustrates a case where the display unit 155 is provided as a touch panel.
  • the user U10 moves the finger F10 or the like while viewing the object O2 indicating the position/orientation of the imaging unit 110 when the keyframe was captured, the object O3 indicating the position of the landmark linked to the keyframe, or the like. can be used to specify the reference point R10 at an arbitrary position. Further, the user U10 may arbitrarily specify the size of the sphere S10 centered on the reference point R10.
  • the reference point R10 and the sphere S10 do not necessarily have to be specified by the user U10, and may be automatically set by the coverage calculation unit 145 based on the distribution of keyframes and landmarks.
  • the coverage calculation unit 145 calculates the intersection of the spherical surface of the sphere S10 centered at the reference point R10 (or the circumference of the circle centered at the reference point R10) and the feature points such as landmarks and the straight line connecting the reference point R10. Calculate the coverage rate based on
  • the coverage calculation unit 145 calculates the coverage area on the spherical surface of the sphere S10 (or on the circumference of the circle) formed by the plurality of intersections related to the plurality of feature points, using the acquired sensing
  • the coverage rate may be calculated by obtaining for each sensor position and sensor orientation when information is acquired.
  • FIG. 6 is a diagram for explaining the calculation of the coverage ratio based on the coverage area according to this embodiment.
  • the coverage rate calculation unit 145 selects one key frame from among a plurality of key frames.
  • the coverage calculation unit 145 draws a straight line connecting each landmark included in the angle of view and the reference point R10 in the position/orientation of the imaging unit when the selected key frame was shot. At this time, a plurality of intersections with the straight lines are formed on the spherical surface of the sphere S10.
  • the coverage calculation unit 145 may set the area defined by the intersection closest to the end of the angle of view among the plurality of intersections as the cover area (indicated by diagonal lines).
  • the coverage calculation unit 145 repeatedly executes the above processing for each keyframe, and sets the sum of the coverage areas obtained in each keyframe as the total coverage area of the current map.
  • the coverage calculation unit 145 obtains the cover area for each key frame photographed in the position/orientation of the photographing unit 110 indicated by each of the objects O2 A to O2 E , and sums the obtained cover areas. is the total coverage area.
  • the output control unit 150 may control the display of support information based on the cover area.
  • the coverage calculation unit 145 can calculate the coverage by obtaining the ratio of the total coverage area to the surface area of the sphere S10 (perimeter in the case of a circle).
  • FIG. 7 is a diagram for explaining the calculation of the recommended sensing direction according to the present embodiment.
  • FIG. 7 shows an example of the cover area (hatched) in the sphere S10.
  • the coverage calculation unit 145 may calculate the recommended sensing direction based on the coverage area.
  • the coverage calculation unit 145 obtains a non-cover area (white background), which is an area that does not correspond to the cover area on the spherical surface of the sphere S10. Note that when obtaining the center of gravity C10 of the non-covered area, if the surface area of the non-covered area sandwiched between the covered areas is equal to or less than a predetermined value, the coverage calculation unit 145 ignores the non-covered area and obtains the center of gravity C10. good too. Further, when the non-cover area is divided into a plurality of areas, the coverage ratio calculation unit 145 may target only the largest non-cover area.
  • the coverage calculation unit 145 obtains the center of gravity C10 of the non-covered area on the spherical surface of the sphere S10, and calculates the recommended sensing direction based on the center of gravity C10.
  • the coverage calculation unit 145 may set the direction in which the center of gravity C10 of the non-covered area exists when viewed from the reference point R10 as the recommended sensing direction.
  • the coverage area, coverage ratio, and recommended sensing direction according to the present embodiment change each time the number of images (key frames) captured by the user U10 using the imaging unit 110 increases.
  • the coverage calculation unit 145 recalculates the coverage area, the coverage ratio, and the recommended sensing direction each time a key frame is added, and the output control unit 150 controls the recalculated coverage area, coverage ratio, and sensing direction. output control of the support information may be performed based on the recommended direction of
  • FIG. 8 is a diagram for explaining the recalculation of the coverage area, coverage ratio, and recommended sensing direction based on the addition of key frames according to the present embodiment.
  • FIG. 8 the situation shown on the left side of the figure is changed to the situation where a key frame photographed at the position/orientation of the photographing unit 110 indicated by objects O2 F and O2 G is added as shown on the right side of the figure. are exemplified.
  • the coverage calculation unit 145 recalculates the cover area based on landmarks and the like associated with the key frames captured at the position/orientation of the imaging unit 110 indicated by the objects O2F and O2G .
  • the coverage calculation unit 145 recalculates the coverage based on the recalculated coverage area.
  • the coverage calculation unit 145 also obtains the center of gravity C10 of the non-covered area based on the recalculated covered area, and recalculates the recommended sensing direction based on the newly obtained center of gravity C10.
  • the output control unit 150 may update the support information to be displayed on the display unit 155 each time the coverage area, coverage ratio, and recommended sensing direction are recalculated.
  • the user U10 can always grasp the latest information and perform the shooting work effectively and efficiently.
  • the coverage area, coverage ratio, and recommended direction of sensing according to this embodiment also change depending on the position change of the reference point.
  • the coverage calculation unit 145 recalculates the coverage area, the coverage ratio, and the recommended sensing direction based on the change in the reference point, and the output control unit 150 controls the recalculated coverage area, coverage ratio, and sensing direction. Output control of the support information may be performed based on the recommended direction.
  • FIG. 9 is a diagram for explaining the recalculation of the coverage area, coverage ratio, and recommended sensing direction based on the position change of the reference point according to the present embodiment.
  • the left side of FIG. 9 shows a situation in which the user U10 uses the finger F10 or the like to change the position of the reference point R10.
  • the coverage calculation unit 145 recalculates the coverage area, coverage, and recommended sensing direction based on the reference point R10 whose position has been changed, as shown on the right side of FIG.
  • the output control unit 150 updates the support information to be displayed on the display unit 155 based on the recalculated coverage area, coverage rate, and recommended sensing direction.
  • the position of the reference point according to this embodiment can be changed arbitrarily, and the support information is updated based on the position change of the reference point.
  • FIG. 10 is a diagram for explaining specification of an invalid area according to the present embodiment and calculation of a cover area, a coverage ratio, and a recommended sensing direction based on the invalid area.
  • FIG. 10 shows a situation in which the user U10 designates the invalid area I10 on the spherical surface of the sphere S10 using the finger F10 or the like.
  • the invalid area I10 may be an area determined not to require sensing in the predetermined space E10.
  • the user U10 may be able to specify, for example, an area where the sky is open outdoors, an area where a dynamic subject is always included, or the like, as an invalid area.
  • the coverage calculation unit 145 calculates the coverage area, the coverage ratio, and the recommended sensing direction based on the invalid area I10, as shown in the lower part of FIG.
  • the coverage calculation unit 145 can calculate the coverage by calculating the ratio of the total coverage area to the area excluding the invalid area I10 from the surface of the sphere S10. Also, the coverage calculation unit 145 calculates the center of gravity C10 without including the invalid area I10 in the non-cover area.
  • the coverage calculation unit 145 calculates the coverage area, the coverage rate, and the recommended sensing direction when the invalid area I10 is newly specified, updated, or deleted.
  • FIG. 11 is a flowchart showing an example of the flow of support information output control according to this embodiment.
  • the user designates a reference point and an invalid area (S302).
  • the reference point may be automatically set by the coverage calculator 145 .
  • the user may specify a reference point or the like after shooting to some extent.
  • the coverage calculation unit 145 calculates the coverage area and coverage based on the reference point and invalid area specified in step S302 (S304).
  • the information processing apparatus 10 may terminate the process related to output control of support information.
  • step S304 determines whether the coverage calculated in step S304 does not reach the predetermined coverage (S306: No).
  • the coverage calculation unit 145 calculates the recommended sensing direction (S308).
  • the output control unit 150 controls the output of support information based on the coverage area and coverage ratio calculated in step S304, the recommended sensing direction calculated in step S308, and the like (S310).
  • the output control unit 150 may also perform control such as audio output.
  • the coverage calculation unit 145 determines whether or not a new keyframe has been added (S312).
  • the output control unit 150 continues output control of the support information.
  • the coverage calculation unit 145 determines that a new key frame has been added (S312: Yes), it returns to step S304 and recalculates the coverage area and coverage.
  • the main example is the control when supporting sensing by the user.
  • the sensing according to this embodiment may be performed by a device such as a robot.
  • the support information according to this embodiment may assist sensing performed by a device such as a robot.
  • a device such as a robot may perform operations such as sensing based on the recommended direction given from the information processing device 10 .
  • the support information according to the present embodiment may be either two-dimensional display or three-dimensional display.
  • the output control unit 150 according to the present embodiment may perform control such as AR display of the support information.
  • processing that uses sensing information related to the real environment is not limited to SLAM. Determining comprehensiveness of sensing information in a real environment and output control related to guidance for improvement thereof can be widely applied to technologies that require comprehensive sensing in a predetermined space. Techniques such as those described above include, for example, generation of a 360-degree panorama photograph in all directions, up, down, left, and right.
  • the output control of support information according to this embodiment can be flexibly modified.
  • FIG. 12 is a block diagram showing a hardware configuration example of an information processing device 90 according to an embodiment of the present disclosure.
  • the information processing device 90 may be a device having a hardware configuration equivalent to that of the information processing device 10 .
  • the information processing device 90 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device. 879 , a storage 880 , a drive 881 , a connection port 882 and a communication device 883 .
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, it may further include components other than the components shown here.
  • the processor 871 functions as, for example, an arithmetic processing device or a control device, and controls the overall operation of each component or a part thereof based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable storage medium 901. .
  • the ROM 872 is means for storing programs to be read into the processor 871, data used for calculation, and the like.
  • the RAM 873 temporarily or permanently stores, for example, programs to be read into the processor 871 and various parameters that change appropriately when the programs are executed.
  • the processor 871, ROM 872, and RAM 873 are interconnected via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected, for example, via a bridge 875 to an external bus 876 with a relatively low data transmission speed.
  • External bus 876 is also connected to various components via interface 877 .
  • the input device 878 for example, a mouse, keyboard, touch panel, button, switch, lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting control signals using infrared rays or other radio waves may be used.
  • the input device 878 also includes a voice input device such as a microphone.
  • the output device 879 is, for example, a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker, headphones, a printer, a mobile phone, a facsimile, or the like, and outputs the acquired information to the user. It is a device capable of visually or audibly notifying Output devices 879 according to the present disclosure also include various vibration devices capable of outputting tactile stimuli.
  • Storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is, for example, a device that reads information recorded on a removable storage medium 901 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, or writes information to the removable storage medium 901 .
  • a removable storage medium 901 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory
  • the removable storage medium 901 is, for example, DVD media, Blu-ray (registered trademark) media, HD DVD media, various semiconductor storage media, and the like.
  • the removable storage medium 901 may be, for example, an IC card equipped with a contactless IC chip, an electronic device, or the like.
  • connection port 882 is, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or a port for connecting an external connection device 902 such as an optical audio terminal. be.
  • USB Universal Serial Bus
  • IEEE1394 Serial Bus
  • SCSI Serial Computer System Interface
  • RS-232C Serial Bus
  • an external connection device 902 such as an optical audio terminal.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication device 883 is a communication device for connecting to a network. subscriber line) or a modem for various communications.
  • the program according to the present embodiment causes a computer to realize an output control function that controls the output of support information that supports exhaustive sensing in a predetermined space.
  • One of the characteristics is that the output control of the support information is performed based on the positional relationship between the feature point detected from the sensing information already processed and the set reference point.
  • each step related to the processing described in the present disclosure does not necessarily have to be processed in chronological order according to the order described in the flowcharts and sequence diagrams.
  • each step involved in the processing of each device may be processed in an order different from that described, or may be processed in parallel.
  • a series of processes by each device described in the present disclosure may be realized by a program stored in a computer-readable non-transitory storage medium (non-transitory computer readable storage medium).
  • a program for example, is read into a RAM when executed by a computer, and executed by a processor such as a CPU.
  • the storage medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above program may be distributed, for example, via a network without using a storage medium.
  • the computer an output control unit that controls the output of support information that supports exhaustive sensing in a given space; with The output control unit controls the output of the support information based on the positional relationship between the feature points detected from the acquired sensing information and the set reference points.
  • information processing equipment A program that acts as a
  • the output control unit controls the output of the support information based on a coverage ratio related to the acquired sensing information, which is calculated based on the positional relationship between the feature point and the reference point.
  • the coverage rate is calculated based on the intersection of the spherical surface of the sphere centered at the reference point or the circumference of the circle centered at the reference point and the straight line connecting the feature point and the reference point.
  • the coverage rate is defined as the coverage area on the spherical surface or on the circumference formed by the plurality of intersections associated with the plurality of feature points, and the sensor position and sensor orientation when the acquired sensing information is acquired. It is calculated by asking for each The program according to (3) above.
  • the output control unit controls output of the support information based on the cover area.
  • the support information includes information on a recommended direction for newly performed sensing, wherein the recommended direction is calculated based on the coverage area; The program according to (5) above. (7) The recommended direction is calculated based on the center of gravity of the non-covered area on the spherical surface or on the circumference, The program according to (6) above. (8) The coverage rate is recalculated based on the newly acquired feature points, The program according to any one of (2) to (7) above. (9) The coverage rate is recalculated based on the position change of the reference point. The program according to any one of (2) to (8) above. (10) The coverage rate is calculated based on the specified invalid area, The program according to any one of (2) to (9) above.
  • the support information includes the coverage rate, The program according to any one of (2) to (10) above.
  • the support information includes information about the feature points, the sensor position and the sensor orientation when the acquired sensing information is acquired, The program according to any one of (4) to (7) above.
  • the information processing device is a coverage calculation unit that calculates the coverage; further comprising The program according to any one of (2) to (12) above.
  • the sensing information includes image information, The program according to any one of (1) to (13) above.
  • the sensing information is used for SLAM, The program according to any one of (1) to (14) above.
  • the information processing device is a sensor unit that acquires the sensing information; further comprising The program according to any one of (1) to (15) above.
  • the information processing device is a display unit that displays the support information under the control of the output control unit; further comprising The program according to any one of (1) to (16) above.
  • the information processing device is a mobile device, The program according to any one of (1) to (17) above.
  • an output control unit that controls the output of support information that supports exhaustive sensing in a given space; with The output control unit controls the output of the support information based on the positional relationship between the feature points detected from the acquired sensing information and the set reference points.
  • Information processing equipment is a display unit that displays the support information under the control of the output control unit; further comprising The program according to any one of (1) to (16) above.
  • the information processing device is a mobile device, The program according to any one of (1) to (17) above.
  • an output control unit that controls the output of support information that supports exhaustive sensing in a given space; with The output control unit controls the output of the support information based on the positional relationship between the feature points detected from the acquired sensing information and the set reference points.
  • the processor including controlling the output of supporting information that supports comprehensive sensing in a given space; Controlling the output of the support information includes controlling the output of the support information based on the positional relationship between the feature point detected from the acquired sensing information and the set reference point; further comprising Information processing methods.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】所定の空間における網羅的なセンシングをより効果的かつより効率的に支援する。 【解決手段】コンピュータを、所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御部、を備え、前記出力制御部は、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行う、情報処理装置、として機能させるプログラムが提供される。

Description

プログラム、情報処理装置、および情報処理方法
　本開示は、プログラム、情報処理装置、および情報処理方法に関する。
　近年、環境中において取得したセンシング情報に基づく制御を行う技術が開発されている。上記のような技術では、取得されたセンシング情報、当該センシング情報から検出された特徴点等が十分ではない場合、制御の精度が低下する可能性がある。
　上記のような情報の不足を改善する策として、例えば、特許文献１には、ユーザに対し追加のセンシングを要求する通知を行う技術が開示されている。
特開２０１４－５９７３７号公報
　しかし、特許文献１に開示される技術は、追加センシングの要求に留まっており、効率的、効果的なセンシングを支援する技術として十分とは言い難い。
　本開示のある観点によれば、コンピュータを、所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御部、を備え、前記出力制御部は、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行う、情報処理装置、として機能させるプログラムが提供される。
　また、本開示の別の観点によれば、所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御部、を備え、前記出力制御部は、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行う、情報処理装置が提供される。
　また、本開示の別の観点によれば、プロセッサが、所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御することを含み、前記サポート情報の出力を制御することは、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行うこと、をさらに含む、情報処理方法が提供される。
本開示の一実施形態に係る情報処理装置１０の構成例を示すブロック図である。 同実施形態に係るＶｉｓｕａｌ　ＳＬＡＭの流れの一例を示すフローチャートである。 同実施形態に係る事前地図を用いた位置推定の流れの一例を示すフローチャートである。 同実施形態に係るサポート情報の出力制御について説明するための図である。 同実施形態に係る基準点の指定について説明するための図である。 同実施形態に係るカバー領域に基づくカバー率の算出について説明するための図である。 同実施形態に係るセンシングの推奨方向の算出について説明するための図である。 同実施形態に係るキーフレームの追加に基づくカバー領域、カバー率、センシングの推奨方向の再算出について説明するための図である。 同実施形態に係る基準点の位置変更に基づくカバー領域、カバー率、センシングの推奨方向の再算出について説明するための図である。 同実施形態に係る無効領域の指定と、当該無効領域に基づくカバー領域、カバー率、センシングの推奨方向の算出について説明するための図である。 同実施形態に係るサポート情報の出力制御の流れの一例を示すフローチャートである。 同実施形態に係る情報処理装置９０のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．概要
　　１．２．構成例
　　１．３．Ｖｉｓｕａｌ　ＳＬＡＭの流れ
　　１．４．事前地図を用いた位置推定の流れ
　　１．５．サポート情報の出力制御
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．概要＞＞
　まず、本開示の一実施形態の概要について述べる。上述したように、センサにより取得されたセンシング情報に基づく制御を行う場合、センシング情報、当該センシング情報から検出された特徴点等の量は、制御の精度に大きく影響する。
　センシング情報に基づく制御の例としては、例えば、センシング情報に基づき位置・姿勢、動き等を推定するＳＬＡＭ（Simultaneous Localization and Mapping）が挙げられる。
　また、ＳＬＡＭに用いられるセンサとしては、ＬＩＤＡＲ（Light Detection and Ranging）や、撮像センサが挙げられる。
　ＳＬＡＭは、原理的には地図のない未知の空間（環境）でも可能であるが、例えば、以下のような目的で事前に作成された地図（以下、事前地図、と称する）を用いる場合もある。
　　　・累積誤差を抑制するため
　　　・途中で位置を求められずポーズの累積ができなくなった状態から復帰するため
　　　・事前に定められた座標系上の位置を求めるため
　上記のような目的を達成するためには、事前地図の作成に用いられたセンシング情報とＳＬＡＭ実行時に取得したセンシング情報とのマッチングを行うことが求められる。
　このため、より精度の良い制御を実現するためには、所定の空間を網羅的にセンシングすること（所定の空間においてセンシングが行われていない方向、領域等をなくすこと）が重要となる。
　しかし、一般的に、屋外等の開放的な空間では、上記のようなセンシングに係る網羅性を定量化することが困難であり、また、網羅的な地図を作成できたか否かの判定も困難である。
　さらには、地図が網羅的ではない、すなわち地図に欠けがあると判断可能な場合であっても、当該欠けを補うための手法が不明または曖昧である場合、網羅的な地図を作成することが困難である。
　本開示の一実施形態に係る技術思想は上記のような点に着目して発想されたものであり、所定の空間における網羅的なセンシングをより効果的かつより効率的に支援するものである。
　上記を実現するために、本開示の一実施形態に係るプログラムは、コンピュータに所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御機能を実現させ、また、当該出力制御機能に、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、サポート情報の出力制御を行わせる、ことを特徴の一つとする。
　以下、上記の特徴を実現する装置の構成、制御等について詳細に説明する。
　なお、以下では、センシング情報に基づく制御の例としてＳＬＡＭ、特に撮影された画像に基づく制御を行うＶｉｓｕａｌ　ＳＬＡＭを主な例として説明する。
　しかし、本実施形態に係るセンシング情報に基づく技術は、ＳＬＡＭに限定されるものではない。また、本実施形態に係るセンシング情報は画像に限定されるものではない。
　本実施形態に係る技術は、空間における網羅的センシングが重要となる技術に広く適用可能である。
　＜＜１．２．構成例＞＞
　次に、本実施形態に係る情報処理装置１０の構成例について述べる。図１は、本実施形態に係る情報処理装置１０の構成例を示すブロック図である。
　図１に示すように、本実施形態に係る情報処理装置１０は、撮影部１１０、特徴点検出部１１５、マッチング部１２０、距離推定部１２５、ポーズ差分推定部１３０、ポーズ差分積み上げ部１３５、キーフレーム検索部１４０、カバー率算出部１４５、出力制御部１５０、表示部１５５、地図ＤＢ１６０を備えてもよい。
　なお、上記各構成が有する機能の詳細については別途説明する。
　また、図１に示す情報処理装置１０の構成はあくまで一例であり、本実施形態に係る情報処理装置１０の構成はかかる例に限定されるものではない。
　例えば、撮影部１１０は、センシング情報が画像である場合におけるセンサ部の一例である。このため、センシング情報に他の情報が用いられる場合においては、情報処理装置１０は、撮影部１１０に代えてあるいは加えて対応するセンシング情報を取得するための構成を備えてよい。
　また、例えば、本実施形態に係る情報処理装置１０は、ユーザによる操作を受け付ける操作部、音声を出力する音声出力部などをさらに備えてもよい。
　さらには、図１に示す各構成は、必ずしも単一の装置に具備されなくてもよい。例えば、情報処理装置１０は、図１に示す構成のうち撮影部１１０、出力制御部１５０、および表示部１５５を備え、他の構成を備える情報処理サーバとの通信を行うことで、後述する出力制御を行ってもよい。
　本実施形態に係る情報処理装置１０の構成、情報処理装置１０を含むシステムの構成は、仕様、運用等に応じて柔軟に変形可能である。
　＜＜１．３．Ｖｉｓｕａｌ　ＳＬＡＭの流れ＞＞
　次に、本実施形態に係るＶｉｓｕａｌ　ＳＬＡＭの流れについて説明する。図２は、本実施形態に係るＶｉｓｕａｌ　ＳＬＡＭの流れの一例を示すフローチャートである。
　図２に示す一例の場合、まず、撮影部１１０が所定の空間において画像を撮影する（Ｓ１０２）。
　ステップＳ１０２において撮影される画像は、本実施形態に係るセンシング情報の一例である。
　なお、本実施形態に係る情報処理装置１０は、画像に加えて、ＩＭＵ（Inertial Measurement Unit）、コンパス、ＴｏＦ（Time Of Flight）センサ、ＧＮＳＳ（Global Navigation Satellite System）、無線通信装置などを用いてさらなるセンシング情報を取得してもよい。
　ステップＳ１０２において撮影された画像は、必要に応じて、光学歪みの補正、ゲイン調整等の処理が施され、特徴点検出部１１５に入力される。
　特徴点検出部１１５は、ステップＳ１０２において撮影された画像から自己位置推定に利用可能な特徴点を検出し、検出した特徴点の特徴量を記述する（Ｓ１０４）。
　ここで、画像から検出される特徴点は、典型的には、コントラストが高く、周囲に類似する構造が見当たらない模様等である。特徴点は、そのユニークさにより一意にマッチンが可能なことが望まれる。
　特徴点検出部１１５により検出された特徴点に係る画像上の２次元座標および特徴量は、地図ＤＢ１６０に記憶される。
　次に、マッチング部１２０による動きマッチングが行われる（Ｓ１０６）。
　具体的には、時系列に２つの画像（以下、直近に撮影された画像を現在フレーム、現在フレームより以前に撮影された画像を過去フレーム、と称する）が得られた場合、マッチング部１２０は、地図ＤＢ１６０に記憶される過去フレームから検出された特徴点に関する情報、に基づき、現在フレームにおいて当該特徴点に対応する点（対応点）をマッチングにより探索する。
　ここで対応する点が見つかった場合、過去フレームおよび現在フレームのそれぞれの視点（撮影部１１０の位置および姿勢）から同一の物（点）が見えたこととなり、画像上における位置の違いは、撮影部１１０の位置および姿勢の変化によるものと見做すことができる。
　このため、上記２つの視点間における点の２次元座標の変化、撮影部１１０の位置および姿勢の変化（以下、ポーズ差分、と称する）が分かれば、移動視差（撮影部１１０の移動により生じる視差）に基づく三角測量により距離を推定することが可能である。
　そこで、本実施形態に係る距離推定部１２５は、距離推定により各特徴点の３次元座標を求め、取得した各特徴量の３次元座標を地図ＤＢ１６０に記憶させる（Ｓ１０８）。
　また、本実施形態に係るポーズ差分推定部１３０は、地図ＤＢ１６０に記憶される過去フレームにおける各特徴点の３次元座標と、マッチング部１２０により求められた現在フレーム上の対応点の２次元情報とに基づき、過去フレームおよび現在フレーム間におけるポーズ差分を推定する（Ｓ１０８）。
　３次元空間上の点群（３次元座標）と、当該点群に対応する（すなわち，３次元空間上の点群を投影した）２次元平面上の点群（２次元座標）とが与えられたとき、投影平面に相当する位置・姿勢（すなわち、撮影部１１０の位置・姿勢）は、各特徴点を２次元平面に投影したときの画像上の誤差をコストとした最小化問題を解くことにより求めることができる。
　ポーズ差分推定部１３０により求められたポーズ差分は、距離推定部１２５に入力され、移動視差に基づく距離推定を行う際の２視点間の位置・姿勢の変化として用いられる。
　また、ポーズ差分積み上げ部１３５は、ポーズ差分推定部１３０により求められたポーズ差分の積み上げを行う（Ｓ１１０）。
　ステップＳ１１０におけるポーズ差分の積み上げにより開始点から累積したポーズを求めることが可能となる。当該ポーズは、地図ＤＢ１６０に記憶され、キーフレームのポーズとして利用される。
　なお、地図ＤＢ１６０に記憶される過去フレームにおける特徴点情報（特徴点の２次元座標および３次元座標、特徴量）、過去フレーム撮影時における撮影部１１０の位置・姿勢は、再利用可能な事前地図として機能する。
　また、本開示においては、上記過去フレームをキーフレーム、当該キーフレームに紐づけられた各特徴点をランドマーク、とも称する。
　＜＜１．４．事前地図を用いた位置推定の流れ＞＞
　次に、本実施形態に係る事前地図を用いた位置推定の流れについて説明する。図３は、本実施形態に係る事前地図を用いた位置推定の流れの一例を示すフローチャートである。
　図３に示すステップＳ２０２における画像撮影およびステップＳ２０４における特徴点検出については、それぞれ図２に示すステップＳ１０２における処理およびステップＳ１０４における処理と実質的に同一であってよいため、詳細な説明は省略する。
　ステップＳ２０４における特徴点検出の後、キーフレーム検索部１４０は、ステップＳ２０４において検出された各特徴点の２次元座標と特徴量とに基づき、地図ＤＢ１６０からキーフレームを検索するためのクエリを作成し、検索を行う（Ｓ２０６）。
　ステップＳ２０６における検索により、クエリに最も類似するキーフレームが選択され、当該キーフレームにおける各ランドマークの２次元座標および特徴量がマッチング部１２０に入力される。
　マッチング部１２０は、入力された上記の情報に基づき動きマッチングを行い、現在フレームにおける対応点の２次元座標を求める（Ｓ２０８）。
　また、ポーズ差分推定部１３０は、ステップＳ２０６において選択されたキーフレームにおける各ランドマークの３次元座標、およびステップＳ２０８において求められた対応点の２次元座標に基づいて、ポーズ差分を推定する（Ｓ２１０）。
　ステップＳ２１０において推定されるポーズ差分は、キーフレームから現在フレームまでの撮影部１１０の位置・姿勢の変化を表す。
　次に、ポーズ差分積み上げ部１３５は、地図ＤＢ１６０に記憶されるキーフレームのポーズに、ステップＳ２１０において推定されたポーズ差分の積み上げを行う（Ｓ２１２）。
　ステップＳ２１２における処理により、事前地図上における現在フレーム撮影時の撮影部１１０の位置・姿勢が求まることとなる。
　以上説明したように、Ｖｉｓｕａｌ　ＳＬＡＭの処理過程で地図ＤＢ１６０に蓄積された情報は、後に別途行われるＳＬＡＭ処理において事前地図として再利用することが可能である。
　なお、２フレーム間のポーズ差分の積み上げは、時間の経過とともに（積み上げるほどに）誤差も累積されることとなる。これに対し、上述したような事前地図を用いることによりキーフレームからの撮影部１１０の位置・姿勢の変化を取得可能となるため、累積誤差の影響を排除することが可能となる。
　また、途中でポーズ差分が求まらないフレームが生じると、積み上げができなくなってしまう。この場合も、事前地図を用いることで、キーフレーム撮影時の撮影部１１０の位置・姿勢から積み上げを再開することが可能である。
　加えて、ロケーションベースＶＲ／ＡＲのような用途では、ある決まった位置にＣＧオブジェクトを配置したいという要求がある。このような要求に関し、開始点からの累積ポーズを用いる場合、開始点を揃えないと毎回位置が変わってしまうこととなる。一方、上述したような事前地図を用いる場合、どのような開始点から始めても同じ地図上の位置・姿勢に揃えることができ、ユーザから見た同じ位置にオブジェクトを表示できるようになる。
　＜＜１．５．サポート情報の出力制御＞＞
　次に、本実施形態に係るサポート情報の出力制御について詳細に説明する。
　上述したように、事前地図によれば、自己位置推定等をより高精度に実現することが可能である。しかし、事前地図の生成に用いられるセンシング情報が網羅的に取得されていない場合、高い効果を発揮できない。
　そこで、本実施形態に係る出力制御部１５０は、所定の空間における網羅的なセンシングをより効果的かつより効率的に支援するサポート情報の出力を制御することを特徴の一つとする。
　以下では、ユーザがスマートフォン等のモバイル機器である情報処理装置１０を用いて事前地図作成のための画像を撮影する場合を主な例として説明する。
　なお、情報処理装置１０により撮影された画像に基づき生成される事前地図は、同情報処理装置１０によるＳＬＡＭ等の処理に用いられてもよいし、別の装置によるＳＬＡＭ等の処理に用いられてもよい。
　例えば、ＳＬＡＭを実現するために用いられる撮影部が自動車やロボット等の比較的大きな装置に搭載される場合、その大きさにより事前地図作成のための取り回しが困難な場合も想定される。
　上記のような場合であっても、以下に示すように情報処理装置１０を用いて事前地図を生成することにより、より精度の高いＳＬＡＭを実現することが可能となる。
　図４は、本実施形態に係るサポート情報の出力制御について説明するための図である。図４には、所定の空間Ｅ１０においてユーザＵ１０がモバイル機器である情報処理装置１０を用いて画像を撮影する状況、および当該状況において情報処理装置１０の表示部１５５に表示されるサポート情報の例が示される。
　ユーザＵ１０は、所定の空間Ｅ１０に係る事前地図を生成するために、所定の空間Ｅ１０内を移動しながら情報処理装置１０の撮影部１１０を用いて撮影を行う。
　この際、情報処理装置１０が備える各構成により、上述したように、キーフレーム、ランドマーク、撮影部１１０の位置・姿勢等に係る情報が取得され、地図ＤＢ１６０に記憶される。
　この際、本実施形態に係る出力制御部１５０は、図４に示すように、現在の撮影部１１０の位置・姿勢、画角を示すオブジェクトＯ１、キーフレームを撮影した際の撮影部１１０の位置・姿勢を示すオブジェクトＯ２、キーフレームに紐づいたランドマークの位置を示すオブジェクトＯ３等を表示部１５５にリアルタイムに表示させてもよい。
　このように、本実施形態に係るサポート情報は、取得済みのセンシング情報を取得した際のセンサ位置および姿勢、現在のセンサ位置および姿勢、検出済みの特徴点などに関する情報を含んでもよい。
　ユーザＵ１０がＳＬＡＭに関する知識を有する場合、ユーザＵ１０は、上記のようなサポート情報を確認することにより、ランドマークが不足している方向等を把握することができ、続く撮影をより効果的かつ効率的に行うことができる。
　一方、ユーザＵ１０がＳＬＡＭに関する知識に乏しい場合、ユーザＵ１０は、キーフレームを撮影した際の撮影部１１０の位置・姿勢、ランドマークの位置の情報を与えられても、撮影すべき方向を直感的に把握することが難しいことが想定される。
　このため、本実施形態に係る出力制御部１５０は、特徴点と基準点との位置関係に基づき算出された、取得済みのセンシング情報に係るカバー率、に基づいて、サポート情報の出力を制御してもよい。
　図４に示す一例の場合、出力制御部１５０は、上記カバー率の値を示すメッセージＭ１の表示、および基準点Ｒ１０を中心とする球Ｓ１０への上記カバー率のグラフィカルな反映を制御している。
　ユーザＵ１０は、上記のような表示によりカバー率の変化（上昇）を確認することができ、カバー率がより大きく上昇するように撮影を行うことで、撮影作業を効率化できる。
　また、本実施形態に係るサポート情報は、センシングの推奨方向に係る情報を含んでもよい。
　図４に示す一例の場合、出力制御部１５０は、センシングの推奨方向を示すオブジェクトＯ４の表示、およびセンシングの推奨方向を言語的に説明するメッセージＭ２の表示を制御している。
　上記のような表示によれば、ユーザＵ１０がＳＬＡＭに関する知識をまったく有していない場合であっても、提示された推奨方向を撮影することで、質の良い事前地図を作成することが可能となる。
　以下、本実施形態に係るカバー率算出部１４５によるカバー率の算出について詳細に説明する。
　本実施形態に係るカバー率算出部１４５は、ランドマーク等の特徴点と指定された基準点との位置関係に基づいてカバー率を算出する。
　図５は、本実施形態に係る基準点の指定について説明するための図である。なお、図５においては、表示部１５５がタッチパネルとして具備される場合が例示される。
　この場合、ユーザＵ１０は、キーフレームを撮影した際の撮影部１１０の位置・姿勢を示すオブジェクトＯ２、キーフレームに紐づいたランドマークの位置を示すオブジェクトＯ３等を視認しながら、指Ｆ１０等を用いて任意の位置に基準点Ｒ１０を指定できてよい。また、ユーザＵ１０は、基準点Ｒ１０を中心とする球Ｓ１０の大きさを任意に指定できてもよい。
　なお、基準点Ｒ１０および球Ｓ１０は、必ずしもユーザＵ１０が指定しなくてもよく、カバー率算出部１４５がキーフレームやランドマークの分布等に基づいて自動で設定してもよい。
　カバー率算出部１４５は、基準点Ｒ１０を中心とする球Ｓ１０の球面（または基準点Ｒ１０を中心とする円の円周）と、ランドマーク等の特徴点および基準点Ｒ１０を結ぶ直線との交差点に基づき、カバー率を算出する。
　より具体的には、カバー率算出部１４５は、複数の特徴点に係る複数の上記交差点により形成される、球Ｓ１０の球面上（または円の円周上）におけるカバー領域を、取得済みのセンシング情報を取得した際のセンサ位置およびセンサ姿勢ごとに求めることにより、カバー率を算出してもよい。
　図６は、本実施形態に係るカバー領域に基づくカバー率の算出について説明するための図である。
　カバー率の算出において、カバー率算出部１４５は、複数存在するキーフレームのうちある１つのキーフレームを選択する。
　次に、カバー率算出部１４５は、選択したキーフレームを撮影した際の撮影部の位置・姿勢において画角に含まれる各ランドマークと基準点Ｒ１０とを結ぶ直線を引く。この際、球Ｓ１０の球面には、上記直線との交差点が複数形成される。
　本実施形態に係るカバー率算出部１４５は、上記複数の交差点のうち最も画角の端側に存在する交差点により区切られる領域をカバー領域（斜線で示す）としてもよい。
　また、カバー率算出部１４５は、キーフレームごとに上記の処理を繰り返し実行し、各キーフレームにおいて得られたカバー領域の和を、現在の地図における総カバー領域とする。
　図６に示す一例の場合、カバー率算出部１４５は、オブジェクトＯ２Ａ～Ｏ２Ｅがそれぞれ示す撮影部１１０の位置・姿勢において撮影されたキーフレームごとにカバー領域を求め、求めたカバー領域の和により総カバー領域を求めている。
　なお、図４に示す球Ｓ１０には、上記のように求められた総カバー領域がグラフィカルに判定されている。このように、本実施形態に係る出力制御部１５０は、カバー領域に基づきサポート情報の表示を制御してもよい。
　また、カバー率算出部１４５は、球Ｓ１０の表面積（円の場合においては周長）に対する総カバー領域の割合を求めることで、カバー率を算出することが可能である。
　次に、本実施形態に係るセンシングの推奨方向の算出について詳細に説明する。
　図７は、本実施形態に係るセンシングの推奨方向の算出について説明するための図である。図７には、球Ｓ１０におけるカバー領域（斜線）の例が示される。
　本実施形態に係るカバー率算出部１４５は、カバー領域に基づきセンシングの推奨方向を算出してもよい。
　この場合、カバー率算出部１４５は、球Ｓ１０の球面においてカバー領域に該当しない領域である非カバー領域（白地）を求める。なお、非カバー領域の重心Ｃ１０を求める際、カバー率算出部１４５は、カバー領域に挟まれる非カバー領域の表面積が所定値以下である場合、当該非カバー領域を無視して重心Ｃ１０を求めてもよい。また、非カバー領域が複数に分断されている場合、カバー率算出部１４５は、最も面積の大きい非カバー領域のみを対象としてもよい。
　次に、カバー率算出部１４５は、球Ｓ１０の球面における非カバー領域の重心Ｃ１０を求め、重心Ｃ１０に基づきセンシングの推奨方向を算出する。
　より具体的には、カバー率算出部１４５は、基準点Ｒ１０から見て非カバー領域の重心Ｃ１０が存在する方向をセンシングの推奨方向としてもよい。
　上記のようなセンシングの推奨方向の算出によれば、ランドマークが不足する方向を明確に特定しユーザＵ１０に提示することが可能となる。
　次に、本実施形態に係るカバー領域、カバー率、センシングの推奨方向等に係る再算出について説明する。
　本実施形態に係るカバー領域、カバー率、センシングの推奨方向は、ユーザＵ１０が撮影部１１０を用いて撮影する画像（キーフレーム）が増加するごとに変化する。
　このため、カバー率算出部１４５は、キーフレームが追加される度にカバー領域、カバー率、センシングの推奨方向を再算出し、出力制御部１５０は、再算出されたカバー領域、カバー率、センシングの推奨方向に基づいてサポート情報の出力制御を行ってもよい。
　図８は、本実施形態に係るキーフレームの追加に基づくカバー領域、カバー率、センシングの推奨方向の再算出について説明するための図である。
　図８には、図中左側に示す状況から、図中右側に示すように、新たにオブジェクトＯ２ＦおよびＯ２Ｇにより示される撮影部１１０の位置・姿勢において撮影されたキーフレームが追加された状況が例示される。
　この場合、カバー率算出部１４５は、オブジェクトＯ２ＦおよびＯ２Ｇにより示される撮影部１１０の位置・姿勢において撮影されたキーフレームに紐づいたランドマーク等に基づきカバー領域を再算出する。
　また、カバー率算出部１４５は、再算出したカバー領域に基づきカバー率を再算出する。
　また、カバー率算出部１４５は、再算出したカバー領域に基づき非カバー領域の重心Ｃ１０を求め、新たに求めた重心Ｃ１０に基づいてセンシングの推奨方向を再算出する。
　出力制御部１５０は、カバー領域、カバー率、センシングの推奨方向が再算出されるごとに、表示部１５５に表示させるサポート情報を更新してよい。
　上記のような再算出、サポート情報の更新がリアルタイムに行われることにより、ユーザＵ１０は、常に最新の情報を把握し効果的かつ効率的に撮影作業を行うことができる。
　また、本実施形態に係るカバー領域、カバー率、センシングの推奨方向は、基準点の位置変更によっても変化する。
　このため、カバー率算出部１４５は、基準点の変更に基づいてカバー領域、カバー率、センシングの推奨方向を再算出し、出力制御部１５０は、再算出されたカバー領域、カバー率、センシングの推奨方向に基づいてサポート情報の出力制御を行ってもよい。
　図９は、本実施形態に係る基準点の位置変更に基づくカバー領域、カバー率、センシングの推奨方向の再算出について説明するための図である。
　図９の左側には、ユーザＵ１０が指Ｆ１０等を用いて基準点Ｒ１０の位置を変更する状況が示される。この場合、この場合、カバー率算出部１４５は、図９の右側に示すように、位置が変更された基準点Ｒ１０に基づいて、カバー領域、カバー率、センシングの推奨方向を再算出する。
　また、出力制御部１５０は、再算出されたカバー領域、カバー率、センシングの推奨方向に基づいて、表示部１５５に表示させるサポート情報を更新する。
　以上説明したように、本実施形態に係る基準点は任意に位置が変更可能であり、また、基準点の位置変更に基づきサポート情報が更新される。
　次に、本実施形態に係る無効領域の指定と、当該無効領域に基づくカバー領域、カバー率、センシングの推奨方向の算出について説明する。
　図１０は、本実施形態に係る無効領域の指定と、当該無効領域に基づくカバー領域、カバー率、センシングの推奨方向の算出について説明するための図である。
　図１０の上段には、ユーザＵ１０が指Ｆ１０等を用いて球Ｓ１０の球面上において無効領域Ｉ１０を指定する状況が示される。
　本実施形態に係る無効領域Ｉ１０は、所定の空間Ｅ１０においてセンシングを行う必要がないと判断された領域であってよい。ユーザＵ１０は、例えば、屋外において空が広がる領域、常に動的な被写体が入り込む領域などを無効領域として指定可能であってよい。
　ユーザＵ１０により無効領域Ｉ１０が指定された場合、カバー率算出部１４５は、図１０の下段に示すように、無効領域Ｉ１０に基づいて、カバー領域、カバー率、センシングの推奨方向を算出する。
　カバー率算出部１４５は、球Ｓ１０の表面から無効領域Ｉ１０を除いた領域に対する総カバー領域の割合を求めることで、カバー率を算出することが可能である。また、カバー率算出部１４５は、無効領域Ｉ１０を非カバー領域に含めずに重心Ｃ１０を算出する。
　なお、カバー率算出部１４５は、無効領域Ｉ１０が新たに指定された場合、更新された場合、削除された場合に、カバー領域、カバー率、センシングの推奨方向を算出する。
　上記のような制御によれば、センシングが不要な領域、またはセンシングが困難な領域を考慮した上での網羅的なセンシングを支援することが可能となる。
　次に、本実施形態に係るサポート情報の出力制御の流れについて詳細に説明する。
　図１１は、本実施形態に係るサポート情報の出力制御の流れの一例を示すフローチャートである。
　図１１に示す一例の場合、まず、ユーザによる基準点、無効領域の指定が行われる（Ｓ３０２）。
　なお、ユーザは必ずしも基準点、無効領域を指定しなくてもよい。上述したように、基準点は、カバー率算出部１４５により自動で設定されてもよい。
　また、ユーザは、ある程度の撮影を行った後に基準点等を指定してもよい。
　次に、カバー率算出部１４５は、ステップＳ３０２において指定された基準点、無効領域に基づいて、カバー領域およびカバー率を算出する（Ｓ３０４）。
　ステップＳ３０４において算出されたカバー率が所定のカバー率を達成している場合（Ｓ３０６：Ｙｅｓ）、情報処理装置１０は、サポート情報の出力制御に係る処理を終了してもよい。
　一方、ステップＳ３０４において算出されたカバー率が所定のカバー率を達成していない場合（Ｓ３０６：Ｎｏ）、カバー率算出部１４５は、センシングの推奨方向を算出する（Ｓ３０８）。
　次に、出力制御部１５０は、ステップＳ３０４において算出されたカバー領域およびカバー率、ステップＳ３０８において算出されたセンシングの推奨方向等に基づいてサポート情報の出力を制御する（Ｓ３１０）。
　なお、出力制御部１５０は、サポート情報を表示部１５５に表示させることに加え、音声出力などが行われるよう制御してもよい。
　次に、カバー率算出部１４５は、新たなキーフレームが追加されたか否かを判定する（Ｓ３１２）。
　新たなキーフレームが追加されていないと判定された場合（Ｓ３１２：Ｎｏ）、出力制御部１５０は、サポート情報の出力制御を継続する。
　一方、カバー率算出部１４５は、新たなキーフレームが追加されたと判定した場合（Ｓ３１２：Ｙｅｓ）、ステップＳ３０４に復帰し、カバー領域およびカバー率の再算出を行う。
　以上、本実施形態に係るサポート情報の出力制御の流れについて一例を挙げて説明した。
　なお、上記では、ユーザによるセンシングを支援する場合の制御を主な例として説明した。しかし、本実施形態に係るセンシングはロボット等の装置により行われてもよい。また、本実施形態に係るサポート情報は、ロボット等の装置により行われるセンシングを支援するものであってもよい。
　この場合、ロボット等の装置は、情報処理装置１０から与えられた推奨方向に基づきセンシングを実行するなどの動作を行ってもよい。
　また、本実施形態に係るサポート情報は、２次元表示および３次元表示のいずれであってもよい。さらには、本実施形態に係る出力制御部１５０は、サポート情報をＡＲ表示させるなどの制御を行ってもよい。
　また、実環境に係るセンシング情報が用いられる処理はＳＬＡＭに限定されない。実環境におけるセンシング情報の網羅性の判定、および、その改善のための誘導に係る出力制御は、所定の空間における網羅的なセンシングが求められる技術に広く適用可能である。上記のような技術には、例えば、上下左右全方位の３６０度パノラマ写真の生成などが挙げられる。
　本実施形態に係るサポート情報の出力制御は、柔軟に変形が可能である。
　＜２．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理装置９０のハードウェア構成例について説明する。図１２は、本開示の一実施形態に係る情報処理装置９０のハードウェア構成例を示すブロック図である。情報処理装置９０は、情報処理装置１０と同等のハードウェア構成を有する装置であってよい。
　図１９に示すように、情報処理装置９０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記憶媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体９０１に記録された情報を読み出し、又はリムーバブル記憶媒体９０１に情報を書き込む装置である。
　（リムーバブル記憶媒体９０１）
リムーバブル記憶媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本実施形態に係るプログラムは、コンピュータに所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御機能を実現させ、また、当該出力制御機能に、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、サポート情報の出力制御を行わせる、ことを特徴の一つとする。
　上記の構成によれば、所定の空間における網羅的なセンシングをより効果的かつより効率的に支援することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本開示において説明した処理に係る各ステップは、必ずしもフローチャートやシーケンス図に記載された順序に沿って時系列に処理される必要はない。例えば、各装置の処理に係る各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本開示において説明した各装置による一連の処理は、コンピュータにより読み取り可能な非一過性の記憶媒体（non-transitory computer readable storage medium）に格納されるプログラムにより実現されてもよい。各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　コンピュータを、
　所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御部、
　を備え、
　前記出力制御部は、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行う、
　情報処理装置、
として機能させるプログラム。
（２）
　前記出力制御部は、前記特徴点と前記基準点との位置関係に基づき算出された、前記取得済みのセンシング情報に係るカバー率、に基づいて、前記サポート情報の出力を制御する、
前記（１）に記載のプログラム。
（３）
　前記カバー率は、前記基準点を中心とする球の球面または前記基準点を中心とする円の円周と、前記特徴点および前記基準点を結ぶ直線との交差点に基づき算出される、
前記（２）に記載のプログラム。
（４）
　前記カバー率は、複数の前記特徴点に係る複数の前記交差点により形成される、前記球面上または前記円周上におけるカバー領域を、前記取得済みのセンシング情報を取得した際のセンサ位置およびセンサ姿勢ごとに求めることにより算出される、
前記（３）に記載のプログラム。
（５）
　前記出力制御部は、前記カバー領域に基づいて、前記サポート情報の出力を制御する、
前記（４）に記載のプログラム。
（６）
　前記サポート情報は、新たに行われるセンシングの推奨方向に係る情報を含み、
　前記推奨方向は、前記カバー領域に基づき算出される、
前記（５）に記載のプログラム。
（７）
　前記推奨方向は、前記球面上または前記円周上における非カバー領域の重心に基づき算出される、
前記（６）に記載のプログラム。
（８）
　前記カバー率は、新たに取得された前記特徴点に基づき再算出される、
前記（２）～（７）のいずれかに記載のプログラム。
（９）
　前記カバー率は、前記基準点の位置変更に基づき再算出される、
前記（２）～（８）のいずれかに記載のプログラム。
（１０）
　前記カバー率は、指定された無効領域に基づき算出される、
前記（２）～（９）のいずれかに記載のプログラム。
（１１）
　前記サポート情報は、前記カバー率を含む、
前記（２）～（１０）のいずれかに記載のプログラム。
（１２）
　前記サポート情報は、前記特徴点、前記取得済みのセンシング情報を取得した際のセンサ位置およびセンサ姿勢に関する情報を含む、
前記（４）～（７）のいずれかに記載のプログラム。
（１３）
　前記情報処理装置は、
　前記カバー率を算出するカバー率算出部、
　をさらに備える、
前記（２）～（１２）のいずれかに記載のプログラム。
（１４）
　前記センシング情報は、画像情報を含む、
前記（１）～（１３）のいずれかに記載のプログラム。
（１５）
　前記センシング情報は、ＳＬＡＭに用いられる、
前記（１）～（１４）のいずれかに記載のプログラム。
（１６）
　前記情報処理装置は、
　前記センシング情報を取得するセンサ部、
　をさらに備える、
前記（１）～（１５）のいずれかに記載のプログラム。
（１７）
　前記情報処理装置は、
　前記出力制御部による制御に従い前記サポート情報を表示する表示部、
　をさらに備える、
前記（１）～（１６）のいずれかに記載のプログラム。
（１８）
　前記情報処理装置は、モバイル機器である、
前記（１）～（１７）のいずれかに記載のプログラム。
（１９）
　所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御部、
　を備え、
　前記出力制御部は、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行う、
情報処理装置。
（２０）
　プロセッサが、
　所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御すること
　を含み、
　前記サポート情報の出力を制御することは、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行うこと、
　をさらに含む、
情報処理方法。
　１０　　　情報処理装置
　１１０　　撮影部
　１１５　　特徴点検出部
　１２０　　マッチング部
　１２５　　距離推定部
　１３０　　ポーズ差分推定部
　１３５　　ポーズ差分積み上げ部
　１４０　　キーフレーム検索部
　１４５　　カバー率算出部
　１５０　　出力制御部
　１５５　　表示部
　１６０　　地図ＤＢ

Claims (20)

  1. 　コンピュータを、
    　所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御部、
    　を備え、
    　前記出力制御部は、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行う、
    　情報処理装置、
    として機能させるプログラム。
  2. 　前記出力制御部は、前記特徴点と前記基準点との位置関係に基づき算出された、前記取得済みのセンシング情報に係るカバー率、に基づいて、前記サポート情報の出力を制御する、
    請求項１に記載のプログラム。
  3. 　前記カバー率は、前記基準点を中心とする球の球面または前記基準点を中心とする円の円周と、前記特徴点および前記基準点を結ぶ直線との交差点に基づき算出される、
    請求項２に記載のプログラム。
  4. 　前記カバー率は、複数の前記特徴点に係る複数の前記交差点により形成される、前記球面上または前記円周上におけるカバー領域を、前記取得済みのセンシング情報を取得した際のセンサ位置およびセンサ姿勢ごとに求めることにより算出される、
    請求項３に記載のプログラム。
  5. 　前記出力制御部は、前記カバー領域に基づいて、前記サポート情報の出力を制御する、
    請求項４に記載のプログラム。
  6. 　前記サポート情報は、新たに行われるセンシングの推奨方向に係る情報を含み、
    　前記推奨方向は、前記カバー領域に基づき算出される、
    請求項５に記載のプログラム。
  7. 　前記推奨方向は、前記球面上または前記円周上における非カバー領域の重心に基づき算出される、
    請求項６に記載のプログラム。
  8. 　前記カバー率は、新たに取得された前記特徴点に基づき再算出される、
    請求項２に記載のプログラム。
  9. 　前記カバー率は、前記基準点の位置変更に基づき再算出される、
    請求項２に記載のプログラム。
  10. 　前記カバー率は、指定された無効領域に基づき算出される、
    請求項２に記載のプログラム。
  11. 　前記サポート情報は、前記カバー率を含む、
    請求項２に記載のプログラム。
  12. 　前記サポート情報は、前記特徴点、前記取得済みのセンシング情報を取得した際のセンサ位置およびセンサ姿勢に関する情報を含む、
    請求項４に記載のプログラム。
  13. 　前記情報処理装置は、
    　前記カバー率を算出するカバー率算出部、
    　をさらに備える、
    請求項２に記載のプログラム。
  14. 　前記センシング情報は、画像情報を含む、
    請求項１に記載のプログラム。
  15. 　前記センシング情報は、ＳＬＡＭに用いられる、
    請求項１に記載のプログラム。
  16. 　前記情報処理装置は、
    　前記センシング情報を取得するセンサ部、
    　をさらに備える、
    請求項１に記載のプログラム。
  17. 　前記情報処理装置は、
    　前記出力制御部による制御に従い前記サポート情報を表示する表示部、
    　をさらに備える、
    請求項１に記載のプログラム。
  18. 　前記情報処理装置は、モバイル機器である、
    請求項１に記載のプログラム。
  19. 　所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御する出力制御部、
    　を備え、
    　前記出力制御部は、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行う、
    情報処理装置。
  20. 　プロセッサが、
    　所定の空間における網羅的なセンシングを支援するサポート情報の出力を制御すること
    　を含み、
    　前記サポート情報の出力を制御することは、取得済みのセンシング情報から検出された特徴点と設定された基準点との位置関係に基づいて、前記サポート情報の出力制御を行うこと、
    　をさらに含む、
    情報処理方法。
PCT/JP2022/047391 2022-02-03 2022-12-22 プログラム、情報処理装置、および情報処理方法 WO2023149118A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-015311 2022-02-03
JP2022015311 2022-02-03

Publications (1)

Publication Number Publication Date
WO2023149118A1 true WO2023149118A1 (ja) 2023-08-10

Family

ID=87552234

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/047391 WO2023149118A1 (ja) 2022-02-03 2022-12-22 プログラム、情報処理装置、および情報処理方法

Country Status (1)

Country Link
WO (1) WO2023149118A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019020997A (ja) * 2017-07-14 2019-02-07 キヤノン株式会社 情報処理装置及びその制御方法、並びに、プログラム
WO2021200432A1 (ja) * 2020-03-30 2021-10-07 パナソニックＩｐマネジメント株式会社 撮影指示方法、撮影方法、撮影指示装置及び撮影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019020997A (ja) * 2017-07-14 2019-02-07 キヤノン株式会社 情報処理装置及びその制御方法、並びに、プログラム
WO2021200432A1 (ja) * 2020-03-30 2021-10-07 パナソニックＩｐマネジメント株式会社 撮影指示方法、撮影方法、撮影指示装置及び撮影装置

Similar Documents

Publication Publication Date Title
TWI574223B (zh) 運用擴增實境技術之導航系統
KR101689923B1 (ko) 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적
US8036775B2 (en) Obstacle avoidance system for a user guided mobile robot
US10157478B2 (en) Enabling use of three-dimensional locations of features with two-dimensional images
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
JP6658001B2 (ja) 位置推定装置、プログラム、位置推定方法
JP2019153274A (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
TWM560099U (zh) 運用擴增實境技術之室內精確導航系統
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
KR20010055957A (ko) 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
JP7334460B2 (ja) 作業支援装置及び作業支援方法
JP5530391B2 (ja) カメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラム
WO2023149118A1 (ja) プログラム、情報処理装置、および情報処理方法
WO2018134866A1 (ja) カメラ校正装置
JP2008203991A (ja) 画像処理装置
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices
JP5634925B2 (ja) 整備情報表示装置、整備情報表示方法、及びプログラム
JP4673861B2 (ja) 情報表示システム及び情報表示方法
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式
JP6348750B2 (ja) 電子機器、表示方法、プログラム及び通信システム
JP7075090B1 (ja) 情報処理システム、及び、情報処理方法
JP2003209836A (ja) 情報伝達システム及び情報表示システム及び情報伝達方法及び情報表示方法
WO2024057779A1 (ja) 情報処理装置、プログラムおよび情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925021

Country of ref document: EP

Kind code of ref document: A1