WO2022163216A1 - 移動体、情報処理方法およびプログラム - Google Patents

移動体、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022163216A1
WO2022163216A1 PCT/JP2021/047184 JP2021047184W WO2022163216A1 WO 2022163216 A1 WO2022163216 A1 WO 2022163216A1 JP 2021047184 W JP2021047184 W JP 2021047184W WO 2022163216 A1 WO2022163216 A1 WO 2022163216A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
histogram
unit
viewpoint image
Prior art date
Application number
PCT/JP2021/047184
Other languages
English (en)
French (fr)
Inventor
航平 漆戸
正樹 半田
琢人 元山
真一郎 阿部
政彦 豊吉
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022163216A1 publication Critical patent/WO2022163216A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention relates to mobile objects, information processing methods, and programs.
  • a known technology is to attach a stereo camera to a moving object such as a car and detect an object from the images taken by the stereo camera.
  • a stereo camera has multiple imaging units for shooting from different viewpoints.
  • the distance (base line length) between imaging units is adjusted by calibration.
  • the relative positions of the imaging units may shift due to vibration during movement (hereinafter referred to as calibration shift). If movement is performed in a state in which calibration deviation has occurred, the surrounding environment cannot be correctly recognized. As a result, movement may become unstable.
  • the present disclosure proposes a moving object, an information processing method, and a program capable of detecting calibration deviation.
  • an image slide unit that generates a slide image obtained by sliding a first viewpoint image in a parallax direction
  • a parallax histogram aggregation unit that generates a histogram of parallax from the slide image and the second viewpoint image
  • a calibration deviation detection unit that determines that calibration deviation has occurred when the lower limit boundary value of the parallax in the histogram is smaller than the slide amount of the first viewpoint image.
  • FIG. 1 is a schematic diagram of a stereo camera; FIG. It is a figure explaining the estimation method of depth. It is a figure which shows the relationship between depth and parallax. It is a figure explaining the 1st influence by a calibration gap. It is a figure explaining the 1st influence by a calibration gap. It is a figure explaining the 1st influence by a calibration gap. It is a figure explaining the 2nd influence by calibration deviation. It is a figure explaining the 2nd influence by calibration deviation. It is a figure explaining the detection method of a calibration deviation. It is a figure explaining the detection method of a calibration deviation. It is a figure explaining the detection method of a calibration deviation. It is a figure explaining the detection method of a calibration deviation. It is a figure which shows the structure of the moving body of 1st Embodiment.
  • FIG. 4 is a flowchart illustrating an example of information processing performed by a processing device; It is a figure which shows the structure of the moving body of 2nd Embodiment.
  • FIG. 4 is a diagram showing an example of a subject area; It is a figure which shows the structure of the moving body of 3rd Embodiment.
  • FIG. 4 is a diagram showing an example of a subject area;
  • FIG. 10 is a diagram showing another example of a stereo camera selection method;
  • FIG. 10 is a diagram showing another example of a stereo camera selection method; It is a figure which shows an example of the information processing based on movement log
  • FIG. 10 is a diagram showing another example of notification;
  • FIG. 10 is a diagram showing another example of notification;
  • FIG. 10 is a diagram showing another example of notification;
  • FIG. 10 is a diagram showing the hardware structural example of a processing apparatus.
  • FIG. 10 is a diagram showing another example for avoiding the second effect due to calibration deviation;
  • FIG. 1 is a schematic diagram of a stereo camera 20. As shown in FIG. 1
  • the stereo camera 20 has a first imaging section 21 and a second imaging section 22 .
  • the stereo camera 20 is attached to the lower part of a moving object such as a drone via a support member 23, for example.
  • the first imaging unit 21 and the second imaging unit 22 are arranged at a position (viewpoint VP) separated by a predetermined distance (base line length).
  • a direction connecting the first imaging unit 21 and the second imaging unit 22 is a parallax direction in which parallax occurs.
  • the distance to an object (hereinafter referred to as “depth”) is estimated using a technique such as triangulation based on the parallax of the object seen from the first imaging section 21 and the second imaging section 22 .
  • FIG. 2 is a diagram explaining the depth estimation method.
  • the stereo camera 20 uses the first imaging section 21 and the second imaging section 22 to simultaneously photograph the subject SU from two viewpoints VP.
  • a stereo image STI including the first viewpoint image VPI1 and the second viewpoint image VPI2 is captured.
  • the first viewpoint image VPI1 is an image of the subject SU captured by the first imaging unit 21 from the first viewpoint VP1.
  • the second viewpoint image VPI2 is an image of the subject SU captured by the second imaging unit 22 from the second viewpoint VP2.
  • the stereo camera 20 associates the first viewpoint image VPI1 and the second viewpoint image VPI2 pixel by pixel, for example, by stereo matching.
  • the stereo camera 20 calculates the distance between the corresponding points CP when the first viewpoint image VPI1 is projected onto the second viewpoint image VPI2 as the parallax PR.
  • the stereo camera 20 generates a parallax map PM (see FIG. 10) in which information about the parallax PR is associated with each pixel of the second viewpoint image VPI2.
  • the stereo camera 20 uses the parallax map PM and information on the baseline length to calculate the depth DP for each pixel by triangulation.
  • FIG. 3 is a diagram showing the relationship between depth DP and parallax PR.
  • the upper part of FIG. 3 shows an example where the distance between the subject SU and the stereo camera 20 is small.
  • the subject SU is captured at a position closer to the edge than the center of the field of view of each imaging unit. Therefore, the parallax PR is large.
  • the lower part of FIG. 3 shows an example where the distance between the subject SU and the stereo camera 20 is large.
  • the subject SU is captured at a position near the center of the field of view of each imaging unit. Therefore, the parallax PR is small.
  • the depth DP and the parallax PR have a negative correlation. The smaller the depth DP, the larger the parallax PR, and the larger the depth DP, the smaller the parallax PR.
  • FIGS. 4 to 6 are diagrams for explaining the first influence due to the calibration deviation of the stereo camera 20.
  • the example on the left side of FIG. 4 shows a state in which the first imaging section 21 and the second imaging section 22 are fixed at normal positions.
  • the baseline length between the first imaging unit 21 and the second imaging unit 22 has not changed from the value set by calibration.
  • the example on the right side of FIG. 4 shows a state in which calibration deviation has occurred between the first imaging section 21 and the second imaging section 22 .
  • the position of the first imaging section 21 is shifted in the direction toward the second imaging section 22 . Since the world seen by the first imaging unit 21 shifts to the second imaging unit 22 side, the position of the subject SU in the first viewpoint image VPI1 shifts to the second imaging unit 22 side compared to normal.
  • the depth DP2 to the subject SU is greater than the depth DP1 calculated from the normal stereo image STI.
  • Calibration deviations occur due to various reasons such as heat and impact. If it cannot be detected that the calibration deviation has occurred, it cannot be distinguished whether the subject SU appears far away due to the calibration deviation or whether the subject SU really exists far away.
  • FIG. 6 when a moving body MB moving at high speed erroneously detects an obstacle (subject SU) farther in the traveling direction, the obstacle may collide with the obstacle even if the obstacle is recognized. It may get lost. For example, when the moving body MB approaches an obstacle, it tries to stop, but because the obstacle is closer than it recognizes, it may not be able to stop and collide with it.
  • FIG. 7 and 8 are diagrams for explaining the second effect of the calibration deviation of the stereo camera 20.
  • a matching process is performed to search for corresponding points CP.
  • the first imaging unit 21 is a right camera that captures the subject SU from the right side
  • the second imaging unit 22 is a left camera that captures the subject SU from the left side.
  • the search for the corresponding points CP is selectively performed in a search area SA having a predetermined width on the right side of the position of the subject SU captured in the first viewpoint image VPI1.
  • the area other than the search area SA is the non-search area NSA. Search for corresponding points CP is not performed in the non-search area NSA.
  • the width of the search area SA (the number of pixels in the parallax direction in which the search is performed) is set in consideration of the depth estimation accuracy and the computational load. In the following description, the width of the search area SA is set to 127 pixels, for example.
  • Detection method of calibration deviation 9 to 11 are diagrams for explaining a calibration deviation detection method. Detection of calibration deviation is achieved by enlarging the search area SA using the slide image SLI and verification processing using a parallax histogram.
  • FIG. 9 is a diagram illustrating a method of enlarging the search area SA.
  • the search for the corresponding point CP may fail. Therefore, in the present disclosure, the position of the subject SU captured in the first viewpoint image VPI1 is slid in the direction in which the parallax PR increases (to the left in the example of FIG. 9) by the preset slide amount SLA. Then, the slide image SLI in which the position of the subject SU is slid is projected onto the second viewpoint image VPI2. The search for the corresponding points CP is performed between the slide image SLI and the second viewpoint image VPI2. According to this configuration, the search area SA is enlarged by the slide amount SLA. Therefore, even if calibration deviation occurs, the search for the corresponding points CP is less likely to fail.
  • the slide amount SLA is represented, for example, by the number of pixels in the second viewpoint image VPI2.
  • the slide amount SLA is, for example, 2 pixels or more and 10 pixels or less. In the following description, the slide amount SLA is set to 6 pixels, for example.
  • Verification process using parallax histogram 10 and 11 are diagrams for explaining calibration deviation verification processing using a parallax histogram.
  • a parallax map PM is generated by calculating a parallax PR between the second viewpoint image VPI and the slide image SLI for each pixel.
  • the parallax map PM is generated by associating each pixel of the second viewpoint image VPI2 with a parallax PR value.
  • FIG. 10 shows a parallax map PM that expresses the magnitude of the parallax PR of each pixel in color.
  • a histogram HG of parallax PR is generated based on the parallax map PM.
  • the image area of the parallax map PM to be aggregated can be set by the user.
  • parallax PR data of all pixels in the parallax map PM are aggregated.
  • the distribution of the histogram HG changes depending on the slide amount SLA.
  • the upper part of FIG. 11 shows an example in which the slide amount SLA is 0 (reference example in which the slide process is not performed), and the lower part of FIG. 11 shows an example in which the slide amount SLA is X.
  • the distribution of the histogram HG slides in the parallax direction by the slide amount SLA.
  • the search area SA changes, the values of the lower limit boundary value Bmin, which is the lower limit value of the parallax PR, and the upper limit boundary value Bmax, which is the upper limit value of the parallax PR, also change.
  • the lower boundary value Bmin means the minimum parallax PR with significant frequency.
  • the upper boundary value Bmax means the maximum parallax PR with significant frequency. Whether or not it has a significant frequency is determined based on preset criteria. For example, if the frequency is so small that it can be considered noise (eg, the frequency is 5 or less), it is determined that it does not have a significant frequency.
  • the lower limit boundary value Bmin is 0 and the upper limit boundary value Bmax is 127 when calibration deviation does not occur (upper left side of FIG. 11).
  • the distribution of the histogram HG becomes such that the distribution in the case where no calibration shift occurs is shifted in the negative direction (see FIG. 4). 11, see the upper right side). Since the search for the corresponding point CP is not performed in the direction in which the parallax PR is negative (non-search area NSA), the parallax PR that appeared when no calibration deviation occurred is in the low parallax area LPA near zero. The distribution is not reflected in the histogram HG.
  • the histogram HG is generated using the slide image SLI. Therefore, the distribution of the histogram HG shifts in the positive direction by the slide amount SLA as a whole compared to the case where the calibration shift does not occur (see the lower left side of FIG. 11). As a result, the lower boundary value Bmin of the histogram HG becomes X. Since the search for the corresponding point CP is not performed in the direction in which the parallax PR is greater than 127 (non-search area NSA), the high parallax area near 127 where the parallax PR appeared when no calibration deviation occurred. The HPA distribution is not reflected in the histogram HG.
  • the distribution of the histogram HG becomes a distribution in which the distribution in the case where no calibration deviation occurs is shifted in the negative direction ( See bottom right of FIG. 11). Since the lower boundary value Bmin is shifted in the positive direction by the slide processing, the distribution of the low-parallax area LPA is likely to be reflected in the histogram HG.
  • the lower limit boundary value Bmin matches the slide amount SLA when calibration deviation does not occur.
  • the lower limit boundary value Bmin shifts to the negative side due to the calibration deviation. Therefore, the lower boundary value Bmin does not match the slide amount SLA. Therefore, by comparing the lower limit boundary value Bmin and the slide amount, it is possible to determine whether or not calibration deviation has occurred.
  • a configuration of a moving body that employs the calibration deviation detection method described above will be described.
  • FIG. 12 is a diagram showing the configuration of the moving body 1 of the first embodiment.
  • the moving object 1 has a processing device 10 and a stereo camera 20 .
  • the processing device 10 is an information processing device that processes various information based on the stereo image STI captured by the stereo camera 20 .
  • the stereo image STI includes a first viewpoint image VPI1 captured from the first viewpoint VP1 by the first imaging unit 21 and a second viewpoint image VPI2 captured from the second viewpoint VP2 by the second imaging unit 22.
  • the number of stereo cameras 20 is arbitrary. In this embodiment, for example, a plurality of stereo cameras 20 having different fields of view are mounted on the mobile object 1 .
  • the processing device 10 has an image slide unit 11 , a depth estimation unit 12 , a parallax histogram aggregation unit 13 , a calibration deviation detection unit 14 , and a post-stage module 15 .
  • the image slide unit 11 generates a slide image SLI by sliding the first viewpoint image VPI1 in the parallax direction.
  • the slide direction is the direction in which the parallax PR increases when the slide image SLI is projected onto the second viewpoint image VPI2 and the parallax PR is calculated.
  • the slide amount SLA is preset by the user. In this embodiment, for example, the slide amount SLA is set to 6 pixels.
  • the depth estimation unit 12 generates a parallax map PM using the slide image SLI and the second viewpoint image VPI2. For example, the depth estimation unit 12 projects the slide image SLI onto the second viewpoint image VPI2, and calculates the distance between the corresponding points CP as the parallax PR. The depth estimation unit 12 calculates parallax PR for all pixels of the second viewpoint image VPI2, and generates a parallax map PM in which each pixel of the second viewpoint image VPI2 is associated with information on the parallax PR.
  • the parallax map PM is used for generating a histogram HG for detecting calibration deviation.
  • the depth estimation unit 12 acquires both the first viewpoint image VPI1 and the second viewpoint image VPI2 from the stereo camera 20, and obtains the first viewpoint image VPI1 and the second viewpoint image VPI2. , the depth of the object SU is estimated for each pixel.
  • the depth estimation unit 12 may correct the parallax map PM based on the slide amount SLA, and estimate the depth of the subject SU for each pixel based on the corrected parallax map PM.
  • the parallax histogram collection unit 13 generates a histogram HG of parallax PR from the slide image SLI and the second viewpoint image VPI2. For example, the parallax histogram counting unit 13 calculates the frequency (the number of pixels) for each parallax PR based on the parallax map PM. As a result, a histogram HG representing the distribution of the frequency of parallax PR is generated.
  • the calibration deviation detection unit 14 determines that calibration deviation has occurred when the lower limit boundary value Bmin of the parallax PR in the histogram HG is smaller than the slide amount SLA of the first viewpoint image VPI1.
  • the calibration deviation detection unit 14 outputs detection information CDI indicating that calibration deviation has occurred to the subsequent module 15 .
  • the post-stage module 15 carries out anomaly handling processing based on the detection information CDI.
  • the post-stage module 15 includes various configurations, such as a notification unit 151, an operation control unit 152, and a calibration unit 153, depending on the type of abnormality handling process. These functions will be described with reference to FIG. 22 onwards.
  • FIG. 13 is a flow chart showing an example of information processing performed by the processing device 10 .
  • step S1 the processing device 10 acquires the stereo image STI including the first viewpoint image VPI1 and the second viewpoint image VPI2 from the stereo camera 20.
  • the first viewpoint image VPI 1 is supplied to the image slide section 11 .
  • the second viewpoint image VPI2 is supplied to the depth estimation unit 12 .
  • step S2 the image slide unit 11 generates a slide image SLI by sliding the first viewpoint image VPI1 in the parallax direction.
  • the image slide unit 11 supplies the generated slide image SLI to the depth estimation unit 12 .
  • step S3 the depth estimation unit 12 performs depth estimation processing using the second viewpoint image VPI2 and the slide image SLI.
  • the depth estimation unit 12 determines whether or not depth estimation is possible. For example, if the stereo image STI (second viewpoint image VPI2) has defects such as overexposure and occlusion, the depth estimation unit 12 determines that the depth cannot be estimated. If there is no defect in the stereo image STI, the depth estimation unit 12 determines that depth estimation is possible.
  • the stereo image STI second viewpoint image VPI2
  • the depth estimation unit 12 determines that the depth estimation is possible.
  • step S4 If it is determined in step S4 that the depth has been estimated (step S4: Yes), proceed to step S5.
  • step S5 the parallax histogram collection unit 13 generates a histogram HG of parallax PR based on the parallax map PM.
  • step S6 the parallax histogram totaling unit 13 determines whether or not the histogram HG has been totaled.
  • the parallax histogram aggregation unit 13 acquires information about the search result of the corresponding points CP from the depth estimation unit 12 .
  • the depth estimation unit 12 searches for the mutual corresponding points CP between the slide image SLI and the second viewpoint image VPI2 by stereo matching.
  • the depth estimation unit 12 determines that the parallax PR has been detected when the corresponding point CP exists within the search area SA, and cannot detect the parallax PR when the corresponding point CP does not exist within the search area SA. I judge.
  • the parallax histogram aggregation unit 13 acquires information from the depth estimation unit 12 indicating that the search for the corresponding points CP has succeeded, it determines that the histogram HG has been aggregated.
  • the parallax histogram aggregation unit 13 acquires information indicating that the search for the corresponding point CP has failed from the depth estimation unit 12, it determines that the histogram HG cannot be aggregated.
  • step S6 If it is determined in step S6 that the histogram HG has been aggregated (step S6: Yes), the process proceeds to step S7.
  • step S7 the calibration deviation detection unit 14 performs calibration deviation detection processing.
  • step S8 the calibration deviation detection unit 14 determines whether calibration deviation has been detected based on the lower boundary value Bmin of the histogram HG. For example, when the lower limit boundary value Bmin is smaller than the slide amount SLA of the first viewpoint image VPI1, the calibration deviation detection unit 14 determines that calibration deviation has been detected. When the lower limit boundary value Bmin is equal to or larger than the slide amount SLA of the first viewpoint image VPI1, the calibration deviation detection unit 14 determines that it is unknown whether calibration deviation has been detected.
  • step S8 If it is determined in step S8 that calibration deviation has been detected (step S8: Yes), the process proceeds to step S9. In step S ⁇ b>9 , the post-stage module 15 carries out an abnormality handling process.
  • step S10 the processing device 10 determines whether or not to end the processing. For example, the processing device 10 determines to end the processing when receiving an end signal from the user. If the process is not to end, the process returns to step S1 and the above process is repeated until the end signal is received.
  • the moving body 1 has an image sliding section 11 , a parallax histogram counting section 13 and a calibration deviation detecting section 14 .
  • the image slide unit 11 generates a slide image SLI by sliding the first viewpoint image VPI1 in the parallax direction.
  • the parallax histogram totaling unit 13 generates a histogram HG of the parallax PR from the slide image SLI and the second viewpoint image VPI2.
  • the calibration deviation detection unit 14 determines that calibration deviation has occurred when the lower limit boundary value Bmin of the parallax PR in the histogram HG is smaller than the slide amount SLA of the first viewpoint image VPI1.
  • the processing of the moving body 1 described above is executed by a computer.
  • the program of the present embodiment causes a computer to implement the above-described processing of the moving body.
  • the values of the parallax PR in the histogram HG are raised overall by the slide amount SLA. If there is no calibration deviation, the parallax PR will always be equal to or greater than the slide amount SLA. Therefore, by comparing the lower limit boundary value Bmin of the parallax PR and the slide amount SLA, it is easily detected whether or not calibration deviation has occurred.
  • FIG. 14 is a diagram showing the configuration of the moving body 2 of the second embodiment.
  • a histogram HG is selectively generated for an image region in which calibration deviation is expected to be easily detected.
  • the processing device 30 has a subject area extracting section 31 .
  • the subject area extracting unit 31 extracts the subject area SUA for which the parallax PR can be predicted from the second viewpoint image VPI2.
  • the parallax histogram counting unit 13 selectively generates a histogram HG for the subject area SUA.
  • FIG. 15 is a diagram showing an example of the subject area SUA.
  • the subject area SUA is, for example, an image area that captures the subject SU whose distance from the stereo camera 20 is sufficiently large and whose parallax PR can be regarded as zero.
  • the subject area extraction unit 31 extracts the sky area as the subject area SUA from the second viewpoint image VPI2.
  • the subject area SUA is extracted using, for example, a semantic segmentation technique, which is one of object recognition techniques.
  • the distance to the sky can be considered infinite. Therefore, the parallax PR of the sky region can be considered zero. If no calibration deviation occurs, the lower boundary value Bmin of the parallax PR in the histogram HG matches the slide amount SLA. If the lower limit boundary value Bmin of the parallax PR is smaller than the slide amount SLA, it can be determined that calibration deviation has occurred.
  • a histogram HG is selectively generated for a specific subject area SUA extracted from the stereo image STI. Therefore, the computation load is reduced when generating the histogram HG. Since histograms of areas other than the subject area SUA are not included as noise components, erroneous determinations are less likely to occur.
  • FIG. 16 is a diagram showing the configuration of the moving body 3 of the third embodiment.
  • the subject area extraction unit 41 detects the direction in which the field of view is open, and extracts the area in which the distant scenery seen in that direction is captured as the subject area SUA.
  • the subject area extraction unit 41 detects the visible direction of the horizon HZ (see FIG. 17), for example, based on the altitude of the mobile object 3 and geographic information.
  • the subject area extracting unit 41 selects one or more stereo cameras 20 having a field of view FV in the direction in which the horizon HZ is visible from the plurality of stereo cameras 20 mounted on the moving object 3 .
  • the subject area extraction unit 41 extracts an area including the horizon HZ from the images of the selected one or more stereo cameras 20 as the subject area SUA based on the altitude of the moving body 3 and geographic information.
  • the distance to the horizon HZ can be regarded as almost infinite. Therefore, the parallax PR of the image area in which the horizon HZ is captured can be regarded as zero.
  • the lower boundary value Bmin of the parallax PR in the histogram HG matches the slide amount SLA. If the lower limit boundary value Bmin of the parallax PR is smaller than the slide amount SLA, it can be determined that calibration deviation has occurred.
  • the processing device 40 has an altitude information sensing unit 51 and a terrain information database 52 .
  • the altitude information sensing unit 51 detects altitude information of the moving object 3 .
  • a barometric altimeter or a radio altimeter is used as the altitude information sensing unit 51.
  • the terrain information database 52 stores terrain information in which geographical positions are associated with the three-dimensional shapes of the ground surface or buildings.
  • the terrain information is generated using, for example, base map information of the Geospatial Information Authority of Japan.
  • the subject area extraction unit 41 extracts the subject area SUA based on the altitude information acquired from the altitude information sensing unit 51 and the terrain information acquired from the terrain information database 52 .
  • FIG. 17 is a diagram showing an example of the subject area SUA.
  • the moving object 3 selects the stereo camera 20 having the field of view FV in the direction of the horizon HZ based on the altitude information and the terrain information.
  • the subject area extracting unit 41 extracts an image area including the horizon HZ from the selected video (second viewpoint image VPI2) of the stereo camera 20 using a semantic segmentation method as a subject area SUA.
  • FIG. 18 is a diagram showing another example of the method of selecting the stereo camera 20.
  • FIG. 18 is a diagram showing another example of the method of selecting the stereo camera 20.
  • the stereo camera 20 is selected based on the movement history MH of the moving body 3.
  • the subject region extraction unit 41 detects the movement history MH using a known method such as SLAM (Simultaneous Localization and Mapping).
  • the subject area extracting unit 41 determines the direction in which the moving body 3 has moved based on the movement history MH.
  • the subject area extraction unit 41 selects the stereo camera 20 having a field of view FV in the direction in which the moving body 3 has moved.
  • the subject area extraction unit 41 extracts, from the images of the selected stereo camera 20, an area in which the image in the direction in which the moving object 3 has moved is captured as the subject area SUA.
  • the image of the stereo camera 20 includes a distant scene.
  • the distance to a distant view can be considered almost infinite. Therefore, the parallax PR of the area in which the distant scenery is captured can be regarded as zero.
  • the lower boundary value Bmin of the parallax PR in the histogram HG matches the slide amount SLA. If the lower limit boundary value Bmin of the parallax PR is smaller than the slide amount SLA, it can be determined that calibration deviation has occurred.
  • FIG. 19 is a diagram showing another example of the method of selecting the stereo camera 20.
  • FIG. 19 is a diagram showing another example of the method of selecting the stereo camera 20.
  • the subject area extracting unit 41 determines the direction in which there are few objects OT that block the view based on the environment map OGM and the position information of the mobile object 3 .
  • the subject area extraction unit 41 selects the stereo camera 20 having the field of view FV in the direction in which there are few objects OT blocking the field of view.
  • the subject area extracting unit 41 extracts, from the image of the selected stereo camera 20, an area in which an image in a direction in which there are few objects OT blocking the field of view is captured as a subject area SUA.
  • the environmental map OGM is a map that describes the information of the surrounding environment.
  • an occupation grid map for example, is used as the environmental map OGM.
  • An occupancy grid map is a kind of metric map that preserves distances and directions between points.
  • the occupancy grid map the environment is divided into multiple grids and the existence probability of the object OT is saved for each grid.
  • the subject area extraction unit 41 generates an environment map OGM using a known technique such as SLAM.
  • the mobile object 3 is equipped with four stereo cameras 20.
  • the front stereo camera 20A and the left stereo camera 20B are likely to have their fields of view blocked by the object OT.
  • the rear side is the direction in which the moving body 3 has moved, and is an open space with few objects OT that block the view.
  • the right direction is also an open space with few objects OT that block the view. Therefore, the rear stereo camera 20C and the right stereo camera 20D are less likely to have their fields of view blocked by the object OT.
  • the image of the stereo camera 20 which has the field of view FV in the direction in which there are few objects OT blocking the field of view, shows a distant scenery.
  • the distance to a distant view can be considered almost infinite. Therefore, the parallax PR of the area in which the distant scenery is captured can be regarded as zero.
  • the lower boundary value Bmin of the parallax PR in the histogram HG matches the slide amount SLA. If the lower limit boundary value Bmin of the parallax PR is smaller than the slide amount SLA, it can be determined that calibration deviation has occurred.
  • FIG. 20 is a diagram showing an example of information processing based on the movement history MH described in FIGS. 14 and 18.
  • Steps S21 to S24 and S29 to S32 are the same as steps S1 to S4 and S7 to S10 shown in FIG. Therefore, the difference from FIG. 13 will be mainly described.
  • step S24 If it is determined in step S24 that the depth has been estimated (step S24: Yes), the process proceeds to step S25.
  • step S25 the subject area extracting unit 31 refers to the movement history MH of the moving body 3 generated by SLAM.
  • step S26 the subject area extraction unit 31 determines whether or not the currently used or available stereo camera 20 has a field of view in the direction in which it has moved so far.
  • step S26 if the stereo camera 20 having the field of view FV exists in the direction in which the moving body 3 has moved (step S26: Yes), the process proceeds to step S27.
  • step S27 the subject area extraction unit 31 extracts an area in which the image of the stereo camera 20 having the field of view FV in the direction in which the moving body 3 has moved is captured as the subject area SUA.
  • the depth estimation unit 12 generates a parallax map PM of the subject area SUA.
  • the parallax histogram collection unit 13 generates a histogram HG of parallax PR based on the parallax map PM of the subject area SUA.
  • the parallax histogram tallying unit 13 determines whether or not the histogram HG has been tallied. For example, the parallax histogram aggregation unit 13 acquires information about the search result of the corresponding points CP in the subject area SUA from the depth estimation unit 12 . As described above, the depth estimation unit 12 searches for the mutual corresponding points CP between the slide image SLI and the second viewpoint image VPI2 by stereo matching. The depth estimation unit 12 determines that the parallax PR has been detected when the corresponding point CP exists within the search area SA, and cannot detect the parallax PR when the corresponding point CP does not exist within the search area SA. I judge.
  • the parallax histogram aggregation unit 13 acquires information from the depth estimation unit 12 indicating that the search for the corresponding points CP has succeeded, it determines that the histogram HG has been aggregated.
  • the parallax histogram aggregation unit 13 acquires information indicating that the search for the corresponding point CP has failed from the depth estimation unit 12, it determines that the histogram HG cannot be aggregated.
  • step S28 If it is determined in step S28 that the histogram HG has been tallied (step S28: Yes), the process proceeds to step S29.
  • step S29 the calibration deviation detection unit 14 performs calibration deviation detection processing. Subsequent processes (S29 to S32) are the same as the processes (S7 to S10) in FIG.
  • FIG. 21 is a diagram showing an example of information processing based on the environment map OGM described in FIGS. 16 and 19.
  • Steps S41 to S46 and S49 to S54 are the same as steps S21 to S32 shown in FIG. Therefore, the difference from FIG. 20 will be mainly described.
  • step S46 if there is a stereo camera 20 (rear camera) having a field of view FV in the direction in which the moving object 4 has moved (step S46: Yes), proceed to step S49.
  • the subject area extraction unit 41 extracts the area where the image of the rear camera is captured as the subject area SUA.
  • step S46 if there is a stereo camera 20 (non-backward camera) having a field of view FV in a direction other than the direction in which the moving body 4 has moved (step S46: No), proceed to step S47.
  • the subject area extraction unit 41 generates, for example, an occupation grid map as the environment map OGM.
  • step S ⁇ b>48 the subject region extracting unit 41 determines whether or not the field of view of the non-rear camera is blocked by the object OT based on the environment map OGM and the position information of the moving body 3 . Obstruction of the field of vision means a state in which a far distance cannot be seen by the object OT.
  • step S48 the subject area extraction unit 41 extracts the area where the image of the non-rear camera is captured as the subject area SUA.
  • the subject area extraction unit 41 extracts the area where the image of the non-rear camera is captured as the subject area SUA.
  • the image of the rear camera and the image of the non-rear camera having a field of view FV in the direction in which there are few objects OT that block the field of view are photographed. It is extracted as area SUA.
  • the depth estimation unit 12 generates a parallax map PM of the subject area SUA.
  • the parallax histogram collection unit 13 generates a histogram HG of parallax PR based on the parallax map PM of the subject area SUA.
  • the parallax histogram tallying unit 13 determines whether or not the histogram HG has been tallied. For example, the parallax histogram aggregation unit 13 acquires information about the search result of the corresponding points CP in the subject area SUA from the depth estimation unit 12 . As described above, the depth estimation unit 12 searches for the mutual corresponding points CP between the slide image SLI and the second viewpoint image VPI2 by stereo matching. The depth estimation unit 12 determines that the parallax PR has been detected when the corresponding point CP exists within the search area SA, and cannot detect the parallax PR when the corresponding point CP does not exist within the search area SA. I judge.
  • the parallax histogram aggregation unit 13 acquires information from the depth estimation unit 12 indicating that the search for the corresponding points CP has succeeded, it determines that the histogram HG has been aggregated.
  • the parallax histogram aggregation unit 13 acquires information indicating that the search for the corresponding point CP has failed from the depth estimation unit 12, it determines that the histogram HG cannot be aggregated.
  • step S50 If it is determined in step S50 that the histogram HG has been tallied (step S50: Yes), the process proceeds to step S551.
  • step S51 the calibration deviation detection unit 14 performs calibration deviation detection processing. Subsequent processes (S52-S54) are the same as the processes (S30-S32) of FIG.
  • a histogram HG is selectively generated for a specific subject area SUA extracted from the stereo image STI. Therefore, the computation load is reduced when generating the histogram HG. Since histograms of areas other than the subject area SUA are not included as noise components, erroneous determinations are less likely to occur.
  • the post-stage module 15 carries out an abnormality handling process based on the detection information CDI indicating that calibration deviation has occurred.
  • the post-stage module 15 includes various configurations, such as a notification unit 151, an operation control unit 152, and a calibration unit 153, depending on the type of abnormality handling process. These configurations will be described below.
  • FIG. 22 is a diagram showing an example in which the movement speed is limited as the abnormality handling process.
  • the horizontal axis of FIG. 22 indicates the actual distance between the moving object and the obstacle.
  • the vertical axis in FIG. 2 indicates the estimated distance between the moving object and the obstacle estimated by the depth estimation unit 12 . If the distance between the moving object and the obstacle is large, the distance cannot be measured accurately, so the depth cannot be estimated. Depth can be estimated when the moving body approaches the obstacle to a certain distance (32 m in the example of FIG. 22).
  • the distance to the obstacle will be deviated.
  • the actual distance is 32m, but the estimated distance is 58m.
  • the moving speed of the moving object is suppressed to a speed that allows the object to avoid obstacles with a margin even if an unforeseen situation occurs. If the distance to the obstacle is estimated to be shorter than the actual distance due to the calibration error, the movement speed will not decrease even if the robot approaches the obstacle, and it may not be possible to successfully avoid the obstacle. Therefore, when the detection information CDI is acquired, the operation control unit 152 makes the moving speed lower than the set speed that was set before the detection information CDI was acquired.
  • the moving speed set based on the estimated distance to the obstacle estimated without considering the calibration deviation is set as the first set speed.
  • the operation control unit 152 switches the movement speed immediately after acquiring the detection information CDI to a second set speed that is lower than the first set speed.
  • the detection information CDI is output when the obstacle approaches to a distance of 20 m.
  • the motion control unit 152 reduces the moving speed in response to acquisition of the detection information CDI. This will brake before you get too close to the obstacle. Since the movement speed to obstacles decreases, it becomes easier to avoid obstacles when approaching them.
  • FIG. 23 is a diagram showing an example of notifying the user as the abnormality handling process.
  • the notification unit 151 When the detection information CDI is acquired, the notification unit 151 notifies the user that calibration deviation has occurred.
  • a warning message NM is displayed in the message field MF of the proportional control system PCS.
  • a camera indicator CI corresponding to each stereo camera 20 is displayed in the proportional control system PCS.
  • the notification unit 151 lights the camera indicator CI corresponding to the stereo camera 20 in which calibration deviation has occurred. This notifies which stereo camera 20 has the calibration deviation. By providing such notification, it is possible to urge the user to take appropriate measures when calibration deviation occurs.
  • 24 and 25 are diagrams showing other examples of notification.
  • the moving body MB is equipped with a light LT for notifying the calibration deviation.
  • a light LT is installed for each stereo camera 20 .
  • the notification sound NS is output by the speaker built into the proportional control system PCS. The notification sound NS allows the user to recognize that calibration deviation has occurred.
  • the calibration unit 153 calibrates the stereo camera 20 in response to detection of calibration deviation. Calibration is automatically performed by the internal mechanism of the moving body (auto-calibration). According to this configuration, it is possible to move stably while automatically canceling the calibration deviation.
  • the depth estimation unit 12 compares the lower boundary value Bmin of the parallax PR of this far area with the slide amount SLA. If no calibration deviation occurs, the lower limit boundary value Bmin matches the slide amount SLA. If there is a difference between the lower boundary value Bmin and the slide amount SLA, it is considered that the difference is caused by calibration deviation. Therefore, the depth estimation unit 12 estimates the difference between the lower limit boundary value Bmin and the slide amount SLA as the shift amount caused by the calibration deviation.
  • the image sliding unit 11 When calibration deviation occurs, the image sliding unit 11 generates a corrected image by sliding the first viewpoint image VPI1 in the parallax direction by the above-described shift amount (the difference between the lower limit boundary value Bmin and the slide amount SLA). .
  • the depth estimation unit 12 estimates the depth based on the second viewpoint image VPI2 and the corrected image. According to this configuration, it is possible to move stably while resolving the calibration deviation by software.
  • FIG. 26 is a diagram showing a hardware configuration example of the processing devices 10, 30, and 40. As shown in FIG.
  • the processing devices 10, 30, and 40 are implemented by a computer 1000 configured as shown in FIG. 26, for example.
  • Computer 1000 has CPU 1100 , RAM 1200 , ROM (Read Only Memory) 1300 , HDD (Hard Disk Drive) 1400 , communication interface 1500 and input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable non-temporary recording medium that non-temporarily records programs executed by the CPU 1100 and data used by the programs.
  • HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • CPU 1100 receives data from another device via communication interface 1500, and transmits data generated by CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • CPU 1100 receives data from an input device such as a keyboard or mouse via input/output interface 1600 .
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 implements the functions of the processing devices 10, 30, and 40 by executing the information processing program loaded on the RAM 1200.
  • the HDD 1400 also stores an information processing program according to the present disclosure, topography information acquired from the topography information database 52, and the like.
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • FIG. 27 is a diagram showing another example for avoiding the second effect due to the calibration deviation described above.
  • the search area SA is expanded in the parallax direction by the slide amount SLA using the slide image SLI.
  • the method of enlarging the search area SA is not limited to this.
  • the subject SU captured in the first viewpoint image VPI1 is projected as it is onto the second viewpoint image VPI2 without being slid.
  • the search for the corresponding point CP is performed from a position shifted to the left of the position of the subject SU captured in the first viewpoint image VPI1.
  • the search area SA expands leftward by the width ESA. If the subject SU captured in the second viewpoint image VPI2 is included in the enlarged area of the width ESA, the parallax PR becomes a negative value, but the corresponding point CP can be searched.
  • the present technology can also take the following configuration.
  • an image slide unit that generates a slide image by sliding the first viewpoint image in a parallax direction
  • a parallax histogram aggregation unit that generates a parallax histogram from the slide image and the second viewpoint image
  • a calibration deviation detection unit that determines that calibration deviation has occurred when the lower limit boundary value of the parallax in the histogram is smaller than the slide amount of the first viewpoint image
  • an operation control unit that sets a movement speed when the calibration deviation occurs to be smaller than a movement speed set based on an estimated distance to an obstacle estimated without considering the calibration deviation, The moving body according to (1) or (2) above.
  • (4) Having a calibration unit that performs calibration in response to detection of the calibration deviation, The moving body according to any one of (1) to (3) above.
  • (5) Based on the second viewpoint image and a corrected image obtained by sliding the first viewpoint image in the parallax direction by the difference between the lower limit boundary value and the slide amount when the calibration deviation occurs. Having a depth estimation unit that estimates depth, The moving body according to any one of (1) to (3) above.
  • a subject region extracting unit that extracts a subject region in which the parallax is predictable;
  • the parallax histogram aggregation unit selectively generates the histogram for the subject area,
  • the moving body according to any one of (1) to (5) above.
  • the subject region extracting unit extracts a sky region as the subject region using a semantic segmentation technique.
  • the subject area extracting unit extracts an area including a horizon as the subject area based on the altitude and geographic information of the moving object.
  • the subject area extracting unit determines the direction in which the moving body has moved based on the movement history of the moving body, and extracts an area in which an image in the direction in which the moving body has moved is captured as the subject area.
  • the subject area extracting unit determines a direction in which there are few objects blocking the view based on the environment map and the position information of the moving object, and extracts an area in which an image in the direction with few objects is captured as the subject area.
  • a computer-implemented information processing method comprising: (12) generating a slide image by sliding the first viewpoint image in the parallax direction; generating a disparity histogram from the slide image and the second viewpoint image; determining that a calibration deviation has occurred when the lower limit boundary value of the parallax in the histogram is smaller than the slide amount of the first viewpoint image;
  • a computer-implemented information processing method comprising: (12) generating a slide image by sliding the first viewpoint image in the parallax direction; generating a disparity histogram from the slide image and the second viewpoint image; determining that a calibration deviation has occurred when the lower limit boundary value of the parallax in the histogram is smaller than the slide amount of the first viewpoint image;
  • a program that makes a computer do something.

Abstract

移動体（１）は、画像スライド部（１１）と視差ヒストグラム集計部（１３）とキャリブレーションずれ検知部（１４）とを有する。画像スライド部（１１）は、第１視点画像（ＶＰＩ１）を視差方向にスライドさせたスライド画像（ＳＬＩ）を生成する。視差ヒストグラム集計部（１３）は、スライド画像（ＳＬＩ）と第２視点画像（ＶＰＩ２）とから視差のヒストグラム（ＨＧ）を生成する。キャリブレーションずれ検知部（１４）は、ヒストグラム（ＨＧ）における視差の下限境界値が第１視点画像（ＶＰＩ１）のスライド量よりも小さい場合にキャリブレーションずれが発生したと判定する。

Description

移動体、情報処理方法およびプログラム
　本発明は、移動体、情報処理方法およびプログラムに関する。
　車などの移動体にステレオカメラを取り付け、ステレオカメラで撮影した画像から物体を検出する技術が知られている。
特開２０１８－０２５９０６号公報
　ステレオカメラは、異なる視点で撮影を行うための複数の撮像部を有する。撮像部間の距離（基線長）はキャリブレーションによって調整される。しかし、移動時の振動によって撮像部間の相対位置にずれ（以下、キャリブレーションずれという）が生じることがある。キャリブレーションずれが生じた状態で移動を行うと、周囲の環境を正しく認識することができない。その結果、移動が不安定になることがある。
　そこで、本開示では、キャリブレーションずれを検知することが可能な移動体、情報処理方法およびプログラムを提案する。
　本開示によれば、第１視点画像を視差方向にスライドさせたスライド画像を生成する画像スライド部と、前記スライド画像と第２視点画像とから視差のヒストグラムを生成する視差ヒストグラム集計部と、前記ヒストグラムにおける前記視差の下限境界値が前記第１視点画像のスライド量よりも小さい場合にキャリブレーションずれが発生したと判定するキャリブレーションずれ検知部と、を有する移動体が提供される。また、本開示によれば、前記移動体の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記移動体の情報処理をコンピュータに実現させるプログラムが提供される。
ステレオカメラの概略図である。 デプスの推定方法を説明する図である。 デプスと視差との関係を示す図である。 キャリブレーションずれによる第１の影響を説明する図である。 キャリブレーションずれによる第１の影響を説明する図である。 キャリブレーションずれによる第１の影響を説明する図である。 キャリブレーションずれによる第２の影響を説明する図である。 キャリブレーションずれによる第２の影響を説明する図である。 キャリブレーションずれの検知手法を説明する図である。 キャリブレーションずれの検知手法を説明する図である。 キャリブレーションずれの検知手法を説明する図である。 第１実施形態の移動体の構成を示す図である。 処理装置が実施する情報処理の一例を示すフローチャートである。 第２実施形態の移動体の構成を示す図である。 被写体領域の一例を示す図である。 第３実施形態の移動体の構成を示す図である。 被写体領域の一例を示す図である。 ステレオカメラの選択方法の他の例を示す図である。 ステレオカメラの選択方法の他の例を示す図である。 移動履歴に基づく情報処理の一例を示す図である。 環境地図に基づく情報処理の一例を示す図である。 異常時対応処理として、移動速度の制限が行われる例を示す図である。 異常時対応処理として、ユーザへの通知が行われる例を示す図である。 通知の他の例を示す図である。 通知の他の例を示す図である。 処理装置のハードウェア構成例を示す図である。 キャリブレーションずれによる第２の影響を回避するための他の例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．概要］
　［１－１．ステレオカメラを用いた距離推定］
　［１－２．ステレオカメラのキャリブレーションずれによる影響１］
　［１－３．ステレオカメラのキャリブレーションずれによる影響２］
　［１－４．キャリブレーションずれの検知手法］
　　［１－４－１．探索領域の拡大］
　　［１－４－２．視差ヒストグラムを用いた検証処理］
［２．第１実施形態］
　［２－１．移動体の構成］
　［２－２．情報処理方法］
　［２－３．効果］
［３．第２実施形態］
　［３－１．移動体の構成］
　［３－２．効果］
［４．第３実施形態］
　［４－１．移動体の構成］
　［４－２．情報処理方法１］
　［４－３．情報処理方法２］
　［４－４．効果］
［５．異常時対応処理］
　［５－１．移動速度の制限］
　［５－２．ユーザへの通知］
　［５－３．オートキャリブレーション］
　［５－４．デプス補正］
［６．ハードウェア構成例］
［７．変形例］
［１．概要］
［１－１．ステレオカメラを用いた距離推定］
　図１は、ステレオカメラ２０の概略図である。
　ステレオカメラ２０は、第１撮像部２１と第２撮像部２２とを有する。ステレオカメラ２０は、例えば、支持部材２３を介してドローンなどの移動体の下部に取り付けられる。第１撮像部２１と第２撮像部２２とは所定の距離（基線長）だけ離れた位置（視点ＶＰ）に配置される。第１撮像部２１と第２撮像部２２とを結ぶ方向は、視差の生じる視差方向となる。物体までの距離（以下、「デプス」という）は、第１撮像部２１および第２撮像部２２から見える物体の視差に基づいて、三角測量等の手法を用いて推定される。
　図２は、デプスの推定方法を説明する図である。
　ステレオカメラ２０は、第１撮像部２１および第２撮像部２２を用いて被写体ＳＵを２つの視点ＶＰから同時に撮影する。これにより、第１視点画像ＶＰＩ１と第２視点画像ＶＰＩ２とを含むステレオ画像ＳＴＩが撮影される。第１視点画像ＶＰＩ１は、第１撮像部２１によって第１視点ＶＰ１から被写体ＳＵを撮影した画像である。第２視点画像ＶＰＩ２は、第２撮像部２２によって第２視点ＶＰ２から被写体ＳＵを撮影した画像である。
　ステレオカメラ２０は、例えばステレオマッチングによって、第１視点画像ＶＰＩ１と第２視点画像ＶＰＩ２との対応付けを画素ごとに行う。ステレオカメラ２０は、第１視点画像ＶＰＩ１を第２視点画像ＶＰＩ２に投影したときの対応点ＣＰどうしの距離を視差ＰＲとして算出する。ステレオカメラ２０は、第２視点画像ＶＰＩ２の各画素に視差ＰＲの情報を対応付けた視差マップＰＭ（図１０参照）を生成する。ステレオカメラ２０は、視差マップＰＭと基線長の情報とを用いて、三角測量法により、画素ごとにデプスＤＰを算出する。
　図３は、デプスＤＰと視差ＰＲとの関係を示す図である。
　図３の上段は、被写体ＳＵとステレオカメラ２０との距離が小さい例を示す。被写体ＳＵは、各撮像部の視野の中心よりも端部よりの位置で捉えられる。そのため、視差ＰＲは大きい。図３の下段は、被写体ＳＵとステレオカメラ２０との距離が大きい例を示す。被写体ＳＵは、各撮像部の視野の中心に近い位置で捉えられる。そのため、視差ＰＲは小さい。このように、デプスＤＰと視差ＰＲとは負の相関関係を有する。デプスＤＰが小さいほど視差ＰＲは大きくなり、デプスＤＰが大きいほど視差ＰＲは小さくなる。
［１－２．ステレオカメラのキャリブレーションずれによる影響１］
　図４ないし図６は、ステレオカメラ２０のキャリブレーションずれによる第１の影響を説明する図である。
　図４の左側の例は、第１撮像部２１および第２撮像部２２が正常な位置に固定された状態を示している。第１撮像部２１と第２撮像部２２との間の基線長は、キャリブレーションによって設定された値から変化していない。
　図４の右側の例は、第１撮像部２１と第２撮像部２２との間にキャリブレーションずれが発生した状態を示している。第１撮像部２１の位置は第２撮像部２２に近づく方向にずれている。第１撮像部２１が見る世界は第２撮像部２２側にずれるため、第１視点画像ＶＰＩ１内の被写体ＳＵの位置は、正常時に比べて第２撮像部２２側にずれる。
　図５に示すように、第１視点画像ＶＰＩ１を第２視点画像ＶＰＩ２に投影して対応点どうしの視差ＰＲを計算すると、正常時よりも小さい値が算出される。さらに、基線長は、キャリブレーションによって設定された値よりも小さくなっている。そのため、被写体ＳＵまでのデプスＤＰ２は、正常時のステレオ画像ＳＴＩから算出されるデプスＤＰ１よりも大きくなる。
　キャリブレーションずれは、熱や衝撃などの様々な理由によって発生する。キャリブレーションずれが発生したことを検知できなければ、キャリブレーションずれによって被写体ＳＵが遠くに見えてしまっているのか、本当に被写体ＳＵが遠くに存在するのかが区別できない。図６に示すように、高速で移動する移動体ＭＢが進行方向の障害物（被写体ＳＵ）の距離を遠くに誤って検出してしまった場合、障害物を認識していたとしても衝突してしまう可能性がある。例えば、障害物に接近したときに移動体ＭＢは止まろうとするが、認識よりも近くに障害物があるため、止まり切れずにぶつかってしまう可能性がある。
［１－３．ステレオカメラのキャリブレーションずれによる影響２］
　図７および図８は、ステレオカメラ２０のキャリブレーションずれによる第２の影響を説明する図である。
　図７に示すように、視差ＰＲを演算するに際して、マッチング処理による対応点ＣＰの探索が行われる。例えば、第１撮像部２１が被写体ＳＵを右側から撮影する右カメラであり、第２撮像部２２が被写体ＳＵを左側から撮影する左カメラであるとする。この場合、第１視点画像ＶＰＩ１を第２視点画像ＶＰＩ２に投影すると、第１視点画像ＶＰＩ１に写る被写体ＳＵは第２視点画像ＶＰＩ２に写る被写体ＳＵよりも必ず左側に配置される。マッチング処理における演算の負荷を軽減するために、対応点ＣＰの探索は、第１視点画像ＶＰＩ１に写る被写体ＳＵの位置よりも右側の所定幅の探索領域ＳＡにおいて選択的に実施される。
　探索領域ＳＡ以外の領域は、非探索領域ＮＳＡとなる。非探索領域ＮＳＡでは、対応点ＣＰの探索は行われない。探索領域ＳＡの幅（探索が行われる視差方向の画素数）は、デプスの推定精度と演算の負荷とを考慮して設定される。以下の説明では、探索領域ＳＡの幅は、例えば、１２７画素に設定される。
　図４に示すように、第１撮像部２１の位置が左側（第２撮像部２２側）にずれると、第１視点画像ＶＰＩ１に写る被写体ＳＵの位置が右側にずれる。図８に示すように、第１視点画像ＶＰＩ１に写る被写体ＳＵの位置が第２視点画像ＶＰＩ２に写る被写体ＳＵの位置よりも右側に配置されると、第２視点画像ＶＰＩ２の対応点ＣＰが非探索領域ＮＳＡに配置され、対応点ＣＰの探索に失敗する。
［１－４．キャリブレーションずれの検知手法］
　図９ないし図１１は、キャリブレーションずれの検知手法を説明する図である。キャリブレーションずれの検知は、スライド画像ＳＬＩを用いた探索領域ＳＡの拡大と、視差ヒストグラムを用いた検証処理と、により実現される。
［１－４－１．探索領域の拡大］
　図９は、探索領域ＳＡの拡大手法を説明する図である。
　上述のように、キャリブレーションずれが発生すると、第１視点画像ＶＰＩ１と第２視点画像ＶＰＩ２の相対位置がずれ、対応点ＣＰの探索に失敗する可能性がある。そのため、本開示では、第１視点画像ＶＰＩ１に写る被写体ＳＵの位置が、予め設定されたスライド量ＳＬＡだけ、視差ＰＲが大きくなる方向（図９の例では左側）にスライドされる。そして、被写体ＳＵの位置がスライドされたスライド画像ＳＬＩが第２視点画像ＶＰＩ２に投影される。対応点ＣＰの探索は、スライド画像ＳＬＩと第２視点画像ＶＰＩ２との間で行われる。この構成によれば、探索領域ＳＡはスライド量ＳＬＡだけ拡大される。そのため、キャリブレーションずれが発生しても、対応点ＣＰの探索に失敗しにくくなる。
　スライド量ＳＬＡは、例えば、第２視点画像ＶＰＩ２中の画素の数で表される。スライド量ＳＬＡは、例えば、２画素以上１０画素以下である。以下の説明では、スライド量ＳＬＡは、例え６画素に設定される。
［１－４－２．視差ヒストグラムを用いた検証処理］
　図１０および図１１は、視差ヒストグラムを用いたキャリブレーションずれの検証処理を説明する図である。
　前述のように、第２視点画像ＶＰＩ２には、第１視点画像ＶＰＩを視差方向にスライドさせたスライド画像ＳＬＩが投影される。図１０に示すように、第２視点画像ＶＰＩとスライド画像ＳＬＩとの視差ＰＲを画素ごとに算出して視差マップＰＭが生成される。視差マップＰＭは、第２視点画像ＶＰＩ２の各画素に視差ＰＲの値を関連付けて生成される。図１０には、各画素の視差ＰＲの大きさを色で表現した視差マップＰＭが示されている。
　視差マップＰＭに基づいて視差ＰＲのヒストグラムＨＧが生成される。集計の対象となる視差マップＰＭの画像領域はユーザによって設定することができる。本実施形態では、例えば、視差マップＰＭ内の全ての画素の視差ＰＲのデータが集計される。
　図１１に示すように、ヒストグラムＨＧの分布はスライド量ＳＬＡによって変化する。例えば、図１１の上段は、スライド量ＳＬＡが０である例（スライド処理が実施されない参考例）を示しており、図１１の下段は、スライド量ＳＬＡがＸである例を示している。図１１の下段の例では、ヒストグラムＨＧの分布はスライド量ＳＬＡだけ視差方向にスライドする。探索領域ＳＡの変動に伴って、視差ＰＲの下限値である下限境界値Ｂｍｉｎと、視差ＰＲの上限値である上限境界値Ｂｍａｘの値も変化する。
　なお、下限境界値Ｂｍｉｎは、有意な頻度を有する最小の視差ＰＲを意味する。上限境界値Ｂｍａｘは、有意な頻度を有する最大の視差ＰＲを意味する。有意な頻度を有するか否かは、予め設定された基準に基づいて判定される。例えば、ノイズと考えられるほど頻度が小さい場合（例えば、頻度が５以下）には、有意な頻度を有しないと判定される。
　例えば、図１１の上段の例では、キャリブレーションずれが発生していない場合（図１１の上段左側）の下限境界値Ｂｍｉｎは０であり、上限境界値Ｂｍａｘは１２７である。図４に示すように第１撮像部２１の視野ＦＶが左側にずれると、ヒストグラムＨＧの分布は、キャリブレーションずれが発生していない場合の分布をマイナス方向にずらしたような分布となる（図１１の上段右側を参照）。視差ＰＲがマイナスとなる方向には対応点ＣＰの探索は行われないため（非探索領域ＮＳＡ）、キャリブレーションずれが発生していない場合に現れていた視差ＰＲがゼロ付近の低視差領域ＬＰＡの分布はヒストグラムＨＧに反映されない。
　図１１の下段の例では、スライド画像ＳＬＩを用いてヒストグラムＨＧが生成される。そのため、ヒストグラムＨＧの分布は、キャリブレーションずれが発生していない場合に比べて全体的にスライド量ＳＬＡだけプラス方向にずれる（図１１の下段左側を参照）。この結果、ヒストグラムＨＧの下限境界値ＢｍｉｎはＸとなる。視差ＰＲが１２７よりも大きくなる方向には対応点ＣＰの探索は行われないため（非探索領域ＮＳＡ）、キャリブレーションずれが発生していない場合に現れていた視差ＰＲが１２７付近の高視差領域ＨＰＡの分布はヒストグラムＨＧに反映されない。
　図１１の下段の例において、図４に示すようなキャリブレーションずれが発生すると、ヒストグラムＨＧの分布は、キャリブレーションずれが発生していない場合の分布をマイナス方向にずらしたような分布となる（図１１の下段右側を参照）。スライド処理によって下限境界値Ｂｍｉｎがプラス方向にずれているため、低視差領域ＬＰＡの分布はヒストグラムＨＧに反映されやすい。
　図１１の下段左側に示すように、キャリブレーションずれが発生していない場合には、下限境界値Ｂｍｉｎはスライド量ＳＬＡと一致する。図１１の下段右側に示すように、キャリブレーションずれが発生している場合には、キャリブレーションずれに起因して下限境界値Ｂｍｉｎはマイナス側にずれる。そのため、下限境界値Ｂｍｉｎはスライド量ＳＬＡと一致しない。そのため、下限境界値Ｂｍｉｎとスライド量とを比較することにより、キャリブレーションずれが発生しているか否かを判定することができる。以下、上述したキャリブレーションずれの検知手法を採用した移動体の構成について説明する。
［２．第１実施形態］
［２－１．移動体の構成］
　図１２は、第１実施形態の移動体１の構成を示す図である。
　移動体１は、処理装置１０とステレオカメラ２０とを有する。処理装置１０は、ステレオカメラ２０で撮影されたステレオ画像ＳＴＩに基づいて各種情報を処理する情報処理装置である。ステレオ画像ＳＴＩには、第１撮像部２１によって第１視点ＶＰ１から撮影された第１視点画像ＶＰＩ１と、第２撮像部２２によって第２視点ＶＰ２から撮影された第２視点画像ＶＰＩ２と、が含まれる。ステレオカメラ２０の数は任意である。本実施形態では、例えば、異なる視野を有する複数のステレオカメラ２０が移動体１に搭載される。
　処理装置１０は、画像スライド部１１と、デプス推定部１２と、視差ヒストグラム集計部１３と、キャリブレーションずれ検知部１４と、後段モジュール１５と、を有する。
　画像スライド部１１は、第１視点画像ＶＰＩ１を視差方向にスライドさせたスライド画像ＳＬＩを生成する。スライド方向は、スライド画像ＳＬＩを第２視点画像ＶＰＩ２に投影して視差ＰＲを算出する際に視差ＰＲが大きくなる方向である。スライド量ＳＬＡは、ユーザによって予め設定される。本実施形態では、例えば、スライド量ＳＬＡは６画素に設定される。
　デプス推定部１２は、スライド画像ＳＬＩと第２視点画像ＶＰＩ２とを用いて視差マップＰＭを生成する。例えば、デプス推定部１２は、スライド画像ＳＬＩを第２視点画像ＶＰＩ２に投影し、対応点ＣＰどうしの距離を視差ＰＲとして算出する。デプス推定部１２は、第２視点画像ＶＰＩ２の全ての画素について視差ＰＲを算出し、第２視点画像ＶＰＩ２の各画素に視差ＰＲの情報を対応付けた視差マップＰＭを生成する。
　視差マップＰＭは、キャリブレーションずれを検出するためのヒストグラムＨＧの生成処理に用いられる。キャリブレーションずれが発生していない場合には、デプス推定部１２は、ステレオカメラ２０から第１視点画像ＶＰＩ１と第２視点画像ＶＰＩ２の双方を取得し、第１視点画像ＶＰＩ１および第２視点画像ＶＰＩ２に基づいて、被写体ＳＵのデプスを画素ごとに推定する。あるいは、デプス推定部１２は、視差マップＰＭをスライド量ＳＬＡに基づいて補正し、補正された視差マップＰＭに基づいて被写体ＳＵのデプスを画素ごとに推定してもよい。
　視差ヒストグラム集計部１３は、スライド画像ＳＬＩと第２視点画像ＶＰＩ２とから視差ＰＲのヒストグラムＨＧを生成する。例えば、視差ヒストグラム集計部１３は、視差マップＰＭに基づいて、視差ＰＲごとの頻度（画素の数）を算出する。これにより、視差ＰＲの頻度の分布を示すヒストグラムＨＧが生成される。
　キャリブレーションずれ検知部１４は、ヒストグラムＨＧにおける視差ＰＲの下限境界値Ｂｍｉｎが第１視点画像ＶＰＩ１のスライド量ＳＬＡよりも小さい場合にキャリブレーションずれが発生したと判定する。キャリブレーションずれ検知部１４は、キャリブレーションずれが発生したことを示す検知情報ＣＤＩを後段モジュール１５に出力する。
　後段モジュール１５は、検知情報ＣＤＩに基づいて異常時対応処理を実施する。後段モジュール１５は、通知部１５１、動作制御部１５２およびキャリブレーション部１５３など、異常時対応処理の種類に応じた種々の構成を含む。これらの機能については、図２２以降で説明する。
［２－２．情報処理方法］
　図１３は、処理装置１０が実施する情報処理の一例を示すフローチャートである。
　ステップＳ１において、処理装置１０は、ステレオカメラ２０から、第１視点画像ＶＰＩ１および第２視点画像ＶＰＩ２を含むステレオ画像ＳＴＩを取得する。第１視点画像ＶＰＩ１は画像スライド部１１に供給される。第２視点画像ＶＰＩ２はデプス推定部１２に供給される。
　ステップＳ２において、画像スライド部１１は、第１視点画像ＶＰＩ１を視差方向にスライドさせたスライド画像ＳＬＩを生成する。画像スライド部１１は、生成されたスライド画像ＳＬＩをデプス推定部１２に供給する。
　ステップＳ３において、デプス推定部１２は、第２視点画像ＶＰＩ２およびスライド画像ＳＬＩを用いてデプスの推定処理を行う。ステップＳ４において、デプス推定部１２は、デプスの推定が可能か否かを判定する。例えば、デプス推定部１２は、ステレオ画像ＳＴＩ（第２視点画像ＶＰＩ２）に白飛びやオクルージョンなどの欠陥がある場合には、デプスの推定ができないと判定する。ステレオ画像ＳＴＩに欠陥がなければ、デプス推定部１２は、デプスの推定が可能であると判定する。
　ステップＳ４においてデプスが推定できたと判定された場合には（ステップＳ４：Ｙｅｓ）、ステップＳ５に進む。ステップＳ５において、視差ヒストグラム集計部１３は、視差マップＰＭに基づいて視差ＰＲのヒストグラムＨＧを生成する。ステップＳ６において、視差ヒストグラム集計部１３は、ヒストグラムＨＧの集計ができたか否かを判定する。
　例えば、視差ヒストグラム集計部１３は、デプス推定部１２から、対応点ＣＰの探索結果に関する情報を取得する。前述のように、デプス推定部１２は、ステレオマッチングにより、スライド画像ＳＬＩと第２視点画像ＶＰＩ２の相互の対応点ＣＰを探索する。デプス推定部１２は、探索領域ＳＡ内に対応点ＣＰが存在する場合には、視差ＰＲが検出できたと判定し、探索領域ＳＡ内に対応点ＣＰが存在しない場合には、視差ＰＲが検出できないと判定する。
　視差ヒストグラム集計部１３は、デプス推定部１２から、対応点ＣＰの探索に成功した旨の情報を取得した場合には、ヒストグラムＨＧの集計ができたと判定する。視差ヒストグラム集計部１３は、デプス推定部１２から、対応点ＣＰの探索に失敗した旨の情報を取得した場合には、ヒストグラムＨＧの集計ができないと判定する。
　ステップＳ６においてヒストグラムＨＧの集計ができたと判定された場合には（ステップＳ６：Ｙｅｓ）、ステップＳ７に進む。ステップＳ７において、キャリブレーションずれ検知部１４は、キャリブレーションずれの検知処理を行う。
　ステップＳ８において、キャリブレーションずれ検知部１４は、ヒストグラムＨＧの下限境界値Ｂｍｉｎに基づいて、キャリブレーションずれが検知されたか否かを判定する。例えば、下限境界値Ｂｍｉｎが第１視点画像ＶＰＩ１のスライド量ＳＬＡよりも小さい場合には、キャリブレーションずれ検知部１４は、キャリブレーションずれが検知されたと判定する。下限境界値Ｂｍｉｎが第１視点画像ＶＰＩ１のスライド量ＳＬＡと同じかそれよりも大きい場合には、キャリブレーションずれ検知部１４は、キャリブレーションずれが検知されたか否かは不明であると判定する。
　ステップＳ８においてキャリブレーションずれが検知されたと判定された場合には（ステップＳ８：Ｙｅｓ）、ステップＳ９に進む。ステップＳ９において、後段モジュール１５は、異常時対応処理を実施する。
　ステップＳ４においてデプスが推定できないと判定された場合（ステップＳ４：Ｎｏ）、ステップＳ６においてヒストグラムＨＧの集計ができないと判定された場合（ステップＳ６：Ｎｏ）、および、ステップＳ８においてキャリブレーションずれが検知されたか否かが不明であると判定された場合（ステップＳ８：Ｎｏ）には、ステップＳ１０に進む。ステップＳ１０において、処理装置１０は、処理を終了するか否かを判定する。処理装置１０は、例えば、ユーザから終了信号を受信し場合に処理を終了すると判定する。処理を終了しない場合には、ステップＳ１に戻り、終了信号を受信するまで上述の処理が繰り返される。
［２－３．効果］
　移動体１は、画像スライド部１１と視差ヒストグラム集計部１３とキャリブレーションずれ検知部１４とを有する。画像スライド部１１は、第１視点画像ＶＰＩ１を視差方向にスライドさせたスライド画像ＳＬＩを生成する。視差ヒストグラム集計部１３は、スライド画像ＳＬＩと第２視点画像ＶＰＩ２とから視差ＰＲのヒストグラムＨＧを生成する。キャリブレーションずれ検知部１４は、ヒストグラムＨＧにおける視差ＰＲの下限境界値Ｂｍｉｎが第１視点画像ＶＰＩ１のスライド量ＳＬＡよりも小さい場合にキャリブレーションずれが発生したと判定する。本実施形態の情報処理方法は、上述した移動体１の処理がコンピュータにより実行される。本実施形態のプログラムは、上述した移動体の処理をコンピュータに実現させる。
　この構成によれば、ヒストグラムＨＧにおける視差ＰＲの値がスライド量ＳＬＡだけ全体的に底上げされる。キャリブレーションずれが発生していなければ、視差ＰＲは必ずスライド量ＳＬＡと同じかそれよりも大きくなる。そのため、視差ＰＲの下限境界値Ｂｍｉｎとスライド量ＳＬＡとを比較することで、キャリブレーションずれが発生しているか否かが容易に検知される。
［３．第２実施形態］
［３－１．移動体の構成］
　図１４は、第２実施形態の移動体２の構成を示す図である。
　本実施形態において第１実施形態と異なる点は、キャリブレーションずれを検知しやすいと予想される画像領域に対して選択的にヒストグラムＨＧが生成される点である。以下、第１実施形態との相違点を中心に説明を行う。
　処理装置３０は、被写体領域抽出部３１を有する。被写体領域抽出部３１は、視差ＰＲが予測可能な被写体領域ＳＵＡを第２視点画像ＶＰＩ２から抽出する。視差ヒストグラム集計部１３は、被写体領域ＳＵＡに対して選択的にヒストグラムＨＧを生成する。
　図１５は、被写体領域ＳＵＡの一例を示す図である。
　被写体領域ＳＵＡは、例えば、ステレオカメラ２０からの距離が十分に大きく、視差ＰＲがゼロとみなせるような被写体ＳＵが写る画像領域である。図１５の例では、被写体領域抽出部３１は、第２視点画像ＶＰＩ２から、空の領域を被写体領域ＳＵＡとして抽出する。被写体領域ＳＵＡは、例えば、物体認識の手法の一つであるセマンティックセグメンテーションの手法を用いて抽出される。
　空までの距離は無限大とみなすことができる。そのため、空の領域の視差ＰＲはゼロとみなすことができる。キャリブレーションずれが発生していなければ、ヒストグラムＨＧにおける視差ＰＲの下限境界値Ｂｍｉｎはスライド量ＳＬＡと一致する。視差ＰＲの下限境界値Ｂｍｉｎがスライド量ＳＬＡよりも小さい場合には、キャリブレーションずれが発生していると判定することができる。
［３－２．効果］
　本実施形態では、ステレオ画像ＳＴＩから抽出された特定の被写体領域ＳＵＡに対して選択的にヒストグラムＨＧが生成される。そのため、ヒストグラムＨＧを生成する際の演算の負荷が軽減される。被写体領域ＳＵＡ以外の領域のヒストグラムがノイズ成分として含まれないため、誤判定が生じにくい。
［４．第３実施形態］
［４－１．移動体の構成］
　図１６は、第３実施形態の移動体３の構成を示す図である。
　本実施形態において第２実施形態と異なる点は、被写体領域抽出部４１が、視界の開けた方向を検知し、その方向に見える遠くの景色が写る領域を被写体領域ＳＵＡとして抽出する点である。以下、第２実施形態との相違点を中心に説明を行う。
　被写体領域抽出部４１は、例えば、移動体３の高度および地理情報に基づいて、地平線ＨＺ（図１７参照）の見える方向を検出する。被写体領域抽出部４１は、移動体３に搭載された複数のステレオカメラ２０から、地平線ＨＺの見える方向に視野ＦＶを有する１以上のステレオカメラ２０を選択する。被写体領域抽出部４１は、移動体３の高度および地理情報に基づいて、選択された１以上のステレオカメラ２０の画像から、地平線ＨＺを含む領域を被写体領域ＳＵＡとして抽出する。
　地平線ＨＺまでの距離はほぼ無限大とみなすことができる。そのため、地平線ＨＺが写る画像領域の視差ＰＲはゼロとみなすことができる。キャリブレーションずれが発生していない場合には、ヒストグラムＨＧにおける視差ＰＲの下限境界値Ｂｍｉｎはスライド量ＳＬＡと一致する。視差ＰＲの下限境界値Ｂｍｉｎがスライド量ＳＬＡよりも小さい場合には、キャリブレーションずれが発生していると判定することができる。
　例えば、処理装置４０は、高度情報センシング部５１および地形情報データベース５２を有する。高度情報センシング部５１は、移動体３の高度の情報を検出する。高度情報センシング部５１としては、例えば、気圧高度計または電波高度計が用いられる。地形情報データベース５２は、地理的位置に地表または建物の３次元形状が関連づけられた地形情報を記憶する。地形情報は、例えば、国土地理院の基盤地図情報を用いて生成される。被写体領域抽出部４１は、高度情報センシング部５１から取得した高度情報、および、地形情報データベース５２から取得した地形情報に基づいて被写体領域ＳＵＡを抽出する。
　図１７は、被写体領域ＳＵＡの一例を示す図である。
　移動体３は、高度情報および地形情報に基づいて、地平線ＨＺの方向に視野ＦＶを有するステレオカメラ２０を選択する。被写体領域抽出部４１は、選択されたステレオカメラ２０の映像（第２視点画像ＶＰＩ２）から、セマンティックセグメンテーションの手法を用いて、地平線ＨＺを含む画像領域を被写体領域ＳＵＡとして抽出する。
　図１８は、ステレオカメラ２０の選択方法の他の例を示す図である。
　図１８の例では、移動体３の移動履歴ＭＨに基づいてステレオカメラ２０の選択が行われる。例えば、被写体領域抽出部４１は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）などの公知の手法を用いて移動履歴ＭＨを検出する。被写体領域抽出部４１は、移動履歴ＭＨに基づいて、移動体３が移動してきた方向を判定する。被写体領域抽出部４１は、移動体３が移動してきた方向に視野ＦＶを有するステレオカメラ２０を選択する。被写体領域抽出部４１は、選択されたステレオカメラ２０の画像から、移動体３が移動してきた方向の画像が写る領域を被写体領域ＳＵＡとして抽出する。
　移動体３が移動してきた方向には、視界を遮る物体が少ない開けた空間が広がっていると推測される。ステレオカメラ２０の画像には遠くの景色が写っていると推測される。遠くの景色までの距離はほぼ無限大とみなすことができる。そのため、遠くの景色が写る領域の視差ＰＲはゼロとみなすことができる。キャリブレーションずれが発生していない場合には、ヒストグラムＨＧにおける視差ＰＲの下限境界値Ｂｍｉｎはスライド量ＳＬＡと一致する。視差ＰＲの下限境界値Ｂｍｉｎがスライド量ＳＬＡよりも小さい場合には、キャリブレーションずれが発生していると判定することができる。
　図１９は、ステレオカメラ２０の選択方法の他の例を示す図である。
　図１９の例では、被写体領域抽出部４１は、環境地図ＯＧＭと移動体３の位置情報とに基づいて、視界を遮る物体ＯＴが少ない方向を判定する。被写体領域抽出部４１は、視界を遮る物体ＯＴが少ない方向に視野ＦＶを有するステレオカメラ２０を選択する。被写体領域抽出部４１は、選択されたステレオカメラ２０の画像から、視界を遮る物体ＯＴが少ない方向の画像が写る領域を被写体領域ＳＵＡとして抽出する。
　環境地図ＯＧＭは、周辺環境の情報を記述した地図である。本実施形態では、環境地図ＯＧＭとして、例えば、占有格子地図が用いられる。占有格子地図は、地点間の距離および方位を保存した計量地図の一種である。占有格子地図では、環境が複数のグリッドに分割され，グリッド毎に物体ＯＴの存在確率が保存される。被写体領域抽出部４１は、ＳＬＡＭなどの公知の手法を用いて環境地図ＯＧＭを生成する。
　図１９の例では、移動体３には４つのステレオカメラ２０が搭載されている。移動方向を基準として、前方と左方向には界を遮る大きな物体ＯＴが存在する。そのため、前方のステレオカメラ２０Ａと左側のステレオカメラ２０Ｂは、物体ＯＴによって視界が遮られる可能性が高い。一方、後方は移動体３が移動してきた方向であり、視界を遮る物体ＯＴが少ない開けた空間となっている。環境地図ＯＧＭによれば、右方向も視界を遮る物体ＯＴの少ない開けた空間となっている。よって、後方のステレオカメラ２０Ｃと右側のステレオカメラ２０Ｄは、物体ＯＴによって視界が遮られる可能性は低い。
　視界を遮る物体ＯＴが少ない方向に視野ＦＶを有するステレオカメラ２０の画像には、遠くの景色が写っていると推測される。遠くの景色までの距離はほぼ無限大とみなすことができる。そのため、遠くの景色が写る領域の視差ＰＲはゼロとみなすことができる。キャリブレーションずれが発生していない場合には、ヒストグラムＨＧにおける視差ＰＲの下限境界値Ｂｍｉｎはスライド量ＳＬＡと一致する。視差ＰＲの下限境界値Ｂｍｉｎがスライド量ＳＬＡよりも小さい場合には、キャリブレーションずれが発生していると判定することができる。
［４－２．情報処理方法１］
　図２０は、図１４および図１８で説明した移動履歴ＭＨに基づく情報処理の一例を示す図である。ステップＳ２１～Ｓ２４，Ｓ２９～Ｓ３２は、図１３に示したステップＳ１～Ｓ４，Ｓ７～Ｓ１０と同様である。そのため、図１３との相違点を中心に説明する。
　ステップＳ２４においてデプスが推定できたと判定された場合には（ステップＳ２４：Ｙｅｓ）、ステップＳ２５に進む。ステップＳ２５において、被写体領域抽出部３１は、ＳＬＡＭによって生成された移動体３の移動履歴ＭＨを参照する。ステップＳ２６において、被写体領域抽出部３１は、利用中または利用可能なステレオカメラ２０が今まで移動してきた方向に視野を有するか否かを判定する。
　ステップＳ２６において、移動体３が移動してきた方向に視野ＦＶを有するステレオカメラ２０が存在する場合には（ステップＳ２６：Ｙｅｓ）、ステップＳ２７に進む。ステップＳ２７において、被写体領域抽出部３１は、移動体３が移動してきた方向に視野ＦＶを有するステレオカメラ２０の画像が写る領域を被写体領域ＳＵＡとして抽出する。デプス推定部１２は、被写体領域ＳＵＡの視差マップＰＭを生成する。視差ヒストグラム集計部１３は、被写体領域ＳＵＡの視差マップＰＭに基づいて視差ＰＲのヒストグラムＨＧを生成する。
　ステップＳ２８において、視差ヒストグラム集計部１３は、ヒストグラムＨＧの集計ができたか否かを判定する。例えば、視差ヒストグラム集計部１３は、デプス推定部１２から、被写体領域ＳＵＡにおける対応点ＣＰの探索結果に関する情報を取得する。前述のように、デプス推定部１２は、ステレオマッチングにより、スライド画像ＳＬＩと第２視点画像ＶＰＩ２の相互の対応点ＣＰを探索する。デプス推定部１２は、探索領域ＳＡ内に対応点ＣＰが存在する場合には、視差ＰＲが検出できたと判定し、探索領域ＳＡ内に対応点ＣＰが存在しない場合には、視差ＰＲが検出できないと判定する。
　視差ヒストグラム集計部１３は、デプス推定部１２から、対応点ＣＰの探索に成功した旨の情報を取得した場合には、ヒストグラムＨＧの集計ができたと判定する。視差ヒストグラム集計部１３は、デプス推定部１２から、対応点ＣＰの探索に失敗した旨の情報を取得した場合には、ヒストグラムＨＧの集計ができないと判定する。
　ステップＳ２８においてヒストグラムＨＧの集計ができたと判定された場合には（ステップＳ２８：Ｙｅｓ）、ステップＳ２９に進む。ステップＳ２９において、キャリブレーションずれ検知部１４は、キャリブレーションずれの検知処理を行う。以降の処理（Ｓ２９～Ｓ３２）は、図１３の処理（Ｓ７～Ｓ１０）と同様である。
［４－３．情報処理方法２］
　図２１は、図１６および図１９で説明した環境地図ＯＧＭに基づく情報処理の一例を示す図である。ステップＳ４１～Ｓ４６，Ｓ４９～Ｓ５４は、図２０に示したステップＳ２１～Ｓ３２と同様である。そのため、図２０との相違点を中心に説明する。
　ステップＳ４６において、移動体４が移動してきた方向に視野ＦＶを有するステレオカメラ２０（後方カメラ）が存在する場合には（ステップＳ４６：Ｙｅｓ）、ステップＳ４９に進む。ステップＳ４９において、被写体領域抽出部４１は、後方カメラの画像が写る領域を被写体領域ＳＵＡとして抽出する。
　ステップＳ４６において、移動体４が移動してきた方向以外の方向に視野ＦＶを有するステレオカメラ２０（非後方カメラ）が存在する場合には（ステップＳ４６：Ｎｏ）、ステップＳ４７に進む。ステップＳ４７において、被写体領域抽出部４１は、環境地図ＯＧＭとして例えば占有格子地図を生成する。ステップＳ４８において、被写体領域抽出部４１は、環境地図ＯＧＭと移動体３の位置情報とに基づいて、非後方カメラの視界が物体ＯＴによって遮られないか判定する。視界が遮られるとは物体ＯＴによって遠くが見通せない状態を意味する。
　ステップＳ４８において非後方カメラの視界が物体ＯＴによって遮られないと判定された場合には（ステップＳ４８：Ｙｅｓ）、ステップＳ４９に進む。ステップＳ４９において、被写体領域抽出部４１は、非後方カメラの画像が写る領域を被写体領域ＳＵＡとして抽出する。これにより、複数のステレオカメラ２０によって撮影される全方向の画像のうち、後方カメラの画像と、視界を遮る物体ＯＴが少ない方向に視野ＦＶを有する非後方カメの画像と、が写る領域が被写体領域ＳＵＡとして抽出される。デプス推定部１２は、被写体領域ＳＵＡの視差マップＰＭを生成する。視差ヒストグラム集計部１３は、被写体領域ＳＵＡの視差マップＰＭに基づいて視差ＰＲのヒストグラムＨＧを生成する。
　ステップＳ５０において、視差ヒストグラム集計部１３は、ヒストグラムＨＧの集計ができたか否かを判定する。例えば、視差ヒストグラム集計部１３は、デプス推定部１２から、被写体領域ＳＵＡにおける対応点ＣＰの探索結果に関する情報を取得する。前述のように、デプス推定部１２は、ステレオマッチングにより、スライド画像ＳＬＩと第２視点画像ＶＰＩ２の相互の対応点ＣＰを探索する。デプス推定部１２は、探索領域ＳＡ内に対応点ＣＰが存在する場合には、視差ＰＲが検出できたと判定し、探索領域ＳＡ内に対応点ＣＰが存在しない場合には、視差ＰＲが検出できないと判定する。
　視差ヒストグラム集計部１３は、デプス推定部１２から、対応点ＣＰの探索に成功した旨の情報を取得した場合には、ヒストグラムＨＧの集計ができたと判定する。視差ヒストグラム集計部１３は、デプス推定部１２から、対応点ＣＰの探索に失敗した旨の情報を取得した場合には、ヒストグラムＨＧの集計ができないと判定する。
　ステップＳ５０においてヒストグラムＨＧの集計ができたと判定された場合には（ステップＳ５０：Ｙｅｓ）、ステップＳ５５１に進む。ステップＳ５１において、キャリブレーションずれ検知部１４は、キャリブレーションずれの検知処理を行う。以降の処理（Ｓ５２～Ｓ５４）は、図２０の処理（Ｓ３０～Ｓ３２）と同様である。
［４－４．効果］
　本実施形態でも、ステレオ画像ＳＴＩから抽出された特定の被写体領域ＳＵＡに対して選択的にヒストグラムＨＧが生成される。そのため、ヒストグラムＨＧを生成する際の演算の負荷が軽減される。被写体領域ＳＵＡ以外の領域のヒストグラムがノイズ成分として含まれないため、誤判定が生じにくい。
［５．異常時対応処理］
　前述のように、後段モジュール１５は、キャリブレーションずれが発生したことを示す検知情報ＣＤＩに基づいて異常時対応処理を実施する。後段モジュール１５は、通知部１５１、動作制御部１５２およびキャリブレーション部１５３など、異常時対応処理の種類に応じた種々の構成を含む。以下、これらの構成について説明する。
［５－１．移動速度の制限］
　図２２は、異常時対応処理として、移動速度の制限が行われる例を示す図である。
　図２２の横軸は、移動体と障害物との実際の距離を示す。図２の縦軸は、デプス推定部１２によって推定された移動体と障害物との推定距離を示す。移動体と障害物との距離が大きいと精度のよい距離測定ができないため、デプスの推定が行われない。移動体が障害物に対してある距離（図２２の例では３２ｍ）まで近づくとデプスの推定が可能となる。
　キャリブレーションずれが発生すると、障害物までの距離にずれが生じる。図２２の例では、実際の距離は３２ｍであるが、推定距離は５８ｍとなっている。移動体の移動速度は、不測の事態が発生しても余裕をもって障害物を避けられる程度の速度に抑えられている。障害物までの距離がキャリブレーションずれによって実際の距離よりも短く推定されると、障害物に近づいても移動速度が小さくならず、障害物をうまく回避することができなくなる可能性がある。そのため、動作制御部１５２は、検知情報ＣＤＩが取得されると、移動速度を、検知情報ＣＤＩが取得される前に設定された設定速度よりも小さくする。
　例えば、検知情報ＣＤＩが取得される前に、キャリブレーションずれを考慮せずに推定された障害物までの推定距離に基づいて設定された移動速度を第１設定速度とする。動作制御部１５２は、検知情報ＣＤＩによってキャリブレーションずれが発生したことを検知すると、検知情報ＣＤＩを取得した直後の移動速度を第１設定速度よりも小さい第２設定速度に切り替える。図２２の例では、障害物まで２０ｍの距離まで近づいたときに検知情報ＣＤＩが出力される。動作制御部１５２は、検知情報ＣＤＩを取得したことに応答して移動速度を下げる。これにより、障害物に近づきすぎる前にブレーキがかかる。障害物への移動速度が小さくなるため、障害物に接近した際に障害物を回避しやすくなる。
［５－２．ユーザへの通知］
　図２３は、異常時対応処理として、ユーザへの通知が行われる例を示す図である。
　通知部１５１は、検知情報ＣＤＩが取得されると、キャリブレーションずれが発生したことをユーザに通知する。図２３の例では、プロポーショナルコントロールシステムＰＣＳのメッセージフィールドＭＦに警告メッセージＮＭが表示される。プロポーショナルコントロールシステムＰＣＳには、各ステレオカメラ２０に対応したカメラインジケータＣＩが表示されている。通知部１５１は、キャリブレーションずれが発生したステレオカメラ２０に対応するカメラインジケータＣＩを点灯する。これにより、どのステレオカメラ２０にキャリブレーションずれが発生したかが通知される。このような通知が行われることにより、キャリブレーションずれが発生した際にユーザに適切な対応を促すことができる。
　図２４および図２５は、通知の他の例を示す図である。
　図２４の例では、移動体ＭＢに、キャリブレーションずれを通知するためのライトＬＴが搭載されている。ライトＬＴは、ステレオカメラ２０ごとに設置されている。キャリブレーションずれが発生したステレオカメラ２０に対応するライトＬＴを点灯させることで、どのステレオカメラ２０にキャリブレーションずれが発生したかが通知される。図２５の例では、プロポーショナルコントロールシステムＰＣＳに内蔵されたスピーカによって通知音ＮＳが出力される。ユーザは通知音ＮＳによって、キャリブレーションずれが発生したことを認識することができる。
［５－３．オートキャリブレーション］
　キャリブレーション部１５３は、キャリブレーションずれが検知されたことに応答してステレオカメラ２０のキャリブレーションを実施する。キャリブレーションは、移動体の内部機構によって自動で行われる（オートキャリブレーション）。この構成によれば、キャリブレーションずれを自動で解消しながら安定的に移動を行うことができる。
［５－４．デプス補正］
　図１１に示したように、キャリブレーションずれが発生すると、視差ＰＲの分布が全体的にシフトする。このシフト量がわかればデプスを補正することができる。例えば、ステレオ画像ＳＴＩに視差ＰＲがゼロとみなせるような遠方の領域が含まれている場合、デプス推定部１２は、この遠方の領域の視差ＰＲの下限境界値Ｂｍｉｎをスライド量ＳＬＡと比較する。キャリブレーションずれが発生していない場合には、下限境界値Ｂｍｉｎはスライド量ＳＬＡと一致する。下限境界値Ｂｍｉｎとスライド量ＳＬＡとの間に差がある場合には、その差はキャリブレーションずれに起因するものと考えられる。よって、デプス推定部１２は、下限境界値Ｂｍｉｎとスライド量ＳＬＡとの差をキャリブレーションずれに起因したシフト量と推定する。
　キャリブレーションずれが発生した場合に、画像スライド部１１は、第１視点画像ＶＰＩ１を上述のシフト量（下限境界値Ｂｍｉｎとスライド量ＳＬＡとの差）だけ視差方向にスライドさせた補正画像を生成する。デプス推定部１２は、第２視点画像ＶＰＩ２と補正画像とに基づいてデプスを推定する。この構成によれば、キャリブレーションずれをソフトウェア的に解消しながら安定的に移動を行うことができる。
［６．ハードウェア構成例］
　図２６は、処理装置１０，３０，４０のハードウェア構成例を示す図である。
　処理装置１０，３０，４０は、例えば図２６に示すような構成のコンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および当該プログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な非一時的記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介してキーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が処理装置１０，３０，４０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、処理装置１０，３０，４０の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、地形情報データベース５２から取得した地形情報などが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
［７．変形例］
　図２７は、前述したキャリブレーションずれによる第２の影響を回避するための他の例を示す図である。
　図８に示したように、キャリブレーションずれが発生すると、第２視点画像ＶＰＩ２の対応点ＣＰが非探索領域ＮＳＡに配置され、対応点ＣＰの探索に失敗する可能性がある。図９の方法では、スライド画像ＳＬＩを用いて探索領域ＳＡがスライド量ＳＬＡだけ視差方向に拡大された。しかし、探索領域ＳＡを拡大する手法はこれに限定されない。
　例えば、図２７の例では、第１視点画像ＶＰＩ１に写る被写体ＳＵはスライドされずにそのまま第２視点画像ＶＰＩ２に投影される。しかし、対応点ＣＰの探索は、第１視点画像ＶＰＩ１に写る被写体ＳＵの位置よりも左側にずれた位置から実施される。これにより、探索領域ＳＡが、幅ＥＳＡだけ左方向に広がる。第２視点画像ＶＰＩ２に写る被写体ＳＵが幅ＥＳＡの拡大領域に含まれれば、視差ＰＲは負の値になるが、対応点ＣＰの探索は可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［付記］
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１視点画像を視差方向にスライドさせたスライド画像を生成する画像スライド部と、
　前記スライド画像と第２視点画像とから視差のヒストグラムを生成する視差ヒストグラム集計部と、
　前記ヒストグラムにおける前記視差の下限境界値が前記第１視点画像のスライド量よりも小さい場合にキャリブレーションずれが発生したと判定するキャリブレーションずれ検知部と、
　を有する移動体。
（２）
　前記キャリブレーションずれが発生したことをユーザに通知する通知部を有する、
　上記（１）に記載の移動体。
（３）
　前記キャリブレーションずれが発生した場合の移動速度を、前記キャリブレーションずれを考慮せずに推定された障害物までの推定距離に基づいて設定された移動速度よりも小さくする動作制御部を有する、
　上記（１）または（２）に記載の移動体。
（４）
　前記キャリブレーションずれが検知されたことに応答してキャリブレーションを実施するキャリブレーション部を有する、
　上記（１）ないし（３）のいずれか１つに記載の移動体。
（５）
　前記キャリブレーションずれが発生した場合に、前記第２視点画像と、前記第１視点画像を、前記下限境界値と前記スライド量との差だけ前記視差方向にスライドさせた補正画像と、に基づいてデプスを推定するデプス推定部を有する、
　上記（１）ないし（３）のいずれか１つに記載の移動体。
（６）
　前記視差が予測可能な被写体領域を抽出する被写体領域抽出部を有し、
　前記視差ヒストグラム集計部は、前記被写体領域に対して選択的に前記ヒストグラムを生成する、
　上記（１）ないし（５）のいずれか１つに記載の移動体。
（７）
　前記被写体領域抽出部は、セマンティックセグメンテーションの手法を用いて空の領域を前記被写体領域として抽出する、
　上記（６）に記載の移動体。
（８）
　前記被写体領域抽出部は、前記移動体の高度および地理情報に基づいて、地平線を含む領域を前記被写体領域として抽出する、
　上記（６）に記載の移動体。
（９）
　前記被写体領域抽出部は、前記移動体の移動履歴に基づいて、前記移動体が移動してきた方向を判定し、前記移動体が移動してきた方向の画像が写る領域を前記被写体領域として抽出する、
　上記（６）に記載の移動体。
（１０）
　前記被写体領域抽出部は、環境地図と前記移動体の位置情報とに基づいて、視界を遮る物体が少ない方向を判定し、前記物体が少ない方向の画像が写る領域を前記被写体領域として抽出する、
　上記（６）に記載の移動体。
（１１）
　第１視点画像を視差方向にスライドさせたスライド画像を生成し、
　前記スライド画像と第２視点画像とから視差のヒストグラムを生成し、
　前記ヒストグラムにおける前記視差の下限境界値が前記第１視点画像のスライド量よりも小さい場合にキャリブレーションずれが発生したと判定する、
　ことを有する、コンピュータにより実行される情報処理方法。
（１２）
　第１視点画像を視差方向にスライドさせたスライド画像を生成し、
　前記スライド画像と第２視点画像とから視差のヒストグラムを生成し、
　前記ヒストグラムにおける前記視差の下限境界値が前記第１視点画像のスライド量よりも小さい場合にキャリブレーションずれが発生したと判定する、
　ことをコンピュータに実現させるプログラム。
１，２，３　移動体
１１　画像スライド部
１２　デプス推定部
１３　視差ヒストグラム集計部
１４　キャリブレーションずれ検知部
２０　ステレオカメラ
３１，４１　被写体領域抽出部
１５１　通知部
１５２　動作制御部
１５３　キャリブレーション部
Ｂｍｉｎ　下限境界値
ＦＶ　視野
ＨＧ　ヒストグラム
ＨＺ　地平線
ＭＨ　移動履歴
ＯＧＭ　環境地図
ＯＴ　視界を遮る物体
ＰＲ　視差
ＳＬＡ　スライド量
ＳＬＩ　スライド画像
ＳＵＡ　被写体領域
ＶＰＩ１　第１視点画像
ＶＰＩ２　第２視点画像

Claims (12)

  1. 　第１視点画像を視差方向にスライドさせたスライド画像を生成する画像スライド部と、
    　前記スライド画像と第２視点画像とから視差のヒストグラムを生成する視差ヒストグラム集計部と、
    　前記ヒストグラムにおける前記視差の下限境界値が前記第１視点画像のスライド量よりも小さい場合にキャリブレーションずれが発生したと判定するキャリブレーションずれ検知部と、
    　を有する移動体。
  2. 　前記キャリブレーションずれが発生したことをユーザに通知する通知部を有する、
    　請求項１に記載の移動体。
  3. 　前記キャリブレーションずれが発生した場合の移動速度を、前記キャリブレーションずれを考慮せずに推定された障害物までの推定距離に基づいて設定された移動速度よりも小さくする動作制御部を有する、
    　請求項１に記載の移動体。
  4. 　前記キャリブレーションずれが検知されたことに応答してキャリブレーションを実施するキャリブレーション部を有する、
    　請求項１に記載の移動体。
  5. 　前記キャリブレーションずれが発生した場合に、前記第２視点画像と、前記第１視点画像を、前記下限境界値と前記スライド量との差だけ前記視差方向にスライドさせた補正画像と、に基づいてデプスを推定するデプス推定部を有する、
    　請求項１に記載の移動体。
  6. 　前記視差が予測可能な被写体領域を抽出する被写体領域抽出部を有し、
    　前記視差ヒストグラム集計部は、前記被写体領域に対して選択的に前記ヒストグラムを生成する、
    　請求項１に記載の移動体。
  7. 　前記被写体領域抽出部は、セマンティックセグメンテーションの手法を用いて空の領域を前記被写体領域として抽出する、
    　請求項６に記載の移動体。
  8. 　前記被写体領域抽出部は、前記移動体の高度および地理情報に基づいて、地平線を含む領域を前記被写体領域として抽出する、
    　請求項６に記載の移動体。
  9. 　前記被写体領域抽出部は、前記移動体の移動履歴に基づいて、前記移動体が移動してきた方向を判定し、前記移動体が移動してきた方向の画像が写る領域を前記被写体領域として抽出する、
    　請求項６に記載の移動体。
  10. 　前記被写体領域抽出部は、環境地図と前記移動体の位置情報とに基づいて、視界を遮る物体が少ない方向を判定し、前記物体が少ない方向の画像が写る領域を前記被写体領域として抽出する、
    　請求項６に記載の移動体。
  11. 　第１視点画像を視差方向にスライドさせたスライド画像を生成し、
    　前記スライド画像と第２視点画像とから視差のヒストグラムを生成し、
    　前記ヒストグラムにおける前記視差の下限境界値が前記第１視点画像のスライド量よりも小さい場合にキャリブレーションずれが発生したと判定する、
    　ことを有する、コンピュータにより実行される情報処理方法。
  12. 　第１視点画像を視差方向にスライドさせたスライド画像を生成し、
    　前記スライド画像と第２視点画像とから視差のヒストグラムを生成し、
    　前記ヒストグラムにおける前記視差の下限境界値が前記第１視点画像のスライド量よりも小さい場合にキャリブレーションずれが発生したと判定する、
    　ことをコンピュータに実現させるプログラム。
PCT/JP2021/047184 2021-01-27 2021-12-21 移動体、情報処理方法およびプログラム WO2022163216A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-011219 2021-01-27
JP2021011219 2021-01-27

Publications (1)

Publication Number Publication Date
WO2022163216A1 true WO2022163216A1 (ja) 2022-08-04

Family

ID=82654468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047184 WO2022163216A1 (ja) 2021-01-27 2021-12-21 移動体、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2022163216A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133525A (ja) * 1995-11-10 1997-05-20 Nippon Soken Inc 距離計測装置
JP2010002280A (ja) * 2008-06-19 2010-01-07 Panasonic Corp 撮像装置、測距装置及び視差算出方法
JP2015191548A (ja) * 2014-03-28 2015-11-02 富士重工業株式会社 車外監視装置
JP2018508853A (ja) * 2015-01-16 2018-03-29 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ ステレオカメラの自己調整

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133525A (ja) * 1995-11-10 1997-05-20 Nippon Soken Inc 距離計測装置
JP2010002280A (ja) * 2008-06-19 2010-01-07 Panasonic Corp 撮像装置、測距装置及び視差算出方法
JP2015191548A (ja) * 2014-03-28 2015-11-02 富士重工業株式会社 車外監視装置
JP2018508853A (ja) * 2015-01-16 2018-03-29 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ ステレオカメラの自己調整

Similar Documents

Publication Publication Date Title
US10996062B2 (en) Information processing device, data management device, data management system, method, and program
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
EP3420530B1 (en) A device and method for determining a pose of a camera
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10699441B2 (en) Calibration apparatus, calibration method and storage medium
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
JP2019114126A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
US10659762B2 (en) Stereo camera
JPWO2012086821A1 (ja) 測位装置、測位方法
JP6499047B2 (ja) 計測装置、方法及びプログラム
JP2017102824A (ja) 追跡装置
US11948312B2 (en) Object detection/tracking device, method, and program recording medium
WO2022147655A1 (zh) 定位方法、空间信息获取方法、装置、拍摄设备
WO2022163216A1 (ja) 移動体、情報処理方法およびプログラム
JP3760426B2 (ja) 走行車線検出方法及びその装置
US11704815B2 (en) Tracking device, tracking method, and tracking system
JP2009104366A (ja) ステレオ画像処理方法
JP7334632B2 (ja) 物体追跡装置及び物体追跡方法
KR101646580B1 (ko) 하체 검출/추적 장치 및 방법
JP2020027328A (ja) 信号機推定装置、信号機推定方法およびプログラム
JP2006078261A (ja) 物体検出装置
KR102479976B1 (ko) 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법
KR102544972B1 (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21923219

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18261850

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21923219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP