WO2020090320A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2020090320A1
WO2020090320A1 PCT/JP2019/038544 JP2019038544W WO2020090320A1 WO 2020090320 A1 WO2020090320 A1 WO 2020090320A1 JP 2019038544 W JP2019038544 W JP 2019038544W WO 2020090320 A1 WO2020090320 A1 WO 2020090320A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
unit
processing apparatus
image
removal range
Prior art date
Application number
PCT/JP2019/038544
Other languages
English (en)
French (fr)
Inventor
崇史 正根寺
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2020090320A1 publication Critical patent/WO2020090320A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and an information processing program. Specifically, it relates to an object recognition process by a sensor mounted on a moving body.
  • ADAS system Advanced Driver Assistance System
  • the object recognition processing is performed, for example, by recognizing an object on an image captured by a camera, but an object that is detected by erroneous recognition or an object that does not need to be detected (such as an object with a low risk of collision). There are quite a few. In such a situation, if the collision is judged for all the detected objects, the information processing load increases.
  • the present disclosure proposes an information processing device, an information processing method, and an information processing program that can reduce the information processing load related to object recognition.
  • an information processing device is an acquisition unit that acquires an image captured by a sensor included in a moving body, and a road surface on which the sensor and the moving body travel. And a determination unit that dynamically determines a removal range that is a range in which the object included in the acquired image is removed from the detection target according to the relative relationship.
  • FIG. 9 It is a figure (9) explaining a calculation process concerning an embodiment of this indication. It is a figure explaining the determination processing which concerns on embodiment of this indication.
  • 3 is a flowchart showing a flow of processing according to the embodiment of the present disclosure. It is a figure explaining the information processing which concerns on the modification of this indication.
  • It is a block diagram showing an example of composition of schematic functions of a mobile control system to which this art can be applied. It is a hardware block diagram which shows an example of the computer which implement
  • Embodiment 1-1 Overview of information processing according to embodiment 1-2. Configuration of information processing apparatus according to embodiment 1-3. Information processing procedure according to embodiment 1-4. Modification of the embodiment 2. Other Embodiments 2-1. Configuration of moving body 2-2. Other 3. Hardware configuration
  • FIG. 1 is a diagram showing an outline of information processing according to the embodiment of the present disclosure.
  • the information processing according to the embodiment of the present disclosure is used, for example, for a process in which a predetermined moving body that performs automatic driving recognizes a surrounding object in order to prevent a collision or the like.
  • an automobile is taken as an example of the predetermined moving body.
  • the information processing according to the embodiment is executed by the information processing apparatus 100 (not shown in FIG. 1) mounted on the automobile.
  • the information processing device 100 observes the surrounding situation by the sensor and recognizes the surrounding objects based on the observation result.
  • the information processing apparatus 100 uses a stereo camera (hereinafter, simply referred to as “camera” unless otherwise specified) as a sensor to capture an image of the surroundings and acquire an image. Then, the information processing apparatus 100 detects an object, which is an object to be detected, by performing image recognition processing on the acquired image. For example, the information processing apparatus 100 detects a pre-learned target object on an image using a learning device that has been learned by using CNN (Convolutional Neural Network) or the like.
  • CNN Convolutional Neural Network
  • the information processing apparatus 100 can accurately detect an object by sequentially using filters of different sizes (for example, 5 ⁇ 5 pixels, 10 ⁇ 10 pixels, etc.) for one frame image. it can.
  • the object is an object that should be avoided from collision for the automobile, or an object that the automobile should recognize. Tail lamp etc.) etc.
  • the information processing apparatus 100 detects the object through the image recognition processing as described above, and tracks the movement of the detected object. In addition, the information processing device 100 controls automatic driving for avoiding an object and performs automatic braking control so as not to collide with the object. That is, the information processing apparatus 100 performs control for performing safe automatic driving while continuing the detection and tracking processing of the target object.
  • the information processing apparatus 100 needs to continue the image recognition processing for a predetermined number of frames (for example, 30 frames per second), the tracking processing of the target object, and the determination of the degree of danger to the target object. ..
  • the load of such information processing decreases as the number of objects to be tracked or to perform collision determination decreases.
  • the information processing apparatus 100 can take a measure such as removing the erroneously recognized target object from the tracking target and reducing the target object to be processed. As a result, the information processing apparatus 100 can reduce the processing load and reduce the possibility that the brake will malfunction.
  • the camera mounted on a car often shifts from the normal position due to the behavior of the car, etc., so the captured image also blurs. Since the height information of the target object is calculated based on the image, the blurred image causes an error in the estimation process of the height information of the target object. Therefore, if settings such as uniform removal of objects with a height exceeding a predetermined threshold are made, there is a risk that an object that does not actually exceed the height will be removed from the processing target due to an error in the calculation of height. There is. That is, it is difficult to appropriately remove the object estimated to be erroneously recognized from the processing target by a process such as uniformly removing the object having a height exceeding the predetermined threshold.
  • the information processing apparatus 100 dynamically determines a removal range that is a range in which an object included in an image is removed from a detection target according to a relative relationship between a camera and a road surface on which a vehicle travels.
  • the removal range may be read as a condition (determination criterion) for removing the detected object from the processing target.
  • the information processing apparatus 100 determines the threshold value of the height for removing the object from the detection target according to the angle formed by the camera and the road surface.
  • the angle formed by the camera with respect to the road surface is, in other words, a pitch (angle in the vertical direction of the camera) or a roll (rotation angle of the camera) caused by the behavior of the vehicle.
  • the information processing apparatus 100 can appropriately determine whether or not the detected object is an erroneous recognition by dynamically determining the removal range according to the pitch or roll generated in the vehicle.
  • the outline of information processing according to the embodiment of the present disclosure will be described using FIG. 1.
  • the image 10 shown in FIG. 1 is an image captured by a camera included in the information processing apparatus 100.
  • the information processing apparatus 100 captures the image 10 and detects an object included in the image 10.
  • the object detection process is executed using a learning device or the like learned in advance as described above.
  • the information processing apparatus 100 detects a bicycle located relatively near, a bicycle located relatively far, and a pedestrian in the image 10.
  • the information processing apparatus 100 displays the detected object in a rectangle.
  • the information processing apparatus 100 overlays the image 10 on a rectangle 12 indicating a bicycle located near, a rectangle 14 indicating a bicycle relatively distant, and a rectangle 16 indicating a pedestrian. Is displayed.
  • the rectangle 16 is one in which the information processing apparatus 100 misrecognizes a distant tree branch as a pedestrian.
  • each rectangle is formed by connecting line segments that pass through the respective end points (upper end, lower end, left end, right end) in contact with the detected object.
  • the information processing apparatus 100 detects the object and measures the distance to the object. For example, the information processing apparatus 100 measures a distance to an object by using a stereo distance measuring technique that uses two lenses of a stereo camera. Note that the information processing apparatus 100 is not limited to the stereo distance measurement technology, and any measurement device (for example, a distance measurement sensor that uses a laser or a distance measurement sensor that uses light such as LiDAR (Light Detection and Ranging)) May be used.
  • a distance measurement sensor that uses a laser or a distance measurement sensor that uses light such as LiDAR (Light Detection and Ranging)
  • FIG. 2 is a diagram illustrating a calculation process according to the embodiment of the present disclosure.
  • the information processing device 100 mounted on the automobile acquires an image captured by the camera 40.
  • the image captured by the camera 40 corresponds to the image 10 shown in FIG.
  • the image 10 includes a rectangle 16 that is erroneously recognized as a pedestrian and detected.
  • FIG. 2 shows an example of calculating the height Y from the line 44 indicating the road surface on which the automobile travels to the lower end of the rectangle 17 showing the actual object corresponding to the rectangle 16 of the imaging surface 20.
  • the focal length f of the camera 40, the size of the imaging surface 20, and the installation height of the camera 40 (shown as “CamHeight” in FIG. 2) are known.
  • the optical axis of the camera 40 and the vanishing point (infinite point) match.
  • the height y to the lower end of the rectangle 16 in the image 10 can be calculated.
  • the actual height Y of the object of the rectangle 16 can also be calculated using the similarity.
  • the distance Z from the camera 40 to the rectangle 17 is obtained by the above-described stereo distance measurement or the like.
  • the height Y is calculated by the following formula (1), for example.
  • FIG. 3 is a diagram (2) illustrating the calculation process according to the embodiment of the present disclosure. Specifically, FIG. 3 shows a state in which the vanishing point 33, a horizontal line 34 passing through the vanishing point 33, and a line segment 35 from the horizontal line 34 to the lower end of the rectangle 16 are overlaid on the image 10 shown in FIG. ..
  • the height of the horizontal line 34 matches the installation height of the camera 40.
  • the information processing apparatus 100 can calculate the height of one pixel in the image 10 based on the size of the imaging surface 20 illustrated in FIG. 2 as described above. Therefore, the information processing apparatus 100 can calculate the height (that is, the height y) corresponding to the line segment 35 based on the number of pixels corresponding to the line segment 35.
  • the information processing apparatus 100 detects the rectangle 16 in the image 10 and calculates the actual height Y of the object (that is, the rectangle 17) corresponding to the rectangle 16. ..
  • the information processing apparatus 100 calculates not only the height of the rectangle 16 but also the heights of the rectangle 12 and the rectangle 14. Further, by the same method as described above, the information processing apparatus 100 can calculate the size (vertical and horizontal length) of the rectangle 16 itself based on the number of pixels in the image 10, for example. That is, the information processing apparatus 100 can calculate both the height of the detected object from the road surface and the height of the object itself.
  • step S1 the information processing apparatus 100 determines whether each object belongs to the removal range. In the case of step S1, it is assumed that the vehicle (camera) has no pitch or roll when the image 10 is captured.
  • the information processing apparatus 100 determines whether or not to remove the detected object from the object according to the preset removal range setting.
  • the removal range is determined in consideration of, for example, the height from the road surface or whether the height of the object itself does not match the reality.
  • the information processing apparatus 100 determines, as the removal range, a range in which the height from the road surface exceeds 2 meters, a range in which the height of the object itself exceeds 2.5 meters, and the like.
  • the removal range may be changed according to the type of the detected object.
  • the information processing apparatus 100 if the detected object is a pedestrian or a bicycle, the range where the height of the object itself exceeds 2.5 meters is set as the removal range, and if the detected object is a traffic signal or the like, the object itself.
  • the removal range may be a range in which the height is higher than 5 meters.
  • the set value of the removal range described above is an example, and the information processing apparatus 100 may determine any value as the removal range.
  • a state in which the filter 18 is overlaid is shown as the image 10 after step S1 in FIG.
  • the filter 18 indicates a range in which the height from the road surface exceeds a threshold value at an arbitrary distance from the camera.
  • the rectangle covered by the filter 18 has a height from the road surface that exceeds the threshold and belongs to the removal range.
  • the information processing apparatus 100 determines that the rectangle 16 belongs to the removal range, and removes the rectangle 16 from the detection target.
  • the information processing apparatus 100 instructs the processing unit in the subsequent stage to track the rectangle 16 and remove the rectangle 16 from the target as an object for which safety determination is performed. For example, the information processing apparatus 100 does not send the target object corresponding to the rectangle 16 to the processing unit in the subsequent stage, but processes only the information about the target object in the rectangle 12 or the rectangle 14 as an object for tracking or safety determination. Send to the department. Note that, in this example, for the sake of explanation, the state in which the filter 18 is overlaid on the image 10 is shown, but the information processing apparatus 100 does not display the filter 18, and the height of the rectangle 16 is simply the removal range. The rectangle 16 may be removed from the detection target by determining whether or not the condition is satisfied.
  • FIG. 4 is a diagram (3) illustrating the calculation process according to the embodiment of the present disclosure.
  • FIG. 4 shows a line segment 42 indicating the ideal optical axis (parallel to the road surface) of the camera 40, a line 44 indicating the road surface, and an object 46. Further, FIG. 4 shows an angle ⁇ formed by the line segment 42 and the line segment connecting the camera 40 and the lowermost end of the object 46. In this case, the height Height to the lowermost end of the object 46 is calculated by the following equation (2).
  • the above formula (2) is a formula for calculating the height of the object 46 in an ideal state in which the camera 40 is not tilted from the installation angle (no pitch or roll occurs in the automobile).
  • FIG. 5 is a diagram (4) illustrating the calculation process according to the embodiment of the present disclosure.
  • the line segment 42, the line 44, and the object 46 are shown similarly to FIG.
  • FIG. 5 shows an angle ⁇ formed by the line segment 42 and the line segment connecting the camera 40 and the lowermost end of the object 46.
  • FIG. 5 shows the pitch generated by the tilt of the camera 40 itself.
  • the pitch is shown as an angle pitch formed by a line segment 42 showing an ideal optical axis and a line segment 48 corresponding to the optical axis of the tilted camera 40.
  • the height Height ′ to the lowermost end of the object 46 is calculated by the following equation (3).
  • the height Height ' is variable according to the angle pitch. This means that the tilt of the camera 40 causes an error in the height of the lowermost end of the object. Therefore, when the pitch is generated, if the removal range in the case where the pitch is not generated is applied, there is a possibility that the object cannot be properly removed or an object that should not be originally removed may be removed.
  • the information processing apparatus 100 dynamically determines the removal range according to the generated pitch. Specifically, the information processing apparatus 100 raises the removal range to a higher portion (that is, a larger value) so that the object can be appropriately removed from the object even if an error occurs.
  • step S2 when the camera is tilted downward with respect to the road surface, the information processing apparatus 100 changes the removal range so that the height set as the removal range is higher than that in step S1 (step S1). S2). Specifically, in step S2, the filter 18 is displayed so as to be shifted upward of the image 10 as compared with the case of step S1. Although the details will be described later, in step S2, the information processing apparatus 100 raises the height set as the removal range according to the generated pitch.
  • the information processing apparatus 100 can appropriately set the removal range even when the height of the object reflected in the image 10 is calculated higher than the actual height as in step S2. Then, since the information processing apparatus 100 can omit the post-stage processing such as tracking by removing the object from the target object, the information processing load related to the object recognition can be reduced.
  • FIG. 6 is a diagram illustrating a configuration example of the information processing device 100 according to the embodiment of the present disclosure.
  • the information processing device 100 includes a communication unit 110, a storage unit 120, a control unit 130, a detection unit 140, an input unit 150, and an output unit 160.
  • the configuration shown in FIG. 6 is a functional configuration, and the hardware configuration may be different from this. Further, the functions of the information processing device 100 may be distributed and implemented in a plurality of physically separated devices.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 110 may be a USB interface including a USB (Universal Serial Bus) host controller, a USB port, and the like.
  • the communication unit 110 may be a wired interface or a wireless interface.
  • the communication unit 110 may be a wireless communication interface of a wireless LAN system or a cellular communication system.
  • the communication unit 110 functions as a communication unit or a transmission unit of the information processing device 100.
  • the communication unit 110 is connected to a network N (Internet or the like) by wire or wirelessly, and transmits / receives information to / from another information processing terminal or the like via the network N.
  • a network N Internet or the like
  • the storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 stores various data.
  • the storage unit 120 stores a learning device (image recognition model) that has learned the detection target, data regarding the detected target object, and the like.
  • the storage unit 120 may also store map data or the like for executing automatic driving.
  • the storage unit 120 may also store the initial setting of the removal range (in other words, the setting when the camera 40 has no pitch or roll). For example, the storage unit 120 stores a range in which the detected height of the object itself exceeds 2.5 meters as a removal range. Alternatively, the storage unit 120 may store, as the removal range, a range in which “the height of the lowermost end of the detected object exceeds 1.5 meters from the road surface”. Further, the storage unit 120 may store only the case where these conditions are simultaneously satisfied as the removal range. In addition, the storage unit 120 may store different removal ranges for each type of object.
  • the storage unit 120 may store a numerical value for expanding the removal range when it is predicted that an error will occur in the height calculation of the object. Although the calculation of the height of the object including the error will be described later, for example, the storage unit 120 newly sets a range in which the calculated error is expanded by “50 cm” including a margin as a removal range. May be stored. Note that the above-mentioned numerical values are examples, and the storage unit 120 may store an arbitrary value that is input as a set value in accordance with an input from an administrator or the like.
  • the storage unit 120 may store information regarding a vehicle controlled manually by a user or automatically driven by the information processing apparatus 100.
  • the storage unit 120 stores information such as the size, weight, and vehicle type of the vehicle body.
  • the detection unit 140 detects various kinds of information regarding the information processing device 100. Specifically, the detection unit 140 detects the environment around the information processing apparatus 100, the position information of the information processing apparatus 100, the information about the device connected to the information processing apparatus 100, and the like. The detection unit 140 may be read as a sensor that detects various kinds of information.
  • the detection unit 140 according to the embodiment includes an imaging unit 141 and a measurement unit 142.
  • the image capturing unit 141 is a sensor having a function of capturing an image around the information processing apparatus 100, and is a so-called camera.
  • the imaging unit 141 is realized by a stereo camera, a monocular camera, a lensless camera, or the like.
  • the camera 40 illustrated in FIG. 1 and the like is an example of the image capturing unit 141.
  • the measurement unit 142 is a sensor that measures information of the information processing device 100 and the vehicle in which the information processing device 100 is mounted.
  • the measurement unit 142 detects the behavior of the information processing device 100 and the vehicle in which the information processing device 100 is mounted.
  • the measurement unit 142 is an acceleration sensor that detects the acceleration of the vehicle, a gyro sensor that detects the behavior, an IMU (Inertial Measurement Unit), or the like.
  • the measurement unit 142 may measure the behavior of the vehicle in which the information processing device 100 is mounted.
  • the measuring unit 142 measures the operation amounts of the brake, accelerator, and steering of the automobile.
  • the measurement unit 142 measures the amount according to the force (pressure or the like) applied to the brake or the accelerator by using sensors or the like mounted on each of the brake, the accelerator, and the steering of the automobile.
  • the measuring unit 142 may measure the speed and acceleration of the automobile, the amount of acceleration and deceleration, the yaw rate information and the like.
  • the measurement unit 142 may measure the information regarding the behavior of the vehicle by various known techniques, not limited to the above-described sensors and the like.
  • the measuring unit 142 may also include a sensor for measuring the distance to an object around the information processing device 100.
  • the measurement unit 142 may be LiDAR that reads a three-dimensional structure of the surrounding environment of the information processing device 100. LiDAR detects a distance to a surrounding object or a relative speed by irradiating a surrounding object with a laser beam such as an infrared laser and measuring a time until the object is reflected and returned.
  • the measuring unit 142 may be a distance measuring system using a millimeter wave radar.
  • the measurement unit 142 may also include a depth sensor for acquiring depth data.
  • the measurement unit 142 also includes a microphone that collects sounds around the information processing apparatus 100, an illuminance sensor that detects illuminance around the information processing apparatus 100, and a humidity sensor that detects humidity around the information processing apparatus 100. Also, a geomagnetic sensor or the like that detects the magnetic field at the location of the information processing device 100 may be included.
  • the input unit 150 is a processing unit that receives various operations from a user who uses the information processing apparatus 100.
  • the input unit 150 accepts input of various types of information via, for example, a keyboard or a touch panel.
  • the output unit 160 is a processing unit for outputting various information.
  • the output unit 160 is, for example, a display or a speaker.
  • the output unit 160 displays the image captured by the image capturing unit 141, or displays the object detected in the image as a rectangle.
  • control unit 130 for example, a program (for example, an information processing program according to the present disclosure) stored in the information processing apparatus 100 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like is a RAM (Random Access Memory). ) Etc. are executed as a work area.
  • the control unit 130 is a controller and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • control unit 130 includes an acquisition unit 131, a calculation unit 132, a determination unit 133, and an execution unit 134, and implements or executes the functions and actions of information processing described below. ..
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 6, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the acquisition unit 131 acquires various types of information. For example, the acquisition unit 131 acquires an image captured by the sensor (imaging unit 141) included in the moving body in which the information processing device 100 is mounted.
  • the acquisition unit 131 acquires an image captured by a stereo camera as a sensor.
  • the acquisition unit 131 acquires the distance to the object measured by, for example, stereo distance measurement.
  • the acquisition unit 131 may acquire an image captured by a monocular camera as a sensor. In this case, the acquisition unit 131 acquires the distance to the object measured by the distance measurement sensor (measurement unit 142) using, for example, a laser.
  • the acquisition unit 131 appropriately stores the acquired information in the storage unit 120. In addition, the acquisition unit 131 may appropriately acquire information required for processing from the storage unit 120. In addition, the acquisition unit 131 may acquire information required for processing via the detection unit 140 or the input unit 150, or may acquire information from an external device via the network N.
  • the calculation unit 132 detects an object by performing image recognition processing on the image acquired by the acquisition unit 131. Then, the calculation unit 132 calculates the height information regarding the object using the detected distance information to the object.
  • the calculation unit 132 calculates the height of the object itself or the height from the road surface to the bottom end of the object according to the angle of the optical axis of the sensor with respect to the road surface.
  • the calculation unit 132 may calculate the height including an error when calculating the height of the object.
  • the determining unit 133 described below determines the removal range using the height information including the error calculated by the calculating unit 132.
  • the error can occur due to the pitch or roll of the optical axis of the camera caused by the behavior of the moving body or the like. Further, the error occurs due to the displacement of the height of the camera itself or the distance measurement of the object.
  • the information processing apparatus 100 calculates the height information including the error and including these elements, and determines the removal range based on the calculated value.
  • FIG. 7 is a diagram (5) illustrating the calculation process according to the embodiment of the present disclosure.
  • FIG. 7 and subsequent figures an example in which the camera 40 is installed on the side of the automobile is shown in order to explain the pitch and roll caused by the behavior of the automobile (information processing device 100). That is, in FIG. 7, the viewing angle 49 of the camera 40 faces the side of the automobile.
  • the camera 40 causes a pitch or a roll depending on the behavior of the vehicle. This causes an error in the height information calculated by the calculation unit 132. This point will be described with reference to FIGS.
  • FIG. 8 is a diagram (6) illustrating the calculation process according to the embodiment of the present disclosure.
  • FIG. 8 shows a state in which the front side of the vehicle in which the camera 40 is installed is lowered (when the vehicle pitches).
  • the vehicle is in a state in which the front is sunk around the center of gravity 50.
  • the camera 40 is inclined by an angle 52 formed by a line segment 54 connecting the center positions of the cameras 40 before and after the movement and a line segment 56 connecting the center of gravity position 50 and the center of the camera 40.
  • the angle 52 is the pitch for the car and the roll for the camera 40.
  • HeightDiff the line segment 54 which is the displacement in the height direction of the camera 40
  • DistanceGravity the distance from the center of gravity of the vehicle to the camera 40
  • Roll in the above equation (4) indicates the relative relationship (roll) with the road surface as seen from the camera 40. That is, if the pitch and the roll are known, the displacement of the height of the camera 40 can be calculated by the above equation (4).
  • FIG. 9 is a diagram (7) illustrating the calculation process according to the embodiment of the present disclosure.
  • An image 61 shown in FIG. 9 is an image before the camera 40 rolls.
  • a rectangle 65 indicates an arbitrary object detected in the image 61.
  • the coordinate of the lowest point of the rectangle 65 is (ximg, yimag).
  • An image 62 shown in FIG. 9 is an image after the camera 40 rolls.
  • the rectangle 66 is an arbitrary object detected in the image 62 after the movement, and corresponds to the rectangle 65 before the movement.
  • the coordinate (ximg ', yimag') is expressed by the following equation (5).
  • FIG. 10 is a diagram (8) illustrating the calculation process according to the embodiment of the present disclosure.
  • An object 70 shown in FIG. 10 shows an object corresponding to the rectangle 65 shown in FIG.
  • the object 72 is an object corresponding to the rectangle 66 shown in FIG. That is, FIG. 10 shows a situation in which the object 70 apparently moves due to the movement of the camera 40.
  • the error due to the rotation of the camera 40 can be calculated by obtaining the displacement from the object 70 to the object 72 (referred to as “HeightDiff imgroll”).
  • HeightDiff imgroll is calculated by the following equation (6).
  • FIG. 11 is a diagram (9) illustrating the calculation process according to the embodiment of the present disclosure.
  • the distance Distance ′ when the parallax shift (error) is taken into consideration with respect to the distance D (Distance) to the object subjected to stereo distance measurement can be obtained by, for example, the following formula (7).
  • f indicates the focal length.
  • B indicates the distance between cameras (baseline length).
  • Errdiff indicates a parallax shift (error).
  • a value obtained by statistical observation can be substituted. It is assumed that it is known from a statistical result or the like that an error of about 1 pixel occurs on the image when the distance to the object is 20 meters.
  • the calculation unit 132 substitutes “1” for “Errdiff” in the above equation (7).
  • the calculation unit 132 can also calculate the distance Distance ′ including an error by aligning the units of the focal length f, the inter-camera distance B, and the distance D to the object as pixels.
  • the calculation unit 132 can calculate the height of the object including the error by obtaining each element that may cause the error. For example, the calculation unit 132 obtains the height of the object including the error by the following equation (8).
  • the calculation unit 132 causes the pitch and roll generated in the camera (in other words, the error in the height calculation of the object due to the rotation of the image itself), the displacement of the installation height of the camera, and the stereo. By obtaining each distance measurement error, it is possible to calculate the height information of the object including the error.
  • the calculation unit 132 sends the calculated height information to the determination unit 133.
  • the deciding unit 133 dynamically decides a removal range that is a range in which an object included in the acquired image is removed from the detection target according to the relative relationship between the camera 40 and the road surface on which the moving body travels.
  • the determination unit 133 dynamically determines a removal range in which at least one of a pedestrian, a bicycle, an automobile, and a two-wheeled vehicle is removed from the detection target as an object.
  • the determination unit 133 may determine a removal range in which a traffic light, a vehicle headlight, a taillight, or the like is removed from a detection target as an object.
  • the determining unit 133 determines the removal range according to the angle of the optical axis of the camera 40 with respect to the road surface on which the moving body travels, as a relative relationship.
  • the determination unit 133 refers to the angle of the optical axis of the camera 40 with respect to the road surface on which the moving body travels, and if the angle is an initial value (that is, the depression angle of the camera is 0 degrees), the determination unit 133 is based on the initial setting. To determine the removal range.
  • the determination unit 133 determines the removal range according to the pitch and roll of the optical axis of the camera 40 with respect to the road surface. That is, the determining unit 133 refers to the angle of the optical axis of the camera 40 with respect to the road surface on which the moving body travels. If the angle is not the initial value and pitch and roll occur, the above formula is used.
  • the removal range is determined based on the error calculated by the calculation unit 132 according to (8).
  • the error may be caused by a calculation error due to the pitch and roll of the camera 40 and an error in the stereo distance measurement. Therefore, the determination unit 133 may determine the removal range by obtaining the correlation between these elements and possible errors in advance.
  • the determination unit 133 determines the removal range in consideration of such an error. Note that, in reality, an error may occur in the observed value of the pitch, the roll, and the like, so the determining unit 133 determines the removal range including some margin. For example, in the case of the above example, the determination unit 133 determines the removal range that allows "1.5 meters" including the margin.
  • the determination unit 133 can acquire information about the pitch and the roll generated in the camera 40, the determination unit 133 may be attached to the front or side of the camera 40. Even at the rear, the removal range can be determined. That is, the determination unit 133 can determine the removal range by using the pitch and roll of the optical axis of at least one sensor provided on the front side, the side side, or the rear side of the moving body.
  • the determination unit 133 can acquire the pitch and roll of the moving body (in other words, the pitch and roll of the optical axis of the camera 40 with respect to the road surface) using various methods.
  • the determination unit 133 may acquire the pitch and roll from the vehicle information measured by the measurement unit 142.
  • the measuring unit 142 is realized by a sensor such as an IMU, so that it is possible to measure the inclination and the like of the entire vehicle.
  • the determining unit 133 can acquire the pitch and roll values measured by the measuring unit 142 and can determine the removal range based on the acquired values.
  • the determining unit 133 may calculate the relative relationship based on the control information that controls the behavior of the moving body, and determine the removal range according to the calculated relative relationship.
  • the determination unit 133 uses, as the control information for controlling the behavior of the moving body, at least one of the amount of operation of the brake, the accelerator or the steer with respect to the moving body, the amount of change in the acceleration of the moving body, or the yaw rate information of the moving body. Based on this, the relative relationship is calculated.
  • the determining unit 133 controls the moving body on which the camera 40 is mounted (the control amount of the brake and the accelerator, the amount of change in acceleration / deceleration), the pitch that can occur in the moving body when the control information is generated, and the pitch.
  • the relationship of rolls is calculated and stored in advance.
  • the determining unit 133 may store the relationship between the running speed, the vehicle body weight, the type of the road surface, and the pitch and roll generated by the control information. As a result, the determining unit 133 can accurately calculate the pitch and roll information that may occur in accordance with the control of the moving body.
  • the determining unit 133 calculates a pitch and a roll that are expected to occur in the moving body based on the control information generated while the moving body is traveling, and based on the calculated values, the relative relationship between the camera 40 and the road surface. Calculate the relationship. Even with this method, the determination unit 133 can capture the change in the installation angle of the camera 40 with respect to the road surface, and thus can dynamically determine the removal range according to the change in the angle.
  • the determination unit 133 estimates the pitch and roll of the moving body based on the amount of change (movement amount) of the object across a plurality of images, and based on the estimated information, the relative relationship between the camera 40 and the road surface.
  • the relationship may be calculated.
  • the determination unit 133 calculates the relative relationship based on the amount of change of the object captured in the plurality of images acquired by the acquisition unit 131, and determines the removal range according to the calculated relative relationship.
  • the objects (rectangle 65 and rectangle 66 in the example of FIG. 9) detected before the roll occurs are displaced in position on the image. become. This is because the apparent position of the object has changed due to the rotation of the camera 40, not the movement of the object itself. That is, when the object moves in a certain frame and the next frame by exceeding the predetermined threshold, the determining unit 133 can recognize that it is not the movement of the object but the relative relationship between the camera 40 and the road surface has changed. .. Further, according to the above formula (5), the change (roll) generated in the camera 40 can be calculated if the coordinates of the object in the images before and after the change are known.
  • the determining unit 133 can obtain the change amount of the camera 40, that is, the relative relationship between the camera 40 and the road surface by obtaining the change amount of the object using the image recognition processing. Even with this method, the determination unit 133 can capture the change in the installation angle of the camera 40 with respect to the road surface, and thus can dynamically determine the removal range according to the change in the angle.
  • the determination unit 133 may determine the removal range according to the value obtained by smoothing the pitch or roll observed within a specific time.
  • the determining unit 133 for example, while observing the amount of change in pitch and roll over a plurality of frames, calculates the average value or median of the amount of change in pitch and roll in a plurality of frames during processing. By doing so, a smoothed value can be obtained. In this way, the determination unit 133 can perform information processing that eliminates spike-like values by smoothing numerical values, and thus can perform highly accurate information processing.
  • the determination unit 133 determines the removal range based on the elements such as the pitch and the roll generated in the camera 40, and thus the removal range (according to the position of the object on the image even on one image ( The removal conditions) may differ. That is, the determination unit 133 may dynamically determine a removal range that differs for each object, depending on the position of the object in the image.
  • FIG. 12 is a diagram illustrating a determination process according to the embodiment of the present disclosure.
  • 7 to 11 show an example in which the camera 40 is installed laterally of the vehicle body, but in FIG. 12, an example in which the camera 40 is installed in front of the vehicle body is shown for the sake of clarity. It will be explained using.
  • An image 80 in FIG. 12 shows a removal range 81 when the camera 40 has no pitch or roll.
  • the detection range 85 which is a part of the image 80 excluding the removal range 81, indicates a range in which the object is detected as an object of information processing.
  • the illustration of the removal range 81 and the like in FIG. 12 is merely a display example for easy understanding of the description, and the actual removal range is the height information and error of the object detected on the image. Determined using information.
  • the determination unit 133 determines the removal range according to the pitch (step S21). For example, the determination unit 133 newly determines the removal range 82. The removal range 82 is shifted to the upper part of the image as compared with the removal range 81. On the other hand, the new detection range 86 includes a wider area than the detection range 85.
  • the determination unit 133 determines the removal range according to the pitch (step S22). For example, the determination unit 133 newly determines the removal range 83.
  • the removal range 83 is shifted to the bottom of the image as compared with the removal range 81.
  • the new detection range 87 includes a smaller area than the detection range 85.
  • the determination unit 133 determines the removal range according to the roll (step S23). For example, the determination unit 133 newly determines the removal range 84. As shown in FIG. 12, a range corresponding to the roll is set as the removal range 84, so that the boundary between the removal range and the detection range is set as a diagonal line rising to the right. Similarly, in the new detection range 88, the boundary of the removal range 84 also appears as an upward-sloping diagonal line.
  • the determination unit 133 flexibly determines the removal range according to the pitch and the roll generated in the camera 40, so that the removal range is appropriately determined even when various behaviors occur in the camera 40. can do.
  • the determination unit 133 does not necessarily have to determine the removal range according to only the pitch and roll of the camera 40. For example, realistically, it is more appropriate to more strictly perform tracking and collision possibility for an object existing in front of the camera 40 (in other words, near the center of the image captured by the camera 40). Therefore, the determining unit 133 may dynamically determine a removal range different from that of an object detected in another range of the image, with respect to the object detected near the center of the image. For example, the determining unit 133 may expand the range of the center of the image when the image is divided into three equal parts in the horizontal direction, rather than the removal range set at the end. As a result, the determining unit 133 can make it difficult to remove an object detected in the center of the image, which is assumed to have a higher possibility of collision, so that the load of information processing is reduced and an accident or collision occurs. The possibility of is also reduced.
  • the determination unit 133 may dynamically determine different removal ranges for each type of object. For example, the determining unit 133 may determine different height standards for the removal range applied when the detected object is a pedestrian or a bicycle and the removal range applied when the detected object is a traffic light or the like. ..
  • the determination unit 133 determines whether or not the object detected in the image belongs to the removal range, and when there is an object belonging to the removal range, determines the removal of the object belonging to the removal range from the detection target. .. Then, the determination unit 133 sends only the information about the target object that has not been removed to the execution unit 134. As a result, the determining unit 133 can reduce the load on the processing unit in the subsequent stage.
  • the execution unit 134 executes a process at a stage subsequent to that of the determination unit 133. For example, the execution unit 134 tracks an object to be detected, analyzes movement information (speed or direction) of the object, and determines a collision with a moving body on which the information processing apparatus 100 is mounted. Or Further, when there is a possibility of collision between the moving body and the object, the execution unit 134 controls the avoidance behavior of the moving body (steering operation or braking operation), or issues a warning to the user of the moving body. To do.
  • FIG. 13 is a flowchart showing the flow of processing according to the embodiment of the present disclosure.
  • the information processing apparatus 100 acquires an image via a sensor such as the camera 40 (step S101). Then, the information processing device 100 detects an object in the image (step S102).
  • the information processing apparatus 100 calculates the height information of the detected object (step S103). After that, the information processing apparatus 100 determines whether or not pitch and roll have occurred in the vehicle in which the information processing apparatus 100 is mounted (step S104).
  • step S104 When the vehicle has a pitch and a roll (step S104; Yes), the information processing apparatus 100 calculates an error caused by the pitch and the roll, and after including the error, removes the object from the processing target (high range). Is determined (step S105).
  • the information processing apparatus 100 removes an object having a height exceeding the determined threshold value (height) from the processing target (step S106).
  • step S104 when the vehicle is not pitched or rolled (step S104; No), the information processing apparatus 100 removes an object having a height exceeding a preset threshold (removal range) from the processing target (step S104). S107).
  • the information processing apparatus 100 sends only the information of the object that has not been removed to the processing unit in the subsequent stage (step S108).
  • FIG. 14 is a diagram illustrating information processing according to the modified example of the present disclosure.
  • the road surface 94 in the traveling direction of the vehicle has a slope with respect to the road surface on which the vehicle is currently traveling.
  • the height of the rectangle 17 calculated by the information processing apparatus 100 is calculated based on “CamHeight”, which is the installation height of the camera 40 at the present time, and therefore differs from the actual height.
  • the length of the line segment 92 shown in FIG. 14 is the height of the rectangle 17 calculated by the information processing apparatus 100.
  • the length of the line segment 90 shown in FIG. 14 is the true height of the rectangle 17 from the sloped road surface 94.
  • the information processing apparatus 100 measures the gradient of the road surface 94 and then calculates the height of the rectangle 17. Specifically, the information processing apparatus 100 measures the gradient of the road surface 94 using a known gradient measuring device. For example, the information processing apparatus 100 analyzes the image acquired by the camera 40 (for example, analyzes the shape of an object in front of another vehicle or the shape of another vehicle) to determine the angle of the road surface in the traveling direction. Measure if there is a slope. The information processing apparatus 100 may acquire the gradient of the advancing road surface 94 based on, for example, the stored map information (for example, the map information in which the gradient information of each road is stored).
  • the stored map information for example, the map information in which the gradient information of each road is stored.
  • the information processing apparatus 100 calculates the height of the line segment 92 based on the distance to the rectangle 17, and the correction value (height subtracted from the line segment 92) based on the distance to the rectangle 17 and the gradient. To calculate. As a result, the information processing apparatus 100 can calculate the length of the line segment 90 that is the true height of the rectangle 17. The information processing apparatus 100 can determine the removal range that matches the reality by determining the removal range using the calculated length of the line segment 90.
  • the information processing apparatus 100 acquires the slope of the road surface predicted to move the automobile (moving body). Then, the information processing apparatus 100 dynamically determines the removal range based on the relative relationship between the camera 40 and the road surface on which the automobile is currently traveling, and the slope of the road surface.
  • the information processing apparatus 100 can dynamically determine the removal range by applying the above-described information processing even when the road surface is not flat and the road surface has a slope.
  • the information processing apparatus 100 executes the above information processing after calibrating the camera 40 using a known calibration process. Good.
  • the information processing apparatus 100 may calculate a true height by adding a predetermined correction value (for example, a deviation between the optical axis and the vanishing point) to the calculated height of the object.
  • the information processing device 100 may be realized by an autonomous moving body (automobile) itself that performs automatic driving.
  • the information processing apparatus 100 may have the following configuration in addition to the configuration shown in FIG. Note that each unit described below may be included in the control unit 130 illustrated in FIG. 6, for example.
  • FIG. 15 is a block diagram showing a schematic functional configuration example of a mobile unit control system to which the present technology can be applied.
  • the automatic driving control unit 212 of the vehicle control system 200 corresponds to the control unit 130 of the information processing apparatus 100 of the embodiment.
  • the detection unit 231 and the self-position estimation unit 232 of the automatic driving control unit 212 correspond to the detection unit 140 of the information processing device 100 according to the embodiment.
  • the situation analysis unit 233 of the automatic driving control unit 212 corresponds to the acquisition unit 131 and the calculation unit 132 of the control unit 130.
  • the planning unit 234 of the automatic driving control unit 212 corresponds to the determining unit 133 and the executing unit 134 of the control unit 130.
  • the operation control unit 235 of the automatic driving control unit 212 corresponds to the execution unit 134 of the control unit 130.
  • the automatic driving control unit 212 may have blocks corresponding to the respective processing units of the control unit 130, in addition to the blocks shown in FIG.
  • vehicle when distinguishing a vehicle provided with the vehicle control system 200 from other vehicles, the vehicle is referred to as a vehicle or a vehicle.
  • the vehicle control system 200 includes an input unit 201, a data acquisition unit 202, a communication unit 203, an in-vehicle device 204, an output control unit 205, an output unit 206, a drive system control unit 207, a drive system system 208, a body system control unit 209, a body.
  • a system 210, a storage unit 211, and an automatic operation control unit 212 are provided.
  • the communication network 221 is, for example, an in-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 200 may be directly connected without using the communication network 221.
  • the input unit 201 includes a device used by the passenger to input various data and instructions.
  • the input unit 201 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than a manual operation such as voice or gesture.
  • the input unit 201 may be a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that corresponds to the operation of the vehicle control system 200.
  • the input unit 201 generates an input signal based on the data and instructions input by the passenger, and supplies the input signal to each unit of the vehicle control system 200.
  • the data acquisition unit 202 includes various sensors that acquire data used for processing of the vehicle control system 200, and supplies the acquired data to each unit of the vehicle control system 200.
  • the data acquisition unit 202 includes various sensors for detecting the state of the vehicle and the like.
  • the data acquisition unit 202 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is provided with a sensor or the like for detecting the number of rotations of the motor or the rotation speed of the wheels.
  • IMU inertial measurement unit
  • the data acquisition unit 202 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 202 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 202 includes an environment sensor for detecting weather or weather, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar, and the like.
  • the data acquisition unit 202 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 202 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 202 includes various sensors for detecting information inside the vehicle.
  • the data acquisition unit 202 includes an imaging device that images the driver, a biometric sensor that detects biometric information of the driver, and a microphone that collects sound in the vehicle interior.
  • the biometric sensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of an occupant sitting on a seat or a driver who holds the steering wheel.
  • the communication unit 203 communicates with the in-vehicle device 204 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each unit of the vehicle control system 200 or receives received data from the vehicle control system. It is supplied to each part of 200.
  • the communication protocol supported by the communication unit 203 is not particularly limited, and the communication unit 203 can support a plurality of types of communication protocols.
  • the communication unit 203 performs wireless communication with the in-vehicle device 204 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Further, for example, the communication unit 203 uses a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), or MHL (MHL) via a connection terminal (and a cable if necessary) not shown. Mobile High-definition Link), etc., to perform wired communication with the in-vehicle device 204.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobility High-definition Link
  • the communication unit 203 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to a business operator) via a base station or an access point. Communicate. Further, for example, the communication unit 203 uses a P2P (Peer To Peer) technology to communicate with a terminal (for example, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) existing near the vehicle. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to a business operator
  • the communication unit 203 uses a P2P (Peer To Peer) technology to communicate with a terminal (for example, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) existing near the vehicle. Communicate.
  • P2P Peer To Peer
  • a terminal for example, a
  • the communication unit 203 may be a vehicle-to-vehicle communication, a vehicle-to-infrastructure communication, a vehicle-to-home communication, and a vehicle-to-pedestrian communication. ) Perform V2X communication such as communication.
  • the communication unit 203 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current position, traffic congestion, traffic regulation, or required time. To do.
  • the in-vehicle device 204 includes, for example, a mobile device or a wearable device that the passenger has, an information device that is carried in or attached to the vehicle, and a navigation device that searches for a route to an arbitrary destination.
  • the output control unit 205 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 205 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 206 to output the output signal. It controls the output of visual and auditory information from 206.
  • the output control unit 205 synthesizes image data captured by different imaging devices of the data acquisition unit 202 to generate a bird's-eye image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 206.
  • the output control unit 205 generates voice data including a warning sound or a warning message for a danger such as collision, contact, or entry into a danger zone, and outputs an output signal including the generated voice data to the output unit 206.
  • Supply for example, the output control unit 205 generates voice data including a warning sound or a warning message for a danger such as collision, contact, or entry
  • the output unit 206 includes a device capable of outputting visual information or auditory information to the passengers of the vehicle or outside the vehicle.
  • the output unit 206 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 206 includes visual information in the driver's visual field such as a head-up display, a transmissive display, a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be a display device.
  • the drive system control unit 207 controls the drive system system 208 by generating various control signals and supplying them to the drive system system 208. Further, the drive system control unit 207 supplies a control signal to each unit other than the drive system system 208 as necessary to notify the control state of the drive system system 208.
  • the drive system 208 includes various devices related to the drive system of the vehicle.
  • the drive system system 208 includes a drive force generation device for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, a steering mechanism for adjusting a steering angle, Equipped with a braking device that generates braking force, ABS (Antilock Brake System), ESC (Electronic Stability Control), and electric power steering device.
  • the body system control unit 209 controls the body system 210 by generating various control signals and supplying them to the body system 210. Further, the body system control unit 209 supplies a control signal to each unit other than the body system system 210 as necessary to notify the control state of the body system system 210 and the like.
  • the body system 210 includes various body-type devices mounted on the vehicle body.
  • the body system 210 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlights, backlights, brake lights, winkers, fog lights, etc.). And so on.
  • the storage unit 211 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. ..
  • the storage unit 211 stores various programs and data used by each unit of the vehicle control system 200.
  • the storage unit 211 stores map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map having a lower accuracy than the high-accuracy map and covering a wide area, and a local map including information around the vehicle.
  • Map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map having a lower accuracy than the high-accuracy map and covering a wide area, and a local map including information around the vehicle.
  • the automatic driving control unit 212 controls automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 212 may perform collision avoidance or impact mitigation of the own vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a collision warning of the own vehicle, or a lane departure warning of the own vehicle. Coordinated control for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including In addition, for example, the automatic driving control unit 212 performs cooperative control for the purpose of autonomous driving that autonomously travels without depending on the operation of the driver.
  • the automatic driving control unit 212 includes a detection unit 231, a self-position estimation unit 232, a situation analysis unit 233, a planning unit 234, and an operation control unit 235.
  • the detection unit 231 detects various kinds of information necessary for controlling automatic driving.
  • the detection unit 231 includes a vehicle exterior information detection unit 241, a vehicle interior information detection unit 242, and a vehicle state detection unit 243.
  • the outside-vehicle information detection unit 241 performs detection processing of information outside the own vehicle based on data or signals from each unit of the vehicle control system 200.
  • the vehicle exterior information detection unit 241 performs detection processing of an object around the vehicle, recognition processing, tracking processing, and detection processing of a distance to the object.
  • Objects to be detected include vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the vehicle exterior information detection unit 241 performs a detection process of the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, and road surface condition.
  • the vehicle exterior information detection unit 241 uses the data indicating the result of the detection process as the self position estimation unit 232, the map analysis unit 251, the traffic rule recognition unit 252, the situation recognition unit 253, and the operation control unit 235 of the situation analysis unit 233. It is supplied to the emergency avoidance unit 271 and the like.
  • the in-vehicle information detection unit 242 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 200.
  • the in-vehicle information detection unit 242 performs driver authentication processing and recognition processing, driver state detection processing, passenger detection processing, and in-vehicle environment detection processing.
  • the driver's state to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight direction, and the like.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the in-vehicle information detection unit 242 supplies the data indicating the result of the detection processing to the situation recognition unit 253 of the situation analysis unit 233, the emergency situation avoidance unit 271 of the operation control unit 235, and the like.
  • the vehicle state detection unit 243 performs detection processing of the state of the vehicle based on data or signals from each unit of the vehicle control system 200.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality, content of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. State etc. are included.
  • the vehicle state detection unit 243 supplies the data indicating the result of the detection processing to the situation recognition unit 253 of the situation analysis unit 233, the emergency situation avoidance unit 271 of the operation control unit 235, and the like.
  • the self-position estimation unit 232 estimates the position and orientation of the own vehicle based on data or signals from each unit of the vehicle control system 200 such as the vehicle exterior information detection unit 241 and the situation recognition unit 253 of the situation analysis unit 233. Perform processing. Further, the self-position estimation unit 232 generates a local map (hereinafter, referred to as a self-position estimation map) used for estimating the self-position, if necessary.
  • the self-position estimation map is, for example, a high-precision map using a technology such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimation unit 232 supplies the data indicating the result of the estimation process to the map analysis unit 251, the traffic rule recognition unit 252, the situation recognition unit 253, and the like of the situation analysis unit 233.
  • the self-position estimation unit 232 also stores the self-position estimation map in the storage unit 211.
  • the situation analysis unit 233 analyzes the situation of the vehicle and surroundings.
  • the situation analysis unit 233 includes a map analysis unit 251, a traffic rule recognition unit 252, a situation recognition unit 253, and a situation prediction unit 254.
  • the map analysis unit 251 uses data or signals from each unit of the vehicle control system 200 such as the self-position estimation unit 232 and the vehicle exterior information detection unit 241 as necessary, while using various maps stored in the storage unit 211. Performs analysis processing and builds a map containing information necessary for automatic driving processing.
  • the map analysis unit 251 uses the constructed map as a traffic rule recognition unit 252, a situation recognition unit 253, a situation prediction unit 254, a route planning unit 261, a behavior planning unit 262, and a motion planning unit 263 of the planning unit 234. Supply to.
  • the traffic rule recognition unit 252 recognizes the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 200 such as the self-position estimation unit 232, the vehicle outside information detection unit 241, and the map analysis unit 251. Perform recognition processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the content of traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 252 supplies data indicating the result of the recognition process to the situation prediction unit 254 and the like.
  • the situation recognizing unit 253 converts data or signals from each unit of the vehicle control system 200 such as the self-position estimating unit 232, the vehicle exterior information detecting unit 241, the vehicle interior information detecting unit 242, the vehicle state detecting unit 243, and the map analyzing unit 251. Based on this, recognition processing of the situation regarding the own vehicle is performed. For example, the situation recognition unit 253 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. The situation recognition unit 253 also generates a local map (hereinafter, referred to as a situation recognition map) used for recognizing the situation around the own vehicle, as necessary.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the situation of the subject vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the subject vehicle, and the presence / absence and content of an abnormality.
  • the situation around the subject vehicle to be recognized is, for example, the type and position of a stationary object in the surroundings, the type and position of a moving object in the surroundings, position and movement (for example, speed, acceleration, moving direction, etc.), and surrounding roads.
  • the configuration and the condition of the road surface, and the surrounding weather, temperature, humidity, and brightness are included.
  • the driver's state to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, line-of-sight movement, and driving operation.
  • the situation recognition unit 253 supplies data (including a situation recognition map, if necessary) indicating the result of the recognition process to the self-position estimation unit 232, the situation prediction unit 254, and the like. In addition, the situation recognition unit 253 stores the situation recognition map in the storage unit 211.
  • the situation predicting unit 254 performs a process of predicting the situation regarding the own vehicle based on data or signals from each unit of the vehicle control system 200 such as the map analyzing unit 251, the traffic rule recognizing unit 252, and the situation recognizing unit 253.
  • the situation prediction unit 254 performs a prediction process of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of abnormality, and the mileage that can be traveled.
  • the situation around the subject vehicle to be predicted includes, for example, the behavior of a moving object around the subject vehicle, a change in the signal state, and a change in the environment such as the weather.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 254 together with the data from the traffic rule recognition unit 252 and the situation recognition unit 253, data indicating the result of the prediction process, the route planning unit 261, the action planning unit 262, and the operation planning unit 263 of the planning unit 234. Etc.
  • the route planning unit 261 plans a route to a destination based on data or signals from each unit of the vehicle control system 200 such as the map analysis unit 251 and the situation prediction unit 254. For example, the route planning unit 261 sets a route from the current position to the designated destination based on the global map. Further, for example, the route planning unit 261 appropriately changes the route based on traffic jams, accidents, traffic regulations, construction conditions, and the physical condition of the driver. The route planning unit 261 supplies data indicating the planned route to the action planning unit 262 and the like.
  • the action planning unit 262 safely operates the route planned by the route planning unit 261 within the planned time on the basis of data or signals from each part of the vehicle control system 200 such as the map analysis unit 251 and the situation prediction unit 254. Plan your vehicle's behavior to drive. For example, the action planning unit 262 makes plans such as starting, stopping, traveling direction (for example, forward, backward, turning left, turning right, turning, etc.), traveling lane, traveling speed, and overtaking. The action planning unit 262 supplies data indicating the planned action of the own vehicle to the action planning unit 263 and the like.
  • Plan For example, the motion planning unit 263 plans acceleration, deceleration, a traveling track, and the like.
  • the operation planning unit 263 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 272 and the direction control unit 273 of the operation control unit 235.
  • the operation control unit 235 controls the operation of the own vehicle.
  • the operation control unit 235 includes an emergency situation avoidance unit 271, an acceleration / deceleration control unit 272, and a direction control unit 273.
  • the emergency avoidance unit 271 is based on the detection results of the vehicle exterior information detection unit 241, the vehicle interior information detection unit 242, and the vehicle state detection unit 243. Performs detection processing for emergencies such as abnormalities. When the occurrence of an emergency is detected, the emergency avoidance unit 271 plans the operation of the own vehicle for avoiding an emergency such as a sudden stop or a sharp turn. The emergency avoidance unit 271 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 272, the direction control unit 273, and the like.
  • the acceleration / deceleration control unit 272 performs acceleration / deceleration control for realizing the operation of the vehicle planned by the operation planning unit 263 or the emergency avoidance unit 271. For example, the acceleration / deceleration control unit 272 calculates the control target value of the driving force generation device or the braking device for realizing the planned acceleration, deceleration, or sudden stop, and drives the control command indicating the calculated control target value. It is supplied to the system control unit 207.
  • the direction control unit 273 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 263 or the emergency avoidance unit 271. For example, the direction control unit 273 calculates the control target value of the steering mechanism for realizing the planned traveling track or sharp turn by the operation planning unit 263 or the emergency situation avoidance unit 271, and performs control indicating the calculated control target value.
  • the command is supplied to the drive system control unit 207.
  • each component of each device shown in the drawings is functionally conceptual, and does not necessarily have to be physically configured as shown. That is, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part of the device may be functionally or physically distributed / arranged in arbitrary units according to various loads or usage conditions. It can be integrated and configured.
  • the above-described respective embodiments and modified examples can be appropriately combined within a range in which the processing content is not inconsistent.
  • an automobile is taken as an example of the moving body, but the information processing of the present disclosure can be applied to a moving body other than the automobile.
  • the moving body may be a small vehicle such as a motorcycle or a motorcycle, a large vehicle such as a bus or a truck, or an autonomous moving body such as a robot or a drone.
  • the information processing apparatus 100 may not necessarily be integrated with the mobile body, but may be a cloud server or the like that acquires information from the mobile body via the network N and determines the removal range based on the acquired information.
  • FIG. 16 is a hardware configuration diagram illustrating an example of a computer 1000 that realizes the functions of the information processing device 100.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each unit of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands a program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 starts up, a program dependent on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100, data used by the program, and the like. Specifically, the HDD 1400 is a recording medium that records the information processing program according to the present disclosure, which is an example of the program data 1450.
  • the communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits the data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or a mouse via the input / output interface 1600.
  • the CPU 1100 also transmits data to an output device such as a display, a speaker, a printer, etc. via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface for reading a program or the like recorded in a predetermined recording medium (medium).
  • Examples of media include optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable Disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, and semiconductor memory. Is.
  • optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable Disk)
  • magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, and semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
  • the HDD 1400 stores the information processing program according to the present disclosure and the data in the storage unit 120. Note that the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program data, but as another example, these programs may be acquired from another device via the external network 1550.
  • An acquisition unit that acquires an image captured by a sensor included in the moving body
  • a determination unit that dynamically determines a removal range that is a range in which an object included in the acquired image is removed from a detection target according to a relative relationship between the sensor and a road surface on which the moving body travels.
  • Information processing device (2)
  • the determination unit is The information processing apparatus according to (1), wherein, as the relative relationship, the removal range is determined according to an angle of an optical axis of the sensor with respect to a road surface on which the moving body travels.
  • the determination unit is The information processing apparatus according to (2), wherein the removal range is determined according to a pitch and a roll of an optical axis of the sensor with respect to the road surface.
  • the determination unit is The information processing apparatus according to (3), wherein the removal range is determined by using a pitch and a roll of an optical axis of at least one sensor provided on the front side, the side side, or the rear side of the moving body.
  • the determination unit is The information processing apparatus according to (3) or (4), wherein the removal range is determined according to a value obtained by smoothing the pitch or roll observed within a specific time.
  • the determination unit is The information processing apparatus according to any one of (1) to (5), wherein a different removal range is dynamically determined for each object according to the position of the object in the image.
  • the determination unit is The information processing apparatus according to (6), wherein, for an object detected near the center of the image, a removal range that is different from that of an object detected in another range in the image is dynamically determined.
  • the determination unit is The information processing apparatus according to any one of (1) to (7), wherein the relative relationship is calculated based on control information that controls the behavior of the moving body, and the removal range is determined according to the calculated relative relationship. .. (9)
  • the determination unit is The relative relationship is calculated based on at least one of brake, accelerator or steer operation amount for the moving body, change amount of acceleration of the moving body, or yaw rate information of the moving body. Information processing equipment.
  • the acquisition unit is Acquire multiple images, The determination unit calculates the relative relationship based on the amount of change of the object captured in the plurality of images, and determines the removal range according to the calculated relative relationship.
  • the information processing device described in 1. The acquisition unit is Obtaining the slope of the road surface predicted to move the moving body, The determination unit is 11. The removal range is dynamically determined based on the relative relationship between the sensor and the road surface on which the moving body is currently traveling, and the slope of the road surface.
  • Information processing device (12)
  • the acquisition unit is The information processing apparatus according to any one of (1) to (11), which acquires the image captured by a stereo camera as the sensor.
  • the acquisition unit is The information processing apparatus according to any one of (1) to (11), which acquires the image captured by a monocular camera as the sensor.
  • the determination unit is The information processing apparatus according to any one of (1) to (13), wherein a removal range for removing at least one of a pedestrian, a bicycle, an automobile, and a two-wheeled vehicle from the detection target is dynamically determined as the object.
  • the determination unit is It is determined whether the object detected in the image belongs to the removal range, and if there is an object belonging to the removal range, it is determined to remove the object belonging to the removal range from the detection target.
  • the information processing device according to any one of (1) to (14).
  • information processing device 110 communication unit 120 storage unit 130 control unit 131 acquisition unit 132 calculation unit 133 determination unit 134 execution unit 140 detection unit 141 imaging unit 142 measurement unit 150 input unit 160 output unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る情報処理装置（１００）は、移動体が備えるセンサによって撮影された画像を取得する取得部（１３１）と、センサと移動体が走行する路面との相対関係に応じて、取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する決定部（１３３）とを備える。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。詳しくは、移動体に搭載されたセンサによる物体認識処理に関する。
　自動車等の移動体に関する技術として、ＡＤＡＳシステム（Advanced　Driver　Assistance　System）等、事故の可能性を事前に検知し回避するための技術が知られている。
　このような技術では、車両に搭載されるセンサ（カメラ等）で外部物体を認識する。物体の認識に関する技術として、車両にピッチングが発生した場合にも、カメラ自体の角度を機械的に変更するような複雑な構成を必要とせず、簡単な構成で物体を確実に検出するための技術が知られている。
特開平９－２２３２２７号公報
　従来技術によれば、ピッチによるずれを演算処理によって補正することで、カメラが捉えた複数の画像間で物体を確実に検出することができる。
　しかしながら、従来技術では、物体認識に関する情報処理の負荷を軽減させることは難しい。物体認識処理は、例えばカメラによって撮影された画像上で物体を認識することにより行われるが、誤認識によって検出される物体や、検出する必要性の低い物体（衝突の危険性が低い物体等）も相当数ある。このような状況において、検出された全ての物体に対して衝突の判断等を行うと、情報処理の負荷が大きくなる。
　そこで、本開示では、物体認識に関する情報処理の負荷を軽減させることができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、移動体が備えるセンサによって撮影された画像を取得する取得部と、前記センサと前記移動体が走行する路面との相対関係に応じて、前記取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する決定部と、を備える。
本開示の実施形態に係る情報処理の概要を示す図である。 本開示の実施形態に係る算出処理を説明する図（１）である。 本開示の実施形態に係る算出処理を説明する図（２）である。 本開示の実施形態に係る算出処理を説明する図（３）である。 本開示の実施形態に係る算出処理を説明する図（４）である。 本開示の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係る算出処理を説明する図（５）である。 本開示の実施形態に係る算出処理を説明する図（６）である。 本開示の実施形態に係る算出処理を説明する図（７）である。 本開示の実施形態に係る算出処理を説明する図（８）である。 本開示の実施形態に係る算出処理を説明する図（９）である。 本開示の実施形態に係る決定処理を説明する図である。 本開示の実施形態に係る処理の流れを示すフローチャートである。 本開示の変形例に係る情報処理を説明する図である。 本技術が適用され得る移動体制御システムの概略的な機能の構成例を示すブロック図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１－１．実施形態に係る情報処理の概要
　　　１－２．実施形態に係る情報処理装置の構成
　　　１－３．実施形態に係る情報処理の手順
　　　１－４．実施形態に係る変形例
　　２．その他の実施形態
　　　２－１．移動体の構成
　　　２－２．その他
　　３．ハードウェア構成
（１．実施形態）
［１－１．実施形態に係る情報処理の概要］
　図１は、本開示の実施形態に係る情報処理の概要を示す図である。本開示の実施形態に係る情報処理は、例えば、自動運転を行う所定の移動体が、衝突等を防止するために周囲の物体を認識する処理に利用される。実施形態では、所定の移動体として、自動車を例に挙げる。また、実施形態に係る情報処理は、自動車に搭載される情報処理装置１００（図１での図示は省略する）によって実行される。
　情報処理装置１００は、センサによって周囲の状況を観測し、観測結果に基づいて周囲の物体を認識する。実施形態では、情報処理装置１００は、センサとしてステレオカメラ（以下、特に説明のない場合は単に「カメラ」と記載する）を用いて、周囲を撮影して画像を取得する。そして、情報処理装置１００は、取得した画像に対して画像認識処理を行うことで、検出の対象となる物体である対象物を検出する。例えば、情報処理装置１００は、ＣＮＮ（Convolutional　Neural　Network）等を利用して学習された学習器を用いて、予め学習した対象物を画像上で検出する。例えば、情報処理装置１００は、１フレームの画像に対して異なる大きさのフィルタ（例えば、５×５ピクセルや、１０×１０ピクセルなど）を順に用いることで、対象物を精度よく検出することができる。なお、対象物とは、自動車にとって衝突を避けるべき物体や、自動車が認識すべき物体であり、例えば、歩行者、自転車、他の自動車、信号機、標識、特定の照明体（自動車のヘッドランプやテールランプなど）等である。
　上記のような画像認識処理を経て、情報処理装置１００は、対象物を検出し、検出した対象物の動きを追跡（トラッキング）する。また、情報処理装置１００は、対象物を回避するための自動運転を制御したり、対象物に衝突しないよう自動ブレーキ制御を行ったりする。すなわち、情報処理装置１００は、対象物の検出や追跡処理を継続しながら、安全な自動運転を行うための制御を行う。
　このように、情報処理装置１００は、既定のフレーム数（例えば１秒間に３０フレーム）に対する画像認識処理や、対象物のトラッキング処理や、対象物への危険度の判定等を継続することを要する。かかる情報処理は、トラッキングしたり衝突判定を行ったりする対象物が少なくなるほど、負荷が軽減する。このため、情報処理装置１００は、例えば誤認識した対象物を追跡対象から除去し、処理対象とする対象物を減らすといった対応を採りうる。これにより、情報処理装置１００は、処理負荷を軽減したり、ブレーキが誤作動する可能性を低減させたりできる。
　しかし、検出した対象物を処理対象から除去するか否か（言い換えれば、検出された対象物が誤認識されたものであるか否か）を判定することは容易でない。例えば、検出処理において、空中に浮遊している対象物や、一般的な対象物（歩行者や自転車等）と比較して明らかに巨大な対象物が検出される場合がある。この場合、検出された物体が所定の高さを超えて浮遊していることや、検出された物体自体の高さが一般的な歩行者等の高さを超えていることを判定基準として、物体を除去することが可能である。具体的には、検出された物体の最下端が路面から２メートル以上離れている場合や、検出された物体自体の高さが２．５メートルを超えている場合等には、それらの物体は、誤認識された物体であると想定される。
　しかし、自動車に搭載されるカメラは、車両の挙動等によって正常な位置からずれることが頻繁に起こりうるため、撮影される画像にもぶれが生じる。対象物の高さ情報は画像に基づいて算出されることから、ぶれが生じた画像は、対象物の高さ情報の推定処理に誤差を生じさせる。このため、所定閾値を超える高さの物体を一律に除去する等の設定を行った場合、高さの算出における誤差によって、実際にはその高さを超えない物体が処理対象から除去されるおそれがある。すなわち、所定閾値を超える高さの物体を一律に除去する等の処理では、誤認識と推定された物体を処理対象から適切に除去することが難しい。
　そこで、本開示に係る情報処理装置１００は、以下に説明する情報処理によって、誤認識した対象物を精度よく除去することを可能にする。具体的には、情報処理装置１００は、カメラと、車両が走行する路面との相対関係に応じて、画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する。なお、除去範囲とは、検出された物体を処理対象から除去するための条件（判定基準）と読み替えてもよい。例えば、情報処理装置１００は、カメラが路面と成す角度に応じて、物体を検出対象から除去する高さの閾値を決定する。なお、カメラが路面と成す角度とは、言い換えれば、車両の挙動によって生じるピッチ（カメラの垂直方向の角度）やロール（カメラの回転角）である。
　すなわち、情報処理装置１００は、車両に生じたピッチやロールに応じて除去範囲を動的に決定することにより、検出された物体が誤認識であるか否かを適切に判定することができる。以下、図１を用いて、本開示の実施形態に係る情報処理の概要を示す。
　図１に示す画像１０は、情報処理装置１００が備えるカメラによって撮影された画像である。情報処理装置１００は、画像１０を撮影するとともに、画像１０に含まれる物体を検出する。物体の検出処理は、上記のように、予め学習された学習器等を用いて実行される。
　図１の例では、情報処理装置１００が、画像１０において、比較的近傍に所在する自転車と、比較的遠方に所在する自転車と、歩行者とを検出したものとする。情報処理装置１００は、検出した物体を矩形で表示する。図１の例では、情報処理装置１００は、画像１０にオーバーレイさせて、近傍に所在する自転車を示す矩形１２と、比較的遠方に所在する自転車を示す矩形１４と、歩行者を示す矩形１６とを表示する。なお、矩形１６は、遠方にある木の枝を、情報処理装置１００が歩行者と誤認識したものである。また、各矩形は、検出された物体に接する各端点（上端、下端、左端、右端）を通る線分を結ぶこと等により形成される。
　物体の検出処理において、情報処理装置１００は、物体を検出するとともに、物体までの距離を測定する。例えば、情報処理装置１００は、ステレオカメラの２個のレンズを利用したステレオ測距技術を利用して、物体までの距離を測定する。なお、情報処理装置１００は、ステレオ測距技術に限らず、任意の測定機器（例えばレーザを利用した測距センサや、ＬｉＤＡＲ（Light　Detection　and　Ranging）のように光を利用した測距センサ等）を利用してもよい。
　続けて、情報処理装置１００は、物体までの距離を利用して、物体の高さ情報を算出する。この点について、図２を用いて説明する。図２は、本開示の実施形態に係る算出処理を説明する図である。
　図２に示すように、自動車に搭載された情報処理装置１００は、カメラ４０によって撮影される画像を取得する。カメラ４０が撮影した画像とは、図１に示す画像１０に対応する。画像１０には、歩行者と誤認識されて検出された矩形１６が含まれる。図２では、自動車が走行する路面を示す線４４から、撮像面２０の矩形１６に対応する実際の物体を示した矩形１７の下端までの高さＹを算出する例を示す。
　カメラ４０の焦点距離ｆ、撮像面２０の大きさ、及び、カメラ４０の設置高（図２では「CamHeight」と示す）は、既知である。なお、図２の例では、カメラ４０の光軸と、消失点（無限遠点）とが一致するものとする。画像１０における消失点の位置及び撮像面２０の大きさが既知であると、画像１０における矩形１６の下端までの高さｙを算出可能である。また、高さｙが算出できれば、相似を利用して、矩形１６の対象物の実際の高さＹも算出可能である。なお、カメラ４０から矩形１７までの距離Ｚは、上記したステレオ測距等により求められる。高さＹは、例えば下記式（１）で求められる。
Figure JPOXMLDOC01-appb-M000001
　画像１０における矩形１６の下端までの高さｙの算出について、図３を用いて説明する。図３は、本開示の実施形態に係る算出処理を説明する図（２）である。具体的には、図３は、図１に示した画像１０に、消失点３３と、消失点３３を通る水平線３４と、水平線３４から矩形１６の下端までの線分３５をオーバーレイした状態を示す。
　上述したように、水平線３４の高さは、カメラ４０の設置高と一致する。また、情報処理装置１００は、上述のように、図２に示した撮像面２０の大きさに基づいて、画像１０における１ピクセル分の高さを算出できる。このため、情報処理装置１００は、線分３５に相当するピクセル数に基づいて、線分３５に対応する高さ（すなわち、高さｙ）を算出できる。
　図２及び図３を用いて示したように、情報処理装置１００は、画像１０において矩形１６を検出するとともに、矩形１６に対応する対象物（すなわち矩形１７）の現実の高さＹを算出する。なお、情報処理装置１００は、矩形１６のみならず、矩形１２や矩形１４の高さについても算出する。また、上記と同様の手法により、情報処理装置１００は、例えば画像１０におけるピクセル数等に基づいて矩形１６自体の大きさ（縦横の長さ）を算出することができる。すなわち、情報処理装置１００は、検出した物体の路面からの高さ、及び、物体自体の高さのいずれをも算出可能である。
　図１に戻り、説明を続ける。各対象物の高さを算出したのち、情報処理装置１００は、各対象物が除去範囲に属するか否かを判定する（ステップＳ１）。なお、ステップＳ１の場合、画像１０が撮像された際に、自動車（カメラ）には、ピッチやロールが生じていないものとする。
　この場合、情報処理装置１００は、予め設定した除去範囲の設定に従い、検出した物体を対象物から除去するか否かを判定する。除去範囲は、例えば、路面からの高さや、物体自体の高さが現実にそぐわないものであるか否か等に鑑みて決定される。一例として、情報処理装置１００は、路面からの高さが２メートルを超える範囲や、物体自体の高さが２．５メートルを超える範囲等を除去範囲として決定する。なお、除去範囲は、検出される物体の種別に応じて変更されてもよい。例えば、情報処理装置１００は、検出される物体が歩行者や自転車であれば物体自体の高さが２．５メートルを超える範囲を除去範囲とし、検出される物体が信号機等であれば物体自体の高さが５メートルを超える範囲を除去範囲としてもよい。なお、上記の除去範囲の設定値は一例であり、情報処理装置１００は、任意の値を除去範囲と決定してもよい。
　説明のため、図１のステップＳ１後の画像１０として、フィルタ１８がオーバーレイされている状態を示す。フィルタ１８は、カメラから任意の距離において、路面からの高さが閾値を超える範囲を示す。言い換えれば、フィルタ１８に覆われる矩形は、路面からの高さが閾値を超えたものであり、除去範囲に属する。図１の例では、矩形１６は、フィルタ１８に覆われていることから、除去範囲に属する。このため、情報処理装置１００は、矩形１６が除去範囲に属すると判定し、矩形１６を検出対象から除去する。
　具体的には、情報処理装置１００は、矩形１６をトラッキングしたり、安全判定を行う物体としての対象から除去したりするよう、後段の処理部に指示する。例えば、情報処理装置１００は、矩形１６に対応する対象物については後段の処理部に送らず、矩形１２や矩形１４の対象物の情報のみを、トラッキングや安全判定を行う物体として、後段の処理部に送る。なお、この例では、説明のため、フィルタ１８を画像１０にオーバーレイさせた状態を示しているが、情報処理装置１００は、フィルタ１８の表示を行わず、単に矩形１６の高さが除去範囲の条件を満たすか否かを判定し、矩形１６を検出対象から除去してもよい。
　続いて、図４及び図５を用いて、自動車（カメラ）にピッチやロールが生じた場合における除去範囲の決定について説明する。図４は、本開示の実施形態に係る算出処理を説明する図（３）である。図４には、カメラ４０の理想的な光軸（路面と平行）を示す線分４２と、路面を示す線４４と、物体４６とを示す。また、図４には、線分４２と、カメラ４０と物体４６の最下端とを結ぶ線分とが成す角αとを示す。この場合、物体４６の最下端までの高さHeightは、下記式（２）で算出される。
Figure JPOXMLDOC01-appb-M000002
　上記式（２）は、カメラ４０が設置角度から傾いていない（自動車にピッチやロールが生じていない）、理想的な状態での物体４６の高さの算出式である。
　しかしながら、走行中のアクセスやブレーキ等の挙動に伴い、カメラ４０には傾きが生じることがありうる。この場合の物体４６の高さの算出について、図５を用いて説明する。図５は、本開示の実施形態に係る算出処理を説明する図（４）である。図５には、図４と同様に、線分４２と、線４４と、物体４６とを示す。また、図５には、線分４２と、カメラ４０と物体４６の最下端とを結ぶ線分とが成す角αとを示す。また、図５には、カメラ４０自体が傾いたことによって生じたピッチを示す。図５では、ピッチは、理想的な光軸を示した線分４２と、傾いたカメラ４０の光軸に対応する線分４８とが成す角度pitchとして示される。この場合、物体４６の最下端までの高さHeight´は、下記式（３）で算出される。
Figure JPOXMLDOC01-appb-M000003
　上記式（３）に示すように、高さHeight´は、角度pitchに応じて可変する。このことは、カメラ４０が傾くことにより、物体の最下端の高さには誤差が生じることを示している。このため、ピッチが生じている場合に、ピッチが生じていない場合の除去範囲を適用すると、適切に物体を除去できない可能性や、本来除去してはいけない物体が除去されるおそれがある。
　例えば、図５で説明したように、カメラが下向きに傾いた状態における画像に基づき高さを算出すると、実際の高さよりも大きい値が算出される。そこで、情報処理装置１００は、生じたピッチに応じて除去範囲を動的に決定する。具体的には、情報処理装置１００は、誤差が生じた場合であっても適切に物体を対象物から除去することができるよう、除去範囲をより上部（すなわち、より大きな値）に引き上げる。
　この点について、図１に戻って説明する。例えば、情報処理装置１００は、カメラが路面に対して下向きに傾いた場合、ステップＳ１の場合と比較して、除去範囲として設定される高さがより高くなるよう、除去範囲を変更する（ステップＳ２）。具体的には、ステップＳ２では、フィルタ１８は、ステップＳ１の場合と比較して、画像１０のより上方にずれたように表示される。詳細については後述するが、ステップＳ２において、情報処理装置１００は、生じたピッチに応じて、除去範囲として設定する高さを引き上げる。
　これにより、情報処理装置１００は、ステップＳ２のように画像１０に写り込む物体の高さが実際よりも高く算出される場合であっても、適切に除去範囲を設定することができる。そして、情報処理装置１００は、物体を対象物から除去することによって、トラッキング等の後段処理を省略することができるため、物体認識に関する情報処理の負荷を軽減させることができる。
　以下、上記の情報処理を実行する情報処理装置１００の構成や、ピッチのみならずロールが生じた場合の算出処理や、ピッチ等が生じた場合の除去範囲の決定等について、図を用いて詳細に説明する。
［１－２．実施形態に係る情報処理装置の構成］
　図６を用いて、情報処理装置１００の構成について説明する。図６は、本開示の実施形態に係る情報処理装置１００の構成例を示す図である。図６に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、検知部１４０と、入力部１５０と、出力部１６０とを有する。なお、図６に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置１００の機能は、複数の物理的に分離された装置に分散して実装されてもよい。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１１０は、ＵＳＢ（Universal　Serial　Bus）ホストコントローラ、ＵＳＢポート等により構成されるＵＳＢインターフェイスであってもよい。また、通信部１１０は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。例えば、通信部１１０は、無線ＬＡＮ方式やセルラー通信方式の無線通信インターフェイスであってもよい。通信部１１０は、情報処理装置１００の通信手段或いは送信手段として機能する。例えば、通信部１１０は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、他の情報処理端末等との間で情報の送受信を行う。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、各種データを記憶する。例えば、記憶部１２０は、検出対象を学習した学習器（画像認識モデル）や、検出した対象物に関するデータ等を記憶する。また、記憶部１２０は、自動運転を実行するための地図データ等を記憶してもよい。
　また、記憶部１２０は、除去範囲の初期設定（言い換えれば、カメラ４０にピッチ及びロールが生じていない場合の設定）を記憶してもよい。例えば、記憶部１２０は、「検出された物体自体の高さが２．５メートルを超える」範囲を、除去範囲として記憶する。あるいは、記憶部１２０は、「検出された物体の最下端の高さが路面から１．５メートルを超える」範囲を、除去範囲として記憶してもよい。また、記憶部１２０は、これらの条件を同時に満たす場合のみを除去範囲として記憶してもよい。また、記憶部１２０は、物体の種別ごとに異なる除去範囲を記憶してもよい。
　また、記憶部１２０は、物体の高さ算出において誤差が生じると予測される場合に、除去範囲を拡大する数値を記憶してもよい。誤差を含めた物体の高さ算出については後述するが、例えば記憶部１２０は、算出された誤差からマージンを含めて「５０センチメートル」拡大した範囲を除去範囲と新たに設定する、といった設定情報を記憶してもよい。なお、上記した数値は一例であり、記憶部１２０は、例えば管理者等の入力に従い、入力される任意の値を設定値として記憶してもよい。
　また、記憶部１２０は、ユーザによる手動や、情報処理装置１００による自動運転によって制御される車両に関する情報を記憶してもよい。例えば、記憶部１２０は、車体の大きさ、重量、車種等の情報を記憶する。
　検知部１４０は、情報処理装置１００に関する各種情報を検知する。具体的には、検知部１４０は、情報処理装置１００の周囲の環境や、情報処理装置１００の所在する位置情報や、情報処理装置１００と接続されている機器に関する情報等を検知する。検知部１４０は、各種の情報を検知するセンサと読み替えてもよい。実施形態に係る検知部１４０は、撮像部１４１と、測定部１４２とを有する。
　撮像部１４１は、情報処理装置１００の周囲を撮像する機能を有するセンサであり、いわゆるカメラである。例えば、撮像部１４１は、ステレオカメラや単眼カメラ、レンズレスカメラ等によって実現される。例えば、図１等に示したカメラ４０は、撮像部１４１の一例である。
　測定部１４２は、情報処理装置１００及び情報処理装置１００が搭載される車両の情報を測定するセンサである。
　例えば、測定部１４２は、情報処理装置１００及び情報処理装置１００が搭載される車両の挙動を検知する。例えば、測定部１４２は、車両の加速度を検知する加速度センサや、挙動を検知するジャイロセンサ、ＩＭＵ（Inertial　Measurement　Unit）等である。
　また、測定部１４２は、情報処理装置１００が搭載された自動車の挙動を測定してもよい。例えば、測定部１４２は、自動車のブレーキ、アクセル、ステアリングの操作量を測定する。例えば、測定部１４２は、自動車のブレーキ、アクセル、ステアリングの各々に搭載されたセンサ等を利用して、ブレーキやアクセルに対して加えられた力（圧力等）に応じた量を測定する。また、測定部１４２は、自動車の速度や加速度、加速及び減速量、ヨーレート情報等を測定してもよい。測定部１４２は、これら自動車の挙動に関する情報について、上記したセンサ等に限らず、様々な既知の技術によって測定してもよい。
　また、測定部１４２は、情報処理装置１００の周囲にある物体との距離を測定するためのセンサを含んでもよい。例えば、測定部１４２は、情報処理装置１００の周辺環境の三次元的な構造を読み取るＬｉＤＡＲであってもよい。ＬｉＤＡＲは、赤外線レーザ等のレーザ光線を周囲の物体に照射し、反射して戻るまでの時間を計測することにより、周囲にある物体までの距離や相対速度を検知する。また、測定部１４２は、ミリ波レーダを使った測距システムであってもよい。また、測定部１４２は、デプスデータを取得するためのデプスセンサを含んでもよい。
　また、測定部１４２は、情報処理装置１００の周囲の音を収集するマイクロフォンや、情報処理装置１００の周囲の照度を検知する照度センサや、情報処理装置１００の周囲の湿度を検知する湿度センサや、情報処理装置１００の所在位置における磁場を検知する地磁気センサ等を含んでもよい。
　入力部１５０は、情報処理装置１００を利用するユーザ等から各種操作を受け付けるための処理部である。入力部１５０は、例えば、キーボードやタッチパネル等を介して、各種情報の入力を受け付ける。
　出力部１６０は、各種情報を出力するための処理部である。出力部１６０は、例えばディスプレイやスピーカー等である。例えば、出力部１６０は、撮像部１４１によって撮像された画像を表示したり、画像内で検出された物体を矩形として表示したりする。
　制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、情報処理装置１００内部に記憶されたプログラム（例えば、本開示に係る情報処理プログラム）がＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　図６に示すように、制御部１３０は、取得部１３１と、算出部１３２と、決定部１３３と、実行部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　取得部１３１は、各種情報を取得する。例えば、取得部１３１は、情報処理装置１００が搭載された移動体が備えるセンサ（撮像部１４１）によって撮影された画像を取得する。
　例えば、取得部１３１は、センサとして、ステレオカメラによって撮影された画像を取得する。この場合、取得部１３１は、例えばステレオ測距によって測定された、物体までの距離を取得する。
　なお、取得部１３１は、センサとして、単眼カメラによって撮影された画像を取得してもよい。この場合、取得部１３１は、例えばレーザ等を用いた測距センサ（測定部１４２）によって測定された、物体までの距離を取得する。
　取得部１３１は、取得した情報を、適宜、記憶部１２０に格納する。また、取得部１３１は、記憶部１２０内から、適宜、処理に要する情報を取得してもよい。また、取得部１３１は、検知部１４０や入力部１５０を介して処理に要する情報を取得してもよいし、ネットワークＮを介して、外部装置から情報を取得してもよい。
　算出部１３２は、取得部１３１によって取得された画像に対して画像認識処理を行い、物体を検出する。そして、算出部１３２は、検出された物体までの距離情報を用いて、当該物体に関する高さ情報を算出する。
　図２乃至図４において説明したように、算出部１３２は、路面に対するセンサの光軸の角度に応じて、物体自体の高さや、路面から物体の最下端までの高さを算出する。
　また、図５において説明したように、算出部１３２は、物体の高さを算出する際には、誤差を含む高さを算出してもよい。
　後述する決定部１３３は、算出部１３２によって算出された誤差を含む高さ情報を用いて、除去範囲を決定する。上記のように、誤差は、移動体の挙動等によって生じるカメラの光軸のピッチやロールによって生じうる。また、誤差は、カメラ自体の高さが変位することにより生じたり、物体の測距において生じたりする。情報処理装置１００は、これらの各要素を含んだ、誤差を含む高さ情報を算出し、算出した値に基づいて、除去範囲を決定する。これらの点について、図７から図１１を用いて、詳細に説明する。
　図７は、本開示の実施形態に係る算出処理を説明する図（５）である。図７以下では、自動車（情報処理装置１００）の挙動によって生じるピッチ及びロールの説明のため、自動車の側方にカメラ４０が設置されている例を示す。すなわち、図７では、カメラ４０の視野角４９は、自動車の側方を向くこととなる。
　上述のように、カメラ４０は、自動車の挙動等に応じてピッチもしくはロールが生じる。これにより、算出部１３２が算出する高さ情報に誤差が生じすることになる。この点について、図８以下を用いて説明する。
　例えば、自動車のブレーキ等の挙動により、自動車がノーズダイブした状態について説明する。図８は、本開示の実施形態に係る算出処理を説明する図（６）である。図８では、カメラ４０が設置された自動車において、自動車の前方が下がった状態（自動車自体にピッチが生じた場合）を示している。
　図８に示すように、自動車は、重心位置５０を中心として、前方が沈み込んだ状態となる。このとき、カメラ４０は、移動前後のカメラ４０の中心位置を結ぶ線分５４と、重心位置５０とカメラ４０の中心を結ぶ線分５６とが成す角度５２だけ傾く。角度５２は、自動車にとってのピッチであり、カメラ４０にとってはロールとなる。
　このとき、カメラ４０の高さ方向の変位である線分５４を「HeightDiff」と称し、自動車の重心からカメラ４０までの距離を「DistanceGravity」と称すると、「HeightDiff」は、下記式（４）で求められる。
Figure JPOXMLDOC01-appb-M000004
　上記式（４）における「roll」とは、カメラ４０から見た場合の路面との相対関係（ロール）を示している。すなわち、ピッチ及びロールが既知であれば、上記式（４）によって、カメラ４０の高さの変位を求めることができる。
　次に、図９を用いて、算出処理における誤差について説明する。図９は、本開示の実施形態に係る算出処理を説明する図（７）である。
　図８で示したように、カメラ４０にロールが生じると、カメラ４０が取得する画像が回転する。図４を用いて説明したように、算出部１３２は、画像上の矩形の最下端に基づいて物体の高さを算出するため、画像が回転した場合、算出誤差が生じうる。
　図９に示す画像６１は、カメラ４０にロールが生じる前の画像を示す。また、矩形６５は、画像６１において検出された任意の物体を示す。ここで、矩形６５の最下端の１点の座標を（ximg,yimag）と仮定する。
　ここで、カメラ４０のロールが生じたものとする（ステップＳ１１）。図９に示す画像６２は、カメラ４０にロールが生じた後の画像を示す。また、矩形６６は、移動後の画像６２において検出された任意の物体であり、移動前の矩形６５に対応する。ここで、矩形６５の１点の座標（ximg,yimag）の移動後の点を座標（ximg´,yimag´）とすると、座標（ximg´,yimag´）は、下記式（５）で表される。
Figure JPOXMLDOC01-appb-M000005
　続けて、上記のように画像が回転した場合の誤差算出について、図１０を用いて説明する。図１０は、本開示の実施形態に係る算出処理を説明する図（８）である。
　図１０に示す物体７０は、図９に示した矩形６５に対応する物体を示す。また、物体７２は、図９に示した矩形６６に対応する物体を示す。すなわち、図１０では、カメラ４０の移動によって、物体７０が見かけ上移動した状況を示している。
　図１０において、物体７０から物体７２への変位（「HeightDiff　imgroll」と称する）を求めることにより、カメラ４０の回転による誤差が算出できる。例えば、「HeightDiff　imgroll」は、下記式（６）で求められる。
Figure JPOXMLDOC01-appb-M000006
　次に、カメラ４０がステレオカメラであり、ステレオ測距により物体までの距離を測定する場合の誤差について、図１１を用いて説明する。図１１は、本開示の実施形態に係る算出処理を説明する図（９）である。
　ステレオ測距においては、左右カメラの位置がずれること等により、視差ずれが生じることがわかっている。このため、ステレオ測距された対象物までの距離Ｄ（Distance）に対して、視差ずれ（誤差）を考慮した場合の距離Distance´は、例えば下記式（７）で求めることができる。
Figure JPOXMLDOC01-appb-M000007
　上記式（７）において、ｆは、焦点距離を示す。また、Ｂは、カメラ間距離（基線長）を示す。また、「Errdiff」は、視差ずれ（誤差）を示す。ここで、視差ずれについては、統計的な観測により求めた値を代入することができる。仮に、統計結果等から、対象物の距離が２０メートルの場合に、画像上において１ピクセル程度の誤差が生じることが判明しているとする。この場合、算出部１３２は、上記式（７）の「Errdiff」に「１」を代入する。そして、算出部１３２は、焦点距離ｆやカメラ間距離Ｂや、対象物までの距離Ｄについても、単位をピクセルに揃えることで、誤差を含めた距離Distance´を算出することができる。
　以上、図７乃至図１１において説明したように、誤差を生じうる各要素を求めることで、算出部１３２は、誤差を含む物体の高さを算出することが可能である。例えば、算出部１３２は、下記式（８）により、誤差を含む物体の高さを求める。
Figure JPOXMLDOC01-appb-M000008
　上記式（８）に示されるように、算出部１３２は、カメラに生じるピッチ及びロール（言い換えれば、画像自体の回転による物体の高さ算出の誤差）、カメラの設置高の変位、及び、ステレオ測距の誤差をそれぞれ求めることで、誤差を含む物体の高さ情報を算出することができる。算出部１３２は、算出した高さ情報を決定部１３３に送る。
　決定部１３３は、カメラ４０と移動体が走行する路面との相対関係に応じて、取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する。例えば、決定部１３３は、物体として、歩行者、自転車、自動車及び二輪車の少なくともいずれかを検出対象から除去する除去範囲を動的に決定する。なお、決定部１３３は、物体として、信号機や、自動車のヘッドライトやテールライト等を検出対象から除去する除去範囲を決定してもよい。
　例えば、決定部１３３は、相対関係として、移動体が走行する路面に対するカメラ４０の光軸の角度に応じて、除去範囲を決定する。一例として、決定部１３３は、移動体が走行する路面に対するカメラ４０の光軸の角度を参照し、角度が初期値（すなわち、カメラの俯角が０度）である場合には、初期設定に基づいて除去範囲を決定する。
　また、決定部１３３は、路面に対するカメラ４０の光軸のピッチ及びロールに応じて、除去範囲を決定する。すなわち、決定部１３３は、決定部１３３は、移動体が走行する路面に対するカメラ４０の光軸の角度を参照し、角度が初期値ではなく、ピッチ及びロールが生じている場合には、上記式（８）に沿って算出部１３２によって算出される誤差に基づいて、除去範囲を決定する。
　上記式（８）に示したように、誤差は、カメラ４０のピッチ及びロールが生じることによる算出誤差、及び、ステレオ測距の誤差により生じうる。このため、決定部１３３は、予めそれらの要素と生じうる誤差の相関関係を求めておき、除去範囲を決定するようにしてもよい。
　一例として、物体までのステレオ測距の結果が２０メートルであり、ピッチが１度、ロールが１度生じた場合に、物体の高さ情報に「約１メートル」の誤差が生じることが統計的に既知になったものとする。この場合、決定部１３３は、かかる誤差を考慮し、除去範囲を決定する。なお、現実的には、ピッチやロールの観測値等についても誤差が生じる可能性があるため、決定部１３３は、いくらかのマージンを含めて除去範囲を決定する。例えば、決定部１３３は、上記の例の場合、マージンを含めて「１．５メートル」分を許容するような除去範囲を決定する。
　具体的には、除去範囲の初期設定が、「検出された物体の最下端が路面から２メートル以上離れている場合」であったとする。これに対して、ステレオ測距の結果が２０メートルであり、ピッチが１度、ロールが１度生じた場合には、決定部１３３は、上記の許容する値を加えて、除去範囲を「検出された物体の最下端が路面から「２＋１．５＝３．５」メートル以上離れている場合」と決定する。これにより、決定部１３３は、カメラ４０にピッチ等が生じることにより誤差を含めた高さが算出された場合であっても、その誤差を考慮した除去範囲を適切に決定することができる。
　なお、図６を用いて示したように、決定部１３３は、カメラ４０に生じるピッチ及びロールの情報が取得可能であれば、カメラ４０の取り付け位置が前方であっても側方であっても後方であっても、除去範囲を決定することができる。すなわち、決定部１３３は、移動体の前方、側方もしくは後方のいずれかに備えられた少なくとも一つのセンサの光軸のピッチ及びロールを用いて、除去範囲を決定することができる。
　ここで、移動体のピッチ及びロールの検知について説明する。決定部１３３は、移動体のピッチ及びロール（言い換えれば、路面に対するカメラ４０の光軸のピッチ及びロール）について、種々の手法を用いて取得可能である。
　一例として、決定部１３３は、測定部１４２によって測定される車両情報からピッチ及びロールを取得してもよい。上述のように、測定部１４２は、ＩＭＵ等のセンサにより実現されるため、車両全体の傾き等を測定することが可能である。決定部１３３は、測定部１４２により測定されたピッチ及びロールの値を取得し、取得した値に基づいて除去範囲を決定することができる。
　また、決定部１３３は、移動体の挙動を制御する制御情報に基づいて相対関係を算出し、算出した相対関係に応じて除去範囲を決定してもよい。
　例えば、決定部１３３は、移動体の挙動を制御する制御情報として、移動体に対するブレーキ、アクセルもしくはステアの操作量、移動体の加速度の変化量、又は、移動体のヨーレート情報の少なくともいずれかに基づいて、相対関係を算出する。
　例えば、決定部１３３は、カメラ４０が搭載された移動体の制御情報（ブレーキやアクセルの制御量や、加減速の変化量）と、その制御情報が発生した場合に移動体に生じうるピッチやロールの関係を予め算出及び記憶しておく。この場合、決定部１３３は、走行中の速度や、車体重量や、路面の種別等と、制御情報によって生じるピッチ及びロールの関係を記憶しておいてもよい。これにより、決定部１３３は、移動体の制御に合わせて生じうるピッチ及びロールの情報を精度よく算出することができる。
　そして、決定部１３３は、移動体の走行中に発生する制御情報に基づいて、移動体に生じると想定されるピッチ及びロールを算出し、算出した値に基づいて、カメラ４０と路面との相対関係を算出する。かかる手法によっても、決定部１３３は、路面に対するカメラ４０の設置角の変化を捉えることができるため、当該角度の変化に応じて、動的に除去範囲を決定することができる。
　また、決定部１３３は、複数の画像をまたいだ物体の変化量（移動量）に基づいて、移動体のピッチ及びロール等を推定し、推定した情報に基づいて、カメラ４０と路面との相対関係を算出してもよい。具体的には、決定部１３３は、取得部１３１によって取得された複数の画像に撮像された物体の変化量に基づいて相対関係を算出し、算出した相対関係に応じて除去範囲を決定する。
　例えば、図９に示したように、カメラ４０にロールが生じた場合、ロールが生じる前に検出された物体（図９の例では、矩形６５及び矩形６６）は、画像上において位置がずれることになる。これは、物体自体が移動したのではなく、カメラ４０が回転したことによって、物体の見かけ上の位置が変化したことによる。すなわち、決定部１３３は、あるフレームと次のフレームにおいて物体が所定閾値を超えて移動している場合、それは物体の移動ではなく、カメラ４０と路面との相対関係が変化したと認識可能である。また、上記式（５）によれば、カメラ４０に生じた変化（ロール）は、変化前後の画像における物体の座標が既知であれば、算出することができる。
　このように、決定部１３３は、画像認識処理を利用して物体の変化量を求めることで、カメラ４０の変化量、すなわち、カメラ４０と路面との相対関係を求めることができる。かかる手法によっても、決定部１３３は、路面に対するカメラ４０の設置角の変化を捉えることができるため、当該角度の変化に応じて、動的に除去範囲を決定することができる。
　また、決定部１３３は、特定の時間内に観測されたピッチもしくはロールを平滑化した値に応じて、除去範囲を決定してもよい。
　上記のいずれの手法においても、例えば移動体が障害物に乗り上げた瞬間等、カメラ４０に瞬間的な振動が加えられた場合に、極めて短時間で比較的大きな相対関係の変化が観測される場合がある。例えば、前後フレーム間でのみでピッチ及びロール量を判定するなど、観測タイミングをあまりに細かく設定すると、突発的に大きな値（スパイク的な値）が生じた際に、情報処理に与える影響が大きくなると推定される。
　このため、決定部１３３は、例えば、複数フレームに渡ってピッチ及びロールの変化量を観測しつつ、処理の際には、複数フレームにおけるピッチ及びロールの変化量の平均値や中央値を算出することで、平滑化した値を得ることができる。このように、決定部１３３は、数値を平滑化することによりスパイク的な値を排除した情報処理を行うことができるため、精度の高い情報処理を行うことができる。
　上述してきたように、決定部１３３は、カメラ４０に生じるピッチ及びロール等の要素に基づいて除去範囲を決定するため、一つの画像上においても、画像上の物体の位置に応じて除去範囲（除去の条件）が異なる場合がある。すなわち、決定部１３３は、画像における物体の位置に応じて、物体ごとに異なる除去範囲を動的に決定してもよい。
　この点について、図１２を用いて説明する。図１２は、本開示の実施形態に係る決定処理を説明する図である。なお、図７乃至図１１では、カメラ４０が車体の横向きに設置されている例を示したが、図１２では、説明をわかりやすくするため、カメラ４０が車体の前方に設置されている例を用いて説明する。
　図１２の画像８０は、カメラ４０にピッチ及びロールが生じていない場合の除去範囲８１を示している。言い換えると、画像８０における除去範囲８１を除いた箇所である検出範囲８５は、物体が情報処理の対象物として検出される範囲を示している。なお、図１と同じく、図１２における除去範囲８１等の図示は、あくまで説明をわかりやすくするための表示例であり、実際の除去範囲は、画像上で検出された物体の高さ情報及び誤差情報を用いて決定される。
　ここで、例えばノーズダイブ等の挙動により、移動体である自動車の前方が下向きに傾いたものとする。この場合、カメラ４０にはピッチが発生するため、決定部１３３は、ピッチに応じて除去範囲を決定する（ステップＳ２１）。例えば、決定部１３３は、除去範囲８２を新たに決定する。除去範囲８２は、除去範囲８１と比較して、画像の上部にずれることになる。一方、新たな検出範囲８６は、検出範囲８５と比較して、より広い面積を含むことになる。
　また、例えばスクォート（squirt）等の挙動により、移動体である自動車の前方が上向きに傾いたものとする。この場合、カメラ４０には、ノーズダイブ時とは逆方向にピッチが発生するため、決定部１３３は、ピッチに応じて除去範囲を決定する（ステップＳ２２）。例えば、決定部１３３は、除去範囲８３を新たに決定する。除去範囲８３は、除去範囲８１と比較して、画像の下部にずれることになる。一方、新たな検出範囲８７は、検出範囲８５と比較して、より狭い面積を含むことになる。
　また、移動体である自動車に、正面向かって右肩上がりに回転する挙動が生じたものとする。この場合、カメラ４０には、ロールが発生するため、決定部１３３は、ロールに応じて除去範囲を決定する（ステップＳ２３）。例えば、決定部１３３は、除去範囲８４を新たに決定する。図１２に示すように、除去範囲８４にはロールに応じた範囲が設定されるため、除去範囲と検出範囲の境界が、右肩上がりの斜線として設定される。同様に、新たな検出範囲８８にも、除去範囲８４の境界が右肩上がりの斜線として現れる。このことは、除去範囲（高さの設定）が画像において必ずしも一律ではなく、画像上の物体の位置に応じて異なるものであることを示している。このように、決定部１３３は、カメラ４０に生じたピッチ及びロールに応じて柔軟に除去範囲を決定するので、カメラ４０に様々な挙動が生じた場合であっても、適切に除去範囲を決定することができる。
　なお、決定部１３３は、必ずしもカメラ４０のピッチ及びロールのみに応じて除去範囲を決定しなくてもよい。例えば、現実的には、カメラ４０の正面（言い換えれば、カメラ４０によって撮影された画像の中央近傍）に存在する物体については、より厳密にトラッキングや衝突可能性を行った方が適切である。このため、決定部１３３は、画像の中心近傍において検出された物体に対して、画像における他の範囲で検出された物体とは異なる除去範囲を動的に決定してもよい。例えば、決定部１３３は、画像を水平方向に３等分した場合の中心にあたる箇所については、端部において設定される除去範囲よりも、範囲を拡大させてもよい。これにより、決定部１３３は、より衝突の可能性が高いと想定される、画像中央で検出される物体については除去されにくくすることができるため、情報処理の負荷を軽減させつつ、事故や衝突の可能性も低減させることができる。
　また、決定部１３３は、物体の種別ごとに異なる除去範囲を動的に決定してもよい。例えば、決定部１３３は、検出された物体が歩行者や自転車である場合に適用する除去範囲と、信号機等である場合に適用される除去範囲について、異なる高さの基準を決定してもよい。
　決定部１３３は、画像において検出された物体が除去範囲に属するか否かを判定し、除去範囲に属する物体が存在する場合には、除去範囲に属する物体を検出対象から除去することを決定する。そして、決定部１３３は、除去しなかった対象物に関する情報のみを実行部１３４に送る。これにより、決定部１３３は、後段の処理部の負荷を軽減させることができる。
　実行部１３４は、決定部１３３よりも後段の処理を実行する。例えば、実行部１３４は、検出対象とされる対象物をトラッキングしたり、対象物の移動情報（速度や方向）を分析したり、情報処理装置１００が搭載される移動体との衝突判定を行ったりする。また、実行部１３４は、移動体と対象物とが衝突する可能性がある場合、移動体の回避行動を制御したり（ステア操作やブレーキ操作）、移動体のユーザに対して警告を発したりする。
［１－３．実施形態に係る情報処理の手順］
　次に、図１３を用いて、実施形態に係る情報処理の手順について説明する。図１３は、本開示の実施形態に係る処理の流れを示すフローチャートである。
　図１３に示すように、情報処理装置１００は、カメラ４０等のセンサを介して、画像を取得する（ステップＳ１０１）。そして、情報処理装置１００は、画像内の物体を検出する（ステップＳ１０２）。
　続けて、情報処理装置１００は、検出した物体の高さ情報を算出する（ステップＳ１０３）。その後、情報処理装置１００は、情報処理装置１００が搭載された車両にピッチ及びロールが生じているか否かを判定する（ステップＳ１０４）。
　車両にピッチ及びロールが生じている場合（ステップＳ１０４；Ｙｅｓ）、情報処理装置１００は、ピッチ及びロールによって生じる誤差を算出し、誤差を含めたうえで、物体を処理対象から除去する範囲（高さ）を決定する（ステップＳ１０５）。
　さらに、情報処理装置１００は、決定した閾値（高さ）を超える高さの物体を処理対象から除去する（ステップＳ１０６）。
　一方、車両にピッチ及びロールが生じていない場合（ステップＳ１０４；Ｎｏ）には、情報処理装置１００は、予め設定された閾値（除去範囲）を超える高さの物体を処理対象から除去する（ステップＳ１０７）。
　そして、情報処理装置１００は、除去しなかった物体の情報のみを後段の処理部に送る（ステップＳ１０８）。
［１－４．実施形態に係る変形例］
　次に、実施形態における前提が異なる場合の例（変形例）について説明する。例えば、実施形態では、移動体が走行する路面の角度と、移動体の角度（すなわち、センサの設置角）とがともに水平（フラット）である例を示した。しかし、実際には、移動体が走行する路面に勾配が生じている場合がある。
　この点について、図１４を用いて説明する。図１４は、本開示の変形例に係る情報処理を説明する図である。
　図１４に示すように、自動車の進行方向の路面９４は、現時点で自動車が走行する路面に対して勾配がある。これに対して、情報処理装置１００が算出する矩形１７の高さは、現時点のカメラ４０の設置高である「CamHeight」に基づいて算出されるため、現実の高さとは異なることになる。具体的には、図１４に示す線分９２の長さが、情報処理装置１００が算出する矩形１７の高さである。しかし、実際には、図１４に示す線分９０の長さが、勾配のある路面９４からの矩形１７の真の高さである。
　このような場合、情報処理装置１００は、路面９４の勾配を測定したうえで、矩形１７の高さを算出する。具体的には、情報処理装置１００は、既知の勾配測定機器を用いて、路面９４の勾配を測定する。例えば、情報処理装置１００は、カメラ４０によって取得された画像を分析すること（例えば、前方に位置する物体や他の自動車の形状等を分析すること）により、進行方向の路面がどのくらいの角度で勾配があるかを測定する。なお、情報処理装置１００は、例えば保持する地図情報（例えば、各道路の勾配情報が記憶された地図情報）に基づいて、進行する路面９４の勾配を取得してもよい。
　そして、情報処理装置１００は、矩形１７までの距離に基づいて線分９２の高さを算出するとともに、矩形１７までの距離と勾配とに基づいて、補正値（線分９２から差し引く高さ）を算出する。これにより、情報処理装置１００は、矩形１７の真の高さである線分９０の長さを算出することができる。情報処理装置１００は、算出した線分９０の長さを用いて除去範囲を決定することで、現実に即した除去範囲を決定することができる。
　このように、情報処理装置１００は、自動車（移動体）が移動すると予測される路面の勾配を取得する。そして、情報処理装置１００は、カメラ４０と自動車が現時点で走行する路面との相対関係、及び、路面の勾配に基づいて、除去範囲を動的に決定する。
　すなわち、情報処理装置１００は、路面がフラットな状態に限らず、路面に勾配がある場合であっても、上記の情報処理を適用して除去範囲を動的に決定することができる。
　また、上記実施形態では、カメラ４０を介して取得される画像について、光軸中心と消失点とが略同一である例を示した。ここで、カメラ４０の光軸中心と消失点とが略同一でない場合、情報処理装置１００は、既知の校正処理を用いてカメラ４０をキャリブレーションしたのちに、上記情報処理を実行するようにしてもよい。あるいは、情報処理装置１００は、算出された物体の高さに所定の補正値（例えば光軸と消失点とのずれ）を加えて、真の高さを算出するようにしてもよい。
（２．その他の実施形態）
　上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
［２－１．移動体の構成］
　上記実施形態では、情報処理装置１００は、移動体に搭載される例を示したが、情報処理装置１００は、自動運転を行う自律型移動体（自動車）そのものによって実現されてもよい。この場合、情報処理装置１００は、図６に示した構成の他に、以下に示す構成を有してもよい。なお、以下に示す各部は、例えば、図６に示した制御部１３０に含まれてもよい。
　すなわち、本技術の情報処理装置１００は、以下に示す移動体制御システムとして構成することも可能である。図１５は、本技術が適用され得る移動体制御システムの概略的な機能の構成例を示すブロック図である。
　移動体制御システムの一例である車両制御システム２００の自動運転制御部２１２は、実施形態の情報処理装置１００の制御部１３０に相当する。また、自動運転制御部２１２の検出部２３１及び自己位置推定部２３２は、実施形態の情報処理装置１００の検知部１４０に相当する。また、自動運転制御部２１２の状況分析部２３３は、制御部１３０の取得部１３１や算出部１３２に相当する。また、自動運転制御部２１２の計画部２３４は、制御部１３０の決定部１３３や実行部１３４に相当する。また、自動運転制御部２１２の動作制御部２３５は、制御部１３０の実行部１３４に相当する。また、自動運転制御部２１２は、図１５に示すブロックに加えて、制御部１３０の各処理部に相当するブロックを有していてもよい。
　なお、以下、車両制御システム２００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム２００は、入力部２０１、データ取得部２０２、通信部２０３、車内機器２０４、出力制御部２０５、出力部２０６、駆動系制御部２０７、駆動系システム２０８、ボディ系制御部２０９、ボディ系システム２１０、記憶部２１１、及び、自動運転制御部２１２を備える。入力部２０１、データ取得部２０２、通信部２０３、出力制御部２０５、駆動系制御部２０７、ボディ系制御部２０９、記憶部２１１、及び、自動運転制御部２１２は、通信ネットワーク２２１を介して、相互に接続されている。通信ネットワーク２２１は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム２００の各部は、通信ネットワーク２２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム２００の各部が、通信ネットワーク２２１を介して通信を行う場合、通信ネットワーク２２１の記載を省略するものとする。例えば、入力部２０１と自動運転制御部２１２が、通信ネットワーク２２１を介して通信を行う場合、単に入力部２０１と自動運転制御部２１２が通信を行うと記載する。
　入力部２０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部２０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部２０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム２００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部２０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム２００の各部に供給する。
　データ取得部２０２は、車両制御システム２００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム２００の各部に供給する。
　例えば、データ取得部２０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部２０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部２０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部２０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部２０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部２０３は、車内機器２０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム２００の各部から供給されるデータを送信したり、受信したデータを車両制御システム２００の各部に供給したりする。なお、通信部２０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部２０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部２０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、又は、ＷＵＳＢ（Wireless　USB）等により、車内機器２０４と無線通信を行う。また、例えば、通信部２０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）、又は、ＭＨＬ（Mobile　High-definition　Link）等により、車内機器２０４と有線通信を行う。
　さらに、例えば、通信部２０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部２０３は、Ｐ２Ｐ（Peer　To　Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine　Type　Communication）端末）との通信を行う。さらに、例えば、通信部２０３は、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、自車と家との間（Vehicle　to　Home）の通信、及び、歩車間（Vehicle　to　Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部２０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器２０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部２０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部２０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部２０６に供給することにより、出力部２０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部２０５は、データ取得部２０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部２０６に供給する。また、例えば、出力制御部２０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部２０６に供給する。
　出力部２０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部２０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部２０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented　Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部２０７は、各種の制御信号を生成し、駆動系システム２０８に供給することにより、駆動系システム２０８の制御を行う。また、駆動系制御部２０７は、必要に応じて、駆動系システム２０８以外の各部に制御信号を供給し、駆動系システム２０８の制御状態の通知等を行う。
　駆動系システム２０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム２０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock　Brake　System）、ＥＳＣ（Electronic　Stability　Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部２０９は、各種の制御信号を生成し、ボディ系システム２１０に供給することにより、ボディ系システム２１０の制御を行う。また、ボディ系制御部２０９は、必要に応じて、ボディ系システム２１０以外の各部に制御信号を供給し、ボディ系システム２１０の制御状態の通知等を行う。
　ボディ系システム２１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム２１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部２１１は、例えば、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部２１１は、車両制御システム２００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部２１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部２１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部２１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部２１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部２１２は、検出部２３１、自己位置推定部２３２、状況分析部２３３、計画部２３４、及び、動作制御部２３５を備える。
　検出部２３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部２３１は、車外情報検出部２４１、車内情報検出部２４２、及び、車両状態検出部２４３を備える。
　車外情報検出部２４１は、車両制御システム２００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部２４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部２４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部２４１は、検出処理の結果を示すデータを自己位置推定部２３２、状況分析部２３３のマップ解析部２５１、交通ルール認識部２５２、及び、状況認識部２５３、並びに、動作制御部２３５の緊急事態回避部２７１等に供給する。
　車内情報検出部２４２は、車両制御システム２００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部２４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部２４２は、検出処理の結果を示すデータを状況分析部２３３の状況認識部２５３、及び、動作制御部２３５の緊急事態回避部２７１等に供給する。
　車両状態検出部２４３は、車両制御システム２００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部２４３は、検出処理の結果を示すデータを状況分析部２３３の状況認識部２５３、及び、動作制御部２３５の緊急事態回避部２７１等に供給する。
　自己位置推定部２３２は、車外情報検出部２４１、及び、状況分析部２３３の状況認識部２５３等の車両制御システム２００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部２３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部２３２は、推定処理の結果を示すデータを状況分析部２３３のマップ解析部２５１、交通ルール認識部２５２、及び、状況認識部２５３等に供給する。また、自己位置推定部２３２は、自己位置推定用マップを記憶部２１１に記憶させる。
　状況分析部２３３は、自車及び周囲の状況の分析処理を行う。状況分析部２３３は、マップ解析部２５１、交通ルール認識部２５２、状況認識部２５３、及び、状況予測部２５４を備える。
　マップ解析部２５１は、自己位置推定部２３２及び車外情報検出部２４１等の車両制御システム２００の各部からのデータ又は信号を必要に応じて用いながら、記憶部２１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部２５１は、構築したマップを、交通ルール認識部２５２、状況認識部２５３、状況予測部２５４、並びに、計画部２３４のルート計画部２６１、行動計画部２６２、及び、動作計画部２６３等に供給する。
　交通ルール認識部２５２は、自己位置推定部２３２、車外情報検出部２４１、及び、マップ解析部２５１等の車両制御システム２００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部２５２は、認識処理の結果を示すデータを状況予測部２５４等に供給する。
　状況認識部２５３は、自己位置推定部２３２、車外情報検出部２４１、車内情報検出部２４２、車両状態検出部２４３、及び、マップ解析部２５１等の車両制御システム２００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部２５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部２５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy　Grid　Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部２５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部２３２及び状況予測部２５４等に供給する。また、状況認識部２５３は、状況認識用マップを記憶部２１１に記憶させる。
　状況予測部２５４は、マップ解析部２５１、交通ルール認識部２５２及び状況認識部２５３等の車両制御システム２００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部２５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部２５４は、予測処理の結果を示すデータを、交通ルール認識部２５２及び状況認識部２５３からのデータとともに、計画部２３４のルート計画部２６１、行動計画部２６２、及び、動作計画部２６３等に供給する。
　ルート計画部２６１は、マップ解析部２５１及び状況予測部２５４等の車両制御システム２００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部２６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部２６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部２６１は、計画したルートを示すデータを行動計画部２６２等に供給する。
　行動計画部２６２は、マップ解析部２５１及び状況予測部２５４等の車両制御システム２００の各部からのデータ又は信号に基づいて、ルート計画部２６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部２６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部２６２は、計画した自車の行動を示すデータを動作計画部２６３等に供給する。
　動作計画部２６３は、マップ解析部２５１及び状況予測部２５４等の車両制御システム２００の各部からのデータ又は信号に基づいて、行動計画部２６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部２６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部２６３は、計画した自車の動作を示すデータを、動作制御部２３５の加減速制御部２７２及び方向制御部２７３等に供給する。
　動作制御部２３５は、自車の動作の制御を行う。動作制御部２３５は、緊急事態回避部２７１、加減速制御部２７２、及び、方向制御部２７３を備える。
　緊急事態回避部２７１は、車外情報検出部２４１、車内情報検出部２４２、及び、車両状態検出部２４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部２７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部２７１は、計画した自車の動作を示すデータを加減速制御部２７２及び方向制御部２７３等に供給する。
　加減速制御部２７２は、動作計画部２６３又は緊急事態回避部２７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部２７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部２０７に供給する。
　方向制御部２７３は、動作計画部２６３又は緊急事態回避部２７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部２７３は、動作計画部２６３又は緊急事態回避部２７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部２０７に供給する。
［２－２．その他］
　上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、上記実施形態では、移動体として自動車を例に挙げたが、本開示の情報処理は、自動車以外の移動体にも適用可能である。例えば、移動体は、自動二輪車や自動三輪車等の小型車両や、バスやトラック等の大型車両、あるいは、ロボットやドローン等の自律型移動体であってもよい。また、情報処理装置１００は、必ずしも移動体と一体ではなく、移動体からネットワークＮを介して情報を取得し、取得した情報に基づいて除去範囲を決定するクラウドサーバ等であってもよい。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
（３．ハードウェア構成）
　上述してきた各実施形態に係る情報処理装置１００等の情報機器は、例えば図１６に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る情報処理装置１００を例に挙げて説明する。図１６は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　移動体が備えるセンサによって撮影された画像を取得する取得部と、
　前記センサと前記移動体が走行する路面との相対関係に応じて、前記取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する決定部と
　を備えた情報処理装置。
（２）
　前記決定部は、
　前記相対関係として、前記移動体が走行する路面に対する前記センサの光軸の角度に応じて、前記除去範囲を決定する
　前記（１）に記載の情報処理装置。
（３）
　前記決定部は、
　前記路面に対する前記センサの光軸のピッチ及びロールに応じて、前記除去範囲を決定する
　前記（２）に記載の情報処理装置。
（４）
　前記決定部は、
　前記移動体の前方、側方もしくは後方のいずれかに備えられた少なくとも一つのセンサの光軸のピッチ及びロールを用いて、前記除去範囲を決定する
　前記（３）に記載の情報処理装置。
（５）
　前記決定部は、
　特定の時間内に観測された前記ピッチもしくはロールを平滑化した値に応じて、前記除去範囲を決定する
　前記（３）又は（４）に記載の情報処理装置。
（６）
　前記決定部は、
　前記画像における物体の位置に応じて、物体ごとに異なる除去範囲を動的に決定する
　前記（１）から（５）のいずれかに記載の情報処理装置。
（７）
　前記決定部は、
　前記画像の中心近傍において検出された物体に対して、当該画像における他の範囲で検出された物体とは異なる除去範囲を動的に決定する
　前記（６）に記載の情報処理装置。
（８）
　前記決定部は、
　前記移動体の挙動を制御する制御情報に基づいて前記相対関係を算出し、算出した相対関係に応じて前記除去範囲を決定する
　前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
　前記決定部は、
　前記移動体に対するブレーキ、アクセルもしくはステアの操作量、当該移動体の加速度の変化量、又は、前記移動体のヨーレート情報の少なくともいずれかに基づいて、前記相対関係を算出する
　前記（８）に記載の情報処理装置。
（１０）
　前記取得部は、
　複数の画像を取得し、
　前記決定部は
　前記複数の画像に撮像された物体の変化量に基づいて前記相対関係を算出し、算出した相対関係に応じて前記除去範囲を決定する
　前記（１）から（９）のいずれかに記載の情報処理装置。
（１１）
　前記取得部は、
　前記移動体が移動すると予測される路面の勾配を取得し、
　前記決定部は、
　前記センサと前記移動体が現時点で走行する路面との相対関係、及び、前記路面の勾配に基づいて、前記除去範囲を動的に決定する
　前記（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
　前記取得部は、
　前記センサとして、ステレオカメラによって撮影された前記画像を取得する
　前記（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
　前記取得部は、
　前記センサとして、単眼カメラによって撮影された前記画像を取得する
　前記（１）から（１１）のいずれかに記載の情報処理装置。
（１４）
　前記決定部は、
　前記物体として、歩行者、自転車、自動車及び二輪車の少なくともいずれかを検出対象から除去する除去範囲を動的に決定する
　前記（１）から（１３）のいずれかに記載の情報処理装置。
（１５）
　前記決定部は、
　前記画像において検出された物体が前記除去範囲に属するか否かを判定し、当該除去範囲に属する物体が存在する場合には、当該除去範囲に属する物体を検出対象から除去することを決定する
　前記（１）から（１４）のいずれかに記載の情報処理装置。
（１６）
　コンピュータが、
　移動体が備えるセンサによって撮影された画像を取得し、
　前記センサと前記移動体が走行する路面との相対関係に応じて、前記取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する
　情報処理方法。
（１７）
　コンピュータを、
　移動体が備えるセンサによって撮影された画像を取得する取得部と、
　前記センサと前記移動体が走行する路面との相対関係に応じて、前記取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する決定部と
　として機能させるための情報処理プログラム。
　１００　情報処理装置
　１１０　通信部
　１２０　記憶部
　１３０　制御部
　１３１　取得部
　１３２　算出部
　１３３　決定部
　１３４　実行部
　１４０　検知部
　１４１　撮像部
　１４２　測定部
　１５０　入力部
　１６０　出力部

Claims (17)

  1. 　移動体が備えるセンサによって撮影された画像を取得する取得部と、
    　前記センサと前記移動体が走行する路面との相対関係に応じて、前記取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する決定部と
    　を備えた情報処理装置。
  2. 　前記決定部は、
    　前記相対関係として、前記移動体が走行する路面に対する前記センサの光軸の角度に応じて、前記除去範囲を決定する
    　請求項１に記載の情報処理装置。
  3. 　前記決定部は、
    　前記路面に対する前記センサの光軸のピッチ及びロールに応じて、前記除去範囲を決定する
    　請求項２に記載の情報処理装置。
  4. 　前記決定部は、
    　前記移動体の前方、側方もしくは後方のいずれかに備えられた少なくとも一つのセンサの光軸のピッチ及びロールを用いて、前記除去範囲を決定する
    　請求項３に記載の情報処理装置。
  5. 　前記決定部は、
    　特定の時間内に観測された前記ピッチもしくはロールを平滑化した値に応じて、前記除去範囲を決定する
    　請求項３に記載の情報処理装置。
  6. 　前記決定部は、
    　前記画像における物体の位置に応じて、物体ごとに異なる除去範囲を動的に決定する
    　請求項１に記載の情報処理装置。
  7. 　前記決定部は、
    　前記画像の中心近傍において検出された物体に対して、当該画像における他の範囲で検出された物体とは異なる除去範囲を動的に決定する
    　請求項６に記載の情報処理装置。
  8. 　前記決定部は、
    　前記移動体の挙動を制御する制御情報に基づいて前記相対関係を算出し、算出した相対関係に応じて前記除去範囲を決定する
    　請求項１に記載の情報処理装置。
  9. 　前記決定部は、
    　前記移動体に対するブレーキ、アクセルもしくはステアの操作量、当該移動体の加速度の変化量、又は、前記移動体のヨーレート情報の少なくともいずれかに基づいて、前記相対関係を算出する
    　請求項８に記載の情報処理装置。
  10. 　前記取得部は、
    　複数の画像を取得し、
    　前記決定部は
    　前記複数の画像に撮像された物体の変化量に基づいて前記相対関係を算出し、算出した相対関係に応じて前記除去範囲を決定する
    　請求項１に記載の情報処理装置。
  11. 　前記取得部は、
    　前記移動体が移動すると予測される路面の勾配を取得し、
    　前記決定部は、
    　前記センサと前記移動体が現時点で走行する路面との相対関係、及び、前記路面の勾配に基づいて、前記除去範囲を動的に決定する
    　請求項１に記載の情報処理装置。
  12. 　前記取得部は、
    　前記センサとして、ステレオカメラによって撮影された前記画像を取得する
    　請求項１に記載の情報処理装置。
  13. 　前記取得部は、
    　前記センサとして、単眼カメラによって撮影された前記画像を取得する
    　請求項１に記載の情報処理装置。
  14. 　前記決定部は、
    　前記物体として、歩行者、自転車、自動車及び二輪車の少なくともいずれかを検出対象から除去する除去範囲を動的に決定する
    　請求項１に記載の情報処理装置。
  15. 　前記決定部は、
    　前記画像において検出された物体が前記除去範囲に属するか否かを判定し、当該除去範囲に属する物体が存在する場合には、当該除去範囲に属する物体を検出対象から除去することを決定する
    　請求項１に記載の情報処理装置。
  16. 　コンピュータが、
    　移動体が備えるセンサによって撮影された画像を取得し、
    　前記センサと前記移動体が走行する路面との相対関係に応じて、前記取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する
    　情報処理方法。
  17. 　コンピュータを、
    　移動体が備えるセンサによって撮影された画像を取得する取得部と、
    　前記センサと前記移動体が走行する路面との相対関係に応じて、前記取得された画像に含まれる物体を検出対象から除去する範囲である除去範囲を動的に決定する決定部と
    　として機能させるための情報処理プログラム。
PCT/JP2019/038544 2018-10-31 2019-09-30 情報処理装置、情報処理方法及び情報処理プログラム WO2020090320A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-205982 2018-10-31
JP2018205982A JP2022017612A (ja) 2018-10-31 2018-10-31 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2020090320A1 true WO2020090320A1 (ja) 2020-05-07

Family

ID=70464476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038544 WO2020090320A1 (ja) 2018-10-31 2019-09-30 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (2)

Country Link
JP (1) JP2022017612A (ja)
WO (1) WO2020090320A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021235001A1 (ja) * 2020-05-22 2021-11-25 日立Astemo株式会社 画像処理装置
JP7512330B2 (ja) 2022-08-19 2024-07-08 株式会社デンソーテン 情報処理装置、情報処理方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006514382A (ja) * 2003-08-18 2006-04-27 フィコ ミロールス，エセ ア 自動車の外部環境を監視するためのシステム及び方法
JP2010008280A (ja) * 2008-06-27 2010-01-14 Toyota Motor Corp 物体検出装置
JP2010146478A (ja) * 2008-12-22 2010-07-01 Toyota Motor Corp 物体検出装置
JP2017191025A (ja) * 2016-04-14 2017-10-19 トヨタ自動車株式会社 車載用監視装置
JP2017211249A (ja) * 2016-05-24 2017-11-30 株式会社デンソー 物標検出装置
JP2018056794A (ja) * 2016-09-29 2018-04-05 アイシン精機株式会社 周辺監視装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006514382A (ja) * 2003-08-18 2006-04-27 フィコ ミロールス，エセ ア 自動車の外部環境を監視するためのシステム及び方法
JP2010008280A (ja) * 2008-06-27 2010-01-14 Toyota Motor Corp 物体検出装置
JP2010146478A (ja) * 2008-12-22 2010-07-01 Toyota Motor Corp 物体検出装置
JP2017191025A (ja) * 2016-04-14 2017-10-19 トヨタ自動車株式会社 車載用監視装置
JP2017211249A (ja) * 2016-05-24 2017-11-30 株式会社デンソー 物標検出装置
JP2018056794A (ja) * 2016-09-29 2018-04-05 アイシン精機株式会社 周辺監視装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021235001A1 (ja) * 2020-05-22 2021-11-25 日立Astemo株式会社 画像処理装置
JPWO2021235001A1 (ja) * 2020-05-22 2021-11-25
JP7350168B2 (ja) 2020-05-22 2023-09-25 日立Astemo株式会社 画像処理装置
JP7512330B2 (ja) 2022-08-19 2024-07-08 株式会社デンソーテン 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JP2022017612A (ja) 2022-01-26

Similar Documents

Publication Publication Date Title
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11501461B2 (en) Controller, control method, and program
US20220180483A1 (en) Image processing device, image processing method, and program
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
US20230370709A1 (en) Imaging device, information processing device, imaging system, and imaging method
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020158489A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020090250A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20220031561A (ko) 이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20220114768A1 (en) Information processing device, information processing method, and information processing program
US20230377108A1 (en) Information processing apparatus, information processing method, and program
CN117999587A (zh) 识别处理设备、识别处理方法和识别处理系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19880769

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19880769

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP