WO2022196316A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2022196316A1
WO2022196316A1 PCT/JP2022/008162 JP2022008162W WO2022196316A1 WO 2022196316 A1 WO2022196316 A1 WO 2022196316A1 JP 2022008162 W JP2022008162 W JP 2022008162W WO 2022196316 A1 WO2022196316 A1 WO 2022196316A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
width
distance
information processing
straight lines
Prior art date
Application number
PCT/JP2022/008162
Other languages
English (en)
French (fr)
Inventor
崇史 正根寺
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2022196316A1 publication Critical patent/WO2022196316A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Distance measurement is a necessary technology in a wide range of fields such as in-vehicle cameras and robot control, and various research and development are underway.
  • This ranging technique is often implemented using images captured by a stereo camera or the like. This is because highly accurate measurement can be achieved by measuring distances using two or more cameras.
  • the present disclosure provides an information processing device that realizes highly accurate distance measurement with a single eye.
  • an information processing device includes a storage section and a processing section.
  • the processing unit acquires an image having pixels in an array in a first direction and a second direction intersecting the first direction, and tilts the image upward from a lower end in the second direction within a predetermined angle range. Detecting at least a portion of a plurality of straight lines that are stretched with, obtaining a virtual straight line from at least a portion of the detected straight lines, and obtaining an actual distance between the virtual straight lines , measuring the distance to the object from the position of the object relative to the virtual line in the image and the width between the virtual line at the position of the object.
  • the processing unit determines the width of the virtual straight line in the first direction at the lower end of the image in the second direction and the actual width of the plurality of straight lines, based on the intersection point of the virtual straight line and the lower end. You can get the ratio of
  • the processing unit acquires the coordinate value of the lower end of the object in the second direction, and obtains the width in the first direction between the virtual straight lines at the coordinate value of the lower end of the object in the second direction, and the image and the width in the first direction of the imaginary straight line at the lower end of (2), and the distance to the object to be recorded may be calculated based on the ratio.
  • the processing unit may calculate the distance to the target on the assumption that the width of the virtual straight line is a constant value.
  • the processing unit detects a plurality of vanishing points from at least a part of the plurality of straight lines, and if the plurality of vanishing points is not within a predetermined range, a portion where the slope changes until the target is detected. may be detected to exist.
  • the processing unit may calculate the degree of the tilt that changes from positional shifts of the plurality of vanishing points.
  • the processing unit may further measure the distance to the object based on the change in inclination.
  • the processing unit may calculate the distance to the target by correcting the width between the virtual straight lines at the position of the target based on an HD map (high-precision 3D map data).
  • the processing unit may measure the actual width of the object based on the width of the object relative to the width of the virtual straight line in the image.
  • the image may be an image acquired as a frame of video information, and the processing unit may further perform at least one process using an image of one or more past frames in the image. good.
  • At least part of the straight line to be detected may be a white line on the road.
  • At least part of the straight line to be detected may be the upper end or lower end of the guardrail.
  • At least part of the straight line to be detected may be a road edge.
  • the subject may be a person or an animal.
  • the target may be an automobile.
  • the target may be an obstacle.
  • the information processing method acquires an image having pixels in an array in a first direction and a second direction intersecting the first direction by the processing unit, detecting at least a portion of a plurality of straight lines extending upward with an inclination within a predetermined angle range from the Obtain the actual distance between virtual lines and measure the distance to the object from the position of the object relative to the virtual line in the image and the width between the virtual lines at the position of the object.
  • This information processing method may include at least one step of the method for executing each step of the information processing device described above.
  • the program when executed by a computer, acquires an image having pixels in an array in a first direction and a second direction intersecting the first direction, detecting at least a portion of a plurality of straight lines extending upward with an inclination within a predetermined angle range from the Obtaining the actual distance between virtual lines and measuring the distance to the object from the position of the object relative to the virtual line and the width between the virtual lines at the position of the object in the image. do.
  • This program may cause the computer to execute a method including at least one step among the methods for executing each step of the information processing apparatus described above.
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus according to one embodiment;
  • FIG. 4 illustrates obtaining a target position from a reference width according to one embodiment.
  • FIG. FIG. 4 illustrates measurement of object width according to one embodiment.
  • 1 is a block diagram showing the configuration of an information processing apparatus according to one embodiment;
  • FIG. FIG. 4 is a diagram illustrating gradient change detection according to one embodiment;
  • FIG. 4 is a diagram illustrating calculation of slope variation according to one embodiment.
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus according to one embodiment
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
  • FIG. 2 is an explanatory diagram showing an example of installation positions of an information detection unit outside the vehicle and an imaging unit;
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus according to one embodiment.
  • the information processing device 1 includes an imaging unit 100, a storage unit 102, an image processing unit 104, a virtual line acquisition unit 106, a reference width acquisition unit 108, and a distance calculation unit 110.
  • the information processing device 1 measures the distance to the target obstacle based on the image or video information acquired from the imaging unit 100 .
  • Objects include, but are not limited to, people, animals, automobiles, obstacles, and the like. For example, a person riding a bicycle can also be targeted.
  • the imaging unit 100 is configured with a camera, for example.
  • a camera is mounted on an automobile so as to obtain, for example, the state in front of the automobile as image and video information.
  • the information processing apparatus 1 is provided with the imaging unit 100, but the present invention is not limited to this.
  • the imaging unit 100 may be provided outside the information processing device 1.
  • FIG. The imaging unit 100 has light-receiving pixels arranged in an array in a first direction and a second direction that intersects with the first direction. Acquire an image having an array of pixels at .
  • the storage unit 102 stores information acquired by the imaging unit 100 and information required for distance measurement.
  • the storage unit 102 stores programs, executable files, etc. related to this software. good too.
  • the storage unit 102 may have a non-temporary storage area. Also, the storage unit 102 may include a temporary storage area such as a frame buffer.
  • the image processing unit 104 performs appropriate image processing on the image, video information, etc. acquired by the imaging unit 100 .
  • the image processing unit 104 corrects distortion due to the optical system of the imaging unit 100, for example. Distortion correction may be performed using parameters or the like preset by the imaging unit 100 . These parameters and the like may be updated at arbitrary timing or predetermined timing.
  • the virtual straight line acquisition unit 106 extracts a plurality of straight lines, half straight lines, line segments, etc., from the bottom to the top of the image processed by the image processing unit 104 .
  • the virtual straight line acquisition unit 106 may extract a line segment existing in the lower part of the image (for example, it may be a predetermined area such as the lower half or lower quarter of the image, or another area may be set).
  • the line segment to be extracted is, for example, one whose inclination in the horizontal and vertical directions is included in a predetermined angle range (for example, 60° to 120°, 70° to 110°, etc., but not limited to these). may be limited.
  • the predetermined angle range may be a range depending on the left and right positions of the image.
  • the virtual straight line acquisition unit 106 acquires a virtual straight line based on the extracted line segments. The details of this process will be described later with reference to the drawings.
  • the reference width acquisition unit 108 acquires the ratio between the width between the virtual straight lines and the width between the straight lines in the actual state in front of the vehicle, based on the width of the virtual straight lines at the lower end of the image.
  • the reason why the ratio of the reference width is obtained at the lower end of the image is that the image showing the road is less likely to be affected by the pitch direction of the camera of the imaging unit 100 than other areas. Note that if the straight line continues to the lower end of the image, the ratio of the reference width may be obtained based on the image output by the image processing unit 104 before obtaining the virtual straight line.
  • acquisition of the reference width ratio does not need to be performed for each frame, that is, for all of the input images. It is also possible to arbitrarily change the execution timing within an appropriate range.
  • Fig. 2 is a diagram showing the relationship between the actual distance from the camera to the object and the positional deviation of the object captured at the actual distance based on the pitch deviation.
  • the deviation of the position of the actual object with respect to the deviation of the pitch becomes smaller as the position of the object is closer to the camera.
  • the pitch during normal running has a deviation of about ⁇ 1°, but the length deviation at the lower end of the image is about ⁇ 3 to 4%, which does not significantly affect the distance measurement.
  • the distance calculation unit 110 calculates the distance to the object based on the virtual straight line acquired by the virtual straight line acquisition unit 106 and the reference width ratio acquired by the reference width acquisition unit 108 .
  • Fig. 3 is a diagram showing an example of determining the distance of an object from the reference width ratio. For example, when a person is photographed as an object O, measuring the distance to this object O will be described. A right-angled triangle is formed by a line perpendicular to the imaging plane, a point perpendicular to the imaging plane at a focal length f, and a width y on the imaging plane. As shown in FIG. 3, the distance calculation unit 110 may acquire, for example, the vertical coordinates of the bottom edge of the rectangle in which the object O is detected or the bottom edge of the area in which the object O is detected. Although the vertical coordinates of the target O may be obtained at other positions, for example, in the case of the information processing device 1 used in a vehicle, the position at the lower end where the distance is the shortest and obtained in consideration of safety should be used. is desirable.
  • a straight line parallel to the imaging plane at the distance of the object O and a similar right-angled triangle including a perpendicular line to the imaging plane are formed.
  • the distance to the object O can be shown as follows.
  • the distance calculation unit 110 can obtain the distance to the object O based on the width of the virtual straight line at the position of the object O by setting Y in the equation (1) to a fixed value, for example, the width of the lane. can.
  • Y the width of a virtual straight line at the position of the target O
  • the position the position on the lower side of the image in the vertical direction of the target O may be simply referred to as the position
  • y u ⁇ (distance between pixel midpoints, pixel pitch or pixel width, etc.).
  • the distance between the midpoints of pixels, the pitch of pixels, the width of pixels, and the like are fixed values that can be obtained according to the configuration of the imaging unit 100 . Therefore, the distance calculation unit 110 can calculate the distance to the target O by using the formula (1).
  • the information processing device 1 outputs the distance calculated by the distance calculation unit 110 as the distance to the target O. If there are multiple targets, the distance may be measured and output for each target.
  • the lane width is often a value determined by law or the like. Therefore, the distance to the object O can be measured appropriately by setting the lane width to a fixed value, for example, 3 m for general roads and 3.5 m for highways in Japan. Of course, this width may be determined based on the laws and ordinances of each country. It should be noted that an appropriate method, such as using various feature amounts, can be used to extract the target.
  • the lane width at the bottom end of the image may be appropriately acquired.
  • the width of the virtual straight line at the lower end of the image is calculated based on the size (fixed value) of the part of the hood. may be calculated.
  • the lane width may differ depending on the lane in which the vehicle is located. In order to cope with such a case, the width of the imaginary straight line at the lower end of the image may be set according to the lane in which the vehicle is present. Lane widths may vary from road to road.
  • the lane width may be obtained from a database, etc., based on information received from GPS (Global Positioning System), etc., or position information obtained via CAN (Controller Area Network), etc. .
  • GPS Global Positioning System
  • CAN Controller Area Network
  • the reference width obtaining unit 108 may obtain the reference lane width based on the intersection point between the lower end of the image and the virtual straight line. This is because the width of the lane at the bottom end of the image can be measured in the image processed by the image processing unit 104 because the position where the imaging unit 100 is installed is fixed. Thus, the reference width obtaining unit 108 may obtain the actual distance between the lane width or the virtual straight line instead of obtaining the ratio between the actual lane width and the width between the virtual straight lines. Also in this case, the above equations and the like can perform similar processing.
  • the result of white line detection will be a curved shape.
  • Such complex calculations are often difficult to process in real time, which is limited by the frame rate.
  • a method of detecting a virtual straight line is effective.
  • FIG. 4 is a diagram for explaining calculation of a virtual straight line according to one embodiment.
  • the first direction and the second direction may be defined as shown in FIG. That is, the width of a lane or the like indicates the distance in the first direction having the same coordinates in the second direction.
  • the position of the lower end and the like indicate coordinate values in the second direction. For example, the lower end of the image may be 0 in the second direction, and based on this coordinate value, the coordinate value may increase as each pixel moves upward.
  • the figure shows an image after distortion, etc., has been corrected by the image processing unit 104, for example.
  • the virtual straight line acquisition unit 106 performs white line detection using one of various white line detection techniques.
  • White line detection may be performed within a range having an inclination within a predetermined angular range.
  • straight line fitting is performed in a predetermined region, such as a region such as the lower quarter of the image as a non-limiting example, to obtain a virtual straight line.
  • Various methods can be used for this fitting as well.
  • the distance to the object O may be measured using the formula (1) using the width between the virtual straight lines at the vertical position of the lower end in the image of the object O.
  • the distance calculation unit 110 obtains the lower end of the detected rectangle of the target O or the width of the virtual straight lines with the lower end of the target O as a reference, as described above.
  • FIG. 5 is a flowchart showing an example of processing of the information processing device 1 according to this embodiment.
  • the imaging unit 100 acquires an image (S100).
  • the imaging unit 100 may be provided in the information processing device 1 or may be provided outside.
  • the information processing apparatus 1 acquires the image by receiving the image from the imaging unit 100 in this step.
  • the image processing unit 104 executes image processing (S102).
  • Image data may be stored in the storage unit 102 between image acquisition and image processing.
  • the image processing unit 104 reads image data stored in the storage unit 102 and executes image processing.
  • An image that has been properly processed may be stored again in the storage unit 102 .
  • the virtual straight line acquisition unit 106 acquires a virtual straight line in the processed image (S104). Note that if the white line is detected as a straight line by white line detection or the like, this step may be omitted and the detected white line may be used in the following processing. That is, this process can be omitted arbitrarily.
  • the reference width acquisition unit 108 acquires the width of the lane or the ratio of the width of the lane to the width of the virtual straight lines (S106).
  • the reference width acquisition unit 108 may acquire the lane width and the like at the lower end of the image based on the result of white line detection.
  • the reference width acquisition unit 108 may acquire the lane width at the bottom edge of the image based on the position of the intersection between the virtual straight line and the bottom edge of the image.
  • the distance calculation unit 110 detects the target, and measures the distance to the target based on the detection result and the data obtained in each step above (S108). For example, the distance calculation unit 110 calculates the distance based on the position of the lower end of the rectangular area representing the target detected as described above. Further, when multiple targets are detected, distance calculation section 110 may acquire distances for multiple targets.
  • the image is used to measure the distance to the target.
  • These processes may be repeated for each frame, for example.
  • the processing of S106 need not be executed for each frame.
  • the process of S106 may be performed for each predetermined frame.
  • at least one of the processes from S102 to S108 may be performed using past frame information. For example, based on the difference in the image between the past frame and the current frame, etc., or based on predetermined timing, obtain and correct a virtual straight line at an appropriate timing (frame), or obtain and correct the width of a diagonal line. , the distance may be obtained and corrected.
  • the present embodiment it is possible to appropriately and accurately measure the distance to an object using a monocular camera. As a result, it is possible to reduce costs such as monetary costs and mounting position costs due to the use of a plurality of cameras. Furthermore, it is possible to reduce complicated calibration processing when using a plurality of cameras, and calculation costs associated with handling data from a plurality of cameras.
  • FIG. 6 is a block diagram showing the information processing device 1 according to this embodiment.
  • the information processing device 1 may include a target width acquisition unit 112 in addition to the configuration in FIG.
  • the target width acquisition unit 112 acquires the width of the target based on the width of the lane acquired by the reference width acquisition unit 108 and the width of the target on the image.
  • the target width acquisition unit 112 acquires the number of pixels between the lanes in the vertical coordinates of the lower end of the target (the lower end of the rectangle detected in the same way as in the above embodiment) and the number of pixels of the width of the lower end of the target.
  • FIG. 7 shows an example of an image acquired by the information processing device 1 according to this embodiment.
  • the distance between lanes is fixed at 3.5 m in FIG. 7, for example. Therefore, the width [m] of the object can be measured based on the width [pixel] of the lane at the position of the object and the width [pixel] of the object.
  • the width of the object in the same steps.
  • ADAS Advanced Driver-Assistance Systems
  • the target width and lane width can be obtained in the same manner as in the above-described embodiments regardless of the target height, but the straight-line distance to the target varies depending on the slope. becomes. Therefore, it is necessary to obtain information about the gradient and calculate the straight line distance.
  • FIG. 8 is a block diagram showing the information processing device 1 in this embodiment.
  • the information processing device 1 includes a vanishing point acquisition unit 114 and a gradient calculation unit 116 in addition to the information processing device 1 of the first embodiment described above. Note that the configuration may include the vanishing point acquisition unit 114 and the gradient calculation unit 116 in addition to the information processing apparatus 1 in the second embodiment.
  • the vanishing point acquisition unit 114 acquires vanishing points based on straight lines, half lines, and line segments detected from the image. Acquisition of the vanishing point may be performed in a general manner. Information about the virtual straight line acquired by the virtual straight line acquiring unit 106 may be used to acquire the vanishing point. A point may be calculated and taken as the vanishing point. Vanishing point acquisition section 114 detects the first vanishing point, for example, based on a straight line from the bottom end of the image. Then, as a result of the white line detection, the second vanishing point may be detected by, for example, detecting a straight line in the upper part of the position where the inclination in the image changes by a predetermined value or more.
  • the gradient calculation unit 116 calculates the position where the gradient changes and the degree of gradient change from the acquired vanishing point. A calculation method will be described later in detail.
  • FIG. 9 is a diagram showing an example in which multiple vanishing points are detected.
  • vanishing points occur at different positions when the gradient varies greatly in the image. Therefore, the virtual straight line acquisition unit 106 detects the position of the vanishing point before and after the gradient has largely changed or gradually changed.
  • the virtual straight line acquisition unit 106 may divide the image into predetermined regions in the second direction, and detect line segments or the like in the regions. Then, if the difference or ratio of the slopes detected in each region exceeds a predetermined value, a virtual straight line may be acquired for each.
  • the vanishing point acquisition unit 114 acquires multiple vanishing points from the multiple sets of acquired virtual straight lines.
  • a first vanishing point is extracted by a set of imaginary straight lines from the lower end, and a second vanishing point is extracted by a set of imaginary straight lines above. Then, the distances of these vanishing points in the second direction are extracted in units of pixels.
  • FIG. 10 is a diagram schematically showing a cross-sectional view from the side of a road having gradient variations as shown in FIG.
  • a solid line indicates a road, and a dotted line indicates the direction of the vanishing point.
  • This figure shows, for example, an imaging plane.
  • the gradient variation value can be obtained by the following equation.
  • f[m] and pixel pitch are values that can be obtained from the camera configuration, and diff[pix] can be obtained from the above description. Therefore, it is possible to calculate how much the road gradient varies based on the formula (2).
  • the distance calculation unit 110 can calculate the distance to the object from these distances and gradients.
  • X is the distance obtained from the lane width at the position of the object O based on formula (1)
  • ⁇ is the gradient obtained based on formula (2).
  • the linear distance to the object O may be obtained by approximating it using the formula (3).
  • the detection of the vanishing point may cause blurring in many methods.
  • This blurring may be considered only in the second direction.
  • FIG. 11 is a block diagram showing the information processing device 1 according to this embodiment.
  • the information processing apparatus 1 further includes a map reading unit 118 in addition to the configuration of FIG. Note that the information processing apparatus 1 according to the second embodiment or the third embodiment may be configured to include the map reading unit 118.
  • FIG. 11 is a block diagram showing the information processing device 1 according to this embodiment.
  • the information processing apparatus 1 further includes a map reading unit 118 in addition to the configuration of FIG. Note that the information processing apparatus 1 according to the second embodiment or the third embodiment may be configured to include the map reading unit 118.
  • FIG. 11 is a block diagram showing the information processing device 1 according to this embodiment.
  • the information processing apparatus 1 further includes a map reading unit 118 in addition to the configuration of FIG. Note that the information processing apparatus 1 according to the second embodiment or the third embodiment may be configured to include the map reading unit 118.
  • FIG. 11 is a block diagram showing the information processing device 1 according to this embodiment.
  • the information processing apparatus 1 further includes a map reading unit 118
  • the map reading unit 118 reads a map from the outside or the storage unit 102.
  • the map read by the map reading unit 118 may be, for example, an HD map. This map contains lane width information.
  • a map reading unit 118 reads a surrounding map at an appropriate timing based on the current position of the own vehicle.
  • the current position of the vehicle may be obtained from a GPS receiver (not shown) provided in the information processing device 1, may be read from an integral value such as a steering wheel, or may be obtained from SLAM (Simultaneous Localization and Mapping). may be obtained by technology.
  • the distance calculation unit 110 checks whether the lane width in the image is constant, and then measures the distance to the target.
  • distance calculation section 110 When using the HD map, it is possible to check whether the lane width is constant depending on the distance from the vehicle. Therefore, distance calculation section 110 once measures the distance to the object on the assumption that the lane width is constant. Then, if this distance belongs to the distance obtained from the HD map where the lane width is not constant, the distance is recalculated based on the lane width obtained from the HD map.
  • the distance calculation unit 110 recalculates the distance to the target based on, for example, the ratio of the lane width at the target position and the lane width at the bottom end of the image. As an example, by multiplying the distance calculated assuming that the lane is constant by (lane width at the target position) / (lane width at the bottom edge of the image), the distance is corrected to take into account the lane width. can be done.
  • the distance calculation unit 110 can correct the distance based on the lane width read by the map reading unit 118.
  • the lane width is narrower on the back side than on the front side, and if the target exists on the back side, the position of the target is detected farther than the actual position. Therefore, the target position calculated with the lane width constant is calculated to be farther than the actual position, and is detected to be further back than the position where the lane width has changed.
  • distance calculation section 110 detects that there is an object on the other side of the changed lane width, and recalculates the distance to the object. Further, at this time, by calculation, highly accurate distance measurement can be performed.
  • the position of the target is detected closer than the actual position.
  • the position is determined to be the position before the lane width changed. In such cases, it may not be recalculated.
  • the actual distance may be selected from a plurality of obtained distances.
  • the HD map When using the HD map in this way, it is also possible to adopt a mode in which the distance to the object is measured without obtaining the reference lane width by the reference width obtaining unit 108 . That is, it is possible to set the distance between the virtual straight lines at the lower end of the reference image as a value read from the vehicle position on the HD map.
  • the upper end or lower end of a guardrail provided on the side of the road may be detected as a straight line.
  • road edges may be detected as straight lines.
  • the road edge may be in the form of detecting the installation surface between the median strip or the side wall and the road surface in the case of an expressway, or the boundary with a side road or a pedestrian road in the case of an ordinary road.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machinery, agricultural machinery (tractors), etc. It may also be implemented as a body-mounted device.
  • FIG. 12 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 comprises a plurality of electronic control units connected via communication network 7010 .
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an inside information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 that connects these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Prepare.
  • Each control unit has a network I/F for communicating with other control units via a communication network 7010, and communicates with devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I/F for communication is provided. In FIG.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle equipment I/F 7660, an audio image output unit 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are shown.
  • Other control units are similarly provided with microcomputers, communication I/Fs, storage units, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 7100 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100 .
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, and a steering wheel steering. At least one of sensors for detecting angle, engine speed or wheel rotation speed is included.
  • Drive system control unit 7100 performs arithmetic processing using signals input from vehicle state detection unit 7110, and controls the internal combustion engine, drive motor, electric power steering device, brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • body system control unit 7200 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • Body system control unit 7200 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the driving motor, according to various programs. For example, the battery control unit 7300 receives information such as battery temperature, battery output voltage, or remaining battery capacity from a battery device including a secondary battery 7310 . The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 7310 or control of a cooling device provided in the battery device.
  • the vehicle exterior information detection unit 7400 detects information outside the vehicle in which the vehicle control system 7000 is installed.
  • the imaging section 7410 and the vehicle exterior information detection section 7420 is connected to the vehicle exterior information detection unit 7400 .
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 includes, for example, an environment sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. ambient information detection sensor.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • These imaging unit 7410 and vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 13 shows an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910 , 7912 , 7914 , 7916 , and 7918 are provided, for example, at least one of the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 7900 .
  • An image pickup unit 7910 provided in the front nose and an image pickup unit 7918 provided above the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900 .
  • Imaging units 7912 and 7914 provided in the side mirrors mainly acquire side images of the vehicle 7900 .
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires an image behind the vehicle 7900 .
  • An imaging unit 7918 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 13 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d is The imaging range of an imaging unit 7916 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, a bird's-eye view image of the vehicle 7900 viewed from above can be obtained.
  • the vehicle exterior information detectors 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners, and above the windshield of the vehicle interior of the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • the exterior information detectors 7920, 7926, and 7930 provided above the front nose, rear bumper, back door, and windshield of the vehicle 7900 may be LIDAR devices, for example.
  • These vehicle exterior information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging section 7410 to capture an image of the exterior of the vehicle, and receives the captured image data.
  • the vehicle exterior information detection unit 7400 also receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, radar device, or LIDAR device
  • the vehicle exterior information detection unit 7400 emits ultrasonic waves, electromagnetic waves, or the like, and receives reflected wave information.
  • the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the vehicle exterior object based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, vehicles, obstacles, signs, characters on the road surface, etc., based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. good too.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410 .
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • the in-vehicle information detection unit 7500 is connected to, for example, a driver state detection section 7510 that detects the state of the driver.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the biometric information of the driver, a microphone that collects sounds in the vehicle interior, or the like.
  • a biosensor is provided, for example, on a seat surface, a steering wheel, or the like, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determine whether the driver is dozing off. You may The in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected sound signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600 .
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, button, microphone, switch or lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input by a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information through gestures.
  • the input section 7800 may include an input control circuit that generates an input signal based on information input by the passenger or the like using the input section 7800 and outputs the signal to the integrated control unit 7600, for example.
  • a passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and instruct processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like. Also, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices existing in the external environment 7750.
  • General-purpose communication I/F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced) , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi®), Bluetooth®, and the like.
  • General-purpose communication I / F 7620 for example, via a base station or access point, external network (e.g., Internet, cloud network or operator-specific network) equipment (e.g., application server or control server) connected to You may
  • external network e.g., Internet, cloud network or operator-specific network
  • equipment e.g., application server or control server
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to connect terminals (for example, terminals of drivers, pedestrians, stores, or MTC (Machine Type Communication) terminals) near the vehicle. may be connected with P2P (Peer To Peer) technology to connect terminals (for example, terminals of drivers, pedestrians, stores, or MTC (Machine Type Communication) terminals) near the vehicle.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol designed for use in vehicles.
  • the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), which is a combination of lower layer IEEE 802.11p and higher layer IEEE 1609, or cellular communication protocol. May be implemented.
  • the dedicated communication I/F 7630 is typically used for vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) perform V2X communication, which is a concept involving one or more of the communications.
  • the positioning unit 7640 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites), performs positioning, and obtains the latitude, longitude, and altitude of the vehicle. Generate location information containing Note that the positioning unit 7640 may specify the current position by exchanging signals with a wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smart phone having a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from wireless stations installed on the road, and acquires information such as the current position, traffic jams, road closures, or required time. Note that the function of the beacon reception unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 is connected via a connection terminal (and cable if necessary) not shown, USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High -definition Link), etc.
  • In-vehicle equipment 7760 includes, for example, at least one of mobile equipment or wearable equipment possessed by passengers, or information equipment carried in or attached to the vehicle. In-vehicle equipment 7760 may also include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010. In-vehicle network I/F 7680 transmits and receives signals and the like according to a predetermined protocol supported by communication network 7010 .
  • the microcomputer 7610 of the integrated control unit 7600 uses at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs on the basis of the information acquired by. For example, the microcomputer 7610 calculates control target values for the driving force generator, steering mechanism, or braking device based on acquired information on the inside and outside of the vehicle, and outputs a control command to the drive system control unit 7100. good too.
  • the microcomputer 7610 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control may be performed for the purpose of In addition, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby autonomously traveling without depending on the operation of the driver. Cooperative control may be performed for the purpose of driving or the like.
  • ADAS Advanced Driver Assistance System
  • Microcomputer 7610 receives information obtained through at least one of general-purpose communication I/F 7620, dedicated communication I/F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I/F 7660, and in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including the surrounding information of the current position of the vehicle may be created. Further, based on the acquired information, the microcomputer 7610 may predict dangers such as vehicle collisions, pedestrians approaching or entering closed roads, and generate warning signals.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio/image output unit 7670 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be headphones, a wearable device such as an eyeglass-type display worn by a passenger, or other devices such as a projector or a lamp.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually.
  • the voice output device converts an audio signal including reproduced voice data or acoustic data into an analog signal and outputs the analog signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • an individual control unit may be composed of multiple control units.
  • vehicle control system 7000 may comprise other control units not shown.
  • some or all of the functions that any control unit has may be provided to another control unit. In other words, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • a computer program for realizing each function of the information processing apparatus 1 according to the present embodiment described using FIG. 1 and the like can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium storing such a computer program.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network without using a recording medium.
  • the information processing device 1 according to the present embodiment described with reference to FIG. 7420 can be applied.
  • At least some of the components of the information processing apparatus 1 described with reference to FIG. It may also be implemented in a module (eg, an integrated circuit module consisting of one die).
  • the information processing device 1 described using FIG. 1 and the like may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG.
  • the processing unit is obtaining an image having pixels in an array in a first direction and a second direction intersecting the first direction; detecting at least part of a plurality of straight lines extending upward from the lower end of the image in the second direction with an inclination within a predetermined angle range; Obtaining a virtual straight line from at least a portion of the plurality of straight lines detected; obtaining the actual distance between said virtual straight lines; measuring the distance to the object from the position of the object relative to the virtual line in the image and the width between the virtual line at the position of the object; Information processing equipment.
  • the processing unit is Obtaining a ratio between the width of the virtual straight line in the first direction and the actual width of the plurality of straight lines at the bottom end in the second direction in the image, based on the intersection point of the virtual straight line and the bottom edge. do, The information processing device according to (1).
  • the processing unit is obtaining a coordinate value in the second direction of the lower end of the object; Based on the ratio between the width in the first direction between the virtual straight lines at the coordinate values of the lower end of the object in the second direction and the width of the virtual straight line at the lower end of the image in the first direction, calculating the distance to the object;
  • the information processing device according to (1) or (2).
  • the processing unit is Calculating the distance to the target assuming that the width of the virtual straight line is a constant value;
  • the information processing device according to (3).
  • the processing unit is Detecting a plurality of vanishing points from at least a portion of the plurality of straight lines; If the plurality of vanishing points are not within a predetermined range, detecting that there is a portion where the slope changes until the target.
  • the information processing device according to any one of (1) to (4).
  • the processing unit is When the plurality of vanishing points are not within a predetermined range, calculating the degree of the change in the tilt from the shift in the positions of the plurality of vanishing points; The information processing device according to (5).
  • the processing unit is Further, measuring the distance to the object based on the change in the tilt.
  • the processing unit is correcting the width between the virtual straight lines at the position of the target based on an HD map (high-precision three-dimensional map data), and calculating the distance to the target;
  • the information processing device according to any one of (1) to (7).
  • the processing unit is measuring the real width of the object based on the width of the object relative to the width of the imaginary line in the image;
  • the information processing device according to any one of (1) to (8).
  • the image is an image acquired as a frame of video information, The processing unit further performing at least one process using one or more previous frame images in the image;
  • the information processing device according to any one of (1) to (9).
  • At least part of the straight line to be detected is a white line on the road,
  • the information processing device according to any one of (1) to (10).
  • At least part of the straight line to be detected is the upper end or lower end of the guardrail,
  • the information processing device according to any one of (1) to (11).
  • At least part of the straight line to be detected is a road edge,
  • the information processing device according to any one of (1) to (12).
  • the subject is a human or an animal,
  • the information processing device according to any one of (1) to (13).
  • the object is an automobile
  • the information processing device according to any one of (1) to (14).
  • the object is an obstacle
  • the information processing device according to any one of (1) to (15).
  • the processing part obtaining an image having pixels in an array in a first direction and a second direction intersecting the first direction; detecting at least part of a plurality of straight lines extending upward from the lower end of the image in the second direction with an inclination within a predetermined angle range; Obtaining a virtual straight line from at least a portion of the plurality of straight lines detected; obtaining the actual distance between said virtual straight lines; measuring the distance to the object from the position of the object relative to the virtual line in the image and the width between the virtual line at the position of the object; Information processing methods.

Abstract

［課題］単眼による精度の高い距離測定を実現する。 ［解決手段］情報処理装置は、記憶部と、処理部と、を備える。前記処理部は、第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、前記仮想直線の間の実際の距離を取得し、前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　距離測定は、車載カメラ、ロボット制御等の広い分野において必要な技術であり、種々の研究開発が進められている。この測距技術は、多くの場合、ステレオカメラにより撮像された画像等を用いて実装されている。2以上の複数のカメラを用いて測距することにより精度の高い測定が実現できるためである。
　一方で、2以上のカメラを用いる場合には、これらのカメラ同士を所定距離離れた位置に配置することによるキャプチャ側の配置の問題がある。複数のカメラを用いることによりキャリブレーションが必要となり、このキャリブレーションは、振動、温度等の状況により変更する必要があり、このキャリブレーションの変更を適切に適用する必要がある。また、複数のカメラから取得したデータを同じタイミングで処理する必要があるため、情報処理を実行するプロセッサ等においても処理の軽減が求められる。この他、複数のカメラを測距装置に搭載することにより、カメラ自体のコストがその分だけ高くなるという問題もある。
特開2007-240316号公報
　そこで、本開示では、単眼による精度の高い距離測定を実現する情報処理装置を提供する。
　一実施形態によれば、情報処理装置は、記憶部と、処理部と、を備える。前記処理部は、第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、前記仮想直線の間の実際の距離を取得し、前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する。
　前記処理部は、前記仮想直線と前記下端との交差する点に基づいて、画像内の前記第2方向の下端における前記第1方向の前記仮想直線の幅と、現実の前記複数の直線の幅との比率を取得してもよい。
　前記処理部は、前記対象の下端の前記第2方向における座標値を取得し、前記対象の前記第2方向における下端の座標値における前記仮想直線の間の前記第1方向における幅と、前記画像の下端における前記仮想直線の前記第1方向における幅と、の比に基づいて、記対象までの距離を算出してもよい。
　前記処理部は、前記仮想直線の幅が一定値であるとして、前記対象までの距離を算出してもよい。
　前記処理部は、前記複数の直線の少なくとも一部から、複数の消失点を検出し、前記複数の消失点が所定範囲内にない場合には、前記対象までの間に傾斜が変化する箇所が存在することを検出してもよい。
　前記処理部は、前記複数の消失点が所定範囲内にない場合に、前記複数の消失点の位置のずれから、変化する前記傾斜の程度を算出してもよい。
　前記処理部は、さらに、前記傾斜の変化に基づいて、前記対象までの距離を測定してもよい。
　前記処理部は、HDマップ(高精度3次元地図データ)に基づいて、前記対象の位置における前記仮想直線の間の幅を補正し、前記対象までの距離を算出してもよい。
　前記処理部は、前記画像における前記仮想直線の幅に対する前記対象の幅に基づいて、前記対象の現実の幅を測定してもよい。
　前記画像は、映像情報のフレームとして取得された画像であってもよく、前記処理部はさらに、前記画像における1又は複数の過去のフレームの画像を用いて、少なくとも1つの処理を実行してもよい。
　検出する前記直線の少なくとも一部は、道路上の白線であってもよい。
　検出する前記直線の少なくとも一部は、ガードレールの上端又は下端であってもよい。
　検出する前記直線の少なくとも一部は、道路端であってもよい。
　前記対象は、人又は動物であってもよい。
　前記対象は、自動車であってもよい。
　前記対象は、障害物であってもよい。
　一実施形態によれば、情報処理方法は、処理部により、第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、前記仮想直線の間の実際の距離を取得し、前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する。
　この情報処理方法は、上記に記載の情報処理装置の各ステップを実行する方法のうち少なくとも1ステップを含んでもよい。
　一実施形態によれば、プログラムは、コンピュータに実行させると、第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、前記仮想直線の間の実際の距離を取得し、前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する、ことを実行する。
　このプログラムは、コンピュータに、上記に記載の情報処理装置の各ステップを実行する方法のうち少なくとも１ステップを含む方法を実行させてもよい。
一実施形態に係る情報処理装置の構成を示すブロック図。 カメラのピッチと垂直方向の位置のずれを示すグラフ。 一実施形態に係る基準幅から対象の位置の取得を示す図。 一実施形態に係る仮想直線の取得を示す図。 一実施形態に係る情報処理装置の処理を示すフローチャート。 一実施形態に係る情報処理装置の構成を示すブロック図。 一実施形態に係る対象幅の測定を示す図。 一実施形態に係る情報処理装置の構成を示すブロック図。 一実施形態に係る勾配の変化検出を示す図。 一実施形態に係る勾配の変動の算出を示す図。 一実施形態に係る情報処理装置の構成を示すブロック図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。また、明細書中等に、「以上」「以下」等の文言が用いられているかもしれないが、これは適宜適切に「より大きい(高い、多い)」「より小さい(低い、少ない)」と読み替えることが可能であり、逆も同様である。
　以下においては、自動車の車載装置を用いて説明するが、本願の適用範囲は、自動車の車載装置に限定されるものではない。例えば、ドローン、ロボット等に適用することもできる。
　(第1実施形態)
　図1は、一実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置1は、撮像部100と、記憶部102と、画像処理部104と、仮想直線取得部106と、基準幅取得部108と、距離算出部110と、を備える。情報処理装置1は、撮像部100から取得した画像又は映像の情報に基づいて、対象となる障害物までの距離を測定する。対象は、人、動物、自動車、障害物等のものであるが、これに限定されるものではない。例えば、自転車に乗った人等も対象とすることができる。
　撮像部100は、例えば、カメラを備えて構成される。カメラは、例えば、自動車の前方の状態を画像、映像情報として取得するように自動車に搭載される。図1においては、情報処理装置1に撮像部100が備えられる形態としているが、これには限られない。例えば、情報処理装置1の外部に撮像部100が備えられていてもよい。撮像部100は、第1方向及び第1方向に交わる第2方向にアレイ状に受光画素を有し、この受光画素が受光した光を光電変換する信号に基づいて、第1方向及び第2方向にアレイ状の画素を有する画像を取得する。
　記憶部102は、撮像部100が取得した情報、及び、距離測定に必要な情報が格納される。情報処理装置1の少なくとも一部の機能が、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合には、記憶部102は、このソフトウェアに関するプログラム、実行ファイル等を格納してもよい。記憶部102は、非一時的な記憶領域を備えていてもよい。また、記憶部102は、フレームバッファ等の一時的な記憶領域を備えていてもよい。
　画像処理部104は、撮像部100が取得した画像、映像情報等に対して適切な画像処理を施す。画像処理部104は、例えば、撮像部100の光学系による歪みを補正する。歪みの補正は、撮像部100により予め設定されているパラメータ等により実行されてもよい。このパラメータ等は、任意のタイミング、又は、所定のタイミングで更新できるもであってもよい。
　仮想直線取得部106は、画像処理部104が処理した画像について、画像の下方から上方へと向かっている複数の直線、半直線、線分等を抽出する。例えば、仮想直線取得部106は、画像における下方(例えば、画像の下半分、下1/4といった所定領域であってもよいし、これ以外の領域を設定してもよい)に存在する線分を抽出する。抽出する線分等は、例えば、水平方向と垂直方向における傾きが所定角度範囲(例えば、60°～120°、70°～110°等で、これらに限られるものではない)に含まれるものに限定してもよい。所定角度範囲は、画像の左右の位置に依存する範囲であってもよい。抽出した線分に基づいて、仮想直線取得部106は、仮想直線を取得する。この処理についての詳細は、後述にて図面を用いて説明する。
　基準幅取得部108は、画像の下端における仮想直線の幅に基づいて、仮想直線間の幅と、自動車の前方の現実の状態における直線間との幅との比率を取得する。画像の下端において基準幅の比率を取得するのは、道路を映している画像においては、撮像部100のカメラのピッチ方向の影響を他の領域よりも受けづらいためである。なお、画像の下端まで直線が続いている場合には、仮想直線を求める前に、画像処理部104が出力した画像に基づいて基準幅の比率を取得してもよい。また、この基準幅の比率の取得は、1フレームごと、すなわち、入力された画像の全てに対して実行される必要はなく、例えば、所定のタイミングごとに実行したり、仮想直線が大きく変化した場合に実行したり、と、実行のタイミングを適切な範囲で任意に変更することも可能である。
　図2は、カメラから物体までの実際の距離と、実際の距離において撮像される物体の位置のずれと、の関係をピッチのずれに基づいて示す図である。この図に示すように、ピッチのずれに対する現実の物体の位置のずれは、物体の位置がカメラに近いほど小さくなる。一般的に、通常走行時におけるピッチは、±1°程度のずれが生じるが、これに対する画像下端における長さのずれは、±3～4%程度であり、距離測定において大きな影響を及ぼさない。
　図1に戻り、距離算出部110は、仮想直線取得部106が取得した仮想直線及び基準幅取得部108が取得した基準幅比に基づいて、対象までの距離を算出する。
　図3は、基準幅比率から物体の距離を求める一例を示す図である。例えば、人が対象Oとして撮影された場合に、この対象Oとの距離を測定することについて説明する。撮像面の垂線と、撮像面から垂直に焦点距離fの点と、撮像面における幅yとにより直角三角形を形成する。この図3に示すように、距離算出部110は、例えば、対象Oを検出した矩形の下端、又は、対象Oを検出した領域の下端における垂直座標を取得してもよい。対象Oのこの他の位置における垂直座標を取得してもよいが、例えば、車載に用いる情報処理装置1である場合、安全に配慮して距離が一番短く取得される下端の位置とすることが望ましい。
　図に示すように、対象Oの距離における撮像面と平行な直線と、撮像面の垂線を含む相似な直角三角形を形成する。このように定義すると、対象Oまでの距離は、以下のように示すことができる。
Figure JPOXMLDOC01-appb-M000001
　距離算出部110は、この(1)式におけるYを固定値、例えば、車線幅として固定とすることにより、対象Oの位置における仮想直線の幅に基づいて対象Oまでの距離を取得することができる。例えば、対象Oの位置(以下、対象Oの垂直方向における画像の下側の位置を単に位置ということもある)における仮想直線の幅が撮像面においてuピクセルで取得されたとする。すなわち、画像において、対象Oの位置における仮想直線の幅がuピクセルであったとする。この場合、y = u × (ピクセルの中点同士の距離、ピクセルピッチ又はピクセル幅等)とすることができる。ピクセルの中点同士の距離、ピクセルのピッチ又はピクセルの幅等は、撮像部100の構成により取得することができる固定値である。このため、(1)式を用いることにより、距離算出部110は、対象Oまでの距離を算出することができる。
　距離算出部110により算出された距離を対象Oまでの距離として、情報処理装置1は、出力する。複数の対象がある場合には、対象ごとに距離を測定して出力してもよい。例えば、車線幅は、法律等により決められた値であることが多い。このため、車線幅を固定値、例えば、日本においては、一般道では3m、高速道路では3.5m等とすることにより、適切に対象Oまでの距離を測定することができる。もちろん、各国の法令、条例等に基づいてこの幅を決定してもよい。なお、対象の抽出は、各種特徴量を用いる等、適切な方法を用いることが可能である。
　また、車線幅は、距離測定する対象までは同じであると定義する一方で、画像下端での車線幅を適切に取得する形態としてもよい。例えば、撮像部100に備えられる車載カメラにおいて車のボンネットの一部が下端に撮像される場合には、このボンネットの一部の大きさ(固定値)に基づいて、仮想直線の画像下端における幅を算出してもよい。また、高速道路においては、自車がいるレーンによって車線幅が異なることがある。このような場合に対応するべく、自車のいるレーンにより、仮想直線の画像下端における幅を設定する態様としてもよい。車線幅は、道路によって異なることもある。このような場合には、例えば、GPS(Global Positioning System)等から受信した情報、CAN(Controller Area Network)等を介して取得した位置情報に基づいて、データベース等から車線幅を取得してもよい。もちろん、レーンごとの車線幅を取得することも可能である。
　別の例として、基準幅取得部108は、画像の下端と、仮想直線との交点に基づいて、基準となる車線幅を求めてもよい。これは、撮像部100の設置される位置が固定されていることから、画像下端における車線の幅が、画像処理部104により処理された画像においては、測定可能であるためである。このように、基準幅取得部108は、実際の車線と、仮想直線の間の幅との比率を求めるのではなく、車線幅又は仮想直線の間の実際の距離を取得してもよい。この場合にも上記の式等は同様の処理を実行することができる。
　次に、仮想直線取得部106による仮想直線の取得について説明する。道路が直進しており、車線が直進している場合には、種々の白線検出等の検出方法により取得した直線を仮想直線と同等のものとして利用することができる。このような場合には、仮想直線を取得する必要はない。
　一方で、道路がカーブしている場合には、白線検出した結果は、カーブした形状となる。このような場合、上記のように車線幅から距離を検出することが困難となる。例えば、対象Oの存在する領域(水平、垂直含む)の手前側を通る白線の法線を求めることが必要となる。このような複雑な演算は、フレームレートにより制限される実時間内の処理では困難なことが多い。このような場合には、仮想直線を検出する方法が有効となる。
　図4は、一実施形態に係る仮想直線の算出について説明するための図である。なお、以下において、図4に示されるように第1方向及び第2方向を定義することがある。すなわち、車線等の幅は、同一の第2方向の座標を有する第1方向における距離を示す。また、下端の位置等は、第2方向の座標値を示す。例えば、画像の下端が第2方向における座標の0であり、この座標値に基づいて、ピクセルごとに上方へいくほど座標値が増加する形態としてもよい。
　図は、例えば、画像処理部104により歪み等が補正された後の画像を示す。仮想直線取得部106は、種々の白線検出手法のうち1つを用いて、白線検出を実行する。白線検出は、所定角度範囲の傾きを有する範囲内において実行されてもよい。検出された白線のうち、所定領域、限定されない一例として、画像の下1/4といった領域等における直線のフィッティングを行い、仮想直線を取得する。このフィッティングも、種々の方法を用いることができる。
　このように仮想直線を取得することにより、カーブしている道路においても適切に対象までの距離を測定することが可能となる。例えば、対象Oの画像内における下端の垂直位置における仮想直線同士の幅を用いて(1)式により対象Oまでの距離を測定してもよい。この場合、上記と同様に、距離算出部110は、対象Oの検出された矩形の下端、又は、対象Oの下端を基準にした仮想直線同士の幅を取得することが望ましい。
　図5は、本実施形態に係る情報処理装置1の処理の一例を示すフローチャートである。
　まず、撮像部100は、画像を取得する(S100)。上述したように、撮像部100は、情報処理装置1に備えられてもよいし、外部に備えられていてもよい。外部に備えられている場合には、情報処理装置１は、本ステップにおいて撮像部100から画像を受信等することにより取得する。
　次に、画像処理部104は、画像処理を実行する(S102)。画像取得と、画像処理との間に、記憶部102に画像データが格納されてもよい。この場合、画像処理部104は、記憶部102に格納されている画像データを読み込み、画像処理を実行する。適切に処理された画像は、記憶部102に再度格納されてもよい。
　次に、仮想直線取得部106は、画像処理された画像において仮想直線を取得する(S104)。なお、白線検出等により白線が直線として検出されている場合には、このステップは省略し、検出された白線を以下の処理に用いてもよい。すなわち、この処理は、任意に省略することができる。
　次に、基準幅取得部108は、車線の幅、又は、仮想直線同士の幅に対する車線の幅の比率を取得する(S106)。基準幅取得部108は、白線検出の結果に基づいて、画像の下端において車線幅等を取得してもよい。仮想直線が取得されている場合には、基準幅取得部108は、仮想直線と画像下端との交点の位置に基づいて、画像の下端における車線幅を取得してもよい。
　次に、距離算出部110は、対象を検出し、この検出結果と上記の各ステップで取得されたデータ等に基づいて、対象までの距離を測定する(S108)。例えば、距離算出部110は、上述したように検出された対象を表す矩形領域の下端の位置に基づいて距離を算出する。また、距離算出部110は、対象が複数検出された場合には、複数の対象について距離を取得してもよい。
　このように、画像を用いて対象までの距離を測定する。これらの処理は、例えば、フレームごとに繰り返されてもよい。また、S106の処理は、フレームごとに実行される必要はない。例えば、所定のフレームごとに、S106の処理が実行されてもよい。また、別の例として、過去のフレームの情報を用いてS102からS108までの少なくとも1つの処理を実行してもよい。例えば、過去フレームと現フレームとの画像における差異等に基づいて、又は、所定のタイミングに基づいて、適切なタイミング(フレーム)において仮想直線を取得、補正したり、斜線幅を取得、補正したり、距離を取得、補正したりしてもよい。
　以上のように、本実施形態によれば、単眼カメラを用いて適切に高精度な対象までの距離測定を実現することが可能となる。この結果、複数のカメラを用いることによる金銭的及び搭載位置等のコストを削減することができる。さらに、複数カメラを用いた場合における煩雑なキャリブレーション処理、また、複数カメラのデータを取り扱いに関する演算コストをも削減することができる。
　(第2実施形態)
　上述の情報処理装置1と同じデータを用いることにより、対象の幅を推定することも可能である。
　図6は、本実施形態に係る情報処理装置1を示すブロック図である。情報処理装置1は、図1の構成に加えて、対象幅取得部112を備えてもよい。対象幅取得部112は、基準幅取得部108が取得した車線の幅及び対象の画像上の幅に基づいて、対象の幅を取得する。
　対象幅取得部112は、対象の下端(前述の実施形態と同様に検出された矩形の下端でもよい)の垂直座標における車線同士の画素数及び対象の下端の幅の画素数を取得する。
　図7は、本実施形態における情報処理装置1において取得された画像の一例を示す。車線同士の距離は、例えば、図7においては、3.5mで固定されている。このため、対象の位置における車線の幅[pixel]と、対象の幅[pixel]と、に基づいて、対象の幅[m]を測定することができる。
　例えば、図に示すように、対象の位置における車線幅が140ピクセル、対象の幅が120ピクセルである場合には、3.5[m] × 120 / 140 = 3.0[m]と求めることができる。
　このように、本実施形態によれば、対象の幅も同様のステップで求めることが可能となる。例えば、このように対象の幅を取得することにより、道路走行中における対象の車の種別を取得することもできる。例えば、車載装置においては、車の種別を取得することにより、ADAS(Advanced Driver-Assistance Systems)に用いるデータとして利用することも可能である。
　(第3実施形態)
　上記のように仮想直線を用いることにより、撮像している画像において傾斜の変動がある場合にも対象との距離を測定することができる。本実施形態においては、道路の勾配が変化する場合における情報処理装置1の処理について説明する。
　道路の勾配が変化する場合には、対象の高さによらず対象の幅、車線幅は、前述の実施形態と同様に取得することができるが、対象までの直線距離は、勾配により異なるものとなる。このため、勾配に関する情報を取得し、直線距離を算出する必要がある。
　図8は、本実施形態における情報処理装置1を示すブロック図である。情報処理装置1は、前述の第1実施形態の情報処理装置1に加え、消失点取得部114と、勾配算出部116と、を備える。なお、第2実施形態における情報処理装置1に加えて消失点取得部114と、勾配算出部116と、を備える構成であってもよい。
　消失点取得部114は、画像から検出された直線、半直線、線分に基づいて、消失点を取得する。消失点の取得は、一般的な手法で実行されてもよい。消失点の取得には、仮想直線取得部106が取得した仮想直線に関する情報を用いてもよく、限定されない一例として、消失点取得部114は、仮想直線取得部106が取得した仮想直線同士が交わる点を算出し、この点を消失点として取得してもよい。消失点取得部114は、例えば、画像下端からの直線に基づいて、第1消失点を検出する。そして、白線検出を行った結果において、画像内における傾きが所定値以上に変動する箇所で、そこから上部における直線検出等により、第2消失点を検出してもよい。
　勾配算出部116は、取得された消失点から、勾配が変化する位置及び勾配の変化度合いを算出する。算出方法については、後述にて詳しく説明する。
　図9は、複数の消失点が検出される一例を示す図である。この図に示すように、画像内で勾配が大きく変動する場合、異なる位置に消失点が発生する。そこで、仮想直線取得部106により、勾配が大きく変動した又は徐々に変動した前後において消失点の位置を検出する。例えば、仮想直線取得部106は、画像を第2方向において所定領域ごとに分割しておき、当該領域内における線分等の検出を実行してもよい。そして、それぞれの領域において検出された傾きの差又は比が所定値を越える場合には、それぞれに対して仮想直線を取得してもよい。
　消失点取得部114は、取得された複数組の仮想直線から、複数の消失点を取得する。図9の場合、下端からの仮想直線の組による第1消失点と、上方の仮想直線の組による第2消失点と、を抽出する。そして、これらの消失点の第2方向における距離を画素単位で抽出する。
　図10は、図9のような勾配の変動を有する道路について、その横からの断面図を模式的に示す図である。実線が道路を表し、点線が消失点の方向を示す。この図には、例えば、撮像面が示されている。この図から、以下の式により勾配の変動値を取得することができる。
Figure JPOXMLDOC01-appb-M000002
 f[m]及びピクセルピッチは、カメラの構成により取得できる値であり、diff[pix]は、上記の説明により取得することが可能である。このため、(2)式に基づいて、道路の勾配の変動がどの程度であるかを算出することが可能となる。
　白線の検出結果と、車線の幅により、カメラからどの距離までが勾配が変化せず、どこから勾配が変化するかを取得することが可能となる。この結果、これらの距離と勾配により、対象までの距離を距離算出部110が算出することが可能となる。
　また、計算を簡略化し、以下のように対象までの距離を算出することも可能である。
Figure JPOXMLDOC01-appb-M000003
 Xは、(1)式に基づいて、対象Oの位置における車線幅から求められた距離であり、θは、(2)式に基づいて求められた勾配である。(3)式により、対象Oまでの直線距離を近似して求める形態としてもよい。
　以上のように、画像内において勾配の変動がある場合であっても、LiDAR(Light Detection and Ranging)等の他のセンサ等が必要となる情報がない場合でも、単眼カメラにおいて精度のよい対象までの距離計測を実現することが可能となる。
　なお、消失点の検出は、多くの方法においてブレが発生することがある。このようなブレの影響を少なくするために、例えば、図9における第2消失点が、第1消失点から破線で示す所定範囲内にない場合に、第2消失点から勾配を求めるようにしてもよい。このブレは、第2方向のみにおいて考慮してもよい。
　(第4実施形態)
　前述した各実施形態においては、車線の幅は一定であるという仮定の下、距離測定を実行していた。しかしながら、場所によっては車線の幅は一定ではないことがある。このような場合、前述の各実施形態における距離測定方法では、距離の算出誤差が生じることを回避するのは困難である。そこで、本実施形態における距離計測は、このような場合にも対応しようとするものである。
　図11は、本実施形態に係る情報処理装置1を示すブロック図である。情報処理装置1は、図1の構成に加え、さらにマップ読込部118を備える。なお、第2実施形態又は第3実施形態に係る情報処理装置1にマップ読込部118を備えている構成であってもよい。
　マップ読込部118は、外部又は記憶部102からマップを読み込む。マップ読込部118が読み込むマップは、例えば、HDマップであってもよい。このマップには、車線幅の情報が記録されている。マップ読込部118は、自車の現在の位置に基づいて周辺のマップを適切なタイミングで読み込む。自車の現在の位置は、情報処理装置1に備えられるGPS受信装置(図示しない)から取得してもよいし、ハンドル等の積分値により読み込んでもよいし、SLAM(Simultaneous Localization and Mapping)等の技術により取得されてもよい。
　距離算出部110は、取得したマップに基づいて、画像における車線幅が一定であるか否かを確認した上で、対象までの距離を測定する。
　HDマップを用いる場合には、自車からの距離により車線幅が一定であるか否かを確認することができる。このため、距離算出部110は、車線幅が一定であると仮定した上で、一度対象までの距離を測定する。そして、この距離がHDマップから取得された車線幅が一定ではない距離に属する場合には、HDマップから取得された車線幅に基づいて、距離を再計算する。距離算出部110は、例えば、対象の位置における車線幅と、画像下端における車線幅との比率に基づいて、対象までの距離を再計算する。一例として、車線が一定であると仮定して算出された距離に、(対象の位置における車線幅) / (画像下端おける車線幅)を積算することにより、車線幅を考慮した距離に補正することができる。
　このようにマップ読込部118が読み込んだ車線幅により距離算出部110が距離を補正することができる。
　車線幅が画像において手前側より奥側が狭くなっており、対象が奥側に存在する場合には、対象の位置は、実際の位置よりも遠くに検出される。このため、車線幅を一定として算出した対象の位置は、実際の位置よりも遠く算出され、車線幅が変動した位置よりも奥であると検出される。この場合には、距離算出部110は、車線幅が変動した向こう側に対象があることを検知して、対象の距離の再計算を実行する。そして、この際計算により、精度の高い距離測定を実行することができる。
　逆に、車線幅が画像において手前側より奥側が広くなっており、対象が奥側に存在する場合には、対象の位置は、実際の位置よりも近くに検出される。この場合、車線幅が一定として検出した場合の距離に基づいてHDマップにおける車線幅が変動する位置と比較しても、車線幅が変化する前の位置と判断される可能性がある。このような場合には、再計算されないことがある。
　距離測定の精度を求める上に置いては、車線幅が変動する可能性がある範囲においては、車線幅が一定である距離と、車線幅が変動した後の距離とを算出し、これらの距離と、自車と変動位置との距離とに基づいて、求めた複数の距離から実際の距離を選択する態様としてもよい。
　以上のように、本実施形態によれば、車線幅が変化する場合においても、適切に対象までの距離を測定することができる。
　なお、このようにHDマップを用いる場合には、基準幅取得部108により基準となる車線幅を取得することなく対象までの距離を測定する態様とすることもできる。すなわち、基準となる画像下端における仮想直線間の距離を、HDマップ上における自車位置から読み取った値とすることが可能となる。
　上記においては、車線として説明したが、これは車線ではなくてもよい。例えば、道路脇に備えられるガードレールの上端又は下端を直線として検出してもよい。別の例としては、道路端を直線として検出してもよい。道路端は、例えば、高速道路であれば中央分離帯や側壁と道路面との設置面、一般道であれば、側道、歩行者道との境界を検出する形態であってもよい。
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図12は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図12に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図12では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図13は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図13には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図12に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図12の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図12に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図1等を用いて説明した本実施形態に係る情報処理装置1の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図1等を用いて説明した本実施形態に係る情報処理装置1は、図12に示した応用例の車外情報検出ユニット７４００、撮像部７４１０及び車外情報検出部７４２０の少なくとも一部に適用することができる。
　また、図1等を用いて説明した情報処理装置1の少なくとも一部の構成要素は、図12に示した車外情報検出ユニット７４００、撮像部７４１０及び車外情報検出部７４２０の少なくとも一部のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図1等を用いて説明した情報処理装置1が、図12に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　前述した実施形態は、以下のような形態としてもよい。
(1)
　記憶部と、処理部と、を備え、
　前記処理部は、
　　第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、
　　前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、
　　前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、
　　前記仮想直線の間の実際の距離を取得し、
　　前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する、
　情報処理装置。
(2)
　前記処理部は、
　　前記仮想直線と前記下端との交差する点に基づいて、画像内の前記第2方向の下端における前記第1方向の前記仮想直線の幅と、現実の前記複数の直線の幅との比率を取得する、
　(1)に記載の情報処理装置。
(3)
　前記処理部は、
　　前記対象の下端の前記第2方向における座標値を取得し、
　　前記対象の前記第2方向における下端の座標値における前記仮想直線の間の前記第1方向における幅と、前記画像の下端における前記仮想直線の前記第1方向における幅と、の比に基づいて、前記対象までの距離を算出する、
　(1)又は(2)に記載の情報処理装置。
(4)
　前記処理部は、
　　前記仮想直線の幅が一定値であるとして、前記対象までの距離を算出する、
　(3)に記載の情報処理装置。
(5)
　前記処理部は、
　　前記複数の直線の少なくとも一部から、複数の消失点を検出し、
　　前記複数の消失点が所定範囲内にない場合には、前記対象までの間に傾斜が変化する箇所が存在することを検出する、
　(1)から(4)のいずれかに記載の情報処理装置。
(6)
　前記処理部は、
　　前記複数の消失点が所定範囲内にない場合に、前記複数の消失点の位置のずれから、変化する前記傾斜の程度を算出する、
　(5)に記載の情報処理装置。
(7)
　前記処理部は、
　　さらに、前記傾斜の変化に基づいて、前記対象までの距離を測定する、
　(6)に記載の情報処理装置。
(8)
　前記処理部は、
　　HDマップ(高精度3次元地図データ)に基づいて、前記対象の位置における前記仮想直線の間の幅を補正し、前記対象までの距離を算出する、
　(1)から(7)のいずれかに記載の情報処理装置。
(9)
　前記処理部は、
　　前記画像における前記仮想直線の幅に対する前記対象の幅に基づいて、前記対象の現実の幅を測定する、
　(1)から(8)のいずれかに記載の情報処理装置。
(10)
　前記画像は、映像情報のフレームとして取得された画像であり、
　前記処理部はさらに、
　　前記画像における1又は複数の過去のフレームの画像を用いて、少なくとも1つの処理を実行する、
　(1)から(9)のいずれかに記載の情報処理装置。
(11)
　検出する前記直線の少なくとも一部は、道路上の白線である、
　(1)から(10)のいずれかに記載の情報処理装置。
(12)
　検出する前記直線の少なくとも一部は、ガードレールの上端又は下端である、
　(1)から(11)のいずれかに記載の情報処理装置。
(13)
　検出する前記直線の少なくとも一部は、道路端である、
　(1)から(12)のいずれかに記載の情報処理装置。
(14)
　前記対象は、人又は動物である、
　(1)から(13)のいずれかに記載の情報処理装置。
(15)
　前記対象は、自動車である、
　(1)から(14)のいずれかに記載の情報処理装置。
(16)
　前記対象は、障害物である、
　(1)から(15)のいずれかに記載の情報処理装置。
(17)
　処理部により、
　　第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、
　　前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、
　　前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、
　　前記仮想直線の間の実際の距離を取得し、
　　前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する、
　情報処理方法。
(18)
　(2)から(16)に記載の情報処理装置の各ステップを実行する方法のうち少なくとも1ステップを含む、
　(17)に記載の情報処理方法。
(19)
　コンピュータに実行させると、
　　第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、
　　前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、
　　前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、
　　前記仮想直線の間の実際の距離を取得し、
　　前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する、
　プログラム。
(20)
　コンピュータに、
　　(2)から(16)に記載の情報処理装置の各ステップを実行する方法のうち少なくとも１ステップを含む方法を実行させる、
　(19)に記載のプログラム。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1: 情報処理装置、
100: 撮像部、102: 記憶部、104: 画像処理部、106: 仮想直線取得部、108: 基準幅取得部、110: 距離算出部、
112: 対象幅取得部、
114: 消失点取得部、116: 勾配算出部、
118: マップ読込部

Claims (12)

  1. 　記憶部と、処理部と、を備え、
    　前記処理部は、
    　　第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、
    　　前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、
    　　前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、
    　　前記仮想直線の間の実際の距離を取得し、
    　　前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する、
    　情報処理装置。
  2. 　前記処理部は、
    　　前記仮想直線と前記下端との交差する点に基づいて、画像内の前記第2方向の下端における前記第1方向の前記仮想直線の幅と、現実の前記複数の直線の幅との比率を取得する、
    　請求項1に記載の情報処理装置。
  3. 　前記処理部は、
    　　前記対象の下端の前記第2方向における座標値を取得し、
    　　前記対象の前記第2方向における下端の座標値における前記仮想直線の間の前記第1方向における幅と、前記画像の下端における前記仮想直線の前記第1方向における幅と、の比に基づいて、前記対象までの距離を算出する、
    　請求項1に記載の情報処理装置。
  4. 　前記処理部は、
    　　前記仮想直線の幅が一定値であるとして、前記対象までの距離を算出する、
    　請求項3に記載の情報処理装置。
  5. 　前記処理部は、
    　　前記複数の直線の少なくとも一部から、複数の消失点を検出し、
    　　前記複数の消失点が所定範囲内にない場合には、前記対象までの間に傾斜が変化する箇所が存在することを検出する、
    　請求項1に記載の情報処理装置。
  6. 　前記処理部は、
    　　前記複数の消失点が所定範囲内にない場合に、前記複数の消失点の位置のずれから、変化する前記傾斜の程度を算出する、
    　請求項5に記載の情報処理装置。
  7. 　前記処理部は、
    　　さらに、前記傾斜の変化に基づいて、前記対象までの距離を測定する、
    　請求項6に記載の情報処理装置。
  8. 　前記処理部は、
    　　HDマップ(高精度3次元地図データ)に基づいて、前記対象の位置における前記仮想直線の間の幅を補正し、前記対象までの距離を算出する、
    　請求項1に記載の情報処理装置。
  9. 　前記処理部は、
    　　前記画像における前記仮想直線の幅に対する前記対象の幅に基づいて、前記対象の現実の幅を測定する、
    　請求項1に記載の情報処理装置。
  10. 　前記画像は、映像情報のフレームとして取得された画像であり、
    　前記処理部はさらに、
    　　前記画像における1又は複数の過去のフレームの画像を用いて、少なくとも1つの処理を実行する、
    　請求項1に記載の情報処理装置。
  11. 　処理部により、
    　　第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、
    　　前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、
    　　前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、
    　　前記仮想直線の間の実際の距離を取得し、
    　　前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する、
    　情報処理方法。
  12. 　コンピュータに実行させると、
    　　第1方向及び前記第1方向に交わる第2方向にアレイ状に画素を有する画像を取得し、
    　　前記画像の前記第2方向における下端から上方へ向けて所定角度範囲内の傾きを有して延伸される複数の直線の少なくとも一部を検出し、
    　　前記複数の直線について、検出された少なくとも一部から、仮想直線を取得し、
    　　前記仮想直線の間の実際の距離を取得し、
    　　前記画像における、前記仮想直線に対する対象の位置及び前記対象の位置における前記仮想直線の間の幅から、前記対象までの距離を測定する、
    　プログラム。
PCT/JP2022/008162 2021-03-16 2022-02-28 情報処理装置、情報処理方法及びプログラム WO2022196316A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-042580 2021-03-16
JP2021042580 2021-03-16

Publications (1)

Publication Number Publication Date
WO2022196316A1 true WO2022196316A1 (ja) 2022-09-22

Family

ID=83321284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008162 WO2022196316A1 (ja) 2021-03-16 2022-02-28 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2022196316A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004655A (ja) * 2005-06-27 2007-01-11 Alpine Electronics Inc 地図情報更新方法及びナビゲーション装置
JP2007124676A (ja) * 2006-11-22 2007-05-17 Hitachi Ltd 車載用画像処理装置
JP2018025906A (ja) * 2016-08-09 2018-02-15 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2018180663A (ja) * 2017-04-05 2018-11-15 株式会社Ｓｏｋｅｎ 道路パラメータ推定装置
JP2020077414A (ja) * 2018-11-06 2020-05-21 富士通株式会社 シーン検出装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004655A (ja) * 2005-06-27 2007-01-11 Alpine Electronics Inc 地図情報更新方法及びナビゲーション装置
JP2007124676A (ja) * 2006-11-22 2007-05-17 Hitachi Ltd 車載用画像処理装置
JP2018025906A (ja) * 2016-08-09 2018-02-15 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2018180663A (ja) * 2017-04-05 2018-11-15 株式会社Ｓｏｋｅｎ 道路パラメータ推定装置
JP2020077414A (ja) * 2018-11-06 2020-05-21 富士通株式会社 シーン検出装置及び方法

Similar Documents

Publication Publication Date Title
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017122552A1 (ja) 画像処理装置および方法、プログラム、並びに画像処理システム
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
US11076141B2 (en) Image processing device, image processing method, and vehicle
WO2017057055A1 (ja) 情報処理装置、情報端末、及び、情報処理方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7294148B2 (ja) キャリブレーション装置とキャリブレーション方法およびプログラム
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
JPWO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20220319013A1 (en) Image processing device, image processing method, and program
JP7363890B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022024602A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11436706B2 (en) Image processing apparatus and image processing method for improving quality of images by removing weather elements
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
US20230119187A1 (en) Circuitry and method
US20220290996A1 (en) Information processing device, information processing method, information processing system, and program
WO2020017172A1 (ja) 情報処理装置と情報処理方法およびプログラム
KR20230000567A (ko) 센서를 이용한 차량의 각도 계산 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771071

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22771071

Country of ref document: EP

Kind code of ref document: A1