WO2024062540A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2024062540A1
WO2024062540A1 PCT/JP2022/035027 JP2022035027W WO2024062540A1 WO 2024062540 A1 WO2024062540 A1 WO 2024062540A1 JP 2022035027 W JP2022035027 W JP 2022035027W WO 2024062540 A1 WO2024062540 A1 WO 2024062540A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
reliability
unit
image
image processing
Prior art date
Application number
PCT/JP2022/035027
Other languages
English (en)
French (fr)
Inventor
茂 松尾
健 遠藤
雅幸 竹村
雅士 高田
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to PCT/JP2022/035027 priority Critical patent/WO2024062540A1/ja
Publication of WO2024062540A1 publication Critical patent/WO2024062540A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention relates to an image processing device.
  • a stereo camera can measure the distance to an object by using the parallax of an overlapping region of images taken by two cameras arranged at a predetermined interval. Therefore, the stereo camera can accurately grasp the risk of collision with an object.
  • Patent Document 1 discloses that an image capturing means for capturing an image of a target object and a stereo matching process are performed for each small region of a pair of images captured by the image capturing means to identify corresponding regions by determining mutual correlation.
  • stereo processing means for acquiring an evaluation function that is a matching processing result, distance information to the target object obtained based on the evaluation function, and reliability information indicating the reliability thereof; setting a re-search range around the area, and based on the evaluation function calculated for the small area within the re-search range, correcting the evaluation function calculated for the target small area to obtain a modified evaluation function;
  • a stereo image processing device characterized by comprising a parallax correction means for correcting distance information based on the obtained modified evaluation function.
  • the device disclosed in Patent Document 1 corrects parallax by correcting the evaluation function determined for each matching block set in stereo matching. Therefore, in the device disclosed in Patent Document 1, depending on the situation of the captured image, even the corrected parallax may contain a large error, and there is room for improvement.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image processing device that can accurately calculate parallax.
  • an image processing device of the present invention includes a parallax calculation unit that calculates the parallax of images captured by a plurality of cameras, and a parallax calculation unit that classifies objects that appear in the images and types of the classified objects.
  • a labeling unit that assigns a label to each pixel of the object according to the label
  • a reliability calculation unit that calculates the reliability of the parallax for each label assigned
  • a reliability calculation unit that calculates the parallax according to the calculated reliability.
  • a parallax correction unit that corrects the parallax.
  • FIG. 1 is a diagram showing the configuration of a stereo camera device including an image processing device according to the present embodiment.
  • 5 is a flowchart showing the operation of the image processing device.
  • 5 is a flowchart showing processing performed by a reliability calculation unit.
  • FIG. 3 is a diagram illustrating an example of the configuration of data written to one pixel of a reliability image.
  • 5 is a flowchart showing processing performed by an interpolation unit.
  • FIG. 11 is a diagram for explaining step S34 shown in FIG. 10 .
  • 5 is a flowchart showing processing performed by a recalculation unit.
  • FIG. 1 is a diagram showing the configuration of a stereo camera device 1 including an image processing device 20 of this embodiment.
  • FIG. 2 is a diagram showing the parallax image 130.
  • FIG. 3 is a diagram showing the label image 140.
  • FIG. 4 is a diagram illustrating the occlusion portion 241.
  • FIG. 5 is a diagram showing the reliability table 51.
  • FIG. 6 is a diagram showing the reliability image 150.
  • the stereo camera device 1 is a type of sensor that is mounted on a vehicle and monitors the area around the vehicle.
  • the stereo camera device 1 detects objects around the vehicle and measures the distance to the objects by utilizing the parallax of the overlapping areas of images 111, 112 captured by multiple cameras 11, 12 arranged at a predetermined interval in the horizontal direction.
  • the stereo camera device 1 shown in FIG. 1 performs image processing using a left camera 11 and a right camera 12, a left image 111 taken by the left camera 11, and a right image 112 taken by the right camera 12.
  • a device 20 is provided.
  • the image processing device 20 is configured by, for example, a computer including a processor such as a CPU and a storage device such as a ROM and a RAM.
  • the image processing device 20 realizes various functions of the image processing device 20 by the CPU executing programs stored in the ROM.
  • the image processing device 20 includes a parallax calculation section 30, a labeling section 40, a reliability calculation section 50, a parallax correction section 60, and a recognition processing section 70.
  • the parallax calculation unit 30 calculates the parallax of the left image 111 and the right image 112 captured by the left camera 11 and the right camera 12 for each pixel.
  • the parallax calculation unit 30 of this embodiment has a neural network model.
  • a left image 111 and a right image 112 are set in the input layer of the neural network model.
  • the parallax between the left image 111 and the right image 112 is set in the output layer of the neural network model.
  • weights, biases, and activation functions for each neuron are set.
  • the neural network model is constructed by machine learning the weights and biases of each neuron using error backpropagation, etc., and is installed in the parallax calculation unit 30 in advance.
  • the machine learning may be supervised learning.
  • the parallax calculation unit 30 may have a model constructed by machine learning other than the neural network model.
  • the model included in the parallax calculation unit 30 may be, for example, an optical flow model.
  • the parallax calculation unit 30 generates a parallax image 130 in which the calculated parallax is stored in each pixel.
  • the parallax image 130 is generated as an image in which the parallax corresponding to each pixel of the right image 112 is stored in each pixel of the right image 112, as shown in FIG. 2, for example. In the parallax image 130 shown in FIG. 2, the darker the color, the larger the parallax and the closer the distance.
  • the labeling unit 40 classifies the subject appearing in the right image 112 and assigns a label according to the type of the classified subject to each pixel of the subject.
  • the labeling unit 40 can classify objects and assign labels using a neural network model.
  • the labeling unit 40 of this embodiment classifies objects and assigns labels using panoptic segmentation.
  • a processing overview of panoptic segmentation is introduced in the paper by Kirillov et al., “Panoptic Feature Pyramid Networks,” 2019 IEEE/CVF Conference on CVPR.
  • the labeling unit 40 can refer to the paper.
  • the labeling unit 40 labels the objects in the right image 112 as road surfaces 210, puddles 220, gutters 230, vehicles 240, vehicles 250, and zebra zones 260, according to the learned label information. Classify by pixel. Then, the labeling unit 40 writes the label number of the label assigned to each subject for each pixel of the subject. In this way, the labeling unit 40 generates a label image 140 in which a label number is stored in each pixel.
  • the labeling unit 40 performs the following processing in order to identify the occlusion portion 241. For example, as shown in FIG. 4, it is assumed that the right image 112 and the left image 111 have different degrees of overlap between the vehicles 240 and 250, and the occlusion portion 241 is not captured in the left image 111.
  • the labeling unit 40 compares the parallaxes of the vehicle 240 and the vehicle 250, and identifies the area on the right side of the vehicle 240, which is the subject with a large parallax, as the occlusion portion 241.
  • the width of the occlusion portion 241 is the number of pixels that is the difference between the parallax of the vehicle 240 and the parallax of the vehicle 250.
  • the labeling unit 40 can also verify the consistency between the type of the classified subject and the label assigned to the subject based on the parallax calculated by the parallax calculation unit 30. For example, if the subject is a signboard with a picture of a person attached to it, the parallax of the pixels that make up the subject indicates a value that is approximately constant or changes linearly in the pixel group, and the subject is recognized as being flat. On the other hand, if the subject is an actual person, the parallax of the pixels that make up the subject indicates a value that changes nonlinearly in the pixel group, and the subject is recognized as being three-dimensional. For this reason, the labeling unit 40 can verify the consistency between the type of the classified subject and the label assigned to the subject by using the parallax image 130 in addition to the right image 112.
  • the reliability calculation unit 50 calculates the reliability of parallax for each label given by the labeling unit 40.
  • the reliability is an index that quantifies the magnitude of the error included in the parallax value. The smaller the error included in the parallax value, the higher the reliability. In this embodiment, the reliability is “low” if the error included in the parallax value is 20% or more, the reliability is “medium” if the error is 10% or more and less than 20%, and the reliability is “medium” if the error is less than 10%. is "high”.
  • the reliability calculation unit 50 calculates the reliability in order to clarify the subject whose parallax is assumed to be inaccurate.
  • the reliability calculation unit 50 calculates the reliability of the disparity using a reliability table 51 created in advance.
  • the reliability table 51 is a table showing the correspondence between labels and reliability, as shown in FIG. 5.
  • a reliability item of "0” indicates that the reliability is "invalid”
  • a reliability item of "1” indicates that the reliability is "low”
  • a reliability item of "2” indicates that the reliability is "medium”
  • a reliability item of "3” indicates that the reliability is "high”.
  • the reliability calculation unit 50 refers to the reliability table 51 and identifies the reliability corresponding to the label assigned by the labeling unit 40. The reliability calculation unit 50 then writes the identified reliability for each pixel of the subject to which the label is assigned. In this way, the reliability calculation unit 50 generates a reliability image 150 in which a label number and a reliability are stored for each pixel, as shown in FIG. 6.
  • the parallax correction unit 60 corrects parallax according to the reliability calculated by the reliability calculation unit 50.
  • the parallax correction unit 60 includes an interpolation unit 61 and a recalculation unit 62.
  • the interpolation unit 61 interpolates the parallax whose reliability does not meet the standard based on the parallax calculated for the images 111 and 112 taken in the past.
  • the interpolation unit 61 can correct the parallax image 130 by interpolating parallaxes whose reliability does not meet the standard.
  • the interpolation unit 61 of the present embodiment determines whether or not to interpolate parallaxes whose reliability is "low” or "invalid” based on the parallaxes calculated for images 111 and 112 taken in the past, When it is determined that interpolation is to be performed, a parallax with a "high” reliability is used to interpolate a parallax with a "low” or "invalid" reliability.
  • an area where the reliability calculated for the images 111 and 112 taken currently is “low” or “invalid” is calculated as "high” for the images 111 and 112 taken in the past.
  • the interpolation unit 61 of the present embodiment determines to interpolate the parallax of which the reliability of the area is "low” or “invalid”, and uses the parallax of which the reliability is "high” adjacent to the area, Interpolates parallaxes whose reliability in the area is "low” or "invalid".
  • the recalculation unit 62 recalculates the parallax whose reliability does not meet the standard using a method different from that of the parallax calculation unit 30.
  • the recalculation unit 62 can correct the parallax image 130 by replacing the parallax whose reliability does not meet the standard with the recalculated parallax.
  • the recalculation unit 62 of this embodiment recalculates the parallax whose reliability is "medium” or "low” by, for example, stereo matching.
  • the recalculation unit 62 of this embodiment may use the parallax interpolated by the interpolation unit 61 as a target for recalculation. Note that when the parallax calculation unit 30 calculates the parallax by stereo matching, the recalculation unit 62 may recalculate the parallax using a neural network model.
  • the recognition processing unit 70 detects objects around the vehicle based on the parallax corrected by the parallax correction unit 60, the reliability calculated by the reliability calculation unit 50, and the images 111 and 112. Specifically, the recognition processing unit 70 uses the corrected parallax image 130, reliability image 150, left image 111, and right image 112 to detect objects around the vehicle.
  • a road surface area with "high” reliability has accurate parallax, and even small objects on the road surface can be detected.
  • the recognition processing unit 70 changes the size of the object to be detected or the distance to the object according to the reliability. For example, in an area where the reliability is "low”, the recognition processing unit 70 detects, among objects on the road, objects whose height is greater than the error included in the parallax of the road.
  • the recognition processing unit 70 detects a subject whose height is larger than the error included in the parallax of the road surface in the road surface area where the reliability is "low", and detects the object whose height is larger than the error included in the road surface parallax in the road surface area where the reliability is "high". , subjects whose height is smaller than the road surface area with "high” reliability are also detected. In this way, the recognition processing unit 70 can change the size of the object to be detected or the distance to the object depending on the reliability. As for the method of object detection itself, the recognition processing unit 70 can employ a known method.
  • the parallax image 130 and the reliability image 150 are input to the recognition processing unit 70 in a manner that corresponds to each other pixel by pixel. That is, parallax, reliability, and label information are input to the recognition processing unit 70 in association with each other for each pixel.
  • the recognition processing unit 70 can, for example, re-label a pixel whose reliability does not meet the standard after the fact or recalculate the reliability after the fact. That is, the recognition processing unit 70 can reconsider the data (reliability or label) acquired at the stage before object detection, and can improve the accuracy of object detection.
  • FIG. 7 is a flowchart showing the operation of the image processing device 20.
  • step S11 the parallax calculation unit 30 of the image processing device 20 generates a parallax image 130 from the left image 111 and the right image 112.
  • step S12 the labeling unit 40 of the image processing device 20 classifies the subject using the right image 112 and the parallax image 130, and generates a label image 140 by assigning a label to each pixel of the subject.
  • step S13 the reliability calculation unit 50 of the image processing device 20 calculates the reliability of parallax for each label using the reliability table 51, and generates the reliability image 150.
  • step S14 the parallax correction unit 60 of the image processing device 20 corrects parallaxes whose reliability does not meet the standard.
  • step S15 the recognition processing unit 70 of the image processing device 20 performs object detection using the parallax image 130, the reliability image 150, the right image 112, and the left image 111. Thereafter, the image processing device 20 performs a process according to the object detection result, such as transmitting a signal to the vehicle control device to issue an alarm or activate an automatic emergency brake, and ends this process.
  • FIG. 8 is a flowchart showing the processing performed by the reliability calculation unit 50.
  • FIG. 9 is a diagram showing an example of the structure of data written to one pixel of the reliability image 150.
  • the X coordinate value indicates the horizontal coordinate value of the label image 140 and the reliability image 150.
  • step S23 the reliability calculation unit 50 reads the label number of the coordinates (X, Y) from the label image 140 one pixel at a time.
  • step S24 the reliability calculation unit 50 obtains the reliability of the parallax associated with the label number from the reliability table 51.
  • step S25 the reliability calculation unit 50 writes the label number and reliability at the coordinates (X, Y) of the reliability image 150.
  • the data written at this time is structured as shown in FIG. 9, for example.
  • one pixel of data to be written has 8 bits, bits 0 to 3 are composed of reliability levels, and bits 4 to 7 are composed of label numbers.
  • step S27 the reliability calculation unit 50 determines whether the X coordinate value has reached the maximum value.
  • the maximum value of the X coordinate value indicates the coordinate value of the horizontal end of the label image 140 and the reliability image 150.
  • the reliability calculation unit 50 moves to step S28. If the X coordinate value has not reached the maximum value, the reliability calculation unit 50 moves to step S23.
  • step S29 the reliability calculation unit 50 determines whether the Y coordinate value has reached the maximum value.
  • the maximum value of the Y coordinate value indicates the coordinate value of the vertical end of the label image 140 and the reliability image 150. When the Y coordinate value reaches the maximum value, the reliability calculation unit 50 ends this process. If the Y coordinate value has not reached the maximum value, the reliability calculation unit 50 moves to step S22.
  • FIG. 10 is a flowchart showing the processing performed by the interpolation unit 61.
  • FIG. 11 is a diagram illustrating step S34 shown in FIG. 10. In FIGS. 10 and 11, an example will be described in which a road surface between the preceding vehicle and the host vehicle is processed by the interpolation unit 61.
  • step S31 the interpolation unit 61 determines whether there is a preceding vehicle in the reliability image 150. If there is a preceding vehicle, the interpolation unit 61 moves to step S32. If there is no preceding vehicle, the interpolation unit 61 ends this process.
  • step S32 the interpolation unit 61 determines whether there is an area where the reliability is "low” or "invalid” on the road surface between the preceding vehicle and the host vehicle. If there is an area with "low” or “invalid” reliability, the interpolation unit 61 moves to step S33. If there is no area with "low” or “invalid” reliability, the interpolation unit 61 ends this process.
  • step S33 the interpolation unit 61 determines whether there is a past image (label image 140 or reliability image 150) that shows a preceding vehicle traveling in an area with a "low” or “invalid" reliability. If there is a past image that shows a preceding vehicle, the interpolation unit 61 proceeds to step S34. If there is no past image that shows a preceding vehicle, the interpolation unit 61 ends this process.
  • step S34 the interpolation unit 61 interpolates the parallax whose reliability is "low” or “invalid” in units of raster using the parallax of the road surface whose reliability is "high”. After step S34, the interpolation unit 61 ends this process.
  • the interpolation unit 61 performs interpolation using the parallax of the road surface 300 adjacent to the area 310 and having a "high" reliability. Specifically, the interpolation unit 61 converts the parallaxes B to E of the pixels 311 to 314 constituting the area 310 to the parallax A of the pixel 301 of the road surface 300 adjacent to the pixel 311 in the horizontal direction, and the parallax of the pixel 314. Interpolation is performed using the parallax F of the pixels 302 of the road surface 300 that are laterally adjacent to each other.
  • Interpolation unit 61 calculates equation (1).
  • Interpolated value (parallax F - parallax A) / (X coordinate value of pixel 302 - X coordinate value of pixel 301)...(1)
  • the interpolation unit 61 calculates equation (2).
  • Parallax B Parallax A + Interpolation value ⁇ (X coordinate value of pixel 311 - X coordinate value of pixel 301)...(2)
  • Parallaxes C to E are also calculated in the same manner as in equation (2).
  • the interpolation unit 61 can interpolate the parallax whose reliability is "low” or "invalid” using the parallax of the road surface whose reliability is "high".
  • FIG. 12 is a flowchart showing the processing performed by the recalculation unit 62.
  • Coordinates (X, Y) indicate the position of each pixel in the reliability image 150 and the parallax image 130.
  • the Y coordinate value indicates the vertical coordinate value of the reliability image 150 and the parallax image 130.
  • the X coordinate value indicates the horizontal coordinate value of the reliability image 150 and the parallax image 130.
  • step S43 the recalculation unit 62 reads the reliability of the coordinates (X, Y) pixel by pixel from the reliability image 150.
  • step S44 the recalculation unit 62 determines whether the reliability is “medium” or “low”. If the reliability is “medium” or “low”, the recalculation unit 62 moves to step S45. If the reliability is not “medium” or “low”, the recalculation unit 62 moves to step S46.
  • step S44 The case where the reliability is not "medium” or “low” in step S44 includes the case where the reliability is "high” and the case where it is "invalid". If the reliability is "high”, parallax correction is not necessary, and the recalculation unit 62 moves to step S46. If the reliability is "invalid”, there is a low possibility that a parallax with a "high” reliability will be calculated even if the recalculation is performed, so the recalculation unit 62 proceeds to step S46 to suspend the parallax correction. Transition.
  • step S45 the recalculation unit 62 recalculates the parallax of the coordinates (X, Y) using a method different from that of the parallax calculation unit 30.
  • the recalculation unit 62 recalculates the parallax using, for example, stereo matching.
  • step S47 the recalculation unit 62 determines whether the X coordinate value has reached the maximum value.
  • the maximum value of the X coordinate value indicates the coordinate value of the lateral end of the reliability image 150 and the parallax image 130.
  • the recalculation unit 62 moves to step S48. If the X coordinate value has not reached the maximum value, the recalculation unit 62 moves to step S43.
  • step S49 the recalculation unit 62 determines whether the Y coordinate value has reached the maximum value.
  • the maximum value of the Y coordinate value indicates the coordinate value of the end of the reliability image 150 and the parallax image 130 in the vertical direction.
  • the recalculation unit 62 ends this process. If the Y coordinate value has not reached the maximum value, the recalculation unit 62 moves to step S42.
  • the image processing device 20 of this embodiment includes the parallax calculation unit 30 that calculates the parallax of the images 111 and 112 taken by the plurality of cameras 11 and 12, and the parallax calculation unit 30 that calculates the parallax of the images 111 and 112 that are captured by the plurality of cameras 11 and 12. , a labeling section 40 that assigns a label according to the type of the classified object to each pixel of the object; a reliability calculation section 50 that calculates the reliability of parallax for each assigned label; A parallax correction unit 60 that corrects parallax accordingly.
  • the image processing device 20 of the present embodiment calculates the reliability of parallax that changes on a pixel-by-pixel basis depending on the situation of the captured images 111 and 112, and clarifies inaccurate parallax on a pixel-by-pixel basis. Can be done. Therefore, the image processing device 20 of this embodiment can correct parallax according to the situation of the captured images 111 and 112, and therefore can calculate accurate parallax. Therefore, according to this embodiment, it is possible to provide an image processing device that can accurately calculate parallax.
  • the parallax correction unit 60 includes a recalculation unit 62 that recalculates parallax whose reliability does not meet the standard using a method different from that of the parallax calculation unit 30.
  • the image processing device 20 of the present embodiment can calculate the parallax using a plurality of calculation methods, so even if an error occurs in the parallax due to the characteristics of one calculation method, the image processing device 20 of the present embodiment can calculate the parallax using a plurality of calculation methods. Parallax can be compensated for. Therefore, the image processing device 20 of this embodiment can calculate more accurate parallax.
  • the disparity calculation unit 30 calculates the disparity using a neural network model in which the images 111 and 112 are set in the input layer and the disparity is set in the output layer, and performs re-computation.
  • the calculation unit 62 recalculates the parallax by stereo matching.
  • the image processing device 20 of the present embodiment can compensate for the parallax by stereo matching even if an error occurs in the parallax due to the characteristics of the calculation method using the neural network model. Therefore, the image processing device 20 of this embodiment can calculate more accurate parallax.
  • the parallax correction unit 60 has an interpolation unit 61 that interpolates parallax whose reliability does not meet a standard based on the parallax calculated for the previously captured images 111 and 112.
  • the image processing device 20 of this embodiment interpolates the parallax from the parallax of the images 111, 112 taken in the past even if the situation of the images 111, 112 taken currently is not suitable for calculating the parallax. It is possible to interpolate the parallax by determining the validity of this. Therefore, the image processing device 20 of this embodiment can calculate more accurate parallax.
  • the labeling unit 40 verifies the consistency between the classified object type and the label given to the object based on the parallax.
  • the image processing device 20 of the present embodiment is able to add labels more accurately, and therefore can accurately calculate reliability. Therefore, the image processing device 20 of this embodiment can calculate more accurate parallax.
  • the reliability calculation unit 50 calculates reliability using a reliability table 51 that shows the correspondence between labels and reliability.
  • the image processing device 20 of this embodiment can reduce the amount of calculation for calculating the reliability, and therefore can easily calculate the reliability even with a simple configuration. Therefore, the image processing device 20 of this embodiment can easily calculate accurate parallax.
  • the image processing device 20 of this embodiment includes a recognition processing unit 70 that detects objects around the vehicle in which the plurality of cameras 11 and 12 are mounted based on the corrected parallax, reliability, and images 111 and 112. Furthermore, the recognition processing unit 70 changes the size of the object to be detected or the distance to the object depending on the reliability.
  • the image processing device 20 of the present embodiment can exclude from detection targets a subject having a parallax whose reliability does not meet the standard. Therefore, the image processing device 20 of this embodiment can calculate accurate parallax and can suppress false detection of objects.
  • information on parallax, reliability, and label is input to the recognition processing unit 70 in association with each other for each pixel.
  • the image processing device 20 of the present embodiment can reconsider the reliability and label acquired in the pre-object detection stage, thereby improving the accuracy of object detection. Therefore, the image processing device 20 of this embodiment can calculate accurate parallax and improve the accuracy of object detection.
  • the present invention is not limited to the above embodiments, and includes various modifications.
  • the above embodiments have been described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to having all the configurations described.
  • each of the above-mentioned configurations, functions, processing units, processing means, etc. may be partially or entirely realized by hardware, for example, by designing an integrated circuit. Further, each of the above-mentioned configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function. Information such as programs, tapes, and files that implement each function can be stored in a memory, a recording device such as a hard disk, an SSD (solid state drive), or a recording medium such as an IC card, SD card, or DVD.
  • a recording device such as a hard disk, an SSD (solid state drive), or a recording medium such as an IC card, SD card, or DVD.
  • control lines and information lines are shown that are considered necessary for explanation, and not all control lines and information lines are necessarily shown in the product. In reality, almost all components may be considered to be interconnected.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

正確な視差を演算することが可能な画像処理装置を提供することを目的とする。画像処理装置２０は、複数のカメラ１１，１２によって撮影された画像１１１，１１２の視差を演算する視差演算部３０と、画像１１１，１１２に写る被写体を分類し、分類された被写体の種類に応じたラベルを被写体の画素毎に付与するラベリング部４０と、付与されたラベル毎に視差の信頼度を算出する信頼度算出部５０と、算出された信頼度に応じて視差を補正する視差補正部６０と、を備える。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　車両の走行安全性を向上させるため、車両に搭載されたセンサ等によって車両周辺の物体を検知するシステムが研究されている。この種のシステムは、物体に衝突する可能性がある場合には、ドライバに警報を報知したり、自動緊急ブレーキを作動させたりする。
　車両周辺を監視するセンサとして、ミリ波レーダ、レーザレーダ又はカメラ等がある。カメラの種類としては、単眼カメラ、又は、複数のカメラを有するステレオカメラがある。ステレオカメラは、所定間隔をあけて配置された２つのカメラによって撮影された画像の重複領域の視差を利用し、物体までの距離を計測することができる。したがって、ステレオカメラは、物体との衝突危険度を的確に把握することができる。
　ステレオカメラは、複数のカメラによって撮影された画像の視差を演算し、演算された視差を距離に変換することから、正確な視差を演算できることが望ましい。正確な視差を演算する技術として、例えば特許文献１がある。
　特許文献１には、対象物を撮像する撮像手段と、前記撮像手段で撮像した一対の画像の小領域毎に、互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、ステレオマッチング処理結果である評価関数、該評価関数に基づいて得られる前記対象物までの距離情報及びその信頼度を示す信頼度情報を取得するステレオ処理手段と、前記信頼度に応じて対象となる小領域の周辺に再探索範囲を設定し、前記再探索範囲内の小領域について求めた前記評価関数に基づいて、前記対象となる小領域について求めた評価関数を修正して修正評価関数を求め、求めた修正評価関数に基づいて距離情報を補正する視差補正手段とを備えたことを特徴とするステレオ画像処理装置が開示されている。
特開２００６－９０８９６号公報
　特許文献１に開示された装置は、ステレオマッチングにおいて設定されるマッチングブロック単位で求めた評価関数を修正することによって、視差を補正している。したがって、特許文献１に開示された装置では、撮影された画像の状況によっては、補正された視差であっても大きな誤差を含んでいる可能性があり、改善の余地がある。
　本発明は、上記に鑑みてなされたものであり、正確な視差を演算することが可能な画像処理装置を提供することを目的とする。
　上記課題を解決するために、本発明の画像処理装置は、複数のカメラによって撮影された画像の視差を演算する視差演算部と、前記画像に写る被写体を分類し、分類された前記被写体の種類に応じたラベルを前記被写体の画素毎に付与するラベリング部と、付与された前記ラベル毎に前記視差の信頼度を算出する信頼度算出部と、算出された前記信頼度に応じて前記視差を補正する視差補正部と、を備えることを特徴とする。
　本発明によれば、正確な視差を演算することが可能な画像処理装置を提供することができる。
　上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本実施形態の画像処理装置を備えるステレオカメラ装置の構成を示す図。 視差画像を示す図。 ラベル画像を示す図。 オクルージョン部分を説明する図。 信頼度テーブルを示す図。 信頼度画像を示す図。 画像処理装置の動作を示すフローチャート。 信頼度算出部によって行われる処理を示すフローチャート。 信頼度画像の一画素に書き込まれるデータの構成例を示す図。 補間部によって行われる処理を示すフローチャート。 図１０に示すステップＳ３４を説明する図。 再演算部によって行われる処理を示すフローチャート。
　以下、本発明の実施形態について図面を用いて説明する。なお、各実施形態において同一の符号を付された構成については、特に言及しない限り、各実施形態において同様の機能を有し、その説明を省略する。
　図１は、本実施形態の画像処理装置２０を備えるステレオカメラ装置１の構成を示す図である。図２は、視差画像１３０を示す図である。図３は、ラベル画像１４０を示す図である。図４は、オクルージョン部分２４１を説明する図である。図５は、信頼度テーブル５１を示す図である。図６は、信頼度画像１５０を示す図である。
　ステレオカメラ装置１は、車両に搭載され、車両周辺を監視するセンサの一種である。ステレオカメラ装置１は、水平方向に所定間隔をあけて配置された複数のカメラ１１，１２によって撮影された画像１１１，１１２の重複領域の視差を利用して、車両周辺の物体の検知及び物体までの距離計測を行う。
　図１に示すステレオカメラ装置１は、左カメラ１１及び右カメラ１２と、左カメラ１１によって撮影された左画像１１１、及び、右カメラ１２によって撮影された右画像１１２の画像処理等を行う画像処理装置２０と、を備える。
　画像処理装置２０は、例えば、ＣＰＵ等のプロセッサとＲＯＭ及びＲＡＭ等の記憶装置とを備えたコンピュータによって構成される。画像処理装置２０は、ＲＯＭに記憶されたプログラムをＣＰＵが実行することによって画像処理装置２０の各種機能を実現する。
　画像処理装置２０は、視差演算部３０と、ラベリング部４０と、信頼度算出部５０と、視差補正部６０と、認識処理部７０と、を備える。
　視差演算部３０は、左カメラ１１及び右カメラ１２によって撮影された左画像１１１及び右画像１１２の視差を画素毎に演算する。本実施形態の視差演算部３０は、ニューラルネットワークモデルを有する。ニューラルネットワークモデルの入力層には、左画像１１１及び右画像１１２が設定される。ニューラルネットワークモデルの出力層には、左画像１１１及び右画像１１２の視差が設定される。ニューラルネットワークモデルの中間層には、各ニューロンの重みとバイアスと活性化関数とが設定される。ニューラルネットワークモデルは、誤差逆伝播法等を用いて、各ニューロンの重みとバイアスとを機械学習することによって構築されて、視差演算部３０に予め組み込まれている。当該機械学習は教師あり学習であってもよい。なお、視差演算部３０は、ニューラルネットワークモデル以外の機械学習によって構築されたモデルを有していてもよい。視差演算部３０が有するモデルは、例えば、オプティカルフローモデルであってもよい。
　視差演算部３０は、演算された視差が各画素に格納された視差画像１３０を生成する。視差画像１３０は、例えば図２に示すように、右画像１１２の各画素に対応する視差が、右画像１１２の各画素に格納された画像として生成される。図２に示す視差画像１３０は、色が濃いほど視差が大きく近距離であることを示している。
　ラベリング部４０は、右画像１１２に写る被写体を分類し、分類された被写体の種類に応じたラベルを被写体の画素毎に付与する。ラベリング部４０は、ニューラルネットワークモデルを用いて被写体の分類及びラベルの付与を行うことができる。本実施形態のラベリング部４０は、パノプティックセグメンテーション（Panoptic Segmentation）によって、被写体の分類及びラベルの付与を行う。パノプティックセグメンテーションの処理概要は、Ｋｉｒｉｌｌｏｖらの論文である”Ｐａｎｏｐｔｉｃ Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓ”，２０１９ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣＶＰＲに紹介されている。ラベリング部４０は、当該論文を援用することができる。
　ラベリング部４０は、例えば図３に示すように、学習されたラベルの情報に従って、右画像１１２に写る被写体を、路面２１０、水溜まり２２０、側溝２３０、車両２４０、車両２５０、ゼブラゾーン２６０のように画素単位で分類する。そして、ラベリング部４０は、被写体毎に割り当てられたラベルのラベル番号を被写体の画素毎に書き込む。このようにして、ラベリング部４０は、各画素にラベル番号が格納されたラベル画像１４０を生成する。
　また、右カメラ１２によって撮影されるエリアにおいて左カメラ１１には死角になり撮影されない部分が生じる場合がある。このようなオクルージョン部分２４１では正確な視差が演算できないので、視差が無効であることを明示する必要がある。ラベリング部４０は、オクルージョン部分２４１を特定するために、次のような処理を行う。例えば、図４に示すように、右画像１１２及び左画像１１１では、車両２４０と車両２５０との重なり具合が異なっており、オクルージョン部分２４１が左画像１１１には撮影されていないとする。この場合、ラベリング部４０は、車両２４０及び車両２５０の視差を比較して、視差が大きい被写体である車両２４０の右側に存在する領域をオクルージョン部分２４１として特定する。オクルージョン部分２４１の横幅は、車両２４０の視差と車両２５０の視差との差分の画素数となる。
　また、ラベリング部４０は、視差演算部３０により演算された視差に基づいて、分類された被写体の種類と当該被写体に付与されたラベルとの整合性を検証することができる。例えば、人物像の写真が貼られた看板が被写体の場合、被写体を構成する画素群の各視差は、当該画素群において略一定又は線形的に変化する値を示し、被写体は平面であると認識される。一方、実際の人物が被写体の場合、被写体を構成する画素群の各視差は、当該画素群において非線形的に変化する値を示し、被写体は立体であると認識される。このようなことから、ラベリング部４０は、右画像１１２だけでなく視差画像１３０を用いることによって、分類された被写体の種類と当該被写体に付与されたラベルとの整合性を検証することができる。
　信頼度算出部５０は、ラベリング部４０により付与されたラベル毎に視差の信頼度を算出する。信頼度は、視差の値に含まれる誤差の大きさを数値化した指標である。視差の値に含まれる誤差が小さくなると、信頼度は高くなる。本実施形態では、視差の値に含まれる誤差が２０％以上なら信頼度は「低」、当該誤差が１０％以上２０％未満なら信頼度は「中」、当該誤差が１０％未満なら信頼度は「高」であるとする。
　画像１１１，１１２画像が撮影された車両周辺の状況によっては、視差に誤差が生じて正確な視差が演算されない場合がある。不正確な視差をそのまま用いて認識処理を行うと、物体の誤検知又は検知不能となる事態が生じる可能性がある。そこで、信頼度算出部５０は、視差が不正確であると想定される被写体を明確化するために、信頼度を算出する。
　信頼度算出部５０は、予め作成された信頼度テーブル５１を用いて視差の信頼度を算出する。信頼度テーブル５１は、図５に示すように、ラベルと信頼度との対応関係を示すテーブルである。図５に示す信頼度テーブル５１において、信頼度の項目が「０」の場合は信頼度が「無効」であることを示し、信頼度の項目が「１」の場合は信頼度が「低」であることを示し、信頼度の項目が「２」の場合は信頼度が「中」であることを示し、信頼度の項目が「３」の場合は信頼度が「高」であることを示す。
　信頼度算出部５０は、信頼度テーブル５１を参照し、ラベリング部４０によって付与されたラベルに対応する信頼度を特定する。そして、信頼度算出部５０は、特定された信頼度を、当該ラベルが付与された被写体の画素毎に書き込む。このようにして、信頼度算出部５０は、図６に示すような、各画素にラベル番号及び信頼度が格納された信頼度画像１５０を生成する。
　視差補正部６０は、信頼度算出部５０により算出された信頼度に応じて視差を補正する。視差補正部６０は、補間部６１と、再演算部６２と、を有する。
　補間部６１は、過去に撮影された画像１１１，１１２に対して演算された視差に基づいて、信頼度が基準に満たない視差を補間する。補間部６１は、信頼度が基準に満たない視差を補間することによって、視差画像１３０を補正することができる。本実施形態の補間部６１は、過去に撮影された画像１１１，１１２に対して演算された視差に基づいて信頼度が「低」又は「無効」の視差を補間するか否かを判定し、補間すると判定された場合には信頼度が「高」の視差を用いて「低」又は「無効」の視差を補間する。例えば、現在撮影された画像１１１，１１２に対して演算された信頼度が「低」又は「無効」のエリアが、過去に撮影された画像１１１，１１２では信頼度が「高」と演算されているとする。この場合、本実施形態の補間部６１は、当該エリアの信頼度が「低」又は「無効」の視差を補間すると判定し、当該エリアに隣接する信頼度が「高」の視差を用いて、当該エリアの信頼度が「低」又は「無効」の視差を補間する。
　再演算部６２は、信頼度が基準に満たない視差を、視差演算部３０とは異なる方式を用いて再演算する。再演算部６２は、信頼度が基準に満たない視差を再演算された視差と置換することによって、視差画像１３０を補正することができる。本実施形態の再演算部６２は、信頼度が「中」又は「低」である視差を、例えば、ステレオマッチングによって再演算する。本実施形態の再演算部６２は、補間部６１によって補間後の視差を再演算の対象としてもよい。なお、視差演算部３０がステレオマッチングによって視差を演算する場合、再演算部６２はニューラルネットワークモデルを用いて視差を再演算してもよい。
　認識処理部７０は、視差補正部６０により補正された視差、信頼度算出部５０により算出された信頼度、及び、画像１１１，１１２に基づいて、車両周辺の物体を検知する。具体的には、認識処理部７０は、補正された視差画像１３０、信頼度画像１５０、左画像１１１及び右画像１１２を用いて、車両周辺の物体を検知する。
　例えば、信頼度が「高」の路面のエリアは、正確な視差を有しており、路面上の小さな被写体も検知可能である。一方、信頼度が「低」の路面のエリアは、路面上の小さな被写体と視差に含まれる誤差との区別が困難である。そこで、信頼度が「低」のエリアにおいて誤検知を回避するために、認識処理部７０は、検知対象とする被写体の大きさ又は被写体までの距離を、信頼度に応じて変更する。例えば、認識処理部７０は、信頼度が「低」のエリアでは、路面上の被写体のうち、路面の視差に含まれる誤差よりも大きい背丈を有する被写体を検知対象とする。被写体の背丈が高いことは、当該被写体として撮影された物体が、カメラ１１，１２に近い位置にあるか、所定値より高い背丈を有するかの場合である。よって、認識処理部７０は、信頼度が「低」の路面のエリアでは、路面の視差に含まれる誤差よりも大きい背丈を有する被写体を検知対象とし、信頼度が「高」の路面のエリアでは、信頼度が「高」の路面のエリアよりも小さい背丈を有する被写体まで検知対象とする。このようにして、認識処理部７０は、検知対象とする被写体の大きさ又は被写体までの距離を、信頼度に応じて変更することができる。物体検知自体の手法については、認識処理部７０は公知の手法を採用することができる。
　なお、認識処理部７０には、視差画像１３０及び信頼度画像１５０が画素毎に互いに対応付けて入力される。すなわち、認識処理部７０には、視差、信頼度及びラベルの情報が画素毎に互いに対応付けて入力される。これにより、認識処理部７０が、例えば信頼度が基準に満たない画素に対して事後的にラベルを再付与したり、事後的に信頼度を再算出したりすることができる。すなわち、認識処理部７０は、物体検知の前段階で取得されるデータ（信頼度又はラベル）を改めて見直すことができ、物体検知の確度を向上させることができる。
　図７は、画像処理装置２０の動作を示すフローチャートである。
　ステップＳ１１において、画像処理装置２０の視差演算部３０は、左画像１１１及び右画像１１２から視差画像１３０を生成する。
　ステップＳ１２において、画像処理装置２０のラベリング部４０は、右画像１１２及び視差画像１３０を用いて被写体を分類し、被写体の画素毎にラベルを付与してラベル画像１４０を生成する。
　ステップＳ１３において、画像処理装置２０の信頼度算出部５０は、信頼度テーブル５１を用いてラベル毎に視差の信頼度を算出し、信頼度画像１５０を生成する。
　ステップＳ１４において、画像処理装置２０の視差補正部６０は、信頼度が基準に満たない視差を補正する。
　ステップＳ１５において、画像処理装置２０の認識処理部７０は、視差画像１３０、信頼度画像１５０、右画像１１２及び左画像１１１を用いて物体検知を行う。その後、画像処理装置２０は、物体検知結果に応じた処理として、例えば警報の報知又は自動緊急ブレーキの作動を促す信号を車両制御装置に送信する処理等を行い、本処理を終了する。
　図８は、信頼度算出部５０によって行われる処理を示すフローチャートである。図９は、信頼度画像１５０の一画素に書き込まれるデータの構成例を示す図である。
　ステップＳ２１において、信頼度算出部５０は、ラベル画像１４０及び信頼度画像１５０にアクセス（読み込み及び書き込み）するための座標（Ｘ，Ｙ）のＹ座標値を初期化する（Ｙ＝０）。座標（Ｘ，Ｙ）は、ラベル画像１４０及び信頼度画像１５０の各画素の位置を示す。Ｙ座標値は、ラベル画像１４０及び信頼度画像１５０の縦方向の座標値を示す。
　ステップＳ２２において、信頼度算出部５０は、座標（Ｘ，Ｙ）のＸ座標値を初期化する（Ｘ＝０）。Ｘ座標値は、ラベル画像１４０及び信頼度画像１５０の横方向の座標値を示す。
　ステップＳ２３において、信頼度算出部５０は、ラベル画像１４０から座標（Ｘ，Ｙ）のラベル番号を一画素ずつ読み込む。
　ステップＳ２４において、信頼度算出部５０は、ラベル番号に対応付けられた視差の信頼度を信頼度テーブル５１から取得する。
　ステップＳ２５において、信頼度算出部５０は、ラベル番号及び信頼度を信頼度画像１５０の座標（Ｘ，Ｙ）に書き込む。この時に書き込まれるデータは、例えば図９に示すように構成される。図９に例では、書き込まれるデータは、一画素が８ビットであり、ｂｉｔ０からｂｉｔ３までは信頼度によって構成され、ｂｉｔ４からｂｉｔ７まではラベル番号によって構成される。
　ステップＳ２６において、信頼度算出部５０は、Ｘ座標値を更新する（Ｘ＝Ｘ＋１）。
　ステップＳ２７において、信頼度算出部５０は、Ｘ座標値が最大値に到達したか否かを判定する。Ｘ座標値の最大値は、ラベル画像１４０及び信頼度画像１５０の横方向端部の座標値を示す。Ｘ座標値が最大値に到達した場合、信頼度算出部５０は、ステップＳ２８に移行する。Ｘ座標値が最大値に到達していない場合、信頼度算出部５０は、ステップＳ２３に移行する。
　ステップＳ２８において、信頼度算出部５０は、Ｙ座標値を更新する（Ｙ＝Ｙ＋１）。
　ステップＳ２９において、信頼度算出部５０は、Ｙ座標値が最大値に到達したか否かを判定する。Ｙ座標値の最大値は、ラベル画像１４０及び信頼度画像１５０の縦方向端部の座標値を示す。Ｙ座標値が最大値に到達した場合、信頼度算出部５０は、本処理を終了する。Ｙ座標値が最大値に到達していない場合、信頼度算出部５０は、ステップＳ２２に移行する。
　図１０は、補間部６１によって行われる処理を示すフローチャートである。図１１は、図１０に示すステップＳ３４を説明する図である。図１０及び図１１では、先行車と自車との間の路面を補間部６１の処理対象とする場合を例に挙げて説明する。
　ステップＳ３１において、補間部６１は、信頼度画像１５０において先行車が有るか否かを判定する。先行車が有る場合、補間部６１は、ステップＳ３２に移行する。先行車が無い場合、補間部６１は、本処理を終了する。
　ステップＳ３２において、補間部６１は、先行車と自車との間の路面に信頼度が「低」又は「無効」のエリアが有るか否かを判定する。信頼度が「低」又は「無効」のエリアが有る場合、補間部６１は、ステップＳ３３に移行する。信頼度が「低」又は「無効」のエリアが無い場合、補間部６１は、本処理を終了する。
　ステップＳ３３において、補間部６１は、信頼度が「低」又は「無効」のエリアを走行する先行車が写った過去の画像（ラベル画像１４０又は信頼度画像１５０）が有るか否かを判定する。先行車が写った過去の画像が有る場合、補間部６１は、ステップＳ３４に移行する。先行車が写った過去の画像が無い場合、補間部６１は、本処理を終了する。
　ステップＳ３４において、補間部６１は、信頼度が「低」又は「無効」の視差を、信頼度が「高」である路面の視差を用いて、ラスター単位で補間する。ステップＳ３４の後、補間部６１は、本処理を終了する。
　例えば、図１１に示すように、先行車と自車との間の路面に信頼度が「低」又は「無効」のエリア３１０（例えば水溜まりのエリア）が有ったとする。この場合、補間部６１は、エリア３１０に隣接する信頼度が「高」である路面３００の視差を用いて補間する。具体的には、補間部６１は、エリア３１０を構成する画素３１１～３１４の視差Ｂ～Ｅを、画素３１１に対して横方向に隣接する路面３００の画素３０１の視差Ａと、画素３１４に対して横方向に隣接する路面３００の画素３０２の視差Ｆとを用いて補間する。
　まず、補間部６１は、式（１）を計算する。
　補間値＝（視差Ｆ－視差Ａ）／（画素３０２のＸ座標値－画素３０１のＸ座標値）…（１）
　次に、補間部６１は、式（２）を計算する。
　視差Ｂ＝視差Ａ＋補間値×（画素３１１のＸ座標値－画素３０１のＸ座標値）…（２）
　視差Ｃ～Ｅについても、式（２）と同様に計算する。以上の計算をラスター単位で行うことによって、補間部６１は、信頼度が「低」又は「無効」の視差を、信頼度が「高」である路面の視差を用いて補間することができる。
　図１２は、再演算部６２によって行われる処理を示すフローチャートである。
　ステップＳ４１において、再演算部６２は、信頼度画像１５０及び視差画像１３０にアクセス（読み込み及び書き込み）するための座標（Ｘ，Ｙ）のＹ座標値を初期化する（Ｙ＝０）。座標（Ｘ，Ｙ）は、信頼度画像１５０及び視差画像１３０の各画素の位置を示す。Ｙ座標値は、信頼度画像１５０及び視差画像１３０の縦方向の座標値を示す。
　ステップＳ４２において、再演算部６２は、座標（Ｘ，Ｙ）のＸ座標値を初期化する（Ｘ＝０）。Ｘ座標値は、信頼度画像１５０及び視差画像１３０の横方向の座標値を示す。
　ステップＳ４３において、再演算部６２は、信頼度画像１５０から座標（Ｘ，Ｙ）の信頼度を一画素ずつ読み込む。
　ステップＳ４４において、再演算部６２は、信頼度が「中」又は「低」であるか否かを判定する。信頼度が「中」又は「低」である場合、再演算部６２は、ステップＳ４５に移行する。信頼度が「中」又は「低」でない場合、再演算部６２は、ステップＳ４６に移行する。
　ステップＳ４４において信頼度が「中」又は「低」でない場合とは、信頼度が「高」である場合と「無効」である場合とを含む。信頼度が「高」である場合は視差の補正が不要であるので、再演算部６２は、ステップＳ４６に移行する。信頼度が「無効」である場合は再演算しても信頼度が「高」の視差が演算される可能性が低いので、再演算部６２は、視差の補正を保留するべく、ステップＳ４６に移行する。なお、信頼度が「無効」と算出された視差を有する画素についても、次回撮影される画像１１１，１１２において信頼度が「高」の視差が演算される可能性が十分に有るので、再演算部６２が視差の補正を保留しても問題にはならない。
　ステップＳ４５において、再演算部６２は、座標（Ｘ，Ｙ）の視差を、視差演算部３０とは異なる方式を用いて再演算する。視差演算部３０がニューラルネットワークモデルを用いて視差を演算する場合、再演算部６２は、例えばステレオマッチングによって視差を再演算する。
　ステップＳ４６において、再演算部６２は、Ｘ座標値を更新する（Ｘ＝Ｘ＋１）。
　ステップＳ４７において、再演算部６２は、Ｘ座標値が最大値に到達したか否かを判定する。Ｘ座標値の最大値は、信頼度画像１５０及び視差画像１３０の横方向端部の座標値を示す。Ｘ座標値が最大値に到達した場合、再演算部６２は、ステップＳ４８に移行する。Ｘ座標値が最大値に到達していない場合、再演算部６２は、ステップＳ４３に移行する。
　ステップＳ４８において、再演算部６２は、Ｙ座標値を更新する（Ｙ＝Ｙ＋１）。
　ステップＳ４９において、再演算部６２は、Ｙ座標値が最大値に到達したか否かを判定する。Ｙ座標値の最大値は、信頼度画像１５０及び視差画像１３０の縦方向端部の座標値を示す。Ｙ座標値が最大値に到達した場合、再演算部６２は、本処理を終了する。Ｙ座標値が最大値に到達していない場合、再演算部６２は、ステップＳ４２に移行する。
　以上のように、本実施形態の画像処理装置２０は、複数のカメラ１１，１２によって撮影された画像１１１，１１２の視差を演算する視差演算部３０と、画像１１１，１１２に写る被写体を分類し、分類された被写体の種類に応じたラベルを被写体の画素毎に付与するラベリング部４０と、付与されたラベル毎に視差の信頼度を算出する信頼度算出部５０と、算出された信頼度に応じて視差を補正する視差補正部６０と、を備える。
　これにより、本実施形態の画像処理装置２０は、撮影された画像１１１，１１２の状況に応じて変化する視差の信頼度を画素単位で算出し、不正確な視差を画素単位で明確化することができる。したがって、本実施形態の画像処理装置２０は、撮影された画像１１１，１１２の状況に応じて視差を補正することができるので、正確な視差を演算することができる。よって、本実施形態によれば、正確な視差を演算することが可能な画像処理装置を提供することができる。
　更に、本実施形態の画像処理装置２０において、視差補正部６０は、信頼度が基準に満たない視差を、視差演算部３０とは異なる方式を用いて再演算する再演算部６２を有する。
　これにより、本実施形態の画像処理装置２０は、複数の演算方式によって視差を演算することができるので、一方の演算方式の特性に起因して視差に誤差が生じても、他方の演算方式によって視差を補償することができる。したがって、本実施形態の画像処理装置２０は、更に正確な視差を演算することができる。
　更に、本実施形態の画像処理装置２０において、視差演算部３０は、画像１１１，１１２が入力層に設定されると共に視差が出力層に設定されたニューラルネットワークモデルを用いて視差を演算し、再演算部６２は、ステレオマッチングによって視差を再演算する。
　これにより、本実施形態の画像処理装置２０は、ニューラルネットワークモデルを用いた演算方式の特性に起因して視差に誤差が生じても、ステレオマッチングによって視差を補償することができる。したがって、本実施形態の画像処理装置２０は、更に正確な視差を演算することができる。
　更に、本実施形態の画像処理装置２０において、視差補正部６０は、過去に撮影された画像１１１，１１２に対して演算された視差に基づいて、信頼度が基準に満たない視差を補間する補間部６１を有する。
　これにより、本実施形態の画像処理装置２０は、現在撮影された画像１１１，１１２の状況が視差の演算に適さなくても、過去に撮影された画像１１１，１１２の視差から、視差を補間することの妥当性を判断して視差を補間することができる。したがって、本実施形態の画像処理装置２０は、更に正確な視差を演算することができる。
　更に、本実施形態の画像処理装置２０において、ラベリング部４０は、視差に基づいて、分類された被写体の種類と当該被写体に付与されたラベルとの整合性を検証する。
　これにより、本実施形態の画像処理装置２０は、更に正確にラベルを付与することができるので、正確に信頼度を算出することができる。したがって、本実施形態の画像処理装置２０は、更に正確な視差を演算することができる。
　更に、本実施形態の画像処理装置２０において、信頼度算出部５０は、ラベルと信頼度との対応関係を示す信頼度テーブル５１を用いて信頼度を算出する。
　これにより、本実施形態の画像処理装置２０は、信頼度を算出するための計算量を削減することができるので、簡易な構成であっても信頼度を容易に算出することができる。したがって、本実施形態の画像処理装置２０は、正確な視差を容易に演算することができる。
　更に、本実施形態の画像処理装置２０は、補正された視差、信頼度及び画像１１１，１１２に基づいて、複数のカメラ１１，１２が搭載された車両周辺の物体を検知する認識処理部７０を更に備え、認識処理部７０は、検知対象とする被写体の大きさ又は被写体までの距離を、信頼度に応じて変更する。
　これにより、本実施形態の画像処理装置２０は、信頼度が基準に満たない視差を有する被写体を検知対象から除外することができる。したがって、本実施形態の画像処理装置２０は、正確な視差を演算することができると共に、物体の誤検知を抑制することができる。
　更に、本実施形態の画像処理装置２０において、認識処理部７０には、視差、信頼度及びラベルの情報が画素毎に互いに対応付けて入力される。
　これにより、本実施形態の画像処理装置２０は、物体検知の前段階で取得される信頼度及びラベルを改めて見直すことができるので、物体検知の確度を向上させることができる。したがって、本実施形態の画像処理装置２０は、正確な視差を演算することができると共に、物体検知の確度を向上させることができる。
　なお、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、或る実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、或る実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路にて設計する等によりハードウェアによって実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアによって実現してもよい。各機能を実現するプログラム、テープ、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（solid state drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１１，１２…カメラ、２０…画像処理装置、３０…視差演算部、４０…ラベリング部、５０…信頼度算出部、５１…信頼度テーブル、６０…視差補正部、６１…補間部、６２…再演算部、７０…認識処理部

Claims (8)

  1. 　複数のカメラによって撮影された画像の視差を演算する視差演算部と、
    　前記画像に写る被写体を分類し、分類された前記被写体の種類に応じたラベルを前記被写体の画素毎に付与するラベリング部と、
    　付与された前記ラベル毎に前記視差の信頼度を算出する信頼度算出部と、
    　算出された前記信頼度に応じて前記視差を補正する視差補正部と、を備える
    　ことを特徴とする画像処理装置。
  2. 　前記視差補正部は、
    　　前記信頼度が基準に満たない前記視差を、前記視差演算部とは異なる方式を用いて再演算する再演算部を有する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記視差演算部は、前記画像が入力層に設定されると共に前記視差が出力層に設定されたニューラルネットワークモデルを用いて前記視差を演算し、
    　前記再演算部は、ステレオマッチングによって前記視差を再演算する
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記視差補正部は、
    　　過去に撮影された前記画像に対して演算された前記視差に基づいて、前記信頼度が基準に満たない前記視差を補間する補間部を有する
    　ことを特徴とする請求項１に記載の画像処理装置。
  5. 　前記ラベリング部は、前記視差に基づいて、分類された前記被写体の種類と当該被写体に付与された前記ラベルとの整合性を検証する
    　ことを特徴とする請求項１に記載の画像処理装置。
  6. 　前記信頼度算出部は、前記ラベルと前記信頼度との対応関係を示す信頼度テーブルを用いて前記信頼度を算出する
    　ことを特徴とする請求項１に記載の画像処理装置。
  7. 　補正された前記視差、前記信頼度及び前記画像に基づいて、前記複数のカメラが搭載された車両周辺の物体を検知する認識処理部を更に備え、
    　前記認識処理部は、検知対象とする前記被写体の大きさ又は前記被写体までの距離を、前記信頼度に応じて変更する
    　ことを特徴とする請求項１に記載の画像処理装置。
  8. 　前記認識処理部には、前記視差、前記信頼度及び前記ラベルの情報が画素毎に互いに対応付けて入力される
    　ことを特徴とする請求項７に記載の画像処理装置。
PCT/JP2022/035027 2022-09-20 2022-09-20 画像処理装置 WO2024062540A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/035027 WO2024062540A1 (ja) 2022-09-20 2022-09-20 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/035027 WO2024062540A1 (ja) 2022-09-20 2022-09-20 画像処理装置

Publications (1)

Publication Number Publication Date
WO2024062540A1 true WO2024062540A1 (ja) 2024-03-28

Family

ID=90454073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035027 WO2024062540A1 (ja) 2022-09-20 2022-09-20 画像処理装置

Country Status (1)

Country Link
WO (1) WO2024062540A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173248A (ja) * 2015-03-16 2016-09-29 株式会社リコー 視差値演算装置、物体認識装置、移動体機器制御システム及び視差演算用プログラム
US20180255283A1 (en) * 2017-03-03 2018-09-06 Sony Corporation Information processing apparatus and information processing method
WO2019138678A1 (ja) * 2018-01-15 2019-07-18 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173248A (ja) * 2015-03-16 2016-09-29 株式会社リコー 視差値演算装置、物体認識装置、移動体機器制御システム及び視差演算用プログラム
US20180255283A1 (en) * 2017-03-03 2018-09-06 Sony Corporation Information processing apparatus and information processing method
WO2019138678A1 (ja) * 2018-01-15 2019-07-18 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム

Similar Documents

Publication Publication Date Title
WO2021072696A1 (zh) 目标检测与跟踪方法、系统、可移动平台、相机及介质
US6658150B2 (en) Image recognition system
JP6266238B2 (ja) 接近物検出システム、及び車両
JP4919036B2 (ja) 移動物体認識装置
US8406472B2 (en) Method and system for processing image data
JP6547292B2 (ja) 画像処理装置、機器制御システム、および画像処理プログラム
US20160104047A1 (en) Image recognition system for a vehicle and corresponding method
US20080231805A1 (en) Method and Circuit Arrangement for Recognising and Tracking Eyes of Several Observers in Real Time
JP7091686B2 (ja) 立体物認識装置、撮像装置および車両
US11474234B2 (en) Device and method for estimating distance based on object detection
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
JPWO2016051981A1 (ja) 車載画像認識装置
GB2597266A (en) Method for joint detection of at least one lane marker and at least one object
JP6907513B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN112381025A (zh) 一种驾驶员注意力检测方法、装置、电子设备及存储介质
EP3866110A1 (en) Target detection method, target detection apparatus and unmanned aerial vehicle
WO2024062540A1 (ja) 画像処理装置
JP2018088217A (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
EP3896387B1 (en) Image processing device
JP7134780B2 (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22959504

Country of ref document: EP

Kind code of ref document: A1