WO2020166403A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020166403A1
WO2020166403A1 PCT/JP2020/003860 JP2020003860W WO2020166403A1 WO 2020166403 A1 WO2020166403 A1 WO 2020166403A1 JP 2020003860 W JP2020003860 W JP 2020003860W WO 2020166403 A1 WO2020166403 A1 WO 2020166403A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
processing apparatus
reliability
calculation unit
Prior art date
Application number
PCT/JP2020/003860
Other languages
English (en)
French (fr)
Inventor
春樹 的野
琢馬 大里
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN202080012454.4A priority Critical patent/CN113424021B/zh
Publication of WO2020166403A1 publication Critical patent/WO2020166403A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention relates to an image processing device.
  • Patent Document 1 is a background art in this technical field.
  • the calibration deviation is re-corrected without increasing the circuit scale and the calculation time.
  • the left and right camera stereo parallelization corrected by the calibration is performed”.
  • Data obtained by the calibration deviation recorrection processing by the calibration deviation recorrection unit 15 during the search processing of the corresponding points by the corresponding point search unit 9 including the calibration deviation recorrection unit 15 is performed.
  • the measurement accuracy can be improved without increasing the circuit scale and calculation time of the internal hardware in the distance measuring device 1.
  • the right camera stereo parallelized image is vertically shifted. , The vertical shifts of the left and right camera stereo parallelized images are corrected again, which can reduce the vertical shift that is likely to cause a problem. It is possible to reliably find the optimum position of the image after the right camera stereo parallelization.”
  • Patent Document 1 it is described that "the ratio (%) of pixels in which corresponding points occupy all the pixels in the pixel region of interest in the image after left camera stereo parallelization is found is calculated as the recognition rate". Although it is stated that the vertical shift is corrected so that the recognition rate becomes maximum, there is a problem that the reliability cannot be calculated for each pixel. There is also a problem that an error is included depending on the pattern of the image even if the recognition rate is high.
  • An object of the present invention is to provide an image processing device that can evaluate the reliability of the measured value for each pixel.
  • the present invention provides an image storage unit that stores at least a first image and a second image, an offset giving unit that gives a vertical offset to the second image, and the offset.
  • a measurement value calculation unit that calculates a measurement value from pixels of the first image and corresponding pixels of the second image before and after, and a difference calculation unit that calculates a difference between the measurement values before and after the offset is given;
  • a reliability calculation unit that calculates the reliability for each pixel from the difference between the measured values.
  • the reliability of the measured value for each pixel can be evaluated. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
  • a stereo camera system is well known as a means for estimating the three-dimensional position of an object.
  • the stereo camera system arranges cameras at a plurality of positions, images the same target object from a plurality of different viewpoints, and calculates a shift in appearance in the obtained image, that is, a distance from the parallax to the target object.
  • this conversion is represented by the following mathematical expression (1).
  • Z[mm] is the distance to the target object
  • f[mm] is the focal length
  • w[mm/px] is the pixel pitch
  • B[mm] is the distance between cameras (baseline length)
  • D[px] Represents parallax.
  • Parallelization means vertical alignment of images. That is, it is a process of calibrating the images so that the same points in the left and right images are captured at the same height.
  • the parallelized image when searching for a corresponding point, only a certain horizontal line needs to be searched, and the processing efficiency is high.
  • a parameter for parallelization changes due to an error during assembly or deterioration over time, and even left and right images subjected to the parallelization process may have a vertical shift. At this time, especially in an area where a straight line in an oblique direction is imaged, since textures similar to different heights are imaged, an incorrect corresponding point is detected and an error occurs in the three-dimensional position. ..
  • FIG. 1 is an explanatory diagram of a parallax error dD[px] when a shift of dj[px] occurs in the vertical direction.
  • the left image 100LA and the right image 100RA show the case where no height shift occurs.
  • the search target 121 in the left image 100LA a position where the same object is imaged is searched from the right image 100RA, and a displacement amount of the image position with the matching target 122 is obtained as a parallax.
  • the left image 100LB and the right image 100RB show the case where the height shift occurs.
  • the amount of displacement of the image position with respect to the matching target 123 with respect to the similar search target 121 is obtained as parallax.
  • a displacement between the positions 122 and 123 occurs as a parallax error dD[px]. If the inclination of the straight line with respect to the horizontal is ⁇ [rad], the parallax error dD is expressed by the following mathematical expression (2).
  • the parallax error dD becomes a function of the inclination ⁇ of the straight line, and it can be seen that dD increases as ⁇ approaches 0, that is, approaches horizontal.
  • the distance error dZ [mm] when the parallax error dD occurs is expressed by the following equation (3).
  • FIG. 2 is a schematic view of the vehicle 200 when viewed from the side, and includes a camera 201 (monocular camera), a steering 204 (including a steering actuator, a steering angle sensor, etc.) and wheels 205 (a brake actuator, a drive mechanism, etc.). (Including) is connected to the vehicle control unit 202.
  • a camera 201 monocular camera
  • a steering 204 including a steering actuator, a steering angle sensor, etc.
  • wheels 205 a brake actuator, a drive mechanism, etc.
  • Including is connected to the vehicle control unit 202.
  • a camera 201 is mounted on the vehicle 200.
  • An object detection device is mounted on the camera 201, and measures, for example, a distance to a front object 210 (for example, a telephone pole) or a relative speed and transmits the measured distance to the vehicle control unit 202.
  • the vehicle control unit 202 controls the brake, accelerator, and steering from the received distance and relative speed.
  • FIG. 3 shows the configuration of the image processing apparatus 300 according to the first embodiment of the present invention.
  • the image processing apparatus 300 includes a CPU 310, a memory 320, an image input unit 390, an image storage unit 330, a movement amount calculation unit 340, a movement amount difference calculation unit 360, a reliability calculation unit 370, an object detection unit 380, and an offset addition unit 391.
  • the external output unit 350 includes a CPU 310, a memory 320, an image input unit 390, an image storage unit 330, a movement amount calculation unit 340, a movement amount difference calculation unit 360, a reliability calculation unit 370, an object detection unit 380, and an offset addition unit 391.
  • the external output unit 350 includes a CPU 310, a memory 320, an image input unit 390, an image storage unit 330, a movement amount calculation unit 340, a movement amount difference calculation unit 360, a reliability calculation unit 370, an object detection unit 380, and an offset addition unit 391.
  • the external output unit 350 includes a
  • the image input unit 390, the image storage unit 330, the movement amount calculation unit 340, the movement amount difference calculation unit 360, the reliability calculation unit 370, the object detection unit 380, the offset addition unit 391, and the external output unit 350 are examples. Is composed of a logic circuit such as FPGA (Field Programmable Gate Array).
  • the image input unit 390 is an interface for inputting data output by an external video data output device (not shown).
  • the data input by the image input unit 390 is stored in the memory 320.
  • the offset giving unit 391 performs image processing for moving the position of the image with respect to the input image, and the image storage unit 330 also stores the image processed by the offset giving unit 391.
  • the movement amount calculation unit 340 searches the corresponding points for each pixel or each partial region in the two images stored in the image storage unit 330 at different times, and calculates the movement amount on the image.
  • a method of calculating for example, a method called optical flow is known.
  • the movement amount difference calculation unit 360 selects I0 and I1 from the image I0 at the time T0, the image I1 at which the offset is not given at the time T1, and the image I2 at which the offset is given by the offset giving unit 391 at the time T1. Is used to obtain the difference in the amount of movement between the flow generated by the movement amount calculation unit 340 and the flow generated using I0 and I2.
  • the reliability calculation unit 370 cancels the difference between the flow movement amount generated by the movement amount calculation unit 340 and the offset provided, and as a result, a pixel with a large difference has low reliability, and a pixel with a small difference has reliability. The reliability is output as high.
  • the object detection unit 380 is a pixel with high reliability based on the output result of the movement amount calculation unit 340 and the output result of the reliability calculation unit 370 when the offset addition unit 391 does not add the offset, and Objects are detected by grouping pixels with large amounts.
  • the external output unit 350 outputs the position and moving direction of the object detected by the object detection unit 380.
  • the output result of the external output unit 350 is used to control the vehicle, it is possible to perform the control for avoiding the collision by controlling the brake operation and the steering wheel operation from the time and distance until the collision with respect to the object having a high possibility of collision. it can.
  • the image storage unit 330 stores at least the image I0 (first image) and the image I1 (second image).
  • the offset giving unit 391 gives a vertical offset to the image I1 (second image) (S10).
  • the movement amount calculation unit 340 (measurement value calculation unit) calculates the movement amount (measurement value) from the pixel of the image I0 (first image) and the corresponding pixel of the image I1 (second image) before and after applying the offset. Yes (S15).
  • the movement amount difference calculation unit 360 (difference calculation unit) calculates the difference between the movement amounts (measurement values) before and after the offset is applied (S20).
  • the reliability calculation unit 370 calculates the reliability for each pixel from the difference in the movement amount (measurement value) (S25).
  • the image I0 (first image) and the image I1 (second image) are time-series (time T1, T2) images captured by the monocular camera.
  • the movement amount calculation unit 340 calculates the movement amount of each pixel as a measurement value. Thereby, the reliability of the movement amount for each pixel can be evaluated. Further, it is possible to detect a pixel associated with a movement amount having a large error.
  • the movement amount can be calculated with high accuracy. It can be performed.
  • FIG. 4 shows the configuration of the image processing apparatus in the second embodiment of the present invention.
  • the image processing device 400 includes a CPU 410, a memory 420, an image input unit 490, a parallelization unit 430, a parallax calculation unit 440, a parallax difference calculation unit 460, a reliability calculation unit 470, an object detection unit 480, an offset addition unit 491, an external unit.
  • the output unit 450 is included.
  • the image input unit 490 is an interface for inputting data output by an external video data output device (not shown). In the case of a stereo camera, the distance can be obtained more accurately when the synchronized images are input so that the left and right images are taken at the same time.
  • the data input by the image input unit 490 is stored in the memory 420.
  • the parallelization unit 430 performs a process of correcting the mounting position, the distortion caused by the lens, and the like so that the input left and right images are parallel.
  • the offset giving unit 491 gives an offset to the correction amount of the parallelization unit 430 in the vertical direction.
  • the parallelization unit 430 generates a plurality of images to which the offset is given by the offset giving unit 491 and an image to which the offset is not given. It is assumed that the offset is given to only one of the left and right images and that one of the images is intentionally shifted.
  • two types of offset positive and negative, are provided as the types of offset.
  • the parallax calculation unit 440 processes the plurality of images to which the offset is added and the images not to be added, respectively, and calculates the parallax.
  • the left image (first image) and the right image (second image) are a pair of images captured by the stereo camera.
  • the parallax calculation unit 440 calculates the parallax for each pixel as a measurement value.
  • the reliability calculation unit 470 calculates the reliability for each pixel from the difference in parallax (measurement value). Thereby, the reliability of parallax for each pixel can be evaluated. Further, it is possible to detect a pixel associated with a parallax having a large error due to an oblique shape.
  • the parallax difference calculation unit 460 compares the offset-added image output by the parallax calculation unit 440 with the non-offset image, and obtains the parallax difference for each pixel. Examples of the output result of the parallax difference calculation unit 460 include whether to output the parallax variation of the comparison image or the sum of the parallax differences.
  • the reliability calculation unit 470 obtains the variance of the difference image for each pixel based on the result output by the parallax difference calculation unit 460 and outputs it as the reliability. If the variance of the parallax is large, the reliability is low, and if the variance is small, the reliability is high. Although the example of obtaining the variance is shown here, the sum of absolute values of the differences of the parallax may be used. A pixel whose parallax does not change even if an offset is added has a high reliability, and a pixel whose parallax changes when an offset is added has a high reliability. Any index can be used as long as it is low.
  • the reliability calculation unit 470 calculates the reliability for each pixel from the variance of the parallax (measurement value) or the sum of the absolute values of the differences of the parallax (measurement value). Thereby, the reliability of the reliability of each pixel can be improved.
  • the reliability calculation unit 470 may calculate the reliability for each pixel from the dispersion of the distance (measured value) to the object corresponding to the pixel or the sum of absolute values of the differences of the distance (measured value). Thereby, the reliability of the distance for each pixel can be evaluated.
  • the greater the difference between the measured values (movement amount, parallax, distance, etc.) the smaller the reliability.
  • the reliability of the measured value for each pixel can be evaluated according to the difference between the measured values.
  • the object detection unit 480 detects an object by performing a three-dimensional grouping process using an image to which an offset has not been added by the parallax calculation unit 440. At this time, erroneous detection can be prevented by referring to the result output by the reliability calculation unit 470 and performing the grouping process using only the parallax data with high reliability.
  • the object detection unit 480 performs object grouping by using parallax (measurement value) whose reliability exceeds a threshold value. This can prevent erroneous detection of an object.
  • the offset giving unit 491 periodically gives an offset.
  • the reliability calculation unit 470 outputs the time-series fluctuation of the variance of the parallax (measurement value) in the target area as the reliability. Thereby, the reliability of the measurement value of the target area can be evaluated.
  • the object detection unit 480 performs a three-dimensional grouping process on a parallax image with a positive offset, a parallax image with no offset, and a parallax image with a negative offset in time series.
  • the reliability is high, and when the result of grouping is unstable, the reliability is low.
  • “stable” means that when an object whose size is unlikely to change in time series is detected, such as an automobile, it is stable when the size is the same and unstable when the size changes in time series. Is the meaning.
  • FIG. 5 (Example of image diagnostic unit) FIG. 5 will be described.
  • an image diagnostic unit 501 is provided in addition to the configuration of the second embodiment.
  • the image diagnosis unit 501 will be described.
  • the reliability of the reliability calculation unit 470 for the input image is measured in advance, and the threshold value is stored in advance. Based on the result (reliability) output by the reliability calculation unit 470 and the threshold, the image diagnostic unit 501 notifies the external output unit 450 of an abnormality when the reliability exceeds the threshold.
  • the image diagnosis unit 501 diagnoses that the parallax (measurement value) of the target region is abnormal when the variance of the parallax (measurement value) of the target region exceeds a threshold value. Accordingly, it is possible to determine the abnormality of the parallax (measurement value) of the target area.
  • the vehicle control system can notify the driver of the abnormal state, stop the brake control and steering control, and prevent malfunction.
  • the margin of the reliability with respect to the threshold value it becomes possible to perform control such that the steering operation is stopped and the emergency braking is continued to be controlled, and both convenience and reliability are achieved. can do.
  • Example 5 (Example of detecting lens distortion)
  • the reliability of the reliability calculation unit 470 for a particular scene is measured in advance, and the threshold value is held in advance.
  • the present invention is not limited to the above-described embodiments, but includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be partially or entirely configured by hardware, or may be configured to be realized by executing a program by a processor.
  • control lines and information lines are shown as being considered necessary for explanation, and not all the control lines and information lines in the product are necessarily shown. In reality, it may be considered that almost all the configurations are connected to each other.
  • the embodiment of the present invention may have the following modes.
  • An offset adding unit that adds an offset to the image, a movement amount calculation unit that calculates a movement amount for each pixel of the image in time series, and a reliability calculation unit that calculates the reliability for each pixel based on the offset amount.
  • An image processing apparatus comprising:
  • a plurality of image capturing units that obtain images, a parallax calculation unit that calculates parallax from the images, an offset addition unit that adds a vertical offset when the parallax is calculated, and a difference calculation unit that calculates the parallax difference.
  • An image processing apparatus comprising: a reliability calculation unit that calculates reliability based on the parallax difference.
  • the offset adding unit periodically adds the offset to calculate a dispersion of a distance or a movement amount of a specific area, and the reliability calculation unit determines a time of the dispersion.
  • An image processing apparatus which outputs a series variation as the reliability.
  • an image diagnostic unit is provided, and the offset amount added to the offset addition unit and the variance of the distance or movement amount of the specific area are calculated, and the distance or movement amount of the specific area is held in advance.
  • the image processing apparatus is characterized in that the image diagnosis unit detects an abnormality when the threshold value is exceeded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

画素毎の測定値の信頼度を評価できる画像処理装置を提供する。画像蓄積部３３０は、少なくとも画像Ｉ０（第１画像）と画像Ｉ１（第２画像）を蓄積する。オフセット付与部３９１は、画像Ｉ１（第２画像）に縦方向のオフセットを付与する。移動量算出部３４０（測定値算出部）は、オフセットを付与する前後において画像Ｉ０（第１画像）の画素とそれに対応する画像Ｉ１（第２画像）の画素から移動量（測定値）を算出する。移動量の差算出部３６０（差分算出部）は、オフセットを付与する前後の移動量（測定値）の差分を算出する。信頼度算出部３７０は、移動量（測定値）の差分から画素毎の信頼度を算出する。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　本技術分野の背景技術として、特許文献１がある。この公報には、課題として「本回路規模および演算時間の増大を招くことなくキャリブレーションずれを再補正する。」と記載され、解決手段として、「キャリブレーションによって補正された左右のカメラステレオ平行化後画像間のずれ量を、キャリブレーションずれ再補正部１５を含む対応点探索部９による対応点の探索処理中において、キャリブレーションずれ再補正部１５によるキャリブレーションずれ再補正処理で得られるデータを用いて再補正する。こうして、距離計測装置１における内部ハードウェアの回路規模および演算時間を増大させることなく計測精度を高めることができる。また、上記右カメラステレオ平行化後画像を上下にずらして、左右のカメラステレオ平行化後画像の上下方向のずれを再補正する。こうして、問題になり易い上下方向のキャリブレーションずれを低減することができる。その際に、対応点の探索を行う際の右カメラステレオ平行化後画像の最適位置を確実に見出すことができる。」と記載されている。
特開２０１３－１１３６００号公報
　前記特許文献１では、「左カメラステレオ平行化後画像における注目する画素領域の全画素に占める対応点が見出された画素の割合(％)を上記認識率として算出する」と記載され、この認識率が最大になるように上下のずれを補正すると述べているが、画素毎に信頼度を算出できない課題がある。また、画像の模様によっては認識率が高くても誤差を含んでしまう課題がある。
　本発明の目的は、画素毎の測定値の信頼度を評価できる画像処理装置を提供することにある。
　上記目的を達成するために、本発明は、少なくとも第１画像と第２画像を蓄積する画像蓄積部と、前記第２画像に縦方向のオフセットを付与するオフセット付与部と、前記オフセットを付与する前後において前記第１画像の画素とそれに対応する前記第２画像の画素から測定値を算出する測定値算出部と、前記オフセットを付与する前後の前記測定値の差分を算出する差分算出部と、前記測定値の差分から画素毎の信頼度を算出する信頼度算出部と、を備える。
　本発明によれば、画素毎の測定値の信頼度を評価できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
ステレオカメラに垂直方向ずれが生じた場合の視差誤差に関する説明図である。 車両制御システムの構成を示す説明図である。 第１の実施例の画像処理装置の構成を示す説明図である。 第２～３の実施例の画像処理装置の構成を示す説明図である。 第４～５の実施例の画像処理装置の構成を示す説明図である。 第１～５の実施例の画像処理装置の処理を示すフローチャートである。
　以下、図面を用いて、本発明の第１～第５の実施例による画像処理装置を含むシステムの構成及び動作について説明する。
　（視差誤差と距離誤差）
　初めに、図１を用いて、垂直方向ずれが生じたステレオカメラシステムによって撮像された斜線状の対象物の視差誤差及び距離誤差について説明する。
　対象の三次元位置を推定する手段として、ステレオカメラシステムが良く知られている。ステレオカメラシステムは、カメラを複数の位置に配置して同一対象物を異なる複数の視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。2台のカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の数式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Z[mm]は対象物体までの距離、f[mm]は焦点距離、w[mm/px]は画素ピッチ、B[mm]はカメラ間の距離（基線長）、D[px]は視差を表す。
　視差を算出するにあたっては、複数の位置（視点）から撮像された画像を水平に並べ、左画像内の特定の点に対して右画像内で同一の点が撮像されている位置を探索する。この探索を効率よく実施するため、一般には平行化処理を事前に実施する。
　平行化とは、画像の縦方向の位置合わせを意味する。すなわち、左右画像で同一の点は同一の高さに撮像されているよう画像を校正する処理である。平行化された画像では、対応点を探索する際に、ある横一列のみを探索すればよく、処理効率が高い。しかしながら、組み立て時の誤差や経年劣化によって平行化するためのパラメタに変化が生じ、平行化処理を実施した左右画像であっても垂直方向にずれを有することがある。このとき、特に斜め方向の直線が撮像されているような領域においては、異なる高さに良く似たテクスチャが撮像されているため、誤った対応点を検出し三次元位置に誤差が生じてしまう。
　図１は、垂直方向にdj[px]のずれを生じたときの視差誤差dD[px]の説明図である。左画像100LAと右画像100RAは高さずれが発生していない場合を示す。左画像100LAにおける探索対象121に対して、同一の物体が撮像されている位置を右画像100RAから探索してマッチングしたマッチング対象122との画像位置のずれ量を視差として得る。
　一方、左画像100LBと右画像100RBは高さずれが発生した場合を示す。同様の探索対象121に対してマッチング対象123との画像位置のずれ量を視差として得る。このとき122と123の位置のずれが視差誤差dD[px]として発生する。水平に対する直線の傾きをθ[rad]とすれば、視差誤差dDは以下の数式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　すなわち、ある垂直ずれdjが発生したとき、視差誤差dDは直線の傾きθの関数となり、θが0に近づく、すなわち水平に近づくほどdDは大きくなることがわかる。
　また、ここで数式（１）より、視差誤差dDが発生したときの距離誤差dZ[mm]は以下の数式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　f,B,wはカメラによって固定であるから、視差誤差dDに伴う距離誤差dZは、視差Dが小さいほど大きくなることがわかる。一方で、dDに対してDが十分に大きい場合にはdZは小さくなるため、物体の検知や測距に対する影響は無視できる。
　以上ステレオカメラシステムの場合について説明したが、これは１つのカメラで時刻の異なる２枚の画像の対応する点を算出するシステムについても同様である。
　［第１の実施例］（単眼カメラの例）
　以下、図面を用いて実施例を説明する。
　まず、図２を用いて物体検知装置を搭載したカメラを用いた車両制御システムの概要を説明する。なお、図２は車両２００を横から見たときの模式図であり、カメラ２０１（単眼カメラ）、ステアリング２０４（操舵アクチュエータ、舵角センサ等を含む）及び車輪２０５（ブレーキアクチュエータ、駆動機構等を含む）が車両制御部２０２に接続されている。
　車両２００にカメラ２０１が搭載される。カメラ２０１には物体検知装置が搭載されており、例えば前方の物体２１０（例えば、電信柱）までの距離や相対速度を計測して車両制御部２０２に送信する。車両制御部２０２は受け取った距離や相対速度からブレーキやアクセル、ステアリングを制御する。
　次に、図３を用いて画像処理装置３００の概要を説明する。
　図３は本発明の第１の実施例における画像処理装置３００の構成を示す。画像処理装置３００は、ＣＰＵ３１０、メモリ３２０、画像入力部３９０、画像蓄積部３３０、移動量算出部３４０、移動量の差算出部３６０、信頼度算出部３７０、物体検知部３８０、オフセット付与部３９１、外部出力部３５０で構成される。
　なお、画像入力部３９０、画像蓄積部３３０、移動量算出部３４０、移動量の差算出部３６０、信頼度算出部３７０、物体検知部３８０、オフセット付与部３９１、及び外部出力部３５０は、一例として、ＦＰＧＡ(Field Programmable Gate Array)等の論理回路で構成される。
　画像入力部３９０は、外部の映像データ出力装置（図示せず）が出力したデータを入力するためのインターフェースである。画像入力部３９０で入力されたデータは、メモリ３２０に格納される。本実施例では連続的に画像が転送される場合を想定しており、画像蓄積部３３０は入力された画像を時系列に蓄積する。
　オフセット付与部３９１は、入力された画像に対して画像の位置を移動させる画像処理を行い、画像蓄積部３３０には、オフセット付与部３９１で画像処理された画像も格納する。
　移動量算出部３４０は画像蓄積部３３０に蓄積された時刻の異なる２枚の画像に対して画素毎または部分領域毎に対応点を探索し、画像上の移動量を算出する。算出する方法として、例えば、オプティカルフローと呼ばれる手法が知られている。
　移動量の差算出部３６０は、時刻Ｔ０の画像Ｉ０と、時刻Ｔ１のオフセット付与されていない画像Ｉ１と、時刻Ｔ１の上記オフセット付与部３９１でオフセットが付与された画像Ｉ２のうち、Ｉ０とＩ１を用いて移動量算出部３４０で生成されたフローと、Ｉ０とＩ２を用いて生成されたフローとの移動量の差分を求める。
　信頼度算出部３７０は、移動量算出部３４０で生成されたフローの移動量の差分と付与されたオフセットをキャンセルした結果、差分が大きい画素は信頼度が低く、差分が小さい画素は信頼度が高いとして信頼度を出力する。
　物体検知部３８０は、オフセット付与部３９１がオフセットを付与していない場合における移動量算出部３４０の出力結果と信頼度算出部３７０の出力結果に基づいて、信頼度の高い画素であって、移動量の大きい画素をグルーピングすることで物体を検出する。
　この時、信頼度の高い画素を用いることで誤検出の少ない物体検知が可能になる。また、信頼度の低い画素を含めてグルーピングし、移動量の大きさを求める際には信頼度の高い画素だけ使用すると、もれなく物体検出することができる一方で、移動量は正確に求めることが可能である。このように、移動量と信頼度を画素毎に求めることで物体検出の検出率と物体の移動方向の推定精度を両立させることができる。
　外部出力部３５０は、物体検知部３８０で検出した物体の位置と移動方向を出力する。外部出力部３５０の出力結果を車両の制御に利用すると、衝突可能性の高い物体に対して、衝突までの時間と距離からブレーキ操作やハンドル操作を制御して衝突を回避する制御をおこなうことができる。
　このように、車両の衝突回避のために利用する場合、より正確に物体の位置や移動方向を予測する必要があり、特に移動方向の予測を誤ると必要のないブレーキ操作につながる恐れがあり危険である。したがって移動方向の予測には高精度な移動量の算出が必要である。
　次に、図６を用いて、本実施例の画像処理装置３００の動作を説明する。なお、画像蓄積部３３０は、少なくとも画像Ｉ０（第１画像）と画像Ｉ１（第２画像）を蓄積する。
　オフセット付与部３９１は、画像Ｉ１（第２画像）に縦方向のオフセットを付与する（Ｓ１０）。移動量算出部３４０（測定値算出部）は、オフセットを付与する前後において画像Ｉ０（第１画像）の画素とそれに対応する画像Ｉ１（第２画像）の画素から移動量（測定値）を算出する（Ｓ１５）。移動量の差算出部３６０（差分算出部）は、オフセットを付与する前後の移動量（測定値）の差分を算出する（Ｓ２０）。信頼度算出部３７０は、移動量（測定値）の差分から画素毎の信頼度を算出する（Ｓ２５）。
　これにより、画素毎の測定値の信頼度を評価できる。また、斜め形状に起因する誤差の大きい測定値が関連付けられた画素を検出することもできる。
　本実施例では、画像Ｉ０（第１画像）及び画像Ｉ１（第２画像）は、単眼カメラで撮像された時系列（時刻Ｔ１、Ｔ２）の画像である。移動量算出部３４０（測定値算出部）は、画素毎の移動量を測定値として算出する。これにより、画素毎の移動量の信頼度を評価できる。また、誤差の大きい移動量が関連付けられた画素を検出することができる。
　上記した本実施例によれば、オフセットを付与することによって移動量が正しく算出できない不安定な領域を検出でき、不安定な領域を除いて移動量を算出することで、精度の高い移動量算出を行うことができる。
　［第２の実施例］（ステレオカメラの例）
　ステレオカメラによる障害物検知システムを例に説明する。本実施例は、第１の実施例で説明した図２のカメラ２０１がステレオカメラになった場合の例である。
　図４は本発明の第２の実施例における画像処理装置の構成を示す。
　画像処理装置４００は、ＣＰＵ４１０、メモリ４２０、画像入力部４９０、平行化部４３０、視差算出部４４０、視差の差算出部４６０、信頼度算出部４７０、物体検知部４８０、オフセット付与部４９１、外部出力部４５０で構成される。
　画像入力部４９０は、外部の映像データ出力装置（図示せず）が出力したデータを入力するためのインターフェースである。ステレオカメラの場合、左右が同一の時刻で撮影されるように同期された映像が入力されると、距離をより正確に求めることができる。
　画像入力部４９０で入力されたデータは、メモリ４２０に格納される。平行化部４３０は、入力された左右画像が平行になるように、取付位置やレンズによるひずみなどを補正する処理を行う。
　オフセット付与部４９１は平行化部４３０の補正量に対して鉛直方向にオフセットを付与する。平行化部４３０は、オフセット付与部４９１でオフセットが付与された複数の画像とオフセットが付与されない画像を生成する。オフセット付与は左右画像のうち片方の画像にのみ行い、意図的に片方の画像をずらすことを想定している。ここでは、オフセットの種類として、正負の２種類のオフセットを付与した例を説明する。
　視差算出部４４０は上記オフセットが付与された複数の画像と付与されていない画像をそれぞれ処理し、視差を算出する。
　本実施例では、左画像（第１画像）及び右画像（第２画像）は、ステレオカメラで撮像された一対の画像である。視差算出部４４０（測定値算出部）は、画素毎の視差を測定値として算出する。信頼度算出部４７０は、視差（測定値）の差分から画素毎の信頼度を算出する。これにより、画素毎の視差の信頼度を評価できる。また、斜め形状に起因する誤差の大きい視差が関連付けられた画素を検出することができる。
　視差の差算出部４６０は、前記視差算出部４４０が出力した、オフセットが付与された画像と、オフセットが付与されていない画像を比較し、視差の差分を画素毎に求める。視差の差算出部４６０の出力結果の例として、この比較画像の視差のばらつきを出力するか、視差の差分の和を出力するかなどがある。
　信頼度算出部４７０は視差の差算出部４６０が出力した結果に基づいて、差分画像の分散を画素毎に求め信頼度として出力する。視差の分散が大きいものは信頼度が低く、分散が小さいものは信頼度が高い。ここでは分散を求める例を示したが、視差の差分の絶対値和などでもよく、オフセットを付与しても視差が変わらない画素は信頼度が高く、オフセットを付与すると視差が変わる画素は信頼度が低いことを表す指標であればよい。
　すなわち、信頼度算出部４７０は、視差（測定値）の分散又は視差（測定値）の差分の絶対値和から画素毎の信頼度を算出する。これにより、画素毎の信頼度の信頼性を向上することができる。なお、信頼度算出部４７０は、画素に対応する対象物までの距離（測定値）の分散又は距離（測定値）の差分の絶対値和から画素毎の信頼度を算出してもよい。これにより、画素毎の距離の信頼度を評価できる。ここで、測定値（移動量、視差、距離等）の差分が大きいほど、信頼度は小さい。これにより、測定値の差分に応じて画素毎の測定値の信頼度を評価できる。
　物体検知部４８０は、視差算出部４４０でオフセットが付与されていない画像を用いて３次元のグルーピング処理を実施して物体を検出する。この時、信頼度算出部４７０が出力する結果を参照して、信頼度の高い視差データのみ使ってグルーピングする処理を行うことで、誤検出を防止することができる。
　すなわち、物体検知部４８０は、信頼度が閾値を超える視差（測定値）を用いてグルーピングを行い、物体を検知する。これにより、物体の誤検知を防止することができる。
　［第３の実施例］（オフセットを周期的に付与する例）
　第２の実施例の画像処理装置４００では、オフセット付与部４９１によりオフセットが複数指定され、平行化部４３０がオフセットを付与していない画像と付与された画像それぞれを生成し、それぞれ視差算出部４４０で視差を算出していた。第３の実施例では、オフセットを付与する、しないを時系列に対して周期的に切り替えて実施する例を示す。
　すなわち、本実施例では、オフセット付与部４９１は、周期的にオフセットを付与する。信頼度算出部４７０は、対象領域における視差（測定値）の分散の時系列変動を信頼度として出力する。これにより、対象領域の測定値の信頼度を評価することができる。
　物体検知部４８０は、正のオフセットが付与された視差画像、オフセットが付与されていない視差画像、負のオフセットを付与された視差画像を時系列に３次元グルーピング処理をする。グルーピングしたときにした結果が安定しているときは信頼度が高く、グルーピングした結果が不安定な時には信頼度が低いとする。ここで、安定とは、たとえば自動車のように大きさが時系列で変化しにくい対象を検知している場合、大きさが同じ場合を安定、大きさが時系列で変化する場合は不安定という意味である。
　このように視差画像を作成する際の片方の平行化画像に時系列にオフセットを乗せることでも物体検知したものが誤検出しているかどうかを判断することができ、視差画像を作成する処理が１フレームにつき１回で済むため計算量を増やすことなく実現できる。
　［実施例４］（画像診断部の例）
　図５について説明する。本実施例では、第２の実施例の構成に加えて画像診断部５０１を備える。画像診断部５０１について説明する。入力画像に対する信頼度算出部４７０の信頼度がいくつになるかを事前に計測しておき、その閾値をあらかじめ保持しておく。画像診断部５０１は信頼度算出部４７０が出力した結果（信頼度）と前記閾値に基づいて、信頼度が閾値を超過した場合、外部出力部４５０から異常を通知する。
　すなわち、画像診断部５０１は、対象領域の視差（測定値）の分散が閾値を超えた場合、対象領域の視差（測定値）が異常であると診断する。これにより、対象領域の視差（測定値）の異常を判定することができる。
　異常が通知された場合は、車両制御システムは異常状態を運転手に通知し、ブレーキ制御や操舵制御を中止し、誤動作を防ぐことができる。前記閾値に対する前記信頼度の余裕度に応じて段階的にシステムを停止することで、操舵操作は停止し、緊急ブレーキなどは制御を継続するといった制御が可能になり、利便性と信頼性を両立することができる。
　［実施例５］（レンズ歪みを検出する例）
　第４の実施例において、特定のシーンに対する信頼度算出部４７０の信頼度がいくつになるかを事前に計測しておき、その閾値をあらかじめ保持しておく。
　特定のシーンで再度撮影したときに、信頼度に差異があった場合、鉛直ずれ以外のずれが発生したことを検出できる。
　これにより、カメラが鉛直方向にずれたのかそれ以外の要因でずれたのかを分離することができ、画像の補正量をより正確に求めることができる。また、鉛直方向のずれやそれ以外の要因でのずれのそれぞれに異常判定の閾値を設けることで、意図しない構造ずれに対して異常判断をし、鉛直ずれに対しては判断を保留するなど、より緻密な診断をすることができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　なお、本発明の実施例は、以下の態様であってもよい。
　（１）．画像にオフセットを付加するオフセット付加部と、時系列の前記画像の画素毎の移動量を算出する移動量算出部と、オフセット量に基づいて前記画素毎の信頼度を算出する信頼度算出部と、を備えることを特徴とする画像処理装置。
　（２）．画像を得る複数の撮像部と、前記画像から視差を算出する視差算出部と、前記視差算出の際に鉛直方向のオフセットを付加するオフセット付加部と、前記視差の差分を算出する差分算出部と、前記視差の差に基づいて信頼度を算出する信頼度算出部と、を備えることを特徴とする画像処理装置。
　（３）．（１）、（２）において、前記オフセット付加部は、周期的に前記オフセットを付与して、特定エリアの距離または移動量の分散を算出して、前記信頼度算出部は、前記分散の時系列変動を前記信頼度として出力することを特徴とする画像処理装置。
　（４）．（１）から（３）において、画像診断部を備え、前記オフセット付加部に付加するオフセット量と、特定エリアの距離または移動量の分散を算出して、特定エリアの距離または移動量があらかじめ保持する閾値を超えた場合、前記画像診断部が異常を検出することを特徴とする画像処理装置。
２１０…物体（電信柱）
２００…車両（自動車）
３００、４００、５００…画像処理装置

Claims (9)

  1. 　少なくとも第１画像と第２画像を蓄積する画像蓄積部と、
    　前記第２画像に縦方向のオフセットを付与するオフセット付与部と、
    　前記オフセットを付与する前後において前記第１画像の画素とそれに対応する前記第２画像の画素から測定値を算出する測定値算出部と、
    　前記オフセットを付与する前後の前記測定値の差分を算出する差分算出部と、
    　前記測定値の差分から画素毎の信頼度を算出する信頼度算出部と、　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記第１画像及び前記第２画像は、
    　単眼カメラで撮像された時系列の画像であり、
    　前記測定値算出部は、
    　画素毎の移動量を前記測定値として算出することを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記第１画像及び前記第２画像は、
    　ステレオカメラで撮像された一対の画像であり、
    　前記測定値算出部は、
    　画素毎の視差を前記測定値として算出することを特徴とする画像処理装置。
  4. 　請求項１に記載の画像処理装置であって、
    　前記オフセット付与部は、
    　周期的に前記オフセットを付与し、
    　前記信頼度算出部は、
    　対象領域における前記測定値の分散の時系列変動を前記信頼度として出力することを特徴とする画像処理装置。
  5. 　請求項４に記載の画像処理装置であって、
    　前記対象領域の前記測定値の分散が閾値を超えた場合、前記対象領域の前記測定値が異常であると診断する画像診断部を備えることを特徴とする画像処理装置。
  6. 　請求項１に記載の画像処理装置であって、
    　前記信頼度算出部は、
    　前記測定値の分散又は前記測定値の差分の絶対値和から画素毎の前記信頼度を算出する　ことを特徴とする画像処理装置。
  7. 　請求項６に記載の画像処理装置であって、
    　前記測定値は、
    　画素に対応する対象物までの距離であることを特徴とする画像処理装置。
  8. 　請求項１に記載の画像処理装置であって、
    　前記測定値の差分が大きいほど、前記信頼度は小さいことを特徴とする画像処理装置。
  9. 　請求項３に記載の画像処理装置であって、
    　前記信頼度が閾値を超える測定値を用いてグルーピングを行い、物体を検知する物体検知部を備えることを特徴とする画像処理装置。
PCT/JP2020/003860 2019-02-12 2020-02-03 画像処理装置 WO2020166403A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202080012454.4A CN113424021B (zh) 2019-02-12 2020-02-03 图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019022432A JP7134113B2 (ja) 2019-02-12 2019-02-12 画像処理装置
JP2019-022432 2019-02-12

Publications (1)

Publication Number Publication Date
WO2020166403A1 true WO2020166403A1 (ja) 2020-08-20

Family

ID=72044898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003860 WO2020166403A1 (ja) 2019-02-12 2020-02-03 画像処理装置

Country Status (3)

Country Link
JP (1) JP7134113B2 (ja)
CN (1) CN113424021B (ja)
WO (1) WO2020166403A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011058876A1 (ja) * 2009-11-13 2011-05-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
JP2013024773A (ja) * 2011-07-22 2013-02-04 Canon Inc ３次元計測方法
WO2013062087A1 (ja) * 2011-10-28 2013-05-02 富士フイルム株式会社 ３次元測定用撮像装置及び３次元測定装置、測定プログラム
JP2019002787A (ja) * 2017-06-15 2019-01-10 日立オートモティブシステムズ株式会社 ステレオカメラ装置
WO2020017336A1 (ja) * 2018-07-19 2020-01-23 日立オートモティブシステムズ株式会社 物体検知装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2430102A (en) * 2005-09-09 2007-03-14 Snell & Wilcox Ltd Picture loss detection by comparison of plural correlation measures
JP5446516B2 (ja) * 2009-07-01 2014-03-19 コニカミノルタ株式会社 画像処理装置
JP2013113600A (ja) * 2011-11-25 2013-06-10 Sharp Corp ステレオ３次元計測装置
US9014463B2 (en) * 2011-11-25 2015-04-21 Kyungpook National University Industry-Academic Cooperation Foundation System for real-time stereo matching
JP2015106807A (ja) * 2013-11-29 2015-06-08 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JP2015215235A (ja) * 2014-05-09 2015-12-03 トヨタ自動車株式会社 物体検出装置及び物体検出方法
CN106920233B (zh) * 2017-02-24 2019-10-08 中国人民解放军国防科学技术大学 基于图像处理的划痕检测方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011058876A1 (ja) * 2009-11-13 2011-05-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
JP2013024773A (ja) * 2011-07-22 2013-02-04 Canon Inc ３次元計測方法
WO2013062087A1 (ja) * 2011-10-28 2013-05-02 富士フイルム株式会社 ３次元測定用撮像装置及び３次元測定装置、測定プログラム
JP2019002787A (ja) * 2017-06-15 2019-01-10 日立オートモティブシステムズ株式会社 ステレオカメラ装置
WO2020017336A1 (ja) * 2018-07-19 2020-01-23 日立オートモティブシステムズ株式会社 物体検知装置

Also Published As

Publication number Publication date
CN113424021B (zh) 2023-07-28
CN113424021A (zh) 2021-09-21
JP2020128955A (ja) 2020-08-27
JP7134113B2 (ja) 2022-09-09

Similar Documents

Publication Publication Date Title
JP6167525B2 (ja) 距離計測装置及び車両
JP6317456B2 (ja) 車両用のステレオ／ビデオシステム内の相対的なヨー角の変化を検知するための方法および制御装置
WO2013132947A1 (ja) 距離算出装置及び距離算出方法
JP6138861B2 (ja) 距離算出装置
WO2013132951A1 (ja) 距離算出装置及び距離算出方法
US10595003B2 (en) Stereo camera apparatus and vehicle comprising the same
JP6035774B2 (ja) 画像処理装置、画像処理方法、及び車両
JP6221464B2 (ja) ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
WO2017042998A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
WO2020166403A1 (ja) 画像処理装置
EP4235574A1 (en) Measuring device, moving device, measuring method, and storage medium
CN111989541B (zh) 立体摄像机装置
WO2017042995A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
EP4015990A1 (en) Image processing device
CN112470456B (zh) 铁路车辆用摄像系统
JP6443502B2 (ja) 画像処理装置、撮影装置、制御システム、移動体、及びプログラム
JP7064400B2 (ja) 物体検知装置
EP3879810A1 (en) Imaging device
US11010625B2 (en) Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle
JP2020042716A (ja) 異常検出装置および異常検出方法
JP7491024B2 (ja) 物体検出装置、及びプログラム
EP4030746A1 (en) Image processing device and stereo camera device using same
JP2016176919A (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP6607764B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20754978

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20754978

Country of ref document: EP

Kind code of ref document: A1