WO2024127757A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2024127757A1
WO2024127757A1 PCT/JP2023/033714 JP2023033714W WO2024127757A1 WO 2024127757 A1 WO2024127757 A1 WO 2024127757A1 JP 2023033714 W JP2023033714 W JP 2023033714W WO 2024127757 A1 WO2024127757 A1 WO 2024127757A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
images
image processing
reliability
processing device
Prior art date
Application number
PCT/JP2023/033714
Other languages
English (en)
French (fr)
Inventor
和也 君田
英彰 城戸
耕太 入江
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2024127757A1 publication Critical patent/WO2024127757A1/ja

Links

Images

Definitions

  • the present invention relates to an image processing device.
  • in-vehicle camera devices which are image recognition devices that recognize objects based on captured images
  • stereo camera devices that detect objects using two cameras arranged on the left and right simultaneously measure visual information from images and distance information to the object, allowing for detailed understanding of various objects around the vehicle (people, cars, three-dimensional objects, road surfaces, road signs, signboards, etc.), contributing to improved safety during driving assistance.
  • Stereo cameras calculate distance from the disparity, which is the difference between the positions of the same object captured by the left and right cameras. If the object is farther away, the disparity will be smaller, and if the object is closer, the disparity will be larger.
  • images In a stereo camera, images must be captured with the cameras synchronized. If the cameras are out of sync, that is, if one of the cameras has a time delay, the other camera will capture the image of the object after it has moved the amount of the time delay. As a result, the projection position of the object on the image will be different from when two cameras capture images at the same time, an incorrect parallax will be observed, and the distance to the object will be erroneously estimated. For example, if an object on the side of the road is captured while a vehicle is traveling, the vehicle may use the incorrectly estimated distance to decide to avoid a collision, which could result in a collision accident. In particular, with a camera that captures images with a rolling shutter, images are captured sequentially for each line of the image, which creates a time delay between the lines, and the shift in the projection position of the object due to the time delay will be noticeable.
  • Patent Document 1 JP 2019-62255 A describes a stereo image processing device that includes a stereo imaging unit that captures multiple images from different viewpoints, a synchronization unit that synchronizes the imaging time when capturing multiple images, an image correction unit that parallelizes and outputs the multiple images captured by the stereo imaging unit, a parallax measurement unit that detects parallax based on the image output by the image correction unit, and an object detection unit that detects an object based on the parallax measured by the parallax measurement unit, a delay amount holding unit that holds, for each pixel, the delay time from the imaging time synchronized by the synchronization unit, and an object parallax correction unit that corrects the parallax of the object detected by the object detection unit based on the delay time held by the delay amount holding unit.
  • Patent Document 1 employs an approach in which, in a rolling shutter stereo camera, parallax error resulting from the difference in image capturing time between the left and right cameras of the same object area is corrected, and is not an approach in which one with the smallest distance measurement error is selected from multiple distance measurement means.
  • the background technology does not intend to switch between compound eye distance measurement and single eye distance measurement to use the most suitable one, and is difficult to apply to configurations with three or more cameras or configurations with distance measurement devices other than cameras, making it poorly scalable.
  • the present invention was made in consideration of the above-mentioned circumstances, and aims to select a distance measurement method with small distance measurement error, thereby reducing errors in estimated distances that arise due to differences in the capture times of multiple images.
  • the image processing device includes an image acquisition unit that acquires multiple images captured by multiple cameras, a first distance estimation unit that estimates the distance to an object using the multiple images, a second distance estimation unit that estimates the distance to the object using at least one of the multiple images, an image capture time calculation unit that calculates the image capture times of at least some of the pixels included in the multiple images, a reliability calculation unit that calculates the reliability of the multiple images based on the difference between the image capture times of the pixels in the multiple images, and a distance determination unit that determines the distance to the object using the reliability and the distance estimated by at least one of the first distance estimation unit or the second distance estimation unit.
  • the distance to an object can be estimated with high accuracy.
  • FIG. 1 is a schematic configuration diagram of an image processing apparatus according to a first embodiment of the present invention
  • 11 is a flowchart of a distance determination process executed by the image processing apparatus according to the first embodiment.
  • FIG. 11 is a schematic diagram of an image processing apparatus according to a second embodiment of the present invention
  • 13 is a flowchart of a distance determination process executed by an image processing apparatus according to a second embodiment.
  • FIG. 1 is a schematic diagram of an image processing device 1 according to a first embodiment of the present invention.
  • the image processing device 1 illustrated in FIG. 1 is a computer that estimates the distance to an object using a camera installed on a moving body such as a vehicle.
  • the image processing device 1 functions as image acquisition units 101a and 101b, a first distance estimation unit 102, a second distance estimation unit 103a and 103b, an image capture time calculation unit 104a and 104b, a reliability calculation unit 105, and a distance determination unit 106 by executing a program stored in a storage medium (not shown).
  • FIG. 1 shows an example in which the image processing device 1 has two image acquisition units 101a and 101b, and accordingly, two second distance estimation units 103a and 103b and two image capture time calculation units 104a and 104b are also provided.
  • the image acquisition unit 101a acquires images from an in-vehicle camera or the like, and passes them to the first distance estimation unit 102, the second distance estimation unit 103a, and the image capture time calculation unit 104a.
  • the image acquisition unit 101b acquires images from an in-vehicle camera or the like, and passes them to the first distance estimation unit 102, the second distance estimation unit 103b, and the image capture time calculation unit 104b.
  • the first distance estimation unit 102 estimates the distance to the object using a pair of images of the object acquired by the image acquisition unit 101a and an image of the object acquired by the image acquisition unit 101b. Note that known techniques can be used to estimate the distance to the object using images acquired from the multiple image acquisition units 101a and 101b. For example, the distance can be estimated using the parallax of the same object in the two images.
  • the second distance estimation unit 103a estimates the distance to the object using an image of the object acquired from the corresponding image acquisition unit 101a.
  • the second distance estimation unit 103b estimates the distance to the object using an image of the object acquired from the corresponding image acquisition unit 101b.
  • known techniques can be used to estimate the distance to the object using an image acquired from a single image acquisition unit. For example, in a monocular camera, time-series motion analysis or geometric analysis of the camera can be used.
  • the second distance estimation units 103a and 103b may measure the distance to the object using a method that does not use an image, that is, they may measure the distance based on data acquired by a sensor other than a camera.
  • the imaging time calculation units 104a and 104b calculate the imaging time of each pixel on the image using the imaging start time, exposure time, and image resolution of the images acquired from the image acquisition units 101a and 101b, respectively. For example, if the imaging start time is t0 , the exposure time is te , and the image resolution is (w, h), the imaging time t of a pixel at coordinates (x, y) in the case of a rolling shutter type camera image can be calculated by the following formula.
  • the image capturing time t is determined by the position of the pixel in the image, so that the image capturing time t may be calculated based only on the pixel position.
  • the image capture time t can be calculated using the following formula, independent of pixel coordinates.
  • the reliability calculation unit 105 calculates the reliability of a set of pixels recognized as the same object from the difference in the imaging times of the pixels recognized as the same object on multiple images.
  • the reliability is defined so that it increases as the difference in the imaging times between the pixels recognized as the same object decreases, and is maximum when the difference is 0.
  • the reliability R is defined by the following formula.
  • k1 and ⁇ 1 are positive weighting coefficients, and may be determined in advance based on the estimation results of the image and distance.
  • the weighting coefficients k1 and ⁇ 1 may be predetermined values, but may be changed depending on the driving scene.
  • the reliability R may be defined by the following formula using the relative speed v with respect to the object.
  • k2 and ⁇ 2 are positive weighting coefficients, and may be determined in advance based on the image and distance estimation results.
  • the weighting coefficients k2 and ⁇ 2 may be predetermined values, but may be changed depending on the driving scene.
  • the reliability of the region in which the object is reflected on the image may be calculated from the reliability of the pair of associated pixels.
  • the region for which the reliability is calculated may be the region in which the object is recognized, a small region obtained by dividing the image by a predetermined grid, or a region obtained by geometrically dividing the distant and nearby regions.
  • the reliability of the object region may be a statistical value (e.g., average or median) of the reliability of pixels recognized as the same object within the object region on multiple images. A different image may be used for each region.
  • the distance determination unit 106 selects the distance value to be finally adopted as the output from among the distance estimation result by the first distance estimation unit 102 and the distance estimation result by the second distance estimation units 103a and 103b based on the reliability calculated by the reliability calculation unit 105. For example, if the reliability value is greater than a predetermined threshold, the distance estimation result by the first distance estimation unit 102 is adopted, and if the reliability value is less than the threshold, the distance estimation result by the second distance estimation units 103a and 103b is adopted. The aforementioned threshold value may be determined based on the driving record. Also, if distance estimation results are obtained by both the second distance estimation units 103a and 103b, the smaller value may be adopted, and if a distance estimation result is obtained by either one of them, the obtained value may be adopted.
  • the configuration further includes a third distance estimation unit that measures the distance to the object using a method that does not use an image
  • the distance estimation result by the third distance estimation unit may be used if the reliability of the distance estimation using an image is low.
  • the image processing device 1 When the image processing device 1 is implemented in an on-board electronic control device, for example, it is a computer having an arithmetic unit, a storage device, and a communication interface.
  • the arithmetic unit is a processor (e.g., a microcomputer) that executes programs stored in the storage device.
  • the arithmetic unit executes specific programs to operate as a functional unit that provides various functions of the image processing device 1.
  • the storage device includes a non-volatile storage area and a volatile storage area.
  • the non-volatile storage area includes a program area that stores programs executed by the arithmetic unit, and a data area that temporarily stores data used by the arithmetic unit when executing a program.
  • the volatile storage area stores data used by the arithmetic unit when executing a program.
  • the communication interface connects to other electronic control devices via a network such as CAN or Ethernet.
  • Figure 2 is a flowchart showing the distance determination process executed by the image processing device 1 shown in Figure 1.
  • image acquisition units 101a and 101b acquire images from an on-board camera, etc.
  • the image capture time calculation units 104a and 104b extract feature points, which are points characterized by changes in shading, from the image acquired in process S201.
  • Publicly known techniques can be used for the process of extracting feature points from an image.
  • the image capture time calculation units 104a and 104b perform a matching process to match points that are considered to be the same points in the three-dimensional world coordinate system between multiple images, among the feature points extracted in process S202.
  • the imaging time calculation units 104a and 104b calculate the imaging time of each feature point matched in process S203.
  • the reliability calculation unit 105 uses the imaging time of each feature point calculated in process S204 to calculate the reliability of each feature point pair from the difference in imaging time between each feature point pair matched in process S203.
  • the distance determination unit 106 determines whether the reliability calculated in process S205 is equal to or greater than a predetermined threshold.
  • the distance determination unit 106 outputs the distance estimation result by the first distance estimation unit 102 as a distance value.
  • the distance determination unit 106 outputs the distance estimation result by the second distance estimation unit 103a or the second distance estimation unit 103b as a distance value.
  • a distance value to be output is selected from the estimation results of multiple distance estimation units based on the reliability calculated from the difference in imaging time between pairs of associated feature points, so that a distance with small error due to the difference in imaging time can be output.
  • distance measurement errors caused by parallax can be reduced, and accurate distances to surrounding objects can be obtained, allowing driving assistance systems to more accurately time danger avoidance and warnings, and safely control the vehicle.
  • Example 2 Second Embodiment A second embodiment of the present invention will be described with reference to the drawings.
  • the same configurations and functions as those in the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted.
  • FIG. 3 is a schematic diagram of an image processing device 1 according to a second embodiment of the present invention.
  • the image processing device 1 has image acquisition units 101a, 101b, 101c, a first distance estimation unit 102, a second distance estimation unit 103, image capture time calculation units 104a, 104b, 104c, reliability calculation units 105a, 105b, and a distance determination unit 106.
  • FIG. 3 shows an example in which the image processing device 1 has three image acquisition units 101a, 101b, 101c, and therefore three image capture time calculation units and two reliability calculation units are provided.
  • the first distance estimation unit 102 estimates the distance to the object using a pair of images of the object acquired by the image acquisition unit 101a and images of the object acquired by the image acquisition unit 101b.
  • the second distance estimation unit 103 estimates the distance to the object using a pair of images of the object acquired by the image acquisition unit 101b and images of the object acquired by the image acquisition unit 101c.
  • the first distance estimation unit 102 and the second distance estimation unit 103 may estimate the distance using images acquired by any two cameras, but may also be a combination of any two of the three cameras from which the image processing device 1 of Example 2 acquires images.
  • one of the cameras may be combined with a distance measurement means that measures the distance to the object using a method that does not use images, that is, that uses data acquired by a sensor other than a camera.
  • the imaging time calculation units 104a to 104c calculate the imaging times of the pixels on the images acquired by the image acquisition units 101a to 101c, respectively.
  • the reliability calculation unit 105a calculates the reliability using the imaging time calculated by the imaging time calculation unit 104a and the imaging time calculated by the imaging time calculation unit 104b.
  • the reliability calculation unit 105b calculates the reliability using the imaging time calculated by the imaging time calculation unit 104b and the imaging time calculated by the imaging time calculation unit 104c.
  • the distance determination unit 106 selects and outputs either the result of the distance estimation to the object by the first distance estimation unit 102 or the result of the distance estimation to the object by the second distance estimation unit 103 based on the reliability calculated by the reliability calculation unit 105a and the reliability calculated by the reliability calculation unit 105b.
  • FIG. 4 is a flowchart of the distance determination process executed by the image processing device 1 of FIG. 3.
  • image acquisition units 101a, 101b, and 101c acquire images from an on-board camera, etc.
  • the image capture time calculation units 104a, 104b, and 104c extract feature points, which are points characterized by changes in shading, from the image acquired in process S401.
  • Publicly known techniques can be used for the process of extracting feature points from an image.
  • the image capture time calculation units 104a, 104b, and 104c execute a matching process to match points that are considered to be the same points in the three-dimensional world coordinate system between multiple images, among the feature points extracted in process S402.
  • the imaging time calculation units 104a, 104b, and 104c calculate the imaging time of each feature point matched in process S403.
  • the reliability calculation units 105a and 105b use the imaging times of each feature point calculated in process S404 to calculate the reliability of each feature point pair from the difference in imaging time between each feature point pair matched in process S403.
  • the reliability calculation unit 105a calculates the reliability from the imaging time calculated by the imaging time calculation unit 104a and the imaging time calculated by the imaging time calculation unit 104b as reliability 1
  • the reliability calculation unit 105b calculates the reliability from the imaging time calculated by the imaging time calculation unit 104b and the imaging time calculated by the imaging time calculation unit 104c as reliability 2.
  • the distance determination unit 106 determines which of reliability 1 and reliability 2 calculated in process S405 is greater.
  • the distance determination unit 106 outputs the distance estimation result obtained by the first distance estimation unit 102.
  • process S408 if reliability 1 is smaller than reliability 2, the distance determination unit 106 outputs the distance estimation result obtained by the second distance estimation unit 103.
  • a distance value to be output is selected from the estimation results of multiple distance estimation units based on the reliability calculated from the difference in imaging time between pairs of associated feature points, so that a distance with small error due to the difference in imaging time can be output.
  • the reliability of pairs of pixels or regions that are associated between images is calculated from the shooting times of the pixels on the acquired images, and the distance estimated using the pair with the highest reliability is adopted, making it possible to output a distance with a small estimation error due to the difference in shooting times.
  • the present invention is not limited to the above-described embodiments, but includes various modified examples and equivalent configurations within the spirit of the appended claims.
  • the above-described embodiments have been described in detail to clearly explain the present invention, and the present invention is not necessarily limited to having all of the configurations described.
  • part of the configuration of one embodiment may be replaced with the configuration of another embodiment.
  • the configuration of another embodiment may be added to the configuration of one embodiment.
  • part of the configuration of each embodiment may be added, deleted, or replaced with other configurations.
  • each of the configurations, functions, processing units, processing means, etc. described above may be realized in part or in whole in hardware, for example by designing them as integrated circuits, or may be realized in software by a processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be stored in a storage device such as a memory, hard disk, or SSD (Solid State Drive), or in a recording medium such as an IC card, SD card, or DVD.
  • a storage device such as a memory, hard disk, or SSD (Solid State Drive)
  • a recording medium such as an IC card, SD card, or DVD.
  • control lines and information lines shown are those considered necessary for explanation, and do not necessarily represent all control lines and information lines necessary for implementation. In reality, it is safe to assume that almost all components are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

複数のカメラの各々によって撮像された複数の画像を取得する画像取得部と、前記複数の画像を用いて、対象物までの距離を推定する第一の距離推定部と、前記複数の画像の少なくとも一つを用いて、前記対象物までの距離を推定する第二の距離推定部と、前記複数の画像に含まれる少なくとも一部の画素の撮像時刻を求める撮像時刻演算部と、前記複数の画像における前記画素の撮像時刻の差に基づいて、前記複数の画像の信頼度を求める信頼度演算部と、前記第一の距離推定部又は前記第二の距離推定部の少なくとも一方により推定された距離と、前記信頼度とを用いて、前記対象物までの距離を決定する距離決定部と、を備える画像処理装置。

Description

画像処理装置及び画像処理方法 参照による取り込み
　本出願は、令和４年（２０２２年）１２月１６日に出願された日本出願である特願２０２２－２０１５３２の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、画像処理装置に関する。
　撮像した画像に基づいて対象物を認識する画像認識装置である車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まっている。なかでも、左右に並べた二つのカメラで物体を検出するステレオカメラ装置は、画像による視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与している。
　ステレオカメラは、左右のカメラで撮像される同一物体の位置の差分である視差から距離を算出する。対象物までの距離が遠ければ視差が小さくなり、対象物までの距離が近ければ視差が大きくなる。
　ステレオカメラにおいては、カメラの時刻が同期された状態で撮像する必要がある。カメラの同期がずれた状態、すなわち片方のカメラに時間遅れが発生している状態で撮像した場合、片方のカメラでは時間遅れ分移動した後に物体が撮影される。その結果、２カメラで同時刻に撮影した場合に比べて画像上における物体の投影位置が異なり、誤った視差が観測され、物体までの距離が誤って推定される。例えば、車両が走行中に道路脇の物体を撮影した場合、誤って推定された推定した距離を用いて衝突回避を判定し、衝突事故が生じる可能性がある。特に、ローリングシャッタで撮像するカメラでは、画像のラインごとに逐次的に撮像するため、ライン間でも時刻の遅延が発生するため、時間遅れによる物体の投影位置のずれが顕著になる。
　本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１９－６２２５５号公報）には、視点の異なる複数の画像を撮像するステレオ撮像部と、複数の画像を撮像する際に撮像時刻を同期させる同期部と、ステレオ撮像部により撮像された複数の画像を平行化して出力する画像補正部と、画像補正部で出力される画像に基づいて視差を検出する視差計測部と、視差計測部で計測された視差に基づいて物体を検出する物体検出部と、を備え、同期部によって同期された撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、遅延量保持部が保持する遅延時間に基づいて物体検出部によって検出された物体の視差を補正する物体視差補正部と、を備えるステレオ画像処理装置が記載されている。
　しかしながら、特許文献１に開示されている技術は、ローリングシャッタ方式のステレオカメラにおいて、同一物体領域の左右カメラでの撮像時刻の差に起因する視差誤差を補正するアプローチを採用しており、複数の測距手段から測距誤差が小さいものを選択するアプローチではない。このため、背景技術は、複眼測距と単願測距を切り換えて最適なものを使用することを意図しておらず、３個以上のカメラを有する構成や、カメラ以外の測距装置を有する構成には適用が困難であり、拡張性が低いものである。
　本発明は、前述した事情を鑑みてなされたものであり、測距誤差が小さい測距手段を選択し、複数の画像の撮像時刻の差に起因して生じる推定距離の誤差の低減を目的とする。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、複数のカメラの各々によって撮像された複数の画像を取得する画像取得部と、前記複数の画像を用いて、対象物までの距離を推定する第一の距離推定部と、前記複数の画像の少なくとも一つを用いて、前記対象物までの距離を推定する第二の距離推定部と、前記複数の画像に含まれる少なくとも一部の画素の撮像時刻を求める撮像時刻演算部と、前記複数の画像における前記画素の撮像時刻の差に基づいて、前記複数の画像の信頼度を求める信頼度演算部と、前記第一の距離推定部又は前記第二の距離推定部の少なくとも一方により推定された距離と、前記信頼度とを用いて、前記対象物までの距離を決定する距離決定部と、を備える画像処理装置である。
　本発明の一態様によれば、対象物までの距離の精度よく推定できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
実施例１の画像処理装置の概略構成図である。 実施例１の画像処理装置が実行する距離決定処理のフローチャートである。 実施例２の画像処理装置の概略構成図である。 実施例２の画像処理装置が実行する距離決定処理のフローチャートである。
　以下、実施例について図面を用いて説明する。
　（実施例１）
　図１は、本発明の実施例１の画像処理装置１の概略構成図である。図１に例示される画像処理装置１は、車両などの移動体に設置されたカメラを用いて対象物までの距離を推定するコンピュータである。画像処理装置１は、不図示の記憶媒体に記憶されたプログラムの実行によって、画像取得部１０１ａ、１０１ｂ、第１距離推定部１０２、第２距離推定部１０３ａ、１０３ｂ、撮像時刻演算部１０４ａ、１０４ｂ、信頼度演算部１０５、及び距離決定部１０６として機能する。図１は、画像処理装置１が２個の画像取得部１０１ａ、１０１ｂを有し、これに伴い第２距離推定部１０３ａ、１０３ｂ、撮像時刻演算部１０４ａ、１０４ｂもそれぞれ２個設けられる例を示す。
　画像取得部１０１ａは、車載カメラ等から画像を取得し、第１距離推定部１０２、第２距離推定部１０３ａ、撮像時刻演算部１０４ａへ渡す。画像取得部１０１ｂは、車載カメラ等から画像を取得し、第１距離推定部１０２、第２距離推定部１０３ｂ、撮像時刻演算部１０４ｂへ渡す。
　第１距離推定部１０２は、画像取得部１０１ａが取得し、対象物を撮影した画像と、画像取得部１０１ｂが取得し、対象物を撮影した画像の組を用いて、対象物までの距離を推定する。尚、複数の画像取得部１０１ａ、１０１ｂから取得した画像を用いた対象物までの距離の推定には、公知の技術が使用できる。例えば、二つの画像上における同じ物体の視差を用いて距離を推定できる。
　第２距離推定部１０３ａは、対応する画像取得部１０１ａから取得した対象物を撮影した画像を用いて、対象物までの距離を推定する。同様に、第２距離推定部１０３ｂは、対応する画像取得部１０１ｂから取得した対象物を撮影した画像を用いて、対象物までの距離を推定する。尚、単一の画像取得部から取得した画像を用いた対象物までの距離の推定には、公知の技術が使用できる。例えば、単眼カメラにおいては、時系列モーション解析や、カメラの幾何学的解析を使用できる。第２距離推定部１０３ａ、１０３ｂは、画像を用いない方法によって対象物との距離を測定する、すなわち、カメラ以外のセンサが取得したデータに基づいて距離を測定してもよい。
　撮像時刻演算部１０４ａ、１０４ｂは、画像取得部１０１ａ、１０１ｂから、それぞれ取得した画像の撮像開始時刻、露光時間、及び画像の解像度を用いて、画像上の各画素の撮像時刻を算出する。例えば、撮像開始時刻をｔ0、露光時間をｔe、画像の解像度を（ｗ，ｈ）とすると、ローリングシャッタ方式のカメラ画像の場合の座標（ｘ，ｙ）の画素の撮像時刻ｔは、次式によって算出できる。
Figure JPOXMLDOC01-appb-M000001
　露光時間ｔeが一定の場合、撮像時刻ｔは画像中の画素の位置によって定まるので、画素の位置だけで撮像時刻ｔを計算してもよい。
　また、グローバルシャッタ方式のカメラ画像の場合は、画素の座標に依存せず、撮像時刻ｔは次式によって算出できる。
Figure JPOXMLDOC01-appb-M000002
　信頼度演算部１０５は、複数の画像上で同一物体として認識される画素の撮像時刻の差から、同一物体として認識される画素の組の信頼度を算出する。信頼度は、同一物体として認識される画素間の撮影時刻の差が小さいほど大きくなり、差が０の場合に最大となるように定義する。例えば、同一物体として認識される画素の撮像時刻をそれぞれｔ1、ｔ2とする時、信頼度Ｒを次式で定義する。
Figure JPOXMLDOC01-appb-M000003
　但し、ｋ1とα1は正の重みづけ係数で、画像と距離の推定結果から予め定めるとよい。重みづけ係数ｋ1とα1は、予め定めた所定値でよいが、走行シーンで変えてもよい。又は、対象物との相対速度が大きい方がローリングシャッタ方式のカメラ画像上での位置ずれが大きい事を鑑み、対象物との相対速度ｖを用いて、信頼度Ｒを次式で定義してもよい。
Figure JPOXMLDOC01-appb-M000004
　但し、ｋ2とα2は正の重みづけ係数で、画像と距離の推定結果から予め定めるとよい。重みづけ係数ｋ2とα2は、予め定めた所定値でよいが、走行シーンで変えてもよい。
　さらに、対応付けした画素の組の信頼度から、画像上に対象物が映り込んだ領域の信頼度を算出してもよい。信頼度が算出される領域は、物体が認識された領域でも、画像を所定のグリッドで分割した小領域でも、遠方と近傍を幾何学的に分割した領域でもよい。例えば、複数の画像上における対象物領域内の同一物体として認識される画素の信頼度の統計値（例えば、平均値や中央値）を対象物領域の信頼度としてよい。領域毎に使用する画像を変えてもよい。
　距離決定部１０６は、信頼度演算部１０５で算出した信頼度に基づいて、第１距離推定部１０２による距離推定結果と第２距離推定部１０３ａ、１０３ｂによる距離推定結果の中から、最終的に出力として採用する距離の値を選択する。例えば、予め定めた閾値より信頼度の値が大きい場合は第１距離推定部１０２による距離推定結果を採用し、当該閾値より信頼度の値が小さい場合は第２距離推定部１０３ａ、１０３ｂによる距離推定結果を採用するとよい。前述した閾値は、走行実績によって決めるとよい。また、２個の第２距離推定部１０３ａと１０３ｂの両方で距離推定結果が得られている場合は小さい値を採用し、いずれか一方で距離推定結果が得られている場合は得られた値を採用するとよい。
　又は、画像を用いない方法によって対象物との距離を測定する第３距離推定部をさらに有する構成の場合、画像を用いた距離推定の信頼度が低い場合には第３距離推定部による距離推定結果を採用してもよい。
　画像処理装置１は、例えば、車載電子制御装置に実装される場合、演算装置、記憶装置、及び通信インターフェースを有するコンピュータである。演算装置は、記憶装置に格納されたプログラムを実行するプロセッサ（例えばマイコン）である。演算装置が、所定のプログラムを実行することによって、画像処理装置１の各種機能を提供する機能部として動作する。記憶装置は、不揮発性記憶領域及び揮発性記憶領域を含む。不揮発性記憶領域は、演算装置が実行するプログラムを格納するプログラム領域と、演算装置がプログラム実行時に使用するデータを一時的に格納するデータ領域を含む。揮発性記憶領域は、演算装置がプログラム実行時に使用するデータを格納する。通信インターフェースは、ＣＡＮやイーサネットなどのネットワークを介して他の電子制御装置と接続する。
　次に、フローチャートを用いて画像処理装置１の処理手順を説明する。図２は、図１に示す画像処理装置１が実行する距離決定処理を示すフローチャートである。
　処理Ｓ２０１では、画像取得部１０１ａ、１０１ｂが車載カメラ等から画像を取得する。
　処理Ｓ２０２では、撮像時刻演算部１０４ａ、１０４ｂが、処理Ｓ２０１で取得した画像上から濃淡の変化等が特徴的な点である特徴点を抽出する。画像から特徴点を抽出する処理には公知の技術が使用できる。
　処理Ｓ２０３では、撮像時刻演算部１０４ａ、１０４ｂが、処理Ｓ２０２で抽出された特徴点のうち、３次元世界座標系において同一点と思われる点を複数の画像間で対応付けるマッチング処理を実行する。
　処理Ｓ２０４では、撮像時刻演算部１０４ａ、１０４ｂが、処理Ｓ２０３でマッチングした各特徴点の撮像時刻を算出する。
　処理Ｓ２０５では、信頼度演算部１０５が、処理Ｓ２０４で算出した各特徴点の撮像時刻を用いて、処理Ｓ２０３でマッチングした各特徴点の組の撮像時間の差から各特徴点の組の信頼度を算出する。
　処理Ｓ２０６では、距離決定部１０６が、処理Ｓ２０５で算出した信頼度が所定の閾値以上であるか否かを判定する。
　処理Ｓ２０７では、信頼度が所定の閾値以上である場合、距離決定部１０６が、第１距離推定部１０２による距離推定結果を距離値として出力する。
　処理Ｓ２０８では、信頼度が所定の閾値より小さい場合、距離決定部１０６が、第２距離推定部１０３ａ又は第２距離推定部１０３ｂによる距離推定結果を距離値として出力する。
　以上に説明したように、実施例１によると、対応付けた特徴点の組における撮像時刻の差から算出した信頼度に基づいて、複数の距離推定部の推定結果の中から出力する距離値を選択するので、撮像時刻の差に起因する誤差が小さい距離を出力できる。
　また、視差に起因する測距誤差を小さくでき、周辺物体までの正確な距離が得られるので、運転支援システムにおける危険回避や警告のタイミングが正確になり、安全に車両を制御できる。
　（実施例２）
　本発明の実施例２について図面を参照して説明する。実施例２において、実施例１と同じ構成及び機能には、同じ符号を付して、それらの説明は省略する。
　図３は、本発明の実施例２の画像処理装置１の概略構成図である。図３に示すように、画像処理装置１は、画像取得部１０１ａ、１０１ｂ、１０１ｃ、第１距離推定部１０２、第２距離推定部１０３、撮像時刻演算部１０４ａ、１０４ｂ、１０４ｃ、信頼度演算部１０５ａ、１０５ｂ、距離決定部１０６を有する。図３は、画像処理装置１が３個の画像取得部１０１ａ、１０１ｂ、１０１ｃを有し、これに伴い、撮像時刻演算部が３個設けられ、信頼度演算部が２個設けられる例を示す。
　第１距離推定部１０２は、画像取得部１０１ａが取得した、対象物を撮影した画像と、画像取得部１０１ｂが取得し、対象物を撮影した画像の組を用いて、対象物までの距離を推定する。第２距離推定部１０３は、画像取得部１０１ｂが取得した、対象物を撮影した画像と、画像取得部１０１ｃが取得し、対象物を撮影した画像の組を用いて、対象物までの距離を推定する。第１距離推定部１０２、第２距離推定部１０３は、任意の二つのカメラが取得した画像を用いて距離を推定すればよいが、実施例２の画像処理装置１が画像を取得する三つのカメラのいずれか二つのカメラの組み合わせでよい。また、画像を用いない方法によって対象物との距離を測定する、すなわち、カメラ以外のセンサが取得したデータを用いる測距手段といずれかのカメラとを組み合わせてもよい。
　撮像時刻演算部１０４ａ～１０４ｃは、それぞれ画像取得部１０１ａ～１０１ｃで取得した画像上の画素の撮像時刻を算出する。
　信頼度演算部１０５ａは、撮像時刻演算部１０４ａで算出された撮像時刻と撮像時刻演算部１０４ｂで算出された撮像時刻を用いて信頼度を算出する。信頼度演算部１０５ｂは、撮像時刻演算部１０４ｂで算出された撮像時刻と撮像時刻演算部１０４ｃで算出された撮像時刻を用いて信頼度を算出する。
　距離決定部１０６は、信頼度演算部１０５ａで算出された信頼度と信頼度演算部１０５ｂで算出された信頼度に基づいて、第１距離推定部１０２による対象物までの距離推定結果と、第２距離推定部１０３による対象物までの距離推定結果のうち、いずれか一方を採用し、出力する。
　図４は、図３の画像処理装置１が実行する距離決定処理のフローチャートである。
　処理Ｓ４０１では、画像取得部１０１ａ、１０１ｂ、１０１ｃが車載カメラ等から画像を取得する。
　処理Ｓ４０２では、撮像時刻演算部１０４ａ、１０４ｂ、１０４ｃが、処理Ｓ４０１で取得した画像上から濃淡の変化等が特徴的な点である特徴点を抽出する。画像から特徴点を抽出する処理には公知の技術が使用できる。
　処理Ｓ４０３では、撮像時刻演算部１０４ａ、１０４ｂ、１０４ｃが、処理Ｓ４０２で抽出された特徴点のうち、３次元世界座標系において同一点と思われる点を複数の画像間で対応付けるマッチング処理を実行する。
　処理Ｓ４０４では、撮像時刻演算部１０４ａ、１０４ｂ、１０４ｃが、処理Ｓ４０３でマッチングした各特徴点の撮像時刻を算出する。
　処理Ｓ４０５では、信頼度演算部１０５ａ、１０５ｂが、処理Ｓ４０４で算出した各特徴点の撮像時刻を用いて、処理Ｓ４０３でマッチングした各特徴点の組の撮像時間の差から各特徴点の組の信頼度を算出する。ここで、信頼度演算部１０５ａが、撮像時刻演算部１０４ａが算出した撮像時刻と撮像時刻演算部１０４ｂが算出した撮像時刻から算出した信頼度を信頼度１とし、信頼度演算部１０５ｂが、撮像時刻演算部１０４ｂが算出した撮像時刻と撮像時刻演算部１０４ｃが算出した撮像時刻から算出した信頼度を信頼度２とする。
　処理Ｓ４０６では、距離決定部１０６が、処理Ｓ４０５で算出された信頼度１と信頼度２のいずれが大きいかを判定する。
　処理Ｓ４０７では、信頼度１が信頼度２以上である場合、距離決定部１０６が、第１距離推定部１０２による距離推定結果を出力する。
　処理Ｓ４０８では、信頼度１が信頼度２より小さい場合、距離決定部１０６が、第２距離推定部１０３による距離推定結果を出力する。
　以上に説明したように、実施例２によると、対応付けた特徴点の組における撮像時刻の差から算出した信頼度に基づいて、複数の距離推定部の推定結果の中から出力する距離値を選択するので、撮像時刻の差に起因する誤差が小さい距離を出力できる。
　実施例２では画像取得部が３個の場合について述べたが、画像取得部が４個以上の場合も同様に、取得した画像上の画素の撮影時刻から、画像間で対応付けた画素や領域等の組の信頼度を算出し、高い信頼度の組を用いて推定した距離を採用することによって、撮像時刻の差に起因する推定誤差が小さい距離を出力できる。
　なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (9)

  1. 　複数のカメラの各々によって撮像された複数の画像を取得する画像取得部と、
    　前記複数の画像を用いて、対象物までの距離を推定する第一の距離推定部と、
    　前記複数の画像の少なくとも一つを用いて、前記対象物までの距離を推定する第二の距離推定部と、
    　前記複数の画像に含まれる少なくとも一部の画素の撮像時刻を求める撮像時刻演算部と、
    　前記複数の画像における前記画素の撮像時刻の差に基づいて、前記複数の画像の信頼度を求める信頼度演算部と、
    　前記第一の距離推定部又は前記第二の距離推定部の少なくとも一方により推定された距離と、前記信頼度とを用いて、前記対象物までの距離を決定する距離決定部と、を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記第一の距離推定部は、前記複数のカメラのうち二つのカメラの各々によって撮像された画像の視差から前記対象物までの距離を推定し、
    　前記第二の距離推定部は、前記複数のカメラのうち一つのカメラによって撮像された画像を用いて前記対象物までの距離を推定することを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記画像取得部は、少なくとも三つ以上のカメラの各々によって撮像された画像を取得し、
    　前記第一の距離推定部は、前記複数のカメラのうち二つのカメラによって撮像された画像の視差から前記対象物までの距離を推定し、
    　前記第二の距離推定部は、少なくとも前記第一の距離推定部が距離の推定に用いた画像を撮像したカメラと異なる組み合わせの二つのカメラにより撮像された画像の視差から前記対象物までの距離を推定することを特徴とする画像処理装置。
  4. 　請求項１に記載の画像処理装置において、
    　前記複数の画像から特徴点を抽出する特徴点抽出部をさらに備え、
    　前記撮像時刻演算部は、前記抽出された特徴点の当該画像上での位置に基づいて、前記特徴点の撮像時刻を求めることを特徴とする画像処理装置。
  5. 　請求項４に記載の画像処理装置において、
    　前記信頼度演算部は、前記複数の画像における前記特徴点の撮像時刻の差に基づいて、前記信頼度を求めることを特徴とする画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記信頼度演算部は、前記複数の画像上の前記特徴点の撮像時刻の差に基づいて、前記複数の画像の組、前記複数の画像中の領域の組、前記特徴点の組の少なくとも一つの信頼度を求めることを特徴とする画像処理装置。
  7. 　請求項１に記載の画像処理装置において、
    　前記信頼度演算部は、前記複数の画像中の前記対象物が存在する領域の組の前記信頼度を求めることを特徴とする画像処理装置。
  8. 　請求項１に記載の画像処理装置において、
    　前記距離決定部は、前記信頼度に基づいて、前記第一の距離推定部による距離の推定結果と前記第二の距離推定部による距離の推定結果のいずれかを前記対象物までの距離として選択することを特徴とする画像処理装置。
  9. 　画像処理装置が実行する画像処理方法であって、
    　前記画像処理装置は、所定の処理を実行する演算装置と、前記演算装置がアクセス可能な記憶装置とを有し、
    　前記画像処理方法は、
    　複数のカメラの各々によって撮像された複数の画像を取得する画像取得手順と、
    　前記複数の画像を用いて、対象物までの距離を推定する第一の距離推定手順と、
    　前記複数の画像の少なくとも一つを用いて、前記対象物までの距離を推定する第二の距離推定手順と、
    　前記複数の画像に含まれる少なくとも一部の画素の撮像時刻を求める撮像時刻演算手順と、
    　前記複数の画像における前記画素の撮像時刻の差に基づいて、前記複数の画像の信頼度を求める信頼度演算手順と、
    　前記第一の距離推定手順又は前記第二の距離推定手順の少なくとも一方において推定された距離と、前記信頼度とを用いて、前記対象物までの距離を決定する距離決定手順と、を含む画像処理方法。
PCT/JP2023/033714 2022-12-16 2023-09-15 画像処理装置及び画像処理方法 WO2024127757A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022201532A JP2024086420A (ja) 2022-12-16 2022-12-16 画像処理装置及び画像処理方法
JP2022-201532 2022-12-16

Publications (1)

Publication Number Publication Date
WO2024127757A1 true WO2024127757A1 (ja) 2024-06-20

Family

ID=91484787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/033714 WO2024127757A1 (ja) 2022-12-16 2023-09-15 画像処理装置及び画像処理方法

Country Status (2)

Country Link
JP (1) JP2024086420A (ja)
WO (1) WO2024127757A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186043A (ja) * 2012-03-09 2013-09-19 Hitachi Automotive Systems Ltd 距離算出装置及び距離算出方法
JP2021051347A (ja) * 2019-09-20 2021-04-01 いすゞ自動車株式会社 距離画像生成装置及び距離画像生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186043A (ja) * 2012-03-09 2013-09-19 Hitachi Automotive Systems Ltd 距離算出装置及び距離算出方法
JP2021051347A (ja) * 2019-09-20 2021-04-01 いすゞ自動車株式会社 距離画像生成装置及び距離画像生成方法

Also Published As

Publication number Publication date
JP2024086420A (ja) 2024-06-27

Similar Documents

Publication Publication Date Title
US10260862B2 (en) Pose estimation using sensors
JP4814669B2 (ja) ３次元座標取得装置
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
JP4943034B2 (ja) ステレオ画像処理装置
EP2824416B1 (en) Distance calculation device and distance calculation method
EP2824417B1 (en) Distance calculation device and distance calculation method
JP6138861B2 (ja) 距離算出装置
KR101551026B1 (ko) 차량 검출 방법
US10650535B2 (en) Measurement device and measurement method
JP6708730B2 (ja) 移動体
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US8213684B2 (en) Motion estimating device
US11393116B2 (en) Information processing apparatus, method thereof, and non-transitory computer-readable storage medium
WO2024127757A1 (ja) 画像処理装置及び画像処理方法
JP7404173B2 (ja) 画像処理装置
EP3051494B1 (en) Method for determining an image depth value depending on an image region, camera system and motor vehicle
EP3789961B1 (en) Sensor device for calculating a motion of a camera in a vehicle
JP5929330B2 (ja) 段差検出装置
JP2013142668A (ja) 位置推定装置及び位置推定方法
US20230351631A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US20230421739A1 (en) Robust Stereo Camera Image Processing Method and System
US20240037784A1 (en) Method and apparatus for structured light calibaration
EP2919191A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
JP6566367B2 (ja) 三次元位置計測システム、移動体、三次元位置計測方法、及びプログラム
JP2017175483A (ja) 撮像装置