WO2019208257A1 - 車載カメラ装置 - Google Patents

車載カメラ装置 Download PDF

Info

Publication number
WO2019208257A1
WO2019208257A1 PCT/JP2019/015905 JP2019015905W WO2019208257A1 WO 2019208257 A1 WO2019208257 A1 WO 2019208257A1 JP 2019015905 W JP2019015905 W JP 2019015905W WO 2019208257 A1 WO2019208257 A1 WO 2019208257A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
measuring unit
parallax
unit
distance measuring
Prior art date
Application number
PCT/JP2019/015905
Other languages
English (en)
French (fr)
Inventor
衛 大場
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to JP2020516227A priority Critical patent/JP6877636B2/ja
Priority to CN201980026003.3A priority patent/CN111971528B/zh
Publication of WO2019208257A1 publication Critical patent/WO2019208257A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention relates to an in-vehicle camera device that measures the inter-vehicle distance from a preceding vehicle from a captured image.
  • an in-vehicle camera device that measures the inter-vehicle distance from a preceding vehicle from a captured image
  • an in-vehicle camera device that measures inter-vehicle distance by compound eyes using the parallax of two cameras (stereo cameras) arranged in close proximity is known.
  • claim 1 of Patent Document 1 includes “an imaging system that captures a plurality of images from different directions with respect to an object within a set range outside the vehicle, and a plurality of images captured by the imaging system.
  • An image processing means for processing and outputting a distance distribution over the entire image, corresponding to a plurality of images captured by the imaging system, a coincidence degree calculation unit that calculates the coincidence degree for each predetermined region at a high speed,
  • a displacement amount determination unit that determines the displacement amount of the corresponding pixel position of the plurality of images as information related to the distance distribution based on the minimum value of the coincidence degree calculated by the coincidence degree calculation unit. It is described as “characteristic vehicle distance detection device”.
  • a blind spot may be generated in front of the vehicle depending on the mounting position.
  • the blind spot in front of the vehicle increases as the mounting position of the in-vehicle camera device increases. Then, the closer to the preceding vehicle, the higher the possibility that the preceding vehicle enters the blind spot, and the method of Patent Document 1 that detects the preceding vehicle using a stereo camera often cannot detect the inter-vehicle distance.
  • box-type vehicles with high vehicle heights have a structure in which the blind spot becomes large due to the height of the installation position of the in-vehicle camera device, and even when the distance between vehicles is the same as that of a general passenger car, it is preceded by the short bonnet. Since the distance between the vehicle and the in-vehicle camera device is also shortened, there is a high possibility that a part of the preceding vehicle will enter the blind spot even if a certain distance between the vehicles is secured. Due to such a structural problem, in a box type vehicle, it is often impossible to measure an inter-vehicle distance using a stereo camera as compared to a general passenger car.
  • the present invention has been made in view of these problems, and provides an in-vehicle camera device capable of continuing accurate measurement of the inter-vehicle distance even when a part of a preceding vehicle enters the blind spot of the in-vehicle camera device. For the purpose.
  • an in-vehicle camera device includes two imaging units arranged close to the left and right, and an obstacle in the captured image based on a parallax between a pair of captured images captured by the two imaging units.
  • a parallax distance measurement unit that measures the distance of the obstacle, a feature point extraction unit that extracts a feature point of the obstacle from a captured image of one imaging unit, a distance measured by the parallax distance measurement unit, and the parallax distance measurement unit Measured by the monocular distance measuring unit, the parallax distance measuring unit, and the monocular distance measuring unit that measure the distance from the obstacle in the captured image based on the moving distance of the feature point after measuring the distance
  • a distance output unit that selects and outputs one of the distances to the obstacle is provided.
  • the inter-vehicle distance can be accurately measured.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an in-vehicle camera device according to a first embodiment. Schematic explaining the relationship between the mounting position of a vehicle-mounted camera apparatus and a blind spot.
  • the figure which compared the captured image before and behind a parallax detection limit in case a preceding vehicle is a normal vehicle.
  • the figure which compared the captured image before and behind a parallax detection limit in case a preceding vehicle is a track.
  • FIG. FIG. 3 is a flowchart for explaining an inter-vehicle distance measurement process according to the first embodiment.
  • FIG. 6 is a flowchart for explaining an inter-vehicle distance measurement process in the second embodiment.
  • the host vehicle 10 illustrated here is a box type vehicle having a high vehicle height and a short bonnet
  • the preceding vehicle 20 is a normal vehicle having a low vehicle height, but the combination of both vehicles is not limited to this example.
  • the in-vehicle camera device 1 is a stereo camera for measuring a distance from the preceding vehicle 20 to the in-vehicle camera device 1 (hereinafter referred to as “distance R”). It is installed at a position at a distance r1 from the tip of the head and at a height h from the ground.
  • distance R a distance from the preceding vehicle 20 to the in-vehicle camera device 1
  • the distance r1 is about 20 cm.
  • the distance r1 may be about 2 m.
  • the distance R measured by the in-vehicle camera device 1 is the sum of the distance r1 described above and the distance from the rear end of the preceding vehicle 20 to the front end of the host vehicle 10 (hereinafter referred to as “inter-vehicle distance r2”).
  • the inter-vehicle distance r2 can be calculated by subtracting the known distance r1 from R. As described above, the higher the mounting position of the in-vehicle camera device 1 and the shorter the distance r1, the wider the blind spot area (hatched area in FIG. 2) in front of the host vehicle.
  • the in-vehicle camera device 1 is mainly composed of a right imaging unit 2R, a left imaging unit 2L, and a distance measuring device 3, and a distance R measured from the distance measuring device 3 is determined. It is output to ECU8.
  • the distance measuring device 3 calculates a distance R based on a captured image captured by the image capturing unit.
  • a CPU a main storage device, an auxiliary storage device, and a communication (not shown) are provided. Equipment and the like.
  • FIG. 1 shows a configuration in which the distance measuring device 3 and the ECU 8 are separated, a configuration in which the distance measuring device 3 of this embodiment is integrated into the ECU 8 may be adopted.
  • each configuration will be described in more detail.
  • the right imaging unit 2R and the left imaging unit 2L capture the state in front of the camera as an image via a lens or the like, and a stereo camera is configured by two imaging units arranged in close proximity.
  • the parallax distance measuring unit 4 has a stereo distance measuring function for obtaining the distance in the depth direction of the solid object in the image from the parallax of the pair of captured images captured by the right imaging unit 2R and the left imaging unit 2L.
  • the distance measurement method in stereo view pays attention to the vertical sides constituting the three-dimensional object in the image, and the displacement on the pixels of the vertical sides in the right imaging unit 2R and the left imaging unit 2L is converted into the distance in the depth direction.
  • this is a well-known technique, a specific description thereof will be omitted.
  • the feature point extraction unit 5 extracts a characteristic portion of the preceding vehicle 20 (hereinafter referred to as “feature point 20a”) based on the captured image input from the right imaging unit 2R or the left imaging unit 2L. is there.
  • the feature point 20a is, for example, a pixel level of a captured image, such as a boundary portion of contrast (a boundary between a roof and a rear glass, a roof itself) or a characteristic shape portion (a protrusion such as a roof antenna). It is a unique part and is a characteristic part that can easily extract the same part from captured images taken at different timings.
  • the extracted feature point 20a is output to the monocular distance measuring unit 6 as needed as the coordinate y on the captured image.
  • the captured image of the left imaging unit 2L is input, but the captured image of the right imaging unit 2R may be input.
  • the monocular distance measuring unit 6 is based on a change in the distance R in stereo vision measured by the parallax distance measuring unit 4 and the coordinate y of the feature point 20a extracted by the feature point extracting unit 5 (hereinafter referred to as an imaging unit).
  • the distance R ′ is calculated from a captured image of “monocular”.
  • the distance output unit 7 selects either the distance R measured by the parallax ranging unit 4 or the distance R ′ measured by the monocular ranging unit 6 and outputs it to the ECU 8. When both the distance R and the distance R ′ can be measured, the distance output unit 7 selects and outputs the distance R by the parallax distance measuring unit 4 that is theoretically highly accurate. When the measurement becomes impossible, the distance R ′ by the monocular distance measuring unit 6 is selected and output.
  • FIG. 3 is a diagram comparing captured images before and after the parallax detection limit distance by the parallax distance measuring unit 4 when the preceding vehicle 20 is a normal vehicle. 3A and 3B are compared, in FIG. 3A, the shaded preceding vehicle detection frame 30 indicating the rear end position of the preceding vehicle 20 and the distance R measured by the parallax distance measuring unit 4 are compared. While the corresponding “measurement distance 2 m” is displayed, these are not displayed in FIG.
  • FIG. 3A in which the distance between the vehicles is secured to some extent, such a difference occurs, although a part of the preceding vehicle 20 (rear bumper, rear wheel, etc.) has entered the blind spot and has not been imaged, Since most of the preceding vehicle 20 including the horizontal portion is imaged and the vertical side portion constituting the three-dimensional object can be detected, the preceding vehicle 20 can be detected by parallax and the distance can be measured, whereas FIG. In b), the host vehicle 10 further approaches the preceding vehicle 20 and most of the preceding vehicle 20 enters the blind spot. As a result, the vertical side cannot be detected, and the preceding vehicle 20 cannot be detected or measured in parallax. Because it became.
  • FIG. 4 is a diagram comparing captured images before and after the parallax detection limit distance by the parallax distance measuring unit 4 when the preceding vehicle 20 is a truck 21 having a loading platform. Comparing FIGS. 4A and 4B, in FIG. 4A, the preceding vehicle detection frame 30 indicating the rear end position of the truck 21 and “measurement distance 2 m” are normally displayed. In FIG. 4B, the preceding vehicle detection frame 30 is erroneously displayed in the cabin portion of the truck 21, and the parallax distance measuring unit 4 erroneously detects “measurement distance 3 m” even though the original inter-vehicle distance is less than 1 m. ing.
  • FIG. 4 (a) where a sufficient inter-vehicle distance is secured, the entire vehicle is visible and the rear part of the loading platform of the truck 21 can be detected correctly, but FIG. 4 (b) In this way, when the rear part of the cargo bed enters the blind spot, the cabin is lost while the cabin part is detected as a preceding vehicle, and the distance from the cabin part is erroneously measured.
  • 3 (b) and 4 (b) are situations in which the preceding vehicle 20 is lost or the distance measurement fails depending on the compound eye view.
  • applications such as follow-up traveling and start notification of the preceding vehicle 20 could not be used normally.
  • the monocular distance measuring unit 6 switches to distance measurement so that the desired application can be used continuously.
  • various methods for measuring the distance R ′ by the monocular distance measuring unit 6, in the following an example of a method for calculating the distance R ′ will be described using FIG. 5 or the like that compares captured images before and after the parallax detection limit distance. explain.
  • the parallax detection limit distance can be calculated in advance from the mounting position of the in-vehicle camera device 1 to the host vehicle 10, for example, when the inter-vehicle distance at which only the roof portion of a general passenger car can be seen is set as the parallax detection limit distance, It is about 2m.
  • FIG. 5A shows a captured image when a distance equal to or greater than the parallax detection limit distance is secured and the distance measurement by the parallax distance measuring unit 4 is successful.
  • the distance R 0 measured by the parallax distance measurement unit 4 and the coordinate y 0 in the height direction on the captured image of the feature point 20a extracted by the feature point extraction unit 5 at this time are illustrated.
  • FIG. 5B shows a situation in which the distance measurement by the parallax distance measuring unit 4 has failed as a result of the reduction of the inter-vehicle distance, and the captured image of the feature point 20a at this time extracted by the feature point extracting unit 5 a coordinate y 1 of the height direction above illustrates the moving distance R 1 to FIG.
  • the distance R ′ measured by the monocular distance measuring unit 6 can be calculated based on the following equation 1 using the distance R 0 measured by the parallax distance measuring unit 4 and the moving distance R 1 of the feature point 20a. .
  • the method of calculating the moving distance R 1 of the feature point 20a there are various methods, for example, the following formula 2, can be used either formula 3 ( However, the maximum value of R 1 in Formula 2 and Formula 3 is R 0 ).
  • FIG. 7 shows a flowchart of the distance measurement process executed by the in-vehicle camera device 1 of this embodiment. Since the distance measurement accuracy by the parallax distance measuring unit 4 is higher than the distance measurement accuracy by the monocular distance measuring unit 6, the flowchart shown here is normally measured by the parallax distance measuring unit 4, and when this fails, Measurement by the monocular distance measuring unit 6 is performed.
  • the host vehicle 10 When the host vehicle 10 starts to travel, finds the preceding vehicle 20, and executes control using inter-vehicle distance information such as following, first, distance measurement using the parallax distance measuring unit 4 with high accuracy is executed (S61). ). Then, it is determined whether the distance measured by the parallax distance measuring unit 4 is equal to or less than the parallax detection limit distance (threshold value, for example, 2 m) (S62). In the case of NO (when a sufficient inter-vehicle distance is secured), the distance measurement with parallax is continued as it is (S61). On the other hand, in the case of YES, distance measurement by the monocular distance measuring unit 6 is prepared.
  • the parallax detection limit distance threshold value, for example, 2 m
  • the feature point extraction unit 5 extracts a characteristic point 20a of the leading vehicle 20 from the captured image, also monocular distance measuring unit 6, the coordinate y 0 of the feature point 20a on the image, due to the disparity at the moment
  • the measurement distance R0 is stored (S63).
  • the measurement distance R ′ remeasured by the monocular distance measuring unit 6 is compared with the parallax detection limit distance (threshold) (S67), and the monocular measurement is performed until the measurement distance R ′ becomes equal to or greater than the parallax detection limit distance (threshold).
  • the distance measurement by the distance unit 6 is continued (S66).
  • the measurement distance R ′ measured by the monocular distance measuring unit 6 is equal to or greater than the parallax detection limit distance (threshold)
  • the distance measurement by the parallax distance measuring unit 4 is resumed (S61).
  • the horizontal axis represents time
  • the vertical axis represents the distance to the preceding vehicle 20
  • the host vehicle 10 approaches the preceding vehicle 20 and the distance from the preceding vehicle 20 decreases with time. It is.
  • Example 1 in order to reduce the processing load of the CPU, the feature point extraction unit 5 and the monocular ranging unit 6 are operated only when the inter-vehicle distance becomes less than a predetermined distance.
  • the feature point extraction unit 5 and the monocular ranging unit 6 are always operated without any restriction on the above-described processing start, so that only one captured image is suddenly obtained. The distance measurement can be continued even when imaging cannot be performed normally.
  • Fig. 8 shows a flowchart when these processes are always performed.
  • the flowchart of the present embodiment shown here is different from the flowchart shown in FIG. 7 in that the process of determining that the preceding vehicle is approaching to the vicinity of the parallax detection limit distance (S62 and the like) is deleted.
  • 20 feature points 20a extraction, storage processing (S81), distance measurement by the parallax distance measurement unit 4, storage processing (S82), distance measurement by the monocular distance measurement unit 6, storage processing (S83) is always executed, Further, the two measurement distances are compared (S84).
  • the distance output unit 7 can measure with the parallax distance measuring unit 4 with higher accuracy.
  • the distance is selected and output (S85).
  • a sudden defect occurs in one captured image due to some reason, an error increases in the measurement distance between the parallax distance measuring unit 4 and the monocular distance measuring unit 6, and the error is a predetermined value (for example, ⁇ 5). %),
  • the distance output unit 7 determines that a defect has occurred in one captured image, and selects and outputs the measurement distance R ′ by the monocular ranging unit 6 (S86).
  • the in-vehicle camera device of the present embodiment can switch from the parallax distance measuring section 4 to the monocular distance measuring section 6 at any time even when the imaging section on one side suddenly becomes defective. It becomes possible to continue the distance measurement of the front obstacle such as the vehicle 20. Further, in a state where both parallax and monocular can be measured, it is possible to further improve the reliability of the system by comparing the measurement results of both.
  • SYMBOLS 10 ... Own vehicle, 1 ... Car-mounted camera apparatus, 2R ... Right imaging part, 2L ... Left imaging part, 3 ... Distance measuring device, 4 ... Parallax ranging part, 5 ... Feature point extraction part, 6 ... Monocular ranging part, 7 ... Distance output unit, 8 ... ECU20 ... Preceding vehicle, 20a ... Feature point, 21 ... Truck, 30 ... Preceding vehicle detection frame

Abstract

本発明は、先行車両の一部が車載カメラ装置の死角に入り込んだ場合であっても、車間距離の正確な測定を継続できる車載カメラ装置を提供することを目的とする。本発明は、左右に近接配置した二つの撮像部と、該二つの撮像部が撮像した一対の撮像画像の視差から該撮像画像中の障害物との距離を測定する視差測距部と、一方の撮像部の撮像画像から前記障害物の特徴点を抽出する特徴点抽出部と、前記視差測距部が測定した距離と、前記視差測距部が距離を測定した以降の前記特徴点の移動距離に基づいて、前記撮像画像中の障害物との距離を測定する単眼測距部と、前記視差測距部と前記単眼測距部が測定した前記障害物との距離の一方を選択して出力する距離出力部と、備える。

Description

車載カメラ装置
　本発明は、撮像画像から先行車両との車間距離を測定する車載カメラ装置に関する。
　撮像画像から先行車両との車間距離を測定する車載カメラ装置として、近接配置した二つのカメラ（ステレオカメラ）の視差を利用した複眼視によって車間距離を測定するものが知られている。
　例えば、特許文献１の請求項１には、「車外の設定範囲内の対象に対し、互いに異なる方向から複数枚の画像を撮像する撮像系を備え、上記撮像系で撮像した複数枚の画像を処理して画像全体に渡る距離分布を出力する画像処理手段に、上記撮像系で撮像した複数枚の画像に対応して、所定の領域毎に一致度を高速で計算する一致度計算部と、上記一致度計算部で計算した一致度の最小値に基づいて、上記複数枚の画像の対応する画素位置のずれ量を上記距離分布に係わる情報として決定するずれ量決定部とを備えたことを特徴とする車輌用距離検出装置」と記載されている。
特開平５－１１４０９９号公報
　車両前方を撮像する車載カメラ装置を車室内に取り付ける場合、その取り付け位置によっては、車両前方に死角が生じることがある。通常、カメラの仰角方向の視野角は一定であるから、車載カメラ装置の取り付け位置が高くなるほど、車両前方の死角が増加する。
  そして、先行車両に接近するほど、先行車両が死角に入る可能性が高まり、ステレオカメラを利用して先行車両を検出する特許文献１の方式では、車間距離を検知できなくなることが多い。
　特に、車高の高いボックスタイプの車両は、車載カメラ装置の設置位置の高さの影響により死角が大きくなる構造に加え、一般的な乗用車と同じ車間距離の場合でも、短いボンネットの影響により先行車両と車載カメラ装置の距離も短くなるため、ある程度の車間距離を確保していても、先行車両の一部が死角に入りこむ可能性が高くなる。このような構造上の問題により、ボックスタイプの車両では、一般的な乗用車に比べ、ステレオカメラを利用しての車間距離測定が不能となる場合が多かった。
　本発明はこれらの問題を踏まえてなされたものであり、先行車両の一部が車載カメラ装置の死角に入り込んだ場合であっても、車間距離の正確な測定を継続できる車載カメラ装置を提供することを目的とする。
　上記課題を解決するために、本発明の車載カメラ装置は、左右に近接配置した二つの撮像部と、該二つの撮像部が撮像した一対の撮像画像の視差から該撮像画像中の障害物との距離を測定する視差測距部と、一方の撮像部の撮像画像から前記障害物の特徴点を抽出する特徴点抽出部と、前記視差測距部が測定した距離と、前記視差測距部が距離を測定した以降の前記特徴点の移動距離に基づいて、前記撮像画像中の障害物との距離を測定する単眼測距部と、前記視差測距部と前記単眼測距部が測定した前記障害物との距離の一方を選択して出力する距離出力部と、備えたものとした。
　本発明によれば、自車両が先行車両に接近し、先行車両の一部が車載カメラ装置の死角に入った場合でも、車間距離を正確に測定することができる。
実施例１の車載カメラ装置の概略構成を示すブロック図。 車載カメラ装置の取り付け位置と死角の関係を説明する概略図。 先行車両が普通車である場合の、視差検出限界前後の撮像画像を比較した図。 先行車両がトラックである場合の、視差検出限界前後の撮像画像を比較した図。 実施例１における先行車両の特徴点の抽出方法を示した図。 実施例１における車間距離測定処理を説明するフロー図。 図６の二閾値の大小関係を示す図。 実施例２における車間距離測定処理を説明するフロー図。
　以下、本発明の実施例について図面を用いて説明する。
　まず、図２を用いて、自車両１０と先行車両２０の位置関係、および、本実施例の車載カメラ装置１の取り付け位置とその死角の関係を説明する。ここに例示する自車両１０は車高が高くボンネットの短いボックスタイプの車両であり、先行車両２０は車高の低い普通車であるが、両車両の組合せはこの例に限定されない。
　車載カメラ装置１は、先行車両２０から車載カメラ装置１までの距離（以下、「距離Ｒ」と称する）を測定するためのステレオカメラであり、自車両１０の車室内であって、自車両１０の先端から距離ｒ１の位置、かつ、地面から高さｈの位置に設置されている。自車両１０がボックスタイプの場合、距離ｒ１は約２０ｃｍ程度であるが、一般的な車両の場合には、距離ｒ１は約２ｍ程度となることもある。
　車載カメラ装置１が測定する距離Ｒは、前述の距離ｒ１と、先行車両２０の後端から自車両１０の先端までの距離（以下、「車間距離ｒ２」と称する）の和であるため、距離Ｒから既知の距離ｒ１を減算することで車間距離ｒ２を算出できる。なお、上述したように、車載カメラ装置１の取り付け位置が高くなるほど、また、距離ｒ１が短くなるほど、自車両前方の死角領域（図２の斜線領域）が広がる傾向があるため、本実施例のように、車載カメラ装置１の取り付け位置が高く、距離ｒ１が短いボックスタイプの自車両１０では、先行車両２０に接近した場合、視差を利用した距離Ｒの測定が不能となることが多い。
　次に、図１のブロック図を用いて、本実施例に係る車載カメラ装置１の概要を説明する。ここに示すように、車載カメラ装置１は、主に、右撮像部２Ｒと、左撮像部２Ｌと、測距装置３より構成されたものであり、測距装置３からは測定した距離ＲがＥＣＵ８に出力される。この測距装置３は、撮像部が撮像した撮像画像に基づいて距離Ｒを演算するものであり、これを実現するためのハードウェアとして、図示しない、ＣＰＵ、主記憶装置、補助記憶装置、通信装置等を備えている。そして、主記憶装置にロードしたプログラムをＣＰＵが実行することで、後述する視差測距部４、特徴点抽出部５、単眼測距部６、距離出力部７の各機能を実現するものであるが、以下では、このような周知技術を適宜省略しながら説明する。なお、図１では測距装置３とＥＣＵ８を分離した構成を示しているが、本実施例の測距装置３をＥＣＵ８に統合した構成としても良い。以下、各々の構成について、更に詳細に説明する。
　右撮像部２Ｒと左撮像部２Ｌは、レンズ等を介してカメラ前方の状態を画像として取り込むものであり、近接配置された二つの撮像部によりステレオカメラを構成する。
　視差測距部４は、右撮像部２Ｒと左撮像部２Ｌで撮像した一対の撮像画像の視差から、画像内立体物の奥行方向の距離を求める、ステレオ視での距離測定機能を持つ。ここで、ステレオ視での距離測定方法は、画像内立体物を構成する縦辺に注目し、右撮像部２Ｒと左撮像部２Ｌでその縦辺の画素上のずれを奥行方向の距離に換算するものであるが、これは周知技術であるので、その具体的な説明は省略する。
　特徴点抽出部５は、右撮像部２Ｒあるいは左撮像部２Ｌから入力された撮像画像に基づいて、先行車両２０の特徴的な部分（以下、「特徴点２０ａ」と称する）を抽出するものである。ここで、特徴点２０ａとは、例えば、コントラストの濃淡の境界部（ルーフとリアガラスの境目、ルーフそのもの）や、特徴的な形状部（ルーフアンテナ等の突起）のように、撮像画像の画素レベルでユニークな部分であり、異なるタイミングに撮像した撮像画像からも容易に同一部を抽出できるような特徴的な部分である。ここで、特徴点２０ａの候補が複数ある場合は、なるべく画像上部のものを抽出することが望ましい。抽出された特徴点２０ａは、撮像画像上での座標ｙとして随時、単眼測距部６に出力される。なお、図１に例示する特徴点抽出部５では、左撮像部２Ｌの撮像画像が入力されているが、右撮像部２Ｒの撮像画像が入力される構成としても良い。
　単眼測距部６は、視差測距部４が測定したステレオ視での距離Ｒと、特徴点抽出部５が抽出した特徴点２０ａの座標ｙの変化に基づいて、一方の撮像部（以下、「単眼」と称する）の撮像画像から距離Ｒ’を算出するものである。
　距離出力部７は、視差測距部４が測定した距離Ｒと、単眼測距部６が測定した距離Ｒ’のいずれかを選択してＥＣＵ８に出力する。距離Ｒと距離Ｒ’の双方が測定できた場合には、距離出力部７は、原理的に精度が高い視差測距部４による距離Ｒを選択して出力するが、視差測距部４による測定が不能となった場合には、単眼測距部６による距離Ｒ’を選択して出力する。
　次に、図３と図４を用いて、視差測距部４による測定が不能となる状況を説明する。
　図３は、先行車両２０が普通車であるときの、視差測距部４による視差検出限界距離前後の撮像画像を比較した図である。図３（ａ）、（ｂ）を比較すると、図３（ａ）では、先行車両２０の後端位置を示す網掛けした先行車検出枠３０と、視差測距部４が測定した距離Ｒに相当する「測定距離２ｍ」が表示されているのに対し、図３（ｂ）では、これらが表示されていない。
　このような違いが生じるのは、車間距離がある程度確保されている図３（ａ）では、先行車両２０の一部（後バンパーや後輪など）が死角に入り撮像できていないものの、車両の横部分を含む先行車両２０の大部分が撮像されており、立体物を構成する縦辺部を検出できるため、視差による先行車両２０の検出や距離測定が可能であるのに対し、図３（ｂ）では、自車両１０が先行車両２０にさらに接近し、先行車両２０の大部分が死角に入った結果、縦辺部が検出できなくなり、視差での先行車両２０の検出や距離測定が不能となったからである。
　また、図４は、先行車両２０が荷台を持つトラック２１であるときの、視差測距部４による視差検出限界距離前後の撮像画像を比較した図である。図４（ａ）、（ｂ）を比較すると、図４（ａ）では、トラック２１の後端位置を示す先行車検出枠３０と「測定距離２ｍ」が正常に表示されているのに対し、図４（ｂ）では、トラック２１のキャビン部分に先行車検出枠３０が誤って表示され、本来の車間距離は１ｍ未満であるのに視差測距部４は「測定距離３ｍ」と誤検出している。
　このような違いが生じるのは、十分な車間距離が確保されている図４（ａ）では、車両全体が見えており、トラック２１の荷台後方部を正しく検出できるが、図４（ｂ）のように荷台後方部が死角に入りこむ場合は、荷台を見失う一方で、キャビン部分を先行車両として検知し、キャビン部分との距離を誤って測定するからである。
　図３（ｂ）や図４（ｂ）の状況は、複眼視によっては、先行車両２０を見失ったり、距離測定に失敗したりした状況であるので、複眼視による測定距離を利用する従来技術では、追従走行や先行車両２０の発進お知らせ等のアプリケーションを正常に利用することができなかった。
　そこで、本実施例では、視差測距部４による距離測定に失敗した場合は、単眼測距部６により距離測定に切り替え、所望のアプリケーションの利用を継続できるようにした。単眼測距部６による距離Ｒ’の測定方法には各種方法があるが、以下では、視差検出限界距離前後の撮像画像を比較した図５等を用いて、距離Ｒ’の算出方法の一例を説明する。なお、視差検出限界距離は、自車両１０への車載カメラ装置１の取り付け位置から予め計算でき、例えば、一般的な乗用車のルーフ部しか見えなくなる車間距離を視差検出限界距離とする場合には、２ｍ程度である。
　図５（ａ）は、視差検出限界距離以上の距離が確保されており、視差測距部４による距離測定が成功した時点の撮像画像である。ここでは、視差測距部４が測定した距離Ｒ０と、特徴点抽出部５が抽出したこの時点の特徴点２０ａの撮像画像上での高さ方向の座標ｙ０を図示している。一方、図５（ｂ）は、車間距離が縮小した結果、視差測距部４による距離測定が失敗した状況を示しており、特徴点抽出部５が抽出したこの時点の特徴点２０ａの撮像画像上での高さ方向の座標ｙ１と、図５（ａ）の特徴点２０ａから図５（ｂ）の特徴点２０ａ’への移動距離Ｒ１を図示している。この場合、単眼測距部６が測定する距離Ｒ’は、視差測距部４が測定した距離Ｒ０と、特徴点２０ａの移動距離Ｒ１を用いて、次の式１に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000001
　ここで、単眼測距部６で実行される、特徴点２０ａの移動距離Ｒ１の算出方法には、種々方法があり、例えば、次の式２、式３の何れかを用いることができる（ただし、式２、式３におけるＲ１の最大値はＲ０）。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　なお、式２、式３には、単純化した演算式を例示しているが、実際には、画素の距離的な重みに関する補正をほどこし、より精度の良く距離を求めることとしても良い。
　図７に本実施例の車載カメラ装置１が実行する距離測定処理のフローチャートを示す。
  視差測距部４による距離測定精度は、単眼測距部６による距離測定精度よりも高いため、ここに示すフローチャートは、通常は、視差測距部４により測定し、これに失敗した場合に、単眼測距部６による測定を行うものとなっている。
　自車両１０が走行を開始し先行車両２０を見つけ、追従等の車間距離情報を利用した制御を実行する場合、先ずは、精度が良い視差測距部４を用いた距離測定を実行する（Ｓ６１）。そして、視差測距部４で測定した距離が視差検出限界距離（閾値、例えば２ｍ）以下であるかを判定する（Ｓ６２）。ＮＯの場合（十分な車間距離が確保されている場合）は、そのまま視差での距離測定を継続する（Ｓ６１）。一方、ＹＥＳの場合は、単眼測距部６による距離測定を準備する。すなわち、特徴点抽出部５は、撮像画像から先行車両２０の特徴点２０ａを抽出し、また、単眼測距部６は、画像上での特徴点２０ａの座標ｙ０と、現時点での視差による測定距離Ｒ０を記憶する（Ｓ６３）。
　そして、所定時間経過後、視差測距部４による距離測定を再度実行し（Ｓ６４）、その成否を判断する（Ｓ６５）。視差測距部４による距離測定が成功した場合は（Ｓ６５でＹｅｓ）、視差での距離測定が実現可能な距離が確保されているため、Ｓ６１に戻り、視差測距部４による距離測定を継続する。一方、自車両１０が先行車両２０に更に接近していた場合等は、視差での距離測定が不能となっているため（Ｓ６５でＮｏ）、視差測距部４による距離測定から単眼測距部６による距離測定を利用した制御に移行する（Ｓ６６）。
  続いて、単眼測距部６が再測定した測定距離Ｒ’と視差検出限界距離（閾値）を比較し（Ｓ６７）、測定距離Ｒ’が視差検出限界距離（閾値）以上となるまで、単眼測距部６による距離測定を継続する（Ｓ６６）。一方、単眼測距部６が測定した測定距離Ｒ’が視差検出限界距離（閾値）以上となった場合は、再び視差測距部４による距離測定に復帰する（Ｓ６１）。
　次に、図７を用いて、先行車両２０との距離と、距離測定に用いる測距部の関係を説明する。図７のグラフは、横軸が時間、縦軸が先行車両２０との距離であり、自車両１０が先行車両２０に接近し、先行車両２０との距離が時間と共に短くなる様子を示したものである。
　ここに示すように、距離が視差検出限界距離（閾値）となったタイミングＴ１で特徴点抽出部５による特徴点２０ａの抽出と、単眼測距部５による座標ｙ０と距離Ｒ０の記憶が開始され、単眼での距離測定に必要な準備を開始する。すなわち、このタイミングＴ１までは、特徴抽出部５と単眼測距部６を停止しておいても良く、車載カメラ装置１のＣＰＵの処理能力を抑制できる。自車両１０が更に先行車両２０に接近し、視差での距離検出結果が無くなったタイミングＴ２以降は、視差測距部４を停止し、単眼測距部６による距離測定結果を使用しての制御を実行する。
　以上の実施例によれば、先行車両２０等の接近により視差を利用した距離測定が不能となった場合でも、単眼視による距離測定に切り替えることで、所望のアプリケーションの利用を継続することが可能となる。その際、視差で距離測定結果を単眼視での距離情報として引き継ぐため、単に単眼視による距離測定を実行する場合よりも精度の良い距離測定が可能となる。また、単眼視により距離測定する際は、抽出した特徴点のみに注目して先行車両２０の移動量を推定するためＣＰＵの処理負荷を低減することも可能である。
　次に、図８を用いて、本発明の実施例２の車載カメラ装置１を説明する。なお、実施例１との共通点は重複説明を省略する。
　実施例１でも説明したように、ステレオ視により距離を測定するには、同時に撮像された二つの撮像画像を必要とする。しかし、実使用時には、片側の撮像部が故障したり、片側のレンズが遮蔽されたりして、突発的に一つの撮像画像しか得られなくなる場合もある。
　実施例１では、ＣＰＵの処理負荷を軽減するために、車間距離が所定未満となった時のみ、特徴点抽出部５と単眼測距部６を稼働する構成とした。しかし、より高性能なＣＰＵを持つシステムの場合は、上記の処理開始に関する制限を設けることなく、常に特徴点抽出部５と単眼測距部６を稼働することで、撮像画像が突如一枚しか正常に撮像できなくなった場合も距離測定の継続が可能となる。
　図８に、これらの処理を常時実施する場合のフローチャートを示す。ここに示す本実施例のフローチャートは、図７に示したフローチャートに対して、視差検出限界距離付近まで先行車接近していることを判定する処理（Ｓ６２等）が削除された代わりに、先行車両２０の特徴点２０ａの抽出、記憶処理（Ｓ８１）と、視差測距部４による距離測定、記憶処理（Ｓ８２）と、単眼測距部６による距離測定、記憶処理（Ｓ８３）を常に実行し、更に、両測定距離の比較を行うものである（Ｓ８４）。
　通常は、視差測距部４と単眼測距部６の測定距離は一致しないながらも、略同程度の距離を測定できるため、距離出力部７は、より精度の高い視差測距部４による測定距離を選択して出力する（Ｓ８５）。一方、何らかの事情により片方の撮像画像に突発的な不備が生じた場合は、視差測距部４と単眼測距部６の測定距離に誤差が大きくなるため、その誤差が所定値（例えば±５％）を超える場合、距離出力部７は、片方の撮像画像に不備が生じたと判断し、単眼測距部６による測定距離Ｒ’を選択して出力する（Ｓ８６）。
　このような処理により、本実施例の車載カメラ装置では、突発的に片側の撮像部に不備が生じた場合でも、視差測距部４から単眼測距部６に随時切り替えることができるため、先行車両２０などの前方障害物の距離測定を継続することが可能となる。また、視差、単眼の両方が距離測定が可能な状態では、両者の測定結果を比較することにより、システムの信頼性をより向上させることが可能である。
１０…自車両、１…車載カメラ装置、２Ｒ…右撮像部、２Ｌ…左撮像部、３…測距装置、４…視差測距部、５…特徴点抽出部、６…単眼測距部、７…距離出力部、８…ＥＣＵ２０…先行車両、２０ａ…特徴点、２１…トラック、３０…先行車検出枠

Claims (5)

  1. 　左右に近接配置した二つの撮像部と、
    　該二つの撮像部が撮像した一対の撮像画像の視差から該撮像画像中の障害物との距離を測定する視差測距部と、
    　一方の撮像部の撮像画像から前記障害物の特徴点を抽出する特徴点抽出部と、
    　前記視差測距部が測定した距離と、前記視差測距部が距離を測定した以降の前記特徴点の移動距離に基づいて、前記撮像画像中の障害物との距離を測定する単眼測距部と、
    　前記視差測距部と前記単眼測距部が測定した前記障害物との距離の一方を選択して出力する距離出力部と、を備えたことを特徴とする車載カメラ装置。
  2. 　前記距離出力部は、
    　前記視差測距部による距離測定が可能な場合は、前記視差測距部が測定した前記障害物との距離を出力し、
    　前記視差測距部による距離測定が不能な場合は、前記単眼測距部が測定した前記障害物との距離を出力することを特徴とする請求項１に記載の車載カメラ装置。
  3. 　前記視差測距部が測定した前記障害物との距離が所定の閾値以上である場合は、前記特徴点抽出部と前記単眼測距部の処理を停止するとともに、
    　前記視差測距部が測定した前記障害物との距離が所定の閾値未満である場合は、前記特徴点抽出部と前記単眼測距部の処理を実行することを特徴とする請求項１に記載の車載カメラ装置。
  4. 　前記距離出力部は、
    　前記視差測距部と前記単眼測距部が測定した前記障害物との距離の誤差が所定値未満である場合は、前記視差測距部が測定した前記障害物との距離を出力し、
    　前記視差測距部と前記単眼測距部が測定した前記障害物との距離の誤差が所定値以上である場合は、前記単眼測距部が測定した前記障害物との距離を出力することを特徴とする請求項１に記載の車載カメラ装置。
  5. 　前記二つの撮像部の取り付け高さ、前記二つの撮像部から自車両の前面ノーズまでの長さ、および、前記車載カメラ装置の視野角から計算される車両近傍の死角に前記障害物が入り込んだ場合、
    　前記単眼測距部は、前記障害物が死角に入りこむ前に前記視差測距部が測定した距離と、前記特徴点抽出部が抽出した前記障害物が死角に入りこむ前後の特徴点の移動距離に基づいて、前記障害物までの距離を測定することを特徴とする請求項１に記載の車載カメラ装置。
PCT/JP2019/015905 2018-04-23 2019-04-12 車載カメラ装置 WO2019208257A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020516227A JP6877636B2 (ja) 2018-04-23 2019-04-12 車載カメラ装置
CN201980026003.3A CN111971528B (zh) 2018-04-23 2019-04-12 车载摄像机装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018082014 2018-04-23
JP2018-082014 2018-04-23

Publications (1)

Publication Number Publication Date
WO2019208257A1 true WO2019208257A1 (ja) 2019-10-31

Family

ID=68295412

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015905 WO2019208257A1 (ja) 2018-04-23 2019-04-12 車載カメラ装置

Country Status (3)

Country Link
JP (1) JP6877636B2 (ja)
CN (1) CN111971528B (ja)
WO (1) WO2019208257A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002117392A (ja) * 2000-10-06 2002-04-19 Nissan Motor Co Ltd 車間距離推定装置
JP2015206798A (ja) * 2015-06-25 2015-11-19 日立オートモティブシステムズ株式会社 距離算出装置
JP2017068712A (ja) * 2015-09-30 2017-04-06 株式会社東芝 車載器および車頭間距離算出方法
JP2017096777A (ja) * 2015-11-25 2017-06-01 日立オートモティブシステムズ株式会社 ステレオカメラ装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258497A (ja) * 2005-03-15 2006-09-28 Omron Corp 車両用物体認識装置
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
JP5414714B2 (ja) * 2011-03-04 2014-02-12 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP6091658B2 (ja) * 2013-12-26 2017-03-08 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002117392A (ja) * 2000-10-06 2002-04-19 Nissan Motor Co Ltd 車間距離推定装置
JP2015206798A (ja) * 2015-06-25 2015-11-19 日立オートモティブシステムズ株式会社 距離算出装置
JP2017068712A (ja) * 2015-09-30 2017-04-06 株式会社東芝 車載器および車頭間距離算出方法
JP2017096777A (ja) * 2015-11-25 2017-06-01 日立オートモティブシステムズ株式会社 ステレオカメラ装置

Also Published As

Publication number Publication date
CN111971528B (zh) 2022-06-03
JP6877636B2 (ja) 2021-05-26
CN111971528A (zh) 2020-11-20
JPWO2019208257A1 (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
US10242576B2 (en) Obstacle detection device
CN109891262B (zh) 物体探测装置
US7542835B2 (en) Vehicle image processing device
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP6614247B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JPWO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
US20160307026A1 (en) Stereoscopic object detection device and stereoscopic object detection method
JP6597792B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
CN110341621B (zh) 一种障碍物检测方法及装置
KR102304851B1 (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법
US11527075B2 (en) Information processing apparatus, imaging apparatus, apparatus control system, movable object, information processing method, and computer-readable recording medium
JPWO2017099199A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10902632B2 (en) Position detection apparatus and position detection method
JP6631691B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
KR102529555B1 (ko) 자율 긴급 제동 시스템 및 이의 구동 방법
WO2019208257A1 (ja) 車載カメラ装置
JP5717416B2 (ja) 運転支援制御装置
JP6969245B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
EP3287948B1 (en) Image processing apparatus, moving body apparatus control system, image processing method, and program
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
CN112470456A (zh) 铁路车辆用摄像系统
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19793628

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020516227

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19793628

Country of ref document: EP

Kind code of ref document: A1