WO2019021876A1 - 車載カメラのキャリブレーション装置及び方法 - Google Patents

車載カメラのキャリブレーション装置及び方法 Download PDF

Info

Publication number
WO2019021876A1
WO2019021876A1 PCT/JP2018/026661 JP2018026661W WO2019021876A1 WO 2019021876 A1 WO2019021876 A1 WO 2019021876A1 JP 2018026661 W JP2018026661 W JP 2018026661W WO 2019021876 A1 WO2019021876 A1 WO 2019021876A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
vehicle
camera
feature point
road surface
Prior art date
Application number
PCT/JP2018/026661
Other languages
English (en)
French (fr)
Inventor
学 川辺
司 齋藤
盛彦 坂野
信之 松山
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP18837421.9A priority Critical patent/EP3660788A4/en
Priority to US16/634,444 priority patent/US11373333B2/en
Publication of WO2019021876A1 publication Critical patent/WO2019021876A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a calibration apparatus and method for automatically calibrating external parameters of an on-vehicle camera.
  • the camera's external parameters were obtained by measuring it at a measurement site where a known pattern was applied to the floor after the camera was attached to the vehicle.
  • the camera is attached to the vehicle After that, it was necessary to carry it to the measurement site, and the amount of work was large.
  • the above-mentioned method can not cope with the change of the external parameter due to the load change of the vehicle.
  • Patent Document 1 As described above, as a method of calibrating the external parameters of the on-vehicle camera while the vehicle is traveling, Patent Document 1 below tracks a plurality of detected feature points with respect to an image input from the camera, and A method has been proposed for estimating camera external parameters from time-series coordinate positions.
  • the method described in Patent Document 1 is premised on the fact that the feature point to be used is at the same height as a road surface such as a road surface paint.
  • the feature points shown in the camera image are not necessarily at the same height as the road surface, but they capture feature points such as walls, guardrails, and surrounding houses, and when calibration is performed using these feature points, Misalignment occurs in the calibration result.
  • a side camera installed on the side of the vehicle body and capturing the side of the vehicle, a similar locus of characteristic points occurs when the feature points having different heights are lined up and when the pitch angle of the camera deviates. There is also the problem that it is difficult to distinguish between the two.
  • the on-vehicle camera detects and tracks not only feature points on the road surface but also feature points appearing on the wall.
  • many feature points of the wall surface are acquired (in particular, refer to the upper diagram in FIG. 6).
  • this acquired feature point is mapped on an overhead view image (image as if looking down from above the vehicle), a straight line connecting the camera and the feature point is treated as a feature point at a point that intersects the road surface. Since this feature point is recognized as moving on the road surface as shown in the lower diagram of FIG. 6, it is observed as moving at a speed faster than the vehicle speed.
  • the apparent moving speed is observed differently depending on the position (height). If the calibration is performed based on the movement of the feature point, it is the same as the state in which the pitch angle of the side camera is shifted, so that a calibration result different from the original pitch angle can be obtained.
  • the present invention has been made in view of the above circumstances, and an object thereof is to obtain only a feature point on a road surface from an image captured by an on-vehicle camera to be calibrated to obtain a highly accurate calibration result.
  • a camera calibration device is a calibration device that executes calibration of external parameters of the on-vehicle camera in an on-vehicle camera system having inputs from a plurality of on-vehicle cameras.
  • the feature point in the image of one or more in-vehicle cameras different from the in-vehicle camera that performs the calibration is used to estimate the road surface range, and the feature points in the image of the in-vehicle camera that performs the calibration And performing calibration using only feature points present in the estimated road surface range.
  • a camera calibration device is a calibration device that executes calibration of external parameters of the on-vehicle camera in an on-vehicle camera system having inputs from a plurality of on-vehicle cameras, and executes the calibration.
  • a first feature point detection unit for detecting a first feature point shown in an image of a calibration non-target vehicle camera different from a calibration target vehicle image, and the first feature point image from different images of the calibration non-target vehicle camera
  • a first feature point tracking unit for tracking a feature point; a feature point height calculation unit for calculating a height of the first feature point from a movement distance or a movement speed of the tracked first feature point;
  • a road surface range estimation unit that estimates, as a road surface range, a range where a first feature point having the same height as the road surface among the feature points is present, and the road surface range estimated as described above
  • a road surface range setting unit set as a road surface range in the on-vehicle camera to be calibrated, a second feature point detection unit to detect a
  • a camera calibration method is a calibration method for executing calibration of external parameters of the on-vehicle camera in an on-vehicle camera system having inputs from a plurality of on-vehicle cameras, and performing the calibration
  • the road surface range is estimated using feature points in an image of one or more in-vehicle cameras different from the in-vehicle camera, and the estimated road surface among the feature points in an image of the in-vehicle camera performing the calibration It is characterized in that calibration is performed using only feature points present in the range.
  • the present invention for example, in calibration of a side camera in a scene where many feature points other than the road surface such as a wall surface etc., only the feature points on the road surface can be appropriately extracted to obtain a highly accurate calibration result. As a result, it is possible to improve the safety of automatic driving and the like using an image captured by the on-vehicle camera.
  • FIG. 1 is a schematic configuration view showing a system configuration of an on-vehicle camera system to which an embodiment of a calibration apparatus according to the present invention is applied.
  • four cameras 102 to 105 are mounted on the vehicle 101, and installed, for example, on the front, rear, left, and right of the vehicle body of the vehicle 101.
  • a front camera 102 installed on the front of the vehicle 101 captures an image in front of the vehicle body
  • a rear camera 103 installed on the rear of the vehicle 101 captures an image on the rear of the vehicle.
  • the left side camera 104 installed on the left side of the vehicle 101 captures the left side of the vehicle to generate an image
  • the right side camera 105 installed on the right side of the vehicle 101 captures the right side of the vehicle Generate an image.
  • Each of the cameras 102 to 105 is usually mounted such that the optical axis is directed in a direction from the parallel to the vertical downward direction with respect to a horizontal plane parallel to the road surface (ground).
  • a wide-angle fisheye camera is adopted so that an image of the entire periphery of the vehicle 101 can be acquired.
  • the number and positions of the cameras mounted on the vehicle 101 are not limited to the illustrated example.
  • the vehicle 101 is equipped with an ECU 107 as a processing device that receives and processes images captured by the cameras 102 to 105.
  • the ECU 107 is a CPU as an arithmetic device that performs various arithmetic processing based on a program etc., a RAM that stores image data photographed by each of the cameras 102 to 105, various arithmetic processing (for example, calibration of external parameters of the camera described later) Program) and a microcomputer including a ROM and the like for storing information and the like required for the program.
  • the ECU 107 performs calibration for automatically calibrating external parameters of the cameras 102 to 105, for example, using images taken by the cameras 102 to 105 while the vehicle 101 is traveling.
  • An apparatus 110 is incorporated.
  • the feature points in the images of the cameras 102 to 105 to be calibrated have heights from the road surface such as a wall, a guardrail, and a surrounding house. It is necessary to remove feature points.
  • information (image) of the front camera 102 that can project the front of the vehicle body is used. The same is possible when using the information (image) of the rear camera 103 capable of projecting the rear of the vehicle body, but in the present embodiment, the operation using the information (image) of the front camera 102 will be described below. I do.
  • the front camera 102 acquires feature points in front of the vehicle body, and while the vehicle 101 is traveling, in most cases, it is possible to capture the road surface in the traveling direction of the vehicle 101 except at the time of turning or the like.
  • the feature points on the road surface move backward at the same speed as the vehicle speed of the vehicle 101 on the overhead image when the calibration of the front camera 102 is correct, but the height of the wall surface is the road surface It is recognized that feature points at different positions move at a speed faster than the vehicle speed of the vehicle 101.
  • the front camera 102 it is possible to calibrate the camera angle using only feature points on the road surface in front of the vehicle body (feature points detected in the image captured by the front camera 102). In addition, it is possible to estimate the range of the road surface from the movement distance or movement speed of the feature point after calibration (described in detail later).
  • the left side camera 104 and the right side camera 105 acquire feature points on the side of the vehicle body, and tend to acquire many feature points whose heights such as wall surfaces are different from the road surface. Therefore, in the present embodiment, the feature points as described above (the height is different from the road surface from the feature points shown in the images of the left side camera 104 and the right side camera 105 using the information (image) of the front camera 102 The feature point at the position is excluded / discarded, and only the feature point on the road surface is selected to calibrate the camera angle.
  • the front of the vehicle is not necessarily the road surface.
  • vehicle information such as the steering angle of the steering wheel
  • the turn of the vehicle 101 can be detected. It is possible to respond by stopping acquisition of feature points.
  • FIG. 2 is a block diagram showing the internal configuration of the calibration device 110 shown in FIG. 1
  • FIG. 3 is a flowchart for explaining the flow of processing by the calibration device 110 shown in FIG.
  • the calibration device 110 basically detects a feature point (first feature point) from an image of the front camera 102 (first feature point detection unit) 201, and a side camera A feature point detection unit (second feature point detection unit) 202 for detecting a feature point (second feature point) from an image of the camera 106 (left side camera 104 or right side camera 105), and a feature point in the image of the front camera 102 Feature point tracking unit (first feature point tracking unit) 203 for tracking, feature point tracking unit (second feature point tracking unit) 204 for tracking feature points in the image of the side camera 106, features in the image of the front camera 102 A feature point height calculation unit 205 that calculates the height of a point, a road surface range estimation unit 206 by the front camera 102, and a feature point range adopted by calibration of the side camera 106 That is, a road surface range setting unit 207 for determining a road surface range, a feature point selection unit 208 for selecting feature points to be adopted for calibration of the side camera 106,
  • the feature point detection unit 201 on the front camera 102 side and the feature point detection unit 202 on the side camera 106 side may be shared, and together with the feature point tracking unit 203 on the front camera 102 side. It is needless to say that it may be shared with the feature point tracking unit 204 on the side camera 106 side.
  • the process on the front camera 102 side and the process on the side camera 106 side are executed almost simultaneously, but in the following description, the operation on the front camera 102 side will be described.
  • the image is input to the feature point detection unit 201, and feature points are extracted (detected) from the image (see FIG. S302 of 3).
  • the feature points referred to here are places (points) where it is easy to identify the same point in a plurality of images, and include corner points of road surface paint and the like. This feature point detection process is performed using a known detection technique.
  • the coordinates of the feature point detected by the feature point detection unit 201 are sent to the feature point tracking unit 203.
  • the feature point tracking unit 203 tracks feature points at the same point from images (time-series images) at different times of the front camera 102 (S303 in FIG. 3).
  • the tracking process of feature points over a plurality of time points is performed using a known tracking technique.
  • the coordinates of the obtained feature point are stored (S304 in FIG. 3) and sent to the feature point height calculation unit 205.
  • the feature point height calculation unit 205 determines whether the obtained number of feature points (i.e., the number of stored items) has reached a predetermined number (S305 in FIG. 3), and the number has reached the predetermined number. In this case, the coordinates of the feature point are ⁇ transformed into coordinates on the road surface.
  • the feature point height calculation unit 205 calculates the height of the feature point from the movement distance or movement speed of the coordinates on the road surface based on the vehicle speed obtained from the vehicle speed sensor or the wheel speed sensor provided in the vehicle 101. (S306 in FIG. 3), it is determined whether or not the feature point is truly present on the road surface (in other words, whether or not it has the same height as the road surface), and the result is the road surface area estimation unit 206 Sent to
  • feature point detection by the feature point detection unit 201 and feature point tracking by the feature point tracking unit 203 are performed not only once but continuously each time an image is input from the front camera 102.
  • the determination result (the determination result by the feature point height calculation unit 205) of the feature point detected and tracked in the fixed period is accumulated in the road surface range estimation unit 206.
  • the road surface range estimation unit 206 estimates the distribution range of the feature points determined to be on the road surface (that is, feature points having the same height as the road surface) from the result as the road surface (road surface range) (S307 in FIG. 3). ) (See the upper diagram in FIG. 4).
  • the estimation result by the road surface range estimation unit 206 is sent to the road surface range setting unit 207 and notified to the side camera 106 (S308 in FIG. 3), and the road surface range setting unit 207 determines a road surface by the side camera 106 side Are determined (set) (S309 in FIG. 3).
  • the road surface range is set in consideration of the error range.
  • a wide-angle fisheye camera is usually adopted for the side camera 106 or there is an invisible area, a fixed ratio or a fixed length is set as an area removed from the end of the road surface range ( See the lower part of FIG. 4).
  • the setting of the road surface range by the road surface range setting unit 207 is periodically updated.
  • the side camera 106 also performs feature point detection and tracking in the same manner as the front camera 102.
  • the feature point detection method is the same as the detection method performed by the feature point detection unit 201 on the front camera 102 side.
  • the coordinates of the feature point detected by the feature point detection unit 202 are sent to the feature point tracking unit 204, and the feature point tracking unit 204 tracks feature points of the same point from images of different times of the side camera 106 S312 of FIG. 3).
  • the tracking process by the feature point tracking unit 204 is also similar to the tracking process performed by the feature point tracking unit 203 on the front camera 102 side.
  • the coordinates of the feature point (tracking complete feature point) for which tracking by the feature point tracking unit 204 has been completed are sent to the feature point selection unit 208.
  • the coordinates of the feature point are extracted and converted into coordinates on the overhead image (S313 in FIG. 3). Further, the feature point selection unit 208 determines whether the coordinates on the overhead image coincide with the road surface range sent from the road surface range setting unit 207 (that is, whether the coordinates exist in the road surface range) (see FIG. 3 (S314), only the coordinates within the road surface range (feature points having the same) are selected, sent to the calibration operation unit 209 and stored (S315 in FIG. 3). The feature points determined not to exist in the road surface range are discarded (S 318 in FIG. 3).
  • the calibration operation unit 209 determines whether the number of feature points (feature points within the road surface range) (that is, the number of stored feature points) sorted and stored by the feature point sorting unit 208 has reached a predetermined number determined in advance. If the specified number is reached, calibration of the side camera 106 is performed using the feature points (feature points within the road surface range) (S317 in FIG. 3). The calibration calculation process by the calibration calculation unit 209 is performed in the following procedure.
  • the movement distance of the feature point coincides with the traveling distance of the vehicle 101 in the saddle coordinate system.
  • the feature point moves straight back.
  • the pitch angle of the side camera 106 the feature point advances obliquely, or the moving distance of the feature point becomes different from the moving distance of the vehicle 101.
  • the angle used for the eyelid conversion is changed by a minute amount, the position of the feature point on the eyelid coordinate changes, so the moving direction and the distance of movement of the feature point change.
  • the pitch angle of the side camera 106 changes, the moving distance of the feature point mainly changes. Therefore, if the pitch angle used in the calculation for performing the eyelid conversion process is changed by a minute amount at a minute amount and the angle at which the movement distance of the feature point matches the movement distance of the vehicle 101 is determined, it is estimated that the pitch angle is the correct pitch angle Ru.
  • the side camera 106 can be calibrated by determining the pitch angle at which the evaluation value becomes the minimum, using the sum or the sum of squared errors as the evaluation value.
  • the feature point selection unit 208 needs to convert the coordinates of the feature points to bar coordinates before performing the above-mentioned feature point selection, but if calibration has not been performed even once, design values etc. are used. Do. Since this angle contains a large error, this feature point selection may cause sorting errors due to the effect of the error. That is, there may be cases where an erroneous feature point is selected because the feature point located on the road surface but close to the road edge is removed by screening or is located outside the road surface but is close to the road surface. . Such a sorting error causes an error in the calibration result of the calibration operation unit 209.
  • the calibration result of the calibration operation unit 209 is more reliable than the pre-calibration angle information, even if an error occurs. Therefore, selection errors can be reduced by using the angle of the calibration result of the calibration operation unit 209 for the wedge conversion of feature point selection of the feature point selection unit 208.
  • the calibration result of the calibration operation unit 209 is fed back to the feature point selection unit 208, the feature points are reselected, and the second calibration is performed.
  • the newly obtained feature points are ⁇ transformed and sorted at an angle after feedback. Thereby, in the second calibration, more accurate results are obtained.
  • the calibration operation unit 209 repeats the calibration for a certain number of times or for a certain period of time, and outputs the final calibration result.
  • the operation has been described on the premise that the front camera 102 is present. However, when the front camera 102 is not present, the same operation can be performed by using the rear camera 103.
  • the front camera 102 for front monitoring is essential, but it is only for the driving assistance of the driver, and the rear camera 103 for rear monitoring which is a blind spot from the driver.
  • the rear camera 103 for rear monitoring which is a blind spot from the driver.
  • the same calibration as the above embodiment is realized by using the rear camera 103. Can.
  • a plurality of side cameras 106 there are usually a plurality of side cameras 106. Also in this case, it is possible to simultaneously perform calibration of a plurality of side cameras by performing road surface range determination using an image of the front camera 102 and transmitting estimation results of the road surface range to a plurality of side cameras. Note that calibration of a plurality of side cameras can be performed not simultaneously but sequentially for the purpose of reducing the amount of ECU 107 as an arithmetic device and reducing the power consumption.
  • the processing amount can be reduced and the power consumption can be reduced by stopping all the processing of the camera that does not show the road surface range. Also, by stopping the processing of the camera that does not show the road surface range, there is ample processing capacity, so by using that processing capacity for calibration of other cameras or allocating it to other processing such as calculation of automatic driving It is also possible to further enhance the safety.
  • the calibration apparatus 110 uses feature points shown in an image of a camera (front camera 102 or rear camera 103) different from the camera (side camera 106) that executes calibration.
  • the road surface range is estimated, and calibration is performed using only the feature points existing in the estimated road surface range among the feature points shown in the image of the camera performing calibration.
  • only feature points on the road surface can be appropriately extracted to obtain a highly accurate calibration result. Thereby, it is possible to improve safety such as automatic driving using images taken by each camera.
  • the present invention is not limited to the above-described embodiment, but includes various modifications.
  • the above-described embodiment is described in detail to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the described configurations.
  • each of the configurations, functions, processing units, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit. Further, each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a storage device such as a solid state drive (SSD), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD solid state drive
  • control lines and information lines indicate what is considered to be necessary for the description, and not all control lines and information lines in the product are necessarily shown. In practice, almost all configurations may be considered to be mutually connected.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

校正対象となる車載カメラにより撮像された画像から路面上の特徴点のみを取り出して精度の高い校正結果を得ることのできるキャリブレーション装置及び方法を提供する。キャリブレーションを実行するカメラ（サイドカメラ１０６）とは異なるカメラ（フロントカメラ１０２やリアカメラ１０３）の画像に映る特徴点を利用して路面範囲を推定し、キャリブレーションを実行するカメラの画像に映る特徴点のうち、推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行する。

Description

車載カメラのキャリブレーション装置及び方法
　本発明は、車載カメラの外部パラメータを自動的に校正するキャリブレーション装置及び方法に関する。
　近年、自動車等の車両に搭載された車載カメラ（以下、単にカメラということがある）を用いて自動駐車や自動運転などの車両制御を行うことが検討されている。カメラにより撮像された画像を用いて車両制御を行うためには、カメラの取り付け位置、取り付け角度などの外部パラメータを正確に求める必要があるが、物理的な取り付け精度は車両制御を行うには不十分である。
　また、車両に乗せる人や積載する荷物などの荷重が変動すると、車体が上下したり、車体の傾きが変化するので、それによって、カメラの位置が変動したり、カメラの傾きないし向きが変動する。
　従来技術においては、カメラの外部パラメータは、カメラを車両に取り付けた後に、既知パターンを床面に施した測定場で測定して求められていたが、このような方法では、カメラを車両に取り付けた後に測定場に搬入する必要があり、作業量が大きくなっていた。また、前述の方法では、車両の荷重変動による外部パラメータの変動に対処することができない。
　そのため、車両走行中にカメラの外部パラメータを校正する方法が用いられるようになってきている。
　このように車両走行中に車載カメラの外部パラメータを校正する方法として、下記特許文献１には、カメラから入力される画像に対して、検出された複数の特徴点を追跡し、その特徴点の時系列座標位置からカメラの外部パラメータの推定を行う方法が提案されている。
国際公開第２０１２／１３９６３６号
　ところで、上記特許文献１に所載の方法では、使用する特徴点が路面ペイントなどの路面と同じ高さにあることを前提としている。しかしながら、カメラ画像に映る特徴点は、路面と同じ高さにあるとは限らず、壁やガードレール、周辺家屋などの特徴点も捉えてしまい、これらの特徴点を使用して校正を行うと、校正結果にズレが生じてしまう。また、特に車体側面に設置されて車両側方を撮影するサイドカメラにおいては、高さの異なる特徴点が並んでいる場合と、カメラのピッチ角度がずれている場合において、特徴点が同様の軌跡を進むように見えるため、両者の判別が困難であるといった課題もある。
　例えば、図６に示す車両の環境では、車載カメラは、路面の特徴点だけではなく、壁に現れる特徴点も検出して追跡を行うことになる。特に車体側面に設置されたサイドカメラでは、視野範囲のほとんどに壁が映るため、その壁面の特徴点を多く取得することになる（特に、図６の上段図参照）。この取得した特徴点を俯瞰画像（車両を真上から見下ろしたような画像）上にマッピングすると、カメラと特徴点を結ぶ直線が路面と交わる点の特徴点として扱われる。この特徴点は図６の下段図に示すように路面上を移動すると認識されるため、車速より早い速度で移動しているように観測される。壁面に高さの異なる複数の特徴点が存在する場合、その位置（高さ）によって見かけ上の移動速度が異なって観測される。この特徴点の移動を基に校正を行うと、サイドカメラのピッチ角度がずれている状態と同一であるので、本来のピッチ角度とは異なる校正結果が得られることになる。
　そのため、カメラの校正を行う場合、路面から高さのある特徴点を取り除く必要があるが、図６に示す環境では、ピッチ角度のずれと高さのある特徴点とは見かけ上同一の動きになるため、それらを区別することはできない。
　本発明は、上記事情に鑑みてなされたもので、その目的とするところは、校正対象となる車載カメラにより撮像された画像から路面上の特徴点のみを取り出して精度の高い校正結果を得ることのできるキャリブレーション装置及び方法を提供することにある。
　上記課題を解決するために、本発明に係るカメラキャリブレーション装置は、複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション装置であって、前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、前記キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、前記推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することを特徴としている。
　また、本発明に係るカメラキャリブレーション装置は、複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション装置であって、前記キャリブレーションを実行する校正対象の車載カメラとは異なる校正非対象の車載カメラの画像に映る第１特徴点を検出する第１特徴点検出部と、前記校正非対象の車載カメラの時刻の異なる画像から前記第１特徴点を追跡する第１特徴点追跡部と、追跡された前記第１特徴点の移動距離ないし移動速度から前記第１特徴点の高さを算出する特徴点高さ算出部と、前記第１特徴点のうち、路面と同一の高さを持つ第１特徴点が存在する範囲を路面範囲として推定する路面範囲推定部と、前記推定された路面範囲を前記校正対象の車載カメラにおける路面範囲として設定する路面範囲設定部と、前記キャリブレーションを実行する校正対象の車載カメラの画像に映る第２特徴点を検出する第２特徴点検出部と、前記校正対象の車載カメラの時刻の異なる画像から前記第２特徴点を追跡する第２特徴点追跡部と、追跡された前記第２特徴点から前記路面範囲に存在する第２特徴点を選別する特徴点選別部と、前記路面範囲に存在する第２特徴点のみから前記校正対象の車載カメラのキャリブレーションを実行する校正演算部と、を備えることを特徴としている。
　また、本発明に係るカメラキャリブレーション方法は、複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション方法であって、前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、前記キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、前記推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することを特徴としている。
　本発明によれば、例えば壁面などの路面以外の特徴点が多く取れるシーンでのサイドカメラの校正において、路面上の特徴点のみを適切に取り出して精度の高い校正結果が得られる。それによって、車載カメラにより撮影された画像を用いた自動運転などの安全性を向上させることが可能となる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係るキャリブレーション装置の一実施形態が適用される車載カメラシステムのシステム構成を示す概略構成図である。 本発明に係るキャリブレーション装置の一実施形態の内部構成を示すブロック図である。 本発明に係るキャリブレーション装置の一実施形態による処理の流れを説明するフローチャートである。 路面範囲推定部および路面範囲設定部による処理の一例を説明する図である。 路面範囲推定部および路面範囲設定部による処理の他例を説明する図である。 車両の周囲環境と車載カメラの画像に映る特徴点の例を示す図である。
　以下、図面を参照して、本発明の実施形態について詳細に説明する。
　図１は、本発明に係るキャリブレーション装置の一実施形態が適用される車載カメラシステムのシステム構成を示す概略構成図である。
　図示実施形態では、４台のカメラ１０２～１０５が、車両１０１に搭載され、例えば当該車両１０１の車体の前後左右に設置される。車両１０１の車体前面に設置されたフロントカメラ１０２は、車体前方を撮影して画像を生成し、車両１０１の車体背面に設置されたリアカメラ１０３は、車体後方を撮影して画像を生成し、車両１０１の車体左側面に設置された左サイドカメラ１０４は、車体左側方を撮影して画像を生成し、車両１０１の車体右側面に設置された右サイドカメラ１０５は、車体右側方を撮影して画像を生成する。各カメラ１０２～１０５は、通常、路面（地面）と平行な水平面に対して平行から鉛直下方に向かう方向に光軸が向くように取り付けられる。また、各カメラ１０２～１０５には、車両１０１の全周囲の画像を取得できるように、例えば広角の魚眼カメラが採用される。
　なお、車両１０１に搭載されるカメラの台数や位置等は、図示例に限定されないことは当然である。
　車両１０１には、各カメラ１０２～１０５で撮影された画像を受信して処理する処理装置としてのＥＣＵ１０７が搭載されている。このＥＣＵ１０７は、プログラムなどに基づき各種演算処理を行う演算装置としてのＣＰＵ、各カメラ１０２～１０５で撮影された画像データなどを格納するＲＡＭ、各種演算処理（例えば、後述するカメラの外部パラメータのキャリブレーション）を実行するプログラムやプログラムで必要となる情報などを格納するＲＯＭ等を含むマイコンで構成されている。
　本実施形態では、前記ＥＣＵ１０７には、例えば車両１０１の走行中に、各カメラ１０２～１０５で撮影された画像を用いて、各カメラ１０２～１０５の外部パラメータを自動的に校正するためのキャリブレーション装置１１０が内蔵されている。
　上述したように、各カメラ１０２～１０５のキャリブレーション（校正）を行う場合、校正対象となるカメラ１０２～１０５の画像に映る特徴点から、壁やガードレール、周辺家屋などの路面から高さのある特徴点を取り除く必要がある。これを解決するために、本実施形態では、車体前方を映すことができるフロントカメラ１０２の情報（画像）を使用する。車体後方を映すことができるリアカメラ１０３の情報（画像）を使用する場合でも同様のことが可能であるが、本実施形態では、フロントカメラ１０２の情報（画像）を用いた動作で以下の説明を行う。
　フロントカメラ１０２は、車体前方の特徴点を取得しており、車両１０１の走行中は、旋廻時などを除き、ほとんどの場合、当該車両１０１の進行方向に路面を捉えることが可能である。前述したように、路面上の特徴点は、フロントカメラ１０２の校正が正しい場合、俯瞰画像上では、車両１０１の車速と同じ速さで後方に移動するが、壁面などの高さが路面とは異なる位置にある特徴点は、車両１０１の車速より速い速度で移動すると認識される。
　すなわち、フロントカメラ１０２では、車体前方にある路面上の特徴点（フロントカメラ１０２で撮影された画像中で検出される特徴点）のみを使用してカメラ角度の校正を行うことが可能である。また、校正後に特徴点の移動距離ないし移動速度から、路面の範囲を推定することが可能となる（後で詳述）。
　一方、左サイドカメラ１０４や右サイドカメラ１０５では、車体側方の特徴点を取得しており、壁面などの高さが路面とは異なる位置にある特徴点を多く取得する傾向にある。そのため、本実施形態では、フロントカメラ１０２の情報（画像）を用いて、左サイドカメラ１０４や右サイドカメラ１０５の画像に映る特徴点から、前記のような特徴点（高さが路面とは異なる位置にある特徴点）を除外・破棄し、路面上の特徴点のみを選別してカメラ角度の校正を行うというものである。
　なお、車両１０１の旋回時は、車体の正面が必ずしも路面とは限らないが、ハンドルの舵角などの車両情報を取得することによって、車両１０１の旋回を検知することができるため、その場合は、特徴点の取得を停止することによって対応可能である。
　以上の本実施形態のキャリブレーション装置１１０によるキャリブレーションの詳細、特に、キャリブレーション装置１１０による左サイドカメラ１０４や右サイドカメラ１０５のキャリブレーションの詳細を、図２、３を用いて説明する。図２は、図１に示すキャリブレーション装置１１０の内部構成を示すブロック図であり、図３は、図１に示すキャリブレーション装置１１０による処理の流れを説明するフローチャートである。
　図２に示すように、キャリブレーション装置１１０は、基本的に、フロントカメラ１０２の画像から特徴点（第１特徴点）を検出する特徴点検出部（第１特徴点検出部）２０１、サイドカメラ１０６（左サイドカメラ１０４または右サイドカメラ１０５）の画像から特徴点（第２特徴点）を検出する特徴点検出部（第２特徴点検出部）２０２、フロントカメラ１０２の画像中の特徴点を追跡する特徴点追跡部（第１特徴点追跡部）２０３、サイドカメラ１０６の画像中の特徴点を追跡する特徴点追跡部（第２特徴点追跡部）２０４、フロントカメラ１０２の画像中の特徴点の高さを算出する特徴点高さ算出部２０５、フロントカメラ１０２による路面範囲推定部２０６、サイドカメラ１０６のキャリブレーションで採用する特徴点範囲（すなわち、路面範囲）を決定するための路面範囲設定部２０７、サイドカメラ１０６のキャリブレーションで採用する特徴点を選別する特徴点選別部２０８、サイドカメラ１０６のキャリブレーションを実行する校正演算部２０９を含んで構成されている。
　なお、前記キャリブレーション装置１１０において、フロントカメラ１０２側の特徴点検出部２０１とサイドカメラ１０６側の特徴点検出部２０２とは共有してもよいし、フロントカメラ１０２側の特徴点追跡部２０３とサイドカメラ１０６側の特徴点追跡部２０４とは共有してもよいことは詳述するまでも無い。
　前記キャリブレーション装置１１０では、フロントカメラ１０２側の処理とサイドカメラ１０６側の処理とはほぼ同時に実行されるものであるが、以下の説明では、フロントカメラ１０２側の動作から説明を行う。
　フロントカメラ１０２からキャリブレーション装置１１０に画像が入力されると（図３のＳ３０１）、その画像は、特徴点検出部２０１に入力され、その画像中から特徴点が抽出（検出）される（図３のＳ３０２）。ここで言う特徴点とは、複数の画像で同一点を同定しやすい場所（点）のことであり、路面ペイントのコーナー点などが含まれる。この特徴点の検出処理は、公知の検出技術を用いて行われる。
　特徴点検出部２０１で検出された特徴点の座標は、特徴点追跡部２０３に送られる。特徴点追跡部２０３では、フロントカメラ１０２の時刻の異なる画像（時系列画像）から同一点の特徴点の追跡を行う（図３のＳ３０３）。この複数の時刻にわたる特徴点の追跡処理は、公知の追跡技術を用いて行われる。
　特徴点追跡部２０３での追跡が完了すると、得られた特徴点（追跡完了特徴点）の座標は保存されるとともに（図３のＳ３０４）、特徴点高さ算出部２０５に送られる。特徴点高さ算出部２０５では、得られた特徴点の数（すなわち、保存数）が予め決められた規定数に達したか否かを判定し（図３のＳ３０５）、規定数に達した場合には、特徴点の座標が俯瞰変換され、路面上の座標に変換される。また、特徴点高さ算出部２０５では、車両１０１に設けられた車速センサや車輪速センサなどから得られる車速を基に、路面上の座標の移動距離ないし移動速度から特徴点の高さを計算し（図３のＳ３０６）、その特徴点が真に路面上に存在するか否か（言い換えれば、路面と同一の高さを持つか否か）を判定し、その結果が路面範囲推定部２０６に送られる。
　前述のように、特徴点検出部２０１による特徴点検出と特徴点追跡部２０３による特徴点追跡は、１回のみではなくフロントカメラ１０２から画像が入力されるたびに継続的に行われる。一定期間に検出・追跡された特徴点の判定結果（特徴点高さ算出部２０５による判定結果）は、路面範囲推定部２０６に蓄積される。路面範囲推定部２０６では、その結果から路面上と判定された特徴点（つまり、路面と同一の高さを持つ特徴点）の分布範囲を路面上（路面範囲）と推定する（図３のＳ３０７）（図４の上段図参照）。
　路面範囲推定部２０６による推定結果は、路面範囲設定部２０７へ送られてサイドカメラ１０６側に通知され（図３のＳ３０８）、路面範囲設定部２０７では、サイドカメラ１０６側で路面と判定する範囲が決定（設定）される（図３のＳ３０９）。ここで、サイドカメラ１０６は校正前の状態であるので、俯瞰変換後の座標に誤差が発生するため、誤差範囲を考慮して路面範囲を設定する。具体的には、通常、当該サイドカメラ１０６には広角の魚眼カメラが採用されたり不可視領域が存在するので、一定の割合、または一定の長さを路面範囲の端から取り除いた範囲とする（図４の下段図参照）。
　この路面範囲設定部２０７による路面範囲の設定は、定期的に更新される。
　次に、サイドカメラ１０６側の動作を説明する。
　サイドカメラ１０６でも、フロントカメラ１０２と同様に特徴点の検出と追跡が行われる。
　サイドカメラ１０６からキャリブレーション装置１１０に画像が入力されると（図３のＳ３１０）、その画像は、特徴点検出部２０２に送られ、その画像中から特徴点の検出が行われる（図３のＳ３１１）。この特徴点の検出方法は、フロントカメラ１０２側の特徴点検出部２０１で行われる検出方法と同様である。
　特徴点検出部２０２で検出された特徴点の座標は、特徴点追跡部２０４に送られ、特徴点追跡部２０４では、サイドカメラ１０６の時刻の異なる画像から同一点の特徴点の追跡を行う（図３のＳ３１２）。この特徴点追跡部２０４による追跡処理も、フロントカメラ１０２側の特徴点追跡部２０３で行われる追跡処理と同様である。
　特徴点追跡部２０４での追跡が完了した特徴点（追跡完了特徴点）の座標は、特徴点選別部２０８に送られる。特徴点選別部２０８では、特徴点の座標が抽出されて俯瞰画像上の座標に変換される（図３のＳ３１３）。また、特徴点選別部２０８では、この俯瞰画像上の座標が、路面範囲設定部２０７から送られる路面範囲に合致するか否か（つまり、路面範囲に存在するか否か）が判断され（図３のＳ３１４）、路面範囲内の座標（を持つ特徴点）のみが選別されて校正演算部２０９に送られて保存される（図３のＳ３１５）。なお、路面範囲に存在しないと判断された特徴点は破棄される（図３のＳ３１８）。
　校正演算部２０９では、特徴点選別部２０８で選別されて保存された特徴点（路面範囲内特徴点）の数（すなわち、保存数）が予め決められた規定数に達したか否かを判定し（図３のＳ３１６）、規定数に達した場合には、その特徴点（路面範囲内特徴点）を用いて、サイドカメラ１０６の校正を行う（図３のＳ３１７）。この校正演算部２０９による校正演算処理は、以下の手順で行われる。
　すなわち、校正が正しく行われた場合は、特徴点の移動距離は俯瞰座標では車両１０１の進行距離と一致する。また、車両１０１が直進している場合は、特徴点はまっすぐ後方に移動する。サイドカメラ１０６のピッチ角度に誤差がある場合は、特徴点は斜めに進行したり、特徴点の移動距離が車両１０１の移動距離と異なるようになる。俯瞰変換に用いる角度を微小量変化させると、俯瞰座標上での特徴点の位置が変わるため、特徴点の移動方向や移動距離が変化する。
　サイドカメラ１０６のピッチ角度が変化すると、主に特徴点の移動距離が変化する。そのため、俯瞰変換処理を行う計算に用いるピッチ角度を微小量ずつ変化させ、特徴点の移動距離が車両１０１の移動距離に一致する角度を求めれば、そのピッチ角度が正しいピッチ角度であると推定される。
　また、サイドカメラ１０６の画像中で検出・追跡される特徴点が、１点ではなく、複数である場合は、各特徴点の移動距離と車両１０１の移動距離の差分を求め、その絶対値の合計または２乗誤差の合計を評価値として、その評価値が最小になるピッチ角度を求めることにより、サイドカメラ１０６の校正を行うことができる。
　前述の校正の計算は、１回のみで行うこともできるが、繰り返し実行することによって、精度の向上を図ることができる。これは、校正演算部２０９の１回目の校正結果を特徴点選別部２０８にフィードバックすることによって実現できる。
　特徴点選別部２０８では、前述の特徴点選別を行う前に特徴点の座標を俯瞰座標に変換する必要があるが、校正が１度も行われていない場合は、設計上の値などを利用する。この角度は大きな誤差を含むため、この特徴点選別では誤差の影響で選別ミスが発生する可能性がある。すなわち、路面上ではあるが、路面端に近い位置にある特徴点が選別で除去されたり、路面外ではあるが、路面に近接していたために、誤った特徴点が選択されてしまう場合がある。このような選別ミスは、校正演算部２０９の校正結果に誤差を生じさせる原因になる。
　校正演算部２０９の校正結果は、誤差が生じたとしても、校正前の角度情報より信頼性が高い。そのため、特徴点選別部２０８の特徴点選別の俯瞰変換に校正演算部２０９の校正結果の角度を使用することによって、選別ミスを少なくすることができる。
　すなわち、校正演算部２０９の校正結果を特徴点選別部２０８にフィードバックし、特徴点を再選別して２回目の校正を行う。または、新しく得られた特徴点を、フィードバック後の角度で俯瞰変換して選別する。これにより、２回目の校正では、より精度の高い結果が得られる。
　前記の校正とフィードバックを繰り返すことによって、より精度の高い校正結果が得られる。
　校正演算部２０９では、このようして一定回数、あるいは一定時間の間に校正を繰り返したのち、最後の校正結果を出力する。
　なお、上記実施形態では、フロントカメラ１０２が存在することを前提として動作を説明したが、フロントカメラ１０２が存在しない場合はリアカメラ１０３を用いることで同様の動作が可能である。カメラで撮影された画像による自動運転を前提とした場合、前方監視用のフロントカメラ１０２は必須であるが、ドライバーの運転補助のみを前提とし、ドライバーからの死角になる後方監視用のリアカメラ１０３や側方監視用のサイドカメラ１０６（左サイドカメラ１０４や右サイドカメラ１０５）のみを搭載する車載カメラシステムの場合、リアカメラ１０３を用いることによって、上記実施形態と同様のキャリブレーションを実現することができる。
　また、サイドカメラ１０６は通常は複数存在する。この場合も、路面範囲判定はフロントカメラ１０２の画像を用いて行い、路面範囲の推定結果を複数のサイドカメラにそれぞれ伝達することによって、複数のサイドカメラの校正を同時に行うことが可能である。なお、演算装置としてのＥＣＵ１０７の搭載量削減や消費電力削減を目的として、複数のサイドカメラの校正を同時ではなく、順次実行することも可能である。
　また、フロントカメラ１０２の画像を用いた路面範囲推定から、路面範囲が画像内に映らないカメラを選別することも可能である（図５参照）。この場合、路面範囲の映らないカメラの処理を全て止めてしまうことによって、処理量を削減し、消費電力を削減することができる。また、路面範囲が映らないカメラの処理を止めることによって、処理能力に余裕が生まれるため、その処理能力を他のカメラの校正に使用したり、自動運転の計算などの他の処理に振り分けることによって、安全性を更に高めることも可能である。
　以上で説明したように、本実施形態のキャリブレーション装置１１０では、キャリブレーションを実行するカメラ（サイドカメラ１０６）とは異なるカメラ（フロントカメラ１０２やリアカメラ１０３）の画像に映る特徴点を利用して路面範囲を推定し、キャリブレーションを実行するカメラの画像に映る特徴点のうち、推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することにより、例えば壁面などの路面以外の特徴点が多く取れるシーンでのサイドカメラ１０６の校正において、路面上の特徴点のみを適切に取り出して精度の高い校正結果が得られる。それによって、各カメラにより撮影された画像を用いた自動運転などの安全性を向上させることが可能である。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１０１　車両
１０２　フロントカメラ
１０３　リアカメラ
１０４　左サイドカメラ
１０５　右サイドカメラ
１０６　サイドカメラ
１０７　ＥＣＵ
１１０　キャリブレーション装置
２０１　特徴点検出部（第１特徴点検出部）
２０２　特徴点検出部（第２特徴点検出部）
２０３　特徴点追跡部（第１特徴点追跡部）
２０４　特徴点追跡部（第２特徴点追跡部）
２０５　特徴点高さ算出部
２０６　路面範囲推定部
２０７　路面範囲設定部
２０８　特徴点選別部
２０９　校正演算部

Claims (9)

  1. 　複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション装置であって、
    　前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、
    　前記キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、前記推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することを特徴とするキャリブレーション装置。
  2. 　請求項１に記載のキャリブレーション装置において、
    　前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点の移動距離ないし移動速度に基づいて前記路面範囲を推定することを特徴とするキャリブレーション装置。
  3. 　請求項１に記載のキャリブレーション装置において、
    　前記キャリブレーションを実行する車載カメラとは異なる車載カメラは、車両の前方を撮影するフロントカメラ、あるいは、車両の後方を撮影するリアカメラであることを特徴とするキャリブレーション装置。
  4. 　請求項１に記載のキャリブレーション装置において、
    　前記キャリブレーションを実行する車載カメラは、車両の側方を撮影するサイドカメラであることを特徴とするキャリブレーション装置。
  5. 　複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション装置であって、
    　前記キャリブレーションを実行する校正対象の車載カメラとは異なる校正非対象の車載カメラの画像に映る第１特徴点を検出する第１特徴点検出部と、
    　前記校正非対象の車載カメラの時刻の異なる画像から前記第１特徴点を追跡する第１特徴点追跡部と、
    　追跡された前記第１特徴点の移動距離ないし移動速度から前記第１特徴点の高さを算出する特徴点高さ算出部と、
    　前記第１特徴点のうち、路面と同一の高さを持つ第１特徴点が存在する範囲を路面範囲として推定する路面範囲推定部と、
    　前記推定された路面範囲を前記校正対象の車載カメラにおける路面範囲として設定する路面範囲設定部と、
    　前記キャリブレーションを実行する校正対象の車載カメラの画像に映る第２特徴点を検出する第２特徴点検出部と、
    　前記校正対象の車載カメラの時刻の異なる画像から前記第２特徴点を追跡する第２特徴点追跡部と、
    　追跡された前記第２特徴点から前記路面範囲に存在する第２特徴点を選別する特徴点選別部と、
    　前記路面範囲に存在する第２特徴点のみから前記校正対象の車載カメラのキャリブレーションを実行する校正演算部と、を備えることを特徴とするキャリブレーション装置。
  6. 　複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション方法であって、
    　前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、
    　前記キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、前記推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することを特徴とするキャリブレーション方法。
  7. 　請求項６に記載のキャリブレーション方法において、
    　前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点の移動距離ないし移動速度に基づいて前記路面範囲を推定することを特徴とするキャリブレーション方法。
  8. 　請求項６に記載のキャリブレーション方法において、
    　前記キャリブレーションを実行する車載カメラとは異なる車載カメラは、車両の前方を撮影するフロントカメラ、あるいは、車両の後方を撮影するリアカメラであることを特徴とするキャリブレーション方法。
  9. 　請求項６に記載のキャリブレーション方法において、
    　前記キャリブレーションを実行する車載カメラは、車両の側方を撮影するサイドカメラであることを特徴とするキャリブレーション方法。
PCT/JP2018/026661 2017-07-28 2018-07-17 車載カメラのキャリブレーション装置及び方法 WO2019021876A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18837421.9A EP3660788A4 (en) 2017-07-28 2018-07-17 DEVICE AND METHOD FOR CALIBRATING A CAMERA ON BOARD A VEHICLE
US16/634,444 US11373333B2 (en) 2017-07-28 2018-07-17 Calibration apparatus and method for in-vehicle camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017146551A JP6776202B2 (ja) 2017-07-28 2017-07-28 車載カメラのキャリブレーション装置及び方法
JP2017-146551 2017-07-28

Publications (1)

Publication Number Publication Date
WO2019021876A1 true WO2019021876A1 (ja) 2019-01-31

Family

ID=65039638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026661 WO2019021876A1 (ja) 2017-07-28 2018-07-17 車載カメラのキャリブレーション装置及び方法

Country Status (4)

Country Link
US (1) US11373333B2 (ja)
EP (1) EP3660788A4 (ja)
JP (1) JP6776202B2 (ja)
WO (1) WO2019021876A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208298251U (zh) * 2018-04-17 2018-12-28 深圳市道通科技股份有限公司 车载摄像头的标定装置及系统
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
JP2021043486A (ja) * 2019-09-06 2021-03-18 株式会社東芝 位置推定装置
CN114049404B (zh) * 2022-01-12 2022-04-05 深圳佑驾创新科技有限公司 一种车内相机外参标定方法及装置
WO2023244937A1 (en) * 2022-06-14 2023-12-21 Argo AI, LLC Systems and methods for autonomous vehicle sensor calibration and validation
WO2023248257A1 (en) * 2022-06-24 2023-12-28 Ola Electric Mobility Private Limited Detecting a calibration loss of a camera device in a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322052A (ja) * 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステム
WO2012139636A1 (en) 2011-04-13 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road surface texture tracking and geometric properties
WO2017122552A1 (ja) * 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8373763B2 (en) * 2008-05-22 2013-02-12 GM Global Technology Operations LLC Self calibration of extrinsic camera parameters for a vehicle camera
US9900522B2 (en) * 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
CN109215083B (zh) * 2017-07-06 2021-08-31 华为技术有限公司 车载传感器的外部参数标定的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322052A (ja) * 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステム
WO2012139636A1 (en) 2011-04-13 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road surface texture tracking and geometric properties
WO2017122552A1 (ja) * 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3660788A4

Also Published As

Publication number Publication date
EP3660788A4 (en) 2021-04-28
EP3660788A1 (en) 2020-06-03
US20200211224A1 (en) 2020-07-02
JP6776202B2 (ja) 2020-10-28
US11373333B2 (en) 2022-06-28
JP2019028665A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
US11620837B2 (en) Systems and methods for augmenting upright object detection
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
JP4899424B2 (ja) 物体検出装置
JP4962581B2 (ja) 区画線検出装置
US20090121899A1 (en) Parking assistance device
CN107750213B (zh) 前方车辆碰撞报警装置及报警方法
JP6708730B2 (ja) 移動体
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
WO2010047226A1 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
CN107787496B (zh) 消失点修正装置及方法
JP2008299458A (ja) 車両監視装置および車両監視方法
JP2008282386A (ja) 物体検出装置、物体検出方法及び物体検出プログラム
EP3139346B1 (en) Vision system for a motor vehicle and method of controlling a vision system
EP3486871B1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle
JP2012517055A (ja) ビデオに基く車両の運転者援助システムの作動方法及び装置
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
JP5425500B2 (ja) キャリブレーション装置およびキャリブレーション方法
JP4151631B2 (ja) 物体検出装置
JP2018120303A (ja) 物体検出装置
JP2005148784A (ja) 路面走行レーン検出装置
JP2005329765A (ja) 走行路認識装置
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
US20220406070A1 (en) Method and device for recognizing an object for a vehicle including a mono camera, and camera system
JP7154470B2 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18837421

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018837421

Country of ref document: EP

Effective date: 20200228