JP6768554B2 - Calibration device - Google Patents
Calibration device Download PDFInfo
- Publication number
- JP6768554B2 JP6768554B2 JP2017030791A JP2017030791A JP6768554B2 JP 6768554 B2 JP6768554 B2 JP 6768554B2 JP 2017030791 A JP2017030791 A JP 2017030791A JP 2017030791 A JP2017030791 A JP 2017030791A JP 6768554 B2 JP6768554 B2 JP 6768554B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- calibration
- feature point
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、キャリブレーション装置に関する。 The present invention relates to a calibration device.
近年、車両に設置されたカメラで撮像された画像を利用して運転手を補助するシステムが多数提案されている。その一例として、車両周囲確認用の俯瞰画像表示システム、車両後進時の予想進路線表示システム、自動駐車システム等がある。 In recent years, many systems have been proposed to assist a driver by using an image captured by a camera installed in a vehicle. Examples thereof include a bird's-eye view image display system for checking the surroundings of the vehicle, an expected route display system when the vehicle is moving backward, an automatic parking system, and the like.
上記カメラは設計値に準じた位置・角度で車両に取り付けられるが、その際、位置・角度に誤差が生じ得る。このような誤差を抑制するため、キャリブレーションと呼ばれる校正処理が、カメラの位置・角度等のカメラパラメータに対して行われる。 The above camera is attached to the vehicle at a position / angle according to the design value, but at that time, an error may occur in the position / angle. In order to suppress such an error, a calibration process called calibration is performed on camera parameters such as the position and angle of the camera.
車両の出荷時におけるキャリブレーションは、人が誰も乗っていない空車状態で実施されるのが一般的である。従って、キャリブレーション後の車両の状態が、実際にキャリブレーションを行った空車状態にあるときは、カメラの画像にズレは生じない。 Calibration at the time of shipment of the vehicle is generally performed in an empty state where no one is on board. Therefore, when the state of the vehicle after calibration is in the empty state where the calibration is actually performed, the image of the camera does not deviate.
しかし、実際にユーザーが車両を使用する際には、乗車する人数や座る場所、荷物の積載状態等が種々に変化する。そして、車両の積載状態が変化すると、車両の姿勢も変化し、それに伴って、地面に対するカメラの据え付け状態も変化する。また、経年劣化によってカメラ姿勢が変化することがある。すなわち、カメラパラメータが変化して誤差が生じる。そのカメラパラメータの誤差によって、カメラで撮像された画像にズレが生じるといった問題があった。 However, when the user actually uses the vehicle, the number of passengers, the place to sit, the load state of luggage, and the like change variously. When the loading state of the vehicle changes, the posture of the vehicle also changes, and the mounting state of the camera with respect to the ground also changes accordingly. In addition, the camera posture may change due to deterioration over time. That is, the camera parameters change and an error occurs. There is a problem that the image captured by the camera shifts due to the error of the camera parameters.
このような問題に対し、下記の特許文献１〜３には、車両の走行中にカメラパラメータを校正する方法が開示されている。その方法とは、車両に設置したカメラで撮像された画像から特徴点の抽出及び追跡を行うものである。その方法の基本原理は、フレーム間で特徴点が二次元的に動いたことによる直線状の特徴点系列（校正指標）を用いて、カメラパラメータを補正するものである。 To deal with such a problem, the following Patent Documents 1 to 3 disclose a method of calibrating camera parameters while the vehicle is traveling. The method is to extract and track feature points from an image captured by a camera installed in a vehicle. The basic principle of the method is to correct the camera parameters by using a linear feature point sequence (calibration index) due to the two-dimensional movement of the feature points between frames.
ところで、カメラの光軸に垂直な撮像面内の一軸回りの回転角のパラメータを校正する場合を考える。上記の特許文献１〜３に開示された方法で一軸回りの回転角のパラメータを校正する場合には、車両走行中でのカメラの撮像で得られたフレームのうち、時系列に相前後する一組のフレームを用いて、二本の特徴点系列の長さを求める必要がある。すなわち、一組のフレーム間で、２つの特徴点を同時に抽出し、且つ、その抽出した２つの特徴点を同時に追跡する必要がある。 By the way, consider the case of calibrating the parameters of the rotation angle around one axis in the imaging surface perpendicular to the optical axis of the camera. When the parameters of the rotation angle around one axis are calibrated by the method disclosed in Patent Documents 1 to 3 above, among the frames obtained by imaging the camera while the vehicle is running, one that is in chronological order. It is necessary to find the length of two feature point series using a set of frames. That is, it is necessary to extract two feature points at the same time between a set of frames and to track the extracted two feature points at the same time.
このため、特徴点の抽出及び追跡に要する時間が長くなる結果、一軸回りの回転角のパラメータの校正処理に要する時間が長くなるという問題があった。また、２つの特徴点を同時に抽出し且つ追跡するまでの成功率が極めて低くなる結果、一軸回りの回転角のパラメータの校正処理の精度が低下するという問題があった。 Therefore, as a result of the time required for extracting and tracking the feature points, there is a problem that the time required for the calibration process of the parameter of the rotation angle around one axis becomes long. Further, as a result of extremely low success rate until two feature points are extracted and tracked at the same time, there is a problem that the accuracy of the calibration process of the parameter of the rotation angle around one axis is lowered.
本発明は、上記課題に鑑みてなされたもので、撮像面内の一軸回りの回転角のパラメータの校正処理を短時間且つ高精度に実現することができるキャリブレーション装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a calibration device capable of realizing a calibration process of a parameter of a rotation angle around one axis in an imaging surface in a short time and with high accuracy. To do.
本発明に係るキャリブレーション装置は、撮像面内の一軸回りの回転角のパラメータの校正指標となる特徴点系列の長さと、車両の走行距離との比を用いて、撮像面内の一軸回りの回転角のパラメータを校正するものである。 The calibration device according to the present invention uses the ratio of the length of the feature point series, which is a calibration index of the rotation angle parameter around one axis in the imaging surface, to the mileage of the vehicle, and uses the ratio of the rotation angle around one axis in the imaging surface. It calibrates the rotation angle parameters.
すなわち、本発明に係るキャリブレーション装置は、車両に搭載されて前記車両の周辺を撮像するカメラの校正を実施するキャリブレーション装置であって、前記撮像により時系列的に得られる複数のフレームから、前記撮像された画像の特徴点を抽出する特徴点抽出部と、前記車両の舵角を取得する舵角取得部と、前記舵角取得部で取得された舵角に基づき、前記車両が直進走行していると判断されるときに、時系列に相前後する一組のフレーム間で前記特徴点が変位した直線である特徴点系列の長さを算出する特徴点系列算出部と、前記一組のフレーム間で前記車両が走行した走行距離と、前記特徴点系列算出部で算出された特徴点系列の長さとの比が、異なる組のフレーム間で一致するように、撮像面内の一軸回りの回転角のパラメータを校正する回転角校正部と、を有することを特徴とする。 That is, the calibration device according to the present invention is a calibration device mounted on a vehicle and calibrating a camera that images the periphery of the vehicle, and is obtained from a plurality of frames obtained by the imaging in a time series. Based on the feature point extraction unit that extracts the feature points of the captured image, the steering angle acquisition unit that acquires the steering angle of the vehicle, and the steering angle acquired by the steering angle acquisition unit, the vehicle travels straight. A feature point sequence calculation unit that calculates the length of a feature point sequence that is a straight line in which the feature points are displaced between a set of frames that are in phase with each other in the time series when it is determined that the feature point series is used, and the set One axis rotation in the imaging plane so that the ratio of the mileage traveled by the vehicle between the frames and the length of the feature point series calculated by the feature point series calculation unit matches between different sets of frames. It is characterized by having a rotation angle calibration unit for calibrating the parameters of the rotation angle of.
このように構成された本発明に係るキャリブレーション装置によれば、撮像面内の一軸回りの回転角の校正処理を短時間且つ高精度に実現することができる。 According to the calibration device according to the present invention configured in this way, it is possible to realize the calibration process of the rotation angle around one axis in the imaging surface in a short time and with high accuracy.
以下、本発明に係るキャリブレーション装置の具体的な実施形態について、図面を参照して説明する。なお、以下では、４台のカメラ１１１〜１１４を使用する場合について説明する。 Hereinafter, specific embodiments of the calibration device according to the present invention will be described with reference to the drawings. In the following, a case where four cameras 111 to 114 are used will be described.
＜キャリブレーションシステムの概略構成＞
図１は、本発明の一実施形態に係るキャリブレーション装置を搭載したキャリブレーションシステムの概略構成を示す。キャリブレーションシステム１００は、前輪が操舵輪である車両１に設置されている。
<Outline configuration of calibration system>
FIG. 1 shows a schematic configuration of a calibration system equipped with a calibration device according to an embodiment of the present invention. The calibration system 100 is installed in the vehicle 1 whose front wheels are steering wheels.
キャリブレーションシステム１００は、主に、４台のカメラ１１１〜１１４と、演算装置１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、表示装置１０４と、車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７と、入力装置１０８と、通信装置１０９とを備えている。 The calibration system 100 mainly includes four cameras 111 to 114, an arithmetic unit 101, a RAM (Random Access Memory) 102, a ROM (Read Only Memory) 103, a display device 104, and a vehicle speed sensor 105. The steering angle sensor 106, the yaw rate sensor 107, the input device 108, and the communication device 109 are provided.
各カメラ１１１〜１１４は、車両１に搭載され、例えば当該車両１の前後左右に設置される。例えば、前後に設置されるカメラは、ナンバープレート付近の車体に取り付けられ、左右に設置されるカメラは、サイドミラーの下部等に取り付けられる。ここでは、カメラ１１１を車両１の前方、カメラ１１２を車両１の後方、カメラ１１３を車両１の左方、カメラ１１４を車両１の右方に取り付けるものとする。 The cameras 111 to 114 are mounted on the vehicle 1, for example, installed on the front, rear, left and right sides of the vehicle 1. For example, the front and rear cameras are attached to the vehicle body near the license plate, and the left and right cameras are attached to the lower part of the side mirror. Here, it is assumed that the camera 111 is attached to the front of the vehicle 1, the camera 112 is attached to the rear of the vehicle 1, the camera 113 is attached to the left of the vehicle 1, and the camera 114 is attached to the right of the vehicle 1.
前方カメラ１１１及び後方カメラ１１２は、光軸方向が車両１の前後方向と一致するように取り付けられる。左方カメラ１１３及び右方カメラ１１４は、光軸方向が車両１の上下方向と一致するように取り付けられる。各カメラ１１１〜１１４は、事前に取り決めた既知の設計情報に従って取り付けられるが、実際には取り付け誤差が発生しており、この誤差は未知である。また、各カメラ１１１〜１１４には、車両１の全周囲の画像を取得できるように、広角の魚眼レンズを備えたカメラが採用される。魚眼カメラは広角の画像を取得するために、既知の歪み関数に基づいて画像を歪ませている。各カメラ１１１〜１１４で撮像された４つの画像は、演算装置１０１に出力される。 The front camera 111 and the rear camera 112 are attached so that the optical axis direction coincides with the front-rear direction of the vehicle 1. The left camera 113 and the right camera 114 are attached so that the optical axis direction coincides with the vertical direction of the vehicle 1. Each camera 111-114 is mounted according to known design information agreed in advance, but in reality, a mounting error has occurred, and this error is unknown. Further, for each of the cameras 111 to 114, a camera equipped with a wide-angle fisheye lens is adopted so that an image of the entire circumference of the vehicle 1 can be acquired. Fisheye cameras distort images based on known distortion functions in order to obtain wide-angle images. The four images captured by each of the cameras 111 to 114 are output to the arithmetic unit 101.
車速センサ１０５と舵角センサ１０６とヨーレートセンサ１０７は、それぞれ、車速、舵角、ヨーレートを検出するセンサであり、各センサで検出されたセンサ情報は演算装置１０１に出力され、演算装置１０１における演算処理で利用される。舵角センサ１０６では、前輪のタイヤ角が舵角として検出される。 The vehicle speed sensor 105, the rudder angle sensor 106, and the yaw rate sensor 107 are sensors that detect the vehicle speed, the rudder angle, and the yaw rate, respectively, and the sensor information detected by each sensor is output to the arithmetic unit 101 for calculation in the arithmetic unit 101. Used in processing. The steering angle sensor 106 detects the tire angle of the front wheels as the steering angle.
入力装置１０８は、例えばスイッチやボタン等といった、ユーザーの操作を受け付ける装置である。入力装置１０８は、キャリブレーション機能のオン／オフ、キャリブレーション結果の初期化、キャリブレーション方法の変更等に利用される。ユーザーの操作を介して当該入力装置１０８に入力された各種情報は、演算装置１０１に出力される。 The input device 108 is a device that accepts user operations such as switches and buttons. The input device 108 is used for turning on / off the calibration function, initializing the calibration result, changing the calibration method, and the like. Various information input to the input device 108 via the user's operation is output to the arithmetic unit 101.
通信装置１０９は、不図示の外部機器との通信に使用される装置である。演算装置１０１は、当該通信装置１０９を介して外部機器から各種情報を受信すると共に、演算装置１０１で演算された各種情報を外部機器へ出力する。 The communication device 109 is a device used for communication with an external device (not shown). The arithmetic unit 101 receives various information from the external device via the communication device 109, and outputs various information calculated by the arithmetic unit 101 to the external device.
ＲＡＭ１０２には、演算装置１０１における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数等が書き込まれる。その書き込まれたデータは、演算装置１０１の演算処理過程で適宜必要に応じて読み出されて演算処理に使用される。また、ＲＡＭ１０２には、各カメラ１１１〜１１４によって撮像された画像データ等も格納される。 Numerical data required in the arithmetic processing process in the arithmetic unit 101, program variables for the processing result during the arithmetic processing, and the like are written in the RAM 102. The written data is appropriately read out as necessary in the arithmetic processing process of the arithmetic unit 101 and used for the arithmetic processing. In addition, the RAM 102 also stores image data and the like captured by the cameras 111 to 114.
ＲＯＭ１０３には、例えば、キャリブレーションを実行するプログラムや、プログラムで必要となる情報のうちで書き換えをせずに利用される情報が事前に格納される。例えば、各カメラ１１１〜１１４の設置位置や角度（ピッチ角、ヨー角、ロール角、カメラ高さ）の設計値（外部パラメータ）、各カメラ１１１〜１１４の焦点距離、画素サイズ、光軸中心、歪み関数等（内部パラメータ）のカメラパラメータが格納される。 In the ROM 103, for example, a program for executing calibration and information required by the program that is used without being rewritten are stored in advance. For example, the design values (external parameters) of the installation positions and angles (pitch angle, yaw angle, roll angle, camera height) of each camera 111-114, the focal length of each camera 111-114, the pixel size, the center of the optical axis, Camera parameters such as distortion function (internal parameters) are stored.
演算装置１０１は、各カメラ１１１〜１１４、車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７、入力装置１０８、通信装置１０９等から送信される種々の情報を受け取る。その受け取った情報を用いて、演算装置１０１は、プログラム等に基づき計算処理を実施する。 The arithmetic unit 101 receives various information transmitted from each of the cameras 111 to 114, the vehicle speed sensor 105, the steering angle sensor 106, the yaw rate sensor 107, the input device 108, the communication device 109, and the like. Using the received information, the arithmetic unit 101 performs a calculation process based on a program or the like.
演算装置１０１は、例えば、各カメラ１１１〜１１４から入力された画像を視点変換し、上方から地面を見下ろしたような俯瞰画像を生成する。詳細には、魚眼カメラからなる各カメラ１１１〜１１４で撮像された画像について、ＲＯＭ１０３等に事前に格納された既知の歪み関数を用いて画像の歪みを除去した画像を生成する。 The arithmetic unit 101, for example, converts the viewpoint of the image input from each camera 111 to 114 to generate a bird's-eye view image as if looking down on the ground from above. Specifically, for the images captured by each of the cameras 111 to 114 including the fisheye camera, an image in which the distortion of the image is removed is generated by using a known distortion function stored in advance in ROM 103 or the like.
その歪みを除去した各画像を、ＲＯＭ１０３等に事前に格納された既知のカメラ取り付けに関する設計値等に基づいて、俯瞰視点から見た画像に視点変換する（画像生成装置１１５）。このような視点変換処理は、周知のカメラの幾何変換式を使って、俯瞰画像の特定の画素とそれに対応する各カメラ１１１〜１１４の特定の画素を計算し、その画素の輝度値を俯瞰画像の画素に割り当てることによって実現できる。 Each image from which the distortion has been removed is converted into an image viewed from a bird's-eye view based on a known camera mounting design value or the like stored in advance in the ROM 103 or the like (image generation device 115). In such a viewpoint conversion process, a specific pixel of the bird's-eye view image and a specific pixel of each camera 111 to 114 corresponding thereto are calculated using a well-known geometric transformation formula of the camera, and the brightness value of the pixel is calculated as the bird's-eye view image. It can be realized by assigning to the pixel of.
対応する画素が小数点を含み、該当する画素がない場合は、周知の輝度の補間処理によって周辺画素の中間輝度を割り当てる処理が行われる。また、演算装置１０１は、車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７、通信装置１０９の出力結果を用いて演算処理を実行したり、入力装置１０８の入力結果に従って動作プログラムの切り替え処理を実行したりする。 When the corresponding pixel includes a decimal point and there is no corresponding pixel, a process of allocating the intermediate brightness of the peripheral pixels is performed by a well-known luminance interpolation process. Further, the arithmetic unit 101 executes arithmetic processing using the output results of the vehicle speed sensor 105, the steering angle sensor 106, the yaw rate sensor 107, and the communication device 109, and executes the operation program switching processing according to the input result of the input device 108. To do.
また、演算装置１０１には、視点変換された俯瞰画像が車両１を真上から見下ろした画像となるように、各カメラ１１１〜１１４のキャリブレーションを実施するキャリブレーション装置１１６が搭載される。キャリブレーション装置１１６の構成については後述する。 Further, the arithmetic unit 101 is equipped with a calibration device 116 that calibrates each of the cameras 111 to 114 so that the viewpoint-converted bird's-eye view image is an image of the vehicle 1 looking down from directly above. The configuration of the calibration device 116 will be described later.
表示装置１０４は、演算装置１０１の処理結果を受け取り、ディスプレイ等を用いてその処理結果をユーザーに提示する。例えば、ユーザーに対して各カメラ１１１〜１１４の４つの画像を視点変換した俯瞰画像を表示する。また、表示装置１０４は、車両１の後方を撮像するカメラ１１２の画像だけを表示する等、演算装置１０１の出力に従って表示内容を切り替えることもできる。 The display device 104 receives the processing result of the arithmetic unit 101, and presents the processing result to the user using a display or the like. For example, a bird's-eye view image obtained by converting the viewpoints of the four images of each camera 111 to 114 is displayed to the user. Further, the display device 104 can switch the display contents according to the output of the arithmetic unit 101, such as displaying only the image of the camera 112 that captures the rear of the vehicle 1.
＜キャリブレーション装置の構成＞
図２は、本発明の一実施形態に係るキャリブレーション装置の概略構成を示す。キャリブレーション装置１１６は、車両１に搭載されて車両の周辺を撮像する各カメラ１１１〜１１４の校正を実施する。キャリブレーション装置１１６は、特徴点抽出部１１７と、速度取得部１１８と、舵角取得部１１９と、特徴点系列算出部１２０と、特徴点系列累積部１２１と、カメラパラメータ校正部１２２（回転角校正部）と、を有する。
<Configuration of calibration device>
FIG. 2 shows a schematic configuration of a calibration device according to an embodiment of the present invention. The calibration device 116 calibrates each of the cameras 111 to 114 mounted on the vehicle 1 to image the periphery of the vehicle. The calibration device 116 includes a feature point extraction unit 117, a speed acquisition unit 118, a steering angle acquisition unit 119, a feature point series calculation unit 120, a feature point series accumulation unit 121, and a camera parameter calibration unit 122 (rotation angle). Calibration unit) and.
特徴点抽出部１１７は、各カメラ１１１〜１１４の撮像により時系列的に得られる複数のフレームから、その撮像された画像の特徴点を抽出する。速度取得部１１８は、車速センサ１０５で検出された走行速度の検出結果を取得する。舵角取得部１１９は、舵角センサ１０６で検出された舵角の検出結果を取得する。なお、特徴点系列算出部１２０、特徴点系列累積部１２１、カメラパラメータ校正部１２２の詳細は後述する。 The feature point extraction unit 117 extracts feature points of the captured image from a plurality of frames obtained in time series by imaging of each camera 111 to 114. The speed acquisition unit 118 acquires the detection result of the traveling speed detected by the vehicle speed sensor 105. The steering angle acquisition unit 119 acquires the detection result of the steering angle detected by the steering angle sensor 106. The details of the feature point sequence calculation unit 120, the feature point sequence accumulation unit 121, and the camera parameter calibration unit 122 will be described later.
＜カメラ座標系＞
図３は、カメラ座標系の一例を示す説明図である。以下では、図３を用いて、カメラ座標系（Ｘ，Ｙ，Ｚ）の一例について説明する。このカメラ座標系（Ｘ，Ｙ，Ｚ）では、カメラの光軸方向をＺ軸方向と定義する。図中に網掛けで示した面ＩＳは、カメラの光軸（Ｚ軸）に対して垂直となる撮像面ＩＳを示す。このカメラ座標系（Ｘ，Ｙ，Ｚ）では、その撮像面ＩＳと平行にＸ軸及びＹ軸をとるものとする。
<Camera coordinate system>
FIG. 3 is an explanatory diagram showing an example of the camera coordinate system. In the following, an example of the camera coordinate system (X, Y, Z) will be described with reference to FIG. In this camera coordinate system (X, Y, Z), the optical axis direction of the camera is defined as the Z-axis direction. The shaded surface IS in the figure indicates an imaging surface IS that is perpendicular to the optical axis (Z-axis) of the camera. In this camera coordinate system (X, Y, Z), it is assumed that the X-axis and the Y-axis are taken in parallel with the imaging surface IS.
図中のピッチングとは、Ｘ軸回りの回転のことをいい、ヨーイングとは、Ｙ軸回りの回転のことをいい、ローリングとは、Ｚ軸回りの回転のことをいう。Ｘ，Ｙ，Ｚ軸の回りの回転角のパラメータを、それぞれ、ピッチ角、ヨー角、ロール角という。 In the figure, pitching refers to rotation around the X-axis, yawing refers to rotation around the Y-axis, and rolling refers to rotation around the Z-axis. The parameters of the rotation angle around the X, Y, and Z axes are called pitch angle, yaw angle, and roll angle, respectively.
前方カメラ１１１及び後方カメラ１１２のように、その光軸方向が車両１の前後方向と一致する場合、その前後方向をＺ軸方向と定義し、その前後方向（Ｚ軸方向）と垂直な車両１の上下方向に延びる軸をＹ軸と定義する。 When the optical axis direction coincides with the front-rear direction of the vehicle 1 like the front camera 111 and the rear camera 112, the front-rear direction is defined as the Z-axis direction, and the vehicle 1 perpendicular to the front-rear direction (Z-axis direction). The axis extending in the vertical direction of is defined as the Y axis.
一方、左方カメラ１１３及び右方カメラ１１４のように、その光軸方向が車両１の上下方向と一致する場合、その上下方向をＺ軸方向と定義し、その上下方向（Ｚ軸方向）と垂直な車両１の左右方向に延びる軸をＸ軸と定義する。 On the other hand, when the optical axis direction coincides with the vertical direction of the vehicle 1 like the left camera 113 and the right camera 114, the vertical direction is defined as the Z-axis direction, and the vertical direction (Z-axis direction) is defined as the vertical direction. The axis extending in the left-right direction of the vertical vehicle 1 is defined as the X-axis.
＜キャリブレーション装置で行われる一連の校正処理の流れ＞
以下、図４に示すフローチャート及び図５〜図７を用いて、キャリブレーション装置で行われる一連の校正処理の流れを説明する。以下では、前方カメラ１１１のカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）の校正を前提として記述する。
<Flow of a series of calibration processes performed by the calibration device>
Hereinafter, a flow of a series of calibration processes performed by the calibration apparatus will be described with reference to the flowchart shown in FIG. 4 and FIGS. 5 to 7. In the following, the camera parameters (pitch angle, yaw angle, roll angle, camera height) of the front camera 111 will be described on the premise of calibration.
まず、ステップＳ１０１では、カメラパラメータの校正指標となる特徴点系列の長さを取得するために、前方カメラ１１１において、直進走行中の車両１の周辺が撮像される。その撮像により得られたフレームＦは、特徴点抽出部１１７に出力される。特徴点系列とは、車両１が直進走行しているときに、時系列に相前後する一組のフレーム間で特徴点が変位して形成された直線のことをいう。車両１が走行する道路は、特徴点の多い白線や道路標示が存在することが望ましい。 First, in step S101, in order to acquire the length of the feature point series that serves as a calibration index of the camera parameters, the front camera 111 takes an image of the periphery of the vehicle 1 traveling straight ahead. The frame F obtained by the imaging is output to the feature point extraction unit 117. The feature point series refers to a straight line formed by displacement of feature points between a set of frames that are in chronological order when the vehicle 1 is traveling straight. It is desirable that the road on which the vehicle 1 travels has white lines and road markings with many characteristic points.
ステップＳ１０２では、車速センサ１０５及び舵角センサ１０６において、それぞれ、車速及び舵角が検出される。その検出により得られた車速情報及び舵角情報は、それぞれ、通信プロトコルとしてのCAN（Controller Area Network）等の車載ネットワークを介して、速度取得部１１８及び舵角取得部１１９に出力される。 In step S102, the vehicle speed sensor 105 and the steering angle sensor 106 detect the vehicle speed and the steering angle, respectively. The vehicle speed information and the steering angle information obtained by the detection are output to the speed acquisition unit 118 and the steering angle acquisition unit 119, respectively, via an in-vehicle network such as CAN (Controller Area Network) as a communication protocol.
ステップＳ１０３では、特徴点系列算出部１２０において、車両１の走行状態が特徴点系列の長さを得るに適切な走行状態か否かの判断が行われる。車両１の走行速度が安定していない場合、特徴点の追跡が困難なケースが発生し得る。例えば、車両１が急加速や急減速を行った場合、車両１の姿勢が大きく変動する。その変動の影響を受け、前方カメラ１１１の撮像により得られる画像は、特徴点系列の長さを得るに不適切な画像となってしまう。そのため、カメラパラメータ校正部１２２は、舵角取得部１１９で取得された舵角情報に基づいて、車両１が直進走行しているか否かを判断する。 In step S103, the feature point series calculation unit 120 determines whether or not the running state of the vehicle 1 is an appropriate running state for obtaining the length of the feature point series. If the traveling speed of the vehicle 1 is not stable, it may be difficult to track the feature points. For example, when the vehicle 1 suddenly accelerates or decelerates, the posture of the vehicle 1 changes significantly. Due to the influence of the fluctuation, the image obtained by the image taken by the front camera 111 becomes an image inappropriate for obtaining the length of the feature point series. Therefore, the camera parameter calibration unit 122 determines whether or not the vehicle 1 is traveling straight based on the steering angle information acquired by the steering angle acquisition unit 119.
車両１が直進走行していると判断されたときは（ステップＳ１０３におけるＹＥＳ）、車両１の走行状態が特徴点系列の長さを得るに適切な走行状態にあるので、ステップＳ１０４に進む。一方、車両１が直進走行していないと判断されたときは（ステップＳ１０３におけるＮＯ）、車両１の走行状態が特徴点系列の長さを得るに不適切な走行状態にあるので、処理はステップＳ１０１に戻る。 When it is determined that the vehicle 1 is traveling straight (YES in step S103), the traveling state of the vehicle 1 is in an appropriate traveling state for obtaining the length of the feature point series, so the process proceeds to step S104. On the other hand, when it is determined that the vehicle 1 is not traveling straight (NO in step S103), the traveling state of the vehicle 1 is in an inappropriate traveling state for obtaining the length of the feature point series, so the process is a step. Return to S101.
ステップＳ１０４では、特徴点系列算出部１２０において、第１番目に取得されるフレームＦ１のうち、エッジ強度の高い点が特徴点として抽出される。なお、このような特徴点の抽出技術については、例えばHarrisオペレータを用いた手法で提案されている等、既に周知であるため、詳細な説明は省略する。 In step S104, the feature point sequence calculation unit 120 extracts a point having a high edge strength from the first acquired frame F1 as a feature point. Since the technique for extracting such feature points is already well known, for example, it has been proposed by a method using a Harris operator, detailed description thereof will be omitted.
ステップＳ１０５では、特徴点系列算出部１２０において、特徴点系列の長さが算出される。特徴点系列の長さの算出は、一組のフレームＦ１，Ｆ２間で撮像面ＩＳ上を特徴点がどの地点からどの地点に移動したのかを追跡することで実現される。このような特徴点の追跡技術については、LK(Lucas-Kanade)法で提案されている等、既に周知である。そのため、詳細な説明は省略するが、本実施形態では可能な限り特徴点の追跡が継続される。 In step S105, the feature point series calculation unit 120 calculates the length of the feature point series. The calculation of the length of the feature point series is realized by tracking from which point to which point the feature point has moved on the imaging surface IS between a set of frames F1 and F2. A technique for tracking such feature points is already well known, such as being proposed by the LK (Lucas-Kanade) method. Therefore, although detailed description is omitted, tracking of feature points is continued as much as possible in the present embodiment.
例えば、第１番目のフレームＦ１から抽出した特徴点が、第２番目のフレームＦ２のどの地点に移動したかを追跡する処理が行われた後も、そのフレームＦ２に後続するフレームＦＸ（Ｘ＝３〜Ｎ）において同地点を示す座標値が算出される。勿論、特徴点の追跡の成功率を高めるうえで、特徴点系列の本数はより多いことが望ましい。 For example, even after the process of tracking to which point in the second frame F2 the feature points extracted from the first frame F1 has moved is performed, the frame FX (X =) following the frame F2. Coordinate values indicating the same point are calculated in 3 to N). Of course, in order to increase the success rate of tracking feature points, it is desirable that the number of feature point series is larger.
そのため、ステップＳ１０６では、特徴点系列累積部１２１において、特徴点系列が累積される。前方カメラ１１１の校正は、特徴点系列を２本取得出来れば実現可能である。以下、図５及び図６に基づいて、２本の特徴点系列を取得する例を説明する。 Therefore, in step S106, the feature point series is accumulated in the feature point series accumulation unit 121. Calibration of the front camera 111 can be realized if two feature point sequences can be acquired. Hereinafter, an example of acquiring two feature point series will be described with reference to FIGS. 5 and 6.
図５（Ａ），（Ｂ）に示すように、時系列に相前後する、第３００番目のフレームＦ３００と、第３０１番目のフレームＦ３０１との間で特徴点Ｐ１（道路に描かれている白線ＷＬ１のコーナー）が変位した直線である特徴点系列の長さＤ１（世界座標系におけるユークリッド距離Ｄ１）が１本目の特徴点系列の長さとして取得される。続いて、図６（Ａ），（Ｂ）に示すように、時系列に相前後する、第６００番目のフレームＦ６００と、第６０１番目のフレームＦ６０１との間で特徴点Ｐ２（道路に描かれている白線ＷＬ１のコーナー）が変位した直線である特徴点系列の長さＤ２（世界座標系におけるユークリッド距離Ｄ２）が２本目の特徴点系列の長さとして取得される。 As shown in FIGS. 5 (A) and 5 (B), the feature point P1 (white line drawn on the road) is located between the 300th frame F300 and the 301st frame F301, which are in chronological order. The length D1 (Euclidean distance D1 in the world coordinate system) of the feature point series which is a straight line in which the corner of WL1 is displaced is acquired as the length of the first feature point series. Subsequently, as shown in FIGS. 6 (A) and 6 (B), the feature point P2 (drawn on the road) between the 600th frame F600 and the 601st frame F601, which are in chronological order. The length D2 (Euclidean distance D2 in the world coordinate system) of the feature point series, which is a straight line in which the white line WL1 corner) is displaced, is acquired as the length of the second feature point series.
ただし、特徴点の抽出結果、特徴点の追跡処理、車速センサ又は舵角センサから取得した情報には誤差が発生する可能性が多分にある。そのため、特徴点、走行速度、舵角を示す情報を多量に累積した方が、誤差を軽減するうえで望ましい。 However, there is a possibility that an error may occur in the extraction result of the feature points, the tracking process of the feature points, and the information acquired from the vehicle speed sensor or the steering angle sensor. Therefore, it is desirable to accumulate a large amount of information indicating the feature points, traveling speed, and steering angle in order to reduce the error.
例えば、舗装が不十分で車両１に対して水平ではない道路を車両１が走行中に、特徴点の抽出処理が行われた場合、ピッチ角、ヨー角、ロール角の校正指標としては不十分である。そのため、最終的に算出されるカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）に多量の誤差が生じてしまう虞がある。仮に、校正指標として不十分な特徴点系列の長さが算出されたとしても、校正指標として正しい特徴点系列が多量に累積されていれば、校正指標として不十分な特徴点系列に起因して、カメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）に生じる誤差の緩和が可能となる。 For example, when the feature point extraction process is performed while the vehicle 1 is traveling on a road that is not horizontal to the vehicle 1 due to insufficient pavement, it is insufficient as a calibration index for the pitch angle, yaw angle, and roll angle. Is. Therefore, there is a possibility that a large amount of error may occur in the finally calculated camera parameters (pitch angle, yaw angle, roll angle, camera height). Even if the length of the feature point sequence that is insufficient as a calibration index is calculated, if a large number of correct feature point sequences are accumulated as the calibration index, it is caused by the feature point sequence that is insufficient as the calibration index. , It is possible to alleviate errors that occur in camera parameters (pitch angle, yaw angle, roll angle, camera height).
ステップＳ１０７では、カメラパラメータ校正部１２２において、特徴点系列の本数が予め定められた必要本数に到達したか否かの判定が行われる。特徴点系列の本数が必要本数に到達したと判定されたときは（ステップＳ１０７におけるＹＥＳ）、必要な本数分の特徴点系列の累積が完了したので、ステップＳ１０８に進む。一方、特徴点系列の本数が必要本数に未到達と判定されたときは（ステップＳ１０７におけるＮＯ）、必要な本数分の特徴点系列の累積が完了していないので、処理はステップＳ１０１に戻る。 In step S107, the camera parameter calibration unit 122 determines whether or not the number of feature point series has reached a predetermined required number. When it is determined that the number of feature point series has reached the required number (YES in step S107), the accumulation of the required number of feature point series is completed, and the process proceeds to step S108. On the other hand, when it is determined that the number of feature point sequences has not reached the required number (NO in step S107), the accumulation of the required number of feature point sequences has not been completed, so the process returns to step S101.
ステップＳ１０８では、カメラパラメータ校正部１２２において、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、ピッチ角（図３に示すＸ軸回りの回転角のパラメータ）の校正が行われる。ピッチ角の校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施形態ではステップＳ１０７で累積した特徴点系列を用いることとする。 In step S108, the camera parameter calibration unit 122 calibrates the pitch angle (the parameter of the rotation angle around the X axis shown in FIG. 3) using the design values of the camera mounting position and angle stored in the ROM 103. .. Various methods have been introduced for calibrating the pitch angle, and any of these methods may be used, but in the present embodiment, the feature point sequence accumulated in step S107 will be used.
特徴点系列を用いたピッチ角の校正方法については、例えば国際公開第2012/139636号等で提案されている等、既に周知である。そのため、詳細な説明は省略するが、本実施形態では、俯瞰変換した２本以上の特徴点系列が平行になるように、ピッチ角の校正が行われる。 The method of calibrating the pitch angle using the feature point series is already well known, for example, as proposed in International Publication No. 2012/139636. Therefore, although detailed description is omitted, in the present embodiment, the pitch angle is calibrated so that two or more feature point sequences converted from the bird's-eye view are parallel to each other.
ステップＳ１０９では、カメラパラメータ校正部１２２において、ヨー角（図３に示すＹ軸回りの回転角のパラメータ）の校正が行われる。 In step S109, the camera parameter calibration unit 122 calibrates the yaw angle (parameter of the rotation angle around the Y axis shown in FIG. 3).
まず、カメラパラメータ校正部１２２において、第Ｎ番目のフレームＦＮと、第Ｎ＋１番目のフレームＦＮ＋１の同地点を指す特徴点系列が画像座標系から世界座標系に変換される。この変換方法は既に周知である。そのため、詳細な説明は省略するが、本実施形態では、例えば、フレームＦＮの世界座標における特徴座標を（ＰＸ１、ＰＹ１）とし、フレームＦＮ＋１の世界座標における特徴座標を（ＰＸ２、ＰＹ２）として、フレームＦＮとフレームＦＮ＋１との間の世界座標系におけるユークリッド距離Ｄが特徴点系列の長さとして以下の式（１）を用いて算出される。
・・・（１）
First, in the camera parameter calibration unit 122, the feature point series pointing to the same point of the Nth frame FN and the N + 1th frame FN + 1 is converted from the image coordinate system to the world coordinate system. This conversion method is already well known. Therefore, although detailed description is omitted, in the present embodiment, for example, the feature coordinates in the world coordinates of the frame FN are set to ( PX1 , P Y1 ), and the feature coordinates in the world coordinates of the frame FN + 1 are set to ( PX2 , P Y2). ), The Euclidean distance D in the world coordinate system between the frame FN and the frame FN + 1 is calculated by using the following equation (1) as the length of the feature point series.
... (1)
次に、カメラパラメータ校正部１２２において、車両１の走行速度を示す情報を基に、フレームＦＮとフレームＦＮ＋１との間で車両１が走行した走行距離ｄ［ｋｍ］が算出される。フレームＦＮとフレームＦＮ＋１との間の走行距離ｄ［ｋｍ］は、それぞれのフレーム間の走行速度をｖｋ［ｋｍ／］とし、１秒間のフレーム数をｆとすると、以下の式（２）を用いて算出される。なお、走行速度ｖｋは、速度取得部１１８からカメラパラメータ校正部１２２に出力される。
・・・（２）
Next, the camera parameter calibration unit 122 calculates the mileage d [km] traveled by the vehicle 1 between the frame FN and the frame FN + 1 based on the information indicating the traveling speed of the vehicle 1. For the mileage d [km] between the frame FN and the frame FN + 1, the following equation (2) is used, where the traveling speed between the frames is vk [km /] and the number of frames per second is f. Is calculated. The traveling speed vk is output from the speed acquisition unit 118 to the camera parameter calibration unit 122.
... (2)
上記式（２）に示すように、フレームＦＮからフレームＦＮ＋１へ移動する際の車両１の走行速度は、それぞれのフレームで取得した走行速度の相加平均値が採用される。 As shown in the above equation (2), the arithmetic mean value of the traveling speeds acquired in each frame is adopted as the traveling speed of the vehicle 1 when moving from the frame FN to the frame FN + 1.
例えば、図５に示すように、フレームＦ３００（図５（Ａ））からフレームＦ３０１（図５（Ｂ））へ移動する際の車両１の走行速度は、フレームＦ３００及びフレームＦ３０１のそれぞれで取得した走行速度の相加平均値が採用される。 For example, as shown in FIG. 5, the traveling speed of the vehicle 1 when moving from the frame F300 (FIG. 5 (A)) to the frame F301 (FIG. 5 (B)) was acquired by each of the frame F300 and the frame F301. The arithmetic mean value of the running speed is adopted.
次に、カメラパラメータ校正部１２２において、以下の式（３）に示すように、ユークリッド距離Ｄが走行距離ｄで除算されることにより、累積した全ての特徴点系列を正規化した正規化長さＲが算出される。式（３）に示すように、正規化長さＲは、車両１の走行距離に依存する値となる。
・・・（３）
Next, in the camera parameter calibration unit 122, as shown in the following equation (3), the Euclidean distance D is divided by the mileage d to normalize all the accumulated feature point series. R is calculated. As shown in the equation (3), the normalized length R is a value that depends on the mileage of the vehicle 1.
... (3)
次に、カメラパラメータ校正部１２２において、正規化長さＲが異なる組のフレーム間で一致するように、ヨー角の校正が行われる。具体的には、図５に示す一組のフレームＦ３００，Ｆ３０１間での走行距離をｄ１［ｋｍ］とし、図６に示すフレームＦ６００，Ｆ６０１間での走行距離をｄ２［ｋｍ］とした場合、正規化長さＲ１（＝Ｄ１／ｄ１）と正規化長さＲ２（＝Ｄ２／ｄ２）とが一致するように、ヨー角の校正が行われる。 Next, the camera parameter calibration unit 122 calibrates the yaw angle so that the normalized length R matches between different sets of frames. Specifically, when the mileage between the set of frames F300 and F301 shown in FIG. 5 is d1 [km] and the mileage between the frames F600 and F601 shown in FIG. 6 is d2 [km]. The yaw angle is calibrated so that the normalized length R1 (= D1 / d1) and the normalized length R2 (= D2 / d2) match.
このようなヨー角の校正技術については、ＬＭ法（Levenberg-Marquardt Method）で、提案されている等、既に周知である。そのため、詳細な説明は省略するが、本実施形態では、まず、フレームＦＮとフレームＦＮ＋１との間で特徴点系列のＸ座標の相加平均ＸＣＥＮＴＥＲが算出される。次に、その相加平均ＸＣＥＮＴＥＲと、正規化長さＲとが、図７に示すような二次元投票空間へ投票される。次に、その投票した主成分が分析され、図７に破線で示すような近似直線が算出される。次に、その算出した近似曲線の傾きが０°に最も近づくときのヨー角が、校正後のヨー角として推定される。 Such a yaw angle calibration technique is already well known, such as being proposed by the LM method (Levenberg-Marquardt Method). Therefore, although detailed description is omitted, in the present embodiment, first, the arithmetic mean X CENTER of the X coordinate of the feature point series is calculated between the frame FN and the frame FN + 1. Next, the arithmetic mean X CENTER and the normalized length R are voted in the two-dimensional voting space as shown in FIG. Next, the voted main component is analyzed, and an approximate straight line as shown by a broken line in FIG. 7 is calculated. Next, the yaw angle when the slope of the calculated approximate curve is closest to 0 ° is estimated as the yaw angle after calibration.
ステップＳ１１０では、カメラパラメータ校正部１２２において、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、ロール角（図３に示すＺ軸回りの回転角のパラメータ）の校正が行われる。ロール角の校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施形態では、国際公開第2012/139636号で提案されている手法でロール角の校正が行われる。具体的には、ステップＳ１０７で累積した特徴点系列の角度が車両１の進行方向と平行になるときのロール角が前方カメラ１１１のロール角として校正される。 In step S110, the camera parameter calibration unit 122 calibrates the roll angle (the parameter of the rotation angle around the Z axis shown in FIG. 3) using the design values of the camera mounting position and angle stored in the ROM 103. .. Various methods have been introduced for calibrating the roll angle, and any of these methods may be used. However, in the present embodiment, the roll angle is calibrated by the method proposed in International Publication No. 2012/139636. Will be done. Specifically, the roll angle when the angle of the feature point series accumulated in step S107 is parallel to the traveling direction of the vehicle 1 is calibrated as the roll angle of the front camera 111.
ステップＳ１１１では、カメラパラメータ校正部１２２において、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、前方カメラ１１１のカメラ高さの校正が行われる。カメラ高さの校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施形態では、国際公開第2012/139636号で提案されている手法でカメラ高さの校正が行われる。具体的には、ステップＳ１０９で算出したユークリッド距離Ｄと走行距離ｄとが等しくなるときのカメラ高さが前方カメラ１１１の高さとして算出される。 In step S111, the camera parameter calibration unit 122 calibrates the camera height of the front camera 111 by using the design values of the camera mounting position / angle stored in the ROM 103. Various methods have been introduced for calibrating the camera height, and any of these methods may be used. However, in the present embodiment, the method proposed in International Publication No. 2012/139636 is used to determine the camera height. Calibration is done. Specifically, the height of the camera when the Euclidean distance D calculated in step S109 and the mileage d are equal is calculated as the height of the front camera 111.
以上説明したように、本実施形態のキャリブレーション装置によれば、一組のフレーム間（フレームＦ３００，Ｆ３０１間又はフレームＦ６００，Ｆ６０１間）で１つの特徴点（特徴点Ｐ１又は特徴点Ｐ２）の抽出及び追跡が行われる。このため、一組のフレーム間（フレームＦ３００，Ｆ３０１間、又は、フレームＦ６００，Ｆ６０１間）で、２つの特徴点Ｐ１，Ｐ２を同時に抽出したり、その抽出した２つの特徴点Ｐ１，Ｐ２を同時に追跡したりする必要がない。 As described above, according to the calibration device of the present embodiment, one feature point (feature point P1 or feature point P2) between a set of frames (between frames F300 and F301 or between frames F600 and F601). Extraction and tracking are performed. Therefore, two feature points P1 and P2 can be simultaneously extracted between a set of frames (between frames F300 and F301 or between frames F600 and F601), or the two extracted feature points P1 and P2 can be simultaneously extracted. No need to track.
つまり、一組のフレーム間で抽出し且つ追跡する特徴点の数は１つで済む。これにより、一組のフレーム間で２つの特徴点を同時に抽出し且つ追跡する場合と比べて、特徴点の抽出及び追跡に要する時間を短くすることができる。従って、ヨー角の校正処理に要する時間を短くすることができる。 That is, only one feature point is required to be extracted and tracked between a set of frames. As a result, the time required for extracting and tracking the feature points can be shortened as compared with the case where two feature points are simultaneously extracted and tracked between a set of frames. Therefore, the time required for the yaw angle calibration process can be shortened.
また、上述のように、一組のフレーム間で抽出し且つ追跡する特徴点の数は１つで済むので、一組のフレーム間で２つの特徴点を同時に抽出し且つ追跡する場合と比べて、抽出及び追跡の成功率を向上できる。このため、ヨー角の校正処理を高精度に実現できる。 Further, as described above, since the number of feature points to be extracted and tracked between a set of frames is only one, compared with the case where two feature points are simultaneously extracted and tracked between a set of frames. , Can improve the success rate of extraction and tracking. Therefore, the yaw angle calibration process can be realized with high accuracy.
従って、ヨー角の校正処理を短時間且つ高精度に実現することができる。 Therefore, the yaw angle calibration process can be realized in a short time and with high accuracy.
また、本実施形態のキャリブレーション装置によれば、工場出荷時に行う規定のマーカを使ったキャリブレーションが不要になる。 Further, according to the calibration device of the present embodiment, the calibration using the specified marker performed at the time of shipment from the factory becomes unnecessary.
なお、上記の実施形態では、前方カメラ１１１のカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）の校正を前提とした。しかし、これに限らない。勿論、後方カメラ１１２、左方カメラ１１３、右方カメラ１１４のカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）を校正しても良い。 In the above embodiment, it is assumed that the camera parameters (pitch angle, yaw angle, roll angle, camera height) of the front camera 111 are calibrated. However, it is not limited to this. Of course, the camera parameters (pitch angle, yaw angle, roll angle, camera height) of the rear camera 112, the left camera 113, and the right camera 114 may be calibrated.
後方カメラ１１２は、前方カメラ１１１同様、光軸方向（Ｚ軸方向）が車両１の前後方向（走行方向）と一致する。その前後方向（走行方向）と垂直な上下方向（Ｙ軸）の回りの回転角のパラメータ（ヨー角）の校正は、前方カメラ１１１と同様に、車両１の走行距離ｄに依存する正規化長さＲを用いて実現可能である。 Like the front camera 111, the rear camera 112 has an optical axis direction (Z-axis direction) that coincides with the front-rear direction (traveling direction) of the vehicle 1. As with the front camera 111, the calibration of the rotation angle parameter (yaw angle) around the vertical direction (Y axis) perpendicular to the front-rear direction (traveling direction) depends on the mileage d of the vehicle 1. It can be realized by using R.
一方、左方カメラ１１３及び右方カメラ１１４は、前方カメラ１１１及び後方カメラ１１２と異なり、光軸方向（Ｚ軸方向）が車両１の上下方向と一致する。そのため、ピッチ角、ヨー角、ロール角のうち、車両１の走行距離ｄに依存する回転角は、車両１の上下方向と垂直な左右方向（Ｘ軸）の回りのピッチ角となる。従って、そのピッチ角の校正は、前方カメラ１１１におけるヨー角の校正と同様に、特徴点系列の長さＤと、車両１の走行距離ｄとの比を用いて実現可能である。 On the other hand, unlike the front camera 111 and the rear camera 112, the left camera 113 and the right camera 114 have an optical axis direction (Z-axis direction) that coincides with the vertical direction of the vehicle 1. Therefore, of the pitch angle, yaw angle, and roll angle, the rotation angle depending on the mileage d of the vehicle 1 is the pitch angle around the left-right direction (X-axis) perpendicular to the vertical direction of the vehicle 1. Therefore, the calibration of the pitch angle can be realized by using the ratio of the length D of the feature point series and the mileage d of the vehicle 1 as in the calibration of the yaw angle in the front camera 111.
なお、上記の実施形態では、特徴点系列の長さｄを走行距離Ｄで除した正規化長さＲを用いて、ヨー角の校正を行う例を示した。しかし、これに限らない。例えば、特徴点系列の長さｄを車両１の走行速度ｖｋで除した正規化速度を用いて、ヨー角の校正を行っても良い。 In the above embodiment, an example is shown in which the yaw angle is calibrated using the normalized length R obtained by dividing the length d of the feature point series by the mileage D. However, it is not limited to this. For example, the yaw angle may be calibrated using a normalized speed obtained by dividing the length d of the feature point series by the traveling speed vk of the vehicle 1.
なお、上記の実施形態では、キャリブレーションシステム１００を、前輪が操舵輪である車両１に設置する例を示した。しかし、これに限らない。例えば、キャリブレーションシステム１００を、後輪が操舵輪である車両に設置しても良い。 In the above embodiment, an example in which the calibration system 100 is installed in the vehicle 1 in which the front wheels are the steering wheels is shown. However, it is not limited to this. For example, the calibration system 100 may be installed in a vehicle in which the rear wheels are steering wheels.
なお、上記の実施形態では、４台のカメラ１１１〜１１４を使用する例を示した。しかし、これに限らない。カメラの台数は、使用者等の要請に応じて適宜変更できる。 In the above embodiment, an example in which four cameras 111 to 114 are used is shown. However, it is not limited to this. The number of cameras can be changed as appropriate according to the request of the user or the like.
なお、上記の実施形態では、車速情報及び舵角情報が、それぞれ、通信プロトコルとしてのCANを介して、速度取得部１１８及び舵角取得部１１９に出力される例を示した。しかし、これに限らない。例えば、車速情報及び舵角情報は、それぞれ、OSI(Open Systems Interconnection)参照モデルの物理層がCANと互換性のあるCAN FD(Controller Area Network With Flexible Data Rate)等を介して、速度取得部１１８及び舵角取得部１１９に出力されても良い。 In the above embodiment, an example is shown in which vehicle speed information and steering angle information are output to the speed acquisition unit 118 and the steering angle acquisition unit 119, respectively, via CAN as a communication protocol. However, it is not limited to this. For example, the vehicle speed information and the steering angle information are obtained from the speed acquisition unit 118 via CAN FD (Controller Area Network With Flexible Data Rate) whose physical layer of the OSI (Open Systems Interconnection) reference model is compatible with CAN, respectively. And may be output to the steering angle acquisition unit 119.
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。 Although the examples of the present invention have been described in detail with reference to the drawings, the present invention is not limited to the configuration of the examples because the examples are merely examples of the present invention. It goes without saying that even if there is a design change or the like within a range that does not deviate from the gist, it is included in the present invention.
１・・・車両
１１１、１１２、１１３、１１４・・・カメラ
１１６・・・キャリブレーション装置
１１７・・・特徴点抽出部
１１８・・・速度取得部
１１９・・・舵角取得部
１２０・・・特徴点系列算出部
１２１・・・特徴点系列累積部
１２２・・・カメラパラメータ校正部（回転角校正部）
Ｄ、Ｄ１、Ｄ２・・・ユークリッド距離（特徴点系列の長さ）
ｄ、ｄ１、ｄ２・・・走行距離
Ｆ、Ｆ１、Ｆ２、Ｆ３００、Ｆ３０１、Ｆ６００、Ｆ６０１・・・フレーム
Ｐ１、Ｐ２・・・特徴点
Ｒ、Ｒ１、Ｒ２・・・正規化長さ
ｖｋ・・・走行速度
1 ... Vehicles 111, 112, 113, 114 ... Camera 116 ... Calibration device 117 ... Feature point extraction unit 118 ... Speed acquisition unit 119 ... Steering angle acquisition unit 120 ... Feature point series calculation unit 121 ... Feature point series accumulation unit 122 ... Camera parameter calibration unit (rotation angle calibration unit)
D, D1, D2 ... Euclidean distance (length of feature point series)
d, d1, d2 ... Mileage F, F1, F2, F300, F301, F600, F601 ... Frame P1, P2 ... Feature points R, R1, R2 ... Normalized length vk ...・ Running speed
Claims (5)
前記撮像により時系列的に得られる複数のフレームから、前記撮像された画像の特徴点を抽出する特徴点抽出部と、
前記車両の舵角を取得する舵角取得部と、
前記舵角取得部で取得された舵角に基づき、前記車両が直進走行していると判断されるときに、時系列に相前後する一組のフレーム間で前記特徴点が変位した直線である特徴点系列の長さを算出する特徴点系列算出部と、
前記一組のフレーム間で前記車両が走行した走行距離と、前記特徴点系列算出部で算出された特徴点系列の長さとの比が、異なる組のフレーム間で一致するように、撮像面内の一軸回りの回転角のパラメータを校正する回転角校正部と、
を有することを特徴とするキャリブレーション装置。 A calibration device that is mounted on a vehicle and calibrates a camera that images the surroundings of the vehicle.
A feature point extraction unit that extracts feature points of the captured image from a plurality of frames obtained by the imaging in a time series,
A steering angle acquisition unit that acquires the steering angle of the vehicle,
Based on the steering angle acquired by the steering angle acquisition unit, when it is determined that the vehicle is traveling straight, the feature points are displaced between a set of frames that are in chronological order. A feature point series calculation unit that calculates the length of the feature point series,
In the imaging plane, the ratio of the mileage traveled by the vehicle between the set of frames and the length of the feature point series calculated by the feature point series calculation unit is the same between the different sets of frames. A rotation angle calibration unit that calibrates the parameters of the rotation angle around one axis,
A calibration device characterized by having.
前記回転角校正部は、前記カメラの光軸方向が前記車両の前後方向と一致するときに、前記車両の前後方向と垂直な前記車両の上下方向に延びる軸回りの回転角のパラメータを前記一軸回りの回転角のパラメータとして校正することを特徴とするキャリブレーション装置。 In the calibration apparatus according to claim 1,
The rotation angle proofreading unit sets a parameter of an axial rotation angle extending in the vertical direction of the vehicle perpendicular to the front-rear direction of the vehicle when the optical axis direction of the camera coincides with the front-rear direction of the vehicle. A calibration device characterized in that it calibrates as a parameter of the rotation angle around it.
前記回転角校正部は、前記カメラの光軸方向が前記車両の上下方向と一致するときに、前記車両の上下方向と垂直な前記車両の左右方向に延びる軸回りの回転角のパラメータを前記一軸回りの回転角のパラメータとして校正することを特徴とするキャリブレーション装置。 In the calibration apparatus according to claim 1,
When the optical axis direction of the camera coincides with the vertical direction of the vehicle, the rotation angle proofreading unit sets a parameter of a rotation angle around the axis extending in the horizontal direction of the vehicle perpendicular to the vertical direction of the vehicle. A calibration device characterized in that it calibrates as a parameter of the rotation angle around it.
前記車両の走行速度を取得する速度取得部を備え、
前記回転角校正部は、前記速度取得部で取得された走行速度に基づいて、前記走行距離を算出することを特徴とするキャリブレーション装置。 In the calibration apparatus according to any one of claims 1 to 3.
A speed acquisition unit for acquiring the traveling speed of the vehicle is provided.
The rotation angle calibration unit is a calibration device that calculates the mileage based on the travel speed acquired by the speed acquisition unit.
前記特徴点系列算出部で算出された特徴点系列の数を累積する特徴点系列累積部を備え、
前記回転角校正部は、前記特徴点系列累積部で累積した数が予め定められた必要本数に到達した場合に、前記回転角のパラメータを校正することを特徴とするキャリブレーション装置。 In the calibration apparatus according to any one of claims 1 to 4.
It is provided with a feature point series accumulation unit that accumulates the number of feature point series calculated by the feature point series calculation unit.
The rotation angle calibration unit is a calibration device that calibrates the parameters of the rotation angle when the number accumulated in the feature point series accumulation unit reaches a predetermined required number.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017030791A JP6768554B2 (en) | 2017-02-22 | 2017-02-22 | Calibration device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017030791A JP6768554B2 (en) | 2017-02-22 | 2017-02-22 | Calibration device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018136739A JP2018136739A (en) | 2018-08-30 |
| JP6768554B2 true JP6768554B2 (en) | 2020-10-14 |
Family
ID=63366859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017030791A Active JP6768554B2 (en) | 2017-02-22 | 2017-02-22 | Calibration device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6768554B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021118435A (en) * | 2020-01-24 | 2021-08-10 | 株式会社デンソーテン | Image processing device and image processing method |
| JP2021174044A (en) * | 2020-04-20 | 2021-11-01 | フォルシアクラリオン・エレクトロニクス株式会社 | Calibration apparatus and calibration method |
| CN114872048B (en) * | 2022-05-27 | 2024-01-05 | 河南职业技术学院 | Robot steering engine angle calibration method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9105080B2 (en) * | 2008-10-01 | 2015-08-11 | Hi-Key Limited | Method and a system for calibrating an image capture device |
| JP2011217233A (en) * | 2010-04-01 | 2011-10-27 | Alpine Electronics Inc | On-vehicle camera calibration system, and computer program |
| WO2012139636A1 (en) * | 2011-04-13 | 2012-10-18 | Connaught Electronics Limited | Online vehicle camera calibration based on road surface texture tracking and geometric properties |
| JP6151535B2 (en) * | 2013-02-27 | 2017-06-21 | 富士通テン株式会社 | Parameter acquisition apparatus, parameter acquisition method and program |
-
2017
- 2017-02-22 JP JP2017030791A patent/JP6768554B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018136739A (en) | 2018-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3367677B1 (en) | Calibration apparatus, calibration method, and calibration program | |
| JP5538411B2 (en) | Vehicle perimeter monitoring device | |
| WO2016052505A1 (en) | Camera calibration device and camera calibration system | |
| CN106462968B (en) | Method and device for calibrating a camera system of a motor vehicle | |
| KR102104005B1 (en) | Methods for detecting objects on the roadside of automobiles, computing devices, driver assistance systems and automobiles | |
| US10997737B2 (en) | Method and system for aligning image data from a vehicle camera | |
| JP6768554B2 (en) | Calibration device | |
| US20190297314A1 (en) | Method and Apparatus for the Autocalibration of a Vehicle Camera System | |
| JP2016149613A (en) | Camera parameter adjustment device | |
| JP2007034989A (en) | Slippage detection method and slippage correction method of imaging device, and imaging device | |
| JP2017010078A (en) | Road surface sign detection apparatus and road surface sign detection method | |
| JP7217577B2 (en) | CALIBRATION DEVICE, CALIBRATION METHOD | |
| CN113903103B (en) | Partial image generation device, partial image generation method, and storage medium | |
| US11403770B2 (en) | Road surface area detection device | |
| WO2022153795A1 (en) | Signal processing device, signal processing method, and signal processing system | |
| JP2020087210A (en) | Calibration device and calibration method | |
| JP7019431B2 (en) | Camera calibration device, camera calibration method, and program | |
| JP2021193340A (en) | Self-position estimation device | |
| JP6432033B2 (en) | In-vehicle device | |
| JP6020736B2 (en) | Predicted course presentation device and predicted course presentation method | |
| KR101949349B1 (en) | Apparatus and method for around view monitoring | |
| KR20230023763A (en) | A method for calibrating a camera and an apparatus associated therewith | |
| CN117177891A (en) | Sensor device and vehicle control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190705 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200827 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200923 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6768554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |