JP6151535B2 - Parameter acquisition apparatus, parameter acquisition method and program - Google Patents

Parameter acquisition apparatus, parameter acquisition method and program Download PDF

Info

Publication number
JP6151535B2
JP6151535B2 JP2013037064A JP2013037064A JP6151535B2 JP 6151535 B2 JP6151535 B2 JP 6151535B2 JP 2013037064 A JP2013037064 A JP 2013037064A JP 2013037064 A JP2013037064 A JP 2013037064A JP 6151535 B2 JP6151535 B2 JP 6151535B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
vector
deriving
installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013037064A
Other languages
Japanese (ja)
Other versions
JP2014165810A (en
Inventor
直之 岡田
直之 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2013037064A priority Critical patent/JP6151535B2/en
Publication of JP2014165810A publication Critical patent/JP2014165810A/en
Application granted granted Critical
Publication of JP6151535B2 publication Critical patent/JP6151535B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、カメラに関するパラメータを取得するパラメータ取得装置に関する。   The present invention relates to a parameter acquisition device that acquires parameters relating to a camera.

従来より、自動車などの車両に搭載されたカメラで得られた車両の周辺の画像を、車室内のディスプレイに表示する車載装置が知られている。このような車載装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。   2. Description of the Related Art Conventionally, an in-vehicle device that displays an image around a vehicle obtained by a camera mounted on a vehicle such as an automobile on a display in a vehicle interior is known. By using such an in-vehicle device, the driver can grasp the situation around the vehicle almost in real time.

カメラを車両に設置した場合においては、通常、カメラの実際の設置状態（位置や姿勢）は設計上の設置状態とは僅かに異なっている。このようなカメラの設置状態の誤差に起因して、当該カメラで取得された撮影画像に含まれる被写体の像の位置は、理想的な位置からズレることになる。   When the camera is installed in a vehicle, the actual installation state (position and posture) of the camera is usually slightly different from the designed installation state. Due to such an error in the installation state of the camera, the position of the subject image included in the captured image acquired by the camera deviates from the ideal position.

このような問題に対応するため、従来より、カメラの設置に関する設置パラメータ（例えば、パン角、チルト角、ロール角など）を取得するキャリブレーション処理がなされている（例えば、特許文献１参照。）。車載装置は、このようなキャリブレーション処理で取得された設置パラメータを用いることで、撮影画像中の被写体の像の位置を補正することができる。   In order to cope with such a problem, conventionally, calibration processing for acquiring installation parameters (for example, pan angle, tilt angle, roll angle, etc.) related to camera installation has been performed (see, for example, Patent Document 1). . The in-vehicle device can correct the position of the image of the subject in the captured image by using the installation parameters acquired by such calibration processing.

特開２０１０−２３９４０８号公報JP 2010-239408 A

一般に、キャリブレーション処理を実行する場合には、図１５に示すように、所定の模様のマーカ１０３が配置された作業場の所定位置１０４に車両１０９が停車される。この状態で、車両１０９に搭載されたカメラ１０５が、マーカ１０３を含む車両９の周囲の撮影画像を取得する。そして、パラメータ取得装置１０２が、取得された撮影画像に含まれるマーカ１０３の像の位置に基いてカメラ１０５の設置パラメータを導出する。   In general, when the calibration process is executed, as shown in FIG. 15, the vehicle 109 is stopped at a predetermined position 104 of the work place where the marker 103 having a predetermined pattern is arranged. In this state, the camera 105 mounted on the vehicle 109 acquires a captured image around the vehicle 9 including the marker 103. Then, the parameter acquisition device 102 derives the installation parameters of the camera 105 based on the position of the image of the marker 103 included in the acquired captured image.

このようなキャリブレーション処理において、設置パラメータを正しく導出するためには、車両１０９と複数のマーカ１０３との相対位置を一定とする必要がある。このため、車両１０９を正確に停車させるための正対装置の導入や、複数のマーカ１０３の作業場への正確な配置が必要である。しかしながら、このような正対装置の導入やマーカ１０３を正確に配置するなどの条件を満足することは、一般的なカーディーラや小規模な修理工場などでは困難である。このため、より容易に設置パラメータを導出できる手法が求められていた。   In such a calibration process, in order to correctly derive the installation parameters, the relative positions of the vehicle 109 and the plurality of markers 103 need to be constant. Therefore, it is necessary to introduce a facing device for accurately stopping the vehicle 109 and to accurately arrange the plurality of markers 103 on the work place. However, it is difficult for general card dealers and small repair shops to satisfy such conditions as the introduction of the facing device and the accurate placement of the marker 103. For this reason, there has been a demand for a method that can more easily derive the installation parameters.

本発明は、上記課題に鑑みてなされたものであり、カメラの設置パラメータを容易に導出できる技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to provide a technique capable of easily deriving camera installation parameters.

上記課題を解決するため、請求項１の発明は、カメラに関するパラメータを取得するパラメータ取得装置であって、車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する取得手段と、前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する手段と、前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する抽出手段と、前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する変換手段と、前記第２ベクトルが前記車両の前後方向に一致するほど小さくなる第１変数と、前記第２ベクトルの長さが前記移動距離と一致するほど小さくなる第２変数とを用いて評価値を導出する手段と、前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する導出手段と、を備える。
In order to solve the above-mentioned problem, the invention of claim 1 is a parameter acquisition device for acquiring parameters relating to a camera, wherein a plurality of photographed images photographed at different points in time while the vehicle is traveling straight by a camera provided in the vehicle. Features between the obtaining means for obtaining, the means for deriving the movement distance of the vehicle based on the time between each photographing time of the plurality of photographed images and the speed of the vehicle, and the characteristics among the plurality of photographed images Based on an extraction means for extracting a first vector indicating the movement of a point and a provisional value of an installation parameter relating to the installation of the camera, the first vector is converted into a second vector in a vehicle coordinate system based on the vehicle. conversion means, small as the first variable as reduced to match the longitudinal direction of the second vector is the vehicle, the length of the second vector matches the movement distance That comprises means for deriving the evaluation value by using the second variable, the temporary value which the evaluation value is the smallest, and deriving means for deriving as the installation parameter, the.

また、請求項２の発明は、カメラに関するパラメータを取得するパラメータ取得装置であって、車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する取得手段と、前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する手段と、前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する手段と、前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する抽出手段と、前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する変換手段と、前記第２ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する手段と、前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する導出手段と、を備える。
The invention according to claim 2 is a parameter acquisition device for acquiring a parameter relating to a camera, and an acquisition means for acquiring a plurality of captured images taken at different times during turning of the vehicle by a camera provided in the vehicle. And a means for deriving a travel distance traveled by the vehicle based on the time between each of the plurality of captured images and the speed of the vehicle, and on the basis of the steering angle of the vehicle and the length of the wheel base. Means for deriving a turning angle of the vehicle based on the movement distance, and a first vector indicating movement of the feature point between the plurality of captured images; And a variable for converting the first vector into a second vector in a vehicle coordinate system based on the vehicle, based on an extraction means for extracting the camera and a provisional value of an installation parameter relating to the installation of the camera. Means for deriving an evaluation value that becomes smaller as the inner angle of the vertex corresponding to the turning center of the triangle formed by the starting point and the ending point of the second vector and the turning center coincides with the turning angle; Derivation means for deriving the provisional value with the smallest evaluation value as the installation parameter.

また、請求項３の発明は、カメラに関するパラメータを取得するパラメータ取得方法であって、（ａ）車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、（ｃ）前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する工程と、（ｄ）前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する工程と、（ｅ）前記第２ベクトルが前記車両の前後方向に一致するほど小さくなる第１変数と、前記第２ベクトルの長さが前記移動距離と一致するほど小さくなる第２変数とを用いて評価値を導出する工程と、（ｆ）前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、を備える。
Further, the invention of claim 3 is a parameter acquisition method for acquiring parameters relating to a camera, wherein (a) a plurality of captured images captured at different times during straight traveling of the vehicle by a camera included in the vehicle are acquired. A step of (b) deriving a moving distance traveled by the vehicle based on the time between each of the plurality of captured images and the speed of the vehicle; and (c) between the plurality of captured images. Extracting a first vector indicating the movement of the feature point at (d), based on a provisional value of an installation parameter relating to the installation of the camera, the first vector of the vehicle coordinate system based on the vehicle (E) a first variable that decreases as the second vector coincides with the front-rear direction of the vehicle, and a length that decreases as the length of the second vector coincides with the movement distance. That comprises the steps of deriving an evaluation value by using the second variable, and a step of deriving the temporary values comprising (f) the evaluation value is the smallest, as the installation parameter.

また、請求項４の発明は、カメラに関するパラメータを取得するパラメータ取得方法であって、（ａ）車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、（ｃ）前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する工程と、（ｄ）前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する工程と、（ｅ）前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する工程と、（ｆ）前記第２ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する工程と、（ｇ）前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、を備える。
Further, the invention of claim 4 is a parameter acquisition method for acquiring parameters relating to a camera, wherein (a) a plurality of captured images captured at different times during turning of the vehicle are acquired by a camera provided in the vehicle. And (b) deriving a travel distance traveled by the vehicle based on the time between each of the plurality of captured images and the speed of the vehicle, and (c) a steering angle of the vehicle. Determining a turning center of the vehicle based on a length of the wheel base, and deriving a turning angle of the vehicle based on the turning center based on the moving distance; and (d) between the plurality of captured images. Extracting a first vector indicating the movement of the feature point at (e), based on a provisional value of an installation parameter relating to installation of the camera, the first vector of the vehicle coordinate system based on the vehicle A step of converting into a vector; and (f) an internal angle of a vertex corresponding to the turning center of the triangle formed by the starting point and the ending point of the second vector and the turning center becomes smaller as the turning angle becomes equal. A step of deriving an evaluation value, and (g) a step of deriving the provisional value having the smallest evaluation value as the installation parameter.

また、請求項５の発明は、コンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、（ｃ）前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する工程と、（ｄ）前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する工程と、（ｅ）前記第２ベクトルが前記車両の前後方向に一致するほど小さくなる第１変数と、前記第２ベクトルの長さが前記移動距離と一致するほど小さくなる第２変数とを用いて評価値を導出する工程と、（ｆ）前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、を実行させる。
Further, the invention of claim 5 is a program that can be executed by a computer, and (a) a plurality of photographed images taken at different points in time while the vehicle is traveling straight ahead is acquired by the camera provided in the vehicle. And (b) deriving a moving distance traveled by the vehicle based on the time between each of the plurality of captured images and the speed of the vehicle, and (c) the plurality of captured images. Extracting a first vector indicating the movement of feature points between them, and (d) a vehicle coordinate system based on the vehicle based on the provisional value of the installation parameter relating to the installation of the camera. Converting to a second vector; (e) a first variable that decreases as the second vector matches the longitudinal direction of the vehicle; and a length of the second vector matches the movement distance. And deriving an evaluation value by using the small second variable, (f) the temporary value which the evaluation value is the smallest, and deriving as the installation parameters, is executed.

また、請求項６の発明は、コンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、（ｃ）前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する工程と、（ｄ）前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する工程と、（ｅ）前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する工程と、（ｆ）前記第２ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する工程と、（ｇ）前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、を実行させる。
The invention according to claim 6 is a program executable by a computer, and (a) a plurality of photographed images photographed at different times during turning of the vehicle by a camera included in the vehicle. And (b) deriving a moving distance traveled by the vehicle based on the time between each of the plurality of captured images and the speed of the vehicle, and (c) a steering angle of the vehicle Determining a turning center of the vehicle on the basis of the wheel base length and a length of the wheel base, and deriving a turning angle of the vehicle based on the turning center on the basis of the movement distance; and (d) the plurality of captured images. Extracting a first vector indicating the movement of the feature point between them, and (e) a vehicle seat based on the vehicle based on the provisional value of the installation parameter relating to the installation of the camera A step of converting into a second vector of the system; and (f) an internal angle of a vertex corresponding to the turning center of the triangle formed by the starting point and the ending point of the second vector and the turning center coincides with the turning angle. A step of deriving an evaluation value that becomes smaller as it goes, and (g) a step of deriving the provisional value that minimizes the evaluation value as the installation parameter.

請求項１ないし６の発明によれば、車両の周辺に特徴点して現れる被写体の点が存在しさえすればカメラの設置パラメータを導出できる。したがって、カメラの設置パラメータを容易に導出できる。また、精度の高い設置パラメータを導出できる。
According to the first to sixth aspects of the present invention, the camera installation parameters can be derived as long as there are subject points that appear as characteristic points around the vehicle. Therefore, camera installation parameters can be easily derived. In addition, highly accurate installation parameters can be derived.

図１は、パラメータ取得装置の使用場面の一例を示す図である。FIG. 1 is a diagram illustrating an example of a usage scene of the parameter acquisition device. 図２は、複数のカメラの位置を示す図である。FIG. 2 is a diagram illustrating the positions of a plurality of cameras. 図３は、車載装置の構成を示す図である。FIG. 3 is a diagram illustrating a configuration of the in-vehicle device. 図４は、合成画像を生成する手法を説明する図である。FIG. 4 is a diagram illustrating a method for generating a composite image. 図５は、投影面の部分と撮影画像との対応関係を示す図である。FIG. 5 is a diagram illustrating a correspondence relationship between a projection plane portion and a captured image. 図６は、撮影画像における投影面に投影する領域を説明する図である。FIG. 6 is a diagram for explaining a region to be projected onto the projection plane in the captured image. 図７は、キャリブレーション処理の流れを示す図である。FIG. 7 is a diagram showing the flow of calibration processing. 図８は、車両に対する被写体点の相対的な位置を示す図である。FIG. 8 is a diagram illustrating the relative position of the subject point with respect to the vehicle. 図９は、４つのカメラで得られる撮影画像の例を示す図である。FIG. 9 is a diagram illustrating an example of a captured image obtained by four cameras. 図１０は、車両座標系とカメラ座標系との関係を示す図である。FIG. 10 is a diagram illustrating the relationship between the vehicle coordinate system and the camera coordinate system. 図１１は、パラメータ導出処理の流れを示す図である。FIG. 11 is a diagram showing a flow of parameter derivation processing. 図１２は、オプティカルフローの車両座標系のベクトルへの変換を説明する図である。FIG. 12 is a diagram illustrating conversion of an optical flow into a vehicle coordinate system vector. 図１３は、車両座標系のベクトルを示す図である。FIG. 13 is a diagram showing vectors in the vehicle coordinate system. 図１４は、車両が旋回する場合の設置パラメータの導出手法を説明する図である。FIG. 14 is a diagram illustrating a method for deriving installation parameters when the vehicle turns. 図１５は、一般的なキャリブレーション装置を実行する場面の一例を示す図である。FIG. 15 is a diagram illustrating an example of a scene in which a general calibration apparatus is executed.

以下、図面を参照しつつ本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜１．パラメータ取得装置の概要＞
図１は、本実施の形態のパラメータ取得装置の使用場面の一例を示す図である。車両（本実施の形態では自動車）９に搭載された車載装置２は、車両９が備える複数のカメラ５で得られた複数の撮影画像を用いて合成画像を生成し、車両９の車室内に表示する機能を有している。 <1. Overview of parameter acquisition device>
FIG. 1 is a diagram illustrating an example of a usage scene of the parameter acquisition apparatus according to the present embodiment. The in-vehicle device 2 mounted on the vehicle (automobile in the present embodiment) 9 generates a composite image using a plurality of captured images obtained by the plurality of cameras 5 provided in the vehicle 9, and places it in the vehicle interior of the vehicle 9. It has a function to display.

車両９が備える複数のカメラ５それぞれの実際の設置状態は、設計上の設置状態とは僅かに異なっている。このため、車載装置２は、このような複数のカメラ５それぞれの設置に関する設置パラメータを取得するパラメータ取得装置としても機能する。設置パラメータは、カメラ５の実際の設置状態を示すものとなる。車載装置２は、キャリブレーション処理を実行して、各カメラ５の設置パラメータを取得する。   The actual installation state of each of the plurality of cameras 5 provided in the vehicle 9 is slightly different from the designed installation state. For this reason, the vehicle-mounted apparatus 2 functions also as a parameter acquisition apparatus which acquires the installation parameter regarding each installation of such a some camera 5. FIG. The installation parameter indicates the actual installation state of the camera 5. The in-vehicle device 2 executes a calibration process and acquires installation parameters of each camera 5.

図１に示すように、車載装置２がキャリブレーション処理を行う場合は、カメラ５が取得する撮影画像中において特徴点（コーナーなどの際立って検出できる点）として現れる複数の点Ｐａ〜Ｐｈを含む被写体が、車両９の周辺の床面（路面）上に存在していればよい。例えば、床面の任意の模様、床面の傷、あるいは、床面に落ちているゴミや工具等であっても、このような被写体となりうる。なお、図１では、説明の便宜上、被写体の点として８つの点Ｐａ〜Ｐｈのみを示しているが、実際には多数の点があることが望ましい。以下、このような撮影画像中において特徴点として現れる被写体の点を「被写体点」という。   As shown in FIG. 1, when the in-vehicle device 2 performs a calibration process, the vehicle-mounted device 2 includes a plurality of points Pa to Ph that appear as feature points (points that can be detected prominently such as corners) in a captured image acquired by the camera 5. It is sufficient that the subject exists on the floor surface (road surface) around the vehicle 9. For example, an arbitrary pattern on the floor, scratches on the floor, or dust or tools falling on the floor can be such a subject. In FIG. 1, for convenience of explanation, only eight points Pa to Ph are shown as subject points, but it is desirable that there are actually many points. Hereinafter, a subject point that appears as a feature point in such a captured image is referred to as a “subject point”.

キャリブレーション処理を行う際には、車載装置２のユーザとなる作業員は車両９を走行させる。車載装置２は、このように車両９の走行中において互いに異なる時点に同一のカメラ５で撮影された２枚の撮影画像を取得し、２枚の撮影画像間での特徴点の動きを示すベクトルであるオプティカルフローに基いて当該カメラ５の設置パラメータを取得する。したがって、作業場に特定のマーカ等を正確に配置するなどの困難な条件を必要とすることなく、設置パラメータを容易に導出できる。また、キャリブレーション処理を、作業場以外の道路などの様々な場所で行うことも可能である。   When performing the calibration process, the worker who is the user of the in-vehicle device 2 causes the vehicle 9 to travel. The in-vehicle device 2 thus acquires two captured images captured by the same camera 5 at different points in time while the vehicle 9 is traveling, and a vector indicating the movement of the feature points between the two captured images. The installation parameters of the camera 5 are acquired based on the optical flow. Therefore, the installation parameters can be easily derived without requiring difficult conditions such as accurately arranging a specific marker or the like in the work place. In addition, the calibration process can be performed in various places such as a road other than the work place.

＜２．車載カメラ＞
図２は、車両９における複数のカメラ５の位置と光軸の方向（設計上の方向）とを示す図である。複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺の撮影画像を電子的に取得する。複数のカメラ５はそれぞれ、車載装置２とは別に車両９の適位置に配置され、取得した撮影画像を車載装置２に入力する。 <2. In-vehicle camera>
FIG. 2 is a diagram showing the positions of the plurality of cameras 5 in the vehicle 9 and the direction of the optical axis (design direction). Each of the plurality of cameras 5 includes a lens and an image sensor, and electronically obtains a captured image around the vehicle 9. Each of the plurality of cameras 5 is arranged at an appropriate position of the vehicle 9 separately from the in-vehicle device 2, and inputs the acquired captured image to the in-vehicle device 2.

複数のカメラ５は、フロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、互いに異なる位置に配置され、車両９の周辺の異なる方向の撮影画像を取得する。   The multiple cameras 5 include a front camera 5F, a back camera 5B, a left side camera 5L, and a right side camera 5R. These four cameras 5F, 5B, 5L, and 5R are arranged at different positions, and acquire captured images in different directions around the vehicle 9.

フロントカメラ５Ｆは、車両９の前端の左右中央の近傍に設けられ、その光軸５Ｆａは車両９の前後方向に沿って前方に向けられる。バックカメラ５Ｂは、車両９の後端の左右中央の近傍に設けられ、その光軸５Ｂａは車両９の前後方向に沿って後方に向けられる。左サイドカメラ５Ｌは車両９の左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左右方向に沿って左側方に向けられる。また、右サイドカメラ５Ｒは車両９の右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の左右方向に沿って右側方に向けられる。   The front camera 5F is provided in the vicinity of the left and right center of the front end of the vehicle 9, and its optical axis 5Fa is directed forward along the front-rear direction of the vehicle 9. The back camera 5B is provided in the vicinity of the left and right center of the rear end of the vehicle 9, and its optical axis 5Ba is directed rearward along the front-rear direction of the vehicle 9. The left side camera 5 </ b> L is provided on the left side mirror 93 </ b> L of the vehicle 9, and its optical axis 5 </ b> La is directed leftward along the left / right direction of the vehicle 9. The right side camera 5 </ b> R is provided on the right side mirror 93 </ b> R of the vehicle 9, and its optical axis 5 </ b> Ra is directed rightward along the left / right direction of the vehicle 9.

これらのカメラ５のレンズには魚眼レンズが採用され、各カメラ５は１８０度以上の画角Φを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影対象とすることが可能である。   Fish lenses are used as the lenses of these cameras 5, and each camera 5 has an angle of view Φ of 180 degrees or more. For this reason, by using the four cameras 5F, 5B, 5L, and 5R, the entire periphery of the vehicle 9 can be taken as a subject of photographing.

＜３．車載装置＞
図３は主に、車載装置２の構成を示す図である。図に示すように、車載装置２は、４つのカメラ５と通信可能に接続されている。車載装置２は、４つのカメラ５でそれぞれ得られた４つの撮影画像を合成して仮想視点からみた車両９の周辺の様子を示す合成画像を生成し、この合成画像を表示する。車載装置２は、この合成画像を生成する際に、キャリブレーション処理で得られた設置パラメータを利用する。 <3. In-vehicle device>
FIG. 3 is a diagram mainly showing the configuration of the in-vehicle device 2. As shown in the figure, the in-vehicle device 2 is connected to be communicable with the four cameras 5. The in-vehicle device 2 synthesizes four captured images respectively obtained by the four cameras 5 to generate a composite image that shows the state of the surroundings of the vehicle 9 viewed from the virtual viewpoint, and displays the composite image. The in-vehicle device 2 uses the installation parameters obtained by the calibration process when generating this composite image.

車載装置２は、ディスプレイ２６と、操作部２５と、画像取得部２２と、画像合成部２３と、信号受信部２７と、記憶部２４と、制御部２１とを備えている。   The in-vehicle device 2 includes a display 26, an operation unit 25, an image acquisition unit 22, an image synthesis unit 23, a signal reception unit 27, a storage unit 24, and a control unit 21.

ディスプレイ２６は、例えば、液晶パネルなどを備えた薄型の表示装置であり、各種の情報や画像を表示する。ディスプレイ２６は、その画面がユーザから視認可能なように、車両９の車室内のインストルメントパネルなどに配置される。   The display 26 is a thin display device including a liquid crystal panel, for example, and displays various information and images. The display 26 is arranged on an instrument panel or the like in the cabin of the vehicle 9 so that the screen can be visually recognized by the user.

操作部２５は、ユーザの操作を受け付ける部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ２６の画面に重ねて設けられ、操作ボタンはディスプレイ２６の画面の周囲に設けられる。ユーザが操作部２５を操作した場合は、その操作の内容を示す信号が制御部２１に入力される。   The operation unit 25 is a member that receives user operations, and includes a touch panel and operation buttons. The touch panel is provided so as to overlap the screen of the display 26, and the operation buttons are provided around the screen of the display 26. When the user operates the operation unit 25, a signal indicating the content of the operation is input to the control unit 21.

画像取得部２２は、４つのカメラ５から、各カメラ５で得られた撮影画像を取得する。画像取得部２２は、アナログの撮影画像をデジタルの撮影画像に変換するＡ／Ｄ変換機能などの基本的な画像処理機能を有している。画像取得部２２は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部２３及び制御部２１に入力する。   The image acquisition unit 22 acquires the captured image obtained by each camera 5 from the four cameras 5. The image acquisition unit 22 has basic image processing functions such as an A / D conversion function for converting an analog captured image into a digital captured image. The image acquisition unit 22 performs predetermined image processing on the acquired captured image and inputs the processed captured image to the image composition unit 23 and the control unit 21.

画像合成部２３は、例えばハードウェア回路であり、所定の画像処理を実行する。画像合成部２３は、４つのカメラ５でそれぞれ取得された４つの撮影画像を用いて、任意の仮想視点からみた車両９の周辺の様子を示す合成画像（俯瞰画像）を生成する。画像合成部２３が合成画像を生成する手法については後述する。   The image composition unit 23 is a hardware circuit, for example, and executes predetermined image processing. The image composition unit 23 uses the four captured images respectively acquired by the four cameras 5 to generate a composite image (overhead image) that shows the state of the surroundings of the vehicle 9 from an arbitrary virtual viewpoint. A method by which the image composition unit 23 generates a composite image will be described later.

信号受信部２７は、ＣＡＮなどの車載ネットワーク９９を介して、速度センサ９１から出力される車両９の速度を示す信号を受信する。信号受信部２７は、受信した信号を制御部２１に入力する。   The signal receiving unit 27 receives a signal indicating the speed of the vehicle 9 output from the speed sensor 91 via the in-vehicle network 99 such as CAN. The signal receiving unit 27 inputs the received signal to the control unit 21.

記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２４は、設置パラメータ２４ａとプログラム２４ｂとを記憶している。   The storage unit 24 is a nonvolatile memory such as a flash memory, for example, and stores various types of information. The storage unit 24 stores an installation parameter 24a and a program 24b.

設置パラメータ２４ａは、カメラ５の設置に関するパラメータである。設置パラメータ２４ａは、パン角、チルト角、ロール角などカメラ５の実際の設置状態（実際の光軸の方向）を示すパラメータを含んでいる。このような設置パラメータ２４ａはカメラ５ごとに異なっているため、記憶部２４は、４つのカメラ５それぞれの設置パラメータ２４ａを記憶する。記憶部２４に記憶された設置パラメータ２４ａは、画像合成部２３が合成画像を生成する際に利用される。設置パラメータ２４ａはキャリブレーション処理によって取得されるため、キャリブレーション処理の実行前は記憶部２４に設置パラメータ２４ａは記憶されていない。   The installation parameter 24 a is a parameter related to installation of the camera 5. The installation parameter 24a includes parameters indicating an actual installation state (actual optical axis direction) of the camera 5, such as a pan angle, a tilt angle, and a roll angle. Since such installation parameters 24 a are different for each camera 5, the storage unit 24 stores the installation parameters 24 a for the four cameras 5. The installation parameter 24a stored in the storage unit 24 is used when the image composition unit 23 generates a composite image. Since the installation parameter 24a is acquired by the calibration process, the installation parameter 24a is not stored in the storage unit 24 before the calibration process is executed.

また、プログラム２４ｂは、車載装置２のファームウェアである。このようなプログラム２４ｂは、該プログラム２４ｂを記録したコンピュータ読み取り可能な記録媒体からの読み取りや、ネットワークを介した通信などによって取得し、記憶部２４に記憶させることができる。   The program 24b is firmware for the in-vehicle device 2. Such a program 24b can be acquired by reading from a computer-readable recording medium in which the program 24b is recorded, or communicating via a network, and can be stored in the storage unit 24.

制御部２１は、車載装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１の各種の機能は、記憶部２４に記憶されたプログラム２４ｂの実行（プログラム２４ｂに従ったＣＰＵの演算処理）によって実現される。図中に示すフロー抽出部２１ａ、座標変換部２１ｂ、及び、パラメータ導出部２１ｃは、プログラム２４ｂの実行により実現される機能部の一部である。これらの機能部は、キャリブレーション処理に係る処理を実行する。   The control unit 21 is a microcomputer that comprehensively controls the entire vehicle-mounted device 2. The control unit 21 includes a CPU, a RAM, a ROM, and the like. Various functions of the control unit 21 are realized by execution of a program 24b stored in the storage unit 24 (CPU arithmetic processing according to the program 24b). A flow extraction unit 21a, a coordinate conversion unit 21b, and a parameter derivation unit 21c shown in the drawing are a part of functional units realized by executing the program 24b. These functional units execute processing related to calibration processing.

フロー抽出部２１ａは、複数の撮影画像間での特徴点の動きを示すベクトルであるオプティカルフローを抽出する。座標変換部２１ｂは、複数のオプティカルフローを車両９を基準とした車両座標系の複数のベクトルに変換する。また、パラメータ導出部２１ｃは、車両座標系の複数のベクトルに基いて、カメラ５の設置に関する設置パラメータを導出する。これらの機能部の処理の詳細については後述する。   The flow extraction unit 21a extracts an optical flow that is a vector indicating the movement of feature points between a plurality of captured images. The coordinate conversion unit 21 b converts a plurality of optical flows into a plurality of vectors in a vehicle coordinate system with the vehicle 9 as a reference. The parameter deriving unit 21c derives installation parameters relating to the installation of the camera 5 based on a plurality of vectors in the vehicle coordinate system. Details of the processing of these functional units will be described later.

＜４．合成画像の生成＞
次に、画像合成部２３が合成画像を生成する手法について説明する。図４は、画像合成部２３が合成画像を生成する手法を説明する図である。 <4. Generation of composite image>
Next, a method in which the image composition unit 23 generates a composite image will be described. FIG. 4 is a diagram illustrating a method in which the image composition unit 23 generates a composite image.

車載装置２が備えるフロントカメラ５Ｆ、バックカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒは、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲを取得する。これら４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲには、車両９の全周囲のデータが含まれている。   The in-vehicle device 2 includes a front camera 5F, a back camera 5B, a left side camera 5L, and a right side camera 5R that are four captured images GF, GB, and GL respectively showing the front, rear, left side, and right side of the vehicle 9. , GR is acquired. These four captured images GF, GB, GL, GR include data around the entire vehicle 9.

画像合成部２３は、これら４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置となる車両領域Ｒ０として定められている。一方、車両領域Ｒ０の外側の領域である投影領域Ｒ１は、撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲのいずれかと対応付けられている。画像合成部２３は、撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータを投影領域Ｒ１に投影する。   The image composition unit 23 projects the data (values of each pixel) included in these four captured images GF, GB, GL, GR onto a projection surface TS that is a three-dimensional curved surface in a virtual three-dimensional space. The projection surface TS has, for example, a substantially hemispherical shape (a bowl shape), and a central area (bottom part of the bowl) is defined as a vehicle area R0 where the vehicle 9 is located. On the other hand, a projection area R1 that is an area outside the vehicle area R0 is associated with one of the captured images GF, GB, GL, and GR. The image composition unit 23 projects data included in the captured images GF, GB, GL, GR onto the projection area R1.

図５に示すように、画像合成部２３は、投影領域Ｒ１において車両９の前方に相当する部分に、フロントカメラ５Ｆの撮影画像ＧＦのデータを投影する。また、画像合成部２３は、投影領域Ｒ１において車両９の後方に相当する部分に、バックカメラ５Ｂの撮影画像ＧＢのデータを投影する。さらに、画像合成部２３は、投影領域Ｒ１において車両９の左側方に相当する部分に左サイドカメラ５Ｌの撮影画像ＧＬのデータを投影し、投影領域Ｒ１において車両９の右側方に相当する部分に右サイドカメラ５Ｒの撮影画像ＧＲのデータを投影する。   As shown in FIG. 5, the image composition unit 23 projects the data of the captured image GF of the front camera 5F onto a portion corresponding to the front of the vehicle 9 in the projection region R1. In addition, the image composition unit 23 projects the data of the captured image GB of the back camera 5B onto a portion corresponding to the rear of the vehicle 9 in the projection region R1. Furthermore, the image composition unit 23 projects the data of the captured image GL of the left side camera 5L on the portion corresponding to the left side of the vehicle 9 in the projection region R1, and the portion corresponding to the right side of the vehicle 9 in the projection region R1. Data of the captured image GR of the right side camera 5R is projected.

４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲのそれぞれにおいて、投影面ＴＳに投影すべきデータを含む領域は、４つのカメラ５それぞれの設置状態の誤差に応じて変化する。このため、画像合成部２３は、記憶部２４に記憶された４つのカメラ５それぞれの設置パラメータ２４ａ（パン角、チルト角、ロール角など）を用いて、撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲそれぞれの投影面ＴＳに投影する領域を修正する。   In each of the four captured images GF, GB, GL, GR, the region including the data to be projected on the projection surface TS changes according to the error in the installation state of each of the four cameras 5. Therefore, the image composition unit 23 uses the installation parameters 24a (pan angle, tilt angle, roll angle, etc.) of each of the four cameras 5 stored in the storage unit 24, and each of the captured images GF, GB, GL, GR. The area projected onto the projection plane TS is corrected.

このような投影面ＴＳに投影する領域について、図６に示す撮影画像Ｇを例に説明する。仮にこの撮影画像Ｇを取得したカメラ５に関して設置状態の誤差がない場合は、投影面ＴＳに投影すべきデータを含む領域はデフォルトの領域ＵＡ１となる。通常はカメラ５の設置状態には誤差が存在することから、画像合成部２３は、当該カメラ５の設置パラメータ２４ａに基づいて、投影面ＴＳに投影する領域を領域ＵＡ１から領域ＵＡ２に修正する。そして、画像合成部２３は、この修正後の領域ＵＡ２に含まれるデータを投影面ＴＳに投影することになる。   The region projected onto the projection surface TS will be described with reference to the captured image G shown in FIG. If there is no error in the installation state with respect to the camera 5 that has acquired the captured image G, the area including the data to be projected on the projection surface TS is the default area UA1. Since there is usually an error in the installation state of the camera 5, the image composition unit 23 corrects the area projected on the projection surface TS from the area UA1 to the area UA2 based on the installation parameter 24a of the camera 5. Then, the image composition unit 23 projects the data included in the corrected area UA2 onto the projection surface TS.

図４に戻り、このように投影面ＴＳの各部分にデータを投影すると、次に、画像合成部２３は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、投影面ＴＳが設定される三次元空間における車両９の位置である車両領域Ｒ０に配置される。   Returning to FIG. 4, when data is projected onto each part of the projection surface TS in this manner, the image composition unit 23 then virtually constructs a polygon model indicating the three-dimensional shape of the vehicle 9. The model of the vehicle 9 is arranged in the vehicle region R0 that is the position of the vehicle 9 in the three-dimensional space where the projection plane TS is set.

次に、画像合成部２３は、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２３は、三次元空間における任意の視点位置に任意の視線方向に向けて仮想視点ＶＰを設定できる。そして、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部２３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２３は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す合成画像ＣＰを生成する。   Next, the image composition unit 23 sets a virtual viewpoint VP for the three-dimensional space. The image synthesizing unit 23 can set the virtual viewpoint VP at an arbitrary viewpoint position in the three-dimensional space in an arbitrary line-of-sight direction. Then, the image composition unit 23 cuts out an area included in a predetermined viewing angle as seen from the set virtual viewpoint VP in the projection plane TS. Further, the image composition unit 23 performs rendering on the polygon model in accordance with the set virtual viewpoint VP, and superimposes the resulting two-dimensional vehicle image 90 on the clipped image. As a result, the image composition unit 23 generates a composite image CP indicating the vehicle 9 and the area around the vehicle 9 viewed from the virtual viewpoint VP.

例えば図４に示すように、視点位置を車両９の直上、視線方向を直下とした仮想視点ＶＰａを設定した場合には、画像合成部２３は、車両９及び車両９の周辺の領域を俯瞰する合成画像ＣＰａを生成できる。また、視点位置を車両９の左後方、視線方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、画像合成部２３は、車両９の左後方からみた車両９及び車両９の周辺を示す合成画像ＣＰｂを生成できる。   For example, as illustrated in FIG. 4, when a virtual viewpoint VPa with the viewpoint position directly above the vehicle 9 and the line-of-sight direction directly below is set, the image composition unit 23 looks down on the vehicle 9 and the area around the vehicle 9. A composite image CPa can be generated. When the virtual viewpoint VPb is set with the viewpoint position at the left rear of the vehicle 9 and the line-of-sight direction in front of the vehicle 9, the image composition unit 23 displays the vehicle 9 and the surroundings of the vehicle 9 viewed from the left rear of the vehicle 9. Can be generated.

このような合成画像ＣＰの生成において設置パラメータ２４ａを用いない場合には、４つの撮影画像ＧＦ，ＧＢ，ＧＬ，ＧＲが整合なく合成されてしまう。その結果、撮影画像同士の境界部分Ｂ（図５参照。）で同一の被写体の像が分断されるなどの不自然な合成画像ＣＰが生成されることになる。このため、適切な合成画像ＣＰを生成するためには、カメラ５の実際の設置状態を示す設置パラメータ２４ａを導出することが必要となる。   When the installation parameter 24a is not used in the generation of such a composite image CP, the four captured images GF, GB, GL, GR are combined without matching. As a result, an unnatural composite image CP is generated such that the image of the same subject is divided at the boundary portion B (see FIG. 5) between the captured images. For this reason, in order to generate an appropriate composite image CP, it is necessary to derive an installation parameter 24a indicating the actual installation state of the camera 5.

＜５．キャリブレーション処理＞
次に、車載装置２が設置パラメータ２４ａを取得するキャリブレーション処理の流れについて説明する。図７は、キャリブレーション処理の流れを示す図である。このキャリブレーション処理は、図１に示すような複数の被写体点Ｐａ〜Ｐｈを含む被写体が車両９の周辺に存在している状態で、作業員が操作部２５を介して所定の操作を車載装置２に行い、さらに、車両９を走行させた場合に実行される。作業員は、クリープ現象を利用して比較的低速に車両９の前後方向に沿って車両９を走行（すなわち、直進）させる。 <5. Calibration process>
Next, the flow of the calibration process in which the in-vehicle device 2 acquires the installation parameter 24a will be described. FIG. 7 is a diagram showing the flow of calibration processing. In this calibration process, an on-vehicle apparatus is used by a worker to perform a predetermined operation via the operation unit 25 in a state where a subject including a plurality of subject points Pa to Ph exists in the vicinity of the vehicle 9 as shown in FIG. 2 and is executed when the vehicle 9 is run. The worker makes the vehicle 9 travel along the front-rear direction of the vehicle 9 at a relatively low speed (ie, go straight) using the creep phenomenon.

制御部２１は、まず、車両９が走行していることを確認する（ステップＳ１１）。制御部２１は、速度センサ９１から出力される車両９の速度を示す信号に基いて、車両９の走行を確認する。さらに、制御部２１は、速度センサ９１からの信号に基いて、車両９の速度が安定したこと（加速度が閾値より低下したこと）を確認する。   First, the control unit 21 confirms that the vehicle 9 is traveling (step S11). The control unit 21 confirms the traveling of the vehicle 9 based on the signal indicating the speed of the vehicle 9 output from the speed sensor 91. Further, the control unit 21 confirms that the speed of the vehicle 9 is stabilized (acceleration has decreased below a threshold value) based on a signal from the speed sensor 91.

制御部２１は、車両９の速度が安定したことを確認すると、次に、画像取得部２２を制御して、４つのカメラ５のそれぞれから２つの撮影画像を取得させる（ステップＳ１２）。画像取得部２２は、互いに異なる時点に撮影された２つの撮影画像を各カメラ５から取得する。同一のカメラ５が２つの撮影画像を撮影する間隔（撮影時点の相互間）は、車両９が例えば約１ｍ進むように予め定められた時間（例えば、０．５秒）とされる。作業員は、このような２つの撮影画像の取得に十分な距離（例えば、３ｍ程度）だけ車両９を走行させると、車両９を停車する。   After confirming that the speed of the vehicle 9 is stable, the control unit 21 then controls the image acquisition unit 22 to acquire two captured images from each of the four cameras 5 (step S12). The image acquisition unit 22 acquires two captured images captured at different times from each camera 5. The interval at which the same camera 5 captures two captured images (between the capturing time points) is set to a predetermined time (for example, 0.5 seconds) such that the vehicle 9 travels about 1 m, for example. The worker stops the vehicle 9 when traveling the vehicle 9 for a distance (for example, about 3 m) sufficient to acquire such two captured images.

次に、パラメータ導出部２１ｃが、２つの撮影画像の撮影時点の相互間において、車両９が実際に移動した移動距離を導出する（ステップＳ１３）。パラメータ導出部２１ｃは、２つの撮影画像の撮影時点の相互間（時間）と、速度センサ９１からの信号が示す速度とを積分することで実際の移動距離を導出できる。   Next, the parameter deriving unit 21c derives the movement distance in which the vehicle 9 has actually moved between the shooting times of the two shot images (step S13). The parameter deriving unit 21c can derive the actual moving distance by integrating the time (time) between the photographing points of the two photographed images and the speed indicated by the signal from the speed sensor 91.

次に、フロー抽出部２１ａは、各カメラ５ごとに得られた２つの撮影画像を用いて、オプティカルフローを抽出する（ステップＳ１４）。   Next, the flow extraction unit 21a extracts an optical flow using the two captured images obtained for each camera 5 (step S14).

図８は、２つの撮影画像それぞれの撮影時点における車両９に対する被写体点の相対的な位置を示す図である。１枚目の撮影画像の撮影時点の被写体点Ｐａ〜Ｐｈはそれぞれ、２枚目の撮影画像の撮影時点において被写体点Ｐａｔ〜Ｐｈｔとなる。車両９は直進することから、被写体点Ｐａ〜Ｐｈは、車両９に対して相対的に車両９の前後方向に沿って後方に移動する。   FIG. 8 is a diagram illustrating the relative position of the subject point with respect to the vehicle 9 at the time of capturing each of the two captured images. Subject points Pa to Ph at the time of photographing the first photographed image become subject points Pat to Pht at the photographing time of the second photographed image, respectively. Since the vehicle 9 travels straight, the subject points Pa to Ph move rearward along the front-rear direction of the vehicle 9 relative to the vehicle 9.

図９は、図８のように被写体点が相対移動した場合において、４つのカメラ５で得られる撮影画像ＧＦ，ＧＬ，ＧＲ，ＧＢの例を示す図である。図９においては、説明の便宜上、同一のカメラ５で得られた２つの撮影画像については重ねて示している。   FIG. 9 is a diagram illustrating examples of captured images GF, GL, GR, and GB obtained by the four cameras 5 when the subject point is relatively moved as illustrated in FIG. In FIG. 9, for convenience of explanation, two captured images obtained by the same camera 5 are shown in an overlapping manner.

図９に示すように、図８に示す被写体点は、撮影画像中において特徴点として現れる。図９では、特徴点の符号を、その特徴点に対応する被写体点の符号と同一としている。図８と図９とを比較して分かるように、車両９の前方の被写体点Ｐｃ，Ｐｄ，Ｐｃｔ，Ｐｄｔは、フロントカメラ５Ｆで得られた撮影画像ＧＦの特徴点となる。また、車両９の後方の被写体点Ｐｇ，Ｐｈ，Ｐｇｔ，Ｐｇｔは、バックカメラ５Ｂで得られた撮影画像ＧＢの特徴点となる。車両９の左側方の被写体点Ｐａ，Ｐｂ，Ｐａｔ，Ｐｂｔは、左サイドカメラ５Ｌで得られた撮影画像ＧＬの特徴点となる。車両９の右側方の被写体点Ｐｅ，Ｐｆ，Ｐｅｔ，Ｐｆｔは、右サイドカメラ５Ｒで得られた撮影画像ＧＲの特徴点となる。   As shown in FIG. 9, the subject points shown in FIG. 8 appear as feature points in the captured image. In FIG. 9, the sign of the feature point is the same as the sign of the subject point corresponding to the feature point. As can be seen by comparing FIG. 8 and FIG. 9, subject points Pc, Pd, Pct, and Pdt in front of the vehicle 9 are characteristic points of the captured image GF obtained by the front camera 5F. In addition, subject points Pg, Ph, Pgt, and Pgt behind the vehicle 9 are feature points of the captured image GB obtained by the back camera 5B. Subject points Pa, Pb, Pat, Pbt on the left side of the vehicle 9 are feature points of the captured image GL obtained by the left side camera 5L. Subject points Pe, Pf, Pet, Pft on the right side of the vehicle 9 are feature points of the captured image GR obtained by the right side camera 5R.

フロー抽出部２１ａは、このような撮影画像中に含まれる特徴点を抽出し、同一のカメラ５で得られた２つの撮影画像間での特徴点の動きを示すベクトルをオプティカルフローＯＰとして抽出する。   The flow extraction unit 21a extracts feature points included in such a captured image, and extracts a vector indicating the motion of the feature points between two captured images obtained by the same camera 5 as an optical flow OP. .

フロー抽出部２１ａは、まず、ハリスオペレータなどの周知の手法により、同一のカメラ５で得られた２つの撮影画像それぞれの特徴点を抽出する。車両９から離れた被写体点ほど、その対応する特徴点の撮影画像中での位置の誤差が大きくなる。このため、フロー抽出部２１ａは、車両９から所定距離（例えば、２ｍ）以内の範囲に相当する領域（図９の領域ＴＡ）に含まれる特徴点のみを抽出する。   First, the flow extraction unit 21a extracts feature points of each of the two captured images obtained by the same camera 5 by a known method such as a Harris operator. As the subject point is farther from the vehicle 9, the position error in the captured image of the corresponding feature point becomes larger. Therefore, the flow extraction unit 21a extracts only feature points included in an area (area TA in FIG. 9) corresponding to a range within a predetermined distance (for example, 2 m) from the vehicle 9.

次に、フロー抽出部２１ａは、１枚目の撮影画像から抽出された特徴点と、２枚目の撮影画像から抽出された特徴点とを対応付ける。そして、フロー抽出部２１ａは、対応する２つの特徴点それぞれの位置に基づいて、特徴点の動きを示すベクトルであるオプティカルフローＯＰを抽出する。フロー抽出部２１ａは、このようなオプティカルフローＯＰの抽出を、４つのカメラ５の全てに関して実行する。   Next, the flow extraction unit 21a associates the feature points extracted from the first photographed image with the feature points extracted from the second photographed image. Then, the flow extraction unit 21a extracts an optical flow OP that is a vector indicating the movement of the feature points based on the positions of the two corresponding feature points. The flow extraction unit 21a executes such extraction of the optical flow OP with respect to all the four cameras 5.

次に、フロー抽出部２１ａは、一つのカメラ５の撮影画像から抽出されたオプティカルフローＯＰの数が閾値（例えば、「５」）以上であるか否かを判定する（ステップＳ１５）。これにより、フロー抽出部２１ａは、設置パラメータ２４ａの導出のために十分な数のオプティカルフローＯＰが抽出されたか否かを判定する。   Next, the flow extraction unit 21a determines whether or not the number of optical flows OP extracted from the captured image of one camera 5 is greater than or equal to a threshold (for example, “5”) (step S15). Thereby, the flow extraction unit 21a determines whether or not a sufficient number of optical flows OP have been extracted for the derivation of the installation parameter 24a.

４つのカメラ５のうちの一つのカメラ５であってもこの条件（オプティカルフローＯＰの数が閾値以上）を満足しない場合は（ステップＳ１５にてＮｏ）、ディスプレイ２６を介して、被写体点の数が不十分なカメラ５を特定する情報が作業員（ユーザ）に報知され（ステップＳ１９）、キャリブレーション処理が終了する。この場合は、作業員は、被写体点を含む被写体（例えば、工具等）を、対象となるカメラ５で撮影可能な範囲に配置してから、再度、車載装置２にキャリブレーション処理を実行させる。この場合において、作業員は、対象となるカメラ５で撮影可能な領域に被写体を配置しさえすれば、どのような位置に被写体を配置してもよい。   If even one of the four cameras 5 does not satisfy this condition (the number of optical flows OP is equal to or greater than the threshold) (No in step S15), the number of subject points is displayed via the display 26. The operator (user) is notified of information for identifying the camera 5 with insufficient deficiency (step S19), and the calibration process ends. In this case, the worker places a subject (for example, a tool or the like) including the subject point in a range that can be photographed by the target camera 5, and then causes the in-vehicle device 2 to execute the calibration process again. In this case, the worker may place the subject at any position as long as the subject is placed in an area that can be photographed by the target camera 5.

４つのカメラ５の全てでオプティカルフローＯＰの数が閾値以上という条件を満足する場合は（ステップＳ１５にてＹｅｓ）、次に、パラメータ導出部２１ｃが、４つのカメラ５のうち一のカメラ５を処理の対象とする「注目カメラ」として選択する（ステップＳ１６）。そして、パラメータ導出部２１ｃが、この注目カメラ５の設置パラメータ２４ａを導出するパラメータ導出処理を実行する（ステップＳ１７）。このパラメータ導出処理においては、注目カメラ５の撮影画像から抽出された複数のオプティカルフローＯＰに基いて設置パラメータ２４ａが導出されるが、詳細は後述する。   If all four cameras 5 satisfy the condition that the number of optical flows OP is equal to or greater than the threshold (Yes in step S15), then the parameter deriving unit 21c selects one of the four cameras 5 as the camera 5. It is selected as the “target camera” to be processed (step S16). Then, the parameter deriving unit 21c executes a parameter deriving process for deriving the installation parameter 24a of the camera of interest 5 (step S17). In this parameter derivation process, the installation parameter 24a is derived based on a plurality of optical flows OP extracted from the captured image of the camera of interest 5, which will be described later in detail.

パラメータ導出処理が終了すると、処理はステップＳ１６に戻り、パラメータ導出部２１ｃは、注目カメラ５に設定されていない他のカメラ５を新たな注目カメラ５に設定して、パラメータ導出処理を繰り返す。パラメータ導出部２１ｃは、このような処理を繰り返すことにより、４つのカメラ５の全ての設置パラメータ２４ａを導出する。４つのカメラ５の全ての設置パラメータ２４ａが導出されると（ステップＳ１８にてＹｅｓ）、キャリブレーション処理が終了する。   When the parameter derivation process ends, the process returns to step S16, and the parameter derivation unit 21c sets another camera 5 that is not set as the camera of interest 5 as a new camera of interest 5 and repeats the parameter derivation process. The parameter deriving unit 21c derives all the installation parameters 24a of the four cameras 5 by repeating such processing. When all the installation parameters 24a of the four cameras 5 are derived (Yes in step S18), the calibration process ends.

＜６．パラメータ導出処理＞
次に、パラメータ導出処理（ステップＳ１７）の詳細について説明する。パラメータ導出処理では、車両９を基準とした車両座標系（ワールド座標系）と、注目カメラ５を基準としたカメラ座標系（ローカル座標系）とが用いられる。図１０は、車両座標系とカメラ座標系との関係を示す図である。 <6. Parameter derivation process>
Next, details of the parameter derivation process (step S17) will be described. In the parameter derivation process, a vehicle coordinate system (world coordinate system) based on the vehicle 9 and a camera coordinate system (local coordinate system) based on the camera of interest 5 are used. FIG. 10 is a diagram illustrating the relationship between the vehicle coordinate system and the camera coordinate system.

車両座標系は、ｘ軸，ｙ軸，ｚ軸を有する三次元直交座標系であり、車両９を基準として設定される。車両座標系のｙ軸は車両９の前後方向、ｘ軸は車両９の左右方向、ｚ軸は鉛直方向にそれぞれ沿うように設定される。また、車両座標系の原点ｏは平面視で車両９の中心となる床面（路面）に設定される。   The vehicle coordinate system is a three-dimensional orthogonal coordinate system having an x-axis, a y-axis, and a z-axis, and is set with reference to the vehicle 9. In the vehicle coordinate system, the y-axis is set along the front-rear direction of the vehicle 9, the x-axis is set along the left-right direction of the vehicle 9, and the z-axis is set along the vertical direction. The origin o of the vehicle coordinate system is set to the floor surface (road surface) that is the center of the vehicle 9 in plan view.

これに対して、カメラ座標系は、Ｘ軸，Ｙ軸，Ｚ軸を有する三次元直交座標系であり、注目カメラ５を基準として設定される。カメラ座標系のＺ軸は注目カメラ５の光軸、Ｘ軸は撮像素子の水平方向、Ｙ軸は撮像素子の上下方向にそれぞれ沿うように設定される。また、カメラ座標系の原点Ｏは、注目カメラ５のレンズの位置に設定される。一般に、車両座標系とカメラ座標系とでは各座標軸の方向は一致しない。   On the other hand, the camera coordinate system is a three-dimensional orthogonal coordinate system having an X axis, a Y axis, and a Z axis, and is set based on the camera of interest 5. The Z axis of the camera coordinate system is set to be along the optical axis of the camera 5 of interest, the X axis is along the horizontal direction of the image sensor, and the Y axis is along the vertical direction of the image sensor. The origin O of the camera coordinate system is set to the lens position of the camera of interest 5. In general, the directions of the coordinate axes do not match between the vehicle coordinate system and the camera coordinate system.

車両座標系に対するカメラ座標系の位置や姿勢は、並進成分Ｔと回転成分Ｒとで表すことができる。この車両座標系に対するカメラ座標系の位置や姿勢は、車両９における注目カメラ５の実際の設置状態（位置や姿勢）に相当する。注目カメラ５の実際の位置は車両座標系における並進成分Ｔで表すことができ、また、注目カメラ５の実際の姿勢は車両座標系に対する回転成分Ｒで表すことができる。回転成分Ｒは、ｚ−ｘ−ｚ系のオイラー角（α，β，γ）で定義され、α，β，γはそれぞれパン角、チルト角、ロール角に相当する。本実施の形態では、カメラ５が所定の位置に配置されることから、並進成分Ｔについては既知である。したがって、パラメータ導出部２１ｃは、注目カメラ５の設置パラメータとしてパン角、チルト角、ロール角に相当するα，β，γを導出する。   The position and orientation of the camera coordinate system relative to the vehicle coordinate system can be expressed by a translation component T and a rotation component R. The position and orientation of the camera coordinate system with respect to this vehicle coordinate system correspond to the actual installation state (position and orientation) of the camera of interest 5 in the vehicle 9. The actual position of the camera of interest 5 can be represented by a translation component T in the vehicle coordinate system, and the actual posture of the camera of interest 5 can be represented by a rotation component R with respect to the vehicle coordinate system. The rotation component R is defined by the Euler angles (α, β, γ) of the zxz system, and α, β, γ correspond to the pan angle, the tilt angle, and the roll angle, respectively. In this embodiment, since the camera 5 is arranged at a predetermined position, the translation component T is known. Therefore, the parameter deriving unit 21c derives α, β, and γ corresponding to the pan angle, the tilt angle, and the roll angle as the installation parameters of the camera 5 of interest.

カメラ座標系のある点の座標位置を同次座標で表現されるＰｃとした場合、次の数１によって、車両座標系における座標位置Ｐｗに変換することができる。 If the P c represented a coordinate location of a point on the camera coordinate system in homogeneous coordinates, by the following equation 1, it can be converted to the coordinate position P w in the vehicle coordinate system.

Figure 0006151535
数１において、Ｍは変換行列であり、上述した並進成分Ｔ及び回転成分Ｒを用いて次の数２によって表される。
Figure 0006151535
 In Equation 1, M is a transformation matrix and is expressed by the following Equation 2 using the translation component T and the rotation component R described above.

Figure 0006151535
また、並進成分Ｔは、次の数３によって表される。既述のように、この並進成分ＴのＴｘ，Ｔｙ，Ｔｚは既知である。
Figure 0006151535
 The translation component T is expressed by the following equation 3. As described above, T x , T y , and T z of this translational component T are known.

Figure 0006151535
一方、回転成分Ｒは、パン角α，チルト角β，ロール角γを用いて次の数４によって表される。
Figure 0006151535
 On the other hand, the rotation component R is expressed by the following equation 4 using the pan angle α, the tilt angle β, and the roll angle γ.

Figure 0006151535
したがって、数１の変換行列Ｍは、次の数５によって表すことができる。
Figure 0006151535
 Therefore, the transformation matrix M of Equation 1 can be expressed by the following Equation 5.

Figure 0006151535
パラメータ導出処理においては、数１の変換式が用いられ、注目カメラ５の撮影画像から抽出された複数のオプティカルフローＯＰが、車両座標系の複数のベクトルにそれぞれ変換されることになる。
Figure 0006151535
 In the parameter derivation process, the conversion formula of Formula 1 is used, and a plurality of optical flows OP extracted from the captured image of the camera of interest 5 are respectively converted into a plurality of vectors in the vehicle coordinate system.

図１１は、パラメータ導出処理の流れを示す図である。以下、パラメータ導出処理の流れについて説明する。   FIG. 11 is a diagram showing a flow of parameter derivation processing. Hereinafter, the flow of the parameter derivation process will be described.

まず、パラメータ導出部２１ｃは、注目カメラ５の撮影画像から抽出された複数のオプティカルフローＯＰそれぞれの始点及び終点の位置を、注目カメラ５を基準としたカメラ座標系の座標位置Ｐｃとして導出する（ステップＳ２１）。 First, the parameter deriving unit 21c derives the positions of the start point and the end point of each of the plurality of optical flows OP extracted from the captured image of the camera of interest 5 as the coordinate position P c of the camera coordinate system with the camera of interest 5 as a reference. (Step S21).

カメラ５のレンズは魚眼レンズであるため、カメラ５で得られた撮影画像に含まれる被写体の像には、ディストーション（歪曲収差）と呼ばれる比較的大きな歪が生じる（図６参照。）。このため、パラメータ導出部２１ｃは、カメラ５のディストーションの特性を考慮して、複数のオプティカルフローＯＰそれぞれの始点及び終点の位置を補正する。これにより、パラメータ導出部２１ｃは、複数のオプティカルフローＯＰそれぞれの始点及び終点の位置を、カメラ座標系の座標位置Ｐｃとして導出する。カメラ５のディストーションの特性を示すデータは、予め記憶部２４に記憶されている。 Since the lens of the camera 5 is a fish-eye lens, a relatively large distortion called distortion (distortion aberration) occurs in the subject image included in the captured image obtained by the camera 5 (see FIG. 6). Therefore, the parameter deriving unit 21c corrects the positions of the start point and the end point of each of the plurality of optical flows OP in consideration of the distortion characteristics of the camera 5. Thereby, the parameter deriving unit 21c derives the positions of the start point and the end point of each of the plurality of optical flows OP as the coordinate position Pc of the camera coordinate system. Data indicating the distortion characteristics of the camera 5 is stored in the storage unit 24 in advance.

次に、パラメータ導出部２１ｃは、設置パラメータであるパン角α，チルト角β，ロール角γのそれぞれに仮値を設定する（ステップＳ２２）。そして、パラメータ導出部２１ｃは、設置パラメータの仮値を用いて、後述する評価値Ｅを導出する（ステップＳ２４）。パラメータ導出部２１ｃは、この仮値の組み合わせを変更しつつ（ステップＳ２７）、評価値Ｅの導出（ステップＳ２４）を繰り返す。そして、予め設定された範囲の仮値の全ての組み合わせについて評価値Ｅを導出し、評価値Ｅが最も低くなる仮値の組み合わせを設置パラメータとして導出するようになっている（ステップＳ２８）。パン角α，チルト角β，ロール角γのそれぞれの仮値は、基準となる角度を中心として例えば−１０°〜＋１０°の範囲で、ループごとの増加量を例えば０．１°として変更される（ステップＳ２７）。   Next, the parameter deriving unit 21c sets temporary values for the pan angle α, the tilt angle β, and the roll angle γ, which are installation parameters (step S22). And the parameter derivation | leading-out part 21c derives | leads-out the evaluation value E mentioned later using the temporary value of an installation parameter (step S24). The parameter deriving unit 21c repeats the derivation of the evaluation value E (step S24) while changing the combination of the temporary values (step S27). Then, evaluation values E are derived for all combinations of provisional values within a preset range, and a combination of provisional values with the lowest evaluation value E is derived as an installation parameter (step S28). The temporary values of the pan angle α, the tilt angle β, and the roll angle γ are changed, for example, in the range of −10 ° to + 10 ° around the reference angle, and the increment for each loop is set to 0.1 °, for example. (Step S27).

設置パラメータに仮値が設定されると（ステップＳ２２）、パラメータ導出部２１ｃは、カメラ座標系の座標位置Ｐｃで表される複数のオプティカルフローＯＰそれぞれの始点及び終点の位置を、車両座標系の座標位置Ｐｗに変換する（ステップＳ２３）。この変換には、前述した数１が用いられる。パラメータ導出部２１ｃは、数１の変換行列Ｍ（数５）に含まれるα，β，γに、ステップＳ２２で設定した仮値を代入して利用する。 When a provisional value is set for the installation parameter (step S22), the parameter deriving unit 21c determines the start point and end point positions of the plurality of optical flows OP represented by the coordinate position Pc of the camera coordinate system in the vehicle coordinate system. converting the to the coordinate position P w (step S23). For this conversion, Equation 1 described above is used. The parameter deriving unit 21c substitutes and uses the temporary values set in step S22 for α, β, and γ included in the transformation matrix M of Equation 1 (Equation 5).

これにより、複数のオプティカルフローＯＰそれぞれの始点及び終点の位置が、車両座標系の座標位置Ｐｗで表される。パラメータ導出部２１ｃは、このように車両座標系の座標位置Ｐｗで表されたオプティカルフローＯＰの始点から終点へ向かうベクトルＶを導出する。このようにして、パラメータ導出部２１ｃは、注目カメラ５の撮影画像から抽出された複数のオプティカルフローＯＰを、車両座標系の複数のベクトルＶにそれぞれ変換する。 Thus, the position of each of the plurality of optical flow OP start and end points are represented by coordinates P w of the vehicle coordinate system. Parameter deriving unit 21c derives the vector V thus directed from the start point of the optical flow OP expressed in the coordinate position P w of the vehicle coordinate system to the end point. In this way, the parameter deriving unit 21c converts the plurality of optical flows OP extracted from the captured image of the camera of interest 5 into the plurality of vectors V in the vehicle coordinate system, respectively.

例えば、図１２に示すように、左サイドカメラ５Ｌで得られた撮影画像ＧＬから抽出された複数のオプティカルフローＯＰは、車両座標系における車両９の左側に相当する位置の複数のベクトルＶに変換されることになる。なお、図１２においては、車両座標系のベクトルＶの始点及び終点の符号を、その始点あるいは終点に対応する撮影画像ＧＬ中の特徴点の符号と同一としている。また、図１２中では、説明の便宜上、２つのベクトルＶのみを示しているが、実際には、注目カメラ５に係るベクトルＶとして図７のステップＳ１５で用いた閾値以上の数のベクトルＶが存在している。   For example, as shown in FIG. 12, a plurality of optical flows OP extracted from the captured image GL obtained by the left side camera 5L are converted into a plurality of vectors V at positions corresponding to the left side of the vehicle 9 in the vehicle coordinate system. Will be. In FIG. 12, the signs of the start point and end point of the vector V in the vehicle coordinate system are the same as the signs of feature points in the captured image GL corresponding to the start point or end point. In FIG. 12, only two vectors V are shown for convenience of explanation, but in reality, as the vector V related to the camera of interest 5, the number of vectors V equal to or greater than the threshold used in step S15 in FIG. Existing.

２つの撮影画像を撮影する際に車両９は直進したため、このように変換された車両座標系の複数のベクトルＶは、理想的には車両９の前後方向に沿うはずである。この原理に基づいて、評価値Ｅを定める変数となる第１変数Ｅ１は、注目カメラ５に係る複数のベクトルＶが車両９の前後方向に一致するほど小さくなるように設定される。第１変数Ｅ１は、車両９の前後方向と複数のベクトルＶとの関係に基いて導出される変数であるともいえる。 Since the vehicle 9 travels straight when capturing two captured images, the plurality of vectors V of the vehicle coordinate system thus converted should ideally be along the longitudinal direction of the vehicle 9. Based on this principle, the first variable E 1 serving as a variable for determining the evaluation value E is set so as to decrease as the plurality of vectors V related to the camera of interest 5 coincide with the front-rear direction of the vehicle 9. It can be said that the first variable E 1 is a variable derived based on the relationship between the front-rear direction of the vehicle 9 and the plurality of vectors V.

具体的には、図１３に示すように、各ベクトルＶをｘ軸方向（左右方向）とｙ軸方向（前後方向）とに分解し、それぞれの長さをＶｘ，Ｖｙとする。そして、注目カメラ５に係るベクトルＶの数をｎとし、ｎ個のベクトルＶｉ（ｉ＝１〜ｎ）それぞれのｘ軸方向の長さＶｘをＶｘｉとすると、第１変数Ｅ１は、次の数６で表される。 Specifically, as shown in FIG. 13, each vector V is decomposed into the x-axis direction (left-right direction) and the y-axis direction (front-back direction), and the respective lengths are set as V x and V y . When the number of vectors V related to the camera of interest 5 is n, and the length V x in the x-axis direction of each of the n vectors V i (i = 1 to n) is V xi , the first variable E 1 is This is expressed by the following equation (6).

Figure 0006151535
また、車両座標系の複数のベクトルＶの長さは、理想的には２つの撮影画像の撮影時点の相互間において車両９が実際に移動した移動距離（図７のステップＳ１３で導出された移動距離）と一致するはずである。この原理に基づいて、評価値Ｅを定める他の変数となる第２変数Ｅ２は、注目カメラ５に係る複数のベクトルＶの長さが移動距離に一致するほど小さくなるように設定される。第２変数Ｅ２は、移動距離と複数のベクトルＶとの関係に基いて導出される変数であるともいえる。
Figure 0006151535
 In addition, the length of the plurality of vectors V in the vehicle coordinate system is ideally the distance traveled by the vehicle 9 between the time points when the two captured images were captured (the movement derived in step S13 in FIG. 7). Distance). Based on this principle, the second variable E 2, which is another variable for determining the evaluation value E, is set so that the length of the plurality of vectors V related to the camera of interest 5 becomes smaller as it matches the movement distance. It can be said that the second variable E 2 is a variable derived based on the relationship between the movement distance and the plurality of vectors V.

具体的には、次の数７に示すように、ベクトルＶの長さをＤとする。   Specifically, the length of the vector V is set to D as shown in the following equation (7).

Figure 0006151535
そして、ｎ個のベクトルＶｉ（ｉ＝１〜ｎ）それぞれの長さＤをＤｉとし、図７のステップＳ１３で導出された移動距離をＤ０とすると、第２変数Ｅ２は次の数８で表される。
Figure 0006151535
 Then, assuming that the length D of each of the n vectors V i (i = 1 to n) is D i and the movement distance derived in step S13 in FIG. 7 is D 0 , the second variable E 2 is It is expressed by Equation 8.

Figure 0006151535
パラメータ導出部２１ｃは、注目カメラ５に係る複数のベクトルＶを導出すると、その複数のベクトルＶに基いて以上の手法で第１変数Ｅ１及び第２変数Ｅ２を導出する。さらに、パラメータ導出部２１ｃは、第１変数Ｅ１及び第２変数Ｅ２を用いて、次の数９により評価値Ｅを導出する（ステップＳ２４）。
Figure 0006151535
 When the parameter deriving unit 21c derives a plurality of vectors V related to the camera of interest 5, the parameter deriving unit 21c derives the first variable E 1 and the second variable E 2 by the above method based on the plurality of vectors V. Furthermore, the parameter derivation unit 21c, using the first variable E 1 and the second variable E 2, derives the evaluation value E by the following equation 9 (step S24).

Figure 0006151535
この評価値Ｅは、ステップＳ２２において設置パラメータに設定した仮値の組み合わせに関する妥当性の程度を示すことになる。すなわち、評価値Ｅが小さいほど、仮値の組み合わせの妥当性の程度は高くなる。
Figure 0006151535
 This evaluation value E indicates the degree of validity regarding the combination of provisional values set in the installation parameters in step S22. In other words, the smaller the evaluation value E, the higher the degree of validity of the provisional value combination.

次に、パラメータ導出部２１ｃは、今回導出した評価値Ｅを、過去に導出済の評価値Ｅの最小値と比較する。この評価値Ｅの最小値は、制御部２１のＲＡＭなどに記憶される。そして、パラメータ導出部２１ｃは、今回の評価値Ｅが過去に導出済の評価値Ｅの最小値よりも小さい場合は、最小値を更新して今回の評価値Ｅを新たな最小値とする（ステップＳ２５）。   Next, the parameter deriving unit 21c compares the evaluation value E derived this time with the minimum value of the evaluation values E derived in the past. The minimum value of the evaluation value E is stored in the RAM of the control unit 21 or the like. Then, if the current evaluation value E is smaller than the minimum value of the evaluation value E that has been derived in the past, the parameter deriving unit 21c updates the minimum value to make the current evaluation value E a new minimum value ( Step S25).

このようなステップＳ２３〜Ｓ２５の処理は、設置パラメータへ設定する仮値の組み合わせごとに繰り返される。そして、仮値の全ての組み合わせについて処理が終了した場合は（ステップＳ２６にてＹｅｓ）、その時点で最小値となった評価値Ｅに対応する仮値の組み合わせが、実際の設置パラメータ（パン角α，チルト角β，ロール角γ）に最も近いことになる。このため、パラメータ導出部２１ｃは、この仮値の組み合わせを、実際の設置パラメータ２４ａとして導出する（ステップＳ２８）。パラメータ導出部２１ｃは、導出した設置パラメータ２４ａを、注目カメラ５に関連付けて記憶部２４に記録する（ステップＳ２９）
以上のように、本実施の形態の車載装置２では、画像取得部２２が、車両９が備えるカメラ５で車両９の走行中の異なる時点に撮影された２つの撮影画像を取得する。車載装置２のフロー抽出部２１ａは、２つの撮影画像間での特徴点の動きを示す複数のオプティカルフローＯＰを抽出し、複数のオプティカルフローＯＰを車両９を基準とした車両座標系の複数のベクトルＶにそれぞれ変換する。そして、パラメータ導出部２１ｃは、複数のベクトルＶに基いて、カメラ５の設置に関する設置パラメータを導出する。 Such processing of steps S23 to S25 is repeated for each combination of temporary values set in the installation parameters. If the processing is completed for all combinations of temporary values (Yes in step S26), the combination of temporary values corresponding to the evaluation value E that is the minimum value at that time is the actual installation parameter (pan angle). α, tilt angle β, roll angle γ). For this reason, the parameter deriving unit 21c derives this temporary value combination as the actual installation parameter 24a (step S28). The parameter deriving unit 21c records the derived installation parameter 24a in the storage unit 24 in association with the camera of interest 5 (step S29).
As described above, in the in-vehicle device 2 of the present embodiment, the image acquisition unit 22 acquires two captured images captured at different points in time when the vehicle 9 is traveling with the camera 5 included in the vehicle 9. The flow extraction unit 21a of the in-vehicle device 2 extracts a plurality of optical flows OP indicating the movement of feature points between two captured images, and uses the plurality of optical flows OP as a reference in the vehicle coordinate system. Each is converted into a vector V. Then, the parameter deriving unit 21 c derives installation parameters related to the installation of the camera 5 based on the plurality of vectors V.

このため、車載装置２は、車両９の周辺に特徴点として現れる被写体の点が存在しさえすれば設置パラメータを導出できる。したがって、作業場に特定のマーカ等を正確に配置するなどの困難な条件を必要とすることなく、設置パラメータを容易に導出することができる。   For this reason, the in-vehicle device 2 can derive the installation parameters as long as there is a subject point that appears as a feature point around the vehicle 9. Accordingly, the installation parameters can be easily derived without requiring difficult conditions such as accurately arranging a specific marker or the like in the work place.

また、設置パラメータの導出に用いる２つの撮影画像は、車両９の直進中に撮影される。このため、キャリブレーション処理を行う際には、作業員は、車両９を単純に直進させればよいため、容易に設置パラメータを導出できる。   The two captured images used for derivation of the installation parameters are captured while the vehicle 9 is traveling straight ahead. For this reason, when the calibration process is performed, the worker can simply drive the vehicle 9 straight ahead, so that the installation parameters can be easily derived.

また、パラメータ導出部２１ｃは、車両９の前後方向と複数のベクトルＶとの関係に基いて設置パラメータを導出する。このため、比較的単純な手法で、設置パラメータを導出できる。   The parameter deriving unit 21c derives installation parameters based on the relationship between the front-rear direction of the vehicle 9 and the plurality of vectors V. For this reason, installation parameters can be derived by a relatively simple method.

また、パラメータ導出部２１ｃは、複数の撮影画像それぞれの撮影時点の相互間において車両が移動した移動距離Ｄ０を導出し、移動距離Ｄ０と複数のベクトルＶとの関係に基いて設置パラメータを導出する。このように車両９が実際に移動した移動距離Ｄ０を用いることで、精度の高い設置パラメータを導出できる。 The parameter derivation unit 21c derives the movement distance D 0 of the vehicle has moved between each other shooting time of each of the plurality of captured images, the installation parameters based on a relationship between the moving distance D 0 and a plurality of vectors V To derive. In this way, by using the movement distance D 0 that the vehicle 9 has actually moved, a highly accurate installation parameter can be derived.

＜７．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。 <7. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. All the forms including the above-described embodiment and the form described below can be appropriately combined.

上記実施の形態では、移動距離Ｄ０と複数のベクトルＶとの関係に基いて第２変数Ｅ２を求めていたが、移動距離Ｄ０を用いなくてもよい。車両座標系の複数のベクトルＶの長さＤは、理想的には全て一致するはずである。この原理に基づいて、複数のベクトルＶの長さＤのばらつきの程度を示す分散や標準偏差などを、第２変数Ｅ２としてもよい。例えば、ｎ個のベクトルＶｉ（ｉ＝１〜ｎ）の長さＤｉの分散を第２変数Ｅ２とする場合は、第２変数Ｅ２は次の数１０で表される。数１０において、ＤＡは長さＤｉ（ｉ＝１〜ｎ）の平均値である。 In the above embodiment, the second variable E 2 is obtained based on the relationship between the movement distance D 0 and the plurality of vectors V, but the movement distance D 0 may not be used. The lengths D of the plurality of vectors V in the vehicle coordinate system should ideally all match. Based on this principle, such as variance or standard deviation showing the degree of variation of the length D of a plurality of vectors V, or the second variable E 2. For example, if the n vectors V i (i = 1 to n) of length D second variable E 2 the variance of the i, the second variable E 2 is represented by the following equation 10. In Equation 10, D A is an average value of lengths D i (i = 1 to n).

Figure 0006151535
また、上記実施の形態では、評価値Ｅは、第１変数Ｅ１と第２変数Ｅ２とを単純に加算したものであったが、いずれかの変数に重みをつけて加算してもよい。この場合は、第１変数Ｅ１に重みをつけることが望ましい。また、評価値Ｅは、第１変数Ｅ１と第２変数Ｅ２とを乗算したものであってもよい。また、第１変数Ｅ１に関する仮値の組み合わせの妥当性の順位と、第２変数Ｅ２に関する仮値の組み合わせの妥当性の順位とを用いて、評価値Ｅを導出してもよい。
Figure 0006151535
 In the above embodiment, the evaluation value E is a simple addition of the first variable E 1 and the second variable E 2. However, the evaluation value E may be added with a weight applied to any one of the variables. . In this case, it is desirable to weight the first variable E 1. Further, the evaluation value E may be obtained by multiplying the first variable E 1 and the second variable E 2 . Alternatively, the evaluation value E may be derived using the rank of validity of the combination of provisional values for the first variable E 1 and the rank of validity of the combination of provisional values for the second variable E 2 .

また、上記実施の形態では、２つの撮影画像を撮影する際に車両９を直進させると説明したが、一定の舵角で旋回させてもよい。この場合は、図１４に示すように、車両９の舵角とホイールベースの長さとに基いて車両９の旋回中心ＲＣを定めることができる。さらに、車両９の実際の移動距離に基いて、旋回中心ＲＣを中心とした車両９の実際の旋回角度θ０を求めることができる。オプティカルフローＯＰを変換した車両座標系のベクトルＶの始点及び終点並びに旋回中心ＲＣで三角形を形成した場合、理想的には、旋回中心ＲＣとなる三角形の頂点の内角θは実際の旋回角度θ０と一致するはずである。この原理に基いて、この場合は、ｎ個のベクトルＶｉ（ｉ＝１〜ｎ）それぞれに関する内角θをθｉとして、次の数１１で表される評価値Ｅを用いることができる。なお、この場合も、内角θｉのばらつきの程度を示す分散や標準偏差などを評価値Ｅとしてもよい。 In the above-described embodiment, it has been described that the vehicle 9 is caused to travel straight when capturing two captured images. However, the vehicle 9 may be turned at a certain steering angle. In this case, as shown in FIG. 14, the turning center RC of the vehicle 9 can be determined based on the steering angle of the vehicle 9 and the length of the wheel base. Furthermore, the actual turning angle θ 0 of the vehicle 9 around the turning center RC can be obtained based on the actual moving distance of the vehicle 9. When a triangle is formed by the start point and end point of the vector V of the vehicle coordinate system obtained by converting the optical flow OP and the turning center RC, ideally, the interior angle θ of the vertex of the triangle serving as the turning center RC is the actual turning angle θ 0. Should match. Based on this principle, in this case, the evaluation value E represented by the following equation 11 can be used, where θ i is the internal angle θ for each of the n vectors V i (i = 1 to n). In this case as well, the evaluation value E may be a variance or standard deviation indicating the degree of variation in the internal angle θ i .

Figure 0006151535
また、上記実施の形態では、設置パラメータとしては、カメラ５の実際の姿勢を示すパン角α，チルト角β，ロール角γのみを設置パラメータとして導出していたが、カメラ５の実際の位置を示す並進成分ＴのＴｘ，Ｔｙ，Ｔｚをさらに設置パラメータとして導出してもよい。この場合は、α，β，γ，Ｔｘ，Ｔｙ，Ｔｚの全てに仮値を設定して、上述した処理と同様の処理を行なえばよい。
Figure 0006151535
 In the above embodiment, as the installation parameters, only the pan angle α, the tilt angle β, and the roll angle γ indicating the actual posture of the camera 5 are derived as the installation parameters, but the actual position of the camera 5 is determined. T x , T y , and T z of the translation component T shown may be further derived as installation parameters. In this case, provisional values may be set for all of α, β, γ, T x , T y , and T z and the same processing as described above may be performed.

また、上記実施の形態では、床面（路面）上の被写体点を、設置パラメータの導出に用いるものとして説明した。これに対して、距離センサ等で被写体点までの距離が分かる場合は、床面上ではない被写体点を設置パラメータの導出に用いてもよい。この場合は、被写体点の高さが分かるため、その高さを考慮して車両座標系への変換を行えばよい。また、被写体点までの距離が分かる場合は、床面上に存在していない被写体点を処理の対象から排除してもよい。   In the above embodiment, the object point on the floor (road surface) has been described as being used for derivation of the installation parameter. On the other hand, when the distance to the subject point is known by a distance sensor or the like, a subject point that is not on the floor may be used for derivation of the installation parameter. In this case, since the height of the subject point is known, the conversion to the vehicle coordinate system may be performed in consideration of the height. When the distance to the subject point is known, subject points that do not exist on the floor may be excluded from the processing target.

また、上記実施の形態においては、複数のカメラ５の設置パラメータを導出していたが、一つのカメラ５の設置パラメータを導出する場合であっても上述した手法を適用可能である。   In the above-described embodiment, the installation parameters for a plurality of cameras 5 are derived. However, the method described above can be applied even when the installation parameters for a single camera 5 are derived.

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。   In addition, the function described as one block in the above embodiment is not necessarily realized by a single physical element, and may be realized by distributed physical elements. Further, the functions described as a plurality of blocks in the above embodiments may be realized by a single physical element. In addition, even if the device in the vehicle and the device outside the vehicle share processing related to any one function and exchange information by communication between these devices, the one function can be realized as a whole. Good.

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。   In addition, it has been described that all or part of the functions described as being realized by software by executing the program in the above embodiment may be realized by an electrical hardware circuit or by a hardware circuit. All or part of the functions may be realized by software. Further, the function described as one block in the above-described embodiment may be realized by cooperation of software and hardware.

２ 車載装置
５ カメラ
９ 車両
２１ 制御部
２２ 画像取得部
２４ａ 設置パラメータ
２４ｂ プログラム 2 On-vehicle device 5 Camera 9 Vehicle 21 Control unit 22 Image acquisition unit 24a Installation parameter 24b Program

Claims (6)

カメラに関するパラメータを取得するパラメータ取得装置であって、
車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する取得手段と、
前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する手段と、
前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する抽出手段と、
前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する変換手段と、
前記第２ベクトルが前記車両の前後方向に一致するほど小さくなる第１変数と、前記第２ベクトルの長さが前記移動距離と一致するほど小さくなる第２変数とを用いて評価値を導出する手段と、
前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する導出手段と、
を備えることを特徴とするパラメータ取得装置。 A parameter acquisition device for acquiring camera parameters,
An acquisition means for acquiring a plurality of captured images taken at different points in time when the vehicle is traveling straight ahead with a camera provided in the vehicle;
Means for deriving a travel distance traveled by the vehicle based on the time between each of the captured images and the speed of the vehicle;
Extraction means for extracting a first vector shows the movement of feature points among the plurality of captured images,
Conversion means for converting the first vector into a second vector of a vehicle coordinate system based on the vehicle based on a provisional value of an installation parameter relating to the installation of the camera ;
An evaluation value is derived using a first variable that decreases as the second vector matches the longitudinal direction of the vehicle and a second variable that decreases as the length of the second vector matches the moving distance. Means,
Derivation means for deriving the provisional value with the smallest evaluation value as the installation parameter ;
A parameter acquisition device comprising: カメラに関するパラメータを取得するパラメータ取得装置であって、A parameter acquisition device for acquiring camera parameters,
車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する取得手段と、Obtaining means for obtaining a plurality of photographed images photographed at different points during turning of the vehicle by a camera provided in the vehicle;
前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する手段と、Means for deriving a travel distance traveled by the vehicle based on the time between each of the captured images and the speed of the vehicle;
前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する手段と、Means for determining a turning center of the vehicle based on a steering angle of the vehicle and a length of a wheel base, and deriving a turning angle of the vehicle based on the turning center based on the movement distance;
前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する抽出手段と、Extraction means for extracting a first vector indicating the movement of a feature point between the plurality of captured images;
前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する変換手段と、Conversion means for converting the first vector into a second vector of a vehicle coordinate system based on the vehicle based on a provisional value of an installation parameter relating to the installation of the camera;
前記第２ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する手段と、Means for deriving an evaluation value that becomes smaller as the inner angle of the vertex corresponding to the turning center of the triangle formed by the starting point and the end point of the second vector and the turning center coincides with the turning angle;
前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する導出手段と、Derivation means for deriving the provisional value with the smallest evaluation value as the installation parameter;
を備えることを特徴とするパラメータ取得装置。A parameter acquisition device comprising: カメラに関するパラメータを取得するパラメータ取得方法であって、A parameter acquisition method for acquiring parameters related to a camera,
（ａ）車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、(A) acquiring a plurality of captured images taken at different points in time while the vehicle is traveling straight ahead with a camera included in the vehicle;
（ｂ）前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、(B) deriving a travel distance traveled by the vehicle based on the time between each of the captured images and the speed of the vehicle;
（ｃ）前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する工程と、(C) extracting a first vector indicating the movement of the feature point between the plurality of captured images;
（ｄ）前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する工程と、(D) converting the first vector into a second vector in a vehicle coordinate system based on the vehicle based on a provisional value of an installation parameter relating to the installation of the camera;
（ｅ）前記第２ベクトルが前記車両の前後方向に一致するほど小さくなる第１変数と、前記第２ベクトルの長さが前記移動距離と一致するほど小さくなる第２変数とを用いて評価値を導出する工程と、(E) An evaluation value using a first variable that decreases as the second vector matches the longitudinal direction of the vehicle, and a second variable that decreases as the length of the second vector matches the moving distance. Deriving
（ｆ）前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、(F) deriving the provisional value with the smallest evaluation value as the installation parameter;
を備えることを特徴とするパラメータ取得方法。A parameter acquisition method comprising: カメラに関するパラメータを取得するパラメータ取得方法であって、A parameter acquisition method for acquiring parameters related to a camera,
（ａ）車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、(A) acquiring a plurality of photographed images photographed at different times during turning of the vehicle with a camera provided in the vehicle;
（ｂ）前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、(B) deriving a travel distance traveled by the vehicle based on the time between each of the captured images and the speed of the vehicle;
（ｃ）前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する工程と、(C) determining a turning center of the vehicle based on a steering angle of the vehicle and a length of a wheel base, and deriving a turning angle of the vehicle based on the turning center based on the moving distance;
（ｄ）前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する工程と、(D) extracting a first vector indicating a motion of a feature point between the plurality of captured images;
（ｅ）前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する工程と、(E) converting the first vector into a second vector in a vehicle coordinate system based on the vehicle based on a provisional value of an installation parameter relating to the installation of the camera;
（ｆ）前記第２ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する工程と、(F) deriving an evaluation value that becomes smaller as the starting angle and the ending point of the second vector and the interior angle of the vertex corresponding to the turning center of the triangle formed by the turning center coincide with the turning angle; ,
（ｇ）前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、(G) deriving the provisional value with the smallest evaluation value as the installation parameter;
を備えることを特徴とするパラメータ取得方法。A parameter acquisition method comprising: コンピュータによって実行可能なプログラムであって、A program executable by a computer,
前記コンピュータに、In the computer,
（ａ）車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、(A) acquiring a plurality of captured images taken at different points in time while the vehicle is traveling straight ahead with a camera included in the vehicle;
（ｂ）前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、(B) deriving a travel distance traveled by the vehicle based on the time between each of the captured images and the speed of the vehicle;
（ｃ）前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する工程と、(C) extracting a first vector indicating the movement of the feature point between the plurality of captured images;
（ｄ）前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する工程と、(D) converting the first vector into a second vector in a vehicle coordinate system based on the vehicle based on a provisional value of an installation parameter relating to the installation of the camera;
（ｅ）前記第２ベクトルが前記車両の前後方向に一致するほど小さくなる第１変数と、前記第２ベクトルの長さが前記移動距離と一致するほど小さくなる第２変数とを用いて評価値を導出する工程と、(E) An evaluation value using a first variable that decreases as the second vector matches the longitudinal direction of the vehicle, and a second variable that decreases as the length of the second vector matches the moving distance. Deriving
（ｆ）前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、(F) deriving the provisional value with the smallest evaluation value as the installation parameter;
を実行させることを特徴とするプログラム。A program characterized by having executed. コンピュータによって実行可能なプログラムであって、A program executable by a computer,
前記コンピュータに、In the computer,
（ａ）車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、(A) acquiring a plurality of photographed images photographed at different times during turning of the vehicle with a camera provided in the vehicle;
（ｂ）前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、(B) deriving a travel distance traveled by the vehicle based on the time between each of the captured images and the speed of the vehicle;
（ｃ）前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する工程と、(C) determining a turning center of the vehicle based on a steering angle of the vehicle and a length of a wheel base, and deriving a turning angle of the vehicle based on the turning center based on the moving distance;
（ｄ）前記複数の撮影画像間での特徴点の動きを示す第１ベクトルを抽出する工程と、(D) extracting a first vector indicating a motion of a feature point between the plurality of captured images;
（ｅ）前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第１ベクトルを前記車両を基準とした車両座標系の第２ベクトルに変換する工程と、(E) converting the first vector into a second vector in a vehicle coordinate system based on the vehicle based on a provisional value of an installation parameter relating to the installation of the camera;
（ｆ）前記第２ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する工程と、(F) deriving an evaluation value that becomes smaller as the starting angle and the ending point of the second vector and the interior angle of the vertex corresponding to the turning center of the triangle formed by the turning center coincide with the turning angle; ,
（ｇ）前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、(G) deriving the provisional value with the smallest evaluation value as the installation parameter;
を実行させることを特徴とするプログラム。A program characterized by having executed.
JP2013037064A 2013-02-27 2013-02-27 Parameter acquisition apparatus, parameter acquisition method and program Active JP6151535B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013037064A JP6151535B2 (en) 2013-02-27 2013-02-27 Parameter acquisition apparatus, parameter acquisition method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013037064A JP6151535B2 (en) 2013-02-27 2013-02-27 Parameter acquisition apparatus, parameter acquisition method and program

Publications (2)

Publication Number Publication Date
JP2014165810A JP2014165810A (en) 2014-09-08
JP6151535B2 true JP6151535B2 (en) 2017-06-21

Family

ID=51616014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013037064A Active JP6151535B2 (en) 2013-02-27 2013-02-27 Parameter acquisition apparatus, parameter acquisition method and program

Country Status (1)

Country Link
JP (1) JP6151535B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139612A (en) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 On-vehicle camera calibration system
JP2017158142A (en) * 2016-03-04 2017-09-07 株式会社デンソー Calibration device
JP6768554B2 (en) * 2017-02-22 2020-10-14 クラリオン株式会社 Calibration device
JP6798926B2 (en) * 2017-04-13 2020-12-09 クラリオン株式会社 In-vehicle camera calibration device
JP6932058B2 (en) 2017-10-11 2021-09-08 日立Astemo株式会社 Position estimation device and position estimation method for moving objects
JP7137464B2 (en) * 2018-12-26 2022-09-14 株式会社デンソーアイティーラボラトリ Camera calibration device, camera calibration method, and program
JP7445415B2 (en) 2019-05-29 2024-03-07 株式会社デンソーテン Posture estimation device, abnormality detection device, correction device, and posture estimation method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3776094B2 (en) * 2002-05-09 2006-05-17 松下電器産業株式会社 Monitoring device, monitoring method and monitoring program
JP4879031B2 (en) * 2007-01-11 2012-02-15 三洋電機株式会社 Driving support system, image processing apparatus, and deviation detection method
JP2009129001A (en) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd Operation support system, vehicle, and method for estimating three-dimensional object area
JP2011217233A (en) * 2010-04-01 2011-10-27 Alpine Electronics Inc On-vehicle camera calibration system, and computer program
JP5820787B2 (en) * 2012-08-30 2015-11-24 株式会社デンソー Image processing apparatus and program

Also Published As

Publication number Publication date
JP2014165810A (en) 2014-09-08

Similar Documents

Publication Publication Date Title
JP6151535B2 (en) Parameter acquisition apparatus, parameter acquisition method and program
JP7245295B2 (en) METHOD AND DEVICE FOR DISPLAYING SURROUNDING SCENE OF VEHICLE-TOUCHED VEHICLE COMBINATION
JP5341789B2 (en) Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program
JP6603094B2 (en) Calibration apparatus, calibration method, and calibration program
JP4636346B2 (en) Car camera calibration apparatus, method, and program
KR101265667B1 (en) Device for 3d image composition for visualizing image of vehicle around and method therefor
JP5455124B2 (en) Camera posture parameter estimation device
KR101617956B1 (en) Image processing apparatus, method, and recording medium
JP2009288152A (en) Calibration method of on-vehicle camera
JP5959311B2 (en) Data deriving apparatus and data deriving method
CN107249934B (en) Method and device for displaying vehicle surrounding environment without distortion
CN111819571A (en) Panoramic looking-around system with adjusted and adapted projection surface
JP2008085710A (en) Driving support system
US20170024851A1 (en) Panel transform
EP3326146B1 (en) Rear cross traffic - quick looks
JP6776440B2 (en) How to assist the driver of a motor vehicle when driving a motor vehicle, driver assistance system and motor vehicle
JP5173551B2 (en) Vehicle perimeter monitoring apparatus and camera mounting position / posture information setting correction method applied thereto
JP6375633B2 (en) Vehicle periphery image display device and vehicle periphery image display method
KR20200118073A (en) System and method for dynamic three-dimensional calibration
JP5827095B2 (en) Calibration system, parameter acquisition apparatus, marker, and parameter acquisition method
JP7074546B2 (en) Image processing equipment and methods
JP7196920B2 (en) Driving support device, driving support method, and program
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP6855254B2 (en) Image processing device, image processing system, and image processing method
JP2013207622A (en) Calibration device and calibration method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170525

R150 Certificate of patent or registration of utility model

Ref document number: 6151535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250