JP6209648B1 - Stereo camera installation parameter calibration method - Google Patents

Stereo camera installation parameter calibration method Download PDF

Info

Publication number
JP6209648B1
JP6209648B1 JP2016112088A JP2016112088A JP6209648B1 JP 6209648 B1 JP6209648 B1 JP 6209648B1 JP 2016112088 A JP2016112088 A JP 2016112088A JP 2016112088 A JP2016112088 A JP 2016112088A JP 6209648 B1 JP6209648 B1 JP 6209648B1
Authority
JP
Japan
Prior art keywords
stereo camera
installation
mark
axis direction
vertical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016112088A
Other languages
Japanese (ja)
Other versions
JP2017219356A (en
Inventor
貴好 菊池
貴好 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KYB Corp
Original Assignee
KYB Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KYB Corp filed Critical KYB Corp
Priority to JP2016112088A priority Critical patent/JP6209648B1/en
Priority to PCT/JP2017/019782 priority patent/WO2017209015A1/en
Application granted granted Critical
Publication of JP6209648B1 publication Critical patent/JP6209648B1/en
Publication of JP2017219356A publication Critical patent/JP2017219356A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】ステレオカメラの設置パラメータを簡単に校正することのできるステレオカメラの設置パラメータ校正方法を提供する。【解決手段】ステレオカメラ１０の位置から所定の距離にマークＭが設けられた路面７０をステレオカメラ１０により撮像する一方で、ステレオカメラ１０の設置パラメータと所定の距離Ｌの値とを用いて、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を算出し、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出して、各々の差を比較し、この比較結果をもとにステレオカメラ１０の設置パラメータを校正する。【選択図】図６A stereo camera installation parameter calibration method capable of easily calibrating installation parameters of a stereo camera is provided. A road surface 70 provided with a mark M at a predetermined distance from the position of the stereo camera 10 is imaged by the stereo camera 10, while the installation parameter of the stereo camera 10 and the value of the predetermined distance L are used. The position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 is calculated, the position in the vertical axis direction obtained, and the position in the vertical axis direction of the mark M in the coordinate space of the image captured by the stereo camera 10 Are compared, the respective differences are compared, and the installation parameters of the stereo camera 10 are calibrated based on the comparison result. [Selection] Figure 6

Description

本発明は、路面の高さなどの路面状態を検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関する。   The present invention relates to a stereo camera installation parameter calibration method used in a road surface state detection device that detects a road surface state such as a road surface height.

アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、２台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。   As a control method of the active suspension system, there is preview control that detects road surface conditions in front of the vehicle and appropriately controls various characteristics of the suspension. As a method for detecting the road surface condition in front of the vehicle, a stereo method using parallax information of a road surface image in front of the vehicle captured by two cameras is known.

このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献１には、路面をステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。この特許文献１では、路面の識別が困難である場合でも、路面からの段差の高低差を検出することができる、としている。   As a method of detecting a road surface level difference using this stereo method, for example, Patent Document 1 discloses that a first image and a second image obtained by photographing a road surface in stereo are projected on XY plane coordinates, and the plane coordinates are Is set to a detection area centered on a specific coordinate (X, Y), the parallax v1 when the image of the detection area is at the road surface position is calculated, and the coordinate (X− A technique is described in which a comparison area centered on v1, Y) is set, and the height of the detection area from the road surface is detected by comparing the image of the detection area with the image of the comparison area. In Patent Document 1, even when it is difficult to identify a road surface, it is possible to detect a difference in level of a step from the road surface.

特開２０１４−８９５４８号公報JP 2014-89548 A

ステレオ画像を用いて路面の検出対象点までの距離および検出対象点の高さを算出する場合、ステレオカメラの設置高さおよび設置角度の各設置パラメータの精度が検出精度に大きく影響する。しかしながら、ステレオカメラの設置作業において、これらの設置パラメータの誤差が生じることを完全に防止することは困難である。また、振動や取り付け部品の経年的な劣化などによって、それらの設置パラメータが変化するおそれがある。このため、設置パラメータを容易にかつ精度良く校正する手段が求められている。   When calculating the distance to the detection target point on the road surface and the height of the detection target point using the stereo image, the accuracy of each installation parameter of the installation height and the installation angle of the stereo camera greatly affects the detection accuracy. However, it is difficult to completely prevent these installation parameter errors from occurring in the installation work of the stereo camera. In addition, the installation parameters may change due to vibration or deterioration of the attached parts over time. For this reason, means for easily and accurately calibrating the installation parameters is required.

以上のような事情に鑑み、本発明は、ステレオカメラの設置パラメータを簡単に校正することのできるステレオカメラの設置パラメータ校正方法を提供することを目的とする。   In view of the circumstances as described above, an object of the present invention is to provide a stereo camera installation parameter calibration method capable of easily calibrating the installation parameters of a stereo camera.

上記目的を達成するため、本発明の一形態に係るステレオカメラの設置パラメータ校正方法は、
移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、
前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する。 In order to achieve the above object, a stereo camera installation parameter calibration method according to an aspect of the present invention includes:
A stereo camera installation parameter calibration method that is attached to a movable object and that images the road surface to detect the height of the road surface to which the object moves,
The road surface provided with a mark at a predetermined distance from the position of the stereo camera is imaged by the stereo camera,
Using the installation parameter and the value of the predetermined distance, obtain the position in the vertical direction in the coordinate space of the image captured by the stereo camera,
Comparing the position of the obtained vertical axis direction with the position of the captured mark in the vertical axis direction in the coordinate space;
The installation parameter is calibrated based on the comparison result.

また、上記のステレオカメラの設置パラメータ校正方法において、
前記縦軸方向の位置は、
前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正するというものであってもよい。 In the above stereo camera installation parameter calibration method,
The position in the vertical axis direction is
In the coordinate space of the image captured by the stereo camera, the distance from the stereo camera respectively corresponding to a plurality of predetermined positions in the vertical axis direction is calculated using the installation parameters, respectively.
It is obtained by determining a position in the vertical axis direction in the coordinate space corresponding to the distance closest to the predetermined distance among the calculated distances,
Comparing the determined position and the position of the imaged mark in the vertical direction in the coordinate space;
The installation parameter may be calibrated based on the comparison result.

また、上記のステレオカメラの設置パラメータ校正方法において、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正することとしてもよい。 In the above stereo camera installation parameter calibration method,
The installation parameter may be calibrated so that the determined position and the position in the vertical axis direction of the imaged mark in the coordinate space coincide with each other.

上記のステレオカメラの設置パラメータ校正方法において、
校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
前記マークは、前記ステレオカメラの位置から所定の第１距離に設けられた第１マークと、前記ステレオカメラの位置から前記第１距離と異なる所定の第２距離に設けられた第２マークと、を備え、
前記設置パラメータと前記所定の第２距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第１の位置を求め、
前記第１の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
前記更新された設置高さを含む設置パラメータと前記所定の第１距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第２の位置を求め、
前記第２の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新することとしてもよい。 In the above stereo camera installation parameter calibration method,
The installation parameter to be calibrated is an installation height and an installation angle of the stereo camera,
The mark includes a first mark provided at a predetermined first distance from the position of the stereo camera; a second mark provided at a predetermined second distance different from the first distance from the position of the stereo camera; With
Using the installation parameter and the predetermined second distance, obtain a first position in the vertical axis direction in a coordinate space of an image captured by the stereo camera,
The installation height of the stereo camera is updated by comparing the first position with the position in the vertical axis direction of the image of the imaged second mark in the coordinate space,
Using the installation parameter including the updated installation height and the predetermined first distance, a second position in the vertical axis direction in a coordinate space of an image captured by the stereo camera is obtained,
The installation angle of the stereo camera may be updated by comparing the position in the vertical axis direction in the coordinate space of the image of the captured second mark with the second position.

さらに、上記のステレオカメラの設置パラメータ校正方法において、
前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像することとしてよい。 Furthermore, in the above stereo camera installation parameter calibration method,
During the movement of the object, the road surface on which the mark is provided may be imaged by the stereo camera at a timing when the object passes a position a predetermined distance before the position of the mark provided on the road surface.

本発明によれば、ステレオカメラの設置パラメータを簡単に校正することができる。   According to the present invention, installation parameters of a stereo camera can be easily calibrated.

ステレオカメラと検出対象点を含む路面を上から示す図である。It is a figure which shows the road surface containing a stereo camera and a detection target point from the top. ステレオカメラと検出対象点を含む路面を側方から示す図である。It is a figure which shows the road surface containing a stereo camera and a detection target point from the side. 本発明に係る一実施形態の路面変位検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the road surface displacement detection apparatus of one Embodiment which concerns on this invention. 第１の校正方法によるステレオカメラと路面のマークとの位置関係を側方から示す図である。It is a figure which shows the positional relationship of the stereo camera by the 1st calibration method, and the mark of a road surface from a side. マークＭが設けられた路面をステレオカメラにより撮像することによって得られた画像を示す図である。It is a figure which shows the image obtained by imaging the road surface provided with the mark M with a stereo camera. ステレオカメラ１０の設置パラメータの第１の校正方法を説明するための図である。FIG. 5 is a diagram for explaining a first calibration method for installation parameters of the stereo camera 10. 第１の校正方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the 1st calibration method. ステレオカメラ１０の設置パラメータの第２の校正方法を説明するための図である。FIG. 10 is a diagram for explaining a second calibration method for installation parameters of the stereo camera 10. ステレオカメラの設置パラメータの第２の校正方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the 2nd calibration method of the installation parameter of a stereo camera. 複数の校正用ラインとマークとの画像の座標空間における位置関係を示す図である。It is a figure which shows the positional relationship in the coordinate space of the image of several calibration line and a mark. ステレオカメラ１０の設置パラメータの第３の校正方法を説明するための図である。It is a figure for demonstrating the 3rd calibration method of the installation parameter of the stereo camera. ステレオカメラ１０の設置パラメータの第３の校正方法の手順を示すフローチャートである。12 is a flowchart illustrating a procedure of a third calibration method for installation parameters of the stereo camera 10. 車両走行中に自動的にステレオカメラの設置パラメータを校正する場合にステレオカメラに正確な撮像タイミングを与える方法を説明するための図である。It is a figure for demonstrating the method to give an exact imaging timing to a stereo camera, when calibrating the installation parameter of a stereo camera automatically while driving | running | working a vehicle. 同じくステレオカメラに正確な撮像タイミングを与える方法を説明するための図である。It is a figure for demonstrating the method to give an exact imaging timing similarly to a stereo camera.

以下、図面を参照しながら、本発明のステレオカメラの設置パラメータ校正方法に係る一実施形態を説明する。
［概要］
本実施形態は、ステレオ画像を用いて、車両前方の路面の検出対象点までの距離及び当該検出対象点の高さを検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関するものである。 Hereinafter, an embodiment of a stereo camera installation parameter calibration method of the present invention will be described with reference to the drawings.
[Overview]
The present embodiment relates to a stereo camera installation parameter calibration method used in a road surface state detection device that detects a distance to a detection target point on a road surface in front of a vehicle and a height of the detection target point using a stereo image. is there.

ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。   The stereo camera has a plurality of, for example, two cameras. Each of the plurality of cameras is arranged so that the front of the vehicle is an imaging range, are separated from each other so that parallax can occur, and the optical axes thereof are parallel to each other.

複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像の対応点同士の視差情報を算出し、算出した視差情報とステレオカメラの設置パラメータをもとにステレオカメラから路面の検出対象点までの距離を算出し、算出された距離をもとに、路面の高さを算出する。   Images captured by a plurality of cameras are processed by an arithmetic processing circuit. The arithmetic processing circuit calculates parallax information between corresponding points of each image, calculates the distance from the stereo camera to the detection target point on the road surface based on the calculated parallax information and the installation parameters of the stereo camera, and is calculated Based on the distance, the height of the road surface is calculated.

図１および図２はステレオカメラから路面上の検出対象点までの距離および高さの算出方法の説明図である。図１は各カメラと検出対象点を含む路面を上から示す図であり、図２は各カメラと検出対象点を含む路面を側方から示す図である。   1 and 2 are explanatory diagrams of a method for calculating the distance and height from the stereo camera to the detection target point on the road surface. FIG. 1 is a view showing a road surface including each camera and a detection target point from above, and FIG. 2 is a view showing a road surface including each camera and the detection target point from the side.

図１において、路面の検出対象点Ｋは、図２に示すようにカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌから角度θだけ下方に傾いた方向に見える。カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの距離Ｄは下記の式（１）により算出される。
Ｄ＝（ｄ・ｆ）／（ｘ１−ｘ２） ・・・（１）
ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｘ１−ｘ２は視差であり、ｘ１は一方のカメラ１０Ｒの画像における検出対象点Ｋの像のＸ座標の値、ｘ２は他方のカメラ１０Ｌの画像における検出対象点Ｋの像のＸ座標の値である。 In FIG. 1, the detection target point K on the road surface is seen in a direction inclined downward by an angle θ from the optical axes 11R, 11L of the cameras 10R, 10L as shown in FIG. The distance D from the cameras 10R and 10L to the detection target point K is calculated by the following equation (1).
D = (d · f) / (x1−x2) (1)
Here, d is the distance between the cameras, and f is the focal length of the lens. x1-x2 is parallax, x1 is the value of the X coordinate of the image of the detection target point K in the image of one camera 10R, and x2 is the value of the X coordinate of the image of the detection target point K in the image of the other camera 10L. is there.

カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平である場合、カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの水平方向（Ｙ軸方向）の距離Ｌは、
Ｌ＝Ｄｃｏｓθ ・・・（２）
により算出される。
また、検出対象点Ｋの高さｈは、
ｈ＝Ｈ−Ｄｓｉｎθ ・・・（３）
により算出される。
ここで、Ｈは、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの路面からの高さである。 When the optical axes 11R and 11L of the cameras 10R and 10L are horizontal, the distance L in the horizontal direction (Y-axis direction) from the cameras 10R and 10L to the detection target point K is:
L = D cos θ (2)
Is calculated by
The height h of the detection target point K is
h = H−D sin θ (3)
Is calculated by
Here, H is the height from the road surface of the optical axes 11R and 11L of the cameras 10R and 10L.

このように、ステレオ法によって、ステレオカメラから路面上の検出対象点Ｋまでの距離Ｌと高さｈを算出することができる。   Thus, the distance L and the height h from the stereo camera to the detection target point K on the road surface can be calculated by the stereo method.

しかしながら、上記のステレオ法による距離Ｌおよび高さｈの検出精度は、ステレオカメラ１０の設置高さおよび設置角度の精度に依存する。ステレオカメラ１０の設置作業において、これらの設置パラメータの誤差を完全に排除することは困難である。また、振動や取り付け部品の経年的な劣化などによって、それらの設置パラメータが変化することもある。   However, the detection accuracy of the distance L and the height h by the above stereo method depends on the accuracy of the installation height and the installation angle of the stereo camera 10. In the installation work of the stereo camera 10, it is difficult to completely eliminate these installation parameter errors. In addition, the installation parameters may change due to vibration or deterioration of the attached parts over time.

そこで、本明細書では、ステレオカメラ１０の設置作業において、これらの設置パラメータの誤差を容易に校正することのできるステレオカメラ１０の設置パラメータ校正方法について説明する。   Therefore, in the present specification, an installation parameter calibration method of the stereo camera 10 that can easily calibrate errors of these installation parameters in the installation work of the stereo camera 10 will be described.

［本実施形態の路面状態検出装置の構成］
次に、本実施形態のステレオカメラの設置パラメータ校正方法が採用される路面状態検出装置の構成を説明する。 [Configuration of road surface condition detection device of this embodiment]
Next, the configuration of the road surface condition detection apparatus that employs the stereo camera installation parameter calibration method of the present embodiment will be described.

図３は本実施形態の路面状態検出装置１の構成を示すブロック図である。
同図に示すように、本実施形態の路面状態検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリー３０とを備える。なお、メモリー３０は演算処理回路２０内に設けられていてもよい。 FIG. 3 is a block diagram showing the configuration of the road surface condition detection device 1 of the present embodiment.
As shown in FIG. 1, the road surface state detection device 1 of this embodiment includes a stereo camera 10, an arithmetic processing circuit 20, and a memory 30. Note that the memory 30 may be provided in the arithmetic processing circuit 20.

ステレオカメラ１０は、２つのカメラ１０Ａ、１０Ｂを有する。２つのカメラ１０Ａ、１０Ｂは、車両前方を撮像範囲とし、視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。   The stereo camera 10 has two cameras 10A and 10B. The two cameras 10A and 10B are arranged such that the front of the vehicle is an imaging range, are separated from each other so that parallax is generated, and the optical axes thereof are parallel to each other.

カメラ１０Ａ、１０Ｂは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ａ、１０Ｂにより各々得られた撮像信号は演算処理回路２０に供給される。   Each of the cameras 10A and 10B includes an image sensor such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). Imaging signals obtained by the respective cameras 10A and 10B are supplied to the arithmetic processing circuit 20.

演算処理回路２０は、メモリー３０を用いて視差算出および路面変位検出のための演算処理を行うデバイスであり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。   The arithmetic processing circuit 20 is a device that performs arithmetic processing for parallax calculation and road surface displacement detection using the memory 30, and includes, for example, an FPGA (Field-Programmable Gate Array). However, the present invention is not limited to this, and may be configured by another integrated circuit such as an ASIC (Application Specific Integrated Circuit).

演算処理回路２０は、機能的には、画像処理部２１と、路面変位算出部２２と、設置パラメータ校正部２３とを有する。
画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像（カメラ１０Ａの画像）を基準画像、他方の画像（カメラ１０Ｂの画像）を参照画像として各々の画像の対応関係を探索して、２つの画像の視差情報を生成する。 The arithmetic processing circuit 20 functionally includes an image processing unit 21, a road surface displacement calculation unit 22, and an installation parameter calibration unit 23.
The image processing unit 21 digitizes the two video signals supplied from the stereo camera 10 to form an image, and performs preprocessing, such as filter processing such as distortion correction of each image and noise removal from each image. Further, the image processing unit 21 searches for the correspondence between the images using the preprocessed image (camera 10A image) as a reference image and the other image (camera 10B image) as a reference image. Disparity information of two images is generated.

路面変位算出部２２は、路面上の検出対象点の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを、画像処理部２１により求められた視差情報を用いて算出する。路面変位算出部２２は、算出した距離Ｌおよび高さｈの情報からサスペンションシステム６０のプレビュー制御のための路面変位情報を生成して、サスペンションシステム６０に供給する。   The road surface displacement calculation unit 22 calculates the distance L from the stereo camera 10 and the road surface height h of the detection target point on the road surface using the parallax information obtained by the image processing unit 21. The road surface displacement calculation unit 22 generates road surface displacement information for preview control of the suspension system 60 from the calculated distance L and height h information, and supplies the road surface displacement information to the suspension system 60.

設置パラメータ校正部２３は、ステレオカメラ１０の設置パラメータを校正する処理を行う。   The installation parameter calibration unit 23 performs processing for calibrating the installation parameters of the stereo camera 10.

［設置パラメータの校正方法］
次に、本実施形態のステレオカメラ１０の設置パラメータを校正する方法を説明する。 [Calibration method for installation parameters]
Next, a method for calibrating the installation parameters of the stereo camera 10 of the present embodiment will be described.

まず、図４に示すように、路面７０の車線方向（Ｙ方向）においてステレオカメラ１０から所定の距離Ｌだけ離れた位置に車線方向（Ｙ方向）に対して直交する直線状のマークＭが設けられる。このマークＭは、例えば、レーザー変位計などを用いて、ステレオカメラ１０からの所定の距離Ｌにあたる位置を精度良く検出して設けられるべきである。   First, as shown in FIG. 4, a linear mark M orthogonal to the lane direction (Y direction) is provided at a position away from the stereo camera 10 by a predetermined distance L in the lane direction (Y direction) of the road surface 70. It is done. The mark M should be provided by accurately detecting a position corresponding to a predetermined distance L from the stereo camera 10 using, for example, a laser displacement meter.

図５は、このマークＭが設けられた路面７０をステレオカメラ１０により撮像することによって得られた画像を示す図である。
水平な路面７０にマークＭが車線方向（画像の座標空間における縦軸方向（Ｙ軸方向））に対して直交する方向に真っ直ぐ設けられている場合、ステレオカメラ１０により撮像された画像の座標空間においてマークＭはＸ軸に平行な直線の像７１として得られる。 FIG. 5 is a diagram showing an image obtained by imaging the road surface 70 provided with the mark M with the stereo camera 10.
When the mark M is provided on the horizontal road surface 70 in a direction orthogonal to the lane direction (vertical axis direction (Y-axis direction) in the image coordinate space), the coordinate space of the image captured by the stereo camera 10 The mark M is obtained as a straight image 71 parallel to the X axis.

ここで、本明細書では、主に以下の３種類の校正方法について述べる。
１．ステレオカメラ１０の設置高さの誤差がなく、設置角度の誤差のみを校正する第１の校正方法
２．ステレオカメラ１０の設置高さの誤差がなく、設置角度の誤差のみを校正する第２の校正方法
３．ステレオカメラ１０の設置高さと設置角度の両方の誤差を校正する第３の校正方法 Here, in this specification, the following three types of calibration methods are mainly described.
1. 1. First calibration method for calibrating only the installation angle error without the installation height error of the stereo camera 10. 2. Second calibration method for calibrating only the installation angle error without the installation height error of the stereo camera 10. Third calibration method for calibrating errors in both the installation height and the installation angle of the stereo camera 10

（第１の校正方法について）
ステレオカメラ１０の設置高さは、例えばレーザー距離計などを用いることによって精度良く測定することが可能である。このような手段により車体にステレオカメラ１０を目的の高さに精度良く設置できる場合には、ステレオカメラ１０の設置角度の誤差のみを校正すればよい。 (About the first calibration method)
The installation height of the stereo camera 10 can be accurately measured by using, for example, a laser distance meter. When the stereo camera 10 can be accurately installed on the vehicle body at the target height by such means, only the error in the installation angle of the stereo camera 10 needs to be calibrated.

図６は、ステレオカメラ１０の設置パラメータの第１の校正方法を説明するための図である。
図７は、第１の校正方法の手順を示すフローチャートである。
まず、演算処理回路２０（設置パラメータ校正部２３）は、ステレオカメラ１０の設置パラメータと所定の距離Ｌの値とを用いて、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を次のようにして求める（ステップＳ１０１）。 FIG. 6 is a diagram for explaining a first calibration method for the installation parameters of the stereo camera 10.
FIG. 7 is a flowchart showing the procedure of the first calibration method.
First, the arithmetic processing circuit 20 (installation parameter calibration unit 23) uses the installation parameter of the stereo camera 10 and the value of a predetermined distance L to determine the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10. Is obtained as follows (step S101).

演算処理回路２０は、まず、ステレオカメラ１０の設置高さＨとステレオカメラ１０からマークＭまでの距離Ｌとから式（４）により、ステレオカメラ１０の視点とマークＭとを結ぶ直線と水平線とがなす角度θ"を求める。
ｔａｎθ"＝Ｈ／Ｌ ・・・（４） The arithmetic processing circuit 20 first calculates a straight line and a horizontal line connecting the viewpoint of the stereo camera 10 and the mark M according to the equation (4) from the installation height H of the stereo camera 10 and the distance L from the stereo camera 10 to the mark M. Is obtained.
tanθ "= H / L (4)

次に、演算処理回路２０は、ステレオカメラ１０の画角の下端の直線とステレオカメラ１０の視点とマークＭとを結ぶ直線とがなす角度θ'を式（５）により求める。
θ'＝θｖ／２−（θ"−θｃａｍｅｒａ）＝θｖ／２−θ"＋θｃａｍｅｒａ ・・・（５）
ここで、θｖはステレオカメラ１０の垂直方向の画角、θｃａｍｅｒａはステレオカメラ１０の設置角度である。設置角度θｃａｍｅｒａは、水平線１２に対するステレオカメラ１０の光軸１１の角度である。 Next, the arithmetic processing circuit 20 obtains an angle θ ′ formed by the straight line connecting the lower end of the angle of view of the stereo camera 10 and the straight line connecting the viewpoint of the stereo camera 10 and the mark M, using Expression (5).
θ ′ = θv / 2− (θ ″ −θcamera) = θv / 2−θ ″ + θcamera (5)
Here, θv is the vertical angle of view of the stereo camera 10, and θcamera is the installation angle of the stereo camera 10. The installation angle θcamera is an angle of the optical axis 11 of the stereo camera 10 with respect to the horizontal line 12.

次に、演算処理回路２０は、上記の角度θ'から画像の座標空間における縦軸方向における位置を求める。
ここで、ステレオカメラ１０により得られる画像の座標空間において縦軸方向の１画素あたりの仰角Δθは、
Δθ＝θｖ／Ｈ＿ｉｍａｇｅ ・・・（６）
であるから、縦軸方向における位置Ｐ（画像の下端からの画素位置）は、
Ｐ＝θ'／Δθ ・・・（７）
によって求められる。 Next, the arithmetic processing circuit 20 obtains the position in the vertical axis direction in the coordinate space of the image from the angle θ ′.
Here, in the coordinate space of the image obtained by the stereo camera 10, the elevation angle Δθ per pixel in the vertical axis direction is
Δθ = θv / H_image (6)
Therefore, the position P in the vertical axis direction (pixel position from the lower end of the image) is
P = θ ′ / Δθ (7)
Sought by.

この時点で求められる角度θ'に相当する画像の座標空間における縦軸方向における位置は、設置角度θｃａｍｅｒａのパラメータの値が校正前の値であるため、設置角度θｃａｍｅｒａの誤差分だけ、ステレオカメラ１０によって撮像された画像におけるマークＭの縦軸方向での位置に対する誤差を含んでいる。   The position in the vertical axis direction in the coordinate space of the image corresponding to the angle θ ′ obtained at this time is the value before the calibration of the parameter of the installation angle θcamera, so that the stereo camera 10 has an error corresponding to the installation angle θcamera. This includes an error with respect to the position of the mark M in the vertical axis direction in the image captured by.

次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出し（ステップＳ１０２）、有意な差がある場合には（ステップＳ１０３のＹＥＳ）、その差が小さくなるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ１０４）。例えば、求めたＹ座標の位置がマークＭよりも遠くの位置関係にある場合には、設置角度θｃａｍｅｒａを増大させ、逆に求めた縦軸方向の位置がマークＭの位置よりも手前にある場合には設置角度θｃａｍｅｒａを減少させる。このとき演算処理回路２０が、ステレオカメラ１０の設置角度θｃａｍｅｒａの増減量を、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向位置との差から一意に求めるようにしてもよい。   Next, the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical direction and the position in the vertical direction of the mark M in the coordinate space of the image captured by the stereo camera 10 (step S102). If there is a significant difference (YES in step S103), the installation angle θcamera of the stereo camera 10 is updated so as to reduce the difference (step S104). For example, when the obtained Y-coordinate position is farther away than the mark M, the installation angle θcamera is increased, and conversely, the obtained vertical axis position is in front of the mark M position. The installation angle θcamera is decreased. At this time, the arithmetic processing circuit 20 calculates the increase / decrease amount of the installation angle θcamera of the stereo camera 10 between the position in the vertical axis direction and the vertical axis position of the mark M in the coordinate space of the image captured by the stereo camera 10. You may make it obtain | require uniquely from a difference.

ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、演算処理回路２０が、更新された設置パラメータと所定の距離Ｌの値とを用いて、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を再度求め、再度求めた縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差の算出、さらにはステレオカメラ１０の設置角度θｃａｍｅｒａの更新を、同様に行う。以上の処理を繰り返し、求めた縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差が零または最小となった時点の設置角度θｃａｍｅｒａを校正結果として決定する（ステップＳ１０５）。
以上で、第１の校正方法による設置角度θｃａｍｅｒａの校正が完了する。 When the installation angle θcamera of the stereo camera 10 is updated, the arithmetic processing circuit 20 uses the updated installation parameter and the value of the predetermined distance L to perform the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 Is calculated again, and the difference between the calculated vertical position and the vertical position of the mark M in the coordinate space of the image captured by the stereo camera 10 is calculated, and the installation angle θcamera of the stereo camera 10 is calculated. Are updated in the same manner. The above process is repeated, and the installation angle θcamera at the time when the difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the mark M in the coordinate space of the image captured by the stereo camera 10 becomes zero or minimum is obtained. The calibration result is determined (step S105).
The calibration of the installation angle θcamera by the first calibration method is thus completed.

（第２の校正方法について）
図８は、ステレオカメラ１０の設置パラメータの第２の校正方法を説明するための図である。
図９は、ステレオカメラ１０の設置パラメータの第２の校正方法の手順を示すフローチャートである。
演算処理回路２０（設置パラメータ校正部２３）は、ステレオカメラ１０の設置高さと校正前の設置角度の各設置パラメータの値を用いて、ステレオカメラ１０からマークＭまでの所定の距離Ｌと比較される複数の校正用ラインのステレオカメラ１０からの距離を各々算出する（ステップＳ２０１）。例えば、図１０に示すように、複数の校正用ライン７２Ａ、７２Ｂ、７２Ｃはそれぞれ、画像の座標空間における縦軸方向の位置として予め設定される。演算処理回路２０は、ステレオカメラ１０の設置高さと校正前の設置角度、さらには各々の校正用ラインの縦軸方向の位置とから、次のようにして、ステレオカメラ１０から校正用ライン７２Ａ、７２Ｂ、７２Ｃまでの距離を各々算出する。 (About the second calibration method)
FIG. 8 is a diagram for explaining a second calibration method for the installation parameters of the stereo camera 10.
FIG. 9 is a flowchart showing the procedure of the second calibration method for the installation parameters of the stereo camera 10.
The arithmetic processing circuit 20 (installation parameter calibration unit 23) is compared with a predetermined distance L from the stereo camera 10 to the mark M, using the values of the installation parameters of the installation height of the stereo camera 10 and the installation angle before calibration. The distances from the stereo camera 10 of the plurality of calibration lines are calculated (step S201). For example, as shown in FIG. 10, each of the plurality of calibration lines 72A, 72B, 72C is preset as a position in the vertical axis direction in the coordinate space of the image. The arithmetic processing circuit 20 calculates the calibration line 72A from the stereo camera 10 as follows from the installation height of the stereo camera 10 and the installation angle before calibration, and further the position in the vertical axis direction of each calibration line. The distances to 72B and 72C are calculated respectively.

図８に示すように、演算処理回路２０は、画像の下端からの画素数Ｈ＿ｐｉｘｅｌの位置（Ｙ座標の値）に対応する角度θ'を次式（８）により算出する。
θ'＝Δθ×Ｈ＿ｐｉｘｅｌ ・・・（８） As shown in FIG. 8, the arithmetic processing circuit 20 calculates an angle θ ′ corresponding to the position (Y coordinate value) of the number of pixels H_pixel from the lower end of the image by the following equation (8).
θ ′ = Δθ × H_pixel (8)

次に、演算処理回路２０は、ステレオカメラ１０から校正用ライン７２Ａまでの距離ＬＡを次式（９）により算出する。
ＬＡ＝ＤＡ×ｃｏｓθ" ・・・（９）
ここで、ＤＡはステレオカメラ１０の視点から校正用ライン７２Ａまでの直線距離である。また、θ"は、ステレオカメラ１０がθｃａｍｅｒａの角度で設置されているとき、ステレオカメラ１０の視点と例えば校正用ライン７２Ａとを結んだ直線と路面に対する平行線とがなす角度であり、上記式（５）により得られる。 Next, the arithmetic processing circuit 20 calculates a distance LA from the stereo camera 10 to the calibration line 72A by the following equation (9).
LA = DA × cos θ ”(9)
Here, DA is a linear distance from the viewpoint of the stereo camera 10 to the calibration line 72A. Θ ″ is an angle formed by a straight line connecting the viewpoint of the stereo camera 10 and, for example, the calibration line 72A, and a parallel line to the road surface when the stereo camera 10 is installed at an angle of θcamera. Obtained by (5).

このθ"の値を式（９）に代入することによってステレオカメラ１０から例えば校正用ライン７２Ａまでの距離ＬＡが算出される。なお、ステレオカメラ１０から、その他の校正用ライン７２Ｂ、７２Ｃまでの距離ＬＢ、ＬＣも同様に算出される。   The distance LA from the stereo camera 10 to the calibration line 72A, for example, is calculated by substituting the value of θ ″ into the equation (9). Note that the distance LA from the stereo camera 10 to the other calibration lines 72B and 72C is calculated. The distances LB and LC are similarly calculated.

次に、演算処理回路２０は、上記のようにして算出されたステレオカメラ１０から各校正用ライン７２Ａ、７２Ｂ、７２Ｃまでの距離ＬＡ、ＬＢ、ＬＣのなかで、ステレオカメラ１０からマークＭまでの所定の距離Ｌに最も近い校正用ラインを有効校正用ラインとして判定する（ステップＳ２０２）。この所定の距離Ｌは予め機器に設定しておいてもよいし、ユーザが実際のステレオカメラ１０とマークＭとの間を実測した距離Ｌを入力するようにしてもよい。図１０の例においては、校正用ライン７２Ａが有効校正用ラインとして判定される。なお、校正用ラインは、画像の座標空間におけるすべてのライン、あるいは画像の座標空間における特定の高さ範囲内のすべてのライン、あるいはＮ（Ｎは１以上の値）本置きの複数のラインであってもよい。   Next, the arithmetic processing circuit 20 determines the distance from the stereo camera 10 to the mark M among the distances LA, LB, LC from the stereo camera 10 calculated as described above to the calibration lines 72A, 72B, 72C. The calibration line closest to the predetermined distance L is determined as an effective calibration line (step S202). The predetermined distance L may be set in advance in the device, or the user may input the distance L actually measured between the stereo camera 10 and the mark M. In the example of FIG. 10, the calibration line 72A is determined as the effective calibration line. Note that the calibration lines are all the lines in the image coordinate space, all the lines in a specific height range in the image coordinate space, or a plurality of lines every N (N is a value of 1 or more). There may be.

次に、演算処理回路２０は、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出し（ステップＳ２０３）、有意な差がある場合には（ステップＳ２０４のＹＥＳ）、その差が小さくなるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ２０５）。例えば、画像の座標空間において有効校正用ラインがマークＭよりも遠くの位置にある場合には、設置角度θｃａｍｅｒａを増大させ、逆に有効校正用ラインがマークＭよりも手前にある場合には設置角度θｃａｍｅｒａを減少させる。このとき演算処理回路２０が、ステレオカメラ１０の設置角度θｃａｍｅｒａの最適な増減量を、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差から一意に求めるようにしてもよい。   Next, the arithmetic processing circuit 20 calculates a difference between the position of the effective calibration line in the coordinate space of the image in the vertical axis direction and the position of the mark M in the coordinate space of the image captured by the stereo camera 10 in the vertical axis direction. Calculate (step S203), and if there is a significant difference (YES in step S204), the installation angle θcamera of the stereo camera 10 is updated so as to reduce the difference (step S205). For example, when the effective calibration line is farther than the mark M in the coordinate space of the image, the installation angle θcamera is increased. Conversely, when the effective calibration line is in front of the mark M, the installation angle θcamera is increased. The angle θcamera is decreased. At this time, the arithmetic processing circuit 20 determines the optimum increase / decrease amount of the installation angle θcamera of the stereo camera 10, the position of the effective calibration line in the image coordinate space in the vertical axis direction, and the coordinate space of the image captured by the stereo camera 10. It may be determined uniquely from the difference between the position of the mark M in the vertical axis direction.

ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、演算処理回路２０は、複数の校正用ライン７２Ａ、７２Ｂ、７２Ｃのそれぞれについて、ステレオカメラ１０からの距離ＬＡ、ＬＢ、ＬＣを再度算出し、有効校正用ラインの判定、画像の座標空間における有効校正用ラインの縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差の算出、さらにはステレオカメラ１０の設置角度θｃａｍｅｒａの更新を同様に行う。以上の処理を繰り返し、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差が零または最小となった時点の設置角度θｃａｍｅｒａを最適値として決定する（ステップＳ２０６）。
以上で、第２の校正方法による設置角度θｃａｍｅｒａの校正が完了する。 When the installation angle θcamera of the stereo camera 10 is updated, the arithmetic processing circuit 20 recalculates the distances LA, LB, and LC from the stereo camera 10 for each of the plurality of calibration lines 72A, 72B, and 72C, and performs effective calibration. Line determination, calculation of the difference between the position of the effective calibration line in the coordinate space of the image in the vertical axis direction and the position of the mark M in the coordinate space of the image captured by the stereo camera 10 in the vertical axis direction, and stereo The installation angle θcamera of the camera 10 is similarly updated. The above processing is repeated, and the difference between the position in the vertical axis direction of the effective calibration line in the image coordinate space and the position in the vertical axis direction of the mark M in the coordinate space of the image captured by the stereo camera 10 is zero or minimum. The installation angle θcamera at that time is determined as an optimum value (step S206).
This completes the calibration of the installation angle θcamera by the second calibration method.

なお、２回目以後の処理リサイクルにおいて、校正用ラインについての距離の算出は、一回目の処理リサイクルで判定された有効校正用ラインについてのみ、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出するようにしてもよい。   In the second and subsequent processing recycling, the distance for the calibration line is calculated only in the vertical axis direction of the effective calibration line in the image coordinate space only for the effective calibration line determined in the first processing recycling. A difference between the position and the position of the mark M in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 may be calculated.

（第３の校正方法について）
次に、ステレオカメラ１０の設置高さＨと設置角度θｃａｍｅｒａの両方を校正対象とする第３の校正方法について説明する。
この第３の校正方法では、例えば、図１１に示すように、路面７０に車線方向において互いに離間して複数のマークＭ１、Ｍ２が設けられる。以下、マークＭ１を「第１マークＭ１」、マークＭ２を「第２マークＭ２」と呼ぶ。これら第１マークＭ１および第２マークＭ２は、例えば、レーザー変位計などを用いて、ステレオカメラ１０からの所定の距離Ｌ１、Ｌ２にあたる位置を精度良く検出して設けられる。この例では、Ｌ１＞Ｌ２とする。 (About the third calibration method)
Next, a third calibration method for calibrating both the installation height H and the installation angle θcamera of the stereo camera 10 will be described.
In the third calibration method, for example, as shown in FIG. 11, a plurality of marks M1 and M2 are provided on the road surface 70 apart from each other in the lane direction. Hereinafter, the mark M1 is referred to as a “first mark M1”, and the mark M2 is referred to as a “second mark M2”. The first mark M1 and the second mark M2 are provided by accurately detecting positions corresponding to predetermined distances L1 and L2 from the stereo camera 10 using, for example, a laser displacement meter. In this example, L1> L2.

図１２は、ステレオカメラ１０の設置パラメータの第３の校正方法の手順を示すフローチャートである。
まず、演算処理回路２０は、ステレオカメラ１０の設置パラメータ（設置高さＨおよび設置角度θｃａｍｅｒａ）と距離Ｌ２の値から、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を算出する（ステップＳ３０１）。この処理は、上記（４）式から（７）式により行われる。 FIG. 12 is a flowchart showing the procedure of the third calibration method for the installation parameters of the stereo camera 10.
First, the arithmetic processing circuit 20 calculates the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 from the installation parameters (installation height H and installation angle θcamera) of the stereo camera 10 and the value of the distance L2. (Step S301). This process is performed by the above equations (4) to (7).

次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間における第２マークＭ２の像の縦軸方向の位置との差を算出し（ステップＳ３０２）、有意な差がある場合には（ステップＳ３０３のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置高さＨを更新し（ステップＳ３０４）、ステップＳ３０５に移行する。有意な差がない場合には（ステップＳ３０３のＮＯ）、設置高さＨを更新せずにステップＳ３０５に移行する。   Next, the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the image of the second mark M2 in the coordinate space of the image captured by the stereo camera 10 (step). If there is a significant difference (YES in step S303), the installation height H of the stereo camera 10 is updated so that the difference becomes 0 or minimum (step S304), and the process proceeds to step S305. If there is no significant difference (NO in step S303), the process moves to step S305 without updating the installation height H.

ステップＳ３０５において、演算処理回路２０は、ステレオカメラ１０の設置パラメータと距離Ｌ１の値から、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を算出する（ステップＳ３０５）。この処理は、上記（４）式から（７）式により行われる。   In step S305, the arithmetic processing circuit 20 calculates the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 from the installation parameter of the stereo camera 10 and the value of the distance L1 (step S305). This process is performed by the above equations (4) to (7).

次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間における第１マークＭ１の像の縦軸方向の位置との差を算出し（ステップＳ３０６）、有意な差がなければ（ステップＳ３０７のＮＯ）、現在のステレオカメラ１０の設置パラメータを校正結果として決定する（ステップＳ３１０）。有意な差がある場合には（ステップＳ３０７のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ３０８）。   Next, the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the image of the first mark M1 in the coordinate space of the image captured by the stereo camera 10 (step S1). If there is no significant difference (NO in step S307), the current installation parameter of the stereo camera 10 is determined as a calibration result (step S310). If there is a significant difference (YES in step S307), the installation angle θcamera of the stereo camera 10 is updated so that the difference becomes 0 or minimum (step S308).

ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、現在の設置高さＨを再評価するために、演算処理回路２０は、ステップＳ３０１に戻り、ステップＳ３０３で有意な差がなければ（ステップＳ３０３のＮＯ）、ステップＳ３０９で設置角度θｃａｍｅｒａの更新が完了しているかどうかを判断し、設置角度θｃａｍｅｒａの更新が完了してならば現在のステレオカメラ１０の設置パラメータを校正結果として決定する（ステップＳ３１０）。   When the installation angle θcamera of the stereo camera 10 is updated, the arithmetic processing circuit 20 returns to step S301 to re-evaluate the current installation height H, and if there is no significant difference in step S303 (NO in step S303). In step S309, it is determined whether or not the installation angle θcamera has been updated. If the installation angle θcamera has been updated, the current installation parameter of the stereo camera 10 is determined as a calibration result (step S310).

また、有意な差がある場合には（ステップＳ３０３のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置高さＨをステップＳ３０４で再度更新する。ステレオカメラ１０の設置高さＨを再更新した場合には、演算処理回路２０は、現在の設置角度θｃａｍｅｒａを再評価するために、ステップＳ３０５に移動し、以降の動作が繰り返される。   If there is a significant difference (YES in step S303), the installation height H of the stereo camera 10 is updated again in step S304 so that the difference becomes 0 or the minimum. When the installation height H of the stereo camera 10 is re-updated, the arithmetic processing circuit 20 moves to step S305 in order to re-evaluate the current installation angle θcamera, and the subsequent operations are repeated.

以上のように、第３の校正方法では、第２のマークＭ２を用いたステレオカメラ１０の設置高さＨの調整と、第１のマークＭ１を用いたステレオカメラ１０の設置角度θｃａｍｅｒａの調整とが交互に繰り返し行われることによって設置パラメータの校正が行われる。   As described above, in the third calibration method, the installation height H of the stereo camera 10 using the second mark M2 is adjusted, and the installation angle θcamera of the stereo camera 10 using the first mark M1 is adjusted. Is repeatedly performed alternately to calibrate the installation parameters.

なお、第３の校正方法では、第１のマークＭ１をステレオカメラ１０の設置高さＨの調整に用い、第２のマークＭ２をステレオカメラ１０の設置角度θｃａｍｅｒａの調整に用いてもよい。   In the third calibration method, the first mark M1 may be used for adjusting the installation height H of the stereo camera 10, and the second mark M2 may be used for adjusting the installation angle θcamera of the stereo camera 10.

（設置角度、設置高さの変更方法について）
ステレオカメラ１０の設置角度θｃａｍｅｒａの変更は、例えば、ステレオカメラ１０の撮像素子から像を読み出す位置を縦軸方向に全体的にシフトすることによって行うことができる。この場合には、ステレオカメラ１０の撮像素子の縦軸方向の全体画素数は像が読み出される縦軸方向の画素数よりも大きい必要がある。また、ステレオカメラ１０の設置角度θｃａｍｅｒａの変更は、ステレオカメラ１０の光軸１１の向きをカメラアクチュエータ８０によりメカニカルに変更することによって行われてもよい。 (How to change the installation angle and installation height)
The installation angle θcamera of the stereo camera 10 can be changed by, for example, shifting the position for reading an image from the imaging device of the stereo camera 10 in the entire vertical axis direction. In this case, the total number of pixels in the vertical axis direction of the imaging element of the stereo camera 10 needs to be larger than the number of pixels in the vertical axis direction from which an image is read. Further, the installation angle θcamera of the stereo camera 10 may be changed by mechanically changing the direction of the optical axis 11 of the stereo camera 10 by the camera actuator 80.

ステレオカメラ１０の設置高さＨの変更は、ステレオカメラ１０の鏡筒を垂直方向にカメラアクチュエータ８０によりメカニカルに移動させることなどによって行うことが可能である。   The installation height H of the stereo camera 10 can be changed by mechanically moving the lens barrel of the stereo camera 10 in the vertical direction by the camera actuator 80.

［応用例］
次に、上記の各実施形態の応用例を説明する。
ステレオカメラ１０は車体に取付金具を用いて取り付けられるため、取付金具の経年劣化やビス孔のガタなどにより走行時に受ける振動によりステレオカメラ１０の設置高さや設置角度などの設置パラメータが変動する可能性がある。車両の点検の際に設置パラメータの校正を上記の実施形態の方法により行うことによって、最低限の保守を行うことは可能であるが、より高頻度に設置パラメータを校正できることが望まれる。 [Application example]
Next, application examples of the above embodiments will be described.
Since the stereo camera 10 is attached to the vehicle body using a mounting bracket, the installation parameters such as the installation height and the installation angle of the stereo camera 10 may fluctuate due to aged deterioration of the mounting bracket or vibration caused by backlash of the screw hole. There is. By performing the calibration of the installation parameters by the method of the above embodiment at the time of inspection of the vehicle, it is possible to perform the minimum maintenance, but it is desirable that the installation parameters can be calibrated more frequently.

そこで、公道などを車両が走行中に自動的にステレオカメラ１０の設置パラメータを校正することのできるシステムが考えられる。この場合、公道などの路面にマークＭが設けられ、このマークＭより手前の所定の距離Ｌの位置を車両のステレオカメラ１０が通過するタイミングで、ステレオカメラ１０による路面の撮像が行われればよい。   Thus, a system that can automatically calibrate the installation parameters of the stereo camera 10 while the vehicle is traveling on a public road or the like is conceivable. In this case, a mark M is provided on a road surface such as a public road, and the road surface may be imaged by the stereo camera 10 at a timing when the stereo camera 10 of the vehicle passes a position at a predetermined distance L in front of the mark M. .

図１３Ａおよび図１３Ｂは、公道などを車両が走行中に自動的にステレオカメラ１０の設置パラメータを校正する場合に、ステレオカメラ１０に正確な撮像タイミングを与えるための構成を示す図である。
ステレオカメラ１０の撮像タイミングを正確に与えるために、光センサー、カメラなどの車両検知器１１０、１１０が用いられる。車両検知器１１０、１１０を車線方向において異なる位置に複数機設けることによって、各車両検知器１１０、１１０の間の車両Ｃの通過速度と通過タイミングを検出し、通過速度および信号の送受信などを含む諸々の処理による遅延時間を考慮して、マークＭより手前の所定の距離Ｌの位置でステレオカメラ１０による撮像が行われるようにする。 FIGS. 13A and 13B are diagrams illustrating a configuration for giving accurate imaging timing to the stereo camera 10 when the installation parameters of the stereo camera 10 are automatically calibrated while the vehicle is traveling on a public road or the like.
In order to give the imaging timing of the stereo camera 10 accurately, vehicle detectors 110 and 110 such as an optical sensor and a camera are used. By providing a plurality of vehicle detectors 110, 110 at different positions in the lane direction, the passage speed and passage timing of the vehicle C between the vehicle detectors 110, 110 are detected, and transmission / reception of signals and the like are included. Taking into account delay times due to various processes, the stereo camera 10 performs imaging at a predetermined distance L before the mark M.

このような車両検知器１１０、１１０およびマークＭを、車線方向に連続して、複数のセット配置することによって、設置パラメータの上記第１の校正方法または第２の校正方法による校正処理を行うことができる。   By arranging a plurality of such vehicle detectors 110 and 110 and the mark M continuously in the lane direction, the calibration process by the first calibration method or the second calibration method of the installation parameters is performed. Can do.

なお、マークＭより手前の所定の距離Ｌの位置を車両のステレオカメラ１０が通過するタイミングを生成する方法としては、車両検知器１１０、１１０を用いる方法の他、マークＭより手前の所定の距離Ｌの位置よりもさらに手前の位置に、車両通過タイミングの生成のための複数のマークを車線方向において互いに離間して設けておき、車両に設けられた光センサー、カメラなどの検出器でこれらを検出して行うことも可能である。   In addition, as a method of generating the timing at which the vehicle stereo camera 10 passes a position at a predetermined distance L before the mark M, a method using the vehicle detectors 110 and 110, a predetermined distance before the mark M, and the like. A plurality of marks for generating the vehicle passage timing are provided in a position further forward than the position L, separated from each other in the lane direction, and these are detected by a detector such as an optical sensor or a camera provided in the vehicle. It can also be detected.

また、本応用例は、上記第３の校正方法にも応用することが可能である。   This application example can also be applied to the third calibration method.

本発明は、路面を走行する車両に適用されるだけでなく、室内の床面を移動する各種運搬用の機器やロボットなどにも適用することが可能である。   The present invention can be applied not only to a vehicle traveling on a road surface, but also to various transporting devices, robots, and the like that move on an indoor floor surface.

１…路面状態検出装置
１０…ステレオカメラ
２０…演算処理回路
２１…画像処理部
２２…路面変位算出部
２３…設置パラメータ校正部
３０…メモリー
６０…サスペンションシステム DESCRIPTION OF SYMBOLS 1 ... Road surface state detection apparatus 10 ... Stereo camera 20 ... Arithmetic processing circuit 21 ... Image processing part 22 ... Road surface displacement calculation part 23 ... Installation parameter calibration part 30 ... Memory 60 ... Suspension system

Claims (6)

移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、
前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method that is attached to a movable object and that images the road surface to detect the height of the road surface to which the object moves,
The road surface provided with a mark at a predetermined distance from the position of the stereo camera is imaged by the stereo camera,
Using the installation parameter and the value of the predetermined distance, obtain the position in the vertical direction in the coordinate space of the image captured by the stereo camera,
Comparing the position of the obtained vertical axis direction with the position of the captured mark in the vertical axis direction in the coordinate space;
A stereo camera installation parameter calibration method for calibrating the installation parameter based on the comparison result. 請求項１に記載のステレオカメラの設置パラメータ校正方法であって、
前記縦軸方向の位置は、
前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to claim 1,
The position in the vertical axis direction is
In the coordinate space of the image captured by the stereo camera, the distance from the stereo camera respectively corresponding to a plurality of predetermined positions in the vertical axis direction is calculated using the installation parameters, respectively.
It is obtained by determining a position in the vertical axis direction in the coordinate space corresponding to the distance closest to the predetermined distance among the calculated distances,
Comparing the determined position and the position of the imaged mark in the vertical direction in the coordinate space;
A stereo camera installation parameter calibration method for calibrating the installation parameter based on the comparison result. 請求項２に記載のステレオカメラの設置パラメータ校正方法であって、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to claim 2,
A stereo camera installation parameter calibration method in which the installation parameter is calibrated so that the determined position and the position of the captured mark in the coordinate space in the vertical axis direction coincide with each other. 請求項１から３のいずれか１項に記載のステレオカメラの設置パラメータ校正方法であって、
前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、校正対象の前記設置パラメータが前記設置高さと設置角度のうち少なくとも一方である
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to any one of claims 1 to 3,
The stereo camera installation parameter calibration method, wherein the installation parameter is an installation height and an installation angle of the stereo camera, and the installation parameter to be calibrated is at least one of the installation height and the installation angle. 請求項１から３のいずれか１項に記載の記載のステレオカメラの設置パラメータ校正方法であって、
校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
前記マークは、前記ステレオカメラの位置から所定の第１距離に設けられた第１マークと、前記ステレオカメラの位置から前記第１距離と異なる所定の第２距離に設けられた第２マークと、を備え、
前記設置パラメータと前記所定の第２距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第１の位置を求め、
前記第１の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
前記更新された設置高さを含む設置パラメータと前記所定の第１距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第２の位置を求め、
前記第２の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新する
ステレオカメラの設置パラメータ校正方法。 It is the installation parameter calibration method of the stereo camera of any one of Claim 1 to 3,
The installation parameter to be calibrated is an installation height and an installation angle of the stereo camera,
The mark includes a first mark provided at a predetermined first distance from the position of the stereo camera; a second mark provided at a predetermined second distance different from the first distance from the position of the stereo camera; With
Using the installation parameter and the predetermined second distance, obtain a first position in the vertical axis direction in a coordinate space of an image captured by the stereo camera,
The installation height of the stereo camera is updated by comparing the first position with the position in the vertical axis direction of the image of the imaged second mark in the coordinate space,
Using the installation parameter including the updated installation height and the predetermined first distance, a second position in the vertical axis direction in a coordinate space of an image captured by the stereo camera is obtained,
A stereo camera installation parameter calibration method in which an installation angle of the stereo camera is updated by comparing a position in a vertical axis direction in the coordinate space of the image of the captured second mark with the second position. 請求項１ないし５のいずれか１項に記載のステレオカメラの設置パラメータ校正方法であって、
前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to any one of claims 1 to 5,
During movement of the object, the stereo camera captures an image of the road surface provided with the mark at a timing when the object passes through a position a predetermined distance before the position of the mark provided on the road surface. Parameter calibration method.
JP2016112088A 2016-06-03 2016-06-03 Stereo camera installation parameter calibration method Expired - Fee Related JP6209648B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016112088A JP6209648B1 (en) 2016-06-03 2016-06-03 Stereo camera installation parameter calibration method
PCT/JP2017/019782 WO2017209015A1 (en) 2016-06-03 2017-05-26 Method of calibrating stereo camera installation parameter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016112088A JP6209648B1 (en) 2016-06-03 2016-06-03 Stereo camera installation parameter calibration method

Publications (2)

Publication Number Publication Date
JP6209648B1 true JP6209648B1 (en) 2017-10-04
JP2017219356A JP2017219356A (en) 2017-12-14

Family

ID=59997756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016112088A Expired - Fee Related JP6209648B1 (en) 2016-06-03 2016-06-03 Stereo camera installation parameter calibration method

Country Status (2)

Country Link
JP (1) JP6209648B1 (en)
WO (1) WO2017209015A1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7211891B2 (en) * 2019-05-17 2023-01-24 株式会社キーエンス Three-dimensional coordinate measuring device
EP4094433A4 (en) * 2020-01-22 2024-02-21 Nodar Inc. Non-rigid stereo vision camera system
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
CN111288890A (en) * 2020-02-13 2020-06-16 福建农林大学 Road sign dimension and height automatic measurement method based on binocular photogrammetry technology
JP7386098B2 (en) * 2020-02-27 2023-11-24 株式会社日立製作所 Distance sensor calibration system and distance sensor calibration method
CN112446925B (en) * 2020-10-20 2024-02-23 广州视源电子科技股份有限公司 Parameter calibration method, device and system for image pickup device
US11577748B1 (en) 2021-10-08 2023-02-14 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
WO2023244252A1 (en) 2022-06-14 2023-12-21 Nodar Inc. 3d vision system with automatically calibrated stereo vision sensors and lidar sensor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116515A (en) * 1999-10-21 2001-04-27 Matsushita Electric Ind Co Ltd Calibration method
JP2006148701A (en) * 2004-11-22 2006-06-08 Fuji Photo Film Co Ltd System and method of calibrating position of digital camera
JP2012159470A (en) * 2011-02-02 2012-08-23 Toyota Motor Corp Vehicle image recognition device
US20130147957A1 (en) * 2011-12-12 2013-06-13 Mobileye Technologies Ltd. Detection of obstacles at night by analysis of shadows
JP2013190281A (en) * 2012-03-13 2013-09-26 Honda Elesys Co Ltd Installation state detection system, installation state detection apparatus and installation state detection method
JP2014089548A (en) * 2012-10-30 2014-05-15 Sharp Corp Road surface level difference detection method, road surface level difference detection device and vehicle equipped with the road surface level difference detection device
JP2016225719A (en) * 2015-05-27 2016-12-28 京セラ株式会社 Stereo camera device, vehicle, and calibration method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116515A (en) * 1999-10-21 2001-04-27 Matsushita Electric Ind Co Ltd Calibration method
JP2006148701A (en) * 2004-11-22 2006-06-08 Fuji Photo Film Co Ltd System and method of calibrating position of digital camera
JP2012159470A (en) * 2011-02-02 2012-08-23 Toyota Motor Corp Vehicle image recognition device
US20130147957A1 (en) * 2011-12-12 2013-06-13 Mobileye Technologies Ltd. Detection of obstacles at night by analysis of shadows
JP2013190281A (en) * 2012-03-13 2013-09-26 Honda Elesys Co Ltd Installation state detection system, installation state detection apparatus and installation state detection method
JP2014089548A (en) * 2012-10-30 2014-05-15 Sharp Corp Road surface level difference detection method, road surface level difference detection device and vehicle equipped with the road surface level difference detection device
JP2016225719A (en) * 2015-05-27 2016-12-28 京セラ株式会社 Stereo camera device, vehicle, and calibration method

Also Published As

Publication number Publication date
WO2017209015A1 (en) 2017-12-07
JP2017219356A (en) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6209648B1 (en) Stereo camera installation parameter calibration method
JP6577661B2 (en) Road surface displacement detection device and suspension control method
WO2013035353A1 (en) Image processing apparatus and image processing method
EP1087336A2 (en) Apparatus and method for stereoscopic image processing
JP6602982B2 (en) In-vehicle camera, in-vehicle camera adjustment method, in-vehicle camera system
JP6515650B2 (en) Calibration apparatus, distance measuring apparatus and calibration method
JP5293131B2 (en) Compound eye distance measuring device for vehicle and compound eye distance measuring method
US10984258B2 (en) Vehicle traveling environment detecting apparatus and vehicle traveling controlling system
JP5434608B2 (en) Positioning device and positioning method
WO2017188158A1 (en) Device for detecting road surface state
JP6895371B2 (en) Information processing device and suspension control method
JP2008304248A (en) Method for calibrating on-board stereo camera, on-board distance image generating apparatus, and program
WO2017042998A1 (en) In-vehicle stereo camera device and method for correcting same
WO2019058729A1 (en) Stereo camera
WO2019203001A1 (en) Stereo camera device
JP2018136739A (en) Calibration device
JP2019113434A (en) Calibrator, calibration method, and calibration program
JP6489645B2 (en) Image processing device
JP6699902B2 (en) Image processing apparatus and image processing method
JP2014238558A (en) Imaging device and parallax detection method
JP2000121354A (en) Range finding method
WO2017042995A1 (en) In-vehicle stereo camera device and method for correcting same
JP6865660B2 (en) Distance calculation device and distance calculation parameter setting method
JP6890293B2 (en) Camera calibration device, camera calibration system, camera calibration method and program
JP6704307B2 (en) Moving amount calculating device and moving amount calculating method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170818

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170818

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170911

R150 Certificate of patent or registration of utility model

Ref document number: 6209648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees