JPH0814828A - Calibration method for stereoscopic image sensor and device therefor - Google Patents
Calibration method for stereoscopic image sensor and device thereforInfo
- Publication number
- JPH0814828A JPH0814828A JP14725494A JP14725494A JPH0814828A JP H0814828 A JPH0814828 A JP H0814828A JP 14725494 A JP14725494 A JP 14725494A JP 14725494 A JP14725494 A JP 14725494A JP H0814828 A JPH0814828 A JP H0814828A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image sensor
- coordinate system
- stereo
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は,ステレオ画像センサの
キャリブレーション方法及びその装置に係り,詳しくは
2台のカメラを用いて三角測量により3次元位置計測を
行うステレオ画像センサのキャリブレーション方法及び
その装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stereo image sensor calibration method and apparatus, and more particularly to a stereo image sensor calibration method for performing three-dimensional position measurement by triangulation using two cameras. It relates to the device.
【0002】[0002]
【従来の技術】ステレオ画像センサは,予め幾何学的位
置関係が既知の2台のカメラを用いて,三角測量の原理
により3次元空間内にある対象物体の位置を計測する。
ここでは2台のカメラの幾何学的位置関係の設定/校正
精度が,測定精度に直接影響をする。このため,高い計
測精度を得るためには,2台のカメラの幾何学的位置関
係の校正(キャリブレーション)を精度よく行う必要が
ある。一般にステレオ画像センサのキャリブレーション
は,2台のカメラの幾何学的位置関係を数学モデルを用
いて記述し,モデルのパラメータの値を導出することに
よって行われる。従来のステレオ画像センサのモデリン
グは,例えば図9に示すように,3次元空間上の計測参
照点Pと左右のカメラのカメラ中心OL ,ORと撮像点
PL ,PR との全てが同一平面上にあるといういわゆる
エピポーラ条件と呼ばれる仮定を用いて行われていた。2. Description of the Related Art A stereo image sensor measures the position of a target object in a three-dimensional space by the principle of triangulation using two cameras whose geometrical positional relationships are known in advance.
Here, the setting / calibration accuracy of the geometrical positional relationship between the two cameras directly affects the measurement accuracy. Therefore, in order to obtain high measurement accuracy, it is necessary to accurately calibrate the geometrical positional relationship between the two cameras. Generally, the calibration of a stereo image sensor is performed by describing the geometrical positional relationship between two cameras using a mathematical model and deriving the parameter values of the model. In the conventional modeling of a stereo image sensor, for example, as shown in FIG. 9, a measurement reference point P in a three-dimensional space, camera centers O L and O R of left and right cameras, and imaging points P L and P R are all It was performed using the assumption called the so-called epipolar condition that they are on the same plane.
【0003】[0003]
【発明が解決しようとする課題】上記したような従来の
ステレオ画像センサのキャリブレーション方法では,エ
ピポーラ条件を用いているが,現実のカメラでは計測の
量子化誤差などのため,左右の視線が厳密には交差しな
くなる。このため,エピポーラ条件を用いたモデル化手
法では,計測ノイズなどの誤差を含む現実のカメラ系の
キャリブレーションは正確には行いがたい。本発明は,
上記事情に鑑みてなされたものであり,その目的とする
ところは,左右の視線が現実には交差しないような現実
のカメラ系のキャリブレーションを正確に行うことがで
きるステレオ画像センサのキャリブレーション方法及び
その装置を提供することである。The conventional stereo image sensor calibration method as described above uses the epipolar condition. However, in a real camera, the left and right lines of sight are strict due to a quantization error in measurement. Will no longer cross. For this reason, it is difficult to accurately calibrate the actual camera system including errors such as measurement noise with the modeling method using the epipolar condition. The present invention
The present invention has been made in view of the above circumstances, and its purpose is to provide a calibration method for a stereo image sensor capable of accurately performing calibration of an actual camera system so that the left and right eyes do not actually intersect. And to provide the device.
【0004】[0004]
【課題を解決するための手段】上記目的を達成するため
に,第1の発明は,擬似逆行列を用いてステレオカメラ
の左右の視線の共通法線の中点を最小自乗近似解とする
ステレオ画像センサのモデリングを行い,上記モデルデ
ータを3次元空間の座標系とステレオカメラの画面の座
標系との変換係数であるカメラパラメータで偏微分し,
3次元空間内の既知の計測対象物の位置をステレオカメ
ラにより計測し,上記計測データとモデルデータの偏微
分値とを用いて該計測データとモデルデータとのノルム
を最小にするようなカメラパラメータを導出してなるス
テレオ画像センサのキャリブレーション方法として構成
されている。第2の発明は,擬似逆行列を用いてステレ
オカメラの左右の視線の共通法線の中点を最小自乗近似
解とするステレオ画像センサのモデリングを行い,上記
モデルデータに含まれる共通法線の長さよりなる評価関
数を3次元空間の座標系とステレオカメラの画面の座標
系との変換係数であるカメラパラメータで偏微分し,3
次元空間内の任意の計測対象物の位置をステレオカメラ
により計測し,上記計測データと評価関数の偏微分値と
を用いて該評価関数のノルムを最小にするようなカメラ
パラメータを導出してなるステレオ画像センサのキャリ
ブレーション方法である。さらには,上記カメラパラメ
ータの導出に最小自乗法を用いるステレオ画像センサの
キャリブレーション方法である。In order to achieve the above object, the first invention is a stereo system which uses a pseudo-inverse matrix to set the midpoint of the common normal line of the left and right lines of sight of a stereo camera as a least squares approximate solution. The image sensor is modeled, and the model data is partially differentiated by a camera parameter that is a conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera,
A camera parameter that measures the position of a known measurement target in a three-dimensional space with a stereo camera and uses the measurement data and the partial differential value of the model data to minimize the norm of the measurement data and the model data. It is configured as a calibration method of the stereo image sensor obtained by deriving A second aspect of the present invention uses a pseudo-inverse matrix to model a stereo image sensor in which the midpoint of the common normal line of the left and right lines of sight of the stereo camera is used as the least squares approximate solution, and the common normal line included in the model data is modeled. The evaluation function consisting of the length is partially differentiated by the camera parameter which is a conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera, and 3
The position of an arbitrary measurement object in the dimensional space is measured by a stereo camera, and camera parameters that minimize the norm of the evaluation function are derived using the measurement data and the partial differential value of the evaluation function. This is a calibration method for a stereo image sensor. Furthermore, it is a calibration method for a stereo image sensor that uses the least squares method to derive the camera parameters.
【0005】第3の発明は,擬似逆行列を用いてステレ
オカメラの左右の視線の共通法線の中点を最小自乗近似
解とするステレオ画像センサのモデリングを行い,上記
モデルデータを3次元空間の座標系とステレオカメラの
画面の座標系との変換係数であるカメラパラメータで偏
微分する第1の演算手段と,3次元空間内の既知の計測
対象物の位置をステレオカメラにより計測する第1の計
測手段と,上記計測データとモデルデータの偏微分値と
を用いて該計測データとモデルデータとのノルムを最小
にするようなカメラパラメータを導出する第1のキャリ
ブレーション手段とを具備してなるステレオ画像センサ
のキャリブレーション装置である。第4の発明は,擬似
逆行列を用いてステレオカメラの左右の視線の共通法線
の中点を最小自乗近似解とするステレオ画像センサのモ
デリングを行う第2のモデリング手段と,上記モデルデ
ータに含まれる共通法線の長さよりなる評価関数を3次
元空間の座標系とステレオカメラの画面の座標系との変
換係数であるカメラパラメータで偏微分する第2の演算
手段と,3次元空間内の任意の計測対象物の位置をステ
レオカメラにより計測する第2の計測手段と,上記計測
データと評価関数の偏微分値とを用いて該評価関数のノ
ルムを最小にするようなカメラパラメータを導出する第
2のキャリブレーション手段とを具備してなるステレオ
画像センサのキャリブレーション装置である。さらに
は,上記カメラパラメータの導出に最小自乗法を用いる
ステレオ画像センサのキャリブレーション装置である。A third aspect of the present invention uses a pseudo inverse matrix to model a stereo image sensor in which the midpoint of the common normal line of the left and right lines of sight of the stereo camera is used as a least squares approximate solution, and the model data is converted into a three-dimensional space. And a first computing means for performing partial differentiation with a camera parameter that is a conversion coefficient between the coordinate system of the stereo camera and the coordinate system of the screen of the stereo camera, and the first measuring the position of the known measurement target in the three-dimensional space with the stereo camera. And a first calibration means for deriving a camera parameter that minimizes the norm of the measurement data and the model data by using the measurement data and the partial differential value of the model data. This is a calibration device for a stereo image sensor. A fourth invention is a second modeling means for modeling a stereo image sensor using a pseudo-inverse matrix, wherein a midpoint of a common normal line of left and right lines of sight of a stereo camera is used as a least squares approximate solution, and the model data. Second calculation means for partially differentiating an evaluation function consisting of the length of the included common normal with a camera parameter which is a conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera, and in the three-dimensional space Second measurement means for measuring the position of an arbitrary measurement object with a stereo camera, and camera parameters that minimize the norm of the evaluation function are derived using the measurement data and the partial differential value of the evaluation function. A calibration device for a stereo image sensor, comprising a second calibration means. Furthermore, it is a calibration device for a stereo image sensor that uses the least squares method to derive the camera parameters.
【0006】[0006]
【作用】第1,第3の発明によれば,先ず擬似逆行列を
用いてステレオカメラの左右の視線の共通法線の中点を
最小自乗近似解とするステレオ画像センサのモデリング
が行われる。次に上記モデルデータが,3次元空間の座
標系とステレオカメラの画面の座標系との変換係数であ
るカメラパラメータで偏微分される。そして3次元空間
内の既知の計測対象物の位置がステレオカメラにより計
測され,上記計測データとモデルデータの偏微分値とを
用いて該計測データとモデルデータとのノルムを最小に
するようなカメラパラメータが導出される。上記モデリ
ングは,計測ノイズなどの現実のカメラ系に存在する誤
差を予め考慮しているため,左右の視線が厳密には交差
しない即ちエピポーラ条件が成立しないような現実のカ
メラ系のキャリブレーションを正確に行うことが可能と
なる。第2,第4の発明によれば,先ず擬似逆行列を用
いてステレオカメラの左右の視線の共通法線の中点を最
小自乗近似解とするステレオ画像センサのモデリングが
行われる。次に上記モデルデータに含まれる共通法線の
長さよりなる評価関数が,3次元空間の座標系とステレ
オカメラの画面の座標系との変換係数であるカメラパラ
メータで偏微分される。そして3次元空間内の任意の計
測対象物の位置がステレオカメラにより計測され,上記
計測データと評価関数の偏部分値とを用いて該評価関数
のノルムを最小にするようなカメラパラメータが導出さ
れる。この場合も計測ノイズなどの現実のカメラ系に存
在する誤差を予め考慮しているため,左右の視線が厳密
には交差しない即ちエピポーラ条件が成立しないような
現実のカメラ系のキャリブレーションを正確に行うこと
が可能となる。さらに,ここではカメラパラメータのみ
の関数である評価関数を用いるため,3次元空間内の計
測対象物の位置データを必要としないセルフキャリブレ
ーションを行うことができる。さらに,上記カメラパラ
メータの導出に最小自乗法を用いれば,他の種類の最適
化アルゴリズムを用いる場合と比べて比較的信頼性が高
くかつ高精度なキャリブレーション結果を得ることがで
きる。According to the first and third aspects of the present invention, the stereo image sensor is first modeled using the pseudo-inverse matrix with the midpoint of the common normal line of the left and right lines of sight of the stereo camera as the least squares approximate solution. Next, the model data is partially differentiated by a camera parameter which is a conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera. Then, the position of the known measurement target in the three-dimensional space is measured by a stereo camera, and the norm of the measurement data and the model data is minimized by using the measurement data and the partial differential value of the model data. Parameters are derived. Since the above modeling takes into consideration errors existing in a real camera system such as measurement noise in advance, it is necessary to accurately calibrate the real camera system so that the left and right eyes do not exactly intersect, that is, the epipolar condition is not established. It becomes possible to do it. According to the second and fourth aspects of the invention, the modeling of the stereo image sensor is first performed using the pseudo-inverse matrix with the midpoint of the common normal line of the left and right lines of sight of the stereo camera as the least squares approximate solution. Next, the evaluation function consisting of the length of the common normal included in the model data is partially differentiated by the camera parameter which is a conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera. Then, the position of an arbitrary measurement object in the three-dimensional space is measured by a stereo camera, and camera parameters that minimize the norm of the evaluation function are derived using the measurement data and the partial value of the evaluation function. It In this case as well, since errors existing in the actual camera system such as measurement noise are taken into consideration in advance, it is necessary to accurately calibrate the actual camera system so that the left and right eyes do not exactly intersect, that is, the epipolar condition is not established. It becomes possible to do. Furthermore, since an evaluation function that is a function of only camera parameters is used here, self-calibration that does not require position data of the measurement target in the three-dimensional space can be performed. Furthermore, if the least squares method is used for deriving the camera parameters, it is possible to obtain a highly reliable and highly accurate calibration result as compared with the case of using another type of optimization algorithm.
【0007】[0007]
【実施例】以下添付図面を参照して,本発明を具体化し
た実施例につき説明し,本発明の理解に供する。尚,以
下の実施例は,本発明を具体化した一例であって,本発
明の技術的範囲を限定する性格のものではない。ここ
に,図1は本発明の第1の実施例に係るステレオ画像セ
ンサのキャリブレーション方法の概略処理フローを示す
ブロック図,図2は上記ステレオ画像センサのキャリブ
レーション方法を適用可能な装置の概略構成を示すブロ
ック図,図3はステレオ視覚センサの座標系の説明図,
図4は射影変換の説明図,図5はワールド座標系からス
クリーン座標系へのマッピングの概念図,図6は左右の
視線の幾何学的関係を示す説明図,図7はキャリブレー
ションデータの作成の様子を示す説明図,図8は本発明
の第2の実施例に係るステレオ画像センサのキャリブレ
ーション方法の概略処理フローを示すブロック図であ
る。図1に示すごとく,第1の発明の一実施例(第1の
実施例)に係るステレオ画像センサのキャリブレーショ
ン方法は,擬似逆行列を用いて2台のカメラよりなるス
テレオカメラの左右の視線の共通法線の中点を最小自乗
近似解とするステレオ画像センサのモデリングを行い
(S1),上記モデルデータを3次元空間の座標系とス
テレオカメラの画面の座標系との変換係数であるカメラ
パラメータで偏微分し(S2),3次元空間内の既知の
計測対象物の位置をステレオカメラにより計測し(S
3),上記計測データとモデルデータの偏微分値とを用
いて該計測データとモデルデータとのノルムを最小にす
るようなカメラパラメータを導出する(S4)ように構
成されている。さらに,上記カメラパラメータの導出に
最小自乗法を用いることとしてもよい。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments embodying the present invention will be described below with reference to the accompanying drawings for the understanding of the present invention. The following embodiments are examples of embodying the present invention and are not intended to limit the technical scope of the present invention. 1 is a block diagram showing a schematic processing flow of a calibration method for a stereo image sensor according to a first embodiment of the present invention, and FIG. 2 is a schematic diagram of an apparatus to which the calibration method for a stereo image sensor can be applied. Block diagram showing the configuration, FIG. 3 is an explanatory diagram of the coordinate system of the stereo vision sensor,
4 is an explanatory diagram of projective transformation, FIG. 5 is a conceptual diagram of mapping from the world coordinate system to the screen coordinate system, FIG. 6 is an explanatory diagram showing the geometrical relationship between the left and right lines of sight, and FIG. 7 is the creation of calibration data. FIG. 8 is a block diagram showing a schematic processing flow of a calibration method for a stereo image sensor according to a second embodiment of the present invention. As shown in FIG. 1, a stereo image sensor calibration method according to an embodiment (first embodiment) of the first aspect of the present invention uses a pseudo inverse matrix to determine the left and right line of sight of a stereo camera including two cameras. A stereo image sensor is modeled with the midpoint of the common normal line of the above as a least squares approximate solution (S1), and the model data is converted into a camera that is a conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera Partial differentiation with a parameter (S2), and the position of a known measurement target in the three-dimensional space is measured by a stereo camera (S2).
3), using the measurement data and the partial differential value of the model data, a camera parameter that minimizes the norm of the measurement data and the model data is derived (S4). Furthermore, the least squares method may be used to derive the camera parameters.
【0008】上記方法を適用可能な装置を図2に示す。
即ち,このキャリブレーション装置1が第3の発明であ
り,図2中のステレオ画像モデリング装置3(第1のモ
デリング手段に相当)により上記方法におけるステップ
S1を,微分装置4(第1の演算手段に相当)によりス
テップS2を,ステレオカメラ2(第1の計測手段に相
当)及びキャリブレーション用データ記憶装置5により
上記ステップS3を,ステレオカメラパラメータ計算装
置6(第1のキャリブレーション手段に相当)により,
上記ステップS4をそれぞれ実行する。実行結果はカメ
ラパラメータ記憶手段7に記憶され,ステレオカメラ2
による実際の計測に供される。以下,上記方法の手順に
従って基本原理を明らかにする。 (ステップS1)擬似逆行列を用いたステレオ画像計測
装置のモデリング 2台のカメラを用いて図3に示すようにワールド座標系
Σw で記述される参照点w xの位置を計測する。左右の
カメラの撮像面(スクリーン)をそれぞれπL,πR と
する。左右のスクリーンの位置と姿勢とは各々のスクリ
ーン上に設定された座標系ΣLS,ΣRSで記述する。スク
リーン座標系は,上記図3に示すごとく,レンズ中心を
通るスクリーンの法線方向とスクリーンとの交点を原点
として,法線方向をk軸と,k軸に直交する走査線の方
向をi軸と,これら2軸に直交する方向をj軸とそれぞ
れ定義する(右手系)。An apparatus to which the above method can be applied is shown in FIG.
That is, the calibration device 1 is the third invention, and the step S1 in the above method is performed by the stereo image modeling device 3 (corresponding to the first modeling means) in FIG. 2 and the differentiating device 4 (first computing means). Corresponding to step S2), the stereo camera 2 (corresponding to the first measuring means) and the calibration data storage device 5 through step S3, and the stereo camera parameter calculating device 6 (corresponding to the first calibrating means). Due to
The above step S4 is executed. The execution result is stored in the camera parameter storage means 7, and the stereo camera 2
It is used for the actual measurement by. Below, the basic principle is clarified according to the procedure of the above method. (Step S1) Modeling of Stereo Image Measuring Device Using Pseudo Inverse Matrix The position of the reference point w x described in the world coordinate system Σ w as shown in FIG. 3 is measured using two cameras. Let the imaging planes (screens) of the left and right cameras be π L and π R , respectively. The position and orientation of the left and right screens are described by the coordinate systems Σ LS and Σ RS set on each screen. As shown in FIG. 3, the screen coordinate system has an origin at the intersection of the screen normal line passing through the center of the lens and the screen, the normal line direction is the k axis, and the scanning line direction orthogonal to the k axis is the i axis. And the direction orthogonal to these two axes is defined as the j axis (right-handed system).
【0009】次にワールド座標系から見た左右のスクリ
ーンの座標系の位置と姿勢とを同時変換を用いてそれぞ
れw ALS,w ARSとする。Next, the positions and orientations of the coordinate systems of the left and right screens viewed from the world coordinate system are converted into w A LS and w A RS , respectively, using simultaneous conversion.
【数1】 次に図4に示すようにスクリーン座標系ΣS で記述され
た参照点S xは以下に示す射影変換によりスクリーン座
標系ΣS 上の点P Xへ射影される。[Equation 1] Next reference points S x written in the screen coordinate system sigma S as shown in FIG. 4 is projected to the point P X on the screen coordinate system sigma S by projective transformation described below.
【数2】 ただし,f(>0)はスクリーン座標原点とカメラ中心
との距離(焦点距離)である。ここでz成分は意味を持
たないため消去する。[Equation 2] However, f (> 0) is the distance (focal length) between the screen coordinate origin and the camera center. Here, since the z component has no meaning, it is deleted.
【数3】 次に同次変換形式で,各点は次のように記述される。(Equation 3) Next, in the homogeneous conversion format, each point is described as follows.
【数4】 上記(4)式を左右のスクリーンについて記述すると,
次のようになる。[Equation 4] If the above equation (4) is described for the left and right screens,
It looks like this:
【数5】 (Equation 5)
【0010】ここで,上記(6)式の射影変換を次のよ
うに定義する。Here, the projective transformation of the above equation (6) is defined as follows.
【数6】 そして,上記(5)式の表現で上記(6)式を書き直
す。(Equation 6) Then, the above expression (6) is rewritten by the expression of the above expression (5).
【数7】 上記(10)式を1つにまとめると,次式が得られる。(Equation 7) If the above equation (10) is put together into one, the following equation is obtained.
【数8】 結局,上記(11)式及び(Equation 8) After all, the above equation (11) and
【数9】 により,ワールド座標系の参照点W xがスクリーン座標
系の投影点P Xにマッピングされることになる。実際に
は,スクリーン(CCD面)からフレームバッファ上へ
の変換には,サンプリング等の影響による歪みが生じ
る。この歪みは,用いるCCD素子,データ入力装置,
CCDの取り付け精度などのハードウエア特性に依存す
るため,一般的な歪み変換式を表現するのは困難であ
る。しかし,いずれにせよ,ハードウエアの特性に応じ
た構造の歪み変換を上記(10)式に施したものを新た
にP Xと定義しなおせばよいため,ここではフレームバ
ッファの歪に関する議論は行わないこととする。[Equation 9] As a result, the reference point Wx in the world coordinate system is mapped to the projection point Px in the screen coordinate system. In reality, the conversion from the screen (CCD surface) to the frame buffer is distorted due to the influence of sampling or the like. This distortion is due to the CCD element used, the data input device,
Since it depends on hardware characteristics such as the mounting accuracy of the CCD, it is difficult to express a general distortion conversion formula. However, in any case, since the distortion transformation of the structure according to the characteristics of the hardware is applied to the above equation (10), it is only necessary to redefine it as P X. Therefore, the discussion on the distortion of the frame buffer is performed here. I will not.
【0011】各カメラの取り付け位置,焦点距離,フレ
ームバッファの歪み等を表現するパラメータをカメラパ
ラメータcと定義する。ここでは,上記(1),(6)
式における各パラメータ,A parameter expressing the mounting position of each camera, the focal length, the distortion of the frame buffer, etc. is defined as a camera parameter c. Here, the above (1), (6)
Each parameter in the expression,
【数10】 が,具体的なカメラパラメータとなり,キャリブレーシ
ョンとはこれらのパラメータの値を正確の導出すること
に他ならない。スクリーン空間の点P Xは,ワールド座
標系の参照点W xとカメラパラメータcとを変数とする
関数gでマッピングされることになる。この関係及びそ
の逆関係を模式的に表現すると,図5のようになる。次
に上記マッピングとは逆に,スクリーン座標系の投影点
P Xからワールド座標系の参照点W xへのマッピングを
行う。このために,まず上記(11)式の変換マトリク
スを次のように定義する。[Equation 10] However, it becomes a concrete camera parameter, and calibration is nothing but derivation of the values of these parameters. The point P X in the screen space is mapped by the function g having the reference point W x in the world coordinate system and the camera parameter c as variables. FIG. 5 is a schematic representation of this relationship and its inverse relationship. Next, conversely to the above mapping, the projection point of the screen coordinate system
Mapping from P X to the reference point W x in the world coordinate system. For this purpose, first, the transformation matrix of the above equation (11) is defined as follows.
【数11】 ここで,ML ,MR は3×4行列,mLi,mRi(i=
1,2,3)は1×4行列である。上記(10)式と
(14)式とに関し,左側のスクリーンについて考える
と,次のようになる。[Equation 11] Here, M L and M R are 3 × 4 matrices, m Li and m Ri (i =
1, 2, 3) is a 1 × 4 matrix. Regarding the above equations (10) and (14), considering the screen on the left side is as follows.
【数12】 (Equation 12)
【0012】また,上記(15)式の第1,2行のみを
以下のように記述する。Further, only the first and second lines of the above equation (15) will be described as follows.
【数13】 右スクリーンにおいても同様に次式が導かれる。(Equation 13) The following equation is similarly derived on the right screen.
【数14】 上記(17),(19)式を1つにまとめる。[Equation 14] The above equations (17) and (19) are combined into one.
【数15】 上記(20)式の右辺を左辺に移項して次式を得る。(Equation 15) The right side of the above equation (20) is transposed to the left side to obtain the following equation.
【数16】 上記(21)式の行列を次のようにおく。[Equation 16] The matrix of the above equation (21) is set as follows.
【数17】 [Equation 17]
【0013】ここで,Lはカメラパラメータcとスクリ
ーン座標上の投影点P Xの関数である4×4行列であ
る。関数Lを次のように4×3行列L1 と4×1行列l
2 とに分離する。Here, L is a 4 × 4 matrix which is a function of the camera parameter c and the projection point P X on the screen coordinates. Let the function L be a 4 × 3 matrix L 1 and a 4 × 1 matrix l as
Separate into 2 .
【数18】 このとき,上記(21)式は次のようになる。(Equation 18) At this time, the above equation (21) becomes as follows.
【数19】 上記(24)式を解くことにより,ワールド座標空間の
点(W x,W y,W z)が求められる。上記(24)式
はW x,W y,W zを未知変数とする3元連立方程式で
あるが,方程式は全部で4個ある。上記(24)式に解
が存在するための必要十分条件は,次のようになる。[Formula 19] By solving the above equation (24), the point in the world coordinate space (W x, W y, W z) is determined. The above equation (24) is a ternary simultaneous equation with unknown variables W x, W y, and W z, but there are four equations in total. The necessary and sufficient conditions for the solution to exist in the equation (24) are as follows.
【数20】 この意味を幾何学的に考えると,上記(25)式が成立
することは,すなわち,図6(a)式に示すように,左
右のカメラ系の視点が交点(=〔W x W y W z〕)を
持つ,すなわちエピポーラ条件を仮定することに等し
い。一方,現実には左右のカメラ系の視線は交点を持つ
以外に,図6(b)に示すようなねじれの位置や図6
(c)に示すような視線が一致する場合がある。[Equation 20]Considering this meaning geometrically, the above equation (25) holds.
That is, as shown in the equation (a) of FIG.
The viewpoint of the camera system on the right intersects (= [WxWy Wz])
Having, ie assuming an epipolar condition, etc.
Yes. On the other hand, in reality, the lines of sight of the left and right camera systems have an intersection.
In addition, the position of the twist as shown in FIG.
The lines of sight as shown in (c) may match.
【0014】ここで,左右のカメラ系の視線が交点を持
たないとき(図6(b))は,視線の共通法線の中点を
解と考える。このとき,上記(24)式の解は最小自乗
近似解となり,すなわち,行列L1 の擬似逆行列L1 +
を用いて次のようになる。Here, when the lines of sight of the left and right camera systems do not have an intersection (FIG. 6B), the midpoint of the common normal to the lines of sight is considered to be the solution. At this time, the solution of the (24) becomes the least square approximation solution, i.e., pseudo-inverse of the matrix L 1 L 1 +
Using
【数21】 理想的には左右の視線は交点を持つが,現実には物理的
な誤差のため図6(b)に示すような状態になっている
と考える。上記(26)式により,スクリーン座標系の
投影点P Xがワールド座標系の参照点w xへマッピング
される。この解は左右のレンズ中心と撮像点とを結ぶ直
線(視線)の共通法線の中点を与える。 (ステップS2)微分関係の導出 上記(11)式,(12)式及び(26)式により,ス
クリーン座標系の投影点P Xとワールド座標系の参照点
W xとのマッピングが,カメラパラメータcを介して図
5に示すような関数f,gにて行われる。[Equation 21] Ideally, the left and right lines of sight have an intersection, but in reality, it is considered that the state is as shown in FIG. 6B due to a physical error. The projection point P X in the screen coordinate system is mapped to the reference point w x in the world coordinate system by the equation (26). This solution gives the midpoint of the common normal line of the straight lines (line of sight) connecting the left and right lens centers and the imaging point. (Step S2) Derivation of differential relationship From the above equations (11), (12), and (26), the projection point P X of the screen coordinate system and the reference point of the world coordinate system
Mapping with W x is performed by the functions f and g as shown in FIG. 5 via the camera parameter c.
【数22】 [Equation 22]
【0015】ここでは,マトリクスの微分を以下のよう
に行うこととする。m×n次のマトリクスAが,b
kl(k=1,2,…,p;l=1,2,…,q)を
(k,l)要素とするp×q次のマトリクスBの各要素
bklであって,マトリクスAが微分可能であるとき,マ
トリクスAのBに関する微分は次のようなmp×nq次
のマトリクスになる。Here, the matrix is differentiated as follows. The matrix A of m × n order is b
kl (k = 1,2, ..., p; l = 1,2, ..., q) is each element b kl of a p × q-order matrix B having (k, l) elements, and the matrix A is When differentiable, the matrix A is differentiated with respect to B in the following mp × nq order matrix.
【数23】 とくにマトリクスBが1×q次の行ベクトルbであると
き,マトリクスAの行ベクトルbに関する微分は次のよ
うにm×nq次のマトリクスとなる。(Equation 23) Particularly, when the matrix B is the row vector b of the 1 × q order, the differentiation of the matrix A with respect to the row vector b is a matrix of the m × nq order as follows.
【数24】 以下,スクリーン座標系の投影点P Xが与えられたとき
に,カメラパラメータcの誤差により,ワールド座標系
の参照点W xを導出する計算に生じる誤差を導出する。
このとき,微分関係は次のようになる。[Equation 24] Hereinafter, when the projection point P X of the screen coordinate system is given, the error that occurs in the calculation for deriving the reference point W x of the world coordinate system is derived due to the error of the camera parameter c.
At this time, the differential relationship is as follows.
【数25】 ここに,Nはカメラパラメータcの数(本第1の実施例
では14)である。計算を容易にするために,上記(2
6)式に基づいて,上記(30)式の計算を実行する。(Equation 25) Here, N is the number of camera parameters c (14 in the first embodiment). To facilitate the calculation, the above (2
The calculation of the above equation (30) is executed based on the equation (6).
【0016】[0016]
【数26】 以下,上記(31)式のマトリクス積の偏微分の計算を
行う。計算の途中ではカメラパラメータcをp×q行列
(実際には1×N行列)とし,Ik はk×kの単位行列
である。次にm×n次のマトリクスAとp×q次のマト
リクスBにおいてクロネッカ積を次のように定義する。(Equation 26) Hereinafter, the partial differential of the matrix product of the above equation (31) is calculated. During the calculation, the camera parameter c is a p × q matrix (actually, a 1 × N matrix), and I k is a k × k unit matrix. Next, the Kronecker product in the matrix A of m × n order and the matrix B of p × q order is defined as follows.
【数27】 即ちクロネッカ積は,aijBを(i,j)ブロックとす
るブロックマトリクスである。計算の準備として,積が
定義されている行列H=ABCをカメラパラメータcで
微分する。[Equation 27] That is, the Kronecker product is a block matrix in which a ij B is an (i, j) block. As a preparation for calculation, the matrix H = ABC in which the product is defined is differentiated with the camera parameter c.
【数28】 上記(33)式に,マトリクスA=(L1 t L1 )-1,
B=L1 t ,C=L2を代入して, 上記(31)式の偏
微分を実行する。[Equation 28] In the above equation (33), the matrix A = (L 1 t L 1 ) −1 ,
B = L 1 t, by substituting C = L 2, executes the partial differential of the equation (31).
【0017】[0017]
【数29】 ここで,上記(37)式に対して,[Equation 29] Here, with respect to the above equation (37),
【数30】 を代入すると,次式が得られる。[Equation 30] Substituting for, we obtain
【数31】 上記(39)式を整理して,上記(30)式に代入す
る。[Equation 31] The above equation (39) is organized and substituted into the above equation (30).
【数32】 尚,従来手法のエピポーラ条件の仮定,即ち,上記(2
5)式を拘束条件として仮定したモデリング手法では,[Equation 32] Assuming the epipolar condition of the conventional method, that is, (2)
In the modeling method that assumes equation (5) as a constraint,
【数33】 より,上記(40)式の右辺の第2項の影響が無視され
た形になっており,厳密性を欠いていた。本第1の実施
例では上記(40)式により,スクリーン座標系からワ
ールド座標系の微分関係,即ち,スクリーン座標系の投
影点P Xが与えられたときに,カメラパラメータcの誤
差(微小変化)及び量子化などの投影点そのものの誤差
によりワールド座標系の参照点w xを導出する途中に生
じる誤差が計算される。[Expression 33] As a result, the influence of the second term on the right side of the above equation (40) was ignored, and lack of rigor. In the first embodiment, when the differential relationship between the screen coordinate system and the world coordinate system, that is, the projection point P X of the screen coordinate system is given by the above equation (40), the error (small change in the camera parameter c) ) And the error of the projection point itself such as quantization, the error that occurs during the derivation of the reference point w x in the world coordinate system is calculated.
【0018】(ステップS3)キャリブレーション用デ
ータの収集 図7に示すように,ワールド座標系における位置が既知
の計測点(Step S3) Collection of Calibration Data As shown in FIG. 7, measurement points whose positions in the world coordinate system are known.
【数34】 を用意し,それらを左右のカメラで撮像したデータを次
のように求める。(Equation 34) Are prepared, and the data obtained by capturing them with the left and right cameras are obtained as follows.
【数35】 ただし,mは計測点の個数である。ワールド座標系の計
測点の位置と個数とは,後記する(45)式の行列Jの
ランクがN(カメラパラメータcの個数)以上になるよ
うに選ぶ。 (ステップS4)キャリブレーション計算 上記(42),(43)式のデータと,上記(26),
(40)式とを用いて上記(13)式のカメラパラメー
タcを導出する。 (ステップS4a)カメラパラメータの初期値[Equation 35] However, m is the number of measurement points. The positions and the number of measurement points in the world coordinate system are selected so that the rank of the matrix J of the equation (45) described later is N (the number of camera parameters c) or more. (Step S4) Calibration Calculation The data of the above equations (42) and (43) and the above (26),
The camera parameter c of the equation (13) is derived using the equation (40). (Step S4a) Initial values of camera parameters
【数36】 と収束判定基準e(>0)とを与える。[Equation 36] And the convergence criterion e (> 0).
【0019】(ステップS4b)上記(42),(4
3)式の計測データを用いて次の量を計算する。(Step S4b) Above (42), (4
The following amount is calculated using the measurement data of the equation 3).
【数37】 (ステップS4c) Δx=w xD −w xN …(46) を計算し, |Δx|≦e …(47) ならば終了する。 (ステップS4d) Δw x=JΔcT …(48) より, ΔcT =J+ Δw x〔(JT J)-1JT 〕Δw x …(49) を計算する。 (ステップS4e) c←c+Δc …(50) として,ステップS4bへ戻る。上記の反復計算によ
り,カメラパラメータcを高精度に導出することが可能
となる。(37) (Step S4c) Δx = w x D - w x N ... calculate the (46), | Δx | ≦ e ... (47) if completed. From (Step S4d) Δ w x = JΔc T ... (48), calculates the Δc T = J + Δ w x [(J T J) -1 J T] Δ w x ... (49). (Step S4e) c ← c + Δc (50) and the process returns to step S4b. With the above iterative calculation, the camera parameter c can be derived with high accuracy.
【0020】このように,本第1の実施例におけるモデ
リングは,計測ノイズなどの現実のカメラ系に存在する
誤差を予め考慮しているため,左右の視線が厳密には交
差しない,即ちエピポーラ条件が満足しないような現実
のカメラ系のキャリブレーションを正確に行うことが可
能となる。尚,上記第1の実施例では計測対象物の実デ
ータとモデルデータとのノルムを最小にするカメラパラ
メータを最小自乗法により導出することにより,キャリ
ブレーションを正確に行うことができたが,実使用に際
しては,他の種類の最適化アルゴリズムを用いても良
い。ただし,信頼性に優れる最小自乗法によれば,他の
種類の最適化アルゴリズムを用いる場合と比べて比較的
信頼性が高くかつ高精度なキャリブレーション結果を得
ることができる。ところで上記第1の実施例では,3次
元空間内の計測対象物の既知の位置データを必要とした
が,これを必要としないセルフキャリブレーションを実
現したのが次に述べる第2,第4の発明である。。第2
の発明の一実施例(第2の実施例)に係るステレオ画像
センサのキャリブレーション方法は,擬似逆行列を用い
てステレオカメラの左右の視線の共通法線の中点を最小
自乗近似解とするステレオ画像センサのモデリングを行
い(S11),上記モデルデータに含まれる共通法線の
長さよりなる評価関数を3次元空間の座標系とステレオ
カメラの画面の座標系との変換係数であるカメラパラメ
ータで偏微分し(S12),3次元空間内の任意の計測
対象物の位置をステレオカメラにより計測し(S1
3),上記計測データと評価関数の偏微分値とを用いて
該評価関数のノルムを最小にするようなカメラパラメー
タを導出する(S14)ように構成されている。As described above, since the modeling in the first embodiment takes into consideration the error existing in the actual camera system such as the measurement noise in advance, the left and right lines of sight do not exactly intersect, that is, the epipolar condition. It is possible to accurately perform the calibration of the actual camera system that does not satisfy the above condition. In the first embodiment, the calibration can be performed accurately by deriving the camera parameter that minimizes the norm between the actual data of the measurement object and the model data by the least square method. In use, other types of optimization algorithms may be used. However, according to the least-squares method, which is excellent in reliability, it is possible to obtain a highly reliable and highly accurate calibration result as compared with the case of using another type of optimization algorithm. By the way, in the first embodiment, the known position data of the measuring object in the three-dimensional space is required. However, the self-calibration that does not require the data is realized in the following second and fourth embodiments. It is an invention. . Second
In a calibration method for a stereo image sensor according to an embodiment (second embodiment) of the invention, the pseudo-inverse matrix is used to set the midpoint of the common normal line of the left and right lines of sight of the stereo camera to the least squares approximate solution. A stereo image sensor is modeled (S11), and an evaluation function consisting of the length of the common normal included in the model data is set as a camera parameter which is a conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera. Partial differentiation (S12), and the position of an arbitrary measurement object in the three-dimensional space is measured by a stereo camera (S1
3), it is configured to derive a camera parameter that minimizes the norm of the evaluation function using the measurement data and the partial differential value of the evaluation function (S14).
【0021】さらに,上記カメラパラメータの導出に最
小自乗法を用いることとしてもよい。この方法について
も,上記第1の実施例で用いた装置を用いることができ
る。即ちその場合のキャリブレーション装置1が第4の
発明であり,図2中のステレオ画像モデリング装置3
(第2のモデリング手段に相当)は,上記ステップS1
1を,微分装置4(第2の演算手段に相当)は上記ステ
ップS12を,ステレオカメラ2(第2の計測手段に相
当)と,キャリブレーション用データ記憶装置5は上記
ステップS13を,ステレオカメラパラメータ装置6
(第2のキャリブレーション手段に相当)は,上記ステ
ップS14をそれぞれ実行する。その実行結果はカメラ
パラメータ記憶装置7に記憶され,ステレオカメラ2に
よる実際の計測に供される。以下この方法の手順に従っ
て基本原理を明らかにする。上記ステップS11につい
ては,上記第1の実施例のステップS1と同様である。
しかし,本第2の実施例のステップS12以降では,次
のような評価関数を用いる。 (ステップS12)評価関数の設定とその微分関係の導
出 上記(26)式において, x=〔w x w y w z〕T …(27)′ と書き直すと, L1 x+l2 =0 …(28)′ となる。ここで,次のように最小自乗解を用いる。Further, the least squares method may be used to derive the camera parameters. Also for this method, the apparatus used in the first embodiment can be used. That is, the calibration device 1 in that case is the fourth invention, and the stereo image modeling device 3 in FIG.
(Corresponding to the second modeling means) is the above step S1.
1, the differentiating device 4 (corresponding to the second calculating means) performs the above step S12, the stereo camera 2 (corresponding to the second measuring means), and the calibration data storage device 5 performs the above step S13. Parameter device 6
(Corresponding to the second calibration means) executes the above step S14. The execution result is stored in the camera parameter storage device 7 and used for actual measurement by the stereo camera 2. The basic principle will be clarified below according to the procedure of this method. The step S11 is the same as the step S1 of the first embodiment.
However, the following evaluation function is used after step S12 of the second embodiment. (Step S12) Setting of evaluation function derived above its differential relationship (26), x = [w x w y w z] T ... is rewritten as (27) ', L 1 x + l 2 = 0 ... (28 ) ′. Here, the least squares solution is used as follows.
【数38】 (38)
【0022】即ち,上記(29)′式は,擬似逆行列を
用いた解が最小自乗解であり,かつ,その最小自乗値を
示している。幾何学的には,この最小自乗値は左右の自
然の共通法線の距離であり,エピポーラ条件を満たす場
合には0となる。しかし,実際には,エピポーラ条件が
成立しないため,0より大きい値を持つ。そこで,上記
(29)′式の値をエピポーラ条件に対する満足度(評
価関数)と考え,That is, in the above equation (29) ', the solution using the pseudo-inverse matrix is the least squares solution, and its least squares value is shown. Geometrically, this least square value is the distance between the natural normals on the left and right, and is 0 when the epipolar condition is satisfied. However, in reality, since the epipolar condition is not satisfied, it has a value larger than 0. Therefore, the value of the equation (29) ′ is considered to be the satisfaction degree (evaluation function) for the epipolar condition,
【数39】 のようにできるだけエピポーラ条件を満足するようにカ
メラパラメータを求める。即ち,ここではできるだけ評
価関数を小さくするようにする。ここで,注目すべきこ
とは,評価関数Me (c)はカメラパラメータcのみの
関数であり,参照点xの位置情報を必要としない。この
評価関数をカメラパラメータで微分する準備として,式
を展開し,簡単化しておく。[Formula 39] The camera parameters are calculated so that the epipolar condition is satisfied as shown in. That is, here, the evaluation function is made as small as possible. Here, it should be noted that the evaluation function M e (c) is a function of only the camera parameter c and does not require the position information of the reference point x. As a preparation for differentiating this evaluation function by the camera parameters, the formula is expanded and simplified.
【数40】 次に上記(33)′式の評価関数Me をカメラパラメー
タcにより偏微分する。本第2の実施例では,マトリク
スのベクトルによる微分は以下のように行うこととす
る。(Equation 40) Then partially differentiated by the camera parameters c an evaluation function M e of (33) 'type. In the second embodiment, the matrix vector differentiation is performed as follows.
【0023】m×n次のマトリクスAがbkl(k=1,
2,…,p;l=1,2,…,q)を(k,l)要素と
するp×q時のマトリクスBの各要素bklでマトリクス
Aが微分可能であるとき,マトリクスAのBに関する微
分は,次のようなmp×nq次のマトリクスになる。The matrix A of m × n order is b kl (k = 1,
, ..., p; l = 1,2, ..., q) is a (k, l) element, and when the matrix A is differentiable by each element b kl of the matrix B at p × q, The differential with respect to B becomes the following mp × nq-th matrix.
【数41】 特に,マトリクスBが1×q次の行ベクトルbであると
き,マトリクスAのbに関する微分は,次のようなm×
nq次のマトリクスとなる。[Formula 41] In particular, when the matrix B is a row vector b of 1 × q degree, the differentiation of the matrix A with respect to b is m ×
It becomes an nqth order matrix.
【数42】 計算の途中では,カメラパラメータcをp×q行列,実
際には1×N行列:Nはカメラパラメータcの数(本第
2の実施例でも14)とし,Ik はk×kの単位行列で
ある。次にm×n次のマトリクスAとp×q次のマトリ
クスBにおいてクロネッカ積を次のように定義する。(Equation 42) In the middle of the calculation, the camera parameter c is a p × q matrix, actually 1 × N matrix: N is the number of camera parameters c (14 in the second embodiment), and I k is a k × k unit matrix. Is. Next, the Kronecker product in the matrix A of m × n order and the matrix B of p × q order is defined as follows.
【数43】 即ちクロネッカ積は,aijBを(i,j)ブロックとす
るブロックマトリクスである。計算の準備として,積が
定義される行列H=ABCをカメラパラメータcで微分
する。[Equation 43] That is, the Kronecker product is a block matrix in which a ij B is an (i, j) block. As a preparation for calculation, the matrix H = ABC in which the product is defined is differentiated with the camera parameter c.
【数44】 [Equation 44]
【0024】エピポーラ誤差測度である評価関数Me の
カメラパラメータcによる微分関係は次式で与えられ
る。The differential relationship of the evaluation function M e , which is an epipolar error measure, with the camera parameter c is given by the following equation.
【数45】 (ステップS13)キャリブレーション用データの収集 図7に示すようにワールド座標系における計測点 W xi =〔W xi W yi W zi 〕T (i=1,…,m) …(45)′ を用意し,それらを左右のカメラで撮像したデータを次
のように求める。[Equation 45] (Step S13) measuring points in the world coordinate system as shown in Collection Figure 7 data for calibration W x i = [W x i W y i W z i ] T (i = 1, ..., m) ... (45 ) ′ Is prepared, and the data obtained by capturing them with the left and right cameras is obtained as follows.
【数46】 ここに,mは計測点の個数である。ワールド座標系の計
測点の位置と個数とは後記する(48)′式の行列Js
のランクがN(カメラパラメータcの個数)以上になる
ように選ぶ。 (ステップS14)キャリブレーション計算 上記(46)′式のデータと,上記(35)′,(4
3)′式とを用いて前記(13)式のパラメータを導出
する。 (ステップS14a)カメラパラメータの初期値[Equation 46] Here, m is the number of measurement points. The position and number of measurement points in the world coordinate system are the matrix J s of the equation (48) ′ described later.
Is selected so that the rank is N or more (the number of camera parameters c). (Step S14) Calibration Calculation The data of the equation (46) ′ and the equation (35) ′, (4
3) ′ equation is used to derive the parameters of the equation (13). (Step S14a) Initial values of camera parameters
【数47】 と収束判定条件e(>0)を与える。[Equation 47] And a convergence determination condition e (> 0) are given.
【0025】(ステップS14b)上記(46)′式の
計測データを用いて次の量を計算する。(Step S14b) The following quantity is calculated using the measurement data of the above equation (46) '.
【数48】 (ステップS14c) ΔM=0−M=−M …(49)′ より, |ΔM|≦e …(50)′ ならば終了する。 (ステップS14d) ΔM=Js ΔcT …(51)′ より, ΔcT =Js + ΔM=〔(Js T Js )-1Js T 〕ΔM …(52)′ を計算する。 (ステップS14e) c←c+Δc …(53)′ として,ステップS14bへ戻る。[Equation 48] (Step S14c) From ΔM = 0-M = -M (49) ', if | ΔM | ≤e (50)', the process ends. (Step S14d) From ΔM = J s Δc T (51) ′, Δc T = J s + ΔM = [(J s T J s ) −1 J s T ] ΔM (52) ′ is calculated. (Step S14e) c ← c + Δc (53) ′, and the process returns to step S14b.
【0026】上記の反復計算により,カメラパラメータ
cを高精度に導出することが可能となる。このように,
本第2の実施例においても,前記第1の実施例と同様,
計測ノイズなどの現実のカメラ系に存在する誤差を予め
考慮しているため,左右の視線が現実には交差しないす
なわちエピポーラ条件が成立しないような現実のカメラ
系のキャリブレーションを正確に行うことが可能とな
る。これに加えて,本第2の実施例では評価関数はカメ
ラパラメータのみの関数であり,参照点の位置情報を必
要としないため,3次元空間内の計測対象物の位置デー
タを必要としないセルフキャリブレーションを行うこと
ができる。尚,上記第2の実施例でも,前記第1の実施
例と同様にカメラパラメータの導出に最小自乗法を用い
て正確なキャリブレーションを行うことができるが,実
使用に際しては他の種類の最適化アルゴリズムを用いて
もよい。ただし,この場合も最小自乗法によれば他の種
類の最適化アルゴリズムを用いる場合と比べて比較的信
頼性が高くかつ高精度なキャリブレーション結果を得る
ことができる。By the above iterative calculation, the camera parameter c can be derived with high accuracy. in this way,
Also in the second embodiment, as in the first embodiment,
Since the errors existing in the actual camera system such as measurement noise are taken into consideration in advance, it is possible to accurately calibrate the actual camera system so that the left and right eyes do not actually intersect, that is, the epipolar condition does not hold. It will be possible. In addition to this, in the second embodiment, the evaluation function is a function of only camera parameters and does not need the position information of the reference point, so that the position data of the measurement object in the three-dimensional space is not needed. Calibration can be performed. Also in the second embodiment, as in the first embodiment, it is possible to perform accurate calibration by using the least squares method for deriving the camera parameters. However, in actual use, other types of optimization are possible. A conversion algorithm may be used. However, also in this case, according to the method of least squares, it is possible to obtain a highly reliable and highly accurate calibration result as compared with the case of using another type of optimization algorithm.
【0027】[0027]
【発明の効果】第1,第3の発明に係るステレオ画像セ
ンサのキャリブレーション方法及びその装置は,上記し
たように構成されているため,次の効果を奏する。即ち
上記モデリングは,計測ノイズなどの現実のカメラ系に
存在する誤差を予め考慮しているため,左右の視線が厳
密には交差しない即ちエピポーラ条件が成立しないよう
な現実のカメラ系のキャリブレーションを正確に行うこ
とが可能となる。また第2,第4の発明によれば,次の
効果を奏する。即ちこの場合も計測ノイズなどの現実の
カメラ系に存在する誤差を予め考慮しているため,左右
の視線が厳密には交差しない即ちエピポーラ条件が成立
しないような現実のカメラ系のキャリブレーションを正
確に行うことが可能となる。さらに,ここではカメラパ
ラメータのみの関数である評価関数を用いるため,3次
元空間内の計測対象物の位置データを必要としないセル
フキャリブレーションを行うことができる。さらに,上
記カメラパラメータの導出に最小自乗法を用いれば,他
の種類の最適化アルゴリズムを用いる場合と比べて比較
的信頼性が高くかつ高精度なキャリブレーション結果を
得ることができる。The method and apparatus for calibrating a stereo image sensor according to the first and third aspects of the invention have the following effects because they are configured as described above. That is, since the above modeling considers errors existing in an actual camera system such as measurement noise in advance, calibration of an actual camera system in which the left and right eyes do not exactly intersect, that is, the epipolar condition is not established, is performed. It can be done accurately. Further, according to the second and fourth inventions, the following effects can be obtained. That is, in this case as well, since errors existing in the actual camera system such as measurement noise are taken into consideration in advance, it is necessary to accurately calibrate the actual camera system so that the left and right eyes do not exactly intersect, that is, the epipolar condition is not established. It becomes possible to do it. Furthermore, since an evaluation function that is a function of only camera parameters is used here, self-calibration that does not require position data of the measurement target in the three-dimensional space can be performed. Furthermore, if the least squares method is used for deriving the camera parameters, it is possible to obtain a highly reliable and highly accurate calibration result as compared with the case of using another type of optimization algorithm.
【図1】 本発明の第1の実施例に係るステレオ画像セ
ンサのキャリブレーション方法の概略処理フローを示す
ブロック図。FIG. 1 is a block diagram showing a schematic processing flow of a calibration method for a stereo image sensor according to a first embodiment of the present invention.
【図2】 上記ステレオ画像センサのキャリブレーショ
ン方法を適用可能な装置の概略構成を示すブロック図。FIG. 2 is a block diagram showing a schematic configuration of an apparatus to which the calibration method for the stereo image sensor can be applied.
【図3】 ステレオ視覚センサの座標系の説明図。FIG. 3 is an explanatory diagram of a coordinate system of a stereo vision sensor.
【図4】 射影変換の説明図。FIG. 4 is an explanatory diagram of projective transformation.
【図5】 ワールド座標系からスクリーン座標系へのマ
ッピングの概念図。FIG. 5 is a conceptual diagram of mapping from the world coordinate system to the screen coordinate system.
【図6】 左右の視線の幾何学的関係を示す説明図。FIG. 6 is an explanatory diagram showing a geometrical relationship between left and right lines of sight.
【図7】 キャリブレーションデータの作成の様子を示
す説明図。FIG. 7 is an explanatory diagram showing how calibration data is created.
【図8】 本発明の第2の実施例に係るステレオ画像セ
ンサのキャリブレーション方法の概略処理フローを示す
ブロック図。FIG. 8 is a block diagram showing a schematic processing flow of a calibration method for a stereo image sensor according to a second embodiment of the present invention.
【図9】 基準ステレオカメラの構成図。FIG. 9 is a configuration diagram of a reference stereo camera.
1…キャリブレーション装置 2…ステレオカメラ(第1,第2の計測手段に相当) 3…ステレオカメラ画像モデリング装置(第1,第2の
モデリング手段に相当) 4…微分装置(第1,第2の演算手段に相当) 5…キャリブレーション用データ記憶装置 6…ステレオカメラパラメータ計算装置(第1,第2の
キャリブレーション手段に相当) 7…カメラパラメータ記憶装置1 ... Calibration device 2 ... Stereo camera (corresponding to first and second measuring means) 3 ... Stereo camera image modeling device (corresponding to first and second modeling means) 4 ... Differentiating device (first and second measuring device) 5 ... Calibration data storage device 6 ... Stereo camera parameter calculation device (corresponding to first and second calibration means) 7 ... Camera parameter storage device
Claims (6)
右の視線の共通法線の中点を最小自乗近似解とするステ
レオ画像センサのモデリングを行い,上記モデルデータ
を3次元空間の座標系とステレオカメラの画面の座標系
との変換係数であるカメラパラメータで偏微分し,3次
元空間内の既知の計測対象物の位置をステレオカメラに
より計測し,上記計測データとモデルデータの偏微分値
とを用いて該計測データとモデルデータとのノルムを最
小にするようなカメラパラメータを導出してなるステレ
オ画像センサのキャリブレーション方法。1. A stereo image sensor is modeled using a pseudo-inverse matrix, where the midpoint of the common normal line of the left and right lines of sight of a stereo camera is used as a least squares approximate solution, and the model data is used as a coordinate system in a three-dimensional space. Partial differentiation is performed with the camera parameter that is a conversion coefficient with respect to the coordinate system of the screen of the stereo camera, the position of the known measurement target in the three-dimensional space is measured by the stereo camera, and the partial differential value of the measurement data and the model data is calculated. A method for calibrating a stereo image sensor, wherein a camera parameter that minimizes the norm between the measurement data and the model data is derived using.
右の視線の共通法線の中点を最小自乗近似解とするステ
レオ画像センサのモデリングを行い,上記モデルデータ
に含まれる共通法線の長さよりなる評価関数を3次元空
間の座標系とステレオカメラの画面の座標系との変換係
数であるカメラパラメータで偏微分し,3次元空間内の
任意の計測対象物の位置をステレオカメラにより計測
し,上記計測データと評価関数の偏微分値とを用いて該
評価関数のノルムを最小にするようなカメラパラメータ
を導出してなるステレオ画像センサのキャリブレーショ
ン方法。2. A stereo image sensor is modeled using a pseudo-inverse matrix, where the midpoint of the common normal line of the left and right lines of sight of the stereo camera is used as a least squares approximate solution, and the length of the common normal line included in the model data is modeled. The partial evaluation of the evaluation function consisting of the three-dimensional space by the camera parameter that is the conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera, and the position of any measurement target in the three-dimensional space is measured by the stereo camera. A calibration method for a stereo image sensor, which uses the measurement data and the partial differential value of the evaluation function to derive a camera parameter that minimizes the norm of the evaluation function.
法を用いる請求項1又は2記載のステレオ画像センサの
キャリブレーション方法。3. The method for calibrating a stereo image sensor according to claim 1, wherein a least squares method is used for deriving the camera parameters.
右の視線の共通法線の中点を最小自乗近似解とするステ
レオ画像センサのモデリングを行い,上記モデルデータ
を3次元空間の座標系とステレオカメラの画面の座標系
との変換係数であるカメラパラメータで偏微分する第1
の演算手段と,3次元空間内の既知の計測対象物の位置
をステレオカメラにより計測する第1の計測手段と,上
記計測データとモデルデータの偏微分値とを用いて該計
測データとモデルデータとのノルムを最小にするような
カメラパラメータを導出する第1のキャリブレーション
手段とを具備してなるステレオ画像センサのキャリブレ
ーション装置。4. A stereo image sensor is modeled using a pseudo-inverse matrix, where the midpoint of the common normal line of the left and right lines of sight of the stereo camera is used as a least squares approximate solution, and the model data is used as a coordinate system in a three-dimensional space. Partial differentiation with camera parameters that are conversion coefficients with the coordinate system of the screen of the stereo camera 1
And the first measurement means for measuring the position of the known measurement target in the three-dimensional space by the stereo camera, and the measurement data and the model data using the measurement data and the partial differential value of the model data. And a first calibration means for deriving a camera parameter that minimizes the norm of
右の視線の共通法線の中点を最小自乗近似解とするステ
レオ画像センサのモデリングを行う第2のモデリング手
段と,上記モデルデータに含まれる共通法線の長さより
なる評価関数を3次元空間の座標系とステレオカメラの
画面の座標系との変換係数であるカメラパラメータで偏
微分する第2の演算手段と,3次元空間内の任意の計測
対象物の位置をステレオカメラにより計測する第2の計
測手段と,上記計測データと評価関数の偏微分値とを用
いて該評価関数のノルムを最小にするようなカメラパラ
メータを導出する第2のキャリブレーション手段とを具
備してなるステレオ画像センサのキャリブレーション装
置。5. A second modeling means for modeling a stereo image sensor in which a midpoint of a common normal line of left and right lines of sight of a stereo camera is used as a least squares approximate solution by using a pseudo inverse matrix, and included in the model data. Second calculation means for partially differentiating an evaluation function consisting of the length of the common normal with a camera parameter which is a conversion coefficient between the coordinate system of the three-dimensional space and the coordinate system of the screen of the stereo camera, and an arbitrary function within the three-dimensional space Second measuring means for measuring the position of the object to be measured by a stereo camera, and deriving a camera parameter for minimizing the norm of the evaluation function by using the measurement data and the partial differential value of the evaluation function. A calibration device for a stereo image sensor, comprising the calibration means of 2.
法を用いる請求項4又は5記載のステレオ画像センサの
キャリブレーション装置。6. The calibration device for a stereo image sensor according to claim 4, wherein the least squares method is used for deriving the camera parameter.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14725494A JPH0814828A (en) | 1994-06-29 | 1994-06-29 | Calibration method for stereoscopic image sensor and device therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14725494A JPH0814828A (en) | 1994-06-29 | 1994-06-29 | Calibration method for stereoscopic image sensor and device therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0814828A true JPH0814828A (en) | 1996-01-19 |
Family
ID=15426078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14725494A Pending JPH0814828A (en) | 1994-06-29 | 1994-06-29 | Calibration method for stereoscopic image sensor and device therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0814828A (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1054709A (en) * | 1996-08-09 | 1998-02-24 | Techno Horon:Kk | Three-dimensional image recognizing device with microscope |
JPH1062145A (en) * | 1996-08-14 | 1998-03-06 | Meidensha Corp | Attitude detector for camera |
JPH10276987A (en) * | 1997-04-03 | 1998-10-20 | Sony Corp | Visual line position detecting system |
JP2004235934A (en) * | 2003-01-30 | 2004-08-19 | Sony Corp | Calibration processor, calibration processing method, and computer program |
JP2004354256A (en) * | 2003-05-29 | 2004-12-16 | Olympus Corp | Calibration slippage detector, and stereo camera and stereo camera system equipped with the detector |
JP2009517683A (en) * | 2005-11-30 | 2009-04-30 | テレコム・イタリア・エッセ・ピー・アー | A method for obtaining scattered parallax field in stereo vision |
JP2009520975A (en) * | 2005-12-21 | 2009-05-28 | テレコム・イタリア・エッセ・ピー・アー | A method for obtaining a dense parallax field in stereo vision |
US20090153664A1 (en) * | 2007-12-14 | 2009-06-18 | Hitachi, Ltd. | Stereo Camera Device |
JP2011002292A (en) * | 2009-06-17 | 2011-01-06 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional fingertip position detecting method, three-dimensional fingertip position detector, and program |
JP2014520351A (en) * | 2011-07-08 | 2014-08-21 | レストレーション ロボティクス,インク. | Calibration and transformation of camera system coordinate system |
JP2018511786A (en) * | 2015-02-06 | 2018-04-26 | ライフ テクノロジーズ コーポレーション | System and method for calibrating binding dyes |
KR20210097629A (en) * | 2020-01-30 | 2021-08-09 | 국민대학교산학협력단 | Method for tracing three dimensional location using stereoscopic camera and Apparatus for tracing three dimensional location using stereoscopic camera |
CN117570889A (en) * | 2024-01-15 | 2024-02-20 | 湖北神龙工程测试技术有限公司 | Nondestructive testing method for diameter of steel bar in concrete |
-
1994
- 1994-06-29 JP JP14725494A patent/JPH0814828A/en active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1054709A (en) * | 1996-08-09 | 1998-02-24 | Techno Horon:Kk | Three-dimensional image recognizing device with microscope |
JPH1062145A (en) * | 1996-08-14 | 1998-03-06 | Meidensha Corp | Attitude detector for camera |
JPH10276987A (en) * | 1997-04-03 | 1998-10-20 | Sony Corp | Visual line position detecting system |
JP2004235934A (en) * | 2003-01-30 | 2004-08-19 | Sony Corp | Calibration processor, calibration processing method, and computer program |
JP2009071844A (en) * | 2003-01-30 | 2009-04-02 | Sony Corp | Calibration processor, calibration processing method, and computer program |
JP2004354256A (en) * | 2003-05-29 | 2004-12-16 | Olympus Corp | Calibration slippage detector, and stereo camera and stereo camera system equipped with the detector |
JP2009517683A (en) * | 2005-11-30 | 2009-04-30 | テレコム・イタリア・エッセ・ピー・アー | A method for obtaining scattered parallax field in stereo vision |
JP4887374B2 (en) * | 2005-11-30 | 2012-02-29 | テレコム・イタリア・エッセ・ピー・アー | A method for obtaining scattered parallax field in stereo vision |
JP4887376B2 (en) * | 2005-12-21 | 2012-02-29 | テレコム・イタリア・エッセ・ピー・アー | A method for obtaining a dense parallax field in stereo vision |
JP2009520975A (en) * | 2005-12-21 | 2009-05-28 | テレコム・イタリア・エッセ・ピー・アー | A method for obtaining a dense parallax field in stereo vision |
US20090153664A1 (en) * | 2007-12-14 | 2009-06-18 | Hitachi, Ltd. | Stereo Camera Device |
US8384781B2 (en) * | 2007-12-14 | 2013-02-26 | Hitachi, Ltd. | Stereo camera device |
JP2011002292A (en) * | 2009-06-17 | 2011-01-06 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional fingertip position detecting method, three-dimensional fingertip position detector, and program |
JP2014520351A (en) * | 2011-07-08 | 2014-08-21 | レストレーション ロボティクス,インク. | Calibration and transformation of camera system coordinate system |
JP2018511786A (en) * | 2015-02-06 | 2018-04-26 | ライフ テクノロジーズ コーポレーション | System and method for calibrating binding dyes |
KR20210097629A (en) * | 2020-01-30 | 2021-08-09 | 국민대학교산학협력단 | Method for tracing three dimensional location using stereoscopic camera and Apparatus for tracing three dimensional location using stereoscopic camera |
CN117570889A (en) * | 2024-01-15 | 2024-02-20 | 湖北神龙工程测试技术有限公司 | Nondestructive testing method for diameter of steel bar in concrete |
CN117570889B (en) * | 2024-01-15 | 2024-03-26 | 湖北神龙工程测试技术有限公司 | Nondestructive testing method for diameter of steel bar in concrete |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210041236A1 (en) | Method and system for calibration of structural parameters and construction of affine coordinate system of vision measurement system | |
JP3020898B2 (en) | A linear estimation method of three-dimensional position by affine camera correction | |
CN107255476B (en) | Indoor positioning method and device based on inertial data and visual features | |
CN109754432B (en) | Camera automatic calibration method and optical motion capture system | |
JP5285619B2 (en) | Camera system calibration | |
Stein | Lens distortion calibration using point correspondences | |
CN109405765B (en) | High-precision depth calculation method and system based on speckle structured light | |
US6985175B2 (en) | Camera calibration device and method, and computer system | |
US6868191B2 (en) | System and method for median fusion of depth maps | |
JPH0814828A (en) | Calibration method for stereoscopic image sensor and device therefor | |
WO2022007886A1 (en) | Automatic camera calibration optimization method and related system and device | |
JP2011513724A (en) | Object position measurement method using visual image on standard coordinates | |
CN110969665B (en) | External parameter calibration method, device, system and robot | |
CN113551665B (en) | High-dynamic motion state sensing system and sensing method for motion carrier | |
JPH1125277A (en) | Inter-picture correspondence detecting method and device therefor | |
CN110796710B (en) | Method and module for rapidly calibrating camera external parameters on line based on manifold space | |
JP7121936B2 (en) | Camera calibration information acquisition device, image processing device, camera calibration information acquisition method and program | |
CN111127560B (en) | Calibration method and system for three-dimensional reconstruction binocular vision system | |
JP4149732B2 (en) | Stereo matching method, three-dimensional measurement method, three-dimensional measurement apparatus, stereo matching method program, and three-dimensional measurement program | |
Ahmed et al. | Differential methods for nonmetric calibration of camera lens distortion | |
KR101239671B1 (en) | Method and apparatus for correcting distortion of image by lens | |
JPH0886609A (en) | Measurement with beam light projection-type three-dimensional sensor, calibration of the sensor and apparatus therefor | |
JP2007034964A (en) | Method and device for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter, and program for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter | |
Yan et al. | Camera calibration in binocular stereo vision of moving robot | |
CN111145268A (en) | Video registration method and device |