JP3849030B2 - Camera calibration apparatus and method - Google Patents
Camera calibration apparatus and method Download PDFInfo
- Publication number
- JP3849030B2 JP3849030B2 JP2004128502A JP2004128502A JP3849030B2 JP 3849030 B2 JP3849030 B2 JP 3849030B2 JP 2004128502 A JP2004128502 A JP 2004128502A JP 2004128502 A JP2004128502 A JP 2004128502A JP 3849030 B2 JP3849030 B2 JP 3849030B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- camera
- stereo
- common
- stereo camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 9
- 238000005259 measurement Methods 0.000 claims description 30
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 21
- 238000013519 translation Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004791 biological behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Description
本発明は、画像取得に用いるカメラの種々の特性及びパラメータを求めるカメラキャリブレーション装置及び方法に関する。 The present invention relates to a camera calibration apparatus and method for obtaining various characteristics and parameters of a camera used for image acquisition.
カメラキャリブレーションには、レンズによって生じる光学的な歪を推定する作業、焦点距離、画像中心等のカメラ固有のパラメータを推定する作業、及びカメラの位置・姿勢を表すパラメータを推定する作業がある。 Camera calibration includes an operation for estimating optical distortion caused by a lens, an operation for estimating camera-specific parameters such as a focal length and an image center, and an operation for estimating parameters representing the position and orientation of the camera.
従来、カメラの位置・姿勢を表すパラメータ、すなわち、並進ベクトル及び回転行列を推定するに際し、３次元形状が既知のキャリブレーション物体を用いている（例えば、非特許文献１，２参照）
Conventionally, a calibration object with a known three-dimensional shape is used in estimating parameters representing the position and orientation of a camera, that is, a translation vector and a rotation matrix (for example, see Non-Patent
図１は、従来のカメラキャリブレーション装置における並進ベクトル及び回転行列の推定原理を説明するための図である。図１では、複数のステレオカメラの共通視野内において、３次元位置が既知であるキャリブレーション物体１の４個の計測点ｏ，ｐ１，ｐ２，ｐ３を与える。なお、点ｏと点ｐ１、点ｏと点ｐ２及び点ｏと点ｐ３で構成される三つのベクトルは互いに直交しているものとする。なお、図１及び後に説明する図２において、ｉは、１以上の自然数を表すものとし、ｊは、ｉより大きい自然数を表すものとする。
FIG. 1 is a diagram for explaining an estimation principle of a translation vector and a rotation matrix in a conventional camera calibration apparatus. In FIG. 1, four measurement points o, p 1 , p 2 , and p 3 of the
４個の計測点ｏ，ｐ１，ｐ２，ｐ３の３次元位置を、それぞれのステレオカメラ中心の座標系のおいて計測し、第ｉ番目のステレオカメラ２で計測したこれら４個の計測点を
と表す。これらの点は、
とする３次元座標値を有するものとする。
The four measurement points o, p 1 , p 2 , and p 3 measured at the coordinate system at the center of each stereo camera and measured by the i-
It expresses. These points
And having a three-dimensional coordinate value.
この場合、各カメラで計測された点同士の対応をとる必要がある。すなわち、従来の手法では、点
と点
及び点
と点
が３次元空間内の同一の点であるという情報が必要となる。これらの情報を基にして、これら４点から構成される三つのベクトルを
と表すものとする。
In this case, it is necessary to take correspondence between points measured by each camera. That is, with the conventional method,
And point
And points
And point
Is required to be the same point in the three-dimensional space. Based on these information, three vectors composed of these four points are
It shall be expressed as
ここで
と
はそれぞれ、第ｉ番目のステレオカメラ２の座標系ΣＳｉから共有座標系ΣＷへの回転行列及び並進ベクトルを表すものとする。これらの回転行列及び並進ベクトルは、上記４点の情報を用いて次のように表すことができる。
When
Respectively shall be the i-th coordinate system sigma Si of the
これらの関係を用いて、第ｉ番目のステレオカメラ２の座標系ΣＳｉから第ｊ番目のステレオカメラ３の座標系ΣＳｊへの回転行列
と
はそれぞれ次のように表すことができる。
このようにして、２個のステレオカメラ２，３の座標系間の相対位置を表す回転行列及び並進ベクトルを求めることができるようになる。
When
Can be expressed as follows.
In this way, a rotation matrix and a translation vector representing the relative positions between the coordinate systems of the two
しかしながら、従来のカメラキャリブレーション装置における並進ベクトル及び回転行列の推定する際には、共通座標系を構築するために、３次元位置が既知の計測点及びこれら計測点の対応を与える必要がある。また、複数のカメラ間の相対的配置を推定するためには、カメラ間で画像取得する際に同期をとる必要がある。 However, when the translation vector and the rotation matrix are estimated in the conventional camera calibration apparatus, it is necessary to provide a measurement point whose three-dimensional position is known and a correspondence between these measurement points in order to construct a common coordinate system. In order to estimate the relative arrangement between a plurality of cameras, it is necessary to synchronize when acquiring images between the cameras.
本発明の目的は、３次元位置が既知の計測点及びこれら計測点の対応を与える必要並びにカメラ間で画像取得する際に同期をとる必要のない、簡単な構成のカメラキャリブレーション装置及び方法を提供することである。 An object of the present invention is to provide a camera calibration apparatus and method having a simple configuration that does not require measurement points having known three-dimensional positions, correspondence between these measurement points, and synchronization when acquiring images between cameras. Is to provide.
本発明によるカメラキャリブレーション装置は、
共通の計測範囲を有するように配置された複数のステレオカメラのカメラキャリブレーション装置であって、
前記共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、前記ステレオカメラの中心の座標系でそれぞれ計測する手段と、
これら位置データを主成分分析して、前記ステレオカメラに共通の座標系を構成し、この共通の座標系を経由して前記ステレオカメラの座標系間の相対的配置を推定する手段とを具えることを特徴とする。
The camera calibration device according to the present invention comprises:
A camera calibration device for a plurality of stereo cameras arranged to have a common measurement range,
Means for measuring a plurality of position data in a movement trajectory of an object moving in the common measurement range in a coordinate system of the center of the stereo camera;
The position data is subjected to principal component analysis to form a common coordinate system for the stereo cameras, and a means for estimating a relative arrangement between the coordinate systems of the stereo cameras via the common coordinate system is provided. It is characterized by that.
本発明によるカメラキャリブレーション方法は、
共通の計測範囲を有するように配置された複数のステレオカメラのカメラキャリブレーション方法であって、
前記共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、前記ステレオカメラの中心の座標系でそれぞれ計測するステップと、
これら位置データを主成分分析して、前記ステレオカメラに共通の座標系を構成し、この共通の座標系を経由して前記ステレオカメラの座標系間の相対的配置を推定するステップとを具えることを特徴とする。
The camera calibration method according to the present invention includes:
A method for calibrating a plurality of stereo cameras arranged to have a common measurement range,
Measuring a plurality of position data in a movement trajectory of an object moving in the common measurement range in a coordinate system of the center of the stereo camera; and
Analyzing the position data to form a coordinate system common to the stereo cameras, and estimating a relative arrangement between the coordinate systems of the stereo cameras via the common coordinate system. It is characterized by that.
本発明によれば、共通の計測範囲を有するように配置された複数のステレオカメラのカメラキャリブレーションを行うに際し、共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、ステレオカメラの中心の座標系でそれぞれ計測する。 According to the present invention, when performing camera calibration of a plurality of stereo cameras arranged so as to have a common measurement range, a plurality of position data in the movement trajectory of an object moving in the common measurement range is obtained from the stereo camera. Measure each in the center coordinate system.
このようにして計測されたステレオカメラごとの位置データは、ステレオカメラの座標系の配置が互いに相違するために数値的には互いに相違するが、分布の形状は同一である。したがって、位置データの分布の様子を数値化するために、位置データを主成分分析して、ステレオカメラに共通の座標系を構成し、共通の座標系を経由してステレオカメラの座標系間の相対的配置を推定することによって、並進ベクトル及び回転行列を推定することができる。 The position data for each stereo camera thus measured is numerically different because the arrangement of the coordinate system of the stereo camera is different from each other, but the distribution shape is the same. Therefore, in order to quantify the distribution of the position data, the position data is principally analyzed to form a coordinate system common to the stereo cameras, and between the coordinate systems of the stereo cameras via the common coordinate system. By estimating the relative arrangement, the translation vector and rotation matrix can be estimated.
その結果、３次元位置が既知の計測点及びこれら計測点の対応を与える必要並びにカメラ間で画像取得する際に同期をとる必要がなくなり、カメラキャリブレーションを簡単な構成で行うことができるようになる。 As a result, it is no longer necessary to provide measurement points whose three-dimensional positions are known, correspondence between these measurement points, and synchronization when acquiring images between cameras, and camera calibration can be performed with a simple configuration. Become.
本発明によるカメラキャリブレーション装置及び方法の実施の形態を、図面を参照して詳細に説明する。
図２は、本発明によるカメラキャリブレーション装置における並進ベクトル及び回転行列の推定原理を説明するための図である。本発明は、複数のステレオカメラの主成分分析に基づくキャリブレーションによってステレオカメラ間の相対的な位置関係を推定するものである。
Embodiments of a camera calibration apparatus and method according to the present invention will be described in detail with reference to the drawings.
FIG. 2 is a diagram for explaining the principle of translation vector and rotation matrix estimation in the camera calibration apparatus according to the present invention. The present invention estimates the relative positional relationship between stereo cameras by calibration based on principal component analysis of a plurality of stereo cameras.
既に説明したように、複数のステレオカメラの共通視野内で環境内に固定された座標系ができれば、ステレオカメラ間の相対的な位置関係を推定することができる。したがって、共通視野内において計測対象の点を運動させ、それぞれのステレオカメラ中心の座標系において、運動中の点の３次元位置を計測する。ステレオカメラを用いることによって、計測点の３次元位置を取得することができる。 As described above, if a coordinate system fixed in the environment within the common field of view of a plurality of stereo cameras is created, the relative positional relationship between the stereo cameras can be estimated. Therefore, the point to be measured is moved within the common visual field, and the three-dimensional position of the moving point is measured in the coordinate system of each stereo camera. By using a stereo camera, the three-dimensional position of the measurement point can be acquired.
計測された点の３次元位置のデータが、第ｉ番目のステレオカメラ４に関してＮｉ個取得できたとする。ここで、これらＮｉ個の点を
と表すことにし、
とする３次元座標値を有するものとする。この際、ステレオカメラの各々で計測された点同士の対応をとる必要がない。すなわち、点
と
とは、３次元空間内の同一の点であるという条件を満足する必要がない。
It is assumed that N i pieces of data of the three-dimensional positions of the measured points have been acquired for the i-
And
And having a three-dimensional coordinate value. At this time, it is not necessary to take correspondence between points measured by each stereo camera. That is, the point
When
Does not have to satisfy the condition that they are the same point in the three-dimensional space.
それぞれのステレオカメラの座標系におけるＮｉ個の３次元座標データを主成分分析する。すなわち、Ｎｉ個の３次元座標データの共分散行列Ｃｉを計算し、共分散行列を固有値分解する。固有値分解の結果得られる固有ベクトルを、
とする。固有ベクトルの性質から、これら三つの固有ベクトルは互いに直交している。また、共分散行列を求めるときに、既に求められている平均値ベクトルを
とする。ここで、以下のような関係が成立する。
And Due to the nature of the eigenvectors, these three eigenvectors are orthogonal to each other. In addition, when calculating the covariance matrix, the average value vector already determined is
And Here, the following relationship is established.
このようにして求められる、各ステレオカメラの座標系に関する平均値ベクトルの示す３次元空間中の位置及び３個の固有ベクトルが表す３次元空間内での方向は、実際には全て同一のものを表している。このことは、各ステレオカメラの座標系からある一つの座標系（「共有座標系」と称する。）を観測していることに相当し、この共有座標系を経由してステレオカメラの座標系間の相対的な配置を推定することができる。 The position in the three-dimensional space indicated by the average value vector related to the coordinate system of each stereo camera and the direction in the three-dimensional space represented by the three eigenvectors are actually all the same. ing. This corresponds to observing one coordinate system (referred to as a “shared coordinate system”) from the coordinate system of each stereo camera, and between the coordinate systems of the stereo camera via this shared coordinate system. Can be estimated.
ここで、
と
はそれぞれ、第ｉ番目のステレオカメラ４の座標系ΣＳｉから共有座標系ΣＥへの回転行列及び並進ベクトルを表すものとする。これら回転行列及び並進ベクトルは、上記固有ベクトル及び平均値ベクトルを用いて以下のように表すことができる。
When
Respectively shall be the coordinate system sigma Si of the i-th of the
これらの関係を用いて、第ｉ番目のステレオカメラ４の座標系ΣＳｉから第ｊ番目のステレオカメラ５の座標系ΣＳｊへの回転行列
と並進ベクトル
はそれぞれ、以下のように表すことができる。
このようにして、二つのステレオカメラ４，５の座標系間の相対的配置を表す回転行列及び並進ベクトルを求めることができる。
Using these relationships, the rotation matrix from the coordinate system sigma Si of the i-th of the
And translation vector
Each can be expressed as:
In this way, a rotation matrix and a translation vector representing the relative arrangement between the coordinate systems of the two
次に、２個のステレオカメラ（以下、「ステレオカメラａ」及び「ステレオカメラｂ」と称する。）の共通視野内で、任意に動かした色のついた計測点の移動軌跡をステレオカメラごとに記録した実験の結果を説明する。図３は、ステレオカメラａにおける移動軌跡を示す図であり、図４は、ステレオカメラｂにおける移動軌跡を示す図である。この実験において、ステレオカメラａでは１００個の移動軌跡データが取得され、ステレオカメラｂでは７６個の移動軌跡データが取得された。これら移動軌跡データから、図２を用いて説明した計算手法によって、ステレオカメラａとステレオカメラｂとの間の相対的な配置を表す回転行列及び並進ベクトルを求める。 Next, for each stereo camera, the movement locus of the colored measurement points that are arbitrarily moved within the common field of view of the two stereo cameras (hereinafter referred to as “stereo camera a” and “stereo camera b”). Explain the results of the recorded experiment. FIG. 3 is a diagram showing a movement locus in the stereo camera a, and FIG. 4 is a diagram showing a movement locus in the stereo camera b. In this experiment, 100 movement trajectory data were acquired with the stereo camera a, and 76 movement trajectory data were acquired with the stereo camera b. From these movement trajectory data, a rotation matrix and a translation vector representing a relative arrangement between the stereo camera a and the stereo camera b are obtained by the calculation method described with reference to FIG.
求められた回転行列及び並進ベクトルによって推定されたステレオカメラａ及びステレオカメラｂの相対的な配置を、図５に示す。また、求められた回転行列及び並進ベクトルを評価するために、共通視野内において、計測点を四つの場所１〜４でステレオカメラａ及びステレオカメラｂを用いて計測し、ステレオカメラｂで計測された移動軌跡データをステレオカメラａの座標系に関する移動軌跡データに変換して、変換された移動軌跡データとステレオカメラａで計測された移動軌跡データとが一致するか否かを確かめた。なお、計測点の計測を１００回行い、その平均値を計測点の３次元位置とした。表１は、ステレオカメラａでの計測位置及び座標変換後のステレオカメラｂの計測位置を示す。
表１に示すように、変換された移動軌跡データとステレオカメラａで計測された移動軌跡データとがほぼ一致していることがわかる。
FIG. 5 shows a relative arrangement of the stereo cameras a and b estimated by the obtained rotation matrix and translation vector. Further, in order to evaluate the obtained rotation matrix and translation vector, the measurement points are measured using the stereo camera a and the stereo camera b at the four
As shown in Table 1, it can be seen that the converted movement trajectory data and the movement trajectory data measured by the stereo camera a substantially coincide.
本実施の形態によれば、３次元位置が既知の計測点及びこれら計測点の対応を与える必要並びにカメラ間で画像取得する際に同期をとる必要がないので、カメラキャリブレーションを簡単な構成で行うことができる。 According to the present embodiment, since it is not necessary to provide measurement points with known three-dimensional positions, correspondence between these measurement points, and synchronization when acquiring images between cameras, camera calibration can be performed with a simple configuration. It can be carried out.
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態において、３次元座標系として直交座標系で計測する場合について説明したが、極座標系で計測する場合についても本発明を適用することができる。
The present invention is not limited to the above-described embodiment, and many changes and modifications can be made.
For example, in the above-described embodiment, the case where measurement is performed using an orthogonal coordinate system as a three-dimensional coordinate system has been described.
本発明を、様々な情報システムで用いられる非接触３次元位置計測装置、生物の行動計測装置、ヒューマンインタフェース装置等の分野に応用することができる。 The present invention can be applied to fields such as a non-contact three-dimensional position measurement device, a biological behavior measurement device, and a human interface device used in various information systems.
１ キャリブレーション物体
２，３，４，５ ステレオカメラ
1
Claims (2)
前記共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、前記ステレオカメラの中心の座標系でそれぞれ計測する手段と、
これら位置データを主成分分析して、前記ステレオカメラに共通の座標系を構成し、この共通の座標系を経由して前記ステレオカメラの座標系間の相対的配置を推定する手段とを具えることを特徴とするカメラキャリブレーション装置。 A camera calibration device for a plurality of stereo cameras arranged to have a common measurement range,
Means for measuring a plurality of position data in a movement trajectory of an object moving in the common measurement range in a coordinate system of the center of the stereo camera;
The position data is subjected to principal component analysis to form a common coordinate system for the stereo cameras, and a means for estimating a relative arrangement between the coordinate systems of the stereo cameras via the common coordinate system is provided. A camera calibration device characterized by that.
前記共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、前記ステレオカメラの中心の座標系でそれぞれ計測するステップと、
これら位置データを主成分分析して、前記ステレオカメラに共通の座標系を構成し、この共通の座標系を経由して前記ステレオカメラの座標系間の相対的配置を推定するステップとを具えることを特徴とするカメラキャリブレーション方法。 A method for calibrating a plurality of stereo cameras arranged to have a common measurement range,
Measuring a plurality of position data in a movement trajectory of an object moving in the common measurement range in a coordinate system of the center of the stereo camera; and
Analyzing the position data to form a coordinate system common to the stereo cameras, and estimating a relative arrangement between the coordinate systems of the stereo cameras via the common coordinate system. A camera calibration method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004128502A JP3849030B2 (en) | 2004-04-23 | 2004-04-23 | Camera calibration apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004128502A JP3849030B2 (en) | 2004-04-23 | 2004-04-23 | Camera calibration apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005308641A JP2005308641A (en) | 2005-11-04 |
| JP3849030B2 true JP3849030B2 (en) | 2006-11-22 |
Family
ID=35437576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004128502A Expired - Lifetime JP3849030B2 (en) | 2004-04-23 | 2004-04-23 | Camera calibration apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3849030B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101171660B1 (en) | 2010-03-01 | 2012-08-09 | 이문기 | Pointing device of augmented reality |
| KR102002785B1 (en) * | 2018-01-10 | 2019-07-23 | 한국과학기술연구원 | Apparatus and method for calibrating camera coordinate system using positioning information based on image |
| JP7363456B2 (en) | 2019-12-20 | 2023-10-18 | 大同特殊鋼株式会社 | Calibration device for three-dimensional shape measurement |
| CN117409080A (en) * | 2023-11-10 | 2024-01-16 | 广州市斯睿特智能科技有限公司 | Hand-eye calibration method for line scanning 3D camera |
-
2004
- 2004-04-23 JP JP2004128502A patent/JP3849030B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005308641A (en) | 2005-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11403780B2 (en) | Camera calibration device and camera calibration method | |
| CN109807937B (en) | Robot hand-eye calibration method based on natural scene | |
| JP2015090298A (en) | Information processing apparatus, and information processing method | |
| JP2009042162A (en) | Calibration device and method therefor | |
| CN109760107B (en) | Monocular vision-based robot positioning accuracy evaluation method | |
| Niola et al. | A new real-time shape acquisition with a laser scanner: first test results | |
| US20160232654A1 (en) | Information processing apparatus, control method thereof, and computer readable storage medium | |
| JP2016148649A (en) | Information processing apparatus, control method therefor, and program | |
| JP3849030B2 (en) | Camera calibration apparatus and method | |
| CN107945166B (en) | Binocular vision-based method for measuring three-dimensional vibration track of object to be measured | |
| Bottalico et al. | Sensor-Based Calibration of Camera’s Extrinsic Parameters for Stereophotogrammetry | |
| JP2012047637A (en) | Non-contact three-dimensional measurement equipment and non-contact three-dimensional measurement method | |
| Franceschini et al. | Multivariate control charts for monitoring internal camera parameters in digital photogrammetry for LSDM (Large-Scale Dimensional Metrology) applications | |
| CN108955562B (en) | Digital extension method and system for microscopic depth of field of microscopic vision system | |
| WO2020175621A1 (en) | Camera calibration information acquisition device, image processing device, camera calibration information acquisition method, and recording medium | |
| CN107330862B (en) | Quaternion-based conversion method between two independent system coordinate systems | |
| CN113658270B (en) | Method, device, medium and system for multi-vision calibration based on workpiece hole center | |
| KR101972432B1 (en) | A laser-vision sensor and calibration method thereof | |
| KR20150119770A (en) | Method for measuring 3-dimensional cordinates with a camera and apparatus thereof | |
| WO2018056206A1 (en) | Displacement measurement device, displacement measurement system, displacement measurement method, and program | |
| Pai et al. | High-fidelity camera-based method for noncontact vibration testing of structures | |
| JP2019032660A (en) | Imaging system and imaging method | |
| Al-Durgham et al. | Bundle adjustment-based stability analysis method with a case study of a dual fluoroscopy imaging system | |
| CN108876838B (en) | Method and system for digitizing micro-operation space of micro-operation system | |
| KR101846390B1 (en) | Apparatus and method of camera network calibration with a small calibration pattern |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |