JPH11118425A - キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 - Google Patents
キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法Info
- Publication number
- JPH11118425A JPH11118425A JP9285896A JP28589697A JPH11118425A JP H11118425 A JPH11118425 A JP H11118425A JP 9285896 A JP9285896 A JP 9285896A JP 28589697 A JP28589697 A JP 28589697A JP H11118425 A JPH11118425 A JP H11118425A
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- dimensional
- pattern
- imaging device
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
大きさ4メートル×3メートル程度の正方格子模様を使
用したが、精密に作成することは困難であった。このた
め、ある程度歪んだ正方格子模様しか用意することがで
きず、結果的に、精度の良いキャリブレーションを行う
ことができなかった。 【解決手段】 二つのカメラ1及び2と、セオドライト
4と同一の空間上には、正方格子模様の書かれた平板5
を位置させる。この平板5は、従来の平板とは大きさを
異ならせ、例えば1.5メートル×1メートル程度であ
る。小さい平板なので精密な正方格子模様を描くことが
できる。セオドライト4は、平板5の少なくとも2ヶ所
の設置場所での3次元座標位置を測定する。そして、上
記二つのカメラ1及び2が上記正方格子模様を撮像して
得た画像データと、上記セオドライト4で測定した3次
元座標位置を用いてキャリブレーションを行う。
Description
像装置から得られる2次元画像から、前記物体の3次元
空間における位置情報を求めるための前記撮像装置のキ
ャリブレーションを行うキャリブレーション方法及び装
置、並びに上記撮像装置のキャリブレーション用データ
を生成するキャリブレーション用データ生成方法に関す
る。
という)を例えば2台などの複数台用いて、いわゆるス
テレオカメラを構成し、各カメラにより、3次元空間内
の物体を撮像して、その撮像の結果得られる2次元画像
から、物体の3次元空間における位置情報を得る3次元
位置情報検出装置として、ステレオカメラシステムが、
従来より知られている。
ば、奥富正敏、金出武雄「複数の基線長を利用したステ
レオマッチング」、電子情報通信学会論文誌D-II、Vol.
J75-D-II.NO.8,pp.1317-1327,1992年8月などに、その詳
細が開示されている。
の位置情報を得ようとする対象の物体(対象物体)を、
複数のカメラで撮影した時に、各カメラにおける、例え
ばCCDなどの光電変換素子の受光面(以下、適宜、ス
クリーンという)上に投射される対象物体の位置情報か
ら、その対象物体の3次元空間における位置情報を特定
できる。従って、3次元空間内のある位置に存在する物
体の位置情報と、その位置に対象物体があるときに、そ
の対象物体が各カメラのスクリーン上に投影される位置
情報との対応関係(位置情報対応関係)を、予め求めて
おく必要がある。この位置情報対応関係を求めることを
キャリブレーションといい、キャリブレーション装置に
より求められる。
ためのキャリブレーション装置の外観斜視図である。こ
の図8において、パイプ106及び107は、3次元空
間において、同一平面に含まれて、かつ平行になるよう
に配置されており、台車108は、このパイプ106及
び107に沿って滑らかに移動することができるように
設置されている。そして、台車108には、第1のカメ
ラ101と第2のカメラ102とが金具103により一
体化されたステレオカメラが取り付けられている。
ており、台車108がスライドした量が測定できるよう
になっている。台車108がスライドする方向と垂直
に、正方格子模様が書かれた平板109が設置されてい
る。正方格子の横方向をX軸、縦方向をY軸とし、スラ
イドする方向、即ち正方格子に対して垂直方向をZ軸と
する。この平板109よりカメラ側が、Z>0である。
このような、X軸、Y軸及びZ軸よりなる3次元座標を
ワールド座標と定義する。
オカメラを載せた台車108の位置をずらして、平板1
09を2箇所から撮影して行われる。図9は、2箇所か
ら撮影した場合の説明図であり、図8の装置を真上から
見た図である。
102を、ある位置P1に固定して、平板109を、正
方格子模様が映るように撮影し、その後、第1のカメラ
101、第2のカメラ102を台車108のスライドに
より他の位置P2に距離Mだけ移動し、再度、平板10
9を撮影する。ここで、最初のステレオカメラの位置
と、正方格子模様までの距離をLとする。なお、この図
9では、第1のカメラ101、第2のカメラ102を、
平板109から遠ざかる方向にスライドさせているが、
そのスライド方向は、逆であってもよい。
カメラ102よりなるステレオカメラをスライドして平
板109を撮影することにより得られた2次元画像は、
図10に示すように、ステレオカメラを固定して、平板
109をスライドしても得ることができる。
メラ101、第2のカメラ102を、ある位置P1に固
定して、平板109を、その正方格子模様が映るように
撮影し、その後、平板109をZ軸に沿って、上記カメ
ラ101、及び102から遠ざかる方向に、距離Mだ
け、スライドさせ、その位置で、再度、平板109を撮
影することによっても、同様の2次元画像を得ることが
できる。
前の平板109上に描かれた正方格子(第1の正方格子
Q1)の左下隅を原点とし、ワールド座標の原点とする
と、この平板109の第1の正方格子Q1において、
(i,j)の位置はワールド座標において(i,j、
0)となる。また、長さMだけスライドさせた後の平板
109の正方格子(第2の正方格子Q2)において
(i,j)の位置はワールド座標において(i,j、−
M)となる。
9上の第1の正方格子Q1と第2の正方格子Q2を示した
図である。第1のカメラ101の光学中心がO1であ
り、例えばCCD122などの受光面となるスクリーン
上に対象物体の位置情報が投影される。例えば、CCD
122上の座標位置(h,k)には、第1の正方格子Q
1における座標位置(p,q)が写し出され、かつ、第
2の正方格子Q2における座標位置(r,s)が写し出
されたとする。なお、各正方格子の各縦線、横線の交点
以外の場所は、補間により、その座標を求めることが可
能である。
と、CCD122上の座標位置(h,k)には、3次元
上の座標位置(p,q,0)と(r,s,−M)が写し
出される。すなわち、2次元上の座標位置(h,k)と
3次元上の座標位置(p,q,0)と(r,s,−M)
とを結ぶ直線をNとすると、この直線N上の点は、全
て、CCD122上の座標位置(h,k)に写し出され
ることが分かる。
る物体の位置情報(ここでは、ワールド座標系における
座標)と、その物体を撮像して得られる2次元画像の位
置情報(ここでは、CCD122上の2次元座標系にお
ける座標)との対応関係(位置情報対応関係)を表すこ
とになる。
(z+M)/M として求めることができる。
22上の2次元座標系における他の座標位置について
も、そこに投射される3次元空間上の点の集合としての
直線を求める。さらに、同様のことを、第2のカメラ1
02についても行う。
第2のカメラ102についての直線すべてを求めること
で、ステレオカメラシステムのキャリブレーションを終
了する。
れたステレオカメラシステムでは、次のようにして、3
次元空間にある物体の位置情報を求めることができる。
例えば、図12に示す物体127は、第1のカメラ10
1のスクリーン122の位置(a,b)、第2のカメラ
102のスクリーン128の位置(c,d)に写された
とする。上記キャリブレーション装置におけるキャリブ
レーション(初期設定)において、位置(a,b)及び
(c,d)に対応する、ワールド座標系における直線1
30及び131は求まっているので、ワールド座標系に
おけるこれらの直線の交点を求めることは可能である。
この交点の座標が、その物体のワールド座標系における
位置である。このようにして、キャリブレーションされ
たステレオカメラを用いることで、対象物体の3次元上
での位置を求めることが出来る。
ず、対象物体127が、第1のカメラ101及び第2の
カメラ102のスクリーン122及びスクリーン128
上で、どの位置に投影されたかを測定する。次に、各投
影位置に対応する直線130及び直線131の交点を、
ワールド座標系において計算する。この交点の座標がワ
ールド座標系での、即ち、3次元上での物体の位置であ
る。
ン装置では、第1のカメラ101及び第2のカメラ10
2と、平板109までの距離Lを数メートルとすると、
平板109に書かれている正方格子模様の大きさは4メ
ートル×3メートル程度必要となる。なぜなら、もし正
方格子模様が小さいとカメラで撮影した際に、図11の
CCD(スクリーン)122上の周辺部分には正方格子
模様が投影されず、周辺部分の画素に対応する直線Nが
求められなくなってしまうからである。
大きさ4メートル×3メートル程度の正方格子模様を、
精密に作成することは困難であった。このため、ある程
度歪んだ正方格子模様しか用意することができず、結果
的に、精度の良いキャリブレーションを行うことができ
なかった。
であり、精密作成が可能な程度の大きさの正方格子模様
が描かれた基準物体を用いて、精度の良いキャリブレー
ションを行うことができるキャリブレーション方法及び
装置の提供を目的とする。
たものであり、精密作成が可能な程度の大きさの正方格
子模様が描かれた基準物体を用いて、精度の良いキャリ
ブレーション用データを生成することのできるキャリブ
レーション用データ生成方法の提供を目的とする。
ーション方法は、上記課題を解決するために、撮像装置
が物体を撮像する範囲の3次元空間内で設置替えされる
基準物体上に描かれた模様の、少なくとも2ヶ所の設置
場所での3次元座標位置と、上記撮像装置が上記基準物
体上の上記模様を撮像して得た画像データとに基づい
て、上記撮像装置のキャリブレーションを行う。
の各位置に投影される上記模様の3次元座標位置を求め
ることで、上記撮像装置のスクリーンの各位置に投影さ
れる3次元空間上の点群を算出する。
に小さい、例えば1.5メートル×1メートル程度の正
方格子模様の描かれた平板を使用する。そして、この平
板を移動させて、上記正方格子模様の3次元位置情報を
3次元位置情報測定手段によって測定し、上記撮像装置
で上記正方格子模様を撮影する、という操作を繰り返す
ことにより、上記撮像装置のスクリーンの部分ごとにキ
ャリブレーションを行うことにしたので、従来のように
大きな正方格子模様を不要とした。
上記課題を解決するために、撮像装置が物体を撮像する
範囲の3次元空間内で設置替えされる模様の描かれた基
準物体と、上記基準物体上に描かれた模様の3次元座標
位置を測定する3次元位置情報測定手段とを備え、上記
基準物体が上記3次元空間内で配置替えされる少なくと
も2ヶ所での上記3次元情報測定手段による上記模様の
3次元座標位置と、上記撮像装置が上記基準物体上の上
記模様を撮像して得た画像データとに基づいて、上記撮
像装置のキャリブレーションを行う。
の各位置に投影される上記模様の3次元座標位置を求め
ることで、上記撮像装置のスクリーンの各位置に投影さ
れる3次元空間上の点群を算出する。
データ作成方法は、上記課題を解決するために、3次元
位置情報測定機により複数回測定された模様の描かれた
基準物体の3次元位置情報を示すデータを受信し、上記
撮像装置により複数回撮影された上記模様を示す画像デ
ータを受信し、上記両データに基づいて、上記撮像装置
のスクリーンの各位置に投影される3次元空間上のキャ
リブレーション用データを生成する。
ション方法及び装置の実施の形態について図面を参照し
ながら説明する。
の形態について説明する。この実施の形態は、2台のカ
メラにより構成されたステレオカメラのキャリブレーシ
ョンを行うキャリブレーション方法であり、図1に示す
ようなステレオカメラと、3次元位置測定機4と、平板
5とを用いて実現される。
リブレーションを行うステレオカメラは、第1のカメラ
1と、第2のカメラ2が金具3によって一体化して取り
付けられている。すなわち、二つのカメラの位置関係は
固定されている。
上記二つのカメラを移動させてキャリブレーションを行
ったが、上記キャリブレーション方法においては、上記
ステレオカメラを固定しておく。例えば、図示を省略す
る固定された三脚などに上記二つのカメラを取り付けて
おけば良い。
に示すように、3次元位置情報測定機である、セオドラ
イト(theodolite)4を位置させる。このセオドライト
4は、自分自身を原点とした3次元座標系(以下、この
座標系を基準とするので、ワールド座標系と呼ぶことに
する。)を用いて、対象物体の位置を測定する機械であ
る。この機械については後述する。したがって、図1に
は、このセオドライト4を中心として、ワールド座標系
を書き込んである。
ドライト4と同一の空間上には、正方格子模様の書かれ
た上記平板5も位置させる。この平板5は、従来の平板
とは大きさを異ならせ、例えば1.5メートル×1メー
トル程度である。小さい平板なので、精密な正方格子模
様を描くことができる。しかし、この平板5上の正方格
子模様は小さいため、上記二つのカメラ1及び2で撮影
した場合、各カメラのスクリーン全体に正方格子模様が
写ることはない。
行される、キャリブレーション方法の具体例を説明する
ための図を示す。この図2は上記図1に示した各部を真
上から見た図である。この図2中において、破線6及び
破線7で囲まれた領域が、第1のカメラ1及び第2のカ
メラ2とにより撮影される範囲である。ここでは、セオ
ドライト4を省略しているが、図中のワールド座標系の
原点に位置しているものとする。また、ワールド座標系
のY軸は、紙面に対して垂直である。
図2の5−1に示す場所に設置する。そして、セオドラ
イト4により、5−1に設置されたときの正方格子模様
の位置を測定する。これにより、5−1に設置されたと
きの正方格子模様内の各点の位置は、ワールド座標系に
おいて、どの位置にあるかが分かる。
2のカメラ2により撮影を行う。そして、各カメラのス
クリーン上で、正方格子模様が投影されている位置につ
いてのみ、以下の処理を行う。
いる「正方格子模様の位置(ワールド座標系における位
置)」を調べ、その「正方格子模様の位置」を、その
「スクリーン上の位置」に対応する3次元上の位置とし
て登録しておく。この登録は、正方格子模様が投影され
ている全ての「スクリーン上の位置」について行う。
図2の5−2に示す場所に設置する。そして、セオドラ
イト4により、5−2に設置されたときの正方格子模様
の位置を測定する。これにより、5−2に設置されたと
きの正方格子模様内の各点の位置は、ワールド座標系に
おいて、どの位置にあるかが分かる。
2のカメラ2により撮影を行う。そして、各カメラのス
クリーン上で、正方格子模様が投影されている位置につ
いてのみ、以下の処理を行う。
いる「正方格子模様の位置(ワールド座標系における位
置)」を調べ、その「正方格子模様の位置」を、その
「スクリーン上の位置」に対応する3次元上の位置とし
て登録しておく。この登録は、正方格子模様が投影され
ている全ての「スクリーン上の位置」について行う。
ば、図2の5−3、5−4、5−5に示す場所に設置し
て、それぞれ、正方格子模様の位置を測定して、投影さ
れている「正方格子模様の位置」を各「スクリーン上の
位置」に対応する位置として登録しておく。
ン上の位置」には、二つ以上の「正方格子模様の位置」
が登録されていることである。もし、一つしか登録され
ていない、あるいは、なにも登録されていない「スクリ
ーン上の位置」がある場合には、その「スクリーン上の
位置」に正方格子模様が投影されるように、平板を移動
して、正方格子模様の位置を測定して、投影されている
「正方格子模様の位置」を各「スクリーン上の位置」に
対応する位置として登録する操作を、もう一度行う。
座標系のどの直線が、各「スクリーン上の位置」に投影
されるかを調べることである。
動させて複数回撮影することで、各「スクリーン上の位
置」には、二つ以上の「正方格子模様の位置(ワールド
座標系における位置)」が登録されている。ここで、図
3に示すように、第1のカメラ1のスクリーン9上のあ
る1つの位置について注目してみる。この点を(e,
f)とする。(e,f)に対応する二つ以上の「正方格
子模様の位置(ワールド座標系における位置)」が登録
されている。これは、上記複数の「正方格子模様の位置
(ワールド座標系における)」にある点は、全て、
(e,f)に投影されることを意味している。したがっ
て、上記複数の「正方格子模様の位置(ワールド座標系
における位置)」を結ぶ直線上の点は、全て、(e,
f)に投影されることになる。そこで、(e,f)に対
応して登録されている上記複数の「正方格子模様の位置
(ワールド座標系における位置)」を結ぶ直線を求め
る。求まった直線が、(e,f)に対応する直線であ
る。
ーン9上の全ての位置、及び、第2のカメラ2のスクリ
ーン上の全ての位置に対して、同様に、対応する直線を
求める。これで、キャリブレーションは終了する。
体を撮影して、その対象物体の3次元上での位置を求め
ることができる。具体的な説明は、上記図12を使用し
て述べたの同じである。
に対応する直線の求め方について、図3を用いて詳しく
説明しなおす。図3において、第1のカメラ1の光学中
心が8である。例えばCCD等の受光面となるスクリー
ン9上には対象物体の位置情報が投影される。スクリー
ン9上の位置(e,f)には、例えば、正方格子模様の
平板5を5−1に設置したときと、5−3に設置したと
きに、正方格子模様が投影されていたとする。
から、(e,f)に投影された点は、正方格子模様上の
どの位置であるか分かる。これを点Aとする。ちなみ
に、点Aが、正方格子の各縦線、横線の交点以外の場所
であっても、補間により、その位置を求めることが可能
である。さて、平板5を5−1に設置したときの、正方
格子模様の位置は、ワールド座標系を基準にして測定さ
れている。したがって、点Aがワールド座標系におい
て、どの位置にあるか分かっている。例えば、(P,
Q,R)とする。
撮像画像から、(e,f)に投影された点は、正方格子
模様上のどの位置であるか分かる。これを点A’とす
る。ちなみに、点A’が、正方格子の各縦線、横線の交
点以外の場所であっても、補間により、その位置を求め
ることが可能である。さて、平板5を5−3に設置した
ときの、正方格子模様の位置は、ワールド座標系を基準
にして測定されている。したがって、点A’がワールド
座標系において、どの位置にあるか分かっている。例え
ば、(S,T,U)とする。
f)には、(P,Q,R)の点と(S,T,U)の点が
写し出されることが分かる。故に、ワールド座標系の直
線N(図3の10)上の点は、全て、スクリーン9上の
(e,f)に写し出されることが分かる。ただし、直線
Nは、(X−S)/(P−S)=(Y−T)/(Q−
T)=(ZーU)/(R−U)である。ここで、図3に
おいても、図2と同じ符号を用いて示しておく。
どのような直線上の点が、第1のカメラ1のスクリーン
9上の位置(e,f)に投影されるかを求めることがで
きる。
セオドライト4について説明する。
て、どちらの角度方向に物体があるかを測定できる機械
である。図4は、セオドライト4の説明図である。対象
物体11にセオドライト4の照準を合わせると、セオド
ライト4を中心とした座標軸(図示してある)に対し
て、XZ平面との角度(図中のθ)と、XZ平面からY
軸への仰角(図中のφ)が求めることができる。つま
り、原点から対象物体への単位方向ベクトル(sinθ
×cosφ,sinφ,cosθ×cosφ)が分か
る。
うに正方格子模様の位置を測定する。図5において、セ
オドライトは図示を省略しているが、座標軸の原点にあ
る。正方格子の各縦線、横線の交点に記号を付ける。す
なわち、図に示すように、左はじをA00、A00の右隣り
をA10、A00の上をA01というように番号付けする。
とする。A00からA01へのベクトルをVベクトルとす
る。正方格子の間隔はどこでも一定なので、各交点Aij
とその右隣りとの交点との位置関係はHベクトルとな
り、その上方の交点との位置関係はVベクトルとな
る。ここで、HベクトルやVベクトルは、図中に示
す3次元座標系(セオドライトを中心とした3次元座標
系における3次元ベクトルである。セオドライトを利用
してA00に照準を合わせ、原点からA00への単位方向ベ
クトル(N00ベクトル)を求める。他の交点Aijにつ
いても、照準を合わせ、原点からAijへの単位方向ベク
トル(Nijベクトル)を求める。ここで、原点からA
00あるいはAijまでの距離を、K00あるいはKijと置く
と、次の(1)式或いは(2)式が導かれる。
ら、A00とAijとの位置関係は、i×(Hベクトル)
+j×(Vベクトル)となり、次の(3)式が導かれ
る。
に、例えば10cmとする。
ることにより知ることができる。
と、(4)式より、Hベクトルの値、Vベクトルの
値、Kijの値を計算できる。
クトルと、上記計算により求められたKijを、上記
(2)式に代入して、Aijの位置を求める。交点
(Aij)以外の正方格子模様の位置は、交点の位置から
補間して求める。
ことで、セオドライトを基準とした座標系(ワールド座
標系)における正方格子模様の位置を求めることができ
る。
した本発明に係るキャリブレーション装置の実施の形態
を図6及び図7を用いて説明する。図6は、本発明に係
るキャリブレーション装置の実施の形態のブロック図で
ある。図7は、図6に構成を示したキャリブレーション
装置の動作を説明するためのフローチャートである。
ついては同符号を付し説明を省略する。例えばキーボー
トのような入力装置13は、セオドライト4で得られた
「正方格子模様の位置(ワールド座標系を基準とした3
次元位置)」を入力できる。信号処理装置14は、第1
のカメラ1及び第2のカメラ2より得られる画像データ
と、入力装置13より入力される「正方格子模様の位
置」より、ワールド座標系のどの直線が、どの「スクリ
ーン上の位置」に投影されるかを計算する部分である。
メモリ15は、信号処理装置14により得られた「スク
リーン上の位置」と「ワールド座標系の直線」との対応
関係を格納しておく記憶部分である。
ように第1のカメラ1及び第2のカメラ2及びセオドラ
イト4の位置をセットする。さらに、正方格子模様の平
板5を置く。セオドライト4の位置がワールド座標系の
原点となる。
り、正方格子模様の位置(ワールド座標を基準とした3
次元位置)を測定する。この測定方法は、図5及び
(1)式〜(4)式を用いて説明したとおりである。こ
の測定結果は、入力装置13により入力され、信号処理
装置14へと供給される。
び第2のカメラ2により撮影を行う。撮影された結果で
ある画像データは、信号処理装置14に送られる。そし
て、各カメラのスクリーン上で、正方格子模様が投影さ
れている位置についてのみ、信号処理装置14で、以下
の処理を行う。
投影されている「正方格子模様の位置(ワールド座標系
における位置)」を調べ、その「正方格子模様の位置」
を、その「スクリーン上の位置」に対応する3次元上の
位置として登録しておく。
位置」には、二つ以上の「正方格子模様の位置」が登録
されているかを、信号処理装置14において調べる。も
し、登録されていない場合には、ステップS5に進む。
登録されている場合には、ステップS6に進む。
ない、或いは、何も登録されていない「スクリーン上の
位置」に正方格子模様が投影されるように平板を動か
す。そして、ステップS2に戻る。
「スクリーン上の位置」には、二つ以上の「正方格子模
様の位置(ワールド座標系における位置)」が登録され
ている。ステップS6では、登録されている「正方格子
模様の位置(ワールド座標系における位置)」を通る3
次元空間上の直線を、信号処理装置14において求め
る。そして、この直線を、その「スクリーン上の位置」
に対応する直線として、メモリ15に記憶させる。
を撮像する撮像装置から得られる2次元画像から、前記
物体の3次元空間における位置情報を求めるための前記
撮像装置のキャリブレーション用データである。
元位置情報測定機により複数回測定された模様の描かれ
た基準物体の3次元位置情報を示すデータを受信し、上
記撮像装置により複数回撮影された上記模様を示す画像
データを受信し、上記両データに基づいたキャリブレー
ション用データ生成方法により生成されると言い換える
こともできる。
ャリブレーションが終了した後、実際には、上記ステレ
オカメラで物体を撮影する。撮影された結果である画像
データは、信号処理装置14に送られる。ある対象物体
が、第1のカメラのスクリーンのある位置と、第2のカ
メラのスクリーンのある位置に投影されたとする。この
とき、信号処理装置14では、第1のカメラ1のスクリ
ーンのその位置と、第2のカメラ2のスクリーンのその
位置に対応する直線を、メモリ15より読み出し、この
二つの直線の交点を信号処理装置14において計算す
る。そして、この計算結果である3次元座標を、その対
象物体のワールド座標(3次元座標系)における位置と
して出力する。このようにして、キャリブレーションが
終了した後、ステレオカメラによる対象物体の立体視は
行われる。
て、正方格子模様の各点の位置を測定したが、別の測定
機としてトータルステーション等を使用して測定しても
よい。トータルステーションは、セオドライトと同様に
ある基準の座標系に対し、どちらの角度方向に物体があ
るかを測定できるだけでなく、その物体までの距離も測
定できる。したがって、正方格子模様上の各点までの方
向と距離が分かるので、各点の3次元上での位置が求ま
る。このようにトータルステーションをしようして、正
方格子模様の各点の位置を測定してもよい。
ンも、本発明を適用することで可能である。単体のカメ
ラのキャリブレーションとは、そのカメラのスクリーン
(CCD面)上の各位置の映像は、ワールド座標系から
見てどちらの方角から来た光であるかを求めることであ
る。すなわち、ワールド座標系におけるある直線上に存
在する物体は全て、スクリーン上ある一点に投影される
が、このスクリーン上の点と直線との関係を求めること
が、単体のカメラのキャリブレーションである。この場
合、上記キャリブレーションしたい単体のカメラを第1
のカメラと考え、第1のカメラとして本発明のキャリブ
レーション装置に設置し、第2のカメラは設置せずに、
キャリブレーションを行う。これにより、第1のカメラ
のみのキャリブレーションを行うことができる。
び装置は、撮像装置が物体を撮像する範囲の3次元空間
内で設置替えされる基準物体上に描かれた模様の、少な
くとも2ヶ所の設置場所での3次元座標位置と、上記撮
像装置が上記基準物体上の上記模様を撮像して得た画像
データとに基づいて、上記撮像装置のキャリブレーショ
ンを行うので、精密作成が可能な程度の大きさの正方格
子模様が描かれた基準物体を用いて、精度の良いキャリ
ブレーションを行うことができる。
データ生成方法は、3次元位置情報測定機により複数回
測定された模様の描かれた基準物体の3次元位置情報を
示すデータを受信し、上記撮像装置により複数回撮影さ
れた上記模様を示す画像データを受信し、上記両データ
に基づいて、上記撮像装置のスクリーンの各位置に投影
される3次元空間上のキャリブレーション用データを生
成するので、精密作成が可能な程度の大きさの正方格子
模様が描かれた基準物体を用いて、精度の良いキャリブ
レーション用データを生成できる。
形態を説明するための図である。
る、キャリブレーション方法の具体例を説明するための
図である。
ための図である。
イトを説明するための図である。
イトを使用して正方格子模様の位置を測定する原理を説
明するための図である。
形態のブロック図である。
ためのフローチャートである。
る。
置にてステレオカメラをスライドさせた様子を示す図で
ある。
リブレーション方法の説明図である。
のステレオ視に関する説明図である。
ト、5 正方格子模様の描かれた平板、13 入力装
置、14 信号処理装置、15 メモリ
Claims (16)
- 【請求項1】 物体を撮像する撮像装置から得られる2
次元画像から、前記物体の3次元空間における位置情報
を求めるための前記撮像装置のキャリブレーションを行
うキャリブレーション方法において、 上記撮像装置が上記物体を撮像する範囲の3次元空間内
で設置替えされる基準物体上に描かれた模様の、少なく
とも2ヶ所の設置場所での3次元座標位置と、上記撮像
装置が上記基準物体上の上記模様を撮像して得た画像デ
ータとに基づいて、上記撮像装置のキャリブレーション
を行うことを特徴とするキャリブレーション方法。 - 【請求項2】 上記撮像装置のスクリーン上の各位置に
投影される上記模様の3次元座標位置を求めることで、
上記撮像装置のスクリーンの各位置に投影される3次元
空間上の点群を算出することを特徴とする請求項1記載
のキャリブレーション方法。 - 【請求項3】 上記基準物体には、正方格子模様が描か
れていることを特徴とする請求項1記載のキャリブレー
ション方法。 - 【請求項4】 上記3次元座標位置を測定する位置情報
測定機として、セオドライトを用いることを特徴とする
請求項1記載のキャリブレーション方法。 - 【請求項5】 上記3次元座標位置を測定する位置情報
測定機として、トータルステーションを用いることを特
徴とする請求項1記載のキャリブレーション方法。 - 【請求項6】 上記点群は、直線上の点の集合であるこ
とを特徴とする請求項2記載のキャリブレーション方
法。 - 【請求項7】 物体を撮像する撮像装置から得られる2
次元画像から、前記物体の3次元空間における位置情報
を求めるための前記撮像装置のキャリブレーションを行
うキャリブレーション装置において、 上記撮像装置が上記物体を撮像する範囲の3次元空間内
で設置替えされる模様の描かれた基準物体と、 上記基準物体上に描かれた模様の3次元座標位置を測定
する3次元位置情報測定手段とを備え、 上記基準物体が上記3次元空間内で配置替えされる少な
くとも2ヶ所での上記3次元位置情報測定手段による上
記模様の3次元座標位置と、上記撮像装置が上記基準物
体上の上記模様を撮像して得た画像データとに基づい
て、上記撮像装置のキャリブレーションを行うことを特
徴とするキャリブレーション装置。 - 【請求項8】 上記撮像装置のスクリーン上の各位置に
投影される上記模様の3次元座標位置を求めることで、
上記撮像装置のスクリーンの各位置に投影される3次元
空間上の点群を算出することを特徴とする請求項7記載
のキャリブレーション装置。 - 【請求項9】 上記基準物体には、正方格子模様が描か
れていることを特徴とする請求項7記載のキャリブレー
ション装置。 - 【請求項10】 上記3次元位置情報測定手段は、セオ
ドライトであることを特徴とする請求項7記載のキャリ
ブレーション装置。 - 【請求項11】 上記3次元位置情報測定手段は、トー
タルステーションであることを特徴とする請求項7記載
のキャリブレーション装置。 - 【請求項12】 上記点群は、直線上の点の集合である
ことを特徴とする請求項8記載のキャリブレーション装
置。 - 【請求項13】 物体を撮像する撮像装置から得られる
2次元画像から、前記物体の3次元空間における位置情
報を求めるための前記撮像装置のキャリブレーション用
データを生成するキャリブレーション用データ生成方法
において、 3次元位置情報測定機により複数回測定された模様の描
かれた基準物体の3次元位置情報を示すデータを受信
し、上記撮像装置により複数回撮影された上記模様を示
す画像データを受信し、上記両データに基づいて、上記
撮像装置のスクリーンの各位置に投影される3次元空間
上のキャリブレーション用データを生成することを特徴
とするキャリブレーション用データ生成方法。 - 【請求項14】 上記3次元位置情報測定機は、セオド
ライトであることを特徴とする請求項13記載のキャリ
ブレーション用データ生成方法。 - 【請求項15】 上記3次元位置情報測定機は、トータ
ルステーションであることを特徴とする請求項13記載
のキャリブレーション用データ生成方法。 - 【請求項16】 上記3次元空間上のキャリブレーショ
ン用データは、上記撮像装置のスクリーンの各位置に投
影される直線上の点の集合であることを特徴とする請求
項13記載のキャリブレーション用データ生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28589697A JP3728900B2 (ja) | 1997-10-17 | 1997-10-17 | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 |
US09/169,375 US6377701B1 (en) | 1997-10-17 | 1998-10-09 | Calibration method and device, device for generating calibration data and a method thereof, and information providing medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28589697A JP3728900B2 (ja) | 1997-10-17 | 1997-10-17 | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11118425A true JPH11118425A (ja) | 1999-04-30 |
JP3728900B2 JP3728900B2 (ja) | 2005-12-21 |
Family
ID=17697431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28589697A Expired - Fee Related JP3728900B2 (ja) | 1997-10-17 | 1997-10-17 | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6377701B1 (ja) |
JP (1) | JP3728900B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002202122A (ja) * | 2001-01-05 | 2002-07-19 | Olympus Optical Co Ltd | 2次元距離画像センサのキャリブレーション方法 |
JP2004198110A (ja) * | 2002-12-16 | 2004-07-15 | Dainippon Printing Co Ltd | 校正用基板 |
JP2004354234A (ja) * | 2003-05-29 | 2004-12-16 | Ishikawajima Harima Heavy Ind Co Ltd | 写真計測用カメラキャリブレーション方法 |
JP2005509877A (ja) * | 2001-11-23 | 2005-04-14 | マプヴィジョン オーユー エルテーデー | コンピュータ視覚システムの較正方法及びそのシステム |
JP2005140630A (ja) * | 2003-11-06 | 2005-06-02 | National Maritime Research Institute | 3次元画像計測用カメラ検定設備 |
AT414194B (de) * | 2002-03-06 | 2006-10-15 | Christian Dipl Ing Neugebauer | Vorrichtung und verfahren zur kalibrierung eines stereobildverarbeitungssystems |
CN100432626C (zh) * | 2003-08-22 | 2008-11-12 | 中国人民解放军国防科学技术大学 | 用于消除振动环境对光测影响的姿态像机系统接力的方法 |
JP2012132739A (ja) * | 2010-12-21 | 2012-07-12 | Ricoh Co Ltd | ステレオカメラの校正装置および校正方法 |
JP2015135317A (ja) * | 2013-12-19 | 2015-07-27 | 株式会社リコー | 画像処理装置、システム、画像処理方法およびプログラム |
JP2018146363A (ja) * | 2017-03-03 | 2018-09-20 | 三菱航空機株式会社 | 3次元位置計測システム及び方法 |
CN110062152A (zh) * | 2018-01-18 | 2019-07-26 | 钰立微电子股份有限公司 | 校正相机的系统 |
WO2020105697A1 (ja) * | 2018-11-22 | 2020-05-28 | 国立大学法人東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000259814A (ja) * | 1999-03-11 | 2000-09-22 | Toshiba Corp | 画像処理装置及びその方法 |
JP3565749B2 (ja) * | 1999-09-22 | 2004-09-15 | 富士重工業株式会社 | 車載カメラの撮像方向の検査方法およびその検査装置 |
JP4501239B2 (ja) * | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
US6993179B1 (en) * | 2000-08-07 | 2006-01-31 | Koninklijke Philips Electronics N.V. | Strapdown system for three-dimensional reconstruction |
US6915008B2 (en) * | 2001-03-08 | 2005-07-05 | Point Grey Research Inc. | Method and apparatus for multi-nodal, three-dimensional imaging |
DE60236019D1 (de) * | 2001-12-28 | 2010-05-27 | Mariner Acquisition Co Llc | Stereoskopisches dreidimensionales metrologiesystem und -verfahren |
TW561241B (en) * | 2002-08-22 | 2003-11-11 | Ind Tech Res Inst | Method and apparatus for calibrating laser three-dimensional digitizing sensor |
JP4191449B2 (ja) * | 2002-09-19 | 2008-12-03 | 株式会社トプコン | 画像キャリブレーション方法、画像キャリブレーション処理装置、画像キャリブレーション処理端末 |
CN100357702C (zh) * | 2005-07-12 | 2007-12-26 | 北京航空航天大学 | 一种三维视觉现场测量量值传递方法及装置 |
CN101526336B (zh) * | 2009-04-20 | 2011-08-24 | 陈炳生 | 基于量块的线结构光三维视觉传感器标定方法 |
CN101799271B (zh) * | 2010-04-01 | 2011-08-17 | 哈尔滨工业大学 | 大视场条件下获得摄像机标定点的方法 |
DE102012008905A1 (de) | 2012-05-08 | 2013-11-14 | Airbus Operations Gmbh | Optische Messvorrichtung und Verschiebeeinrichtung und optisches Messverfahren |
CN102779340B (zh) * | 2012-06-12 | 2014-12-10 | 华中科技大学 | 一种基于Delaunay三角剖分的特征点坐标自动对应方法 |
CN105464374B (zh) * | 2015-11-20 | 2018-02-06 | 河北省电力勘测设计研究院 | 建筑方格网控制点测量平差后的改正方法 |
CN106767895B (zh) * | 2015-11-25 | 2019-05-31 | 南京中观软件技术有限公司 | 利用标志点定向求解相机外方位元素的系统和方法 |
JP2021122079A (ja) | 2018-05-08 | 2021-08-26 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN114061537B (zh) * | 2021-10-26 | 2023-08-29 | 西安电子工程研究所 | 一种采用电子经纬仪标定雷达转台置位精度的装置和方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2989744B2 (ja) * | 1994-06-13 | 1999-12-13 | 株式会社東芝 | 測定面抽出装置及びその方法 |
US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
DE19530809A1 (de) * | 1995-08-22 | 1997-02-27 | Leica Ag | Anordnung zur Retroreflexion einer Strahlung mit Tripelprismen |
US5818959A (en) * | 1995-10-04 | 1998-10-06 | Visual Interface, Inc. | Method of producing a three-dimensional image from two-dimensional images |
US6009188A (en) * | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
US6072898A (en) * | 1998-01-16 | 2000-06-06 | Beaty; Elwin M. | Method and apparatus for three dimensional inspection of electronic components |
-
1997
- 1997-10-17 JP JP28589697A patent/JP3728900B2/ja not_active Expired - Fee Related
-
1998
- 1998-10-09 US US09/169,375 patent/US6377701B1/en not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002202122A (ja) * | 2001-01-05 | 2002-07-19 | Olympus Optical Co Ltd | 2次元距離画像センサのキャリブレーション方法 |
JP2005509877A (ja) * | 2001-11-23 | 2005-04-14 | マプヴィジョン オーユー エルテーデー | コンピュータ視覚システムの較正方法及びそのシステム |
AT414194B (de) * | 2002-03-06 | 2006-10-15 | Christian Dipl Ing Neugebauer | Vorrichtung und verfahren zur kalibrierung eines stereobildverarbeitungssystems |
JP2004198110A (ja) * | 2002-12-16 | 2004-07-15 | Dainippon Printing Co Ltd | 校正用基板 |
JP2004354234A (ja) * | 2003-05-29 | 2004-12-16 | Ishikawajima Harima Heavy Ind Co Ltd | 写真計測用カメラキャリブレーション方法 |
CN100432626C (zh) * | 2003-08-22 | 2008-11-12 | 中国人民解放军国防科学技术大学 | 用于消除振动环境对光测影响的姿态像机系统接力的方法 |
JP2005140630A (ja) * | 2003-11-06 | 2005-06-02 | National Maritime Research Institute | 3次元画像計測用カメラ検定設備 |
JP2012132739A (ja) * | 2010-12-21 | 2012-07-12 | Ricoh Co Ltd | ステレオカメラの校正装置および校正方法 |
JP2015135317A (ja) * | 2013-12-19 | 2015-07-27 | 株式会社リコー | 画像処理装置、システム、画像処理方法およびプログラム |
JP2018146363A (ja) * | 2017-03-03 | 2018-09-20 | 三菱航空機株式会社 | 3次元位置計測システム及び方法 |
CN110062152A (zh) * | 2018-01-18 | 2019-07-26 | 钰立微电子股份有限公司 | 校正相机的系统 |
CN110062152B (zh) * | 2018-01-18 | 2021-04-06 | 钰立微电子股份有限公司 | 校正相机的系统 |
US11050998B2 (en) | 2018-01-18 | 2021-06-29 | Eys3D Microelectronics, Co. | System of camera calibration |
WO2020105697A1 (ja) * | 2018-11-22 | 2020-05-28 | 国立大学法人東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
JPWO2020105697A1 (ja) * | 2018-11-22 | 2021-10-07 | 国立大学法人 東京大学 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
Also Published As
Publication number | Publication date |
---|---|
US6377701B1 (en) | 2002-04-23 |
JP3728900B2 (ja) | 2005-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3728900B2 (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
US5878174A (en) | Method for lens distortion correction of photographic images for texture mapping | |
US5898438A (en) | Texture mapping of photographic images to CAD surfaces | |
US20080050042A1 (en) | Hardware-in-the-loop simulation system and method for computer vision | |
CN108429908B (zh) | 一种摄像模组的测试方法、装置、设备及介质 | |
CN103090846A (zh) | 一种测距装置、测距系统及其测距方法 | |
CN113962853B (zh) | 一种旋转线阵扫描图像位姿自动化精密解算方法 | |
JP2002516443A (ja) | 3次元表示のための方法および装置 | |
CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
Jiang et al. | An accurate and flexible technique for camera calibration | |
JP2000028332A (ja) | 3次元計測装置及び3次元計測方法 | |
JPH11136575A (ja) | 撮像装置及び撮像画像合成方法 | |
CN110044266B (zh) | 基于散斑投影的摄影测量系统 | |
JP3282516B2 (ja) | 三次元画像計測方法 | |
JP2017098859A (ja) | 画像のキャリブレーション装置及びキャリブレーション方法 | |
JP3842988B2 (ja) | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 | |
JP2000134537A (ja) | 画像入力装置及びその方法 | |
Lu et al. | Image-based system for measuring objects on an oblique plane and its applications in 2-D localization | |
JP3221384B2 (ja) | 三次元座標計測装置 | |
Qian et al. | Image distortion correction for single-lens stereo vision system employing a biprism | |
CN113596441B (zh) | 光轴调整装置、方法、系统及可读存储介质 | |
JP4324271B2 (ja) | 画像処理装置およびその方法 | |
Chai et al. | Mirror binocular calibration method based on sole principal point | |
JP2006330772A (ja) | 撮影画像における歪曲収差補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050926 |
|
LAPS | Cancellation because of no payment of annual fees |