JP3608305B2 - カメラ姿勢の検出装置 - Google Patents

カメラ姿勢の検出装置 Download PDF

Info

Publication number
JP3608305B2
JP3608305B2 JP21395996A JP21395996A JP3608305B2 JP 3608305 B2 JP3608305 B2 JP 3608305B2 JP 21395996 A JP21395996 A JP 21395996A JP 21395996 A JP21395996 A JP 21395996A JP 3608305 B2 JP3608305 B2 JP 3608305B2
Authority
JP
Japan
Prior art keywords
camera
matrix
angle
posture
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21395996A
Other languages
English (en)
Other versions
JPH1062145A (ja
Inventor
誠 庭川
伸行 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Original Assignee
Meidensha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp filed Critical Meidensha Corp
Priority to JP21395996A priority Critical patent/JP3608305B2/ja
Publication of JPH1062145A publication Critical patent/JPH1062145A/ja
Application granted granted Critical
Publication of JP3608305B2 publication Critical patent/JP3608305B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、2つのカメラを用いて対象物をステレオ視した画像情報から対象物の位置を求める3次元位置計測装置に係り、特に、画像処理によってカメラの姿勢を検出する装置に関する。
【0002】
【従来の技術】
図2に示すように、2つのカメラを用いて対象物をステレオ視した場合、カメラで撮影される画像A,Bの座標系から対象物Mの3次元位置(x,y,z)は以下の式により求められる。
【0003】
【数1】
Figure 0003608305
【0004】
この方式により求める対象物の3次元位置は、画像処理で対象物の位置を計測するために、精度のあるカメラ姿勢(3次元の回転角)が必要となる。
【0005】
このため、カメラを精度良く固定する方法や、画像処理によってカメラの姿勢を求める方法がある。
【0006】
前者は、カメラを所定の向きと場所に固定する方法であるが、カメラの姿勢を精度良く固定するには極めて煩雑な作業が必要となる。
【0007】
後者の画像処理によってカメラの姿勢を求める方法では、実際のある点のワールド座標と、その点が画像中に見えている点の座標を3点以上求めることでカメラの姿勢を得る。実際の座標には量子化誤差やレンズ収差の誤差があるため、複数の座標点から最小二乗法で行列を求め、この行列からカメラ姿勢を検出している。
【0008】
この方法による3次元位置計測装置は、図3に示すように、左右カメラ1L,1Rからの撮影画像を3次元位置計測装置本体2に入力し、その対応付け回路2によって対象物の各部の対応付けを行い、対応付けされた画像から3次元位置処理回路2によって対象物の3次元位置を求める。
【0009】
カメラ姿勢校正装置3は、図4に示すように、左右カメラ1L,1Rにより各種の色になる校正ポールをランダムに立てた校正テーブル4を撮影した画像を対応付け回路3に入力し、各ポールの対応付けを行った画像から校正係数処理回路3により最小二乗法で行列を求め、この行列からカメラ姿勢を求めて3次元位置処理回路2のカメラ姿勢を校正する。
【0010】
【発明が解決しようとする課題】
従来の画像処理によってカメラの姿勢を求める方法は、以下の行列を求めることでカメラ姿勢を検出する。なお、式中で、実際のある点のワールド座標を(x,y,z)、その点が画像中に見えている点を(u,v)とする。
【0011】
【数2】
Figure 0003608305
【0012】
この係数a11〜a34について、上記3つの式を最小二乗法で求めれば、行列として求めることができる。しかし、最小二乗法で求めた行列から姿勢を求める際には以下の問題がある。
【0013】
最小二乗法で求めた行列には、量子化誤差やレンズ収差による誤差が残っている。したがって、この行列からカメラの姿勢(回転角度)を求める際、使用する行列要素によって得られる姿勢(回転角度)が全く異なってしまう問題がある。
【0014】
例えば、カメラの3次元の回転角(ロール角、ピッチ角、ヨー角)ψ、θ、φを求める場合、まずピッチ角θを求める式は以下のように複数存在する。
【0015】
θ=atan(−a13・sinφ/a12)
θ=atan(a13・cosφ/a11)
θ=atan(a13/−a23・sinψ+cosψ)

θ=…
したがって、行列要素a11,a12,a23の値によって、θが全く異なってしまう問題がある。同様に、ψ、φについても、行列要素によって異なった値を求めてしまう。
【0016】
本発明の目的は、最小二乗法で求めた行列から最も精度の良いカメラの姿勢を求めて3次元位置情報を得る計測装置を提供することにある。
【0017】
【課題を解決するための手段】
本発明は、2台のカメラでステレオ視した対象物のある点のワールド座標と、その点がカメラ画像中に見えている3点以上の座標点を計測し、この3点以上の座標点とワールド座標からカメラ姿勢を検出するための行列Tを求める手段と、
前記行列からカメラのロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角およびオイラー角で使用する行列要素の全ての組み合わせから各カメラの回転角をそれぞれ求める手段と、
前記手段で求めた各カメラのn個の回転角からロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角、およびオイラー角で回転させた行列T’をそれぞれ求める手段と、
前記ロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角、およびオイラー角で回転させた各行列Tと行列T’との差Sの絶対値が最も小さい値になる回転角をカメラの姿勢として求める手段とを備えたことを特徴とする。
【0018】
また、前記カメラ姿勢の行列Tは、複数の座標点から自己回帰モデルを使用して求めることを特徴とする。
【0019】
また、前記カメラ姿勢の行列Tは、複数の座標点から予測誤差モデルを使用して求めることを特徴とする。
【0020】
また、前記カメラ姿勢の行列Tは、複数の座標点からハフ変換によって求めることを特徴とする。
【0021】
【発明の実施の形態】
(第1の実施形態)
図1は、本発明の実施形態を示すカメラ姿勢検出手段の処理手順である。まず、処理S1では、ワールド座標(x,y,z)と画像中の座標(u,v)は、従来と同様に3点以上計測する。この計測は、図4における校正テーブル4をカメラ1L又は1Rで撮影し、実際のある点のワールド座標(x,y,z)と、その点が見えているカメラの撮影画像中の座標(u,v)とを求める。
【0022】
処理S2では、上記の計測で求めた座標から線形回帰で行列T(4×4行列)を求める。
【0023】
処理S3では、行列Tからカメラの回転角(ψn,θn,φn)をn個求める(n=r+y+e+…)。この回転角(ψn,θn,φn)は、以下の方法で求められる。
【0024】
(a)ロールピッチヨー角:ロールピッチヨー角で使用する行列要素の全ての組み合わせについて求めた角度(ψr,θr,φr)を求める。この演算は以下のようになる。
【0025】
【数3】
Figure 0003608305
【0026】
(b)ヨーピッチロール角:ヨーピッチロール角で使用する行列要素の全ての組み合わせについて求めた角度(ψy,θy,φy)を求める。この演算は以下のようになる。
【0027】
【数4】
Figure 0003608305
【0028】
(c)オイラー角:オイラー角で使用する行列要素の全ての組み合わせについて求めた角度(ψe,θe,φe)を求める。この演算は以下のようになる。
【0029】
【数5】
Figure 0003608305
【0030】
なお、上記のオイラー角、ロールピッチヨー角以外にピッチヨーロール角などの回転を追加して使用しても良い。
【0031】
次に、処理S4では、処理S3で求めたn個の回転角(ψn,θn,φn)から行列T’をn個求める。例えば、角度(ψe,θe,φe)ならオイラー角で回転させた行列T’eをe個求め、角度(ψr,θr,φr)ならロールピッチヨー角で回転させた行列T’rをr個求める。
【0032】
次に、処理S5では、行列TとT’の差Sを求める。この差Sの演算には、行列T,T’の各要素をその最大値max(T)、max(T’)でそれぞれ割算した行列T、Tとし行列要素の最大値を一致させておき、各要素の差の絶対値の和を差Sとして求める。
【0033】
【数6】
=T/max(T)
=T’/max(T’)
S=ΣΣ|T−T
次に、処理S6では、処理S5で求めた差Sのうち最も小さい差Sを求め、この最小差Sのときの回転角(ψ,θ,φ)を求め、それをカメラの姿勢(回転角)として出力する。例えば、S1〜Sr、S1〜Seのうち、最も小さい値がSr(r=3)になるとき、ロールピッチヨー角から求めた回転角(ψ,θ,φ)をカメラの姿勢として出力する。
【0034】
(第2の実施形態)
前記の第1の実施形態では、処理S2では行列Tを線形回帰により求めるのに対して、本実施形態では線形回帰に代えてARモデル(自己回帰モデル)を使用して行列Tを求める。
【0035】
ARモデルは、n次の非線形回帰に拡張されているため、レンズ収差のような非線形成分を近似することができる。
【0036】
したがって、レンズ収差などの非線形要素が大きい場合、第1の実施形態での線形回帰よる方法よりもARモデルによると精度の良いカメラ姿勢を得ることができる。
【0037】
(第3の実施形態)
前記の線形回帰による行列Tを求めるのに代えて、ARMAXモデル(予測誤差モデル)を使用する。
【0038】
カメラで撮影した画像中の座標点の誤差がホワイトノイズでない場合、前記のARモデルよりARMAXモデルの方が近似精度が良い。
【0039】
したがって、本実施形態では、座標点の誤差がホワイトノイズでない場合、ARMAXモデルを使用して精度の良いカメラ姿勢を得る。
【0040】
(第4の実施形態)
前記の線形回帰に代えて、ハフ変換を使用して行列Tを求める。ハフ変換は、減点法でなく、得点法である。したがって、本実施形態では、座標点の濃さの分布が誤差ゼロと誤差大の2つ以上のピークをもつ場合、ハフ変換により精度の良いカメラ姿勢を求めることができる。
【0041】
【発明の効果】
以上のとおり、本発明によれば、2台のカメラでステレオ視した対象物のある点のワールド座標と、その点がカメラ画像中に見えている複数の座標点を求め、この複数の座標点から最小二乗法等でカメラ姿勢の行列を求め、この行列から複数のカメラ回転角を求め、この回転角を行列にしたものとカメラ姿勢の行列との差の絶対値が最も小さい回転角をカメラの姿勢として求めるようにしたため、以下の効果がある。
【0042】
(1)カメラを精度良く固定する手間を不要にしながら精度良い3次元位置計測ができる。
【0043】
(2)最小二乗法等で求めた行列に量子化誤差やレンズ収差による誤差が含まれる場合にも、最も信頼できるカメラの姿勢を求めることができる。
【図面の簡単な説明】
【図1】本発明の実施形態を示すカメラ姿勢の検出処理手順。
【図2】ステレオ視による3次元位置計測の原理図。
【図3】3次元位置計測装置。
【図4】校正テーブルの撮影構造。
【符号の説明】
1L、1R…カメラ
2…3次元位置計測装置本体
3…カメラ姿勢校正装置
4…校正テーブル

Claims (4)

  1. 2台のカメラでステレオ視した対象物のある点のワールド座標と、その点がカメラ画像中に見えている3点以上の座標点を計測し、この3点以上の座標点とワールド座標からカメラ姿勢を検出するための行列Tを求める手段と、
    前記行列からカメラのロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角およびオイラー角で使用する行列要素の全ての組み合わせから各カメラの回転角をそれぞれ求める手段と、
    前記手段で求めた各カメラのn個の回転角からロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角、およびオイラー角で回転させた行列T’をそれぞれ求める手段と、
    前記ロール・ピッチ・ヨー角、ヨー・ピッチ・ロール角、およびオイラー角で回転させた各行列Tと行列T’との差Sの絶対値が最も小さい値になる回転角をカメラの姿勢として求める手段とを備えたことを特徴とするカメラ姿勢の検出装置。
  2. 前記カメラ姿勢の行列Tは、複数の座標点から自己回帰モデルを使用して求めることを特徴とする請求項1に記載のカメラ姿勢の検出装置。
  3. 前記カメラ姿勢の行列Tは、複数の座標点から予測誤差モデルを使用して求めることを特徴とする請求項1に記載のカメラ姿勢の検出装置。
  4. 前記カメラ姿勢の行列Tは、複数の座標点からハフ変換によって求めることを特徴とする請求項1に記載のカメラ姿勢の検出装置。
JP21395996A 1996-08-14 1996-08-14 カメラ姿勢の検出装置 Expired - Lifetime JP3608305B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21395996A JP3608305B2 (ja) 1996-08-14 1996-08-14 カメラ姿勢の検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21395996A JP3608305B2 (ja) 1996-08-14 1996-08-14 カメラ姿勢の検出装置

Publications (2)

Publication Number Publication Date
JPH1062145A JPH1062145A (ja) 1998-03-06
JP3608305B2 true JP3608305B2 (ja) 2005-01-12

Family

ID=16647903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21395996A Expired - Lifetime JP3608305B2 (ja) 1996-08-14 1996-08-14 カメラ姿勢の検出装置

Country Status (1)

Country Link
JP (1) JP3608305B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4796295B2 (ja) * 2004-11-12 2011-10-19 財団法人電力中央研究所 カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
JP4991395B2 (ja) * 2007-05-28 2012-08-01 キヤノン株式会社 情報処理方法及び情報処理装置
US9424645B2 (en) 2011-06-06 2016-08-23 Panasonic Intellectual Property Management Co., Ltd. Calibration device and calibration method for a stereo camera without placing physical markers
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0680404B2 (ja) * 1985-06-03 1994-10-12 日本電信電話株式会社 カメラ位置姿勢校正方法
JPH05248819A (ja) * 1992-03-06 1993-09-28 Kobe Steel Ltd カメラによる測定対象物の三次元位置測定のための較正対象データの較正方法及び三次元位置測定方法
JP2835274B2 (ja) * 1994-02-24 1998-12-14 株式会社テック 画像認識装置
JP2989744B2 (ja) * 1994-06-13 1999-12-13 株式会社東芝 測定面抽出装置及びその方法
JPH0814828A (ja) * 1994-06-29 1996-01-19 Kobe Steel Ltd ステレオ画像センサのキャリブレーション方法及びその装置

Also Published As

Publication number Publication date
JPH1062145A (ja) 1998-03-06

Similar Documents

Publication Publication Date Title
Kannala et al. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
CN109855603B (zh) 一种聚焦测量方法及终端
US20110228052A1 (en) Three-dimensional measurement apparatus and method
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN110006634B (zh) 视场角测量方法、视场角测量装置、显示方法和显示设备
JPH11160021A (ja) 広域3次元位置計測方法及び装置
RU99119906A (ru) Способ и устройство для картографии источников излучения
CN108429908A (zh) 一种摄像模组的测试方法、装置、设备及介质
JP2004286465A (ja) 画像による対象物の計測方法および撮像装置
JPH0690032B2 (ja) 距離画像取得装置
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
JP3842988B2 (ja) 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
JP3696336B2 (ja) カメラのキャリブレーション方法
JP3608305B2 (ja) カメラ姿勢の検出装置
JP2008139194A (ja) 端部位置測定方法および寸法測定方法
US20050286059A1 (en) Attitude and position measurement of objects using image processing processes
TWI662694B (zh) 三維影像攝取方法及系統
JP2005275789A (ja) 三次元構造抽出方法
CN115375773A (zh) 单目激光散斑投影系统的外参数标定方法和相关装置
JPS6256814A (ja) 3次元位置計測カメラ較正方式
JP2006017676A (ja) 計測システムおよび計測方法
JPH076769B2 (ja) 物体計測装置
JP2970835B2 (ja) 三次元座標計測装置
JP2000028355A (ja) 3次元画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041004

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071022

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111022

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111022

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121022

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 9

EXPY Cancellation because of completion of term