JPH1062145A - カメラ姿勢の検出装置 - Google Patents

カメラ姿勢の検出装置

Info

Publication number
JPH1062145A
JPH1062145A JP8213959A JP21395996A JPH1062145A JP H1062145 A JPH1062145 A JP H1062145A JP 8213959 A JP8213959 A JP 8213959A JP 21395996 A JP21395996 A JP 21395996A JP H1062145 A JPH1062145 A JP H1062145A
Authority
JP
Japan
Prior art keywords
camera
matrix
attitude
obtaining
coordinate points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8213959A
Other languages
English (en)
Other versions
JP3608305B2 (ja
Inventor
Makoto Niwakawa
誠 庭川
Nobuyuki Fujiwara
伸行 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP21395996A priority Critical patent/JP3608305B2/ja
Publication of JPH1062145A publication Critical patent/JPH1062145A/ja
Application granted granted Critical
Publication of JP3608305B2 publication Critical patent/JP3608305B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 校正テーブルをカメラで撮影したワールド座
標と、その点が画像中に見えている点の座標とからカメ
ラの姿勢を求めるのに、複数の座標点から最小二乗法で
カメラ姿勢の行列を求めると、座標に含まれる量子化誤
差やレンズ収差の誤差で姿勢が全く異なってしまうこと
がある。 【解決手段】 最小二乗法等でカメラ姿勢の行列Tを求
め(S1,S2)、この行列からカメラの回転角(ψ
n,θn,φn)をn個求め(S3)、この回転角から
オイラー角等で回転させた行列T’を求め(S4)、行
列TとT’の各要素の差の絶対値の和を差Sとして求め
(S5)、この差Sが最小になるものの回転角をカメラ
の姿勢として出力する(S6)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、2つのカメラを用
いて対象物をステレオ視した画像情報から対象物の位置
を求める3次元位置計測装置に係り、特に、画像処理に
よってカメラの姿勢を検出する装置に関する。
【0002】
【従来の技術】図2に示すように、2つのカメラを用い
て対象物をステレオ視した場合、カメラで撮影される画
像A,Bの座標系から対象物Mの3次元位置(x,y,
z)は以下の式により求められる。
【0003】
【数1】
【0004】この方式により求める対象物の3次元位置
は、画像処理で対象物の位置を計測するために、精度の
あるカメラ姿勢(3次元の回転角)が必要となる。
【0005】このため、カメラを精度良く固定する方法
や、画像処理によってカメラの姿勢を求める方法があ
る。
【0006】前者は、カメラを所定の向きと場所に固定
する方法であるが、カメラの姿勢を精度良く固定するに
は極めて煩雑な作業が必要となる。
【0007】後者の画像処理によってカメラの姿勢を求
める方法では、実際のある点のワールド座標と、その点
が画像中に見えている点の座標を3点以上求めることで
カメラの姿勢を得る。実際の座標には量子化誤差やレン
ズ収差の誤差があるため、複数の座標点から最小二乗法
で行列を求め、この行列からカメラ姿勢を検出してい
る。
【0008】この方法による3次元位置計測装置は、図
3に示すように、左右カメラ1L,1Rからの撮影画像
を3次元位置計測装置本体2に入力し、その対応付け回
路2 1によって対象物の各部の対応付けを行い、対応付
けされた画像から3次元位置処理回路22によって対象
物の3次元位置を求める。
【0009】カメラ姿勢校正装置3は、図4に示すよう
に、左右カメラ1L,1Rにより各種の色になる校正ポ
ールをランダムに立てた校正テーブル4を撮影した画像
を対応付け回路31に入力し、各ポールの対応付けを行
った画像から校正係数処理回路32により最小二乗法で
行列を求め、この行列からカメラ姿勢を求めて3次元位
置処理回路22のカメラ姿勢を校正する。
【0010】
【発明が解決しようとする課題】従来の画像処理によっ
てカメラの姿勢を求める方法は、以下の行列を求めるこ
とでカメラ姿勢を検出する。なお、式中で、実際のある
点のワールド座標を(x,y,z)、その点が画像中に
見えている点を(u,v)とする。
【0011】
【数2】
【0012】この係数a11〜a34について、上記3
つの式を最小二乗法で求めれば、行列として求めること
ができる。しかし、最小二乗法で求めた行列から姿勢を
求める際には以下の問題がある。
【0013】最小二乗法で求めた行列には、量子化誤差
やレンズ収差による誤差が残っている。したがって、こ
の行列からカメラの姿勢(回転角度)を求める際、使用
する行列要素によって得られる姿勢(回転角度)が全く
異なってしまう問題がある。
【0014】例えば、カメラの3次元の回転角(ロール
角、ピッチ角、ヨー角)ψ、θ、φを求める場合、まず
ピッチ角θを求める式は以下のように複数存在する。
【0015】 θ1=atan(−a13・sinφ/a12) θ2=atan(a13・cosφ/a11) θ3=atan(a13/−a23・sinψ+cos
ψ) … θ9=… したがって、行列要素a11,a12,a23の値によ
って、θが全く異なってしまう問題がある。同様に、
ψ、φについても、行列要素によって異なった値を求め
てしまう。
【0016】本発明の目的は、最小二乗法で求めた行列
から最も精度の良いカメラの姿勢を求めて3次元位置情
報を得る計測装置を提供することにある。
【0017】
【課題を解決するための手段】本発明は、2台のカメラ
でステレオ視した対象物のある点のワールド座標と、そ
の点がカメラ画像中に見えている複数の座標点を求め、
この複数の座標点から最小二乗法でカメラ姿勢の行列を
求める手段と、前記行列から複数のカメラ回転角を求
め、この回転角を行列にしたものと前記手段が求めたカ
メラ姿勢の行列との差の絶対値が最も小さい回転角をカ
メラの姿勢として求める手段とを備えたことを特徴とす
る。
【0018】また、前記カメラ姿勢の行列は、複数の座
標点から自己回帰モデルを使用して求めることを特徴と
する。
【0019】また、前記カメラ姿勢の行列は、複数の座
標点から予測誤差モデルを使用して求めることを特徴と
する。
【0020】また、前記カメラ姿勢の行列は、複数の座
標点からハフ変換によって求めることを特徴とする。
【0021】
【発明の実施の形態】
(第1の実施形態)図1は、本発明の実施形態を示すカ
メラ姿勢検出手段の処理手順である。まず、処理S1で
は、ワールド座標(x,y,z)と画像中の座標(u,
v)は、従来と同様に3点以上計測する。この計測は、
図4における校正テーブル4をカメラ1L又は1Rで撮
影し、実際のある点のワールド座標(x,y,z)と、
その点が見えているカメラの撮影画像中の座標(u,
v)とを求める。
【0022】処理S2では、上記の計測で求めた座標か
ら線形回帰で行列T(4×4行列)を求める。
【0023】処理S3では、行列Tからカメラの回転角
(ψn,θn,φn)をn個求める(n=r+y+e+
…)。この回転角(ψn,θn,φn)は、以下の方法
で求められる。
【0024】(a)ロールピッチヨー角:ロールピッチ
ヨー角で使用する行列要素の全ての組み合わせについて
求めた角度(ψr,θr,φr)を求める。この演算は
以下のようになる。
【0025】
【数3】
【0026】(b)ヨーピッチロール角:ヨーピッチロ
ール角で使用する行列要素の全ての組み合わせについて
求めた角度(ψy,θy,φy)を求める。この演算は
以下のようになる。
【0027】
【数4】
【0028】(c)オイラー角:オイラー角で使用する
行列要素の全ての組み合わせについて求めた角度(ψ
e,θe,φe)を求める。この演算は以下のようにな
る。
【0029】
【数5】
【0030】なお、上記のオイラー角、ロールピッチヨ
ー角以外にピッチヨーロール角などの回転を追加して使
用しても良い。
【0031】次に、処理S4では、処理S3で求めたn
個の回転角(ψn,θn,φn)から行列T’をn個求
める。例えば、角度(ψe,θe,φe)ならオイラー
角で回転させた行列T’eをe個求め、角度(ψr,θ
r,φr)ならロールピッチヨー角で回転させた行列
T’rをr個求める。
【0032】次に、処理S5では、行列TとT’の差S
を求める。この差Sの演算には、行列T,T’の各要素
をその最大値max(T)、max(T’)でそれぞれ
割算した行列T1、T2とし行列要素の最大値を一致させ
ておき、各要素の差の絶対値の和を差Sとして求める。
【0033】
【数6】T1=T/max(T) T2=T’/max(T’) S=ΣΣ|T1−T2| 次に、処理S6では、処理S5で求めた差Sのうち最も
小さい差Sを求め、この最小差Sのときの回転角(ψ,
θ,φ)を求め、それをカメラの姿勢(回転角)として
出力する。例えば、S1〜Sr、S1〜Seのうち、最
も小さい値がSr(r=3)になるとき、ロールピッチ
ヨー角から求めた回転角(ψ3,θ3,φ3)をカメラの
姿勢として出力する。
【0034】(第2の実施形態)前記の第1の実施形態
では、処理S2では行列Tを線形回帰により求めるのに
対して、本実施形態では線形回帰に代えてARモデル
(自己回帰モデル)を使用して行列Tを求める。
【0035】ARモデルは、n次の非線形回帰に拡張さ
れているため、レンズ収差のような非線形成分を近似す
ることができる。
【0036】したがって、レンズ収差などの非線形要素
が大きい場合、第1の実施形態での線形回帰よる方法よ
りもARモデルによると精度の良いカメラ姿勢を得るこ
とができる。
【0037】(第3の実施形態)前記の線形回帰による
行列Tを求めるのに代えて、ARMAXモデル(予測誤
差モデル)を使用する。
【0038】カメラで撮影した画像中の座標点の誤差が
ホワイトノイズでない場合、前記のARモデルよりAR
MAXモデルの方が近似精度が良い。
【0039】したがって、本実施形態では、座標点の誤
差がホワイトノイズでない場合、ARMAXモデルを使
用して精度の良いカメラ姿勢を得る。
【0040】(第4の実施形態)前記の線形回帰に代え
て、ハフ変換を使用して行列Tを求める。ハフ変換は、
減点法でなく、得点法である。したがって、本実施形態
では、座標点の濃さの分布が誤差ゼロと誤差大の2つ以
上のピークをもつ場合、ハフ変換により精度の良いカメ
ラ姿勢を求めることができる。
【0041】
【発明の効果】以上のとおり、本発明によれば、2台の
カメラでステレオ視した対象物のある点のワールド座標
と、その点がカメラ画像中に見えている複数の座標点を
求め、この複数の座標点から最小二乗法等でカメラ姿勢
の行列を求め、この行列から複数のカメラ回転角を求
め、この回転角を行列にしたものとカメラ姿勢の行列と
の差の絶対値が最も小さい回転角をカメラの姿勢として
求めるようにしたため、以下の効果がある。
【0042】(1)カメラを精度良く固定する手間を不
要にしながら精度良い3次元位置計測ができる。
【0043】(2)最小二乗法等で求めた行列に量子化
誤差やレンズ収差による誤差が含まれる場合にも、最も
信頼できるカメラの姿勢を求めることができる。
【図面の簡単な説明】
【図1】本発明の実施形態を示すカメラ姿勢の検出処理
手順。
【図2】ステレオ視による3次元位置計測の原理図。
【図3】3次元位置計測装置。
【図4】校正テーブルの撮影構造。
【符号の説明】
1L、1R…カメラ 2…3次元位置計測装置本体 3…カメラ姿勢校正装置 4…校正テーブル

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 2台のカメラでステレオ視した対象物の
    ある点のワールド座標と、その点がカメラ画像中に見え
    ている複数の座標点を求め、この複数の座標点から最小
    二乗法でカメラ姿勢の行列を求める手段と、 前記行列から複数のカメラ回転角を求め、この回転角を
    行列にしたものと前記手段が求めたカメラ姿勢の行列と
    の差の絶対値が最も小さい回転角をカメラの姿勢として
    求める手段とを備えたことを特徴とするカメラ姿勢の検
    出装置。
  2. 【請求項2】 前記カメラ姿勢の行列は、複数の座標点
    から自己回帰モデルを使用して求めることを特徴とする
    請求項1に記載のカメラ姿勢の検出装置。
  3. 【請求項3】 前記カメラ姿勢の行列は、複数の座標点
    から予測誤差モデルを使用して求めることを特徴とする
    請求項1に記載のカメラ姿勢の検出装置。
  4. 【請求項4】 前記カメラ姿勢の行列は、複数の座標点
    からハフ変換によって求めることを特徴とする請求項1
    に記載のカメラ姿勢の検出装置。
JP21395996A 1996-08-14 1996-08-14 カメラ姿勢の検出装置 Expired - Lifetime JP3608305B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21395996A JP3608305B2 (ja) 1996-08-14 1996-08-14 カメラ姿勢の検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21395996A JP3608305B2 (ja) 1996-08-14 1996-08-14 カメラ姿勢の検出装置

Publications (2)

Publication Number Publication Date
JPH1062145A true JPH1062145A (ja) 1998-03-06
JP3608305B2 JP3608305B2 (ja) 2005-01-12

Family

ID=16647903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21395996A Expired - Lifetime JP3608305B2 (ja) 1996-08-14 1996-08-14 カメラ姿勢の検出装置

Country Status (1)

Country Link
JP (1) JP3608305B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006138735A (ja) * 2004-11-12 2006-06-01 Central Res Inst Of Electric Power Ind カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
JP2008292407A (ja) * 2007-05-28 2008-12-04 Canon Inc 情報処理方法及び情報処理装置
US9424645B2 (en) 2011-06-06 2016-08-23 Panasonic Intellectual Property Management Co., Ltd. Calibration device and calibration method for a stereo camera without placing physical markers
KR20210132624A (ko) * 2020-12-30 2021-11-04 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. 도로측 카메라의 외부 파라미터에 기반한 3차원 감지 정보 획득 방법과 도로측 기기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61277012A (ja) * 1985-06-03 1986-12-08 Nippon Telegr & Teleph Corp <Ntt> カメラ位置姿勢校正方法
JPH05248819A (ja) * 1992-03-06 1993-09-28 Kobe Steel Ltd カメラによる測定対象物の三次元位置測定のための較正対象データの較正方法及び三次元位置測定方法
JPH07234915A (ja) * 1994-02-24 1995-09-05 Tec Corp 画像認識装置
JPH07334679A (ja) * 1994-06-13 1995-12-22 Toshiba Corp 領域抽出装置
JPH0814828A (ja) * 1994-06-29 1996-01-19 Kobe Steel Ltd ステレオ画像センサのキャリブレーション方法及びその装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61277012A (ja) * 1985-06-03 1986-12-08 Nippon Telegr & Teleph Corp <Ntt> カメラ位置姿勢校正方法
JPH05248819A (ja) * 1992-03-06 1993-09-28 Kobe Steel Ltd カメラによる測定対象物の三次元位置測定のための較正対象データの較正方法及び三次元位置測定方法
JPH07234915A (ja) * 1994-02-24 1995-09-05 Tec Corp 画像認識装置
JPH07334679A (ja) * 1994-06-13 1995-12-22 Toshiba Corp 領域抽出装置
JPH0814828A (ja) * 1994-06-29 1996-01-19 Kobe Steel Ltd ステレオ画像センサのキャリブレーション方法及びその装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006138735A (ja) * 2004-11-12 2006-06-01 Central Res Inst Of Electric Power Ind カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
JP2008292407A (ja) * 2007-05-28 2008-12-04 Canon Inc 情報処理方法及び情報処理装置
US9424645B2 (en) 2011-06-06 2016-08-23 Panasonic Intellectual Property Management Co., Ltd. Calibration device and calibration method for a stereo camera without placing physical markers
KR20210132624A (ko) * 2020-12-30 2021-11-04 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. 도로측 카메라의 외부 파라미터에 기반한 3차원 감지 정보 획득 방법과 도로측 기기
US11893884B2 (en) 2020-12-30 2024-02-06 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device

Also Published As

Publication number Publication date
JP3608305B2 (ja) 2005-01-12

Similar Documents

Publication Publication Date Title
Kannala et al. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
CN109855603B (zh) 一种聚焦测量方法及终端
US20110228052A1 (en) Three-dimensional measurement apparatus and method
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
Kim et al. Color and depth image correspondence for Kinect v2
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
JPH11160021A (ja) 広域3次元位置計測方法及び装置
JPH0690032B2 (ja) 距離画像取得装置
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
Rudakova et al. Camera matrix calibration using circular control points and separate correction of the geometric distortion field
JP3696336B2 (ja) カメラのキャリブレーション方法
CN114926538A (zh) 单目激光散斑投影系统的外参数标定方法和装置
JP2002099902A (ja) 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
JP3608305B2 (ja) カメラ姿勢の検出装置
CN109712200B (zh) 一种基于最小二乘原理及边长推算的双目定位方法及系统
TWI662694B (zh) 三維影像攝取方法及系統
JPS6256814A (ja) 3次元位置計測カメラ較正方式
JPH076769B2 (ja) 物体計測装置
Sagawa et al. Accurate calibration of intrinsic camera parameters by observing parallel light pairs
JP2970835B2 (ja) 三次元座標計測装置
JP3452188B2 (ja) 2次元動画像中の特徴点の追跡方法
JP2000028355A (ja) 3次元画像処理装置
JPH0715647A (ja) 2次元撮像装置のレンズ歪曲収差補正方法
CN115601450B (zh) 周视标定方法及相关装置、设备、系统和介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041004

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071022

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111022

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111022

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121022

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 9

EXPY Cancellation because of completion of term