JPH02206707A - Ｔｖカメラの内部パラメータの較正方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ３．１発明の属する技術分野 本発明は、ディジタル画像に写っている物体の像から、
ディジタル演算を行って、３次元空間内にある物体の位
置を復元するためのＴＶ左カメラ内部パラメータの較正
方法に関する。

ディジタル画像とは、ＴＶ左カメラ出力するアナログ画
像信号をＡ／Ｄ変換器により縦横に数１００個並んだ画
素に標本化し、かつ各画素毎に１００程度の階調のうち
のある階調に量子化して計算機のメモリに入力して得る
ものである。なおこの量子化した階調値は濃度と呼ばれ
ている。

３．２従来の技術 高精度な３次元位置情報を得ることは、自動化やロボッ
ト化などへの応用を考えると１画像処理による視覚技術
、つまりコンビニ−タビジョンの課題の中でも最も重要
な課題の一つである。

この３次元計測は次のようにして行われる。予め像距離
や画像歪曲係数などのＴＶカメラパラメータを正しく較
正しておく。そして、物体の像の位置、すなわち画像メ
モリ上の２次元座標を、さきのＴＶカメラパラメータを
用いた変換式に代入して、物体の実空間内の３次元座標
が求められる。

この中で、ＴＶカメラの内部パラメータの較正は困難な
問題として残置され、一般に、焦点距離や撮像面上の１
画素の大きさは、ＴＶ左カメラ造メーカの仕様に定めら
れている標準値（数％のばらつきがある）を使い１画像
歪曲は無いものとしている。この課題について、　　Ｔ
ｓａｉは、これまでで最も良く検討している。

（〔文献１　）　Ｒ，Ｙ、　Ｔｓａｉ、　”Ａｎ　ｅｆ
ｆｉｃｉｅｎｔ　ａｎｄａｃｃｕｒａｔｅ　ｃａｍｅｒ
ａ　ｃａｌｉｂｒａｔｉｏｎ　ｔｅｃｈｎｉｑｕｅｆｏ
ｒ　　３−Ｄ　　Ｍａｃｈｉｎｅ　　Ｖｉｓｉｏｎ　　
　ＩＥＥＥ　　Ｐｒｏｃ、ｏｆＣｏｎｆ、ｏｎ　　Ｃｏ
ｍｐｕｔｅｒ　　Ｖｉｓｉｏｎ　　ａｎｄ　　Ｐａｔｔ
ｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、　　ｐｐ、　　３６４
〜３７４．　１９８６゜〔文献２　）　Ｒ，Ｋ、　Ｌｅ
ｎｚ　ａｎｄ　Ｒ，Ｖ、　Ｔｓａｉ。

’Ｔｅｃｈｎｉｑｕｅｓ　　ｆｏｒ　　ｃａｌｉｂｒａ
ｔｉｏｎ　　ｏｆ　　ｔｈｅｓｃａｌｅ　　ｆａｃｔｏ
ｒ　　ａｎｄ　　ｉｍａｇｅ　　ｃｅｎｔｅｒ　　ｆｏ
ｒ　　ｈｉｇｈａｃｃｕｒａｃｙ　３−Ｄ　ｍａｃｈｉ
ｎｅ　ｖｉｓｉｏｎ　ｍｅｔｒｏｌｏｇｙ　　１Ｐｒｏ
ｃ、　　ｏｆ　　ＩＥＥＥ　　Ｉｎｔ、　　Ｃｏｎｆ、
　　ｏｎ　　Ｒｏｂｏｔｉｃｓａｎｄ　Ａｕｔｏｍａｔ
ｉｏｎ、　　ｐｐ、　　６８〜７５．　１９８７．）。

そこで扱われるＴＶカメラパラメータは、外部パラメー
タと内部パラメータとに大別される。外部パラメータは
、３次元空間の基準座標系に対するＴＶカメラの姿勢や
位置であり１回転移動を表す３×３の大きさの行列と、
平行移動を表す３×１の大きさのベクトルである。一方
、内部パラメータは、実効的な焦点距離（通常、像距離
と呼ばれる）２画像メモリの１画素に対応する撮像面上
の領域の幅と高さ２画像歪曲係数、そして画像における
歪曲の中心の位置である。しかしながら、この方法には
次の欠点があった。

（１）画像メモリの１画素に対応する撮像面上の領域の
幅を求めるには、特殊な処理１例えば、サンプリング周
波数計測や１次元ＦＦＴ　（１次元高速フーリエ変換）
が必要（上記〔文献２〕）。

（２）２次元平面上に散在する較正用標点のデータを用
いて回帰分析を行っている。したがって垂直、水平の両
方向のＴＶカメラパラメータを同時に扱うのでＴＶカメ
ラパラメータ数が多くなり、計算量の増大を招く（上記
〔文献１］）。

（３）画像歪曲が無いと仮定した上で、外部パラメータ
を求めている。そして、その外部パラメータを用いて内
部パラメータを求めている。したがって１画像歪曲の大
きなＴＶカメラでは、外部パラメータに誤差を生じ、さ
らに内部パラメータにも誤差が伝播する（上記〔文献１
〕）。

の誤差の小さいＴＶカメラの内部パラメータの較正方法
を提供することにある。

３．４発明の構成 ３．４．１発明の特徴と従来の技術との差異本発明は。

（１）較正用標点のデータの取得とそのデータのＴＶ左
カメラデルへの回帰分析とのみで実行可能である。

（２）１次元上の較正用標点のデータを用いて回帰分析
を行っているので計算量が著しく少ない。

（３）較正の過程で画像歪曲を無視していないので。

画像歪曲の大きなＴＶカメラでも誤差を生じない という特徴を有する。

３．３発明の目的 本発明の目的は、サンプリング周波数計測などの特殊な
処理が不要で、計算量が少ない、較正値３．４．２実施
例 （１）ＴＶ左カメラデル はじめに、ＴＶ左カメラデルを定義する。カメラモデル
の基礎となる幾何光学的なカメラモデルを第２図（Ｃ）
に示す、この図で９点Ｑ、は較正用チャート上の較正用
標点であり、その座標を（Ｘｉ　＋　　ｙｔ　＋　　ｚ
ｉ　）と表す。ここで、３次元空間の座標（ｘ、ｙ、ｚ
）の原点はＴＶカメラレンズ主点にとり、Ｚ軸はレンズ
の光軸に一敗させる０点ｑムは、３次元空間内の点Ｑ。

の像であり、その画像メモリ上の座標は（ｕｔ、Ｖ＝）
と表すｅ　　（ｕｉ　＋　Ｖｉ　）は画像歪曲の影響を
受けている。画像メモリ上の座標の単位はすべて画素で
ある。ここで、仮にピンホールカメラが用いられたとす
れば２画像歪曲は生じなく、３次元空間内の点Ｑ！の像
は点ｑｌ″に結像する。その画像メモリ上の座標を（ｕ
ｌＺ　　ｖｌ”）と表す０点Ｃは画像中心、すなわちレ
ンズの光軸と撮像面との交点であり。

その画像メモリ上の座標を（ｃｕ、ｃｗ）と表す０点Ｔ
は較正用チャートの回転中心であり、その３次元空間内
の座標を（１，，１ア。

１、）と表す０点Ｔの像は点ｔであり、その画像メモリ
上の座標を（１ｕ、１ｖ）と表す。

（Ｘｉ　＋　ｙＬ　ＩＺｌ　）から（ｕｉ　＋　Ｖｉ　
）　”は１次のように変換される。

まず、投影関係式により。

ｕ＋’　　ｃｕ　−ｆ　ｘｔ　／　（ｚｔ　ｄｘ’）　
　　−（１）ｖｌｏ　Ｃｖ　ｘ（ｙｉ　／　（ｚｔ　　
ｄ、）　　　−・（２）さらに１画像歪曲関係式により ｕｉ　−ｕ　＋’　＋Ｋ　（ａｘ’／　ｄｙ　）”ｕ　
１’　（（ｕ　１’）”＋　（ｄｙ’／　ｄ−）”　（
ｖ　＋’）”）　　　−（３）Ｖ！＝ＶＩ°＋ｇ　ｖ　
１’　（（ｄＸ’／　ｄｙ　）”　（ｕ　＋’）”＋（
ｖ＋’）Ｊ　　　　　　　　　　−・・（４）である、
ここで。

に：画像歪曲係数。

ｆ：実効的な焦点距離、すなわち像距離。

（ｄＸ’、ａｙ）：画像メモリの１画素に対応する撮像
面上の領域の幅と高さ。

である、ｄアはＴＶカメラの走査方式との関連で較正の
必要がない、すなわち３画像メモリ上の画素の垂直方向
の長さ、すなわち画素行の間隔と、ＴＶカメラの撮像面
の個々の固体撮像素子の垂直方向の間隔とは正確にｌ対
ｌの対応関係にある。そして、この撮像素子の間隔は現
在の半導体の微細加工技術により９サブミクロン精度と
いう非常な高精度で加工され、゛かつその情報を我々は
容易に得ることができるので、不確定性は存在しない。

一方、ｄｘ’は、ＴＶカメラの画像信号出力バードウェ
アと、計算機の画像メモリ入力バードウェアとの不整合
のために、不確定となる。すなわち、ＴＶカメラのコン
トローラは、走査線に対応する各行を構成する固体撮像
素子群によってビックアンプされた離散信号を、アナロ
グ信号に変換する。その後、そのアナログ信号はＡ／Ｄ
変換器によって２５６あるいは５１２程度の数に離散化
、すなわち標本化され、かつ量子化されて３画像メモリ
の特定の行を構成する画素群の値、すなわち濃度として
入力、記憶される。

ここで、撮像素子の水平方向の間隔が上述のように既知
であることを考慮すると、各行内の過像素子の数と画像
メモリ上での各行内の画素の数とからｄｘｏは求められ
るように見える。しかし、実際には、サンプリングのタ
イミングは数％のオーダーで不整合を避けることはでき
ず。

何らかの手段で較正する必要が生じる。

（２）回帰分析による較正 （２，１）較正用チャート はじめに、較正用チャートについて述べる。

較正用チャートは既知の間隔！。で精度良く平行に描か
れた直線群から成っており、垂直方向の較正では第２図
（ａ）に示すように設定し、水平方向の較正では第２図
（ｂ）に示すように設定する。

直線を用いる利点を第２図（ａ）の設定、すなわち直線
が水平になるようにチャートを設定する場合について説
明する。まず５画像の各列毎に直線の像の位置を計測し
、その位置を１例えば放物線に最小２乗回帰することに
より直線の像の位置、形状は高精度に同定できる。さら
に。

この像の回帰曲線のピークを求めることにより。

各較正用直線の中で、水平方向の歪曲を受けず垂直方向
の歪曲のみを受けている部分の像の位置を求めることが
でき、この像の位置を以下の較正用データとして用いる
。そのため、後述のようにモデル回帰の計算を１次元内
で行うことが可能となり、計算量を著しく低減できる。

（２，２）垂直方向の回帰分析によるｆ、に、ｃｖ。

φの較正 較正用直線の上にあり、かつ（２，１）に説明した較正
用データにあたる点Ｑ、の３次元座標のうちｙ、とＺｉ
は次の簡単な式で表される。

Ｙ　ｒ　＝　（ｉ　１　ｃ−４２）ｃｏｓφ＋ｔｙ、　
　　　−（ｓ）ｚ（＝−（Ｒｌｃｍｆｆｉ）ｓｉｎφ＋
ｔ、、　　　−４６）ここで、φは較正用チャートの傾
斜角であり。

！は傾斜中心点Ｔと最も下にある較正用直線との間の長
さである。なお、較正用直線と画像メモリ上の各行の方
向との角度の偏差ψは１画像を見ながら調整することに
より、１°以下に低減しておく、これにより、上記の式
（５）、　（６）のようにｙｌやｚｌへのψの干渉を無
視できる。さらに＋Ｑ＋の像ｑ！のＵ座標ｕｌ′はＣｕ
にほぼ等しいと見なすことができる。

いま、３次元空間にある点Ｑｉ　（Ｘｉ　＋　　３’ｔ
　。

ｚりから２画像メモリ上の像ｑｚ　　（ｕム。

Ｖｔ）への変換を考える。ｕｌがＣ１にほぼ等しく、か
つｄｘ“はｄ、にほぼ等しいので１式（４）の（ｄ、’
／ｄ、）”　（ｕ　、’）”の項は省略できる。

このとき１式（５）、　（６）を弐（２）に代入し、さ
らに式（２）を式（４）に代入することにより、較正用
データを回帰する式、すなわち回帰方程式 ・・・・・−・　（７） を得ることができる。

さらに、傾斜中心点Ｔをｉ５番目の較正用直線に一致さ
せることにより＋　　”Ｖはｉｔ番目の較正用データｖ
ｔｔを用いて Ｌｖ　＝　（Ｖｔｔ　　Ｃｖ　）　Ｌｍ　ｄｙ　／　ｆ
　　−−・−（８）と与えられ、消去できる０式（７）
において、ｄ。

とｌｃとはＴＶカメラや較正用チャートの製造メーカの
仕様から容易に知ることができ、ｔｔと１　（＝ｉｔ　
ｊ！ｃ　）は我々自身で計測することが可能である。

以上のようにして、残っている未知数はｒ。

に、ＣＶ、　　φの４つとなる。これら４つの未知数は
、すべてのｌに対するＶｌの観測値、すなわち較正用デ
ータｖ遍。と式（７）によるＶｔの計算値Ｖｉｅとの間
の残差２乗和を最小にするように最急降下法を用いて解
くことができる。なお。

解の誤差を小さくするためには、較正用チャートを既知
の角度間隔で点Ｔを中心として傾斜させるとよい、この
場合、初期の角度をφ。（未知）とし１回転角度間隔を
Δφ（既知）とするト、φ−φ・、φ。＋Δφ、φ。＋
２Δφ、・・・・・・についての残差２乗和の和を最小
にするように最急降下法を適用すればよい。

（２，３）水平方向の回帰分析によるｄ）＋’＋Ｃ１１
＋　　θの較正 ここでは、較正用直線が画像の垂直方向、すなわち列方
向に一致するように較正用チャートを設定する。そして
、垂直方向の較正と同様にして、較正用直線上の点Ｐ、
について２回帰方程式 ％式％（９） が得られる。ここで、θは較正用チャートの方位角であ
る。そして２式（８）と同様に、Ｌ８はｉ。

番目の較正用データｕｉ＆を用いて ｔ−＊　−（ｕｔｔ　　Ｃｕ　）　Ｌｘ　ｄｘ’／　ｆ
　　−−−００）と与えられ、消去できる。式（９）に
おいて、ｒとにはすでに較正されている値を用いる。し
たがって、残る２つの未知数θ＋　　Ｃｕ　＋　　ｄＸ
’を垂直方向の較正と同様にして較正する。

以上で取り扱ってきた各変数がどのようにして求められ
るかについて整理する。

外部パラメータ： ｔ、；測定値を用いて式（８）で消去 Ｌｘ　　ｉ測定値を用いて弐〇〇）で消去ｔ、；測定 φ；垂直方向の回帰分析により較正 θ；水平方向の回帰分析により較正 ψ；０＠に設定 内部パラメータ： ｆ；垂直方向の回帰分析により較正 に；垂直方向の回帰分析により較正 Ｃｖ　　ｉ垂直方向の回帰分析により較正Ｃエ　；水平
方向の回帰分析により較正ｄ、Ｈメーカの仕様 ｄ、１．水平方向の回帰分析により較正ＴＶカメラパラ
メータ較正の目的は、内部パラメータにあることを付記
する。

（３）較正の手順 （２，１）〜（２，３）に述べた較正方法を発明方法と
して具体化して第１図の流れ図に示し、以下に説明する
。

はじめに、較正用チャートを第２図（ａ）のように、較
正用直線が水平になるように設定する。

そして、垂直方向の較正用データ、すなわち。

水平方向の歪曲を受けていない列に結像した較正用標点
の像の座標を測定する第１工程を実施する（２．１参照
）。

次に、垂直方向の較正用データを、該列に対応する較正
用標点の３次元座標と像の座標との関係を表す回帰方程
式、すなわち式（８）が代入された式（７）に回帰し２
３つの内部パラメータ、すなわち像距離１画像歪曲係数
２画像中心の垂直座標、を較正する第２工程を実施する
（２．２参照）。

次に、較正用チャートを第２図（ｂ）のように。

較正用直線が垂直になるように設定する。そして、水平
方向の較正用データ、すなわち垂直方向の歪曲を受けて
いない行に結像した較正用標点の像の座標を測定する第
３工程を実施する（２゜１参照）。

次に、水平方向の較正用データを該行に対応する較正用
標点の３次元座標と像の座標との関係を表す回帰方程式
、すなわち弐〇〇が代入された式（９）に回帰して、２
つの内部パラメータ、すなわち１画像メモリの１画素に
対応する措像面上の領域の幅１画像中心の水平座標、を
較正する第４工程を実施する（２．３参照）。

（４）計算機シミュレーション 各ＴＶカメラパラメータの較正誤差を垂直方向の較正に
例をとり、計算機シミュレーションにより検討する。シ
ミュレーションの条件と結果を第３図に示す。

まず、計算機シミュレーションに用いた画像歪曲量Ｖｉ
　−ｖ、°と較正用直線の順番ｉとの関係を第４図に示
す。レンズ収差と較正用チャートの傾斜とに起因する画
像歪曲は↑最像面の端では数１０画素にも達している。

シミュレーションに用いた較正用データＶ、は真の値付
近でランダムに変動させて得たものであり、１００組の
データそれぞれについてカメラパラメータの較正を行っ
た。この変動の最大値ΔＶ、□は０．１画素としている
。また、φは１種類、すなわちφ＝０°の場合と、４種
類φ−０°、５°、１０゜１５”の場合について計算し
ている。

第３図から、４種類のφを用いて較正したパラメータの
誤差（標準偏差）はＩＩＩ類のφに対する誤差に比べて
、データ数の比４：１以上に著しく小さくなっているこ
とがわかる。４種類のφを用いる場合、φｌ　　ＣＶｌ
　　に、ｆの誤差の標準偏差δφ、δＣＶ＋　　δ９．
δ、はそれぞれ０．０３＠、　０．０９画素、２Ｘ１０
−’画素、　０．０００　ｒｒｍである。さらに、約４
０画素にも達する画像歪曲に対して、較正された各パラ
メータを用いて式（７）により計算して求めたＶｉｃの
誤差、すなわち観測値に相当する較正用データＶｌ。と
Ｖｌｃとの差は標準偏差で約０．１画素であり、較正用
データの変動の最大値ΔＶＩＩｍＸと同程度に過ぎない
。

（５）実験結果 実験に用いた各種機器、および実験で設定した条件を次
に列挙する。

ＴＶカメラ： 撮像素子、ＣＣＤ型固体撮像素子 素子数、３８４（水平）　Ｘ　４９１　（垂直）素子の
大きさ； ０．０２３ｍａ＋　（水平）　Ｘｏ、０１３４Ｍ　（垂
直）画像メモリ上の１画素に対応する描像面上の大きさ
； ｄ、＋　＝０．０３４５ｍ　（不確定）。

ｄ、　＝０．０２６８ｍ レンズ：　ｆ　＝４．８　ｗａ　（不確定）画像メモリ
の大きさ： ２５６（水平）　Ｘ　２４０　（垂直）較正用チャート
： 大きさ； ６００■（水平）　ｘ　５００ｍ　（垂直）較正用直線
の数；３０ 較正用直線の間隔、　ｆｆｉ、　＝　２０．００１１１
１設定条件： ｌ−１６０，０閣 Ｌｍ　＝　３７５．５ｍ ここでは、４種類のφを用いた垂直方向の較正の結果を
例にとって説明する。　　１９本の較正用直線それぞれ
について２画像の中心列近傍の１６列について、較正用
直線の座標を計測し。

それらの座標を放物線に最小２乗回帰して１９個のＶｌ
を求めた。このＶｌを用いて較正を行い１次のようにＴ
Ｖカメラパラメータが求められた。

ｒ　　　−５，０１５ｍ に　−−６，１６Ｘ１０−’画素： Ｃ，＝　９３．０７７画 素。−−０，３０” これらのノクラメータの精度を検討する。画像歪曲量と
較正用直線の順番との関係を第５図に示す、観測値は０
１口、Δ、・で表され、上記の較正埴をもとにして求め
た計算値は実線で表されている０画像歪曲は最大で１５
５画素達しているのにもかかわらず、観測値と計算値と
の差は０．２画素以下となっている。このように計算値
は観測値に非常に良く一致しており、計算機シミュレー
ションの結果とも合わせて、提藁のＴＶカメラパラメー
タ較正方法の有効性が理解できる。

３．５発明の詳細 な説明したように８本発明方法によれば。

（１）必要な処理は較正用データの取得と回帰分析との
みであり、サンプリング周波数計測や１次元ＦＦＴなど
の特殊な処理が不要である。

（２）回帰分析に用いる較正用データを１次元化してい
る。ＴＶカメラパラメータは垂直方向の回帰分析で４個
、水平方向の回帰分析で３個になっている。最急降下法
の場合、変数の数が１つ増えると計算量が３倍になる。

したがって、２次元の較正用データを用いてこれらの７
つのパラメータを同時に回帰分析する場合に比べて。

計算量は約２／２７　（＝２／３’　）に激減している
。

（３）較正の過程で画像歪曲を無視していないので。

実施例に説明したように、非常に大きな歪曲を受けてい
ても高精度に較正できる。

【図面の簡単な説明】

第１図は本発明方法を説明する流れ図、第２図（ａ）、
　（ｂ）は夫々較正用チャートの設定を示す図、第２図
（Ｃ）はＴＶカメラへの結像についての幾何学的関係を
示す図、第３図はシミュレーションの条件と結果とを説
明する図、第４図は計算機シミュレーションに用いた較
正用データの例を示す図、第５図はＴＶカメラパラメー
タ較正実験の結果であり１画像歪曲の観測値と較正され
たパラメータによる計算値を示す。 特許出願人　　日本電信電話株式会社

Claims (1)

1. 【特許請求の範囲】 垂直方向の較正用データ、すなわち水平方向の歪曲を受
   けていない列に結像した較正用標点の像の座標、を測定
   する工程と、 垂直方向の較正用データを、該列に対応する較正用標点
   の３次元座標と像の座標との関係を表す回帰方程式に回
   帰し、３つのＴＶカメラの内部パラメータ、すなわち、
   像距離、画像歪曲係数、画像中心の垂直座標を較正する
   工程と、 水平方向の較正用データ、すなわち垂直方向の歪曲を受
   けていない行に結像した較正用標点の像の座標を測定す
   る工程と、 水平方向の較正用データを該行に対応する較正用標点の
   ３次元座標と像の座標との関係を表す回帰方程式に回帰
   し、２つのＴＶカメラの内部パラメータ、すなわち、画
   像メモリの１画素に対応する撮像面上の領域の幅、画像
   中心の水平座標を較正する工程、 とからなることを特徴とするＴＶカメラの内部パラメー
   タの較正方法。