JPS63311485A - 自動キャリブレ−ション装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈産業上の利用分野〉 この発明は、例えば産業用ロボットにおける視覚認識技
術に関連し、殊にこの発明は、視覚を構成する撮像装置
のキャリブレーションを自動的に実行するための自動キ
ャリブレーション装置に関する。

〈従来の技術〉 従来、物体の形状等を認識するのに種々な方式があり、
その一方式として、先般、板状のスリット光を用いた３
次元物体認識方式が提案されている。この方式は、投光
装置により板状のスリット光を物体に照射してその表面
にスリット光の交わり線を生成し、その交わり線を撮像
装置により撮像してスリット像を得た後、そのスリット
像を画像処理して、物体認識を行うものである。この種
の方式の場合、認識処理に先立ち、前記撮像装置や投光
装置のキャリブレーションを実行して、カメラモデルや
スリット光モデルを予め求めておく必要がある。

従来、撮像装置のキャリブレーションを行うには、表面
に複数個のマークが設けられたキャリブレーション用ワ
ークを用意し、このワークを撮像装置で撮像してそのマ
ーク画像を画面上に生成する。その後、オペレータがそ
れぞれマーク画像がどのマークに対応するのかを画面上
で判断して手作業によりラベル付け操作を行った上で、
各マークの空間座標位置とそれぞれマ一りに対応する各
マーク画像の検出座標位置とをコンピュータに与えてキ
ャリブレーション演算を実行させ、これにより撮像装置
のカメラモデルを求めている。

〈発明が解決しようとする問題点〉 ところがこのようなキャリブレーション方式の場合、各
マーク画像をラベル付けするのに手作業で行っているた
め、その操作が面倒かつ非能率的であり、キャリブレー
ションを行うのに多大の時間がかかるという問題がある
。

この発明は、上記問題に着目してなされたもので、画像
のラベル付け処理を自動化して撮像装置のカメラモデル
を自動生成することによって、キャリブレーションを容
易かつ短時間で行うことができる新規な自動キャリブレ
ーション装置を提供することを目的とする。

〈問題点を解決するための手段〉 上記目的を達成するため、この発明では、キャリブレー
ション用ワークを用いて撮像装置のキャリブレーション
を自動的に行うための自動キャリブレーション装置であ
って、キャリブレーション用ワークに設けられた空間座
標が既知な複数個のマークを撮像して各マーク画像を生
成するマーク画像生成手段と、各マーク画像の画像上の
座標位置を検出するための画像位置検出手段と、各マー
ク画像の検出座標位置に基づき各マークの形状や配置に
関する情報を参照して各マーク画像をいずれかマークと
対応させてラベル付けするラベル付け手段と、各マーク
の空間座標位置とそれぞれマークと対応関係にある各マ
ーク画像の検出座標位置とからキャリブレーション演算
を実行してカメラモデルを生成する演算手段とを具備さ
せることにした。

〈作用〉 キャリブレーション用ワークをマーク画像生成手段によ
り撮像すると、画像位置検出手段は各マーク画像の画像
上の座標位置を検出する。

ついでラベル付け手段が各マーク画像の検出座標位置に
基づき各マークの形状や配置に関する情報を参照して各
マーク画像をラベル付けすると、演算手段が各マークの
空間座標位置とそれぞれマークと対応関係にある各マー
ク画像の検出座標位置とからキャリブレーション演算を
実行してカメラモデルを生成する。

従ってこの発明によれば、各マーク画像の座標位置の検
出から各マーク画像のラベル付け処理に至るまで自動的
に行われて撮像装置のカメラモデルが自動生成されるか
ら、撮像装置のキャリブレーションを容易かつ短時間で
行うことができるものである。

〈実施例〉 第１図はこの発明にかかる自動キャリブレーション装置
２の概念を示しており、この自動キャリブレーション装
置２がインターフェイス３を介して物体認識装置１に電
気接続されている。

物体認識装置１は物体の形状等を認識するためのもので
あって、撮像装置４と、ビデオ信号を取り込み所定の画
像処理を実行して物体認識する画像処理装置５とから構
成されている。

自動キャリブレーション装置２は、コンビュ−夕のＣＰ
Ｕ６を制御主体としており、撮像装置４のキャリブレー
ションを実行するためのプログラムを格納するＲＯＭ７
や各種データを格納する演算用ＲＡＭ８を備えている。

ＣＰＵ６はキャリブレーション用プログラムを解読実行
し、描像装置４よりキャリブレーション用ワーク９の画
像データを取り込んで、所定のキャリブレーション演算
を実行する。その結果、カメラモデル（詳細は後述する
）が生成され、そのカメラモデルを構成する座標変換係
数が物体認識装置１へ出力される。

第２図および第３図は、上記自動キャリブレーション装
置が組み込まれた物体認識装置を示しており、第２図は
２次元物体認識装置の例であり、また第３図は板状のス
リット光を用いた３次元物体認識装置の例である。

第２図の装置例は、コンピュータのＣＰＵ１２を制御主
体とし、このＣＰＵ１２に対し、画像処理用プログラム
やキャリブレーション用プログラムが格納されるＲＯＭ
１３．被認識物体の画像やキャリブレーション用ワーク
１４の画像が格納される画像記憶部１５．カメラモデル
を構成する座標変換係数が格納される係数記憶部１６．
演算用に供されるＲＡＭ１７の他、ＣＲＴより成る表示
部１８やキーボードより成る操作部１９が、それぞれ接
続されている。前記画像記憶部１５は画像メモリより成
り、インターフェイス２０を介して撮像装置２１に接続
される。この撮像装置２１は例えば２次元ＣＣＤテレビ
カメラより成り、被認識物体やキャリブレーション用ワ
ーク１４を撮像してそのビデオ信号を出力する。

前記キャリブレーション用ワーク９は、第４図および第
５図に示す如く、平面形状が正方形の薄板状をなし、一
定高さく厚み）ｈの平坦面１０上に複数個のマーク１１
が設けである。これら各マーク１１は同一径の円形であ
り、このキャリブレーション用ワーク１１を撮像して２
値化したとき、その背景である平坦面１０や床面などと
明確に区別できるように円形内を黒く塗り潰しである。

またマーク１１の総数は１０個であり、第５図に示す如
く、各マーク１１に対し「０」〜「９」のラベルが割り
当てである。

各マークｌｌは所定の規則に従って配置してあり、ラベ
ルが０．５，６，７，８．９の各マーク１１は直交する
対角線上にほぼ位置し、その他のラベルの各マーク１１
はその線外に位置している。

なお図示例の各マーク１１は同一形状であるが、後記す
るラベル付けのために個々の形状を違えてもよい。

第３図の装置例は、上記第２図の装置例とは、キャリブ
レーション用ワーク２３の態様が異なる点および投光装
置２２を具備している点で差異がある。なおその他の構
成は、第２図の実施例と同様であり、ここでは対応する
構成に同一の符号を付することにより、その説明を省略
する。

この実施例でのキャリブレーション用ワーク２３は、第
６図および第７図に示す如く、高さく厚み）　ｈ＋、ｈ
ｚの異なる二段階の平坦面２４゜２５を有し、各平坦面
２４．２５上に前記と同様のマーク２６が５個宛（合計
１０個）設けられたものである。各マーク１１には第７
図に示す如く、「０」〜「９」のラベルが割り当てられ
、前記の実施例と同様の規則に基づき各マーク１１の配
置が決定されている。

前記投光装置２２は、被認識物体やキャリブレーション
用ワーク２３に対し板状のスリット光を斜め上方より照
射して、その表面にスリット光の交わり線２７を生成す
るためのもので、この交わり線２７を撮像装置２１で撮
像して、被処理画像としてのスリット像を得る。

第８図および第９図は、前記撮像装置２１のカメラモデ
ルの構造を示している。同図中、Ｏｃは撮像装置２１の
撮像面３１の中心点を示し、この中心点Ｏｃを原点とし
てＸｃ軸、　ＹＣ軸、Ｚｃ軸を各直交軸とするカメラ座
標系が設定されている。Ｒは撮像装置２１のレンズ中心
であり、結像距離１ｅｍｂはＯ，Ｒ間の距離で与えられ
る。また第８図中、Ｓｏは画像処理時のサンプリングの
原点、ＰＣＸ　、　ｐｃｙはＸＣ軸方向およびＹｃ軸方
向の各サンプリングピッチである。

なお第８図中のＩＪ座標系はこの撮像面３１に当てはめ
られた画像メモリ座標系であり、また第９図中のｘｙｚ
座標系は物点に空間座標を与える基準座標系である。

ここでカメラモデルとは、撮像装置の３次元位置および
姿勢、レンズの結像距離、ビデオ信号のディジタル化仕
様を表現するモデルであって、前二者を外部モデル、後
者を内部モデルという。撮像装置の位置および姿勢は前
記カメラ座標系を基準座標系から表現したものであり、
この撮像装置の位置・姿勢およびレンズの結像距離は撮
像装置の移動やピント調整により変化する。

撮像装置の基準座標系より見た位置・姿勢をＣＦＲＡＭ
Ｅ　）とすると、この（ＦＲＡＭＩＩ！　）は次式のよ
うに４行４列の行列として表現できる。

・・　　（１１ 単位ベクトルであり、ｆ　Ｉｌ＋　　ｆ　Ｚｌ＋　　ｆ
　３Ｉはそのベクトルの基準座標系におけるｘｙｚ成分
である。

のｙｃ力方向よびＺ、　向の単位ベクトルであり、ｆＩ
！＋ｆ２□、ｆ３！およびｆ　１３＋　　ｆ　Ｚ３＋　
　ｆ：Ｉ３はそれぞれベクトルの基準座標系におけるｘ
ｙ２成分である。

位置座標であり、ｆ　１４＋　　ｆ　２４＊　　ｆ３４
は基準座標系におけるｘｙｚ成分である。

以上から、行列ＣＦＲＡＭＥ　）の各要素については理
想的につぎの（２）〜（６）式が成立する。

ｆｉｌ”　　＋　ｒｚ＋”　　＋　ｆｉ１”　　＝　ｆ
ｉｌ”　　＋　ｆ！！”＋ｆａｚ”　　”ｆｉｌ”　　
＋ｆ、、”　　＋ｆｚｓ”　　＝Ｌ・・・（２）ｒｌｌ
ｒｌ！＋　ｆｚｔｆｚｚ＋ｆ３＋ｆ３ｚ＝ｏ”（３１ｆ
＋＋ｆ＋３＋ｆｚ＋ｆｚｓ＋ｆｓ＋ｆｓ３＝Ｏ・・・・
（４）ｆ　　＋ｚｆ　　１３＋　　ｆｚｚｆ　　ｚｓ＋
　　ｆ　　５ｔｆｓｓ＝　　ｏ　　・・・・（５）ｆａ
＋＝ｆａｘ＝ｆａｘ＝ｏ、　　ｆａ４＝１　　　・・・
・（６）ただしく２）式は単位ベクトルという条件を表
すものであり、（３）〜（５）式はカメラ座標系の各軸
が直交することを示すものである。

つぎに結像変換を表す行列を（ＬＥＮＺ）とすると、こ
の（ＬＥＮＺ）は次式で示される。

・・・・（７） さらに撮像装置の内部モデルは、撮像面３１上で画像が
どのようにサンプリングされるかを示すものであり、こ
れを（ＳＡＭＰ）とすると、次式のような３行３列の行
列として表現できる。

・・・・（８） なお上式中、０ＲＧＸ　、　　０ＲＧＶは第８図に示す
如く、撮像面３１におけるサンプリング原点Ｓ０のＸｃ
座標およびＹ、座標を示す。

いま基準座標系およびカメラ座標系で表現した物点Ｂｉ
　　（第９図に示す）の３次元座標を、（Ｘ直＋　　ｙ
！＋　　Ｚｉ＋　　１）ｔ・・・・基準座標系＜ｅｉ　
１　　ｆｉ　ｌ　　ｇｉ　、１）　ｔ””カメ７座標系
とし、またカメラ座標系および画像メモリ座標系で表現
したその像点Ｐ、の座標を、 （ｐｌ、ｑ＋、１）’・・・・カメラ座標系（１＋　、
Ｊ＝　、１）ｔ・・・・画像メモリ座標系とする。なお
これらの各座標は同次座標表現で表してあり、ｔは転置
行列を示す。

この場合に基準座標系で表現した物点Ｂ、の３次元座標
が、カメラ座標系で表現した３次元座標に変換される過
程はつぎの（９）式で表される。

つぎに結像変換によって物点座標が像点座標に変換され
る過程はつぎのα〔弐で表される。

なお上式中、ｈ、は座標のひずみ等を表す変数である。

さらにカメラ座標系で表現した像点Ｐムの座標が画像メ
モリ座標系で表現した座標に変換される過程はつぎの０
０式で表される。

つぎに第１０図は、第３図の装置例において、撮像装置
２１のキャリブレーションを実行する手順を示している
。

このキャリブレーションは、第６，７図に示すキャリブ
レーション用ワーク２３を用いて実行されるもので、各
マーク画像の中心点を画像上で抽出した上で、各マーク
２６の中心点の３次元座標（既知）と各マーク画像の中
心点の画像上の座標とから撮像装置２１のカメラモデル
を生成するものである。

まず同図のステップ１　（図中ｒｓＴＩＪで示す）にお
いて、マーク画像を２値化するためのしきい値ＴＨを決
定した後、投光装置２２をオフして、キャリブレーショ
ン用ワーク２３を撮像装置２１で撮像する（ステップ２
，３）。撮像装置２１はキャリブレーション用ワーク２
３を画像化してそのビデオ信号をインターフェイス２０
へ出力するもので、ＣＰＵ１２はこのワーク２３の画像
を前記のしきい値ＴＩにより２値化し、マーク画像の部
分を黒画素（データ「１」の画素）、背景の部分を白画
素（データ「０」の画素）として、この２値画像を画像
メモリより成る画像記憶部１５に格納する。

つぎにＣＰＵ１２はステップ４において、キャリブレー
ション用ワークの２値画像よりマーク画像の中心点を抽
出する。

第１１図はこの中心点抽出方法の一例を示すもので、キ
ャリブレーション用ワークの画像３２に対しマーク探索
用ウィンドウ３４およびマーク中心点抽出用ウィンドウ
３５が設定されている。マーク探索用ウィンドウ３４は
縦長矩形状であり、長辺の長さがｄｊ、短辺の長さがｄ
ｉである。またマーク中心点抽出用ウィンドウ３５は正
方形状であり、各辺の長さがＷである。いま各マーク画
像３３の半径をｒとすると、各ウィンドウ３４．３５の
各サイズは、この半径ｒの関数としてつぎのＱ３〜０荀
式により求める。

ｄｊ＝３ｒ　　・・・・＠ ｄｉ＝２　　　・・・・Ｑ罎 Ｗ〒４ｒ　・・・・α〜 ただし半径ｒは黒画素の全面積Ｓとマークの個数（＝１
０）からつぎの（至）式によって求める。

まずマーク画像３３を探索するのに、マーク探索用ウィ
ンドウ３４を矢印方向へ走査し、ウィンドウ３４内の黒
画素の面積がウィンドウ面積の８０％を占める位置を求
める。そしてその位置でマーク探索用ウィンドウ３４を
止め、ウィンドウ内の黒画素の重心Ｇの位置を求める。

この重心位置はマーク画像３３、の中心点ＣＭの近傍で
ある。つぎにこの中心点Ｃ８の位置を求めるのに、マー
ク中心点抽出用ウィンドウ３５を重心Ｇを中心にしてセ
ントし、このウィンドウ内の黒画素の中心座標を中心点
Ｃ０として求める。この中心点Ｃ８の座標が求まると、
同じマーク画像の重複処理を防止するため、処理済みマ
ーク画像を消去するとよい。以下同様の処理をマーク探
索用ウィンドウ３４を画像全面にわたり走査しながら実
行して、全てのマーク画像３３につき中心点Ｃ，を抽出
する。

第１０図に戻って、ステップ４の中心点抽出が終わると
、つぎのステップ５でＣＰＵ１２は各マーク画像３３の
中心点Ｃ，４の検出座標位置に基づき各マークの配置に
関する情報を参照して各マーク画像３３をいずれかマー
クと対応させてラベル付けする。

すなわちＣＰＵ１２は、第１２図に示す如く、まず１０
個のマーク画像３３の中心点ＣＭにつきその重心ｇを求
め、その重心ｇに最も近い位置にある中心点Ｃ９−９の
マーク画像３３にうベル「９」を割り付ける。つぎにこ
のラベル「９」のマーク画像３３の中心点ＣＭ　　９か
ら最も遠い位置にある中心点ＣＭ　　Ｏのマーク画像３
３にラベル「０」を割り付ける。ついでラベル「９」の
マーク画像の中心点Ｃ４−９より向かう単位ベクトルを
ｎとし、このベクトルｎに直交する単位ベクトルをｔと
する。そしてラベル「９」の中心点ＣＭ　　９を原点と
し、各単位ベクトルｎ、ｔの方向を軸とする座標系によ
って各マーク画像３３の中心点Ｃ８の座標を表現し直し
、第１番目に検出したマーク画像の中心点ＣＭのｎ座標
およびｔ座標を（ｎ＝、、＄ｉ）とする。

つぎにラベル「９」のマーク画像３３の中心点ＣＭ　９
とラベル「０」のマーク画像３３の中心点Ｃ７−０との
距離の１／４をしきい値ａｔｈとし、各マーク画像３３
の中心点ＣＨと前記のしきい値ａｔｈとを用いて、次表
に示す規則に基づき他のマーク画像３３のラベル付けを
行う。

なお同表中、「正」はｎ座標やむ座標の値がしきい値ａ
ｔｈより大であることを、また「０」はその座標値の絶
対値がしきい値ａｔｈ以下であることを、さらに「負」
はその座標値がしきい値ａｔｈより小であることを、そ
れぞれ示している。

つぎにステップ６において、ＣＰＵ１２は各マーク２６
の中心点の空間座標位置とそれぞれマークと対応関係に
ある各マーク画像３３の中心点の検出座標位置とから所
定の演算を実行して撮像装置２１の外部モデルを生成す
る。

いまこの外部モデルを表す行列を（ＥＸＴ　）とすると
、この（ＥＸＴ　）は前記（９１０１式よりつぎの（１
６）０９式のように表される。

（ＥＸＴ　）　＝　（ＬＥＮＺ）　　・ＣＦＲＡＭＥ　
）　−’−−−−ＱｌＧここでＣＦＲＡＭＥ　）　−１
の各要素を、・・・・（至） で表現すると、（７）式とα匂式とをαの式に代入して
つぎのα９式を得る。

・・・・α（至） ここでα（至）式に示す要素をもつ撮像装置２１の外部
モデルを、各マーク画像３３の中心点Ｃ。

の画像メモリ座標系における座標と各マーク２６の中心
点の基準座標系における座標とを用いて算出する。

いまラベルｉのマーク画像３３の中心点Ｃイにつき、画
像メモリ座標系における座標が（Ｉｔ＋Ｊ＋）であると
し、またこれをカメラ座標系で表現した座標を（ｐｉ、
ｑｉ）とすると、前記００式よりつぎの（至）式を得る
。

つぎにラベルｉのマーク２６の中心点の基準座標系にお
ける３次元座標（”ｉ＋　　３’ｉ　＊　　Ｚ＝　）と
すると、ｒ２１式を用いて前記０９式を解（ことにより
（ＥＸＴ　）を求めることができる。

この場合に前記顛式をα９式に代入し、ｐｉ。

ｑｉにつき整理すると、つぎの（２１）　（２２）式を
得る。

Ｃ１１Ｘｚ　　＋Ｃ＋ｚｙｔ　　＋ｃ１３ｚｉ　　＋Ｃ
Ｉａ・・・・（２１） ・・・・（２２） 上記（２１）　（２２）式を変形しかつＣ３４＝１と置
くと、つぎの（２３）　（２４）式を得る。

ｃｌｌｘｉ　＋Ｃ＋ｔＹｉ　＋Ｃ＋ｆｆＺｔ　＋Ｃｌ４
−Ｃ１＋Ｘｉ　ｐｔ　　Ｃｚｚ）’ｉ　ｐｔ　　Ｃｚｓ
Ｚｔ　ｐｉ＝ｐｉ　　　　　　　　　　　　・・・・（
２３）Ｃｚ＋ｘ　　、・　十　Ｃｚｚ）’ｉ　　　＋　
　ＣｚｓＺｔ　　　＋ＣｔａＣ：＋＋Ｘ＋　ｑｉ　　Ｃ
３ｚ）’ｉ　ｑｉ　　ｃ３３ｚｉ　Ｑｔ＝（ｌｉ　　　
　　　　　　　　　・・・・（２４）ここで行列（Ｃ）
を、 （Ｃ）　＝　（Ｃ＋　＋　ＣＩｚ　Ｃｌ　３　ＣＩ　４
　Ｃｚ　ｒ　Ｃｚ　ｚ　Ｃｚ　、Ｃｔ　ａＣ３１Ｃ３□
Ｃ：Ｉ３）　ｔ　　・・・・（２５）と置き、さらに（
２３）　（２４）式がＮ個の点（ｉ・１゜・・・・、Ｎ
）につき成立する場合に、行列（Ａ）および（Ｒ）をつ
ぎの（２６）　（２７）式のように置く。

・・・・（２６） 〔Ｒ〕ニド’／＋　Ｘ２Ｓ’２””　Ｘｉ　’ｌ＝　”
”　ＸＮＶｙ　］　ｔ・・・・（２７） かくて上記の各行列（Ｃ）（Ａ）（Ｒ）を用いて、ｔ”
１＋・・・・、Ｎについての（２３）　（２４）式を書
きなおすと、つぎの行列方程式を得る。

（Ａ）　　・　（Ｃ）＝　（Ｒ）　　　　・・・・（２
８）そして行列（Ｃ）は、最小２乗法を適用することに
よって、次のように求まる。

（Ｃ）＝　（（Ａ）　ｔ・　（Ａ）’）−’・　（Ａ）
　ｔ　ＣＲ）・・・・（２９） 従って（２５）　（２９）式から（１９）式の外部モデ
ルの各パラメータを求めることができる。

第１０図に戻って、ステップ６の外部モデルの算出が行
われると、つぎにこの外部モデルから結像距離および撮
像装置２１の位置・姿勢を算出する（ステップ７．８）
。

この場合に外部モデルは非−意的であって、（２１）　
（２２）式から明らかなように（ＥＸＴ　）の各要素を
に倍（ただしＫは比例係数）しても成立する。従って（
２９）式を解いて得られる〔Ｃ）は本来の値をに倍した
ものになっている可能性がある。この点を考慮して、（
１９）式の各要素間の関係式を記述すると次のようにな
る。

ｔ　Ｉ　ｌ　＝　Ｃ１１Ｋ　　　　　　・・・・（３０
）ｔ＋ｚ＝ｃ＋ｚ・Ｋ　　　　　　　　・・・・（３１
）ｔ１３＝ｃｌｌ・Ｋ　　　　　　　　・・・・（３２
）ｔ１４＝ｃ＋４・Ｋ　　　　　　　　・・・・（３３
）ｔｚ＋＝ｃｚ＋−Ｋ　　　　　　　　　・・・・（３
４）ｔ２□＝Ｃ，□・Ｋ　　　　　　　　・・・・（３
５）ｔ　２３”　Ｃ１３・Ｋ　　　　　　　　・・・・
（３６）ｔＺ４＝Ｃ２４・Ｋ　　　　　　　　・・・・
（３７）ｊ３．＝−１ｅｎｂ−Ｃ３１−Ｋ　　　　　”
（３Ｂ）ｔ　　３Ｘｚ　　　１ｅｎｂ　　−Ｃｓｚ　　
−Ｋ　　　　　　　　　　”　　”　（３９）ｔ　３３
＝　　１ｅｎｂ−Ｃ３３・Ｋ　　　　　”　”　（４０
）ｔＨ＝ｌｅｎｂ−１ｅｎｂ−Ｃｚ＜・Ｋ　　　　−（
４１）また行列（ＰＲＡＭＥ　）−’の各要素ｔｉ、に
は、ｔ＋＋”　＋　ｔ＋ｔ”　＋　ｔ’ｓ”　＝　１　
　　・・・・（４２）ｔ、−＋ｔ！！”　＋ｔ！３”　
！１　　　・・・・（４３）ｔ：＋＋”　＋　ｊ、、ｔ
”　＋　ｔｓ＋”　＝　１　　　・・・・（４４）の各
拘束条件が成立するから、以上の（３０）〜（４４）式
を解くことによって、つぎの（４５）　（４６）式・・
・・（４５） ・・・・（４６） かくして（４５）　（４６）式を（３０）〜（４１）式
に代入することにより、（ＦＲＡＭＥ　）−１の各要素
ｔｉｊを求めることができ、また（ＦＲＡＭＥ　）　−
’の逆行列をとることによって、（ＦＲＡＭＥ　）が得
られる。

こうして求めた１ｅｎｂが結像距離であり、またＣＦＲ
ＡＭＥ　）がカメラの位置・姿勢である。

上記の撮像装置２１のキャリブレーションが完了すると
、つぎに第１３図に示す手順に基づき投光装置２２のキ
ャリブレーションを実行することになる。このキャリブ
レーションは、カメラモデルが既知となった後、前記の
キャリブレーション用ワーク２３に板状のスリット光を
照射してスリット像を生成し、このスリット像を解析す
ることにより、投光装置２２のスリット光モデルを生成
するものである。

ここでスリット光モデルとは、第１４図に示す如く、ス
リット光４０の平面を平面方程式で表現したものである
。このスリット光４０の平面方程式は、つぎの（４７）
式で与えられ、従ってスリット光モデルはこの式のパラ
メータａＳ＋ｂｓ　ｌ　　ｃｓ　ｌ　　ｃｉ、の組とし
て表現できる。

ａｓ　ｘ＋ｂｓｙ＋ｃ、ｚ＋ｄ３＝０・・−・（４７）
まず第１３図のステップ９で、スリット像を２値化する
ためのしきい値ＴＩ’を決定した後、ステップ１０で投
光装置２２をオンして、キャリブレーション用ワーク２
３に板状のスリット光４０を照射する。これによりワー
ク２３の平坦面２４．２５や床面に第７図に示すような
スリット光の交わり線２７が生成され、この交わり線２
７は撮像装置２１により撮像される（ステップ１１）。

撮像装置２１は交わり線２７を画像化してスリット像を
求め、そのビデオ信号をインターフェイス２０へ出力す
るもので、ＣＰＵＩ　２はスリット像を前記のしきい値
ＴＨ’により２値化し、例えばスリット像の部分を黒画
素（データ「１」の画素）、それ以外の部分を白画素（
データ「０」の画素）として、この２値画像を画像記憶
部１５に格納する（ステップ１２）。

つぎのステップ１３で、ＣＰＵ１２はスリット像上の像
点の３次元座標を算出する。

第１５図は、像点の座標算出方法を示している。同図中
、ＡＩ　−Ａａ　、Ｂ＋−Ｂａはキャリブレーション用
ワーク２３の上下平坦面２４゜２５の角点てあって、各
角点に対応するワーク画像４１上の角点はＡＩ　　’〜
Ａ　４　’　ｒ　Ｂ　Ｉ　　′〜Ｂ４で示しである。上
下平坦面２４．２５および床面上にはスリット光４０の
交わり線２７が生成され、このワーク２３を撮像したと
き、ワーク画像４１．には交わり線２７に対応するスリ
ット像４２が現れる。交わり線２７は物点Ｂの集合であ
り、冬物点Ｂとその像点Ｐとはレンズ中心Ｒを通る視線
４３によりその位置関係が決定される。

すなわち像点Ｐが与えられたとき、その像点Ｐに対応す
る物点Ｂの３次元座標は像点Ｐの視線４３とキャリブレ
ーション用ワーク２３の平坦面（図示例の場合は上段の
平坦面２５）との交点として求めることができる。

いま視線４３を表す直線をパラメータ表現するつぎの（
４８）式で与えられる。ただしｋＲはパラメータである
。

上式中、（ｘ＊　ｌ　　）’Ｒ＋　　ｚｌｌ　）はレン
ズ中心Ｒの３次元座標であり、カメラモデルが既知の状
態下でつぎの（４９）〜（５１）式により求まる。

ｘ、　＝　ｆ　、、＋１ｅｎｂ’　ｆ　１３　　・−・
（４９）’１ｍ　−ｆ　ｔａ＋１ｅｎｂ−ｆ　Ｈ”（５
０）、　　Ｚ＠　”ｆ３４＋１ｅｎｂ”　ｆｓｆｆ”（
５１）かくて像点Ｐの３次元座標を（ｘｏ＋７ｏ１ｚｏ
）とすると、ｎＸｌ　　ｎ、Ｉ　　ｎ、はつぎの（５２
）式で与えられる。

・・・・（５２） なお像点Ｐの３次元座標（Ｘｏ　ｌ　　ｙｏ　＋　　２
１１　）は、カメラモデルが既知の状態下では、つぎの
（５３）式により求まる。

・・・・（５３） 上記の各式から像点Ｐの視線４３を求めることができる
から、つぎに物点Ｂが位置する平坦面の平面方程式を求
める。

まずカメラモデルおよびキャリブレーション用ワーク２
３の形状データが既知であるから、ワーク画像４１上の
角点ＡＨ’〜Ａ４　′およびＢ、／〜８４　′の画像上
の座標（１，Ｊ）をつぎの（５４）　（５５）式により
算出する。

■ なお上式中、ＯＬｍ　、　　Ｙｍ　、　　Ｚｔｒ　）は
算出しようとするマーク画像４１の角点と対応関係にあ
るワーク２３上の角点の３次元座標を意味している。

全ての角点ＡＩ　′〜Ａ　４　　’　＋　　Ｂ　Ｉ　　
′〜Ｂ４　／の３次元座標が求まると、つぎに着目する
像点Ｐが角点ＡＩ　′〜Ａ４　　’で決まる四角形４４
と角点Ｂｔ’〜Ｂ、／で決まる四角形４５と、どのよう
な包含関係にあるかを次表にて判断し、これにより物点
Ｂが平坦面２４．２５や床面のいずれに位置するかを判
断する。

上記により物点Ｂが位置する平面を判別すると、その平
面の方程式と前記視線４３の方程式とを連立させて解く
ことにより、物点Ｂの３次元座標を算出する。

このようにしてスリット像４２上の各像点Ｐの３次元座
標（ｘ＋　＊　　）’！　＋　　ｚｉ　）が得られると
、スリット光４０の平面パラメータとの間に次式が成立
する。

ｚｉ　”ａｓ　Ｘｉ　＋ｂｓ　）’ｉ　＋ｄ３＋ｅｉ　
”（５６）ただしく４７）式においてｃ、＝−１と置く
。

ここでＮ個の点について上式の誤差項ｅムに次式を解く
ことにより得る（ステップ１４）。

ここで（５７）式の各行列を（Ｒ）（Ａ）（Ｚ“〕と置
くと、この（５７）式はつぎの（５８）式で表現できる
。

（Ｒ）　　・　（Ａ）＝　（Ｚ）・・・・（５８）そし
てこの式中、スリット光モデルを表す行列（Ａｌはつぎ
の（５９）式で与えられる。

（Ａ）−（（Ｒ）　ｔ　・　（Ｒ））　−’・　（Ｒ）
　　・　（Ｚ）・・・・（５９） なお上記は第３図の装置例について撮像装置２１および
投光装置２２のキャリブレーションを説明したが、第２
図の装置例については撮像装置２１のキャリブレーショ
ンのみを実施すれば足り、しかもその方法は上記と同様
であるかから、ここではその説明は省略する。

〈発明の効果〉 この発明は上記の如く、キャリブレーション用ワークを
用いて撮像装置のキヤリプレーションを行うのに、各マ
ーク画像の座標位置の検出から各マーク画像のラベル付
け処理に至るまで自動的に行って、撮像装置のカメラモ
デルを自動生成するから、撮像装置のキャリブレーショ
ンを容易かつ短時間で実施できる等、発明目的を達成し
た顕著な効果を奏する。

【図面の簡単な説明】

第１図はこの発明にかかる自動キャリブレーション装置
の概念を示すブロック図、第２図はこの発明の一実施例
を示すブロック図、第３図はこの発明の他の実施例を示
すブロック図、第４図はキャリブレーション用ワークの
一例を示す斜面図、第５図はその平面図、第６図はキャ
リブレーション用ワークの他の例を示す斜面図、第７図
はその平面図、第８図および第９図は撮像装置のカメラ
モデルの構造を説明するための説明図、第１０図は撮像
装置のキャリブレーションの実行手順を示すフローチャ
ート、第１１図はマーク画像の中心点抽出方法を示す説
明図、第１２図はマーク画像のラベル付け方法を示す説
明図、第１３図は投光装置のキャリブレーションの実行
手順を示すフローチャート、第１４図はスリット光モデ
ルの構造を説明するための説明図、第１５図は像点の座
標算出方法を示す説明図である。 ２・・・・自動キャリブレーション装置４．２１・・・
・撮像装置 ６．１２・・・・ＣＰＵ ９、１４．２３・・・・キャリブレーション用ワーク特
許　出願人　　立石電機株式会社 ”ｈ＞”Ｕ　　　ごの滴り一にの・０・ろ自象オ↑ｔす
７・シーシーン裟置め酸受４オ４アロツク面’４２）襲
う　　　この＃→明の一爽宥しμｍ皇オ、七−゛フ―ａ
アクＬ４牙３　）ＸＩ　　　鋼発帆の４邑の実嘲し仔・
１！桐７′口・２扉刊’＆）Ｅａ −（＃Ｉｆｆｆ、ｆ＃４峠　　　　　　　　　　ｆ、ｒ
ｔｉ　　　Ｊｊｏ＋ｎ２１．−＊動ナヤリ１ムーシ、ン
［１６，／２・・ｃｐｕ４、ｚｔ−０−漁イ象ｇＬ　　
　　　ｑ、）４．２３−−一千セν几−シ賃ン用ワーク
丹ｔ２１７１　　　　　　　　　　骨／３）２くこと７
６わ≧〕

Claims (4)

【特許請求の範囲】
1. （１）キャリブレーション用ワークを用いて撮像装置の
   キャリブレーションを自動的に行うための自動キャリブ
   レーション装置であって、 キャリブレーション用ワークに設けられた空間座標が既
   知な複数個のマークを撮像して各マーク画像を生成する
   マーク画像生成手段と、各マーク画像の画像上の座標位
   置を検出するための画像位置検出手段と、 各マーク画像の検出座標位置に基づき各マークの形状や
   配置に関する情報を参照して各マーク画像をいずれかマ
   ークと対応させてラベル付けするラベル付け手段と、 各マークの空間座標位置とそれぞれマークと対応関係に
   ある各マーク画像の検出座標位置とからキャリブレーシ
   ョン演算を実行してカメラモデルを生成する演算手段と
   を具備して成る自動キャリブレーション装置。
2. （２）前記撮像装置は、２次元ＣＣＤテレビカメラを含
   んでいる特許請求の範囲第１項記載の自動キャリブレー
   ション装置。
3. （３）前記キャリブレーション用ワークは、一定高さの
   平坦面に複数個のマークが設けられて成る特許請求の範
   囲第１項記載の自動キャリブレーション装置。
4. （４）前記キャリブレーション用ワークは、二段階の高
   さをもつ各平坦面に複数個のマークが配置されて成る特
   許請求の範囲第１項記載の光学系自動キャリブレーショ
   ン装置。