JP2672509B2 - カメラモデルの自動キャリブレーション方法およびその装置 - Google Patents

Description

【発明の詳細な説明】 ＜産業上の利用分野＞ この発明は、例えば産業用ロボットにおける視覚認識
技術に関連し、殊にこの発明は、視覚を構成する撮像装
置のカメラモデルのキャリブレーションを自動的に実行
するための自動キャリブレーション装置に関する。 ＜従来の技術＞ 従来、物体の形状等を認識するために種々な方式があ
り、その一方式として、先般、板状のスリット光を用い
た３次元物体認識方式が提案されている。この方式は、
投光装置により板状のスリット光を物体に照射してその
表面にスリット光の交わり線を生成し、その交わり線を
撮像装置により撮像してスリット像を得た後、そのスリ
ット像を画像処理して、物体認識を行うものである。こ
の種の方式の場合、認識処理に先立ち、前記撮像装置や
投光装置のキャリブレーションを実行して、カメラモデ
ルやスリット光モデルを予め求めておく必要がある。 従来、撮像装置のキャリブレーションを行うには、表
面に複数個のマークが設けられたキャリブレーション用
ワークを用意し、このワークを撮像装置で撮像してその
マーク画像を画面上に生成する。その後、オペレータが
それぞれマーク画像がどのマークに対応するのかを画面
上で判断して手作業によりラベル付け操作を行った上
で、各マークの空間座標位置とそれぞれマークに対応す
る各マーク画像の検出座標位置とをコンピュータに与え
てキャリブレーション演算を実行させ、これにより撮像
装置のカメラモデルを求めている。 ＜発明が解決しようとする問題点＞ ところがこのようなキャリブレーション方式の場合、
各マーク画像をラベル付けするのに手作業で行っている
ため、その操作が面倒かつ非能率的であり、キャリブレ
ーションを行うのに多大の時間がかかるという問題があ
る。 この発明は、上記問題に着目してなされたもので、画
像のラベル付け処理を自動化して撮像装置のカメラモデ
ルを自動生成することによって、カメラモデルのキャリ
ブレーションを容易かつ短時間で行うことができるカメ
ラモデルの自動キャリブレーション装置を提供すること
を目的とする。 ＜問題点を解決するための手段＞ 第１の発明は、３次元座標と、ラベルと、形状または
配置の情報とが既知である特徴部分を複数個備えたキャ
リブレーション用ワークを用いてカメラモデルのキャリ
ブレーションを自動的に行うための方法であって、撮像
手段により前記キャリブレーション用ワークを撮像して
得られた２次元画像上で複数個の特徴部分を抽出すると
共に、この２次元画像上においてそれぞれの特徴部分の
２次元座標を検出する第１の工程と、前記２次元画像上
で検出された各特徴部分をキャリブレーション用ワーク
の前記既知の形状または配置の情報と比較して、前記２
次元画像上で検出された各特徴部分を、それぞれキャリ
ブレーション用ワークのいずれかの特徴部分のラベルで
ラベル付けする第２の工程と、キャリブレーション用ワ
ークの特徴部分の前記既知の３次元座標と前記２次元画
像上における特徴部分の２次元座標とにおいて同一のラ
ベルを持つ特徴部分の座標を組として用いて、前記既知
の３次元座標を前記２次元座標に変換するためのパラメ
ータである前記撮像手段のカメラモデルを求める演算を
行う第３の工程とを一連に実行することを特徴とする。 また第２の発明は、上記の方法を実施するためのカメ
ラモデルの自動キャリブレーション装置であって、前記
キャリブレーション用ワークを撮像してキャリブレーシ
ョン用ワークの２次元画像を生成する撮像手段と、前記
撮像手段により撮像された前記キャリブレーション用ワ
ークの２次元画像が格納される画像記憶手段と、前記画
像記憶手段に格納された前記キャリブレーション用ワー
クの２次元画像上で複数個の特徴部分を検出すると共
に、この２次元画像上においてそれぞれの特徴部分の２
次元座標を検出する２次元座標検出手段と、前記２次元
画像上で検出された各特徴部分をキャリブレーション用
ワークの前記既知の形状または配置の情報と比較して、
前記２次元画像上で検出された各特徴部分を、それぞれ
キャリブレーション用ワークのいずれかの特徴部分のラ
ベルでラベル付けするラベル付け手段と、キャリブレー
ション用ワークの特徴部分の前記既知の３次元座標と前
記２次元画像上における特徴部分の前記２次元座標とに
おいて同一のラベルを持つ特徴部分の座標を組として用
いて、前記既知の３次元座標を前記２次元座標に変換す
るためのパラメータである前記撮像手段のカメラモデル
を求める演算を行う演算手段とを備えている。 ＜作用＞ 撮像手段により撮像されたキャリブレーション用ワー
クの２次元画像上で各特徴部分とその座標位置が検出さ
れると、つぎにキャリブレーション用ワークの各特徴部
分の形状または配置の既知情報が参照されて、２次元画
像上の各特徴部分がそれぞれキャリブレーション用ワー
クのいずれかの特徴部分のラベルによりラベル付けされ
る。さらにキャリブレーション用ワークの特徴部分の既
知の３次元座標と画像上の特徴部分の２次元座標とを、
同一のラベルを持つ特徴部分ごとに組とし、これら各座
標の組を用いた演算処理を行なうことにより、カメラモ
デルの生成が行われる。 第２の発明にかかる自動キャリブレーション装置で
は、２次元撮像手段により撮像されたキャリブレーショ
ン用ワークの画像が画像記憶手段内に格納されると、２
次元座標検出手段によりこの２次元画像上における各特
徴部分の座標位置が検出される。ついでラベル付け手段
がキャリブレーション用ワークの各特徴部分の形状また
は配置の既知情報を参照して、２次元画像上の各特徴部
分をそれぞれキャリブレーション用ワークのいずれかの
特徴部分のラベルでラベル付けすると、演算手段は、キ
ャリブレーション用ワークの特徴部分の既知の３次元座
標と画像上の特徴部分の２次元座標とを、同一のラベル
を持つ特徴部分ごとに組にし、これら各座標の組を用い
た演算を実行して、カメラモデルを生成する。 この発明によれば、キャリブレーション用ワークを撮
像して得られた２次元画像上での特徴部分の検出や２次
元画像における特徴部分の対応付け処理が自動的に行わ
れて、撮像装置のカメラモデルが自動生成される。 ＜実施例＞ 第１図はこの発明にかかる自動キャリブレーション装
置２の概念を示しており、この自動キャリブレーション
装置２がインターフェイス３を介して物体認識装置１に
電気接続されている。 物体認識装置１は物体の形状等を認識するためのもの
であって、撮像装置４と、ビデオ信号を取り込み所定の
画像処理を実行して物体認識する画像処理装置５とから
構成されている。 自動キャリブレーション装置２は、コンピュータのCP
U6を制御主体としており、撮像装置４のキャリブレーシ
ョンを実行するためのプログラムを格納するROM7や各種
データを格納する演算用RAM8を備えている。CPU6はキャ
リブレーション用プログラムを解読実行し、撮像装置４
よりキャリブレーション用ワーク９の画像データを取り
込んで、所定のキャリブレーション演算を実行する。そ
の結果、カメラモデル（詳細は後述する）が生成され、
そのカメラモデルを構成する座標変換係数が物体認識装
置１へ出力される。 第２図および第３図は、上記自動キャリブレーション
装置が組み込まれた物体認識装置を示しており、第２図
は２次元物体認識装置の例であり、また第３図は板状の
スリット光を用いた３次元物体認識装置の例である。 第２図の装置例は、コンピュータのCPU12を制御主体
とし、このCPU12に対し、画像処理用プログラムやキャ
リブレーション用プログラムが格納されるROM13,被認識
物体の画像やキャリブレーション用ワーク９の画像が格
納される画像記憶部15,カメラモデルを構成する座標変
換係数が格納される係数記憶部16,演算用に供されるRAM
17の他、CRTより成る表示部18やキーボードより成る操
作部19が、それぞれ接続されている。前記画像記憶部15
は画像メモリより成り、インターフェイス20を介して撮
像装置21に接続される。この撮像装置21は例えば２次元
CCDテレビカメラより成り、被認識物体やキャリブレー
ション用ワーク９を撮像してそのビデオ信号を出力す
る。 前記キャリブレーション用ワーク９は、第４図および
第５図に示す如く、平面形状が正方形の薄板状をなし、
一定高さ（厚み）ｈの平坦面10上に複数個のマーク11が
設けてある。これら各マーク11は同一径の円形であり、
このキャリブレーション用ワーク９を撮像して２値化し
たとき、その背景である平坦面10や床面などと明確に区
別できるように円形内に黒く塗り潰してある。またマー
ク11の総数は10個であり、第５図に示す如く、各マーク
11に対し「０」〜「９」のラベルが割り当ててある。各
マーク11は所定の規則に従って配置してあり、ラベルが
0,5,6,7,8,9の各マーク11は直交する対角線上にほぼ位
置し、その他のラベルの各マーク11はその線外に位置し
ている。 なお図示例の各マーク11は同一形状であるが、後記す
るラベル付けのために個々の形状を違えてもよい。 第３図の装置例は、上記第２図の装置例とは、キャリ
ブレーション用ワーク23の態様が異なる点および投光装
置22を具備している点で差異がある。なおその他の構成
は、第２図の実施例と同様であり、ここでは対応する構
成に同一の符号を付すことにより、その説明を省略す
る。 この実施例でのキャリブレーション用ワーク23は、第
６図および第７図に示す如く、高さ（厚み）h₁,h₂の異
なる二段階の平坦面24,25を有し、各平坦面24,25上に前
記マーク11と同様のマーク26が５個宛（合計10個）設け
られたものである。各マーク26には第７図に示す如く、
「０」〜「９」のラベルが割り当てられ、前記の実施例
と同様の規則に基づき各マーク26の配置が決定されてい
る。 前記投光装置22は、被認識物体やキャリブレーション
用ワーク23に対し板状のスリット光を斜め上方より照射
して、その表面にスリット光の交わり線27を生成するた
めのもので、この交わり線27を撮像装置21で撮像して、
被処理画像としてのスリット像を得る。 第８図および第９図は、前記撮像装置21のカメラモデ
ルの構造を示している。同図中、O_Cは撮像装置21の撮像
面31の中心点を示し、この中心点O_Cを原点としてX_C軸,Y
_C軸,Z_C軸を各直交軸とするカメラ座標系が設定されてい
る。Ｒは撮像装置21のレンズ中心であり、結像距離lemb
はO_CR間の距離で与えられる。また第８図中、S₀は画像
処理時のサンプリングの原点、PC_X,PC_YはX_C軸方向およ
びY_C軸方向の各サンプリングピッチである。なお第８図
中のIJ座標系はこの撮像面31に当てはめられた画像メモ
リ座標系であり、また第９図中のxyz座標系は物点に空
間座標を与える基準座標系である。 ここでカメラモデルとは、撮像装置の３次元位置およ
び姿勢、レンズの結像距離、ビデオ信号のディジタル化
仕様を表現するモデルであって、前二者を外部モデル、
後者を内部モデルという。撮像装置の位置および姿勢は
前記カメラ座標系を基準座標系か表現したものであり、
この撮像装置の位置・姿勢およびレンズの結像距離は撮
像装置の移動やピント調整により変化する。 撮像装置の基準座標系より見た位置・姿勢を〔FRAM
E〕とすると、この〔FRAME〕は次式のように４行４列の
行列として表現できる。 ここで はカメラ座標系のX_C方向の単位ベルトルであり、f₁₁,f
₂₁,f₃₁はそのベクトルの基準座標系におけるxyz成分で
ある。 また はカメラ座標系のY_C方向およびZ_C方向の単位ベクトルで
あり、f₁₂,f₂₂,f₃₂およびf₁₃,f₂₃,f₃₃はそれぞれベクト
ルの基準座標系におけるxyz成分である。 さらに はカメラ座標系の原点O_Cの位置座標であり、f₁₄,f₂₄,f
₃₄は基準座標系におけるxyz成分である。 以上から、行例〔FRAME〕の各要素については理想的
につぎの（２）〜（６）式が成立する。 f₁₁ ²＋f₂₁ ²＋f₃₁ ²＝f₁₂ ²＋f₂₂ ²＋f₃₂ ² ＝f₁₃ ²＋f₂₃ ²＋f₃₃ ²＝１ …（２） f₁₁f₁₂＋f₂₁f₂₂＋f₃₁f₃₂＝０ …（３） f₁₁f₁₃＋f₂₁f₂₃＋f₃₁f₃₃＝０ …（４） f₁₂f₁₃＋f₂₂f₂₃＋f₃₂f₃₃＝０ …（５） f₄₁＝f₄₂＝f₄₂＝0,f₄₄＝１ …（６） ただし（２）式は単位ベクトルという条件を表すもの
であり、（３）〜（５）式はカメラ座標系の各軸が直交
することを示すものである。 つぎに結像変換を表す行列を〔LENZ〕とすると、この
〔LENZ〕は次式で示される。 さらに撮像装置の内部モデルは、撮像面31上で画像が
どのようにサンプリングされるかを示すものであり、こ
れを〔SAMP〕とすると、次式のような３行３列として表
現できる。 なお上式中、ORG_X,ORG_Yは第８図に示す如く、撮像面3
1におけるサンプリング原点S₀のX_C座標およびY_C座標を
示す。 いま基準座標系およびカメラ座標系で表現した物点B_i
（第９図に示す）の３次元座標を、 （x_i,y_i,z_i,1）^ｔ‥‥基準座標系 （e_i,f_i,g_i,1）^ｔ‥‥カメラ座標系 とし、またこの物点B_iについてカメラ座標系および画像
メモリ座標系で表現した像点P_iの座標を、 （p_i,q_i,1）^ｔ‥‥カメラ座標系 （I_i,J_i,1）^ｔ‥‥画像メモリ座標系 とする。なおこれらの各座標は同次座標表現で表してあ
り、ｔは転置行列を示す。 この場合に基準座標系で表現した物点B_iの３次元座標
が、カメラ座標系で表現した３次元座標に変換される過
程はつぎの（９）式で表される。 つぎに結像変換によって物点座標が像点座標に変換さ
れる過程はつぎの（10）式で表される。 なお上式中、h₁は座標のひずみ等を表す変数である。 さらにカメラ座標系で表現した像点P_iの座標が画像メ
モリ座標系で表現した座標に変換される過程はつぎの
（11）式で表される。 つぎに第10図は、第３図の装置例において、撮像装置
21のキャリブレーションを実行する手順を示している。 このキャリブレーションは、第6,7図に示すキャリブ
レーション用ワーク23を用いて実行されるもので、各マ
ーク画像の中心点を画像上で抽出した上で、各マーク26
の中心点の３次元座標（既知）と各マーク座像の中心点
の画像上の座標とから撮像装置21のカメラモデルを生成
するものである。 まず同図のステップ１（図中「ST1」で示す）におい
て、マーク画像を２値化するためのしきい値THを決定し
た後、投光装置22をオフして、キャリブレーション用ワ
ーク23を撮像装置21で撮像する（ステップ2,3）。撮像
装置21はキャリブレーション用ワーク23を画像化してそ
のビデオ信号をインターフェイス20へ出力するもので、
CPU12はこのワーク23の画像を前記のしきい値THにより
２値化し、マーク画像の部分を黒画素（データ「１」の
画素）、背景の部分を白画素（データ「０」の画素）と
して、この２値画像を画像メモリより成る画像記憶部15
に格納する。 つぎにCPU12はステップ４において、キャリブレーシ
ョン用ワークの２値画像よりマーク画像の中心点を抽出
する。 第11図はこの中心点抽出方法の一例を示すもので、キ
ャリブレーション用ワーク画像32に対しマーク探索用ウ
ィンドウ34およびマーク中心点抽出用ウィンドウ35が設
定されている。マーク探索用ウィンドウ34は縦長矩形状
であり、長辺の長さがdj、短辺の長さがdiである。また
マーク中心点抽出用ウィンドウ35は正方形状であり、各
辺の長さがｗである。いま各マーク画像33の半径をｒと
すると、各ウィンドウ34,35の各サイズは、この半径ｒ
の関数としてつぎの（12）〜（14）式により求める。 dj＝3r ‥‥（12） di＝２ ‥‥（13） ｗ＝4r ‥‥（14） ただし半径ｒは黒画素の全面積Ｓとマークの個数（＝
10）からつぎの（15）式によって求めるもので、これに
より照明などの観測条件が変動しても、マーク画像位置
の抽出の精度が劣化しにくくなる。 まずマーク画像33を探索するのに、マーク探索用ウィ
ンドウ34を矢印方向へ走査し、ウィンドウ34内の黒画素
の面積がウィンドウ面積の80％を占める位置を求める。
そしてその位置でマーク探索用ウィンドウ34を止め、ウ
ィンドウ内の黒画素の重心Ｇの位置を求める。この重心
位置はマーク画像33の中心点C_Mの近傍である。つぎにこ
の中心点C_Mの位置を求めるのに、マーク中心点抽出用ウ
ィンドウ35を重心Ｇを中心にしてセットし、このウィン
ドウ内の黒画素の中心座標を中心点C_Mとして求める。こ
の中心点C_Mの座標が求まると、同じマーク画像の重複処
理を防止するため、処理済みマーク画像を消去するとよ
い。以下同様の処理をマーク探索用ウィンドウ34を画像
全面にわたり走査しながら実行して、全てのマーク画像
33につき中心点C_Mを抽出する。 第10図に戻って、ステップ４の中心点抽出が終わる
と、つぎのステップ５でCPU12は各マーク画像33の中心
点C_Mの検出座標位置に基づき各マークの配置に関する情
報を参照して各マーク画像33をいずれかマークと対応さ
せてラベル付けする。 すなわちCPU12は、第12図に示す如く、まず10個のマ
ーク画像33の中心点C_Mにつきその重心ｇを求め、その重
心ｇに最も近い位置にある中心点C_M−９のマーク画像33
にラベル「９」を割り付ける。つぎにこのラベル「９」
のマーク画像33の中心点C_M−９から最も遠い位置にある
中心点C_M−０のマーク画像33にラベル「０」を割り付け
る。ついでラベル「０」のマーク画像の中心点C_M−０よ
りラベル「９」のマーク画像の中心点C_M−９に向かう単
位ベクトルをとし、このベクトルに直交する単位ベ
クトルをとする。そしてラベル「９」の中心点C_M−９
を原点とし、各単位ベクトル，の方向を軸とする座
標系によって各マーク画像33の中心点C_Mの座標を表現し
直し、第ｉ番目に検出したマーク画像の中心点C_Mのｎ座
標およびｔ座標を（n_i,t_i）とする。 つぎにラベル「９」のマーク画像33の中心点C_M−９と
ラベル「０」のマーク画像33の中心点C_M−０との距離の
1/4をしきい値athとし、各マーク画像33の中心点C_Mと前
記しきい値athとを用いて、次表に示す規則に基づき他
のマーク画像33のラベル付けを行う。 なお同表中、「正」はｎ座標やｔ座標の値がしきい値
athより大であることを、また「０」はその座標値の絶
対値がしきい値ath以下であることを、さらに「負」は
その座標値が−athよりも小であることを、それぞれ示
している。 つぎにステップ６において、CPU12は各マーク26の中
心点の空間座標位置とそれぞれマークと対応関係にある
各マーク画像33の中心点の検出座標位置とから所定の演
算を実行して撮像装置21の外部モデルを生成する。 いまこの外部モデルを表す行例を〔EXT〕とすると、
この〔EXT〕は前記（９）（10）式よりつぎの（16）（1
7）式のように表される。 〔EXT〕＝〔LENZ〕・〔FRAME〕^-1 ‥‥（16） ここで〔FRAME〕^-1の各要素を、 で表現すると、（７）式と（18）式とを（16）式に代入
してつぎの（19）式を得る。 ここで（19）式に示す要素をもつ撮像装置21の外部モ
デルを、各マーク画像33の中心点C_Mの画像メモリ座標系
における座標と各マーク26の中心点の基準座標系におけ
る座標とを用いて算出する。 いまラベルｉのマーク画像33の中心点C_Mにつき、画像
メモリ座標系における座標が（I_i,J_i）であるとし、ま
たこれをカメラ座標系で表現した座標を（p_i,q_i）とす
ると、前記（11）式よりつぎの（20）式を得る。 つぎにラベルｉのマーク26の中心点の基準座標系にお
ける３次元座標（x_i,y_i,z_i）とすると、（20）式を用い
て前記（17）式を解くことにより〔EXT〕を求めること
ができる。 この場合に前記（19）式を（17）式に代入し、p_i,q_i
につき整理すると、つぎの（21）（22）式を得る。 上記（21）（22）式を変形しかつC₃₄＝１と置くと、
つぎの（23）（24）式を得る。 C₁₁x_i＋C₁₂y_i＋C₁₃z_i＋C₁₄ −C₃₁x_ip_i−C₃₂y_ip_i−C₃₃z_ip_i＝p_i ‥‥（23） C₂₁x_i＋C₂₂y_i＋C₂₃z_i＋C₂₄ −C₃₁x_iq_i−C₃₂y_iq_i−C₃₃z_iq_i＝q_i ‥‥（24） ここで行列〔Ｃ〕を、 〔Ｃ〕＝〔C₁₁C₁₂C₁₃C₁₄C₂₁C₂₂C₂₃C₂₄C₃₁C₃₂C₃₃〕^ｔ ‥‥（25） と置き、さらに（23）（24）式がＮ個の点（ｉ＝1,‥
‥,N）につき成立する場合に、行例〔Ａ〕および〔Ｒ〕
をつぎの（26）（27）式のように置く。 〔Ｒ〕＝〔x₁y₁x₂y₂‥‥x_iy_i‥‥x_Ny_N〕^ｔ ‥‥（27） かくして上記の各行列〔Ｃ〕〔Ａ〕〔Ｒ〕を用いて、
ｉ＝1,‥‥,Nについての（23）（24）式を書きなおす
と、つぎの行列方程式を得る。 〔Ａ〕・〔Ｃ〕＝〔Ｒ〕 ‥‥（28） そして行列〔Ｃ〕は、最小２乗法を適用することによ
って、次のように求まる。 〔Ｃ〕＝（〔Ａ〕^ｔ・〔Ａ〕）^-1・〔Ａ〕^ｔ〔Ｒ〕 ‥‥（29） 従って（25）（29）式から（19）式の外部モデルの各
パラメータを求めることができる。 第10図に戻って、ステップ６の外部モデルの算出が行
われると、つぎにこの外部モデルから結像距離および撮
像装置21の位置・姿勢を算出する（ステップ7,8）。 この場合に外部モデルは非一意的であって、（21）
（22）式から明らかなように〔EXT〕の各要素をＫ倍
（ただしＫは比例係数）しても成立する。従って（29）
式を解いて得られる〔Ｃ〕は本来の値をＫ倍したものに
なっている可能性がある。この点を考慮して、（19）式
の各要素間の関係式を記述すると次のようになる。 t₁₁＝C₁₁・Ｋ ‥‥（30） t₁₂＝C₁₂・Ｋ ‥‥（31） t₁₃＝C₁₃・Ｋ ‥‥（32） t₁₄＝C₁₄・Ｋ ‥‥（33） t₂₁＝C₂₁・Ｋ ‥‥（34） t₂₂＝C₂₂・Ｋ ‥‥（35） t₂₃＝C₂₃・Ｋ ‥‥（36） t₂₄＝C₂₄・Ｋ ‥‥（37） t₃₁＝−lenb・C₃₁・Ｋ ‥‥（38） t₃₂＝−lenb・C₃₂・Ｋ ‥‥（39） t₃₃＝−lenb・C₃₃・Ｋ ‥‥（40） t₃₄＝lenb−lenb・C₃₄・Ｋ ‥‥（41） また行列〔FRAME〕^-1の各要素t_ijには、 t₁₁ ²＋t₁₂ ²＋t₁₃ ²＝１ ‥‥（42） t₂₁ ²＋t₂₂ ²＋t₂₃ ²＝１ ‥‥（43） t₃₁ ²＋t₃₂ ²＋t₃₃ ²＝１ ‥‥（44） の各拘束条件が成立するから、以上の（30）〜（44）式
を解くことによって、つぎの（45）（46）式を得る。 かくして（45）（46）式を（30）〜（41）式に代入す
ることにより、〔FRAME〕^-1の各要素t_ijを求めることが
でき、また〔FRAME〕^-1の逆行列をとることによって、
〔FRAME〕が得られる。こうして求めたlenbが結像距離
であり、また〔FRAME〕がカメラの位置・姿勢である。 上記の撮像装置21のキャリブレーションが完了する
と、つぎに第13図に示す手順に基づき投光装置22のキャ
リブレーションを実行することになる。このキャリブレ
ーションは、カメラモデルが既知となった後、前記キャ
リブレーション用ワーク23に板状のスリット光を照射し
てスリット像を生成し、このスリット像を解析すること
により、投光装置22のスリット光モデルを生成するもの
である。 ここでスリット光モデルとは、第14図に示す如く、ス
リット光40の平面を平面方程式で表現したものである。
このスリット光40の平面方程式は、つぎの（47）式で与
えられ、従ってスリット光モデルはこの式のパラメータ
a_S,b_S,c_S,d_Sの組として表現できる。 a_Sx＋b_Sy＋c_Sz＋d_S＝０ ‥‥（47） まず第13図のステップ９で、スリット像を２値化する
ためのしきい値TH′を決定した後、ステップ10で投光装
置22をオンして、キャリブレーション用ワーク23に板状
のスリット光40を照射する。これによりワーク23の平坦
面24,25や床面に第７図に示すようなスリット光の交わ
り線27が生成され、この交わり線27は撮像装置21により
撮像される（ステップ11）。撮像装置21は交わり線27を
画像化してスリット像を求め、そのビデオ信号をインタ
ーフェイス20へ出力するもので、CPU12はスリット像を
前記しきい値TH′により２値化し、例えばスリット像の
部分を黒画素（データ「１」の画素）、それ以外の部分
を白画素（データ「０」の画素）として、この２値画像
を画像記憶部15に格納する（ステップ12）。 つぎのステップ13で、CPU12はスリット像上の像点の
３次元座標を算出する。 第15図は、像点の座標算出方法を示している。同図
中、A₁〜A₄,B₁〜B₄はキャリブレーション用ワーク23の
上下平坦面24,25の角点であって、各角点に対応するワ
ーク画像41上の角点はA₁′〜A₄′,B₁′〜B₄で示してあ
る。上下平坦面24,25および床面上にはスリット光40の
交わり線27が生成され、このワーク23を撮像したとき、
ワーク画像41には交わり線27に対応するスリット像42が
現れる。交わり線27は物点Ｂの集合であり、各物点Ｂと
その像点Ｐとはレンズ中心Ｒを通る視線43によりその位
置関係が決定される。 すなわち像点Ｐが与えられたとき、その像点Ｐに対応
する物点Ｂの３次元座標は像点Ｐの視線43とキャリブレ
ーション用ワーク23の平坦面（図示例の場合は上段の平
坦面25）との交点として求めることができる。 いま視線43を表す直線をパラメータ表現すると、つぎ
の（48）式で与えられる。ただしk_Rはパラメータであ
る。 上式中、（x_R,y_R,z_R）はレンズ中心Ｒの３次元座標で
あり、カメラモデルが既知の状態下でつぎの（49）〜
（51）式により求まる。 x_R＝f₁₄＋lenb・f₁₃ ‥‥（49） y_R＝f₂₄＋lenb・f₂₃ ‥‥（50） z_R＝f₃₄＋lenb・f₃₃ ‥‥（51） かくて像点Ｐの３次元座標を（x₀,y₀,z₀）とすると、
n_x,n_y,n_zはつぎの（52）式で与えられる。 なお像点Ｐの３次元座標（x₀,y₀,z₀）は、カメラモデ
ルが既知の状態下では、つぎの（53）式により求まる。 上記の各式から像点Ｐの視線43を求めることができる
から、つぎに物点Ｂが位置する平坦面の平面方程式を求
める。 まずカメラモデルおよびキャリブレーション用ワーク
23の形状データが既知であるから、ワーク画像41上の角
点A₁′〜A₄′およびB₁′〜B₄′の画像上の座標（I,J）
をつぎの（54）（55）式により算出する。 なお上式中、（x_B,y_B,z_B）は算出しようとするマーク
画像41の角点と対応関係にあるワーク23上の角点の３次
元座標を意味している。 全ての角点A₁′〜A₄′,B₁′〜B₄′の３次元座標が求
まると、つぎに着目する像点Ｐが角点A₁′〜A₄′で決ま
る四角形44と角点B₁′〜B₄′で決まる四角形45と、どの
ような包含関係にあるかを次表にて判断し、これにより
物点Ｂが平坦面24,25や床面のいずれに位置するかを判
断する。 上記により物点Ｂが位置する平面を判別すると、その
平面の方程式と前記視線43の方程式とを連立させて解く
ことにより、物点Ｂの３次元座標を算出する。 このようにしてスリット像42上の各像点Ｐの３次元座
標（x_i,y_i,z_i）が得られると、スリット光40の平面パラ
メータとの間に次式が成立する。 z_i＝a_Sx_i＋b_Sy_i＋d_S＋e_i ‥‥（56） ただし（47）式においてc_S＝−１と置く。 ここでＮ個の点について上式の誤差項e_iについて を最小とするa_S,b_S,d_Sを次式を解くことにより得る（ス
テップ14）。 ここで（57）式の各行列を〔Ｒ〕〔Ａ〕〔Ｚ〕と置く
と、この（57）式はつぎの（58）式で表現できる。 〔Ｒ〕・〔Ａ〕＝〔Ｚ〕 ‥‥（58） そしてこの式中、スリット光モデルを表す行列〔Ａ〕
はつぎの（59）式で与えられる。 〔Ａ〕＝｛〔Ｒ〕^ｔ・〔Ｒ〕｝^-1・〔Ｒ〕・〔Ｚ〕 ‥‥（59） なお上記は第３図の装置例について撮像装置21および
投光装置22のキャリブレーションを説明したが、第２図
の装置例については撮像装置21のキャリブレーションの
みを実施すれば足り、しかもその方法は上記と同様であ
るかから、ここではその説明は省略する。 ＜発明の効果＞ この発明は上記の如く、３次元座標と、ラベルと、形
状または配置の情報とが既知である特徴部分を複数個備
えたキャリブレーション用ワークを用いてカメラモデル
のキャリブレーションを行うのに、キャリブレーション
用ワークの前記既知の形状または配置の情報により、こ
のキャリブレーション用ワークを撮像して得た２次元画
像上の特徴部分を、ワーク上のいずれかの特徴部分のラ
ベルによりラベル付けした後、同一のラベルを持つキャ
リブレーション用ワークの特徴部分と画像上における特
徴部分との各座標を組にして用いた演算を実行して、カ
メラモデルを自動で生成するようにしたから、２次元撮
像装置におけるカメラモデルのキャリブレーションの自
動化が実現でき、撮像装置のカメラモデルのキャリブレ
ーションを容易かつ短時間で実施できるなど、発明目的
を達成した顕著な効果を奏する。

【図面の簡単な説明】 第１図はこの発明にかかる自動キャリブレーション装置
の概念を示すブロック図、第２図はこの発明の一実施例
を示すブロック図、第３図はこの発明の他の実施例を示
すブロック図、第４図はキャリブレーション用ワークの
一例を示す斜面図、第５図はその平面図、第６図はキャ
リブレーション用ワークの他の例を示す斜面図、第７図
はその平面図、第８図および第９図は撮像装置のカメラ
モデルの構造を説明するための説明図、第10図は撮像装
置のキャリブレーションの実行手順を示すフローチャー
ト、第11図はマーク画像の中心点抽出方法を示す説明
図、第12図はマーク画像のラベル付け方法を示す説明
図、第13図は投光装置のキャリブレーションの実行手順
を示すフローチャート、第14図はスリット光モデルの構
造を説明するための説明図、第15図は像点の座標算出方
法を示す説明図である。 ２……自動キャリブレーション装置、4,21……撮像装置 6,12……CPU、9,23……キャリブレーション用ワーク

Claims (1)

1. (57)【特許請求の範囲】 １．３次元座標と、ラベルと、形状または配置の情報と
   が既知である特徴部分を複数個備えたキャリブレーショ
   ン用ワークを用いてカメラモデルのキャリブレーション
   を自動的に行うための方法であって、 撮像手段により前記キャリブレーション用ワークを撮像
   して得られた２次元画像上で複数個の特徴部分を抽出す
   ると共に、この２次元画像上においてそれぞれの特徴部
   分の２次元座標を検出する第１の工程と、 前記２次元画像上で検出された各特徴部分をキャリブレ
   ーション用ワークの前記既知の形状または配置の情報と
   比較して、前記２次元画像上で検出された各特徴部分
   を、それぞれキャリブレーション用ワークのいずれかの
   特徴部分のラベルでラベル付けする第２の工程と、 キャリブレーション用ワークの特徴部分の前記既知の３
   次元座標と前記２次元画像上における特徴部分の２次元
   座標とにおいて同一のラベルを持つ特徴部分の座標を組
   として用いて、前記既知の３次元座標を前記２次元座標
   に変換するためのパラメータである前記撮像手段のカメ
   ラモデルを求める演算を行う第３の工程とを一連に実行
   することを特徴とするカメラモデルの自動キャリブレー
   ション方法。 ２．３次元座標と、ラベルと、形状または配置の情報と
   が既知である特徴部分を複数個備えたキャリブレーショ
   ン用ワークを用いてカメラモデルのキャリブレーション
   を自動的に行うためのカメラモデルの自動キャリブレー
   ション装置であって、 前記キャリブレーション用ワークを撮像してキャリブレ
   ーション用ワークの２次元画像を生成する撮像手段と、 前記撮像手段により撮像された前記キャリブレーション
   用ワークの２次元画像が格納される画像記憶手段と、 前記画像記憶手段に格納された前記キャリブレーション
   用ワークの２次元画像上で複数個の特徴部分を検出する
   と共に、この２次元画像上においてそれぞれの特徴部分
   の２次元座標を検出する２次元座標検出手段と、 前記２次元画像上で検出された各特徴部分をキャリブレ
   ーション用ワークの前記既知の形状または配置の情報と
   比較して、前記２次元画像上で検出された各特徴部分
   を、それぞれキャリブレーション用ワークのいずれかの
   特徴部分のラベルでラベル付けするラベル付け手段と、 キャリブレーション用ワークの特徴部分の前記既知の３
   次元座標と前記２次元画像上における特徴部分の前記２
   次元座標とにおいて同一のラベルを持つ特徴部分の座標
   を組として用いて、前記既知の３次元座標を前記２次元
   座標に変換するためのパラメータである前記撮像手段の
   カメラモデルを求める演算を行う演算手段とを備えて成
   るカメラモデルの自動キャリブレーション装置。