JP4496354B2 - カメラ校正のための透過型校正器具とその校正法 - Google Patents

Description

本発明は、画像計測に必要なカメラの位置・姿勢の６自由度のパラメータ（外部パラメータ）と、カメラ固有の性質である画像中心位置やレンズ歪み係数等のパラメータ（内部パラメータ）を推定するためのカメラ校正(キャリブレーション)で用いる透過型カメラ校正器具と、それを用いた幾何学的な校正方法に関する。

画像計測において、カメラ座標系とワールド座標系の関係を表す外部パラメータと、画像座標系とカメラ座標系の関係を表す内部パラメータを求めることは必要不可欠である。カメラの寸法や取付位置情報に基づきカメラの位置・姿勢を求めることや、レンズの目盛りから焦点距離を求めることは、実際の運用においては精密さを欠き困難であるので、一般には、大きさが既知の校正用器具を一旦撮影し、そこからカメラの位置・姿勢のパラメータを計算するカメラの校正が行なわれている。従来の校正器具を用いるカメラの位置・姿勢校正法を図２０に模式的に示す。まず上段右に示すように撮影の前処理として校正器具を被写体近傍に設置してカメラで撮像し、中段右に示すような校正器具の画像を得、その画像を解析して、当該カメラの外部・内部パラメータを割り出し記憶する。しかる後前記校正器具を撤去して上段左に図示するように被写体撮影し、中段左に示したような被写体の観察画像を得て、先のカメラの外部・内部パラメータを基に観察画像の三次元解析を行うという手順が採られていた。このように校正器具画像から得たその際のカメラの外部・内部パラメータを基に観察画像の解析を行うため、校正後はカメラの位置・姿勢や焦点距離を変化させることができない。

特許文献１に開示された手法は、図１９に示されるように平板ａの上面には多数の穴ｂが形成された穴あき板ｃが設けられ、穴あき板ｃの多数の穴ｂの任意の位置には棒材としての校正ポールｄがランダムに嵌合されている。平板ａの上面は黒色に塗られ、穴あき板ｃの上面は灰色に塗られ、校正ポールｄの頂部は白色に塗られている。また、校正ポールｄは長さがランダムに設定されている。校正テーブルの上部には二台のカメラ（左カメラ、右カメラ）ｅ，ｆが内斜視に配されており、左カメラｅ、右カメラｆの光軸は校正テーブルのある一点におおよそ結ばれるようになっている。左カメラｅ、右カメラｆによって校正テーブルの上面の画像が撮影される。左カメラｅ、右カメラｆによって撮影された画像は、対応付け回路に入力され、対応付け回路では画像の濃淡度に基づいて対応付けが行われる。対応付け回路の情報は三次元位置処理回路に入力され、三次元位置処理回路には校正係数処理回路で求められた校正係数が入力される。三次元位置処理回路では、対応付け回路の情報と校正係数に基づいて撮影点の三次元位置が求められる。この方式は静止物体を撮像する場合にはよいが、人物等の動く対象をカメラで追従させるためには、正確にカメラを動かすための装置等が必要となる。また、校正器具を設置・撤去するため、屋外での利用等には不向きであるといった問題があった。

また、移動物体に追従させる場合の更正法も特許文献２に示されている。この特許文献２の内容をみてみると、任意の位置でキャリブレーションを一度行うだけで、あらゆる位置で対象物の位置検出を行い、広範囲に対象物の位置検出を行えることを目的とし、カメラが移動する前のＡ位置でのキャリブレーションによって得られたキャリブレーションデータ (ＣＤＡ)と、カメラの位置及び姿勢の移動量データ (ＣＭ)から計算によってカメラの移動後のＢ位置でのキャリブレーションデータ (ＣＤＢ)を求める。次に、このキャリブレーションデータ(ＣＤＢ)とカメラのＢ位置での対象物の撮像データ (ＣＭ)から対象物の位置を検出するというものである。この手法は、一旦キャリブレーションを行えばその後はカメラを移動させても対象物の座標とカメラの座標との相関がとれるものであるが、その精度はひとえにカメラの位置及び姿勢の移動量データ(ＣＭ)の精度如何に掛かってくるため、精度の高い駆動機構を備えることが必要となる。また、移動を重ねる毎に誤差は累積されていくという原理的な短所を持つものである。
特開平８−８６６１３号公報 「ステレオカメラ校正装置」 平成８年４月２日公開 特開平５−２４１６２６号公報 「検出位置補正方式」 平成５年９月２１日公開 特開平８−４３０２６公報 「キャリブレーション装置及びホログラム」 平成８年２月１６日公開

本発明が解決しようとする問題点は、前処理としての校正器具の設置・撤去作業を必要とせず、カメラの位置・姿勢や焦点距離を変えても、当該カメラの位置・姿勢や焦点距離変化に伴うカメラパラメータが精度良く校正されて撮影が行えるカメラ校正手法を提供することにある。
また、長い間隔で個々に分離して配置された複数カメラの各カメラパラメータを同一の座標系で扱うための技術を提供する。

本発明の校正器具は、複数の指標点が空間的に分布固定された透過型カメラ校正器具である。なお、本明細書で「透過型カメラ校正器具」とはカメラの前方近傍位置に設置されたままそれを透過して遠距離の被写体撮影が可能であるカメラ校正器具を意味するものとして使われる。その指標点としては枠体に対し平行な複数の細線群を方向を異ならせて張った細線の交点群として形成し、この指標群を少なくとも２組、同一平面上でない関係で配置したもの、あるいは透明素材内に識別可能な微粒子を分布させたり、素材面に施したマークなどで具体化する。また、蛍光物質が配置された透明板と励起ビームを照射する光源の組合せで具体化する。そして、蛍光物質が配置された透明板と励起ビームを照射する光源の組合せからなる透過性校正器具と他の前記透過性校正器具とを相対位置固定の状態で一体化した複合型校正器具を提示する。

本発明のカメラ校正方法は、複数の指標点が空間的に分布固定された透過型カメラ校正器具をワールド座標系において静止状態としてカメラの前方近傍位置に設置し、被写体撮像の前処理としてレンズのフォーカスを至近距離にして前記複数の指標点を撮像してその画像からカメラの外部・内部パラメータを推定するものである。
また、本発明のカメラ校正方法は、複数の指標点が特定の色フィルターで識別可能なマークとされ、観察画像と指標点とを重ね撮りした画像からカメラの外部・内部パラメータを推定するものである。更には、カメラにマークの特定色を通過又はカットできる切替フィルターを備えて、前記複数の指標点を撮像してその画像からカメラの外部・内部パラメータを推定する。
本発明の透過型カメラ校正器具を用いた校正で、フォーカス調整を必要とする場合の校正法は、１台のカメラにおけるフォーカスを調整して観察画像と、校正画像を得る形態、位置関係が既知である２台のカメラの一方で観察画像を他方のカメラで校正画像を撮影する形態、そして遠方の被写体と至近位置の複数の指標点が空間的に分布固定された透過型カメラ校正器具にフォーカスを調整した１台の多重フォーカスカメラを用い、一方で観察画像を、他方で校正画像を得てカメラの位置・姿勢を解析する形態とを提示する。更には多重フォーカスカメラとしてズーム機能を有するものを用い、ズーム変化に伴う校正画像から焦点距離などを解析する形態を提示する。

本発明のカメラ校正方法は、透明板に光ビームを照射し、該透明板の表面での乱反射によって指標を表示させ、あるいは透明板に蛍光物質を配置すると共に光ビームは励起用として指標を表示させ、該指標を撮像した校正画像からカメラパラメータを解析する形態を提示する。
本発明のステレオカメラ校正方法は、異なる位置に配置された２台のカメラの前方に、透過型カメラ校正器具をワールド座標系においてそれぞれ既知の位置関係で配置し、該透過型カメラ校正器具の指標画像から前記２台のカメラパラメータを解析するものである。
また、本発明のステレオカメラ校正方法は、異なる位置に配置された２台のカメラの前方に、表面に蛍光物質が配置された透明板と励起用ビームを照射する光源とで空間的に分布固定された複数の指標点を形成する透過型カメラ校正器具と他の透過型カメラ校正器具が組み合わされた複合型校正器具をワールド座標系においてそれぞれ静止状態で配置し、１光源から照射される４本以上の光ビームが透明板と交差する点の撮像画像と他方の透過型カメラ校正器具の指標画像から前記２台のカメラパラメータを解析するものである。

本発明のカメラ校正法は、複数の指標点が空間的に分布固定された透過型カメラ校正器具をワールド座標系において静止状態としてカメラの前方近傍位置に設置し、被写体の写った撮影画像と、校正用の指標点の写った校正画像を撮影し、カメラ校正を行なうものである。校正画像の撮影の際に、フォーカスの使い分けや、色バンドの使い分けを行なうので、撮影画像には、校正器具の存在は全く邪魔となることがなく、校正器具を撤去する必要がない。カメラの位置・姿勢や、焦点距離を変化させても、その都度、簡単に校正画像を得ることが出来、新しく撮影した校正画像からカメラの外部・内部パラメータを精度良く校正することができる。このことによって、動きを伴う被写体であってもカメラを被写体に追従・拡大させながら撮影と校正を交互に行ないながら画像計測することができる。
なお、撮影範囲や使用目的においては、校正パターンが写っていても問題にならないことが考えられる。この様な場合では、撮影画像と校正画像の各々の撮影を行なわず、１度の撮影で済ますことができる。

従来の校正器具を用いる校正法では、校正に手間取り応用が困難であったステレオ視やイメージモザイキングの技術への実利用の可能性が高まる。
そして、蛍光物質が配置された透明板と励起ビームを照射する光源の組合せからなる透過性校正器具と他の前記透過性校正器具とを相対位置固定の状態で一体化した複合型校正器具を用い、１光源から照射される４本以上の光ビームが平板器具と交差する点を指標とした場合、ステレオカメラ間の距離が長くても両平板面の相対的位置・姿勢を検知することができる。これによって、遠方の被写体のステレオ視が感度良く実現できる。また、異なる位置に配置された複数台のカメラの前方に、蛍光物質が配置された透明板を配置すると共に、いずれの平板器具についても１光源から照射される４本以上の励起ビーム光が少なくとも他の１枚の平板器具と交差するように組合せて配置し、前記交差する点の撮像画像と他方の透過型カメラ校正器具の指標画像からカメラパラメータを解析するものは、複数のカメラの位置・姿勢関係が把握できるので野球場やサッカー場、空港など大きなスペースでの多眼ステレオ視が高精度に実現できる。
本発明の校正方法は熱、振動等の経年劣化等によるカメラ位置・姿勢の変化が把握できるので信頼性向上につながる。また、従来の校正法では、校正後に校正器具を取り除くため、ワールド座標系の姿勢や原点位置の特定が困難であり、実運用において支障が生じたが、本発明の手法では、透過型カメラ校正器具が示すワールド座標系を明確に特定できる利点がある。更に、ズーム機構を備えたカメラにあっては従来では厄介とされていたズーム変更に伴うカメラパラメータの校正にも容易に対応できる。

本発明の校正器具は、枠体に張った細線の交点を平行な複数の細線群を方向を異ならせて張った細線の交点群として形成した指標群を少なくとも２組、同一平面上でない関係で配置したもの、透明素材内に識別可能な微粒子で形成されたものなどで具体化した複数の指標点が空間的に分布固定された透過型カメラ校正器具であるから、カメラの直前に配置してもその存在は被写体撮像の際には全く邪魔となることが無く、その指標点の位置を画像上で識別可能に把握することが出来る。
透明素材内に識別可能な色フィルターや蛍光物質が配置された透明板と励起ビームを照射する光源の組合せで複数の指標点具体化した透過型カメラ校正器具の場合も、結像ボケをおこす至近距離におかなくても被写体画像の撮影に際しては邪魔と成らないように操作できる。
本発明に係る校正器具はコンパクトな構造であるからカメラと共に持ち運びも設置も容易であり、多様な形態のカメラシステムへの適用や既存のカメラシステムヘの追加適用が期待できる。

従来のカメラ校正の問題の本質は、校正器具そのものに起因している。校正器具をいつも画像内に写すことができれば問題は解決するが、設置の手間や、観察画像ヘの干渉の問題があり現実的ではない。本発明の基本コンセプトは、いつでも撮影でき、且つ観察画像に干渉しない校正器具の提供とその利用法を提示することにある。
本発明では、透過型のカメラ校正器具を提案することで、この問題の解決を図るようにした。本明細書で透過型カメラ校正器具とは、校正器具を介在しても、その向こう側にある被写体をカメラ撮影可能な器具を意味する。本発明はこの透過型カメラ校正器具の特性を利用し、カメラの直前に設置した状態で使用するものとした。一般のカメラには、フォーカス調整の問題があり、フォーカスが合わないと対象が撮像面で結像せずにボケてしまう。本発明の透過型カメラ校正器具は、このカメラの特性を利用するものであって、フォーカスを至近距離に合わせた場合は、カメラ直前に設置した透過型カメラ校正器具がはっきりと撮影できる。一方フォーカスを遠方にある撮影対象である被写体に合わせた場合は、透過型カメラ校正器具を透過してその被写体像が撮影できる。この際、校正器具は光学的ボケの影響で撮像面で結像することがなく、画像質にほとんど影響を与えることはない。したがって、透過型カメラ校正器具は、観察画像の撮影にあたり撤去の必要がなく、そのまま撮影が可能であるという利点を持つ。そして、カメラの位置・姿勢を変化させた場合でも、この透過型カメラ校正器具にフォーカスを合わせた画像を取得すれば、その画像を解析することによりワールド座標系とカメラ座標系の変化量の対応が行なえる。
なお、特許文献３には色糸を格子状にかつ立体的に張り巡らせたキャリブレーション装置が開示されている。本発明の「指標点は平行な複数の細線群を方向を異ならせて張った細線の交点群として形成し、この指標群を少なくとも２組、同一平面上でない関係で配置した構成器具」と構造的に類似するが、光学軸方向の糸群の区別を色によって行うものであるため、色分けが必須という点で本発明の方向を異ならせるものと相違している。本発明が「細線群を方向を異ならせて張った」技術的意義は単に軸方向位置の判別だけでなく、画像上で他の群とのなす角度が校正情報とされる点で大きく異なる。また、上記文献には被写体画像と校正画像はフォーカスを変えて撮像し、互いの存在が他方の画像の邪魔とならないようにするという技術的思想を全く示唆していない。

ズーム操作などカメラ設定を変化させない状態で行う物体の追従などの処理では、カメラの位置・姿勢（外部パラメータ）のみが変化し、カメラに固有の性質である内部パラメータは変化しないとみなせる。よって、内部パラメータは、予め従来法などにより校正し記録しておき利用することができる。物体の追従などの処理を行なう場合には、予め校正してある内部パラメータと、本発明により逐次計算される外部パラメータを用いて座標系の変換や画像計測・解析を行なうことが有効である。
また、厳密にはフォーカスの調整により、光学中心(レンズ中心、カメラ座標の原点）位置が微小に変化する現象を伴うが、この変化量を予め測定して記憶しておけばその量を考慮すること等でこの問題は解決できる。

さらに、本発明では、バンドパスフィルターを応用した透過型カメラ校正器具を提案し、バンドの使い分けにより、撮影画像と校正画像の同時撮影を行ない、校正器具の撤去設置の問題の解決を図る。バンドパスフィルターにより、減衰なく透過できるバンドと遮蔽されるバンドが存在することになる。透明素材に校正パターンをバンドパス効果の物質をコーティングすることで、遮蔽されるバンドを校正画像として、透過するバンドの画像を撮影画像として用いることができる。
可視域でのバンドパスフィルターであるカラーフィルターを用いることで、通常のカラーカメラに対して本方式を適用することが可能となる。ただし、この場合、遮蔽バンドとして用いる色バンドは、校正用の画像となるために、撮影画像は、フルカラーではなくなる。しかし、通常の画像計測では、単バンドの画像から行なう場合がほとんどであるので、撮影画像がフルカラーでなくても支障は少ない。
以上、校正器具の撤去設置の問題の解決を図る方法として、校正画像と観測画像の同時撮影を提案する。観測画像の校正パターンの写り込みによる干渉を防ぐために、フォーカスの使い分け、撮影バンドの使い分けを利用し、各々の透過型カメラ校正器具とその利用方法を提案する。なお、これらの方式は、状況に応じて組み合わせて利用することでより効果的な利用も可能となる。

本発明では、校正画像に写り込んだ校正パターンの空間の３次元位置と画像面の２次元位置のカメラパラメータの校正に基づく。ここで、カメラパラメータの算出アルゴリズムについて簡単に説明をしておく。
この校正によって求めるパラメータは、カメラの位置・姿勢を表す６個の外部パラメータとカメラ固有の性質を表す５個の内部パラメータの合計１１個となる。カメラの位置・姿勢を表す６個の外部パラメータは、ワールド座標とカメラ座標との相対的関係で表され、これは回転行列と平行移動ベクトルの形で表現することができる。ワールド座標において位置情報が分かっている複数ｎ個の点をカメラで撮像した画像から６個の外部パラメータを決定する問題はＰnＰ(perspective n-point)問題と呼ばれ、周知のものである。その様子は図１８に示す。校正ステップは２段階であり、ワールド座標上の３次元点[X,Y,Z,1]^Ｔとその点のカメラ座標上の２次元像[u,v,1]^Ｔ間の射影を定める射影行列Ｐを求めるステップと、その射影行列から内部パラメータＡと外部パラメータＲとｔとを求めるステップからなる。
中心射影における射影方程式は次式で表現される。
この射影行列Ｐは３×４の行列で、１２個の要素がある。１つの３次元点情報とその２次元像情報からＰの要素に関する２つの線形方程式（２）を立てることが出来る。
ｎ個の点を用いて射影行列Ｐを求める。
続いてこの射影行列Ｐを用いて、内部パラメータＡと姿勢を示す外部パラメータＲおよび位置を示す外部パラメータｔを求める。
なお、Ｐを決定するために必要な点の数は６以上であり、その数ｎが多ければ最小自乗あてはめなどで精度を上げることが期待できる。ただし、条件としてすべての点が１平面上にあることは排除される。
なお、レンズ歪係数については、一旦上記の様に外部・内部パラメータを求めた後で、非線形計算によって高精度に求めることができる。

つぎに本発明の透過型カメラ校正器具であるが、当該校正器具を透過して遠方に存在する被写体画像を撮像するために、その構造は基本的に透明形態を採る空間中で６個以上の指標となる点を１平面上にすべてがくることがないように三次元的に分布配置させる必要がある。またこれらの複数の指標点は同一フォーカス状態でボケない像として撮像される範囲内に配置されていることが必要である。従って、具体的には空間的に張られた網状体、透明物質内の混在された粒子、透明素材にコーティングされたマーク等が考えられる。

図１のＡに示したものは所定の厚みを有した枠体１に細いワイヤ２が互いに交差するように異なる方向で張ったもので、枠体１の前面と後面に２組の指標点となる交点群３を分布させたものである。枠体内は透明材料を用いない空間としているため屈折など光学的な作用を考慮する必要が無い単純構造であると共に、作成が容易であり大きなものでも簡単に作れる。この実施例では正方形の枠体１の前面にはワイヤを平行等間隔に７本とそれに直交するように７本のワイヤ２を平行等間隔に張り７×７＝４９個の交点群３を指標点に、後面には対角線方向に直交するようにワイヤ２を平行等間隔に１０本ずつ張ってそれらの交点群１０×１０＝１００個の交点群を指標点３としている。特許文献３の校正装置のようにワイヤの色を変えるなどして２組の指標群を容易に識別できるようにしてもよい。このように複数のワイヤを平行等間隔に直交させて張ったのは解析処理の利便性のためであり、必須の構成としては指標点が枠体１に張られた細線３の交点として６以上形成され、すべての指標点が１平面上にくることが無いように配置されていればよい。

図１のＢに示したものはステレオ視用の透明校正器具である。２つのカメラの相対位置関係の校正や、ステレオ画像の平行化（レクティフィケーション）を行なうことが可能である。先の例とほぼ同様の構成、すなわち所定の厚みを有した長方形の枠体１に細いワイヤ２が互いに交差するように異なる方向で張ったもので、枠体１の前面と後面に２組の指標点となる交点群３を左右２組のカメラ間隔に対応させて分布させたものである。左右に２つのカメラを配置するステレオ視システムのそれぞれのカメラについての校正が容易に実施できる。作成が容易であり、解析処理の利便性のため複数のワイヤを平行等間隔に直交させて張ったのは先の例と同様である。

図２のＡに示したものはガラスやアクリル等の透明材料４の表裏面に校正パターンを形成させた例である。複数の指標点をマーク印刷５した透明シートを張り付けるなどの方法で容易に精度良く作製することが出来る。表裏面の指標点を識別しやすいように色を変えるなどは効果的である。
図２のＢに示したものは全周画像作製用の透過型カメラ校正器具である。カメラをパン・チルトしながら全周画像を作製する際のカメラの位置・姿勢パラメータを得るためのものとして考えられたものである。ガラスやアクリル等の透明材料４を光軸がどの方向に来てもレンズ効果を示さないように半球状に等厚形態で形成し、その表裏面に校正パターン５を形成させた例である。素材面に直接マーキングしたり複数の指標点を印刷した透明シートを張り付けるなどの方法で容易に精度良く作製することが出来る。また液状の透明素材内に微粒子５を混合分布させた後固化して指標群を形成させる方法もある。

以上の説明では、カメラに対し遠方に撮影対象が存在し、校正用指標は至近距離にあって、焦点位置を変えることでそれぞれの画像が取り込める形態を説明してきたが、以下に焦点ボケによらない撮影対象を撮像する観察画像と指標を捉えた校正画像の選別取得方法について説明する。これはカラーフィルター式の透過型カメラ校正器具を用いるもので、図３に示すような透明材料４に特定のカラーフィルター５で指標を画きカメラと撮影対象の間に若干の距離をとって２つ設置する。通常の撮像すれば撮影対象と共に指標が捉えられた画像が得られることになるが、指標の色をカットするフィルターを介して撮像すれば指標は撮影されず観察画像が得られ、更に指標の色だけを通過させるバンドパスフィルターを介して撮像すれば指標がはっきりと撮像できる。指標の写った校正画像からカメラパラメータを解析することは先のものと同様である。

次ぎに図１のＢに示したような校正器具を使ってステレオ画像の校正を行う場合、２台のカメラ間の距離は制限される。指標が配置される領域間の距離が既知であることが前提となるため、図４に示すように指標の配置された両校正器具の枠体１を連結竿８等で結合する形態では高々１０ｍが限界となろうし、持ち運び移動も容易ではない。そこで、遠方被写体のステレオ撮像の要請に応える方法として２つのカメラ間の距離を十分にとり、しかもそれぞれのカメラの位置・姿勢情報を逐次取得できるものとして図５に示すような２つの透明平板９とそれを貫く光ビームを校正器具とする方式を提示する。光ビームはその指向性と集束性、減衰しにくいビームの強度を有するものとしてレーザを使用することが適当である。光源からビームを照射すれば透明平板９を貫く際にその表面で若干の乱反射が生じその交点を観察することが出来る。この交点を更に明瞭表示するには透明板に蛍光色素を塗布するなどして光ビームによる励起で蛍光発光させる形態をとるとよい。複数の光ビームが透明平板９を貫けばその交点にその数の指標を表示させることが出来るし、ビーム照射を停止すれば指標は消えて透明平板９に戻り被写体画像の邪魔となることはない。２枚の透明平板９を２台のカメラと撮像対象との間に１枚ずつ設置し、指標撮像を行い両画像を解析することで２枚の透明平板９の距離を検知することができる。

この解析法の基礎として図６を参照しつつ平面と直線の交点の関係について説明する。ｘ−ｚ平面，ｙ−ｚ平面上で原点Ｏを通りｚ軸を中心に傾き角ｋが等しい２対４本の直線（Ｌ_Ａ，Ｌ_Ｂ，Ｌ_Ｃ，Ｌ_Ｄ）と平面Πとの交点（Ｐ_Ａ，Ｐ_Ｂ，Ｐ_Ｃ，Ｐ_Ｄ）を用いて平面の方程式を導出する。
平面Πをｚ＝ａｘ＋ｂｙ＋ｃ（ｃ＞０）とおき、４直線は次式となる。
Ｌ_Ａ：ｋｘ＝ｚ，ｙ＝０ Ｌ_Ｂ：ｋｙ＝ｚ，ｘ＝０
Ｌ_Ｃ：−ｋｘ＝ｚ，ｙ＝０ Ｌ_Ｄ：−ｋｙ＝ｚ，ｘ＝０ ‥‥‥‥‥‥‥‥（４）
ただし、ｋ＞０とする。
平面Π上で線分Ｐ_ＡＰ_Ｃと線分Ｐ_ＢＰ_Ｄの交点Ｑは、平面Πとｚ軸との交点となる。Ｐ_ＡＱ，Ｐ_ＢＱ，Ｐ_ＣＱ，Ｐ_ＤＱの長さを各々Ａ，Ｂ，Ｃ，Ｄとする。このＡ，Ｂ，Ｃ，Ｄとｋとを用いて、平面Πの方程式の（ａ，ｂ，ｃ）を求める。交点Ｐ_Ａ，Ｐ_Ｂ，Ｐ_Ｃ，Ｐ_Ｄの座標は、次のようになる。
また、点Ｑの座標は（０，０，ｃ）となる。
ｘ−ｚ面上の線分Ｐ_ＡＱ，Ｐ_ＣＱに注目すると３平方の定理から、以下の関係を得る。
（ｋ−ａ）^２Ａ^２＝ｃ^２（１＋ａ^２）‥‥‥‥‥‥‥‥（６）
（ｋ＋ａ）^２Ｃ^２＝ｃ^２（１＋ａ^２）‥‥‥‥‥‥‥‥（７）
式６と式７は右辺は等しいから左辺も等しくａについて２次方程式を解けば
ここで、２つのａが得られるが、ｘ−ｚ平面での位置関係から、交点Ｐ_ＡとＰ_Ｃのｘ座標の積が負となるという条件からａは１つに特定できる。

式１０を式６に代入してｃを求める。ｃは正であることから
同様に、ｙ−ｚ面上の線分Ｐ_ＢＱ，Ｐ_ＤＱに注目し、ｂを求める。
また、ｘ−ｚ面の場合と同様に、ｋ、Ｂ，Ｄによりｃが求まる。
以上より、４直線の傾きの大きさｋと、各直線と平面の交点間の距離（Ａ，Ｂ，Ｃ，Ｄ）から、平面Πの方程式を導出できる。
なお、空間中の平面Πは、画像平面に投影された際に射影変換による投影歪みを持つことになる。このため、観測することのできる画像上に投影された点Ｐ_Ａ、Ｐ_Ｂ、Ｐ_Ｃ、Ｐ_Ｄからは、平面の方程式の導出に必要な空間中の距離Ａ、Ｂ、Ｃ、Ｄを知ることができない。ただし、空間中の平面Πと画像平面間の射影変換行列がわかれば、Ａ、Ｂ、Ｃ、Ｄを求めることができる。この射影変換行列は、平面Π（すなわち、透明板９）上に記された４点以上の位置が既知の点を用いることで簡単に求めることができる。また、（後で説明する図１７のように）透明板９と枠体１が支持竿１１で固定されている場合には、透明板９と枠体１の取付け角度などの位置関係を利用して、射影変換行列を求めることができる。

本発明はこの一点を通る４本の直線を一光源からの光ビームで作り、その直線を貫く平面を透明板で構成する。光ビームを照射すれば指標となりうる交点の観察ができ、光ビームを止めれば指標は表示されずただの透明板となることにより、まずこれだけで透過型カメラ校正器具としての機能を果たすものが実現される。これをステレオカメラシステムにおけるカメラ間距離測定用に応用するには２枚の透明板をカメラと撮影対象の間に固定配置し、同一光源から等角で照射される４本の光ビームがこの２枚の透明板を貫通するようにすれば、その交点の画像情報から前段落に説明した解法により透明板平面の方程式が導き出せる。これによって２つの平面の相対的な位置と方向が分かる。

多数のカメラを野球場やサッカー場に配置させ、ボールの移動に伴って撮影位置を変化させるための多眼ステレオカメラシステムに本発明による手法を用いた校正を実現させることが出来る。すなわち、図７に示すように異なる位置に配置された複数台のカメラの前方に、前述したような透明平板９をワールド座標系においてそれぞれ静止状態であると共に、いずれの透明平板９についても１光源から照射される４本以上の光ビームが少なくとも他の１枚の透明平板９と交差するように組合せて配置することによって実現する。透明平板９は必ず他の透明平板９とを１光源から照射される４本以上の光ビームＡが共通して貫く構成となっているため、前段落に示した解析法により、その２平面間の相対的な位置と方向が分かる。その一方の平面は更に異なる平面と共通する４本以上の光ビームＢとの交点を有するのでその２平面間での相対的な位置と方向が分かる。順次位置関係を特定できるためすべての透明板の平面の位置と方向が解析できる。光ビームＡと光ビームＢの交点を１枚の透明平板９上で識別するため、用いる光ビームの波長を違えておくことが望ましい。すなわち、色の違う光ビームで識別させたり、複数の蛍光物質を用いその励起光波長の違いで異なる色の蛍光を発生させるようにする。

図８にステレオ視用の透過型カメラ校正器具の実施例を示す。横寸法29ｃｍ，縦寸法12ｃｍ，厚さ0.5ｃｍのアルミ板２枚を前面と後面の距離が２ｃｍとなるように重ねて一体化して長方形枠体を作り、一方の面には縦横に交差するように直径0.083ｍｍのスチールワイヤを３ｃｍ間隔で７本ずつ接着剤を使って固定し、他方の面には斜めに直交するように同じワイヤを3.54ｃｍ間隔で１１本ずつ接着剤を使って固定した。

次に本発明の透過型カメラ校正器具を用いたカメラ校正システムの実施形態について説明する。設備的に最も簡単な形態は、１台のカメラを用いる場合である。この形態は図９に模式的に示すようにまず上段右に示すように撮影の前処理として透過性校正器具をカメラの直前位置に設置して至近距離の該透過性校正器具をカメラで撮像し、中段右に示すような校正器具の画像を得、その画像を解析して、当該カメラの位置・姿勢パラメータを割り出し記憶する。しかる後カメラのフォーカスを遠距離にある被写体に合わせて上段左に図示するように被写体撮影し、中段左に示したような被写体の観察画像を得て、先のカメラの位置・姿勢パラメータを基に観察画像の三次元解析を行うという手順が採られる。観察画像の撮影に際し、校正器具を撤去する必要が無い点で従来の校正方法より作業効率が格段に高くなる利点があるが、上述したように校正画像から得たその際のカメラの位置・姿勢パラメータを基に観察画像の解析を行うため、カメラの位置・姿勢を変化させる度にフォーカスを変えて変えて校正器具を撮影し校正作業をする必要がある。

２台のカメラを用いる場合は、図１０に模式的に示すように１台を校正画像取得専用に、もう１台を観察画像撮影専用に割り振った使い方が出来る。この場合フォーカスの再調整が不必要になるので、動く物体に追従させるようなシーンの撮影であっても、観察画像撮影専用カメラでは中段左に図示したような観察画像と、校正画像取得専用カメラで中段右に示すような校正器具の画像を逐次並列的に得ることができ、その画像を解析して、当該カメラの位置・姿勢パラメータを割り出して時々刻々変化するカメラの位置・姿勢の校正が観察画像撮影と同時に行なうことができる。ただし、この形態では２つカメラは上段に図示したように別々に動かないように一体的に固定しておく必要があり、また、予め、校正用カメラと観察用カメラ間の相対的な位置・姿勢関係を校正しておくことが必要である。これは、校正用カメラが撮影した透過型カメラ校正器具画像から、予め分かっているカメラ間の相対的な位置・姿勢の関係に基づき観察用のカメラの位置・姿勢を計算するためである。

更に、遠方と至近位置にフォーカスを調整した１台の多重フォーカスカメラを用いる形態を図１１に示す。この多重フォーカスカメラは１台のカメラの内部で光学系が２系統に分割され、１方の受光面には遠方にある被写体像が、他方の受光面には至近位置にある校正パターンが結像される。この場合は、中段左に図示したような観察画像と、中段右に示すような校正器具の画像を逐次並列的に得ることができるので、その画像を解析して、実施例３と同様に当該カメラの位置・姿勢パラメータを割り出して時々刻々変化するカメラの位置・姿勢の校正を観察画像撮影と同時に行なうことができる。しかし、１台のカメラで校正器具と観察画像の同時撮影が可能となるため、２台のカメラを用いる場合のようなカメラ間の相対的位置・姿勢関係を知る必要はない。この形態は激しく動く被写体の追尾撮影にも演算負担が少なくて済みリアルタイムの対応が可能である。

画像計測においてはズーム機能を備えたカメラを用いズームさせて撮像することは効果的であるが、このズーム調整を行った場合にカメラパラメータの校正という厄介な問題を伴う。図１２に示すようにこのズームカメラが上述の遠方の被写体と至近位置の複数の指標点が空間的に分布固定された透過型カメラ校正器具にフォーカスを調整した１台の多重フォーカスカメラであるならば、ズーム調整を実行しても同時並行して校正画像が得られるため、逐次カメラパラメータを解析することが可能である。

次に実施例１に示した本発明に係る透過型カメラ校正器具を用いて行った校正画像と観察画像の撮像例を示す。図１３−Ａに示すように実施例１の透過型カメラ校正器具をアングルに固定し、６自由度、すなわちｘ，ｙ，ｚ方向駆動と各回転駆動機構を備えたステージ上で左右に固定した２台のカメラ（ＳＯＮＹ ＤＦＷ−ＳＸ９００：商品名）の20ｃｍ前方に設置した。そして、図１３−Ｂに示すように、カメラ前方1.5ｍの距離に被写体（このときは従来の校正器）を配置して撮影を行った。図１４−Ａの画像は左カメラで約1.5ｍにフォーカスを合わせたもので被写体が鮮明に結像している中で透過型カメラ校正器具は全く画像上に映し出されていないことが確認できる。この左カメラのフォーカスを透過型カメラ校正器具に合わせた画像が図１４−Ｂである。被写体がボケた状態で映っている中で透過型カメラ校正器具のワイヤが鮮明に画像上に映し出されていることが確認できる。１台のカメラでのこのフォーカス切換による２枚の撮像画像から実施例２の校正形態が実施できる。また、右カメラのフォーカスを透過型カメラ校正器具に合わせて撮像した画像が図１４−Ｃである。被写体がボケた状態で映っている中で透過型カメラ校正器具のワイヤが鮮明に画像上に映し出されている点は図１４−Ｂと同様であるが、被写体の位置、捉えてる視角が異なっていることを確認できる。図１４−Ａとこの画像とを組み合わせて実施例３の校正形態が実施できる。

図３に示したようなカラーフィルター式透過型カメラ校正器具を用いて行った校正法を図１５を参照しながら説明する。透明なアクリル板の表面にバンドパス機能を有するカラーフィルムを貼着し、カラーフィルター式透過型カメラ校正器具とした。カラーカメラを準備し、撮影対象に向けて設置すると共に上記透過型カメラ校正器具を撮影対象とカメラの間、カメラから近距離ではなくほぼ中間位置に若干の距離をおいて２枚設置した。この状態で通常にカラー撮像を行うとカメラは焦点ボケしない位置にある透過型カメラ校正器具を介して撮影対象を撮影することになるため、図１６のＡに示すように被写体像と指標が重畳して撮像される。この画像をカラーカメラのＲＧＢ３系統のＢ（青）成分だけを抽出した画像を得ると図１６のＢに示したように指標がくっきりと撮影された画像が得られる。ＲＢ（赤・緑）成分だけを抽出した画像を得ると図１６のＣに示したように指標が除去された画像が得られる。もし、被写体に青色成分が全くなく、指標に青色成分以外が全く含まれていなければＢの画像には被写体像はなく指標のみが撮像され、Ｃの画像には被写体像だけで指標は写っていないはずであるが、この実施例では指標はＢの画像では濃くＣの画像では淡く写っており、被写体像はいずれの画像にも写っていた。これは用いた青フィルターが自動車用の遮光フィルムを用いたためで、ゼラチン原料にカラーフィルターとして機能する有機染料を溶かして透明基板上にコートした後乾燥させて光学実験用のゼラチンカラーフィルターと同様の構成を採ればより改善された画像が得られるものと予測される。しかし、測定画像としては通常のカラー写真であるＡ画像において被写体画像と指標とは重なって写っているため、指標が特段の障害でない場合は校正画像と観察画像を兼用することも可能である。
また、図１６の校正パターンは、円であるが、用途などに合わせて、四角形や、小さな点、直線群の交差などの多様な校正パターンを用いてもよい。

最後に図５に示した２つの透明平板とそれを貫く４本のレーザービームによって構成された透過型カメラ校正器具を用い、飛行場、野球場、サッカー場などで使用できるステレオカメラシステム校正法の実施例について図１７を参照しながら説明する。表面に蛍光塗料を塗布した透明平板、該蛍光物質を励起するに適した波長のレーザー光源と、回折格子とを準備する。図１７に示すように図１に示した指標点を平行な複数の細線群を方向を異ならせて矩形の枠体１の前後面に張った細線の交点群として形成した透過型カメラ校正器具の１辺と矩形の透明平板９の１辺とを接触させ、互いの対辺を支持竿１１で連結し所定角θで一体的に組み立てた。この組み合わせは、細線の交点群として形成した枠体１と透明平板９の相対位置関係が固定されることが必要条件であって、上記構成に限定されるものではない。また、前記レーザー光源１０からの光は回折格子によって同一起点から等角で照射される４本の光ビームを作るようにした。それぞれのカメラの前に細線の交点群として形成した枠体１が至近距離にあるように前記の組立校正器具を配置し、レーザー光源からの４本の光ビームがそのなす角度の関係から２つの組立校正器具の透明平板９を貫くように光源位置の位置を決める。
この例は飛行場でのステレオ視を想定しているので、撮影対象までの距離は遠く２台のカメラ間の距離は数十ｍ程度必要となるが、２つの組立校正器具は連結されていない。したがって、この２つの組立校正器具の間の距離と姿勢は未知数である。そこで、まず、４本の光ビームと透明平板９が交差する点、蛍光発光されているその位置をカメラで観察することにより、前述した解析法により、２つの透明平板間の相対位置関係を求める。これによって、別体構造物である２つの組立校正器具の間の距離と姿勢はワールド座標系で示すことが出来る。この後は実施例１に示したステレオ視用の校正方法で校正を実行することが出来る。もし、画像上で指標表示がうるさいと感じるならば、透明平板上の蛍光発光した指標は常時発光させておく必要はなく、カメラの動きに応じ間欠的に励起用ビームを照射して発光させるようにすることができる。

本発明者は、画像計測の研究を行なう過程で本発明に想到したものであるが、この発明は撮影画像（２次元画像）に基づいてなされる解析、例えば３次元情報（ワールド座標情報）を復元したり、条件を異にした複数の画像から自然な大画像を合成したり、自動車等の移動体をスムーズな映像として捉えたり、ロボットの視覚機能の支援技術等において広く適用が求められる技術である。

枠体に張ったワイヤの交点群を指標とした本発明の透過型カメラ校正器具の例を示す図である。 透明材料に校正パターンをつけて指標とした本発明の透過型カメラ校正器具の例を示す図である。 透明材料にカラーフィルターの指標をつけた本発明の透過型カメラ校正器具の例を示す図である。 ステレオカメラシステムに用いる本発明の透過型カメラ校正器具の例を説明する図である。 ２枚の透明平板と複数の光ビームの交点を指標とする本発明の透過型カメラ校正器具の例を説明する図である。 ４直線とその交点を用いた平面の方程式を導出する解析法を説明する図である。 ３枚以上の透明平板と複数の光ビームの交点位置から各平面の相対位置関係を解析する方法を説明する図である。 本発明の透過型カメラ校正器具の１実施例を示す図である。 透過型カメラ校正器具と１台のカメラを用いた本発明の校正法の１形態を説明する図である。 透過型カメラ校正器具と２台のカメラを用いた本発明の校正法の異なる形態を説明する図である。 透過型カメラ校正器具と１台の多重フォーカスカメラを用いた本発明の校正法の更に異なる形態を説明する図である。 前図の多重焦点カメラ用いた本発明の校正法でズーム変更に伴って変化するカメラパラメータを解析する説明図である。 ６自由度ステージ上で左右に固定した２台のカメラで撮像のため、透過型カメラ校正器具と被写体をセットした現場写真。 前図の現場で撮影した校正画像と観察画像の撮像例を示す。 透明平板にカラーフィルターで指標をつけた校正器具の実施例とその校正方法を説明する図である。 透明平板にカラーフィルターで指標をつけた校正器具を用いた実施例でのカメラのＲＧＢ信号を選択して得られる画像の比較図である。 飛行場に設置するステレオカメラ用の校正器具の実施例とその校正方法を説明する図である。 カメラキャリブレーションにおけるワールド座標とカメラ座標を示すＰnＰ問題図。 従来の校正器具の例を示す図である。 従来の校正器具を用いてなされる校正法を説明する図である。

符号の説明

１ 枠体 ２ ワイヤ
３ 指標群 ４ 透明材料
５ 校正パターン(マーク、微粒子) ７ ドライバ
８ 連結竿 ９ 透明平板
10 光源 11 支持竿

Claims (15)

1. 指標点は平行な複数の細線群を方向を異ならせて張った細線の交点群として形成し、該細線の交点群を少なくとも２組、同一平面上でない関係で配置し、複数の指標点がカメラ前方近傍の空間に分布固定されるように構成したことを特徴とする透過型カメラ校正器具。
2. 指標点は透明素材に識別可能な微細なマークを同一平面上にない関係で配置し、複数の指標点がカメラ前方近傍の空間に分布固定されるように構成したことを特徴とする透過型カメラ校正器具。
3. 指標点は透明素材に識別可能なマークとして特定の色フィルターを同一平面上でない関係で配置し、複数の指標点がカメラ前方近傍の空間に分布固定されるように構成したことを特徴とする透過型カメラ校正器具。
4. 表面に蛍光物質が配置された透明板と励起用ビームを照射する光源とで構成される複数の指標点が同一平面上でない関係でカメラ前方近傍の空間に分布固定されることを特徴とする透過型カメラ校正器具。
5. 請求項１乃至３のいずれかに記載の透過型校正器具と請求項４に記載の透過型校正器具とを相対位置固定の状態で組み合わせた複合型カメラ校正器具。
6. 複数の指標点が同一平面上でない関係で空間的に分布固定された透過型校正器具をワールド座標系において静止状態としてカメラの前方近傍位置に設置し、被写体撮像の前後処理としてレンズのフォーカスを至近距離にして前記複数の指標点を撮像してその画像からカメラパラメータを解析するものであるカメラの校正方法。
7. 請求項３に記載の透過型校正器具をワールド座標系において静止状態としてカメラの前方近傍位置に設置して観察画像と複数の指標点とを重ね撮りしてその画像からカメラパラメータを解析するものであるカメラの校正方法。
8. 請求項３に記載の透過型校正器具をワールド座標系において静止状態としてカメラの前方近傍位置に設置すると共に、カメラにはマークの特定色を通過又はカットできる切替フィルターを備え、被写体撮像の前処理として特定色を通過にして前記複数の指標点を撮像してその画像からカメラパラメータを解析するものであるカメラの校正方法。
9. ２台のカメラを相対位置が既知の関係で用い、一方のカメラのフォーカスを被写体に合わせ観察用に、他方のカメラのフォーカスを複数の指標点がカメラ前方近傍の空間に分布固定された透過型校正器具に合わせて校正用にしてカメラパラメータを解析するものであるカメラの校正方法。
10. 遠方の被写体と至近位置の複数の指標点が同一平面上でない関係で空間的に分布固定された透過型校正器具にフォーカスを調整した１台の多重フォーカスカメラを用い、一方で観察画像を、他方で校正画像を得てカメラパラメータを解析するものであるカメラの校正方法。
11. １台の多重フォーカスカメラはズーム機能を有するものであって、ズーム変化に伴うカメラパラメータを解析するものである請求項１０に記載のカメラの校正方法。
12. 請求項４に記載の透過型校正器具をワールド座標系において静止状態としてカメラの前方近傍位置に設置して励起ビーム光により指標を表示形態に操作してその画像からカメラパラメータを解析するものであるカメラの校正方法。
13. 異なる位置に配置された２台のカメラの前方近傍位置に、請求項１乃至４のいずれかに記載の透過型校正器具をワールド座標系においてそれぞれ既知の位置関係で配置し、該透過型校正器具の指標画像から前記２台のカメラパラメータを解析するものであるステレオカメラの校正方法。
14. 異なる位置に配置された２台のカメラの前方近傍位置に、請求項５に記載の複合型校正器具をワールド座標系においてそれぞれ静止状態で配置し、１光源から照射される４本以上の光ビームが透明板と交差する点の撮像画像と前記複合型校正器具における他の方式の透過型校正器具の指標画像から前記２台のカメラパラメータを解析するものであるステレオカメラの校正方法。
15. 異なる位置に配置された複数台のカメラの前方近傍位置に、請求項５に記載の複合型校正器具をワールド座標系においてそれぞれ静止状態であると共に、いずれの透明板についても１光源から照射される４本以上の光ビームが少なくとも他の１枚の透明板と交差するように組合せて配置し、前記交差する点の撮像画像と前記複合型校正器具における他の方式の透過型校正器具の指標画像から前記組み合わされたカメラパラメータを解析するものである多眼ステレオカメラの校正方法。