JP6615486B2 - カメラキャリブレーション装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、２台以上のカメラを用いて三次元計測する際に適用されるカメラキャリブレーション技術に関する。

作業エリアに設置した２台以上のカメラで撮影した被写体の二次元画像から、三角測量の原理に基づいて、この被写体の奥行情報を含む三次元像を得ることができる。
この三次元像の奥行情報を高精度化するためには、カメラの焦点距離、歪み係数、光軸中心等の内部パラメータと、カメラの位置、姿勢等の外部パラメータと、で規定されるカメラパラメータを、最適に設定する必要がある。

このような最適のカメラパラメータを設定するために、被写体の撮影に先立って、作業エリアにおけるカメラキャリブレーションが実施される。
従来のカメラキャリブレーションは、被写体に代えて、姿勢を変化させた参照物体を撮影し、各撮影画像における参照物体の特徴点の座標位置を割り出して、カメラパラメータを算出していた(非特許文献１参照)。

Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.

カメラパラメータは、複数のカメラが示す姿勢の設定状態に対し、固有に決定される。
したがって、作業エリアの撮影範囲を変更しようとして、カメラに対し、パン（左右振り）、チルト（上下振り）、ズームの制御を行うと、最適なカメラパラメータが変化するため、カメラキャリブレーションを再度行う必要がある。
このために、上記従来手法に基づくカメラキャリブレーションを再実施する場合、被写体は作業を中断する必要があり、作業効率が低下する課題がある。

本発明の実施形態はこのような事情を考慮してなされたもので、カメラキャリブレーションを再実施する場合、被写体の作業を中断せずに実施することができるカメラキャリブレーション技術を提供することを目的とする。

本発明の実施形態にかかるカメラキャリブレーション装置において、複数の面から構成される三次元的な立体形状を有する参照物体の形状をデジタル情報化した参照像を登録する登録部と、複数のカメラのうち少なくとも一つのカメラの設定状態がパン・チルト・ズームのうちいずれかの操作により変更したことを検知する検知部と、複数のカメラの各々が撮影した前記参照物体及び被写体が共に写っている二次元画像を取得するデータ取得部と、前記設定状態の変更を検知した場合、前記二次元画像に写っている前記参照物体を前記参照像に基づいて識別する識別部と、識別された前記参照物体の前記二次元画像における位置情報を導出する導出部と、前記変更後の設定状態で導出された各々の前記位置情報に基づいてカメラパラメータを算出する算出部と、前記変更前の設定状態で算出されたカメラパラメータを、前記変更後の設定状態で算出されたカメラパラメータに、更新する更新部と、更新後の前記カメラパラメータに基づいて、前記二次元画像に写っている被写体の三次元像を生成する生成部と、を備え、前記カメラパラメータは、前記カメラの焦点距離、前記二次元画像の光軸中心位置及びカメラレンズ歪み係数を含む内部パラメータとカメラ間の位置・姿勢関係を表す外部パラメータとから構成される。

本発明の実施形態により、カメラキャリブレーションを再実施する場合、被写体の作業を中断せずに実施することができるカメラキャリブレーション技術が提供される。

本発明の第１実施形態に係るカメラキャリブレーション装置を示すブロック図。 参照物体を異なる方向から撮影した複数の参照画像を示す図。 カメラパラメータを構成する内部パラメータ及び外部パラメータを示す行列式。 本発明の第１実施形態に係るカメラキャリブレーション方法又はカメラキャリブレーションプログラムのアルゴリズムを示すフローチャート。 本発明の第２実施形態に係るカメラキャリブレーション装置の識別部の動作を説明する図。 本発明の第３実施形態に係るカメラキャリブレーション装置の動作を説明するフローチャート。

（第１実施形態）
以下、本発明の実施形態を添付図面に基づいて説明する。
図１に示すように、カメラキャリブレーション装置１０は、参照物体２１の形状をデジタル情報化した参照像２６（図２）を登録する登録部１１と、複数のカメラ２２（２２ａ，２２ｂ）のうち少なくとも一つのカメラ２２の設定状態がパン・チルト・ズームのうちいずれかの操作により変更したことを検知する検知部１２と、複数のカメラ２２（２２ａ，２２ｂ）の各々が撮影した参照物体２１及び被写体２３（２３ｘ，２３ｙ）が共に写っている二次元画像２５（２５ａ，２５ｂ）を取得するデータ取得部１３と、カメラ２２の設定状態の変更を検知した場合、二次元画像２５に写っている参照物体２１を参照像２６（図２）に基づいて識別する識別部１４と、識別された参照物体２１の二次元画像２５における位置情報２７を導出する導出部１５と、変更後の設定状態で導出された各々の位置情報２７に基づいてカメラパラメータ２８を算出する算出部１６と、変更前の設定状態で算出されたカメラパラメータを変更後の設定状態で算出されたカメラパラメータ２８に更新する更新部１８と、更新後のカメラパラメータ２８に基づいて、二次元画像２５に写っている被写体２３（２３ｘ，２３ｙ）の三次元像を生成する生成部１９と、を備えている。

図１に示すように、撮影スタジオ２０には、二つのカメラ２２（２２ａ，２２ｂ）から成るステレオカメラが設置されている。なお、この撮影スタジオ２０に設置されるカメラ２２の数は、二つに限定されるものではなく、三以上である場合も含まれる。
各々のカメラ２２（２２ａ，２２ｂ）は、図示略の回転雲台やステージなどに設置され、パン（左右振り）及びチルト（上下振り）の制御により、向きを変更することができる。さらに、ズーム制御により、二次元画像２５を拡大、縮小することができる。

これらカメラ２２のパン・チルト・ズーム制御は、被写体２３（２３ｘ，２３ｙ）及び参照物体２１が全て二次元画像２５ａ，２５ｂの各々に写り込むように、オペレータが端末（図示略）を操作して実行される。
なお二次元画像２５（２５ａ，２５ｂ）に写り込む被写体２３と参照物体２１とが互いに重なり合わないように、撮像空間２４内における参照物体２１の配置位置が調整されている必要がある。

カメラキャリブレーション装置１０は、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、又はＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置３３と、マウスやキーボードなどの入力装置（図示略）と、通信Ｉ／Ｆとを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
カメラキャリブレーション装置１０は、撮影スタジオ２０の撮像空間２４の外側に配置されている。

またカメラキャリブレーション装置１０で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。

また、カメラキャリブレーション装置１０で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしてもよい。
また、装置１０は、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワーク又は専用線で相互に接続し、組み合わせて構成することもできる。

データ取得部１３は、複数のカメラ２２（２２ａ，２２ｂ）の各々が撮影した二次元画像２５（２５ａ，２５ｂ）を取得する。
この際、カメラ２２（２２ａ，２２ｂ）のパン・チルト・ズームの制御は、二次元画像２５に参照物体２１及び被写体２３（２３ｘ，２３ｙ）が共に写るように、所定の設定状態に固定されている。

登録部１１は、図２に示すように、参照像２６として、参照物体２１を異なる方向から撮影した複数の参照画像２６ａ，２６ｂ…２６ｈを登録している。
参照物体２１は、六角柱の形状を有し、六角形の上面を構成する六つの正三角形と側面とが、隣接するもの同士で色が互い違いとなるよう黒と白に色分けされている。

なお、参照物体２１の形状は三次元的な立体形状であれば特に限定はなく、また配色も特に限定されるものではない。
また、参照物体２１の個数も一つであることを例示しているが、複数を配置してもよい。この場合、複数の相対位置関係を表わした参照像２６を登録しておく必要がある。

検知部１２は、少なくとも一つのカメラ２２においてパン・チルト・ズームのうちいずれかの操作がなされ設定状態が変更したことを検知する。
このカメラ２２の設定状態が変更されたということは、外部パラメータ又は内部パラメータが変更されたことになるために、これらを改めて導出する必要がある。

設定状態の変更を検知した場合、識別部１４は、参照像２６（参照画像２６ａ…）に基づいて、二次元画像２５に写っている参照物体２１を識別する。
識別部１４は、所得した二次元画像２５（２５ａ，２５ｂ）と登録部１１に登録されている参照画像２６ａ，２６ｂ…２６ｈとのマッチングを行なう。

このマッチングは、二次元画像２５（２５ａ，２５ｂ）に写り込んでいる参照物体２１の特徴量を算定する。この特徴量は、参照物体２１に対するカメラの位置に依存して、二次元画像２５における参照物体２１の見え方が相違するために、異なる値を示す。
さまざまな視点で撮影した参照画像２６ａ，２６ｂ…２６ｈも同様に特徴量を算定しておく。

そして、二次元画像２５から算定された特徴量と参照画像２６ａ，２６ｂ…２６ｈから算定された特徴量とを比較し、もっとも類似度の高い位置が、参照物体２１の位置として識別される。
この他にもマッチングは、二次元画像２５をラスタスキャンし、同じ位置の画素の輝度値の差の絶対値の総和（ＳＡＤ：Sum of Absolute Difference）や同じ位置の画素の輝度値の差の二乗和（ＳＳＤ：Sum of Squared Difference）を求め、最小値をとる誤差を評価することで、写り込んでいる参照物体２１を識別することができる。
さらには、画像の輝度分布や輝度勾配に基づく特徴量（例えば、輝度勾配分布やＨＯＧ特徴量（Histograms of Oriented Gradients）など）に基づいて二次元画像２５に写り込んでいる参照物体２１を識別することができる。

導出部１５では、二次元画像２５における参照物体２１の各頂点の位置情報２７を導出する。
算出部１６は、変更後のカメラ２２（２２ａ，２２ｂ）の設定状態で導出された各々の位置情報２７に基づいて、カメラパラメータ２８を算出する。
図３に示すように、カメラパラメータは、内部パラメータ（内部パラメータ行列Ａ、カメラレンズ歪み係数）とカメラ間の位置・姿勢関係を表す外部パラメータ行列ＲＴとから構成される。

内部パラメータ行列Ａにおけるｆｘ、ｆｙはそれぞれｘ方向、ｙ方向に対するカメラの焦点距離を表し、ｃｘ、ｃｙは撮影される画像での光軸中心位置を表わしている。また、カメラレンズ歪み係数のうち、ｋ1、ｋ2、ｋ3、ｋ4、ｋ5、ｋ6はそれぞれ半径方向の歪みを表わし、p1、p2は円周方向の歪み係数を表している。
外部パラメータ行列ＲＴにおけるｒは三次元回転行列を表わし、ｔは並進ベクトルを表わしている。

算出部１６では、例えばＴｓａｉのアルゴリズムを用い、位置情報２７から、三次元像を生成するのに必要なカメラ間の相対的な位置・姿勢の関係を示すカメラパラメータを算出する。
さらに算出部１６は、参照物体２１の各頂点間の寸法が既知であるために、各頂点の位置情報２７から、カメラ２２のズーム機能に係るパラメータを導出することができる。
つまり、ズーム制御を行うと、二次元画像２５に占める参照物体２１のサイズが変化する性質を利用している。

新たに算出されたカメラパラメータは更新部１８において更新され、この更新後のカメラパラメータに基づいて、生成部１９は二次元画像２５に写っている被写体２３（２３ｘ，２３ｙ）の三次元像を生成する。
これにより、カメラ２２のパン・チルト・ズームの設定状態を変更した場合、カメラキャリブレーションが付随して実行され、カメラパラメータが自動更新されるために、作業を中断することなく、被写体２３の三次元計測を継続することができる。

図４のフローチャートに基づいて第１実施形態に係るカメラキャリブレーション方法又はカメラキャリブレーションプログラムを説明する（適宜、図１参照）。
まず、入力手段（図示略）で入力作業することにより、参照物体２１の形状をデジタル情報化した参照像２６（図２）を登録する（Ｓ１１）。またこれと前後して、撮影スタジオ２０の撮像空間２４内に参照物体２１を配置する（Ｓ１２）。

各々のカメラ２２（２２ａ，２２ｂ）に対し、被写体２３（２３ｘ，２３ｙ）及び参照物体２１が全て写り込むように、パン・チルト・ズームの設定を行う（Ｓ１３）。
そして、カメラ撮影を開始して（Ｓ１４）、二次元画像２５（２５ａ，２５ｂ）のデータを取得する（Ｓ１５）。
初期状態では、カメラパラメータ２８がまだ存在していないので（Ｓ１６ Ｎｏ）、取得した二次元画像２５に写っている参照物体２１を参照像２６に基づいて識別し、その位置情報を導出する（Ｓ１８）。

そして、各々のカメラ２２（２２ａ，２２ｂ）の二次元画像２５（２５ａ，２５ｂ）から導出された位置情報に基づいてカメラパラメータ２８が算出される（Ｓ１９）。このカメラパラメータ２８は、この初期状態におけるカメラ２２の設定状態に対応するものとして更新部１８に保存される。
そして、この更新部１８から取得したカメラパラメータ２８に基づいて（Ｓ２０）、二次元画像２５（２５ａ，２５ｂ）に写っている被写体２３の三次元像を生成し、表示装置３３に表示する（Ｓ２１，Ｓ２２ Ｎｏ）。

そして、次回からはカメラパラメータ２８が存在しているために（Ｓ１６ Ｙｅｓ）、カメラ設定の変更が無い限り（Ｓ１７ Ｎｏ）、撮影が終了するまで（Ｓ２２ Ｙｅｓ）、（Ｓ１４）→（Ｓ１５）→（Ｓ２０）→（Ｓ２１）のフローを繰り返す。
一方、動いている被写体２３が二次元画像２５（２５ａ，２５ｂ）からフレームアウト等したために、複数のうち少なくとも一つのカメラ２２のパン・チルト・ズームの設定を変更した場合は（Ｓ１７ Ｙｅｓ）、カメラパラメータ２８が再度算出され更新される（Ｓ１８，Ｓ１９）。

なお、カメラパラメータ２８を更新する場合、被写体２３が被らないように参照物体２１の配置を変更することができる。
そして、この更新されたカメラパラメータ２８を取得して（Ｓ２０）、二次元画像２５（２５ａ，２５ｂ）に写っている被写体２３の三次元像を生成し、表示装置３３に表示する（Ｓ２１，Ｓ２２ Ｎｏ）。
そして、以上のフローを撮影が終了するまで繰り返す（Ｓ２２ Ｎｏ，ＥＮＤ）

（第２実施形態）
第２実施形態におけるカメラキャリブレーション装置は、第１実施形態における参照像２６が複数の参照画像（図２）から構成されているのに対し、参照像２６が参照物体２１の三次元モデル（図示略）であることとした。
なお、第２実施形態におけるカメラキャリブレーション装置の構成及び処理のフローは、第１実施形態と同様であるため、以下において説明しない部分については、図１、図４に基づいてすでにした説明が援用される。

図５及び図１に基づいて、第２実施形態における識別部４１の動作を説明する。
識別部１４（図１）は、取得した二次元画像２５から画像特徴量として輝度勾配情報等を算出し、画像の特徴点やエッジ４１を抽出する。
登録部１１には、参照物体２１の三次元形状を表現した三次元モデル（例えば、３Ｄ−ＣＡＤモデルなど）が登録されている。
二次元画像２５から抽出されたエッジ４１等に対し、登録されている三次元モデルの投影像が重なる位置をサーチし、二次元画像２５における参照物体２１の位置情報２７を導出する。

この位置情報２７の導出は、エッジを合わせる場合は、二次元画像２５から抽出されたエッジ４１と三次元モデルのエッジ４２との傾き誤差４３及びエッジ間距離４４を算出し、これらが最少になるようにニュートン法などの収束演算を用いて位置合わせすることにより実行される。
エッジ間距離４４は、例えば図５に示すように、片方のエッジ端からもう一方のエッジに垂線を下ろしたときの距離や、エッジ端からもう一方のエッジ端までの距離として算出することができる。
エッジ間の傾きの誤差４３は、エッジ同士４１，４２のなす角として求めることができる。

また特徴点を合わせる場合は、対応する特徴点同士の距離の総和が最小となるように、ニュートン法などの収束演算を用いて位置合わせすることにより実行される。
また、上述の位置合わせ処理は、一つの方法のみを用いて行うこともできるし、複数を組み合わせて行うことも可能である。

第２実施形態によれば、撮像空間２４における被写体２３及び参照物体２１の配置状態によって、参照物体２１の一部が隠れていた場合でも、二次元画像２５に写っている参照物体２１の識別が可能となる。
さらに、内部パラメータとして算出されているレンズ歪みを用いて三次元モデルを歪ませて二次元画像２５に投影することにより、レンズ歪みを考慮した位置合わせを行うことができる。

（第３実施形態）
第３実施形態におけるカメラキャリブレーション装置は、二次元画像２５に写っている背景にも基づいてカメラパラメータ２８を算出することとした。
図６のフローチャートに基づいて第３実施形態の説明を行う。
あらかじめカメラキャリブレーションがなされている状態で、図６左側の処理フロー（Ｓ３１）〜（Ｓ３４）に沿って背景領域の特徴点の３次元位置を抽出しておき、図６右側の処理フロー（Ｓ４１）〜（Ｓ４５）に沿ってカメラキャリブレーションを行う。

第１実施形態又は第２実施形態により、カメラキャリブレーションが行われている状態で、図６に示す左側の処理フロー（Ｓ３１）〜（Ｓ３４）によって、参照物体２１以外の背景領域から特徴点を抽出して、その３次元位置を算出する。
背景領域に含まれる特徴点を複数抽出し（Ｓ３２）、ステレオカメラの三角測量の原理により、その３次元位置を算出する（Ｓ３３）。そして、算出した各特徴点の３次元位置情報を、記憶装置に保存する（Ｓ３４）。

カメラキャリブレーションは図６右側の処理フロー（Ｓ４１）〜（Ｓ４５）にそって行われる。
背景領域特徴点抽出処理により、記憶しておいた特徴点位置と同じ部分から特徴点を抽出する（Ｓ４２）。これは、新たに画像から抽出される特徴点と、記憶しておいた特徴点のマッチングを行い、同一の対象物体から抽出される特徴点を特定してもよいし、背景領域の特徴点をトラッキングするようにしておいてもよい。

特徴点のマッチングを行う場合は、特徴点周辺の画像特徴量情報を合わせて記憶装置に保存しておき、現在の二次元画像２５から抽出された特徴点周辺の画像特徴量との類似度を求めることで、マッチングを実現することができる。
また、特徴点のトラッキングする場合は、Ｌｕｃａｓ−Ｋａｎａｄｅ法などの特徴点トラッキング処理を用いることで実現できる。
次に、記憶装置に保存していた各特徴点の３次元位置情報を読み込む（Ｓ４３）。
次に、現在の二次元画像２５上での特徴点の位置情報と、保存していた特徴点の３次元位置情報とを用いて、カメラキャリブレーションを実行し（Ｓ４４）、カメラパラメータを記憶する（Ｓ４５）。

第３実施形態の効果としては、参照物体がカメラ画像から完全にフレームアウトした場合でも、背景領域中の特徴点の３次元位置情報を求めておくことで、カメラキャリブレーションを正確に実施することが可能となる。

以上述べた少なくともひとつの実施形態のカメラキャリブレーション装置によれば、パン・チルト・ズームの操作によりカメラの設定状態が変更されても、被写体の作業を中断させずにカメラキャリブレーションを実施することが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…カメラキャリブレーション装置、１１…登録部、１２…検知部、１３…データ取得部、１４…識別部、１５…導出部、１６…算出部、１８…更新部、１９…生成部、２０…撮影スタジオ、２１…参照物体、２２（２２ａ，２２ｂ）…カメラ、２３（２３ｘ，２３ｙ）…被写体、２４…撮像空間、２５（２５ａ，２５ｂ）…二次元画像、２６…参照像、２６ａ，２６ｂ，２６ｃ，２６ｄ，２６ｅ，２６ｆ，２６ｇ，２６ｈ…参照画像、２７…位置情報、２８…カメラパラメータ、３３…表示装置。

Claims (7)

1. 複数の面から構成される三次元的な立体形状を有する参照物体の形状をデジタル情報化した参照像を登録する登録部と、
   複数のカメラのうち少なくとも一つのカメラの設定状態がパン・チルト・ズームのうちいずれかの操作により変更したことを検知する検知部と、
   複数のカメラの各々が撮影した前記参照物体及び被写体が共に写っている二次元画像を取得するデータ取得部と、
   前記設定状態の変更を検知した場合、前記二次元画像に写っている前記参照物体を前記参照像に基づいて識別する識別部と、
   識別された前記参照物体の前記二次元画像における位置情報を導出する導出部と、
   前記変更後の設定状態で導出された各々の前記位置情報に基づいてカメラパラメータを算出する算出部と、
   前記変更前の設定状態で算出されたカメラパラメータを、前記変更後の設定状態で算出されたカメラパラメータに、更新する更新部と、
   更新後の前記カメラパラメータに基づいて、前記二次元画像に写っている被写体の三次元像を生成する生成部と、を備え、
   前記カメラパラメータは、前記カメラの焦点距離、前記二次元画像の光軸中心位置及びカメラレンズ歪み係数を含む内部パラメータとカメラ間の位置・姿勢関係を表す外部パラメータとから構成されることを特徴とするカメラキャリブレーション装置。
2. 請求項１に記載のカメラキャリブレーション装置において、
   前記参照像は、前記参照物体を異なる方向から撮影した複数の参照画像から構成されていることを特徴とするカメラキャリブレーション装置。
3. 請求項１に記載のカメラキャリブレーション装置において、
   前記参照像は、前記参照物体の三次元モデルであることを特徴とするカメラキャリブレーション装置。
4. 請求項１から請求項３のいずれか１項に記載のカメラキャリブレーション装置において、
   前記識別部は、前記二次元画像に写っている前記参照物体の輝度勾配にも基づいて前記識別を実行することを特徴とするカメラキャリブレーション装置。
5. 請求項１から請求項４のいずれか１項に記載のカメラキャリブレーション装置において、
   前記算出部は、前記二次元画像に写っている背景にも基づいて前記カメラパラメータを算出することを特徴とするカメラキャリブレーション装置。
6. 複数の面から構成される三次元的な立体形状を有する参照物体の形状をデジタル情報化した参照像を登録するステップと、
   複数のカメラのうち少なくとも一つのカメラの設定状態がパン・チルト・ズームのうちいずれかの操作により変更したことを検知するステップと、
   複数のカメラの各々が撮影した前記参照物体及び被写体が共に写っている二次元画像を取得するステップと、
   前記設定状態の変更を検知した場合、前記二次元画像に写っている前記参照物体を前記参照像に基づいて識別するステップと、
   識別された前記参照物体の前記二次元画像における位置情報を導出するステップと、
   前記変更後の設定状態で導出された各々の前記位置情報に基づいてカメラパラメータを算出するステップと、
   前記変更前の設定状態で算出されたカメラパラメータを、前記変更後の設定状態で算出されたカメラパラメータに、更新するステップと、
   更新後の前記カメラパラメータに基づいて、前記二次元画像に写っている被写体の三次元像を生成するステップと、を含み、
   前記カメラパラメータは、前記カメラの焦点距離、前記二次元画像の光軸中心位置及びカメラレンズ歪み係数を含む内部パラメータとカメラ間の位置・姿勢関係を表す外部パラメータとから構成されることを特徴とするカメラキャリブレーション方法。
7. コンピュータに、
   複数の面から構成される三次元的な立体形状を有する参照物体の形状をデジタル情報化した参照像を登録するステップ、
   複数のカメラのうち少なくとも一つのカメラの設定状態がパン・チルト・ズームのうちいずれかの操作により変更したことを検知するステップ、
   複数のカメラの各々が撮影した前記参照物体及び被写体が共に写っている二次元画像を取得するステップ、
   前記設定状態の変更を検知した場合、前記二次元画像に写っている前記参照物体を前記参照像に基づいて識別するステップ、
   識別された前記参照物体の前記二次元画像における位置情報を導出するステップ、
   前記変更後の設定状態で導出された各々の前記位置情報に基づいてカメラパラメータを算出するステップ、
   前記変更前の設定状態で算出されたカメラパラメータを、前記変更後の設定状態で算出されたカメラパラメータに、更新するステップ、
   更新後の前記カメラパラメータに基づいて、前記二次元画像に写っている被写体の三次元像を生成するステップ、を実行させ、
   前記カメラパラメータは、前記カメラの焦点距離、前記二次元画像の光軸中心位置及びカメラレンズ歪み係数を含む内部パラメータとカメラ間の位置・姿勢関係を表す外部パラメータとから構成されることを特徴とするカメラキャリブレーションプログラム。

Images