JP7218435B2

JP7218435B2 - キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法

Info

Publication number: JP7218435B2
Application number: JP2021520032A
Authority: JP
Inventors: 佳宏明官
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2023-02-06
Anticipated expiration: 2039-05-23
Also published as: JPWO2020235110A1; US20220148225A1; CN113841384A; CN113841384B; WO2020235110A1; US11881001B2

Description

本発明は、撮像装置のキャリブレーションを実現する装置、キャリブレーションに用いるチャート、およびキャリブレーション方法に関する。

撮影画像を表示に用いたり解析により所定の情報を得たりする技術は、電子ゲームなどのコンテンツ、防犯カメラ、車載カメラ、ロボット制御などに広く導入されている。それらのシステムにおける処理精度を保障するため、撮像装置の内部パラメータや外部パラメータ等、装置固有の情報を事前に取得するキャリブレーション処理が行なわれる。内部パラメータは、撮影画像における画素の位置座標と、光学中心を原点とし長さを単位とするカメラ座標系における位置座標との関係を規定し、歪み補正係数、焦点距離、原点の相対位置、せん断係数、スケールファクタによって定まるカメラ光学系の特性を表す。

ここで歪み補正係数は、レンズによる半径歪みや円周方向の歪みを補正するための係数である。外部パラメータは、カメラ座標系とワールド座標系の関係を規定し、特にステレオカメラなど多眼カメラについて同時にキャリブレーションを行うことにより、それぞれが撮影した画像の傾きを合わせるなどの目的で用いられる。キャリブレーション技術としては、チェッカーパターンの平面チャートを複数の視点から撮影し、撮影画像上での特徴点の位置と、実空間でのチャートの平面における特徴点の位置とが正しい対応関係となるようにパラメータを最適化するZhangの手法が広く知られている（非特許文献１参照）。

欧州特許出願公開第０９９９５１８号明細書

Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report, MSR-TR-98-71, December 2, 1998.

非特許文献１に紹介される手法では、いくつかの位置や姿勢で撮像装置やチャートをセッティングしたうえ、撮影を繰り返す必要があり、作業負担が大きい。ある種の拘束条件を設ければ撮影作業の負担を軽減させることができるが、その拘束条件によって汎用性が損なわれることが考えられる。また簡易的なキャリブレーション手法ではZhangの手法のような精度が出にくい。近年では、全天周画像など広角の画像を得るために、光軸の向きが異なる複数のカメラを備えた撮像装置も普及しているが、カメラの数が増えるほどキャリブレーションに要する手間も増大する。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮像装置のキャリブレーションを、少ない工数で高精度に行うことのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様はキャリブレーション装置に関する。このキャリブレーション装置は、光軸の向きが異なる複数のカメラを備えた撮像装置のキャリブレーションを行うキャリブレーション装置であって、角度の異なる複数の平面を含むチャートを、複数のカメラのうち少なくとも２つのカメラにより異なる方向から撮影した画像のデータを取得する画像取得部と、画像のそれぞれから、チャートに表されたパターンの特徴点の像を検出し、当該特徴点の像の位置座標と、チャートにおける当該特徴点の位置座標とを対応づけた特徴点情報を生成する特徴点情報取得部と、特徴点情報に基づき、カメラ間の位置姿勢情報を含むパラメータを取得するキャリブレーション部と、を備えたことを特徴とする。

本発明の別の態様はキャリブレーション用のチャートに関する。このキャリブレーション用のチャートは、光軸の向きが異なる複数のカメラを備えた撮像装置のキャリブレーション用のチャートであって、所定角度をなす複数の平面からなり、当該複数の平面のいずれかは、複数のカメラのうち当該平面を同時に撮影する、隣り合うカメラの撮像面の角度に応じて、表されるパターンに射影変換が施された領域と施されていない領域を含むことを特徴とする。

本発明のさらに別の態様はキャリブレーション方法に関する。このキャリブレーション方法は、光軸の向きが異なる複数のカメラを備えた撮像装置のキャリブレーションを行うキャリブレーション装置が、角度の異なる複数の平面を含むチャートを、複数のカメラのうち少なくとも２つのカメラにより異なる方向から撮影した画像のデータを取得するステップと、画像のそれぞれから、チャートに表されたパターンの特徴点の像を検出し、当該特徴点の像の位置座標と、チャートにおける当該特徴点の位置座標とを対応づけた特徴点情報を生成するステップと、特徴点情報に基づき、カメラ間の位置姿勢情報を含むパラメータを取得するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮像装置のキャリブレーションを、少ない工数で高精度に行うことができる。

本実施の形態においてキャリブレーションの対象とする撮像装置を例示する図である。本実施の形態においてキャリブレーションの対象とする撮像装置の別の例を示す図である。本実施の形態のキャリブレーションシステムの構成を示す図である。本実施の形態における撮像装置のカメラとチャートの位置関係を説明するための図である。本実施の形態におけるチャートに表すチャートパターンについて説明するための図である。図５で示したチャートパターン生成する手法を説明するための図である図５で示したチャートパターン生成する手法を説明するための図である本実施の形態において、チャートパターンの特徴点に与えるインデックスを説明するための図である。本実施の形態におけるキャリブレーション装置の内部回路構成を示す図である。本実施の形態におけるキャリブレーション装置の機能ブロックの構成を示す図である。本実施の形態におけるキャリブレーション装置が、チャートの撮影画像に基づきキャリブレーションを行う処理手順を示すフローチャートである。図１１のＳ２４において特徴点情報取得部が特徴点情報を生成する処理手順を示すフローチャートである。本実施の形態において特徴点情報によって得られる情報の系統を説明するための図である。図１１のＳ２９においてキャリブレーション部が外部パラメータを取得する処理手順を示すフローチャートである。本実施の形態において撮像装置にステレオカメラを複数設けた場合のカメラとチャートの位置関係を説明するための図である。

図１は、本実施の形態においてキャリブレーションの対象とする撮像装置を例示している。上段の斜視図に示すように、撮像装置１２は複数のカメラ１３ａ、１３ｂ、１３ｃ、・・・の撮像面が側面に配置された円筒形状を有する。下段における水平方向の断面図に示すように、複数のカメラ１３ａ、１３ｂ、１３ｃ、・・・は、光軸が放射状になるように撮像装置１２の内部で固定されている。

カメラ１３ａ、１３ｂ、１３ｃ、・・・はそれぞれ、対象物を撮影する撮像デバイスと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像のデータを生成し出力する機構とを備える。撮像デバイスは例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサで構成する。このような構成の撮像装置１２によれば、水平方向に３６０°の画角で静止画や動画を撮影できる。

図２は、本実施の形態においてキャリブレーションの対象とする撮像装置の別の例を示している。（ａ）は、平行等位のステレオカメラを４つ組み合わせた撮像装置であり、同図ではその断面図を示している。ステレオカメラにより撮影された、既知の間隔を有する視点からのステレオペア画像を用いて被写体の位置を特定する技術は広く知られている。図示するように、複数のステレオカメラを、その光軸を放射状にして固定した撮像装置によれば、図１の撮像装置１２と同様、３６０°の広角画像を撮影できるとともに、被写体の位置も取得できる。

なお図１で示した構成においてカメラ１３ａ、１３ｂ、１３ｃ、・・・を赤外線センサとし、図示しない赤外線照射機構を設けることによっても同様の情報を得られる。照射した赤外線の反射を検出し、照射光と反射光の時間差や位相差に基づき被写体の位置を特定する技術は、ＴＯＦ（Time Of Flight）として知られている。（ｂ）は、正十二面体の各面に複数のカメラの撮像面を設けた撮像装置の斜視図を示している。このような構成の撮像装置によれば、水平方向、垂直方向の区別なく全天周の画像を得ることができる。

本実施の形態においてキャリブレーションの対象とする撮像装置は、図１、２で例示したように、光軸が平行でない複数のカメラを備える。この限りにおいて、カメラの数や配置、全体としての画角、平行等位のカメラが含まれるか否かは限定されない。以後、このような撮像装置を総称して「撮像装置１２」とする。撮像装置１２の各カメラによって撮影された複数方位の画像は、その画角に応じてつなぎ合わせることにより広角の画像となる。これをソース画像として表示に用いれば、任意の視点で画像を鑑賞できるコンテンツを実現できる。

例えばヘッドマウントディスプレイを装着したユーザの頭部の動きに対応する視野で当該ソース画像を表示すれば、画像世界への没入感を与えられる。そのような映像コンテンツを、ネットワークを介して配信することにより、世界中の様々な場所にいるような状況を手軽に作り出すこともできる。また移動ロボット、ドローン、車載カメラなどの移動体に撮像装置１２を搭載することにより、移動方向によらず全方位の画像を撮影することができる。

このとき、図２の（ａ）に示すように複数のステレオカメラを導入し、周囲に存在する被写体の位置を特定すれば、衝突を避けるような自律制御を行ったり、周囲の状況に係る情報を遠隔地に正確に伝えたりすることができる。被写体の位置や動きに応じて仮想オブジェクトを重畳させた撮影画像を表示することで、拡張現実や複合現実を実現してもよい。このように撮像装置１２の利用目的は限定されないが、いずれのケースにおいても、カメラパラメータを正確に取得しておくことが、処理結果の精度向上には重要な鍵となる。

例えば複数のカメラで撮影した画像をつなぎ合わせる場合、カメラ間の距離や光軸の向き、各カメラの焦点距離などが設計値から僅かにずれていているのみでも、つなぎ目が視認されてしまうことがある。またステレオカメラを用いた測距技術では、撮像面を基準としたローカルな座標系での被写体の位置が得られるが、得られた結果を１つの座標系に統合するには、複数のステレオカメラの間の相対的な位置や姿勢を正確に把握しておく必要がある。

一般的な単眼カメラやステレオカメラの場合、チャートパターンを複数の方向から撮影し、その画像を解析することによりカメラパラメータを取得することがなされる。一方、本実施の形態が想定する撮像装置１２の場合、各カメラの光軸の向きが異なることから、ステレオカメラで用いられる演算をそのまま適用することはできない。またカメラの数が増えるほど、撮影の手間が増えてしまう。そこで本実施の形態では、角度の異なる複数の平面を有するチャートを用い、複数のカメラによる同時撮影を、撮像装置１２の向きを変化させて繰り返すことにより、少ない工数で高精度にカメラパラメータを取得する。

図３は、本実施の形態のキャリブレーションシステムの構成を示す。このキャリブレーションシステムは、キャリブレーション対象の撮像装置１２、キャリブレーション用のチャート２００、撮像装置１２とチャート２００を所定の位置関係で保持する治具１４、および、チャート２００の撮影画像を用いてカメラのパラメータを取得するキャリブレーション装置１０を含む。なお図示する撮像装置１２は、右上の断面図に示すように、図１で示した円筒形の側面に撮像面を有する複数のカメラで構成されるが、上述のとおり撮像装置１２の形状は限定されない。

キャリブレーション装置１０は、撮像装置１２がキャリブレーション用のチャート２００を撮影した画像のデータを取得し、それに基づき所定の演算を行い、内部パラメータや外部パラメータを導出する。これらのパラメータは一般に知られたものである。当該パラメータを用いると、撮影画像における画素ｍ（ｕ，ｖ）とワールド座標系の位置Ｍ（Ｘ，Ｙ，Ｚ）との関係は次のように表される

ここでｓはスケールファクタ、Ａは内部パラメータ行列である。［Ｒ｜ｔ］は外部パラメータであり、ワールド座標系をカメラ座標系に変換するための回転行列Ｒと並進ベクトルｔからなる。内部パラメータ行列Ａは次のように表される。

ここでｆは焦点距離、ｋ_ｕ、ｋ_ｖは画像平面の横方向、縦方向のスケールファクタ、（ｕ_０，ｖ_０）は画像平面における光軸の位置座標を表す。なお上式においてはスキュー歪みを０としている。

さらにレンズによる半径歪みや円周方向の歪みを考慮した場合、撮影画像における光軸を中心とする位置座標（ｘ，ｙ）の点は、例えば次の近似式により位置座標（ｘ’，ｙ’）に変位する。
ｘ’＝（１＋ｋ_１ｒ^２＋ｋ_２ｒ^４）ｘ＋２ｐ_１ｘｙ＋ｐ_２（ｒ^２＋２ｘ^２）
ｙ’＝（１＋ｋ_１ｒ^２＋ｋ_２ｒ^４）ｙ＋ｐ_１（ｒ^２＋２ｙ^２）＋２ｐ_２ｘｙ
ここで
ｒ^２＝ｘ^２＋ｙ^２
である。またｋ１、ｋ２が半径歪みによるパラメータ、ｐ１、ｐ２が円周方向の歪みによるパラメータであり、これらを総称して歪み係数と呼ぶ。

キャリブレーション装置１０は、撮影画像における特徴点の像が、本来の３次元空間での位置を反映した位置に表れるように、歪み補正係数などを含む内部パラメータや外部パラメータを求める。以後、それらのパラメータを総称して「カメラパラメータ」と呼ぶことがある。カメラパラメータの導出処理の基本的なアルゴリズムは既存技術でよく、特に非特許文献１に記載されるZhangの手法を用いることができる。すなわち、撮影画像からチャート２００に表された特徴点の像を抽出し、その位置座標を求める。そして当該位置座標と３次元での特徴点の位置に基づき内部パラメータの初期値を求め、バンドル調整と呼ばれる非線形最適化処理により、内部パラメータおよび外部パラメータを最終的に決定する。

一方、本実施の形態では、キャリブレーション用のチャート２００を、それを撮影するカメラの少なくともいずれかの光軸に対し傾斜を持たせた複数の平面を有する立体構造とする。図示するチャート２００は、チャートパターンが表された２枚の平面の一辺同士を合わせ、当該辺を軸に角度θ（０＜θ＜１８０°）をなすようにして立てた状態としている。ただし後述する第１の視野と第２の視野が、隣り合うカメラで同時に得られれば、チャート２００を構成する平面の数は限定されない。

チャート２００において、撮像装置１２側の各平面に表すチャートパターンは、格子状に区切られてなる矩形のうち隣り合う矩形で白黒が逆転するようなチェッカーのパターンと、平面を識別するためのマーカーとを含む。この場合、特徴点は各矩形の頂点となる。ただしチャート２００に表すパターンはチェッカーパターンに限らず、既存の探索手法で検出が容易な形状や配置で特徴点が分布していればよい。例えば黒丸を縦横に配列させたサークルグリッドなどでもよい。

治具１４は、撮像装置１２とチャート２００が所定の姿勢かつ距離を有するように両者を保持するとともに、撮像装置１２の全てのカメラ１３ａ、１３ｂ、１３ｃ、・・・が順番に、所定の視野でチャート２００を撮影できるように撮像装置１２の向きを変化させる。図示する円筒形の撮像装置１２の場合、治具１４は円筒の中心部を支持し中心軸周りに撮像装置１２を回転させるアクチュエータを備える。これにより、各カメラはチャート２００に対し順次同様の姿勢をとることができ、同じ視野でチャート２００を撮影できる。

ただし治具１４の形状や動作は限定されず、撮像装置１２の形状やカメラの配置などに応じて最適化する。キャリブレーション装置１０は、治具１４に制御信号を送信することにより、各カメラの撮像面がチャート２００に対し所定の姿勢となるまで向きを変化させ、当該姿勢となったら一時停止するように制御する。またキャリブレーション装置１０は、一時停止のタイミングでチャート２００を撮影するよう、撮像装置１２に制御信号を送信する。これにより、各カメラが同様の視野で撮影したチャート２００の画像を順次取得する。

図４は、撮像装置１２のカメラとチャートの位置関係を説明するための図である。同図は撮像装置１２が備えるカメラのうち、３つのカメラ１３ａ、１３ｂ、１３ｃと、チャート２００を俯瞰した状態を示している。キャリブレーション装置１０は、チャート２００の２平面を視野に入れた撮影画像と、そのうちの一方の平面を視野に入れた撮影画像をキャリブレーションに用いる。図示する例では、前者は視野範囲１８ａを有するカメラ１３ａにより撮影され、後者は視野範囲１８ｂを有するカメラ１３ｂにより撮影される。

以後、前者の視野を「第１の視野」、後者の視野を「第２の視野」と呼ぶ。第１の視野に含まれる、チャート２００の２平面は、それを撮影するカメラ１３ａの光軸に対し傾斜を有する。第２の視野に含まれる１平面は、好適にはそれを撮影するカメラ１３ｂとおよそ正対させる。ただし当該１平面とカメラ１３ｂとの関係は特に限定されない。第１の視野で撮影された画像は、それを撮影したカメラの内部パラメータの取得に用いる。また、第２の視野で撮影された画像と、第１の視野で撮影された画像のうち第２の視野と共通の平面の像を表す領域は、それらを撮影した２つのカメラの外部パラメータの取得に用いる。

治具１４により、例えば矢印１６のように撮像装置１２を回転させると、次はカメラ１３ｂ、１３ｃがそれぞれ、第１の視野、第２の視野を有する位置に到達するため、これらのカメラにより次の画像を撮影する。このように、隣り合う２つのカメラが上記条件を満たす位置に到達する都度、撮像装置１２の回転を止めてチャート２００を撮影する処理を繰り返すと、やがては、全てのカメラによる、第１の視野および第２の視野の撮影画像が得られる。カメラ０～７の８つのカメラを備えた撮像装置１２を例にとると、次のような８回の撮影で全ての画像を取得できる。ここで「シーケンス番号」とは、撮影回の識別番号である。

上述のように、各シーケンスで撮影された第１の視野の画像を用いて、カメラ０～７の内部パラメータがそれぞれ求められる。また各シーケンスで撮影された第１の視野の画像と第２の視野の画像を用いて、隣り合うカメラ、すなわちカメラ０と１、１と２、２と３、・・・の外部パラメータが求められる。隣り合うカメラ間の位置や姿勢の関係が得られれば、あるカメラを基準として全てのカメラの位置や姿勢が得られることになる。なおカメラの数をｎとすると、少なくとも第１の視野でｎ回の撮影をすると同時に、第２の視野でｎ－１回の撮影をすれば、全てのカメラの内部パラメータとカメラ間の外部パラメータが得られる。

また上述のとおり、第１の視野と第２の視野の撮影画像が同時に得られる限り、チャート２００を構成する平面の数は限定されず、平面を多くするほど撮影回数を減らすことができる。また上述の第１の視野と第２の視野の条件は最低限必要な条件であり、チャート２００の別の面などがさらに写っていても構わない。場合によっては第１の視野に３平面が含まれ、そのうち１平面が隣のカメラの第２の視野に含まれるとともに、別の１平面が逆側の隣のカメラの第２の視野に含まれるような構成としてもよい。

図５は、チャート２００に表すチャートパターンについて説明するための図である。同図上段は、チャート２００の２つの面に表すチャートパターンを示している。中段にチャート２００と撮像装置１２の位置関係を示すように、第１の視野において撮影される平面２０２ａにはチャートパターン２１２ａを、第１の視野および第２の視野で共通に撮影される平面２０２ｂにはチャートパターン２１２ｂを表す。チャートパターン２１２ｂのうち領域２０４ａは第１の視野に含まれる領域である。

同図下段には、カメラ１３ａからの第１の視野、カメラ１３ｂからの第２の視野で観測されるチャートパターンの様子を示している。第１の視野２１４では、チャート２００の２つの平面２０２ａ、２０２ｂが同時に観測される。すなわち像２１８ａ、２１８ｂは、それぞれ平面２０２ａ、２０２ｂに対応する。これらの平面は、カメラ１３ａの撮像面に対し奥行き方向に範囲を有するため、チャートパターンをチェッカーパターンそのものにした場合、奥のパターンほどサイズが小さく見えることになる。この場合、特徴点であるマス目のコーナーの探索精度が位置に依存する。

そこで本実施の形態では図示するように、第１の視野２１４において見かけ上、特徴点の位置が縦横双方向に均一に表れるように、撮像面と平面の距離に応じて生じる射影変換と逆の射影変換を元のチェッカーパターンに施しておく。図示する例ではチャートパターン２１２ａにおいては、撮像面から最も離れる右端においてチェッカーパターンのマス目が最大となるようなパースがかけられている。またチャートパターン２１２ｂのうち第１の視野に入る領域２０４ａにおいては、撮像面から最も離れる左端においてチェッカーパターンのマス目が最大となるようなパースがかけられている。

カメラ１３ａの撮像面からの距離は、チャートパターンの横軸に対し線形に変化するため、後述するホモグラフィ行列により、一般的なチェッカーパターンから図示するようなチャートパターンを容易に生成できる。このようにすることで、実空間では異なる距離にありながら、縦横双方向に等しい大きさの図形が均等に並んだ画像が撮影される。これにより、特徴点の検出精度を均一化したうえで、一度の撮影によりカメラ１３ａのパラメータを取得できる。

なお単眼カメラやステレオカメラのキャリブレーションにおいて、ある角度をなす複数の平面のチャートを用いる技術については、本発明者が国際公開第２０１８／２３５１６３号に開示している。一方、本実施の形態ではチャート２００が備える複数の平面を利用して、光軸の向きが異なる２つのカメラ１３ａ、１３ｂが同時に、チャート２００を撮影できるようにしている。すなわちカメラ１３ｂの第２の視野２１６には、第１の視野と共通の平面２０２ｂが含まれる。

図示する例では、平面２０２ｂがカメラ１３ｂの撮像面とおよそ正対するように、チャート２００の２平面がなす角度を決定している。この場合、平面２０２ｂに表すチャートパターン２１２ｂのうち、第１の視野２１４に含まれない領域２０４ｂについては、チェッカーパターンをそのまま表す。これにより、第２の視野２１６の少なくとも一部において、縦横双方向に均一に並んだ特徴点を観測できる。平面２０２ｂとカメラ１３ｂを正対させない場合は、領域２０４ａと同様、領域２０４ｂにおいてもその距離によってチェッカーパターンに逆の射影変換を施してもよい。

なお、各視野における見かけ上の特徴点が均一に配列しているほど、その検出精度が均一化するが、そのような配列を厳密に作り出す趣旨ではない。すなわちカメラ１３ａ、１３ｂとチャート２００の各平面２０２ａ、２０２ｂの角度を厳密に規定したり、それに応じてチャートパターンを厳密に変換したりする必要はない。例えばカメラ１３ｂが撮影したチャートパターン２１２ｂの画像のうち、領域２０４ａの像は特徴点の配列が直交していないが、当該領域についても特徴点を検出し、カメラパラメータの導出に用いることができる。

図６、７は、図５で示したチャートパターン生成する手法を説明するための図である。図６は、チャート２００のうち平面２０２ａとカメラ１３ａを俯瞰した様子を模式的に示している。平面２０２ａにおいて、カメラ１３ａの撮像面から最も近い箇所ａまでの光軸方向の距離ｚ_ａと、最も遠い箇所ｂまでの光軸方向の距離ｚ_ｂは、チャート２００の形状と治具１４の設計において定まっている。

箇所ｂの見かけ上のスケールは箇所ａのｚ_ａ／ｚ_ｂ倍になるため、チャートパターンのサイズをその逆数倍にしておけば、ａ、ｂにおけるパターンは見かけ上、同じサイズとなる。なお図示する例は説明のために単純化しており、より厳密にはカメラ１３ａの位置と姿勢の関係、カメラの画角やレンズ歪み等を考慮して透視投影を行い、撮影画像に写るであろうパターンの形状を算出しながら調整することにより、より最適な変換パラメータが得られる。

図７は、変換前後のチャートパターンの仮想的な幾何形状を示している。図示するチャートパターン平面６０において、図６で示した箇所ａが左辺、箇所ｂが右辺に対応する。チャートパターンの高さをｈ、幅をｗとし、左上をパターン平面の原点とする。ある画像を、射影変換を用いて異なる平面上の画像に変換することを一般にホモグラフィと呼ぶ。変換パラメータであるホモグラフィ行列は、変換前後の４点の対応情報によって決定できる。

この例では、チャートパターンの４頂点の座標に着目する。チャートパターンは上述のとおり、チャート２００において撮像面から離れるほど大きい倍率で拡大し、撮像面から最も遠いｂにおいてｚ_ｂ／ｚ_ａ倍に拡大する必要がある。したがって変換前のチャートパターンのうち変換後のチャートパターンとして残るのは、辺ａから辺ｂに向けて高さが徐々に小さくなり、ｂにおいては高さがｈ・ｚ_ａ／ｚ_ｂとなる台形６２の部分となる。なおこの例は辺ｂの中点である点ｐに光軸がある場合を示しているが、光軸の位置によって台形の形状も異なる。そして台形６２を、元の長方形６４に変換するようなホモグラフィ行列を求めれば、画像全体に対し適切な変換を行える。

変換前の台形６２の４頂点の座標（ｘ_ｎ，ｙ_ｎ）（ｎ＝０，１，２，３）は、次のように表せる。
（ｘ_０，ｙ_０）＝（０，０）
（ｘ_１，ｙ_１）＝（ｗ，０．５＊ｈ＊（１－ｚ_ａ／ｚ_ｂ））
（ｘ_２，ｙ_２）＝（０，ｈ）
（ｘ_３，ｙ_３）＝（ｗ，０．５＊ｈ＊（１＋ｚ_ａ／ｚ_ｂ））

一方、変換後の長方形６４の４頂点の座標（ｘ’_ｎ，ｙ’_ｎ）（ｎ＝０，１，２，３）は、次のように表せる。
（ｘ’０，ｙ’０）＝（０，０）
（ｘ’１，ｙ’１）＝（ｗ，０）
（ｘ’２，ｙ’２）＝（０，ｈ）
（ｘ’３，ｙ’３）＝（ｗ，ｈ）

ホモグラフィ行列Ｈは、スケーリングファクタをｓとして次のように定義される。

図示するように変換前後の矩形の頂点座標を規定した場合、次の式が与えられる。

左辺左側の行列をＥ、右辺の行列をＦとすると、Ｅは正方行列のため、ホモグラフィ行列Ｈは次のように求められる。
Ｈ＝Ｅ^－１Ｆ
図５で示したように、チャート２００のうち平面２０２ａに表すチェッカーパターンを、ホモグラフィ行列Ｈで変換することにより、チャートパターン２１２ａを得る。また、平面２０２ｂのうち、第１の視野２１４に含まれる領域２０４ａのチェッカーパターンのみをホモグラフィ行列Ｈで変換することにより、チャートパターン２１２ｂを得る。

本実施の形態では上述のとおり、各カメラ１３ａ、１３ｂで撮影されたチャートパターンの像から特徴点を抽出し、その画像上での位置座標（ｕ，ｖ）と、チャート２００での位置座標（Ｘ，Ｙ，Ｚ）との対応関係を取得することにより、カメラの内部パラメータ行列Ａと外部パラメータＲ、ｔを求める。このため、チャートパターンの生成とともに、元のチャートパターンにおいて全特徴点に与えたインデックスを、チャート２００上の特徴点の位置座標に変換する射影変換パラメータを、チャート２００を構成する平面ごとに生成しておく。

チャート２００上の特徴点の位置座標とは、実物体としてのチャート上で本来与えられている位置座標という観点から、チャートの「３Ｄモデルの位置座標」と捉えることができる。ただしキャリブレーションに必要な情報として、チャート２００の各平面上の位置座標が判明していればすむため、実質的には２次元の位置座標でよい。この射影変換パラメータも、インデックスの座標系における位置座標を、変形後のチャートパターンにおける対応する特徴点の位置座標に変換するホモグラフィである。このような対応づけを行っておくことにより、キャリブレーション時には、実際に撮影された特徴点の像の位置座標と、３Ｄモデルの位置座標とを、インデックスを介して対応づけることができる。

図８は、チャートパターンの特徴点に与えるインデックスを説明するための図である。本実施の形態では、チャートパターン５０におけるマーカー５２の近傍を基点として、各特徴点を識別するインデックスを与えるとともに、インデックスをキーとして３Ｄモデルでの位置座標を特定できるようにする。図示する例では、マーカー５２から２つ上のマス目の左上の頂点を、インデックス（ｉ，ｊ）の座標系の原点としている。一方、画像平面での画素を単位とする位置座標（ｘ，ｙ）の系では、画像の左上を原点とする。

この例では画像の座標系での原点（ｘ，ｙ）＝（０，０）は、インデックス座標系では（ｉ，ｊ）＝（－７，－４）に対応している。逆にインデックス座標系の原点（ｉ，ｊ）＝（０，０）は、画像の座標系では（ｘ，ｙ）＝（７＊ｇｒｉｄＳｉｚｅ，４＊ｇｒｉｄＳｉｚｅ）の位置にある。ここでｇｒｉｄＳｉｚｅは、１つのマス目を構成する縦横の画素数であり、例えばｇｒｉｄＳｉｚｅ＝６４である。このときインデックス座標系の原点は、画像の座標系における（ｘ，ｙ）＝（４４８，２５６）の位置にある。図ではこの位置を（Ｃ_ｘ，Ｃ_ｙ）としている。

一般化すると、特徴点のインデックス（ｉ，ｊ）と画像平面における位置座標（ｘ，ｙ）には次の関係がある。
ｘ＝ｉ＊ｇｒｉｄＳｉｚｅ＋Ｃ_ｘ
ｙ＝ｊ＊ｇｒｉｄＳｉｚｅ＋Ｃ_ｙ
また変換前のチャートパターン５０における位置座標（ｘ，ｙ）から、変換後のチャートパターンにおける位置座標（ｘ’，ｙ’）へは、上述のホモグラフィ行列Ｈにより変換できる。

さらに、チャートの３Ｄモデルにおける長さを単位とする位置座標（ｘ”，ｙ”，ｚ”）は、画素サイズと実際の長さとの関係から、次のように求められる。
ｘ”＝ｘ’＊ｓｃａｌｅ
ｙ”＝ｙ’＊ｓｃａｌｅ
ｚ”＝０
ここでｓｃａｌｅは１画素領域の幅であり、長さの単位をミリとすると、例えば０．２５といった値である。

したがって、例えばチャートパターン５０の４頂点のインデックス（ｉ_ｎ，ｊ_ｎ）（ｎ＝０，１，２，３）と、それに対応するチャート２００の３Ｄモデルにおける位置座標のｘ成分、ｙ成分（ｘ”，ｙ”）を取得し、上述と同様にホモグラフィ行列Ｈの方程式を立てることにより、インデックスを３Ｄモデルの位置座標に変換するパラメータとして、ホモグラフィ行列を求めることができる。

図９は、キャリブレーション装置１０の内部回路構成を示している。キャリブレーション装置１０は、ＣＰＵ（Central Processing Unit）１２２、ＧＰＵ（Graphics Processing Unit)１２４、メインメモリ１２６を含む。ＣＰＵ１２２は、オペレーティングシステムやアプリケーションなどのプログラムに基づいて、装置内部の構成要素における処理や信号伝送を制御する。ＧＰＵ１２４は画像処理を行う。メインメモリ１２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

これらの各部は、バス１３０を介して相互に接続されている。バス１３０にはさらに入出力インターフェース１２８が接続されている。入出力インターフェース１２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部１３２、ハードディスクドライブや不揮発性メモリなどの記憶部１３４、撮像装置１２や治具１４へ制御信号を出力する出力部１３６、撮像装置１２や図示しない入力装置からデータを入力する入力部１３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部１４０が接続される。

図１０は、キャリブレーション装置１０の機能ブロックの構成を示している。図１０に示す各機能ブロックは、ハードウェア的には、図９で示したＣＰＵ１２２、ＧＰＵ１２４、メインメモリ１２６などで実現でき、ソフトウェア的にはハードディスクや記録媒体からメインメモリ１２６にロードされたコンピュータプログラムなどで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

キャリブレーション装置１０は、撮像装置１２が備えるカメラの方向を制御する撮影方向制御部３２、撮影画像のデータを取得する画像取得部３４、撮影画像における特徴点の位置座標と３Ｄモデルにおける対応する特徴点の位置座標とを対応づける特徴点情報取得部３６、それに用いる変換パラメータを格納する射影変換パラメータ記憶部４０、特徴点の対応情報を格納する特徴点情報記憶部４２、当該対応情報を用いてキャリブレーションを行うキャリブレーション部３８、およびキャリブレーションの結果として得られたカメラパラメータを格納するカメラパラメータ記憶部４４を備える。

撮影方向制御部２３は図９のＣＰＵ１２２、出力部１３６で実現され、撮像装置１２が備える複数のカメラのうち隣り合う２つのカメラにより順次、第１、第２の視野が得られるように、治具１４の動きを制御する。すなわち撮像装置１２の変位と停止を繰り返すことにより、例えば上表に規定される複数の状態を作り出す。治具１４が備えるアクチュエータの制御には、ロボットの操作などに用いられる一般的な技術を適用できる。

画像取得部３４は図９のＣＰＵ１２２、出力部１３６、入力部１３８で実現され、撮影方向制御部３２により撮像装置１２の隣り合うカメラが第１、第２の視野を得る都度、当該カメラにチャート２００を撮影させる制御信号を送信するとともに、その撮影画像のデータを取得する。射影変換パラメータ記憶部４０は図９のメインメモリ１２６で実現され、チャートパターンの生成と同時に生成される射影変換パラメータをあらかじめ格納する。

特徴点情報取得部３６は図９のＣＰＵ１２２、ＧＰＵ１２４などで実現され、撮影画像から特徴点とマーカーの像を検出し、マーカーによって識別される平面ごとに、検出した特徴点の像の位置座標と３Ｄモデルにおける特徴点の位置座標とを対応づける。この際、特徴点ごとにそのインデックスを特定し、射影変換パラメータ記憶部４０に格納された変換パラメータを用いてインデックスから３Ｄモデルの位置座標を特定する。これにより特徴点ごとに、撮影画像における位置座標とチャート２００の３Ｄモデルの位置座標とが対応づけられる。特徴点情報記憶部４２は図９のメインメモリ１２６で実現され、取得された特徴点の対応情報を格納する。

キャリブレーション部３８は図９のＣＰＵ１２２などで実現され、特徴点の対応情報を入力データとしてカメラパラメータを特定する。すなわち第１の視野の撮影画像を用いて、それを撮影したカメラの内部パラメータを取得する。この処理には既存のアルゴリズムを用いることができる。また第１、第２の視野の撮影画像を用いて、それらを撮影したカメラ間の外部パラメータを取得する。カメラパラメータ記憶部４４は図９のメインメモリ１２６で実現され、取得されたカメラパラメータを格納する。

あるいは当該パラメータを撮像装置１２に送信してもよい。撮像装置１２においてカメラパラメータを保持することにより、撮像装置１２内部で適切な補正を行える。または、撮像装置１２が撮影した画像を用いてゲームなどの情報処理を行う情報処理装置にカメラパラメータを送信してもよい。これにより、同時に撮影された複数の画像を適切に補正したうえでつなぎ合わせたり、被写体の位置情報をワールド座標系で表したりすることができる。

次に、これまで述べた構成によって実現できるキャリブレーション装置１０の動作について説明する。図１１は、本実施の形態におけるキャリブレーション装置１０が、チャート２００の撮影画像に基づきキャリブレーションを行う処理手順を示すフローチャートである。まず撮影方向制御部３２は、撮像装置１２が備えるカメラのうち隣り合う２つのカメラが第１、第２の視野を得るようにカメラを変位させる（Ｓ１６）。例えば上表のシーケンス番号「０」が得られるように、円筒形の撮像装置１２を回転させる。

次に画像取得部３４は、第１、第２の視野が得られているカメラにチャート２００を撮影させ、その画像データを取得する（Ｓ１８）。上表のシーケンス番号「０」～「７」のように、あらかじめ規定された状態における撮影が完了するまで（Ｓ２０のＮ）、Ｓ１６、Ｓ１８の処理を繰り返す。なお第１、第２の視野を得るカメラは、単眼カメラであってもよいし、多眼カメラであってもよい。例えばそれぞれをステレオカメラによって実現する場合、Ｓ１８においては２組のステレオカメラによる４つの撮影画像のデータが取得される。

また同じ状態で複数回の撮影を行ってもよい。このとき画像取得部３４は、複数回分の画像を加算することによりノイズ低減処理を実施できる。例えば１６フレーム分の画像を、対応する画素ごとに加算して平均値を取得し、当該平均値を画素値とする画像を生成する。全ての状態で撮影が完了したら（Ｓ２０のＹ）、特徴点情報取得部３６は、撮影画像から特徴点の像を抽出する（Ｓ２２）。チェッカーパターンのマス目の頂点を特徴点として検出する手法として様々なものが実用化されており、ここではそれらのいずれを採用してもよい。

例えばＨａｒｒｉｓ特徴量を用いた手法によれば、特徴量の値が所定値以上のものを、マス目の頂点（コーナー）として抽出する（C. Harris and M. Stephens, "A combined corner and edge detector", Proceedings of the 4th Alvey Vision Conference, 1988, pp. 147-151参照）。あるいは２つのエッジ輝度勾配を用い、サブピクセル精度で撮影画像における位置座標（ｕ，ｖ）を取得してもよい。この処理には、オープンソースの画像処理ソフトウェアライブラリとして代表的なＯｐｅｎＣＶのcv::FindCornerSubPix()関数などを利用できる。

さらに特徴点情報取得部３６は、チャートパターンに含まれるマーカーの像との位置関係に基づき各特徴点のインデックスを求め、射影変換パラメータを用いてチャート２００での位置座標を求める。これにより、特徴点の撮影画像上での位置座標とチャート２００の３Ｄモデルでの位置座標とを対応づけた特徴点情報を生成する（Ｓ２４）。この際、マーカーの図形によってチャート２００を構成する平面や領域を識別し、各平面に対応づけられた射影変換パラメータを、射影変換パラメータ記憶部３０から読み出して用いる。この処理を、取得した全ての撮影画像について繰り返す（Ｓ２６のＮ）。

全ての撮影画像について特徴点情報を生成できたら（Ｓ２６のＹ）、キャリブレーション部３８は、第１の視野の撮影画像から得られた特徴点情報を用いて、それを撮影した各カメラの内部パラメータを取得する（Ｓ２８）。撮像面に対する姿勢が異なる複数の平面の撮影画像を用いて、当該カメラの内部パラメータを取得する手法は、非特許文献１などに記載されている既存の技術を利用できる。

続いてキャリブレーション部３８は、第１の視野の撮影画像と、第２の視野の撮影画像から得られた特徴点情報を用いて、それらを撮影した２つのカメラの外部パラメータを取得する（Ｓ２９）。すなわち両者の相対的な回転行列と並進ベクトルを求める。Ｓ２８とＳ２９の処理を、全撮影状態で得られた画像について実施することにより、撮像装置１２を構成する全てのカメラの内部パラメータと、カメラ間の外部パラメータが求められる。キャリブレーション部３８は取得したパラメータを、カメラパラメータ記憶部４４に格納する。

図１２は、図１１のＳ２４において特徴点情報取得部３６が特徴点情報を生成する処理手順を示すフローチャートである。特徴点情報取得部３６はまず、撮影画像におけるマーカーの像を検出する（Ｓ３０）。この検出処理は、実世界でボード等に記したマーカーを検出し、それに対応する仮想オブジェクトを撮影画像中に描画するＡＲ（拡張現実）の技術と同様に行える。例えばＡｒＵｃｏＭａｒｋｅｒの技術を採用することができる（S. Garrido-Jurado et al. "Automatic generation and detection of highly reliable fiducial markers under occlusion" Pattern Recognition, Vol. 47, No. 6. 2014, June, pp. 2280-2292参照）

次に特徴点情報取得部３６は、検出したマーカーのうちの１つについて、画像上での歪みを表すパラメータを取得する（Ｓ３２）。具体的には、マーカーの像として本来表れるべき水平および垂直方向に辺を有する矩形の４頂点を、マーカーの実際の像の４頂点へ変換するホモグラフィ行列を取得する。

続いて、当該マーカーを基点として、その周囲のマス目の頂点を検出する（Ｓ３４）。このとき、当該マス目の像として本来表れるべき正方形の４頂点を、Ｓ３２で取得したホモグラフィ行列により変換することで、その付近で生じている歪みを考慮したうえで、４頂点のおよその位置を特定できる。そして変換後の位置座標の周囲（例えば０．５画素程度の範囲）で、有効に検出されている特徴点を探索する。検出された特徴点のインデックスはマーカーとの位置関係から明らかなため、結果としてこの処理は、撮影画像における特徴点の位置座標（ｕ，ｖ）とインデックスを対応づけていることになる。

次にそれらのインデックスから、３Ｄモデルの位置座標（ｘ”，ｙ”，ｚ”）（ただしｚ”＝０）を特定することで、特徴点の位置座標（ｕ，ｖ）と３Ｄモデルの位置座標（ｘ”，ｙ”，ｚ”）を対応づける（Ｓ３６）。位置座標の変換には、射影変換パラメータ記憶部４０に格納された、マーカーに対応する平面のホモグラフィ行列を用いる。次に、Ｓ３４で検出したマス目の歪みを表すパラメータを取得する（Ｓ３８）。具体的にはＳ３２と同様、マス目の像として本来表れるべき正方形の４頂点を、マス目の実際の像の４頂点へ変換するホモグラフィ行列を取得する。

次に当該マス目を基点として、その周囲のマス目の頂点を検出する（Ｓ４０）。このときもＳ３４と同様、マス目の像として本来表れるべき正方形の４頂点を、Ｓ３８で取得したホモグラフィ行列により変換することで、その付近で生じている歪みを考慮したうえで、マス目の頂点のおよその位置を特定できる。そして変換後の位置座標の周囲で、有効に検出されている特徴点を探索、検出することにより、その位置座標（ｕ，ｖ）とインデックスとを対応づける。

次にＳ３６と同様、それぞれのインデックス（ｉ，ｊ）をホモグラフィ行列により３Ｄモデルの位置座標（ｘ”，ｙ”，ｚ”）に変換し、撮影画像における特徴点の位置座標（ｕ，ｖ）と対応づけて格納する（Ｓ４２）。Ｓ３８からＳ４２の処理を、同じ平面に表された全てのマス目について繰り返す（Ｓ４４のＮ）。全マス目の頂点、すなわち特徴点の対応情報が生成されたら（Ｓ４４のＹ）、Ｓ３０で検出した別のマーカーに対応する平面あるいは領域に対し、Ｓ３２～Ｓ４４の処理を繰り返す（Ｓ４６のＮ）。このようにして、検出された全てのマーカー、ひいては全ての平面に対し特徴点情報を生成、格納できたら処理を終了する（Ｓ４６のＹ）。

この特徴点情報の生成手法のさらなる具体例は、上述した国際公開において開示されている。本実施の形態では、図５に示すように、チャート２００の一方の平面２０２ｂにおいて、特徴点が水平、垂直方向に並んでいる領域２０４ｂと、並んでいない領域２０４ａからなるチャートパターン２１２ｂが表される。これらを含む第２の視野での撮影画像についても同様に、それぞれの領域に表されたマーカーを基点として特徴点を探索していけば、全領域について特徴点情報を効率的に生成できる。

図１３は、特徴点情報によって得られる情報の系統を説明するための図である。これまで述べたように本実施の形態では、チャート２００の複数の平面（図では「平面Ａ」と「平面Ｂ」としている）を含む第１の視野の画像と、そのうちのいずれかの平面（図では「平面Ｂ」としている）を含む第２の視野の画像を同時に撮影する。第１の視野の画像から得られる特徴点情報は、（ａ）に示すように、平面Ａおよび平面Ｂの３Ｄモデルにおける位置座標と、カメラ０、１、２、・・・のそれぞれが撮影した画像上の位置座標との対応を示している。この情報を利用することにより、それぞれのカメラの内部パラメータを得ることができる。

一方、第２の視野の画像から得られる特徴点情報は、平面Ｂの３Ｄモデルにおける位置座標と、カメラ１、２、・・・、０のそれぞれが撮影した画像上の位置座標との対応を示している。ここで同時に撮影される第１の視野の画像からも、平面Ｂの３Ｄモデルにおける位置座標と、隣のカメラ０、１、２、・・・のそれぞれが撮影した画像上の位置座標との対応が得られている。したがって、それらから取得できる、平面Ｂに対する回転行列および並進ベクトルを統合すれば、（ｂ）に示すように、隣り合うカメラ「０，１」、「１，２」、「２，３」、・・・の相対的な回転行列および並進ベクトルが得られる。結果的には、１つのカメラを基準として、その他の全てのカメラの相対的な回転行列および並進ベクトルが得られることになる。

図１４は、図１１のＳ２９においてキャリブレーション部３８が外部パラメータを取得する処理手順を示すフローチャートである。キャリブレーション部３８はまず、特徴点情報記憶部４２から、第１、第２の視野に共通に含まれる平面（図１３における平面Ｂ）の３Ｄモデルに対応づけられた特徴点情報を読み出す（Ｓ５０）。次にキャリブレーション部３８は、特徴点情報を用いて、チャートの平面の座標系から各カメラの座標系への回転行列および並進ベクトルを求める（Ｓ５２）。この処理自体は、一般的なＰｎＰ（Perspective-n-Point）問題として実現でき、例えばＯｐｅｎＣＶのcv::solvePnP()関数を利用できる。

ここで内部パラメータは、図１１のＳ２８で得られた値を用いることができる。これにより、１つのカメラがチャート２００の一平面を２方向から撮影した状態における、回転行列Ｒ_１、Ｒ_２、並進ベクトルｔ_１、ｔ_２が、カメラ０、１、２、・・・に対して得られる。ここで添え字「１」、「２」はそれぞれ、第１の視野、第２の視野に対応する。次にキャリブレーション部３８は、隣り合うカメラ間の相対的な位置と姿勢の関係を取得する（Ｓ５４）。

カメラｎに対し得られた２つの回転行列Ｒ_１（ｎ）、Ｒ_２（ｎ）、２つの並進ベクトルｔ_１（ｎ）、ｔ_２（ｎ）を用いると、カメラｎからカメラｎ＋１への回転行列Ｒｎ、並進ベクトルＴｎは次にように求められる。
Ｒｎ＝Ｒ_２（ｎ＋１）＊（Ｒ_１（ｎ））^－１
ｔｎ＝Ｒ_２（ｎ＋１）＊（Ｒ_１（ｎ））^－１＊ｔ_１（ｎ）＋ｔ_２（ｎ＋１）
ここでカメラｎ＋１は、カメラｎが第１の視野の位置にあるとき第２の視野の位置となるカメラである。

このようにして、隣り合うカメラの相対的な回転行列、並進ベクトルが全てのカメラ間で得られれば、あるカメラを基準として、それ以外の全てのカメラの位置および姿勢の関係が得られることになる。これにより、それぞれのカメラが撮影した画像を適切に補正してつなぎ合わせ、境界が視認されることのない広角の画像を生成することができる。上述のとおり、この手法を複数のステレオカメラ、あるいは平行等位の多眼カメラに応用することができる。

図１５は、撮像装置１２にステレオカメラを複数設けた場合のカメラとチャートの位置関係を説明するための図である。同図の撮像装置１２は、カメラ「０」、「１」からなるステレオカメラ３００ａ、カメラ「２」、「３」からなるステレオカメラ３００ｂ、カメラ「４」、「５」からなるステレオカメラ３００ｃにより構成される。ただしステレオカメラの数はこれに限定されず、配置も様々でよい。３つのステレオカメラの場合、図示するようにカメラの向きを変化させ、次のような順序で３回の撮影を実施する。

この場合、キャリブレーション部３８はまず、各ステレオカメラが第１の視野で撮影した画像の特徴点情報から、各カメラの内部パラメータと、対となっているカメラとの関係を表す外部パラメータを取得する。チャートパターンを複数の方向から撮影し、それによってステレオカメラの外部パラメータを取得する手法はＯｐｅｎＣＶのcv::stereoCalibrate()関数などを用いることができる。

キャリブレーション部３８はさらに、隣り合う２つのステレオカメラがチャート２００の共通の平面を撮影した第１、第２の視野の画像の特徴点情報から、ステレオカメラ間の外部パラメータを取得する。すなわち上表のシーケンス番号「０」において第１の視野で撮影したカメラ０またはカメラ１と、第２の視野で撮影したカメラ２またはカメラ３の間の回転行列および並進ベクトルを取得する。またシーケンス番号「１」において第１の視野で撮影したカメラ２またはカメラ３と、第２の視野で撮影したカメラ４またはカメラ５の間の回転行列および並進ベクトルを取得する。

処理の手順は図１４を参照して説明したのと同様でよい。これにより、隣り合うステレオカメラ３００ａとステレオカメラ３００ｂ、ステレオカメラ３００ｂとステレオカメラ３００ｃの相対的な回転行列、並進ベクトルが得られるため、あるカメラを基準として、それ以外の全てのカメラの位置および姿勢の関係が得られることになる。各ステレオカメラの撮影画像によれば、そこに写る被写体の、撮像面に対する位置情報を取得できる。上述のとおりステレオカメラ間の位置および姿勢の相対的な関係が得られることにより、個々のステレオカメラにより得られたローカルな位置情報を統合し、１つの３次元座標系における広い範囲での位置情報を精度よく生成できる。

以上、述べた本実施の形態によれば、光軸の向きが異なる複数のカメラを備えた撮像装置のキャリブレーションにおいて、角度の異なる複数の平面からなるチャートを、当該複数のカメラのうち少なくとも２つのカメラで異なる方向から撮影する。このとき一方のカメラはチャートの２平面が入る第１の視野で、他方は当該２平面のうち一方が入る第２の視野で撮影することにより、前者のカメラの内部パラメータと、２つのカメラ間の外部パラメータが同時に得られる。

治具により撮像装置またはチャートの向きを変化させ、撮像装置が備える全てのカメラで第１の視野の画像を撮影しつつ、隣のカメラで第２の視野の画像を撮影することにより、少ない撮影回数で全てのカメラの内部パラメータとカメラ間の外部パラメータを取得できる。またチャートに表すパターンのうち、撮像面に対し傾斜の大きい第１の視野に入る領域のパターンは、撮影画像において直交かつ均等な特徴点の配列が得られるような形状とする。これにより特徴点の探索を容易かつ高精度に行える。

これらのことにより、光軸の方向が異なるカメラを備えた撮像装置であっても、内部パラメータと外部パラメータを少ない撮影回数で高精度に取得できる。結果として、個々のカメラで撮影した画像をつなぎ合わせて広角画像を生成したり、被写体の３次元情報を統合して１つの座標系に表したりすることも高精度に実現できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

以上のように本発明は、撮像装置のキャリブレーション装置、キャリブレーション用のチャート、それらを含むシステムなどに利用可能である。

１０キャリブレーション装置、１２撮像装置、１４治具、３２撮影方向制御部、３４画像取得部、３６特徴点情報取得部、３８キャリブレーション部、４０射影変換パラメータ記憶部、４２特徴点情報記憶部、４４カメラパラメータ記憶部、１２２ＣＰＵ、１２４ＧＰＵ、１２６メインメモリ、２００チャート。

Claims

光軸の向きが異なる複数のカメラを備えた撮像装置のキャリブレーションを行うキャリブレーション装置であって、
角度の異なる複数の平面を含むチャートを、前記複数のカメラのうち少なくとも２つのカメラにより異なる方向から撮影した画像のデータを取得する画像取得部と、
前記画像のそれぞれから、前記チャートに表されたパターンの特徴点の像を検出し、当該特徴点の像の位置座標と、前記チャートにおける当該特徴点の位置座標とを対応づけた特徴点情報を生成する特徴点情報取得部と、
前記特徴点情報に基づき、カメラ間の位置姿勢情報を含むパラメータを取得するキャリブレーション部と、
を備え、
前記画像取得部は、隣り合うカメラが撮影した、前記チャートのうち角度の異なる２平面が入る第１の視野の画像と、当該２平面のうち一方が入る第２の視野の画像のデータを取得し、
前記キャリブレーション部は、前記第１の視野の画像に基づき、当該画像を撮影したカメラの内部パラメータを取得し、前記第１、第２の視野の画像に基づき、それらの画像を撮影したカメラの外部パラメータを取得することを特徴とするキャリブレーション装置。
前記複数のカメラが順次、前記第１、第２の視野を得るように、治具を介して前記撮像装置または前記チャートの向きを変化させる撮影方向制御部をさらに備えたことを特徴とする請求項１に記載のキャリブレーション装置。
前記撮影方向制御部は、前記複数のカメラの全てが前記第１の視野を得るまで前記撮像装置または前記チャートの向きを変化させ、
前記画像取得部は、隣り合うカメラが前記第１、第２の視野を得たタイミングで、それらのカメラにチャートを撮影させることを特徴とする請求項２に記載のキャリブレーション装置。
前記撮影方向制御部は、円筒形の前記撮像装置の側面に、光軸が放射状に設けられた前記複数のカメラの、前記チャートに対する方向が一巡するように、前記撮像装置を回転させることを特徴とする請求項２または３に記載のキャリブレーション装置。
前記画像取得部は、前記撮像装置が備える、光軸の向きが異なる複数のステレオカメラのうち、隣り合うステレオカメラが撮影した前記第１、第２の視野の画像のデータを取得し、
前記キャリブレーション部は、前記第１の視野の画像に基づき、当該画像を撮影したステレオカメラのそれぞれの内部パラメータとカメラ間の外部パラメータを取得し、前記第１、第２の視野の画像に基づき、異なるステレオカメラのいずれかのカメラの間の外部パラメータを取得することを特徴とする請求項１から４のいずれかに記載のキャリブレーション装置。
前記チャートに表されるパターンの少なくとも一部は、撮影画像において所定のパターンが得られるように、それを撮影する前記カメラの撮像面から前記平面までの距離の変化に応じた変換を前記所定のパターンに施したものであることを特徴とする請求項１から５のいずれかに記載のキャリブレーション装置。
光軸の向きが異なる複数のカメラを備えた撮像装置のキャリブレーション用のチャートであって、
所定角度をなす複数の平面からなり、
前記複数の平面のいずれかは、前記複数のカメラのうち当該平面を同時に撮影する、隣り合うカメラの撮像面の角度に応じて、表されるパターンに射影変換が施された領域と施されていない領域を含むことを特徴とするキャリブレーション用チャート。
前記隣り合うカメラの一方の撮像面の角度に応じて、表されるパターンに射影変換が施された領域のみからなる平面をさらに含むことを特徴とする請求項７に記載のキャリブレーション用チャート。
光軸の向きが異なる複数のカメラを備えた撮像装置のキャリブレーションを行うキャリブレーション装置が、
角度の異なる複数の平面を含むチャートを、前記複数のカメラのうち少なくとも２つのカメラにより異なる方向から撮影した画像のデータを取得するステップと、
前記画像のそれぞれから、前記チャートに表されたパターンの特徴点の像を検出し、当該特徴点の像の位置座標と、前記チャートにおける当該特徴点の位置座標とを対応づけた特徴点情報を生成するステップと、
前記特徴点情報に基づき、カメラ間の位置姿勢情報を含むパラメータを取得するステップと、
を含み、
前記画像のデータを取得するステップは、隣り合うカメラが撮影した、前記チャートのうち角度の異なる２平面が入る第１の視野の画像と、当該２平面のうち一方が入る第２の視野の画像のデータを取得し、
前記パラメータを取得するステップは、前記第１の視野の画像に基づき、当該画像を撮影したカメラの内部パラメータを取得し、前記第１、第２の視野の画像に基づき、それらの画像を撮影したカメラの外部パラメータを取得することを特徴とするキャリブレーション方法。
光軸の向きが異なる複数のカメラを備えた撮像装置のキャリブレーションを行うコンピュータに、
角度の異なる複数の平面を含むチャートを、前記複数のカメラのうち少なくとも２つのカメラにより異なる方向から撮影した画像のデータを取得する機能と、
前記画像のそれぞれから、前記チャートに表されたパターンの特徴点の像を検出し、当該特徴点の像の位置座標と、前記チャートにおける当該特徴点の位置座標とを対応づけた特徴点情報を生成する機能と、
前記特徴点情報に基づき、カメラ間の位置姿勢情報を含むパラメータを取得する機能と、を実現させ、
前記画像のデータを取得する機能は、隣り合うカメラが撮影した、前記チャートのうち角度の異なる２平面が入る第１の視野の画像と、当該２平面のうち一方が入る第２の視野の画像のデータを取得し、
前記パラメータを取得する機能は、前記第１の視野の画像に基づき、当該画像を撮影したカメラの内部パラメータを取得し、前記第１、第２の視野の画像に基づき、それらの画像を撮影したカメラの外部パラメータを取得することを特徴とするコンピュータプログラム。