JP4196784B2 - カメラ位置測定装置および方法並びにカメラ位置制御方法 - Google Patents

Description

本発明は、バーチャルリアリティーやシミュレーションなどの分野で利用される広視野角で高精細な映像を取得するための撮影装置を構築するための測定装置および方法並びにカメラ位置制御方法に関する。

特殊な形状をした大型スクリーンに、広視野角で且つ高精細な映像を見るものを取り囲むように表示することで、より豊かな臨場感をもった映像空間を実現する高臨場感ディスプレイシステムと呼ばれる映像表示環境は、バーチャルリアリティーやシミュレーションなどの映像アプリケーションにおいてその効果的な利用が期待されている。

このような広視野角で且つ高精細な映像の撮影は、一般のカメラでは不可能であり、特別な撮影手段が必要になる。その実現形態の１つとして、マルチカメラシステムがある。

異なる方向に向けた複数のカメラで撮影した映像を、幾何学的変形などを施し繋ぎ合わせることで、目的となる１枚の映像を得ることができる。ただし互いの映像が完全にシームレスに繋がるためには、それぞれのカメラの光学中心が一致するという単一視点制約を、撮影時に満たす必要がある。

しかしながら、一般のカメラをそのように配置することは、直接的には不可能である。そこでこの問題を解決する方法として、ミラーを使う方法が考案された。

図２に示すとおり、光学中心の共役点が、ミラーを介して対称の位置となる性質を利用することで、複数のカメラの位置が異なりながらも、単一視点制約を満たす撮影が可能となる。その実現例として、特許文献１では、正十二面体のような多面体の各構成面上に撮影装置を搭載することにより、垂直方向水平方向ともに３６０°の画像を得る装置について述べており、撮影された各画像の接続を行う方法について述べている。また、非特許文献１においても、ピラミッド型に配置したミラーによるシステムの実現例が記載されている。

特開２００１−２０４０１５号公報 T. Kawanishi, K. Yamazawa, H. Iwasa, H. Takemura, and N. Yokoya, "Generation of high-resolution stereo panoramic images by omnidirectional imaging sensor using hexagonal pyramidal mirrors," Proc. IAPR, International Conference on Pattern Recognition, I, pp. 485-489, 1998. R. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the shelf TV cameras and lenses," IEEE Journal. RA, Vol. 3, No. 4, 1987. K. Kanatani, Geometric Computation for Machine Vision, Oxford Science Publications, 1993. 守屋 俊夫, 武田 晴夫, 新井 民夫, "投影点観測による複数光線の照射方向推定方法," 電子情報通信学会論文誌, Vol. J86-D-II, No. 4, pp. 479-490, 2003.

背景技術で述べたようなミラー式マルチカメラシステムを実現するためには、各カメラの光学中心を実機上で合わせる作業が必要となる。すなわち、どのようにして光学中心を正確に合わせるかというキャリブレーション方法の確立である。

このようなキャリブレーションは、カメラのパラメータを求めるカメラキャリブレーション手法が適用できる。ここではまず、一般的なカメラキャリブレーションについて説明する。

まず、カメラモデルについて定義する。このカメラモデルには、コンピュータビジョンの分野などで広く用いられる代表的なモデルを仮定する。具体的には、焦点距離f(k)、歪みファクタs(k)、アスペクト比α(k)、画像中心(Δx(k),Δy(k))、湾曲歪みパラメータλ1(k),λ2(k)が定義され、外部パラメータとしては、カメラ位置を示す３次元ベクトルb(k)、カメラ方向を示す３×３の回転行列R(k)が定義される。なおここでkはカメラ番号である。

キャリブレーションパタンとなる３次元空間内の特徴点をpi、その点の第kカメラ画像上の位置をXi(k)=(xi(k),yi(k))とおく。これらの関係式は、

であらわされる。ここで、

で、C(k)()は湾曲歪み変換をおこなうλ1(k),λ2(k)を係数とする関数で、N[]はベクトルの第３要素を1にする正規化操作である。

式(1) から未知数以上の拘束式が得られるように複数点の観測を行い、それらを連立させて解を求めるのが、キャリブレーションの基本的な考え方である。その代表的な手法としては非特許文献２に示された手法などがある。

ところで、マルチカメラを構築する上で必要となるのは、複数カメラの位置b(k) (k=1,2,...) が一致しているかどうかを判別することであり、それ以外のパラメータは必要無い。しかし一般のカメラキャリブレーション手法では、すべての未知パラメータをそれがたとえ間接的であっても正確に求めない限り、b(k)の推定精度を上げることはできず、様々な誤差の影響を考慮する必要がある。
そこで本発明では、必要の無いパラメータに依存しない、複数カメラの光学中心位置一致判別手段及び当該判別手段を用いたカメラ位置の測定装置及び方法並びに制御方法を提供する。

上記課題を解決するため、本発明によるカメラ位置測定装置は、図形を描いた透明盤と、映像投影手段と、該映像投影手段によって投影される映像を表示するスクリーンと、該カメラの撮影画像を入力する画像データ入力手段と、該カメラ移動手段を制御するカメラ位置制御手段と、該複数のカメラにふくまれる第１のカメラの撮影画像から、該透明盤に描かれた図形によって隠される該スクリーン上の図形である出力画像データを算出するとともに、該複数のカメラにふくまれかつ該第１のカメラとは異なる第２のカメラの撮影画像から、該第２のカメラの移動パラメータ及び該第１のカメラと該第２のカメラの光学中心位置が一致しているかどうかの情報を算出する演算手段と、該光学中心位置が一致しているかどうかの情報を表示する光学中心位置確認手段とを有する。

また、上記装置を用いて実現するカメラ位置測定方法は、該第１のカメラの撮影画像において該透明盤に描かれた図形によって隠される該スクリーン上の図形の位置を探して記録するステップと、該スクリーンに新たに表示する図形の位置を算出して表示するステップと、第２のカメラの撮影画像における該透明盤の図形と該スクリーンに新たに表示された該図形との位置関係から、第２のカメラの移動パラメータを算出するステップとを有する。

また、カメラ位置制御方法は、複数のカメラそれぞれによってミラーを介して撮影されるスクリーン上の図形映像データと透明盤の座標データとによって、複数のカメラそれぞれの位置を制御することを特徴とする。

本発明によれば、ミラー式マルチカメラの光学中心位置を一致させるための測定において、カメラの焦点距離や歪みパラメータなどのカメラの内部パラメータには無関係に測定が行われるために、事前のキャリブレーションは不要であり、誤差の混入する可能性も低くなるため、高精度での測定が可能となる。また、カメラ位置制御方法によって、各カメラの光学中心を実機上で合わせる作業も簡素化され、作業の効率化が図ることが可能となる。

本発明の実施例の構成を図１に示す。

図１は、２台のカメラによるミラー式マルチカメラと、その光学中心位置判別手段を、上から見た図として示したものである。ここでは２台の構成としたが、同じような考え方でそれ以上の台数のものにも対応できる。

まず、ミラー式マルチカメラの原理と構成を説明する。ミラー式マルチカメラは複数のカメラ（３1０、３０２０）とミラー（２００）によって組み立てられる。各カメラには、光学中心（４０１０、４０２０）がある。光学中心とは、図２に示すように、カメラが３次元空間にあるオブジェクト（２０００）を透視投影モデルに従い撮像（２０１０）するとき、その視点（４００）に相当するものである。実際のカメラの光学中心は図１に示した位置（４０１０、４０２０）にあるが、カメラがミラーに写る被写体を撮影するときは、その光学中心がミラーを介して線対称の位置にある仮想光学中心（３０５）にあるときと等価な映像が撮影される。よって実質的には、カメラがこの仮想光学中心（３０５）の位置にあるものと考えることができる。この性質を使うことで、実際のカメラの位置がそれぞれ異なりながらも、あたかも同一の光学中心から撮影したような、異なる方向の画像を複数枚同時に撮影することができる。

背景技術で説明したとおり、複数のカメラの画像をシームレスに接続するためには、各カメラにおける、この仮想光学中心（３０５）が完全に一致しなければならない。ミラーが固定されているものとすると、仮想光学中心の位置は実際のカメラの光学中心位置によって一意に決まる。よって複数のカメラの仮想光学中心を一致させるには、実際のカメラ（３００）の位置を移動させて調整する必要がある。そこで本実施例では、この移動を行うためのＸＹＺ軸方向移動装置（５００）にカメラを取り付ける。ＸＹＺ軸方向移動装置は、カメラ位置制御手段（５５０）の指令に従い、カメラの位置を移動させることができる。なお、この仕組みは自動化によるものでなく、手作業によって行うようにすることもできる。以上がミラー式マルチカメラの原理と構成である。

次に、本実施例における上記仮想光学中心を一致させるための測定手段について説明する。
この測定手段は、特徴点（７１１）を描いた透明盤（７１０）と、同じく特徴点（７２１）を投影するプロジェクタ等の映像投影装置（４１０）および、その投影映像を表示するスクリーン（７２１）を有する。さらに、カメラからの撮影映像を入力する画像データ入力手段（５４０）、映像投影装置に表示する映像を作成する画像データ出力手段（５６０）、コンピュータ等の演算手段（５７０）、カメラを取り付けたＸＹＺ軸方向移動装置（５００）の移動制御を行うカメラ位置制御手段（５５０）およびモニタディスプレイ等の光学中心位置確認手段（５３０）を有する。

この構成において実施する、処理の大きな流れを図１と図３を用いて説明する。

まず、透明盤（７１０）には、あらかじめ決められた位置に点や線を描いておく。これを特徴点（７１１）と呼ぶ。

演算手段で、画像データ出力手段（５６０）と映像投影装置（４１０）を介して、スクリーン（７２１）のさまざまな位置に、特徴点を表示する（ＳＴＥＰ２０）。

次に、第１のカメラ（３０１０）で、この透明盤（７１０）と、その背後にあるスクリーン（７２１）を同時に撮影する。撮影された映像は、画像データ入力手段（５４０）を介して、演算手段（５７０）に入力する（ＳＴＥＰ３０）。

このとき、透明盤（７１０）に描かれた特徴点（７１１）によってちょうど隠れた位置にスクリーン上の特徴点（７２１）が表示されているかどうかを、画像データ入力手段（５４０）から得られた画像から検出し、そうであれば、そのときに表示されているスクリーン（７２０）上の特徴点（７２１）の位置を記録する。もし隠れていなかったときは、ＳＴＥＰ２０に戻る（ＳＴＥＰ４０）。

以上の処理を複数の特徴点（７１１）について行う。これにより、透明盤に描かれた特徴点の位置ｐｉと、それによって隠されるスクリーン上の特徴点の位置ｑｉを対にした複数の３次元位置情報{ｐｉ、ｑｉ}（ｉ＝１、２、・・・、Ｉ）が得られることになる（ＳＴＥＰ５０）。

記録された特徴点位置情報と、あらかじめ透明盤に描かれた特徴点（７１１）ｐｊ（ｊ＝Ｉ＋１、Ｉ＋２、・・・、Ｉ＋Ｊ）の位置情報から、演算手段は演算を行い、新たに表示する複数の特徴点（７２１）の位置情報ｑｊ（ｊ＝Ｉ＋１、Ｉ＋２、・・・、Ｉ＋Ｊ）を求める（ＳＴＥＰ６０）。画像データ出力手段（５６０）と映像投影手段（４１０）により、演算手段（５７０）で計算されたスクリーン上の位置ｑｊ（ｊ＝Ｉ＋１、Ｉ＋２、・・・、Ｉ＋Ｊ）に特徴点を表示する（ＳＴＥＰ７０）。

第ｋ（ｋ＝２、３、・・・）のカメラで、透明盤（７１０）とスクリーン（７２０）を同時に撮影し、撮影した映像は画像データ入力手段（５４０）を介して演算手段（５７０）に入力する。（ＳＴＥＰ８０）。

演算手段（５７０）は、撮影画像に写る透明盤上の特徴点と、スクリーン上の特徴点の位置関係から、第ｋのカメラの位置を動かす方向と距離を算出する（ＳＴＥＰ９０）。
算出結果、動かすべき距離がある値以下であれば、第１のカメラ（３０１０）と第ｋのカメラの光学中心位置が一致していると判断する（ＳＴＥＰ１００）。
一方、動かすべき距離がある値以下にならなかった場合、第ｋのカメラを移動させる必要が生じた場合は、そのパラメータにしたい演算手段は、カメラ位置制御手段（５５０）を介して、ＸＹＺ軸方向移動装置（５００）により第ｋのカメラを移動させる（ＳＴＥＰ１２０）。
すべてのカメラについて、ＳＴＥＰ８０以降の処理を繰り返し、各カメラの光学中心位置を一致させる（ＳＴＥＰ１１０）。

以上の処理を行うことで、第１のカメラ（３０１０）と、それ以外のカメラの光学中心を一致させることができる。

なお、処理の途中において、どの程度光学中心が一致しているかを確認するために、撮影映像を直接表示したり、特徴点位置を表示したり、光学中心のずれ量の推定値を表示するなどの処理を光学中心位置確認手段（５３０）が行うものとする。
以上が大きな処理の流れである。

ここで、ＳＴＥＰ９０とＳＴＥＰ１２０により、本実施例により各カメラの位置を移動する方法について以下詳述する。

ＳＴＥＰ９０では、図１における透明盤７１０に描かれた位置ｐｊ（ｊ＝Ｉ＋１、Ｉ＋２、・・・、Ｉ＋Ｊ）の特徴点と、スクリーン７２０に写された特徴点ｑｊ（ｊ＝Ｉ＋１、Ｉ＋２、・・・、Ｉ＋Ｊ）の画像上での位置を読み取る。もし、第ｋカメラの光学中心位置が、第１のカメラの光学中心位置と一致していればこの２つの位置｛ｐｊ、ｑｊ｝は一致する。よって例えば、この２つの点の画像上の距離の２乗平均を評価値Ｅとし、

として求めることができる。ここでＦ（ｐｊ、ｑｊ）はｐｊとｑｊの画像上の距離で、Ｊｎは観測点の組の数である。また、カメラｋを動かす方向は例えば、以下のようにして求めることができる。

もし、カメラｋをある方向ｖに動かすと、画像上の点はエピポーラ拘束の条件に従い、エピポーラ点をとおる線上を移動する。この移動する距離が、ｐｊとｑｊでは異なることになる。ここで、エピポーラ点は視点から方向ｖに向かう方向と画像平面が交わる点として定義される。よって、画像上の各２点の組み合わせ｛ｐｊ、ｑｊ｝によってつくられる各直線の交点を画像上でｕとして求め、この点と視点によって決められる方向が、カメラｋを動かす方向ｖとなる。なお、方向ｖに動かす距離ｄは｛ｐｊ、ｑｊ｝のずれの程度によってきめてやればよい。すなわち上で求めた評価値Ｅにある係数にしたがい比例するようにきめることになる。

以上により、算出されたｖおよびｄのパラメータによりカメラｋの動かすパラメータが決定される。このパラメータに従い、図１におけるカメラ位置制御手段（５５０）はＸＹＺ軸方向移動装置（５００）にたいして移動の指令を出し、ＸＹＺ軸方向移動装置がそのとおり移動することにより、カメラｋの目的の移動が行われることになる。

次に、以上の処理により光学中心位置が一致されることの原理の説明を行う。
まず、基本的な考え方について述べる。一般のカメラキャリブレーションでは、キャリブレーションパタンなどを撮影した画像から、そのパタンの画像上での位置を与えられたものとして読み取る。よって観測パラメータは受動的なものであると言える。

これに対して本実施例では、画像上のある位置を指定し、ここに写る被写体の位置はどこかを調べるという、新たな測定方法を提供する。本方法は前記の方法と対応させて能動的である、ということができる。以下、具体的な手段である、スクリーンに特徴点をプロジェクタで投影し、これをカメラで撮影して指定された位置にそれが写るようにダイナミックにプロジェクタの映像を変えていく手段について説明する。

ある３次元位置既知の特徴点pjの、第kカメラでの画像上位置xj(k)が観測されるとする。
次に、xj(k)と全く同じ場所に写る、pjとは異なる別の特徴点qjの３次元位置が測定されるとする。

このような点pj,qjは式（１）より

を満たすが、C(k)()は１対１写像だから逆関数が存在して

の関係が得られる。ここで、γj(k)は、γj(k)≠0,1なる任意のスカラーである。さらにA(k)・R(k)は正則だから逆行列が存在し

の関係が得られる。

式（６）の幾何学的な意味は、カメラの光学中心b(k)が、２点pj, qj を結ぶ直線上にある、ということである。よって、２つ以上の式（６）が得られれば、すなわち２つ以上の特徴点の組{pj,qj} (j=1,...,j; j>=2) が観測できれば、b(k)を式（６）であらわされる直線の交点として一意に求めることができる。実際に得られる画像は、カメラ内部パラメータとカメラ回転R(k)の影響で、理想的な透視投影画像に比べて、直線が歪んだり、場所が移動したり、あるいは拡大や縮小するなど、幾何学的な変形が行われて写る。しかしながら、もし２点pj,qjと視点b(k)が直線上にあれば、２点の画像はどのような変形が行われようとも、常に同じ点に写る。逆に、画像上で同じ点に写っていれば、pj,qjと視点b(k)は直線上にある。本方法はこの性質を利用したものである。

また、式（６）あるいはその導出過程で、カメラの内部パラメータC(k)(),A(k)やカメラ方向R(k)の値には全く影響されないことを本願発明者らは、見出したことによって、本方法では、カメラ位置のみを、それ以外のパラメータとは無関係に求めることができる。すなわち、他パラメータの誤差の混入する可能性がなくなるため、高精度の測定が期待できる。

以上が、あるカメラの光学中心位置を求める基本的な考え方である。

次に、上述した基本的考えによる方法の拡張方法について説明する。
基本的考えによる方法では、図５(a) に示すように2つの観測値pj,qj（５９５）（５９６）の相対位置関係がわかっていなければならない。そのためには、透明盤（７１０）とスクリーン（７２０）を完全に平行になるように厳密に設置しなければならなくなり、これは実際上非常に困難である。

そこで、このような設置なしにも、すなわち図５(b)に示すようにpjとq~jがそれぞれ独自の座標系で測定され（５９５）（５９７）、お互いの関係がわからないときにも、測定可能となる方法を説明する。
実際の測定の実施容易性から、３次元空間内の特徴点pj (j=1,2,...) は平面上にあり、qj (j=1,2,...) は別の平面上にあることを前提条件とする。
異なる座標系で表現されていることを明示するため、以下２つの観測点をpj,q~jと表記する。q~jをpjと同じ座標系であらわしたものをqjとおくと、両者の関係は

であらわされる。ここで、Cは座標系の回転を示す回転行列、gは座標原点の移動を示す３次元ベクトルで、C,g ともに未知である。

pj,q~jはそれぞれ平面上にあるから、平面の単位法線ベクトルをhp,h~q、原点から平面までの距離をdp,d~qとおくと

の関係が成り立つ。(・,・) は、ベクトルの内積である。pj,q~j (j=1,2,...) が既知なので、hp,h~q,dp,d~qも既知とすることができる。

式（７）（８）（９）より、pjとq~jの間に

の形の、ホモグラフィーと呼ばれる関係が成り立つことがわかる。ここで＝＝は、スケール倍の自由度を残して両辺が等しいことを示す。B(k)は３×３の行列で

である。

式（１１）であらわされるB(k)は、４つ以上の観測点の組み合わせpj,q~j(j=1,2,...,J) で求められることが知られており、その最適値は例えば非特許文献３に記載される方法によって

として求められる。

２つのカメラで同一平面を撮影したときにも式（１２）の関係が成り立ち、内部パラメータ既知のときにB(k)をカメラ位置等の要素に分解する方法は、数多く示されている。しかし今回のようにB(k)が式（１１）で示されるように２つの平面から構成される場合には、同様の手法が利用できず、別の分解方法が必要となる。

そこでこの方法として、非特許文献４に示された方法を適用する。この文献では、レーザビームの複数平面上の投影位置から、ホモグラフィーの関係をあらわす行列Bを求め、それを分解することでレーザビームの位置などを求めている。その問題設定は、今回の問題設定と幾何学的に等価であり、パラメータの表現方法に若干の違いがあるものの、行列Bは式（１１）と同じ形式で構成されている。よって、全く同様の手法を今回のB(k)の分解に適用することができる。

結論をいうと、B(k)から式（１１）におけるb(k)等の構成要素を一意に求めることはできない。これは、１自由度分、未知パラメータに比べて拘束式の数が足りないからである。わかるのはb(k)が、ある円Ω(k)上に存在する、ということまでである。詳しい説明は参考文献４にゆずるが、この円Ω(k)はB(k)と既知パラメータから以下のように、代数的に求めることができるものである。

ここで、

であり×はベクトルの外積をあらわす。
このように、カメラの光学中心位置を一意に決めることはできないが、複数のカメラの光学中心位置が一致しているかどうかの判別には、上記の知見を利用することができる。これを次に説明する。

第kカメラの光学中心位置をb(k)とし、第k+1カメラの光学中心位置をb(k+1)とし、両者が等しいかどうかの判別を行う。

まず、第kカメラで、２つの平面上の４組以上の特徴点位置pj,q~j (j=1,2,...,J) の読み取りを行う。これを用いて、両者のホモグラフィー変換を行う行列B(k)を式（１２）の方法で求める。

次に、第k+1カメラで、上と同じ２つの平面上の４組以上の特徴点位置pj,q~j (j=J+1,J+2,...,) の読み取りを行う。これを用いて、両者のホモグラフィー変換を行う行列B(k+1)を求める。もし、b(k)=b(k+1)であれば、同一の式(12) が構成されるので、B(k)==B(k+1)となることは明らかである。よってB(k)==B(k+1)であることは、b(k)=b(k+1)のための必要条件である。

さらに、平面２の平面１に対する相対的な傾きは、b(k)あるいはb(k+1)がこの円上を動くと変化する。よって、もしb(k)≠b(k+1)と仮定すると、b(k)を用いて求めた平面２の傾きと、b(k+1)を用いて求めた平面２の傾きが異なるものになってしまう。これは、同じ２枚の平面を用いて第kカメラの撮影と第k+1カメラの撮影を行う、という撮影方法に矛盾する。よってb(k)=b(k+1)でなければならない。これよりB(k)==B(k+1)であることは、b(k)=b(k+1)であるための、十分条件である。

したがって、B(k)==B(k+1)が言えるかどうかを調べるだけで、２つのカメラの光学中心位置を、それぞれ値として特定することはできないものの、すなわち、B(k)==B(k+1)なるB(k),B(k+1)が得られても、b(k),b(k+1)がそれぞれ上記の円Ω(k)=Ω(k+1)のどこに存在するかは、決定することはできないが、お互いが一致しているか、あるいは一致していないかの判別は可能であることがわかる。この原理に基づき、図１における第１のカメラ（３０１０）と第２のカメラ（３０２０）の光学中心位置が一致しているかどうかの判別が可能になる。

この原理が、実施例で直接用いられている図３中のＳＴＥＰ６０について詳述する。

第１のカメラ（３０１０）で撮影された、透明盤（７１０）上の特徴点（７１１）の３次元位置をpi (i=1,2,...,I) とおく。同じく第１のカメラ（３０１０）で撮影されたスクリーン上（７２０）の特徴点（７２１）の３次元位置をq~i (i=1,2,...,I) とおく。両方は画像上の同じ点に写っている。両者はお互い独自の座標系であらわされているものとする。

次に、第２のカメラ（３０２０）で撮影される、透明盤上の特徴点の３次元位置をpi (i=I+1,I+2,...,I+J) とおく。

まず、この{pi,q~i}の組(i=1,2,...,I)から、式（１１）などを用いて、両者間のホモグラフィーの関係を示す行列Bを計算する。この行列Bを用いて、第２のカメラがもし第１のカメラと光学中心が一致していれば、pi (i=I+1,I+2,...,I+J) と撮影画像上同じ点に写るであろう、スクリーン（７２０）上の特徴点の位置q~i (i=I+1,I+2,...,I+J) を求める。その具体式は q~i==B・pi である。

求まったq~i (i=I+1,I+2,...,I+J) の位置に映像投影装置で特徴点を表示する。
もし、第１のカメラの光学中心位置と、第２のカメラの光学中心位置が一致していれば、piにある特徴点と、q~iにある特徴点の、第２のカメラによる撮影画像内での位置は一致する。よって、そのような画像が撮れるように第２のカメラを移動させてやれば、目的となる配置のミラー式マルチカメラが構成できることになる。

以上述べてきた方法を適用可能なシステム構成図の例を図６に示す。

データ転送を行うシステムバス（３３３０）、あらかじめ決められたプログラムやその時の状況に応じて、各種演算処理を行うＣＰＵ等の中央演算装置（３３４０）、プログラムや数値データを保存するメモリ等の主記憶装置（３３５０）、同じくプログラムや数値データを保存するハードディスク等の外部記憶装置（３３６０）から構成される。外部記憶装置３３６０には、図２のＳＴＥＰ３０を行うプログラム（３４３０）、ＳＴＥＰ６０を行うプログラム、ＳＴＥＰ７０を行うプログラム（３４７０）、ＳＴＥＰ９０を行うプログラム（３４９０）、ＳＴＥＰ１００を行うプログラム（３５００）、等が記録されており、これらのプログラムがいったん主記憶装置（３３５０）に読み出された後に、画像データ入力手段（５４０）から入力される画像データを用い、演算を行い、画像データ出力手段（５６０）で出力する画像データを作成し、カメラ位置制御手段（５５０）で出力するカメラ位置制御情報を作成し、あるいは光学中心位置確認手段（５３０）で出力する画像データや数値データを作成する処理を行う。処理の途中で用いる画像データや数値データなどは、主記憶装置におけるデータ領域（３６００）に記憶される。

なお、ここで記載されるデータの例としては以下のものがある。

例えば、第１のカメラ（３０１０）で撮影された、透明盤（７１０）上の特徴点（７１１）の３次元位置データとして、p1=(324.4, 513.3, 1000.0)、p2=(124.3, -13.6, 1000.0),...がある。
第１のカメラ（３０１０）で撮影されたスクリーン上（７２０）の特徴点（７２１）の３次元位置データとして、q~1=(234.5, 14.3, 1500.0), q~2=(787.4, 52.6, 1500.0), ...がある。
第２のカメラ（３０２０）で撮影される、透明盤（７１０）上の特徴点の３次元位置データとして、p21=(59.4, -234.3, 1000.0), p22=(4.2, -3.3, 1000.0), ...がある。
第２のカメラが第１のカメラと光学中心が一致していた場合、p21, p22, ..., と撮影画像上同じ点に写るであろう、スクリーン（７２０）上の特徴点の位置を上記ホモグラフィーの関係を用いて算出したもの: q~21=(514.0, 52.3, 1500.0), q~22=(87.3, 253.2, 1500.0)がある。また、ＳＴＥＰ９０において求められたカメラを動かす方向 X=(2.3, 1.1, 0.1)の他、カメラの移動量のしきい値などが挙げられる。カメラの移動量のしきい値は、それぞれのカメラの位置関係により異なる値を用いることもできるほか、一律にしてもよい。以上、述べてきた実施例は、スクリーンに映像投影装置で特徴点を投影する方式をとったものである。

その他、図４に示すように、３次元配置既知の細かい格子模様をカメラで撮影し、指定された画像上の位置に対応するその格子模様上の位置を目視により読み取る方法が考えられる。すなわち、目視により特徴点の位置q~iを読み取る方法である。これは、スクリーンのかわりに座標既知の細かい格子模様を描いた平面（４００１）を用意し、第１のカメラ（３０１０）や第２のカメラ（３０２０）で撮影した画像（４００３）のなかの、指定する位置（４００２）が、その平面のどこに相当するかを目視により読み取らせるものである。この場合は図に示すような補助線（４０１０）が指定する位置に表示されるようにすることで、その読み取りが容易になる。なお図の４０２０は、撮影画像（４００３）の指定位置（４００２）付近を拡大したものである。

以上述べてきた実施例では、被写体として点を想定し、これを特徴点とした。しかしこれは点に限定されるわけではなく、特徴線として直線やにすることもできるし、適当な形状の曲線や面図形とすることもできる。また、透明盤は透明な板に限定されるわけではなく、網目の枠や空間上の任意の位置に点や線などを固定できる固定器具にすることもできる。

さて、以上述べてきた測定方法は、全てのカメラの光学中心位置を一致させることが目的であった。ところが実際の装置構成の要件によっては、それとは異なる目的が設定されることがある。これを説明する。
装置構成におけるミラーは、複数の平面ミラーによって構成されることがある。このような構成では、各平面と各平面の境目に、どちらのミラーにも映像が写らない部分、すなわちエッジ部分ができてしまう。このためミラーの隣接部分の画像が欠損してしまう問題が生じる。これを解決させる方法である各カメラの視点位置を故意にずらして撮影を行う方法について以下説明する。後述する方法により、ミラーのエッジにより一つのカメラで撮影できなかった領域が、別のカメラで撮影可能となる。

図７は、各カメラの視点位置を故意にずらして撮影を行う方法の原理を示した図である。ミラーエッジ部分の幅をa[mm]、カメラの光学中心からミラーまでの距離をl[mm]、最も近い位置にある被写体Ａ（７０１０）までの距離をx[mm] とおく。２つのカメラの光学中心位置（７０３０）のずれをy[mm] とおく。Ａがエッジによる死角にならないような最小のyは、近似的に以下の式で求められる。

一方、光学中心がyずれるということは、同一カメラでyのずれがある被写体を見ることと等価になる。よって、無限遠の被写体がシームレスに繋がるような接続方法をとると、視点からの距離x[mm] の位置にある被写体Aの画像上のずれE[pixel]は近似的に

とあらわすことができる。ここでfはカメラの焦点距離をpixel単位であらわしたものである。式(1)(2) を連立させることで式

が得られるが、これが被写体Ａが死角に入らないために、カメラ視点位置を最低限動かした時の、繋ぎ目に生じるずれを示すことになる。よって逆に、これを許容できるずれとすれば、各カメラの光学中心のずれyが式（１８）（１９）より求められ、これだけずれるように各カメラを調整する。

本発明の実施例における装置の構成である。 透視投影を説明する図である。 本発明の実施例における全体の処理の流れである。 本発明の実施例における測定手段の例を説明する図である。 お互いの相対位置がわかる測定と、お互いの相対位置がわからない測定の違いを説明する図である。 本発明の実施例におけるシステム構成図である。 光学中心位置を故意にずらしたときの死角領域。

符号の説明

５３０ 光学中心位置確認手段
５４０ 画像データ入力手段
５５０ カメラ位置制御手段
５６０ 画像データ出力手段
５７０ 演算手段
３０１０ 第１のカメラ
３０２０ 第２のカメラ

Claims (5)

1. 複数のカメラと、ミラーと、カメラの位置を移動させるカメラ移動手段とを有するミラー式マルチカメラの、該複数のカメラの光学中心を一致させるためのカメラ位置測定装置において、
   図形を描いた透明盤と、
   映像投影手段と、
   該映像投影手段によって投影される映像を表示するスクリーンと、
   該カメラの撮影画像を入力する画像データ入力手段と、該カメラ移動手段を制御するカメラ位置制御手段と、
   該複数のカメラにふくまれる第１のカメラの撮影画像から、該透明盤に描かれた図形によって隠される該スクリーン上の図形である出力画像データを算出するとともに、該複数のカメラにふくまれかつ該第１のカメラとは異なる第２のカメラの撮影画像から、該第２のカメラの移動パラメータ及び該第１のカメラと該第２のカメラの光学中心位置が一致しているかどうかの情報を算出する演算手段と、
   該光学中心位置が一致しているかどうかの情報を表示する光学中心位置確認手段とを有することを特徴とするカメラ位置測定装置。
   
2. 図形を描いた透明盤と、図形映像を表示するスクリーンとを用いて、第１のカメラと第２のカメラそれぞれの光学中心位置を測定するカメラ位置測定方法において、
   該第１のカメラの撮影画像において該透明盤に描かれた図形によって隠される該スクリーン上の図形の位置を探して記録するステップと、該スクリーンに新たに表示する図形の位置を算出して表示するステップと、第２のカメラの撮影画像における該透明盤の図形と該スクリーンに新たに表示された該図形との位置関係から、第２のカメラの移動パラメータを算出するステップとを有することを特徴とするカメラ位置測定方法。
3. 請求項２記載のカメラ位置測定方法において、
   前記第２のカメラの移動パラメータを算出するステップでは、該透明盤と該スクリーンとの相対位置関係が未知のときに、第１のカメラの光学中心位置と第２のカメラの光学中心位置が一致しているか否かを判別するステップを有することを特徴とするカメラ位置測定方法。
4. 記憶装置と複数のカメラそれぞれによって撮影される画像データを入力する画像入力手段と前記入力された画像データを記憶する記憶装置とを有するカメラの位置を制御するカメラ位置制御システムを用いるカメラ位置制御方法であって、
   複数のカメラそれぞれによってミラーを介して撮影される前記スクリーン上の図形映像データと前記スクリーンと同一平面上にない透明盤の第1の任意の座標データとを入力し、
   前記座標データと複数のカメラいずれかである第1のカメラによって撮影された前記図形映像データとが一致するか否かを判断し、
   前記一致した場合は、さらに前記スクリーンに新たに表示する特徴点の位置を算出し、
   前記複数のカメラにふくまれかつ前記第１のカメラとは異なる第２のカメラにより、新たに表示されたスクリーン上の前記特徴点と、前記透明板に描かれた特徴点を撮影して、前記第２のカメラの移動量を算出し、
   前記移動量に基づいて前記第２のカメラを移動させることを特徴とするカメラ位置制御方法。
   
5. 請求項4記載のカメラ位置制御方法であって、
   前記算出した移動量が、あらかじめ記憶装置に記憶されているしきい値と比較し、前記比較結果、前記移動量が前記しきい値以下であった場合は、前記第２のカメラを移動させず、
   第３のカメラによって撮影された前記図形映像データと前記第２の任意の座標データとに基づいて前記第３のカメラの位置を制御することを特徴とする請求項4記載のカメラ位置制御方法。
   

Images