JP5586765B2 - カメラキャリブレーション結果検証装置および方法 - Google Patents

Description

本発明は、カメラキャリブレーション結果検証装置および方法に関し、特に、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーションの結果を検証する装置および方法に関する。

いわゆるパンおよびチルトが可能な旋回型カメラは、特に監視用途に適している。そして、監視用途においては、監視領域に移動体が侵入したときに、これを自動的に追尾（捕捉）するように旋回型カメラを制御する、といういわゆる自動追尾の要求が少なくない。この要求に応えるべく、従来、例えば特許文献１に開示されたものがある。この特許文献１に開示された従来技術によれば、旋回型カメラの他に、監視領域全体を撮影し得る広角の固定カメラが設けられている。そして、この固定カメラによる撮影画像に移動体が現れると、その撮影画像における移動体の位置、つまり当該撮影画像という２次元の画像座標における移動体の座標値、が求められる。さらに、この２次元の座標値が、実空間という３次元の世界座標における座標値に変換される。そして、変換された世界座標値に従う位置（点）を向くように、旋回型カメラが制御される。

特開２００５−３３７７号公報

ところで、上述の如く世界座標上で旋回型カメラを制御するには、当然に、当該世界座標における旋回型カメラの設置位置、つまり座標値、が特定されていなければならない。また、旋回型カメラは、一般に、一定の基準方向を有しており、この基準方向に対する偏角、要するにパン角およびチルト角、が与えられることによって、これらパン角およびチルト角に応じた方向を向くように旋回する。従って、この基準方向についても、世界座標において特定されていなければならない。

このため、従来は、（特許文献１には明記されていないが）測量装置によって、或いはメジャー等の道具を用いて、旋回型カメラの設置位置が測定され、ひいては世界座標における座標値が特定されていた。また、基準方向についても、磁気コンパス等の道具を用いて、極端には目測によって、特定されていた。

なお、上述の如く２次元の画像座標における移動体の座標値が３次元の世界座標における座標値に変換されるには、カメラキャリブレーションが行われることが前提とされる。

本発明は、このカメラキャリブレーションが精確に行われているか否かを検証することができるカメラキャリブレーション結果検証装置および方法を提供することを、目的とする。

この目的を達成するために、本発明によるカメラキャリブレーション結果検証装置は、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーションの結果を検証する装置であって、世界座標を構成する３つの座標軸の１つである所定座標軸の値が一定とされた平面における実空間を模擬すると共に当該平面を表す世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示手段を、具備する。また、撮影画像上で任意の位置を指定する指定手段を、具備する。さらに、この指定手段による指定位置の画像座標上における座標値をカメラパラメータに基づいて当該平面における世界座標の座標値に変換する第１変換手段を、具備する。併せて、この第１変換手段によって変換された世界座標の座標値を当該世界座標および２次元座標の相関関係に基づいて当該２次元座標の座標値に変換する第２変換手段を、具備する。加えて、この第２変換手段によって変換された２次元座標の座標値に従う模擬画像上の位置にマーカを表示するマーカ表示手段を、具備する。

なお、本発明において、所定座標軸は、実空間の高さ方向を規定し、模擬画像は、当該実空間の高さがゼロの平面を模擬した画像であってもよい。

そして、本発明によるカメラキャリブレーション結果検証方法は、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーションの結果を検証する方法であって、世界座標を構成する３つの座標軸の１つである所定座標軸の値が一定とされた平面における実空間を模擬すると共に当該平面を表す世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示過程を、具備する。また、撮影画像上で任意の位置を指定する指定過程を、具備する。さらに、この指定過程による指定位置の画像座標上における座標値をカメラパラメータに基づいて当該平面における世界座標の座標値に変換する第１変換過程を、具備する。併せて、この第１変換過程によって変換された世界座標の座標値を当該世界座標および２次元座標の相関関係に基づいて当該２次元座標の座標値に変換する第２変換過程を、具備する。加えて、この第２変換過程によって変換された２次元座標の座標値に従う模擬画像上の位置にマーカを表示するマーカ表示過程を、具備する。

本発明の一実施形態に係る監視カメラシステムの概略構成を示すブロック図である。 同実施形態において各カメラの設置状況を示す実空間の概略平面図である。 同実施形態において或る固定カメラによって撮影された画像の一例を示す図解図である。 図２の概略平面図に対応するマップ画像を示す図解図である。 図３の撮影画像に移動体が現れた状態を示す図解図である。 図５の状態にあるときのマップ画像の状態を示す図解図である。 図５の状態にあるときの或る旋回型カメラによる撮影画像の一例を示す図解図である。 図４のマップ画像にスケーラが設定された状態を示す図解図である。 図８のマップ画像と実空間との関係を示す図解図である。 同実施形態においてカメラキャリブレーションを行うときの実空間の一状態を示す図解図である。 図１０の状態にあるときのマップ画像の状態を示す図解図である。 図１０の状態にあるときの固定カメラによる撮影画像の状態を示す図解図である。 図１０の状態にあるときの固定カメラによる撮影画像の図１２とは異なる状態を示す図解図である。 同実施形態においてカメラキャリブレーションが行われた結果の検証手順を説明するための図解図である。 同カメラキャリブレーションが精確に行われなかったときの検証結果の一例を示す図解図である。 図１４とは別の検証手順を説明するための図解図である。 同実施形態において旋回型カメラの設置条件を特定するときの実空間の一状態を示す図解図である。 図１７の状態にあるときのマップ画像の状態を示す図解図である。 同実施形態において旋回型カメラの設置条件が特定された結果の検証手順を説明するための図解図である。 同実施形態における旋回型カメラの別の制御例としてのマップポイントビュー機能を説明するための図解図である。 同マップポイントビュー機能における事前の準備を説明するための図解図である。 同マップポイントビュー機能の原理を説明するための図解図である。 同マップポイントビュー機能における或る旋回型カメラによる撮影画像の一例を示す図解図である。 図２３とは別の例を示す図解図である。 同マップポイントビュー機能におけるアイコンの表示例を示す図解図である。 同マップポイントビュー機能におけるマップ画像の表示例を示す図解図である。

本発明の一実施形態について、図１に示す監視カメラシステム１０を例に挙げて説明する。

同図に示すように、本実施形態に係る監視カメラシステム１０は、撮影領域が固定された複数台の固定カメラ１２，１２，…と、撮影領域が可変の、詳しくはパン方向およびチルト方向のそれぞれに旋回可能であると共にズームレンズを備えた、複数台の旋回型カメラ１４，１４，…と、を具備する。そして、これらの固定カメラ１２，１２，…および旋回型カメラ１４，１４，…は、パーソナルコンピュータ（以下、ＰＣと言う。）１６に接続されている。

ＰＣ１６は、自身にインストールされた制御プログラムを実行することで、各固定カメラ１２，１２，…による撮影画像に基づいて各旋回型カメラ１４，１４，…を制御するカメラ制御装置として機能する。また、それぞれの固定カメラ１２について、後述するカメラキャリブレーションを行うカメラキャリブレーション装置としても機能する。さらに、それぞれの旋回型カメラ１４について、後述する設置条件を特定するための設置条件特定装置としても機能する。なお、このＰＣ１６には、これに各種命令を入力するための入力手段、例えばマウス１８およびキーボード２０を含む操作装置２２と、当該ＰＣ１６による処理結果を含む各種情報を出力するための情報出力手段としてのディスプレイ２４と、が接続されている。

この監視カメラシステム１０は、例えば図２に示すようなビル等の建物を含む敷地内を監視するのに、用いられる。同図のケースでは、概略矩形状の敷地内の４隅Ａ，Ｂ，ＣおよびＤに、１台ずつ、つまり合計４台、の固定カメラ１２，１２，…が設置されている。そして、これら４台の固定カメラ１２，１２，…の近傍ａ，ｂ，ｃおよびｄに、１台ずつ、つまり合計４台の、旋回型カメラ１４，１４，…が設置されている。なお、各固定カメラ１２，１２，…は、互いに異なる領域を撮影するように設置されている。例えば、敷地内の南西隅（同図において左下隅）Ａに設置されている固定カメラ１２は、同図に矢印１２ａで示すように、当該敷地内の建物の南側にある南側領域を撮影するように設置されている。そして、敷地内の南東隅（同図において右下隅）Ｂに設置されている固定カメラ１２は、同図に矢印１２ｂで示すように、当該敷地内の建物の東側にある東側領域を撮影するように設置されている。さらに、敷地内の北東隅（同図において右上隅）Ｃに設置されている固定カメラ１２は、同図に矢印１２ｃで示すように、当該敷地内の建物の北側にある北側領域を撮影するように設置されている。そして、敷地内の北西隅（同図において左上隅）Ｄに設置されている固定カメラ１２は、同図に矢印１２ｄで示すように、当該敷地内の建物の西側にある西側領域を撮影するように設置されている。

各固定カメラ１２，１２，…による撮影画像は、所定の順番に従って１つずつ、または分割画面によって同時に、ディスプレイ２４に表示される。例えば、敷地内の南西隅Ａに設置されている固定カメラ１２による撮影画像は、図３のように表示される。併せて、ディスプレイ２４には、図４に示すような模擬画像としてのマップ画像が表示される。このマップ画像は、敷地内の平面図（建物等の各箇所の形状や寸法等）を忠実に表現したものであり、ビットマップファイルやＪＰＥＧ（Joint Photographic Experts Group）ファイル等の適宜の画像ファイルによって表示される。また、当該マップ画像として、建物等の建築図面を利用することもできる。即ち、建築図面には、建物等の形状や寸法が正確に記されているので、これを利用（画像ファイル化）することによって、新たにマップ画像を作成する手間を省くことができる。

ここで、例えば、敷地内の南西隅Ａに設置されている固定カメラ１２による撮影領域（つまり南側領域）に、人間等の移動体が侵入したとする。すると、この固定カメラ１２による撮影画像は、図５のようになる。即ち、当該撮影画像に、移動体（厳密には移動体の像）３０が表示される。そして、この移動体３０が、フレーム差分法や背景差分法等の公知の移動体検出技術によって検出され、当該移動体３０を囲む（内接させる）ように、矩形状の枠３２が表示される。さらに、撮影画像上の所定位置、例えば左上隅近傍に、注意を喚起するための注意マーク３４が表示される。これらの矩形枠３２および注意マーク３４の表示を受けて、オペレータ（監視者）は、移動体３０が侵入したことを認識することができる。なお、これらの矩形枠３２および注意マーク３４の表示は、ＰＣ１６によって制御される。

併せて、図４に示したマップ画像上に、図６に示すように、移動体３０の現在位置を示す移動体マーク３６と、当該移動体３０の移動径路を示す軌跡線３８が表示される。この表示を受けて、オペレータは、敷地内における移動体３０の現在位置および移動径路を認識することができる。なお、これらの移動体マーク３６および軌跡線３８の表示もまた、ＰＣ１６によって制御される。

さらに、移動体３０の現在位置に応じて、適宜の旋回型カメラ１４、例えば南西隅ａの旋回型カメラ１４が、当該移動体３０の方向を向くように旋回すると共に、当該移動体３０を拡大して撮影するようにズームアップする。そして、この旋回型カメラ１４による撮影画像が、図７に示すように、ディスプレイ２４に表示される。そして、この移動体３０を自動追尾するように、旋回型カメラ１４の旋回動作およびズーム動作が制御される。なお、この旋回型カメラ１４の旋回動作およびズーム動作、ならびに当該旋回型カメラ１４による撮影画像のディスプレイ２４への表示も、ＰＣ１６によって制御される。また、この南西隅ａの旋回型カメラ１４のみならず、当該移動体３０を捕捉可能な別の旋回型カメラ１４、例えば南東隅ｂの旋回型カメラ１４についても、自動追尾させると共に、その撮影画像をディスプレイ２４に表示させてもよい。

以上のことは、他のそれぞれの固定カメラ１２による撮影領域に移動体３０が侵入したときも、同様である。

このように、マップ画像上における移動体マーク３６および軌跡線３８の表示、ならびに適宜の旋回型カメラ１４による自動追尾および当該自動追尾している旋回型カメラ１４による撮影画像の表示によって、移動体３０の侵入に対してより迅速かつ適切な対処が可能となり、言わば統合的な監視が実現される。

ところで、このような統合的な監視を実現するには、それぞれの固定カメラ１２による撮影画像において、移動体３０が現れたときにこれを検知すると共に、この移動体３０の実空間における位置を当該固定カメラ１２による撮影画像から認識する必要がある。このうち、前者の移動体検知については、上述したようにフレーム差分法や背景差分法等の公知の技術が採用される。一方、固定カメラ１２による撮影画像から実空間における移動体３０の位置を認識するという後者については、カメラキャリブレーションが行われることが前提とされる。本実施形態では、このカメラキャリブレーションを極めて簡単に実現するべく、次のような工夫が成されている。

即ち、図４に示したマップ画像において、図８に示すように、直線状のスケーラ４０が設定される。具体的には、実空間において実寸が判明している部分、例えば図８においては矩形状の建物の北西角部Ｑａから南西角部Ｑｂまでの部分に、上述したマウス１８の操作（ドラッグ＆ドロップ操作）によって当該スケーラ４０が設定される。そして、実空間においてこのスケーラ４０に対応する部分の実際の寸法（実寸）Ｌｗが、例えば上述したキーボード２０の操作によって入力される。なお、実寸Ｌｗの単位は、例えば［ｍｍ］（ミリメートル）であり、マップ画像上におけるスケーラ４０の長さ寸法Ｌｍは、当該マップ画像を構成する画素の単位、いわゆる［ｐｉｘｅｌ］（ピクセル）である。そして、実空間における実際の寸法Ｌｗをマップ画像上におけるスケーラ４０の長さ寸法Ｌｍで除することによって、つまり次の数１によって、当該マップ画像上における１［ｐｉｘｅｌ］が実空間においてどれくらいの長さ寸法に対応するのかを表す係数ｋが求められる。

さらに、図９（ａ）に示すように、マップ画像における左下角部が、当該マップ画像における原点Ｏｍとされる。そして、この原点Ｏｍを通りかつ水平方向に沿う（同図において右側に向かって延伸する）直線が、α軸とされ、当該原点Ｏｍを通りかつ垂直方向に沿う（同図において上側に向かって延伸する）直線が、β軸とされる。これによって、マップ画像上に、α軸およびβ軸から成る２次元の直交座標が設定される。なお、このマップ画像上の２次元座標の単位は、上述した［ｐｉｘｅｌ］である。

併せて、図９（ｂ）に示すように、実空間において、マップ画像における原点Ｏｍに対応する位置が、原点Ｏｗとされ、当該マップ画像におけるα軸およびβ軸に対応するように、ｘ軸およびｙ軸が設定される。そして、原点Ｏｗを通り、かつｘ軸およびｙ軸のそれぞれに直交するように（同図において上側に向かって延伸するように）、高さ方向を規定するｚ軸が設定される。これによって、実空間に、ｘ軸，ｙ軸およびｚ軸から成る３次元の世界座標が設定される。なお、この実空間に設定された世界座標の単位は、上述の［ｍｍ］である。

つまり、図９（ａ）のマップ画像は、図９（ｂ）の実空間における高さｚがゼロ（ｚ＝０）の平面を模擬したものである。従って、これら両者の座標値（α，β）および（ｘ，ｙ，０）の関係は、上述した係数ｋを言わば変換係数とする次の数２で表される。

ゆえに、例えば、図９（ａ）のマップ画像における任意の位置Ｑｃにおける２次元座標値を（α’，β’）とすると、図９（ｂ）の実空間において当該位置Ｑｃに対応する位置Ｑｄの世界座標値（ｘ’、ｙ’，ｚ’）は、この数２の関係から、（ｘ’、ｙ’，ｚ’）＝（ｋ・α’，ｋ・β’，０）となる。

そして、このようにスケーラ４０が設定されることによって言わばキャリブレーションされたマップ画像を利用して、次のような手順でカメラキャリブレーションが行われる。

即ち、当該カメラキャリブレーションのための変換アルゴリズムとしては、公知の射影変換行列、特に１１変数の射影変換行列、が用いられる。この１１変数の射影変換行列では、固定カメラ１２による２次元の撮影画像の座標値が（ｕ，ｖ）で表されるとすると、この画像座標値（ｕ，ｖ）と実空間の絶対座標値（ｘ，ｙ，ｚ）との関係は、次の数３のようになる。

なお、この数３において、ｓは、スケールファクタである。そして、ｐ_１〜ｐ_１１が、カメラパラメータである。また、固定カメラ１２による撮影画像の座標値（ｕ，ｖ）は、後述する図１２に示すように、当該撮影画像の左上角を原点Ｏｉとし、この原点Ｏｉを通りかつ水平方向に沿う（同図において右側に向かって延伸する）直線がｕ軸とされ、当該原点Ｏｉを通りかつ垂直方向に沿う（同図において下側に向かって延伸する）直線がｖ軸とされた、２次元の画像座標上の値である。

この数３において、スケールファクタｓが消去されると、次の数４および数５から成る連立方程式が導き出される。

これら数４および数５によれば、画像座標値（ｕ，ｖ）と世界座標値（ｘ，ｙ，ｚ）との組合せが少なくとも６組構成されれば、これら６組の組合せから成る連立方程式によって、ｐ_１〜ｐ_１１という合計１１個のカメラパラメータが求められる。ただし、全ての組合せが、同じ平面上、例えばｚ＝０という平面上にある場合は、カメラパラメータは求められない。従って、当該組合せは、少なくとも２つの異なる平面上にあることが、必要とされる。

この実現のために、本実施形態では、まず、図１０に示すように、カメラキャリブレーションの対象となる固定カメラ１２による撮影領域の適当な位置Ｑｅに、指標としての人間４２が立つ。なお、この人間４２の身長は既知であるとする。また、人間４２の立ち位置Ｑｅとしては、マップ画像上においても分かり易いところが、好ましい。

次に、図１１に示すように、マップ画像上において、図１０における人間４２の立ち位置Ｑｅに対応する位置Ｑｆが、例えばマウス１８の操作（クリック操作）によって指定される。これによって、この指定された位置Ｑｆの２次元座標値（α，β）が特定される。さらに、この２次元座標値（α，β）が、上述した数２によって世界座標値（ｘ，ｙ，０）に変換される。この世界座標値（ｘ，ｙ，０）は、図１０における人間４２の足元の位置Ｑｅに対応する。

続いて、人間４２の身長（単位［ｍｍ］）が、例えばキーボード２０の操作によって入力される。入力された身長は、実空間における人間４２の頭部の位置ｚに相当する。つまり、この人間４２の身長が、上述の数２によって変換された世界座標値（ｘ，ｙ，０）に加えられることで、実空間における当該人間４２の頭部の世界座標値（ｘ，ｙ，ｚ）が求められる。

さらに、図１２に示すように、固定カメラ１２による撮影画像上において、人間（厳密には人間の像）４２の足元Ｑｇが、例えばマウス１８の操作によって指定される。これによって、撮影画像における当該足元Ｑｇの画像座標値（ｕ，ｖ）が特定される。

これと同様に、図１３に示すように、固定カメラ１２による撮影画像上において、人間４２の頭部Ｑｈが、マウス１８の操作によって指定される。これによって、撮影画像における当該頭部Ｑｈの画像座標値（ｕ，ｖ）が特定される。

この一連の作業によって、互いに異なる平面上に存在する世界座標値（ｘ，ｙ，０）および（ｘ，ｙ，ｚ）と、それぞれに対応する画像座標値（ｕ，ｖ）と、の組合せが２組得られる。従って、図１０に示した実空間において人間４２が別の位置Ｑｅに移動した上で同様の作業が行われ、この作業が合計で３回行われることによって、画像座標値（ｕ，ｖ）と世界座標値（ｘ，ｙ，ｚ）（（ｘ，ｙ，０）を含む。）との組合せが合計６組得られる。そして、これら６組の組合せから成る連立方程式に基づいて、カメラパラメータｐ_１〜ｐ_１１が求められ、つまりカメラキャリブレーションが実現される。

このように、本実施形態によれば、実空間におけるｚ＝０の平面を模擬したマップ画像上で、図１１に示したように指標としての人間４２の足元の位置Ｑｆが指定され、この指定された足元の位置Ｑｆの２次元座標値（α，β）が、上述した数２によって実空間における世界座標値（ｘ，ｙ，０）に変換される。これによって、図１０に示した実空間における当該人間４２の足元の位置Ｑｅの世界座標値（ｘ，ｙ，０）が求められる。さらに、この足元の位置Ｑｅの世界座標値（ｘ，ｙ，０）に人間４２の身長が加えられることで、当該人間４２の頭部の世界座標値（ｘ，ｙ，ｚ）が得られる。従って、実空間において指標点の世界座標（Ｘｗ，Ｙｗ，Ｚｗ）を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値（ｘ，ｙ，ｚ）（（ｘ，ｙ，０）を含む。）を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、固定カメラ１２による撮影領域が広いほど、顕著である。

なお、他のそれぞれの固定カメラ１２についても、同じマップ画像を用いてカメラキャリブレーションを行うことができる。このようにマップ画像を共有化することで、カメラキャリブレーションに掛かる手間がさらに省ける。

さて、このようにしてカメラキャリブレーションが行われることによって、任意の固定カメラ１２による撮影画像上における２次元の画像座標値（ｕ，ｖ）から実空間における３次元の世界座標値（ｘ，ｙ，ｚ）への変換が、可能となる。例えば、図５に示した人間３０の足元の画像座標値（ｕ，ｖ）は、次のようにして世界座標値（ｘ，ｙ，ｚ）に変換される。

即ち、まず、上述した数４を変形すると、次の数６が導き出される。同様に、数５を変形すると、数７が導き出される。

ここで、実空間における人間３０の足元は地面に接しており、この地面の世界座標における高さ寸法ｚはｚ＝０である、とみなすことができるので、このｚ＝０という条件が数６および数７に当てはめられることによって、次の数８および数９が導き出される。

即ち、数８によって、世界座標のｘ軸における足元の座標値が求められ、数９によって、ｙ軸における当該足元の座標値が求められる。つまり、当該足元の画像座標値（ｕ，ｖ）に対応する世界座標値（ｘ，ｙ，ｚ）（＝（ｘ，ｙ，０））が求められる。

そして、この世界座標値（ｘ，ｙ，ｚ）（＝（ｘ，ｙ，０））が、上述した数２の変形式である次の数１０に代入されることで、マップ画像上における人間３０の足元の２次元座標値（α，β）が求められる。

このようにしてマップ画像上における人間３０の足元の２次元座標値（α，β）が求められることで、図６に示したような移動体マーク３６や軌跡線３８の表示が可能となる。

さらに、数８によって求められたｘ軸における座標値と、数９によって求められたｙ軸における座標値とが、数６に代入されることで、実空間における人間３０の頭部の高さｚを求めるための次の数１１が導き出される。

同様に、数８によって求められたｘ軸における座標値と、数９によって求められたｙ軸における座標値とが、数７に代入されることによっても、実空間における人間３０の頭部の高さ寸法ｚを求めるための次の数１２が導き出される。

なお、このように人間３０の頭部の高さ寸法ｚが求められることによって、当該人間３０の身長も分かる。また、当該高さ寸法ｚを半分にすることで、人間３０の略中心位置を求めることもできる。

そしてさらに、カメラキャリブレーションが精確に行われているか否かを、次のようにして検証することができる。

即ち、図１４（ａ）に示すように、固定カメラ１２による撮影画像上において、高さがゼロの条件を満足する任意の位置、好ましくは実空間およびマップ画像上でも分かり易い（言わば目印となる）位置Ｑｉが、例えばマウス１８の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Ｑｉとして指定された状態を示す。すると、この指定位置Ｑｉの撮影画像上における画像座標値（ｕ，ｖ）が特定される。そして、特定された画像座標値（ｕ，ｖ）が、上述の数８に代入されることで、世界座標のｘ軸における座標値が求められる。併せて、当該画像座標（ｕ，ｖ）が、上述の数９に代入されることで、世界座標のｙ軸における座標値が求められる。

そして、このようにして求められた世界座標のｘ軸およびｙ軸のそれぞれにおける座標値が、上述した数１０に代入されることで、マップ画像における２次元座標値（α，β）が求められる。そして、図１４（ｂ）に示すように、マップ画像上において、当該２次元座標値（α，β）に従う位置Ｑｊにマーカ４６が表示される。このマーカ４６の位置Ｑｊが、図１４（ａ）の撮影画像における指定位置Ｑｉに対応すれば、カメラキャリブレーションが精確に行われたことになる。

一方、例えば図１５に示すように、マップ画像上におけるマーカ４６の位置Ｑｊが、図１４（ａ）の撮影画像における位置Ｑｉと対応しない場合には、カメラキャリブレーションが精確に行われていないことになる。この場合は、例えばマウス１８の操作によって、マップ画像上で、図１４（ｂ）に示した本来の位置Ｑｊが改めて指定される。すると、この位置Ｑｊにおける２次元座標値（α，β）が、上述した数２によって世界座標値（ｘ，ｙ，０）に変換される。そして、この変換された世界座標値（ｘ，ｙ，０）と図１４（ａ）の撮影画像における位置Ｑｉの画像座標値（ｕ，ｖ）との組合せに基づいて、改めてカメラキャリブレーションが行われる。具体的には、この新たな組合せと先に求められた組合せとに基づいて、上述した数４および数５の連立方程式が解かれる。このとき、各カメラパラメータｐ_１〜ｐ_１１のそれぞれについて、複数個の解が求められるので、例えば最小２乗法等の回帰分析法によって、当該各カメラパラメータｐ_１〜ｐ_１１として最良の値が求められる。このような修正が成されることで、カメラキャリブレーションの精度が向上する。

また、カメラキャリブレーションの精度を検証するのに、例えば図１６に示すように、固定カメラ１２による撮影画像上において、適宜の目盛、例えば格子状のグリッド４８、を表示させることもできる。即ち、世界座標上における当該固定カメラ１２による撮影領域において、ｚ＝０という条件で複数個の世界座標値（ｘ，ｙ，０）が一定の間隔で設定される。そして、それぞれの世界座標値（ｘ，ｙ，０）が上述した数４および数５に代入されることで、それぞれに対応する画像座標値（ｕ，ｖ）が求められる。そして、これらの画像座標値（ｕ，ｖ）に従う各位置（座標点）が互いに直線５０，５０，…で結ばれることによって、これらの直線５０，５０，…から成るグリッド４８が撮影画像上に表示される。なお、図１６においては、グリッド４８が、実空間においてｘ軸に平行な柵および建物の壁に沿って延伸しているので、カメラキャリブレーションが精確に行われているものと、認められる。

さらに、本実施形態においては、それぞれの旋回型カメラ１４の設置条件、詳しくは図１７に例示する実空間における当該旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅについても、上述したマップ画像を用いることで、簡単に特定することができる。即ち、旋回型カメラ１４は、図示しないポール上や建物の壁面等に設置されるが、その設置位置Ｑｋ、特に世界座標値（ｘ’，ｙ’，ｚ’）について、何ら配慮されないまま設置されることがある。また、旋回型カメラ１４においては、所定の基準方向Ｅが決められており、この基準方向Ｅに対するパン角θおよびチルト角ρによって、当該旋回型カメラ１４の向きが制御される。ところが、この基準方向Ｅについても、何ら配慮されないまま、設置されることがある。例えば、実空間における世界座標（ｘ，ｙ，ｚ）を用いて、上述した自動追尾を行うには、これら設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅが既知である必要がある。言い換えれば、これら設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅが既知であれば、当該世界座標（ｘ，ｙ，ｚ）を用いた自動追尾を行うことができる。なお、この世界座標（ｘ，ｙ，ｚ）を用いた自動追尾の実現例は、例えば特開２００５−３３７７号公報に開示されている。そこで、本実施形態においては、マップ画像を用いることで、旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅを簡単に特定することのできる手法についても、説明する。

改めて図１７を参照して、例えば、今、旋回型カメラ１４が、世界座標におけるｚ軸に平行な直線を中心としてパン方向に旋回し、かつ、当該世界座標のｘ軸−ｙ軸平面に平行な直線を中心としてチルト方向に旋回するように、設置されている、とする。併せて、基準方向Ｅが、世界座標のｘ軸−ｙ軸平面に平行であり、かつ、当該ｘ軸−ｙ軸平面に平行な平面においてｘ軸に沿う方向に対して或る角度、言わばオフセット角θ_０、を成している、と仮定する。なお、パン角θおよびチルト角ρの単位は、［ｒａｄ］（ラジアン）である。また、パン角θについては、旋回型カメラ１４を上方から見たときに反時計回りの方向がプラス（＋）であり、チルト角ρについては、水平よりも下方の方向がプラス（＋）である、とする。そして、これらパン角θおよびチルト角ρについては、それぞれの値を旋回型カメラ１４から取得することができる、とする。

このような状態において、旋回型カメラ１４が実空間における或る位置Ｑｍを注視しており、この注視点Ｑｍの世界座標値が（ｘ”，ｙ”，ｚ”）である、とする。すると、次の数１３および数１４が成立する。

これらの数１３および数１４によれば、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と、この注視点Ｑｍに旋回型カメラ１４が向いているとき、詳しくは注視点Ｑｍが旋回型カメラ１４の光軸上に存在するときの、当該旋回型カメラ１４のパン角θおよびチルト角ρが与えられると、この旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）と上述のオフセット角θ_０とを未知数とした、２つの方程式が成立する。従って、これら注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが少なくとも２組以上得られると、当該４つの未知数ｘ’，ｙ’，ｚ’およびθ_０を求めることができる。

そこで、まず、図１８に示すように、上述したマップ画像上で、例えばマウス１８の操作によって任意の位置、好ましくは実空間および旋回型カメラ１４による撮影画像上のいずれでも分かり易い位置Ｑｎが、注視点として指定される。そして、この注視点Ｑｎにおける当該マップ画像上の２次元座標値（α，β）が特定されると共に、この２次元座標値（α，β）が上述した数２に代入されることで、図１７に示した実空間における注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）が求められる。なお、この実空間における注視点Ｑｍの高さｚ’は、ゼロであるのが、好ましい。ゼロでない場合には、例えばキーボード２０の操作によって当該高さｚ’の実測値が設定される。

続いて、旋回型カメラ１４が、手動制御によって、実空間における注視点Ｑｍに向けられる。そして、このときの当該旋回型カメラ１４のパン角θおよびチルト角ρが取得される。この一連の作業によって、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが得られる。そして、異なる注視点Ｑｍについて、同じ作業が合計２回行われることによって、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが合計２組得られる。そして、この２組の組合せから成る連立方程式に基づいて、旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められる。

このようにして旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められることで、実空間における任意の世界座標値（ｘ，ｙ，ｚ）が与えられると、この世界座標値（ｘ，ｙ，ｚ）に対応する位置に旋回型カメラ１４を向かせるためのパン角θおよびチルト角ρが求められる。つまり、パン角θは、上述の数１３の変形式である次の数１５によって求められ、チルト角ρは、数１４の変形式である数１６によって求められる。

なお、この旋回型カメラ１４の設置条件の特定が精確に成されたか否かについては、次のようにして検証することができる。

即ち、図１９（ａ）に示すように、マップ画像上において、任意の位置、好ましくは実空間および旋回型カメラ１４による撮影画像上のいずれでも分かり易い位置Ｑｏが、例えばマウス１８の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Ｑｏとして指定された状態を示す。すると、この指定位置Ｑｏのマップ画像上における２次元座標値（α，β）が特定され、さらに、この特定された２次元座標値（α，β）が、上述した数２によって世界座標値（ｘ，ｙ，０）に変換される。そして、この変換された世界座標値（ｘ，ｙ，０）が図１７に示した注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）として上述の数１５および数１６のそれぞれに代入されることで、当該注視点Ｑｍに旋回型カメラ１４を向けるためのパン角θおよびチルト角ρが求められる。そして、この求められたパン角θおよびチルト角ρに基づいて旋回型カメラ１４が旋回することで、図１９（ｂ）に示すように、注視点Ｑｍに対応する位置Ｑｐが撮影画像の中央に映し出される。このように、位置Ｑｐが撮影画像の略中央に映し出されることで、旋回型カメラ１４の設置条件の特定が精確に行われたことが、確認される。

一方、旋回型カメラ１４による撮影画像上の略中央に位置Ｑｐが映し出されない場合には、当該旋回型カメラ１４の設置条件の特定が精確に行われていないことになる。この場合は、例えば旋回型カメラ１４による撮影画像上の略中央に位置Ｑｐが映し出されるように、当該旋回型カメラ１４の向きが手動制御で変更される。そして、この変更後の旋回型カメラ１４のパン角θおよびチルト角ρが取得される。これにより、今現在の注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが得られる。そして、この新たな組合せと先に求められた組合せとに基づいて、改めて旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められる。この修正により、特定精度が向上する。なお、この修正においても、上述したカメラキャリブレーションの修正時と同様に、最小２乗法等の回帰分析法を用いてもよい。

このように、本実施形態によれば、実空間における任意の位置に注視点Ｑｍが設定され、この注視点Ｑｍにおける世界座標値（ｘ”，ｙ”，ｚ”）と、当該注視点Ｑｍに旋回型カメラ１４が向けられているときのパン角αおよびチルト角ρと、に基づいて、つまり幾何学的な計算に基づいて、当該旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とを含む設置条件が特定される。従って、測量装置によって、或いはメジャーや磁気コンパス等の手動道具を用いて、さらには目測によって、旋回型カメラの設置条件が特定される、という上述した従来技術に比べて、簡単かつ精確に当該特定が行われる。しかも、実空間における注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）は、マップ画像を利用して求められるので、当該特定のための作業の効率がさらに向上する。

なお、マップ画像を用いなくても、実空間における注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）を直接的に求め、ひいては旋回型カメラ１４の位置条件を特定することはできる。ただし、マップ画像を用いた方が効率的であることは、言うまでもない。

また、上述したカメラキャリブレーションにおいては、射影変換行列を採用したが、これに限らない。例えば、公知文献［R.Y.Tsai, “A versatile camera calibration technique for
high-accuracy 3D machine vision metrology using off-the shelf TV cameras and
lenses,” IEEE Journal of Robotics and Automation, vol.RA-3, no.4, pp.323-331,
Aug.1987］に開示されている手法を採用してもよい。

さらに、当該カメラキャリブレーションにおいて、既知の身長の人間を指標として利用したが、人間以外の指標、例えば棒状のものや、円錐状のものを利用してもよい。また、指標として特別なものを用意しなくても、例えば建物の角部や門柱等のように、外観的に特徴のある既存のもの（部分）を、当該指標として利用してもよい。ただし、この場合も、指標の寸法（特に高さ寸法）が既知であることが、必要とされる。

そして、図８に示したスケーラ４０は、１つの設定例であり、これに限定されない。即ち、当該図８において、スケーラ４０は、垂直方向に沿って延伸しているが、水平方向や斜め方向等の他の方向に沿って延伸するものであってもよい。ただし、上述したように、実空間における当該スケーラ４０に対応する部分の実寸が正確に分かっていることが、必要である。言い換えれば、当該実寸が正確に分かっているのであれば、スケーラ４０は、直線に限らず、曲線であってもよい。要するに、スケーラ４０と実空間における当該スケーラ４０に対応する部分とが、幾何学的に相似であり、かつそれぞれの長さ寸法ＬｍおよびＬｗが正確に分かればよい。

また、本実施形態においては、建物を含む敷地内の監視用途に本発明を適用したが、これに限らない。例えば、建物内における監視に本発明を適用してもよいし、監視用途以外にも本発明を適用してもよい。

そして、上述のカメラキャリブレーションおよび旋回型カメラ１４の設置条件の特定は、ＰＣ１６によって実現されるが、例えば専用の装置によって実現されてもよい。

さらに、例えば、図６に示したように移動体マーク３６および軌跡線３８を表示させる機能と、自動追尾機能とを、互いに別々の装置によって実現してもよい。また、全てが別々の装置でなくとも、例えばディスプレイ２４のみについて、移動体マーク３６および軌跡線３８を含むマップ画像を表示させるものと、自動追尾を行っている旋回型カメラ１４による撮影画像を表示させるものと、固定カメラ１２による撮影画像を表示させるものとを、別々に設けてもよい。

なお、自動追尾機能は、上述した移動体検出技術を含め、これを実現するための構成が比較的に複雑かつ高価であるので、これに代えて、次のマップポイントビュー機能という一種手動的な追尾機能を設けてもよい。

即ち、このマップポイントビュー機能によれば、マップ画像上でオペレータが注目したい位置、例えば図２０（ａ）に示すような任意の位置Ｑｑが、マウス１８またはキーボード２０の操作によって指定される。すると、指定された位置Ｑｑに対応する実空間中の位置Ｑｒに後述する高さ寸法γを加えた位置Ｑｓに向けて、当該位置Ｑｓ（厳密には位置Ｑｒ）を撮影可能な旋回型カメラ１４、例えば図２に示した南西隅ａにある旋回型カメラ１４が、自動的に旋回される。この結果、当該南西隅ａにある旋回型カメラ１４から、図２０（ｂ）に示すような撮影画像、詳しくは、位置Ｑｓが中央に映し出されると共に、当該位置Ｑｓを含む被写界面（等価撮像面）の幅寸法δが一定の撮影画像が、得られる。なお、図２０（ｂ）の撮影画像は、実空間中の位置Ｑｓ（つまり位置Ｑｒ）に人間６０が存在する状態を示す。また、図示しないが、南東隅ｂにある旋回型カメラ１４からも、同様の撮影画像、つまり位置Ｑｓが中央に映し出されると共に、当該位置Ｑｓを含む被写界面の幅寸法δが一定の撮影画像が、得られる。

このマップポイントビュー機能を実現するために、それぞれの旋回型カメラ１４について、予めマップ画像上で撮影可能領域が設定される。例えば、南西隅ａにある旋回型カメラ１４については、図２１に斜線模様６２で示すように、南側領域と西側領域とを含む多角形状の撮影可能領域が設定される。詳しくは、マウス１８またはキーボード２０の操作によって当該多角形の各頂点が指定されると、これら各頂点を結ぶ閉領域が撮影可能領域６２として設定される。これと同様に、他のそれぞれの旋回型カメラ１４についても、撮影可能領域６２が適宜に設定される。

さらに、図２２を参照して、位置Ｑｒから位置Ｑｓまでの高さ寸法γが、例えばキーボード２０の操作によって［ｍｍ］単位で任意に設定される。併せて、位置Ｑｓを含む被写界面の幅寸法δも、キーボード２０の操作によって［ｍｍ］単位で任意に設定される。なお、位置Ｑｓを含む被写界面の幅寸法δは、その被写界面を形成する旋回型カメラ１４から当該位置Ｑｓまでの距離εと、当該旋回型カメラ１４の画角φと、の間で、次の数１７によって表される関係にある。

これらの高さ寸法γと被写界面の幅寸法δとは、図２０（ｂ）に示したように、人間６０が主たる撮影対象となることを前提として、適宜に設定される。例えば、図２０（ｂ）に示したように、人間６０の全身が撮影画像の略一杯に映し出されるようにすると、当該人間６０の全体的な容姿を把握するのに好都合である。これを実現するには、被写界面の幅寸法δがδ＝３０００［ｍｍ］とされ、高さ寸法γがγ＝１０００［ｍｍ］とされるのが、適当である。また、例えば、被写界面の幅寸法δがδ＝１０００［ｍｍ］とされ、高さ寸法γがγ＝１５００［ｍｍ］とされると、図２３に示すように、人間６０の顔が撮影画像の略中央に比較的に大きめに映し出される。この態様は、人間６０の顔の特徴や表情を把握するのに、好適である。さらに、例えば、被写界面の幅寸法δがδ＝５０００［ｍｍ］とされ、高さ寸法γがγ＝８００［ｍｍ］とされると、図２４に示すように、人間６０の全身が撮影画像の中央に比較的に小さめに映し出される。この態様は、人間６０の全体的な容姿（雰囲気）を感覚的に認識すると共に、その人間６０の行動を予測するのに、好適である。なお、これらの高さγと水平方向の視野寸法δについても、それぞれの旋回型カメラ１４ごとに任意に設定可能とされている。

このように、それぞれの旋回型カメラ１４について、撮影可能領域６２が設定されると共に、高さ寸法γおよび被写界面の幅寸法δが設定されることによって、マップポイントビュー機能が有効になる。即ち、上述の如くマップ画像上の任意の位置Ｑｑが指定されると、この指定された位置Ｑｑの当該マップ画像上における２次元座標値（α，β）が特定される。そして、特定された位置Ｑｑの２次元座標値（α，β）が上述の式２に代入されることで、当該位置Ｑｑに対応する実空間中の位置Ｑｒの世界座標値（ｘ，ｙ，０）が求められる。さらに、この位置Ｑｒの世界座標値（ｘ，ｙ，０）に高さ寸法γが加えられることで、目標点となる位置Ｑｓの世界座標値（ｘ，ｙ，γ）が求められる。

その一方で、マップ画像上の位置Ｑｑの２次元座標値（α，β）から、当該位置Ｑｑを撮影可能領域６２に含む旋回型カメラ１４が特定される。そして、特定された旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが上述の数１５および数１６に代入されると共に、目標点となる位置Ｑｓの世界座標値（ｘ，ｙ，γ）が当該数１５および数１６における（ｘ”，ｙ”，ｚ”）に代入されることで、当該特定された旋回型カメラ１４を目標点となる位置Ｑｓに向けるためのパン角θおよびチルト角ρが求められる。そして、求められたパン角θおよびチルト角ρに基づいて旋回型カメラ１４が旋回する。これによって、当該旋回型カメラ１４の向きが目標点となる位置Ｑｓに向けられる。

さらに、この目標点となる位置Ｑｓに向けられた旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）と、当該位置Ｑｓの世界座標値（ｘ，ｙ，γ）と、に基づいて、これら両者間の距離εが求められる。そして、この距離εと、予め設定された被写界面の幅寸法δとが、上述した数１７の変形式である次の数１８に代入されることで、目標点となる位置Ｑｓに向けられた旋回型カメラ１４の画角φが求められ、これに応じて、当該旋回型カメラ１４の画角φ（ズーム倍率）が制御される。

この結果、目標点となる位置Ｑｓに向けられた旋回型カメラ１４から、当該位置Ｑｓを中心とし、かつ、この位置Ｑｓを含む被写界面の幅寸法δが一定の撮影画像が得られる。即ち、一連のマップポイントビュー機能が実現される。このマップポイントビュー機能は、上述した自動追尾機能と同様に、それぞれの旋回型カメラ１４の設置条件（設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）およびオフセット角θ_０）が精確に特定されることによってはじめて、その本領を発揮する。

なお、このマップポイントビュー機能においては、上述した高さ寸法γと被写界面の幅寸法δとの組合せが予めいくつか設定（プリセット）されており（厳密にはＰＣ１６内の図示しないメモリ回路等の記憶手段に記憶されており）、これらの組合せの中から希望のものを任意に選択することができるようにしてもよい。この場合、特に、図２５に示すように、複数種類、例えば“Ａ”，“Ｂ”および“Ｃ”という３種類、のアイコン７０，７２および７４がディスプレイ２４に表示され、これらのアイコン７０，７２および７４のいずれかが当該ディスプレイ２４上で選択（クリック）されると、これに応じた高さ寸法γと被写界面の幅寸法δとが自動的に設定されるようにしてもよい。具体的には、“Ａ”というアイコン７０が選択されると、図２３に示した態様となり、“Ｂ”というアイコン７２が選択されると、図２０（ｂ）に示した態様となり、“Ｃ”というアイコン７４が選択されると、図２４に示した態様となるようにしてもよい。

図２５に示した各アイコン７０，７２および７４は、操作子としての一例であり、これに限定されない。例えば、図２５においては、これらのアイコン７０，７２および７４に、人間の姿を模擬した図柄（シンボル）が付されているが、これに代えて、ルーペや建物等の外形を模擬した他の図柄を採用してもよい。また、アイコン７０，７２および７４という言わばソフトウェア的な操作子に代えて、押しボタンやスイッチ等のハードウェア的な操作子（電子部品）を採用し、これらに適当な図柄を付してもよい。

また、図２６に示すように、マップ画像上に、各旋回型カメラ１４，１４，…を表すマーク８０，８０，…が表示されるようにしてもよい。さらに、この場合、マップ画像上で指定された位置Ｑｑと、この位置Ｑｑに対応する目標点としての位置Ｑｓに向けられる旋回型カメラ１４を表すマーク８０と、を結ぶように、概略扇状の別のマーク８２が、当該マップ画像上に表示されるようにしてもよい。この概略扇状のマーク８２は、目標点としての位置Ｑｓが、どの旋回型カメラ１４によって、どのような態様（特に画角φ）で撮影されているのかを、模擬的に表すものであり、当該旋回型カメラ１４に対応するマーク８０から指定位置Ｑｑに向けての広がり角（中心角）φ’は、当該旋回型カメラ１４の実際の画角φに応じて変化する。なお、図２６は、南西隅ａにある旋回型カメラ１４によって、指定位置Ｑｑに対応する目標点としての位置Ｑｓが、広がり角φ’に応じた画角φで、撮影されている状態を示す。また、図示しないが、南東隅ｂにある旋回型カメラ１４を表すマーク８０についても、同様に、これと指定位置Ｑｑとを結ぶ概略扇状状のマーク８２が表示される。

Claims (3)

1. 撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーションの結果を検証する装置であって、
   上記世界座標を構成する３つの座標軸の１つである所定座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示手段と、
   上記撮影画像上で任意の位置を指定する第１指定手段と、
   上記第１指定手段による指定位置についての上記画像座標の座標値を上記カメラパラメータに基づいて上記平面における上記世界座標の座標値に変換する第１変換手段と、
   上記第１変換手段によって変換された上記世界座標の座標値を該世界座標および上記２次元座標の相関関係に基づいて該２次元座標の座標値に変換する第２変換手段と、
   上記第２変換手段によって変換された上記２次元座標の座標値に従う上記模擬画像上の位置にマーカを表示するマーカ表示手段と、
   を具備し、
   上記カメラパラメータは上記撮影領域の適当な位置についての上記世界座標の座標値と該適当な位置に対応する上記撮影画像上の位置についての上記画像座標の座標値との組合せである第１組合せに基づいて求められ、
   さらに、上記模擬画像上に表示された上記マーカの位置が上記第１指定手段による指定位置に対応しないとき該模擬画像上で該第１指定手段による指定位置に対応する本来の位置を指定する第２指定手段と、
   上記第２指定手段による指定位置についての上記２次元座標の座標値を上記相関関係に基づいて上記世界座標の座標値に変換する第３変換手段と、
   上記第３変換手段によって変換された上記世界座標の座標値と上記第１指定手段による指定位置についての上記画像座標の座標値との組合せである第２組合せと上記第１組合せとに基づいて改めて上記カメラパラメータを求めるカメラパラメータ修正手段と、
   を具備する、
   カメラキャリブレーション結果検証装置。
2. 上記所定座標軸は上記実空間の高さ方向を規定し、
   上記模擬画像は上記実空間の高さがゼロの上記平面を模擬した画像である、
   請求項１に記載のカメラキャリブレーション結果検証装置。
3. 撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーションの結果を検証する方法であって、
   上記世界座標を構成する３つの座標軸の１つである所定座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示過程と、
   上記撮影画像上で任意の位置を指定する第１指定過程と、
   上記第１指定過程による指定位置についての上記画像座標の座標値を上記カメラパラメータに基づいて上記平面における上記世界座標の座標値に変換する第１変換過程と、
   上記第１変換過程によって変換された上記世界座標の座標値を該世界座標および上記２次元座標の相関関係に基づいて該２次元座標の座標値に変換する第２変換過程と、
   上記第２変換過程によって変換された上記２次元座標の座標値に従う上記模擬画像上の位置にマーカを表示するマーカ表示過程と、
   を具備し、
   上記カメラパラメータは上記撮影領域の適当な位置についての上記世界座標の座標値と該適当な位置に対応する上記撮影画像上の位置についての上記画像座標の座標値との組合せである第１組合せに基づいて求められ、
   さらに、上記模擬画像上に表示された上記マーカの位置が上記第１指定過程による指定位置に対応しないとき該模擬画像上で該第１指定過程による指定位置に対応する本来の位置を指定する第２指定過程と、
   上記第２指定過程による指定位置についての上記２次元座標の座標値を上記相関関係に基づいて上記世界座標の座標値に変換する第３変換過程と、
   上記第３変換過程によって変換された上記世界座標の座標値と上記第１指定過程による指定位置についての上記画像座標の座標値との組合せである第２組合せと上記第１組合せとに基づいて改めて上記カメラパラメータを求めるカメラパラメータ修正過程と、
   を具備する、
   カメラキャリブレーション結果検証方法。

Images