JP7239015B2 - カメラ校正装置、カメラ校正方法、及びプログラム - Google Patents

Description

本開示は、カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体に関する。

カメラで撮影された画像の３次元解析を行うために、カメラの光学的な特性及びカメラの位置関係を明らかにすることが必要である。光学的な特性は個々のカメラごとに固有なパラメータであり、例えば焦点距離、レンズ歪、光学中心座標などを指し、総称して内部パラメータと呼ばれる。内部パラメータは、ズーム値変更や異なるレンズに交換しない限り不変である。カメラの位置関係を表すパラメータは、回転行列と並進ベクトルを指し、「外部パラメータ」と呼ばれる。外部パラメータは、世界座標系（３次元座標）の原点に対してカメラを動かさない限り不変である。これら内部パラメータ及び外部パラメータが既知であれば、画像上での被写体の大きさや長さを物理的な距離（例えばメートル）に変換したり、被写体の３次元形状を復元したりすることが可能となる。これらの内部パラメータ及び外部パラメータの一方又は両方を計算することを、カメラ校正又はカメラキャリブレーションと呼ぶ。また、内部パラメータ及び外部パラメータの一方を、又は、両方を区別することなく、単に「カメラパラメータ」とも呼ぶ。

カメラパラメータを算出する方法として、例えば非特許文献１に記載のＴｓａｉの方法や非特許文献２に記載のＺｈａｎｇの方法が広く知られている。これらの方法は、校正物体（例えば校正ボード）を用いる方法であり、校正物体上に描かれた模様の世界座標（３次元座標）と、該模様が画像上で観測された画像座標とを紐づけて、カメラパラメータを計算する。

Tsai, Roger. "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses." IEEE Journal on Robotics and Automation 3.4 (1987): 323-344. Zhang, Zhengyou. "A flexible new technique for camera calibration." IEEE Transactions on pattern analysis and machine intelligence 22 (2000).

しかしながら、非特許文献１，２に開示の方法は、屋外のような広い空間に設置され且つ広域の環境を観測するカメラを校正するためには、該カメラの広い視野をカバーするために、巨大な校正物体を必要とする。このため、事実上校正が不可能であるか、又は、可能であったとしても利便性が良くない可能性がある。例えば、巨大な校正物体を準備できたとしても、撮影の間、校正物体を遮る物が一切映らないようにする必要がある。例えば道路監視カメラの場合、歩行者や車の交通制限が必要である。

本開示の目的は、より簡便な方法でカメラパラメータを算出することができる、カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体を提供することにある。

第１の態様にかかるカメラ校正装置は、カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布する、取得手段と、
前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出する消失点算出手段と、
前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出するカメラパラメータ算出手段と、
を具備する。

第２の態様にかかるカメラ校正方法は、カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布し、
前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出し、
前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出する。

第３の態様にかかる非一時的なコンピュータ可読媒体は、カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布し、
前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出し、
前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出する、
処理を、カメラ校正装置に実行させるプログラムが格納している。

本開示により、より簡便な方法でカメラパラメータを算出することができる、カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体を提供することができる。

第１実施形態におけるカメラ校正装置の一例を示すブロック図である。 第２実施形態におけるカメラ校正装置の一例を示すブロック図である。 第２実施形態におけるカメラ校正装置による処理動作の一例を示すフローチャートである。 第２実施形態におけるカメラ校正装置による処理動作の一例の説明に供する図である。 第２実施形態におけるカメラ校正装置による処理動作の一例の説明に供する図である。 他の実施形態＜１＞におけるカメラ校正装置の一例を示すブロック図である。 他の実施形態＜１＞におけるカメラ校正装置の他の一例を示すブロック図である。 カメラ校正装置のハードウェア構成例を示す図である。

以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。

＜第１実施形態＞
図１は、第１実施形態におけるカメラ校正装置の一例を示すブロック図である。図１のカメラ校正装置１０は、単一のカメラ（不図示）による撮影時に用いられるカメラパラメータを算出（校正）するための装置である。図１においてカメラ校正装置１０は、取得部１１と、消失点算出部１２と、カメラパラメータ算出部１３とを有している。

取得部１１は、カメラ（不図示）によって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる「複数の人物画像」から抽出された、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を取得する。「第１座標ペア」は、「第１種部位」の「第１画像系座標」及び「第２種部位」の「第２画像系座標」を含む。また、「第２座標ペア」は、「第１種部位」の「第３画像系座標」及び「第２種部位」の「第４画像系座標」を含む。「第１種部位」及び「第２種部位」は、世界座標空間において水平方向に分布する（並ぶ）、人物の部位である。また、「第３座標ペア」は、「第３種部位」の「第５画像系座標」及び「第４種部位」の「第６画像系座標」を含む。また、「第４座標ペア」は、「第３種部位」の「第７画像系座標」及び「第４種部位」の「第８画像系座標」を含む。「第３種部位」及び「第４種部位」は、世界座標空間において鉛直方向に分布する（並ぶ）、人物の部位である。なお、「部位」の粒度は、自由に定義されてよい。「第１画像系座標」から「第８画像系座標」のそれぞれは、例えば、画像平面を規定する２次元の座標にスケール不定性を加えた３次元座標、所謂「同次座標」で表されている。

ここで、例えば、第１座標ペア及び第３座標ペアは、一の人物の「第１人物画像」から抽出された画像系座標を含んでいる。また、第２座標ペア及び第４座標ペアは、第１人物画像が含まれる画像に含まれる他の人物の「第２人物画像」から、又は、第１人物画像が含まれる画像と異なる画像に含まれる上記一の人物の「第３人物画像」から、抽出されている。

また、第１種部位及び第２種部位の組み合わせは、左肩関節及び右肩関節の組み合わせ、左股関節及び右股関節の組み合わせ、左目及び右目の組み合わせ、左耳及び右耳の組み合わせ、左膝及び右膝の組み合わせ、又は、左足首及び右足首の組み合わせであってもよい。また、第３種部位及び第４種部位の組み合わせは、背骨の上端部と下端部との組み合わせ、頭頂部と腰部との組み合わせ、（特に静止した人の）股関節と膝との組み合わせ、又は、肘と手首との組み合わせであってもよい。

消失点算出部１２は、取得部１１によって取得された第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。

カメラパラメータ算出部１３は、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ（不図示）のカメラパラメータを算出する。

以上のように第１実施形態によれば、カメラ校正装置１０にて消失点算出部１２は、取得部１１によって取得された、上記の第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された、上記の第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。カメラパラメータ算出部１３は、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ（不図示）のカメラパラメータを算出する。

このカメラ校正装置１０の構成により、人の所定部位の画像系座標を用いてカメラパラメータを算出するので、校正物体を必要とすることなく、より簡便な方法でカメラパラメータを算出することができる。

＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。

＜カメラ校正装置の構成例＞
図２は、第２実施形態におけるカメラ校正装置の一例を示すブロック図である。図２において第２実施形態におけるカメラ校正装置１０は、第１実施形態と同様に、取得部１１と、消失点算出部１２と、カメラパラメータ算出部１３とを有している。

第２実施形態における取得部１１は、第１実施形態と同様に、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を取得する。

第２実施形態における消失点算出部１２は、第１実施形態と同様に、取得部１１によって取得された第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。

例えば、第２実施形態における消失点算出部１２は、第１画像系座標を終点とする「第１画像系ベクトル」と第２画像系座標を終点とする「第２画像系ベクトル」とのクロス積を算出して、第１画像系座標又は第２画像系座標を通る第１直線の方向ベクトルである「第１直線方向ベクトル」を算出する。また、消失点算出部１２は、第３画像系座標を終点とする「第３画像系ベクトル」と第４画像系座標を終点とする「第４画像系ベクトル」とのクロス積を算出して、第３画像系座標又は第４画像系座標を通る第２直線の方向ベクトルである「第２直線方向ベクトル」を算出する。また、消失点算出部１２は、第５画像系座標を終点とする「第５画像系ベクトル」と第６画像系座標を終点とする「第６画像系ベクトル」とのクロス積を算出して、第５画像系座標又は第６画像系座標を通る第３直線の方向ベクトルである「第３直線方向ベクトル」を算出する。また、消失点算出部１２は、第７画像系座標を終点とする「第７画像系ベクトル」と第８画像系座標を終点とする「第８画像系ベクトル」とのクロス積を算出して、第７画像系座標又は第８画像系座標を通る第４直線の方向ベクトルである「第４直線方向ベクトル」を算出する。なお、「第１画像系ベクトル」乃至「第８画像系ベクトル」のそれぞれの始点は、画像系の原点である。

そして、消失点算出部１２は、第１直線方向ベクトルと第２直線方向ベクトルとのクロス積を算出して、第１消失点に向かう「第１消失点ベクトル」を算出する。また、消失点算出部１２は、第３直線方向ベクトルと第４直線方向ベクトルとのクロス積を算出して、第２消失点に向かう「第２消失点ベクトル」を算出する。

第２実施形態におけるカメラパラメータ算出部１３は、内部パラメータ算出部１３Ａと、外部パラメータ算出部１３Ｂとを有している。

内部パラメータ算出部１３Ａは、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ（後述するカメラ２０に対応）の内部パラメータを算出する。

外部パラメータ算出部１３Ｂは、消失点算出部１２によって算出された第１消失点及び第２消失点、並びに、内部パラメータ算出部１３Ａによって算出された内部パラメータに基づいて、カメラ（後述するカメラ２０に対応）の外部パラメータを算出する。

＜カメラ校正装置の動作例＞
以上の構成を有するカメラ校正装置による処理動作の一例について説明する。図３は、第２実施形態におけるカメラ校正装置による処理動作の一例を示すフローチャートである。

取得部１１は、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を取得する（ステップＳ１０１）。

ここで、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」は、例えば図４に示すように設置されたカメラ２０によって、２人の人Ｈ１，Ｈ２が存在する世界座標空間が撮影された１つの画像から抽出されたものである。人Ｈ１，Ｈ２は、撮影環境において同じ方向に向かっている。また、ここでは、第１種部位及び第２種部位は、それぞれ、右肩及び左肩としている。また、第３種部位及び第４種部位は、それぞれ、背骨の上端部及び下端部（例えば、首の付け根及び尾骨）としている。

図５には、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」が示されている。具体的には、画像系座標ｍ_１及び画像系座標ｍ_２が「第１座標ペア」であり、画像系座標ｍ_３及び画像系座標ｍ_４が「第３座標ペア」である。「第１座標ペア」及び「第３座標ペア」は、人Ｈ１に対応している。すなわち、画像系座標ｍ_１、画像系座標ｍ_２、画像系座標ｍ_３、及び画像系座標ｍ_４は、それぞれ、人Ｈ１の右肩Ｐ１１、左肩Ｐ１２、背骨の上端部Ｐ１３、及び下端部Ｐ１４に対応している。また、画像系座標ｍ_１’及び画像系座標ｍ_２’が「第２座標ペア」であり、画像系座標ｍ_３’及び画像系座標ｍ_４’が「第４座標ペア」である。「第２座標ペア」及び「第４座標ペア」は、人Ｈ２に対応している。すなわち、画像系座標ｍ_１’、画像系座標ｍ_２’、画像系座標ｍ_３’、及び画像系座標ｍ_４’は、それぞれ、人Ｈ２の右肩Ｐ２１、左肩Ｐ２２、背骨の上端部Ｐ２３、及び下端部Ｐ２４に対応している。画像系座標ｍ_１、画像系座標ｍ_２、画像系座標ｍ_３、画像系座標ｍ_４、画像系座標ｍ_１’、画像系座標ｍ_２’、画像系座標ｍ_３’、及び画像系座標ｍ_４’は、それぞれ、画像平面を規定する２次元の座標にスケール不定性を加えた３次元座標、所謂「同次座標」で表されているものとする。図４，５は、第２実施形態におけるカメラ校正装置による処理動作の一例の説明に供する図である。

図３の説明に戻り、消失点算出部１２は、取得部１１によって取得された第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する（ステップＳ１０２）。

具体的には、消失点算出部１２は、第１画像系ベクトルｍ_１と第２画像系ベクトルｍ_２とのクロス積を算出して、画像系座標ｍ_１又は画像系座標ｍ_２を通る第１直線の方向ベクトルである第１直線方向ベクトルｌ_１を算出する（図５参照）。すなわち、第１直線方向ベクトルｌ_１は、第１画像系ベクトルｍ_１及び第２画像系ベクトルｍ_２の両方と直交する。また、消失点算出部１２は、第３画像系ベクトルｍ_１’と第４画像系ベクトルｍ_２’とのクロス積を算出して、画像系座標ｍ_１’又は画像系座標ｍ_２’を通る第２直線の方向ベクトルである第２直線方向ベクトルｌ_２を算出する。また、消失点算出部１２は、第５画像系ベクトルｍ_３と第６画像系ベクトルｍ_４とのクロス積を算出して、画像系座標ｍ_３又は画像系座標ｍ_４を通る第３直線の方向ベクトルである第３直線方向ベクトルｌ_３を算出する。また、消失点算出部１２は、第７画像系ベクトルｍ_３’と第８画像系ベクトルｍ_４’とのクロス積を算出して、画像系座標ｍ_３’又は画像系座標ｍ_４’を通る第４直線の方向ベクトルである第４直線方向ベクトルｌ_４を算出する。

すなわち、消失点算出部１２は、次の式（１）を用いて、第１直線方向ベクトルｌ_１、第２直線方向ベクトルｌ_２、第３直線方向ベクトルｌ_３、及び、第４直線方向ベクトルｌ_４を算出する。

ただし、「×」は、３次元ベクトル同士のクロス積（外積）を表す演算子である。

そして、消失点算出部１２は、第１直線方向ベクトルｌ_１と第２直線方向ベクトルｌ_２とのクロス積を算出して、第１消失点Ｖ_ｘに向かう第１消失点ベクトルＶ_ｘを算出する。また、消失点算出部１２は、第３直線方向ベクトルｌ_３と第４直線方向ベクトルｌ_４とのクロス積を算出して、第２消失点Ｖ_ｙに向かう第２消失点ベクトルＶ_ｙを算出する。

すなわち、消失点算出部１２は、次の式（２）を用いて、第１消失点ベクトルＶ_ｘ及び第２消失点ベクトルＶ_ｙを算出する。

図３の説明に戻り、内部パラメータ算出部１３Ａは、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ２０の内部パラメータを算出する（ステップＳ１０３）。

ここで、第１消失点ベクトル（水平方向の消失点）Ｖ_ｘ及び第２消失点ベクトル（鉛直方向の消失点）Ｖ_ｙは、次の式（３）によっても表すことができる。なお、式（３）は、世界座標系のＸ軸の単位ベクトルを射影することで、第１消失点ベクトル（水平方向の消失点）Ｖ_ｘとスケールが異なるベクトルを求めることができることを示している。同様に、式（３）は、世界座標系のＹ軸の単位ベクトルを射影することで、第２消失点ベクトル（鉛直方向の消失点）Ｖ_ｙとスケールが異なるベクトルを求めることができることを示している。

Ｋは、内部パラメータを表す３×３の上三角行列であり、Ｒは、外部パラメータである３×３の回転行列である。tは、外部パラメータである３次元の並進ベクトルであり、ｒｉは、Ｒの第ｉ列を表す。

そして、回転行列Ｒの各２つの列は直交することから、ｒ_１の転置とｒ_２との内積はゼロとなるため、以下の式（４）が得られる。

ここで、上添字のＴは、ベクトル又は行列の転置を表す。

式（４）は、水平方向の消失点と鉛直方向の消失点とから１つの拘束式が得られることを示している。つまり、この拘束式を用いて、内部パラメータのうち１つを推定可能である。例えばデジタルカメラでは、スキューをゼロ、光学中心を画像中心と仮定しても大きな誤差はないため、焦点距離ｆのみを未知数とおける。この場合、ｋは［ｆ，ｆ，１］を成分とする対角行列であるため、式（４）を解いて、焦点距離を算出（推定）できる。なお、焦点距離に代えて、スキュー、光学中心、又はレンズ歪を、推定対象の内部パラメータとしてもよい。例えば、画像に焦点距離の情報が埋め込まれている場合、焦点距離は既知として、焦点距離以外の内部パラメータを推定対象パラメータとすることができる。

図３の説明に戻り、外部パラメータ算出部１３Ｂは、消失点算出部１２によって算出された第１消失点及び第２消失点、並びに、内部パラメータ算出部１３Ａによって算出された内部パラメータに基づいて、カメラ２０の外部パラメータを算出する（ステップＳ１０４）。

具体的には、上記式（３）から次の式（５）が得られる。

ここで、// //は、ベクトルのＬ２ノルムを表す。

次いで、並進ベクトルの算出方法を説明する。本実施形態では、各部位の世界座標系における３次元座標は不明である。そのため、任意の部位を原点とする世界座標系を定義してもよい。ここでは、画像系座標ｍ_１に対応する右肩Ｐ１１の世界座標系における３次元座標を原点とする。この場合、画像系座標ｍ_１の射影変換は、次の式（６）によって表される。

すなわち、式（６）は、世界座標系における原点を射影すると、画像系座標ｍ_１が求められることを示している。

式（６）では、両辺にスケールの不定性があるため、並進ベクトルは、次の式（７）によって求めることができる。

すなわち、外部パラメータ算出部１３Ｂは、式（５）を用いて、回転行列Ｒを算出し、式（７）を用いて、並進ベクトルを算出する。

以上のように第２実施形態によれば、カメラ校正装置１０にて消失点算出部１２は、取得部１１によって取得された、上記の第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された、上記の第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。カメラパラメータ算出部１３は、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ（不図示）のカメラパラメータを算出する。

このカメラ校正装置１０の構成により、第１実施形態と同様に、人の所定部位の画像系座標を用いて消失点を算出し該消失点に基づいてカメラパラメータを算出するので、校正物体を必要とすることなく、より簡便な方法でカメラパラメータを算出することができる。この理由は、次の通りである。すなわち、人が歩行するときは、通常、例えば背骨に対応する線分は鉛直方向に、両肩を結ぶ線分は水平方向に分布すると仮定できる。そして、複数の歩行者が存在する場合、その導線は、どの歩行者もほぼ同じ方向に向かうことが期待される。例えば、廊下や道路の歩行帯のような場所は、人が一方方向に動く。そのため、異なる複数の歩行者が観測できた場合でも、その歩行者の部位情報を利用して、消失点を算出することが可能となる。このため、校正物体を必要とすることなく、より簡便な方法でカメラパラメータを算出することができる。

＜他の実施形態＞
＜１＞第１実施形態及び第２実施形態では、取得部１１がカメラ校正装置１０の外部にて抽出（検出）された、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を取得することを前提に説明を行ったが、本開示はこれに限定されるものではない。例えば、図６に示すように、カメラ校正装置１０にて取得部１１は、部位検出部１１Ａを含んでいてもよい。部位検出部１１Ａは、カメラ２０によって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像を取得し、該１つの画像又は該複数の画像に含まれる複数の人物画像から、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を検出する。図６は、他の実施形態＜１＞におけるカメラ校正装置の一例を示すブロック図である。

又は、カメラ校正装置１０にて取得部１１は、部位検出部１１Ａに代えて、又は、図７に示すように部位検出部１１Ａと共に、部位情報受付部１１Ｂを含んでいてもよい。部位情報受付部１１Ｂは、手動により入力された「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」に関する情報を受け付ける。これにより、例えば部位検出部１１Ａによって検出されなかった座標ペアに関する情報を受け付けること、及び、部位検出部１１Ａによって検出された座標ペアが手動により修正された修正後の座標ペアに関する情報を受け付けることが可能となる。図７は、他の実施形態＜１＞におけるカメラ校正装置の他の一例を示すブロック図である。

＜２＞第１実施形態及び第２実施形態では最小構成として、消失点算出部１２が、世界座標空間において水平方向に分布する部位に関係する２つの座標ペア、及び、世界座標空間において鉛直方向に分布する部位に関係する２つの座標ペアに基づいて、水平方向の「第１消失点」及び鉛直方向の「第２消失点」を算出する、ものとして説明を行ったが、本開示はこれに限定されない。消失点算出部１２は、世界座標空間において水平方向に分布する部位に関係する３つ以上の座標ペアを受け取り、該３つ以上の座標ペアに基づいて、最小二乗法によって、水平方向の「第１消失点」を算出してもよい。同様に、消失点算出部１２は、世界座標空間において鉛直方向に分布する部位に関係する３つ以上の座標ペアを受け取り、該３つ以上の座標ペアに基づいて、最小二乗法によって、鉛直方向の「第２消失点」を算出してもよい。このとき、消失点算出部１２は、さらに、外れ値や誤差の大きい入力を除去して推定精度を向上するために、いわゆるＲＡＮＳＡＣ（Random Sample Consensus）や重み付き最小二乗法など公知の技術を用いてもよい。

＜３＞図８は、カメラ校正装置のハードウェア構成例を示す図である。図８においてカメラ校正装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。

第１実施形態及び第２実施形態のカメラ校正装置１０は、図８に示したハードウェア構成を有することができる。第１実施形態及び第２実施形態のカメラ校正装置１０の取得部１１と消失点算出部１２とカメラパラメータ算出部１３とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、カメラ校正装置１０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってカメラ校正装置１０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをカメラ校正装置１０に供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０ カメラ校正装置
１１ 取得部
１１Ａ 部位検出部
１１Ｂ 部位情報受付部
１２ 消失点算出部
１３ カメラパラメータ算出部
１３Ａ 内部パラメータ算出部
１３Ｂ 外部パラメータ算出部
２０ カメラ

Claims (9)

1. カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布する、取得手段と、
   前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出する消失点算出手段と、
   前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出するカメラパラメータ算出手段と、
   を具備するカメラ校正装置。
2. 前記消失点算出手段は、
   前記第１画像系座標を終点とする第１画像系ベクトルと前記第２画像系座標を終点とする第２画像系ベクトルとのクロス積を算出して、前記第１画像系座標又は前記第２画像系座標を通る第１直線の方向ベクトルである第１直線方向ベクトルを算出し、
   前記第３画像系座標を終点とする第３画像系ベクトルと前記第４画像系座標を終点とする第４画像系ベクトルとのクロス積を算出して、前記第３画像系座標又は前記第４画像系座標を通る第２直線の方向ベクトルである第２直線方向ベクトルを算出し、
   前記第５画像系座標を終点とする第５画像系ベクトルと前記第６画像系座標を終点とする第６画像系ベクトルとのクロス積を算出して、前記第５画像系座標又は前記第６画像系座標を通る第３直線の方向ベクトルである第３直線方向ベクトルを算出し、
   前記第７画像系座標を終点とする第７画像系ベクトルと前記第８画像系座標を終点とする第８画像系ベクトルとのクロス積を算出して、前記第７画像系座標又は前記第８画像系座標を通る第４直線の方向ベクトルである第４直線方向ベクトルを算出し、
   前記第１直線方向ベクトルと前記第２直線方向ベクトルとのクロス積を算出して、前記第１消失点に向かう第１消失点ベクトルを算出し、
   前記第３直線方向ベクトルと前記第４直線方向ベクトルとのクロス積を算出して、前記第２消失点に向かう第２消失点ベクトルを算出する、
   請求項１記載のカメラ校正装置。
3. 前記カメラパラメータ算出手段は、
   前記第１消失点及び前記第２消失点に基づいて、前記カメラの内部パラメータを算出する内部パラメータ算出手段と、
   前記第１消失点、前記第２消失点、及び、前記内部パラメータに基づいて、前記カメラの外部パラメータを算出する外部パラメータ算出手段と、
   を具備する、
   請求項１又は２に記載のカメラ校正装置。
4. 前記カメラパラメータ算出手段は、
   前記第１消失点及び前記第２消失点に基づいて、前記カメラの内部パラメータを算出する内部パラメータ算出手段と、
   前記第１消失点、前記第２消失点、及び、前記内部パラメータに基づいて、前記カメラの外部パラメータを算出する外部パラメータ算出手段と、
   を具備し、
   前記内部パラメータ算出手段は、下記の式を用いて、前記第１消失点ベクトルと前記第２消失点ベクトルとに基づいて、前記内部パラメータを算出する、
   請求項２記載のカメラ校正装置。
   

   

   ただし、ｖ_ｘは、前記第１消失点ベクトルを表し、ｖ_ｙは、前記第２消失点ベクトルを表し、Ｋは、前記内部パラメータの行列を表し、Ｔは、ベクトル又は行列の転置を表す。
5. 前記第１種部位及び前記第２種部位の組み合わせは、左肩関節及び右肩関節の組み合わせ、左股関節及び右股関節の組み合わせ、左目及び右目の組み合わせ、左耳及び右耳の組み合わせ、左膝及び右膝の組み合わせ、又は、左足首及び右足首の組み合わせである、
   請求項１から４のいずれか１項に記載のカメラ校正装置。
6. 前記第３種部位及び前記第４種部位の組み合わせは、背骨の上端部と下端部との組み合わせ、頭頂部と腰部との組み合わせ、股関節と膝との組み合わせ、又は、肘と手首との組み合わせである、
   請求項１から５のいずれか１項に記載のカメラ校正装置。
7. 前記第１座標ペア及び前記第３座標ペアは、一の人物の第１人物画像から抽出され、
   前記第２座標ペア及び前記第４座標ペアは、前記第１人物画像が含まれる画像に含まれる他の人物の第２人物画像から、又は、前記第１人物画像が含まれる画像と異なる画像に含まれる前記一の人物の第３人物画像から、抽出されている、
   請求項１から６のいずれか１項に記載のカメラ校正装置。
8. カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布し、
   前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出し、
   前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出する、
   カメラ校正方法。
9. カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布し、
   前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出し、
   前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出する、
   処理を、カメラ校正装置に実行させるプログラム。

Images