JP7277829B2 - カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム - Google Patents

Description

本発明は、カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラムに関する。

スポーツ等のイベントにおいて人の関節の３次元位置が推定されることによって、その人のパフォーマンスが分析される場合がある。また、推定された３次元位置に基づいて、イベント等のシーンがコンピュータグラフィックス等で再現される場合がある。これによって、ユーザは、再現されたシーンを観ることができる。

反射マーカ又は慣性センサを使用するモーションキャプチャの結果に基づいて、人の関節の３次元位置が推定される方法がある。また、複数のカメラによる多視点の動画像に基づいて、人の関節の３次元位置が推定される方法がある。

装着型のモーションキャプチャシステムでは、対象者の関節の３次元位置が高精度に推定可能である。しかしながら、対象者は専用装置を装着する必要がある。例えば、試合中のスポーツ選手が対象者である場合、又は、不特定多数の人が対象者である場合、装着型のモーションキャプチャシステムを使用することはできない。

複数のカメラによる多視点の動画像に基づいて３次元位置が推定される方法では、各カメラによって撮影された動画像における関節位置の２次元座標に基づいて、三角測量が行われる。三角測量では、各カメラの位置を示す外部パラメータと、レンズの焦点距離等を表す内部パラメータと、レンズ歪みのパラメータとが必要である。

以下、カメラのパラメータを導出することを「カメラキャリブレーション」という。カメラの外部パラメータを導出することを「外部キャリブレーション」という。

外部キャリブレーションの方法には、複数のカメラに共通する視野に設置された参照物体（既知の構造を有する物体）が参照される方法（参考文献１：Zhengyou Zhang, “A Flexible New Technique for Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, Issue 11, pp.1330-1334, Nov. 2000.）と、複数のカメラに共通する視野に存在する物体の表面に定められた各特徴点（自然特徴点）の対応関係に基づく方法（参考文献２：Sameer Agarwal, et al., “Building Rome in a Day”, Communications of the ACM, Vol. 54, Issue 10, pp.105-112, Oct. 2011.）とがある。

しかしながら、試合中のスポーツ選手の動作が解析される場合、複数のカメラに共通する視野となるフィールドに参照物体（チェスボード等）を設置することは困難である。また、自然特徴点の画像特徴量は、カメラの向き等に応じて変化し易い。例えば、対象者の真正面から撮影された自然特徴点と、対象者の横から撮影された自然特徴点とでは、自然特徴点の画像特徴量が大きく変化する。このため、自然特徴点に基づいて対応点を導出することは困難である。

これらの問題に対して非特許文献１では、複数のカメラによって撮影された人の関節の位置を対応点として利用し、２次元画像における関節画像の座標に基づいてカメラの外部パラメータを推定する方法が提案されている。この方法では、参照物体の設置は不要である。また、自然特徴点が利用される代わりに、関節を有する人型の３次元モデルが、複数のカメラに共通して利用されている。このため、２次元画像における人の見え方がカメラごとに大きく異なる場合でも、対応点を導出することができる。

さらに、２次元画像における人の関節の位置を学習し、学習結果に基づいて関節の位置を推定する方法が、非特許文献２に開示されている。

Kosuke Takahashi, et al., "Human Pose as Calibration Pattern; 3D Human Pose Estimation with Multiple Unsynchronized and Uncalibrated Cameras", IEEE, CVSports (CVPRW), June, 2018. Zhe Cao, et al., "Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1302-1310, 2017.

しかしながら、複数のカメラに共通する視野に複数の被写体が存在する場合には、被写体ごとの関節点の画像が、動画像の各フレーム内に存在する。この場合、各フレーム内に存在する各関節点がいずれの被写体の関節点であるかを表す情報が、動画像の各フレームに撮影された全ての被写体に対する煩雑な手作業によってカメラパラメータ推定装置に与えられなければ、カメラパラメータ推定装置がカメラパラメータを推定することができないという問題がある。

上記事情に鑑み、本発明は、複数のカメラに共通する視野に複数の被写体が存在する場合でも、一定以上の精度でカメラパラメータを推定することが可能であるカメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラムを提供することを目的としている。

本発明の一態様は、複数のカメラに共通する視野に存在する複数の被写体の画像を含む時系列のフレームを、前記カメラごとに取得する取得部と、前記時系列のフレームにおける前記被写体の画像に定められた関節点の座標を、前記被写体の画像ごとに推定する点推定部と、前記時系列のフレームの間における、前記関節点の軌跡を、前記カメラごとに推定する運動軌跡推定部と、前記カメラのペアからそれぞれ取得された前記フレームの間における、前記軌跡の組を推定するカメラ間対応推定部と、前記軌跡の組に基づいて、カメラパラメータを前記カメラごとに推定するパラメータ推定部とを備えるカメラパラメータ推定装置である。

本発明により、複数のカメラに共通する視野に複数の被写体が存在する場合でも、一定以上の精度でカメラパラメータを推定することが可能である。

実施形態における、カメラパラメータ推定システムの構成例を示す図である。 実施形態における、カメラパラメータ推定装置のハードウェア構成例を示す図である。 実施形態における、軌跡の例を示す図である。 実施形態における、カメラパラメータ推定装置の動作例を示すフローチャートである。 実施形態における、軌跡の組を推定する動作の例を示すフローチャートである。

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、カメラパラメータ推定システム１の構成例を示す図である。カメラパラメータ推定システム１は、複数のカメラについてカメラパラメータを推定するシステムである。カメラパラメータは、外部パラメータと、内部パラメータと、レンズ歪みのパラメータと含む。外部パラメータは、カメラの位置及び向き（姿勢）を表すパラメータであって、例えば、カメラの位置を表す並進ベクトルと、カメラの姿勢を表す回転行列とを表すパラメータである。内部パラメータは、例えば、焦点距離を表す値と、光学中心（主点）の位置を表す値と、せん断係数とを表すパラメータである。

カメラパラメータ推定システム１は、複数のカメラ２と、カメラパラメータ推定装置３とを備える。カメラ２の位置及び向きは、カメラ２ごとに異なる。なお、物理的なカメラ２が取得部３０に接続される代わりに、撮影された動画像が記録された記憶装置等が取得部３０に接続されてもよい。その際、カメラごとの記憶装置が用意される必要は無く、カメラごとに録画された動画像が１台の記憶装置から取得部３０に出力されてもよい。

カメラパラメータ推定装置３は、複数のカメラについてカメラパラメータを推定する装置である。カメラパラメータ推定装置３は、取得部３０と、記憶部３１と、点推定部３２と、運動軌跡推定部３３と、カメラ間対応推定部３４と、パラメータ推定部３５とを備える。

図２は、カメラパラメータ推定装置３のハードウェア構成例を示す図である。カメラパラメータ推定装置３は、記憶部３１と、プロセッサ１００と、通信部２００とを備える。

取得部３０と点推定部３２と運動軌跡推定部３３とカメラ間対応推定部３４とパラメータ推定部３５とのうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ１００が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶部３１に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。プログラムは、電気通信回線を経由して、通信部２００によって受信されてもよい。

取得部３０と点推定部３２と運動軌跡推定部３３とカメラ間対応推定部３４とパラメータ推定部３５とのうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

図１に戻り、カメラパラメータ推定システム１の説明を続ける。
カメラ２は、時系列のフレームを生成する。各フレームは、動画像を構成する各２次元画像でもよいし、連写された静止画である各２次元画像でもよい。カメラ２は、複数のカメラ２に共通する視野（以下「共通視野」という。）に存在する複数の被写体を撮影する。複数のカメラ２は、互いに異なる方向から、共通視野を撮影する、これによって、複数のカメラ２は、共通視野に対する多視点の時系列のフレームを生成する。

被写体は、関節など意味的に定義可能かつ画像から検出可能な特徴的な点を有する物体であれば、特定の物体に限定されない。例えば、被写体は、人、人体の関節構造とは異なる関節構造を持つ脊椎動物等の生命体、ロボット（アンドロイド等）、ヨット若しくはウィンドサーフィンに用いられるセイル、又は、車椅子でもよい。

複数のカメラ２に共通する３次元モデルが、被写体に対して仮定される。例えば、被写体が人である場合、各関節を有する人型の３次元モデルが仮定される。すなわち、被写体が撮影されている画像から、特徴点として、人型の３次元モデルの関節点が検出される。

取得部３０は、時系列の複数枚のフレームを、カメラ２ごとに取得する。これによって、取得部３０は、多視点の時系列のフレームを、複数台のカメラ２から取得する。異なるカメラ２によって生成されたフレーム同士では、撮影時刻の同期が取れている。すなわち、異なるカメラ２において同じフレーム番号が割り当てられた各フレームは、同じ時刻において撮影されたフレームである。記憶部３１は、時系列の複数枚のフレームを、カメラ２ごとに記憶する。

点推定部３２は、時系列のフレームにおける被写体の画像に定められた１個以上の関節点の座標を、被写体の画像ごとに推定する。

運動軌跡推定部３３は、時系列のフレームの間における、関節点（２次元の座標）の軌跡を、カメラ２ごとに推定する。運動軌跡推定部３３は、時系列のフレームの間における、関節点の軌跡に基づいて、時系列のフレームの間における各被写体の画像の軌跡を推定する。

図３は、軌跡の例を示す図である。フレーム３００－１及び３００－２は、一例として、カメラ２－１から取得された時系列のフレームである。フレーム４００－１及び４００－２は、一例として、カメラ２－Ｎから取得された時系列のフレームである。フレーム３００－１及びフレーム４００－１は、互いに同じ時刻に撮影されたフレームである。フレーム３００－２及びフレーム４００－２は、互いに同じ時刻に撮影されたフレームである。以下、フレームにおいて被写体の画像を含む領域を「被写体領域」という。被写体領域は、被写体の画像に定められた各関節点を内包する。

フレーム３００は、被写体領域３１１と、被写体領域３２１とを含む。被写体領域３１１は、被写体画像３１０を含む。被写体画像３１０は、人の画像である。被写体画像３１０には、関節点３１２が定められている。被写体領域３２１は、被写体画像３２０を含む。被写体画像３２０は、被写体画像３１０の人とは異なる人の画像である。被写体画像３２０には、関節点３２２が定められている。

カメラ２－１に関して、被写体画像３１０の関節点の軌跡を表す情報は、カメラの識別子「２－１」と、開始フレーム番号「３００－１」と、関節点３１２－１の座標（２次元）と、終了フレーム番号「３００－２」と、関節点３１２－２の座標（２次元）とを含む。以下では、関節点の軌跡を表す情報は、開始フレームから終了フレームまでの各フレームにおける関節点の座標を更に含む。

カメラ２－１に関して、被写体画像３２０の関節点の軌跡を表す情報は、カメラの識別子「２－１」と、開始フレーム番号「３００－１」と、関節点３２２－１の座標（２次元）と、終了フレーム番号「３００－２」と、関節点３２２－２の座標（２次元）とを含む。

フレーム４００は、被写体領域４１１と、被写体領域４２１とを含む。被写体領域４１１は、被写体画像４１０を含む。被写体画像４１０は、被写体画像３１０の人と同一人物の画像である。被写体画像４１０には、関節点４１２が定められている。被写体領域４２１は、被写体画像４２０を含む。被写体画像４２０は、被写体画像３２０の人と同一人物の画像である。被写体画像４２０には、関節点４２２が定められている。

カメラ２－Ｎに関して、被写体画像４１０の関節点の軌跡を表す情報は、カメラの識別子「２－Ｎ」と、開始フレーム番号「４００－１」と、関節点４１２－１の座標（２次元）と、終了フレーム番号「４００－２」と、関節点４１２－２の座標（２次元）とを含む。

カメラ２－Ｎに関して、被写体画像４２０の関節点の軌跡を表す情報は、カメラの識別子「２－Ｎ」と、開始フレーム番号「４００－１」と、関節点４２２－１の座標（２次元）と、終了フレーム番号「４００－２」と、関節点４２２－２の座標（２次元）とを含む。

図１に戻り、カメラパラメータ推定システム１の説明を続ける。
カメラ間対応推定部３４は、カメラ２によってそれぞれ生成されたフレームの間における、被写体の軌跡の複数のカメラ間の対応関係を推定する。すなわち、カメラ間対応推定部３４は、カメラ２からそれぞれ取得されたフレームの間における、同一被写体の関節点の軌跡の組（対応トラック）を推定する。また、カメラ間対応推定部３４は、軌跡の組の集合（対応トラック集合）を推定してもよい。

カメラ間対応推定部３４は、軌跡の組に基づいて、カメラ２のペア間における基礎行列を導出する。カメラ間対応推定部３４は、導出された基礎行列に基づいて、軌跡の組を更新してもよい。

カメラ間対応推定部３４は、軌跡の組の集合に基づいて、カメラ２のペア間における基礎行列を導出してもよい。カメラ間対応推定部３４は、導出された基礎行列に基づいて、軌跡の組の集合を更新してもよい。

パラメータ推定部３５は、軌跡の組に基づいて、カメラパラメータをカメラ２ごとに推定する。すなわち、パラメータ推定部３５は、軌跡の組に基づいて、カメラキャリブレーションを実行する。パラメータ推定部３５は、更新された軌跡の組に基づいて、カメラパラメータをカメラ２ごとに推定してもよい。

パラメータ推定部３５は、軌跡の組の集合に基づいて、カメラパラメータをカメラ２ごとに推定してもよい。すなわち、パラメータ推定部３５は、軌跡の組の集合に基づいて、カメラキャリブレーションを実行してもよい。パラメータ推定部３５は、更新された軌跡の組の集合に基づいて、カメラパラメータをカメラ２ごとに推定してもよい。

次に、カメラパラメータ推定装置３の動作例を説明する。
図４は、カメラパラメータ推定装置３の動作例（カメラキャリブレーションの例）を示すフローチャートである。取得部３０は共通領域に存在する複数の被写体の画像を含む時系列の複数枚のフレームをカメラ２ごとに取得し、記憶部３１は時系列の複数枚のフレームをカメラ２ごとに記憶する（ステップＳ１０１）。

点推定部３２は、時系列のフレームにおける被写体の画像の関節点の座標（２次元）を、被写体の画像ごとに推定する（ステップＳ１０２）。関節点の座標を推定する方法は、特定の方法に限定されない。

例えば、非特許文献２に開示されているように、ニューラルネットワークは、関節点の座標を推定する方法を、関節の２次元位置の正解データセットを用いて学習してもよい。正解データセットにおける関節の２次元位置は、人の手作業によって定められる。学習済のニューラルネットワークは、時系列のフレームにおける被写体の画像の関節点の座標を推定する。

例えば、点推定部３２は、被写体領域を推定してもよい。点推定部３２は、フレームにおける関節点の座標を、被写体領域ごとに推定してもよい。

なお、関節点の数及び位置の定義は、任意の定義でよい。関節点の座標の推定処理において、関節点の数及び位置の定義は変更されない。

運動軌跡推定部３３は、時系列のフレームの間における被写体の画像に定められた関節点の軌跡を、カメラ２ごとに推定する（ステップＳ１０３）。すなわち、運動軌跡推定部３３は、時系列のフレームの間における被写体の画像の対応関係を、カメラ２ごとに推定する。運動軌跡推定部３３は、ステップＳ１０２において推定された関節点の座標（２次元）を、カメラと被写体の組み合わせごとに時系列で連結する。

時系列のフレームの間における、関節点の軌跡（被写体の時系列のフレーム間の対応関係）が推定される方法は、特定の方法に限定されない。例えば、運動軌跡推定部３３は、時系列のフレームの間における被写体の画像のペアごとに、被写体同士の類似度又は乖離度を導出する。運動軌跡推定部３３は、類似度の合計値が最大化するように、関節点の軌跡を推定する。運動軌跡推定部３３は、乖離度の合計値を最小化するように、関節点の軌跡を推定してもよい。

なお、類似度の合計値の最大化と、乖離度の合計値の最小化とは、２部グラフの最大マッチング問題として定義可能である。このため、運動軌跡推定部３３は、最大フロー最小カット定理に基づく各種アルゴリズムを用いて、類似度又は乖離度の合計値の厳密解を導出してもよい。運動軌跡推定部３３は、貪欲法を用いて、類似度又は乖離度の合計値の近似解を導出してもよい。

ここで、類似度又は乖離度の定義は、任意でよい。例えば、類似度は、時系列のフレームの間で、被写体領域が重複する画素の個数（面積）と定義されてもよい。また、類似度は、被写体領域が重複する画素の個数（面積）と被写体領域が重複しない画素の個数（面積）との合計面積に対する、被写体領域が重複する画素の個数（面積）の比と定義されてもよい。

被写体領域の形状は、例えば、矩形である。被写体領域の形状は、被写体の画像の領域がセマンティック・セグメンテーションによって推定された結果に基づいて定められてもよい。ステップＳ１０２における、関節点の座標（２次元）の推定において、一部の関節点の座標の推定が失敗することがある。このため、被写体領域の形状が矩形である場合には、時系列のフレームの間で被写体の画像のペアごとに共通する関節点のみに基づいて、被写体領域の形状が定義されてもよい。

時系列のフレームの間で被写体の画像のペアごとに共通する関節点の個数が一定数未満である場合、その被写体の画像のペアに対する類似度を最小の類似度として設定してもよい。時系列のフレームの間で特定の関節点が共通していない場合、その被写体の画像のペアに対する類似度を最小の類似度として設定してもよい。以下では、特定の関節点とは、軌跡の推定精度が高い関節点であり、例えば、人体における首、腰及び頭等である。

乖離度は、時系列のフレームの間で、被写体の画像のペアにおける同じ関節点同士の距離の和、平均、最大値又は最小値を用いて定義されてもよい。同じ関節点同士の距離は、任意に定義された距離であり、例えば、ユークリッド距離、二乗距離（Ｌ２ノルム）、マンハッタン距離である。時系列の特定のフレーム間について乖離度が導出される場合、共通の定義が用いられる。

運動軌跡推定部３３は、各関節点の座標の推定精度又は信頼度を利用してもよい。運動軌跡推定部３３は、関節点同士の距離に重みを付けてもよい。この重みは、推定精度又は信頼度が高い場合に小さくなり、推定精度又は信頼度が低い場合に大きくなる。推定精度及び信頼度の導出方法は、特定の導出方法に限られないが、例えば非特許文献２のように関節点を推定する際のコンフィデンス・マップ（Confidence Map）の値として導出されてもよい。運動軌跡推定部３３は、一定以上の推定精度又は信頼度を有する関節点のみを対象として、乖離度を導出してもよい。

なお、ステップＳ１０２における、関節点の座標（２次元）の推定において、一部の関節点の座標の推定が失敗することがある。このため、運動軌跡推定部３３は、座標が推定された関節点のみを対象として、乖離度を導出してもよい。運動軌跡推定部３３は、時系列のフレームの間における一方または両方について関節点の座標の推定が失敗した関節点同士の距離を、所定の最長距離としてもよい。なお、運動軌跡推定部３３は、座標が推定されない関節点を除外して乖離度を導出する場合、単純な距離の和を用いることはできない。

時系列のフレームの間で被写体の画像のペアごとに共通する関節点の個数が一定数未満である場合、運動軌跡推定部３３は、その被写体の画像のペアの乖離度を最大の乖離度として設定してもよい。時系列のフレームの間で特定の関節点が共通していない場合、運動軌跡推定部３３は、その被写体の画像ペアの乖離度を最大の乖離度として設定してもよい。

運動軌跡推定部３３は、フレームにおける関節点の座標（２次元）に基づいて類似度又は乖離度を導出する代わりに、被写体の画像のペアにおける関節点同士の画像信号（画像特徴量）に基づいて類似度又は乖離度を導出してもよい。例えば、運動軌跡推定部３３は、各関節点の画像特徴量ベクトルを導出する。運動軌跡推定部３３は、画像特徴量ベクトル同士の距離に基づいて、類似度又は乖離度を導出してもよい。画像特徴量ベクトルは、例えば、スケール不変特徴変換（Scale Invariant Feature Transform : SIFT）、ＨＯＧ（Histogram of oriented gradient）又はＳＵＲＦ（Speeded-Up Robust Features）である。

運動軌跡推定部３３は、座標が推定された関節点のみを対象として、被写体の画像のペアにおける関節点同士の画像信号に基づいた類似度又は乖離度を導出してもよい。運動軌跡推定部３３は、各関節点の座標の推定精度又は信頼度を用いて、被写体の画像のペアにおける関節点同士の画像信号に基づいた類似度又は乖離度に重みを付けてもよい。運動軌跡推定部３３は、一定以上の推定精度又は信頼度を有する関節点のみを対象として、被写体の画像のペアにおける関節点同士の画像信号に基づいた類似度又は乖離度を導出してもよい。

運動軌跡推定部３３は、関節点ごとに画像特徴量ベクトルを導出する代わりに、被写体の画像を含む矩形又は多角形の被写体領域ごとに画像特徴量ベクトルを導出してもよい。運動軌跡推定部３３は、矩形の被写体領域ごとに画像特徴量ベクトルを導出する場合、例えば、特定のデータセットを用いて学習済となった畳み込みニューラルネットワーク（Convolutional Neural Network : CNN）の潜在空間ベクトルを用いて、画像特徴量ベクトルを導出してもよい。

運動軌跡推定部３３は、フレームにおける関節点の座標（２次元）に基づいて導出された類似度又は乖離度と、被写体の画像のペアにおける関節点同士の画像信号（画像特徴量）に基づいて導出された類似度又は乖離度との両方に基づいて、最終的な類似度又は乖離度を導出してもよい。

運動軌跡推定部３３は、時系列のフレームの間における距離が一定以下となっている被写体の画像のペアのみに基づいて、類似度又は乖離度を導出する。すなわち、時系列のフレームの間における距離が一定を超えている被写体の画像のペアにおいて、類似度又は乖離度は定義されなくてもよい。運動軌跡推定部３３は、類似度を導出する場合、時系列のフレームの間における距離が一定を超えている被写体の画像のペアに、所定の最短距離を与えてもよい。運動軌跡推定部３３は、乖離度を導出する場合、時系列のフレームの間における距離が一定を超えている被写体の画像のペアに、所定の最長距離を与えてもよい。

時系列のフレームの間における被写体の画像同士の距離は、被写体の画像に定められた代表的な関節点同士の距離でもよい。被写体の画像同士の距離は、時系列のフレームの間で、被写体の画像のペアにおいて共通する関節点の距離の平均でもよい。被写体の画像同士の距離は、時系列のフレームの間で、被写体領域において共通する領域の面積を用いても導出されてもよい。

時系列のフレームの間における被写体の画像のペア（対応関係）をステップＳ１０３において運動軌跡推定部３３が導出する際に、複数の被写体が接触又は重複してカメラ２から見える場合、誤った被写体の画像をペアとして運動軌跡推定部３３が導出してしまう可能性がある。その際に、運動軌跡推定部３３は、ステップＳ１０３において時系列のフレームの間における被写体の画像のペア（対応関係）を導出する場合、被写体の画像の正しいペアを導出する可能性が低下したとしても、被写体の画像の誤ったペアを導出する可能性を優先的に低くするために、一部の被写体の画像ペアに対する類似度又は乖離度を変更してもよい。例えば、第１フレームにおける１つの被写体の画像と、第２フレームにおける複数の被写体の画像との間について、一定値以上の類似度又は一定値以下の乖離度が導出される場合、運動軌跡推定部３３は、複数の被写体の画像のうちの少なくとも一つのペアの類似度又は乖離度を未定義に変更してもよい。第１フレームにおける１個の被写体の画像と、第２フレームにおける複数の被写体の画像との間について、一定値以上の類似度が導出される場合、運動軌跡推定部３３は、少なくとも一つのペアの被写体の画像同士の距離を、所定の最短距離に変更してもよい。第１フレームにおける１個の被写体の画像と、第２フレームにおける複数の被写体の画像との間について、一定値以下の乖離度が導出される場合、運動軌跡推定部３３は、少なくとも一つのペアの被写体の画像同士の距離を、所定の最長距離に変更してもよい。このようにすることで、いずれかの被写体の画像に関して、時系列のフレームの間における被写体の画像のペア（対応関係）が導出されなくてもよい。同様に、いずれかの被写体の画像に関して、時系列のフレームの間における被写体の画像のペアが、時間方向で途切れてもよい。

なお、単体の被写体の画像と複数の被写体の画像との間に一定値以上の類似度又は一定値以下の乖離度が導出される場合、被写体の画像同士の距離が変更されない場合があってもよい。例えば、導出された最大の類似度と２番目に大きな類似度との比が閾値以上になった場合、運動軌跡推定部３３は、被写体の画像同士の距離を変更してもよい。例えば、導出された最小の乖離度と２番目に小さな乖離度との比が閾値以上になった場合、運動軌跡推定部３３は、被写体の画像同士の距離を変更してもよい。

なお、被写体の画像に定められた各関節点の軌跡の集合を表す情報は、カメラの識別子と、開始フレームの番号と、終了フレームの番号と、開始フレームから終了フレームまでの各関節点の座標の集合とを含む。

カメラ間対応推定部３４は、カメラ２からそれぞれ取得されたフレームの間における、軌跡の組（対応関係）を推定する（ステップＳ１０４）。カメラ間対応推定部３４が軌跡の組（対応関係）を推定する方法は、特定の方法に限定されない。カメラ間対応推定部３４は、カメラ２からそれぞれ取得されたフレームの間における、軌跡の組（対応関係）を、例えば図５に記載の動作によって推定してもよい。

パラメータ推定部３５は、軌跡の組に基づいて、カメラパラメータをカメラ２ごとに推定する（ステップＳ１０５）。パラメータ推定部３５は、軌跡の組が複数である場合、軌跡の組の集合に基づいて、カメラパラメータをカメラ２ごとに推定してもよい。

例えば、カメラ２における、軌跡の組に応じて、同じフレーム内の同じ被写体の画像に定められた同じ関節点の座標同士の組が得られる。このため、パラメータ推定部３５は、対応点の集合を、カメラ２に含まれるカメラのペアごとに導出する。パラメータ推定部３５は、８ポイントアルゴリズム（参考文献３：Richard Hartley and Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, 2003.）を用いて、カメラ２のペアごとに基礎行列を導出する。パラメータ推定部３５は、導出された基礎行列を分解することによって、カメラパラメータをカメラ２ごとに導出してもよい。

例えば、パラメータ推定部３５は、各カメラ２のカメラパラメータと、各時刻（フレーム）における三次元空間上での被写体の関節点の座標（３次元）とを、パラメータとして用いてもよい。パラメータ推定部３５は、バンドル・アジャストメント（参考文献４：Bill Triggs, et al., “Bundle Adjustment - a Modern Synthesis”, ICCV99, Proceedings of the International Workshop on Vision Algorithms: Theory and Practice. Springer, pp.298-372, 1999.）による非線形最適化を用いて、カメラパラメータを導出してもよい。すなわち、パラメータ推定部３５は、三次元空間上での被写体の関節点の各カメラ２における推定観測座標と、軌跡の組に含まれる各カメラ２における実際の関節点の観測座標との誤差（再投影誤差）が最小になるように、パラメータを導出することで、カメラパラメータをカメラ２ごとに導出してもよい。

図５は、軌跡の組を推定する動作（ステップＳ１０４の詳細）の例を示すフローチャートである。カメラ間対応推定部３４は、Ｎ台のカメラ２のうちから、ペアを構成するカメラ２を、任意に定められた基準で選択する（ステップＳ２０１）。以下では、ペアを構成するカメラ２のうちの第１のカメラ２は「Ａ」と表記される。ペアを構成するカメラ２のうちの第２のカメラ２は「Ｂ」と表記される。

例えば、カメラ間対応推定部３４は、時系列のフレームにおける、複数の関節点のうちの代表点の軌跡の長さの最大値が大きい順に、カメラ２のペアを選択してもよい。カメラ間対応推定部３４は、時系列のフレームにおける、関節点の軌跡がカバーする面積の最大値が大きい順に、カメラ２のペアを選択してもよい。カメラ間対応推定部３４は、時系列のフレームにおける、関節点の軌跡がカバーする面積の合計値が大きい順に、カメラ２のペアを選択してもよい。なお、関節点の軌跡がカバーする面積とは、軌跡を構成する全ての関節点が含まれる最小の矩形領域の面積である。関節点の軌跡がカバーする面積は、軌跡を構成する代表の関節点が含まれる最小の矩形領域の面積でもよい。

なお、ペアを構成するカメラ２の間における、軌跡のペア（対応関係）の集合が閾値以上の精度で既に導出されている場合、カメラ間対応推定部３４は、それらのペアを構成するカメラ２を候補から除外してもよい。これによって、カメラ間対応推定部３４は、処理の回数を減らすことができる。

カメラ間対応推定部３４は、選択されたペアを構成するカメラ２の間で、軌跡のペアを定義可能（設定可能）であるか否かを判定する（ステップＳ２０２）。

軌跡のペアを定義できない場合（ステップＳ２０２：ＮＯ）、カメラ間対応推定部３４は、選択されたペアを構成するカメラ２「Ａ」及び「Ｂ」の間で、軌跡のペアの集合（初期集合）を導出する（ステップＳ２０３）。

尤もらしい軌跡のペアの初期集合が導出できるのであれば、軌跡のペアの初期集合を導出する方法は、特定の方法に限定されない。例えば、カメラ間対応推定部３４は、ペアを構成するカメラ２の間における、軌跡のペアの全てに対して、軌跡のペアの尤もらしさを評価してもよい。軌跡のペアの尤もらしさを導出する方法は、特定の方法に限定されない。例えば、軌跡のペアを仮定して求められるカメラ間の基礎行列を用いてその他の軌跡の対応関係が求められる際に、所定の誤差の範囲内で対応関係が得られた関節点の個数が、軌跡のペアの尤もらしさとされてもよい。また、全ての関節点に対する対応関係が得られた関節点の割合が、軌跡のペアの尤もらしさとされてもよい。カメラ間対応推定部３４は、一定数の軌跡のペアを、評価が高いペアから順に、軌跡のペアの初期集合に含めてもよい。カメラ間対応推定部３４は、基準以上の評価を有する軌跡のペアを全て、軌跡のペアの初期集合に含めてもよい。なお、カメラ間対応推定部３４は、軌跡のペアを１個以上選択し、選択されたペアを軌跡のペアの初期集合に含める。カメラ間対応推定部３４は、ステップＳ２０４に処理を進める。

選択されたペアを構成するカメラ２「Ａ」及び「Ｂ」の間で軌跡のペアの集合を定義できる場合（ステップＳ２０２：ＹＥＳ）、カメラ間対応推定部３４は、軌跡のペアに共通するフレームにおいて共通する関節点のペアの集合を、対応点の集合として導出する。カメラ間対応推定部３４は、関節点のペアの集合（対応点の集合）に基づいて、選択されたペアを構成するカメラ２「Ａ」及び「Ｂ」の間の基礎行列「Ｆ_Ａ,Ｂ」を導出する（ステップＳ２０４）。

なお、ペアを構成するカメラ２「Ａ」及び「Ｂ」の間の基礎行列Ｆ_Ａ,Ｂは、カメラ「Ａ」から取得されたフレームにおける点「ｐ_Ａ」と、カメラ「Ｂ」から取得されたフレームにおける点「ｐ_Ｂ」とが、３次元空間上の同じ点（対応点）を表す場合、「ｐ_Ａ ^ＴＦ_Ａ,Ｂｐ_Ｂ＝０」が成立する行列である。ここで、「ｐ^Ｔ」は、ベクトルｐの転置ベクトルを表す。基礎行列を導出する方法は、特定の方法に限定されない。例えば、カメラ間対応推定部３４は、８ポイントアルゴリズムを用いて、基礎行列「Ｆ_Ａ,Ｂ」を導出する。カメラ間対応推定部３４は、ＲＡＮＳＡＣ等のロバスト推定を８ポイントアルゴリズムに組み合わせて、基礎行列「Ｆ_Ａ,Ｂ」を導出してもよい。

カメラ間対応推定部３４は、ペアを構成するカメラ２「Ａ」及び「Ｂ」の間における、軌跡のペアを、基礎行列「Ｆ_Ａ,Ｂ」に基づいて軌跡のペアの集合に追加する（ステップＳ２０５）。すなわち、カメラ間対応推定部３４は、基礎行列を用いて新たに対応付けられたペアを構成するカメラ２「Ａ」及び「Ｂ」の間における、軌跡のペアを、軌跡のペアの集合に追加する。軌跡のペアを軌跡のペアの集合に追加する方法（軌跡のペアの集合を更新する方法）は、特定の方法に限定されない。

例えば、カメラ間対応推定部３４は、カメラ２「Ａ」から取得された時系列のフレームにおける軌跡と、カメラ２「Ｂ」から取得された時系列のフレームにおける軌跡との全ての組み合わせについて、所定条件を満たす軌跡のペアを、軌跡のペアの集合に追加してもよい。

例えば、軌跡のペアに基づいて導出された複数の対応点のうちで、基礎行列を用いて、ミスマッチであると判定される対応点の個数の割合が所定割合未満である軌跡のペアを、軌跡のペアの集合に追加してもよい。

カメラ間対応推定部３４は、更新された軌跡のペアの集合に基づいて、軌跡のペアに共通するフレームにおいて共通する関節点のペアの集合を、対応点の集合として導出する。カメラ間対応推定部３４は、ステップＳ２０４のように、関節点のペアの集合（対応点の集合）に基づいて基礎行列「Ｆ_Ａ,Ｂ」を導出する。これによって、カメラ間対応推定部３４は、基礎行列「Ｆ_Ａ,Ｂ」を更新する（ステップＳ２０６）。

カメラ間対応推定部３４は、軌跡のペアの集合に含まれている軌跡のペアを、更新された基礎行列「Ｆ_Ａ,Ｂ」に基づいて再評価する。軌跡のペアを再評価するする方法は、特定の方法に限定されない。例えば、カメラ間対応推定部３４は、ステップＳ２０５と同じ方法を実行することによって、軌跡のペアを再評価する。カメラ間対応推定部３４は、ステップＳ２０５と同じ方法を実行する場合、基準のみを変更してから、軌跡のペアを再評価してもよい。カメラ間対応推定部３４は、基準を満たしていない軌跡のペアを、基礎行列「Ｆ_Ａ,Ｂ」に基づいて軌跡のペアの集合から除外する（ステップＳ２０７）。

カメラ間対応推定部３４は、軌跡のペアの集合に基づいて軌跡を統合する（ステップＳ２０８）。例えば、カメラ間対応推定部３４は、カメラ２「Ａ」から取得されたフレームにおける複数の軌跡と、カメラ２「Ｂ」から取得されたフレームにおける１本の軌跡とが対応付けられた場合、カメラ２「Ａ」から取得されたフレームにおける複数の軌跡を、１本の軌跡に統合する。同様に、カメラ２「Ｂ」から取得されたフレームにおける複数の軌跡と、カメラ２「Ａ」から取得されたフレームにおける１本の軌跡とが対応付けられた場合、カメラ間対応推定部３４は、カメラ２「Ｂ」から取得されたフレームにおける複数の軌跡を、１本の軌跡に統合する。なお、カメラ間対応推定部３４は、カメラ２「Ａ」とカメラ２「Ｂ」以外の軌跡についても統合を行う。つまり、例えば、カメラ２「Ａ」の複数の軌跡が１つに統合されることによって、カメラ２「Ｂ」以外のカメラの軌跡についても、１対多の対応が生じた場合、カメラ間対応推定部３４は、軌跡の統合を行う。

カメラ間対応推定部３４は、軌跡のペアの集合の品質が閾値以上であるか否かを判定する（ステップＳ２０９）。軌跡のペアの集合の品質を判定する方法は、特定の方法に限定されない。例えば、カメラ間対応推定部３４は、ステップＳ２０４からステップＳ２０８までの処理が実行された回数が閾値以上である場合、軌跡のペアの集合の品質が閾値以上であると判定する。カメラ間対応推定部３４は、軌跡のペアの集合に含まれている関節点の個数が閾値以上である場合、軌跡のペアの集合の品質が閾値以上であると判定してもよい。カメラ間対応推定部３４は、フレームにおける全ての関節点の個数に対する、軌跡のペアの集合に含まれている関節点の個数の割合が閾値以上である場合、軌跡のペアの集合の品質が閾値以上であると判定してもよい。

軌跡のペアの集合の品質が閾値未満であると判定された場合（ステップＳ２０９：ＮＯ）、カメラ間対応推定部３４は、ステップＳ２０４に処理を戻す。軌跡のペアの集合の品質が閾値以上であると判定された場合（ステップＳ２０９：ＹＥＳ）、カメラ間対応推定部３４は、基礎行列の品質が閾値以上であるか否かを全てのカメラのペアに対する基礎行列について判定する（ステップＳ２１０）。

基礎行列の品質が閾値以上であるか否かを判定する方法は、特定の方法に限定されない。例えば、基礎行列「Ｆ_Ａ,Ｂ」に対応するペアを構成するカメラ２について、ステップＳ２０１からステップＳ２０９までの処理が実行された回数が閾値以上である場合、全ての基礎行列「Ｆ_Ａ,Ｂ」の品質が閾値以上であると判定する。カメラ間対応推定部３４は、最新の基礎行列におけるミスマッチの割合と、軌跡のペアの追加によって更新された基礎行列におけるミスマッチの割合との比に基づいて、基礎行列「Ｆ_Ａ,Ｂ」の品質が閾値以上であるか否かを判定してもよい。

いずれかの基礎行列の品質が閾値未満であると判定された場合（ステップＳ２１０：ＮＯ）、カメラ間対応推定部３４は、ステップＳ２０１に処理を戻す。全ての基礎行列の品質が閾値以上であると判定された場合（ステップＳ２１０：ＹＥＳ）、カメラ間対応推定部３４は、図５に示された処理を終了する。

以上のように、実施形態の取得部３０は、複数のカメラ２に共通する視野に存在する複数の被写体の画像を含む時系列のフレームを、カメラ２ごとに取得する。点推定部３２は、時系列のフレームにおける被写体の画像に定められた関節点の座標を、被写体の画像ごとに推定する。運動軌跡推定部３３は、時系列のフレームの間における、関節点の軌跡（被写体の運動軌跡）を、カメラ２ごとに推定する。カメラ間対応推定部３４は、カメラ２のペアからそれぞれ取得されたフレームの間における、軌跡の組を推定する。パラメータ推定部３５は、カメラ２のペアからそれぞれ取得されたフレームの間における、軌跡の組に基づいて、カメラパラメータをカメラごとに推定する。

このように、カメラ２から取得された時系列のフレーム（２次元画像）における被写体の画像に定められた関節点の座標を推定するために、時系列のフレームの間における被写体の画像に定められた関節点の軌跡（運動軌跡）が用いられる。これによって、複数のカメラに共通する視野に複数の被写体が存在する場合でも、一定以上の精度でカメラパラメータを推定することが可能である。

また、いずれかの被写体の画像に関して時系列のフレームの間における被写体の画像が時間方向で途切れた場合でも、カメラ間対応推定部３４が、被写体の関節位置の軌跡のカメラ間の対応を推定する過程で、被写体の画像の時間方向での接続を同時に復元することで、１つのカメラ内での被写体追跡が困難な場合でも、ロバストにカメラパラメータを推定することが可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、動画像を撮影するカメラの位置及び向きを表すカメラパラメータを推定する装置に適用可能である。

１…カメラパラメータ推定システム、２…カメラ、３…カメラパラメータ推定装置、３０…取得部、３１…記憶部、３２…点推定部、３３…運動軌跡推定部、３４…カメラ間対応推定部、３５…パラメータ推定部、１００…プロセッサ、２００…通信部、３００…フレーム、３１０…被写体画像、３１１…被写体領域、３１２…関節点、３２０…被写体画像、３２１…被写体領域、３２２…関節点、４００…フレーム、４１０…被写体画像、４１１…被写体領域、４２０…被写体画像、４２１…被写体領域、４２２…関節点

Claims (4)

1. 複数のカメラに共通する視野に存在する複数の被写体の画像を含む時系列のフレームを、前記カメラごとに取得する取得部と、
   前記時系列のフレームにおける前記被写体の画像に定められた関節点の座標を、前記被写体の画像ごとに推定する点推定部と、
   前記時系列のフレームの間における、前記関節点の軌跡を、前記カメラごとに推定する運動軌跡推定部と、
   前記カメラのペアからそれぞれ取得された前記フレームの間における、前記軌跡の組を推定するカメラ間対応推定部と、
   前記軌跡の組に基づいて、カメラパラメータを前記カメラごとに推定するパラメータ推定部と
   を備え、
   前記カメラ間対応推定部は、前記カメラのペアの間における基礎行列を前記軌跡の組の尤もらしさに基づいて導出し、導出された基礎行列に基づいて前記軌跡の組を更新し、
   前記パラメータ推定部は、更新された前記軌跡の組に基づいて、カメラパラメータを前記カメラごとに推定する、カメラパラメータ推定装置。
2. 前記カメラ間対応推定部は、前記カメラのペアからそれぞれ取得された前記フレームの間における前記軌跡の組に基づいて、前記フレームにおける複数の前記軌跡を統合する、請求項１に記載のカメラパラメータ推定装置。
3. カメラパラメータ推定装置が実行するカメラパラメータ推定方法であって、
   複数のカメラに共通する視野に存在する複数の被写体の画像を含む時系列のフレームを、前記カメラごとに取得する取得ステップと、
   前記時系列のフレームにおける前記被写体の画像に定められた関節点の座標を、前記被写体の画像ごとに推定する点推定ステップと、
   前記時系列のフレームの間における、前記関節点の軌跡を、前記カメラごとに推定する運動軌跡推定ステップと、
   前記カメラのペアからそれぞれ取得された前記フレームの間における、前記軌跡の組を推定するカメラ間対応推定ステップと、
   前記軌跡の組に基づいて、カメラパラメータを前記カメラごとに推定するパラメータ推定ステップと
   を含み、
   前記カメラ間対応推定ステップは、前記カメラのペアの間における基礎行列を前記軌跡の組の尤もらしさに基づいて導出し、導出された基礎行列に基づいて前記軌跡の組を更新することを含み、
   前記パラメータ推定ステップは、更新された前記軌跡の組に基づいて、カメラパラメータを前記カメラごとに推定することを含む、
   カメラパラメータ推定方法。
4. 請求項１又は請求項２に記載のカメラパラメータ推定装置としてコンピュータを機能させるためのカメラパラメータ推定プログラム。

Images