JP6456244B2 - カメラキャリブレーション方法および装置 - Google Patents

Description

本発明は、カメラキャリブレーション方法および装置に係り、特に、野球、サッカーまたはテニスのように、フィールドラインを含むカメラ画像を用いてカメラキャリブレーションを行う方法および装置に関する。

カメラキャリブレーションは、3Dコンピュータビジョンにおいて非常に重要な技術であり、現実シーンのワールド座標系とカメラ画像のピクセル座標系との関係は、カメラに固有の内部および外部パラメータ（あるいはホモグラフィ行列）に基づいて求められる。

特に、スポーツ系の映像における自由視点でのナビゲーションでは、実際のフィールド上での各選手の位置が重要であり、カメラ画像における各選手の座標をホモグラフィ行列で射影変換することで求められる。したがって、正確なカメラキャリブレーションを自動で行える技術が、自由視点ナビゲーションやビデオ分析のリアルタイムアプリケーションにおいて必要とされる。

非特許文献１には、平面パターンの撮影に基づくカメラキャリブレーション方法が開示されている。非特許文献２，３には、スポーツ映像において、フィールドモデルに基づくカメラの自己校正方法が開示されている。

非特許文献５〜７には、２つの連続するフレーム間での特徴マッチングに基づくカメラキャリブレーション方法が開示されている。非特許文献８には、ハフ変換(Hough transform)によるライン抽出方法が開示されている。特許文献１には、非固定カメラのカメラキャリブレーションを、動画フレームの時間軸方向の相関に基づいて推定する技術が開示されている。

特開2013-073316号公報

Z. Zhang, "A flexible new technique for camera calibration." Pattern Analysis and Media Intelligence, IEEE Transaction on, Vol. 22, No.11 (2000) Farin, Dirk, Susanne Krabbe, and Wolfgang Effelsberg. "Robust camera calibration for sport videos using court models." SPIE Electronic Imaging 2004. International Society for Optics and Photonics, pp. 80-91. 2004. Farin, Dirk, Jungong Han, and Peter HN de With. "Fast Camera Calibration For The Analysis of Sport Sequences." Multimedia and Expo, 2005. ICME 2005. IEEE International Conference on. IEEE, 2005 Pourreza, R., Khademi, M., Pourreza, H., & Mashhadi, H. R. "Robust Camera Calibration of Soccer Video using Genetic Algorithm." IEEE 4th International Conference on Intelligent Computer Communication and Processing, pp. 123-127. 2008. Liu, Yang, et al. "Extracting 3D information from broadcast soccer video." Image and Vision Computing 24.10. pp. 1146-1162. 2006 Hiroshi Sankoh, Masaru Sugano, and Sei Naito. "Dynamic Camera Calibration Method for Free-viewpoint Experience in Sport Videos." Proceedings of the 20th ACM international conference on Multimedia. ACM, 2012. Hiroshi Sankoh, Sei Naito, Mitsuru Harada, et al. "Free-viewpoint Video Synthesis for Sport Scenes Captured with a Single Moving Camera" ITE Transactions on Media Technology and Applications Vol.3, No.1, pp. 48-57. 2014. Kiryati, Nahum, Yuval Eldar, and Alfred M. Bruckstein "A probabilistic Hough transform." Pattern recognition Vol.24, No.4, pp. 303-316, 1991.

非特許文献１では、カメラパラメータを競技映像のみから推定することができず、チェスボードのような校正パターンを少なくとも２回は観察しなければならない。したがって、スポーツ中継においてリアルタイムでカメラキャリブレーションを行うことが難しい。

非特許文献２，３は、非特許文献１のような校正パターンは必要としないものの、ライン検知が白画素抽出を基本とするので堅牢性が低い。また、白画素抽出に代えて、非特許文献８に開示されているハフ変換によるライン抽出を採用したとしても、抽出された全てのラインの組み合わせを網羅的に評価しなければならないので、処理時間が長くなってしまう。

非特許文献４は、カメラパラメータを推定するためのライン探索に、全探索ではなく遺伝的アルゴリズムを用いている。しかしながら、非特許文献３と同様に、探索されたラインの組み合わせを網羅的に評価しなければならないので、リアルタイムでのカメラキャリブレーションには適さない。

非特許文献５〜７では、最初のフレームにおいて特徴点を手動で指定しなければならない。しかも、時間の経過と共に誤差が累積するのでホモグラフィ行列の推定精度が徐々に低下してしまう。

特許文献１では、フィールド平面上の世界座標と初期フレームの画素とを対応づける平面射影行列を手動で推定する必要があるため、リアルタイムでのカメラキャリブレーションには適さない。

本発明の目的は、上記の技術課題を解決し、手動操作を必要とすることなく、リアルタイムで高精度なカメラキャリブレーションを実現する方法および装置を提供することにある。

上記の目的を達成するために、本発明は、フィールドラインの写ったカメラ画像に基づいてカメラキャリブレーションを行う装置において、以下の構成を具備した点に特徴がある。

(1) カメラ画像からフィールドライン画像を抽出する手段と、フィールドライン画像から、相互に交差する一方および他方のフィールドラインを選択する手段と、選択されたフィールドラインの交点に基づいて対応点を設定する手段と、対応点に基づいてホモグラフィ行列を決定する手段と、ホモグラフィ行列に基づいてカメラキャリブレーションを行う手段とを具備した。

そして、前記フィールドラインを選択する手段が、フィールドライン画像からラインセグメントを抽出する手段と、傾きおよび切片が同一の範囲に属するラインセグメントの各配列をフィールドラインとして認識する手段と、各フィールドラインをその傾きに基づいて相互に交差する一方および他方のフィールドライン群に分類する手段と、フィールドライン群ごとに各フィールドラインを評価する手段とを具備し、各フィールドライン群から評価の高いフィールドラインを選択するようにした。

(2) 前記対応点を設定する手段は、フィールドライン群ごとに、前記選択された各フィールドラインを、その傾き及び切片の少なくとも一方に基づいてソーティングする手段と、一方のフィールドライン群から選択されたフィールドラインと他方のフィールドライン群から選択されたフィールドラインとの交点を検知する手段と、フィールドモデルから予め抽出されている各交点と前記検知された各交点とを、それぞれの相対的な位置関係に基づいて対応付ける手段とを具備し、検知された各交点の相対位置が、前記各フィールドラインのソーティング結果に基づいて認識されるようにした。

(3) 前記フィールドライン画像を抽出する手段は、カメラ画像からフィールドグランドの色成分を除去した残存画像に対して、色成分に基づく閾値処理を実行してフィールドグランド以外領域を識別する手段と、カメラ画像から前記フィールドグランド以外領域を除去してフィールドグランド画像を取得する手段と、前記フィールドグランド画像にフィルタ処理を実行してフィールドラインが復元されたフィールドライン復元画像を取得する手段と、前記フィールドライン復元画像のフィールドグランド領域からフィールドグランドの色成分を除去してフィールドライン画像を取得する手段とを具備した。

本発明によれば、以下のような効果が達成される。

(1) フィールドラインを有するフィールドグランド上の競技を撮影するだけで、手動操作を必要とすることなく、リアルタイムで高精度なカメラキャリブレーションを行えるようになる。

(2) カメラ画像から抽出した多数のラインセグメントに基づいて各フィールドラインを認識し、ラインセグメント数のより多いフィールドラインをより高く評価して対応点検出用のフィールドラインとして選択するようにしたので、より長いフィールドラインを優先的に抽出できる。したがって、フィールドモデルにおいて、より長いNv×Nh本のフィールドラインの交点を対応点用に予め抽出しておけば、カメラ画像から抽出したより評価の高いNv×Nh本のフィールドラインの交点を対応点としてそのまま採用できる。

(3) フレーム映像から抽出される各フィールドラインを、その傾きおよび切片に基づいて、相互に交差する一方および他方のフィールドラインに識別できるので、交点検出を高速化できる。

(4)カメラ画像から予めバックグラウンドおよびフィールドグランドを除去することでフィールドライン映像を抽出し、当該フィールドライン映像からフィールドラインを抽出するようにしたので、フィールドラインをより正確に抽出できるようになる。

カメラキャリブレーションの手順を示したフローチャートである。 カメラキャリブレーション装置の構成を示した機能ブロック図である。 本発明の概要を説明するための図である。 バックグラウンド除去画像R1の一例を示した図である。 フィールドライン復元画像R2の一例を示した図である。 フィールドライン画像R3の一例を示した図である。 ラインセグメントの抽出結果の一例を示した図である。 フィールドラインの評価方法を示した図である。 フィールドラインのソーティング方法を示した図である。 フィールドモデルから予め抽出される交点の例を示した図である。 カメラ画像から検知される交点の例を示した図である。

以下、図面を参照して本発明の実施の形態について説明する。本発明では、図３に示したように、複数のフィールドラインが描かれたグランド（フィールドグランド）を利用した競技のカメラ画像[同図３(ｂ)]から各フィールドラインを認識し、さらにその交点を検知する。

そして、フィールドモデル[同図３(ａ)]における各方向のフィールドラインLv，Lhの交点と前記カメラ画像から検知された各交点とを対応付けて対応点とし、少なくとも４つの対応点に基づいてホモグラフィ行列の推定およびカメラキャリブレーション行列の計算を行う。

図１は、本発明におけるカメラキャリブレーションの計算手順を示したフローチャートであり、ステップS１では、サッカー、野球、ラグビー、フットボール、バスケットボールあるいはテニスのように、フィールドグランドを用いた競技の映像からカメラ画像がフレーム単位で取得される。

ステップS２では、前記カメラ画像からフィールドラインが抽出される。本実施形態では、ハフ変換 (Hough Transform) により多数のラインセグメントを抽出し、傾きおよび切片が同一の範囲に属するラインセグメントの各配列をフィールドラインとして認識する。

ステップS３では、各フィールドラインが、相互に交差する一方（例えば、縦または垂直）および他方（例えば、横または水平）のフィールドライン群Lv，Lhに分類される。そして、フィールドライン群Lv，Lhの各フィールドラインを評価し、頑健性の高い複数本のフィールドラインを各フィールドライン群Lv，Lhから選択する。本実施形態では、相互に交差する各フィールドラインを、垂直フィールドラインLvおよび水平フィールドラインLhとして説明する。

ステップS４では、垂直フィールドライン群Lvから選択したNv本の垂直フィールドラインLv(1)〜Lv(Nv)と、水平フィールドライン群Lhから選択したNh本の水平フィールドラインLh(1) 〜Lh (Nh)との交点を計算し、各交点とフィールドモデル上の対応する各交点とのペアが、カメラキャリブレーション用のホモグラフィ行列Hを計算するための対応点に設定される。

ステップＳ５では、前記複数の対応点に基づいて、カメラ座標系をワールド座標系に変換する射影行列（ホモグラフィ行列H）が推定され、ステップS６において、その正当性が評価される。

正当性が否定されるとステップS１へ戻り、次フレームのカメラ画像に対して同様の処理が繰り返される。ステップS７では、正当と評価されたホモグラフィ行列Hとカメラの内部パラメータとに基づいてカメラキャリブレーション行列が計算される。

図２は、本発明の一実施形態に係るカメラキャリブレーション装置の主要部の構成を示した機能ブロック図である。

フィールドライン画像抽出部１０は、カメラ画像からフィールドラインのみが写ったフィールドライン画像R3を抽出する。フィールドライン選択部２０は、フィールドライン画像R3からフィールドラインを抽出し、さらに対応点の設定に好適な複数の垂直フィールドラインLvおよび水平フィールドラインLhを選択する。

対応点設定部３０は、選択されたフィールドライン同士の交点と、予めフィールドモデルから抽出されている交点とに基づいて対応点を設定する。ホモグラフィ行列決定部４０は、少なくとも４つの対応点に基づいてホモグラフィ行列を決定する。カメラキャリブレーション計算部５０は、前記決定されたホモグラフィ行列とカメラの内部パラメータとに基づいてカメラキャリブレーション行列を計算する。

前記フィールドライン画像抽出部１０において、バックグラウンド除去部１０１は、フィールドグランドの写ったカメラ画像では、前記図３(b)に示したように、フィールドグランド領域とそれ以外の領域とで色情報が大きく異なることを利用して、フィールドグランド領域以外のバックグラウンド領域を除去する。

本実施形態では、初めにフィールドグランド領域内の所定の部分領域に注目し、そのYUVの色空間に関する統計的平均値μ={μ^(y)，μ^(u)，μ^(v)}および標準偏差σ={σ^(y)，σ^(u)，σ^(v)}が求められる。なお、これらの統計情報は部分領域内に選手やフィールドラインが含まれていても頑健である点が重要である。

次いで、カメラ画像の全ての画素から前記統計的平均値 {μ^(y)，μ^(u)，μ^(v)}を減じて残存画像を求め、当該残存画像において色成分YUVごとの画素値r^(y)，r^(u)，r^(v)が次式(1)，(2)，(3)の全てを満足する画素領域がフィールドグランド領域に分類され、それ以外はバックグラウンド領域に分類される。なお、(i,j)は各画素の位置を表す座標であり、閾値δ={δ(y)，δ(u)，δ(v)}は予め設定されている。前記閾値δとしては、例えば {30，10，10} を採用できる。

最後に、フレーム映像からバックグラウンド領域は排除し、フィールドグランド領域は保持することで、図４に示したようなバックグラウンド除去画像R1が取得される。ただし、バックグラウンド領域を除去する際にフィールドラインも部分的に除去され得る。

フィールドライン復元部１０２は、前記バックグラウンド除去の処理で部分的に喪失したフィールドラインを回復するための平滑化処理を実行する。図５は、平滑化処理によりフィールドラインが復元されたフィールドライン復元画像R2を示した図であり、図４のバックグラウンド除去画像R1では失われていたフィールドラインが復元されている。ここでは、メジアンフィルタによる平滑化処理の結果が示されている。

フィールド除去部１０３は、前記バックグラウンド除去部１０１と同様に、初めにフィールドグランド領域内の所定の部分領域についてYUVの色空間に関する統計的平均値μ={μ(y)，μ(u)，μ(v)}および標準偏差σ={σ(y)，σ(u)，σ(v)}を求める。

次いで、前記フィールドライン復元画像R2の全ての画素から前記統計的平均値 {μ(y)，μ(u)，μ(v)}を減じて残存画像を求め、当該残存画像において色成分YUVごとの画素値r(y)，r(u)，r(v)が次式(4)，(5)，(6)の全てを満足する画素領域がフィールドラインと判別され、それ以外はフィールドグランド領域に識別されて除去される。なお、α(0<α≦1)は閾値を調整するための係数である。

最後に、フィールドライン復元画像R2からフィールドグランド領域を排除することで、図６に示したように、フィールドラインのみが残ったフィールドライン画像R3が得られる。

前記フィールドライン選択部２０において、セグメント抽出部２０１は、前記フィールドライン画像R3を対象にハフ変換によるラインセグメント抽出を実行し、各フィールドラインLv，Lhの構成要素となるラインセグメントlを取得する。各ラインセグメントlは、始点座標(x1，y1)および終点座標(x2，y2)で定義され、セグメント長は一定である。

図７は、ラインセグメントlの抽出結果の一例を示しており、この例では４つのラインセグメントl1〜l4が抽出されている。但し、ラインセグメントl1，l2は同一のフィールドラインの一部であり、ラインセグメントl3，l4も他の同一のフィールドラインの一部である。

フィールドライン認識部２０２は、抽出された全てのラインセグメントを対象に、傾きおよび切片が同一の範囲に属するラインセグメント同士を統合し、各セグメントの配列をフィールドラインとして認識する。

本実施形態では、各ラインセグメントlの始点座標(x1，y1)および終点座標(x2，y2)に基づいて、その傾きk=(y2-y1)/(y2-y1)および切片b=(y1x2-y2x1)/(x2-x1)を計算し、各ラインセグメントli，lj…を、li={ki，bi}，lj={kj，bj}…と定義する。

そして、傾き差Δk=|ki-kj|および切片差Δb=|bi-bj|のいずれもが所定の閾値を下回れば同一のフィールドラインLiとして認識される。図７の例では、ラインセグメントl1，l2がフィールドラインLaとして認識され、ラインセグメントl3，l4がフィールドラインLbとして認識される。

フィールドライン分類部２０３は、認識された全てのフィールドラインを、その傾きに基づいて、垂直フィールドライン群Lvおよび水平フィールドライン群Lhに分類する。なお、各フィールドラインは、フィールドモデル上では相互に直行関係にあっても、カメラ画像上では必ずしも直交しない点に留意する必要がある。

フィールドライン評価部２０４は、図８に示したように、垂直フィールドライン群Lv[同図(a)]および水平フィールドライン群Lh[同図(b)]ごとに、統合されているラインセグメント数に基づくヒストグラムを生成し、それぞれ上位から予定数のフィールドラインを頑健性の高いフィールドラインとして評価する。

図示の例では、縦軸がラインセグメントの統合数、横軸が各フィールドラインを表しており、垂直フィールドライン群Lvからは３本、水平フィールドライン群Lhからは４本のフィールドラインが選択されている。

前記対応点設定部３０において、ソーティング部３０１は、垂直および水平フィールドライン群ごとに、選択された各フィールドラインを、その傾きまたは切片に基づいて並べ替える。

すなわち、フィールド画像から抽出した各フィールドラインが、図９(a)，(b)に示したように並列的な配列であれば、各フィールドラインをその切片に基づいて並べ替える。また、同図(c)に示したように線遠近的な配列であれば、その傾きに基づいて並べ替える。そして、各フィールドラインLv，Lhには、その順番に応じたライン識別子i，jが付与され、これ以降、３本の各垂直フィールドラインLviはLv1，Lv2，Lv3、４本の各水平フィールドラインLhjはLh1，Lh2，Lh3，Lh4として識別されることになる。

交点検知部３０２は、前記選択された各フィールドラインLvi，Lhjの交点座標を計算する。検知された各交点Pには、交差する２本のフィールドラインLvi，Lhjのライン識別子に基づいて、次式(7)で計算される交点識別子tが付与される。ここで、Nv，Nhは垂直フィールドライン数および水平フィールドライン数であり、本実施形態では、Nv=３，Nh=４である。

交点対応付部３０３は、前記カメラ画像から検知した各交点Pと、予めフィールドモデルから抽出されている各交点pとを対応付けて対応点に設定する。

例えば、フィールドモデルが前記図３(a)に示したサッカーフィールドであれば、図１０に示した３本の垂直フィールドラインLv1，Lv2，Lv3および４本の水平フィールドラインLh1，Lh2，Lh3，Lh4の認識が予定され、１２個の交点pt（p0〜p11）の検知が予定される。なお、ここではフィールドグランドの左半分のみに着目して説明している。

ここで、カメラ画像から３本の垂直フィールドラインLv1，Lv2，Lv3および４本の水平フィールドラインLh1，Lh2，Lh3，Lh4が選択されると、図１１に示したように１２個の交点P0〜P11が検知される。なお、交点P4(p4)，P7(p7)およびP9(p9)，P10(p10)は、フィールドラインが実際に交差する点ではないが、認識された各フィールドラインを仮想的に延長した場合の交点として検知される。

以上のようにして、カメラ画像から１２個の交点が検出されると、各交点p，Pの相対的な位置関係に基づいて、本実施形態では１２個の対応点 (p0，P0)，(p1，P1)，(p2，P2)…(p11，P11)が得られる。このとき、カメラ画像から検知された各交点の相対位置は、交差する各フィールドラインをソーティングした際の順番に基づいて認識される。

図２へ戻り、ホモグラフィ行列決定部４０において、ホモグラフィ行列推定部４０１は、前記少なくとも４つの対応点に基づいてホモグラフィ行列Hを推定する。ホモグラフィ行列評価部４０２は、フィールドモデルの各交点pijを前記ホモグラフィ行列Hを用いてカメラ座標に逆投影し、逆投影された各座標と前記交点の各座標との誤差Eの累積値ΣEを所定の閾値Erefと比較する。その結果、ΣE≦Erefであれば当該ホモグラフィ行列Hを正当と判断して当該処理を終了する。

これに対して、ΣE＞Erefであれば、当該ホモグラフィ行列Hを不当と判断し、次のカメラ画像に対して上記の処理を繰り返す。

カメラキャリブレーション計算部５０は、正当性の認められたホモグラフィ行列と別途に与えられるカメラの内部パラメータとに基づいてカメラキャリブレーションを計算する。

１０…フィールドライン画像抽出部，２０…フィールドライン選択部，３０…対応点設定部，４０…ホモグラフィ行列決定部，５０…カメラキャリブレーション計算部，１０１…バックグラウンド除去部，１０２…フィールドライン復元部，１０３…フィールド除去部，２０１…セグメント抽出部，２０２…フィールドライン認識部，２０３…フィールドライン分類部，２０４…フィールドライン評価部，３０１…ソーティング部，３０２…交点検知部，３０３…交点対応付部，４０１…ホモグラフィ行列推定部，４０２…ホモグラフィ行列評価部

Claims (7)

1. フィールドラインの写ったカメラ画像に基づいてカメラキャリブレーションを行う装置において、
   カメラ画像からフィールドライン画像を抽出する手段と、
   前記フィールドライン画像から、相互に交差する一方および他方のフィールドラインを選択する手段と、
   前記選択されたフィールドラインの交点に基づいて対応点を設定する手段と、
   前記対応点に基づいてホモグラフィ行列を決定する手段と、
   前記ホモグラフィ行列に基づいてカメラキャリブレーションを行う手段とを具備し、
   前記フィールドラインを選択する手段は、
   前記フィールドライン画像からラインセグメントを抽出する手段と、
   傾きおよび切片が同一の範囲に属するラインセグメントの各配列をフィールドラインとして認識する手段と、
   各フィールドラインをその傾きに基づいて相互に交差する一方および他方のフィールドライン群に分類する手段と、
   フィールドライン群ごとに各フィールドラインを評価する手段とを具備し、
   フィールドライン群ごとに評価の高い複数のフィールドラインを選択することを特徴とするカメラキャリブレーション装置。
2. 前記評価する手段は、統合したラインセグメント数がより多いフィールドラインをより高く評価することを特徴とする請求項１に記載のカメラキャリブレーション装置。
3. 前記対応点を設定する手段は、
   フィールドライン群ごとに、選択された各フィールドラインを、その傾き及び切片の少なくとも一方に基づいてソーティングする手段と、
   一方のフィールドライン群から選択した複数のフィールドラインと他方のフィールドライン群から選択した複数のフィールドラインとの各交点を検知する手段と、
   フィールドモデルから予め抽出されている各交点と前記検知された各交点とを、それぞれの相対的な位置関係に基づいて対応付ける手段とを具備し、
   前記検知された各交点の相対位置が、前記各フィールドラインのソーティング結果に基づいて認識されることを特徴とする請求項１または２に記載のカメラキャリブレーション装置。
4. 前記フィールドライン画像を抽出する手段は、
   カメラ画像からフィールドグランドの色成分を除去した残存画像に対して、色成分に基づく閾値処理を実行してフィールドグランド以外領域を識別する手段と、
   カメラ画像から前記フィールドグランド以外領域を除去してバックグラウンド除去画像を取得する手段と、
   前記バックグラウンド除去画像にフィルタ処理を実行してフィールドラインが復元されたフィールドライン復元画像を取得する手段と、
   前記フィールドライン復元画像のフィールドグランド領域からフィールドグランドの色成分を除去してフィールドライン画像を取得する手段とを含むことを特徴とする請求項１ないし３のいずれかに記載のカメラキャリブレーション装置。
5. 前記フィルタ処理がメジアンフィルタ処理であることを特徴とする請求項４に記載のカメラキャリブレーション装置。
6. フィールドラインの写ったカメラ画像に基づいてカメラキャリブレーションを行う方法において、
   カメラ画像からフィールドライン画像を抽出する手順と、
   前記フィールドライン画像からラインセグメントを抽出する手順と、
   傾きおよび切片が同一の範囲に属するラインセグメントの各配列をフィールドラインとして認識する手順と、
   各フィールドラインをその傾きに基づいて相互に交差する一方および他方のフィールドライン群に分類する手順と、
   フィールドライン群ごとに各フィールドラインを評価する手順と、
   各フィールドライン群から評価の高い上位予定数のフィールドラインを選択する手順と、
   前記選択されたフィールドラインの交点に基づいて対応点を設定する手順と、
   前記対応点に基づいてホモグラフィ行列を決定する手順と、
   前記ホモグラフィ行列に基づいてカメラキャリブレーションを行う手順とを含むことを特徴とするカメラキャリブレーション方法。
7. 前記決定されたホモグラフィ行列の正当性を評価する手順を含み、
   正当性の評価値が所定の閾値を下回ると前記フィールドライン画像を抽出する手順へ戻り、次のカメラ画像からフィールドライン画像を抽出してその後の各手順を繰り返すことを特徴とする請求項６に記載のカメラキャリブレーション方法。