JP7297720B2

JP7297720B2 - カメラキャリブレーション方法、装置およびプログラム

Info

Publication number: JP7297720B2
Application number: JP2020127288A
Authority: JP
Inventors: 裕貴鶴崎; 良亮渡邊
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2020-07-28
Filing date: 2020-07-28
Publication date: 2023-06-26
Anticipated expiration: 2040-07-28
Also published as: JP2022024601A

Description

本発明は、カメラキャリブレーション方法、装置およびプログラムに係り、特に、フィールド競技を撮影するカメラのキャリブレーションに好適なカメラキャリブレーション方法、装置およびプログラムに関する。

特許文献１，２には、カメラ画像から白線を検出し、検出された白線とモデルデータを用いてホモグラフィ行列を算出することでカメラキャリブレーションを行う技術が開示されている。非特許文献１には、Line Segment Detector (LSD)と呼ばれる、入力画像のエッジの勾配を用いて、線分となる領域を抽出して線分を検出する技術が開示されている。LSDは、検出精度が高い線分検出手法として知られている。

特許文献１，２では、白線の交点がホモグラフィ行列を計算するための特徴点として用いられ、白線を検出するためにハフ変換や非特許文献１の手法を用いている。検出された線分は水平方向と垂直方向とに分類され、水平方向の線分をｎ本、垂直方向の線分をm本選択することでn×m個の交点が決定される（n、mは２以上の整数）。特許文献１，２では複数のホモグラフィ行列が求められ、確度の高い１つに絞り込む処理を適用したのち、この一つのホモグラフィ行列を用いて最終的なカメラパラメータが求められる。

特開2018-137667号公報特願2020-012676号

R. G. V. Gioi, J. Jakubowicz, J. M. Morel and G. Randall, "LSD: a Line Segment Detector", Image Processing On Line, pp. 35-55, 2012.

特許文献１，２には、交点の選択方法が原因でカメラキャリブレーションの精度が低下することがあるという問題があった。

すなわち、従来技術ではカメラ画像から多数の線分を検出し、その中から水平および垂直方向の線分を指定本数ずつ選択することで交点が決定される。しかしながら、カメラキャリブレーションでは交点が４点以上必要となるところ、上記の従来技術では選択された線分の傾きや長さによっては交点数が４点未満になる場合がある。

加えて、このような交点選択の方法では、選択される交点が検出／選択される線分の位置に依存し、交点の柔軟な選択が行えなくなる。交点を柔軟に選択できなくなると、図１１に示したように、例えば選択された交点が入力画像内の狭い範囲に集中するなどしたときに、カメラキャリブレーションの精度が低下する。

本発明の目的は、上記の技術課題を解決し、フィールド競技を撮影するカメラのキャリブレーションを低負荷、高精度で行えるキャリブレーション方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明はフィールドのカメラ画像に基づいてカメラキャリブレーションを行うカメラキャリブレーション装置において、以下の構成を具備した点に特徴がある。

(1) カメラ画像から線分を検出する手段と、検出した線分から交点計算に用いるL本の線分を選択する手段と、選択した各線分が交差するカメラ交点を出力する手段と、フィールドモデルの各線分が交差するモデル交点を記憶する手段と、前記複数のカメラ交点および複数のモデル交点からM点の交点をそれぞれ選択する手段と、相互に対応するM点のカメラ交点およびモデル交点に基づいてカメラキャリブレーションを行う手段とを具備し、線分を選択する手段は、検出した線分から最長線分PLを選択済とし、検出した残りの線分から線分長の長い順に第１および第２条件を充足する線分以外を選択し、所定数の線分が選択された以降は、更に第３条件を充足する線分を選択し、これをL本の線分が選択されるまで繰り返すようにした。
第１条件：最長線分とのラジアンの差の絶対値が第１閾値未満であること
第２条件：選択済みの各線分との距離が第２閾値未満であること
第３条件：最長線分との傾きの差の絶対値が第３閾値以上であること

(2) モデル交点をソートする手段は、最長線分のラジアンが第４閾値未満かつ傾きが負であると各モデル交点をx座標の昇順でソートし、x座標が同一であるとy座標で昇順ソートし、最長線分のラジアンが第４閾値未満かつ傾きが正であると各モデル交点をx座標の昇順でソートし、x座標が同一であるとy座標で降順ソートし、最長線分のラジアンが第４閾値以上かつ傾きが負であると各モデル交点をy座標の昇順でソートし、y座標が同一であるとx座標で昇順ソートし、最長線分のラジアンが第４閾値以上かつ傾きが正であると各モデル交点をy座標の昇順でソートし、y座標が同一であるとx座標で降順ソートするようにした。

(1) フィールドを撮影したカメラ画像に映る全ての線分から交点を計算するためのL本の線分を選択する際に、水平方向および垂直方向の一方ばかりの線分が選択されたり、あるいは相互に間隔の近い（距離の短い）線分ばかりが選択されることを防止できる。したがって、選択された線分の交点を広範囲に分散させることができ、高精度なカメラキャリブレーションが可能になる。

(2) 多数のカメラ交点および多数のモデル交点からカメラキャリブレーション用の交点候補をM点ずつ選択した後、各M点の交点をその位置座標に基づきソートし、各交点をソート順で対応付けるようにした。したがって、多数の交点からM点ずつ選択してカメラキャリブレーション用の交点を決定する際に、M点の順列を考慮する必要がなくなるので、多数のカメラ交点および多数のモデル交点の組み合わせからキャリブレーション用の交点を決定するための計算量および時間を削減できるようになる。

本発明を適用したカメラキャリブレーション装置の機能ブロック図である。フィールドの抽出手順を示したフローチャートである。線分片特徴量の求め方を示した図である。交点修正部の機能ブロック図である。交点の修正方法を示した図である。特徴ベクトル要素の設定方法を示した図である。カメラ交点特徴ベクトルの生成方法を示した図である。カメラ交点とモデル交点との対応関係を示した図である。左右対称フィールドへの適用方法を示した図である。ホモグラフィ行列決定部の機能ブロック図である。線分選択の課題を説明するための図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用したカメラキャリブレーション装置の主要部の構成を示した機能ブロック図である。

このようなカメラキャリブレーション装置は、汎用の１ないし複数のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

画像取得部１０は、フィールド競技のカメラ画像をフレーム単位で取得する。カメラ画像は、フィールド競技を撮影中のカメラから直接取得しても良いし、HDDなどに保存した後に読み出して取得するようにしても良い。

競技領域抽出部２０は、フィールド競技の競技領域が観客席等と共に映ったカメラ画像から競技領域を抽出する。多くの競技では、競技領域が一色又は類似の色で構成され、競技領域以外は別の色となることが多い。また、競技を撮影したカメラ画像では、競技領域の色がそれ以外の領域の色よりも多くの面積を占めることが経験的に認められる。

そこで、本実施形態ではフィールド競技を撮影したカメラ画像に固有の特徴を利用して、カメラ画像の全領域を競技領域と仮定した後、カメラ画像に対する統計値を用いた閾値処理により競技領域と推定する領域を徐々に狭める反復処理において閾値を自動更新し、所定の収束条件が成立した時点で競技領域と推定されている領域を競技領域として抽出するようにしている。

図２は、前記競技領域抽出部２０による競技領域の抽出手順を示したフローチャートである。なお、本発明に適用可能な競技領域の抽出方法は以下の方法に制約されるものではなく、特許文献１の抽出方法を採用しても良い。ステップＳ１では、フレーム単位で入力されるカメラ画像の色空間がHSV色空間に変換される。ステップＳ２では、カメラ画像のマスク画像mask (i, j)が初期化される。本実施形態では、マスク画像mask (i,j)の競技領域と推定されている画素には「1」、競技領域以外と推定されている画素には「0」が登録されるが、初期化されると全ての画素が「1」となる。

ステップＳ３では、カメラ画像に占める競技領域の割合に基づいて、マスク画像の更新条件が成立したか否かが判断される。本実施形態では、Xをカメラ画像の横方向の画素数、Yをカメラ力画像の縦方向の画素数、rをカメラ画像に占める競技領域の上限割合（1以下の固定係数値）、cをmask (i, j)の値が「1」の数をカウントした値とし、次式(1)が成立すればマスク画像mask (i, j)の更新条件が成立したと判断される。

マスク画像mask (i, j)が初期化された直後はcの値が十分に大きく、上式(1)が不成立と判断されるのでステップＳ４へ進む。ステップＳ４では、次式(2)，(3)を用いてカメラ画像のH成分（色相）の平均値μ^Hおよび標準偏差σ^H、ならびにS成分（彩度）の平均値μ^Sおよび標準偏差σ^S（S成分については、式省略）が求められる。ここで、I^Hはカメラ画像IのH成分の配列、i，jは画素位置を表す添字である。

ステップＳ５では、マスク画像mask (i, j)の更新式(5)で用いる３つの閾値が次式(4)に基づいて更新される。ここで、αは更新式(5)の閾値処理のレンジを調整する１以上の係数値である。

ステップＳ６では、次式(5)に基づいてマスク画像mask (i, j)が更新される。本実施形態では、画素I_{i, j}のH成分が所定の下限値H_MIN以上かつ上限値H_MAX以下であって、そのS成分が所定の下限値S_MIN以上であれば「１」、それ以外であれば「０」とされる。

ステップＳ７では、前記更新後のマスク画像mask (i, j)にメディアンフィルタを適用することでノイズが除去される。ステップＳ８では、次式(6)に基づいて競技領域推定の収束判定がなされる。

ここで、差分DはH成分の現在の標準偏差σ^Hと前回の標準偏差σ^H'との差分であり、次式(7)で求められる。上式(6)が不成立であれば、ステップＳ３へ戻って上記の各処理が繰り返される。

その後、ステップＳ３の判断が肯定となるとステップＳ１０へ進み、前記αに1未満の更新ステップ幅tが加算される。ステップＳ１１では、マスク画像mask (i, j)が更新前のマスク画像mask_(i, j)に置き換えられる。

前記ステップＳ８において競技領域推定の収束判定の判断が肯定となるとステップＳ９へ進む。ステップＳ９では、次式(8)に基づいてカメラ画像Iに現在のマスク画像mask (i, j)を適用することで競技領域の画像F_{i, j}が抽出されて次段へ出力される。

なお、上記の実施例ではHSV色空間を例にして説明をしたが、本発明は色空間に限定されない。

図１へ戻り、線分検出部３０は、カメラ画像の競技領域からフィールドラインを構成する線分を検出する。線分検出部３０において、線分片検出部３１は、競技領域に周知のLSDを適用して、フィールドラインの構成要素であるセグメント（線分片）を検出する。

各線分片は始点座標および終点座標により定義される。線分片特徴量計算部３２は、図３に示したように、各線分片Sgまたはその延長線上にカメラ画像Iの四隅のいずれか（本実施形態では、原点となる左上頂部）から垂線Peを下ろし、当該垂線Peとx軸との角度θおよび当該垂線Peの長さρを各線分片Sgの特徴量として計算する。

線分片統合部３３は、線分片のペアごとに特徴量としての角度θおよび長さρの各差分を計算し、所定の条件を充足する線分片ペアを統合する。本実施形態では、任意に抽出した２つの線分Sg₁=(ρ₁, θ₁)，Sg₂=(ρ₂, θ₂)について、その一方（例えば、線分Sg₁）をその中点を中心にθ₂－θ₁度だけ回転させた線分Sg₁'=(ρ₁', θ₂)を定義し、次式(9)を満たす線分片ペアSg₁，Sg₂を同一の線分を構成する線分片と判定して統合する。

ここで、T_θ，T_ρは定数の閾値である。また、同一直線上にある線分片であっても、端点の間隔が閾値以上の場合は統合しない。線分片統合部３３は、統合された線分片の各端点の座標を出力する。線分ソート部３４は、各線分をその長さに基づいてソートする。

線分選択部４０は、前記線分検出部３０が検出した線分の中から交点検出に用いるL本の線分を選択する。本数Lはユーザが指定可能な定数であるが、カメラキャリブレーションには交点が４点以上必要であるため本数Lは４以上の整数である必要がある。ただし、選択された線分のラジアンが全て同じ、または近しい値であるとカメラ画像内に交点を求められなくなる。また、距離の近い線分が選択されると交点が狭い範囲に集中してしまう可能性がある。

そこで、本実施形態では距離の離れた水平方向線分および垂直方向線分が各２本以上選択されるように、以下の３つの条件でL本の線分が選択されるまで繰り返される。

ここでは、検出された各線分をCLi（0≦i<TN：TNは線分の総数)、検出された線分の中で最も長い最長線分をPL（=CL0）、選択済の線分をOLj（0≦j<L）、選択済みの線分の総数をNとする。また、各線分CLiは線分ソート部３４において線分長の昇順で並び替えられており、iの値が小さいほど長いものとする。線分選択はiの昇順すなわち線分長の長い順に行われる。

第１条件：PLとCLiとのラジアンの差の絶対値が15×(π/180)未満であること

第２条件：CLiとOL(0~N-1)とのρの差の絶対値（線分間隔）が10未満（例えば、画素単位）であること

本実施形態では、第１および第２条件を充足する線分以外が選択される。第１条件は、PLと平行な線分を選択されなくするための条件である。ただし、第１条件だけでは、PLと平行な線分が全て選択されなくなってしまうため、第２条件を加えることでPLと平行であるが画像上での距離ρが離れている線分は選択の余地を残すようにしている。なお、第２条件はCLiがOL(0~N)と同一直線上の線分となることを防ぐ機能も有する。ここで、NがL/2以上となると以下の第３条件も充足する必要がある。

第３条件：PLとCLiの傾きの差の絶対値が0.5以上であること

上記の第３条件は、PLおよびOLjが水平方向線分および垂直方向線分の一方であったときに他方のCLiが選択されること、すなわちOL(0~N)が全てPLと平行にならないことを担保する条件である。

交点出力部５０は、選択されたL本の線分の交点（カメラ交点）を検出し、その座標を計算する。このように、本実施形態ではフィールドを撮影したカメラ画像に映る全ての線分から交点を計算するための線分を選択する際に、水平方向および垂直方向の一方ばかりの線分が選択されたり、あるいは相互に間隔の近い（距離の短い）線分ばかりが選択されることを防止できる。したがって、選択された線分の交点を広範囲に分散させることができ、高精度なカメラキャリブレーションが可能になる。

パッチ画像抽出部６０は、カメラ画像から交点ごとに当該交点の座標位置を中心とした矩形のパッチ画像を抽出する。交点修正部７０は、図４に示したように、前処理部７１、線分識別部７２、交点計算部７３、特徴ベクトル要素生成部７４およびカメラ交点特徴ベクトル生成部７５を含み、グレースケール化した各パッチ画像上で、前記交点出力部５０が計算した各カメラ交点の位置を修正し、修正後の各カメラ交点の情報をベクトル化する。

前記交点修正部７０において、前処理部７１は、抽出した線分ごとに前処理として、(1) 当該線分が垂直姿勢となるようにパッチ画像を回転させ、(2) バイラテラルフィルタを適用し、(3) 所定の閾値処理により画像を0または255の二値の画像に変換し、(4) メディアンフィルタを適用してノイズを除去し、(5) ノイズ除去された線分を、図５(a)に示したように細線化し、(6) ガウシアンフィルタを適用した平滑化により細線化した線分に勾配を持たせる、ことにより前処理後パッチ画像を得る。

このような前処理により、不鮮明、不明瞭であるために前記線分検出部３０が不完全にしか抽出できなかった線分を鮮明化、明瞭化して線分検出され易くできる。また、このような前処理は一般的に多くの計算量を必要とするが、本実施形態では前処理がパッチ画像に対してのみ実施されるので、計算量の増加を抑えながら交点検出に影響する実質的に全ての線分を検出され易くできる。

線分識別部７２は、前処理後パッチ画像に周知のLSD（Line Segment Detector）を適用して線分を識別する。本実施形態では、前処理後パッチ画像に対するラスタスキャンにより、図５(b)に示したように、線分ごとにその一方側エッジおよび他方側エッジに沿って２本の線分が検知されるので、２つの線分の向きの差|θ|を求める。更に、|θ|<閾値THを満たす線分ペアについて、ラスタスキャンの位置ごとに検知された一方側および他方側の各座標の中点座標を求め、中点座標間の距離が最長となる中点座標ペアを通る線分を修正後の線分として識別する。

交点計算部７３は、修正後の線分の交点を再計算し、図５(c)に示したように、再計算結果に基づいて交点の座標を修正する。特徴ベクトル要素生成部７４は、再計算された交点ごとに当該交点から各方向へ延びる線分の存否に基づいて特徴ベクトル要素を生成する。本実施形態では、図６に示したように、交点ごとに各方向へ延びる線分の存否が、4ビットのバイナリデータで構成される特徴ベクトル要素の各ビットに割り当てられ、例えば、「UP」方向への存否が最上位ビット（MSB1）に割り当てられる。

同様に、「RIGHT」方向への存否がMSB2に割り当てられ、「DOWN」方向への存否がMSB3に割り当てられ、「LEFT」方向への存否が最下位ビット（MSB4）に割り当てられる。そして、各ビットに対して、フィールドラインが存在していれば「１」、存在していなければ「０」がセットされる。したがって、「UP」方向へ延びる垂直フィールドラインと「LEFT」方向へ延びる垂直フィールドラインとが検知されている交点の特徴ベクトル要素は"1001"となる。

カメラ交点特徴ベクトル生成部７５は、カメラ交点に基づいて、各交点の特徴ベクトル要素を所定の順序、例えば図７に示したようなラスタスキャンの順序で一次元に配列することで、カメラ交点特徴ベクトルVcを生成する。図７の例ではカメラ交点特徴ベクトルVcは次式(10)のようになる。

Vc=[1110,0101,0011,1110,0011,1010,1110,0101,1001] (10)

このように、本実施形態ではパッチ画像単位で前処理を実行してパッチ画像内の線分を鮮明化、明瞭化した後に各線分を改めて識別し、当該識別の結果に基づいて交点が計算される。したがって、前記線分検出部３０が、本来の交点を構成する線分以外の線分に基づいて交点を誤検知していた場合でも、少ない計算負荷で正確な交点を再計算できるようになる。

図１へ戻り、モデル交点記憶部１３０には、競技領域モデルの各フィールドラインの交点（モデル交点）ごとに、当該交点を通るフィールドラインの数および方向に基づいて予め上記と同様の手順で生成したモデル交点特徴ベクトルが記憶されている。

交点選択部８０は、前記交点出力部５０が出力したカメラ交点からM点、モデル交点記憶部１３０に記憶されているモデル交点からM点の交点選択を繰り返す。

選択数Mはユーザが指定可能な定数であるが、カメラキャリブレーションには少なくとも４つの交点が必要なため、選択数Mは４以上の整数である必要がある。カメラ交点の総数をTC、モデル交点の総数をFCとすると、交点の選び方はカメラ交点が_TCC_M通り、モデル交点が_FCC_M通りなので、各M点の交点の組み合わせパターンは_TCC_M×_FCC_M通りとなる。

交点ソート部９０は、カメラ交点ソート部９１およびモデル交点ソート部９２を含み、前記交点選択部８０がM点ずつ選択したカメラ交点およびモデル交点の組み合わせごとに、その座標に基づいて各交点をそれぞれソートすることで各交点の位置を対応付け、カメラキャリブレーションに要する処理量を減じる。

なお、各交点をソートせずに正しく対応付けようとすると、カメラ画像からM点、フィールドモデルからM点の交点を選択する組み合わせ問題に加えて、選択したM点の交点の並び替えの問題が発生する。このため、組み合わせ問題にMの階乗の二乗（M!）²を乗算することとなるので選択パターンが膨大となり、処理量も膨大となる。

例えば、選択数Mがカメラキャリブレーションに必要な最小の交点数４であれば、交点の選択パターンに乗算する値は４！（=２４）程度で済む。しかしながら、M=１０のように選択する交点数が増えると、交点の選択パターンに乗算する値が巨大になり、処理量が膨大になる。本実施形態では、各交点を予めソートすることで選択した交点の順列を考慮する必要を無くし、処理の膨大化を防いでいる。

カメラ交点ソート部９１は、以下の２つの条件で各カメラ交点をソートする。
<条件１>：PLのラジアンがπ/4未満の場合にx座標で各交点を昇順ソート。
<条件２>：PLのラジアンがπ/4以上の場合にy座標で各交点を昇順ソート。

モデル交点ソート部９２は、以下の４つの条件で各モデル交点をソートする。
<条件３>：PLのラジアンがπ/4未満かつ傾きが負の場合にx座標で各交点を昇順ソート。ただし、x座標が同じ場合はy座標で昇順ソート。
<条件４>：PLのラジアンがπ/4未満かつ傾きが正の場合にx座標で各交点を昇順ソート。ただし、x座標が同じ場合はy座標で降順ソート。
<条件５>：PLのラジアンがπ/4以上かつ傾きが負の場合にy座標で各交点を昇順ソート。ただし、y座標が同じ場合はx座標で昇順ソート。
<条件６>：PLのラジアンがπ/4以上かつ傾きが正の場合にy座標で各交点を昇順ソート。ただし、y座標が同じ場合はx座標で交点を降順ソート。

図８は、選択された各交点[同図(a)]がソートされる様子[同図(b)]を示した図であり、いずれも左側がカメラ交点、右側がモデル交点であり、左上頂点に原点座標（0, 0）が設定されている。

カメラ交点については、PLのラジアンがπ/4以上なので＜条件２＞が採用され、４つの交点がy座標の昇順でソートされる。その結果、各交点は図中左側から順に丸数字で示した順序でソートされる。フィールドモデルに関しては、PLのラジアンがπ/4以上かつ傾きが負なので＜条件５＞が採用され、４つの交点はy座標の昇順でソートされる。ただし、図中左側の２つの交点および図中右側の２つの交点はy座標が同一なので、いずれもx座標で昇順ソートされ、各カメラ交点と各モデル交点とが正しく対応付けられる。

このように、本実施形態によれば、多数のカメラ交点および多数のモデル交点からカメラキャリブレーション用の交点候補をM点ずつ選択した後、各M点の交点をその位置座標に基づきソートし、各交点がソート順で対応付けられる。したがって、多数の交点からM点ずつ選択してカメラキャリブレーション用の交点を決定する際に、M点の順列を考慮する必要がなくなるので、多数のカメラ交点および多数のモデル交点の組み合わせからキャリブレーション用の交点を決定するための計算量および時間を削減できるようになる。

ところで、ほとんどのスポーツではコートのフィールドラインが左右対称であるため、図９に示すように、カメラAとカメラBとが左側のコート１を挟んで対面する場合、カメラBがコート１を映したカメラ画像はカメラAが右側のコート２を映したカメラ画像と同等となる。その結果、カメラBが参照するモデル交点はコート１の配置となる。このため、上記の６条件で各交点をソートしてしまうと、各交点を正確に対応付けられなくなってキャリブレーションが破綻してしまう。

このような場合でも、本実施形態では並び替えられたフィールドモデルのM点の交点を反転させることで各交点を正確に対応付けることができ、フィールドモデルも全面使う必要はなくなる。本実施形態では、交点を反転させたパターンが加わるために交点の選択パターンは２倍になるが、フィールドモデルが半面となるために選択パターンを減じることができる。

ホモグラフィ行列生成部１００は、交点ソート部９０から受け取ったカメラ交点の座標およびモデル交点の座標を用いてホモグラフィ行列を生成することを、各M点の交点の組み合わせごとに繰り返す。

なお、交点選択部８０が交点をM点ずつ選択すると交点の選択パターンは_TCC_M×_FCC_M通りとなり、並び替え問題が発生すると、更にM!²を乗じた数となってしまう。しかしながら、本実施形態では交点ソート部９０を設けたので、ホモグラフィ行列の生成回数を_TCC_M×_FCC_M通りまで減じることができる。

ホモグラフィ行列決定部１１０は、図１０に示したように、ハミング距離計算部１１１，交点誤差計算部１１２および方向誤差計算部１１３を含む。

前記ハミング距離計算部１１１は、カメラ交点特徴ベクトルVcとモデル交点特徴ベクトルVmとのハミング距離を計算する。ハミング距離の計算結果は、ホモグラフィ行列の生成に用いたカメラ交点およびモデル交点の対応点としての正当性を評価する指標として用いられる。

交点誤差計算部１１２は、フィールドモデルの各交点座標をホモグラフィ行列生成部１００が生成したホモグラフィ行列を用いて投影した座標と、カメラ画像の各交点座標との誤差を計算する。

方向誤差計算部１１３は、競技領域モデルの各交点座標をホモグラフィ行列生成部１００が生成したホモグラフィ行列を用いて投影した各座標から伸びる線分（白線）と、カメラ画像の交点座標から延びる線分との方向の誤差を計算する。

前記ホモグラフィ行列決定部１１０は、前記ハミング距離、交点誤差および方向誤差の少なくとも２つが所定の閾値未満となるホモグラフィ行列を選択する。少なくとも２つが閾値未満となるホモグラフィ行列が存在しなかった場合はエラーを出力し、キャリブレーションは失敗とする。なお、ホモグラフィ行列の候補が複数あった場合は、次の手順で1つに絞り込むことができる。

手順１：競技領域内で検出された水平方向および垂直方向の各線分を背景が黒色の画像に白線で描画し、二値（0：黒色または255：白色)の二値白線画像W⁰を生成する。

手順２：競技領域モデルの交点座標を各ホモグラフィ行列候補を用いて変換し、変換された交点座標を用いて背景が黒色の画像に白線を描画し、白線画像W^(1~K)を生成する（ここで生成される白線画像はホモグラフィ行列の候補数分(K枚)となる)。

手順３：手順１で生成した白線画像W₀と、手順２で生成した白線画像W^(1~K)とをそれぞれ重ね合わせ、W⁰の白線と重なる面積が最も大きくなる白線画像W^L(Lは1以上K以下の整数)の生成に用いたホモグラフィ行列を出力用のホモグラフィ行列に決定する。

カメラパラメータ計算部１２０は、前記決定されたホモグラフィ行列とカメラの内部パラメータとに基づいてカメラキャリブレーション行列を計算して出力する。

１０…画像取得部，２０…競技領域抽出部，３０…線分検出部，４０…線分選択部，５０…交点出力部，６０…パッチ画像抽出部，７０…交点修正部，８０…交点選択部，９０…交点ソート部，１００…ホモグラフィ行列生成部，１１０…ホモグラフィ行列決定部，１２０…カメラパラメータ計算部，１３０…モデル交点記憶部

Claims

フィールドのカメラ画像に基づいてカメラキャリブレーションを行うカメラキャリブレーション装置において、
カメラ画像から線分を検出する手段と、
検出した線分から交点計算に用いるL本の線分を選択する手段と、
選択した各線分が交差するカメラ交点を出力する手段と、
フィールドモデルの各線分が交差するモデル交点を記憶する手段と、
前記複数のカメラ交点および複数のモデル交点からM点の交点をそれぞれ選択する手段と、
相互に対応するM点のカメラ交点およびモデル交点に基づいてカメラキャリブレーションを行う手段とを具備し、
前記線分を選択する手段は、
検出した線分から最長線分PLを選択済とし、
検出した残りの線分から線分長の長い順に第１および第２条件を充足する線分以外を選択し、
所定数の線分が選択された以降は、更に第３条件を充足する線分を選択し、これをL本の線分が選択されるまで繰り返すことを特徴とするカメラキャリブレーション装置。
第１条件：最長線分とのラジアンの差の絶対値が第１閾値未満であること
第２条件：選択済みの各線分との距離が第２閾値未満であること
第３条件：最長線分との傾きの差の絶対値が第３閾値以上であること
前記第１閾値は、最長線分と略平行とみなせる線分の選択を第１条件により排除できる値であることを特徴とする請求項１に記載のカメラキャリブレーション装置。
前記第２閾値は、選択済みの各線分との間隔が所定の距離以上離れている線分の選択を第２条件により許容できる値であることを特徴とする請求項１または２に記載のカメラキャリブレーション装置。
前記第３閾値は、最長線分と略平行とみなせる線分の選択を第３条件により排除できる値であることを特徴とする請求項１に記載のカメラキャリブレーション装置。
前記M点のカメラ交点をソートする手段と、
前記M点のモデル交点をソートする手段とを具備し、
前記カメラキャリブレーションを行う手段は、各カメラ交点および各モデル交点をソート順で対応付けることを特徴とする請求項１ないし４のいずれかに記載のカメラキャリブレーション装置。
前記カメラ交点をソートする手段は、
前記最長線分のラジアンが第４閾値未満であると各カメラ交点をx座標の昇順でソートし、
前記最長線分のラジアンが第４閾値以上であると各カメラ交点をy座標の昇順でソートすることを特徴とする請求項１ないし５のいずれかに記載のカメラキャリブレーション装置。
前記モデル交点をソートする手段は、
前記最長線分のラジアンが第４閾値未満かつ傾きが負であると、各モデル交点をx座標の昇順でソートし、x座標が同一であるとy座標で昇順ソートし、
前記最長線分のラジアンが第４閾値未満かつ傾きが正であると、各モデル交点をx座標の昇順でソートし、x座標が同一であるとy座標で降順ソートし、
前記最長線分のラジアンが第４閾値以上かつ傾きが負であると、各モデル交点をy座標の昇順でソートし、y座標が同一であるとx座標で昇順ソートし、
前記最長線分のラジアンが第４閾値以上かつ傾きが正であると、各モデル交点をy座標の昇順でソートし、y座標が同一であるとx座標で降順ソートすることを特徴とする請求項６に記載のカメラキャリブレーション装置。
コンピュータが、フィールドのカメラ画像に基づいてカメラキャリブレーションを行うカメラキャリブレーション方法において、
カメラ画像から線分を検出し、
検出した線分から交点計算に用いるL本の線分を選択し、
選択した各線分が交差するカメラ交点を出力し、
前記複数のカメラ交点およびフィールドモデルの各線分が交差する複数のモデル交点からM点の交点をそれぞれ選択し、
相互に対応するM点のカメラ交点およびモデル交点に基づいてカメラキャリブレーションを行い、
前記線分を選択する際に、
検出した線分から最長線分PLを選択済とし、
検出した残りの線分から線分長の長い順に第１および第２条件を充足する線分以外を選択し、
所定数の線分が選択された以降は、更に第３条件を充足する線分を選択し、これをL本の線分が選択されるまで繰り返すことを特徴とするカメラキャリブレーション方法。
第１条件：最長線分とのラジアンの差の絶対値が第１閾値未満であること
第２条件：選択済みの各線分との距離が第２閾値未満であること
第３条件：最長線分との傾きの差の絶対値が第３閾値以上であること
前記M点のカメラ交点をソートし、
前記M点のモデル交点をソートし、
前記カメラキャリブレーションを行う際に、各カメラ交点および各モデル交点をソート順で対応付けることを特徴とする請求項８に記載のカメラキャリブレーション方法。
前記カメラ交点のソートでは、
前記最長線分のラジアンが第４閾値未満であると各カメラ交点をx座標の昇順でソートし、
前記最長線分のラジアンが第４閾値以上であると各カメラ交点をy座標の昇順でソートすることを特徴とする請求項９に記載のカメラキャリブレーション方法。
前記モデル交点のソートでは、
前記最長線分のラジアンが第４閾値未満かつ傾きが負であると、各モデル交点をx座標の昇順でソートし、x座標が同一であるとy座標で昇順ソートし、
前記最長線分のラジアンが第４閾値未満かつ傾きが正であると、各モデル交点をx座標の昇順でソートし、x座標が同一であるとy座標で降順ソートし、
前記最長線分のラジアンが第４閾値以上かつ傾きが負であると、各モデル交点をy座標の昇順でソートし、y座標が同一であるとx座標で昇順ソートし、
前記最長線分のラジアンが第４閾値以上かつ傾きが正であると、各モデル交点をy座標の昇順でソートし、y座標が同一であるとx座標で降順ソートすることを特徴とする請求項１０に記載のカメラキャリブレーション方法。
フィールドのカメラ画像に基づいてカメラキャリブレーションを行うカメラキャリブレーションプログラムにおいて、
カメラ画像から線分を検出する手順と、
検出した線分から交点計算に用いるL本の線分を選択する手順と、
選択した各線分が交差するカメラ交点を出力する手順と、
フィールドモデルの各線分が交差するモデル交点を記憶する手順と、
前記複数のカメラ交点および複数のモデル交点からM点の交点をそれぞれ選択する手順と、
相互に対応するM点のカメラ交点およびモデル交点に基づいてカメラキャリブレーションを行う手順と、をコンピュータに実行させ、
前記線分を選択する手順では、
検出した線分から最長線分PLを選択済とし、
検出した残りの線分から線分長の長い順に第１および第２条件を充足する線分以外を選択し、
所定数の線分が選択された以降は、更に第３条件を充足する線分を選択し、これをL本の線分が選択されるまで繰り返すことを特徴とするカメラキャリブレーションプログラム。
第１条件：最長線分とのラジアンの差の絶対値が第１閾値未満であること
第２条件：選択済みの各線分との距離が第２閾値未満であること
第３条件：最長線分との傾きの差の絶対値が第３閾値以上であること
前記M点のカメラ交点をソートする手順と、
前記M点のモデル交点をソートする手順とを含み、
前記カメラキャリブレーションを行う手順では、各カメラ交点および各モデル交点をソート順で対応付けることを特徴とする請求項１２に記載のカメラキャリブレーションプログラム。
前記カメラ交点をソートする手順では、
前記最長線分のラジアンが第４閾値未満であると各カメラ交点をx座標の昇順でソートし、
前記最長線分のラジアンが第４閾値以上であると各カメラ交点をy座標の昇順でソートすることを特徴とする請求項１３記載のカメラキャリブレーションプログラム。
前記モデル交点をソートする手順では、
前記最長線分のラジアンが第４閾値未満かつ傾きが負であると、各モデル交点をx座標の昇順でソートし、x座標が同一であるとy座標で昇順ソートし、
前記最長線分のラジアンが第４閾値未満かつ傾きが正であると、各モデル交点をx座標の昇順でソートし、x座標が同一であるとy座標で降順ソートし、
前記最長線分のラジアンが第４閾値以上かつ傾きが負であると、各モデル交点をy座標の昇順でソートし、y座標が同一であるとx座標で昇順ソートし、
前記最長線分のラジアンが第４閾値以上かつ傾きが正であると、各モデル交点をy座標の昇順でソートし、y座標が同一であるとx座標で降順ソートすることを特徴とする請求項１４に記載のカメラキャリブレーションプログラム。