JP6583923B2

JP6583923B2 - Camera calibration apparatus, method and program

Info

Publication number: JP6583923B2
Application number: JP2016161404A
Authority: JP
Inventors: 強要; 内藤　整; 整内藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2016-08-19
Filing date: 2016-08-19
Publication date: 2019-10-02
Anticipated expiration: 2036-08-19
Also published as: JP2018028864A

Description

本発明は、カメラのキャリブレーション技術に関し、特に、野球、サッカーまたはテニスのようなスポーツ映像に対するキャリブレーション技術に関する。 The present invention relates to a camera calibration technique, and more particularly to a calibration technique for sports images such as baseball, soccer, or tennis.

カメラキャリブレーション（以下、単にキャリブレーションと呼ぶ）は、３Ｄコンピュータビジョンにおいて非常に重要な技術であり、現実シーンのワールド座標系（以下、実座標系と呼ぶ）とカメラ画像のピクセル座標系（以下、カメラ座標系と呼ぶ。）との関係は、カメラに固有の内部パラメータ及び外部パラメータ（あるいはホモグラフィ行列）に基づいて求められる。特に、スポーツ映像における自由視点でのナビゲーションでは、実際のフィールド上での各選手の位置が重要であり、カメラ画像における各選手の座標をホモグラフィ行列で射影変換することで求められる。したがって、正確なキャリブレーションを自動で行える技術が、自由視点ナビゲーションやビデオ分析のリアルタイムアプリケーションにおいて必要とされる。 Camera calibration (hereinafter simply referred to as calibration) is a very important technology in 3D computer vision, and is based on the world coordinate system of the real scene (hereinafter referred to as the real coordinate system) and the pixel coordinate system of the camera image (hereinafter referred to as the real coordinate system). The relationship with the camera coordinate system is obtained based on the internal parameters and external parameters (or homography matrix) unique to the camera. In particular, in navigation from a free viewpoint in a sports video, the position of each player on the actual field is important, and can be obtained by projective transformation of the coordinates of each player in the camera image using a homography matrix. Therefore, a technology capable of automatically performing accurate calibration is required for real-time applications such as free viewpoint navigation and video analysis.

なお、あるフレームのホモグラフィ行列は、既知である少なくとも４点の実座標と、当該少なくとも４点の実座標に対応する、当該フレームでのカメラ座標が分かれば求めることができる。ここで、非特許文献１は、サッカーフィールドのペネルティエリアやゴールエリア等を示す２つの直交するラインの交点に基づきホモグラフィ行列を求める構成を開示している。 A homography matrix of a certain frame can be obtained if at least four known real coordinates and the camera coordinates corresponding to the at least four real coordinates are known. Here, Non-Patent Document 1 discloses a configuration for obtaining a homography matrix based on the intersection of two orthogonal lines indicating a penalty area, a goal area, or the like of a soccer field.

Ｆａｒｉｎｅｔａｌ，"Ｒｏｂｕｓｔｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｆｏｒｓｐｏｒｔｖｉｄｅｏｓｕｓｉｎｇｃｏｕｒｔｍｏｄｅｌｓ"，ＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ２００４，ＩｎｔｅｒｎａｔｉｏｎａｌＳｏｃｉｅｔｙｆｏｒＯｐｔｉｃｓａｎｄＰｈｏｔｏｎｉｃｓ，２００３Farin et al, "Robust camera calibration for sports videos using modeling models", Electronic Imaging 2004, International Society for Optics and Photo3

しかしながら、非特許文献１の構成では、映像を構成するフレームの内、直交する２つのラインの交点が少なくとも４つ存在するフレームに対してはホモグラフィ行列を求めることができるが、その他のフレームについてはホモグラフィ行列を求めることができない。 However, in the configuration of Non-Patent Document 1, a homography matrix can be obtained for a frame in which there are at least four intersections of two orthogonal lines among the frames constituting the video. Cannot find a homography matrix.

本発明は、ホモグラフィ行列を算出できるフレームの数を、従来技術より多くできるキャリブレーション装置、方法及びプログラムを提供するものである。 The present invention provides a calibration apparatus, method, and program capable of increasing the number of frames from which a homography matrix can be calculated as compared with the prior art.

本発明の一側面によると、スポーツ・フィールドの円状ラインの少なくとも一部と、前記円状ラインと交差し、かつ、前記円状ラインの中心を通る直線状ラインの少なくとも一部を含むフレームから、当該フレームに対するホモグラフィ行列を求めるキャリブレーション装置は、前記直線状ラインと前記円状ラインとの２つの第１交点の実座標と、前記直線状ラインと直交し、かつ、前記円状ラインの中心を通る第１仮想直線と、前記円状ラインとの２つの第２交点の実座標と、を保持する保持手段と、前記フレームからライン部分を判定してラインを示すライン画像を生成する生成手段と、前記ライン画像から前記２つの第１交点のカメラ座標と、前記２つの第２交点のカメラ座標を判定する判定手段と、前記２つの第１交点の実座標及びカメラ座標と、前記２つの第２交点の実座標及びカメラ座標と、に基づき前記フレームのホモグラフィ行列を算出する算出手段と、を備えていることを特徴とする。 According to one aspect of the invention, from a frame including at least a portion of a circular line of a sports field and at least a portion of a straight line that intersects the circular line and passes through the center of the circular line. The calibration apparatus for obtaining a homography matrix for the frame includes the real coordinates of the two first intersections of the linear line and the circular line, and the orthogonal line of the circular line that is orthogonal to the linear line. A holding means for holding a first virtual straight line passing through the center and real coordinates of two second intersections of the circular line, and generating a line image indicating a line by determining a line portion from the frame Means for determining the camera coordinates of the two first intersections from the line image, the determination means for determining the camera coordinates of the two second intersections, the actual coordinates of the two first intersections, and And camera coordinates, characterized in that it comprises the two real coordinates and camera coordinates of the second intersection, and a calculating means for calculating a homography matrix of the frame based on.

本発明によると、従来技術より多くのフレームについてホモグラフィ行列を算出することができる。 According to the present invention, a homography matrix can be calculated for more frames than in the prior art.

一実施形態においてキャリブレーション装置が保持する実座標の位置を示す図。The figure which shows the position of the real coordinate which a calibration apparatus hold | maintains in one Embodiment. 一実施形態によるキャリブレーション方法のフローチャート。The flowchart of the calibration method by one Embodiment. 一実施形態によるライン画像を示す図。The figure which shows the line image by one Embodiment. 一実施形態によるセンターサークルに基づくキャリブレーション方法のフローチャート。6 is a flowchart of a calibration method based on a center circle according to an embodiment. 一実施形態によるセンターサークルに基づくキャリブレーション方法の説明図。Explanatory drawing of the calibration method based on the center circle by one Embodiment. 一実施形態によるセンターサークルに基づくキャリブレーション方法の説明図。Explanatory drawing of the calibration method based on the center circle by one Embodiment. 一実施形態によるキャリブレーション装置の構成図。The block diagram of the calibration apparatus by one Embodiment. 一実施形態による第２ホモグラフィ行列判定部の構成図。The block diagram of the 2nd homography matrix determination part by one Embodiment.

以下、本発明の例示的な実施形態についてサッカーの映像を例にして説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。 Hereinafter, an exemplary embodiment of the present invention will be described using a soccer video as an example. In addition, the following embodiment is an illustration and does not limit this invention to the content of embodiment. In the following drawings, components that are not necessary for the description of the embodiments are omitted from the drawings.

＜第一実施形態＞
図１は、サッカーフィールドを示している。本実施形態によるキャリブレーション装置は、図１の黒丸、白丸、網掛をした丸の実座標を示す情報を保持している。また、フィールドにひかれたラインを実座標系で特定できる情報も保持している。なお、黒丸は、フィールド上に引かれた２つのラインの交点である。また、白丸は、フィールド上に引かれた２つのラインの交点ではないが、あるラインを伸ばした場合における他のラインとの交点を示している。なお、図１においては、あるラインを伸ばした部分を点線で示している。つまり、点線は、フィールド上に実際にひかれたラインではない。また、網掛をした丸は、センターラインと直交し、かつ、センターサークルの中心を通る直線とセンターサークルの交点を示している。 <First embodiment>
FIG. 1 shows a soccer field. The calibration apparatus according to the present embodiment holds information indicating the actual coordinates of the black circle, white circle, and shaded circle in FIG. It also holds information that can identify the line drawn in the field in the real coordinate system. A black circle is an intersection of two lines drawn on the field. A white circle is not an intersection of two lines drawn on the field, but indicates an intersection with another line when a certain line is extended. In FIG. 1, a portion obtained by extending a certain line is indicated by a dotted line. That is, the dotted line is not a line actually drawn on the field. A shaded circle indicates the intersection of a straight line passing through the center of the center circle and the center circle.

図２は、本実施形態によるキャリブレーション装置が実行するキャリブレーション方法のフローチャートである。なお、図２は１つのフレームに対する処理を示し、実際には、映像内の全フレームに渡り図２の処理は繰り返される。まず、Ｓ１０において、フィールドの色とフィールド上のラインの色との違いに基づきフィールド上のライン部分を抽出する。一例として、フレームの、例えば、中央付近の所定領域内の各画素の色値の平均値を求める。そして、フレーム内の各画素について、平均値との色値の差が閾値以上ある画素を前景画素とし、それ以外の画素を背景画素（フィールドを示す画素）とする。そして、前景画素を例えば、画素値２５５（白色）で示し、背景画素を画素値０で示すマスク画像を生成する。通常、ライン及びフィールド上の選手に対応する画素が前景画素として得られる。続いて、ライン部分を強調するため、例えば、メディアンフィルタをマスク画像に適用し、フィルタ適用前後のマスク画像の差分を取ることでライン部分を示すライン画像を抽出することができる。なお、ライン画像にはフィールド上の選手によるノイズが現れるが、この部分は、ライン上に連続する画素とはならないため影響はない。なお、ライン画像の生成方法は、上述した例に限定されず、その他の公知の方法を使用できる。例えば、ラインの色は、通常、フィールドの色とは異なるため、ラインの色に基づきライン画像を抽出することもできる。また、上記例では、フレームの所定領域内の各画素の色値の平均値をフィールドの色値とし、平均値との差が少ない色値の画素をフィールドの画素としていたが、平均値の代わりに予め求めた固定的な値を使用することができる。なお、ライン画像とは、ラインに対応する画素と、それ以外の画素を２値で示す２値画像である。 FIG. 2 is a flowchart of a calibration method executed by the calibration apparatus according to the present embodiment. Note that FIG. 2 shows processing for one frame. Actually, the processing of FIG. 2 is repeated over all frames in the video. First, in S10, a line portion on the field is extracted based on the difference between the field color and the line color on the field. As an example, the average value of the color values of each pixel in a predetermined area near the center of the frame is obtained. For each pixel in the frame, a pixel whose color value difference from the average value is greater than or equal to a threshold value is a foreground pixel, and the other pixels are background pixels (pixels indicating a field). Then, for example, a mask image in which the foreground pixel is indicated by a pixel value 255 (white) and the background pixel is indicated by a pixel value 0 is generated. Usually, pixels corresponding to players on the line and field are obtained as foreground pixels. Subsequently, in order to emphasize the line portion, for example, a median filter is applied to the mask image, and a line image indicating the line portion can be extracted by taking a difference between the mask images before and after applying the filter. Note that although noise due to players on the field appears in the line image, this portion has no effect because it is not a continuous pixel on the line. The line image generation method is not limited to the above-described example, and other known methods can be used. For example, since the line color is usually different from the field color, a line image can be extracted based on the line color. In the above example, the average value of the color values of each pixel in the predetermined area of the frame is used as the field color value, and the pixel having a color value with a small difference from the average value is used as the field pixel. A fixed value obtained in advance can be used. Note that the line image is a binary image in which pixels corresponding to the line and other pixels are expressed in binary.

図３は、ライン画像の一例であり、黒色部分がラインとして抽出された画素（以下、ライン画素と呼ぶ）を示している。なお、ノイズは選手に起因するものである。また、図３に示す様に、フィールド上の各ラインには、所々にライン画素として検出されない箇所が存在する。キャリブレーション装置は、直線又は曲線状に連続するライン画素を１つのグループとする。図３の例では、グループ４０〜４９が、それぞれ、１つのグループとして検出される。なお、選手に起因するノイズは直線や曲線状とはならないため除外される。そして、キャリブレーション装置は、グループ内のライン画素の連続する方向から、直線を構成するグループと、曲線を構成するグループに分類する。そして、直線を構成するグループについては、ライン画素の連続する方向と、その位置から、さらに、同じラインを示すグループを判定する。つまり、図３の例では、ライン画素のグループ４０〜４２が１つの連続する直線の部分であり、ライン画素のグループ４３〜４５が１つの連続する直線の部分であり、ライン画素のグループ４６〜４９が１つの連続する円の部分であると判定することができる。これにより、キャリブレーション装置は、実際にはラインであるが、ライン画素として抽出されなかった部分を補間して、処理対象のフレーム内に写っているフィールドのラインを復元することができる。つまり、例えば、図３のセンターサークルは、４箇所で途切れているが、途切れている部分をライン画素に置き換えて、フレーム上では楕円状に見えるセンターサークルを示す様にライン画像を変更することができる。なお、選手に起因するノイズをラインに属するグループと誤判定することを避けるため、所定数以上の画素が直線又は曲線状に繋がっているグループのみを検出して、同じラインのグループか否かを判定する構成であっても良い。 FIG. 3 is an example of a line image, and illustrates a pixel from which a black portion is extracted as a line (hereinafter referred to as a line pixel). Noise is caused by players. As shown in FIG. 3, each line on the field has a portion that is not detected as a line pixel in some places. The calibration apparatus groups line pixels that are continuous in a straight line or curved line into one group. In the example of FIG. 3, each of the groups 40 to 49 is detected as one group. In addition, noise caused by the player is excluded because it is not a straight line or curved line. Then, the calibration device classifies the line pixels in the group into groups that form a straight line and groups that form a curve, from the direction in which the line pixels continue. And about the group which comprises a straight line, the group which shows the same line is further determined from the continuous direction and line position of a line pixel. That is, in the example of FIG. 3, the line pixel groups 40 to 42 are one continuous straight line portion, the line pixel groups 43 to 45 are one continuous straight line portion, and the line pixel groups 46 to It can be determined that 49 is a part of one continuous circle. As a result, the calibration apparatus can restore the line of the field shown in the processing target frame by interpolating a portion that is actually a line but not extracted as a line pixel. That is, for example, the center circle in FIG. 3 is interrupted at four locations, but the interrupted portion can be replaced with line pixels, and the line image can be changed to show an elliptical center circle on the frame. it can. In addition, in order to avoid misjudging noise caused by players as a group belonging to a line, only a group in which a predetermined number of pixels or more are connected in a straight line or curved line is detected, and whether or not it is a group of the same line It may be configured to determine.

図２に戻り、キャリブレーション装置は、Ｓ１１で、ライン画像がゴール付近の画像であり、直交する２つのラインの交点が少なくとも４つ存在するかを判定する。なお、図１に示す様に、直交する２つのラインの総ての交点の実座標は既知である。直交する２つのラインの交点が少なくとも４つ存在すると、キャリブレーション装置は、Ｓ１２で、非特許文献１に記載の構成により処理対象フレームのホモグラフィ行列を算出する。例えば、ゴールエリアを示すラインの４つの頂点がライン画像に存在すると、この４つの頂点の実座標とライン画像におけるカメラ座標に基づきホモグラフィ行列を算出することができる。なお、フレーム内の交点が、実座標系のどの交点に対応するかはライン画像が示すラインと、図１にて説明したフィールドにひかれたラインを実座標系で特定できる情報との比較により特定することができる。 Returning to FIG. 2, in S11, the calibration apparatus determines whether the line image is an image near the goal and there are at least four intersections of two orthogonal lines. As shown in FIG. 1, the actual coordinates of all intersections of two orthogonal lines are known. If there are at least four intersections of two orthogonal lines, the calibration apparatus calculates a homography matrix of the processing target frame with the configuration described in Non-Patent Document 1 in S12. For example, if four vertices of a line indicating the goal area exist in the line image, a homography matrix can be calculated based on the actual coordinates of the four vertices and the camera coordinates in the line image. Note that the intersection in the frame corresponds to the intersection in the real coordinate system by comparing the line indicated by the line image with the information that can identify the line drawn in the field described in FIG. 1 in the real coordinate system. can do.

一方、Ｓ１１で、少なくとも４つの交点がライン画像に存在しないと、キャリブレーション装置は、Ｓ１２で、センターサークル及びセンターラインがライン画像内にあるかを判定する。なお、センターサークル及びセンターラインの総てがライン画像内にある必要はなく、それぞれの部分が存在すれば良い。なお、サッカーフィールドにおいて曲線は、センターサークルと、ペナルティアークのみであり、ペナルティアーク付近のフレームと、センターサークル付近のフレームでは、フレーム内のラインの数等が異なるため、ライン画像の曲線がセンターサークルであるかペナルティアークであるかを判別することができる。センターサークル及びセンターラインがライン画像内にあると、キャリブレーション装置は、Ｓ１４でセンターサークルに基づくホモグラフィ行列の算出を行う。一方、Ｓ１３で、センターサークル及びセンターラインがライン画像内ないと、キャリブレーション装置は、Ｓ１５で、当該処理対象フレームについてはホモグラフィ行列を算出できないことを記録して、処理を終了する。なお、ホモグラフィ行列を算出できないフレームについては、公知の別の方法により、個別にホモグラフィ行列を算出する必要がある。したがって、キャリブレーション装置は、記録したホモグラフィ行列を算出できなかったフレームを示す情報、例えば、フレーム番号等をユーザに表示・通知する。 On the other hand, if at least four intersections do not exist in the line image in S11, the calibration apparatus determines in S12 whether the center circle and the center line are in the line image. Note that the center circle and the center line do not have to be in the line image, and each portion only needs to exist. In the soccer field, the curve is only the center circle and penalty arc. The number of lines in the frame differs between the frame near the penalty arc and the frame near the center circle. Or a penalty arc can be discriminated. If the center circle and the center line are in the line image, the calibration apparatus calculates a homography matrix based on the center circle in S14. On the other hand, if the center circle and the center line are not included in the line image in S13, the calibration apparatus records in S15 that the homography matrix cannot be calculated for the processing target frame, and ends the process. For frames for which a homography matrix cannot be calculated, it is necessary to calculate the homography matrix individually by another known method. Therefore, the calibration apparatus displays / notifies the user of information indicating a frame for which the recorded homography matrix could not be calculated, for example, a frame number.

図４は、Ｓ１４における処理を示すフローチャートである。本実施形態では、ライン画像にセンターサークル及びセンターラインが写っている場合、図５（Ａ）及び（Ｂ）に示す様に、センターサークルとセンターラインの交点５１及び５２と、センターラインと直交し、かつ、センターサークルの中心を通る仮想直線６２とセンターサークルとの交点５３及び５４の計４つの交点を使用してホモグラフィ行列を算出する。なお、交点５１〜５４の実座標は上述した様に既知である。したがって、交点５１〜５４のカメラ座標が分かればホモグラフィ行列を算出することができる。 FIG. 4 is a flowchart showing the processing in S14. In this embodiment, when the center circle and the center line are shown in the line image, as shown in FIGS. 5A and 5B, the intersections 51 and 52 of the center circle and the center line are orthogonal to the center line. A homography matrix is calculated using a total of four intersections 53 and 54 of the virtual line 62 passing through the center of the center circle and the center circle. The actual coordinates of the intersection points 51 to 54 are known as described above. Therefore, if the camera coordinates of the intersection points 51 to 54 are known, a homography matrix can be calculated.

このため、キャリブレーション装置は、まず、Ｓ２０で、交点５１及び５２のカメラ座標を判定する。交点５１及び５２がライン画像内に存在するのであれば、交点５１及び５２のカメラ座標はライン画像から直ちに求めることができる。一方、交点５１及び５２の両方、或いは、いずれか一方がライン画像内に存在しないと、キャリブレーション装置は、以下に説明する様に計算により交点５１及び５２のカメラ座標を求める。 For this reason, the calibration apparatus first determines the camera coordinates of the intersections 51 and 52 in S20. If the intersection points 51 and 52 exist in the line image, the camera coordinates of the intersection points 51 and 52 can be obtained immediately from the line image. On the other hand, if both or one of the intersection points 51 and 52 does not exist in the line image, the calibration apparatus obtains the camera coordinates of the intersection points 51 and 52 by calculation as described below.

センターサークルは円であるが、通常、フレーム内においては図５（Ｂ）に示す様に楕円状になる。したがって、センターサークルは、カメラ座標系において、
ａｘ^２＋ｂｘｙ＋ｃｙ^２＋ｄｘ＋ｅｙ＋ｆ＝０
で表される。また、フレーム内においてセンターラインは斜線となり、
（ｘ−ｇ）／ｈ＝（ｙ−ｉ）／ｋ
で表される。キャリブレーション装置は、ライン画像内のセンターサークル及びセンターラインに基づき未知数ａ〜ｋを求め、これにより交点５１及び５２のカメラ座標を求める。 Although the center circle is a circle, it is usually elliptical in the frame as shown in FIG. Therefore, the center circle in the camera coordinate system
ax ² + bxy + cy ² + dx + ey + f = 0
It is represented by Also, the center line is shaded in the frame,
(X−g) / h = (y−i) / k
It is represented by The calibration apparatus obtains the unknowns a to k based on the center circle and the center line in the line image, and thereby obtains the camera coordinates of the intersections 51 and 52.

一方、交点５３及び交点５４は、仮想直線６２とセンターサークルの交点である。本実施形態において、キャリブレーション装置は、まず、図６に示す様に、仮想直線６３を設定し、仮想直線６３とセンターサークルの２つの交点７１及び７２のカメラ座標を判定する。図６に示す様に、仮想直線６３は、仮想直線６２の方向とは異なり、よって、交点７１及び７２は、交点５３及び５４に一致していない。しかしながら、キャリブレーション装置は、交点７１及び７２の実座標が、保持している交点５３及び５４の実座標であるものとしてホモグラフィ行列を算出する。キャリブレーション装置は、仮想直線６３の方向を所定範囲内にて移動させながら上記処理を繰り返し、仮想直線６３の方向毎のホモグラフィ行列をＳ２１で算出する。なお、所定範囲は、センターラインの方向に基づき決定することができる。より詳しくは、フレームにおけるセンターラインを示す方程式の傾きを基準に、所定の範囲内の傾きの仮想直線６３をそれぞれ求めて交点７１及び７２のカメラ座標を求める構成とすることができる。 On the other hand, the intersection 53 and the intersection 54 are intersections of the virtual straight line 62 and the center circle. In the present embodiment, the calibration apparatus first sets a virtual straight line 63 as shown in FIG. 6 and determines the camera coordinates of two intersections 71 and 72 of the virtual straight line 63 and the center circle. As shown in FIG. 6, the virtual straight line 63 is different from the direction of the virtual straight line 62, and thus the intersection points 71 and 72 do not coincide with the intersection points 53 and 54. However, the calibration apparatus calculates the homography matrix assuming that the actual coordinates of the intersections 71 and 72 are the actual coordinates of the intersections 53 and 54 that are held. The calibration apparatus repeats the above process while moving the direction of the virtual straight line 63 within a predetermined range, and calculates a homography matrix for each direction of the virtual straight line 63 in S21. The predetermined range can be determined based on the direction of the center line. More specifically, the camera coordinates of the intersection points 71 and 72 can be obtained by obtaining the virtual straight line 63 having an inclination within a predetermined range on the basis of the inclination of the equation indicating the center line in the frame.

キャリブレーション装置は、Ｓ２２において、Ｓ２１で求めた仮想直線６３の方向毎のホモグラフィ行列から最良のものを選択する。なお、この最良のものは、仮想直線６３の方向が仮想直線６２の方向に一番近いものとなる。つまり、交点７１と交点５３や、交点７２と交点５４の差が最も小さいときのホモグラフィ行列である。このため、キャリブレーション装置は、図１に示す交点の実座標を使用する。具体的には、図１に示す交点の実座標を、Ｓ２１で求めた１つのホモグラフィ行列で変換してカメラ座標を求める。そして、変換後のカメラ座標がライン画像内にあるものについて、変換後のカメラ座標を中心とした所定半径の円内にあるライン画素の数をそれぞれ求める。所定半径の円内にあるライン画素の数が閾値以上であるものについては評価値を１として、そうでなければ評価値を−１として、変換後のカメラ座標がライン画像内にある交点総ての評価値の合計値又は平均値を求める。そして、Ｓ２１で求めたホモグラフィ行列それぞれについて求めた評価値の合計値又は平均値を比較し、評価値の合計値又は平均値が最大となるものを最良のホモグラフィ行列として選択する。 In S22, the calibration apparatus selects the best one from the homography matrix for each direction of the virtual straight line 63 obtained in S21. In this best case, the direction of the virtual straight line 63 is closest to the direction of the virtual straight line 62. That is, it is a homography matrix when the difference between the intersection 71 and the intersection 53 or between the intersection 72 and the intersection 54 is the smallest. For this reason, the calibration apparatus uses the actual coordinates of the intersection shown in FIG. Specifically, the camera coordinates are obtained by converting the actual coordinates of the intersection shown in FIG. 1 with the one homography matrix obtained in S21. Then, for the camera coordinates after conversion in the line image, the numbers of line pixels in a circle having a predetermined radius centered on the camera coordinates after conversion are obtained. If the number of line pixels in a circle with a predetermined radius is greater than or equal to the threshold value, the evaluation value is 1, otherwise the evaluation value is -1, and all the intersections in which the converted camera coordinates are in the line image The total value or average value of the evaluation values is obtained. Then, the total value or average value of the evaluation values obtained for each homography matrix obtained in S21 is compared, and the one having the maximum evaluation value total value or average value is selected as the best homography matrix.

以上の構成によりたとえ直交する２つのラインの交点を４つ得ることができないセンターサークル付近のみが写っているフレームに対してもホモグラフィ行列を求めることができる。したがって、非特許文献１の発明と比較して、より多くのフレームについてのホモグラフィ行列を算出することができる。 With the above configuration, a homography matrix can be obtained even for a frame in which only the vicinity of the center circle in which four intersecting points of two orthogonal lines cannot be obtained. Therefore, compared to the invention of Non-Patent Document 1, a homography matrix for more frames can be calculated.

図７は、本実施形態によるキャリブレーション装置の構成図である。交点実座標保持部１５は、図１に示す既知の交点の座標や、ラインを示す情報を保持している。ライン判定部１１は、映像のフレームからライン部分を判定してライン画像を生成する。判定部１２は、ライン画像において、直交する２つのラインの交点が４つ以上あるか否かを判定する。４つ以上あると、判定部１２は、ライン画像を第１ホモグラフィ行列判定部１３に出力する。第１ホモグラフィ行列判定部１３は、交点実座標保持部１５が保持する実座標と、ライン画像上の４つ以上の交点に基づき処理対象フレームのホモグラフィ行列を算出する。また、判定部１２は、ライン画像において、直交する２つのラインの交点が４つ以上ないと、センターサークル及びセンターラインがライン画像内にあるかを判定する。センターサークル及びセンターラインの両方、又は、いずれか一方がないと、判定部１２は、処理対象フレームのフレーム番号を記録部１６に記録する。なお、フレーム番号は、各機能ブロックにおいて既知であるものとする。また、センターサークル及びセンターラインがライン画像内にあると、ライン画像を第２ホモグラフィ行列判定部１４に出力する。 FIG. 7 is a configuration diagram of the calibration apparatus according to the present embodiment. The intersection actual coordinate holding unit 15 holds the coordinates of the known intersection shown in FIG. 1 and information indicating the line. The line determination unit 11 determines a line portion from the video frame and generates a line image. The determination unit 12 determines whether there are four or more intersections of two orthogonal lines in the line image. If there are four or more, the determination unit 12 outputs the line image to the first homography matrix determination unit 13. The first homography matrix determination unit 13 calculates a homography matrix of the processing target frame based on the actual coordinates held by the intersection actual coordinate holding unit 15 and four or more intersections on the line image. Moreover, the determination part 12 determines whether a center circle and a center line exist in a line image, when there are not four or more intersections of two orthogonal lines in a line image. If there is no center circle and / or center line, the determination unit 12 records the frame number of the processing target frame in the recording unit 16. It is assumed that the frame number is known in each functional block. If the center circle and the center line are in the line image, the line image is output to the second homography matrix determination unit 14.

図８は、第２ホモグラフィ行列判定部１４の構成図である。第１交点検出部１４１は、図５の交点５１及び５２のカメラ座標を検出する。なお、交点５１及び５２の内、ライン画像内にあるものについては、そのカメラ座標は、ライン画像の当該交点の座標である。一方、交点５１及び５２の内、ライン画像内にないものについては、楕円を示す方程式と直線を示す方程式をライン画像内の、センターサークルに対応する曲線部分と、センターラインに対応する直線部分から求めて交点のカメラ座標を求める。第１交点検出部１４１は、求めた交点５１及び５２のカメラ座標を行列算出部１４３に出力する。 FIG. 8 is a configuration diagram of the second homography matrix determination unit 14. The first intersection detection unit 141 detects the camera coordinates of the intersections 51 and 52 in FIG. For the intersections 51 and 52 that are in the line image, the camera coordinates are the coordinates of the intersection of the line image. On the other hand, for the intersections 51 and 52 that are not in the line image, an equation representing an ellipse and an equation representing a straight line are obtained from the curved line part corresponding to the center circle and the straight line part corresponding to the center line in the line image. Find the camera coordinates of the intersection. The first intersection detection unit 141 outputs the obtained camera coordinates of the intersections 51 and 52 to the matrix calculation unit 143.

第２交点検出部１４２は、図５の交点５３及び５４のカメラ座標を推定する。なお、図６を用いて説明した様に、第２交点検出部１４２は、交点５３及び５４の推定位置として、交点７１及び交点７２のカメラ座標の組を複数個求める。そして、求めた複数の組のカメラ座標を行列算出部１４３に出力する。行列算出部１４３は、交点５１及び５２のカメラ座標と、交点５３及び５４の推定位置（交点７１及び７２）のカメラ座標と、これらの実座標に基づきホモグラフィ行列を算出して検証部１４４に出力する。なお、ホモグラフィ行列は、交点５３及び５４の推定位置の組それぞれについて求め、よって、複数のホモグラフィ行列が検証部１４４に出力される。 The second intersection detection unit 142 estimates the camera coordinates of the intersections 53 and 54 in FIG. As described with reference to FIG. 6, the second intersection detection unit 142 obtains a plurality of sets of camera coordinates of the intersection 71 and the intersection 72 as the estimated positions of the intersections 53 and 54. Then, the obtained plurality of sets of camera coordinates are output to the matrix calculation unit 143. The matrix calculation unit 143 calculates a homography matrix based on the camera coordinates of the intersections 51 and 52, the camera coordinates of the estimated positions of the intersections 53 and 54 (intersections 71 and 72), and their actual coordinates, and sends them to the verification unit 144. Output. Note that the homography matrix is obtained for each set of estimated positions of the intersections 53 and 54, and thus a plurality of homography matrices are output to the verification unit 144.

検証部１４４は、交点実座標保持部１５が保持する実座標を各ホモグラフィ行列で変換し、ライン画像のラインの位置と比較する。例えば、交点実座標保持部１５が保持する交点を基準点とし、各基準点の実座標を各ホモグラフィ行列で変換して基準点のカメラ座標を求める。そして、ライン画像内に位置する各基準点について、所定範囲内にライン画素が存在するか否かを判定する。これは、例えば、基準点を中心とする所定半径内のライン画素の数が閾値以上であるか否かにより判定できる。そして、所定範囲内にラインが存在する基準点については第１評価値を付与し、それ以外の基準点には、第１評価値より低い第２評価値を付与する。そして、ホモグラフィ行列それぞれについて、基準点の評価値の合計値又は平均値を求め、評価値の合計値又は平均値の最も高いホモグラフィ行列を選択して、処理対象フレームのホモグラフィ行列として出力する。 The verification unit 144 converts the real coordinates held by the intersection actual coordinate holding unit 15 with each homography matrix, and compares it with the position of the line of the line image. For example, the intersection point held by the intersection actual coordinate holding unit 15 is used as a reference point, and the real coordinates of each reference point are converted by each homography matrix to obtain the camera coordinates of the reference point. Then, for each reference point located in the line image, it is determined whether or not a line pixel exists within a predetermined range. This can be determined, for example, based on whether or not the number of line pixels within a predetermined radius centered on the reference point is greater than or equal to a threshold value. A first evaluation value is assigned to a reference point having a line within a predetermined range, and a second evaluation value lower than the first evaluation value is assigned to the other reference points. Then, for each homography matrix, obtain the total value or average value of the evaluation values of the reference points, select the homography matrix with the highest evaluation value total value or average value, and output it as the homography matrix of the processing target frame To do.

＜その他の実施形態＞
以下、第一実施形態の変形例について説明する。第一実施形態では、仮想直線６３の方向を所定範囲内で変更しながら交点７１及び７２の組を複数求め、それぞれについてのホモグラフィ行列を計算した上で、最良のものを選択していた。しかしながら、センターライン６１を示すカメラ座標での方程式に基づき仮想直線６２の方程式を算出し、仮想直線６２の方程式とセンターサークルを示す方程式に基づき交点５３及び５４のカメラ座標を算出する構成とすることもできる。この場合、図８の検証部１４４で行う検証処理は必要ない。また、ライン画像にサイドラインが含まれる場合、仮想直線６２は、サイドラインと並行であるため、このサイドラインを並行移動させることで、仮想直線６２の方程式を求めることもできる。なお、サッカーのフィールドを用いて上記実施形態を説明したが、センターサークルと、センターサークルと交差するラインとを含むフィールドであれば良く、本発明は、サッカーの映像に限定されない。 <Other embodiments>
Hereinafter, modified examples of the first embodiment will be described. In the first embodiment, a plurality of sets of intersections 71 and 72 are obtained while changing the direction of the virtual straight line 63 within a predetermined range, and the best one is selected after calculating the homography matrix for each. However, the virtual straight line 62 equation is calculated based on the camera coordinate equation indicating the center line 61, and the camera coordinates of the intersections 53 and 54 are calculated based on the virtual straight line 62 equation and the center circle equation. You can also. In this case, the verification process performed by the verification unit 144 in FIG. 8 is not necessary. Further, when the side line is included in the line image, the virtual straight line 62 is parallel to the side line. Therefore, the equation of the virtual straight line 62 can be obtained by moving the side line in parallel. Although the above embodiment has been described using a soccer field, any field including a center circle and a line intersecting with the center circle may be used, and the present invention is not limited to a soccer video.

なお、本発明によるキャリブレーション装置は、コンピュータを上記キャリブレーション装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。 The calibration apparatus according to the present invention can be realized by a program that causes a computer to operate as the calibration apparatus. These computer programs can be stored in a computer-readable storage medium or distributed via a network.

１１：ライン判定部、１２：判定部、１４：第２ホモグラフィ行列判定部、１５：交点実座標保持部 11: line determination unit, 12: determination unit, 14: second homography matrix determination unit, 15: intersection actual coordinate holding unit

Claims

From a frame including at least a part of a circular line of a sports field and at least a part of a straight line that intersects the circular line and passes through the center of the circular line, a homography matrix for the frame is obtained. A calibration device to be obtained,
Real coordinates of two first intersections of the linear line and the circular line, a first imaginary straight line orthogonal to the linear line and passing through the center of the circular line, and the circular line Holding means for holding the real coordinates of the two second intersections of
Generating means for determining a line portion from the frame and generating a line image indicating the line;
Determination means for determining the camera coordinates of the two first intersections and the camera coordinates of the two second intersections from the line image;
Calculation means for calculating a homography matrix of the frame based on real coordinates and camera coordinates of the two first intersections, and real coordinates and camera coordinates of the two second intersections;
A calibration apparatus comprising:

The determination means obtains a first equation indicating the circular line in the camera coordinate system of the frame from at least a part of the circular line included in the line image, and determines the linear line included in the line image. A second equation indicating the linear line in at least a part of the camera coordinate system of the frame is obtained, and based on the first equation and the second equation, camera coordinates of a first intersection not included in the line image are obtained. The calibration apparatus according to claim 1, wherein the calibration is performed.

The determination means obtains a third equation indicating the first virtual line in the camera coordinate system of the frame from the second equation, and based on the first equation and the third equation, determines the two second intersection points. The calibration apparatus according to claim 2, wherein camera coordinates are determined.

The determination means obtains the third equation based on the direction of the other linear line in the camera coordinate system of the frame when another linear line orthogonal to the linear line is present in the line image. The calibration device according to claim 3.

From a frame including at least a part of a circular line of a sports field and at least a part of a straight line that intersects the circular line and passes through the center of the circular line, a homography matrix for the frame is obtained. A calibration device to be obtained,
Real coordinates of two first intersections of the linear line and the circular line, a first imaginary straight line orthogonal to the linear line and passing through the center of the circular line, and the circular line Holding means for holding the real coordinates of the two second intersections of
Generating means for determining a line portion from the frame and generating a line image indicating the line;
Determination means for determining camera coordinates of the two first intersections from the line image;
Estimating means for estimating a plurality of sets of candidate camera coordinates of the two second intersections from the line image;
For each candidate set estimated by the estimation means, based on the real coordinates and camera coordinates of the two first intersections, the real coordinates of the two second intersections, and the two camera coordinates of the candidate set A calculating means for calculating a homography matrix;
Selection means for selecting a homography matrix for the frame from the homography matrix calculated by the calculation means for each set of candidates estimated by the estimation means;
A calibration apparatus comprising:

The holding means holds real coordinates of a plurality of reference points of the sports field,
The selection means converts the coordinates of the reference point into camera coordinates by each of the homography matrices calculated by the calculation means, and the calculation means calculates based on the distance between the converted camera coordinates and the line indicated by the line image. 6. The calibration apparatus according to claim 5, wherein a homography matrix for the frame is selected from the homography matrix.

The calibration apparatus according to claim 6, wherein the reference point includes an intersection of two orthogonal lines of the sports field.

The determination means obtains a first equation indicating the circular line in the camera coordinate system of the frame from at least a part of the circular line included in the line image, and determines the linear line included in the line image. A second equation indicating the linear line in at least a part of the camera coordinate system of the frame is obtained, and based on the first equation and the second equation, camera coordinates of a first intersection not included in the line image are obtained. Judgment,
The estimation means estimates a plurality of third equations indicating the first virtual line in the camera coordinate system of the frame based on the first equation, and calculates camera coordinates of two intersections of the third equation and the first equation. The calibration apparatus according to claim 5, wherein a set of candidate camera coordinates of the two second intersections is used.

The calibration according to claim 8, wherein the inclination of each of the third equations in the camera coordinate system of the frame is within a predetermined range with respect to the inclination of the second equations in the camera coordinate system of the frame. apparatus.

From a frame including at least a part of a circular line of a sports field and at least a part of a straight line that intersects the circular line and passes through the center of the circular line, a homography matrix for the frame is obtained. A calibration method in a calibration device to be calculated, wherein the calibration device is orthogonal to the actual coordinates of the two first intersections of the linear line and the circular line, and the linear line Holding a first imaginary straight line passing through the center of the circular line and real coordinates of two second intersections of the circular line;
The calibration method is:
A generation step of determining a line portion from the frame and generating a line image indicating the line;
A determination step of determining the camera coordinates of the two first intersections and the camera coordinates of the two second intersections from the line image;
A calculation step of calculating a homography matrix of the frame based on real coordinates and camera coordinates of the two first intersections, and real coordinates and camera coordinates of the two second intersections;
A calibration method comprising:

From a frame including at least a part of a circular line of a sports field and at least a part of a straight line that intersects the circular line and passes through the center of the circular line, a homography matrix for the frame is obtained. A calibration method in a calibration device to be calculated, wherein the calibration device is orthogonal to the actual coordinates of the two first intersections of the linear line and the circular line, and the linear line Holding a first imaginary straight line passing through the center of the circular line and real coordinates of two second intersections of the circular line;
The calibration method is:
A generation step of determining a line portion from the frame and generating a line image indicating the line;
A determination step of determining camera coordinates of the two first intersections from the line image;
An estimation step of estimating a plurality of sets of candidate camera coordinates of the two second intersections from the line image;
For each of the estimated candidate sets, a homography matrix is calculated based on the real coordinates and camera coordinates of the two first intersection points, the real coordinates of the two second intersection points, and the two camera coordinates of the candidate set. A calculating step for calculating;
A selection step of selecting a homography matrix for the frame from the homography matrix calculated for each of the candidate sets;
A calibration method comprising:

A program that causes a computer to function as the calibration device according to claim 1.