JP6636314B2 - カメラ較正システム、カメラ較正プログラム、及びカメラ較正方法 - Google Patents

Description

本発明は、カメラ較正システム、カメラ較正プログラム、及びカメラ較正方法に関する。

３次元動作分析法として、ＤＬＴ法（Ｄｉｒｅｃｔ−Ｌｉｎｅｒ−Ｔｒａｎｓｆｏｒｍａｔｉｏｎ法）が知られている（非特許文献１）。ＤＬＴ法は、試合や競技会での選手の３次元動作の分析に一般的に用いられている。

ＤＬＴ法を用いる場合、一般的に、複数台のカメラにより、３次元座標値が既知である較正点を撮像して、カメラの較正を行う。具体的には、較正点の３次元座標値とデジタイズ座標値（画像上での座標値）との幾何学的な関係から、１台のカメラに対して１１個の較正係数（以下、ＤＬＴパラメーターと記載する）を算出する。そして、１１個のＤＬＴパラメーターを用いてカメラの較正を行う。また、ＤＬＴ法を用いる場合、一般的に、同一平面に含まれない較正点を６個以上用いる。したがって、試合や競技の開始前に、試合会場等の実測空間に、同一平面に含まれない較正点を６個以上設置する必要がある。

Abdel-Aziz, Y.I. and Karara, H.M. (1971): Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry. ASP symposium on close-range photogrammetry, American society of photogrammetry, Falls Church, VA: 1-18

しかしながら、実際の試合会場等では、同一平面に含まれない較正点を６個以上設置することが困難な場合がある。

本発明は上記課題に鑑みてなされたものであり、その目的は、カメラの較正に用いる較正点の数を減らすことができるカメラ較正システム、カメラ較正プログラム、及びカメラ較正方法を提供することにある。

本発明に係るカメラ較正システムは、定点カメラと、演算装置とを備える。前記定点カメラは、実測空間を撮像した画像を取得する。前記実測空間は、少なくとも３個の較正点を含む。前記演算装置は、前記較正点の前記画像上でのデジタイズ座標値を測定する。また、前記演算装置は、実空間座標系における前記較正点の３次元座標値と、前記較正点の３次元座標値をデジタイズ座標系へ投影した投影座標値を算出するための演算式と、前記較正点のデジタイズ座標値とに基づき、前記定点カメラのパラメーターの最適解を取得する。前記演算式は、前記パラメーターを含む。

ある実施形態では、前記演算装置は、前記較正点のデジタイズ座標値と前記較正点の投影座標値との差が最小となるような前記最適解を取得する。

ある実施形態では、前記定点カメラの光軸と前記画像との交点のデジタイズ座標値を（Ｕｏ，Ｖｏ）とし、前記定点カメラが備えるレンズの中心の前記実空間座標系における３次元座標値を（Ｘｏ，Ｙｏ，Ｚｏ）とし、前記実空間座標系における測定点の３次元座標値を（Ｘ，Ｙ，Ｚ）とし、前記測定点を前記デジタイズ座標系へ投影した投影点の投影座標値を（Ｕ，Ｖ）とし、前記レンズの焦点距離をＦとし、前記実空間座標系から前記デジタイズ座標系への座標変換行列をＲとし、前記定点カメラのアスペクト比をａとし、前記定点カメラのカメラ歪みをｓとし、前記投影点を示す行列式に含まれる第３行第１列の値を１にするためのスケール因子をｈとした場合、前記演算式は、以下の式（１）、式（２）及び式（３）を含む。

ある実施形態において、前記演算装置は、前記定点カメラの光軸と前記画像との前記交点（Ｕｏ，Ｖｏ）を前記画像の中心に設定して前記最適解を取得した後、前記交点（Ｕｏ，Ｖｏ）を変数に加えて前記最適解を取得する。

ある実施形態では、全ての前記較正点が、前記実測空間内の同一平面に含まれる。

ある実施形態では、前記演算装置は、遺伝的アルゴリズム法に基づいて前記最適解を取得する。

本発明に係るカメラ較正プログラムは、コンピューターに、実測空間を撮像した定点カメラのパラメーターの最適解を求めさせる。前記実測空間は、少なくとも３個の較正点を含む。前記カメラ較正プログラムは、前記コンピューターに、前記実測空間を撮像した画像上での前記較正点のデジタイズ座標値を測定させる手順と、実空間座標系における前記較正点の３次元座標値と、前記較正点の３次元座標値をデジタイズ座標系へ投影した投影座標値を算出するための演算式と、前記較正点のデジタイズ座標値とに基づき、前記最適解を求めさせる手順とを実行させる。前記演算式は、前記パラメーターを含む。

ある実施形態では、前記コンピューターに、前記較正点のデジタイズ座標値と前記較正点の投影座標値との差が最小となるような前記最適解を求めさせる。

ある実施形態では、前記定点カメラの光軸と前記画像との交点のデジタイズ座標値を（Ｕｏ，Ｖｏ）とし、前記定点カメラが備えるレンズの中心の前記実空間座標系における３次元座標値を（Ｘｏ，Ｙｏ，Ｚｏ）とし、前記実空間座標系における測定点の３次元座標値を（Ｘ，Ｙ，Ｚ）とし、前記測定点を前記デジタイズ座標系へ投影した投影点の投影座標値を（Ｕ，Ｖ）とし、前記レンズの焦点距離をＦとし、前記実空間座標系から前記デジタイズ座標系への座標変換行列をＲとし、前記定点カメラのアスペクト比をａとし、前記定点カメラのカメラ歪みをｓとし、前記投影点を示す行列式に含まれる第３行第１列の値を１にするためのスケール因子をｈとした場合、前記演算式は、以下の式（１）、式（２）及び式（３）を含む。

ある実施形態では、前記コンピューターに、前記最適解を求めさせる際に、前記定点カメラの光軸と前記画像との前記交点（Ｕｏ，Ｖｏ）を前記画像の中心に設定させて前記最適解を求めさせる手順と、前記交点（Ｕｏ，Ｖｏ）を変数に加えて前記最適解を求めさせる手順とを実行させる。

ある実施形態では、全ての前記較正点が、前記実測空間内の同一平面に含まれる。

ある実施形態では、前記コンピューターに、遺伝的アルゴリズム法に基づいて前記最適解を求めさせる。

本発明に係るカメラ較正方法は、定点カメラを用いて、実測空間を撮像した画像を取得するステップと、前記実測空間に含まれる少なくとも３個の較正点の前記画像上でのデジタイズ座標値を測定するステップと、実空間座標系における前記較正点の３次元座標値と、前記較正点の３次元座標値をデジタイズ座標系へ投影した投影座標値を算出するための演算式と、前記較正点のデジタイズ座標値とに基づき、前記定点カメラのパラメーターの最適解を取得するステップとを包含する。前記演算式は、前記パラメーターを含む。

本発明によれば、カメラの較正に用いる較正点の数を減らすことができる。

本発明の実施形態に係るカメラ較正システムの構成を示す図である。 実空間座標系における測定点の３次元座標値とデジタイズ座標系における測定点のデジタイズ座標値との関係を模式的に示す図である。 本発明の実施形態に係るカメラ較正方法のフローを示す図である。 本発明の実施形態に係るカメラ較正方法の他のフローを示す図である。 （ａ）はやり投げ助走路の特徴点を示す図である。（ｂ）は本発明の実施例に係る実測空間を示す図である。 実測空間に設置した５４個の較正点を示す図である。 本発明の実施例１に係る遺伝的アルゴリズム法を用いた最適化処理における再投影誤差の変化を示す図である。 本発明の実施例３に係る測定結果を示す図である。 本発明の実施例３に係る測定結果を示す図である。 本発明の実施例３に係る測定結果を示す図である。 本発明の実施例３に係る測定結果を示す図である。 本発明の実施例４に係る測定結果を示す図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。なお、本発明は、以下の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。

図１は、本実施形態に係るカメラ較正システムの構成を示す図である。図１に示すように、カメラ較正システム１は、少なくとも１台の定点カメラ２と、演算装置３とを備える。カメラ較正システム１は、所定の演算式に含まれる定点カメラ２のパラメーター（以下、カメラパラメーターと記載する場合がある）の最適解を取得することにより、定点カメラ２を較正する。以下、所定の演算式を、カメラパラメーターを含む演算式と記載する。カメラパラメーターを含む演算式は、実空間座標系における測定点の３次元座標値をデジタイズ座標系に投影した投影座標値を算出するための式である。換言すると、カメラパラメーターを含む演算式に基づいて、測定点の画像上でのデジタイズ座標値（測定点のデジタイズ座標系における座標値）から、測定点の実空間座標系における３次元座標値を求めることができる。

なお、デジタイズ座標値から実空間座標系における３次元座標値を求めるには、複数の画像を必要とする。複数の画像には、１台の定点カメラ２を移動させて、複数の異なる位置から撮像した画像を使用し得る。あるいは、複数台の定点カメラ２を複数の異なる位置に配置して撮像した画像を使用し得る。

定点カメラ２は、３次元動作の分析対象に応じて設定される実測空間を撮像範囲に含ませることが可能な位置に配置される。換言すると、定点カメラ２は、３次元動作の分析対象を撮像できる位置に配置される。定点カメラ２の種類は特に限定されないが、典型的にはデジタルビデオカメラが使用される。

定点カメラ２は、定点カメラ２の較正時（カメラパラメーターの最適解の取得時）に、実測空間を撮像する。実測空間は、実空間座標系における３次元座標値が既知である少なくとも３個の較正点を含む。例えば、３個の較正点は、測定空間内のいずれかの水平面（同一平面の一例）に含まれる。なお、４個以上の較正点を用いる場合、較正点として、同一平面に含まれる点のみを用いてもよいし、較正点のうちの少なくとも１つに、同一平面に含まれない点を用いてもよい。

演算装置３は、定点カメラ２により撮像された画像（較正点を含む画像）から、カメラパラメーターの最適解を取得する。具体的には、演算装置３は、定点カメラ２の内部パラメーター及び外部パラメーターの最適解を算出する。演算装置３は、表示部３１、入力部３２、記憶部３３、及び制御部３４を備える。演算装置３を構成する機器は特に限定されないが、例えばパーソナルコンピューターを使用し得る。

表示部３１は、制御部３４によって処理された情報を画像として表示する。表示部３１の種類は特に限定されないが、例えば液晶ディスプレイを使用し得る。カメラパラメーターの最適解の算出時に、表示部３１は、定点カメラ２により撮像された画像（較正点を含む画像）を表示する。なお、画像データは、例えば、ＵＳＢケーブルのようなケーブル、又はＳＤメモリーカードのような記憶装置を媒体として、定点カメラ２から演算装置３に取り込まれ得る。

入力部３２は、ユーザーによって操作されて、制御部３４に対して各種の処理コマンドや様々な情報を入力する。入力部３２は、典型的には、マウスのようなポインティングデバイスや、キーボードを含む。あるいは、入力部３２は、タッチパネルを含み得る。本実施形態において、ユーザーは、入力部３２を操作することにより、表示部３１に表示されている画像に含まれるいずれかのポイントを指定して、その指定したポイントを制御部３４に認識させることができる。具体的には、カメラパラメーターの最適解の算出時に、ユーザーは、定点カメラ２により撮像された画像に含まれる較正点を指定することができる。

記憶部３３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）プログラム、入力部３２によって入力された情報、及び、制御部３４によって処理された情報などを記憶する。記憶部３３を構成する装置は特に限定されないが、典型的には不揮発性の記憶装置が使用される。具体的には、不揮発性の記憶装置として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はフラッシュメモリを使用し得る。

制御部３４は、演算装置３の動作を統括的に制御する。制御部３４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）によって構成される。詳しくは、制御部３４は、カメラ較正プログラムを含む各種の制御プログラムをＣＰＵに実行させることにより、数値計算や情報処理、機器制御のような様々な処理を行う。

カメラ較正プログラムは、制御部３４に、定点カメラ２によって撮像された画像（較正点を含む画像）から、カメラパラメーターの最適解を取得させる。カメラ較正プログラムは、例えば、記憶部３３に予め記憶される。あるいは、カメラ較正プログラムは、ＲＯＭに予め記憶される。

詳しくは、制御部３４は、較正点の画像上でのデジタイズ座標値（較正点のデジタイズ座標系における座標値）を測定する。また、制御部３４は、実測空間に含まれる較正点の３次元座標値と、カメラパラメーター（定点カメラ２の内部パラメーター及び外部パラメーター）を含む演算式と、較正点のデジタイズ座標値とに基づき、カメラパラメーターの最適解を取得する。カメラパラメーターを含む演算式は、カメラ較正プログラムに紐づけられて記憶される。

本実施形態では、カメラパラメーターの最適解の算出時に、表示部３１が、定点カメラ２によって撮像された画像（較正点を含む画像）を表示する。ユーザーが、入力部３２を操作して、表示部３１に表示された画像に含まれる較正点を指定すると、制御部３４は、較正点の画像上でのデジタイズ座標値を測定する。即ち、制御部３４は、較正点をデジタイズする。次いで、制御部３４は、実測空間に含まれる較正点の３次元座標値と、カメラパラメーターを含む演算式と、較正点の画像上でのデジタイズ座標値とに基づき、カメラパラメーターの最適解を取得する。

例えば、制御部３４は、まず、カメラパラメーターを含む演算式に基づいて較正点の投影座標値を算出する。その後、制御部３４は、最適解として、較正点の画像上でのデジタイズ座標値と較正点の投影座標値との差（以下、再投影誤差と記載する場合がある）が最小となるようなカメラパラメーターを算出する。デジタイズ誤差が無いと仮定すると、カメラパラメーターを含む演算式に基づいて算出される較正点の投影座標値は、カメラパラメーターが正しい値である場合、較正点の画像上でのデジタイズ座標値と一致する。したがって、最適解として、再投影誤差が最小となるようなカメラパラメーターを求めることにより、定点カメラ２の較正を行い得る。なお、カメラパラメーターの最適解を取得するための最適化処理の手法は特に限定されない。例えば、制御部３４は、遺伝的アルゴリズム法に基づいて最適解を取得し得る。

続いて、カメラパラメーターを含む演算式、即ち、実空間座標系における測定点の３次元座標値をデジタイズ座標系に投影した投影座標値を算出するための式の具体例を説明する。本実施形態において、カメラパラメーターを含む演算式は、以下の式（１）、式（２）、及び式（３）を含む。

式（１）において、右辺第１項が定点カメラ２の内部パラメーターを示す。換言すると、以下の行列（４）に含まれる変数が、定点カメラ２の内部パラメーターである。

また、式（１）において、右辺第２項及び第３項が定点カメラ２の外部パラメーターを示す。換言すると、以下の行列（５）に含まれる変数が、定点カメラ２の外部パラメーターである。

制御部３４は、定点カメラ２の較正時に、行列（４）及び行列（５）に含まれる変数の最適解を取得する。更に制御部３４は、式（１）に含まれるカメラパラメーターを最適解に置換する。実際の３次元動作の分析時には、最適解に置換された後の式（１）に基づいて、測定点の実空間座標系における３次元座標値を算出する。

ここで、図２を参照して、式（１）及び式（２）に含まれる各変数を説明する。図２は、実空間座標系における測定点ＭＸの３次元座標値と、デジタイズ座標系における測定点のデジタイズ座標値（測定点の画像上での座標値）との関係を模式的に示す図である。

式（１）及び式（２）は、図２に示す測定点ＭＸと投影点ｍｘとの３次元幾何学的な関係を同次座標系でまとめることによって得られる。詳しくは、式（１）及び式（２）に含まれる変数（Ｕｏ，Ｖｏ）は、定点カメラ２の光軸Ｌとデジタイズ平面２１（画像）との交点のデジタイズ座標値を示す。また、変数（Ｘｏ，Ｙｏ，Ｚｏ）は、定点カメラ２が備えるレンズ２２の中心Ｏの実空間座標系における３次元座標値を示す。また、変数（Ｘ，Ｙ，Ｚ）は、実空間座標系における測定点ＭＸの３次元座標値を示す。また、変数（Ｕ，Ｖ）は、測定点ＭＸをデジタイズ座標系へ投影した投影点ｍｘの投影座標値を示す。また、変数Ｆは、レンズの焦点距離を示す。なお、本実施形態では、デジタイズ平面２１の中心をデジタイズ座標系の原点とする。

式（１）において、Ｒは、実空間座標系からデジタイズ座標系への座標変換行列を示し、ａは、定点カメラ２のアスペクト比を示し、ｓは、定点カメラ２のカメラ歪み（スキュー）を示し、ｈは、投影点ｍｘを示す行列式（式（２）を参照）に含まれる第３行第１列の値を１にするためのスケール因子を示す。

また、式（１）の第３行より、スケール因子ｈについて以下の式（６）の関係が成立する。

更に、式（１）の第１行及び第２行を焦点距離Ｆによってまとめると、以下の式（７）が成立する。

したがって、式（７）より、焦点距離Ｆについて以下の式（８）、式（９）、及び（１０）の関係が成立する。なお、式（８）及び式（９）において、Ａ⁺は、Ａの擬似逆行列である。

座標変換行列Ｒは、オイラー角（θ，ψ，φ）で表し得る。座標変換行列Ｒをオイラー角（θ，ψ，φ）で表すことにより、最適解の算出対象のカメラパラメーターの数を減らすことができる。

カメラパラメーターの最適化処理を行う場合、図１を参照して説明した演算装置３（制御部３４）は、最適化処理を２段階に分けて行い得る。具体的には、第１段階において、制御部３４は、定点カメラ２の光軸Ｌとデジタイズ平面２１（画像）との交点（Ｕｏ，Ｖｏ）をデジタイズ平面２１の中心に設定して最適化処理を実行する。より詳しくは、制御部３４は、交点（Ｕｏ，Ｖｏ）をデジタイズ平面２１の中心に設定する。更に、式（８）、式（９）及び式（１０）から焦点距離Ｆを算出する。そして、３つのカメラパラメーター（Ｕｏ，Ｖｏ，Ｆ）を除いたカメラパラメーター（変数）の最適解を取得（算出）する。次いで、第２段階において、制御部３４は、交点（Ｕｏ，Ｖｏ）及び焦点距離（Ｆ）を変数に加えて最適化処理を実行する。カメラパラメーターの最適化処理を２段階に分けて行うことにより、最適化処理の高速化を図ることができるとともに、最適化処理の結果が局所解に陥る可能性を抑制することができる。

また、アスペクト比ａが１であり、スキューｓが０である場合、式（１）は以下の式（１１）に変換し得る。よって、図１を参照して説明した演算装置３（制御部３４）は、以下の式（１１）に基づいてカメラパラメーターの最適解を取得し得る。

なお、式（１１）において、座標変換行列Ｒをオイラー角（θ，ψ，φ）で表すことで、最適解の算出対象のカメラパラメーター（変数）を（Ｕｏ，Ｖｏ，Ｆ，Ｘｏ，Ｙｏ，Ｚｏ，θ，ψ，φ）の９個にすることができる。

続いて、図１を参照して説明したカメラ較正システム１を用いるカメラ較正方法について説明する。図３は、本実施形態に係るカメラ較正方法のフローを示す図である。

図３に示すように、定点カメラ２の較正を行う際には、まず、定点カメラ２を用いて実測空間を撮像する（ステップＳ３１）。実測空間は、実空間座標系における３次元座標値が既知である少なくとも３個の較正点を含む。例えば、３個の較正点は、測定空間内のいずれかの水平面（同一平面）に含まれる。

次に、演算装置３（制御部３４）を用いて、各較正点の画像上でのデジタイズ座標値を測定する（ステップＳ３２）。次に、演算装置３（制御部３４）を用いて、カメラパラメーターの最適化処理を行う（ステップＳ３３）。具体的には、実測空間に含まれる各較正点の３次元座標値と、カメラパラメーターを含む演算式と、各較正点の画像上でのデジタイズ座標値とに基づき、カメラパラメーターの最適解を取得する。

続いて、図１を参照して説明したカメラ較正システム１を用いる他のカメラ較正方法について説明する。図４は、本実施形態に係るカメラ較正方法の他のフローを示す図である。

図４に示すカメラ較正方法は、カメラパラメーターの最適化処理が２段階に分かれて行われる点で、図３に示すカメラ較正方法と異なる。即ち、図４に示すカメラ較正方法では、演算装置３（制御部３４）に、第１最適化処理（ステップＳ４１）と第２最適化処理（ステップＳ４２）とを実行させる。

第１最適化処理（ステップＳ４１）では、３つのカメラパラメーター（Ｕｏ，Ｖｏ，Ｆ）を除いたカメラパラメーターの最適解を算出する。具体的には、定点カメラ２の光軸Ｌと画像（デジタイズ平面２１）との交点（Ｕｏ，Ｖｏ）を画像の中心に設定する。更に、式（８）、式（９）及び式（１０）から焦点距離Ｆを算出する。そして、実測空間に含まれる各較正点の３次元座標値と、カメラパラメーターを含む演算式と、各較正点の画像上でのデジタイズ座標値とに基づき、カメラパラメーターの最適解を取得する。第２最適化処理（ステップＳ４２）では、３つのカメラパラメーター（Ｕｏ，Ｖｏ，Ｆ）を変数に加えて、実測空間に含まれる各較正点の３次元座標値と、カメラパラメーターを含む演算式と、各較正点の画像上でのデジタイズ座標値とに基づき、カメラパラメーターの最適解を取得する。

以上、本発明の実施形態について図面を参照しながら説明した。本発明の実施形態によれば、カメラの較正に用いる較正点の数を３個にまで減らすことができる。したがって、実際の試合会場等において較正点を設置する作業が容易となる。

また、スポーツの試合会場等では、ルールによって長さ等が規定されたライン（例えば、野球のバッターボックスを示すライン）が引かれていることが多い。そのようなライン（以下、規定ラインと記載する場合がある）は、通常、水平面上に引かれる。換言すると、同一平面上に引かれる。一方、３次元動作分析に一般的に用いられるＤＬＴ法では、同一平面に含まれない較正点を６個以上必要とするため、規定ラインに含まれる特徴点（例えば、野球のバッターボックスの各頂点）のみを用いてカメラの較正を行うことができない。これに対し、本発明の実施形態によれば、同一平面に含まれる較正点のみを用いてカメラの較正を行うことができる。したがって、規定ラインに含まれる特徴点のみを用いて、カメラの較正を行うことができる。更に、規定ラインに含まれる特徴点を較正点として用いることができるため、試合会場等に立ち入って較正点を設置することなく、カメラの較正を行うことができる。

また、本発明の実施形態によれば、静止している較正点を用いてカメラの較正を行うことができる。よって、複数台のカメラを用いて、それぞれ異なる角度から実測空間（較正点）を撮像する際に、複数台のカメラを同期させる必要はない。更に、各カメラの較正に、それぞれ異なる較正点を用いることができる。また、一台のカメラを用いて、異なる角度から実測空間（較正点）を撮像することにより、カメラの較正を行うことができる。

以下、実施例を用いて本発明を更に具体的に説明する。なお、本発明は実施例の範囲に何ら限定されない。本実施例では、やり投げ助走路に含まれる特徴点を利用してカメラの較正を行った。

［実施例１及び比較例１］
［カメラパラメーター］
実施例１では、定点カメラとして、２台のデジタルビデオカメラＤＶ１、ＤＶ２（パナソニック社製のＨＣ−Ｖ７５０Ｍ，解像度：１９２０ピクセル×１０８０ピクセル）を用いた。デジタルビデオカメラＤＶ１、ＤＶ２の撮像素子は正方ピクセルと考えられ、デジタイズ平面２１の縦横比は１であったことから、アスペクト比ａを１とし、スキューｓを０とした。即ち、実空間座標系における測定点の３次元座標値をデジタイズ座標系に投影した投影座標値を算出するための式（カメラパラメーターを含む演算式）として、式（１１）、式（２）及び式（３）を用いた。更に、座標変換行列Ｒをオイラー角（θ，ψ，φ）で表して、（Ｕｏ，Ｖｏ，Ｆ，Ｘｏ，Ｙｏ，Ｚｏ，θ，ψ，φ）の９個の値（変数）をカメラパラメーターとした。なお、デジタルビデオカメラＤＶ１、ＤＶ２の撮影スピードは毎秒６０コマ（プログレッシブ）、シャッタースピードは１／５００秒であった。

［較正点］
図５（ａ）は、やり投げ助走路５１の特徴点を示す図である。図５（ａ）において、矢印Ｙで示す方向が投てき方向である。やり投げ助走路５１は、投てき方向に沿って引かれた２本のライン５２、５３によって規定される。２本のライン５２、５３は、投てき方向に直交する方向（矢印Ｘで示す方向）に４ｍの間隔を空けて平行に引かれる。

踏み切り線５４（スターティングライン）は、円弧状に引かれる。具体的には、踏み切り線５４は、２本のライン５２、５３のそれぞれの前端を両端とする半径８ｍの円弧状のラインである。詳しくは、踏み切り線５４の内側の円弧が、半径８ｍの円弧である。踏み切り線５４（半径８ｍの円弧）の中心は、２本のライン５２、５３の中間上に位置する。

実施例１では、ライン５２と踏み切り線５４との交点をＣＰ１とし、ライン５３と踏み切り線５４との交点をＣＰ２とし、踏み切り線５４の中心をＣＰ３とした。詳しくは、２本のライン５２、５３のそれぞれの内側の辺と踏み切り線５４の内側の円弧との２つの交点をＣＰ１、ＣＰ２とした。また、ＣＰ１を原点（０，０，０）とし、ＣＰ１からＣＰ２へ向かう方向を＋Ｘ方向とし、投てき方向を＋Ｙ方向とし、鉛直上向き方向を＋Ｚ方向とした。したがって、ＣＰ２の座標値は（４，０，０）となり、ＣＰ３の座標値は、（２，−（６０）^1/2，０）となる。また、ＣＰ１とＣＰ２とに交わる軸がＸ軸となり、ライン５２に沿った軸がＹ軸となる。実施例１では、ＣＰ１、ＣＰ２、及びＣＰ３を較正点として用いて、カメラの較正を行った。

［最適化手法］
実施例１では、遺伝的アルゴリズム法に基づいて、再投影誤差が最小となるようなカメラパラメーターの最適解を求めた。この際、カメラパラメーターの最適化処理を２段階に分けて行った。具体的には、第１段階では、定点カメラ（デジタルビデオカメラＤＶ１、ＤＶ２）の光軸とデジタイズ平面（画像）との交点（Ｕｏ，Ｖｏ）をデジタイズ平面の中心に設定した。また、式（８）、式（９）及び式（１０）から焦点距離Ｆを算出した。そして、遺伝的アルゴリズム法に基づき、３つのカメラパラメーター（Ｕｏ，Ｖｏ，Ｆ）を除いた６つのカメラパラメーター（Ｘｏ，Ｙｏ，Ｚｏ，θ，ψ，φ）の最適解を求めた。第２段階では、３つのカメラパラメーター（Ｕｏ，Ｖｏ，Ｆ）を変数に加えて、遺伝的アルゴリズム法に基づき、９のカメラパラメーター（Ｕｏ，Ｖｏ，Ｆ，Ｘｏ，Ｙｏ，Ｚｏ，θ，ψ，φ）の最適解を求めた。遺伝的アルゴリズム法に用いる変数のうち、個体数は１０００個に設定し、交叉率は７０％に設定し、突然変異率は５％に設定した。終了条件は設けずに、各段階で１００世代の最適化処理を行った。即ち、計２００世代の最適化処理を行った。

［実験方法］
図５（ｂ）は、実施例１に係る実測空間５５を示す図である。実施例１において、実測空間５５は、図５（ａ）を参照して説明したやり投げ助走路５１を下面とする直方体状とした。具体的には、ＣＰ１及びＣＰ２が実測空間５５の頂点の一部となり、ＣＰ３が実測空間５５の下面に含まれるように実測空間５５を設定した。また、実測空間５５のＹ軸方向の長さを８．０ｍに設定し、実測空間５５のＺ軸方向の高さを２．５ｍに設定した。

実施例１では、２台のデジタルビデオカメラＤＶ１、ＤＶ２によりそれぞれ実測空間５５を撮像して得た画像を基に、デジタルビデオカメラＤＶ１、ＤＶ２を較正した。即ち、２台のデジタルビデオカメラＤＶ１、ＤＶ２（以下、第１デジタルビデオカメラＤＶ１、第２デジタルビデオカメラＤＶ２と記載する場合がある）のカメラパラメーターの最適解を求めた。第１デジタルビデオカメラＤＶ１は、実測空間５５の中心からＸ軸方向に約−５０ｍ離れた地点において、なるべく高い位置に設置した。具体的には、地上から約９ｍ離れた位置に設置した。一方、第２デジタルビデオカメラＤＶ２は、実測空間５５の中心からＹ軸方向に約−５０ｍ離れた地点において、なるべく高い位置に設置した。具体的には、地上から約４ｍ離れた位置に設置した。デジタルビデオカメラＤＶ１、ＤＶ２をなるべく高い位置に設置したのは、やり投げ助走路５１の特徴点（較正点ＣＰ１、ＣＰ２、ＣＰ３）を識別しやすくするためである。

実施例１では、較正後のデジタルビデオカメラＤＶ１、ＤＶ２の測定精度を検証した。詳しくは、実測空間５５の頂点８ヶ所にマーカーを設置し、較正後のデジタルビデオカメラＤＶ１、ＤＶ２により実測空間５５を撮像して得た画像から、８つのマーカーの３次元座標値を測定（算出）し、実測空間５５の再構築を行った。

比較例１では、ＤＬＴ法を用いてデジタルビデオカメラＤＶ１、ＤＶ２を較正した。即ち、２台のデジタルビデオカメラＤＶ１、ＤＶ２のＤＬＴパラメーターを求めた。具体的には、実測空間５５の９箇所に、較正点が０．５ｍ間隔で取り付けられた長さ２．５ｍのキャリブレーションポールを垂直に立てることにより、計５４個の較正点を設置した。図６は、実測空間５５に設置した５４個の較正点を示す図である。図６に示すように設置した５４個の較正点を用いてＤＬＴパラメーターを算出した。また、実施例１と同様に、較正後のデジタルビデオカメラＤＶ１、ＤＶ２により実測空間５５を撮像して得た画像を基に、実測空間５５の頂点８ヶ所の３次元座標値を測定（算出）し、実測空間５５の再構築を行った。

なお、図６において、較正点１は較正点ＣＰ１であり、較正点１３は較正点ＣＰ２であり、較正点４３は較正点ＣＰ３である。また、較正点７の座標は（２，０，０）であり、較正点１９の座標は（０，−４，０）であり、較正点２５の座標は（２，−４，０）であり、較正点３１の座標は（４，−４，０）である。

ＤＬＴパラメーターは、式（１）の右辺のカメラパラメーターに関する行列（第１項から第３項）をＰとすると、以下の式（１２）によって纏めることができる。

一般的には、式（１２）の第３行第４列の変数（Ｐ’１２）を１とし、以下の式（１３）に示す１１個のＤＬＴパラメーター（Ｐ１〜Ｐ１１）を算出して、カメラの較正を行う。

比較例１では、式（１３）に基づいてＤＬＴパラメーターを算出した。なお、式（１３）において、ｋは、式（１２）の右辺における第３行第４列の変数（Ｐ’１２）を１とするためのスケール因子である。

［データ処理］
動作解析ソフト（ＤＫＨ社製、Ｆｒａｍｅ−ＤＩＡＳ ＩＶ）を用いて、デジタルビデオカメラＤＶ１、ＤＶ２で撮影した画像から較正点のデジタイズ座標値（デジタイズ座標系における２次元座標値）を得た。実施例１及び比較例１では、デジタイズ誤差をできる限り小さくするために、４名が別々にデジタイズしたデータの平均値を用いた。なお、４名のデジタイズデータの差の最大値は、横方向において２ピクセル（分解能に対して約０．１％）であった。また、縦方向において、３．５ピクセル（分解能に対して約０．３％）であった。

［結果］
図７は、実施例１に係る遺伝的アルゴリズム法を用いた最適化処理における再投影誤差の変化を示す図である。図７において、縦軸は再投影誤差（Ｒｅｐｒｏｊｅｃｔｉｖｅ Ｅｒｒｏｒ）を示し、横軸は世代（Ｇｅｎｅｒａｔｉｏｎ）を示す。図７に示すように、再投影誤差は、最適化処理の開始後に急激に減少した。その後、緩やかに減少して、最適化処理の終了時点では、ほぼ０ピクセルとなった。なお、実施例１に係る最適化処理を複数回実施した結果、その全てにおいて、ほぼ同一の解に収束した。換言すると、実施例１に係る最適化処理によって得られる解は、局所解に陥ることがないことが確認された。

以下の表１は、較正点ＣＰ１、ＣＰ２、ＣＰ３を用いて算出されたカメラパラメーター（Ｕｏ，Ｖｏ，Ｆ，Ｘｏ，Ｙｏ，Ｚｏ，θ，ψ，φ）の最適解を示す。

表１に示すように、第１デジタルビデオカメラＤＶ１のレンズの中心位置（Ｘｏ，Ｙｏ，Ｚｏ）は、（−４９．７６ｍ，−４．０３ｍ，８．９２ｍ）と算出された。第２デジタルビデオカメラＤＶ２のレンズの中心位置（Ｘｏ，Ｙｏ，Ｚｏ）は、（１．２３ｍ，−５２．７５ｍ，３．６４ｍ）と算出された。

以下の表２は、実施例１及び比較例１に係る測定結果を示す。詳しくは、再構築した実測空間５５と実際の実測空間５５（４．０ｍ×８．０ｍ×２．５ｍ）との差（誤差）を示す。より具体的には、Ｘ軸方向（Ｘ ａｘｉｓ）、Ｙ軸方向（Ｙ ａｘｉｓ）、及びＺ軸方向（Ｚ ａｘｉｓ）のそれぞれの標準誤差（ＳＥ）と最大誤差（Ｍａｘ）とを示している。また、表２において、絶対値（Ａｂｓｏｌｕｔｅ）の標準誤差は、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向のそれぞれの標準誤差の２乗を加算した値の平方根の絶対値であり、絶対値の最大値は、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向のそれぞれの最大誤差の２乗を加算した値の平方根の絶対値である。

表２に示すように、Ｘ軸方向の標準誤差は、実施例１では０．００２ｍ（実測範囲に対して０．０５％）となり、比較例１では０．００３ｍ（実測範囲に対して０．０７％）となった。Ｙ軸方向の標準誤差は、実施例１及び比較例１のいずれも０．００３ｍ（実測範囲に対して０．０４％）となった。Ｚ軸方向の標準誤差は、実施例１では０．００２ｍ（実測範囲に対して０．０８％）となり、比較例１では０．００３ｍ（実測範囲に対して０．１１％）となった。よって、実施例１と比較例１との間に顕著な差はみられなかった。

また、Ｘ軸方向の最大誤差は、実施例１では０．０１２ｍ（実測範囲に対して０．３０％）となり、比較例１では０．０１３ｍ（実測範囲に対して０．３３％）となった。Ｙ軸方向の最大誤差は、実施例１では０．０１６ｍ（実測範囲に対して０．２０％）となり、比較例１では０．０１３ｍ（実測範囲に対して０．１６％）となった。Ｚ軸方向の最大誤差は、実施例１では０．００８ｍ（実測範囲に対して０．３２％）となり、比較例１では０．０１２ｍ（実測範囲に対して０．４８％）となった。よって、実施例１と比較例１との間に顕著な差はみられなかった。

［実施例２及び比較例２］
実施例２では、両端にマーカーが貼付された長さ１ｍのポールを実測空間５５内の４０か所に無作為に静止させた状態で、実施例１と同様に、較正後のデジタルビデオカメラＤＶ１、ＤＶ２により実測空間５５を撮像した。また、実施例２では、実測空間５５を撮像した画像を基に、ポールの両端に貼付された２つのマーカーの３次元座標値を算出した。そして、算出した２つのマーカーの３次元座標値から、２つのマーカー間の距離を測定した。以下、算出した２つのマーカーの３次元座標値から測定した２つのマーカー間の距離を、測定したマーカー間の距離と記載する。比較例２では、比較例１と同様に、ＤＬＴ法を用いてデジタルビデオカメラＤＶ１、ＤＶ２を較正した。また、実施例２と同様に、較正後のデジタルビデオカメラＤＶ１、ＤＶ２を用いて、ポールの両端に貼付された２つのマーカー間の距離を測定した。

以下の表３は、実施例２及び比較例２に係る測定結果を示す。詳しくは、測定したマーカー間の距離の平均値（Ｍｅａｎ±ＳＤ）、最小値（Ｍｉｎ）、及び最大値（Ｍａｘ）を示す。

表３に示すように、測定したマーカー間の距離の最小値は、実施例２では０．９９４ｍとなり、比較例２では０．９９３ｍとなった。測定したマーカー間の距離の最大値は、実施例２では１．００８ｍとなり、比較例２では１．００７ｍとなった。よって、実施例２と比較例２との間に顕著な差はみられなかった。

［実施例３］
実施例３では、カメラパラメーターの最適解を取得する際に用いる較正点の数の影響を検証した。具体的には、較正点の数を変更してデジタルビデオカメラＤＶ１、ＤＶ２の較正を行い、実施例１と同様に、再構築した実測空間５５と実際の実測空間５５との差（誤差）を検証した。詳しくは、図６を参照して説明した５４個の較正点のうちから、３点、６点、１２点、１８点、２４点、３６点、４５点、５４点を選んで、カメラパラメーターの最適解を取得した。較正点の数と、使用した較正点との関係を以下の表４に示す。

なお、３個の較正点を用いてカメラパラメーターの最適解を取得する際には、図６に示す較正点１、１３、４３を使用した。即ち、図５を参照して説明した３個の較正点ＣＰ１、ＣＰ２、ＣＰを使用した。また、５４個の較正点を用いてカメラパラメーターの最適解を取得する際には、図６に示す全ての較正点１〜較正点５４を使用した。

図８〜図１１は、実施例３に係る測定結果を示す図である。詳しくは、図８は、再構築した実測空間５５と実際の実測空間５５とのＸ軸方向の標準誤差（Ｓｔａｎｄａｒｄ ｅｒｒｏｒ）と、較正点の数との関係を示す。図９は、再構築した実測空間５５と実際の実測空間５５とのＹ軸方向の標準誤差と、較正点の数との関係を示す。図１０は、再構築した実測空間５５と実際の実測空間５５とのＺ軸方向の標準誤差と、較正点の数との関係を示す。図１１は、絶対値の標準誤差と較正点の数との関係を示している。絶対値の標準誤差は、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向のそれぞれの標準誤差の２乗を加算した値の平方根の絶対値である。図８〜図１１において、縦軸は標準誤差を示し、横軸は較正点の数を示す。図８〜図１１に示すように、再構築した実測空間５５に、較正点の数による影響はみられなかった。

［実施例４］
実施例４では、実施例３と同様に、カメラパラメーターの最適解を取得する際に用いる較正点の数の影響を検証した。具体的には、実施例３と同様に較正点の数を変更してデジタルビデオカメラＤＶ１、ＤＶ２の較正を行った。また、実施例２と同様に、ポールの両端に貼付した２つのマーカー間の距離を測定した。

図１２は、実施例４に係る測定結果を示す図である。詳しくは、図１２は、測定したマーカー間の距離と、較正点の数との関係を示す。図１２において、縦軸は測定したマーカー間の距離を示し、横軸は較正点の数を示す。図１２に示すように、測定したマーカー間の距離に、較正点の数による影響はみられなかった。

以上、本発明の実施例について説明した。実施例１、２、及び比較例１、２の結果（表２、表３）によれば、再投影誤差が最小となるようなカメラパラメーターの最適解を求めてカメラの較正を行うことにより、一般的なＤＬＴ法を用いてカメラを較正した場合と同程度の測定精度を達成できた。換言すると、３次元動作の分析に十分な測定精度を達成できた。

また、実施例３、４の結果（図８〜図１２）によれば、測定精度に較正点の数による影響はほとんどみられなかった。また、本発明の実施例では、デジタイズ誤差をなるべく小さくするために、４名がデジタイズしたデータの平均値を用いてカメラパラメーターを算出し、４名のデジタイズデータの差は最大でも横方向で２ピクセル、縦方向で３．５ピクセルであった。これらのことから、デジタイズ誤差が小さい場合は、較正点の数が測定精度に及ぼす影響は小さく、較正点の数が３個であっても十分な精度でカメラを較正できることを確認できた。したがって、再投影誤差が最小となるようなカメラパラメーターの最適解を求めてカメラの較正を行うことは、多数の較正点の座標値を正確に測定することが困難な場合や、多数の較正点の座標値を測定するのに十分な時間が無い場合などに有効である。

本発明は、実際に試合や競技を行っている選手の動作の分析に有用である。

１ カメラ較正システム
２ 定点カメラ
３ 演算装置
２１ デジタイズ平面
２２ レンズ
５１ やり投げ助走路
５４ 踏み切り線
５５ 実測空間
ＣＰ１〜ＣＰ３ 較正点
Ｌ 光軸
ＭＸ 測定点
ｍｘ 投影点

Claims (11)

1. 実測空間を撮像した画像を取得する定点カメラと、
   前記画像に基づいて、前記定点カメラのカメラパラメーターの最適解を取得する演算装置と
   を備え、
   前記実測空間は、少なくとも３個の較正点を含み、
   前記演算装置は、
   前記較正点の前記画像上でのデジタイズ座標値を測定し、
   実空間座標系における前記較正点の３次元座標値と、前記較正点の３次元座標値をデジタイズ座標系へ投影した投影座標値を算出するための演算式と、前記較正点のデジタイズ座標値とに基づき、前記最適解を取得し、
   前記演算式は、前記カメラパラメーターを含み、
   前記演算装置は、前記較正点のデジタイズ座標値と前記較正点の投影座標値との差が最小となるような前記最適解を取得する、カメラ較正システム。
2. 前記定点カメラの光軸と前記画像との交点のデジタイズ座標値を（Ｕｏ，Ｖｏ）とし、
   前記定点カメラが備えるレンズの中心の前記実空間座標系における３次元座標値を（Ｘｏ，Ｙｏ，Ｚｏ）とし、
   前記実空間座標系における測定点の３次元座標値を（Ｘ，Ｙ，Ｚ）とし、
   前記測定点を前記デジタイズ座標系へ投影した投影点の投影座標値を（Ｕ，Ｖ）とし、
   前記レンズの焦点距離をＦとし、
   前記実空間座標系から前記デジタイズ座標系への座標変換行列をＲとし、
   前記定点カメラのアスペクト比をａとし、
   前記定点カメラのカメラ歪みをｓとし、
   前記投影点を示す行列式に含まれる第３行第１列の値を１にするためのスケール因子をｈとした場合、
   前記演算式は、以下の式（１）、式（２）及び式（３）を含む、請求項１に記載のカメラ較正システム。
   

   

   

   
3. 前記演算装置は、前記定点カメラの光軸と前記画像との前記交点（Ｕｏ，Ｖｏ）を前記画像の中心に設定して前記最適解を取得した後、前記交点（Ｕｏ，Ｖｏ）を変数に加えて前記最適解を取得する、請求項２に記載のカメラ較正システム。
4. 全ての前記較正点が、前記実測空間内の同一平面に含まれる、請求項１から請求項３のいずれか１項に記載のカメラ較正システム。
5. 前記演算装置は、遺伝的アルゴリズム法に基づいて前記最適解を取得する、請求項１から請求項４のいずれか１項に記載のカメラ較正システム。
6. コンピューターに、実測空間を撮像した定点カメラのカメラパラメーターの最適解を求めさせるカメラ較正プログラムであって、
   前記実測空間は、少なくとも３個の較正点を含み、
   前記カメラ較正プログラムは、
   前記コンピューターに、
   前記実測空間を撮像した画像上での前記較正点のデジタイズ座標値を測定させる手順と、
   実空間座標系における前記較正点の３次元座標値と、前記較正点の３次元座標値をデジタイズ座標系へ投影した投影座標値を算出するための演算式と、前記較正点のデジタイズ座標値とに基づき、前記最適解を求めさせる手順と
   を実行させ、
   前記演算式は、前記カメラパラメーターを含み、
   前記カメラ較正プログラムは、前記コンピューターに、前記較正点のデジタイズ座標値と前記較正点の投影座標値との差が最小となるような前記最適解を求めさせる、カメラ較正プログラム。
7. 前記定点カメラの光軸と前記画像との交点のデジタイズ座標値を（Ｕｏ，Ｖｏ）とし、
   前記定点カメラが備えるレンズの中心の前記実空間座標系における３次元座標値を（Ｘｏ，Ｙｏ，Ｚｏ）とし、
   前記実空間座標系における測定点の３次元座標値を（Ｘ，Ｙ，Ｚ）とし、
   前記測定点を前記デジタイズ座標系へ投影した投影点の投影座標値を（Ｕ，Ｖ）とし、
   前記レンズの焦点距離をＦとし、
   前記実空間座標系から前記デジタイズ座標系への座標変換行列をＲとし、
   前記定点カメラのアスペクト比をａとし、
   前記定点カメラのカメラ歪みをｓとし、
   前記投影点を示す行列式に含まれる第３行第１列の値を１にするためのスケール因子をｈとした場合、
   前記演算式は、以下の式（１）、式（２）及び式（３）を含む、請求項６に記載のカメラ較正プログラム。
   

   

   

   
8. 前記コンピューターに、前記最適解を求めさせる際に、
   前記定点カメラの光軸と前記画像との前記交点（Ｕｏ，Ｖｏ）を前記画像の中心に設定させて前記最適解を求めさせる手順と、
   前記交点（Ｕｏ，Ｖｏ）を変数に加えて前記最適解を求めさせる手順と
   を実行させる、請求項７に記載のカメラ較正プログラム。
9. 全ての前記較正点が、前記実測空間内の同一平面に含まれる、請求項６から請求項８のいずれか１項に記載のカメラ較正プログラム。
10. 前記コンピューターに、遺伝的アルゴリズム法に基づいて前記最適解を求めさせる、請求項６から請求項９のいずれか１項に記載のカメラ較正プログラム。
11. 定点カメラを用いて、実測空間を撮像した画像を取得するステップと、
    前記実測空間に含まれる少なくとも３個の較正点の前記画像上でのデジタイズ座標値を測定するステップと、
    実空間座標系における前記較正点の３次元座標値と、前記較正点の３次元座標値をデジタイズ座標系へ投影した投影座標値を算出するための演算式と、前記較正点のデジタイズ座標値とに基づき、前記定点カメラのカメラパラメーターの最適解を取得するステップと
    を包含し、
    前記演算式は、前記カメラパラメーターを含み、
    前記最適解を取得するステップにおいて、前記較正点のデジタイズ座標値と前記較正点の投影座標値との差が最小となるような前記最適解を取得する、カメラ較正方法。

Images