JP4628590B2 - 移動物体の計測装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、所定のフィールド上で変則的な動きをする移動物体を撮像し、その画像データに基づいて移動物体の位置や運動量を計測する装置に関する。
【０００２】
【従来の技術】
サッカーやラグビーなど、所定のフィールド上で行われる競技における競技者の、競技中における総運動量や単位時間当たりの運動量を計測することができれば、トレーニング効果を比較したり、競技者のコンディションを数値化したりして、競技者の身体能力を客観的に評価することが可能となり便利である。しかしながら、実際の競技中には競技者に計測用の装置（例えば、万歩計など）を装着することは許されない。このように、従来は競技者の運動量を計測するための適切な装置はなく、よって競技者の身体能力を客観的に評価することは容易ではなかった。
【０００３】
【発明が解決しようとする課題】
そこで本発明者は、競技者の運動量を計測する装置について鋭意検討した。そして、ビデオカメラなどの撮像装置を用いて競技者を撮像し、得られた画像データに基づいて競技者の競技中におけるフィールド上での位置をトラックして、競技者の運動量を計測することを考えた。
【０００４】
そして、本発明者は、撮像装置により競技者を撮像するとき、画面上の特定点、例えば中心点に対応する実空間上の位置を、撮像装置の設置位置と、撮像装置のパン方向及びチルト方向の角度とから算出し、これを競技者のフィールド上での位置とすることとした。しかしながら、サッカーなどのフィールド競技の場合、競技者は長い距離をある程度の速度で移動したり、狭い範囲内を細かく移動したりといった変則的な動きを繰り返す。よって、競技者を画面の中心点に常に捉えることは難しく、計測の精度を上げるためには、画面上の中心点からズレた分だけ、競技者の実空間上における位置を補正する必要がある。
【０００５】
しかしながら、図６（ａ）に示すように、撮像装置１００により競技者Ｓの動きを単にトラックする手法では、図６（ｂ）に示すように競技者Ｓが近距離にいるとき（Ａ地点）と、図６（ｃ）に示すように遠距離にいるとき（Ｂ地点）とで、撮像装置１００の１画素当たりの距離分解能が変化してしまう。例えば、撮像装置１００の水平方向の有効画素数を６４０画素とすると、Ａ地点では画面中に４ｍの範囲が撮像され、１画素当たり０．６２５ｃｍの分解能となる。一方、Ｂ地点では１０ｍの範囲が撮像され、１画素当たり１．５６２５ｃｍの分解能となって、分解能の差は約１ｃｍに及ぶ。このように、撮像装置１００の１画素当たりの距離分解能が変化することで、画面上の中心点からのズレの計測精度が変化するため、競技者Ｓの実空間上における位置の計測精度が低下し、ひいては競技者Ｓの運動量の計測精度が低下するという問題があった。
【０００６】
そこで本発明は、移動物体の位置や運動量を非接触で精度よく計測することが可能な移動物体の計測装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る移動物体の計測装置は、（１）移動物体を撮像する撮像装置と、（２）撮像装置に取り付けられたズームレンズ装置と、（３）撮像装置の撮像方向角度情報に基づいて、ズームレンズ装置のズーム値を制御し、撮像装置の１画素当たりの距離分解能を一定に維持するズーム制御装置と、（４）撮像装置により撮像した画像データを処理し、移動物体を抽出して移動物体の画像内における画像内位置を算出する画像処理装置と、（５）画像処理装置により抽出された移動物体の画像内位置から、移動物体の実空間内における実空間内位置を算出する位置演算装置と、を備え、撮像方向角度情報をチルト角度αとパン角度βとし、撮像装置の設置位置の座標を（０，０，Ｈ）として、その撮影方向での画像の中心位置における画像内座標ｏ（ｘ_ｏ，ｙ_ｏ）の実空間内における実空間内座標Ｏ（Ｘ_ｏ，Ｙ_ｏ）を
Ｘ_ｏ ＝ Ｈｓｉｎβ／ｔａｎα
Ｙ_ｏ ＝ Ｈｃｏｓβ／ｔａｎα
とし、距離分解能が一定に維持された画像の１画素当たりの長さをＤとし、画像の中心位置からの移動物体までの距離をｄとし、前記移動物体の画像内座標ｐを（ｘ _i ，ｙ _i ）、このｙ _i のｙ方向の補正値をｙ _i ’＝ｙ _i ／ｓｉｎαとしたときに角度θをθ＝ｔａｎ ^−１ （（ｘ _ｉ −ｘ _ｏ ）／（ｙ _ｉ ’−ｙ _ｏ ））として、位置演算装置は、移動物体の実空間内位置としての実空間内座標Ｐ（Ｘ_ｉ，Ｙ_ｉ）を、次式
Ｘ_ｉ ＝Ｘ_ｏ + Ｄ×ｄｓｉｎ（β+θ）
Ｙ_ｉ ＝Ｙ_ｏ + Ｄ×ｄｃｏｓ（β+θ）
に基づいて算出する。
【０００８】
この計測装置は、撮像装置により撮像した画像データを用いることにより、移動物体の位置を非接触で計測することができる。このとき、ズーム制御装置が、撮像装置の撮像方向角度情報に基づいてズームレンズ装置のズーム値を制御し、撮像装置の１画素当たりの距離分解能を一定に維持しているため、画面上の特定点からズレた分だけ移動物体の実空間内位置を補正するとき、画面上の特定点からのズレの計測精度が一定となり、移動物体の実空間内位置を精度良く計測することが可能となる。
【０００９】
本発明に係る移動物体の計測装置は、（１）撮像装置を支持すると共に撮像装置の撮像方向を変更する駆動装置と、（２）移動物体を自動追尾するように駆動装置を制御する駆動制御装置と、を備えることを特徴としてもよい。このようにすれば、移動物体を自動追尾するように、駆動制御装置が駆動装置を制御して撮像装置の撮像方向を自動的に変更することで、移動物体を撮像する際における省力化が図られる。
【００１０】
本発明に係る移動物体の計測装置は、位置演算装置により算出された移動物体の実空間内位置に基づいて、移動物体の運動量を算出する運動量演算装置を備えることを特徴としてもよい。このようにすれば、例えば、移動物体としてサッカーなどの競技における競技者のトレーニング効果を比較したり、競技者のコンディションを数値化したりして、競技者の身体能力を客観的に評価することが可能となる。
【００１１】
【発明の実施の形態】
以下、添付図面を参照しながら本発明に係る移動物体の計測装置の好適な実施形態について説明する。なお、図面において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１２】
図１は、本発明の実施形態に係る移動物体の計測装置（以下、「計測装置」ともいう）の構成を示すブロック図である。この計測装置１０は、図２に示すように、サッカーなど、所定のフィールドＦ上で行われる競技における競技者Ｓの、競技中における位置や運動量を計測する。
【００１３】
図１に示すように、計測装置１０は撮影カメラ１２、雲台１４、ズームレンズ装置１６、撮像制御装置１８、画像処理装置２０、及び統合制御装置２２を備えている。
【００１４】
撮影カメラ１２は、例えばカラービデオカメラであり、移動物体、ここではサッカーの競技者Ｓを撮影し、得られた画像データを画像処理装置２０に送出する。
【００１５】
雲台１４は、撮影カメラ１２を支持している。この雲台１４は、撮影カメラ１２をパン方向に駆動するためのパン方向駆動用モータと、チルト方向に駆動するためのチルト方向駆動用モータとを有している。また、雲台１４は撮影カメラ１２のパン方向角度を検出するパン方向角度検出用エンコーダと、チルト方向角度を検出するチルト方向角度検出用エンコーダとを有している。そして、雲台１４は撮像制御装置１８からの制御信号に基づいて、撮影カメラ１２をパン方向、及びチルト方向に振って撮影方向を変更すると共に、その位置での撮影カメラ１２のパン方向角度及びチルト方向角度を撮像制御装置１８に送出する。
【００１６】
ズームレンズ装置１６は、撮影カメラ１２の前面に取り付けられている。このズームレンズ装置１６は、ズームリングに保持された電動ズームレンズと、ズームリングの回転角度を電圧値で検出して、ズーム値を検出するためのポテンショメータとを有している。
【００１７】
撮像制御装置１８は、駆動制御装置２４とズーム制御装置２６とを有している。駆動制御装置２４は、雲台１４を駆動制御して撮影カメラ１２の撮影方向を変更する。このとき、駆動制御装置２４は、競技者Ｓを自動追尾するように雲台１４を駆動制御する。駆動制御装置２４による競技者Ｓの自動追尾は、公知の手法を用いることができる。例えば、画像処理装置２０から送られてくる競技者Ｓの画像内位置、競技者Ｓの移動速度などの情報から、次の瞬間における競技者Ｓの位置を予測し、予測された位置に撮影カメラ１２が向くように雲台１４を駆動制御して、競技者Ｓを自動追尾することができる。
【００１８】
ズーム制御装置２６は、１画素当たりの距離分解能が一定になるように、ズームレンズ装置１６を制御する。すなわち、ズーム制御装置２６は、撮影カメラ１２の設置位置と、雲台１４から送られてくる撮影カメラ１２のチルト角度（撮像方向角度情報）及びパン角度（撮像方向角度情報）とに基づいて、撮影カメラ１２の１画素当たりの距離分解能が一定となるようなズーム値Ｚを算出し、このズーム値Ｚを達成するための制御信号をズームレンズ装置１６に送出する。ここで、「距離分解能が一定」とは完全に一定であることを意味するのではなく、実質的に一定であれば足りる。なお、１画素当たりの距離分解能が一定となるようなズーム値Ｚを、チルト角度αとパン角度βとに対応させて予め算出しておき、これをテーブル化してズーム制御装置２６に記憶させておいてもよい。
【００１９】
画像処理装置２０は、撮影カメラ１２から送られてくる画像データを処理し、フレーム毎に競技者Ｓの抽出を行う。この抽出処理は、画像データの各画素の色相値と、芝生の色（緑）の色相値との差分を求め、これを閾値により２値化することで、競技者Ｓを抽出する。また、彩度、明度のパラメータと組み合わせ、これを閾値により２値化することで抽出精度を上げることもできる。そして、さらに抽出された競技者Ｓの所定の計測部、ここでは接地位置の画像内位置ｐ（ｘ_i，ｙ_i）を算出し、これを統合制御装置２２に送出する。ここで、競技者Ｓが立っている場合は、図３に示すように、接地位置は抽出された競技者Ｓの全体像の最下端の点となる。
【００２０】
統合制御装置２２は、位置演算装置２８とメモリ３０と運動量演算装置３２とを有している。位置演算装置２８は、画像処理装置２０から送られてくる競技者Ｓの画像内位置ｐ（ｘ_i，ｙ_i）と、撮像制御装置１８を介して雲台１４から送られてくる撮影カメラ１２のチルト角度α及びパン角度βとから、競技者Ｓの実空間内位置Ｐ（Ｘ_i，Ｙ_i）を算出する。算出された実空間内位置Ｐとそのときの時刻は、メモリ３０に記憶される。また、運動量演算装置３２は、メモリ３０に記憶された競技者Ｓの実空間内位置Ｐから、競技者Ｓの競技中における総運動量や、単位時間当たりの運動量などを算出し、算出された運動量はメモリ３０に保存される。
【００２１】
なお、本実施形態に係る計測装置１０は、モニターなどの表示装置３４を備えていてもよい。このようにすれば、統合制御装置２２において算出された競技者Ｓの経時的な位置や、運動量などの結果をモニター上で確認することができる。また、本実施形態に係る計測装置１０は、プリンターなどの記録装置３６を備えていてもよい。このようにすれば、統合制御装置２２において算出された競技者Ｓの経時的な位置や、運動量などの結果を紙などに記録して打ち出すことができる。
【００２２】
次に、上記した計測装置１０を用いた、競技者Ｓの実空間内における位置や運動量の計測方法について説明する。
【００２３】
まず、図２に示すように、撮影カメラ１２により競技者Ｓを撮影する。撮影に際しては、駆動制御装置２４により雲台１４を駆動制御して、競技者Ｓが画像のほぼ中央に位置するように競技者Ｓを自動追尾する。実際には、画像の中心と競技者Ｓの所定の計測部、ここでは接地位置とを一致させることは難しく、数画素程度のずれが生じてしまう。そのため、駆動制御装置２４は、以下の手順で雲台１４を駆動制御する。
【００２４】
まず、競技者Ｓの接地位置が画像の中央にくるように雲台１４を動かす。そして、接地位置と画像の中心との距離が一定の範囲（例えば、１００画素以下）であるときには、雲台１４の駆動を止めてその位置で撮影を行う。接地位置と画像の中心との距離が上記範囲を超えた場合は、再び雲台１４を駆動して撮影方向を変更する。
【００２５】
このとき、ズーム制御装置２６は、撮影カメラ１２の設置位置Ｃと、撮影カメラ１２のチルト角度α（撮像方向角度情報）及びパン角度β（撮像方向角度情報）とに基づいて、１画素当たりの距離分解能が一定となるようなズーム値Ｚ、例えば１画素当たりの距離分解能が１ｃｍとなるようなズーム値を算出し、このズーム値Ｚで競技者Ｓを撮影する。すなわち、図４に示すように、撮影カメラ１２の設置位置がＣ（０，０、Ｈ）と決められているとき、撮影カメラ１２から競技者Ｓまでの距離Ｒは、撮影カメラ１２のチルト角度αとパン角度βとから、
Ｒ ＝ Ｈ／（ｓｉｎαｃｏｓβ）
と一義的に決まる。よって、ズーム制御装置２６は、この距離Ｒ（すなわち、チルト角度αとパン角度β）に基づいて、１画素当たりの距離分解能が一定となるようなズーム値Ｚを算出し、このズーム値Ｚを得るための信号をズームレンズ装置１６に送出して、ズーム値を制御する。
【００２６】
なお、図５に示すように、撮影カメラ１２から競技者Ｓまでの距離Ｒ（すなわち、チルト角度αとパン角度β）について、１画素当たりの距離分解能が一定となるようなズーム値Ｚを予め算出しておき、これをテーブル化してズーム制御装置２６に記憶させておいてもよい。このようにすれば、ズーム制御装置２６は、ズーム値のテーブルから所望のズーム値を得ることができ、ズーム値をその都度算出する必要がなくなり、処理の効率化が図られる。
【００２７】
所望のズーム値Ｚで撮像された画像データは、画像処理装置２０に送られる。ここで、画像データの処理が行われ、競技者Ｓが抽出される。そして、図３に示すように、接地位置の画像内位置ｐ（ｘ_i，ｙ_i）が算出され、このデータが統合制御装置２２に送出される。
【００２８】
統合制御装置２２では、図３に示すように、その撮影方向での画像の中心位置における画像内座標ｏ（ｘ_o，ｙ_o）の、実空間内における実空間内座標Ｏ（Ｘ_o，Ｙ_o）が算出される。撮影カメラ１２の設置位置の座標Ｃを（０，０，Ｈ）とすると、画像の中心位置に対応する実空間内座標Ｏ（Ｘ_o，Ｙ_o）は、以下の（１）、（２）式から求められる。
Ｘ_o ＝ Ｈｓｉｎβ／ｔａｎα … （１）
Ｙ_o ＝ Ｈｃｏｓβ／ｔａｎα … （２）
【００２９】
また、競技者Ｓの接地位置の画像内座標ｐ（ｘ_i，ｙ_i）に対応する実空間内座標Ｐ（Ｘ_i，Ｙ_i）は、次にようにして求められる。
【００３０】
まず、画像内座標ｐ（ｘ_i，ｙ_i）のｙ方向の補正を以下の（３）式に基づいて行う。
ｙ_i’＝ ｙ_i／ｓｉｎα … （３）
【００３１】
次に、画像の中心位置ｏからの接地位置ｐまでの距離ｄとする。そして、図３に示す角度θを、以下の（５）式から求める。
θ＝ｔａｎ^−１ （（ｘ_ｉ−ｘ_ｏ）／（ｙ_ｉ’−ｙ_ｏ）） … （５）
【００３２】
更に、この結果に対して、予め設定した画像の１画素当たりの長さＤをかけ合わせ、以下の（６）、（７）式から競技者Ｓの接地位置の実空間内座標Ｐ（Ｘ_i，Ｙ_i）を算出する。
Ｘ_i ＝Ｘ_o + Ｄ×ｄｓｉｎ（β+θ） … （６）
Ｙ_i ＝Ｙ_o + Ｄ×ｄｃｏｓ（β+θ） … （７）
【００３３】
算出された競技者Ｓの接地位置の実空間内座標Ｐ（Ｘ_i，Ｙ_i）は、メモリ３０に記憶される。そして、運動量演算装置３２は、このメモリ３０に記憶された競技者Ｓの接地位置の実空間内座標Ｐ（Ｘ_i，Ｙ_i）に基づいて、競技者Ｓの総運動量や単位時間当たりの運動量を算出し、算出された運動量がメモリ３０に記憶される。
【００３４】
算出された競技者Ｓの接地位置の実空間内座標Ｐ（Ｘ_i，Ｙ_i）の奇跡や、運動量は、表示装置３４により確認することができ、また記録装置３６により紙などに打ち出すことができる。
【００３５】
以上詳述したように、本実施形態に係る計測装置１０では、ズーム制御装置２６によりズームレンズ装置１６を制御し、撮影に際して１画素当たりの距離分解能を一定に維持しているため、計測精度が変化することがなく、競技者Ｓが所定のフィールドＦ内を大きく移動しても小さく移動しても、競技者Ｓの接地位置の実空間内における位置や運動量を、精度良く計測することができる。そして、このように競技者Ｓの競技中における位置や運動量を精度良く計測することが可能となることで、競技者Ｓのトレーニング効果を比較したり、競技者のコンディションを数値化したりして、競技者の身体能力を客観的に精度良く評価することが可能となる。
【００３６】
本発明は、上記した実施形態に限定されることなく種々の変形が可能である。例えば、上記した実施形態では、駆動制御装置２４により雲台１４を駆動制御して、競技者Ｓを自動追尾する構成としたが、これに限らずカメラマンが手動で競技者Ｓを追尾するようにしてもよい。
【００３７】
また、上記した実施形態では、計測装置１０はフィールドの斜め上方に設置されることとしたが、フィールドの真上に設置してもよい。計測装置１０を真上に設置した場合には、垂直方向の距離分解能の位置による差が減少する。
【００３８】
また、上記した実施形態では、移動物体の例としてサッカーの競技者Ｓについて説明したが、これに限られず、ラグビー、アメリカンフットボール、バスケットボール、ハンドボールなど、所定のフィールド内で変則的な動きをする競技者の実空間内位置や、運動量を計測するようにしてもよい。
【００３９】
なお、撮像装置を用いて移動物体を撮像し、得られた画像データに基づいて移動物体の実空間内での位置を算出可能な装置として、例えば特開平７−１１４６４２号公報（以下、文献１という）に開示されたものがある。しかしながら、文献１に開示の装置は、画面の特定位置に移動物体を安定して映し出すことを目的とし、ズーム値を移動物体の移動に対応して広角に変更したり、狭角に変更したりしている。よって、文献１に開示の装置では、１画素当たりの距離分解能が変更されて、移動物体の位置の計測精度が低下するという問題がある。これに対し、本実施形態に係る計測装置は、移動物体の運動量を算出することを目的とし、ズーム値を制御して１画素当たりの距離分解能を一定に維持しており、その結果、移動物体の位置や運動量を精度よく計測することができるという優れた作用効果を奏し得る。
【００４０】
【発明の効果】
本発明によれば、移動物体の位置や運動量を非接触で精度よく計測することが可能となる。その結果、移動物体としてスポーツなどの競技者の競技中における位置や運動量を精度良く計測することが可能となって、トレーニング効果を比較したり、競技者のコンディションを数値化したりして、競技者の身体能力を客観的に評価することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る移動物体の計測装置の構成を示すブロック図である。
【図２】サッカーの競技者の、競技中における位置や運動量を計測する様子を示す図である。
【図３】競技者の画像内位置ｐ（ｘ_i，ｙ_i）を説明するための図である。
【図４】撮影カメラによる撮影方向の位置関係を説明するための図である。
【図５】１画素当たりの距離分解能を一定にするために必要な、撮影カメラから競技者までの距離と、ズーム値との関係を示すグラフである。
【図６】競技者を単に撮影した場合において、競技者の位置によって距離分解能が変動する様子を説明するための図である。
【符号の説明】
１０…移動物体の計測装置、１２…撮影カメラ、１４…雲台、１６…ズームレンズ装置、２０…画像処理装置、２４…駆動制御装置、２６…ズーム制御装置、２８…位置演算装置、３２…運動量演算装置、Ｓ…競技者。

Claims (3)

1. 移動物体を撮像する撮像装置と、
   前記撮像装置に取り付けられたズームレンズ装置と、
   前記撮像装置の撮像方向角度情報に基づいて、前記ズームレンズ装置のズーム値を制御し、該撮像装置の１画素当たりの距離分解能を一定に維持するズーム制御装置と、
   前記撮像装置により撮像した画像データを処理し、前記移動物体を抽出して該移動物体の画像内における画像内位置を算出する画像処理装置と、
   前記画像処理装置により抽出された前記移動物体の前記画像内位置から、該移動物体の実空間内における実空間内位置を算出する位置演算装置と、
   を備え、
   前記撮像方向角度情報をチルト角度αとパン角度βとし、前記撮像装置の設置位置の座標を（０，０，Ｈ）として、その撮影方向での画像の中心位置における画像内座標ｏ（ｘ_ｏ，ｙ_ｏ）の実空間内における実空間内座標Ｏ（Ｘ_ｏ，Ｙ_ｏ）を
   Ｘ_ｏ ＝ Ｈｓｉｎβ／ｔａｎα
   Ｙ_ｏ ＝ Ｈｃｏｓβ／ｔａｎα
   とし、
   前記距離分解能が一定に維持された画像の１画素当たりの長さをＤとし、画像の中心位置からの前記移動物体までの距離をｄとし、前記移動物体の画像内座標ｐを（ｘ _i ，ｙ _i ）、このｙ _i のｙ方向の補正値をｙ _i ’＝ｙ _i ／ｓｉｎαとしたときに角度θをθ＝ｔａｎ ^−１ （（ｘ _ｉ −ｘ _ｏ ）／（ｙ _ｉ ’−ｙ _ｏ ））として、
   前記位置演算装置は、前記移動物体の前記実空間内位置としての実空間内座標Ｐ（Ｘ_ｉ，Ｙ_ｉ）を、次式
   Ｘ_ｉ ＝Ｘ_ｏ + Ｄ×ｄｓｉｎ（β+θ）
   Ｙ_ｉ ＝Ｙ_ｏ + Ｄ×ｄｃｏｓ（β+θ）
   に基づいて算出する移動物体の計測装置。
2. 前記撮像装置を支持すると共に該撮像装置の撮像方向を変更する駆動装置と、
   前記移動物体を自動追尾するように前記駆動装置を制御する駆動制御装置と、
   を備える請求項１に記載の移動物体の計測装置。
3. 前記位置演算装置により算出された前記移動物体の前記実空間内位置に基づいて、該移動物体の運動量を算出する運動量演算装置を備える請求項１に記載の移動物体の計測装置。

Images