JP6655114B2 - 映像解析装置、映像解析方法、及びコンピュータプログラム - Google Patents

Description

本発明は、映像解析装置、映像解析方法、及びコンピュータプログラムに関し、特に、複数台のカメラにより撮影した映像から人やボール等の位置、動きを特定するトラッキング技術に関する。

近年、カメラ及び計算機の高性能化に伴い、カメラで撮影された映像を解析する技術が進展しており、スポーツ分野への適用が期待されている。映像解析技術により選手やボールの位置を自動追跡し、可視化や分析を行うことで、競技や練習に役立てることができる。

映像解析による追跡技術は、例えば特許文献１に開示されている。特許文献１は、複数台のカメラにより得られる映像から予測位置情報を生成し、トラッキングを正確・安定的に行う方式である。特許文献１では、２台より多いカメラを用いることで、オクル―ジョン（重なり等による追跡対象がみえない状態）に対処している。

特開２０１７−１０２７０８号公報

上記したように、多数のカメラを設置することによりオクルージョンを回避する方式はあるが、このような方式によると、カメラの台数とともにコストも増大する。また、競技会場の環境によっては、多数のカメラを設置することが困難な場合もある。

本発明は、上述した従来の技術に鑑み、多数のカメラを設置しなくてもオクルージョンを精度よく回避できる映像解析装置、映像解析方法、及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するため、第１の態様に係る発明は、映像解析装置であって、複数視点の映像データに含まれる追跡対象のオブジェクトに対してトラッキングを行い、各時刻のオブジェクト位置を測定する位置測定部と、前記位置測定部によって測定された各時刻のオブジェクト位置にオクルージョンによるデータ欠損が生じている場合、モーションキャプチャによる推定、オーディオデータを用いた推定、又はそれらの組み合わせによりトラッキングデータを補間するオブジェクト位置補間部と、複数チャンネルのオーディオデータに含まれる特定音を検出する特定音検出部を備え、前記特定音検出部は、前記位置測定部から各時刻の人物位置が入力される場合は、その人物位置に基づいて前記特定音の種類を判断し、前記オブジェクト位置補間部は、前記特定音の種類に基づいてトラッキングデータを補間することを要旨とする。

第２の態様に係る発明は、第１の態様に係る発明において、前記映像データに含まれる人物に対してモーションキャプチャを行う動き検出部を備え、前記オブジェクト位置補間部は、前記動き検出部によって特定モーションが検出されたときの時刻とその時刻のオブジェクト位置を用いてトラッキングデータを補間することを要旨とする。

第３の態様に係る発明は、第１又は第２の態様に係る発明において、前記オブジェクト位置補間部は、前記オブジェクトがボールである場合、前記ボールの衝突時の時刻とその時刻のオブジェクト位置を用いてトラッキングデータを補間することを要旨とする。

第４の態様に係る発明は、映像解析方法であって、映像解析装置が、複数視点の映像データに含まれる追跡対象のオブジェクトに対してトラッキングを行い、各時刻のオブジェクト位置を測定する位置測定ステップと、前記位置測定ステップで測定された各時刻のオブジェクト位置にオクルージョンによるデータ欠損が生じている場合、モーションキャプチャによる推定、オーディオデータを用いた推定、又はそれらの組み合わせによりトラッキングデータを補間するオブジェクト位置補間ステップと、複数チャンネルのオーディオデータに含まれる特定音を検出する特定音検出ステップを実行し、前記特定音検出ステップでは、前記位置測定ステップで各時刻の人物位置が測定される場合は、その人物位置に基づいて前記特定音の種類を判断し、前記オブジェクト位置補間ステップでは、前記特定音の種類に基づいてトラッキングデータを補間することを要旨とする。

第５の態様に係る発明は、第１から第３のいずれか１つの態様に係る映像解析装置としてコンピュータを機能させるためのコンピュータプログラムであることを要旨とする。

本発明によれば、多数のカメラを設置しなくてもオクルージョンを精度よく回避できる映像解析装置、映像解析方法、及びコンピュータプログラムを提供することが可能である。

本発明の実施の形態における映像解析装置を適用したシステム構成図である。 本発明の実施の形態における映像解析装置の機能ブロック図である。 本発明の実施の形態における実空間座標の説明図である。 本発明の実施の形態におけるショット時、バウンド時の説明図である。 本発明の実施の形態における映像解析装置が備えるデータベース構成図である。 本発明の実施の形態における映像解析装置の動作を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、以下の実施の形態は、この発明の技術的思想を具体化するための映像解析装置を例示するものであり、装置の構成やデータの構成等は以下の実施の形態に限定されるものではない。

＜全体構成＞
図１は、本発明の実施の形態における映像解析装置２０を適用したシステム構成図である。ここでは、テニスの映像を解析する場面を想定し、追跡対象のオブジェクトはボールであると仮定する。図１に示すように、カメラＣ１，Ｃ２，…，Ｃｎがテニスコートの周辺に設置され、マイクＭ１，Ｍ２，…，Ｍｍがテニスコートの周辺に設置されている。ｎ，ｍは、２以上の整数である。これにより、カメラＣ１，Ｃ２，…，Ｃｎによって複数視点の映像データが取得され、マイクＭ１，Ｍ２，…，Ｍｍによって複数チャンネルのオーディオデータが取得される。取得された複数視点の映像データ及び複数チャンネルのオーディオデータは後段の入力データ整形装置１０に入力され、同期やキャプチャ等の前処理を施される。前処理を施された複数視点の映像データ及び複数チャンネルのオーディオデータは後段の映像解析装置２０に入力され、映像が解析される。選手やボールの位置を自動追跡し、可視化や分析を行うことで、競技や練習に役立てることができる。

ここで、映像データから人やボール等のトラッキングを行う際、オクルージョン（重なり等による追跡対象がみえない状態）によりデータ欠損が生じてしまう場合がある。例えば、テニスの映像を解析する場面を想定した場合、選手、ラケット、ネットの陰にボールが隠れてしまうと、その間、ボールをトラッキングできない。

既に説明したように、多数のカメラを設置することによりオクルージョンを回避する方式はあるが、このような方式によると、カメラの台数とともにコストも増大する。また、競技会場の環境によっては、多数のカメラを設置することが困難な場合もある。カメラの台数増加以外に、物理計算によりボールの軌道を推測する方法も考えられるが、ラケットや選手等との衝突点の推測が困難である。そこで、本発明の実施の形態における映像解析装置２０では、多数のカメラを設置しなくてもオクルージョンを精度よく回避できるようにするため、以下の構成を採用している。

＜映像解析装置の構成＞
図２は、本発明の実施の形態における映像解析装置２０の機能ブロック図である。映像解析装置２０は、モーションキャプチャやオーディオデータ等を活用したトラッキングデータ補間によりオクルージョンを解決する装置であって、機能的には、位置測定部２１と、動き検出部２２と、特定音検出部２３と、オブジェクト位置補間部２４とを備える。

位置測定部２１は、入力データ整形装置１０から入力される複数視点の映像データに対してトラッキングを行う機能部であり、例えば、特許文献１に記載されている技術を利用することができる。位置測定部２１は、トラッキングの結果として測定後の各時刻のオブジェクト位置が得られると、後段のオブジェクト位置補間部２４に入力する。図中に点線で示すように、位置測定部２１は、各時刻の人物位置、オクルージョン期間を測定し、後段の動き検出部２２及び特定音検出部２３に入力するようにしてもよい。

動き検出部２２は、入力データ整形装置１０から入力される複数視点の映像データに対してモーションキャプチャを行う機能部であり、例えば、Kinect（キネクト）が有するジェスチャー認識機能を利用することができる。動き検出部２２は、モーションキャプチャの結果としてショット時等の時刻、オブジェクト位置が得られると、後段のオブジェクト位置補間部２４に入力する。図中に点線で示すように、位置測定部２１から各時刻の人物位置、オクルージョン期間が入力される場合は、それらの情報を活用してもよい。例えば、人物位置（選手の位置）が分かれば、人物の特定モーション（選手がラケットを振る動作など）を精度よく検出することが可能となる。また、オクルージョン期間が分かれば、オクルージョン期間だけを対象として処理を行うことも可能となる。

特定音検出部２３は、入力データ整形装置１０から入力される複数チャンネルのオーディオデータに対して特定音を検出する機能部であり、例えば、特開２０１７−１５１２２１号公報に記載されている技術を利用することができる。特定音検出部２３は、特定音検出の結果としてショット時等の時刻、オブジェクト位置が得られると、後段のオブジェクト位置補間部２４に入力する。図中に点線で示すように、位置測定部２１から各時刻の人物位置、オクルージョン期間が入力される場合は、それらの情報を活用してもよい。例えば、人物位置（選手の位置）が分かれば、特定音（“ポーン”という音）が検出されたとき、ボールがラケットに当たったショット音であるのか、ボールが地面に当たったバウンド音であるのかを判断することが可能となる。また、オクルージョン期間が分かれば、オクルージョン期間だけを対象として処理を行うことも可能となる。

オブジェクト位置補間部２４は、位置測定部２１によって測定された各時刻のオブジェクト位置にオクルージョンによるデータ欠損が生じている場合、そのオクルージョン期間のオブジェクト位置等を補間する機能部である。例えば、追跡対象のオブジェクトがボールであれば、ボールの軌道の運動方程式（物理計算）によりボールの軌道を推測し、その推定結果を用いてトラッキングデータを補間する。ただし、単に物理計算を行うだけでは、ラケットや選手等との衝突点の推測が困難である。そこで、オブジェクト位置補間部２４は、トラッキングデータの補間にあたって、動き検出部２２と特定音検出部２３から入力されるショット時等の時刻、オブジェクト位置を活用するようになっている。

以下、補間処理について具体的に説明する。例えば、ボールの軌跡を時間ｔに対する上に凸の２次曲線であると仮定すると、ショット時の時刻がない場合（オクルージョンが発生している場合）は、２次曲線の頂点がないことになる。このような場合、ショット時の時刻とオブジェクト位置が分かると、２次曲線の頂点が分かり、その間を補間することができる。２次曲線の頂点が分からない場合と比較して２次曲線の頂点が分かる場合は補間精度が高くなることは言うまでもない。

なお、上記の説明では、動き検出部２２と特定音検出部２３の両方を備えた場合を例示したが、これに限定されるものではない。すなわち、動き検出部２２と特定音検出部２３のうちの少なくとも一方を備えれば、補間精度を高めるうえで一定の効果を得ることができる。

＜実空間座標＞
図３は、本発明の実施の形態における映像解析装置２０が実空間座標を求める原理を説明するための図である。ここでは、説明を簡単にするため、２台のカメラＣ１，Ｃ２と２台のマイクＭ１，Ｍ２がテニスコート３１の周囲に設置されているものとする。実空間座標を正確に求めるために、２台のカメラＣ１，Ｃ２によって取得された映像データは同期され、２台のマイクＭ１，Ｍ２によって取得されたオーディオデータも同期されている。

例えば、図３に示すように、テニスコート３１に対して垂直なネット３２を仮想平面３３とした実空間座標（Ｘ，Ｙ，Ｚ）上の特定位置を原点（０，０，０）とする。これにより、カメラＣ１の実空間座標（Ｘ_Ｃ１，Ｙ_Ｃ１，Ｚ_Ｃ１）と、カメラＣ２の実空間座標（Ｘ_Ｃ２，Ｙ_Ｃ２，Ｚ_Ｃ２）を固定的に設定することができる。オブジェクトであるボールＢの実空間座標（Ｘ_Ｂ，Ｙ_Ｂ，Ｚ_Ｂ）は、オブジェクト位置に対するカメラＣ１の視線ベクトルｖ１とカメラＣ２の視線ベクトルｖ２との交点（又は最近接点）から求めることが可能である。

同様に、マイクＭ１の実空間座標（Ｘ_Ｍ１，Ｙ_Ｍ１，Ｚ_Ｍ１）と、マイクＭ２の実空間座標（Ｘ_Ｍ２，Ｙ_Ｍ２，Ｚ_Ｍ２）を固定的に設定することができる。オーディオデータを用いた推定では、最低４本のマイクを用いることで音源を推定できることが知られている。雑音がある場合においても、例えば、特開２０１７−１５１２２１号公報に記載の方法で推定できる。

なお、ここでは、２台のカメラＣ１，Ｃ２と２台のマイクＭ１，Ｍ２を設置しているが、３台以上のカメラＣ１，Ｃ２，…，Ｃｎと３台以上のマイクＭ１，Ｍ２，…，Ｍｍを設置してもよい。ただし、多数のカメラＣ１，Ｃ２，…，ＣｎやマイクＭ１，Ｍ２，…，Ｍｍを設置するとコストの問題などがある。カメラについては、複数視点の映像データを得るうえでミニマムな台数である２台のカメラＣ１，Ｃ２を設置するのが望ましい。マイクについても、複数チャンネルのオーディオデータを得るうえでミニマムな台数である２台のマイクＭ１，Ｍ２を設置するのが望ましい。本発明の実施の形態における映像解析装置２０によれば、２台のカメラＣ１，Ｃ２や２台のマイクＭ１，Ｍ２を設置するだけでも、ラケットや選手等との衝突点の推測が容易になるため、オクルージョンを精度よく回避することが可能である。

＜ショット時、バウンド時＞
図４は、本発明の実施の形態におけるショット時、バウンド時の説明図である。既に説明したように、本発明の実施の形態では、テニスの映像を解析する場面を想定し、追跡対象のオブジェクトはボールＢであると仮定している。

図４に示すように、ボールＢがラケット４１に当たって跳ね返るショット時や、ボールＢが地面に当たって跳ね返るバウンド時などの衝突時においては、ボールＢがラケット４１や選手４２に隠れてしまうことが多い（オクルージョン）。このようにボールＢがラケット４１や選手４２に隠れてしまうと、その間、ボールをトラッキングできない。物理計算によりボールの軌道を推測する方法も考えられるが、ボールＢが跳ね返るところ（衝突点）はボールＢの軌跡の変化点であるため、単に物理計算を行うだけでは衝突点の推測が困難である。

そこで、動き検出部２２及び特定音検出部２３が衝突時（ショット時やバウンド時）の時刻、オブジェクト位置を検出し、その検出結果を用いてオブジェクト位置補間部２４がトラッキングデータの補間を行う。これにより、オクルージョンによるデータ欠損が生じている場合でも、そのオクルージョン期間のオブジェクト位置を精度よく補間することが可能である。

＜データ例＞
図５は、本発明の実施の形態における映像解析装置２０が備えるデータベース構成図であり、（ａ）は測定後の各時刻のオブジェクト位置を示し、（ｂ）は補間後の各時刻のオブジェクト位置を示している。このようなデータベースは、映像解析装置２０が備える記憶装置（図示せず）に記憶することが可能である。

まず、図５（ａ）に示すように、オブジェクトＩＤ、オブジェクト種別、時刻、座標が対応付けられている。オブジェクトＩＤは、追跡対象のオブジェクトを識別するための識別情報である。オブジェクト種別は、オブジェクトの種別情報であり、例えば“１”は人を意味し、“２”はボールを意味する。もちろん、人やボール以外のものをオブジェクトとすることも可能である。時刻は、オブジェクトが測定された時刻である。座標は、オブジェクト位置（実空間座標）である。

また、図５（ｂ）に示すように、オブジェクトＩＤ、オブジェクト種別、時刻、座標、補間フラグが対応付けられている。オブジェクトＩＤ、オブジェクト種別、時刻、座標の意味は上記した通りである。補間フラグは、オブジェクト位置補間部２４によって補間されたものであるか否かを示す情報であり、例えば“false”はトラッキングで得られた座標であることを意味し、“true”は補間された座標であることを意味する。オブジェクト位置補間部２４は、例えば、映像のフレームレートと同程度の頻度（間隔）で座標を補間するようになっている。

＜動作例＞
図６は、本発明の実施の形態における映像解析装置２０の動作を示すフローチャートである。以下、図６を用いて、映像解析装置２０の構成をその動作とともに説明する。

まず、複数視点の映像データに含まれる追跡対象のオブジェクトに対してトラッキングを行い、各時刻のオブジェクト位置を測定する（ステップＳ１）。このとき、オクルージョンによるデータ欠損が生じている場合がある。

一方、複数視点の映像データに含まれる人物に対して動き検出を行い（ステップＳ２）、モーションキャプチャによる推定を行う。モーションキャプチャによる推定では、映像内のデータから周囲（選手等）の状況を推定する。例えば、ボールを打ったモーションを学習・マッチングすることにより、ボールを打ったタイミング・場所を推定する。

また、複数チャンネルのオーディオデータに含まれる特定音を検出し（ステップＳ３）、オーディオデータを用いた推定を行う。既に説明したように、オーディオデータを用いた推定では、最低４本のマイクを用いることで音源を推定できることが知られている。雑音がある場合においても、例えば、特開２０１７−１５１２２１号公報に記載の方法で推定できる。

次いで、モーションキャプチャによる推定、オーディオデータを用いた推定、又はそれらの組み合わせによりトラッキングデータを補間する（ステップＳ４）。最後に、このように補間された結果を可視化して表示装置などに出力する（ステップＳ５）。

これにより、多数のカメラ設置が困難な場合においても、オクルージョンによる欠損データのうち物理計算のみでは補間困難な部分（衝突時の時刻、座標）を推定できるため、競技の正確な記録に役立ち、人手によるデータ補正の稼働を削減できる。また、推定結果を用いて物理計算を行うことにより、衝突時以外の補間の精度も向上できる。更に、多数のカメラ設置が可能な場合においても、ソフトウェア処理によるモーションキャプチャやマイク設置による音源推定はカメラ設置より低コストで実現できるメリットがある。

＜まとめ＞
以上説明したように、本発明の実施の形態における映像解析装置２０は、複数視点の映像データに含まれる追跡対象のオブジェクトに対してトラッキングを行い、各時刻のオブジェクト位置を測定する位置測定部２１と、位置測定部２１によって測定された各時刻のオブジェクト位置にオクルージョンによるデータ欠損が生じている場合、モーションキャプチャによる推定、オーディオデータを用いた推定、又はそれらの組み合わせによりトラッキングデータを補間するオブジェクト位置補間部２４とを備える。これにより、多数のカメラを設置しなくてもオクルージョンを精度よく回避することが可能である。

具体的には、映像データに含まれる人物に対してモーションキャプチャを行う動き検出部２２を備え、オブジェクト位置補間部２４は、動き検出部２２によって特定モーションが検出されたときの時刻とその時刻のオブジェクト位置を用いてトラッキングデータを補間してもよい。これにより、映像からモーションキャプチャを行い、ショット時等の位置・タイミングを推定し、トラッキングデータの補間を行うことが可能である。

また、複数チャンネルのオーディオデータに含まれる特定音を検出する特定音検出部２３を備え、オブジェクト位置補間部２４は、特定音検出部２３によって特定音が検出されたときの時刻とその時刻のオブジェクト位置を用いてトラッキングデータを補間してもよい。これにより、複数のマイクを配備し、オーディオデータからショット時等の位置・タイミングを推定し、トラッキングデータの補間を行うことが可能である。

また、オブジェクト位置補間部２４は、オブジェクトがボールである場合、ボールの衝突時の時刻とその時刻のオブジェクト位置を用いてトラッキングデータを補間してもよい。これにより、オクルージョンによる欠損データのうち物理計算のみでは補間困難な部分（衝突時の時刻、座標）を推定することが可能である。

なお、上記の説明では、テニスの映像を解析する場面を想定したが、もちろん、映像解析装置２０の解析対象はスポーツ分野に限定されるものではない。すなわち、映像解析装置２０は、オクルージョンを回避することが必要な様々な分野に適用することが可能である。

また、本発明は、映像解析装置２０として実現することができるだけでなく、映像解析装置２０が備える特徴的な機能部をステップとする映像解析方法として実現したり、映像解析装置２０としてコンピュータを機能させるためのコンピュータプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

１０ 入力データ整形装置
２０ 映像解析装置
２１ 位置測定部
２２ 動き検出部
２３ 特定音検出部
２４ オブジェクト位置補間部
３１ テニスコート
３２ ネット
３３ 仮想平面
４１ ラケット
４２ 選手
Ｃ１，Ｃ２，…，Ｃｎ カメラ
Ｍ１，Ｍ２，…，Ｍｍ マイク
Ｂ ボール（オブジェクト）

Claims (5)

1. 複数視点の映像データに含まれる追跡対象のボールに対してトラッキングを行い、各時刻のボール位置を測定する位置測定部と、
   前記位置測定部によって測定された各時刻のボール位置にオクルージョンによるデータ欠損が生じている場合、モーションキャプチャによる推定、オーディオデータを用いた推定、又はそれらの組み合わせによりトラッキングデータを補間する位置補間部と、
   複数チャンネルのオーディオデータに含まれる特定音を検出する特定音検出部を備え、
   前記特定音検出部は、前記位置測定部から各時刻の人物位置が入力される場合は、その人物位置に基づいて前記特定音が前記ボールのショット音であるかバウンド音であるかを判断し、
   前記位置補間部は、前記特定音がショット音であるかバウンド音であるかに応じて前記ボールのトラッキングデータを補間することを特徴とする映像解析装置。
2. 前記映像データに含まれる人物に対してモーションキャプチャを行う動き検出部を備え、
   前記位置補間部は、前記動き検出部によって特定モーションが検出されたときの時刻とその時刻のボール位置を用いてトラッキングデータを補間することを特徴とする請求項１に記載の映像解析装置。
3. 前記位置補間部は、前記ボールの衝突時の時刻とその時刻のボール位置を用いてトラッキングデータを補間することを特徴とする請求項１又は２に記載の映像解析装置。
4. 映像解析装置が、
   複数視点の映像データに含まれる追跡対象のボールに対してトラッキングを行い、各時刻のボール位置を測定する位置測定ステップと、
   前記位置測定ステップで測定された各時刻のボール位置にオクルージョンによるデータ欠損が生じている場合、モーションキャプチャによる推定、オーディオデータを用いた推定、又はそれらの組み合わせによりトラッキングデータを補間する位置補間ステップと、
   複数チャンネルのオーディオデータに含まれる特定音を検出する特定音検出ステップを実行し、
   前記特定音検出ステップでは、前記位置測定ステップで各時刻の人物位置が測定される場合は、その人物位置に基づいて前記特定音がショット音であるかバウンド音であるかを判断し、
   前記位置補間ステップでは、前記特定音が前記ボールのショット音であるかバウンド音であるかに応じて前記ボールのトラッキングデータを補間することを特徴とする映像解析方法。
5. 請求項１から３のいずれか１項に記載した映像解析装置としてコンピュータを機能させるためのコンピュータプログラム。

Images