JP5186656B2 - 動作評価装置および動作評価方法 - Google Patents

Description

本発明は、動作評価装置および動作評価方法に関するものであり、特に動作を撮影した動画像データの立体高次局所自己相関（CHLAC）特徴を時間重みで積分した映像特徴と外的規準（評価情報）を用いた動作評価装置および動作評価方法に関するものである。

動作に関する認識技術として、本出願人は動作の認識方法の研究を行い、本出願人が出願した下記の特許文献１には、立体高次局所自己相関特徴（以下、CHLACとも記す）を用いた動画像における動作の認識技術が開示されている。この技術は、ビデオカメラから入力される動画像データからフレーム間差分データを生成し、複数のフレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出し、抽出した特徴データを多変量解析などの統計的手法によって変換することによって新たな特徴データを生成し、登録データと比較することによって判定を行うものである。
特開２００５−０９２３４６号公報

また、本出願人が出願した下記の特許文献２には、動画像からCHLAC特徴を抽出し、それを用いて異常動作を検出する異常動作検出装置が開示されている。この技術は、ビデオカメラから入力される動画像データからフレーム間差分データを生成し、複数のフレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出し、過去のCHLAC特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と、最新の特徴データとの距離を計算する。そして、この距離が所定値よりも大きい場合に異常と判定するものである。
特開２００６−０７９２７２号公報

動作評価に関しては、例えば体操競技等の競技会における得点の付与、各種スポーツにおけるフォームの評価、リハビリにおける運動姿勢の評価などの分野において、どの程度理想のフォームに近いかによって合否を決めたり得点付与が行われている。しかしこれらの評価は熟練したエキスパートである評価者が行っており、上記したような従来の技術では動作の種別の判定や異常動作の検出は可能であるが、評価者が評価した外的基準に基づいて動作の評価を自動的に行うことはできなかった。

従来は動作の評価を自動的にかつ高精度で行う装置や方法は存在せず、そのため運動フォームの評価には熟練したエキスパートの臨席が必要であるので、エキスパートの臨席が困難な場合や多数の被評価者がいる場合などには適切な評価を得ることが困難であるという問題があった。また、動作を装置で評価する場合には、被評価者によって動作の位置や開始から終了までの時間が異なるので、この位置や動作時間の差を吸収しないと正確な評価が出来ないという問題点もあった。更に、動作の開始から終了までの間には評価に重要な時間位置部分とそうでない部分があり、これらも考慮しないと正確な評価が出来ないという問題点もあった。

本発明の目的は、上記したような従来の問題点を解決し、評価者の評価（外的基準）に基づいて、動作を撮影した動画像データから動作の評価を自動的にかつ高精度で行うことができる動作評価装置および動作評価方法を提供する点にある。

本発明の動作評価装置においては、位置不変性を持つ立体高次局所自己相関特徴（CHLAC）を用いて時系列の動作特徴を抽出し、映像の時間的な重要性の変化を考慮し、かつ映像の時間伸縮を吸収するために、連続関数として時間重みを導入する。ここではこの連続関数をフーリエ級数展開することで、時間重みを周波数成分への重みに帰着させる。そして、学習処理によってそれらの周波数成分重み（フーリエ係数）を外的規準（エキスパートの評価者が付与した学習データの評価値）に基づいて最適化している。更に、得られた時間重みを用いて映像全体の特徴を算出し、これを再び外的規準と多変量解析により動作評価を行なっている。

本発明の動作評価装置は、評価対象を撮影した動画像データからフレーム毎に差分・２値化データを生成する差分・２値化手段と、複数の前記差分・２値化データからフレーム毎に立体高次局所自己相関特徴を抽出し、時系列の立体高次局所自己相関特徴データを生成する特徴抽出手段と、前記時系列立体高次局所自己相関特徴データから多変量解析により予め求められた時間重みを用いて時間重み付き映像特徴データを生成する映像特徴生成手段と、前記映像特徴データの多変量解析により予め求められた係数行列を用いて対象動作を評価する評価手段とを備えたことを主要な特徴とする。

また、上記した動作評価装置において、更に、評価情報が付与された学習用データから多変量解析により前記時間重みおよび前記係数行列を求める学習手段を備えている点にも特徴がある。

また、上記した動作評価装置において、前記時間重みは、時系列のフレームに対する重みに帰着し、または時間重みをフーリエ級数展開しフーリエ周波数基底関数の重みに帰着し、学習的に求められる点にも特徴がある。

また、上記した動作評価装置において、前記学習手段は、前記時系列の立体高次局所自己相関特徴データをフーリエ基底関数へ射影して周波数重み表現へと変換することにより、時間重みの連続関数をフーリエ級数で近似構成する点にも特徴がある。

また、上記した動作評価装置において、前記学習手段は、質的評価情報に基づきフィッシャー判別基準を用いた線形判別分析により前記周波数重みを最適化する周波数重み生成手段と、前記周波数重み生成手段により生成された周波数重みを用いて前記時系列立体高次局所自己相関特徴データから映像特徴データを求める映像特徴生成手段と、前記映像特徴および前記評価情報から多変量解析により前記係数行列を生成する係数行列生成手段とを備えている点にも特徴がある。

また、上記した動作評価装置において、前記周波数重み生成手段は、主成分分析により前記周波数重み付き立体高次局所自己相関特徴データの次元数を削減する次元数削減手段を備えている点にも特徴がある。

また、上記した動作評価装置において、前記学習手段は、量的評価情報に基づき最小二乗基準によりフーリエ基底関数の重みを最適化する周波数重み生成手段と、前記周波数重み生成手段により生成された周波数重みを用いて前記時系列立体高次局所自己相関特徴データから映像特徴データを求める映像特徴生成手段と、前記映像特徴および前記評価情報から多変量解析により前記係数行列を生成する係数行列生成手段とを備えている点にも特徴がある。

本発明の動作評価方法は、評価対象を撮影した動画像データからフレーム毎に差分・２値化データを生成するステップ、複数の前記差分・２値化データからフレーム毎に立体高次局所自己相関特徴を抽出し、時系列の立体高次局所自己相関特徴データを生成するステップ、前記時系列立体高次局所自己相関特徴データから多変量解析により予め求められた時間重みを用いて時間重み付き映像特徴データを生成するステップ、前記映像特徴データの多変量解析により予め求められた係数行列を用いて対象動作を評価するステップを含むことを主要な特徴とする。

本発明によれば、以下のような効果がある。
（１）従来自動化が困難であった動作の評価を自動的に行うことができる。
（２）動作の時間や位置の差に依存せず、正確な評価が可能である。
（３）同じ学習結果を使用することにより同じ基準で評価できる。
（４）装置構成が簡単であり、安価に構成可能である。
（５）画像上での対象物の切り出しやマッチング処理を行わずに処理でき、特徴抽出や評価のための計算量が少なく、実時間処理が可能である。

まず、本発明の原理について説明する。映像から抽出されるCHLACは、時系列データであり、動作に関する豊富な情報を含んでいる。しかし、このデータを評価するにはフレーム数も多く、評価に無関係な動作なども含まれており、単純にこの時系列データの和をとるなどすると動作評価の性能が低下することもある。

そこで本発明においては、時系列のCHLACから動作評価に有効な情報を抽出するため、同様な動作の各映像で共通の時間（フレーム）重みを導入し、CHLACの重み付き時間積分によりコンパクトな映像特徴を抽出する手法を採用する。基本的には、τフレームの映像から抽出される時系列のCHLACをｘ_t、時間重みをω_tとしたとき、下記の式１により映像特徴x~を抽出する。

この際、如何にして時間重みω_tの値を決定するかが課題となる。しかし、映像の時間（フレーム）長τがサンプルによって異なる場合、時系列CHLACのデータ数や時間重みの次元がサンプルによって異なることになり、時間重みω_tの最適化が困難となる。そのため、時間重みを連続関数φ(t)として表現し、映像の時間的な伸縮を吸収できるように数式１を拡張する。

まず、時間重み関数のフーリエ級数展開を考える。一般的に、周期２πの周期関数ｆ(t)のフーリエ級数展開φ(t)は下記の式２で定義される。

ただし、ａ_k、ｂ_kは下記の式３で表される。

一方、時間重みω_tは離散的でかつ有限区間（周期）[0,τ-1]で定義されるため、そのフーリエ級数展開ω~_tを、式２、３を変形し、下記の式４として定義する。

ここで、フーリエ級数の基底関数ｆ_t ⁽ⁿ⁾を式５に示すように表し、更に式４のフーリエ係数ａ_kおよびｂ_kを式６に示すように表すと、式４の時間重みのフーリエ級数展開ω~_t は、これらの積によって、式７に示すように簡潔に表現できる。

よって、時間重み関数ω~_tをフーリエ級数展開として表現した場合に、時系列のCHLAC（ｘ₀，・・・，ｘ_τ-1）から映像特徴x~を抽出する問題（式１）は、以下の数式８で表現できる。

次に時間重みの最適化について説明する。時間重みのフーリエ級数展開ω~_t に対して最適化を行う場合、フーリエ級数の基底関数ｆ_t ⁽ⁿ⁾は最適化の影響を受けない。つまり、最適化するパラメータはフーリエ係数のξ⁽ⁿ⁾のみである。そこで、フーリエ級数の基底関数ｆ_t ⁽ⁿ⁾と時系列のCHLAC（ｘ₀，・・・，ｘ_τ-1）の積を式９に示すように定義する。

ｈ⁽ⁿ⁾∈R^dを用いて式８を書き直すと、下記の式１０となる。

更に、最適化するフーリエ係数ξ⁽ⁿ⁾の個数を映像間で統一するために、式１０の基底関数の数を上位ｍ個に限定する。つまり、式１１とする。

基底関数を低周波に限定することで、時間重み関数の形に自然と滑らかさの制約が導入され、重み関数のオーバーフィッティング（overfitting）を避けることができる。これは一般にノイズが高周波成分であることからも合理的であることが分かる。

ここで、上位ｍ個の基底関数により計算されるｍ個のh⁽ⁿ⁾を各列に持つ行列Ｈ∈R^d×mを式１２により定義する。

この行列Ｈはフーリエ級数の各周波数成分へのCHLACの射影であり、フーリエ周波数成分CHLACと呼ぶことにする。また、このフーリエ周波数成分CHLACに対応する上位ｍ個のフーリエ係数ξ⁽ⁿ⁾を並べたベクトルである「周波数重み」ξ∈R^mを式１３により定義する。

式１２、１３より、フーリエ級数展開による連続関数としての時間重みを用いて時系列CHLACから映像特徴ｘ~を抽出する過程は、最終的に下記の式１４で表現される。映像特徴ｘ~はフーリエ重み付きCHLAC（FW-CHLAC）である。式１４は映像の時間的な伸縮を吸収した映像特徴の抽出手法となる。よって、式１の時間重みを求める（最適化する）問題は、式１４の周波数重みξを求める（最適化する）問題へと帰着される。

次に、導入した周波数重みξの最適化方法について説明する。最適化方法は外的評価が例えば「合格」、「不合格」というような質的データで与えられる場合と、例えば５段階評価などの量的データで与えられる場合で処理が異なるので、以下それぞれについて説明する。

＜＜外的評価が質的データで与えられる場合＞＞
外的評価が質的データで与えられる場合の重みの最適化方法として公知のフィッシャー判別規準を利用して最適化を行う。今、外的評価として質的データ（合格、不合格のクラスラベルなど）が付いたＮ個の学習用映像が与えられているものとし、それぞれの映像から計算されるフーリエ周波数成分CHLACをＨ_i、映像特徴をｘ~_iと表す。このとき、映像特徴のクラス内共分散行列Σ_Wとクラス間共分散行列Σ_Bは、それぞれ式１５により定義される。

ただし、ｃはクラス数、Ｃ_jはｊ番目のクラス、Ｎ_jはＣ_jに属するサンプル数、μ_jはＣ_jに属するx~_(i)の平均、μは全平均である。このとき、映像特徴ｘ~のフィッシャー判別規準は、クラス間分散とクラス内分散の比である式１６で定義される。

ここで、式１６の分母と分子はそれぞれ、式１７のように変形することができる。

ただし、Ｍ_jはＣ_jに属するＨ_iの平均、ＭはＨ_iの全平均である。また、Σ_WはＨ_iのクラス内共分散行列、Σ_BはＨ_iのクラス間共分散行列である。式１７を用いて式１６のフィッシャー判別規準を書き直すと、式１８を得る。

このフィッシャー判別規準を最大化する周波数重みξは、下記の式１９に示す一般化固有値問題の固有ベクトルとして得られる。

しかし、パターン認識においては周波数重みξの次元に対して学習サンプル数Ｎが不足し、式１９のΣ_Wが非正則となることも想定される。そして、非正則の場合には式１９の一般化固有値問題を解くことができない。この問題を回避するため、必要に応じて一般化固有値問題を解く前に主成分分析によりフーリエ周波数成分CHLACのデータ次元を削減する（正則化）。

以下に主成分分析に基づくデータ次元の削減方法について説明する。今、Ｎ個の学習用映像が与えられているものとし、それぞれの映像から計算されるフーリエ周波数成分CHLACをＨ_i、映像特徴をｘ~_(i)と表すことにする。このとき、前記ξをｕと置き換えて、映像特徴ｘ~_(i)の全分散は式２０で定義される。

ただし、μ∈R^dはx~_(i)の平均、Ｍ∈R^d×mはＨ_iの平均、Σ_HはＨ_iの全共分散行列である。このとき、制約条件ｕ^Tｕ=1（Tは転置行列）の下で分散σ² _T(ｕ)を最大化する周波数重みｕは、固有値問題である式２１の固有ベクトルとして求められる。

固有値問題の固有ベクトルのうち、上位ｐ（＜ｍ）個の固有値に対応するものを{u₁，・・・，u_p}とおき、これらp個の固有ベクトルを用いて式２２により、Ｈ_i∈R^d×mからＨ~_i∈R^d×pへと次元を削減する。

このＨ~_iに対する時間重みｖ∈R^pは、フィッシャー判別規準である式２３の最大化問題を解くことで得られる。

ここで、式２３の最大化問題の解のうち、上位(c-1)の固有値に対応するものを{v₁,・・・ ,v_c-1}とおくと、求めるべき周波数重み{ξ₁,・・・ ,ξ_c-1}は、式２４により得られる。

なお、クラス数ｃが３以上の場合は時間重みξが複数得られるが、(c-1)本のξにより生成される(c-1)本の映像特徴{x~₁, ・・・ ,x~_c-1}を、式２５のように並べ、ベクトルx~∈R^d(c-1)を新たな映像特徴とし、x~に対して線形判別分析により学習を行う。

＜＜外的評価が量的データで与えられる場合＞＞
外的評価が量的データで与えられる場合、周波数重みの最適化方法には判別規準ではなく最小二乗規準を用いるのが望ましい。そこで、以下に最小二乗規準による時間重みの最適化手法について説明する。

今、外的評価として量的データ（総合評価値など）が付与されているＮ個の学習用映像が与えられているものとし、それぞれの映像から計算されるフーリエ周波数成分CHLACをＨ_i、映像特徴徴ｘ~_(i)と表す。このとき、映像特徴ｘ~_(i)の最小二乗規準Ｊ(ξ)は式２６で定義される。

ただし、βは偏回帰係数（特徴ベクトルの各要素への重み）、y_(i)はｘ~_(i)の外的評価である。ここで偏回帰係数β、周波数重み係数ξが最適化する変数となっている。まずξを最適化するが、ここでは、β =(1,・・・ ,1)^Tとする。ここで、z_i=(β^TH_i)^T=H_i ^Tβと定義すると、式２６は式２７と書き換えることができ、公知の重回帰分析と同様の式が得られる。

重回帰分析においては、ベクトルzの次元が大きい場合、もしくはサンプルＮが小さい場合には、非正則なり解くことが困難になり、また過学習も起こりやすい。そこで、式２７にξ~に関する正則化項を加えた公知のリッジ回帰を行う。リッジ回帰は数式２８のようになる。

式２８をξで偏微分し、０とおくことで，最適なξ~は数式２９として求められる。

よって、最適な時間重みξは、y =(y₍₁₎,・・・ ,y_(N))^T、Z=z₁,・・・ ,z_Nとおくと、式３０により求めることができる。

次に、周波数重みにより抽出した映像特徴から、動作の識別や評価の予測を行う処理について説明する。予測処理もは外的評価が質的データで与えられる場合と量的データで与えられる場合で処理が異なるので、以下それぞれについて説明する。

＜＜外的評価が質的データの場合＞＞
外的評価が質的データの場合、フィッシャー判別規準により最適化された時間重みを用いて抽出した映像特徴は、線形判別分析とｋ近傍法（k-NN:k-Nearest Neighbour法）により、動作の識別を行う。

今、時間重みを用いて抽出したＮ個の映像特徴をx~_iとする。映像特徴x~_iのクラス内共分散行列Σ_Wとクラス間共分散行列Σ_Bは式１５により表される。このとき線形判別分析は、以下の判別規準J(a)を最大化するａを求める問題となる。このとき、Σ_Wが非正則でない場合は、前記と同様に主成分分析を行い正則化する。

式３１を最大化するａは、フィッシャー判別規準による周波数重みの最適化の場合と同様に、一般化固有値問題である式３２の固有ベクトルとして得られる。

一方、新たに入力された映像に対する動作の識別は、固有値問題により求められる固有ベクトルのうち、上位(c-1)の固有値に対応する{a₁,・・・,a_c-1}によって張られる判別特徴空間における距離に基づいて行う。

ここで、A =[a₁・・・a_c-1]と定義し、Ｎ個の学習用映像の映像特徴をx~_i、判別特徴ベクトルをｃ_(i)=A^Tx~_(i)とおく。さらに、入力された映像の映像特徴をx~、それに対応する判別特徴ベクトルをｃ=A^Tx~とおく。このときｋ-NN法による動作の識別は、以下のようにして行われる。

まず、識別対象の判別特徴ベクトルｃと全学習サンプルの判別特徴ベクトルｃ_(i)との距離を求め、学習サンプルの中からｃに最も近いｋ個のサンプルを選ぶ。次に、選んだｋ個のサンプルが属するクラスのうち最も多いクラスを識別対象ｃのクラスとする。なお、ｋは例えば３であってもよい。

＜＜外的評価が量的データの場合＞＞
外的評価が量的データの場合、最小二乗規準により最適化された時間重み（周波数重み）を用いて抽出した映像特徴に対して、重回帰分析により評価の予測を行う。今、時間重みを用いて抽出したＮ個の映像特徴をx~_(i)、映像特徴x~_(i)の外的評価をy_(i)とすると、重回帰分析は最小二乗規準である式３３を最小化するβ∈R^dを求める問題となる。

最適なβは、前述した重回帰分析、最小二乗規準重みの最適化と同様に、y=(y₍₁₎,・・・,y_(N))^T、X=x~₍₁₎,・・・,x~_(N)を用いて、式３４により求めることができる。なお、ここでは公知のステップワイズ法を用いて、評価に採用する映像特徴の成分を選択しながら、重回帰分析を行う。

一方、新たに入力された映像に対する評価値の予測は、映像特徴と式３４により求めたβとの内積を計算することにより行う。すなわち、入力された映像の外的評価の予測値y~は、その映像特徴ｘ~とβとの内積により、以下の式３５のように求められる。

以下、例えば被評価者が行う側転動作について合格／不合格という質的評価あるいは５段階評価等の量的評価を行う実施例について説明する。

図１は、本発明の動作評価装置のハードウェア構成の一例を示すブロック図である。図１（ａ）は学習時におけるハードウェア構成の一例を示している。ビデオカメラ１０は被評価者１６の行う動作を撮影してデジタル動画データを出力する周知の動画像撮影装置である。画像はカラーであってもよいし、モノクロであってもよい。

コンピュータ（ＰＣ）１１は例えば周知の汎用デジタルインターフェイス回路を備えた周知のパソコン（ＰＣ）である。コンピュータ１１はビデオカメラ１０からのデジタル動画データをリアルタイムで読み込み、保存する。なお、動作のスタート／ストップの情報と同期してその間の動画像のみを記録してもよいし、動画像を連続して記録しておき、必要な部分のみを後から切り出してもよい。

本発明は、後述する処理を実行するプログラムを作成し、パソコンなどの周知のコンピュータ１１にインストールして起動することにより実現される。モニタ装置１２はコンピュータ１１の周知の出力装置である。キーボード１３およびマウス１４は、オペレータが評価情報や動作のスタート／ストップ情報の入力に使用する周知の入力装置である。図１（ｂ）は評価時におけるハードウェア構成の一例を示している。評価時にはモニタ装置１２を使用して例えば対象の評価結果をオペレータに表示する。

図２は、本発明における質的評価を行う動作評価処理の学習時の処理の概要を示す説明図である。まず、ビデオカメラ１０によって例えば３６０画素×２４０画素のグレースケール（モノクロ多値）動画像が撮影され、コンピュータ１１に取り込まれる。取り込まれた動画像の各フレームデータ（ａ）から直前のフレームの同じ画素の輝度値との差分の絶対値を求め、この値が例えば所定の閾値以上である場合に１、そうでない場合に０とする差分２値化フレームデータ（ｃ）を得る。

次に、隣接する３枚の差分２値化フレームデータ（ｄ）から後述する方法で画素毎にCHLACデータを計算し、この画素対応CHLACデータを１フレーム分積算して２５１次元のフレーム対応CHLACデータを得る。このフレーム対応CHLACデータτ個を時系列に並べたものが時系列CHLACデータ（ｆ）である。τはフレーム数と対応しており、動作開始から終了までの時間は人によって異なるので、τも動画像毎に異なっている。

次に、処理（ｇ）において前述した方法で時系列CHLACデータ（ｆ）からフーリエ周波数成分CHLACデータＨを生成する。このデータは前述したように、τを基本周期とするフーリエ級数展開によって時間重み関数を近似した結果である。なお、ｍは予め定められた基底関数の数である。この処理により特徴データの時間差が吸収される。以上の処理は学習モードと認識モード共通の処理である。

学習モードにおいては、学習用の複数のフーリエ周波数成分CHLACデータが生成され、必要な場合にはこれらのデータに基づいて処理（ｈ）において主成分分析によって次元数が削減される。処理（ｉ）においては評価上重要な部分がより強調されるように周波数重みξを最適化する。

処理（ｊ）においてはフーリエ周波数成分CHLACデータおよび最適化された周波数重みを用いて各学習データについて映像特徴ｘ~を求める。最後に、この映像特徴ｘ~から線形判別分析により係数行列Ａを求め、更に、この係数行列Ａを使用して各学習データの判別特徴ベクトルｙを求める。

図３は、本発明における量的評価を行う動作評価処理の学習時の処理の概要を示す説明図である。処理（ｇ）までは前述した質的評価を行う図２の処理と同一である。量的評価を行う場合、学習モードにおいては、学習用の複数のフーリエ周波数成分CHLACデータが生成され、処理（ｌ）において評価上重要な部分がより強調されるように周波数重みξを最適化する。処理（ｍ）においては、フーリエ周波数成分CHLACデータおよび最適化された周波数重みを用いて各学習データについて映像特徴ｘ~を求める。最後に、処理（ｎ）においてはこの映像特徴ｘ~から重回帰分析により係数行列ａを求める。

図４は、本発明における質的評価を行う動作評価処理の評価時の処理内容を示す説明図である。評価時の処理も処理（ｇ）のフーリエ周波数成分CHLACデータＨの生成までは図２の学習時の処理と同一である。評価時においては、生成されたフーリエ周波数成分CHLACデータおよび学習モードの処理において最適化された周波数重みξから映像特徴ｘ~を生成する。

質的評価の場合には、処理（ｏ）において生成した映像特徴ｘ~から、処理（ｐ）において学習処理で求めた係数行列Ａを用いて判別特徴ベクトルｙを求める。そして、処理（ｑ）において、ｋ−NN法を使用して、求めた判別特徴ベクトルの最近傍の所定個数の判別特徴ベクトルの判定値から多数決で判定予測値を求める。

図５は、本発明における量的評価を行う動作評価処理の評価時の処理内容を示す説明図である。量的評価の場合も処理（ｇ）のフーリエ周波数成分CHLACデータＨの生成までは図２の学習時の処理と同一である。量的評価の場合には、処理（ｒ）において生成した映像特徴ｘ~から、処理（ｓ）において学習処理で求めた係数行列ａを用いて評価予測値を求める。

図８は、本発明におけるFW-CHLAC生成処理の内容を示すフローチャートである。なお、この処理においては、予め動画像データがコンピュータ内に取り込まれているものとする。Ｓ１０においては、未処理の動画データを選択する。Ｓ１１においては、動画フレームデータを入力する。

Ｓ１２においては、フレーム間差分データを生成し、２値化する。まず、動画像データに対して「動き」の情報を検出し、背景など静止しているものを除去する目的で差分データを生成する。差分の取り方としては、隣接するフレーム間の同じ位置の画素の輝度の変化の絶対値を抽出するフレーム間差分方式を採用するが、フレーム内における輝度の変化部分を抽出するエッジ差分、あるいは両方を採用してもよい。なお、画素毎にＲＧＢのカラーデータを持っている場合には、２つの画素の差分データとして、２つのＲＧＢカラーベクトル間の距離を算出してもよい。

更に、「動き」に無関係な色情報やノイズを除去するために自動閾値選定による２値化を行う。２値化の方法としては、例えば一定閾値、下記非特許文献１に開示されている判別最小二乗自動閾値法、閾値０及びノイズ処理方式（濃淡画像において差が０以外を全て動き有り＝１とし、公知のノイズ除去法によってノイズを除去する方法）を採用可能である。以上の前処理により、入力動画データは画素値に「動いた（１）」「動かない（０）」の論理値をもつフレームデータ（２値画像）の列となる。
大津展之、"判別および最小２乗規準に基づく自動しきい値選定法"電子通信学会論文誌Ｄ、J63-D-4、P349-356、1980年。

Ｓ１３においては、１フレームの画素それぞれについて画素CHLACデータを抽出し、積算して２５１次元のフレーム対応CHLACデータを得る。ここで、立体高次局所自己相関(CHLAC) 特徴について説明する。Ｎ次の立体高次局所自己相関特徴(CHLAC) は次の数式３６のようになる。

ここでｆ(r) は差分２値化画像の画素値、ｒは位置ベクトル、ａ₁、ａ₂、…ａ_Nは変位ベクトルを表す。参照点（注目画素位置）ｒおよび参照点からみたＮ個の変位ａ_i（ｉ＝１，…，Ｎ）は三次元のベクトルである。

高次自己相関関数は変位方向、次数のとり方により無数に考えられるが、これを局所領域に限定したものが高次局所自己相関関数である。CHLAC（立体高次局所自己相関特徴）では変位方向を参照点ｒを中心とする３×３×３画素の局所領域内、即ち参照点ｒの２６近傍に限定している。１組の変位方向に対応する数式３６の積分値が特徴量の１つの要素になる。従って変位方向の組み合わせ（＝マスクパターン）の数だけ特徴量の要素が生成される。

図６は、３次元空間における自己相関処理座標を示す説明図である。図６においては、ｚ−１層、ｚ層、ｚ＋１層の３つの層のｘｙ平面を並べて図示してある。本発明においては、注目する参照画素を中心とする３×３×３（＝２７）画素の立方体の内部の画素について相関を取る。

特徴量の要素数、つまり特徴ベクトルの次元はマスクパターンの種類に相当する。マスクパターンは、相関を取る画素の組合せを示す情報であり、マスクパターンによって選択された画素のデータは相関値の計算に使用されるが、マスクパターンによって選択されなかった画素は無視される。マスクパターンでは注目画素（中心の画素：参照点）は必ず選択される。

差分２値化画像の値の場合、画素値１を何回乗算しても１であるので、二乗以上の項は乗数のみが異なる１乗の項と重複するものとして削除する。また数式３６の積分操作（平行移動：スキャン）で重複するパターンは１つの代表パターンを残して他を削除する。数式３６右辺の式は参照点（ｇ(r)：局所領域の中心）を必ず含むので、代表パターンとしては中心点を含み、パターン全体が３×３×３画素の局所領域内に収まるものを選択する。

この結果、中心点を含むマスクパターンの種類は、選択画素数が１個のもの（０次）：１個、２個のもの（１次）：２６個、３個のもの（２次）：２６×２５／２＝３２５個の計３５２個あるが、数式３６の積分操作（平行移動：スキャン）で重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、１つの３次元データに対するCHLACベクトルは２５１次元となる。

図７は、自己相関マスクパターンの例を示す説明図である。図７（１）は注目画素のみの最も簡単な０次のマスクパターンである。（２）はハッチングを施した２つの画素が選択されている１次マスクパターン例、（３）、（４）はハッチングを施した３つの画素が選択されている３次マスクパターン例であり、この他に多数のパターンがある。そして、前記したように、重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、３×３×３画素の３次元データに対するCHLACベクトルは２５１次元となり、要素の値は０か１である。

CHLACには、対象の切り出しを必要とせず、画像内における対象の位置によらず同一の対象から同一の特徴量が得られるという位置不変性、および画像内に複数の対象がある場合、この画像全体から得られる特徴量がそれぞれの対象から得られる特徴量の和となる加法性がある。

図９は、Ｓ１３のフレーム対応CHLACデータ抽出処理の詳細を示すフローチャートである。Ｓ２０においては、２５１個の相関パターン対応の相関値群データをクリアする。Ｓ２１においては、未処理の画素（参照点）を１つ選択する（対象空間内において参照点である立方体を順にスキャンする）。Ｓ２２においては、未処理の相関マスクパターンを１つ選択する。

Ｓ２３においては、前記した数式３６を用いてパターンと対応する位置の画素値（０または１）を乗算して相関値を計算する。なお、この処理は前記した数式３６におけるｆ(r)ｆ(r+a₁)…ｆ(r+a_N)の演算に相当する。Ｓ２４においては、相関値は１か否かが判定され、判定結果が肯定の場合にはＳ２５に移行するが、否定の場合にはＳ２６に移行する。Ｓ２５においては、マスクパターンと対応する相関値データに１を加算する。

Ｓ２６においては、全てのマスクパターンについて処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ２７に移行するが、否定の場合にはＳ２２に移行する。Ｓ２７においては、全ての画素について処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ２８に移行するが、否定の場合にはＳ２１に移行する。Ｓ２８においては、相関値群データをフレーム対応CHLACデータとして出力する。

図８に戻って、Ｓ１４においてはフレーム対応CHLACデータを保存する。Ｓ１５においては、全フレームについて処理が完了したか否かが判定され、判定結果が否定の場合にはＳ１３に移行するが、肯定の場合にはＳ１６に移行する。Ｓ１６においては、学習データ対応時系列CHLACデータを保存する。

Ｓ１７においては、時系列CHLACデータから前述したフーリエ周波数成分CHLACＨを求める。具体的には時系列CHLACデータをフレーム数τから前述した数式５で定義したフーリエ級数の基底関数に射影し、前述した数式９、数式１２によってフーリエ周波数成分CHLACを集めた行列Ｈを求める。Ｓ１８においては、処理すべき動画データ全てについて処理が完了したか否かが判定され、判定結果が否定の場合にはＳ１０に移行するが、肯定の場合には処理を終了する。

図１０は、図２の処理（ｈ）〜（ｋ）の学習処理（質的評価）の内容を示すフローチャートである。Ｓ３０においては、前述したように、主成分分析によって学習用のフーリエ周波数成分CHLACデータの次元数を削減する。具体的には前述した数式２１の固有値問題を解くことによって、固有ベクトルが得られ、固有ベクトルのうち、上位ｐ（＜ｍ）個の固有値に対応するものを{u₁,・・・ ,u_p}とおき、これらp個の固有ベクトルを用いて式２２により、H_i∈R^d×mからH~_i ∈R^d×pへと次元を削減する。

Ｓ３１においては、評価値に基づき、フィッシャー判別基準を用いた線形判別分析により周波数重みξを最適化する。具体的にはクラス内共分散行列Σ_Wとクラス間共分散行列Σ_Bを前述した数式１７によって求め、前述した数式１９の固有値問題を解くことによって、固有ベクトルとして最適化された周波数重みξが得られる。Ｓ３２においては、フーリエ周波数成分CHLACおよび周波数重みξから前述した数式１４により映像特徴ｘ~を求める。

Ｓ３３においては、特徴ｘ~および評価値から前述した線形判別分析によって係数行列Ａおよび判別特徴ベクトルｙを求める。具体的には、前述した数式１５によってクラス内共分散行列Σ_Wとクラス間共分散行列Σ_Bを求め、数式３２の固有値問題を解くことによって得られる。

図１１は、図３の処理（ｌ）〜（ｎ）の学習処理（量的評価）の内容を示すフローチャートである。Ｓ４０においては、評価値に基づき、最小二乗基準により周波数重みξを最適化する。具体的には、数式３０によって周波数重みξが得られる。

Ｓ４１においては、数式１４により映像特徴ｘ~を求める。Ｓ４２においては、映像特徴ｘ~および評価値から前述した重回帰分析によって係数行列ａを求める。具体的には、映像特徴ｘ~のコンポーネントの最後に１を追加し、ステップワイズ法によって映像特徴ｘ~の変数選択を行いつつ、切片付きの重回帰分析を行って、係数行列ａを求める。

図１２は、図４の処理（ｏ）〜（ｑ）の評価処理（質的評価）の内容を示すフローチャートである。Ｓ５０においては、最適化されたξを用いて映像特徴ｘ~＝Ｈξを求める。Ｓ５１においては、学習処理において求めた係数行列Ａを用いて映像特徴ｘ~から判別特徴ベクトルｙを求める。Ｓ５２においては、判別特徴ベクトルからｋ−ＮＮ法によって判定予測値を求める。

公知の最近傍（ＮＮ、Nearest Neighbor）法とは、入力特徴点に最も近い学習サンプル点を求め、そのクラスに識別する手法であり、より一般的な方法としてｋ−最近傍（ｋ−ＮＮ、k-Nearest Neighbor）法がある。ｋ−ＮＮ法では入力特徴点に最も近いｋ個の学習サンプル点を求め、その中で最も多数を占めたクラスに識別する手法である。

図１３は、図５の処理（ｒ）、（ｓ）の評価処理（量的評価）の内容を示すフローチャートである。Ｓ６０においては、最適化されたξを用いて映像特徴ｘ~＝Ｈξを求める。Ｓ６１においては、映像特徴ｘ~から学習処理において求めた係数行列ａにより評価予測値を求める。

以上、実施例を開示したが、本発明には以下のような変形例も考えられる。実施例においては、評価値を自動的に求める例を開示したが、元の動画データにおいて、評価に大きな影響を与える、注目すべき時間位置を求め、表示することも可能である。この場合には、求めた周波数重みξを時間重みに変換して表示することによって注目時間位置を表示することができる。これにより選手の運動技能向上へのアドバイスなどを行うことが容易となる。

また、フィッシャー判別規準および最小二乗規準による時間重みの最適化を、そのフーリエ係数だけではなく、基底関数に位相を加えることで時間重みの位相も同時に行う手法への応用が考えられる。実施例では予め対象となる動作の動画を時間的に切り出して使用する例を開示したが、位相を含めた最適化により、映像の時間的な切り出しが不要となり、より実用的かつ汎用的な手法になると考えられる。更に、時間重み関数の構成法として、実施例において開示したフーリエ級数展開以外にも、ハールやアダマールなどの他の級数展開を用いても良い。

本発明は体操競技等の競技会における得点の付与、各種スポーツにおけるフォームの評価、リハビリにおける運動姿勢の評価、工場等における作業動作、伝統工芸品の製作動作、ゲームにおけるアクションの評価などの人の動作の評価の他、動物やロボットなど任意の対象物の動作の評価に適用可能である。

本発明の動作評価装置のハードウェア構成の一例を示すブロック図である。 本発明における質的評価を行う動作評価処理の学習時の処理の概要を示す説明図である。 本発明における量的評価を行う動作評価処理の学習時の処理の概要を示す説明図である。 本発明における質的評価を行う動作評価処理の評価時の処理内容を示す説明図である。 本発明における量的評価を行う動作評価処理の評価時の処理内容を示す説明図である。 ３次元空間における自己相関処理座標を示す説明図である。 自己相関マスクパターンの例を示す説明図である。 本発明におけるFW-CHLAC生成処理の内容を示すフローチャートである。 Ｓ１３のフレーム対応CHLACデータ抽出処理の詳細を示すフローチャートである。 図２の処理（ｈ）〜（ｋ）の学習処理（質的評価）の内容を示すフローチャートである。 図３の処理（ｌ）〜（ｎ）の学習処理（量的評価）の内容を示すフローチャートである。 図４の処理（ｏ）〜（ｑ）の評価処理（質的評価）の内容を示すフローチャートである。 図５の処理（ｒ）、（ｓ）の評価処理（量的評価）の内容を示すフローチャートである。

符号の説明

１０…ビデオカメラ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス

Claims (8)

1. 評価対象を撮影した動画像データからフレーム毎に差分・２値化データを生成する差分・２値化手段と、
   複数の前記差分・２値化データからフレーム毎に立体高次局所自己相関特徴を抽出し、時系列の立体高次局所自己相関特徴データを生成する特徴抽出手段と、
   前記時系列立体高次局所自己相関特徴データから多変量解析により予め求められた時間重みを用いて時間重み付き映像特徴データを生成する映像特徴生成手段と、
   前記映像特徴データの多変量解析により予め求められた係数行列を用いて対象動作を評価する評価手段と
   を備えたことを特徴とする動作評価装置。
2. 更に、評価情報が付与された学習用データから多変量解析により前記時間重みおよび前記係数行列を求める学習手段を備えていることを特徴とする請求項１に記載の動作評価装置。
3. 前記時間重みは、時系列のフレームに対する重みに帰着し、または時間重みをフーリエ級数展開しフーリエ周波数基底関数の重みに帰着し、学習的に求められることを特徴とする請求項２に記載の動作評価装置。
4. 前記学習手段は、前記時系列の立体高次局所自己相関特徴データをフーリエ基底関数へ射影して周波数重み表現へと変換することにより、時間重みの連続関数をフーリエ級数で近似構成することを特徴とする請求項３に記載の動作評価装置。
5. 前記学習手段は、
   質的評価情報に基づきフィッシャー判別基準を用いた線形判別分析により前記周波数重みを最適化する周波数重み生成手段と、
   前記周波数重み生成手段により生成された周波数重みを用いて前記時系列立体高次局所自己相関特徴データから映像特徴データを求める映像特徴生成手段と、
   前記映像特徴および前記評価情報から多変量解析により前記係数行列を生成する係数行列生成手段と
   を備えていることを特徴とする請求項４に記載の動作評価装置。
6. 前記周波数重み生成手段は、主成分分析により前記周波数重み付き立体高次局所自己相関特徴データの次元数を削減する次元数削減手段を備えていることを特徴とする請求項５に記載の動作評価装置。
7. 前記学習手段は、
   量的評価情報に基づき最小二乗基準により前記フーリエ基底関数の重みを最適化する周波数重み生成手段と、
   前記周波数重み生成手段により生成された周波数重みを用いて前記時系列立体高次局所自己相関特徴データから映像特徴データを求める映像特徴生成手段と、
   前記映像特徴および前記評価情報から多変量解析により前記係数行列を生成する係数行列生成手段と
   を備えていることを特徴とする請求項４に記載の動作評価装置。
8. 評価対象を撮影した動画像データからフレーム毎に差分・２値化データを生成するステップ、
   複数の前記差分・２値化データからフレーム毎に立体高次局所自己相関特徴を抽出し、時系列の立体高次局所自己相関特徴データを生成するステップ、
   前記時系列立体高次局所自己相関特徴データから多変量解析により予め求められた時間重みを用いて時間重み付き映像特徴データを生成するステップ、
   前記映像特徴データの多変量解析により予め求められた係数行列を用いて対象動作を評価するステップ
   を含むことを特徴とする動作評価方法。

Images