JP5881136B2 - 情報処理装置及び方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、正しい動作や姿勢の支援を行うことができるようにした情報処理装置及び方法、並びにプログラムに関する。

従来より、人の動作や姿勢を評価する技術が、各種提案されている。

例えば、評価者からの評価（外的基準）に基づいて、撮影された動画像から人の動作の評価を行う動作評価装置が開示されている（例えば、特許文献１参照）。

また、ゴルフ場のグリーンのホールに立ったピンをカメラで撮影し、グリーンの傾斜方向と傾斜角度を測定する傾斜センサの検出結果と合わせて、パットの練習を支援する装置が開示されている（例えば、特許文献２参照）。この装置では、傾斜センサにより、傾斜方向と傾斜角度が求められるので、パッティング方向と、その強弱が指示される。

衣類に温度センサ等の多数の特殊なセンサを装着して人の姿勢を判定することで、遠隔地にいる医師がそれをモニタし、アドバイス等を行うことが可能な姿勢モニタシステムが開示されている（例えば、特許文献３参照）。

特開２０１０−６１３７６号公報 特開２０１０−８８５３１号公報 特開２００９−１８１５８号公報

しかしながら、従来の技術であると、単に撮影された動画像から人の動作や姿勢の評価を行うだけであるか、又は人の動作や姿勢の支援を行うものであっても、ユーザは十分な支援を受けられていないため、正しい動作や姿勢をとることができない場合がある。

本発明はこのような状況に鑑みてなされたものであり、正しい動作や姿勢の支援を行って、確実に正しい動作や姿勢をとらせることができるようにするものである。

本発明の一側面の情報処理装置は、人を含む入力画像から、その人の身体の所定の部位を時系列で認識する認識手段と、時系列で認識された入力部位の動作と、基準となる基準部位の動作との相違を、時系列で認識された前記入力部位に含まれる関節の角度を表す３次元の角度と、前記基準部位に含まれる関節の角度を表す３次元の角度との差分に関する時系列の差分情報を加算して求められた距離で評価する評価手段と、前記入力部位に含まれる関節に対して求められた距離が所定の閾値以上となる関節を含んでいる前記入力部位については、前記基準部位の動作に対する前記入力部位の動作の相違に関する情報を通知する通知手段とを備える。

前記通知手段は、前記基準部位に含まれる関節の角度に対する前記入力部位に含まれる関節の角度の相違に関する情報を表示する。

前記通知手段は、前記入力部位に対して、前記基準部位の関節群を結んだガイド線又は前記基準部位の関節群に対応する部位画像を重畳させて表示する。

前記通知手段は、前記基準部位に含まれる関節の角度に対する前記入力部位に含まれる関節の角度の相違に対応するメッセージを表示する。

前記入力画像は、動画像であり、前記評価手段は、時系列で得られる前記入力部位に含まれる関節の角度で特定される入力動作の時間長と、前記基準部位に含まれる関節の角度で特定される基準動作の時間長とを比較して、前記基準動作に対する前記入力動作の速度の相違を評価し、前記通知手段は、評価された前記速度の相違に関する情報を表示する。

本発明の一側面の情報処理方法は、情報処理装置が、人を含む入力画像から、その人の身体の所定の部位を時系列で認識し、時系列で認識された入力部位の動作と、基準となる基準部位の動作との相違を、時系列で認識された前記入力部位に含まれる関節の角度を表す３次元の角度と、前記基準部位に含まれる関節の角度を表す３次元の角度との差分に関する時系列の差分情報を加算して求められた距離で評価し、前記入力部位に含まれる関節に対して求められた距離が所定の閾値以上となる関節を含んでいる前記入力部位については、前記基準部位の動作に対する前記入力部位の動作の相違に関する情報を通知するステップを含む。

本発明の一側面のプログラムは、人を含む入力画像から、その人の身体の所定の部位を時系列で認識する認識手段と、時系列で認識された入力部位の動作と、基準となる基準部位の動作との相違を、時系列で認識された前記入力部位に含まれる関節の角度を表す３次元の角度と、前記基準部位に含まれる関節の角度を表す３次元の角度との差分に関する時系列の差分情報を加算して求められた距離で評価する評価手段と、前記入力部位に含まれる関節に対して求められた距離が所定の閾値以上となる関節を含んでいる前記入力部位については、前記基準部位の動作に対する前記入力部位の動作の相違に関する情報を通知する通知手段として、コンピュータを機能させる。

本発明の一側面の情報処理装置及び方法、並びにプログラムにおいては、人を含む入力画像から、その人の身体の所定の部位が時系列で認識され、時系列で認識された入力部位の動作と、基準となる基準部位の動作との相違が、時系列で認識された入力部位に含まれる関節の角度を表す３次元の角度と、基準部位に含まれる関節の角度を表す３次元の角度との差分に関する時系列の差分情報を加算して求められた距離で評価され、入力部位に含まれる関節に対して求められた距離が所定の閾値以上となる関節を含んでいる入力部位については、基準部位の動作に対する入力部位の動作の相違に関する情報が通知される。

本発明の一側面によれば、確実に正しい動作や姿勢をとらせることができる。

本発明を適用したテレビジョン受像機の一実施の形態の構成を示す図である。 基準動作姿勢データベースの構成の例を示す図である。 表示処理を説明するフローチャートである。 動作姿勢支援処理の詳細を説明するフローチャートである。 動作姿勢認識処理の詳細を説明するフローチャートである。 動作姿勢評価処理の詳細を説明するフローチャートである。 入力動作と基準動作との距離計算の例を示す図である。 評価結果表示処理の詳細を説明するフローチャートである。 動作姿勢支援画面の表示の例を示す図である。 動作姿勢支援画面の表示の例を示す図である。 学習装置の構成の例を示す図である。 学習処理を説明するフローチャートである。 動作姿勢支援システムの構成の例を示す図である。 コンピュータの構成の例を示す図である。

以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例

＜１．第１の実施の形態＞
［テレビジョン受像機の構成］
図１は、本発明を適用したテレビジョン受像機の一実施の形態の構成を示す図である。

テレビジョン受像機１は、テレビジョン放送の放送電波に対応する放送信号や、接続される再生装置（不図示）により再生された再生信号に対応するコンテンツを視聴するための機器である。

テレビジョン受像機１はまた、ユーザにより行われるジェスチャ（動作や姿勢）を検出して、そのジェスチャに対応する機能を実行する機能を有している。すなわち、テレビジョン受像機１においては、ユーザにより行われる所定のジェスチャが、所定の機能に対応付けられており、ユーザは、リモートコントローラを操作する代わりに、所定のジェスチャを入力して、所定の機能を実現させる。

テレビジョン受像機１は、アンテナ１１、チューナ１２、制御部１３、画像処理部１４、表示部１５、及び動作姿勢評価支援部１６から構成される。また、テレビジョン受像機１には、その前方（表示部１５側）に存在するユーザを撮影可能な位置に、カメラ２が取り付けられている。

アンテナ１１は、地上波や衛星放送からの電波等のテレビジョン放送の放送電波に対応する放送信号を受信し、チューナ１２に供給する。

チューナ１２には、制御部１３から、ユーザのジェスチャに応じた受信する放送局を指定するための指示信号が供給される。チューナ１２は、制御部１３からの指示信号に従って、アンテナ１１から供給された放送信号を復調し、復調して得られた画像信号を、画像処理部１４に供給する。

画像処理部１４は、チューナ１２から供給される画像信号を、表示部１５に表示させるための画像データに変換する。画像処理部１４は、制御部１３の制御に従って、変換した画像データに対応する画像（コンテンツ）を、表示部１５に表示させる。

カメラ２は、例えばテレビジョン受像機１の上部に取り付けられ、その前方に存在するユーザを撮影し、それにより得られる画像データを、動作姿勢評価支援部１６に供給する。

動作姿勢評価支援部１６は、カメラ２から供給される画像データに基づいて、ユーザの動作や姿勢を検出して評価し、ユーザの動作や姿勢が正しいものとなるように支援する処理を実行する。また、動作姿勢評価支援部１６は、その評価結果を制御部１３に供給する。

動作姿勢評価支援部１６は、画像取得部２１、動作姿勢認識部２２、動作姿勢評価部２３、基準動作姿勢データベース２４、及び支援画面生成部２５から構成される。

画像取得部２１は、カメラ２により撮影された画像データ（以下、入力画像ともいう）を取得し、動作姿勢認識部２２及び支援画面生成部２５に供給する。

動作姿勢認識部２２は、画像取得部２１から供給される画像データに基づいて、動作姿勢認識処理を実行し、その認識結果を動作姿勢評価部２３に供給する。

この動作姿勢認識処理においては、画像データから得られる人の身体の所定の部位（例えば、ユーザの手足や首などの部位）の関節角が各部位（パーツ）単位で認識されるが、その詳細については後述する。

動作姿勢評価部２３には、動作姿勢認識部２２から、各部位ごとの関節角が供給される。動作姿勢評価部２３は、動作姿勢認識部２２から供給される各部位ごとの関節角に対応する動作（以下、入力動作という）に応じて、基準動作姿勢データベース２４に格納された動作（以下、基準動作という）に対応する関節角を読み出す。

なお、以下の説明では、上述した関節角を区別するために、カメラ２により撮影された画像データから得られた関節角を、入力動作の関節角と称し、基準動作姿勢データベース２４に格納された基準動作に対応付けられた関節角を、基準動作の関節角と称して説明する。

ここで、図２を参照して、基準動作姿勢データベース２４の構成の詳細について説明する。

図２に示すように、基準動作姿勢データベース２４には、あらかじめ登録された基準動作として、基準動作１，２，・・・，ｎが格納されており、それらの基準動作には、時系列に並べられた右手首関節角や右ひじ関節角などの関節角群が対応付けられている。なお、図２においては、基準動作１，２が代表して図示されている。

例えば、基準動作姿勢データベース２４において、基準動作１の右手首関節角に注目すると、その関節角は、時間の経過とともに、（θ1，φ1，ψ1），（θ2，φ2，ψ2），（θ3，φ3，ψ3），・・・，（θt，φt，ψt）のように遷移する。また、基準動作１の右ひじ関節角は、（α1，β1，γ1），（α2，β2，γ2），（α3，β3，γ3），・・・，（αt，βt，γt）のように遷移し、他の関節角についても同様に、時間の経過とともにその角度が遷移することになる。

すなわち、関節角は、一般的に、３次元の関節角としての３つの回転角度（θ，φ，ψ）や（α，β，γ）により表され、これにより動作や姿勢は一意に決定される。そして、それらの回転角度を、一連の動作として各関節角ごとに時系列に登録しておくことで、それらの各関節角の遷移によって、基準動作１が特定されることになる。

基準動作２乃至ｎについても、上述した基準動作１と同様に、各関節角ごとに時系列に並べられた３次元の関節角の遷移によって、各基準動作が特定される。

なお、基準動作ｎ（n=1,2,3,・・・,n）と、それらの基準動作に対応する関節角は、複数のサンプル画像を用いた学習によりあらかじめ求められ、登録されるが、その詳細について後述する。

図１に戻り、動作姿勢評価部２３は、動作姿勢認識部２２からの入力動作の関節角、及び基準動作姿勢データベース２４からの基準動作の関節角に基づいて、動作姿勢評価処理を実行し、その評価結果を制御部１３及び支援画面生成部２５に供給する。

この動作姿勢評価処理においては、入力動作の関節角と基準動作の関節角との相違、すなわち、入力部位と基準部位との相違が評価されるが、その詳細については後述する。

制御部１３は、動作姿勢評価部２３から供給される評価結果に基づいて、テレビジョン受像機１の各部の動作を制御し、ユーザにより行われる所定のジェスチャにより認識される入力動作に対応する所定の機能を実行する。

支援画面生成部２５には、画像取得部２１からの画像データと、動作姿勢評価部２３からの評価結果が供給される。

支援画面生成部２５は、画像取得部２１からの画像データに対応する入力画像に対して、動作姿勢評価部２３からの評価結果に関する情報を重畳させて、ユーザが正しい動作や姿勢をとるための支援をする画面（以下、動作姿勢支援画面という）を生成し、制御部１３に供給する。

制御部１３は、支援画面生成部２５から供給される動作姿勢支援画面を、表示部１５に表示させる。

以上のようにして、テレビジョン受像機１は構成される。

［表示処理］
次に、図３のフローチャートを参照して、図１のテレビジョン受像機１により実行される表示処理について説明する。

ユーザにより所定のジェスチャが行われると、制御部１３は、テレビジョン受像機１の各部を制御することで、アンテナ１１により受信された放送信号に対応するコンテンツを表示部１５に表示させる（ステップＳ１１）。

ステップＳ１２において、制御部１３は、動作姿勢評価部２３から供給される評価結果に基づいて、ユーザによりジェスチャによる操作が行われたか否かを判定する。なお、先に述べたように、テレビジョン受像機１は、ユーザによる所定のジェスチャに応じて所定の機能を実行するので、例えば、チャンネルの操作が、ユーザの手や腕の動きにより行われる。

ステップＳ１２において、ジェスチャによる操作が行われていないと判定された場合、処理は、ステップＳ１１に戻り、上述したステップＳ１１，Ｓ１２が繰り返される。すなわち、この場合、表示部１５には、受信された放送信号に対応するコンテンツが表示される。

一方、ジェスチャによる操作が行われたと判定された場合（ステップＳ１２の「Yes」）、処理は、ステップＳ１３に進む。

ステップＳ１３において、制御部１３及び動作姿勢評価支援部１６は、動作姿勢支援処理を実行する。この動作姿勢支援処理では、ユーザが正しいジェスチャを行うことができるように支援する処理が行われるが、その詳細については、図４のフローチャートを参照して後述する。

そして、ユーザにより正しい動作や姿勢でのジェスチャが行われた場合には、制御部１３は、テレビジョン受像機１の各部を制御して、例えば、チャンネルの変更など、そのジェスチャに対応する機能を実行する（ステップＳ１４）。

ステップＳ１５において、制御部１３は、ジェスチャによる操作が行われて、コンテンツの表示の終了が指示されたか否かを判定する。ステップＳ１５において、コンテンツの表示の終了が指示されていないと判定された場合、ステップＳ１１に戻り、コンテンツの表示の終了が指示されるまで、上述したステップＳ１１乃至Ｓ１５の処理が繰り返される。

一方、コンテンツの表示の終了が指示されたと判定された場合（ステップＳ１５の「Yes」）、図３の表示処理は終了する。

以上のようにして、テレビジョン受像機１においては、ジェスチャによる操作が行われた場合には、動作姿勢支援処理が実行され、ユーザによって正しいジェスチャ（動作や姿勢）が行われるように支援する。

［動作姿勢支援処理］
次に、図４のフローチャートを参照して、図３ステップＳ１３に対応する動作姿勢支援処理の詳細について説明する。

ステップＳ３１において、画像取得部２１は、カメラ２により撮影された画像データを取得し、動作姿勢認識部２２に供給する。

ステップＳ３２において、動作姿勢認識部２２は、画像取得部２１から供給される画像データに基づいて、動作姿勢認識処理を実行する。

ここで、図５のフローチャートを参照して、図４のステップＳ３２に対応する動作姿勢認識処理について説明する。

ステップＳ５１において、動作姿勢認識部２２は、画像取得部２１から順次入力される画像データから、人が含まれている人領域を検出する。そして、動作姿勢認識部２２は、検出された人領域から、その人の向いている方向を推定し（ステップＳ５２）、さらに、例えば手足や首などの人の身体の所定の部位（パーツ）を検出する（ステップＳ５３）。

ステップＳ５４において、動作姿勢認識部２２は、推定された人の方向と検出された各部位に基づいて、例えばGPLVM（Gaussian Process Latent Variable Model）を用いた動きの事前情報から、３次元の関節角を推定する。

なお、このような人領域を検出して、関節レベルで姿勢を推定する方法としては、例えば、下記の文献（１）においても開示されている。

文献（１）：Monocular 3D pose estimation and tracking by detection Mykhaylo Andriluka, Stefan Roth and Bernt Schiele International Conference on Computer Vision and Pattern Recognition (CVPR2010)

また、人領域を検出する方法や、姿勢を推定する方法としては、例えば、下記の文献（２），（３）においても開示されている。

文献（２）：Histograms of Oriented Gradients for Human Detection Navneet Dalal and Bill Triggs CVPR2005
文献（３）：Learning to parse images of articulated bodies Deva Ramanan NIPS2006

以上のようにして、動作姿勢認識処理が実行され、画像取得部２１から順次入力される画像データから、各部位ごとの関節角が時系列で求められると、処理は、図４のフローチャートに戻り、ステップＳ３３以降の処理が実行される。

ステップＳ３３において、動作姿勢評価部２３は、動作姿勢認識部２２から供給される各部位ごとの関節角（入力動作の関節角）と、基準動作姿勢データベース２４から読み出された各部位ごとの関節角（基準動作の関節角）とを比較することで、動作姿勢評価処理を実行する。

ここで、図６のフローチャートを参照して、図４のステップＳ３３に対応する動作姿勢評価処理の詳細について説明する。

ステップＳ７１において、動作姿勢評価部２３は、基準動作姿勢データベース２４に格納された基準動作の中から、動作姿勢認識部２２により認識された各部位ごとの関節角から推定される入力動作と同一又は類似する基準動作を検索して、対象となる基準動作を特定する。

この基準動作の特定方法としては、例えば、図２の基準動作姿勢データベース２４に格納された基準動作１乃至ｎの関節角の中から、入力動作の関節角の時間的な変化と同一又は類似した変化をする基準動作の関節角を検索して、その基準動作を、対象となる基準動作として特定する。ただし、類似する基準動作が複数存在する場合には、最も類似した基準動作の関節角を、対象となる基準動作として特定すればよい。

ステップＳ７２において、動作姿勢評価部２３は、ステップＳ７１の処理により特定された基準動作に対応する関節角を読み出す。

ステップＳ７３において、動作姿勢評価部２３は、動作姿勢認識部２２により認識された入力動作の関節角の時間的な変化（以下、入力動作の時系列という）と、基準動作姿勢データベース２４から読み出された基準動作の関節角の時間的な変化（以下、基準動作の時系列という）とを一致させる。

すなわち、入力動作の開始から終了までの時間長は、ほとんどの場合、基準動作姿勢データベース２４にあらかじめ格納されている基準動作の開始から終了までの時間長からずれているので、それらの時間長を合わせる必要がある。そこで、基準動作姿勢データベース２４に基準動作を登録するに際して、基準動作ごとに時間長の正規化を行っておいて、入力動作の時系列を、特定された基準動作の時間長に正規化することで、入力動作の時系列と基準動作の時系列とを一致したものとすることができる。

入力動作と基準動作の時系列が一致すると、動作姿勢評価部２３は、入力動作と基準動作との相違を評価する（ステップＳ７４）。この評価方法としては、例えば、正規化された入力動作の関節角と、基準動作の関節角とのユークリッド距離を計算することで、入力動作と基準動作の距離がどの程度離れているかを評価することができる。

図７は、入力動作の関節角と基準動作の関節角との距離計算の例を示す図である。

なお、図７では、動作姿勢認識処理（図５）から動作姿勢評価処理（図６）までを一連の処理の流れとして説明する。

上述したように、動作姿勢認識部２２によって、画像取得部２１により順次取得される入力画像から、各部位の関節角が順次認識されるが、例えば、右手首関節角（θu'，φu'，ψu'）や右ひじ関節角（αu'，βu'，γu'）などが時系列で認識される。そして、右手首関節角（θu'，φu'，ψu'）などの関節角が時系列で得られることで、それらの関節角による入力動作に対応する基準動作が特定される。

また、先に述べたように、基準動作姿勢データベース２４には、基準動作１乃至ｎの関節角として、例えば、右手首関節角（θt，φt，ψt）や右ひじ関節角（αt，βt，γt）などが時系列で登録されている。

そして、例えば、入力動作に対応する動作として、基準動作１が特定された場合、入力動作における右手首関節角（θu'，φu'，ψu'）などの関節角の時系列が線形変換され、基準動作１における右手首関節角（θt，φt，ψt）などの時間長に正規化される。そして、正規化された入力動作の関節角（例えば右手首関節角（θt'，φt'，ψt'）など）と、基準動作の関節角（例えば右手首関節角（θt，φt，ψt）など）とのユークリッド距離が計算され、入力動作と基準動作の距離がどの程度離れているかが評価される。

この距離計算の方法としては、例えば、入力動作と基準動作とについて、全ての部位の関節角のユークリッド距離を求めてから、各部位の関節角のユークリッド距離を求める方法がある。この場合、関節全体の距離と各関節の距離によって、入力動作と基準動作との距離が求められる。

関節全体の距離は、下記の式（１）により算出される。また、各関節の距離は、下記の式（２），（３）により算出される。

関節全体の距離（全体）＝｜θ1−θ1'｜＋｜φ1−φ1'｜＋｜ψ1−ψ1'｜＋｜θ2−θ2'｜＋｜φ2−φ2'｜＋｜ψ2−ψ2'｜＋・・・＋｜θt−θt'｜＋｜φt−φt'｜＋｜ψt−ψt'｜＋｜α1−α1'｜＋｜β1−β1'｜＋｜γ1−γ1'｜＋｜α2−α2'｜＋｜β2−β2'｜＋｜γ2−γ2'｜＋・・・＋｜αt−αt'｜＋｜βt−βt'｜＋｜γt−γt'｜＋・・・
・・・（１）

各関節の距離（右手首関節角）＝｜θ1−θ1'｜＋｜φ1−φ1'｜＋｜ψ1−ψ1'｜＋｜θ2−θ2'｜＋｜φ2−φ2'｜＋｜ψ2−ψ2'｜＋・・・＋｜θt−θt'｜＋｜φt−φt'｜＋｜ψt−ψt'｜
・・・（２）

各関節の距離（右ひじ関節角）＝｜α1−α1'｜＋｜β1−β1'｜＋｜γ1−γ1'｜＋｜α2−α2'｜＋｜β2−β2'｜＋｜γ2−γ2'｜＋・・・＋｜αt−αt'｜＋｜βt−βt'｜＋｜γt−γt'｜
・・・（３）

なお、各関節の距離の計算例として、右手首関節角の距離を算出する式（２）と、右ひじ関節角の距離を算出する式（３）を記述したが、例えば、左手首関節角や左ひじ関節角、左右の指の関節角などの他の関節の関節角についても同様に計算が行われる。

以上のようにして、動作姿勢評価処理によって、入力動作と基準動作との相違が評価され、その評価結果が、制御部１３及び支援画面生成部２５に供給される。

また、この評価結果としては、上述した距離計算による評価結果の他、例えば、入力動作の時間長と基準動作の時間長との差（以下、動作時間差という）などを含むようにすることができる。この場合、評価結果としての動作時間差が、支援画面生成部２５に供給される。

図６のフローチャートに戻り、ステップＳ７４において入力動作と基準動作との相違の評価が終了すると、処理は、図４のフローチャートに戻り、ステップＳ３４以降の処理が実行される。

ステップＳ３４において、制御部１３は、動作姿勢評価部２３からの評価結果に基づいて、評価結果を表示する必要があるか否かを判定する。

なお、この判定処理では、例えば、評価結果として計算された関節全体の距離と各関節の距離から得られる距離の値と、あらかじめ定められた所定の閾値とが比較され、距離の値が所定の閾値を超える場合には、その評価結果を表示する必要があると判定される。

例えば、入力動作と基準動作との距離が大きく離れている場合には、それらの動作が大きくずれているので、評価結果を表示する必要があると判定される（ステップＳ３４の「Yes」）。一方、入力動作と基準動作との距離が全く離れていないか、又はそれ程離れていない場合にはそれらの動作が、ずれていたとしても許容範囲内であるので、評価結果を表示する必要がないと判定される（ステップＳ３４の「No」）。

すなわち、表示部１５には、基本的にコンテンツが表示されており、所定のジェスチャによる操作が行われ（図３のステップＳ１２の「Yes」）、さらに、そのジェスチャが上手くいかず、その操作が認識されないとき（図４のステップＳ３４の「Yes」）に限り、評価結果表示処理が実行されるようにする。

ステップＳ３４において、評価結果を表示する必要があると判定された場合、ステップＳ３５において、制御部１３及び支援画面生成部２５は、動作姿勢評価部２３からの評価結果に基づいて、評価結果表示処理を実行する。

ここで、図８のフローチャートを参照して、図４のステップＳ３５に対応する評価結果表示処理の詳細について説明する。

支援画面生成部２５は、動作姿勢評価部２３から、各関節ごとの評価結果を取得し（ステップＳ９１）、各関節の距離が所定の閾値以上となるか否かを判定する（ステップＳ９２）。各関節ごとの評価結果は、先に述べたように、式（２），（３）などにより求められる、右手首関節や右ひじ関節などの各関節の距離に相当するものである。

ステップＳ９２において、関節の距離が所定の閾値以上となると判定された場合、ステップＳ９３において、支援画面生成部２５は、それらの関節の距離に応じた支援メッセージを生成する。一方、ステップＳ９２において、関節の距離が閾値未満となると判定された場合、ステップＳ９３をスキップして、処理は、ステップＳ９４に進む。

ステップＳ９４において、支援画面生成部２５は、全ての関節について関節の距離の閾値判定が終了したか否かを判定する。

ステップＳ９４において、全ての関節についての関節角の比較が終了していないと判定された場合、処理は、ステップＳ９１に戻り、上述したステップＳ９１乃至Ｓ９４が繰り返される。

そして、ステップＳ９１乃至Ｓ９４が繰り返されることで、例えば、右手首関節について、その関節の距離が閾値以上となり、その距離が離れていると判定された場合、基準動作の右手首関節の関節角に対する入力動作の右手首関節の関節角の相違に関する支援メッセージが生成される。なお、このとき、関節の距離が閾値未満となると判定されたものについて、正しい動作が行われている旨のメッセージが生成されるようにしてもよい。

これにより、動作姿勢評価部２３によって評価された、基準動作に対する入力動作の関節角の相違に対応するメッセージが生成されることになる。

一方、ステップＳ９４において、全ての関節についての関節の距離の閾値判定が終了したと判定された場合、処理は、ステップＳ９５に進む。

そして、支援画面生成部２５は、動作姿勢評価部２３から、動作時間差（入力動作の時間長と基準動作の時間長との差）の評価結果を取得し（ステップＳ９５）、その動作時間差が所定の範囲内となるか否かを判定する（ステップＳ９６）。

ステップＳ９６において、動作時間差が所定の範囲外となると判定された場合、ステップＳ９７において、支援画面生成部２５は、その動作時間差に応じた支援メッセージを生成する。

例えば、先に述べた、入力動作の時系列の正規化を行うに際して、基準動作に比べて入力動作の時間長が短く、それらの時間長の差が所定の範囲外となる場合には、入力動作が速すぎることとなるため、その旨を示す支援メッセージが生成される。また、例えば、基準動作に比べて入力動作の時間長が長く、それらの時間長の差が所定の範囲外となる場合には、動作が遅すぎることとなるため、その旨を示す支援メッセージが生成される。

これにより、動作姿勢評価部２３によって評価された、基準動作に対する入力動作の速度や加速度の相違に対応するメッセージが生成されることになる。

一方、ステップＳ９６において、動作時間差が所定の範囲内となると判定された場合、ステップＳ９７をスキップして、処理は、ステップＳ９８に進む。

ステップＳ９８において、支援画面生成部２５は、動作姿勢評価部２３からの評価結果に応じた支援画像を生成する。

この支援画像は、入力画像に重畳される画像であって、基準動作に対する入力動作の相違を通知して、ユーザに対して自身の動作や姿勢を修正させるための画像である。支援画像としては、例えば、基準動作に対する入力動作の関節角の相違や動作時間差などに応じた画像が生成される。

ステップＳ９９において、支援画面生成部２５は、入力画像に対して、ステップＳ９８の処理によって生成された支援画像と、ステップＳ９３，Ｓ９７の処理によって生成された支援メッセージを重畳させて動作姿勢支援画面を生成する。そして、制御部１３は、支援画面生成部２５により生成された動作姿勢支援画面を、表示部１５に表示させる（ステップＳ１００）。

ステップＳ１０１において、支援画面生成部２５は、所定のジェスチャにより認識される一連の入力動作が終了したか否かを判定する。

ステップＳ１０１において、一連の入力動作が終了していないと判定された場合、処理は、ステップＳ９８に戻り、上述したステップＳ９８乃至Ｓ１０１が繰り返され、次のフレームとなる入力画像に対する支援画像が生成され、支援メッセージとともに入力画像に重畳されて、動作姿勢支援画面が生成される。

なお、先に述べたように、入力動作と基準動作との相違を評価するために、それらの動作の時系列を一致させたが、支援画像を入力画像に重畳させる場合、基準動作の時間長に正規化された時系列では入力画像の時系列と一致していないため、整合がとれない。そこで、支援画面生成部２５は、入力画像に順次重畳される支援画像の時系列を、入力動作の時間長に戻してから、入力画像に重畳させることになる。

すなわち、あるジェスチャにより認識される一連の入力動作が終了するまで、ステップＳ９８乃至Ｓ１０１が繰り返されると、例えば、図９又は図１０の動作姿勢支援画面が、表示部１５に表示される。

図９に示すように、表示部１５に表示される動作姿勢支援画面には、テレビジョン受像機１の上部に設置されたカメラ２によって撮影された、その正面に立ってジェスチャを行ったユーザの画像が表示される。図９の例では、ユーザは、ジェスチャによりテレビジョン受像機１を操作しているが、その入力動作が基準動作から外れていると評価されたため（図４のステップＳ３４の「Yes」）、表示部１５には、その評価結果に対応する動作姿勢支援画面が表示されている。

図９の動作姿勢支援画面においては、支援画像として、入力画像に対して基準動作１の各部位の関節群を結んだガイド線が重畳されている。図９の例では、ユーザの手の動作を支援するためのガイド線が、正しい動作を示すものとして、首もとから手首までの関節を繋いだ直線により描かれている。これにより、ジェスチャを行っているユーザに対して、認識された入力動作と、基準となる基準動作との相違を直感的に認識させることが可能となる。

また、入力動作と基準動作との距離を評価することにより、それらの動作の距離がどの程度離れているかが求められるのは先に述べた通りであるが、図９の例では、ユーザの左手（例えば左手首関節や左ひじ関節）は、それらの動作の距離がほとんど離れていないため、画面には「左手は大体上がっています。」との支援メッセージが表示される。また、ユーザの右手（右手首関節）は、その入力動作と基準動作との距離が大きく離れているため、画面には、「右手をもう少し上に上げて下さい。」と、「右ひじを上にまげて下さい。」との支援メッセージが表示される。

なお、先に述べた３次元の関節角だけでは、入力動作と基準動作の各部位の位置関係を認識できない場合には、それらの３次元角度を３次元座標に変換することにより、それらの部位の位置関係が認識できるようにすればよい。

以上のように、表示部１５には、支援画像としてのガイド線と、支援メッセージとしての「右ひじを上にまげて下さい。」などを入力画像に重畳した動作姿勢支援画面が表示される。なお、動作姿勢支援画面において、支援画像は、入力画像の人の動き（一連の入力動作）を追従して動的に表示され、支援メッセージは、同一位置に、同一内容で静的に表示されることになる。

また、図１０の動作姿勢支援画面では、支援画像として、図９のガイド線の代わりに、ユーザ自身の右腕の画像（部位画像）が表示されている。この部位画像は、例えば、入力画像に対して所定の画像処理を施して、入力画像に含まれる右腕の領域を切り取ることで得られる。

また、動作時間差により基準動作に対する入力動作の速度の相違に関する情報が得られるのは先に述べた通りであるが、例えば、基準動作に比べて入力動作の時間長が短ければ、動作が速すぎることとなるため、「もう少しゆっくり動かしてください。」との支援メッセージが表示される。一方、基準動作に比べて入力動作の時間長が長ければ、動作が遅すぎることになるため、「もう少し速く動かしてください。」との支援メッセージが表示される。

図１０の例では、ユーザの左手は、入力動作と基準動作との距離がほとんど離れていないため、画面には「左手は大体上がっています。」との支援メッセージが表示される。また、ユーザの右手は、入力動作と基準動作との距離が大きく離れているため、「右手をもう少し上に上げて下さい。」との支援メッセージが表示される。さらに、基準動作に比べて入力動作の時間長が長いため、「肩をもう少し速く上に上げるようにしてください。」との支援メッセージが表示される。

以上のように、表示部１５には、動的な支援画像としての部位画像と、静的な支援メッセージとしての「肩をもう少し速く上に上げるようにしてください。」などを入力画像に重畳した動作姿勢支援画面が表示される。

また、図１０の動作姿勢支援画面においては、支援画像として部位画像を表示するので、ユーザは、誤った動作の部位と、正しい動作の部位の両方の部位を確認しながら、より直感的に自身の動作を修正することができる。

図８のフローチャートに戻り、図８の表示処理が終了すると、処理は、図４のフローチャートのステップＳ３５に戻る。一方、ステップＳ３５の処理が終了するか、又はステップＳ３４において、評価結果を表示する必要がないと判定された場合、処理は、図３のフローチャートに戻り、ステップＳ１４以降の処理が実行される。

以上のように、テレビジョン受像機１においては、ユーザによりジェスチャによる操作が行われたとき、動作姿勢支援処理が行われ、その入力動作が、基準動作と相違している場合、例えば、図９又は図１０の動作姿勢支援画面が表示部１５に表示される。

これにより、ユーザは、その画面上の自身に重畳された支援画像や支援メッセージを確認しながら、確実に、正しいジェスチャ（動作や姿勢）を行うことができる。また、動作姿勢支援画面には、関節単位又は部位単位で生成される支援画像や支援メッセージが表示されるので、ユーザは、自身の動作や姿勢を精度よく修正することができる。

［学習装置の構成］
次に、図１１及び図１２を参照して、基準動作の基準動作姿勢データベース２４への登録方法について説明する。

図１１は、学習装置の構成の例を示す図である。

図１１に示すように、学習装置３１は、画像取得部４１、学習部４２、及び基準動作姿勢データベース２４から構成される。なお、基準動作姿勢データベース２４は、図１の基準動作姿勢データベース２４に対応している。

画像取得部４１は、所定のジェスチャを行っている人が含まれるサンプル画像の画像データを取得し、学習部４２に供給する。

学習部４２は、画像取得部４１から供給される画像データに基づいて、動作姿勢認識処理を実行する。この動作姿勢認識処理は、上述した動作姿勢認識部２２により実行される動作姿勢認識処理と同様であり、画像データから得られる人の身体の所定の部位（例えば、ユーザの手足など）の関節角が各部位（パーツ）単位で認識される。

学習部４２は、ジェスチャに対応する動作を基準動作として、基準動作ごとに、認識された各部位ごとの関節角を対応付けて、基準動作姿勢データベース２４に格納する。

［学習処理］
次に、図１２のフローチャートを参照して、学習装置３１により実行される学習処理について説明する。

ステップＳ１１１において、学習部４２は、サンプル画像による学習の対象となる基準動作を特定する。この基準動作としては、例えばチャンネル操作が、ユーザにより入力された情報により特定される。

なお、精度の高い基準動作姿勢データベース２４を生成するためには、登録されるサンプル数を増やす必要があるので、テレビジョン受像機１が有する所定の機能に対応する所定のジェスチャを行っている同一人物又は別人物のサンプル画像をできるだけ多く用意すると好適である。

ステップＳ１１２において、画像取得部４１は、サンプル画像の画像データを取得する。

このサンプル画像としては、例えばチャンネル操作などのテレビジョン受像機１が有する所定の機能に対応する所定のジェスチャを行っている人が含まれる画像が取得される。

ステップＳ１１３において、学習部４２は、画像取得部４１により取得された画像データに基づいて、動作姿勢認識処理を実行する。この動作姿勢認識処理は、図５のフローチャートを参照して説明した処理と同様であるため、ここでは、その詳細な説明は省略するが、ジェスチャを行っている人の身体の各部位ごとの関節角が認識される。

このようにして、動作姿勢認識処理が実行され、画像取得部４１から入力される画像データから、各部位ごとの関節角が求められると、ステップＳ１１４において、学習部４２は、所定のジェスチャにより認識される一連の入力動作が終了したか否かを判定する。

ステップＳ１１４において、一連の入力動作が終了していないと判定された場合、処理は、ステップＳ１１２に戻り、上述したステップＳ１１２乃至Ｓ１１４が繰り返され、画像取得部４１によって、次のフレームとなる入力画像が順次取得される。続いて、順次取得される入力画像に対して、学習部４２による動作姿勢認識処理が実行され、画像取得部４１から順次入力される画像データから、各部位ごとの関節角が時系列で求められる。

そして、一連の入力動作が終了したと判定された場合（ステップＳ１１４の「Yes」）、処理は、ステップＳ１１５に進む。

ステップＳ１１５において、学習部４２は、登録対象となる基準動作と、一連の入力動作による時系列で得られた各部位ごとの関節角とを対応付けて、基準動作姿勢データベース２４に格納し、登録する。

例えば、チャンネル操作などの同一のジェスチャを複数人に行わせ、それにより得られるサンプル画像の画像データに対して、この学習処理を実行することで、登録対象となる基準動作に対して、複数人分の各部位ごとの関節角が時系列で得られることになる。なお、各人について、時系列で得られる関節角の時間長は、各々が個別にジェスチャを行っているため、ほとんどの場合一致せず、それらの時間長を合わせる必要がある。従って、複数人分得られる関節角の時間長を正規化してから、正規後の関節角の平均を時系列で求めて、その平均の関節角を、基準動作に対応付けて登録することになる。

ただし、正規化をせずに、そのまま時間長で、各人の時系列で得られる関節角を、基準動作に対応付けて登録してもよい。この場合、チャンネル操作などの所定のジェスチャに対して、複数の基準動作が存在することになるが、入力動作に最も類似した基準動作が特定されることになる。

これにより、基準動作姿勢データベース２４には、チャンネル操作などの基準動作１，２，・・・，ｎと、時系列に並べられた右手首関節角や右ひじ関節角などの関節角とが対応付けられて格納される。

以上のようにして、学習処理が行われ、基準動作姿勢データベース２４に、基準動作が登録される。

＜２．第２の実施の形態＞
［動作姿勢支援システム］
図１３は、テレビジョン受像機１とサーバ５１からなる動作姿勢支援システムの構成の例を示す図である。

図１３において、図１と同様の箇所には同一の符号が付してあり、その説明は適宜省略する。すなわち、図１３のテレビジョン受像機１には、図１のテレビジョン受像機１と比べて、基準動作姿勢データベース２４の代わりに、通信部１７が設けられている。

動作姿勢評価部２３は、基準動作に関する情報が必要となる場合、その情報を取得するための要求（以下、基準動作取得要求という）を、通信部１７に供給する。通信部１７は、動作姿勢評価部２３から供給される基準動作取得要求を、ネットワーク５２を介してサーバ５１に送信する。

サーバ５１は、通信部６１、制御部６２、及び基準動作姿勢データベース２４から構成される。

通信部６１は、ネットワーク５２を介してテレビジョン受像機１から送信されてくる基準動作取得要求を受信し、制御部６２に供給する。制御部６２は、通信部６１から供給される基準動作取得要求に応じて、基準動作姿勢データベース２４に格納された基準動作に関する情報を読み出し、通信部６１に供給する。通信部６１は、制御部６２から供給される基準動作に関する情報を、ネットワーク５２を介してテレビジョン受像機１に送信する。

通信部１７は、ネットワーク５２を介してサーバ５１から送信されてくる基準動作に関する情報を受信し、動作姿勢評価部２３に供給する。

動作姿勢評価部２３は、通信部１７から供給される基準動作に関する情報などに基づいて、動作姿勢評価処理を実行し、その評価結果を制御部１３及び支援画面生成部２５に供給する。

以上のように、基準動作姿勢データベース２４を、サーバ５１により集中的に管理して、テレビジョン受像機１が必要に応じて基準動作に関する情報を取得できるようにすることで、テレビジョン受像機１の処理負荷を軽減することができる。また、基準動作を追加する際には、サーバ５１の基準動作姿勢データベース２４に対して、基準動作を登録すればよいので、容易に機能を追加することが可能となる。

＜３．変形例＞
上述した実施の形態では、ユーザによるジェスチャにより操作されるテレビジョン受像機１を一例に説明したが、本発明は、例えば、携帯電話機、ゲーム機、パーソナルコンピュータ、プロジェクタ、再生装置、記録装置、表示装置などにも適用することができる。例えば、本発明を適用した表示装置が、ゴルフのスイング指導に用いられた場合、スイングしているユーザを撮影した画像から得られる入力動作と、あらかじめ登録された基準動作との相違が評価され、その評価結果が表示装置に表示される。これにより、スイング動作の支援を行って、ユーザに対して、確実に正しいスイングをさせることができる。

上述した実施の形態では、順次入力される画像データから、各部位ごとの関節角が時系列で求められる例を説明したが、本発明は、３次元の関節角の代わりに、所定の基準点から所定の関節までの距離を表す位置情報（例えば３次元座標）を用いてもよい。要は、動作や姿勢を一意に決定できる情報であればよく、その情報として、例えば、角度情報（関節角）や位置情報（位置）などが用いられる。なお、上述した実施の形態で説明した、角度情報を用いると、人ごとに異なる手足の長さなどの影響を受けずに、入力動作と基準動作の評価を行うことができる。

上述した実施の形態では、コンテンツを表示している途中に、所定のジェスチャによる操作が行われ（図３のステップＳ１２の「Yes」）、さらに、評価結果を表示する必要があると判定された場合に（図４のステップＳ３４の「Yes」）、評価結果としての動作姿勢支援画面（図９，図１０）が表示される例を説明した。この評価結果の表示のタイミングであるが、ジェスチャによる操作が上手くいかないときに表示するだけでなく、例えば、ジェスチャによる操作が行われたら常に表示したり、コンテンツの終了時などの区切りのよいタイミングで表示したりしてもよい。さらに、コンテンツを表示するメイン画面に対して、サブ画面を設けて、そのサブ画面に評価結果（動作姿勢支援画面）を表示してもよい。なお、サブ画面は、表示しているコンテンツが見えなくならないように、所定の位置に移動させたり、所定のサイズに変更したりすることができる。

上述した実施の形態では、評価結果を通知する方法として、動作姿勢支援画面（図９，図１０）を表示する例を説明したが、動作姿勢支援画面としては、例えば、ユーザの右手が下がっているとの評価が得られた場合、その実際の位置から正しい位置に右手が動いている様子を表した画像が表示されるようにしてもよい。また、正しい動作や姿勢をとらせるための対象となる部位を表示する際に、その部位を、点滅させたり、色を変更したり、枠で囲ったりすることで強調して、ユーザに対して直感的に認識させるようにしてもよい。

上述した実施の形態では、評価結果を通知する方法として、動作姿勢支援画面を表示する例を説明したが、ユーザに対して評価結果を通知できればよく、例えば、通知手段として、音声出力部を設けて、「右ひじをもう少し上に上げて、ゆっくり動かしてください。」などの音声を出力するようにしてもよい。また、プロジェクタを用いる場合には、評価結果をユーザに投影してもよい。さらに、上述した実施の形態では、入力画像として動画像が入力される例を説明したが、本発明は、静止画像であっても同様に適用することができる。

上述した実施の形態では、基準動作姿勢データベース２４には、あらかじめ登録された基準動作と、その基準動作の関節角群が対応付けられて格納されている例を説明したが、それらの基準動作として、大人用若しくは子供用の基準動作や、男性用若しくは女性用の基準動作を用意して、それらの基準動作の関節角群と対応付けて格納してもよい。これにより、ユーザに応じて使用する基準動作姿勢データベース２４を変更することができるので、動作姿勢評価処理の精度を向上させることができる。また、ユーザ個人を識別して、ユーザごとの基準動作姿勢データベース２４を用意するようにしてもよい。

また、基準動作姿勢データベース２４では、基準動作と、その基準動作の関節角群の他に、例えば、所定のジェスチャに関連する画像を紐付けておき、評価結果に応じてその画像を表示させるようにしてもよい。

上述した実施の形態では、基準動作の特定方法（図６のステップＳ７１）として、基準動作姿勢データベース２４に格納された基準動作の関節角の中から、入力動作の関節角の時間的な変化と同一又は類似した変化をする基準動作の関節角を検索して特定する方法を説明したが、他の特定方法によって特定してもよい。このような特定方法としては、例えば、基準動作を特定した後に、特定された基準動作の関節角と入力動作の関節角との距離計算を行うのではなく、基準動作を特定する前に、複数の基準動作１乃至Ｎの関節角と入力動作の関節角との距離計算を行う方法がある。この特定方法であると、１つの入力動作に対して、Ｎ個の基準動作との距離が求められるので、Ｎ個の基準動作の中から、その距離が最も近い基準動作を特定することができる。

また、基準動作の特定方法としては、ユーザにより入力された情報に基づいて、対象となる基準動作を特定してもよい。

上述した実施の形態では、カメラ２は、テレビジョン受像機１の上部に取り付けられ、その前方に存在するユーザを撮影する例を説明したが、カメラ２は任意の取り付け位置に設置することができる。例えば複数のカメラを用意して、それらのカメラが、ユーザの正面だけでなく、側面や背面などを撮影可能な位置に設置されるようにしてもよい。

［本発明を適用したコンピュータの説明］
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータの構成の例を示す図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ テレビジョン受像機， ２ カメラ， １１ アンテナ， １２ チューナ， １３ 制御部， １４ 画像処理部， １５ 表示部， １６ 動作姿勢評価支援部， １７ 通信部， ２１ 画像取得部， ２２ 動作姿勢認識部， ２３ 動作姿勢評価部， ２４ 基準動作姿勢データベース， ２５ 支援画面生成部， ３１ 学習装置， ４１ 画像取得部， ４２ 学習部， ５１ サーバ， ５２ ネットワーク， ６１ 通信部， ６２ 制御部， １００ コンピュータ， １０１ CPU

Claims (7)

1. 人を含む入力画像から、その人の身体の所定の部位を時系列で認識する認識手段と、
   時系列で認識された入力部位の動作と、基準となる基準部位の動作との相違を、時系列で認識された前記入力部位に含まれる関節の角度を表す３次元の角度と、前記基準部位に含まれる関節の角度を表す３次元の角度との差分に関する時系列の差分情報を加算して求められた距離で評価する評価手段と、
   前記入力部位に含まれる関節に対して求められた距離が所定の閾値以上となる関節を含んでいる前記入力部位については、前記基準部位の動作に対する前記入力部位の動作の相違に関する情報を通知する通知手段と
   を備える情報処理装置。
2. 前記通知手段は、前記基準部位に含まれる関節の角度に対する前記入力部位に含まれる関節の角度の相違に関する情報を表示する
   請求項１に記載の情報処理装置。
3. 前記通知手段は、前記入力部位に対して、前記基準部位の関節群を結んだガイド線又は前記基準部位の関節群に対応する部位画像を重畳させて表示する
   請求項２に記載の情報処理装置。
4. 前記通知手段は、前記基準部位に含まれる関節の角度に対する前記入力部位に含まれる関節の角度の相違に対応するメッセージを表示する
   請求項２に記載の情報処理装置。
5. 前記入力画像は、動画像であり、
   前記評価手段は、時系列で得られる前記入力部位に含まれる関節の角度で特定される入力動作の時間長と、前記基準部位に含まれる関節の角度で特定される基準動作の時間長とを比較して、前記基準動作に対する前記入力動作の速度の相違を評価し、
   前記通知手段は、評価された前記速度の相違に関する情報を表示する
   請求項２に記載の情報処理装置。
6. 情報処理装置が、
   人を含む入力画像から、その人の身体の所定の部位を時系列で認識し、
   時系列で認識された入力部位の動作と、基準となる基準部位の動作との相違を、時系列で認識された前記入力部位に含まれる関節の角度を表す３次元の角度と、前記基準部位に含まれる関節の角度を表す３次元の角度との差分に関する時系列の差分情報を加算して求められた距離で評価し、
   前記入力部位に含まれる関節に対して求められた距離が所定の閾値以上となる関節を含んでいる前記入力部位については、前記基準部位の動作に対する前記入力部位の動作の相違に関する情報を通知する
   ステップを含む情報処理方法。
7. 人を含む入力画像から、その人の身体の所定の部位を時系列で認識する認識手段と、
   時系列で認識された入力部位の動作と、基準となる基準部位の動作との相違を、時系列で認識された前記入力部位に含まれる関節の角度を表す３次元の角度と、前記基準部位に含まれる関節の角度を表す３次元の角度との差分に関する時系列の差分情報を加算して求められた距離で評価する評価手段と、
   前記入力部位に含まれる関節に対して求められた距離が所定の閾値以上となる関節を含んでいる前記入力部位については、前記基準部位の動作に対する前記入力部位の動作の相違に関する情報を通知する通知手段と
   して、コンピュータを機能させるためのプログラム。

Images