JP6539941B2 - 評価プログラム、評価方法及び評価装置 - Google Patents

Description

本発明は、評価プログラム、評価方法及び評価装置に関する。

人物のダンスを採点し、採点結果を人物に通知する技術がある。

人物のダンスの採点や評価に関連する関連する技術として、例えば、楽曲に合わせて部位を移動させるゲームを実行するプレイヤの部位が基準速度以上で移動した場合、部位が移動後に略停止している状態が基準期間継続したか否かの判定結果に基づいて、プレイヤのゲームプレイを評価する技術がある。

特開２０１３−１５４１２５号公報

人物のダンスの採点や評価を行なうためには、人物がリズムをとるタイミング、すなわち、人物が拍をとる動作またはタイミングを抽出することが求められる。しかしながら、上述した技術では、解析に必要な処理量が多いため、簡易に人物が拍をとる動作またはタイミングを抽出することができない場合がある。この結果、上述した技術では、簡易に人物の動作のテンポを評価することができない場合があるという問題がある。

例えば、人物のダンスを採点する際に、カメラにより人物の動きが撮像され、撮像された動画像に対してコンピュータを用いた解析を行ない、人物のリズムを抽出する態様が考えられる。具体的な手法としては、例えば、動画像から人物の顔や身体の一部、または、人物が使用するマラカスなどの道具が、テンプレートマッチングなどの所定の認識技術により認識され、認識された顔や身体の一部または道具の移動量の時系列データが生成される。そして、時系列データに対してフーリエ解析等が行われ、特定の周波数帯域の成分から人物のリズムが抽出される。そして、例えば、抽出された人物のリズムと、基準となるリズムとが比較され、比較結果に応じて人物のダンスの採点が行なうことが考えられる。しかしながら、上記の態様において、例えば、動画像から人物の顔や身体の一部、または、人物が使用するマラカスなどの道具を認識するテンプレートマッチングを用いると、テンプレートと動画像の一部とを比較する処理が繰り返される。そのため解析に要する処理量が多く、コンピュータの処理負荷が増大する。

１つの側面では、本発明は、撮像画像から人物の動作のテンポを評価することを目的とする。

評価プログラムは、コンピュータに、連続的に撮像した複数の撮像画像に基づいて抽出される、撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングが示すテンポと、基準テンポとの比較に応じて、次の処理を実行させる。すなわち、評価プログラムは、コンピュータに、人物の動作のテンポに関する評価を出力することを実行させる。

撮像画像から人物の動作のテンポを評価することができる。

図１は、実施例１の評価装置の構成の一例を示すブロック図である。 図２は、フレームの一例を示す図である。 図３は、タイミングデータの一例を示す図である。 図４は、２値化された画像の一例を示す図である。 図５は、背景差分量とフレーム番号との対応付けの一例を示す図である。 図６は、実施例１に係る評価装置が実行する処理の一例を説明するための図である。 図７は、タイミングデータが示す人物が拍をとるタイミングをプロットしたグラフの一例を示す図である。 図８は、人物が拍をとるタイミングを基準とした場合のタイミングの比較方法の一例を示す図である。 図９は、基準テンポにおける拍のタイミングを基準とした場合のタイミングの比較方法の一例を示す図である。 図１０は、実施例１に係る評価処理の手順を示すフローチャートである。 図１１は、実施例２の評価装置の構成の一例を示すブロック図である。 図１２は、タイミングの数を比較する比較方法の一例を示す図である。 図１３は、実施例３の評価装置の構成の一例を示すブロック図である。 図１４は、人物の動きの特徴と、曲調の特徴との比較方法の一例を示す図である。 図１５は、評価装置とカラオケ装置が連動した場合のシステムの一例を示す図である。 図１６は、サーバを有するシステムの一例を示す図である。 図１７は、評価プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する評価プログラム、評価方法および評価装置の各実施例を図面に基づいて詳細に説明する。なお、各実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［実施例１に係る評価装置１０の機能構成の一例］
図１の例に示す評価装置１０は、ダンスを行う人物をカメラにより撮像した結果得られた動画像の各フレームから、人物の動作量が一時的に低下するタイミングを、人物がリズムをとるタイミング、すなわち、人物が拍をとるタイミングとして抽出する。このように、人物の動作量が一時的に低下するタイミングを、人物が拍をとるタイミングとして抽出するのは、人物は、拍をとるときに一時的に動作を停止させるので、動作量が一時的に低下するからである。ここで、リズムとは、例えば、テンポの間隔の規則性を意味する。また、テンポとは、例えば、拍の間隔の長さを意味する。そして、評価装置１０は、抽出したタイミングが示すテンポと、基準となるテンポである基準テンポとを比較して、人物の動作のテンポを評価する。上述したように、評価装置１０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い（処理負荷の高い）認識処理を行うことなく、人物が拍をとるタイミングを抽出し、人物の動作のテンポを評価する。したがって、評価装置１０によれば、簡易に人物の動作のテンポを評価することができる。

図１は、実施例１の評価装置の構成の一例を示すブロック図である。図１の例に示すように、評価装置１０は、入力部１１、出力部１２、記憶部１３および制御部１４を有する。

入力部１１は、各種情報を制御部１４に入力する。例えば、入力部１１は、評価装置１０を使用するユーザからの後述の評価処理を実行するための指示を受け付けた場合には、受け付けた指示を制御部１４に入力する。入力部１１のデバイスの一例としては、マウスやキーボード、図示しない他の装置から送信された各種の情報を受信し受信した情報を制御部１４に入力するためネットワークカードが挙げられる。

出力部１２は、各種情報を出力する。例えば、出力部１２は、後述する出力制御部１４ｅから人物の動作のテンポの評価結果を受信した場合には、受信した評価結果を表示したり、受信した評価結果をユーザが保持する携帯端末や外部のモニタに送信したりする。出力部１２のデバイスの一例としては、モニタや、制御部１４から送信された各種の情報を図示しない他の装置へ送信するためネットワークカードなどが挙げられる。

記憶部１３は、各種情報を記憶する。例えば、記憶部１３は、動画像データ１３ａ、タイミングデータ１３ｂ、音楽テンポデータ１３ｃおよび評価データ１３ｄを記憶する。

動画像データ１３ａは、ダンスを行う人物をカメラによって撮像した結果得られた複数のフレームを含む動画像のデータである。かかる人物の一例としては、例えば、カラオケボックスで、カラオケ装置により再生された曲に合わせて歌を歌うとともに、再生された曲に合わせてダンスを行う人物が挙げられる。なお、動画像データ１３ａに含まれる複数のフレームは、カメラによって連続的に撮像されたものであり、撮像画像の一例である。図２は、フレームの一例を示す図である。図２の例は、フレーム１５に、カラオケボックス９０で、曲に合わせて歌を歌うとともにダンスを行う人物９１が含まれた場合を示す。なお、動画像データ１３ａのフレームレートとしては、任意の値を採用できるが、以下、フレームレートが３０fps（frames per second）である場合について説明する。

タイミングデータ１３ｂは、ダンスを行う人物が拍をとるとき（拍をとるとき）の時間（タイミング）を示すデータである。かかる時間の一例としては、例えば、動画像データ１３ａに含まれる人物が、カラオケボックスで、再生された曲に合わせて歌を歌うとともにダンスを行う人物である場合には、曲とともにダンスが開始されるので、曲およびダンスの開始からの時間が挙げられる。図３は、タイミングデータの一例を示す図である。図３の例に示すタイミングデータ１３ｂは、「時間」および「拍をとるタイミング」の各項目を有する。「時間」の項目には、後述の抽出部１４ｃにより、曲およびダンスの開始からの時間が登録される。「拍をとるタイミング」の項目には、「時間」の項目に登録された時間が、人物が拍をとるタイミングである場合には、後述の抽出部１４ｃにより「とる」が登録され、人物が拍をとるタイミングでない場合には、「とらない」が登録される。例えば、図３の例に示すタイミングデータ１３ｂの１番目のレコードでは、曲およびダンスの開始から「０．０３３」秒後の時間には「拍をとるタイミング」の項目に「とる」が登録されているため、人物が拍をとるタイミングであることを示す。また、図３の例に示すタイミングデータ１３ｂの２番目のレコードでは、曲およびダンスの開始から「０．０６６」秒後の時間には「拍をとるタイミング」の項目に「とらない」が登録されているため、人物が拍をとるタイミングでないことを示す。

音楽テンポデータ１３ｃは、基準テンポを示すデータである。基準テンポは、後述の評価部１４ｄにより音情報から取得される。ここで、音情報の一例としては、例えば、図示しないマイクにより集音された音、カラオケ装置で再生された曲、図示しないビデオカメラ等で録画された映像データにおいて動画像データ１３ａと連動して取得された音声データ、ＭＩＤＩ（Musical Instrument Digital Interface）が挙げられる。

評価データ１３ｄは、後述の評価部１４ｄにより評価された人物の動作のテンポの評価結果である。かかる評価結果については後述する。

記憶部１３は、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

制御部１４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。図１に示すように、制御部１４は、取得部１４ａと、検出部１４ｂと、抽出部１４ｃと、評価部１４ｄと、出力制御部１４ｅとを有する。

取得部１４ａは、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームとの差分を取得する。また、取得部１４ａは、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

取得部１４ａの一態様について説明する。例えば、取得部１４ａは、入力部１１により後述の評価処理を実行するための指示が入力された場合に、記憶部１３に記憶された動画像データ１３ａを取得する。

そして、取得部１４ａは、背景差分法を用いて、動画像データ１３ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームとの差分を取得する。例えば、取得部１４ａは、公知の背景統計量の累積に関する関数を用いて、複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

取得部１４ａが背景統計量の累積に関する関数を用いた場合の処理について説明する。取得部１４ａは、フレームと、当該フレームより前に撮像したフレームから得られた背景情報とを比較し、輝度の変化が閾値以下の画素を黒色の画素とし、輝度の変化が閾値より大きい画素を白色の画素とする２値化された画像を生成する。なお、ここで生成させる情報は、輝度の変化が閾値以下、あるいは閾値より大きいことが識別可能な情報であれば、白黒の画素とする２値化された画像に限定されない。図４は、２値化された画像の一例を示す図である。例えば、取得部１４ａは、背景統計量の累積に関する関数を用いて、先の図２の例に示すフレーム１５と、フレーム１５より前に撮像されたフレームから得られた背景情報とを比較し、図４の例に示すような２値化された画像を生成する。そして、取得部１４ａは、生成した２値化された画像に含まれる白い画素の総数（背景差分量）を、人物の動作量として算出する。このように、本実施例では、背景差分量が、人物が移動した量を示す指標として用いられる。例えば、取得部１４ａは、図４の例に示す２値化された画像に含まれる白い画素の総数を、人物９１の動作量として算出する。このようにして、取得部１４ａは、フレームそれぞれについて、背景差分量を人物の動作量として取得する。そして、取得部１４ａは、フレームそれぞれについて、背景差分量とフレーム番号とを対応付ける。図５は、背景差分量とフレーム番号との対応付けの一例を示す図である。図５の例は、取得部１４ａが、フレーム番号「２」と、背景差分量「２６７０００」とを対応付けた場合を示す。また、図５の例は、取得部１４ａが、フレーム番号「３」と、背景差分量「２６６０００」とを対応付けた場合を示す。このようにして、取得部１４ａは、複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

なお、取得部１４ａは、コードブック法を用いて、フレームと、当該フレームより前に撮像したフレームとの差分を取得するとともに、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得することもできる。

検出部１４ｂは、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する。検出部１４ｂの一態様について説明する。例えば、検出部１４ｂは、取得部１４ａによりフレーム番号と背景差分量とが対応付けられた情報を用いて、１つ前のフレームの背景差分量よりも背景差分量が小さく、かつ、１つ後のフレームの背景差分量よりも背景差分量が小さいフレームを検出する。図６は、実施例１に係る評価装置が実行する処理の一例を説明するための図である。図６の例は、横軸をフレーム番号とし、縦軸を背景差分量とする、取得部１４ａにより対応付けられたフレーム番号と背景差分量との関係を表すグラフを示す。図６の例に示すグラフは、フレーム番号が１から５０までのフレームの背景差分量を示す。図６の例のグラフに示されるように、取得部１４ａによりフレーム番号と背景差分量とが対応付けられた場合には、検出部１４ｂは、次の処理を行う。すなわち、検出部１４ｂは、フレーム番号「３」のフレームの背景差分量よりも背景差分量が小さく、かつ、フレーム番号「５」のフレームの背景差分量よりも背景差分量が小さいフレーム番号「４」のフレームを検出する。同様に、検出部１４ｂは、フレーム番号「６」、「１０」、「１８」、「２０」、「２５」、「３３」、「３８」、「４０」、「４７」のフレームを検出する。

そして、検出部１４ｂは、検出したフレームが撮像された時間を、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。例えば、検出部１４ｂは、フレーム番号「４」、「６」、「１０」、「１８」、「２０」、「２５」、「３３」、「３８」、「４０」、「４７」のフレームのそれぞれが撮像された時間を、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。

抽出部１４ｃは、検出部１４ｂにより検出されたタイミングに基づいて、フレームに含まれる人物が拍をとる動作または拍をとるタイミングを抽出する。

抽出部１４ｃの一態様について説明する。例えば、抽出部１４ｃは、検出部１４ｂにより検出されたタイミングの中から、次のようなタイミングを抽出する。すなわち、抽出部１４ｃは、検出部１４ｂにより検出されたタイミングで撮像されたフレームの中から、所定の条件を満たすフレームを抽出し、抽出したフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。

ここで、抽出部１４ｃが、所定の条件を満たすフレームを抽出する方法の一例について説明する。例えば、抽出部１４ｃは、検出部１４ｂにより検出されたタイミングに対応するフレーム（検出されたタイミングで撮像されたフレーム）を抽出候補のフレームとして１つずつ選択する。そして、抽出部１４ｃは、抽出候補のフレームを１つ選択するたびに、次の処理を行う。すなわち、抽出部１４ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加しているか否かを判定する。抽出部１４ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加していると判定した場合には、次の処理を行う。すなわち、抽出部１４ｃは、抽出候補のフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。換言すると、抽出部１４ｃは、複数のフレームそれぞれが示す人物の動作の中から、抽出候補のフレームに含まれる人物が拍をとる動作を抽出する。そして、抽出部１４ｃは、上述した処理を、検出部１４ｂにより検出されたタイミングに対応する全てのフレームに対して行う。

例えば、所定数が「４」であり、図６の例のグラフが示すように取得部１４ａによりフレーム番号と背景差分量とが対応付けられた場合について説明する。この場合、抽出部１４ｃは、フレーム番号「２１」のフレームからフレーム番号「２５」のフレームまでの背景差分量が減少し、フレーム番号「２５」のフレームからフレーム番号「２９」のフレームまでの背景差分量が増加しているので、次の処理を行う。すなわち、抽出部１４ｃは、フレーム番号「２５」のフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。また、抽出部１４ｃは、複数のフレームそれぞれが示す人物の動作の中から、フレーム番号「２５」のフレームに含まれる人物が拍をとる動作を抽出する。なお、上述した所定数は、抽出候補のフレームより前のフレームに対する所定数と、抽出候補のフレームより後のフレームに対する所定数とで、異なる値が設定されることとしても良い。例えば、抽出候補のフレームより前のフレームに対する所定数を「５」とし、抽出候補のフレームより後のフレームに対する所定数を「１」とする態様などが考えられる。

そして、抽出部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングである時間と、「とる」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。また、抽出部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングでない時間と、「とらない」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。このようにして、各種の情報が登録されたタイミングデータ１３ｂは、例えば、人物が拍をとるタイミングが示す人物のリズムを評価する際に用いられる。そして、抽出部１４ｃは、全てのフレームそれぞれについて、拍をとるタイミングである時間と「とる」とを対応付けるか、拍をとるタイミングでない時間と「とらない」とを対応付けてタイミングデータ１３ｂに登録すると、次の処理を行う。すなわち、抽出部１４ｃは、全てのフレームについて拍をとるタイミングに関するデータをタイミングデータ１３ｂに登録したことを示す登録情報を送信する。なお、抽出部１４ｃは、１つのフレームについて、拍をとるタイミングである時間と「とる」とを対応付けるか、拍をとるタイミングでない時間と「とらない」とを対応付けてタイミングデータ１３ｂに登録するたびに、拍をとるタイミングに関するデータをタイミングデータ１３ｂに登録したことを示す登録情報を送信することもできる。この場合には、後述の評価部１４ｄによる評価がリアルタイムで行われる。

図７は、タイミングデータが示す人物が拍をとるタイミングをプロットしたグラフの一例を示す図である。なお、図７の横軸は時間（秒）を示し、縦軸は拍をとるかとらないかを示す。図７の例では、０．３秒間隔で、人物が拍をとるタイミングであるか否かがプロットされる。例えば、図７の例では、連続する９つのフレームごとに、９つのフレームが撮像されたタイミングの中に、人物が拍をとるタイミングがある場合には、「とる」の位置に丸印がプロットされ、人物が拍をとるタイミングがない場合には、丸印がプロットされない。図７の例では、例えば、時間「４．３秒」に対応して「とる」の位置に丸印がプロットされている。これは、時間が４．０秒から４．３秒までの１／３０秒ごとの時間に対応する９つのフレームの中に、人物が拍をとるタイミングがあることを示す。また、図７の例では、例えば、時間「４．６秒」に対応して丸印がプロットされていない。これは、時間が４．３秒から４．６秒までの１／３０秒ごとの時間に対応する９つのフレームの中に、人物が拍をとるタイミングがないことを示す。他の時間についても同様である。なお、図７はタイミングデータを概念的に示した一例であり、適宜、図７以外の態様をとることが可能である。

評価部１４ｄは、複数のフレームに基づいて抽出される、フレームに含まれる人物が拍をとる動作または拍をとるタイミングが示すテンポと、基準テンポとの比較に応じて、人物の動作のテンポに関する評価を行う。また、評価部１４ｄは、再生される曲（音楽）から抽出されるテンポと、曲の再生に応じて歌う人物を撮像対象に含むフレームから取得される人物のリズムを取るタイミングとに基づいて、人物の動作に関する評価を行なう。

評価部１４ｄの一態様について説明する。評価部１４ｄは、抽出部１４ｃから送信された登録情報を受信すると、タイミングデータ１３ｂから、人物が拍をとるタイミングの時間を取得する。

そして、評価部１４ｄは、音情報から基準テンポを取得する。例えば、評価部１４ｄは、カラオケボックスに設けられた図示しないマイクにより集音された、再生された曲に合わせて歌を歌うとともにダンスを行う人物の音声や再生された曲などの音情報に対して、次の処理を行う。すなわち、評価部１４ｄは、ビートトラッキングやリズム認識といった技術を用いて基準テンポを取得する。ビートトラッキングやリズム認識として、例えば、非特許文献（“電子情報通信学会『知識の森』２群−９編−２章 ２−４ オーディオアライメント・ビートトラッキング・リズム認識”、［Online］，［平成２５年１２月１７日検索］、インターネット＜http://www.ieice-hbkb.org/portal/doc＿557.html＞）に記載の技術を用いることができる。また、評価部１４ｄは、再生された曲に対応するＭＩＤＩデータから、基準テンポを取得することもできる。そして、評価部１４ｄは、取得した基準テンポを音楽テンポデータ１３ｃとして記憶部１３に格納する。

そして、評価部１４ｄは、音楽テンポデータ１３ｃが示す基準テンポにおける拍のタイミングと、タイミングデータ１３ｂから取得した人物が拍をとるタイミングとを比較する。

例えば、評価部１４ｄは、人物が拍をとるタイミングを基準として、タイミングを比較する。図８は、人物が拍をとるタイミングを基準とした場合のタイミングの比較方法の一例を示す図である。図８の例は、人物が拍をとるタイミングが示すテンポと、基準テンポとを示す。なお、図８中、上段の丸印は、人物が拍をとるタイミングを示し、下段の丸印は、基準テンポにおける拍のタイミングを示す。図８の例において、評価部１４ｄは、人物が拍をとるタイミングのそれぞれについて、基準テンポにおける拍のタイミングのうち最も時間的に近いタイミングとの差を算出し、差の大きさに応じて点数を算出し、算出した点数をスコアに加算する。例えば、評価部１４ｄは、差が「０」秒（第１の閾値）である場合には、「Ｅｘｃｅｌｌｅｎｔ！」として２点を評価のスコアに加算する。また、評価部１４ｄは、差が「０」秒より大きく、「０．２」秒（第２の閾値）以下である場合には、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。また、評価部１４ｄは、差が「０．２」秒より大きい場合には、「Ｂａｄ！」として−１点を評価のスコアに加算する。評価部１４ｄは、人物が拍をとる全てのタイミングについて、差を算出し、差に対応する点数をスコアに加算する。なお、スコアは、評価処理を開始する時点では、０点である。また、第１の閾値および第２の閾値は上述の値に限られず、第１の閾値および第２の閾値として任意の値を採用することができる。

図８の例では、評価部１４ｄは、人物が拍をとるタイミング（２２．２秒）と、基準テンポにおける拍のタイミング（２２．３秒）との差「０．１秒」を算出し、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。また、評価部１４ｄは、人物が拍をとるタイミング（２３．５秒）と、基準テンポにおける拍のタイミング（２３．２秒）との差「０．３秒」を算出し、「Ｂａｄ！」として−１点を評価のスコアに加算する。また、評価部１４ｄは、人物が拍をとるタイミング（２４秒）と、基準テンポにおける拍のタイミング（２４秒）との差「０秒」を算出し、「Ｅｘｃｅｌｌｅｎｔ！」として２点を評価のスコアに加算する。

また、評価部１４ｄは、基準テンポにおける拍のタイミングを基準として、タイミングを比較することもできる。図９は、基準テンポにおける拍のタイミングを基準とした場合のタイミングの比較方法の一例を示す図である。図９の例は、人物が拍をとるタイミングが示すテンポと、基準テンポとを示す。なお、図９中、上段の丸印は、基準テンポにおける拍のタイミングを示し、下段の丸印は、人物が拍をとるタイミングを示す。図９の例において、評価部１４ｄは、基準テンポにおける拍のタイミングのそれぞれについて、人物が拍をとるタイミングのうち最も時間的に近いタイミングとの差を算出し、差の大きさに応じて点数を算出し、算出した点数をスコアに加算する。例えば、評価部１４ｄは、差が「０」秒（第１の閾値）である場合には、「Ｅｘｃｅｌｌｅｎｔ！」として２点を評価のスコアに加算する。また、評価部１４ｄは、差が「０」秒より大きく、「０．２」秒（第２の閾値）以下である場合には、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。また、評価部１４ｄは、差が「０．２」秒より大きい場合には、「Ｂａｄ！」として−１点を評価のスコアに加算する。評価部１４ｄは、基準テンポにおける全ての拍のタイミングについて、差を算出し、差に対応する点数をスコアに加算する。なお、スコアは、評価処理を開始する時点では、０点である。また、第１の閾値および第２の閾値は上述の値に限られず、第１の閾値および第２の閾値には任意の値を採用することができる。

図９の例では、評価部１４ｄは、基準テンポにおける拍のタイミング（２２．２秒）と、人物が拍をとるタイミング（２２．３秒）との差「０．１秒」を算出し、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。また、評価部１４ｄは、基準テンポにおける拍のタイミング（２２．５秒）に対応する、人物が拍をとるタイミングがないため、「Ｂａｄ！」として−１点を評価のスコアに加算する。また、評価部１４ｄは、基準テンポにおける拍のタイミング（２３秒）と、人物が拍をとるタイミング（２３秒）との差「０秒」（無し）を算出し、「Ｅｘｃｅｌｌｅｎｔ！」として２点を評価のスコアに加算する。また、評価部１４ｄは、基準テンポにおける拍のタイミング（２３．５秒）に対応する、人物が拍をとるタイミングがないため、「Ｂａｄ！」として−１点を評価のスコアに加算する。また、評価部１４ｄは、基準テンポにおける拍のタイミング（２４秒）と、人物が拍をとるタイミング（２３．８秒）との差「０．２秒」を算出し、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。なお、図９の例において、評価に用いる基準テンポが示すタイミングとしてさらに、音情報から取得されたタイミング間の間、いわゆる裏拍のタイミングを追加しても良い。これにより、裏拍のタイミングで拍をとる人物のリズムを適切に評価することができる。また、音情報から取得されたタイミング（表拍）と比較して、裏拍をとる難易度が高いことを考慮し、人物が拍をとるタイミングが裏拍と一致した場合に加算される点数を、表拍と一致した場合に加算される点数より高くする態様としても良い。

そして、評価部１４ｄは、人物が拍をとる全てのタイミング、または、基準テンポにおける全ての拍のタイミングについて、点数をスコアに加算した場合には、スコアを用いて評価を算出する。例えば、評価部１４ｄは、スコアをそのまま評価としてもよいし、下記の式（１）に基づいて、１００点満点となるように採点点数を算出し、採点点数を評価としてもよい。

上記の式（１）では、「基本の点数」は、例えば、５０点等のように、最低限取得できる点数を示す。また、「拍数」は、人物が拍をとる全てのタイミング、または、基準テンポにおける全ての拍のタイミングの数を示す。また、「Ｅｘｃｅｌｌｅｎｔの点数」は、「２」を示す。したがって、式（１）では、分数の項の分母が取得可能な最大のスコアとなり、全てのタイミングが「Ｅｘｃｅｌｌｅｎｔ！」と判定されれば１００点となる。また、式（１）では、全てのタイミングが「Ｂａｄ！」と判定された場合でも５０点となるので、ダンスを行う人物のモチベーションを保つことができる。

また、評価部１４ｄは、式（１）を用いた場合には、人物が拍をとるタイミングと、基準テンポに示されるタイミングとの差が所定の値より小さいタイミングの数が多くなることに応じて、スコアの値が高くなるようにスコアを算出することができる。これにより、人物が拍をとるタイミングと、基準テンポに示されるタイミングとが合っているかという観点から、人物の動作のテンポを評価することができる。

そして、評価部１４ｄは、算出した評価を評価データ１３ｄとして記憶部１３に格納するとともに、出力制御部１４ｅに送信する。

出力制御部１４ｅは、評価の結果である評価結果を出力するように制御する。例えば、出力制御部１４ｅは、評価結果が出力部１２から出力されるように、評価結果を出力部１２に送信する。

制御部１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）などの回路により実現されるようにしてもよい。

［処理の流れ］
次に、実施例１に係る評価装置１０が実行する処理の流れについて説明する。図１０は、実施例１に係る評価処理の手順を示すフローチャートである。実施例に係る評価処理は、例えば、入力部１１から、評価処理を実行するための指示が制御部１４に入力された場合に、制御部１４により実行される。

図１０に示すように、取得部１４ａは、記憶部１３に記憶された動画像データ１３ａを取得する（Ｓ１）。そして、取得部１４ａは、複数のフレームそれぞれについて、背景差分量を人物の動作量として取得し、背景差分量とフレーム番号とを対応付ける（Ｓ２）。

そして、検出部１４ｂは、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する（Ｓ３）。そして、抽出部１４ｃは、検出部１４ｂにより検出されたタイミングに基づいて、フレームに含まれる人物が拍をとる動作または拍をとるタイミングを抽出する（Ｓ４）。

そして、抽出部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングである時間と、「とる」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する。また、抽出部１４ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングでない時間と、「とらない」とを対応付けて、図３に示すようなタイミングデータ１３ｂに登録する（Ｓ５）。そして、評価部１４ｄは、評価を行う（Ｓ６）。そして、出力制御部１４ｅは、評価結果が出力部１２から出力されるように、評価結果を出力部１２に送信し（Ｓ７）、評価処理を終了する。

上述してきたように、評価装置１０は、複数のフレームに基づいて抽出される、フレームに含まれる人物が拍をとる動作または拍をとるタイミングが示すテンポと、基準テンポとの比較に応じて、人物の動作のテンポに関する評価を出力する。すなわち、評価装置１０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い認識処理を行うことなく、人物が拍をとるタイミングを抽出し、人物の動作のテンポを評価する。したがって、評価装置１０によれば、簡易に人物の動作のテンポを評価することができる。

また、評価装置１０は、式（１）を用いた場合には、人物が拍をとるタイミングと、基準テンポに示されるタイミングとの差が所定の値より小さいタイミングの数が多くなることに応じて、スコアの値が高くなるようにスコアを算出する。したがって、評価装置１０によれば、人物が拍をとるタイミングと、基準テンポに示されるタイミングとが合っているかという観点から、人物の動作のテンポを評価することができる。

また、上記実施例１では、人物が拍をとるタイミングと基準テンポに示されるタイミングとが一致しているかどうかの評価を行ったが、評価装置は、これに限定されない。例えば、評価装置は、時間を複数の区間に区切って、区間毎に、人物が拍をとるタイミングの数と基準テンポに示されるタイミングの数とが一致しているかどうかの評価を行うようにしてもよい。

そこで、区間毎に、人物が拍をとるタイミングの数と基準テンポに示されるタイミングの数とが一致しているかどうかの評価を行う実施の形態につき、実施例２として以下に説明する。なお、上記実施例１の評価装置１０と同一の構成には、同一符号を付すことで、その重複する構成の説明については省略する。実施例２の評価装置２０が実施例１と異なるところは、区間毎に、人物が拍をとるタイミングの数と基準テンポに示されるタイミングの数とが一致しているかどうかの評価を行う点にある。

図１１は、実施例２の評価装置の構成の一例を示すブロック図である。実施例２の評価装置２０は、実施例１の評価装置１０と比べ、評価部１４ｄに代えて評価部２４ｄを有する点が異なる。

評価部２４ｄは、複数のフレームに基づいて抽出される、フレームに含まれる人物が拍をとる動作または拍をとるタイミングが示すテンポと、基準テンポとの比較に応じて、人物の動作のテンポに関する評価を行う。また、評価部２４ｄは、再生される曲（音楽）から抽出されるテンポと、曲の再生に応じて歌う人物を撮像対象に含むフレームから取得される人物のリズムを取るタイミングとに基づいて、人物の動作に関する評価を行なう。

評価部２４ｄの一態様について説明する。評価部２４ｄは、抽出部１４ｃから送信された登録情報を受信すると、タイミングデータ１３ｂから、人物が拍をとるタイミングの時間を取得する。

そして、評価部２４ｄは、実施例１の評価部１４ｄと同様に、音情報から基準テンポを取得する。そして、評価部２４ｄは、取得した基準テンポを音楽テンポデータ１３ｃとして記憶部１３に格納する。

そして、評価部２４ｄは、時間を複数の区間に区切って、区間ごとに、音楽テンポデータ１３ｃが示す基準テンポにおける拍のタイミングの数と、タイミングデータ１３ｂから取得した人物が拍をとるタイミングの数とを比較する。

図１２は、タイミングの数を比較する比較方法の一例を示す図である。図１２の例は、人物が拍をとるタイミングが示すテンポと、基準テンポとを示す。なお、図１２中、上段の丸印は、人物が拍をとるタイミングを示し、下段の丸印は、基準テンポにおける拍のタイミングを示す。図１２の例において、評価部２４ｄは、幅が３秒である区間ごとに、基準テンポにおける拍のタイミングの数と、人物が拍をとるタイミングの数との差を算出し、差の大きさに応じて点数を算出し、算出した点数をスコアに加算する。例えば、評価部２４ｄは、差が「０」（第３の閾値）である場合には、「Ｅｘｃｅｌｌｅｎｔ！」として２点を評価のスコアに加算する。また、評価部２４ｄは、差が「１」（第４の閾値）である場合には、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。また、評価部２４ｄは、差が「２」（第５の閾値）以上である場合には、「Ｂａｄ！」として−１点を評価のスコアに加算する。評価部２４ｄは、全ての区間において、差を算出し、差に対応する点数をスコアに加算する。なお、スコアは、評価処理を開始する時点では、０点である。また、第３の閾値、第４の閾値および第５の閾値は上述の値に限られず、第３の閾値、第４の閾値および第５の閾値には任意の値を採用することができる。

図１２の例では、評価部２４ｄは、２１秒以上２４秒未満の区間において、人物が拍をとるタイミング（２２．５秒，２３．２秒）の数「２」と、基準テンポにおける拍のタイミング（２１．５秒，２３．７秒）の数「２」との差「０」を算出し、「Ｅｘｃｅｌｌｅｎｔ！」として２点を評価のスコアに加算する。また、評価部２４ｄは、２４秒以上２７秒未満の区間において、人物が拍をとるタイミング（２４．２秒，２５．２秒）の数「２」と、基準テンポにおける拍のタイミング（２４．２秒）の数「１」との差「１」を算出し、「Ｇｏｏｄ！」として１点を評価のスコアに加算する。また、評価部２４ｄは、２７秒以上３０秒未満の区間において、人物が拍をとるタイミング（２７．６秒，２８．１秒）の数「２」と、基準テンポにおける拍のタイミング（２７．６秒，２７．７秒，２８秒，２８．３秒）の数「４」との差「２」を算出し、「Ｂａｄ！」として−１点を評価のスコアに加算する。

そして、評価部２４ｄは、全ての区間において点数をスコアに加算した場合には、スコアを用いて評価を算出する。例えば、評価部２４ｄは、スコアをそのまま評価としてもよいし、下記の式（２）に基づいて、１００点満点となるように採点点数を算出し、採点点数を評価としてもよい。

上記の式（２）では、「基本の点数」は、例えば、５０点等のように、最低限取得できる点数を示す。また、「区間数」は、区間の数を示す。また、「Ｅｘｃｅｌｌｅｎｔの点数」は、「２」を示す。したがって、式（２）では、分数の項の分母が取得可能な最大のスコアとなり、全てのタイミングが「Ｅｘｃｅｌｌｅｎｔ！」と判定されれば１００点となる。また、式（２）では、全てのタイミングが「Ｂａｄ！」と判定された場合でも５０点となるので、ダンスを行う人物のモチベーションを保つことができる。

また、評価部２４ｄは、式（２）を用いた場合には、人物が拍をとるタイミングと、基準テンポに示されるタイミングとの差が小さくなることに応じて、スコアの値が高くなるようにスコアを算出することができる。これにより、曲のリズムとずれて拍をとるような、人物の動作のテンポを精度良く評価することができる。

そして、評価部２４ｄは、算出した評価を評価データ１３ｄとして記憶部１３に格納するとともに、出力制御部１４ｅに送信する。

上述してきたように、評価装置２０は、複数のフレームに基づいて抽出される、フレームに含まれる人物が拍をとる動作または拍をとるタイミングが示すテンポと、基準テンポとの比較に応じて、人物の動作のテンポに関する評価を出力する。すなわち、評価装置２０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い認識処理を行うことなく、人物が拍をとるタイミングを抽出し、人物の動作のテンポを評価する。したがって、評価装置２０によれば、簡易に人物の動作のテンポを評価することができる。

また、評価装置２０は、式（２）を用いた場合には、人物が拍をとるタイミングと、基準テンポに示されるタイミングとの差が小さくなることに応じて、スコアの値が高くなるようにスコアを算出することができる。これにより、曲のリズムとずれて拍をとるような、いわゆる裏拍をとるような人物の動作のテンポを精度良く評価することができる。

また、上記実施例２では、区間毎に、人物が拍をとるタイミングの数と基準テンポに示されるタイミングの数とが一致しているかどうかの評価を行ったが、評価装置は、これに限定されない。例えば、評価装置は、人物の動きの量と、基準テンポが示す曲調とが合っているかどうかの評価を行うようにしてもよい。ここで、曲調とは、曲の調子を指し、例えば、「激しい」や「ゆっくり」などで表現される。

そこで、区間毎に、人物の動きの量と、基準テンポが示す曲調とが合っているかどうかの評価を行う実施の形態につき、実施例３として以下に説明する。なお、上記実施例１の評価装置１０および実施例２の評価装置２０と同一の構成には、同一符号を付すことで、その重複する構成の説明については省略する。実施例３の評価装置３０が実施例１および実施例２と異なるところは、人物の動きの量と、基準テンポが示す曲調とが合っているかどうかの評価を行う点にある。

図１３は、実施例３の評価装置の構成の一例を示すブロック図である。実施例３の評価装置３０は、実施例２の評価装置２０と比べ、評価部２４ｄに代えて評価部３４ｄを有する点が異なる。また、実施例３の評価装置３０は、実施例２の評価装置２０と比べ、記憶部１３が、複数のフレームそれぞれについて、背景差分量と、フレームが撮像されたタイミングとが対応付けられた動作量データ１３ｅを記憶する点が異なる。

実施例３の取得部１４ａは、実施例１で説明した取得部１４ａが実行する各処理に加えて、複数のフレームそれぞれについて、背景差分量と、フレームが撮像されたタイミングとが対応付けられた動作量データ１３ｅを記憶部１３に格納する処理を実行する。

評価部３４ｄは、区間ごとに、背景差分量が示す人物の動きの量と、基準テンポが示す曲調とが合っているかどうかの評価を行う。

評価部３４ｄの一態様について説明する。評価部３４ｄは、抽出部１４ｃから送信された登録情報を受信すると、動作量データ１３ｅから、複数のフレームそれぞれの背景差分量とフレームが撮像されたタイミングとを取得する。

そして、評価部３４ｄは、実施例１の評価部１４ｄと同様に、音情報から基準テンポを取得する。そして、評価部３４ｄは、取得した基準テンポを音楽テンポデータ１３ｃとして記憶部１３に格納する。

そして、評価部３４ｄは、時間を複数の区間に区切って、区間ごとに、背景差分量の総量を算出する。そして、評価部３４ｄは、全区間のうち、背景差分量の総量が上位１／３の区間については、人物の動きが激しいと考えられるため、「激しい」という特徴を対応付ける。また、評価部３４ｄは、全区間のうち、背景差分量の総量が下位１／３の区間については、人物の動きがゆっくりであると考えられるため、「ゆっくり」という特徴を対応付ける。また、評価部３４ｄは、全区間のうち、残りの１／３の区間については、人物の動きが普通であると考えられるため、「普通」という特徴を対応付ける。なお、このような特徴の対応付けを行なうことで、人物ごとに、その人物の場合では動きが激しい、あるいはゆっくりといった特徴が対応付けられる。これにより、例えばもともと運動量の多い人物と運動量の少ない人物とで評価結果が変動するといった、運動量の個人差による評価結果の変動を抑止することができる。このようにして、評価部３４ｄは、区間毎に、人物の動きの特徴を設定する。

そして、評価部３４ｄは、区間ごとに、基準テンポにおける拍の数を算出する。そして、評価部３４ｄは、全区間のうち、拍の数が上位１／３の区間については、曲調が激しいと考えられるため、「激しい」という特徴を対応付ける。また、評価部３４ｄは、全区間のうち、拍の数が下位１／３の区間については、曲調がゆっくりであると考えられるため、「ゆっくり」という特徴を対応付ける。また、評価部３４ｄは、全区間のうち、残りの１／３の区間については、曲調が普通であると考えられるため、「普通」という特徴を対応付ける。このようにして、評価部３４ｄは、区間毎に、曲調の特徴を設定する。

そして、評価部３４ｄは、全区間について、人物の動きの特徴と、曲調の特徴とを比較する。図１４は、人物の動きの特徴と、曲調の特徴との比較方法の一例を示す図である。図１４の例は、背景差分量の時系列データ７１と、基準テンポにおける拍のタイミングの時系列データ７２とを示す。なお、図１４中、背景差分量の時系列データ７１が示す背景差分量の値は、実際の値に１／１００００を乗じた値となっている。また、図１４中、時系列データ７２は、値が「１」をとる時間が、基準テンポにおける拍のタイミングを示し、値が「０」をとる時間が、拍のタイミングでないことを示す。図１４の例において、評価部３４ｄは、幅が３秒である区間ごとに、人物の動きの特徴と曲調の特徴とが一致するか否かを判定する。評価部３４ｄは、全ての区間において、人物の動きの特徴と曲調の特徴とが一致するか否かを判定する。

図１４の例では、評価部３４ｄは、５４秒以上５７秒未満の区間において、人物の動きの特徴「激しい」と曲調の特徴「激しい」とが一致すると判定する。また、評価部３４ｄは、５７秒以上６０秒未満の区間において、人物の動きの特徴「ゆっくり」と曲調の特徴「普通」とが一致しないと判定する。

そして、評価部３４ｄは、全ての区間において人物の動きの特徴と曲調の特徴とが一致するか否かを判定した場合には、人物の動きの量と、基準テンポが示す曲調とが合っているかどうかの評価を算出する。例えば、評価部３４ｄは、全区間のうち、特徴が一致した区間の数をそのまま評価としてもよいし、下記の式（３）に基づいて、１００点満点となるように採点点数を算出し、採点点数を評価としてもよい。

上記の式（３）では、「基本の点数」は、例えば、５０点等のように、最低限取得できる点数を示す。式（３）では、全ての区間において、特徴が一致していると判定されれば１００点となる。また、式（３）では、全ての区間において、特徴が一致していないと判定された場合でも５０点となるので、ダンスを行う人物のモチベーションを保つことができる。

そして、評価部３４ｄは、算出した評価を評価データ１３ｄとして記憶部１３に格納するとともに、出力制御部１４ｅに送信する。

上述してきたように、評価装置３０は、複数のフレームに基づいて抽出される、人物の動作量と、基準テンポとの比較に応じて、人物の動作に関する評価を出力する。すなわち、評価装置３０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い認識処理を行うことなく、人物の動作量を抽出し、人物の動作を評価する。したがって、評価装置３０によれば、簡易に人物の動作を評価することができる。

また、評価装置３０は、式（３）を用いた場合には、動きの特徴と曲調の特徴が一致する区間の数が多くなることに応じて、スコアの値が高くなるようにスコアを算出することができる。これにより、曲調に合わせてダンスを行う人物の動作を評価することができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

例えば、評価装置１０，２０，３０（以下、単に評価装置と表記する場合がある）は、カラオケボックス内に設けられたカラオケ装置と連動して、人物のリズムを抽出することもできる。例えば、評価装置１０，２０は、カラオケ装置と連動して、リアルタイムで人物のリズムを抽出することができる。ここでリアルタイムとは、例えば、入力されたフレームに対して逐次処理を行ない、順次処理結果を出力する態様を含む。図１５は、評価装置とカラオケ装置が連動した場合のシステムの一例を示す図である。図１５の例に示すシステム４０は、カラオケ装置４１と、マイク４２と、カメラ４３と、モニタ４４と、評価装置とを有する。カラオケ装置４１は、カラオケを行う人物９１に対して、人物９１により指定された曲を再生して図示しないスピーカから出力する。これにより、人物９１は、マイク４２を用いて再生された曲を歌うことができ、曲に合わせてダンスを行うことができる。また、カラオケ装置４１は、曲の再生を開始するタイミングで、評価装置に、曲の再生を開始するタイミングであることを示すメッセージを通知する。また、カラオケ装置４１は、曲の再生を終了するタイミングで、評価装置に、曲の再生を終了するタイミングであることを示すメッセージを通知する。

評価装置は、曲の再生を開始するタイミングであることを示すメッセージを受信すると、カメラ４３に対して、撮像を開始する指示を送信する。カメラ４３は、撮像を開始する指示を受信すると、撮像範囲内に存在する人物９１の撮像を開始し、撮像により得られた動画像データ１３ａのフレームを次々と評価装置に送信する。

また、マイク４２によって集音された、再生された曲に合わせて歌を歌うとともにダンスを行う人物の音声や再生された曲などの音情報は、カラオケ装置４１を介して、次々と評価装置に送信される。なお、かかる音情報は、動画像データ１３ａのフレームと並行して出力される。

評価装置は、カメラ４３から送信されたフレームを受信すると、受信したフレームに対して上述した各種の処理を施して、人物９１が拍をとるタイミングを抽出し、タイミングデータ１３ｂに各種の情報を登録する。また、評価装置は、受信したフレームに対して上述した各種の処理を施して、動作量データ１３ｅを生成することもできる。そして、評価装置は、カラオケ装置４１から音情報を受信すると、受信した音情報から基準テンポを取得する。そして、評価装置は、上述した評価を行い、評価結果をカラオケ装置４１に送信する。

カラオケ装置４１は、評価結果を受信すると、受信した評価結果をモニタ４４に表示させる。これにより、人物９１は、評価結果を把握することができる。なお、評価装置が、評価装置１０または評価装置２０である場合には、リアルタイムで評価結果をモニタ４４に表示させることができる。したがって、評価装置が、評価装置１０または評価装置２０である場合におけるシステム２０によれば、迅速に評価結果を出力することができる。

そして、評価装置は、カラオケ装置４１から曲の再生を終了するタイミングであることを示すメッセージが通知されると、カメラ４３に対して、撮像を停止する指示を送信する。カメラ４３は、撮像を停止する指示を受信すると、撮像を停止する。

上述したように、システム４０において、評価装置は、カラオケボックス内に設けられたカラオケ装置４１と連動して、評価結果を出力することができる。

また、カラオケボックス外に設けられたサーバが、評価装置が有する各種の機能と同様の機能を備え、このサーバが、評価結果を出力することもできる。図１６は、サーバを有するシステムの一例を示す図である。図１６の例に示すシステム５０は、カラオケ装置５１と、マイク５２と、カメラ５３と、サーバ５４と、携帯端末５５とを有する。カラオケ装置５１は、カラオケを行う人物９１に対して、人物９１により指定された曲を再生して図示しないスピーカから出力する。これにより、人物９１は、マイク５２を用いて再生された曲を歌うことができ、曲に合わせてダンスを行うことができる。また、カラオケ装置５１は、曲の再生を開始するタイミングで、カメラ５３に対して、撮像を開始する指示を送信する。また、カラオケ装置５１は、曲の再生を終了するタイミングで、カメラ５３に対して、撮像を停止する指示を送信する。

カメラ５３は、撮像を開始する指示を受信すると、撮像範囲内に存在する人物９１の撮像を開始し、撮像により得られた動画像データ１３ａのフレームを次々とカラオケ装置５１に送信する。カラオケ装置５１は、カメラ５３から送信されたフレームを受信すると、受信したフレームを次々と、ネットワーク８０を介して、サーバ５４に送信する。また、カラオケ装置５１は、マイク５２によって集音された、再生された曲に合わせて歌を歌うとともにダンスを行う人物の音声や再生された曲などの音情報を次々と、ネットワーク８０を介して、サーバ５４に送信する。なお、かかる音情報は、動画像データ１３ａのフレームと並行して出力される。

サーバ５４は、カラオケ装置５１から送信されたフレームに対して、上述した評価装置による各種の処理と同様の処理を施して、人物９１が拍をとるタイミングを抽出し、タイミングデータ１３ｂに各種の情報を登録する。また、評価装置は、受信したフレームに対して上述した各種の処理を施して、動作量データ１３ｅを生成することもできる。そして、評価装置は、カラオケ装置４１から音情報を受信すると、受信した音情報から基準テンポを取得する。そして、評価装置は、上述した評価を行い、評価結果を、ネットワーク８０および基地局８１を介して、人物９１が保有する携帯端末５５に送信する。

携帯端末５５は、評価結果を受信すると、受信した評価結果を携帯端末５５のディスプレイに表示させる。これにより、人物９１は、人物９１が保有する携帯端末５５から評価結果を把握することができる。

また、各種の負荷や使用状況などに応じて、実施例において説明した各処理の各ステップでの処理を任意に細かくわけたり、あるいはまとめたりすることができる。また、ステップを省略することもできる。

また、各種の負荷や使用状況などに応じて、実施例において説明した各処理の各ステップでの処理の順番を変更できる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、実施例に記載のカメラ４３をカラオケ装置４１と接続し、カラオケ装置４１を介して評価装置と通信可能とすることとしても良い。また例えば、実施例に記載したカラオケ装置４１と評価装置の機能が、単一のコンピュータにより実現されることとしても良い。

［評価プログラム］
また、上記の各実施例で説明した評価装置１０，２０，３０の各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図１７を用いて、上記の実施例１〜３のうちいずれかの実施例で説明した評価装置と同様の機能を有する評価プログラムを実行するコンピュータの一例を説明する。図１７は、評価プログラムを実行するコンピュータを示す図である。

図１７に示すように、コンピュータ３００は、ＣＰＵ３１０と、ＲＯＭ（Read Only Memory）３２０と、ＨＤＤ（Hard Disk Drive）３３０と、ＲＡＭ（Random Access Memory）３４０と、入力装置３５０と、出力装置３６０とを有する。これら各機器３１０〜３６０は、バス３７０を介して接続されている。

ＲＯＭ３２０には、ＯＳ（Operating System）などの基本プログラムが記憶されている。また、ＨＤＤ３３０には、上記の実施例で示す取得部１４ａ、検出部１４ｂ、抽出部１４ｃ、評価部１４ｄ，２４ｄまたは３４ｄ、出力制御部１４ｅと同様の機能を発揮する評価プログラム３３０ａが予め記憶される。また、ＨＤＤ３３０には、動画像データ１３ａとタイミングデータ１３ｂと音楽テンポデータ１３ｃと評価データ１３ｄと動作量データ１３ｅとが予め記憶される。

ＣＰＵ３１０は、評価プログラム３３０ａをＨＤＤ３３０から読み出して実行する。ＣＰＵ３１０は、ＨＤＤ３３０から動画像データ１３ａとタイミングデータ１３ｂと音楽テンポデータ１３ｃと評価データ１３ｄと動作量データ１３ｅとを読み出してＲＡＭ３４０に格納する。さらに、ＣＰＵ３１０は、ＲＡＭ３４０に格納された各種のデータを用いて、評価プログラム３３０ａを実行する。なお、ＲＡＭ３４０に格納されるデータは、常に全てのデータがＲＡＭ３４０に格納されなくともよい。処理に用いられるデータがＲＡＭ３４０に格納されれば良い。

なお、上記した評価プログラム３３０ａについては、必ずしも最初からＨＤＤ３３０に記憶させておく必要はない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に評価プログラム３３０ａを記憶させておく。そして、コンピュータ３００がこれらから評価プログラム３３０ａを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などに評価プログラム３３０ａを記憶させておく。そして、コンピュータ３００がこれらから評価プログラム３３０ａを読み出して実行するようにしてもよい。

１０ 評価装置
１３ 記憶部
１３ａ 動画像データ
１３ｂ タイミングデータ
１３ｃ 音楽テンポデータ
１３ｄ 評価データ
１３ｅ 動作量データ
１４ 制御部
１４ａ 取得部
１４ｂ 検出部
１４ｃ 抽出部
１４ｄ 評価部
１４ｅ 出力制御部
３００ コンピュータ
３３０ａ 評価プログラム

Claims (9)

1. コンピュータに、
   ダンスを行う人物を連続的に撮像した動画像の各フレームから、前記人物の動作量が一時的に低下するタイミングを、前記人物が拍をとるタイミングとして抽出し、前記動画像の撮像時間を複数の区間に区切った所定区間ごとに、前記動画像を撮像している際に再生される音情報に含まれる基準テンポにおける拍のタイミングの数と、前記人物が拍をとるタイミングの数とを比較して、前記人物の動作のテンポに関する評価を出力する、
   ことを実行させることを特徴とする評価プログラム。
2. 前記基準テンポとして、前記動画像と並行して出力される音情報に基づき取得されるテンポを含む、
   ことを特徴とする請求項１記載の評価プログラム。
3. 前記コンピュータに、
   抽出された前記タイミングについて、前記基準テンポに示されるタイミングとの差が所定の値より小さいタイミングの数が多くなることに応じて、前記評価のスコアが高くなるように制御する、
   ことを実行させることを特徴とする請求項１または２に記載の評価プログラム。
4. 前記コンピュータに、
   抽出された前記タイミングが示すテンポと、前記基準テンポとの差が小さくなることに応じて、前記評価のスコアが高くなるように制御する、
   ことを実行させることを特徴とする請求項１〜３のいずれか１項に記載の評価プログラム。
5. コンピュータが、
   ダンスを行う人物を連続的に撮像した動画像の各フレームから、前記人物の動作量が一時的に低下するタイミングを、前記人物が拍をとるタイミングとして抽出し、前記動画像の撮像時間を複数の区間に区切った所定区間ごとに、前記動画像を撮像している際に再生される音情報に含まれる基準テンポにおける拍のタイミングの数と、抽出した人物が拍をとるタイミングの数とを比較して、前記人物の動作のテンポに関する評価を出力する、
   ことを実行することを特徴とする評価方法。
6. ダンスを行う人物を連続的に撮像した動画像の各フレームから、前記人物の動作量が一時的に低下するタイミングを、前記人物が拍をとるタイミングとして抽出し、前記動画像の撮像時間を複数の区間に区切った所定区間ごとに、前記動画像を撮像している際に再生される音情報に含まれる基準テンポにおける拍のタイミングの数と、抽出した人物が拍をとるタイミングの数とを比較して、前記人物の動作のテンポに関する評価を出力する出力部
   を有することを特徴とする評価装置。
7. コンピュータに、
   再生される音楽を複数の区間に区切って、区間ごとに、前記再生される音楽から該再生される音情報に含まれる基準テンポにおける拍のタイミングの数と、前記音楽の再生に応じて歌う人物を撮像対象に含む撮像画像から該歌う人物の拍を取るタイミングの数とを同一の区間からそれぞれ抽出し、該抽出されたそれぞれの拍のタイミングの数の差に基づいて、該歌う人物の動作に関する評価を行ない、
   該評価の結果を出力する、
   ことを実行させることを特徴とする評価プログラム。
8. コンピュータが、
   再生される音楽を複数の区間に区切って、区間ごとに、前記再生される音楽から該再生される音情報に含まれる基準テンポにおける拍のタイミングの数と、前記音楽の再生に応じて歌う人物を撮像対象に含む撮像画像から該歌う人物の拍を取るタイミングの数とを同一の区間からそれぞれ抽出し、該抽出されたそれぞれの拍のタイミングの数の差に基づいて、該歌う人物の動作に関する評価を行ない、
   該評価の結果を出力する、
   ことを実行することを特徴とする評価方法。
9. 再生される音楽を複数の区間に区切って、区間ごとに、前記再生される音楽から該再生される音情報に含まれる基準テンポにおける拍のタイミングの数と、前記音楽の再生に応じて歌う人物を撮像対象に含む撮像画像から該歌う人物の拍を取るタイミングの数とを同一の区間からそれぞれ抽出し、該抽出されたそれぞれの拍のタイミングの数の差に基づいて、該歌う人物の動作に関する評価を行なう評価部と、
   該評価の結果を出力する出力部と、
   を有することを特徴とする評価装置。

Images