JP5050445B2 - 動画再生装置及び動画再生方法 - Google Patents

Description

本発明は、動画再生装置及び動画再生方法に関し、たとえば、ゴルフのスイング等を撮影した二つの動画を同時に再生して見比べることができる動画再生装置及び動画再生方法に関する。

従来のこの種の動画再生装置としては、たとえば、下記の特許文献１に記載された「画像記録再生装置及びその画像記録再生方法」が知られている。以下、この技術を従来技術１ということにすると、この従来技術１では、二つの動画の各々の再生開始点を人為的に指定し、各画像の再生開始点を揃えて同時に再生するようにしている。したがって、二つの画像を、たとえば、手本となるインストラクターの動画と比較対称のレッスン対象者の動画とすれば、両者のスイングの違い等を視覚的に見分けることができ、効果的なレッスンを行うことができる。

上記の従来技術１の欠点は、二つの動画の再生開始点を“人為的”に指定するので、手間がかかって面倒を否めない点にある。そこで、下記の特許文献２に記載された「動画像の再生方法及び動画像の再生システム」では、以下のとおり、再生開始点の指定を自動的に行うようにしている。以下、この技術を従来技術２ということにする。

すなわち、従来技術２では、動画Ａの参照フレームに対する動画Ｂの各フレームの類似度を算出すると共に、この類似度に基づいて動画Ｂの被参照フレームを決定し、前記参照フレームと前記被参照フレームとをそれぞれ再生開始点として、それらの再生開始点から動画Ａと動画Ｂとを同時に再生するようにしている。

ここで、従来技術２における「類似度」は、類似度算出部（文献中の類似度算出部２１を参照）によって算出される。この類似度算出部では、二つの動画の各フレームの色の特徴から類似度Ｓを算出している。また、１フレームの音の強弱データについての絶対差分値から類似度Ｓを求めてよい旨の記載もある。

特開平１０−１４５７２４号公報 特開平８−１０６５４３号公報

しかしながら、上記の従来技術２にあっては、再生開始点の指定を自動的に行うことができ、手間を軽減して操作の簡略化を図ることができる点で優れているものの、以下の点で解決すべき問題点がある。

たとえば、ゴルフのスイングにおいては、アドレス、バックスイング、ダウンスイング、インパクト、フォロースイングといったいくつかの過程を辿り、各々の過程毎に二つの画像間の同期を取らなければならないものの、色の特徴は、これらの過程でそれほど大きく変化しないため、過程毎のシーンを特定することができない。したがって、二つの動画の、たとえば、インパクトの瞬間を取り出してそれらを同期させることができない。

なお、従来技術２においては、「音の強弱データについての絶対差分値から類似度Ｓを求める」旨の記載があり、この記載から、大きな音が記録されたフレーム同士を同期させることができると解されるが、「大きな音」はインパクトの音だけでなく、その他の音（歓声や拍手等の雑音）も含まれるので、「音の強弱データ」だけでは、必ずしもインパクトの瞬間等の期待したシーンの同期効果を得ることができない。

そこで、本発明は、動画と一緒に記録された音響データの特徴パラメータを抽出し、その特徴パラメータの類似度に基づいて二つの動画の同期再生を行うようにした動画再生装置及び動画再生方法を提供することにある。

請求項１記載の発明は、被写体の特定の動作が予め記録された複数の音声付き動画ファイルを入力する入力手段と、前記複数の音声付き動画ファイルの前記特定の動作時に発生した音の音響データにおける複数種の特徴パラメータを夫々抽出する抽出手段と、前記抽出手段によって夫々抽出された複数種の特徴パラメータにラベル付けし、該ラベルの情報からなる、当該音声付き動画ファイルに対応した音響ラベルファイルを複数生成する生成手段と、前記複数の音声付き動画ファイルのフレームを同期させて再生するために、前記入力手段によって入力された複数の音声付き動画ファイルと、前記生成手段によって生成された音声付き動画ファイルに各々対応する複数の音響ラベルファイルとを対応付けて記憶する記憶手段と、前記記憶手段により記憶された複数の音響ラベルファイルに基づいて、前記複数の音声動画付きファイルを同期させて再生する同期再生手段と、を備えたことを特徴とする。
請求項２記載の発明は、請求項１記載の動画再生装置であって、前記同期再生手段は、前記複数の音響ラベルに基づいて、一方の音声動画付きファイルの再生速度に合わせるように他方の音声動画付きファイルをフレーム間引きやフレーム補間をすることにより、前記複数の音声付き動画ファイルを同期させて再生することを特徴とする。
請求項３記載の発明は、被写体の特定の動作が予め記録された複数の音声付き動画ファイルを入力する入力工程と、前記複数の音声付き動画ファイルの前記特定の動作時に発生した音の音響データにおける複数種の特徴パラメータを抽出する抽出工程と、前記抽出工程によって夫々抽出された複数種の特徴パラメータにラベル付けし、該ラベルの情報からなる、当該音声付き動画ファイルに対応した音響ラベルファイルを複数生成する生成工程と、前記複数の音声付き動画ファイルのフレームを同期させて再生するために、前記入力工程によって入力された複数の音声付き動画ファイルと、前記生成工程によって生成された前記複数の音声付き動画ファイルに各々対応する複数の音響ラベルファイルとを対応付けて記憶する記憶工程と、前記記憶手段により記憶された複数の音響ラベルファイルに基づいて、前記複数の音声動画付きファイルを同期させて再生する同期再生工程と、を含むことを特徴とする。

本発明では、動画と一緒に記録された音響データの類似度から複数の動画の同期再生を行うようにしたので、たとえば、ゴルフのレッスンビデオ等の動画再生に適用した場合には、インストラクターの動画とレッスン対象者の動画の双方について、インパクト音やスイングの風切り音等を手がかりにして、これら二つの動画を同期させて同時再生することが可能となる。

以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、実施形態における動画再生装置の構成図である。この図において、動画再生装置１は、音声付き動画入力部２、音響ラベル作成部３、振り分け部４、手本データ記憶部５、比較データ記憶部６、データ読み出し部７、フレーム同期部８、合成動画再生部９、表示部１０及び音声出力部１１を備える。

各部の詳細を説明すると、まず、音声付き動画入力部２は、たとえば、ゴルフのスイング等を撮影した音声付きの動画ファイルを取り込むための部分であり、具体的には、ビデオカメラ、あるいは、それに相当する機能を有する部分である。又は、別途にビデオカメラ等で撮影された音声付き動画ファイルを記録するハードディスク等の蓄積手段、もしくは、ネットワーク等の通信手段を介して当該音声付き動画ファイルを取り込む部分である。

この音声付き動画入力部２によって入力される「音声付き動画ファイル」は、少なくとも次の二つの動画である。すなわち、一の動画は手本となる音声付き手本動画であり、二の動画は、この音声付き手本動画と比較される音声付き比較動画である。ここで、ゴルフスイングを例にすると、上記の一の動画（音声付き手本動画）は、インストラクター等のスイングを音声付きで記録した動画であり、二の動画（音声付き比較動画）は、レッスン対象者のスイングを音声付きで記録した動画である。

上記の音声付き動画入力部２によって入力された音声付き動画ファイル（音声付き手本動画ファイルと音声付き比較動画ファイル）は、音響ラベル作成部３と振り分け部４に供給される。

音響ラベル作成部３は、予め音響ラベルを付された音響サンプルを有している。
図２は、動画ファイルと音響ラベルの概念図である。この図において、上段には、左から右へと時間順に並ぶ動画ファイルの各フレーム画像が描かれている。ここでは、ゴルフスイングの動画ファイルを例にしており、この場合、各フレーム画像は、アドレス、バックスイング、ダウンスイング、インパクト、フォロースルーなどの過程に分けることができる。

同図において、中段には、動画と一緒に記録された音響データの波形が模式的に示されている。この波形は、ほぼ背景ノイズだけの無音部分と、たとえば、ゴルフクラブの風切り音やインパクト瞬間の打球音などからなる有音部分とからなる。

たとえば、図示の例では、アドレスからバックスイング完了までの無音部分が「ラベル１」としてラベル付けされている。また、続くダウンスイングの風切り音が「ラベル２」としてラベル付けされている。さらに、インパクトの打球音が「ラベル３」としてラベル付けされている。また、インパクト直後のフォロースルーの風切り音が「ラベル４及びラベル５」としてラベル付けされている。そして、最後のフォロースルーの無音部分が「ラベル６」としてラベル付けされている。

これらのラベル名は、一つの音響データにつき重複しない名前であればよく、図示の例のような連番（“ラベル１”〜“ラベル６”）であってもよいが、各々の特徴パラメータの意味を表す、人為的に入力された明示的名称又はそれに相当する文字列であってもよい。たとえば、図示の例では、ラベル１の明示的名称として“ｓｉｌＡ”、ラベル２の明示的名称として“ｓｗｉｎｇ”、ラベル３の明示的名称として“ｉｍｐａｃｔ”、ラベル４の明示的名称として“ｃｌｕｂＡ”、ラベル５の明示的名称として“ｃｌｕｂＢ”、ラベル６の明示的名称として“ｓｉｌＢ”が付加されている。これらの明示的名称の意味は、“ｓｉｌＡ”と“ｓｉｌＢ”が無音を表し、“ｓｗｉｎｇ”がダウンスイングの風切り音、“ｉｍｐａｃｔ”がインパクト音、“ｃｌｕｂＡ”と“ｃｌｕｂＢ”がそれぞれインパクト直後の風切り音を表している。

音声ラベル作成部３は、このようなラベル付けをされた多数の音響サンプルに対して音声分析を行うことにより各ラベルに対応する特徴パラメータを抽出し、入力されたラベル無し音響データについてこれらの特徴パラメータに対応する箇所を探索して対応する部分にラベル付けを行う機能を有している。

ここで、音声分析手法、つまり、音響データに対する特徴パラメータの抽出手法としては、たとえば、フィルタバンク分析（filter bank analysis）や線形予測符号化（linear
predictive cording）などの様々な手法が知られている。音響ラベル作成部３に適用する手法としては、特にそれに限定されないが、たとえば、フィルタバンク分析を使用することにすると、この分析手法では、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）によるスペクトルを元に、メルスケール上に等間隔に配置された帯域フィルタバンクの出力を抽出し、この出力を対数変換して、逆フーリエ変換することによってＭＦＣＣ（メル周波数ケプストラム係数：Mel Frequency Cepstrum Coefficient）と呼ばれる、音響データに対する特徴パラメータを抽出する。

このように音響ラベル作成部３は、供給された動画の音響データの特徴パラメータを抽出し、対応する音響ラベルファイルを生成する。この音響ラベルファイルは、供給された動画（音声付き手本動画ファイル５ａと音声付き比較動画ファイル６ａ）の各々について一つずつ生成される。すなわち、音声付き手本動画ファイル５ａの音響ラベルファイル（以下、手本音響ラベルファイル５ｂ）と、音声付き比較動画ファイル６ａの音響ラベルファイル（以下、比較音響ラベルファイル６ｂ）とが生成される。

振り分け部４は、上記の音声付き動画入力部２によって入力された音声付き動画ファイル（音声付き手本動画ファイル５ａ／音声付き比較動画ファイル６ａ）と、上記の音響ラベル作成部３によって生成された音響ラベルファイル（手本音響ラベルファイル５ｂ／比較音響ラベルファイル６ｂ）とを、ユーザ指定に基づいて、それぞれ手本データ記憶部５と比較データ記憶部６に振り分けて供給する部分である。

すなわち、ユーザ指定が「手本動画」である場合には、上記の音声付き動画入力部２によって入力された音声付き動画ファイル（この場合は音声付き手本動画ファイル５ａ）と、上記の音響ラベル作成部３によって生成された音響ラベルファイル（この場合は手本音響ラベルファイル５ｂ）とを手本データ記憶部５に供給し、一方、ユーザ指定が「比較動画」である場合には、上記の音声付き動画入力部２によって入力された音声付き動画ファイル（この場合は音声付き比較動画ファイル６ａ）と、上記の音響ラベル作成部３によって生成された音響ラベルファイル（この場合は比較音響ラベルファイル６ｂ）とを比較データ記憶部６に供給する。

手本データ記憶部５と比較データ記憶部６は、いずれもハードディスクや不揮発性半導体記憶装置あるいは磁気ディスク等から構成された大容量の記憶装置である。なお、図では、手本データ記憶部５と比較データ記憶部６を別体として描いているが、これは、手本データの記憶空間と比較データの記憶空間が各々独立していればよいことを概念的に示したものであり、必ずしも物理的に別体となっている必要はない。

データ読み出し部７は、ユーザによる再生指示に応答して、手本データ記憶部５と比較データ記憶部６から手本データと比較データとを読み出す部分であり、読み出された手本データと比較データは、フレーム同期部８に供給される。

フレーム同期部８は、手本データ記憶部５と比較データ記憶部６から読み出された手本データ及び比較データに基づいて、二つの動画（音声付き手本動画ファイル５ａ／音声付き比較動画ファイル６ａ）のフレーム同期を取る部分であり、このフレーム同期は、各々の動画ファイル５ａ、６ａに対応した音響ラベルファイル５ｂ、６ｂの特徴パラメータを比較照合することによって行われる。

図３は、音響ラベルファイルの概念図であり、（ａ）は手本音響ラベルファイル５ｂを示し、（ｂ）は比較音響ラベルファイル６ｂを示している。図において、特に限定しないが、手本音響ラベルファイル５ｂと比較音響ラベルファイル６ｂは、それぞれ前記のラベル１〜６の順番に沿った６つの行からなるテキストファイルである。各行の書式は「Ｆｓ Ｆｅ Ｌｎａｍｅ」であり、ＦｓとＦｅは、その音響ラベルに対応する動画ファイルのフレーム番号、Ｌｎａｍｅはラベル名（たとえば、前記の明示的名称）である。ただし、Ｆｓは、そのＬｎａｍｅで示された音の開始フレーム番号であり、Ｆｅは、そのＬｎａｍｅで示された音の終了フレーム番号である。

たとえば、手本音響ラベルファイル５ｂの１行目は「０ ３８ ｓｉｌＡ」となっており、この意味は、音声付き手本動画ファイル５ａにおけるラベル名“ｓｉｌＡ”に対応したフレームは“フレーム０”から“フレーム３８”までであることを示している。同様に、手本音響ラベルファイル５ｂの２行目は「３８ ５２ ｓｗｉｎｇ」となっており、この意味は、音声付き手本動画ファイル５ａにおけるラベル名“ｓｗｉｎｇ”に対応したフレームは“フレーム３８”から“フレーム５２”までであることを示している。

このことは、比較音響ラベルファイル６ｂについても同じであり、たとえば、比較音響ラベルファイル６ｂの１行目は「０ ５２ ｓｉｌＡ」となっており、この意味は、音声付き比較動画ファイル６ａにおけるラベル名“ｓｉｌＡ”に対応したフレームは“フレーム０”から“フレーム５２”までであることを示している。同様に、比較音響ラベルファイル６ｂの２行目は「５２ ６４ ｓｗｉｎｇ」となっており、この意味は、音声付き比較動画ファイル６ａにおけるラベル名“ｓｗｉｎｇ”に対応したフレームは“フレーム５２”から“フレーム６４”までであることを示している。

図示の二つの音響ラベルファイル（手本音響ラベルファイル５ｂと比較音響ラベルファイル６ｂ）を見比べると、いずれも同一のラベル名が並んでおり、ラベル名毎の開始フレーム番号（Ｆｓ）と終了フレーム番号（Ｆｅ）の双方またはいずれか一方が相違している。前記のフレーム同期部８で、二つの音響ラベルファイルのラベル名を照合し、同一ラベル名行の開始フレーム番号（Ｆｓ）と終了フレーム番号（Ｆｅ）を、二つの動画ファイル（音声付き手本動画ファイル５ａ／音声付き比較動画ファイル６ａ）で一致させるように各動画ファイルのフレームを同期させることにより、二つの動画ファイルの注目フレーム（たとえば、インパクトの瞬間等）を同時に再生することが可能になる。

図４は、フレーム同期の概念図である。この図において、縦軸は基準側動画のフレーム番号ｉ、横軸は再生速度調整側動画のフレーム番号ｊを示している。たとえば、基準側動画を音声付き手本動画ファイル５ａとし、再生速度調整側動画を音声付き比較動画ファイル６ａとすると、この場合、音声付き手本動画ファイル５ａの注目フレーム（たとえば、インパクトの瞬間）と音声付き比較動画ファイル６ａの当該注目フレームとが一致するように、音声付き比較動画ファイル６ａの再生速度が調節（フレーム間引きやフレーム補間）される。

図において、図中の実線は再生速度を調整しない場合のものであり、この場合、基準側動画の再生フレーム番号と再生速度調整側動画の再生フレーム番号とが一対一に対応している。一方、図中の一点鎖線は再生速度を調整した場合のものであり、この場合、たとえば、基準側動画のフレーム４を再生中、再生速度調整側動画のフレーム５が再生されており、以降同様に、基準側動画のフレーム５→再生速度調整側動画のフレーム６、基準側動画のフレーム６→再生速度調整側動画のフレーム７、基準側動画のフレーム７→再生速度調整側動画のフレーム８・・・・というように、再生速度調整側動画のフレーム番号が一つずれて再生されている。

このように、フレーム同期部８においては、基準側動画のフレーム番号ｉに対して、再生速度調整側動画のフレーム番号ｊを同期して再生するように指定するが、これらのｉやｊは、もっぱら、音声付き手本動画ファイル５ａと音声付き比較動画ファイル６ａの音響データに対する特徴パラメータ（前記のラベル１〜６参照）に基づいて決定される。つまり、簡単に言えば、音声付き手本動画ファイル５ａの注目フレーム（たとえば、インパクトの瞬間）と音声付き比較動画ファイル６ａの当該注目フレームとが一致するように、ｉ及びｊが決定されるのである。

合成動画再生部９は、フレーム同期部８によって決定されたｉ及びｊに基づき、音声付き手本動画ファイル５ａと音声付き比較動画ファイル６ａの各フレームを一つの画面に合成して再生する。表示部１０は、その合成画像を表示し、音声出力部１１は、基準側動画（音声付き手本動画ファイル５ａ又は音声付き比較動画ファイル６ａ）の音響データを出力する。

図５は、合成画像の表示例を示す図であり、左側に手本画像が右側に比較画像が同時に表示されている。この表示例で示すように、本実施形態では、動画と一緒に記録された音響データの特徴パラメータ抽出を行い、その特徴パラメータの類似度から二つの動画の同期をとるようにしたので、たとえば、注目すべきインパクトの瞬間を一つの画面に同時に表示することができるようになり、インストラクターのスイングとレッスン対象者のスイングとを見比べることができ、より効果的なレッスンを行うことができるようになる。

なお、以上の説明では、ゴルフレッスンに適用する例を示したが、この用途に限定されない。要は、時間軸上の要所要所で特徴的な音を発する様々な動画の比較であれば、如何なるものであっても適用することが可能である。

また、以上の説明では、複数の音声付き比較動画ファイル（ゴルフレッスンを例にすれば、インストラクター毎の複数の音声付き比較動画ファイル）を収集し、それらを総合的に分析して、一つの比較音響ラベルファイル６ｂを生成しているが、これに限定されない。予め分析を外部で済ませ、その結果の特徴パラメターのみを持つようにしてもよい。この場合、図１の音響ラベル作成部３の分析に相当する機能を有する任意の外部機器（たとえば、パーソナルコンピュータ等）において、上記の分析処理を行うようにしてもよい。

実施形態における動画再生装置の構成図である。 動画ファイルと音響ラベルの概念図である。 音響ラベルファイルの概念図である。 フレーム同期の概念図である。 合成画像の表示例を示す図である。

符号の説明

１ 動画再生装置
２ 音声付き動画入力部（入力手段）
３ 音響ラベル作成部（抽出手段、生成手段）
５ 手本データ記憶部（記憶手段）
５ａ 音声付き手本動画ファイル（音声付き動画ファイル）
５ｂ 手本音響ラベルファイル（音響ラベルファイル）
６ 比較データ記憶部（記憶手段）
６ａ 音声付き比較動画ファイル（音声付き動画ファイル）
６ｂ 比較音響ラベルファイル（音響ラベルファイル）
８ フレーム同期部（同期再生手段）
９ 合成画像再生部（同期再生手段）

Claims (3)

1. 被写体の特定の動作が予め記録された複数の音声付き動画ファイルを入力する入力手段と、
   前記複数の音声付き動画ファイルの前記特定の動作時に発生した音の音響データにおける複数種の特徴パラメータを夫々抽出する抽出手段と、
   前記抽出手段によって夫々抽出された複数種の特徴パラメータにラベル付けし、該ラベルの情報からなる、当該音声付き動画ファイルに対応した音響ラベルファイルを複数生成する生成手段と、
   前記複数の音声付き動画ファイルのフレームを同期させて再生するために、前記入力手段によって入力された複数の音声付き動画ファイルと、前記生成手段によって生成された音声付き動画ファイルに各々対応する複数の音響ラベルファイルとを対応付けて記憶する記憶手段と、
   前記記憶手段により記憶された複数の音響ラベルファイルに基づいて、前記複数の音声動画付きファイルを同期させて再生する同期再生手段と、
   を備えたことを特徴とする動画再生装置。
2. 前記同期再生手段は、前記複数の音響ラベルに基づいて、一方の音声動画付きファイルの再生速度に合わせるように他方の音声動画付きファイルをフレーム間引きやフレーム補間をすることにより、前記複数の音声付き動画ファイルを同期させて再生することを特徴とする請求項１記載の動画再生装置。
3. 被写体の特定の動作が予め記録された複数の音声付き動画ファイルを入力する入力工程と、
   前記複数の音声付き動画ファイルの前記特定の動作時に発生した音の音響データにおける複数種の特徴パラメータを抽出する抽出工程と、
   前記抽出工程によって夫々抽出された複数種の特徴パラメータにラベル付けし、該ラベルの情報からなる、当該音声付き動画ファイルに対応した音響ラベルファイルを複数生成する生成工程と、
   前記複数の音声付き動画ファイルのフレームを同期させて再生するために、前記入力工程によって入力された複数の音声付き動画ファイルと、前記生成工程によって生成された前記複数の音声付き動画ファイルに各々対応する複数の音響ラベルファイルとを対応付けて記憶する記憶工程と、
   前記記憶手段により記憶された複数の音響ラベルファイルに基づいて、前記複数の音声動画付きファイルを同期させて再生する同期再生工程と、
   を含むことを特徴とする動画再生方法。
   

Images