JP5885025B2 - 信号処理装置、信号処理方法、およびプログラム、並びに電子機器 - Google Patents
信号処理装置、信号処理方法、およびプログラム、並びに電子機器 Download PDFInfo
- Publication number
- JP5885025B2 JP5885025B2 JP2012039766A JP2012039766A JP5885025B2 JP 5885025 B2 JP5885025 B2 JP 5885025B2 JP 2012039766 A JP2012039766 A JP 2012039766A JP 2012039766 A JP2012039766 A JP 2012039766A JP 5885025 B2 JP5885025 B2 JP 5885025B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- feature amount
- unit
- signal processing
- synchronization information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
本技術は、信号処理装置、信号処理方法、およびプログラム、並びに電子機器に関し、特に、複数の装置のそれぞれにおいて、コンテンツに対する制御を同期させて行うことができるようにした信号処理装置、信号処理方法、およびプログラム、並びに電子機器に関する。
近年、同一のイベントの画像や音響を複数の取得手段で取得し、その結果得られる複数のコンテンツを同期して再生する方法が考えられている。なお、コンテンツとは、ここでは、音響データ、画像データ、画像データとそれに対応する音響データなどを指す。
このような方法としては、例えば、被写体を撮影し、音響を録音する撮影端末が、撮影端末の録音環境とは異なる環境で音響を録音する録音端末から音響を受信し、撮影端末で撮影された画像と録音端末で録音された音響を同期して再生する方法が考案されている（例えば、特許文献１参照）。また、複数の撮影手段と複数の音響入力手段を備える撮影装置が、各撮影手段で撮影された動画像を、音響同期により合成して再生する方法もある（例えば、特許文献２参照）。
しかしながら、単一の撮影装置で、同一のイベントの複数のコンテンツを同期させて再生する場合、複数のコンテンツに対するデコード等の処理を同時に行う必要があり、処理負荷が大きい。従って、同一のイベントの複数のコンテンツは、それぞれ、異なる装置で同期して再生されることが望ましい。
一方、単一のコンテンツを複数の装置で再生する方法としては、例えば、装置が接近した場合に、そのコンテンツのチャンネル情報、画像出力に関する設定、音響出力に関する設定等を装置間で通信し、その設定に応じてコンテンツを再生する方法がある（例えば、特許文献３参照）。
上述したように、同一のイベントの複数のコンテンツは、それぞれ、異なる装置で同期して再生されることが望ましいが、複数の装置のそれぞれにおいて、コンテンツに対する制御を同期させて行うことは考えられていなかった。
本技術は、このような状況に鑑みてなされたものであり、複数の装置のそれぞれにおいて、コンテンツに対する制御を同期させて行うことができるようにするものである。
本技術の第１の側面の信号処理装置は、第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、複数の前記第１のコンテンツまたは複数の前記第２のコンテンツの一方のそれぞれごとに、前記第１のコンテンツの前記第１の特徴量データと、前記第２のコンテンツの前記第２の特徴量データの類似度を計算する類似度計算部と、前記類似度計算部により計算された前記類似度に基づいて、前記複数の第１のコンテンツまたは前記複数の第２のコンテンツの一方のうちの１つを再生対象として指定する再生指定情報を生成する再生指定情報生成部とを備える信号処理装置である。
本技術の第１の側面の信号処理方法、プログラム、および電子機器は、本技術の第１の側面の信号処理装置に対応する。
本技術の第１の側面においては、第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データが算出され、他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データが受信され、前記第１の特徴量データと前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報が生成され、前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報が生成され、複数の前記第１のコンテンツまたは複数の前記第２のコンテンツの一方のそれぞれごとに、前記第１のコンテンツの前記第１の特徴量データと、前記第２のコンテンツの前記第２の特徴量データの類似度が計算され、前記類似度に基づいて、前記複数の第１のコンテンツまたは前記複数の第２のコンテンツの一方のうちの１つを再生対象として指定する再生指定情報が生成される。
本技術の第２の側面の信号処理装置は、第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、複数の前記第１のコンテンツのうちの１つと、複数の前記第２のコンテンツのうちの１つからなる複数の組み合わせごとに、前記第１の特徴量データと前記第２の特徴量データの類似度を計算する類似度計算部と、前記類似度計算部により計算された前記類似度に基づいて、前記複数の組み合わせのうちの、再生対象として推薦する１以上の組み合わせを示す推薦リストを作成する推薦リスト作成部とを備える信号処理装置である。
本技術の第２の側面の信号処理方法、プログラム、および電子機器は、本技術の第２の側面の信号処理装置に対応する。
本技術の第２の側面においては、第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データが算出され、他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データが受信され、前記第１の特徴量データと前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報が生成され、前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報が生成され、複数の前記第１のコンテンツのうちの１つと、複数の前記第２のコンテンツのうちの１つからなる複数の組み合わせごとに、前記第１の特徴量データと前記第２の特徴量データの類似度が計算され、前記類似度に基づいて、前記複数の組み合わせのうちの、再生対象として推薦する１以上の組み合わせを示す推薦リストが作成される。
本技術によれば、複数の装置のそれぞれにおいて、コンテンツに対する制御を同期させて行うことができる。
＜第１実施の形態＞
[信号処理システムの第１実施の形態の概要の説明]
図１および図２は、本技術を適用した信号処理システムの第１実施の形態の概要を説明する図である。
[信号処理システムの第１実施の形態の概要の説明]
図１および図２は、本技術を適用した信号処理システムの第１実施の形態の概要を説明する図である。
図１に示すように、信号処理システム１０は、信号処理装置１１と信号処理装置１２により構成される。
信号処理装置１１と信号処理装置１２は、ビデオカメラ等により構成される。信号処理装置１１と信号処理装置１２は、それぞれ、同一のイベントの異なる動画像を撮影し、音響を取得する。図１の例では、同一のイベントがランニングしている女性である。また、信号処理装置１１は、そのイベントを左方向から撮影して音響を取得し、信号処理装置１２は、そのイベントを右方向から撮影して音響を取得している。
このようにして得られた動画像と音響のコンテンツは、それぞれ、そのコンテンツが得られた信号処理装置１１または信号処理装置１２に記憶される。なお、この２つのコンテンツは、同一のイベントのコンテンツであるが、撮影開始時刻等が異なることにより、基本的には、時間的な同期がとれていない。従って、この２つのコンテンツを同時に再生する場合、時間的な同期をとる必要がある。
信号処理装置１１のユーザは、２つのコンテンツを同時に再生する場合、図２に示すように、例えば、信号処理装置１１に表示される再生ボタン２１、一時停止ボタン２２、再生位置スクロール２３、エフェクトボタン２４などを操作する。
再生ボタン２１は、再生の開始を指令するときに操作されるボタンである。ユーザにより再生ボタン２１が操作されると、信号処理装置１１は、信号処理装置１１における再生対象のコンテンツＡの再生を開始する。また、信号処理装置１１は、コンテンツＡの再生開始位置に対応する、信号処理装置１２における再生対象のコンテンツＢの位置を再生の開始位置として示す再生開始制御情報を信号処理装置１２に送信する。これにより、信号処理装置１２は、コンテンツＡの再生開始位置の時間的な同期位置からコンテンツＢの再生を開始することができる。
そして、コンテンツＡとコンテンツＢの再生中には、信号処理装置１２は、コンテンツＢの再生位置を信号処理装置１１に送信する。信号処理装置１１は、コンテンツＢの再生位置を信号処理装置１２から受信し、コンテンツＡとコンテンツＢの再生位置に基づいて、コンテンツＡとコンテンツＢの同期のずれが閾値以上であるかどうかを判定する。信号処理装置１１は、コンテンツＡとコンテンツＢの同期のずれが閾値以上であると判定された場合、コンテンツＡとコンテンツＢが同期するようにコンテンツＡの再生位置を変更する。
一時停止ボタン２２は、再生の一時停止を指令するときに操作されるボタンである。ユーザにより一時停止ボタン２２が操作されると、信号処理装置１１は、コンテンツＡの再生を一時停止する。また、信号処理装置１１は、再生の一時停止時のコンテンツＡの再生位置に対応するコンテンツＢの位置を再生の一時停止位置として示す再生一時停止制御情報を信号処理装置１２に送信する。これにより、信号処理装置１２は、コンテンツＡの再生一時停止位置の時間的な同期位置で、コンテンツＢの再生を一時停止することができる。
再生位置スクロール２３は、再生位置を変更するときに操作されるスクロールである。ユーザにより再生位置スクロール２３が操作されると、信号処理装置１１は、コンテンツＡの再生位置を変更する。また、信号処理装置１１は、コンテンツＡの変更後の再生位置に対応するコンテンツＢの位置を再生の変更位置として示す再生位置変更制御情報を信号処理装置１２に送信する。これにより、信号処理装置１２は、コンテンツＢの再生位置を、コンテンツＡの変更後の再生位置の時間的な同期位置に変更することができる。
エフェクトボタン２４は、再生中のコンテンツにエフェクトを施すときに操作されるボタンである。ユーザによりエフェクトボタン２４が操作されると、信号処理装置１１は、再生中のコンテンツＡにエフェクトを施す。また、信号処理装置１１は、コンテンツＡのエフェクトが施された位置に対応するコンテンツＢの位置を、エフェクトを施す位置として示すエフェクト制御情報を信号処理装置１２に送信する。これにより、信号処理装置１２は、コンテンツＡのエフェクトが施された位置の時間的な同期位置のコンテンツＢにエフェクトを施すことができる。その結果、よりエンターテイメント性の高い再生を行うことができる。
なお、ここでは、エフェクトボタン２４がエフェクトを施すときに操作されるものとしたが、エフェクトボタン２４は、エフェクトを開始および終了するときに操作されるものとしてもよい。この場合、エフェクトボタン２４が操作されてから次に操作されるまでの間コンテンツＡにエフェクトが施され、コンテンツＡのエフェクトが施された区間に対応するコンテンツＢの区間にエフェクトが施される。
また、エフェクトは、コンテンツの音響データまたは画像データのいずれか一方に施されてもよいし、両方に施されてもよい。画像データに対するエフェクトとしては、コントラストの変更、テロップの付加、所定の静止画像の重ね合わせ、ぼかし、モザイク、炎や雷などの画像の付加、色反転、ワイプインやワイプアウト、フェードインやフェードアウト、モノクロ化などがある。音響データに対するエフェクトとしては、エコーの付加、残響の付加などがある。
さらに、実際には、信号処理装置１２にも、再生ボタン２１、一時停止ボタン２２、再生位置スクロール２３、およびエフェクトボタン２４が表示され、操作されるが、ここでは、説明の便宜上、これらのボタンが信号処理装置１１においてのみ操作されるものとする。
［信号処理装置１１の構成例］
図３は、図２の信号処理装置１１の構成例を示すブロック図である。
図３は、図２の信号処理装置１１の構成例を示すブロック図である。
図３の信号処理装置１１は、取得部４０、記憶部４１、受付部４２、ファイル選択部４３、特徴量算出部４４、特徴量受信部４５、同期情報生成部４６、制御情報生成部４７、制御情報送信部４８、再生部４９、出力部５０、再生位置受信部５１、および要求部５２により構成される。
取得部４０は、CCD（Charge Coupled Device）カメラとマイク等により構成される。取得部４０は、受付部４２からの指令に応じて、被写体を撮影し、音響を取得する。取得部４０は、その結果得られる動画像と音響のコンテンツを記憶部４１に供給する。
記憶部４１は、取得部４０から供給されるコンテンツをファイルとして記憶する。
受付部４２は、ユーザからの指令を受け付ける。具体的には、受付部４２は、ユーザからの撮影開始の指令を受け付け、その指令を取得部４０に供給する。また、受付部４２は、ユーザからの再生対象とするコンテンツＡのファイルの指令を受け付け、そのファイルを再生対象のファイルとしてファイル選択部４３と要求部５２に通知する。さらに、受付部４２は、ユーザが、再生ボタン２１、一時停止ボタン２２、再生位置スクロール２３、またはエフェクトボタン２４を操作することにより行う指令を受け付け、その指令を制御情報生成部４７、再生部４９、および要求部５２に供給する。
ファイル選択部４３は、受付部４２からの通知にしたがって、記憶部４１から再生対象のファイルのコンテンツＡを読み出し、特徴量算出部４４と再生部４９に供給する。
特徴量算出部４４は、ファイル選択部４３から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出し、同期情報生成部４６に供給する。
特徴量受信部４５は、信号処理装置１２から送信されてくるコンテンツＢの特徴量の時系列データを受信し、同期情報生成部４６に供給する。
同期情報生成部４６は、特徴量算出部４４からのコンテンツＡの特徴量の時系列データと、特徴量受信部４５からのコンテンツＢの特徴量の時系列データに基づいて、コンテンツＡとコンテンツＢを同期する際に用いられる同期情報を生成する。同期情報生成部４６は、同期情報を制御情報生成部４７と再生部４９に供給する。
制御情報生成部４７は、同期情報生成部４６から供給される同期情報、受付部４２から供給される指令等に基づいて、コンテンツＢに対する制御情報を生成する。具体的には、制御情報生成部４７は、同期情報と再生ボタン２１の操作に対応する指令とに基づいて、再生開始制御情報を生成する。また、制御情報生成部４７は、同期情報、一時停止ボタン２２の操作に対応する指令、および再生部４９から供給される一時停止位置に基づいて、再生一時停止制御情報を生成する。
制御情報生成部４７は、同期情報、再生位置スクロール２３の操作に対応する指令、および再生部４９から供給される変更後の再生位置に基づいて、再生位置変更制御情報を生成する。制御情報生成部４７は、同期情報、エフェクトボタン２４の操作に対応する指令、および再生部４９から供給される再生位置に基づいて、エフェクト制御情報を生成する。
制御情報生成部４７は、生成された再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、またはエフェクト制御情報を制御情報送信部４８に供給する。
制御情報送信部４８は、制御情報生成部４７から供給される再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、またはエフェクト制御情報を信号処理装置１２に送信する。
再生部４９は、受付部４２から供給される指令に基づいて、ファイル選択部４３から供給されるコンテンツＡの再生を制御する。具体的には、再生部４９は、再生ボタン２１の操作に対応する指令に基づいて、コンテンツＡの再生処理を開始し、その結果得られるコンテンツＡの音響データと動画像データを出力部５０に供給する。ここで、再生処理とは、例えば、コンテンツＡの音響データと動画像データを分離する処理等である。なお、コンテンツＡがエンコードされて記憶されている場合、再生処理としてデコード処理も行われる。
また、再生部４９は、一時停止ボタン２２の操作に対応する指令に基づいて、コンテンツＡの再生処理を一時停止し、一時停止位置を制御情報生成部４７に供給する。再生部４９は、再生位置スクロール２３の操作に対応する指令に基づいて、コンテンツＡの再生処理における再生位置を変更し、変更後の再生位置を制御情報生成部４７に供給する。再生部４９は、エフェクトボタン２４の操作に対応する指令に基づいて、再生中のコンテンツＡに対してエフェクトを施し、エフェクトが施されたコンテンツＡの音響データと動画像データを出力部５０に供給する。また、再生部４９は、エフェクトを施したときの再生位置を制御情報生成部４７に供給する。
さらに、再生部４９は、コンテンツＡの再生位置、再生位置受信部５１から供給されるコンテンツＢの再生位置、および同期情報生成部４６から供給される同期情報に基づいて、コンテンツＡとコンテンツＢの同期のずれ量を計算する。再生部４９は、ずれ量が所定の閾値以上である場合、コンテンツＡの再生位置、コンテンツＢの再生位置、および同期情報に基づいて、コンテンツＡとコンテンツＢが同期するように、コンテンツＡの再生処理における再生位置を変更する。
出力部５０は、ディスプレイとスピーカ等により構成される。出力部５０のスピーカは、再生部４９から供給される音響データに対応する音響を出力する。また、出力部５０のディスプレイは、再生部４９から供給される動画像データに基づいて動画像を表示する。
再生位置受信部５１は、要求部５２による要求に応じて信号処理装置１２から送信されてくるコンテンツＢの再生位置を受信し、再生部４９に供給する。
要求部５２は、受付部４２から供給される指令に基づいて、コンテンツＡの再生中に、信号処理装置１２にコンテンツＢの再生位置を要求する。また、要求部５２は、受付部４２から供給される通知に応じて、コンテンツＢの特徴量の時系列データを信号処理装置１２に要求する。
なお、信号処理装置１１と信号処理装置１２の間の通信には、Wi-FiやBluetooth(登録商標)などを用いた無線通信、または有線通信を用いることができる。
[信号処理装置１２の構成例]
図４は、図２の信号処理装置１２の構成例を示すブロック図である。
図４は、図２の信号処理装置１２の構成例を示すブロック図である。
図４の信号処理装置１２は、取得部７０、記憶部７１、受付部７２、ファイル選択部７３、特徴量算出部７４、特徴量送信部７５、制御情報受信部７６、再生部７７、出力部７８、再生位置取得部７９、および再生位置送信部８０により構成される。
取得部７０は、CCDカメラとマイク等により構成される。取得部７０は、受付部７２からの指令に応じて、被写体を撮影し、音響を取得する。取得部７０は、その結果得られる動画像と音響のコンテンツを記憶部７１に供給する。
記憶部７１は、取得部７０から供給されるコンテンツをファイルとして記憶する。
受付部７２は、ユーザからの指令を受け付ける。具体的には、受付部７２は、ユーザからの撮影開始の指令を受け付け、その指令を取得部７０に供給する。また、受付部７２は、ユーザからの再生対象とするコンテンツＢのファイルの指令を受け付け、そのファイルを再生対象のファイルとしてファイル選択部７３に通知する。
ファイル選択部７３は、受付部７２からの通知にしたがって、記憶部７１から再生対象のファイルのコンテンツＢを読み出し、特徴量算出部７４と再生部７７に供給する。
特徴量算出部７４は、信号処理装置１１の要求部５２（図３）からの要求に応じて、ファイル選択部７３から供給されるコンテンツＢのうちの音響データに基づいて特徴量の時系列データを算出し、特徴量送信部７５に供給する。
特徴量送信部７５は、特徴量算出部７４から供給される特徴量の時系列データを信号処理装置１１に送信する。
制御情報受信部７６は、信号処理装置１１の制御情報送信部４８（図３）から送信されてくる、再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、またはエフェクト制御情報を受信し、再生部７７に供給する。
再生部７７は、制御情報受信部７６から供給される再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、またはエフェクト制御情報にしたがって、ファイル選択部７３から供給されるコンテンツＢの再生を制御する。
具体的には、再生部７７は、再生開始制御情報にしたがって、再生開始制御情報が示す再生の開始位置からコンテンツＢの再生処理を開始し、その結果得られるコンテンツＢの音響データと動画像データを出力部７８に供給する。再生部７７は、再生一時停止制御情報にしたがって、再生一時停止制御情報が示す再生の一時停止位置でコンテンツＢの再生処理を一時停止する。
また、再生部７７は、再生位置変更制御情報にしたがって、再生位置変更制御情報が示す再生の変更位置に、コンテンツＢの再生処理における再生位置を変更する。再生部７７は、エフェクト制御情報にしたがって、エフェクト制御情報が示すエフェクトを施す位置の再生処理後のコンテンツＢにエフェクトを施し、エフェクトが施されたコンテンツＢの音響データと動画像データを出力部７８に供給する。
出力部７８は、ディスプレイとスピーカ等により構成される。出力部７８のスピーカは、再生部７７から供給される音響データに対応する音響を出力する。また、出力部７８のディスプレイは、再生部７７から供給される動画像データに基づいて動画像を表示する。
再生位置取得部７９は、図３の要求部５２からの要求に応じて、再生部７７により再生中のコンテンツＢの位置を取得し、コンテンツＢの再生位置として再生位置送信部８０に供給する。
再生位置送信部８０は、再生位置取得部７９から供給されるコンテンツＢの再生位置を信号処理装置１１に送信する。
[特徴量算出部の構成例]
図５は、図３の特徴量算出部４４の構成例を示すブロック図である。なお、図示は省略するが、図４の特徴量算出部７４も、図５の特徴量算出部４４と同様に構成される。
図５は、図３の特徴量算出部４４の構成例を示すブロック図である。なお、図示は省略するが、図４の特徴量算出部７４も、図５の特徴量算出部４４と同様に構成される。
図５の特徴量算出部４４は、周波数帯域分割部１０１、周期性検出部１０２−１乃至１０２−４、周期性強度検出部１０３−１乃至１０３−４、周期性情報統合部１０４、およびピーク検出部１０５により構成される。
周波数帯域分割部１０１は、図３のファイル選択部４３から供給されるコンテンツＡのうちの音響データを、窓関数を用いて、数10msec乃至100msec程度の時間区間に分割する。周波数帯域分割部1０１は、複数のバンドパスフィルタを用いて、時間区間ごとの音響データを4つの周波数帯域に分割する。周波数帯域分割部１０１は、各周波数帯域の音響データを、周期性検出部１０２−１乃至１０２−４のそれぞれに供給する。
なお、ここでは、周波数帯域分割部１０１が音響データを4つの周波数帯域に分割するものとするが、分割数は4に限定されないし、音響データは帯域分割されなくてもよい。また、バンドパスフィルタとしては、例えばオクターブバンドフィルタなどの、高い周波数ほど通過周波数帯域幅が広くなるフィルタを用いると効果的である。
周期性検出部１０２−１乃至１０２−４は、それぞれ、周波数帯域分割部１０１から供給される所定の周波数帯域の時間区間ごとの音響データの自己相関関数を計算することにより、時間区間ごとの周期性情報を抽出する。
なお、ここでは、周期性情報として、インデックスがbである周波数帯域の、インデックスがτである時間遅れの音響データの自己相関関数x(b,τ)そのものを用いるが、自己相関関数x(b,τ)をx(b,0)で除算した値を用いることもできる。また、自己相関関数x(b,τ)の計算方法としては、所定の周波数帯域の音響データに対して離散フーリエ変換を行うことにより得られるスペクトルのピークを用いた方法などを用いることができる。
周期性検出部１０２−１乃至１０２−４は、それぞれ、抽出された時間区間ごとの周期性情報を周期性強度検出部１０３−１乃至１０３−４と周期性情報統合部１０４に供給する。なお、以下では、周期性検出部１０２−１乃至１０２−４を特に区別する必要がない場合、それらをまとめて周期性検出部１０２という。
周期性強度検出部１０３−１乃至１０３−４は、それぞれ、周期性検出部１０２−１乃至１０２−４から供給される時間区間ごとの周期性情報に基づいて、時間区間ごとの周期性の強度を計算する。具体的には、τ=0近傍以外のτにおける周期性情報である自己相関関数x(b, τ)の最大値が周期性の強度として計算される。この周期性の強度が大きいほど、処理対象の音響データの周期性が強く、周期性の強度が小さいほど、処理対象の音響データの周期性がノイズらしくなる。
そして、周期性強度検出部１０３−１乃至１０３−４は、それぞれ、時間区間ごとの周期性の強度を、閾値を超えたかどうかで2値化し、時間区間ごとの周期性強度情報とする。即ち、時間区間ごとに、周期性の強度が所定の閾値を超えた場合、周期性強度情報は1とされ、周期性の強度が所定の閾値以下である場合、周期性強度情報は0とされる。周期性強度検出部１０３−１乃至１０３−４は、それぞれ、時間区間ごとの周期性強度情報を周期性情報統合部１０４に供給する。
なお、周期性強度検出部１０３−１乃至１０３−４を特に区別する必要がない場合、それらをまとめて周期性強度検出部１０３という。
周期性情報統合部１０４は、周期性検出部１０２から供給される時間区間ごとの周期性情報と、周期性強度検出部１０３から供給される時間区間ごとの周期性強度情報とに基づいて、時間区間ごとの周期性情報を統合する周期性統合処理を行う。具体的には、周期性情報統合部１０４は、以下の式（１）を用いて時間区間ごとに周期性情報である自己相関関数x(b,τ)の総和を求める。
なお、式（１）において、Nbは周波数帯域の総数を表し、p(b)は周期性強度情報を表す。また、Npは周期性強度情報p(b)が1となる周波数帯域の数を表す。
周期性情報統合部１０４は、周期性統合処理の結果得られる時間区間ごとの周期性情報の総和S(τ)をピーク検出部１０５に供給する。
ピーク検出部１０５は、時間区間ごとに、周期性情報統合部１０４から供給される周期性情報の総和S(τ)に対してピーク検出を行い、ピーク位置τpの値が1となり、ピーク位置τp以外の値が0となるピーク情報P（τ）を生成する。ピーク検出方法としては、例えば、周期性情報の総和S(τ)の微分値が正から負に変わるときのインデックスτを、ピーク位置τpとして検出する方法がある。
なお、ピーク検出部１０５は、ピーク位置τpの周期性情報の総和S(τp)が、所定の閾値より小さい場合、そのピーク位置τpのピーク情報P（τp）を0とするようにしてもよい。これにより、ピーク情報P（τp）のノイズを低減することができる。また、ピーク情報は、周期性情報の総和S(τ)そのものであってもよい。
ピーク検出部１０５は、時間区間ごとのピーク情報P（τ）を、時間区間ごとの特徴量の時系列データとして図３の同期情報生成部４６に供給する。
［特徴量の時系列データの例］
図６は、特徴量の時系列データの例を示す図である。
図６は、特徴量の時系列データの例を示す図である。
なお、図６のグラフにおいて、横軸は、先頭からの時間区間の個数である時間区間番号を表し、縦軸はインデックスτを表す。
図６のグラフは、特徴量の時系列データP（τ）が1であるときのインデックスτと時間区間番号の位置を黒点で表している。従って、所定の時間区間の音響データの特徴量の時系列データP（τ）において、図６のグラフにおいて、その時間区間の時間区間番号に対応する横軸の位置に垂直の線上に並ぶ点に対応するτの時系列データP（τ）は1であり、その他のτの時系列データP（τ）は0である。
［同期情報生成部の構成例］
図７は、図３の同期情報生成部４６の構成例を示すブロック図である。
図７は、図３の同期情報生成部４６の構成例を示すブロック図である。
図７の同期情報生成部４６は、ブロック統合部１２１およびブロック統合部１２２、類似度計算部１２３、並びに最適パス検索部１２４により構成される。
同期情報生成部４６のブロック統合部１２１は、図５のピーク検出部１０５から供給されるコンテンツＡの時間区間ごとの特徴量の時系列データを、連続した複数(例えば64個)の時間区間を１ブロックとして、ブロック単位で統合する。ブロック統合部１２１は、ブロック単位の特徴量の時系列データを類似度計算部１２３に供給する。
ブロック統合部１２２は、図３の特徴量受信部４５から供給されるコンテンツＢの時間区間ごとの特徴量の時系列データを、連続した複数(例えば64個)の時間区間を１ブロックとして、ブロック単位で統合する。ブロック統合部１２２は、ブロック単位の特徴量の時系列データを類似度計算部１２３に供給する。
なお、ブロックを構成する複数の時間区間は、連続していなくてもよい。例えば、複数の偶数番目の時間区間を１ブロックとしたり、複数の奇数番目の時間区間を１ブロックとしたりすることもできる。この場合、時間区間ごとの特徴量の時系列データに対して間引き処理を行うことができるので、演算量を削減することができる。
類似度計算部１２３は、ブロック統合部１２１とブロック統合部１２２のそれぞれから供給されるブロック単位の特徴量の時系列データどうしの類似度を計算し、各ブロック間の類似度を表す類似度マトリックスを生成する。類似度計算部１２３は、類似度マトリックスを最適パス検索部１２４に供給する。
最適パス検索部１２４は、類似度計算部１２３から供給される類似度マトリックスから最適な類似度のパスを検索し、そのパス上の類似度に対応する２つのブロックの時間差を表す情報を同期情報として生成する。
以上のように、同期情報生成部４６は、時間区間ごとのピーク情報P（τ）を特徴量の時系列データとして、その特徴量の時系列データが類似するコンテンツのブロックどうしを同期させる同期情報を生成する。即ち、同期情報生成部４６は、音響データのピッチ情報に基づいて、同期情報を生成する。従って、音響データに信号処理装置ごとに異なるノイズが含まれる場合などにおいても、ロバストに同期情報を生成することができる。
なお、ここでは、ブロックごとに同期情報が生成されるものとするが、特徴量の時系列データ全体に対して同期情報が生成されるようにしてもよい。但し、ブロックごとに同期情報が生成される場合、後述するように、コンテンツＡとコンテンツＢの間の内部クロックのずれも補正することができる。
［類似度の計算の説明］
図８は、類似度の計算の対象とするブロックを説明する図である。
図８は、類似度の計算の対象とするブロックを説明する図である。
なお、iは、コンテンツＡのブロックのインデックスであり、jは、コンテンツＢのブロックのインデックスである。また、X(i)は、コンテンツＡのインデックスiのブロックの特徴量の時系列データを表し、Y(j)は、コンテンツＢのインデックスjのブロックの特徴量の時系列データを表す。
図８に示すように、類似度の計算の対象は、n個のX(i)のそれぞれと、m個のY(j)のそれぞれとの、n×m個の組み合わせである。
図９は、類似度の計算方法を説明する図である。
なお、図９のマトリックスでは、横軸が、ブロック内の時間区間の先頭からの個数を表すブロック内時間区間番号を表し、縦軸がインデックスτを表している。また、白色の正方形は、対応するブロック内時間区間番号の時間区間のインデックスτの特徴量の時系列データP(τ)が0であることを表し、黒色の正方形は、その時系列データP(τ)が1であることを表している。さらに、図９の例では、ブロックを構成する時間区間の個数が4個であり、τが0乃至3であるものとする。
図９に示すように、X(i)とY(j)の類似度を計算する場合、まず、X(i)とY(j)の論理積X(i)∩Y(j)が計算され、次に、X(i)とY(j)の論理和X(i)∪Y(j)が計算される。例えば、図９に示すように、9個の0と7個の1からなるX(i)とY(j)の類似度を計算する場合、まず、12個の0と4個の1からなる論理積X(i)∩Y(j)が計算され、6個の0と10個の1からなる論理和X(i)∪Y(j)が計算される。
そして、以下の式（２）により、論理積X(i)∩Y(j)の1の数であるNumber（X(i)∩Y(j)）と論理和の1の数であるNumber（X(i)∪Y(j)）に基づいて、X(i)とY(j)の類似度A(i,j)が計算される。
A(i,j)=Number(X(i)∩Y(j))/Number（X(i)∪Y(j)）
・・・（２）
・・・（２）
図９の例では、Number(X(i)∩Y(j))が4であり、Number（X(i)∪Y(j)）が10であるので、類似度A(i,j)は0.4となる。
なお、特徴量の時系列データとして、周期性情報の総和S(τ)を採用した場合には、類似度の計算方法としてコサイン距離を用いて類似度を計算する方法などを採用することができる。
[最適な類似度のパスの検索の説明]
図１０は、類似度マトリックスの例を示す図である。
図１０は、類似度マトリックスの例を示す図である。
なお、図１０の類似度マトリックスにおいて、横軸は、コンテンツＢのブロックのインデックスjであり、縦軸は、コンテンツＡのブロックのインデックスiである。
図１０に示すように、類似度マトリックスでは、インデックスiとインデックスjに対応する点が、類似度A(i,j)が大きいほど濃くなるように、類似度A(i,j)に応じた濃度で表される。
最適パス検索部１２４は、動的計画法を用いて、類似度マトリックス上のパスの類似度の積算値が最大となるパスを最適な類似度のパスとして検索する。
例えば、コンテンツＡとコンテンツＢの時間のずれが、いずれか一方の遅延によってのみ発生している場合、類似度A(i,j)が最大となるiとjの差分は常に一定であるため、類似度マトリックスを左上から右下に進む直線状のパスが最適な類似度のパスとして検索される。一方、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生している場合、最適な類似度のパスは直線状ではない。
なお、ここでは、最適パス検索部１２４が、動的計画法を用いて類似度マトリックス上のとり得る全てのパスに対して検索を行うが、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生していないことが予めわかっている場合には、類似度マトリックス上のとり得る全ての直線状のパスに対してのみ検索を行うようにしてもよい。
最適パス検索部１２４は、最適な類似度のパス上の類似度に対応するインデックスの差分i-jを、同期情報として生成する。
[同期情報の例]
図１１は、同期情報の例を示す図である。
図１１は、同期情報の例を示す図である。
図１１Ａに示すように、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生していない場合、即ち、コンテンツＡとコンテンツＢの時間のずれが、いずれか一方の遅延によってのみ発生している場合、一定値が同期情報として生成される。図１１の例では、最適な類似度のパス上の類似度に対応するインデックスiとjの差分は常に80であり、同期情報として常に80が生成される。
一方、図１１Ｂに示すように、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生している場合、最適な類似度のパス上の類似度に対応するインデックスiとjの差分は、そのずれを補正するように変化する。図１１の例では、インデックスiが1と2である場合、インデックスiとjの差分は79であるが、インデックスiが3である場合、内部クロックのずれの積算による同期のずれが大きくなるため、インデックスiとjの差分が1だけ増加されて80にされる。即ち、インデックスjが82であるブロックのコンテンツＢがカットされる。
また、インデックスiが4である場合、インデックスiとjの差分は80のままであるが、インデックスiが5である場合、内部クロックのずれの積算による同期のずれが大きくなるため、インデクスiとjの差分が1だけ増加されて81にされる。即ち、インデックスjが85であるブロックのコンテンツＢがカットされる。
さらに、インデックスiが6である場合、インデックスiとjの差分は81のままであるが、インデックスiが7である場合、内部クロックのずれの積算による同期のずれが大きくなるため、インデクスiとjの差分が1だけ増加されて82にされる。即ち、インデックスjが88であるブロックのコンテンツＢがカットされる。そして、インデックスiが8である場合、インデックスiとjの差分は82のままである。
よって、インデックスiが1と2であるブロックの同期情報としては79が生成され、インデックスiが3と4であるブロックの同期情報としては80が生成される。また、インデックスiが5と6であるブロックの同期情報としては81が生成され、インデックスiが7と8であるブロックの同期情報としては82が生成される。
[信号処理システムの処理]
図１２は、図１の信号処理システム１０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置１１に対して再生対象とするコンテンツＡのファイルを指令したとき、開始される。
図１２は、図１の信号処理システム１０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置１１に対して再生対象とするコンテンツＡのファイルを指令したとき、開始される。
図１２のステップＳ１１において、信号処理装置１１の要求部５２（図３）は、コンテンツＢの特徴量の時系列データを信号処理装置１２に要求する。
ステップＳ３１において、信号処理装置１２の特徴量算出部７４（図４）は、要求部５２からの要求を受信する。ステップＳ３２において、ファイル選択部７３は、ユーザにより再生対象とするコンテンツＢのファイルが指令されたかどうかを判定する。受付部７２から再生対象のファイルが通知されない場合、ファイル選択部７３は、ステップＳ３２でユーザにより再生対象とするコンテンツＢのファイルが指令されていないと判定し、受付部７２から再生対象のファイルが通知されるまで待機する。
一方、受付部７２から再生対象のファイルが通知された場合、ステップＳ３２でユーザにより再生対象とするコンテンツＢのファイルが指令されたと判定され、処理はステップＳ３３に進む。ステップＳ３３において、ファイル選択部７３は、受付部７２からの通知にしたがって、記憶部７１から再生対象のファイルのコンテンツＢを読み出し、特徴量算出部７４と再生部７７に供給する。
ステップＳ３４において、特徴量算出部７４は、ファイル選択部７３から供給されるコンテンツＢのうちの音響データに基づいて特徴量の時系列データを算出し、特徴量送信部７５に供給する。ステップＳ３５において、特徴量送信部７５は、特徴量算出部７４から供給される特徴量の時系列データを信号処理装置１１に送信する。
また、ステップＳ１２において、信号処理装置１１のファイル選択部４３は、受付部４２からの通知にしたがって、記憶部４１から再生対象のファイルのコンテンツＡを読み出し、特徴量算出部４４と再生部４９に供給する。
ステップＳ１３において、特徴量算出部４４は、ファイル選択部４３から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出し、同期情報生成部４６に供給する。
ステップＳ１４において、特徴量受信部４５は、ステップＳ３５で信号処理装置１２の特徴量送信部７５から送信されてくるコンテンツＢの特徴量の時系列データを受信し、同期情報生成部４６に供給する。
ステップＳ１５において、同期情報生成部４６は、特徴量算出部４４からのコンテンツＡの特徴量の時系列データと、特徴量受信部４５からのコンテンツＢの特徴量の時系列データに基づいて、コンテンツＡとコンテンツＢを同期する際に用いられる同期情報を生成する。同期情報生成部４６は、同期情報を制御情報生成部４７と再生部４９に供給する。
図１３は、信号処理システム１０の再生処理を説明するフローチャートである。この再生処理は、図１２の再生準備処理が行われた後、ユーザにより再生ボタン２１が操作されたとき開始される。
図１３のステップＳ５１において、再生部４９は、受付部４２から供給される再生ボタン２１の操作に対応する指令に基づいて、コンテンツＡの再生処理を開始する。再生部４９は、その結果得られるコンテンツＡの音響データと動画像データを出力部５０に供給する。これにより、出力部５０のディスプレイはコンテンツＡの動画像を表示し、スピーカはコンテンツＡの音響を出力する。
ステップＳ５２において、制御情報生成部４７は、同期情報と再生ボタン２１の操作に対応する指令とに基づいて、再生開始制御情報を生成し、制御情報送信部４８に供給する。ステップＳ５３において、制御情報送信部４８は、制御情報生成部４７から供給される再生開始制御情報を信号処理装置１２に送信する。
ステップＳ７１において、信号処理装置１２の制御情報受信部７６は、ステップＳ５３で制御情報送信部４８から送信されてくる再生開始制御情報を受信し、再生部７７に供給する。ステップＳ７２において、再生部７７は、再生開始制御情報にしたがって、再生開始制御情報が示す再生の開始位置からコンテンツＢの再生処理を開始する。再生部７７は、その結果得られるコンテンツＢの音響データと動画像データを出力部７８に供給する。これにより、出力部７８のディスプレイはコンテンツＢの動画像を表示し、スピーカはコンテンツＢの音響を出力する。
また、ステップＳ５３の処理後、ステップＳ５４において、要求部５２は、信号処理装置１２にコンテンツＢの再生位置を要求する。
ステップＳ７３において、再生位置取得部７９は、ステップＳ５４で要求部５２から送信されてきた要求を受信する。ステップＳ７４において、再生位置取得部７９は、再生部７７により再生中のコンテンツＢの位置を取得し、コンテンツＢの再生位置として再生位置送信部８０に供給する。ステップＳ７５において、再生位置送信部８０は、再生位置取得部７９から供給されるコンテンツＢの再生位置を信号処理装置１１に送信する。
ステップＳ５５において、再生位置受信部５１は、ステップＳ７５で再生位置送信部８０から送信されてくるコンテンツＢの再生位置を受信し、再生部４９に供給する。ステップＳ５６において、再生部４９は、コンテンツＡの再生位置、コンテンツＢの再生位置、および同期情報に基づいて、コンテンツＡとコンテンツＢの同期がずれているかどうかを判定する。
具体的には、再生部４９は、コンテンツＡの再生位置、コンテンツＢの再生位置、および同期情報に基づいて、コンテンツＡとコンテンツＢの同期のずれ量を計算する。そして、再生部４９は、そのずれ量が所定の閾値以上である場合、ステップＳ５６でコンテンツＡとコンテンツＢの同期がずれていると判定し、処理をステップＳ５７に進める。
ステップＳ５７において、再生部４９は、コンテンツＡの再生位置、コンテンツＢの再生位置、および同期情報に基づいて、コンテンツＡとコンテンツＢが同期するようにコンテンツＡの再生位置を変更する。そして、処理はステップＳ５８に進む。
一方、コンテンツＡとコンテンツＢの同期のずれ量が所定の閾値より小さい場合、再生部４９は、ステップＳ５６でコンテンツＡとコンテンツＢの同期がずれていないと判定し、処理をステップＳ５８に進める。
ステップＳ５８において、要求部５２は、再生を終了するかどうかを判定する。要求部５２は、受付部４２から一時停止ボタン２２の操作に対応する指令が供給された場合、または、再生対象のコンテンツＡが終端まで再生された場合、再生を終了すると判定し、処理を終了する。
一方、受付部４２から一時停止ボタン２２に対応する指令が供給されていない場合、または、再生対象のコンテンツＡが終端まで再生されていない場合、ステップＳ５８において、要求部５２は、再生を終了しないと判定し、処理をステップＳ５４に戻す。
なお、図１３の再生処理では、信号処理装置１１が、同期情報に基づいて再生位置を変更することにより同期のずれを補正したが、信号処理装置１１と信号処理装置１２のうちの時間が進んでいる方の信号処理装置が再生を一時停止し、他方で、その一時停止位置の同期位置が再生されるときに再生を再開することにより、同期のずれを補正するようにしてもよい。
図１４は、信号処理システム１０の再生位置変更処理を説明するフローチャートである。この再生位置変更処理は、例えば、図１３の再生処理後、ユーザにより再生位置スクロール２３が操作されたとき開始される。
図１４のステップＳ９１において、再生部４９は、受付部４２から供給される再生位置スクロール２３の操作に対応する指令に基づいて、コンテンツＡの再生処理における再生位置を変更する。
ステップＳ９２において、再生部４９は、変更後の再生位置を取得し、制御情報生成部４７に供給する。ステップＳ９３において、制御情報生成部４７は、同期情報と、再生部４９から供給される変更後の再生位置とに基づいて、再生位置変更制御情報を生成し、制御情報送信部４８に供給する。
ステップＳ９４において、制御情報送信部４８は、制御情報生成部４７から供給される再生位置変更制御情報を信号処理装置１２に送信する。
ステップＳ１１１において、信号処理装置１２の制御情報受信部７６は、ステップＳ９４で制御情報送信部４８から送信されてくる再生位置変更制御情報を受信し、再生部７７に供給する。
ステップＳ１１２において、再生部７７は、再生位置変更制御情報にしたがって、再生位置変更制御情報が示す再生の変更位置に、コンテンツＢの再生処理における再生位置を変更する。
図１５は、信号処理システム１０の再生一時停止処理を説明するフローチャートである。この再生一時停止処理は、例えば、図１３の再生処理後、ユーザにより一時停止ボタン２２が操作されたとき開始される。
図１５のステップＳ１３１において、再生部４９は、受付部４２から供給される一時停止ボタン２２の操作に対応する指令に基づいて、コンテンツＡの再生処理を一時停止する。
ステップＳ１３２において、再生部４９は、一時停止位置を取得し、制御情報生成部４７に供給する。ステップＳ１３３において、制御情報生成部４７は、同期情報と、再生部４９から供給される一時停止位置とに基づいて、再生一時停止制御情報を生成し、制御情報送信部４８に供給する。
ステップＳ１３４において、制御情報送信部４８は、制御情報生成部４７から供給される再生一時停止制御情報を信号処理装置１２に送信する。
ステップＳ１５１において、信号処理装置１２の制御情報受信部７６は、ステップＳ１３４で制御情報送信部４８から送信されてくる再生一時停止制御情報を受信し、再生部７７に供給する。
ステップＳ１５２において、再生部７７は、再生一時停止制御情報にしたがって、再生一時停止制御情報が示す再生の一時停止位置で、コンテンツＢの再生処理を一時停止する。
図１６は、信号処理システム１０のエフェクト処理を説明するフローチャートである。このエフェクト処理は、例えば、図１３の再生処理後、ユーザによりエフェクトボタン２４が操作されたとき開始される。
図１６のステップＳ１７１において、再生部４９は、受付部４２から供給されるエフェクトボタン２４の操作に対応する指令に基づいて、再生中のコンテンツＡに対してエフェクトを施す。再生部４９は、エフェクトが施されたコンテンツＡの音響データと動画像データを出力部５０に供給する。これにより、出力部５０のディスプレイには、エフェクトが施されたコンテンツＡの動画像が表示され、出力部５０のスピーカから、エフェクトが施されたコンテンツＡの音響が出力される。
ステップＳ１７２において、再生部４９は、再生位置を取得し、制御情報生成部４７に供給する。ステップＳ１７３において、制御情報生成部４７は、同期情報と、再生部４９から供給される再生位置とに基づいて、エフェクト制御情報を生成し、制御情報送信部４８に供給する。
ステップＳ１７４において、制御情報送信部４８は、制御情報生成部４７から供給されるエフェクト制御情報を信号処理装置１２に送信する。
ステップＳ１９１において、信号処理装置１２の制御情報受信部７６は、ステップＳ１７４で制御情報送信部４８から送信されてくるエフェクト制御情報を受信し、再生部７７に供給する。
ステップＳ１９２において、再生部７７は、エフェクト制御情報にしたがって、エフェクト制御情報が示すエフェクトを施す位置の再生処理後のコンテンツＢにエフェクトを施し、エフェクトが施されたコンテンツＢの音響データと動画像データを出力部７８に供給する。これにより、出力部７８のディスプレイには、エフェクトが施されたコンテンツＢの動画像が表示され、出力部７８のスピーカから、エフェクトが施されたコンテンツＢの音響が出力される。
以上のように、信号処理システム１０では、信号処理装置１１が、同期情報に基づいて、コンテンツＢに対する、再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、エフェクト制御情報などを生成する。これにより、信号処理装置１１におけるコンテンツＡに対する制御と、信号処理装置１２におけるコンテンツＢに対する制御を、時間的に同期して行うことができる。
また、信号処理装置１２が、コンテンツそのものではなく、特徴量の時系列データを送信することにより、同期情報が生成される。従って、コンテンツそのものを送信する場合に比べて、信号処理装置１１と信号処理装置１２間の通信時間および通信データ量を削減することができる。
さらに、信号処理システム１０では、コンテンツＡとコンテンツＢの再生を、それぞれ、別の信号処理装置が行うので、各信号処理装置は１つのコンテンツの再生処理を行うだけでよく、各信号処理装置の処理負荷が軽減される。
＜第２実施の形態＞
[信号処理システムの第２実施の形態の概要の説明]
図１７は、本技術を適用した信号処理システムの第２実施の形態の概要を説明する図である。
[信号処理システムの第２実施の形態の概要の説明]
図１７は、本技術を適用した信号処理システムの第２実施の形態の概要を説明する図である。
図１７に示すように、信号処理システム１４０は、信号処理装置１４１と信号処理装置１４２により構成される。
信号処理システム１４０では、信号処理装置１４１により再生されるコンテンツＡのファイルは、ユーザにより指定されるが、信号処理装置１４２により再生されるコンテンツＢのファイルは、そのコンテンツＡに最も類似するコンテンツのファイルとされる。
より詳細には、信号処理装置１４１は、再生対象とするコンテンツＡの特徴量の時系列データを信号処理装置１４２に送信する。信号処理装置１４２は、その特徴量の時系列データを受信する。信号処理装置１４２は、自分がファイルａ１乃至ファイルｃ１として記憶しているコンテンツのうちの、コンテンツＡの特徴量の時系列データと特徴量の時系列データが類似するコンテンツのファイルを、再生対象のコンテンツＢのファイルとして決定する。
[信号処理装置１４１の構成例]
図１８は、図１７の信号処理装置１４１の構成例を示すブロック図である。
図１８は、図１７の信号処理装置１４１の構成例を示すブロック図である。
図１８に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１８の信号処理装置１４１の構成は、特徴量送信部１６１が新たに設けられる点、同期情報生成部４６と特徴量受信部４５の代わりに同期情報受信部１６２が設けられる点、および要求部５２の代わりに要求部１６３が設けられる点が図３の構成と異なる。
特徴量送信部１６１は、特徴量算出部４４により算出されたコンテンツＡの特徴量の時系列データを信号処理装置１４２に送信する。
同期情報受信部１６２は、信号処理装置１４２から送信されてくる同期情報を受信し、制御情報生成部４７と再生部４９に供給する。
要求部１６３は、図３の要求部５２と同様に、受付部４２から供給される指令に基づいて、コンテンツＡの再生中に、信号処理装置１４２にコンテンツＢの再生位置を要求する。また、要求部１６３は、受付部４２から供給される通知に応じて、信号処理装置１４２に再生の開始を要求する。
[信号処理装置１４２の構成例]
図１９は、図１７の信号処理装置１４２の構成例を示すブロック図である。
図１９は、図１７の信号処理装置１４２の構成例を示すブロック図である。
図１９に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１９の信号処理装置１４２の構成は、ファイル選択部７３、特徴量算出部７４の代わりに、ファイル選択部１８１、特徴量算出部１８２が設けられる点、特徴量送信部７５の代わりに特徴量受信部１８３と同期情報生成部１８４が設けられる点、および同期情報送信部１８５が新たに設けられる点が図４の構成と異なる。
ファイル選択部１８１は、信号処理装置１４１の要求部１６３（図１８）からの再生の開始の要求に応じて、記憶部７１にファイルとして記憶されている全てのコンテンツを順に読み出し、特徴量算出部１８２に供給する。また、ファイル選択部１８１は、同期情報生成部１８４から供給される再生対象のファイルを指定する再生指定情報に基づいて、そのファイルのコンテンツを、記憶部７１からコンテンツＢとして読み出し、再生部７７に供給する。
特徴量算出部１８２は、図５の特徴量算出部４４と同様に構成される。特徴量算出部１８２は、ファイルごとに、ファイル選択部７３から供給されるコンテンツのうちの音響データに基づいて特徴量の時系列データを算出し、同期情報生成部１８４に供給する。
特徴量受信部１８３は、信号処理装置１４１の特徴量送信部１６１（図１８）から送信されてくるコンテンツＡの特徴量の時系列データを受信し、同期情報生成部１８４に供給する。
同期情報生成部１８４は、ファイルごとに、特徴量算出部１８２からの特徴量の時系列データと、特徴量受信部１８３からのコンテンツＡの特徴量の時系列データに基づいて、同期情報を生成する。そして、同期情報生成部１８４は、同期情報の生成時に検索された最適な類似度のパス上の類似度の平均値が最大となるファイルを、再生対象のコンテンツＢのファイルに決定する。同期情報生成部１８４は、そのファイルを再生対象のファイルとして指定する再生指定情報をファイル選択部１８１に供給する。また、同期情報生成部１８４は、再生対象のコンテンツＢのファイルに決定されたファイルの同期情報を同期情報送信部１８５に供給する。
同期情報送信部１８５は、同期情報生成部１８４から供給される同期情報を信号処理装置１４１に送信する。
[同期情報生成部の構成例]
図２０は、図１９の同期情報生成部１８４の構成例を示すブロック図である。
図２０は、図１９の同期情報生成部１８４の構成例を示すブロック図である。
図２０の同期情報生成部１８４は、ブロック統合部２０１、ブロック統合部２０２、類似度計算部２０３、最適パス検索部２０４、および再生指定情報生成部２０５により構成される。
同期情報生成部１８４のブロック統合部２０１は、ファイルごとに、図１９の特徴量算出部１８２から供給されるコンテンツの時間区間ごとの特徴量の時系列データを、連続した複数(例えば64個)の時間区間を１ブロックとして、ブロック単位で統合する。ブロック統合部２０１は、ブロック単位の特徴量の時系列データをファイルごとに類似度計算部２０３に供給する。
ブロック統合部２０２は、図１９の特徴量受信部１８３から供給されるコンテンツＡの時間区間ごとの特徴量の時系列データを、連続した複数(例えば64個)の時間区間を１ブロックとして、ブロック単位で統合する。ブロック統合部２０２は、ブロック単位の特徴量の時系列データを類似度計算部２０３に供給する。
類似度計算部２０３は、ブロック統合部２０１から供給される各ファイルのブロック単位の特徴量の時系列データと、ブロック統合部２０２から供給されるブロック単位の特徴量の時系列データとの類似度を、上述した式（２）により、ファイルごとに計算する。類似度計算部２０３は、その結果得られるファイルごとの類似度マトリックスを最適パス検索部２０４に供給する。
最適パス検索部２０４は、ファイルごとに、動的計画法を用いて、類似度計算部２０３から供給される類似度マトリックス上のパスの類似度の積算値が最大となるパスを最適な類似度のパスとして検索し、同期情報を生成する。
また、最適パス検索部２０４は、ファイルごとの同期情報と、その同期情報に対応する最適な類似度のパス上の類似度の平均値を、再生指定情報生成部２０５に供給する。
再生指定情報生成部２０５は、最適パス検索部２０４から供給される類似度の平均値が最大となるファイルを、再生対象のコンテンツＢのファイルに決定し、そのファイルを再生対象のファイルとして指定する再生指定情報を生成する。そして、再生指定情報生成部２０５は、再生指定情報をファイル選択部１８１に供給する。また、再生指定情報生成部２０５は、再生対象のコンテンツＢのファイルに決定されたファイルの同期情報を同期情報送信部１８５に供給する。
[信号処理システムの処理]
図２１は、図１７の信号処理システム１４０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置１４１に対して再生対象とするコンテンツＡのファイルを指令したとき、開始される。
図２１は、図１７の信号処理システム１４０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置１４１に対して再生対象とするコンテンツＡのファイルを指令したとき、開始される。
図２１のステップＳ２１１において、信号処理装置１４１の要求部１６３（図１８）は、受付部４２から供給される通知に応じて、信号処理装置１４２に再生の開始を要求する。
ステップＳ２３１において、信号処理装置１４２のファイル選択部１８１（図１９）は、ステップＳ２１１で要求部１６３から送信されてくる要求を受信する。
また、ステップＳ２１１の処理後、処理はステップＳ２１２に進む。ステップＳ２１２とＳ２１３の処理は、図１２のステップＳ１２とＳ１３の処理と同様であるので、説明は省略する。
ステップＳ２１４において、特徴量送信部１６１は、ステップＳ２１３の処理で算出されたコンテンツＡの特徴量の時系列データを信号処理装置１４２に送信する。
ステップＳ２３２において、特徴量受信部１８３は、ステップＳ２１４で特徴量送信部１６１から送信されてくるコンテンツＡの特徴量の時系列データを受信し、同期情報生成部１８４に供給する。
ステップＳ２３３において、ファイル選択部１８１は、記憶部７１から読み出すファイルの先頭からの番号Fiを1に設定する。ステップＳ２３４において、ファイル選択部１８１は、記憶部７１から、先頭からFi番目のファイルを読み出し、特徴量算出部１８２に供給する。
ステップＳ２３５において、特徴量算出部１８２は、ファイル選択部７３から供給されるコンテンツのうちの音響データに基づいて特徴量の時系列データを算出し、同期情報生成部１８４に供給する。
ステップＳ２３６において、同期情報生成部１８４の類似度計算部２０３（図２０）は、特徴量算出部１８２からブロック統合部２０１を介して供給されるブロック単位の特徴量の時系列データと、特徴量受信部１８３からブロック統合部２０２を介して供給されるブロック単位の特徴量の時系列データとの類似度を、上述した式（２）により計算する。類似度計算部２０３は、その結果得られるファイルごとの類似度マトリックスを最適パス検索部２０４に供給する。
ステップＳ２３７において、最適パス検索部２０４は、動的計画法を用いて、類似度計算部２０３から供給される類似度マトリックス上のパスの類似度の積算値の最大値を求める。
ステップＳ２３８において、最適パス検索部２０４は、類似度の積算値の最大値に対応するパスを最適な類似度のパスとして検索し、同期情報を生成する。最適パス検索部２０４は、同期情報と、その同期情報に対応する最適な類似度のパス上の類似度の平均値を、再生指定情報生成部２０５に供給する。
ステップＳ２３９において、ファイル選択部１８１は、Fiが、記憶部７１に記憶されているファイル数Fimaxであるかどうかを判定する。ステップＳ２３９でFiがFimaxではないと判定された場合、ステップＳ２４０において、ファイル選択部１８１は、Fiを1だけインクリメントし、処理をステップＳ２３４に戻す。
一方、ステップＳ２３９でFiがFimaxであると判定された場合、ステップＳ２４１において、再生指定情報生成部２０５は、最適パス検索部２０４から供給される類似度の平均値が最大となるファイルを、再生対象のコンテンツＢのファイルに決定する。そして、再生指定情報生成部２０５は、そのファイルを再生対象のファイルとして指定する再生指定情報を生成し、ファイル選択部１８１に供給する。また、再生指定情報生成部２０５は、再生対象のコンテンツＢのファイルに決定されたファイルの同期情報を同期情報送信部１８５に供給する。
ステップＳ２４２において、同期情報送信部１８５は、再生指定情報生成部２０５から供給される同期情報を信号処理装置１４１に送信する。
ステップＳ２１５において、同期情報受信部１６２は、ステップＳ２４２で同期情報送信部１８５から送信されてくる同期情報を受信し、制御情報生成部４７と再生部４９に供給する。
信号処理システム１４０の再生処理、再生位置変更処理、再生一時停止処理、エフェクト処理は、それぞれ、図１３の再生処理、図１４の再生位置変更処理、図１５の再生一時停止処理、図１６のエフェクト処理と同様であるので、説明は省略する。
なお、信号処理装置１４２が、コンテンツＢを選択するのではなく、信号処理装置１４２が、記憶部７１に記憶されている各コンテンツの特徴量の時系列データを信号処理装置１４１に送信し、信号処理装置１４１が、そのコンテンツの特徴量の時系列データとコンテンツＡの特徴量の時系列データの類似度に基づいてコンテンツＢを選択するようにしてもよい。この場合、信号処理装置１４１から信号処理装置１４２に、コンテンツＢを再生対象とする指令が送信される。
＜第３実施の形態＞
[信号処理システムの第３実施の形態の概要の説明]
図２２は、本技術を適用した信号処理システムの第３実施の形態の概要を説明する図である。
[信号処理システムの第３実施の形態の概要の説明]
図２２は、本技術を適用した信号処理システムの第３実施の形態の概要を説明する図である。
図２２に示すように、信号処理システム２２０は、信号処理装置２２１と信号処理装置２２２により構成される。
信号処理システム２２０では、信号処理装置２２１と信号処理装置２２２に記憶されているコンテンツの組み合わせのうち、類似度の高いコンテンツの組み合わせが提示され、ユーザが、その組み合わせの中から所望の組み合わせを再生対象として選択する。
より詳細には、信号処理装置２２１は、自分が記憶しているファイルa2乃至c2のコンテンツの特徴量の時系列データを信号処理装置２２２に送信する。信号処理装置２２２は、信号処理装置２２１から受信されたファイルa2乃至c2のコンテンツの特徴量の時系列データのそれぞれについて、自分が記憶しているファイルa1乃至c1のコンテンツの特徴量の時系列データのそれぞれとの類似度を計算する。信号処理装置２２２は、ファイルa2乃至c2それぞれについて、類似度が所定の閾値以上となるファイルa1乃至c1のいずれかを、再生対象として推薦する推薦ファイルに決定し、その推薦ファイルの情報を信号処理装置２２１に送信して提示させる。
[信号処理装置２２１の構成例]
図２３は、図２２の信号処理装置２２１の構成例を示すブロック図である。
図２３は、図２２の信号処理装置２２１の構成例を示すブロック図である。
図２３に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２３の信号処理装置２２１の構成は、受付部４２、ファイル選択部４３、同期情報受信部１６２、出力部５０、要求部１６３の代わりに、受付部２４０、ファイル選択部２４１、同期情報受信部２４２、出力部２４５、要求部２４６が設けられている点、および推薦ファイル受信部２４３と推薦リスト作成部２４４が新たに設けられる点が図１８の構成と異なる。
受付部２４０は、ユーザからの指令を受け付ける。具体的には、受付部２４０は、受付部４２と同様に、ユーザからの撮影開始の指令を受け付け、その指令を取得部４０に供給する。また、受付部２４０は、ユーザからの再生対象とするコンテンツＡとコンテンツＢのファイルの指令を受け付け、コンテンツＡのファイルをファイル選択部２４１に通知し、コンテンツＢのファイルを要求部２４６に通知する。さらに、受付部２４０は、コンテンツＡとコンテンツＢのファイルを同期情報受信部２４２に通知する。
さらに、受付部２４０は、受付部４２と同様に、ユーザが再生ボタン２１、一時停止ボタン２２、再生位置スクロール２３、またはエフェクトボタン２４を操作することにより行う指令を受け付け、その指令を制御情報生成部４７、再生部４９、および要求部２４６に供給する。また、受付部２４０は、ユーザからの、コンテンツＡとコンテンツＢの組み合わせを推薦する推薦処理の開始の指令を受け付け、その指令をファイル選択部２４１と要求部２４６に供給する。
ファイル選択部２４１は、受付部２４０から供給される推薦処理の開始の指令に応じて、記憶部４１に記憶されている全てのファイルのコンテンツを順に読み出し、特徴量算出部４４に供給する。これにより、記憶部４１に記憶されている全てのファイルのコンテンツの特徴量の時系列データが、特徴量送信部１６１から信号処理装置２２２に送信される。また、ファイル選択部２４１は、受付部２４０からの通知にしたがって、記憶部４１から再生対象のファイルのコンテンツＡを読み出し、再生部４９に供給する。
同期情報受信部２４２は、記憶部４１に記憶されている各コンテンツについて、信号処理装置２２２から送信されてくる、そのコンテンツと推薦ファイルのコンテンツとの同期情報を受信する。同期情報受信部２４２は、受付部２４０から供給されるコンテンツＡとコンテンツＢのファイルの通知に基づいて、受信された同期情報の中から、コンテンツＡとコンテンツＢの同期情報を選択し、制御情報生成部４７と再生部４９に供給する。
推薦ファイル受信部２４３は、信号処理装置２２２から送信されてくる、記憶部４１に記憶される各コンテンツについての推薦ファイルを特定する推薦ファイル情報を受信し、推薦リスト作成部２４４に供給する。
推薦リスト作成部２４４は、推薦ファイル受信部２４３から供給される推薦ファイル情報に基づいて、記憶部４１に記憶される各コンテンツのファイルを特定する情報と、そのコンテンツの推薦ファイル情報を対応付けた推薦リストを作成する。即ち、推薦リストは、記憶部４１に記憶されるコンテンツと、記憶部７１に記憶されるコンテンツの組み合わせのうちの、再生対象として推薦する1以上の組み合わせを示すリストである。推薦リスト作成部２４４は、推薦リストを出力部２４５に供給する。
出力部２４５は、ディスプレイとスピーカ等により構成される。出力部２４５のスピーカは、出力部５０のスピーカと同様に、再生部４９から供給される音響データに対応する音響を出力する。また、出力部２４５のディスプレイは、出力部５０のディスプレイと同様に、再生部４９から供給される動画像データに基づいて動画像を表示する。また、出力部２４５のディスプレイは、推薦リスト作成部２４４から供給される推薦リストを表示する。
要求部２４６は、図３の要求部５２や図１８の要求部１６３と同様に、受付部２４０から供給される指令に基づいて、コンテンツＡの再生中に、信号処理装置２２２にコンテンツＢの再生位置を要求する。また、要求部２４６は、受付部２４０から供給される推薦処理の開始の指令に応じて、信号処理装置２２２に推薦処理の開始を要求する。さらに、要求部２４６は、受付部２４０から通知されるコンテンツＢのファイルに基づいて、そのファイルの再生の開始を信号処理装置２２２に要求する。
[信号処理装置２２２の構成例]
図２４は、図２２の信号処理装置２２２の構成例を示すブロック図である。
図２４は、図２２の信号処理装置２２２の構成例を示すブロック図である。
図２４に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２４の信号処理装置２２２の構成は、ファイル選択部１８１、同期情報生成部１８４、同期情報送信部１８５の代わりに、ファイル選択部２６１、同期情報生成部２６２、同期情報送信部２６５が設けられている点、および推薦ファイル選択部２６３と推薦ファイル送信部２６４が新たに設けられている点が図１９の構成と異なる。
ファイル選択部２６１は、信号処理装置２２１の要求部２４６（図２３）からの推薦処理の開始の要求に応じて、記憶部７１にファイルとして記憶されている全てのコンテンツを順に読み出し、特徴量算出部１８２に供給する。また、ファイル選択部１８１は、要求部２４６からの所定のファイルの再生の開始の要求に応じて、記憶部７１から、そのファイルのコンテンツをコンテンツＢとして読み出し、再生部７７に供給する。
同期情報生成部２６２は、記憶部７１に記憶されるファイルごとに、特徴量算出部１８２から供給される特徴量の時系列データと、特徴量受信部１８３からの各ファイルの特徴量の時系列データとに基づいて、図３の同期情報生成部４６と同様の方法で同期情報を生成する。即ち、同期情報生成部２６２は、記憶部４１に記憶されるファイルのうちの１つと、記憶部７１に記憶されるファイルのうちの１つからなる複数の組み合わせごとに、同期情報を生成する。
また、同期情報生成部２６２は、記憶部４１に記憶されるファイルのうちの１つと、記憶部７１に記憶されるファイルのうちの１つからなる複数の組み合わせごとの同期情報の生成時に検索された最適な類似度のパス上の類似度の積算値を、推薦ファイル選択部２６３に供給する。
また、同期情報生成部２６２は、記憶部４１に記憶されるファイルのうちの１つと、記憶部７１に記憶されるファイルのうちの１つからなる複数の組み合わせごとの同期情報を同期情報送信部２６５に供給する。
推薦ファイル選択部２６３は、記憶部４１に記憶されるファイルごとに、同期情報生成部２６２から供給される、記憶部７１に記憶されるファイルごとの類似度の積算値のうち、その積算値が所定の閾値以上となるファイルを推薦ファイルとして選択する。推薦ファイル選択部２６３は、推薦ファイル情報を推薦ファイル送信部２６４と同期情報送信部２６５に供給する。
推薦ファイル送信部２６４は、推薦ファイル選択部２６３から供給される推薦ファイル情報を信号処理装置２２１に送信する。
同期情報送信部２６５は、同期情報生成部１８４から供給される同期情報のうちの、推薦ファイル選択部２６３から供給される推薦ファイル情報により特定される推薦ファイルの同期情報を、信号処理装置２２１に送信する。
[信号処理システムの処理]
図２５および図２６は、図２２の信号処理システム２２０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置２２１に対して推薦処理の開始を指令したとき、開始される。
図２５および図２６は、図２２の信号処理システム２２０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置２２１に対して推薦処理の開始を指令したとき、開始される。
ステップＳ２６１において、要求部２４６は、受付部２４０から供給される推薦処理の開始の指令に応じて、信号処理装置２２２に推薦処理の開始を要求する。
ステップＳ２９１において、ファイル選択部２６１は、ステップＳ２６１で要求部２４６から送信されてくる推薦処理の開始の要求を受信する。
また、ステップＳ２６１の処理後、ステップＳ２６２において、ファイル選択部２４１は、記憶部４１から読み出すファイルの先頭からの番号Fjを1に設定する。ステップＳ２６３において、ファイル選択部２４１は、記憶部４１から、先頭からFj番目のファイルを読み出し、特徴量算出部４４に供給する。
ステップＳ２６４において、特徴量算出部４４は、ファイル選択部２４１から供給されるコンテンツのうちの音響データに基づいて特徴量の時系列データを算出し、特徴量送信部１６１に供給する。ステップＳ２６５において、特徴量送信部１６１は、特徴量算出部４４から供給される特徴量の時系列データを信号処理装置２２２に送信する。
ステップＳ２９２において、特徴量受信部１８３は、ステップＳ２６５で特徴量送信部１６１から送信されてくる特徴量の時系列データを受信し、同期情報生成部２６２に供給する。そして、処理はステップＳ２９３に進む。
ステップＳ２９３乃至Ｓ３００の処理は、図２１のステップＳ２３３乃至Ｓ２４０の処理と同様であるので、説明は省略する。
ステップＳ２９９でFiがFimaxであると判定された場合、ステップＳ３０１において、推薦ファイル選択部２６３は、同期情報生成部２６２から供給される、記憶部７１に記憶されるFimax個のファイルの類似度の積算値のうち、その積算値が所定の閾値以上となるファイルを、推薦ファイルとして選択する。推薦ファイル選択部２６３は、推薦ファイル情報を推薦ファイル送信部２６４と同期情報送信部２６５に供給する。
ステップＳ３０２において、推薦ファイル送信部２６４は、推薦ファイル選択部２６３から供給される推薦ファイル情報を信号処理装置２２１に送信する。また、同期情報送信部２６５は、同期情報生成部１８４から供給される同期情報のうちの、推薦ファイル選択部２６３から供給される推薦ファイル情報により特定される推薦ファイルの同期情報を、信号処理装置２２１に送信する。
ステップＳ２６６において、推薦ファイル受信部２４３は、信号処理装置２２２から送信されてくる、先頭からFj番目のファイルの推薦ファイル情報を受信し、推薦リスト作成部２４４に供給する。また、同期情報受信部２４２は、信号処理装置２２２から送信されてくる、先頭からFj番目のファイルの推薦ファイルとの同期情報を受信する。
ステップＳ２６７において、ファイル選択部２４１は、Fjが、記憶部４１に記憶されているファイル数Fjmaxであるかどうかを判定する。ステップＳ２６７でFjがFjmaxではないと判定された場合、ステップＳ２６８において、ファイル選択部２４１は、Fjを1だけインクリメントし、処理をステップＳ２６３に戻す。
一方、ステップＳ２６７でFjがFjmaxであると判定された場合、処理は図２６のステップＳ２６９に進む。ステップＳ２６９において、推薦リスト作成部２４４は、推薦ファイル受信部２４３から供給される推薦ファイル情報に基づいて、記憶部４１に記憶されている各コンテンツのファイルを特定する情報と、そのコンテンツの推薦ファイル情報を対応付けた推薦リストを作成する。そして、推薦リスト作成部２４４は、推薦リストを出力部２４５に供給する。
ステップＳ２７０において、出力部２４５のディスプレイは、推薦リスト作成部２４４から供給される推薦リストの情報に基づいて、推薦リストを表示する。ステップＳ２７１において、受付部２４０は、ユーザにより再生対象とするコンテンツＡとコンテンツＢのファイルの組み合わせが指令されたかどうかを判定する。
具体的には、ユーザは、出力部２４５のディスプレイに表示されている推薦リストを見ながら、その推薦リストに登録されている情報から、互いに対応付けられている所望の２つのコンテンツのファイルを特定する情報を、再生対象のコンテンツＡとコンテンツＢのファイルを特定する情報として選択する指令を行う。
その指令が行われていない場合、受付部２４０は、ステップＳ２７１でユーザにより再生対象とするコンテンツＡとコンテンツＢのファイルの組み合わせが指令されていないと判定し、その指令が行われるまで待機する。
一方、推薦リストに登録されている情報から、互いに対応付けられている所望の２つのコンテンツのファイルを特定する情報を、再生対象のコンテンツＡとコンテンツＢのファイルを特定する情報として選択する指令が行われた場合、ステップＳ２７１でユーザにより再生対象とするコンテンツＡとコンテンツＢのファイルの組み合わせが指令されたと判定される。
そして、受付部２４０は、コンテンツＡのファイルをファイル選択部２４１に通知し、コンテンツＢのファイルを要求部２４６に通知し、コンテンツＡとコンテンツＢのファイルを同期情報受信部２４２に通知する。そして、処理はステップＳ２７２に進む。
ステップＳ２７２において、ファイル選択部２４１は、受付部２４０からの通知にしたがって、記憶部４１からコンテンツＡを読み出し、コンテンツＡを再生部４９に供給する。
ステップＳ２７３において、同期情報受信部２４２は、受付部２４０から供給されるコンテンツＡとコンテンツＢのファイルの通知に基づいて、受信された同期情報の中から、コンテンツＡとコンテンツＢの同期情報を選択する。そして、同期情報受信部２４２は、コンテンツＡとコンテンツＢの同期情報を制御情報生成部４７と再生部４９に供給する。
ステップＳ２７４において、要求部２４６は、受付部２４０から供給される再生対象のコンテンツＢのファイルの通知に基づいて、そのファイルの再生の開始を信号処理装置２２２に要求する。
ステップＳ３０３において、ファイル選択部２６１は、ステップＳ２７４で要求部２４６から送信されてくるコンテンツＢのファイルの再生の開始の要求を受信する。ステップＳ３０４において、ファイル選択部２６１は、記憶部７１から、コンテンツＢのファイルのコンテンツをコンテンツＢとして読み出し、再生部７７に供給する。
信号処理システム２２０の再生処理、再生位置変更処理、再生一時停止処理、エフェクト処理は、それぞれ、図１３の再生処理、図１４の再生位置変更処理、図１５の再生一時停止処理、図１６のエフェクト処理と同様であるので、説明は省略する。
なお、信号処理装置２２１が、推薦リストを作成するのではなく、信号処理装置２２２が推薦リストを作成し、信号処理装置２２２に送信するようにしてもよい。また、信号処理装置２２２が、推薦ファイルを選択するのではなく、信号処理装置２２２が、記憶部７１に記憶される各コンテンツの特徴量の時系列データを信号処理装置２２１に送信し、信号処理装置２２１が、推薦ファイルを選択し、推薦リストを作成するようにしてもよい。
＜第４実施の形態＞
[信号処理システムの第４実施の形態の概要の説明]
図２７は、本技術を適用した信号処理システムの第４実施の形態の概要を説明する図である。
[信号処理システムの第４実施の形態の概要の説明]
図２７は、本技術を適用した信号処理システムの第４実施の形態の概要を説明する図である。
図２７に示すように、信号処理システム２８０は、信号処理装置２８１と信号処理装置２８２により構成される。図２７の例では、信号処理装置２８１は、図１の信号処理装置１１と同様に、同一のイベントを左方向から撮影して音響を取得し、信号処理装置２８２は、図１の信号処理装置１２と同様に、同一のイベントを右方向から撮影して音響を取得する。
信号処理装置２８１と信号処理装置２８２は、それぞれ、このようにして得られた動画像と音響のコンテンツに、撮影時刻を示す撮影時刻情報としてのタイムスタンプを付加する。そして、信号処理装置２８１と信号処理装置２８２は、同一のイベントの２つのコンテンツを同時に再生する場合、タイムスタンプを参照して、再生対象のコンテンツを同期させる。
信号処理装置２８１には、図２の信号処理装置１１と同様に、再生ボタン２１、一時停止ボタン２２、再生位置スクロール２３、エフェクトボタン２４などが表示されるが、さらに、同期合わせボタン２９１も表示される。同期合わせボタン２９１は、音響データの特徴量の時系列データを用いた同期情報によりコンテンツＡとコンテンツＢの再生位置を同期させるときに操作されるボタンである。例えば、ユーザは、同期ずれが発生していると認識した場合に、同期合わせボタン２９１を操作する。
ユーザにより同期合わせボタン２９１が操作されると、信号処理装置２８２は、コンテンツＢの特徴量の時系列データを算出し、信号処理装置２８１に送信する。そして、信号処理装置２８１は、自分自身で算出したコンテンツＡの特徴量の時系列データと信号処理装置２８２から受信されたコンテンツＢの特徴量の時系列データとに基づいて、同期情報を生成する。そして、信号処理装置２８１は、同期情報に基づいて、コンテンツＡの再生位置を、コンテンツＢの再生位置に同期するように変更する。
［信号処理装置２８１の構成例］
図２８は、図２７の信号処理装置２８１の構成例を示すブロック図である。
図２８は、図２７の信号処理装置２８１の構成例を示すブロック図である。
図２８に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２８の信号処理装置２８１の構成は、取得部４０、受付部４２、特徴量算出部４４、要求部５２の代わりに、取得部３００、受付部３０１、特徴量算出部３０４、要求部３０６が設けられる点、および新たにタイムスタンプ取得部３０２とタイムスタンプ受信部３０３が設けられる点が図３の構成と異なる。
信号処理装置２８１の取得部３００は、図３の取得部４０と同様に、CCDカメラとマイク等により構成される。取得部３００は、取得部４０と同様に、受付部３０１からの指令に応じて、被写体を撮影し、音響を取得する。取得部３００は、その結果得られる動画像と音響のコンテンツにタイムスタンプを付加し、記憶部４１に供給して記憶させる。
受付部３０１は、ユーザからの指令を受け付ける。具体的には、受付部３０１は、図３の受付部４２と同様に、ユーザからの撮影開始の指令を受け付け、その指令を取得部３００に供給する。また、受付部３０１は、受付部４２と同様に、ユーザからの再生対象とするコンテンツＡのファイルの指令を受け付け、そのファイルを再生対象のファイルとしてファイル選択部４３と要求部３０６に通知する。
さらに、受付部３０１は、受付部４２と同様に、ユーザが再生ボタン２１、一時停止ボタン２２、再生位置スクロール２３、またはエフェクトボタン２４を操作することにより行う指令を受け付け、その指令を制御情報生成部４７、再生部４９、および要求部３０６に供給する。また、受付部３０１は、ユーザが同期合わせボタン２９１を操作することにより行う特徴量に基づく同期合わせの指令を受け付け、その指令を特徴量算出部４４と要求部３０６に供給する。
タイムスタンプ取得部３０２は、ファイル選択部４３により読み出されたコンテンツＡに付加されているタイムスタンプを取得し、同期情報生成部３０５に供給する。タイムスタンプ受信部３０３は、信号処理装置２８２から送信されてくる、コンテンツＢのタイムスタンプを受信し、同期情報生成部３０５に供給する。
特徴量算出部３０４は、受付部３０１から供給される指令に応じて、ファイル選択部４３から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出し、同期情報生成部３０５に供給する。
同期情報生成部３０５は、タイムスタンプ取得部３０２から供給されるコンテンツＡのタイムスタンプから、タイムスタンプ受信部３０３から供給されるコンテンツＢのタイムスタンプの差分を求め、同期情報の初期情報として生成する。
また、同期情報生成部３０５は、図３の同期情報生成部４６と同様に、特徴量算出部３０４からのコンテンツＡの特徴量の時系列データと、特徴量受信部４５からのコンテンツＢの特徴量の時系列データに基づいて、同期情報を生成する。同期情報生成部３０５は、同期情報生成部４６と同様に、同期情報を制御情報生成部４７と再生部４９に供給する。
要求部３０６は、図３の要求部５２と同様に、受付部３０１から供給される指令に基づいて、コンテンツＡの再生中に、信号処理装置２８２にコンテンツＢの再生位置を要求する。また、要求部３０６は、受付部３０１から供給される通知に応じて、コンテンツＢのタイムスタンプを信号処理装置２８２に要求する。さらに、要求部３０６は、受付部３０１から供給される特徴量に基づく同期合わせの指令に応じて、コンテンツＢの特徴量の時系列データを要求する。
［信号処理装置２８２の構成例］
図２９は、図２７の信号処理装置２８２の構成例を示すブロック図である。
図２９は、図２７の信号処理装置２８２の構成例を示すブロック図である。
図２９に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２９の信号処理装置２８１の構成は、主に、取得部７０の代わりに取得部３２０が設けられる点、および、タイムスタンプ取得部３２１とタイムスタンプ送信部３２２が新たに設けられる点が図４の構成と異なる。
信号処理装置２８１の取得部３２０は、図４の取得部７０と同様に、CCDカメラとマイク等により構成される。取得部３２０は、取得部７０と同様に、受付部７２からの指令に応じて、被写体を撮影し、音響を取得する。取得部３２０は、その結果得られる動画像と音響のコンテンツにタイムスタンプを付加し、記憶部７１に供給して記憶させる。
タイムスタンプ取得部３２１は、信号処理装置２８１の要求部３０６（図２８）からのタイムスタンプの要求に応じて、ファイル選択部７３から読み出されたコンテンツＢに付加されているタイムスタンプを取得し、タイムスタンプ送信部３２２に供給する。
タイムスタンプ送信部３２２は、タイムスタンプ取得部３２１から供給されるタイムスタンプを信号処理装置２８１に送信する。
［信号処理システムの処理］
図３０は、図２７の信号処理システム２８０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置２８１に対して再生対象とするコンテンツＡのファイルを指令したとき、開始される。
図３０は、図２７の信号処理システム２８０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置２８１に対して再生対象とするコンテンツＡのファイルを指令したとき、開始される。
図１２のステップＳ３２１において、信号処理装置２８１の要求部３０６（図２８）は、コンテンツＢのタイムスタンプを信号処理装置２８２に要求する。
ステップＳ３４１において、信号処理装置２８２のタイムスタンプ取得部３２１（図２９）は、要求部３０６からの要求を受信する。ステップＳ３４２とＳ３４３の処理は、それぞれ、図１２のステップＳ３２，Ｓ３３の処理と同様であるので、説明は省略する。
ステップＳ３４３の処理後、ステップＳ３４４において、タイムスタンプ取得部３２１は、ファイル選択部７３から供給されるコンテンツＢに付加されたタイムスタンプを取得し、タイムスタンプ送信部３２２に供給する。ステップＳ３４５において、タイムスタンプ送信部３２２は、タイムスタンプ取得部３２１から供給されるタイムスタンプを信号処理装置２８１に送信する。
また、ステップＳ３２２において、信号処理装置２８１のファイル選択部４３は、受付部４２からの通知にしたがって、記憶部４１から再生対象のファイルのコンテンツＡを読み出す。そして、ファイル選択部４３は、コンテンツＡをタイムスタンプ取得部３０２、特徴量算出部３０４、および再生部４９に供給する。
ステップＳ３２３において、タイムスタンプ取得部３０２は、ファイル選択部４３から供給されるコンテンツＡに付加されているタイムスタンプを取得し、同期情報生成部３０５に供給する。
ステップＳ３２４において、タイムスタンプ受信部３０３は、ステップＳ３４５でタイムスタンプ送信部３２２から送信されてくるコンテンツＢのタイムスタンプを受信し、同期情報生成部３０５に供給する。
ステップＳ３２５において、同期情報生成部３０５は、タイムスタンプ取得部３０２からのコンテンツＡのタイムスタンプと、タイムスタンプ受信部３０３からのコンテンツＢのタイムスタンプに基づいて、同期情報の初期情報を生成する。同期情報生成部３０５は、同期情報の初期情報を制御情報生成部４７と再生部４９に供給する。
図３１は、信号処理システム２８０の再生処理を説明するフローチャートである。この再生処理は、図３０の再生準備処理が行われた後、ユーザにより再生ボタン２１が操作されたとき開始される。
図３１のステップＳ３６１乃至Ｓ３６３の処理は、図１３のステップＳ５１乃至Ｓ５３の処理と同様であり、ステップＳ３９１およびＳ３９２の処理は、それぞれ、ステップＳ７１，Ｓ７２の処理と同様であるので、説明は省略する。
ステップＳ３６４において、受付部３０１は、ユーザにより特徴量に基づく同期合わせが指令されたかどうか、即ち、同期合わせボタン２９１の操作に対応する指令を受け付けたかどうかを判定する。ステップＳ３６４でユーザにより特徴量に基づく同期合わせが指令されていないと判定された場合、受付部３０１は、その指令が行われるまで待機する。
一方、ステップＳ３６４でユーザにより特徴量に基づく同期合わせが指令されたと判定された場合、受付部３０１は、その指令を特徴量算出部３０４と要求部３０６に供給する。そして、ステップＳ３６５において、要求部３０６は、信号処理装置２８２にコンテンツＢの特徴量の時系列データを要求する。
ステップＳ３９２の処理後、ステップＳ３９３において、信号処理装置２８２の特徴量算出部７４は、ステップＳ３６５で要求部３０６から送信されてくる要求を受信する。ステップＳ３９４において、特徴量算出部７４は、ファイル選択部７３から供給されるコンテンツＢのうちの音響データに基づいて特徴量の時系列データを算出し、特徴量送信部７５に供給する。ステップＳ３９５において、特徴量送信部７５は、特徴量算出部７４から供給される特徴量の時系列データを信号処理装置２８１に送信する。
また、ステップＳ３６５の処理後、ステップＳ３６６において、特徴量算出部３０４は、ファイル選択部４３から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出し、同期情報生成部３０５に供給する。
ステップＳ３６７において、特徴量受信部４５は、ステップＳ３９５で特徴量送信部７５から送信されてくるコンテンツＢの特徴量の時系列データを受信し、同期情報生成部３０５に供給する。
ステップＳ３６８において、同期情報生成部３０５は、特徴量算出部３０４からのコンテンツＡの特徴量の時系列データと、特徴量受信部４５からのコンテンツＢの特徴量の時系列データに基づいて、同期情報を生成し、更新する。そして、同期情報生成部３０５は、更新後の同期情報を制御情報生成部４７と再生部４９に供給し、処理をステップＳ３６９に進める。
ステップＳ３６９乃至Ｓ３７３の処理は、図１３のステップＳ５４乃至Ｓ５８の処理と同様であるので、説明は省略する。また、ステップＳ３９６乃至Ｓ３９８の処理は、図１３のステップＳ７３乃至Ｓ７５の処理と同様であるので、説明は省略する。
信号処理システム２８０の再生位置変更処理、再生一時停止処理、エフェクト処理は、それぞれ、図１４の再生位置変更処理、図１５の再生一時停止処理、図１６のエフェクト処理と同様であるので、説明は省略する。
＜第５実施の形態＞
［信号処理システムの第５実施の形態の信号処理装置の構成例］
図３２は、本技術を適用した信号処理システムの第５実施の形態を構成する２つの信号処理装置のうちの、ユーザからの指令を受け付ける信号処理装置の構成例を示すブロック図である。
［信号処理システムの第５実施の形態の信号処理装置の構成例］
図３２は、本技術を適用した信号処理システムの第５実施の形態を構成する２つの信号処理装置のうちの、ユーザからの指令を受け付ける信号処理装置の構成例を示すブロック図である。
図３２に示す構成のうち、図３や図２８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３２の信号処理装置３４１の構成は、要求部３０６、特徴量算出部３０４、受付部３０１の代わりに、要求部３５１、特徴量算出部３５２、受付部３５３が設けられる点が図２８の構成と異なる。
信号処理装置３４１は、再生対象とするコンテンツＡのファイルの指令を受け付けると、タイムスタンプに基づいて同期情報の初期情報を生成し、再生ボタン２１が操作されると、特徴量の時系列データに基づいて同期情報を生成する。
具体的には、信号処理装置３４１の要求部３５１は、図３の要求部５２と同様に、受付部３５３から供給される指令に基づいて、コンテンツＡの再生中に、他方の信号処理装置２８２にコンテンツＢの再生位置を要求する。また、要求部３５１は、図２８の要求部３０６と同様に、受付部３５３から供給される通知に応じて、コンテンツＢのタイムスタンプを信号処理装置２８２に要求する。さらに、要求部３５１は、受付部３５３から供給される、再生ボタン２１を操作することにより行われる指令に応じて、コンテンツＢの特徴量の時系列データを要求する。
特徴量算出部３５２は、受付部３５３から供給される指令に応じて、ファイル選択部４３から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出し、同期情報生成部３０５に供給する。
受付部３５３は、ユーザからの指令を受け付ける。具体的には、受付部３５３は、図３の受付部４２と同様に、ユーザからの撮影開始の指令を受け付け、その指令を取得部３００に供給する。また、受付部３５３は、受付部４２と同様に、ユーザからの再生対象とするコンテンツＡのファイルの指令を受け付け、そのファイルを再生対象のファイルとしてファイル選択部４３と要求部３５１に通知する。
さらに、受付部３５３は、受付部４２と同様に、ユーザが再生ボタン２１、一時停止ボタン２２、再生位置スクロール２３、またはエフェクトボタン２４を操作することにより行う指令を受け付け、その指令を制御情報生成部４７、再生部４９、および要求部３５１に供給する。また、受付部３５３は、ユーザが再生ボタン２１を操作することにより行う指令を特徴量算出部３５２と要求部３５１に供給する。
［信号処理システムの処理］
第５実施の形態の信号処理システムの再生準備処理は、図３０の再生準備処理と同様であるので、説明は省略する。
第５実施の形態の信号処理システムの再生準備処理は、図３０の再生準備処理と同様であるので、説明は省略する。
図３３は、第５実施の形態の信号処理システムの再生処理を説明するフローチャートである。この再生処理は、再生準備処理が行われた後、ユーザにより再生ボタン２１が操作されたとき開始される。
図３３の再生処理は、図３１のステップＳ３６４の処理が行われない点を除いて、図３１の再生処理と同様である。即ち、図３３のステップＳ４１１乃至Ｓ４２２の処理は、図３１のステップＳ３６１乃至Ｓ３６３およびＳ３６５乃至Ｓ３７３と同様であり、ステップＳ４４１乃至Ｓ４４８の処理は、図３１のステップＳ３９１乃至Ｓ３９８の処理と同様である。
このように、第５実施の形態の信号処理システムでは、再生ボタン２１が操作されると、自動的に、コンテンツＡとコンテンツＢの特徴量の時系列データに基づく同期情報が生成される。
第５実施の形態の信号処理システムの再生位置変更処理、再生一時停止処理、エフェクト処理は、それぞれ、図１４の再生位置変更処理、図１５の再生一時停止処理、図１６のエフェクト処理と同様であるので、説明は省略する。
なお、第５実施の形態において、再生ボタン２１の操作の有無にかかわらず、再生準備処理の終了後、即座に、コンテンツＡとコンテンツＢの特徴量の時系列データに基づく同期情報の生成が行われるようにしてもよい。この場合、コンテンツＡとコンテンツＢの特徴量の時系列データに基づく同期情報が生成されているときには、再生開始制御情報は、その同期情報に基づいて生成され、その同期情報がまだ生成されていないときには、再生開始制御情報は、タイムスタンプに基づく同期情報に基づいて生成される。
＜第６実施の形態＞
［信号処理システムの構成例］
図３４は、本技術を適用した信号処理システムの第６実施の形態の構成例を示すブロック図である。
［信号処理システムの構成例］
図３４は、本技術を適用した信号処理システムの第６実施の形態の構成例を示すブロック図である。
なお、図３４に示す構成のうち、図１や図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３４の信号処理システム３７０の構成は、信号処理装置１１の代わりに信号処理装置３７１が設けられる点、および、新たにサーバ３７２が設けられる点が図１や図２の構成と異なる。信号処理システム３７０では、信号処理装置３７１と信号処理装置１２が、再生対象のコンテンツの時系列の特徴量データをサーバ３７２に送信し、サーバ３７２が、その特徴量データに基づいて同期情報を生成する。
具体的には、信号処理装置３７１は、ユーザからの指令に応じて、コマンドをサーバ３７２に送信するとともに、コンテンツＡの再生を制御する。また、信号処理装置３７１は、ユーザからの指令に応じて、コンテンツＢの再生位置の信号処理装置１２への要求をサーバ３７２に送信する。さらに、信号処理装置３７１は、ユーザからの指令に応じて、コンテンツＡの特徴量の時系列データをサーバ３７２に送信する。
また、信号処理装置３７１は、要求に応じて信号処理装置１２から送信されてくるコンテンツＢの再生位置と同期情報からなる同期制御情報を、サーバ３７２から受信する。信号処理装置３７１は、その同期制御情報に基づいてコンテンツＡの再生位置を変更することにより、同期のずれを補正する。
サーバ３７２は、信号処理装置３７１から送信されてくるコンテンツＡの特徴量の時系列データと、信号処理装置１２から送信されてくるコンテンツＢの特徴量の時系列データを受信する。サーバ３７２は、コンテンツＡの特徴量の時系列データとコンテンツＢの特徴量の時系列データとに基づいて、同期情報を生成する。
また、サーバ３７２は、信号処理装置３７１から送信されてくるコマンドを受信し、そのコマンドと同期情報に基づいて、再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、またはエフェクト制御情報を生成する。サーバ３７２は、生成された再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、またはエフェクト制御情報を、信号処理装置１２に送信する。
さらに、サーバ３７２は、信号処理装置３７１から送信されてくるコンテンツＢの再生位置の要求を受信し、その要求を信号処理装置１２に送信する。そして、サーバ３７２は、その要求に応じて信号処理装置１２から送信されてくるコンテンツＢの再生位置を受信し、そのコンテンツＢの再生位置と同期情報を同期制御情報として信号処理装置３７１に送信する。
［信号処理装置３７１の構成例］
図３５は、図３４の信号処理装置３７１の構成例を示すブロック図である。
図３５は、図３４の信号処理装置３７１の構成例を示すブロック図である。
図３５に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３５の信号処理装置３７１は、取得部４０、記憶部４１、受付部４２、ファイル選択部４３、特徴量算出部４４、出力部５０、コマンド送信部３９１、要求部３９２、特徴量送信部３９３、再生部３９４、および同期制御情報受信部３９５により構成される。
コマンド送信部３９１は、受付部４２により受け付けられた、ユーザが再生ボタン２１を操作することにより行う指令に応じて、再生を開始するコマンドである再生開始コマンドを生成する。
また、コマンド送信部３９１は、受付部４２により受け付けられた、ユーザが一時停止ボタン２２を操作することにより行う指令と、再生部３９４から供給される一時停止位置とに基づいて、その一時停止位置を指定し、その一時停止位置の同期位置での再生の一時停止を指令する再生一時停止コマンドを生成する。
さらに、コマンド送信部３９１は、受付部４２により受け付けられた、ユーザが再生位置スクロール２３を操作することにより行う指令と、再生部３９４から供給される変更後の再生位置とに基づいて、その再生位置を指定し、その再生位置の同期位置への再生位置の変更を指令するコマンドである再生位置変更コマンドを生成する。
また、コマンド送信部３９１は、受付部４２により受け付けられた、ユーザがエフェクトボタン２４を操作することにより行う指令と、再生部３９４から供給されるエフェクトを施したときの再生位置とに基づいて、その再生位置を指定し、その再生位置の同期位置でのエフェクトを指令するコマンドであるエフェクトコマンドを生成する。
コマンド送信部３９１は、再生開始コマンド、再生一時停止コマンド、再生位置変更コマンド、またはエフェクトコマンドをサーバ３７２に送信する。また、コマンド送信部３９１は、受付部４２により受け付けられた、ユーザからの再生対象とするコンテンツＡのファイルの指令に応じて、再生準備コマンドをサーバ３７２に送信する。
要求部３９２は、受付部４２により受け付けられた、ユーザが、再生ボタン２１、一時停止ボタン２２、再生位置スクロール２３、およびエフェクトボタン２４を操作することにより行う指令に基づいて、コンテンツＡの再生中に、コンテンツＢの再生位置の要求をサーバ３７２に送信する。
特徴量送信部３９３は、特徴量算出部４４により算出されたコンテンツＡの特徴量の時系列データをサーバ３７２に送信する。
再生部３９４は、受付部４２から供給される指令に基づいて、ファイル選択部４３から供給されるコンテンツＡの再生を制御する。具体的には、再生部３９４は、ユーザが再生ボタン２１を操作することにより行われる指令に基づいて、コンテンツＡの再生処理を開始し、再生されたコンテンツＡの音響データと動画像データを出力部５０に供給する。
また、再生部３９４は、ユーザが一時停止ボタン２２を操作することによる指令に基づいて、コンテンツＡの再生処理を一時停止し、一時停止位置をコマンド送信部３９１に供給する。再生部３９４は、ユーザが再生位置スクロール２３を操作することによる指令に基づいて、コンテンツＡの再生処理における再生位置を変更し、変更後の再生位置をコマンド送信部３９１に供給する。再生部３９４は、エフェクトボタン２４を操作することによる指令に基づいて、再生中のコンテンツＡに対してエフェクトを施し、エフェクトが施されたコンテンツＡの音響データと動画像データを出力部５０に供給する。また、再生部３９４は、エフェクトを施したときの再生位置をコマンド送信部３９１に供給する。
さらに、再生部３９４は、コンテンツＡの再生位置、並びに、同期制御情報受信部３９５から供給される同期制御情報を構成するコンテンツＢの再生位置および同期情報に基づいて、コンテンツＡとコンテンツＢの同期のずれ量を計算する。再生部３９４は、図３の再生部４９と同様に、ずれ量が所定の閾値以上である場合、コンテンツＡの再生位置、コンテンツＢの再生位置、および同期情報に基づいて、コンテンツＡとコンテンツＢが同期するようにコンテンツＡの再生位置を変更する。そして、再生部３９４は、再生部４９と同様に、変更後のコンテンツＡの再生位置からコンテンツＡの再生処理を行い、再生されたコンテンツＡを出力部５０に供給する。
同期制御情報受信部３９５は、サーバ３７２から送信されてくる同期制御情報を受信し、再生部３９４に供給する。
［サーバの構成例］
図３６は、図３４のサーバ３７２の構成例を示すブロック図である。
図３６は、図３４のサーバ３７２の構成例を示すブロック図である。
図３６のサーバ３７２は、コマンド受信部４１１、特徴量要求部４１２、特徴量受信部４１３、同期情報生成部４１４、制御情報生成部４１５、制御情報送信部４１６、要求受信部４１７、再生位置要求部４１８、再生位置受信部４１９、同期制御情報生成部４２０、および同期制御情報送信部４２１により構成される。
サーバ３７２のコマンド受信部４１１は、信号処理装置３７１から送信されてくる、再生準備コマンド、再生開始コマンド、再生一時停止コマンド、再生位置変更コマンド、またはエフェクトコマンドを受信する。コマンド受信部４１１は、再生準備コマンドを特徴量要求部４１２に供給する。また、コマンド受信部４１１は、再生開始コマンド、再生一時停止コマンド、再生位置変更コマンド、またはエフェクトコマンドを制御情報生成部４１５に供給する。
特徴量要求部４１２は、コマンド受信部４１１から供給される再生準備コマンドに応じて、信号処理装置１２にコンテンツＢの特徴量の時系列データを要求する。
特徴量受信部４１３は、信号処理装置３７１の特徴量送信部３９３（図３５）から送信されてくるコンテンツＡの特徴量の時系列データを受信し、同期情報生成部４１４に供給する。また、特徴量受信部４１３は、信号処理装置１２の特徴量送信部７５（図４）から送信されてくるコンテンツＢの特徴量の時系列データを受信し、同期情報生成部４１４に供給する。
同期情報生成部４１４は、図３の同期情報生成部４６と同様に構成される。同期情報生成部４１４は、特徴量受信部４１３から供給されるコンテンツＡの特徴量の時系列データとコンテンツＢの特徴量の時系列データとに基づいて、同期情報を生成する。同期情報生成部４１４は、生成された同期情報を制御情報生成部４１５と同期制御情報生成部４２０に供給する。
制御情報生成部４１５は、同期情報生成部４１４から供給される同期情報と、コマンド受信部４１１から供給される再生開始コマンドに基づいて、再生開始制御情報を生成する。制御情報生成部４１５は、同期情報と、再生一時停止コマンドが指定する一時停止位置に基づいて、再生一時停止制御情報を生成する。
また、制御情報生成部４１５は、同期情報と、再生位置変更コマンドが指定する変更後の再生位置とに基づいて、再生位置変更制御情報を生成する。さらに、制御情報生成部４１５は、同期情報と、エフェクトコマンドが指定するエフェクトを施したときの再生位置とに基づいて、エフェクト制御情報を生成する。制御情報生成部４１５は、生成された再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、またはエフェクト制御情報を制御情報送信部４１６に供給する。
制御情報送信部４１６は、制御情報生成部４１５から供給される再生開始制御情報、再生一時停止制御情報、再生位置変更制御情報、またはエフェクト制御情報を信号処理装置１２に送信する。
要求受信部４１７は、信号処理装置３７１の要求部３９２（図３５）から送信されてくるコンテンツＢの再生位置の要求を受信し、再生位置要求部４１８に供給する。再生位置要求部４１８は、要求受信部４１７から供給されるコンテンツＢの再生位置の要求を、信号処理装置１２に送信する。
再生位置受信部４１９は、再生位置要求部４１８から送信された要求に応じて信号処理装置１２の再生位置送信部８０（図４）から送信されてくる、コンテンツＢの再生位置を受信する。再生位置受信部４１９は、コンテンツＢの再生位置を同期制御情報生成部４２０に供給する。
同期制御情報生成部４２０は、再生位置受信部４１９から供給されるコンテンツＢの再生位置と、同期情報生成部４１４から供給される同期情報とから、同期制御情報を生成し、同期制御情報送信部４２１に供給する。同期制御情報生成部４２０は、同期制御情報生成部４２０から供給される同期情報を、信号処理装置３７１に送信する。
［信号処理システムの処理］
図３７は、図３４の信号処理システム３７０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置３７１に対して再生対象とするコンテンツＡのファイルを指令したとき、開始される。
図３７は、図３４の信号処理システム３７０の再生準備処理を説明するフローチャートである。この再生準備処理は、ユーザが、信号処理装置３７１に対して再生対象とするコンテンツＡのファイルを指令したとき、開始される。
ステップＳ４６１において、信号処理装置３７１のコマンド送信部３９１（図３５）は、受付部４２により受け付けられた、ユーザからの再生対象とするコンテンツＡのファイルの指令に応じて、再生準備コマンドをサーバ３７２に送信する。
ステップＳ４８１において、サーバ３７２のコマンド受信部４１１（図３６）は、ステップＳ４６１で信号処理装置３７１から送信されてくる再生準備コマンドを受信し、特徴量要求部４１２に供給する。ステップＳ４８２において、特徴量要求部４１２は、コマンド受信部４１１から供給される再生準備コマンドに応じて、信号処理装置１２にコンテンツＢの特徴量の時系列データを要求する。
図３７のステップＳ５０１乃至Ｓ５０５の処理は、図１２のステップＳ３１乃至Ｓ３５の処理と同様であるので、説明は省略する。
ステップＳ４６１の処理後、処理はステップＳ４６２に進む。ステップＳ４６２とＳ４６３の処理は、それぞれ、図１２のステップＳ１２，Ｓ１３の処理と同様であるので、説明は省略する。
ステップＳ４６３の処理後、ステップＳ４６４において、特徴量送信部３９３は、特徴量算出部４４により算出されたコンテンツＡの特徴量の時系列データをサーバ３７２に送信する。
ステップＳ４８３において、特徴量受信部４１３は、ステップＳ４６４で特徴量送信部３９３から送信されてくるコンテンツＡの特徴量の時系列データを受信し、同期情報生成部４１４に供給する。
ステップＳ４８４において、特徴量受信部４１３は、ステップＳ５０５で特徴量送信部７５から送信されてくるコンテンツＢの特徴量の時系列データを受信し、同期情報生成部４１４に供給する。
ステップＳ４８５において、同期情報生成部４１４は、特徴量受信部４１３から供給されるコンテンツＡの特徴量の時系列データとコンテンツＢの特徴量の時系列データとに基づいて、同期情報を生成する。
図３８は、図３４の信号処理システム３７０の再生処理を説明するフローチャートである。この再生処理は、図３７の再生準備処理が行われた後、ユーザにより再生ボタン２１が操作されたとき開始される。
図３８のステップＳ５２１において、信号処理装置３７１の再生部３９４（図３５）は、受付部４２から供給される、ユーザが再生ボタン２１を操作することにより行われる指令に基づいて、コンテンツＡの再生処理を開始する。再生部３９４は、再生されたコンテンツＡの音響データと動画像データを出力部５０に供給する。これにより、出力部５０のディスプレイはコンテンツＡの動画像を表示し、スピーカはコンテンツＡの音響を出力する。
ステップＳ５２２において、コマンド送信部３９１は、受付部４２により受け付けられた、ユーザが再生ボタン２１を操作することにより行われるユーザからの指令に応じて、再生開始コマンドをサーバ３７２に送信する。
ステップＳ５４１において、サーバ３７２のコマンド受信部４１１（図３６）は、ステップＳ５２２で信号処理装置３７１から送信されてくる再生開始コマンドを受信し、制御情報生成部４１５に供給する。
ステップＳ５４２において、制御情報生成部４１５は、同期情報生成部４１４から供給される同期情報と、コマンド受信部４１１から供給される再生開始コマンドに基づいて、再生開始制御情報を生成し、制御情報送信部４１６に供給する。
ステップＳ５４３において、制御情報送信部４１６は、制御情報生成部４１５から供給される再生開始制御情報を信号処理装置１２に送信する。
図３８のステップＳ５６１およびＳ５６２の処理は、それぞれ、図１３のステップＳ７１，Ｓ７２の処理と同様である。
ステップＳ５２２の処理後、ステップＳ５２３において、要求部３９２は、コンテンツＢの再生位置の要求をサーバ３７２に送信する。
ステップＳ５４４において、要求受信部４１７は、ステップＳ５２３で要求部３９２から送信されてくるコンテンツＢの再生位置の要求を受信し、再生位置要求部４１８に供給する。
ステップＳ５４５において、再生位置要求部４１８は、要求受信部４１７から供給されるコンテンツＢの再生位置の要求を、信号処理装置１２に送信する。
ステップＳ５６３乃至Ｓ５６５の処理は、図１３のステップＳ７３乃至Ｓ７５の処理と同様であるので、説明は省略する。
ステップＳ５４６において、再生位置受信部４１９は、ステップＳ５６５で再生位置送信部８０から送信されてくる、コンテンツＢの再生位置を受信する。再生位置受信部４１９は、コンテンツＢの再生位置を同期制御情報生成部４２０に供給する。
ステップＳ５４７において、同期制御情報生成部４２０は、再生位置受信部４１９から供給されるコンテンツＢの再生位置と、同期情報生成部４１４から供給される同期情報とから、同期制御情報を生成し、同期制御情報送信部４２１に供給する。ステップＳ５４８において、同期制御情報生成部４２０は、同期制御情報生成部４２０から供給される同期情報を、信号処理装置３７１に送信する。
ステップＳ５２４において、同期制御情報受信部３９５は、サーバ３７２から送信されてくる同期制御情報を受信し、再生部３９４に供給する。ステップＳ５２５において、再生部３９４は、コンテンツＡの再生位置、並びに、同期制御情報受信部３９５から供給される同期制御情報を構成するコンテンツＢの再生位置および同期情報に基づいて、図１３のステップＳ５６の処理と同様に、コンテンツＡとコンテンツＢの同期がずれているかどうかを判定する。
ステップＳ５２５でコンテンツＡとコンテンツＢの同期がずれていると判定された場合、処理はステップＳ５２６に進む。一方、ステップＳ５２５でコンテンツＡとコンテンツＢの同期がずれていないと判定された場合、処理はステップＳ５２７に進む。
ステップＳ５２６とＳ５２７の処理は、それぞれ、図１３のステップＳ５７，Ｓ５８の処理と同様であるので、説明は省略する。
図３９は、図３４の信号処理システム３７０の再生位置変更処理を説明するフローチャートである。この再生位置変更処理は、例えば、図３８の再生処理後、ユーザにより再生位置スクロール２３が操作されたとき開始される。
図３９のステップＳ５８１において、再生部３９４は、受付部４２から供給される、ユーザが再生位置スクロール２３を操作することによる指令に基づいて、コンテンツＡの再生処理における再生位置を変更する。ステップＳ５８２において、再生部３９４は、変更後の再生位置を取得し、コマンド送信部３９１に供給する。
ステップＳ５８３において、信号処理装置３７１のコマンド送信部３９１は、受付部４２から供給される、ユーザが再生位置スクロール２３を操作することによる指令と、再生部３９４から供給される変更後の再生位置とに基づいて、再生位置変更コマンドをサーバ３７２に送信する。
ステップＳ６０１において、サーバ３７２のコマンド受信部４１１は、ステップＳ５８３でコマンド送信部３９１から送信されてくる再生位置変更コマンドを受信し、制御情報生成部４１５に供給する。
ステップＳ６０２において、制御情報生成部４１５は、コマンド受信部４１１から供給される再生位置変更コマンドが指定する再生位置と、同期情報生成部４１４から供給される同期情報に基づいて、再生位置変更制御情報を生成し、制御情報送信部４１６に供給する。ステップＳ６０３において、制御情報送信部４１６は、制御情報生成部４１５から供給される再生位置変更制御情報を信号処理装置１２に送信する。
ステップＳ６２１とＳ６２２の処理は、それぞれ、図１４のＳ１１１，Ｓ１１２の処理と同様であるので、説明は省略する。
図４０は、信号処理システム３７０の再生一時停止処理を説明するフローチャートである。この再生一時停止処理は、例えば、図３８の再生処理後、ユーザにより一時停止ボタン２２が操作されたとき開始される。
図４０のステップＳ６４１において、信号処理装置３７１の再生部３９４（図３５）は、受付部４２から供給される、ユーザが一時停止ボタン２２を操作することによる指令に基づいて、コンテンツＡの再生処理を一時停止する。
ステップＳ６４２において、再生部３９４は、一時停止位置を取得し、コマンド送信部３９１に供給する。ステップＳ６４３において、コマンド送信部３９１は、受付部４２から供給される、ユーザが一時停止ボタン２２を操作することによる指令と、再生部３９４から供給される一時停止位置とに基づいて、再生一時停止コマンドを生成し、サーバ３７２に送信する。
ステップＳ６６１において、サーバ３７２のコマンド受信部４１１（図３６）は、ステップＳ６４３でコマンド送信部３９１から送信されてくる再生一時停止コマンドを受信し、制御情報生成部４１５に供給する。
ステップＳ６６２において、制御情報生成部４１５は、制御情報生成部４１５から供給される再生一時停止コマンドが指定する一時停止位置と、同期情報生成部４１４から供給される同期情報とに基づいて、再生一時停止制御情報を生成する。そして、制御情報生成部４１５は、生成された再生一時停止制御情報を制御情報送信部４１６に供給する。
ステップＳ６６３において、制御情報送信部４１６は、制御情報生成部４１５から供給される再生一時停止制御情報を信号処理装置１２に送信する。
ステップＳ６８１とＳ６８２の処理は、それぞれ、図１５のステップＳ１５１，Ｓ１２の処理と同様であるので、説明は省略する。
図４１は、信号処理システム３７０のエフェクト処理を説明するフローチャートである。このエフェクト処理は、例えば、図３８の再生処理後、ユーザによりエフェクトボタン２４が操作されたとき開始される。
図４１のステップＳ７０１において、信号処理装置３７１の再生部３９４（図３５）は、受付部４２から供給される、ユーザがエフェクトボタン２４を操作することによる指令に基づいて、再生中のコンテンツＡに対してエフェクトを施す。再生部３９４は、エフェクトが施されたコンテンツＡの音響データと動画像データを出力部５０に供給する。
ステップＳ７０２において、再生部３９４は、再生位置を取得し、コマンド送信部３９１に供給する。ステップＳ７０３において、コマンド送信部３９１は、受付部４２から供給される、ユーザがエフェクトボタン２４を操作することによる指令と、再生部３９４から供給される再生位置とに基づいて、エフェクトコマンドを生成し、サーバ３７２に送信する。
ステップＳ７２１において、サーバ３７２のコマンド受信部４１１（図３６）は、ステップＳ７０３でコマンド送信部３９１から送信されてくるエフェクトコマンドを受信し、制御情報生成部４１５に供給する。
ステップＳ７２２において、制御情報生成部４１５は、コマンド受信部４１１から供給されるエフェクトコマンドが指定するエフェクトを施したときの再生位置と、同期情報生成部４１４から供給される同期情報とに基づいて、エフェクト制御情報を生成する。制御情報生成部４１５は、そのエフェクト制御情報を制御情報送信部４１６に供給する。
ステップＳ７２３において、制御情報送信部４１６は、制御情報生成部４１５から供給されるエフェクト制御情報を信号処理装置１２に送信する。
ステップＳ７４１とＳ７４２の処理は、それぞれ、図１６のＳ１９１，Ｓ１９２の処理と同様であるので、説明は省略する。
以上のように、信号処理システム３７０では、信号処理装置３７１と信号処理装置１２がコンテンツそのものではなく、コンテンツの特徴量の時系列データをサーバ３７２にアップロードする。従って、コンテンツそのものをアップロードする場合に比べて、サーバ３７２への送信時間を短縮することができる。また、プライバシーの問題などで、コンテンツをサーバ３７２にアップロードしたくない場合であっても、信号処理装置３７１と信号処理装置１２は、時間的に同期して再生を制御することができる。
なお、第６実施の形態では、同期情報と制御情報の生成をサーバ３７２が行ったが、同期情報の生成のみをサーバ３７２が行い、制御情報の生成は、信号処理装置３７１または信号処理装置１２が行うようにしてもよい。このとき、制御情報の通信は、サーバ３７２を介さずに、信号処理装置３７１と信号処理装置１２間で直接行われるようにしてもよい。
また、信号処理装置１２において、ユーザによる指令が受け付けられ、サーバ３７２が信号処理装置３７１に制御情報を送信するようにしてもよい。
また、第１乃至第５実施の形態では、制御情報の生成を信号処理装置１１（１４１，２２１，２８１，３４１，３７１）が行ったが、信号処理装置１１（１４１，２２１，２８１，３４１，３７１）が同期情報とユーザからの指令を信号処理装置１２（１４２，２２２，２８２）に送信し、その信号処理装置１２（１４２，２２２，２８２）が制御情報を生成するようにしてもよい。
さらに、上述した説明では、信号処理装置１１（１４１，２２１，２８１，３４１）において、ユーザによる指令が受け付けられたが、信号処理装置１２（１４２，２２２，２８２）においてユーザによる指令が受け付けられるようにしてもよい。
この場合、信号処理装置１２（１４２，２２２，２８２）が、ユーザからの指令に基づいてコマンドを生成して信号処理装置１１（１４１，２２１，２８１，３４１）に送信し、信号処理装置１１（１４１，２２１，２８１，３４１）が同期情報とコマンドに基づいて制御情報を生成する。または、信号処理装置１１（１４１，２２１，２８１，３４１）が同期情報を信号処理装置１２（１４２，２２２，２８２）に送信し、信号処理装置１２（１４２，２２２，２８２）が、同期情報とユーザからの指令に基づいて制御情報を生成し、信号処理装置１１（１４１，２２１，２８１，３４１）に送信する。
また、この場合、信号処理装置１４２が、ユーザからの再生対象とするコンテンツＢのファイルの指令を信号処理装置１４１に送信し、信号処理装置１４１が、コンテンツＡを自動的に選択することもできる。
さらに、第１乃至第６実施の形態では、信号処理システムが２つの信号処理装置を備えるようにしたが、３つ以上の信号処理装置が備えられるようにしてもよい。
また、特徴量としては、ピーク情報P（τ）のほか、音響データのレベル、音響データのレベルの立ち上がり位置などの情報を採用することもできる。
例えば、音響データのレベルの情報を特徴量とする場合、音響データが数10msecの時間区間に分割され、時間区間ごとの音響データのRMS(Root Mean Square)値や平均値が特徴量の時系列データとして求められる。そして、特徴量の時系列データどうしの相互相関関数が類似度として計算される。
なお、この場合、帯域通過フィルタによって複数の周波数帯域に分割された音響データのレベルの情報を特徴量とするようにしてもよい。この場合、相互相関関数は周波数帯域ごとに求められ、各周波数帯域の相互相関関数の総和が類似度として求められる。
また、音響データのレベルの立ち上がり位置の情報を特徴量とする場合、特徴量は、例えば、音響データの立ち上がり位置、即ち微分値が閾値以上になる位置の値を1とし、それ以外の値を0とした情報である。
また、特徴量としては、George Tzanetakis and Perry Cook. Musical genre classification of audio signals. IEEE Transactions on Speech and Audio Processing, 10(5):293-302, July 2002.に開示されている特徴量のうちの、Zero Crossing Rate, Spectrum Flux, Spectrum Centroid, Roll-Offなどを単独で用いたり、組み合わせて用いたりすることも可能である。これらの特徴量を組み合わせて用いる場合、各特徴量の相互相関関数が類似度として求められる。
さらに、特徴量としては、上述した情報そのものではなく、その情報のピーク位置、即ち微分値が正から負に変わる位置のうち、レベルが閾値以上となる位置の値を1とし、それ以外を0とした情報を用いることも可能である。
また、信号処理装置１１（１４１，２２１，２８１，３４１，３７１）には、再生速度変換ボタン、静止画切り出しボタン、ズームインボタン、ズームアウトボタン等を表示することもできる。
再生速度変換ボタンは、所定の倍率で再生速度を変換し、スロー再生や早回し再生を行うときに操作されるボタンである。再生速度変換ボタンが操作された場合、そのときのコンテンツＡの再生位置から、所定の倍率で変換された再生速度で再生されるとともに、その再生位置の同期位置から、コンテンツＡの変換後の再生速度と同一の再生速度で再生される。
静止画切り出しボタンは、コンテンツＡとコンテンツＢを静止画像として配置するときに操作されるボタンである。静止画切り出しボタンが操作された場合、そのときのコンテンツＡとコンテンツＢの画像を並べて配置した画像が、２つの信号処理装置のいずれかで生成され、静止画切り出しボタンの操作を受け付ける信号処理装置において表示される。なお、静止画切り出しボタンの操作を受け付ける信号処理装置以外の信号処理装置にも表示するようにしてもよい。
ズームインボタンは、コンテンツＡとコンテンツＢに対してズームイン処理を施すときに操作されるボタンである。ズームインボタンが操作された場合、そのときのコンテンツＡに対してズームイン処理が施され、ズームイン処理が施されたコンテンツＡの再生位置の同期位置で、コンテンツＢに対してズームイン処理が施される。ズームアウトボタンについては、ズームイン処理の代わりにズームアウト処理が施される点を除いて、ズームインボタンと同様である。
＜本技術を適用したコンピュータの説明＞
［コンピュータの構成例］
上述した一連の信号処理装置やサーバによる処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
［コンピュータの構成例］
上述した一連の信号処理装置やサーバによる処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図４２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、第４実施の形態の信号処理システム２８０や第５実施の形態の信号処理システムにおいて、第２実施の形態の信号処理システム１４０と同様に、コンテンツＢのファイルを自動的に決定するようにしてもよいし、第３実施の形態の信号処理システム２２０と同様に、推薦リストを提示するようにしてもよい。
また、第６実施の形態の信号処理システム３７０において、サーバ３７２が、第２実施の形態の信号処理装置１４２と同様に、コンテンツＢのファイルを自動的に決定し、信号処理装置１２に指示するようにしてもよい。また、第６実施の形態の信号処理システム３７０において、サーバ３７２が、第３実施の形態の信号処理装置２２２と同様に推薦ファイルを選択し、信号処理装置２２１と同様に推薦リストを提示するようにしてもよい。
本技術は、動画と音響のコンテンツを取得する信号処理装置だけでなく、音響データのみを取得する録音装置に適用することもできる。この場合、本技術は、例えば、楽器演奏を録音する際に複数の録音装置としてのIC（Integrated Circuit）レコーダを各楽器の近くに設置して録音し、その結果得られる音響データを各ICレコーダで同時再生する音響再生システムに適用することができる。
また、本技術は、外部から取得したコンテンツを記憶し、再生を行う信号処理装置にも適用することができる。
なお、本技術は、以下のような構成もとることができる。
（１）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える信号処理装置。
（２）
前記制御情報は、前記第１のコンテンツまたは前記第２のコンテンツの再生開始位置、再生一時停止位置、再生変更位置、またはエフェクトを施す位置を示す情報である
前記（１）に記載の信号処理装置。
（３）
複数の前記第１のコンテンツまたは複数の前記第２のコンテンツの一方のそれぞれごとに、前記第１のコンテンツの前記第１の特徴量データと、前記第２のコンテンツの前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の第１のコンテンツまたは前記複数の第２のコンテンツの一方のうちの１つを再生対象として指定する再生指定情報を生成する再生指定情報生成部と
をさらに備える
前記（１）に記載の信号処理装置。
（４）
複数の前記第１のコンテンツのうちの１つと、複数の前記第２のコンテンツのうちの１つからなる複数の組み合わせごとに、前記第１の特徴量データと前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の組み合わせのうちの、再生対象として推薦する１以上の組み合わせを示す推薦リストを作成する推薦リスト作成部と
をさらに備える
前記（１）に記載の信号処理装置。
（５）
前記第１のコンテンツの時刻情報を取得する時刻情報取得部と、
前記他の情報処理装置から前記第２のコンテンツの時刻情報を受信する時刻情報受信部と、
前記第１のコンテンツの時刻情報と前記第２のコンテンツの時刻情報に基づいて、前記同期情報の初期情報を生成する初期同期情報生成部と
をさらに備え、
前記同期情報生成部は、ユーザの指示に応じて前記同期情報を生成し、
前記制御情報生成部は、前記同期情報が生成されるまで、前記初期同期情報生成部により生成された前記同期情報の初期情報を用いて前記制御情報を生成し、前記同期情報が生成された場合、前記同期情報生成部により生成された前記同期情報を用いて前記制御情報を生成する
前記（１）に記載の信号処理装置。
（６）
前記第１のコンテンツの時刻情報を取得する時刻情報取得部と、
前記他の情報処理装置から前記第２のコンテンツの時刻情報を受信する時刻情報受信部と
をさらに備え、
前記同期情報生成部は、前記第１のコンテンツの時刻情報と前記第２のコンテンツの時刻情報に基づいて、前記同期情報の初期情報を生成し、
前記制御情報生成部は、前記同期情報生成部により生成された前記同期情報の初期情報を用いて、前記制御情報としての前記第１のコンテンツまたは前記第２のコンテンツの再生開始位置を示す情報を生成する
前記（１）に記載の信号処理装置。
（７）
前記制御情報生成部は、前記同期情報生成部により生成された前記同期情報を用いて、前記制御情報としての前記第１のコンテンツまたは前記第２のコンテンツの再生開始位置を示す情報以外の情報を生成する
前記（６）に記載の信号処理装置。
（８）
信号処理装置が、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出ステップと、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信ステップと、
前記特徴量算出ステップの処理により算出された前記第１の特徴量データと、前記特徴量受信ステップの処理により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成ステップと、
前記同期情報生成ステップの処理により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと
を含む信号処理方法。
（９）
コンピュータを、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
して機能させるためのプログラム。
（１０）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える電子機器。
（１１）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
前記第１の特徴量データを他の信号処理装置に送信する特徴量送信部と、
前記他の信号処理装置から、前記第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを用いて生成された、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を受信する同期情報受信部と、
前記同期情報受信部により受信された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える信号処理装置。
（１２）
信号処理装置が、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出ステップと、
前記第１の特徴量データを他の信号処理装置に送信する特徴量送信ステップと、
前記他の信号処理装置から、前記第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを用いて生成された、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を受信する同期情報受信ステップと、
前記同期情報受信ステップの処理により受信された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと
を含む信号処理方法。
（１３）
コンピュータを、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
前記第１の特徴量データを他の信号処理装置に送信する特徴量送信部と、
前記他の信号処理装置から、前記第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを用いて生成された、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を受信する同期情報受信部と、
前記同期情報受信部により受信された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
して機能させるためのプログラム。
（１４）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
前記第１の特徴量データを他の信号処理装置に送信する特徴量送信部と、
前記他の信号処理装置から、前記第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを用いて生成された、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を受信する同期情報受信部と、
前記同期情報受信部により受信された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える電子機器。
（１５）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを受信する特徴量受信部と、
前記特徴量受信部により受信された前記第１の特徴量データと前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、
前記制御情報生成部により生成された前記制御情報を送信する制御情報送信部と
を備える信号処理装置。
（１６）
信号処理装置が、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを受信する特徴量受信ステップと、
前記特徴量受信ステップの処理により受信された前記第１の特徴量データと前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成ステップと、
前記同期情報生成ステップの処理により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと、
前記制御情報生成ステップの処理により生成された前記制御情報を送信する制御情報送信ステップと
を含む信号処理方法。
（１７）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する第１の特徴量算出部と、
第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを算出する第２の特徴量算出部と、
前記第１の特徴量算出部により算出された前記第１の特徴量データと、前記第２の特徴量算出部により算出された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える信号処理システム。
（１８）
信号処理システムが、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する第１の特徴量算出ステップと、
第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを算出する第２の特徴量算出ステップと、
前記第１の特徴量算出ステップの処理により算出された前記第１の特徴量データと、前記第２の特徴量算出ステップの処理により算出された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成ステップと、
前記同期情報生成ステップの処理により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと
を含む信号処理方法。
（１９）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する再生制御に関する再生制御情報を生成する制御情報生成部と
を備える信号処理装置。
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える信号処理装置。
（２）
前記制御情報は、前記第１のコンテンツまたは前記第２のコンテンツの再生開始位置、再生一時停止位置、再生変更位置、またはエフェクトを施す位置を示す情報である
前記（１）に記載の信号処理装置。
（３）
複数の前記第１のコンテンツまたは複数の前記第２のコンテンツの一方のそれぞれごとに、前記第１のコンテンツの前記第１の特徴量データと、前記第２のコンテンツの前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の第１のコンテンツまたは前記複数の第２のコンテンツの一方のうちの１つを再生対象として指定する再生指定情報を生成する再生指定情報生成部と
をさらに備える
前記（１）に記載の信号処理装置。
（４）
複数の前記第１のコンテンツのうちの１つと、複数の前記第２のコンテンツのうちの１つからなる複数の組み合わせごとに、前記第１の特徴量データと前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の組み合わせのうちの、再生対象として推薦する１以上の組み合わせを示す推薦リストを作成する推薦リスト作成部と
をさらに備える
前記（１）に記載の信号処理装置。
（５）
前記第１のコンテンツの時刻情報を取得する時刻情報取得部と、
前記他の情報処理装置から前記第２のコンテンツの時刻情報を受信する時刻情報受信部と、
前記第１のコンテンツの時刻情報と前記第２のコンテンツの時刻情報に基づいて、前記同期情報の初期情報を生成する初期同期情報生成部と
をさらに備え、
前記同期情報生成部は、ユーザの指示に応じて前記同期情報を生成し、
前記制御情報生成部は、前記同期情報が生成されるまで、前記初期同期情報生成部により生成された前記同期情報の初期情報を用いて前記制御情報を生成し、前記同期情報が生成された場合、前記同期情報生成部により生成された前記同期情報を用いて前記制御情報を生成する
前記（１）に記載の信号処理装置。
（６）
前記第１のコンテンツの時刻情報を取得する時刻情報取得部と、
前記他の情報処理装置から前記第２のコンテンツの時刻情報を受信する時刻情報受信部と
をさらに備え、
前記同期情報生成部は、前記第１のコンテンツの時刻情報と前記第２のコンテンツの時刻情報に基づいて、前記同期情報の初期情報を生成し、
前記制御情報生成部は、前記同期情報生成部により生成された前記同期情報の初期情報を用いて、前記制御情報としての前記第１のコンテンツまたは前記第２のコンテンツの再生開始位置を示す情報を生成する
前記（１）に記載の信号処理装置。
（７）
前記制御情報生成部は、前記同期情報生成部により生成された前記同期情報を用いて、前記制御情報としての前記第１のコンテンツまたは前記第２のコンテンツの再生開始位置を示す情報以外の情報を生成する
前記（６）に記載の信号処理装置。
（８）
信号処理装置が、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出ステップと、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信ステップと、
前記特徴量算出ステップの処理により算出された前記第１の特徴量データと、前記特徴量受信ステップの処理により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成ステップと、
前記同期情報生成ステップの処理により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと
を含む信号処理方法。
（９）
コンピュータを、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
して機能させるためのプログラム。
（１０）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える電子機器。
（１１）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
前記第１の特徴量データを他の信号処理装置に送信する特徴量送信部と、
前記他の信号処理装置から、前記第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを用いて生成された、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を受信する同期情報受信部と、
前記同期情報受信部により受信された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える信号処理装置。
（１２）
信号処理装置が、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出ステップと、
前記第１の特徴量データを他の信号処理装置に送信する特徴量送信ステップと、
前記他の信号処理装置から、前記第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを用いて生成された、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を受信する同期情報受信ステップと、
前記同期情報受信ステップの処理により受信された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと
を含む信号処理方法。
（１３）
コンピュータを、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
前記第１の特徴量データを他の信号処理装置に送信する特徴量送信部と、
前記他の信号処理装置から、前記第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを用いて生成された、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を受信する同期情報受信部と、
前記同期情報受信部により受信された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
して機能させるためのプログラム。
（１４）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
前記第１の特徴量データを他の信号処理装置に送信する特徴量送信部と、
前記他の信号処理装置から、前記第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを用いて生成された、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を受信する同期情報受信部と、
前記同期情報受信部により受信された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える電子機器。
（１５）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを受信する特徴量受信部と、
前記特徴量受信部により受信された前記第１の特徴量データと前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、
前記制御情報生成部により生成された前記制御情報を送信する制御情報送信部と
を備える信号処理装置。
（１６）
信号処理装置が、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データと、第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データとを受信する特徴量受信ステップと、
前記特徴量受信ステップの処理により受信された前記第１の特徴量データと前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成ステップと、
前記同期情報生成ステップの処理により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと、
前記制御情報生成ステップの処理により生成された前記制御情報を送信する制御情報送信ステップと
を含む信号処理方法。
（１７）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する第１の特徴量算出部と、
第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを算出する第２の特徴量算出部と、
前記第１の特徴量算出部により算出された前記第１の特徴量データと、前記第２の特徴量算出部により算出された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と
を備える信号処理システム。
（１８）
信号処理システムが、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する第１の特徴量算出ステップと、
第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを算出する第２の特徴量算出ステップと、
前記第１の特徴量算出ステップの処理により算出された前記第１の特徴量データと、前記第２の特徴量算出ステップの処理により算出された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成ステップと、
前記同期情報生成ステップの処理により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと
を含む信号処理方法。
（１９）
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する再生制御に関する再生制御情報を生成する制御情報生成部と
を備える信号処理装置。
１０ 信号処理システム， １１ 信号処理装置， １２ 信号処理装置， ４４ 特徴量算出部， ４５ 特徴量受信部， ４６ 同期情報生成部， ４７ 制御情報生成部， ７４ 特徴量算出部， ７５ 特徴量送信部， １４０ 信号処理システム， １４２ 信号処理装置， ２０３ 類似度計算部， ２０５ 再生指定情報生成部， ２２０ 信号処理システム， ２２２ 信号処理装置， ２４４ 推薦リスト作成部， ２６２ 同期情報生成部， ２８０ 信号処理システム， ２８１ 信号処理装置， ３０２ タイムスタンプ取得部， ３０３ タイムスタンプ受信部， ３０５ 同期情報生成部， ３７０ 信号処理システム， ３７２ サーバ， ４１３ 特徴量受信部， ４１４ 同期情報生成部， ４１５ 制御情報生成部， ４１６ 制御情報送信部
Claims (10)
- 第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、
複数の前記第１のコンテンツまたは複数の前記第２のコンテンツの一方のそれぞれごとに、前記第１のコンテンツの前記第１の特徴量データと、前記第２のコンテンツの前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の第１のコンテンツまたは前記複数の第２のコンテンツの一方のうちの１つを再生対象として指定する再生指定情報を生成する再生指定情報生成部と
を備える信号処理装置。 - 前記制御情報は、前記第１のコンテンツまたは前記第２のコンテンツの再生開始位置、再生一時停止位置、再生変更位置、またはエフェクトを施す位置を示す情報である
請求項１に記載の信号処理装置。 - 信号処理装置が、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出ステップと、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信ステップと、
前記特徴量算出ステップの処理により算出された前記第１の特徴量データと、前記特徴量受信ステップの処理により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成ステップと、
前記同期情報生成ステップの処理により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと、
複数の前記第１のコンテンツまたは複数の前記第２のコンテンツの一方のそれぞれごとに、前記第１のコンテンツの前記第１の特徴量データと、前記第２のコンテンツの前記第２の特徴量データの類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記複数の第１のコンテンツまたは前記複数の第２のコンテンツの一方のうちの１つを再生対象として指定する再生指定情報を生成する再生指定情報生成ステップと
を含む信号処理方法。 - コンピュータを、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、
複数の前記第１のコンテンツまたは複数の前記第２のコンテンツの一方のそれぞれごとに、前記第１のコンテンツの前記第１の特徴量データと、前記第２のコンテンツの前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の第１のコンテンツまたは前記複数の第２のコンテンツの一方のうちの１つを再生対象として指定する再生指定情報を生成する再生指定情報生成部と
して機能させるためのプログラム。 - 第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、
複数の前記第１のコンテンツまたは複数の前記第２のコンテンツの一方のそれぞれごとに、前記第１のコンテンツの前記第１の特徴量データと、前記第２のコンテンツの前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の第１のコンテンツまたは前記複数の第２のコンテンツの一方のうちの１つを再生対象として指定する再生指定情報を生成する再生指定情報生成部と
を備える電子機器。 - 第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、
複数の前記第１のコンテンツのうちの１つと、複数の前記第２のコンテンツのうちの１つからなる複数の組み合わせごとに、前記第１の特徴量データと前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の組み合わせのうちの、再生対象として推薦する１以上の組み合わせを示す推薦リストを作成する推薦リスト作成部と
を備える信号処理装置。 - 前記制御情報は、前記第１のコンテンツまたは前記第２のコンテンツの再生開始位置、再生一時停止位置、再生変更位置、またはエフェクトを施す位置を示す情報である
請求項６に記載の信号処理装置。 - 信号処理装置が、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出ステップと、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信ステップと、
前記特徴量算出ステップの処理により算出された前記第１の特徴量データと、前記特徴量受信ステップの処理により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成ステップと、
前記同期情報生成ステップの処理により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成ステップと、
複数の前記第１のコンテンツのうちの１つと、複数の前記第２のコンテンツのうちの１つからなる複数の組み合わせごとに、前記第１の特徴量データと前記第２の特徴量データの類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記複数の組み合わせのうちの、再生対象として推薦する１以上の組み合わせを示す推薦リストを作成する推薦リスト作成ステップと
を含む信号処理方法。 - コンピュータを、
第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、
複数の前記第１のコンテンツのうちの１つと、複数の前記第２のコンテンツのうちの１つからなる複数の組み合わせごとに、前記第１の特徴量データと前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の組み合わせのうちの、再生対象として推薦する１以上の組み合わせを示す推薦リストを作成する推薦リスト作成部と
して機能させるためのプログラム。 - 第１のコンテンツに含まれる音響信号の特徴量の時系列データである第１の特徴量データを算出する特徴量算出部と、
他の信号処理装置から送信されてくる第２のコンテンツに含まれる音響信号の前記特徴量の時系列データである第２の特徴量データを受信する特徴量受信部と、
前記特徴量算出部により算出された前記第１の特徴量データと、前記特徴量受信部により受信された前記第２の特徴量データとを用いて、前記第１のコンテンツと前記第２のコンテンツを同期する際に用いられる同期情報を生成する同期情報生成部と、
前記同期情報生成部により生成された前記同期情報を用いて、前記第１のコンテンツまたは前記第２のコンテンツに対する制御情報を生成する制御情報生成部と、
複数の前記第１のコンテンツのうちの１つと、複数の前記第２のコンテンツのうちの１つからなる複数の組み合わせごとに、前記第１の特徴量データと前記第２の特徴量データの類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記複数の組み合わせのうちの、再生対象として推薦する１以上の組み合わせを示す推薦リストを作成する推薦リスト作成部と
を備える電子機器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012039766A JP5885025B2 (ja) | 2012-02-27 | 2012-02-27 | 信号処理装置、信号処理方法、およびプログラム、並びに電子機器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012039766A JP5885025B2 (ja) | 2012-02-27 | 2012-02-27 | 信号処理装置、信号処理方法、およびプログラム、並びに電子機器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013175964A JP2013175964A (ja) | 2013-09-05 |
| JP5885025B2 true JP5885025B2 (ja) | 2016-03-15 |
Family
ID=49268497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012039766A Active JP5885025B2 (ja) | 2012-02-27 | 2012-02-27 | 信号処理装置、信号処理方法、およびプログラム、並びに電子機器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5885025B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6471923B2 (ja) * | 2013-10-21 | 2019-02-20 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| US10754511B2 (en) | 2013-11-20 | 2020-08-25 | Google Llc | Multi-view audio and video interactive playback |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3617052B2 (ja) * | 2001-08-30 | 2005-02-02 | 日本電気株式会社 | カメラ映像提供システム及びカメラ映像の時刻補正方法 |
| JP5050445B2 (ja) * | 2006-08-11 | 2012-10-17 | カシオ計算機株式会社 | 動画再生装置及び動画再生方法 |
| JP4748075B2 (ja) * | 2007-02-07 | 2011-08-17 | カシオ計算機株式会社 | 画像同期システム及び画像同期方法 |
-
2012
- 2012-02-27 JP JP2012039766A patent/JP5885025B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013175964A (ja) | 2013-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112165590B (zh) | 视频的录制实现方法、装置及电子设备 | |
| US20170339329A1 (en) | Intelligence Interface for Interchangable Sensors | |
| US10834478B2 (en) | Methods and systems for an augmented film crew using purpose | |
| JP6012342B2 (ja) | 再生装置、再生装置の制御方法 | |
| CN105407266B (zh) | 摄像装置及其控制方法 | |
| US20230217084A1 (en) | Image capture apparatus, control method therefor, image processing apparatus, and image processing system | |
| JP5803868B2 (ja) | 動画処理装置、動画処理方法及びプログラム | |
| US11398254B2 (en) | Methods and systems for an augmented film crew using storyboards | |
| JP2019057891A (ja) | 情報処理装置、撮像装置、情報処理方法及びプログラム | |
| CN111010521A (zh) | 在便携式电子设备中记录超慢动作视频的方法和系统 | |
| JP2017103542A (ja) | 同期装置、同期方法及び同期プログラム | |
| KR101155611B1 (ko) | 음원 위치 산출 장치 및 그 방법 | |
| JP5885025B2 (ja) | 信号処理装置、信号処理方法、およびプログラム、並びに電子機器 | |
| KR20190053673A (ko) | 스마트 연기영상 제작 시스템 및 그 방법 | |
| KR101585830B1 (ko) | 시청자 감정에 따른 스토리 전개 시스템 및 방법 | |
| US20190206440A1 (en) | Methods and systems for an augmented film crew using sweet spots | |
| JP2017098640A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6818445B2 (ja) | 音データ処理装置および音データ処理方法 | |
| CN107135407B (zh) | 一种钢琴视频教学中的同步方法及系统 | |
| US10536685B2 (en) | Method and apparatus for generating lens-related metadata | |
| EP4007261A1 (en) | Image processing device, image processing method, and program | |
| CN111683215A (zh) | 录像回放方法、装置、电子设备及计算机可读存储介质 | |
| JP2012156808A (ja) | 画像伝送システムおよび画像再生装置 | |
| JP2018157363A (ja) | データ同期方法 | |
| US20140150043A1 (en) | Scene fragment transmitting system, scene fragment transmitting method and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150917 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160127 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5885025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |