JP4539647B2 - コンテンツ再生装置 - Google Patents

Description

本発明は、外部から入力されるオーディオ信号に同期した映像を表示するコンテンツ再生装置に関する。

カラオケ装置による演奏では、楽曲の演奏と同期して歌詞テロップが表示される（たとえば特許文献１）。これは予め曲データ中に演奏用の演奏トラックと歌詞テロップを表示するための歌詞トラックとを並列に記憶しているからである。

特開２０００−９９０４４号公報

近年、カラオケ装置だけでなく、テレビ放送等でも歌手の歌唱に合わせて歌詞を表示することがよく行われている。また、テレビ放送では、歌詞に限定されず、ニュース番組等で人物の発言を文字に記述したものをテロップとして画面にスーパーインポーズ表示（テロップ化）したり、語学学習番組では講師の発言をテロップとしてスーパーインポーズ表示することが広く行われている。

これらは、いずれも事前に映像にテロップを合成したものを再生表示するものであり、たとえば演奏の生中継（いわゆるライブ中継）などのリアルタイムに行われ、ストリーミングで到来する演奏や発言等をテロップとしてスーパーインポーズ表示しているものではなかった。

また、カラオケなどでは、流れる曲に合った適切な背景画面や背景映像が所定のデータベースから選択されて画面やスクリーンに表示される。しかしながら、これも従来は事前の合成作業が必要であり、ライブ演奏に基づいてその曲に合った背景映像等を観客や視聴者に対して提供するものではなかった。

本発明は、ライブ演奏等のリアルタイムに発生するオーディオ信号に基づいて、所定のデータベースから検索された歌詞テロップや背景映像等の映像データを同期再生することができるコンテンツ再生装置を提供する。

請求項１の発明は、音声時系列データと映像時系列データとを対応づけて記録したマルチメディアコンテンツデータを複数記憶するマルチメディアコンテンツデータ記憶部と、外部からオーディオ信号を入力するオーディオ信号入力部と、外部から前記オーディオ信号の進行に関する情報である補助情報を入力する補助情報入力部と、前記入力されたオーディオ信号を所定時間録音するオーディオ信号記憶部を有するとともに、この録音したオーディオ信号に対応するマルチメディアコンテンツデータを検索する検索処理を実行する検索部と、前記検索されたマルチメディアコンテンツデータ中の音声時系列データと前記オーディオ信号とを所定長のフレームに分割し、該フレーム毎に対比する対比処理を実行して前記オーディオ信号の各フレームの前記音声時系列データ中における対応位置をリアルタイムに特定するとともに、前記補助情報に基づいて前記特定された対応位置を修正することにより、前記オーディオ信号に同期した再生クロックを生成し、前記対応位置の時間情報である演奏位置情報とともに出力するクロック生成部と、
前記クロック生成部が出力した再生クロックおよび前記演奏位置情報に基づいて、前記検索されたマルチメディアコンテンツデータ中の映像時系列データを再生する映像再生部と、を備えたことを特徴とする。

請求項２の発明は、請求項１の発明において、前記複数のマルチメディアコンテンツデータの音声時系列データ中の複数の音声時系列データの検索対象部分を集約して記録した検索用音声時系列データ記憶部をさらに備え、前記検索部は、前記検索用音声時系列データ記憶部を対象に、前記検索処理を実行することを特徴とする。

請求項３の発明は、請求項１、２の発明において、前記オーディオ信号記憶部は、前記外部から入力されるオーディオ信号をＦＩＦＯで所定時間分録音することを特徴とする。

請求項４の発明は、請求項３の発明において、前記検索部は、前記オーディオ信号および／または前記補助情報に基づいて検索開始タイミングを検出する判定部を有し、判定部が判定開始タイミングを検出したとき、そのとき前記オーディオ信号記憶部に録音されているオーディオ信号に対応するマルチメディアコンテンツデータを検索することを特徴とする。

請求項５の発明は、請求項４の発明において、検索指令信号の入力を受け付ける操作部をさらに備え、前記検索部は、前記検索処理ののち、前記操作部から検索指令信号が入力されたとき、前記オーディオ信号記録部に記録されたオーディオ信号を用いて再度前記検索処理を実行することを特徴とする。

請求項６の発明は、請求項１〜５の発明において、前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち再出力するオーディオ信号出力部を備えたことを特徴とする。

請求項７の発明は、請求項１〜６の発明において、前記クロック生成部を、さらに、前記補助情報に基づいて、前記映像再生部に対して、前記映像時系列データの再生位置を指示するようにした請求項１乃至請求項６に記載のコンテンツ再生装置。

請求項８の発明は、請求項１〜７の発明において、前記補助情報入力部は、補助情報として前記オーディオ信号の進行位置情報を入力し、前記クロック生成部は、前記補助情報に基づいて、前記対比処理における前記音声時系列データの対比位置を修正することを特徴とする。

請求項９の発明は、請求項１〜８の発明において、前記補助情報入力部は、補助情報として前記オーディオ信号の進行速度情報を入力し、前記クロック生成部は、前記補助情報に基づいて、前記対比処理におけるクロック周期を修正することを特徴とする。

請求項１０の発明は、請求項１〜９の発明において、前記マルチメディアコンテンツデータ記憶部が記憶する前記複数の映像時系列データにおける各映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含むことを特徴とする。

［作用］
本発明では、オーディオ信号および各種の補助情報に基づいてオーディオ信号に同期した再生クロックを生成し、この再生クロックに基づいて映像時系列データを再生することにより、オーディオ信号に同期した映像（および音声）を再生することができる。なお、オーディオ信号は、この装置を経由して再生用に出力されるようにしてもよく、この装置をバイパスする別の経路で再生されるようにしてもよい。

また、精度よく同期した再生クロックを生成する処理は、複雑で重い処理であるため、オーディオ信号（ビデオ信号）が入力されたのち、その信号に同期したクロックが生成されるまである程度の時間が必要である。入力されたオーディオ信号やビデオ信号をこの時間分遅延させて出力することにより、再生された映像（および音声）と遅延されたオーディオ信号とでより高精度の同期をとることが可能になる。

また、ライブ演奏に基づいて、その曲に合った適切な背景映像等が所定のデータベースから選択されて画面やスクリーンに表示されることにより、観客や視聴者等に対して臨場感や盛り上がりをさらに与えることができる。

本発明によれば、入力されたオーディオ信号に同期して映像を再生することができるため、たとえばライブ演奏等の事前に歌詞テロップを用意できない場面でも、別に用意されたカラオケ用の同じ楽曲用の歌詞テロップを用いて、演奏に同期した歌詞テロップを表示することができる。また、本発明によれば、入力されたオーディオ信号に同期して、所定のデータベースから検索されたそのオーディオ信号に相応しい背景映像等の映像データを同期再生することができる。

図面を参照して本発明の実施形態について説明する。
<<第１実施形態>>
図１は本発明の第１実施形態であるコンテンツ再生装置の構成図である。このコンテンツ再生装置は、オーディオ入力部（Ａｕｄｉｏ Ｉｎ）１から入力されたオーディオ信号に同期させて、所定のデータベース１５から検索されるそのオーディオ信号に対応する映像シーケンスデータ（Ｄｉｓｐｌａｙ Ｓｅｑｕｅｎｃｅ Ｄａｔａ）９を再生出力する装置である。以下の説明では、カラオケ曲の演奏に用いられる曲データを用いて、ライブ演奏の歌詞およびそのライブ演奏に合った背景映像等を表示する場合を例に挙げて説明する。

コンテンツ再生装置は、外部からオーディオ信号が入力されるオーディオ入力部１、補助情報が入力される補助情報入力部（Ａｕｘ Ｉｎｆｏ）２、オーディオ信号が出力されるオーディオ出力部 （Ａｕｄｉｏ Ｏｕｔ）１１、映像が出力される映像出力部（Ｖｉｄｅｏ Ｏｕｔ）１２、音声データ（Ａｕｄｉｏ Ｄａｔａ）８および前記映像シーケンスデータ９を含むカラオケ曲の曲データが複数記憶されるソングデータベース（Ｓｏｎｇ Ｄａｔａ Ｂａｓｅ）１６、ソングデータベース１６から同期再生する１曲の曲データを読み出す読出部（Ｓｏｎｇ Ｌｏａｄｅｒ）１７、読出部１７によって読み出された曲データが記憶される記憶部（Ｓｏｎｇ Ｄａｔａ）７、入力されたオーディオ信号と映像とを同期させるための信号処理部６、前記映像シーケンスデータ９を再生する映像シーケンサ（Ｇｒａｐｈｉｃ Ｓｅｑｕｅｎｃｅｒ）１０、および前記オーディオ入力部１と前記補助情報入力部２から入力される信号に基づいて対応する曲データを検索して読出部１７に読出を指示する検索部（Ｓｅａｒｃｈ Ｅｎｇｉｎｅ）１５を備えている。
なお、曲データは、音声時系列データである音声データ８、映像時系列データである映像シーケンスデータ９を含むものである。

ライブ演奏の歌詞を表示する場合、オーディオ入力部１から入力されるオーディオ信号は、ライブ演奏の演奏音である。ライブ演奏の演奏音は、公共放送網、インターネット等を経由して配信されてくる。また、カラオケ曲の曲データの場合、音声データ８は、ＭＩＤＩ等のフォーマットでインプリメントされたシーケンスデータ（演奏トラック）である。シーケンスデータは、楽音の発音動作や消音動作を実行するための情報であるイベントデータとこのイベントデータの読み出しタイミングを指示するタイミングデータからなっている。また、カラオケ曲の曲データの場合、映像シーケンスデータ９は、歌詞を表示するための歌詞トラックおよびそのライブ演奏に合った背景映像等のトラックである。この演奏トラックと歌詞トラックまたは背景映像等のトラックは同じクロックで再生されるように同期づけて表示されている。

信号処理部６は、同期制御部（Ｔｉｍｅ Ａｌｉｇｎｍｅｎｔ）３、クロック生成部（Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒ）４および遅延部（Ｄｅｌａｙ）５を有している。同期制御部３は、オーディオ入力部１から入力されたオーディオ信号と曲データ中の音声データとを対比し、且つ、補助情報入力部２から入力された補助情報に基づいて対比位置や速度を修正しつつ、前記オーディオ信号と同期した再生位置情報（タイミング情報）およびテンポ情報を生成する。クロック生成部４は、同期制御部３が生成した再生位置情報（タイミング情報）およびテンポ情報に基づいて再生クロックを生成する。遅延部５は、オーディオ入力部１から入力されたオーディオ信号を所定時間遅延させてオーディオ出力部１１に入力する。

同期制御部３は、オーディオ入力部１から入力されたオーディオ信号を数十ミリ秒ずつのフレームに分割し、各フレームごとのスペクトル、音量等を分析する。その一方で、記憶部７に記憶されている音声データを読み出す。音声データが上述したＭＩＤＩシーケンスデータの場合には、イベントデータに基づき、各タイミングで発音されているべき楽音のスペクトルおよび音量を分析する。また、記憶されている音声データが音声波形データ（ＡＤＰＣＭ，ＭＰ３等）であった場合には、オーディオ入力部１から入力されたオーディオ信号と同様にフレームに分割して、フレームごとのスペクトル，音量等を分析する。

オーディオ入力部１から入力されたオーディオ信号のスペクトル，音量等の情報と、記憶部７から読み出した音声データのスペクトル，音量等の情報とを対比し、スペクトルおよびその変化曲線が最も近似する時間軸上の対応位置を検出し、その対応位置における曲データの時間情報を曲の演奏位置情報とする。すなわち、ライブ演奏の演奏音が曲データのどの位置を演奏しているかを検出する。

この演奏位置の検出すなわち同期検出により、現在入力されているオーディオ信号の曲データの時間軸上の位置を割り出すとともに、そのオーディオ信号の進行速度すなわちテンポを割り出す。そして、この時間軸上の位置、すなわち演奏位置情報およびタイミング情報（いつ拍タイミングを通過するかの情報）とテンポ情報をクロック生成部４に出力する。なお、テンポおよび拍タイミングの決定は、たとえば特開平９−１６１７１号公報に記載された技術等を用いればよい。

このクロック信号は、映像シーケンサ１０に入力される。映像シーケンサ１０は、歌詞テロップである映像シーケンスデータ９を、クロック信号にしたがって読み出し、歌詞テロップの映像を再生する。上記のようにクロック信号が、外部から入力されたオーディオ信号すなわちライブ演奏音に同期したものであるため、この映像シーケンサ１０によって再生され、映像出力部１２から出力される歌詞テロップは、ライブ演奏に同期したものとなる。

検索部１５は、入力されたオーディオ信号をＦＩＦＯで所定時間分記録するオーディオ信号記録部１９を含んでいる。検索部１５は、オーディオ入力部１から入力されたオーディオ信号をオーディオ信号記憶部１９にＦＩＦＯで記憶する。検索部１５は、オーディオ信号記憶部１９に記憶されているオーディオ信号とソングデータベース１６に記憶されている曲データ中の音声データ（カラオケ曲データの場合にはＭＩＤＩデータ）とを対比し、且つ、補助情報入力部２から入力された補助情報に基づいて、入力されているオーディオ信号がどの曲データに対応する曲の演奏音であるかを検索する。そして、検索部１５は、読出部１７に対して、検索した曲データの識別情報（曲番号）を通知する。読出部１７は、通知された識別情報で識別される曲データをソングデータベース１６から記憶部７へ読み出す。

ここで、同期制御部３による同期検出およびクロック生成部４によるクロック信号の生成に処理時間が必要な場合は、オーディオ入力部１から入力されたオーディオ信号をこの処理時間分、遅延部５で遅延させてオーディオ出力部１１から出力する。これにより、映像出力部１２から出力される歌詞テロップまたは背景映像等は、オーディオ出力部１１から出力されるオーディオ信号とより精度よく同期する。なお、上記の処理時間が殆ど無視できる程度であれば、信号処理部６はこの遅延部５を要しない。

ところで、この実施形態のコンテンツ再生装置は、オーディオ入力部１に加えてビデオ入力部１３を備えている。このビデオ入力部１３には、例えばライブ映像が入力される。さらに、このコンテンツ再生装置は、映像遅延部１４、映像ミキサ２０を備えている。ビデオ入力部１３に入力されたビデオ信号は、映像遅延部１４において、同期制御部３およびクロック生成部４の処理時間だけ遅延される。映像遅延部１４は、この遅延時間分のフレームバッファを備えている。

この映像遅延部１４で遅延されたビデオ信号は、映像ミキサ２０に入力される。映像ミキサ２０には、映像シーケンサ１０が再生した映像も入力される。映像ミキサ２０は、ビデオ入力部１３から入力されたビデオ信号と映像シーケンサ１０が再生した映像とを合成する。この映像ミキサ２０で合成された映像（ビデオ信号）が映像出力部１２から出力される。

たとえば、入力されたビデオ信号がライブ映像であり、映像シーケンサ１０が再生した映像が歌詞テロップであった場合には、ライブ映像上に歌詞テロップがスーパーインポーズ合成され、この合成映像が外部出力されて表示される。また、映像シーケンサ１０が再生した映像がその曲に合った背景映像（例えば、寒々とした冬の日本海の映像）であった場合には、ライブ映像と重なるようにその背景映像がスーパーインポーズ合成される。
もちろん、歌詞テロップと背景映像の両方がスーパーインポーズ合成されてもよい。

ここで、図２，図３を参照して、カラオケ曲の曲データと歌詞テロップおよび／または背景映像の表示方式について説明する。
図２において、曲データは、同図（Ａ）に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップおよび／または背景映像を表示するための歌詞トラック、曲の区切り位置を示すジャンプマークが書き込まれたマークトラック等からなっている。マークトラックには、たとえば、１番、２番、サビ、クライマックス、イントロ、間奏、エンディング等を示すジャンプマークが書き込まれる。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、楽音トラックやガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音の音高や音量を指定する。この楽音は、対応するノートオフイベントデータが読み出されるまで継続する。
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源に入力することにより楽音が発音／消音される。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

歌詞トラックは、カラオケ曲の曲名や歌詞を表示するための各種データをインプリメントしたシーケンスデータであり、図３（Ａ）に示すように、タイミングデータに基づいて読み出される歌詞および／または背景映像表示データから構成されている。

歌詞および／または背景映像表示データは１行分の歌詞および／または背景映像表示に関する全てのデータを内包しており、表示オンタイミング、表示オフタイミング、文字列データ（表示ポイント数、表示座標、文字間データなどを含む）、色１データ、色２データ、歌詞の色替えデータなどからなっている。

歌詞および／または背景映像の表示態様は以下のようである。まず、所定の映像を背景とする１行分の歌詞を色１で表示し、暫くの間（曲がこの歌詞の箇所まで進行してくるまでの間）そのままの色で停止している（ｔｏｎ）こののち、曲の進行に合わせて歌詞の色替えしてゆき左から順に色１から色２に色変えをしてゆく。最後に暫くの間（ｔｅ）色２で表示したのち消去する。

歌詞の色替えデータは同図（Ｂ）に示すように歌詞の色替えの（時間−ｘ座標）曲線の主要な点を示す複数のプロッティングデータで構成されている。映像シーケンス部１０はこのプロッティングデータを２次曲線で補間して色変え（歌詞の色替え）を行う。

ここで、再び図１において、同期制御部３は、オーディオ入力部１から入力されるオーディオ信号のみでは演奏位置の割り出しや正確な同期確定が困難である。そこで、補助情報入力部２から入力された補助情報を用いて確実な演奏位置の決定や同期の確定を行う。

補助情報は、例えばライブ会場にいる係員によって入力される情報や、ライブ映像等から検出される情報である。ライブ会場には、ライブ中継のためにカメラマンや音声担当を含む複数人のスタッフが従事しており、そのうちの一人がカラオケ装置での同期再生のための補助情報を入力する。補助情報としては、曲がスタートしたことを示すスタート情報、曲が一時停止したことを示すストップ情報、曲が終了したことを示すエンド情報、曲の演奏位置が通常の進行からジャンプすることを示すジャンプ情報等である。ライブ演奏の場合、時間の制約で３コーラス目を省略したり、聴衆の反応に合わせてサビを繰り返したりするなど、レコーディングされた通常の演奏と異なる進行で演奏される場合がある。このような場合に、会場の係員がどこにジャンプしたか（またはどこにジャンプしそうかという予測）をジャンプ情報として入力する。ジャンプ位置は、曲データ中のジャンプマークで指定すればよいが、曲データにおける時間軸の値で指定してもよい。ジャンプマークとしては、上述したように、１番、２番、サビ、クライマックス、イントロ、間奏、エンディングを示すマークがあり、それぞれの曲に応じて曲データにおける時間軸の値に対応づけて付される。このジャンプマークは、図２に示したように元々曲データに付加されていることが好ましいが、ジャンプマークを持たない曲データについては、ライブ会場の係員が、曲のスタート時に補助情報としてジャンプマークトラックのデータを配信するようにしてもよい。

また、ライブ会場の係員が入力する補助情報として、曲スタート時やテンポ変化時に手動（タッピング）で入力されるもしくは自動生成されるビート信号も送られてくる。このビート信号は精度が高いものではなく、また、曲の開始から終了まで継続的に送られてくるものではないため、これをそのままテンポクロック信号として用いることはできないが、テンポ決定や拍タイミングを割り出すための情報として用いることができる。

同期制御部３は、補助情報入力部２から入力される上記のような補助情報を参照して、現在の演奏位置がどのあたりであるかを割り出し、その周辺の音声データを読み出して、入力されるオーディオ信号と対比する。また、間欠的に入力されるビート信号を参照して概ねの拍タイミングとテンポを把握し、この概ねの拍タイミングとテンポ（時間軸のスケーリング）で入力されたオーディオ信号と音声データとを対比することで同期を容易にする。

なお、上述の補助情報は、検索部１５がソングデータベース１６から一つのマルチメディアコンテンツデータを検索するときにも利用される。この補助情報を利用した検索により、さらに検索の精度が向上する。

<<第２実施形態>>
図４は本発明の第２実施形態であるコンテンツ再生装置の構成図である。図４において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態のコンテンツ再生装置では、ソングデータベース１６に、インデックスデータベース１６Ａを設けている。インデックスデータベース１６Ａは、ソングデータベース１６本体に記憶されている複数の曲データに含まれる音声時系列データである音声データの一部（一般的には先頭部分）を集約記録したものである。検索部１５は、ソングデータベース１６にアクセスして、入力されたオーディオ信号に対応する曲データを検索するとき、データベース本体にアクセスすることに代えて、このインデックスデータベース１６Ａにアクセスする。インデックスデータベース１６Ａは、検索対象となる曲データの（先頭部分の）一部のみを記憶しているデータベースであるため、データベース本体にアクセスする場合に比べて、効率的に曲データを検索することができる。
これにより、曲データの検索を効率化することができる。

<<第３実施形態>>
図５は本発明の第３実施形態であるコンテンツ再生装置の構成図である。図５において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態のコンテンツ再生装置では、検索部１５は、さらにオーディオ入力部１から入力されたオーディオ信号および／または補助情報入力部２から入力された補助情報に基づいて検索開始タイミングを判定し、かつ検索開始を指令する判定部（Ｓｏｎｇ Ｄｅｔｅｃｔｏｒ）１８を有している。判定部１８は、入力されるオーディオ信号の波形や補助情報として送られてくるキューに基づいて楽曲のスタートを判定し、楽曲のスタートを判定したとき検索開始指令を発生する。これにより、検索部１５はオーディオ入力部１や補助情報入力部（Ａｕｘ Ｉｎｆｏ）２から入力される各信号を常時監視する負担から開放され、判定部１８からの検索開始指令を待ってから検索を開始することができる。
なお、この実施形態では、オーディオ信号記億部１９に対するオーディオ信号の書き込みは、判定部１８が行う。

具体的には、前記オーディオ信号記憶部１９は、オーディオ入力部１や補助情報入力部２から連続的にストリーミング入力される各信号に対し、常に所定時間（例えば、３秒間〜１０秒間）の信号をＦＩＦＯで記憶しているが、判定部１８による検索部１５への検索開始指令により停止され、そのときの記録内容が保持される。これにより、判定部１８による検索開始指令を受けた検索部１５は、必要に応じてこのオーディオ信号記憶部１９に記憶されている情報に基づいてマルチメディアコンテンツである曲データを検索することができる。先の実施形態で例示した記憶部７や検索用音声時系列データ記録部１６に加えて、このオーディオ信号記憶部１９を検索の対象とすることで、より精度の高い検索が実現される。

なお、前記オーディオ信号記憶部１９は、判定部１８による記憶開始指令を受けてから、オーディオ入力部１や補助情報入力部２から入力される各信号を記憶してもよい。

判定部１８がオーディオ信号記憶部１９に記憶開始命令を出力する場合、曲の導入部（イントロ部分）が始まったとき記憶開始命令を出力し、導入部が終了するまでに検索開始命令を出力する。曲の導入部が終了するまでに検索を終了することにより、曲の歌い出しまでにその曲の歌詞トラック（曲データ）および所望の背景映像等が選択されるため、歌詞テロップが頭切れすることがない。

<<第４実施形態>>
図６は本発明の第４実施形態であるコンテンツ再生装置の構成図である。図６において、図５に示した第３の実施形態と同一構成の部分は、同一番号を付して説明を省略する。

この実施形態では、検索指令信号の入力を受け付ける操作部２１をさらに備えている。この操作部２１は、検索結果が誤っているまたは好ましくない場合に、利用者によって操作されるものであり、この操作部２１が、利用者によって操作されると、検索指令信号が発生され、検索部１５は、この検索指令信号の発生に対応して、上述のオーディオ信号記憶部１９に記憶されている情報を用いた検索を再度実行する。ここで、検索結果が誤っている時は、異なる曲の歌詞テロップが表示された場合等であり、好ましくないとは、背景映像が曲に合っていないまたは利用者の好みでない場合等である。
このように操作部２１の操作に応じて歌詞トラックや背景映像を再検索することにより、より精度の高い検索が実現される。

<<尚書き>>
上記各この実施形態において、検索部１５やソングデータベース１６が、装置本体と離れた場所 （リモート）に設置されネットワーク等を介して接続されていてもよい。この場合において、検索部１５が、オーディオ信号等が送信される場所、たとえばライブ会場
等に設置されていてもよい。
この場合において、検索部１５は、全体がリモートに設置してもよく、検索部本体（Ｓｅａｒｃｈ Ｅｎｇｉｎｅ）のみリモートに設置してもよい。また、検索部１５をリモートに設置し、ソングデータベース１６をローカルに設置してもよい。この場合、検索部１５がリモートのソングデータベース１６にアクセスする構成となる。

また、ソングデータベース１６がリモートにある場合、読出部１７はリモートのソングデータベース１６から曲データをダウンロードすることになるが、リモート・ローカル双方にソングデータベース１６を設け、リモートで検索された曲を読出部１７がローカルのソングデータベース１６から読み出す構成としてもよい。

また、上記実施形態では、主としてライブ演奏の中継を例にあげて説明したが、本発明は、ライブ演奏に限定されることなく、オーディオ信号に同期して映像を再生する場面であれば、どのような場面にも適用することができる。たとえば、テレビのキャプション表示装置、映画等のマルチリンガル字幕表示装置、語学学習装置等に適用することが可能である。

また、上記実施形態では、ネットワークや放送を通じてオーディオ信号やビデオ信号が送られてくる例を示したが、オーディオ信号，ビデオ信号および補助情報がＤＶＤやＨＤＤ等のメディア，ストレージに記憶されており、これを再生したものをオーディオ信号，ビデオ信号，補助情報として入力する形態で、本コンテンツ再生装置を用いることも可能である。

また、上記実施形態では、コンテンツ再生装置をローカル（カラオケボックス）側に設置する構成で説明したが、このコンテンツ再生装置を配信側（たとえばライブ会場）に設置し、オーディオ信号と、それに同期した映像を一緒に配信するようにしてもよい。

本発明の第１の実施形態であるコンテンツ再生装置のブロック図 コンテンツ再生装置に記憶されている曲データの構成を示す図 歌詞テロップの表示方式を説明する図 本発明の第２の実施形態であるコンテンツ再生装置のブロック図 本発明の第３の実施形態であるコンテンツ再生装置のブロック図 本発明の第４の実施形態であるコンテンツ再生装置のブロック図

符号の説明

１ オーディオ入力部
２ 補助情報入力部
３ 同期制御部
４ クロック生成部
５，１４ 遅延部
６ 信号処理部
７ 記憶部
８ 音声データ
９ 映像シーケンスデータ
１０ 映像シーケンサ
１１ オーディオ出力部
１２ 映像出力部
１３ ビデオ入力部
１５ 検索部
１６ 検索用音声時系列データ記憶部
１７ 読出部
１８ 判定部
１９ オーディオ信号記憶部
２０ 映像ミキサ
２１ 操作部

Claims (10)

1. 音声時系列データと映像時系列データとを対応づけて記録したマルチメディアコンテンツデータを複数記憶するマルチメディアコンテンツデータ記憶部と、
   外部からオーディオ信号を入力するオーディオ信号入力部と、
   外部から前記オーディオ信号の進行に関する情報である補助情報を入力する補助情報入力部と、
   前記入力されたオーディオ信号を所定時間録音するオーディオ信号記憶部を有するとともに、この録音したオーディオ信号に対応するマルチメディアコンテンツデータを検索する検索処理を実行する検索部と、
   前記検索されたマルチメディアコンテンツデータ中の音声時系列データと前記オーディオ信号とを所定長のフレームに分割し、該フレーム毎に対比する対比処理を実行して前記オーディオ信号の各フレームの前記音声時系列データ中における対応位置をリアルタイムに特定するとともに、前記補助情報に基づいて前記特定された対応位置を修正することにより、前記オーディオ信号に同期した再生クロックを生成し、前記対応位置の時間情報である演奏位置情報とともに出力するクロック生成部と、
   前記クロック生成部が出力した再生クロックおよび前記演奏位置情報に基づいて、前記検索されたマルチメディアコンテンツデータ中の映像時系列データを再生する映像再生部と、
   を備えたコンテンツ再生装置。
2. 前記複数のマルチメディアコンテンツデータの音声時系列データ中の複数の音声時系列データの検索対象部分を集約して記録した検索用音声時系列データ記憶部をさらに備え、
   前記検索部は、前記検索用音声時系列データ記憶部を対象に、前記検索処理を実行する
   請求項１に記載のコンテンツ再生装置。
3. 前記オーディオ信号記憶部は、前記外部から入力されるオーディオ信号をＦＩＦＯで所定時間分録音する請求項１または請求項２に記載のコンテンツ再生装置。
4. 前記検索部は、前記オーディオ信号および／または前記補助情報に基づいて検索開始タイミングを検出する判定部を有し、判定部が判定開始タイミングを検出したとき、そのとき前記オーディオ信号記憶部に録音されているオーディオ信号に対応するマルチメディアコンテンツデータを検索する請求項３に記載のコンテンツ再生装置。
5. 検索指令信号の入力を受け付ける操作部をさらに備え、
   前記検索部は、前記検索処理ののち、前記操作部から検索指令信号が入力されたとき、前記オーディオ信号記録部に記録されたオーディオ信号を用いて再度前記検索処理を実行する
   請求項４に記載のコンテンツ再生装置。
6. 前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち再出力するオーディオ信号出力部を備えた請求項１乃至請求項５に記載のコンテンツ再生装置。
7. 前記クロック生成部は、さらに、前記補助情報に基づいて、前記映像再生部に対して、前記映像時系列データの再生位置を指示する請求項１乃至請求項６に記載のコンテンツ再生装置。
8. 前記補助情報入力部は、補助情報として前記オーディオ信号の進行位置情報を入力し、
   前記クロック生成部は、前記補助情報に基づいて、前記対比処理における前記音声時系列データの対比位置を修正する請求項１乃至請求項７のいずれかに記載のコンテンツ再生装置。
9. 前記補助情報入力部は、補助情報として前記オーディオ信号の進行速度情報を入力し、
   前記クロック生成部は、前記補助情報に基づいて、前記対比処理におけるクロック周期を修正する請求項１乃至請求項８のいずれかに記載のコンテンツ再生装置。
10. 前記マルチメディアコンテンツデータ記憶部が記憶する前記複数の映像時系列データにおける各映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、
    前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含む請求項１乃至請求項９のいずれかに記載のコンテンツ再生装置。

Images