JP4327165B2 - 楽曲再生装置 - Google Patents

Description

本発明は、歌詞等のテキストを表示しながら楽曲を再生出力する楽曲再生装置、及び楽曲テロップ検索サーバに関する。

一般のカラオケ装置では、楽曲データと、この楽曲データと関連づけられたテロップ（歌詞）データとを同期させて再生することで、カラオケに合わせてテロップを見ながら歌唱することができる。

従来のカラオケ装置には、音源を有しないオーディオ機器などでもテキスト（歌詞）や画像（背景画）と同期したカラオケを楽しむことを可能にしたものがある（例えば特許文献１参照）。

特許文献１に記載されたカラオケ装置は、画像データやテキストデータとのリンク情報を有するＭＩＤＩデータを入力する１次媒体と、１次媒体からのデータ受信もしくは読み出しを制御する入力制御部と、入力制御部が受信もしくは読み出したＭＩＤＩデータに基づいて楽音合成処理を行う音源と、音源が出力したオーディオデータの圧縮処理を行い圧縮オーディオデータとして出力する圧縮部と、圧縮オーディオと入力制御部が受信もしくは読み出したＭＩＤＩデータと画像データとテキストデータを２次媒体に送信もしくは書き込む出力制御部と、２次媒体（半導体メモリカード）とを備え、入力制御部はＭＩＤＩデータと圧縮オーディオデータとの同期情報を生成し、それを２次媒体（半導体メモリカード）に書き込むことにより、２次媒体を半導体メモリカードに対応するオーディオ機器で再生する際に、オーディオとテキストと画像との同期再生を可能とする。
特開２００２−１３２２７５公報

このように従来のカラオケ装置では、画像データやテキストデータとのリンク情報を有するＭＩＤＩデータを用いて、オーディオとテキストとの同期再生をしており、他の楽曲データを用いた場合にテキスト（歌詞などのテロップ）を表示することができなかった。

また、オーディオとテキストとを同期して再生させるためには、オーディオデータに対応するテキストデータを有していなければならない。すなわち、テキストデータが含まれない楽曲データについては、楽曲と同期させてテキスト（テロップ）を表示させることができなかった。

本発明は前述した事情に考慮してなされたもので、その目的は、テキストデータが関連づけられていない楽曲を再生出力する際に、楽曲の再生に同期させてテキスト（テロップ）を表示させることが可能な楽曲再生装置、楽曲テロップ検索サーバを提供することにある。

本発明は、楽曲の音声信号を入力する音声信号入力手段と、前記音声信号入力手段により入力された音声信号から楽曲中に表れる特徴を表す第１の楽曲特徴データを抽出する楽曲特徴抽出手段と、複数の楽曲のそれぞれについて、楽曲中の複数箇所に表れる特徴を表す第２の楽曲特徴データと同第２の楽曲特徴データに対応する特徴が表れる楽曲の位置を示す位置データとが対応付けられた楽曲位置検索データを記憶する楽曲位置検索データ記憶手段と、前記位置データと対応付けられた、前記特徴が表れる位置の楽曲の音声が再生出力される際に表示すべき文字とを対応付けて記憶する記憶手段と、前記楽曲特徴抽出手段によって抽出された前記第１の楽曲特徴データに該当する、前記楽曲位置検索データ記憶手段に記憶された楽曲中の複数箇所に表れる特徴を表す前記第２の楽曲特徴データについて検索する楽曲特徴データ検索手段と、前記楽曲特徴データ検索手段により検索された前記第２の楽曲特徴データに対応する前記位置データが示す前記記憶手段に記憶された文字を、前記第１の楽曲特徴データが抽出された位置の音声の再生出力と同期させて表示する画面制御手段とを具備したことを特徴とする。

本発明によれば、再生出力の対象とする音声信号から楽曲中に表れる特徴を表す楽曲特徴データを抽出し、この楽曲特徴データが抽出された位置の音声が再生出力される際に、予め楽曲特徴データと対応付けられた文字を同期させて表示させることで、テキストデータが関連づけられていない楽曲であっても、楽曲の再生に同期させてテキスト（テロップ）を表示させることが可能となる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は、本実施形態における楽曲再生システムの構成を示すブロック図である。図１に示す楽曲再生システムは、楽曲再生装置１０と楽曲テロップ検索サーバ１２とがネットワーク１４を介して接続されることにより構成されている。

楽曲再生装置１０は、楽曲の音声信号を入力して再生出力させるもので、楽曲テロップ検索サーバ１２から楽曲に対応する歌詞などのテキストデータを取得し、楽曲の再生出力と同期させて画面中にテロップとして表示させる機能を有している。

楽曲テロップ検索サーバ１２は、ネットワーク１４を介して接続された楽曲再生装置１０からの要求に応じて、楽曲に対応する歌詞などのテキストデータを楽曲再生装置１０に対して提供する機能を有する。楽曲テロップ検索サーバ１２は、楽曲に対応するテキストデータと共に、楽曲を再生出力させる際にテキスト（テロップ）を楽曲の音声と同期させるための処理に必要なデータ（楽曲位置検索データ）を提供する。

図１に示すように、楽曲再生装置１０は、制御部２０、音声入力部２１、記憶部２２、通信制御部２３、表示制御部２４を有している。楽曲再生装置１０は、コンピュータの機能が搭載されて実現される。

制御部２０は、楽曲再生装置１０全体の制御を司るもので、例えばプログラムをプロセッサにより実行することにより各種機能を実現する。制御部２０により実現される機能には、画面制御部２０ａ、楽曲特徴抽出部２０ｂ、楽曲データ問い合わせ部２０ｃが含まれる。

画面制御部２０ａは、表示制御部２４を通じて、モニタ２５における画面の表示を制御する。画面制御部２０ａは、音声入力部２１により入力された音声信号が再生出力されるのに同期して、楽曲テロップ検索サーバ１２から提供されるテキストデータをもとに例えば歌詞などの文字を表示させる。すなわち、楽曲の歌詞がある部分が再生出力されるタイミングに同期させて歌詞の文字を表示させる。なお、文字の表示形態としては、例えば、画面に複数行分の歌詞を先に表示して、該当する文字の色や背景色を変更するようにしても良いし、文字そのものを楽曲の再生出力のタイミングに合わせて表示するようにしても良い。すなわち、モニタ２５に表示された文字（歌詞）を見ながら、再生出力される楽曲に合わせてユーザが歌唱することが可能な表示形態であれば、その他の表示形態を用いることも可能である。

楽曲特徴抽出部２０ｂは、音声入力部２１により入力された音声信号の楽曲中に表れる特徴を抽出するもので、例えば音声入力部２１によって変換された音声データを周波数成分に分解し、主要な周波数成分の変化パターンを楽曲特徴データとして抽出する。

図２は、楽曲特徴データの抽出を説明するための図である。
図２（ａ１）（ｂ１）は、入力された音声信号（波形）を周波数成分に分解して表す図である。図２（ａ１）（ｂ１）において横軸が周波数を示し、縦軸がレベルを示している。図２（ａ１）に示す周波数成分の変化パターンが見られる楽曲中の部分については、図２（ａ２）に示すように、変化パターンをもとにして生成される楽曲特徴データを生成する。すなわち、楽曲特徴データは、主要な周波数成分のレベルやピーク位置などによって楽曲中に表れる特徴を表している。同様にして、図２（ｂ１）に示す周波数成分の変化パターンが見られる楽曲中の部分については、図２（ｂ２）に示す楽曲特徴データを生成する。

楽曲特徴抽出部２０ｂは、音声入力部２１によって入力された音声信号の楽曲を識別するために、音声信号が入力されてから所定時間内、例えば楽曲開始のイントロ部分から楽曲特徴データを抽出する。また、楽曲特徴抽出部２０ｂは、再生対象とする楽曲が識別された後、楽曲が再生出力されている位置（演奏位置）を識別するために、例えば楽曲の再生出力中に複数回、楽曲特徴データを抽出する。

楽曲データ問い合わせ部２０ｃは、楽曲特徴抽出部２０ｂによって抽出された楽曲開始部分（イントロ）から抽出された楽曲特徴データを楽曲テロップ検索サーバ１２に送信し、楽曲の再生出力と同期させてテキスト（テロップ）を表示させるために必要なデータを要求する。すなわち、制御部２０は、入力された音声信号から抽出された楽曲特徴データに該当する楽曲についての歌詞などのテキストデータと共に、楽曲を再生出力させる際にテキスト（テロップ）を楽曲の音声と同期させるための処理に必要なデータ（楽曲位置検索データ）の提供を要求する。

音声入力部２１は、外部の音声再生装置から出力される楽曲等の音声信号を入力し、所定のタイミングでアンプ２６に出力することにより、楽曲を再生出力させる。音声入力部２１は、例えば入力された音声信号を所定の形式のデータに変換して制御部２０に出力すると共に、制御部２０の処理により楽曲に対応するテキスト（テロップ）を表示可能な状態となるまでバッファリングする機能を有する。音声入力部２１は、制御部２０から通知されるタイミングに応じて、バッファリングしたデータを音声信号に変換してアンプ２６に出力する。

外部の音声再生装置としては、例えばＣＤプレーヤ、ＭＰ３（MPEG-1 Audio Layer-III）プレーヤなどのオーディオプレーヤ、音楽再生プログラムを実行可能なパーソナルコンピュータやＰＤＡ（personal digital assistant）、あるいは携帯電話機など各種の装置を対象とすることができる。楽曲再生装置１０は、外部の音声再生装置の種類に関係なく、同一の楽曲の音源データ（ＣＤデータ、ＭＰ３などの圧縮データ）を再生していれば、同じように楽曲の再生出力に同期させてテキスト（歌詞）を表示させることができる。

記憶部２２は、楽曲再生装置１０において処理される各種データが記憶されるもので、例えば楽曲テロップ検索サーバ１２から取得されるテロップデータ２２ａ、楽曲位置検索データ２２ｂなどが記憶される（各データの詳細については後述する）。

通信制御部２３は、制御部２０の制御のもとで、ネットワーク１４を介した楽曲テロップ検索サーバ１２等との通信を制御する。

表示制御部２４は、制御部２０（画面制御部２０ａ）の制御のもとで、モニタ２５における表示を制御する。

モニタ２５は、表示制御部２４の制御により映像を表示する。モニタ２５では、楽曲再生装置１０により再生出力され楽曲と同期させて、楽曲の歌詞が表示される。また、モニタ２５では、楽曲の再生出力中に歌詞だけでなく、背景の画像（静止画、動画）を表示させるようにしても良い。

アンプ２６は、楽曲再生装置１０の音声入力部２１から出力され音声信号を入力して、マイク２７から入力される音声信号と合成し、増幅してスピーカ２８から音声を出力させる。

また、図１に示すように、楽曲テロップ検索サーバ１２は、通信制御部３０、楽曲特徴問い合わせ検索部３１、楽曲データベース３２を有している。

通信制御部３０は、ネットワーク１４を介した楽曲再生装置１０等との通信を制御する。

楽曲特徴問い合わせ検索部３１は、通信制御部３０を通じて受信される楽曲再生装置１０からの要求に応じた処理を実行し、楽曲再生装置１０に提供するデータを楽曲データベース３２から検索する。楽曲特徴問い合わせ検索部３１は、楽曲再生装置１０から受信した楽曲特徴データに該当する楽曲特徴データ３３を楽曲データベース３２から検索する。楽曲特徴問い合わせ検索部３１は、楽曲データベース３２から検索された楽曲特徴データ３３（楽曲）に対応するテロップデータ３４と楽曲位置検索データ３５を楽曲データベース３２から読み出し、通信制御部３０を通じて楽曲再生装置１０に送信する。

楽曲データベース３２は、楽曲再生装置１０において楽曲の再生出力に同期させてテキスト（歌詞）を表示させるために必要な楽曲データが記憶されている。楽曲データベース３２に記憶されている楽曲データとしては、楽曲特徴データ３３、テロップデータ３４、楽曲位置検索データ３５が含まれている。

楽曲データベース３２に記憶される楽曲特徴データ３３は、楽曲識別用のデータであり、複数の楽曲のそれぞれに対する、例えば楽曲開始のイントロ部分から抽出された楽曲特徴データである。

テロップデータ３４は、複数の楽曲のそれぞれについて、楽曲別に歌詞などのテキストデータと、テキスト（文字）を表示すべき楽曲中の位置を示す位置データとが対応付けられたデータである。

図３は、楽曲データベース３２に記憶されるテロップデータ３４の一例を示す図である。図３は、１つの楽曲「ＸＸＸＸＸ」に対するテロップデータ３４の一部を示している。

図３に示すテロップデータ３４では、楽曲内での先頭からの位置を示す時間データと、時間データが示す位置の楽曲が再生されている時に表示すべき文字のテキストデータ（文字）とが対応付けられている。例えば、楽曲の先頭から再生出力を開始した後、「3:04:120」後に「泣」の文字を表示（文字の色変えを）することを表している。また、テロップデータ３４には、文字を画面に表示する制御に用いられる属性データ、例えばレイアウト情報、色情報、色変わりするかどうかを示すデータ等が挿入されている。

楽曲位置検索データ３５は、複数の楽曲のそれぞれについて、楽曲中の特徴を表す楽曲特徴データと、この楽曲特徴データが楽曲に表れる位置を示す位置データとが対応付けられたデータである。

図４は、楽曲データベース３２に記憶される楽曲位置検索データ３５の一例を示す図である。図４は、１つの楽曲「ＸＸＸＸＸ」に対する楽曲位置検索データ３５の一部を示している。

図４に示すように、楽曲位置検索データ３５では、楽曲中の特徴を表す楽曲特徴データと、この楽曲特徴データが楽曲に表れる位置を示す位置データ（ここでは楽曲内での先頭からの位置を示す時間データ）とを対応付けている。楽曲位置検索データ３５には、楽曲の複数箇所における特徴を表す楽曲特徴データと、対応する時間データとが対応付けられて記憶されているものとする。楽曲特徴データは、例えばテロップデータ３４（図３）に設定された時間データが示す楽曲中の位置の楽曲特徴データが設定されていても良いし、他の楽曲との区別が容易な楽曲に特徴的な周波数成分が表れる特徴部分の楽曲特徴データが設定されていても良い。テロップデータ３４に設定された時間データが示す位置としては、例えば歌詞の適当な区分毎（例えば、画面に歌詞を表示する各行の先頭位置）の文字に該当する位置とすることができる。

楽曲再生装置１０は、楽曲位置検索データ３５に設定された楽曲特徴データと同じ楽曲特徴データを、入力された音声信号中から抽出した場合に、その楽曲特徴データと対応付けられた時間データから楽曲の再生位置（演奏位置）を把握できる。

次に、本実施形態における楽曲再生システム（楽曲再生装置、楽曲テロップ検索サーバ）の動作について説明する。

図５は、楽曲再生装置１０おいて実行される楽曲再生処理を説明するためのフローチャート、図６は、楽曲テロップ検索サーバ１２において実行される楽曲テロップ提供処理を説明するためのフローチャートである。

まず、楽曲再生装置１０は、音声入力部２１によって音声信号を入力する音声信号読込み処理を開始する（ステップＡ１）。音声入力部２１により入力される音声信号は、外部の音声再生装置（例えばＣＤプレーヤ、ＭＰ３プレーヤ等）から出力される。

音声入力部２１は、入力された音声信号を所定の形式のデータに変換して制御部２０に出力する。また、音声入力部２１は、このデータを制御部２０の処理により楽曲に対応するテキスト（テロップ）を表示可能な状態となるまでバッファリングする。

制御部２０の楽曲特徴抽出部２０ｂは、音声入力部２１から入力された音声信号に対するデータをもとに、楽曲特徴データを生成するための楽曲特徴抽出処理を実行する（ステップＡ２）。まず、楽曲特徴抽出部２０ｂは、音声信号が入力されてから所定時間内（イントロ）についての楽曲特徴データを生成する。

楽曲データ問い合わせ部２０ｃは、楽曲特徴抽出部２０ｂにより生成され楽曲特徴データを圧縮して、通信制御部２３を通じて楽曲テロップ検索サーバ１２に送信し、楽曲の再生出力と同期してテキスト（テロップ）を表示するために必要な楽曲データを要求する（ステップＡ４）。

一方、楽曲テロップ検索サーバ１２の楽曲特徴問い合わせ検索部３１は、通信制御部３０を通じて、楽曲再生装置１０からの楽曲特徴データと楽曲データの送信要求を受信する（図６、ステップＢ１）。楽曲特徴問い合わせ検索部３１は、楽曲再生装置１０から受信した楽曲特徴データにより、楽曲データベース３２に記憶された複数の楽曲についての楽曲特徴データ３３を検索して、その中から一致する楽曲特徴データに対応する楽曲を判別する。すなわち、楽曲の先頭から所定時間内にある音声の特徴をもとに楽曲を識別する。

楽曲特徴問い合わせ検索部３１は、楽曲特徴データ３３の検索により楽曲が特定されると、この楽曲に対応するテロップデータ３４と楽曲位置検索データ３５とを楽曲データベース３２から読み出し（ステップＢ３）、これらの楽曲データを通信制御部３０を通じて楽曲再生装置１０に送信する（ステップＢ４）。

楽曲再生装置１０の制御部２０は、通信制御部２３を通じて、楽曲テロップ検索サーバ１２からテロップデータ３４と楽曲位置検索データ３５を受信すると（ステップＡ５）、これを記憶部２２に記憶させる（テロップデータ２２ａ、楽曲位置検索データ２２ｂ）（ステップＡ６）。

制御部２０は、楽曲テロップ検索サーバ１２からテキストを表示するために必要に楽曲データが受信されると、音声入力部２１に対してバッファリングされたデータに応じた音声信号をアンプ２６に対して出力させる。すなわち、楽曲の再生出力を開始させる。また、制御部２０は、楽曲特徴抽出部２０ｂにより、音声入力部２１にバッファリングされているデータに対する楽曲特徴抽出処理を実行させる。

楽曲特徴抽出部２０ｂは、音声入力部２１にバッファリングされているデータを順次入力して、楽曲特徴データを生成する。

制御部２０は、楽曲特徴抽出部２０ｂにより生成された楽曲特徴データをもとに、記憶部２２に記憶された楽曲位置検索データ２２ｂを検索して、同一の楽曲特徴データが設定されているかを判別する。すなわち、楽曲位置検索データ２２ｂに設定されている楽曲特徴データが表す特徴を持つ音声が楽曲中に表れたか判別する。該当する楽曲特徴データが検索された場合には、この楽曲特徴データと対応して設定された時間データを現在の楽曲の再生位置として取得する（ステップＡ７）。

画面制御部２０ａは、楽曲位置検索データ２２ｂから取得された時間データ（楽曲位置）に対応するテロップデータ２２ａ（文字データ）を読込み、表示制御部２４を通じてモニタ２５にテキスト（テロップ）を表示させる（ステップＡ９）。

例えば、図４Ａに示す楽曲特徴データに該当する部分の音声信号が入力された場合、楽曲の時間データ「3:04:120」に該当する部分が再生位置であることが判別される。制御部２０は、時間データ「3:04:120」に対応して、テロップデータ２２ａとして設定されたテキストデータ、例えば図３に示す例では「泣」の文字をモニタ２５において表示させる（文字の表示色を変更する）。

なお、楽曲位置検索データ２２ｂに設定される楽曲特徴データは、テロップデータ２２ａの各時間データに対応して設定されている必要はない。例えば、楽曲位置検索データ２２ｂの楽曲特徴データにより楽曲の再生位置が判別された場合、その時点から時間を計測し、この計測された時間がテロップデータ２２ａの時間データと一致した時に、この時間データに対応する文字を表示すれば良い。

ただし、基準とする楽曲特徴データについては、楽曲の再生位置を誤らないように、楽曲中の特徴的な部分を対象として、楽曲位置検索データ３５に設定されていることが好ましい。この場合、テロップデータ３４に設定された時間データと一致する部分である必要がなく、前述したように、楽曲特徴データをもとに判別された再生位置を基準として、テロップデータ２２ａに設定された時間データとなったことを判別すれば良い。

制御部２０は、音声入力部２１から入力されたデータ（楽曲）が終了するまで、前述したステップＡ７〜Ａ９の処理を繰り返し実行する。これにより、音声入力部２１により入力された音声信号に応じた楽曲が、アンプ２６を通じてスピーカ２８から出力されるのと同期して、モニタ２５においてテキスト（テロップ）が表示される。

図７には、モニタ２５に表示されるテキスト（テロップ）の一例を示している。図７に示す表示例では、複数行分のテキストを表示し、テロップデータ２２ａに設定された時間データに該当する部分の音声が再生出力されるタイミングで、該当する文字の色を変更している例を示している。

このようにして、本実施形態における楽曲再生装置１０では、テキストデータが関連づけられていない音声信号のみを入力するだけで、この音声信号から抽出される楽曲特徴データをもとにして、楽曲テロップ検索サーバ１２から楽曲の再生出力と同期させて歌詞などのテキスト（テロップ）を表示するための楽曲データ（テロップデータ３４、楽曲位置検索データ３５）を取得することができる。楽曲再生装置１０は、楽曲テロップ検索サーバ１２から取得された楽曲データをもとに、入力される音声信号から抽出される楽曲特徴データと、楽曲位置検索データ３５に設定された楽曲特徴データとの比較により楽曲の再生位置を判別し、楽曲の再生位置に対応するテロップデータ３４に設定された文字を楽曲の再生出力と同期させて出力することができる。

楽曲テロップ検索サーバ１２は、楽曲再生装置１０から楽曲のイントロ部分などから抽出された楽曲特徴データを受信することで、この楽曲特徴データに該当する楽曲を判別して、この楽曲の再生出力と同期させてテキスト（テロップ）を表示させることができる楽曲データを提供するサービスを実現できる。

なお、図１に示す構成では、楽曲再生装置１０と楽曲テロップ検索サーバ１２とがネットワーク１４を介して接続された楽曲再生システムとしているが、楽曲再生装置１０に楽曲テロップ検索サーバ１２の構成、すなわち楽曲特徴問い合わせ検索部３１と楽曲データベース３２が設けられた構成とすることも可能である。

また、前述した説明において、楽曲の位置を示すデータとして、楽曲先頭からの時間を用いているが、その他の楽曲の再生位置を特定することができるデータを用いることも可能である。例えば、楽曲中の位置を識別するためのデータを挿入しても良い。

また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

本実施形態における楽曲再生システムの構成を示すブロック図。 楽曲特徴データの抽出を説明するための図。 楽曲データベース３２に記憶されるテロップデータ３４の一例を示す図。 楽曲データベース３２に記憶される楽曲位置検索データ３５の一例を示す図。 楽曲再生装置１０おいて実行される楽曲再生処理を説明するためのフローチャート。 楽曲テロップ検索サーバ１２において実行される楽曲テロップ提供処理を説明するためのフローチャート。 モニタ２５に表示されるテキスト（テロップ）の一例を示す図。

符号の説明

１０…楽曲再生装置、１２…楽曲テロップ検索サーバ、１４…ネットワーク、２０…制御部、２０ａ…画面制御部、２０ｂ…楽曲特徴抽出部、２０ｃ…楽曲データ問い合わせ部、２１…音声入力部、２２…記憶部、２２ａ，３４…テロップデータ、２２ｂ，３５…楽曲位置検索データ、２３，３０…通信制御部、２４…表示制御部、２５…モニタ、２６…アンプ、２７…マイク、２８…スピーカ、３１…楽曲特徴問い合わせ検索部、３２…楽曲データベース、３３…楽曲特徴データ。

Claims (5)

1. 楽曲の音声信号を入力する音声信号入力手段と、
   前記音声信号入力手段により入力された音声信号から楽曲中に表れる特徴を表す第１の楽曲特徴データを抽出する楽曲特徴抽出手段と、
   複数の楽曲のそれぞれについて、楽曲中の複数箇所に表れる特徴を表す第２の楽曲特徴データと同第２の楽曲特徴データに対応する特徴が表れる楽曲の位置を示す位置データとが対応付けられた楽曲位置検索データを記憶する楽曲位置検索データ記憶手段と、
   前記位置データと対応付けられた、前記特徴が表れる位置の楽曲の音声が再生出力される際に表示すべき文字とを対応付けて記憶する記憶手段と、
   前記楽曲特徴抽出手段によって抽出された前記第１の楽曲特徴データに該当する、前記楽曲位置検索データ記憶手段に記憶された楽曲中の複数箇所に表れる特徴を表す前記第２の楽曲特徴データについて検索する楽曲特徴データ検索手段と、
   前記楽曲特徴データ検索手段により検索された前記第２の楽曲特徴データに対応する前記位置データが示す前記記憶手段に記憶された文字を、前記第１の楽曲特徴データが抽出された位置の音声の再生出力と同期させて表示する画面制御手段と
   を具備したことを特徴とする楽曲再生装置。
2. 楽曲の音声信号を入力する音声信号入力手段と、
   前記音声信号入力手段により入力された音声信号から楽曲中に表れる特徴を表す第１の楽曲特徴データを抽出する楽曲特徴抽出手段と、
   前記楽曲特徴抽出手段により音声信号が入力されてから所定時間内の楽曲中から抽出された第１の楽曲特徴データを外部装置に送信することにより、前記第１の楽曲特徴データに該当する楽曲についての、楽曲中の複数箇所に表れる特徴を表す第２の楽曲特徴データと、前記特徴が表れる位置の楽曲の音声が再生出力される際に表示すべき文字とが対応付けられた楽曲データを前記外部装置から取得する楽曲データ取得手段と、
   所定時間内の楽曲中から抽出された前記第１の楽曲特徴データに該当する前記楽曲データ取得手段により取得された楽曲データについて、前記楽曲特徴抽出手段によって抽出された前記第１の楽曲特徴データに該当する楽曲中の複数箇所に表れる特徴を表す前記第２の楽曲特徴データについて検索する第１の検索手段と、
   前記第１の検索手段により検索された前記第２の楽曲特徴データに対応付けられた文字を、前記第２の楽曲特徴データが抽出された位置の音声の再生出力と同期させて表示する画面制御手段と
   を具備したことを特徴とする楽曲再生装置。
3. 前記楽曲特徴データは、楽曲の周波数成分の変化パターンを表すことを特徴とする請求項１または請求項２記載の楽曲再生装置。
4. 前記外部装置は、
   前記楽曲データ取得手段により送信された前記第１の楽曲特徴データを受信する楽曲特徴データ受信手段と、
   音声信号が入力されてから所定時間内の楽曲中に表れる特徴を表す第１の楽曲特徴データを、複数の楽曲のそれぞれについて記憶する楽曲特徴データ記憶手段と、
   前記複数の楽曲のそれぞれについて、楽曲中の複数箇所に表れる特徴を表す第２の楽曲特徴データと同第２の楽曲特徴データに対応する前記特徴が表れる位置の楽曲の音声が再生出力される際に表示すべき文字とが対応付けられた楽曲データを記憶するデータ記憶手段と、
   前記楽曲特徴データ受信手段により受信された前記第１の楽曲特徴データをもとに前記楽曲特徴データ記憶手段に記憶された前記第２の楽曲特徴データを検索する第２の検索手段と、
   前記第２の検索手段により検索された前記第２の楽曲特徴データに対応する楽曲に対応する、前記データ記憶手段に記憶された楽曲データを送信する楽曲データ送信手段と
   を具備したことを特徴とする請求項２記載の楽曲再生装置。
5. 前記楽曲の音声が再生出力される際に表示すべき文字に対して、文字を画面に表示する制御に用いられる属性データを付加しておき、
   前記画面制御手段は、前記属性データに応じた表示形態により前記文字を表示することを特徴とする請求項１または請求項２記載の楽曲再生装置。

Images