JP3976779B1 - 音楽データに文字データを埋め込んだ複合音響信号を再生する文字データ再生装置 - Google Patents

Abstract

【課題】 カラオケ歌詞を埋め込んだ複合音響信号から、例えば携帯電話機を文字データ再生装置として使える文字データ再生装置を提供する。
【解決手段】 空気中を伝播する音を受信する受信部と、記憶手段としてのバッファと、文字データを再生するアプリケーションとを備えた文字データ再生装置において、前記受信部はカラオケの音楽データに歌詞を表する文字データが埋め込まれた複合音響信号を受信し、この複合音響信号を構成する音楽データおよび文字データには夫々を同期させるための時間情報が含まれ、前記バッファは前記複合音響信号から取り出した文字データを予め一定量記憶し、前記アプリケーションは前記バッファで記憶した文字データを前記時間情報によって前記音楽データに同期して再生表示するようにした。
【選択図】 図１

Description

本発明は、カラオケの音楽データに歌詞を表す文字データを埋め込んだ複合音響信号を再生する文字データ再生装置に関する。

カラオケは８トラック、カセットテープ、ＬＤやＶＨＤ、更に通信カラオケや携帯カラオケなどとカラオケ音楽媒体は様々なフォーマットで広がっている。しかし、音楽と歌詞だけのシンプルな組合せを安価に求めようとすると、例えば歌詞テロップの入った画像入りビデオテープが考えられるが、ビデオデッキとＴＶモニターが必要なので、いつでもどこでも使える音楽媒体とは言えない。

特許文献１には、オーディオ信号を記録したオーディオトラックと、音源を駆動するための演奏データを前記オーディオ信号と同期して記録した演奏データトラックとを備えたオーディオメディアにおいて、歌詞を表示するための歌詞表示データをオーディオ信号と同期して記録した歌詞表示データトラックを備えたオーディオメディアが記載され、また歌詞表示データトラックはＰＣＭ録音のオーディオトラックに対して、いわゆる電子透かしの技術で埋め込むようにしてもよいと記載されている。

特許文献２には、音楽コンテンツの曲情報を知るための端末装置に関して、曲名、演奏者名、各コンテンツを識別するための曲ＩＤなどの曲情報が電子透かしで埋め込まれたコンテンツの中から前記曲情報を端末装置で抽出する技術についての記載がある。
特開２０００−１５６０４９号公報 特開２００２−０９１４５５号公報

カラオケボックスにおいて、演奏されている音楽の歌詞を読めるのは、モニターの前に立っている利用者か、或いは角度的にモニターを見ることができる者に限られ、人の後、壁際、コーナ或いはトイレの中に入っている者は歌詞を暗記していない限り、いっしょに歌うことができない。

特許文献１では、同期信号について記載はされているが、もともとＣＤの中には音楽データと歌詞データの全てが入っており、携帯電話機のようにデータ処理に余裕のないＣＰＵしか搭載していない機器にこの技術を使おうとするとハードウェア的に上記の問題を解決することはできない。

また、特許文献２では、前記端末装置の具備すべき必須の要素として、音楽コンテンツを入力するためのマイクロフォンと、音楽コンテンツに埋め込まれている曲情報を検出するための埋め込み情報検出手段と、検出された曲情報を表示する表示装置と、記憶手段と、前記音楽コンテンツの購入を発注することのできる発注手段とが記載されているだけで、上記の問題を解決することはできない。

上記の課題を解決するために、本発明に係る文字データ再生装置は、空気中を伝播する音を受信する受信部と、記憶手段としてのバッファと、文字データを再生するアプリケーションとを備えた文字データ再生装置において、前記受信部はカラオケの音楽データに歌詞を表する文字データが埋め込まれた複合音響信号を受信し、この複合音響信号を構成する音楽データおよび文字データには夫々を同期させるための時間情報が含まれ、前記バッファは前記複合音響信号から取り出した文字データを予め一定量記憶し、前記アプリケーションは前記バッファで記憶した文字データを前記時間情報によって前記音楽データに同期して再生表示するようにした。

また、前記文字データを予め一定量記憶するタイミングに曲の前奏時または間奏時を含むようにすることや、前記文字データ再生装置に携帯電話機を使うことも考えられる。

本発明の文字データ再生装置は、カラオケルーム内において、テレビモニターの歌詞が確認し難い位置、例えば部屋の隅の位置になった人でも、前記テレビモニター画面を見なくても自分の携帯電話の画面を見ることで、音楽に同期した歌詞を自分の携帯電話などの画面で確認できる。

また、本発明の文字データ再生装置は、カラオケ利用者の居場所に届く前記複合音響信号に同期して、携帯電話機の画面などにカラオケ歌詞を表す文字データを表示できるので、音波遅延のある広い場所で使っても前記利用者の場所における音像に同期したカラオケ文字データを画面で見てカラオケを楽しむことが出来る。

更に、既存のカラオケ装置などの音声チャンネルに、複合音響信号受信部、埋め込み信号検出部、同期情報算出部及び文字情報提示部とを備えた再生装置を追加するだけで簡単に前記複合音響信号が生成できるので、既存のカラオケ設備を更新することなく、音楽データに同期して再生できるように文字データが埋め込まれた音楽データに同期して再生できるように同期させるための時間情報とともに埋め込まれた複合音響信号から文字データを再生してカラオケ歌詞を携帯電話機などの画面に表示することが出来るようになる。

以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明する。なお、以下の説明において、同一機能を有するものは同一の符号とし、その繰り返しの説明は省略する。

図１は、本発明の実施形態におけるシステムのブロック図であり、カラオケ等の音楽信号に歌詞を表す文字データが埋め込まれた信号を出力する複合音響信号出力装置１と、複合音響信号６を受信し、その中から埋め込まれた歌詞を表す文字データを表示する文字データ再生装置７から構成されている。

複合音響信号出力装置１は、カラオケの音楽などからなる音楽データ信号入力部２と、歌詞を表す歌詞データ信号入力部２ａに入力される文字データを前記音響信号に埋め込める情報に変換する埋め込み信号生成部３と、前記音響信号に前記埋め込み信号を埋め込む処理を行って音楽データと文字データとが合成された複合音響信号を生成する埋め込み処理部４と、音響信号出力部５から成る。ここで、後述するように前記複合音響信号を構成する音楽データおよび文字データには夫々を同期させるための時間情報を含ませている。

文字データ再生装置７は、複合音響信号出力装置１から発せられた複合音響信号６を受信する音響信号受信部８と、受信した音響信号の中から歌詞を表す文字データの埋め込み信号を検出し、文字データ情報に復号化する埋め込み信号検出部９と、音響信号に同期して文字データ情報を提示するための同期情報を算出する為の同期情報算出部１０と、復号化した文字データ情報を一定量蓄積するバッファメモリｍと、このバッファメモリｍに蓄積された埋め込み信号の中に含まれる文字データを表示する文字情報提示部１１から成る。

ここで、複合音響信号出力装置１における埋め込み信号生成部３、埋め込み処理部４および文字データ再生装置７における埋め込み信号検出部９は、例えば、以下の構成とする。
即ち、埋め込み信号検出部９は、音響信号を帯域通過フィルタ群によって帯域分割したときの対となる隣接する帯域通過信号にそれぞれ逆位相の振幅変調を与えて、その連続的な変化の中および他の離れた帯域に与える振幅変調との位相差および変調強度差の中、および時間的に離れた区間に与える振幅変調の位相差および変調強度差の中に前記電子透かし情報を埋め込む手段と、あらかじめ前記帯域通過信号に含まれている振幅変動量と前記帯域通過信号の強度とを元に知覚されにくい振幅変調強度を決定するための手段と、付与する振幅変調の帯域間位相差に電子透かし抽出時の鍵となる位相差を与える手段と、電子透かしの埋め込まれた帯域通過信号およびそうでない帯域通過信号の全てを加算することによって電子透かし情報の埋め込まれた音響信号を出力する手段とを具備する電子透かし埋込装置を用いる。

ここで、電子透かし（音響透かし）の概略を説明すると、電子透かし技術とは、画像や音などのデジタルコンテンツに対して、そのデジタルコンテンツとはまったく別の情報を、人間に知覚されないように埋め込む技術であって、本発明においてはカラオケの音楽データに埋めこむ歌詞データをその対象とする。電子透かし技術は、不正コピー防止などの著作権保護に有効であり、様々な方法で活用されているが、埋め込み内容は埋め込み元の音楽データとは時間的な繋がりが無いもので同期をとるという発想が今まで無かった。しかし、本発明においては、音楽データと文字データに同期させるための時間情報を持たせることにより音楽データと文字データの同期をとることとした。

本実施例では、文字データ再生装置７として携帯電話を使用することとしている。この場合、音響信号受信部８と文字情報提示部１１は、それぞれ、携帯電話に具備されたマイクロフォンとディスプレイで構成され、埋め込み信号検出部９と同期情報算出部１０は、携帯電話に具備されたＣＰＵ上で動作するように専用のファームウェアを組み込んでも良いし、またｉアプリ（登録商標）などのアプリケーションソフトウェア（携帯アプリ）でも実現される。

複合音響信号出力装置１において、上述した電子透かし埋込装置を用いた電子透かし方法で音響信号にカラオケの歌詞などの情報を透かし情報として埋め込む、あるいは文字データ再生装置の埋め込み信号検出部で埋め込まれた情報を復号化するためには、一定時間長の音響信号を一つのフレームとして、そのフレーム毎に情報の埋め込み、あるいは埋め込まれた情報の復号化処理を行うようにしてもよい。

このフレーム時間長をＴ秒とし、このフレーム内の音響信号を分析して埋め込まれた情報を復号化するのに必要な時間長を Ｄ秒とすると、Ｔ は透かし情報の埋め込み時に定められており、Ｄ ＜Ｔ を満たすような復号化ハードウェア（携帯電話）あるいはソフトウェアを用いることとする。また、用いる復号化ハードウェアあるいはソフトウェアによって Ｄ の値は定まる。

あらかじめ携帯電話の機種ごとにＤの値を算出しておき、これを機種情報として用いれば、使用者がハードウェアの性能に気を使うことなく、本発明の技術を使用することができる。

図２は、フレームに埋め込む透かし情報（レコード）のビット構成図である。この構成においては、全体で n0 bit の情報を持つ。それらは、n1 bitの継続フラグ（flg）、n2 bit の同期させるための時間情報ｐｔｍの同期情報と、残り n0-n1-n2 bit は歌詞などの文字情報とし、ここでは文字列１５と呼ぶ。

n2 bitの同期させるための時間情報ｐｔｍは、さらに n20 bit の保持フラグ(mfg)、n21 bitの提示開始相対フレーム番号情報(stf)と、n22 bit のフレーム内提示開始時刻情報(fstf)、n23 bit の提示終了相対フレーム番号情報(enf)と、n24 bit のフレーム内提示終了時刻情報(fenf)に分けられている。

図３は、文字データ再生装置の同期情報算出部と文字情報提示部の処理のフローチャートを示している。ステップＡで初期設定をした後、ステップＢで音響信号をフレームごとに受信し、ステップＣで継続フラグ（flg）の値を抽出する。ステップＤで、flg= 0 の場合は、そのフレームより文字データが開始されることを意味するので、ステップＦにおいて、提示開始相対フレーム番号情報(stf)、フレーム内提示開始時刻情報(fstf)、フレーム番号情報(enf)、フレーム内提示終了時刻情報(fenf)が読み出され、ステップＧで文字データはバッファに読み込まれる。

前記ステップＨで、全ての文字データが読み込まれた場合はステップＩで提示開始相対フレーム番号情報(stf)、フレーム内提示開始時刻情報(fstf)、フレーム番号情報(enf)、フレーム内提示終了時刻情報(fenf)はバッファへ送出される。

ステップＨでＮＵＬＬにならなければ、ステップＪで、バッファ内の全てのレコードに対して、ｓｔｒ＝ｓｔｆ−１、ｅｎｆ＝ｅｎｆ−１の演算をしてから、ステップＫでパラメータｓｗの値を確認する。パラメータｓｗが０の場合は、ステップＬで提示開始相対フレーム番号情報(stf)が０のレコードがあるかどうかを確認する。提示開始相対フレーム番号情報(stf)が０のレコードが無ければステップＢに戻り、該レコードがあればステップＭでｆｓｔｆから１を減算処理する。この減算結果でｆｓｔｆが０でなければステップＭに戻り、０になったらステップＯで提示を開始し、パラメータｓｗに１を代入してステップＢに戻る。

ステップＫで、パラメータｓｗが０でなければ、ステップＱでフレーム番号情報(enf)の値を確認し、ｅｎｆが０でなければステップＢに戻り、０であればステップＲでｆｅｎｆの値を１減らす。その後、ステップＳでｆｅｎｆの値が０でなければステップＲに戻り、０であればステップＴで提示を終了し、パラメータｓｗに０を代入し、ステップＶで提示開始相対フレーム番号情報(stf)、フレーム内提示開始時刻情報(fstf)、フレーム番号情報(enf)、フレーム内提示終了時刻情報(fenf)をバッファから読み出してステップＢに戻る。

同期させるための時間情報ｐｔｍは、提示開始相対フレーム番号情報(stf)によって、現在のフレームより何フレーム後のフレーム内で、このフレームで復号化される文字データが提示されるかが相対的に指定される。同期させるための時間情報ｐｔｍのうち、n22 bit のフレーム内提示開始時刻情報(fstf)は、提示されるフレームの時間を 2^n22 個のセグメントに分割した時に、その何番目のセグメントの開始時刻に提示が行われるかを指定する。

同様に、n23 bit の提示終了相対フレーム番号情報(enf)は、提示開始後何フレーム後に提示終了するかを表し、n24 bit のフレーム内提示終了時刻情報(fenf)は、そのフレーム内での提示終了時刻を表す。

また、文字データ内に NULL文字が表れ、かつNULL文字以降のビット数がn2 bit を上回るとき、それ以降はn2 bit の次の文字データのための同期させるための時間情報ｐｔｍとなり、n2 bit を差し引いた残りのビットは次の文字データに割り当てられているので、一旦バッファされ、前の文字データの提示が終了した時点でバッファより読み出される。

ステップＥで継続フラグ（flg）の値が 1 の場合は、n2 bit の同期させるための時間情報ｐｔｍは含まれず、残りの n0-n1 bit によって、直前のフレームに含まれていた文字データの継続される部分の情報が表現される。
ここで、本実施例では、n2 bit の文字データは相対的な時刻としているが、絶対的な提示開始時刻(日時)と提示終了時刻を表現する形式を用いてもよい。
なお、本実施例では、複合化される情報として、歌詞などの文字情報を用いているが、これは画像、URL情報、インデックス情報などであってもよい。

URL情報の場合は、URLの指し示すインターネットアドレス上のコンテンツをすぐさま有線あるいは無線接続によりダウンロードして表示可能な情報の形態でバッファメモリに保存する。

復号化される文字データが、提示端末が保持している情報へのインデックスである場合は、あらかじめ提示端末の記憶領域に表示される情報を複写しておく必要がある。同期させるための時間情報ｐｔｍは、現在時刻が進むとデータフレームが経過する毎に更新される。指定された提示フレーム時刻が到来した文字データから順番に提示デバイスにおいて提示が行われる。

さらに、n2 bit の同期させるための時間情報ｐｔｍに含まれる n20 bit の保持フラグｍｆｇは、提示された情報の保存などに用いることが出来る。例えば、mfg= 1 の時には、提示された後の情報は提示端末の記憶領域に保存される。この記憶領域が文字データで満たされると、古い文字データから順に消去されていく。保持フラグが 0の場合には、提示された後の情報は提示端末から消去される。

本実施例では、一連の文字データに関する処理のみが記載されているが、表示装置の面積と解像度が充分な場合は、複数の文字データに対して本フローチャートの処理を並列に実行し、表示装置の様々な場所に並行して、それぞれの文字データに応じた提示時間の間、文字データを表示することも可能である。

また、提示したい情報量が多い場合には、情報をあらかじめ送信しておいて、複数の文字データをバッファに蓄積しておくことも可能である。例えば、歌詞の情報量が多い場合には、前奏や間奏にも情報を埋め込んでおくことも可能である。

本実施例のように、携帯電話等の装置を用いて歌詞表示サービスを提供するためには、携帯からサービス利用の手続きを行う必要がある。この場合には、複合音響信号に埋め込まれた情報を復号化するために復号鍵が必要であり、この復号鍵は文字データ再生装置にあらかじめ入力しておく必要がある。

この復号鍵の提示端末への通知には、既存の鍵暗号化システムを用いて、暗号化復号鍵情報として通知することができる。また、異なる復号鍵によって異なる情報を同一の音響信号に同時に埋め込むことも可能であり、利用者の必要な情報に応じて、その情報を復号化する鍵を通知することとする。

次に、鍵暗号化システムを用いて文字データの復号化鍵を通知するシステムの具体例を説明する。

文字データ再生装置上で文字データ復号化ソフトウェアあるいはハードウェアを最初に動作させる際に生成した疑似乱数を基に算出される鍵ペアＦとＧ を文字データ再生装置の不揮発記憶領域に保存しておく。

ここで、公開鍵Ｇ によってメッセージ x を暗号化して得られる暗号化メッセージを G(x)とし、秘密鍵F によって暗号化メッセージ y を復号化して得られる復号化メッセージをF(y) とした時に、下記の関係が満たされるような公開鍵暗号システムを用いる。
F(G(x)) = x

前記のような公開鍵暗号システムとしては、ＲＳＡ（Rivest Shamir Adleman）方式などが知られている。文字データ再生装置から、文字データ提供者に公開鍵Ｇを通知し、文字データ提供者は文字データ復号化の鍵ｋを暗号化したメッセージＧ（ｋ）を文字データ再生装置利用者に通知する。

このＧ（ｋ）を通知する際、あるいは通知後に、通知の通信路あるいは利用者から ＧあるいはＧ（ｋ）の情報が第三者に洩れたとしても、Ｇ（ｋ）から文字データ復号化の鍵であるｋを復号するために必要な文字データ再生装置固有の秘密鍵である F を第三者は入手することが不可能なので、文字データ提供者は文字データ再生装置利用者のみに文字データを提供することが可能になる。

つまり、文字データ提供者は、Ｇ（ｋ）の提供と引換に各利用者毎から不正利用無しに確実に情報提供料金を徴収することが可能となる。

異なる復号鍵によって異なる情報を同一の音響信号に同時に埋め込む実施例としては、カラオケの歌詞情報を多言語でカラオケ音楽信号に同時に埋め込む場合、各言語毎に復号化の鍵を異ならしめることによって、文字データ利用者の要求にあった歌詞情報を復号化鍵によって与えることが可能となり、かつ各言語毎に歌詞提供サービス料金を徴収することが可能になる。

また、カラオケ歌詞データ提供の際にカラオケ再生装置に通知している鍵毎に異なる情報を与えることが可能となる。具体的には、店内放送等に情報を埋め込む場合、顧客向け情報と従業員向け情報を同時に送信することが可能となる。

なお、本実施例では、音響出力装置における埋め込み信号生成部および埋め込み処理部および文字データ再生装置における埋め込み信号検出部に、特願２００５−０７１２４５に記載の音響透かし技術を用いているが、これは、音楽等の音響信号に付加情報を埋め込むことが可能な技術であれば良いので、例えば、音響ＯＦＤＭのような技術を用いても同様の効果が得られる。

更に、携帯電話機がデフォルトとして文字再生機能を備えていなくとも、携帯電話機が外部との通信用に備えているインターフェースを利用して、文字提示機能を持つ外部装置と携帯電話機を接続しても良いし、ＢＬＵＥＴＯＯＴＨ（登録商標）や国際標準規格ＩＳＯ／ＩＥＣ １８０９２として承認されているＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ（ＮＦＣＩＰ−１）などの電波を使ってマイクロフォンを備えた外部機器から携帯電話機の表示手段で歌詞を表示されることも考えられる。

また、ｉＰｏｄ（登録商標）などの既存の音楽プレーヤやＰＤＡにおいても、表示手段を持ち、アプリケーションをインストールすることが出来る機種であれば、この音楽プレーヤやＰＤＡを文字データ再生装置として使うことも出来るが、サイズ的に邪魔にならなければ通常のノートブックパソコンやデスクトップパソコンを文字データ再生装置とすることは言うまでもない。

更に、見えるラジオ（登録商標）など文字多重受信機能の有る高価なラジオを使わなくとも、携帯電話機などの文字データ再生装置を複合音響信号をラジオから流すことでラジオの音から文字データを抽出することが出来る。更に、ラジオでＢＧＭとして流している音楽に前記複合音響信号を使えば、前記携帯電話機を用意すれば、カラオケを楽しみたい人だけが手軽にカラオケが楽しめる

また、もし安価に文字データ再生装置を提供する必要がある場合には、例えばマイクロフォン、スピーカー（あるいはイアホン）と表示手段を持ったトランシーバー（送受信が可能な装置という意味）を使えば、マイクロフォンで拾ったカラオケ歌詞あるいは文字情報などを複合音響信号として埋め込んだ音楽などを電波でサーバーに送り、サーバーから文字情報として前記トランシーバーにフィードバックすることにより、前記トランシーバーの表示手段に文字を表示するという方法も考えられる。この場合、多くの利用者が同時に前記サーバーにアクセスすることも考えられるが、周波数ホッピングやパケット通信技術を使えば、利用者にひどく不便をかけることなくサービスを提供することが可能となる。

図４は、背景画面にカラオケ歌詞が挿入されていて、音声信号にはカラオケ歌詞などの文字が埋め込まれていない既存のカラオケ装置を使う場合の実施例である。

まずステップＳ１では、カラオケ再生装置１２が再生され、ステップＳ２ではカラオケ装置のビデオ端子から、カラオケ歌詞が字幕として挿入された画面１３が出力され、ステップＳ３ではオーディオ端子からはカラオケ音楽１４が出力される。

更にステップＳ４では、前記カラオケ歌詞が字幕として挿入された画面１３から文字列１５だけが抽出される。この抽出処理には、ＯＣＲ機能を持った画像処理装置などが使える。この処理には、例えばハードウェアとしてはＲｖｓｉＩｎｓｐｅｃｔｉｏｎＬＬＣ社のＶｉｓｏｎｓｃａｐｅ（登録商標）４０００やＭａｔｒｏｘ社のＭａｔｒｏｘＯｄｙｓｓｅｙＸＣＬなどが使え、ソフトウェアとしてはＳｔｅｍｍｅｒ（登録商標）社のＣｏｍｍｏｎＶｉｓｉｏｎＢｌｏｘやＭａｔｒｏｘＩｍａｇｉｎｇＬｉｂｒａｒｙなどが使える。

ステップＳ４にて、文字列１５としての歌詞データがＯＣＲ機能で抽出される。更にステップＳ５において、電子透かし埋め込み装置１６によって、所定の時間的遅延τを持つカラオケ音楽１４に、遅延された画像１８との同期させるための時間情報と文字列１５とが音響透かしデータとして埋め込まれて複合音声信号６を生成する。前記の通り、複合音響信号６を生成する際の埋め込み処理時間などで、カラオケ歌詞が字幕として挿入された画面１３との時間的な遅延τが生じる。

そこで、ステップＳ６において、カラオケ歌詞が字幕として挿入された画面１３に対して時間的な遅延τをかけて、最終的に文字データ再生装置２０の画面上に歌詞が文字表示された時に、カラオケＡ／Ｖ表示装置１９の画面上に表示される遅延画面１８との間に時間的な違和感が生じることを軽減する。これにより、例えば遠距離で遅延された画面１８を鑑賞しながらカラオケに参加する場合で、映像１８と複合音声信号６との間に時間的な差が生じても、文字データ再生装置２０を持っている人は、遠くの画面１８を見なくとも、聞こえるカラオケ音楽と文字データ再生装置２０の画面上に表示されるカラオケ歌詞とは同期しているのでカラオケを楽しむことが出来る。

出力されるカラオケ歌詞の挿入された画面にインデックス信号を付加してから遅延手段で遅延させる。一方、これとは別に該画面からＯＣＲなどの文字認識手段を使ってカラオケ歌詞を文字データとして抽出し、前記カラオケ歌詞データを前記カラオケ装置のオーディオ端子から出力されるカラオケ音楽に埋め込んで生成した複合音響信号に、前記インデックス信号を同期させるための時間情報として使うことにより前記遅延させた画面と複合音響信号とを同期させてテレビ受像器などに出力することも考えられる。これにより、カラオケを唄う人以外でテレビ画面１８のカラオケ歌詞が見難い状況にあっても、携帯電話機などの表示提示装置２０を使えば間近の画面でカラオケ歌詞が確認できるのでカラオケ合唱への参加が楽になる。

上記において、遅延時間τを持つ遅延された画面１８は、オリジナルのカラオケ歌詞が字幕として挿入された画面１３と同一コンテントでも良いが、間欠静止画で間引きした映像信号を使えば、比較的小規模の遅延用画像メモリーを使った遅延回路での構成が可能となり、装置の価格を安価に抑えることが可能である。

音響信号に同期させるための時間情報を付加する方法としては次の３つが考えられる。
（第１の同期信号付加方法）
スタート信号を音楽データの同期させるための時間情報として使い、文字データには同期させるための時間情報には図２の埋め込み情報、Ｇコード（商標登録）、あるいは赤外線リモコンの規格に準拠した信号を使って電子透かし技術によって組み込み、該文字データを含む音響信号受け取ったタイミングを共有化して音楽データの受信タイミングとする方法。
（第２の同期信号付加方法）
スタート信号を文字データの同期させるための時間情報として使い、音楽データの前記時間情報にはＧコード（商標登録）あるいは赤外線リモコン信号規格の準拠した信号を使って電子透かし技術によって組み込み、該文字データを含む音響信号受け取ったタイミングを共有化して音楽データの受信タイミングとする方法。
（第３の同期信号付加方法）
文字データと音楽データの両方に電子透かしで同期させるための時間情報を埋め込む方法。

図５（ａ）は、音響信号に同期させるための時間情報を付加する第１の方法の１例を示している。この方法によれば、前記音楽データに組み込まれる前記時間情報はスタート信号となる。文字データと音楽データを同期させるための時間情報としては、図２に示される前記文字データが組み込まれている。

文字データ信号２１には、継続フラグflgと同期させるための時間情報ｐｔｍと文字列１５が含まれる。前記文字データ信号２１は、埋め込み処理部４によってカラオケ音楽１４に所定のタイミングで埋め込まれ、複合音響信号出力部５から出力される。

再生される時は、カラオケ音楽１４が受信された時間を基準として、時間上方を含む同期信号ｐｔｍを使って文字列１５の表示タイミングが制御される。

図５（ｂ）は、音楽データ信号に同期させるための時間情報を付加する第１の方法の別例を示している。この場合にも、前記音楽データに組み込まれる前記時間情報はスタート信号となる。しかし、文字データと音楽データを同期させるための時間情報には赤外線リモコンの規格に準拠したリモコンコード２３を使っている。

埋め込み信号生成部３には、リモコンコード２３と文字列１５で構成される文字データ信号２１が入力され、音楽データ信号入力部２に入力されて処理された音楽データ信号１４と埋め込み処理部４で合成されて複合音響信号出力部５から出力される。

文字データと音楽データを同期させるための時間情報には赤外線リモコンの規格に準拠したリモコンコード２３を使うメリットとしては、コード自体にフラグの機能を持つリーダーコードが含まれているので図２におけるフラグｆｌｇが不要になる点である。また、リモコンコードはデーターコードの後に反転コードが付加されているので読み取り間違いを容易に検出できるメリットもある。

リモコン信号を使って音声に同期させるための時間情報を含む時間情報を挿入するには、例えば特定周波数に周期的なパルス群を“０”又は“１”のデータとして挿入することになる。この場合、受信側では前記特定周波数をバンドパスフィルターで抜き出して、前記パルス群から時間データを抽出すれば特定周波数帯のパルスだけを抽出できる。但し、この場合は前記パルス群が音として聞こえるのでオリジナルのカラオケ音声に雑音が混じる形になるが、カラオケボックスのような騒音レベルの高い場所であれば許容範囲となる。

赤外線リモコンのコードとしては、例えばＮＥＣ（登録商標）フォーマットのコードが使える。これは、リーダーコード、カスタムコード、データーコード、およびデーターコードの反転コードをシリアル通信するもので、リモコンコード２３はひとつのフレーム全体で１０８ｍｓの送信時間を使うものが考えられる。通信に際しては、赤外線リモコンと同様にキャリア変調したパルスを使い、キャリア周波数としては３８ｋＨｚを使うことが考えられる。

時間情報を含むリモコンコード２３は、埋め込み信号生成部３で埋め込み信号として生成され、オリジナル音楽データ信号入力部２から入力されるカラオケ音楽データ信号１４に対して埋め込み処理部４で埋めこまれ、複合音響信号出力部５から第２の方法による出力波形２４として出力される。前記第２の方法による出力波形２４にはリモコンコード２３が重畳されているので、受信側ではバンドパスフィルターなどにより特定周波数を抜き出すことによって前記第２の方法による出力波形２４からリモコンコード２３を抽出することが出来る。

図６は、音楽データ信号に同期させるための時間情報を付加する第２の方法を示している。これは、文字データに組み込まれる前記時間情報をスタート信号とし、文字データと音楽データを同期させるための時間情報としては、図２に示される音楽データに組み込んでいる。

文字データ信号２１には、継続フラグflgと文字列１５が含まれ、埋め込み信号生成部３で電子透かし技術により文字データ信号２１が埋め込み信号として生成される。

一方、音楽データ信号１７には、時間情報を含む前記リモコンコード２３が電子透かし技術で埋め込まれ、この合成信号が音楽データ信号入力部２に入力される。

前記音楽信号入力部２の出力信号と埋め込み信号生成部３の出力信号は、埋め込み処理部４によって電子透かし技術で埋め込まれ、複合音響信号出力部５から出力される。

図７は、音楽データ信号に同期させるための時間情報を付加する第３の方法を示している。これは、音楽データに文字データを埋めこんだ複合音響信号において、前記文字データと音楽データ信号の両方に同期させるための時間情報を組み込む方法で、前記第１の方法において、音楽データ信号１４の代わりに、同期信号を埋めこんだ音楽データ信号１４ａを使うことによって埋め込み処理部４の出力には音楽データと文字データの両方に同期させるための時間情報を組み込んだ第３の方法による出力の周波数分布を持った複合音響信号を生成することが出来る。

上記の方法によれば、音楽データに文字データを埋めこんだ複合音響信号において、前記文字データと音楽データ信号の両方に同期させるための時間情報を組み込む必要があるが、別の方法としては、複合音響信号にひとつの同期させるための時間情報を組み込み、文字データを抽出した後も、音楽データ信号に同期させるための時間情報を残すことにより文字データと音楽データ信号の両方に同期させるための時間情報を付与することも考えられる。

なお、上記とは別に、文字データにスタート情報などのタイミングデータだけを暗示的に付加し、音楽データに同期させるための時間情報を電子透かしとして埋めこむことも考えられる。音楽データに同期させるための時間情報をリアルタイムでデコードして文字情報とリンクさせることが出来るので、前記文字データを取り込むバッファメモリに対する負荷を減らすことができるので、同容量のバッファメモリに多くの文字データを格納することができるようになる。

音響透かしを埋め込んだカラオケ音楽は、例えばカセットテープなどの安価な記憶媒体でも記録再生が可能であり、例えば携帯電話機のアプリケーションとして文字提示機能を用意すれば、テープレコーダーと該携帯電話機だけでカラオケが楽しめるし、また、見えるラジオ（登録商標）など文字多重受信機能の有る高価なラジオを使わなくとも、携帯電話機などの文字データ再生装置を複合音響信号をラジオから流すことでラジオの音から文字データを抽出出来るので社会的なインフラ整備にも貢献出来る。更に、ラジオでＢＧＭとして流している音楽に前記複合音響信号を使えば、前記携帯電話機を用意すれば、カラオケを楽しみたい人だけが手軽にカラオケが楽しめるので、利用者に大きな設備負担を強いることなく様々なラジオリスナーに対して音楽振興を啓蒙できる。

本発明の実施形態におけるシステムのブロック図 埋め込み情報のビット構成図 文字データ再生装置の同期情報算出部と文字情報提示部の処理のフローチャート 既存のカラオケ装置から複合音響信号を生成する場合の実施例 複合音響信号に同期させるための時間情報を付加する第１の方法の第１例 複合音響信号に同期させるための時間情報を付加する第１の方法の第２例 複合音響信号に同期させるための時間情報を付加する第２の方法 複合音響信号に同期させるための時間情報を付加する第３の方法

符号の説明

１…音響出力装置、 ２…音楽データ信号入力部、 ２ａ…歌詞データ信号入力部、 ３…埋め込み信号生成部、 ４…埋め込み処理部、 ５…複合音響信号出力部、 ６…複合音響信号、 ７…文字データ再生装置、 ８…複合音響信号受信部、 ９…埋め込み信号検出部、 １０…同期情報算出部、 １１…文字情報提示部、 １２…カラオケ再生装置、 １３…カラオケ歌詞が字幕として挿入された画面、 １４…音楽データ信号、 １４ａ…同期信号を埋めこんだ音楽データ信号、 １５…文字列、 １６…電子透かし埋め込み装置、 １７…音楽データの周波数特性、 １８…遅延された画面、 １９…カラオケＡ／Ｖ表示装置、 ２０…文字データ再生装置、 ２１…文字データ、 ２２…第１の方法による出力周波数分布、 ２３…リモコンコード、 ２４…第２の方法による出力波形、 ２５…音響透かし信号、 ２６…第３の方法による出力の周波数分布。

Claims (3)

1. 空気中を伝播する音を受信する受信部と、記憶手段としてのバッファと、文字データを再生するアプリケーションとを備えた文字データ再生装置であって、前記受信部はカラオケの音楽データに歌詞を表する文字データが埋め込まれた複合音響信号を受信し、この複合音響信号を構成する音楽データおよび文字データには夫々を同期させるための時間情報が含まれ、前記バッファは前記複合音響信号から取り出した文字データを予め一定量記憶し、前記アプリケーションは前記バッファで記憶した文字データを前記時間情報によって前記音楽データに同期して再生表示することを特徴とする文字データ再生装置。
2. 請求項１に記載の文字データ再生装置において、前記文字データを予め一定量記憶するタイミングに曲の前奏時または間奏時を含むことを特徴とする文字データ再生装置。
3. 請求項１または請求項２に記載の文字データ再生装置において、この文字データ再生装置は携帯電話機であることを特徴とする文字データ再生装置。

Images