JP5242826B1 - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】 より処理負荷を小さくしながら曲名などの情報をユーザーに通知する装置や方法を提供する。
【解決手段】 音声信号を出力する出力手段と、外部からの操作に基づいてこの音声信号に関する曲名情報の検索を指示する指示手段と、この検索の指示のタイミング前後の区間で前記音声信号の切り出しを行う切り出し手段と、この切り出しの区間における無音関連部分の除去を行う除去手段と、この除去が行われた結果である音声信号区間の情報をサーバーに送信する送信手段と、このサーバーから前記音声信号区間に関する前記曲名情報の検索結果を受信する受信手段とを備える情報処理装置。
【選択図】 図３

Description

本発明の実施形態は、情報処理装置及び情報処理方法に関する。

情報処理装置の一つとして楽曲抽出を行うものがある（例えば、特許文献１参照。）。これは、放送情報の中からの楽曲の抽出精度を向上し得るようにするというものであるが、この先行技術はAudioデータをずっと解析しつづけて、曲の区間を検出するものであり、装置の処理負荷が大きいものである。

ユーザーが指定したタイミングで解析を行い、曲名などの情報をユーザーに通知するといった技術への要望があるが、かかる要望を実現するための手段は知られていない。

特開２００７−２１９１７８号公報

本発明の実施の形態は、より処理負荷を小さくしながら曲名などの情報をユーザーに通知する装置や方法を提供することを目的とする。

上記課題を解決するために、実施形態によれば情報処理装置は、外部からの操作に基づいて音声信号に関する曲名情報の検索を指示する指示手段と、前記検索の指示があったタイミングの前後で前記音声信号が無音となる無音区間を検出する無音区間検出手段と、前記無音区間検出手段により検出された無音区間に基づいて検索対象の区間を決定する検索対象区間決定手段と、前記検索対象区間決定手段により決定された検索対象の区間の情報をサーバーに送信する送信手段と、前記サーバーから前記検索対象の区間に関する前記曲名情報の検索結果を受信する受信手段とを備える。

この発明の一実施形態を示すシステム概要図。 同実施形態の音声処理装置の構成を示す図。 同実施形態の機能モジュール構成図。 同実施形態の曲名検索処理フロー図。 同実施形態に用いられる表示装置の表示画面の一例の説明図。 同実施形態のRing Buffer制御を示すフロー図。 同実施形態に用いられる曲名検索用Ring Bufferの説明図。 同実施形態に用いられるAudioデータ切り出しフロー及び無音検出時の対象区間再設定フロー図。

以下、本発明の一実施形態を図１乃至図８を参照して説明する。まず図１は、この発明の一実施形態を示すシステム概要図である。

図１（ａ）は、ＴＶ（次に詳述するデジタルテレビ録画再生装置１０）を中心として、このリモコン１と外部サーバー３とから構成されるシステムを表している。リモコン１を用いてＴＶのユーザーが聴いている曲の曲名等について検索開始指示を出し、ＴＶ経由で曲の特徴量を外部サーバー３に送信し、外部サーバー３がこの特徴量に基づいて検索した結果である曲名等をＴＶが受信して表示する構成となっている。

図１（ｂ）は、図１（ａ）の変形であり、リモコン１に代わってタブレットＰＣ２が検索開始指示を出すことができる構成である。この場合は、サーバー３がこの特徴量に基づいて検索した結果である曲名等をＴＶが受信してタブレットＰＣ２に転送し、タブレットＰＣ２がこの曲名等を表示する構成となっている。

次に、図２を参照して、情報処理装置の実施形態である音声処理装置のシステム構成を説明する。この音声処理装置は、例えばデジタルテレビ録画再生装置１０として実現されている。本デジタルテレビ録画再生装置１０は、テレビ放送の番組内に存在する例えば数百ミリ秒の無音区間を検出することができる。

本デジタルテレビ録画再生装置１０は、受信部１０１、ＴＳ分離部１０２、ＣＡＳ制御部１０３、Ｂ−ＣＡＳカード１０４、デスクランブラ部１０５、録画再生制御部１０６、映像記録部１０７、音声／画像分離部１０８、音声デコード部１０９、音声出力部１１０、リサンプリング部１１１、無音区間判定部１１２、特徴量検出部１１３、情報制御部１１４、特徴量登録部１１５、区間登録部１１６、ユーザー入力処理部１２０（リモコン１とのデータ信号の送受を行う）や図示せぬモニター等の表示部を備えている。

受信部１０１は、テレビ放送波受信アンテナ（非図示）と接続され、テレビ放送を受信する。アンテナで受信されたテレビ放送波の信号が受信部１０１に入力されると、受信部１０１は入力されたテレビ放送信号を復調し、ＴＳ分離部１０２へ出力する。

ＴＳ分離部１０２は、受信部１０１から入力された放送信号のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を、符号化された音声データや画像データであるＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）や、暗号化情報であるＥＣＭ（Ｅｎｔｉｔｉｌｅｍｅｎｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ）等に分離する。そしてＴＳ分離部１０２は、ＥＳをデスクランブラ部１０５に、ＥＣＭをＣＡＳ制御部１０３に出力する。

ＣＡＳ制御部１０３は、ＴＳ分離部１０２から出力された暗号化情報ＥＣＭを入力する。そしてＣＡＳ制御部１０３は、ＣＡＳカード１０４に記憶されている放送事業者毎に設定されるワーク鍵（Ｋｗ）を用いてＥＣＭの暗号を復号し、ＥＣＭ内のその番組に関する属性情報とＢ−ＣＡＳカード１０４に記憶されている契約情報とを比較して、視聴可否の判定を行う。そしてＣＡＳ制御部１０３は、視聴可能である場合にスクランブル鍵（Ｋｓ）を復号してデスクランブラ部１０５に出力する。

デスクランブラ部１０５は、ＴＳ分離部１０２から入力された、音声データや画像データであるＥＳのスクランブル処理を解除する。デスクランブラ部１０５は、ＣＡＳ制御部１０３から入力した前記スクランブル鍵（Ｋｓ）を用いて音声データや画像データのスクランブル処理を解除し、スクランブル解除した音声データや画像データを録画再生制御部１０６に出力する。

録画再生制御部１０６は、録画処理および再生処理を制御する。録画処理において録画再生制御部１０６は、音声データや画像データをコンテンツごとの一つのＴＳに纏めて記録媒体部１０７に記録するとともに、音声／画像分離部１０８にコンテンツのＴＳを出力する。また録画処理において録画再生制御部１０６は、後述する区間登録部１１６から入力された区切り情報と動画コンテンツ等とを対応付けて記録部１０７に記録することができる。あるいは、該区切り情報に基づいて、動画コンテンツ等の特定時間区間をカットして記録することも可能である。

また、録画再生制御部１０６は、映像記録部１０７に記録されたコンテンツの再生処理を制御する。そのとき録画再生制御部１０６は、映像記録部１０７からコンテンツのＴＳをロードして、該ＴＳを音声／画像分離部１０８に出力する。

音声／画像分離部１０８は、録画再生制御部から出力されたＴＳから、音声信号と画像信号を分離する。そして音声／画像分離部１０８は、分離した音声信号を音声デコード部１０９に、画像信号を画像デコード部（非図示）に出力する。

音声デコード部１０９は、音声／画像分離部１０８から出力された音声信号をデコードする。ここで音声信号は、例えばＰＣＭ等のフォーマットにデコードされる。そしてデコード部１０９は、録画処理においては、デコードした音声信号をリサンプリング部１１１に出力し、再生処理においては、デコードした音声信号を音声出力部１１０に出力する。

リサンプリング部１１１は、デコード部１０９から入力された音声信号のサンプリング周波数を変換する再サンプリング処理を行う。例えば、デジタル放送における音声信号のサンプリング周波数は４８ＫＨｚであるが、リサンプリング部１１１はこの音声信号を更に低い周波数にて再サンプリングして、例えばサンプリング周波数が１２ＫＨｚの音声信号に変換する。

ここで、再サンプリングの際には、リサンプリング部１１１は、再サンプリング前の音声サンプルから一定の周波数以上の音声成分を削る処理を行ったのち、再サンプリング処理を行う。このとき、再サンプリング処理の方法については、公知の技術を利用できる。そしてリサンプリング部１１１は、再サンプリングされた音声信号を無音区間判定部１１２および特徴量算出部１１３に出力する。

無音区間判定部１１２は、入力した音声信号の音声サンプルのうち、一定間隔の音声サンプルに対して音量レベルが所定の範囲内か否かを判別し、音量レベルが所定の範囲内であると一定回数連続して判別された区間を無音区間として検出する。そして無音区間判定部１１２は、無音区間を検出すると、特徴量算出部１１３および情報制御部１１４に無音区間検出を通知する。この情報制御部は、無音区間や特徴量の伝達、外部サーバー３、端末２とのＬＡＮ Ｉ／Ｆや無線を介した送受信データのやり取りの機能を含めたものとしてある。

特徴量算出部１１３は、無音区間判定部１１２から無音区間検出通知を受け取った後、音声信号の音声サンプルのうち、連続する所定数の音声サンプルに対して特徴量を算出する。ここで、特徴量算出部１１３は、無音区間判定部１１２から無音区間検出通知を受け取った所定時間後、例えば該通知の１秒後に特徴量を算出する。特徴量算出部１１３は、一般には外部サーバー３で楽曲情報検索を行えるような特徴量を、音声サンプルから抽出することができるアプリケーションプログラムである。

尚、特徴量算出部１１３は、音の区間における音楽信号サンプルの特徴量を算出することを目的としている。そして特徴量算出部１１３は、算出した特徴量のデータを情報制御部１１４に出力し特徴量登録部１１５に外部サーバー３との送信まで登録させる。これによりデータ通信部として機能する情報制御部１１４は、Ethernet（登録商標）規格の有線ネットワークで接続された外部のルーター、モデムを介し通信ネットワークを介して楽曲情報検索を行う外部サーバー３に、必要な特徴量を送ることができる。

情報制御部１１４は、無音区間判定部１１２から出力された無音区間検出通知に基づいて、音声信号中における対象区間を区間登録部１１６に登録させる。

さて本実施形態は、例えばTV番組やCM中で流れている音楽の曲名を検索する機能をTV上に適用し、付加機能の提供を目的とする。TVで流れている音楽をユーザーが調べたいと思ったタイミングで検索指示を出すと、TV内で検索対象のAudioデータ（PCM）を切り出して検索の為に必要な特徴量生成を行う。この特徴量を外部サーバー３に送信し上記検索が完了すると結果がＴＶへ通知される。

通常のTV番組で流れている音楽を検索する場合、人のしゃべり声等の音楽以外の音が多く含まれており、所定の長さのAudioデータを指定しても検索結果が得られない場合が多い。さらに、検索対象データの取得を完了する前にターゲットの音楽部分が終了してしまうと、検索に必要なデータが不足してしまい、検索に失敗してしまう。

本実施形態では、検索対象データの不足による検索エラーを解決するためのオーディオデータ取得方法について述べる。

＜モジュール構成および処理フロー＞
TVで曲名検索処理を行う場合の例を表す機能モジュール構成を図３に、処理フローを図４に示す。

このモジュール構成は、Audioストリーム取得部３１、Audio Decoder３２、音声再生部３３とPCM蓄積部３４からなる音声再生部３０と、リモコン１（赤外線または無線を用いる）またはユーザー端末２（ex. タブレットＰＣ）(無線を用いる)である指示手段３５を備えている。

更にまた、曲名検索指示部３６、Audio切り出し処理部３７、特徴量生成部３８、結果取得部４０、結果判定部４１、ＴＶまたはユーザー端末２の画面である結果表示部４２（表示装置）を備えている。

このAudioストリーム取得部３１は、主に受信部１０１から音声／画像分離部１０８までに対応している。またAudio Decoder３２は、音声デコード部１０９に相当している。音声再生部３３は音声出力部１１０に相当している。PCM蓄積部３４はリサンプリング部１１１に相当している。

更にまた、曲名検索指示部３６はユーザー入力処理部１２０に、Audio切り出し処理部３７、特徴量生成部３８は、無音区間判定部１１２、特徴量算出部１１３に相当している。結果取得部４０、結果判定部４１は、情報制御部１１４に相当している。

Audioストリーム取得部３１では再生対象のAudioストリームを取得し、Audio Decoder３２に送る。Audio Decoder３２はAudioストリームをデコードし、PCMデータを出力する。出力PCMデータは音声再生部３３とPCM蓄積部３４に同じデータが渡される。音声再生部３３に渡ったPCMデータはスピーカー出力後に破棄される。PCM蓄積部３４に渡ったデータは、処理の軽減等で必要なら再サンプリングしPCM蓄積部３４内の図示せぬRing Bufferに格納され、曲名検索処理実行時に参照される。

図４については次のような処理となる。

曲名検索の開始指示はユーザーによって指示手段３５であるリモコン１またはユーザー端末２で行われる（ステップＳ４１）。TV側では曲名検索指示部３６にユーザーからの検索開始指示が送られる。リモコン１はこの指示のための専用ボタンを備えていてもよいし、ＴＶ画面に表示されるメニューを見ながら対話的にあるボタンを用いて指示できるように構成してもよい。

曲名検索開始指示が曲名検索指示部３６に送られると曲名検索に必要な処理を行い、Audio切り出し部３７でAudio切り出し処理が開始される（ステップＳ４２）。なおこの必要な処理とは、例えば外部サーバー３に特徴量を送信する為のアプリケーションソフトの起動であり、関連して各種の初期化処理やライセンス認証処理が行われることが多い。そしてAudio切り出し処理部３７では、曲名検索に必要な所定の長さのPCMデータをPCM蓄積部３４から取得する。

所定の長さのPCMデータ取得が完了すると特徴量生成部３８で曲名検索に必要な情報（外部サーバー３に曲名情報の検索を行わせるための特徴量、例えばPCMデータの周波数毎の大小判定情報）を生成する（ステップＳ４３）。特徴量生成部３８で必要な情報の生成が完了すると、外部サーバー３へ必要データ（必要な情報）を送信する（ステップＳ４４）。

曲名検索は外部サーバー３９で行われ（ステップＳ４５）、検索が完了するとTV側へ検索結果が通知される。この検索結果は結果取得部４０で受信され（ステップＳ４６）、文字列等で表現された曲名情報（この曲名情報としては、曲名の他に、アーティスト名、作曲者名、作詞者名、アルバムタイトル、レーベルなどの付随情報を含むのが好適である）が結果判定部４１へ渡される。曲名情報が得られなかった場合には、“no query”といった内容の文字列が得られるように構成されている。

曲名情報が取得できた場合は（ステップＳ４７の再検索不要）結果判定部４１でユーザー通知用の結果文字列を生成し、結果表示部４２へ渡す。

曲名情報が得られなかった場合は必要に応じて（例えばユーザーによる設定があれば、ステップＳ４７の再検索実施）結果判定部４１から曲名検索指示部３６に再検索要求を出す。

結果表示部４２では検索要求を出したソースに応じてTVで表示するか、ユーザー端末２で表示を行なわせ（ステップＳ４８）、処理を終了する（ステップＳ４９）。

図５は、この表示の例である。図５に示すように、表示部３１の表示画面の一部（図５の例では、表示画面の上部）に、曲名、アーティスト名、作曲者名等を表示する。

＜Audioデータ切り出し方法＞
Audioデータ切り出し時に無音状態が検出されているかどうかを判定することによって、一般例よりも適切な区間のAudioデータ切り出しを目的とした。

通常ＣＭの切れ目に無音が挿入されているが、本実施形態ではCM以外の場面でも無音を音楽の切れ目と推定する。切り出した曲名検索区間に無音が挿入されている場合、ターゲットの音楽と異なるデータが挿入されていると見なし、この区間を除いたデータを検索対象とする。無音かどうかの判定は既存の技術を用いればよい。例えば、本願と同一発明者の出願である特開Ｐ２０１１−７５９３５号やその引例に記載の技術を援用して構成することができる。

Ring Buffer 制御については、Ring Bufferを用いてTV視聴時のPCMデータを逐次蓄積していく。このRing BufferへのPCMデータ格納方法を図６に示す。図６ではRing Bufferの配列数を N とし、現在処理中のバッファを buf_No で表している。

TV上でAudioデータの再生が開始されると、本Ring BufferへのPCMデータ蓄積も開始される（ステップＳ６１）。

Ring Bufferの初期値は buf_No = 0とする（ステップＳ６２）。この場合、最大値は buf_No = N−1 となる。

バッファ１つ分のPCMデータを取得に完了すると次の処理へ移行する（ステップＳ６３）。バッファ内のPCMデータを解析し、無音部分が含まれていないかどうかを規定（既存）の無音検出方法で検出する（ステップＳ６４）。バッファ１つのサイズは例えば１秒分のPCMデータを収容できるもので、Ｎ＝２０などとしておけばよい。

ここで無音ありの場合（ステップＳ６４のＹｅｓ）、無音検出フラグを立て（ステップＳ６５）、次のステップＳ６６処理へ進む。無音なしの場合（ステップＳ６４のＮｏ）は無音検出フラグを立てずに、次のステップＳ６６処理へ進む。

そして次のバッファへ処理を移すため、バッファ番号 buf_No を更新する（ステップＳ６６）。

対象バッファがバッファ列の終端に達した場合（buf_No ≧ N の場合）、先頭バッファに戻す（ステップＳ６７のＹｅｓ）。そうでなく buf_No < N の場合は（ステップＳ６７のＮｏ）、次のバッファへ更新する。

Ring Buffer 内のデータ選択方法については、検索開始指示を受けるとRing Bufferを参照し、現在処理中の buf_No を基点として切り出し範囲（計Det 個）を決定する。図７は、この様子を模式的に表したものであり、以下図８でローを説明する。なお、Ｐ＝０の場合はbuf_No＝０である。

まず、既に蓄積済みのバッファの中から予め定めた個数のバッファをPre-Loadデータ分（P 個）として利用する（ステップＳ８１）。次に残りの必要データについて、検索開始位置buf_Noを含めた（Det − P）個のバッファを追加取得対象とする（ステップＳ８２）。

取得した（ステップＳ８３）データ中に無音区間が含まれているかどうかを前記フラグで確認する。追加取得データ中に無音区間が検出された場合（ステップＳ８４のＹｅｓ）は、これはユーザーが検索指示を出した後の無音なので、ターゲットの音楽が終了してしまった状態と見なす。無音を含んだバッファを検索対象区間から外し、直前のバッファが終端となるように開始位置を決定する。ここでは開始位置決定のために選出されたバッファについては無音のチェックは行わない（音声区間があまりに短くなり検出に失敗することを防ぐため）。

無音が検出されたバッファの一つ前のバッファ buf_En を切り出し終了位置に再設定する（ステップＳ８４ａ）。設定した終端バッファまでのバッファ数が Det になるように開始位置を（buf_En−Det＋1）に再設定する（ステップＳ８４ｂ）。検索対象バッファは [ buf_En−Det＋1，buf_En ] となり、切り出し処理を完了する。

追加取得したデータ中に無音区間が含まれていない場合（ステップＳ８４のＮｏ）、追加対象区間のＰＣＭデータ取得が完了したか判定し完了してなければ（ステップＳ８５のＮｏ）ステップＳ８３に戻る。

完了していれば（ステップＳ８５のＹｅｓ）、Pre-Read区間に無音区間が含まれているかどうかを確認する（ステップＳ８６）。Pre-Readデータ中に無音区間が検出された場合（ステップＳ８６のＹｅｓ）、無音が検出されたバッファの一つ後ろバッファ buf_St を切り出し開始位置に再設定する（ステップＳ８６ａ）。

次に設定した開始バッファからのバッファ数が Det になるように終了位置を（Det−buf_St−1）に再設定する（ステップＳ８６ｂ）。ここで追加読み込みされたバッファ内のデータについては無音検出状態に関係なく検出対象と定める（ステップＳ８６ｃ）。検索対象バッファは [ buf_St，Det−buf_St−1 ] となり、切り出し処理を完了する。

検索対象Audioデータの切り出しを完了する。

＜実施形態の変形＞
（１） Pre-Readデータ中に無音区間が検出されたケースについて
ステップＳ８６ａ，ｂでは終了バッファ位置を拡張する対応を行っているが、拡張したバッファ内にも無音データが含まれている場合の対応として、Pre-Read区間の無音検出バッファの一つ前を検出区間の終了位置とした検索を実行する。

（２） Audioストリームのリアルタイム解析結果を利用する
他のモジュールの、例えば録画処理時に実施されるChapter設定向けの解析処理結果を利用し、無音検出時と同じように利用する（例えば、歓声，拍手などが検索対象区間に入らないようにしたり、音楽検出機能を利用して検索開始時に既再生時間分のPre-Readデータを利用して高速化を図る、など）。これらの機能は、例えば本願と同一出願人の出願である特開Ｐ２０１２−３２４４７号に記載の技術を援用して構成することができる。

以上次のような実施形態の特徴により、ユーザーが検索指示を行う際のタイミングによる検出エラーを軽減できる。この結果の効果として、データ解析回数が少ないため、処理負荷が小さい装置、方法を実現できる。

（１）曲名検索を行うためのターゲットAudioデータの取得時に、無音区間を考慮する。

（２）ユーザーが検索指示を出した位置を中心に、開始位置と終了位置を決定する。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば、音声信号のソースとしてはラジオ放送でもよい。また、放送以外の配信システムや、装置に装着または装置とネットワークで接続される形態の媒体などでもよい。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１０：デジタルテレビ録画再生装置
１０１：受信部
１０２：ＴＳ分離部
１０３：ＣＡＳ制御部
１０４：Ｂ−ＣＡＳカード
１０５：デスクランブラ部
１０６：録画再生制御部
１０７：映像記録部
１０８：音声／画像分離部
１０９：音声デコード部
１１０：音声出力部
１１１：リサンプリング部
１１２：無音区間判定部
１１３：特徴量算出部
１１４：情報制御部
１１５：特徴量登録部
１１６：区間登録部
１２０：ユーザー入力処理部

Claims (5)

1. 外部からの操作に基づいて音声信号に関する曲名情報の検索を指示する指示手段と、
   前記検索の指示があったタイミングの前後で前記音声信号が無音となる無音区間を検出する無音区間検出手段と、
   前記無音区間検出手段により検出された無音区間に基づいて検索対象の区間を決定する検索対象区間決定手段と、
   前記検索対象区間決定手段により決定された検索対象の区間の情報をサーバーに送信する送信手段と、
   前記サーバーから前記検索対象の区間に関する前記曲名情報の検索結果を受信する受信手段と
   を備える情報処理装置。
2. 前記検索結果を出力する出力手段をさらに備える請求項１に記載の情報処理装置。
3. 前記検索対象の区間の情報は、前記サーバーに前記曲名情報の検索を行わせる特徴量である請求項１に記載の情報処理装置。
4. 前記出力手段は、前記検索結果を表示する結果表示部である請求項２に記載の情報処理装置。
5. 外部からの操作に基づいて音声信号に関する曲名情報の検索を指示する指示工程と、
   前記検索の指示があったタイミングの前後で前記音声信号が無音となる無音区間を検出する工程と、
   検出した前記無音区間に基づいて検索対象の区間を決定する工程と、
   決定した前記検索対象の区間の情報をサーバーに送信する送信工程と、
   前記サーバーから前記検索対象の区間に関する前記曲名情報の検索結果を受信する受信工程と
   を含む情報処理方法。

Images