JP4864847B2

JP4864847B2 - 音楽検出装置および音楽検出方法

Info

Publication number: JP4864847B2
Application number: JP2007252163A
Authority: JP
Inventors: 祐治高尾
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-09-27
Filing date: 2007-09-27
Publication date: 2012-02-01
Anticipated expiration: 2027-09-27
Also published as: JP2009086016A

Description

本発明は、音楽検出装置および音楽検出方法に関する。

近年、大容量のハードディスク等の記憶装置を搭載した映像音声録画装置が普及している。これに伴い、録画情報のデータ容量が大きくなる傾向にあり、録画情報の中から所望の情報、例えば、歌や楽器等が演奏される音楽区間を効率よく検索するための機能が搭載されている。具体的には、音楽区間の開始位置と終了位置にチャプタ番号を設けることで利用者が容易に所望の音楽区間を検索できるようになっている。

従来の技術として、録画情報に含まれる音声情報に基づいて音楽区間を検出する音楽検出装置がある（例えば、特許文献１）。

この特許文献１の音楽検出装置によると、録画情報中の２チャンネルの音声からなる音声情報を抽出し、２チャンネルの音声のパワーの合計、および２チャンネルの音声のパワーの差を算出し、これらの算出されたパワーの比を求め、パワーの比を閾値と比較して比較結果に基づいて音楽区間かどうかを判定することで、音楽区間を検出することができる。
特開２００６−３０１１３４号公報

しかし、従来の音楽検出装置によると、音声情報にステレオ効果のある音楽区間を検出することができるが、ステレオ効果のある音楽区間以外の番組区間やＣＭ区間を検出することにより音楽区間の開始位置および終了位置に誤差を生じるという問題がある。

従って、本発明の目的は、音楽区間を精度良く検出する音楽検出装置を提供することにある。

（１）本発明は、上記目的を達成するため、処理対象情報に含まれる音声情報に基づき、前記処理対象情報中の音楽区間を検出する音楽区間検出部と、前記音声情報中の無音部分を検出する音量解析部と、前記処理対象情報に含まれる映像情報に基づき、前記処理対象情報中のトーク部分を検出する映像解析部と、前記音楽区間の開始位置付近の前記無音部分のうち前記トーク部分に属さない無音部分で前記開始位置に最も近い前記無音部分を新たな開始位置とし、前記音楽区間の終了位置付近の前記無音部分のうち前記トーク部分に属さない無音部分で前記終了位置に最も近い前記無音部分を新たな終了位置として、前記音楽区間を補正する音楽区間補正部とを有することを特徴とする音楽検出装置を提供する。

このような構成によれば、音楽区間補正部は、トーク部分に属する無音部分を省いて、音楽区間検出部が検出した音楽区間の開始位置および終了位置を無音部分に補正するため、トーク部分が出現する頻度が多い音楽番組等を録画した録画情報においては、無音部分を含む確率が高いトーク部分を省いて音楽区間の検出精度を向上することができる。

（２）また、前記映像解析部は、前記処理対象情報に含まれる映像情報に基づき、前記処理対象情報中の映像変化部分を検出し、前記音楽区間補正部は、前記音楽区間の開始位置に最も近い前記映像変化部分を新たな開始位置とし、前記音楽区間の終了位置に最も近い前記映像変化部分を新たな終了位置として、前記音楽区間を補正するものであってもよい。

このような構成によれば、音楽区間補正部は、映像変化部分に基づいて、音楽区間検出部が検出した音楽区間の開始位置および終了位置を補正するため、音楽区間においてトーク部分と別セットを組むような音楽番組等を録画した録画情報においては、音楽区間の検出精度を向上することができる。

（３）また、前記音楽検出装置は、前記処理対象情報に含まれる字幕情報に基づき、前記処理対象情報中の音楽字幕部分を検出する字幕検出部をさらに有し、前記音楽区間補正部は、前記音楽区間の開始位置付近の前記音楽字幕部分の出現部分を新たな開始位置とし、前記音楽区間の終了位置付近の前記音楽字幕部分の消失部分を新たな終了位置として、前記音楽区間を補正するものであってもよい。

このような構成によれば、音楽区間補正部は、音楽字幕部分に基づいて、音楽区間検出部が検出した音楽区間の開始位置および終了位置を補正するため、音楽区間において歌詞が表示されたり、タイトルや作詞／作曲者名が表示されたりするような音楽番組等を録画した録画情報において、音楽区間の検出精度を向上することができる。

本発明によれば、精度良く音楽区間を検出できる。

以下に、本発明の音楽検出装置の実施の形態を、図面を参照して詳細に説明する。

〔第１の実施の形態〕
（音楽検出装置の構成）
図１は、本発明の第１の実施の形態に係る音楽検出装置の構成を示す概略図である。

音楽検出装置１は、録画情報６０に含まれる音声情報３０を入力して音楽検出区間１００を検出する音楽区間検出部１０と、音楽区間検出部１０の検出した音楽検出区間１００を補正して音楽区間情報７０を出力する音楽区間補正部２０と、音声情報３０を解析して解析結果を音楽区間補正部２０へ出力する音量解析部２１と、録画情報６０に含まれる映像情報４０を解析して解析結果を音楽区間補正部２０へ出力する映像解析部２２と、録画情報６０に含まれる字幕情報５０または映像情報４０を解析して解析結果を音楽区間補正部２０へ出力する字幕・テロップ検出部２３とを有する。

音楽検出装置１は、例えば、ハードディスクレコーダーやパーソナルコンピューターに内蔵され、各部はハードウエアで設置されてもよいし、ソフトウエアとしてインストールされてもよい。また、一部をハードウエア、他部をソフトウエアとして構成してもよい。

音声情報３０、映像情報４０および字幕情報５０を含む録画情報６０は、例えば、ＭＰＥＧ（Moving Picture Experts Group）ムービー等の圧縮された情報によって構成される。音声情報３０は、左右に独立した２チャンネルの音声を出力する。また、録画情報６０は、図示しないチューナーを介して受信したデジタルテレビ放送を録画した情報、ＤＶＤ等に記録された情報、またはリアルタイムで受信するデジタルテレビ放送の情報であってもよい。

音楽区間検出部１０は、入力した音声情報３０を所定の区間に分割し、各区間ごとに音声情報３０のチャンネル間の音量差、および両チャンネルの合計音量を算出し、音量差と合計音量の比を閾値と比較することで音楽区間を検出する。

また、音楽区間検出部１０は、音楽区間が重なる頻度の高いＣＭ区間と、実際の音楽区間とを区別するために、ＣＭ区間と音楽区間の重なり区間と、実際の音楽区間とを比較し、音楽区間の出現比を算出することでＣＭ区間と音楽区間の重なり区間を非音楽区間として処理する手段（図示せず）を備える。

音量解析部２１は、音声情報３０を入力し、音声情報３０の音声の各チャンネルの音量振幅を解析して、所定の閾値以下になった場合に無音部分と定義する。なお、無音部分は、音声情報３０をデコードする前の状態であるオーディオストリームをスペクトル解析して検出するようにしてもよい。

音楽区間補正部２０は、音楽検出区間１００を補正した音楽区間情報７０を出力し、音楽区間情報７０は、図示しないチャプタ番号登録部に入力され、録画情報６０にチャプタ番号が登録されることで、利用者は、録画情報６０の音楽区間を容易に検索することができるようになる。

図２は、本発明の第１の実施の形態に係る音楽検出装置の動作を示す概略図である。

音楽区間検出部１０は、音声情報３０を解析することで音楽検出区間１００（ｔ_２〜ｔ_４）を検出する。次に、音量解析部２１が、音声情報３０を解析し、音声情報３０中から無音部分を抽出する。次に、音楽区間補正部２０が、音楽検出区間１００の開始時間（ｔ_２）に最も近い無音部分を無音検出部分２１０（ｔ_１）として、音楽検出区間１００の開始時間を補正し、音楽検出区間１００の終了時間（ｔ_４）に最も近い無音部分を無音検出部分２１０（ｔ_３）として、音楽検出区間１００の終了時間を補正する。

図３は、本発明の第１の実施の形態に係る音楽区間検出部の動作を示すフローチャートである。

まず、音楽区間検出部１０は、音声情報３０を入力する（Ｓ１０）。次に、音楽区間検出部１０は、入力した音声情報３０を時間について所定の長さの区間に分割する（Ｓ１１）。次に、ある区間について、音声情報３０の音声２チャンネルについて音量差Ｖ_ｄを算出する（Ｓ１２）。次に、音声２チャンネルについて合計音量Ｖ_ｓを算出する（Ｓ１３）。次に、Ｖ_ｄとＶ_ｓとの比Ｖ_ｆを算出する（Ｓ１４）。

比Ｖ_ｆが予め定めた閾値より大きい状態が、所定時間、例えば１分以上継続する場合（Ｓ１５；Ｙｅｓ）、その区間に音楽区間フラグを付与する（Ｓ１６）。すべての区間についてＳ１２〜Ｓ１６の処理が終了すると（Ｓ１７；Ｙｅｓ）、音楽区間フラグの付いた区間をマージして音楽検出区間１００を音楽区間補正部２０へ出力する。

図４は、本発明の第１の実施の形態に係る音量解析部および音楽区間補正部の動作を示すフローチャートである。

まず、音楽区間補正部２０は、音楽区間検出部１０から音楽検出区間１００を入力し、音楽検出区間１００の開始位置（ｔ_２）と終了位置（ｔ_４）を取得する（Ｓ２０）。次に、音量解析部２１は、音声情報３０を入力し、音楽検出区間１００の開始位置付近における無音部分を検出する（Ｓ２１）。また、音楽検出区間１００の終了位置付近における無音部分を検出する（Ｓ２２）。

次に、音楽区間補正部２０は、音量解析部２１が検出した無音部分のうち、音楽検出区間１００の開始位置に最も近い無音部分、および終了位置に最も近い無音部分をそれぞれ無音検出部分２１０（ｔ_１、ｔ_３）と定義する（Ｓ２３）。次に、音楽検出区間１００の開始位置および終了位置をそれぞれ無音検出部分２１０に補正する（Ｓ２４）。次に、補正した音楽検出区間１００（ｔ_１〜ｔ_３）について音楽区間情報７０を出力する（Ｓ２５）。

（第１の実施の形態の効果）
上記した第１の実施の形態によると、音楽区間補正部２０は、音楽区間検出部１０が検出した音楽検出区間１００の開始位置および終了位置を、音量解析部２１が検出した無音検出部分２１０に補正する。音楽区間の開始位置および終了位置に無音部分が出現する頻度が多い音楽番組等を録画した録画情報６０において、高い確率で音楽区間の検出精度を向上することができる。また、音楽区間の開始位置および終了位置にチャプタ番号を登録することで、利用者が容易に音楽区間を検索できるようになる。

〔第２の実施の形態〕
図５は、本発明の第２の実施の形態に係る音楽検出装置の動作を示す概略図である。なお、以下の説明において、第１の実施の形態と同一の構成および機能を有する部分については共通の符号を付している。

音楽区間検出部１０は、音声情報３０を解析することで音楽検出区間１００（ｔ_１４〜ｔ_１７）を検出する。次に、音量解析部２１が、音声情報３０を解析し、音声情報３０中から無音部分を抽出する。次に、映像解析部２２が、映像情報４０を解析し、トーク検出部分２２０（ｔ_１１〜ｔ_１３）を検出する。次に、音楽区間補正部２０が、音楽検出区間１００の開始時間に最も近い無音部分で、トーク検出部分２２０に属さない無音部分を無音検出部分２１０（ｔ_１５）として、音楽検出区間１００の開始時間を補正し、音楽検出区間１００の終了時間に最も近い無音部分を無音検出部分２１０（ｔ_１６）として、音楽検出区間１００の終了時間を補正する。

トーク検出部分２２０は、例えば、デジタルテレビ放送の音楽番組において、司会者とアーティストが会話するシーンであり、司会者のカット、アーティストのカットが交互に現れるようなシーンを指す。

図６は、本発明の第２の実施の形態に係る映像解析部の動作を示すフローチャートである。

まず、映像解析部２２に音楽検出区間１００の開始位置（ｔ_１４）と終了位置（ｔ_１７）それぞれの前後、例えば前後１０秒間の映像情報４０を入力する（Ｓ３０）。次に、映像解析部２２は、入力した映像情報４０から所定の時間おきに定期的に静止画を取得する（Ｓ３１）。次に、取得した複数の静止画を比較して、似ている静止画にフラグを付与する（Ｓ３２）。

静止画を時間順に並べた場合にフラグの並びに特徴的な規則性、例えば、似ている画像１および画像２が交互に現れるような規則性がある場合（Ｓ３３；Ｙｅｓ）、規則性がある区間をトーク検出部分２２０（ｔ_１１〜ｔ_１３）と定義する（Ｓ３４）。

図７は、本発明の第２の実施の形態に係る音楽区間補正部の動作を示すフローチャートである。

まず、音楽区間補正部２０は、音楽区間検出部１０から音楽検出区間１００を入力し、音楽検出区間１００の開始位置（ｔ_１４）と終了位置（ｔ_１７）を取得する（Ｓ４０）。次に、音量解析部２１は、音声情報３０を入力し、音楽検出区間１００の開始位置付近における無音部分を検出する（Ｓ４１）。また、音楽検出区間１００の終了位置付近における無音部分を検出する（Ｓ４２）。

次に、音楽区間補正部２０は、音量解析部２１が検出した無音部分のうち、図６の動作において定義したトーク検出部分２２０（ｔ_１１〜ｔ_１３）に属する無音部分２１０ａ（ｔ_１２）を排除する（Ｓ４３）。次に、音楽検出区間１００の開始位置に最も近い無音部分、および終了位置に最も近い無音部分をそれぞれ無音検出部分２１０（ｔ_１５、ｔ_１６）と定義する（Ｓ４４）。次に、音楽検出区間１００の開始位置および終了位置をそれぞれ無音検出部分２１０に補正する（Ｓ４５）。次に、補正した音楽検出区間１００（ｔ_１５〜ｔ_１６）について音楽区間情報７０を出力する（Ｓ４６）。

（第２の実施の形態の効果）
上記した第２の実施の形態によると、第１の実施の形態に加え、音楽区間補正部２０は、トーク検出部分２２０に属する無音部分２１０ａを省いて、音楽区間検出部１０が検出した音楽検出区間１００の開始位置および終了位置を補正する。トーク検出部分２２０が出現する頻度が多い音楽番組等を録画した録画情報においては、トーク検出部分２２０に無音部分を含む確率が高いため、トーク検出部分２２０の無音部分を排除することで、高い確率で音楽区間の検出精度を向上することができる。

なお、トーク検出部分２２０は、音声情報３０を解析して会話を検出してもよい。

〔第３の実施の形態〕
図８は、本発明の第３の実施の形態に係る音楽検出装置の動作を示す概略図である。

音楽区間検出部１０は、音声情報３０を解析することで音楽検出区間１００（ｔ_２３〜ｔ_２７）を検出する。次に、映像解析部２２が、映像情報４０を解析し、映像情報４０中から特徴量の大きく変化する変化部分２２１を抽出する。次に、音楽区間補正部２０が、音楽検出区間１００の開始時間に最も近い変化部分２２１を映像切替検出部分２２２（ｔ_２２）として、音楽検出区間１００の開始時間を補正し、音楽検出区間１００の終了時間に最も近い無音部分を映像切替検出部分２２２（ｔ_２６）として、音楽検出区間１００の終了時間を補正する。

図９は、本発明の第３の実施の形態に係る映像解析部および音楽区間補正部の動作を示すフローチャートである。

まず、映像解析部２２に音楽検出区間１００の開始位置（ｔ_２３）と終了位置（ｔ_２７）それぞれの前後、例えば前後１０秒間の映像情報４０を入力する（Ｓ５０）。次に、映像解析部２２は、映像情報４０を監視し、映像の輝度値および色相値を測定する（Ｓ５１）。測定の結果、輝度値または色相値が大きく変化する部分を変化部分として検出する（Ｓ５２）。

次に、音楽区間補正部２０は、映像解析部２２が検出した変化部分のうち、音楽検出区間１００の開始位置に最も近い変化部分、および終了位置に最も近い変化部分をそれぞれ映像切替検出部分２２２（ｔ_２２、ｔ_２６）と定義する（Ｓ５３）。次に、音楽検出区間１００の開始位置および終了位置をそれぞれ映像切替検出部分２２２に補正する（Ｓ５４）。次に、補正した音楽検出区間１００（ｔ_２２〜ｔ_２６）について音楽区間情報７０を出力する（Ｓ５５）。

（第３の実施の形態の効果）
上記した第３の実施の形態によると、音楽区間補正部２０は、映像切替検出部分２２２に基づいて、音楽区間検出部１０が検出した音楽検出区間１００の開始位置および終了位置を補正する。音楽区間においてトーク部分と別セットを組むような音楽番組等を録画した録画情報においては、音楽区間において照明効果等によってトーク部分とは異なる色相や輝度を有するシーンを含む確率が高いため、輝度値または色相値の変化する部分に音楽区間を補正することで、高い確率で音楽区間の検出精度を向上することができる。

なお、映像切替検出部分２２２は、輝度値および色相値以外の特徴量を解析して検出してもよい。

〔第４の実施の形態〕
図１０は、本発明の第４の実施の形態に係る音楽検出装置の動作を示す概略図である。

音楽区間検出部１０は、音声情報３０を解析することで音楽検出区間１００（ｔ_３２〜ｔ_３４）を検出する。次に、字幕・テロップ検出部２３が、字幕情報５０を解析し、字幕情報５０中から音楽に関連する文字列、例えば、音符を表す記号や、「作詞」、「作曲」等が検出される音楽字幕検出部分２３２を抽出する。次に、音楽区間補正部２０が、音楽字幕検出部分２３２の開始位置を音楽字幕検出出現部分２３０（ｔ_３１）として、音楽検出区間１００の開始時間を補正し、音楽字幕検出部分２３２の終了位置を音楽字幕検出消失部分２３１（ｔ_３３）として、音楽検出区間１００の終了時間を補正する。

図１１は、本発明の第４の実施の形態に係る字幕・テロップ検出部および音楽区間補正部の動作を示すフローチャートである。

まず、字幕・テロップ検出部２３に音楽検出区間１００の開始位置（ｔ_３２）と終了位置（ｔ_３４）それぞれの前後、例えば前後１０秒間の字幕情報５０を入力する（Ｓ６０）。次に、字幕・テロップ検出部２３は、字幕情報５０を監視する（Ｓ６１）。監視の結果、特定の文字列が抽出される部分を音楽字幕検出部分２３２（ｔ_３１〜ｔ_３３）として検出する（Ｓ６２）。

次に、音楽区間補正部２０は、字幕・テロップ検出部２３が検出した音楽字幕検出部分２３２の開始位置、つまり、音楽字幕検出出現部分２３０（ｔ_３１）に音楽検出区間１００の開始位置を補正する（Ｓ６３）。次に、音楽区間補正部２０は、字幕・テロップ検出部２３が検出した音楽字幕検出部分２３２の終了位置、つまり、音楽字幕検出消失部分２３１（ｔ_３３）に音楽検出区間１００の終了位置を補正する（Ｓ６５）。次に、補正した音楽検出区間１００（ｔ_３１〜ｔ_３３）について音楽区間情報７０を出力する（Ｓ６５）。

（第４の実施の形態の効果）
上記した第４の実施の形態によると、音楽区間補正部２０は、音楽字幕検出部分２３２に基づいて、音楽区間検出部１０が検出した音楽検出区間１００の開始位置および終了位置を補正する。音楽区間において歌詞が表示されたり、タイトルや作詞／作曲者名が表示されたりするような音楽番組等を録画した録画情報において、音楽字幕検出部分２３２に音楽検出区間１００を補正することで、高い確率で音楽区間の検出精度を向上することができる。

なお、音楽字幕検出部分２３２の検出は、字幕情報５０を解析する他、映像情報４０に含まれるテロップ等を文字解析して検出してもよい。

本発明の第１の実施の形態に係る音楽検出装置の構成を示す概略図である。本発明の第１の実施の形態に係る音楽検出装置の動作を示す概略図である。本発明の第１の実施の形態に係る音楽区間検出部の動作を示すフローチャートである。本発明の第１の実施の形態に係る音量解析部および音楽区間補正部の動作を示すフローチャートである。本発明の第２の実施の形態に係る音楽検出装置の動作を示す概略図である。本発明の第２の実施の形態に係る映像解析部の動作を示すフローチャートである。本発明の第２の実施の形態に係る音楽区間補正部の動作を示すフローチャートである。本発明の第３の実施の形態に係る音楽検出装置の動作を示す概略図である。本発明の第３の実施の形態に係る映像解析部および音楽区間補正部の動作を示すフローチャートである。本発明の第４の実施の形態に係る音楽検出装置の動作を示す概略図である。本発明の第４の実施の形態に係る字幕・テロップ検出部および音楽区間補正部の動作を示すフローチャートである。

符号の説明

１…音楽検出装置、１０…音楽区間検出部、２０…音楽区間補正部、２１…音量解析部、２２…映像解析部、２３…字幕・テロップ検出部、３０…音声情報、４０…映像情報、５０…字幕情報、６０…録画情報、７０…音楽区間情報、１００…音楽検出区間、２１０…無音検出部分、２１０ａ…無音部分、２２０…トーク検出部分、２２１…変化部分、２２２…映像切替検出部分、２３０…音楽字幕検出出現部分、２３１…音楽字幕検出消失部分、２３２…音楽字幕検出部分

Claims

処理対象情報に含まれる音声情報に基づき、前記処理対象情報中の音楽区間を検出する音楽区間検出部と、
前記音声情報中の無音部分を検出する音量解析部と、
前記処理対象情報に含まれる映像情報に基づき、前記処理対象情報中のトーク部分を検出する映像解析部と、
前記音楽区間の開始位置付近の前記無音部分のうち前記トーク部分に属さない無音部分で前記開始位置に最も近い前記無音部分を新たな開始位置とし、前記音楽区間の終了位置付近の前記無音部分のうち前記トーク部分に属さない無音部分で前記終了位置に最も近い前記無音部分を新たな終了位置として、前記音楽区間を補正する音楽区間補正部とを有することを特徴とする音楽検出装置。
前記映像解析部は、前記映像情報から定期的に静止画を取得し、前記静止画の出現規則に基づいて前記トーク部分を検出することを特徴とする請求項１に記載の音楽検出装置。
前記映像解析部は、前記処理対象情報に含まれる映像情報に基づき、前記処理対象情報中の映像変化部分を検出し、
前記音楽区間補正部は、前記音楽区間の開始位置に最も近い前記映像変化部分を新たな開始位置とし、前記音楽区間の終了位置に最も近い前記映像変化部分を新たな終了位置として、前記音楽区間を補正することを特徴とする請求項１に記載の音楽検出装置。
前記映像解析部は、前記映像情報の色相および輝度の少なくとも１つを取得して、前記色相および前記輝度の少なくとも１つに基づいて前記映像変化部分を検出することを特徴とする請求項３に記載の音楽検出装置。
前記処理対象情報に含まれる字幕情報に基づき、前記処理対象情報中の音楽字幕部分を検出する字幕検出部をさらに有し、
前記音楽区間補正部は、前記音楽区間の開始位置付近の前記音楽字幕部分の出現部分を新たな開始位置とし、前記音楽区間の終了位置付近の前記音楽字幕部分の消失部分を新たな終了位置として、前記音楽区間を補正することを特徴とする請求項１に記載の音楽検出装置。
前記字幕検出部は、前記字幕情報から特定の文字列を抽出した場合に、前記音楽字幕部分を検出することを特徴とする請求項５に記載の音楽検出装置。
前記字幕検出部は、前記処理対象情報に含まれる映像情報のテロップから前記音楽字幕部分を検出することを特徴とする請求項５に記載の音楽検出装置。