JP3569104B2

JP3569104B2 - 音情報処理方法および装置

Info

Publication number: JP3569104B2
Application number: JP11540897A
Authority: JP
Inventors: 憲一南; 明人阿久津; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-05-06
Filing date: 1997-05-06
Publication date: 2004-09-22
Anticipated expiration: 2017-05-06
Also published as: JPH10307580A

Description

【０００１】
【発明の属する技術分野】
本発明は、音楽情報検索の効率化を図った音楽検索方法および装置に関する。
【０００２】
【従来の技術】
音楽情報を検索する際には、曲名、作詩・作曲者名、歌手名といったキーワードを用いる方法があるが、キーワードの付与を自動的に行うことは難しく、大量の情報を扱う場合にはデータベースの構築に多大な労力を要する。また、曲名等が不明な場合の検索が不可能である。
【０００３】
このような問題を解決するために、音楽の旋律情報を手がかりとして検索方法が報告されており、パーソナルコンピュータのキーボードを鍵盤楽器に見立て、旋律を入力するもの（石塚ら：“パーソナルコンピュータによる音楽情報検索システムの開発１．旋律検索”、図書館情報大学研究報告、Ｖｏｌ．６，Ｎｏ．１，ｐｐ．９５−１０５，１９８７）や、曲を口ずさみ、そのピッチを旋律として入力するもの（“蔭山ら：ハミング歌唱を手掛かりとするメロディ検索、電子情報通信学会論文誌、Ｄ−ＩＩ，Ｖｏｌ．Ｊ７７．Ｎｏ．８，ｐｐ．１５４３−１５５１，１９９４）がある。入力と音楽データベースとの整合には、旋律情報の動的プログラミング（ＤＰ）を行う方法を用いている。
【０００４】
【発明の解決しようとする課題】
日常生活において音楽の情報を得る機会は、テレビ放送による場合が少なくない。繰り返し流れる音楽を聞いているうちにその曲に対する印象を持つようになり、視聴の欲求を喚起する場合がある。しかし、うろ覚えのメロディ（旋律）程度の情報しか持たない場合には旋律の入力が困難であり、所望の音楽を特定することは難しい。更にテレビ放送では、音楽に会話やナレーションなどの音声が重なる場合が多いため、旋律を自動的かつ正確に検出できる対象は限定されてしまう。また、旋律を用いる方法では、同じ曲であっても旋律の時間的な変化が異なる場合に対処するために、時間方向のずれを許容するようなＤＰが必要であり、計算コストを増加させる原因となっている。
【０００５】
本発明の目的は、音情報の音楽のみの区間について拍子を測定し、大局的な類似性で測定対象を絞り込んだ後、周波数スペクトルの相関を用いて効率的に音楽の整合および検索が可能にすることにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために本発明の請求項１記載の音楽検索方法は、音楽および／または音楽以外の音からなる音情報と、当該音情報を伴う映像情報と、当該音情報を伴わない映像情報とが音・映像入力信号として入力される音・映像入力部をそなえると共に、当該音・映像入力部に入力された音・映像入力情報の中から音楽が含まれる区間を検出する音楽検出部をそなえ、かつ当該音楽検出部を経て蓄積された個々の音楽についての相互間の類似度を測定する類似度測定部を少なくともそなえる音楽検出装置における音楽検索方法であって、
音情報がアナログの場合あるいは音情報を伴う映像情報がアナログの場合にはＡ／Ｄ変換し、音情報あるいは音情報を伴う映像情報がディジタルの場合にはそのまま入力する音・映像入力段階と、
入力された音・映像入力信号からの音情報にもとづいて音楽が含まれる区間を検出する音楽検出段階と、
該音情報から音楽以外の音が含まれる区間を検出する背景音検出段階と、
音楽が含まれる区間の音情報、および当該音情報中に音楽のみが含まれる区間の開始／終了点、および前記音・映像入力信号中に映像情報が存在する場合には当該映像情報中に音楽が含まれている区間の映像情報および当該音楽が含まれている区間の音情報を蓄積する音楽・映像蓄積段階と、
蓄積された個々の音楽同士の類似度を測定する類似度測定段階と、
類似度の高い音楽を、前記音・映像入力信号中での発生頻度順に表示する音楽表示段階と、
を有することを特徴とする。
【０００７】
また、本発明の請求項２記載の音楽検索方法は、音楽検出段階において、該音情報を周波数解析した際のスペクトルのピークが周波数方向に時間的に安定していることを利用して音楽を検出して音楽が含まれる区間を検出することを特徴とする。
【０００８】
また、本発明の請求項３記載の音楽検索方法は、背景音検出段階において、くし形フィルタを用いて音声の有声音に含まれる調波構造を検出し、背景音の１つである音声を検出して音楽以外の音が含まれる区間を検出することを特徴とする。
【０００９】
また、本発明の請求項４記載の音楽検索方法は、背景音検出段階において、入力された音情報から得られた周波数ケプストラム係数と符号帳とのユークリッド距離が近いものを背景音として検出して音楽以外の音が含まれる区間を検出することを特徴とする。
【００１０】
また、本発明の請求項５記載の音楽検索方法は、類似度測定段階において、蓄積された音情報の音楽が含まれる区間における周波数スペクトルパワーの立ち上がり周期から音楽の拍子を測定し、同等の拍子を持つものだけを、前記蓄積された個々の音楽同士の類似度を測定する測定対象とすることを特徴とする。
【００１１】
また、本発明の請求項６記載の音楽検索方法は、類似度測定段階において、蓄積された音情報の音楽が含まれる区間における周波数スペクトルの相互相関から、あるいは前記音情報の音楽が含まれる区間の自己相関から得られたピッチの変化パターンの相互相関から、前記蓄積された個々の音情報同士の類似度を測定することを特徴とする。
【００１２】
また、本発明の請求項７記載の音楽検索方法は、音楽表示段階において、類似度の高い音楽を順にアイコンで表示するようにし、かつ音・映像入力信号が音情報を伴う映像情報である場合には音楽の開始点に対応する画像をアイコンとして表示することを特徴とする。
【００１３】
さらに、情報目的を達成するために本発明の請求項８記載の音楽検索装置は、音楽および／または音楽以外の音からなる音情報と、当該音情報を伴う映像情報と、当該音情報を伴わない映像情報とが音・映像入力信号として入力され、当該音・映像入力信号の中から同じ種類の音楽を識別し所望の音楽を検索する音楽検索装置であって、
音情報がアナログの場合あるいは音情報を伴う映像情報がアナログの場合にはＡ／Ｄ変換し、音情報あるいは音情報を伴う映像情報がディジタルの場合にはそのまま入力する音・映像入力部と、
入力された音・映像入力信号からの音情報にもとづいて音楽が含まれる区間を検出する音楽検出部と、
該音情報から音楽以外の音が含まれる区間を検出する背景音検出部と、
音楽が含まれる区間の音情報、および当該音情報中に音楽のみが含まれる区間の開始／終了点、および前記音・映像入力信号中に映像情報が存在する場合には当該映像情報中に音楽が含まれる区間の映像情報および当該音楽が含まれている区間の音情報を蓄積する音楽・映像蓄積部と、
蓄積された個々の音楽同士の類似度を測定する類似度測定部と、
類似度の高い音楽を、前記音・映像入力信号中での発生頻度順に表示する音楽表示部と、
を具備することを特徴とする。
【００１４】
また、本発明の請求項９記載の音楽検索装置は、音楽検出部において、音情報を周波数解析した際のスペクトルのピークが周波数方向に時間的に安定していることを利用して音楽を検出して音楽が含まれる区間を検出することを特徴とする。
【００１５】
また、本発明の請求項１０記載の音楽検索装置は、背景音検出部において、くし形フィルタを用いて音声の有声音に含まれる調波構造を検出し、背景音の１つである音声を検出して音楽以外の音が含まれる区間を検出することを特徴とする。
【００１６】
また、本発明の請求項１１記載の音楽検索装置は、背景音検出部において、入力された音情報から得られた周波数ケプストラム係数と符号帳とのユークリッド距離が近いものを背景音として検出して音楽以外の音が含まれる区間を検出することを特徴とする。
【００１７】
また、本発明の請求項１２記載の音楽検索装置は、類似度測定部において、蓄積された音情報の音楽が含まれる区間における周波数スペクトルパワーの立ち上がり周期から音楽の拍子を測定し、同等の拍子を持つものだけを類似度の測定対象とすることを特徴とする。
【００１８】
また、本発明の請求項１３記載の音楽検索装置は、類似度測定部において、蓄積された音情報の音楽が含まれる区間における周波数スペクトルの相互相関から、あるいは前記音情報の音楽が含まれる区間の自己相関から得られたピッチの変化パターンの相互相関から、前記蓄積された個々の音情報同士の類似度を測定することを特徴とする。
【００１９】
また、本発明の請求項１４記載の音楽検索装置は、音楽表示部において、類似度の高い音楽を順にアイコンで表示するようにし、かつ音・映像入力信号が音情報を伴う映像情報である場合には音楽の開始点に対応する画像をアイコンとして表示することを特徴とする。
【００２０】
請求項１および８記載の音楽検索方法および装置は、音情報がアナログの場合あるいは音情報を伴う映像情報がアナログの場合にはＡ／Ｄ変換し、音情報あるいは音情報を伴う映像情報がディジタルの場合にはそのまま入力し、入力された音・映像入力信号からの音情報にもとづいて音楽が含まれる区間を検出し、音情報から音楽以外の音が含まれる区間を検出し、音楽が含まれる区間の音情報、および当該音情報中に音楽のみが含まれる区間の開始／終了点、および前記音・映像入力信号中に映像情報が存在する場合には当該映像情報中に音楽が含まれる区間の映像情報および当該音楽が含まれている区間の音情報を蓄積し、蓄積された個々の音楽同士の類似度を測定し、類似度の高い音楽を、前記音・映像入力信号中での発生頻度順に表示することにより、繰り返し入力される音楽を発生頻度に基づいて検索することが可能となる。
【００２１】
請求項２および９記載の音楽検索方法および装置は、音情報を周波数解析した際のスペクトルのピークが周波数方向に時間的に安定していることを利用することにより音楽を検出して音楽が含まれる区間を検出することが可能となる。
【００２２】
請求項３および１０記載の音楽検索方法および装置は、くし形フィルタを用いて音声の有声音に含まれる調波構造を検出することにより背景音の１つである音声を検出して音楽以外の音が含まれる区間を検出することが可能となる。
【００２３】
請求項４および１１記載の音楽検索方法および装置は、入力された音情報から得られた周波数ケプストラム係数と符号帳とのユークリッド距離を算出することにより距離が近いものを背景音として検出して音楽以外の音が含まれる区間を検出することが可能となる。
【００２４】
請求項５および１２記載の音楽検索方法および装置は、蓄積された音情報の音楽が含まれる区間における周波数スペクトルパワーの立ち上がり周期から音楽の拍子を測定し、同等の拍子を持つものだけを、前記蓄積された個々の音楽同士の類似度を測定する測定対象とすることにより検索対象の絞り込みが可能となる。
【００２５】
請求項６および１３記載の音楽検索方法および装置は、蓄積された音情報の音楽が含まれる区間における周波数スペクトルの相互相関から、あるいは前記音情報の音楽が含まれる区間の自己相関から得られたピッチの変化パターンの相互相関から、前記蓄積された個々の音情報同士の類似度を測定することが可能となる。
【００２６】
請求項７および１４記載の音楽検索方法および装置は、類似度の高い音楽を順にアイコンで表示するようにし、かつ音・映像入力信号が音情報を伴う映像情報である場合には音楽の開始点に対応する画像をアイコンとして表示することが可能となる。
【００２７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
図１は本発明の一実施形態の音楽検索装置の概略構成を示すブロック図である。本実施形態の音楽検索装置は、音・映像入力信号が入力される音・映像入力部１０１と、入力された音情報から音楽を検出する音楽検出部１０２と、音楽以外の音を検出する背景音検出部１０３と、音楽のみが存在する区間の音楽同士の類似度を測定する類似度測定部１０４と、類似度の高い音楽を頻度順に表示し、指定された音楽を再生する音楽表示部１０５と、検出された音楽、映像、音楽のみが含まれる区間の開始／終了点を蓄積する音楽・映像蓄積部１０６とから構成されている。また、再生時に音楽あるいは映像を高速に読み出すため、音楽・映像蓄積部１０６と音楽表示部１０５とは、高速なバスで接続されている。
【００２８】
図２は音楽と背景音との物理的な性質の差異を説明する図である。音楽のような周期性のある信号のスペクトラムは、図２（ａ）に示す如く多くの特定の周波数において急峻に立ち上がるピークをもつものとなる。また逆に、背景音の場合には、そのスペクトラムは、図２（ｂ）に示す如く所定の周波数帯域内で拡がりをもちかつ特定の周波数において小さいピークをもつものとなる。
【００２９】
図２（ａ）に示すようなスペクトラムをもつ信号と図２（ｂ）に示すようなスペクトラムをもつ信号との夫々のケプストラム係数をとると、図２（ａ）の場合のスペクトル包絡や図２（ｂ）の場合のスペクトル包絡を近似的に表現する値となることから、両者の特徴の違いを定量的に評価することができる。
【００３０】
なおケプストラム係数は、処理対象の信号についてフーリエ変換をとり、それの対数値を計算し、その上で逆フーリエ変換をとる処理を行うことによって得られる。なお上記フーリエ変換の代わりに線形予測法を用いることもできる。
【００３１】
図３は本発明の一実施形態の処理の流れを示すフローチャートである。本発明をソフトウェアで実現した場合でも同様の処理の流れとなる。
まず、入力された音情報を処理２０１においてフーリエ変換し、パワースペクトルを算出する。次にパワースペクトルの周波数方向の微分値を取ることによりパワースペクトルのピークの位置を算出し、数秒間の平均持続時間ＰＴを処理２０２において算出する。
【００３２】
図４は音楽におけるスペクトルピークの持続性を説明する図である。
音楽のサウンドスペクトログラムにおいて夫々の周波数毎の音圧の高い所即ち夫々の周波数でのピークが時間的にどのように持続するかを模式的に表すと、図４に示す如きものとなる。図４において、横軸は時間ｔであり、縦軸は周波数ｆであり、個々の周波数毎に音圧の高い所（ピーク）が持続している状況が図示の水平方向の実線で表現されている。
【００３３】
この実線の長さ（時間的な長さ）が大である程、当該ピークの持続時間が大きいことを表している。したがって、図４に示す如く所定の時間間隔の窓を考えて、当該窓の中において、図示の実線の長さの平均値（平均持続時間ＰＴ）をとると、当該平均値の大きい窓の所では音楽が含まれているものと判断される。
【００３４】
平均持続時間ＰＴが閾値ＴＨ１を越えた場合に入力された音情報に音楽が含まれると判断し、音情報の蓄積を開始し、また入力に映像がある場合にはその映像をも蓄積を開始する（処理２０３）。平均持続時間ＰＴが閾値以下の場合には、処理２１１において蓄積を終了する。
【００３５】
次にくし形フィルタの出力ＣＲを処理２０４において算出する。くし形フィルタは、周波数方向に等間隔に配置された複数の帯域フィルタであるので、声に含まれる調波構造を検出することで人の声を検出することが可能である。
【００３６】
調波構造は音楽においても観測されるため、くし形フィルタは、音楽のスペクトル成分を除去した後に適用される。処理２０２において算出されたパワースペクトルのピークのうち、周波数方向の時間的な変動が少ないものの値を強制的に零とし、その周囲のスペクトルの値を用いて零にされたスペクトルの値を補完するようにする。音声のスペクトルは時間的な変動が激しいので保存されることになる。
【００３７】
複数の帯域フィルタの夫々の出力の和である出力ＣＲが閾値ＴＨ２以上の時、音情報に声が存在すると判断され、背景音の存在する期間が開始したとして処理２１０において背景音開始点を蓄積する。ＣＲが閾値ＴＨ２以下の場合には、一般には音楽の存在する期間に当たるものであるがなお背景音が含まれることがある。このために雑踏等様々な背景音を学習データとして用いて予め生成されたコードブック（符号帳）と入力された音情報のスペクトルの特徴量とのユークリッド距離ＥＤを処理２０５において算出する。特徴量には、周波数ケプストラム等を用いる。
【００３８】
ＥＤが閾値ＴＨ３以上の場合には、背景音の存在する期間とみて背景音開始点を処理２１０において蓄積し、閾値以下の場合には、背景音終了点を処理２０６において蓄積する。
【００３９】
このようにして入力が終わった後は、いわば音楽のみの期間について当該音楽の期間の抽出が終了する。次いで、蓄積された音楽の音楽のみの部分を用いて拍子の測定を処理２０７において行う。拍子の測定に当たっては、スペクトルの急激な立ち上がりを検出し自己相関係数を求めることによって行う。
【００４０】
次いで各々の音楽を数段階の拍子レベルに分類し、同じレベルに属するものを対象にして類似度を測定する（処理２０８）。類似度の測定には、一方のスペクトルと、もう一方のスペクトルの相互相関係数を求めることにより行う。また、音楽のピッチを検出してその変化のパターンの相関係数を求めることにより行うことも可能である。相関係数の算出過程においては、自乗誤差が大きくなった場合に計算を打ち切り、処理時間を低減するＳＳＤＡ法等を併用する。相関が高い音楽の区間の数を頻度とし、頻度の高い順に音楽区間に対応する映像を静止画像のアイコンとして処理２０９において表示する。
【００４１】
【発明の効果】
（１）請求項１および８の発明は、入力情報を必要に応じてＡ／Ｄ変換し、入力された音情報から音楽が含まれる区間を検出し、音情報から音楽以外の音が含まれる区間を検出し、音楽が含まれる区間の音情報ならびに映像情報、および音楽のみが含まれる区間の開始／終了点を蓄積し、蓄積された音楽の類似度を測定し、類似度の高い音楽を発生頻度順に表示することにより、繰り返し入力される音楽を発生頻度に基づいて検索することができる。
（２）請求項２および９の記載の発明は、音情報を周波数解析した際のスペクトルのピークが周波数方向に時間的に安定していることを利用することにより音楽を検出することができる。
（３）請求項３および１０の発明は、くし形フィルタを用いて音声の有声音に含まれる調波構造を検出することにより背景音の１つである音声を検出することができる。
（４）請求項４および１１の記載の発明は、入力された音情報から得られた周波数ケプストラム係数と符号帳とのユークリッド距離を算出することにより距離が近いものを背景音として検出することができる。
（５）請求項５および１２の記載の発明は、蓄積された音情報の音楽のみが含まれる区間における周波数スペクトルパワーの立ち上がり周期から音楽の拍子を測定し、同等の拍子を持つものだけを類似度の測定対象とすることにより検索対象の絞り込みができる。
（６）請求項６および１３の記載の発明は、蓄積された音情報の音楽のみが含まれる区間における周波数スペクトルの相互相関から、あるいは前記音情報の音楽のみが含まれる区間の自己相関から得られたピッチの変化パターンの相互相関を用いることにより蓄積された音情報同士の類似度を測定することができる。
（７）請求項７および１４の記載の発明は、類似度の高い音楽を順にアイコンで表示するようにし、かつ入力が映像の場合には音楽開始点に対応する画像をアイコンとして表示することにより視覚的に音楽を選択・再生することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の音楽検索装置の概略構成を示すブロック図である。
【図２】音楽と背景音との物理的な性質の差異を説明する図である。
【図３】本発明の一実施形態の処理の流れを示すフローチャートである。
【図４】音楽におけるスペクトルピークの持続性を説明する図である。
【図５】本発明の一実施形態の音楽検索装置の音楽表示部の外観を示す図である。
【符号の説明】
１０１音・映像入力部
１０２音楽検出部
１０３背景音検出部
１０４類似度測定部
１０５音楽表示部
１０６音楽・映像蓄積部
２０１ＦＦＴ処理
２０２ピーク持続時間算出処理
２０３音・映像蓄積開始処理
２０４くし形フィルタ適用処理
２０５ユークリッド距離算出処理
２０６背景音終了点蓄積処理
２０７拍子測定処理
２０８類似度測定処理
２０９音楽表示処理
２１０背景音開始点蓄積処理
２１１音・映像蓄積終了処理
３０１アイコン
３０２，３０３スクロールバー

Claims

映像情報を伴う音情報または映像情報を伴わない音情報を入力する音・映像入力段階と、
入力された音情報にもとづいて音楽が含まれる区間を検出する音楽検出段階と、
前記の音楽が含まれる区間の音情報から音楽以外の音が含まれる区間を検出する背景音検出段階と、
音楽が含まれる区間の音情報、および当該音情報中音楽のみが含まれる区間の開始／終了点、および音情報が映像情報を伴う場合には音楽が含まれている区間の映像情報を蓄積する音楽・映像蓄積段階と、
個々に蓄積された音楽が含まれる区間の音情報から、音楽のみが含まれる区間の音情報を音楽のみが含まれる区間の開始／終了点から抽出し、個々の音楽のみが含まれる区間の音情報同士の類似度を測定する類似度測定段階と、
類似度の高い音楽のみが含まれる区間の音情報の数が多い順に、個々の蓄積された音楽が含まれる区間の音情報に対応する表示情報を並べて表示する音楽表示段階と、
指定された表示情報に対応する音楽が含まれる区間の音情報を再生する音楽再生段階と
を有することを特徴とする音情報処理方法。
該音楽検出段階は、該音情報を周波数解析した際のスペクトルのピークが時間軸方向に一定時間安定している区間を音楽が含まれる区間として検出することを特徴とする請求項１記載の音情報処理方法。
該背景音検出段階は、くし型フィルタを用いて背景音の１つである音声を検出して音楽以外の音が含まれる区間を検出することを特徴とする請求項１または２記載の音情報処理方法。
該背景音検出段階は、音楽および音声以外の音情報の周波数ケプストラム係数を学習データとして用いて予め作成された符号帳と、入力された音情報から得られた周波数ケプストラム係数とのユークリッド距離が近いものを背景音として検出して音楽以外の音が含まれる区間を検出することを特徴とする請求項１、２または３記載の音情報処理方法。
該類似度測定段階は、前記蓄積された音楽のみが含まれる区間の音情報における周波数スペクトルパワーの立ち上がり周期から音楽の拍子を測定し、同等の拍子を持つものだけを、前記蓄積された個々の音楽のみが含まれる区間の音情報同士の類似度を測定する測定対象とすることを特徴とする請求項１、２、３または４記載の音情報処理方法。
該類似度測定段階は、前記蓄積された音楽のみが含まれる区間の音情報における周波数スペクトルの相互相関から、あるいは前記音楽のみが含まれる区間の音情報の自己相関から得られたピッチの変化パターンの相互相関から、前記蓄積された個々の音楽のみが含まれる区間の音情報同士の類似度を測定することを特徴とする請求項１、２、３、４または５記載の音情報処理方法。
該音楽表示段階は、類似度の高い音楽のみが含まれる区間を順にアイコンで表示するようにし、かつ音情報が映像情報を伴う場合には音楽が含まれる区間の開始点に対応する画像をアイコンとして表示することを特徴とする請求項１、２、３、４、５または６記載の音情報処理方法。
映像情報を伴う音情報または映像情報を伴わない音情報を入力する音・映像入力部と、
入力された音情報にもとづいて音楽が含まれる区間を検出する音楽検出部と、
前記の音楽が含まれる区間の音情報から音楽以外の音が含まれる区間を検出する背景音検出部と、
音楽が含まれる区間の音情報、および当該音情報中音楽のみが含まれる区間の開始／終了点、および音情報が映像情報を伴う場合には音楽が含まれている区間の映像情報を蓄積する音楽・映像蓄積部と、
個々に蓄積された音楽が含まれる区間の音情報から、音楽のみが含まれる区間の音情報を音楽のみが含まれる区間の開始／終了点から抽出し、個々の音楽のみが含まれる区間の音情報同士の類似度を測定する類似度測定部と、
類似度の高い音楽のみが含まれる区間の音情報の数が多い順に、個々の蓄積された音楽が含まれる区間の音情報に対応する表示情報を並べて表示する音楽表示部と、
指定された表示情報に対応する音楽が含まれる区間の音情報を再生する音楽再生部と
を具備することを特徴とする音情報処理装置。
該音楽検出部は、該音情報を周波数解析した際のスペクトルのピークが時間軸方向に一定時間安定している区間を音楽が含まれる区間として検出することを特徴とする請求項8記載の音情報処理装置。
該背景音検出部は、くし形フィルタを用いて背景音の1つである音声を検出して音楽以外の音が含まれる区間を検出することを特徴とする請求項8または9記載の音情報処理装置。
該背景音検出部は、音楽および音声以外の音情報の周波数ケプストラム係数を学習データとして用いて予め作成された符号帳と、入力された音情報から得られた周波数ケプストラム係数とのユークリッド距離が近いものを背景音として検出して音楽以外の音が含まれる区間を検出することを特徴とする請求項８、９または１０記載の音情報処理装置。
該類似度測定部は、前記蓄積された音楽のみが含まれる区間の音情報における周波数スペクトルパワーの立ち上がり周期から音楽の拍子を測定し、同等の拍子を持つものだけを、前記蓄積された個々の音楽のみが含まれる区間の音情報同士の類似度を測定する測定対象とすることを特徴とする請求項請求項８、９、１０または１１記載の音情報処理装置。
該類似度測定部は、前記蓄積された音楽のみが含まれる区間の音情報における周波数スペクトルの相互相関から、あるいは前記音楽のみが含まれる区間の音情報の自己相関から得られたピッチの変化パターンの相互相関から、前記蓄積された個々の音楽のみが含まれる区間の音情報同士の類似度を測定することを特徴とする請求項８、９、１０、１１または１２記載の音情報処理装置。
該音楽表示部は、類似度の高い音楽のみが含まれる区間を順にアイコンで表示するようにし、かつ音情報が映像情報を伴う場合には音楽が含まれる区間の開始点に対応する画像をアイコンとして表示する
ことを特徴とする請求項８、９、１０、１１、１２または１３記載の音情報処理装置。