JP5413779B2 - 音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法 - Google Patents

音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法 Download PDF

Info

Publication number
JP5413779B2
JP5413779B2 JP2010144021A JP2010144021A JP5413779B2 JP 5413779 B2 JP5413779 B2 JP 5413779B2 JP 2010144021 A JP2010144021 A JP 2010144021A JP 2010144021 A JP2010144021 A JP 2010144021A JP 5413779 B2 JP5413779 B2 JP 5413779B2
Authority
JP
Japan
Prior art keywords
acoustic
uniqueness
data
similarity
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010144021A
Other languages
English (en)
Other versions
JP2012008793A (ja
Inventor
直之 神田
貴志 住吉
浩明 小窪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2010144021A priority Critical patent/JP5413779B2/ja
Publication of JP2012008793A publication Critical patent/JP2012008793A/ja
Application granted granted Critical
Publication of JP5413779B2 publication Critical patent/JP5413779B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、音響データに関連するデータベースを生成するシステムに関し、特に、音響データと当該音響データの独自性との関係を示すデータベースを生成するシステムに関する。
近年、デジタルデータが普及し、著作権保護の意識が高まっている。日本の特許庁では、従来は商標登録の対象外であった音響商標についても、商標登録を認めるか否かが検討されている。また、米国等では音響商標の商標登録が可能である。
音響商標の使用を所望する者は、音響商標の使用が登録音響商標の商標権を侵害するか否かを把握するために、例えば、使用する音響商標が登録音響商標と同一又は類似であるか否か、及び使用する音響商標が一般的に使用されているものであるか否かを把握することが重要となる。
従来、音響データベースに登録された音響データから、ユーザによって入力された音響データに類似する音響データを検索する音響検索システムが知られている(例えば、特許文献1参照)。
特許文献1に記載された音響検索システムは、音響データを特徴量系列に変換し、特徴量系列同士の距離をEarth Mover’s Distance法によって計算することによって、音響データ間の類似度を算出する。
なお、特徴量系列同士の距離を動的計画法を用いて高速に計算することは、当業者にとって周知である。
著作物である音響が記憶された音響データと、判定対象となる音響データとの類似度を算出し、算出された類似度が所定値以上であれば著作権侵害と判定し、判定結果を表示する著作権審査システムが知られている(例えば、特許文献2及び3参照)。なお、判定対象となる音響データは、ユーザによって与えられた音響データであってもよいし、記憶された音響データであってもよいし、放送された音響データであってもよいし、配信された音響データであってもよい。
また、不正著作物の検出に関して、入力された画像データの特徴量に基づいてネットワーク上のWebサイトから類似画像を検索し、検索結果を調査レポートとして通知する画像データの不正使用調査サービス提供システムが知られている(例えば、特許文献4及び5参照)。
特開2009−15535号公報 特開2001−75992号公報 特開2001−265779号公報 特開2005−38402号公報 特開2005−38403号公報
上記技術を利用すれば、ユーザが使用を所望する音響商標が他者の登録音響商標を侵害していないことを確認できる。しかしながら、これらの技術には以下の三つの課題がある。
課題1:音響商標として商標登録されていなくても、ある会社が独自に利用する音響データが多く存在すると考えられる。このような独自性を有する音響データを利用することは潜在的に他者の登録音響商標に係る商標権を侵害する可能性がある。しかしながら、従来技術ではこの登録音響商標ではなく独自性を有する音響データの存在を検出できない。さらに、従来技術では、どの音響データをどの会社が独自に使用しているかを示す情報を網羅的に登録したデータベースは存在せず、当該データベースの生成方法も知られていない。
課題2:従来技術では、ある音響データが他者の登録音響商標に係る商標権を侵害している可能性があるということを把握できるが、当該音響データを具体的にどのように修正すれば当該音響データと登録音響商標とが類似しなくなるかが把握できない。
課題3:従来技術では、音響データの一部が他者の登録音響商標に係る商標権を侵害する可能性がある場合には、音響データのすべてを再度作成しなければならなかった。
したがって、本発明は、音響データが独自性を有するか否かを示すデータベースを生成するシステムを提供すること、及び、類似する音響データが存在する場合に当該音響データを修正しやすいシステムを提供することを目的とする。
本発明の代表的な一例を示せば、音響データと当該音響データを使用する使用者の独自性との関係を示す音響−独自性データベースを生成する音響−独自性データベース生成システムにおいて、前記音響データと当該音響データを使用する使用者との関係を示す音響−使用者データベースを記憶し、前記音響−使用者データベースに登録された各音響データ間で類似する音響区間を抽出する共通音響抽出部と、前記音響−使用者データベースに基づいて、前記共通音響抽出部によって抽出された音響区間の音響データを使用する使用者の数を特定し、前記特定された使用者の数が所定値より小さい場合、当該音響区間に独自性が有ると判定する独自性判定部と、前記独自性判定部による判定の結果を前記音響−独自性データベースに登録する音響−独自性データベース生成部と、を備えることを特徴とする。
本発明によれば、音響データが独自性を有するか否かを示すデータベースを生成するシステムを提供でき、類似する音響データが存在する場合に当該音響データを修正しやすいシステムを提供できる。
本発明の第1の実施形態の計算機システムの構成を示すブロック図である。 本発明の第1の実施形態のサーバによって実行される音響−独自性データベース生成処理のフローチャートである。 本発明の第1の実施形態の音響−使用者データベースの説明図である。 本発明の第1の実施形態の音響−独自性データベースの説明図である。 本発明の第1の実施形態の検証対象の音響データの独自性検証処理のフローチャートである。 本発明の第1の実施形態の非類似メッセージの説明図である。 本発明の第1の実施形態の類似独自性無しメッセージの説明図である。 本発明の第1の実施形態の類似独自性有りメッセージの説明図である。 本発明の第1の実施形態の抑圧処理のフローチャートである。 本発明の第2の実施形態の音響−独自性データベース生成処理のフローチャートである。 本発明の第3の実施形態の検証対象の音響データの独自性検証処理のフローチャートである。 本発明の第4の実施形態の類似独自性有りメッセージの説明図である。
以下、本発明の実施形態を図1〜図12を用いて説明する。
(第1の実施形態)
以下、本発明の第1の実施形態を図1〜図9を用いて説明する。
図1は、本発明の第1の実施形態の計算機システムの構成を示すブロック図である。
本計算機システムは、サーバ101及びクライアント計算機104を備える。サーバ101とクライアント計算機104とはネットワーク106を介して説明されている。
サーバ101は、音響データに独自性があるか否かを示す音響−独自性データベース103を生成するとともに、音響−独自性データベース103を参照し、検証対象の音響データが他者の音響データに類似するか否かを判定する。
サーバ101は、音響−使用者データベース102、音響−独自性データベース103、音響特徴抽出手段110、共通音響抽出手段111、独自性判定手段112、及び、類似度計算手段113を備える。
音響−使用者データベース102は、音響データと当該音響データを使用する使用者との対応関係を示し、図3で詳細を説明する。
音響−独自性データベース103は、音響データを構成する音響区間のうち他の音響データと共通する音響区間(共通音響区間)に独自性があるか否かを示し、図4で詳細を説明する。
音響特徴抽出手段110、共通音響抽出手段111、独自性判定手段112、及び類似度計算手段113は、サーバ101の内部処理によって実現される構成である。
音響特徴抽出手段110は、音響の各構成要素の特徴量(音響特徴量)を抽出する。なお、音響の構成要素は、例えば、パワー、メロディ、音色、和声、及び音韻である。
共通音響抽出手段111は、音響特徴抽出手段110によって抽出された音響特徴量の自己相関を算出して、算出した自己相関が所定の値以上となる音響区間を抽出する。
独自性判定手段112は、共通音響抽出手段111によって抽出された音響区間に独自性があるか否かを判定する。独自性判定手段112の具体的な独自性の判定方法は、図2で詳細に説明する。
類似度計算手段113は、検証対象の音響データの音響特徴量と音響−独自性データベース103に登録された音響特徴量との類似度を計算することによって、検証対象の音響データが他者の音響データに類似するか否かを判定する。なお、類似度計算手段113の類似度計算方法は、図5で詳細に説明する。
クライアント計算機104は、音響データ蓄積装置105、音響特徴抽出手段114、情報提示手段115、及び音響抑圧手段116を備える。また、クライアント計算機104は、表示装置107、入力装置108、及び音声出力装置109に接続されている。
音響データ蓄積装置105は、検証対象となる音響データが記憶された記憶装置(HDD(Hard Disk Drive)等の)である。
なお、検証対象となる音響データは、例えば、ユーザによって入力装置108を介して入力装置を介して入力される。ユーザは、音声出力装置109から出力された音響、及び表示装置107に表示された音響を示す画面を確認しながら、検証対象となる音響データを入力してもよい。
音響特徴抽出手段114は、サーバ101に備わる音響特徴抽出手段110と同様に、音響特徴抽出手段114に記憶された音響データの各構成要素の音響特徴量を抽出する。
情報提示手段115は、検証対象の音響データが他者の音響データに類似するか否かの判定結果を示すメッセージをクライアント計算機104のユーザに提示する。なお、情報提示手段115が提示するメッセージは、図6〜図8で詳細に説明する。
音響抑圧手段116は、検証対象の音響データの構成要素のうち他者の音響データの構成要素に類似すると判定された構成要素が当該他者の音響データの構成要素との類似度が所定値以下になるように、類似度を抑圧する処理を実行する。なお、音響抑圧手段116の抑圧処理は、図9で詳細に説明する。
なお、クライアント計算機104は、少なくとも情報提示手段115を備え、表示装置107と接続されていればよく、他の構成はサーバ101が備えていてもよい。
図2は、本発明の第1の実施形態のサーバ101によって実行される音響−独自性データベース生成処理のフローチャートである。
音響−独自性データベース生成処理は、生成が容易な音響−使用者データベース102に基づいて、音響特徴量と独自性との関係を示す音響−独自性データベース103を自動的に生成する。
音響−独自性データベース生成処理を説明する前に、図3を用いて、音響−使用者データベース102について説明する。図3は、本発明の第1の実施形態の音響−使用者データベース102の説明図である。
音響−使用者データベース102は、ファイル名301及び使用者302を含む。
ファイル名301には、音響データのファイル名が登録される。使用者302には、ファイル名301に登録された音響データを使用する使用者の一意な識別子が登録される。
例えば、音響データがテレビコマーシャルの15秒間の音響データである場合には、ファイル名301には、当該テレビコマーシャルの音響データのファイル名が登録され、使用者302には、当該テレビコマーシャルの音響データを使用する会社名が登録される。
なお、音響−使用者データベース102は、音響−独自性データベース生成処理が実行される前に、サーバ101の管理者によって予め設定されているものとする。
図2に戻り、音響−独自性データベース生成処理について説明する。
音響−独自性データベース生成処理は、音響データの一つの構成要素が選択され、選択された構成要素に対して実行され、音響データのすべての構成要素に対して実行されるまで繰り返される(201、216)。
サーバ101は、ステップ201の処理で選択された構成要素の音響特徴量を抽出する(203)。ステップ203の処理は、音響−使用者データベース102に登録されたすべての音響データに対して実行されるまで繰り返される(202、204)。また、ステップ203の処理は、音響特徴抽出手段110によって実行される。
以下に、各構成要素(パワー、メロディ、音色、和声、及び音韻)についての音響特徴量の抽出方法について説明する。
まず、パワーの音響特徴量(パワー特徴量)の抽出方法について説明する。
処理対象となる構成要素としてパワーがステップ201の処理で選択された場合には、音響特徴抽出手段110は、フレーム長25ms及びフレーム周期10msの音響サンプルを音響データから抽出して、抽出された音響サンプルごとに、音響サンプルの振幅値を二乗した値(二乗値)を算出する。そして、音響特徴抽出手段110は、算出した二乗値をすべての音響サンプル分加算することによって、音響データのパワー特徴量を算出する。
次に、メロディの音響特徴量(メロディ特徴量)の抽出方法について説明する。
処理対象となる構成要素としてメロディがステップ201の処理で選択された場合には、音響特徴抽出手段110は、非特許文献1に記載された基本周波数を用いることによって、メロディ特徴量を抽出する。
基本周波数は、音響特徴抽出手段110が、所定の時刻Tを基準とした音響データの自己相関を計算し、自己相関の値が最大となる時刻と時刻Tとの差である時間tを算出し、1/tを計算することによって算出される。なお、音響特徴抽出手段110は、基本周波数を算出する際に用いる所定の時刻Tは任意の時刻であってもよい。なお、メロディ特徴量は、非特許文献2に記載された方法を用いても抽出できる。
次に、音色の音響特徴量(音色特徴量)の抽出方法について説明する。
処理対象となる構成要素として音色がステップ201の処理で選択された場合には、音響特徴抽出手段110は、非特許文献3に記載されたMFCC(Mel Frequency Cepstrum Coefficient)を用いることによって、音色特徴量を抽出する。なお、この方法については周知の方法であるため説明を省略する。
次に、和声の音響特徴量(和声特徴量)の抽出方法について説明する。
処理対象となる構成要素として和声がステップ201の処理で選択された場合には、音響特徴抽出手段110は、非特許文献4に記載されたクロマベクトルを用いることによって、和声特徴量を抽出する。
クロマベクトルは音響信号のパワースペクトルをオクターブごとに重ね合わせたもので、12音名をC(=1,2,・・・,12)として数式1によって表現される。
Figure 0005413779
F(C,f)は、周波数fが音名cのオクターブである場合には1であり、周波数fがcのオクターブでない場合には0であるフィルタの役割を果たす。ここで、周波数fがcのオクターブである場合とは、cの基準周波数をfcとして、所定のxに対して数式2が成立する状態を示す。また、P(f、t)は時刻t及び周波数fにおけるパワースペクトルの密度関数を示す。
Figure 0005413779
次に、音韻の音響特徴量(音韻特徴量)の抽出方法について説明する。
処理対象となる構成要素として音韻がステップ201の処理で選択された場合には、音響特徴抽出手段110は、例えば音響データの音響波形を音声認識した場合に取得される音素系列を利用することによって、音韻特徴量を抽出する。音声認識については非特許文献1に記載される。
Daniel Jurafsky et.al.著、Speech and Language Processing(2nd Edition)、Prentice Hall、2008 A.de Cheveigne et.al.著、YIN, a fundamental frequency estimator for speech and music、The Journal of the Acoustical Society of America 2002 Takenobu Tokunaga et.al.著、Large−Scale Knowledge Resources、Construction and Application、Springer 2008 M.A.Bartsch et.al.著、To Catch A Chorus:Using Chroma−Based Representations for Audio Thumbnailing、 Proc. WAS−PAA‘01,pp.15−18、2001 ステップ201の処理で選択された処理対象の構成要素の音響特徴量が音響−使用者データベース102に登録されたすべて音響データに対して抽出された場合には、サーバ101は、ステップ203の処理で抽出された音響特徴量の系列f1,f2,…,fNを縦列接続し、一つの音響特徴量の系列(F=(f1,f2,…,fN))に変換する(205)。そして、共通音響抽出手段111は、ステップ205の処理で変換された音響特徴量Fの自己相関を計算し、自己相関の値が所定の値以上となる音響区間を検出する(206)。ステップ206の処理は、音響−使用者データベース102に登録された音響データの類似する音響特徴量の音響区間を検出する処理である。
そして、独自性判定手段112は、ステップ206の処理で検出された音響区間から処理対象となる一つの音響区間を選択し、選択した処理対象の音響区間にステップ208〜210の処理を実行し、ステップ206の処理で検出されたすべての音響区間にステップ208〜210の処理が実行されるまで繰り返す(207、211)。
まず、独自性判定手段112は、処理対象の音響区間の使用者の異なり数が1であるか否か、つまり、当該音響区間が一人の使用者によって使用されているか、異なる複数の使用者によって使用されているかを判定する(208)。
ステップ208の処理について具体的に説明する。
まず、独自性判定手段112は、音響−使用者データベース102を参照し、処理対象の音響区間を含む音響データの使用者を特定し、処理対象の音響区間の使用者の異なり数を1とする。
そして、独自性判定手段112は、自己相関の値が処理対象の音響区間の自己相関の値から所定範囲内となる音響区間(類似音響区間)を抽出する。そして、独自性判定手段112は、音響−使用者データベース102を参照し、類似音響区間を含む音響データの使用者を特定する。
次に、独自性判定手段112は、処理対象の音響区間の使用者と類似音響区間の使用者とが異なる場合には、処理対象の音響区間の使用者の異なり数を使用者が異なる分だけ増加させる。独自性判定手段112は、特定された処理対象の音響区間の使用者と類似音響区間の使用者とが同一である場合には、処理対象の音響区間の使用者の異なり数を増加させない。
処理対象の音響区間の使用者数が1であるとステップ208の処理で判定された場合、つまり、当該音響区間が一人の使用者によって使用されていると判定された場合には、独自性判定手段112は、音響−独自性データベース103に、当該音響区間に独自性がある旨を登録する(209)。
一方、処理対象の音響区間の使用者数が2以上であるとステップ208の処理で判定された場合、つまり、当該音響区間が異なる複数の使用者によって使用されていると判定された場合には、独自性判定手段112は、音響−独自性データベース103に、当該音響区間に独自性がない旨を登録する(210)。
なお、ステップ208〜210の処理において、音響区間に独自性があるか否かを判定するための閾値として使用者の異なり数が1であるか否かを用いたが、当該使用者の異なり数の閾値は1に限られず、任意の値であればよい。
また、ステップ206の処理で検出された音響区間が多ければ多いほど音響区間に独自性があるか否かを判定するための閾値を大きくし、ステップ206の処理で検出された音響区間が少なければ少ないほど音響区間に独自性があるか否かを判定するための閾値を小さくしてもよい。
ここで、音響−独自性データベース103について、図4を用いて説明する。図4は、本発明の第1の実施形態の音響−独自性データベース103の説明図である。
音響−独自性データベース103は、ファイル名401、区間402、特徴量タイプ403、特徴量ファイル404、使用者405、及び独自性406を含む。
ファイル名401には、区間402に登録された音響区間を含む音響データのファイル名が登録される。区間402には、自己相関の値が所定値以上となった音響区間を示す時間情報が登録される。特徴量タイプ403には、区間402に登録された音響区間の構成要素を示す情報が登録される。特徴量ファイル404には、区間402に登録された音響区間の特徴量を示す値が登録される。使用者405には、区間402に登録された音響区間及び当該音響区間の類似音響区間の使用者の一意な識別子が登録される。独自性406には、区間402に登録された音響区間に独自性があるか否かを示す情報が登録される。
独自性判定手段112は、ステップ208及び209の処理では、音響−独自性データベース103のファイル名401、区間402、特徴量タイプ403、特徴量ファイル404、使用者405、及び独自性406に、処理対象の音響区間の対応する情報を登録する。
ステップ206の処理で検出されたすべての音響区間にステップ208〜210の処理が実行されると、独自性判定手段112は、自己相関の値が所定値よりも小さい音響区間を検出する(212)。
そして、独自性判定手段112は、ステップ212の処理で検出された音響区間から処理対象となる一つの音響区間を選択し、選択した処理対象の音響区間にステップ214の処理を実行し、ステップ212の処理で検出されたすべての音響区間にステップ214の処理が実行されるまで繰り返す(213、215)。
独自性判定手段112は、音響−独自性データベース103に、処理対象の音響区間に独自性がある旨を登録する(214)。
独自性判定手段112は、ステップ214の処理では、ステップ208及び209の処理と同じく、音響−独自性データベース103のファイル名401、区間402、特徴量タイプ403、特徴量ファイル404、使用者405、及び独自性406に、処理対象の音響区間の対応する情報を登録する。
ステップ212の処理で検出されたすべての音響区間にステップ214の処理が実行されると、サーバ101は、音響データのすべての構成要素に対してステップ202〜215の処理が実行されたか否かを判定し、音響データのすべての構成要素に対してステップ202〜215の処理が実行されていない場合には、ステップ201の処理に戻り他の構成要素に対してステップ202〜215の処理を実行し、音響データのすべての構成要素に対してステップ202〜215の処理が実行された場合には、音響−独自性データベース生成処理を終了する(216)。
以上の処理によって、音響−使用者データベース102から音響−独自性データベース103が生成される。
音響−独自性データベース103に登録されたエントリは、追加又は削除が可能であり、例えば、登録音響商標の音響データが音響−独自性データベース103のエントリに追加されてもよい。
図5は、本発明の第1の実施形態の検証対象の音響データの独自性検証処理のフローチャートである。
検証対象の音響データは、例えば、クライアント計算機104に備わる音響データ蓄積装置105に記憶された音響データのうちユーザによって指定された音響データである。
独自性検証処理は、ユーザによって指定された音響データ(検証対象の音響データ)の独自性を音響−独自性データベース103を用いて検証する処理であり、検証対象の音響データのどの構成要素が他者の音響データの構成要素と類似するかをユーザに提示する処理である。
なお、独自性検証処理は、検証対象の音響データの指定及び独自性検証処理の開始指令を入力装置108を介してクライアント計算機104が受け付けた場合に実行される。
まず、クライアント計算機104の音響特徴抽出手段114は、音響データ蓄積装置105に記憶された音響データのうち、検証対象となる音響データの各構成要素の音響特徴量を抽出する(501)。なお、ステップ501の処理の詳細は、図2のステップ203の処理と同じであるので、説明を省略する。
ステップ501の処理で、検証対象の音響データの各構成要素の音響特徴量が抽出されると、クライアント計算機104は、検証対象の音響データ、及び、ステップ501の処理で抽出された当該音響データの各構成要素の音響特徴量をサーバ101へ送信する。
なお、クライアント計算機104は、ユーザからの処理開始の指令を受け付けた場合に、検証対象の音響データを送信する構成であれば、ステップ501の処理を実行する必要はなく、サーバ101の音響特徴抽出手段110がステップ501の処理を実行すればよい。
サーバ101は、検証対象の音響データ及び当該音響データの音響特徴量を受信した場合に、検証対象の音響データの一つの構成要素を選択し、選択された構成要素に対してステップ503〜509の処理を実行し、検証対象の音響データのすべての構成要素に対してステップ503〜509の処理を実行するまで繰り返す(502、510)。
そして、サーバ101は、音響−独自性データベース103に登録された一の音響区間を選択し、当該音響区間の音響特徴量とステップ502の処理で選択された構成要素の音響特徴量とを検証する処理(ステップ504〜508)を、音響−独自性データベース103に登録されたすべての音響区間の音響特徴量に実行するまで繰り返す(503、509)。
まず、サーバ101の類似度計算手段113は、検証対象の音響データの構成要素のうち処理対象となる構成要素の任意の区間の音響特徴量(以下、音響特徴量Aという)と、ステップ503の処理で選択された音響−独自性データベース103の一の音響区間の音響特徴量(以下、音響特徴量Bという)との類似度を計算し、計算された類似度が所定値以上であるか否かを判定する(504)。類似度計算方法には、例えば動的計画方法を用いることができる。
ステップ504の処理で、音響特徴量Aと音響特徴量Bとの類似度が所定値未満であると判定された場合には、サーバ101は、ステップ502の処理で選択された構成要素の音響特徴量と音響−独自性データベース103に登録されたすべての音響区間の音響特徴量との検証が終了したか否かを判定し、ステップ502の処理で選択された構成要素の音響特徴量と音響−独自性データベース103に登録されたすべての音響区間の音響特徴量との検証が終了していない場合には、ステップ503の処理に戻り、ステップ502の処理で選択された構成要素の音響特徴量と音響−独自性データベース103に登録されたすべての音響区間の音響特徴量との検証が終了した場合には、ステップ510の処理に進む(509)。
ステップ510の処理では、サーバ101は、検証対象の音響データのすべての構成要素にステップ503〜509の処理が実行されたか否かを判定し、検証対象の音響データのすべての構成要素にステップ503〜509の処理が実行されていない場合には、ステップ502の処理に戻り、検証対象の音響データのすべての構成要素にステップ503〜509の処理が実行された場合には、ステップ511の処理に進む(510)。
サーバ101は、音響−独自性データベース103に登録された音響特徴量との類似度が閾値以上となる検証対象の音響データの構成要素が存在するか否かを判定する(511)。
ステップ511の処理で、音響−独自性データベース103に登録された音響特徴量との類似度が閾値以上となる検証対象の音響データの構成要素が存在しないと判定された場合には、検証対象の音響データは他者の音響データと非類似であるので、サーバ101は、検証対象の音響データは他者の音響データと非類似であることをクライアント計算機104に通知する。
クライアント計算機104は、検証対象の音響データは他者の音響データと非類似であることをサーバ101から通知されると、クライアント計算機104に備わる情報提示手段115は、検証対象の音響データが非類似である旨の非類似メッセージ600(図6参照)を表示装置107に表示する(512)。
一方、ステップ511の処理で、音響−独自性データベース103に登録された音響特徴量との類似度が閾値以上となる検証対象の音響データの構成要素が存在すると判定された場合には、クライアント計算機104は非類似メッセージ600を表示する必要はないので、独自性検証処理を終了する。
図6は、本発明の第1の実施形態の非類似メッセージ600の説明図である。
非類似メッセージ600は、図6に示すように、検証対象の音響データが他者の音響データと非類似である旨をユーザに提示する。
なお、ステップ511の処理では、検証対象の音響データは他者の音響データと非類似であることをサーバ101から通知された場合に、クライアント計算機104は非類似メッセージ600を表示するとしたが、何も表示しなくてもよい。
ステップ504の処理で、音響特徴量Aと音響特徴量Bとの類似度が所定値以上であると判定された場合には、サーバ101は、音響特徴量Bに独自性があるか否かを判定する(506)。
具体的には、サーバ101は、音響−独自性データベース103に登録されたエントリのうち、音響特徴量Bの音響区間を示すエントリの独自性406に「あり」が登録されているか否かを判定する。
ステップ506の処理で、音響特徴量Bの音響区間を示すエントリの独自性406に「あり」が登録されていないと判定された場合、つまり、音響特徴量Bに独自性がないと判定された場合には、サーバ101は、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がないことをクライアント計算機104に通知し、ステップ509の処理に進む。
クライアント計算機104は、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がないことをサーバ101から通知された場合には、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がない旨の類似独自性無しメッセージ700(図7参照)を表示装置107に表示する(507)。
図7は、本発明の第1の実施形態の類似独自性無しメッセージ700の説明図である。
類似独自性無しメッセージ700は、互いに類似する構成要素、互いに類似する音響特徴量の音響区間、及び、検査対象の音響データの音響特徴量と類似する他者の音響特徴量に独自性が無いことをユーザに提示する。
図7に示す類似独自性無しメッセージ700では、互いに類似する構成要素は「和声」で、互いに類似する音響特徴量の音響区間は、「音響データAの3.5秒から4.9秒」及び「001.wavの3.5秒から4.1秒」である。また、検査対象の音響データの音響特徴量と類似する他者の音響特徴量に独自性が無いことは、「多数の使用者が利用している」及び「著作権上の問題がないかを確認してください。」によってユーザに提示される。
また、類似独自性無しメッセージ700は、「問題箇所を抑圧する」と表示された抑圧ボタン701を含む。
抑圧ボタン701がクリックされると、クライアント計算機104は、検査対象の音響データの類似する構成要素の音響区間の音響特徴量の類似度が低下するように、当該音響特徴量を抑圧する抑圧処理を実行する。この抑圧処理については図9で詳細に説明する。
一方、ステップ506の処理で、音響特徴量Bの音響区間を示すエントリの独自性406に「あり」が登録されていると判定された場合、つまり、音響特徴量Bに独自性があると判定された場合には、サーバ101は、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性があることをクライアント計算機104に通知し、ステップ509の処理に進む。
クライアント計算機104は、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性があることをサーバ101から通知された場合には、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がある旨の類似独自性有りメッセージ800(図8参照)を表示装置107に表示する(508)。
図8は、本発明の第1の実施形態の類似独自性有りメッセージ800の説明図である。
類似独自性有りメッセージ800は、互いに類似する構成要素、互いに類似する音響特徴量の音響区間、及び、検査対象の音響データの音響特徴量と類似する他者の音響特徴量に独自性があることをユーザに提示する。
図8に示す類似独自性有りメッセージ800では、互いに類似する構成要素は「メロディ」で、互いに類似する音響特徴量の音響区間は、「音響データAの3.5秒から4.9秒」及び「002.wavの3.4秒から4.1秒」である。また、検査対象の音響データの音響特徴量と類似する他者の音響特徴量に独自性があることは、「使用者Bが独自に利用している」によってユーザに提示される。
また、類似独自性有りメッセージ800は、「問題箇所を抑圧する」と表示された抑圧ボタン801を含む。
なお、抑圧ボタン801がクリックされると、クライアント計算機104は、抑圧ボタン701がクリックされた場合と同じく、抑圧処理を実行する。
以上のように、独自性検証処理では、検証対象の音響データの類似する構成要素、類似する音響区間、及び、類似する音響区間の音響特徴量に独自性があるか否かを表示装置107に表示されるので、ユーザは、音響データのどの構成要素を修正すればよいのかが把握できる。
図9は、本発明の第1の実施形態の抑圧処理のフローチャートである。
抑圧処理は、ユーザによって指定された音響データAのある構成要素の音響区間(tstart…tend)の音響特徴量TAが他者の音響データBのある構成要素の音響特徴量TBと類似する場合に、音響特徴量TBと類似する音響特徴量TAを効果的に抑圧する処理である。抑圧処理は、音響特徴量TBの構成要素に合わせて効果的な抑圧方法を切り替える点、及び、音響特徴量TBと類似する音響特徴量TAの音響区間のみを適切に抑圧する点に特徴がある。
抑圧処理は、図7に示す類似独自性無しメッセージ700の抑圧ボタン701又は図8に示す類似独自性有りメッセージ800の抑圧ボタン801がクリックされた場合に、クライアント計算機104に備わる音響抑圧手段116によって実行される。
まず、音響抑圧手段116は、音響データAの構成要素のうち音響データBと類似する構成要素が音色であるか否かを判定する(901)。
ステップ901の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が音色でないと判定された場合には、ステップ903の処理に進む。
一方、ステップ901の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が音色であると判定された場合には、音響抑圧手段116は、当該音色を抑圧する処理を実行する(902)。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)の音色特徴量系列と音響データBの音色特徴量系列との類似度が最も高くなるように、音響区間(tstart…tend)を音響データBの音色特徴量系列に同期させる。この同期には、動的計画法を用いることができる。
そして、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出し、抽出した各音響サンプルの音色特徴系列を、当該各音響サンプルの時刻と同じ時刻の音響データBの音色特徴量に対して抑圧するためにフィルタする。これによって、音響データBと類似する音色のみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するために、あるサンプルをフィルタする方法は周知であるので、説明を省略する。
次に、音響抑圧手段116は、音響データAの構成要素のうち音響データBと類似する構成要素がメロディであるか否かを判定する(903)。
ステップ903の処理で、音響データAの構成要素のうち音響データBと類似する構成要素がメロディでないと判定された場合には、ステップ905の処理に進む。
一方、ステップ903の処理で、音響データAの構成要素のうち音響データBと類似する構成要素がメロディであると判定された場合には、音響抑圧手段116は、当該メロディを抑圧する処理を実行する(904)。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出する。そして、音響特徴抽出手段114は、抽出した各音響サンプルから基本周波数成分を抽出する。
次に、音響抑圧手段116は、音響特徴抽出手段114によって抽出された基本周波数成分のみを抑圧するために抽出した音響サンプルをフィルタする。これによって、音響抑圧手段116は、音響データBと類似するメロディのみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するためにあるサンプルをフィルタする方法は周知であるので、説明を省略する。
次に、音響抑圧手段116は、音響データAの構成要素のうち音響データBと類似する構成要素が和声であるか否かを判定する(905)。
ステップ905の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が和声でないと判定された場合には、ステップ907の処理に進む。
一方、ステップ905の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が和声であると判定された場合には、音響抑圧手段116は、当該和声を抑圧する処理を実行する(906)。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)の和声特徴量系列と音響データBの和声特徴量系列との類似度が最も高くなるように、音響区間(tstart…tend)を音響データBの和声特徴量系列に同期させる。この同期には、動的計画法を用いることができる。
そして、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出し、抽出した各音響サンプルの和声特徴系列を、当該各音響サンプルの時刻と同じ時刻の音響データBの和声特徴量に対して抑圧するためにフィルタする。これによって、音響データBと類似する和声のみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するためにあるサンプルをフィルタする方法は周知であるので、説明を省略する。
次に、音響抑圧手段116は、音響データAの構成要素のうち音響データBと類似する構成要素が音韻であるか否かを判定する(907)。
ステップ907の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が音韻でないと判定された場合には、ステップ909の処理に進む。
一方、ステップ907の処理で、音響データAの構成要素のうち音響データBと類似する構成要素が音韻であると判定された場合には、音響抑圧手段116は、当該音韻を抑圧する処理を実行する(908)。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)のスペクトル系列と音響データBのスペクトル系列との間のスペクトル間距離が最も小さくなるように、音響区間(tstart…tend)を音響データBのスペクトル系列に同期させる。この同期には、動的計画法を用いることができる。
そして、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出し、抽出した各音響サンプルのスペクトルを、当該各音響サンプルの時刻と同じ時刻の音響データBのスペクトルに対して抑圧するためにフィルタする。これによって、音響データBと類似する音韻のみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するためにあるサンプルをフィルタする方法は周知であるので、説明を省略する。
次に、音響抑圧手段116は、音響データの音響区間(tstart…tend)のスペクトルから、当該スペクトルの距離が最も近い音響データBの音響区間のスペクトルを減算し(909)、抑圧処理を終了する。
具体的には、音響抑圧手段116は、音響データAの音響区間(tstart…tend)のスペクトル系列と音響データBのスペクトル系列との間のスペクトル間距離が最も小さくなるように、音響区間(tstart…tend)を音響データBのスペクトル系列に同期させる。この同期には、動的計画法を用いることができる。
そして、音響抑圧手段116は、音響データAの音響区間(tstart…tend)から25ミリ秒単位の音響サンプルを10ミリ秒周期で抽出し、抽出した各音響サンプルのスペクトルを、当該各音響サンプルの時刻と同じ時刻の音響データBのスペクトルに対して抑圧するためにフィルタする。これによって、音響データBと類似する音響データAのスペクトル系列のみを効果的に抑圧できる。なお、特定の周波数成分のみを抑圧するためにあるサンプルをフィルタする方法は周知であるので、説明を省略する。
以上によって、音響データAの構成要素の音響区間のうち音響データBと類似する構成要素の音響区間のみを効果的に抑圧できる。
(第2の実施形態)
以下、本発明の第2の実施形態を図10を用いて説明する。
第2の実施形態は、第1の実施形態の図2に示す音響−独自性データベース生成処理の別実施形態である。
図10は、本発明の第2の実施形態の音響−独自性データベース生成処理のフローチャートである。
音響−独自性データベース生成処理は、音響データの一つの構成要素が選択され、選択された構成要素に対して実行され、音響データのすべての構成要素に対して実行されるまで繰り返される(1101、1117)。
サーバ101は、ステップ1101の処理で選択された構成要素の音響特徴量を抽出する(1103)。ステップ1103の処理は、音響−使用者データベース102に登録されたすべての音響データに対して実行されるまで繰り返される(1102、1104)。また、ステップ1103の処理は、音響特徴抽出手段110によって実行され、図2に示すステップ203の処理と同じなので、説明を省略する。
次に、サーバ101は、ステップ1102〜1104の処理で抽出された音響特徴量の構成要素ごとにステップ1106〜1115の処理を実行する。なお、サーバ101は、ステップ1106〜1115の処理を音響特徴量のすべての構成要素に対して実行する(1105、1116)。
まず、共通音響抽出手段111は、実行対象の構成要素の音響特徴量と他の構成要素の構成要素の音響特徴量との相互相関を計算し、相互相関の値が所定の値以上となる音響区間を検出する(1106)。
そして、独自性判定手段112は、ステップ1106の処理で検出された音響区間から処理対象となる一つの音響区間を選択し、選択した処理対象の音響区間にステップ1108〜1110の処理を実行し、ステップ1106の処理で検出されたすべての音響区間にステップ1108〜1110の処理が実行されるまで繰り返す(1107、1111)。
なお、ステップ1108〜1110の処理は、図2に示すステップ208〜210の処理と同じであるので説明を省略する。
ステップ206の処理で検出されたすべての音響区間にステップ1108〜1110の処理が実行されると、独自性判定手段112は、相互相関の値が所定値よりも小さい音響区間を検出する(1112)。
そして、独自性判定手段112は、ステップ1112の処理で検出された音響区間から処理対象となる一つの音響区間を選択し、選択した処理対象の音響区間にステップ1114の処理を実行し、ステップ1112の処理で検出されたすべての音響区間にステップ1114の処理が実行されるまで繰り返す(1113、1115)。
独自性判定手段112は、音響−独自性データベース103に、処理対象の音響区間に独自性がある旨を登録する(1114)。
なお、ステップ1114の処理は、図2に示すステップ214の処理と同じであるので説明を省略する。
ステップ1112の処理で検出されたすべての音響区間にステップ1114の処理が実行されると、サーバ101は、音響データのすべての構成要素に対してステップ1102〜1115の処理が実行されたか否かを判定し、音響データのすべての構成要素に対してステップ1102〜1115の処理が実行されていない場合には、ステップ201の処理に戻り他の構成要素に対してステップ1102〜1115の処理を実行し、音響データのすべての構成要素に対してステップ1102〜1115の処理が実行された場合には、音響−独自性データベース生成処理を終了する(1116)。
以上の処理によって、音響−使用者データベース102から音響−独自性データベース103が生成される。
(第3の実施形態)
以下、本発明の第3の実施形態を図11を用いて説明する。
第3の実施形態は、第1の実施形態の図5に示す独自性検証処理の別実施形態である。
図11は、本発明の第3の実施形態の検証対象の音響データの独自性検証処理のフローチャートである。
なお、第3の実施形態の独自性検証処理は、検証対象の音響データの指定及び独自性検証処理の開始指令をクライアント計算機104からサーバ101が受信した場合に実行される。
サーバ101に備わる類似度計算手段113は、検証対象の音響データの総類似度変数S[t]を用意する(1201)。ここで、変数tは離散時刻を示し、例えば、10ミリ秒ごとに1ずつ増加するものとする。検査対象の音響データの総時間を離散時刻Tとすると、類似度計算手段113は、時刻0から時刻Tまでの総類似度変数S[t]をすべて0に設定する。
また、検証対象の音響データの指定及び独自性検証処理の開始指令をクライアント計算機104が受け付けた場合には、クライアント計算機104に備わる音響特徴抽出手段114は、音響データ蓄積装置105に記憶された音響データのうち、検証対象となる音響データの各構成要素の音響特徴量を抽出する(1202)。なお、ステップ1202の処理の詳細は、図2のステップ203の処理と同じであるので、説明を省略する。
ステップ1202の処理で、検証対象の音響データの各構成要素の音響特徴量が抽出されると、クライアント計算機104は、ステップ1202の処理で抽出された当該音響データの各構成要素の音響特徴量をサーバ101へ送信する。
なお、クライアント計算機104は、ユーザからの処理開始の指令を受け付けた場合に、検証対象の音響データを送信する構成であれば、ステップ1202の処理を実行する必要はなく、サーバ101の音響特徴抽出手段110がステップ1202の処理を実行すればよい。
サーバ101は、検証対象の音響データの音響特徴量を受信した場合には、音響−独自性データベース103に登録された一の音響区間を選択し、選択した一の音響区間に対してステップ1204〜1217の処理を実行し、音響−独自性データベース103に登録されたすべての音響区間に対してステップ1204〜1217の処理を実行するまで繰り返す(1203、1218)。
そして、サーバ101は、検証対象の音響データの一つの構成要素を選択し、選択された構成要素に対してステップ1205及び1206の処理を実行し、検証対象の音響データのすべての構成要素に対してステップ1205及び1206の処理を実行するまで繰り返す(1204、1207)。
まず、サーバ101に備わる類似度計算手段113は、検証対象の構成要素の音響特徴量(音響特徴量A)と音響−独自性データベース103に登録された音響特徴量(音響特徴量B)との類似度Rを計算する(1205)。類似度計算方法には、例えば動的計画方法を用いることができる。
また、類似度計算手段113は、音響特徴量Aの音響区間との時間的な重なりが所定の値以上である音響特徴量Bのみを類似度を計算する対象にしてもよい。さらに、類似度計算手段113は、音響区間の長さが所定値以上の音響特徴量Bのみを類似度を計算する対象にしてもよい。
ここで、ステップ1205の処理で計算された類似度Rは音響特徴量Aのある区間(ts〜te)の音響特徴量Bに対する類似度であるとする。
この場合に、類似度計算手段113は、ステップ1205の処理で算出された類似度Rを当該区間(ts〜te)の総類似度S[t]に加算し、加算された値を当該区間(ts〜te)の新たな総類似度S[t]とする(1206)。
次に、類似度計算手段113は、検証対象の音響データのすべての構成要素に対してステップ1205及び1206の処理が実行されたか否かを判定し、検証対象の音響データのすべての構成要素に対してステップ1205及び1206の処理が実行されていない場合には、ステップ1205の処理に戻り、検証対象の音響データのすべての構成要素に対してステップ1205及び1206の処理が実行された場合には、ステップ1208の処理に進む(1207)。
独自性判定手段112は、SoldにS[0]を代入して、ステップ1209〜1217の処理を実行する(1208)。
独自性判定手段112は、検証対象の音響データの各離散時刻の総類似度S[t]とSoldとを比較する処理(ステップ1210〜1216)を検証対象の音響データの全離散時刻の総類似度S[t]に実行するまで、ステップ1210〜1216の処理を繰り返す(1209、1217)。
まず、独自性判定手段112は、Soldの値とS[t]の値とが異なるか否かを判定する(1210)。なお、S[t]の離散時刻tには最初0が代入されている。
ステップ1210の処理で、Soldの値とS[t]の値とが同じと判定された場合には、独自性判定手段112は、S[t]の離散時刻tにtの値をインクリメントした値を代入し(1211)、ステップ1209の処理に戻る。
一方、ステップ1210の処理で、Soldの値とS[t]の値とが異なると判定された場合には、独自性判定手段112は、SoldにS[t]を代入する(1212)。
そして、独自性判定手段112は、ステップ1212の処理でS[t]の値が代入されたSoldの値が所定値以上であるか否かを判定する(1213)。
ステップ1213の処理で、Soldの値が所定値未満であると判定された場合には、ステップ1217の処理に進む。
一方、ステップ1213の処理で、Soldの値が所定値以上であると判定された場合には、独自性判定手段112は、類似度の計算に利用された音響特徴量Bに独自性があるか否かを判定する(1214)。
具体的には、独自性判定手段112は、音響−独自性データベース103に登録されたエントリのうち類似度の計算に利用された音響特徴量Bを示すエントリの独自性406に「あり」が登録されているか否かを判定する。
ステップ1214の処理で、類似度の計算に利用された音響特徴量Bに独自性がないと判定された場合には、独自性判定手段112は、離散時刻t及びステップ1205の処理で計算された類似度Rを参照して、音響特徴量Bと類似する構成要素を特定する。
これは、S[t]の値は、検証対象の音響データのすべての構成要素の離散時刻tにおける音響特徴量の類似度が加算されることによって算出されるため、独自性判定手段は、S[t]の値だけではどの構成要素の音響特徴量が音響特徴量Bと類似するのか把握できない。
このため、独自性判定手段112は、当該離散時刻tにおけるステップ1205の処理で計算された構成要素ごとの類似度Rに基づき、音響特徴量Bと類似する音響特徴量の構成要素を特定する。
次に、サーバ101は、離散時刻tが示す音響区間が音響特徴量Bと類似すること、当該音響区間Bと類似する構成要素、及び当該音響特徴量Bに独自性がないことをクライアント計算機104に通知し、ステップ1217の処理に進む。
クライアント計算機104は、離散時刻tが示す音響区間が音響特徴量Bと類似すること、当該音響区間Bと類似する構成要素、及び当該音響特徴量Bに独自性がないことをサーバ101から通知された場合には、図7に示す類似独自性無しメッセージ700を表示装置107に表示する(1215)。
一方、ステップ1214の処理で、類似度の計算に利用された音響特徴量Bに独自性があると判定された場合には、独自性判定手段112は、離散時刻t及びステップ1205の処理で計算された類似度Rを参照して、音響特徴量Bと類似する構成要素を特定する。なお、音響特徴量Bと類似する構成要素の特定方法については、前述したとおりである。
次に、サーバ101は、離散時刻tが示す音響区間が音響特徴量Bと類似すること、当該音響区間Bと類似する構成要素、及び当該音響特徴量Bに独自性があることをクライアント計算機104に通知し、ステップ1217の処理に進む。
クライアント計算機104は、離散時刻tが示す音響区間が音響特徴量Bと類似すること、当該音響区間Bと類似する構成要素、及び当該音響特徴量Bに独自性があることをサーバ101から通知された場合には、図8に示す類似独自性有りメッセージ800を表示装置107に表示する(1216)。
次に、独自性判定手段112は、検証対象の音響データの全離散時刻の総類似度S[t]にステップ1210〜1216の処理が実行されたか否かを判定し、検証対象の音響データの全離散時刻の総類似度S[t]にステップ1210〜1216の処理が実行されていないと判定された場合には、ステップ1209の処理に戻り、検証対象の音響データの全離散時刻の総類似度S[t]にステップ1210〜1216の処理が実行されたと判定された場合には、ステップ1218の処理に進む。
次に、サーバ101は、音響−独自性データベース103に登録されたすべての音響区間に対してステップ1204〜1217の処理が実行されたか否かを判定し、音響−独自性データベース103に登録されたすべての音響区間に対してステップ1204〜1217の処理がされていないと判定された場合には、ステップ1204の処理に戻り、音響−独自性データベース103に登録されたすべての音響区間に対してステップ1204〜1217の処理がされていないと判定された場合には、ステップ1219の処理に進む。
サーバ101は、ステップ1213の処理で音響−独自性データベース103に登録された音響特徴量との類似度が所定値以上であると判定された検証対象の音響データの構成要素が存在したか否かを判定する(1219)。
ステップ1219の処理で、音響−独自性データベース103に登録された音響特徴量との類似度が所定値以上であるとステップ1213の処理で判定された検証対象の音響データの構成要素が存在しないと判定された場合には、検証対象の音響データは他者の音響データと非類似であるので、サーバ101は、検証対象の音響データは他者の音響データと非類似であることをクライアント計算機104に通知する。
クライアント計算機104は、検証対象の音響データは他者の音響データと非類似であることをサーバ101から通知されると、図6に示す非類似メッセージ600(図6参照)を表示装置107に表示する(1220)。
一方、ステップ1219の処理で、音響−独自性データベース103に登録された音響特徴量との類似度が所定値以上であるとステップ1213の処理で判定された検証対象の音響データの構成要素が存在すると判定された場合には、クライアント計算機104は非類似メッセージ600を表示する必要はないので、独自性検証処理を終了する。
以上のように、第3の実施形態では、音響データを構成するすべての構成要素の音響特徴量の類似度を加算した類似度が算出されるので、検証対象の音響データが全体としてどの音響データに類似するかを把握することができる。
(第4の実施形態)
以下、本発明の第4の実施形態を図12を用いて説明する。
本発明の第4の実施形態は、第1の実施形態の類似独自性有りメッセージ800の別実施形態である。
図12は、本発明の第4の実施形態の類似独自性有りメッセージ1300の説明図である。
類似独自性有りメッセージ1300は、検証対象音響データ表示部1301、メッセージ部1302、及び抑圧ボタン1303を含む。
検証対象音響データ表示部1301には、検証対象の音響データのスペクトルが表示される。メッセージ部1302には、図8に示す類似独自性有りメッセージ800と同じく、音響特徴量Aの音響区間が音響特徴量Bの音響区間と類似し、かつ、音響特徴量Aと類似する音響特徴量Bに独自性がある旨が表示される。
抑圧ボタン1303は、図8に示す抑圧ボタン801と同じなので説明を省略する。
メッセージ部1302は、検証対象音響データ表示部1301に表示された音響データAの音響区間のうち音響データBと類似する音響区間を示すように、表示される。このため、ユーザは、音響データAのどの音響区間が他者の音響データと類似しているのかを一目で把握できる。
また、第4の実施形態の類似独自性有りメッセージ1300は、第1の実施形態の図7に示す類似独自性無しメッセージ700に適用してもよい。
101 サーバ
102 音響−使用者データベース
103 音響−独自性データベース
104 クライアント計算機
105 音響データ蓄積装置
106 ネットワーク
107 表示装置
108 入力装置
109 音声出力装置
110 音響特徴抽出手段
111 共通音響抽出手段
112 独自性判定手段
113 類似度計算手段
114 音響特徴抽出手段
115 情報提示手段
116 音響抑圧手段
600 非類似メッセージ
700 類似独自性無しメッセージ
800 類似独自性有りメッセージ

Claims (16)

  1. 音響データと当該音響データを使用する使用者の独自性との関係を示す音響−独自性データベースを生成する音響−独自性データベース生成システムにおいて、
    前記音響データと当該音響データを使用する使用者との関係を示す音響−使用者データベースを記憶し、
    前記音響−使用者データベースに登録された各音響データ間で類似する音響区間を抽出する共通音響抽出部と、
    前記音響−使用者データベースに基づいて、前記共通音響抽出部によって抽出された音響区間の音響データを使用する使用者の数を特定し、前記特定された使用者の数が所定値より小さい場合、当該音響区間に独自性が有ると判定する独自性判定部と、
    前記独自性判定部による判定の結果を前記音響−独自性データベースに登録する音響−独自性データベース生成部と、を備えることを特徴とする音響−独自性データベース生成システム。
  2. 前記独自性判定部は、前記共通音響抽出部によって抽出された音響区間の数が大きくなると、前記所定の値を大きくすることを特徴とする請求項1に記載の音響−独自性データベース生成システム。
  3. 前記音響データは複数の構成要素によって構成され、
    前記音響データの前記構成要素ごとの音響特徴量を抽出する音響特徴抽出部を備え、
    前記共通音響抽出部は、前記音響−使用者データベースに登録された各音響データ間で前記音響特徴抽出部によって抽出された音響特徴量が類似する音響区間を抽出し、
    前記音響特徴抽出部は、ユーザによって音響データが与えられた場合、前記与えられた音響データの前記構成要素ごとの音響特徴量を抽出し、
    前記与えられた音響データの音響特徴量と前記音響−独自性データベースに登録された音響区間の音響特徴量との類似度を計算する類似度計算部と、
    前記類似度計算部によって計算された類似度が所定値以上である場合、前記類似度が所定値以上である音響特徴量の音響区間、及び前記類似度が所定値以上である音響特徴量の構成要素をユーザに提示する提示部と、を備えることを特徴とする請求項1に記載の音響−独自性データベース生成システム。
  4. ユーザによって与えられた音響データと予め記憶された音響データとが類似するか否かを判定する音響データ類似判定システムにおいて、
    前記音響データは複数の構成要素によって構成され、
    前記音響データ類似判定システムには、前記予め記憶された音響データと当該音響データの独自性との関係を示す音響−独自性データベースが記憶され、
    前記音響データの前記構成要素ごとの音響特徴量を抽出する音響特徴量抽出部を備え、 前記音響−独自性データベースには、前記予め記億された音響データの音響特徴量の使用者数が所定数以上である場合、当該音響特徴量は前記独自性を有さないこと、又は、前記使用者数が前記所定数より小さい場合、当該音響特徴量は前記独自性を有することが登録され、
    前記与えられた音響データの音響特徴量と前記音響−独自性データベースに登録された前記音響特徴量との類似度を計算する類似度計算部と、
    前記類似度計算部によって計算された類似度が所定値以上である場合、前記類似度が所定値以上である音響特徴量の音響区間、及び前記類似度が所定値以上である音響特徴量の構成要素をユーザに提示する提示部と、を備えることを特徴とする音響データ類似判定システム。
  5. 前記類似度計算部によって計算された類似度が所定値以上である場合、前記音響−独自性データベースを参照し、前記類似度が所定値以上である前記予め記憶された音響データの音響特徴量に前記独自性が有るか否かを判定する独自性判定部を備え、
    前記提示部は、前記独自性判定部による前記独自性の判定結果によって前記ユーザに提示する情報を切り換えることを特徴とする請求項4に記載の音響データ類似判定システム。
  6. 前記類似度計算部によって計算された類似度が所定値以上である前記与えられた音響データの音響特徴量の類似度が前記所定値より小さくなるように、当該音響特徴量を抑圧する音響抑圧部を備えることを特徴とする請求項4に記載の音響データ類似判定システム。
  7. 前記音響抑圧部は、前記抑圧の対象となる音響特徴量の構成要素によって適当な抑圧方法を用いることを特徴とする請求項6に記載の音響データ類似判定システム。
  8. 前記類似度計算部は、
    前記与えられた音響データの各構成要素の音響特徴量ごとに前記類似度を計算し、
    前記類似度が計算された音響特徴量の音響区間が重複している場合、前記重複している音響区間の音響特徴量の類似度を加算することによって、前記音響データの総合類似度を計算することを特徴とする請求項4に記載の音響データ類似判定システム。
  9. 音響データと当該音響データを使用する使用者の独自性との関係を示す音響−独自性データベースを生成する計算機における音響−独自性データベース生成方法において、
    前記計算機には、前記音響データと当該音響データを使用する使用者との関係を示す音響−使用者データベースが記憶され、
    前記音響−使用者データベースに登録された各音響データ間で類似する音響区間を抽出する共通音響抽出ステップと、
    前記音響−使用者データベースに基づいて、前記共通音響抽出ステップによって抽出された音響区間の音響データを使用する使用者の数を特定し、前記特定された使用者の数が所定値より小さい場合、当該音響区間に独自性があると判定する独自性判定ステップと、
    前記独自性判定ステップによる判定の結果を前記音響−独自性データベースに登録する音響−独自性データベース生成ステップと、を含むことを特徴とする音響−独自性データベース生成方法。
  10. 前記独自性判定ステップは、前記共通音響抽出ステップによって抽出された音響区間の数が大きくなると、前記所定の値を大きくすることを特徴とする請求項9に記載の音響−独自性データベース生成方法。
  11. 前記音響データは複数の構成要素によって構成され、
    前記音響データの前記構成要素ごとの音響特徴量を抽出する音響特徴抽出ステップを含み、
    前記共通音響抽出ステップは、前記音響−使用者データベースに登録された各音響データ間で前記音響特徴抽出ステップによって抽出された音響特徴量が類似する音響区間を抽出し、
    前記音響特徴抽出ステップは、ユーザによって音響データが与えられた場合、前記与えられた音響データの前記構成要素ごとの音響特徴量を抽出し、
    前記与えられた音響データの音響特徴量と前記音響−独自性データベースに登録された音響区間の音響特徴量との類似度を計算する類似度計算ステップと、
    前記類似度計算ステップによって計算された類似度が所定値以上である場合、前記類似度が所定値以上である音響特徴量の音響区間、及び前記類似度が所定値以上である音響特徴量の構成要素をユーザに提示する提示ステップと、を含むことを特徴とする請求項9に記載の音響−独自性データベース生成方法。
  12. ユーザによって与えられた音響データと予め記憶された音響データとが類似するか否かを判定する計算機における音響データ類似判定方法において、
    前記音響データは複数の構成要素によって構成され、
    前記計算機には、前記音響データ類似判定方法には、前記予め記憶された音響データと当該音響データの独自性との関係を示す音響−独自性データベースが記憶され、
    前記音響データの前記構成要素ごとの音響特徴量を抽出する音響特徴量抽出ステップを含み、
    前記音響−独自性データベースには、前記予め記億された音響データの音響特徴量の使用者数が所定数以上である場合、当該音響特徴量は前記独自性を有さないこと、又は、前記使用者数が前記所定数より小さい場合、当該音響特徴量は前記独自性を有することが登録され、
    前記与えられた音響データの音響特徴量と前記音響−独自性データベースに登録された前記音響特徴量との類似度を計算する類似度計算ステップと、
    前記類似度計算ステップによって計算された類似度が所定値以上である場合、前記類似度が所定値以上である音響特徴量の音響区間、及び前記類似度が所定値以上である音響特徴量の構成要素をユーザに提示する提示ステップと、を含むことを特徴とする音響データ類似判定方法。
  13. 前記類似度計算ステップによって計算された類似度が所定値以上である場合、前記音響−独自性データベースを参照し、前記類似度が所定値以上である前記予め記憶された音響データの音響特徴量に前記独自性が有るか否かを判定する独自性判定ステップを含み、
    前記提示ステップは、前記独自性判定ステップによる前記独自性の判定結果によって前記ユーザに提示する情報を切り換えることを特徴とする請求項12に記載の音響データ類似判定方法。
  14. 前記類似度計算ステップによって計算された類似度が所定値以上である前記与えられた音響データの音響特徴量の類似度が前記所定値より小さくなるように、当該音響特徴量を抑圧する音響抑圧ステップを含むことを特徴とする請求項12に記載の音響データ類似判定方法。
  15. 前記音響抑圧ステップは、前記抑圧の対象となる音響特徴量の構成要素によって適当な抑圧方法を用いることを特徴とする請求項14に記載の音響データ類似判定方法。
  16. 前記類似度計算ステップは、
    前記与えられた音響データの各構成要素の音響特徴量ごとに前記類似度を計算し、
    前記類似度が計算された音響特徴量の音響区間が重複している場合、前記重複している音響区間の音響特徴量の類似度を加算することによって、前記音響データの総合類似度を計算することを特徴とする請求項12に記載の音響データ類似判定方法。
JP2010144021A 2010-06-24 2010-06-24 音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法 Expired - Fee Related JP5413779B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010144021A JP5413779B2 (ja) 2010-06-24 2010-06-24 音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010144021A JP5413779B2 (ja) 2010-06-24 2010-06-24 音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法

Publications (2)

Publication Number Publication Date
JP2012008793A JP2012008793A (ja) 2012-01-12
JP5413779B2 true JP5413779B2 (ja) 2014-02-12

Family

ID=45539260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010144021A Expired - Fee Related JP5413779B2 (ja) 2010-06-24 2010-06-24 音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法

Country Status (1)

Country Link
JP (1) JP5413779B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6271482B2 (ja) * 2015-08-31 2018-01-31 ヤフー株式会社 審査システム、審査方法、及び審査プログラム
WO2019087282A1 (ja) * 2017-10-31 2019-05-09 Line株式会社 情報処理方法、情報処理装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3205141B2 (ja) * 1993-10-01 2001-09-04 株式会社日立製作所 音声分析方式
JP3434223B2 (ja) * 1998-11-19 2003-08-04 日本電信電話株式会社 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体
JP2001075992A (ja) * 1999-09-07 2001-03-23 Hitachi Ltd 音響検索方法及び装置、並びに、コンピュータ読みとり可能な記録媒体
JP3597735B2 (ja) * 1999-10-12 2004-12-08 日本電信電話株式会社 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
EP2044524A4 (en) * 2006-07-03 2010-10-27 Intel Corp METHOD AND DEVICE FOR QUICK AUDIO SEARCH
JP4455614B2 (ja) * 2007-06-13 2010-04-21 株式会社東芝 音響信号処理方法及び装置

Also Published As

Publication number Publication date
JP2012008793A (ja) 2012-01-12

Similar Documents

Publication Publication Date Title
EP3723080B1 (en) Music classification method and beat point detection method, storage device and computer device
JP5145939B2 (ja) 楽曲における区画を抽出する区画自動抽出システム、区画自動抽出方法および区画自動抽出プログラム
JP2006501502A (ja) オーディオトラックのオーディオサムネイルを生成するシステムおよび方法
JP2007536588A (ja) 情報信号を分析する装置および方法
US20150317699A1 (en) Method, apparatus, device and system for inserting audio advertisement
JP6737398B2 (ja) 重要単語抽出装置、関連会議抽出システム、及び重要単語抽出方法
CN110010159B (zh) 声音相似度确定方法及装置
KR101648931B1 (ko) 리듬 게임 제작 방법, 장치 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
JP5182892B2 (ja) 音声検索方法,音声検索装置および音声検索プログラム
JPWO2006137271A1 (ja) 楽曲検索装置、楽曲検索方法および楽曲検索プログラム
JP5413779B2 (ja) 音響−独自性データベース生成システム、音響データ類似判定システム、音響−独自性データベース生成方法、及び、音響データ類似判定方法
Davies et al. Causal Tempo Tracking of Audio.
JP2009210790A (ja) 選曲歌手分析推薦装置、その方法及びプログラム
JP2007072023A (ja) 情報処理装置及び情報処理方法
JP2005166035A (ja) 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体
JP6322125B2 (ja) 音声認識装置、音声認識方法および音声認識プログラム
JP4601643B2 (ja) 信号特徴抽出方法、信号探索方法、信号特徴抽出装置、コンピュータプログラム、及び、記録媒体
JP2005215726A (ja) 話者に対する情報提示システム及びプログラム
JP4150208B2 (ja) 関連用語提示装置及び関連用語提示プログラム
US20230335090A1 (en) Information processing device, information processing method, and program
KR20200010927A (ko) 배리어프리 오페라 제작시스템 및 방법
JP2001222289A (ja) 音響信号分析方法及び装置並びに音声信号処理方法及び装置
US20220309097A1 (en) Information processing apparatus and method, and program
US8196046B2 (en) Parallel visual radio station selection
JP4048249B2 (ja) カラオケ装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131101

LAPS Cancellation because of no payment of annual fees