JP4903791B2 - 楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体 - Google Patents

楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4903791B2
JP4903791B2 JP2008515467A JP2008515467A JP4903791B2 JP 4903791 B2 JP4903791 B2 JP 4903791B2 JP 2008515467 A JP2008515467 A JP 2008515467A JP 2008515467 A JP2008515467 A JP 2008515467A JP 4903791 B2 JP4903791 B2 JP 4903791B2
Authority
JP
Japan
Prior art keywords
music
feature
search
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008515467A
Other languages
English (en)
Other versions
JPWO2007132627A1 (ja
Inventor
啓太郎 菅原
健作 吉田
拓哉 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2008515467A priority Critical patent/JP4903791B2/ja
Publication of JPWO2007132627A1 publication Critical patent/JPWO2007132627A1/ja
Application granted granted Critical
Publication of JP4903791B2 publication Critical patent/JP4903791B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/632Query formulation
    • G06F16/634Query by example, e.g. query by humming
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本願は、楽曲検索装置の技術分野に関する。
近年、大容量記憶媒体としてのHD(Hard Disc)、フラッシュメモリ等の半導体メモリ、および光ディスク等の記録媒体の大容量化がますます顕著となっている。
とりわけ、半導体メモリは、いわゆる半導体オーディオとして急速に市場に浸透してきている。これは、半導体メモリが携帯性に優れており、半導体オーディオを聴く需要が非常に高まってきていることによる。また、HDも小型化および大容量化が進み、携帯性に優れたHDドライブが市場に供給されてきている。これらの場合には、ユーザは何千、何万曲という楽曲を半導体メモリおよびHD等の大容量記憶媒体に記憶しておき、その中からユーザが聴きたい楽曲を検索して聴くことになる。大容量記憶媒体に記録されたこれらの多くの楽曲の中からユーザが聴きたい楽曲を検索する場合には、アーティスト名、アルバム名、並びに楽曲名等の楽曲情報を基に楽曲を検索することができる。ユーザが自分の嗜好に合った楽曲を連続して演奏するには、ユーザが持つ楽曲に対する知識に基づいて、アーティスト名などの情報から楽曲を特定することが必要であるために容易ではなかった。この課題を解決しようとする方法として、楽しい、並びに、悲しい等の楽曲の印象から楽曲を検索することが一般に行なわれている(たとえば、下記特許文献1参照。)。
また、ユーザがハミングをして、メロディーが一致する楽曲を選曲する方法、ユーザが歌詞を歌って、歌詞が一致する楽曲を選曲する方法、および、ユーザがリズムを入力して、リズムが一致する楽曲を選曲する方法などが知られている。(たとえば、下記特許文献2参照。)。しかしこの方法では、ユーザが選択したい楽曲を選択することは容易ではない。
特開平10−134549号公報 特開平6−290574号公報
上述の楽曲の印象等による楽曲の検索方法では、音楽的な特徴による楽曲の繋がりが無いため、連続再生しても楽曲の連続性がなかった。また、ユーザは受動的に提供される楽曲を聴くことしかできなかった。
さらに、上述した検索方法においては、ユーザが持つ楽曲に対する知識に基づいてユーザが聴こうとする楽曲を特定することが必要になるために、ユーザが現在持っている自分の感覚に合っているか否かに係わらず楽曲が選択されてしまうという課題があった。
そこで、本願の課題の一例は、現在の楽曲をユーザ自身が加工し、ユーザ自身の耳で加工度合いを確認しつつ、ユーザの嗜好にあった他の楽曲を探すための楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体を提供することにある。
本発明の請求項1に記載の楽曲検索装置は、楽曲と、楽曲の特徴を定量的又は調で示す楽曲特徴量と、を関連付けて記憶する記憶手段と、前記記憶された楽曲を再生する再生手段と、操作入力による指示に基づいて前記再生手段によって再生されている楽曲の前記楽曲特徴量を変化させ、当該変化させた楽曲特徴量に基づいて、前記楽曲を前記再生手段によって再生させる加工手段と、前記変化させた楽曲特徴量に基づいて、前記再生手段によって再生される楽曲から楽曲特徴量を検出する特徴検出手段と、前記検出された楽曲特徴量に基づいて、前記記憶手段に記憶された楽曲を検索する検索手段と、を備えることを特徴とする。
本発明の請求項6に記載の楽曲検索方法は、楽曲と、楽曲の特徴を定量的又は調で示す楽曲特徴量とを関連付けて記憶する記憶手段と、前記記憶された楽曲を再生する再生手段とを備える楽曲検索装置において実行される楽曲検索方法であって、操作入力による指示に基づいて前記再生手段によって再生されている楽曲の前記楽曲特徴量を変化させ、前記変化させた楽曲特徴量に基づいて、前記楽曲を前記再生手段によって再生させる加工工程と、前記変化させた楽曲特徴量に基づいて、前記再生手段によって再生される楽曲から楽曲特徴量を検出する特徴検出工程と、前記検出された楽曲特徴量に基づいて、前記記憶手段に記憶された楽曲を検索する検索工程と、を有することを特徴とする。
請求項7に記載の楽曲検索プログラムは、楽曲と、楽曲の特徴を定量的又は調で示す楽曲特徴量とを関連付けて記憶する記憶手段と、前記記憶された楽曲を再生する再生手段とを備える楽曲検索装置に含まれるコンピュータを、操作入力による指示に基づいて前記再生手段によって再生されている楽曲の前記楽曲特徴量を変化させ、前記変化させた楽曲特徴量に基づいて、前記楽曲を前記再生手段によって再生させる加工手段、前記変化させた楽曲特徴量に基づいて、前記再生手段によって再生される楽曲から楽曲特徴量を検出する特徴検出手段、前記検出された楽曲特徴量に基づいて、前記記憶手段に記憶された楽曲を検索する検索手段、として機能させることを特徴とする。
実施形態の楽音検索装置の概要構成を示すブロック図である。 第1実施形態の動作を示すフローチャートである。 第2実施形態の構成を示すフローチャートである。 本実施形態に係わるBPM値のクラスタリングの例を示す表である。
符号の説明
1…楽曲特徴検出クラスタリング部
2…楽曲特徴データベース部
3…楽曲データベース部
4…入力部
5…楽曲加工部
6…楽曲特徴検出部
次に、本願に最適な実施の形態について、図面に基づいて説明する。
なお、図1は、各実施形態に係る楽音検索装置の概要構成例を示すブロック図である。図2は、第1の実施形態にかかわる動作をフローチャートであらわした図であり、図3は、第2の実施形態にかかわる動作をフローチャートであらわした図である。
本願は、現在再生されている楽曲の特徴に似た楽曲を検索して再生するものである。ユーザが現在聴いている楽曲に対して、ユーザ自身が、何らかの変化を与えるのである。そして変化が与えられた楽曲をユーザが聴いて、ユーザが望む曲調であるか否かを判断する。ユーザが望む曲調になったことを、ユーザ自身が確認した後に、ユーザが望む曲調に整合する他の楽曲を検索して再生するものである。
第1の実施形態においては、楽曲の特徴として単位時間当たりの拍数(BPM:Beats Per minutes)に注目した実施形態について説明する。ユーザが現在聴いている楽曲のBPMを変更し、ユーザが希望するBPMに対応する楽曲を検索して、ユーザが所望するBPMに対応する楽曲を聴くことができるようにする楽曲検索装置である。
第2の実施形態においては、楽曲の特徴として周波数バランスに注目した実施形態について説明する。ユーザが現在聴いている楽曲の周波数バランスを変更し、ユーザが希望する周波数バランスになったことを周波数バランスが変更された楽曲を聴くことによって確認した後に、変更された周波数バランスに対応する楽曲を検索して、ユーザが所望する楽曲を聴くことができるようにする楽曲検索装置である。
周波数バランスとは、予め定められた周波数領域毎の楽曲信号レベル値の周波数領域における分布をあらわす。
始めに、各実施形態に係る楽曲検索装置の全体構成について、図1を用いて説明する。
各実施形態に係わる楽曲検索装置Sは、楽曲特徴検出クラスタリング部1、楽曲特徴データベース部2、楽曲データベース部3、入力部4、楽曲加工部5、および楽曲特徴検出部6とから構成されている。
楽曲特徴検出クラスタリング部1には、図1に示すように、入力信号SiとしてCDの再生信号、DVDの再生信号またはアナログレコードの再生信号等の音信号としての楽曲情報が入力される。
楽曲特徴検出クラスタリング部1は、これらの入力信号Siの取得を行った後に、入力信号Siから楽曲特徴量を抽出する。楽曲特徴量としては、BPMおよび周波数バランスが挙げられる。
BPMを抽出する動作とは、入力された楽曲のBPM値をそのまま楽曲特徴量とする場合の他に、以下のようにクラスタリングする動作も含む動作である。
例えば、BPM値を20毎に分割してクラスタリング処理を行なう。具体的には、BPM値が80を下回る場合をBPMクラス0とし、BPM値が80以上〜100未満の場合をBPMクラス1とし、BPM値が100以上〜120未満の場合をBPMクラス2とし、BPM値が120以上〜140未満の場合をBPMクラス3とし、BPM値が140以上〜160未満の場合をBPMクラス4とし、BPM値が160以上〜180未満の場合をBPMクラス5とし、BPM値が180以上の場合をBPMクラス6として、抽出された楽曲をクラスタリングする。
上記クラスタリングされたBPMクラスとBPM値との関係の例を図4に示す。
具体的には、抽出された楽曲のBPM値が110の場合には、抽出された楽曲はBPMクラス2としてクラスタリングされる。また、抽出された楽曲のBPM値が150の場合には、抽出された楽曲はBPMクラス4としてクラスタリングされる。これらのクラスタリングされたBPMクラスは、楽曲データと対応させて、楽曲特徴データベース部2に出力する。
次に周波数バランスについて説明する。
周波数バランスは、周波数領域を、高周波数領域、中周波数領域、低周波数領域等に分割して、各周波数領域の平均デシベル値を用いることによって比較することができる。また、楽曲特徴量として楽曲の最初から最後までの各周波数領域の平均デシベル値を検出する場合の他に、楽曲の最初の予め定められた時間(例えば、10秒間)だけをサンプリングして、10秒間の各周波数領域の平均デシベル値を楽曲特徴量とすることができる。
また、楽曲のいわゆる“さび”と呼ばれるその楽曲の特徴が最もよく表現されている部分を、各周波数領域に分割して、その周波数領域毎の平均デシベル値を楽曲特徴量とすることもできる。
さらに、周波数領域の分割方法は、高周波数領域、中周波数領域、低周波数領域等の3つの周波数領域分割する場合に限られるわけではなく、分割する周波数領域には制限がない。また、各周波数領域は、同じ周波数帯域を持つ必要はなく、各周波数領域を異なる周波数帯域で分割することが可能である。
さらに、楽曲特徴検出クラスタリング部1は、各周波数領域の平均デシベル値を、数デシベル間隔にクラスタリングする処理も行なう。
また、BPM値を楽曲特徴量とする場合にも、楽曲の最初から最後までの各周波数領域の楽曲特徴量として平均BPM値を検出する場合の他に、楽曲の最初の予め定められた時間(例えば、10秒間)だけをサンプリングして、10秒間のBPM値を楽曲特徴量とすることができる。さらに、楽曲のいわゆる“さび”と呼ばれる部分の平均BPM値を楽曲特徴量とすることもできる。
楽曲特徴検出クラスタリング部1で抽出された楽曲特徴量およびクラスタリングされた楽曲特徴量は、楽曲自体と関連付けされて楽曲特徴データベース部2に出力される。また、楽曲特徴検出クラスタリング部1に入力された楽曲(入力信号Si)は、楽曲特徴量と関連付けされて、楽曲データベース部3に入力される。
楽曲特徴データベース部2は、楽曲特徴検出クラスタリング部1から出力された楽曲特徴量を、楽曲データベース3に入力された楽曲と関連付けさせて記憶する。
また、楽曲特徴データベース部2は、楽曲特徴検出部6からの要求に基づいて、楽曲特徴検出部6が要求する楽曲特徴量と一致する楽曲特徴量が、楽曲特徴データベース部2に記憶されているか否かを検索する。楽曲特徴検出部6からの要求に基づく楽曲特徴量に対応する楽曲特徴量が記憶されている場合には、その楽曲特徴量に対応する楽曲データベース部3に記憶されている楽曲を楽曲加工部5へ出力するように、楽曲データベース部3に要求する。
楽曲データベース部3は、楽曲特徴検出クラスタリング部1から出力された楽曲を、楽曲特徴データベース2に入力された楽曲特徴量と関連付けさせて記憶する。楽曲データベース部3は、楽曲特徴データベース部2からの要求に応じて、楽曲特徴データベース部2に記憶されている楽曲特徴量に対応した楽曲を楽曲加工部5へ出力する。
また、楽曲データベース部3は、入力部4の指示に基づいて、楽曲データベース3に記憶されている楽曲を楽曲加工部5へ出力する。
入力部4には、ユーザが操作するスイッチ(図示せず)が設けられている他に、ユーザが視認しやすいように表示部(図示せず)も設けられている。
ユーザが、入力部4のスイッチを介して、楽曲の名称等の楽曲を特定する情報を入力すると、入力部4は、楽曲データベース部3に対して、特定された楽曲が存在するか否かを問い合わせる。楽曲データベース部3に、ユーザが特定した楽曲情報がある場合には、その楽曲情報は楽曲データベース部3から楽曲加工部5に出力される。
また、入力部4には、楽曲加工部5において再生され、楽曲検出装置の外部に出力されている楽曲の楽曲特徴量を変化させる為にユーザが使用するスイッチ類が設けられている。これらのスイッチ類は、楽曲情報を特定するために使用されたスイッチと共用するように構成することもできる。
例えば、BPM値を変化させる場合には、楽曲特徴検出クラスタリング部1においてクラスタリングされた、BPMクラスを指定できる。現在、楽曲加工部5で再生されている楽曲の楽曲特徴量としてのBPMクラスがBPMクラス2である場合には、ユーザは入力部4のスイッチを介して、BPMクラス1、3、4、5および6を指定することができる。また、例えば、BPMクラス4をユーザが一旦指定した場合には、その後、ユーザは入力部4のスイッチを介して、BPMクラス1、2、3、5、および6を指定することができる。入力部4は、ユーザに指定されたBPMクラスに対応する値を楽曲加工部5に出力する。
また、ユーザは周波数バランスを変化させる指示情報を入力部4に入力することもできる。
例えば、ユーザが低周波数領域の音量を大きくしたい場合には、入力部4に設けられたスイッチを介して、低周波数領域を指定する。その後に、低周波数領域の音量を数デシベル単位で、入力部4に設けられたスイッチを介して、増加することができる。また、低周波数領域の音量をクラスタリングされた単位(予め定められたデシベルの値)で、入力部4に設けられたスイッチを介して、増加することができる。入力部4は、ユーザから指定された周波数領域および増加させるべきデシベル値を、楽曲加工部5へ出力する。また、ユーザは、一旦増加させたデシベル値を再び下げること、および上げることを入力部4のスイッチを介して自由に行なうことができる。また、ユーザは周波数領域を自由に指定することができる。この周波数領域は、楽曲特徴検出クラスタリング部1において分割された周波数領域を示している。
このようにして現在再生されている楽曲を、ユーザは、入力部4を介して自由に変化させることができる。
ユーザが現在再生されている楽曲がユーザの好みの曲調に変化したと判断した場合において、その楽曲の曲調と同様の他の楽曲を聴きたい場合には、入力部4のスイッチを介して、他の楽曲の検索を、楽曲特徴データベース部2に開始させることができる。この場合には、入力部4は、楽曲加工部5へ、現在再生されている楽曲の楽曲特徴と同じ他の楽曲を楽曲データベース部3から検索するように指示命令を出力する。
入力部4で指定できる楽曲特徴量および楽曲特徴量の変化単位は、楽曲特徴クラスタリング部1において、抽出される楽曲特徴量および楽曲特徴量のクラスタリング値に対応するようになっている。
次に、楽曲加工部5について説明する。
楽曲加工部5は、楽曲データベース部3から楽曲を検索して、検索された楽曲を再生して外部に出力する他に、入力部4からの指示に基づいて、楽曲の楽曲特徴量を変化させて、楽曲特徴量が変化した楽曲を再生して外部に出力する機能を有している。
楽曲加工部5は、入力部4からの指示に基づいて、入力部4からの指示によって特定される楽曲を楽曲データベース部3から検索する。検索が終了すると、入力部4からの指示に基づいて、特定された楽曲を再生し、また、再生を中断、停止する動作を行なう。
さらに、入力部4からの指示に基づいて、再生されている楽曲の楽曲特徴量を変化させる。
例えば、現在再生されている楽曲のBPM値が110の場合には、この楽曲のBPMクラスはBPMクラス2に対応する。この場合に、楽曲加工部5が、入力部4から、楽曲加工部5において再生されている楽曲のBPMクラスをBPMクラス3に変更する命令を受け取ると、楽曲加工部5は現在再生されている楽曲の再生スピードを早くして、BPM値がBPMクラス3になるように再生スピードを調整する。具体的には、BPM値を110からBPMクラス3に含まれるBPM130程度になるまで、楽曲の再生スピードを早くする。そしてBPM値が130に変化した楽曲を、楽曲加工部5は再生して外部へ出力する。
また、現在再生されている楽曲のBPM値が110の場合に、楽曲加工部5が入力部4から、再生されている楽曲のBPMクラスをBPMクラス1に変更する命令を受け取ると、楽曲加工部5は現在再生されている楽曲の再生スピードを遅くして、BPM値がBPMクラス1になるように再生スピードを調整する。具体的には、BPM値を110からBPMクラス1に含まれるBPM90程度になるまで、楽曲の再生スピードを遅くする。そしてBPM値が90に変化した楽曲を、楽曲加工部5は再生し、外部へ出力する。
また、楽曲加工部5は、入力部4から、現在再生されている楽曲のBPMクラスと同じBPMクラスの他の楽曲を検索する指示命令を受け取ると、楽曲加工部5は、楽曲特徴検出部6に対して、現在再生されている楽曲の楽曲特徴量を検出する指示命令を出力する。そして、楽曲特徴検出部6において検出された楽曲特徴量と同じクラスタに属する楽曲特徴量を有する楽曲を検索するために、楽曲特徴データベース部2へ検索指示命令を出力する。
さらに、例えば、楽曲加工部5が、現在再生している楽曲の低周波数領域の平均デシベル値を3dB増加するように、入力部4から指示されると、楽曲加工部5は、現在再生している楽曲の増幅度を上昇させて、デシベル値としての3dBに対応する量の増幅度を増加させる。
また、楽曲加工部5が、現在再生している楽曲の低周波数領域の平均デシベル値を3dB減少するように、入力部4から指示されると、楽曲加工部5は、現在再生している楽曲の増幅度を減少させて、デシベル値としての3dBに対応する量の増幅度を減少させる。
また、周波数領域が中周波数領域または高周波数領域の場合にも、それぞれの周波数領域に対応して、増幅器の増幅度を増加させ、または減少させることにより、各周波数領域のデシベル値を増加、または減少させる。これらの動作はいわゆるイコライザーとしての動作と同様になる。
また、楽曲加工部5は、入力部4から、現在再生されている楽曲と同じ楽曲特徴量を有する楽曲を検索する指示命令を受け取ると、楽曲加工部5は、楽曲特徴検出部6に対して、現在再生されている楽曲の楽曲特徴量を検出する指示命令を出力する。そして、楽曲特徴検出部6は、検出された楽曲特徴量と同じクラスタに属する楽曲特徴量を有する楽曲を検索するために、楽曲特徴データベース部2へ検索指示命令を出力する。
次に、楽曲特徴検出部6について説明する。
楽曲特徴検出部6は、楽曲加工部5を介して、入力部4からの指示に基づいて、楽曲加工部5で再生されている楽曲の楽曲特徴量を検出する。
ユーザは、楽曲加工部5で再生されている楽曲の楽曲特徴量が、検索しようとしている楽曲のどの部分に対応するかを指示することができる。例えば、楽曲加工部5で再生されている楽曲がBPMクラス2に属するときに、ユーザは入力部4に対して、他の楽曲の開始から予め定められた時間(約10秒間)の間のBPM値がBPMクラス2に対応する他の楽曲を検索するように指示することができる。また、ユーザは入力部4に対して、他の楽曲のいわゆる“さび”の部分の間のBPM値がBPMクラス2に対応する他の楽曲を検索するように指示することができる。また、他の楽曲の楽曲全体平均BPM値がBPMクラス2に対応する他の楽曲を検索するように指示することもできる。
また、例えば、楽曲加工部5で再生されている楽曲の低周波数領域、中周波数領域、および高周波数領域のそれぞれの領域における平均信号強度(デシベル値)が予め定められた範囲内(クラスタリングされている範囲内)にある楽曲を検索するように指示することができる。具体的には、現在再生されている楽曲の低周波数領域の強度(デシベル値)の範囲、中周波数領域の強度(デシベル値)の範囲、および高周波数領域の強度(デシベル値)の範囲に対応する周波数分布(スペクトルバランス)を持つ楽曲を、楽曲特徴データベース部2は、楽曲データベース部3から抽出する。ユーザは入力部4に対して、他の楽曲の開始から予め定められた時間(約10秒間)の間の各周波数領域の平均信号強度が予め定められた範囲にある他の楽曲を検索するように指示することができる。
また、ユーザは入力部4に対して、他の楽曲のいわゆる“さび”の部分の間の各周波数領域における平均信号強度が予め定められたレベル領域にある他の楽曲を検索するように指示することができる。また、他の楽曲の楽曲全体における各周波数領域の平均信号強度が予め定められた領域にある他の楽曲を検索するように指示することができる。
このように、ユーザは現在の曲を加工してユーザの嗜好にあった楽曲を検索することができる為に、ユーザ自身が聴きたい楽曲かどうかを耳だけで判断することができる。すなわち、言葉で表現することができない音楽性を調査して選曲することができるようになる。また、常に楽曲を聴きながら自分の嗜好を確認することができるので選曲作業が苦とならずに楽しいと感じることができる。
次に、第1の実施形態に基づく動作について図2で示されるフローチャートに基づいて説明する。
ステップS1において、ユーザは、入力部4を介して、聴きたい楽曲を選定する。すると、楽曲データベース部3から、ユーザによって指定された楽曲が楽曲加工部5に抽出され、楽曲加工部5はユーザが指定した楽曲を再生する。ユーザは楽曲加工部5に接続されたヘッドホン、スピーカ等の拡声器からユーザが指定した楽曲を聴く。次にステップS2へ移行する。
ステップS2において、ユーザが指定した楽曲のBPM値が150である場合に、ユーザがもっとスローな曲調(テンポ)がいいと思った場合に、ユーザが入力部4を介して、BPM値を130に指定する。すると楽曲加工部5は、現在再生されている楽曲のBPM値を130に加工して、BPM値が130に加工された楽曲を再生する。ユーザは、更に再生された楽曲のテンポを変化させることができる。また、ユーザが現在再生されている楽曲のテンポが気に入って、現在再生されている楽曲のテンポに対応する他の楽曲を聴きたい場合には、ステップS3へ移行する。
ステップS3において、楽曲特徴検出部6は、楽曲加工部5で再生されている楽曲の楽曲特徴量を解析する。この場合には、楽曲特徴検出部6は、楽曲加工部5で再生されている楽曲のBPM値が幾つであるかを解析する。その結果、楽曲特徴検出部6は、再生されている楽曲のBPM値が130であることを認識する。次に、ステップS4へ移行する。
ステップS4では、楽曲特徴検出部6からの指示に基づいて、楽曲特徴データベース部2がBPM値130の楽曲を検索する。この場合、必ずしもBPM値が130に一致しない楽曲のみが楽曲特徴データベース部2に記憶されている場合もあるが、その場合にはBPMクラス3にある楽曲を検索する。
また、前述したように、ユーザが入力部4から指示できるBPM値をBPMクラス単位に制限しておくこともできる。次にステップS5に移行する。
ステップS5において、楽曲特徴データベース部2は、楽曲特徴データベース部2に記憶されているBPM値が130である楽曲に対応する楽曲を楽曲データベース部3から選定する。これは、予め楽曲特徴検出クラスタリング部1において、関連付けされた楽曲特徴量と楽曲との関連情報に基づいて、検索された楽曲特徴量に対応する楽曲を楽曲データベース部3から検索して、選定することができる。次にステップS6に移行する。
ステップS6において、楽曲加工部5は選定された楽曲を再生する。また、楽曲特徴抽出部2において、検索された楽曲特徴量に対応する楽曲が複数ある場合には、ユーザは、入力部4を介して次の楽曲を選択して、次の楽曲を楽曲加工部5において再生させることができる。
次に、第2の実施形態に基づく動作について図3で示されるフローチャートに基づいて説明する。
ステップS7において、ユーザは、入力部4を介して、聴きたい楽曲を選定する。すると、楽曲データベース部3から、ユーザによって指定された楽曲が楽曲加工部5に抽出され、楽曲加工部5はユーザが指定した楽曲を再生する。ユーザは楽曲加工部5に接続されたヘッドホン、スピーカ等の拡声器からユーザが指定した楽曲を聴く。次にステップS8へ移行する。
ステップS8において、ユーザが現在再生されている楽曲の低周波数領域のレベルを大きくしようと思った場合には、ユーザは入力部4を介して、低域周波数領域を予め定められた単位(例えば3dB単位またはクラスタリングされた単位)でレベルを上げるように指示する。すると楽曲加工部5は、現在再生されている楽曲の低周波数領域のレベルを入力部4からの指示に基づいた量だけ上昇するように、低周波数領域の増幅度を上げる(イコライジング動作をする)。ユーザは、更に再生された楽曲のスペクトルバランスを変化させることができる。また、ユーザが現在再生されている楽曲のスペクトルバランスが気に入って、現在再生されている楽曲のスペクトルバランスに対応する他の楽曲を聴きたい場合には、ステップS9へ移行する。
ステップS9において、楽曲特徴検出部6は、楽曲加工部5で再生されている楽曲の楽曲特徴量を解析する。この場合には、楽曲特徴検出部6は、楽曲加工部5で再生されている楽曲の低周波数領域の平均dB値が幾つであるかを解析する。その結果、楽曲特徴検出部6は、再生されている楽曲の低周波数領域のデシベル値が幾つであるかを認識する。また、その他の周波数領域についても楽曲特徴検出部6は、各周波数領域の音量のレベルを表すデシベル(dB)値の平均dB値を解析する。周波数領域毎の平均デシベル値はスペクトルバランスを意味する。次に、ステップS10へ移行する。
ステップS10において、楽曲特徴検出部6からの指示に基づいて、楽曲特徴データベース部2が、ステップS9において楽曲特徴抽出部6が解析したスペクトルバランスに一致する楽曲を検索する。この場合、必ずしもステップS9において解析されたスペクトルバランスに一致するスペクトルバランスが楽曲特徴データベース部2に記憶されていない場合もある。その場合には、周波数領域毎にクラス分けされたレベル領域(予め定められたデシベル値の範囲をあらわす。)において一致するスペクトルバランスを検索する。
ステップS11において、楽曲特徴データベース部2は、楽曲特徴データベース部2に記憶されているスペクトルバランスがステップS9において楽曲特徴検出部6において解析された楽曲に対応するスペクトルバランスを有する楽曲を楽曲データベース部3から選定する。これは、予め楽曲特徴検出クラスタリング部1において、関連付けされた楽曲特徴量と楽曲との関連情報に基づいて、検索された楽曲特徴量に対応する楽曲を楽曲データベース部3から検索して、選定することができる。次にステップS12に移行する。
ステップS12において、楽曲加工部5は選定された楽曲を再生する。また、楽曲特徴データベース部2において検索された楽曲特徴量に対応する楽曲が、楽曲データベース部3に複数ある場合には、ユーザは、入力部4を介して次の楽曲を選択して、次の楽曲を楽曲加工部5において再生させることができる。
本実施形態によれば、現在の楽曲をユーザ自身が加工し、ユーザ自身の耳で加工度合いを確認しつつ、ユーザの嗜好にあった他の楽曲を自動的に検索することができるようになる。
したがって、ユーザが、楽曲を積極的に加工(調整)した結果に基づいて、ユーザの現在の感覚に合った繋がりの良い楽曲を能動的に検索することができるのである。
また、繋がりの良い楽曲は、ユーザが選択した変調パラメータを共通にする楽曲であるので、前後の楽曲においてユーザにとって聴感的な繋がりが生まれるので、ユーザにとって聴きたいと感じる楽曲を連続して再生することが可能となる。
本実施形態によれば、ユーザが能動的に調整した楽曲に基づいて、他の楽曲が自動的に検索されるので、ユーザに対して楽曲を繋げるという感覚をサービスとして提供することができる。
本実施形態によれば、ユーザは現在の楽曲を加工してユーザの嗜好にあった楽曲を検索することができる為に、ユーザ自身が聴きたい楽曲かどうかを耳だけで判断することができる。すなわち、言葉で表現することができない音楽性を調査して選曲することができるようになる。また、常に楽曲を聴きながら自分の嗜好を確認することができるので選曲作業が苦とならずに楽しいと感じることができる。
また、耳だけを頼りに楽曲の検索が可能になるので、表示画面が必要なくなる。従って、混雑している電車、バス等の乗り物においては、表示画面を見ることなく、手元でスイッチを操作して、操作したスイッチに基づいて加工・再生される楽曲を聴いて確認することにより、自分のお気に入りの曲調に加工された楽曲を聴いて楽しむことができる。また、自分のお気に入りの曲調に合った、他の楽曲を、手元のスイッチを押すことのみによって容易に検索することができるようになる。
また、ユーザが特定のアーティスト名、若しくはアルバム名を思い出せない場合、または、楽しい楽曲、若しくは悲しい楽曲という形容詞で表現できない楽曲のイメージを、自分で加工した楽曲を耳で聴くことによって作成・確認することができる。また、イメージに合った楽曲を耳で検索することができる。
ユーザにとっては、多くの記録された楽曲の中からある特定の楽曲を聴きたいという状況ではない場合もある。ユーザがなんとなく“こんな”楽曲が聴きたいと思う場合もある。この場合のユーザが思う“こんな”というイメージを言葉だけで表現できない場合もある。そこで、本願においては、ユーザがイメージとして思っている“こんな”を表現する手法として、現在再生されている楽曲を加工することにした。ユーザ自身が楽曲を加工することによって、ユーザ自身の嗜好を表現し、ユーザの嗜好にあった楽曲の特徴を抽出することによって、ユーザ自身の嗜好に合った楽曲を容易に検索することができるようにした。
本実施形態において楽曲特徴量として、BPM値とスペクトルバランスについて説明したが、楽曲特徴量はこれらに限定されるわけではない。例えば、楽曲特徴量として音場情報を用いることができる。具体的には、残響特性を楽曲特徴量として特定することが可能である。また、楽曲特徴量としてピアノ調の楽曲か否かを判断基準とすることもできる。
また、図2および図3のフローチャートに対応するプログラムを、情報記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるCPUとして機能させることも可能である。

Claims (8)

  1. 楽曲と、楽曲の特徴を定量的又は調で示す楽曲特徴量と、を関連付けて記憶する記憶手段と、
    前記記憶された楽曲を再生する再生手段と、
    操作入力による指示に基づいて前記再生手段によって再生されている楽曲の前記楽曲特徴量を変化させ、当該変化させた楽曲特徴量に基づいて、前記楽曲を前記再生手段によって再生させる加工手段と、
    前記変化させた楽曲特徴量に基づいて、前記再生手段によって再生される楽曲から楽曲特徴量を検出する特徴検出手段と、
    前記検出された楽曲特徴量に基づいて、前記記憶手段に記憶された楽曲を検索する検索手段と、
    を備えることを特徴とする楽曲検索装置。
  2. 請求項1に記載の楽曲検索装置において、
    前記再生手段は、前記再生されている楽曲に続いて、前記検索手段によって検索された楽曲を再生することを特徴とする楽曲検索装置。
  3. 請求項1に記載の楽曲検索装置において、
    前記記憶手段に記憶された楽曲特徴量は、楽曲特徴量の種類毎に予め定められた少なくとも二つ以上の当該楽曲特徴量を示す値の範囲毎に区分されていることを特徴とする楽曲検索装置。
  4. 請求項1乃至3の何れか一項に記載の楽曲検索装置において、
    前記楽曲特徴量は、前記楽曲の全期間における平均値、前記楽曲の始まりから予め定められた時間の平均値、または、前記楽曲の特徴が表現されている部分の平均値のうち、少なくとも一つを含むことを特徴とする楽曲検索装置。
  5. 請求項1乃至4の何れか一項に記載の楽曲検索装置において、
    前記楽曲特徴量は、少なくとも、単位時間あたりの拍数、または周波数バランスを含むことを特徴とする楽曲検索装置。
  6. 楽曲と、楽曲の特徴を定量的又は調で示す楽曲特徴量とを関連付けて記憶する記憶手段と、前記記憶された楽曲を再生する再生手段とを備える楽曲検索装置において実行される楽曲検索方法であって、
    操作入力による指示に基づいて前記再生手段によって再生されている楽曲の前記楽曲特徴量を変化させ、前記変化させた楽曲特徴量に基づいて、前記楽曲を前記再生手段によって再生させる加工工程と、
    前記変化させた楽曲特徴量に基づいて、前記再生手段によって再生される楽曲から楽曲特徴量を検出する特徴検出工程と、
    前記検出された楽曲特徴量に基づいて、前記記憶手段に記憶された楽曲を検索する検索工程と、
    を有することを特徴とする楽曲検索方法。
  7. 楽曲と、楽曲の特徴を定量的又は調で示す楽曲特徴量とを関連付けて記憶する記憶手段と、前記記憶された楽曲を再生する再生手段とを備える楽曲検索装置に含まれるコンピュータを
    操作入力による指示に基づいて前記再生手段によって再生されている楽曲の前記楽曲特徴量を変化させ、前記変化させた楽曲特徴量に基づいて、前記楽曲を前記再生手段によって再生させる加工手段、
    前記変化させた楽曲特徴量に基づいて、前記再生手段によって再生される楽曲から楽曲特徴量を検出する特徴検出手段、
    前記検出された楽曲特徴量に基づいて、前記記憶手段に記憶された楽曲を検索する検索手段、
    として機能させることを特徴とする楽曲検索プログラム。
  8. 請求項7に記載の楽曲検索プログラムを記録した、コンピュータに読み取り可能な情報記録媒体。
JP2008515467A 2006-05-12 2007-04-18 楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体 Expired - Fee Related JP4903791B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008515467A JP4903791B2 (ja) 2006-05-12 2007-04-18 楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006133617 2006-05-12
JP2006133617 2006-05-12
PCT/JP2007/058459 WO2007132627A1 (ja) 2006-05-12 2007-04-18 楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体
JP2008515467A JP4903791B2 (ja) 2006-05-12 2007-04-18 楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPWO2007132627A1 JPWO2007132627A1 (ja) 2009-09-24
JP4903791B2 true JP4903791B2 (ja) 2012-03-28

Family

ID=38693727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008515467A Expired - Fee Related JP4903791B2 (ja) 2006-05-12 2007-04-18 楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US8370356B2 (ja)
JP (1) JP4903791B2 (ja)
WO (1) WO2007132627A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5561041B2 (ja) * 2010-09-06 2014-07-30 大日本印刷株式会社 音響データの関連情報検索装置
US8584198B2 (en) * 2010-11-12 2013-11-12 Google Inc. Syndication including melody recognition and opt out
CN113903346A (zh) * 2018-06-05 2022-01-07 安克创新科技股份有限公司 一种基于深度学习的音域平衡方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314302A (ja) * 1993-04-28 1994-11-08 Nippon Telegr & Teleph Corp <Ntt> 時系列パターン検索装置
JPH08123818A (ja) * 1994-10-25 1996-05-17 Nippon Telegr & Teleph Corp <Ntt> 音楽情報検索システム及び音楽情報検索方法
JPH11288278A (ja) * 1998-01-28 1999-10-19 Roland Europ Spa 楽曲検索方法およびその装置
JP2004094424A (ja) * 2002-08-30 2004-03-25 Toppan Printing Co Ltd 楽曲検索システムとそれに用いられるサーバ及び端末

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3433818B2 (ja) 1993-03-31 2003-08-04 日本ビクター株式会社 楽曲検索装置
JPH10134549A (ja) * 1996-10-30 1998-05-22 Nippon Columbia Co Ltd 楽曲検索装置
JP3434223B2 (ja) 1998-11-19 2003-08-04 日本電信電話株式会社 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体
JP2003005756A (ja) * 2001-06-21 2003-01-08 Shinsuke Ohira 電子機器における音楽ファイルデータの再生、配信、放送時に、希望する曲調の時間的変化を伴った選曲順リスト自動生成と、その再生・配信システム。
US20040193642A1 (en) * 2003-03-26 2004-09-30 Allen Paul G. Apparatus and method for processing digital music files
JP4695853B2 (ja) 2003-05-26 2011-06-08 パナソニック株式会社 音楽検索装置
US7231389B2 (en) 2003-05-26 2007-06-12 Matsushita Electric Industrial Co., Ltd. Music search device
JP2005038352A (ja) 2003-07-18 2005-02-10 Sony Corp 再生装置、再生システム及び再生制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314302A (ja) * 1993-04-28 1994-11-08 Nippon Telegr & Teleph Corp <Ntt> 時系列パターン検索装置
JPH08123818A (ja) * 1994-10-25 1996-05-17 Nippon Telegr & Teleph Corp <Ntt> 音楽情報検索システム及び音楽情報検索方法
JPH11288278A (ja) * 1998-01-28 1999-10-19 Roland Europ Spa 楽曲検索方法およびその装置
JP2004094424A (ja) * 2002-08-30 2004-03-25 Toppan Printing Co Ltd 楽曲検索システムとそれに用いられるサーバ及び端末

Also Published As

Publication number Publication date
US20090228475A1 (en) 2009-09-10
JPWO2007132627A1 (ja) 2009-09-24
WO2007132627A1 (ja) 2007-11-22
US8370356B2 (en) 2013-02-05

Similar Documents

Publication Publication Date Title
JP4640463B2 (ja) 再生装置、表示方法および表示プログラム
US7774078B2 (en) Method and apparatus for audio data analysis in an audio player
KR101143160B1 (ko) 기록된 음악의 브라우징 방법 및 음악 브라우징 시스템
US20090245523A1 (en) Adaptive High Fidelity Reproduction System
KR100677622B1 (ko) 오디오 파일의 이퀄라이저 설정 방법 및 이를 이용한오디오 파일 재생 방법
WO2006106631A1 (ja) 再生順変更支援ユニット、楽曲情報再生装置及び再生順変更支援方法
JP2006202127A (ja) 推奨情報提示装置及び推奨情報提示方法等
JP2005202319A (ja) 情報抽出システム及び楽曲抽出システム
JP4903791B2 (ja) 楽曲検索装置、楽曲検索方法、楽曲検索プログラムおよび楽曲検索プログラムを記録した記録媒体
JP4330174B2 (ja) 情報選択方法及び情報選択装置等
JP4337158B2 (ja) 情報提供装置及び情報提供方法
US8069177B2 (en) Information selecting method, information selecting device and so on
JP3871648B2 (ja) 曲間dj付オーディオ再生装置
JP4475597B2 (ja) 提示データ選択装置及び提示データ選択方法等
JP5598722B2 (ja) 音声再生装置、音声再生装置における再生音調整方法
JP2006048808A (ja) オーディオ装置
JP2002190160A (ja) 再生装置、再生方法およびオーディオ・データ記憶媒体
JP3828687B2 (ja) 音響機器におけるイコライザ設定装置
KR100462595B1 (ko) 미디어 부가 정보를 이용한 자동 이퀄라이져 제어 방법 및그 장치
JP6089651B2 (ja) 音処理装置、音処理装置の制御方法、プログラム
JP4434211B2 (ja) 曲データ制御装置
JP4933330B2 (ja) 楽曲再生制御装置および再生リスト作成方法
JPH0262759A (ja) 演奏装置
JPWO2005091296A1 (ja) 音情報出力装置、音情報出力方法、および音情報出力プログラム
JP2009077290A (ja) 再生装置及びイコライジング方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120105

R150 Certificate of patent or registration of utility model

Ref document number: 4903791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees