JP6690446B2 - 音響解析装置および音響解析方法 - Google Patents

音響解析装置および音響解析方法 Download PDF

Info

Publication number
JP6690446B2
JP6690446B2 JP2016136234A JP2016136234A JP6690446B2 JP 6690446 B2 JP6690446 B2 JP 6690446B2 JP 2016136234 A JP2016136234 A JP 2016136234A JP 2016136234 A JP2016136234 A JP 2016136234A JP 6690446 B2 JP6690446 B2 JP 6690446B2
Authority
JP
Japan
Prior art keywords
pitch
time
unit
musical instrument
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016136234A
Other languages
English (en)
Other versions
JP2018005188A (ja
Inventor
歩弥 内海
歩弥 内海
信也 小関
信也 小関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2016136234A priority Critical patent/JP6690446B2/ja
Publication of JP2018005188A publication Critical patent/JP2018005188A/ja
Application granted granted Critical
Publication of JP6690446B2 publication Critical patent/JP6690446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、演奏音を解析する技術に関する。
演奏音を解析する各種の技術が従来から提案されている。例えば特許文献1には、1個の音高を演奏した演奏音について音量と演奏時間とを解析する技術が開示されている。
特開2008−225005号公報
ところで、実際に楽器を演奏する場面では、音高毎に演奏時間に偏りがある。しかし、特許文献1の技術では、1個の音高を演奏した演奏音の音量と演奏時間とが解析されるに過ぎず、例えば個々の演奏者にとって練習が不足しがちな音高を把握できないから、特に楽器の練習中の演奏者に必ずしも十分な情報を提供しているとはいえない。本発明は、音高毎の演奏の傾向を評価することを目的とする。
以上の課題を解決するために、本発明の音響解析装置は、楽器の演奏音の音高を順次に特定する音高特定部と、複数の音高の各々について、所定期間内に当該音高が演奏された演奏時間を、音高特定部による特定の結果から算定する時間算定部とを具備する。以上の構成では、複数の音高の各々について、所定期間内に当該音高が演奏された演奏時間が算定される。したがって、1個の演奏音の演奏時間を算定する構成と比較して、音高毎の演奏量の過不足など、音高毎の所定期間内の演奏時間の傾向を評価することが可能である。
本発明の好適な態様において、複数の音高の各々について、時間算定部が算定した演奏時間を表示装置に表示させる表示制御部を具備する。以上の構成では、複数の音高の各々について、演奏時間が表示装置に表示されるから、演奏音の解析の結果(演奏時間)を利用者が確認できる。
本発明の好適な態様において、所定期間内における演奏音の平均ピッチを音高毎に算定する平均算定部を具備し、表示制御部は、平均算定部が算定した平均ピッチを音高毎に表示装置に表示させる。以上の構成では、平均ピッチが音高毎に表示装置に表示される。したがって、音高毎の所定期間内のピッチの傾向を評価することが可能である。ひいては、例えば演奏技術またはチューニングが不足している音高を利用者は把握することができる。
本発明の好適な態様において、時間算定部は、音高特定部が特定した音高と、当該特定した音高からの遷移後の音高または当該特定した音高に対する遷移前の音高との組合せ毎に、当該特定した音高が所定期間内に演奏された区分時間を算定し、表示制御部は、組合せ毎に区分時間を表示装置に表示させる。以上の構成では、特定された音高と、当該特定された音高からの遷移後の音高または当該特定された音高に対する遷移前の音高との組合せ毎に、当該特定された音高が所定期間内に演奏された区分時間が表示装置に表示される。したがって、利用者は、特定された音高と、当該特定された音高からの遷移後の音高または当該特定された音高に対する遷移前の音高との組合せ毎に、特定された音高が所定間内に演奏された区分時間の傾向を把握することが可能である。
本発明の好適な態様において、表示制御部は、演奏時間について演奏者が目標とする目標時間を表示装置に表示させる。以上の構成では、複数の音高の各々についての演奏時間と目標時間とが表示装置に表示される。したがって、目標時間が表示されない構成と比較して、演奏者が目標時間を確認しながら演奏の練習をすることができる。
本発明の好適な態様において、演奏音の解析により楽器の種類を特定する楽器特定部を具備し、表示制御部は、楽器特定部が特定した種類を表示装置に表示させる。以上の構成では、演奏音の解析により特定された楽器の種類が表示装置に表示される。したがって、例えば利用者が入力した楽器の種類が表示される構成と比較して、演奏音の解析により特定した楽器の種類が表示されるので、利用者が楽器の種類を入力する手間が軽減される。
本発明の好適な態様において、演奏音の解析により複数の楽器の種類を特定する楽器特定部を具備し、音高特定部は、楽器特定部が特定した複数の楽器の種類の各々について、音高を特定し、時間算定部は、楽器特定部が特定した複数の楽器の種類の各々について、演奏時間を算定し、表示制御部は、楽器特定部が特定した楽器の種類毎に、時間算定部が算定した演奏時間を表示装置に表示させる。以上の構成では、複数の音高の各々について、所定期間内に当該音高が演奏された演奏時間が、複数の楽器の種類毎に算定される。したがって、演奏音に複数の楽器の各々が発音した楽器音が含まれている場合でも、演奏時間の傾向を楽器の種類毎に適切に評価することができる。また、演奏時間が楽器の種類毎に表示装置に表示されるので、各楽器の演奏者は、演奏時間の傾向を楽器の種類毎に容易に把握することが可能である。
本発明は、音響を解析する方法(音響解析方法)としても特定され得る。本発明の音響解析方法では、コンピュータが、楽器の演奏音の音高を順次に特定し、複数の音高の各々について、所定期間内に当該音高が演奏された演奏時間を、特定の結果から算定する。以上の方法によれば、本発明に係る音響解析装置と同様の作用および効果が実現される。
本発明の第1実施形態に係る音響解析装置の構成図である。 制御装置の機能に着目した構成図である。 ピッチの時間的な変化の説明図である。 解析結果の表示例である。 制御装置の動作のフローチャートである。 本発明の第2実施形態に係る音響解析装置の構成図である。 制御装置の機能に着目した構成図である。 解析結果の表示例である。 制御装置の動作のフローチャートである。 変形例に係る解析結果と目標時間との表示例である。 変形例に係る解析結果の表示例である。
<第1実施形態>
図1は、本発明の第1実施形態に係る音響解析装置10の構成図である。音響解析装置10は、楽器20の演奏音を解析する装置であり、例えばスマートフォンまたはタブレット等の可搬型の情報処理装置で実現される。図1に例示される通り、第1実施形態の音響解析装置10は、収音装置110と記憶装置130と操作装置150と表示装置170と制御装置190とを具備する。
収音装置110は、周囲の音響を収音する音響機器(マイクロホン)である。具体的には、収音装置110は、楽器20の演奏音を収音して時間波形を表す音響信号Sを生成する。楽器20は、例えば、管楽器、弦楽器および鍵盤楽器である。収音装置110が生成した音響信号Sは、制御装置190に供給される。なお、音響信号Sをアナログからデジタルに変換するA/D変換器の図示は便宜的に省略した。
記憶装置130は、磁気記録媒体または半導体記録媒体等の公知の記録媒体であり、制御装置190が実行するプログラムと制御装置190が使用する各種のデータとを記憶する。例えば、収音装置110が生成した音響信号Sおよび演奏音の解析結果が記憶装置130に記憶される。なお、音響解析装置10とは別体で記憶装置130(クラウドストレージ)を設置し、制御装置190が通信網を介して記憶装置130に対する読出または書込を実行することも可能である。すなわち、記憶装置130は音響解析装置10から省略され得る。
操作装置150は、音響解析装置10に対する利用者(例えば演奏者または指導者)からの指示を受け付ける入力機器であり、例えば利用者が操作する複数の操作子を含んで構成される。なお、表示装置170と一体に構成されたタッチパネルを操作装置150として採用することも可能である。利用者は、解析対象の演奏音の収音開始および収音終了の指示を操作装置150に入力する。表示装置170は、例えば液晶表示パネルであり、制御装置190(表示制御部98)から指示された画像を表示する。
制御装置190は、例えばCPU(Central Processing Unit)等の処理装置で構成され、記憶装置130に記憶されたプログラムを実行することで、図1に例示される通り、収音装置110が収音した演奏音を解析および表示するための複数の要素(音高特定部92,時間算定部94,平均算定部96,表示制御部98)として機能する。なお、制御装置190の一部の機能を専用の電子回路で実現した構成、または、制御装置190の機能を複数の装置に分散した構成も採用され得る。
図2は、制御装置190の機能に着目した構成図である。音高特定部92は、楽器20の演奏音の音高Xを順次に特定する。第1実施形態の音高特定部92は、平均律を構成する複数の音階音(C,C#,……)の何れかを音高Xとして特定する。具体的には、音高特定部92は、周波数軸上の相異なる周波数帯域(以下「音高範囲」という)Rに対応する複数(N個)の音高のうち、音響信号Sが表す演奏音のピッチ(基本周波数[Hz])Pが属する音高範囲Rに対応する音高Xを特定する。例えば、音高X[A4]の音高範囲R[A4]は、図3に例示される通り、当該音高X[A4]の標準的なピッチPである440Hzを含む。楽器20の演奏者が、例えば音高X[A4]のピッチ(440Hz)を意図して演奏した場合でも、演奏技術またはチューニングの不足等の原因により、実際に発音されるピッチPには誤差が生じ得る。そこで、第1実施形態では、上述した通り、所定幅の音高範囲Rを各音高Xに割当てる。
図2の音高特定部92は、ピッチ検出部21と特定処理部23とを含む。ピッチ検出部21は、音響信号Sが表す演奏音のピッチPを所定長の単位期間(フレーム)毎に順次に検出する。図3には、ピッチ検出部21が検出したピッチPの時間的な変化が図示されている。なお、ピッチPの検出には、自己相関関数を利用して音響信号Sの周期性を解析する方法など、公知の技術が任意に採用され得る。特定処理部23は、N個の音高のうち、ピッチ検出部21が検出したピッチPを含む音高Xを単位期間毎に特定する。具体的には、特定処理部23は、図3に例示される演奏音について、区間I1に含まれる各単位期間では音高X[G#4]を特定し、区間I2に含まれる各単位期間では音高X[A4]を特定し、区間I3に含まれる単位期間では音高X[G#4]を特定する。つまり、区間Iは、演奏者が一定の音高Xを演奏している範囲である。図3で例示する演奏音は、区間I1と区間I2と区間I3とでピッチPを順次に遷移させて演奏された演奏音である。
図2の時間算定部94は、区間算定部41と合計算定部43とを具備し、N個の音高の各々について、所定期間(以下「解析期間」という)内に当該音高Xが演奏された演奏時間Tを、音高特定部92による特定の結果から算定する。解析期間は、演奏音の解析の対象となる任意の期間である。第1実施形態では、例えば利用者が解析対象の演奏音の収音開始の指示を操作装置150に入力した時から、収音終了の指示を操作装置150に入力するまでの期間を解析期間として画定する。区間算定部41は、解析期間内に演奏された演奏音に含まれる複数の区間Iの各々について、区間Iの時間長(以下「区間時間」という)t[I]を算定する。区間算定部41は、例えば、図3の演奏音について、区間I1では区間時間t[I1]を「1.3秒」と算定し、区間I2では区間時間t[I2]を「2秒」と算定し、区間I3では区間時間t[I3]を「1.5秒」と算定する。
図2の合計算定部43は、音高Xの候補となるN個の音高の各々について、当該音高に対応する各区間Iの区間時間t[I]を解析期間内にわたり合算することで、当該音高の演奏時間Tを算定する。具体的には、合計算定部43は、音高特定部92が特定した複数の音高Xの各々については、区間算定部41が算定した区間時間t[I]を合算し、音高特定部92が特定しなかった各音高(すなわち演奏されなかった音高)については、「0秒」と算定する。合計算定部43は、例えば、図3で例示する演奏音の場合、音高X[G#4]については、音高X[G#4]が特定された区間時間t[I1]と区間時間t[I3]との合算により「2.8秒」と算定し、音高X[A4]については、音高X[A4]が特定された区間時間t[I2]の「2秒」と算定する。また、合計算定部43は、解析期間内に演奏されなかったその他複数の音高の各々については、「0秒」と算定する。
図2の平均算定部96は、解析期間内における演奏音のピッチPの平均(以下「平均ピッチ」という)Paveを、音高特定部92が特定した(つまり演奏音に含まれる)音高X毎に算定する。具体的には、平均算定部96は、音高特定部92が特定した、単位期間毎のピッチPおよび音高Xから、音高X毎の平均ピッチPaveを算定する。
表示制御部98は、N個の音高の各々について、時間算定部94が算定した演奏時間Tを表示装置170に表示させる。具体的には、表示制御部98は、図4に例示される通り、音高軸(縦軸)と時間軸(横軸)とが設定された領域内に、音高毎に演奏時間Tを指示棒Vの長さにより表わした棒グラフの画像を表示装置170に表示させる。また、表示制御部98は、平均算定部96が算定した平均ピッチPaveを、音高特定部92が特定した音高X毎に表示装置170に表示させる。具体的には、各音高Xに対応する指示棒Vの右端部付近に当該音高Xの平均ピッチPaveが表示される。例えば、音高X[B4]については、図4に例示される通り、指示棒Vの長さで演奏時間T[B4]が表わされ、指示棒Vの右端部には音高X[B4]の平均ピッチPave[B4](493.92Hz)が表示される。なお、平均ピッチPaveをセント(cent)単位で表示することも可能である。楽器20の演奏者は、N個の音高の各々が解析期間内に演奏された演奏時間Tと、解析期間内に演奏がされた複数の音高Xの各々の平均ピッチPaveとを確認することができる。
図5は、制御装置190の動作のフローチャートである。解析対象となる演奏音は、利用者が収音開始の指示をした時から収音終了の指示をするまでの間(つまり解析期間)に収音装置110により収音される。収音装置110が演奏音から生成した音響信号Sは記憶装置130に記憶される。利用者からの収音終了の指示を契機として図5の処理が開始される。音高特定部92(ピッチ検出部21)は、記憶装置130に記憶された音響信号Sが表す演奏音のピッチPを単位期間毎に順次に検出する(SA1)。音高特定部92(特定処理部23)は、N個の音高のうち、ピッチ検出部21が検出したピッチPを含む音高Xを単位期間毎に特定する(SA2)。ステップSA1とステップSA2とは、音高特定部92が、楽器20の演奏音の音高Xを順次に特定する処理である。なお、ピッチPの検出の周期と音高Xの特定の周期とを相違させることも可能である。
時間算定部94(区間算定部41)は、解析期間内に演奏された演奏音に含まれる複数の区間Iの各々について区間時間t[I]を算定する(SA3)。時間算定部94(合計算定部43)は、N個の音高の各々について、当該音高Xに対応する各区間Iの区間時間t[I]を解析期間内にわたり合算することで、当該音高Xの演奏時間Tを算定する(SA4)。ステップSA3とステップSA4とは、時間算定部94が、N個の音高の各々について、解析期間内に当該音高Xが演奏された演奏時間Tを、音高特定部92による特定の結果から算定する処理である。平均算定部96は、解析期間内における演奏音の平均ピッチPaveを、音高特定部92が特定した音高X毎に算定する(SA5)。表示制御部98は、時間算定部94が算定した演奏時間Tと、平均算定部96が算定した平均ピッチPaveとを表示装置170に表示させる(SA6)。なお、演奏時間Tを算定する処理(SA3およびSA4)と平均ピッチPaveを算定する処理(SA5)との順番の前後は問わない。
以上の説明から理解される通り、第1実施形態では、N個の音高の各々について、解析期間内に当該音高が演奏された演奏時間Tが算定される。したがって、1個の音高を演奏した演奏音の演奏時間を算定する構成と比較して、音高毎の解析期間内の演奏時間Tの傾向を評価することが可能である。ひいては、楽器20の演奏者は、演奏時間Tを確認することで、解析期間内の練習量の過不足を音高毎に把握することができる。また、第1実施形態では、解析期間内に演奏された演奏音に含まれる複数の音高Xの各々について、平均ピッチPaveが算定される。したがって、音高X毎の解析期間内の平均ピッチPaveの傾向を評価することが可能である。ひいては、楽器20の演奏者は、演奏技術またはチューニングが不足している音高Xを把握することができる。
<第2実施形態>
本発明の第2実施形態について説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図6は、第2実施形態に係る音響解析装置10の構成図である。第1実施形態では、1台の楽器20の演奏音を音響解析装置10が解析する構成を例示した。第2実施形態の音響解析装置10は、図6に例示される通り、複数の楽器20の演奏による演奏音を解析する。
第2実施形態の収音装置110は、複数の楽器20による演奏音を収音して時間波形を表す音響信号Sを生成する。第2実施形態の収音装置110が収音する演奏音には、複数の楽器20の各々が発音した楽器音が含まれている。第2実施形態の制御装置190は、図6に例示される通り、第1実施形態と同様に、音高特定部92、時間算定部94、平均算定部96、および表示制御部98として機能するほか、楽器の種類を特定する楽器特定部91として機能する。楽器の種類は、例えば発音源の名称(具体的には楽器名や演奏パート名)である。第2実施形態では、ピアノおよびトランペット等の楽器名を楽器の種類として例示する。
図7は、第2実施形態に係る制御装置190の機能に着目した構成図である。楽器特定部91は、図7に例示される通り、信号分離部11と種類特定部13とを具備し、演奏音の解析により複数の楽器の種類を特定する。信号分離部11は、収音装置110が生成した音響信号Sから、複数の楽器音の各々が表す楽器信号を生成する。楽器信号の生成には、公知の技術が任意に採用され得る。例えば、演奏音の音域が楽器20毎に相違する場合には、音響信号Sを音域毎に分割することで楽器信号を生成することが可能である。また、収音装置110に対する各楽器20の位置の相違を利用した音源分離により複数の楽器信号を生成することも可能である。
種類特定部13は、信号分離部11が生成した複数の楽器信号の各々が表す楽器音に対応する楽器の種類を特定する。具体的には、種類特定部13は、楽器信号から解析される特徴量を、相異なる楽器の種類について事前に用意された参照用の複数の特徴量の各々と比較し、参照用の複数の特徴量のうち楽器信号の特徴量に類似する特徴量に対応する楽器の種類を楽器の種類として特定する。種類の特定に利用される特徴量としては、例えば楽器20の演奏音の音色の特性を表すMFCC(Mel-Frequency Cepstrum Coefficient)が好適である。楽器の種類の特定には、例えばSVM(Support Vector Machine)等の公知のパターン認識技術が任意に採用され得る。
第2実施形態の音高特定部92は、楽器特定部91が特定した複数の楽器の種類の各々について音高Xを特定する。具体的には、音高特定部92は、楽器特定部91が生成した複数の楽器信号の各々が表わす楽器音について、第1実施形態と同様に、音高Xを特定する。第2実施形態の時間算定部94は、楽器特定部91が特定した複数の楽器の種類の各々について、演奏時間Tを算定する。具体的には、時間算定部94は、楽器特定部91が生成した複数の楽器信号の各々が表わす楽器音について、第1実施形態と同様に、演奏時間Tを算定する。第2実施形態の平均算定部96は、平均ピッチPaveを音高特定部92が特定した音高X毎に算定する。具体的には、平均算定部96は、楽器特定部91が生成した複数の楽器信号の各々が表わす楽器音について、第1実施形態と同様に、平均ピッチPaveを算定する。
第2実施形態の表示制御部98は、楽器特定部91が特定した種類(つまり楽器名)を表示装置170に表示させる。具体的には、表示制御部98は、図8に例示される通り、楽器特定部91が特定した種類A毎に、当該種類の楽器音について算定した演奏時間Tおよび平均ピッチPaveを示す画像を表示装置170に表示させる。
図9は、制御装置190の動作のフローチャートである。利用者からの収音終了の指示を契機として図9の処理が開始される。楽器特定部91(信号分離部11)は、記憶装置130に記憶された音響信号Sから、複数の楽器音の各々の楽器信号を生成する(SB1)。楽器特定部91(種類特定部13)は、楽器特定部91(信号分離部11)が生成した複数の楽器信号の各々が表す演奏音に対応する楽器の種類Aを特定する(SB2)。ステップSB1とステップSB2とは、楽器特定部91が、演奏音の解析により複数の楽器の種類Aを特定する処理である。楽器特定部91(信号分離部11)が生成した複数の楽器信号の各々について、第1実施形態と同様に、ステップSA1〜ステップSA5までの処理を行う。表示制御部98は、楽器特定部91(種類特定部13)が特定した種類A毎に、複数の楽器音の各々について算定した演奏時間Tおよび平均ピッチPaveを表示装置170に表示させる(SA6)。
以上の説明から理解される通り、第2実施形態でも第1実施形態と同様の効果が実現される。第2実施形態では特に、演奏音に複数の楽器20の楽器音が含まれている場合でも、演奏時間Tおよび平均ピッチPaveの傾向を楽器の種類A毎に適切に評価することができる。また、第2実施形態では、演奏時間Tと平均ピッチPaveとが楽器の種類A毎に表示装置170に表示されるので、各楽器20の演奏者は、演奏時間Tおよび平均ピッチPaveの傾向を楽器の種類A毎に容易に把握することが可能である。
<変形例>
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を適宜に併合することも可能である。
(1)前述の各形態では、演奏時間Tおよび平均ピッチPave(第2実施形態では楽器の種類Aも)を表示装置170に表示させたが、表示装置170に表示させる情報は以上の例示に限定されない。例えば、表示制御部98は、音高毎の演奏時間Tについて演奏者が目標とする目標時間を表示装置170に表示させることも可能である。表示制御部98は、操作装置150に利用者が入力した目標時間を受け付けて表示装置170に表示させる。例えば、表示制御部98は、図10に例示される通り、N個の音高に共通する目標時間を、時間軸上の垂線である基準線Oとして表示させる。時間軸上での基準線Oの位置により目標時間を表わす。各音高Xの演奏時間Tが目標時間を達成した時に、当該音高Xの指示棒Vが基準線Oに交差する。なお、目標時間の表示方法は任意であり、例えば数値で表示させる構成、または、音高毎に個別に設定して表示させる構成も採用され得る。表示制御部98が目標時間を表示装置170に表示させる構成によれば、表示制御部98が目標時間を表示装置170に表示させない構成と比較して、演奏者が目標時間を確認しながら演奏の練習をすることができる。
(2)前述の各形態では、解析期間は、利用者が演奏音の解析開始の指示を操作装置150に入力した時から、解析終了の指示を操作装置150に入力するまでの期間としたが、例えば「1日」または「1ヶ月」といった予め決められた期間を解析期間とすることも可能である。
(3)前述の各形態では、音響解析装置10を単体の装置として実現したが、相互に別体で構成された複数の装置でも実現され得る。例えば、携帯電話機またはスマートフォン等の端末装置と通信可能なサーバ装置で音響解析装置10を実現することも可能である。具体的には、音響解析装置10は、楽器20の演奏音を表す音響信号Sを端末装置から受信し、前述の各形態で例示した解析を当該音響信号Sについて実行する。そして、音響解析装置10の表示制御部98は、解析の結果を表す画像の画像データを生成して要求元の端末装置に送信する。端末装置の表示装置は、音響解析装置10から受信した画像データに応じた画像(図4,図8または図10に例示した画像)を表示する。以上の例示から理解される通り、表示制御部98は、音響解析装置10が具備する表示装置170に解析結果を表示させる要素と、音響解析装置10とは別体の表示装置(例えば端末装置の表示装置)に解析結果を表示させる要素との双方を包含する。
(4)前述の各形態では、解析結果を表わす解析データを音響解析装置10の記憶装置130に記憶させたが、解析データの記憶先は以上の例示に限定されない。例えば、解析結果を表す解析データを可搬型の記録媒体に格納することも可能である。解析データは、演奏時間Tと平均ピッチPaveとを音高毎に指定するデータである。音響解析装置10とは別個の情報処理装置に記録媒体を装着することで解析データが表す解析結果を表示させることが可能である。以上の例示から理解される通り、本発明の音響解析装置10にとって表示制御部98は必須ではない。ただし、音響解析装置10が表示制御部98を具備する前述の構成によれば、利用者が演奏音の解析の結果(演奏時間Tおよび平均ピッチPave)を視覚的および直観的に確認できて利便性が高いという利点がある。
(5)前述の各形態では、音響解析装置10は平均算定部96を具備していたが、本発明の音響解析装置10にとって平均算定部96は必須ではない。ただし、平均算定部96を具備する前述の各形態によれば、複数の音高Xの各々について、平均ピッチPaveが算定される。したがって、音高X毎の解析期間内のピッチPの傾向を評価することが可能である。
(6)前述の各形態では、音響解析装置10は、楽器20の演奏音を収音して収音装置110が生成した音響信号Sを解析したが、音響解析装置10が解析するデータは以上の例示に限定されない。例えば、弦等の発音源の振動を検出するピックアップを内蔵した電気楽器が生成する電気信号、または、MIDI(Musical Instrument Digital Interface)楽器が生成するMIDIデータを解析することも可能である。
(7)第1実施形態では、音響解析装置10は、演奏音の解析により演奏時間Tと平均ピッチPaveとを算定したが、演奏時間Tおよび平均ピッチPaveの算定のほかに、第2実施形態と同様の方法により楽器の種類Aを特定することも可能である。具体的には、音響解析装置10は、演奏音の解析により楽器の種類Aを特定する楽器特定部91を具備し、表示制御部98は、楽器特定部91が特定した種類Aを表示装置170に表示させる。したがって、例えば利用者が入力した楽器の種類Aが表示される構成と比較して、演奏音の解析により特定した楽器の種類Aが表示されるので、利用者が楽器の種類Aを入力する手間が低減される。
また、音響解析装置10は、演奏時間Tおよび平均ピッチPaveの算定のほかに、音高X毎にピッチPの散布度を算定することも可能である。散布度は、ピッチPの散らばりの度合を示す統計的な指標であり、例えば偏差または分散である。以上の構成では、制御装置190が算定した散布度は、表示制御部98により表示装置170に表示される。表示制御部98は、例えば各平均ピッチPaveの右端部に散布度を表示させる。なお、表示制御部98は、散布度に応じて図4の指示棒Vの太さ、または表示態様(例えば色相,彩度または階調)を変化させることで間接的に散布度を表示させることも可能である。以上の説明から理解される通り、散布度の表示の態様は任意である。散布度を算定する構成によれば、解析期間内に実際に発音されるピッチPのばらつきの傾向を音高X毎に評価することが可能である。したがって、利用者はピッチPのばらつきの傾向を音高X毎に確認しながら演奏の練習をすることができる。
(8)前述の各形態では、時間算定部94は、N個の音高の各々について、解析期間内に当該音高Xが演奏された演奏時間Tを算定したが、時間算定部94が算定する値は演奏時間Tに限定されない。例えば、時間算定部94は、音高特定部92が特定した音高Xと当該特定した音高Xからの遷移後の音高Xとの組合せ毎に、当該特定した音高Xが解析期間内に演奏された区分時間TWを算定することも可能である。以上の構成において、時間算定部94(区間算定部41)は、前述の各形態と同様に、区間I毎に区間時間t[I]を算定する。
また、時間算定部94(合計算定部43)は、区間Iの音高Xと当該区間Iの音高Xからの遷移後の音高Xとの組合せを区間I毎に特定し、当該組合せ毎に区間時間t[I]を解析期間内にわたり合算することで、特定された音高Xの区分時間TWを算定する。例えば、図3の区間I1の場合、区間I1の音高X[G#4]と区間I2(遷移後)の音高X[A4]との組合せ(「G#4→A4」)が特定される。時間算定部94(合計算定部43)は、解析期間内に特定された組合せ「G#4→A4」の区間時間t[I]を合算することで、音高X[G#4]の区分時間TW[G#4→A4]を算定する。なお、特定された音高Xについての各区分時間TWを合算すると、当該特定された音高Xの演奏時間Tと合致する。
以上の説明では、音高特定部92が特定した音高Xと当該音高Xからの遷移後の音高Xとの組合せ毎に区分時間TWを算定したが、音高特定部92が特定した音高Xと当該音高Xへの遷移前の音高Xとの組合せ毎に区分時間TWを算定することも可能である。時間算定部94(合計算定部43)は、区間Iの音高Xと当該区間Iの音高Xに対する遷移前の音高Xとの組合せを区間I毎に特定し、当該組合せ毎に区間時間t[I]を解析期間内にわたり合算することで、特定した音高Xの区分時間TWを算定する。例えば、図3の区間I2の場合、区間I1(遷移前)の音高X[G#4]と区間I2の音高X[A4]との組合せ(「G#4→A4」)が特定される。時間算定部94(合計算定部43)は、解析期間内に特定された組合せ「G#4→A4」の区間時間t[I]を合算することで、音高X[A4]の区分時間TW[G#4→A4]を算定する。以上の説明から理解される通り、本変形例の時間算定部94は、音高特定部92が特定した音高Xと、当該特定した音高Xからの遷移後の音高Xまたは当該特定した音高Xに対する遷移前の音高Xとの組合せ毎に、当該特定した音高Xが所定期間内に演奏された区分時間TWを算定する要素として包括的に表現される。
表示制御部98は、組合せ毎に区分時間TWを表示装置170に表示させる。具体的には、表示制御部98は、特定された音高Xと当該音高Xからの遷移後の音高Xとの組合せについては、図11に例示される通り、例えば音高X[C4]については、音高X[C4]の演奏時間Tを示す指示棒Vの下に、指示棒VWの長さにより表わした区分時間TWを組合せ毎に表示させる。表示制御部98は、特定された音高Xと当該音高Xに対する遷移前の音高Xとの組合せ毎の区分時間TWについても、特定された音高Xと当該音高Xからの遷移後の音高Xとの組合せ毎の区分時間TWと同様に表示させる。以上に例示した本変形例の構成によれば、利用者は、特定された音高Xと、当該特定された音高Xからの遷移後の音高Xまたは当該特定された音高Xに対する遷移前の音高Xとの組合せ毎に、特定された音高Xが解析期間内に演奏された区分時間TWの傾向を把握することが可能である。
(9)前述の各形態では、音高は、平均律を構成する複数の音階音(C,C#,……)の何れかとして特定されたが、演奏時間Tを計数する単位となる音高は、以上の例示に限定されない。例えば、低音域と中音域と高音域の何れかとして特定される構成、または、1/1オクターブを単位とした複数の相異なる周波数帯域の何れかとして特定される構成も可能である。以上の説明から理解される通り、音高の総数と各音高が表わす周波数および音高範囲Rとは任意である。
(10)前述の各形態では、区間I内においてピッチPが安定する場合を想定したが、実際の楽器20の演奏音では、例えば発音の直後や音高Xの遷移の過程においてピッチPが不安定に変動し得る。そこで、演奏音のピッチPが安定的に維持される区間を区間Iとして演奏時間Tの計数に加味することも可能である。ピッチPが安定する区間とは、例えばピッチPが所定の範囲内に維持される一連の区間、または、例えばピッチPの分散値が所定の閾値を下回る一連の区間である。
(11)前述の各形態で例示した音響解析装置10は、制御装置190とプログラムとの協働により好適に実現される。本発明の好適な態様に係るプログラムは、楽器20の演奏音の音高Xを順次に特定する音高特定部92、および、複数の音高の各々について、所定期間内に当該音高が演奏された演奏時間Tを、音高特定部92による特定の結果から算定する時間算定部94、としてコンピュータ(例えば制御装置190)を機能させる。このプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。
(12)本発明は、前述の各形態に係る音響解析装置10の動作方法(音響解析方法)としても特定され得る。具体的には、本発明の好適な態様の音響解析方法においては、コンピュータ(単数または複数のコンピュータ)が、楽器20の演奏音の音高Xを順次に特定し(SA1,SA2)、複数の音高Xの各々について、解析期間内に当該音高Xが演奏された演奏時間Tを、音高Xの特定の結果から算定する(SA3,SA4)。
10……音響解析装置、20……楽器、110……収音装置、130……記憶装置、150……操作装置、170……表示装置、190……制御装置、21……ピッチ検出部、23……特定処理部、41……区間算定部、43……合計算定部、91……楽器特定部、92……音高特定部、94……時間算定部、96……平均算定部、98……表示制御部、11……信号分離部、13……種類特定部。

Claims (8)

  1. 楽器の演奏音の音高を順次に特定する音高特定部と、
    複数の音高の各々について、所定期間内に当該音高が演奏された演奏時間を、前記音高特定部による特定の結果から算定する時間算定部と
    を具備する音響解析装置。
  2. 前記複数の音高の各々について、前記時間算定部が算定した前記演奏時間を表示装置に表示させる表示制御部
    を具備する請求項1の音響解析装置。
  3. 前記所定期間内における前記演奏音の平均ピッチを前記音高毎に算定する平均算定部を具備し、
    前記表示制御部は、前記平均算定部が算定した前記平均ピッチを前記音高毎に前記表示装置に表示させる
    請求項2の音響解析装置。
  4. 前記時間算定部は、前記音高特定部が特定した音高と、当該特定した音高からの遷移後の音高または当該特定した音高に対する遷移前の音高との組合せ毎に、当該特定した音高が前記所定期間内に演奏された区分時間を算定し、
    前記表示制御部は、前記組合せ毎に前記区分時間を前記表示装置に表示させる
    請求項2または請求項3の音響解析装置。
  5. 前記表示制御部は、前記演奏時間について演奏者が目標とする目標時間を前記表示装置に表示させる
    請求項2から請求項4の何れかの音響解析装置。
  6. 前記演奏音の解析により前記楽器の種類を特定する楽器特定部を具備し、
    前記表示制御部は、前記楽器特定部が特定した種類を前記表示装置に表示させる
    請求項2から請求項5の何れかの音響解析装置。
  7. 前記演奏音の解析により複数の楽器の種類を特定する楽器特定部を具備し、
    前記音高特定部は、前記楽器特定部が特定した複数の楽器の種類の各々について、前記音高を特定し、
    前記時間算定部は、前記楽器特定部が特定した複数の楽器の種類の各々について、前記演奏時間を算定し、
    前記表示制御部は、前記楽器特定部が特定した楽器の種類毎に、前記時間算定部が算定した演奏時間を前記表示装置に表示させる
    請求項2から請求項5の何れかの音響解析装置。
  8. コンピュータが、
    楽器の演奏音の音高を順次に特定し、
    複数の音高の各々について、所定期間内に当該音高が演奏された演奏時間を、前記特定の結果から算定する
    音響解析方法。
JP2016136234A 2016-07-08 2016-07-08 音響解析装置および音響解析方法 Active JP6690446B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016136234A JP6690446B2 (ja) 2016-07-08 2016-07-08 音響解析装置および音響解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016136234A JP6690446B2 (ja) 2016-07-08 2016-07-08 音響解析装置および音響解析方法

Publications (2)

Publication Number Publication Date
JP2018005188A JP2018005188A (ja) 2018-01-11
JP6690446B2 true JP6690446B2 (ja) 2020-04-28

Family

ID=60947905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136234A Active JP6690446B2 (ja) 2016-07-08 2016-07-08 音響解析装置および音響解析方法

Country Status (1)

Country Link
JP (1) JP6690446B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102118189B1 (ko) * 2018-04-17 2020-06-02 장원영 미디어 컨텐츠 서비스 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11202856A (ja) * 1998-01-12 1999-07-30 Yamaha Corp 鍵盤楽器の操作回数記録装置および鍵盤楽器の操作回数記録プログラム記録媒体
US7705231B2 (en) * 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies

Also Published As

Publication number Publication date
JP2018005188A (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
Yamada et al. A rhythm practice support system with annotation-free real-time onset detection
JP4767691B2 (ja) テンポ検出装置、コード名検出装置及びプログラム
JP4916947B2 (ja) リズム検出装置及びリズム検出用コンピュータ・プログラム
JP2019056871A (ja) 再生制御方法および再生制御装置
JP6690181B2 (ja) 楽音評価装置及び評価基準生成装置
JP5229998B2 (ja) コード名検出装置及びコード名検出用プログラム
CN109190879B (zh) 一种训练改编水平评价模型、评价改编水平的方法及装置
JP6631199B2 (ja) 技法判定装置
JP6481319B2 (ja) 楽譜表示装置および楽譜表示方法
JP2021128297A (ja) 推定モデル構築方法、演奏解析方法、推定モデル構築装置、演奏解析装置、およびプログラム
JP6690446B2 (ja) 音響解析装置および音響解析方法
JP6281211B2 (ja) 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム
JP6102076B2 (ja) 評価装置
JP2016184112A (ja) アンサンブル評価装置
JP5005445B2 (ja) コード名検出装置及びコード名検出用プログラム
JP5153517B2 (ja) コード名検出装置及びコード名検出用コンピュータ・プログラム
JP6788560B2 (ja) 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置
JP2013200455A (ja) 演奏練習支援システム
JP2014048469A (ja) 楽器演奏評価装置、カラオケ装置、楽器演奏評価システム
JP5843074B2 (ja) 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP2013003205A (ja) 楽譜表示装置、楽譜表示プログラム及び楽譜
JP2017203931A (ja) 音響特性測定装置及び音響特性測定方法
JP2012194387A (ja) 抑揚判定装置
JP6677041B2 (ja) 演奏分析装置及びプログラム
JP6119422B2 (ja) 情報処理装置及び楽器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200323

R151 Written notification of patent or utility model registration

Ref document number: 6690446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151