JP6420345B2 - 音源評価方法、これに使用される演奏情報分析方法及び記録媒体並びにこれを利用した音源の評価装置 - Google Patents

音源評価方法、これに使用される演奏情報分析方法及び記録媒体並びにこれを利用した音源の評価装置 Download PDF

Info

Publication number
JP6420345B2
JP6420345B2 JP2016538484A JP2016538484A JP6420345B2 JP 6420345 B2 JP6420345 B2 JP 6420345B2 JP 2016538484 A JP2016538484 A JP 2016538484A JP 2016538484 A JP2016538484 A JP 2016538484A JP 6420345 B2 JP6420345 B2 JP 6420345B2
Authority
JP
Japan
Prior art keywords
sound source
performance
sound
test
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016538484A
Other languages
English (en)
Other versions
JP2016534406A5 (ja
JP2016534406A (ja
Inventor
イ・ソンホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2016534406A publication Critical patent/JP2016534406A/ja
Publication of JP2016534406A5 publication Critical patent/JP2016534406A5/ja
Application granted granted Critical
Publication of JP6420345B2 publication Critical patent/JP6420345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/02Boards or like means for providing an indication of notes
    • G09B15/023Electrically operated
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/02Boards or like means for providing an indication of notes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Entrepreneurship & Innovation (AREA)

Description

音源を記録し評価する方法及び装置に関する。
楽器を上手に扱う者でも、新しい曲に対しては繰り返された練習演奏を通じて曲を体得することが一般的である。練習者は、新しい曲に対して楽譜に基づいて間違いなしに演奏を終えることを目標にする。後に上手に曲を演奏することができるようになれば、演奏者の曲に対する意図を反映して、自分流の曲解釈を演奏に反映するようになる。当該音楽ジャンルに趣味を有する者であるか、専門音楽人である場合には、原曲から大きく外れない範囲内で微妙に変化する独創性ある音楽演奏に新しい感動を得て、その価値を高く認める。
新しい曲を練習する初心者の場合には、間違って演奏した部分をレッスン教師が指摘し、正しい表現方法の教習を受ける段階が必要である。このようなレッスン教師による教習は、繰り返して行われることによって、教習期間が長く、且つ高い費用が所要されるという短所がある。
このようなレッスン教師の教習を代替しようとする研究が行われて来た。従来の技術のうち、演奏者が演奏した音楽を電気的信号で分析し、これを楽譜と対比することによって、演奏した音楽が楽譜と一致するか否かを鑑別する教習装置がある。
このような教習装置は、楽譜を基礎にするので、巨匠の芸術的演奏性向や原本の基本的な型から外れない水準での微妙な変形程度まで教習することができないという限界がある。すなわち、原曲に対する個人の独創的な理解を排除し、ひたすら楽譜と完全に一致することだけを強要する教習方法になるので、専門レッスン教授が提供する微妙な変奏による芸術的価値に対する判断が加えられない教習が行われる。
韓国公開特許2001−0018740には、リアルタイム音楽教習システム及びそのシステムでの音楽情報処理方法について開示し、韓国公開特許1998−0032961は、音楽教習システム、音楽教習方法、及びこの方法を実現するためのプログラムを記録した記録媒体について開示する。
韓国公開特許公報第2001−0018740号 韓国公開特許公報第1998−0032961号
本発明による一実施形態は、演奏した音楽の理解をさらに深くし、具体的に、目標とする曲に対する専門演奏者の多様な解釈を定量的に提示することができる。
新しい曲に対する演奏を学ぶ初心者には、従来の技術より改善した教習手段が提示される。
その他、本発明の詳細な目的は、以下に記載する具体的な内容を通じてこの技術分野における専門家や研究者に自明に把握され理解されることができる。
上記課題を解決するために、本発明の一実施形態による音源評価方法は、提供されたテスト音源で音源特性を演奏時間全体にわたって定量化して獲得したテスト演奏情報と、検証された複数の音源で前記演奏時間全体にわたって前記音源特性と同じ種類の音源特性を抽出して統計分析した基準演奏情報とを比較し、特定の演奏時間で前記基準演奏情報の音源特性に対する前記テスト演奏情報の音源特性の差異を示す独創性指数を算出する。
ここで、音源特性は、音の高さ、拍子、強弱程度、または奏法情報のうち1つ以上を含むことができる。
また、統計分析は、前記複数の音源から抽出された音源特性の中心傾向(central tendency)を算出するものであるか、これに加えて中心傾向に対する散布度を算出するものであることができる。
具体的な例示として、中心傾向は、音源特性の算術平均で算出され、散布度は、音源特性の標準偏差で算出されることができる。
なお、複数の演奏音源から抽出される音源特性を演奏時間全体にわたって定量化し、各演奏時間で前記音源特性を統計分析した基準演奏情報を得ることを特徴とする演奏情報分析方法とそれによって算出された基準演奏情報を含んでいる記録媒体が提示される。
なお、テスト音源で演奏時間全体にわたって抽出された音源特性を利用してテスト音源の独創性を評価するものであって、検証された複数の音源で前記演奏時間全体にわたって音源特性を統計分析して算出した基準演奏情報と、テスト音源の音源特性との差異程度を独創性指数で算出するマッチング部を含む音源の評価装置が提示される。
ここで、音源の評価装置は、テスト音源で演奏時間全体にわたって音源特性を抽出し、抽出された音源特性を定量化してテスト音源情報を生成した後、マッチング部の要請に応じてテスト音源情報を提供する認識部を含むことができる。
ひいては、音源の評価装置は、基準演奏情報を生成する基準分析部を含むことができ、基準分析部は、検証された複数の音源で演奏時間全体にわたって音源特性を定量的に算出する抽出モジュールと、各音源特性に基づいて中心傾向を算出する第1算出モジュールとを含むことができ、基準分析部は、複数の音源から算出した各音源特性から中心傾向と関連した散布度を抽出する第2算出モジュールを含むことができる。
本発明の一実施形態によれば、定形化された楽譜ではない専門家の実際演奏を基盤とする基準演奏情報を提供することによって、当該曲の変形の程度を含む高級情報をユーザに提示することができ、数値で提示する評価基準を活用することによって、練習演奏者の演奏実力を定量的に分析することができる。
本発明の一実施形態による演奏評価方法と評価装置は、当該曲の多様な変形演奏の可能性、巨匠の演奏と自分の演奏の定量的な比較などを通じて専門レッスン教師の水準に近接した教習効果をもたらす。
その他、本発明の効果は、以下に記載する具体的な内容を通じて、または本発明を実施する過程中にこの技術分野の専門家や研究者に自明に把握されて理解されることができる。
本発明の実施形態による演奏情報分析方法を概略的に示すブロック図である。 本発明の実施形態による演奏評価装置と演奏評価方法に関して概略的な構成を示すブロック図である。
以下、添付の図面を参照して本発明による音源評価方法、これに使用される演奏情報分析方法及び記録媒体並びにこれを利用した音源の評価装置の構成、機能及び作用を説明する。但し、同一または同様の構成要素に対する図面番号は、統一して使用することにする。
添付の図面は、本発明が適用された実施形態を示すものであって、本発明の技術的思想を添付の図面を通じて制限解釈してはならない。この技術分野に属する専門家の見地から、図面に示された一部または全部が発明の実施のために必ず要求される形状、模様、手順ではないと解釈されることができたら、これは、請求範囲に記載された発明を限定しない。
明細書全体で、或る部分が或る構成要素を「含む」とするとき、これは、特に反対される記載がない限り、他の構成要素を除外するものではなく、他の構成要素をさらに含むことができることを意味する。また、明細書に記載された「…部」、「…器」、「モジュール」などの用語は、少なくとも1つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェアまたはハードウェア及びソフトウェアの結合で具現されることができる。
本発明の一実施形態による音源評価方法は、演奏者が演奏した結果物、すなわち音源を評価する方法である。
楽器や歌を用いて作られる音源は、音楽を構成する成分である、音源特性を含む。
例えば、音源特性は、音の高さ、拍子、強弱程度、または奏法情報などを1つ以上含むことができる。
ここで、強弱程度は、スフォルツァンド(sforzando)、スフォルツァート(sforzato)、フォルツァート(forzato)、フォルテピアノ(fortepiano)、スフォルツァンドピアノ(sforzando−piano)などで表現されるものであって、演奏での平均的な音の強さに対して相対的な特定音の音量を示す。
また、奏法情報は、木製楽器、打弦楽器、擦弦楽器など楽器の分類と種類によって多様に運営される演奏技法を言う。例えば、木製楽器は、アーティキュレーションによって多様な音楽性心像を表現することができ、これは、タンギングと息を出す方法によって同じ1つの小節を非常に多様に演奏するものであって、ノン・レガート奏法、レガート奏法、ポルタメント奏法、スタッカート奏法などがある。他の例として、代表的な擦弦楽器であるバイオリンの場合には、音を継ぐ方式が、弓を扱う方法によって、レガート奏法、デタシェ奏法、 コル・レーニョ奏法、 スル・ポンティチェロ奏法などの多様な演奏技法がある。
音源から特定の音源特性を抽出する具体的な装置や方法は、広く知られたものと同一であることができる。例えば、ギターチューナーの場合に、ギター弦を叩いた音がチューナーに入力されて、意図した音と一致するか否かを知らせる。電子ギターのようなデジタル装備を備えた複数の楽器は、演奏音をデジタル信号で出力する。
評価する音源であるテスト音源は、ユーザが直接演奏したものをマイクなどで入力されるか、録音したものを使用することができる。テスト音源で音源特性を算出する認識部は、音源が入力されるためのマイクや外部の音響機器から音楽が伝送される電気端子などの受信モジュールを具備する。または、受信モジュールは、通信ネットワークを介して音源が供給されることができる。
認識部は、提供されたテスト音源から音源特性を抽出し、これを定量化してテスト演奏情報を生成する。ここで、音源特性を抽出するという意味は、提供される音源で目的するサウンドをフィルタリング手段を用いてフィルタリングする過程を含む。周知のように、音源で目的するサウンドを除いた残りのノイズを減らすフィルタリング手段が使用されることができる。
ここで、目的とするサウンドは、提供された音源のうち評価すべき対象とする特定のサウンドを意味する。例えば、ピアノと複数の管楽器を含む合奏の場合に、受信モジュールを介して入った合奏音源のうち、ピアノのメロディーだけを選択的に抽出するものである。
また、音源特性を抽出する過程中で音域帯加減調節、トーンの加減調節などの付加的な音源処理が行われることができる。
抽出された音源特性は、定量化過程を通じて大小の差異を区分することができる数値よりなるテスト音源情報として算出される。音源特性が1つの種類よりなる場合、テスト音源情報は、1つの数値で算出されるが、音の高さと拍子をすべて評価する場合のように、2種以上を抽出して定量化する場合には、ベクトル値で算出される。
この際、テスト音源を通じて生成されるテスト音源情報は、演奏時間全体にわたって順次に抽出される。ここで、演奏時間は、秒単位の時間流れを示す単位であるか、当該音楽の楽譜上で小節単位の流れを示す単位であることができる。
既に定形化された背景音によってテスト音源が生成される場合には、実際時間単位を演奏時間として定めることができる。
大部分の場合に、同じ曲であるとしても、演奏者によって曲を始めるときから終えるときまでの時間、すなわちランニングタイムが少しずつ変わるため、楽譜の小節進行の程度を演奏時間の基準とした方が良いことがある。
認識部は、生成されたテスト音源情報を保有しつつ、後述するマッチング部の要請があれば、テスト音源情報をマッチング部に提供する。
なお、テスト音源から定量的に抽出した音源特性を対比する、評価基準になる音源特性が必要である。この音源特性は、基準分析部を介して算出され、基準演奏情報として格納される。
基準分析部は、音源評価装置に具備されるか、別途の独自の装置を使用することができる。例えば、基準分析部は、音響スタジオで独自的に具備され、評価基準になる音源特性を収集、分析し、その結果による算出結果のみを音源評価装置が保有するように構成されることができる。
基準分析部が処理する音源は、演奏実力が検証された音源を対象とする。基準分析部で分析対象として選択された音源の信頼性は、評価基準の正確度及び信頼度に直結されるので、可能な限り、正しい演奏をしたと認められるか、立派な演奏と認められる多数の音源を対象にした方が良い。検証された音源は、市販のアルバムを通じて得ることができる。例えば、クラシックの場合には、有名作曲家の特定曲に対して多様なバージョンの演奏CDが流通している。または、検証された音源は、インターネット、ラジオ、テレビのような公衆媒体を介して入手することができる。歌曲の場合に、多数の歌手が長期間にわたって繰り返して公演する傾向があり、ライブアルバムやコンサート現場で音源を収集することができる。
構成面において基準分析部は、抽出モジュール、第1算出モジュール、及び第2算出モジュールを含む。ここで、第2算出モジュールは、場合によって省略されてもよい。
抽出モジュールは、検証された音源で演奏時間全体にわたって音源特性を定量的に算出するものである。抽出モジュールの構成及び作用は、事実上、前述した認識部の構成及び作用と同一である。したがって、抽出モジュールと認識部は、相互代替されてもよい。
前述したように、認識部が抽出した音源特性に対して音域帯の加減調節、トーンの加減調節などの付加的な音源処理をさらに施すように構成される場合、抽出モジュールでも、同一の条件の付加的な音源処理を施すように構成した方が良いことがある。
但し、認識部で行われる付加的な音源処理が評価する音源特性と関係ない場合なら、抽出モジュールでは、付加的な音源処理が省略されるか、または加わることができる。例えば、評価する音源特性が拍子の場合に、トーンを調節する音源処理は、認識部または抽出モジュールのうちいずれか1つだけで行われてもよい。
第1算出モジュールと第2算出モジュールは、複数の音源で得られた音源特性を統計分析して、基準演奏情報を生成する手段である。
ここで、演奏時間全体にわたって毎度音源特性が抽出されるので、これを加工した基準演奏情報が演奏時間全体にわたって複数個で算出される。
統計分析は、多数の音源で特定の演奏時間に抽出した音源特性を統計分析し、1つの数値で算出する過程である。
1つの曲に対して解釈を異にする専門家は、彼らの独創的な演奏を通じて本来の曲を変形させて演奏するようになる。このような曲の変形は、変形的な演奏(変奏ともいう)で反映され、曲の特定部分で多様に変形された音源特性が統計的数値で算出される。ここで、専門家は、個人だけでなく、団体になることができる。
従来の技術のように、楽譜自体を評価基準として設ける場合、元の作曲者の意図による単一化された評価基準が得られるが、本発明の一実施形態によれば、多数の専門家が演奏した音源を統計分析することによって、専門家の水準で認定され通用される曲変形が認識されることができる。
特に、基準演奏情報を生成する音源の時代的または出処別分類によって、時代別演奏技法の変遷史、流行る音楽的特徴、曲解釈の変化などが認識されることができ、地域別演奏特性などが認識されることができる。
当該曲を新たに学ぶ初心者は、専門家が頻繁に使用する個性的表現を把握することができ、当該曲を深く理解することができる。さらに、初心者は、自分の理解を付加することによって、新しい独創的な演奏を行うことができる。
このように、専門家の演奏を分析して得られる独創性の理解と、初心者自分の曲解釈が広く通用され得る水準であるかに対する確信感の付与は、専門レッスン教授が教習する水準に近接する高い水準のものである。
また、統計分析は、専門家が演奏した複数の音源が有する音源特性を1つの定量的なデータで算出することに意味がある。初心者が演奏したテスト音源から抽出された音源特性と基準演奏情報との数値的大きさの差異を算出することができるので、当該演奏時間での両方の音源特性に対する可視的な分析が可能である。また、数値的な判断結果は、初心者の演奏に対して是非の二分法的判断ではない、どれほど外れるかに対する定量的判断を提示し、初心者は、さらに良質の評価を自ら行うことができる。
統計分析に対する具体的な例示として、第1算出モジュールは、多数の専門家から得られた検証された音源から算出された各音源特性から中心傾向が算出されることができる。
中心傾向(central tendency)は、特定の演奏時間から得られた複数の音源特性値が任意の音源特性値に殺到する傾向を言う。具体的に、特定の演奏時間に複数の専門家が演奏した音源特性値が多様に分布しているというとき、これら音源特性値を代表する特定値を算出するものである。
中心傾向を算出する複数の例示がある。
算術平均は、各音源特性値を加算した後、音源特性の数で分けて算出されるものである。算術平均を利用する場合、平均から大きく外れる少数の音源特性が平均値に及ぶ影響が大きいため、できるだけ多くの専門家の音源を収集することが好ましい。また、曲解釈が比較的自由に許容され、専門家別に変形が大きく行われる音楽ジャンルの音源を分析するのに有効である。このような点から、算術平均を中心傾向で算出した基準演奏情報は、初心者よりは専門的な練習生に適していることがある。
他の例として、中心傾向は、多数の音源特性のうち最頻値で算出されることができる。最頻値は、多数の専門家が認定して演奏した音源特性を反映するという意味がある。したがって、初心者に広く通用する信頼性ある評価基準が提示されることができる。
その他、中心傾向は、中央値、幾何平均、調和平均など多様な方法で算出されることができる。
第2算出モジュールは、統計分析において第1算出モジュールの中心傾向を補完する散布度(dispersion)を算出するものである。ここで、散布度は、第1算出モジュールで採択した中心傾向に対する分散程度を意味する。
散布度は、多数の専門家が演奏した音源特性の分散程度を提供することによって、当該曲の楽譜に対する音楽的解釈の多様性に関する情報を提示する。
具体的に、特定の演奏時間で音源特性の多様性は、すぐ直前の演奏時間での音源特性の多様性より大きいことがあり、前述した中心傾向だけでは、このような多様性程度に対する情報を完全に伝達しにくいことがある。多様性が大きい演奏時間の音源特性は、テスト音源を提供した演奏者に独創的な演奏を許容する範囲が大きいことを通知するので、楽譜を研究する演奏者は、当該曲の音楽的理解をさらに深くすることができる。
また、当該音源特性の散布度を音源の評価方法に反映することによって、演奏家に良質の評価を提供することができる。例えば、音源特性の散布度を考慮することによって、特定の演奏時間で散布度が大きい場合には、テスト音源の音源特性が基準演奏情報と大きく差異があっても、その差異が、間違って演奏したものではなく、許容され得る範囲内のものと結論が出ることができる。したがって、個性を果敢に現わして演奏する専門家の水準に近接しようとする中級実力者が自分の演奏に対する正しい評価を受けることができる。
散布度は、例えば分散(variance)、標準偏差、中間値絶対偏差(median absolute deviation)など、さまざまな計算方法を活用して決定されることができる。
第1算出モジュールの統計分析による音源特性は、分析しようとする音源特性の種類によってベクトル値で基準演奏情報が格納される。また、第2算出モジュールの散布度が、音源特性の種類によってベクトル値で基準演奏情報に付加される。ここで、毎演奏時間ごとに音源特性が算出されるので、基準演奏情報は演奏時間の長さによって複数のベクトル値で形成される。
生成された基準演奏情報は、データベースなどの記録媒体に格納される。記録媒体に格納された基準演奏情報は、演奏曲によって分類され、各演奏曲には、演奏時間によって統計処理された音源特性が記載されている。各演奏曲ごとに音源特性の種類によってベクトル値で格納され、中心傾向と散布度が含まれる場合には、それぞれのベクトル値が存在する。
同じ演奏曲でも、中心傾向を算出する方法と散布度を算出する方法を異にする基準演奏情報が具備されることができる。このように多様な基準演奏情報を保有する記録媒体は、後述するマッチング部が接近し、必要な基準演奏情報を取得する。
マッチング部は、認識部などで抽出した音源特性と基準演奏情報を演奏時間別に対比し、両方の音源特性の差異を示す独創性指数を算出するものである。
独創性指数は、同じ演奏時間で基準演奏情報とテスト演奏情報との差異を多様な方式で求めたものであって、結果値の大きさは、基準演奏情報とテスト演奏情報との差異を意味する。すなわち、独創性指数の数値が大きいというのは、演奏者が間違って演奏したものであるか、独創性を大きく発揮するものと解釈されることができる。
このような独創性指数を求める方法は、多様に提示されることができる。
下記数式1は、簡単な形態の独創性指数を求める方法のうち1つである。
数式1で、R(t)は、演奏時間tでの独創性指数を示す。abs( )は、括弧内のベクトル値に対して各元素の絶対値を算出する関数であり、bは、当該演奏時間tでの基準音源情報であり、aは、同演奏時間でのテスト音源情報である。ここで、bは、有意な独創性指数を得るために、基準音源情報のうち中心傾向を使用する。数式1は、特定の演奏時間tで専門家が演奏した音源特性と演奏家が演奏した音源特性との差異を絶対値で示すものである。
比較的簡単な数式1は、複数の音源特性を早い時間内に算出しなければならない場合に有効である。具体的に、速いテンポの音楽演奏で多数の音源特性を総合的に分析する必要があるときに使用され、マッチング部に具備された演算装置の負担を軽減することができる。
独創性指数を求める他の例示は、下記の数式2である。
数式2でR(t)は、演奏時間tでの独創性指数を意味する。abs( )は、括弧内のベクトル値に対して各元素の絶対値を算出する関数であり、bは、前記複数の音源から抽出された音源特性の中心傾向の値である。また、sは、前記複数の音源から抽出された音源特性の中心傾向に関連した散布度の値であり、aは、前記テスト音源で算出された音源特性の値である。div(X、Y)は、XベクトルのXn元素とYベクトルのYn元素とに分けて、元素別に除算する演算子である。
数式2は、中間傾向と散布度を考慮することによって、テスト音源に対する評価が既存専門家の曲解釈の多様性程度に影響を受けるようになるという点から、数式1と差別されることができる。
具体的に専門家の解釈が多様に適用された部分において音源特性は、数値が大きく変化するので、散布度数値が高く算出される。したがって、高い散布度で分けた当該音源特性の差異値は、前述した数式1より小さい独創性指数で算出される。
すなわち、多様性が許容される音源特性で独創性指数を低く評価することによって、演奏者に自分が演奏した範囲が大きく間違わなかったという点を知らせることができるか、独創性が高い水準と認定されない部分であるという点を知らせることができる。
なお、専門家の音源の統計分析結果、散布度が小さく出る部分は、変形の許容性が少ない部分であって、既存に専門家によって広く使用される音源特性がほぼ統一されている部分と見なされる。このような部分に対して基準演奏情報とテスト演奏情報との差異が大きい場合には、これは、演奏者が間違って演奏した可能性が大きいことを意味する。小さい散布度の数値が数式2に適用されることによって、当該独創性指数を数式1の結果値より高く算出する結果をもたらし、独創性指数をチェックする演奏者の演奏間違いの可能性が増加することができる。
このように、数式2は、散布度をさらに考慮することによって、当該演奏時間での音楽的解釈の多様性が音源の評価に効果的に反映されることができる。
マッチング部は、テスト音源の演奏時間全体にわたって独創性指数をリアルタイムで処理することができる。ストリーム処理方式によって算出した独創性指数は、演奏する過程中に演奏者にリアルタイムで提供されることによって、曲の練習が行われる現場でリアルタイムで指導教育を受ける効果が現われることができる。
または、マッチング部は、テスト音源の録音を終えた後、バッチタイプでテスト音源情報を算出することができる。これは、オーケストラのような大規模合奏をテスト音源にしながら、多様な音源特性を対象として独創性指数を算出する場合に有効な方式である。
マッチング部の追加的な機能として、1曲全体または一定区間内の音源区間を評価する区間評価指数を算出することができる。下記の数式3で、区間評価指数Dは、演奏時間tで算出した複数の独創性指数を順次に配列して行列化して行列Mを算出し、これを線形化させる横ベクトルまたは行列Wまたはこれに加重値を付与したベクトルまたは行列を乗算する方式で線形結合して算出する。
区間評価指数Dは、指標の用途によって、ベクトル値ではなく、スカラー値が要求されるときに算出されることができる。
楽曲全体に対する区間評価指数は、いずれか1つの曲の全体的な独創性評価を行うときに有用である。
また、一定の小節に対する区間評価指数は、ユーザが間違いなしに演奏しにくい演奏区間を探すことができ、独創的な演奏として高く評価を受けることができる演奏区間を探すことができる。
なお、マッチング部で算出された独創性指数や区間評価指数は、表出部を通じてユーザに提示される。
表出部は、算出された独創性指数を数字またはイメージで提示するディスプレイ装置であることができる。
イメージで独創性指数を表出する1つの例示として、基準音源情報の中心傾向と散布度を同心円上に直径を異にして表示し、テスト演奏情報の大きさによって基準音源情報から外れた位置に表出させて、独創性指数が直感的に認識されることができる。または、演奏時間全体にわたって基準演奏情報、テスト演奏情報、及び独創性指数が1つのグラフの中に表示されてもよい。その他、演奏者に容易に認識され得るように多様なイメージ表現方法が使用されることができる。
または、表出部は、独創性指数の高低によって音の高さやトーンを異にするサウンドを表出する音響装置を使用することができる。
表出部は、視覚的認識または聴覚的認識以外にも、触感を通じて演奏者に伝達されるようにすることができる。このように表出部の表出具現方式には、別途の制限がない。
音源の評価装置の最小構成は、マッチング部である。マッチング部は、スマートフォンのような汎用端末機や別途のデジタル処理装置を介して提供され、テスト音源情報と基準音源情報は、通信ネットワークを介してマッチング部が具備された端末機などに伝送されることができる。また、端末機で算出された独創性指数は、ネットワークを介して別途に具備された表出部に伝送されることができる。
または、音源の評価装置は、マッチング部と表出部をすべて含むことができる。スマートフォンのような汎用端末機がその例であるが、テスト音源情報と基準音源情報は、通信ネットワークを介して伝達され、マッチング部で算出した独創性指数がディスプレイ画面、スピーカーのサウンド、振動のパターンや強度などを通じて表出されることができる。
または、音源の評価装置は、マッチング部、表出部、及び基準音源情報を保有するデータベースをすべて含むか、または、これに加えて、テスト音源でテスト音源情報を算出する認識部をさらに含むことができる。
また、音源の評価装置は、認識部、基準分析部、マッチング部、表出部、及び基準音源情報を含むことができる。この際、認識部を代替して基準分析部の抽出モジュールが使用されることができる。
以下では、本発明による演奏情報分析方法と音源評価方法について具体的な例を挙げて説明する。
まず、演奏情報分析方法は、演奏音源から抽出される音源特性を演奏時間全体にわたって定量化し、複数の演奏情報で得られる音源特性を統計分析して基準演奏情報を生成するものである。


例えば、特定の演奏曲に対して4人の専門演奏者がアルバムを出すか、またはインターネット実況中継を通じて演奏した音源を放送し、専門家の演奏音源を確保する。
各専門演奏家が12.4小節で特定の音を演奏するときに、各専門家別に以前の小節に比べて4%、5%、7%、4%速く演奏した。各音源特性が抽出及び定量化されて算出されたら、以前の小節に比べて算術平均を得る方法で中心傾向bを求めて見れば、以前の小節に比べて5%速く演奏したことが分かる。これは、次のような形式の基準演奏情報で格納される。
a(12.4)=5
例えば、第2算出モジュールで散布度を求めるに際して、標準偏差を利用するものと設定される。前記の速さに対する例を適用すれば、4人の専門家の12.4小節での速さに対する標準偏差は、1.41421と求められる。それによって、基準演奏情報には、次のような形式の散布度sの内容が追加される。
s(12.4)=1.41421
前記の例は、速さに対する音源特性の一種類のみを対象としたものである。
前記の例示で12.4小節での速さと代表音の音の高さ、この2種類を音源特性に設定した場合を説明する。
速さに対する音声特徴は、前述した例示と同一であり、当該小節で4人の専門家が演奏した代表音の音の高さが441Hz、440Hz、447Hz、440Hzと差異を示したとする。
それでは、12、4小節での代表音の音の高さに対する算術平均で算出した中心傾向は、442であり、この際の標準偏差は、3.36650なので、下記のようなベクトルの形式で基準演奏情報が格納される。
このように、複数の音源特性を選択する場合には、音源特性の種類に相当する列があるベクトル形態で基準演奏情報が格納される。また、毎演奏時間によって音源特性が把握されるので、種類を異にする音声特性は、基準演奏情報でベクトルの元素値として格納される。
なお、認識部でテスト音源を処理して生産するテスト音源情報は、前述した基準演奏情報と同じフォーマットで形成され、マッチング部に伝送される。例えば、同じ曲に対して演奏者が演奏したテスト音源を分析した結果、12.4小節で以前の小節より8%速く演奏し、代表音の音の高さが439Hzであったら、テスト音源情報bは、下記の形式で算出される。
なお、マッチング部では、前述した数式2によって独創性指数を算出する場合、独創性指数Rは、下記のように算出される。
前記独創性指数は、12.4小節の演奏時間で、速さに対する独創性指数は、2.12133であり、代表音の音の高さに対する独創性指数は、0.89113と算出されることが分かる。
このような独創性指数は、毎演奏時間ごとに算出されることによって、独創性指数の増減幅を通じて、演奏者は、演奏が間違ったかまたは独創的な表現をした部分に属するかを定量的に評価されることができる。
多数の音源特性よりなる独創性指数は、認知尺度である音源特性の種類による長さのベクトル値で算出され、独創性数の用途によってスカラー値として活用しなければならない場合がある。このために、下記の数式4に示したように、ベクトル値で求められた独創性指数R(t)に、これをスカラーとするベクトルEを乗算し、スカラー値r(t)を求めることができる。
ここで、ベクトルの各元素値を1とするベクトルであるか、元素別に加重値を付与したベクトルである。
例えば、前記実施形態で算出された独創性指数R(12.4)は、速さに対して0.9の加重値を有し、音の高さに対して1.1の加重値を反映したベクトルEを通じてスカラー値で求めることができる。

Claims (7)

  1. 提供されたテスト音源で音源特性を演奏時間全体にわたって定量化して獲得したテスト演奏情報と、検証された複数の音源で前記演奏時間全体にわたって前記音源特性と同じ種類の音源特性を抽出して、前記複数の音源から抽出された音源特性の中心傾向を算出し、前記中心傾向に対する散布度を算出する統計分析をして得た基準演奏情報とを比較し、前記演奏時間で前記基準演奏情報の音源特性に対する前記テスト演奏情報の音源特性の差異を示す独創性指数を算出する段階を含む音源評価方法。
  2. 前記音源特性は、音の高さ、拍子、強弱程度、または奏法情報を1つ以上含む、請求項1に記載の音源評価方法。
  3. 前記中心傾向は、前記音源特性の算術平均で算出され、前記散布度は、前記音源特性の標準偏差で算出されるものである、請求項に記載の音源評価方法。
  4. 前記独創性指数は、下記数式1によって算出される、請求項1に記載の音源評価方法:
    [数式1]
    数式1で、R(t)は、演奏時間tでの独創性指数であり、abs( )は、( )内の数値に対する各元素の絶対値を算出する関数であり、bは、前記検証された複数の音源から抽出された音源特性の中心傾向の値であり、aは、前記テスト音源で算出された音源特性の値である。
  5. 前記独創性指数は、下記数式2によって算出される、請求項1に記載の音源評価方法:
    [数式2]
    数式2で、R(t)は、演奏時間tでの独創性指数であり、abs( )は、( )内の数値に対する各元素の絶対値を算出する関数であり、bは、前記複数の音源から抽出された音源特性の中心傾向の値であり、sは、前記検証された複数の音源で抽出された音源特性の中心傾向と関連した散布度の値であり、aは、前記テスト音源で算出された音源特性の値であり、div(X、Y)は、XベクトルのXn元素とYベクトルのYn元素を元素別に除算する演算子である。
  6. テスト音源で演奏時間全体にわたって抽出された音源特性を利用して前記テスト音源の独創性を評価するものであって、
    検証された複数の音源で前記演奏時間全体にわたって音源特性を統計分析して算出した基準演奏情報と、前記テスト音源の音源特性との差異程度を独創性指数で算出するマッチング部と、
    前記基準演奏情報を生成する基準分析部を含み、
    前記基準分析部は、検証された複数の音源で前記演奏時間全体にわたって音源特性を定量的に算出する抽出モジュールと、各前記音源特性に基づいて中心傾向を算出する第1算出モジュールと、
    複数の前記音源で算出された各音源特性から前記中心傾向と関連した散布度を抽出する第2算出モジュールを含む
    音源の評価装置。
  7. 前記テスト音源から前記演奏時間全体にわたって前記音源特性を抽出し、抽出された前記音源特性を定量化してテスト音源情報を生成した後、前記マッチング部の要請に応じて前記テスト音源情報を提供する認識部を含む、請求項に記載の音源の評価装置。
JP2016538484A 2013-08-28 2013-12-20 音源評価方法、これに使用される演奏情報分析方法及び記録媒体並びにこれを利用した音源の評価装置 Active JP6420345B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20130102159A KR101459324B1 (ko) 2013-08-28 2013-08-28 음원 평가방법 및 이를 이용한 음원의 평가장치
KR10-2013-0102159 2013-08-28
PCT/KR2013/011926 WO2015030319A1 (ko) 2013-08-28 2013-12-20 음원 평가방법, 이에 사용되는 연주정보 분석방법과 기록매체 그리고 이를 이용한 음원의 평가장치

Publications (3)

Publication Number Publication Date
JP2016534406A JP2016534406A (ja) 2016-11-04
JP2016534406A5 JP2016534406A5 (ja) 2018-06-28
JP6420345B2 true JP6420345B2 (ja) 2018-11-07

Family

ID=52287382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538484A Active JP6420345B2 (ja) 2013-08-28 2013-12-20 音源評価方法、これに使用される演奏情報分析方法及び記録媒体並びにこれを利用した音源の評価装置

Country Status (5)

Country Link
US (1) US9613542B2 (ja)
JP (1) JP6420345B2 (ja)
KR (1) KR101459324B1 (ja)
CN (1) CN105474288A (ja)
WO (1) WO2015030319A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548784B (zh) * 2015-09-16 2020-04-24 广州酷狗计算机科技有限公司 一种语音数据的评价方法及系统
CN105679296A (zh) * 2015-12-28 2016-06-15 百度在线网络技术(北京)有限公司 乐器演奏评判的方法和装置
US9711121B1 (en) * 2015-12-28 2017-07-18 Berggram Development Oy Latency enhanced note recognition method in gaming
CN108074438A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的纠错方法及系统
JP6708180B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
KR102221143B1 (ko) 2018-06-11 2021-02-26 박정일 색소폰 연주 평가 시스템 및 이를 이용한 단계별 색소폰 연주 평가 방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602356A (en) * 1994-04-05 1997-02-11 Franklin N. Eventoff Electronic musical instrument with sampling and comparison of performance data
KR960038700A (ko) * 1995-04-29 1996-11-21 배순훈 연주평가장치
US5990404A (en) * 1996-01-17 1999-11-23 Yamaha Corporation Performance data editing apparatus
JP3299890B2 (ja) * 1996-08-06 2002-07-08 ヤマハ株式会社 カラオケ採点装置
KR200245203Y1 (ko) 1996-12-05 2001-11-16 이계안 자동차의 카울 크로스 멤버 방진구조
US6166314A (en) * 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
JP3171818B2 (ja) * 1997-07-01 2001-06-04 株式会社エイ・ティ・アール知能映像通信研究所 音楽演奏支援装置
JPH11184478A (ja) * 1997-12-18 1999-07-09 Ricoh Co Ltd 音楽演奏装置
KR100317478B1 (ko) 1999-08-21 2001-12-22 주천우 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법
JP2001075565A (ja) * 1999-09-07 2001-03-23 Roland Corp 電子楽器
JP3678135B2 (ja) * 1999-12-24 2005-08-03 ヤマハ株式会社 演奏評価装置および演奏評価システム
KR20010091798A (ko) * 2000-03-18 2001-10-23 김재수 기악 연주 교육장치 및 방법
US6751439B2 (en) * 2000-05-23 2004-06-15 Great West Music (1987) Ltd. Method and system for teaching music
US7786366B2 (en) * 2004-07-06 2010-08-31 Daniel William Moffatt Method and apparatus for universal adaptive music system
JP2004205567A (ja) * 2002-12-24 2004-07-22 Casio Comput Co Ltd 演奏評価装置および演奏評価プログラム
JP4111004B2 (ja) * 2003-02-28 2008-07-02 ヤマハ株式会社 演奏練習装置および演奏練習プログラム
US7408884B2 (en) * 2003-03-26 2008-08-05 Agilent Technologies, Inc. Methods and devices for correlating audio sample comparisons and network performance statistics
CN100359559C (zh) * 2004-04-01 2008-01-02 凌阳科技股份有限公司 自动音源相似度比对方法及装置
US20070234888A1 (en) * 2005-10-03 2007-10-11 Audiobrax Industria E Comercio De Produtos Eletronicos S/A Rhythmic device for the production, playing, accompaniment and evaluation of sounds
JP2007264059A (ja) * 2006-03-27 2007-10-11 Yamaha Corp 電子楽器
JP2007271977A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 評価基準判定装置、制御方法及びプログラム
JP2007310204A (ja) * 2006-05-19 2007-11-29 Yamaha Corp 楽曲練習支援装置、制御方法及びプログラム
WO2010083563A1 (en) * 2009-01-21 2010-07-29 Brendan Hogan Computer based system for teaching of playing music
CN101853650B (zh) * 2009-04-03 2012-04-25 王路露 一种音乐处理及输出系统及其方法
US8575465B2 (en) * 2009-06-02 2013-11-05 Indian Institute Of Technology, Bombay System and method for scoring a singing voice
CN102237081B (zh) * 2010-04-30 2013-04-24 国际商业机器公司 语音韵律评估方法与系统
CN101840699B (zh) * 2010-04-30 2012-08-15 中国科学院声学研究所 一种基于发音模型的语音质量评测方法
JP5627063B2 (ja) * 2011-05-31 2014-11-19 株式会社第一興商 不適正な歌唱採点リファレンスデータ報知システム
AU2012308184B2 (en) * 2011-09-18 2015-08-06 Touch Tunes Music Corporation Digital jukebox device with karaoke and/or photo booth features, and associated methods
KR20130068913A (ko) * 2011-12-15 2013-06-26 김민서 악기연주학습보조장치
KR101221673B1 (ko) * 2012-03-21 2013-01-16 이승원 전자기타 연습장치
JP6179136B2 (ja) * 2012-03-26 2017-08-16 ヤマハ株式会社 電子打楽器及び電子打楽器の演奏を評価する演奏評価装置
JP5958041B2 (ja) * 2012-04-18 2016-07-27 ヤマハ株式会社 表情演奏リファレンスデータ生成装置、演奏評価装置、カラオケ装置及び装置
CN102664016B (zh) * 2012-04-23 2014-05-14 安徽科大讯飞信息科技股份有限公司 唱歌评测方法及系统
JP5346114B1 (ja) * 2012-07-27 2013-11-20 美佳 増田 音楽表現力の教育装置及び方法並びに音楽演奏評価装置
CN103077701B (zh) * 2012-11-28 2015-10-28 福建星网视易信息系统有限公司 一种音准评定方法、装置和系统
CN103077698B (zh) * 2013-01-10 2015-07-29 天津理工大学 一种乐器音色高精度检测方法
JP6065703B2 (ja) * 2013-03-27 2017-01-25 ブラザー工業株式会社 基準データ作成システム、及び演奏端末装置
US9857934B2 (en) * 2013-06-16 2018-01-02 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations

Also Published As

Publication number Publication date
KR101459324B1 (ko) 2014-11-07
US20150287335A1 (en) 2015-10-08
CN105474288A (zh) 2016-04-06
JP2016534406A (ja) 2016-11-04
WO2015030319A1 (ko) 2015-03-05
US9613542B2 (en) 2017-04-04

Similar Documents

Publication Publication Date Title
JP6420345B2 (ja) 音源評価方法、これに使用される演奏情報分析方法及び記録媒体並びにこれを利用した音源の評価装置
Ewert et al. Score-informed source separation for musical audio recordings: An overview
Yamada et al. A rhythm practice support system with annotation-free real-time onset detection
US8138409B2 (en) Interactive music training and entertainment system
US6856923B2 (en) Method for analyzing music using sounds instruments
Dittmar et al. Music information retrieval meets music education
CN102610222B (zh) 音乐转录的方法,系统和装置
Chau et al. The emotional characteristics and timbre of nonsustaining instrument sounds
Klapuri Introduction to music transcription
Poepel On interface expressivity: A player based study.
Wu et al. Towards the objective assessment of music performances
Schneider Perception of timbre and sound color
Lerch Software-based extraction of objective parameters from music performances
JPH10247099A (ja) 音声信号の符号化方法および音声の記録再生装置
CN108369800A (zh) 声处理装置
Ali-MacLachlan et al. Towards the identification of Irish traditional flute players from commercial recordings
Chudy Discriminating music performers by timbre: On the relation between instrumental gesture, tone quality and perception in classical cello performance
Kitahara et al. Instrogram: A new musical instrument recognition technique without using onset detection nor f0 estimation
WO2022070639A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR20190121080A (ko) 미디어 컨텐츠 서비스 시스템
Sephus et al. Enhancing online music lessons with applications in automating self-learning tutorials and performance assessment
Santiaji Learning Electric Bass Techniques in the Funk Genre Using Minus One
JP5342841B2 (ja) 長音符の歌唱部分で歌声の倍音特性を測定して表示するカラオケ装置
Maezawa et al. Violin fingering estimation based on violin pedagogical fingering model constrained by bowed sequence estimation from audio input
Hayashi et al. Microtone Analysis of Blues Vocal: Can Hatsune-Miku sing the Blues?

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180215

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20180507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181011

R150 Certificate of patent or registration of utility model

Ref document number: 6420345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250