JP3907587B2 - 演奏楽器の音情報を用いた音響分析方法 - Google Patents
演奏楽器の音情報を用いた音響分析方法 Download PDFInfo
- Publication number
- JP3907587B2 JP3907587B2 JP2002548707A JP2002548707A JP3907587B2 JP 3907587 B2 JP3907587 B2 JP 3907587B2 JP 2002548707 A JP2002548707 A JP 2002548707A JP 2002548707 A JP2002548707 A JP 2002548707A JP 3907587 B2 JP3907587 B2 JP 3907587B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- information
- frame
- sound information
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H3/00—Instruments in which the tones are generated by electromechanical means
- G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
- G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
- G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
- G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/056—MIDI or other note-oriented file format
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
- G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
- G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
［技術分野］
本発明は、デジタル音響信号を分析する方法に関し、特に、入力されるデジタル音響信号の周波数成分と演奏楽器の音の周波数成分とを比較することによって、デジタル音響信号を分析する方法に関する。
【０００１】
［背景技術］
１９８０年代にパソコンの補給が始まって以来、コンピュータの技術、性能および環境が急速に発展し、１９９０年代に入ってはインターネットが会社の各部門および個人性格領域にまでも急に広がりつつある。これによって、２１世紀には全世界においてコンピュータの利用が全分野で非常に重要視され、音楽分野においてこれを応用したものの１つとしてミディ（ＭＩＤＩ：Ｍｕｓｉｃ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）がある。「ミディ」とは、人の音声や楽器の演奏音を合成（ｓｙｎｔｈｅｓｉｓ）し、格納することのできるコンピュータ音楽技術であって、音楽家が利用している代表的なものであると言え、現在、大衆音楽の作曲家や演奏者が主に利用しているものである。
【０００２】
例えば、作曲家は、ミディ機能を有する電子楽器をコンピュータと連結して手軽に作曲でき、このように作曲した演奏曲は、コンピュータまたはシンセサイザーの音響合成を用いて手軽に再生できるようになっている。また、録音過程においてミディ装備で製作された音響が、歌手の歌とミキシングされて人々に好まれる音楽に作られることもあった。
【０００３】
ミディ技術は、このように大衆音楽と関連しながら持続的に発達すると共に、音楽教育分野へも進出している。すなわち、ミディは、音楽演奏の実際音とは無関係に、単に楽器の種類、音の高さおよび強さ、音の始まりと終わり情報のみを用いているため、ミディ楽器とコンピュータを用いてミディ情報をやり取りすることができる。従って、ミディ機能を有する電子ピアノとコンピュータをミディケーブルで連結した後、電子ピアノの演奏時に生成されるミディ情報を用いることで、音楽教育に活用し得る。これによって、日本のヤマハを始めとした多くの会社でミディを用いた音楽教育ソフトウェアを開発して適用してきている。
【０００４】
しかし、このようなミディ技術は、アコースティック楽器の音とアコースティック楽器の演奏から感じられる感じを大事にする多くのクラシック音楽家の欲求を充足させていない。即ち、多くのクラシック音楽家は、電子楽器の音や感じをあまり好まないため、伝統的な方法で音楽を勉強し、アコースティック楽器の演奏を学ぶのが実状である。従って、音楽教師がクラシック音楽を教えるか学生が音楽を学ぶには、音楽学院や音楽学校などを用い、学生は音楽教師の指導に全的に依存している現状である。このようなクラシック音楽教育環境に鑑みてみると、クラシック音楽分野にコンピュータ技術とデジタル信号処理技術を導入して、アコースティック楽器で演奏された音楽を分析し、その分析結果を定量的な演奏情報として示すことができれば好ましいだろう。
【０００５】
このため、アコースティック楽器の演奏音をデジタル音響に変換した後、該デジタル音響をコンピュータで分析する技術の工夫が種々試みられている。
【０００６】
このような例の１つとして、「Eric D. Scheirer」の修士論文である『Extracting Expressive Performance Information from Recorded Music』においては、録音されたデジタル音響からミディ音楽を抽出するため楽譜情報を利用している。前記論文に記載のように、彼は、各音の強さ、始まりタイミング、終わりタイミングを抽出してミディ音楽に変化させる方法について研究した。しかし、前記論文に記載の実験結果を見ると、楽譜情報を用いた場合、録音されたデジタル音響から始まるタイミングは正確に抽出されるが、終わるタイミングと音の強さ情報の抽出は、やはり正確でないという問題点がある。
【０００７】
なお、全世界的に少数の会社が音楽認識技術を用いて簡単なデジタル音響を分析できる初期の製品を出しており、インターネット上のａｌｔ．ｍｕｓｉｃ．ｍｉｄｉ ＦＡＱによれば、ウェーブ（ｗａｖｅ）形式のデジタル音響を分析してミディ形式に変換または楽譜化する製品が多数開発されている。これらのものとしては、Ａｋｏｆｆ Ｍｕｓｉｃ Ｃｏｍｐｏｓｅｒ、Ｓｏｕｎｄ２ＭＩＤＩ、Ｇａｍａ、ＷＩＤＩ、Ｄｉｇｉｔａｌ Ｅａｒ、ＷＡＶ２ＭＩＤ、Ｐｏｌｙａｘｅ Ｄｒｉｖｅｒ、ＷＡＶ２ＭＩＤＩ、ＩｎｔｅｌｌｉＳｃｏｒｅ、ＰＦＳ−Ｓｙｓｔｅｍ、Ｈａｎａｕｔａ Ｍｕｓｉｃｉａｎ、Ａｕｄｉｏ ｔｏ ＭＩＤＩ、ＡｍａｚｉｎｇＭＩＤＩ、Ｃａｐｅｌｌａ−Ａｕｄｉｏ、ＡｕｔｏＳｃｏｒｅおよびごく最近に発表されたＷａｖｅＧｏｏｄｂｙｅなどが挙げられる。
【０００８】
これらの幾つかは、複音の分析も可能であると広報しているが、実際に試験を行った結果、複音の分析は不可能であった。そのため、前記ＦＡＱ文書では、コンピュータでウェーブ形式の音楽をミディ形式に変更した後、再生時には元のウェーブ音楽と同様に聞こえるか否かに対して、不可であると説明している。さらに、現在としては、ウェーブ音楽をミディ音楽に変更するソフトウェアに対して全て価値がないと明示されている。
【０００９】
以下、これらの製品の中でＡｒａｋｉ Ｓｏｆｔｗａｒｅ社のＡｍａｚｉｎｇＭＩＤＩを使用してウェーブ音楽がどのように分析されるかに関する実験結果について記述する。
【００１０】
図１は、実験に使用した曲の楽譜の、ベートーベンのピアノスナタ第８番第２楽章の初の２小節に相当し、図２は、図１に示された楽譜を分析の便宜のため、それぞれの単音に区分して各音符に音程を表示する記号を付したものである。図３は、ＡｍａｚｉｎｇＭＩＤＩでウェーブ音楽をミディ音楽に変更するために使用者が設定するパラメータ入力ウィンドウであり、図４は、各種パラメータの値を最右側に設定した時に変換されたミディウィンドウであり、図５は、図２の楽譜情報を用いて元のウェーブ音楽に相当する部分を、図４に黒棒で表示したものである。図６は、各種パラメータ値を最左側に設定した時に変換されたミディウィンドウであり、図７は、図５と同様に、図６にウェーブ音楽に相当する部分を黒棒で表示したものである。
【００１１】
まず、図１および図２を参照する。最初にＣ４、Ａ３♭、Ａ２♭の３つの音が示され、Ｃ４およびＡ２♭の鍵盤が押された状態で、Ａ３♭の代わりにＥ３♭の鍵盤が押され、再度Ａ３♭、Ｅ３♭の順に繰り返される。次いで、Ｃ４の音はＢ３♭の音に変わり、Ａ２♭の音はＤ３♭の音に変わり、Ｅ３♭の音がＧ３の音に変わり、再度Ｂ３♭およびＤ３♭の鍵盤が押された状態でＥ３♭、Ｇ３、Ｅ３♭の順に繰り返される。従って、これらの楽譜をミディに変換する場合、図５に黒棒で示されたようなミディ情報が構成される必要があるが、実際には図４に示されたようなミディ情報が構成されるという問題点がある。
【００１２】
図３に示したように、ＡｍａｚｉｎｇＭＩＤＩでは、使用者が各種パラメータを設定してウェーブ音楽をミディ音楽に変更しているが、これらの設定値によって構成されるミディ情報が大きな差を示すことがわかる。図３の設定値のうち、Ｍｉｎｉｍｕｍ Ａｎａｌｙｓｉｓの値（最小分析値）、Ｍｉｎｉｍｕｍ Ｒｅｌａｔｉｖｅの値（最小相関値）、Ｍｉｎｉｍｕｍ Ｎｏｔｅの値（最小音符値）を全て最右側に設定してミディ音楽に変換した結果が、図４に、各値を全て最左側に設定してミディ音楽に変換した結果が、図６に示されている。図４と図６とを比較すると、大きな違いがあることがわかる。すなわち、図４では、周波数領域において強さの大きな周波数部分のみを認識してミディとして示しており、図６では、強さの小さな部分も認識してミディに示していることがわかる。従って、図４のミディ情報項目は基本的に図６に含まれて示されるようになる。
【００１３】
図４と図５とを比較すると、図４の場合、実際に演奏された部分であるＡ２♭、Ｅ３♭、Ｇ３、Ｄ３♭が全く認識されておらず、Ｃ４、Ａ３♭、Ｂ３♭の場合も認識された部分が実際演奏される部分と大きく相違していることがわかる。すなわち、Ｃ４の場合、認識された部分が全体音長さのうち初期２５％に止めており、Ｂ３♭の場合、２０％よりも小さく認識されていることがわかる。また、Ａ３♭の場合、３５％程度に止めている。これに対して、非演奏の部分が非常に多く認識されていることがわかる。Ｅ４♭の場合、非常に強い大きさに認識されており、Ａ４♭、Ｇ４、Ｂ４♭、Ｄ５、Ｆ５などの音も誤って認識されている。
【００１４】
図６と図７とを比較すると、図６の場合、実際に演奏された部分であるＡ２♭、Ｅ３♭、Ｇ３、Ｄ３♭、Ｃ４、Ａ３♭、Ｂ３♭が全て認識されているが、認識された部分と実際演奏された部分とが非常に相違していることがわかる。すなわち、Ｃ４、Ａ２♭の場合、鍵盤を続けて押していたので、実際に続けて音が出ているにもかかわらず、少なくとも一度音の切れた状態に認識されていることがわかる。さらに、Ａ３♭、Ｅ３♭などの場合、実際に演奏された時点と音の長さとが相当に違って認識された。図６および図７に示されたように、黒棒で示した部分以外に多くの部分がグレー色の棒で示されていることがわかる。これらの部分は、実際に演奏されなかったにもかかわらず、誤って認識されたもので、正しく認識されたものより遥かに多く占めている。本明細書では、ＡｍａｚｉｎｇＭＩＤＩプログラム以外の他のプログラムを実験した結果は記載しないが、現在まで公開された全てのプログラムの音楽認識結果は、前述のようなＡｍａｚｉｎｇＭＩＤＩプログラムを用いて実験を行った結果と同様であり、あまり満足でないことが確認された。
【００１５】
すなわち、コンピュータ技術とデジタル信号処理技術を導入して、アコースティック楽器で演奏された音楽を分析するための技術の工夫が種々試みられているが、未だ満足な結果が得られていない実状である。
【００１６】
［発明の開示］
従って、本発明では、演奏に使用された楽器に対して予め格納されている情報を用いることによって、より正確な演奏分析結果を導出することができ、その結果を定量的なデータとして抽出することができる、音楽分析方法を提供することを目的とする。
【００１７】
すなわち、本発明の目的は、演奏楽器の音情報を用いてデジタル音響に含まれた構成信号と当該音情報の構成信号とを比較・分析することによって、単音は勿論、複音の分析も正確に行える音楽分析方法を提供することにある。
【００１８】
また、本発明の他の目的は、演奏楽器の音情報および演奏曲の楽譜情報を用いて、上記のように正確な分析結果が得られると共に、分析にかかる時間を減らすことのできる音楽分析方法を提供することにある。
【００１９】
上記の目的を達成するための本発明が提供する演奏楽器の音情報を用いた音楽分析方法は、コンピュータが、演奏楽器別の音情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップ（ａ）と、コンピュータが、前記格納された演奏楽器別の音情報のうち実際に演奏される楽器の音情報を選択するステップ（ｂ）と、コンピュータが、デジタル音響を入力で受けるステップ（ｃ）と、コンピュータが、前記入力されたデジタル音響信号を単位フレーム別の周波数成分に分解するステップ（ｄ）と、コンピュータが、前記入力されたデジタル音響信号に含まれた単音情報を導出するステップ（ｅ）とを含み、前記ステップ（ｅ）は、前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択するステップ（ｅ１）と、前記選択された演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出するステップ（ｅ２）と、前記導出された音情報のうち当該フレームのピーク周波数成分と最も近似したピーク情報を有する音情報を単音情報として導出するステップ（ｅ３）と、前記導出された単音情報に相当する音情報の周波数成分を当該フレームから除去するステップ（ｅ４）と、当該フレームのピーク周波数成分が残っている場合、前記ステップ（ｅ１〜ｅ４）を繰り返して行うステップ（ｅ５）とを含むことを特徴とする。
【００２０】
また、上記の他の目的を達成するため、本発明が提供する演奏楽器の音情報および楽譜情報を用いた音楽分析方法は、コンピュータが、演奏楽器別の音情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップ（ａ）と、コンピュータが、演奏される楽譜の楽譜情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップ（ｂ）と、コンピュータが、前記格納された演奏楽器別の音情報および楽譜情報のうち実際に演奏される楽器の音情報および楽譜情報を選択するステップ（ｃ）と、コンピュータが、デジタル音響を入力で受けるステップ（ｄ）と、コンピュータが、前記入力されたデジタル音響信号を単位フレーム別の周波数成分に分解するステップ（ｅ）と、コンピュータが、前記入力されたデジタル音響信号に含まれた演奏誤り情報および単音情報を導出するステップ（ｆ）とを含み、前記ステップ（ｆ）は、前記楽譜情報を参照して当該演奏楽器の演奏進行に従うデジタル音響信号のフレーム別の演奏期待値をリアルタイムで生成し、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在するか否かをフレーム単位で確認するステップ（ｆ１）と、前記ステップ（ｆ１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在しない場合、演奏誤り情報および単音情報を導出した後、該演奏誤り情報および単音情報として導出された音情報の周波数成分を当該フレームのデジタル音響信号から除去するステップ（ｆ２）と、前記ステップ（ｆ１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在する場合、当該フレームのデジタル音響信号に含まれた単音情報を導出し、前記単音情報として導出された音情報の周波数成分を該単音情報が含まれたフレームのデジタル音響信号から除去するステップ（ｆ３）と、フレーム単位のデジタル音響信号にピーク周波数成分が残っている場合、前記ステップ（ｆ１〜ｆ３）を繰り返して行うステップ（ｆ４）とを含み、前記ステップ（ｆ２）は、前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択するステップ（ｆ２＿１）と、当該演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出するステップ（ｆ２＿２）と、前記導出された音情報のうち当該フレームのピーク周波数成分と最も近似したピーク情報を有する音情報を演奏誤り情報として導出するステップ（ｆ２＿３）と、前記演奏誤り情報が楽譜情報において次に演奏される音符に含まれる場合、前記演奏誤り情報に含まされた音を演奏期待値に追加した後、該演奏誤り情報を単音情報として導出するステップ（ｆ２＿４）と、前記演奏誤り情報および単音情報として導出された音情報の周波数成分を当該フレームから除去するステップ（ｆ２＿５）とを含み、前記ステップ（ｆ３）は、前記フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値に含まれた音情報のうち最も低い音の情報を選択するステップ（ｆ３＿１）と、前記選択された音情報の周波数成分が当該フレームのデジタル音響信号に含まれた周波数成分に含まれる場合、該音情報を単音情報として導出した後、該音情報の周波数成分を当該フレームのデジタル音響信号から除去するステップ（ｆ３＿２）と、前記選択された音情報の周波数成分が当該フレームのデジタル音響信号に含まれていない場合、前記演奏期待値を訂正するステップ（ｆ３＿３）とを含むことを特徴とする。
【００２１】
［発明を実施するための最良の形態］
以下、添付の図面を参照して本発明の音楽分析方法の詳細を説明する。
【００２２】
図８は、デジタル音響を分析する方法に関する概念図である。同図に示されたように、デジタル音響を入力され演奏楽器の音情報（８４）および楽譜情報（８２）を用いて入力されたデジタル音響の信号を分析（８０）し、その結果として演奏情報および正確度、ミディ音楽などを導出して電子楽譜を描く概念が示されている。
【００２３】
ここで、デジタル音響は、ＰＣＭウェーブ、ＣＤオーディオ、ＭＰ３ファイルなど、入力される音をデジタル変換してコンピュータ読取り可能な形態で格納された全てのものを意味し、実際に演奏されている音楽の場合は、コンピュータに連結されたマイクを介して入力された後、デジタル変換して格納しながら分析を行うこともできる。
【００２４】
入力音楽の楽譜情報（８２）は、例えば、音の高さ、音の長さ、速さ情報（例えば、四分音符＝６４、フェルマータなど）、拍子情報、音の強さ情報（例えば、forte、piano＞−accent、＜だんだん強く（crescendo）など）、細部演奏情報（例えば、スタッカート、スタッカティッスィモ、プラルトリラーなど）およびピアノのように両手を用いて演奏する場合、左手の演奏および右手の演奏に相当する部分を区分するための情報などを含む。また、２つ以上の楽器で演奏された場合は、各楽器に相当する楽譜の部分情報などを含む。すなわち、楽器の演奏時に、目で見て適用する楽譜上の情報は全て楽譜情報として活用できるが、作曲家や時代によって表記法が相違しているため、細部の表記法については本明細書で言及しない。
【００２５】
なお、演奏楽器の音情報（８４）は、図９Ａ〜図９Ｅに示されたように、演奏される特定の楽器別に予め構築されているものであって、音の高さ、音の強さ、ペダル表などがあるが、これについては、図９Ａ〜図９Ｅを参照して説明する部分において再度説明する。
【００２６】
図８に示されたように、本発明では、入力されるデジタル音響を分析する時、音情報または音情報および楽譜情報を活用し、ピアノ演奏曲のように同時に複数の音が演奏される場合、各構成音の高さおよび強さを正確に分析することができ、各時間別に分けて分析した構成音に関する情報から、どの音がどの強さで演奏されたかに関する演奏情報を分析結果として導出することができる。
【００２７】
この時、音楽分析のために演奏楽器の音情報を用いる理由は、一般に、音楽において使用する各音は、その高さに応じて固有なピッチ（Ｐｉｔｃｈ）周波数およびハーモニック（Ｈａｒｍｏｎｉｃ）周波数を有するが、アコースティック楽器の演奏音および人音声の分析において基本となるものが、ピッチ周波数とハーモニック周波数であるからである。
【００２８】
なお、このようなピーク周波数−ピッチ周波数およびハーモニック周波数−成分は、一般に、各楽器の種類別に違って現われる。従って、このような楽器の種類別のピーク周波数成分を予め導出し、当該楽器の音情報として格納した後、入力されるデジタル音響に含まれたピーク周波数成分と、既に格納されている演奏楽器の音情報とを比較することによって、前記デジタル音響を分析することが可能となる。
【００２９】
例えば、ピアノの場合、８８個の鍵盤に関する音情報を予め知っていれば、該ピアノで演奏される演奏音の分析結果、同時に複数の音が演奏されたとしても、該演奏音を予め格納された８８個の音情報の組合わせと比較することができるため、それぞれの個別音を正確に分析することができる。
【００３０】
図９Ａ〜図９Ｅは、デジタル音響を分析するために使用するピアノの音情報を示す例示図である。すなわち、韓国の会社であるYOUNG CHANGピアノ社製のピアノの８８個の鍵盤に関する音情報の例を示している。この時、図９Ａ〜図９Ｃは、当該ピアノの音情報を導出するための条件を示すもので、図９Ａは、８８個の鍵盤のそれぞれに関する音の高さ（Ａ０、1/4、Ｃ８）を区分して示したものであり、図９Ｂは、音の強さ別の識別情報を示したものであり、図９Ｃは、ペダルの使用有無に関する識別情報を示したものである。図９Ｂに示されたように、各音の強さは、「−∞」〜「０」を所定の段階に分類して格納することができる。図９Ｃに示されたように、ペダルを使用した場合を「１」、ペダルを使用しない場合を「０」とし、３つのペダルを有するピアノにおいてペダルの使用形態に関する全ての場合の数について示した。
【００３１】
また、図９Ｄおよび図９Ｅは、前記ピアノに関する音情報の実際的な格納形態を示したものであって、図９Ａ〜図９Ｃに示された各音情報の条件から、音の高さが「Ｃ４」、音の強さが「−７ｄＢ」で、ペダルを全く使用しない場合の音情報を示している。特に、図９Ｄは、当該音情報がウェーブで格納された形態を示し、図９Ｅは、当該音情報がスペクトログラムで格納された形態を示している。ここで、スペクトログラムとは、時間の流れに従う各周波数成分の強さを示すもので、スペクトログラムの横軸は時間情報を示し、縦軸は周波数情報を示すことで、図９Ｅのようなスペクトログラムを参照すると、各時間別の周波数成分に関する強さの情報がわかるようになる。
【００３２】
すなわち、当該演奏楽器の音情報を１つ以上の強さ別の音のサンプルとして格納する時、音情報として表現可能な各単音を、図９Ｄのようにウェーブ形態で格納した後、デジタル音響の分析時に該ウェーブから周波数成分を導出可能にすることができ、図９Ｅのように周波数成分別の強さをもって直接格納することもできる。
【００３３】
このように演奏楽器の音情報を周波数成分別の強さで直接表現するためには、フーリエ変換およびウェーブレット変換などのような周波数分析方法を使用することができる。
【００３４】
一方、前記演奏楽器が、ピアノでなくバイオリンのような弦楽器である場合は、該弦楽器の各弦別の音情報を分類して格納する。
【００３５】
なお、このような各演奏楽器別の音情報は、使用者の選択によって周期的に更新して格納するが、これは、当該楽器の音情報が時間が経つにつれて、または、温度などの周辺環境によって変化するためである。
【００３６】
図１０〜図１０Ｂは、本発明の一実施例に係るデジタル音響分析過程を示す図であって、以下、これらを参照して本発明の実施例をより詳しく説明する。
【００３７】
まず、図１０は、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響を分析する過程に関する処理フローを示す図である。同図を参照して、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響を分析する過程を説明すると、次の通りである。
【００３８】
本発明の一実施例を行うためには、事前に楽器別の音情報を生成し格納する過程を経た後（図示せず）、格納された楽器別の音情報のうちから実際に演奏される楽器の音情報を選択する（ｓ１００）。この時、楽器別の音情報の格納形態例は、図９Ａ〜図９Ｅの通りである。
【００３９】
また、外部からデジタル音響が入力されると（ｓ２００）、該デジタル音響信号を単位フレーム別の周波数成分に分解した後（ｓ４００）、前記デジタル音響信号の周波数成分と前記選択された演奏楽器の音情報の周波数成分とを比較・分析することによって、前記デジタル音響に含まれた単音情報をフレーム別に導出する（ｓ５００）。
【００４０】
このように、外部から入力されたデジタル音響の単音情報が導出されると、該単音情報を出力する（ｓ６００）。
【００４１】
このような一連の過程（ｓ２００乃至ｓ６００）を、デジタル音響入力が中断されるかまたは終了命令が入力される（ｓ３００）まで繰り返して行う。
【００４２】
図１０Ａは、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響のフレーム別の単音情報を導出する過程（ｓ５００）を示す処理フローチャートである。同図では、１つのフレームに対する情報導出過程を説明している。同図に示されたように、デジタル音響のフレーム別の単音情報を導出するため、まず、当該フレームの時間情報を導出し（ｓ５１０）、該単位フレーム別の周波数成分と演奏楽器の音情報の周波数成分とを比較・分析し（ｓ５２０）、各単位フレーム別に含まれた単音の音高さ別、強さ別の情報を時間情報と共に導出する。また、その導出結果を単音情報として導出する (ｓ５3０)。
【００４３】
また、前記過程（ｓ５３０）によって導出された単音が前フレームに含まれていない新しい単音である場合（ｓ５４０）、現フレームをサブフレームに区分した後（ｓ５５０）、該サブフレームのうち新しい単音が含まれたサブフレームを導出し（ｓ５６０）、前記サブフレームの時間情報を導出し（ｓ５７０）、このとき、新しく導出された時間情報を現在導出された単音情報の時間情報に変更する（ｓ５８０）。但し、このような一連の過程（ｓ５４０乃至ｓ５８０）は、導出された単音が低音の帯域に含まれている場合、または、時間情報の正確性が要求されない場合は、省略可能である。
【００４４】
図１０Ｂは、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響および当該演奏楽器の音情報のフレーム別の周波数情報を比較・分析する過程（ｓ５２０）を示す処理フローチャートである。
【００４５】
同図に示されたように、まず、前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択する（ｓ５２１）。また、当該演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出し（ｓ５２２）、該音情報のうち前記過程（ｓ５２１）で選択されたピーク周波数の周波数成分と最も近似したピーク情報を有する音情報を単音情報として導出する（ｓ５２３）。
【００４６】
このように、最も低いピーク周波数に相当する単音情報を導出し、次いで当該フレームに含まれた周波数成分のうち前記導出された単音情報に含まれる周波数成分を除去した後（ｓ５２４）、当該フレームに残余のピーク周波数が存在する場合、前記過程（ｓ５２１乃至ｓ５２４）を繰り返して行う。
【００４７】
例えば、外部から入力されたデジタル音響信号の当該フレームに、「Ｃ４、Ｅ４、Ｇ４」の３つの音が含まれた場合、前記過程（ｓ５２１）によって、「Ｃ４」の基本周波数成分を、現フレームに含まれたピーク周波数成分のうち最も低いピーク周波数成分として選択する。
【００４８】
そして、前記過程（ｓ５２２）によって予め設定されている当該演奏楽器の音情報のうち「Ｃ４」の基本周波数成分を含む音情報を導出する。この場合、一般に、「Ｃ４」、「Ｃ３」、「Ｇ２」1/4など、多数の音情報が導出されるようになる。
【００４９】
次いで、前記過程（ｓ５２３）によって導出された多数個の音情報のうち前記過程（ｓ５２１）で選択されたピーク周波数成分と最も近似した「Ｃ４」の音情報を当該周波数成分に関する単音情報として導出する。
【００５０】
また、該単音情報（「Ｃ４」）を、前記デジタル音響信号の当該フレームに含まれた周波数成分（「Ｃ４、Ｅ４、Ｇ４」）から除去する（ｓ５２４）。そうすると、当該フレームには「Ｅ４、Ｇ４」に相当する周波数成分のみが残るようになる。このようにして当該フレームにおいて周波数成分が完全に消滅するまでに前記過程（ｓ５２１乃至ｓ５２４）を繰り返して行うことで、当該フレームに含まれた全ての音に関する単音情報を導出することができる。
【００５１】
上記の例において、前記過程（ｓ５２１乃至ｓ５２４）を、３回繰り返して行い、「Ｃ４、Ｅ４、Ｇ４」の音に関する単音情報を全て導出している。
【００５２】
以下、〔疑似コード（ｐｓｅｕｄｏ−ｃｏｄｅ）１〕に基づいて、このような音情報を用いたデジタル音響分析方法に関する処理過程を説明する。なお、疑似コードのうち本明細書において説明しない部分は、従来のデジタル音響分析方法を参照したものである。
〔疑似コード１〕
line 1 デジタル音響信号(das)入力;
line 2 // FFT ウィンドウのサイズ別、ウィンドウ間の間隔別(重畳許容)に
// dasを フレーム（frame） 単位で区分
line 3 frame = dasをフレーム別に区分(das, fft-size, overlap-size);
line 4 for 全てのframe
line 5 x = fft(frame); // フーリエ変換
line 6 peak = 最も低いピーク周波数(x);
line 7 timing = frameの時間情報;
line 8 while (peakが存在する間)
line 9 candidates = ピークを含む音情報(peak);
line 10 sound = 最も近似した音情報(candidates, x);
line 11 if soundが新しい音の始まりであれば
line 12 subframe = フレームをサブフレーム（subframe）別に区分
(frame, sub-size, overlap-size);
line 13 for 全てのsubframe
line 14 subx = fft(subframe);
line 15 if subxに peakがあれば
line 16 timing = subframeの時間情報;
line 17 exit-for;
line 18 end-if
line 19 end-for
line 20 end-if
line 21 result = 分析結果格納(result, timing, sound);
line 22 x = x - sound;
line 23 peak = 最も低いピーク周波数(x);
line 24 end-while
line 25 end-for
line 26 performance = 楽器別の演奏補正(result);
〔疑似コード１〕に示されたように、まず、デジタル音響信号を入力され（ｌｉｎｅ 1）、フレーム別に区分（ｌｉｎｅ ３）した後、各フレーム別にループ（ｆｏｒ ｌｏｏｐ）を回りながら分析を行う（ｌｉｎｅ ４〜ｌｉｎｅ ２５）。フーリエ変換を経て周波数成分を導出し（ｌｉｎｅ ５）、最も低いピーク周波数成分を探す（ｌｉｎｅ ６）。次いで（ｌｉｎｅ ７）では、現フレームに相当する時間情報を（ｌｉｎｅ ２１）で格納するために導出する。次いで、現フレームに対してピーク周波数成分が存在する間、ループを（ｗｈｉｌｅ ｌｏｏｐ）を回りながら分析を行う（ｌｉｎｅ ８〜ｌｉｎｅ ２４）。（ｌｉｎｅ ９）で現フレームのピーク周波数成分を有する音情報を導出し、（ｌｉｎｅ １０）でこれらの中で現フレーム上のピーク周波数成分およびハーモニック周波数成分を比較して最も近似した音情報を導出するようになる。このとき、音情報は、現フレーム上のピーク周波数の強さに準じる強さに調節される。導出された音情報が新しい音の始まりであることを意味すると（ｌｉｎｅ １１）、ＦＦＴウィンドウのサイズを小さくして正確な時間情報を抽出するようになる。
【００５３】
この過程において、現フレームを複数個のサブフレームに分け（ｌｉｎｅ １２）、各サブフレームに対してループ（ｆｏｒ ｌｏｏｐ）を回りながら分析を行う（ｌｉｎｅ １３〜ｌｉｎｅ １９）。フーリエ変換を経て周波数成分を導出し（ｌｉｎｅ １４）、（ｌｉｎｅ ６）で導出したピーク周波数が含まれているサブフレームが見つかると（ｌｉｎｅ １５）、（ｌｉｎｅ １６）では、サブフレームに相当する時間情報を（ｌｉｎｅ ２１）で格納するために導出する。（ｌｉｎｅ ７）の時間情報は、ＦＦＴウィンドウのサイズが大きなフレーム単位の時間情報であるため、時間誤差の多い情報であるが、（ｌｉｎｅ １６）の時間情報は、ＦＦＴウィンドウのサイズが小さなサブフレーム単位の情報であるため、時間誤差がほとんどない情報である。（ｌｉｎｅ １７）で（ｌｉｎｅ １３〜ｌｉｎｅ １９）のループ（ｆｏｒ ｌｏｏｐ）を抜け出るため、（ｌｉｎｅ ２１）で格納される時間情報は、（ｌｉｎｅ ７）で導出した時間情報の代わりに（ｌｉｎｅ １６）で導出した正確な時間情報となる。
【００５４】
このように（ｌｉｎｅ １１）から（ｌｉｎｅ ２０）に至るまで新しい音が始まった場合は、単位フレームの大きさを小さくして正確な時間情報を導出するようになる。（ｌｉｎｅ ２１）では、導出された単音の音高さ情報および強さ情報を時間情報と共に格納し、（ｌｉｎｅ ２２）では（ｌｉｎｅ １０）で導出された音情報を、現フレームから減じた後、再度ピーク周波数を探すようになる（ｌｉｎｅ ２３）。上記の過程を繰り返しながら全てのデジタル音響の分析結果は、（ｌｉｎｅ ２１）において結果変数（ｒｅｓｕｌｔ）に格納される。
【００５５】
なお、該結果変数（ｒｅｓｕｌｔ）に格納された分析結果は、実際演奏情報として活用するには十分でない。ピアノの場合、鍵盤を押して音が発生した最初には、正確な周波数帯域に表現されないため、１つ以上のフレームを経た上で、次フレームにおいて正確に分析される可能性が多い。従って、このような場合、ピアノの音はごく短い時間（例えば、３〜４つのフレームに相当する時間）の間は音が変更されないという特性を用いれば、より正確な演奏情報を導出することができる。そのため、（ｌｉｎｅ ２６）の過程においてこのような楽器別特性を用いて分析された結果変数（ｒｅｓｕｌｔ）に格納された値を、より正確な演奏情報であるパフォーマンス（ｐｅｒｆｏｒｍａｎｃｅ）に補正するようになる。
【００５６】
図１１乃至図１１Ｄは、本発明の他の実施例によるデジタル音響分析過程を示す図であって、これらの図を参照して本発明の実施例をより詳しく説明すると、次の通りである。
【００５７】
本発明の他の実施例は、楽器別の音情報と演奏しようとする楽譜情報とを同時に用いる方法に関するものであって、音情報の構築時に各単音別に含まれた周波数成分の変化に応じてできる限り全ての情報を構築することができれば、ほぼ正確に入力されたデジタル音響信号を分析することができるが、実際状況ではこのような音情報の構築は容易でないため、これを補完するための方法に関するものである。すなわち、本発明の他の実施例は、演奏しようとする演奏曲に関する楽譜情報を導出した後、既に抽出された楽器別の音情報と前記楽譜情報によって入力される音を予想し、予想された音の情報を用いてデジタル音響を分析する方法に関するものである。
【００５８】
まず、図１１は、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響を分析する過程を示す処理フローチャートである。同図に示したように、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響を分析する過程を説明すると、次の通りである。
【００５９】
本発明の他の実施例を行うため、演奏楽器別の音情報を生成し格納する過程と、演奏される楽譜の楽譜情報を生成し格納する過程を予め行った後（図示せず）、その格納された演奏楽器別の音情報および楽譜情報のうちから実際に演奏される楽器の音情報および楽譜情報を選択する（ｔ１００、ｔ２００）。このとき、楽器別の音情報の格納形態の例は、「図９Ａ〜図９Ｅ」の通りである。なお、演奏される楽譜から楽譜情報を生成する方法は、本発明の範囲に属せず、現在、紙の楽譜をスキャンすると、直にミディ音楽の演奏情報に変換して格納する技術などが多数存在しているため、楽譜情報を生成し格納する方法に関する説明は省略する。
【００６０】
但し、楽譜情報に含まれる情報の例としては、時間の経過に従う音の高さ、音の長さ情報、速さ情報、拍子情報、音の強さ情報、細部演奏情報（例えば、スタッカート、スタッカティッスィモ、プラルトリラーなど）や両手演奏または多数の楽器演奏に対する演奏区分情報などが挙げられる。
【００６１】
上記のように、当該演奏楽器の音情報および楽譜情報を選択（ｔ１００、ｔ２００）した後、外部からデジタル音響が入力されると（ｔ３００）、該デジタル音響信号を単位フレーム別の周波数成分に分解し（ｔ５００）、前記デジタル音響信号の周波数成分と前記選択された演奏楽器別の音情報の周波数成分および楽譜情報を比較・分析し、前記デジタル音響信号に含まれた演奏誤り情報および単音情報を導出する（ｔ６００）。
【００６２】
このように、外部から入力されたデジタル音響の単音情報および演奏誤り情報が導出されると、該単音情報を出力する（ｔ７００）。
【００６３】
なお、前記演奏誤り情報に基づいて演奏の正確度を判別したり（ｔ８００）、該演奏誤り情報が演奏者の意図によって演奏された音（例えば、変奏音）である場合、これを既存の楽譜情報に追加する過程（ｔ９００）を選択的に行うこともできる。
【００６４】
図１１Ａは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響のフレーム別の単音情報および演奏誤り情報を導出する過程（ｔ６００）に関する処理フローチャートである。同図では、１つのフレームに関する単音情報および演奏誤り情報の導出過程を説明している。同図に示されたように、デジタル音響のフレーム別の単音情報および演奏誤り情報を導出するため、先ず当該フレームの時間情報を導出し（ｔ６１０）、該単位フレーム別の周波数成分と演奏楽器の音情報の周波数成分および楽譜情報を比較・分析し（ｔ６２０）、各単位フレーム別に含まれた単音の音高さ別、強さ別の情報を時間情報と共に導出する。また、その分析結果として導出された単音情報および演奏誤り情報をフレーム別に導出する（ｔ６４０）。
【００６５】
なお、前記過程（ｔ６４０）によって導出された単音が前フレームに含まれていない新しい単音である場合（ｔ６５０）、現フレームをサブフレームに区分した後（ｔ６６０）、該サブフレームのうち新しい単音が含まれたサブフレームを導出し（ｔ６７０）、前記導出されたサブフレームの時間情報を導出する（ｔ６８０）。また、この時に新しく導出された時間情報によって現在導出されている単音情報の時間情報を変更する（ｔ６９０）。但し、このような一連の過程（ｔ６５０乃至ｔ６９０）は、前述の本発明の一実施例でのように、単音が低音の帯域に含まれている場合や時間情報の正確性が要求されない場合は省略可能である。
【００６６】
図１１Ｂおよび図１１Ｃは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響および当該楽器の音情報および楽譜情報のフレーム別の周波数成分を比較・分析する過程（ｔ６２０）を示す処理フローチャートである。
【００６７】
同図に示されたように、先ず、楽譜情報を参照して当該演奏楽器の演奏進行に従うデジタル音響信号のフレーム別の演奏期待値をリアルタイムで生成し、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在するか否かをフレーム単位で確認する（ｔ６２１）。
【００６８】
また、前記確認（ｔ６２１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在しない場合、当該フレームのデジタル音響信号に含まれた周波数成分が演奏誤り情報であるか否かを確認し、演奏誤り情報および単音情報を導出した後、該演奏誤り情報および単音情報として導出された音情報の周波数成分を当該フレームのデジタル音響信号から除去する過程（ｔ６２２乃至ｔ６２８）を行う。
【００６９】
すなわち、前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択した後（ｔ６２２）、当該演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出し（ｔ６２３）、該音情報のうち前記過程（ｔ６２２）で選択されたピーク周波数成分と最も近似したピーク情報を有する音情報を演奏誤り情報として導出する（ｔ６２４）。また、前記演奏誤り情報が、連続する音の楽譜情報において次フレームで演奏される音符に含まれる場合（ｔ６２５）、該演奏誤り情報に相応する音を演奏期待値に追加した後（ｔ６２６）、該演奏誤り情報を単音情報として導出する（ｔ６２７）。なお、このように前記過程（ｔ６２４、ｔ６２７）で演奏誤り情報または単音情報として導出された音情報の周波数成分をデジタル音響信号の当該フレームから除去する（ｔ６２８）。
【００７０】
また、前記確認（ｔ６２１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在する場合、前記デジタル音響信号と前記演奏期待値とを比較・分析して当該フレームのデジタル音響信号に含まれた単音情報を導出し、前記単音情報として導出された音情報の周波数成分を該単音情報が含まれたフレームのデジタル音響信号から除去する過程（ｔ６３０乃至ｔ６３４）を行う。
【００７１】
すなわち、前記演奏期待値に含まれた音情報のうち前記デジタル音響信号の当該フレームに含まれた周波数成分と比較されていない最も低い音の音情報を選択し（ｔ６３０）、前記選択された音情報の周波数成分が前記デジタル音響信号の当該フレームに含まれた周波数成分に含まれる場合（ｔ６３１）、該音情報を単音情報として導出した後（ｔ６３２）、該音情報の周波数成分をデジタル音響信号の当該フレームから除去する（ｔ６３３）。このとき、前記過程（ｔ６３０）で選択された音情報の周波数成分が前記デジタル音響信号の当該フレームに含まれた周波数成分に含まれていない場合、既に設定された演奏期待値を訂正する過程（ｔ６３５）を行う。このような一連の処理過程（ｔ６３０乃至ｔ６３３およびｔ６３５）を、演奏期待値のうち比較されていない音が消滅するまで（ｔ６３４）繰り返して行う。
【００７２】
また、図１１Ｂおよび図１１Ｃに示された全ての処理過程（ｔ６２１乃至ｔ６２８およびｔ６３０乃至ｔ６３５）は、フレーム単位のデジタル音響信号に含まれたピーク周波数成分が全て消滅するまで（ｔ６２９）繰り返して行う。
【００７３】
図１１Ｄは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて生成された演奏期待値を訂正する過程（ｔ６３５）に関する処理フローチャートである。同図に示されたように、前記選択された音情報の周波数成分が当該フレームの前フレームに所定の回数（Ｎ）以上連続して含まれておらず（ｔ６３６）、該音情報の周波数成分がある時点で前記デジタル音響信号に一度以上含まれた履歴がある（ｔ６３７）音情報である場合、演奏期待値から除去する（ｔ６３９）。なお、前記選択された音情報の周波数成分のうちデジタル音響信号の当該フレームに所定の回数（Ｎ）以上連続して含まれておらず（ｔ６３６）、当該フレームに一度も含まれていない（ｔ６３７）音情報である場合は、演奏誤り情報として導出した後（ｔ６３８）、演奏期待値から除去する（ｔ６３９）。
【００７４】
以下、〔疑似コード（ｐｓｅｕｄｏ−ｃｏｄｅ）２〕に基づいて、音情報および楽譜情報を用いたデジタル音響分析方法に関する処理過程を説明する。
〔疑似コード２〕
line 1 楽譜情報(score)入力;
line 2 デジタル音響信号(das)入力;
line 3 frame = フレーム別に区分(das, fft-size, overlap-size);
line 4 現演奏値(current) = 前演奏値(prev) = NULL;
line 5 次演奏値(next) = 最初に演奏される単音;
line 6 for 全てのframe
line 7 x = fft(frame);
line 8 timing = frameの時間情報;
line 9 for 全ての単音(sound) in next & not in (current, prev)
line 10 if soundが frameに含まれていれば
line 11 prev = prev + current;
line 12 current = next;
line 13 next = 次に演奏される単音;
line 14 exit-for;
line 15 end-if
line 16 end-for
line 17 for 全ての単音(sound) in prev
line 18 if soundが frameに含まれていなければ
line 19 prev = prev - sound;
line 20 end-if
line 21 end-for
line 22 for 全ての単音(sound) in (current, prev)
line 23 if soundが frameに含まれていなければ
line 24 result = 演奏誤り格納(result, timing, sound);
line 25 else // soundが frameに含まれていれば
line 26 sound = 強さの調節(sound, x);
line 27 result = 分析結果格納(result, timing, sound);
line 28 x = x - sound;
line 29 end-if
line 30 end-for
line 31 peak = 最も低いピーク周波数(x);
line 32 while (peakが存在する間)
line 33 candidates = ピークを含む音情報(peak);
line 34 sound = 最も近似した音情報(candidates, x);
line 35 result = 演奏誤り情報 (result, timing, sound);
line 36 x = x - sound;
line 37 peak = 最も低いピーク周波数(x);
line 38 end-while
line 39 end-for
line 40 performance = 楽器別の演奏情報(result);
〔疑似コード２〕に示されたように、楽譜情報と音情報とを同時に使用するため、先ず、（ｌｉｎｅ １）で楽譜情報を入力される。該疑似コードは、楽譜情報（ｓｃｏｒｅ）のうちから音符情報のみを用いて演奏される各単音の情報をデジタル音響と比較・分析する例であって、最も基本的なものと理解すれば良い。（ｌｉｎｅ １）で入力された楽譜情報は、（ｌｉｎｅ ５）および（ｌｉｎｅ １３）で次演奏値（ｎｅｘｔ）を導出するために使用される。すなわち、フレーム別の演奏期待値の導出を行うために使用される。次いで、次のステップは、前述の音情報を用いる疑似コードにおける説明と同様に、デジタル音響信号を入力され（ｌｉｎｅ ２）、フレーム別に区分する（ｌｉｎｅ ３）。（ｌｉｎｅ ４）で現演奏値（ｃｕｒｒｅｎｔ）および前演奏値（ｐｒｅｖ）をナル（ｎｕｌｌ）として指定するが、楽譜上でデジタル音響信号の現フレームに含まれた音に対応される音の情報が現演奏値（ｃｕｒｒｅｎｔ）であり、デジタル音響信号の前フレームに含まれた音に対応される音の情報が前演奏値（ｐｒｅｖ）であり、デジタル音響信号の次フレームに含まれるものと予想される音の情報が次演奏値（ｎｅｘｔ）である。
【００７５】
次いで、全てのフレームに対してｆｏｒ ｌｏｏｐを回りながら分析を行う（ｌｉｎｅ ６）。各フレーム別にフーリエ変換を経て周波数成分を導出し（ｌｉｎｅ ７）、（ｌｉｎｅ ９）において楽譜上の次の演奏部分に進行されたか否かを判断する。すなわち、現演奏値（ｃｕｒｒｅｎｔ）および前演奏値（ｐｒｅｖ）に含まれておらず、次演奏値（ｎｅｘｔ）にのみ含まれている新しい音がデジタル音響信号の現フレームに含まれていれば、楽譜上の次の演奏部分に進行されたものと判断する。このとき、前演奏値（ｐｒｅｖ）、現演奏値（ｃｕｒｒｅｎｔ）、また、次演奏値（ｎｅｘｔ）の値を適当に変更させる。（ｌｉｎｅ １７〜ｌｉｎｅ ２１）では、前演奏値（ｐｒｅｖ）に含まれた音のうちデジタル音響信号の現フレームに含まれていない音（消滅された音）を探して前演奏値（ｐｒｅｖ）から除去する。この過程によって、楽譜上では既に過ぎたが、実際の演奏では音が残っている部分に対して消滅処理を行うようになる。（ｌｉｎｅ ２２〜ｌｉｎｅ ３０）では、現演奏値（ｃｕｒｒｅｎｔ）および前演奏値（ｐｒｅｖ）に含まれた全ての音情報（ｓｏｕｎｄ）に対して、各音情報がデジタル音響信号の現フレームにあるかを判断し、各音情報がデジタル音響信号の現フレームに含まれていなければ、楽譜と違って演奏されたことを結果として格納し、各音情報がデジタル音響信号の現フレームに含まれていれば、現フレームに含まれた音の強さに合わせて音情報（ｓｏｕｎｄ）を導出した後、音の高さ情報および強さ情報を時間情報と一緒に格納する。このように、（ｌｉｎｅ ９）〜（ｌｉｎｅ ３０）は、楽譜情報からデジタル音響信号の現フレームに含まれた音に対応する単音を現演奏値（ｃｕｒｒｅｎｔ）と、デジタル音響信号の前フレームに含まれた音に対応される単音を前演奏値（ｐｒｅｖ）と、デジタル音響信号の次フレームに含まれるものと予想される単音を次演奏値（ｎｅｘｔ）と設定し、前演奏値と現演奏値を演奏期待値にしておき、ここに含まれた音を基準にしてデジタル音響信号を分析しているため、一層正確かつ速やかに分析することが可能となる。
【００７６】
さらに、楽譜情報と違って演奏される場合に備えて（ｌｉｎｅ ３１）のステップを追加した。楽譜情報に含まれた音を分析した後、未だピーク周波数が残っていれば、違って演奏された部分であるため、前述の音情報を用いる疑似コード１に記載のアルゴリズムを用いて各ピーク周波数に相当する単音を導出し、これを疑似コード２（ｌｉｎｅ ２３）でのように楽譜と違って演奏されたことを格納する。疑似コード２では、楽譜情報を用いる方法について重点を置いて説明しているので、細部的な内容は省略しているが、音情報および楽譜情報を用いる方法は、前述の音情報のみを用いる方法と同様に、正確な時間情報を導出するために単位フレームの大きさを減らしながら分析する方法で、疑似コード１の（ｌｉｎｅ １１）〜疑似コード１の（ｌｉｎｅ ２０）に相当するステップを含むことができる。
【００７７】
疑似コード２においても、結果変数（ｒｅｓｕｌｔ）に格納された分析結果および演奏誤り結果は、実際演奏の情報として活用するには十分でない。疑似コード１の場合と同じ理由から、また、楽譜情報では同じ時点で複数個の音が始まるに対して実際演奏では各音の間にごく短い時間差があり得るという点を勘案し、（ｌｉｎｅ ４０）で楽器別の特性および演奏者の特性を勘案して分析された結果変数（ｒｅｓｕｌｔ）をパフォーマンス（ｐｅｒｆｏｒｍａｎｃｅ）に補正するようになる。
【００７８】
以下、上記のような本発明を立証するため、デジタル音響および演奏楽器の音情報の周波数特性についてより詳しく説明する。
【００７９】
図１２は、図１および図２に示された楽譜の第１小節をピアノで演奏し、該音を周波数別に分析した図である。即ち、図１および図２に示されたベートーベンのピアノソナタ第８番第２楽章の第１小節のピアノ演奏曲をスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）で示したものである。ここで、使用されたピアノはYOUNG CHANGピアノ社製のグランドピアノであり、ソニ社のノート型パソコンにマイクを連結してウィンドウ補助プログラムに備えられた録音機で録音した。スペクトログラムを分析して示すプログラムは、Ｒ．Ｓ．Ｈｏｒｎｅが開発して公開したフリーウェア「Ｓｐｅｃｔｒｏｇｒａｍ ５．１．６」バージョンを用いた。設定項目としては、Ｓｃａｌｅを９０ｄＢとし、Ｔｉｍｅ Ｓｃａｌｅは、５ｍｓｅｃ、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）ｓｉｚｅは、８１９２とし、他のものには基本値を適用した。Ｓｃａｌｅは、−９０ｄＢより小さな音は無視して表示しないという意味であり、Ｔｉｍｅ Ｓｃａｌｅは、ＦＦＴウィンドウを５ｍｓｅｃ毎に重畳させながらフーリエ変換（Ｆｏｕｒｉｅｒ）を経て図示化したことを示すものである。
【００８０】
図１２の上部に示された線（１００）は、入力されたデジタル音響信号の強さを入力された、そのまま示したものであり、その下に各周波数帯域別にデジタル音響に含まれた周波数成分が表示されている。黒色に近いほど強さの大きな周波数成分を包含している。スペクトログラムの縦線の１つは、当該地点を基準にして８１９２個のサンプルをフーリエ変換して各周波数の成分別に強さに従って色を示すものであり、横軸は、時間の進行を示すものであるため、個別周波数成分に対して時間の流れによる強さの変化が一目で把握できる。図１２と図２とを共に参照して、図２の楽譜上に示される各音の高さに応じて相当する基本周波数とハーモニック周波数とが図１２に示されていることがわかる。
【００８１】
図１３Ａ乃至図１３Ｇは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、該演奏音を周波数別に分析した図であって、図２の第１小節に含まれた各音を同じ環境下で別に録音した後、その結果をスペクトログラムで示したものである。即ち、図１３Ａは、Ｃ４、図１３Ｂは、Ａ２♭、図１３Ｃは、Ａ３♭、図１３Ｄは、Ｅ３♭、図１３Ｅは、Ｂ３♭、図１３Ｆは、Ｄ３♭、図１３Ｇは、Ｇ３に相当するピアノ音をスペクトログラムで示したものである。各図は、すべて４秒間の周波数別の強さ情報を有しており、分析時の設定項目は、図１２の場合と同様にした。Ｃ４音の場合、２６２Ｈｚを基本周波数として有し、そのｎ倍数である５２３Ｈｚ、７８５Ｈｚ、１０４７Ｈｚなどをハーモニック周波数として有するが、図１３Ａでこれを確認することができる。即ち、２６２Ｈｚと５２３Ｈｚに示される周波数成分は強く（黒色に近く）示し、７８５Ｈｚの場合より高い倍数の周波数帯域にいくほど概ね強さが弱くなることがわかる。図面では、Ｃ４の基本周波数およびハーモニック周波数は、いずれも「Ｃ４」と表示した。
【００８２】
なお、Ａ２♭音は、基本周波数として１０４Ｈｚを有するが、図１３Ｂに示されたように、Ａ２♭音の基本周波数は弱く示され、Ａ２♭音のハーモニック周波数が基本周波数より遥かに強く示されることがわかる。図１３のみを参照して、特に、Ａ２♭音の３倍数ハーモニック周波数（３１１Ｈｚ）帯域が最も強く示されるため、単に周波数の強さで音の高さを決定するとすれば、Ａ２♭音を３１１Ｈｚを基本周波数として有するＥ４♭音と誤って認識することがあり得る。
【００８３】
また、図１３Ｃ乃至図１３Ｇにおいても、音の強さのみをもって音の高さを決定する場合、このような誤りを犯すことがある。
【００８４】
図１４Ａ乃至図１４Ｇは、前記楽譜の第１小節に含まれた各音に対する周波数成分が図１２に示された状態を示すものである。
【００８５】
図１４Ａは、Ｃ４音に相当する図１３Ａの周波数成分が図１２に示された状態を表示したものである。図１３Ａに示された音の強さは、図１２に使用された音の強さより大きいため、図１２の上端部にあるＣ４音のハーモニック周波数は薄く示されるか、見分け難いほど小さな強さに示されている。しかし、図１３Ａの周波数強さを図１２に示されたＣ４基本周波数の強さに合うように低くした上で比較すると、図１２においてＣ４音の周波数成分が、図１４Ａでのように含まれていることがわかる。
【００８６】
図１４Ｂは、Ａ２♭音に相当する図１３Ｂの周波数成分が図１２に示される状態を表示したものである。図１３Ｂに示された音の強さは、図１２で演奏されたＡ２♭音の強さより遥かに強いため、基本周波数の成分と上端部のハーモニック周波数成分が明確に示されるが、図１２では薄く示されており、特に上端部ではハーモニック周波数がほとんど表示されていない。これもやはり図１３Ｂの周波数の強さを図１２に示されたＡ２♭の基本周波数の強さに合うように低くした上で比較すると、図１２においてＡ２♭音の周波数成分が図１４Ｂでのように含まれていることがわかる。図１４Ｂにおいて５倍数のハーモニック周波数成分が強く示されるのは、図１４ＡにおいてＣ４音の２倍数ハーモニック周波数成分と重畳されるためであり、Ａ２♭音の５倍ハーモニック周波数は５１９Ｈｚであり、Ｃ４音の５２３Ｈｚであるため、同一の帯域に重畳されて図に表われている。続けて図１４Ｂを分析すると、Ａ２♭音の５倍数、１０倍数、１５倍数などに相当するハーモニック周波数帯域がＣ４音の２倍数、４倍数、６倍数ハーモニック周波数などと重畳され、図１３Ｂに示される基本周波数とハーモニック周波数との間の相対的な大きさより大きく示されていることがわかる（参考として、弱い強さの音は、スペクトログラムで薄く示されるため、目で各周波数成分を明確に見分け得るようにするため、図１３Ａ〜図１３Ｇの単音を録音する時、図１２に含まれた実際音の強さより大きな音で録音した）。
【００８７】
図１４Ｃは、Ａ３♭音に相当する図１３Ｃの周波数成分が図１２に示される状態を表示した図である。図１３Ｃに示された音の強さは、図１２で演奏されたＡ３♭音の強さより強いため、図１３Ｃに表示された周波数成分が、図１４Ｃより強く示されている。なお、上記の単音に比べて図１４ＣではＡ３♭音の成分のみを探すのはあまり容易でない。その理由は、他の音の基本周波数およびハーモニック周波数帯域が重畳される部分が多く、他の音の演奏時にＡ３♭音が弱く立て、その内消えるためである。先ず、Ａ３♭音の全ての周波数成分は、Ａ２♭音において２倍数に相当するハーモニック周波数の成分がそのまま重畳されている。さらに、Ａ３♭音の５倍数ハーモニック周波数は、Ｃ４音の４倍数ハーモニック周波数と重畳されるため、この部分では、音の二度演奏の間、切れる部分を見つけ難い。他の周波数成分は、共通的に中間部分において強さが弱くなるため、この部分では、Ａ２♭音のハーモニック周波数成分が示されていることがわかり、この部分においてＡ３♭音は、中断されてから再度演奏されたことがわかる。
【００８８】
図１４Ｄは、Ｅ３♭音に相当する図１３Ｄの周波数成分が図１２に示される状態を表示した図である。図１３Ｄに示された音の強さは、図１２において演奏されたＥ３♭音の強さより強いため、図１３Ｄに表示された周波数成分が図１４Ｄのそれより強く示されている。Ｅ３♭音は、４回演奏されたが、初の二回演奏の間は、Ｅ３♭音の２倍数および４倍数のハーモニック周波数成分が、Ａ２♭音の３倍数および６倍数のハーモニック成分と重畳するため、この部分では、二回演奏の間、続けて他の音のハーモニック周波数成分が示されていることが確認される。また、Ｅ３♭音の５倍数ハーモニック周波数成分は、Ｃ４音の３倍数ハーモニック周波数成分と重畳されたように示されるため、一番目の音と二番目の音との間で当該周波数成分が続けて示されていることがわかる。三番目の音と四番目の音においては、Ｅ３♭音の３倍数ハーモニック周波数成分がＢ３♭音の２倍数ハーモニック周波数成分と重畳するため、Ｅ３♭音の非演奏の間も続けて当該周波数成分が示されていることがわかる。また、Ｅ３♭音の５倍数ハーモニック周波数成分が、Ｇ３音の４倍数ハーモニック周波数成分と重畳するため、Ｇ３音とＥ３♭音とが交代に演奏されたにもかかわらず、Ｇ３音の４倍数ハーモニック周波数成分とＥ３♭音の５倍数ハーモニック周波数成分とはずっと連結されて示されている。
【００８９】
図１４Ｅは、Ｂ３♭音に相当する図１３Ｅの周波数成分が図１２に示されている状態を表示したものである。図１３Ｅに示された音の強さは、図１２で演奏されたＢ３♭音の強さより少し強いため、図１３Ｅに表示された周波数成分が強く示されている。しかし、図１４Ｅでは、図１３Ｅに表示された周波数成分がほとんどそのままマッチングされていることが確認される。図１３Ｅに示されたように、音が弱くなりながらＢ３♭音の上端部のハーモニック周波数は良く表示されない程度に弱くなることがわかり、図１４Ｅにおいても同様に右側に進行しながら上端部のハーモニック周波数の強さが弱くなることが確認できた。
【００９０】
図１４Ｆは、Ｄ３♭音に相当する図１３Ｆの周波数成分が図１２に示される状態を表示した図である。図１３Ｆに示された音の強さは、図１２で演奏されたＤ３♭音の強さより強いため、図１３Ｆに表示された周波数成分が図１４Ｄのそれより強く示されている。しかし、図１４Ｆにおいても図１３Ｆに表示された周波数成分がそのままマッチングされていることが確認される。特に、図１３ＦにおいてＤ３♭音の９倍数ハーモニック周波数の強さは、１０倍数ハーモニック周波数の強さより小さく示されているが、図１４ＦにおいてもＤ３♭音の９倍数ハーモニック周波数の強さは、非常に弱く示され、１０倍数ハーモニック周波数の強さより小さく示されていることが確認される。なお、図１４ＦにおいてＤ３♭音の５倍数および１０倍数ハーモニック周波数は、図１４Ｅにおいて表示されたＢ３♭音の３倍数および６倍数ハーモニック周波数と重畳するため、他のハーモニック周波数より強く示されている。Ｄ３♭音の５倍数ハーモニック周波数は、６９３Ｈｚで、Ｂ３♭音の３倍数ハーモニック周波数は、６９９Ｈｚで、隣接しているため、スペクトログラムで重畳して現われるようになる。
【００９１】
図１４Ｇは、Ｇ３音に相当する図１３Ｇの周波数成分が図１２に示される状態を表示した図である。図１３Ｇに示された音の強さは、図１２で演奏されたＧ３音の強さより少し強いため、図１３Ｇに表示された周波数成分が図１４Ｇのそれより強く示されている。図１４Ｇでは、Ｇ３音の強さが図１４ＣでのＡ３♭音の強さより強く演奏されたので、明確に各周波数成分を探し出すことができる。さらに、図１４Ｃや図１４Ｆでのように他の音の周波数成分と重畳する部分がほとんど示されていないため、個別周波数成分が目視で容易に確認可能である。但し、Ｇ３音の４倍数ハーモニック周波数帯域と図１４Ｄに表示されたＥ３♭音の５倍数ハーモニック周波数帯域とがそれぞれ７８４Ｈｚ、７７８Ｈｚで近似しているが、Ｅ３♭音とＧ３音の演奏時間が互いに異なっているため、図１４ＧにおいてＧ３音の４倍数ハーモニック周波数成分の２つ部分の間で僅かに下方にＥ３♭音の５倍数ハーモニック周波数成分が示されていることがわかる。
【００９２】
図１５は、図１２に表示された各周波数を、図２の楽譜に含まれた音の周波数のそれぞれと比較して示した図である。すなわち、今まで図１２の周波数成分を分析した内容が一目で確認できるように、相当する各周波数成分に表示をした。前述の本発明の方法では、図１２に示された周波数成分を分析するため、図１３Ａ〜図１３Ｇに表現された各単音の周波数成分を用いた。その結果として、図１５の図面が得られ、これによって入力されたデジタル音響を分析するために演奏楽器の音情報を用いる方法の概要を確認することができる。すなわち、前述の本発明の方法では、演奏楽器の音情報として各単音の実際音を入力され、各音に含まれた周波数成分を用いた。
【００９３】
本明細書では、フーリエ変換のＦＦＴを用いて周波数成分を分析したが、周波数成分の分析技術としては、その他にも、ウェーブレット（Ｗａｖｅｌｅｔ）や他のデジタル信号処理アルゴリズムで開発した多くの技術が使用できるのは勿論である。即ち、本明細書では、説明を容易にするため、最も代表的なフーリエ変換技術を利用しているが、本発明を限定するためのものではない。
【００９４】
なお、図１４Ａ乃至図１４Ｇおよび図１５に至るまで、各音の周波数成分が表現される時間情報は、実際に演奏された時間情報と違って示されていることがわかる。特に、図１５において参照符号（１５００、１５０１、１５０２、１５０３、１５０４、１５０５、１５０６、１５０７）で表示された時間が、実際演奏が始まった部分であるにもかかわらず、周波数成分は、以前の時間から表現されていることがわかる。また、各周波数成分が、音の終わり時間を超えて示されることもある。これは、時間の流れに従う周波数の分析を正確にするため、ＦＦＴウィンドウのサイズを８１９２にしたので発生した時間上の誤差である。この誤差の範囲は、ＦＦＴウィンドウのサイズに応じて決定され、本例で使用されたサンプリング比率は、２２,０５０Ｈｚであり、ＦＦＴウィンドウは、８１９２サンプルであるため、８,１９２÷２２,０５０≒０．３７秒の誤差を含んでいる。即ち、ＦＦＴウィンドウのサイズを大きくすると、単位フレームの大きさが大きくなって区分可能な周波数の間隔が狭くなるため、各音の高さによる周波数成分を正確に分析できるが、時間上の誤差を有するようになり、ＦＦＴウィンドウのサイズを小さくすると、区分可能な周波数の間隔が広くなるため、低音域において隣接した音が区分できないが、時間上の誤差は少なくなる。選択的に、サンプリング比率を高くしても前述のように時間上の誤差範囲が狭くなる。
【００９５】
図１６Ａ乃至図１６Ｄは、このようにＦＦＴウィンドウのサイズ変化による誤差範囲の変化を説明するため、図１および図２に示された楽譜の第１小節に関する演奏音を互いに異なったＦＦＴウィンドウのサイズで分析した結果を示す図である。
【００９６】
図１６Ａは、ＦＦＴウィンドウのサイズを４０９６に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示し、図１６Ｂは、ＦＦＴウィンドウのサイズを２０４８に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示し、図１６Ｃは、ＦＦＴウィンドウのサイズを１０２４に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示し、図１６Ｄは、ＦＦＴウィンドウのサイズを５１２に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示すものである。
【００９７】
一方、図１５の場合、ＦＦＴウィンドウのサイズを８１９２に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示しているため、図１５乃至１６Ａ〜１６Ｄに至るまで分析結果を比較すると、ＦＦＴウィンドウのサイズが大きくなるほど周波数帯域を細かく分けて細密に分析できるが、時間上の誤差が大きくなり、ＦＦＴウィンドウのサイズが小さくなるほど区分可能な周波数帯域が広くなるため、細密な分析が難しい反面、時間上の誤差はそれ程小さくなることがわかる。
【００９８】
従って、時間上の正確度および周波数帯域区分の正確度の要求に応じてＦＦＴウィンドウのサイズを可変的に変更しながら分析し、または、時間上の情報と周波数上の情報とを互いに異なったＦＦＴウィンドウのサイズを用いて分析する方法などを適用すれば良い。
【００９９】
図１７Ａおよび図１７Ｂは、ＦＦＴウィンドウのサイズに応じてデジタル音響分析過程の時間誤差が変化する模様を示すための図である。このとき、図面上に白く表示された領域が当該音が発見されたウィンドウを示す。従って、図１７Ａの場合、ＦＦＴウィンドウのサイズが大きいため（８１９２）、当該音が発見されたウィンドウを示す領域が広く示され、図１７Ｂの場合、ＦＦＴウィンドウのサイズが相対的に小さいため（１０２４）、当該音が発見されたウィンドウを示す領域が狭く示される。
【０１００】
図１７Ａは、ＦＦＴウィンドウのサイズを「８１９２」に設定した場合に関するデジタル音響の分析結果を示す図であって、同図に示されたように、実際音が始まった位置は、「９７８０」であるが、ＦＦＴ変換の結果、音の始まり位置と分析された位置は、当該音が発見されたウィンドウの中間地点である「１２２８８」（＝８１９２＋１６３８４）／２）となる。この場合は、１２２８８番目のサンプルと９７８０番目のサンプルとの間の差である２５０８個のサンプルに相当する時間分だけの誤差が発生する。即ち、２２．５ＫＨｚサンプリングの場合、２５０８＊（１／２２５００）＝およそ０．１１秒の誤差が発生する。
【０１０１】
また、図１７Ｂは、ＦＦＴウィンドウのサイズを「１０２４」に設定した場合に関するデジタル音響の分析結果を示す図であって、同図に示されたように、実際音が始まった位置は、図１７Ａと同様に「９７８０」であるが、ＦＦＴ変換の結果、音の始まり位置と分析された位置は、「９７２８」（＝９２１６＋１０２４０）／２）となる。この場合は、９２１６番目のサンプルと１０２３９番目のサンプルとの中間値である９７２８番目のサンプルの時間として分析するようになるが、その誤差は、単に５２個のサンプルに過ぎず、上記のように２２．５ＫＨｚサンプリングの場合、上記のような計算方法によって時間としてはおよそ０．００２秒の誤差が発生する。従って、図１７ＢのようにＦＦＴウィンドウのサイズを小さく設定した場合により正確な分析結果が得られることがわかる。
【０１０２】
図１８は、本発明の実施例によって音情報および楽譜情報を用いて導出した単音情報を再度合成した音を周波数別に分析した結果を示す図である。すなわち、図１の楽譜から楽譜情報を導出し、図１３Ａ乃至図１３Ｇに関する部分で説明した音情報を適用した。
【０１０３】
すなわち、図１から導出された楽譜情報から初の０．５秒間、Ｃ４、Ａ３♭、そしてＡ２♭音が演奏されることを導出し、図１３Ａ乃至図１３Ｃの情報から、当該音の音情報を導出した後、該情報を用いて外部から入力されたデジタル音響を分析した後、その分析結果を導出した図である。このとき、図１２の初の０．５秒間に相当する部分と図１４Ｄの前部とを比較すると、ほとんど一致していることが確認された。従って、図１８の初の０．５秒間に相当する部分は、前述の〔疑似コード２〕のうちで結果変数（ｒｅｓｕｌｔ）またはパフォーマンス（ｐｅｒｆｏｒｍａｎｃｅ）に相当する部分であって、図１２の初の０．５秒部分と一致する。
【０１０４】
以上、本発明について好適な実施例を中心に説明したが、本発明の属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱することなく変更された形態に本発明を実施することができる。したがって、本明細書に開示の実施例は、本発明を限定するものではなく、本発明を説明するためのものと解釈すべきである。すなわち、本発明の範囲は、添付の請求の範囲によってのみ制限される。
【０１０５】
［産業上の利用可能性］
本発明によれば、デジタル音響分析において音情報または音情報および楽譜情報を用いることによって、入力されるデジタル音響を速やかに分析することができ、その正確性も向上する。また、従来の方法では、ピアノ演奏曲など複音で構成された音楽がほとんど分析できなかったが、本発明では、音情報または音情報および楽譜情報を用いることによって、デジタル音響に含まれた単音演奏部分は勿論、複音演奏部分までも速やかにかつ正確に分析することができる効果を奏する。
【０１０６】
よって、このようなデジタル音響の分析結果を電子楽譜に直接適用することができ、また、正確な分析結果を用いて演奏情報を定量的に導出することができる。従って、このような分析結果は、その利用範囲が広く、子供向けの音楽教育から専門家の演奏レッスンに至るまで、幅広く適用することができる。
【０１０７】
即ち、外部から入力されるデジタル音響をリアルタイムで分析することのできる本発明の技術を応用し、現在演奏されている演奏音に対する電子楽譜上の位置をリアルタイムで把握し、次の演奏位置を電子楽譜上に自動に表示できるようにすることで、演奏者が手で楽譜をめくる必要がないため、演奏に専念することができる効果が得られる。
【０１０８】
また、分析結果である演奏情報を、予め格納された楽譜情報と比較して演奏正確度を導出することによって、演奏者に、違った演奏部分を指摘して知らせるか、前記演奏正確度をもって当該演奏者の演奏を評価することのできる資料として活用することもできる。
【図面の簡単な説明】
【図１】 図１は、ベートーベンのピアノソナタ第８番第２楽章の初めの２小節に相当する楽譜を示す図である。
【図２】 図２は、図１に示された楽譜の複音を単音に区分して示した楽譜図である。
【図３】 図３は、ＡｍａｚｉｎｇＭＩＤＩプログラムのパラメータ設定ウィンドウを示す図である。
【図４】 図４は、ＡｍａｚｉｎｇＭＩＤＩプログラムにおいて図１に示された楽譜の実際演奏音をミディデータに変換した結果を示す図である。
【図５】 図５は、図４の中、実際演奏音に相当する部分を黒棒で表示して組み合わせた図である。
【図６】 図６は、ＡｍａｚｉｎｇＭＩＤＩプログラムにおいて図１に示された楽譜の実際演奏音をミディデータに変換した、他の結果を示す図である。
【図７】 図７は、図６の中、実際演奏音に相当する部分を黒棒で表示して組み合わせた図である。
【図８】 図８は、デジタル音響を分析する方法に関する概念図である。
【図９Ａ】 図９Ａは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図９Ｂ】 図９Ｂは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図９Ｃ】 図９Ｃは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図９Ｄ】 図９Ｄは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図９Ｅ】 図９Ｅは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図１０】 図１０は、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響を分析する過程を示す処理フローチャートである。
【図１０Ａ】 図１０Ａは、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響のフレーム別の単音情報を導出する過程を示す処理フローチャートである。
【図１０Ｂ】 図１０Ｂは、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響および当該楽器の音情報のフレーム別の周波数成分を比較・分析する過程を示す処理フローチャートである。
【図１１】 図１１は、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響を分析する過程を示す処理フローチャートである。
【図１１Ａ】 図１１Ａは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響のフレーム別の単音情報および演奏誤り情報を導出する過程を示す処理フローチャートである。
【図１１Ｂ】 図１１Ｂは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響および当該楽器の音情報および楽譜情報のフレーム別の周波数成分を比較・分析する過程を示す処理フローチャートである。
【図１１Ｃ】 図１１Ｃは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響および当該楽器の音情報および楽譜情報のフレーム別の周波数成分を比較・分析する過程を示す処理フローチャートである。
【図１１Ｄ】 図１１Ｄは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて生成された演奏期待値を訂正する過程を示す処理フローチャートである。
【図１２】 図１２は、図１および図２に示された楽譜の第１小節をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ａ】 図１３Ａは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｂ】 図１３Ｂは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｃ】 図１３Ｃは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｄ】 図１３Ｄは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｅ】 図１３Ｅは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｆ】 図１３Ｆは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｇ】 図１３Ｇは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１４Ａ】 図１４Ａは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｂ】 図１４Ｂは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｃ】 図１４Ｃは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｄ】 図１４Ｄは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｅ】 図１４Ｅは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｆ】 図１４Ｆは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｇ】 図１４Ｇは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１５】 図１５は、図１２において表示される各周波数を、図２の楽譜に含まれた音の周波数のそれぞれと比較して示す図である。
【図１６Ａ】 図１６Ａは、図１および図２に示された楽譜の第１小節の演奏音をＦＦＴ変換する時、設定されるウィンドウのサイズ別の周波数分析結果を示す図である。
【図１６Ｂ】 図１６Ｂは、図１および図２に示された楽譜の第１小節の演奏音をＦＦＴ変換する時、設定されるウィンドウのサイズ別の周波数分析結果を示す図である。
【図１６Ｃ】 図１６Ｃは、図１および図２に示された楽譜の第１小節の演奏音をＦＦＴ変換する時、設定されるウィンドウのサイズ別の周波数分析結果を示す図である。
【図１６Ｄ】 図１６Ｄは、図１および図２に示された楽譜の第１小節の演奏音をＦＦＴ変換する時、設定されるウィンドウのサイズ別の周波数分析結果を示す図である。
【図１７Ａ】 図１７Ａは、ＦＦＴウィンドウのサイズに応じてデジタル音響分析過程の時間誤差が相違していることを示す図である。
【図１７Ｂ】 図１７Ｂは、ＦＦＴウィンドウのサイズに応じてデジタル音響分析過程の時間誤差が相違していることを示す図である。
【図１８】 図１８は、本発明の実施例によって音情報および楽譜情報に基づいて導出した単音情報を再度合成した音を周波数別に分析した結果を示す図である。
本発明は、デジタル音響信号を分析する方法に関し、特に、入力されるデジタル音響信号の周波数成分と演奏楽器の音の周波数成分とを比較することによって、デジタル音響信号を分析する方法に関する。
【０００１】
［背景技術］
１９８０年代にパソコンの補給が始まって以来、コンピュータの技術、性能および環境が急速に発展し、１９９０年代に入ってはインターネットが会社の各部門および個人性格領域にまでも急に広がりつつある。これによって、２１世紀には全世界においてコンピュータの利用が全分野で非常に重要視され、音楽分野においてこれを応用したものの１つとしてミディ（ＭＩＤＩ：Ｍｕｓｉｃ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）がある。「ミディ」とは、人の音声や楽器の演奏音を合成（ｓｙｎｔｈｅｓｉｓ）し、格納することのできるコンピュータ音楽技術であって、音楽家が利用している代表的なものであると言え、現在、大衆音楽の作曲家や演奏者が主に利用しているものである。
【０００２】
例えば、作曲家は、ミディ機能を有する電子楽器をコンピュータと連結して手軽に作曲でき、このように作曲した演奏曲は、コンピュータまたはシンセサイザーの音響合成を用いて手軽に再生できるようになっている。また、録音過程においてミディ装備で製作された音響が、歌手の歌とミキシングされて人々に好まれる音楽に作られることもあった。
【０００３】
ミディ技術は、このように大衆音楽と関連しながら持続的に発達すると共に、音楽教育分野へも進出している。すなわち、ミディは、音楽演奏の実際音とは無関係に、単に楽器の種類、音の高さおよび強さ、音の始まりと終わり情報のみを用いているため、ミディ楽器とコンピュータを用いてミディ情報をやり取りすることができる。従って、ミディ機能を有する電子ピアノとコンピュータをミディケーブルで連結した後、電子ピアノの演奏時に生成されるミディ情報を用いることで、音楽教育に活用し得る。これによって、日本のヤマハを始めとした多くの会社でミディを用いた音楽教育ソフトウェアを開発して適用してきている。
【０００４】
しかし、このようなミディ技術は、アコースティック楽器の音とアコースティック楽器の演奏から感じられる感じを大事にする多くのクラシック音楽家の欲求を充足させていない。即ち、多くのクラシック音楽家は、電子楽器の音や感じをあまり好まないため、伝統的な方法で音楽を勉強し、アコースティック楽器の演奏を学ぶのが実状である。従って、音楽教師がクラシック音楽を教えるか学生が音楽を学ぶには、音楽学院や音楽学校などを用い、学生は音楽教師の指導に全的に依存している現状である。このようなクラシック音楽教育環境に鑑みてみると、クラシック音楽分野にコンピュータ技術とデジタル信号処理技術を導入して、アコースティック楽器で演奏された音楽を分析し、その分析結果を定量的な演奏情報として示すことができれば好ましいだろう。
【０００５】
このため、アコースティック楽器の演奏音をデジタル音響に変換した後、該デジタル音響をコンピュータで分析する技術の工夫が種々試みられている。
【０００６】
このような例の１つとして、「Eric D. Scheirer」の修士論文である『Extracting Expressive Performance Information from Recorded Music』においては、録音されたデジタル音響からミディ音楽を抽出するため楽譜情報を利用している。前記論文に記載のように、彼は、各音の強さ、始まりタイミング、終わりタイミングを抽出してミディ音楽に変化させる方法について研究した。しかし、前記論文に記載の実験結果を見ると、楽譜情報を用いた場合、録音されたデジタル音響から始まるタイミングは正確に抽出されるが、終わるタイミングと音の強さ情報の抽出は、やはり正確でないという問題点がある。
【０００７】
なお、全世界的に少数の会社が音楽認識技術を用いて簡単なデジタル音響を分析できる初期の製品を出しており、インターネット上のａｌｔ．ｍｕｓｉｃ．ｍｉｄｉ ＦＡＱによれば、ウェーブ（ｗａｖｅ）形式のデジタル音響を分析してミディ形式に変換または楽譜化する製品が多数開発されている。これらのものとしては、Ａｋｏｆｆ Ｍｕｓｉｃ Ｃｏｍｐｏｓｅｒ、Ｓｏｕｎｄ２ＭＩＤＩ、Ｇａｍａ、ＷＩＤＩ、Ｄｉｇｉｔａｌ Ｅａｒ、ＷＡＶ２ＭＩＤ、Ｐｏｌｙａｘｅ Ｄｒｉｖｅｒ、ＷＡＶ２ＭＩＤＩ、ＩｎｔｅｌｌｉＳｃｏｒｅ、ＰＦＳ−Ｓｙｓｔｅｍ、Ｈａｎａｕｔａ Ｍｕｓｉｃｉａｎ、Ａｕｄｉｏ ｔｏ ＭＩＤＩ、ＡｍａｚｉｎｇＭＩＤＩ、Ｃａｐｅｌｌａ−Ａｕｄｉｏ、ＡｕｔｏＳｃｏｒｅおよびごく最近に発表されたＷａｖｅＧｏｏｄｂｙｅなどが挙げられる。
【０００８】
これらの幾つかは、複音の分析も可能であると広報しているが、実際に試験を行った結果、複音の分析は不可能であった。そのため、前記ＦＡＱ文書では、コンピュータでウェーブ形式の音楽をミディ形式に変更した後、再生時には元のウェーブ音楽と同様に聞こえるか否かに対して、不可であると説明している。さらに、現在としては、ウェーブ音楽をミディ音楽に変更するソフトウェアに対して全て価値がないと明示されている。
【０００９】
以下、これらの製品の中でＡｒａｋｉ Ｓｏｆｔｗａｒｅ社のＡｍａｚｉｎｇＭＩＤＩを使用してウェーブ音楽がどのように分析されるかに関する実験結果について記述する。
【００１０】
図１は、実験に使用した曲の楽譜の、ベートーベンのピアノスナタ第８番第２楽章の初の２小節に相当し、図２は、図１に示された楽譜を分析の便宜のため、それぞれの単音に区分して各音符に音程を表示する記号を付したものである。図３は、ＡｍａｚｉｎｇＭＩＤＩでウェーブ音楽をミディ音楽に変更するために使用者が設定するパラメータ入力ウィンドウであり、図４は、各種パラメータの値を最右側に設定した時に変換されたミディウィンドウであり、図５は、図２の楽譜情報を用いて元のウェーブ音楽に相当する部分を、図４に黒棒で表示したものである。図６は、各種パラメータ値を最左側に設定した時に変換されたミディウィンドウであり、図７は、図５と同様に、図６にウェーブ音楽に相当する部分を黒棒で表示したものである。
【００１１】
まず、図１および図２を参照する。最初にＣ４、Ａ３♭、Ａ２♭の３つの音が示され、Ｃ４およびＡ２♭の鍵盤が押された状態で、Ａ３♭の代わりにＥ３♭の鍵盤が押され、再度Ａ３♭、Ｅ３♭の順に繰り返される。次いで、Ｃ４の音はＢ３♭の音に変わり、Ａ２♭の音はＤ３♭の音に変わり、Ｅ３♭の音がＧ３の音に変わり、再度Ｂ３♭およびＤ３♭の鍵盤が押された状態でＥ３♭、Ｇ３、Ｅ３♭の順に繰り返される。従って、これらの楽譜をミディに変換する場合、図５に黒棒で示されたようなミディ情報が構成される必要があるが、実際には図４に示されたようなミディ情報が構成されるという問題点がある。
【００１２】
図３に示したように、ＡｍａｚｉｎｇＭＩＤＩでは、使用者が各種パラメータを設定してウェーブ音楽をミディ音楽に変更しているが、これらの設定値によって構成されるミディ情報が大きな差を示すことがわかる。図３の設定値のうち、Ｍｉｎｉｍｕｍ Ａｎａｌｙｓｉｓの値（最小分析値）、Ｍｉｎｉｍｕｍ Ｒｅｌａｔｉｖｅの値（最小相関値）、Ｍｉｎｉｍｕｍ Ｎｏｔｅの値（最小音符値）を全て最右側に設定してミディ音楽に変換した結果が、図４に、各値を全て最左側に設定してミディ音楽に変換した結果が、図６に示されている。図４と図６とを比較すると、大きな違いがあることがわかる。すなわち、図４では、周波数領域において強さの大きな周波数部分のみを認識してミディとして示しており、図６では、強さの小さな部分も認識してミディに示していることがわかる。従って、図４のミディ情報項目は基本的に図６に含まれて示されるようになる。
【００１３】
図４と図５とを比較すると、図４の場合、実際に演奏された部分であるＡ２♭、Ｅ３♭、Ｇ３、Ｄ３♭が全く認識されておらず、Ｃ４、Ａ３♭、Ｂ３♭の場合も認識された部分が実際演奏される部分と大きく相違していることがわかる。すなわち、Ｃ４の場合、認識された部分が全体音長さのうち初期２５％に止めており、Ｂ３♭の場合、２０％よりも小さく認識されていることがわかる。また、Ａ３♭の場合、３５％程度に止めている。これに対して、非演奏の部分が非常に多く認識されていることがわかる。Ｅ４♭の場合、非常に強い大きさに認識されており、Ａ４♭、Ｇ４、Ｂ４♭、Ｄ５、Ｆ５などの音も誤って認識されている。
【００１４】
図６と図７とを比較すると、図６の場合、実際に演奏された部分であるＡ２♭、Ｅ３♭、Ｇ３、Ｄ３♭、Ｃ４、Ａ３♭、Ｂ３♭が全て認識されているが、認識された部分と実際演奏された部分とが非常に相違していることがわかる。すなわち、Ｃ４、Ａ２♭の場合、鍵盤を続けて押していたので、実際に続けて音が出ているにもかかわらず、少なくとも一度音の切れた状態に認識されていることがわかる。さらに、Ａ３♭、Ｅ３♭などの場合、実際に演奏された時点と音の長さとが相当に違って認識された。図６および図７に示されたように、黒棒で示した部分以外に多くの部分がグレー色の棒で示されていることがわかる。これらの部分は、実際に演奏されなかったにもかかわらず、誤って認識されたもので、正しく認識されたものより遥かに多く占めている。本明細書では、ＡｍａｚｉｎｇＭＩＤＩプログラム以外の他のプログラムを実験した結果は記載しないが、現在まで公開された全てのプログラムの音楽認識結果は、前述のようなＡｍａｚｉｎｇＭＩＤＩプログラムを用いて実験を行った結果と同様であり、あまり満足でないことが確認された。
【００１５】
すなわち、コンピュータ技術とデジタル信号処理技術を導入して、アコースティック楽器で演奏された音楽を分析するための技術の工夫が種々試みられているが、未だ満足な結果が得られていない実状である。
【００１６】
［発明の開示］
従って、本発明では、演奏に使用された楽器に対して予め格納されている情報を用いることによって、より正確な演奏分析結果を導出することができ、その結果を定量的なデータとして抽出することができる、音楽分析方法を提供することを目的とする。
【００１７】
すなわち、本発明の目的は、演奏楽器の音情報を用いてデジタル音響に含まれた構成信号と当該音情報の構成信号とを比較・分析することによって、単音は勿論、複音の分析も正確に行える音楽分析方法を提供することにある。
【００１８】
また、本発明の他の目的は、演奏楽器の音情報および演奏曲の楽譜情報を用いて、上記のように正確な分析結果が得られると共に、分析にかかる時間を減らすことのできる音楽分析方法を提供することにある。
【００１９】
上記の目的を達成するための本発明が提供する演奏楽器の音情報を用いた音楽分析方法は、コンピュータが、演奏楽器別の音情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップ（ａ）と、コンピュータが、前記格納された演奏楽器別の音情報のうち実際に演奏される楽器の音情報を選択するステップ（ｂ）と、コンピュータが、デジタル音響を入力で受けるステップ（ｃ）と、コンピュータが、前記入力されたデジタル音響信号を単位フレーム別の周波数成分に分解するステップ（ｄ）と、コンピュータが、前記入力されたデジタル音響信号に含まれた単音情報を導出するステップ（ｅ）とを含み、前記ステップ（ｅ）は、前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択するステップ（ｅ１）と、前記選択された演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出するステップ（ｅ２）と、前記導出された音情報のうち当該フレームのピーク周波数成分と最も近似したピーク情報を有する音情報を単音情報として導出するステップ（ｅ３）と、前記導出された単音情報に相当する音情報の周波数成分を当該フレームから除去するステップ（ｅ４）と、当該フレームのピーク周波数成分が残っている場合、前記ステップ（ｅ１〜ｅ４）を繰り返して行うステップ（ｅ５）とを含むことを特徴とする。
【００２０】
また、上記の他の目的を達成するため、本発明が提供する演奏楽器の音情報および楽譜情報を用いた音楽分析方法は、コンピュータが、演奏楽器別の音情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップ（ａ）と、コンピュータが、演奏される楽譜の楽譜情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップ（ｂ）と、コンピュータが、前記格納された演奏楽器別の音情報および楽譜情報のうち実際に演奏される楽器の音情報および楽譜情報を選択するステップ（ｃ）と、コンピュータが、デジタル音響を入力で受けるステップ（ｄ）と、コンピュータが、前記入力されたデジタル音響信号を単位フレーム別の周波数成分に分解するステップ（ｅ）と、コンピュータが、前記入力されたデジタル音響信号に含まれた演奏誤り情報および単音情報を導出するステップ（ｆ）とを含み、前記ステップ（ｆ）は、前記楽譜情報を参照して当該演奏楽器の演奏進行に従うデジタル音響信号のフレーム別の演奏期待値をリアルタイムで生成し、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在するか否かをフレーム単位で確認するステップ（ｆ１）と、前記ステップ（ｆ１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在しない場合、演奏誤り情報および単音情報を導出した後、該演奏誤り情報および単音情報として導出された音情報の周波数成分を当該フレームのデジタル音響信号から除去するステップ（ｆ２）と、前記ステップ（ｆ１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在する場合、当該フレームのデジタル音響信号に含まれた単音情報を導出し、前記単音情報として導出された音情報の周波数成分を該単音情報が含まれたフレームのデジタル音響信号から除去するステップ（ｆ３）と、フレーム単位のデジタル音響信号にピーク周波数成分が残っている場合、前記ステップ（ｆ１〜ｆ３）を繰り返して行うステップ（ｆ４）とを含み、前記ステップ（ｆ２）は、前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択するステップ（ｆ２＿１）と、当該演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出するステップ（ｆ２＿２）と、前記導出された音情報のうち当該フレームのピーク周波数成分と最も近似したピーク情報を有する音情報を演奏誤り情報として導出するステップ（ｆ２＿３）と、前記演奏誤り情報が楽譜情報において次に演奏される音符に含まれる場合、前記演奏誤り情報に含まされた音を演奏期待値に追加した後、該演奏誤り情報を単音情報として導出するステップ（ｆ２＿４）と、前記演奏誤り情報および単音情報として導出された音情報の周波数成分を当該フレームから除去するステップ（ｆ２＿５）とを含み、前記ステップ（ｆ３）は、前記フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値に含まれた音情報のうち最も低い音の情報を選択するステップ（ｆ３＿１）と、前記選択された音情報の周波数成分が当該フレームのデジタル音響信号に含まれた周波数成分に含まれる場合、該音情報を単音情報として導出した後、該音情報の周波数成分を当該フレームのデジタル音響信号から除去するステップ（ｆ３＿２）と、前記選択された音情報の周波数成分が当該フレームのデジタル音響信号に含まれていない場合、前記演奏期待値を訂正するステップ（ｆ３＿３）とを含むことを特徴とする。
【００２１】
［発明を実施するための最良の形態］
以下、添付の図面を参照して本発明の音楽分析方法の詳細を説明する。
【００２２】
図８は、デジタル音響を分析する方法に関する概念図である。同図に示されたように、デジタル音響を入力され演奏楽器の音情報（８４）および楽譜情報（８２）を用いて入力されたデジタル音響の信号を分析（８０）し、その結果として演奏情報および正確度、ミディ音楽などを導出して電子楽譜を描く概念が示されている。
【００２３】
ここで、デジタル音響は、ＰＣＭウェーブ、ＣＤオーディオ、ＭＰ３ファイルなど、入力される音をデジタル変換してコンピュータ読取り可能な形態で格納された全てのものを意味し、実際に演奏されている音楽の場合は、コンピュータに連結されたマイクを介して入力された後、デジタル変換して格納しながら分析を行うこともできる。
【００２４】
入力音楽の楽譜情報（８２）は、例えば、音の高さ、音の長さ、速さ情報（例えば、四分音符＝６４、フェルマータなど）、拍子情報、音の強さ情報（例えば、forte、piano＞−accent、＜だんだん強く（crescendo）など）、細部演奏情報（例えば、スタッカート、スタッカティッスィモ、プラルトリラーなど）およびピアノのように両手を用いて演奏する場合、左手の演奏および右手の演奏に相当する部分を区分するための情報などを含む。また、２つ以上の楽器で演奏された場合は、各楽器に相当する楽譜の部分情報などを含む。すなわち、楽器の演奏時に、目で見て適用する楽譜上の情報は全て楽譜情報として活用できるが、作曲家や時代によって表記法が相違しているため、細部の表記法については本明細書で言及しない。
【００２５】
なお、演奏楽器の音情報（８４）は、図９Ａ〜図９Ｅに示されたように、演奏される特定の楽器別に予め構築されているものであって、音の高さ、音の強さ、ペダル表などがあるが、これについては、図９Ａ〜図９Ｅを参照して説明する部分において再度説明する。
【００２６】
図８に示されたように、本発明では、入力されるデジタル音響を分析する時、音情報または音情報および楽譜情報を活用し、ピアノ演奏曲のように同時に複数の音が演奏される場合、各構成音の高さおよび強さを正確に分析することができ、各時間別に分けて分析した構成音に関する情報から、どの音がどの強さで演奏されたかに関する演奏情報を分析結果として導出することができる。
【００２７】
この時、音楽分析のために演奏楽器の音情報を用いる理由は、一般に、音楽において使用する各音は、その高さに応じて固有なピッチ（Ｐｉｔｃｈ）周波数およびハーモニック（Ｈａｒｍｏｎｉｃ）周波数を有するが、アコースティック楽器の演奏音および人音声の分析において基本となるものが、ピッチ周波数とハーモニック周波数であるからである。
【００２８】
なお、このようなピーク周波数−ピッチ周波数およびハーモニック周波数−成分は、一般に、各楽器の種類別に違って現われる。従って、このような楽器の種類別のピーク周波数成分を予め導出し、当該楽器の音情報として格納した後、入力されるデジタル音響に含まれたピーク周波数成分と、既に格納されている演奏楽器の音情報とを比較することによって、前記デジタル音響を分析することが可能となる。
【００２９】
例えば、ピアノの場合、８８個の鍵盤に関する音情報を予め知っていれば、該ピアノで演奏される演奏音の分析結果、同時に複数の音が演奏されたとしても、該演奏音を予め格納された８８個の音情報の組合わせと比較することができるため、それぞれの個別音を正確に分析することができる。
【００３０】
図９Ａ〜図９Ｅは、デジタル音響を分析するために使用するピアノの音情報を示す例示図である。すなわち、韓国の会社であるYOUNG CHANGピアノ社製のピアノの８８個の鍵盤に関する音情報の例を示している。この時、図９Ａ〜図９Ｃは、当該ピアノの音情報を導出するための条件を示すもので、図９Ａは、８８個の鍵盤のそれぞれに関する音の高さ（Ａ０、1/4、Ｃ８）を区分して示したものであり、図９Ｂは、音の強さ別の識別情報を示したものであり、図９Ｃは、ペダルの使用有無に関する識別情報を示したものである。図９Ｂに示されたように、各音の強さは、「−∞」〜「０」を所定の段階に分類して格納することができる。図９Ｃに示されたように、ペダルを使用した場合を「１」、ペダルを使用しない場合を「０」とし、３つのペダルを有するピアノにおいてペダルの使用形態に関する全ての場合の数について示した。
【００３１】
また、図９Ｄおよび図９Ｅは、前記ピアノに関する音情報の実際的な格納形態を示したものであって、図９Ａ〜図９Ｃに示された各音情報の条件から、音の高さが「Ｃ４」、音の強さが「−７ｄＢ」で、ペダルを全く使用しない場合の音情報を示している。特に、図９Ｄは、当該音情報がウェーブで格納された形態を示し、図９Ｅは、当該音情報がスペクトログラムで格納された形態を示している。ここで、スペクトログラムとは、時間の流れに従う各周波数成分の強さを示すもので、スペクトログラムの横軸は時間情報を示し、縦軸は周波数情報を示すことで、図９Ｅのようなスペクトログラムを参照すると、各時間別の周波数成分に関する強さの情報がわかるようになる。
【００３２】
すなわち、当該演奏楽器の音情報を１つ以上の強さ別の音のサンプルとして格納する時、音情報として表現可能な各単音を、図９Ｄのようにウェーブ形態で格納した後、デジタル音響の分析時に該ウェーブから周波数成分を導出可能にすることができ、図９Ｅのように周波数成分別の強さをもって直接格納することもできる。
【００３３】
このように演奏楽器の音情報を周波数成分別の強さで直接表現するためには、フーリエ変換およびウェーブレット変換などのような周波数分析方法を使用することができる。
【００３４】
一方、前記演奏楽器が、ピアノでなくバイオリンのような弦楽器である場合は、該弦楽器の各弦別の音情報を分類して格納する。
【００３５】
なお、このような各演奏楽器別の音情報は、使用者の選択によって周期的に更新して格納するが、これは、当該楽器の音情報が時間が経つにつれて、または、温度などの周辺環境によって変化するためである。
【００３６】
図１０〜図１０Ｂは、本発明の一実施例に係るデジタル音響分析過程を示す図であって、以下、これらを参照して本発明の実施例をより詳しく説明する。
【００３７】
まず、図１０は、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響を分析する過程に関する処理フローを示す図である。同図を参照して、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響を分析する過程を説明すると、次の通りである。
【００３８】
本発明の一実施例を行うためには、事前に楽器別の音情報を生成し格納する過程を経た後（図示せず）、格納された楽器別の音情報のうちから実際に演奏される楽器の音情報を選択する（ｓ１００）。この時、楽器別の音情報の格納形態例は、図９Ａ〜図９Ｅの通りである。
【００３９】
また、外部からデジタル音響が入力されると（ｓ２００）、該デジタル音響信号を単位フレーム別の周波数成分に分解した後（ｓ４００）、前記デジタル音響信号の周波数成分と前記選択された演奏楽器の音情報の周波数成分とを比較・分析することによって、前記デジタル音響に含まれた単音情報をフレーム別に導出する（ｓ５００）。
【００４０】
このように、外部から入力されたデジタル音響の単音情報が導出されると、該単音情報を出力する（ｓ６００）。
【００４１】
このような一連の過程（ｓ２００乃至ｓ６００）を、デジタル音響入力が中断されるかまたは終了命令が入力される（ｓ３００）まで繰り返して行う。
【００４２】
図１０Ａは、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響のフレーム別の単音情報を導出する過程（ｓ５００）を示す処理フローチャートである。同図では、１つのフレームに対する情報導出過程を説明している。同図に示されたように、デジタル音響のフレーム別の単音情報を導出するため、まず、当該フレームの時間情報を導出し（ｓ５１０）、該単位フレーム別の周波数成分と演奏楽器の音情報の周波数成分とを比較・分析し（ｓ５２０）、各単位フレーム別に含まれた単音の音高さ別、強さ別の情報を時間情報と共に導出する。また、その導出結果を単音情報として導出する (ｓ５3０)。
【００４３】
また、前記過程（ｓ５３０）によって導出された単音が前フレームに含まれていない新しい単音である場合（ｓ５４０）、現フレームをサブフレームに区分した後（ｓ５５０）、該サブフレームのうち新しい単音が含まれたサブフレームを導出し（ｓ５６０）、前記サブフレームの時間情報を導出し（ｓ５７０）、このとき、新しく導出された時間情報を現在導出された単音情報の時間情報に変更する（ｓ５８０）。但し、このような一連の過程（ｓ５４０乃至ｓ５８０）は、導出された単音が低音の帯域に含まれている場合、または、時間情報の正確性が要求されない場合は、省略可能である。
【００４４】
図１０Ｂは、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響および当該演奏楽器の音情報のフレーム別の周波数情報を比較・分析する過程（ｓ５２０）を示す処理フローチャートである。
【００４５】
同図に示されたように、まず、前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択する（ｓ５２１）。また、当該演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出し（ｓ５２２）、該音情報のうち前記過程（ｓ５２１）で選択されたピーク周波数の周波数成分と最も近似したピーク情報を有する音情報を単音情報として導出する（ｓ５２３）。
【００４６】
このように、最も低いピーク周波数に相当する単音情報を導出し、次いで当該フレームに含まれた周波数成分のうち前記導出された単音情報に含まれる周波数成分を除去した後（ｓ５２４）、当該フレームに残余のピーク周波数が存在する場合、前記過程（ｓ５２１乃至ｓ５２４）を繰り返して行う。
【００４７】
例えば、外部から入力されたデジタル音響信号の当該フレームに、「Ｃ４、Ｅ４、Ｇ４」の３つの音が含まれた場合、前記過程（ｓ５２１）によって、「Ｃ４」の基本周波数成分を、現フレームに含まれたピーク周波数成分のうち最も低いピーク周波数成分として選択する。
【００４８】
そして、前記過程（ｓ５２２）によって予め設定されている当該演奏楽器の音情報のうち「Ｃ４」の基本周波数成分を含む音情報を導出する。この場合、一般に、「Ｃ４」、「Ｃ３」、「Ｇ２」1/4など、多数の音情報が導出されるようになる。
【００４９】
次いで、前記過程（ｓ５２３）によって導出された多数個の音情報のうち前記過程（ｓ５２１）で選択されたピーク周波数成分と最も近似した「Ｃ４」の音情報を当該周波数成分に関する単音情報として導出する。
【００５０】
また、該単音情報（「Ｃ４」）を、前記デジタル音響信号の当該フレームに含まれた周波数成分（「Ｃ４、Ｅ４、Ｇ４」）から除去する（ｓ５２４）。そうすると、当該フレームには「Ｅ４、Ｇ４」に相当する周波数成分のみが残るようになる。このようにして当該フレームにおいて周波数成分が完全に消滅するまでに前記過程（ｓ５２１乃至ｓ５２４）を繰り返して行うことで、当該フレームに含まれた全ての音に関する単音情報を導出することができる。
【００５１】
上記の例において、前記過程（ｓ５２１乃至ｓ５２４）を、３回繰り返して行い、「Ｃ４、Ｅ４、Ｇ４」の音に関する単音情報を全て導出している。
【００５２】
以下、〔疑似コード（ｐｓｅｕｄｏ−ｃｏｄｅ）１〕に基づいて、このような音情報を用いたデジタル音響分析方法に関する処理過程を説明する。なお、疑似コードのうち本明細書において説明しない部分は、従来のデジタル音響分析方法を参照したものである。
〔疑似コード１〕
line 1 デジタル音響信号(das)入力;
line 2 // FFT ウィンドウのサイズ別、ウィンドウ間の間隔別(重畳許容)に
// dasを フレーム（frame） 単位で区分
line 3 frame = dasをフレーム別に区分(das, fft-size, overlap-size);
line 4 for 全てのframe
line 5 x = fft(frame); // フーリエ変換
line 6 peak = 最も低いピーク周波数(x);
line 7 timing = frameの時間情報;
line 8 while (peakが存在する間)
line 9 candidates = ピークを含む音情報(peak);
line 10 sound = 最も近似した音情報(candidates, x);
line 11 if soundが新しい音の始まりであれば
line 12 subframe = フレームをサブフレーム（subframe）別に区分
(frame, sub-size, overlap-size);
line 13 for 全てのsubframe
line 14 subx = fft(subframe);
line 15 if subxに peakがあれば
line 16 timing = subframeの時間情報;
line 17 exit-for;
line 18 end-if
line 19 end-for
line 20 end-if
line 21 result = 分析結果格納(result, timing, sound);
line 22 x = x - sound;
line 23 peak = 最も低いピーク周波数(x);
line 24 end-while
line 25 end-for
line 26 performance = 楽器別の演奏補正(result);
〔疑似コード１〕に示されたように、まず、デジタル音響信号を入力され（ｌｉｎｅ 1）、フレーム別に区分（ｌｉｎｅ ３）した後、各フレーム別にループ（ｆｏｒ ｌｏｏｐ）を回りながら分析を行う（ｌｉｎｅ ４〜ｌｉｎｅ ２５）。フーリエ変換を経て周波数成分を導出し（ｌｉｎｅ ５）、最も低いピーク周波数成分を探す（ｌｉｎｅ ６）。次いで（ｌｉｎｅ ７）では、現フレームに相当する時間情報を（ｌｉｎｅ ２１）で格納するために導出する。次いで、現フレームに対してピーク周波数成分が存在する間、ループを（ｗｈｉｌｅ ｌｏｏｐ）を回りながら分析を行う（ｌｉｎｅ ８〜ｌｉｎｅ ２４）。（ｌｉｎｅ ９）で現フレームのピーク周波数成分を有する音情報を導出し、（ｌｉｎｅ １０）でこれらの中で現フレーム上のピーク周波数成分およびハーモニック周波数成分を比較して最も近似した音情報を導出するようになる。このとき、音情報は、現フレーム上のピーク周波数の強さに準じる強さに調節される。導出された音情報が新しい音の始まりであることを意味すると（ｌｉｎｅ １１）、ＦＦＴウィンドウのサイズを小さくして正確な時間情報を抽出するようになる。
【００５３】
この過程において、現フレームを複数個のサブフレームに分け（ｌｉｎｅ １２）、各サブフレームに対してループ（ｆｏｒ ｌｏｏｐ）を回りながら分析を行う（ｌｉｎｅ １３〜ｌｉｎｅ １９）。フーリエ変換を経て周波数成分を導出し（ｌｉｎｅ １４）、（ｌｉｎｅ ６）で導出したピーク周波数が含まれているサブフレームが見つかると（ｌｉｎｅ １５）、（ｌｉｎｅ １６）では、サブフレームに相当する時間情報を（ｌｉｎｅ ２１）で格納するために導出する。（ｌｉｎｅ ７）の時間情報は、ＦＦＴウィンドウのサイズが大きなフレーム単位の時間情報であるため、時間誤差の多い情報であるが、（ｌｉｎｅ １６）の時間情報は、ＦＦＴウィンドウのサイズが小さなサブフレーム単位の情報であるため、時間誤差がほとんどない情報である。（ｌｉｎｅ １７）で（ｌｉｎｅ １３〜ｌｉｎｅ １９）のループ（ｆｏｒ ｌｏｏｐ）を抜け出るため、（ｌｉｎｅ ２１）で格納される時間情報は、（ｌｉｎｅ ７）で導出した時間情報の代わりに（ｌｉｎｅ １６）で導出した正確な時間情報となる。
【００５４】
このように（ｌｉｎｅ １１）から（ｌｉｎｅ ２０）に至るまで新しい音が始まった場合は、単位フレームの大きさを小さくして正確な時間情報を導出するようになる。（ｌｉｎｅ ２１）では、導出された単音の音高さ情報および強さ情報を時間情報と共に格納し、（ｌｉｎｅ ２２）では（ｌｉｎｅ １０）で導出された音情報を、現フレームから減じた後、再度ピーク周波数を探すようになる（ｌｉｎｅ ２３）。上記の過程を繰り返しながら全てのデジタル音響の分析結果は、（ｌｉｎｅ ２１）において結果変数（ｒｅｓｕｌｔ）に格納される。
【００５５】
なお、該結果変数（ｒｅｓｕｌｔ）に格納された分析結果は、実際演奏情報として活用するには十分でない。ピアノの場合、鍵盤を押して音が発生した最初には、正確な周波数帯域に表現されないため、１つ以上のフレームを経た上で、次フレームにおいて正確に分析される可能性が多い。従って、このような場合、ピアノの音はごく短い時間（例えば、３〜４つのフレームに相当する時間）の間は音が変更されないという特性を用いれば、より正確な演奏情報を導出することができる。そのため、（ｌｉｎｅ ２６）の過程においてこのような楽器別特性を用いて分析された結果変数（ｒｅｓｕｌｔ）に格納された値を、より正確な演奏情報であるパフォーマンス（ｐｅｒｆｏｒｍａｎｃｅ）に補正するようになる。
【００５６】
図１１乃至図１１Ｄは、本発明の他の実施例によるデジタル音響分析過程を示す図であって、これらの図を参照して本発明の実施例をより詳しく説明すると、次の通りである。
【００５７】
本発明の他の実施例は、楽器別の音情報と演奏しようとする楽譜情報とを同時に用いる方法に関するものであって、音情報の構築時に各単音別に含まれた周波数成分の変化に応じてできる限り全ての情報を構築することができれば、ほぼ正確に入力されたデジタル音響信号を分析することができるが、実際状況ではこのような音情報の構築は容易でないため、これを補完するための方法に関するものである。すなわち、本発明の他の実施例は、演奏しようとする演奏曲に関する楽譜情報を導出した後、既に抽出された楽器別の音情報と前記楽譜情報によって入力される音を予想し、予想された音の情報を用いてデジタル音響を分析する方法に関するものである。
【００５８】
まず、図１１は、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響を分析する過程を示す処理フローチャートである。同図に示したように、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響を分析する過程を説明すると、次の通りである。
【００５９】
本発明の他の実施例を行うため、演奏楽器別の音情報を生成し格納する過程と、演奏される楽譜の楽譜情報を生成し格納する過程を予め行った後（図示せず）、その格納された演奏楽器別の音情報および楽譜情報のうちから実際に演奏される楽器の音情報および楽譜情報を選択する（ｔ１００、ｔ２００）。このとき、楽器別の音情報の格納形態の例は、「図９Ａ〜図９Ｅ」の通りである。なお、演奏される楽譜から楽譜情報を生成する方法は、本発明の範囲に属せず、現在、紙の楽譜をスキャンすると、直にミディ音楽の演奏情報に変換して格納する技術などが多数存在しているため、楽譜情報を生成し格納する方法に関する説明は省略する。
【００６０】
但し、楽譜情報に含まれる情報の例としては、時間の経過に従う音の高さ、音の長さ情報、速さ情報、拍子情報、音の強さ情報、細部演奏情報（例えば、スタッカート、スタッカティッスィモ、プラルトリラーなど）や両手演奏または多数の楽器演奏に対する演奏区分情報などが挙げられる。
【００６１】
上記のように、当該演奏楽器の音情報および楽譜情報を選択（ｔ１００、ｔ２００）した後、外部からデジタル音響が入力されると（ｔ３００）、該デジタル音響信号を単位フレーム別の周波数成分に分解し（ｔ５００）、前記デジタル音響信号の周波数成分と前記選択された演奏楽器別の音情報の周波数成分および楽譜情報を比較・分析し、前記デジタル音響信号に含まれた演奏誤り情報および単音情報を導出する（ｔ６００）。
【００６２】
このように、外部から入力されたデジタル音響の単音情報および演奏誤り情報が導出されると、該単音情報を出力する（ｔ７００）。
【００６３】
なお、前記演奏誤り情報に基づいて演奏の正確度を判別したり（ｔ８００）、該演奏誤り情報が演奏者の意図によって演奏された音（例えば、変奏音）である場合、これを既存の楽譜情報に追加する過程（ｔ９００）を選択的に行うこともできる。
【００６４】
図１１Ａは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響のフレーム別の単音情報および演奏誤り情報を導出する過程（ｔ６００）に関する処理フローチャートである。同図では、１つのフレームに関する単音情報および演奏誤り情報の導出過程を説明している。同図に示されたように、デジタル音響のフレーム別の単音情報および演奏誤り情報を導出するため、先ず当該フレームの時間情報を導出し（ｔ６１０）、該単位フレーム別の周波数成分と演奏楽器の音情報の周波数成分および楽譜情報を比較・分析し（ｔ６２０）、各単位フレーム別に含まれた単音の音高さ別、強さ別の情報を時間情報と共に導出する。また、その分析結果として導出された単音情報および演奏誤り情報をフレーム別に導出する（ｔ６４０）。
【００６５】
なお、前記過程（ｔ６４０）によって導出された単音が前フレームに含まれていない新しい単音である場合（ｔ６５０）、現フレームをサブフレームに区分した後（ｔ６６０）、該サブフレームのうち新しい単音が含まれたサブフレームを導出し（ｔ６７０）、前記導出されたサブフレームの時間情報を導出する（ｔ６８０）。また、この時に新しく導出された時間情報によって現在導出されている単音情報の時間情報を変更する（ｔ６９０）。但し、このような一連の過程（ｔ６５０乃至ｔ６９０）は、前述の本発明の一実施例でのように、単音が低音の帯域に含まれている場合や時間情報の正確性が要求されない場合は省略可能である。
【００６６】
図１１Ｂおよび図１１Ｃは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響および当該楽器の音情報および楽譜情報のフレーム別の周波数成分を比較・分析する過程（ｔ６２０）を示す処理フローチャートである。
【００６７】
同図に示されたように、先ず、楽譜情報を参照して当該演奏楽器の演奏進行に従うデジタル音響信号のフレーム別の演奏期待値をリアルタイムで生成し、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在するか否かをフレーム単位で確認する（ｔ６２１）。
【００６８】
また、前記確認（ｔ６２１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在しない場合、当該フレームのデジタル音響信号に含まれた周波数成分が演奏誤り情報であるか否かを確認し、演奏誤り情報および単音情報を導出した後、該演奏誤り情報および単音情報として導出された音情報の周波数成分を当該フレームのデジタル音響信号から除去する過程（ｔ６２２乃至ｔ６２８）を行う。
【００６９】
すなわち、前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択した後（ｔ６２２）、当該演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出し（ｔ６２３）、該音情報のうち前記過程（ｔ６２２）で選択されたピーク周波数成分と最も近似したピーク情報を有する音情報を演奏誤り情報として導出する（ｔ６２４）。また、前記演奏誤り情報が、連続する音の楽譜情報において次フレームで演奏される音符に含まれる場合（ｔ６２５）、該演奏誤り情報に相応する音を演奏期待値に追加した後（ｔ６２６）、該演奏誤り情報を単音情報として導出する（ｔ６２７）。なお、このように前記過程（ｔ６２４、ｔ６２７）で演奏誤り情報または単音情報として導出された音情報の周波数成分をデジタル音響信号の当該フレームから除去する（ｔ６２８）。
【００７０】
また、前記確認（ｔ６２１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在する場合、前記デジタル音響信号と前記演奏期待値とを比較・分析して当該フレームのデジタル音響信号に含まれた単音情報を導出し、前記単音情報として導出された音情報の周波数成分を該単音情報が含まれたフレームのデジタル音響信号から除去する過程（ｔ６３０乃至ｔ６３４）を行う。
【００７１】
すなわち、前記演奏期待値に含まれた音情報のうち前記デジタル音響信号の当該フレームに含まれた周波数成分と比較されていない最も低い音の音情報を選択し（ｔ６３０）、前記選択された音情報の周波数成分が前記デジタル音響信号の当該フレームに含まれた周波数成分に含まれる場合（ｔ６３１）、該音情報を単音情報として導出した後（ｔ６３２）、該音情報の周波数成分をデジタル音響信号の当該フレームから除去する（ｔ６３３）。このとき、前記過程（ｔ６３０）で選択された音情報の周波数成分が前記デジタル音響信号の当該フレームに含まれた周波数成分に含まれていない場合、既に設定された演奏期待値を訂正する過程（ｔ６３５）を行う。このような一連の処理過程（ｔ６３０乃至ｔ６３３およびｔ６３５）を、演奏期待値のうち比較されていない音が消滅するまで（ｔ６３４）繰り返して行う。
【００７２】
また、図１１Ｂおよび図１１Ｃに示された全ての処理過程（ｔ６２１乃至ｔ６２８およびｔ６３０乃至ｔ６３５）は、フレーム単位のデジタル音響信号に含まれたピーク周波数成分が全て消滅するまで（ｔ６２９）繰り返して行う。
【００７３】
図１１Ｄは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて生成された演奏期待値を訂正する過程（ｔ６３５）に関する処理フローチャートである。同図に示されたように、前記選択された音情報の周波数成分が当該フレームの前フレームに所定の回数（Ｎ）以上連続して含まれておらず（ｔ６３６）、該音情報の周波数成分がある時点で前記デジタル音響信号に一度以上含まれた履歴がある（ｔ６３７）音情報である場合、演奏期待値から除去する（ｔ６３９）。なお、前記選択された音情報の周波数成分のうちデジタル音響信号の当該フレームに所定の回数（Ｎ）以上連続して含まれておらず（ｔ６３６）、当該フレームに一度も含まれていない（ｔ６３７）音情報である場合は、演奏誤り情報として導出した後（ｔ６３８）、演奏期待値から除去する（ｔ６３９）。
【００７４】
以下、〔疑似コード（ｐｓｅｕｄｏ−ｃｏｄｅ）２〕に基づいて、音情報および楽譜情報を用いたデジタル音響分析方法に関する処理過程を説明する。
〔疑似コード２〕
line 1 楽譜情報(score)入力;
line 2 デジタル音響信号(das)入力;
line 3 frame = フレーム別に区分(das, fft-size, overlap-size);
line 4 現演奏値(current) = 前演奏値(prev) = NULL;
line 5 次演奏値(next) = 最初に演奏される単音;
line 6 for 全てのframe
line 7 x = fft(frame);
line 8 timing = frameの時間情報;
line 9 for 全ての単音(sound) in next & not in (current, prev)
line 10 if soundが frameに含まれていれば
line 11 prev = prev + current;
line 12 current = next;
line 13 next = 次に演奏される単音;
line 14 exit-for;
line 15 end-if
line 16 end-for
line 17 for 全ての単音(sound) in prev
line 18 if soundが frameに含まれていなければ
line 19 prev = prev - sound;
line 20 end-if
line 21 end-for
line 22 for 全ての単音(sound) in (current, prev)
line 23 if soundが frameに含まれていなければ
line 24 result = 演奏誤り格納(result, timing, sound);
line 25 else // soundが frameに含まれていれば
line 26 sound = 強さの調節(sound, x);
line 27 result = 分析結果格納(result, timing, sound);
line 28 x = x - sound;
line 29 end-if
line 30 end-for
line 31 peak = 最も低いピーク周波数(x);
line 32 while (peakが存在する間)
line 33 candidates = ピークを含む音情報(peak);
line 34 sound = 最も近似した音情報(candidates, x);
line 35 result = 演奏誤り情報 (result, timing, sound);
line 36 x = x - sound;
line 37 peak = 最も低いピーク周波数(x);
line 38 end-while
line 39 end-for
line 40 performance = 楽器別の演奏情報(result);
〔疑似コード２〕に示されたように、楽譜情報と音情報とを同時に使用するため、先ず、（ｌｉｎｅ １）で楽譜情報を入力される。該疑似コードは、楽譜情報（ｓｃｏｒｅ）のうちから音符情報のみを用いて演奏される各単音の情報をデジタル音響と比較・分析する例であって、最も基本的なものと理解すれば良い。（ｌｉｎｅ １）で入力された楽譜情報は、（ｌｉｎｅ ５）および（ｌｉｎｅ １３）で次演奏値（ｎｅｘｔ）を導出するために使用される。すなわち、フレーム別の演奏期待値の導出を行うために使用される。次いで、次のステップは、前述の音情報を用いる疑似コードにおける説明と同様に、デジタル音響信号を入力され（ｌｉｎｅ ２）、フレーム別に区分する（ｌｉｎｅ ３）。（ｌｉｎｅ ４）で現演奏値（ｃｕｒｒｅｎｔ）および前演奏値（ｐｒｅｖ）をナル（ｎｕｌｌ）として指定するが、楽譜上でデジタル音響信号の現フレームに含まれた音に対応される音の情報が現演奏値（ｃｕｒｒｅｎｔ）であり、デジタル音響信号の前フレームに含まれた音に対応される音の情報が前演奏値（ｐｒｅｖ）であり、デジタル音響信号の次フレームに含まれるものと予想される音の情報が次演奏値（ｎｅｘｔ）である。
【００７５】
次いで、全てのフレームに対してｆｏｒ ｌｏｏｐを回りながら分析を行う（ｌｉｎｅ ６）。各フレーム別にフーリエ変換を経て周波数成分を導出し（ｌｉｎｅ ７）、（ｌｉｎｅ ９）において楽譜上の次の演奏部分に進行されたか否かを判断する。すなわち、現演奏値（ｃｕｒｒｅｎｔ）および前演奏値（ｐｒｅｖ）に含まれておらず、次演奏値（ｎｅｘｔ）にのみ含まれている新しい音がデジタル音響信号の現フレームに含まれていれば、楽譜上の次の演奏部分に進行されたものと判断する。このとき、前演奏値（ｐｒｅｖ）、現演奏値（ｃｕｒｒｅｎｔ）、また、次演奏値（ｎｅｘｔ）の値を適当に変更させる。（ｌｉｎｅ １７〜ｌｉｎｅ ２１）では、前演奏値（ｐｒｅｖ）に含まれた音のうちデジタル音響信号の現フレームに含まれていない音（消滅された音）を探して前演奏値（ｐｒｅｖ）から除去する。この過程によって、楽譜上では既に過ぎたが、実際の演奏では音が残っている部分に対して消滅処理を行うようになる。（ｌｉｎｅ ２２〜ｌｉｎｅ ３０）では、現演奏値（ｃｕｒｒｅｎｔ）および前演奏値（ｐｒｅｖ）に含まれた全ての音情報（ｓｏｕｎｄ）に対して、各音情報がデジタル音響信号の現フレームにあるかを判断し、各音情報がデジタル音響信号の現フレームに含まれていなければ、楽譜と違って演奏されたことを結果として格納し、各音情報がデジタル音響信号の現フレームに含まれていれば、現フレームに含まれた音の強さに合わせて音情報（ｓｏｕｎｄ）を導出した後、音の高さ情報および強さ情報を時間情報と一緒に格納する。このように、（ｌｉｎｅ ９）〜（ｌｉｎｅ ３０）は、楽譜情報からデジタル音響信号の現フレームに含まれた音に対応する単音を現演奏値（ｃｕｒｒｅｎｔ）と、デジタル音響信号の前フレームに含まれた音に対応される単音を前演奏値（ｐｒｅｖ）と、デジタル音響信号の次フレームに含まれるものと予想される単音を次演奏値（ｎｅｘｔ）と設定し、前演奏値と現演奏値を演奏期待値にしておき、ここに含まれた音を基準にしてデジタル音響信号を分析しているため、一層正確かつ速やかに分析することが可能となる。
【００７６】
さらに、楽譜情報と違って演奏される場合に備えて（ｌｉｎｅ ３１）のステップを追加した。楽譜情報に含まれた音を分析した後、未だピーク周波数が残っていれば、違って演奏された部分であるため、前述の音情報を用いる疑似コード１に記載のアルゴリズムを用いて各ピーク周波数に相当する単音を導出し、これを疑似コード２（ｌｉｎｅ ２３）でのように楽譜と違って演奏されたことを格納する。疑似コード２では、楽譜情報を用いる方法について重点を置いて説明しているので、細部的な内容は省略しているが、音情報および楽譜情報を用いる方法は、前述の音情報のみを用いる方法と同様に、正確な時間情報を導出するために単位フレームの大きさを減らしながら分析する方法で、疑似コード１の（ｌｉｎｅ １１）〜疑似コード１の（ｌｉｎｅ ２０）に相当するステップを含むことができる。
【００７７】
疑似コード２においても、結果変数（ｒｅｓｕｌｔ）に格納された分析結果および演奏誤り結果は、実際演奏の情報として活用するには十分でない。疑似コード１の場合と同じ理由から、また、楽譜情報では同じ時点で複数個の音が始まるに対して実際演奏では各音の間にごく短い時間差があり得るという点を勘案し、（ｌｉｎｅ ４０）で楽器別の特性および演奏者の特性を勘案して分析された結果変数（ｒｅｓｕｌｔ）をパフォーマンス（ｐｅｒｆｏｒｍａｎｃｅ）に補正するようになる。
【００７８】
以下、上記のような本発明を立証するため、デジタル音響および演奏楽器の音情報の周波数特性についてより詳しく説明する。
【００７９】
図１２は、図１および図２に示された楽譜の第１小節をピアノで演奏し、該音を周波数別に分析した図である。即ち、図１および図２に示されたベートーベンのピアノソナタ第８番第２楽章の第１小節のピアノ演奏曲をスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）で示したものである。ここで、使用されたピアノはYOUNG CHANGピアノ社製のグランドピアノであり、ソニ社のノート型パソコンにマイクを連結してウィンドウ補助プログラムに備えられた録音機で録音した。スペクトログラムを分析して示すプログラムは、Ｒ．Ｓ．Ｈｏｒｎｅが開発して公開したフリーウェア「Ｓｐｅｃｔｒｏｇｒａｍ ５．１．６」バージョンを用いた。設定項目としては、Ｓｃａｌｅを９０ｄＢとし、Ｔｉｍｅ Ｓｃａｌｅは、５ｍｓｅｃ、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）ｓｉｚｅは、８１９２とし、他のものには基本値を適用した。Ｓｃａｌｅは、−９０ｄＢより小さな音は無視して表示しないという意味であり、Ｔｉｍｅ Ｓｃａｌｅは、ＦＦＴウィンドウを５ｍｓｅｃ毎に重畳させながらフーリエ変換（Ｆｏｕｒｉｅｒ）を経て図示化したことを示すものである。
【００８０】
図１２の上部に示された線（１００）は、入力されたデジタル音響信号の強さを入力された、そのまま示したものであり、その下に各周波数帯域別にデジタル音響に含まれた周波数成分が表示されている。黒色に近いほど強さの大きな周波数成分を包含している。スペクトログラムの縦線の１つは、当該地点を基準にして８１９２個のサンプルをフーリエ変換して各周波数の成分別に強さに従って色を示すものであり、横軸は、時間の進行を示すものであるため、個別周波数成分に対して時間の流れによる強さの変化が一目で把握できる。図１２と図２とを共に参照して、図２の楽譜上に示される各音の高さに応じて相当する基本周波数とハーモニック周波数とが図１２に示されていることがわかる。
【００８１】
図１３Ａ乃至図１３Ｇは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、該演奏音を周波数別に分析した図であって、図２の第１小節に含まれた各音を同じ環境下で別に録音した後、その結果をスペクトログラムで示したものである。即ち、図１３Ａは、Ｃ４、図１３Ｂは、Ａ２♭、図１３Ｃは、Ａ３♭、図１３Ｄは、Ｅ３♭、図１３Ｅは、Ｂ３♭、図１３Ｆは、Ｄ３♭、図１３Ｇは、Ｇ３に相当するピアノ音をスペクトログラムで示したものである。各図は、すべて４秒間の周波数別の強さ情報を有しており、分析時の設定項目は、図１２の場合と同様にした。Ｃ４音の場合、２６２Ｈｚを基本周波数として有し、そのｎ倍数である５２３Ｈｚ、７８５Ｈｚ、１０４７Ｈｚなどをハーモニック周波数として有するが、図１３Ａでこれを確認することができる。即ち、２６２Ｈｚと５２３Ｈｚに示される周波数成分は強く（黒色に近く）示し、７８５Ｈｚの場合より高い倍数の周波数帯域にいくほど概ね強さが弱くなることがわかる。図面では、Ｃ４の基本周波数およびハーモニック周波数は、いずれも「Ｃ４」と表示した。
【００８２】
なお、Ａ２♭音は、基本周波数として１０４Ｈｚを有するが、図１３Ｂに示されたように、Ａ２♭音の基本周波数は弱く示され、Ａ２♭音のハーモニック周波数が基本周波数より遥かに強く示されることがわかる。図１３のみを参照して、特に、Ａ２♭音の３倍数ハーモニック周波数（３１１Ｈｚ）帯域が最も強く示されるため、単に周波数の強さで音の高さを決定するとすれば、Ａ２♭音を３１１Ｈｚを基本周波数として有するＥ４♭音と誤って認識することがあり得る。
【００８３】
また、図１３Ｃ乃至図１３Ｇにおいても、音の強さのみをもって音の高さを決定する場合、このような誤りを犯すことがある。
【００８４】
図１４Ａ乃至図１４Ｇは、前記楽譜の第１小節に含まれた各音に対する周波数成分が図１２に示された状態を示すものである。
【００８５】
図１４Ａは、Ｃ４音に相当する図１３Ａの周波数成分が図１２に示された状態を表示したものである。図１３Ａに示された音の強さは、図１２に使用された音の強さより大きいため、図１２の上端部にあるＣ４音のハーモニック周波数は薄く示されるか、見分け難いほど小さな強さに示されている。しかし、図１３Ａの周波数強さを図１２に示されたＣ４基本周波数の強さに合うように低くした上で比較すると、図１２においてＣ４音の周波数成分が、図１４Ａでのように含まれていることがわかる。
【００８６】
図１４Ｂは、Ａ２♭音に相当する図１３Ｂの周波数成分が図１２に示される状態を表示したものである。図１３Ｂに示された音の強さは、図１２で演奏されたＡ２♭音の強さより遥かに強いため、基本周波数の成分と上端部のハーモニック周波数成分が明確に示されるが、図１２では薄く示されており、特に上端部ではハーモニック周波数がほとんど表示されていない。これもやはり図１３Ｂの周波数の強さを図１２に示されたＡ２♭の基本周波数の強さに合うように低くした上で比較すると、図１２においてＡ２♭音の周波数成分が図１４Ｂでのように含まれていることがわかる。図１４Ｂにおいて５倍数のハーモニック周波数成分が強く示されるのは、図１４ＡにおいてＣ４音の２倍数ハーモニック周波数成分と重畳されるためであり、Ａ２♭音の５倍ハーモニック周波数は５１９Ｈｚであり、Ｃ４音の５２３Ｈｚであるため、同一の帯域に重畳されて図に表われている。続けて図１４Ｂを分析すると、Ａ２♭音の５倍数、１０倍数、１５倍数などに相当するハーモニック周波数帯域がＣ４音の２倍数、４倍数、６倍数ハーモニック周波数などと重畳され、図１３Ｂに示される基本周波数とハーモニック周波数との間の相対的な大きさより大きく示されていることがわかる（参考として、弱い強さの音は、スペクトログラムで薄く示されるため、目で各周波数成分を明確に見分け得るようにするため、図１３Ａ〜図１３Ｇの単音を録音する時、図１２に含まれた実際音の強さより大きな音で録音した）。
【００８７】
図１４Ｃは、Ａ３♭音に相当する図１３Ｃの周波数成分が図１２に示される状態を表示した図である。図１３Ｃに示された音の強さは、図１２で演奏されたＡ３♭音の強さより強いため、図１３Ｃに表示された周波数成分が、図１４Ｃより強く示されている。なお、上記の単音に比べて図１４ＣではＡ３♭音の成分のみを探すのはあまり容易でない。その理由は、他の音の基本周波数およびハーモニック周波数帯域が重畳される部分が多く、他の音の演奏時にＡ３♭音が弱く立て、その内消えるためである。先ず、Ａ３♭音の全ての周波数成分は、Ａ２♭音において２倍数に相当するハーモニック周波数の成分がそのまま重畳されている。さらに、Ａ３♭音の５倍数ハーモニック周波数は、Ｃ４音の４倍数ハーモニック周波数と重畳されるため、この部分では、音の二度演奏の間、切れる部分を見つけ難い。他の周波数成分は、共通的に中間部分において強さが弱くなるため、この部分では、Ａ２♭音のハーモニック周波数成分が示されていることがわかり、この部分においてＡ３♭音は、中断されてから再度演奏されたことがわかる。
【００８８】
図１４Ｄは、Ｅ３♭音に相当する図１３Ｄの周波数成分が図１２に示される状態を表示した図である。図１３Ｄに示された音の強さは、図１２において演奏されたＥ３♭音の強さより強いため、図１３Ｄに表示された周波数成分が図１４Ｄのそれより強く示されている。Ｅ３♭音は、４回演奏されたが、初の二回演奏の間は、Ｅ３♭音の２倍数および４倍数のハーモニック周波数成分が、Ａ２♭音の３倍数および６倍数のハーモニック成分と重畳するため、この部分では、二回演奏の間、続けて他の音のハーモニック周波数成分が示されていることが確認される。また、Ｅ３♭音の５倍数ハーモニック周波数成分は、Ｃ４音の３倍数ハーモニック周波数成分と重畳されたように示されるため、一番目の音と二番目の音との間で当該周波数成分が続けて示されていることがわかる。三番目の音と四番目の音においては、Ｅ３♭音の３倍数ハーモニック周波数成分がＢ３♭音の２倍数ハーモニック周波数成分と重畳するため、Ｅ３♭音の非演奏の間も続けて当該周波数成分が示されていることがわかる。また、Ｅ３♭音の５倍数ハーモニック周波数成分が、Ｇ３音の４倍数ハーモニック周波数成分と重畳するため、Ｇ３音とＥ３♭音とが交代に演奏されたにもかかわらず、Ｇ３音の４倍数ハーモニック周波数成分とＥ３♭音の５倍数ハーモニック周波数成分とはずっと連結されて示されている。
【００８９】
図１４Ｅは、Ｂ３♭音に相当する図１３Ｅの周波数成分が図１２に示されている状態を表示したものである。図１３Ｅに示された音の強さは、図１２で演奏されたＢ３♭音の強さより少し強いため、図１３Ｅに表示された周波数成分が強く示されている。しかし、図１４Ｅでは、図１３Ｅに表示された周波数成分がほとんどそのままマッチングされていることが確認される。図１３Ｅに示されたように、音が弱くなりながらＢ３♭音の上端部のハーモニック周波数は良く表示されない程度に弱くなることがわかり、図１４Ｅにおいても同様に右側に進行しながら上端部のハーモニック周波数の強さが弱くなることが確認できた。
【００９０】
図１４Ｆは、Ｄ３♭音に相当する図１３Ｆの周波数成分が図１２に示される状態を表示した図である。図１３Ｆに示された音の強さは、図１２で演奏されたＤ３♭音の強さより強いため、図１３Ｆに表示された周波数成分が図１４Ｄのそれより強く示されている。しかし、図１４Ｆにおいても図１３Ｆに表示された周波数成分がそのままマッチングされていることが確認される。特に、図１３ＦにおいてＤ３♭音の９倍数ハーモニック周波数の強さは、１０倍数ハーモニック周波数の強さより小さく示されているが、図１４ＦにおいてもＤ３♭音の９倍数ハーモニック周波数の強さは、非常に弱く示され、１０倍数ハーモニック周波数の強さより小さく示されていることが確認される。なお、図１４ＦにおいてＤ３♭音の５倍数および１０倍数ハーモニック周波数は、図１４Ｅにおいて表示されたＢ３♭音の３倍数および６倍数ハーモニック周波数と重畳するため、他のハーモニック周波数より強く示されている。Ｄ３♭音の５倍数ハーモニック周波数は、６９３Ｈｚで、Ｂ３♭音の３倍数ハーモニック周波数は、６９９Ｈｚで、隣接しているため、スペクトログラムで重畳して現われるようになる。
【００９１】
図１４Ｇは、Ｇ３音に相当する図１３Ｇの周波数成分が図１２に示される状態を表示した図である。図１３Ｇに示された音の強さは、図１２で演奏されたＧ３音の強さより少し強いため、図１３Ｇに表示された周波数成分が図１４Ｇのそれより強く示されている。図１４Ｇでは、Ｇ３音の強さが図１４ＣでのＡ３♭音の強さより強く演奏されたので、明確に各周波数成分を探し出すことができる。さらに、図１４Ｃや図１４Ｆでのように他の音の周波数成分と重畳する部分がほとんど示されていないため、個別周波数成分が目視で容易に確認可能である。但し、Ｇ３音の４倍数ハーモニック周波数帯域と図１４Ｄに表示されたＥ３♭音の５倍数ハーモニック周波数帯域とがそれぞれ７８４Ｈｚ、７７８Ｈｚで近似しているが、Ｅ３♭音とＧ３音の演奏時間が互いに異なっているため、図１４ＧにおいてＧ３音の４倍数ハーモニック周波数成分の２つ部分の間で僅かに下方にＥ３♭音の５倍数ハーモニック周波数成分が示されていることがわかる。
【００９２】
図１５は、図１２に表示された各周波数を、図２の楽譜に含まれた音の周波数のそれぞれと比較して示した図である。すなわち、今まで図１２の周波数成分を分析した内容が一目で確認できるように、相当する各周波数成分に表示をした。前述の本発明の方法では、図１２に示された周波数成分を分析するため、図１３Ａ〜図１３Ｇに表現された各単音の周波数成分を用いた。その結果として、図１５の図面が得られ、これによって入力されたデジタル音響を分析するために演奏楽器の音情報を用いる方法の概要を確認することができる。すなわち、前述の本発明の方法では、演奏楽器の音情報として各単音の実際音を入力され、各音に含まれた周波数成分を用いた。
【００９３】
本明細書では、フーリエ変換のＦＦＴを用いて周波数成分を分析したが、周波数成分の分析技術としては、その他にも、ウェーブレット（Ｗａｖｅｌｅｔ）や他のデジタル信号処理アルゴリズムで開発した多くの技術が使用できるのは勿論である。即ち、本明細書では、説明を容易にするため、最も代表的なフーリエ変換技術を利用しているが、本発明を限定するためのものではない。
【００９４】
なお、図１４Ａ乃至図１４Ｇおよび図１５に至るまで、各音の周波数成分が表現される時間情報は、実際に演奏された時間情報と違って示されていることがわかる。特に、図１５において参照符号（１５００、１５０１、１５０２、１５０３、１５０４、１５０５、１５０６、１５０７）で表示された時間が、実際演奏が始まった部分であるにもかかわらず、周波数成分は、以前の時間から表現されていることがわかる。また、各周波数成分が、音の終わり時間を超えて示されることもある。これは、時間の流れに従う周波数の分析を正確にするため、ＦＦＴウィンドウのサイズを８１９２にしたので発生した時間上の誤差である。この誤差の範囲は、ＦＦＴウィンドウのサイズに応じて決定され、本例で使用されたサンプリング比率は、２２,０５０Ｈｚであり、ＦＦＴウィンドウは、８１９２サンプルであるため、８,１９２÷２２,０５０≒０．３７秒の誤差を含んでいる。即ち、ＦＦＴウィンドウのサイズを大きくすると、単位フレームの大きさが大きくなって区分可能な周波数の間隔が狭くなるため、各音の高さによる周波数成分を正確に分析できるが、時間上の誤差を有するようになり、ＦＦＴウィンドウのサイズを小さくすると、区分可能な周波数の間隔が広くなるため、低音域において隣接した音が区分できないが、時間上の誤差は少なくなる。選択的に、サンプリング比率を高くしても前述のように時間上の誤差範囲が狭くなる。
【００９５】
図１６Ａ乃至図１６Ｄは、このようにＦＦＴウィンドウのサイズ変化による誤差範囲の変化を説明するため、図１および図２に示された楽譜の第１小節に関する演奏音を互いに異なったＦＦＴウィンドウのサイズで分析した結果を示す図である。
【００９６】
図１６Ａは、ＦＦＴウィンドウのサイズを４０９６に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示し、図１６Ｂは、ＦＦＴウィンドウのサイズを２０４８に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示し、図１６Ｃは、ＦＦＴウィンドウのサイズを１０２４に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示し、図１６Ｄは、ＦＦＴウィンドウのサイズを５１２に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示すものである。
【００９７】
一方、図１５の場合、ＦＦＴウィンドウのサイズを８１９２に設定した後、ＦＦＴ変換を行った場合に関する分析結果を示しているため、図１５乃至１６Ａ〜１６Ｄに至るまで分析結果を比較すると、ＦＦＴウィンドウのサイズが大きくなるほど周波数帯域を細かく分けて細密に分析できるが、時間上の誤差が大きくなり、ＦＦＴウィンドウのサイズが小さくなるほど区分可能な周波数帯域が広くなるため、細密な分析が難しい反面、時間上の誤差はそれ程小さくなることがわかる。
【００９８】
従って、時間上の正確度および周波数帯域区分の正確度の要求に応じてＦＦＴウィンドウのサイズを可変的に変更しながら分析し、または、時間上の情報と周波数上の情報とを互いに異なったＦＦＴウィンドウのサイズを用いて分析する方法などを適用すれば良い。
【００９９】
図１７Ａおよび図１７Ｂは、ＦＦＴウィンドウのサイズに応じてデジタル音響分析過程の時間誤差が変化する模様を示すための図である。このとき、図面上に白く表示された領域が当該音が発見されたウィンドウを示す。従って、図１７Ａの場合、ＦＦＴウィンドウのサイズが大きいため（８１９２）、当該音が発見されたウィンドウを示す領域が広く示され、図１７Ｂの場合、ＦＦＴウィンドウのサイズが相対的に小さいため（１０２４）、当該音が発見されたウィンドウを示す領域が狭く示される。
【０１００】
図１７Ａは、ＦＦＴウィンドウのサイズを「８１９２」に設定した場合に関するデジタル音響の分析結果を示す図であって、同図に示されたように、実際音が始まった位置は、「９７８０」であるが、ＦＦＴ変換の結果、音の始まり位置と分析された位置は、当該音が発見されたウィンドウの中間地点である「１２２８８」（＝８１９２＋１６３８４）／２）となる。この場合は、１２２８８番目のサンプルと９７８０番目のサンプルとの間の差である２５０８個のサンプルに相当する時間分だけの誤差が発生する。即ち、２２．５ＫＨｚサンプリングの場合、２５０８＊（１／２２５００）＝およそ０．１１秒の誤差が発生する。
【０１０１】
また、図１７Ｂは、ＦＦＴウィンドウのサイズを「１０２４」に設定した場合に関するデジタル音響の分析結果を示す図であって、同図に示されたように、実際音が始まった位置は、図１７Ａと同様に「９７８０」であるが、ＦＦＴ変換の結果、音の始まり位置と分析された位置は、「９７２８」（＝９２１６＋１０２４０）／２）となる。この場合は、９２１６番目のサンプルと１０２３９番目のサンプルとの中間値である９７２８番目のサンプルの時間として分析するようになるが、その誤差は、単に５２個のサンプルに過ぎず、上記のように２２．５ＫＨｚサンプリングの場合、上記のような計算方法によって時間としてはおよそ０．００２秒の誤差が発生する。従って、図１７ＢのようにＦＦＴウィンドウのサイズを小さく設定した場合により正確な分析結果が得られることがわかる。
【０１０２】
図１８は、本発明の実施例によって音情報および楽譜情報を用いて導出した単音情報を再度合成した音を周波数別に分析した結果を示す図である。すなわち、図１の楽譜から楽譜情報を導出し、図１３Ａ乃至図１３Ｇに関する部分で説明した音情報を適用した。
【０１０３】
すなわち、図１から導出された楽譜情報から初の０．５秒間、Ｃ４、Ａ３♭、そしてＡ２♭音が演奏されることを導出し、図１３Ａ乃至図１３Ｃの情報から、当該音の音情報を導出した後、該情報を用いて外部から入力されたデジタル音響を分析した後、その分析結果を導出した図である。このとき、図１２の初の０．５秒間に相当する部分と図１４Ｄの前部とを比較すると、ほとんど一致していることが確認された。従って、図１８の初の０．５秒間に相当する部分は、前述の〔疑似コード２〕のうちで結果変数（ｒｅｓｕｌｔ）またはパフォーマンス（ｐｅｒｆｏｒｍａｎｃｅ）に相当する部分であって、図１２の初の０．５秒部分と一致する。
【０１０４】
以上、本発明について好適な実施例を中心に説明したが、本発明の属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱することなく変更された形態に本発明を実施することができる。したがって、本明細書に開示の実施例は、本発明を限定するものではなく、本発明を説明するためのものと解釈すべきである。すなわち、本発明の範囲は、添付の請求の範囲によってのみ制限される。
【０１０５】
［産業上の利用可能性］
本発明によれば、デジタル音響分析において音情報または音情報および楽譜情報を用いることによって、入力されるデジタル音響を速やかに分析することができ、その正確性も向上する。また、従来の方法では、ピアノ演奏曲など複音で構成された音楽がほとんど分析できなかったが、本発明では、音情報または音情報および楽譜情報を用いることによって、デジタル音響に含まれた単音演奏部分は勿論、複音演奏部分までも速やかにかつ正確に分析することができる効果を奏する。
【０１０６】
よって、このようなデジタル音響の分析結果を電子楽譜に直接適用することができ、また、正確な分析結果を用いて演奏情報を定量的に導出することができる。従って、このような分析結果は、その利用範囲が広く、子供向けの音楽教育から専門家の演奏レッスンに至るまで、幅広く適用することができる。
【０１０７】
即ち、外部から入力されるデジタル音響をリアルタイムで分析することのできる本発明の技術を応用し、現在演奏されている演奏音に対する電子楽譜上の位置をリアルタイムで把握し、次の演奏位置を電子楽譜上に自動に表示できるようにすることで、演奏者が手で楽譜をめくる必要がないため、演奏に専念することができる効果が得られる。
【０１０８】
また、分析結果である演奏情報を、予め格納された楽譜情報と比較して演奏正確度を導出することによって、演奏者に、違った演奏部分を指摘して知らせるか、前記演奏正確度をもって当該演奏者の演奏を評価することのできる資料として活用することもできる。
【図面の簡単な説明】
【図１】 図１は、ベートーベンのピアノソナタ第８番第２楽章の初めの２小節に相当する楽譜を示す図である。
【図２】 図２は、図１に示された楽譜の複音を単音に区分して示した楽譜図である。
【図３】 図３は、ＡｍａｚｉｎｇＭＩＤＩプログラムのパラメータ設定ウィンドウを示す図である。
【図４】 図４は、ＡｍａｚｉｎｇＭＩＤＩプログラムにおいて図１に示された楽譜の実際演奏音をミディデータに変換した結果を示す図である。
【図５】 図５は、図４の中、実際演奏音に相当する部分を黒棒で表示して組み合わせた図である。
【図６】 図６は、ＡｍａｚｉｎｇＭＩＤＩプログラムにおいて図１に示された楽譜の実際演奏音をミディデータに変換した、他の結果を示す図である。
【図７】 図７は、図６の中、実際演奏音に相当する部分を黒棒で表示して組み合わせた図である。
【図８】 図８は、デジタル音響を分析する方法に関する概念図である。
【図９Ａ】 図９Ａは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図９Ｂ】 図９Ｂは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図９Ｃ】 図９Ｃは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図９Ｄ】 図９Ｄは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図９Ｅ】 図９Ｅは、デジタル音響を分析するために使用するピアノの音情報に関する例示図である。
【図１０】 図１０は、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響を分析する過程を示す処理フローチャートである。
【図１０Ａ】 図１０Ａは、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響のフレーム別の単音情報を導出する過程を示す処理フローチャートである。
【図１０Ｂ】 図１０Ｂは、本発明の一実施例によって楽器別の音情報に基づいて外部から入力されるデジタル音響および当該楽器の音情報のフレーム別の周波数成分を比較・分析する過程を示す処理フローチャートである。
【図１１】 図１１は、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響を分析する過程を示す処理フローチャートである。
【図１１Ａ】 図１１Ａは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響のフレーム別の単音情報および演奏誤り情報を導出する過程を示す処理フローチャートである。
【図１１Ｂ】 図１１Ｂは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響および当該楽器の音情報および楽譜情報のフレーム別の周波数成分を比較・分析する過程を示す処理フローチャートである。
【図１１Ｃ】 図１１Ｃは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて外部から入力されるデジタル音響および当該楽器の音情報および楽譜情報のフレーム別の周波数成分を比較・分析する過程を示す処理フローチャートである。
【図１１Ｄ】 図１１Ｄは、本発明の他の実施例によって楽器別の音情報および楽譜情報に基づいて生成された演奏期待値を訂正する過程を示す処理フローチャートである。
【図１２】 図１２は、図１および図２に示された楽譜の第１小節をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ａ】 図１３Ａは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｂ】 図１３Ｂは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｃ】 図１３Ｃは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｄ】 図１３Ｄは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｅ】 図１３Ｅは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｆ】 図１３Ｆは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１３Ｇ】 図１３Ｇは、前記楽譜の第１小節に含まれた各音をピアノで演奏し、その音を周波数別に分析した図である。
【図１４Ａ】 図１４Ａは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｂ】 図１４Ｂは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｃ】 図１４Ｃは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｄ】 図１４Ｄは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｅ】 図１４Ｅは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｆ】 図１４Ｆは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１４Ｇ】 図１４Ｇは、前記楽譜の第１小節に含まれた各音に関する周波数成分が図１２に示された状態を示す図である。
【図１５】 図１５は、図１２において表示される各周波数を、図２の楽譜に含まれた音の周波数のそれぞれと比較して示す図である。
【図１６Ａ】 図１６Ａは、図１および図２に示された楽譜の第１小節の演奏音をＦＦＴ変換する時、設定されるウィンドウのサイズ別の周波数分析結果を示す図である。
【図１６Ｂ】 図１６Ｂは、図１および図２に示された楽譜の第１小節の演奏音をＦＦＴ変換する時、設定されるウィンドウのサイズ別の周波数分析結果を示す図である。
【図１６Ｃ】 図１６Ｃは、図１および図２に示された楽譜の第１小節の演奏音をＦＦＴ変換する時、設定されるウィンドウのサイズ別の周波数分析結果を示す図である。
【図１６Ｄ】 図１６Ｄは、図１および図２に示された楽譜の第１小節の演奏音をＦＦＴ変換する時、設定されるウィンドウのサイズ別の周波数分析結果を示す図である。
【図１７Ａ】 図１７Ａは、ＦＦＴウィンドウのサイズに応じてデジタル音響分析過程の時間誤差が相違していることを示す図である。
【図１７Ｂ】 図１７Ｂは、ＦＦＴウィンドウのサイズに応じてデジタル音響分析過程の時間誤差が相違していることを示す図である。
【図１８】 図１８は、本発明の実施例によって音情報および楽譜情報に基づいて導出した単音情報を再度合成した音を周波数別に分析した結果を示す図である。
Claims (25)
- デジタル音響を分析するため、演奏楽器の音情報を利用する方法であって、
（ａ）コンピュータが、演奏楽器別の音情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップと、
（ｂ）コンピュータが、前記格納された演奏楽器別の音情報のうち実際に演奏される楽器の音情報を選択するステップと、
（ｃ）コンピュータが、デジタル音響信号を入力されるステップと、
（ｄ）コンピュータが、前記入力されたデジタル音響信号を単位フレーム別の周波数成分に分解するステップと、
（ｅ）コンピュータが、前記入力されたデジタル音響信号に含まれた単音情報を導出するステップと含み、
前記ステップ（ｅ）は、
前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択するステップ（ｅ１）と、
前記選択された演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出するステップ（ｅ２）と、
前記導出された音情報のうち当該フレームのピーク周波数成分と最も近似したピーク情報を有する音情報を単音情報として導出するステップ（ｅ３）と、
前記導出された単音情報に相当する音情報の周波数成分を当該フレームから除去するステップ（ｅ４）と、
当該フレームのピーク周波数成分が残っている場合、前記ステップ（ｅ１〜ｅ４）を繰り返して行うステップ（ｅ５）とを含むことを特徴とするデジタル音響分析方法。 - 請求項１において、前記ステップ（ｅ）は、
前記区分された単位フレーム別の時間情報を導出した後、該単位フレーム別の周波数成分と演奏楽器の音情報の周波数成分とを比較・分析し、各単位フレーム別に含まれた単音の音高さ別および強さ別の情報を時間情報と共に導出することを特徴とするデジタル音響分析方法。 - 請求項２において、前記ステップ（ｅ）は、
前記導出された単音情報が、この単音成分を含む現フレームの前フレームに含まれていない新しい単音である場合、現フレームを前フレームより大きさが小さなサブフレームに分け、新しい音の含まれたサブフレームを探して当該サブフレームの時間情報を前記導出された単音の音高さ別および強さ別の情報と共に導出することを特徴とするデジタル音響分析方法。 - 請求項１において、前記ステップ（ａ）は、
前記演奏楽器の音情報を周期的に更新することを特徴とするデジタル音響分析方法。 - 請求項１において、前記ステップ（ａ）は、
前記演奏楽器の音情報を１つ以上の強さ別の音のサンプルとして前記記録媒体に格納する時、音情報として表現可能な各単音をウェーブ形式のデータとして前記記録媒体に格納し、該ウェーブ形式のデータから演奏楽器別の音情報の周波数成分を導出するようにすることを特徴とするデジタル音響分析方法。 - 請求項１において、前記ステップ（ａ）は、
前記演奏楽器の音情報を１つ以上の強さ別の音のサンプルとして前記記録媒体に格納する時、音情報として表現可能な各単音を周波数成分別の強さを示す形態で前記記録媒体に格納することを特徴とするデジタル音響分析方法。 - 請求項６において、前記ステップ（ａ）は、
前記演奏楽器の音情報をフーリエ変換して前記記録媒体に格納することを特徴とするデジタル音響分析方法。 - 請求項６において、前記ステップ（ａ）は、
前記演奏楽器の音情報をウェーブレット変換して前記記録媒体に格納することを特徴とするデジタル音響分析方法。 - 請求項５または請求項６において、前記ステップ（ａ）は、
鍵盤楽器の音情報を前記記録媒体に格納する時、ペダルの使用有無について分類格納することを特徴とするデジタル音響分析方法。 - 請求項５または請求項６において、前記ステップ（ａ）は、
弦楽器の音情報を前記記録媒体に格納する時、該音情報を各弦別に分類格納することを特徴とするデジタル音響分析方法。 - デジタル音響を分析するため、演奏楽器の音情報および楽譜情報を利用する方法であって、
（ａ）コンピュータが、演奏楽器別の音情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップと、
（ｂ）コンピュータが、演奏される楽譜の楽譜情報を生成し、コンピュータ読取り可能な記録媒体に格納するステップと、
（ｃ）コンピュータが、前記格納された演奏楽器別の音情報および楽譜情報のうち実際に演奏される楽器の音情報および楽譜情報を選択するステップと、
（ｄ）コンピュータが、デジタル音響を入力されるステップと、
（ｅ）コンピュータが、前記入力されたデジタル音響信号を単位フレーム別の周波数成分に分解するステップと、
（ｆ）コンピュータが、前記入力されたデジタル音響信号に含まれた演奏誤り情報および単音情報を導出するステップとを含み、
前記ステップ（ｆ）は、
前記楽譜情報を参照して当該演奏楽器の演奏進行に従うデジタル音響信号のフレーム別の演奏期待値をリアルタイムで生成し、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在するか否かをフレーム単位で確認するステップ（ｆ１）と、
前記ステップ（ｆ１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在しない場合、演奏誤り情報および単音情報を導出した後、該演奏誤り情報および単音情報として導出された音情報の周波数成分を当該フレームのデジタル音響信号から除去するステップ（ｆ２）と、
前記ステップ（ｆ１）の結果、フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値が存在する場合、当該フレームのデジタル音響信号に含まれた単音情報を導出し、前記単音情報として導出された音情報の周波数成分を該単音情報が含まれたフレームのデジタル音響信号から除去するステップ（ｆ３）と、
フレーム単位のデジタル音響信号にピーク周波数成分が残っている場合、前記ステップ（ｆ１〜ｆ３）を繰り返して行うステップ（ｆ４）とを含み、
前記ステップ（ｆ２）は、
前記入力されたデジタル音響信号のフレーム別に当該フレームに含まれた最も低いピーク周波数を選択するステップ（ｆ２＿１）と、
当該演奏楽器の音情報のうちから前記選択されたピーク周波数を含む音情報を導出するステップ（ｆ２＿２）と、
前記導出された音情報のうち当該フレームのピーク周波数成分と最も近似したピーク情報を有する音情報を演奏誤り情報として導出するステップ（ｆ２＿３）と、
前記演奏誤り情報が楽譜情報において次に演奏される音符に含まれる場合、前記演奏誤り情報に含まされた音を演奏期待値に追加した後、該演奏誤り情報を単音情報として導出するステップ（ｆ２＿４）と、
前記演奏誤り情報および単音情報として導出された音情報の周波数成分を当該フレームから除去するステップ（ｆ２＿５）とを含み、
前記ステップ（ｆ３）は、
前記フレーム別の演奏期待値のうち当該フレームのデジタル音響信号と比較されていない演奏期待値に含まれた音情報のうち最も低い音の情報を選択するステップ（ｆ３＿１）と、
前記選択された音情報の周波数成分が当該フレームのデジタル音響信号に含まれた周波数成分に含まれる場合、該音情報を単音情報として導出した後、該音情報の周波数成分を当該フレームのデジタル音響信号から除去するステップ（ｆ３＿２）と、
前記選択された音情報の周波数成分が当該フレームのデジタル音響信号に含まれていない場合、前記演奏期待値を訂正するステップ（ｆ３＿３）とを含むことを特徴とするデジタル音響分析方法。 - 請求項１１において、前記ステップ（ｆ）は、
前記単位フレーム別の時間情報を導出した後、当該単位フレーム別の周波数成分と演奏楽器の音情報の周波数成分および楽譜情報を比較・分析し、各単位フレーム別に含まれた単音の音高さ別および強さ別の情報を時間情報と共に導出することを特徴とするデジタル音響分析方法。 - 請求項１１または請求項１２において、前記ステップ（ｆ）は、
前記導出された単音情報がこの単音成分を含む現フレームの前フレームに含まれていない新しい単音である場合、現フレームを前フレームより大きさが小さなサブフレームに分け、新しい音の含まれたサブフレームを探して当該サブフレームの時間情報を、前記導出された単音の音高さ別および強さ別の情報と共に導出するステップをさらに含むことを特徴とするデジタル音響分析方法。 - 請求項１１において、前記ステップ（ａ）は、
前記演奏楽器の音情報を周期的に更新することを特徴とするデジタル音響分析方法。 - 請求項１１において、前記ステップ（ａ）は、
前記演奏楽器の音情報を１つ以上の強さ別の音のサンプルとして前記記録媒体に格納する時、音情報として表現可能な各単音をウェーブ形式のデータとして格納することを特徴とするデジタル音響分析方法。 - 請求項１１において、前記ステップ（ａ）は、
前記演奏楽器の音情報を１つ以上の強さ別の音のサンプルとして前記記録媒体に格納する時、音情報として表現可能な各単音を周波数成分別の強さを示す形態で前記記録媒体に格納することを特徴とするデジタル音響分析方法。 - 請求項１６において、前記ステップ（ａ）は、
前記演奏楽器の音情報をフーリエ変換して前記記録媒体に格納することを特徴とするデジタル音響分析方法。 - 請求項１６において、前記ステップ（ａ）は、
前記演奏楽器の音情報をウェーブレット変換して前記記録媒体に格納することを特徴とするデジタル音響分析方法。 - 請求項１５または請求項１６において、前記ステップ（ａ）は、
鍵盤楽器の音情報を前記記録媒体に格納する時、ペダルの使用有無について分類格納することを特徴とするデジタル音響分析方法。 - 請求項１５または請求項１６において、前記ステップ（ａ）は、
弦楽器の音情報を前記記録媒体に格納する時、その音情報を各弦別に分類格納することを特徴とするデジタル音響分析方法。 - 請求項１１において、前記ステップ（ｆ２＿３）は、
当該演奏音の高さおよび強さを演奏誤り情報として導出することを特徴とするデジタル音響分析方法。 - 請求項１１において、前記ステップ（ｆ３＿３）は、
前記選択された音情報の周波数成分がある時点に前記デジタル音響信号に含まれた履歴があるが、当該フレームの前フレームに所定の回数以上連続して含まれない場合、該音情報を演奏期待値から除去することを特徴とするデジタル音響分析方法。 - 請求項１１において、
コンピュータが、前記ステップ（ｆ）で導出された前記演奏誤り情報に基づいて演奏正確度を判別するステップ（ｈ）をさらに含むことを特徴とするデジタル音響分析方法。 - 請求項１１において、
コンピュータが、前記ステップ（ｆ）で導出された前記演奏誤り情報に基づいて前記演奏誤り情報に相当するデジタル音響信号の単音情報を前記ステップ（ｂ）で生成された楽譜情報に追加するステップ（ｉ）をさらに含むことを特徴とするデジタル音響分析方法。 - 請求項１１において、前記ステップ（ｂ）は、
演奏される楽譜に基づいて、
時間の流れに従う音の高さ、音の長さ情報、速さ情報、拍子情報、音の強さ情報と、
スタッカート、スタッカティッスィモ、プラルトリラーなどを含む細部演奏情報と、
両手演奏および多数楽器の演奏に係る演奏区分情報のうち１つ以上の情報と、を含む楽譜情報を生成し格納することを特徴とするデジタル音響分析方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20000073452 | 2000-12-05 | ||
| PCT/KR2001/002081 WO2002047064A1 (en) | 2000-12-05 | 2001-12-03 | Method for analyzing music using sounds of instruments |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004515808A JP2004515808A (ja) | 2004-05-27 |
| JP3907587B2 true JP3907587B2 (ja) | 2007-04-18 |
Family
ID=19702696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002548707A Expired - Fee Related JP3907587B2 (ja) | 2000-12-05 | 2001-12-03 | 演奏楽器の音情報を用いた音響分析方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6856923B2 (ja) |
| EP (1) | EP1340219A4 (ja) |
| JP (1) | JP3907587B2 (ja) |
| KR (1) | KR100455752B1 (ja) |
| CN (1) | CN100354924C (ja) |
| AU (1) | AU2002221181A1 (ja) |
| WO (1) | WO2002047064A1 (ja) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100455751B1 (ko) * | 2001-12-18 | 2004-11-06 | 어뮤즈텍(주) | 연주악기의 소리정보를 이용한 음악분석장치 |
| US20050190199A1 (en) * | 2001-12-21 | 2005-09-01 | Hartwell Brown | Apparatus and method for identifying and simultaneously displaying images of musical notes in music and producing the music |
| US7169996B2 (en) * | 2002-11-12 | 2007-01-30 | Medialab Solutions Llc | Systems and methods for generating music using data/music data file transmitted/received via a network |
| WO2005022509A1 (en) * | 2003-09-03 | 2005-03-10 | Koninklijke Philips Electronics N.V. | Device for displaying sheet music |
| US20050229769A1 (en) * | 2004-04-05 | 2005-10-20 | Nathaniel Resnikoff | System and method for assigning visual markers to the output of a filter bank |
| DE102004049477A1 (de) * | 2004-10-11 | 2006-04-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur harmonischen Aufbereitung einer Melodielinie |
| DE102004049457B3 (de) * | 2004-10-11 | 2006-07-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur Extraktion einer einem Audiosignal zu Grunde liegenden Melodie |
| US7598447B2 (en) * | 2004-10-29 | 2009-10-06 | Zenph Studios, Inc. | Methods, systems and computer program products for detecting musical notes in an audio signal |
| KR100671505B1 (ko) * | 2005-04-21 | 2007-02-28 | 인하대학교 산학협력단 | 베이즈법을 적용한 악기신호의 인식 및 장르분류 방법 |
| KR100735444B1 (ko) * | 2005-07-18 | 2007-07-04 | 삼성전자주식회사 | 오디오데이터 및 악보이미지 추출방법 |
| KR100722559B1 (ko) * | 2005-07-28 | 2007-05-29 | (주) 정훈데이타 | 음향 신호 분석 장치 및 방법 |
| DE102006014507B4 (de) * | 2006-03-19 | 2009-05-07 | Technische Universität Dresden | Verfahren und Vorrichtung zur Klassifikation und Beurteilung von Musikinstrumenten gleicher Instrumentengruppen |
| US7459624B2 (en) | 2006-03-29 | 2008-12-02 | Harmonix Music Systems, Inc. | Game controller simulating a musical instrument |
| KR100900438B1 (ko) * | 2006-04-25 | 2009-06-01 | 삼성전자주식회사 | 음성 패킷 복구 장치 및 방법 |
| US7645929B2 (en) * | 2006-09-11 | 2010-01-12 | Hewlett-Packard Development Company, L.P. | Computational music-tempo estimation |
| JP4322283B2 (ja) * | 2007-02-26 | 2009-08-26 | 独立行政法人産業技術総合研究所 | 演奏判定装置およびプログラム |
| EP2148321B1 (en) * | 2007-04-13 | 2015-03-25 | National Institute of Advanced Industrial Science and Technology | Sound source separation system, sound source separation method, and computer program for sound source separation |
| US7625284B2 (en) * | 2007-06-14 | 2009-12-01 | Harmonix Music Systems, Inc. | Systems and methods for indicating input actions in a rhythm-action game |
| US8678896B2 (en) * | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for asynchronous band interaction in a rhythm action game |
| US8026435B2 (en) * | 2009-05-29 | 2011-09-27 | Harmonix Music Systems, Inc. | Selectively displaying song lyrics |
| US8017854B2 (en) | 2009-05-29 | 2011-09-13 | Harmonix Music Systems, Inc. | Dynamic musical part determination |
| US7935880B2 (en) | 2009-05-29 | 2011-05-03 | Harmonix Music Systems, Inc. | Dynamically displaying a pitch range |
| US7923620B2 (en) * | 2009-05-29 | 2011-04-12 | Harmonix Music Systems, Inc. | Practice mode for multiple musical parts |
| US8080722B2 (en) * | 2009-05-29 | 2011-12-20 | Harmonix Music Systems, Inc. | Preventing an unintentional deploy of a bonus in a video game |
| US8076564B2 (en) * | 2009-05-29 | 2011-12-13 | Harmonix Music Systems, Inc. | Scoring a musical performance after a period of ambiguity |
| US20100304811A1 (en) * | 2009-05-29 | 2010-12-02 | Harmonix Music Systems, Inc. | Scoring a Musical Performance Involving Multiple Parts |
| US20100304810A1 (en) * | 2009-05-29 | 2010-12-02 | Harmonix Music Systems, Inc. | Displaying A Harmonically Relevant Pitch Guide |
| US8465366B2 (en) * | 2009-05-29 | 2013-06-18 | Harmonix Music Systems, Inc. | Biasing a musical performance input to a part |
| US8449360B2 (en) * | 2009-05-29 | 2013-05-28 | Harmonix Music Systems, Inc. | Displaying song lyrics and vocal cues |
| US7982114B2 (en) * | 2009-05-29 | 2011-07-19 | Harmonix Music Systems, Inc. | Displaying an input at multiple octaves |
| WO2010142297A2 (en) * | 2009-06-12 | 2010-12-16 | Jam Origin Aps | Generative audio matching game system |
| US10357714B2 (en) | 2009-10-27 | 2019-07-23 | Harmonix Music Systems, Inc. | Gesture-based user interface for navigating a menu |
| US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| US8874243B2 (en) | 2010-03-16 | 2014-10-28 | Harmonix Music Systems, Inc. | Simulating musical instruments |
| EP2579955B1 (en) | 2010-06-11 | 2020-07-08 | Harmonix Music Systems, Inc. | Dance game and tutorial |
| US8562403B2 (en) | 2010-06-11 | 2013-10-22 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
| US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
| US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
| JP5834727B2 (ja) * | 2011-09-30 | 2015-12-24 | カシオ計算機株式会社 | 演奏評価装置、プログラム及び演奏評価方法 |
| JP6155950B2 (ja) * | 2013-08-12 | 2017-07-05 | カシオ計算機株式会社 | サンプリング装置、サンプリング方法及びプログラム |
| CN103413559A (zh) * | 2013-08-13 | 2013-11-27 | 上海玄武信息科技有限公司 | 音频识别及纠正系统 |
| KR102117685B1 (ko) * | 2013-10-28 | 2020-06-01 | 에스케이플래닛 주식회사 | 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체 |
| CN105760386B (zh) * | 2014-12-16 | 2019-10-25 | 广州爱九游信息技术有限公司 | 电子图片曲谱滚动方法、装置及系统 |
| CN105719661B (zh) * | 2016-01-29 | 2019-06-11 | 西安交通大学 | 一种弦乐器演奏音质自动判别方法 |
| CN105469669A (zh) * | 2016-02-02 | 2016-04-06 | 广州艾美网络科技有限公司 | 唱歌辅助教学设备 |
| US11282407B2 (en) | 2017-06-12 | 2022-03-22 | Harmony Helper, LLC | Teaching vocal harmonies |
| US10249209B2 (en) | 2017-06-12 | 2019-04-02 | Harmony Helper, LLC | Real-time pitch detection for creating, practicing and sharing of musical harmonies |
| CN108038146B (zh) * | 2017-11-29 | 2021-08-17 | 无锡同芯微纳科技有限公司 | 音乐演奏人工智能分析方法、系统及设备 |
| JP6610714B1 (ja) * | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
| US11288975B2 (en) | 2018-09-04 | 2022-03-29 | Aleatoric Technologies LLC | Artificially intelligent music instruction methods and systems |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4479416A (en) * | 1983-08-25 | 1984-10-30 | Clague Kevin L | Apparatus and method for transcribing music |
| JPS616689A (ja) * | 1984-06-20 | 1986-01-13 | 松下電器産業株式会社 | 電子楽器 |
| GB2262992B (en) * | 1990-06-21 | 1995-07-05 | Reynolds Software Inc | Method and apparatus for wave analysis and event recognition |
| JP2522928Y2 (ja) * | 1990-08-30 | 1997-01-22 | カシオ計算機株式会社 | 電子楽器 |
| JP3216143B2 (ja) * | 1990-12-31 | 2001-10-09 | カシオ計算機株式会社 | 楽譜解釈装置 |
| JPH05181464A (ja) * | 1991-12-27 | 1993-07-23 | Sony Corp | 楽音認識装置 |
| JP3049989B2 (ja) * | 1993-04-09 | 2000-06-05 | ヤマハ株式会社 | 演奏情報分析装置および和音検出装置 |
| JP2636685B2 (ja) * | 1993-07-22 | 1997-07-30 | 日本電気株式会社 | 音楽イベントインデックス作成装置 |
| US5567901A (en) * | 1995-01-18 | 1996-10-22 | Ivl Technologies Ltd. | Method and apparatus for changing the timbre and/or pitch of audio signals |
| KR970007062U (ko) * | 1995-07-13 | 1997-02-21 | 연주음 분리재생장치 | |
| JP3424787B2 (ja) * | 1996-03-12 | 2003-07-07 | ヤマハ株式会社 | 演奏情報検出装置 |
| CN1068948C (zh) * | 1997-07-11 | 2001-07-25 | 财团法人工业技术研究院 | 交互性的音乐伴奏的方法和设备 |
| JP3437421B2 (ja) * | 1997-09-30 | 2003-08-18 | シャープ株式会社 | 楽音符号化装置及び楽音符号化方法並びに楽音符号化プログラムを記録した記録媒体 |
| US6140568A (en) * | 1997-11-06 | 2000-10-31 | Innovative Music Systems, Inc. | System and method for automatically detecting a set of fundamental frequencies simultaneously present in an audio signal |
| KR19990050494A (ko) * | 1997-12-17 | 1999-07-05 | 전주범 | 악기별 스펙트럼 출력장치 |
| KR100317478B1 (ko) * | 1999-08-21 | 2001-12-22 | 주천우 | 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법 |
| JP2001067068A (ja) * | 1999-08-25 | 2001-03-16 | Victor Co Of Japan Ltd | 音楽パートの識別方法 |
| KR100320036B1 (ko) | 1999-09-16 | 2002-01-09 | 서정렬 | 디지털 음악 파일을 악기별로 연주가 가능한 연주용파일로 변환하는 방법 및 그를 이용한 음악 연주시스템 |
| JP4302837B2 (ja) * | 1999-10-21 | 2009-07-29 | ヤマハ株式会社 | 音声信号処理装置および音声信号処理方法 |
| KR100322875B1 (ko) * | 2000-02-25 | 2002-02-08 | 유영재 | 자율학습이 가능한 음악교습시스템 |
| KR20010091798A (ko) * | 2000-03-18 | 2001-10-23 | 김재수 | 기악 연주 교육장치 및 방법 |
| JP3832266B2 (ja) * | 2001-03-22 | 2006-10-11 | ヤマハ株式会社 | 演奏データ作成方法および演奏データ作成装置 |
| JP3801029B2 (ja) * | 2001-11-28 | 2006-07-26 | ヤマハ株式会社 | 演奏情報生成方法、演奏情報生成装置およびプログラム |
-
2001
- 2001-12-03 AU AU2002221181A patent/AU2002221181A1/en not_active Abandoned
- 2001-12-03 JP JP2002548707A patent/JP3907587B2/ja not_active Expired - Fee Related
- 2001-12-03 WO PCT/KR2001/002081 patent/WO2002047064A1/en active Application Filing
- 2001-12-03 US US10/433,051 patent/US6856923B2/en not_active Expired - Fee Related
- 2001-12-03 CN CNB018200796A patent/CN100354924C/zh not_active Expired - Fee Related
- 2001-12-03 EP EP01999937A patent/EP1340219A4/en not_active Withdrawn
- 2001-12-04 KR KR10-2001-0076099A patent/KR100455752B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN100354924C (zh) | 2007-12-12 |
| AU2002221181A1 (en) | 2002-06-18 |
| US6856923B2 (en) | 2005-02-15 |
| CN1479916A (zh) | 2004-03-03 |
| KR100455752B1 (ko) | 2004-11-06 |
| KR20020044081A (ko) | 2002-06-14 |
| US20040044487A1 (en) | 2004-03-04 |
| EP1340219A4 (en) | 2005-04-13 |
| WO2002047064A1 (en) | 2002-06-13 |
| EP1340219A1 (en) | 2003-09-03 |
| JP2004515808A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3907587B2 (ja) | 演奏楽器の音情報を用いた音響分析方法 | |
| Benetos et al. | Automatic music transcription: An overview | |
| Ewert et al. | Score-informed source separation for musical audio recordings: An overview | |
| KR100455751B1 (ko) | 연주악기의 소리정보를 이용한 음악분석장치 | |
| Sethares | Tuning, timbre, spectrum, scale | |
| Dittmar et al. | Music information retrieval meets music education | |
| Muller et al. | Signal processing for music analysis | |
| JP2010521021A (ja) | 楽曲ベースの検索エンジン | |
| Klapuri | Introduction to music transcription | |
| Lerch | Software-based extraction of objective parameters from music performances | |
| JP5292702B2 (ja) | 楽音信号生成装置及びカラオケ装置 | |
| Hinrichs et al. | Convolutional neural networks for the classification of guitar effects and extraction of the parameter settings of single and multi-guitar effects from instrument mixes | |
| Kitahara et al. | Instrogram: A new musical instrument recognition technique without using onset detection nor f0 estimation | |
| Dittmar et al. | A toolbox for automatic transcription of polyphonic music | |
| JP2000293188A (ja) | 和音リアルタイム認識方法及び記憶媒体 | |
| Ballard Jr | Extended Harmonic Techniques: Acoustic Principles for Composition and Musicianship | |
| JP2007240552A (ja) | 楽器音認識方法、楽器アノテーション方法、及び楽曲検索方法 | |
| JPH01288900A (ja) | 歌声伴奏装置 | |
| Nizami et al. | A DT-Neural Parametric Violin Synthesizer | |
| JP6582517B2 (ja) | 制御装置およびプログラム | |
| JP5569307B2 (ja) | プログラム、及び編集装置 | |
| Cano et al. | Music technology and education | |
| JP4624879B2 (ja) | 楽音情報発生プログラムおよび楽音情報発生装置 | |
| Müller et al. | Music signal processing | |
| Chivapreecha et al. | Musical Key Classification Using Convolutional Neural Network Based on Extended Constant-Q Chromagram |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060802 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061108 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070116 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |