JP7293653B2 - 演奏補正方法、演奏補正装置およびプログラム - Google Patents

演奏補正方法、演奏補正装置およびプログラム Download PDF

Info

Publication number
JP7293653B2
JP7293653B2 JP2018248198A JP2018248198A JP7293653B2 JP 7293653 B2 JP7293653 B2 JP 7293653B2 JP 2018248198 A JP2018248198 A JP 2018248198A JP 2018248198 A JP2018248198 A JP 2018248198A JP 7293653 B2 JP7293653 B2 JP 7293653B2
Authority
JP
Japan
Prior art keywords
performance
pitch
music
pitches
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018248198A
Other languages
English (en)
Other versions
JP2020106766A (ja
JP2020106766A5 (ja
Inventor
陽 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2018248198A priority Critical patent/JP7293653B2/ja
Priority to PCT/JP2019/049914 priority patent/WO2020137829A1/ja
Priority to CN201980086269.7A priority patent/CN113228158B/zh
Publication of JP2020106766A publication Critical patent/JP2020106766A/ja
Priority to US17/355,574 priority patent/US20210319775A1/en
Publication of JP2020106766A5 publication Critical patent/JP2020106766A5/ja
Application granted granted Critical
Publication of JP7293653B2 publication Critical patent/JP7293653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325—Musical pitch modification
    • G10H2210/331—Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325—Musical pitch modification
    • G10H2210/331—Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • G10H2210/335—Chord correction, i.e. modifying one or several notes within a chord, e.g. to correct wrong fingering or to improve harmony

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Description

本開示は、利用者による演奏を支援する技術に関する。
電子鍵盤楽器等の電子楽器の演奏を支援する各種の技術が従来から提案されている。例えば特許文献１には、利用者が電子楽器により演奏した音高を、楽曲内のコードに対応する音高に補正する技術が開示されている。具体的には、楽曲内の再生位置が小節単位で進行し、利用者が演奏した音高が、当該小節について指定されたコードに対応する音高（例えばコードの構成音の音高）に補正される。
特開２００４－２０６０７３号公報
しかし、特許文献１の技術のもとでは、演奏者による演奏位置が楽曲内の再生位置から乖離した場合に、利用者が演奏した音高を適切な音高に補正できない可能性がある。また、楽曲にはコードの構成音以外の音高も含まれ得るから、コードの構成音に補正する特許文献１の技術では、利用者が演奏した音高を適切な音高に補正できない可能性もある。以上の事情を考慮して、本開示は、利用者が演奏した音高を適切に補正することを目的とする。
以上の課題を解決するために、本開示のひとつの態様に係る演奏補正方法は、利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定し、前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正する。
本開示のひとつの態様に係る演奏補正装置は、利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定する演奏解析部と、前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正する音高補正部とを具備する。
第１実施形態に係る演奏補正装置の構成を例示するブロック図である。 演奏データおよび楽曲データの説明図である。 演奏補正装置の機能的な構成を例示するブロック図である。 音高補正処理の説明図である。 音高補正処理の具体的な手順を例示するフローチャートである。 演奏補正装置の動作の具体的な手順を例示するフローチャートである。 第２実施形態における音高補正処理の具体的な手順を例示するフローチャートである。
＜第１実施形態＞
図１は、本開示の第１実施形態に係る演奏補正装置１００の構成を例示するブロック図である。演奏補正装置１００は、利用者Ｕによる楽曲の演奏を補正する演奏支援システムである。演奏補正装置１００は、制御装置１１と記憶装置１２と入力装置１３と音源装置１４と放音装置１５とを具備するコンピュータシステムで実現される。演奏補正装置１００は、例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末である。
第１実施形態の演奏補正装置１００には演奏装置１６が接続される。演奏装置１６は、利用者Ｕが楽曲の演奏に使用する入力機器である。演奏装置１６は、例えば利用者Ｕが操作する複数の鍵が配列された鍵盤楽器型の電子楽器である。演奏装置１６は、例えばＭＩＤＩ（Musical Instrument Digital Interface）楽器である。演奏装置１６は、利用者Ｕによる楽曲の演奏を表す演奏データＥ1を演奏補正装置１００に供給する。なお、演奏補正装置１００と演奏装置１６とを一体に構成してもよい。また、演奏補正装置１００と演奏装置１６との接続の方式は有線および無線の何れでもよい。
図２は、演奏データＥ1、演奏データＥ2および楽曲データＤの説明図である。演奏データＥ1は、演奏装置１６を使用して利用者Ｕが演奏した音高（以下「演奏音高」という）Ｘの時系列を表すデータである。演奏データＥ1は、例えば演奏音高Ｘと演奏強度とを音符毎に指定するＭＩＤＩデータである。演奏データＥ2は、演奏データＥ1が表す演奏音高Ｘを補正した音高（以下「補正音高」という）Ｚの時系列を表すデータである。演奏データＥ2は、例えば補正音高Ｚと演奏強度とを音符毎に指定するＭＩＤＩデータである。楽曲データＤは、楽曲を構成する各音符の音高（以下「参照音高」という）Ｙの時系列を指定する。楽曲データＤは、利用者Ｕによる演奏内容を規定する楽譜を表す楽譜データとも換言される。楽曲データＤは、例えば参照音高Ｙと演奏強度とを音符毎に指定するＭＩＤＩデータである。
図１の制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、演奏補正装置１００の各要素を制御する。第１実施形態の制御装置１１は、演奏装置１６から供給される演奏データＥ1を補正することで演奏データＥ2を生成する。
記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリである。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、記憶装置１２は、複数種の記録媒体の組合せにより構成されてもよい。また、記憶装置１２は、演奏補正装置１００に対して着脱可能な可搬型の記録媒体、または演奏補正装置１００が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）としてもよい。記憶装置１２は、利用者Ｕが演奏する楽曲の楽曲データＤを記憶する。
入力装置１３は、利用者Ｕからの指示を受付ける。入力装置１３は、例えば利用者Ｕが操作する複数の操作子、または利用者Ｕによる接触を検知するタッチパネルである。また、入力装置１３は、音声入力が可能な収音装置でもよい。利用者Ｕは、入力装置１３を適宜に操作することで、演奏音高Ｘに対する補正の度合を示す数値（以下「調整値」という）Ｑを指示することが可能である。すなわち、調整値Ｑは、利用者Ｕからの指示に応じた可変値である。
音源装置１４は、制御装置１１が生成する演奏データＥ2に応じた音響信号Ａを生成する。音響信号Ａは、演奏データＥ2が指定する補正音高Ｚの時系列に対応した音響の波形を表す時間信号である。なお、音源装置１４は、制御装置１１がプログラムを実行することで実現されるソフトウェア音源で実現してもよい。放音装置１５は、音源装置１４が生成した音響信号Ａが表す音響を再生する。放音装置１５は、例えばスピーカまたはヘッドホンである。なお、演奏装置１００は、音源装置１４が生成した音響信号Ａをデジタルからアナログに変換するＤ/Ａ変換器、および、音響信号Ａを増幅する増幅器を備えてもよい。また、音源装置１４および放音装置１５は、演奏補正装置１００の外部に別装置として設置してもよい。例えば、音源装置１４および放音装置１５は、演奏補正装置１００に有線または無線で接続してもよい。
図３は、演奏補正装置１００の機能を説明するブロック図である。演奏補正装置１００の機能は、制御装置１１が記憶装置１２に記憶されたプログラムを実行することで実現される。演奏補正装置１００は、演奏解析部２１と音高補正部２２と含む。なお、制御装置１１は、相互に別体で構成された複数の装置により実現してもよい。演奏補正装置１００の機能の一部または全部を専用の電子回路により実現してもよい。
＜演奏解析部２１＞
演奏解析部２１は、演奏データＥ1を解析することで楽曲内の演奏位置Ｐを推定する。演奏位置Ｐは、楽曲内において利用者Ｕが現に演奏している時点である。演奏位置Ｐの推定は、利用者Ｕによる楽曲の演奏に並行して反復される。したがって、演奏解析部２１が推定する演奏位置Ｐは、時間の経過とともに楽曲内の後方に移動する。
演奏解析部２１は、楽曲内における時間軸上の複数の時点ｓの各々について尤度Ｌ(s)を算定する。任意の１個の時点ｓにおける尤度Ｌ(s)は、利用者Ｕが楽曲内の時点ｓを演奏している確度の指標である。演奏解析部２１は、演奏位置Ｐが時間的に連続するという条件のもとで尤度Ｌ(s)が高い時点ｓを演奏位置Ｐとして推定する。演奏位置Ｐの推定には、例えば特開２０１５－７９１８３号公報に記載された技術が利用される。
尤度Ｌ(s)は、例えば以下の数式(1)で表現される。
Ｌ(s)＝Σn,n'｛ｙ(s,n')ｐ(n',n)ｘ(n)｝ …(1)
数式(1)の記号ｎおよび記号ｎ'の各々は、演奏装置１６により演奏可能なＮ個の音高の何れかを意味する。数式(1)の変数ｙ(s,n')は、楽曲データＤが表す楽曲内において時点ｓで音高ｎ'が演奏される場合に数値１に設定され、音高ｎ'が演奏されない場合に数値０に設定される。すなわち、相異なる音高に対応するＮ個の変数ｙ(s,1)～ｙ(s,N)の系列は、楽曲データＤが時点ｓについて指定する演奏の内容を表すＮ次元ベクトルである。
数式(1)の変数ｘ(n)は、現時点において利用者Ｕが音高ｎを演奏している場合に数値１に設定され、利用者Ｕが音高ｎを演奏していない場合に数値０に設定される。すなわち、相異なる音高に対応するＮ個の変数ｘ(1)～ｘ(N)の系列は、現時点における利用者Ｕによる演奏の内容（具体的には押鍵状態）を表すＮ次元ベクトルである。
数式(1)の変数ｐ(n',n)は、楽曲内において本来ならば音高ｎ'（第１音高の例示）を演奏すべき箇所において利用者Ｕが間違えて音高ｎ（第２音高の例示）を演奏する確率である。確率ｐ(n',n)は、Ｎ個の音高から任意の２個の音高ｎ'および音高ｎを選択する複数の組合せの各々について、多数の演奏者による演奏の結果を統計処理することで設定される。確率ｐ(n',n)は、楽曲内の音高ｎ'を演奏すべき箇所で実際には音高ｎが演奏される頻度が高いほど大きい、という傾向がある。
数式(1)の尤度Ｌ(s)は、楽曲データＤに対応するＮ個の変数ｙ(s,1)～ｙ(s,N)の系列と、利用者Ｕによる実際の演奏を表すＮ個の変数ｘ(1)～ｘ(N)の系列とが類似するほど大きい数値となる。また、演奏解析部２１は、音高ｎ'の代わりに音高ｎが演奏される確率ｐ(n',n)を尤度Ｌ(s)の算定に加味する。したがって、演奏解析部２１は、利用者Ｕが演奏を間違えた場合でも、演奏位置Ｐを高精度に推定することが可能である。
＜音高補正部２２＞
音高補正部２２は、演奏データＥ1が表す演奏音高Ｘを補正する。図４は、音高補正部２２が演奏音高Ｘを補正する動作（以下「音高補正処理」という）の説明図である。候補期間Ｃは、演奏解析部２１が推定した演奏位置Ｐを含む所定長の期間である。候補期間Ｃは、例えば、演奏位置Ｐを中心として４分音符に相当する時間長の期間である。楽曲データＤが指定するＭ個の参照音高Ｙ(1)～Ｙ(M)が候補期間Ｃ内には存在する（Ｍは自然数）。候補期間Ｃ内の参照音高Ｙ(m)（ｍ＝１～Ｍ）の個数Ｍは、楽曲データＤが表す楽曲の内容と演奏位置Ｐとに応じて変動する。
図５は、音高補正処理の具体的な手順を例示するフローチャートである。利用者Ｕによる演奏装置１６の演奏に並行して音高補正処理が実行される。音高補正処理は、演奏音高Ｘ毎に順次に実行される。
音高補正処理を開始すると、音高補正部２２は、音高差を算出する。音高差は、参照音高Ｙ(m)と演奏音高Ｘとの差分|Ｙ(m)－Ｘ|である。音高補正部２２は、候補期間Ｃ内のＭ個の参照音高Ｙ(1)～Ｙ(M)のなかに、音高差が調整値Ｑを下回る参照音高Ｙ(m)が存在するか否かを判定する（Ｓa1）。
音高差が調整値Ｑを下回る参照音高Ｙ(m)が候補期間Ｃ内に存在する場合（Ｓa1：YES）、音高補正部２２は、演奏音高Ｘを当該参照音高Ｙ(m)に補正する（Ｓa2）。すなわち、演奏音高Ｘは、図４に例示される通り、当該演奏音高Ｘを中心として音高軸の方向に幅２Ｑにわたる範囲Δ内に存在する参照音高Ｙ(2)に置換される。音高補正部２２は、演奏音高Ｘの代わりに参照音高Ｙ(m)が補正音高Ｚとして設定された演奏データＥ2を音源装置１４に出力する。なお、複数の参照音高Ｙ(m)について音高差が調整値Ｑを下回る場合、音高補正部２２は、音高差が最小となる参照音高Ｙ(m)を補正音高Ｚとして設定する。
他方、音高差が調整値Ｑを下回る参照音高Ｙ(m)が候補期間Ｃ内に存在しない場合（Ｓa1：NO）、音高補正部２２は演奏音高Ｘを補正しない（Ｓa3）。すなわち、候補期間Ｃ内のＭ個の参照音高Ｙ(1)～Ｙ(M)の全部が範囲Δの外側に位置する場合、演奏音高Ｘは補正されない。音高補正部２２は、演奏音高Ｘが補正音高Ｚとして設定された演奏データＥ2を音源装置１４に出力する。
利用者Ｕからの指示に応じた調整値Ｑが大きいほど（すなわち範囲Δが広いほど）、演奏音高Ｘが参照音高Ｙ(m)に補正され易くなる。すなわち、調整値Ｑは、演奏音高Ｘに対する補正の度合（例えば補正の頻度）を決定するための係数に相当する。以上の構成によれば、例えば利用者Ｕによる演奏の習熟度に応じて演奏音高Ｘに対する補正の度合を調整することが可能である。例えば、利用者Ｕが演奏に不慣れな段階では、調整値Ｑを大きい数値に設定することで、演奏音高Ｘが補正され易い状態に設定される。他方、利用者Ｕが演奏に習熟した段階では、調整値Ｑを小さい数値に設定することで、演奏音高Ｘが補正され難い状態に設定される。
図６は、演奏補正装置１００が実行する動作の具体的な手順を例示するフローチャートである。演奏解析部２１は、演奏装置１６から供給される演奏データＥ1を解析することで楽曲内の演奏位置Ｐを推定する（Ｓb1）。音高補正部２２は、図５に例示した音高補正処理により、利用者Ｕが演奏した演奏音高Ｘを、演奏位置Ｐに対応するＭ個の参照音高Ｙ(1)～Ｙ(M)のうち演奏音高Ｘとの音高差が調整値Ｑを下回る参照音高Ｙ(m)に補正する（Ｓb2）。前述の通り、音高差が調整値Ｑを下回る参照音高Ｙ(m)が候補期間Ｃ内に存在しない場合、音高補正部２２は演奏音高Ｘを補正しない。音高補正部２２は、音高補正処理後の補正音高Ｚを表す演奏データＥ2を音源装置１４に出力する（Ｓb3）。したがって、候補期間Ｃ内の何れかの参照音高Ｙ(m)に近い演奏音高Ｘは当該参照音高Ｙ(m)に補正され、参照音高Ｙ(m)から乖離した演奏音高Ｘは当該音高に維持された演奏音が、放音装置１５から再生される。なお、図６の処理は所定の周期で反復されてもよい。
以上の説明の通り、利用者Ｕが演奏した演奏音高Ｘが、当該演奏から推定された演奏位置Ｐに対応するＭ個の参照音高Ｙ(1)～Ｙ(M)のうち、演奏音高Ｘとの音高差が調整値Ｑを下回る参照音高Ｙ(m)に補正される。したがって、演奏補正装置１００は、楽曲内において利用者Ｕによる演奏位置Ｐに対応し、かつ、当該楽曲内において演奏音高Ｘに近い適切な参照音高Ｙ(m)に、当該演奏音高Ｘを補正することが可能である。
＜第２実施形態＞
本開示の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。第２実施形態では、音高補正部２２が実行する音高補正処理の内容が第１実施形態とは相違する。演奏解析部２１による演奏位置Ｐの推定は第１実施形態と同様である。
図７は、第２実施形態における音高補正処理の具体的な手順を例示するフローチャートである。音高補正処理は、演奏音高Ｘ毎に順次に実行される。音高補正処理を開始すると、音高補正部２２は、以下の数式(2)で表現される指標Ｗを算定する（Ｓc1）。
Ｗ＝α|ｄ|＋|Ｙ(P+d,k)－Ｘ| …(2)
数式(2)の記号Ｙ(P+d,k)は、演奏位置Ｐから時間ｄだけ離間した時点(Ｐ＋ｄ)について楽曲データＤが指定するＫ個の参照音高Ｙ(s,1)～Ｙ(s,K)の何れかを意味する（ｋ＝１～Ｋ）。記号Ｋは、楽曲内の時点(Ｐ＋ｄ)において並列に演奏される参照音高Ｙの個数（例えば和音を構成する音符の総数）を意味する可変値である。時間ｄは、任意の数値（正数、負数、またはゼロ）である。数式(2)の係数αは、所定の正数（例えば１以上の正数）に設定される。
数式(2)における右辺の第１項から理解される通り、演奏位置Ｐからの時間ｄが小さい参照音高Ｙ(P+d,k)ほど指標Ｗは小さい数値となる。また、数式(2)における右辺の第２項から理解される通り、演奏音高Ｘとの音高差|Ｙ(P+d,k)－Ｘ|が小さい参照音高Ｙ(P+d,k)ほど指標Ｗは小さい数値となる。音高補正部２２は、以上に説明した指標Ｗを最小化させる時間ｄおよび変数ｋの組合せを探索する（Ｓc2）。すなわち、音高補正部２２は、演奏位置Ｐから時間軸上で近く（すなわち時間ｄが小さく）、かつ、演奏音高Ｘに近い１個の参照音高（以下「選択参照音高」という）Ｙ(P+d,k)を選択する。係数αが大きいほど、指標Ｗに対する時間ｄの影響が増大するから、時間ｄが大きい参照音高Ｙ(P+d,k)は選択され難くなる。すなわち、係数αは時間ｄに対する加重値である。なお、係数αをゼロに設定した構成が、第１実施形態に相当する。
音高補正部２２は、演奏音高Ｘと選択参照音高Ｙ(P+d,k)との音高差が調整値Ｑを下回るか否かを判定する（Ｓc3）。音高差は|Ｙ(P+d,k)－Ｘ|で求めることができる。第１実施形態と同様に、調整値Ｑは利用者Ｕからの指示に応じた可変値である。音高差が調整値Ｑを下回る場合（Ｓc3：YES）、音高補正部２２は、演奏音高Ｘを選択参照音高Ｙ(P+d,k)に補正する（Ｓc4）。すなわち、音高補正部２２は、演奏音高Ｘの代わりに選択参照音高Ｙ(P+d,k)が補正音高Ｚとして設定された演奏データＥ2を音源装置１４に出力する。他方、音高差が調整値Ｑを上回る場合（Ｓc3：NO）、音高補正部２２は演奏音高Ｘを補正しない（Ｓc5）。すなわち、音高補正部２２は、演奏音高Ｘが補正音高Ｚとして設定された演奏データＥ2を音源装置１４に出力する。
以上の説明から理解される通り、第２実施形態では、楽曲内において時間軸上で演奏位置Ｐに近く、かつ、当該演奏音高Ｘとの音高差が調整値Ｑを下回る選択参照音高Ｙ(P+d,k)に、当該演奏音高Ｘが補正される。すなわち、演奏補正装置１００は、利用者Ｕが演奏した演奏音高Ｘを、演奏位置Ｐに時間軸上で近く、かつ、当該演奏音高Ｘとの音高差が小さい適切な参照音高Ｙに、補正することが可能である。
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）第１実施形態では、複数の参照音高Ｙ(m)について音高差が調整値Ｑを下回る場合に、音高差が最小となる参照音高Ｙ(m)を補正音高Ｚとして設定したが、複数の参照音高Ｙ(m)のうち補正音高Ｚとして設定される参照音高Ｙ(m)を選択する方法は以上の例示に限定されない。例えば、２個の音高間で演奏ミスが発生する頻度を集計した結果に応じて、複数の参照音高Ｙ(m)のうち補正音高Ｚとして設定される参照音高Ｙ(m)を選択してもよい。具体的には、相異なる２個の音高間で演奏ミスが発生する頻度の指標（以下「演奏ミス指標」という）を音高の組合せ毎に事前に集計する。音高補正部２２は、音高差が調整値Ｑを下回る複数の参照音高Ｙ(m)のうち、演奏ミス指標が最大である１個の参照音高Ｙ(m)を、補正音高Ｚとして選択する。以上の構成によれば、演奏ミスが発生し易い音高の組合せに係る演奏音高Ｘを優先的に補正することが可能である。
（２）前述の各形態では、楽曲の全体について演奏音高Ｘを補正したが、楽曲内の特定の期間について限定的に演奏音高Ｘを補正してもよい。
（３）前述の各形態では、鍵盤楽器型の演奏装置１６を例示したが、演奏装置１６の具体的な形態は任意である。例えば管楽器型または弦楽器型の演奏装置１６を利用してもよい。
（４）携帯電話機またはスマートフォン等の情報端末との間で通信するサーバ装置により演奏補正装置１００を実現してもよい。例えば、演奏補正装置１００は、演奏装置１６が接続された情報端末から演奏データＥ1を受信し、当該演奏データＥ1から演奏データＥ2を生成して端末装置に送信する。
（５）前述の各形態に係る演奏補正装置１００は、各形態での例示の通り、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
（６）以上に例示した形態から、例えば以下の構成が把握される。
本開示のひとつの態様（第１態様）に係る演奏補正方法は、利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定し、前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正する。以上の態様によれば、利用者が演奏した演奏音高が、当該演奏から推定された演奏位置に対応する複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正される。したがって、楽曲内において利用者による演奏位置に対応し、かつ、当該楽曲内において演奏音高に近い適切な参照音高に、演奏音高を補正することが可能である。
第１態様の例（第２態様）において、前記演奏音高の補正では、前記楽曲内において前記演奏位置を含む候補期間内の複数の参照音高のうち前記演奏音高との差分が前記所定値を下回る参照音高に、当該演奏音高を補正する。以上の態様によれば、利用者が演奏した演奏音高を、演奏位置を含む候補期間内において演奏音高との音高差が小さい適切な参照音高に補正することが可能である。
第１態様の例（第３態様）において、前記演奏音高の補正では、前記楽曲内において時間軸上で前記演奏位置に近く、かつ、当該演奏音高との差分が所定値を下回る参照音高に、当該演奏音高を補正する。以上の態様によれば、利用者が演奏した演奏音高を、演奏位置に時間軸上で近く、かつ、演奏音高との音高差が小さい適切な参照音高に、補正することが可能である。
第１態様から第３態様の何れかの例（第４態様）において、前記所定値は、利用者からの指示に応じた可変値である。以上の態様によれば、参照音高と演奏音高との差分と比較される所定値が利用者からの指示に応じた可変値であるから、例えば利用者の演奏の習熟度に応じて演奏音高の補正の度合（例えば頻度）を調整することが可能である。
第１態様から第４態様の何れかの例（第５態様）において、前記演奏位置の推定では、第１音高と第２音高との複数の組合せの各々について前記第１音高を第２音高に間違えて演奏する確率を利用して、前記演奏位置を推定する。以上の態様では、第１音高を第２音高に間違えて演奏する確率が演奏位置の推定に利用されるから、利用者が演奏を間違えた場合でも、楽曲内の演奏位置を高精度に推定できる。
第１態様から第５態様の何れかの例（第６態様）において、前記演奏データが表す演奏音高と前記楽曲内において前記演奏位置に対応する複数の参照音高の各々との差分が前記所定値を上回る場合には、当該演奏音高を補正しない。以上の態様では、演奏音高と複数の参照音高の各々との差分が所定値を上回る場合に演奏音高が補正されないから、利用者が演奏した演奏音高を適度に維持することが可能である。
以上に例示した各態様の音響解析方法を実行する音響解析装置、または、以上に例示した各態様の音響解析方法をコンピュータに実行させるプログラムとしても、本開示の好適な態様は実現される。
１００…演奏補正装置、１１…制御装置、１２…記憶装置、１３…入力装置、１４…音源装置、１５…放音装置、１６…演奏装置、２１…演奏解析部、２２…音高補正部。

Claims (6)

  1. 利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定し、
    前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置を含む候補期間内の複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正し、
    前記候補期間内には、前記楽曲の内容と当該楽曲内の前記演奏位置とに応じた可変の個数の参照音高が存在する
    コンピュータにより実現される演奏補正方法。
  2. 利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定し、
    前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正し、
    前記演奏音高の補正においては、
    前記演奏位置に対する時間差と、前記楽曲内において前記演奏位置から前記時間差だけ離間した時点に存在する可変の個数の参照音高のうちの何れかとに応じた指標が最小化されるように前記時間差と前記参照音高との組合せを探索することで、前記楽曲内において時間軸上で前記演奏位置に近く、かつ、当該演奏音高に近い参照音高を選択し、前記演奏音高を当該参照音高に補正する
    コンピュータにより実現される演奏補正方法。
  3. 利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定する演奏解析部と、
    前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置を含む候補期間内の複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正する音高補正部とを具備し、
    前記候補期間内には、前記楽曲の内容と当該楽曲内の前記演奏位置とに応じた可変の個数の参照音高が存在する
    演奏補正装置。
  4. 利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定する演奏解析部と、
    前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正する音高補正部とを具備し、
    前記音高補正部は、
    前記演奏位置に対する時間差と、前記楽曲内において前記演奏位置から前記時間差だけ離間した時点に存在する可変の個数の参照音高のうちの何れかとに応じた指標が最小化されるように前記時間差と前記参照音高との組合せを探索することで、前記楽曲内において時間軸上で前記演奏位置に近く、かつ、当該演奏音高に近い参照音高を選択し、前記演奏音高を当該参照音高に補正する
    演奏補正装置。
  5. 利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定する演奏解析部、および、
    前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置を含む候補期間内の複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正する音高補正部、としてコンピュータを機能させるプログラムであって、
    前記候補期間内には、前記楽曲の内容と当該楽曲内の前記演奏位置とに応じた可変の個数の参照音高が存在する
    プログラム。
  6. 利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定する演奏解析部、および、
    前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正する音高補正部、としてコンピュータを機能させるプログラムであって、
    前記音高補正部は、
    前記演奏位置に対する時間差と、前記楽曲内において前記演奏位置から前記時間差だけ離間した時点に存在する可変の個数の参照音高のうちの何れかとに応じた指標が最小化されるように前記時間差と前記参照音高との組合せを探索することで、前記楽曲内において時間軸上で前記演奏位置に近く、かつ、当該演奏音高に近い参照音高を選択し、前記演奏音高を当該参照音高に補正する
    プログラム。
JP2018248198A 2018-12-28 2018-12-28 演奏補正方法、演奏補正装置およびプログラム Active JP7293653B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018248198A JP7293653B2 (ja) 2018-12-28 2018-12-28 演奏補正方法、演奏補正装置およびプログラム
PCT/JP2019/049914 WO2020137829A1 (ja) 2018-12-28 2019-12-19 演奏補正方法および演奏補正装置
CN201980086269.7A CN113228158B (zh) 2018-12-28 2019-12-19 演奏校正方法及演奏校正装置
US17/355,574 US20210319775A1 (en) 2018-12-28 2021-06-23 Musical performance correction method and musical performance correction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018248198A JP7293653B2 (ja) 2018-12-28 2018-12-28 演奏補正方法、演奏補正装置およびプログラム

Publications (3)

Publication Number Publication Date
JP2020106766A JP2020106766A (ja) 2020-07-09
JP2020106766A5 JP2020106766A5 (ja) 2021-12-09
JP7293653B2 true JP7293653B2 (ja) 2023-06-20

Family

ID=71127825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018248198A Active JP7293653B2 (ja) 2018-12-28 2018-12-28 演奏補正方法、演奏補正装置およびプログラム

Country Status (4)

Country Link
US (1) US20210319775A1 (ja)
JP (1) JP7293653B2 (ja)
CN (1) CN113228158B (ja)
WO (1) WO2020137829A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6737300B2 (ja) * 2018-03-20 2020-08-05 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187485A (ja) 1998-12-22 2000-07-04 Yamaha Corp 楽音生成装置、楽音生成方法および記録媒体
JP2004206073A (ja) 2002-09-04 2004-07-22 Yamaha Corp 演奏補助装置、入力音変換装置及びそれらのプログラム
JP2007241181A (ja) 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP2014191331A (ja) 2013-03-28 2014-10-06 Xing Inc 楽器音出力装置及び楽器音出力プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744184A (ja) * 1993-07-30 1995-02-14 Kanaasu Data Kk 音程矯正装置
JP4882980B2 (ja) * 2007-11-27 2012-02-22 ブラザー工業株式会社 楽曲検索装置及びプログラム
JP5360510B2 (ja) * 2011-09-22 2013-12-04 カシオ計算機株式会社 演奏評価装置およびプログラム
JP5704368B2 (ja) * 2013-06-14 2015-04-22 ブラザー工業株式会社 楽音演奏装置及び楽音演奏処理プログラム
JP5807754B2 (ja) * 2013-06-14 2015-11-10 ブラザー工業株式会社 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP2015034923A (ja) * 2013-08-09 2015-02-19 ヤマハ株式会社 音高補正装置
JP6171711B2 (ja) * 2013-08-09 2017-08-02 ヤマハ株式会社 音声解析装置および音声解析方法
JP6561499B2 (ja) * 2015-03-05 2019-08-21 ヤマハ株式会社 音声合成装置および音声合成方法
JP6701864B2 (ja) * 2016-03-25 2020-05-27 ヤマハ株式会社 音評価装置および音評価方法
CN108231048B (zh) * 2017-12-05 2021-09-28 北京小唱科技有限公司 修正音频节奏的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187485A (ja) 1998-12-22 2000-07-04 Yamaha Corp 楽音生成装置、楽音生成方法および記録媒体
JP2004206073A (ja) 2002-09-04 2004-07-22 Yamaha Corp 演奏補助装置、入力音変換装置及びそれらのプログラム
JP2007241181A (ja) 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP2014191331A (ja) 2013-03-28 2014-10-06 Xing Inc 楽器音出力装置及び楽器音出力プログラム

Also Published As

Publication number Publication date
JP2020106766A (ja) 2020-07-09
CN113228158A (zh) 2021-08-06
US20210319775A1 (en) 2021-10-14
WO2020137829A1 (ja) 2020-07-02
CN113228158B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
US7189912B2 (en) Method and apparatus for tracking musical score
JP4672613B2 (ja) テンポ検出装置及びテンポ検出用コンピュータプログラム
US9245508B2 (en) Music piece order determination device, music piece order determination method, and music piece order determination program
JP7293653B2 (ja) 演奏補正方法、演奏補正装置およびプログラム
US10298192B2 (en) Sound processing device and sound processing method
US9087503B2 (en) Sampling device and sampling method
JP6281211B2 (ja) 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム
JP2012220593A (ja) 楽音生成装置および楽音生成プログラム
US20210350783A1 (en) Sound signal synthesis method, neural network training method, and sound synthesizer
JP2022123072A (ja) 情報処理方法
JP6601109B2 (ja) 楽器類識別装置
JP7147384B2 (ja) 情報処理方法および情報処理装置
JP7375302B2 (ja) 音響解析方法、音響解析装置およびプログラム
JP6604307B2 (ja) コード検出装置、コード検出プログラムおよびコード検出方法
JP6149890B2 (ja) 楽音生成装置および楽音生成プログラム
JP2019164282A (ja) 演奏解析方法および演奏解析装置
WO2022176506A1 (ja) 情報処理システム、電子楽器、情報処理方法、および学習済モデルの生成方法
JP7184218B1 (ja) 音響機器および該音響機器のパラメータ出力方法
JP2009258238A (ja) 楽音合成装置およびプログラム
US20220101820A1 (en) Signal Processing Device, Stringed Instrument, Signal Processing Method, and Program
JP6102975B2 (ja) 楽音生成装置、楽音生成プログラム及び電子楽器
JP2024077977A (ja) プログラム
JP2017078829A (ja) 演奏解析装置
CN113744760A (zh) 一种音高识别方法、装置、电子设备及存储介质
JP4760348B2 (ja) 楽曲選択装置および楽曲選択用コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230310

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230320

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R151 Written notification of patent or utility model registration

Ref document number: 7293653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151