JP5569307B2 - プログラム、及び編集装置 - Google Patents
プログラム、及び編集装置 Download PDFInfo
- Publication number
- JP5569307B2 JP5569307B2 JP2010221039A JP2010221039A JP5569307B2 JP 5569307 B2 JP5569307 B2 JP 5569307B2 JP 2010221039 A JP2010221039 A JP 2010221039A JP 2010221039 A JP2010221039 A JP 2010221039A JP 5569307 B2 JP5569307 B2 JP 5569307B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- musical
- waveform
- procedure
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 130
- 238000001228 spectrum Methods 0.000 claims description 55
- 230000008859 change Effects 0.000 claims description 43
- 238000012937 correction Methods 0.000 claims description 41
- 238000000926 separation method Methods 0.000 claims description 41
- 238000009795 derivation Methods 0.000 claims description 17
- 238000013518 transcription Methods 0.000 claims description 7
- 230000035897 transcription Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 description 38
- 239000011295 pitch Substances 0.000 description 19
- 238000012545 processing Methods 0.000 description 16
- 101100154789 Mus musculus Tulp4 gene Proteins 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 238000002054 transplantation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Description
また、本発明のプログラムにおける音源分離手順は、出力音取得手順と、補正量導出手順と、修正手順と、楽音解析手順と、修正音取得手順と、修正音解析手順と、振幅比率導出手順と、区間波形導出手順と、分離実行手順とをコンピュータに実行させる。
このうち、出力音取得手順では、採譜手順で生成された対象楽譜データに基づいて、全ての出力音が時間軸に沿って推移した波形(以下、出力音波形とする)を取得する。続く、補正量導出手順では、楽音波形の特性を表す楽音情報と、出力音波形の特性を表す出力音情報とを、楽音情報と出力音情報とが一致するように照合した結果に基づき、出力音の音高及び出力タイミングについて、対象楽譜データの補正量を導出する。
そして、修正手順では、その導出した補正量に従って、出力音を補正することで修正出力音へと修正した対象楽譜データである修正楽譜データを生成し、楽音解析手順では、楽音波形取得手順で取得した楽音波形に含まれる周波数と各周波数における強度とを表す楽音振幅スペクトルを、対象楽曲に時間軸に沿って単位時間毎に導出する。
さらに、修正音取得手順では、修正手順で生成された修正楽譜データにおける楽譜トラックの一つに規定された修正出力音が、修正楽譜データにおける時間軸に沿って推移した波形である修正音波形を取得する。続く、修正音解析手順では、その取得した修正音波形に含まれる周波数と各周波数における強度とを表す修正音振幅スペクトルを、修正楽譜データの時間軸に沿って単位時間毎に導出する。そして、振幅比率導出手順では、楽音振幅スペクトルでの周波数における強度と、修正音振幅スペクトルでの周波数における強度との比を表す振幅比率を、各周波数について導出する。
さらには、区間波形導出手順にて、振幅比率導出手順で導出された振幅比率それぞれを、楽音振幅スペクトルでの各周波数における強度に乗じた結果である分離スペクトルから、時間軸に沿った音の波形である区間波形を導出する。その後、分離実行手順にて、区間波形を対象楽曲の時間軸に沿って配することで、楽器音波形を生成する。
すなわち、本発明のプログラムによれば、対象楽曲の音色を可能な限り保持しつつも、楽曲の印象を編集前の楽曲から変更した音楽を生成(編集)することができる。
また、本発明のプログラムにおいて、楽音分類手順は、該楽音の音高、音長、及び強さの組合せ毎に、単音波形を分類することで、楽音分類情報を生成しても良い。
なお、本発明は、音楽(楽曲)を編集する編集装置としてなされたものでも良い。
しかも、音源分離手段は、出力音取得手段と、補正量導出手段と、修正手段と、楽音解析手段と、修正音取得手段と、修正音解析手段と、振幅比率導出手段と、区間波形導出手段と、分離実行手段とを備えている。
出力音取得手段では、採譜手段で生成された対象楽譜データに基づいて、全ての出力音が時間軸に沿って推移した波形である出力音波形を取得する。補正量導出手段では、楽音波形取得手段にて取得した楽音波形の特性を表す楽音情報と、出力音取得手段にて取得した出力音波形の特性を表す出力音情報とを、楽音情報と出力音情報とが一致するように照合した結果に基づき、出力音の音高及び出力タイミングについて、対象楽譜データの補正量を導出する。さらに、修正手段では、補正量導出手段にて導出した補正量に従って、出力音を補正することで修正出力音へと修正した対象楽譜データである修正楽譜データを生成する。
また、楽音解析手段では、楽音波形取得手段で取得した楽音波形に含まれる周波数と各周波数における強度とを表す楽音振幅スペクトルを、対象楽曲に時間軸に沿って単位時間毎に導出する。修正音取得手段では、修正手段で生成された修正楽譜データにおける楽譜トラックの一つに規定された修正出力音が、修正楽譜データにおける時間軸に沿って推移した波形である修正音波形を取得する。修正音解析手段では、修正音取得手段で取得した修正音波形に含まれる周波数と各周波数における強度とを表す修正音振幅スペクトルを、修正楽譜データの時間軸に沿って単位時間毎に導出する。振幅比率導出手段では、楽音解析手段で導出された楽音振幅スペクトルでの周波数における強度と、修正音解析手段で導出された修正音振幅スペクトルでの周波数における強度との比を表す振幅比率を、各周波数について導出する。区間波形導出手段では、振幅比率導出手段で導出された振幅比率それぞれを、楽音振幅スペクトルでの各周波数における強度に乗じた結果である分離スペクトルから、時間軸に沿った音の波形である区間波形を導出する。分離実行手段では、区間波形導出手段にて導出した区間波形を対象楽曲の時間軸に沿って配することで、楽器音波形を生成する。
〈編集装置の構成について〉
本発明が適用された編集装置は、予め生成された1つの楽曲である対象楽曲Aを編集するものである。具体的には、本実施形態の編集装置は、対象楽曲Aに対応する音響データ、及び対象楽曲Aとは別の楽曲として予め生成された特定楽曲Bに対応する楽譜データに基づき、対象楽曲Aにおける一部の楽音を、特定楽曲Bにおける一部の楽音へと変更するように編集し、編集楽曲A'に対応する楽譜データ及び音響データを生成する装置である。
〈音楽編集処理の処理内容について〉
次に、制御部20が実行する音楽編集処理の処理内容について説明する。
そして、音楽編集処理は、起動されると、図2に示すように、音響データ読取部12にて対象楽曲Aに対応する音響データを読み取ることで、対象楽曲Aの楽音波形を取得する(S110)。
さらに、対象楽曲Aの楽音波形を、対象楽曲Aにて用いられている音源毎に分離して、各音源からの楽音が時間軸に沿って推移した波形である楽器音波形を生成する音源分離処理を実行する(S130)。
〈音源分離処理の処理内容について〉
次に、制御部20が実行する音源分離処理について説明する。
そして、S310にて取得した楽譜データと、先のS110にて取得した楽音波形とに基づいて、対象楽曲Aを構成する楽音の音高に、演奏音の音高が一致するように、周波数軸方向に沿って当該楽譜データを修正する音高補正処理を実行する(S320)。具体的に、本実施形態のS320では、対象楽曲Aを構成する楽音のパワースペクトルを楽音情報とし、対象楽曲Aの演奏音のパワースペクトルを出力音情報として、それらのパワースペクトルが周波数軸に沿って一致する補正量を導出した上で、対象楽曲Aの楽譜データを修正する。
さらに、音高補正処理によって、楽音の音高に音高が一致するように修正した修正演奏音の出力タイミングが、対象楽曲Aの楽音の演奏開始タイミングに一致するように、時間軸方向に沿って修正楽譜データを修正する時間補正処理を実行する(S330)。具体的に、本実施形態のS330では、対象楽曲Aを構成する楽音の非調波成分における振幅ピークを楽音情報とし、対象楽曲Aの演奏音の非調波成分における振幅ピークを出力音情報として、それらの非調波成分における振幅ピークが時間軸に沿って一致する補正量を導出した上で、対象楽曲Aの楽譜データを修正する。
〈トラック分離処理の処理内容について〉
次に、音源分離処理のS350にて起動されるトラック分離処理について説明する。
[実施形態の効果]
以上説明したように、本実施形態の編集装置1によれば、対象楽曲Aにて用いられる音源にて演奏された楽音の一部を、特定楽曲Bの予め規定された楽音へと変更することができる。したがって、本実施形態の編集装置1によれば、聴取者による対象楽曲Aの聴感上の印象を、変更前の楽音の波形での曲の印象から、楽音の波形が変更された後の曲の印象へと、変えることができる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
[実施形態と特許請求の範囲との対応関係]
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
Claims (5)
- 楽曲の一つである対象楽曲を構成する1つ1つの音である楽音が時間軸に沿って推移した波形である楽音波形を取得する楽音波形取得手順と、
楽曲にて用いられる音源である楽曲音源毎に出力される個々の出力音について、少なくとも音高及び出力タイミングが規定された楽譜トラックを備えるデータを楽譜データとし、前記楽音波形取得手順で取得した楽音波形を採譜することで、前記対象楽曲の楽譜データである対象楽譜データを生成する採譜手順と、
前記楽音波形取得手順で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形である楽器音波形に分離する音源分離手順と、
前記採譜手順で生成された対象楽譜データ、及び前記音源分離手順で分離した楽器音波形に基づいて、各楽音に対応する前記楽器音波形での、時間軸上の個々の音符に対応する区間である単音波形を、対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、前記音源の種類と対応付けて生成する楽音分類手順と、
前記対象楽曲とは異なる楽曲である特定楽曲の楽譜データである特定楽譜データを取得し、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、前記採譜手順で生成した対象楽譜データに含まれるものから、前記特定楽譜データに含まれるものへと変更した楽譜トラックである変更楽譜トラックを生成する楽譜編集手順と、
前記変更楽譜トラックに対応する前記音源の種類の中で、前記変更楽譜トラックで規定された出力音に対しては、前記楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、前記特定音が時間軸に沿って推移した波形である特定音波形を生成する波形変更手順と
をコンピュータに実行させ、
さらに、前記音源分離手順は、
前記採譜手順で生成された対象楽譜データに基づいて、全ての出力音が時間軸に沿って推移した波形である出力音波形を取得する出力音取得手順と、
前記楽音波形取得手順にて取得した楽音波形の特性を表す楽音情報と、前記出力音取得手順にて取得した出力音波形の特性を表す出力音情報とを、前記楽音情報と前記出力音情報とが一致するように照合した結果に基づき、前記出力音の音高及び出力タイミングについて、前記対象楽譜データの補正量を導出する補正量導出手順と、
前記補正量導出手順にて導出した補正量に従って、前記出力音を補正することで修正出力音へと修正した前記対象楽譜データである修正楽譜データを生成する修正手順と、
前記楽音波形取得手順で取得した楽音波形に含まれる周波数と各周波数における強度とを表す楽音振幅スペクトルを、前記対象楽曲に時間軸に沿って単位時間毎に導出する楽音解析手順と、
前記修正手順で生成された修正楽譜データにおける楽譜トラックの一つに規定された前記修正出力音が、前記修正楽譜データにおける時間軸に沿って推移した波形である修正音波形を取得する修正音取得手順と、
前記修正音取得手順で取得した修正音波形に含まれる周波数と各周波数における強度とを表す修正音振幅スペクトルを、前記修正楽譜データの時間軸に沿って単位時間毎に導出する修正音解析手順と、
前記楽音解析手順で導出された楽音振幅スペクトルでの周波数における強度と、前記修正音解析手順で導出された修正音振幅スペクトルでの周波数における強度との比を表す振幅比率を、各周波数について導出する振幅比率導出手順と、
前記振幅比率導出手順で導出された振幅比率それぞれを、前記楽音振幅スペクトルでの各周波数における強度に乗じた結果である分離スペクトルから、時間軸に沿った音の波形である区間波形を導出する区間波形導出手順と、
前記区間波形導出手順にて導出した区間波形を前記対象楽曲の時間軸に沿って配することで、前記楽器音波形を生成する分離実行手順とを
コンピュータに実行させることを特徴とするプログラム。 - 前記楽譜編集手順は、
前記変更楽譜トラックを生成するときに、前記対象楽譜データにおける楽譜トラックから、変更した変更点を表す変更点情報を、前記変更楽譜トラックの一部として生成し、
前記波形変更手順は、
前記楽譜編集手順で生成された変更点情報によって表された変更点を、変更対象とする楽譜トラックに対応する楽器音波形に反映することで、前記特定音波形を生成する
ことを特徴とする請求項1に記載のプログラム。 - 前記楽音分類手順は、
音源毎に予め用意され、かつ各音源から出力される音の振幅スペクトルを表す楽音モデルを、前記楽器音波形の振幅スペクトルに照合した結果、一致度が最も高い楽音モデルに対応する音源の種類を、前記楽音分類情報と対応付けることを特徴とする請求項1または請求項2に記載のプログラム。 - 前記楽音分類手順は、
該楽音の音高、音長、及び強さの組合せ毎に、前記単音波形を分類することで、前記楽音分類情報を生成することを特徴とする請求項1から請求項3のいずれか一項に記載のプログラム。 - 楽曲の一つである対象楽曲を構成する1つ1つの音である楽音が時間軸に沿って推移した波形である楽音波形を取得する楽音波形取得手段と、
楽曲にて用いられる音源である楽曲音源毎に出力される個々の出力音について、少なくとも音高及び出力タイミングが規定された楽譜トラックを備えるデータを楽譜データとし、前記楽音波形取得手段で取得した楽音波形を採譜することで、前記対象楽曲の楽譜データである対象楽譜データを生成する採譜手段と、
前記楽音波形取得手段で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形である楽器音波形に分離する音源分離手段と、
前記採譜手段で生成された対象楽譜データ、及び前記音源分離手段で分離した楽器音波形に基づいて、各楽音に対応する前記楽器音波形での、時間軸上の個々の音符に対応する区間である単音波形を、対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、前記音源の種類と対応付けて生成する楽音分類手段と、
前記対象楽曲とは異なる楽曲である特定楽曲の楽譜データである特定楽譜データを取得し、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、前記採譜手段で生成した対象楽譜データに含まれるものから、前記特定楽譜データに含まれるものへと変更した楽譜トラックである変更楽譜トラックを生成する楽譜編集手段と、
前記変更楽譜トラックに対応する前記音源の種類の中で、前記変更楽譜トラックで規定された出力音に対しては、前記楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、前記特定音が時間軸に沿って推移した波形である特定音波形を生成する波形変更手段と
を備え、
前記音源分離手段は、
前記採譜手段で生成された対象楽譜データに基づいて、全ての出力音が時間軸に沿って推移した波形である出力音波形を取得する出力音取得手段と、
前記楽音波形取得手段にて取得した楽音波形の特性を表す楽音情報と、前記出力音取得手段にて取得した出力音波形の特性を表す出力音情報とを、前記楽音情報と前記出力音情報とが一致するように照合した結果に基づき、前記出力音の音高及び出力タイミングについて、前記対象楽譜データの補正量を導出する補正量導出手段と、
前記補正量導出手段にて導出した補正量に従って、前記出力音を補正することで修正出力音へと修正した前記対象楽譜データである修正楽譜データを生成する修正手段と、
前記楽音波形取得手段で取得した楽音波形に含まれる周波数と各周波数における強度とを表す楽音振幅スペクトルを、前記対象楽曲に時間軸に沿って単位時間毎に導出する楽音解析手段と、
前記修正手段で生成された修正楽譜データにおける楽譜トラックの一つに規定された前記修正出力音が、前記修正楽譜データにおける時間軸に沿って推移した波形である修正音波形を取得する修正音取得手段と、
前記修正音取得手段で取得した修正音波形に含まれる周波数と各周波数における強度とを表す修正音振幅スペクトルを、前記修正楽譜データの時間軸に沿って単位時間毎に導出する修正音解析手段と、
前記楽音解析手段で導出された楽音振幅スペクトルでの周波数における強度と、前記修正音解析手段で導出された修正音振幅スペクトルでの周波数における強度との比を表す振幅比率を、各周波数について導出する振幅比率導出手段と、
前記振幅比率導出手段で導出された振幅比率それぞれを、前記楽音振幅スペクトルでの各周波数における強度に乗じた結果である分離スペクトルから、時間軸に沿った音の波形である区間波形を導出する区間波形導出手段と、
前記区間波形導出手段にて導出した区間波形を前記対象楽曲の時間軸に沿って配することで、前記楽器音波形を生成する分離実行手段と
を備えることを特徴とする編集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010221039A JP5569307B2 (ja) | 2010-09-30 | 2010-09-30 | プログラム、及び編集装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010221039A JP5569307B2 (ja) | 2010-09-30 | 2010-09-30 | プログラム、及び編集装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012078412A JP2012078412A (ja) | 2012-04-19 |
JP5569307B2 true JP5569307B2 (ja) | 2014-08-13 |
Family
ID=46238773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010221039A Expired - Fee Related JP5569307B2 (ja) | 2010-09-30 | 2010-09-30 | プログラム、及び編集装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5569307B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110782915A (zh) * | 2019-10-31 | 2020-02-11 | 广州艾颂智能科技有限公司 | 一种基于深度学习的波形音乐成分分离方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6325698A (ja) * | 1986-07-18 | 1988-02-03 | 松下電器産業株式会社 | 電子楽器 |
JP2806047B2 (ja) * | 1991-01-07 | 1998-09-30 | ブラザー工業株式会社 | 自動採譜装置 |
JP3102089B2 (ja) * | 1991-10-11 | 2000-10-23 | ブラザー工業株式会社 | 自動採譜装置 |
EP2148321B1 (en) * | 2007-04-13 | 2015-03-25 | National Institute of Advanced Industrial Science and Technology | Sound source separation system, sound source separation method, and computer program for sound source separation |
US8831762B2 (en) * | 2009-02-17 | 2014-09-09 | Kyoto University | Music audio signal generating system |
JP5310677B2 (ja) * | 2010-08-31 | 2013-10-09 | ブラザー工業株式会社 | 音源分離装置、及びプログラム |
-
2010
- 2010-09-30 JP JP2010221039A patent/JP5569307B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012078412A (ja) | 2012-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5283289B2 (ja) | 音楽音響信号生成システム | |
JP2010518428A (ja) | 音楽転写 | |
JP5598516B2 (ja) | カラオケ用音声合成システム,及びパラメータ抽出装置 | |
JP5782972B2 (ja) | 情報処理システム,プログラム | |
JP5292702B2 (ja) | 楽音信号生成装置及びカラオケ装置 | |
JP5569307B2 (ja) | プログラム、及び編集装置 | |
JP5418518B2 (ja) | 楽曲データ修正装置 | |
JP5267495B2 (ja) | 楽器音分離装置、及びプログラム | |
JP6075314B2 (ja) | プログラム,情報処理装置,及び評価方法 | |
JP5413380B2 (ja) | 楽曲データ修正装置 | |
JP6075313B2 (ja) | プログラム,情報処理装置,及び評価データ生成方法 | |
JP6056799B2 (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP2013210501A (ja) | 素片登録装置,音声合成装置,及びプログラム | |
JP5418525B2 (ja) | カラオケ装置 | |
JP5310677B2 (ja) | 音源分離装置、及びプログラム | |
JP5983670B2 (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP6252421B2 (ja) | 採譜装置、及び採譜システム | |
JP4967170B2 (ja) | 伴奏作成システム及び伴奏作成方法,プログラム | |
JP5418524B2 (ja) | 楽曲データ修正装置 | |
JP5549651B2 (ja) | 歌詞出力データ修正装置,及びプログラム | |
JP5810947B2 (ja) | 発声区間特定装置、音声パラメータ生成装置、及びプログラム | |
Clay | A Composition Presented in Partial Fulfillment of the Requirements for the Degree Doctor of Musical Arts | |
JP6281447B2 (ja) | 音声合成装置,及び音声合成システム | |
JP5541008B2 (ja) | データ修正装置、及びプログラム | |
JP6252408B2 (ja) | 表示制御装置,及び表示制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5569307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |