JP6847429B2 - 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム - Google Patents
楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム Download PDFInfo
- Publication number
- JP6847429B2 JP6847429B2 JP2019084791A JP2019084791A JP6847429B2 JP 6847429 B2 JP6847429 B2 JP 6847429B2 JP 2019084791 A JP2019084791 A JP 2019084791A JP 2019084791 A JP2019084791 A JP 2019084791A JP 6847429 B2 JP6847429 B2 JP 6847429B2
- Authority
- JP
- Japan
- Prior art keywords
- performance
- information
- user
- instruction
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
作成された演奏情報はシーケンサによってシンセサイザへ順次送られる。シンセサイザは、順次送られる演奏情報と演奏音の音色を表す情報(以下、音色情報という)に従って楽器音、音声、効果音など(以下、楽音という)を生成する演奏処理を行い、必要に応じて各種エフェクトを掛けて、最終的な演奏音の波形データ(音声波形に変換可能なデータ、WAVデータやMP3データなど)を生成する。生成された演奏音の波形データを再生することにより自動演奏が行われる。
これら指示変換部と指示反映部を備えることにより、ユーザにとって分かりやすい音の感覚的な指示(相対変化)を、高度な専門知識が必要な演奏情報や音色情報の補正に自動的に変換して反映することが可能になる。
特に、楽器別の相対変化の指示(「この箇所のバイオリオンをもっと強く」など)により、特定楽器の演奏情報や音色情報だけを感覚的に調整できる。
通常、楽器音が合成された演奏音(オーディオの波形データ)に対する補正では、楽器一つ一つの楽音を分離して補正することは困難であったが、第1の発明では、指示変換部と指示反映部を備えることで個々の楽音単位の高度な楽曲編集までも可能になる。
また、演奏情報や音色情報を機密化または暗号化することにより、悪意のユーザがこれらデータを取り出すことが難しくなり、また取り出したとしても容易に転用・流通することができず、データ作成者の著作権を一層強固に保護できる。
図1は、本実施形態のうち、ネットワーク接続を含む場合の構成を説明する図である。
本実施形態は、クラウド側の楽曲編集システム100と、ユーザが操作するユーザ側端末200とを、ネットワークNを介して通信可能に配置して構成される。
楽曲編集システム100は、保持部101、演奏音生成部102、インターフェース部103、指示変換部104、指示反映部105、およびユーザ領域110を備える。
また、保持部101の内部には、上記の内部情報をデータベース化した演奏情報/音色情報ライブラリ101aを備える。
指示反映部105は、指示変換部104により変換された補正情報に従って、演奏情報および音色情報を補正する。
演奏音生成部102は、指示反映部105により補正された演奏情報および音色情報に基づいて演奏音の再生成を行う。
図2は、事前設計の方法を示す図である。
以下、図2に示すステップ番号に沿って、楽曲編集システム100の開発者が事前に行う設計手順を説明する。
なお、既存の音色情報を使用する場合は、ステップS100,101の手順は省略される場合もある。
(A)発音タイミング
(B)基準テンポ
(C)基準ピッチ
(D)音の長さ
(E)音の強弱
(F)音のテンポ
(G)音のピッチ
(H)音の区切り
(I)揺らぎ
(J)音場(残響)効果
(K)和音構成音の強弱
(L)ペダルなどの奏法効果の強弱
(M)発声法(こぶし/ビブラート/シャウト/しゃくり等)
(N)楽器や歌手の定位(位置または方向と距離)
(O)和音構成音の時間差
(A)試聴した演奏音を基準に発音タイミングを前に/後ろに
(B)試聴した演奏音を基準に基準テンポを速く/遅く
(C)試聴した演奏音を基準に基準ピッチを高く/低く
(D)試聴した演奏音を基準に音の長さを長く/短く
(E)試聴した演奏音を基準に音の強弱を強く/弱く
(F)試聴した演奏音を基準に音のテンポを速く/遅く
(G)試聴した演奏音を基準に音のピッチを高く/低く
(H)試聴した演奏音を基準に音の区切りを明確に/滑らかに
(I)試聴した演奏音を基準に揺らぎを大きく/小さく/無しに
(J)試聴した演奏音を基準に音場(残響)の効果を大きく/小さく/無しに
(K)試聴した演奏音を基準に和音の構成音それぞれを強く/弱く
(L)試聴した演奏音を基準に奏法効果を強く/弱く/無しに
(M)試聴した演奏音を基準に発声法(こぶし/ビブラート/シャウト/しゃくり等)を強く/弱く/無しに
(N)楽器や歌手の定位を相対的に左右(上下,前後、遠近など)に
さらに、選択エリア600には、楽音のパートとして、楽器(ピアノ、バイオリンなど)や、歌手(女声ソプラノ,男声テノールなど)が複数選択可能にアイコン表示される。ここでユーザにより選択されたパートが『音の相対変化の指示』を施す対象となる。
これらの種別は、インターフェース部103を介して、保持部101が機密保持する演奏情報から公開可能な種別のみが情報取得され、表示される。なお、演奏情報のノウハウとして秘匿すべき種別については、演奏情報の制作者や本サービスの提供者によって予め秘匿属性に設定されることにより、選択エリア600に表示されない。
この設計こそが、『音の相対変化の指示』を、演奏音(波形データ)の単なる補正に留まらずに、個々の楽音パートごとの詳細な演奏情報に対して高度かつ緻密な補正を実現可能にする肝要な部分である。
設計した変換処理は指示変換部104に実装される。例えば、このような変換処理は、テーブルデータを参照する方式でもよいし、数式演算する方式でもよいし、プログラムによる方式でもよい。
以上のステップS100〜S110により、開発者によるシステム設計が完了する。
図4は、実施形態の動作を説明する図である。
以下、図4に示すステップ番号に沿って、実施形態の動作を説明する。
また、前回ログアウト時の作業データがユーザ領域110やローカルドライブ210(ユーザ側端末200)に保存されている場合、楽曲編集システム100は、これらの作業データを保持部101およびユーザ側端末200(メモリ203)に転送し、前回ログアウト時の作業状態を復元する。
この音声再生イベントの背景処理の起動を済ますと、ユーザ側端末200はイベントループに動作を戻す。また、ユーザ側端末200は、『一時停止/逆戻し』の操作に対応した背景処理も行う。
また、ドラッグなどで時間範囲を指定されると、その範囲に矩形状の区間指定407を表示する。すでに表示されている区間指定407の開始時刻または終了時刻箇所をドラッグなどした場合は、区間指定407の開始または終了時刻をドラッグ位置に変更し、区間指定407の幅を拡縮する。
これら位置指定や区間指定イベント処理を完了すると、ユーザ側端末200はイベントループに動作を戻す。
さらに、ユーザがGUI画面(図3参照)のコンボボックス501を操作すると、選択エリア600で選択された楽音パートに応じた『音の相対変化の指示』の種類を選択するためのメニューが表示される。ユーザは、このメニューの中から所望の『音の相対変化の指示』の種類を選択する。
このメニュー選択に連動して調整指示域502に調整指示用のGUIパーツ群が表示される。図3は、調整指示の一例として『(ピアノの)和音の構成音の強弱調整』がメニュー選択された状態を示す。
ユーザは、調整指示域502の複数のトラックバーそれぞれについて、試聴した演奏音を基準に右左にずらすことにより、和音の構成音それぞれについて、試聴した演奏音を基準にした強弱の相対変化をつけることができる。
これらトラックバーを操作すると、調整指示イベントが発生する。また、GUI画面の適用釦やキャンセル釦が操作されても、調整指示イベントが発生する。この調整指示イベントには、『調整対象として選択された楽器や歌手』と、音の相対変化の指示の『種類』と、『相対変化の量』と、『区間指定407(全区間の場合あり)の情報』と、『適用釦およびキャンセル釦の操作状態』とがパラメータとして付与される。
なお、調整指示域502の適用釦が操作された場合、指示反映部105は演奏情報と音色情報の補正を確定する。また、調整指示域502のキャンセル釦が操作された場合、指示反映部105はユーザ領域110に保存された演奏情報と音色情報の一時的な補正情報を元に戻す。
なお、調整指示域502の適用釦が操作された場合、ユーザ側端末200は演奏音の差し替えを確定する。さらに、ユーザ側端末200は、今回の調整指示の内容説明を調整表示域402〜405の区間指定407に表示する。
一方、調整指示域502のキャンセル釦が操作された場合、ユーザ側端末200は、演奏音の一時的な差し替えを調整指示イベント前の状態に戻す。ちなみに、ユーザは、演奏音の履歴を辿ることで複数回にわたるやり直しを行うこともできる。
なお、ユーザ側端末200は、これら演奏音の変化に連動して、音声表示域401の音声波形の表示を書き換える。
このように調整指示イベントの処理を完了すると、ユーザ側端末200はイベントループに動作を戻す。
また、ユーザ側端末200は、次回ログイン時に備えて、作業状態を復元するために必要な作業データをローカルドライブ210に保存する。この作業データは、次回ログイン時のステップS301において使用される。
なお、ユーザ側端末200は、オリジナルの演奏情報および音色情報をローカルドライブ210に格納しない。そのため、これら情報が、ローカルドライブ210を介して外部に漏洩することはない。
以上の構成を付加することにより、ユーザの指揮者風ジェスチャに基づいて、上記の調整指示イベントを発生させることが可能になる。
この場合も、指示変換部104という具体的な技術手段を有するため、指揮者風ジェスチャを『試聴した演奏音を基準にした音の相対変化の指示』として自動認識した上で、さらに『演奏情報や音色情報の補正情報』に段階的に変換する。
そのため、演奏音(波形データ)そのものを調整するのではなく、演奏情報および音色情報をベースに調整するため、高度な調整(音楽表現)が可能になる。
一例としては、指揮ジェスチャに基づいて下記のような高度な演奏調整が実現可能になる。
(a)演奏音を基準に和音の構成音それぞれを個別に強く/弱く
(b)演奏音を基準に和音の構成音の時間ずれを前に/後ろに
(c)演奏音を基準に楽音パート別の音を強く/弱く
(d)演奏音を基準に楽音パート別のタイミングを前に/後ろに
実施形態では、既存の演奏情報および音色情報を元に楽曲編集が行われる。そのため、ユーザは、音符をゼロから全て打ち込む必要がなく、自動演奏を手軽に楽しむことができる。
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、実施例の構成の一部を他の構成で代替することが可能であり、また、実施例の構成に他の構成を追加することも可能である。
Claims (6)
- 曲の演奏情報および楽音の音色情報を保持する保持部と、
前記演奏情報と前記音色情報とに基づいて演奏音を生成する演奏音生成部と、
前記演奏音生成部が生成した前記演奏音をユーザの試聴に提供し、前記演奏音を基準にした音の「相対変化の指示」を前記ユーザから受け付けるインターフェース部と、
前記相対変化の指示を、前記演奏情報と前記音色情報の補正情報に変換する指示変換部と、
前記指示変換部により変換された前記補正情報に従って、前記演奏情報および前記音色情報を補正する指示反映部とを備え、
前記演奏音生成部は、
前記指示反映部により補正された前記演奏情報および前記音色情報に基づいて前記演奏音を再生成する際に、前記相対変化の指示の影響を受ける区間の前記演奏音を再生成する処理機能を有し、前記影響を受けない区間は前記ユーザ側に提供済みの前記演奏音を再利用することで処理を節約する
ことを特徴とする楽曲編集システム。 - 請求項1記載の楽曲編集システムにおいて、
前記インターフェース部は、前記演奏音生成部が生成した前記演奏音をユーザの試聴に提供し、『前記演奏音の現在の設定値を表示せず、かつ前記設定値によらずに可変範囲の初期位置を予め定められる中央に設定する操作エリア』を生成し、試聴した前記演奏音を基準にした音の「相対変化の指示」を前記中央から可変するユーザ操作によって受け付ける
ことを特徴とする楽曲編集システム。 - 請求項1〜2のいずれか一項記載の楽曲編集システムにおいて、
前記保持部は、
前記演奏情報や前記音色情報を機密化または暗号化して扱う処理機構を備えて、前記ユーザに前記相対変化の指示による楽曲編集は許可しつつ、前記演奏情報や前記音色情報それ自体の不正流出による盗用を抑制する
ことを特徴とする楽曲編集システム。 - 請求項1〜3のいずれか一項記載の楽曲編集システムにおいて、
前記インターフェース部は、
前記保持部と前記ユーザの使用環境との間のネットワーク接続によるユーザアクセスを遮断することにより、前記ユーザに前記相対変化の指示による楽曲編集を許可しつつ、前記演奏情報や前記音色情報それ自体の不正流出による盗用を抑制する
ことを特徴とする楽曲編集システム。 - 請求項1〜4のいずれか一項記載の楽曲編集システムが楽曲編集サービスをユーザに提供する方法であって、
曲の演奏情報および楽音の音色情報を保持する保持ステップと、
前記演奏情報と前記音色情報とに基づいて演奏音を生成する演奏音生成ステップと、
前記演奏音生成ステップが生成した前記演奏音をユーザの試聴に提供し、前記演奏音を基準にした音の「相対変化の指示」を前記ユーザから受け付けるインターフェースステップと、
前記相対変化の指示を、前記演奏情報と前記音色情報の補正情報に変換する指示変換ステップと、
前記指示変換ステップにより変換された前記補正情報に従って、前記演奏情報および前記音色情報を補正する指示反映ステップとを備え、
前記演奏音生成ステップは、
前記指示反映ステップにより補正された前記演奏情報および前記音色情報に基づいて前記演奏音を再生成する際に、前記相対変化の指示の影響を受ける区間の前記演奏音を再生成する処理機能を有し、前記影響を受けない区間は前記ユーザ側に提供済みの前記演奏音を再利用することで処理を節約する
ことを特徴とする楽曲編集サービスの提供方法。 - コンピュータ(コンピュータの一部または全部を代替し得る CPU, DSP, FPGA, GPU等の各種プロセッサも含む)を
請求項1〜4のいずれか1項記載の前記保持部、前記演奏音生成部、前記インターフェース部,前記指示変換部、および前記指示反映部として、機能させるための楽曲編集プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084791A JP6847429B2 (ja) | 2019-04-26 | 2019-04-26 | 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084791A JP6847429B2 (ja) | 2019-04-26 | 2019-04-26 | 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020181119A JP2020181119A (ja) | 2020-11-05 |
JP6847429B2 true JP6847429B2 (ja) | 2021-03-24 |
Family
ID=73023467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019084791A Active JP6847429B2 (ja) | 2019-04-26 | 2019-04-26 | 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6847429B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2261275A1 (en) * | 1996-06-24 | 1997-12-31 | Van Koevering Company | Musical instrument system |
JP4147885B2 (ja) * | 2001-10-05 | 2008-09-10 | ヤマハ株式会社 | 演奏データ加工処理装置 |
JP3736512B2 (ja) * | 2002-08-30 | 2006-01-18 | ヤマハ株式会社 | 楽音データ表示装置及びプログラム |
JP2015049470A (ja) * | 2013-09-04 | 2015-03-16 | ヤマハ株式会社 | 信号処理装置及びそのプログラム |
-
2019
- 2019-04-26 JP JP2019084791A patent/JP6847429B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020181119A (ja) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10325581B2 (en) | Singing voice edit assistant method and singing voice edit assistant device | |
JP6509192B2 (ja) | オーディオ・ファイルを生成するためのシステム及び方法 | |
US9805702B1 (en) | Separate isolated and resonance samples for a virtual instrument | |
US9129583B2 (en) | Systems and methods of note event adjustment | |
EP3462442B1 (en) | Singing voice edit assistant method and singing voice edit assistant device | |
US9076264B1 (en) | Sound sequencing system and method | |
US20110041059A1 (en) | Interactive Multimedia Content Playback System | |
JP3778024B2 (ja) | 情報処理装置及び情報処理方法、並びに記憶媒体 | |
JP3867529B2 (ja) | 電子音楽装置及びプログラム | |
US20040159216A1 (en) | Method and system for creating and performing music electronically via a communications network | |
US20190051272A1 (en) | Audio editing and publication platform | |
JP6847429B2 (ja) | 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム | |
CN114797102A (zh) | 信息显示方法及装置、计算机可读存储介质、电子设备 | |
JP6953746B2 (ja) | 電子音響装置および音色設定方法 | |
CN112885369B (zh) | 音频处理方法、音频处理装置 | |
JP3794303B2 (ja) | 演奏情報編集装置及び演奏情報編集プログラム | |
JP4356509B2 (ja) | 演奏制御データ編集装置およびプログラム | |
JP2006267173A (ja) | 演奏データ編集装置および演奏データ編集プログラム | |
JP4535054B2 (ja) | 電子音楽装置及びそのコンピュータプログラム | |
JP3794299B2 (ja) | 演奏情報編集装置及び演奏情報編集プログラム | |
JP3846334B2 (ja) | 自動作曲・編曲装置および自動作曲・編曲方法を実現するためのプログラム | |
Rey et al. | Logic Pro 101: Music Production Fundamentals | |
JP2023053597A (ja) | 演奏パラメータ設定装置及び演奏パラメータ設定プログラム | |
Nahmani | Logic Pro-Apple Pro Training Series: Professional Music Production | |
CN117075772A (zh) | 多媒体内容展示方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201221 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201221 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6847429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |