JP6847429B2 - 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム - Google Patents

楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム Download PDF

Info

Publication number
JP6847429B2
JP6847429B2 JP2019084791A JP2019084791A JP6847429B2 JP 6847429 B2 JP6847429 B2 JP 6847429B2 JP 2019084791 A JP2019084791 A JP 2019084791A JP 2019084791 A JP2019084791 A JP 2019084791A JP 6847429 B2 JP6847429 B2 JP 6847429B2
Authority
JP
Japan
Prior art keywords
performance
information
user
instruction
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019084791A
Other languages
English (en)
Other versions
JP2020181119A (ja
Inventor
清嗣 新井
清嗣 新井
Original Assignee
株式会社アリソン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アリソン filed Critical 株式会社アリソン
Priority to JP2019084791A priority Critical patent/JP6847429B2/ja
Publication of JP2020181119A publication Critical patent/JP2020181119A/ja
Application granted granted Critical
Publication of JP6847429B2 publication Critical patent/JP6847429B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、楽曲を編集するシステム、楽曲編集サービスを提供する方法、および楽曲編集プログラムに関する。
従来、デスクトップミュージック(DTM)として、コンピュータや専用装置を用いて、ユーザが曲の演奏に必要な情報(以下、演奏情報という)を作成し、自動演奏を行うまでのシステムが知られている。
作成された演奏情報はシーケンサによってシンセサイザへ順次送られる。シンセサイザは、順次送られる演奏情報と演奏音の音色を表す情報(以下、音色情報という)に従って楽器音、音声、効果音など(以下、楽音という)を生成する演奏処理を行い、必要に応じて各種エフェクトを掛けて、最終的な演奏音の波形データ(音声波形に変換可能なデータ、WAVデータやMP3データなど)を生成する。生成された演奏音の波形データを再生することにより自動演奏が行われる。
この演奏情報の作成には、ピアノ型鍵盤などを用いる演奏入力の他に、コンピュータのキーボードやマウスなどを用いる『打ち込み』という入力方法が使用される。
この種の演奏情報には、緩急や強弱をはじめとする演奏表現の情報を含めることができ、さらには歌詞情報を含めることにより歌声を含む楽曲や、複数の楽器音の同時制御により大編成オーケストラによる交響曲の自動演奏さえも可能になりつつある。
この演奏情報の作成の一例として、特許文献1には、モニタ画面上の総譜(スコア)に対してユーザが奏法アイコンを適宜に配置する技術が開示される。この奏法アイコンの配置により、所望の楽器奏法の効果を自動演奏の所望区間に付与することが可能になる。
また、特許文献2には、ユーザ(指揮者)の指揮振り情報に応じて楽曲再生のテンポやタイミングを調整する技術が開示される。
特開2001−092455号公報 特開2017−98607号公報
ところで、ピアノ型鍵盤による演奏にせよ、コンピュータのキーボードやマウスによる『打ち込み』にせよ、演奏情報の入力をユーザが最初(白紙状態)から行うと、自動演奏に必要な音符の細かな音楽表現を全て入力しなければならない。そのため、余暇としてDTMを楽しみたいユーザにとっては作業量が多すぎて、DTMが広く普及しない原因となっていた。
また、特許文献1の技術を用いても、音楽的な演奏を実現するには読譜や楽器表現に習熟している必要があった。このためユーザには高度な音楽的素養が要求され、本格的な演奏を楽しむにはハードルが高く、これもDTMが広く普及しない原因となっていた。
なお、特許文献2の技術は、ユーザが演奏音を耳で聴いて行うタッチや間(ま)といった調整を、演奏音の元である演奏情報にどのように反映させるのかといった点について、具体的な解決手段を開示していない。また、特許文献2の技術は、個々の楽器の音を個別に調整するなどの点についても、具台的な解決手段を開示していない。
そこで、本発明は、これら課題の少なくとも一部を解決して、高度の音楽性を備えた自動演奏を手軽に楽しむための手段を提供することを目的とする。
(第1の発明)楽曲編集システムは、曲の演奏情報および楽音の音色情報を保持する保持部と、演奏情報と音色情報とに基づいて演奏音を生成する演奏音生成部と、演奏音生成部が生成した演奏音をユーザの試聴に供し、演奏音を基準にした音に対する「相対変化の指示」をユーザから受け付けるインターフェース部と、相対変化の指示を演奏情報と音色情報の補正情報に変換する指示変換部と、指示変換部が変換した補正情報に従って演奏情報と音色情報を補正する指示反映部とを備え、演奏音生成部は指示反映部により補正された演奏情報と音色情報に基づいて演奏音を再生成する。
(第2の発明)さらに、楽曲編集システムにおいて、保持部は、演奏情報や音色情報を機密化(例えば、ユーザ認証、パスワード要求など)または暗号化して扱う処理機構を備えて、ユーザに相対変化の指示による楽曲編集は許可しつつ、演奏情報や音色情報それ自体の不正流出による盗用を抑制する。
(第3の発明)さらに、楽曲編集システムにおいて、インターフェース部にネットワーク接続の手段を備え、ネットワーク経由のファイルの直接読み書きを禁止するなど、ユーザの使用環境から保持部へのアクセスを遮断することで、ユーザに相対変化の指示による楽曲編集を許可しつつ、演奏情報と音色情報それ自体の不正流出による盗用を抑制する。
(第4の発明)さらに、楽曲編集システムにおいて、演奏音生成部は、相対変化の指示の影響を受ける区間についてのみ演奏音を再生成するという、区間指示に対応する処理機能を有し、影響を受けない区間はユーザ側に提供済みの演奏音を再利用することで処理を節約する。
(第5の発明)第1〜第4の発明のいずれか1項記載の楽曲編集システムが楽曲編集サービスをユーザに提供する方法。
(第6の発明)第1〜第4の発明のいずれか1項記載の保持部、演奏音生成部、インターフェース部,指示変換部,および指示反映部として、コンピュータ等を機能させるための楽曲編集プログラム。
(1)第1の発明では、保持部内に(専門家などが作成した)曲の演奏情報が用意されており、この演奏情報にユーザが所望する音の相対変化を反映させる形で楽曲編集がなされる。そのため、ユーザは、音符を逐一入力する複雑な手間を(特に必要がない限り)省いて、音の相対変化という、感覚的な指示入力だけで自動演奏を手軽に始めることができるようになる。
また、ユーザは、試聴した演奏音に対して、例えば『ここの音をもっと大きくしたい』や『ここはもっとゆっくりに』といった感覚的な増減(相対変化)だけで指示できるので、楽譜を読めなくても、音楽の専門知識がなくても、手軽に自分なりの工夫をした演奏を楽しむことができるようになる。
さらに、第1の発明は、『相対変化の指示を演奏情報と音色情報の補正情報に変換する指示変換部』と『指示変換部が変換した補正情報に従って演奏情報と音色情報を補正する指示反映部』を備える点が特徴である。
これら指示変換部と指示反映部を備えることにより、ユーザにとって分かりやすい音の感覚的な指示(相対変化)を、高度な専門知識が必要な演奏情報や音色情報の補正に自動的に変換して反映することが可能になる。
特に、楽器別の相対変化の指示(「この箇所のバイオリオンをもっと強く」など)により、特定楽器の演奏情報や音色情報だけを感覚的に調整できる。
通常、楽器音が合成された演奏音(オーディオの波形データ)に対する補正では、楽器一つ一つの楽音を分離して補正することは困難であったが、第1の発明では、指示変換部と指示反映部を備えることで個々の楽音単位の高度な楽曲編集までも可能になる。
また、ユーザは演奏音を試聴して、変更したい箇所のみ演奏や音色の相対変化を指示するだけでよく、全ての演奏情報や音色情報を自力で入力する必要がなく、また調整の必要がない箇所は調整する必要もなく、手間を大幅に省ける。
(2)第2の発明は、演奏情報を機密化または暗号化して扱う処理機構を備える。ユーザは、提供される演奏音を基準に音の相対変化を指示するので、その演奏音の元になる演奏情報や音色情報を機密化または暗号化してユーザに対して隠しても、ユーザの操作に支障は生じない。
また、演奏情報や音色情報を機密化または暗号化することにより、悪意のユーザがこれらデータを取り出すことが難しくなり、また取り出したとしても容易に転用・流通することができず、データ作成者の著作権を一層強固に保護できる。
(3)第3の発明は、ネットワークの介在により保持部をユーザの使用環境から隔離する。ユーザは、提供される演奏音を基準にして音の相対変化を指示するので、その演奏音の元になる演奏情報や音色情報にアクセスできなくても、ユーザの操作に支障は生じない。
また、演奏情報や音色情報をユーザ環境に置かず、ネットワーク接続により隔離されたサーバ内に秘匿することにより、演奏情報や音色情報の取り出しが困難となり、データ作成者の著作権を一層強固に保護できる。
さらに、処理負荷の重い楽音生成やエフェクト処理をサーバが行うことにより、ユーザ側に高性能なコンピュータを必要とせず、スマートフォンやタブレット等の小型通信端末で十分対応できるようになる。
(4)第4の発明は、相対変化の指示に影響されない区間の演奏音については再生成せず、ユーザ側に提供済みの演奏音を再利用する。したがって、音の相対変化の指示に影響されない部分は再生成を省略できるので処理を高速化できる。第3の発明と組み合わせる場合は、待ち時間の短縮や、不要部分の通信をカットすることで通信コストを引き下げる効果も得られる。
(5)第5の発明は、上述の楽曲編集システムがユーザに対して楽曲編集サービスを提供する。ユーザは、この楽曲編集システムから楽曲編集サービスを受けることにより、自動演奏の高度な音楽表現の編集機能を自宅や出先などから手軽に利用することができる。
(6)第6の発明は、楽曲編集プログラムが、コンピュータ(コンピュータの一部また全部を代替し得るCPU,DSP,FPGA,GPU等の各種プロセッサも含む)を、上述した保持部、演奏音生成部、インターフェース部,指示変換部,および指示反映部として機能させる。この楽曲編集プログラムにより、単体や複数の計算デバイスを楽曲編集装置として機能させることができる。
図1は、実施形態の構成を示す図である。 図2は、事前設計の方法を示す図である。 図3は、GUI画面の一例を示す図である。 図4は、実施形態の動作を説明する図である。
以下、図面を参照しながら、実施形態を説明する。
[1]実施形態の構成説明
図1は、本実施形態のうち、ネットワーク接続を含む場合の構成を説明する図である。
本実施形態は、クラウド側の楽曲編集システム100と、ユーザが操作するユーザ側端末200とを、ネットワークNを介して通信可能に配置して構成される。
楽曲編集システム100は、保持部101、演奏音生成部102、インターフェース部103、指示変換部104、指示反映部105、およびユーザ領域110を備える。
保持部101は、自動演奏処理に必要な内部情報(曲の演奏情報、楽音の音色情報、自動演奏処理のプログラムなど)を保持する。保持部101は機密化および暗号化やその復号化のための処理機構を備える。そのため、ユーザ側端末200からクラウド上のサーバに侵入し、保持部101にアクセスできたとしても、内部情報を解読することは困難である。
また、保持部101の内部には、上記の内部情報をデータベース化した演奏情報/音色情報ライブラリ101aを備える。
演奏音生成部102は、演奏情報と音色情報とに基づいて自動演奏処理を行って、楽音を生成する演奏処理を行い、各種エフェクトを付加した演奏音の波形データをスピーカやイヤホンや動画再生サイトの音声再生のチャンネル数に応じて生成する機能を有する。
インターフェース部103は、演奏音生成部102が生成した演奏音の波形データをユーザ側端末200に提供してユーザに試聴させ、試聴した演奏音を基準にした演奏や音色の相対変化の指示をユーザ側端末200から取得する機能を有する。このインターフェース部103は、ユーザ側端末200から楽曲編集システム100の内側(保持部101、演奏音生成部102、指示反映部105、および指示変換部104)へのユーザアクセスを遮断することにより、内部情報をさらに秘匿化する。
指示変換部104は、ユーザ側端末200から受信した『演奏や音色の相対変化の指示』を、演奏情報と音色情報の補正情報に変換する機能を有する。(詳細は後述)
指示反映部105は、指示変換部104により変換された補正情報に従って、演奏情報および音色情報を補正する。
演奏音生成部102は、指示反映部105により補正された演奏情報および音色情報に基づいて演奏音の再生成を行う。
ユーザ領域110は、クラウド上でユーザ単位に確保される記憶領域である。このユーザ領域110内には、指示反映部105により補正された演奏情報および音色情報や楽曲編集後の演奏音などが格納される。楽曲編集後の演奏音については、ユーザが必要に応じて自動演奏処理の結果としてダウンロードすることができる。なお、ユーザ領域110にはメモリ以外にハードディスク等の外部記憶装置を使用してもよい。
一方、ユーザ側端末200は、インターフェース部201、制御部202、メモリ203、音再生部204、ローカルドライブ210、およびUI(ユーザインターフェース)部205を、内部バス206を介して接続して構成される。このユーザ側端末200としては、演奏音の試聴機能と、音の相対変化の指示入力機能とを最低限備えればよく、パソコン、モバイル端末、タブレット端末、電子ピアノやシンセサイザ等の電子楽器、リモコン操作可能なテレビ、ゲーム機などが使用可能である。
[2]実施形態の事前設計の方法
図2は、事前設計の方法を示す図である。
以下、図2に示すステップ番号に沿って、楽曲編集システム100の開発者が事前に行う設計手順を説明する。
ステップS100: 楽曲編集システム100の開発者は、自動演奏処理に必要な楽器音、声、効果音など(総称して楽音)を収集する。
ステップS101: 開発者は、収集した楽音を生成するのに必要な音色情報を決定する。
なお、既存の音色情報を使用する場合は、ステップS100,101の手順は省略される場合もある。
ステップS102: 開発者は、楽音の音色情報を暗号化し、機密化された保持部101に格納する。
ステップS103: 開発者は、専門家が入力した演奏情報を収集する。なお、演奏情報や音色情報については楽曲編集システム100の運営開始後に随時に追加・変更・削除できるものとする。
ステップS104: 開発者は、演奏情報を暗号化し、機密化された保持部101に格納する。
ステップS105: 開発者は、演奏情報および音色情報のデータ仕様に基づいて、変更可能なパラメータを適宜に選定することにより、楽音全体および楽音パート別に補正情報のデータ仕様を決定する。例えば、補正情報のデータ仕様には以下のようなものがある。
(A)発音タイミング
(B)基準テンポ
(C)基準ピッチ
(D)音の長さ
(E)音の強弱
(F)音のテンポ
(G)音のピッチ
(H)音の区切り
(I)揺らぎ
(J)音場(残響)効果
(K)和音構成音の強弱
(L)ペダルなどの奏法効果の強弱
(M)発声法(こぶし/ビブラート/シャウト/しゃくり等)
(N)楽器や歌手の定位(位置または方向と距離)
(O)和音構成音の時間差
ステップS106: 開発者は、ステップS105で仕様決定された補正情報を変化させたときに生じる“演奏音の相対変化”を直接的,感覚的,または技術的に表現することにより、楽音全体および楽音パート別に『試聴した演奏音を基準にした音の相対変化の指示』を定義する。例えば、次のように定義される。
(A)試聴した演奏音を基準に発音タイミングを前に/後ろに
(B)試聴した演奏音を基準に基準テンポを速く/遅く
(C)試聴した演奏音を基準に基準ピッチを高く/低く
(D)試聴した演奏音を基準に音の長さを長く/短く
(E)試聴した演奏音を基準に音の強弱を強く/弱く
(F)試聴した演奏音を基準に音のテンポを速く/遅く
(G)試聴した演奏音を基準に音のピッチを高く/低く
(H)試聴した演奏音を基準に音の区切りを明確に/滑らかに
(I)試聴した演奏音を基準に揺らぎを大きく/小さく/無しに
(J)試聴した演奏音を基準に音場(残響)の効果を大きく/小さく/無しに
(K)試聴した演奏音を基準に和音の構成音それぞれを強く/弱く
(L)試聴した演奏音を基準に奏法効果を強く/弱く/無しに
(M)試聴した演奏音を基準に発声法(こぶし/ビブラート/シャウト/しゃくり等)を強く/弱く/無しに
(N)楽器や歌手の定位を相対的に左右(上下,前後、遠近など)に
ステップS107: 開発者は、ステップS106で表現した『相対変化の指示』についての操作入力を受け付けるためのGUI画面のデザインをそれぞれ設計する。図3に示すGUI画面は、その一例である。このGUI画面は、編集エリア400、操作エリア500、および選択エリア600とから構成される。
この編集エリア400は、楽譜/音声波形を切り替え可能な音声表示域401と、音の相対変化の指示を表示する調整表示域402〜405と、画面上部406の選曲/再生/一時停止/逆戻し/終了の再生操作のGUIボタンがレイアウト配置される。また、再生位置については、再生から一時停止する操作の他に、音声表示域401をクリック操作やタップ操作やキーボード操作やトラックボール操作やペン操作により指定できる。さらに、範囲の指定については、音声表示域401の上をドラッグ操作やフリップ操作やスワイプ操作やキーボード操作やトラックボール操作やペン操作などにより指定できる。この再生位置や範囲の指定により、編集エリア400には区間指定407が設定される。
一方、操作エリア500は、『音の相対変化の指示』の種類についてメニュー選択を行うコンボボックス501と、音の相対変化を指示入力するためのGUIパーツ群からなる調整指示域502とから構成される。例えば、図3に示す調整指示域502には、『和音の構成音ごとに試聴した演奏音よりも大きくまたは小さくする相対変化の指示』を実現するために、複数のトラックバー(スクロールバー)が配置される。これらのトラックバーのスライダの初期位置は中央に設定され、試聴した演奏音を視聴してどう変化させたいかによって増減される。また、スライダの可変範囲(最大値/最小値)は、相対変化を反映した演奏音が音楽的に破綻しない範囲に予め設定される。
さらに、選択エリア600には、楽音のパートとして、楽器(ピアノ、バイオリンなど)や、歌手(女声ソプラノ,男声テノールなど)が複数選択可能にアイコン表示される。ここでユーザにより選択されたパートが『音の相対変化の指示』を施す対象となる。
これらの種別は、インターフェース部103を介して、保持部101が機密保持する演奏情報から公開可能な種別のみが情報取得され、表示される。なお、演奏情報のノウハウとして秘匿すべき種別については、演奏情報の制作者や本サービスの提供者によって予め秘匿属性に設定されることにより、選択エリア600に表示されない。
ステップS108: 開発者は、『GUI画面からユーザ操作(音の相対変化の指示)を取得して、楽曲編集システム100に送信するためのソフトウェア』としてユーザ端末側ソフトを作成する。例えば、このようなソフトウェアはユーザ側端末200の制御部202が実行するプログラム言語によりアプリとして作成してもよい。また、ブラウザ上のHTML(Hyper Text Markup Language)のinputタグなどにより実現してもよい。
ステップS109: 開発者は、ユーザ操作を受信して『音の相対変化の指示』を取得するためのクラウド側ソフトを作成する。例えば、このようなソフトウェアはクラウドサーバが実行するPHP(Hypertext Preprocessor)などのサーバプログラムにより作成してもよい。
ステップS110: 開発者は、ステップS109で作成したクラウド側ソフトが出力する『音の相対変化の指示』を、ステップS105とステップS106との対応関係などから決定することにより『演奏情報および音色情報の補正情報』に変換する変換処理を設計する。
この設計こそが、『音の相対変化の指示』を、演奏音(波形データ)の単なる補正に留まらずに、個々の楽音パートごとの詳細な演奏情報に対して高度かつ緻密な補正を実現可能にする肝要な部分である。
設計した変換処理は指示変換部104に実装される。例えば、このような変換処理は、テーブルデータを参照する方式でもよいし、数式演算する方式でもよいし、プログラムによる方式でもよい。
以上のステップS100〜S110により、開発者によるシステム設計が完了する。
[3]実施形態の動作説明
図4は、実施形態の動作を説明する図である。
以下、図4に示すステップ番号に沿って、実施形態の動作を説明する。
ステップS300: ユーザは、ユーザ側端末200のブラウザなどを開いて、楽曲編集システム100(クラウドサーバ)のネットワークN上のドメインの所定URL(Uniform Resource Locator)にアクセスする。このアクセスに成功すると、ユーザ側端末200と楽曲編集システム100とはネットワークN上で連携を開始する。この連携において、ユーザのログインIDやパスワードの照会処理や、新規ユーザの登録処理が行われる。
ステップS301: 楽曲編集システム100は、クラウド側ソフトを実行し、ログインしたユーザ別の初期化処理を実行する。この初期化処理において、楽曲編集システム100は、ユーザ側端末200に対して、上記のステップS108で作成したユーザ端末側ソフトを返信する。
また、前回ログアウト時の作業データがユーザ領域110やローカルドライブ210(ユーザ側端末200)に保存されている場合、楽曲編集システム100は、これらの作業データを保持部101およびユーザ側端末200(メモリ203)に転送し、前回ログアウト時の作業状態を復元する。
ステップS302: ユーザ側端末200の制御部202は、受信したユーザ端末側ソフトを実行し、図3に示すようなGUI画面をUI部205のモニタ画面に表示する。これ以降、ユーザ側端末200の動作は、ユーザ端末側ソフトにより実行される。
例えば、UI部205のタッチスクリーンや入力装置に対する操作は、ユーザ端末側ソフトのイベントループで処理される。このうちのいくつかのイベントは、インターフェース部201、ネットワークNを経由して、楽曲編集システム100側のインターフェース部103まで送出される。
このイベント処理においても、インターフェース部103は、保持部101および演奏音生成部102を外部環境から隔離するファイアウォールとして機能する。そのため、ユーザ側端末200のイベント処理によって、楽曲編集システム100の内部データ(演奏情報/音色情報/自動演奏処理ソフト)に直接アクセスすることはできない。
ステップS303:(選曲イベントの発生) ユーザがGUI画面の画面上部406の『選曲』を操作すると、選曲イベントが発生する。この選曲イベントにおいて、GUI画面は、楽曲編集の対象曲を選択または検索するためのダイアログ画面(不図示)を表示し、ユーザから対象曲の選択または検索を受け付ける。選択または検索された対象曲の情報は、楽曲編集システム100のインターフェース部103に送出される。
ステップS304: 楽曲編集システム100のインターフェース部103は、ユーザが選曲した対象曲の情報を保持部101に照会する。保持部101はこの対象曲が編集対象としてメモリ上にあるか否かを判定する。編集対象にない場合、保持部101は、演奏情報/音色情報ライブラリ101aにアクセスして対象曲の演奏情報を編集対象として取得する。
ここでの演奏情報は、専門家がノウハウを駆使して打ち込むなどして作成した演奏情報(オリジナル)である。
ステップS305: 演奏音生成部102は、演奏情報と音色情報を保持部101から取得し、楽音の生成とエフェクト処理を行って、演奏音を得る。この演奏音はMP3ファイルなどに圧縮するなどして、インターフェース部103およびネットワークNを経由して、ユーザ側端末200へ返信される。
ステップS306: ユーザ側端末200は、受信した対象曲の演奏音をメモリ203に格納する。ユーザ側端末200は、この演奏音の音声波形グラフ(全体の音声波形や、選択エリア600で選択された調整対象の楽音パートの音声波形など)を簡略化した画像としてインターフェース部103から取得し、GUI画面の音声表示域401に表示する。なお、ユーザ側端末200は、楽曲編集システム100や外部の楽譜サーバなどから楽譜データを取得できる場合は、演奏音の楽譜(総譜や、選択エリア600で選択された調整対象のパート譜など)をGUI画面の音声表示域401に表示してもよい。このようにS303〜S306からなる選曲イベントの処理を完了すると、ユーザ側端末200はイベントループに動作を戻す。
ステップS307:(楽曲再生イベントの発生) ユーザが、GUI画面の画面上部406の『再生/一時停止/逆戻し』を操作するたびに、楽曲再生イベントが発生する。
ステップS308: ユーザ側端末200は、『再生』の操作に応じて、背景処理で、音再生部204のスピーカやヘッドホンを介して、メモリ203内の対象曲演奏音の再生動作を開始する。
この音声再生イベントの背景処理の起動を済ますと、ユーザ側端末200はイベントループに動作を戻す。また、ユーザ側端末200は、『一時停止/逆戻し』の操作に対応した背景処理も行う。
ステップS309:(区間指定イベントの発生) ユーザが、音声表示域401に対する操作を行うと、区間指定イベントが発生する。
ステップS310: ユーザ側端末200は、音声表示域401がクリックなどされると、その操作箇所を再生位置とする。
また、ドラッグなどで時間範囲を指定されると、その範囲に矩形状の区間指定407を表示する。すでに表示されている区間指定407の開始時刻または終了時刻箇所をドラッグなどした場合は、区間指定407の開始または終了時刻をドラッグ位置に変更し、区間指定407の幅を拡縮する。
これら位置指定や区間指定イベント処理を完了すると、ユーザ側端末200はイベントループに動作を戻す。
ステップS311:(調整指示イベントの発生) ユーザは、選択エリア600から調整対象とする楽音パート(楽器や歌手など)として1つ、複数、または全ての楽音パートを選択する。
さらに、ユーザがGUI画面(図3参照)のコンボボックス501を操作すると、選択エリア600で選択された楽音パートに応じた『音の相対変化の指示』の種類を選択するためのメニューが表示される。ユーザは、このメニューの中から所望の『音の相対変化の指示』の種類を選択する。
このメニュー選択に連動して調整指示域502に調整指示用のGUIパーツ群が表示される。図3は、調整指示の一例として『(ピアノの)和音の構成音の強弱調整』がメニュー選択された状態を示す。
ユーザは、調整指示域502の複数のトラックバーそれぞれについて、試聴した演奏音を基準に右左にずらすことにより、和音の構成音それぞれについて、試聴した演奏音を基準にした強弱の相対変化をつけることができる。
これらトラックバーを操作すると、調整指示イベントが発生する。また、GUI画面の適用釦やキャンセル釦が操作されても、調整指示イベントが発生する。この調整指示イベントには、『調整対象として選択された楽器や歌手』と、音の相対変化の指示の『種類』と、『相対変化の量』と、『区間指定407(全区間の場合あり)の情報』と、『適用釦およびキャンセル釦の操作状態』とがパラメータとして付与される。
ステップS312: 指示変換部104は、インターフェース部103を介して調整指示イベントを取得する。調整指示イベントの『種類』によっては、区間指定407に相対変化を反映させた影響が区間指定407の範囲外に波及する場合がある。また、区間指定407の内と外で相対変化の影響が不連続になる影響が生じる場合もある。そこで、指示変換部104は、調整指示イベントの『種類』に応じて、影響が及ぶはみ出し範囲を算出し、そのはみ出し範囲を含めて区間指定407を内部的に拡幅する(ただし拡幅された区間指定407は表示に反映しない)。また、不連続が生じる部分には重み付け(クロスフェード)によるオーバーラップ処理のための糊代範囲が追加拡幅される。
ステップS313: 指示変換部104は、調整指示イベントの『調整対象として選択された楽器や歌手』および調整指示イベントの『種類』に応じて、ステップS110で実装された変換処理を選択する。指示変換部104は、選択した変換処理を使用して、『試聴した演奏音を基準にした音の相対変化の指示』を『演奏情報および音色情報の補正情報』に変換する。
ステップS314: 指示反映部105は、保持部101内の演奏情報および音色情報に対し、区間指定407の範囲を補正情報に従って一時的に補正した結果をユーザ領域110に保存する。
なお、調整指示域502の適用釦が操作された場合、指示反映部105は演奏情報と音色情報の補正を確定する。また、調整指示域502のキャンセル釦が操作された場合、指示反映部105はユーザ領域110に保存された演奏情報と音色情報の一時的な補正情報を元に戻す。
ステップS315: 演奏音生成部102は、補正された演奏情報および音色情報に基づいて、区間指定407の範囲について演奏音の再生成(自動演奏処理とエフェクト処理)を行い、相対変化の指示を反映させた区間指定407の演奏音を得る。
ステップS316: 演奏音生成部102は、インターフェース部103、ネットワークNを介して、区間指定407の演奏音を返信する。
ステップS317: ユーザ側端末200は、受信した区間指定407の演奏音により、メモリ203内の該当する区間の演奏音を一時的に差し替える。
なお、調整指示域502の適用釦が操作された場合、ユーザ側端末200は演奏音の差し替えを確定する。さらに、ユーザ側端末200は、今回の調整指示の内容説明を調整表示域402〜405の区間指定407に表示する。
一方、調整指示域502のキャンセル釦が操作された場合、ユーザ側端末200は、演奏音の一時的な差し替えを調整指示イベント前の状態に戻す。ちなみに、ユーザは、演奏音の履歴を辿ることで複数回にわたるやり直しを行うこともできる。
なお、ユーザ側端末200は、これら演奏音の変化に連動して、音声表示域401の音声波形の表示を書き換える。
このように調整指示イベントの処理を完了すると、ユーザ側端末200はイベントループに動作を戻す。
ステップS318:(終了イベントの発生) ユーザがGUI画面の画面上部406の『終了』を操作すると、楽曲編集の終了イベントが発生する。この終了イベントを受け付けると、ユーザ側端末200は、メモリ203内の楽曲編集を完了した演奏音をユーザ側端末200側のローカルドライブ210に保存する。
ステップS319: ユーザは、このローカルドライブ210にアクセスすることにより、楽曲編集した演奏音をクラウドに接続することなく、いつでも試聴できるようになる。
また、ユーザ側端末200は、次回ログイン時に備えて、作業状態を復元するために必要な作業データをローカルドライブ210に保存する。この作業データは、次回ログイン時のステップS301において使用される。
なお、ユーザ側端末200は、オリジナルの演奏情報および音色情報をローカルドライブ210に格納しない。そのため、これら情報が、ローカルドライブ210を介して外部に漏洩することはない。
ステップS320: このように終了イベントの処理を完了すると、楽曲編集システム100は、ログアウト処理を行ってユーザ側端末200との連携を解除する。それに伴って、ユーザ側端末200はユーザ端末側ソフトの実行を停止する。
[4]実施形態の補足事項
(1)実施形態では、楽曲編集システム100とユーザ側端末200とで役割分担を行っている。しかし、この役割分担に限定されず、双方の役割分担を適宜に変更してもよい。
(2)実施形態では、楽曲編集システム100とユーザ側端末200とをサーバ・クライアントとして構成している。しかし、これに限定されず、実施形態を単体装置で実現してもよい。
(3)実施形態では、ステップS106において相対変化の指示を例示する。しかし、この例示に限定されず、演奏情報や音色情報の変更可能なパラメータに変換可能な『試聴した演奏音を基準にした音の相対変化の指示』であれば、適宜に採用できる。
(4)実施形態では、図3において相対変化の指示の入力手段としてGUI画面の例を挙げている。しかし、これに限定されず、相対変化の指示入力が可能な入力手段であれば適宜に採用できる。
(5)実施形態では、ユーザ側端末200のローカルドライブ210をデータ保存の手段として使用する。このローカルドライブ210の代わりに、クラウド側のユーザ領域110をデータ保存の手段として使用してもよい。
(6)また、ユーザ側端末200のUI部205に、ユーザまたは指揮棒のジェスチャを検出するカメラやセンサを設け、ユーザによる指揮者風のジェスチャを取得してもよい。このジェスチャの速度/大きさ/方向/パターン/回数/ポーズ/振り幅/周期/仕草などを『試聴した演奏音を基準にした音の相対変化の指示』や『調整対象の楽音パート』に結びつけるルール化または機械学習を行い、ジェスチャ認識部を作成する。インターフェース部103は、このジェスチャ認識部を内部に具備し、ユーザの指揮者風ジェスチャを認識して『試聴した演奏音を基準にした音の相対変化の指示』や『調整対象の楽音パート』を出力する。
以上の構成を付加することにより、ユーザの指揮者風ジェスチャに基づいて、上記の調整指示イベントを発生させることが可能になる。
この場合も、指示変換部104という具体的な技術手段を有するため、指揮者風ジェスチャを『試聴した演奏音を基準にした音の相対変化の指示』として自動認識した上で、さらに『演奏情報や音色情報の補正情報』に段階的に変換する。
そのため、演奏音(波形データ)そのものを調整するのではなく、演奏情報および音色情報をベースに調整するため、高度な調整(音楽表現)が可能になる。
一例としては、指揮ジェスチャに基づいて下記のような高度な演奏調整が実現可能になる。
(a)演奏音を基準に和音の構成音それぞれを個別に強く/弱く
(b)演奏音を基準に和音の構成音の時間ずれを前に/後ろに
(c)演奏音を基準に楽音パート別の音を強く/弱く
(d)演奏音を基準に楽音パート別のタイミングを前に/後ろに
[5]実施形態の効果など
実施形態では、既存の演奏情報および音色情報を元に楽曲編集が行われる。そのため、ユーザは、音符をゼロから全て打ち込む必要がなく、自動演奏を手軽に楽しむことができる。
また、実施形態では、演奏音を耳で聞きながら『ここの音をもっとこうしたい』といった感覚的な調整指示が可能である。そのため、ユーザは楽器演奏法の知識がなくても、演奏を手軽に工夫して楽しむことができる。
さらに、実施形態では、演奏音そのものを調整せずに、演奏音の元となる専門家が制作した演奏情報や音色情報を補正する。そのため、演奏音編集では不可能であった高度な演奏調整が可能になる。また、演奏音に対する調整に比べて、演奏情報や音色情報に対する調整は音質劣化が小さい。そのため、ユーザは、音質劣化を気にせずに、楽曲編集において大胆な音楽表現を試すことができる。
また、実施形態では、演奏情報と音色情報を機密化および暗号化して扱う処理機構を備える。さらに、インターフェース部103をファイアウォール化して、保持部101および演奏音生成部102を外部環境から隔離する。このような多重の秘匿化により、保持部101の内部情報のみならず、演奏音生成部102で処理途中の演奏情報や音色情報までも外部流出を防止することができる。
また、演奏音生成部102は相対変化の指示の影響を受ける区間のみ演奏音を再提供する。そのため、調整指示を受けない区間については以前に生成済みの演奏音で代用することにより、処理を省くことができる。
さらに、実施形態では、楽曲編集システム100がユーザに対して楽曲編集サービスを提供する。このようなサービス形態では、高度な機材を持たないユーザであっても、自宅などから自動演奏を手軽に楽しみ、かつ自動演奏の高度な調整を活用することが可能になる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、実施例の構成の一部を他の構成で代替することが可能であり、また、実施例の構成に他の構成を追加することも可能である。
上述したように、本発明は、楽曲編集の用途に利用することができる。
N…ネットワーク、100…楽曲編集システム、101…保持部、101a…演奏情報/音色情報ライブラリ、102…演奏音生成部、103…インターフェース部、104…指示変換部、110…ユーザ領域、200…ユーザ側端末、201…インターフェース部、202…制御部、203…メモリ、204…音再生部、205…UI部、206…内部バス、210…ローカルドライブ、400…編集エリア、401…音声表示域、402〜405…調整表示域、406…画面上部、407…区間指定、500…操作エリア、501…コンボボックス、502…調整指示域、600…選択エリア

Claims (6)

  1. 曲の演奏情報および楽音の音色情報を保持する保持部と、
    前記演奏情報と前記音色情報とに基づいて演奏音を生成する演奏音生成部と、
    前記演奏音生成部が生成した前記演奏音をユーザの試聴に提供し、前記演奏音を基準にした音の「相対変化の指示」を前記ユーザから受け付けるインターフェース部と、
    前記相対変化の指示を、前記演奏情報と前記音色情報の補正情報に変換する指示変換部と、
    前記指示変換部により変換された前記補正情報に従って、前記演奏情報および前記音色情報を補正する指示反映部とを備え、
    前記演奏音生成部は、
    前記指示反映部により補正された前記演奏情報および前記音色情報に基づいて前記演奏音を再生成する際に、前記相対変化の指示の影響を受ける区間の前記演奏音を再生成する処理機能を有し、前記影響を受けない区間は前記ユーザ側に提供済みの前記演奏音を再利用することで処理を節約する
    ことを特徴とする楽曲編集システム。
  2. 請求項1記載の楽曲編集システムにおいて、
    前記インターフェース部は、前記演奏音生成部が生成した前記演奏音をユーザの試聴に提供し、『前記演奏音の現在の設定値を表示せず、かつ前記設定値によらずに可変範囲の初期位置を予め定められる中央に設定する操作エリア』を生成し、試聴した前記演奏音を基準にした音の「相対変化の指示」を前記中央から可変するユーザ操作によって受け付ける
    ことを特徴とする楽曲編集システム。
  3. 請求項1〜2のいずれか一項記載の楽曲編集システムにおいて、
    前記保持部は、
    前記演奏情報や前記音色情報を機密化または暗号化して扱う処理機構を備えて、前記ユーザに前記相対変化の指示による楽曲編集は許可しつつ、前記演奏情報や前記音色情報それ自体の不正流出による盗用を抑制する
    ことを特徴とする楽曲編集システム。
  4. 請求項1〜3のいずれか一項記載の楽曲編集システムにおいて、
    前記インターフェース部は、
    前記保持部と前記ユーザの使用環境との間のネットワーク接続によるユーザアクセスを遮断することにより、前記ユーザに前記相対変化の指示による楽曲編集を許可しつつ、前記演奏情報や前記音色情報それ自体の不正流出による盗用を抑制する
    ことを特徴とする楽曲編集システム。
  5. 請求項1〜4のいずれか一項記載の楽曲編集システムが楽曲編集サービスをユーザに提供する方法であって、
    曲の演奏情報および楽音の音色情報を保持する保持ステップと、
    前記演奏情報と前記音色情報とに基づいて演奏音を生成する演奏音生成ステップと、
    前記演奏音生成ステップが生成した前記演奏音をユーザの試聴に提供し、前記演奏音を基準にした音の「相対変化の指示」を前記ユーザから受け付けるインターフェースステップと、
    前記相対変化の指示を、前記演奏情報と前記音色情報の補正情報に変換する指示変換ステップと、
    前記指示変換ステップにより変換された前記補正情報に従って、前記演奏情報および前記音色情報を補正する指示反映ステップとを備え、
    前記演奏音生成ステップは、
    前記指示反映ステップにより補正された前記演奏情報および前記音色情報に基づいて前記演奏音を再生成する際に、前記相対変化の指示の影響を受ける区間の前記演奏音を再生成する処理機能を有し、前記影響を受けない区間は前記ユーザ側に提供済みの前記演奏音を再利用することで処理を節約する
    ことを特徴とする楽曲編集サービスの提供方法。
  6. コンピュータ(コンピュータの一部または全部を代替し得る CPU, DSP, FPGA, GPU等の各種プロセッサも含む)を
    請求項1〜4のいずれか1項記載の前記保持部、前記演奏音生成部、前記インターフェース部,前記指示変換部、および前記指示反映部として、機能させるための楽曲編集プログラム。
JP2019084791A 2019-04-26 2019-04-26 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム Active JP6847429B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019084791A JP6847429B2 (ja) 2019-04-26 2019-04-26 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019084791A JP6847429B2 (ja) 2019-04-26 2019-04-26 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム

Publications (2)

Publication Number Publication Date
JP2020181119A JP2020181119A (ja) 2020-11-05
JP6847429B2 true JP6847429B2 (ja) 2021-03-24

Family

ID=73023467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019084791A Active JP6847429B2 (ja) 2019-04-26 2019-04-26 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム

Country Status (1)

Country Link
JP (1) JP6847429B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2261275A1 (en) * 1996-06-24 1997-12-31 Van Koevering Company Musical instrument system
JP4147885B2 (ja) * 2001-10-05 2008-09-10 ヤマハ株式会社 演奏データ加工処理装置
JP3736512B2 (ja) * 2002-08-30 2006-01-18 ヤマハ株式会社 楽音データ表示装置及びプログラム
JP2015049470A (ja) * 2013-09-04 2015-03-16 ヤマハ株式会社 信号処理装置及びそのプログラム

Also Published As

Publication number Publication date
JP2020181119A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
US10325581B2 (en) Singing voice edit assistant method and singing voice edit assistant device
JP6509192B2 (ja) オーディオ・ファイルを生成するためのシステム及び方法
US9805702B1 (en) Separate isolated and resonance samples for a virtual instrument
US9129583B2 (en) Systems and methods of note event adjustment
EP3462442B1 (en) Singing voice edit assistant method and singing voice edit assistant device
US9076264B1 (en) Sound sequencing system and method
US20110041059A1 (en) Interactive Multimedia Content Playback System
JP3778024B2 (ja) 情報処理装置及び情報処理方法、並びに記憶媒体
JP3867529B2 (ja) 電子音楽装置及びプログラム
US20040159216A1 (en) Method and system for creating and performing music electronically via a communications network
US20190051272A1 (en) Audio editing and publication platform
JP6847429B2 (ja) 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム
CN114797102A (zh) 信息显示方法及装置、计算机可读存储介质、电子设备
JP6953746B2 (ja) 電子音響装置および音色設定方法
CN112885369B (zh) 音频处理方法、音频处理装置
JP3794303B2 (ja) 演奏情報編集装置及び演奏情報編集プログラム
JP4356509B2 (ja) 演奏制御データ編集装置およびプログラム
JP2006267173A (ja) 演奏データ編集装置および演奏データ編集プログラム
JP4535054B2 (ja) 電子音楽装置及びそのコンピュータプログラム
JP3794299B2 (ja) 演奏情報編集装置及び演奏情報編集プログラム
JP3846334B2 (ja) 自動作曲・編曲装置および自動作曲・編曲方法を実現するためのプログラム
Rey et al. Logic Pro 101: Music Production Fundamentals
JP2023053597A (ja) 演奏パラメータ設定装置及び演奏パラメータ設定プログラム
Nahmani Logic Pro-Apple Pro Training Series: Professional Music Production
CN117075772A (zh) 多媒体内容展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201221

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201221

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210222

R150 Certificate of patent or registration of utility model

Ref document number: 6847429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150