JP5842545B2 - 発音制御装置、発音制御システム、プログラム及び発音制御方法 - Google Patents
発音制御装置、発音制御システム、プログラム及び発音制御方法 Download PDFInfo
- Publication number
- JP5842545B2 JP5842545B2 JP2011242606A JP2011242606A JP5842545B2 JP 5842545 B2 JP5842545 B2 JP 5842545B2 JP 2011242606 A JP2011242606 A JP 2011242606A JP 2011242606 A JP2011242606 A JP 2011242606A JP 5842545 B2 JP5842545 B2 JP 5842545B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- feature amount
- material data
- sound
- icon image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 16
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 239000000463 material Substances 0.000 claims description 282
- 238000012545 processing Methods 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 20
- 230000010365 information processing Effects 0.000 description 65
- 238000000605 extraction Methods 0.000 description 46
- 230000004048 modification Effects 0.000 description 41
- 238000012986 modification Methods 0.000 description 41
- 238000004891 communication Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 6
- 239000012636 effector Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/125—Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/131—Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
- G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
- G10H2220/106—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/145—Sound library, i.e. involving the specific use of a musical database as a sound bank or wavetable; indexing, interfacing, protocols or processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
- G10H2240/295—Packet switched network, e.g. token ring
- G10H2240/305—Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes
Description
そのため、ユーザは、楽曲の進行の流れを大きく変化させずに複製部分の楽曲の印象を変化させることを試みる場合がある。この場合には、ユーザは、発音タイミングの変更をせずに、発音させる音素材の種類を変更することになるが、変更対象の全ての音素材の種類をそれぞれ変更する必要があるため、結果的には、作業の簡略化にはつながらなかった。
別の好ましい態様において、前記データベース設定手段は、前記複数のデータベースの種類の各々が複数の行の各行において表示され、前記各行において、対応する種類のデータベースの前記検索対象としての設定の有効又は無効を指定することを特徴とする。
[全体構成]
図1は、本発明の実施形態における発音制御システム1の構成を説明するブロック図である。発音制御システム1は、インターネットなどの通信回線1000を介して接続される情報処理端末10およびサーバ装置50を有する。発音制御システム1は、楽曲の楽音を示す楽曲データなどの一部として抽出された音素材を用いて楽音を発生させるための制御を行う。この例においては、音素材の波形を示す素材データは、サーバ装置50において記憶されている。
図2は、本発明の実施形態におけるサーバ装置50の構成を説明する図である。サーバ装置50は、制御部51、通信部54および記憶部55を有する。これらの各構成は、バスを介して接続されている。
切出DBは、楽音波形を示す切出データを記憶するデータベースである。切出データは、その一部または全部が、音素材を示す素材データとして用いられるデータである。
特徴量DBは、複数の特徴量DB(特徴量DBa、DBb,・・・)から構成されている。以下、それぞれを特に区別せずに説明する場合には、特徴量DBという。特徴量DBについては、予め記憶部55に記憶されているが、通信部54を介して外部装置から取得することにより、新たな種類の特徴量DBがさらに記憶されるようにしてもよい。
特徴量情報の内容に応じて分類されるカテゴリは、聴感上の特徴が似た音素材ごとに分類されたものであり、例えば、アタックが明瞭でエッジ感が強い音として分類されるカテゴリ「分類A(例えば、エッジ音)」、ノイズのように聞こえる音として分類されるカテゴリ「分類B(例えば、テクスチャ音)」などである。
図3に示す特徴量DBにおいて、切出データAの時刻ts1から時刻te1のデータ範囲として特定される素材データは、特徴量Paであり、分類Aのカテゴリに分類されていることを示す。以上が、サーバ装置50のハードウエア構成についての説明である。
図4は、本発明の実施形態における情報処理端末10の構成を説明する図である。情報処理端末10は、制御部11、操作部12、表示部13、通信部14、記憶部15及び音響処理部16を有する。これらの各構成は、バスを介して接続されている。また、情報処理端末10は、音響処理部16に接続されたスピーカ161およびマイクロフォン162を有する。
表示部13は、液晶ディスプレイなどの表示デバイスであり、制御部11の制御に応じた内容の表示を表示画面131に行う。表示画面131に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる(図8、図11、図12、図13、図14参照)。
記憶部15は、揮発性メモリの一時記憶領域と不揮発性メモリで構成され、一時記憶領域には、後述のプログラムで利用する楽曲データや実行するプログラムなどを一時保存する。不揮発性メモリには、楽曲データベース(以下、楽曲DBと記す)、抽出データ、素材データベース(以下、素材DBと記す)、シーケンスデータおよびテンプレートデータをそれぞれ記憶する記憶領域の他、上述したシーケンスプログラム、類似音置換プログラムおよびテンプレートシーケンスプログラムなどの各種プログラムを記憶する記憶領域を有する。不揮発性メモリに記憶されている各種データについては、予め記憶部15に記憶されているが、通信部14を介して外部装置から取得することにより、新たに追加して記憶されるようにしてもよい。また、後述するようにしてユーザによって作成された新たなシーケンスデータおよびテンプレートデータについても、記憶部15に記憶されるようにしてもよい。
楽曲DBは、様々な楽曲の音の波形を示す楽曲データ(楽曲データA、B、・・・)が記憶されたデータベースである。素材DBは、サーバ装置50における検索プログラムが実行され、サーバ装置50から送信された置換用の素材データ(素材データW1、W2、・・・)が記憶されたデータベースである。
DB指定データは、特徴量指定データによって示される特徴量情報を用いて、サーバ装置50において素材データを特定するときの検索対象となる特徴量DBの種類を再生時刻の範囲として設定されたデータである。図6(b)の例によれば、再生時刻「0001:01:000」から「0001:03:959」までは、検索対象となるデータベースは特徴量DBaであることを示している。
なお、テンプレートデータについては後述する。
次に、情報処理端末10の制御部11がシーケンスプログラムを実行し、それに伴いサーバ装置50の制御部51が検索プログラムを実行することによって実現される機能について説明する。なお、以下に説明する機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
表示制御部110は、ユーザによって入力される指示に応じて、表示画面131の表示内容を制御する。この場合、表示画面131には、図8に示すような内容が表示される。
なお、類似度を判断するためのアルゴリズムについては、公知の他のアルゴリズムを用いてもよい。また、ユークリッド距離が最も短くなるものでなくてもよく、2番目、3番目に近いものを特定してもよい。このような特定を行うために必要な情報は、予めユーザなどにより設定されていればよい。また、特定される素材データは、シーケンスデータに含まれる特徴量情報に対して、特徴量情報が類似関係にあるものでなくてもよく、予め決められた特定の関係にあればよい。また、検索対象については、検索対象となる種類の特徴量DBとするだけなく、さらに、カテゴリにより絞りこまれてもよい。この場合には、検索対象となるカテゴリは、例えばユーザによって指示されたものであってもよいし、シーケンスデータに含まれる特徴量情報と同じカテゴリまたは関連するカテゴリであってもよい。ここで、関連するカテゴリは、予め設定されたアルゴリズムに従って決められてもよいし、予め関連するカテゴリ同士が設定されていてもよい。
以上が機能構成についての説明である。続いて、シーケンスプログラム実行時の発音制御システム1における動作について図9を用いて説明する。
図9は、本発明の実施形態におけるシーケンスプログラム実行時の発音制御システム1の動作を説明する図である。ここでは、情報処理端末10は、ユーザからシーケンスプログラムの実行の指示が入力された後の処理を説明する。シーケンスプログラムが実行されると、表示画面131には、図8に示すように、アイコン配置領域ST、DB配置領域DTなどの表示がなされる。この段階においては、アイコン画像およびDB画像は表示されていないものとする。
続いて、類似音置換プログラム実行時の発音制御システム1における動作について図10を用いて説明する。
図10は、本発明の実施形態における類似音置換プログラム実行時の発音制御システム1の動作を説明する図である。ここでは、情報処理端末10は、ユーザから類似音置換プログラムの実行の指示が入力された後の処理を説明する。類似音置換プログラムが実行されると、表示画面131には、サーバ装置50に送信して素材データを抽出させる対象となる切出データを含む楽音データを決定するための表示として、図11に示す内容の表示がなされる。制御部11は、ユーザによって入力された指示に応じて、楽音データを決定する(ステップS210)。
一方、ユーザが録音選択ボタンbs1を操作すると、制御部11は、表示画面131に表示される内容を図11(b)に示す内容に切り替える。このとき表示画面131には、録音を開始させる指示をユーザから受け付けるための録音開始ボタンbrs、録音の開始から経過した時間を示す録音時間表示バーsb、1つ前の画面(この場合においては、図11(a)に示す表示画面)に戻る指示をユーザから受け付けるための戻りボタンbr、および録音した内容を楽音データとして決定する指示をユーザから受け付けるための決定ボタンbfが表示される。
ユーザは、この状態において楽音データとしたい音をマイクロフォン162から入力する。音の入力が終了し、ユーザが録音停止ボタンbreを操作すると、制御部11は、マイクロフォン162から入力される音を示すデータの蓄積を終了し、表示画面131の表示を図11(b)に示す内容に切り替える。
このように、制御部11は、楽曲データまたは録音によって蓄積されたデータを楽音データとして決定する(ステップS210)と表示画面131に表示される内容を、図12に示す内容に切り替える。
表示画面131には、指定されたデータ範囲twを設定するための設定ボタンbk、1つ前の画面に戻る指示をユーザから受け付けるための戻りボタンbr、指定されたデータ範囲twの楽音データを再生してスピーカ161から出力させる指示をユーザから受け付けるための再生ボタンbpが表示される。位置の指定方法は、例えば表示画面131上でそれぞれの範囲指定矢印を二本の指でタッチしながら広げたり狭めたりスライドさせることによる。指定範囲矢印は、波形wd2に重ねるように表示し、その位置は波形wd2の中心線上でも良いし、中心線近辺でも良い。波形表示に重ねることで直感的に開始指定点と終了指定点がわかるので、指定範囲矢印は、特に矢印の形状を形成したアイコンでなくても良く、タッチする箇所を視覚的に誘導可能なアイコンであればよい。指定範囲矢印は、波形の開始指定点と終了指定点が認識し易いように、その一部を透かしても良いし、半透明であっても良い。
なお、ステップS260における素材データの登録については、存在しなくてもよいし、登録を行うか否かを、ユーザが予め指定してもよい。
制御部51は、抽出した各素材データに類似する5つの素材データを特定すると、これらの素材データを通信部54から情報処理端末10に送信させ、また、図5に示すような抽出データを構成するための情報、すなわち、切出データのうち、素材データとして抽出した部分とその特徴量情報、類似する素材データ(置換用の素材データ)を識別する情報などを、通信部54から送信させる(ステップS270)。
なお、DB指定データが用いられる場合には、DB配置領域DTに相当する領域が、表示画面131に表示されるようにしてもよいし、表示されなくてもよい。
ユーザが再生ボタンbpを操作することにより再生が指示されると(ステップS290)、制御部11は、切出データのうち、設定された内容に応じて、抽出された素材データを置換用の素材データに置換して再生して楽音データとして出力(ステップS300)し、スピーカ161から放音させる。そして、ユーザにより入力された指示により、ファイル名を指定して、置換したデータを示す情報を記憶部15の不揮発性メモリに記憶する。この情報は、波形を示すデータであってもよいし、抽出データにおいて、選択された置換用の素材データを特定する情報を追加したものであってもよい。記憶されたファイルは、ファイル名を指定して、情報処理端末10単体で読み出し可能となる。
以上が類似音置換プログラム実行時の動作についての説明である。
図14は、テンプレートシーケンスプログラム実行時の表示画面を説明する図である。テンプレートシーケンスプログラムは、予め複数(例えば、16個)のテンプレートを用意しておき、そのテンプレートによって規定される発音タイミングで、素材データを発音させるプログラムである。
テンプレートシーケンスプログラムを実行するには、上述の素材データの置換態様を設定する画面(図13)においてテンプレートシーケンスプログラムへの移行指示の操作を受け付けるための移行指示ボタンbtsをユーザが操作して行う。図14の上部にある波形領域は、素材データの置換態様を設定する画面で表示された波形wd3が示され、下部にあるトラック領域TTには、複数(図13の例では4つ)のトラックが表示される。個のトラック領域TTは、上述したアイコン配置領域STに相当する。なお、トラックは上から順に、第1〜第4トラック(図13におけるtb1〜tb4に対応)と呼ぶ。トラックtb1、tb2、tb3、tb4のそれぞれは、抽出ウインドウwk1、wk2、wk3、wk4のいずれかに対応して設けられている。この例においては、抽出ウインドウwk1、wk2、wk3、wk4に示されるa〜dは、トラック領域TTの各トラックtb1,tb2、tb3、tb4の左側に示されるa〜dに対応しており、波形領域のどの部分のデータとトラックの類似音が対応しているかがわかるようになっている。
また、テンプレートは、予めテンプレートシーケンスプログラムによって規定されているものとして説明しているが、ユーザが作ったり、既存のテンプレートを加工できるようにしてもよい。このようにして作成、加工したテンプレートは、上述したように、記憶部15に記憶できるようにして、ユーザが後にテンプレートシーケンスプログラムを実行したときに、読み出して利用してもよい。また、拍数の合計値に応じて、トラック領域TTに表示されるアイコン画像の数は増減させてもよいし、スクロールするようにして表示させてもよい。また、あらかじめ用意されたテンプレートだけでなく、新たにテンプレートを作成してもよい。この場合、ユーザは、特徴量情報を新たに設定し、その特徴量情報と類似する素材データを、上述したステップS240(図10参照)で抽出された素材データの中から決定する。また、それぞれのトラックに付いて発音タイミングを任意に設定することができる。
なお、上記の発音アイコン画像tbsに数値を表示させる代わりに発音アイコン画像tbsの色の明度あるいは濃度で表示したり、色の違いで表すようにしてもよい。また、トラックtb1、tb2、tb3、tb4と抽出ウインドウwk1、wk2、wk3、wk4関係についても同様にして、アルファベットによる表示以外に、色などにより対応関係がわかるようにしてもよい。
なお、16個のテンプレートは、それぞれが特徴量と発音タイミングを異なるものとして使うのが一般的であるが、一部のテンプレートの間で、特徴量情報または発音タイミングのデータのどちらかを他のテンプレートと共通にして、サーバ装置50と情報処理端末10との間でやり取りするデータ量、サーバ装置50における計算量を少なくするようにしてもよい。
そして、ユーザにより入力された指示により、ファイル名を指定してそれぞれのテンプレートと割当てテーブルのデータをひとつのファイルとして、記憶部15の不揮発性メモリに記憶する。記憶されたファイルは、ファイル名で情報処理端末単体で読み出し可能となる。
上述の実施形態では、情報処理端末10は、タブレット端末、携帯電話、PADなどに適用した例として説明したが、他のひとつの例としては、情報処理端末10において実現される各機能は、DAW(Digital Audio Workstation)と呼ばれるアプリケーションソフトウェアをパソコン(パーソナルコンピュータ)PCのOS(Operating System)上で起動させることにより実現することができる。すなわち、情報処理端末10は、DAWが動作しているパソコンPCにより音楽処理装置として実現される。音楽処理装置では、MIDI(Musical Instrument Digital Interface)イベントやオーディオ信号の録音/再生、編集、ミキシングなどの一連の音楽処理を実行することができ、その機能の一つとして上述のシーケンスプログラム、テンプレートシーケンスプログラムを持たせるようにする。
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例1]
上述した実施形態において、ユーザによって入力された指示に応じて、アイコン配置領域STに表示されるアイコン画像が時間軸方向に伸縮可能に構成されてもよい。
なお、図8に示すアイコン画像は、すべて同じ大きさであり、本変形例での処理により時間軸に沿った方向に伸縮させていたが、伸縮させる前の状態であっても、そのアイコン画像に対応する特徴量情報に類似するものとして特定された素材データを再生したときの音長に応じた長さで表示されてもよい。
上述した実施形態においては、アイコン配置領域STの縦軸は音量を示す座標軸(音量軸)であったが、例えば、ピッチ、音長などを示す座標軸(以下、指定座標軸という)としてもよい。すなわち、アイコン配置領域STは、素材データの音量以外の他の加工内容を指定する指定値を示す指定座標軸をもっていてもよい。ピッチを示す指定座標軸とした場合には、発音制御部130は、素材データのピッチを、アイコン画像の指定座標軸における位置に応じて変更してデータ出力部140から楽音データとして出力させればよい。音長を示す指定座標軸とした場合には、発音制御部130は、アイコン画像の指定座標軸に於ける位置に応じて、タイムストレッチ処理(素材データの波形を伸ばす処理)、ループ処理(素材データを繰り返して出力させる処理)などを施すことにより加工し、データ出力部140から楽音データとして出力させればよい。
また、指定座標軸によって指定される加工内容は、音量、ピッチなど複数種類にわたってもよく、この場合には、ユーザによって入力された指示に応じて、指定座標軸の種類を切り替えて、アイコン画像を配置可能なものとしてもよい。このように切り替え可能な指定座標軸をもつアイコン配置領域STにアイコン画像を配置させることにより、素材データを様々に加工してもよい。
上述した実施形態においては、アイコン配置領域STの縦軸は素材データの加工内容を指定する指定座標軸であったが、特定部510において素材データを特定するための特定値を示す座標軸(以下、特定座標軸という)としてもよい。この場合には、特定部510は、素材データを特定するときに、アイコン画像の特定座標軸における位置に応じて特定すればよい。例えば、特定値が類似度に関するものであれば、アイコン配置領域STの上方にアイコン画像が位置するほど、特定部510において特定される素材データが類似度が低い(特徴量情報間のユークリッド距離が長い)ものが特定されるようにすればよい。
なお、類似度についてはユーザが指定するのではなく、例えば、ユーザが所定の操作(ランダムボタンの操作など)をすることにより、全てのアイコン画像または予め指定されたアイコン画像に対応する類似度が予め決められたアルゴリズム(例えばランダム)に従って指定されるようにしてもよい。
上述した実施形態においては、類似音置換プログラムの実行により、表示画面131に表示される内容は、図12に示す内容から図13に示す内容に切り替わり、類似音として置換する素材データは、選択肢の中からユーザが選択していたが、図17に示す内容での表示を行うことで、別の態様で置換する素材データを選択するようにしてもよい。図17、図18を用いて、この場合における表示画面131の表示内容および発音制御システム1の動作について説明する。
サーバ装置50の制御部51は、切出データから抽出した素材データを示す情報(切出データにおけるデータ範囲、特徴量情報)を抽出結果データとして、通信部54から送信させる(ステップS310)。
抽出ウインドウwr1の上部には、分類切替領域wrbが表示されている。分類切替領域wrbは複数の領域に分けられ、各領域には、分類対象となる全てのカテゴリに応じた色で塗りつぶされている。また、抽出ウインドウwr1は、上下方向(縦軸)の位置が類似度と対応付けられ、上方ほど類似度が高くなるように決められている。すなわち、類似度と色の濃度とが相関を持っている。
ユーザによって再生ボタンbpが操作されると、制御部11は、検索条件を示す条件データを各ウインドウwr1における素材データを識別する情報と対応付けて、通信部14から送信させる(ステップS330)。
制御部51は、条件データに応じて素材データを特定すると、実施形態におけるステップS270の処理と同様に、特定した素材データ、および置換対象となる素材データを識別する情報を対応付けて、通信部54から情報処理端末10に送信させる(ステップS350)。
また、抽出ウインドウに含まれる部分とそれ以外の部分において再生するときの音量をそれぞれ調整できるようにしてもよい。この調整は、連続量で制御できるようにしてもよいし、オンオフできるか得られるようにしてもよい。また、抽出ウインドウ毎に調整できるようにしてもよい。このようにして、素材データ部分を際立たせたり目立たなくしたりした放音が可能となる。これらは、実施形態の図13に示す表示がされているときにおいても適用可能である。
また、実施形態においても説明したように、ユーザが抽出ウインドウwr1、wr2、・・・の時間軸方向の長さを調整して、抽出された素材データの開始時間または終了時間を調整可能としてもよい。
上述した実施形態において、図9に示すステップS170の処理、すなわち、シーケンスプログラムの実行時にデータ出力部140から出力される楽音データは、発音制御部130が、アイコン画像の時間軸における位置に応じたタイミングで素材データを出力することにより実現していたが、出力期間全体の発音内容を示すデータとして発音制御部130によって生成された後、データ出力部140から出力されるようにしてもよい。発音制御部130は、生成された楽音データを記憶部15に出力して記憶させるようにしてもよい。また、楽音データとして記憶させる場合に限らず、シーケンスデータと素材データとの組み合わせなど、楽音データを生成するために必要な複数種類のデータで記憶させれるようにしてもよい。各種データを記憶させる指示については、ユーザによって入力されるようにすればよい。
上述した実施形態においては、シーケンスプログラム実行時に表示画面131に表示されるアイコン画像、DB画像などはプログラム上において生成しているが、これらの画像は、予め記憶部15、55などに記憶されていてもよい。
上述した実施形態においては、アイコン配置領域STに表示されるアイコン画像に対応する特徴量情報の内容は、ユーザが入力した指示に応じて決定していたが、ユーザは、アイコン画像の絵柄(またはカテゴリ)を選択することにより、この絵柄に対応するカテゴリの予め決められた代表値を特徴量情報として決定するようにしてもよい。
上述した実施形態において、DB指定データの内容は、ユーザがDB配置領域DTにDB画像を配置することにより決定されていたが、予め決められたアルゴリズムにしたがって、再生時刻範囲と特徴量DBの種類との関係を、制御部11が自動的に決定するようにしてもよい。
上述した実施形態において、DB指定データの内容として特徴量DBの種類の指定がされていない再生時刻範囲が存在する場合には、指定されていない再生時刻範囲においては、予め決められた特徴量DBの種類(全ての種類、一部の特定の種類など)が検索対象として指定されてもよいし、その範囲の直前に指定されていた種類を指定してもよい。
上述した実施形態においては、発音制御システム1は、通信回線1000を介して接続された情報処理端末10とサーバ装置50とにより構成されていたが、一体の装置として構成され、通信回線1000を介していない構成としてもよい。また、別体の装置であっても、情報処理端末10における各構成の一部がサーバ装置50の構成に含まれていてもよいし、逆に、サーバ装置50の各構成の一部が情報処理端末10の構成に含まれていてもよい。また、情報処理端末10の記憶部15に記憶されている各種情報、およびサーバ装置50の記憶部55に記憶されている各種情報は、発音制御システム1全体としていずれかの記憶部において記憶されていればよく、情報処理端末10およびサーバ装置50以外に、これらの情報の全部または一部を記憶する記憶装置が通信回線1000に接続されていてもよい。また、これらの情報は、通信回線1000に接続可能な他の情報処理端末10と共有することにより、他のユーザが使用できるようにしてもよい。
組み合わせとしては、例えば、特徴量DBはサーバ装置50の記憶部55に記憶されている一方、情報処理端末10において、記憶部15に切出DBが記憶され、特定部510の機能が実現されてもよい。さらには、検索プログラムおよび抽出プログラムの実行は情報処理端末10で実行してもよいし、情報処理端末10から得た情報をもとにサーバ装置50で実行するようにしてもよい。
記憶部15Aは、実施形態における記憶部15に記憶されていた内容に追加して記憶部55に記憶されていた内容が追加されたものである。
制御部11Aは、実施形態における制御部11および制御部51において別々に実行されていたプログラムを、共に実行する。共に実行されるプログラム、例えば、シーケンスプログラムと検索プログラムとは、同じプログラムとして統合されて、記憶部15Aに記憶されていてもよい。
制御部11Aがシーケンスプログラムおよび検索プログラムを実行することにより実現される機能について、図21を用いて説明する。
テンプレートシーケンスプログラムにおける、トラックの数は4つに限定されない。それよりも少なくてもよいし多くてもよい。さらには、トラックの概念をなくし、無制限(=現実的にはシステムが許容できる最大量の)のトラック数にしてもよい。この場合、無数の特徴量データを時間軸に配置する形になり、それぞれ独立に類似音や特徴量パラメータ変更をすることができる。
上述した実施形態においては、特徴量DBのデータ範囲に応じて、適時切出DBから素材データを取得しているが、あらかじめ切出し済みの区間の素材データだけを保持しておいても良い。その場合、特徴量DBにデータ範囲の情報は不要である。
上述した実施形態においては、抽出された素材データの特徴量情報に対して類似度の高い素材データを特徴量DBを検索して特定する(ステップS260、図10参照)ようにしているが、類似度の高さに閾値を持たせてもよい。この閾値は、あまりに類似するものが抽出されても、元の音との変わり映えがしなくなるために、ユークリッド距離が閾値に
応じた所定量以上の素材データを特定するためのものでもよいし、あまりにかけ離れたものを抽出しないようにするためにユークリッド距離が所定量以内のものとするようにしてもよい。また、前述の両方の閾値を用いてもよい。また、閾値は、ユーザが設定できるようにしてもよい。
上述した実施形態および変形例4において、ユーザが抽出ウインドウの時間軸方向の長さを調整することができるようにしてもよいことを示したが、この調整において、より細かい調整が可能となるようにしてもよい。
このようなポップアップウインドウを表示させて行う時間軸方向の調整は、実施形態における図8の表示においても行うことができるようにしてもよい。
上述した実施形態において、DB配置領域DTには、特徴量DBの種類が対応付けられたDB画像が表示されていたが、特徴量DBの種類とその検索対象となる時刻の範囲とは別々に表示されていてもよい。
なお、DB種類指定領域DMの左側に表示されているチェックボックスCBにより、対応する行において指定された検索対象を有効とするか無効とするかを指定する事ができるようにしてもよい。このチェックボックスCBは、図8に示す表示において用いられてもよい。
上述した実施形態において、図8に示す表示におけるアイコン画像は、ユーザの指示に応じて決定された特徴量情報に応じて配置されていた。ユーザが特徴量情報を指示するときに、所望の特徴量情報を特徴量DBから検索するようにしてもよい。このときには、例えば、特開2011−163171号公報に開示された方法を用いればよい。また、このときの検索対象の特徴量DBの種類については、図24に示したチェックボックスCBにおいて指定された特徴量DBとしてもよい。なお、ユーザがこのようにアイコン画像に対応する特徴量情報を指示する場合には、図8に示す表示の一部に、特徴量情報の指示をするための表示を行うようにすればよい。また、アイコン画像に対して所定の操作(ダブルクリック操作など)をしたときにポップアップウインドウなどを表示させて、そのアイコン画像に対応する特徴量情報を指示できるようにしてもよい。
上述した実施形態での図8に示す表示において、特徴量DBの種類、およびその検索対象となる時刻の範囲については、ユーザが指定していたが、例えば、ユーザが所定の操作(ランダムボタンの操作など)をすることにより、予め決められたアルゴリズム(例えばランダム)に従って指定されるようにしてもよい。また、図8に示すように予め特徴量DBの種類、およびその検索対象となる時刻の範囲が決められている場合には、いずれかのDB画像を指定して、指定されたDB画像に対して予め決められたアルゴリズム(例えばランダム)に従って、特徴量DBの種類、時刻の範囲が変更されるようにしてもよい。さらには、データベースのランダム選択で、DB配置領域DT自体をアクティブ(特徴量DBを選択する機能が生きている状態)にして特徴量DBを選択可能にしたり、非アクティブ(特徴量DBを選択する機能が生きていない状態)にして特定の特徴量DBのみを適用したりすることもランダムに行えるようにしてもよい。さらには、DB配置領域DTにおいて選択されている特徴量DBをアクティブ(選択されている特徴量DBを検索対象とする状態)にしたり、非アクティブ(選択されている特徴量DBを検索対象としない状態)にしたりすることもランダムに行えるようにしてもよい。このとき、アクティブな特徴量DBに対応するDB画像は色つきのままとして、非アクティブな特徴量DBに対応するDB画像はグレーアウトするなど、表示が変更されている特徴量DBについてアクティブか非アクティブか認識できるようにするとよい。
上述した実施形態での図8に示す表示において、アイコン画像に該当する音がない場合には、アイコン画像をグレーアウトさせてもよい。該当する音がないとは、例えば、そのアイコン画像に対応する時刻を範囲とする特徴量DB(検索対象となる特徴量DB)が決められていない場合、アイコン画像に対応する特徴量情報に基づいて特定部510により特定される素材データが存在しない場合などがある。特定部510により特定される素材データが存在しないとは、例えば、アイコン画像に対応する特徴量情報に最も類似する素材データが、しきい値として予め決められた類似度よりも類似していない場合、またカテゴリにより検索対象が絞り込まれる構成であるときに検索対象の特徴量DBにそのカテゴリが含まれていない場合などがある。
上述した実施形態における各プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、情報処理端末10またはサーバ装置50は、各プログラムをネットワーク経由でダウンロードしてもよい。
上述した実施形態におけるシーケンスプログラムで作成されるファイルとテンプレートシーケンスプログラムで作成されるファイルは、それぞれ別のファイルとして、不揮発性メモリに記憶されるようにしたが、ひとつの操作でシーケンスプログラムで作成されるファイルとテンプレートシーケンスで作成されるファイルを不揮発性メモリに記憶するようにしてもよい。そのとき、それぞれのファイルを拡張子を異ならせるなどして別ファイルとして、記憶するようにしてもよいし、ひとつのファイルにまとめて記憶するようにしてもよい。さらに、いずれのファイル名は、ユーザが指示する必要をなくし、曲名や日時等の情報から自動で指定されるようにしてもよい。
Claims (13)
- 時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、
素材データと当該素材データの前記特徴量情報とを対応付けた複数のデータベースの種類が、入力される指示に応じて前記配置領域の時間軸に沿って表示され、前記時間軸に沿って検索対象となる前記データベースの種類を設定するデータベース設定手段であって、前記時間軸において2以上のデータベースの種類が設定された位置ではそれらを検索対象として設定するデータベース設定手段と、
前記アイコン画像が表示された位置と前記時間軸において対応関係にある1以上の種類のデータベースを前記検索対象として参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定装置に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段と
を具備することを特徴とする発音制御装置。 - 前記データベース設定手段は、
前記複数のデータベースの種類の各々が複数の行の各行において表示され、前記各行において、対応する種類のデータベースの前記検索対象としての設定の有効又は無効を指定する
ことを特徴とする請求項1に記載の発音制御装置。 - 前記配置領域は、前記素材データの加工内容を指定する指定値を示す指定座標軸がさらに規定され、
前記発音制御手段は、前記アイコン画像の前記指定座標軸における位置に応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御する
ことを特徴とする請求項1または請求項2に記載の発音制御装置。 - 前記配置領域は、前記素材データを特定するための特定値を示す特定座標軸がさらに規定され、
前記特定の関係は、前記アイコン画像の前記特定座標軸における位置に基づいて決定される
ことを特徴とする請求項1乃至請求項3のいずれかに記載の発音制御装置。 - 前記アイコン画像は、当該アイコン画像に対応付けられた特徴量情報に応じた絵柄の画像である
ことを特徴とする請求項1乃至請求項4のいずれかに記載の発音制御装置。 - 前記配置領域は、前記特徴量情報を規定するための特徴量規定軸がさらに規定され、
前記表示制御手段は、前記配置領域のうち、前記アイコン画像に対応付けられた特徴量情報に対応する前記特徴量規定軸の位置に、当該アイコン画像を表示させる
ことを特徴とする請求項1乃至請求項4のいずれかに記載の発音制御装置。 - 前記表示制御手段は、入力される指示に応じて、前記配置領域に表示された前記アイコン画像の前記時間軸に沿った方向の長さを変更し、
前記発音制御手段は、前記アイコン画像の長さに応じて、当該アイコン画像から前記特定された素材データに応じた発音内容が変化するように制御する
ことを特徴とする請求項1乃至請求項6のいずれかに記載の発音制御装置。 - 前記アイコン画像は、前記特徴量情報が示す特徴量に応じて変化する
ことを特徴とする請求項1乃至請求項7のいずれかに記載の発音制御装置。 - 時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、
素材データと当該素材データの前記特徴量情報とを対応付けた複数のデータベースの種類が、入力される指示に応じて前記配置領域の時間軸に沿って表示され、前記時間軸に沿って検索対象となる前記データベースの種類を設定するデータベース設定手段であって、前記時間軸において2以上のデータベースの種類が設定された位置ではそれらを検索対象として設定するデータベース設定手段と、
前記アイコン画像が表示された位置と前記時間軸において対応関係にある1以上の種類のデータベースを前記検索対象として参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段と、
前記アイコン画像の前記時間軸における位置に応じたタイミングおよび前記特定手段により特定された素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段と
を具備することを特徴とする発音制御装置。 - 請求項1乃至請求項8のいずれかに記載の発音制御装置と、
前記発音制御装置から、前記アイコン画像が表示された位置と前記時間軸において対応関係にある前記検索対象とされたデータベースの種類を示す種類情報および当該アイコン画像に対応付けられた特徴量情報を取得する取得手段と、
複数種類の前記データベースのうち、前記種類情報が示す種類のデータベースを参照して、当該種類情報とともに取得した前記特徴量情報と特定の関係となる素材データを特定する特定手段と、
前記特定された素材データを前記発音制御装置に出力する出力手段と
を有する特定装置と
を具備することを特徴とする発音制御システム。 - コンピュータを、
時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、
素材データと当該素材データの前記特徴量情報とを対応付けた複数のデータベースの種類が、入力される指示に応じて前記配置領域の時間軸に沿って表示され、前記時間軸に沿って検索対象となる前記データベースの種類を設定するデータベース設定手段であって、前記時間軸において2以上のデータベースの種類が設定された位置ではそれらを検索対象として設定するデータベース設定手段と、
前記アイコン画像が表示された位置と前記時間軸において対応関係にある1以上の種類のデータベースを前記検索対象として参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定装置に当該素材データを特定させ、当該アイコン画像の前記時間軸における位置に応じたタイミングおよび当該素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段
として機能させるためのプログラム。 - コンピュータを、
時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段と、
素材データと当該素材データの前記特徴量情報とを対応付けた複数のデータベースの種類が、入力される指示に応じて前記配置領域の時間軸に沿って表示され、前記時間軸に沿って検索対象となる前記データベースの種類を設定するデータベース設定手段であって、前記時間軸において2以上のデータベースの種類が設定された位置ではそれらを検索対象として設定するデータベース設定手段と、
前記アイコン画像が表示された位置と前記時間軸において対応関係にある1以上の種類のデータベースを前記検索対象として参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定する特定手段と、
前記アイコン画像の前記時間軸における位置に応じたタイミングおよび前記特定手段により特定された素材データに応じた発音内容を示す楽音データを出力する出力手段に当該楽音データを出力させる発音制御手段
として機能させるためのプログラム。 - 時間軸が規定された配置領域を表示画面に表示させ、音素材の波形を示す素材データの特徴量を示す特徴量情報が対応付けられたアイコン画像を、入力される指示に応じて当該配置領域に表示させる表示制御手段、および素材データと当該素材データの前記特徴量情報とを対応付けた複数のデータベースの種類が、入力される指示に応じて前記配置領域の時間軸に沿って表示され、前記時間軸に沿って検索対象となる前記データベースの種類を設定するデータベース設定手段であって、前記時間軸において2以上のデータベースの種類が設定された位置ではそれらを検索対象として設定するデータベース設定手段に対して、前記指示を入力するステップと、
前記アイコン画像が表示された位置と前記時間軸において対応関係にある1以上の種類のデータベースを前記検索対象として参照して前記アイコン画像と前記特徴量情報が特定の関係となる素材データを特定するステップと、
前記アイコン画像の前記時間軸における位置に応じたタイミングおよび当該アイコン画像に対応して特定された前記素材データに応じた発音内容を示す楽音データを出力するステップと
を備えることを特徴とする発音制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011242606A JP5842545B2 (ja) | 2011-03-02 | 2011-11-04 | 発音制御装置、発音制御システム、プログラム及び発音制御方法 |
US13/411,188 US8921678B2 (en) | 2011-03-02 | 2012-03-02 | Generating tones by combining sound materials |
EP12157886.8A EP2495720B1 (en) | 2011-03-02 | 2012-03-02 | Generating tones by combining sound materials |
CN201210053663.0A CN102654998B (zh) | 2011-03-02 | 2012-03-02 | 通过组合素材生成乐音 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011045708 | 2011-03-02 | ||
JP2011045708 | 2011-03-02 | ||
JP2011242606A JP5842545B2 (ja) | 2011-03-02 | 2011-11-04 | 発音制御装置、発音制御システム、プログラム及び発音制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012194525A JP2012194525A (ja) | 2012-10-11 |
JP5842545B2 true JP5842545B2 (ja) | 2016-01-13 |
Family
ID=45841230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011242606A Expired - Fee Related JP5842545B2 (ja) | 2011-03-02 | 2011-11-04 | 発音制御装置、発音制御システム、プログラム及び発音制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8921678B2 (ja) |
EP (1) | EP2495720B1 (ja) |
JP (1) | JP5842545B2 (ja) |
CN (1) | CN102654998B (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5282548B2 (ja) * | 2008-12-05 | 2013-09-04 | ソニー株式会社 | 情報処理装置、音素材の切り出し方法、及びプログラム |
JP5842545B2 (ja) * | 2011-03-02 | 2016-01-13 | ヤマハ株式会社 | 発音制御装置、発音制御システム、プログラム及び発音制御方法 |
JP5333517B2 (ja) * | 2011-05-26 | 2013-11-06 | ヤマハ株式会社 | データ処理装置およびプログラム |
JP2015060189A (ja) * | 2013-09-20 | 2015-03-30 | カシオ計算機株式会社 | 楽譜表示装置、楽譜表示方法及びプログラム |
US9558728B2 (en) * | 2014-01-16 | 2017-01-31 | Yamaha Corporation | Setting and editing tone setting information via link |
WO2015154159A1 (en) * | 2014-04-10 | 2015-10-15 | Vesprini Mark | Systems and methods for musical analysis and determining compatibility in audio production |
CN103914803B (zh) * | 2014-04-25 | 2017-03-15 | 广东小天才科技有限公司 | 一种图像处理方法及装置 |
CN105447846B (zh) * | 2014-08-25 | 2020-06-23 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
JP6418940B2 (ja) * | 2014-12-25 | 2018-11-07 | キヤノン株式会社 | 電子機器及びその制御方法 |
US9443501B1 (en) * | 2015-05-13 | 2016-09-13 | Apple Inc. | Method and system of note selection and manipulation |
KR102432792B1 (ko) | 2015-08-10 | 2022-08-17 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
DE112016004046B4 (de) * | 2015-09-07 | 2022-05-05 | Yamaha Corporation | Vorrichtung und Verfahren zur musikalischen Ausführungsunterstützung und rechnerlesbares Speichermedium |
US9804818B2 (en) | 2015-09-30 | 2017-10-31 | Apple Inc. | Musical analysis platform |
US9824719B2 (en) | 2015-09-30 | 2017-11-21 | Apple Inc. | Automatic music recording and authoring tool |
US9672800B2 (en) * | 2015-09-30 | 2017-06-06 | Apple Inc. | Automatic composer |
US9852721B2 (en) | 2015-09-30 | 2017-12-26 | Apple Inc. | Musical analysis platform |
GB2551807B (en) | 2016-06-30 | 2022-07-13 | Lifescore Ltd | Apparatus and methods to generate music |
IT201800008080A1 (it) * | 2018-08-13 | 2020-02-13 | Viscount Int Spa | Sistema per la generazione di suono sintetizzato in strumenti musicali. |
US20200090632A1 (en) * | 2018-09-14 | 2020-03-19 | Bellevue Investments Gmbh & Co. Kgaa | Method and system for hybrid ai-based song construction |
US11012750B2 (en) * | 2018-11-14 | 2021-05-18 | Rohde & Schwarz Gmbh & Co. Kg | Method for configuring a multiviewer as well as multiviewer |
KR102220216B1 (ko) * | 2019-04-10 | 2021-02-25 | (주)뮤직몹 | 데이터 그룹재생 장치 및 그 시스템과 방법 |
EP3982357A4 (en) * | 2019-05-31 | 2022-12-21 | Roland Corporation | MUSICAL SOUND PROCESSING DEVICE AND MUSICAL SOUND PROCESSING METHOD |
US11922913B2 (en) | 2020-09-04 | 2024-03-05 | Roland Corporation | Information processing device, information processing method, and non-transitory computer readable recording medium |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185376A (ja) * | 1995-12-29 | 1997-07-15 | Casio Comput Co Ltd | 音色設定装置 |
JP3632523B2 (ja) * | 1999-09-24 | 2005-03-23 | ヤマハ株式会社 | 演奏データ編集装置、方法及び記録媒体 |
EP1436802B1 (en) * | 2001-10-19 | 2011-07-06 | Sony Ericsson Mobile Communications AB | Midi composer |
JP2003255956A (ja) * | 2002-02-28 | 2003-09-10 | Yoshihiko Sano | 音楽提供方法及びそのシステム,音楽制作システム |
JP3823930B2 (ja) * | 2003-03-03 | 2006-09-20 | ヤマハ株式会社 | 歌唱合成装置、歌唱合成プログラム |
US7723602B2 (en) * | 2003-08-20 | 2010-05-25 | David Joseph Beckford | System, computer program and method for quantifying and analyzing musical intellectual property |
US8732221B2 (en) * | 2003-12-10 | 2014-05-20 | Magix Software Gmbh | System and method of multimedia content editing |
EP1666967B1 (en) * | 2004-12-03 | 2013-05-08 | Magix AG | System and method of creating an emotional controlled soundtrack |
JP4367437B2 (ja) * | 2005-05-26 | 2009-11-18 | ヤマハ株式会社 | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
US7642444B2 (en) * | 2006-11-17 | 2010-01-05 | Yamaha Corporation | Music-piece processing apparatus and method |
AU2008229637A1 (en) * | 2007-03-18 | 2008-09-25 | Igruuv Pty Ltd | File creation process, file format and file playback apparatus enabling advanced audio interaction and collaboration capabilities |
JP5135931B2 (ja) * | 2007-07-17 | 2013-02-06 | ヤマハ株式会社 | 楽曲加工装置およびプログラム |
JP4623060B2 (ja) * | 2007-07-18 | 2011-02-02 | ヤマハ株式会社 | 波形生成装置、音響効果付与装置、および楽音発生装置 |
JP4544278B2 (ja) * | 2007-07-18 | 2010-09-15 | ヤマハ株式会社 | 波形生成システム |
US7825322B1 (en) * | 2007-08-17 | 2010-11-02 | Adobe Systems Incorporated | Method and apparatus for audio mixing |
JP5228432B2 (ja) * | 2007-10-10 | 2013-07-03 | ヤマハ株式会社 | 素片検索装置およびプログラム |
JP5262324B2 (ja) * | 2008-06-11 | 2013-08-14 | ヤマハ株式会社 | 音声合成装置およびプログラム |
JP5217687B2 (ja) * | 2008-06-27 | 2013-06-19 | ヤマハ株式会社 | 曲編集支援装置およびプログラム |
JP5515317B2 (ja) | 2009-02-20 | 2014-06-11 | ヤマハ株式会社 | 楽曲処理装置、およびプログラム |
EP2239727A1 (en) * | 2009-04-08 | 2010-10-13 | Yamaha Corporation | Musical performance apparatus and program |
JP5509948B2 (ja) * | 2009-04-08 | 2014-06-04 | ヤマハ株式会社 | 演奏装置およびプログラム |
US8338686B2 (en) * | 2009-06-01 | 2012-12-25 | Music Mastermind, Inc. | System and method for producing a harmonious musical accompaniment |
US8269094B2 (en) * | 2009-07-20 | 2012-09-18 | Apple Inc. | System and method to generate and manipulate string-instrument chord grids in a digital audio workstation |
US8153882B2 (en) * | 2009-07-20 | 2012-04-10 | Apple Inc. | Time compression/expansion of selected audio segments in an audio file |
US8957296B2 (en) * | 2010-04-09 | 2015-02-17 | Apple Inc. | Chord training and assessment systems |
US8309834B2 (en) * | 2010-04-12 | 2012-11-13 | Apple Inc. | Polyphonic note detection |
US8338684B2 (en) * | 2010-04-23 | 2012-12-25 | Apple Inc. | Musical instruction and assessment systems |
US9117376B2 (en) * | 2010-07-22 | 2015-08-25 | Incident Technologies, Inc. | System and methods for sensing finger position in digital musical instruments |
US8330033B2 (en) * | 2010-09-13 | 2012-12-11 | Apple Inc. | Graphical user interface for music sequence programming |
JP5842545B2 (ja) * | 2011-03-02 | 2016-01-13 | ヤマハ株式会社 | 発音制御装置、発音制御システム、プログラム及び発音制御方法 |
-
2011
- 2011-11-04 JP JP2011242606A patent/JP5842545B2/ja not_active Expired - Fee Related
-
2012
- 2012-03-02 US US13/411,188 patent/US8921678B2/en not_active Expired - Fee Related
- 2012-03-02 CN CN201210053663.0A patent/CN102654998B/zh not_active Expired - Fee Related
- 2012-03-02 EP EP12157886.8A patent/EP2495720B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
CN102654998A (zh) | 2012-09-05 |
JP2012194525A (ja) | 2012-10-11 |
EP2495720A1 (en) | 2012-09-05 |
EP2495720B1 (en) | 2018-08-01 |
CN102654998B (zh) | 2017-07-28 |
US20120222540A1 (en) | 2012-09-06 |
US8921678B2 (en) | 2014-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5842545B2 (ja) | 発音制御装置、発音制御システム、プログラム及び発音制御方法 | |
US9607594B2 (en) | Multimedia apparatus, music composing method thereof, and song correcting method thereof | |
US10955984B2 (en) | Step sequencer for a virtual instrument | |
US6084169A (en) | Automatically composing background music for an image by extracting a feature thereof | |
KR101611511B1 (ko) | 터치스크린을 구비한 휴대 단말기를 이용한 음악 생성 방법 | |
US9123318B2 (en) | Object based musical composition performance apparatus and program | |
WO2017028686A1 (zh) | 一种信息处理方法、终端设备及计算机存储介质 | |
CN1825428A (zh) | 无线终端装置和卡拉ok系统 | |
JP2005004082A (ja) | アプリケーションソフトのリモート制御方法及び電子鍵盤楽器 | |
JP7226709B2 (ja) | 映像制御システム、及び映像制御方法 | |
JP3567701B2 (ja) | 楽音データから和音を検出する和音検出方法および和音検出装置、ならびに、和音検出用プログラムを記録した記録媒体 | |
JP2007071903A (ja) | 楽曲創作支援装置 | |
JP5706960B2 (ja) | 画像配置方法、ブラウズ方法、表示制御装置、サーバー、通信システム、画像配置システムおよびプログラム | |
JP5589741B2 (ja) | 楽曲編集装置およびプログラム | |
WO2022249586A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム | |
JP6114492B2 (ja) | データ処理装置およびプログラム | |
JP2010271398A (ja) | 音素材検索装置 | |
JP2001118084A (ja) | オブジェクト表示制御システムおよび記録媒体 | |
JP3873872B2 (ja) | 演奏情報記録装置及びプログラム | |
JP2016033674A (ja) | 音声合成装置および音声合成方法 | |
WO2018147286A1 (ja) | 表示制御システム及び表示制御方法 | |
JP6007645B2 (ja) | 音波形編集装置およびプログラム | |
JP4665664B2 (ja) | シーケンスデータ生成装置およびシーケンスデータ生成プログラム | |
JP2012247956A (ja) | データ検索装置およびプログラム | |
JP3873871B2 (ja) | 演奏情報記録装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151102 |
|
LAPS | Cancellation because of no payment of annual fees |