JP6114492B2 - データ処理装置およびプログラム - Google Patents
データ処理装置およびプログラム Download PDFInfo
- Publication number
- JP6114492B2 JP6114492B2 JP2011242607A JP2011242607A JP6114492B2 JP 6114492 B2 JP6114492 B2 JP 6114492B2 JP 2011242607 A JP2011242607 A JP 2011242607A JP 2011242607 A JP2011242607 A JP 2011242607A JP 6114492 B2 JP6114492 B2 JP 6114492B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- sound
- waveform signal
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
また、本発明は、コンピュータを、発音内容を示す発音データを取得するとともに、当該発音内容を変化させるための加工データを複数取得して、当該発音データに対して当該複数の加工データに基づく複数の加工をする加工手段と、前記複数の加工をされた発音データの発音内容を示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を特定する特定手段と、前記特定された期間の楽音波形信号を解析して特徴量を算出する算出手段と、前記特定された期間の楽音波形信号を示す特定データと前記算出された特徴量を示す特徴量データとを出力するデータ出力手段として機能させるためのプログラムであって、前記複数の加工データは、発音内容を規定する発音データを含み、前記加工手段は、前記取得した発音データに係る楽音波形信号に対して、前記複数の加工データに含まれる発音データに係る楽音波形信号を合成することにより前記加工をするプログラムを提供する。
[概要]
本発明の実施形態における楽音処理装置は、パーソナルコンピュータ、携帯電話、PDA(Personal Digital Assistant)、タブレット端末などの情報処理装置であり、OS(Operating System)上で特定のアプリケーションプログラムを実行することにより、DAW(Digital Audio Workstation)と呼ばれる機能が実現される装置である。この楽音処理装置において実現されるDAWにおいては、楽音波形信号の一部として抽出される音素材を用いて楽音を発生させるための制御を行う機能も実現される。また、楽音波形信号から音素材を抽出する機能など、以下に説明する各機能も実現される。DAWを実現するアプリケーションプログラムの実行中においてサブルーチンのプログラムが実行されることにより、これらの各機能が実現される。
図1は、本発明の実施形態における楽音処理装置10の構成を説明するブロック図である。楽音処理装置10は、制御部11、操作部12、表示部13、インターフェイス14、記憶部15、および音響処理部16を有する。これらの各構成はバスを介して接続されている。また、楽音処理装置10は、音響処理部16に接続されたスピーカ161およびマイクロフォン162を有する。
表示部13は、液晶ディスプレイなどの表示デバイスであり、制御部11の制御に応じた内容の表示を表示画面131に行う。表示画面131に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる(図7、図8、図9、図10参照)。
音響処理部16は、DSP(Digital Signal Processor)などの信号処理回路などを有する。この例においては、音響処理部16は、マイクロフォン162から入力される楽音波形信号をA/D変換し、オーディオデータとして制御部11に出力する。また、音響処理部16は、制御部11から出力されたオーディオデータを、制御部11によって設定された音響処理、D/A変換(デジタルアナログ変換)処理、増幅処理などの信号処理などを施して、楽音波形信号としてスピーカ161に出力する。
スピーカ161は、音響処理部16から入力された楽音波形信号が示す音を出力する。
なお、特定データのうち時刻指定情報が規定されていないものについては、波形指定情報が示す波形データそのものが音素材の楽音の内容を表している。例えば、音素材sn4が示す楽音ついては、波形データW5が示す楽音波形信号全体で表される。
この特徴量、カテゴリについては、例えば、ユーザが、後述する音素材トラックにおいて用いられる音素材を決めるときに、所望の音素材を音素材DBから検索するときに用いられる。例えば、ユーザが特徴量データを入力することにより、制御部11が特徴量データに類似する音素材を検索し、ユーザに提示したり、ユーザがカテゴリを選択することにより、制御部11は、そのカテゴリに分類された音素材をユーザに提示したりすればよい。また、ユーザが特定の音素材を指定した場合に、制御部11が、その音素材に特徴量データが類似する音素材を検索し、ユーザに提示するようにしてもよい。
規定される時間は、音素材データのデータ先頭からの時間(規定される時間より短い音素材データについてはループ再生してもよい)として決められたものであってもよいし、タイムストレッチ処理によりこの時間に伸縮するように決められたものであってもよい。時間が規定されていない場合には、音素材データをデータ開始から最後まで再生するようにすればよい。
図4の例に示す場合には、例えば、再生開始タイミング「0002:01:000」(第2小節第1拍に対応)においては、対応する音素材データSn3を再生するように決められている。
このシーケンスデータにおける各トラックの内容、設定データの内容は、ユーザによって作成されてもよいし、インターフェイス14を介して取得するようにしてもよい。
以上が、楽音処理装置10のハードウエア構成についての説明である。
次に、楽音処理装置10の制御部11が再生プログラムを実行することによって実現される再生機能について説明する。なお、以下に説明する再生機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
なお、オーディオトラックは、1つのトラックにつき、データ読出部110−1および音響効果付与部140−1の組を有している。したがって、オーディオトラックが複数存在する場合には、データ読出部110−1および音響効果付与部140−1の組がオーディオトラックの数だけ設けられる。分岐S1、S5についてもトラック毎に設けられる。
なお、MIDIトラックは、1つのトラックにつき、データ読出部110−2、音源部120および音響効果付与部140−2の組を有している。したがって、MIDIトラックが複数存在する場合には、データ読出部110−2、音源部120および音響効果付与部140−2の組がMIDIトラックの数だけ設けられる。分岐S2、S6についてもトラック毎に設けられる。なお、音源部120は、トラック毎に入力を受け付けて、トラック毎にオーディオデータを出力する構成であれば、複数存在しなくてもよい。
音響効果付与部140−3は、入力されたオーディオデータが示す楽音波形信号に、設定データにより規定された内容の音響効果を付与するように信号処理を施して、信号処理が施されたオーディオデータをオーディオデータ合成部150に出力する。
なお、音素材トラックは、1つのトラックにつき、データ読出部110−3、音素材データ合成部130および音響効果付与部140−3の組を有している。したがって、音素材トラックが複数存在する場合には、データ読出部110−3、音素材データ合成部130および音響効果付与部140−3の組が音素材トラックの数だけ設けられる。分岐S3、S6についてもトラック毎に設けられる。
なお、インターフェイス14に複数のAUX端子がある場合には、音響効果付与部140−4が、各AUX端子に対応して設けられる。分岐S4についてもトラック毎に設けられる。
バス部180からオーディオデータ合成部150に至る信号ラインには、バス部180から出力されたオーディオデータを取り出すための信号ラインである分岐S14、音響効果付与部140−5によって音響効果が付与された楽音波形信号を示すオーディオデータを取り出すための分岐S15が設けられている。
ここで、オーディオデータ合成部150は、本発明の加工手段の一態様であり、合成前のいずれかのオーディオデータが発音データの一態様であり、他のオーディオデータが加工データの一態様である。すなわち、オーディオデータ合成部150は、いずれかのオーディオデータを他のオーディオデータに基づいて加工する構成である。また、合成態様(加工態様)については、上述したように設定データに基づいて決められている。なお、バス部180についてもオーディオデータ合成部150と同様に、本発明の加工手段の一態様となりうる。
ここで、合成音響効果付与部160およびチャンネル変換部170が、各々本発明の加工手段の一態様であり、付与する音響効果の内容、チャンネル数を規定する設定データが、加工データの一態様である。
以上が、再生機能についての説明である。
次に、楽音処理装置10の制御部11が抽出プログラムを実行することによって実現される音素材抽出機能について説明する。また、制御部11が修正プログラムを実行することによって実現される修正機能についても併せて説明する。なお、以下に説明する音素材抽出機能および修正機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
以下、音素材特定部221および特徴量算出部222の機能について説明する。
なお、修正部300は、既に登録されている音素材のデータ範囲を修正するようにしてもよい。
以上が、音素材抽出機能および修正機能についての説明である。上記各機能構成により、楽音処理装置10において、本発明のデータ処理装置が実現される。
続いて、上述した再生プログラム、抽出プログラムおよび修正プログラムが実行されたときの動作例について、表示画面131の表示例を参照しながら説明する。
まず、ユーザは、DAW上においてシーケンスデータの再生を行う場合に、再生プログラムの実行の指示を、楽音処理装置10に対して入力し、再生させるシーケンスデータの指示についても入力する。このようにすると、表示画面131には、図7に示す内容の表示がなされる。
また、横軸方向のデータ範囲を指定するための範囲指定矢印(開始指定矢印asおよび終了指定矢印ae)が表示され、これらの矢印を移動させることにより、横軸における開始時刻tssおよび終了時刻tseを設定する。
ユーザが再生制御ボタンb2を操作して、再生の開始を指示すると、再生機能部100におけるデータ読出部110において、設定されたテンポに基づいて、各データの読み出しが開始される。これにより、再生機能部100から音響処理部16に対してオーディオデータが出力され、シーケンスデータに基づく発音内容でスピーカ161から出力される。
ユーザが設定ボタンb4を操作すると、抽出プログラムが実行され、表示画面131には、図8に示す表示がなされる。この表示は、変換において、音素材を抽出するオーディオデータを設定するための内容になっている。
ユーザが決定ボタンb5を操作すると、これらの設定を終了し、表示画面131の表示は、図7に示す表示に戻る。
上記設定が終了し、ユーザが変換ボタンb3を操作すると、ユーザにより設定された内容にしたがって、音素材抽出機能部200における処理が開始される。この例においては、音素材抽出機能部200において、再生機能部100に対して、範囲指定矢印により指定された期間のオーディオデータのうち、分岐S13の信号ラインにおけるオーディオデータを生成させ、選択部210で受け取る。そして、抽出部220において音素材を抽出する。抽出が終了すると、表示画面131には、図9に示すように、抽出完了表示がなされる。
ユーザがスピーカ161から出力された音を試聴して、音素材の特定区間について修正する必要がない場合など、ユーザによって登録ボタンb7が操作されると、データ出力部230は、選択部210が受け取ったオーディオデータを波形DBに登録する一方、抽出した音素材毎に特定データおよび特徴量データを音素材DBに登録する。
一方、ユーザが音素材の特定区間について修正したいと考えた場合など、ユーザによって修正ボタンb6が操作された場合には、修正プログラムが実行され、表示画面131には、図10に示す表示がなされる。
その他、範囲指定矢印によって指定された期間の楽音波形信号が示す音を試聴するための試聴ボタンb8、範囲指定矢印によって指定された期間の楽音波形信号を音素材に対応する楽音波形信号として確定させる確定ボタンb9が表示画面131に表示される。
このようにして音素材に対応する楽音波形信号の開始時刻をずらすことにより、音の立ち上がり感を調整したり、終了時刻をずらすことにより残響感を調整したりすることができる。
以上が、再生プログラム、抽出プログラム、修正プログラムが実行されたときの動作例の説明である。
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。
[変形例1]
上述した実施形態において、加工態様として一のトラックのオーディオデータに対して他のオーディオデータを合成する態様については、双方のオーディオデータともに、音響効果付与部140によって音響効果が付与された楽音波形信号を示すオーディオデータであったが、音響効果が付与されていない楽音波形信号を示すオーディオデータであってもよい。
すなわち、音素材が抽出される対象として選択可能なオーディオデータには、一のトラックから得られるオーディオデータに対して、上述した加工態様のうち、少なくともいずれかの態様によって加工したものが含まれていればよい。この場合には、楽音処理装置10は、ユーザの指示によって、いずれかの加工態様が選択できるように構成されていてもよい。選択された内容は設定データなどにより規定されるようにすればよい。
上述した実施形態においては、本発明のデータ処理装置は、再生機能、音素材抽出機能、および修正機能の各機能構成により実現されていたが、修正機能の構成については有していなくてもよい。
上述した実施形態において、本発明のデータ処理装置は、DAWを実現する楽音処理装置10に適用されたものであるが、デジタルミキサ、アナログミキサなどにおいて適用されてもよい。この場合には、音素材抽出機能を有するデータ処理装置は、ミキサによりオーディオデータの加工をすることになる。そして、データ処理装置は、ミキサの各信号ラインにおけるオーディオデータを取得し、このオーディオデータから音素材を抽出し、データベースに登録するようにすればよい。この場合には、オーディオデータの加工を行う再生機能としてはミキサの機能により代替されるため、データ処理装置は、再生機能を実現しない構成であってもよい。このように、データ処理装置は、オーディオデータを加工する機能を実現する構成と、音素材抽出機能を実現する構成とを有していれば、どのような装置にも適用可能である。
上述した実施形態においては、データ出力部230は、特定データなどを出力してデータベースに登録していたが、必ずしもデータベースに登録される態様でなくてもよい。例えば、データ出力部230から出力される特定データなどは、インターフェイス14から外部装置に出力されるようにしてもよい。
上述した実施形態において、データ出力部230は、音素材DBへの音素材の登録に伴い、登録した音素材とその発音タイミングとを規定する音素材トラックに相当するデータ(音素材タイミングデータ)を出力して記憶部15に記憶するようにしてもよい。すなわち、1つの波形データの抽出元楽音波形信号から抽出された音素材の識別子と、音素材に対応する特定区間の開始時刻を示す情報とを対応付けたデータを記憶部15に記憶すればよい。
このようにして記憶された音素材タイミングデータは、再生機能によって上記テンポで再生されると、抽出元楽音波形信号のうち、抽出された音素材部分が発音され、それ以外の部分がミュートされたような発音内容としてスピーカ161から出力されることになる。
また、データ出力部230は、音素材DBに登録される形式において、各音素材に対して再生開始タイミングが対応付けられたデータとして出力して記憶部15に記憶するようにしてもよい。
上述した実施形態において、音素材トラックは、発音させる音素材を、その識別子によって規定するものであったが、特徴量データによって規定するものであってもよい。
なお、複数種類の音素材DBが記憶部15に記憶されている場合には、データ読出し部110−3が音素材データを特定するための検索対象とする音素材DBについても、時系列に音素材トラックに規定されるようにしてもよい。この構成については、後述する変形例7以降において詳細を説明する。
また、データ範囲は、音素材DBにおけるデータ範囲と同様に、時刻指定情報により規定される。この場合の時刻指定情報は、指定トラックに基づいて生成されるオーディオデータのデータ先頭からの時刻として決められている。なお、データ範囲は、予め決められたテンポ(例えば、テンポ=120(1拍0.5秒))で再生された場合を基準として規定されていてもよいし、設定データにより規定されたテンポで再生された場合を基準として規定されていてもよい。
上述した変形例6の説明にて述べた、複数種類の音素材DBが記憶部15に記憶されている場合には、データ読出し部110−3が音素材データを特定するための検索対象とする音素材DBについても、時系列に音素材トラックに規定されるようにしてもよいとした例について、詳細に説明する。ここでは、これらの処理が楽音処理装置10においてのみ行われる場合ではなく、複数の装置間のやり取りを含んで行われる場合について説明する。
楽音処理装置10Aは、上述した実施形態に示した楽音処理装置10と概ね同じ構成を有している。楽音処理装置10Aのインターフェイス14は、さらに、通信回線1000を介してサーバ装置50と各種情報のやり取りを行う通信部としても機能する。また、楽音処理装置10Aの記憶部15には音素材DBおよび波形DBは記憶されていなくてもよく、この例では、これらのDBはサーバ装置50において記憶されている。また、楽音処理装置10Aの記憶部15には、制御部11において実行される音素材トラック作成プログラムを記憶している。音素材トラック作成プログラムは、本変形例における音素材トラックを作成するためのプログラムである。
制御部51は、CPU、RAM、ROMなどを有する。制御部51は、ROMまたは記憶部55に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部51は、楽音処理装置10Aからの指示により、検索プログラムを実行する。検索プログラムが実行されると、楽音処理装置10Aからの指示に応じて、記憶部55の音素材DBを検索して、特定した音素材データを楽音処理装置10Aに送信する機能を実現する。この機能の詳細については別途説明する。
音素材DBは、複数の音素材DB(音素材DBa、DBb,・・・)から構成されている。以下、それぞれを特に区別せずに説明する場合には、音素材DBという。音素材DBのそれぞれは、登録された音素材データは異なるものの、データベースの構成としては、上述した楽音処理装置10の記憶部15に記憶されていた音素材DBと同様であるから説明を省略する。なお、音素材DBについては、予め記憶部55に記憶されているが、通信部54を介して外部装置から取得することにより、新たな種類の音素材DBがさらに記憶されるようにしてもよい。
DB指定データは、特徴量指定データによって示される特徴量データを用いて、サーバ装置50において音素材データを特定するときの検索対象となる音素材DBの種類を再生時刻の範囲として設定されたデータである。図16(b)の例によれば、再生時刻「0001:01:000」から「0001:03:959」までは、検索対象となるデータベースは音素材DBaであることを示している。
表示制御部310は、ユーザによって入力される指示に応じて、表示画面131の表示内容を制御する。この場合、表示画面131には、図18に示すような内容が表示される。
なお、類似度を判断するためのアルゴリズムについては、公知の他のアルゴリズムを用いてもよい。また、ユークリッド距離が最も短くなるものでなくてもよく、2番目、3番目に近いものを特定してもよい。このような特定を行うために必要な情報は、予めユーザなどにより設定されていればよい。また、特定される音素材データは、音素材トラックに含まれる特徴量データに対して、特徴量データが類似関係にあるものでなくてもよく、予め決められた特定の関係にあればよい。また、検索対象については、検索対象となる種類の音素材DBとするだけなく、さらに、カテゴリにより絞りこまれてもよい。この場合には、検索対象となるカテゴリは、例えばユーザによって指示されたものであってもよいし、音素材トラックに含まれる特徴量データと同じカテゴリまたは関連するカテゴリであってもよい。ここで、関連するカテゴリは、予め設定されたアルゴリズムに従って決められてもよいし、予め関連するカテゴリ同士が設定されていてもよい。
以上が機能構成についての説明である。続いて、音素材トラック作成プログラム実行時の発音制御システム1における動作について図19を用いて説明する。
ユーザは、スピーカ161からの発音を聴き、所望の音になっている場合には、決定ボタンb14を操作して、音素材トラックを記憶部15に記憶させる。
なお、実施形態におけるデータ読込部110−3および音素材データ合成部130(図5参照)は、変形例7の構成が適用された場合には発音制御部330の機能と同様にしてオーディオデータを出力するようにすればよい。また、データ読込部110−3および音素材データ合成部130は、データ出力部340から出力されたオーディオデータを記憶部15に記憶しておきオーディオトラックと同様に扱って処理するようにしてもよい。
上述した変形例7において、ユーザによって入力された指示に応じて、アイコン配置領域STに表示されるアイコン画像が時間軸方向に伸縮可能に構成されてもよい。
なお、図18に示すアイコン画像は、すべて同じ大きさであり、本変形例での処理により時間軸に沿った方向に伸縮させていたが、伸縮させる前の状態であっても、音素材トラックにおけるそのアイコン画像に対応して決められている時間に応じた長さで表示されてもよい。
上述した変形例7においては、アイコン配置領域STの縦軸は音量を示す座標軸(音量軸)であったが、例えば、ピッチ、音長などを示す座標軸(以下、指定座標軸という)としてもよい。すなわち、アイコン配置領域STは、音素材データの音量以外の他の加工内容を指定する指定値を示す指定座標軸をもっていてもよい。ピッチを示す指定座標軸とした場合には、発音制御部330は、音素材データのピッチを、アイコン画像の指定座標軸における位置に応じて変更してデータ出力部340からオーディオデータとして出力させればよい。音長を示す指定座標軸とした場合には、発音制御部330は、アイコン画像の指定座標軸に於ける位置に応じて、タイムストレッチ処理(音素材データの波形を伸ばす処理)、ループ処理(音素材データを繰り返して出力させる処理)などを施すことにより加工し、データ出力部340からオーディオデータとして出力させればよい。
また、指定座標軸によって指定される加工内容は、音量、ピッチなど複数種類にわたってもよく、この場合には、ユーザによって入力された指示に応じて、指定座標軸の種類を切り替えて、アイコン画像を配置可能なものとしてもよい。このように切り替え可能な指定座標軸をもつアイコン配置領域STにアイコン画像を配置させることにより、音素材データを様々に加工してもよい。
上述した変形例7においては、アイコン配置領域STの縦軸は音素材データの加工内容を指定する指定座標軸であったが、特定部510において音素材データを特定するための特定値を示す座標軸(以下、特定座標軸という)としてもよい。この場合には、特定部510は、音素材データを特定するときに、アイコン画像の特定座標軸における位置に応じて特定すればよい。例えば、特定値が類似度に関するものであれば、アイコン配置領域STの上方にアイコン画像が位置するほど、特定部510において特定される音素材データが類似度が低い(特徴量データ間のユークリッド距離が長い)ものが特定されるようにすればよい。
なお、類似度についてはユーザが指定するのではなく、例えば、ユーザが所定の操作(ランダムボタンの操作など)をすることにより、全てのアイコン画像または予め指定されたアイコン画像に対応する類似度が予め決められたアルゴリズム(例えばランダム)に従って指定されるようにしてもよい。
上述した変形例7において、図19に示すステップS170の処理、すなわち、音素材トラック作成プログラムの実行時にデータ出力部340から出力されるオーディオデータは、発音制御部330が、アイコン画像の時間軸における位置に応じたタイミングで音素材データを出力することにより実現していたが、出力期間全体の発音内容を示すデータとして発音制御部330によって生成された後、データ出力部340から出力されるようにしてもよい。発音制御部330は、生成されたオーディオデータを記憶部15に出力して記憶させるようにしてもよい。また、オーディオデータとして記憶させる場合に限らず、音素材トラックと音素材データとの組み合わせなど、オーディオデータを生成するために必要な複数種類のデータで記憶させれるようにしてもよい。各種データを記憶させる指示については、ユーザによって入力されるようにすればよい。
上述した変形例7においては、音素材トラック作成プログラム実行時に表示画面131に表示されるアイコン画像、DB画像などはプログラム上において生成しているが、これらの画像は、予め記憶部15、55などに記憶されていてもよい。
上述した変形例7においては、アイコン配置領域STに表示されるアイコン画像に対応する特徴量データの内容は、ユーザが入力した指示に応じて決定していたが、ユーザは、アイコン画像の絵柄(またはカテゴリ)を選択することにより、この絵柄に対応するカテゴリの予め決められた代表値を特徴量データとして決定するようにしてもよい。
上述した変形例7において、DB指定データの内容は、ユーザがDB配置領域DTにDB画像を配置することにより決定されていたが、予め決められたアルゴリズムにしたがって、再生時刻範囲と音素材DBの種類との関係を、制御部11が自動的に決定するようにしてもよい。
上述した変形例7において、DB指定データの内容として音素材DBの種類の指定がされていない再生時刻範囲が存在する場合には、指定されていない再生時刻範囲においては、予め決められた音素材DBの種類(全ての種類、一部の特定の種類など)が検索対象として指定されてもよいし、その範囲の直前に指定されていた種類を指定してもよい。
上述した実施形態においては、音素材DBのデータ範囲に応じて、適時波形DBから音素材データを取得しているが、あらかじめ切出し済みの区間の音素材データだけを保持しておいても良い。その場合、音素材DBにデータ範囲の情報は不要である。
上述した変形例7において、ユーザが音素材データ(特定データ)のデータ範囲を調整できるようにしてもよい。
上述した変形例7において、DB配置領域DTには、音素材DBの種類が対応付けられたDB画像が表示されていたが、音素材DBの種類とその検索対象となる時刻の範囲とは別々に表示されていてもよい。
なお、DB種類指定領域DMの左側に表示されているチェックボックスCBにより、対応する行において指定された検索対象を有効とするか無効とするかを指定する事ができるようにしてもよい。このチェックボックスCBは、図18に示す表示において用いられてもよい。
上述した変形例7において、図18に示す表示におけるアイコン画像は、ユーザの指示に応じて決定された特徴量データに応じて配置されていた。ユーザが特徴量データを指示するときに、所望の特徴量データを音素材DBから検索するようにしてもよい。このときには、例えば、特開2011−163171号公報に開示された方法を用いればよい。また、このときの検索対象の音素材DBの種類については、図22に示したチェックボックスCBにおいて指定された音素材DBとしてもよい。なお、ユーザがこのようにアイコン画像に対応する特徴量データを指示する場合には、図18に示す表示の一部に、特徴量データの指示をするための表示を行うようにすればよい。また、アイコン画像に対して所定の操作(ダブルクリック操作など)をしたときにポップアップウインドウなどを表示させて、そのアイコン画像に対応する特徴量データを指示できるようにしてもよい。
上述した変形例7での図18に示す表示において、音素材DBの種類、およびその検索対象となる時刻の範囲については、ユーザが指定していたが、例えば、ユーザが所定の操作(ランダムボタンの操作など)をすることにより、予め決められたアルゴリズム(例えばランダム)に従って指定されるようにしてもよい。また、図8に示すように予め音素材DBの種類、およびその検索対象となる時刻の範囲が決められている場合には、いずれかのDB画像を指定して、指定されたDB画像に対して予め決められたアルゴリズム(例えばランダム)に従って、音素材DBの種類、時刻の範囲が変更されるようにしてもよい。さらには、データベースのランダム選択で、DB配置領域DT自体をアクティブ(音素材DBを選択する機能が生きている状態)にして音素材DBを選択可能にしたり、非アクティブ(音素材DBを選択する機能が生きていない状態)にして特定の音素材DBのみを適用したりすることもランダムに行えるようにしてもよい。さらには、DB配置領域DTにおいて選択されている音素材DBをアクティブ(選択されている音素材DBを検索対象とする状態)にしたり、非アクティブ(選択されている音素材DBを検索対象としない状態)にしたりすることもランダムに行えるようにしてもよい。このとき、アクティブな音素材DBに対応するDB画像は色つきのままとして、非アクティブな音素材DBに対応するDB画像はグレーアウトするなど、表示が変更されている音素材DBについてアクティブか非アクティブか認識できるようにするとよい。
上述した変形例7での図18に示す表示において、アイコン画像に該当する音がない場合には、アイコン画像をグレーアウトさせてもよい。該当する音がないとは、例えば、そのアイコン画像に対応する時刻を範囲とする音素材DB(検索対象となる音素材DB)が決められていない場合、アイコン画像に対応する特徴量データに基づいて特定部510により特定される音素材データが存在しない場合などがある。特定部510により特定される音素材データが存在しないとは、例えば、アイコン画像に対応する特徴量データに最も類似する音素材データが、しきい値として予め決められた類似度よりも類似していない場合、またカテゴリにより検索対象が絞り込まれる構成であるときに検索対象の音素材DBにそのカテゴリが含まれていない場合などがある。
上述した変形例7においては、発音制御システム1は、通信回線1000を介して接続された楽音処理装置10Aとサーバ装置50とにより構成されていたが、一体の装置として構成され、通信回線1000を介していない構成としてもよい。また、別体の装置であっても、楽音処理装置10Aにおける各構成の一部がサーバ装置50の構成に含まれていてもよいし、逆に、サーバ装置50の各構成の一部が楽音処理装置10Aの構成に含まれていてもよい。また、楽音処理装置10Aの記憶部15に記憶されている各種情報、およびサーバ装置50の記憶部55に記憶されている各種情報は、発音制御システム1全体としていずれかの記憶部において記憶されていればよく、楽音処理装置10Aおよびサーバ装置50以外に、これらの情報の全部または一部を記憶する記憶装置が通信回線1000に接続されていてもよい。また、これらの情報は、通信回線1000に接続可能な他の楽音処理装置10Aと共有することにより、他のユーザが使用できるようにしてもよい。
組み合わせとしては、例えば、音素材DBはサーバ装置50の記憶部55に記憶されている一方、楽音処理装置10Aにおいて、記憶部15に波形DBが記憶され、特定部510の機能が実現されてもよい。さらには、検索プログラムおよび抽出プログラムの実行は楽音処理装置10Aで実行してもよいし、楽音処理装置10Aから得た情報をもとにサーバ装置50で実行するようにしてもよい。
上述した実施形態における各プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、楽音処理装置10は、各プログラムをネットワーク経由でダウンロードしてもよい。
Claims (6)
- 発音内容を示す発音データを取得するとともに、当該発音内容を変化させるための加工データを複数取得して、当該発音データに対して当該複数の加工データに基づく複数の加工をする加工手段と、
前記複数の加工をされた発音データの発音内容を示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を特定する特定手段と、
前記特定された期間の楽音波形信号を解析して特徴量を算出する算出手段と、
前記特定された期間の楽音波形信号を示す特定データと前記算出された特徴量を示す特徴量データとを出力するデータ出力手段と
を具備し、
前記複数の加工データは、発音内容を規定する発音データを含み、
前記加工手段は、前記取得した発音データに係る楽音波形信号に対して、前記複数の加工データに含まれる発音データに係る楽音波形信号を合成することにより前記加工をする
ことを特徴とするデータ処理装置。 - 前記複数の加工データは、前記楽音波形信号に付与する音響効果の内容を規定する設定データを含み、
前記加工手段は、前記設定データに基づいて、前記取得した発音データに係る前記楽音波形信号に音響効果を付与するように前記加工をする
ことを特徴とする請求項1に記載のデータ処理装置。 - 前記特定データは、前記複数の加工をされた発音データに係る楽音波形信号と当該楽音波形信号の前記特定された期間を示す時刻情報とにより、前記特定された期間の楽音波形信号を示し、
前記特定手段が複数の期間を特定した場合には、
前記特定データは、前記複数の加工をされた発音データに係る楽音波形信号と当該楽音波形信号の前記特定された複数の期間を示す時刻情報とにより、前記特定された複数の期間の楽音波形信号を示し、
前記算出手段は、前記特定された期間毎に前記特徴量を算出する
ことを特徴とする請求項1又は2に記載のデータ処理装置。 - 前記特定データは、前記特定された期間の楽音波形信号を抽出した楽音波形信号を示す
ことを特徴とする請求項1又は2に記載のデータ処理装置。 - 前記加工手段は、前記複数の加工データのうち一の加工データをユーザの指示に従って取得する
ことを特徴とする請求項1乃至請求項4のいずれか1項に記載のデータ処理装置。 - コンピュータを、
発音内容を示す発音データを取得するとともに、当該発音内容を変化させるための加工データを複数取得して、当該発音データに対して当該複数の加工データに基づく複数の加工をする加工手段と、
前記複数の加工をされた発音データの発音内容を示す楽音波形信号を解析して、予め決められた特徴を有する楽音波形信号の期間を特定する特定手段と、
前記特定された期間の楽音波形信号を解析して特徴量を算出する算出手段と、
前記特定された期間の楽音波形信号を示す特定データと前記算出された特徴量を示す特徴量データとを出力するデータ出力手段
として機能させるためのプログラムであって、
前記複数の加工データは、発音内容を規定する発音データを含み、
前記加工手段は、前記取得した発音データに係る楽音波形信号に対して、前記複数の加工データに含まれる発音データに係る楽音波形信号を合成することにより前記加工をする
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011242607A JP6114492B2 (ja) | 2011-05-26 | 2011-11-04 | データ処理装置およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011118518 | 2011-05-26 | ||
JP2011118518 | 2011-05-26 | ||
JP2011242607A JP6114492B2 (ja) | 2011-05-26 | 2011-11-04 | データ処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013007988A JP2013007988A (ja) | 2013-01-10 |
JP6114492B2 true JP6114492B2 (ja) | 2017-04-12 |
Family
ID=47675366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011242607A Active JP6114492B2 (ja) | 2011-05-26 | 2011-11-04 | データ処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6114492B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014113071A1 (en) | 2013-01-15 | 2014-07-24 | Viki, Inc. | System and method for captioning media |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0789279B2 (ja) * | 1985-10-21 | 1995-09-27 | ヤマハ株式会社 | 楽音信号発生装置 |
JPS62129894A (ja) * | 1985-11-30 | 1987-06-12 | カシオ計算機株式会社 | 波形発生装置 |
JP3556400B2 (ja) * | 1996-07-11 | 2004-08-18 | 株式会社河合楽器製作所 | 楽音波形形成方法及びその装置 |
JP3570309B2 (ja) * | 1999-09-24 | 2004-09-29 | ヤマハ株式会社 | リミックス装置および記憶媒体 |
JP3904012B2 (ja) * | 2004-09-27 | 2007-04-11 | ヤマハ株式会社 | 波形生成装置及び方法 |
JP4544258B2 (ja) * | 2007-03-30 | 2010-09-15 | ヤマハ株式会社 | 音響変換装置およびプログラム |
JP5135982B2 (ja) * | 2007-10-09 | 2013-02-06 | ヤマハ株式会社 | 楽曲加工装置およびプログラム |
-
2011
- 2011-11-04 JP JP2011242607A patent/JP6114492B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013007988A (ja) | 2013-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5842545B2 (ja) | 発音制御装置、発音制御システム、プログラム及び発音制御方法 | |
JP5135931B2 (ja) | 楽曲加工装置およびプログラム | |
JP5333517B2 (ja) | データ処理装置およびプログラム | |
WO2008065731A1 (fr) | Processeur audio et procédé de traitement audio | |
US9792916B2 (en) | Multifunctional audio signal generation apparatus | |
JP4274152B2 (ja) | 楽音合成装置 | |
WO2008065730A1 (fr) | Dispositif et méthode de traitement audio | |
JP6201460B2 (ja) | ミキシング管理装置 | |
JP6114492B2 (ja) | データ処理装置およびプログラム | |
JP6657866B2 (ja) | 音響効果付与装置及び音響効果付与プログラム | |
JP5060341B2 (ja) | 同期再生装置、楽曲自動リミックスシステム、同期再生方法および同期再生プログラム | |
JP2004258564A (ja) | スコアデータ編集装置、スコアデータ表示装置およびプログラム | |
JP6474292B2 (ja) | カラオケ装置 | |
JP5742472B2 (ja) | データ検索装置およびプログラム | |
JP6390094B2 (ja) | 音響信号分析制御プログラムおよび音響信号分析制御装置 | |
JP6810773B2 (ja) | 再生装置、再生方法、及び、プログラム | |
WO2022249586A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム | |
JP2005037848A (ja) | 楽音発生装置及びそのプログラム | |
WO2023062865A1 (ja) | 情報処理装置および方法、並びにプログラム | |
JP5200896B2 (ja) | 演奏データ処理装置及びプログラム | |
JP6323216B2 (ja) | パラメータ受付装置、方法およびプログラム | |
JP2003141859A (ja) | 画像音声再生システム、プログラム、及び記録媒体 | |
JP6003861B2 (ja) | 音響データ作成装置、プログラム | |
JP2021099535A (ja) | 再生装置、再生方法、及び、プログラム | |
JP2003150162A (ja) | 楽音発生装置及びプログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150826 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160419 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160427 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20160610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6114492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |