JP5703820B2 - 共鳴音付加装置および電子楽器 - Google Patents
共鳴音付加装置および電子楽器 Download PDFInfo
- Publication number
- JP5703820B2 JP5703820B2 JP2011034196A JP2011034196A JP5703820B2 JP 5703820 B2 JP5703820 B2 JP 5703820B2 JP 2011034196 A JP2011034196 A JP 2011034196A JP 2011034196 A JP2011034196 A JP 2011034196A JP 5703820 B2 JP5703820 B2 JP 5703820B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- impulse response
- resonance
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
本発明は、楽音に共鳴音を付加する共鳴音付加装置および電子楽器に関する。
共鳴音付加装置では、ディジタルの楽音波形データを受け入れて、楽音波形データにディジタルフィルタによるフィルタ処理を施すのが一般的である。フィルタ処理においては、FIR(有限インパルス応答:Finite Impulse Response)フィルタ或いはIIR(無限インパルス応答:Infinite Impulse Response)フィルタが利用される。
FIRフィルタを利用する場合には、一連のインパルス応答係数にしたがって、入力される楽音信号データXnと、対応するインパルス応答係数bnとを畳み込み演算することで、共鳴音データY=Σbn・Xn(n=0〜p)を得ることができる。このようにして入力された楽音信号データと、共鳴音データとを加算することで共鳴音が付加された楽音が出力される。
従来の共鳴音付加装置においては、ホール、教会など著名な場所において実際に測定された残響効果に基づき、上記一連のインパルス応答係数を得て、一連のインパルス応答係数を記憶部に格納している。演奏者は、スイッチを操作して、所望のホールを指定することで、当該ホールに対応する一連のインパルス応答係数が読み出され、畳み込み演算に用いられる。
さらに、特許文献1には、スピーカから残響特性を検出する際の基準オンを発生し、基準音の直接音および反射音を検出して、装置が配置されている空間の残響特性を抽出し、演奏者が選んだホールの残響特性と、上記空間の残響特性とを比較して、パラメータを算出する装置が開示されている。
特許文献1に開示された装置では、演奏者が演奏場所として想定するホールをスイッチ操作により指定し、当該ホールの残響特性により近い状態で楽音に共鳴音が付与される。この場合に、スイッチ操作により指定できるのはホール、教会、ライブハウスなど、特定の音楽演奏会場が一般的である。演奏者は、より多様な場所を想定して、その反響音を楽しみたい場合も多い。
本発明は、画像に含まれるオブジェクトや背景(テクスチャ)を含む構成要素に基づいて、当該画像に合致した残響特性を有する共鳴音の発生が可能な共鳴音付加装置、および、当該共鳴音付加装置を備えた電子楽器を提供することを目的とする。
本発明の目的は、共鳴音データを、楽音波形データに付加する共鳴音付加装置であって、
一連のインパルス応答係数からなるインパルス応答データを記憶したインパルス応答データ記憶手段と、
前記記憶手段に格納されたインパルス応答データを読み出して、時間軸上の一連の楽音波形データと、前記インパルス応答データに含まれるインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する共鳴音生成手段と、
画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出する領域抽出手段と、
前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する種別特定手段と、
前記種別特定手段により特定されたオブジェクト或いはテクスチャの各々の、前記画像全体における割合に基づいて、前記インパルス応答係数を決定するパラメータ算出手段と、を備えたことを特徴とする共鳴音付加装置により達成される。
一連のインパルス応答係数からなるインパルス応答データを記憶したインパルス応答データ記憶手段と、
前記記憶手段に格納されたインパルス応答データを読み出して、時間軸上の一連の楽音波形データと、前記インパルス応答データに含まれるインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する共鳴音生成手段と、
画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出する領域抽出手段と、
前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する種別特定手段と、
前記種別特定手段により特定されたオブジェクト或いはテクスチャの各々の、前記画像全体における割合に基づいて、前記インパルス応答係数を決定するパラメータ算出手段と、を備えたことを特徴とする共鳴音付加装置により達成される。
本発明によれば、画像に含まれるオブジェクトや背景(テクスチャ)を含む構成要素に基づいて、当該画像に合致した残響特性を有する共鳴音の発生が可能な共鳴音付加装置、および、当該共鳴音付加装置を備えた電子楽器を提供することが可能となる。
以下、添付図面を参照して、本発明の実施の形態について説明する。図1は、本発明の実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。図1に示すように、本実施の形態にかかる電子楽器10は、鍵盤12、CPU14、ROM16、RAM18、楽音生成部20、操作子群21、入力インタフェース(I/F)22および表示部23を有する。鍵盤12、CPU14、ROM16、RAM18、楽音生成部20、操作子群21、入力I/F22および表示部23は、バス19を介して接続される。楽音生成部20は、発音回路25、共鳴音付加回路26および音響システム27を有する。入力I/F22には、ディジタルカメラなどの撮像装置24が接続される。
鍵盤12は、複数の鍵を有し、演奏者の押鍵操作に応じて、押鍵された鍵を特定する情報および押鍵された鍵のベロシティを示す情報をCPU14に伝達することができる。
CPU14は、システム制御、押鍵された鍵に応じた音高の楽音波形データを生成するための楽音生成部20の発音回路25に与える種々の制御信号の生成、共鳴音付加回路26に与える種々の制御信号の生成などを実行する。特に、本実施の形態において、CPU14は、共鳴音付加回路26に与えるインパルス応答係数を算出するために、入力I/F22を解して取得した画像データに後述する画像処理を施すことができる。
ROM16は、楽音波形データを生成するためのプログラム、共鳴音データの生成のためのプログラムや、プログラムの実行の際に使用される定数を格納する。また、ROM16は、楽音生成部20により生成される楽音波形データのもととなる波形データなどを記憶する。後述する波形データ記憶部30およびインパルス応答データ記憶部31はROM16に設けられる。RAM18は、プログラムの実行の過程で必要な変数、パラメータ、入力データ、出力データを一時的に記憶するとともに、および、CPU14により算出された一連のインパルス応答係数を含むインパルス応答データを格納する。
操作子群21は、スイッチやテンキーなどを含み、演奏者の操作により電子楽器10に種々の指示(音色の指定、画像の読み込み、画像の指定、画像の拡大率の変更など)を与えることができる。表示部23は液晶表示装置を含み、演奏すべき楽曲の楽譜や、撮像装置24により撮影され、入力I/F22により取り込まれた画像データに基づく画像を表示することができる。
図2は、本実施の形態にかかる発音回路、共鳴音付加回路およびこれらに関連する構成部材の例を示すブロックダイヤグラムである。図1および図2に示すように、発音回路25は、CPU14から与えられた、発音すべき楽音の音色を示す音色情報、発音すべき音高を示す音高情報およびベロシティ情報に基づいて、ROM16中の波形データ記憶部30に記憶された波形データを読み出し、所定の音色で、かつ、所定の音高の楽音波形データを出力する。上記音色情報、音高情報およびベロシティ情報が、第1の制御信号を構成する。
また、CPU14は、入力I/F22を解して取得した画像データを解析する画像データ解析部37および解析結果に基づいてインパルス応答係数を算出するパラメータ算出部38を有している。パラメータ算出部38により算出されたインパルス応答係数は、RAM18中のインパルス応答データ記憶部31に格納される。また、図2に示すように、本実施の形態においては、共鳴音付加回路26は、共鳴音を生成する共鳴音生成回路35および加算回路36を有する。
図3は、本実施の形態にかかる発音回路、および、関連する構成部分をより詳細に示すブロックダイヤグラムである。図3に示すように、本実施の形態にかかる発音回路25は、波形再生回路41、エンベロープ生成回路42および乗算回路43を有する。波形データ記憶部30には、種々の楽器の音色、たとえば、ピアノ系の音色、弦楽器の音色、管楽器の音色の波形データが記憶されている。
波形再生回路41は、波形データ記憶部30に記憶された波形データから、CPU14から与えられる第1の制御信号に含まれる音色情報にしたがって、所定の種別の波形データを、音高情報にしたがって読み出す。また、エンベロープ生成回路42は、ベロシティ情報にしたがったエンベロープデータを出力する。波形データとエンベロープデータとは、乗算回路43において乗算され、楽音波形データが出力される。なお、発音回路25から出力される楽音波形データは単一の鍵を押鍵されたときの単一のデータだけではく、複数の鍵が押鍵されているときには、押鍵された複数の鍵の楽音波形データの合成データが、楽音波形データとして出力される。
第1の制御信号に含まれる音高情報およびベロシティ情報は、鍵盤12からの信号に基づいて、CPU14により生成される。また、第1の制御信号に含まれる音色情報は、演奏者による操作子群21に含まれる操作子を操作した情報に基づいて、CPU14により生成される。
共鳴音付加回路26の共鳴音生成回路35は、発音回路35から出力された楽音波形データを受け入れ、楽音波形データおよびインパルス応答データ記憶部31から読み出された一連のインパルス応答係数に基づいて、畳み込み演算を実行して共鳴音データを生成する。共鳴音データは、加算回路36の一方の入力に与えられる。加算回路36の他方の入力には、発音回路25からの出力(楽音波形データ)が与えられる。共鳴音生成回路35は、一連のインパルス応答係数の各々と、受け入れた楽音波形データとの畳み込み演算を行う。
図4は、本実施の形態にかかる共鳴音生成回路の概略構成を示す図である。図4に示すように、共鳴音生成回路35は、楽音波形データXを受け入れて、当該波形データを順次遅延させる複数(p個)の遅延回路51−1〜51−pと、楽音波形データおよび遅延回路51により遅延された楽音波形データをそれぞれ受け入れて、楽音波形データのそれぞれと、一連のインパルス応答係数中の対応するインパルス応答係数(bn)とを乗算する複数(p+1個)の乗算回路52−0〜52−pと、乗算回路52−0〜52−pの乗算結果を加算する加算回路54と、を有する。上記構成により、共鳴音生成回路35からは、共鳴音データY=Σbn・Xnが出力される(n=0〜p)。
図5は、本実施の形態にかかる電子楽器において実行される処理を概略的に示すフローチャートである。図5に示すように、電子楽器10のCPU14は、たとえば、RAM18に記憶されたデータのクリアを含むイニシャライズ処理を行う(ステップ501)。
イニシャライズ処理(ステップ501)が終了すると、CPU14は、操作子群21の各スイッチの操作を検出し、検出された操作にしたがった処理を実行するスイッチ処理を実行する(ステップ502)。スイッチ処理においては、音色指定スイッチ(図示せず)の操作に基づく音色を特定する情報(音色番号)、画像取り込みスイッチ(図示せず)の操作に基づく画像データの取り込みおよび画像データのRAM18への格納、カーソルキーやテンキー(図示せず)の操作に基づく、表示部23の画面上に表示された画像の拡大率のRAM18への格納などが実行される。画像データの取り込みの際に、CPU14は、取り込んだ画像データに識別番号を付与する。また、スイッチ処理においては、カーソルキーやテンキー(図示せず)の操作に基づく、表示部23の画面上に表示する画像の指定も行われ得る。画像を指定する情報(たとえば識別番号)は、RAM18中に格納される。
次いで、CPU14は、鍵盤12の各鍵のオン・オフ状態を検出する(ステップ503)。CPU14は、新たにオンされた鍵については、オン状態となった時刻を、RAM18に格納する。本実施の形態においては、鍵は2つスイッチを有し、鍵の押下に伴って2つのスイッチが順次オンされるようになっている。したがって、CPU14は、各鍵について2つのスイッチのそれぞれのオン時刻をRAM18に格納する。この2つのオン時刻の時間差に基づいて、いわゆるベロシティが算出される。また、CPU14は、新たにオフ状態となったスイッチについても、オフ状態となった時刻をRAM18に格納する。
押鍵検出処理(ステップ503)が終了すると、CPU14は共鳴音制御処理を実行する(ステップ504)。図6および図7は、本実施の形態にかかる共鳴音制御処理の例を示すフローチャートである。
図6に示すように、CPU14は、RAM18中に新たに画像データが格納されているかを判断する(ステップ601)。ステップ601でYesと判断された場合には、CPU14(画像解析部37)は、RAM18に格納された上記新たな画像データ(原画像データ)を取得する(ステップ602)。本実施の形態においては、画像解析部37は、原画像データにエッジ処理を施し、当該エッジ処理により得られた画像中のテクスチャやオブジェクトの外郭を画定している。
画像解析部37は、原画像データに対してエッジ抽出を施す(ステップ603)。ステップ603においては、原画像データを構成する画素値の不連続な変化を検出するとともに、検出結果に所定のフィルタを施すことにより、画像データ中にオブジェクトやテクスチャの境界を示す曲線を得る。エッジ処理においては、画像中の人物、建物、木などの植物というオブジェクトの抽出のほか、これに伴って、青空、雲、水、草原、など背景に対応する領域(テクスチャの領域)を抽出することもできる。これらオブジェクトやテクスチャが画像の構成要素となる。エッジ抽出については、周知の種々の手法(たとえば、キャニー法、微分エッジ法)を適用することができる。
図9(a)は、原画像データに基づく画像例、図9(b)は、エッジ抽出処理が施されたエッジ抽出画像の例を示す図である。エッジ抽出画像910においては、原画像データ900におけるオブジェクトなどの外形を示す曲線が明確化される。たとえば、図9(b)に示すエッジ抽出画像910においては、曲線911、913により、樹木というオブジェクトに相当する領域912、914がそれぞれ明確化される。また、曲線915により、青空を示す領域916と、雲を示す領域917とが識別され得る状態となる。
次いで、画像解析部37は、曲線により画定された領域ごとに、同一の領域に属する画素に同一のラベル(番号)を付すラベリング処理を実行する(ステップ604)。図9(c)は、ラベリング処理の結果を概略的に示す図である。図9(c)に示すように、エッジ抽出画像910において、曲線、或いは、画像の輪郭にて画定された領域のそれぞれにラベル(番号)が付され、当該領域に属する画素にはそのラベルが関連付けられる。その後、画像解析部37は、前記同一のラベルが付された領域ごとに、当該領域が何れの種別(オブジェクト・テクスチャ種別)に属するかを特定する(ステップ605)。
本実施の形態において、画像データでは、画素ごとにR、G、Bのそれぞれをあらわす値を含む3次元の画素値が対応付けられる。そこで、領域ごとに画素値の平均値をとり、その平均値を用いて、オブジェクト・テクスチャ種別を特定する。また、それぞれの領域の全体画像中の位置もオブジェクト・テクスチャ種別の特定に利用され、さらに、領域を画定する曲線の形状を参照し、その形状が直線である割合も、オブジェクト・テクスチャ種別の特定に利用される。
本実施の形態においては、たとえば、オブジェクト・テクスチャ種別として、「空」、「雲」、「植物」、「水」、「地表」、「人工物」が設けられている。それぞれについて、以下の特徴を有していれば、領域がその種別に属すると判断する。
「空」:画素値の平均値(R,G,B)が、水色を示す所定値(Rsky,Gsky,Bsky)を示す値から所定の範囲内であり(Rsky−r1sky≦R≦Rsky+r1sky,Gsky−r2sky≦G≦Gsky+r2sky,Bsky−r3sky≦B≦Bsky+r3sky)、かつ、その領域の重心位置が、画像全体の垂直方向中央より上側である。
「雲」:画素値の平均値(R,G,B)が、白色を示す値(Rcloud,Gcloud,Bcloud)から所定の範囲内であり(Rcloud−r1cloud≦R≦Rcloud+r1cloud,Gcloud−r2cloud≦G≦Gcloud+r2cloud,Bcloud−r3cloud≦B≦Bcloud+r3cloud)、かつ、その領域の重心位置が、画像全体の垂直方向中央より上側である。
「植物」:画素値の平均値(R,G,B)が、緑色を示す値(Rplant,Gplant,Bplant)から所定の範囲内(Rplant−r1plant≦R≦Rplant+r1plant,Gplant−r2plant≦G≦Gplant+r2plant,Bplant−r3plant≦B≦Bplant+r3plant)である。
「水」:画素値の平均値(R,G,B)が、青色を示す値(Rwater,Gwater,Bwater)から所定の範囲内であり(Rwater−r1water≦R≦Rwater+r1water,Gwater−r2water≦G≦Gwater+r2water,Bwater−r3water≦B≦Bwater+r3water)、かつ、その領域の重心位置が、画像全体の垂直方向中央より下側である。
「地表」:画素値の平均値(R,G,B)が、茶色を示す値(Rground,Gground,Bground)から所定の範囲内であり(Rground−r1ground≦R≦Rground+r1ground,Gground−r2ground≦G≦Gground+r2ground,Bground−r3ground≦B≦Bground+r3ground)、かつ、その領域の重心位置が、画像全体の垂直方向中央より下側である。
「人工物」:オブジェクトの外郭を画定する曲線(エッジに対応する曲線)において、直線部分が所定以上の割合を占める。或いは、直線部分が所定の長さ以上連続する。
ステップ605において画像解析部37は、領域が上述した種別の何れに属するかを判断した後、領域と当該領域が属する種別を示す情報とを関連付けてRAM18に格納する。ステップ601でNoと判断された場合には、CPU14は、スイッチ処理において画像の拡大率が変更されたかを判断する(ステップ607)。ステップ607でNoと判断された場合には、共鳴音制御処理を終了する。ステップ607でYesと判断された場合、或いは、ステップ605の後、CPU14(パラメータ算出部38)は、前述した領域のそれぞれについて、全体の画像中に占める割合を算出する(ステップ606)。
パラメータ算出部38は、上記領域の各々の割合、各領域に対応付けられたオブジェクト・テクスチャ種別についての反射率、および、画像の拡大率にしたがって、遅れ時間DT、初期反射音の音量レベルILおよび反響音の持続時間STを算出する。図8は、反響音を概略的に示すグラフである。
一般に、原音801に対して、一定の遅れ時間DTを経て、初期反射音802が、原音801の音量レベルから一定だけ減衰した状態で発せられる。これは、原音801が何らかの反射体に反射して戻ってきた状態に対応する。その後、反射音803は、徐々に減衰しつつ、所定の持続時間STだけ継続する。
遅れ時間の算出(ステップ701)において、パラメータ算出部38は、遅れ時間Dを以下のように算出する。
遅れ時間DT=α×(1/L)×Σ(Pm×Qm)
mは、領域に関連付けられたラベル(番号)、1≦m≦N(Nは領域数)、Pmは、ラベルmの領域に対応付けられたオブジェクト・テクスチャ種別についての反射率、Qmは、ラベルmの領域の、画像全体に占める割合である。
mは、領域に関連付けられたラベル(番号)、1≦m≦N(Nは領域数)、Pmは、ラベルmの領域に対応付けられたオブジェクト・テクスチャ種別についての反射率、Qmは、ラベルmの領域の、画像全体に占める割合である。
ここに反射率Pは、0より大きく1以下の、オブジェクト・テクスチャ種別にあらかじめ対応付けられた値となっている。本実施の形態では、オブジェクト・テクスチャ種別「空」、「雲」、「植物」、「水」、「地表」、「人工物」のそれぞれに対応付けられた反射率Psky、Pcloud、Pwater、Pplant、Pground、Partは、以下の関係を有している。
0<Psky=Pcloud<Pwater<Pplant<Pground<Part≒1
Lは拡大率である。拡大率Lが1より大きくなるのにしたがって、遅れ時間は小さくなる。また、αは所定の係数である。
Lは拡大率である。拡大率Lが1より大きくなるのにしたがって、遅れ時間は小さくなる。また、αは所定の係数である。
初期反射音の音量レベルILの算出(ステップ702)において、パラメータ算出部38は、音量レベルILを以下のように算出する。
音量レベルIL=β×L×Σ(Pm×Qm)
ここにβは所定の係数である。
ここにβは所定の係数である。
さらに、持続時間の算出(ステップ703)において、パラメータ算出部38は、持続時間STを以下のように算出する。
持続時間ST=γ×Σ(Pm×Qm)
ここに、γも所定の定数である。
ここに、γも所定の定数である。
ステップ701〜703によって、領域の割合に応じた遅れ時間DT、初期反射音の音量レベルIL、持続時間STを取得することができる。たとえば、「人工物」のように反射率Pの高い領域の割合が大きければ、Σの中が大きくなるため、遅れ時間、初期反射音の音量レベルおよび持続時間が大きくなる。その一方、「空」や「雲」のように反射率Pの低い領域の割合が大きければ、遅れ時間、初期反射音の音量レベルおよび持続時間の割合が小さくなる。
また、拡大率は、画像の撮影者とオブジェクトとの間の距離を規定するパラメータと考えることができる。図10(a)、(b)は、建物の内部を撮影した画像の例を模式的に示す図である。図10(b)は、図10(a)の画像を拡大率L(L>1)で拡大した例を示す。図10(a)の画像1000中の枠1001が、図10(b)に示す拡大された画像1010の外枠に相当する。図10(a)に示すように、画像1000の外枠から画像の中心までの距離をL1、画像1010の外枠(或いは枠1001)から画像の中心までの距離をL2とすると、L1>L2である。したがって、拡大率Lが1より大きくなるのにしたがって、画像の撮影者の位置と考えられる画像の外枠と、画像の中心との距離が小さくなる。
そこで、本実施の形態においては、遅れ時間DTについては、(1/L)を乗じることで、画像の中心までの距離が小さくなる(拡大率が大きくなる)のにしたがって、遅れ時間DTが短くなるようにしている。その一方、初期反射音の音量レベルILについては、Lを乗じることで、画像の中心までの距離が小さくなる(拡大率が大きくなる)のにしたがって、音量レベルILが大きくなるようにしている。
その後、パラメータ算出部38は、得られた遅れ時間DT、初期反射音の音量レベルILおよび持続時間STに基づき、一連のインパルス応答係数を算出する(ステップ704)。図4に示すように、本実施の形態にかかる共鳴音生成回路35では、p+1個の遅延回路51−0〜51−pが設けられ、それぞれに、インパルス応答係数b[0]〜b[p]が与えられるようになっている。
遅れ時間DTは、最初に0以外のインパルス応答係数となる遅延回数を示すパラメータs(0<s)を規定する。また、初期反射音の音量レベルILは、当該パラメータsでのインパルス応答係数b[s]を決定する。さらに、持続時間STは、インパルス応答係数が減衰して再度0となる遅延回数を示すパラメータt(s<t)を決定する。さらに、初期反射音の音量レベルIL、持続時間STおよび所定の減衰曲線によって、パラメータs+1〜t−1までのインパルス応答係数b[s+1]〜b[t−1]を算出することができる。なお、減衰曲線は単なる一次の直線であっても良い。
パラメータ算出部38は、算出されたインパルス応答係数を出力して、RAM18中のインパルス応答データ記憶部31に、画像に付与された識別番号と関連付けて格納する(ステップ705)。
共鳴音制御処理(ステップ504)が終了すると、CPU14は、押鍵された鍵にしたがって、所定の音高、音色およびベロシティで楽音信号データを生成させるための、第1の制御信号を楽音生成部20の発音回路25に出力する(ステップ505)。ステップ505の演奏処理において、CPU14は、RAM18中に格納された鍵の情報を参照して、新たにオン状態となった鍵について、発音すべき楽音の音高およびベロシティを示す第1の制御信号を発音回路25に出力する。また、CPU14は、新たにオフ状態となった鍵について、消音すべき音高を示す第1の制御信号を発音回路25に出力する。
発音回路25は、CPU14から第1の制御信号を受理すると、音色情報にしたがった所定の波形データをROM16の波形データ記憶部30から、音高情報にしたがった速度で読み出し、かつ、ベロシティにしたがったレベルの楽音波形データを生成する。これにより、発音回路25から楽音波形データが出力される。楽音波形データは、加算回路36および共鳴音生成回路35に出力される。また、消音を示す第1の制御信号を受理した場合には、発音回路25は、第1の制御信号が示す音高の楽音を消音する。
共鳴音生成回路35では、ステップ504で取得された一連のインパルス応答係数にしたがって、共鳴音データY=Σbn・Xn(n=0〜p)が生成され出力される。共鳴音データは、加算回路36において、楽音波形データと加算されて出力される。
その後、CPU14は、その他、電子楽器10を作動させるための他の必要な処理を実行して(ステップ506)、ステップ502に戻る。ステップ506で実行される処理には、たとえば、表示部23の画面上に表示すべき画像の生成および表示や、LED(図示せず)のオン・オフが含まれる。図11は、その他の処理にふくまれる画像生成・表示処理の例を示すフローチャートである。
図11に示すように、CPU14は、RAM18中に新たに画像データが格納されているかを判断する(ステップ1101)。ステップ1101でYesと判断された場合には、CPU14は、当該新たに格納された画像データを読み出して、当該画像データに基づく画像を表示部23の画面上に表示する(ステップ1102)。ステップ1101でNoと判断された場合には、CPU14は、スイッチ処理において画像を特定する情報(画像の識別番号)の指定があったかを判断する(ステップ1103)。ステップ1103でYesと判断された場合には、CPU14は、RAM18中、識別番号が示す画像データを読み出して、当該画像データに基づく画像を表示部23の画面上に表示する(ステップ1104)。また、CPU14は、RAM18(インパルス応答記憶部31)中、当該識別番号に対応付けられたインパルス応答データ(一連のインパルス応答係数)を取得して、共鳴音生成回路35に与える(ステップ1105)。
ステップ1103でNoと判断された場合には、CPU14は、スイッチ処理において画像の拡大率が変更されたかを判断する(ステップ1106)。ステップ1106でYesと判断された場合には、CPU14は、拡大率を変更した画像データを生成して、画像を表示部23の画面上に表示する(ステップ1107)。
本実施の形態においては、画像解析部37が、画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出し、前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する。また、パラメータ算出部38は、特定されたオブジェクト或いはテクスチャの各々の、画像全体における割合に基づいて、インパルス応答係数を決定する。共鳴音付加回路26は、時間軸上の一連の楽音波形データと、決定されたインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する。したがって、画像に含まれる構成要素、たとえば、人工物、植物、水、空、雲などの割合にしたがった適切な一連のインパルス応答係数を用いた共鳴音を発生させることが可能となる。
また、本実施の形態においては、パラメータ算出部38は、オブジェクトおよびテクスチャの種別の各々に対応付けられた反射率と、画像全体における割合とに基づいて、インパルス応答係数を決定する。これにより、オブジェクトやテクスチャの固有の反射率と、当該オブジェクトやテクスチャが画像中に割合とを考慮して、画像の内容に合致した適切な反響音(反射音を規定する遅れ時間、初期反射音の音量レベルおよび継続時間)を発生させることが可能となる。
特に、本実施の形態においては、パラメータ算出部38は、初期反射音までの遅れ時間、初期反射音の音量レベルおよび継続時間を、種別の各々に対応付けられた反射率と画像全体における割合との積の総和を算出することにより、一連のインパルス応答係数を決定する。これにより、画像の内容に合致した適切な、反射音を規定する遅れ時間、初期反射音の音量レベルおよび継続時間を得ることが可能となる。
また、本実施の形態において、パラメータ算出部38は、表示部23の画面上に画像の拡大率に基づいて、遅れ時間および初期反射音の音量レベルを算出する。画面の拡大率は画像を見るものと画像に含まれるオブジェクトやテクスチャとの間の距離と関連する。すなわち、拡大率が大きくなれば、画像の撮影者と、ブジェクトやテクスチャとの間の距離が接近する。したがって、上記距離を考慮した共鳴音の発生が可能となる。
本実施の形態においては、画像解析部37は、抽出された領域の色を示す値、および、領域の位置に基づいて、オブジェクト或いはテクスチャの種別を特定する。これにより、適切な種別の特定を実現することができる。さらに、画像解析部37は、特に、建物など人工物については、抽出された領域の外郭に含まれる直線の長さに基づいて特定する。これにより、色や場所以外の要素に基づき、人工物も適切に判別することが可能となる。
本発明は、以上の実施の形態に限定されることはない。たとえば、前記実施の形態においては、遅れ時間DT、初期反射音の音量レベルIL、および、持続時間を、それぞれ、
DT=α×(1/L)×Σ(Pm×Qm)
IL=β×L×Σ(Pm×Qm)
ST=γ×Σ(Pm×Qm)
としているが、これらに限定されるものではない。たとえば、遅れ時間DTについては、反射率Pや画像全体における領域の割合Qを考慮せず、距離に相当するLのみを考慮して、DT=δ×(1/L)としても良い。
DT=α×(1/L)×Σ(Pm×Qm)
IL=β×L×Σ(Pm×Qm)
ST=γ×Σ(Pm×Qm)
としているが、これらに限定されるものではない。たとえば、遅れ時間DTについては、反射率Pや画像全体における領域の割合Qを考慮せず、距離に相当するLのみを考慮して、DT=δ×(1/L)としても良い。
また、上記実施の形態においては、オブジェクト・テクスチャ種別を、「空」、「雲」、「植物」、「水」、「地表」、「人工物」としたがこれらに限定されるものではない。また、オブジェクト・テクスチャ種別の特定も、上記実施の形態に記載したものに限定されない。
以上、本発明の実施の形態について詳細に説明したが、本発明の範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明およびその均等の範囲が、本発明の範囲内に包含される。以下、本出願の願書に最初に添付した特許請求の範囲に記載された発明を付記する。なお、付記に記載した請求項の項番は、本出願の願書に最初に添付した特許請求の範囲の項番に相当する。
[付記]
請求項1に記載された発明は、共鳴音データを、楽音波形データに付加する共鳴音付加装置であって、
一連のインパルス応答係数からなるインパルス応答データを記憶したインパルス応答データ記憶手段と、
前記記憶手段に格納されたインパルス応答データを読み出して、時間軸上の一連の楽音波形データと、前記インパルス応答データに含まれるインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する共鳴音生成手段と、
画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出する領域抽出手段と、
前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する種別特定手段と、
前記種別特定手段により特定されたオブジェクト或いはテクスチャの各々の、前記画像全体における割合に基づいて、前記インパルス応答係数を決定するパラメータ算出手段と、を備えたことを特徴とする共鳴音付加装置である。
[付記]
請求項1に記載された発明は、共鳴音データを、楽音波形データに付加する共鳴音付加装置であって、
一連のインパルス応答係数からなるインパルス応答データを記憶したインパルス応答データ記憶手段と、
前記記憶手段に格納されたインパルス応答データを読み出して、時間軸上の一連の楽音波形データと、前記インパルス応答データに含まれるインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する共鳴音生成手段と、
画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出する領域抽出手段と、
前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する種別特定手段と、
前記種別特定手段により特定されたオブジェクト或いはテクスチャの各々の、前記画像全体における割合に基づいて、前記インパルス応答係数を決定するパラメータ算出手段と、を備えたことを特徴とする共鳴音付加装置である。
請求項2に記載された発明は、前記パラメータ算出手段が、前記オブジェクトおよびテクスチャの種別の各々に対応付けられた反射率と、前記画像全体における割合とに基づいて、前記インパルス応答係数を決定するように構成された共鳴音付加装置である。
請求項3に記載された発明は、前記パラメータ算出手段が、初期反射音までの遅れ時間、初期反射音の音量レベルおよび継続時間を、前記種別の各々に対応付けられた反射率と画像全体における割合との積の総和を算出し、当該総和に基づき前記インパルス応答係数を決定する共鳴音付加装置である。
請求項4に記載された発明は、前記パラメータ算出手段が、表示手段に表示される画像の拡大率に基づいて、前記遅れ時間および初期反射音の音量レベルを算出する共鳴音付加装置である。
請求項5に記載された発明は、前記種別特定手段が、前記抽出された領域の色を示す値、および、前記領域の位置に基づいて、オブジェクト或いはテクスチャの種別を特定する共鳴音付加装置である。
請求項6に記載された発明は、前記種別特定手段が、前記抽出された領域の外郭に含まれる直線の長さに基づき、前記オブジェクト或いはテクスチャの種別を特定する共鳴音付加装置である。
請求項7に記載された発明は、上記請求項1ないし6の何れか一項に記載の共鳴音付加装置と、
鍵盤と、
前記鍵盤を構成する鍵のうち、押鍵された鍵の音高の楽音波形データを生成する発音手段と、を備え、
前記楽音波形データが、前記共鳴音付加装置に出力されることを特徴とする電子楽器である。
鍵盤と、
前記鍵盤を構成する鍵のうち、押鍵された鍵の音高の楽音波形データを生成する発音手段と、を備え、
前記楽音波形データが、前記共鳴音付加装置に出力されることを特徴とする電子楽器である。
10 電子楽器
12 鍵盤
14 CPU
16 ROM
18 RAM
20 楽音生成部
21 操作子群
22 入力I/F
23 表示部
24 撮像装置
25 発音回路
26 共鳴音付加回路
27 音響システム
35 共鳴音生成回路
12 鍵盤
14 CPU
16 ROM
18 RAM
20 楽音生成部
21 操作子群
22 入力I/F
23 表示部
24 撮像装置
25 発音回路
26 共鳴音付加回路
27 音響システム
35 共鳴音生成回路
Claims (7)
- 共鳴音データを、楽音波形データに付加する共鳴音付加装置であって、
一連のインパルス応答係数からなるインパルス応答データを記憶したインパルス応答データ記憶手段と、
前記記憶手段に格納されたインパルス応答データを読み出して、時間軸上の一連の楽音波形データと、前記インパルス応答データに含まれるインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する共鳴音生成手段と、
画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出する領域抽出手段と、
前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する種別特定手段と、
前記種別特定手段により特定されたオブジェクト或いはテクスチャの各々の、前記画像全体における割合に基づいて、前記インパルス応答係数を決定するパラメータ算出手段と、を備えたことを特徴とする共鳴音付加装置。 - 前記パラメータ算出手段が、前記オブジェクトおよびテクスチャの種別の各々に対応付けられた反射率と、前記画像全体における割合とに基づいて、前記インパルス応答係数を決定するように構成されたことを特徴とする請求項1に記載の共鳴音付加装置。
- 前記パラメータ算出手段が、初期反射音までの遅れ時間、初期反射音の音量レベルおよび継続時間を、前記種別の各々に対応付けられた反射率と画像全体における割合との積の総和を算出し、当該総和に基づき前記インパルス応答係数を決定する請求項2に記載の共鳴音付加装置。
- 前記パラメータ算出手段が、表示手段に表示される画像の拡大率に基づいて、前記遅れ時間および初期反射音の音量レベルを算出することを特徴とする請求項3に記載の共鳴音付加装置。
- 前記種別特定手段が、前記抽出された領域の色を示す値、および、前記領域の位置に基づいて、オブジェクト或いはテクスチャの種別を特定することを特徴とする請求項1ないし4の何れか一項に記載の共鳴音付加装置。
- 前記種別特定手段が、前記抽出された領域の外郭に含まれる直線の長さに基づき、前記オブジェクト或いはテクスチャの種別を特定することを特徴とする請求項1ないし5の何れか一項に記載の共鳴音付加装置。
- 請求項1ないし6の何れか一項に記載の共鳴音付加装置と、
鍵盤と、
前記鍵盤を構成する鍵のうち、押鍵された鍵の音高の楽音波形データを生成する発音手段と、を備え、
前記楽音波形データが、前記共鳴音付加装置に出力されることを特徴とする電子楽器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011034196A JP5703820B2 (ja) | 2011-02-21 | 2011-02-21 | 共鳴音付加装置および電子楽器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011034196A JP5703820B2 (ja) | 2011-02-21 | 2011-02-21 | 共鳴音付加装置および電子楽器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012173445A JP2012173445A (ja) | 2012-09-10 |
JP5703820B2 true JP5703820B2 (ja) | 2015-04-22 |
Family
ID=46976412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011034196A Active JP5703820B2 (ja) | 2011-02-21 | 2011-02-21 | 共鳴音付加装置および電子楽器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5703820B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6170791B2 (ja) * | 2013-09-20 | 2017-07-26 | 日本放送協会 | 残響付加装置 |
JP2015061277A (ja) * | 2013-09-20 | 2015-03-30 | 日本放送協会 | 残響付加装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2617112B2 (ja) * | 1988-03-22 | 1997-06-04 | 清水建設株式会社 | 室内空間音響映像シミュレーションシステム |
JPH06186966A (ja) * | 1992-12-21 | 1994-07-08 | Casio Comput Co Ltd | エフェクタ |
JPH10268888A (ja) * | 1997-03-28 | 1998-10-09 | Yamaha Corp | カラオケ室 |
JP2000267675A (ja) * | 1999-03-16 | 2000-09-29 | Sega Enterp Ltd | 音響信号処理装置 |
JP2002354598A (ja) * | 2001-05-25 | 2002-12-06 | Daikin Ind Ltd | 音声空間情報付加装置および方法、記録媒体、並びにプログラム |
JP2005080124A (ja) * | 2003-09-02 | 2005-03-24 | Japan Science & Technology Agency | リアルタイム音響再現システム |
WO2006009004A1 (ja) * | 2004-07-15 | 2006-01-26 | Pioneer Corporation | 音響再生システム |
JP4877076B2 (ja) * | 2007-05-30 | 2012-02-15 | カシオ計算機株式会社 | 共鳴音付加装置および共鳴音付加プログラム |
-
2011
- 2011-02-21 JP JP2011034196A patent/JP5703820B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012173445A (ja) | 2012-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5411706B2 (ja) | デジタル画像のダイナミックレンジを増強するための装置及び方法 | |
US7612281B2 (en) | Reverberation effect adding device | |
WO2007010638A1 (ja) | 自動採譜装置及びプログラム | |
JP5703820B2 (ja) | 共鳴音付加装置および電子楽器 | |
JP2008516288A (ja) | 音声信号の基礎となるメロディの抽出 | |
JP6163211B2 (ja) | 少なくとも二つの出力信号から少なくとも二つの個別信号を算出する方法 | |
EP3757984B1 (en) | Electronic musical instrument, method and program | |
KR20070094207A (ko) | 영상을 소리로 변환하는 방법 및 장치 | |
JP5169753B2 (ja) | 共鳴音付加装置および電子楽器 | |
JP4877076B2 (ja) | 共鳴音付加装置および共鳴音付加プログラム | |
JP6728846B2 (ja) | 演奏信号生成装置および演奏信号生成方法 | |
JP3419175B2 (ja) | エンベロープ検出方法 | |
JPH11327569A (ja) | 自動音場補正を用いたゲーム装置の制御方法 | |
JP5707673B2 (ja) | 共鳴音付加装置および電子楽器 | |
Penttinen et al. | Morphing instrument body models | |
JP7472575B2 (ja) | 処理方法、処理装置、及びプログラム | |
US11798521B2 (en) | Computation design of acoustic resonators | |
JP4548516B2 (ja) | Firフィルタ装置、音響装置およびfirフィルタプログラム | |
JP3229939B2 (ja) | メディア変換装置 | |
JP5092902B2 (ja) | Firフィルタ係数算出装置、firフィルタ装置、および、firフィルタ係数算出プログラム | |
JP2008299004A (ja) | 共鳴音付加装置および共鳴音付加プログラム | |
JP3797356B2 (ja) | 電子楽器 | |
JP4432951B2 (ja) | 楽音発生装置および電子楽器 | |
JP3747886B2 (ja) | 楽音合成装置 | |
JP2010210757A (ja) | 楽音発生装置および楽音発生プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5703820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |