JP5703820B2 - 共鳴音付加装置および電子楽器 - Google Patents

Description

本発明は、楽音に共鳴音を付加する共鳴音付加装置および電子楽器に関する。

共鳴音付加装置では、ディジタルの楽音波形データを受け入れて、楽音波形データにディジタルフィルタによるフィルタ処理を施すのが一般的である。フィルタ処理においては、ＦＩＲ（有限インパルス応答：Finite Impulse Response）フィルタ或いはＩＩＲ（無限インパルス応答：Infinite Impulse Response）フィルタが利用される。

ＦＩＲフィルタを利用する場合には、一連のインパルス応答係数にしたがって、入力される楽音信号データＸ_ｎと、対応するインパルス応答係数ｂ_ｎとを畳み込み演算することで、共鳴音データＹ＝Σｂ_ｎ・Ｘ_ｎ（ｎ＝０〜ｐ）を得ることができる。このようにして入力された楽音信号データと、共鳴音データとを加算することで共鳴音が付加された楽音が出力される。

従来の共鳴音付加装置においては、ホール、教会など著名な場所において実際に測定された残響効果に基づき、上記一連のインパルス応答係数を得て、一連のインパルス応答係数を記憶部に格納している。演奏者は、スイッチを操作して、所望のホールを指定することで、当該ホールに対応する一連のインパルス応答係数が読み出され、畳み込み演算に用いられる。

さらに、特許文献１には、スピーカから残響特性を検出する際の基準オンを発生し、基準音の直接音および反射音を検出して、装置が配置されている空間の残響特性を抽出し、演奏者が選んだホールの残響特性と、上記空間の残響特性とを比較して、パラメータを算出する装置が開示されている。

特開平６−１８６９６６号公報

特許文献１に開示された装置では、演奏者が演奏場所として想定するホールをスイッチ操作により指定し、当該ホールの残響特性により近い状態で楽音に共鳴音が付与される。この場合に、スイッチ操作により指定できるのはホール、教会、ライブハウスなど、特定の音楽演奏会場が一般的である。演奏者は、より多様な場所を想定して、その反響音を楽しみたい場合も多い。

本発明は、画像に含まれるオブジェクトや背景（テクスチャ）を含む構成要素に基づいて、当該画像に合致した残響特性を有する共鳴音の発生が可能な共鳴音付加装置、および、当該共鳴音付加装置を備えた電子楽器を提供することを目的とする。

本発明の目的は、共鳴音データを、楽音波形データに付加する共鳴音付加装置であって、
一連のインパルス応答係数からなるインパルス応答データを記憶したインパルス応答データ記憶手段と、
前記記憶手段に格納されたインパルス応答データを読み出して、時間軸上の一連の楽音波形データと、前記インパルス応答データに含まれるインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する共鳴音生成手段と、
画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出する領域抽出手段と、
前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する種別特定手段と、
前記種別特定手段により特定されたオブジェクト或いはテクスチャの各々の、前記画像全体における割合に基づいて、前記インパルス応答係数を決定するパラメータ算出手段と、を備えたことを特徴とする共鳴音付加装置により達成される。

本発明によれば、画像に含まれるオブジェクトや背景（テクスチャ）を含む構成要素に基づいて、当該画像に合致した残響特性を有する共鳴音の発生が可能な共鳴音付加装置、および、当該共鳴音付加装置を備えた電子楽器を提供することが可能となる。

図１は、本発明の実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。 図２は、本実施の形態にかかる発音回路、共鳴音付加回路およびこれらに関連する構成部材の例を示すブロックダイヤグラムである。 図３は、本実施の形態にかかる発音回路、および、関連する構成部分をより詳細に示すブロックダイヤグラムである。 図４は、本実施の形態にかかる共鳴音生成回路の概略構成を示す図である。 図５は、本実施の形態にかかる電子楽器において実行される処理を概略的に示すフローチャートである。 図６は、本実施の形態にかかる共鳴音制御処理の例を示すフローチャートである。 図７は、本実施の形態にかかる共鳴音制御処理の例を示すフローチャートである。 図８は、反響音を概略的に示すグラフである。 図９（ａ）は、原画像データに基づく画像例を示す図、図９（ｂ）は、エッジ抽出処理が施されたエッジ抽出画像の例を示す図、図９（ｃ）は、ラベリング処理の結果を概略的に示す図である。 図１０（ａ）、（ｂ）は、建物の内部を撮影した画像の例を模式的に示す図である。 図１１は、その他の処理にふくまれる画像生成・表示処理の例を示すフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。図１に示すように、本実施の形態にかかる電子楽器１０は、鍵盤１２、ＣＰＵ１４、ＲＯＭ１６、ＲＡＭ１８、楽音生成部２０、操作子群２１、入力インタフェース（Ｉ／Ｆ）２２および表示部２３を有する。鍵盤１２、ＣＰＵ１４、ＲＯＭ１６、ＲＡＭ１８、楽音生成部２０、操作子群２１、入力Ｉ／Ｆ２２および表示部２３は、バス１９を介して接続される。楽音生成部２０は、発音回路２５、共鳴音付加回路２６および音響システム２７を有する。入力Ｉ／Ｆ２２には、ディジタルカメラなどの撮像装置２４が接続される。

鍵盤１２は、複数の鍵を有し、演奏者の押鍵操作に応じて、押鍵された鍵を特定する情報および押鍵された鍵のベロシティを示す情報をＣＰＵ１４に伝達することができる。

ＣＰＵ１４は、システム制御、押鍵された鍵に応じた音高の楽音波形データを生成するための楽音生成部２０の発音回路２５に与える種々の制御信号の生成、共鳴音付加回路２６に与える種々の制御信号の生成などを実行する。特に、本実施の形態において、ＣＰＵ１４は、共鳴音付加回路２６に与えるインパルス応答係数を算出するために、入力Ｉ／Ｆ２２を解して取得した画像データに後述する画像処理を施すことができる。

ＲＯＭ１６は、楽音波形データを生成するためのプログラム、共鳴音データの生成のためのプログラムや、プログラムの実行の際に使用される定数を格納する。また、ＲＯＭ１６は、楽音生成部２０により生成される楽音波形データのもととなる波形データなどを記憶する。後述する波形データ記憶部３０およびインパルス応答データ記憶部３１はＲＯＭ１６に設けられる。ＲＡＭ１８は、プログラムの実行の過程で必要な変数、パラメータ、入力データ、出力データを一時的に記憶するとともに、および、ＣＰＵ１４により算出された一連のインパルス応答係数を含むインパルス応答データを格納する。

操作子群２１は、スイッチやテンキーなどを含み、演奏者の操作により電子楽器１０に種々の指示（音色の指定、画像の読み込み、画像の指定、画像の拡大率の変更など）を与えることができる。表示部２３は液晶表示装置を含み、演奏すべき楽曲の楽譜や、撮像装置２４により撮影され、入力Ｉ／Ｆ２２により取り込まれた画像データに基づく画像を表示することができる。

図２は、本実施の形態にかかる発音回路、共鳴音付加回路およびこれらに関連する構成部材の例を示すブロックダイヤグラムである。図１および図２に示すように、発音回路２５は、ＣＰＵ１４から与えられた、発音すべき楽音の音色を示す音色情報、発音すべき音高を示す音高情報およびベロシティ情報に基づいて、ＲＯＭ１６中の波形データ記憶部３０に記憶された波形データを読み出し、所定の音色で、かつ、所定の音高の楽音波形データを出力する。上記音色情報、音高情報およびベロシティ情報が、第１の制御信号を構成する。

また、ＣＰＵ１４は、入力Ｉ／Ｆ２２を解して取得した画像データを解析する画像データ解析部３７および解析結果に基づいてインパルス応答係数を算出するパラメータ算出部３８を有している。パラメータ算出部３８により算出されたインパルス応答係数は、ＲＡＭ１８中のインパルス応答データ記憶部３１に格納される。また、図２に示すように、本実施の形態においては、共鳴音付加回路２６は、共鳴音を生成する共鳴音生成回路３５および加算回路３６を有する。

図３は、本実施の形態にかかる発音回路、および、関連する構成部分をより詳細に示すブロックダイヤグラムである。図３に示すように、本実施の形態にかかる発音回路２５は、波形再生回路４１、エンベロープ生成回路４２および乗算回路４３を有する。波形データ記憶部３０には、種々の楽器の音色、たとえば、ピアノ系の音色、弦楽器の音色、管楽器の音色の波形データが記憶されている。

波形再生回路４１は、波形データ記憶部３０に記憶された波形データから、ＣＰＵ１４から与えられる第１の制御信号に含まれる音色情報にしたがって、所定の種別の波形データを、音高情報にしたがって読み出す。また、エンベロープ生成回路４２は、ベロシティ情報にしたがったエンベロープデータを出力する。波形データとエンベロープデータとは、乗算回路４３において乗算され、楽音波形データが出力される。なお、発音回路２５から出力される楽音波形データは単一の鍵を押鍵されたときの単一のデータだけではく、複数の鍵が押鍵されているときには、押鍵された複数の鍵の楽音波形データの合成データが、楽音波形データとして出力される。

第１の制御信号に含まれる音高情報およびベロシティ情報は、鍵盤１２からの信号に基づいて、ＣＰＵ１４により生成される。また、第１の制御信号に含まれる音色情報は、演奏者による操作子群２１に含まれる操作子を操作した情報に基づいて、ＣＰＵ１４により生成される。

共鳴音付加回路２６の共鳴音生成回路３５は、発音回路３５から出力された楽音波形データを受け入れ、楽音波形データおよびインパルス応答データ記憶部３１から読み出された一連のインパルス応答係数に基づいて、畳み込み演算を実行して共鳴音データを生成する。共鳴音データは、加算回路３６の一方の入力に与えられる。加算回路３６の他方の入力には、発音回路２５からの出力（楽音波形データ）が与えられる。共鳴音生成回路３５は、一連のインパルス応答係数の各々と、受け入れた楽音波形データとの畳み込み演算を行う。

図４は、本実施の形態にかかる共鳴音生成回路の概略構成を示す図である。図４に示すように、共鳴音生成回路３５は、楽音波形データＸを受け入れて、当該波形データを順次遅延させる複数（ｐ個）の遅延回路５１−１〜５１−ｐと、楽音波形データおよび遅延回路５１により遅延された楽音波形データをそれぞれ受け入れて、楽音波形データのそれぞれと、一連のインパルス応答係数中の対応するインパルス応答係数（ｂ_ｎ）とを乗算する複数（ｐ＋１個）の乗算回路５２−０〜５２−ｐと、乗算回路５２−０〜５２−ｐの乗算結果を加算する加算回路５４と、を有する。上記構成により、共鳴音生成回路３５からは、共鳴音データＹ＝Σｂ_ｎ・Ｘ_ｎが出力される（ｎ＝０〜ｐ）。

図５は、本実施の形態にかかる電子楽器において実行される処理を概略的に示すフローチャートである。図５に示すように、電子楽器１０のＣＰＵ１４は、たとえば、ＲＡＭ１８に記憶されたデータのクリアを含むイニシャライズ処理を行う（ステップ５０１）。

イニシャライズ処理（ステップ５０１）が終了すると、ＣＰＵ１４は、操作子群２１の各スイッチの操作を検出し、検出された操作にしたがった処理を実行するスイッチ処理を実行する（ステップ５０２）。スイッチ処理においては、音色指定スイッチ（図示せず）の操作に基づく音色を特定する情報（音色番号）、画像取り込みスイッチ（図示せず）の操作に基づく画像データの取り込みおよび画像データのＲＡＭ１８への格納、カーソルキーやテンキー（図示せず）の操作に基づく、表示部２３の画面上に表示された画像の拡大率のＲＡＭ１８への格納などが実行される。画像データの取り込みの際に、ＣＰＵ１４は、取り込んだ画像データに識別番号を付与する。また、スイッチ処理においては、カーソルキーやテンキー（図示せず）の操作に基づく、表示部２３の画面上に表示する画像の指定も行われ得る。画像を指定する情報（たとえば識別番号）は、ＲＡＭ１８中に格納される。

次いで、ＣＰＵ１４は、鍵盤１２の各鍵のオン・オフ状態を検出する(ステップ５０３)。ＣＰＵ１４は、新たにオンされた鍵については、オン状態となった時刻を、ＲＡＭ１８に格納する。本実施の形態においては、鍵は２つスイッチを有し、鍵の押下に伴って２つのスイッチが順次オンされるようになっている。したがって、ＣＰＵ１４は、各鍵について２つのスイッチのそれぞれのオン時刻をＲＡＭ１８に格納する。この２つのオン時刻の時間差に基づいて、いわゆるベロシティが算出される。また、ＣＰＵ１４は、新たにオフ状態となったスイッチについても、オフ状態となった時刻をＲＡＭ１８に格納する。

押鍵検出処理（ステップ５０３）が終了すると、ＣＰＵ１４は共鳴音制御処理を実行する（ステップ５０４）。図６および図７は、本実施の形態にかかる共鳴音制御処理の例を示すフローチャートである。

図６に示すように、ＣＰＵ１４は、ＲＡＭ１８中に新たに画像データが格納されているかを判断する（ステップ６０１）。ステップ６０１でＹｅｓと判断された場合には、ＣＰＵ１４（画像解析部３７）は、ＲＡＭ１８に格納された上記新たな画像データ（原画像データ）を取得する（ステップ６０２）。本実施の形態においては、画像解析部３７は、原画像データにエッジ処理を施し、当該エッジ処理により得られた画像中のテクスチャやオブジェクトの外郭を画定している。

画像解析部３７は、原画像データに対してエッジ抽出を施す（ステップ６０３）。ステップ６０３においては、原画像データを構成する画素値の不連続な変化を検出するとともに、検出結果に所定のフィルタを施すことにより、画像データ中にオブジェクトやテクスチャの境界を示す曲線を得る。エッジ処理においては、画像中の人物、建物、木などの植物というオブジェクトの抽出のほか、これに伴って、青空、雲、水、草原、など背景に対応する領域（テクスチャの領域）を抽出することもできる。これらオブジェクトやテクスチャが画像の構成要素となる。エッジ抽出については、周知の種々の手法（たとえば、キャニー法、微分エッジ法）を適用することができる。

図９（ａ）は、原画像データに基づく画像例、図９（ｂ）は、エッジ抽出処理が施されたエッジ抽出画像の例を示す図である。エッジ抽出画像９１０においては、原画像データ９００におけるオブジェクトなどの外形を示す曲線が明確化される。たとえば、図９（ｂ）に示すエッジ抽出画像９１０においては、曲線９１１、９１３により、樹木というオブジェクトに相当する領域９１２、９１４がそれぞれ明確化される。また、曲線９１５により、青空を示す領域９１６と、雲を示す領域９１７とが識別され得る状態となる。

次いで、画像解析部３７は、曲線により画定された領域ごとに、同一の領域に属する画素に同一のラベル（番号）を付すラベリング処理を実行する（ステップ６０４）。図９（ｃ）は、ラベリング処理の結果を概略的に示す図である。図９（ｃ）に示すように、エッジ抽出画像９１０において、曲線、或いは、画像の輪郭にて画定された領域のそれぞれにラベル（番号）が付され、当該領域に属する画素にはそのラベルが関連付けられる。その後、画像解析部３７は、前記同一のラベルが付された領域ごとに、当該領域が何れの種別（オブジェクト・テクスチャ種別）に属するかを特定する（ステップ６０５）。

本実施の形態において、画像データでは、画素ごとにＲ、Ｇ、Ｂのそれぞれをあらわす値を含む３次元の画素値が対応付けられる。そこで、領域ごとに画素値の平均値をとり、その平均値を用いて、オブジェクト・テクスチャ種別を特定する。また、それぞれの領域の全体画像中の位置もオブジェクト・テクスチャ種別の特定に利用され、さらに、領域を画定する曲線の形状を参照し、その形状が直線である割合も、オブジェクト・テクスチャ種別の特定に利用される。

本実施の形態においては、たとえば、オブジェクト・テクスチャ種別として、「空」、「雲」、「植物」、「水」、「地表」、「人工物」が設けられている。それぞれについて、以下の特徴を有していれば、領域がその種別に属すると判断する。

「空」：画素値の平均値（Ｒ，Ｇ，Ｂ）が、水色を示す所定値（Ｒ_ｓｋｙ，Ｇ_ｓｋｙ，Ｂ_ｓｋｙ）を示す値から所定の範囲内であり（Ｒ_ｓｋｙ−ｒ１_ｓｋｙ≦Ｒ≦Ｒ_ｓｋｙ＋ｒ１_ｓｋｙ，Ｇ_ｓｋｙ−ｒ２_ｓｋｙ≦Ｇ≦Ｇ_ｓｋｙ＋ｒ２_ｓｋｙ，Ｂ_ｓｋｙ−ｒ３_ｓｋｙ≦Ｂ≦Ｂ_ｓｋｙ＋ｒ３_ｓｋｙ）、かつ、その領域の重心位置が、画像全体の垂直方向中央より上側である。

「雲」：画素値の平均値（Ｒ，Ｇ，Ｂ）が、白色を示す値（Ｒ_{ｃｌｏｕｄ}，Ｇ_{ｃｌｏｕｄ}，Ｂ_{ｃｌｏｕｄ}）から所定の範囲内であり（Ｒ_{ｃｌｏｕｄ}−ｒ１_{ｃｌｏｕｄ}≦Ｒ≦Ｒ_{ｃｌｏｕｄ}＋ｒ１_{ｃｌｏｕｄ}，Ｇ_{ｃｌｏｕｄ}−ｒ２_{ｃｌｏｕｄ}≦Ｇ≦Ｇ_{ｃｌｏｕｄ}＋ｒ２_{ｃｌｏｕｄ}，Ｂ_{ｃｌｏｕｄ}−ｒ３_{ｃｌｏｕｄ}≦Ｂ≦Ｂ_{ｃｌｏｕｄ}＋ｒ３_{ｃｌｏｕｄ}）、かつ、その領域の重心位置が、画像全体の垂直方向中央より上側である。

「植物」：画素値の平均値（Ｒ，Ｇ，Ｂ）が、緑色を示す値（Ｒ_{ｐｌａｎｔ}，Ｇ_{ｐｌａｎｔ}，Ｂ_{ｐｌａｎｔ}）から所定の範囲内（Ｒ_{ｐｌａｎｔ}−ｒ１_{ｐｌａｎｔ}≦Ｒ≦Ｒ_{ｐｌａｎｔ}＋ｒ１_{ｐｌａｎｔ}，Ｇ_{ｐｌａｎｔ}−ｒ２_{ｐｌａｎｔ}≦Ｇ≦Ｇ_{ｐｌａｎｔ}＋ｒ２_{ｐｌａｎｔ}，Ｂ_{ｐｌａｎｔ}−ｒ３_{ｐｌａｎｔ}≦Ｂ≦Ｂ_{ｐｌａｎｔ}＋ｒ３_{ｐｌａｎｔ}）である。

「水」：画素値の平均値（Ｒ，Ｇ，Ｂ）が、青色を示す値（Ｒ_{ｗａｔｅｒ}，Ｇ_{ｗａｔｅｒ}，Ｂ_{ｗａｔｅｒ}）から所定の範囲内であり（Ｒ_{ｗａｔｅｒ}−ｒ１_{ｗａｔｅｒ}≦Ｒ≦Ｒ_{ｗａｔｅｒ}＋ｒ１_{ｗａｔｅｒ}，Ｇ_{ｗａｔｅｒ}−ｒ２_{ｗａｔｅｒ}≦Ｇ≦Ｇ_{ｗａｔｅｒ}＋ｒ２_{ｗａｔｅｒ}，Ｂ_{ｗａｔｅｒ}−ｒ３_{ｗａｔｅｒ}≦Ｂ≦Ｂ_{ｗａｔｅｒ}＋ｒ３_{ｗａｔｅｒ}）、かつ、その領域の重心位置が、画像全体の垂直方向中央より下側である。

「地表」：画素値の平均値（Ｒ，Ｇ，Ｂ）が、茶色を示す値（Ｒ_{ｇｒｏｕｎｄ}，Ｇ_{ｇｒｏｕｎｄ}，Ｂ_{ｇｒｏｕｎｄ}）から所定の範囲内であり（Ｒ_{ｇｒｏｕｎｄ}−ｒ１_{ｇｒｏｕｎｄ}≦Ｒ≦Ｒ_{ｇｒｏｕｎｄ}＋ｒ１_{ｇｒｏｕｎｄ}，Ｇ_{ｇｒｏｕｎｄ}−ｒ２_{ｇｒｏｕｎｄ}≦Ｇ≦Ｇ_{ｇｒｏｕｎｄ}＋ｒ２_{ｇｒｏｕｎｄ}，Ｂ_{ｇｒｏｕｎｄ}−ｒ３_{ｇｒｏｕｎｄ}≦Ｂ≦Ｂ_{ｇｒｏｕｎｄ}＋ｒ３_{ｇｒｏｕｎｄ}）、かつ、その領域の重心位置が、画像全体の垂直方向中央より下側である。

「人工物」：オブジェクトの外郭を画定する曲線（エッジに対応する曲線）において、直線部分が所定以上の割合を占める。或いは、直線部分が所定の長さ以上連続する。

ステップ６０５において画像解析部３７は、領域が上述した種別の何れに属するかを判断した後、領域と当該領域が属する種別を示す情報とを関連付けてＲＡＭ１８に格納する。ステップ６０１でＮｏと判断された場合には、ＣＰＵ１４は、スイッチ処理において画像の拡大率が変更されたかを判断する（ステップ６０７）。ステップ６０７でＮｏと判断された場合には、共鳴音制御処理を終了する。ステップ６０７でＹｅｓと判断された場合、或いは、ステップ６０５の後、ＣＰＵ１４（パラメータ算出部３８）は、前述した領域のそれぞれについて、全体の画像中に占める割合を算出する（ステップ６０６）。

パラメータ算出部３８は、上記領域の各々の割合、各領域に対応付けられたオブジェクト・テクスチャ種別についての反射率、および、画像の拡大率にしたがって、遅れ時間ＤＴ、初期反射音の音量レベルＩＬおよび反響音の持続時間ＳＴを算出する。図８は、反響音を概略的に示すグラフである。

一般に、原音８０１に対して、一定の遅れ時間ＤＴを経て、初期反射音８０２が、原音８０１の音量レベルから一定だけ減衰した状態で発せられる。これは、原音８０１が何らかの反射体に反射して戻ってきた状態に対応する。その後、反射音８０３は、徐々に減衰しつつ、所定の持続時間ＳＴだけ継続する。

遅れ時間の算出（ステップ７０１）において、パラメータ算出部３８は、遅れ時間Ｄを以下のように算出する。

遅れ時間ＤＴ＝α×（１／Ｌ）×Σ（Ｐｍ×Ｑｍ）
ｍは、領域に関連付けられたラベル（番号）、１≦ｍ≦Ｎ（Ｎは領域数）、Ｐｍは、ラベルｍの領域に対応付けられたオブジェクト・テクスチャ種別についての反射率、Ｑｍは、ラベルｍの領域の、画像全体に占める割合である。

ここに反射率Ｐは、０より大きく１以下の、オブジェクト・テクスチャ種別にあらかじめ対応付けられた値となっている。本実施の形態では、オブジェクト・テクスチャ種別「空」、「雲」、「植物」、「水」、「地表」、「人工物」のそれぞれに対応付けられた反射率Ｐ_ｓｋｙ、Ｐ_{ｃｌｏｕｄ}、Ｐ_{ｗａｔｅｒ}、Ｐ_{ｐｌａｎｔ}、Ｐ_{ｇｒｏｕｎｄ}、Ｐ_ａｒｔは、以下の関係を有している。

０＜Ｐ_ｓｋｙ＝Ｐ_{ｃｌｏｕｄ}＜Ｐ_{ｗａｔｅｒ}＜Ｐ_{ｐｌａｎｔ}＜Ｐ_{ｇｒｏｕｎｄ}＜Ｐ_ａｒｔ≒１
Ｌは拡大率である。拡大率Ｌが１より大きくなるのにしたがって、遅れ時間は小さくなる。また、αは所定の係数である。

初期反射音の音量レベルＩＬの算出（ステップ７０２）において、パラメータ算出部３８は、音量レベルＩＬを以下のように算出する。

音量レベルＩＬ＝β×Ｌ×Σ（Ｐｍ×Ｑｍ）
ここにβは所定の係数である。

さらに、持続時間の算出（ステップ７０３）において、パラメータ算出部３８は、持続時間ＳＴを以下のように算出する。

持続時間ＳＴ＝γ×Σ（Ｐｍ×Ｑｍ）
ここに、γも所定の定数である。

ステップ７０１〜７０３によって、領域の割合に応じた遅れ時間ＤＴ、初期反射音の音量レベルＩＬ、持続時間ＳＴを取得することができる。たとえば、「人工物」のように反射率Ｐの高い領域の割合が大きければ、Σの中が大きくなるため、遅れ時間、初期反射音の音量レベルおよび持続時間が大きくなる。その一方、「空」や「雲」のように反射率Ｐの低い領域の割合が大きければ、遅れ時間、初期反射音の音量レベルおよび持続時間の割合が小さくなる。

また、拡大率は、画像の撮影者とオブジェクトとの間の距離を規定するパラメータと考えることができる。図１０（ａ）、（ｂ）は、建物の内部を撮影した画像の例を模式的に示す図である。図１０（ｂ）は、図１０（ａ）の画像を拡大率Ｌ（Ｌ＞１）で拡大した例を示す。図１０（ａ）の画像１０００中の枠１００１が、図１０（ｂ）に示す拡大された画像１０１０の外枠に相当する。図１０（ａ）に示すように、画像１０００の外枠から画像の中心までの距離をＬ１、画像１０１０の外枠（或いは枠１００１）から画像の中心までの距離をＬ２とすると、Ｌ１＞Ｌ２である。したがって、拡大率Ｌが１より大きくなるのにしたがって、画像の撮影者の位置と考えられる画像の外枠と、画像の中心との距離が小さくなる。

そこで、本実施の形態においては、遅れ時間ＤＴについては、（１／Ｌ）を乗じることで、画像の中心までの距離が小さくなる（拡大率が大きくなる）のにしたがって、遅れ時間ＤＴが短くなるようにしている。その一方、初期反射音の音量レベルＩＬについては、Ｌを乗じることで、画像の中心までの距離が小さくなる（拡大率が大きくなる）のにしたがって、音量レベルＩＬが大きくなるようにしている。

その後、パラメータ算出部３８は、得られた遅れ時間ＤＴ、初期反射音の音量レベルＩＬおよび持続時間ＳＴに基づき、一連のインパルス応答係数を算出する（ステップ７０４）。図４に示すように、本実施の形態にかかる共鳴音生成回路３５では、ｐ＋１個の遅延回路５１−０〜５１−ｐが設けられ、それぞれに、インパルス応答係数ｂ［０］〜ｂ［ｐ］が与えられるようになっている。

遅れ時間ＤＴは、最初に０以外のインパルス応答係数となる遅延回数を示すパラメータｓ（０＜ｓ）を規定する。また、初期反射音の音量レベルＩＬは、当該パラメータｓでのインパルス応答係数ｂ［ｓ］を決定する。さらに、持続時間ＳＴは、インパルス応答係数が減衰して再度０となる遅延回数を示すパラメータｔ（ｓ＜ｔ）を決定する。さらに、初期反射音の音量レベルＩＬ、持続時間ＳＴおよび所定の減衰曲線によって、パラメータｓ＋１〜ｔ−１までのインパルス応答係数ｂ［ｓ＋１］〜ｂ［ｔ−１］を算出することができる。なお、減衰曲線は単なる一次の直線であっても良い。

パラメータ算出部３８は、算出されたインパルス応答係数を出力して、ＲＡＭ１８中のインパルス応答データ記憶部３１に、画像に付与された識別番号と関連付けて格納する（ステップ７０５）。

共鳴音制御処理（ステップ５０４）が終了すると、ＣＰＵ１４は、押鍵された鍵にしたがって、所定の音高、音色およびベロシティで楽音信号データを生成させるための、第１の制御信号を楽音生成部２０の発音回路２５に出力する（ステップ５０５）。ステップ５０５の演奏処理において、ＣＰＵ１４は、ＲＡＭ１８中に格納された鍵の情報を参照して、新たにオン状態となった鍵について、発音すべき楽音の音高およびベロシティを示す第１の制御信号を発音回路２５に出力する。また、ＣＰＵ１４は、新たにオフ状態となった鍵について、消音すべき音高を示す第１の制御信号を発音回路２５に出力する。

発音回路２５は、ＣＰＵ１４から第１の制御信号を受理すると、音色情報にしたがった所定の波形データをＲＯＭ１６の波形データ記憶部３０から、音高情報にしたがった速度で読み出し、かつ、ベロシティにしたがったレベルの楽音波形データを生成する。これにより、発音回路２５から楽音波形データが出力される。楽音波形データは、加算回路３６および共鳴音生成回路３５に出力される。また、消音を示す第１の制御信号を受理した場合には、発音回路２５は、第１の制御信号が示す音高の楽音を消音する。

共鳴音生成回路３５では、ステップ５０４で取得された一連のインパルス応答係数にしたがって、共鳴音データＹ＝Σｂ_ｎ・Ｘ_ｎ（ｎ＝０〜ｐ）が生成され出力される。共鳴音データは、加算回路３６において、楽音波形データと加算されて出力される。

その後、ＣＰＵ１４は、その他、電子楽器１０を作動させるための他の必要な処理を実行して（ステップ５０６）、ステップ５０２に戻る。ステップ５０６で実行される処理には、たとえば、表示部２３の画面上に表示すべき画像の生成および表示や、ＬＥＤ（図示せず）のオン・オフが含まれる。図１１は、その他の処理にふくまれる画像生成・表示処理の例を示すフローチャートである。

図１１に示すように、ＣＰＵ１４は、ＲＡＭ１８中に新たに画像データが格納されているかを判断する（ステップ１１０１）。ステップ１１０１でＹｅｓと判断された場合には、ＣＰＵ１４は、当該新たに格納された画像データを読み出して、当該画像データに基づく画像を表示部２３の画面上に表示する（ステップ１１０２）。ステップ１１０１でＮｏと判断された場合には、ＣＰＵ１４は、スイッチ処理において画像を特定する情報（画像の識別番号）の指定があったかを判断する（ステップ１１０３）。ステップ１１０３でＹｅｓと判断された場合には、ＣＰＵ１４は、ＲＡＭ１８中、識別番号が示す画像データを読み出して、当該画像データに基づく画像を表示部２３の画面上に表示する（ステップ１１０４）。また、ＣＰＵ１４は、ＲＡＭ１８（インパルス応答記憶部３１）中、当該識別番号に対応付けられたインパルス応答データ（一連のインパルス応答係数）を取得して、共鳴音生成回路３５に与える（ステップ１１０５）。

ステップ１１０３でＮｏと判断された場合には、ＣＰＵ１４は、スイッチ処理において画像の拡大率が変更されたかを判断する（ステップ１１０６）。ステップ１１０６でＹｅｓと判断された場合には、ＣＰＵ１４は、拡大率を変更した画像データを生成して、画像を表示部２３の画面上に表示する（ステップ１１０７）。

本実施の形態においては、画像解析部３７が、画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出し、前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する。また、パラメータ算出部３８は、特定されたオブジェクト或いはテクスチャの各々の、画像全体における割合に基づいて、インパルス応答係数を決定する。共鳴音付加回路２６は、時間軸上の一連の楽音波形データと、決定されたインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する。したがって、画像に含まれる構成要素、たとえば、人工物、植物、水、空、雲などの割合にしたがった適切な一連のインパルス応答係数を用いた共鳴音を発生させることが可能となる。

また、本実施の形態においては、パラメータ算出部３８は、オブジェクトおよびテクスチャの種別の各々に対応付けられた反射率と、画像全体における割合とに基づいて、インパルス応答係数を決定する。これにより、オブジェクトやテクスチャの固有の反射率と、当該オブジェクトやテクスチャが画像中に割合とを考慮して、画像の内容に合致した適切な反響音（反射音を規定する遅れ時間、初期反射音の音量レベルおよび継続時間）を発生させることが可能となる。

特に、本実施の形態においては、パラメータ算出部３８は、初期反射音までの遅れ時間、初期反射音の音量レベルおよび継続時間を、種別の各々に対応付けられた反射率と画像全体における割合との積の総和を算出することにより、一連のインパルス応答係数を決定する。これにより、画像の内容に合致した適切な、反射音を規定する遅れ時間、初期反射音の音量レベルおよび継続時間を得ることが可能となる。

また、本実施の形態において、パラメータ算出部３８は、表示部２３の画面上に画像の拡大率に基づいて、遅れ時間および初期反射音の音量レベルを算出する。画面の拡大率は画像を見るものと画像に含まれるオブジェクトやテクスチャとの間の距離と関連する。すなわち、拡大率が大きくなれば、画像の撮影者と、ブジェクトやテクスチャとの間の距離が接近する。したがって、上記距離を考慮した共鳴音の発生が可能となる。

本実施の形態においては、画像解析部３７は、抽出された領域の色を示す値、および、領域の位置に基づいて、オブジェクト或いはテクスチャの種別を特定する。これにより、適切な種別の特定を実現することができる。さらに、画像解析部３７は、特に、建物など人工物については、抽出された領域の外郭に含まれる直線の長さに基づいて特定する。これにより、色や場所以外の要素に基づき、人工物も適切に判別することが可能となる。

本発明は、以上の実施の形態に限定されることはない。たとえば、前記実施の形態においては、遅れ時間ＤＴ、初期反射音の音量レベルＩＬ、および、持続時間を、それぞれ、
ＤＴ＝α×（１／Ｌ）×Σ（Ｐｍ×Ｑｍ）
ＩＬ＝β×Ｌ×Σ（Ｐｍ×Ｑｍ）
ＳＴ＝γ×Σ（Ｐｍ×Ｑｍ）
としているが、これらに限定されるものではない。たとえば、遅れ時間ＤＴについては、反射率Ｐや画像全体における領域の割合Ｑを考慮せず、距離に相当するＬのみを考慮して、ＤＴ＝δ×（１／Ｌ）としても良い。

また、上記実施の形態においては、オブジェクト・テクスチャ種別を、「空」、「雲」、「植物」、「水」、「地表」、「人工物」としたがこれらに限定されるものではない。また、オブジェクト・テクスチャ種別の特定も、上記実施の形態に記載したものに限定されない。

以上、本発明の実施の形態について詳細に説明したが、本発明の範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明およびその均等の範囲が、本発明の範囲内に包含される。以下、本出願の願書に最初に添付した特許請求の範囲に記載された発明を付記する。なお、付記に記載した請求項の項番は、本出願の願書に最初に添付した特許請求の範囲の項番に相当する。
［付記］
請求項１に記載された発明は、共鳴音データを、楽音波形データに付加する共鳴音付加装置であって、
一連のインパルス応答係数からなるインパルス応答データを記憶したインパルス応答データ記憶手段と、
前記記憶手段に格納されたインパルス応答データを読み出して、時間軸上の一連の楽音波形データと、前記インパルス応答データに含まれるインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する共鳴音生成手段と、
画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出する領域抽出手段と、
前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する種別特定手段と、
前記種別特定手段により特定されたオブジェクト或いはテクスチャの各々の、前記画像全体における割合に基づいて、前記インパルス応答係数を決定するパラメータ算出手段と、を備えたことを特徴とする共鳴音付加装置である。

請求項２に記載された発明は、前記パラメータ算出手段が、前記オブジェクトおよびテクスチャの種別の各々に対応付けられた反射率と、前記画像全体における割合とに基づいて、前記インパルス応答係数を決定するように構成された共鳴音付加装置である。

請求項３に記載された発明は、前記パラメータ算出手段が、初期反射音までの遅れ時間、初期反射音の音量レベルおよび継続時間を、前記種別の各々に対応付けられた反射率と画像全体における割合との積の総和を算出し、当該総和に基づき前記インパルス応答係数を決定する共鳴音付加装置である。

請求項４に記載された発明は、前記パラメータ算出手段が、表示手段に表示される画像の拡大率に基づいて、前記遅れ時間および初期反射音の音量レベルを算出する共鳴音付加装置である。

請求項５に記載された発明は、前記種別特定手段が、前記抽出された領域の色を示す値、および、前記領域の位置に基づいて、オブジェクト或いはテクスチャの種別を特定する共鳴音付加装置である。

請求項６に記載された発明は、前記種別特定手段が、前記抽出された領域の外郭に含まれる直線の長さに基づき、前記オブジェクト或いはテクスチャの種別を特定する共鳴音付加装置である。

請求項７に記載された発明は、上記請求項１ないし６の何れか一項に記載の共鳴音付加装置と、
鍵盤と、
前記鍵盤を構成する鍵のうち、押鍵された鍵の音高の楽音波形データを生成する発音手段と、を備え、
前記楽音波形データが、前記共鳴音付加装置に出力されることを特徴とする電子楽器である。

１０ 電子楽器
１２ 鍵盤
１４ ＣＰＵ
１６ ＲＯＭ
１８ ＲＡＭ
２０ 楽音生成部
２１ 操作子群
２２ 入力Ｉ／Ｆ
２３ 表示部
２４ 撮像装置
２５ 発音回路
２６ 共鳴音付加回路
２７ 音響システム
３５ 共鳴音生成回路

Claims (7)

1. 共鳴音データを、楽音波形データに付加する共鳴音付加装置であって、
   一連のインパルス応答係数からなるインパルス応答データを記憶したインパルス応答データ記憶手段と、
   前記記憶手段に格納されたインパルス応答データを読み出して、時間軸上の一連の楽音波形データと、前記インパルス応答データに含まれるインパルス応答係数とで、所定回数の積和演算を実行して共鳴音データを生成する共鳴音生成手段と、
   画像データを受け入れて、受け入れた画像データにおいて、画像中のオブジェクトおよびテクスチャを示す領域を抽出する領域抽出手段と、
   前記抽出された領域について、当該領域が示すオブジェクト或いはテクスチャの種別を特定する種別特定手段と、
   前記種別特定手段により特定されたオブジェクト或いはテクスチャの各々の、前記画像全体における割合に基づいて、前記インパルス応答係数を決定するパラメータ算出手段と、を備えたことを特徴とする共鳴音付加装置。
2. 前記パラメータ算出手段が、前記オブジェクトおよびテクスチャの種別の各々に対応付けられた反射率と、前記画像全体における割合とに基づいて、前記インパルス応答係数を決定するように構成されたことを特徴とする請求項１に記載の共鳴音付加装置。
3. 前記パラメータ算出手段が、初期反射音までの遅れ時間、初期反射音の音量レベルおよび継続時間を、前記種別の各々に対応付けられた反射率と画像全体における割合との積の総和を算出し、当該総和に基づき前記インパルス応答係数を決定する請求項２に記載の共鳴音付加装置。
4. 前記パラメータ算出手段が、表示手段に表示される画像の拡大率に基づいて、前記遅れ時間および初期反射音の音量レベルを算出することを特徴とする請求項３に記載の共鳴音付加装置。
5. 前記種別特定手段が、前記抽出された領域の色を示す値、および、前記領域の位置に基づいて、オブジェクト或いはテクスチャの種別を特定することを特徴とする請求項１ないし４の何れか一項に記載の共鳴音付加装置。
6. 前記種別特定手段が、前記抽出された領域の外郭に含まれる直線の長さに基づき、前記オブジェクト或いはテクスチャの種別を特定することを特徴とする請求項１ないし５の何れか一項に記載の共鳴音付加装置。
7. 請求項１ないし６の何れか一項に記載の共鳴音付加装置と、
   鍵盤と、
   前記鍵盤を構成する鍵のうち、押鍵された鍵の音高の楽音波形データを生成する発音手段と、を備え、
   前記楽音波形データが、前記共鳴音付加装置に出力されることを特徴とする電子楽器。

Images