JPH11143462A - 音響生成方法および音響生成装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】単純な操作で所望の音響を容易に生成すること
ができる音響生成装置を提供する。 【解決手段】音響素の２次元あるいは３次元配置位置を
記憶する音響素記憶手段と、画像を取得する画像取得手
段と、この画像取得手段で取得した画像の前記音響素記
憶手段に記憶された音響素の配置位置に対する位置関係
と該画像の奥行き情報とに基づき前記音響素のパワース
ペクトルを算出する算出手段と、この算出手段で算出さ
れたパワースペクトルと前記音響素とに基づき音響を生
成する生成手段とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、取得した画像と音
響素の３次元配置位置とに基づき音響を生成する音響生
成装置に関する。

【０００２】

【従来の技術】音楽を演奏するには、通常ピアノあるは
ギターなど、何らかの楽器を用いる。ピアノであれば、
鍵盤（キーボード）を楽譜に従って弾いていくことによ
り、楽曲となる。ギターであれば、弦を爪あるいはピッ
クアップではじくことにより、音楽を奏でることができ
る。このように従来の楽器では、楽器ごとに演奏方法も
奏でられる音も異なる。

【０００３】シンセサイザーなどの電子楽器はこのよう
な難点を克服するために、作られたもので、キーボード
を弾くことにより演奏することはピアノと同一である
が、どのような音で演奏するか、音色などを選択できる
ようになっている。音色などが選択されると、内蔵のマ
イクロコンピュータの制御により、音色などのパラメー
タが変更され、音が生成される。

【０００４】シンセサイザーにより、確かにいろいろな
音色などで楽曲を演奏し、楽しむことが可能になった。
が、キーボードを弾きながら、かつ音色の変更まで行っ
て、思うように楽しめるようになるには、かなりの訓練
を必要とするのも実状である。また、画面上に表示され
たシンセサイザーのキーボードやスライドバーなどをマ
ウスにより選択して、楽曲を演奏するような音楽ソフト
も販売されている。確かに大きなキーボードは不要にな
るので、狭い場所でもパソコン１台あれば、音楽の演奏
ができるというメリットはある。一方、キーボードを弾
く代わりに、マウスで一つ一つ選択していくので、手間
がかかるという問題がある。

【０００５】このような従来の電子楽器の限界を打ち破
る新しい楽器Ｈｙｐｅｒ Ｉｎｓｔｒｕｍｅｎｔｓ（以
下、超楽器と呼ぶ）の研究がＭＩＴメディアラボのＴｏ
ｍＭａｃｈｏｖｅｒらにより行われている。例えば、デ
ータグローブ（手袋状で、指の部分に光ファイバーが配
線されており、この光ファイバーの導通により、指の関
節の曲がり角を計測する）を用いて、ジェスチャを入力
して、仮想的にギターなどを演奏するＢｕｇ−Ｍｕｄｒ
ａの開発をおこなった。が、データグローブを装着する
のが負担となる他、データグローブの装着時にキャリブ
レーションを行っても、演奏していると手袋がずれるな
どして、ローバストに指関節の角度を計測することが難
しい。

【０００６】また、同じくＭａｃｈｏｖｅｒらは、電場
を形成する椅子に人間が座り、人間が動くと電場が変化
することを利用して、人間の身体の動きを計測し、その
結果に従って、音を生成するＳｅｎｓｏｒ Ｃｈａｉｒ
というものの開発も行った。同様に空中にぶら下がる四
角い枠の中に電場を形成し、そこに差し込まれた手の動
きを電場の変化により計測し、音を生成するＦｒａｍｅ
ｓの開発も行った。しかし、これらで奏でられる音は、
従来の楽曲の音とかなり異なったものであり、音楽らし
く演奏するには、従来の古典的な楽器以上の技術を要す
るという問題がある。

【０００７】一方、画面上のマウスポインタの指し示す
位置にある色を音に変換することで、音を生成するよう
なプログラムが存在する。この場合、色と音の対応はあ
らかじめ決まっており、また、マウスポインタの位置に
ある色は一色なので、同時に一音しか生成されない。こ
れを利用して、マウスのボタンをクリックし続け、上手
にメロディラインを生成することは大変難しく、また、
単音のみなので、メロディライン以上の音楽を生成する
ことは困難である。

【０００８】

【発明が解決しようとする課題】キーボードを弾く、あ
るいはギターを弾くというような従来の古典的な楽器の
演奏法によらず、より直感的な演奏方法の実現では、Ｔ
ｏｄ ＭａｃｈｏｖｅｒらのＳｅｎｓｏｒ Ｃｈａｉｒ
や、Ｆｒａｍｅｓのように、あまりにも前衛的な音にな
り、音楽らしく演奏するためには、それなりの訓練を必
要とする。

【０００９】マウスポインタの指し示す位置にある表示
色を単純に色に変換する方法は、単純すぎて、音楽とし
てふくらみのある音にならない、また、マウスポインタ
を押し続けるのは、困難であるという問題がある。そこ
で、本発明は、単純な操作で所望の音響を容易に生成す
ることが可能な音響生成方法およびそれを用いた音響生
成装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】（１）本発明の音響生成
方法（請求項１）は、取得した画像の奥行き情報と、該
画像の音響素の２次元配置位置に対する位置関係とに基
づき該音響素のパワースペクトルを算出し、この算出さ
れたパワースペクトルと該音響素とに基づき音響を生成
することにより、単純な操作で所望の音響を容易に生成
することができる。

【００１１】本発明の音響生成装置（請求項３）は、音
響素の２次元配置位置を記憶する音響素記憶手段と、画
像を取得する画像取得手段と、この画像取得手段で取得
した画像の前記音響素記憶手段に記憶された音響素の配
置位置に対する位置関係と該画像の奥行き情報とに基づ
き前記音響素のパワースペクトルを算出する算出手段
と、この算出手段で算出されたパワースペクトルと前記
音響素とに基づき音響を生成する生成手段と、を具備す
る。 （２）本発明の音響生成方法（請求項２）は、取得した
画像の奥行き情報と、該画像の音響素の３次元配置位置
に対する位置関係とに基づき該音響素のパワースペクト
ルを算出し、この算出されたパワースペクトルと該音響
素とに基づき音響を生成することにより、単純な操作で
所望の音響を容易に生成することができる。

【００１２】また、本発明の音響生成装置（請求項４）
は、音響素の３次元配置位置を記憶する音響素記憶手段
と、画像を取得する画像取得手段と、この画像取得手段
で取得した画像の前記音響素記憶手段に記憶された音響
素の配置位置に対する位置関係と該画像の奥行き情報と
に基づき前記音響素のパワースペクトルを算出する算出
手段と、この算出手段で算出されたパワースペクトルと
前記音響素とに基づき音響を生成する生成手段と、を具
備する。 （３）また、本発明の音響生成装置（請求項５）は、前
記画像取得手段で取得された画像を記憶する画像記憶手
段を具備し、前記算出手段は、前記画像記憶手段に記憶
された画像の前記音響素の配置位置に対する位置関係と
該画像の奥行き情報とに基づき前記音響素のパワースペ
クトルを算出することにより、音響素の配列が不変のと
きには同一の音響を何度も生成することができる。

【００１３】また、本発明の音響生成装置（請求項６）
は、前記音響素の配置位置を変更する変更手段を具備し
たことにより、単純な操作で所望の音響を容易に生成す
ることができる。例えば、取得した身振りや手振りの画
像に合わせるように、生成された音響をさらに変更する
ことができる。

【００１４】また、本発明の音響生成装置（請求項７）
は、前記音響素のパワースペクトルおよび配置位置のう
ちの少なくとも１つを予め定められた規則に従って変更
する変更手段を具備することにより、単純な操作で所望
の音響を容易に生成することができる。例えば、取得し
た身振りや手振りの画像の動きが単調なときも、変化あ
る音響を生成することができる。

【００１５】本発明の音響生成装置（請求項８）は、前
記音響素のパワースペクトルおよび配置位置のうちの少
なくとも１つを与えられた音楽ファイルから抽出される
情報に基づき変更する変更手段を具備することにより、
単純な操作で所望の音響を容易に生成することができ
る。例えば、ＢＧＭ（バックグランドミュージック）に
合わせた音響の生成が可能となる。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。 （第１の実施形態）図１は、第１の実施形態に係る音響
生成装置の構成を概略的に示したものである。図１に示
すように、音響生成装置は、手振りや身振りなどの画像
で、奥行き値の判別可能な画像（以下、奥行き画像と呼
ぶ）を取得するためのカメラなどの撮像手段から構成さ
れる画像取得部１と、例えば周波数がそれぞれ異なる複
数の音響素の２次元的あるいは３次元的な配置位置を記
憶する音響素記憶部２と、画像取得部１が取得した手振
りや身振りの奥行き画像から抽出されるｘｙ平面の画像
と音響素記憶部２に記憶された音響素の配置位置とから
該ｘｙ平面の画像と重なる位置に配置された音響素を選
択し、この選択された音響素と、奥行き画像から判別さ
れるｚ値（奥行き情報）を基に算出された該選択された
各音響素のパワースペクトルとから音響を生成する音響
素演算部４と、３次元音響素演算部４で用いるパワース
ペクトルを算出するパワースペクトル算出部５と、音響
素演算部４の演算結果を音として提示する音響生成部７
と、音響素記憶部２に記憶された音響素の配置位置、画
像取得部１にて取得された手振りや身振りなどの奥行き
画像、音響素演算部４の演算結果を表示する表示部６
と、上記各部の間で各種情報をやり取りを制御する情報
管理部３から構成されている。

【００１７】図２は、音響素記憶部２に記憶されている
音響素の配置位置の記憶形式の一例を示したもので、音
響素の種別とその種別の音響素が配置される位置が複数
格納されている。

【００１８】ここで、音響素の種別とは、例えば、周波
数の違いによる種別を用いることにする。また、図２に
示した記憶形式によれば、ある１つの周波数の音響素を
１カ所のみに配置するだけでなく、あちこちに散在させ
ることもできる。

【００１９】図２の場合は、音響素を２次元的に配置す
る場合の例を示しているので、それぞれの位置座標に
は、ｘ座標とｙ座標の組み合わせが格納されている。各
アドレスの最終セルには、続きのアドレスが格納されて
れている。この部分に「ＮＵＬＬ」が書き込まれれば、
次データがないことを示す。

【００２０】図３は、図２の記憶形式で記憶されている
音響素を表示部６に表示する際の画面表示例を示したも
のである。図３では、１００Ｈｚから４．０ＫＨｚの周
波数の音響素が配列されている。参考のために、オーケ
ストラの調音に使われる「Ａ（アー）」（「ラ」にあた
る）の音が４４０Ｈｚである。

【００２１】なお、どの周波数の音響素をどのように配
置するかは、例えば、本発明の音響生成装置の用途に応
じて任意に設定することができる。図２には音響素を２
次元的に配置する場合の音響素の記憶例を示したが、必
ずしも、これに限定されるものではない。例えば、３次
元的に配置する場合も可能である。

【００２２】図４は、音響素記憶部２に記憶されている
音響素の配置位置の他の記憶例で、音響素を３次元的に
配置する場合を示している。図４では記憶されている各
音響素の位置座標は、 ｘ座標、ｙ座標、 ｚ座標の３つの
座標の組になっている。

【００２３】図５は、図４の記憶形式で記憶されている
音響素を表示部６に表示する際の画面表示例を示したも
ので、各音響素が３次元的に配置されている。図５で
は、各音響素は円柱の形状で表示されているが、これに
限定されるものではない。球でも、円錐でも、立方体で
も、あるいはもっと複雑な形でもよい。

【００２４】図６は、画像取得部１で取得した画像の一
例として、手の画像を示している。この手の画像は、ｘ
座標、ｙ座標、ｚ座標を有する３次元画像になってい
る。取得方法に関しては、従来の画像処理によりビデオ
カメラで取得した動画を解析し、エッジなどの切りだし
を行って形状を切り出す方法がある。が、従来の画像処
理では、奥行き値までは切り出せないので、ここでは、
特願平第９−２９９６４８号に記載の画像取得方法によ
り、奥行き値（ｚ座標値）の判別できる画像（奥行き画
像）が取得できていると想定し、本発明の動作を説明す
る。すなわち、奥行き値は、画素の濃淡による階調度に
基づく値であるとする。

【００２５】図７は、図６で示した手の奥行き画像を用
いて、例えば図３に示したような２次元的に配置された
音響素から音を発生させている（奏でている）ところの
様子を示したもので、例えば、表示部６に既に表示され
ている図３の２次元的に配列された音響素のイメージに
画像取得部１で取得された手の画像をオーバーラップす
ることにより、表示部６に図７に示したように表示され
ていてもよい。

【００２６】同様に、図８は、図６で示した手の奥行き
画像を用いて、例えば図５に示したような３次元的に配
置された音響素から音を発生させている（奏でている）
ところの様子を示したものである。

【００２７】以下、説明を簡単にするため、図７の２次
元的に配置された音響素を奏でる場合を例にとり図１の
音響生成装置の動作を説明する。図９は、図１の音響生
成装置の動作を説明するためのフローチャートで、情報
管理部３の制御の下、図１の各部が以下の動作を実行す
るようになっている。

【００２８】まず、情報管理部３は、音響素記憶部２に
予め記憶されている、例えば、図２に示したような形式
で記憶されている音響素データを読み込み（ステップＳ
１）、その読み込んだ音響素データを表示部６に送り、
例えば、図３に示したように表示する（ステップＳ
２）。その後、画像取得部１からの画像の入力待ち状態
となる。

【００２９】情報管理部３は、画像取得部１での画像取
得が開始されると、画像取得部１から画像取得終了の指
示がない限り、例えば毎秒３０フレームで、図６に示し
たような画像を取得する（ステップＳ３〜ステップＳ
４）。終了の指示があった場合には（ステップＳ３）、
処理を終了する。

【００３０】画像取得部１が取得した画像は、例えば、
図１０に示すような形式の奥行き画像になっている。図
１０は、たとえば、ｘ軸（横）方向１６画素、ｙ軸
（縦）方向１６画素、ｚ軸（奥行き）方向２５６階調の
画像になっている。つまり、縦横１６ｘ１６の行列に、
奥行き方向の値（奥行き値）が格納されている。図１０
に示した例では、奥行き値は大きいほど音響素の配置位
置から近いことを示している。つまり、奥行き値「０」
は、撮像物体がない、あるいはあっても遠方でないのと
同じであり、奥行き値「２５５」は、最も近い場所に撮
像物体があることを示す。

【００３１】すでに表示部６に図３に示したように音響
素が表示されているところに、取得した奥行き画像のう
ち、ある閾値以上の奥行き値を有する画素を抽出してな
る画像をオーバーラップさせて、例えば、図７に示した
ように表示する（ステップＳ５）。

【００３２】次に、ステップＳ６において、パワースペ
クトル算出部５は、画像取得部１にて取得された図１０
に示したような画像の奥行き値を用いて、パワースペク
トルの算出を行う。パワースペクトルの算出方法として
は、例えば、手の画像が干渉している音響素に対し、干
渉部分の奥行き値を、その音響素のパワー値として換算
するようにしてもよい。

【００３３】音響素演算部４では、例えば、手の画像が
干渉している音響素と、その音響素の算出されたパワー
スペクトルに基づき、３次元的な（奥行きのある）音を
生成するための演算を行い、その演算結果に基づき音響
生成部７で実際の音を生成する（ステップＳ７）。

【００３４】次に、音響素演算部４とパワースペクトル
算出部５におけるパワースペクトルの算出方法につい
て、図１１に示すフローチャートを参照して説明する。
また、図１２は、算出された各音響素毎のパワースペク
トルの一例をグラフにて示したものである。

【００３５】まず、初期化を行う（ステップＳ１１）。
すなわち、算出結果としての各音響素ごとのパワースペ
クトルを格納する行列Ｘｉｊ（以下、簡単にパワー行列
と呼ぶ）と、パワー行列Ｘｉｊに音響素の種別（例え
ば、種別として周波数）毎に各音響素のパワー値が格納
できるように、その種別を識別するための変数ｉとをク
リアし、音響素記憶部２に格納されている音響素の配置
位置を読み出すためのアドレスＳに先頭のアドレス（図
２の場合、「ｐ１」）をセットする。

【００３６】次に、アドレスＳに格納されている音響素
の位置（座標値）から、奥行き画像（図１０参照）との
干渉の有無（配置位置に基づく音響素の存在位置範囲に
奥行き画像の画素と重なり合う部分があるか否か）をチ
ェックする（ステップＳ１２）。

【００３７】その音響素が奥行き画像の１または複数の
画素とが干渉していれば、まず、アドレスＳの音響素の
種別（図２の場合、Ｓ＝ｐ１のとき音響素の種別は「音
１」）を、行列Ｘｉ１に格納する。そして、干渉してい
る画素の奥行き値をＸｉ２に順次重畳する（ステップＳ
１３）。

【００３８】図２に示したように、音響素記憶部２に
は、同一のアドレス「ｐ１」（すなわち、同一の種別、
この場合、同一の周波数の音響素）に対し、複数の位置
が記憶されているので、異なる位置に配置されている音
響素があるかどうか調べる（ステップＳ１４）。あれ
ば、ステップＳ１２に戻り、その位置にある音響素と画
素との干渉の有無を調べ、干渉していれば、ステップＳ
１３にて、上記パワー行列Ｘｉ２に、その干渉している
画素の奥行き値を重畳（例えば、加算）していく。同様
に、ステップＳ１２において、その音響素の位置と干渉
している画素がない場合も、それとは異なる位置に配置
されている同一種別の音響素が干渉しているかもしれな
いので、それを調べられるように、ステップＳ１４に進
む。

【００３９】ステップＳ１４において、同一種別（すな
わち、同一アドレスに記憶されている、例えば同一の周
波数）の全ての音響素に対し、干渉の有無をチェックし
終わると、ステップＳ１５に進み、次の種別の音響素
（すなわち、例えば、アドレス「ｐ２」）に対して、上
記同様の処理（ステップＳ１２〜ステップＳ１４）を行
うため、アドレス変数Ｓと、変数ｉのインクリメントを
行う。図２に示したような記憶形式の場合、各種別の音
響素の記憶領域の最終セルに他の種別の音響素の配置位
置を記憶している記憶領域のアドレスが格納されている
ので、それをアドレス変数Ｓに格納する。このとき、最
終セルに格納されているアドレスが「ＮＵＬＬ」のとき
は（ステップＳ１６）、全ての音響素に対する演算を終
了したことになるので処理を終了する。

【００４０】ステップＳ１５でアドレス変数Ｓと変数ｉ
が更新され、ステップＳ１６でアドレス変数Ｓが「ＮＵ
ＬＬ」でないとき、再びステップＳ１２に戻り、上記処
理を繰り返す。

【００４１】このようにして算出されたパワースペクト
ルの一例を図１２に示す。図１２では、取得画像と干渉
する各周波数の音響素毎（Ｘｉ１）に対し、そのパワー
行列Ｘｉ２の値を棒グラフの長さで示している。

【００４２】図１２に示したようなパワースペクトルの
算出結果は、そのまま表示部６に表示されてもよい。図
１２の１００Ｈｚの音響素のパワー値を算出する場合を
例にとり、図１１の処理の流れを具体的に説明する。図
７では、１００Ｈｚの音響素のところに、画像中の人差
し指の部分が干渉している。従って、ステップＳ１２で
は干渉ありと判定され、その干渉している画素（例えば
２つ）の奥行き値が、例えば、図１０より「３３」、
「７４」であるとする。ステップＳ１３では、この２つ
の画素の奥行き値がパワー行列に重畳され、結果とし
て、１００Ｈｚの音響素のパワー値が３３＋７４＝１０
７と算出される。音響素１００Ｈｚが配置されているの
は、この１カ所だけなので、この「１０７」がそのまま
１００Ｈｚのパワー値となる。

【００４３】なお、上記説明では、各周波数毎の音響素
のパワー値として、その音響素に干渉する画素の奥行き
値の和をそのまま用いているが、必ずしも、パワー値＝
奥行き値とする必要はなく、例えば、干渉する画素の奥
行き値を重畳する際に、その画素の奥行き値に対し、以
下のような操作を行ってもよい。

【００４４】 １）パワー値＝奥行き値×α （α：任意の値） ２）パワー値＝（奥行き値） ３）パワー値＝ｋ×奥行き値 ４）パワー値＝Ｆ（ｘ、ｙ）×奥行き値（Ｆ（ｘ、
ｙ）：奥行き値のｘｙ平面上の分布に依存する重み値） ５）パワー値＝Ｆ（ｘ）×奥行き値（Ｆ（ｘ）：奥行き
値のｘ軸上の分布に依存する重み値） ６）パワー値＝Ｆ（ｙ）×奥行き値（Ｆ（ｙ）：奥行き
値のｙ軸上の分布に依存する重み値） 図５に示したように、各音響素が３次元的に配置されて
いる場合、図１１のステップＳ１２では、画素の奥行き
値も使って干渉チェックをおこなう。例えば、画素のｘ
ｙ平面上の座標値および奥行き値と、音響素の座標値と
から、該画素と該音響素との間の距離を求め、その距離
が予め定められた閾値より小さい場合に、該画素と該音
響素間とが干渉していると判断する。そして、図１１の
ステップＳ１３で音響素のパワー値を求める際には、前
述同様な操作にて行ってもよいが、必ずしも奥行き値に
限定される必要はない。例えば、単純に、その音響素の
位置に干渉している画像の面積（画素の数）をそのま
ま、あるいは、その画像の面積に対し、上記１）〜６）
の操作を行ってパワー値を算出するようにしてもよい。

【００４５】さて、図１２に示したようなパワースペク
トルにて各音響素を発音させれば手の動きに沿った音響
は発生することができる。ただし、単に図１２のような
パワーで各音響素を発音しただけでは、連続的な音にな
らない。

【００４６】そこで、音響素演算部４では、フーリエ逆
変換により、パワースペクトル算出部５にて算出された
図１２に示したような周波数軸上のスペクトルを、時間
軸上で変位する波形に変化させる。すなわち、算出され
た各音響素のパワーを振幅とした、その各音響素の周波
数の正弦波を発生させ（例えば、各音響素に種別に対応
した波形を記憶する波形テーブルを具備してもよい）、
これを畳み込み積分することで、最終的な全体の波形を
生成する。

【００４７】図１２に基づき具体的に説明すると、ま
ず、図１２に示したパワーを振幅として、それぞれの周
波数で正弦波を発生させる。例えば、図１２の１００Ｈ
ｚの音響素のパワー値は１０７ｄＢなので、図１３に示
すように、これを振幅とした１００Ｈｚの正弦波を生成
する。また、図１２の２００Ｈｚの音響素に対しても同
様に、図１４に示すように、そのパワー値を振幅とした
２００Ｈｚの正弦波を生成する。このようにして、図１
２の各周波数に対し算出された正弦波（三角関数）を全
ての周波数について積分することにより、図１５に示す
ような波形が得られる。

【００４８】音響生成部７では、図１５に示した波形の
音響を発生する。画像取得部１で取得される画像が毎秒
３０フレームであるとすると、図１５に示した波形の音
響が１／３０秒毎に発生する。すなわち、毎秒３０種の
音響が生成されることになる。（第１の実施形態の効
果）以上説明したように、上記第１の実施形態によれ
ば、音響素の２次元あるいは３次元配置位置を記憶する
音響素記憶部２と、画像取得部１で所望の対象物の画像
（奥行き画像）を取得したら、パワースペクトル算出部
５で、その画像の奥行き情報とと音響素記憶部２に記憶
された音響素の２次元あるいは３次元配置位置に対する
位置関係とに基づき音響素のパワースペクトルを算出
し、音響素演算部４ではこの算出されたパワースペクト
ルと該音響素とに基づき音響を生成することにより、単
純な操作（例えば、手や体を動かすこと）で膨らみのあ
る音色を生成することが容易に行える。

【００４９】奥行き画像を用いて、大変安価にかつ、小
さな計算負荷でリアルタイムに音響素を発音できるの
で、小さい子供から高齢者まで、誰もが、ほとんど練習
などしたりせずに、直感的に、演奏を楽しむことがで
き、その効果は大きい。 （第１の実施形態の変形例）なお、上記第１の実施形態
では、人間の手振りや身振りなどの奥行き画像を取得
し、音響素と演算する場合について説明したが、本発明
は、必ずしもこれに限定されるものではない。例えば、
人間の手振りや身振りのかわりに、金魚や小鳥などのペ
ットの画像を撮像し、これらの奥行き画像と音響素とを
演算し、ペットによる環境音楽（ＢＧＭ）を生成するこ
とも可能である。

【００５０】この場合、例えば、各種ペットの特性に応
じて異なる音響素の種別、配列を適用できるよう、音響
素記憶部２に、図２に示したような各種ペットの特性に
応じた音響素の配列テーブルを複数個記憶しておく。ユ
ーザから情報管理装置３に対し、ペットの種類が指定さ
れると、そのペットの種類に応じて、音響素の配列テー
ブルを切り替えるようにしてもよい。

【００５１】また、上記第１の実施形態では、まったく
無音の状態で、距離画像と音響素の干渉から得られたパ
ワーで発音することを想定しているが、必ずしもこれに
限定されるものではない。例えば、いくつかの音響素が
あるパワー値を有し、発音させた状態（アクティブ）
で、それに、例えば図１２のパワーを重畳させた演奏も
可能である。 （第２の実施形態）図１６は、本発明の第２の実施形態
に係る音響生成装置の構成を概略的に示したものであ
る。なお、図１６において、図１と同一部分には同一符
号を付し、異なる部分についてのみ説明する。すなわ
ち、図１６では、図１の構成にさらに、音響素編集部８
が追加されている。

【００５２】音響素編集部８は、音響素記憶部２に予め
記憶されている音響素の配置位置を変更するためのもの
である。これにより、例えば、取得した身振りや手振り
にあわせて生成される音響を変更することができる。

【００５３】図１７は、表示部６に表示された音響素の
配列を変更する際の編集中の画面表示例を示したもので
ある。例えば、表示部６に図３に示したように表示され
ている音響素のうちの１つを選択して、その音響素を表
示画面中の所望の位置にコピーあるいは移動したり、ま
た、配列から削除したりする編集を行う、さらに、編集
結果を音響素編集部８から音響素記憶部２に保存するよ
うにしてもよい。

【００５４】図１７では、中央右上の４００Ｈｚの音響
素が選択されて（反転表示になっている）、中央左下へ
コピーしているところを示している。図１８は、図１６
に示した音響生成装置の動作を説明するためのフローチ
ャートで、図９と異なる部分は、ステップＳ３とステッ
プＳ４の間にステップＳ２１、ステップＳ２２が追加さ
れている。すなわち、ステップＳ３で画像取得が終了し
たら、ステップＳ２１に進み、情報管理部３は、まず、
音響素の編集指示があるか否かチェックする。音響素の
編集指示があったときは、ステップＳ２２に進み、例え
ば、図１７を参照して説明したような音響素の編集処理
を実行する。

【００５５】図１６に示した音響生成装置を用いて、あ
る音響素の配列に対し、一度演奏を行い、その後、音響
素編集部８を用いて音響素の配列を変更したとする。こ
の場合、編集の効果が自分が満足いくものかどうか、音
響素の編集を行う前の演奏に対して確認したいものであ
る。が、通常、前回と全く同じ動きを再現することは難
しい。このような欠点を補うために、例えば、図１９に
示すような先に画像取得部１で取得された画像（奥行き
画像）を記憶するための画像記憶部９を、図１６の構成
部に追加してもよい。

【００５６】画像記憶部９は、画像取得部１で取得され
た一連の奥行き画像を圧縮などして記憶し、音響素の編
集後に、その記憶された奥行き画像を呼び出して、その
奥行き画像と音響素の配置位置に基づき、パワースペク
トル算出部５、音響素演算部４にて上記同様の処理を実
行することにより、編集前と比較して編集した音響素の
配列が満足のいく音響を生成するものとなったかどうか
を確認することが容易に行える。

【００５７】この画像記憶部９に記憶された一連の奥行
き画像を、表示部６に表示して確認すると、奥行き画像
をアニメーションとして確認できる。具体的には、例え
ば、図６に示したような手の動く様子を確認することが
できる。あるいは、図３に示す音響素の配列の表示に画
像記憶部９に記憶された一連の奥行き画像を重ねて表示
することにより、図７に示したように、手の動きに合わ
せて、演奏される音を確認することができる。

【００５８】このように、画像記憶部９に奥行き画像を
記憶して、その記憶された奥行き画像を呼び出すこと
で、音響素の配列が不変のときには同一の音響を何度も
生成することができる。なお、この場合でも音響素の配
列を変えれば音響も変わる。（第２の実施形態の効果）
以上説明したように、上記第２の実施形態によれば、音
響素編集部８で音響素の配置位置を変更（コピー、移
動、削除）することにより、ユーザは自分の好みにあわ
せた演奏（音響生成）を容易に行うことができる。

【００５９】また、画像取得部１で取得された画像を記
憶する画像記憶部９を具備し、この画像記憶部９から所
望の画像を呼び出して、パワースペクトル算出部５、音
響素演算部４で、この呼び出した画像と音響素の配置位
置とから音響を生成することにより、音響素の配列が不
変のときには同一の音響を何度も生成することができ
る。 （第３の実施形態）図２０は、第３の実施形態に係る音
響生成装置の構成を概略的に示したものである。なお、
図２０において、図１と同一部分には同一符号を付し、
異なる部分についてのみ説明する。すなわち、図２０で
は、図１の構成にさらに、音響素の配置位置、パワース
ペクトルを時系列的に変化させるための時系列変形部１
０が追加されている。

【００６０】第１の実施形態で、いくつかの音響素があ
るパワー値を有し、発音させた状態（アクティブ）で、
それに、例えば図１２のパワーを重畳させた演奏も可能
であることを述べたが、ここでは、それを応用して、時
系列変形部１０が、音響素のパワースペクトルを時系列
に変化させるようになっている。すなわち、時系列変形
部１０は、例えばｓｉｎ、ｃｏｓなどの三角関数等、何
らかの関数を用いて、各音響素のパワー値を時系列的に
変化させるようになっている。

【００６１】例えば、時系列変形部１０でいくつかの任
意の音響素のパワーを時系列的に変化させながら、音響
素が発音されている状態（例えば、図１２のようなグラ
フ中の各音響素（周波数）のパワー値が１／Ｋ秒毎に上
下に変化している状態）で、その各音響素のパワー行列
に、画像取得部１で例えば１／３０秒毎に取得される画
像に基づくパワー値（例えば、図１２の各音響素のパワ
ー値）を、取得する度に重畳していくこともできる。

【００６２】時系列変形部１０は、音響素のパワー値の
みに限らず、上記同様にして、時系列変形部１０のもつ
三角関数等に応じて音響素の配置位置自体を変化させる
こともできる。例えば、図５のような音響素が３次元的
に配置されているときには、音響素のｚ軸方向（奥行き
方向）の長さを変化させて、その形状を変形するように
してもよい。

【００６３】時系列変形部１０が音響素のパワースペク
トル、配置位置等を時系列に変形するのに、例えば、Ｍ
ＩＤＩ（Ｍｕｓｉｃ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉ
ｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ）ファイルなどのよう
に、音楽情報が格納されているファイルから、格納され
ている音楽情報を用いて、時系列に変形させることも可
能である。

【００６４】このように音楽ファイルにあわせた時系列
の変形を行うには、例えば、図２１のように、図２０の
構成にさらに、音楽情報入力部１１を追加して、ここ
で、与えられた音楽ファイルから音楽情報（たとえば、
音の高さ、大きさ）を抽出して、それに基づき時系列変
形部１０が音響素の周波数、パワー値等を変化させるよ
うにしてもよい。 （第３の実施形態の効果）以上説明したように、上記第
３の実施形態によれば、時系列変形部１０で、音響素の
パワースペクトルおよび配置位置のうちの少なくとも１
つを予め定められた規則（例えば、時間を変数とする三
角関数）に従って変更することにより、例えば、画像を
取得する対象に大きな動きがない場合、例えば、金魚な
どのようなペットの場合でも、時系列に音響素のパワー
スペクトルや配置位置が変化しているので、単調な演奏
になるのを防ぐことができる。

【００６５】また、音楽情報入力部１１で音楽ファイル
（例えばＭＩＤＩファイル）から抽出された情報に基づ
き、時系列変形部１０で音響素のパワースペクトルおよ
び配置位置のうちの少なくとも変更する変更ことによ
り、ＢＧＭ（バックグラウンドミュージック）にあわせ
た音響を生成することができる。

【００６６】なお、上記第１から第３の実施形態で説明
した手法は、コンピュータに実行させることのできるプ
ログラムとして、磁気ディスク（フロッピーディスク、
ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、Ｄ
ＶＤなど）、半導体メモリなどの記録媒体に格納して頒
布することもできる。すなわち、図９、図１８に示した
フローチャートの従った処理を記述したプログラムを格
納した所定の記録媒体をパーソナルコンピュータ等に実
行させた場合も、上記第１〜第３の実施形態の説明と同
様である。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
単純な操作で所望の音響を容易に生成することができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る音響生成装置の
構成例を示した図。

【図２】音響素記憶部に記憶されている音響素の配置位
置の記憶例で、音響素を２次元的に配置する場合を示し
た図。

【図３】図２の記憶形式で記憶されている音響素を表示
部に表示する際の画面表示例を示した図。

【図４】音響素記憶部に記憶されている音響素の配置位
置の他の記憶例で、音響素を３次元的に配置する場合を
示した図。

【図５】図４の記憶形式で記憶されている音響素を表示
部に表示する際の画面表示例を示した図。

【図６】画像取得部で取得した画像の一例として、手の
画像を示した図。

【図７】図６で示した手の奥行き画像を用いて、図３の
２次元的に配置された音響素から音を発生させる場合に
ついて説明するための図。

【図８】図６で示した手の奥行き画像を用いて、図５の
３次元的に配置された音響素から音を発生させる場合に
ついて説明するための図。

【図９】図１の音響生成装置の動作を説明するためのフ
ローチャート。

【図１０】画像取得部で取得される画像（奥行き画像）
の奥行き値について説明するための図。

【図１１】パワースペクトル算出処理を説明するための
フローチャート。

【図１２】算出された各音響素毎のパワースペクトルの
一例を示したグラフ。

【図１３】図１２の１００Ｈｚの音響素の正弦波（振幅
がパワー値）の一例を示した図。

【図１４】図１２の２００Ｈｚの音響素の正弦波（振幅
がパワー値）の一例を示した図。

【図１５】算出された各音響素のパワー値を振幅とした
各音響素の正弦波を重畳して生成された正弦波の一例を
示した図。

【図１６】本発明の第２の実施形態に係る音響生成装置
の構成例を示した図。

【図１７】表示部に表示された音響素の配列を変更する
際の編集中の画面表示例を示した図。

【図１８】図１６の音響生成装置の動作を説明するため
のフローチャート。

【図１９】本発明の第２の実施形態に係る音響生成装置
の他の構成例で、画像記憶部を具備している場合を示し
た図。

【図２０】本発明の第２の実施形態に係る音響生成装置
のさらに他の構成例で、時系列変形部を具備している場
合を示した図。

【図２１】本発明の第２の実施形態に係る音響生成装置
のさらに他の構成例、音楽情報入力部を具備している場
合を示した図。

【符号の説明】

１…画像取得部 ２…音響素記憶部 ３…情報管理部 ４…音響素演算部 ５…パワースペクトル算出部 ６…表示部 ７…音響生成部 ８…音響編集部 ９…画像記憶部 １０…時系列変形部 １１…音楽情報入力部

Claims (10)

【特許請求の範囲】
1. 【請求項１】 取得した画像の奥行き情報と、該画像の
   音響素の２次元配置位置に対する位置関係とに基づき該
   音響素のパワースペクトルを算出し、この算出されたパ
   ワースペクトルと該音響素とに基づき音響を生成するこ
   とを特徴とする音響生成方法。
2. 【請求項２】 取得した画像の奥行き情報と、該画像の
   音響素の３次元配置位置に対する位置関係とに基づき該
   音響素のパワースペクトルを算出し、この算出されたパ
   ワースペクトルと該音響素とに基づき音響を生成するこ
   とを特徴とする音響生成方法。
3. 【請求項３】 音響素の２次元配置位置を記憶する音響
   素記憶手段と、 画像を取得する画像取得手段と、 この画像取得手段で取得した画像の前記音響素記憶手段
   に記憶された音響素の配置位置に対する位置関係と該画
   像の奥行き情報とに基づき前記音響素のパワースペクト
   ルを算出する算出手段と、 この算出手段で算出されたパワースペクトルと前記音響
   素とに基づき音響を生成する生成手段と、 を具備したことを特徴とする音響生成装置。
4. 【請求項４】 音響素の３次元配置位置を記憶する音響
   素記憶手段と、 画像を取得する画像取得手段と、 この画像取得手段で取得した画像の前記音響素記憶手段
   に記憶された音響素の配置位置に対する位置関係と該画
   像の奥行き情報とに基づき前記音響素のパワースペクト
   ルを算出する算出手段と、 この算出手段で算出されたパワースペクトルと前記音響
   素とに基づき音響を生成する生成手段と、 を具備したことを特徴とする音響生成装置。
5. 【請求項５】 前記画像取得手段で取得された画像を記
   憶する画像記憶手段を具備し、前記算出手段は、前記画
   像記憶手段に記憶された画像の前記音響素の配置位置に
   対する位置関係と該画像の奥行き情報とに基づき前記音
   響素のパワースペクトルを算出することを特徴とする請
   求項３または４記載の音響生成装置。
6. 【請求項６】 前記音響素の配置位置を変更する変更手
   段を具備したことを特徴とする請求項３または４記載の
   音響生成装置。
7. 【請求項７】 前記音響素のパワースペクトルおよび配
   置位置のうちの少なくとも１つを予め定められた規則に
   従って変更する変更手段を具備したことを特徴とする請
   求項３または請求項４記載の音響生成装置。
8. 【請求項８】 前記音響素のパワースペクトルおよび配
   置位置のうちの少なくとも１つを与えられた音楽ファイ
   ルから抽出される情報に基づき変更する変更手段を具備
   したことを特徴とする請求項３または請求項４記載の音
   響生成装置。
9. 【請求項９】 取得した画像と音響素の２次元配置位置
   とに基づき音響を生成するためのプログラムを記録した
   機械読み取り可能な記録媒体であって、 音響素の２次元配置位置を記憶させる音響素記憶手段
   と、 画像を取得させる画像取得手段と、 この画像取得手段で取得された画像の前記音響素記憶手
   段で記憶された音響素の配置位置に対する位置関係と該
   画像の奥行き情報とに基づき前記音響素のパワースペク
   トルを算出させる算出手段と、 この算出手段で算出されたパワースペクトルと前記音響
   素とに基づき音響を生成させる生成手段と、 を実行するプログラムを記憶した記憶媒体。
10. 【請求項１０】 取得した画像と音響素の３次元配置位
    置とに基づき音響を生成するためのプログラムを記録し
    た機械読み取り可能な記録媒体であって、 音響素の３次元配置位置を記憶させる音響素記憶手段
    と、 画像を取得させる画像取得手段と、 この画像取得手段で取得された画像の前記音響素記憶手
    段で記憶された音響素の配置位置に対する位置関係と該
    画像の奥行き情報とに基づき前記音響素のパワースペク
    トルを算出させる算出手段と、 この算出手段で算出されたパワースペクトルと前記音響
    素とに基づき音響を生成させる生成手段と、 を実行するプログラムを記憶した記憶媒体。