JP4721097B2 - データ処理方法、データ処理装置およびプログラム - Google Patents

Description

本発明は、サラウンドシステムにて再生される音声ソースの作成に用いて好適なデータ処理方法、データ処理装置およびプログラムに関する。

例えば直方体状の部屋のようなある音響空間の中に、何らかの音を発生する発音点と、この音を受音する受音点とを置いたとする。受音点とは、人間あるいはマイク等である。この場合、発音点から放射された音は音響空間内の各部に反射された後に受音点に到達することになる。このように、受音点に到着するまでの音の伝搬を計算機上でシミュレートし、４チャンネルステレオ上で再現する装置が特許文献１，２に開示されている。例えば、図１(a)において、各スピーカ５２Ｌ，５２Ｒ，５２ＳＲ，５２ＳＬはリスナを中心に正方形の四頂点を成す位置に配置される。ここで、リスナの位置を受音点１０６として、スピーカ５２Ｌ，５２Ｒの中心方向に仮想的な発音点１０４を想定し、この発音点１０４から受音点１０６に到達する直接音の音圧をＰとする。特許文献１の技術によれば、左右のスピーカ５２Ｌ，５２Ｒから受音点１０６に各々「Ｐ／２」の音圧を与える音を放音することにより、この仮想的な発音点１０４からの直接音をシミュレートすることができる。なお、同図においては反射音は省略する。

さらに、特許文献２においては、「受音点の向き」に応じて、４チャンネルステレオの音声信号のレベルを変動する技術が開示されている。例えば、受音点が「人間」であったとすると、音圧Ｐの音を正面から聞いた場合と、背面から聞いた場合とでは実際に耳に感ずる音圧は異なる。そこで、受音点の向きをパラメータとして、音声信号のレベルを変動させている。また、この特許文献２には、発音点や受音点を音響空間内の任意の位置に配置し、所定の経路に沿って発音点を自動的に移動させる技術も開示されている。また、特許文献３には、発音点の移動する軌道をユーザが任意に設定することができ、この軌道上を発音点が移動する状態を４チャンネルステレオ上で再現する技術が開示されている。

また、多チャンネル再生装置によって再現される音場を任意の角度で回転させる技術が特許文献４に開示されている。これは、多チャンネルの各信号を回転角度で応じたミキシング比でミキシングすることによって実現されている。例えば、図１(b)において、４チャンネルステレオを構成する音声信号Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLが与えられたとして、これを右方向に「４５°」回転した音場を実現する音声信号を各スピーカ５２Ｌ，５２Ｒ，５２ＳＲ，５２ＳＬから放音することを想定してみる。かかる場合には、オリジナルの音声信号Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLのうち相隣接するもの同士を「１／２」の比でミキシングし、その結果を音声信号Ｓ_L’，Ｓ_R’，Ｓ_SR’，Ｓ_SL’としてスピーカ５２Ｌ，５２Ｒ，５２ＳＲ，５２ＳＬから各々放音するとよい。

特開２００４−２１２７９７号公報 特開２００４−３１２１０９号公報 米国特許５，６３６，２８３号 特開２００３−２７１１３５号公報

上述した特許文献１，２の技術においては、受音点１０６の向きは受音点１０６に到達すべき音のレベルを決定するために用いられているが、各スピーカ間の定位を決定するためには用いられていない。すなわち、受音点１０６の向きは、予め想定された向きに限られていた。従って、受音点１０６の向きに応じてスピーカ間の定位を設定するためには、特許文献４の技術が併用されていた。例えば、図１(a)において、受音点１０６が人間であって、左方向に顔が「４５°」回転していたとする。このときに該受音点１０６に到達する音を、リスニングルーム内のリスナに対してシミュレートすることを考える。リスニングルーム内のリスナが正面を向いているものとすると、音場全体を右方向に「４５°」回転させることによって、この音場をシミュレートできることになる。この場合、発音点１０４の音像はリスナから見てスピーカ５２Ｒの方向になければならない。

そこで、特許文献４の技術を用いて音場を回転させると、各スピーカからの音圧は次の通りになる。すなわち、スピーカ５２ＬにおいてＳ_L’＝Ｐ／４、スピーカ５２ＲにおいてＳ_R’＝Ｐ／２、スピーカ５２ＳＲにおいてＳ_SR’＝Ｐ／４。かかる結果によれば、確かに音像の中心はスピーカ５２Ｒの方向に一致し、音圧の総和も「Ｐ」に一致するが、発音点１０４をシミュレートする音が「３」台のスピーカから分散して出力されるため、音像がぼやけるという問題があった。

また、特許文献１，２の技術によって多チャンネルの信号を生成した後に、特許文献４の技術によって音場を回転させることは、計算が複雑になるという問題があった。
この発明は上述した事情に鑑みてなされたものであり、シャープな音像定位を少ない計算量で実現できるデータ処理方法、データ処理装置およびプログラムを提供することを目的としている。

上記課題を解決するため本発明にあっては、下記構成を具備することを特徴とする。なお、括弧内は例示である。
請求項１記載のデータ処理方法にあっては、音を発する方向を有する発音点（１０４）と当該発音点（１０４）から発せられた音を受ける方向を有する受音点（１０６）とを含む要素が配置された直方体の形状の音響空間（１０２）の音響特性をシミュレートするデータ処理方法において、ディスプレイ上に、前記音響空間を表す前記直方体の形状の音響空間画像（２０４）を表示するとともに、その音響空間画像（２０４）内に、前記発音点（１０４）を表す発音点画像（２１０）と、前記受音点（１０６）を表し、該受音点（１０６）を中心とする所定の円周上に該受音点の前記方向を正面方向とする所定の配置関係にてスピーカを表す複数のスピーカ画像（２１４）が配置された受音点画像（２１２）とを表示する表示過程（ＳＰ７８，ＳＰ９０，ＳＰ９４）と、ユーザ操作に応じて、前記音響空間画像（２０４）上の前記発音点画像（２１０）の位置または方向を変更するとともに、前記変更後の前記音響空間画像（２０４）上の発音点画像（２１０）の位置および方向に基づいて、前記音響空間（１０２）内における前記発音点（１０４）の位置および方向を算出する発音点移動過程（ＳＰ８０）と、ユーザ操作に応じて、前記音響空間画像（２０４）上の前記受音点画像（２１２）の位置または方向を変更するとともに、当該変更に応じて前記複数のスピーカ画像（２１４）を再配置し、前記変更後の前記音響空間画像（２０４）上の受音点画像（２１２）の位置および方向に基づいて、前記音響空間（１０２）内における前記受音点（１０６）の位置および方向を算出する受音点移動過程（ＳＰ８０）と、前記発音点（１０４）から前記受音点（１０６）に向かう音の経路である複数の音線経路を算出する音線経路算出過程（ＳＰ１１２，ＳＰ１１４）と、前記受音点（１０６）の方向を基準として、前記各音線経路が前記受音点（１０６）に入射する入射角（θR）を算出する入射角算出過程（ＳＰ１１４）と、前記入射角（θR）に基づいて、前記受音点画像（２１２）の周囲に配置される前記スピーカ画像（２１４）にそれぞれ対応する少なくとも３チャンネル以上の多チャンネル音声信号に対応して、前記各音線経路に係る音声信号の分配率（図４）を決定する分配率決定過程（ＳＰ１１８）と、該決定された分配率に応じて、前記各音線経路に係る音声信号を前記多チャンネル音声信号の各々のチャンネルに対して分配する分配過程（６２，６４，６６）とを有することを特徴とする。
さらに、請求項２記載の構成にあっては、請求項１記載のデータ処理方法において、前記多チャンネル音声信号は、少なくとも第１乃至第３の音声信号（Ｓ_R，Ｓ_C，Ｓ_L）を含むものであり、前記分配率（図４）は、前記入射角（θR）が第１の範囲（３３０°≦θR≦３６０°）にあるときは、前記第１および第２の音声信号（Ｓ_R，Ｓ_C）に対する分配率の合計が１００％になるように前記音線経路に係る音声信号を分配し、前記入射角（θR）が前記第１の範囲（３３０°≦θR≦３６０°）に隣接する第２の範囲（０°≦θR≦３０°）にあるときは、前記第２および第３の音声信号（Ｓ_C，Ｓ_L）に対する分配率の合計が１００％になるように前記音線経路に係る音声信号を分配するとともに、前記入射角（θR）が前記第１および第２の範囲の境界値（０°）に近づくほど前記第２の音声信号（Ｓ_C）に対する分配率が高くなるように設定されていることを特徴とする。
さらに、請求項３記載の構成にあっては、請求項１記載のデータ処理方法において、前記各音線経路の距離に基づいて、前記各音線経路に係る音声信号に対して遅延を施す遅延過程（６０）と、前記各音線経路の距離が長くなるほど前記各音線経路に係る音声信号が減衰するように、前記各音線経路に係る音声信号に対して減衰処理を施す減衰過程（６２，６４，６６，ＳＰ１１８）とをさらに有することを特徴とする。
さらに、請求項４記載の構成にあっては、請求項１記載のデータ処理方法において、ユーザ操作に応じてズーム量を設定し、該設定されたズーム量に基づいて、前記スピーカ画像の大きさと前記スピーカ画像が配置される前記円周の半径とを変更するとともに、前記音響空間の大きさと、当該音響空間における前記発音点の位置および前記受音点の位置とを再計算するズーム量設定過程をさらに有し、前記ズーム量設定過程は、前記ディスプレイに表示された前記スピーカ画像の大きさと前記円周の半径とを、前記ズーム量が小さくなるに従い大きく、前記ズーム量が大きくなるに従い小さくなるよう変更し、前記ズーム量設定過程により前記ズーム量が変更されたとき、前記ディスプレイ上に表示された前記音響空間画像内における前記発音点画像（２１０）の位置と前記受音点画像（２１２）の位置は変更されないことを特徴とする。
また、請求項５記載のデータ処理装置にあっては、請求項１ないし４の何れかに記載のデータ処理方法を実行することを特徴とする。
また、請求項６記載のプログラムにあっては、請求項１ないし４の何れかに記載のデータ処理方法を処理装置（４２，１０）に実行させることを特徴とする。

このように、本発明によれば、各音線経路が受音点に入射する入射角に基づいて、各音線経路に係る音声信号の分配率を決定し、各音線経路に係る音声信号をこの分配率に応じて多チャンネル音声信号の各々のチャンネルに対して分配するから、シャープな音像定位を少ない計算量で実現することができる。

1．実施例の概要
1．1．各種要素の位置関係と音との関係
図２において、直方体の音響空間１０２に発音点１０４と受音点１０６とを置いたとする。まず、発音点１０４から受音点１０６に向かって音線経路（音が伝搬する経路）１１０に沿って直接音が到達する。また、音線経路１１２−１に沿って、一次反射音（音響空間１０２の壁面に１回だけ反射する音）が到達する。一次反射音の音線経路は全部で「６」本、すなわち直方体の音響空間１０２を成す壁面の数と同一であり、音線経路１１２−１の他にも「５」本存在する（図示略）。

また、音線経路１１４−１に沿って、二次反射音が到達する。二次反射音の音線経路は全部で「１８」本であり、音線経路１１４−１の他にも「１７」本存在する（図示略）。なお、二次反射音の数の求め方については、上記特許文献１に詳述されている。また、現実には三次以降の反射音も存在するが、これらは無視することとする。反射音は壁に「１」回反射される毎に、減衰するとともに周波数特性の変化（フィルタリング処理）を受ける。ここで、音響空間１０２の壁面が鏡であると過程したときに鏡に映る発音点１０４の鏡像１１６−１，１１８−１を描くことができる。

これらの鏡像は、実線の音線経路と同一の長さだけ受音点１０６から離れ、各音線経路が受音点１０６に入射する角度と同一の角度を受音点１０６に対して有している。そして、鏡像の数は、反射音に係る音線経路の数に等しい。また、本実施例においては、発音点１０４および受音点１０６に指向性特性が付与される。そこで、図２においては、両者の正面方向を矢印１０４ａ，１０６ａによって示す。また、両者の指向性特性１０４ｂ，１０６ｂの一例を図３に示しておく。ここで、各音線経路が発音点１０４から放射されるときの角度を、発音点１０４の正面方向１０４ａを基準として放射角θGとし、該音線経路が受音点１０６に入射するときの角度を、受音点１０６の正面方向１０６ａを基準として入射角θRとする。なお、図３においては、音線経路１１２−１，１１４−１の放射角および入射角を各々θG1，θG2およびθR1，θR2として示しておく。

ここで、各音線経路から受音点１０６に到達する音声信号は、発音点１０４が発生する音声信号に対して、以下の減衰およびフィルタリング処理を施した音声信号である。
（１）音線経路長の二乗に反比例する減衰係数Ｚlenを乗算する減衰処理
（２）反射面におけるフィルタリング特性Ｚrefを、反射回数だけ乗算するフィルタリング処理
（３）指向性特性１０４ｂおよび放射角θGに基づく減衰係数ＺGを乗算する減衰処理
（４）指向性特性１０６ｂおよび入射角θRに基づく減衰係数ＺRを乗算する減衰処理

以上のようにして求められた、各音線経路の音声信号は再生用のチャンネルに割り当てられる。ここでは、再生システムとして５．１サラウンドシステムを想定する。該再生システムにおいては、リスナを中心とする半径「２．５」ｍの円周上において、リスナの正面にセンタースピーカ５２Ｃ、その左右「３０°」の位置に左右スピーカ５２Ｌ，５２Ｒ、左右「１２０°」の位置に左右サラウンドスピーカ５２ＳＬ，５２ＳＲが各々配置されることとする。これらスピーカの位置を図２においては破線で図示しておく。なお、５．１サラウンドシステムにおいては他に「サブウーハー」が設けられるが、これは定位に関係しないために図示していない。

これらスピーカ５２Ｃ，５２Ｌ，５２Ｒ，５２ＳＲ，５２ＳＬに供給される各チャンネルの音声信号を各々Ｓ_C，Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLとし、各音線経路の音声信号をこれらチャンネルに分配するときの比を図４に示す。図４において、分配特性５４Ｃ，５４Ｌ，５４Ｒ，５４ＳＲ，５４ＳＬは、入射角θRの関数であり、各々音声信号Ｓ_C，Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLに対して、当該音線経路の音声信号を分配するときの分配率である。図示の区間Ａ〜Ｅの各々においては、同時に分配率が「０％」を超えるチャンネルは「２」チャンネルのみであり、両チャンネルの分配率を合計すると「１００％」になる。また、各区間Ａ〜Ｅの境界においては「１」チャンネルのみ分配率が「１００％」になり、他のチャンネルの分配率は「０％」である。

このように、本実施例によれば、入射角θRの方向からリスナに音が聞こえるように、音声信号Ｓ_C，Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLに対して各音線経路の音声信号を分配するため、生成された多チャンネルの音声信号は、受音点１０６の方向に適合した音声信号として生成される。従って、この多チャンネルの音声信号の音場をさらに回転させる必要がなくなり、シャープな音像定位を少ない計算量で実現することができるのである。

1．2．ユーザインタフェース
本実施例においては、上述したサラウンドシステムを構成する「５」チャンネルへの音声信号の分配は、デジタルミキサ上で実行されるが、音響空間１０２、発音点１０４および受音点１０６等の設定はパーソナルコンピュータの画面上で実行される。そこで、パーソナルコンピュータの設定画面におけるユーザインタフェースを説明する。

まず、設定画面の一例を図５に示す。図において２０６はセクション線であり、縦横に破線の正方形枠を連続的に配置して成る。なお、図示の例においては、１つの枠は音響空間１０２内の「１ｍ×１ｍ」に対応する。２０４は音響空間輪郭線であり、想定する直方体の音響空間の側壁面を表す。２０２はズームフェーダであり、表示画面のズーム量を設定する。ここで、ズーム量はセクション線２０６の横方向の枠数に対応しており、図示の例では「２０」である。なお、音響空間輪郭線２０４を構成する各側壁面の位置や、ズームフェーダ２０２の操作位置は、これらをマウスでドラッグすることによって適宜移動させることができる。

次に、音響空間輪郭線２０４の内側において２１０は発音点画像であり、発音点１０４の位置を表示する。２１０ａは発音点方向画像であり、発音点１０４の正面方向を表示する。２１２は受音点画像であり、受音点１０６の位置を表示する。２１２ａは受音点方向画像であり、受音点１０６の正面方向を表示する。２１４はスピーカ画像であり、受音点画像２１２を中心とする半径「２．５ｍ」の円周上に、スピーカ５２Ｃ，５２Ｌ，５２Ｒ，５２ＳＲ，５２ＳＬの画像を配列して成るものであり、図２と同様に再生システムとして５．１サラウンドシステムのスピーカ配置を想定している。さらに、スピーカ画像２１４は、受音点方向画像２１２ａの方向にセンタースピーカ５２Ｃの画像が位置するように構成されている。このような受音点画像２１２と受音点方向画像２１２ａに対するスピーカ画像２１４の配置は、受音点１０６の位置や方向が変更された後も常に維持される。

発音点画像２１０および受音点画像２１２の位置は、マウスでドラッグアンドドロップすることにより、ユーザは音響空間輪郭線２０４の内側で自由にその位置を変更することができる。そして、発音点画像２１０または受音点画像２１２を移動させると、発音点方向画像２１０ａまたは受音点方向画像２１２ａはこれらに連動して移動する。また、発音点方向画像２１０ａおよび受音点方向画像２１２ａの方向もマウスでドラッグアンドドロップすることにより、ユーザが自由に設定することができる。但し、方向画像２１０ａ，２１２ａは、各々発音点画像２１０および受音点画像２１２を中心とし、所定半径の円周上のみを移動できるようになっており、方向画像２１０ａ，２１２ａの示す方向は、各々発音点画像２１０および受音点画像２１２の何れかの放射方向のみである。

次に、この設定画面において受音点画像２１２を画面上でやや左側に移動し、受音点方向画像２１２ａをやや右側に回転させた状態を図６に示す。スピーカ画像２１４は受音点画像２１２の位置と、受音点方向画像２１２ａの向きと、ズームフェーダ２０２のズーム量とに基づいて自動的に決定されるため、図示のように受音点画像２１２に追従して移動し、受音点方向画像２１２ａに追従して回転する。

ここで、発音点画像２１０および発音点方向画像２１０ａも、マウスをドラッグアンドドロップ操作することによって同様に位置および方向を変更できるが、発音点画像２１０に対してある「軌道」を予め設定し、その軌道上を自動的に移動させることが可能である。２２０は移動軌道線であり、この発音点画像２１０が移動する軌道を表示するものである。また、２２２，２２４，２２６は軌道点画像であり、移動軌道線２２０を特定するための点である。すなわち、移動軌道線２２０は、軌道点画像２２２，２２４，２２６を相互に結合する線（直線または曲線）によって決定され、これら軌道点画像２２２，２２４，２２６の位置もマウスのドラッグアンドドロップ操作によって任意に設定することができる。

次に、図６の設定画面においてズームフェーダ２０２を操作してズーム量を「３０」に変更した際の設定画面を図７に示す。この図においてセクション線２０６は、図６のものに比べて密集しており、設定画面上で表示される領域の面積が増大していることが解る。但し、この図７の設定画面において、音響空間輪郭線２０４の大きさと位置、発音点画像２１０、受音点画像２１２、軌道点画像２２２，２２４，２２６、および移動軌道線２２０の画面上の位置は、図６のものと比較して変更されていない。但し、スピーカ画像２１４はセクション線２０６における半径「２．５ｍ」の円周上に描画されるため、図６のものと比較すると小さく表示される。

また、図６または図７の画面においてズームフェーダ２０２を操作してズーム量を「１０」に変更した際の設定画面を図８に示す。この図においてセクション線２０６は、図６のものに比べて間隔が広くなっており、設定画面上で表示される領域の面積が減少していることが解る。この設定画面においても、音響空間輪郭線２０４の大きさと位置、発音点画像２１０、受音点画像２１２、軌道点画像２２２，２２４，２２６、および移動軌道線２２０の画面上の位置は、図６のものと比較して変更されていない。但し、スピーカ画像２１４は図６のものと比較すると拡大されている。

換言すれば、本実施例におけるズームフェーダ２０２は、単に設定画面の表示状態（縮尺）を変更するものではなく、シミュレートすべき音響空間の内部に配置される各要素の相対的な位置関係を保持しつつ、音響空間全体の大きさを拡大または縮小するものである。そして、ズームフェーダ２０２の操作によってセクション線２０６とスピーカ画像２１４の表示状態が変更されるため、ユーザは、想定しているリスニングルームの大きさ（ほぼ５ｍ×５ｍ）と比較したときの音響空間の大きさや各要素の位置などを直感的に把握することができる

ここで、発音点画像２１０、発音点方向画像２１０ａ、受音点画像２１２、受音点方向画像２１２ａ、軌道点画像２２２，２２４，２２６は、ユーザがマウスを操作して任意に位置等を設定できる要素であるため、これらを「操作要素」と呼ぶことにする。ユーザは、何れかの操作要素をマウスでクリックすることにより、該操作要素を「選択状態」に設定することができる。通常の状態である操作要素をマウスでクリックすると、既に選択状態であった操作要素が全て非選択状態になり、新たにクリックされた一の操作要素のみが選択状態にされる。

また、パーソナルコンピュータのキーボードのshiftキーを押下し続けている状態においては、複数の操作要素を選択状態に設定することができる。また、shiftキーを押下し続けている状態において、選択状態である一の操作要素をマウスでクリックすると、当該一の操作要素が非選択状態にされる。なお、かかる場合は他の操作要素の選択／非選択状態はそのまま保持される。但し、発音点方向画像２１０ａおよび受音点方向画像２１２ａはそれぞれ単独でのみ選択状態にすることができ、他の操作要素とともに選択状態にすることはできない。

そこで、以降の図においては、選択状態に設定された操作要素を二重円によって表示する。図８に示す例においては、発音点画像２１０、軌道点画像２２４および軌道点画像２２６が選択状態に設定されている。複数の操作要素が選択状態であるとき、これら選択された操作要素のうち任意の操作要素に対してドラッグアンドドロップ操作を行うと、選択状態にされた全ての操作要素の相対的位置関係が保持されつつ、これら操作要素の画面上の位置が連動して変更される。

次に、一または複数の操作要素が選択状態であるときに、キーボードにおいてctrlキーが押下されると、選択された各操作要素に対して、画面上に「直線型補助線」が表示される。図８に示した画面においてctrlキーが押下され、直線型補助線が表示された画面を図９に示す。直線型補助線は、ある「基点」と選択状態である各操作要素とを結ぶ直線である。そして、ここに「基点」とは、受音点画像２１２が非選択状態であるときは該受音点画像２１２であり、受音点画像２１２が選択状態である場合は音響空間輪郭線２０４の中心である。図９の例においては受音点画像２１２は非選択状態であるから受音点画像２１２が基点になり、受音点画像２１２と、操作要素２１０，２２４，２２６とを各々結ぶ直線として、直線型補助線２３２，２３４，２３６が描かれている。

このように直線型補助線が描かれた場合は、選択状態である各操作要素は対応する直線型補助線上のみを移動できるようになる。すなわち、ある操作要素がマウスでドラッグアンドドロップされたとき、ドロップ位置の直近に位置する直線型補助線上の点の座標が求められ、操作要素はこの求められた点に移動されることになる。また、複数の操作要素が選択され直線型補助線が表示された場合には、選択された何れかの操作要素がドラッグアンドドロップ操作によって移動されると、基点と操作要素間の距離の伸縮率が求められ、選択された他の要素はその伸縮率を実現する距離だけ移動される。

例えば、図９のセクション線２０６の縮尺上では発音点画像２１０、軌道点画像２２４、および軌道点画像２２６の基点（受音点画像２１２）からの距離は、各々「７ｍ」、「２．５ｍ」および「５．５ｍ」である。この状態において発音点画像２１０をドラッグアンドドロップすることによって、基点から「９ｍ」の距離に移動させたとする。かかる場合の発音点画像２１０の距離の伸縮率は「９／７」であるから、軌道点画像２２４は基点から約「３．２ｍ」、軌道点画像２２６は基点から約「６．４ｍ」になるように、各々直線型補助線２３４，２３６上を移動することになる。なお、この場合のように、「３」個の軌道点画像２２２，２２４，２２６のうち一部のみを移動させると、移動軌道線２２０の形状はこれに追従して当然に変更されることになる。

次に、図９の状態に対して軌道点画像２２４の選択を解除し、受音点画像２１２を選択状態にした場合の表示内容を図１０に示す。受音点画像２１２が選択状態になると、同図に示すように、音響空間輪郭線２０４の中心点２４０が基点になり、この基点と選択中の各操作要素２１２，２１０，２２６を各々結ぶ直線として直線型補助線２４２，２４４，２４６が描かれている。このように基点が変更され、これに伴って直線型補助線も変更されたことを除けば、各操作要素の操作方法等は図９の場合と同様である。

次に、一または複数の操作要素が選択状態であるときに、キーボードにおいてaltキーが押下されると、選択された各操作要素に対して、画面上に「円型補助線」が表示される。図８に示した画面においてaltキーが押下され、円型補助線が表示された画面を図１１に示す。円型補助線は、ある「基点」を中心とし、選択状態である各操作要素を通過する円または円弧である。そして、ここに「基点」とは、直線型補助線の場合と同様に、受音点画像２１２が非選択状態であるときは該受音点画像２１２であり、受音点画像２１２が選択状態である場合は音響空間輪郭線２０４の中心である。図１１の例においては受音点画像２１２は非選択状態であるから受音点画像２１２が基点になり、この基点を中心とし操作要素２２４，２２６，２１０を各々通過する円として、円型補助線２５２，２５４，２５６が描かれている。

このように円型補助線が描かれた場合は、選択状態である各操作要素は対応する円型補助線上のみを移動できるようになる。すなわち、ある操作要素がマウスでドラッグアンドドロップされたとき、ドロップ位置の直近に位置する円型補助線上の点の座標が求められ、操作要素はこの求められた点に移動されることになる。また、複数の操作要素が選択され円型補助線が表示された場合には、選択された何れかの操作要素がドラッグアンドドロップ操作によって移動されると、基点から見た回転角度が求められ、選択された他の要素は、各々対応する円型補助線上で同一の回転角度だけ回転するように移動される。

次に、図１１の状態に対して軌道点画像２２４の選択を解除し、受音点画像２１２を選択状態にした場合の表示内容を図１２に示す。受音点画像２１２が選択状態になると、同図に示すように、音響空間輪郭線２０４の中心点２４０が基点になり、この基点を中心とし、選択中の各操作要素２２６，２１０，２１２を各々通過する円として円型補助線２６２，２６４，２６６が描かれている。このように基点が変更され、これに伴って円型補助線も変更されたことを除けば、各操作要素の操作方法等は図１１の場合と同様である。

2．実施例のハードウエア構成
次に、本発明の一実施例の音声編集システムのハードウエア構成を図１３を参照し説明する。なお、該音声編集システムは、音声信号または制御信号等を記録／再生するマルチトラックレコーダ５１と、音声信号をミキシングするデジタルミキサ１と、該ミキシング状態を設定するパーソナルコンピュータ３０と、編集された音声信号を再生するアンプ５０およびスピーカシステム５２とから構成されている。

デジタルミキサ１の内部において４は電動フェーダ群であり、ユーザの操作に基づいて各入出力チャンネルの信号レベルを調節する。さらに、電動フェーダ群４は、バスライン１２を介して操作コマンドが供給されると、その操作位置が自動設定されるように構成されている。２はスイッチ群であり、各種のスイッチおよびＬＥＤキーから構成され、ＬＥＤキーに内蔵されたＬＥＤの点滅状態はバスライン１２を介して設定される。６は回転つまみ群であり、各入出力チャンネルの左右の音量バランス等を設定する。

８は波形Ｉ／Ｏ部であり、アナログ音声信号またはデジタル音声信号を入出力する。本実施例においては、例えば発音点１０４から放射される音声信号がマルチトラックレコーダ５１の何れかのトラックに記録されていたとすると、この音声信号が波形Ｉ／Ｏ部８を介して入力されることになる。また、デジタルミキサ１において合成された５．１サラウンドシステムを構成する各音声信号は波形Ｉ／Ｏ部８を介してマルチトラックレコーダ５１に供給され、ここで記録されることになる。さらに、５．１サラウンドシステムを構成する各音声信号は波形Ｉ／Ｏ部８においてアナログ信号に変換され、アンプ５０およびスピーカシステム５２を介して放音される。

次に、１０は信号処理部であり、一群のＤＳＰ（デジタル・シグナル・プロセッサ）によって構成されている。信号処理部１０は、波形Ｉ／Ｏ部８を介して供給されたデジタル音声信号に対してミキシング処理や効果処理を施し、その結果を波形Ｉ／Ｏ部８に出力する。１４は大型表示器であり、ユーザに対して各種情報を表示する。１５は入力装置であり、操作パネル上の各種操作子や、キーボードおよびマウス等から構成され、大型表示器１４上のカーソル移動や該大型表示器１４に表示されたボタンのオンオフ操作等を行う。１６は制御Ｉ／Ｏ部であり、パーソナルコンピュータ３０等との間で各種制御信号を入出力する。１８はＣＰＵであり、フラッシュメモリ２０に記憶された制御プログラムに基づいて、バスライン１２を介して各部を制御する。２２はＲＡＭであり、ＣＰＵ１８のワークメモリとして使用される。

次に、パーソナルコンピュータ３０の内部において３２はハードディスクであり、オペレーティングシステム、各種アプリケーションプログラム等が格納される。３４はディスプレイであり、ユーザに対して各種情報を表示する。３６は入力装置であり、文字入力用のキーボードおよびマウス等から構成されている。４０は入出力インタフェースであり、デジタルミキサ１の制御Ｉ／Ｏ部１６との間で各種制御信号を入出力する。４２はＣＰＵであり、バス３８を介してパーソナルコンピュータ３０内の他の構成要素を制御する。４４はＲＯＭであり、イニシャルプログラムローダ等が記憶されている。４６はＲＡＭであり、ＣＰＵ４２のワークメモリとして用いられる。

3．実施例の動作
3．1．デジタルミキサ１のアルゴリズム
上述したように、デジタルミキサ１においては、発音点１０４から放射される音声信号がマルチトラックレコーダ５１から入力されると、この信号を入力音声信号Ｓiとして、これに基づいて「５」チャンネルの音声信号Ｓ_C，Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLが信号処理部１０において生成される。この信号処理部１０において実行されるミキシングアルゴリズムの内容を図１４を参照し説明する。

図１４において６０は遅延部であり、入力音声信号Ｓiをサンプリング周期を単位として遅延させる。遅延された入力音声信号Ｓiは、所定の最大遅延時間を限度として、サンプリング周期を単位とする任意の位置（タップ位置）から出力される。６２はＰＡＮ制御部であり、図１４(b)に示すように「５」個の乗算器７４−１〜７４−５から構成されている。これら乗算器は、遅延部６０の指定されたタップ位置の信号に対して、指定された「５」種類の減衰率を各々乗算し、その結果である「５」チャンネルの信号を出力する。

より具体的には、ＰＡＮ制御部６２に対するタップ位置は、直接音の遅延時間ＴD0（図２における直接音の音線経路１１０の長さに対する音声の伝搬時間）に相当する位置である。また、先に図２について説明したように、直接音は、音線経路長の二乗に反比例する減衰係数Ｚlenと、放射角θGに基づく減衰係数ＺGと、入射角θRに基づく減衰係数ＺRとによる減衰を受けることになる。従って、乗算器７４−１〜７４−５に設定される減衰率は、「Ｚlen・ＺG・ＺR」に対して、入射角θRに基づく分配率（図４参照）を乗算した結果に等しくなる。

ここで、信号処理部１０における信号処理は実際にはＤＳＰによって実行される。本実施例によれば、入射角θRに基づく分配率が「０％」を超えるチャンネル数は最大でも「２」チャンネルであるから、これら「２」チャンネルに対してのみ演算を行えばよい。結局、信号処理部１０においては、ＰＡＮ制御部６２に関しては、乗算を「２」回だけ行えばよいことになる。

次に、６４はマトリクスミキサであり、ＰＡＮ制御部６２と同様の回路を一次反射音の音線経路数ｎすなわち「６」系統設け、各系統毎の音声信号をミキシングするように構成されている。より具体的には、図１４(c)に示すように、各系統毎に「５」個の乗算器７０−１−ｋ〜７０−５−ｋ（ｋは０〜５）と、これら乗算器の乗算結果を各チャンネル毎にミキシングする加算器７２−１−ｋ〜７２−５−ｋ（ｋは１〜５）とによってマトリクスミキサ６４が構成されている。

マトリクスミキサ６４に供給される各系統の音声信号は、各々一次反射音の遅延時間に各々対応する遅延部６０のタップ位置から出力された音声信号である。ここで、一次反射音は直接音と同様に、減衰係数Ｚlen，ＺG，ＺRによる減衰を受けることになる。さらに、一次反射音については、音響空間１０２の反射面におけるフィルタリングを受けるが、かかる処理は後段のフィルタ部６９において実行される。従って、従って、乗算器７０−１−ｋ〜７０−５−ｋに設定される減衰率は、直接音の場合と同様に、「Ｚlen・ＺG・ＺR」に対して、入射角θRに基づく分配率を乗算した値である。そして、直接音の場合と同様に、信号処理部１０においては、各音線経路毎に乗算を「２」回づつ実行すればよいことになる。

次に、６６は二次反射音用のマトリクスミキサであり、上記一次反射音用のマトリクスミキサ６４と同様に構成されている。但し、二次反射音の音線経路数ｎは「１８」であるから、マトリクスミキサ６６における乗算器および加算器の数も音線経路数ｎに応じた数だけ設けられることになる。マトリクスミキサ６６に供給される各系統の音声信号は、各々二次反射音の遅延時間に各々対応する遅延部６０のタップ位置から出力された音声信号である。そして、一次反射音の場合と同様に、マトリクスミキサ６６においては、各乗算器に設定される減衰率は「Ｚlen・ＺG・ＺR」に対して、入射角θRに基づく分配率を乗算した値である。

次に、６８はフィルタ部であり、マトリクスミキサ６６から出力された「５」チャンネルの音声信号に対して音響空間１０２の反射面におけるフィルタリング処理を施す。６５は加算器群であり、フィルタ部６８の各出力信号と、マトリクスミキサ６４の対応するチャンネルの出力信号とを加算する。６９はフィルタ部６８と同一の特性を有するフィルタ部であり、加算器群６５の各出力信号に対してフィルタリング処理を施す。６３は加算器群であり、フィルタ部６９の各出力信号と、ＰＡＮ制御部６２の対応するチャンネルの出力信号とを加算し、その結果を音声信号Ｓ_C，Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLとして出力する。これらの音声信号Ｓ_C，Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLは、上述したように、波形Ｉ／Ｏ部８を介してマルチトラックレコーダ５１に記録されることになる。

3．2．パーソナルコンピュータ３０の処理
3．2．1．操作要素のクリックイベント（図１５）
次に、パーソナルコンピュータ３０における動作について説明する。パーソナルコンピュータ３０の入力装置３６において所定の操作が行われると、図５〜図１２に示したような設定画面がディスプレイ３４に表示される。該設定画面において何れかの操作要素がマウスでクリックされると、図１５に示すマウス・クリックルーチンが起動される。

図１５において処理がステップＳＰ２２に進むと、クリックされた操作要素が何れかの方向画像２１０ａ，２１２ａであるか否かが判定される。ここで「ＹＥＳ」と判定されると、処理はステップＳＰ２８に進み、クリックされていない全ての操作要素の選択が解除される。次に、処理がステップＳＰ２９に進むと、クリックされた操作要素の選択／非選択状態が反転される。従って、方向画像２１０ａ，２１２ａは各々単独でのみ選択状態にすることができ、何れかの方向画像２１０ａ，２１２ａをクリックしてゆくと、クリックされる毎に選択／非選択状態が反転されることになる。

また、方向画像２１０ａ，２１２ａ以外の操作要素がクリックされた場合には、処理はステップＳＰ２４に進み、入力装置３６のキーボードにおいてshiftキーが押下されているか否かが判定される。ここで「ＮＯ」と判定されると、処理はステップＳＰ２８に進み、上述した方向画像２１０ａ，２１２ａの場合と同様の処理が実行される。すなわち、shiftキーが押下されていない場合には各操作要素は単独でのみ選択することができ、クリックされていない操作要素は全て非選択状態に設定され、クリックされた操作要素はクリックされる毎に選択／非選択状態が反転されることになる。

一方、shiftキーが押下されており、方向画像２１０ａ，２１２ａ以外の操作要素がクリックされた場合には、ステップＳＰ２４において「ＹＥＳ」と判定され処理はステップＳＰ２６に進む。ここでは、方向画像２１０ａ，２１２ａのうち何れかが選択状態であれば、その選択状態が解除される。次に、処理がステップＳＰ２９に進むと、クリックされた操作要素の選択／非選択状態が反転される。すなわち、当該操作要素がこれまで選択状態であった場合は非選択状態に設定され、非選択状態であった場合は選択状態に設定される。この場合は方向画像を除けば、クリックされていない操作要素の状態は変更されないため、shiftキーを押下したまま非選択状態の操作要素を「１」回づつクリックしてゆくと、これらの操作要素が全て選択状態に設定されることになる。

3．2．2．ズーム操作イベント
次に、ズームフェーダ２０２がマウスでドラッグアンドドロップされると、図１６に示すズーム操作イベントルーチンが起動される。図において処理がステップＳＰ２に進むと、変更後のズーム量（ズームフェーダ２０２がドロップされた位置）に応じて、設定画面上における受音点画像２１２からスピーカ画像２１４を構成する各スピーカまでの距離（ディスプレイ３４上のドット数）が算出される。すなわち、スピーカ画像は音響空間１０２内では受音点１０６を中心とする半径「２．５ｍ」の円周上にあると想定されているため、変更後のズーム量に応じた縮尺でスピーカ画像２１４を構成する各スピーカの位置が計算される。次に、処理がステップＳＰ４に進むと、変更後のズーム量に応じて、スピーカ画像２１４を構成する各スピーカの大きさが計算される。これにより、ユーザがズームフェーダ２０２を操作してズームインすると、スピーカ画像２１４の半径および表示される各スピーカの大きさが大きくなり、ズームアウトすると、スピーカ画像２１４の半径および表示される各スピーカの大きさが小さくなる。

次に、処理がステップＳＰ６に進むと、変更後のズーム量に応じてセクション線２０６が再表示されるとともに、算出された距離および大きさでスピーカ画像２１４が表示される。次に、処理がステップＳＰ８に進むと、ズーム量を変更結果を反映して、模擬する音響空間１０２（図２参照）内の大きさと、発音点１０４および受音点１０６の位置が変更される。すなわち、画面上に表示される各操作要素の画面上の位置に変化が生じないように、ズーム量に応じて、音響空間１０２の大きさや、発音点１０４および受音点１０６の位置が再計算される。

これにより、先に図６〜図８において説明したように、ズーム量を変更すると音響空間１０２内における各要素間の位置は変動するが、設定画面上の位置は変更されないのである。次に、処理がステップＳＰ１０に進むと、図２１(a)に示す音場計算サブルーチンが呼び出される。その内容については後述するが、音響空間１０２内の状態に基づいて、遅延部６０におけるタップ位置と、ＰＡＮ制御部６２およびマトリクスミキサ６４，６６内の各乗算器の減衰率とが設定される。

3．2．3．ctrlキーイベント処理
次に、入力装置３６のキーボードにおいてctrlキーのオンイベントが発生すると、図１７(a)に示すctrlキー・オンイベントルーチンが起動される。図において処理がステップＳＰ３２に進むと、設定画面において選択状態の操作要素が存在するか否かが判定される。ここで「ＮＯ」と判定されると、本ルーチンは直ちに終了する。一方、「ＹＥＳ」と判定されると処理はステップＳＰ３４に進み、選択状態の操作要素の中に受音点画像２１２が含まれているか否かが判定される。ここで「ＹＥＳ」と判定されると、処理はステップＳＰ３６に進み、図１０において説明したように、音響空間輪郭線２０４の中心点２４０が基点に設定される。一方、ステップＳＰ３６において「ＮＯ」と判定されると、図９において説明したように、受音点画像２１２が基点に設定される。次に、処理がステップＳＰ４０に進むと、選択状態である各操作要素と基点とを結ぶ直線型補助線が設定画面上に表示される。

また、ctrlキーのオフイベントが発生すると、図１７(b)に示すctrlキー・オフイベントルーチンが起動される。図において処理がステップＳＰ４５に進むと、設定画面上の全ての直線型補助線が消去され、本ルーチンの処理が終了する。

3．2．4．altキーイベント処理
また、キーボードにおいてaltキーのオンイベントが発生すると、図１８(a)に示すaltキー・オンイベントルーチンが起動される。図において処理がステップＳＰ５２に進むと、設定画面において選択状態の操作要素が存在するか否かが判定される。ここで「ＮＯ」と判定されると、本ルーチンは直ちに終了する。一方、「ＹＥＳ」と判定されると処理はステップＳＰ５４に進み、選択状態の操作要素の中に受音点画像２１２が含まれているか否かが判定される。ここで「ＹＥＳ」と判定されると、処理はステップＳＰ５６に進み、図１２において説明したように、音響空間輪郭線２０４の中心点２４０が基点に設定される。一方、ステップＳＰ５６において「ＮＯ」と判定されると、図１１において説明したように、受音点画像２１２が基点に設定される。次に、処理がステップＳＰ６０に進むと、この基点を中心とし、選択状態である各操作要素を通過する円または円弧である円型補助線が設定画面上に表示される。

また、altキーのオフイベントが発生すると、図１８(b)に示すaltキー・オフイベントルーチンが起動される。図において処理がステップＳＰ６５に進むと、設定画面上の全ての円型補助線が消去され、本ルーチンの処理が終了する。

3．2．5．要素移動処理
(1)直線型補助線が表示されている場合
また、選択状態である何れかの操作要素がマウスでドラッグアンドドロップされると、図１９に示す要素移動イベントルーチンが起動される。図１９において処理がステップＳＰ７２に進むと、ドラッグアンドドロップ操作された操作要素が処理対象として選択される。次に、処理がステップＳＰ７４に進むと、直線型補助線が表示されているか否かが判定される。ここで「ＹＥＳ」と判定されると処理はステップＳＰ７６に進み、ドラッグアンドドロップ操作された操作要素の操作前後の座標から、直線型補助線上の移動距離が計算される。次に、処理がステップＳＰ７８に進むと、処理対象の操作要素が当該移動距離だけ直線型補助線を移動するように、設定画面上の表示内容が変更される。

次に、処理がステップＳＰ８０に進むと、変更された設定画面の状態に基づいて、該操作要素の音響空間１０２内における位置および方向が算出される。次に、処理がステップＳＰ８２に進むと、選択状態である操作要素のうち未だ音響空間１０２における移動処理（ステップＳＰ８０）が完了していないものが残っているか否かが判定される。ここで「ＹＥＳ」と判定されると、処理はステップＳＰ８４に進み、残っている要素のうち一の操作要素が処理対象として選択され、ステップＳＰ７４〜ＳＰ８０の処理が繰り返される。そして、選択状態である全ての操作要素に対してかかる処理が完了すると、ステップＳＰ８２において「ＮＯ」と判定され、処理はステップＳＰ８６に進む。ここでは、後述する音場計算サブルーチン（図２１(a)）が呼び出され、遅延部６０におけるタップ位置と、ＰＡＮ制御部６２およびマトリクスミキサ６４，６６内の各乗算器の減衰率とが設定される。

(2)円型補助線が表示されている場合
また、設定画面に円型補助線が表示されていた場合には、上記ステップＳＰ７６，ＳＰ７８に代えてステップＳＰ８８，ＳＰ９０が実行される。まず、ステップＳＰ８８においては、ドラッグアンドドロップ操作された操作要素の操作前後の座標から、円型補助線上の回転角度が計算される。次に、処理がステップＳＰ９０に進むと、処理対象の操作要素が当該回転角度だけ対応する円型補助線上を移動するように、設定画面上の表示内容が変更される。上記以外の処理は直線型補助線が表示されていた場合と同様である。

(3)補助線が表示されていない場合
また、設定画面に何れの補助線も表示されていなかった場合には、上記ステップＳＰ７６，ＳＰ７８に代えてステップＳＰ９２，ＳＰ９４が実行される。まず、ステップＳＰ９２においては、ドラッグアンドドロップ操作された操作要素の操作前後の座標から、画面の縦および横方向に対する移動距離が計算される。次に、処理がステップＳＰ９４に進むと、処理対象の操作要素が画面の縦および横方向に沿って、計算された移動距離だけ移動するように、設定画面上の表示内容が変更される。上記以外の処理は直線型補助線が表示されていた場合と同様である。なお、上記ステップＳＰ７８，ＳＰ９０またはＳＰ９４において受音点画像２１２の位置が変更され、あるいは受音点方向画像２１２ａの方向が変更された場合には、スピーカ画像２１４の位置または方向がこれに応じて変更される。

3．2．6．自動駆動処理
また、入力装置３６のキーボードにおいてユーザが所定の操作を行うと、図２０に示す自動駆動ルーチンが起動される。図において処理がステップＳＰ１０２に進むと、移動軌道線２２０のスタート位置すなわち軌道点画像２２２の位置に、発音点画像２１０が自動的に移動される。次に、処理がステップＳＰ１０４に進むと、キーボードにおいて所定の停止操作が行われたか否かが判定される。ここで「ＹＥＳ」と判定されると、本ルーチンの処理は直ちに終了する。

一方、ステップＳＰ１０４において「ＮＯ」と判定されると、処理はステップＳＰ１０６に進み、発音点画像２１０の音響空間１０２内における位置および方向が算出される。次に、処理がステップＳＰ１０７に進むと、後述する音場計算サブルーチン（図２１(a)）が呼び出され、遅延部６０におけるタップ位置と、ＰＡＮ制御部６２およびマトリクスミキサ６４，６６内の各乗算器の減衰率とが設定される。次に、処理がステップＳＰ１０８に進むと、発音点画像２１０が移動軌道線２２０上を所定距離だけ移動するように、該発音点画像２１０の位置が変更される。なお、移動軌道線２２０上における発音点画像２１０の移動方向は、軌道点画像２２２，２２４，２２６，２２２，……の順で発音点画像２１０が繰り返し通過する方向に設定される。以後、上記停止操作が行われるまで、ステップＳＰ１０６〜ＳＰ１０８の処理が繰り返される。

3．2．7．音場計算処理
次に、上述したステップＳＰ１０、ＳＰ８６およびＳＰ１０７において呼び出される音場計算サブルーチンの処理について説明する。まず、発音点画像２１０または受音点画像２１２が移動された場合、あるいはズーム量が変更された場合には、図２１(a)のルーチンが呼び出される。図２１(a)において処理がステップＳＰ１１２に進むと、音響空間１０２内における発音点１０４の座標から、「６」個の一次鏡像および「１８」個の二次鏡像の位置が算出される。次に、処理がステップＳＰ１１４に進むと、「１」本の直接音、「６」本の一次反射音、「１８」本の二次反射音の各音線経路について、長さと、放射角θGと、入射角θRとが求められる。

次に、処理がステップＳＰ１１６に進むと、各音線経路の長さに基づいて各音線経路を介して受音点１０６に音が到達するまでの遅延時間が計算され、ＰＡＮ制御部６２、マトリクスミキサ６４，６６の各々の入力信号のタップ位置が、該遅延時間に応じた位置に設定される。次に、処理がステップＳＰ１１８に進むと、音線経路長の二乗に反比例する減衰係数Ｚlenと、放射角θGに基づく減衰係数ＺGと、入射角θRに基づく減衰係数ＺRとによって、各音線経路の減衰率（Ｚlen・ＺG・ＺR）が求められる。そして、この減衰率に対して入射角θRに基づく分配率（図４参照）を乗算した結果が、ＰＡＮ制御部６２およびマトリクスミキサ６４，６６内の各乗算器に減衰率として設定される。

また、発音点１０４の方向のみが変化した場合には、図２１(b)のルーチンが呼び出される。発音点１０４の方向に変化があると、各音線経路における放射角θGが変更されるため、これに基づく減衰係数ＺGも変更されることになる。これにより、変更された減衰係数ＺGに基づいて各音線経路の減衰率（Ｚlen・ＺG・ＺR）が再計算され、再計算された減衰率に対して入射角θRに基づく分配率（図４）を乗算した結果が、ＰＡＮ制御部６２およびマトリクスミキサ６４，６６内の各乗算器に減衰率として設定されることになる。

また、受音点１０６の方向のみが変化した場合には、図２１(c)のルーチンが呼び出される。受音点１０６の方向に変化があると、各音線経路における入射角θRが変更されるため、これに基づく減衰係数ＺRも変更されることになる。これにより、変更された減衰係数ＺRに基づいて各音線経路の減衰率（Ｚlen・ＺG・ＺR）が再計算される。さらに、入射角θRに変化があると分配率（図４）にも変化が生じるため、新たに計算された各音線経路の減衰率（Ｚlen・ＺG・ＺR）と、新たに計算された分配率とに基づいて、ＰＡＮ制御部６２およびマトリクスミキサ６４，６６内の各乗算器に設定される減衰率が決定される。但し、図２１(b)または(c)においては、各音線経路の長さ自体には変更が無いため、遅延部６０のタップ位置を再計算する必要はない。

4．変形例
本発明は上述した実施例に限定されるものではなく、例えば以下のように種々の変形が可能である。
(1)上記実施例においては、パーソナルコンピュータ３０および信号処理部１０上で動作するプログラムによって各種データ処理を実行したが、このプログラムのみをＣＤ−ＲＯＭ、フレキシブルディスク等の記録媒体に格納して頒布し、あるいは伝送路を通じて頒布することもできる。

(2)上記実施例においては、遅延部６０のタップ位置およびＰＡＮ制御部６２、マトリクスミキサ６４，６６における各乗算器の減衰率をパーソナルコンピュータ３０において決定し、実際の信号処理はデジタルミキサ１内の信号処理部１０において実行したが、パーソナルコンピュータ３０において実行した処理をデジタルミキサ１内のＣＰＵ１８によって実行してもよいことは言うまでもない。

(3)上記実施例においては、パーソナルコンピュータ３０において求められたパラメータ（遅延部６０のタップ位置およびＰＡＮ制御部６２、マトリクスミキサ６４，６６における各乗算器の減衰率等）を、信号処理部１０に対して直接的に適用したが、例えば求めたパラメータをマルチトラックレコーダ５１の何れかのトラックに記憶しておき、後に該トラックの内容を読み出すことによって音声信号Ｓ_C，Ｓ_L，Ｓ_R，Ｓ_SR，Ｓ_SLを合成するようにしてもよい。

従来の音声編集システムの動作説明図である。 本発明の一実施例の音声編集システムの原理を示す動作説明図である。 発音点１０４および受音点１０６の指向性特性の一例を示す図である。 一実施例における音声信号の分配特性図である。 ディスプレイ３４に表示される設定画面の一例を示す図である。 設定画面の他の例を示す図である。 設定画面の他の例を示す図である。 設定画面の他の例を示す図である。 設定画面の他の例を示す図である。 設定画面の他の例を示す図である。 設定画面の他の例を示す図である。 設定画面の他の例を示す図である。 一実施例の音声編集システムのハードウエアブロック図である。 信号処理部１０によって実行される処理のアルゴリズムのブロック図である。 マウス・クリックルーチンのフローチャートである。 ズーム操作イベントルーチンのフローチャートである。 ctrlキー・イベントルーチンのフローチャートである。 altキー・イベントルーチンのフローチャートである。 要素移動イベントルーチンのフローチャートである。 自動駆動ルーチンのフローチャートである。 各種音場計算サブルーチンのフローチャートである。

符号の説明

１：デジタルミキサ、２：スイッチ群、４：電動フェーダ群、６：回転つまみ群、８：波形Ｉ／Ｏ部、１０：信号処理部、１２：バスライン、１４：大型表示器、１５：入力装置、１６：制御Ｉ／Ｏ部、１８：ＣＰＵ、２０：フラッシュメモリ、２２：ＲＡＭ、３０：パーソナルコンピュータ、３２：ハードディスク、３４：ディスプレイ、３６：入力装置、３８：バス、４０：入出力インタフェース、４２：ＣＰＵ、４４：ＲＯＭ、４６：ＲＡＭ、５０：アンプ、５１：マルチトラックレコーダ、５２：スピーカシステム、５２Ｃ〜５２ＳＬ：スピーカ、５４Ｃ〜５４ＳＬ：分配特性、６０：遅延部、６２：ＰＡＮ制御部、６３，６５：加算器群、６４，６６：マトリクスミキサ、６８，６９：フィルタ部、７０−１−ｋ〜７０−５−ｋ：乗算器、７２−１−ｋ〜７２−５−ｋ：加算器、７４−１〜７４−５：乗算器、１０２：音響空間、１０４：発音点、１０６：受音点、１０４ｂ，１０６ｂ：指向性特性、１１０：音線経路、１１２−１：音線経路、１１４−１：音線経路、１１６−１，１１８−１：鏡像、２０２：ズームフェーダ、２０４：音響空間輪郭線、２０６：セクション線、２１０：発音点画像、２１０ａ：発音点方向画像、２１２：受音点画像、２１２ａ：受音点方向画像、２１４：スピーカ画像、２２０：移動軌道線、２４０：中心点、２２２，２２４，２２６：軌道点画像、２３２〜２４６：直線型補助線、２５２〜２６６：円型補助線。

Claims (6)

1. 音を発する方向を有する発音点と当該発音点から発せられた音を受ける方向を有する受音点とを含む要素が配置された直方体の形状の音響空間の音響特性をシミュレートするデータ処理方法において、
   ディスプレイ上に、前記音響空間を表す前記直方体の形状の音響空間画像を表示するとともに、その音響空間画像内に、前記発音点を表す発音点画像と、前記受音点を表し、該受音点を中心とする所定の円周上に該受音点の前記方向を正面方向とする所定の配置関係にてスピーカを表す複数のスピーカ画像が配置された受音点画像とを表示する表示過程と、
   ユーザ操作に応じて、前記音響空間画像上の前記発音点画像の位置または方向を変更するとともに、前記変更後の前記音響空間画像上の発音点画像の位置および方向に基づいて、前記音響空間内における前記発音点の位置および方向を算出する発音点移動過程と、
   ユーザ操作に応じて、前記音響空間画像上の前記受音点画像の位置または方向を変更するとともに、当該変更に応じて前記複数のスピーカ画像を再配置し、前記変更後の前記音響空間画像上の受音点画像の位置および方向に基づいて、前記音響空間内における前記受音点の位置および方向を算出する受音点移動過程と、
   前記発音点から前記受音点に向かう音の経路である複数の音線経路を算出する音線経路算出過程と、
   前記受音点の方向を基準として、前記各音線経路が前記受音点に入射する入射角を算出する入射角算出過程と、
   前記入射角に基づいて、前記受音点画像の周囲に配置される前記スピーカ画像にそれぞれ対応する少なくとも３チャンネル以上の多チャンネル音声信号に対応して、前記各音線経路に係る音声信号の分配率を決定する分配率決定過程と、
   該決定された分配率に応じて、前記各音線経路に係る音声信号を前記多チャンネル音声信号の各々のチャンネルに対して分配する分配過程と
   を有することを特徴とするデータ処理方法。
2. 前記多チャンネル音声信号は、少なくとも第１乃至第３の音声信号を含むものであり、前記分配率は、前記入射角が第１の範囲にあるときは、前記第１および第２の音声信号に対する分配率の合計が１００％になるように前記音線経路に係る音声信号を分配し、前記入射角が前記第１の範囲に隣接する第２の範囲にあるときは、前記第２および第３の音声信号に対する分配率の合計が１００％になるように前記音線経路に係る音声信号を分配するとともに、前記入射角が前記第１および第２の範囲の境界値に近づくほど前記第２の音声信号に対する分配率が高くなるように設定されていることを特徴とする請求項１記載のデータ処理方法。
3. 前記各音線経路の距離に基づいて、前記各音線経路に係る音声信号に対して遅延を施す遅延過程と、
   前記各音線経路の距離が長くなるほど前記各音線経路に係る音声信号が減衰するように、前記各音線経路に係る音声信号に対して減衰処理を施す減衰過程と
   をさらに有することを特徴とする請求項１記載のデータ処理方法。
4. ユーザ操作に応じてズーム量を設定し、該設定されたズーム量に基づいて、前記スピーカ画像の大きさと前記スピーカ画像が配置される前記円周の半径とを変更するとともに、前記音響空間の大きさと、当該音響空間における前記発音点の位置および前記受音点の位置とを再計算するズーム量設定過程をさらに有し、
   前記ズーム量設定過程は、前記ディスプレイに表示された前記スピーカ画像の大きさと前記円周の半径とを、前記ズーム量が小さくなるに従い大きく、前記ズーム量が大きくなるに従い小さくなるよう変更し、
   前記ズーム量設定過程により前記ズーム量が変更されたとき、前記ディスプレイ上に表示された前記音響空間画像内における前記発音点画像の位置と前記受音点画像の位置は変更されない
   ことを特徴とする請求項１記載のデータ処理方法。
5. 請求項１ないし４の何れかに記載のデータ処理方法を実行することを特徴とするデータ処理装置。
6. 請求項１ないし４の何れかに記載のデータ処理方法を処理装置に実行させることを特徴とするプログラム。

Images