JP4904461B2 - 音声周波数応答処理システム - Google Patents

Description

【０００１】
（技術分野）
本発明は、音声信号処理分野に関し、特に音声信号に空間的な広がりを与えるための、インパルス応答関数(impulse response functions)シミュレーションの分野に関する。
【０００２】
（背景技術）
人間の聴覚系は発達を遂げ、聴取者の周囲で発した音の位置を正確に特定するようになっている。その正確さは、主に脳で行われる２つの計算に由来すると考えられている。第１には、最初の到達音および近い反射による到達音（直接音または音の頭部）の解析であり、通常、これが音の位置決めに役立っている。第２には、反響音の後部の解析であり、これが音の「周囲環境の特色(environmental feel)」を音に与えている。当然、それぞれの耳が捉えた音の僅かな差異も大いに関係しており、直接音および初期反射音(early reflection)を聴く場合、特に関係がある。
【０００３】
例えば、図１においては室内環境(room environment)におけるスピーカ１および聴取者２が描かれている。単一の耳３の場合を考えれば、聴取者２はスピーカからの直接音４、ならびに、数多くの反射音５、６、および、７を耳にする。図１の構成は本質的には２次元断面を示しており、床面または天井での反射音は示されていない。さらに、１つの耳に対する音声信号のみを示している。
【０００４】
しばしば聴取者の周囲の音の自然な過程をシミュレートすることが望まれる。１組のヘッドフォンに聴き入る聴取者は、音が外部環境から発せられていると思われ、「頭から離れる(out of head)」経験をすることが可能である。これはそれぞれの音に対してそれぞれの耳に対するインパルス応答関数を決定し、インパルス応答関数をそれに対応している音声信号に畳み込む(convolving)周知の処理によって、音を外部環境に存在させる環境効果を作り出すことで実現されている。
【０００５】
（発明の開示）
本発明の第１の態様により、
（ａ）頭部および後部を有する初期インパルス応答を作るステップ、
（ｂ）ハイパスフィルタをかけられた後部を形成するために、少なくとも上記後部の部分にハイパスフィルタをかけるステップ、および、
（ｃ）出力インパルス応答を形成するために、上記頭部と上記ハイパスフィルタをかけられた後部とを結合する(combining)ステップ、
を有する出力インパルス応答関数(output impulse response function)を形成する方法が提供される。
【０００６】
上記方法がステップ（ｃ）の前に上記初期インパルス応答の上記頭部の低周波成分をブーストするステップを備えていることが好ましい。
【０００７】
好都合にも、上記方法は初期インパルス応答を頭部および後部に分割するステップを供えている。
【０００８】
都合の良いことには、上記方法はさらに、音声信号を聴取者の周囲に仮想的に空間的な広がりを与えるために、別のインパルス応答に加えて上記出力インパルス応答を利用するステップを備えている。
【０００９】
本発明は、
（ａ）初期インパルス応答を頭部および後部に分割するための分割手段と、
（ｂ）ハイパスフィルタをかけられた後部を形成するために少なくとも後部の部分にハイパスフィルタをかけるためのハイパスフィルタ手段と、
（ｃ）出力インパルス応答を形成するために上記ハイパスフィルタをかけられた後部と上記頭部とを結合するための結合手段とを含んだ出力インパルス応答関数形成のための装置にまで及んでいる。
【００１０】
本発明はさらに音声信号に空間的な広がりを与えるための音声処理システムにまで及び、
上記システムは、
上記音声信号を入力するための入力手段と、
上記入力手段と結ばれ、頭部構成要素およびハイパスフィルタをかけられた後部構成要素を有する、少なくとも１つのインパルス応答関数で上記音声信号を畳み込む(convolving)ための合成積手段(convolution means)と、
を有する。
【００１１】
本発明はさらに、
（ａ）音声入力信号を第１および第２ストリームに分割するステップ、
（ｂ）音声入力信号の第２ストリームにハイパスフィルタをかけるステップ、
（ｃ）音声入力信号の第２ストリームに残響後部(reverberant tail)を加えるステップ、および、
（ｄ）第１ストリームからの音声入力信号および第２ストリームからのハイパスフィルタをかけられた残響音声信号を結合するステップを含む、音声入力信号処理方法を想定している。
【００１２】
上記方法は第１ストリームの音声入力信号の低周波成分をブーストするステップを含んでいてもよい。
【００１３】
本発明はさらに、
（ａ）音声入力信号を少なくとも第１および第２ストリームにストリーミングするステップ、
（ｂ）少なくとも１つのハイパスフィルタをかけられた後部インパルス応答信号を提供するステップ、
（ｃ）音声入力の第１ストリームを、ハイパスフィルタをかけられた後部インパルス応答信号で畳み込む(convolving)ステップ、
（ｄ）少なくとも１つの頭部インパルス応答信号を提供するステップ、
（ｅ）音声入力の第２ストリームを、頭部インパルス応答信号で畳み込むステップ、および、
（ｆ）空間的に広がりをもつ音声信号を提供するために、畳み込まれた出力を結合するステップを含む、音声入力信号処理方法を提供する。
【００１４】
通常、本方法は第１ストリームの低周波成分の減衰を補償するために、第２ストリームの低周波成分をブーストするステップを含んでいる。
【００１５】
通常、本方法はさらに、ハイパスフィルタをかけられた後部インパルス応答の低周波成分の減衰を測定するステップ、および、最終的に第２ストリームに適用される補正係数(compensation factor)を導くためにその測定を使用するステップを含んでいる。
【００１６】
好都合なことに、本方法は、その後に続く頭部インパルス応答信号の畳み込みのために、音声入力信号を第３ストリームにストリーミングするステップ、補正係数を用いて信号のゲインを調整するステップ、調整された信号にローパスフィルタをかけるステップ、および、ローパスフィルタをかけた調整された信号と第２ストリームを結合するステップを有する。
【００１７】
本発明はさらに、
（ａ）インパルス応答信号の頭部を提供するステップ、
（ｂ）インパルス応答信号の後部を提供するステップ、
（ｃ）後部にハイパスフィルタをかけるステップ、
（ｄ）ハイパスフィルタをかけた後部を音声信号で畳み込む(convolving)ステップ、
（ｅ）頭部を音声信号で畳み込む(convolving)ステップ、および、
（ｆ）空間的な広がりを持つ出力信号を提供するために畳み込まれた信号を結合するステップを含む、音声信号に空間的広がりを与える方法を提供する。
【００１８】
本発明の範囲に属する他のいかなる形態にかかわらず、これから本発明の好適な形態を、添付の図面を参照し、例示的に説明する。
【００１９】
（発明を実施するための最良の形態）
本発明者による測定されたインパルス応答関数の性質に関する研究により、様々な予期せぬ発見がもたらされており、好都合にも、それを用いて音声に空間的広がりを持たせるための畳み込み処理に関する計算の複雑性を低減する効果を得ることが可能である。本発明者による、音声の空間的な広がりに関する人間の聴取者に対して行った様々な計測により、以下の重要な要因が明らかになった。
【００２０】
第１に、インパルス応答の後部における低周波成分は音響空間を包み込んでいる感覚への寄与はない。一般に、この「空間」に関する感覚は、室(room)インパルス応答の残響後部の高周波（およそ３００Ｈｚよりも高い）部分によって作られる。
【００２１】
第２に、特に、残響室応答が、およそ全ての室で存在するモード共鳴を含んでいれば、残響応答の後部の低周波部は、しばしば望ましくない「共鳴」効果の原因となる。これを聴取者はよく、「悪い均等化(bad equalisation)」と感じる。
【００２２】
図２に、図１と類似の室環境における音源からのインパルス応答関数１４の例を示す。その応答関数には、直接音、もしくは、頭部１５、ならびに、後部１６が含まれている。後部１６は、方向性に関する情報を顕著には与えない、多量の低周波成分を含んでいる。通常、頭部は全インパルス応答のうち、最初の２ないし３ミリ秒を占め、（図３の例のように）頭部は、ゼロ信号１７の短い区分によって後部と分離している。当然のことながら、頭部は直接音（つまりは、最初の音響到達１５Ａ）を含んでいるのだが、初期近接追随間接音（つまりは、床および近接壁の直接反響１５Ａないし１５Ｅ）をも含んでいる。頭部および後部は、いつでも、もっぱら時間を基準として厳密に区別し得るわけではないが、実際のところ、頭部が最初の５ミリ秒より長くなることは殆どない。振幅の違いも２つの部分を区別する役割を果たしており、後部は原則的には低振幅残響を表している。
【００２３】
好ましい実施の形態では、後部から低周波成分（およそ３００Ｈｚ以下）を除去し、インパルス応答関数の複雑性を相当量低減することを頼みにしている。そのような訳で、好ましい実施の形態においては、用いられるインパルス応答関数は所定の方法で処理される。処理過程のフローチャートの例を図４の２０として示す。初期インパルス応答２１は直接音部２２および後部２３に分割される。後部は周波数３００Ｈｚ以上でハイパスフィルタを通され、一方、直接音は、実質的に周波数３００Ｈｚ以下で随意的にブーストされる。出力２７の前に、２つのインパルス応答の部分は結合２６される。そして、出力応答は、あらゆる後続の音声処理システムで利用可能である。例えば、インパルス応答は他のインパルス応答と結合可能であり、それは本出願人に譲渡されているＰＣＴ特許出願ＰＣＴ／ＡＵ９９／００００２号、タイトル「音声信号処理方法および装置(Audio Signal Processing Method and Apparatus)」に開示の通りである。その内容はここで特に相互参照として引用される。当然のことだが、時間領域において、頭部および後部のそれぞれについて、３００Ｈｚ以下の成分をブーストおよび除去していることの視覚的効果は大きなものではないという意味で、結合された信号２８は目に見えるほどの原信号と相違はない。しかし、聞き取れる効果はもっと顕著なものである。当然のことだが、３００Ｈｚとは例示的数値である。例えば、より大きな室空間を模倣する場合、周波数２００Ｈｚまたはさらに低い周波数が、ローパスフィルタおよびハイパスフィルタに用いられる。
【００２４】
本発明を利用して他形式の音声処理環境も可能である。例えば、図５において、音声入力信号３０が直接経路３０．１および間接経路３０．２に分割されるところが示されている。直接経路３０．１はさらに左経路および右経路に分割され、３４．Ｌおよび３４．Ｒにおいてゲイン調整を受け、それからそれぞれ３５．Ｌおよび３５．Ｒにおいて加算される。第２チャンネル３０．２は、ステレオ残響フィルタ３２によって処理され、その出力は同様に３５．Ｌおよび３５．Ｒにおいて加算されて左および右ステレオチャンネルを得る。
【００２５】
図６において、音声入力信号３０が第１チャンネル３０．１および第２チャンネル３０．２に分割されるところが示されており、第２チャンネル３０．２はハイパスフィルタ３４によって３１においてハイパスフィルタをかけられて、それからステレオ残響フィルタ３２で処理される。第１チャンネル３０．１の音声入力信号は、３３において低周波ブーストされ、これによって信号の低周波成分にブースト効果がもたらされ、それから左入力および右入力に分割され、それぞれ３４．Ｌおよび３４．Ｒにおいてゲイン調整され、そして３５．Ｌおよび３５．Ｒにおいて、３１においてハイパスフィルタがかけられた音声信号出力に効率的に「後部」を加える、ステレオ残響フィルタ３２からの出力と加算される。当然のことながら、ハイパスフィルタ３１および残響フィルタ３２はその順序を逆転させてもよい。代わりに、ハイパスフィルタまたは一連のフィルタを、「長い畳み込み(long convolution)」の残響処置を用いるのに適化された残響フィルタ内に組み入れてもよい。
【００２６】
図７を参照し、第１および第２の実施形態の両方の特徴を組み合わせた、本発明による音声処理システム５０の別形態を示す。異なる音響特性を有する室に関するバイノーラル後部インパルス応答のデータベース５１が、後部インパルス応答の低周波部を効率的に除去するハイパスフィルタ５２に通される。各後部インパルスに関し、周波数除去の程度が計測され、正規化され、低周波補正データベース５３に記録される。同時に、対応する修正インパルス応答がデータベース５４に記録される。このようにして、低周波補正データベースを備え、各修正インパルス応答に関しては、補正係数は一般に残存低周波のパーセンテージに逆比例する。後文に記載の要領でこの係数を用いることで、全体として信号の低周波成分の低下を補正することが可能である。修正インパルス応答データベースからの修正後部インパルスは、選択的にステレオ残響ＦＩＲ（有限インパルス応答）フィルタ５５に送られる。
【００２７】
音声入力５６は３つのチャンネルに流され、第１チャンネル５６．１はステレオ残響フィルタ５５に入力され、第２チャンネル５６．２は乗算器(multiplier)５８を経てローパスフィルタ５７に入力される。乗算器５８のゲインおよびローパスフィルタの合成ゲイン(resultant gain)は、データベース５４に記録された対応する修正インパルス応答に関して、低周波補正データベース５３から検索された補正係数によって決定される。
【００２８】
第３チャンネル５６．３は調整可能ゲイン増幅器６０を経て、加算器５９に入力される。加算器５９は、独立的に調整可能なゲイン増幅器６０およびローパスフィルタ５７の出力からの入力を加算する。加算されている出力は、１対の、左ＨＲＴＦフィルタ６１．Ｌおよび右ＨＲＴＦフィルタ６１．Ｒに送られる。ＨＲＴＦまたは頭部インパルス応答部のデータベース６２は、フィルタ６１．Ｌおよび６１．Ｒに通じる入力部を備えている。データベース６２から選択されたＨＲＴＦはＨＲＴＦフィルタにおいて、加算された入力信号に畳み込まれて、空間的に広がりを持たせられた出力を、ステレオ残響フィルタ５５からの空間的に広がりを持たせた出力を受け取る左加算器６３．Ｌおよび右加算器６３．Ｒに与える。バイノーラルで空間的に広げられた出力信号６５．Ｌおよび６５．Ｒはそれぞれ、加算器６３．Ｌおよび６３．Ｒから出力される。このように、音声入力信号５６は、上記方法で修正された後部および頭部インパルス応答を用いて効率的に空間的広がりを与えられる。後部インパルス応答の低周波成分を除去したことは、乗算器５８において、インパルス応答信号の頭部またはＨＲＴＦ部の低周波成分を比例的に増加させることで補正されている。このように、空間的広がりを与えられた音の、全部分にわたる低周波成分は、およそ同一に効率よく保持され、上記処理において、空間的広がりを与えられたインパルス応答の後部から頭部へと効果的にシフトする。
【００２９】
図４、図６、および、図７の構成において、低周波成分をフィルタリングすることは、インパルス応答の後部に関する処理を簡単化することに加えて、多くの優位性を有する。これらの優位性には、図２および図３のインパルス応答が入力信号に畳み込まれた際、起こり得る共鳴モードを除去することが含まれる。また、残響フィルタ型の構成における共鳴モードも、低周波成分を相対的に一定に保つことで一般に音の全体的な「感じ」を変化させることなく、低減される。
【００３０】
本技術分野の技能を有する者にとっては当然のことだが、多くの変形および／または修正を、明確な実施の形態を示した本発明に対し、広く開示された本発明の思想の範囲から逸脱することなく行うことが可能である。それ故、好ましい実施の形態は、あらゆる点で例示的なものと見なされるべきであって、制限的であると見なされるべきではない。
【図面の簡単な説明】
【図１】 室内環境における聴取者への音の投射の過程を概略的に示す図である。
【図２】 典型的な室内のインパルス応答を示す図である。
【図３】 この典型的応答の初期２０ミリ秒の詳細図である。
【図４】 本発明の第１の実施形態の方法およびシステムのフローチャートである。
【図５】 ステレオ音声信号処理構成部をフローチャート形式で示した図である。
【図６】 図５に示す構成に適用されている第２の実施形態の方法およびシステムのフローチャートである。
【図７】 本発明の音声処理システムの第３の実施形態の図である。
【符号の説明】
１ ・・・ スピーカ
２ ・・・ 聴取者
３ ・・・ 耳
４ ・・・ 直接音
５ ・・・ 反射音
６ ・・・ 反射音
７ ・・・ 反射音

Claims (17)

1. １つ以上のインパルス応答を組みあわせ、音声信号を処理するための出力インパルス応答関数を形成する方法であって、
   （ａ）初期インパルス応答を頭部および後部に分割するステップと、
   （ｂ）上記後部の少なくとも一部にハイパスフィルタをかけ、ハイパスフィルタをかけられた後部を形成するステップと、
   （ｃ）上記ハイパスフィルタをかけられた後部と上記頭部とを結合し、出力インパルス応答を形成するステップとを有する方法。
2. ステップ（ｃ）に先立って、上記初期インパルス応答の上記頭部の低周波成分をブーストするステップを有する、請求項１に記載の方法。
3. 上記ハイパスフィルタをかけるステップが、実質的に２００ないし３００Ｈｚ以下の周波数を抑制するように構成されている、請求項１または２に記載の方法。
4. さらに、
   （ｄ）１つ以上のインパルス応答に加えて上記出力インパルス応答を利用し、事実上、聴取者の周りで音声信号に空間的広がりを与えるステップをさらに有する、請求項１ないし３のいずれか１つに記載の方法。
5. 出力インパルス応答関数を形成するための装置であって、
   （ａ）初期インパルス応答を頭部および後部に分割するための分割手段と、
   （ｂ）ハイパスフィルタをかけられた後部を形成するために、後部の少なくとも一部にハイパスフィルタをかけるためのハイパスフィルタ手段と、
   （ｃ）出力インパルス応答を形成するため、上記ハイパスフィルタをかけられた後部と上記頭部を結合するための結合手段とを有する装置。
6. 上記応答の上記頭部の低周波成分をブーストするためのブースト手段を有する、請求項５に記載の装置。
7. 上記ハイパスフィルタ手段が、実質的に２００ないし３００Ｈｚ以下の周波数を抑制するように構成されている、請求項６に記載の装置。
8. 上記ブースト手段が、実質的に２００ないし３００Ｈｚ以下の上記初期応答の上記頭部の低周波成分をブーストするように構成されている、請求項６に記載の装置。
9. 音声信号に空間的広がりを与えるための音声処理システムであって、
   上記音声信号を入力するための入力手段と、
   上記入力手段と接続され、上記音声信号と少なくとも１つのインパルス応答関数とを畳み込むための畳み込み手段と、を有し、
   上記インパルス応答関数は、初期インパルス応答から導出され、
   上記インパルス応答関数は、上記初期インパルス応答の頭部を含んで構成される頭部と、ハイパスフィルタをかけられた該初期インパルス応答の後部を含んで構成される後部と、を含んでいる、ことを特徴とするシステム。
10. 上記後部構成要素が、実質的に２００ないし３００Ｈｚ以下の抑制された低周波成分を有する、請求項９に記載の音声処理システム。
11. 音声入力信号を処理する方法であって、
    （ａ）音声入力信号を第１および第２ストリームに分割するステップ、
    （ｂ）該音声入力信号の第２ストリームにハイパスフィルタをかけるステップ、
    （ｃ）残響を含んだ後部を該音声入力信号の該第２ストリームに適用し、上記ステップ（ｂ）とでハイパスフィルタをかけられた残響を含んでいる音声信号を生成するステップ、および、
    （ｄ）第１ストリームからの音声入力信号と、第２ストリームからのハイパスフィルタをかけられた残響を含んでいる音声信号と、を結合するステップを有する方法。
12. 上記第１ストリームの上記音声入力信号の低周波成分をブーストして、前記第２ストリームに前記ハイパスフィルタをかけることで生じる低周波成分の低下を補正するステップを有する、請求項１１に記載の方法。
13. 音声入力信号を処理する方法であって、
    （ａ）該音声入力信号を少なくとも第１および第２ストリームに流すステップ、
    （ｂ）少なくとも１つのハイパスフィルタをかけられた後部インパルス応答信号を供するステップ、
    （ｃ）上記音声入力の上記第１ストリームと上記ハイパスフィルタをかけられた後部インパルス応答信号とを畳み込むステップ、
    （ｄ）少なくとも１つの頭部インパルス応答信号を供するステップ、
    （ｅ）上記音声入力の上記第２ストリームと上記頭部インパルス応答信号とを畳み込むステップ、および、
    （ｆ）上記の畳み込まれた出力を結合して空間的な広がりを与えられた音声信号を供するためにするステップを有する方法。
14. 上記第２ストリームの低周波成分をブーストして、上記第１ストリームの低周波成分の低下を補正するステップを有する、請求項１３に記載の方法。
15. 上記ハイパスフィルタをかけられた後部インパルス応答から、低周波成分の低下を計測するステップ、および、該計測を利用することで最終的に上記第２ストリームに適用される補正係数を導出するステップを有する、請求項１４に記載の方法。
16. 上記音声入力信号を第３ストリームに流すステップ、
    上記補正係数を用いて上記第３ストリームを調整するステップ、
    前記の調整された第３ストリームにローパスフィルタをかけるステップ、および、
    その後のＨＲＴＦ頭部インパルス応答信号との畳み込みのために、調整され、上記ローパスフィルタをかけられた第３ストリームと第２ストリームとを結合するステップを有する、請求項１５に記載の方法。
17. 音声信号に空間的広がりを持たせる方法であって、
    （ａ）インパルス応答信号の頭部を供するステップ、
    （ｂ）インパルス応答信号の後部を供するステップ、
    （ｃ）該後部にハイパスフィルタをかけるステップ、
    （ｄ）該ハイパスフィルタをかけられた後部と該音声信号を畳み込むステップ、
    （ｅ）該頭部と該音声信号を畳み込むステップ、および、
    （ｆ）該畳み込まれた信号を結合して空間的な広がりを持たせた出力信号を供するステップを有する方法。

Images