WO2020196004A1

WO2020196004A1 - 信号処理装置および方法、並びにプログラム

Info

Publication number: WO2020196004A1
Application number: PCT/JP2020/011361
Authority: WO
Inventors: 哲曲谷地; 祐基光藤
Original assignee: ソニー株式会社
Priority date: 2019-03-28
Filing date: 2020-03-16
Publication date: 2020-10-01
Also published as: US20220159402A1

Abstract

本技術は、より効率よく音を再生することができるようにする信号処理装置および方法、並びにプログラムに関する。信号処理装置は、聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定する位数決定部と、回転行列を位数で制限した演算により球面調和領域の頭部伝達関数を回転させる回転演算部と、その演算により得られた回転後の頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成する合成部とを備える。本技術は音声処理装置に適用することができる。

Description

信号処理装置および方法、並びにプログラム

　本技術は、信号処理装置および方法、並びにプログラムに関し、特に、より効率よく音を再生することができるようにした信号処理装置および方法、並びにプログラムに関する。

　近年、音声の分野において全周囲からの空間情報を収録、伝送、および再生する系の開発や普及が進んできている。例えばスーパーハイビジョンにおいては22.2チャネルの３次元マルチチャネル音響での放送が計画されている。

　また、バーチャルリアリティの分野においても全周囲を取り囲む映像に加え、音声においても全周囲を取り囲む信号を再生するものが世の中に出回りつつある。

　その中でアンビソニックスと呼ばれる、任意の収録再生系に柔軟に対応可能な３次元音声情報の表現手法が存在し、注目されている。特に次数が２次以上となるアンビソニックスは高次アンビソニックス（HOA（Higher Order Ambisonics））と呼ばれている（例えば、非特許文献１参照）。

　３次元のマルチチャネル音響においては、音の情報は時間軸に加えて空間軸に広がっており、アンビソニックスでは３次元極座標の角度方向に関して周波数変換、すなわち球面調和関数変換を行って情報を保持している。球面調和関数変換は、音声信号の時間軸に対する時間周波数変換に相当するものと考えることができる。

　この方法の利点としては、マイクロホンの数やスピーカの数を限定せずに任意のマイクロホンアレイから任意のスピーカアレイに対して情報をエンコードおよびデコードすることができることにある。

　一方で、アンビソニックスの普及を妨げる要因としては、再生環境に大量のスピーカからなるスピーカアレイが必要とされることや、音空間が再現できる範囲（スイートスポット）が狭いことが挙げられる。

　例えば音の空間解像度を上げようとすると、より多くのスピーカからなるスピーカアレイが必要となるが、家庭などでそのようなシステムを作ることは非現実的である。また、映画館のような空間では音空間を再現できるエリアが狭く、全ての観客に対して所望の効果を与えることは困難である。

Jerome Daniel, Rozenn Nicol, Sebastien Moreau, "Further Investigations of High Order Ambisonics and Wavefield Synthesis for Holophonic Sound Imaging," AES 114th Convention, Amsterdam, Netherlands, 2003.

　そこで、アンビソニックスとバイノーラル再生技術とを組み合わせることが考えられる。バイノーラル再生技術は、一般に聴覚ディスプレイ（VAD（Virtual Auditory Display））と呼ばれており、頭部伝達関数（HRTF（Head-Related Transfer Function））が用いられて実現される。

　ここで、頭部伝達関数とは、人間の頭部を取り囲むあらゆる方向から両耳鼓膜までの音の伝わり方に関する情報を周波数と到来方向の関数として表現したものである。

　目的となる音声に対してある方向からの頭部伝達関数を合成したものをヘッドホンで提示した場合、聴取者にとってはヘッドホンからではなく、その用いた頭部伝達関数の方向から音が到来しているかのように知覚される。VADは、このような原理を利用したシステムである。

　VADを用いて仮想的なスピーカを複数再現すれば、現実には困難な多数のスピーカからなるスピーカアレイシステムでのアンビソニックスと同じ効果を、ヘッドホン提示で実現することが可能となる。

　しかしながら、このようなシステムでは、十分効率的に音を再生することができなかった。例えば、アンビソニックスとバイノーラル再生技術とを組み合わせた場合、頭部伝達関数の畳み込み演算等の演算量が多くなるだけでなく、演算等に用いるメモリの使用量も多くなってしまう。

　本技術は、このような状況に鑑みてなされたものであり、より効率よく音を再生することができるようにするものである。

　本技術の一側面の信号処理装置は、聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定する位数決定部と、前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数を回転させる回転演算部と、前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成する合成部とを備える。

　本技術の一側面の信号処理方法またはプログラムは、聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定し、前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数を回転させ、前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成するステップを含む。

　本技術の一側面においては、聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数が決定され、前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数が回転され、前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とが合成されてヘッドホン駆動信号が生成される。

頭部伝達関数を用いた立体音響のシミュレートについて説明する図である。第１の手法における駆動信号の算出について説明する図である。ヘッドトラッキングを行う場合の駆動信号の算出について説明する図である。第２の手法における駆動信号の算出について説明する図である。第３の手法における駆動信号の算出について説明する図である。演算量と必要メモリ量について説明する図である。第４の手法における駆動信号の算出について説明する図である。回転行列について説明する図である。回転行列について説明する図である。回転行列について説明する図である。音声処理装置の構成例を示す図である。仰角方向の差分について説明する図である。駆動信号生成処理について説明するフローチャートである。音声処理装置の構成例を示す図である。駆動信号生成処理について説明するフローチャートである。制御システムの構成例を示す図である。リセットと演算量について説明する図である。次数ごとのリセットについて説明する図である。時間周波数ごとのリセットについて説明する図である。制御システムの構成例を示す図である。音声処理装置の構成例を示す図である。駆動信号生成処理について説明するフローチャートである。リセットのタイミングについて説明する図である。リセットのタイミングについて説明する図である。音声処理装置の構成例を示す図である。駆動信号生成処理について説明するフローチャートである。音声処理装置の構成例を示す図である。駆動信号生成処理について説明するフローチャートである。時間周波数ごとの許容誤差の設定について説明する図である。次数に応じた許容誤差の設定について説明する図である。コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈第１の手法について〉
　本技術は、微小な回転の積み重ねを利用して、頭部の回転に応じた球面調和領域における頭部伝達関数を求め、球面調和領域で頭部伝達関数と再生する音の入力信号とを合成することで、演算量やメモリ使用量においてより効率のよい再生系を実現するものである。

　例えば、球座標上での関数f(θ,φ)に対しての球面調和関数変換は、次式（１）で表される。

　式（１）においてθおよびφは、それぞれ球座標における仰角および水平角を示しており、Y_n ^m(θ,φ)は球面調和関数を示している。また、球面調和関数Y_n ^m(θ,φ)上部に「－」が記されているものは、球面調和関数Y_n ^m(θ,φ)の複素共役を表している。

　ここで球面調和関数Y_n ^m(θ,φ)は、次式（２）により表される。

　式（２）においてnおよびmは球面調和関数Y_n ^m(θ,φ)の次数および位数を示しており、－n≦m≦nである。位数mはorderやperiodなどとも呼ばれており、以下では、nおよびmを特に区別する必要のないときには、次数nと位数mをあわせて次数とも称することとする。

　また、式（２）においてiは純虚数を示しており、P_n ^m(x)はルジャンドル陪関数である。

　このルジャンドル陪関数P_n ^m(x)は、n≧0および0≦m≦nであるときには、以下の式（３）または式（４）により表される。なお、式（３）はm＝0における場合である。

　また、－n≦m≦0である場合、ルジャンドル陪関数P_n ^m(x)は以下の式（５）により表される。

　さらに、球面調和関数変換された関数F_n ^mから球座標上の関数f(θ,φ)への逆変換は次式（６）に示すようになる。

　以上のことから球面調和領域で保持される、半径方向の補正を行った後の音の入力信号D’_n ^m(ω)から、半径Rの球面上に配置されたL個の各スピーカのスピーカ駆動信号S(x_i,ω)への変換は、次式（７）に示すようになる。

　なお、式（７）においてx_iはスピーカの位置を示しており、ωは音の信号の時間周波数を示している。入力信号D’_n ^m(ω)は、所定の時間周波数ωについての球面調和関数の各次数nおよび位数mに対応する音の信号である。

　また、x_i＝（Rsinθ_icosφ_i,Rsinθ_isinφ_i,Rcosθ_i）であり、iはスピーカを特定するスピーカインデックスを示している。ここで、i＝1,2,…,Lであり、θ_iおよびφ_iはそれぞれi番目のスピーカの位置を示す仰角および水平角を表している。

　このような式（７）により示される変換は、式（６）に対応する球面調和逆変換である。また、式（７）によりスピーカ駆動信号S(x_i,ω)を求める場合、再現スピーカの数であるスピーカ数Lと、球面調和関数の次数N、つまり次数nの最大値Nとは次式（８）に示す関係を満たす必要がある。

　ところで、ヘッドホン提示により耳元で立体音響をシミュレートする手法として一般的なものは、例えば図１に示すように頭部伝達関数を用いた方法である。

　図１に示す例では、入力されたアンビソニックス信号がデコードされて、複数の仮想的なスピーカである仮想スピーカSP11-1乃至仮想スピーカSP11-8のそれぞれのスピーカ駆動信号が生成される。このときデコードされる信号は、例えば上述した入力信号D’_n ^m(ω)に対応する。

　ここでは、各仮想スピーカSP11-1乃至仮想スピーカSP11-8が環状に並べられて仮想的に配置されており、各仮想スピーカのスピーカ駆動信号は、上述した式（７）の計算により求められる。なお、以下、仮想スピーカSP11-1乃至仮想スピーカSP11-8を特に区別する必要のない場合、単に仮想スピーカSP11とも称することとする。

　このようにして各仮想スピーカSP11のスピーカ駆動信号が得られると、それらの仮想スピーカSP11ごとに、実際に音を再生するヘッドホンHD11の左右の駆動信号（バイノーラル信号）が頭部伝達関数を用いた畳み込み演算により生成される。そして、仮想スピーカSP11ごとに得られたヘッドホンHD11の各駆動信号の和が最終的な駆動信号とされる。

　なお、このような手法は、例えば「ADVANCED SYSTEM OPTIONS FOR BINAURAL RENDERING OF AMBISONIC FORMAT(Gerald Enzner et. al. ICASSP 2013)」などに詳細に記載されている。

　ヘッドホンHD11の左右の駆動信号の生成に用いられる頭部伝達関数H(x,ω)は、自由空間内において聴取者であるユーザの頭部が存在する状態での音源位置xから、ユーザの鼓膜位置までの伝達特性H₁(x,ω)を、頭部が存在しない状態での音源位置xから頭部中心Oまでの伝達特性H₀(x,ω)で正規化したものである。すなわち、音源位置xについての頭部伝達関数H(x,ω)は、次式（９）により得られるものである。

　ここで、頭部伝達関数H(x,ω)を任意の音声信号に畳み込み、ヘッドホンなどにより提示することで、聴取者に対してあたかも畳み込んだ頭部伝達関数H(x,ω)の方向、つまり音源位置xの方向から音が聞こえてくるかのような錯覚を与えることができる。

　図１に示した例では、このような原理が用いられてヘッドホンHD11の左右の駆動信号が生成される。

　具体的には各仮想スピーカSP11の位置を位置x_iとし、それらの仮想スピーカSP11のスピーカ駆動信号をS(x_i,ω)とする。

　また、仮想スピーカSP11の数をL（ここではL=8）とし、ヘッドホンHD11の最終的な左右の駆動信号を、それぞれP_lおよびP_rとする。

　この場合、スピーカ駆動信号S(x_i,ω)をヘッドホンHD11提示でシミュレートすると、ヘッドホンHD11の左右の駆動信号P_lおよび駆動信号P_rは、次式（１０）を計算することにより求めることができる。

　なお、式（１０）において、H_l(x_i,ω)およびH_r(x_i,ω)は、それぞれ仮想スピーカSP11の位置x_iから聴取者の左右の鼓膜位置までの正規化された頭部伝達関数を示している。

　このような演算により、球面調和領域の入力信号D’_n ^m(ω)を、最終的にヘッドホン提示で再生することが可能となる。すなわち、アンビソニックスと同じ効果をヘッドホン提示で実現することが可能となる。

　なお、以下では、時間周波数ωについての駆動信号P_lおよび駆動信号P_rを特に区別する必要のない場合、単に駆動信号P(ω)とも称する。また、以下、頭部伝達関数H_l(x_i,ω)および頭部伝達関数H_r(x_i,ω)を特に区別する必要のない場合、単に頭部伝達関数H(x_i,ω)とも称することとする。

　さらに、以下では、以上において説明したアンビソニックスとバイノーラル再生技術とを組み合わせる手法を第１の手法とも称することとする。

　第１の手法では、1×1、つまり１行１列の駆動信号P(ω)を得るために、例えば図２に示す演算が行われる。

　図２では、H(ω)は、L個の頭部伝達関数H(x_i,ω)からなる1×Lのベクトル（行列）を表している。また、D’(ω)は入力信号D’_n ^m(ω)からなるベクトルを表しており、同じ時間周波数ωのビンの入力信号D’_n ^m(ω)の数をKとすると、ベクトルD’(ω)はK×1となる。さらにY(x)は、各次数の球面調和関数Y_n ^m(θ_i,φ_i)からなる行列を表しており、行列Y(x)はL×Kの行列となる。

　したがって、第１の手法では、L×Kの行列Y(x)とK×1のベクトルD’(ω)との行列演算から得られる行列（ベクトル）Sが求められ、さらに行列Sと1×Lのベクトル（行列）H(ω)との行列演算が行われて、１つの駆動信号P(ω)が得られることになる。

　また、ヘッドホンHD11を装着した聴取者の頭部が回転行列ｇ_jにより表される所定方向（以下、方向ｇ_jとも称する）へと回転した場合、例えばヘッドホンHD11の左ヘッドホンの駆動信号P_l(g_j,ω)は、次式（１１）に示すようになる。

　なお、回転行列ｇ_jは、オイラー角の回転角であるα、β、およびγにより表される３次元、すなわち３×３の回転行列である。また、式（１１）において、駆動信号P_l(g_j,ω)は上述した駆動信号P_lを示しており、ここでは位置、つまり方向g_jと時間周波数ωを明確にするために駆動信号P_l(g_j,ω)と記されている。

　この場合、何らかのセンサにより聴取者の頭部の回転方向、つまり聴取者の頭部の方向ｇ_jを取得し、複数の頭部伝達関数のうち、聴取者の頭部からみた各仮想スピーカSP11の相対的な方向g_j ^-1x_iの頭部伝達関数を用いてヘッドホンHD11の左右の駆動信号を算出すればよい。これにより、実スピーカを用いた場合と同様に、ヘッドホンHD11により音を再生する場合においても、聴取者から見た音像位置を空間内で固定することができる。

〈第２の手法について〉
　また、第１の手法においては時間周波数領域にて行われていた頭部伝達関数の畳み込みを、球面調和領域において行うようにしてもよい。このようにすることで、第１の手法よりも演算量や必要なメモリ量を低減させ、より効率よく音を再生することができるようになる。このような球面調和領域において頭部伝達関数の畳み込みを行う手法を第２の手法とも称し、以下、この第２の手法について説明する。

　例えば左ヘッドホンに注目すると、聴取者であるユーザ（リスナ）の頭部の全回転方向に対する左ヘッドホンの各駆動信号P_l(g_j,ω)からなるベクトルP_l(ω)は、次式（１２）に示すように表される。

　なお、式（１２）において、S(ω)はスピーカ駆動信号S(x_i,ω)からなるベクトルであり、S(ω)＝Y(x)D’(ω)である。また、式（１２）においてY(x)は以下の式（１３）により示される、各次数および各仮想スピーカの位置x_iの球面調和関数Y_n ^m(x_i)からなる行列を表している。ここで、i＝1,2,…,Lであり、次数nの最大値（最大次数）はNである。

　D’(ω)は以下の式（１４）により示される、各次数に対応する音の入力信号D’_n ^m(ω)からなるベクトル（行列）を表している。各入力信号D’_n ^m(ω)は球面調和領域の音の信号である。

　さらに、式（１２）において、H(ω)は、以下の式（１５）により示される、聴取者の頭部の方向が方向ｇ_jである場合における、聴取者の頭部からみた各仮想スピーカの相対的な方向g_j ^-1x_iの頭部伝達関数H(g_j ^-1x_i,ω)からなる行列を表している。この例では、方向ｇ₁乃至方向ｇ_Mの合計M個の各方向について、各仮想スピーカの頭部伝達関数H(g_j ^-1x_i,ω)が用意されている。

　聴取者の頭部が方向ｇ_jを向いているときの左ヘッドホンの駆動信号P_l(g_j,ω)の算出にあたっては、頭部伝達関数の行列H(ω)のうち、聴取者の頭部の向きである方向ｇ_jに対応する行、つまりその方向ｇ_jについての頭部伝達関数H(g_j ^-1x_i,ω)からなる行を選択して式（１２）の計算を行なえばよい。

　この場合、例えば図３に示すように必要な行のみ計算が行われる。

　この例では、M個の各方向について頭部伝達関数が用意されているので、式（１２）に示した行列計算は、矢印A11に示すようになる。

　すなわち、時間周波数ωの入力信号D’_n ^m(ω)の数をKとすると、ベクトルD’(ω)はK×1、つまりK行1列の行列となる。また、球面調和関数の行列Y(x)はL×Kとなり、行列H(ω)はM×Lとなる。したがって、式（１２）の計算では、ベクトルP_l(ω)はM×1となる。

　ここで、オンラインでの演算で、まず行列Y(x)とベクトルD’(ω)との行列演算（積和演算）を行ってベクトルS(ω)を求めれば、駆動信号P_l(g_j,ω)の算出時には、矢印A12に示すように行列H(ω)のうち、聴取者の頭部の方向ｇ_jに対応する行を選択し、演算量を削減することができる。図３では、行列H(ω)における斜線の施された部分が、方向ｇ_jに対応する行を表しており、この行とベクトルS(ω)との演算が行われ、左ヘッドホンの所望の駆動信号P_l(g_j,ω)が算出される。

　ここで、次式（１６）に示すように行列H’(ω)を定義すると、式（１２）に示したベクトルP_l(ω)は以下の式（１７）で表すことができる。

　式（１６）では、球面調和関数を用いた球面調和関数変換によって頭部伝達関数、より詳細には時間周波数領域の頭部伝達関数からなる行列H(ω)が球面調和領域の頭部伝達関数からなる行列H’(ω)へと変換されている。

　したがって、式（１７）の計算では、球面調和領域においてスピーカ駆動信号と頭部伝達関数の畳み込みが行われることになる。換言すれば、球面調和領域において頭部伝達関数と入力信号の積和演算が行われることになる。なお、行列H’(ω)は事前に計算して保持しておくことが可能である。

　この場合、聴取者の頭部が方向ｇ_jを向いているときの左ヘッドホンの駆動信号P_l(g_j,ω)の算出にあたっては、予め保持されている行列H’(ω)のうち、聴取者の頭部の方向ｇ_jに対応する行を選択して式（１７）の計算を行なえばよいことになる。

　このような場合、式（１７）の計算は、次式（１８）に示す計算となる。これにより、大幅に演算量および必要メモリ量を削減することができる。

　式（１８）において、H’_n ^m(g_j,ω)は行列H’(ω)の１つの要素、つまり行列H’(ω)における頭部の方向ｇ_jに対応する成分（要素）となる球面調和領域の頭部伝達関数を示している。頭部伝達関数H’_n ^m(g_j,ω)におけるnおよびmは、球面調和関数の次数nおよび位数mを示している。

　このような式（１８）に示す演算では、図４に示すように演算量が削減されている。すなわち、式（１２）に示した計算は、図４の矢印A21に示すようにM×Lの行列H(ω)、L×Kの行列Y(x)、およびK×1のベクトルD’(ω)の積を求める計算となっている。

　ここで、式（１６）で定義したようにH(ω)Y(x)が行列H’(ω)であるから、矢印A21に示した計算は、結局、矢印A22に示すようになる。特に、行列H’(ω)を求める計算は、オフラインで、つまり事前に行うことが可能であるので、行列H’(ω)を予め求めて保持しておけば、その分だけオンラインでヘッドホンの駆動信号を求めるときの演算量を削減することが可能である。

　このように予め行列H’(ω)が求められると、実際にヘッドホンの駆動信号を求めるときには、矢印A22に示す計算、つまり上述した式（１８）の計算が行われることになる。

　すなわち、矢印A22に示すように行列H’(ω)のうち、聴取者の頭部の方向ｇ_jに対応する行が選択されて、その選択された行と、入力された入力信号D’_n ^m(ω)からなるベクトルD’(ω)との行列演算により、左ヘッドホンの駆動信号P_l(g_j,ω)が算出される。図４では、行列H’(ω)における斜線の施された部分が、方向ｇ_jに対応する行を表しており、この行を構成する要素が式（１８）に示した頭部伝達関数H’_n ^m(g_j,ω)となる。

〈第３の手法について〉
　ところで、以上において説明した第２の手法では、演算量や必要となるメモリ量を大幅に削減可能である一方で、頭部伝達関数の行列H’(ω)として、聴取者の全ての頭部の回転方向、つまり各方向ｇ_jに対応する行をメモリ上に保持しておく必要がある。

　そこで、１つの方向ｇ_jについての球面調和領域の頭部伝達関数からなる行列（行ベクトル）をH_S(ω)＝H’(g_j)として、行列H’(ω)の１つの方向ｇ_jに対応する行である行ベクトルH_S(ω)のみを保持するようにし、球面調和領域において聴取者の頭部回転に対応する回転を行う回転行列R’(g_j)を複数の各方向ｇ_jの数だけ保持するようにしてもよい。以下では、そのような手法を第３の手法と称することとする。

　各方向ｇ_jの回転行列R’(g_j)は、行列H’(ω)とは異なり、時間周波数依存性がない。そのため、第３の手法では、頭部の回転の方向ｇ_jの成分を行列H’(ω)に持たせるよりも大幅にメモリ量を削減することができる。

　まず、次式（１９）に示すように、行列H(ω)の所定の方向ｇ_jに対応する行H(g_j ^-1x,ω)と、球面調和関数の行列Y(x)との積H’(g_j ^-1,ω)を考える。

　上述した第２の手法では、聴取者の頭部の回転の方向ｇ_jに対して使用する頭部伝達関数の座標をxからg_j ^-1xに回転させていたが、頭部伝達関数の位置xの座標は変更せずに、球面調和関数の座標をxからg_jxに回転しても同じ結果が得られる。すなわち、以下の式（２０）が成立する。

　さらに、球面調和関数の行列Y(g_jx)は行列Y(x)と回転行列R’(g_j ^-1)の積であり、次式（２１）に示すようになる。なお、回転行列R’(g_j ^-1)は、球面調和領域において座標をg_jだけ回転させる行列である。

　ここで、以下の式（２２）に示す集合Qについて、回転行列R’(g_j)のうちの(n²+n+1+k), (n²+n+1+m)∈Qとなる(n²+n+1+k)行(n²+n+1+m)列にある要素以外の要素はゼロとなる。

　したがって、行列Y(g_jx)の要素となる球面調和関数Y_n ^m(g_jx)は、回転行列R’(g_j)の(n²+n+1+k)行(n²+n+1+m)列の要素R’⁽ⁿ⁾ _k,m(g_j)を用いて次式（２３）のように表すことができる。

　ここで、要素R’⁽ⁿ⁾ _k,m(g_j)は、次式（２４）により表されるものである。

　なお、式（２４）においてiは純虚数を示しており、β、α、およびγは回転行列のオイラー角の回転角を示しており、r⁽ⁿ⁾ _k,m(β)は次式（２５）に示されるものである。

　以上のことから、回転行列R’(g_j ^-1)を用いて聴取者の頭部の回転を反映させたバイノーラル再生信号、例えば左ヘッドホンの駆動信号P_l(g_j,ω)は、次式（２６）を計算することにより得られることになる。また、左右の頭部伝達関数を対称とみなしてよい場合は、式（２６）の前処理として入力信号の行列D’(ω)または左の頭部伝達関数の行ベクトルH_S(ω)の何れかを左右反転させるような行列R_refを用いて反転させることで、左の頭部伝達関数の行ベクトルH_S(ω)のみを保持するだけで右のヘッドホン駆動信号を得ることができる。ただし、以下では基本的には左右別々の頭部伝達関数が必要な場合について述べることとする。

　式（２６）では、行ベクトルH_S(ω)、回転行列R’(g_j ^-1)、およびベクトルD’(ω)を合成することで、駆動信号P_l(g_j,ω)が求められている。

　以上のような計算は、例えば図５に示す計算となる。すなわち、左ヘッドホンの駆動信号P_l(g_j,ω)からなるベクトルP_l(ω)は、図５の矢印A41に示すように、M×Lの行列H(ω)と、L×Kの行列Y(x)と、K×1のベクトルD’(ω)との積により求まる。この行列演算は、上述した式（１２）に示した通りである。

　この演算をM個の各方向g_jについて用意した球面調和関数の行列Y(g_jx)を用いて表すと、矢印A42に示すようになる。つまり、M個の各方向g_jに対応する駆動信号P_l(g_j,ω)からなるベクトルP_l(ω)は、式（２０）に示した関係から、行列H(ω)の所定の行H(x,ω)と、行列Y(g_jx)と、ベクトルD’(ω)との積により求まる。

　ここで、ベクトルである行H(x,ω)は1×Lであり、行列Y(g_jx)はL×Kであり、ベクトルD’(ω)はK×1である。これを、さらに式（１７）および式（２１）に示した関係を利用して変形すると、矢印A43に示すようになる。すなわち、式（２６）に示したように、ベクトルP_l(ω)は、1×Kの行ベクトルH_S(ω)と、M個の各方向g_jのK×Kの回転行列R’(g_j ^-1)と、K×1のベクトルD’(ω)との積により求まる。

　なお、図５では、回転行列R’(g_j ^-1)の斜線が施された部分が回転行列R’(g_j ^-1)のゼロでない要素を表している。

　また、このような第３の手法における演算量と必要なメモリ量は図６に示すようになる。

　すなわち、図６に示すように各時間周波数ビンωごとに1×Kの行ベクトルH_S(ω)が用意され、M個の方向g_jについてK×Kの回転行列R’(g_j ^-1)が用意され、ベクトルD’(ω)がK×1であるとする。また、時間周波数ビンωの数がWであり、球面調和関数の次数nの最大値、つまり最大の次数がJであるとする。

　このとき、回転行列R’(g_j ^-1)のゼロでない要素の数は(J＋1)(2J＋1)(2J＋3)/3であるから、第３の手法における各時間周波数ビンω当たりの積和演算回数の合計calc/Wは、次式（２７）に示すようになる。

　また、第３の手法による演算には、各時間周波数ビンωについての1×Kの行ベクトルH_S(ω)を左右の耳について保持しておく必要があり、さらにM個の各方向の分だけ回転行列R’(g_j ^-1)のゼロでない要素を保持しておく必要がある。したがって、第３の手法による演算に必要となるメモリ量memoryは次式（２８）に示すようになる。

　第３の手法では、回転行列R’(g_j ^-1)のゼロでない要素の数を保持しておくことで、第２の手法よりも必要なメモリ量を大幅に削減することができる。

〈第４の手法について〉
　なお、第３の手法では、聴取者の頭部の３軸の回転の分だけ、つまり任意のM個の各方向ｇ_jの分だけ回転行列R’(g_j ^-1)を保持しておく必要がある。このような回転行列R’(g_j ^-1)を保持することは、時間周波数依存性のある行列H’(ω)を保持しておくよりは少ないにせよ、それなりにメモリ量が必要となる。

　そこで、演算時に逐次、聴取者の頭部を回転中心として球面調和領域での回転を行う回転行列R’(g_j ^-1)を求めるようにしてもよい。以下、このような手法を第４の手法とも称することとする。

　ここで、回転行列R’(g)は以下の式（２９）のように表すことができる。また、式（２９）におけるｇは回転行列であり、以下の式（３０）に示すように行列u(α)、行列a(β)、および行列u(γ)の積により表される。

　なお、式（２９）において、a(β)およびu(α)は、聴取者の頭部の位置が原点である座標系の座標軸を回転軸として座標を角度βおよび角度αだけ回転させる回転行列である。また、u(γ)はu(α)と回転角度が異なるだけで、同じ座標軸を回転軸として座標を角度γだけ回転させる回転行列である。なお、各行列u(α)、行列a(β)、および行列u(γ)の回転角度、つまり角度α、角度β、および角度γは、オイラー角である。

　例えば聴取者の頭部の位置を原点とし、互いに直交するx軸、y軸、およびz軸を各軸とする直交座標系があるとする。ここで、x軸の正の方向は聴取者が真正面を向いている状態における、その真正面の方向であり、z軸は真正面を向いている聴取者から見て上下方向、つまり鉛直方向の軸である。角度α、角度β、および角度γは、聴取者が真正面、つまりx軸の正の方向を向いている状態を基準とした各回転方向への回転角度である。

　具体的には、聴取者が真正面を見ている状態で、y軸を回転軸として上下方向に頭部を動かしたときの頭部の回転角度が仰角である角度βである。さらに、聴取者が真正面を向いている状態で、z軸を回転軸として、聴取者から見て頭部を水平方向に動かしたときの頭部の回転角度が水平角である角度αである。

　行列a(β)は、y軸を回転軸として角度βだけ座標（座標系）を回転させる回転行列であり、行列u(α)はz軸を回転軸として角度αだけ座標（座標系）を回転させる回転行列である。具体的には、これらの行列a(β)および行列u(α)は、それぞれ以下の式（３１）および式（３２）に示す通りである。

　したがって、例えば聴取者の頭部の位置を原点とする座標系における任意の位置v＝（v_x,v_y,v_z）^Tに対して行列a(β)を作用させると、位置vに対してy軸を回転軸とした回転を与えることができ、位置vの回転後の位置v₂は以下の式（３３）により表される。

　同様に、位置vに対して行列u(α)を作用させると、位置vに対してz軸を回転軸とした回転を与えることができ、位置vの回転後の位置v₃は、以下の式（３４）により表される。

　したがって、回転行列R’(g)＝R’(u(α)a(β)u(γ))は、球面調和領域において、座標系を水平角方向に角度αだけ回転させた後、角度αの回転後の座標系を、その座標系から見て仰角方向に角度βだけ回転させ、さらに角度βの回転後の座標系を、その座標系から見て水平角方向に角度γだけ回転させる回転行列である。

　また、R’(u(α))、R’(a(β))、およびR’(u(γ))は、行列u(α)、行列a(β)、および行列u(γ)のそれぞれにより回転される分だけ、座標を回転させるときの回転行列R’(g)を示している。

　換言すれば、回転行列R’(u(α))は、球面調和領域において座標を水平角方向に角度αだけ回転させる回転行列であり、回転行列R’(a(β))は、球面調和領域において座標を仰角方向に角度βだけ回転させる回転行列である。また、回転行列R’(u(γ))は、球面調和領域において座標を水平角方向に角度γだけ回転させる回転行列である。

　したがって、例えば図７の矢印A51に示すように角度α、角度β、および角度γを回転角度として座標を３度回転させる回転行列R’(g)＝R’(u(α)a(β)u(γ))は、３個の回転行列R’(u(α))、回転行列R’(a(β))、および回転行列R’(u(γ))の積で表すことができる。

　この場合、回転行列R’(g_j ^-1)を得るためのデータとして、各回転角度α、β、およびγの値ごとの回転行列R’(u(α))、回転行列R’(a(β))、および回転行列R’(u(γ))のそれぞれをテーブルでメモリに保持しておけばよいことになる。また、左右で同じ頭部伝達関数を用いてよい場合、行ベクトルH_S(ω)を片耳分のみ保持し、前述の左右を反転させる行列R_refに関しても事前に保持して、これと生成された回転行列との積を求めることで逆の耳に対する回転行列を得ることができる。

　また、実際にベクトルP_l(ω)を算出する際には、テーブルから読み出された各回転行列の積を計算することで１つの回転行列R’(g_j ^-1)が算出される。そして、矢印A52に示すように時間周波数ビンωごとに、1×Kの行ベクトルH_S(ω)と、全時間周波数ビンωで共通するK×Kの回転行列R’(g_j ^-1)と、K×1のベクトルD’(ω)との積が計算されて、ベクトルP_l(ω)が求められる。

　ここで、例えば各回転角度の回転行列R’(g_j ^-1)そのものをテーブルに保持しておく場合、各回転の角度α、角度β、および角度γの精度を１度（1°）とすると、360³＝46656000個の回転行列R’(g_j ^-1)を保持しておく必要がある。

　これに対して、各回転の角度α、角度β、および角度γの精度を１度（1°）として、各回転角度の回転行列R’(u(α))、回転行列R’(a(β))、および回転行列R’(u(γ))をテーブルに保持しておく場合、360×3＝1080個の回転行列を保持しておくだけでよい。

　したがって、回転行列R’(g_j ^-1)そのものを保持しておくときにはO(n³)のオーダーのデータを保持しておく必要があったのに対して、回転行列R’(u(α))、回転行列R’(a(β))、および回転行列R’(u(γ))を保持しておくときにはO(n)のオーダーのデータで済み、大幅にメモリ量を削減することができる。

　しかも矢印A51に示すように回転行列R’(u(α))および回転行列R’(u(γ))は対角行列であるから、対角成分のみ保持しておけばよい。

　また、回転行列R’(u(α))および回転行列R’(u(γ))はともに水平角方向への回転を行う回転行列であるから、回転行列R’(u(α))と回転行列R’(u(γ))は共通の同じテーブルから得ることができる。つまり、回転行列R’(u(α))のテーブルと回転行列R’(u(γ))のテーブルは同じものとすることができる。

　なお、図７では、各回転行列のハッチが施された部分がゼロでない要素を表している。

　さらに、上述した式（２２）に示す集合Qに(n²+n+1+k)と(n²+n+1+m)が属すときのｋとｍについて、回転行列R’(a(β))の要素のうちの(n²+n+1+k)行(n²+n+1+m)列以外の要素はゼロとなるため、回転行列R’(a(β))としてゼロ以外の要素のみを保持しておけばよく、メモリ量を削減することができる。

　以上のことから、回転行列R’(g_j ^-1)を得るためのデータを保持するのに必要となるメモリ量をさらに削減することができる。

　具体的には、例えば回転行列R’(u(α))、回転行列R’(a(β))、および回転行列R’(u(γ))を、それぞれΦ個、Θ個、およびΨ個だけ保持するとすると、頭部の回転の方向ｇ_jの数Mは、M＝Φ×Θ×Ψとなる。

　第４の手法では回転行列R’(a(β))については角度βの精度の分だけ、つまりΘ個だけ回転行列を保持しておくので、回転行列R’(a(β))の保持に必要なメモリ量はmemory(a)＝Θ×(J＋1)(2J＋1)(2J＋3)/3となる。

　また、回転行列R’(u(α))および回転行列R’(u(γ))については、共通のテーブルを用いることができ、角度αと角度γの精度が同じであるとすると、角度αの分だけ、つまりΦ個だけ回転行列を保持しておくけばよく、またそれらの回転行列の対角成分のみ保持しておけばよい。したがって、ベクトルD’(ω)の長さをKとすると、回転行列R’(u(α))および回転行列R’(u(γ))の保持に必要なメモリ量はmemory(b)＝Φ×Kとなる。

　さらに、各時間周波数ビンωの個数をWとすると、左右の耳について1×Kの行ベクトルH_S(ω)を各時間周波数ビンωの分だけ保持しておくのに必要なメモリ量は2×K×Wとなる。

　したがって、これらを合計すると、第４の手法で必要なメモリ量は、memory＝memory(a)＋memory(b)＋2KWとなる。

　このような第４の手法は、第３の手法と同程度の演算量で大幅に必要なメモリ量を削減可能である。特に第４の手法は、ヘッドトラッキング機能を実現する場合に、より実用に耐え得るように、例えば角度α、角度β、および角度γの精度を１度（1°）などとしたときに、より効果を発揮する。

〈第５の手法について〉
　ところで、第４の手法では３軸に対する回転を例えば１度刻みごとに持つことで、つまり角度α、角度β、および角度γの精度を１度（1°）とすることで、保持しておく回転行列の数を1080個にまで減らすことができた。

　しかし、第４の手法では、演算量の面では球面調和関数の次数nの最大の次数Jに関して３乗のオーダーまでしか減らすことができない。

　その理由は、聴取者（ユーザ）の頭部の回転に対する追従を行うための回転行列R’(a(β))が、例えば図８に示すようにブロック対角行列になっているからである。

　なお、図８において横軸は回転行列R’(a(β))の列の成分を示しており、縦軸は回転行列R’(a(β))の行の成分を示している。また、図８において、回転行列R’(a(β))の各位置における濃淡は、それらの位置に対応する回転行列R’(a(β))の要素のレベル（dB）を示している。

　図８は、回転角度βが１度であるときの回転行列R’(a(β))を示している。この例では、回転行列R’(a(β))のうち、例えば-400dB以上の値を持つ要素に注目すると、そのような値を持つ要素からなる部分が次数nに対して(2n+1)×(2n+1)の大きさのブロックとなっている。例えば矢印A71に示す正方形の部分が、ブロック対角行列の１つのブロックの部分となっており、そのブロックの幅（太さ）W11は2n+1となっている。つまり、矢印A71に示す正方形の部分では、行方向に（2n+1）個の要素が並んでおり、列方向にも（2n+1）個の要素が並んでいる。

　このようなブロック対角行列である回転行列R’(a(β))を用いると、ある程度は演算量を低減させることができるが、さらに演算量を低減することができれば、より迅速に効率よく駆動信号を得ることができる。

　そこで、第５の手法では、微小な回転に対する回転行列の特徴に注目し、その微小な回転の累積によって聴取者（ユーザ）の頭部の回転に対する追従を行うことで演算量を次数Jに関して２乗のオーダーまで低減させることができるようにした。

　以下、第５の手法について具体的に説明する。

　聴取者の頭部の３軸の回転、すなわち、回転行列R’(u(α))、回転行列R’(a(β))、および回転行列R’(u(γ))のうち、ブロック対角行列となっているものは回転行列R’(a(β))のみであり、他の回転行列R’(u(α))と回転行列R’(u(γ))は完全な対角行列である。

　但し、回転軸の選び方によっては、２つ以上の回転行列がブロック対角行列となる場合もある。本明細書の例においては、２つ以上の回転行列がブロック対角行列となるような回転軸は用いないが、２つ以上の回転行列がブロック対角行列となる場合においても本技術を適用することが可能である。

　聴取者が上下方向（鉛直方向）、つまり仰角方向において正面の方向を向いているときの角度βを０度であるとする。

　角度βが０度である状態から、聴取者が上方向（z軸の正の方向）に＋1度だけ頭部を動かしたとき、つまりy軸を回転軸としてz軸の正の方向に＋1度だけ頭部を回転させたとき、角度βは1度となる。

　このように角度βが1度であるときの回転行列R’(a(β))は、上述したように図８に示したようになる。

　図８に示した例では、回転行列R’(a(β))はブロック対角行列となっており、そのブロック対角行列の各ブロックの部分は、各次数nに対して１辺が（2n+1）個の要素からなる正方形となっていることが分かる。同時に回転行列R’(a(β))と、対角行列である回転行列R’(u(α))と、対角行列である回転行列R’(u(γ))との合成である回転行列R’(g)も同様のブロック対角行列となる。ここで、方向ｇ_jは離散値であっても連続値であっても構わないため、以下ではｇ_jを単にｇとも記すこととする。

　いま、ブロック対角行列である回転行列R’(g)の１つのブロック、つまりある次数nに対して、球面調和領域の頭部伝達関数を回転させると、その回転後の頭部伝達関数H’_n ^m(g^-1)は、次式（３５）に示すようになる。すなわち、回転行列R’(g)の次数nのブロックの部分を用いて、球面調和領域の頭部伝達関数を、方向gの角度分だけ回転させると、回転後の頭部伝達関数H’_n ^m(g^-1)は次式（３５）に示すようになる。

　なお、式（３５）において、kは回転前の位数を示しており、mは回転後の位数を示している。また、H’_n ^kは行ベクトルH_S(ω)における次数nおよび位数kの要素を示している。

　このような式（３５）の計算から、１つの回転後の位数mの要素を求めるために、(2n+1)個すべての要素R’⁽ⁿ⁾ _k,m(g)が使われていることが分かる。

　しかしながら、角度β＝１度であるときなど、角度βが微小であるときの回転では、ブロック対角行列である回転行列R’(a(β))の各要素のうちの殆どの要素は微小な値となっている。したがって、回転行列R’(g)の各要素R’⁽ⁿ⁾ _k,m(g)のうちの殆どの要素も微小な値となっている。

　すなわち、例えば図９に示す回転行列R’(a(β))は、図８に示した回転行列R’(a(β))と同じ、角度βが1度であるときの回転行列R’(a(β))を示している。

　すなわち、図９において横軸は回転行列R’(a(β))の列の成分を示しており、縦軸は回転行列R’(a(β))の行の成分を示している。また、回転行列R’(a(β))の各位置における濃淡は、それらの位置に対応する回転行列R’(a(β))の要素のレベル（dB）を示している。

　但し、図８では回転行列R’(a(β))の各要素のレベルのレンジが-400dBから0dBまでであるのに対して、図９では回転行列R’(a(β))の各要素のレベルのレンジが-100dBから0dBまでに限定されている。

　図９に示す例のように、回転行列R’(a(β))における有効な値を持っている要素を、レベルが-100dBから0dBまでの要素とすると、有効な値を有する要素が対角成分の周辺にしか存在していないことが分かる。

　さらに、回転行列R’(a(β))の１つの行を見たときに有効な値を持つ要素の数、すなわち、図９中、横方向に連続して並ぶ、有効な値を有する要素の数（以下、有効要素幅とも称する）は、全ての次数nで殆ど同じであることが分かる。

　したがって、各次数nにおける有効な値を有する要素の数は、次数nが増えてもほぼ次数nの最大値であるJの２乗のオーダーでしかない。

　そこで、回転行列R’(a(β))の-100dBから0dBまでのレベルの要素など、所定のレベルの範囲内の値の要素を有効な要素とし、その有効な要素のみを用いて球面調和領域で頭部伝達関数を回転させる演算を行うようにすれば、演算量を削減することができる。換言すれば、回転行列R’(g)の所定のレベルの範囲内の値の要素を有効な要素とし、その有効な要素のみを用いて球面調和領域で頭部伝達関数を回転させる演算を行うようにすれば、演算量を削減することができる。回転行列R’(g)の有効要素幅は、回転行列R’(a(β))の有効要素幅と同じである。

　例えば有効要素幅が2C+1である場合、上述した式（３５）の計算は、次式（３６）に示すようになる。

　但し、式（３６）においてmin(a,b)はaとbのうちの小さい方を選択する関数を示している。また、式（３６）においてmax(a,b)はaとbのうちの大きい方を選択する関数を示している。

　式（３５）では、各次数nについて、位数kが-nからnまでの(2n+1)個の要素R’⁽ⁿ⁾ _k,m(g)が用いられていたが、式（３６）の計算では位数kがmを中心としてm-Cからm+Cまでの範囲内にある(2C+1)個の要素R’⁽ⁿ⁾ _k,m(g)のみが用いられており、演算量の削減が実現されている。なお、kがnより大きい場合、またはkが-nより小さい場合には、行列の範囲を超えないように、それぞれnまでのk、-nまでのkで演算が行われる。このように、位数kを制限して演算を行うことにより、つまり位数kがCにより定まる範囲内の値である要素についてのみ演算を行うことで、演算量を削減することができる。

　この場合、全ての次数nにおいて有効要素幅2C+1が同じであるので、上述した第４の手法と比較したときに、次数Jが大きくなるほど、第５の手法が演算面でより有利になることが分かる。

　なお、式（３６）では、全ての次数nについて、有効要素幅から定まる定数Cが適用されることになる。しかし、有効要素幅2C+1を定めるCは定数に限らず、次数nの関数C(n)（但し、C(n)<n）をCとして用いたり、次数nおよび位数kの関数C(n,k)をCとして用いたりしてもよい。ここで、関数C(n)や関数C(n,k)は次数nより小さい自然数であればよい。つまり、ブロック対角行列である回転行列R’(a(β))、すなわち回転行列R’(g)のブロック全体の要素を用いて演算を行うより、少しでも少ない要素数で演算が行われるようにすればよい。

　また、回転行列R’(a(β))のうちの演算に用いられる要素は、回転行列R’(a(β))の要素そのものであってもよいし、回転行列R’(a(β))の要素の近似的な値であってもよい。

　つまり、より一般的に言えば、回転行列R’(a(β))をある複数の行列の組み合わせにより、R’(a(β))＝A₁+A₂+A₃+…として表現できるとする。この場合、回転行列R’(a(β))を構成するそれらの行列のうちのいくつかを取り出したものの和で表される近似的な回転行列Rs’(a(β))について、それぞれn次のブロックにおいて(2n+1)×(2n+1)の要素より少ない要素を用いて演算が行われるようにすればよい。

　例えば回転行列R’(a(β))のうちn次のブロック対角行列R’⁽ⁿ⁾(a(β))は次式（３７）のように表すことができる。

　ここで、式（３７）における行列V_y ⁽ⁿ⁾は次式（３８）のように表される。この行列V_y ⁽ⁿ⁾を用いて、近似的な回転行列Rs’(a(β))の太さをCにしたい場合は、式（３７）に示す行列の多項式のうちのC乗までの計算に限定してやればよい。

　このようにすることで回転行列R’(a(β))として用いられる回転行列Rs’(a(β))では、ゼロでない値を有する要素がほぼ対角成分だけになる。したがって、回転行列Rs’(a(β))を用いて得られた回転行列R’(g)のゼロでない要素を用いて頭部伝達関数を回転させる回転演算、つまり回転行列R’(g)と行ベクトルH_S(ω)との行列演算を行えば、結果的に回転行列R’(g)の位数が制限された演算が行われることになり、演算量を削減することができる。

　なお、この場合、例えば回転行列R’(u(α))と、回転行列Rs’(a(β))と、回転行列R’(u(γ))とを合成して回転行列R’(g)とし、位数が制限された行列演算が行われることになる。

　以上のような第５の手法により聴取者の頭部の回転に対する追従を行う場合、例えば聴取者が上方向、つまり仰角方向に３０度だけ頭部を回転させてしまったとする。すなわち、聴取者の頭部の方向を示す仰角（角度β）が３０度となってしまったとする。

　この場合、回転行列R’(a(β))は、図１０に示すようになる。なお、図１０において横軸は回転行列R’(a(β))の列の成分を示しており、縦軸は回転行列R’(a(β))の行の成分を示している。また、回転行列R’(a(β))の各位置における濃淡は、それらの位置に対応する回転行列R’(a(β))の要素のレベル（dB）を示している。

　図１０では、図９における場合と同様に、回転行列R’(a(β))の各要素のレベルのレンジが-100dBから0dBまでとなっている。

　しかし、図１０に示す例では次数nが大きくなるほど、その次数nについてのブロックの有効要素幅は太く（大きく）なっている。すなわち、-100dB以下の成分を切り捨てても、回転行列R’(a(β))は有効要素幅が太いブロック対角行列となってしまう。

　このように回転行列R’(a(β))では、回転角度βが小さいときには有効要素幅が細く、図９を参照して説明したように演算量を低減させることが可能であるが、回転角度βが大きくなるにしたがって有効要素幅が太くなり、演算量削減効果が小さくなる。

　また、このままでは聴取者の仰角方向に対する頭部の回転が大きくなるにしたがって有効要素幅2C+1を決定する定数Cを大きくしていかなければならなくなる。

　演算量を少なく保ったまま大きい仰角方向の回転角度βまで頭部の回転に対する追従を行うためには、微小回転の累積を用いればよい。

　すなわち、例えば所定の時刻における聴取者（ユーザ）の頭部の方向を、オイラー角を用いて（α,β,γ）と表すとする。ここで、角度α、角度β、および角度γは、それぞれ上述の回転角度α、回転角度β、および回転角度γに対応する。なお、ここでは聴取者の頭部の回転方向である方向gを、オイラー角を用いて表しているが、その他、例えばクオータニオンなどの別の方法で表すようにしてもよい。以下では、特にことわりのない限りは方向gはオイラー角が用いられて表されているものとして説明を続ける。

　特に、角度αおよび角度γは聴取者から見た水平角であり、角度βは聴取者から見た仰角である。以下では、特に時刻ｔにおける角度βを角度β_tと記すこととする。同様に、以下、時刻ｔにおける角度αおよび角度γを、それぞれ角度α_tおよび角度γ_tと記すこととする。

　微小回転の累積を利用する場合、時刻ｔにおける方向ｇを示す角度ｇ_tと、その直前の時刻（t-1）、つまり時刻ｔよりも前の時刻（t-1）における角度ｇ_t-1との差分Δｇ_t＝ｇ_tｇ_t-1 ^-1を求め、前回得られた回転行列R’(g_t-1)を差分Δg_tの分だけ回転させることで、回転行列R’(g_t)を更新すればよい。すなわち、前回得られた時刻（t-1）における回転行列R’(g_t-1)と、差分Δg_tに対応する回転行列R’(Δg_t)との積を、時刻ｔにおける回転行列R’(g_t)とすればよい。

　これにより、微小な回転角である差分Δg_tのうちの差分Δβ_tについての、有効要素幅が細い回転行列Rs’(a(Δβ_t))と、差分Δg_tのうちの差分Δα_tについての対角行列である回転行列R’(u(Δα_t))と、差分Δg_tのうちの差分Δγ_tについての対角行列である回転行列R’(u(Δγ_t))とを合成して得られる回転行列R’(Δg_t)＝R’(u(Δα_t))Rs’(a(Δβ_t))R’(u(Δγ_t))を用いて、より少ない演算量で回転行列R’(g_t)を得ることができる。

　なお、差分Δα_t、差分Δβ_t、および差分Δγ_tは、Δg_t＝u(Δα_t)a(Δβ_t)u(Δγ_t)となるようなオイラー角である。

〈音声処理装置の構成例〉
　ここで、以上において説明した本技術を適用した音声処理装置について説明する。図１１は、本技術を適用した音声処理装置の一実施の形態の構成例を示す図である。

　図１１に示す音声処理装置１１は、例えばヘッドホン等に内蔵され、再生しようとする音の音響信号である球面調和領域の入力信号D’_n ^m(ω)を入力とし、時間領域の２チャネルの音の駆動信号を出力する信号処理装置である。なお、ここでは、音声処理装置１１がヘッドホンに内蔵される例について説明するが、音声処理装置１１はヘッドホンとは異なる別の装置に内蔵されていたり、ヘッドホン等とは異なる他の装置とされたりしてもよい。

　音声処理装置１１は、頭部回転センサ部２１、前回方向保持部２２、回転行列演算部２３、回転演算部２４、回転係数保持部２５、頭部伝達関数保持部２６、頭部伝達関数合成部２７、および時間周波数逆変換部２８を有している。

　頭部回転センサ部２１は、例えば必要に応じて聴取者（ユーザ）の頭部に取り付けられた加速度センサや画像センサなどからなり、聴取者の頭部の回転（動き）を検出して、その検出結果を回転行列演算部２３に供給する。

　なお、ここでいう聴取者とは、ヘッドホンを装着したユーザ、つまり時間周波数逆変換部２８で得られる左右のヘッドホンの駆動信号に基づいてヘッドホンにより再生された音を聴取するユーザである。

　頭部回転センサ部２１では、聴取者の頭部の回転、つまり聴取者の頭部が向いている方向の検出結果として、現時刻である時刻ｔにおける角度α_t、角度β_t、および角度γ_tが得られる。以下、角度α_t、角度β_t、および角度γ_tからなる聴取者の頭部の方向（回転）を示す情報を頭部回転情報とも称することとする。この頭部回転情報により示されるある時刻ｔの方向は上述した方向ｇに対応する角度g_tであり、例えばx軸方向を基準としたときの頭部の方向を示す角度情報である。

　前回方向保持部２２は、回転行列演算部２３から供給された各時刻の角度を前回方向情報として保持するとともに、その次の時刻において保持している前回方向情報を回転行列演算部２３に供給する。したがって、例えば頭部回転センサ部２１から回転行列演算部２３へと時刻ｔの頭部回転情報が供給されたときには、前回方向保持部２２から回転行列演算部２３には、前回方向情報として時刻（t-1）の角度g_t-1が供給される。

　回転行列演算部２３は、各角度αにおける回転行列R’(u(α))を示すテーブルと、各角度βにおける回転行列R’(a(β))を示すテーブルとを保持している。なお、回転行列R’(u(α))を示すテーブルは、回転行列R’(u(γ))を求めるときにも用いられる。つまり、回転行列R’(u(α))と回転行列R’(u(γ))のテーブルは共通で用いられる。

　回転行列演算部２３は、保持しているテーブルと、頭部回転センサ部２１から供給された頭部回転情報と、前回方向保持部２２から供給された前回方向情報とに基づいて、回転行列R’(u(Δα_t))、回転行列R’(a(Δβ_t))、および回転行列R’(u(Δγ_t))を求めて出力する。回転行列演算部２３は、回転行列R’(u(Δα_t))、回転行列R’(a(Δβ_t))、および回転行列R’(u(Δγ_t))を回転演算部２４に供給する。

　回転行列R’(u(Δα_t))、回転行列R’(a(Δβ_t))、および回転行列R’(u(Δγ_t))の合成である回転行列R’(Δg_t)は、時刻ｔにおける聴取者の頭部の回転g_tと、時刻（t-1）における聴取者の頭部の回転g_t-1との差分の角度（差分Δg_t）だけ回転を行う回転行列である。

　なお、回転行列R’(u(Δα_t))、回転行列R’(a(Δβ_t))、および回転行列R’(u(Δγ_t))については、テーブルを用いるのではなく、回転行列演算部２３が差分Δα_t、差分Δβ_t、および差分Δγ_tに基づいて、演算により回転行列R’(u(Δα_t))、回転行列R’(a(Δβ_t))、および回転行列R’(u(Δγ_t))を求めてもよい。また、回転行列R’(a(Δβ_t))のテーブルは、回転行列R’(a(Δβ_t))の近似である回転行列Rs’(a(Δβ_t))を示すものでもよいし、回転行列Rs’(a(Δβ_t))をテーブルからではなく演算により求めてもよい。

　また、回転行列演算部２３は、頭部回転センサ部２１から供給された頭部回転情報g_tを前回方向情報として前回方向保持部２２に供給して保持させる。

　回転演算部２４は、行ベクトルH’(g_t ^-1,ω)を算出し、回転係数保持部２５および頭部伝達関数合成部２７に供給する。

　ここで行ベクトルH’(g_t ^-1,ω)は、時刻ｔにおける回転行列R’(g_t)に基づいて、球面調和領域の頭部伝達関数、つまり行ベクトルH_S(ω)を角度g_tだけ回転させる回転演算を行うことで得られる行ベクトルである。

　実際には、回転演算部２４は、回転行列演算部２３から供給された回転行列R’(Δg_t)と、回転係数保持部２５から供給された時刻（t-1）における行ベクトルH’(g_t-1 ^-1,ω)とに基づいて、時刻ｔにおける行ベクトルH’(g_t ^-1,ω)を算出する。

　このような演算は、時刻（t-1）における回転演算の演算結果、つまり行ベクトルH_S(ω)を角度g_t-1だけ回転させる回転演算により得られた回転後の頭部伝達関数に対して、さらに差分Δg_tにより示される角度だけ回転を行う回転演算である。

　しかも、回転行列R’(Δg_t)に基づく回転演算は、回転行列R’(Δg_t)における所定の値Cにより定まる範囲内の位数kを有する要素についてのみ計算が行われる、つまり位数kにより制限された演算が行われる行列演算である。したがって、回転行列R’(Δg_t)は、所定の値Cにより定まる範囲内の位数kを有する要素のみがゼロでない有効な値を有する要素とされた、つまり位数kにより制限された回転行列であるといえる。

　なお、回転演算部２４は、処理開始時、つまり行ベクトルH’(g_t-1 ^-1,ω)がない状態においては、頭部伝達関数保持部２６から供給された頭部伝達関数の行ベクトルH_S(ω)と、回転行列演算部２３から供給された回転行列R’(Δg_t)とに基づいて行ベクトルH’(g_t ^-1,ω)を算出する。この場合、角度g_t-1は０度であるので回転行列R’(Δg_t)は回転行列R’(g_t)と等価である。

　回転係数保持部２５は、回転演算部２４から供給された時刻ｔにおける行ベクトルH’(g_t ^-1,ω)を保持し、次の時刻（t+1）において保持している行ベクトルH’(g_t ^-1,ω)を回転演算部２４に供給する。

　頭部伝達関数保持部２６は、予め定められた行ベクトルH_S(ω)、または外部から供給された行ベクトルH_S(ω)を保持しており、保持している行ベクトルH_S(ω)を回転演算部２４に供給する。なお、行ベクトルH_S(ω)は聴取者（ユーザ）ごとに用意されていてもよいし、全聴取者や１つのグループを構成する複数人の聴取者に対して共通する行ベクトルH_S(ω)が用意されてもよい。

　ここで、行ベクトルH’(g^-1,ω)は、頭部伝達関数からなる行ベクトルH_S(ω)を、回転行列R’(g^-1)により球面調和領域で回転させることで得られた行列、つまり回転後の頭部伝達関数からなる行列である。換言すれば、行ベクトルH’(g^-1,ω)は、球面調和領域において聴取者の頭部の方向により定まる角度だけ水平方向に角度α、仰角方向に角度β、および水平方向に角度γだけ回転させた頭部伝達関数を要素とする行列（ベクトル）である。

　なお、ここでは角度β、角度α、および角度γの方向全てにおいて、時刻（t-1）における演算結果である行ベクトルH’(g_t-1 ^-1,ω)を用いて、時刻ｔと時刻（t-1）における回転の差分の分だけ頭部伝達関数を回転させる例について説明した。しかし、これに限らず、角度α、角度β、および角度γのうちの少なくとも何れか１つの角度の方向（回転方向）について時刻ｔと時刻（t-1）における角度の差分の分だけ、時刻（t-1）における頭部伝達関数の回転演算の結果をさらに回転さるようにしてもよい。

　頭部伝達関数合成部２７は、外部から供給された、球面調和領域の音の信号である各時間周波数ビンωについての入力信号D’_n ^m(ω)と、回転演算部２４から供給された行ベクトルH’(g_t ^-1,ω)とを合成し、左右のヘッドホンの駆動信号を生成する。

　すなわち、頭部伝達関数合成部２７では、左右のヘッドホンごとに行ベクトルH’(g_t ^-1,ω)と、球面調和領域の音の信号である入力信号D’_n ^m(ω)からなる行列D’(ω)との積を求めることで、左右のヘッドホンの駆動信号P_l(g,ω)および駆動信号P_r(g,ω)を算出し、時間周波数逆変換部２８に供給する。

　ここで、駆動信号P_l(g,ω)は時間周波数領域の左ヘッドホンの駆動信号（バイノーラル信号）であり、駆動信号P_r(g,ω)は時間周波数領域の右ヘッドホンの駆動信号（バイノーラル信号）である。

　頭部伝達関数合成部２７では、入力信号に対する頭部伝達関数の合成と、入力信号に対する球面調和逆変換とが同時に行われることになる。

　時間周波数逆変換部２８は、左右のヘッドホンごとに、頭部伝達関数合成部２７から供給された時間周波数領域の駆動信号に対して時間周波数逆変換を行うことで、時間領域の左ヘッドホンの駆動信号p_l(g,t)と、時間領域の右ヘッドホンの駆動信号p_r(g,t)とを求め、それらの駆動信号を後段に出力する。後段のヘッドホン、より詳細にはイヤホンを含むヘッドホンやトランスオーラル技術を用いたスピーカなど、２チャネルまたは複数チャネルで音を再生する再生装置では、時間周波数逆変換部２８から出力された駆動信号に基づいて音が再生される。なお、入力される信号が時間周波数変換されていない場合には、信号の入力部分、すなわち例えば頭部伝達関数合成部２７の前段に時間周波数変換部が設けられるか、または頭部伝達関数合成部２７で時間領域での畳み込み演算が行われることになる。

　ここで、音声処理装置１１の各部における処理について具体的に説明する。

　例えば回転行列演算部２３は、時刻ｔの頭部回転情報、つまり時刻ｔの角度g_tと時刻（t-1）の角度g_t-1との差分Δg_t＝g_tg_t-1 ^-1を求める。そして、回転行列演算部２３は、差分Δg_tから差分Δβ_t、差分Δα_t、および差分Δγ_tを求め、保持している回転行列R’(a(β))および回転行列R’(u(α))のテーブルから、角度βが差分Δβ_tであるときの回転行列R’(a(β))、角度αが差分Δα_tおよび差分Δγ_tであるときの回転行列R’(u(α))を読み出して回転行列R’(a(Δβ_t))、回転行列R’(u(Δα_t))、および回転行列R’(u(Δγ_t))とする。

　さらに、回転行列演算部２３は、上述した式（２９）と同様の演算を行って、このようにして得られた回転行列R’(u(Δα_t))、回転行列R’(a(Δβ_t))、および回転行列R’(u(Δγ_t))を合成し、回転行列R’(Δg_t)とする。

　例えば入力信号D’_n ^m(ω)のフレームごと、つまり１フレームごとに差分Δβ_tを求めると、差分Δβ_tは図１２に示すようになる。なお、図１２において縦軸は各時刻における角度β（仰角β）を示しており、横軸は時間を示している。

　図１２に示す例では、曲線L11は各時刻における角度βを示しており、その曲線L11における領域RZ11の部分を拡大すると、図中、下側に示すようになる。

　ここでは、時刻（t-1）から時刻ｔまでの期間が１フレームの期間となっている。そのため、時刻ｔにおける角度βである角度β_tと、時刻（t-1）における角度βである角度β_t-1との差分がΔβ_tとなっている。

　回転行列演算部２３では、差分Δg_tに基づいて得られた回転行列R’(Δg_t)が回転演算部２４に供給されるとともに、時刻ｔの角度g_tが前回方向保持部２２に供給されて前回方向情報が更新される。つまり、新たに供給された時刻ｔの角度g_tが更新後の前回方向情報として保持される。

　回転演算部２４では、回転行列R’(Δg_t)と、時刻（t-1）における行ベクトルH’(g_t-1 ^-1,ω)とに基づいて、時刻ｔにおける行ベクトルH’(g_t ^-1,ω)が算出される。

　例えば任意の回転行列ｇ₁および回転行列ｇ₂に対して、次式（３９）が成立する。

　このことから、次式（４０）が成立し、行ベクトルH’(g_t-1 ^-1,ω)と回転行列R’(Δg_t)との積を求めることにより、行ベクトルH’(g_t ^-1,ω)が求まることが分かる。

　すなわち、行ベクトルH’(g_t ^-1,ω)の次数nおよび位数mの要素をH’_n ^m(g_t ^-1,ω)とし、回転行列R’(Δg_t)の次数nおよび位数mの要素をR’⁽ⁿ⁾ _k,m(Δg_t)とし、回転行列R’(Δg_t)の次数nにおける有効要素幅を定める定数をCとする。この場合、次式（４１）が成立する。すなわち、次式（４１）の演算により、行ベクトルH’(g_t ^-1,ω)のゼロでない各要素を求めることができる。

　回転演算部２４は、式（４１）を計算することで行ベクトルH’(g_t ^-1,ω)を得る。式（４１）の演算は、上述した式（３６）と同様に位数kがmを中心とするm-Cからm+Cまでの範囲内にある(2C+1)個の要素のみ計算が行われている。但し、-n≦k≦nの範囲に限られる。つまり、位数kがCにより定まる範囲内の値である要素についてのみ演算が行われる、位数kを制限した回転演算となっており、演算量が削減されている。

　なお、回転行列演算部２３では、回転行列R’(a(Δβ_t))を逐次、計算により求めるようにしてもよいし、事前に用意された１または複数の候補のなかから回転行列R’(a(Δβ_t))を選択するようにしてもよい。

　さらに、時刻によって回転行列R’(a(Δβ_t))を演算する方法と、１または複数の候補のなかから回転行列R’(a(Δβ_t))を選択する方法とを組み合わせて、それらの各方法を用いる頻度を変更しながら実際の聴取者の頭部の回転の角度β_tに追従させて頭部伝達関数を回転させる角度の調整をするようにしてもよい。

〈駆動信号生成処理の説明〉
　次に、図１３のフローチャートを参照して、音声処理装置１１により行われる駆動信号生成処理について説明する。

　ステップＳ１１において、頭部回転センサ部２１は、聴取者であるユーザの頭部の回転を検出し、その検出結果として得られた頭部回転情報を回転行列演算部２３に供給する。

　ステップＳ１２において、回転行列演算部２３は、頭部回転センサ部２１から供給された頭部回転情報の角度g_tと、前回方向保持部２２に前回方向情報として保持されている時刻（t-1）の角度g_t-1との差分Δg_tを求める。

　また、回転行列演算部２３は、差分Δg_tが得られると、ステップＳ１１で得られた頭部回転情報の角度g_tを前回方向保持部２２に供給し、前回方向情報を更新させる。前回方向保持部２２は、回転行列演算部２３から供給された角度g_tが新たな前回方向情報となるように前回方向情報を更新し、その更新結果を保持する。

　ステップＳ１３において、回転行列演算部２３は、ステップＳ１２で得られた差分Δg_tに基づいて、その差分Δg_tのうちの差分Δβ_tに応じた仰角方向の回転行列R’(a(Δβ_t))を求める。なお、ステップＳ１３において回転行列演算部２３が上述した回転行列Rs’(a(β))に対応する、差分Δβ_tに応じた回転行列Rs’(a(Δβ_t))を回転行列R’(a(Δβ_t))として求めるようにしてもよい。

　ステップＳ１４において、回転行列演算部２３は、ステップＳ１２で得られた差分Δg_tから求められる頭部回転の差分Δα_tおよび差分Δγ_tに基づいて、それらの差分に応じた水平方向の回転行列R’(u(Δα_t))および回転行列R’(u(Δγ_t))を求める。

　ステップＳ１５において、回転行列演算部２３は、ステップＳ１３で得られた仰角方向の回転行列R’(a(Δβ_t))と、ステップＳ１４で得られた水平方向の回転行列R’(u(Δα_t))および回転行列R’(u(Δγ_t))とを合成して、頭部の全体の回転の差分の分だけ回転を行う回転行列R’(Δg_t)を求め、回転演算部２４に供給する。

　ステップＳ１６において、回転演算部２４は、回転行列演算部２３から供給された回転行列R’(Δg_t)と、回転係数保持部２５に保持されている行ベクトルH’(g_t-1 ^-1,ω)とに基づいて回転演算を行う。

　すなわち、例えばステップＳ１６では定数Cにより定まる有効要素幅2C+1に基づいて、回転演算として上述した式（４１）の計算が行われ、行ベクトルH’(g_t ^-1,ω)が算出される。

　回転演算部２４は、得られた行ベクトルH’(g_t ^-1,ω)を回転係数保持部２５に供給して保持させるとともに、行ベクトルH’(g_t ^-1,ω)を頭部伝達関数合成部２７にも供給する。

　ステップＳ１７において、頭部伝達関数合成部２７は、供給された入力信号D’_n ^m(ω)と、回転演算部２４から供給された頭部伝達関数の行ベクトルH’(g_t ^-1,ω)とを合成し、左右のヘッドホンの駆動信号を生成する。

　例えばステップＳ１７では、左右のヘッドホンごとに、行ベクトルH’(g_t ^-1,ω)と行列D’(ω)との積が求められ、左右のヘッドホンの駆動信号P_l(g,ω)および駆動信号P_r(g,ω)が算出される。頭部伝達関数合成部２７は、得られた駆動信号P_l(g,ω)および駆動信号P_r(g,ω)を時間周波数逆変換部２８に供給する。

　ステップＳ１８において、時間周波数逆変換部２８は、頭部伝達関数合成部２７から供給された駆動信号P_l(g,ω)および駆動信号P_r(g,ω)に対して時間周波数逆変換を行い、その結果得られた駆動信号p_l(g,t)および駆動信号p_r(g,t)を後段に出力し、駆動信号生成処理は終了する。

　以上のようにして音声処理装置１１は、差分Δg_tに基づいて回転行列R’(Δg_t)を求め、その回転行列R’(Δg_t)と、前回の行ベクトルH’(g_t-1 ^-1,ω)とに基づいて、今回の行ベクトルH’(g_t ^-1,ω)を求める。

　このように微小な回転角度である差分Δｇ_t分ずつ回転を累積して行ベクトルH’(g_t ^-1,ω)を求めることで、使用するメモリ量と演算量を低減させることができる。その結果、より効率よく音を再生することができる。特に、以上において説明した第５の手法によれば、第４の手法と同等のメモリ量で、かつ第４の手法よりも少ない演算量で駆動信号を得ることができる。

〈第２の実施の形態〉
〈音声処理装置の構成例〉
　ところで、上述した第５の手法では、定数Cにより定まる有効要素幅2C+1のブロック内の要素、つまり有効な要素のみが用いられて演算が行われるため、少なからず回転行列R’(g_t)、つまり行ベクトルH’(g_t ^-1,ω)に誤差が発生してしまう。

　また、そのような誤差が生じる演算をしばらく繰り返し行うと誤差が蓄積されていき、行ベクトルH’(g_t ^-1,ω)が本来の値とは離れた値となってしまう。つまり、行ベクトルH’(g_t ^-1,ω)の誤差が大きくなってしまう。

　そこで、所定のタイミングで正確な回転行列R’(g_t ^-1)を求める演算を行い、回転行列R’(g_t ^-1)の値、すなわち行ベクトルH’(g_t ^-1,ω)をリセットする（以下、単にリセットと称する）ことで、誤差の蓄積を防止するようにしてもよい。以下、第５の手法において、さらに所定のタイミングでリセットを行う手法を第６の手法とも称することとする。

　第６の手法では、リセット時には行ベクトルH’(g_t ^-1,ω)を求めるために次数nの３乗のオーダーの演算量の演算が必要となるが、リセットを頻繁には行わないようにすることで、全体として演算量を低減させることができる。

　このように適宜、リセットが行われる場合、音声処理装置１１は図１４に示すように構成される。なお、図１４において図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１４に示す音声処理装置１１は、頭部回転センサ部２１、前回方向保持部２２、回転行列演算部２３、回転演算部２４、回転係数保持部２５、頭部伝達関数保持部２６、頭部伝達関数合成部２７、および時間周波数逆変換部２８を有している。

　図１４に示す音声処理装置１１は、頭部回転センサ部２１乃至時間周波数逆変換部２８を有している点では図１１の音声処理装置１１と同じであるが、回転行列演算部２３および回転演算部２４にリセットを行うタイミングを示す信号であるリセットトリガが供給される点で図１１の音声処理装置１１と異なっている。

　回転行列演算部２３は、リセットトリガが供給されていないとき、すなわちリセットトリガがオフであるときには、頭部回転情報の角度g_tと、前回方向情報としての角度g_t-1とに基づいて回転行列R’(Δg_t)を求め、回転演算部２４に供給する。

　これに対して、リセットトリガが供給されたとき、すなわちリセットトリガがオンであるときには、回転行列演算部２３は頭部回転情報の角度g_tに基づいて回転行列R’(g_t)を求め、回転演算部２４に供給する。つまり、リセットが行われて正確な回転行列R’(g_t)が求められる。換言すれば、回転行列R’(Δg_t)等の差分により求められたものではなく、絶対的な回転行列R’(g_t)が求められる。

　また、リセットトリガがオフである場合、回転演算部２４は、回転行列演算部２３から供給された回転行列R’(Δg_t)と、回転係数保持部２５に保持されている行ベクトルH’(g_t-1 ^-1,ω)とに基づいて行ベクトルH’(g_t ^-1,ω)を算出する。

　これに対して、リセットトリガがオンである場合、回転演算部２４は、回転行列演算部２３から供給された回転行列R’(g_t)と、頭部伝達関数保持部２６に保持されている頭部伝達関数の行ベクトルH_S(ω)とに基づいて行ベクトルH’(g_t ^-1,ω)を算出する。

　この場合、回転演算部２４では、上述した式（３５）または式（３６）と同様の計算が行われて行ベクトルH’(g_t ^-1,ω)が算出される。つまり、回転行列R’(g_t)と行ベクトルH_S(ω)との積が求められて行ベクトルH’(g_t ^-1,ω)が算出される。

　このようにリセットトリガの入力に応じて、リセットを行い、正確な回転行列R’(g_t)や行ベクトルH’(g_t ^-1,ω)を求めることで、必要なメモリ量や演算量を低く抑えつつ誤差の少ない駆動信号を得ることができるようになる。

　なお、ここでは任意のタイミングでリセットトリガがオン、オフされる例について説明するが、常にリセットトリガがオンされた状態とされてもよい。つまり、常に回転行列R’(g_t)が算出されるようにしてもよい。

　また、リセットトリガがオンされるタイミングは、いつでもよい。例えばリセットトリガがオンされるタイミングは所定の時間間隔などの予め定められた定期的（周期的）なタイミングであってもよいし、差分Δβ_tが閾値以上となったタイミングなどであってもよいし、角度β_tが所定値以上となったタイミングでもよい。

〈駆動信号生成処理の説明〉
　次に、図１５のフローチャートを参照して、図１４の音声処理装置１１により行われる駆動信号生成処理について説明する。

　なお、ステップＳ５１の処理は図１３のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ５２において、回転行列演算部２３は外部から供給されたリセットトリガに基づいて、リセットを行うか否かを判定する。例えばリセットトリガがオンとされた場合、リセットを行うと判定される。

　ステップＳ５２においてリセットを行わないと判定された場合、処理はステップＳ５３へと進み、ステップＳ５３乃至ステップＳ５７の処理が行われる。

　なお、ステップＳ５３乃至ステップＳ５７の処理は、図１３のステップＳ１２乃至ステップＳ１６の処理と同様であるので、その説明は省略する。

　ステップＳ５７の処理が行われると、回転演算部２４は得られた行ベクトルH’(g_t ^-1,ω)を頭部伝達関数合成部２７および回転係数保持部２５に供給し、その後、処理はステップＳ６０へと進む。

　これに対してステップＳ５２においてリセットを行うと判定された場合、ステップＳ５８において、回転行列演算部２３は、頭部回転センサ部２１から供給された頭部回転情報の角度g_tに基づいて仰角方向の回転行列R’(a(β_t))と、水平方向の回転行列R’(u(α_t))および回転行列R’(u(γ_t))を求める。

　さらに回転行列演算部２３は、これらの回転行列R’(a(β_t))、回転行列R’(u(α_t))、および回転行列R’(u(γ_t))を合成して回転行列R’(g_t)を求め、回転演算部２４に供給する。なお、ステップＳ５８では、角度β_tに基づいてテーブルから回転行列R’(a(β_t))を得るようにしてもよいし、角度β_tに基づいて演算により回転行列R’(a(β_t))を得るようにしてもよい。同様に、角度α_tおよび角度γ_tに基づいて演算により回転行列R’(u(α_t))、および回転行列R’(u(γ_t))を求めるようにしてもよいし、角度α_tおよび角度γ_tに基づいてテーブルから回転行列R’(u(α_t))、および回転行列R’(u(γ_t))を得るようにしてもよい。

　ステップＳ５９において、回転演算部２４は、回転行列演算部２３から供給された回転行列R’(g_t)と、頭部伝達関数保持部２６に保持されている頭部伝達関数の行ベクトルH_S(ω)とに基づいて回転演算を行い、行ベクトルH’(g_t ^-1,ω)を算出する。例えばステップＳ５９では、上述した式（３５）または式（３６）と同様の計算が行われて行ベクトルH’(g_t ^-1,ω)が算出される。

　行ベクトルH’(g_t ^-1,ω)が得られると、回転演算部２４は、得られた行ベクトルH’(g_t ^-1,ω)を頭部伝達関数合成部２７および回転係数保持部２５に供給し、その後、処理はステップＳ６０へと進む。

　ステップＳ５７またはステップＳ５９の処理が行われると、その後、ステップＳ６０およびステップＳ６１の処理が行われて駆動信号生成処理は終了するが、これらの処理は図１３のステップＳ１７およびステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして音声処理装置１１は、リセットトリガがオンされると正確な回転行列R’(g_t)や行ベクトルH’(g_t ^-1,ω)を求めて駆動信号を生成する。このようにすることで、必要なメモリ量や演算量を低く抑えつつ誤差の少ない駆動信号を得ることができる。

　なお、例えば聴取者の頭部が仰角方向に急激に大きく回転した場合、差分Δβ_tが急激に大きくなる。そのため、聴取者の頭部の回転に追従して行ベクトルH’(g_t ^-1,ω)を求めようとしたときに、正確に行ベクトルH’(g_t ^-1,ω)を求めようとすると演算量が多くなり、少ない演算量で行ベクトルH’(g_t ^-1,ω)を求めようとすると誤差が大きくなる。

　このような場合に、例えば演算量を低く抑えたい場合には、実際の差分Δβ_tが、３０度以上などの所定の閾値以上となったときには、実際の差分Δβ_tの値によらず差分Δβ_tの値を１度以下の値などに制限して回転行列演算部２３が回転行列R’(a(Δβ_t))を求めるようにしてもよい。

　このようにすることで、実際の差分Δβ_tが閾値未満となるまでの間、追従しきれずに回転行列R’(a(Δβ_t))に誤差が生じてしまうが演算量を低く抑えることが可能となる。なお、このような処理はリセットトリガのオン、オフとは独立に行うようにすることができる。

　また、例えば実際の差分Δβ_tが、３０度以上などの所定の閾値以上となった場合に、回転行列演算部２３が有効要素幅2C+1を定めるCを所定の値として、そのCに対して定まる有効要素幅2C+1のブロック内の要素、つまり有効な要素についてのみ回転行列R’(a(β_t))を求めるようにしてもよい。この場合、回転演算部２４において、Cに対して定まる有効な要素についてのみ式（３６）の計算が行われ、行ベクトルH’(g_t ^-1,ω)が求められる。

　この例では、回転行列R’(ｇ_t)を用いるために演算量が増加するが、有効要素幅2C+1を定めるCによって定まる有効な要素のみの演算で済むので、聴取者の頭部の回転に追従しつつ演算量をある程度低く抑えることができる。このような処理もリセットトリガのオン、オフとは独立に行うようにすることができる。

　さらに、例えば実際の差分Δβ_tが、３０度以上などの所定の閾値以上となった場合に、回転行列R’(a(Δβ_t))を求め、その回転行列R’(a(Δβ_t))により求められる回転行列R’(Δg_t)と行ベクトルH’(g_t-1 ^-1,ω)とから行ベクトルH’(g_t ^-1,ω)を求めるが、その際に回転演算部２４が一時的に有効要素幅2C+1を定めるCを通常時よりも大きくするようにしてもよい。ここで、Cの値は定数であってもよいし、次数nや差分Δβ_tなどにより定められるようにしてもよい。

　このようにすることで、行ベクトルH’(g_t ^-1,ω)を求めるときの演算量は増加するものの聴取者の頭部の回転に対する追従を行うことが可能となる。この場合においてもCの値を変化させる処理はリセットトリガのオン、オフとは独立に行うようにすることができる。

　その他、例えば頭部回転情報の角度β_tが予め定められた値（以下、リセットポイントとも称する）となったときに、リセットが行われるようにしてもよい。

　具体的には、例えば回転行列演算部２３には、１または複数のリセットポイントごとに、リセットポイントである角度βについて予め求められた回転行列R’(a(β))が保持されている。例えばリセットポイントとして定められた角度β₁に対して回転行列R’(a(β₁))が予め保持されているものとする。

　この場合、例えば角度β_tが角度β₁であるとき、回転行列演算部２３は、保持している回転行列R’(a(β₁))を回転行列R’(a(β_t))として回転行列R’(g_t)を求め、回転演算部２４に供給する。このようにすることで、リセットポイントごとに回転行列R’(a(β))を保持しておくメモリが必要となるが、回転行列R’(a(β_t))の演算を行う必要はないので、正確な回転行列R’(a(β_t))となるようにリセットを行いつつ演算量を低く抑えることができる。

〈第２の実施の形態の変形例１〉
〈複数の装置でのリセット制御について〉
　また、例えば空間上に複数の聴取者がおり、図１６に示すように各聴取者が装着しているヘッドホン等のそれぞれに対して、複数の音声処理装置のそれぞれが駆動信号を出力する制御システムがあったとする。

　図１６に示す制御システムは、音声処理装置７１－１乃至音声処理装置７１－４と、スイッチ７２とを有している。

　ここで、音声処理装置７１－１乃至音声処理装置７１－４のそれぞれは、図１４に示した音声処理装置１１と同じ構成とされている。なお、以下、音声処理装置７１－１乃至音声処理装置７１－４を特に区別する必要のない場合、単に音声処理装置７１とも称することとする。

　各音声処理装置７１は、入力信号D’_n ^m(ω)を入力とし、図１５を参照して説明した駆動信号生成処理と同様の処理を行って、ヘッドホンの左右の駆動信号p_l(g,t)および駆動信号p_r(g,t)を出力する。

　なお、各音声処理装置７１は独立した１つの装置であってもよいし、それらの音声処理装置７１が１つの装置に設けられていてもよいが、ここでは各音声処理装置７１が中央にある１つの計算機システム（装置）に設けられているものとする。

　スイッチ７２は、任意のタイミングにおいて、音声処理装置７１－１乃至音声処理装置７１－４のうちの何れか１つの音声処理装置７１にリセットトリガが供給されるように、音声処理装置７１へのリセットトリガの供給を制御する。

　このような制御システムでは、複数の各聴取者は、それぞれヘッドホンを装着しており、それらのヘッドホンのそれぞれは、互いに異なる音声処理装置７１のそれぞれから供給された駆動信号に基づいて音を再生する。

　そして、各音声処理装置７１は、駆動信号の出力先となるヘッドホン、つまりヘッドホンが装着された聴取者の頭部の動き（回転）を頭部回転センサ部２１で検出し、聴取者の頭部の動きに追従して頭部伝達関数を回転させ、駆動信号を生成する。

　制御システムでは、スイッチ７２により４つの音声処理装置７１のそれぞれに対して互いに異なるタイミングでリセットトリガが供給されるため、複数の音声処理装置７１において同時にリセットが行われることがない。したがって、制御システム全体で、突発的に演算負荷が上昇してしまうことを抑制することができる。すなわち、演算量が一時的に多くなってしまうことを防止することができる。

　制御システムにおいて、４つの音声処理装置７１で同時にリセットを行った場合、例えば図１７の矢印Q11に示すように、制御システム全体における演算量は、リセットを行った時刻で一時的に多く（大きく）なる。

　なお、図１７において縦軸は制御システム全体における演算量を示しており、横軸は時間を示している。

　例えば矢印Q11に示す例では、制御システムにおいて、所定の周期で４つの音声処理装置７１で同時にリセットが行われている。例えば時刻t11でリセットが行われており、この時刻t11では演算量が多く（大きく）なっているが、リセットが行われていない他の時刻では演算量は低く抑えられている。

　この場合、演算量が多くなる頻度は少ないものの、リセット時には一時的に制御システムにおける演算負荷が大きくなってしまう。

　これに対して、例えば矢印Q12に示す例では、複数の音声処理装置７１で同時にリセットが行われずに、各音声処理装置７１で互いに異なるタイミングでリセットが行われている。この場合、演算量が増加する頻度は増えるものの、各時刻における演算量はそれほど多くはならない。すなわち、リセット時には演算量は上昇するものの、そのときの演算量の増加は１つの音声処理装置７１におけるリセット分で済むため、複数の音声処理装置７１で同時にリセットを行ったときほど演算負荷はかからない。

　例えば時刻t12では１つの音声処理装置７１でリセットが行われているが、矢印Q11に示した例における時刻t11と比較すると演算量が低く抑えられている。

　なお、ここでは１つの音声処理装置７１ずつリセットを行う例について説明したが、全音声処理装置７１で同時にリセットが行われなければ、演算負荷を抑制することが可能である。例えば全ての音声処理装置７１を、１または複数の音声処理装置７１からなる複数のグループに分け、それらのグループごとにリセットを行うようにしてもよい。

　以上のように複数の音声処理装置７１がある場合には、互いに異なるタイミングで各音声処理装置７１でリセットを行うことで、一時的に演算量が多くなってしまうことを抑制することができる。

〈第２の実施の形態の変形例２〉
〈次数または位数ごとのリセットについて〉
　また、図１４に示した音声処理装置１１の例や図１６に示した制御システムの例によらず、すなわち聴取者が１人か複数人かによらず、リセットを次数nごとや位数mごとに行うようにしてもよい。そのようにすることでもリセット時における演算負荷の上昇を抑制することができる。

　例えば、図１８に示すように行ベクトルH’(g_t ^-1,ω)が、次数n＝０である要素からなる行列H⁰(ω)、次数n＝１である要素からなる行列H¹(ω)、次数n＝２である要素からなる行列H²(ω)、および次数n＝３である要素からなる行列H³(ω)から構成されるとする。

　このような場合に、例えば次数nについて所定の次数の成分のみリセットを行うようにしてもよい。その際、各次数の成分が互いに異なるタイミングでリセットされるようにしてもよいし、いくつかの次数の成分が同時にリセットされるようにしてもよい。

　例えば次数nの０次の成分、つまり次数n＝０の成分のみリセットが行われる場合、０次の成分について回転行列R’(g_t)と行ベクトルH_S(ω)との積が求められて行列H⁰(ω)が生成される。

　これに対して、次数nの１次乃至３次の成分については、回転行列R’(Δg_t)と行ベクトルH’(g_t-1 ^-1,ω)との積が求められて、すなわち式（４１）の計算が行われて行列H¹(ω)、行列H²(ω)、および行列H³(ω)が生成される。

　そして、このようにして得られた行列H⁰(ω)、行列H¹(ω)、行列H²(ω)、および行列H³(ω)から、最終的な行ベクトルH’(g_t ^-1,ω)が得られる。

　したがって、例えば図１４に示した音声処理装置１１において、次数nの０次の成分のみリセットが行われるタイミングでは、０次の成分については図１５のステップＳ５８およびステップＳ５９の処理が行われて行列H⁰(ω)が生成される。これに対して、次数nの１次乃至３次の成分については、ステップＳ５３乃至ステップＳ５７の処理が行われて行列H¹(ω)、行列H²(ω)、および行列H³(ω)が生成される。そして、それらの行列H⁰(ω)、行列H¹(ω)、行列H²(ω)、および行列H³(ω)から行ベクトルH’(g_t ^-1,ω)が生成される。

　なお、次数ごとにリセットを行う場合についても、例えば次数nの０次と１次からなるグループなど、いくつかのグループを設けて、それらのグループごとにリセットを行うようにしてもよい。

　例えば図１８に示した例では、次数nの０次から２次までは要素数が少ないため、それらの０次から２次までの次数nを１つのグループとし、次数nの０次、１次、および２次の成分が同時にリセットされるようにしてもよい。この場合、次数nの０次、１次、および２次の成分のリセットのタイミングと、次数nの３次の成分のリセットのタイミングとが互いに異なるタイミングとなる。

　なお、ここでは具体例として次数nごとにリセットを行う場合について説明したが、位数mごとにリセットを行う場合においても次数nごとにリセットを行う場合と同様である。

〈第２の実施の形態の変形例３〉
〈時間周波数ごとのリセットについて〉
　また、図１４に示した音声処理装置１１の例や図１６に示した制御システムの例によらず、すなわち聴取者が１人か複数人かによらず、リセットを時間周波数ωごとに行うようにしてもよい。そのようにすることでもリセット時における演算負荷の上昇を抑制することができる。

　例えば図１９に示すように時間周波数ビンωの数がW個であり、W個の時間周波数ω₁乃至時間周波数ω_Wについて行ベクトルH’(g_t ^-1,ω)が求められるとする。すなわち、行ベクトルH’(g_t ^-1,ω₁)乃至行ベクトルH’(g_t ^-1,ω_W)が得られるものとする。

　このような場合に、例えば所定の時間周波数ωについてのみリセットを行うようにしてもよい。その際、時間周波数ωごとに異なるタイミングでリセットされるようにしてもよいし、いくつかの時間周波数ωで同時にリセットされるようにしてもよい。

　例えば図１４に示した音声処理装置１１において、時間周波数ω₁についてのみリセットが行われるタイミングでは、時間周波数ω₁については図１５のステップＳ５８およびステップＳ５９の処理が行われて行ベクトルH’(g_t ^-1,ω₁)が生成される。

　これに対して、時間周波数ω₂乃至時間周波数ω_Wについては、図１５のステップＳ５３乃至ステップＳ５７の処理が行われて行ベクトルH’(g_t ^-1,ω₂)乃至行ベクトルH’(g_t ^-1,ω_W)が生成される。

　なお、時間周波数ωごとにリセットを行う場合についても、１または複数の時間周波数ωからなるグループをいくつか設けて、それらのグループごとにリセットを行うようにしてもよい。

〈第２の実施の形態の変形例４〉
〈制御システムの他の例〉
　また、図１６に示した制御システムでは、複数の聴取者に対応する音声処理装置７１が中央にある１つの計算機システムにより動作している場合が想定されていた。

　しかしながら、聴取者の人数がダイナミックに変化するような場合には、中央の計算機システムの性能を予め決めることが困難である。

　そこで、スマートフォンなどの聴取者ごとのシステム（スレーブ）が独立に各聴取者についての駆動信号を生成する処理を行い、スレーブ側において上述したリセットを行うのに十分な処理性能を有していない場合に、スレーブが接続された中央の装置（マスタ）でリセット時の演算の一部または全部を行うようにしてもよい。

　そのような場合、制御システムは、例えば図２０に示すように構成される。

　図２０に示す制御システムは、マスタ装置１０１とスレーブ１０２－１乃至スレーブ１０２－９とを有している。

　この例では、マスタ装置１０１とスレーブ１０２－１乃至スレーブ１０２－９のそれぞれとが、有線または無線のネットワークを介して相互に接続されている。なお、以下、スレーブ１０２－１乃至スレーブ１０２－９を特に区別する必要のない場合、単にスレーブ１０２とも称することとする。

　マスタ装置１０１は、本来、スレーブ１０２において行われる演算（処理）の一部をスレーブ１０２に代わって行い、その演算結果をスレーブ１０２に対して供給する。

　スレーブ１０２は、例えばヘッドホンやスマートフォンなどからなり、図１４に示した音声処理装置１１に対応する。スレーブ１０２は、聴取者の頭部の回転等に応じて図１５を参照して説明した駆動信号生成処理を行って駆動信号を出力するが、リセット時の演算など、駆動信号生成処理の一部の演算をマスタ装置１０１に依頼する。

　具体的な例として、例えばリセット時の演算をマスタ装置１０１が行うようにすることができる。

　この場合、スレーブ１０２は、マスタ装置１０１に対して角度g_tまたは回転行列R’(g_t)とともに、行ベクトルH’(g_t ^-1,ω)の算出を要求する演算要求を送信する。

　すると、スレーブ１０２から演算要求と、角度g_tまたは回転行列R’(g_t)とを受信したマスタ装置１０１は、演算要求に応じて以下の式（４２）の演算を行い、その結果得られた行ベクトルH’(g_t ^-1,ω)をスレーブ１０２へと送信する。

　なお、式（４２）の演算に用いられる行ベクトルH_S(ω)は、マスタ装置１０１が事前にスレーブ１０２から取得するようにしてもよいし、マスタ装置１０１に予め保持されているようにしてもよい。

　このようにすることで、スレーブ１０２は、マスタ装置１０１から受信した行ベクトルH’(g_t ^-1,ω)を用いて、少ない演算量で聴取者に対して提示する音の駆動信号を得ることができる。

　なお、上述したように聴取者ごとや次数nごと、位数mごと、時間周波数ωごとなどにリセットが行われるようにしてもよく、そのリセットのタイミングを適切に定めることでマスタ装置１０１における演算負荷を低減させることができる。例えば互いに異なるタイミングで各スレーブ１０２についてのリセットが行われるようにすれば、マスタ装置１０１における演算負荷を低減させることができる。

〈第２の実施の形態の変形例５〉
〈制御システムの他の例〉
　また、第２の実施の形態の変形例４における場合とは逆に、スレーブ１０２においてリセット時の演算を行うようにしてもよい。

　そのような場合、マスタ装置１０１は、逐次、スレーブ１０２から角度g_tや回転行列R’(Δg_t)などを受信して次式（４３）に示す演算を行い、行ベクトルH’(g_t ^-1,ω)を算出する。

　なお、マスタ装置１０１では、行ベクトルH’(g_t ^-1,ω)を算出するまでの演算が行われ、駆動信号を得るまでの残りの演算はスレーブ１０２で行われるようにしてもよいし、マスタ装置１０１において行ベクトルH’(g_t ^-1,ω)を用いて駆動信号を算出し、スレーブ１０２に供給するようにしてもよい。

　また、リセット時にはスレーブ１０２側において、上述した式（４２）の演算が行われ、その結果得られた行ベクトルH’(g_t ^-1,ω)がスレーブ１０２からマスタ装置１０１に送信される。これにより、マスタ装置１０１は、スレーブ１０２から受信した行ベクトルH’(g_t ^-1,ω)を保持しておき、次回に行う式（４３）の演算に用いることができる。

　このようにスレーブ１０２側でリセット時の演算を行うことで、マスタ装置１０１では、通常、差分を基に計算している行ベクトルH’(g_t ^-1,ω)を、より正確な行ベクトルH’(g_t ^-1,ω)に更新し、誤差をリセットすることができる。

　なお、リセット時の演算に必要となる行ベクトルH_S(ω)は、スレーブ１０２が事前にマスタ装置１０１から取得するようにしてもよいし、スレーブ１０２に予め保持されているようにしてもよいし、マスタ装置１０１とスレーブ１０２の両方に予め保持されていてもよい。

　また、マスタ装置１０１とスレーブ１０２の何れか一方の装置のみが行ベクトルH_S(ω)等を保持している場合には、接続時や初期化時などの任意のタイミングで、一方の装置が保持している行ベクトルH_S(ω)等を他方の装置に送信するようにしてもよい。

　さらに、この実施の形態における場合においても、聴取者ごとや次数nごと、位数mごと、時間周波数ωごとなどにリセットが行われるようにしてもよく、そのリセットのタイミングも適切に定めることができる。ただし、スレーブ１０２側でリセット時の演算を行う場合には、１つのスレーブ１０２において、複数の聴取者についてのリセット時の演算を同時に行うことはないので、リセットのタイミングを分散させる必要はない。

　その他、マスタ装置１０１とスレーブ１０２とで、図１３や図１５を参照して説明した駆動信号生成処理を分担して行うようにしてもよい。つまり、駆動信号生成処理を行うための一部の機能をマスタ装置１０１が担うことで、受聴者の人数がダイナミックに増加したときなどにおいても柔軟に対応することができる。

〈第３の実施の形態〉
〈提案手法について〉
　ところで、上述した第５の手法および第６の手法においては、位数を制限した回転行列の誤差を解析的に求めることができない。

　したがって、演算後の行ベクトルH’(g_t ^-1,ω)にどの程度の誤差が含まれているかが分からず、品質のコントロールが困難となる。そこで、本提案手法では、位数の制限量に対する誤差の上限を定量的に求めることができるようにした。これにより、以下の（A１）乃至（A６）が実現可能となる。

（A１）　誤差の許容量を設定することで制限可能な位数が自動で決定される
（A２）　演算負荷の上限を設定することで最大誤差が求まる
（A３）　演算を制限する位数が球面調和次数nに対してそれぞれ自動で決定される
（A４）　演算を制限する位数が時間周波数ωに対してそれぞれ自動で決定される
（A５）　累積の誤差の上限が求まる
（A６）　累積の誤差の上限が一定の値を超えたらリセットトリガがかけられる

　ここで、制限する位数による許容誤差の導出について説明する。また、回転行列R’(g_t)のテイラー展開による位数kの制限について説明する。

　回転行列R’(g_t)＝R’(u(α))R’(a(β))R’(u(γ))のうち、対角行列は回転行列R’(u(α))および回転行列R’(u(γ))であり、ブロック対角行列は回転行列R’(a(β))であるので、回転行列R’(a(β))の位数の制限について考える。

　回転行列R’(a(β))のうち、n次のブロック対角行列R’⁽ⁿ⁾(a(β))は上述の式（３７）のように表すことができる。

　行列指数関数を展開すると、テイラー展開の次数lに応じて行列の対角成分の太さが変化する。

　例えば次数l＝0に対応する項（行列）は単位行列Eであり、この単位行列Eは対角行列である。また、次数l＝1に対応する項では±1番目の対角、すなわち２本の対角の要素がゼロではない要素となっている。

　同様に、次数l＝2に対応する項は0番目および±2番目の対角の合計３本の対角の要素がゼロではない要素となっている。さらに、次数l＝3に対応する項では±1番目および±3番目の対角の合計４本の対角の要素がゼロではない要素となっている。

　このようにブロック対角行列R’⁽ⁿ⁾(a(β))をテイラー展開すると、テイラー展開の次数lが大きな項ほど、ブロック対角行列R’⁽ⁿ⁾(a(β))に対する影響の大きさは小さくなっていく。

　そこで、ブロック対角行列R’⁽ⁿ⁾(a(β))のテイラー展開において、所定の次数l＝l₀の項までで打ち切りを行うと、より影響の大きな（l₀+1）個の項を選択することができ、その結果、位数を2l₀+1の太さ（幅）に制限することができる。

　ここで、回転行列R’(a(β))のn次目のブロック対角行列R’⁽ⁿ⁾(a(β))のテイラー展開を次数l₀の項までで打ち切った場合に得られる、ブロック対角行列R’⁽ⁿ⁾(a(β))に対応する回転行列R’(a(β))のn次成分をR_l0 ⁽ⁿ⁾(a(β))と記すこととする。すなわち、n次成分である行列R_l0 ⁽ⁿ⁾(a(β))は、次数0の項から次数l₀の項までの各項の行列の和である。

　また、実際のブロック対角行列R’⁽ⁿ⁾(a(β))と、テイラー展開により求めたn次成分R_l0 ⁽ⁿ⁾(a(β))との打ち切り誤差の行列を誤差行列E_R ⁽ⁿ⁾と記すこととする。

　打ち切り誤差の行列E_R ⁽ⁿ⁾を評価するために、スペクトラルノルムを用いることとする。所定の行列Aのスペクトラルノルムは以下の式（４４）に示すように定義され、このスペクトラルノルムは固有値の最大値と同値である。これは、球面調和領域の頭部伝達関数（HRTF）のベクトルのノルムに対する誤差ベクトルのノルムの割合の上限を与えることを意味する。スペクトラルノルムの他、フロベニウスノルムなどを用いて解析的に誤差の目安を与えてもよいが、本明細書においてはスペクトラルノルムのみについて説明する。

　そこで、次式（４５）に示される誤差行列E_R ⁽ⁿ⁾の固有値の絶対値を計算すると、以下の式（４６）に示すように表される。

　式（４６）に示す値は、複素指数関数におけるテイラー展開の剰余項の絶対値であり、式（４６）の右辺がその上限を示している。このことは、例えば「Bobkov, S. G., “Asymptotic Expansions for Products of Characteristic Functions Under Moment Assumptions of Non-integer Orders,” inConvexity and Concentration, pp.297-357, Springer New York, 2017」などに詳細に記載されている。

　誤差行列E_R ⁽ⁿ⁾の固有値の絶対値の最大値（上限値）から次式（４７）に示すようにスペクトラルノルムが求まる。

　なお、式（４７）において上限が求められているのは、導出される固有値において式（４６）により示される値が不確定であり、上限（最大値）のみが確定するからである。また、式（４６）の右辺において2|x^l0|/l₀!が選択される場合もあるが、そのようなケースは稀であるので、ここでは説明を行わないこととする。

　式（４７）から、誤差行列E_R ⁽ⁿ⁾により示されるn次成分R_l0 ⁽ⁿ⁾(a(β))の打ち切り誤差を所定の許容誤差ε₀以下にするためには、以下の式（４８）を満たすテイラー展開の次数l₀で打ち切りを行う必要がある。

　また、式（４８）を満たす次数l₀のうち、最も小さい次数l₀を選択することで、打ち切り誤差、すなわち許容誤差ε₀のなかで最も回転のための演算量が少なくなる。

　式（４８）における許容誤差ε₀は、回転後のベクトル、すなわち行ベクトルH’(g_t ^-1,ω)、または、入力信号のベクトルD’(ω)のノルムに対する誤差ベクトルのノルムの割合である。

　ところで、回転行列はユニタリ行列である（例えば「Angular Momentum in Quantum Mechanics (Investigations in Physics) by E. R. Edmonds, 1957」参照）ため、次式（４９）に示すように回転後のベクトルのノルムは変化しない。

　また、回転行列R’(g)全体の誤差を示す誤差行列E_R(g)のノルムがεであるとき、次式（５０）が成立する。

　これらの式（４９）および式（５０）から、以下の式（５１）が成立する。すなわち、回転後の誤差ベクトルのノルムは、正しい回転後のベクトルのノルムのε倍以下となる。

　さらに、上述の式（４７）から誤差行列E_R ⁽ⁿ⁾、すなわち許容誤差ε₀と各パラメータの関係が明らかとなった。ここでいう各パラメータとは、次数n、回転角度β、テイラー展開の次数l₀である。

　これらの３つのパラメータと、許容誤差ε₀との４つの変数のうちの３つが決定されると、残りの１つの変数が決定される。

　まず、式（４７）におけるnは球面調和関数の次数n、つまり球面調和領域の次数nごとに値が異なることが分かる。

　また、許容誤差ε₀を先に決定する場合、次数nごとに異なる次数l₀が求まる。これに対して、次数l₀を全ての次数nで同じ値に設定する場合には、許容誤差ε₀は次数nごとに異なる上限をもつことになり、次数nが大きくなるほど、許容誤差ε₀は大きくなる。また、回転角度βが大きいほど許容誤差ε₀が大きくなることも分かる。

　さらに、これらのパラメータは時間周波数ωごとに異なる値が指定されてもよい。例えば許容誤差ε₀を時間周波数ωの関数ε₀（ω）として指定することも可能である。

　また、誤差のある回転を複数回積み重ねると、回転による誤差、すなわち実際の回転行列R’(g_t)に対する近似的な回転行列の誤差も累積されていく。仮に、一定の許容誤差ε₀を含む行列をｔ回積み重ねると、累積の誤差εの上限supεは次式（５２）に示すようになる。

　さらにτ回目の誤差の上限がε_τである場合、ｔ回目までの累積の誤差の上限supεは、次式（５３）に示すようになる。

　ところで、上述した第６の手法では、微小な回転を積み重ねる手法（以下、微小回転累積手法とも称する）、または回転の積み重ねを行わずに常に回転前の球面調和領域の頭部伝達関数の行ベクトルH_S(ω)を回転させる手法（以下、非累積回転手法とも称する）の何れかの手法により行ベクトルH’(g_t ^-1,ω)が算出されると説明した。

　すなわち、微小回転累積手法では、上述の式（４１）が計算されて行ベクトルH’(g_t ^-1,ω)が算出され、非累積回転手法では上述の式（３５）または式（３６）が計算されて行ベクトルH’(g_t ^-1,ω)が算出される。同様に第５の手法においても微小回転累積手法により行ベクトルH’(g_t ^-1,ω)が算出される。

　そこで提案手法では、例えば非累積回転手法において、算出される行ベクトルH’(g_t ^-1,ω)について一定以上の品質の担保を重視する場合、許容誤差ε₀を指定して、回転の角度β＝β_tに対して式（４８）から適切な次数l₀を計算により求めるようにした。

　その他、例えば角度βと次数l₀とが対応付けられたテーブルを予め用意しておき、そのテーブルから角度β＝β_tに対応付けられている次数l₀を得るようにしてもよい。

　なお、角度β_tに対して次数l₀を求める場合、球面調和関数の次数nごとに次数l₀が求められるようにしてもよいし、全ての次数nに対して共通の次数l₀が求められるようにしてもよい。

　式（４７）の誤差sup||E_R ⁽ⁿ⁾||₂の値は次数nが大きいほど大きくなるため、式（４８）の次数nの値として、それぞれの球面調和関数の次数nと同じ値またはそれより大きい値を代入すればよい。ここで、次数nより大きい値としては、例えば次数nの最大次数Nなどとすることができる。

　また、例えば、求められた次数l₀が2nよりも大きくなってしまった場合、定数Cの値を定数C＝2n+1とし、次数l₀が2n以下である場合には定数C＝l₀としてもよい。

　また、許容誤差ε₀として時間周波数ωごとに異なる値が指定されるようにしてもよいし、位数kの制限自体を行うか否かが時間周波数ωごとに指定されるようにしてもよい。さらに許容誤差ε₀は、次数nごとに異なる値が指定されるようにしてもよい。

　例えば回転行列R’(g_t)の位数を制限することで得られる近似的な回転行列は、次数l₀での打ち切りを行ったテイラー展開によって得られたものでもよいし、もとの回転行列R’(g_t)の要素や何らかの方法で得られた要素の値を用いて求められたものであってもよい。

　さらにこの提案手法は、非累積回転手法において行ベクトルH_S(ω)を回転させる場合に限らず、入力信号のベクトルD’(ω)を回転させる場合にも適用可能である。

　すなわち、上述した第３の手法において、回転行列R’(g_j ^-1)に代えて、提案手法により回転行列R’(g_j ^-1)に対する位数kの制限を行って得られる近似的な回転行列を用いて式（２６）の計算が行われるようにしてもよい。この場合、近似的な回転行列に基づく回転演算によりベクトルD’(ω)が回転されることになる。

　その他、例えば非累積回転手法において回転演算部２４等での演算負荷を一定に保ちたい場合、定数C＝l₀を回転角度β_tによらず一定にするようにしてもよい。このようにすれば、角度βによらず演算負荷を一定に保つことができるようになる。

　このとき、定数C＝l₀は、次数nによらず同じ値とされるようにしてもよいし、次数nごとに異なる値とされるようにしてもよい。

　この場合、誤差の上限ε_tは角度β_tによってさまざまな値となるが、式（４７）を計算することでシステムやユーザ、システムを導入するオペレータ（エンジニア）などが上限ε_tの値を逐次知ることができる。

　例えば最大誤差である上限ε_tの値やそのグラフなどをGUI（Graphical User Interface）に表示してユーザ等に提示したり、一定の誤差を超えるような回転の角度β_t＞β_maxが入力された場合、定位を犠牲にして回転角度を角度β_maxまたはβ_max以下の角度として回転演算を行うようにしてもよい。

　また、角度β_maxは、時間周波数ωの関数β_max（ω）として、時間周波数ωごとに異なる値が指定されるようにしてもよい。

　このように定数C＝l₀を回転角度β_tによらず一定にする場合等においても、回転行列R’(g_t)の位数を制限することで得られる近似的な回転行列は、次数l₀での打ち切りを行ったテイラー展開によって得られたものでもよいし、もとの回転行列R’(g_t)の要素や何らかの方法で得られた要素の値を用いて求められたものであってもよい。

　その他、定数C＝l₀を回転角度β_tによらず一定にする手法は、非累積回転手法において行ベクトルH_S(ω)を回転させる場合に限らず、第３の手法において入力信号のベクトルD’(ω)を回転させる場合にも適用可能である。

〈音声処理装置の構成例〉
　以上のような提案手法が採用される場合、音声処理装置１１は、例えば図２１に示すように構成される。なお、図２１において図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図２１に示す音声処理装置１１は、頭部回転センサ部２１、位数決定部２０１、回転行列演算部２３、回転演算部２４、頭部伝達関数保持部２６、頭部伝達関数合成部２７、および時間周波数逆変換部２８を有している。

　図２１に示す音声処理装置１１の構成は、前回方向保持部２２および回転係数保持部２５が設けられておらず、新たに位数決定部２０１が設けられている点で図１１に示した音声処理装置１１の構成と異なっており、その他の点では図１１の音声処理装置１１と同じ構成となっている。

　位数決定部２０１には、ユーザ等により指定された許容誤差ε₀や演算負荷などを示す指定情報が供給されるとともに、頭部回転センサ部２１から頭部回転情報が供給される。許容誤差ε₀は、回転行列R’(g_t)と、その回転行列R’(g_t)の位数を制限することで得られる近似的な回転行列との許容誤差であるともいえる。

　位数決定部２０１は、供給された指定情報、および頭部回転センサ部２１から供給された頭部回転情報に基づいて、回転演算の制限を行う位数kを決定し、その決定結果を回転行列演算部２３に供給する。

　回転行列演算部２３は、頭部回転センサ部２１から供給された頭部回転情報と、位数決定部２０１から供給された位数kの決定結果とに基づいて回転行列R’(g_t)の近似的な回転行列を求め、回転演算部２４に供給する。

〈駆動信号生成処理の説明〉
　次に、図２２のフローチャートを参照して、図２１に示した音声処理装置１１により行われる駆動信号生成処理について説明する。

　なお、ステップＳ９１の処理は、図１３のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ９２において位数決定部２０１は、供給された指定情報、および頭部回転センサ部２１から供給された頭部回転情報に基づいて、回転演算の制限を行う位数kを決定し、その決定結果を回転行列演算部２３に供給する。

　例えば指定情報として許容誤差ε₀を示す情報が供給された場合、位数決定部２０１は、その許容誤差ε₀および頭部回転情報により示される回転の角度β_tに基づいて次数nごとに式（４８）を満たす最小の次数l₀を計算により求める。

　なお、上述したように次数l₀は予め用意されたテーブル等から得るようにしてもよく、次数l₀は全次数nで共通の値とされてもよい。

　次数l₀が得られると、位数決定部２０１は次数l₀と次数nに基づいて定数Cを決定する。具体的には、例えば位数決定部２０１はl₀＞2nである場合、定数C＝2n+1とし、l₀≦2nである場合、定数C＝l₀とすることで位数kを決定する。

　換言すれば、位数決定部２０１は、指定情報に基づいて許容誤差ε₀を設定することにより位数kを決定する。このように許容誤差ε₀を設定することは、回転行列R’(g_t)による回転演算に対する回転行列R’(g_t)の近似的な回転行列による回転演算の誤差の許容値、つまり許容誤差ε₀に対応する回転演算の誤差の許容値を設定することであるともいうことができる。

　このようにして決定された位数kは、聴取者の頭部の回転に対応する回転行列R’(g_t)に関する回転演算の演算量を制限するためのものである。この場合、回転演算では各次数nについて、位数が位数k＝m-Cから位数k＝m+Cまでの範囲内かつ-nからnの範囲内にある最大（2C+1）個の要素のみが用いられる。すなわち、位数が所定範囲内にある最大（2C+1）個の要素についてのみ演算が行われ、結果として回転行列R’(g_t)を位数kで制限した回転演算が行われることになる。

　また、例えば指定情報として演算負荷を示す情報が供給された場合には、位数決定部２０１は演算負荷に対して定まる次数l₀を定数Cの値とする。換言すれば、位数決定部２０１は、指定情報に基づいて演算負荷、つまり近似的な回転行列による回転演算の演算量の上限を設定することにより位数kを決定する。

　この場合、定数C＝l₀は角度β_tによらず一定の値とされ、定数C＝l₀は次数nごとに決定されてもよいし、全次数nで共通とされてもよい。

　ステップＳ９３において回転行列演算部２３は、頭部回転センサ部２１から供給された頭部回転情報と、位数決定部２０１から供給された位数kとに基づいて回転行列R’(g_t)の近似的な回転行列を求め、求めた近似的な回転行列を回転演算部２４に供給する。

　例えば回転行列演算部２３は、頭部回転情報に基づいて回転行列R’(g_t)を求めるとともに、その回転行列R’(g_t)の一部の要素を抽出し、回転行列R’(g_t)の近似的な回転行列とする。

　具体的には、例えば回転行列演算部２３は、回転行列R’(g_t)を構成する各n次のブロック対角行列のうち、ステップＳ９２で各次数nについて決定された位数k＝m-Cから位数k＝m+Cかつ-nからnまでの範囲内にある最大（2C+1）個の要素を抽出する。

　そして、回転行列演算部２３は、抽出した要素を近似的な回転行列の対応する要素としてそのまま用い、それ以外の要素の値は０とすることで、回転行列R’(g_t)の近似的な回転行列を生成する。なお、抽出された要素をそのまま用いるのではなく、抽出された要素と他の値とから求まる値等を近似的な回転行列の要素として用いるようにしてもよい。

　その他、回転行列演算部２３は、回転行列R’(g_t)を構成する各次数nのブロック対角行列（n次成分）の次数l₀までのテイラー展開を実際に行うことで、回転行列R’(g_t)の近似的な回転行列を求めるようにしてもよい。

　この場合、例えば各次数nで次数l₀が共通であるとすると、回転行列R’(g_t)がテイラー展開の各次数lの項に対応する行列の和で表され、それらの複数の行列のうちの次数0から次数l₀までの各次数の行列の和が回転行列R’(g_t)の近似的な回転行列とされる。なお、回転行列R’(g_t)の近似的な回転行列を生成する場合、回転行列R’(a(β_t))の近似的な回転行列と、回転行列R’(u(α_t))と、回転行列R’(u(γ_t))とを合成するようにしてもよい。

　このようにして近似的な回転行列が得られると、その後、ステップＳ９４乃至ステップＳ９６の処理が行われて駆動信号生成処理は終了するが、これらの処理は図１３のステップＳ１６乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　但し、ステップＳ９４では、ステップＳ９３で得られた近似的な回転行列が用いられて行ベクトルH_S(ω)に対して式（３６）と同様の計算が行われ、球面調和領域で頭部伝達関数が回転される。これにより回転行列R’(g_t)による位数kで制限された回転演算が実現されることになる。

　なお、ステップＳ９３では回転行列R’(g_t)が生成され、ステップＳ９４においてその回転行列R’(g_t)のうち、位数が位数k＝m-Cから位数k＝m+Cまでかつ-nからnまでの範囲内の要素のみが用いられて回転演算が行われるようにしてもよい。このようにすることでも位数kで制限された回転演算を実現することができる。

　以上のようにして音声処理装置１１は、回転行列R’(g_t)の近似的な回転行列を生成し、その近似的な回転行列と、行ベクトルH_S(ω)とに基づいて回転後の行ベクトルH’(g_t ^-1,ω)を求める。このようにすることで、提案手法では行ベクトルH’(g_t ^-1,ω)に含まれる誤差を許容範囲内に抑えることができ、十分な品質で、かつより効率よく音を再生することができる。

　なお、以上のような提案手法は、図１１に示した構成の音声処理装置１１の回転演算部２４が、行ベクトルH’(g_t-1 ^-1,ω)がない状態において、行ベクトルH_S(ω)と回転行列R’(g_t)とに基づいて行ベクトルH’(g_t ^-1,ω)を算出する場合にも適用可能である。

〈第４の実施の形態〉
〈微小回転累積手法への適用について〉
　ところで、上述の提案手法は、微小回転累積手法にも適用することができる。

　例えば微小回転累積手法において、リアルタイムの追従性を重視するときには、許容誤差ε₀を指定して、回転角度の差分Δβ_tに対して式（４８）から適切な次数l₀を計算により求めるようにすることができる。その他、例えば差分Δβ_tと次数l₀とが対応付けられたテーブルを予め用意しておき、そのテーブルから差分Δβ_tに対応付けられている次数l₀を得るようにしてもよい。

　この場合においても球面調和関数の次数nごとに次数l₀が求められるようにしてもよいし、全ての次数nに対して共通の次数l₀が求められるようにしてもよい。

　式（４７）の誤差の値は次数nが大きいほど大きくなるため、式（４８）の次数nの値として、それぞれの球面調和関数の次数nと同じ値またはそれより大きい値を代入すればよい。ここで、次数nより大きい値としては、例えば次数nの最大次数Nなどとすることができる。

　例えば、求められた次数l₀が2nよりも大きくなってしまった場合、定数Cの値を定数C＝2n+1とし、次数l₀が2n以下である場合には定数C＝l₀としてもよい。

　また、許容誤差ε₀は、時間周波数ωごとに異なる値が指定されるようにしてもよいし、位数kの制限自体を行うか否かが時間周波数ωごとに指定されるようにしてもよい。

　例えば回転行列R’(Δg_t)を位数kで制限することで得られる近似的な回転行列は、次数l₀での打ち切りを行ったテイラー展開によって得られたものでもよいし、もとの回転行列R’(Δg_t)の要素や何らかの方法で得られた要素の値を用いて求められたものであってもよい。

　その他、微小回転累積手法におけるｔ回目の回転時の累積の誤差の上限εは、上述の式（５２）を計算することで求めることができる。

　そこで、例えば提案手法を第６の手法に適用する場合、式（５２）の計算で求められた累積の誤差εの上限supεが所定の許容誤差ε_maxを超えた場合にリセットトリガがオンされるようにしてもよい。なお、許容誤差ε_maxは、時間周波数ωごとに異なる値であってもよいし、時間周波数ωによらず一定の値であってもよい。

　図２３に累積の誤差εの時間的な推移を示す。なお、図２３において縦軸はエラー行列（誤差行列）のスペクトラルノルムを示しており、横軸は時間を示している。

　図２３では、曲線L51は、各時刻における、式（５２）に示した累積の誤差εの上限supεを示しており、曲線L52は各時刻における実際の累積の誤差を示しており、直線L53は設定された許容誤差ε_maxを示している。

　曲線L52により示される実際の累積の誤差は、累積の誤差εの上限を超えることはないが、微小な回転を積み重ねていくたびに累積の誤差は大きくなっていく。そこで、この例では、累積の誤差εの上限supεが許容誤差ε_maxを超えた時刻t51のタイミングでリセットトリガがオンとされている。

　さらに、例えば微小回転累積手法において、演算負荷を一定に保つことを重視するときには、許容誤差ε₀と、回転行列R’(Δg_t)の対角成分の太さ（有効要素幅）を定める定数C＝l₀の上限とを指定して、式（４８）を満たす最大の角度βと、回転角度の差分Δβ_tとのうちのより小さい方を回転行列R’(Δg_t)に用いる角度とするようにしてもよい。

　この場合、例えば式（４８）を満たす最大の角度βよりも差分Δβ_tが小さい場合には、実際に用いる定数Cの値を、許容誤差ε₀の範囲内、つまり式（４８）が満たされる範囲内でさらに小さい値とするようにしてもよい。

　また、式（４８）を満たす最大の角度βよりも差分Δβ_tが大きい場合、回転演算により得られる行ベクトルH’(g_t ^-1,ω)は、実際の聴取者（ユーザ）の頭部の回転に追従しきれておらず、回転に遅れが生じた状態となる。しかし、その後の処理において、回転の遅れがなくなるように回転行列R’(Δg_t)に用いる角度、すなわち差分Δβ_tが定められるようにすればよい。

　以上のように定数C＝l₀に上限を設ける場合には、回転行列R’(Δg_t)の対角成分の太さ（幅）が一定以下となるので、回転演算部２４による回転演算等での演算負荷も一定の負荷以下となるようにすることができる。すなわち、定数C＝l₀の上限を設定することで、回転演算における演算量の上限を設定することができる。

　したがって、聴取者が複数人いる場合には、例えば差分Δβ_tが小さい聴取者から順番に回転演算部２４での回転演算を行っていくようにすることができる。そうすれば、演算負荷に余力（余裕）があるときには、差分Δβ_tが大きい聴取者についての回転演算では、定数C＝l₀を他の聴取者における場合よりも大きくすることもできる。

　また、式（４７）の誤差の値は次数nが大きいほど大きくなる。そのため、定数Cに上限を設ける場合においても式（４８）の次数nの値として、それぞれの球面調和関数の次数nと同じ値またはそれより大きい値を代入すればよい。

　さらに、定数Cに上限を設ける例においても、許容誤差ε₀は時間周波数ωごとに異なる値が指定されるようにしてもよいし、位数kの制限自体を行うか否かが時間周波数ωごとに指定されるようにしてもよい。

　その他、例えば回転行列R’(Δg_t)を位数kで制限することで得られる近似的な回転行列は、次数l₀での打ち切りを行ったテイラー展開によって得られたものでもよいし、もとの回転行列R’(Δg_t)の要素や何らかの方法で得られた要素の値を用いて求められたものであってもよい。

　また、この例においてもｔ回目の回転時の累積の誤差の上限supεは、上述の式（５２）を計算することで求めることができるので、式（５２）の計算で求められた累積の誤差の上限supεが所定の許容誤差ε_maxを超えた場合にリセットトリガがオンされるようにしてもよい。そのような場合においても累積の誤差の上限supεと実際の累積の誤差は、図２３に示したように推移することになる。なお、この場合においても許容誤差ε_maxは、時間周波数ωごとに異なる値であってもよいし、時間周波数ωによらず一定の値であってもよい。

　また、微小回転累積手法において、演算負荷を一定に保ちつつリアルタイムの追従性も重視する場合、次数l₀または定数Cを回転角度、すなわち差分Δβ_tによらず一定にするようにしてもよい。

　この場合、一度の回転で生じる誤差の上限ε_tは差分Δβ_tによってさまざまな値となるが、式（４７）を計算することでシステムやユーザ、オペレータなどが上限ε_tの値を逐次知ることができる。また、例えば式（５３）を計算することで累積の誤差の上限supεを知ることもできる。

　例えば誤差の上限ε_tの値や累積の誤差の上限supεなどをGUIに表示してユーザ等に提示したり、累積の誤差の上限supεが所定の許容誤差ε_maxを超えた場合に、リセットトリガがオンされるようにすることもできる。なお、許容誤差ε_maxの値として、時間周波数ωごとに異なる値ε_max（ω）が指定されるようにしてもよい。

　図２４に累積の誤差の上限ε_tの時間的な推移を示す。なお、図２４において縦軸はエラー行列（誤差行列）のスペクトラルノルムを示しており、横軸は時間を示している。

　図２４では、曲線L61は、各時刻における、式（５３）に示した累積の誤差の上限supεを示しており、曲線L62は各時刻における実際の累積の誤差を示しており、直線L63は設定された許容誤差ε_maxを示している。

　図２４に示す例においても図２３に示した例と同様に、曲線L61に示される累積の誤差の上限supεも曲線L62に示される実際の累積の誤差も時間とともに増加していくが、実際の累積の誤差が累積の誤差の上限supεを超えることはない。

　特に、図２４に示す例では、各時刻における差分Δβ_tの大きさによって誤差の上限ε_tが変化する。そのため、曲線L61や曲線L62に示される値は不規則に上昇しているが、式（５３）により累積の誤差の上限supεを求めることが可能であるから、適切にリセットを行うことができる。図２４に示す例においても累積の誤差の上限supεが許容誤差ε_maxを超えた時刻t61のタイミングでリセットトリガがオンとされている。

〈音声処理装置の構成例〉
　以上のように微小回転累積手法に提案手法が適用される場合、音声処理装置１１は、例えば図２５に示すように構成される。なお、図２５において図１１または図２１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図２５に示す音声処理装置１１は、頭部回転センサ部２１、位数決定部２０１、前回方向保持部２２、回転行列演算部２３、回転演算部２４、回転係数保持部２５、頭部伝達関数保持部２６、頭部伝達関数合成部２７、および時間周波数逆変換部２８を有している。

　図２５に示す音声処理装置１１の構成は、新たに位数決定部２０１が設けられている点で図１１に示した音声処理装置１１の構成と異なっており、その他の点では図１１の音声処理装置１１と同じ構成となっている。

　位数決定部２０１は、供給された指定情報、および回転行列演算部２３から供給された差分Δβ_tに基づいて、回転演算の制限を行う位数kを決定し、その決定結果を回転行列演算部２３に供給する。

　回転行列演算部２３は、頭部回転センサ部２１から供給された頭部回転情報、前回方向保持部２２から供給された前回方向情報、および位数決定部２０１から供給された位数kの決定結果に基づいて回転行列R’(Δg_t)の近似的な回転行列を求め、回転演算部２４に供給する。

〈駆動信号生成処理の説明〉
　次に、図２６のフローチャートを参照して、図２５に示した音声処理装置１１により行われる駆動信号生成処理について説明する。

　なお、ステップＳ１３１およびステップＳ１３２の処理は、図１３のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１３２では、求められた差分Δg_tのうちの差分Δβ_tが、回転行列演算部２３から位数決定部２０１に供給される。

　ステップＳ１３３において位数決定部２０１は、供給された指定情報、および回転行列演算部２３から供給された差分Δβ_tに基づいて、回転演算の制限を行う位数kを決定し、その決定結果を回転行列演算部２３に供給する。

　例えば指定情報として許容誤差ε₀を示す情報が供給された場合、位数決定部２０１は、その許容誤差ε₀と差分Δβ_tとに基づいて次数nごとに式（４８）を満たす最小の次数l₀を計算により求める。このとき差分Δβ_tが式（４８）における角度βとして用いられて次数l₀が決定される。

　次数l₀が得られると、位数決定部２０１は次数l₀と次数nに基づいて定数Cを決定する。具体的には、例えば位数決定部２０１はl₀＞2nである場合、定数C＝2n+1とし、l₀≦2nである場合、定数C＝l₀とすることで位数kを決定する。このように位数決定部２０１は、指定情報に基づいて許容誤差ε₀を設定することにより位数kを決定する。

　このようにして決定された位数kは、第３の実施の形態における場合と同様に、聴取者の頭部の仰角方向の回転に対応する回転行列R’(a(Δβ_t))に関する回転演算の演算量を制限するためのものである。この場合、少なくとも仰角方向については、各次数nで位数が位数k＝m-Cから位数k＝m+Cまでかつ-nからnまでの範囲内にある最大（2C+1）個の要素のみが用いられ、回転行列R’(a(Δβ_t))を位数kで制限した回転演算が行われることになる。

　また、例えば指定情報として演算負荷を示す情報、すなわち回転演算の演算量の上限を定める定数C＝l₀の上限値と、許容誤差ε₀とを示す情報が供給された場合、位数決定部２０１は定数C＝l₀の上限値と許容誤差ε₀とから式（４８）を満たす最大の角度βを求める。

　そして、位数決定部２０１は、求めた角度βと実際に頭部回転情報および前回方向情報から求まる差分Δβ_tとを比較し、それらのうちの小さい方を最終的な差分Δβ_tとして回転行列演算部２３に供給する。また、位数決定部２０１は、指定情報により示される定数C＝l₀の上限値に対して定まる位数を回転演算の制限を行う位数kとして決定し、その決定結果も回転行列演算部２３に供給する。

　さらに、例えば角度β_tによらず次数l₀または定数Cの値が一定値となるように定められている場合には、位数決定部２０１は、その次数l₀または定数Cの値に対して定まる位数を回転演算の制限を行う位数kとして決定する。

　ステップＳ１３４において、回転行列演算部２３は、ステップＳ１３２で得られた差分Δg_tと、位数決定部２０１から供給された位数kとに基づいて、差分Δβ_tに応じた仰角方向の回転行列R’(a(Δβ_t))の近似的な回転行列Rs’(a(Δβ_t))を求める。

　例えば回転行列演算部２３は、予め保持しているテーブルと差分Δβ_tとに基づいて回転行列R’(a(Δβ_t))を求めるとともに、その回転行列R’(a(Δβ_t))を構成する各n次のブロック対角行列のうち、ステップＳ１３３で各次数nについて決定された位数k＝m-Cから位数k＝m+Cまでかつ-nからnまでの範囲内にある最大（2C+1）個の要素を抽出する。

　そして、回転行列演算部２３は、抽出した要素を近似的な回転行列Rs’(a(Δβ_t))の対応する要素としてそのまま用い、それ以外の要素の値は０とすることで近似的な回転行列Rs’(a(Δβ_t))を求める。なお、抽出された要素をそのまま用いるのではなく、抽出された要素と他の値とから求まる値等を近似的な回転行列Rs’(a(Δβ_t))の要素として用いるようにしてもよい。

　その他、回転行列演算部２３は、回転行列R’(a(Δβ_t))を構成する各次数nのブロック対角行列（n次成分）の次数l₀までのテイラー展開を実際に行うことで、近似的な回転行列Rs’(a(Δβ_t))を求めるようにしてもよい。

　この場合、例えば各次数nで次数l₀が共通であるとすると、回転行列R’(a(Δβ_t))がテイラー展開の各次数lの項に対応する行列の和で表され、それらの複数の行列のうちの次数0から次数l₀までの各次数の行列の和が近似的な回転行列Rs’(a(Δβ_t))とされる。

　なお、位数決定部２０１から回転行列演算部２３に最終的な差分Δβ_tが供給された場合には、回転行列演算部２３は、その差分Δβ_tを用いて近似的な回転行列Rs’(a(Δβ_t))を求める。

　このようにして近似的な回転行列Rs’(a(Δβ_t))が得られると、その後、ステップＳ１３５乃至ステップＳ１３９の処理が行われて駆動信号生成処理は終了するが、これらの処理は図１３のステップＳ１４乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１３６では、ステップＳ１３４で得られた近似的な回転行列Rs’(a(Δβ_t))と、ステップＳ１３５で得られた回転行列R’(u(Δα_t))および回転行列R’(u(Δγ_t))とが合成されて回転行列R’(Δg_t)が求められる。

　このようにして得られた回転行列R’(Δg_t)を用いた回転演算では、位数kによって回転演算、すなわち演算量が制限される。この場合、回転演算では位数が位数k＝m-Cから位数k＝m+Cまでかつ-nからnまでの範囲内にある最大（2C+1）個の要素のみが用いられることになる。

　以上のようにして音声処理装置１１は、近似的な回転行列Rs’(a(Δβ_t))を用いて回転行列R’(Δg_t)を求め、その回転行列R’(Δg_t)と、前回の行ベクトルH’(g_t-1 ^-1,ω)とに基づいて、今回の行ベクトルH’(g_t ^-1,ω)を求める。このようにすることで、提案手法では行ベクトルH’(g_t ^-1,ω)に含まれる誤差を許容範囲内に抑えることができ、十分な品質で、かつより効率よく音を再生することができる。

〈第４の実施の形態の変形例１〉
〈音声処理装置の構成例〉
　以上のように微小回転累積手法に提案手法が適用される場合、音声処理装置１１の構成は図２５に示した構成に限らず、図２７に示す構成とすることもできる。なお、図２７において図１４または図２５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図２７に示す音声処理装置１１は、頭部回転センサ部２１、位数決定部２０１、前回方向保持部２２、回転行列演算部２３、回転演算部２４、回転係数保持部２５、頭部伝達関数保持部２６、頭部伝達関数合成部２７、および時間周波数逆変換部２８を有している。

　図２７に示す音声処理装置１１は、新たに位数決定部２０１が設けられ、位数決定部２０１から回転行列演算部２３および回転演算部２４にリセットトリガが供給される点で図１４の音声処理装置１１と異なり、その他の点では図１４の音声処理装置１１と同じ構成となっている。

　図２７に示す例では、位数決定部２０１は、回転行列演算部２３から供給された差分Δβ_tまたは頭部回転センサ部２１から供給された頭部回転情報と、供給された指定情報とに基づいて回転演算の制限を行う位数kを決定し、その決定結果を回転行列演算部２３に供給する。また、位数決定部２０１は、適宜、リセットトリガを生成し、回転行列演算部２３および回転演算部２４に供給する。

〈駆動信号生成処理の説明〉
　次に、図２８のフローチャートを参照して、図２７に示した音声処理装置１１により行われる駆動信号生成処理について説明する。

　なお、ステップＳ１６１の処理は、図２６のステップＳ１３１の処理と同様であるので、その説明は省略する。但し、ステップＳ１６１では頭部回転センサ部２１で得られた頭部回転情報が回転行列演算部２３だけでなく位数決定部２０１にも供給される。

　ステップＳ１６２において位数決定部２０１は、供給された指定情報により示される許容誤差ε₀等と、予め定められた許容誤差ε_maxとに基づいて、リセットを行うか否かを判定する。

　例えば位数決定部２０１は、許容誤差ε₀等に基づいて式（５２）または式（５３）を計算して累積の誤差の上限supε、換言すれば許容誤差ε₀等に対応する回転演算の誤差の許容値の累積の上限を求め、求めた累積の誤差の上限supεが許容誤差ε_maxよりも大きい場合、リセットを行うと判定する。なお、このリセットは次数nごとや位数mごと、時間周波数ωごとに行われるようにしてもよいし、複数の聴取者ごとに駆動信号が生成される場合には、聴取者ごとにリセットが行われてもよい。

　ステップＳ１６２においてリセットを行わないと判定された場合、位数決定部２０１は回転行列演算部２３および回転演算部２４に供給するリセットトリガをオフとし、その後、ステップＳ１６３乃至ステップＳ１６８の処理が行われる。

　なお、これらのステップＳ１６３乃至ステップＳ１６８の処理は、図２６のステップＳ１３２乃至ステップＳ１３７の処理と同様であるので、その説明は省略する。

　一方、ステップＳ１６２においてリセットを行うと判定された場合、位数決定部２０１は回転行列演算部２３および回転演算部２４に供給するリセットトリガをオンとし、その後、ステップＳ１６９およびステップＳ１７０の処理が行われる。

　なお、これらのステップＳ１６９およびステップＳ１７０の処理は、図１５のステップＳ５８およびステップＳ５９の処理と同様であるので、その説明は省略する。その他、リセットが行われる場合、ステップＳ１６９およびステップＳ１７０の処理に代えて、図２２のステップＳ９２乃至ステップＳ９４の処理が行われるようにしてもよい。

　また、ステップＳ１６８またはステップＳ１７０の処理が行われると、その後、ステップＳ１７１およびステップＳ１７２の処理が行われて駆動信号生成処理は終了するが、これらの処理は図２６のステップＳ１３８およびステップＳ１３９の処理と同様であるので、その説明は省略する。

　以上のようにして音声処理装置１１は、累積の誤差が少ない間は近似的な回転行列Rs’(a(Δβ_t))を用いて行ベクトルH’(g_t ^-1,ω)を求め、リセットトリガがオンされると正確な回転行列R’(g_t)や行ベクトルH’(g_t ^-1,ω)を求めて駆動信号を生成する。このようにすることで行ベクトルH’(g_t ^-1,ω)に含まれる誤差を許容範囲内に抑えることができ、十分な品質で、かつより効率よく音を再生することができる。

〈その他の変形例１〉
〈時間周波数ごとの許容誤差について〉
　上述したように、時間周波数ωごとに許容誤差ε₀や許容誤差ε_maxを決定するようにしてもよい。すなわち、時間周波数ωごとに位数kが決定されるようにしてもよい。

　例えば図２９に示すように時間周波数ビンωの数がW個であり、W個の時間周波数ω₁乃至時間周波数ω_Wについて行ベクトルH’(g_t ^-1,ω)が求められるとする。すなわち、行ベクトルH’(g_t ^-1,ω₁)乃至行ベクトルH’(g_t ^-1,ω_W)が得られるものとする。

　このような場合に、時間周波数ω₁乃至時間周波数ω_Wのそれぞれに対して、許容誤差ε₀に対応する許容誤差ε₀(ω₁)乃至許容誤差ε₀(ω_W)を定めるようにすることができる。

　なお、時間周波数ωごとに許容誤差ε₀を決定する場合、例えば上下や前後の音像定位に重要な帯域（時間周波数ω）に対して小さい許容誤差ε₀を設定し、逆に相対的に重要でない帯域（時間周波数ω）に対して大きい許容誤差ε₀を設定することができる。

　具体的には、例えば5kHz乃至13kHzなどの帯域に対応する時間周波数ωに対して小さい許容誤差ε₀を設定し、16kHz以上の帯域に対応する時間周波数ωに対して大きい許容誤差ε₀を設定するなどとすることができる。このようにすることで、同じ演算量でも聴感上よりよい駆動信号を生成することが可能となる。

　また、前述のような前提知識ではなく、時間周波数領域の頭部伝達関数からなる行列H(ω)や、球面調和領域の頭部伝達関数からなる行列H’(ω)などから各時間周波数ωについての許容誤差ε₀(ω)を設定するようにしてもよい。

　そのような場合、例えば行列H’(ω)、すなわち行ベクトルH’(g_t ^-1,ω)のノルムを事前に計算し、得られたノルムの値が小さい時間周波数ωに対して大きい許容誤差ε₀を設定し、逆にノルムが大きい時間周波数ωに対して小さい許容誤差ε₀を設定することが考えられる。

　このようにすることで、より信号の大きい帯域（時間周波数ω）で式（４７）に示した誤差が小さくなるようにし、信号全体での誤差が小さくなることが期待できる。これは、頭部伝達関数（HRTF）が個人に最適化されて適用される場合などに有効である。

　さらに、時間周波数ωごとに許容誤差ε₀や許容誤差ε_maxを決定する場合に、上述した上下や前後の音像定位に対する帯域の重要度合いに応じて許容誤差ε₀や許容誤差ε_maxを設定する方法と、行ベクトルH’(g_t ^-1,ω)のノルムに応じて許容誤差ε₀や許容誤差ε_maxを設定する方法とを組み合わせるようにしてもよい。

〈その他の変形例２〉
〈次数nごとの許容誤差について〉
　また、上述したように球面調和関数の次数nごとに許容誤差ε₀（以下、許容誤差ε_nとも記すこととする）を決定するようにしてもよい。

　すなわち、例えば図３０の矢印Q51に示すように、回転行列R’(g_t)や回転行列R’(Δg_t)が次数n＝4までのブロックの成分を有しているものとする。そのような場合、各次数n＝0乃至次数n＝4のそれぞれに対して、許容誤差ε₀乃至許容誤差ε₄のそれぞれを設定することが考えられる。

　特に、球面調和領域での頭部伝達関数は、高次になるほど係数が小さくなる傾向がある。そこで、そのような傾向を利用し、高次、つまり大きい次数nでは大きい許容誤差ε_nを設定し、低次、つまり小さい次数nでは小さい許容誤差ε_nを設定することで、信号全体の誤差を小さくすることができるようにしてもよい。

　また、球面調和領域での頭部伝達関数が有する傾向を、行列H’(ω)、すなわち行ベクトルH’(g_t ^-1,ω)から計算により事前に求めておき、その計算結果に基づいて各次数nの許容誤差ε_nを設定するようにしてもよい。

　例えば図３０の矢印Q52に示すように、行ベクトルH’(g_t ^-1,ω)が、次数n＝０である要素からなる行列H⁰(ω)、次数n＝１である要素からなる行列H¹(ω)、次数n＝２である要素からなる行列H²(ω)、および次数n＝３である要素からなる行列H³(ω)から構成されるとする。

　そのような場合、例えば各次数nの要素からなる行列H⁰(ω)乃至行列H³(ω)についてノルムを求め、それらのノルムに基づいて許容誤差ε₀乃至許容誤差ε₃を設定すればよい。

　さらに、各次数nについて時間周波数ωごとに許容誤差ε₀を決定するようにしてもよい。

〈その他の変形例３〉
　頭部回転センサ部のセンサ情報が無線などにより計算機１へ伝送される場合、また、再生用のヘッドホンが頭部回転センサと一体になっていて、ヘッドホン再生信号が計算機１から無線などで伝送される場合、遅延が生じる可能性がある。

　この場合、計算機１での演算量が制限されていない場合は正しい回転演算を行い、ヘッドホンに搭載された計算機２にて、遅延分の回転Δｇを行うことを考える。

　ヘッドホンに搭載された計算機２に演算量の制限がある場合、遅延分の回転Δｇの回転演算は、位数を制限して行うことができる。

　この場合、ヘッドホンへは、計算機１で回転演算がなされた入力信号のベクトルD’（g,ω）が送信され、計算機２において回転Δｇ分の位数を制限した回転演算と、入力信号D’（g,ω）と球面調和領域での頭部伝達関数のベクトルH’(ω)との合成が行われ、左右のヘッドホンの駆動信号が生成される。

〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

　図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカアレイなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　さらに、本技術は、以下の構成とすることも可能である。

（１）
　聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定する位数決定部と、
　前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数を回転させる回転演算部と、
　前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成する合成部と
　を備える信号処理装置。
（２）
　前記位数決定部は、前記回転行列に関する前記演算の誤差の許容値を設定すること、または前記演算量の上限を設定することで前記位数を決定する
　（１）に記載の信号処理装置。
（３）
　前記位数決定部は、前記回転行列をテイラー展開したときの打ち切り誤差が前記許容値に対応する許容誤差以下となるテイラー展開の次数を求め、そのテイラー展開の次数に基づいて前記位数を決定する
　（２）に記載の信号処理装置。
（４）
　前記位数決定部は、時間周波数ごとに前記位数を決定する
　（２）乃至（３）の何れか一項に記載の信号処理装置。
（５）
　前記位数決定部は、球面調和領域の次数ごとに前記位数を決定する
　（２）乃至（４）の何れか一項に記載の信号処理装置。
（６）
　前記回転演算部は、前記回転行列を前記位数で制限した前記演算として、所定範囲の前記位数の要素についてのみ前記回転行列により前記頭部伝達関数を回転させる演算を行う
　（２）乃至（５）の何れか一項に記載の信号処理装置。
（７）
　前記回転演算部は、少なくとも１つの回転方向に対する前記頭部伝達関数の回転演算について、所定時刻よりも前の他の時刻における前記回転方向の前記回転演算の演算結果を用いて前記所定時刻の前記回転演算を行うことで、前記所定時刻における前記回転後の前記頭部伝達関数を求める
　（２）乃至（５）の何れか一項に記載の信号処理装置。
（８）
　前記回転演算部は、前記所定時刻における前記聴取者の頭部の前記回転方向の回転角度と、前記他の時刻における前記聴取者の頭部の前記回転方向の回転角度との差分に応じた回転行列、および前記他の時刻における前記回転方向の前記回転演算の演算結果に基づいて、前記所定時刻における前記回転方向の前記回転演算を行う
　（７）に記載の信号処理装置。
（９）
　前記回転演算部は、前記回転行列を前記位数で制限した前記演算として、所定範囲の前記位数の要素についてのみ前記回転演算を行う
　（８）に記載の信号処理装置。
（１０）
　前記回転演算部は、前記回転方向としての仰角方向について、前記他の時刻における前記回転方向の前記回転演算の演算結果を用いて、前記所定時刻における前記回転方向の前記回転演算を行う
　（８）または（９）に記載の信号処理装置。
（１１）
　前記回転演算部は、
　　回転行列のリセットを行わない場合、前記他の時刻における前記回転方向の前記回転演算の演算結果を用いて、前記所定時刻における前記回転方向の前記回転演算を行い、
　　回転行列のリセットを行う場合、前記所定時刻における前記聴取者の頭部の前記回転方向の回転角度に応じた回転行列と前記頭部伝達関数とに基づいて、前記所定時刻における前記回転方向の前記回転演算を行う
　（８）乃至（１０）の何れか一項に記載の信号処理装置。
（１２）
　前記位数決定部は、各時刻における前記許容値の累積の上限に基づいて前記リセットを行う
　（１１）に記載の信号処理装置。
（１３）
　前記リセットは次数ごと、位数ごと、または時間周波数ごとに行われる
　（１１）または（１２）に記載の信号処理装置。
（１４）
　複数の前記聴取者ごとに前記ヘッドホン駆動信号が生成される場合、前記聴取者ごとに前記リセットが行われる
　（１１）乃至（１３）の何れか一項に記載の信号処理装置。
（１５）
　前記回転演算部は、前記頭部回転に対応する前記回転行列を構成する所定回転方向への回転を行う回転行列が複数の行列の和により表される場合、前記回転行列を前記位数で制限した前記演算として、前記複数の前記行列のうちのいくつかの前記行列の和を前記所定回転方向への回転を行う回転行列として用いて前記頭部伝達関数を回転させる演算を行う
　（１）乃至（１４）の何れか一項に記載の信号処理装置。
（１６）
　信号処理装置が、
　聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定し、
　前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数を回転させ、
　前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成する
　信号処理方法。
（１７）
　聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定し、
　前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数を回転させ、
　前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成する
　ステップを含む処理をコンピュータに実行させるプログラム。

　１１　音声処理装置，　２１　頭部回転センサ部，　２２　前回方向保持部，　２３　回転行列演算部，　２４　回転演算部，　２５　回転係数保持部，　２６　頭部伝達関数保持部，　２７　頭部伝達関数合成部，　２８　時間周波数逆変換部，　２０１　位数決定部

Claims

　聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定する位数決定部と、
　前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数を回転させる回転演算部と、
　前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成する合成部と
　を備える信号処理装置。
　前記位数決定部は、前記回転行列に関する前記演算の誤差の許容値を設定すること、または前記演算量の上限を設定することで前記位数を決定する
　請求項１に記載の信号処理装置。
　前記位数決定部は、前記回転行列をテイラー展開したときの打ち切り誤差が前記許容値に対応する許容誤差以下となるテイラー展開の次数を求め、そのテイラー展開の次数に基づいて前記位数を決定する
　請求項２に記載の信号処理装置。
　前記位数決定部は、時間周波数ごとに前記位数を決定する
　請求項２に記載の信号処理装置。
　前記位数決定部は、球面調和領域の次数ごとに前記位数を決定する
　請求項２に記載の信号処理装置。
　前記回転演算部は、前記回転行列を前記位数で制限した前記演算として、所定範囲の前記位数の要素についてのみ前記回転行列により前記頭部伝達関数を回転させる演算を行う
　請求項２に記載の信号処理装置。
　前記回転演算部は、少なくとも１つの回転方向に対する前記頭部伝達関数の回転演算について、所定時刻よりも前の他の時刻における前記回転方向の前記回転演算の演算結果を用いて前記所定時刻の前記回転演算を行うことで、前記所定時刻における前記回転後の前記頭部伝達関数を求める
　請求項２に記載の信号処理装置。
　前記回転演算部は、前記所定時刻における前記聴取者の頭部の前記回転方向の回転角度と、前記他の時刻における前記聴取者の頭部の前記回転方向の回転角度との差分に応じた回転行列、および前記他の時刻における前記回転方向の前記回転演算の演算結果に基づいて、前記所定時刻における前記回転方向の前記回転演算を行う
　請求項７に記載の信号処理装置。
　前記回転演算部は、前記回転行列を前記位数で制限した前記演算として、所定範囲の前記位数の要素についてのみ前記回転演算を行う
　請求項８に記載の信号処理装置。
　前記回転演算部は、前記回転方向としての仰角方向について、前記他の時刻における前記回転方向の前記回転演算の演算結果を用いて、前記所定時刻における前記回転方向の前記回転演算を行う
　請求項８に記載の信号処理装置。
　前記回転演算部は、
　　回転行列のリセットを行わない場合、前記他の時刻における前記回転方向の前記回転演算の演算結果を用いて、前記所定時刻における前記回転方向の前記回転演算を行い、
　　回転行列のリセットを行う場合、前記所定時刻における前記聴取者の頭部の前記回転方向の回転角度に応じた回転行列と前記頭部伝達関数とに基づいて、前記所定時刻における前記回転方向の前記回転演算を行う
　請求項８に記載の信号処理装置。
　前記位数決定部は、各時刻における前記許容値の累積の上限に基づいて前記リセットを行う
　請求項１１に記載の信号処理装置。
　前記リセットは次数ごと、位数ごと、または時間周波数ごとに行われる
　請求項１１に記載の信号処理装置。
　複数の前記聴取者ごとに前記ヘッドホン駆動信号が生成される場合、前記聴取者ごとに前記リセットが行われる
　請求項１１に記載の信号処理装置。
　前記回転演算部は、前記頭部回転に対応する前記回転行列を構成する所定回転方向への回転を行う回転行列が複数の行列の和により表される場合、前記回転行列を前記位数で制限した前記演算として、前記複数の前記行列のうちのいくつかの前記行列の和を前記所定回転方向への回転を行う回転行列として用いて前記頭部伝達関数を回転させる演算を行う
　請求項１に記載の信号処理装置。
　信号処理装置が、
　聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定し、
　前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数を回転させ、
　前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成する
　信号処理方法。
　聴取者の頭部回転に対応する回転行列に関する演算の演算量を制限するための位数を決定し、
　前記回転行列を前記位数で制限した前記演算により球面調和領域の頭部伝達関数を回転させ、
　前記演算により得られた回転後の前記頭部伝達関数と、球面調和領域の音の信号とを合成することでヘッドホン駆動信号を生成する
　ステップを含む処理をコンピュータに実行させるプログラム。