JP5380945B2 - 音響再生装置およびプログラム - Google Patents

Description

本発明は、音響信号に応じた再生音の音像を定位させる技術に関する。

再生音の音像が定位する位置を制御する技術が従来から提案されている。例えば特許文献１や特許文献２には、センサが検出したヘッドホンの方向（受聴者の頭部の方向）に応じて音像の位置を制御することで、受聴者が知覚する音像の位置を頭部の方向に拘わらず固定する技術が開示されている。
特開平４−４４５００号公報 特許第３６２４８０５号公報

特許文献１や特許文献２の技術においては受聴者の頭部の方位のみが音像の位置に反映されるから、受聴者の胴体の方位が変化した場合であっても、音像が定位する絶対的な位置（受聴者が存在する空間に対する位置）は変化しない。したがって、以下に例示するように再生音の受聴者が違和感を覚える場合がある。

いま、可搬型の表示装置を利用して受聴者が映像（例えば映画）を視聴する場合を想定する。特許文献１や特許文献２の技術では受聴者の頭部の方位が音像の位置に反映されるから、受聴者が表示装置とともに静止した状態（すなわち胴体の方位が変化しない状態）で頭部の方位を変化させた場合には、受聴者が所持する表示装置の映像に対して適切な位置に音像が定位する。しかし、特許文献１や特許文献２の技術において音像の位置に反映されるのは受聴者の頭部の方位のみであるから、受聴者の方位が表示装置とともに変化すると（例えば、表示装置を設置した自動車の方向が変化すると）、表示装置の映像と音像の位置とが整合しなくなる。したがって、再生音の受聴者が違和感を覚える場合がある。以上の事情を背景として、本発明は、受聴者の姿勢に応じた自然な定位感を実現することを目的とする。

以上の課題を解決するために、本発明に係る音響再生装置は、受聴者の頭部に装着されて音響信号に応じた再生音を再生する放音体と、再生音の音像が仮想発音点に定位するように音響信号を処理する音像定位手段と、受聴者の頭部の第１方位を検出する第１検出体と、受聴者の胴体の第２方位を検出する第２検出体と、第１モードにおいては、第１方位の変化に拘わらず第２方位に対して所定の位置となるように第１方位および第２方位に応じて仮想発音点の位置を制御し、第２モードにおいては、第１方位の変化に拘わらず、第２方位に依存しない所定の位置となるように、第１方位に応じて仮想発音点の位置を制御する位置制御手段とを具備する。以上の構成においては、第１方位の変化に拘わらず第２方位に対して所定の位置となるように仮想発音点の位置が制御されるから、受聴者の姿勢に応じた自然な定位感（例えば仮想発音点が設置された音響空間とともに移動しているかのような臨場感）を受聴者に知覚させることが可能である。また、受聴者の胴体の方位を仮想発音点の位置に反映させるか否かが第１モードと第２モードとで切替わるから、受聴者の状態に応じた適切な音像を受聴者に知覚させることが可能である。

本発明の好適な態様において、位置制御手段は、第１方位の変化とは逆方向に仮想発音点を移動させる一方、第１モードにおいては、第２方位の変化に応じて仮想発音点の位置を更新する更新処理を実行し、第２モードにおいては更新処理を省略する。

本発明の好適な態様において、第１検出体は、相互に直交する３軸の各々を中心とした回転角を第１方位として検出し、第２検出体は、相互に直交する３軸の各々を中心とした回転角を第２方位として検出する。以上の態様においては、相直交する３軸の各々を中心とした回転角が第１方位や第２方位として検出されるから、例えば頭部を水平面内で回転させる動作に加えて、前後や左右に頭部を傾斜させる動作も仮想発音点の位置に反映させることが可能である。

本発明の好適な態様において、発音点から収音点までの伝達特性を複数の発音点の各々について記憶する記憶手段と、位置制御手段が設定した仮想発音点における伝達特性を、記憶手段に記憶された２以上の伝達特性を補間することで算定する補間手段とを具備し、音像定位手段は、補間手段による補間後の伝達特性を音響信号に付加する。以上の態様においては、仮想発音点における伝達特性が２以上の伝達特性の補間で算定されるから、記憶手段に格納すべき伝達特性のデータ量を削減できるという利点がある。さらに好適な態様において、補間手段は、補間に使用する２以上の伝達特性の各々における遅延を特定する遅延特定手段と、遅延特定手段が特定した遅延を除去した２以上の伝達特性を補間する特性補間手段と、２以上の伝達特性の各々の遅延を補間する遅延補間手段と、特性補間手段による補間後の伝達特性に対して遅延補間手段による補間後の遅延を付加することで仮想発音点における伝達特性を算定する遅延付加手段とを含む。以上の態様においては、各伝達特性から抽出された遅延が伝達特性の補間後に付加されるから、事前に用意された伝達特性の遅延に関する特徴まで正確に反映した伝達特性を補間で算定することが可能である。

第２検出体は、例えば、音像定位手段および位置制御手段を収容する可搬型の筐体に固定される。さらに好適な態様において、第２検出体は、音響再生装置の筐体を受聴者の身体に吊下げるためのストラップに固定される。第２検出体をストラップに固定した態様によれば、音響再生装置の筐体を小型化しながら受聴者の胴体の方位を正確に検出できるという利点がある。

本発明の他の態様に係る音響再生装置は、受聴者の頭部に装着される放音体に音響信号に応じた再生音を発生させる音響再生装置であって、再生音の音像が仮想発音点に定位するように音響信号を処理する音像定位手段と、第１モードにおいては、受聴者の頭部の第１方位に拘わらず当該受聴者の胴体の第２方位に対して所定の位置となるように第１方位および第２方位に応じて仮想発音点の位置を制御し、第２モードにおいては、第１方位の変化に拘わらず、第２方位に依存しない所定の位置となるように、第１方位に応じて仮想発音点の位置を制御する位置制御手段とを具備する。以上の態様においては、第１方位の変化に拘わらず第２方位に対して所定の位置となるように仮想発音点の位置が制御されるから、受聴者の姿勢に応じた自然な定位感を受聴者に知覚させることが可能である。

なお、頭部の水平面内の回転のみに基づいて仮想発音点の位置を制御する構成においては、頭部を前後や左右に傾ける動作が仮想発音点の位置に反映されないという問題がある。そこで、本発明の別の観点に係る音響再生装置は、受聴者の頭部に装着されて音響信号に応じた再生音を再生する放音体と、再生音の音像が仮想発音点に定位するように音響信号を処理する音像定位手段と、受聴者の頭部の第１方位を、相互に直交する３軸の各々を中心とした回転角として検出する第１検出体と、第１方位の変化に拘わらず所定の位置となるように第１方位に応じて仮想発音点の位置を制御する位置制御手段とを具備する。以上の構成においては、相直交する３軸の各々を中心とした回転角として第１方位が特定されるから、例えば水平面内の回転のみが検出される構成と比較すると、受聴者が頭部を前後や左右に傾斜させた場合であっても、聴者の頭部の変位が高精度に補償されるように仮想発音点の位置を制御できるという利点がある。

また、以上の各態様に係る音響再生装置は、音響の再生に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。具体的な態様に係るプログラムは、受聴者の頭部に装着される放音体に音響信号に応じた再生音を発生させるプログラムであって、再生音の音像が仮想発音点に定位するように音響信号を処理する音像定位処理と、第１モードにおいては、受聴者の頭部の第１方位に拘わらず当該受聴者の胴体の第２方位に対して所定の位置となるように第１方位および第２方位に応じて仮想発音点の位置を制御し、第２モードにおいては、第１方位の変化に拘わらず、第２方位に依存しない所定の位置となるように、第１方位に応じて仮想発音点の位置を制御する位置制御処理とをコンピュータに実行させる。本発明のプログラムによれば、以上の各態様に係る音響再生装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響再生装置の外観図である。音響再生装置１００は、音声や楽音などの様々な音響を再生する可搬型の機器（ポータブルオーディオプレイヤ）であり、本体部１２と放音体１４とを具備する。本体部１２は、ステレオ形式の２系統の音響信号ＳOUT（ＳOUT_R，ＳOUT_L）を生成および出力する。放音体１４は、本体部１２が出力する各音響信号ＳOUTに応じた再生音を放射する機器（ヘッドホンやイヤホン）であり、再生音を聴取する利用者（以下「受聴者」という）の頭部に装着される。放音体１４は、受聴者の右耳に装着されて音響信号ＳOUT_Rに応じた再生音を放射する放音部１４Rと、受聴者の左耳に装着されて音響信号ＳOUT_Lに応じた再生音を放射する放音部１４Lとで構成される。受聴者は、本体部１２を胴体に携持する（例えば衣服のポケットに収容する）とともに放音体１４を頭部に装着したうえで移動することが可能である。

図２は、本体部１２のブロック図である。図２に示すように、本体部１２は、演算処理装置２０と記憶装置３２と入力装置３４と表示装置３６と信号処理装置４０とを具備するコンピュータシステムで実現される。入力装置３４と表示装置３６とが配置された筐体５０（図１）の内部に演算処理装置２０と記憶装置３２と信号処理装置４０とが収容される。演算処理装置２０は、記憶装置３２が記憶するプログラムを実行することで複数の機能（位置制御部２２，特性設定部２４）を実現する。

記憶装置３２は、演算処理装置２０が実行するプログラムや演算処理装置２０が使用するデータを記憶する。半導体記録媒体や磁気記録媒体など公知の記録媒体が記憶装置３２として任意に採用される。記憶装置３２は、音響の波形を表す音響信号Ｓ0（サンプル系列）を例えば楽曲毎に記憶する。また、記憶装置３２は、音響信号Ｓ0に付与される伝達特性（頭部伝達関数）を表す複数の伝達特性データＤを記憶する。

信号処理装置４０は、音響信号Ｓ0を処理して音響信号ＳOUT（ＳOUT_R，ＳOUT_L）を生成する電子回路（ＤＳＰ）である。図２に示すように、信号処理装置４０は、音像定位部４２とＤ/Ａ変換部４４とを含んで構成される。音像定位部４２は、放音体１４からの再生音を聴取したときに受聴者が知覚する音像を特定の位置の仮想的な発音点（以下「仮想発音点」という）に定位させるための音像定位処理を音響信号Ｓ0に対して実行することで音響信号Ｑ（Ｑ_R，Ｑ_L）を生成する。Ｄ/Ａ変換部４４は、音像定位部４２が生成したデジタルの音響信号Ｑ（Ｑ_R，Ｑ_L）をアナログの音響信号ＳOUT（ＳOUT_R，ＳOUT_L）に変換して放音体１４に出力する。

図３は、音像定位部４２のブロック図である。図３に示すように、音像定位部４２は、信号分離部７２と畳込演算部７４と信号合成部７６とを含んで構成される。信号分離部（サラウンドコーデック）７２は、記憶装置３２に記憶された音響信号Ｓ0から複数の系統（5.1ch）の音響信号Ｓ（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS，ＳLF）を生成する。音響信号ＳLF以外の５系統の音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS）の各々は、受聴者に対して特定の方向（以下「受音方向」と表記する）から到来する音響に相当する。さらに詳述すると、音響信号Ｓd_Lおよび音響信号Ｓd_Rは、受聴者に対して前方の左右から到来する音響に相当する。また、音響信号Ｓd_Cは、受聴者の正面から到来する音響に相当し、音響信号Ｓd_LSおよび音響信号Ｓd_RSは、受聴者に対して後方の左右から到来する音響に相当する。一方、音響信号ＳLFは低音域の音響に相当する。

畳込演算部７４は、信号分離部７２による処理後の各音響信号Ｓdに伝達特性（頭部伝達関数）Ｈを付加する。図３に示すように、畳込演算部７４は、音響信号ＳLF以外の各音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS）が供給される５個のフィルタ処理部７８で構成される。各フィルタ処理部７８は、右耳用のフィルタ７８Rと左耳用のフィルタ７８Lとで構成される。フィルタ７８Lおよびフィルタ７８Rの各々は、信号分離部７２から供給される音響信号Ｓdに対して伝達特性Ｈの畳込み演算を実行するＦＩＲ（Finite Impulse Response）フィルタである。伝達特性Ｈは、例えばインパルス応答の時間軸上の波形を表す係数列であり、再生音の音像が仮想発音点に定位するように各フィルタ処理部７８のフィルタ７８Rとフィルタ７８Lとについて演算処理装置２０（特性設定部２４）が個別に設定する。なお、伝達特性Ｈの設定については後述する。

信号合成部７６は、各フィルタ処理部７８のフィルタ７８Lによる処理後の音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS）と信号分離部７２が生成する音響信号ＳLFとを加算することで音響信号Ｑ_Lを生成する。同様に、信号合成部７６は、各フィルタ処理部７８のフィルタ７８Rによる処理後の音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS）と音響信号ＳLFとを加算することで音響信号Ｑ_Rを生成する。信号合成部７６が生成した音響信号Ｑ_Lおよび音響信号Ｑ_Rは、Ｄ/Ａ変換部４４にて音響信号ＳOUT_Lおよび音響信号ＳOUT_Rに変換されたうえで放音体１４に出力される。

図２の入力装置３４は、音響再生装置１００に対する指示のために利用者が操作する操作子で構成される。例えば、利用者は、入力装置３４を適宜に操作することで、音響再生装置１００が再生する楽曲（音響信号Ｓ0）の選択や仮想発音点の初期的な位置の指定を実行する。表示装置３６は、例えば、利用者による選択の候補となる複数の楽曲の名称や受聴者と仮想発音点との関係を表す画像、あるいは映画やアニメなどの動画像を表示する。

図２に示すように、音響再生装置１００は、検出体６１と検出体６２とを具備する。検出体６１および検出体６２の各々は、自身の方位を検出するセンサである。例えばジャイロセンサや地磁気センサや加速度センサを適宜に組合せることで検出体６１や検出体６２が構成される。図１に示すように、検出体６１は、受聴者の頭部とともに移動する放音体１４（放音部１４Rまたは放音部１４L）に搭載されて受聴者の頭部の方位ＤHを検出する。検出体６２は、例えば受聴者の胴体とともに移動する本体部１２の筐体５０内に収容されて受聴者の胴体（頭部以外の部分）の方位ＤBを検出する。

方位ＤHや方位ＤBの変化は、図４に示すように、相互に直交する３軸（ＸＹＺ座標系）の各々を基準としたオイラー角として検出される。図４において、Ｘ軸は受聴者の前後の方向（正側が正面）に相当し、Ｙ軸は左右の方向に相当し、Ｚ軸は上下の方向に相当する。頭部の方位ＤHの回転角［αh，βh，γh］は、Ｚ軸を中心とする回転角αh（水平面内での頭部の回転角）と、Ｙ軸を中心とする回転角βh（正中面内での頭部の回転角）と、Ｘ軸を中心とする回転角γh（前額面内での頭部の回転角）とで規定される。回転角βhは頭部を前後に傾斜（前後屈）させる角度に相当し、回転角γhは、頭部を正面に向けたまま左右に傾斜（左右側屈）させる角度に相当する。方位ＤHと同様に、胴体の方位ＤBの回転角［αb,βb,γb］は、Ｚ軸を中心とする回転角αbと、Ｙ軸を中心とする回転角βbと、Ｘ軸を中心とする回転角γbとで定義される。

図２の位置制御部２２は、検出体６１が検出した方位ＤHと検出体６２が検出した方位ＤBとの双方に応じて仮想発音点の位置を可変に制御する。さらに詳述すると、位置制御部２２は、受聴者の頭部の方位ＤHが変化した場合であっても胴体の方位ＤBに対する仮想発音点の位置が変化せず、かつ、胴体の方位ＤBに応じて仮想発音点の位置が変化するように、方位ＤHおよび方位ＤBの双方に応じて仮想発音点の位置を制御する。さらに詳述すると、位置制御部２２は、頭部の方位ＤHの変化とは逆方向に仮想発音点を移動させ、かつ、胴体の方位ＤBの変化の方向に仮想発音点を移動させる。

いま、頭部の方位ＤHが角度［αh,βh,γh］だけ回転した場合を想定する。放音体１４は受聴者の頭部に固定されるから、仮想発音点を頭部の方位ＤHに応じて移動しないと仮定すると、受聴者が知覚する音像の位置は、数式(1)で表現されるように初期の位置［ｘ,ｙ,ｚ］から頭部の方位ＤHの回転に連動して角度［αh,βh,γh］だけ回転した位置［ｘ',ｙ',ｚ'］に移動する。数式(1)の行列Ｍ0は角度［αh,βh,γh］の回転を意味する。

頭部の方位ＤHが回転した場合でも胴体の方位ＤBに対する仮想発音点の位置を変化させないために、位置制御部２２は、方位ＤHの回転とは逆方向に同じ角度（絶対値）だけ仮想発音点を回転させる。すなわち、以下の数式(2)で表現されるように、初期の位置［ｘ,ｙ,ｚ］から角度［−αh,−βh,−γh］だけ回転した位置［ｘ1,ｙ1,ｚ1］に仮想発音点を移動させる。なお、数式(2)の行列Ｍ1は、角度［−αh,−βh,−γh］の回転を意味する。

さらに、胴体の方位ＤBに応じて仮想発音点を移動するために、位置制御部２２は、方位ＤBの回転の方向に同じ角度だけ仮想発音点を移動させる。すなわち、以下の数式(3)で表現されるように、初期の位置［ｘ,ｙ,ｚ］から角度［αb,βb,γb］だけ回転した位置［ｘ2,ｙ2,ｚ2］に仮想発音点を移動させる。数式(3)の行列Ｍ2は角度［αb,βb,γb］の回転を意味する。

図５は、位置制御部２２の動作のフローチャートである。位置制御部２２は、例えば所定の周期で図５の処理を反復することで、記憶装置３２に格納された仮想発音点の位置［ｘ,ｙ,ｚ］を順次に更新する。仮想発音点の位置［ｘ,ｙ,ｚ］の初期値は、例えば入力装置３４に対する操作に応じて設定される。

図５の処理を開始すると、位置制御部２２は、受聴者の頭部の方位ＤHが変化したか否かを判定する（ステップＳ1）。方位ＤHが変化した場合、位置制御部２２は、方位ＤHの回転角［αh,βh,γh］と現段階の位置［ｘ,ｙ,ｚ］とについて数式(2)の演算を実行することで移動後の仮想発音点の位置［ｘ1,ｙ1,ｚ1］を算定し（ステップＳ2）、記憶装置３２に格納された位置［ｘ,ｙ,ｚ］を位置［ｘ1,ｙ1,ｚ1］に更新する（ステップＳ3）。方位ＤHが変化していない場合、ステップＳ2およびステップＳ3の処理（位置［ｘ,ｙ,ｚ］の更新）は実行されない。

次に、位置制御部２２は、受聴者の胴体の方位ＤBが変化したか否かを判定する（ステップＳ4）。方位ＤBが変化した場合、位置制御部２２は、方位ＤBの回転角［αb,βb,γb］と現段階の位置［ｘ,ｙ,ｚ］とについて数式(3)の演算を実行することで移動後の仮想発音点の位置［ｘ2,ｙ2,ｚ2］を算定し（ステップＳ5）、記憶装置３２に格納された位置［ｘ,ｙ,ｚ］を位置［ｘ2,ｙ2,ｚ2］に更新する（ステップＳ6）。方位ＤBが変化していない場合、ステップＳ5およびステップＳ6の処理（位置［ｘ,ｙ,ｚ］の更新）は実行されない。

さらに、位置制御部２２は、現段階で記憶装置３２に格納されている位置［ｘ,ｙ,ｚ］（すなわち、直前のステップＳ3またはステップＳ6での更新後の位置［ｘ,ｙ,ｚ］）を、水平角θと仰角φとで規定される方向［θ,φ］に変換する（ステップＳ7）。図６に示すように、水平角θは、仮想発音点の位置［ｘ,ｙ,ｚ］をＸＹＺ座標系のＸＹ平面（水平面）に投影した座標Ｐxyと原点とを通過する直線Ｌxyが例えばＸ軸となす角度に相当し、仰角φは、仮想発音点の位置［ｘ,ｙ,ｚ］と原点とを通過する直線Ｌが直線Ｌxyとなす角度に相当する。位置制御部２２による変換後の方向［θ,φ］は、変換前の位置［ｘ,ｙ,ｚ］とともに記憶装置３２に記憶される。

記憶装置３２は、複数の方向［θ,φ］の各々について予め伝達特性データＤを記憶する。すなわち、図７に示すように、複数の水平角θ（θ1,θ2,……）と複数の仰角φ（φ1,φ2,……）との各組合せについて記憶装置３２に伝達特性データＤが格納される。伝達特性データＤは、信号分離部７２が生成する各音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓ_C，Ｓd_LS，Ｓd_RS）に対応した受音方向毎に生成された複数の伝達特性Ｈ（Ｈ_L，Ｈ_R，Ｈ_C，Ｈ_LS，Ｈ_RS）で構成される。方向［θ,φ］について記憶装置３２に格納された伝達特性データＤのうち特定の音響信号Ｓd（受音方向）に対応する伝達特性Ｈは、例えば、ＸＹＺ座標系の原点（収音点）からみて当該方向［θ,φ］にある発音点でインパルス音を発生した場合に当該受音方向から原点に到来するインパルス応答の波形を表す係数列である。各伝達特性Ｈは、受聴者の右耳で知覚されるインパルス応答の波形を表す伝達特性ｈRと、受聴者の左耳で知覚されるインパルス応答の波形を表す伝達特性ｈLとに区分される。

図２の特性設定部２４は、位置制御部２２が設定した仮想発音点の方向［θ,φ］に対応した伝達特性データＤを特定して音像定位部４２（畳込演算部７４）に指示する。特性設定部２４が特定した伝達特性データＤのうちひとつの受音方向に対応する伝達特性Ｈは、畳込演算部７４のうち当該受音方向に対応するフィルタ処理部７８に供給および設定される。例えば、音響信号Ｓd_Lが供給されるフィルタ処理部７８には、特性設定部２４が特定した伝達特性データＤに含まれる伝達特性Ｈ_Lが設定される。さらに詳述すると、伝達特性Ｈのうち右耳用の伝達特性ｈRはフィルタ７８Rに設定され、左耳用の伝達特性ｈLはフィルタ７８Lに設定される。以上のように仮想発音点の方向［θ,φ］に応じた伝達特性データＤが畳込演算部７４による演算（音響信号Ｓdに対する伝達特性Ｈの付加）に使用されるから、放音体１４からの再生音の受聴者が知覚する音像は、位置制御部２２が設定した仮想発音点に定位する。

位置制御部２２が設定した方向［θ,φ］に対応する水平角θおよび仰角φの伝達特性データＤが記憶装置３２内に存在する場合、特性設定部２４は、当該伝達特性データＤを記憶装置３２から取得して音像定位部４２に指示する。ただし、記憶装置３２に格納された各伝達特性データＤの水平角θおよび仰角φは離散的であるから、位置制御部２２が設定した仮想発音点の方向［θ,φ］の伝達特性データＤが記憶装置３２に用意されていない場合がある。そこで、本形態の特性設定部２４は補間部８０を具備する。位置制御部２２が設定した方向［θ,φ］の伝達特性データＤが記憶装置３２に存在しない場合、補間部８０は、当該方向［θ,φ］に対応する伝達特性データＤを、記憶装置３２に格納された複数の伝達特性データＤを補間することで生成する。補間部８０による補間にｍ個の伝達特性データＤが使用される場合を以下では想定する（ｍは自然数）。

図８は、補間部８０のブロック図である。図７に示すように、補間部８０は、アップサンプリング部８１と遅延特定部８２と遅延除去部８３と遅延補間部８４と特性補間部８５と遅延付加部８６とダウンサンプリング部８７とを含んで構成される。なお、補間部８０による伝達特性Ｈの補間は、畳込演算部７４による演算に使用される各伝達特性Ｈについて個別に実行される。すなわち、各音響信号Ｓdに対応する複数の受音方向（５方向）の各々について右耳用の伝達特性ｈRと左耳用の伝達特性ｈLとを補間する演算が同様の手順で反復される。しかし、以下では説明の煩雑化を防止する観点から、ｍ個の伝達特性データＤの各々において受音方向と右耳／左耳とが共通する伝達特性Ｈ（ｍ個の伝達特性Ｈ（Ｈ1〜Ｈm））から１個の伝達特性ＨNEWを補間する構成や手順のみを代表的に説明する。

図８のアップサンプリング部８１は、ｍ個の伝達特性Ｈ（Ｈ1〜Ｈm）の各々のサンプリング周波数をアップサンプリング処理でＮ倍に上昇させる（Ｎ＞１）。遅延特定部８２は、アップサンプリング部８１による処理後のｍ個の伝達特性Ｈ（Ｈ1〜Ｈm）の各々について遅延量ｄA（ｄA1〜ｄAｍ）を特定する。遅延量ｄAi（ｉ＝１〜ｍ）は、図８に示すように、伝達特性Ｈiの測定時にインパルス音を発生させた時点（伝達特性Ｈiの時間軸上の原点）から実際にインパルス応答が収音され始めるまでの時間長である。遅延除去部８３は、ｍ個の伝達特性Ｈ（Ｈ1〜Ｈm）の各々から当該伝達特性Ｈiの遅延量ｄAiを除去することで伝達特性ＨAiを生成する。さらに詳述すると、遅延除去部８３は、伝達特性Ｈiを時間軸上で遅延量ｄAiだけ手前側に移動させる（伝達特性Ｈiの位相を進ませる）ことで伝達特性ＨAiを生成する。

遅延補間部８４は、ｍ個の伝達特性Ｈ（Ｈ1〜Ｈm）の各々の遅延量ｄA（ｄA1〜ｄAm）を補間することで遅延量ｄを算定する。例えば、遅延補間部８４は、ｍ個の遅延量ｄA1〜ｄAmの加重和を補間後の遅延量ｄとして算定する。一方、特性補間部８５は、遅延除去部８３が算定したｍ個の伝達特性ＨA1〜ＨAmを補間することで伝達特性Ｈ0を特定する。ｍ個の伝達特性ＨA1〜ＨAmの補間には公知の技術が任意に採用される。例えば、特性補間部８５は、ｍ個の伝達特性ＨA1〜ＨAmの加重和を補間後の伝達特性Ｈ0として算定する。

遅延付加部８６は、特性補間部８５による補間後の伝達特性Ｈ0に対して遅延補間部８４による補間後の遅延量ｄを付加することで伝達特性ＨNEWを算定する。遅延量ｄの付加は、伝達特性Ｈ0を時間軸上で遅延量ｄだけ遅延させる（伝達特性Ｈ0の位相を遅らせる）処理である。ダウンサンプリング部８７は、遅延付加部８６が生成した伝達特性ＨNEWのサンプリング周波数をダウンサンプリング処理で１/Ｎ倍に低下させる。以上の手順で生成された伝達特性ＨNEWが伝達特性Ｈとして畳込演算部７４の各フィルタに設定される。

次に、補間部８０による処理の具体例を説明する。位置制御部２２が設定した仮想発音点の方向［θ,φ］の水平角θが１３°で仰角φが５°である場合（［θ,φ］＝［13,5］）を以下では想定する。伝達特性データＤが用意された水平角θおよび仰角φの各々の分解能（刻み幅）が１０°であるとすれば、図９に示すように、目標の水平角（13°）を挟む水平角θ（θ＝10,20）と目標の仰角（５°）を挟む仰角φ（φ＝0,10）とに対応した４個（ｍ＝４）の伝達特性データＤ（［θ,φ］＝［10,0］，［20,0］，［10,10］，［20,10］）の各々の伝達特性Ｈ1〜Ｈ4が補間部８０による伝達特性ＨNEWの生成に使用される。

さらに詳述すると、伝達特性Ｈ1（[10,0]）と伝達特性Ｈ2（[20,0]）とが伝達特性Ｈ12（[13,0]に対応する伝達特性Ｈ）の算定に使用され、伝達特性Ｈ3（[10,10]）と伝達特性Ｈ4（[20,10]）とが伝達特性Ｈ34（[13,10]に対応する伝達特性Ｈ）の算定に使用される。そして、伝達特性Ｈ12と伝達特性Ｈ34との補間で目標の伝達特性ＨNEW（[13,5]に対応する伝達特性Ｈ）が生成される。さらに詳述すると以下の通りである。

アップサンプリング部８１による処理後の伝達特性Ｈ1〜Ｈ4の各々は、遅延特定部８２および遅延除去部８３にて伝達特性ＨAiと遅延量ｄAiとに分離される。特性補間部８５は、伝達特性ＨA1と伝達特性ＨA2との補間で伝達特性Ｈ12を算定するとともに、伝達特性ＨA3と伝達特性ＨA4との補間で伝達特性Ｈ34を算定する。伝達特性Ｈ12および伝達特性Ｈ34の算定（補間）には、例えば以下の数式(1a)および数式(1b)が利用される。
Ｈ12＝0.8・ＨA1＋0.2・ＨA2 ……(1a)
Ｈ34＝0.8・ＨA3＋0.2・ＨA4 ……(1b)
さらに、遅延補間部８４は、例えば以下の数式(2a)および数式(2b)に示すように、遅延量ｄA1と遅延量ｄA2との補間で遅延量ｄ12を算定するとともに、遅延量ｄA3と遅延量ｄA4との補間で遅延量ｄ34を算定する。
ｄ12＝0.8・ｄA1＋0.2・ｄA2 ……(2a)
ｄ34＝0.8・ｄA3＋0.2・ｄA4 ……(2b)
以上の各数式から理解されるように、特性補間部８５や遅延補間部８４での演算に適用される加重値は、目標となる水平角θや仰角φに近い水平角θや仰角φの伝達特性ＨAiや遅延量ｄAiに対する加重値ほど大きい数値となるように選定される。

次いで、遅延補間部８４は、伝達特性Ｈ12と伝達特性Ｈ34との補間で伝達特性Ｈ0を算定し（例えば数式(3a)）、遅延補間部８４は、遅延量ｄ12と遅延量ｄ34との補間で遅延量ｄを算定する（例えば数式(3b)）。
Ｈ0＝0.5・Ｈ12＋0.5・Ｈ34 ……(3a)
ｄ＝0.5・ｄ12＋0.5・ｄ34 ……(3b)

そして、遅延付加部８６は、数式(3a)で算定した伝達特性Ｈ0に対して数式(3b)の遅延量ｄを付加することで目標の伝達特性ＨNEWを算定する。さらにダウンサンプリング部８７による処理を経た伝達特性ＨNEWが、伝達特性Ｈとして畳込演算部７４の各フィルタに設定される。以上が特性設定部２４の作用である。

以上に説明したように、本形態においては、受聴者の頭部の方位ＤHが変化した場合であっても胴体の方位ＤBに対する仮想発音点の位置が変化せず、かつ、胴体の方位ＤBに応じて仮想発音点の位置が変化するように、方位ＤHおよび方位ＤBの双方に応じて仮想発音点の位置が制御される。例えば、受聴者が東方向に進行している状態で前方に音像を定位させた場合を想定すると、東方向への進行中に受聴者が頭部を回転させた場合であっても仮想発音点の位置は受聴者の前方（東側）に維持される。一方、受聴者の進行が東方向から南方向に変更すると、仮想発音点の位置も受聴者の東側から南側に変化する（受聴者の前方に維持される）。したがって、仮想発音点が設置された音響空間とともに移動しているかのような定位感（恰もスピーカを身体に固定したまま移動しているかのような臨場感）を受聴者に知覚させることが可能である。

例えば、表示装置３６に映画などの動画像を表示させたまま受聴者が音響再生装置１００を携持する場合を想定すると、受聴者が静止している場合はもちろん、受聴者が音響再生装置１００とともに移動して方位を変更させた場合であっても、表示装置３６に表示された映像と仮想発音点の位置との整合を維持することが可能である。

さらに、本形態においては、相互に直交する３軸（Ｚ軸，Ｙ軸，Ｘ軸）の各々を中心とした回転角（αh,βh,γh）が受聴者の頭部の方位ＤHとして検出される。したがって、例えば水平面内での頭部の回転（頭部を左右に振る動作）のみを検出する場合と比較すると、受聴者が頭部を前後や左右に傾斜させた場合であっても、受聴者の知覚する仮想発音点の位置の変化が補償される（胴体の方位ＤBに対して所定の関係の位置に維持される）という利点がある。

また、伝達特性データＤが用意されていない水平角θと仰角φとの組合せに対応する伝達特性Ｈが記憶装置３２内の複数の伝達特性Ｈの補間によって算定されるから、記憶装置３２に記憶する必要がある伝達特性データＤの容量を削減できるという利点もある。さらに、補間に使用されるｍ個の伝達特性Ｈ1〜Ｈmから抽出された遅延量ｄA1〜ｄAmを補間した遅延量ｄが、伝達特性ＨA1〜ＨAmの補間後の伝達特性Ｈ0に付加されるから、所望の水平角θおよび仰角φに対応する伝達特性Ｈを高精度に生成できるという利点もある。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

本形態の音響再生装置１００には２種類の動作モード（第１モード，第２モード）がある。第１モードは、第１実施形態と同様に、受聴者の頭部の方位ＤHの変化に拘わらず胴体の方位ＤBに対して所定の位置に仮想発音点を制御する動作モード（すなわち、仮想発音点の位置が受聴者の胴体の位置に対して相対的に決定されるモード）である。第２モードは、受聴者の頭部の方位ＤHの変化に拘わらず、胴体の方位ＤBに依存しない所定の位置に仮想発音点を制御する動作モードである。すなわち、第２モードにおいては、受聴者が所在する空間を基準とした位置（胴体の方位ＤBに依存しないという意味で絶対的な位置）に仮想発音点が設定される。受聴者は、入力装置３４を適宜に操作することで第１モードおよび第２モードの何れかを選択する。

図１０は、本形態における位置制御部２２の動作のフローチャートである。図１０に示すように、位置制御部２２は、第１実施形態（図５）におけるステップＳ3の直後（ステップＳ4の直前）にステップＳ9を実行する。ステップＳ9において、位置制御部２２は、音響再生装置１００の動作モードとして第１モードが選択されているか否かを判定する。

第１モードが選択されている場合、位置制御部２２は、第１実施形態と同様に、記憶装置３２に格納された位置［ｘ,ｙ,ｚ］を胴体の方位ＤBの変化に応じて更新するための処理（ステップＳ4〜ステップＳ6）を実行する。一方、第２モードが選択されている場合、位置制御部２２は、ステップＳ4からステップＳ6までの処理を実行せずにステップＳ7を実行する。したがって、第２モードにおいては胴体の方位ＤBの変化が仮想発音点の位置に反映されない。

以上のように本形態においては、受聴者の胴体の方位ＤBが動作モードに応じて選択的に仮想発音点の位置に反映されるから、例えば受聴者の状態に応じた適切な音像を受聴者に知覚させることが可能である。例えば、受聴者の胴体の方位ＤBを基準とした所定の位置に仮想発音点を設定する第１モードにおいては、受聴者が移動している状態では、仮想的な音響空間とともに移動しているかのような自然な臨場感を受聴者は知覚する。しかし、第１モードのもとで例えば受聴者が寝転がると、仮想的な音響空間も受聴者の身体とともに横転したかのように知覚され、受聴者が違和感を覚える場合もある。

本形態の第２モードにおいては受聴者の胴体の方位ＤBが仮想発音点の位置に反映されないから、受聴者の知覚する仮想的な音響空間は、受聴者の胴体の姿勢に拘わらず（例えば受聴者が寝転がった場合でも）、受聴者が所在する空間を基準とした位置に維持される。したがって、第２モードを選択できない場合と比較して、受聴者の姿勢に拘わらず自然な定位感を受聴者に知覚させることが可能である。以上の説明から理解されるように、受聴者が移動しながら音響を鑑賞する場合には第１モードが好適であり、受聴者が例えば室内で静止しながら音響を鑑賞する場合には第２モードが好適である。

＜Ｃ：第３実施形態＞
図１１は、本発明の第３実施形態に係る音響再生装置１００の外観図である。図１１に示すように、音響再生装置１００は、本体部１２（筐体５０）を受聴者の身体に吊下げるためのストラップ５２（例えば受聴者の首に本体部１２を吊下げるためのネックストラップ）を具備する。ストラップ５２は、放音体１４Rを本体部１２に接続するコード５４Rの途中の部位と放音体１４Lを本体部１２に接続するコード５４Lの途中の部位とにわたる曲線状の部材である。

図１１に示すように、検出体６２はストラップ５２に設置される。受聴者の身体に装着された状態でストラップ５２は受聴者の胴体とともに変位するから、検出体６２は、第１実施形態と同様に受聴者の胴体の方位ＤBを検出する。検出体６１が放音体１４（例えば放音部１４R）に設置された構成は第１実施形態と同様である。

筐体５０に検出体６２を設置した第１実施形態においては、例えば受聴者が所持する鞄に本体部１２が収容された場合（すなわち本体部１２が受聴者の腕とともに変位する場合）に、受聴者の胴体の方位ＤBが正確に検知されない可能性がある。本形態の検出体６２は、受聴者の身体に装着されたストラップ５２に設置されるから、受聴者の胴体に正確に連動して変位する。したがって、第１実施形態と比較して受聴者の胴体の方位ＤBを正確に検知できる。また、検出体６２をストラップ５２に設置することで、筐体５０に検出体６２が設置される第１実施形態と比較して筐体５０が小型化されるという利点もある。

＜Ｄ：変形例＞
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合せてもよい。

（１）変形例１
検出体６１や検出体６２を設置する位置は任意である。例えば、ヘッドホンを放音体１４として採用した場合にはヘッドアームに検出体６１が設置される。また、筐体５０およびストラップ５２の双方に検出体６２を設置した構成も採用される。例えば、筐体５０の検出体６２による検出値とストラップ５２の検出体６２による検出値との平均が胴体の方位ＤBとして位置制御部２２の処理に使用される。また、ストラップ５２の形態は適宜に変更される。例えば、環状に作成されたストラップを筐体５０に固定した構成も好適である。

（２）変形例２
伝達特性データＤが充分な分解能の水平角θおよび仰角φについて用意された場合や仮想発音点の位置に要求される精度が低い場合には補間部８０が省略され得る。補間部８０を省略した構成では、記憶装置３２に格納された伝達特性データＤ（伝達特性Ｈ）のみが音響信号Ｓ0の音像定位処理に使用される。

（３）変形例３
演算処理装置２０が実現する機能と信号処理装置４０が実現する機能との区分は任意に変更される。例えば、演算処理装置２０がプログラムを実行することで音像定位部４２を実現する構成や、位置制御部２２または特性設定部２４を信号処理装置４０が実現する構成も採用される。

本発明の第１実施形態に係る音響再生装置の外観図である。 音響再生装置のブロック図である。 音像定位部のブロック図である。 受聴者の頭部や胴体の角度を説明するための概念図である。 位置制御部の動作のフローチャートである。 仮想発音点の位置を規定する形式を説明するための概念図である。 伝達特性データの概念図である。 補間部のブロック図である。 補間部の動作の具体例を説明するための概念図である。 本発明の第２実施形態における位置制御部の動作のフローチャートである。 本発明の第３実施形態に係る音響再生装置の外観図である。

符号の説明

１００……音響再生装置、１２……本体部、１４……放音体、１４R……放音部、１４L……放音部、２０……演算処理装置、２２……位置制御部、２４……特性設定部、３２……記憶装置、３４……入力装置、３６……表示装置、４０……信号処理装置、４２……音像定位部、４４……Ｄ/Ａ変換部、５０……筐体、５２……ストラップ、６１……検出体、６２……検出体、７２……信号分離部、７４……畳込演算部、７６……信号合成部、７８……フィルタ処理部、７８R……フィルタ、７８L……フィルタ、８１……アップサンプリング部、８２……遅延特定部、８３……遅延除去部、８４……遅延補間部、８５……特性補間部、８６……遅延付加部、８７……ダウンサンプリング部。

Claims (10)

1. 受聴者の頭部に装着されて音響信号に応じた再生音を再生する放音体と、
   前記再生音の音像が仮想発音点に定位するように前記音響信号を処理する音像定位手段と、
   前記受聴者の頭部の第１方位を検出する第１検出体と、
   前記受聴者の胴体の第２方位を検出する第２検出体と、
   第１モードにおいては、前記第１方位の変化に拘わらず前記第２方位に対して所定の位置となるように前記第１方位および前記第２方位に応じて前記仮想発音点の位置を制御し、第２モードにおいては、前記第１方位の変化に拘わらず、前記第２方位に依存しない所定の位置となるように、前記第１方位に応じて前記仮想発音点の位置を制御する位置制御手段と
   を具備する音響再生装置。
2. 前記位置制御手段は、前記第１方位の変化とは逆方向に前記仮想発音点を移動させる一方、前記第１モードにおいては、前記第２方位の変化に応じて前記仮想発音点の位置を更新する更新処理を実行し、前記第２モードにおいては前記更新処理を省略する
   請求項１の音響再生装置。
3. 前記第１検出体は、相互に直交する３軸の各々を中心とした回転角を前記第１方位として検出し、
   前記第２検出体は、相互に直交する３軸の各々を中心とした回転角を前記第２方位として検出する
   請求項１または請求項２の音響再生装置。
4. 発音点から収音点までの伝達特性を複数の発音点の各々について記憶する記憶手段と、
   前記位置制御手段が設定した前記仮想発音点における伝達特性を、前記記憶手段に記憶された２以上の伝達特性を補間することで算定する補間手段とを具備し、
   前記音像定位手段は、前記補間手段による補間後の伝達特性を前記音響信号に付加する
   請求項１から請求項３の何れかの音響再生装置。
5. 前記補間手段は、
   前記補間に使用する前記２以上の伝達特性の各々における遅延を特定する遅延特定手段と、
   前記遅延特定手段が特定した遅延を除去した前記２以上の伝達特性を補間する特性補間手段と、
   前記２以上の伝達特性の各々の遅延を補間する遅延補間手段と、
   前記特性補間手段による補間後の伝達特性に対して前記遅延補間手段による補間後の遅延を付加することで前記仮想発音点における伝達特性を算定する遅延付加手段と
   を含む請求項４の音響再生装置。
6. 前記音像定位手段および前記位置制御手段を収容する可搬型の筐体を具備し、
   前記第２検出体は前記筐体に固定される
   請求項１から請求項５の何れかの音響再生装置。
7. 前記音像定位手段および前記位置制御手段を収容する可搬型の筐体と、
   前記筐体を受聴者の身体に吊下げるためのストラップとを具備し、
   前記第２検出体は前記ストラップに固定される
   請求項１から請求項５の何れかの音響再生装置。
8. 前記筐体に設置されて前記再生音に対応する動画像を表示する表示装置
   を具備する請求項６または請求項７の音響再生装置。
9. 受聴者の頭部に装着される放音体に音響信号に応じた再生音を発生させる音響再生装置であって、
   前記再生音の音像が仮想発音点に定位するように前記音響信号を処理する音像定位手段と、
   第１モードにおいては、前記受聴者の頭部の第１方位に拘わらず当該受聴者の胴体の第２方位に対して所定の位置となるように前記第１方位および前記第２方位に応じて前記仮想発音点の位置を制御し、第２モードにおいては、前記第１方位の変化に拘わらず、前記第２方位に依存しない所定の位置となるように、前記第１方位に応じて前記仮想発音点の位置を制御する位置制御手段と
   を具備する音響再生装置。
10. 受聴者の頭部に装着される放音体に音響信号に応じた再生音を発生させるプログラムであって、
    前記再生音の音像が仮想発音点に定位するように前記音響信号を処理する音像定位処理と、
    第１モードにおいては、前記受聴者の頭部の第１方位に拘わらず当該受聴者の胴体の第２方位に対して所定の位置となるように前記第１方位および前記第２方位に応じて前記仮想発音点の位置を制御し、第２モードにおいては、前記第１方位の変化に拘わらず、前記第２方位に依存しない所定の位置となるように、前記第１方位に応じて前記仮想発音点の位置を制御する位置制御処理と
    をコンピュータに実行させるプログラム。

Images