WO2021261385A1

WO2021261385A1 - 音響再生装置、ノイズキャンセリングヘッドフォン装置、音響再生方法、音響処理プログラム

Info

Publication number: WO2021261385A1
Application number: PCT/JP2021/023134
Authority: WO
Inventors: 正之西口
Original assignee: 公立大学法人秋田県立大学
Priority date: 2020-06-22
Filing date: 2021-06-18
Publication date: 2021-12-30

Abstract

コンテンツの音響信号を明瞭に再生することが可能な音響再生装置を提供する。環境音取得部（１０）は、外部の環境音響信号を取得する。音響算出部（２０）は、環境音取得部（１０）により取得された環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を算出する。音響制御部（３０）は、再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御する。再生部（４０）は、音響制御部（３０）により制御された再生音響信号を再生する。

Description

音響再生装置、ノイズキャンセリングヘッドフォン装置、音響再生方法、音響処理プログラム

　本発明は、特に音響再生装置、ノイズキャンセリングヘッドフォン装置、音響再生方法、音響処理プログラムに関する。

　近年、電子データで提供されるコンテンツの音を再生しながら、受聴者の周囲の音（環境音）も同時に聞くことができる、いわゆる、耳穴開放型ヘッドフォンや、外音取り込み機能付きのヘッドフォンが普及してきている。
　またこれらのヘッドフォンでは、外部の環境音の鼓膜面への侵入を低減するためのノイズキャンセリング機能を同時に有するものもある。

　一方、音響信号の解析や圧縮等の技術において、周波数軸における聴覚のマスキング効果が利用されている。この聴覚におけるマスキング効果とは、ある音が他の音の存在によって聴こえにくくなる効果である。
　特許文献１には、聴覚のマスキング効果が利用された音響信号符号化の技術の一例が記載されている。特許文献１の技術では、聴覚のマスキング効果を利用するために、マスキング効果のビット割り当ての閾値（以下、マスキング閾値という。）が計算されている。

特開平５－２４８９７２号公報

Ａｎｄｒｅａｓ　Ｓｐａｎｉａｓ他著、「Ａｕｄｉｏ　Ｓｉｇａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　Ｃｏｄｉｎｇ」、米国、Ｗｉｌｅｙ－Ｉｎｔｅｒｓｃｉｅｎｃｅ，Ｊｏｈｎ　Ｗｉｌｅｙ　＆　Ｓｏｎｓ，Ｉｎｃ、２００７年Ｈｉｄｅｔｏｓｈｉ　Ｎａｋａｓｈｉｍａ他著、「Ｆｒｅｑｕｅｎｃｙ　ｄｏｍａｉｎ　ｂｉｎａｕｒａｌ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎ　ｉｎｔｅｒａｕｒａｌ　ｐｈａｓｅ　ａｎｄ　ｌｅｖｅｌ　ｄｉｆｆｅｒｅｎｃｅｓ」、Ａｃｏｕｓｔｉｃａｌ　Ｓｃｉｅｎｃｅ　＆　Ｔｅｃｈｎｏｌｏｇｙ、日本、２００３年、Ｖｏｌ．２４、Ｎｏ．４、ｐ．１７２－１７８Ｙｏｓｈｉｆｕｍｉ　Ｃｈｉｓａｋｉ他著、「Ａｚｉｍｕｔｈａｌ　ａｎｄ　ｅｌｅｖａｔｉｏｎ　ｌｏｃａｌｉｚａｔｉｏｎ　ｏｆ　ｔｗｏ　ｓｏｕｎｄ　ｓｏｕｒｃｅｓ　ｕｓｉｎｇ　ｉｎｔｅｒａｕｒａｌ　ｐｈａｓｅ　ａｎｄ　ｌｅｖｅｌ　ｄｉｆｆｅｒｅｎｃｅｓ」、Ａｃｏｕｓｔｉｃａｌ　Ｓｃｉｅｎｃｅ　＆　Ｔｅｃｈｎｏｌｏｇｙ、日本、２００８年、Ｖｏｌ．２９、Ｎｏ．２、ｐ．１３９－１４８

　しかしながら、環境音の方位、周波数特性、音のレベル等を考慮せず、周波数軸の聴覚のマスキング効果を用いるだけでは、コンテンツの音響信号を十分に明瞭化して再生することはできなかった。

　本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを目的とする。

　本発明の音響再生装置は、再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御する音響制御部と、前記音響制御部により制御された前記再生音響信号を再生する再生部とを備えることを特徴とする。
　本発明のノイズキャンセリングヘッドフォン装置は、外部の環境音響信号を取得する環境音取得部と、前記環境音取得部により取得された前記環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を算出する音響算出部と、再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種に応じて、前記音響算出部により算出された前記環境音響信号を制御する音響制御部と、前記音響制御部により制御された前記環境音響信号によりノイズキャンセリングを行いつつ、前記再生音響信号を再生する再生部とを備えることを特徴とする。
　本発明の音響再生方法は、音響再生装置により実行される音響再生方法であって、再生するコンテンツに関する再生音響信号、及び／又は外部の環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御し、制御された前記再生音響信号、及び／又は外部の環境音響信号を再生することを特徴とする。
　本発明の音響信号処理プログラムは、音響再生装置により実行される音響信号処理プログラムであって、前記音響再生装置を、音響制御部により、再生するコンテンツに関する再生音響信号、及び／又は外部の環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御させ、再生部により、前記音響制御部により制御された前記再生音響信号、及び／又は外部の環境音響信号を再生させることを特徴とする。

　本発明によれば、コンテンツの再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御し、この制御された再生音響信号を再生することで、明瞭に再生することが可能な音響再生装置を提供することができる。

本発明の実施の形態に係る音響再生装置の制御構成図である。本発明の実施の形態に係る音響再生処理のフローチャートである。図２に示す環境音響算出処理の概念図である。図２に示す環境音響算出処理の概念図である。図２に示す音響制御処理の概念図である。図２に示す音響制御処理における前頭面の対称性の概念図である。図２に示す音響制御処理の概念図である。図２に示す音響制御処理の概念図である。図２に示す音響制御処理の概念図である。本発明の他の実施の形態に係る音響再生装置の制御構成図である。

＜実施の形態＞
〔音響再生装置１の制御構成〕
　まず、図１を参照して、本発明の実施の形態に係る音響再生装置１の制御構成について説明する。

　音響再生装置１は、映像や音声や文字等のデータであるコンテンツの音響信号を再生する装置である。本実施形態において、音響再生装置１は、例えば、外音取り込み機能のあるノイズキャンセリングヘッドフォン、無線接続ヘッドフォン、仮想多チャンネルヘッドフォン、映画館やパブリックビューイング会場の機器、専用のデコーダー及びヘッドトラッキングセンサー、ＶＲ（Virtual Reality）やＡＲ（Augmented Reality）やＭＲ（Mixed Reality）用のＨＭＤ（Head-Mounted Display）、ゲーム専用機、家庭用テレビ、スマートフォン（Smart Phone）、その他の家電製品等である。

　音響再生装置１は、制御構成として、環境音取得部１０、音響算出部２０、音響制御部３０、及び再生部４０を備える。

　環境音取得部１０は、外部の環境音響信号を取得する。環境音取得部１０は、受聴者の周囲における複数方向の環境音を取得し、それぞれを環境音響信号として出力する、各種方式のマイクロフォン及びＡ／Ｄコンバーター等である。本実施形態においては、環境音取得部１０は、受聴者のＬ（左）及びＲ（右）の耳付近の環境音響信号を取得する例について記載する。

　音響算出部２０は、環境音取得部１０により取得された環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を算出する。
　具体的には、音響算出部２０は、環境音響信号による空間的マスキング効果のマスキング閾値を算出してもよい。音響算出部２０は、集音され、記憶部に格納された環境音響信号を取得したり、変換したりして、周波数マスキングを計算することが可能である。音響算出部２０は、この空間的マスキング効果の算出において、空間的マスキング効果の前頭面に関する対称性を利用して、環境音響信号の受聴者からみた前後の区別をすることなく、マスキング閾値を算出してもよい。

　音響制御部３０は、再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御する。ここで、再生音響信号は、再生するコンテンツに関する音響信号である。再生音響信号は、例えば、コンテンツに含まれる情報を基にしてデジタルデータが復号化され、再生部４０で再生されることで受聴者が聴くことが可能な音声信号であってもよい。
　より具体的に、音響制御部３０は、環境音響信号によるマスキング閾値を下回らないように、再生音響信号の空間的配置、周波数的配置、各周波数成分からなる群の一種を制御してもよい。音響制御部３０は、この制御として、空間的マスキング効果を示すマスキング閾値との重なりが小さくなる方向に制御することが可能である。この際、音響制御部３０は、空間的マスキング効果の前頭面に関する対称性を利用して、環境音響信号の受聴者からみた前後の区別をすることなく再生音響信号を制御することも可能である。この前後の区別をすることない制御は、上述の前後の区別をすることなく算出されたマスキング閾値を用いて実行されてもよい。
　さらに、音響制御部３０は、再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種に応じて、音響算出部２０により算出された環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御してもよい。

　再生部４０は、音響制御部３０により制御された再生音響信号を再生する。再生部４０は、例えば、Ｄ／Ａコンバーター、アンプ（Amplifier）、ヘッドフォンやイヤフォンの電磁ドライバー及びダイヤフラムを備えたスピーカー（以下、「スピーカー等」という。）、受聴者の装着する耳当てやイヤーピース等を備えている。再生部４０は、デジタルの再生音響信号をデジタル信号のまま又はＤ／Ａコンバーターでアナログ音声信号に変換し、スピーカー等から出力して、受聴者に聴かせることが可能である。または、再生部４０は、音声信号を別途、受聴者が装着したヘッドフォンやイヤフォン等に出力してもよい。さらに、再生部４０は、再生音響信号を符号化して、音声ファイルやストリーミング音声として出力することで再生してもよい。

　これに加え、音響再生装置１は、例えば、各種回路として、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）、ＤＳＰ（Digital Signal Processor）、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の制御演算部を含んでいる。

　加えて、音響再生装置１は、記憶手段として、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリー、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体、光学記録媒体等である記憶部を含んでいてもよい。ＲＯＭとしては、フラッシュメモリーやその他の書き込み、追記可能な記録媒体を含んでいてもよい。さらに、ＨＤＤの代わりに、ＳＳＤ（Solid State Drive）を備えていてもよい。この記憶部には、本発明の実施の形態に係る制御プログラム及び各種のコンテンツを格納してもよい。このうち、制御プログラムは、本実施形態の音響信号処理プログラムを含む各機能構成及び各方法を実現するためのプログラムである。この制御プログラムは、ファームウェア等の組み込みプログラム、ＯＳ（Operating System）及びアプリケーションソフトウェア（Application Software、以下、単に「アプリ」という。）を含む。各種のコンテンツは、例えば、映画や音楽のデータ、オーディブルブック、音声合成可能な電子書籍のデータ、テレビジョンやラジオの放送データ、カーナビゲーションや各種家電等の操作指示に関する各種音声データ、その他の音声出力可能なデータであってもよい。または、携帯電話やトランシーバー等の音声通話データやメッセンジャーでのテキストの合成音声のデータをコンテンツとすることも可能である。これらのコンテンツは、有線や無線で伝送されたファイルやデータ塊でダウンロードされて取得されても、ストリーミング等により段階的に取得されてもよい。

　さらに、音響再生装置１は、液晶ディスプレイや有機ＥＬディスプレイ等の表示部、ボタン、キーボード、マウスやタッチパネル等のポインティングデバイス等の入力部、無線や有線での各種機器との接続を行うインターフェイス部とを備えていてもよい。このうち、インターフェイス部は、マイクロＳＤ（登録商標）カードやＵＳＢ（Universal Serial Bus）メモリー等のフラッシュメモリー媒体等のインターフェイス、ＬＡＮボード、無線ＬＡＮボード、シリアル、パラレル等のインターフェイスを含んでいてもよい。

　また、音響再生装置１は、主に記憶手段に格納された各種プログラムを用いて制御部が実行することで、本発明の実施の形態に係る各方法を、ハードウェア資源を用いて実現することができる。
　なお、上述の構成の一部又は任意の組み合わせをＩＣやプログラマブルロジックやＦＰＧＡ（Field-Programmable Gate Array）等でハードウェア的、回路的に構成してもよい。

〔音響再生装置１による音響再生処理〕
　次に、図２～図８を参照して、本発明の実施の形態に係る音響再生装置１による音響信号再生処理の説明を行う。
　本実施形態の音響信号再生処理は、主に音響再生装置１において、それぞれ、制御部が記憶部に格納された制御プログラムを、各部と協働し、ハードウェア資源を用いて制御して実行し、又は、各回路で直接実行する。
　以下で、図２のフローチャートを参照して、音響信号再生処理の詳細をステップ毎に説明する。

（ステップＳ１０１）
　まず、音響再生装置１の音響算出部２０が、環境音響信号取得処理を行う。
　環境音取得部１０は、外部の環境音響信号を取得する。環境音取得部１０は、例えば、所定距離離れて左右の外音を取り込むマイク等でＬ（左）チャンネルの信号（以下、「Ｌ信号」という。）及びＲ（右）チャンネルの信号（以下、「Ｒ信号」という。）の外部環境音を取り込んで、Ａ／Ｄ変換された各信号を、音声データとして記憶部に格納する。

（ステップＳ１０２）
　ここで、音響算出部２０が、環境音響算出処理を行う。
　音響算出部２０は、環境音取得部１０により取得された環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を算出する。この際、音響算出部２０は、環境音響信号による空間的マスキング効果のマスキング閾値を算出する。

　ここで、図３（ａ）により、聴覚におけるマスキング効果について説明する。聴覚におけるマスキング効果は、ある音が他の音の存在によって聴こえにくくなる効果である。以下、本実施形態において、聴こえを妨害する音を「マスカー」といい、聴こえが妨害される音を「マスキー」という。
　マスキング効果は、周波数マスキング（同時マスキング）及び時間マスキング（継時マスキング）に大別される。周波数マスキングは、マスカーとマスキーが時間的に重なっている場合に生じるマスキングであり、時間マスキングは時間的に離れている場合に生じるマスキングである。

　図３（ａ）のグラフにおいて、横軸は周波数、縦軸は信号の大きさ（エネルギー）である振幅を示す。すなわち、図３（ａ）は、ある信号に含まれるある１本のスペクトル（純音）をマスカーとしたときに、このマスカーによってマスクされるスペクトル（マスキー）の範囲及びマスキング閾値の例のグラフである。この例では、信号ａ、信号ｂに対応したマスキング閾値Ｍａ、Ｍｂをそれぞれ示している。
　このように、信号成分の存在しないマスカーの周波数近傍についても、マスキーの閾値が上昇する。また、閾値が上昇する周波数範囲はマスカーの周波数に対して対称ではなく、マスカーに対してマスキーの周波数が高いほうが低い周波数の音よりマスクされやすい。したがって、聴覚的には、マスカーはマスカーの周波数だけではなくその両側に広がった成分を持つような状況が生じる。信号スペクトルのエネルギーがマスキング閾値より小さくなる周波数は、音の知覚に寄与しない。
　図３（ａ）において塗りつぶされているマスキング閾値Ｍａ、Ｍｂ以下の範囲が、周波数マスキングによってマスクされ知覚されない部分となる。この例においては、信号ｃは、信号ａのマスキング閾値Ｍａにより聴こえづらくなる。

　図３（ｂ）により、聴覚の空間的マスキング効果に対応したマスキング閾値について説明する。
　本実施形態で用いるようなバイノーラル収音された音響信号、空間サンプリングされた音響信号は、空間的に近くに存在する信号の相関が大きく、波形が類似した部分とそうでない部分が混在していると考えられる。マスキングの観点から考えると、空間サンプリングされた信号においては、各チャンネル又は方向におけるマスキングの情報を利用できる可能性がある。そこで本実施形態では、空間サンプリングされた信号の分析のために、マスキング効果を空間領域に拡張した「空間的マスキング」を用いる。

　図３（ｂ）の概念図では、手前側の軸は受聴者から見込んだ音源の方向（信号の空間的角度方向）、横軸は周波数、縦軸は信号のエネルギー（振幅）を表す。マスカーの信号の裾野にある四角錐の内側の領域がこの信号によりマスクされると考えられる領域を表す。図３（ａ）の周波数マスキングと比較すると、図３（ｂ）では、方向の次元が追加されており、次元が一つ増えていることがわかる。なお、空間的方向には方位角及び仰角が含まれる。図３（ｂ）のように、空間的マスキングでは、マスキング閾値Ｔａ、Ｔｂは三次元的になる。つまり、空間方向においてもマスキングが及び、マスクされる信号が生じる。このような空間的マスキングでは、両耳情報が相互作用する聴覚の中枢系に関わるマスキングとなる。

　この空間的マスキングの閾値を算出するため、本実施形態では、まず、周波数領域でのマスキング閾値を算出する。
　このため、音響算出部２０は、環境音取得部１０により取得された外部の環境音響信号の音声データ等を切り出し、ＤＦＴ、ＭＤＣＴ等によって、時間領域から周波数領域の信号へ変換し、音響信号として記憶部に格納する。具体的には、音響算出部２０は、Ｌ信号及びＲ信号の各チャンネルの音声信号を数マイクロ秒～数十ミリ秒程度のウィンドウ（フレーム）に切り出し、ＤＦＴ（discrete Fourier transformation、離散フーリエ変換）、ＭＤＣＴ（Modified Discrete Cosine Transform、変形離散コサイン変換）等によって、時間領域から周波数領域へ変換する。このフレームは、例えば、サンプリング周波数４８ｋＨｚ、量子化ビット数１６ビットの場合、２０４８サンプル程度を用いることが好適である。音響算出部２０は、このフレームを、各チャンネルの音響信号（周波数成分）として出力する。すなわち、本実施形態の環境音響信号は、周波数領域の信号となる。
　または、音響算出部２０は、バンドパスフィルター等で周波数分析を行って、各サブバンド成分の信号（以下、「サブバンド信号」という。）に帯域分割して、周波数領域の信号に変換してもよい。
　加えて、音響算出部２０は、これらの周波数領域の信号への分割の結果を時系列で分析し、環境音響信号がトーン性の信号かノイズ性の信号かを判断可能である。

　これを基に、音響算出部２０は、各チャンネルの音響信号から、聴覚の空間的マスキング効果に対応した周波数領域でのマスキング閾値を算出する。
　この周波数領域でのマスキング閾値の計算自体は、例えば、非特許文献１に記載の方式で実現することが可能である。
　より詳細な計算方法について説明すると、音響算出部２０は、例えば、特許文献１に記載されたようなＢａｒｋスペクトルにマスキング閾値計算式（Spreading Function、以下、「ＳＦ」という。）を畳み込む。そして、音響算出部２０は、ＳＦＭ（Spectral Flatness Measure）及び調整係数を用いて、Ｓｐｒｅａｄマスキング閾値Ｍ_spreadを算出する。この上で、音響算出部２０は、逆畳み込みにより、Ｓｐｒｅａｄマスキング閾値Ｍ_spreadを、Ｂａｒｋスペクトルの領域に戻すことで、仮の閾値Ｔを算出する。この上で、本実施形態においては、音響算出部２０は、仮の閾値Ｔを、各Ｂａｒｋインデックスに該当するＤＦＴやＭＤＣＴのスペクトルの本数で割ってから、絶対閾値と比較することで、仮の閾値Ｔが、周波数マスキングの最終的な閾値Ｍ_finalに変換される。

　この上で、音響算出部２０は、この周波数領域の閾値Ｍ_finalから、聴覚の空間的マスキング効果に対応したマスキング閾値を更に算出する。

　この際、音響算出部２０は、音響信号の方向情報として、各周波数成分の信号の到来方向の推定値を算出して用いる。
　具体的には、音響算出部２０は、各周波数成分について、受聴者から見た到来方向を算出する。この際、音響算出部２０は、ＬチャンネルとＲチャンネルの強度の比を取してもよい。その強度の比から、各周波数成分の信号の到来方向を推定することが可能である。
　または、音響算出部２０は、環境音取得部１０で取得した外部環境音の全帯域信号である音声信号そのもの、又は、バンドパスフィルターで帯域分割した各サブバンド信号の左チャンネルの信号と右チャンネルの信号の相互相関を、サブバンド毎に算出してもよい。このサブバンド信号毎に、相互相関が最大となる時間シフトτをもとめ、その値から各サブバンド信号の到来方向を推定することが可能である。
　以下、これらの推定された到来方向を、単に「環境音の到来方向」という。

　図４を基に、このτから、環境音の到来方向の推定について説明する。
　まず、音響算出部２０は、環境音響信号のＬチャンネルとＲチャンネルの経路差Ｄ（単位はメートル、ｍ）を、下記の式（１）で算出する。

　経路差Ｄ［ｍ］＝Ｌｈ・ｓｉｎθ　……　式（１）

　として算出することが可能である。ここで、Ｌｈは、環境音取得部１０の左右のマイク間の距離を示す。
　そして、常温での音速を３４０メートル／秒とすると、時間シフトτは、下記の式（２）で算出可能である。

　時間シフトτ［秒］＝（Ｌｈ・ｓｉｎθ）／３４０　……　式（２）

　これらから、環境音の到来方向θを、下記の式（３）で算出可能である。

　到来方向θ＝ｓｉｎ^-1（τ・３４０）／Ｌｈ　……　式（３）

　または、音響算出部２０は、ＨＲＴＦ（Head-Related Transfer Function、頭部伝達関数）における各周波数の信号のＩＴＤ（Interaural Time Difference）と到来方向との関係から、環境音の到来方向を推定しても良い。音響算出部２０は、このＩＴＤと到来方向との関係は、データベースとして記憶部に格納されているものを参照してもよい。

　また、各サブバンド信号についての到来方向を推定する場合、上述の式（3）によるτの推定に、下記の手法も用いることが可能である。
　まず、Ｌ信号、Ｒ信号をサンプリング周期ｓｐでサンプリングしたフレームのデータを、それぞれＸ_L（ｎ）、Ｘ_R（ｎ）とする。ｎは、フレーム中の何サンプル目か示すインデックスである。すなわち、ｎ×ｓｐ＝ｔ(フレーム中の時間）となる。
　ここで、Ｘ_L（ｎ）をバンドパスフィルター等でＭバンドに帯域分割した各サブバンド信号を、Ｘ_L1（ｎ），Ｘ_L2（ｎ），……，Ｘ_LM（ｎ）とする。
　同様に、Ｘ_R（ｎ）を帯域分割した各サブバンド信号を、Ｘ_R1（ｎ），Ｘ_R2（ｎ），……，Ｘ_RM（ｎ）とする。
　この上で、第一番目のサブバンド（バンド１）の時間シフトτ₁に関して、下記の式（４）を定義可能である：

　この式（４）にて、Ｒ（ｋ）の最大値を与えるｋをｋ_optとする。このｋ_optにサンプリング周期ｓｐに乗じた値をτ₁とすると、τ₁＝ｋ_opt・ｓｐとなり、このτ₁がバンド１に関しての音の到来方向を示す時間差τ₁となる。すなわち、ｋ_optサンプル分の時間差がτ₁となる。このようにして、全てのサブバンド信号について、時間シフトτ₁～τ_Mを算出し、これらから、式（３）を用いて、各サブバンド信号の到来方向を算出することが可能である。より正確に到来方向を推定するためには、式（４）の計算において、オーバーサンプリングされたＸ_L1（ｎ）、Ｘ_R1（ｎ）を用いて、より正確に算出してもよい。

　または、音源到来方向推定のアルゴリズムとして、非特許文献２、３に記載のＦＤＢＭ（Frequency Domain Binaural Model）等を用いてもよい。

　この上で、音響算出部２０は、空間方向、周波数方向、及び振幅（大きさ）方向からなる音響空間における三次元的な四角錐であるマスキング閾値Ｔを算出する。
　より具体的に説明すると、音響算出部２０は、空間的マスキング効果の算出において、空間的マスキング効果の前頭面に関する対称性を利用して、環境音響信号の受聴者からみた前後の区別をすることなく、マスキング閾値を算出することが可能である。
　さらに、音響算出部２０は、マスキング閾値を、受聴者からみて後方の位置にあるチャンネル及び／又は音源オブジェクトについては、前後対称の位置に該当する前方に当該チャンネル及び／又は当該オブジェクトが存在するような空間的マスキング効果を算出してもよい。

　具体的には、音響算出部２０は、空間的マスキング効果によるマスキング閾値を算出する際、
　下記の式（５）で調整してもよい。

　Ｔ＝β｛ｍａｘ（ｙ１，αｙ２）－１｝
　ｙ１＝ｆ（ｘ－θ）
　ｙ２＝ｆ（１８０－ｘ－θ）　　　　　　　……　式（５）

　ただし、Ｔはマスキング閾値を算出するために、各チャンネル信号の周波数領域におけるマスキング閾値に乗ずる重み、θはマスカーの方位、αはマスカーの周波数で制御される定数、βはマスカーの信号がトーン性の信号かノイズ性の信号かに対応して制御される定数、ｘは求める方向又はマスキーの方位を示す。

　より具体的に説明すると、ｍａｘは、引数内の最大値を返す関数である。定数については、マスカーが４００Ｈｚの場合、α＝１、マスカーが１ｋＨｚの場合、α＝０．８のような値を用いることが可能である。マスカーがノイズ性の場合は、β＝１１～１４、純音（トーン性）の場合は３～５程度の値を用いることが可能である。すなわち、マスカーがトーン性の場合は、Ｔは、ｘの値にかかわらず、全てのθについてフラットとなる。

　この式（５）のｆ（ｘ）は、例えば、下記の式（６）に示す三角波のようなリニアな関数を用いることが可能である。

　このうち、ｘは、マスキング閾値の周波数特性を求める方位、又は、マスキーの方位を用いることが可能である。この方位は、マイクロフォンのビームフォーミングの方向、再生音響信号の方向等に対応する。
　なお、ｆ（ｘ）として、ｆ（ｘ）＝ｃｏｓ（ｘ）のような式も、用いることが可能である。さらに、ｆ（ｘ）として、これ以外の、例えば、実際のマスカー、マスキーの実験結果から算出された関数等も用いることが可能である。

　すなわち、音響算出部２０は、マスキング閾値を、Ｌチャンネル及びＲチャンネルの信号が、トーン性の信号かノイズ性の信号かに対応して、各チャンネルの信号の相互に及ぼす影響の度合いを変化させる空間的マスキング効果に対応して算出してもよい。

（ステップＳ１０３）
　次に、音響制御部３０が、音響制御処理を行う。
　音響制御部３０は、再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御する。
　具体的には、音響制御部３０は、再生音響信号の空間的配置、周波数的配置、各周波数成分からなる群の一種を、音響算出部２０による算出結果に応じて制御する。

　具体的に説明すると、まず、音響制御部３０は、上述の環境音響算出処理と同様に、再生音響信号の各周波数成分、サブバンド信号、又は全帯域信号の到来方向（以下、単に「再生音の到来方向」という。）を算出する。
　ここで、各周波数成分の場合、再生音響信号の左チャンネルと右チャンネルの信号を、ＤＦＴ、ＭＤＣＴ等にて周波数分析した後に、各周波数成分の強度の比を取り、各周波数成分の信号の到来方向を推定する。
　または、音響制御部３０は、全帯域信号又はサブバンド信号の左右チャンネルの相互相関が最大となる時間シフトτ’を算出してもよい。この時間シフトτ’の算出は、上述の環境音響算出処理にて時間シフトτで式（１）～（４）にて算出したのと同様の計算によりτ’から各サブバンド信号又は全帯域信号の到来方向を推定することが可能である。

　または、音響制御部３０は、コンテンツの音源オブジェクトを取得し、この音源オブジェクトに含まれる方向情報を取得することで、各サブバンド信号又は全帯域信号の到来方向を推定することも可能である。この音源オブジェクトは、例えば、位置情報が付されたコンテンツの音響信号である。音源オブジェクトは、例えば、オーケストラの各楽器を収録するようなマイクの出力信号、ゲーム等で用いるサンプリングされた音声信号、合成音声等が、周波数領域の音響信号に変換されたもの等であってもよい。

　さらに、音響制御部３０は、上述の環境音響算出処理と同様に、再生音響信号の空間方向、周波数方向、及び振幅（大きさ）方向からなる音響空間における三次元的な四角錐のマスキング閾値Ｔを算出する。このマスキング閾値Ｔは、各周波数成分、全帯域信号又はサブバンド信号の上述の分析を基に算出可能である。

　その後で、音響制御部３０は、環境音響信号によるマスキング閾値を下回らないように、再生音響信号の空間的配置、周波数的配置、各周波数成分の大きさからなる群の一種を制御する。この制御については、上述の群の一つ又は任意の組み合わせについて実行可能である。特に、再生音響信号の空間的配置のみを制御することも可能である。
　これらの制御において、音響制御部３０は、環境音響信号による空間的マスキング効果を示すマスキング閾値との重なりが小さくなる方向に再生音響信号を制御することが可能である。

〔空間的配置の制御例〕
　図５により、再生音響信号の空間的配置の制御例について具体的に説明する。
　音響制御部３０は、環境音の到来方向に対して、再生音の到来方向が近く、周波数成分も重なっている場合、すなわち、図５（ａ）の環境音Ｅのマスキング閾値Ｔｅに対して、再生音Ｐの振幅（大きさ）が十分大きくない場合、図５（ｂ）のように、再生音Ｐの受聴者からみた音源の方向をずらす。すなわち、再生音響信号の空間的角度方向を、マスキング閾値Ｔｅとの重なりが少なくなる方向に移動させて、マスキング閾値Ｔｅに対して、再生音Ｐの相対的な大きさが十分大きくなるよう制御する。ここでは、音響制御部３０は、再生音響信号の再生音の到来方向を移動させ、後述する再生処理のＨＲＴＦで反映させることが可能である。これにより、マスキング閾値Ｔｅとマスキング閾値Ｔｐとの重なりが少なくなる。
　この際、上述したように、空間的マスキング効果の前頭面に関する対称性を利用して、環境音の受聴者からみた前後の区別なくマスキング閾値Ｔｅが算出されていた場合、音響制御部３０は、マスキング閾値Ｔｅとの重なりが小さくなる方向に再生音の到来方向を制御することが可能である。すなわち、音響制御部３０は、空間的マスキング効果の前頭面に関する対称性を利用して、環境音響信号の受聴者からみた前後の区別をすることなく再生音響信号を制御することが可能となる。なお、音響制御部３０は、再生音Ｐの大きさが分かれば、必ずしもマスキング閾値Ｔｐを算出しなくても、適切な制御を行うことが可能である。

　より具体的には、音響制御部３０は、例えば、全帯域一括で処理を行う場合、環境音の到来方向と再生音の到来方向の差がβ°以下の場合は、その差がβ°よりも大きいγ°以上になるように、再生音の到来方向をずらすようにしてもよい。

　ここで、音響制御部３０は、空間的配置について、周波数成分やサブバンド信号毎に制御することも可能である。すなわち、ＤＦＴ、ＭＤＣＴ等した周波数スペクトルの各値、すなわち周波数ビン（bin）毎、又は帯域分割したサブバンド信号毎に処理を行う場合、これらの環境音の到来方向と再生音の到来方向とを比較して、到来方向がｂ°以下のものがあった場合は、下記の処理を行うことが可能である。

　まず、到来方向の差がｂ°以下の帯域が一つでもあった場合は、その帯域の到来方向の差がｂ°よりも大きいｃ°以上になるように、再生音の全ての帯域の周波数ビン又はサブバンド信号について等しく再生音の到来方向をずらしてもよい。
　または、到来方向の差がｂ°以下の帯域があった場合は、当該帯域の周波数ビン又はサブバンド信号については、その帯域の到来方向の差がｃ°以上になるように当該帯域について再生音の到来方向をずらすようにしてもよい。

　図６により説明すると、これら場合も、音響制御部３０は、前頭面Ｆｈに関する対称性を利用して、到来方向の差、及び、ずらす方向を算出してもよい。すなわち、５０°と１３０°のような前頭面Ｆｈに対して線対称の角度について、同一方向と判断した上でずらしてもよい。
　さらに、再生音響信号の全帯域、周波数ビン、又はサブバンド信号の移動としては、音響制御部３０は、それらのＬ信号及びＲ信号の大きさのバランス及び／又は位相差を調整して、再生音の到来方向（音源の方向）を制御することが可能である。

　このように、再生音響信号の空間的配置の制御を行うことで、再生音響信号のレベル、周波数を変えずにその方向を変えることで聴きやすくすることが可能となる。この場合は、コンテンツの音色が変わらないという効果が得られる。

〔周波数的配置の制御例〕
　図７により、再生音響信号の周波数的配置の制御例について具体的に説明する。
　図７（ａ）は、図６（ａ）と同様に、環境音Ｅのマスキング閾値Ｔｅに対して、再生音Ｐの振幅（大きさ）が十分に大きくない。この場合、音響制御部３０は、図７（ｂ）のように、再生音のレベル、方向を変えずにその周波数を変更することで聴きやすくする。すなわち、音響制御部３０は、再生音響信号の周波数方向を、マスキング閾値Ｔｅに対して、再生音Ｐの相対的な大きさが十分大きくなるように制御する。これにより、マスキング閾値Ｔｅとマスキング閾値Ｔｐとの重なりが少なくなる。

　より具体的には、音響制御部３０は、例えば、全帯域一括で処理を行う場合、環境音と再生音との到来方向の差がβ°以下で、環境音の重心周波数と再生音の重心周波数の差がδＨｚ以下の場合は、その差がδＨｚよりも大きいεＨｚ以上になるように、再生音の全帯域の周波数成分をずらすようにしてもよい。ここで、重心周波数とは、スペクトル重心とも呼ばれ、その周波数より低域側の全エネルギーと広域側の全エネルギーが拮抗する周波数であることを示す。

　ここで、音響制御部３０は、周波数的配置について、周波数成分やサブバンド信号毎に制御することも可能である。すなわち、周波数ビン毎、又は帯域分割したサブバンド信号毎に処理を行う場合、これらの各環境音の各周波数成分の到来方向と、再生音の同じ周波数成分の到来方向とを比較して、差がｂ°以下のものが一つでもあった場合、音響制御部３０は、下記の処理を行うことが可能である。
　まず、到来方向の差がｂ°以下の帯域が一つでもあった場合は、その帯域の環境音と再生音との重心周波数の差がｄＨｚよりも大きいｅＨｚ以上になるように、再生音の全ての帯域について等しく再生音の周波数成分の強度をずらす。具体的には、音響制御部３０は、再生音響信号の周波数成分のイコライジングをして調整する。

　このように、再生音響信号の周波数的配置の制御を行うことで、元の再生音響信号とは音色が変化するものの、例えば、合成音声やアナウンサーの声のキーを変えて聞きやすくすることが可能となる。

〔周波数成分の大きさの制御例〕
　図８により、再生音響信号の周波数成分の大きさの制御例について具体的に説明する。
　図８（ａ）は、図５（ａ）、図７（ａ）と同様に、環境音Ｅのマスキング閾値Ｔｅと、再生音Ｐのマスキング閾値Ｔｐが重なっている。この場合、音響制御部３０は、図８（ｂ）のように、再生音の方向を変えずにその周波数成分の大きさ（振幅）を増加させることで訊きやすくする。すなわち、音響制御部３０は、再生音響信号の周波数成分の大きさを、マスキング閾値Ｔｅに対して、再生音Ｐの相対的な大きさが十分に大きくなるように制御する。すなわち、周波数成分の大きさの調整により、マスキング閾値Ｔｅとマスキング閾値Ｔｐとの重なりが少なくなるようにする。
　より具体的には、音響制御部３０は、例えば、全帯域一括、周波数ビン毎、又は帯域分割したサブバンド信号毎に振幅（大きさ）を調整することも可能である。

〔環境音響信号の制御例〕
　さらに、音響制御部３０は、上述のように再生音響信号自体を制御するだけでなく、環境音響信号を制御してノイズキャンセリングを行うことも可能である。
　図９により、この環境音響信号の制御例について具体的に説明する。
　図９（ａ）は、図５（ａ）、図７（ａ）、図８（ａ）と同様に、環境音Ｅのマスキング閾値Ｔｅと、再生音Ｐのマスキング閾値Ｔｐが重なっている。
　図９（ｂ）によれば、音響制御部３０は、再生音のレベル、周波数を変えずにその方向にある環境音Ｅをノイズキャンセリングで抑圧する。これにより、音響制御部３０は、再生音と到来方向及び周波数が近い環境音Ｅのみをノイズキャンセリングで抑圧し、ノイズキャンセリングの効率向上と再生音の自然さを実現することが可能となる。

　具体的には、音響制御部３０は、再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種に応じて、環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御する。この際に、音響制御部３０は、例えば、環境音響信号による空間的マスキング効果のマスキング閾値に対して、再生音響信号の大きさが十分に大きくない箇所に、反位相の音声信号（以下、「逆相信号」という。）を付加等して、環境音響信号を縮小させる。

　より具体的には、音響制御部３０は、環境音のノイズキャンセリングの定位を制御する場合、周波数成分毎に処理をするため、ＤＦＴ、ＭＤＣＴ等した周波数ビン毎、又は帯域分割したサブバンド信号毎に処理を行う。この場合、周波数ビン又はサブバンド信号毎に環境音の到来方向と再生音の到来方向を比較する。そして、音響制御部３０は、これらの到来方向がｂ°以下の帯域の信号があった場合は、当該帯域の周波数ビン又はサブバンド信号については、Ｌ信号とＲ信号とでそれぞれ逆相信号を付加して、ノイズキャンセリングする。このようにすることで、Ｌチャンネル及びＲチャンネルの逆相信号にて、当該帯域の当該到来方向の信号を集中的にキャンセルすることが可能となる。音響制御部３０は、この逆相信号の付加によるノイズキャンセリングの制御は、再生音響信号に対して行うことが可能である。
　これに加えて、音響制御部３０は、ノイズキャンセリングで消去する前の環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を、上述の再生音響信号と同様に制御して再度付加し、環境音を聞こえやすくすることも可能である。この付加は、特定方向範囲の環境音響信号のみについて行ってもよい。

　これら、到来方向の差であるβ°、γ°、ｂ°、及びｃ°と、周波数成分の差であるδＨｚ、εＨｚ、ｄＨｚ、ｅＨｚは、適切な値を、音響再生装置１の構成、ユーザの調音上の特性等に応じて、適宜設定可能である。

（ステップＳ１０４）
　次に、再生部４０が、再生処理を行う。
　再生部４０は、音響制御部３０により制御された再生音響信号を再生する。この際、再生部４０は音声信号として空間的情報を含めたまま再生することが可能である。再生部４０は、例えば、各再生音響信号に音源から人間の耳元までの音の伝達特性を付加し、再生音の到来方向に対応する頭部伝達関数（ＨＲＴＦ）を畳み込み、再生音の到来方向を移動することが可能である。具体的には、再生部４０は、例えば、各音響信号に、各再生音響信号の方向に対応するＨＲＴＦの伝達特性を付加し、Ｌチャンネル、Ｒチャンネルそれぞれにおいて信号の総和をとって出力する。または、再生部４０は、両耳間音圧差（Interaural Level Difference、ＩＬＤ）若しくはＩＴＤ（Interaural Time Difference、両耳間時間差)の調整、仮想スピーカーの位置をずらす等の手法により、再生音の到来方向を移動することも可能である。これにより、再生部４０は、再生音の到来方向をずらして、ヘッドフォンやスピーカーによる２チャンネルの音声信号として再生することが可能となる。
　または、再生部４０は、音響制御部３０により全帯域一括、周波数ビン毎、又は帯域分割したサブバンド信号毎に空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御された再生音響信号を再生することも可能である。
　さらに、再生部４０は、音響制御部３０によって上述の逆相信号が付加される制御が行われた環境音響信号により、ノイズキャンセリングを行いつつ再生音響信号を再生することも可能である。
　以上により、本発明の実施の形態に係る音響信号再生処理を終了する。

　以上のように構成することで、以下のような効果を得ることができる。
　近年、電子データの音を再生しながら、受聴者の周囲の音（環境音）も同時に聞くことができる、いわゆる「耳穴開放型」ヘッドフォンや、外音取り込み機能付きのヘッドフォンが普及してきている。
　一方、近年、人が三次元空間上に散在する音を聴く時に、それが人の聴覚に対して相互にどのように影響を与えるのか、空間的に配置された音源相互のマスキング効果（空間的マスキング効果）について明らかにされてきている。
　しかしながら、従来は、周波数軸上のマスキングのみを考慮しており、実世界の環境音と、電子的データであるコンテンツの再生音の空間的配置を考慮して、調整、最適化するものはなかった。このため、環境音の状況によっては、コンテンツの音響信号を十分に明瞭化して再生することはできなかった。

　これに対して、本発明の実施の形態に係る音響再生装置１は、再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御する音響制御部３０と、音響制御部３０により制御された再生音響信号を再生する再生部４０とを備えることを特徴とする。
　このように構成し、耳穴開放型ヘッドフォン又は外音取り込み機能つきヘッドフォン、ノイズキャンセリングヘッドフォン等において、再生音の定位、周波数特性、周波数成分のレベル（大きさ）を適切に制御する。これにより、再生音が環境音にマスクされにくくなり、コンテンツの再生音を聴きやすくすることができる。加えて、環境音も極力自然に聴かせることができる。

　本発明の実施の形態に係る音響再生装置１は、外部の環境音響信号を取得する環境音取得部１０と、環境音取得部１０により取得された環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を算出する音響算出部２０とを更に備え、音響制御部３０は、再生音響信号の空間的配置、周波数的配置、各周波数成分からなる群の一種を、音響算出部２０による算出結果に応じて制御することを特徴とする。
　このように構成することで、外音取り込み機能つきヘッドフォンにおいて、環境音を分析しつつ、再生音を制御して、よりコンテンツの再生音を聴きやすくすることが可能となる。すなわち、実世界の環境音と、仮想世界のコンテンツの再生音とを考慮して、再生音を制御することが可能となる。

　また、従来、受聴者から見込んだ音源の到来方向も考慮した空間的マスキング効果を考慮したヘッドフォンのレンダリング技術はなかった。

　これに対して、本発明の実施の形態に係る音響再生装置１において、音響算出部２０は、環境音響信号による空間的マスキング効果のマスキング閾値を算出し、音響制御部３０は、マスキング閾値を下回らないように、再生音響信号の空間的配置、周波数的配置、各周波数成分からなる群の一種を制御することを特徴とする。
　このように構成することで、音源方向の軸を加えた空間マスキング効果を用いることで、より適切に人の「聞こえ」をモデル化し、コンテンツの再生音を聴きやすくすることできる。すなわち、聴覚の空間的なマスキング効果を明らかにしたうえで、その性質を音響レンダリングに応用することで、より効果的な音響再生のユーザ体験を提供することが可能となる。

　本発明の実施の形態に係る音響再生装置１は、音響制御部３０は、制御として、空間的マスキング効果を示すマスキング閾値との重なりが小さくなる方向に再生音響信号を制御することを特徴とする。
　このように構成することで、実世界の空間的に散在する環境音と、仮想世界の電子データの空間的に散在する再生音との相互の空間的なマスキング効果を考慮したうえで、再生音の定位や音量、帯域を調整したり、実世界の音にかけるノイズキャンセリングの効く方向や帯域、又は外音取り込み音を制御したりすることができる。よって、コンテンツの再生音を聴きやすくすることができ、効果的な実世界、仮想空間の混合再生を行うことができる。

　本発明の実施の形態に係る音響再生装置１において、音響制御部３０は、空間的マスキング効果の前頭面に関する対称性を利用して、環境音響信号の受聴者からみた前後の区別をすることなく再生音響信号を制御することを特徴とする。
　このように構成することで、前後の位置を把握しにくいというヒトの聴覚モデルに合わせて、より受聴者がコンテンツの再生音を聴きやすくすることができる。

　近年、外部の音を取り込みながら、又は消し去りながら、ヘッドフォンでコンテンツ再生を行う所謂ヒアスルー再生、すなわちノイズキャンセリング再生の装置が発展してきた。
　また、これらのヘッドフォンでは、外部の環境音の鼓膜面への侵入を低減するためのノイズキャンセリング機能を同時に有するものもあった。
　しかしながら、これらのヘッドフォンにおいて電子データの再生に際して、環境音のレベル、周波数特性、その方位などを考慮する事は行われてこなかった。

　これに対して、本発明の音響再生装置１は、外部の環境音響信号を取得する環境音取得部１０と、環境音取得部１０により取得された環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を算出する音響算出部２０と、再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種に応じて、音響算出部２０により算出された環境音響信号を制御する音響制御部３０と、音響制御部３０により制御された環境音響信号によりノイズキャンセリングを行いつつ、再生音響信号を再生する再生部４０とを備えるノイズキャンセリングヘッドフォン装置であることを特徴とする。
　このように構成し、再生音の定位、周波数特性、周波数成分の大きさを考慮しながら、環境音に対するノイズキャンセリング特性の周波数特性、方向、強度等を制御することで、より効果的にノイズキャンセリングを行うことが可能なノイズキャンセリングヘッドフォン装置を提供することができる。

〔他の実施の形態〕
　なお、上述の実施の形態においては、環境音取得部１０及び音響算出部２０を備える構成について記載した。
　図１０を参照すると、しかしながら、音響再生装置１ｂのように、音響制御部３０及び再生部４０を備えて、環境音取得部１０及び音響算出部２０を備えないような構成も可能である。
　この場合、例えば、ユーザの指示をスイッチ、ボタン、タッチパッド等の入力部から、方向移動指示信号として取得し、これを基に、再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御することが可能である。
　このように構成することで、耳穴開放型ヘッドフォン等、積極的なノイズキャンセリングを行わない装置であっても、ユーザが再生音響信号を調整して、より聞こえやすくすることができる。

　また、この方向移動指示信号の取得は、上述の環境音取得部１０及び音響算出部２０を備える音響再生装置１においても適用可能である。
　たとえば、この場合、受聴者が環境音によって再生音が聞きにくいと感じた場合は、上述の入力部による方向移動指示信号を取得し、上述の音響制御処理と同様の処理を行うことが可能である。すなわち、再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御することが可能である。

　または、音響再生装置１の液晶や有機ＥＬディスプレイ等の表示部、音響再生装置１と接続されたスマートフォンや専用端末のＵＩ（User Interface）等により、方向移動指示信号を取得することも可能である。この場合、専用又は汎用の制御用のアプリを制御部で実行し、例えば、図５～図９に示したような音響信号の空間方向、周波数方向、及び振幅（大きさ）方向からなる音響空間における三次元的な四角錐のマスキング閾値を表示する。そして、受聴者が、この音響空間上で再生音や環境音をＵＩで移動させたり大きさを変更させたりすることで、これを基にした方向移動指示信号を取得し、各処理を行うことが可能である。
　より具体的には、全帯域一括で処理を行う場合、再生音の到来方向をずらすべくＬチャンネル及びＲチャンネルの大きさのバランス及び／又は位相差を調整して再生音を調整することも可能である。加えて、空間的マスキング効果の前頭面の対称性を考慮して、再生音の到来方向は、その左右方向のみを調整するＵＩとすることも可能である。

　上述の実施形態においては、再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさのそれぞれを制御する例について記載したものの、これらの任意又は全てを組み合わせた処理を行うことも可能である。
　加えて、環境音響信号をノイズキャンセリングで制御するのと、再生音響信号を制御するのとを組み合わせることも可能である。
　すなわち、上述の再生音響信号及び環境音響信号の制御は、任意に組み合わせ可能である。

　具体的には、例えば、ノイズキャンセリングを行うヘッドフォンである場合、特定の方向、例えば正面方向からの音声は、外音を取り込んで強調するようにすることが可能である。
　この場合、再生音の強調の制御と、環境音のノイズキャンセリングとを組み合わせる。すなわち、外部環境音の到来方向を上述の処理で推定し、正面方向から到来する帯域信号又は周波数ビンについては、再生音響信号にてそれらを強調する。そして、再生音響信号については、正面方向から到来する成分について、空間的配置、周波数的配置、及び各周波数成分の大きさをずらしたり、振幅を小さくしたりする。また、正面方向以外の方向から到来する環境音の周波数成分については、ノイズキャンセリングの処理を行う。すなわち、外音マイクから取り込まれた音声が鼓膜面で逆相になるようにして、再生音響信号に付加する。
　このようにすることで、ノイズキャンセリングを行いながらも、受聴者の正面にいる人の声は聴きやすくすることが可能となる。

　上述の実施形態においては、再生部４０として２チャンネルで再生する例について説明した。
　これについて、複数チャンネルでの再生を行うことも可能である。
　このように構成することで、より適切に制御された再生音響信号を再生することができるため、より再生音を明瞭に再生することができる。

　加えて、上述の実施形態においては、環境音取得部１０で左右のマイクロフォンを用いる例について記載したものの、複数のマイクロフォンからなるマイクロフォンアレイを用いることも可能である。この場合、ビームフォーミング処理によって指向性を制御し、各方向にビームを向けることで、音空間の空間サンプリングを行い、多チャンネルの音声ビーム信号を取得することが可能である。具体的には、環境音取得部１０の各マイクロフォンに到来する音波の位相差をフィルターにより制御し、各マイクロフォンに到来する方向の信号を強調してもよい。この上で、空間サンプリングとして、音場を空間的に切り分けて、空間的情報を含めたまま、多チャンネルで集音することが可能である。
　このように構成することで、環境音響信号の到来方向を正確に算出できる。

　また、上述の実施形態においては、再生音響信号に方向情報が付加されている例について記載した。
　しかしながら、音響再生装置１に、受聴者の向いている方向を算出するＧＮＳＳ（Global Navigation Satellite System）受信機、部屋内位置方向検出器、ヘッドトラッキングが可能な、加速度センサー、ジャイロセンサー、地磁気センサー等と、これらの出力を方向情報に変換する回路とを含む方向算出部を備えていてもよい。
　この場合、算出された受聴者の方向情報に、受聴者に対する音源オブジェクトの音響信号についての位置の関係を考慮して再生音響信号を制御することが可能である。これにより、映画館やフィールドゲーム等、絶対的な方向の再生音と、環境音とを重ね合わせたり、適切にノイズキャンセリングしたりして、現実感を高めることができる。すなわち、３Ｄ音場のキャプチャー、伝送、再生システムへの適用、ＶＲ／ＡＲアプリケーションヘの適用等も可能である。

　上述の実施形態においては、音響再生装置１が一体的に構成されているように記載した。
　しかしながら、音響再生装置１は、スマートフォンやＰＣ（Personal Computer）や家電等の情報処理装置と、ヘッドセット、ヘッドフォン、左右分離型イヤフォン等の端末とが接続されるような再生システムとして構成されてもよい。このような構成の場合、環境音取得部１０及び再生部４０が端末に備えられ、音響算出部２０及び音響制御部３０の機能を情報処理装置又は端末のいずれかで実行するようにしてもよい。加えて、情報処理装置と端末との間は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＭＩ（登録商標）、ＷｉＦｉ（登録商標）、ＵＳＢ（Universal Serial Bus）、その他の有線や無線の情報伝送手段で伝送されてもよい。この場合、情報処理装置の機能を、イントラネットやインターネット上のサーバー等で実行することも可能である。また、これらの伝送の場合は、空間マスキング効果を用いて、信号スペクトルのエネルギーからマスキング閾値を引いたエネルギーに応じたビットのみを割り当てる等の処理により、伝送に必要なビット数を聴覚的な品質を保持したまま削減し、聴覚的には劣化が知覚されない状態で環境音や再生音の信号を伝送することが可能である。

　上述の実施の形態では周波数マスキングを拡張した空間的マスキング効果を算出する例について記載した。
　これに対して、周波数を時間に代用しても同様の空間的マスキング効果を算出することも可能である。さらに、空間的マスキング効果として、周波数、方向間でのマスキングと、時間、方向間でのマスキングとの組み合わせを用いることも可能である。これにより、三次元や四次元の音響空間による空間マスキング効果を算出してもよい。

　加えて、上述の実施形態においては、環境音や再生音の到来方向として、受聴者の左右の角度方向を考慮する例について記載した。
　しかしながら、これらの到来方向として、上下方向についても考慮することが可能である。

　なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

　本発明の音響再生方法は、聴覚の空間的マスキング効果を利用することで、従来よりも効果的な実世界、仮想世界を統合した再生を行うことができ、産業上に利用することができる。

１、１ｂ　音響再生装置
１０　環境音取得部
２０　音響算出部
３０　音響制御部
４０　再生部
Ｍａ、Ｍｂ、Ｔａ、Ｔｂ、Ｔｅ、Ｔｆ、Ｔｐ　マスキング閾値

Claims

　再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御する音響制御部と、
　前記音響制御部により制御された前記再生音響信号を再生する再生部とを備える
　ことを特徴とする音響再生装置。
　外部の環境音響信号を取得する環境音取得部と、
　前記環境音取得部により取得された前記環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を算出する音響算出部とを更に備え、
　前記音響制御部は、
　前記再生音響信号の前記空間的配置、周波数的配置、及び各周波数成分からなる群の一種を、前記音響算出部による算出結果に応じて制御する
　ことを特徴とする請求項１に記載の音響再生装置。
　前記音響算出部は、
　前記環境音響信号による空間的マスキング効果のマスキング閾値を算出し、
　前記音響制御部は、
　前記マスキング閾値を下回らないように、前記再生音響信号の前記空間的配置、周波数的配置、各周波数成分からなる群の一種を制御する
　ことを特徴とする請求項２に記載の音響再生装置。
　前記音響制御部は、
　前記制御として、前記空間的マスキング効果を示すマスキング閾値との重なりが小さくなる方向に前記再生音響信号を制御する
　ことを特徴とする請求項３に記載の音響再生装置。
　前記音響制御部は、
　前記空間的マスキング効果の前頭面に関する対称性を利用して、前記環境音響信号の受聴者からみた前後の区別をすることなく前記再生音響信号の制御を行う
　ことを特徴とする請求項３又は４に記載の音響再生装置。
　再生するコンテンツに関する再生音響信号の空間的配置を制御する音響制御部と、
　前記音響制御部により制御された前記再生音響信号を再生する再生部とを備える
　ことを特徴とする音響再生装置。
　外部の環境音響信号を取得する環境音取得部と、
　前記環境音取得部により取得された前記環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を算出する音響算出部と、
　再生するコンテンツに関する再生音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種に応じて、前記音響算出部により算出された前記環境音響信号を制御する音響制御部と、
　前記音響制御部により制御された前記環境音響信号によりノイズキャンセリングを行いつつ、前記再生音響信号を再生する再生部とを備える
　ことを特徴とするノイズキャンセリングヘッドフォン装置。
　前記音響制御部は、
　前記環境音響信号の音響空間上の配置を制御する
　ことを特徴とする請求項７に記載のノイズキャンセリングヘッドフォン装置。
　音響再生装置により実行される音響再生方法であって、
　再生するコンテンツに関する再生音響信号、及び／又は外部の環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御し、
　制御された前記再生音響信号、及び／又は外部の環境音響信号を再生する
　ことを特徴とする音響再生方法。
　音響再生装置により実行される音響信号処理プログラムであって、前記音響再生装置を、
　音響制御部により、再生するコンテンツに関する再生音響信号、及び／又は外部の環境音響信号の空間的配置、周波数的配置、及び各周波数成分の大きさからなる群の一種を制御させ、
　再生部により、前記音響制御部により制御された前記再生音響信号、及び／又は外部の環境音響信号を再生させる
　ことを特徴とする音響信号処理プログラム。