JP6914009B2 - 音声処理装置、音声処理方法およびプログラム - Google Patents

Description

本発明は、音声処理装置、音声処理方法およびプログラムに関する。

近年、複数の音声チャンネル（以下、マルチチャンネル）を用いて臨場感が高い音響再生を実現する音響システム（以下、マルチチャンネル音響）が提案されている（非特許文献１参照）。例えば、８Ｋ解像度の超高精細度テレビジョン放送（以下、８Ｋ ＵＨＤＴＶ：Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）では、非特許文献２に記載の２２．２マルチチャンネル音響（以下、２２．２ｃｈ音響）という音響システムが採用されている。また、音声信号と位置情報とからなる音声オブジェクトを用いたオブジェクトベース方式の音響システム（以下、オブジェクトベース方式音響）が提案されている。オブジェクトベース音響として、家庭用のホームシアターシステムが開発されている。

しかしながら、家庭における使用を想定すると、各家庭に設置されるスピーカ数は、コンテンツ制作時に使用されるスピーカ数よりも少ないことが通例である。通常のマルチチャンネル音響やオブジェクトベース音響のために制作されたコンテンツを、家庭用の音響システムで再生するには、再生チャンネルのチャンネル数を少なくするように、そのコンテンツの音声信号を変換する必要がある。変換方法として、例えば、レンダリング、ダウンミックスなどの手法が用いられる。

音声信号の変換において、例えば、非特許文献３、４に記載のＶＢＡＰ（Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ）法に基づく音声信号の分配方式が用いられることがある。この分配方式では、元の音声信号に係る再生位置と同じ位置のスピーカまたはその位置の近傍にある複数のスピーカから音声信号に基づく音を再生する。そのため、スピーカが受聴空間内に万遍に分布されている環境において制作者が意図した方向に音が知覚されるという所期の効果を発揮する。

Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｒ ＢＳ．２０５１−０，"Ａｄｖａｎｃｅｄ ｓｏｕｎｄ ｓｙｓｔｅｍ ｆｏｒ ｐｒｏｇｒａｍｍｅ ｐｒｏｄｕｃｔｉｏｎ"，（０２／２０１４） 一般社団法人 電波産業会，ＡＲＩＢ ＳＴＤ−Ｂ３２ ３．６版，「デジタル放送における映像符号化、音声符号化及び多重化方式」，平成２８年３月２５日 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ，ＩＳＯ／ＩＥＣ ２３００８−３：２０１５，"Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔｓ−Ｐａｒｔ３：３Ｄ ａｕｄｉｏ"，２０１５年１０月１５日 Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ， Ｖｏｌ．４５， Ｎｏ．６，"Ｖｉｒｔｕａｌ Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｐｏｓｉｔｉｏｎ Ｕｓｉｎｇ Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ"，１９９７ Ｊｕｎｅ

しかしながら、スピーカ数が少ない再生環境では、上述した分配方式が必ずしも十分に機能しないことがあった。一般的な家庭では、例えば、２個（２チャンネルステレオ）、６個（５．１チャンネルサラウンド）などである。そのような場合には、スピーカの間隔が広いので各スピーカから再生される音の音像が合成音像として結合せず、受聴者がそれぞれのスピーカから音を知覚することがある。

本発明は上記の点に鑑みてなされたものであり、受聴者に対して再生される音を制作者が意図した方向に確実に知覚させることができる音声処理装置、音声処理方法およびプログラムを提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、［１］本発明の一態様は、音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力部と、複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価部と、前記評価値に基づいて再生方式を選択する再生方式選択部と、を備え、前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、前記再生方式選択部は、所定の再生方式の選択順に前記評価値と所定の評価値の閾値とを比較し、前記評価値が初めて前記評価値の閾値以上となる再生方式を選択する音声処理装置である。
［１］の構成によれば、所定の個数の音源を用いる再生方式について、その音源の配置に応じて目標方向に音が知覚される度合いを示す評価値が算出され、算出された評価値に基づいて再生方式が選択される。そのため、音源配置に応じて制作者が意図した目標方向に確実に受聴者に知覚される音が再生される。そして、評価値がその閾値以上になる再生方式のうち、所定の順序のもとで最も順位が高い再生方式が優先して選択される。また、より順位が低い再生方式について評価値を取得し、所定の評価値の閾値と比較する処理を行う必要がないため、迅速に再生方式を定めることができる。

［２］本発明の一態様は、音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力部と、複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価部と、前記評価値に基づいて再生方式を選択する再生方式選択部と、を備え、前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、前記再生方式選択部は、前記再生方式のうち前記評価値が最も高い再生方式を選択することを特徴とする。
［２］の構成によれば、所定の個数の音源を用いる再生方式について、その音源の配置に応じて目標方向に音が知覚される度合いを示す評価値が算出され、算出された評価値に基づいて再生方式が選択される。そのため、音源配置に応じて制作者が意図した目標方向に確実に受聴者に知覚される音が再生される。また、最も目標方向に知覚させる可能性が高い再生方式が、音の再生に用いられる。そのため、受聴者に対して確実に目標方向に再生される音を知覚させることができる。

［３］本発明の一態様は、上述の音声処理装置であって、前記再生評価部は、前記複数の音源のうち２個の音源の組ごとに前記線再生方式に係る評価値を算出し、前記複数の音源のうち１個の音源ごとに前記点再生方式に係る評価値を算出し、前記再生方式選択部は、前記評価値が最も大きい再生方式と音源もしくは音源の組を選択することを特徴とする。
［３］の構成によれば、最も目標方向に再生音を知覚させることができる再生方式と音源もしく音源の組が、再生に用いる再生方式と音源もしくは音源の組として線再生方式と点再生方式について再生に係る音源配置から選択される。そのため、再生装置が備える音源配置のもとで制作者が意図した目標方向にできるだけ近い方向に音が知覚される。

［４］本発明の一態様は、上述の音声処理装置であって、前記再生方式は、３個以上の音源のそれぞれの方向で区分される領域内に前記目標方向が含まれ、当該３個以上の音源を用いる多音源再生方式をさらに含み、前記再生評価部は、前記複数の音源のうち３個以上の音源の組ごとに前記多音源再生方式に係る評価値をさらに算出することを特徴とする。
［４］の構成によれば、最も目標方向に再生音を知覚させることができる再生方式と音源もしくは音源の組が、再生に用いる再生方式と音源もしくは音源の組として選択される。ここで、さらに入力された音声信号を、その目標方向に知覚させるよう変換することができる多音源再生方式が再生方式の候補として含まれる。そのため、点再生方式または線再生方式のみが用いられる場合よりも、再生装置が備える音源配置のもとで制作者が意図した目標方向により確実に音が知覚される可能性が高くなる。

［５］本発明の一態様は、上述の音声処理装置であって、前記再生評価部は、前記再生方式について現在と現在から所定時間後それぞれの目標方向に知覚される度合いを示す評価値を算出し、前記再生方式選択部が現在と前記所定時間後それぞれの目標方向について選択した再生方式および音源もしくは音源の組を用いて現在の目標方向に知覚させる音声信号を生成する音声信号変換部をさらに備えることを特徴とする。
［５］の構成によれば、現在から所定時間後の目標方向に応じて選択された再生方式及び音源もしくは音源の組を用いて、現在の目標方向に知覚させる音を示す音声信号が生成される。そのため、目標方向の変化に応じた音源の切り替えに伴う音響的特徴の変化を回避することができる。

［６］本発明の一態様は、上述の音声処理装置であって、前記再生評価部は、前記線再生方式に係る評価値の要素として、代替方向と前記目標方向との間の角度、所定の基準点から前記２個の音源のそれぞれまでの方向の間の角度、および前記基準点から前記２個の音源の一方の方向と前記代替方向との間の角度と前記２個の音源の他方の方向と前記代替方向との間の角度との差の少なくともいずれかを算出し、前記代替方向は、単位球面の中心から前記２個の音源のそれぞれの方向の間を結ぶ弧上の各点までの方向のうち前記目標方向との角度が最も小さい方向であり、前記点再生方式に係る評価値の要素として、前記目標方向と前記１個の音源の方向との角度を算出することを特徴とする。
［６］の構成によれば、線再生方式について音源間を結ぶ線と目標方向との間の角度、基準点からの音源間の角度、目標方向と各音源の方向との間の角度の少なくともいずれかを要素として、その大きさが大きいほど評価値を小さくする要素として用いて評価値を算出する。また、点再生方式について、目標方向と音源の方向との角度が大きいほど評価値を小さくする要素として用いて評価値を算出する。そのため、音源配置と目標方向の関係に基づいて線再生方式、点再生方式の評価値を定量化することができる。

［７］本発明の一態様は、上述の音声処理装置であって、前記再生方式は、３個以上の音源のそれぞれの方向で区分される領域内に前記目標方向が含まれ、当該３個以上の音源を用いる多音源再生方式をさらに含み、前記再生評価部は、前記多音源再生方式に係る評価値の要素として、前記基準点から前記３個以上の音源のそれぞれまでの方向と前記目標方向との間の角度、前記基準点から前記３個以上の音源のうち任意の２個の音源の一方までの方向と前記基準点から当該任意の２個の音源の他方までの方向のなす角度、および前記３個以上の音源が形成する多角形のいずれかの頂点の角度の少なくともいずれかを算出する。
［７］の構成によれば、多音源再生方式について基準点から３個以上の音源のそれぞれの方向と目標方向との間の角度、基準点から３個以上の音源のうち２個の音源間の角度および３個以上の音源が形成する多角形のいずれかの頂点の角度を要素として、その大きさが大きいほど評価値を小さくする要素として用いて評価値を算出する。そのため、音源配置と目標方向の関係に基づいて多音源再生方式の評価値を定量化することができる。

［８］本発明の一態様は、上述の音声処理装置であって、前記角度は、基準点を含む水平面内の方位角と水平面からの仰角を含み、前記再生評価部は、前記角度の方位角と前記角度の成分で独立な係数を用いて前記評価値を算出することを特徴とする。
［８］の構成によれば、３次元空間内に配置される音源および目標方向について、水平面内の方位角の成分と、仰角の成分とで独立な寄与度をもって評価値を算出する。そのため、水平面内の方向知覚と垂直方向の方向知覚との聴覚特性の差異を考慮して、より人間の聴覚特性に応じて確実に目標方向に再生される音を受聴者に知覚させることができる再生方式を選択することができる。

［９］本発明の一態様は、音声処理装置における音声処理方法であって、音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力過程と、複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価過程と、前記評価値に基づいて再生方式を選択する再生方式選択過程と、を有し、前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、前記再生方式選択過程は、所定の再生方式の選択順に前記評価値と所定の評価値の閾値とを比較し、前記評価値が初めて前記評価値の閾値以上となる再生方式を選択する音声処理方法である。
［９］の構成によれば、所定の個数の音源を用いる再生方式について、その音源の配置に応じて目標方向に音が知覚される度合いを示す評価値が算出され、算出された評価値に基づいて再生方式が選択される。そのため、音源配置に応じて制作者が意図した目標方向により確実に音が知覚される可能性が高くなる。そして、評価値がその閾値以上になる再生方式のうち、所定の順序のもとで最も順位が高い再生方式が優先して選択される。また、より順位が低い再生方式について評価値を取得し、所定の評価値の閾値と比較する処理を行う必要がないため、迅速に再生方式を定めることができる。
［１０］本発明の一態様は、音声処理装置における音声処理方法であって、音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力過程と、複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価過程と、前記評価値に基づいて再生方式を選択する再生方式選択過程と、を有し、前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、前記再生方式選択過程は、前記再生方式のうち前記評価値が最も高い再生方式を選択する音声処理方法である。
［１０］の構成によれば、所定の個数の音源を用いる再生方式について、その音源の配置に応じて目標方向に音が知覚される度合いを示す評価値が算出され、算出された評価値に基づいて再生方式が選択される。そのため、音源配置に応じて制作者が意図した目標方向に確実に受聴者に知覚される音が再生される。また、最も目標方向に知覚させる可能性が高い再生方式が、音の再生に用いられる。そのため、受聴者に対して確実に目標方向に再生される音を知覚させることができる。

［１１］本発明の一態様は、コンピュータに、音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力部と、複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価部と、前記評価値に基づいて再生方式を選択する再生方式選択部と、を備え、前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、前記再生方式選択部は、所定の再生方式の選択順に前記評価値と所定の評価値の閾値とを比較し、前記評価値が初めて前記評価値の閾値以上となる再生方式を選択する音声処理装置として機能させるためのプログラムである。
［１１］の構成によれば、所定の個数の音源を用いる再生方式について、その音源の配置に応じて目標方向に音が知覚される度合いを示す評価値が算出され、算出された評価値に基づいて再生方式が選択される。そのため、音源配置に応じて制作者が意図した目標方向により確実に音が知覚される可能性が高くなる。そして、評価値がその閾値以上になる再生方式のうち、所定の順序のもとで最も順位が高い再生方式が優先して選択される。また、より順位が低い再生方式について評価値を取得し、所定の評価値の閾値と比較する処理を行う必要がないため、迅速に再生方式を定めることができる。
［１２］本発明の一態様は、コンピュータに、音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力部と、複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価部と、前記評価値に基づいて再生方式を選択する再生方式選択部と、を備え、前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、前記再生方式選択部は、前記再生方式のうち前記評価値が最も高い再生方式を選択するためのプログラムである。
［１２］の構成によれば、所定の個数の音源を用いる再生方式について、その音源の配置に応じて目標方向に音が知覚される度合いを示す評価値が算出され、算出された評価値に基づいて再生方式が選択される。そのため、音源配置に応じて制作者が意図した目標方向に確実に受聴者に知覚される音が再生される。また、最も目標方向に知覚させる可能性が高い再生方式が、音の再生に用いられる。そのため、受聴者に対して確実に目標方向に再生される音を知覚させることができる。

本発明によれば、受聴者に対して再生される音を制作者が意図した方向に確実に知覚させることができる。

本実施形態に係る音声処理装置の構成を示す概略ブロック図である。 本実施形態に係る再生方式決定処理の一例を示すフローチャートである。 本実施形態に係る再生方式決定処理の他の例を示すフローチャートである。 １つの音源の音源方向と目標方向の間の角度の例を示す図である。 ２つの各音源の音源方向の間の角度の例を示す図である。 面再生方式に係る評価値の算出例の説明図である。 １つの音源を基準とする他の２つの音源のそれぞれの方向の間の角度の例を示す図である。 代替方向と目標方向との間の角度の例を示す図である。 ２つの各音源の音源方向の間の角度の例を示す図である。 １つの音源の音源方向と代替方向の間の角度の例を示す図である。 線再生方式に係る評価値の算出例の説明図である。 １つの音源と目標方向の間の角度の例を示す図である。 点再生方式に係る評価値の算出例の説明図である。 再生装置における音源配置の一例を示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る音声処理装置１の構成を示す概略ブロック図である。音声処理装置１は、データ入力部１０１、再生評価部１０３、再生方式選択部１０９および音声信号変換部１１０を含んで構成される。

データ入力部１０１には、音声信号、目標方向情報および再生音源配置情報が入力される。入力される音声信号は、例えば、１つの音声オブジェクトの音声を示す１チャンネルの音声信号であってもよいし、マルチチャンネル音声信号であってもよい。目標方向情報は、音声信号に基づく音の目標方向を示す情報である。目標方向とは、各音声信号が有する位置（距離と方向の一方または両方）を示す情報、または所定の聴取位置から音を受聴者に知覚させる目標となる方向を指す。入力される音声信号が個々の音声オブジェクトの音声を示す音声信号である場合には、目標方向情報は、例えば、音声オブジェクトの目標方向を示す情報である。音声信号がマルチチャンネル音声信号である場合には、目標方向情報は、例えば、各チャンネルに対応する音源方向である。その場合には、目標方向情報は、マルチチャンネル音声信号の制作時における音源配置の情報であってもよい。再生音源配置情報は、所定の聴取位置からチャンネルごとの再生音源の方向を示す情報である。
データ入力部１０１は、音声信号を音声信号変換部１１０に出力し、目標方向情報と再生音源配置情報を再生評価部１０３に出力する。なお、再生音源配置情報は、予め再生評価部１０３に設定されていてもよい。その場合には、データ入力部１０１は、入力された再生音源配置情報を再生評価部１０３に出力しなくてもよい。

再生評価部１０３には、目標方向情報と再生音源配置情報がデータ入力部１０１から入力される。再生評価部１０３は、再生方式ごとに目標方向情報が示す目標方向に音声が知覚される度合いを示す評価値を算出する。再生方式は、再生音源配置情報が示す複数の音源のうち、いずれか所定の個数の音源を用いてその目標方向に極力近接した方向に知覚させる方式である。本実施形態では、再生方式として多音源再生方式、線再生方式および点再生方式が用いられる。多音源再生方式は、３個以上の音源を用いて目標方向に音声を知覚させる再生方式である。多音源再生方式には、３個の音源を用いて目標方向に音声を知覚させる再生方式である面再生方式が含まれる。線再生方式は、本来２個の音源を用いて、目標方向に音声を知覚させる再生方式である。上述の極力近接した方向とは、再生方式や再生に用いられる再生音源の配置によっては、その目標方向自体を意味することも、その目標方向とは異なる方向を意味することもある。

後述するように、線再生方式および点再生方式では、再生評価部１０３は、その目標方向とは異なる方向を代替方向として定め、その代替方向に音を知覚させる際の評価値を算出することがある。再生評価部１０３は、算出した再生方式ごとの評価値の情報を再生方式選択部１０９に出力する。代替方向を定めた場合には、再生評価部１０３は、その代替方向の情報を評価値の情報と対応付けて再生方式選択部１０９に出力する。なお、再生方式の情報には、再生に用いる音源または音源の組の情報が含まれてもよい。再生方式ならびに評価値については、後述する。

再生方式選択部１０９には、再生評価部１０３から再生方式ごとの評価値の情報が入力される。再生方式選択部１０９には、評価値の情報と対応付けて代替方向の情報がさらに入力されることがある。再生方式選択部１０９は、評価値に基づいていずれかの再生方式を選択する。再生方式選択部１０９は、例えば、評価値が最も高い再生方式を選択してもよいし、再生評価部１０３において所定の再生方式間の順序で算出される評価値のうち、初めて評価値の閾値以上となる評価値を与える再生方式を選択してもよい。再生方式選択部１０９は、選択した再生方式の情報を音声信号変換部１１０に出力する。選択した再生方式の情報に代替方向の情報が対応付けられる場合には、再生方式選択部１０９は、その代替方向の情報を音声信号変換部１１０に出力する。

音声信号変換部１１０は、データ入力部１０１から入力された音声信号を、再生方式選択部１０９から入力された再生方式で指定される形式の音声信号に変換する。多音源再生方式が指定される場合には、音声信号変換部１１０は、選択された３個以上の音源それぞれの方向と目標方向に基づいて、各音源に対応するチャンネルへの分配係数を定める。音声信号変換部１１０は、入力された音声信号に、チャンネルごとの分配係数を乗じて当該チャンネルの音声信号として生成する。

線再生方式が指定される場合には、音声信号変換部１１０は、選択された２個の音源それぞれの方向と目標方向に基づいて、各音源に対応するチャンネルへの分配係数を定める。但し、代替方向の情報が再生方式の情報に対応付けて入力される場合には、音声信号変換部１１０は、目標方向に代えて代替方向を用いて、各音源に対応するチャンネルへの分配係数を定める。音声信号変換部１１０は、入力された音声信号に、チャンネルごとの分配係数を乗じて当該チャンネルの音声信号として生成する。
点再生方式が指定される場合には、音声信号変換部１１０は、選択された音源に対応するチャンネルに入力された音声信号をそのまま割り当てる。つまり、音声信号変換部１１０は、選択された音源に対応するチャンネルへの分配係数を１とし、その他のチャンネルへの分配係数を０とする。

音声信号変換部１１０は、変換により得られた音声信号を再生装置（後述）に出力する。再生装置は、再生音源配置情報が示す音源配置を有する。その音源配置のもとで、変換された音声信号に基づいて目標方向または代替方向に知覚される音が再生される。なお、分配係数を求める際、音声信号変換部１１０は、目標方向を挟む複数の実音源方向の各チャンネルへの分配係数を算出する手法であれば、例えば、Ｔａｎ則、Ｓｉｎ則、ＶＢＡＰ法など、いずれの手法を用いてもよい。
なお、音声処理装置１は、単一の音声処理装置として再生装置と一体に構成されてもよい。

（再生評価部の構成）
次に、本実施形態に係る再生評価部１０３の構成について説明する。なお、以下の説明では、主に多音源再生方式として、面再生方式について例にするが、必ずしもこれには限定されない。
再生評価部１０３は、面再生評価部１０４、線再生評価部１０５および点再生評価部１０６を含んで構成される。

面再生評価部１０４は、再生音源配置情報と目標方向情報に基づいて面再生方式に係る評価値を算出する。面再生方式では、各音源方向を頂点とする単位球面上の領域に目標方向を含む３個の音源が用いられる。面再生評価部１０４は、再生音源配置情報が示す複数の音源のうち、その３個の音源からなる音源の組を選択する。例えば、２２．２ｃｈ音響では、再生音の方向知覚に寄与する２２個の音源が選択される音源の候補として用いられる。面再生評価部１０４は、選択された３個の音源のうち、いずれか２個の音源間の角度に基づいて評価値を算出する。音源配置と目標方向との空間的関係によっては、複数の音源の組が選択される場合がある。その場合には、面再生評価部１０４は、複数の音源の組のそれぞれについて評価値を算出する。従って、複数の音源の組のそれぞれが独立な再生方式として設定される。評価値の算出例については後述する。面再生評価部１０４は、音源の組ごとに算出した面再生方式に係る評価値を再生方式選択部１０９に出力する。

線再生評価部１０５は、再生音源配置情報と目標方向情報に基づいて線再生方式に係る評価値を算出する。線再生評価部１０５は、再生音源配置情報が示す複数の音源のうち、２個の音源の組を選択する。選択される音源の組の個数は、一般に複数である。目標方向は、選択される２個の音源のそれぞれの音源方向間を結ぶ単位球面の弧上に存在しないことがある。そこで、線再生評価部１０５は、第１方向変換部１０７を備える。

第１方向変換部１０７は、選択された音源の組ごとに、単位球面の中心からの音源方向間を結ぶ弧上の各点への方向のうち、目標方向との角度が最も小さい点への方向を代替方向として定める。従って、定めた代替方向が変換後の目標方向として与えられる。単位球面の中心からの目標方向が弧上に存在する場合、またはいずれかの音源方向が目標方向と等しい場合には、代替方向は目標方向と等しくなる。それらの場合においては、目標方向は変換されない。

線再生評価部１０５は、例えば、音源の組ごとに２個の音源間の角度と、目標方向と代替方向との間の角度とに基づいて評価値を算出する。従って、複数の音源の組のそれぞれが独立な再生方式として設定される。評価値の算出例については後述する。線再生評価部１０５は、音源の組ごとに算出した線再生方式に係る評価値を再生方式選択部１０９に出力する。

点再生評価部１０６は、再生音源配置情報と目標方向情報に基づいて点再生方式に係る評価値を算出する。点再生評価部１０６は、再生音源配置情報が示す複数の音源から、各１個の音源を選択する。音源方向が目標方向と一致する音源が存在しないことがある。そこで、点再生評価部１０６は、第２方向変換部１０８を備える。
第２方向変換部１０８は、選択された音源ごとにその音源方向を代替方向として定める。従って、定めた代替方向が、変換後の目標方向として与えられる。いずれかの音源方向が目標方向と等しい場合には、代替方向は目標方向と等しくなる。その場合には、目標方向は変換されない。
点再生評価部１０６は、音源ごとに目標方向と代替方向との間の角度とに基づいて評価値を算出する。従って、複数の音源のそれぞれが独立な再生方式として設定される。評価値の算出例については後述する。点再生評価部１０６は、音源ごとに算出した点再生方式に係る評価値を再生方式選択部１０９に出力する。

（再生方式選択処理）
次に、本実施形態に係る再生方式選択処理の一例について説明する。図２は、本実施形態に係る再生方式決定処理の一例を示すフローチャートである。図２に示す例では、再生方式選択部１０９において、再生方式間で優先順位が予め定められている。

（ステップＳ１０１）データ入力部１０１は、入力された再生音源配置情報と目標方向情報を再生評価部１０３に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）再生評価部１０３は、再生音源配置情報が示す各チャンネルの音源方向と目標方向情報が示す目標方向とに基づいて再生方式を設定する。再生評価部１０３は、設定した再生方式ごとに評価値を算出し、算出した評価値を再生方式選択部１０９に出力する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）再生方式選択部１０９は、再生方式ごとの評価値が所定の評価値の閾値以上であるか否かを判定する。面再生方式、線再生方式、点再生方式のそれぞれについて、複数の音源または音源の組ごとに評価値が算出されているとき、再生方式選択部１０９は、それぞれの方式において評価値が最大となる音源または音源の組を、閾値との比較対象として選択する。評価値が閾値以上であると判定されるとき（ステップＳ１０３ ＹＥＳ）、ステップＳ１０５に進む。評価値が閾値未満であると判定されるとき（ステップＳ１０３ ＮＯ）、ステップＳ１０４に進む。

（ステップＳ１０４）再生方式選択部１０９は、閾値と評価値を比較対象とする再生方式を、次の優先順位の再生方式に変更する。その後、ステップＳ１０３に戻る。
（ステップＳ１０５）再生方式選択部１０９は、評価値が閾値以上であると判定された再生方式を、再生に用いる再生方式として選択する。再生方式選択部１０９は、選択した再生方式の情報を音声信号変換部１１０に出力する。再生において目標方向として選択した再生方式に係る代替方向が用いられる。その後、図２に示す処理を終了する。

なお、図２に示す例では、優先順位は、面再生方式、線再生方式、点再生方式の順であり、面再生方式の優先順位が最も高い。面再生方式によれば、再生に用いられる３個の音源の各音源方向間の領域内に目標方向が必ず含まれるためである。線再生方式の優先順位を点再生方式よりも優先順位を高くしているのは、線再生方式によれば、各音源方向よりも、２個の音源の各音源方向間の弧上の代替方向の方が目標方向に近似することができる可能性が高いためである。よって、図２に示す処理によれば、受聴者に対して制作者が意図した方向に音を確実に知覚させることができる。

次に、本実施形態に係る再生方式決定処理の他の例について説明する。図３は、本実施形態に係る再生方式決定処理の他の例を示すフローチャートである。図３に示す例では、再生方式選択部１０９は最も大きい評価値を与える再生方式を選択する。図３に示す処理は、ステップＳ１０１の処理とステップＳ１１１〜Ｓ１１５の処理を有する。

（ステップＳ１１１）データ入力部１０１は、入力された再生音源配置情報と目標方向情報を再生評価部１０３に出力する。その後、ステップＳ１１２に進む。
（ステップＳ１１２）面再生評価部１０４は、目標方向情報に基づいて再生音源配置情報が示す複数の音源のうち、３個の音源からなる音源の組を選択する。面再生評価部１０４は、選択した音源の組ごとに面再生方式に係る評価値を算出する。面再生評価部１０４は、算出した評価値を再生方式選択部１０９に出力する。その後、ステップＳ１１３に進む。

（ステップＳ１１３）線再生評価部１０５は、再生音源配置情報が示す複数の音源のうち、２個の音源からなる音源の組を選択する。線再生評価部１０５は、目標方向情報に基づいて選択した音源の組ごとに線再生方式に係る評価値を算出する。線再生評価部１０５は、算出した評価値を再生方式選択部１０９に出力する。その後、ステップＳ１１４に進む。
（ステップＳ１１４）点再生評価部１０６は、再生音源配置情報が示す音源ごとに目標方向情報に基づいて点再生方式に係る評価値を算出する。点再生評価部１０６は、算出した評価値を再生方式選択部１０９に出力する。その後、ステップＳ１１５に進む。

（ステップＳ１１５）再生方式選択部１０９は、面再生評価部１０４、線再生評価部１０５および点再生評価部１０６のそれぞれから入力される評価値同士を比較する。その後、ステップＳ１１６に進む。
（ステップＳ１１６）再生方式選択部１０９は、最も評価値が大きい音源もしくは音源の組を用いる再生方式を選択する。再生において目標方向として選択した再生方式に係る代替方向が用いられる。その後、図３に示す処理を終了する。

（評価値の算出方法）
次に、本実施形態に係る評価値の算出方法について説明する。
面再生評価部１０４は、評価値の要素となる制御角として、（１）各１つの音源の音源方向と目標方向の角度α、（２）各２つの音源の所定の基準点からの音源方向間の角度（開き角）α’、（３）１つの音源からの他の１つの音源の音源方向とさらに他の１つの音源方向の間の角度α’’のいずれか、またはこれらの組み合わせを用いる。図４に角度αの一例を示す。図４に示す例では、角度αは、基準点Ｏから音源Ｓ０１の方向と、基準点Ｏから仮想音源Ｔ０１の方向の間の角度である。角度αが大きいほど、基準点からの音源間の角度が大きくなるので、それぞれの音源に音が知覚され仮想音源方向に音が知覚されなくなる傾向がある。そこで、面再生評価部１０４は、各音源間の角度αの最大値または平均値が大きいほど、小さくなる評価値を算出する。

図５に角度α’の一例を示す。図５に示す例では、角度α’は、基準点Ｏから音源Ｓ０１の方向と、基準点Ｏから音源Ｓ０２の方向との間の角度である。角度α’が大きいほど、それぞれの音源に音が知覚され仮想音源方向に音が知覚されなくなる傾向がある。そこで、面再生評価部１０４は、各２つの音源間の角度α’の最大値または平均値が大きいほど、小さくなる評価値を算出してもよい。面再生評価部１０４は、評価値ｆ１を算出するための評価関数として、例えば、式（１）に示す関数を用いる。

式（１）において、ａ_１は、予め設定された正の整数である。ａ_１は、例えば、１である。∠ｐ１｜ｐ２、∠ｐ２｜ｐ３、∠ｐ３｜ｐ１は、それぞれ図６に例示される基準点Ｏから音源ｐ１の方向と基準点Ｏから音源ｐ２の方向との角度、基準点Ｏから音源ｐ２の方向と基準点Ｏから音源ｐ３の方向との角度、基準点Ｏから音源ｐ３の方向と基準点Ｏから音源ｐ１の方向との角度を示す。即ち、式（１）は、１８０°から各２つの音源の音源方向間の角度の最大値を、音源の角度のとりうる最大値である１８０°で正規化して評価値ｆ１が算出されることを示す。評価値ｆ１の最大値、最小値は、それぞれａ_１、０である。なお、図６において、ｘ、ｙ、ｚは、３次元直交座標系のｘ軸、ｙ軸、ｚ軸を示す。

図７に角度α’’の一例を示す、図７に示す例では、角度α’’は、音源Ｓ０２から音源Ｓ０１の方向と音源Ｓ０２から音源Ｓ０３の方向との間の角度である。３つの音源からなる音源の組のそれぞれについて角度α’’が３つ算出されうる。３つの角度α’’間の分散が大きいほど、仮想音源方向に音源方向が最も近接する１つの音源の方向に音が知覚される傾向がある。そこで、面再生評価部１０４は、３つの角度α’’の分散が大きいほど、小さくなる評価値を算出してもよい。

線再生評価部１０５は、評価値の要素として、（５）代替方向と目標方向との間の角度β、（６）２つの音源の所定の基準点からの音源方向間の角度（開き角）β’、（７）各音源の所定の基準点からの音源方向と目標方向との間の角度β’’のいずれか、またはこれらの組み合わせを用いる。図８に角度βの一例を示す。図８に示す例では、角度βは、基準点Ｏから代替音源Ｔ０２の方向と、基準点Ｏから仮想音源Ｔ０１の方向の間の角度である。角度βが大きいほど代替方向に音が知覚され、仮想音源方向に音が知覚されなくなる傾向がある。そこで、線再生評価部１０５は、角度βが大きいほど、小さくなる評価値を算出する。

図９に角度β’の一例を示す。図９に示す例では、角度β’は、基準点Ｏから音源Ｓ１１の方向と、基準点Ｏから音源Ｓ１２の方向の間の角度である。角度β’が大きいほどそれぞれの音源の方向に音が知覚され、仮想音源方向に音が知覚されなくなる傾向がある。そこで、線再生評価部１０５は、角度β’が大きいほど、小さくなる評価値を算出する。
図１０に角度β’’の一例を示す。図１０に示す例では、角度β’’は、基準点Ｏから音源Ｓ１１の方向と、基準点Ｏから代替音源Ｔ０２の方向の間の角度である。２つの音源からなる音源の組のそれぞれについて角度β’’が２つ算出されうる。２つの角度β’’の差が大きいほど、仮想音源方向に音源方向がより近接する１つの音源の方向に音が知覚される傾向がある。そこで、線再生評価部１０５は、２つの角度β’’の差が大きいほど、小さくなる評価値を算出する。

線再生評価部１０５は、評価値ｆ２を算出するための評価関数として、例えば、式（２）に示す関数を用いる。

式（２）において、ａ_２、ａ_３、ｋ_２、ｋ_３は、それぞれ予め設定された正の整数である。ａ_２、ａ_３は、例えば、それぞれ１である。ｋ_２、ｋ_３は、それぞれ∠ｐ１｜ｐ２、∠ａ｜ｂ、による寄与の度合いを示す重み係数である。ｋ_２＋ｋ_３は、１である。∠ｐ１｜ｐ２、∠ａ｜ｂは、それぞれ図１１に例示される基準点Ｏから音源ｐ１の方向と基準点Ｏから音源ｐ２の方向との角度、目標方向ａと代替方向ｂとの角度を示す。即ち、式（２）は、１８０°から２つの音源の音源方向間の角度を減じた値を１８０°で正規化した値と、１８０°から目標方向と代替方向との角度を減じた値を１８０°で正規化した値に、それぞれの重み係数で乗じて得られる乗算値の総和を評価値ｆ２として算出することを示す。

点再生評価部１０６は、評価値の要素として、各音源の音源方向と目標方向の角度εを用いる。図１２に角度εの一例を示す。図１２に示す例では、角度εは、基準点Ｏから音源Ｓ２１の方向と、基準点Ｏから仮想音源Ｔ０１の方向の間の角度である。知覚される音の方向は、実際に音を再生する音源の方向であるので、角度εが大きいほど、知覚される音の方向の仮想音源方向からの差が大きくなることを示す。そこで、点再生評価部１０６は、角度εが大きいほど、小さくなる評価値を算出する。

点再生評価部１０６は、評価値ｆ３を算出するための評価関数として、例えば、式（３）に示す関数を用いる。

式（３）において、ａ_４は、予め設定された正の整数である。ａ_４は、例えば、１である。∠ａ｜ｂは、図１３に例示される目標方向ａと代替方向ｂとの角度を示す。即ち、式（３）は、１８０°から目標方向と代替方向との角度を減じた値を１８０°で正規化して評価値ｆ３を算出することを示す。

上述したように、再生方式選択部１０９は、各再生方式の評価値を比較して再生方式を定める。そのため、再生方式間で評価値の値域を等しくなるように各係数を定めておく。例えば、評価値ｆ１、ｆ２、ｆ３の相互間で値域を等しくするために、ａ_１＝ａ_２、ａ_３＝ａ_４としておく。

なお、上記の説明では、第１方向変換部１０７は、代替方向として、単位球面上の２つの音源方向間を結ぶ弧上の各点のうち、目標方向との角度が最も小さい点までの基準点からの方向を定める場合を例にしたが、これには限られない。第１方向変換部１０７は、（ｉ）単位球面上の２つの音源方向間を結ぶ線分と目標方向を通過するその線分との垂線との交点までの基準点からの方向、または（ｉｉ）単位球面上の２つの音源方向の間を結ぶ線分において、一方の音源方向から目標方向までの距離と等しい距離の点までの基準点からの方向、を代替方向として定めてもよい。

（動作例）
次に、図１４に示す再生装置を用いて音を再生する場合を例にして、音声処理装置１の動作例について説明する。図１４は、再生装置における音源配置の一例を示す図である。図１４に示す例では、音源として１２個のスピーカＳ３１〜Ｓ４２が長方形の領域の周囲に設置されている。スピーカＳ３１、Ｓ３５、Ｓ３８、Ｓ４２が、それぞれ長方形の頂点に設置されている。スピーカＳ３２、Ｓ３３、Ｓ３４は、それぞれ長方形の上辺の左端からの１／４等分点、中点、３／４等分点の位置に設置されている。スピーカＳ３９、Ｓ４０、Ｓ４１は、それぞれ長方形の上辺の左端からの１／４等分点、中点、３／４等分点に設置されている。また、スピーカＳ３６、Ｓ３７は、それぞれ長方形の左辺、右辺の中点に設置されている。図１４に示される左方、上方が、それぞれ聴取位置を基準とする左方、上方を表す。また、視聴位置から長方形の領域の中央への方向が前方に相当する。長方形の領域には画像表示部が設置されることがある。画像表示部は、例えば、フラットパネルディスプレイである。

ここで、目標方向Ｔ１１が、スピーカＳ３３、Ｓ４０の中点よりもスピーカＳ３３に近い方向である場合を仮定する。この場合、面再生評価部１０４は、音源の組としてスピーカＳ３２、Ｓ３３、Ｓ４０を選択する。目標方向Ｔ１１は、スピーカＳ３２、Ｓ３３、Ｓ４０の各方向に囲まれる領域に含まれるためである。面再生評価部１０４は、目標方向Ｔ１１の方向に音が知覚される度合いを示す評価値ｆ１を算出する。線再生評価部１０５は、音源の組としてスピーカＳ３３、Ｓ４０の組と、スピーカＳ３６、Ｓ３７の組を選択する。そして、線再生評価部１０５は、選択した音源の組ごとに評価値ｆ２を算出する。目標方向Ｔ１１は、スピーカＳ３３、Ｓ４０間の線分上にある。そのため、スピーカＳ３２、Ｓ３３、Ｓ４０の組を用いた面再生方式によっても、再生装置は受聴者に対してスピーカＳ３３、Ｓ４０の組を用いた線再生方式によっても目標方向Ｔ１１に音を知覚させることができる。一般に、２個の音源が、信号レベルが共通である同一の音声信号に基づく音を再生するとき、受聴者は、その２個の音源の中間の方向に音を知覚するためである。

しかし、目標方向Ｔ１１は、スピーカＳ３６、Ｓ３７間の中点よりも上方にある。そのため、線再生評価部１０５は、目標方向Ｔ１１に最も近接する代替方向Ｔ１２をスピーカＳ３６、Ｓ３７間の線分上に定める。スピーカＳ３６、Ｓ３７を用いた線再生方式によれば、受聴者は目標方向Ｔ１１に音を知覚させることはできず、目標方向Ｔ１１よりも下方の代替方向Ｔ１２に音を知覚する。

図１４に示すようにスピーカＳ３６、Ｓ３７間の基準点からの開き角が比較的大きい場合には、スピーカＳ３６、Ｓ３７の組に係る評価値よりも、スピーカＳ３３、Ｓ４０の組に係る評価値の方が大きくなる。基準点である聴取位置からの２個の音源間の開き角が大きくなるほど、個々の音源から音が知覚される傾向があるためである。そのため、再生方式選択部１０９は、スピーカＳ３３、Ｓ４０の組を選択する。再生装置は、音声信号変換部１１０が変換したマルチチャンネル音声信号に基づく音を再生する。

他方、スピーカＳ３６、Ｓ３７間の開き角が図１４に示す開き角よりも小さくなると、スピーカＳ３６、Ｓ３７の組に係る評価値よりも、スピーカＳ３３、Ｓ４０の組に係る評価値の方が小さくなることがある。その場合には、再生方式選択部１０９は、スピーカＳ３６、Ｓ３７の組を選択する。再生装置は、選択されたスピーカＳ３６、Ｓ３７を用いて音を再生する。このとき、受聴者は代替方向Ｔ１２の方向に音を知覚する。これに対し、スピーカＳ３３、Ｓ４０の組は相対的に開き角が大きいために、合成音像が形成されずにスピーカＳ３３、Ｓ４０のそれぞれに音が知覚される。そのため、スピーカＳ３６、Ｓ３７の組を用いた線再生方式により、受聴者は、スピーカＳ３３、Ｓ４０の組よりも制作者の意図に応じた方向に近似した方向に音を知覚することができる。

このように、音声処理装置１によれば、受聴者に対して再生時の音源配置に応じて目標方向または目標方向に近似した方向に音を知覚させるための再生方式が選択される。選択される音源または音源の組により、受聴者に対して元の目標方向に代えて目標方向に近似した代替方向に音を知覚させることができる。

また、一般に受聴者は、スピーカＳ３６、Ｓ３７の組のように水平方向に分布した音源間における合成音像を、スピーカＳ３３、Ｓ４０の組のように垂直方向に分布した音源間における合成音像よりも明瞭に知覚する。言い換えれば、垂直方向に分布する複数の音源からなる音源の組よりも、水平方向に分布する複数の音源の組を用いる方が、受聴者に対して再生音をより確実に目標方向に知覚させることができる。そこで、面再生評価部１０４、線再生評価部１０５および点再生評価部１０６は、制御角のうち水平面内の方位角成分よりも水平面からの仰角成分による評価値の低下に対する寄与が大きい評価関数を用いてもよい。制御角として、複数の音源間の角度、目標方向と代替方向の間の角度および各音源の音源方向と目標方向の間の角度のいずれかまたはこれらの組に適用される。評価値の算出において、方位角成分と仰角成分とで、それぞれ独立な制御パラメータが用いられる。例えば、式（１）の係数ａ_１、式（２）のａ_２、ａ_３、ｋ_２、ｋ_３、式（３）のａ_４が制御パラメータに該当する。

（変形例）
次に、本実施形態に係る音声処理装置１の変形例について説明する。再生評価部１０３は、現在よりも所定時間後の目標方向を予測目標方向として取得してもよい。所定時間は、例えば、１〜３秒である。再生評価部１０３は、予測目標方向を取得する際、例えば、過去の目標方向をさらに用いて線形予測法を用いて予測目標方向を算出する。目標方向情報が目標方向の時系列を示す場合には、再生評価部１０３は、その時系列を形成する目標方向のうち現在よりも所定時間後の目標方向を選択してもよい。面再生評価部１０４、線再生評価部１０５および点再生評価部１０６は、目標方向に代えて予測目標方向に基づいて再生方式と音源または音源の組ごとに評価値を算出する。再生方式選択部１０９は、これらの予測目標方向に基づく評価値を用いて再生方式と音源または音源の組を選択する。そして、音声信号変換部１１０は、入力される音声信号を再生方式選択部１０９が選択した再生方式と音源または音源の組を用いて再生音を目標方向に知覚させる音声信号を生成し、生成した音声信号を再生装置の各チャンネルの音源に出力する。

また、音声信号変換部１１０は、さらに上述した目標方向に基づいて算出された評価値を用いて選択された音源または音源の組を用いて再生音を目標方向に知覚させる第２の音声信号を生成してもよい。そして、音声信号変換部１１０は、第２の音声信号と上述の音声信号とをミキシングにより平均して得られるミキシング信号を再生装置の各チャンネルの音源に出力してもよい。この構成により、再生に用いられる音源または音源の組の切り替わりに伴う、受聴者の各耳における再生音の音響特徴量の急激な変化によってもたらされる違和感を緩和または解消することができる。音響特徴量は、例えば、音量、周波数特性、両耳間レベル差、両耳間時間差、などである。

上記の説明では、再生評価部１０３が、面再生評価部１０４、線再生評価部１０５、点再生評価部１０６のいずれも備える場合を例にしたが、これには限られない。再生評価部１０３は、線再生評価部１０５と点再生評価部１０６を備え、面再生評価部１０４が省略されてもよい。
また、再生音源配置情報が示す再生装置の音源配置として各チャンネルの音源がそれぞれ３次元空間内に配置される場合を例にしたが、これには限られない。音源配置として各チャンネルの音源が水平面内に配置される場合に適用されてもよい。その場合には、面再生評価部１０４は省略される。線再生評価部１０５は、評価値の要素となる角度として、代替方向を要さず、２つの音源間の角度、各音源の音源方向と目標方向との角度を用いればよい。

なお、上述では、主に再生評価部１０３が、多音源再生評価部として、面再生評価部１０４のみを備える場合を例にしたが、これには限られない。多音源再生評価部は、４個以上の音源を用いて音を再生する再生方式について利用される音源の組ごとに評価値を算出してもよい。一般に、４個以上の音源が形成する多角形、例えば、四角形、五角形などでは、それら４個以上の音源が同一平面上にあるとは限らない。そこで、多音源再生評価部は、各音源位置を、基準点を中心とした単位球面に射影した点を頂点として有する多角形に基づいて４個以上の音源の組ごとの評価値を算出する。より具体的には、多音源再生評価部は、例えば、基準点から多角形の各頂点への方向と目標方向がなす角度、基準点から多角形の任意の２頂点間の角度、および形成する多角形のいずれかの頂点の角度のいずれか、または任意の組み合わせを用いて評価値を算出する。算出される評価値は、これらの角度が小さくなるほど、小さい値をとる。

また、多音源再生評価部は、各４個以上の音源の組のうち３個の音源の組のそれぞれについて、面再生方式に係る評価値と同様な手法を用いて評価値を算出してもよい。ここで、多音源再生評価部は、３個の音源の組が互いに重複しないように選択する。多音源再生評価部は、例えば、４個以上の音源の位置を各頂点とする多角形の内分線のうち、最も長いものを一辺として有する三角形から順に互いに辺が交差しない三角形を特定する。そして、多音源再生評価部は、３個の音源の組のそれぞれについて算出した評価値の代表値を、その４個以上の音源の組の評価値として定める。多音源再生評価部は、代表値として、３個の音源の組間の平均値、最小値のいずれを算出してもよい。

また、再生方式選択部１０９は、目標方向情報が示す目標方向ごとに定めた再生方式と音源または音源の組を示す再生方式データを生成して、生成した再生方式データを音声信号変換部１１０に設定してもよい。定められた再生方式が線再生方式または点再生方式である場合には、再生方式データには代替方向の情報が目標方向に対応付けられる。音声信号変換部１１０は、設定された再生方式データを参照して、目標方向情報が示す目標方向ごとの再生方式を用いて、入力される音声信号を再生方式データが示す音源または音源の組への音声信号に変換する。代替方向の情報が対応付けられている目標方向については、目標方向に代えて代替方向に知覚させる再生音を与える音声信号に変換される。
また、音声信号変換部１１０は、目標方向ごとに、再生方式選択部１０９が定めた再生方式および音源または音源の組に係るチャンネルごとの分配係数を示す分配データを生成し、生成した分配データを自部に設定してもよい。代替方向が与えられる目標方向については、目標方向に代えて代替方向に知覚させる再生音を与える分配係数が、分配データにおいて目標方向と対応付けられる。設定した分配データを参照して、目標方向情報が示す目標方向に対応する分配係数を用いて、入力される音声信号を再生に用いる音声信号に変換する。

以上に説明したように、本実施形態に係る音声処理装置１は、音声信号とその目標方向の情報を入力するデータ入力部１０１を備える。また、音声処理装置１は、複数の音源のうち、いずれか所定の個数の音源を用いる再生方式について目標方向に知覚される度合いを示す評価値を算出する再生評価部１０３を備える。また、評価値に基づいて再生方式を選択する再生方式選択部１０９を備える。
この構成により、所定の個数の音源を用いる再生方式について、その音源の配置に応じて目標方向に音が知覚される度合いを示す評価値が算出され、算出された評価値に基づいて再生方式が選択される。そのため、音源配置に応じて制作者が意図した目標方向に確実に受聴者に知覚される音が再生される。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

なお、上述した音声処理装置１の一部、再生評価部１０３、再生方式選択部１０９、音声信号変換部１１０をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、音声処理装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における音声処理装置１の一部、または全部をＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。音声処理装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１…音声処理装置、１０１…データ入力部、１０３…再生評価部、１０４…面再生評価部、１０５…線再生評価部、１０６…点再生評価部、１０７…第１方向変換部、１０８…第２方向変換部、１０９…再生方式選択部、１１０…音声信号変換部

Claims (12)

1. 音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力部と、
   複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価部と、
   前記評価値に基づいて再生方式を選択する再生方式選択部と、
   を備え、
   前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、
   前記再生方式選択部は、所定の再生方式の選択順に前記評価値と所定の評価値の閾値とを比較し、前記評価値が初めて前記評価値の閾値以上となる再生方式を選択する
   音声処理装置。
2. 音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力部と、
   複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価部と、
   前記評価値に基づいて再生方式を選択する再生方式選択部と、
   を備え、
   前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、
   前記再生方式選択部は、前記再生方式のうち前記評価値が最も高い再生方式を選択する
   音声処理装置。
3. 前記再生評価部は、
   前記複数の音源のうち２個の音源の組ごとに前記線再生方式に係る評価値を算出し、
   前記複数の音源のうち１個の音源ごとに前記点再生方式に係る評価値を算出し、
   前記再生方式選択部は、
   前記評価値が最も高い再生方式と音源もしくは音源の組を選択する
   ことを特徴とする請求項２に記載の音声処理装置。
4. 前記再生方式は、３個以上の音源のそれぞれの方向で区分される領域内に前記目標方向が含まれ、当該３個以上の音源を用いる多音源再生方式をさらに含み、
   前記再生評価部は、
   前記複数の音源のうち３個以上の音源の組ごとに前記多音源再生方式に係る評価値をさらに算出する
   ことを特徴とする請求項３に記載の音声処理装置。
5. 前記再生評価部は、
   前記再生方式について現在と現在から所定時間後それぞれの目標方向に知覚される度合いを示す評価値を算出し、
   前記再生方式選択部が現在と前記所定時間後それぞれの目標方向について選択した再生方式および音源もしくは音源の組を用いて現在の目標方向に知覚させる音声信号を生成する音声信号変換部を
   さらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の音声処理装置。
6. 前記再生評価部は、
   前記線再生方式に係る評価値の要素として、代替方向と前記目標方向との間の角度、所定の基準点から前記２個の音源のそれぞれまでの方向の間の角度、および前記基準点から前記２個の音源の一方の方向と前記代替方向との間の角度と前記２個の音源の他方の方向と前記代替方向との間の角度との差の少なくともいずれかを算出し、
   前記代替方向は、単位球面の中心から前記２個の音源のそれぞれの方向の間を結ぶ弧上の各点までの方向のうち前記目標方向との角度が最も小さい方向であり、
   前記点再生方式に係る評価値の要素として、前記目標方向と前記１個の音源の方向との角度を算出する
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の音声処理装置。
7. 前記再生方式は、３個以上の音源のそれぞれの方向で区分される領域内に前記目標方向が含まれ、当該３個以上の音源を用いる多音源再生方式をさらに含み、
   前記再生評価部は、
   前記多音源再生方式に係る評価値の要素として、前記基準点から前記３個以上の音源のそれぞれまでの方向と前記目標方向との間の角度、前記基準点から前記３個以上の音源のうち任意の２個の音源の一方までの方向と前記基準点から当該任意の２個の音源の他方までの方向のなす角度、および前記３個以上の音源が形成する多角形のいずれかの頂点の角度の少なくともいずれかを算出する
   ことを特徴とする請求項６に記載の音声処理装置。
8. 前記角度は、基準点を含む水平面内の方位角と前記水平面からの仰角を含み、
   前記再生評価部は、
   前記角度の方位角と前記角度の仰角で独立な係数を用いて前記評価値を算出する
   ことを特徴とする請求項７に記載の音声処理装置。
9. 音声処理装置における音声処理方法であって、
   音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力過程と、
   複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価過程と、
   前記評価値に基づいて再生方式を選択する再生方式選択過程と、を有し、
   前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、
   前記再生方式選択過程は、所定の再生方式の選択順に前記評価値と所定の評価値の閾値とを比較し、前記評価値が初めて前記評価値の閾値以上となる再生方式を選択する
   音声処理方法。
10. 音声処理装置における音声処理方法であって、
    音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力過程と、
    複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価過程と、
    前記評価値に基づいて再生方式を選択する再生方式選択過程と、を有し、
    前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、
    前記再生方式選択過程は、前記再生方式のうち前記評価値が最も高い再生方式を選択する
    音声処理方法。
11. コンピュータに、
    音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力部と、
    複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価部と、
    前記評価値に基づいて再生方式を選択する再生方式選択部と、を備え、
    前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、
    前記再生方式選択部は、所定の再生方式の選択順に前記評価値と所定の評価値の閾値とを比較し、前記評価値が初めて前記評価値の閾値以上となる再生方式を選択する
    音声処理装置として機能させるためのプログラム。
12. コンピュータに、
    音声信号と前記音声信号の知覚目標とする目標方向の情報を入力するデータ入力部と、
    複数の音源のうち所定の個数の音源を用いる再生方式について前記目標方向に知覚される度合いを示す評価値を算出する再生評価部と、
    前記評価値に基づいて再生方式を選択する再生方式選択部と、を備え、
    前記再生方式は、２個の音源を用いる線再生方式および１個の音源を用いる点再生方式を含み、
    前記再生方式選択部は、前記再生方式のうち前記評価値が最も高い再生方式を選択する
    音声処理装置として機能させるためのプログラム。

Images