JP7380835B2 - 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体 - Google Patents

Description

本発明は、音信号をモノラルで符号化したり、モノラル符号化とステレオ符号化を併用して音信号を符号化したり、音信号をモノラルで信号処理したり、ステレオの音信号にモノラルの音信号を用いた信号処理をしたりするために、複数チャネルの音信号からモノラルの音信号を得る技術に関する。

２チャネルの音信号からモノラルの音信号を得て、２チャネルの音信号とモノラルの音信号をエンベデッド符号化／復号する技術として、特許文献１の技術がある。特許文献１には、入力された左チャネルの音信号と入力された右チャネルの音信号を対応するサンプルごとに平均することでモノラル信号を得て、モノラル信号を符号化（モノラル符号化）してモノラル符号を得て、モノラル符号を復号（モノラル復号）してモノラル局部復号信号を得て、左チャネルと右チャネルのそれぞれについて、入力された音信号と、モノラル局部復号信号から得た予測信号と、の差分（予測残差信号）を符号化する技術が開示されている。特許文献１の技術では、それぞれのチャネルについて、モノラル局部復号信号に遅延を与えて振幅比を与えた信号を予測信号として、入力された音信号と予測信号の誤差が最小となる遅延と振幅比を有する予測信号を選択するか、または、入力された音信号とモノラル局部復号信号との間の相互相関を最大にする遅延差と振幅比を有する予測信号を用いて、入力された音信号から予測信号を減算して予測残差信号を得て、予測残差信号を符号化／復号の対象とすることで、各チャネルの復号音信号の音質劣化を抑えている。

国際公開第２００６／０７０７５１号

特許文献１の技術では、予測信号を得る際にモノラル局部復号信号に与える遅延と振幅比を最適化することで、各チャネルの符号化効率を高めることができる。しかし、特許文献１の技術では、モノラル局部復号信号は左チャネルの音信号と右チャネルの音信号を平均して得たモノラル信号を符号化・復号して得たものである。すなわち、特許文献１の技術には、複数チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得る工夫がされていないという課題がある。
本発明では、複数チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得る技術を提供することを目的とする。

本発明の一態様は、N個（Nは3以上の整数）のチャネルの入力音信号からモノラルの音信号であるダウンミックス信号を得る音信号ダウンミックス方法であって、N個のチャネルに含まれる2個のチャネルによる組合せのそれぞれについての、2個のチャネルの入力音信号間の相関の大きさを表す値であるチャネル間相関値と、2個のチャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得るチャネル間関係情報取得ステップと、チャネル間相関値と先行チャネル情報とに基づき、各チャネルの入力音信号に、当該チャネルより先行している各チャネルの入力音信号との相関が大きいほど小さく、当該チャネルより後行している各チャネルの入力音信号との相関が大きいほど大きい重みを与えて、N個のチャネルの入力音信号を重み付け加算してダウンミックス信号を得るダウンミックスステップと、を有し、チャネル間関係情報取得ステップは、第1チャネルから順に、残りのチャネルのうちの入力音信号が最も類似するチャネルが隣接するチャネルとなるように、逐次的に並び替えを行って、N個のチャネルの並び替え後の信号である第1並び替え済入力音信号から第N並び替え済入力音信号と、各並び替え済入力音信号のN個のチャネルの入力音信号におけるチャネル番号である第1原チャネル情報から第N原チャネル情報と、を得るチャネル並び替えステップと、第1並び替え済入力音信号から第N並び替え済入力音信号のうちの並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての、チャネル間相関値とチャネル間時間差を得る隣接チャネル間関係情報推定ステップと、並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値から、並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値を得て、並び替え後のチャネルによる組合せのそれぞれについてのチャネル間相関値を、原チャネル情報を用いてN個のチャネルの入力音信号におけるチャネルの組合せに対応付けることで、N個のチャネルに含まれる2個のチャネルによる組合せそれぞれについての、入力音信号間のチャネル間相関値を得て、並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差から、並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差を得て、並び替え後のチャネルによる組合せのそれぞれについてのチャネル間時間差から、原チャネル情報を用いてN個のチャネルの入力音信号におけるチャネルの組合せに対応付けることと、チャネル間時間差が正であるか負であるか0であるかに基づいて先行チャネル情報を得ることと、によって、N個のチャネルに含まれる2個のチャネルによる組合せそれぞれについての先行チャネル情報を得るチャネル間関係情報補完ステップを有し、並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれにおける2個のチャネル番号をi（iは1以上N-1以下の各整数）とi+1とし、並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値をγ'_i(i+1)とし、並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差をτ'_i(i+1)とし、並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれにおける2個のチャネル番号をn（nは1以上N-2以下の各整数）とm（mはn+2以上N以下の各整数）とし、並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値をγ'_nmとし、並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差をτ'_nmとして、並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_nmは、iがn以上m-1以下である並び替え後のチャネル番号が隣接する2個のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_i(i+1)のうちの最小値を含む1個以上のチャネル間相関値γ'_i(i+1)のそれぞれと単調非減少の関係にある値であり、並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差τ'_nmは、iがn以上m-1以下である並び替え後のチャネル番号が隣接する2個のチャネルによる組合せそれぞれについてのチャネル間時間差τ'_i(i+1)の全てを加算した値であることを特徴とする。

本発明の一態様は、音信号符号化方法であって、前記音信号ダウンミックス方法を音信号ダウンミックスステップとして有し、ダウンミックスステップが得たダウンミックス信号を符号化してモノラル符号を得るモノラル符号化ステップと、N個チャネルの入力音信号を符号化してステレオ符号を得るステレオ符号化ステップと、を更に有することを特徴とする。

本発明によれば、複数チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得ることができる。

第１実施形態の第１例の音信号ダウンミックス装置を示すブロック図である。 第１実施形態の第１例の音信号ダウンミックス装置の処理を示す流れ図である。 第１実施形態の第２例の音信号ダウンミックス装置の例を示すブロック図である。 第１実施形態の第２例の音信号ダウンミックス装置の処理の例を示す流れ図である。 第２実施形態の第１例と第３実施形態の第１例の音信号ダウンミックス装置の例を示すブロック図である。 第２実施形態の第１例と第３実施形態の第１例の音信号ダウンミックス装置の処理の例を示す流れ図である。 第２実施形態の第２例と第３実施形態の第２例の音信号ダウンミックス装置の例を示すブロック図である。 第２実施形態の第２例と第３実施形態の第２例の音信号ダウンミックス装置の処理の例を示す流れ図である。 音信号ダウンミックス装置に入力される６チャネルの入力音信号を模式的に示す図である。 音信号ダウンミックス装置に入力される６チャネルの入力音信号を模式的に示す図である。 第３実施形態のチャネル間関係情報推定部の例を示すブロック図である。 第３実施形態のチャネル間関係情報推定部の処理の例を示す流れ図である。 第４実施形態の音信号符号化装置の例を示すブロック図である。 第４実施形態の音信号符号化装置の処理の例を示す流れ図である。 第５実施形態の音信号処理装置の例を示すブロック図である。 第５実施形態の音信号処理装置の処理の例を示す流れ図である。 本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。

＜第１実施形態＞
符号化処理などの信号処理の対象となる２チャネルの音信号は、ある空間に配置された左チャネル用のマイクロホンと右チャネル用のマイクロホンのそれぞれで収音した音をＡＤ変換して得られたディジタルの音信号であることが多い。この場合には、符号化処理などの信号処理をする装置に入力されるのは、当該空間に配置した左チャネル用のマイクロホンで収音した音をＡＤ変換して得られたディジタルの音信号である左チャネル入力音信号と、当該空間に配置した右チャネル用のマイクロホンで収音した音をＡＤ変換して得られたディジタルの音信号である右チャネル入力音信号である。この左チャネル入力音信号と右チャネル入力音信号には、当該空間に存在する各音源が発した音が、音源から左チャネル用のマイクロホンへの到達時間と、音源から右チャネル用のマイクロホンへの到達時間と、の差（いわゆる到来時間差）が与えられた状態で含まれている。

上述した特許文献１の技術では、モノラル局部復号信号に遅延を与えて振幅比を与えた信号を予測信号として、入力された音信号から予測信号を減算して予測残差信号を得て、予測残差信号を符号化／復号の対象としている。すなわち、それぞれのチャネルについて、入力された音信号とモノラル局部復号信号とが類似しているほど効率よく符号化できる。しかしながら、例えば、ある空間に存在する１つの音源が発した音のみが左チャネル入力音信号と右チャネル入力音信号に到来時間差が与えられた状態で含まれているとすると、モノラル局部復号信号が左チャネル音信号と右チャネル音信号を平均して得たモノラル信号を符号化・復号して得たものである場合には、左チャネル音信号にも右チャネル音信号にもモノラル局部復号信号にも同じ１つの音源が発した音のみが含まれているにもかかわらず、左チャネル音信号とモノラル局部復号信号の類似の度合いは極めて高くはなく、右チャネル音信号とモノラル局部復号信号の類似の度合いも極めて高くはない。このように、左チャネル音信号と右チャネル音信号をただ平均してモノラル信号を得るのでは、符号化処理などの信号処理に有用なモノラル信号を得られないことがある。

そこで、符号化処理などの信号処理に有用なモノラル信号を得られるように、左チャネル入力音信号と右チャネル入力音信号の関係を考慮したダウンミックス処理を行うのが第１実施形態の音信号ダウンミックス装置である。以下、第１実施形態の音信号ダウンミックス装置について説明する。

≪第１例≫
まず、第１実施形態の第１例の音信号ダウンミックス装置について説明する。第１例の音信号ダウンミックス装置４０１は、図１に示す通り、左右関係情報推定部１８３とダウンミックス部１１２を含む。音信号ダウンミックス装置４０１は、例えば20msの所定の時間長のフレーム単位で、入力された２チャネルステレオの時間領域の音信号から、後述するダウンミックス信号を得て出力する。音信号ダウンミックス装置４０１に入力されるのは２チャネルステレオの時間領域の音信号であり、例えば、音声や音楽などの音を２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音信号、前述したディジタルの音信号を符号化／復号して得たディジタルの復号音信号、前述したディジタルの音信号を信号処理して得たディジタルの信号処理済みの音信号、であり、左チャネル入力音信号と右チャネル入力音信号から成る。音信号ダウンミックス装置４０１が得た時間領域のモノラルの音信号であるダウンミックス信号は、少なくともダウンミックス信号を符号化する符号化装置や少なくともダウンミックス信号を信号処理する信号処理装置に入力される。フレーム当たりのサンプル数をTとすると、音信号ダウンミックス装置４０１にはフレーム単位で左チャネル入力音信号x_L(1), x_L(2), ..., x_L(T)と右チャネル入力音信号x_R(1), x_R(2), ..., x_R(T)が入力され、音信号ダウンミックス装置４０１はフレーム単位でダウンミックス信号x_M(1), x_M(2), ..., x_M(T)を得て出力する。ここで、Tは正の整数であり、例えば、フレーム長が20msであり、サンプリング周波数が32kHzであれば、Tは640である。第１例の音信号ダウンミックス装置４０１は、各フレームについて、図２に例示するステップＳ１８３とステップＳ１１２の処理を行う。

［左右関係情報推定部１８３］
左右関係情報推定部１８３には、音信号ダウンミックス装置４０１に入力された左チャネル入力音信号と、音信号ダウンミックス装置４０１に入力された右チャネル入力音信号と、が入力される。左右関係情報推定部１８３は、左チャネル入力音信号と右チャネル入力音信号から、左右相関値γと、先行チャネル情報と、を得て出力する（ステップＳ１８３）。

先行チャネル情報は、ある空間の主な音源が発した音が、当該空間に配置した左チャネル用のマイクロホンと当該空間に配置した右チャネル用のマイクロホンのどちらに早く到達しているかに相当する情報である。すなわち、先行チャネル情報は、同じ音信号が左チャネル入力音信号と右チャネル入力音信号のどちらに先に含まれているかを表す情報である。同じ音信号が左チャネル入力音信号に先に含まれている場合には左チャネルが先行しているまたは右チャネルが後行しているといい、同じ音信号が右チャネル入力音信号に先に含まれている場合には右チャネルが先行しているまたは左チャネルが後行しているというとすると、先行チャネル情報は、左チャネルと右チャネルのどちらのチャネルが先行しているかを表す情報である。左右相関値γは、左チャネル入力音信号と右チャネル入力音信号の時間差を考慮した相関値である。すなわち、左右相関値γは、先行しているチャネルの入力音信号のサンプル列と、τサンプルだけ当該サンプル列より後にずれた位置にある後行しているチャネルの入力音信号のサンプル列と、の相関の大きさを表す値である。このτのことを以下では左右時間差ともいう。先行チャネル情報と左右相関値γは、左チャネル入力音信号と右チャネル入力音信号の関係を表す情報であるので、左右関係情報であるともいえる。

例えば、相関の大きさを表す値として相関係数の絶対値を用いるのであれば、左右関係情報推定部１８３は、予め定めたτ_maxからτ_minまで（例えば、τ_maxは正の数、τ_minは負の数）の各候補サンプル数τ_candについて、左チャネル入力音信号のサンプル列と、各候補サンプル数τ_cand分だけ当該サンプル列より後にずれた位置にある右チャネル入力音信号のサンプル列と、の相関係数の絶対値γ_candのうちの最大値を左右相関値γとして得て出力し、相関係数の絶対値が最大値のときのτ_candが正の値である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力し、相関係数の絶対値が最大値のときのτ_candが負の値である場合には、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力する。左右関係情報推定部１８３は、相関係数の絶対値が最大値のときのτ_candが０である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいし、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいが、何れのチャネルも先行していないことを表す情報を先行チャネル情報として得て出力するとよい。

予め定めた各候補サンプル数は、τ_maxからτ_minまでの各整数値であってもよいし、τ_maxからτ_minまでの間にある分数値や小数値を含んでいてもよいし、τ_maxからτ_minまでの間にある何れかの整数値を含まないでもよい。また、τ_max＝-τ_minであってもよいし、そうでなくてもよい。何れかのチャネルが先行しているか分からない入力音信号を対象とすることを想定すると、τ_maxを正の数とし、τ_minを負の数とするのがよいが、何れかのチャネルが必ず先行しているような特殊な入力音信号を対象とする場合には、τ_maxもτ_minも正の数としたり、τ_maxもτ_minも負の数としたりしてもよい。なお、相関係数の絶対値γ_candを計算するために現在のフレームの入力音信号のサンプル列に連続する過去の入力音信号の１個以上のサンプルも用いてもよく、この場合には過去のフレームの入力音信号のサンプル列を予め定めたフレーム数分だけ左右関係情報推定部１８３内の図示しない記憶部に記憶しておくようにすればよい。

また例えば、相関係数の絶対値に代えて、以下のように信号の位相の情報を用いた相関値をγ_candとしてもよい。この例においては、左右関係情報推定部１８３は、まず左チャネル入力音信号x_L(1), x_L(2), ..., x_L(T)及び右チャネル入力音信号x_R(1), x_R(2), ..., x_R(T)のそれぞれを、下記の式（１－１）及び式（１－２）のようにフーリエ変換することにより、0からT-1の各周波数kにおける周波数スペクトルX_L(k)及びX_R(k)を得る。

左右関係情報推定部１８３は、次に、式（１－１）及び式（１－２）で得られた各周波数kにおける周波数スペクトルX_L(k)及びX_R(k)を用いて、下記の式（１－３）により、各周波数kにおける位相差のスペクトルφ(k)を得る。

左右関係情報推定部１８３は、次に、式（１－３）で得られた位相差のスペクトルを逆フーリエ変換することにより、下記の式（１－４）のようにτ_maxからτ_minまでの各候補サンプル数τ_candについて位相差信号ψ(τ_cand)を得る。

式（１－４）で得られた位相差信号ψ(τ_cand)の絶対値は、左チャネル入力音信号x_L(1), x_L(2), ..., x_L(T)及び右チャネル入力音信号x_R(1), x_R(2), ..., x_R(T)の時間差の尤もらしさに対応したある種の相関を表すものであるので、左右関係情報推定部１８３は、各候補サンプル数τ_candに対するこの位相差信号ψ(τ_cand)の絶対値を相関値γ_candとして用いる。すなわち、左右関係情報推定部１８３は、この位相差信号ψ(τ_cand)の絶対値である相関値γ_candの最大値を左右相関値γとして得て出力し、相関値が最大値のときのτ_candが正の値である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力し、相関値が最大値のときのτ_candが負の値である場合には、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力する。左右関係情報推定部１８３は、相関値が最大値のときのτ_candが０である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいし、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいが、何れのチャネルも先行していないことを表す情報を先行チャネル情報として得て出力するとよい。なお、左右関係情報推定部１８３は、相関値γ_candとして位相差信号ψ(τ_cand)の絶対値をそのまま用いることに代えて、例えば各τ_candについて位相差信号ψ(τ_cand)の絶対値に対するτ_cand前後にある複数個の候補サンプル数それぞれについて得られた位相差信号の絶対値の平均との相対差のような、正規化された値を用いてもよい。つまり、左右関係情報推定部１８３は、各τ_candについて、予め定めた正の数τ_rangeを用いて、下記の式（１－５）により平均値を得て、得られた平均値ψ_c(τ_cand)と位相差信号ψ(τ_cand)を用いて下記の式（１－６）により得られる正規化された相関値をγ_candとして用いてもよい。

なお、式（１－６）により得られる正規化された相関値は、０以上１以下の値であり、τ_candが左右時間差として尤もらしいほど１に近く、τ_candが左右時間差として尤もらしくないほど０に近い性質を示す値である。

［ダウンミックス部１１２］
ダウンミックス部１１２には、音信号ダウンミックス装置４０１に入力された左チャネル入力音信号と、音信号ダウンミックス装置４０１に入力された右チャネル入力音信号と、左右関係情報推定部１８３が出力した左右相関値γと、左右関係情報推定部１８３が出力した先行チャネル情報と、が入力される。ダウンミックス部１１２は、ダウンミックス信号に、左チャネル入力音信号と右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関値γが大きいほど大きく含まれるように、左チャネル入力音信号と右チャネル入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。

例えば、左右関係情報推定部１８３の説明箇所で上述した例のように相関値に相関係数の絶対値や正規化された値を用いているのであれば、左右関係情報推定部１８３から入力された左右相関値γは０以上１以下の値であるため、ダウンミックス部１１２は、対応する各サンプル番号tに対して、左右相関値γで定まる重みを用いて左チャネル入力音信号x_L(t)と右チャネル入力音信号x_R(t)を重み付け加算したものをダウンミックス信号x_M(t)とすればよい。具体的には、ダウンミックス部１１２は、先行チャネル情報が左チャネルが先行していることを表す情報である場合、すなわち、左チャネルが先行している場合には、x_M(t)=((1+γ)/2)×x_L(t)＋((1-γ)/2)×x_R(t)、先行チャネル情報が右チャネルが先行していることを表す情報である場合、すなわち、右チャネルが先行している場合には、x_M(t)=((1-γ)/2)×x_L(t)＋((1+γ)/2)×x_R(t)、としてダウンミックス信号x_M(t)を得ればよい。ダウンミックス部１１２がこのようにダウンミックス信号を得ると、当該ダウンミックス信号は、左右相関値γが小さいほど、つまり左チャネル入力音信号と右チャネル入力音信号の相関が小さいほど、左チャネル入力音信号と右チャネル入力音信号の平均により得られる信号に近く、左右相関値γが大きいほど、つまり左チャネル入力音信号と右チャネル入力音信号の相関が大きいほど、左チャネル入力音信号と右チャネル入力音信号のうちの先行しているチャネルの入力音信号に近い。

なお、ダウンミックス部１１２は、何れのチャネルも先行していない場合には、左チャネル入力音信号と右チャネル入力音信号が同じ重みでダウンミックス信号に含まれるように、左チャネル入力音信号と右チャネル入力音信号を平均してダウンミックス信号を得て出力するのがよい。すなわち、ダウンミックス部１１２は、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、左チャネル入力音信号x_L(t)と右チャネル入力音信号x_R(t)を平均したx_M(t)=(x_L(t)+x_R(t))/2をダウンミックス信号x_M(t)とするとよい。

≪第２例≫
例えば、音信号ダウンミックス装置とは別の装置が左チャネル入力音信号と右チャネル入力音信号をステレオ符号化処理する場合、左チャネル入力音信号と右チャネル入力音信号が音信号ダウンミックス装置とは別の装置によるステレオ復号処理により得られた信号である場合、などにおいては、左右関係情報推定部１８３が得るのと同じ左右相関値γと先行チャネル情報の何れか一方または両方が音信号ダウンミックス装置とは別装置で得られている場合がある。左右相関値γと先行チャネル情報の何れか一方または両方が別装置で得られている場合は、音信号ダウンミックス装置には、別装置で得た左右相関値γと先行チャネル情報の何れか一方または両方が入力されるようにして、左右関係情報推定部１８３は、音信号ダウンミックス装置に入力されなかった左右相関値γまたは先行チャネル情報を得るようにすればよい。以下、左右相関値γと先行チャネル情報の何れか一方または両方が外部から入力されることを想定した音信号ダウンミックス装置の例を第２例として、第１例と異なる点を中心に説明する。

第２例の音信号ダウンミックス装置４０５は、図３に示す通り、左右関係情報取得部１８５とダウンミックス部１１２を含む。音信号ダウンミックス装置４０５には、左チャネル入力音信号と右チャネル入力音信号に加えて、図３に一点鎖線で示す通り、別装置で得た左右相関値γと先行チャネル情報の何れか一方または両方が入力されてもよい。第２例の音信号ダウンミックス装置４０５は、各フレームについて、図４に例示するステップＳ１８５とステップＳ１１２の処理を行う。ダウンミックス部１１２とステップＳ１１２は第１例と同じであるので、以下では左右関係情報取得部１８５とステップＳ１８５について説明する。

［左右関係情報取得部１８５］
左右関係情報取得部１８５は、左チャネル入力音信号と右チャネル入力音信号の相関の大きさを表す値である左右相関値γと、左チャネル入力音信号と右チャネル入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８５）。

左右相関値γと先行チャネル情報の両方が別装置から音信号ダウンミックス装置４０５に入力された場合には、図３に一点鎖線で示すように、左右関係情報取得部１８５は音信号ダウンミックス装置４０５に入力された左右相関値γと先行チャネル情報を得てダウンミックス部１１２に対して出力する。

左右相関値γと先行チャネル情報の何れか一方が別装置から音信号ダウンミックス装置４０５に入力されていない場合には、図３に破線で示すように、左右関係情報取得部１８５は、左右関係情報推定部１８３を備える。左右関係情報取得部１８５の左右関係情報推定部１８３は、音信号ダウンミックス装置４０５に入力されていない左右相関値γまたは音信号ダウンミックス装置４０５に入力されていない先行チャネル情報を、第１例の左右関係情報推定部１８３と同様に左チャネル入力音信号と右チャネル入力音信号から得て、ダウンミックス部１１２に対して出力する。音信号ダウンミックス装置４０５に入力された左右相関値γまたは音信号ダウンミックス装置４０５に入力された先行チャネル情報については、左右関係情報取得部１８５は、図３に一点鎖線で示すように、音信号ダウンミックス装置４０５に入力された左右相関値γまたは音信号ダウンミックス装置４０５に入力された先行チャネル情報をダウンミックス部１１２に対して出力する。

左右相関値γと先行チャネル情報の両方が別装置から音信号ダウンミックス装置４０５に入力されていない場合には、図３に破線で示すように、左右関係情報取得部１８５は左右関係情報推定部１８３を備える。左右関係情報推定部１８３は、左右相関値γと先行チャネル情報を、第１例の左右関係情報推定部１８３と同様に左チャネル入力音信号と右チャネル入力音信号から得て、ダウンミックス部１１２に対して出力する。すなわち、第１例の左右関係情報推定部１８３とステップＳ１８３のそれぞれは、左右関係情報取得部１８５とステップＳ１８５の範疇であるといえる。

＜第２実施形態＞
チャネル数が３以上の場合であっても、各チャネルの入力音信号とダウンミックス信号との関係を第１実施形態の音信号ダウンミックス装置４０１、４０５と同様にすることで、符号化処理などの信号処理に有用なモノラル信号を得ることができる。この形態を第２実施形態として説明する。

第１実施形態の音信号ダウンミックス装置４０１、４０５におけるあるチャネルの入力音信号のダウンミックス信号への含め方を左チャネルと右チャネルのそれぞれのチャネル番号をnとして説明すると、第１実施形態の音信号ダウンミックス装置４０１、４０５は、各第nチャネルについて、第nチャネルより後行しているチャネルの入力音信号と第nチャネルの入力音信号の相関が大きいほど、第nチャネルの入力音信号に大きな重みを与えたものをダウンミックス信号に含めており、第nチャネルより先行しているチャネルの入力音信号と第nチャネルの入力音信号の相関が大きいほど、第nチャネルの入力音信号に小さな重みを与えたものをダウンミックス信号に含めている。この入力音信号とダウンミックス信号との関係を、先行しているチャネルが複数個ある場合、後行しているチャネルが複数個ある場合、先行しているチャネルと後行しているチャネルの両方がある場合、に対応できるように拡張したのが第２実施形態の音信号ダウンミックス装置である。以下、第２実施形態の音信号ダウンミックス装置について説明する。なお、第２実施形態の音信号ダウンミックス装置は、第１実施形態の音信号ダウンミックス装置をチャネル数が３以上である場合に対応できるように拡張したものであり、チャネル数が２の場合には第１実施形態の音信号ダウンミックス装置と同様に動作する。

なお、第１実施形態では、音信号ダウンミックス装置４０１、４０５が、入力音信号のチャネル間の相関が小さいほど、全ての入力音信号の平均により得られる信号に近いダウンミックス信号を得る例を説明したが、この入力音信号とダウンミックス信号との関係もチャネル数が３以上の場合であっても実現できるので、第２実施形態の音信号ダウンミックス装置の一例として説明する。

≪第１例≫
まず、第２実施形態の第１例の音信号ダウンミックス装置について説明する。第１例の音信号ダウンミックス装置４０６は、図５に示す通り、チャネル間関係情報推定部１８６とダウンミックス部１１６を含む。音信号ダウンミックス装置４０６は、例えば20msの所定の時間長のフレーム単位で、入力されたNチャネルステレオの時間領域の音信号から、後述するダウンミックス信号を得て出力する。チャネル数Nは２以上の整数である。ただし、チャネル数が２の場合には第１実施形態の音信号ダウンミックス装置を用いればよいので、第２実施形態の音信号ダウンミックス装置が特に有用なのはNが３以上の整数の場合である。音信号ダウンミックス装置４０６に入力されるのはN個のチャネルの時間領域の音信号であり、例えば、音声や音楽などの音をN個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音信号、複数の地点それぞれで収音してＡＤ変換して得られた１チャネルまたは複数個のチャネルのディジタルの音信号をそのまままたは適宜混合してN個のチャネルにしたディジタルの音信号、前述した各ディジタルの音信号を符号化・復号して得たディジタルの復号音信号、前述した各ディジタルの音信号を信号処理して得たディジタルの信号処理済みの音信号、である。音信号ダウンミックス装置４０６が得た時間領域のモノラルの音信号であるダウンミックス信号は、少なくともダウンミックス信号を符号化する符号化装置や少なくともダウンミックス信号を信号処理する信号処理装置に入力される。音信号ダウンミックス装置４０６には、フレーム単位でN個のチャネルの入力音信号が入力され、音信号ダウンミックス装置４０６は、フレーム単位でダウンミックス信号を得て出力する。以下では、フレーム当たりのサンプル数をTとして説明する。Tは正の整数であり、例えば、フレーム長が20msであり、サンプリング周波数が32kHzであれば、Tは640である。第１例の音信号ダウンミックス装置４０６は、各フレームについて、図６に例示するステップＳ１８６とステップＳ１１６の処理を行う。

［チャネル間関係情報推定部１８６］
チャネル間関係情報推定部１８６には、音信号ダウンミックス装置４０６に入力されたN個のチャネルの入力音信号が入力される。チャネル間関係情報推定部１８６は、入力されたN個のチャネルの入力音信号から、チャネル間相関値と、先行チャネル情報と、を得て出力する（ステップＳ１８６）。チャネル間相関値と先行チャネル情報は、N個のチャネルの入力音信号におけるチャネル間の関係を表す情報であるので、チャネル間関係情報であるともいえる。

チャネル間相関値は、N個のチャネルに含まれる２個のチャネルによる組合せ（pair）それぞれについての、入力音信号間の時間差を考慮した相関の大きさを表す値である。N個のチャネルに含まれる２個のチャネルによる組合せは、(N×(N-1))/2通りある。nを1以上N以下の各整数とし、mをnより大きくN以下の各整数とし、第nチャネル入力音信号と第mチャネル入力音信号との間のチャネル間相関値をγ_nmとすると、チャネル間関係情報推定部１８６は、(N×(N-1))/2通りのnとmの組合せのそれぞれについてのチャネル間相関値γ_nmを得る。

先行チャネル情報は、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについての、同じ音信号が２個のチャネルの入力音信号のどちらに先に含まれているかを表す情報であり、２個のチャネルのどちらのチャネルが先行しているかを表す情報である。第nチャネル入力音信号と第mチャネル入力音信号との間の先行チャネル情報をINFO_nmとすると、チャネル間関係情報推定部１８６は、上述した(N×(N-1))/2通りのnとmの組合せそれぞれについての先行チャネル情報INFO_nmを得る。なお、以下では、nとmの組合せについて、同じ音信号が第mチャネル入力音信号よりも第nチャネル入力音信号に先に含まれている場合には、第nチャネルが第mチャネルに対して先行している、第nチャネルが第mチャネルより先行している、第mチャネルが第nチャネルに対して後行している、第mチャネルが第nチャネルより後行している、などということがある。同様に、以下では、nとmの組合せについて、同じ音信号が第nチャネル入力音信号よりも第mチャネル入力音信号に先に含まれている場合には、第mチャネルが第nチャネルに対して先行している、第mチャネルが第nチャネルより先行している、第nチャネルが第mチャネルに対して後行している、第nチャネルが第mチャネルより後行している、などということがある。

チャネル間関係情報推定部１８６は、上述した(N×(N-1))/2通りの第nチャネルと第mチャネルの組合せそれぞれについて、チャネル間相関値γ_nmと先行チャネル情報INFO_nmを第１実施形態の左右関係情報推定部１８３と同様に得ればよい。すなわち、チャネル間関係情報推定部１８６は、例えば、第１実施形態の左右関係情報推定部１８３の説明箇所の各例における左チャネルを第nチャネルと読み替え、右チャネルを第mチャネルと読み替え、Lをnと読み替え、Rをmと読み替え、先行チャネル情報を先行チャネル情報INFO_nmと読み替え、左右相関値γをチャネル間相関値γ_nmと読み替えて、第１実施形態の左右関係情報推定部１８３の各例と同様の動作を上述した(N×(N-1))/2通りの第nチャネルと第mチャネルの組合せそれぞれについて行うことで、第nチャネルと第mチャネルの組合せそれぞれについてのチャネル間相関値γ_nmと先行チャネル情報INFO_nmを得ることができる。

例えば、相関の大きさを表す値として相関係数の絶対値を用いるのであれば、チャネル間関係情報推定部１８６は、上述した(N×(N-1))/2通りの第nチャネルと第mチャネルの組合せそれぞれについて、予め定めたτ_maxからτ_minまでの各候補サンプル数τ_candについての、第nチャネル入力音信号のサンプル列と、各候補サンプル数τ_cand分だけ当該サンプル列より後にずれた位置にある第mチャネル入力音信号のサンプル列と、の相関係数の絶対値γ_cand、のうちの最大値をチャネル間相関係数γ_nmとして得て出力し、相関係数の絶対値が最大値のときのτ_candが正の値である場合には、第nチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て出力し、相関係数の絶対値が最大値のときのτ_candが負の値である場合には、第mチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て出力する。チャネル間関係情報推定部１８６は、第nチャネルと第mチャネルの組合せのそれぞれについて、相関係数の絶対値が最大値のときのτ_candが０である場合には、第nチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て出力してもよいし、第mチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て出力してもよい。なお、τ_maxとτ_minについては第１実施形態と同様である。

また例えば、相関係数の絶対値に代えて、以下のように信号の位相の情報を用いた相関値をγ_candとしてもよい。この例においては、チャネル間関係情報推定部１８６は、まず、第1チャネル入力音信号から第Nチャネル入力音信号までの各チャネルiについて、入力音信号x_i(1), x_i(2), ..., x_i(T)を下記の式（２－１）のようにフーリエ変換することにより、0からT-1の各周波数kにおける周波数スペクトルX_i(k)を得る。

チャネル間関係情報推定部１８６は、次に、上述した(N×(N-1))/2通りの第nチャネルと第mチャネルの組合せそれぞれについて以降の処理を行う。チャネル間関係情報推定部１８６は、まず、式（２－１）で得られた各周波数kにおける第nチャネルの周波数スペクトルX_n(k)及び第mチャネルの周波数スペクトルX_m(k)を用いて、下記の式（２－２）により、各周波数kにおける位相差のスペクトルφ(k)を得る。

チャネル間関係情報推定部１８６は、次に、式（２－２）で得られた位相差のスペクトルを逆フーリエ変換することにより、式（１－４）のようにτ_maxからτ_minまでの各候補サンプル数τ_candについて位相差信号ψ(τ_cand)を得る。チャネル間関係情報推定部１８６は、次に、位相差信号ψ(τ_cand)の絶対値である相関値γ_candの最大値をチャネル間相関値γ_nmとして得て出力し、相関値が最大値のときのτ_candが正の値である場合には、第nチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て出力し、相関値が最大値のときのτ_candが負の値である場合には、第mチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て出力する。チャネル間関係情報推定部１８６は、相関値が最大値のときのτ_candが０である場合には、第nチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て出力してもよいし、第mチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て出力してもよい。

なお、チャネル間関係情報推定部１８６は、左右関係情報推定部１８３と同様に、相関値γ_candとして位相差信号ψ(τ_cand)の絶対値をそのまま用いることに代えて、例えば各τ_candについて位相差信号ψ(τ_cand)の絶対値に対するτ_cand前後にある複数個の候補サンプル数それぞれについて得られた位相差信号の絶対値の平均との相対差のような、正規化された値を用いてもよい。つまり、チャネル間関係情報推定部１８６は、各τ_candについて、予め定めた正の数τ_rangeを用いて、式（１－５）により平均値を得て、得られた平均値ψ_c(τ_cand)と位相差信号ψ(τ_cand)を用いて式（１－６）により得られる正規化された相関値をγ_candとして用いてもよい。

［ダウンミックス部１１６］
ダウンミックス部１１６には、音信号ダウンミックス装置４０６に入力されたN個のチャネルの入力音信号と、チャネル間関係情報推定部１８６が出力した上述した(N×(N-1))/2通りのnとmの組合せそれぞれについてのチャネル間相関値γ_nm（すなわち、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについてのチャネル間相関値）と、チャネル間関係情報推定部１８６が出力した上述した(N×(N-1))/2通りのnとmの組合せそれぞれについての先行チャネル情報INFO_nm（すなわち、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについての先行チャネル情報）と、が入力される。ダウンミックス部１１６は、各チャネルの入力音信号に、当該チャネルより先行している各チャネルの入力音信号との相関が大きいほど小さく、当該チャネルより後行している各チャネルの入力音信号との相関が大きいほど大きい重みを与えて、N個のチャネルの入力音信号を重み付け加算してダウンミックス信号を得て出力する（ステップＳ１１６）。

［［ダウンミックス部１１６の具体例１］］
各チャネルのチャネル番号（チャネルのインデックス）をiとし、第iチャネルの入力音信号をx_i(1), x_i(2), ..., x_i(T)とし、ダウンミックス信号をx_M(1), x_M(2), ..., x_M(T)として、ダウンミックス部１１６の具体例１を説明する。具体例１では、チャネル間相関値は、チャネル間関係情報推定部１８６の説明箇所で上述した例の相関係数の絶対値や正規化された値のように、０以上１以下の値であるとする。またここで、Mはチャネルの番号ではなく、ダウンミックス信号がモノラルの信号であることを意図した添え字である。ダウンミックス部１１６は、例えば下記のステップＳ１１６－１からステップＳ１１６－３の処理を行うことにより、ダウンミックス信号を得る。ダウンミックス部１１６は、まず、各第iチャネルについて、ダウンミックス部１１６に入力された先行チャネル情報INFO_nmのうちの当該第iチャネルを含む(N-1)通りの２個のチャネルによる組合せの先行チャネル情報から、当該第iチャネルに対して先行しているチャネルのチャネル番号の集合I_Liと、当該第iチャネルに対して後行しているチャネルのチャネル番号の集合I_Fiと、を得る（ステップＳ１１６－１）。ダウンミックス部１１６は、次に、各第iチャネルについて、ダウンミックス部１１６に入力されたチャネル間相関値γ_nmのうちの当該第iチャネルを含む(N-1)通りの２個のチャネルによる組合せのチャネル間相関値と、当該第iチャネルに対して先行しているチャネルのチャネル番号の集合I_Liと、当該第iチャネルに対して後行しているチャネルのチャネル番号の集合I_Fiと、を用いて下記の式（２－３）により当該第iチャネルの重みw_iを得る（ステップＳ１１６－２）。

なお、上述したnとmの組合せそれぞれについて、チャネル間相関値γ_mnはチャネル間相関値γ_nmと同じ値であるので、iがjより大きい値であるときのチャネル間相関値γ_ijも、iがkより大きい値であるときのチャネル間相関値γ_ikも、ダウンミックス部１１６に入力されたチャネル間相関値γ_nmに含まれている。

ダウンミックス部１１６は、次に、iが1からNまでの各第iチャネルの入力音信号x_i(1), x_i(2), ..., x_i(T)、iが1からNまでの各第iチャネルの重みw_iと、を用いて、サンプル番号t（サンプルのインデックスt）ごとに下記の式（２－４）によりダウンミックス信号サンプルx_M(t)を得ることで、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)を得る（ステップＳ１１６－３）。

なお、ダウンミックス部１１６は、ステップＳ１１６－２とステップＳ１１６－３を順に行うのではなく、式（２－４）の重みw_iを式（２－３）の右辺に置き換えた式を用いてダウンミックス信号を得てもよい。すなわち、ダウンミックス部１１６は、各第iチャネルについての、当該第iチャネルに対して先行しているチャネルのチャネル番号の集合をI_Liとし、各第iチャネルについての、当該第iチャネルに対して後行しているチャネルのチャネル番号の集合をI_Fiとし、各第iチャネルについての、当該第iチャネルと当該第iチャネルに対して先行している各チャネルjとの組合せそれぞれについてのチャネル間相関値をγ_ijとし、各第iチャネルについての、当該第iチャネルと当該第iチャネルに対して後行している各チャネルkとの組合せそれぞれについてのチャネル間相関値をγ_ikとし、各第iチャネルについての重みを式（２－３）により表されるw_iとして、式（２－４）によりダウンミックス信号の各サンプルx_M(t)を得ればよい。

式（２－４）はN個のチャネルの入力音信号を重み付け加算してダウンミックス信号を得る式であり、その重み付け加算において各第iチャネルの入力音信号に与える各第iチャネルの重みw_iを得るのが式（２－３）である。式（２－３）のうちの下記の式（２－３－Ａ）の部分は、第iチャネルの入力音信号が第iチャネルに対して先行している各チャネルの入力音信号との相関が大きいほど重みw_iが小さな値になるようにするものであり、第iチャネルに対して先行しているチャネルの中に、第iチャネルの入力音信号と先行しているチャネルの入力音信号との相関が非常に大きいチャネルが１つでもあれば、重みw_iが０に近い値となるようにするものである。

式（２－３）のうちの下記の式（２－３－Ｂ）の部分は、第iチャネルに対して後行している各チャネルの入力音信号との相関が大きいほど重みw_iが１より大きな値となるようにするものである。

全てのチャネルの入力音信号が独立している場合、すなわち、何れのチャネル間にも相関がない場合には、全チャネルの入力音信号の単純な加算平均をダウンミックス信号とするのが望ましい。そこで、式（２－３）では、式（２－３－Ａ）の部分の最大値を１となるようにして、式（２－３－Ｂ）の部分の最小値が１となるようにして、式（２－３－Ａ）と式（２－３－Ｂ）と1/Nを乗算したものを重みw_iとすることで、チャネル間の相関が全て小さな値であるときには、全てのチャネルの重みw_iが1/Nに近い値となるようにしている。

［［ダウンミックス部１１６の具体例２］］
具体例１のステップＳ１１６－１でダウンミックス部１１６が得た重みw_iの全チャネルの合計値は１とならないことあるので、ダウンミックス部１１６は、重みの全チャネルの合計値が１となるように各第iチャネルの重みw_iを正規化して得た値を式（２－４）の重みw_iに代えて用いたり、重みの全チャネルの合計値が１となるように重みw_iを正規化することを含むように式（２－４）を変形した式を用いたりすることにより、ダウンミックス信号を得るようにしてもよい。この例をダウンミックス部１１６の具体例２として、具体例１と異なる点を説明する。

例えば、ダウンミックス部１１６は、各第iチャネルについての重みw_iを式（２－３）により得て、各第iチャネルについての重みw_iを全チャネルの合計値が１となるように正規化して正規化済重みw'_iを得て（すなわち、各第iチャネルについて下記の式（２－５）により正規化済重みw'_iを得て）、iが1からNまでの各第iチャネルの入力音信号x_i(1), x_i(2), ..., x_i(T)と正規化済重みw'_iを用いて、サンプル番号tごとに下記の式（２－６）によりダウンミックス信号サンプルx_M(t)を得ることで、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)を得てもよい。

すなわち、ダウンミックス部１１６は、各第iチャネルについての、当該第iチャネルに対して先行しているチャネルのチャネル番号の集合をI_Liとし、各第iチャネルについての、当該第iチャネルに対して後行しているチャネルのチャネル番号の集合をI_Fiとし、各第iチャネルについての、当該第iチャネルと当該第iチャネルに対して先行している各チャネルjとの組合せそれぞれについてのチャネル間相関値をγ_ijとし、各第iチャネルについての、当該第iチャネルと当該第iチャネルに対して後行している各チャネルkとの組合せそれぞれについてのチャネル間相関値をγ_ikとし、各第iチャネルについての重みを式（２－３）により表されるw_iとし、各第iチャネルについての正規化された重みを式（２－５）により表されるw'_iとして、式（２－６）によりダウンミックス信号の各サンプルx_M(t)を得ればよい。

≪第２例≫
例えば、音信号ダウンミックス装置とは別の装置がN個のチャネルの入力音信号をステレオ符号化処理する場合、N個のチャネルの入力音信号が音信号ダウンミックス装置とは別の装置によるステレオ復号処理により得られた信号である場合、などにおいては、チャネル間関係情報推定部１８６が得るのと同じチャネル間相関値γ_nmと先行チャネル情報INFO_nmの何れかまたは全てが音信号ダウンミックス装置とは別装置で得られている場合がある。チャネル間相関値γ_nmと先行チャネル情報INFO_nmの何れかまたは全てが別装置で得られている場合は、音信号ダウンミックス装置には、別装置で得たチャネル間相関値γ_nmと先行チャネル情報INFO_nmの何れかまたは全てが入力されるようにして、チャネル間関係情報推定部１８６は、音信号ダウンミックス装置に入力されなかったチャネル間相関値γ_nmや先行チャネル情報INFO_nmを得るようにすればよい。以下、チャネル間相関値γ_nmと先行チャネル情報INFO_nmの何れかまたは全てが外部から入力されることを想定した音信号ダウンミックス装置の例を第２例として、第１例と異なる点を中心に説明する。

第２例の音信号ダウンミックス装置４０７は、図７に示す通り、チャネル間関係情報取得部１８７とダウンミックス部１１６を含む。音信号ダウンミックス装置４０７には、N個のチャネルの入力音信号に加えて、図７に一点鎖線で示す通り、別装置で得たチャネル間相関値γ_nmと先行チャネル情報INFO_nmの何れかまたは全てが入力されてもよい。第２例の音信号ダウンミックス装置４０７は、各フレームについて、図８に例示するステップＳ１８７とステップＳ１１６の処理を行う。ダウンミックス部１１６とステップＳ１１６は第１例と同じであるので、以下ではチャネル間関係情報取得部１８７とステップＳ１８７について説明する。

［チャネル間関係情報取得部１８７］
チャネル間関係情報取得部１８７は、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについての相関の大きさを表す値であるチャネル間相関値γ_nmと、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについての、同じ音信号が２個のチャネルの入力音信号のどちらに先に含まれているかを表す情報である先行チャネル情報INFO_nmと、を得て出力する（ステップＳ１８７）。

チャネル間相関値γ_nmと先行チャネル情報INFO_nmの全てが別装置から音信号ダウンミックス装置４０７に入力された場合には、図７に一点鎖線で示すように、チャネル間関係情報取得部１８７は音信号ダウンミックス装置４０７に入力されたチャネル間相関値γ_nmと先行チャネル情報INFO_nmを得てダウンミックス部１１６に対して出力する。

チャネル間相関値γ_nmと先行チャネル情報INFO_nmの何れか一方が別装置から音信号ダウンミックス装置４０７に入力されていない場合には、図７に破線で示すように、チャネル間関係情報取得部１８７は、チャネル間関係情報推定部１８６を備える。チャネル間関係情報取得部１８７のチャネル間関係情報推定部１８６は、音信号ダウンミックス装置４０７に入力されていないチャネル間相関値γ_nmまたは音信号ダウンミックス装置４０７に入力されていない先行チャネル情報INFO_nmを、第１例のチャネル間関係情報推定部１８６と同様にN個のチャネルの入力音信号から得て、ダウンミックス部１１６に対して出力する。音信号ダウンミックス装置４０７に入力されたチャネル間相関値γ_nmまたは音信号ダウンミックス装置４０７に入力された先行チャネル情報INFO_nmについては、チャネル間関係情報取得部１８７は、図７に一点鎖線で示すように、音信号ダウンミックス装置４０７に入力されたチャネル間相関値γ_nmまたは音信号ダウンミックス装置４０７に入力された先行チャネル情報INFO_nmをダウンミックス部１１６に対して出力する。

チャネル間相関値γ_nmと先行チャネル情報INFO_nmの全てが別装置から音信号ダウンミックス装置４０７に入力されていない場合には、図７に破線で示すように、チャネル間関係情報取得部１８７はチャネル間関係情報推定部１８６を備える。チャネル間関係情報推定部１８６は、チャネル間相関値γ_nmと先行チャネル情報INFO_nmを、第１例のチャネル間関係情報推定部１８６と同様にN個のチャネルの入力音信号から得て、ダウンミックス部１１６に対して出力する。すなわち、第１例のチャネル間関係情報推定部１８６とステップＳ１８６のそれぞれは、チャネル間関係情報取得部１８７とステップＳ１８７の範疇であるといえる。

なお、チャネル間相関値γ_nmの一部が他装置で得られているもののチャネル間相関値γ_nmの残りが他装置で得られていない場合、先行チャネル情報INFO_nmの一部が他装置で得られているものの先行チャネル情報INFO_nmの残りが他装置で得られていない場合、なども有り得るが、これらの場合も、チャネル間関係情報取得部１８７はチャネル間関係情報推定部１８６を備えるようにして、上記と同様に、他装置で得られて音信号ダウンミックス装置４０７に入力されたものは、チャネル間関係情報取得部１８７がダウンミックス部１１６に対して出力し、他装置で得られておらず音信号ダウンミックス装置４０７に入力されないものは、チャネル間関係情報推定部１８６が第１例のチャネル間関係情報推定部１８６と同様にN個のチャネルの入力音信号から得て、ダウンミックス部１１６に対して出力すればよい。

＜第３実施形態＞
第２実施形態のチャネル間関係情報推定部１８６は、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについてチャネル間相関値γ_nmと先行チャネル情報INFO_nmを得る必要がある。N個のチャネルに含まれる２個のチャネルによる組合せは、(N×(N-1))/2通りあることから、第２実施形態のチャネル間関係情報推定部１８６の説明箇所で例示した方法でチャネル間相関値γ_nmと先行チャネル情報INFO_nmを得ると、チャネル数が多い場合には演算処理量が課題となることがある。第３実施形態では、チャネル間関係情報推定部１８６よりも演算処理量が少ない方法で近似的にチャネル間相関値γ_nmと先行チャネル情報INFO_nmを得るチャネル間関係情報推定処理を含む音信号ダウンミックス装置について説明する。第３実施形態のダウンミックス処理は第２実施形態と同様である。

第２実施形態のダウンミックス部１１６が行うダウンミックス処理は、例えば、ある音源が発した同じ音のみが時間差が与えられた状態で複数個のチャネルの信号に含まれている場合には、当該複数個のチャネルの入力音信号のうちの最も早く含まれているチャネルの入力音信号をダウンミックス信号に含めるようにする処理である。この処理を、チャネル数が６であり、第１チャネル(1ch)から第６チャネル(6ch)の入力音信号が図９に模式的に示す信号である例で説明する。この例では、第１チャネル入力音信号と第２チャネル入力音信号は第１の音源が発した同じ第１の音信号のみが時間差が与えられた状態で含まれた信号であり、第１の音信号は第２チャネル入力音信号に最も早く含まれている。この例では、また、第３チャネル入力音信号から第６チャネル入力音信号は第２の音源が発した同じ第２の音信号のみが時間差が与えられた状態で含まれた信号であり、第２の音信号は第６チャネル入力音信号に最も早く含まれている。この例であれば、ダウンミックス部１１６は、第１の音信号が最も早く含まれる第２チャネル入力音信号と第２の音信号が最も早く含まれる第６チャネル入力音信号を含み、第１チャネル入力音信号及び第３チャネル入力音信号から第５チャネル入力音信号を含まないダウンミックス信号を得る。このようなダウンミックス信号を得るのであれば、隣接しないチャネル間のチャネル間相関値γ_nmを、チャネル間相関値が０以上１以下の値であるとしたときの隣接するチャネル間のチャネル間相関値γ₁₂=1、γ₂₃=0、γ₃₄=1、γ₄₅=1、γ₅₆=1を用いて下記の各式により近似的に得ても問題は生じない。
γ₁₃ = γ₁₂×γ₂₃ = 1×0 = 0
γ₁₄ = γ₁₂×γ₂₃×γ₃₄ = 1×0×1 = 0
γ₁₅ = γ₁₂×γ₂₃×γ₃₄×γ₄₅ = 1×0×1×1 = 0
γ₁₆ = γ₁₂×γ₂₃×γ₃₄×γ₄₅×γ₅₆ = 1×0×1×1×1 = 0
γ₂₄ = γ₂₃×γ₃₄ = 0×1 = 0
γ₂₅ = γ₂₃×γ₃₄×γ₄₅ = 0×1×1 = 0
γ₂₆ = γ₂₃×γ₃₄×γ₄₅×γ₅₆ = 0×1×1×1 = 0
γ₃₅ = γ₃₄×γ₄₅ = 1×1 = 1
γ₃₆ = γ₃₄×γ₄₅×γ₅₆ = 1×1×1 = 1
γ₄₆ = γ₄₅×γ₅₆ = 1×1 = 1

同様に、隣接しないチャネル間の時間差を、隣接するチャネル間の時間差τ₁₂、τ₂₃、τ₃₄、τ₄₅、τ₅₆を用いて下記の各式により近似的に得て、得たチャネル間の時間差が正であるか負であるか0であるかによって先行チャネル情報INFO_nmを近似的に得ても問題は生じない。
τ₁₃ = τ₁₂＋τ₂₃
τ₁₄ = τ₁₂＋τ₂₃＋τ₃₄
τ₁₅ = τ₁₂＋τ₂₃＋τ₃₄＋τ₄₅
τ₁₆ = τ₁₂＋τ₂₃＋τ₃₄＋τ₄₅＋τ₅₆
τ₂₄ = τ₂₃＋τ₃₄
τ₂₅ = τ₂₃＋τ₃₄＋τ₄₅
τ₂₆ = τ₂₃＋τ₃₄＋τ₄₅＋τ₅₆
τ₃₅ = τ₃₄＋τ₄₅
τ₃₆ = τ₃₄＋τ₄₅＋τ₅₆
τ₄₆ = τ₄₅＋τ₅₆

ただし、チャネル間相関値γ_nmと先行チャネル情報INFO_nmを上記の各式を用いて近似的に得ることができるのは、図９に例示したように同一または類似する波形の入力音信号が連続したチャネルに配置されている場合に限られ、図１０に例示するように、入力音信号の波形が同一または類似するチャネルの間に入力音信号の波形が大きく異なるチャネルが存在する場合には、チャネル間相関値γ_nmと先行チャネル情報INFO_nmを上記の各式を用いて近似的に得ることはできない。そこで、第３実施形態の音信号ダウンミックス装置では、N個のチャネルの入力音信号を、入力音信号の波形が同一または類似するチャネルの間に入力音信号の波形が大きく異なるチャネルが存在しないように並び替えて、並び替え後の隣接するチャネル間についてチャネル間相関値γ_nmと先行チャネル情報INFO_nmを得て、並び替え後の隣接するチャネル間のチャネル間相関値γ_nmと先行チャネル情報INFO_nmを用いて、その他のチャネル間相関値γ_nmと先行チャネル情報INFO_nmを近似的に得る。

≪第１例≫
第３実施形態の第１例の音信号ダウンミックス装置について説明する。第１例の音信号ダウンミックス装置４０８は、図５に示す通り、チャネル間関係情報推定部１８８とダウンミックス部１１６を含む。第１例の音信号ダウンミックス装置４０８は、各フレームについて、図６に例示するステップＳ１８８とステップＳ１１６の処理を行う。ダウンミックス部１１６とステップＳ１１６は第２実施形態の第１例と同じであるので、以下では、第２実施形態の第１例と異なるチャネル間関係情報推定部１８８とステップＳ１８８について説明する。音信号ダウンミックス装置４０８に入力されるのは第２実施形態の第１例の音信号ダウンミックス装置４０８と同様にN個のチャネルの時間領域の音信号であり、音信号ダウンミックス装置４０８が得て出力するのは第２実施形態の第１例の音信号ダウンミックス装置４０６と同様に時間領域のモノラルの音信号であるダウンミックス信号である。

［チャネル間関係情報推定部１８８］
チャネル間関係情報推定部１８８には、音信号ダウンミックス装置４０８に入力されたN個のチャネルの入力音信号が入力される。第２実施形態ではチャネル数Nは２以上の整数であったが、チャネル数Nが２である場合には入力音信号の波形が同一または類似するチャネルの間に入力音信号の波形が大きく異なるチャネルが存在することはないので、第３実施形態ではチャネル数Nは３以上の整数である。チャネル間関係情報推定部１８８は、例えば、図１１に示す通り、チャネル並び替え部１８８１と隣接チャネル間関係情報推定部１８８２とチャネル間関係情報補完部１８８３を含む。チャネル間関係情報推定部１８８は、チャネル間関係情報推定部１８８は、例えば、各フレームについて、図１２に例示するステップＳ１８８１とステップＳ１８８２とステップＳ１８８３の処理を行う（ステップＳ１８８）。

［［チャネル並び替え部１８８１］］
チャネル並び替え部１８８１は、例えば、第１チャネルから順に、残りのチャネルのうちの時間差を揃えたときに入力音信号の波形の類似の度合いが最も高いチャネルが隣接するチャネルとなるように、逐次的に並び替えを行って、N個のチャネルの並び替え後の信号である第１並び替え済入力音信号から第N並び替え済入力音信号と、各並び替え済入力音信号が音信号ダウンミックス装置４０８に入力されたときのチャネル番号（すなわち、入力音信号のチャネル番号）である第１原チャネル情報c₁から第N原チャネル情報c_Nと、を得て出力する（ステップＳ１８８１Ａ）。チャネル並び替え部１８８１は、時間差を揃えたときの波形の類似の度合いとしては、時間差を揃えたときの２つのチャネルの入力音信号間の距離の近さを表す値、時間差を揃えたときの２つのチャネルの入力音信号の内積を２つのチャネルの入力音信号のエネルギーの相乗平均で除算値などの相関の大きさを表す値、などを用いればよい。

例えば、時間差を揃えたときの波形の類似の度合いとして、時間差を揃えたときの２つのチャネルの入力音信号間の距離の近さを表す値を用いるのであれば、チャネル並び替え部１８８１は、以下のステップＳ１８８１Ａ－１からステップＳ１８８１Ａ－Ｎを行う。チャネル並び替え部１８８１は、まず、第１チャネル入力音信号を第１並び替え済入力音信号として得て、第１チャネルのチャネル番号である"1"を第１原チャネル情報c₁として得る（ステップＳ１８８１Ａ－１）。

次に、チャネル並び替え部１８８１は、第２チャネルから第Nチャネルの各チャネルmについての予め定めたτ_maxからτ_minまで（例えば、τ_maxは正の数、τ_minは負の数）の各候補サンプル数τ_candについて、第１並び替え済入力音信号のサンプル列と、各候補サンプル数τ_cand分だけ当該サンプル列より後にずれた位置にある第mチャネル入力音信号のサンプル列と、の距離を得て、距離が最小値であるチャネルmの入力音信号を第２並び替え済入力音信号として得て、距離が最小値であるチャネルmのチャネル番号を第２原チャネル情報c₂として得る（ステップＳ１８８１Ａ－２）。

次に、チャネル並び替え部１８８１は、第２チャネルから第Nチャネルのうちのまだ並び替え済入力音信号としていない各チャネルmについてのτ_maxからτ_minまでの各候補サンプル数τ_candについて、第２並び替え済入力音信号のサンプル列と、各候補サンプル数τ_cand分だけ当該サンプル列より後にずれた位置にある第mチャネル入力音信号のサンプル列と、の距離を得て、距離が最小値であるチャネルmの入力音信号を第３並び替え済入力音信号として得て、距離が最小値であるチャネルmのチャネル番号を第３原チャネル情報c₃として得る（ステップＳ１８８１Ａ－３）。以降、まだ並び替え済入力音信号としていないチャネルが残り１つになるまで同様の処理を繰り返して、第４並び替え済入力音信号から第(N-1)並び替え済入力音信号までと、第４原チャネル情報c₄から第(N-1)原チャネル情報c_(N-1)までと、を得る（ステップＳ１８８１Ａ－４からステップＳ１８８１Ａ－（Ｎ－１））。

最後に、チャネル並び替え部１８８１は、まだ並び替え済入力音信号としていない残り１つのチャネルの入力音信号を第N並び替え済入力音信号として得て、まだ並び替え済入力音信号としていない残り１つのチャネルのチャネル番号を第N原チャネル情報c_Nとして得る（ステップＳ１８８１Ａ－Ｎ）。なお、以下では、1以上N以下の各nについての第n並び替え済入力音信号のことを並び替え後の第nチャネルの入力音信号ともいい、第n並び替え済入力音信号のnのことを並び替え後のチャネル番号ともいう。

なお、チャネル並び替え部１８８１は、入力音信号の波形が同一または類似するチャネルの間に入力音信号の波形が大きく異なるチャネルが存在しないようにN個のチャネルの入力音信号を並び替えることが目的であること、並び替えの処理に要する演算処理量は少ないほうがよいこと、などを考慮して、時間差を揃えずに類似の度合いを評価して並び替えを行ってもよい。例えば、チャネル並び替え部１８８１は、以下のステップＳ１８８１Ｂ－１からステップＳ１８８１Ｂ－Ｎを行ってもよい。チャネル並び替え部１８８１は、まず、第１チャネル入力音信号を第１並び替え済入力音信号として得て、第１チャネルのチャネル番号である"1"を第１原チャネル情報c₁として得る（ステップＳ１８８１Ｂ－１）。

次に、チャネル並び替え部１８８１は、第２チャネルから第Nチャネルの各チャネルmについて、第１並び替え済入力音信号のサンプル列と第mチャネル入力音信号のサンプル列との距離を得て、距離が最小値であるチャネルmの入力音信号を第２並び替え済入力音信号として得て、距離が最小値であるチャネルmのチャネル番号を第２原チャネル情報c₂として得る（ステップＳ１８８１Ｂ－２）。

次に、チャネル並び替え部１８８１は、第２チャネルから第Nチャネルのうちのまだ並び替え済入力音信号としていない各チャネルmについて、第２並び替え済入力音信号のサンプル列と第mチャネル入力音信号のサンプル列との距離を得て、距離が最小値であるチャネルmの入力音信号を第３並び替え済入力音信号として得て、距離が最小値であるチャネルmのチャネル番号を第３原チャネル情報c₃として得る（ステップＳ１８８１Ｂ－３）。以降、まだ並び替え済入力音信号としていないチャネルが残り１つになるまで同様の処理を繰り返して、第４並び替え済入力音信号から第(N-1)並び替え済入力音信号までと、第４原チャネル情報c₄から第(N-1)原チャネル情報c_(N-1)までと、を得る（ステップＳ１８８１Ｂ－４からステップＳ１８８１Ｂ－（Ｎ－１））。

最後に、チャネル並び替え部１８８１は、まだ並び替え済入力音信号としていない残り１つのチャネルの入力音信号を第N並び替え済入力音信号として得て、まだ並び替え済入力音信号としていない残り１つのチャネルのチャネル番号を第N原チャネル情報c_Nとして得る（ステップＳ１８８１Ｂ－Ｎ）。

要するに、チャネル並び替え部１８８１は、時間差を揃えるか否かや、信号間の類似の度合いにどのような値を用いるかに関わらず、第１チャネルから順に、残りのチャネルのうちの入力音信号が最も類似するチャネルが隣接するチャネルとなるように、逐次的に並び替えを行って、N個のチャネルの並び替え後の信号である第１並び替え済入力音信号から第N並び替え済入力音信号と、各並び替え済入力音信号が音信号ダウンミックス装置４０８に入力されたときのチャネル番号（すなわち、入力音信号のチャネル番号）である第１原チャネル情報c₁から第N原チャネル情報c_Nと、を得て出力すればよい（ステップＳ１８８１）。

［隣接チャネル間関係情報推定部１８８２］
隣接チャネル間関係情報推定部１８８２には、第１並び替え済入力音信号から第N並び替え済入力音信号までのN個の並び替え済入力音信号が入力される。隣接チャネル間関係情報推定部１８８２は、N個の並び替え済入力音信号のうちの並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値とチャネル間時間差と、を得て出力する（ステップＳ１８８２）。

ステップＳ１８８２で得るチャネル間相関値は、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについての、並び替え済入力音信号間の時間差を考慮した相関値、すなわち、並び替え済入力音信号間の時間差を考慮した相関の大きさを表す値、である。N個のチャネルに含まれる２個のチャネルによる組合せは(N-1)通りある。nを1以上N-1以下の各整数とし、第n並び替え済入力音信号と第(n+1)並び替え済チャネル入力音信号との間のチャネル間相関値をγ'_n(n+1)とすると、隣接チャネル間関係情報推定部１８８２は、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せ(N-1)通りのそれぞれについてのチャネル間相関値γ'_n(n+1)を得る。

ステップＳ１８８２で得るチャネル間時間差は、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについての、同じ音信号が２個の並び替え済入力音信号のどちらにどれくらい先に含まれているかを表す情報である。第n並び替え済入力音信号と第(n+1)並び替え済入力音信号との間のチャネル間時間差をτ'_n(n+1)とすると、隣接チャネル間関係情報推定部１８８２は、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せ(N-1)通りのそれぞれについてのチャネル間時間差をτ'_n(n+1)を得る。

例えば、相関の大きさを表す値として相関係数の絶対値を用いるのであれば、隣接チャネル間関係情報推定部１８８２は、1以上N-1以下の各nについて（すなわち、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せのそれぞれについて）、予め定めたτ_maxからτ_minまでの各候補サンプル数τ_candについての、第n並び替え済入力音信号のサンプル列と、各候補サンプル数τ_cand分だけ当該サンプル列より後にずれた位置にある第(n+1)並び替え済入力音信号のサンプル列と、の相関係数の絶対値γ_cand、のうちの最大値をチャネル間相関値γ'_n(n+1)として得て出力し、相関係数の絶対値が最大値のときのτ_candをチャネル間時間差τ'_n(n+1)として得て出力する。

また例えば、相関係数の絶対値に代えて、以下のように信号の位相の情報を用いた相関値をγ_candとしてもよい。この例においては、隣接チャネル間関係情報推定部１８８２は、まず、第1チャネル入力音信号から第Nチャネル入力音信号までの各チャネルiについて、入力音信号x_i(1), x_i(2), ..., x_i(T)を式（２－１）のようにフーリエ変換することにより、0からT-1の各周波数kにおける周波数スペクトルX_i(k)を得る。

隣接チャネル間関係情報推定部１８８２は、次に、1以上N-1以下の各nについて、すなわち、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せのそれぞれについて、以降の処理を行う。隣接チャネル間関係情報推定部１８８２は、まず、式（２－１）で得られた各周波数kにおける第nチャネルの周波数スペクトルX_n(k)及び第(n+1)チャネルの周波数スペクトルX_(n+1)(k)を用いて、下記の式（３－１）により、各周波数kにおける位相差のスペクトルφ(k)を得る。

隣接チャネル間関係情報推定部１８８２は、次に、式（３－１）で得られた位相差のスペクトルを逆フーリエ変換することにより、式（１－４）のようにτ_maxからτ_minまでの各候補サンプル数τ_candについて位相差信号ψ(τ_cand)を得る。隣接チャネル間関係情報推定部１８８２は、次に、位相差信号ψ(τ_cand)の絶対値である相関値γ_candの最大値をチャネル間相関値γ'_n(n+1)として得て出力し、相関値が最大値のときのτ_candをチャネル間時間差τ'_n(n+1)として得て出力する。

なお、隣接チャネル間関係情報推定部１８８２は、左右関係情報推定部１８３やチャネル間関係情報推定部１８６と同様に、相関値γ_candとして位相差信号ψ(τ_cand)の絶対値をそのまま用いることに代えて、例えば各τ_candについて位相差信号ψ(τ_cand)の絶対値に対するτ_cand前後にある複数個の候補サンプル数それぞれについて得られた位相差信号の絶対値の平均との相対差のような、正規化された値を用いてもよい。つまり、隣接チャネル間関係情報推定部１８８２は、各τ_candについて、予め定めた正の数τ_rangeを用いて、式（１－５）により平均値を得て、得られた平均値ψ_c(τ_cand)と位相差信号ψ(τ_cand)を用いて式（１－６）により得られる正規化された相関値をγ_candとして用いてもよい。

［チャネル間関係情報補完部１８８３］
チャネル間関係情報補完部１８８３には、隣接チャネル間関係情報推定部１８８２が出力した、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについての、チャネル間相関値とチャネル間時間差と、チャネル並び替え部１８８１が出力した、並び替え後の各チャネルについての原チャネル情報と、が入力される。チャネル間関係情報補完部１８８３は、下記のステップＳ１８８３－１からステップＳ１８８３－５の処理を行うことで、２個のチャネルによる組合せ全て（すなわち、並び替え元の２個のチャネルによる組合せ全て）についてのチャネル間相関値と先行チャネル情報を得て出力する（ステップＳ１８８３）。

チャネル間関係情報補完部１８８３は、まず、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値から、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値を得る（ステップＳ１８８３－１）。nを1以上N-2以下の各整数とし、mをn+2以上N以下の各整数とし、第n並び替え済入力音信号と第m並び替え済入力音信号との間のチャネル間相関値をγ'_nmとすると、チャネル間関係情報補完部１８８３は、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_nmを得る。

並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれにおける２個のチャネル番号をi（iは1以上N-1以下の各整数）とi+1とし、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値をγ'_i(i+1)とすると、例えば、チャネル間関係情報補完部１８８３は、nとmの組合せそれぞれについて（すなわち、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについて）、iがn以上m-1以下である並び替え後のチャネル番号が隣接する２個のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_i(i+1)の全てを乗算した値を、チャネル間相関値γ'_nmとして得る。すなわち、チャネル間関係情報補完部１８８３は、チャネル間相関値γ'_nmを下記の式（３－２）によって得る。

なお、チャネル間関係情報補完部１８８３は、nとmの組合せそれぞれについて（すなわち、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについて）、iがn以上m-1以下である並び替え後のチャネル番号が隣接する２個のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_i(i+1)の全ての相乗平均を、チャネル間相関値γ'_nmとして得てもよい。すなわち、チャネル間関係情報補完部１８８３は、チャネル間相関値γ'_nmを下記の式（３－３）によって得てもよい。

ただし、チャネル間相関値が相関係数の絶対値や正規化された値のような上限が１ではない値である場合には、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値が、当該チャネル間相関値が本来取り得る値の上限を超えないように、チャネル間関係情報補完部１８８３は、式(３－２）で表される乗算値ではなく式（３－３）で表される相乗平均をチャネル間相関値γ'_nmとして得るほうがよい。

なお、例えば、nとmの組合せそれぞれについて（すなわち、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについて）、iがn以上m-1以下である並び替え後のチャネル番号が隣接する２個のチャネルによる組合せの中に、組合せを構成する２つの入力音信号が異なる音信号を含むことにより相関が非常に小さい組合せがあった場合に、チャネル間相関値γ'_nmをその組合せのチャネル間相関値γ'_i(i+1)に依存する値とするようにしてもよい。例えば、チャネル間関係情報補完部１８８３は、nとmの組合せそれぞれについて（すなわち、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについて）、iがn以上m-1以下である並び替え後のチャネル番号が隣接する２個のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_i(i+1)のうちの最小値を、チャネル間相関値γ'_nmとして得るようにしてもよい。また例えば、チャネル間関係情報補完部１８８３は、nとmの組合せそれぞれについて（すなわち、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについて）、iがn以上m-1以下である並び替え後のチャネル番号が隣接する２個のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_i(i+1)のうちの、最小値を含む複数個のチャネル間相関値γ'_i(i+1)の乗算値または相乗平均を、チャネル間相関値γ'_nmとして得るようにしてもよい。ただし、チャネル間相関値が相関係数の絶対値や正規化された値のような上限が１ではない値である場合には、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値が、当該チャネル間相関値が本来取り得る値の上限を超えないように、チャネル間関係情報補完部１８８３は、乗算値ではなく相乗平均をチャネル間相関値γ'_nmとして得るほうがよい。

要するに、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれにおける２個のチャネル番号をi（iは1以上N-1以下の各整数）とi+1とし、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値をγ'_i(i+1)とし、nを1以上N-2以下の各整数とし、mをn+2以上N以下の各整数とし、第n並び替え済入力音信号と第m並び替え済入力音信号との間のチャネル間相関値をγ'_nmとすると、チャネル間関係情報補完部１８８３は、nとmの組合せそれぞれについて（すなわち、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについて）、iがn以上m-1以下である並び替え後のチャネル番号が隣接する２個のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_i(i+1)のうちの最小値を含む１個以上のチャネル間相関値γ'_i(i+1)のそれぞれと単調非減少の関係にある値をチャネル間相関値γ'_nmとして得ればよい。更には、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれにおける２個のチャネル番号をi（iは1以上N-1以下の各整数）とi+1とし、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値をγ'_i(i+1)とし、nを1以上N-2以下の各整数とし、mをn+2以上N以下の各整数とし、第n並び替え済入力音信号と第m並び替え済入力音信号との間のチャネル間相関値をγ'_nmとすると、チャネル間関係情報補完部１８８３は、nとmの組合せそれぞれについて（すなわち、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについて）、iがn以上m-1以下である並び替え後のチャネル番号が隣接する２個のチャネルによる組合せそれぞれについてのチャネル間相関値γ'_i(i+1)のうちの最小値を含む１個以上のチャネル間相関値γ'_i(i+1)のそれぞれと、チャネル間相関値が取り得る値の範囲内で、単調非減少の関係にある値をチャネル間相関値γ'_nmとして得ればよい。

並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値は、隣接チャネル間関係情報推定部１８８２が得たものが入力されており、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値は、ステップＳ１８８３－１により得られるので、ステップＳ１８８３－１を行った時点で、チャネル間関係情報補完部１８８３には、N個の並び替え後のチャネルに含まれる２個の並び替え後のチャネルによる(N×(N-1))/2通りの組合せそれぞれについてのチャネル間相関値が全て存在する状態となる。すなわち、nを1以上N以下の各整数として、mをnより大きくN以下の各整数とし、第n並び替え済み入力音信号と第m並び替え済入力音信号との間のチャネル間相関値をγ'_nmとすると、ステップＳ１８８３－１を行った時点で、チャネル間関係情報補完部１８８３には、(N×(N-1))/2通りの２個の並び替え後のチャネルによる組合せのそれぞれについてのチャネル間相関値γ'_nmが存在している。

チャネル間関係情報補完部１８８３は、ステップＳ１８８３－１の後に、(N×(N-1))/2通りの２個の並び替え後のチャネルによる組合せのそれぞれについてのチャネル間相関値γ'_nmを、並び替え後の各チャネルについての原チャネル情報c₁からc_Nを用いて、N個のチャネルの入力音信号におけるチャネルの組合せ（すなわち、並び替え元のチャネルの組合せ）に対応付けることで、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについての、入力音信号間のチャネル間相関値を得る（ステップＳ１８８３－２）。nを1以上N以下の各整数とし、mをnより大きくN以下の各整数とし、第nチャネル入力音信号と第mチャネル入力音信号との間のチャネル間相関値をγ_nmとすると、チャネル間関係情報補完部１８８３は、(N×(N-1))/2通りの２個のチャネルによる組合せのそれぞれについてのチャネル間相関値γ_nmを得る。

チャネル間関係情報補完部１８８３は、また、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差から、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差を得る（ステップＳ１８８３－３）。nを1以上N-2以下の各整数とし、mをn+2以上N以下の各整数とし、第nチャネル並び替え済入力音信号と第mチャネル並び替え済入力音信号との間のチャネル間時間差をτ'_nmとすると、チャネル間関係情報補完部１８８３は、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差τ'_nmを得る。並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれにおける２個のチャネル番号をi（iは1以上N-1以下の各整数）とi+1とし、並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差をτ'_i(i+1)とすると、チャネル間関係情報補完部１８８３は、nとmの組合せそれぞれについて（すなわち、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについて）、iがn以上m-1以下である並び替え後のチャネル番号が隣接する２個のチャネルによる組合せそれぞれについてのチャネル間時間差τ'_i(i+1)の全てを加算した値を、チャネル間時間差τ'_nmとして得る。すなわち、チャネル間関係情報補完部１８８３は、チャネル間時間差τ'_nmを下記の式（３－４）によって得る。

並び替え後のチャネル番号が隣接する２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差は、隣接チャネル間関係情報推定部１８８２が得たものが入力されており、並び替え後のチャネル番号が隣接しない２個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差は、ステップＳ１８８３－３により得られるので、ステップＳ１８８３－３を行った時点で、チャネル間関係情報補完部１８８３には、N個の並び替え後のチャネルに含まれる２個の並び替え後のチャネルによる(N×(N-1))/2通りの組合せそれぞれについてのチャネル間時間差が全て存在する状態となる。すなわち、nを1以上N以下の各整数とし、mをnより大きくN以下の各整数とし、並び替え後の第nチャネルと並び替え後の第mチャネルによる組合せについてのチャネル間時間差をτ'_nmとすると、ステップＳ１８８３－３を行った時点で、チャネル間関係情報補完部１８８３には、(N×(N-1))/2通りの２個の並び替え後のチャネルによる組合せのそれぞれについてのチャネル間時間差τ'_nmが存在している。

チャネル間関係情報補完部１８８３は、ステップＳ１８８３－３の後に、(N×(N-1))/2通りの２個の並び替え後のチャネルによる組合せのそれぞれについてチャネル間時間差τ'_nmを、並び替え後の各チャネルについての原チャネル情報c₁からc_Nを用いて、N個のチャネルの入力音信号におけるチャネルの組合せ（すなわち、並び替え元のチャネルの組合せ）に対応付けることで、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについての、入力音信号間のチャネル間時間差を得る（ステップＳ１８８３－４）。nを1以上N以下の各整数として、mをnより大きくN以下の各整数とし、第nチャネル入力音信号と第mチャネル入力音信号との間のチャネル間時間差をτ_nmとすると、チャネル間関係情報補完部１８８３は、(N×(N-1))/2通りの２個のチャネルによる組合せのそれぞれについてのチャネル間時間差τ_nmを得る。

チャネル間関係情報補完部１８８３は、ステップＳ１８８３－４の後に、(N×(N-1))/2通りの２個のチャネルによる組合せのそれぞれについてのチャネル間時間差τ_nmから、(N×(N-1))/2通りの２個のチャネルによる組合せのそれぞれについての先行チャネル情報INFO_nmを得る（ステップＳ１８８３－５）。チャネル間関係情報補完部１８８３は、チャネル間時間差τ_nmが正の値である場合には、第nチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得て、チャネル間時間差τ_nmが負の値である場合には、第mチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得る。チャネル間関係情報補完部１８８３は、２個のチャネルによる組合せのそれぞれについて、チャネル間時間差τ_nmが０である場合には、第nチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得てもよいし、第mチャネルが先行していることを表す情報を先行チャネル情報INFO_nmとして得てもよい。

なお、チャネル間関係情報補完部１８８３は、ステップＳ１８８３－４とステップＳ１８８３－５に代えて、(N×(N-1))/2通りの２個の並び替え後のチャネルによる組合せのそれぞれについて、チャネル間時間差τ'_nmからステップＳ１８８３－５と同様にして先行チャネル情報INFO'_nmを得るステップＳ１８８３－４’と、ステップＳ１８８３－４’で得た(N×(N-1))/2通りの２個の並び替え後のチャネルによる組合せのそれぞれについて先行チャネル情報INFO'_nmを、並び替え後の各チャネルについての原チャネル情報c₁からc_Nを用いて、N個のチャネルの入力音信号におけるチャネルの組合せ（すなわち、並び替え元のチャネルの組合せ）に対応付けることで、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについての先行チャネル情報INFO_nmを得るステップＳ１８８３－５’と、を行ってもよい。すなわち、チャネル間関係情報補完部１８８３は、(N×(N-1))/2通りの２個の並び替え後のチャネルによる組合せのそれぞれについてのチャネル間時間差τ'_nmから、原チャネル情報c₁からc_Nを用いてN個のチャネルの入力音信号におけるチャネルの組合せに対応付けることと、チャネル間時間差が正であるか負であるか０であるかに基づいて先行チャネル情報を得ることと、によって、N個のチャネルに含まれる２個のチャネルによる組合せそれぞれについての先行チャネル情報INFO_nmを得ればよい。

≪第２例≫
第２実施形態の第２例のチャネル間関係情報推定部１８６に代えて、第３実施形態の第１例のチャネル間関係情報推定部１８８を用いてもよい。この場合には、音信号ダウンミックス装置４０７のチャネル間関係情報取得部１８７はチャネル間関係情報推定部１８６に代えてチャネル間関係情報推定部１８８を備えて、チャネル間関係情報取得部１８７は、チャネル間関係情報推定部１８６をチャネル間関係情報推定部１８８と読み替えた動作をすればよい。この場合の音信号ダウンミックス装置４０７の装置構成は図７に例示する通りであり、音信号ダウンミックス装置４０７の処理の流れは図８に例示する通りである。

＜第４実施形態＞
音信号を符号化する符号化装置に上述した第２実施形態と第３実施形態の音信号ダウンミックス装置を音信号ダウンミックス部として含んでもよく、この形態を第４実施形態として説明する。

≪音信号符号化装置１０６≫
第４実施形態の音信号符号化装置１０６は、図１３に示す通り、音信号ダウンミックス部４０７と符号化部１９６を含む。第４実施形態の音信号符号化装置１０６は、例えば20msの所定の時間長のフレーム単位で、入力されたNチャネルステレオの時間領域の音信号を符号化して、音信号符号を得て出力する。音信号符号化装置１０６に入力されるNチャネルステレオの時間領域の音信号は、例えば、音声や音楽などの音をN個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であり、第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号からなる。符号化装置が出力する音信号符号は復号装置へ入力される。第４実施形態の音信号符号化装置１０５は、各フレームについて、図１４に例示するステップＳ４０７とステップＳ１９６の処理を行う。以下、第４実施形態の音信号符号化装置１０６について、第２実施形態と第３実施形態の説明を適宜参照して説明する。

［音信号ダウンミックス部４０７］
音信号ダウンミックス部４０７は、音信号符号化装置１０６に入力された第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号からダウンミックス信号を得て出力する（ステップＳ４０７）。音信号ダウンミックス部４０７は、第２実施形態または第３実施形態の音信号ダウンミックス装置４０７と同様であり、チャネル間関係情報取得部１８７とダウンミックス部１１６を含む。チャネル間関係情報取得部１８７は上述したステップＳ１８７を行い、ダウンミックス部１１６は上述したステップＳ１１６を行う。すなわち、音信号符号化装置１０６は、第２実施形態または第３実施形態の音信号ダウンミックス装置４０７を音信号ダウンミックス部４０７として含んでおり、第２実施形態または第３実施形態の音信号ダウンミックス装置４０７の処理をステップＳ４０７として行う。

［符号化部１９６］
符号化部１９６には、音信号ダウンミックス部４０７が出力したダウンミックス信号が少なくとも入力される。符号化部１９６は、入力されたダウンミックス信号を少なくとも符号化して音信号符号を得て出力する（ステップＳ１９６）。符号化部１９６は、第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号も符号化してもよく、この符号化で得た符号も音信号符号に含めて出力してもよい。この場合には、図１３に破線で示すように、符号化部１９６には第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号も入力される。

符号化部１９６が行う符号化処理はどのような符号化処理であってもよい。例えば、入力されたTサンプルのダウンミックス信号x_M(1), x_M(2), ..., x_M(T)を3GPP EVS規格のようなモノラル符号化方式で符号化して音信号符号を得てもよい。また例えば、ダウンミックス信号を符号化してモノラル符号を得ることに加えて、第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号をMPEG-4 AAC規格のステレオ復号方式に対応するステレオ符号化方式で符号化してステレオ符号を得て、モノラル符号とステレオ符号を合わせたものを音信号符号として出力してもよい。また例えば、ダウンミックス信号を符号化してモノラル符号を得ることに加えて、第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号について、チャネルごとにダウンミックス信号との差分や重み付き差分を符号化することでステレオ符号を得て、モノラル符号とステレオ符号を合わせたものを音信号符号として出力してもよい。

＜第５実施形態＞
音信号を信号処理する信号処理装置に上述した第２実施形態と第３実施形態の音信号ダウンミックス装置を音信号ダウンミックス部として含んでもよく、この形態を第５実施形態として説明する。

≪音信号処理装置３０６≫
第５実施形態の音信号処理装置３０６は、図１５に示す通り、音信号ダウンミックス部４０７と信号処理部３１６を含む。第５実施形態の音信号処理装置３０６は、例えば20msの所定の時間長のフレーム単位で、入力されたNチャネルステレオの時間領域の音信号を信号処理して、信号処理結果を得て出力する。音信号処理装置３０６に入力されるNチャネルステレオの時間領域の音信号は、例えば、音声や音楽などの音をN個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であり、また例えば、当該ディジタルの音声信号又は音響信号を加工して得たディジタルの音声信号又は音響信号であり、また例えば、ステレオ復号装置がステレオ符号を復号して得たディジタルの復号音声信号又は復号音響信号であり、第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号からなる。第５実施形態の音信号処理装置３０６は、各フレームについて、図１６に例示するステップＳ４０７とステップＳ３１６の処理を行う。以下、第５実施形態の音信号処理装置３０６について、第２実施形態と第３実施形態の説明を適宜参照して説明する。

［音信号ダウンミックス部４０７］
音信号ダウンミックス部４０７は、音信号処理装置３０６に入力された第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号からダウンミックス信号を得て出力する（ステップＳ４０７）。音信号ダウンミックス部４０７は、第２実施形態または第３実施形態の音信号ダウンミックス装置４０７と同様であり、チャネル間関係情報取得部１８７とダウンミックス部１１６を含む。チャネル間関係情報取得部１８７は上述したステップＳ１８７を行い、ダウンミックス部１１６は上述したステップＳ１１６を行う。すなわち、音信号処理装置３０６は、第２実施形態または第３実施形態の音信号ダウンミックス装置４０７を音信号ダウンミックス部４０７として含んでおり、第２実施形態または第３実施形態の音信号ダウンミックス装置４０７の処理をステップＳ４０７として行う。

［信号処理部３１６］
信号処理部３１６には、音信号ダウンミックス部４０７が出力したダウンミックス信号が少なくとも入力される。信号処理部３１６は、入力されたダウンミックス信号を少なくとも信号処理して信号処理結果を得て出力する（ステップＳ３１６）。信号処理部３１６は、第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号も信号処理して信号処理結果を得てもよく、この場合には、図１５に破線で示すように、信号処理部３１６には第１チャネル入力音信号から第Nチャネル入力音信号のN個の入力音信号も入力され、信号処理部３１６は、例えば、各チャネルの入力音信号に対してダウンミックス信号を用いた信号処理を行って各チャネルの出力音信号を信号処理結果として得る。

＜プログラム及び記録媒体＞
上述した各音信号ダウンミックス装置と音信号符号化装置と音信号処理装置との各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図１７に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

Claims (10)

1. N個（Nは3以上の整数）のチャネルの入力音信号からモノラルの音信号であるダウンミックス信号を得る音信号ダウンミックス方法であって、
   前記N個のチャネルに含まれる2個のチャネルによる組合せのそれぞれについての、2個のチャネルの入力音信号間の相関の大きさを表す値であるチャネル間相関値と、2個のチャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得るチャネル間関係情報取得ステップと、
   前記チャネル間相関値と前記先行チャネル情報とに基づき、前記各チャネルの入力音信号に、当該チャネルより先行している各チャネルの入力音信号との相関が大きいほど小さく、当該チャネルより後行している各チャネルの入力音信号との相関が大きいほど大きい重みを与えて、前記N個のチャネルの入力音信号を重み付け加算して前記ダウンミックス信号を得るダウンミックスステップと、
   を含み、
   前記チャネル間関係情報取得ステップは、
   第1チャネルから順に、残りのチャネルのうちの入力音信号が最も類似するチャネルが隣接するチャネルとなるように、逐次的に並び替えを行って、N個のチャネルの並び替え後の信号である第1並び替え済入力音信号から第N並び替え済入力音信号と、前記各並び替え済入力音信号の前記N個のチャネルの前記入力音信号におけるチャネル番号である第1原チャネル情報から第N原チャネル情報と、を得るチャネル並び替えステップと、
   前記第1並び替え済入力音信号から前記第N並び替え済入力音信号のうちの前記の並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての、チャネル間相関値とチャネル間時間差を得る隣接チャネル間関係情報推定ステップと、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値から、前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値を得て、
   前記並び替え後のチャネルによる組合せのそれぞれについての前記チャネル間相関値を、前記原チャネル情報を用いてN個のチャネルの前記入力音信号におけるチャネルの組合せに対応付けることで、N個のチャネルに含まれる2個のチャネルによる組合せそれぞれについての、前記入力音信号間の前記チャネル間相関値を得て、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間時間差から、前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差を得て、
   前記並び替え後のチャネルによる組合せのそれぞれについての前記チャネル間時間差から、前記原チャネル情報を用いてN個のチャネルの前記入力音信号におけるチャネルの組合せに対応付けることと、前記チャネル間時間差が正であるか負であるか0であるかに基づいて先行チャネル情報を得ることと、によって、N個のチャネルに含まれる2個のチャネルによる組合せそれぞれについての前記先行チャネル情報を得る
   チャネル間関係情報補完ステップを含み、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれにおける2個のチャネル番号をi（iは1以上N-1以下の各整数）とi+1とし、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値をγ'_i(i+1)とし、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間時間差をτ'_i(i+1)とし、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれにおける2個のチャネル番号をn（nは1以上N-2以下の各整数）とm（mはn+2以上N以下の各整数）とし、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値をγ'_nmとし、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間時間差をτ'_nmとして、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値γ'_nmは、iがn以上m-1以下である並び替え後のチャネル番号が隣接する2個のチャネルによる組合せそれぞれについての前記チャネル間相関値γ'_i(i+1)のうちの最小値を含む1個以上の前記チャネル間相関値γ'_i(i+1)のそれぞれと単調非減少の関係にある値であり、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間時間差τ'_nmは、iがn以上m-1以下である並び替え後のチャネル番号が隣接する2個のチャネルによる組合せそれぞれについての前記チャネル間時間差τ'_i(i+1)の全てを加算した値である
   ことを特徴とする音信号ダウンミックス方法。
2. 請求項１に記載の音信号ダウンミックス方法であって、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値γ'_nmは、iがn以上m-1以下である並び替え後のチャネル番号が隣接する2個のチャネルによる組合せそれぞれについての前記チャネル間相関値γ'_i(i+1)のうちの最小値である
   ことを特徴とする音信号ダウンミックス方法。
3. 請求項１または２に記載の音信号ダウンミックス方法を音信号ダウンミックスステップとして含み、
   前記ダウンミックスステップが得た前記ダウンミックス信号を符号化してモノラル符号を得るモノラル符号化ステップと、
   前記N個チャネルの入力音信号を符号化してステレオ符号を得るステレオ符号化ステップと、
   を更に含む
   ことを特徴とする音信号符号化方法。
4. N個（Nは3以上の整数）のチャネルの入力音信号からモノラルの音信号であるダウンミックス信号を得る音信号ダウンミックス装置であって、
   前記N個のチャネルに含まれる2個のチャネルによる組合せのそれぞれについての、2個のチャネルの入力音信号間の相関の大きさを表す値であるチャネル間相関値と、2個のチャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得るチャネル間関係情報取得部と、
   前記チャネル間相関値と前記先行チャネル情報とに基づき、前記各チャネルの入力音信号に、当該チャネルより先行している各チャネルの入力音信号との相関が大きいほど小さく、当該チャネルより後行している各チャネルの入力音信号との相関が大きいほど大きい重みを与えて、前記N個のチャネルの入力音信号を重み付け加算して前記ダウンミックス信号を得るダウンミックス部と、
   を含み、
   前記チャネル間関係情報取得部は、
   第1チャネルから順に、残りのチャネルのうちの入力音信号が最も類似するチャネルが隣接するチャネルとなるように、逐次的に並び替えを行って、N個のチャネルの並び替え後の信号である第1並び替え済入力音信号から第N並び替え済入力音信号と、前記各並び替え済入力音信号の前記N個のチャネルの前記入力音信号におけるチャネル番号である第1原チャネル情報から第N原チャネル情報と、を得るチャネル並び替え部と、
   前記第1並び替え済入力音信号から前記第N並び替え済入力音信号のうちの前記の並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての、チャネル間相関値とチャネル間時間差を得る隣接チャネル間関係情報推定部と、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値から、前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間相関値を得て、
   前記並び替え後のチャネルによる組合せのそれぞれについての前記チャネル間相関値を、前記原チャネル情報を用いてN個のチャネルの前記入力音信号におけるチャネルの組合せに対応付けることで、N個のチャネルに含まれる2個のチャネルによる組合せそれぞれについての、前記入力音信号間の前記チャネル間相関値を得て、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間時間差から、前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについてのチャネル間時間差を得て、
   前記並び替え後のチャネルによる組合せのそれぞれについての前記チャネル間時間差から、前記原チャネル情報を用いてN個のチャネルの前記入力音信号におけるチャネルの組合せに対応付けることと、前記チャネル間時間差が正であるか負であるか0であるかに基づいて先行チャネル情報を得ることと、によって、N個のチャネルに含まれる2個のチャネルによる組合せそれぞれについての前記先行チャネル情報を得る
   チャネル間関係情報補完部を含み、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれにおける2個のチャネル番号をi（iは1以上N-1以下の各整数）とi+1とし、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値をγ'_i(i+1)とし、
   前記並び替え後のチャネル番号が隣接する2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間時間差をτ'_i(i+1)とし、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれにおける2個のチャネル番号をn（nは1以上N-2以下の各整数）とm（mはn+2以上N以下の各整数）とし、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値をγ'_nmとし、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間時間差をτ'_nmとして、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値γ'_nmは、iがn以上m-1以下である並び替え後のチャネル番号が隣接する2個のチャネルによる組合せそれぞれについての前記チャネル間相関値γ'_i(i+1)のうちの最小値を含む1個以上の前記チャネル間相関値γ'_i(i+1)のそれぞれと単調非減少の関係にある値であり、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間時間差τ'_nmは、iがn以上m-1以下である並び替え後のチャネル番号が隣接する2個のチャネルによる組合せそれぞれについての前記チャネル間時間差τ'_i(i+1)の全てを加算した値である
   ことを特徴とする音信号ダウンミックス装置。
5. 請求項４に記載の音信号ダウンミックス装置であって、
   前記並び替え後のチャネル番号が隣接しない2個の並び替え後のチャネルによる組合せそれぞれについての前記チャネル間相関値γ'_nmは、iがn以上m-1以下である並び替え後のチャネル番号が隣接する2個のチャネルによる組合せそれぞれについての前記チャネル間相関値γ'_i(i+1)のうちの最小値である
   ことを特徴とする音信号ダウンミックス装置。
6. 請求項４または５に記載の音信号ダウンミックス装置を音信号ダウンミックス部として含み、
   前記ダウンミックス部が得た前記ダウンミックス信号を符号化してモノラル符号を得るモノラル符号化部と、
   前記N個チャネルの入力音信号を符号化してステレオ符号を得るステレオ符号化部と、
   を更に含む
   ことを特徴とする音信号符号化装置。
7. 請求項１または２に記載の音信号ダウンミックス方法の各ステップの処理をコンピュータに実行させるためのプログラム。
8. 請求項３に記載の音信号符号化方法の各ステップの処理をコンピュータに実行させるためのプログラム。
9. 請求項１または２に記載の音信号ダウンミックス方法の各ステップの処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 請求項３に記載の音信号符号化方法の各ステップの処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images