JP6641027B2 - チャネル間時間差パラメータの安定性を増加させるための方法および装置 - Google Patents

Description

本出願は、空間オーディオまたはステレオ信号のパラメトリックコーディングに関する。

空間オーディオまたは３Ｄオーディオは、様々な種類のマルチチャネルオーディオ信号を表示する一般定式化である。キャプチャ方法およびレンダリング方法に応じて、オーディオシーンが空間オーディオフォーマットによって表される。キャプチャ方法（マイクロフォン）によって規定される典型的な空間オーディオフォーマットは、たとえば、ステレオ、バイノーラル、アンビソニックなどとして表示される。空間オーディオレンダリングシステム（ヘッドフォンまたはラウドスピーカー）は、ステレオ（左および右チャネル２．０）またはより高度のマルチチャネルオーディオ信号（２．１、５．１、７．１など）を用いて空間オーディオシーンをレンダリングすることが可能である。

そのようなオーディオ信号の送信および操作のための最近の技術は、エンドユーザがより高い空間品質をもつ向上されたオーディオ体感を有することを可能にし、しばしば、より良い了解度ならびに拡張現実を生じる。ＭＰＥＧサラウンドまたはＭＰＥＧ−Ｈ ３Ｄオーディオなど、空間オーディオコーディング技法は、インターネットを介したストリーミングなど、データレート制約アプリケーションに適合する、空間オーディオ信号のコンパクトな表現を生成する。しかしながら、空間オーディオ信号の送信は、データレート制約が強いときに制限され、したがって、空間オーディオ再生を向上させるために、復号されたオーディオチャネルの後処理も使用される。通常使用される技法は、たとえば、復号されたモノまたはステレオ信号をマルチチャネルオーディオ（５．１チャネルまたはそれ以上）にブラインドでアップミックスすることが可能である。

空間オーディオシーンを効率的にレンダリングするために、空間オーディオコーディングおよび処理技術は、マルチチャネルオーディオ信号の空間特性を利用する。特に、空間オーディオキャプチャのチャネル間の時間差およびレベル差が、空間中の方向性音の我々の知覚を特徴づける両耳間キューを近似するために使用される。チャネル間時間差およびレベル差は、聴覚システムが検出することが可能であるもの（すなわち耳入口における両耳間時間差およびレベル差）の近似であるにすぎないので、知覚的側面からチャネル間時間差が関連することが極めて重要である。チャネル間時間差およびレベル差は、マルチチャネルオーディオ信号の方向成分をモデル化するために通常使用され、両耳間相互相関（ＩＡＣＣ：ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｃｒｏｓｓ−ｃｏｒｒｅｌｅｔｉｏｎ）をモデル化するチャネル間相互相関が、オーディオ画像の幅を特徴づけるために使用される。とりわけ、より低い周波数について、チャネル間位相差（ＩＣＰＤ）を用いてステレオ画像がモデル化されることもある。

空間聴覚について関連するバイノーラルキューは、両耳間レベル差（ＩＬＤ）、両耳間時間差（ＩＴＤ）および両耳間コヒーレンスまたは相関（ＩＣまたはＩＡＣＣ）と呼ばれることに留意されたい。一般的なマルチチャネル信号を考慮するとき、チャネルに関係する対応するキューは、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）およびチャネル間コヒーレンスまたは相関（ＩＣＣ）である。以下の説明では、「チャネル間相互相関」、「チャネル間相関」および「チャネル間コヒーレンス」という用語は互換的に使用される。空間オーディオ処理は、大部分が、キャプチャされたオーディオチャネル上で動作するので、「Ｃ」は除外されることがあり、オーディオチャネルを指すとき、ＩＴＤ、ＩＬＤおよびＩＣという用語もしばしば使用される。図１は、これらのパラメータの説明を与える。図１では、５．１サラウンドシステム（５ディスクリート＋１低周波数効果）を用いた空間オーディオ再生が示されている。ＩＣＴＤ、ＩＣＬＤおよびＩＣＣなど、チャネル間パラメータは、空間中の音の人間の知覚をモデル化するＩＴＤ、ＩＬＤおよびＩＡＣＣを近似するために、オーディオチャネルから抽出される。

図２では、パラメトリック空間オーディオ分析を採用する典型的なセットアップが示されている。図２は、パラメトリックステレオコーダ２００の基本ブロック図を例示する。ステレオ信号ペアがステレオエンコーダ２０１に入力される。パラメータ抽出２０２がダウンミックスプロセスを助け、ここで、ダウンミキサ２０４が、モノエンコーダ２０６を用いて符号化されるべき２つの入力チャネルのシングルチャネル表現を準備する。すなわち、ステレオチャネルは、モノ信号２０７にダウンミックスされ、モノ信号２０７は、符号化され、空間画像を記述する符号化されたパラメータ２０５とともにデコーダ２０３に送信される。たいてい、ステレオパラメータのうちのいくつかは、等価矩形帯域幅（ＥＲＢ：ｅｑｕｉｖａｌｅｎｔ ｒｅｃｔａｎｇｕｌａｒ ｂａｎｄｗｉｄｔｈ）スケールなど、知覚周波数スケール上のスペクトルサブバンドにおいて表される。デコーダは、復号されたモノ信号と送信されたパラメータとに基づいてステレオ合成を実施する。すなわち、デコーダは、モノデコーダ２１０を使用してシングルチャネルを再構成し、パラメトリック表現を使用してステレオチャネルを合成する。復号されたモノ信号と受信された符号化されたパラメータとは、パラメータを復号し、復号されたパラメータを使用してステレオチャネルを合成し、合成ステレオ信号ペアを出力する、パラメトリック合成ユニット２１２またはプロセスに入力される。

符号化されたパラメータは、人間の聴覚システムのために空間オーディオをレンダリングするために使用されるので、チャネル間パラメータが、最大化された知覚品質のために知覚考慮事項を用いて抽出され、符号化されることが重要である。

ステレオおよびマルチチャネルオーディオ信号は、とりわけ、環境が雑音が多いかまたは残響があるとき、あるいは混合物の様々なオーディオ成分が時間および周波数において重複するとき、すなわち雑音が多い音声、音楽に重なった音声（ｓｐｅｅｃｈ ｏｖｅｒ ｍｕｓｉｃ）または同時話者など、モデル化することが困難な複合信号である。

ＩＣＴＤパラメータ推定が信頼できなくなるとき、オーディオシーンのパラメトリック表現は、不安定になり、不十分な空間レンダリング品質を与える。また、ＩＣＴＤ補償がダウンミックス段の一部としてしばしば行われるので、不安定な推定値は、符号化されるべき難しいおよび複雑なダウンミックス信号を与えることになる。

実施形態の目的は、ＩＣＴＤパラメータの安定性を増加させ、それにより、モノコーデックによって符号化されたダウンミックス信号とデコーダ中の空間オーディオレンダリングにおける知覚安定性の両方を改善することである。

一態様によれば、少なくとも２つのチャネルを備えるマルチチャネルオーディオ入力信号が受信される、パラメトリックオーディオコーディングにおけるチャネル間時間差（ＩＣＴＤ）パラメータの安定性を増加させるための方法が提供される。本方法は、オーディオフレームｍについてのＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））と、前記ＩＣＴＤ推定値の安定性推定値とを取得することと、取得されたＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））が有効であるかどうかを決定することとを備える。ＩＣＴＤ_ｅｓｔ（ｍ）が有効と見られず、決定された十分な数の有効なＩＣＴＤ推定値が先行フレームにおいて見つかった場合、安定性推定値を使用してハングオーバ時間が決定される。ハングオーバ時間中に、前に取得された有効なＩＣＴＤパラメータ（ＩＣＴＤ（ｍ−１））が、出力パラメータ（ＩＣＴＤ（ｍ））として選択される。有効なＩＣＴＤ_ｅｓｔ（ｍ）がハングオーバ時間中に見つからない場合、出力パラメータ（ＩＣＴＤ（ｍ））が０に設定される。

別の態様によれば、パラメトリックオーディオコーディングのための装置が提供される。本装置は、少なくとも２つのチャネルを備えるマルチチャネルオーディオ入力信号を受信することと、オーディオフレームｍについてのＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））を取得することとを行うように設定される。本装置は、取得されたＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））が有効であるかどうかを決定することと、前記ＩＣＴＤ推定値の安定性推定値を取得することとを行うように設定される。本装置は、ＩＣＴＤ_ｅｓｔ（ｍ）が有効と見られず、決定された十分な数の有効なＩＣＴＤ推定値が先行フレームにおいて見つかった場合、安定性推定値を使用してハングオーバ時間を決定することと、ハングオーバ時間中に、前に取得された有効なＩＣＴＤパラメータ（ＩＣＴＤ（ｍ−１））を、出力パラメータ（ＩＣＴＤ（ｍ））として選択することと、有効なＩＣＴＤ_ｅｓｔ（ｍ）がハングオーバ時間中に見つからない場合、出力パラメータ（ＩＣＴＤ（ｍ））を０に設定することとを行うようにさらに設定される。

別の態様によれば、コンピュータプログラムが提供される。本コンピュータプログラムは、少なくとも１つのプロセッサ上で実行されたとき、少なくとも１つのプロセッサに、オーディオフレームｍについてのＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））と、前記ＩＣＴＤ推定値の安定性推定値とを取得することと、取得されたＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））が有効であるかどうかを決定することとを実行させる命令を備える。ＩＣＴＤ_ｅｓｔ（ｍ）が有効と見られず、決定された十分な数の有効なＩＣＴＤ推定値が先行フレームにおいて見つかった場合、安定性推定値を使用してハングオーバ時間を決定することと、ハングオーバ時間中に、前に取得された有効なＩＣＴＤパラメータ（ＩＣＴＤ（ｍ−１））を、出力パラメータ（ＩＣＴＤ（ｍ））として選択することと、有効なＩＣＴＤ_ｅｓｔ（ｍ）がハングオーバ時間中に見つからない場合、出力パラメータ（ＩＣＴＤ（ｍ））を０に設定することと。

別の態様によれば、方法は、ＩＣＣ測度を平均化することによって、ＩＣＴＤパラメータの安定性の長期推定値を取得することと、信頼できるＩＣＴＤ推定値が取得され得ないとき、前に取得された信頼できるＩＣＴＤ推定値が使用されるとき、ヒステリシス期間、またはハングオーバ時間を決定するために、この安定性推定値を使用することとを備える。信頼できるＩＣＴＤ推定値がヒステリシス期間内に取得されない場合、ＩＣＴＤは０に設定される。

本発明の例示的な実施形態のより完全な理解のために、次に、添付の図面とともに、以下の説明が参照される。

５．１サラウンドシステムを用いた空間オーディオ再生を例示する図である。 パラメトリックステレオコーダの基本ブロック図である。 純粋な遅延状況を例示する図である。 一実施形態による、ＩＣＴＤ／ＩＣＣ処理のフローチャート図である。 一実施形態による、関連するＩＣＴＤ_ｅｓｔ（ｍ）の分岐におけるＩＣＴＤ／ＩＣＣ処理のフローチャート図である。 一実施形態による、関連しないＩＣＴＤ_ｅｓｔ（ｍ）の分岐におけるＩＣＴＤ／ＩＣＣ処理のフローチャート図である。 一実施形態による、ハングオーバフレームの数を決定するためのマッピング関数を示す図である。 一実施形態による、ＩＴＤハングオーバ論理がどのように適用されるかの一例を例示する図である。 パラメータヒステリシスユニットの一例を例示する図である。 パラメータヒステリシスユニットの別の例示的な図である。 本明細書で説明される方法を実装するための装置を例示する図である。 一実施形態による、パラメータヒステリシスユニットを例示する図である。

本発明の例示的な実施形態およびそれの潜在的な利点は、図面の図１〜図１０を参照することによって理解される。

ＩＣＴＤを推定することの従来のパラメトリック手法は、２つの波形ｘ［ｎ］とｙ［ｎ］との間の類似度の測度である相互相関関数（ＣＣＦ：ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ ｆｕｎｃｔｉｏｎ）ｒ_ｘｙに依拠し、概して、時間領域において次のように規定される。
ｒ_ｘｙ［ｎ，τ］＝Ｅ［ｘ［ｎ］ｙ［ｎ＋τ］］、 （１）
ここで、τはタイムラグパラメータであり、Ｅ［・］は期待値演算子である。長さＮの信号フレームの場合、相互相関は、典型的に次のように推定される。

ＩＣＣは、従来、以下のように、信号エネルギーによって正規化されたＣＣＦの最大値として取得される。

ＩＣＣに対応するタイムラグτは、チャネルｘとチャネルｙとの間のＩＣＴＤとして決定される。ｘ［ｎ］とｙ［ｎ］とが信号フレームの外部で０であると仮定することによって、相互相関関数は、次のように、（離散周波数インデックスｋをもつ）周波数スペクトルＸ［ｋ］およびＹ［ｋ］の相互スペクトルの関数として等価的に表現され得る。
ｒ_ｘｙ［τ］＝ＤＦＴ^−１（Ｘ［ｋ］Ｙ^＊［ｋ］） （４）
ここで、Ｘ［ｋ］は時間領域信号ｘ［ｎ］の離散フーリエ変換（ＤＦＴ）、すなわち、
であり、ＤＦＴ^−１（・）またはＩＤＦＴ（・）は逆離散フーリエ変換を表示する。Ｙ^＊［ｋ］はｙ（ｎ）のＤＦＴの複素共役である。

ｙ［ｎ］が純粋にｘ［ｎ］の遅延したバージョンである場合、相互相関関数は、以下によって与えられる。
ここで、＊は畳み込みを表示し、δ（τ−τ_０）はクロネッカーデルタ関数であり、すなわち、τ_０において１に等しく、他の場合、０に等しい。これは、ｘとｙとの間の相互相関関数が、ｘ［ｎ］についての自己相関関数との畳み込みによって拡散されたデルタ関数であることを意味する。

いくつかの遅延成分をもつ信号フレーム、たとえばいくつかの話者の場合、信号間に存在する各遅延においてピークがあることになり、相互相関は以下になる。
ｒ_ｘｙ［τ］＝ｒ_ｘｘ［τ］＊Σ_ｉδ（τ−τ_ｉ） （７）

デルタ関数は、次いで、互いに拡散され、信号フレーム内のいくつかの遅延を識別することを困難にし得る。しかしながら、この拡散を有しない一般化相互相関（ＧＣＣ：ｇｅｎｅｒａｌｉｚｅｄ ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ）関数がある。ＧＣＣは、概して、次のように規定される。
ここで、ψ［ｋ］は周波数重み付けである。とりわけ、空間オーディオの場合、位相変換（ＰＨＡＴ：ｐｈａｓｅ ｔｒａｎｓｆｏｒｍ）が、低雑音環境における反響のためのそれのロバストネスにより利用されている。
位相変換は、基本的に各周波数係数の絶対値であり、すなわち

この重み付けは、それにより、各成分のパワーが等しくなるように相互スペクトルを白色化する。信号ｘ［ｎ］およびｙ［ｎ］中の純粋な遅延および無相関雑音を用いて、位相変換されたＧＣＣ（ＧＣＣ−ＰＨＡＴ）は、ちょうどクロネッカーデルタ関数δ（τ−τ_０）になり、すなわち

図３は、純粋な遅延状況を例示する。上部プロットでは、純粋な遅延だけ異なるにすぎない２つの信号間の相互相関の例示が示されている。中間プロットは、２つの信号の相互相関関数（ＣＣＦ）を示す。相互相関関数は、デルタ関数δ（τ−τ_０）との畳み込みによって変位させられたソースの自己相関に対応する。下部プロットは、純粋な遅延状況についてのデルタ関数をもたらす、入力信号のＧＣＣ−ＰＨＡＴを示す。

本方法は、ＩＣＣの長期推定値に依存するハングオーバ期間とも呼ばれる適応型ハングオーバ時間に基づく。本方法の一実施形態では、ＩＣＴＤパラメータの安定性の長期推定値が、ＩＣＣ測度を平均化することによって取得される。信頼できる推定値が取得され得ないとき、前に取得された信頼できる推定値が使用される、ヒステリシス期間、またはハングオーバ時間を決定するために、安定性推定値が使用される。信頼できる推定値がヒステリシス期間内に取得されない場合、ＩＣＴＤは０に設定される。

２つまたはそれ以上のオーディオチャネルからなるオーディオ入力のための空間表現パラメータを取得するために指定されるシステムを考慮すること。各チャネルは、時間フレームｍにセグメント化される。マルチチャネル手法の場合、空間パラメータが、典型的に、チャネルペアのために取得され、ステレオセットアップの場合、このペアは、単に左および右チャネルである。以下、空間パラメータは、単一のチャネルペアｘ［ｎ，ｍ］およびｙ［ｎ，ｍ］のための空間パラメータに焦点が当てられ、ここで、ｎはサンプル番号を表示し、ｍはフレーム番号を表示する。

相互相関測度とＩＣＴＤ推定値とが、各フレームｍについて取得される。現在フレームのためのＩＣＣ（ｍ）およびＩＣＴＤ_ｅｓｔ（ｍ）が取得された後、ＩＣＴＤ_ｅｓｔ（ｍ）が有効である、すなわち関連する／有用である／信頼できるか否かの判定が行われる。

ＩＣＴＤが有効と見られる場合、ＩＣＣのピークエンベロープの推定値を取得するために、ＩＣＣがフィルタ処理される。出力ＩＣＴＤパラメータＩＣＴＤ（ｍ）が、有効な推定値ＩＣＴＤ_ｅｓｔ（ｍ）に設定される。以下では、「ＩＣＴＤ測度」、「ＩＣＴＤパラメータ」および「ＩＣＴＤ値」という用語は、ＩＣＴＤ（ｍ）のために互換的に使用される。さらに、ハングオーバカウンタＮ_ＨＯが、無ハングオーバ状態を指示するために０に設定される。

ＩＣＴＤが有効と見られない場合、十分な数の有効なＩＣＴＤ測定値が先行フレームにおいて見つかったかどうか、すなわちＩＣＴＤ＿ｃｏｕｎｔ＝ＩＣＴＤ＿ｍａｘｃｏｕｎｔであるかどうかが決定される。十分な数の有効なＩＣＴＤ測定値が先行フレームにおいて見つかった場合、ヒステリシス期間、またはハングオーバ時間が計算される。ＩＣＴＤ_{ｃｏｕｎｔ}＜ＩＣＴＤ_{ｍａｘｃｏｕｎｔ}である場合、不十分な数の連続するＩＣＴＤ推定値が過去のフレームにおいて登録されたか、または現在状態がハングオーバ状態である。次いで、現在状態がハングオーバ状態であるかどうかが決定される。現在状態がハングオーバ状態でない場合、ＩＣＴＤ（ｍ）は０に設定される。現在状態がハングオーバ状態である場合、前のＩＣＴＤ値が選択されることになる、すなわちＩＣＴＤ（ｍ）＝ＩＣＴＤ（ｍ−１）。

ＩＣＴＤ／ＩＣＣ処理の概略的なステップが図４ａに例示されている。内部状態／メモリが、この方法を容易にするために維持され得る。最初に、ブロック４０１において、ＩＣＣの長期推定値（ＩＣＣ_ＬＰ（ｍ））が０に初期化される。カウンタＮ_ＨＯは、使用されるべきハングオーバフレームの数を追跡し、カウンタＩＣＴＤ_{ｃｏｕｎｔ}は、連続的に観測される有効なＩＣＴＤ値の数を維持するために使用される。両方のカウンタは、０に初期化され得る。離散フレームカウンタを用いた実現は、適応型ヒステリシスを実装するための単なる一例であることに留意されたい。たとえば、実数値カウンタ、浮動小数点カウンタまたは小数時間カウンタも使用され得、適応型増分／減分も小数値を仮定し得る。

図４ａに例示されているように、処理ステップが各フレームｍについて繰り返される。フレームｍの入力波形信号ｘ［ｎ，ｍ］およびｙ［ｎ，ｍ］が与えられれば、ブロック４０３において、相互相関測度が取得される。この実施形態では、位相変換を用いた一般化相互相関
が使用される。

正規化された相互相関関数のピークなど、他の測度も使用され得る、すなわち

さらに、ブロック４０５において、ＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））が取得される。好ましくは、ＩＣＣおよびＩＣＴＤのための推定値は、最小量の計算力を消費するために同じ相互相関方法を使用して取得されることになる。相互相関を最大化するτが、ＩＣＴＤ推定値として選択され得る。ここで、ＧＣＣ ＰＨＡＴが使用される。

典型的には、τのための探索範囲は、表される必要があるＩＣＴＤの範囲に限定されることになるが、相関算出のために使用されるオーディオフレームの長さおよび／またはＤＦＴの長さによっても制限される（式（５）中のＮ参照）。これは、オーディオフレーム長およびＤＦＴ解析ウィンドウが、表される必要がある最長時間差τ_ｍａｘに適応するのに十分に長い必要があることを意味し、これは、Ｎ＞２τ_ｍａｘであることを意味する。一例として、１．５メートルのマイクロフォンのペア間の距離を表す能力について、音速が３４０ｍ／ｓであることを仮定し、３２０００個のサンプル／秒のサンプルレートを使用すると、探索範囲は、［−τ_ｍａｘ，τ_ｍａｘ］であることになり、ここで、

現在フレームのためのＩＣＣ（ｍ）およびＩＣＴＤ_ｅｓｔ（ｍ）が取得された後、ブロック４０７において、ＩＣＴＤ_ｅｓｔ（ｍ）が有効であるか否かの判定が行われる。これは、ＩＣＣ（ｍ）＞ＩＣＣ_{ｔｈｒｅｓ}（ｍ）が、ＩＣＴＤが有効であることを意味するような、相互相関関数、たとえば、
またはｒ_ｘｙ［τ，ｍ］に基づいて、相互相関関数の相対ピーク振幅をしきい値ＩＣＣ_{ｔｈｒｅｓ}（ｍ）と比較することによって行われ得る。
Ｖａｌｉｄ（ＩＣＴＤ_ｅｓｔ（ｍ））＝ＩＣＣ（ｍ）＞ＩＣＣ_{ｔｈｒｅｓ}（ｍ） （１５）

そのようなしきい値は、たとえば、相互相関関数の標準偏差推定値を乗算された定数Ｃ_{ｔｈｒｅｓ}によって形成され得、ここで、好適な値はＣ_{ｔｈｒｅｓ}＝５であり得る。

別の方法は、探索範囲をソートし、たとえば定数を乗算された９５パーセンタイルにおける値を使用することである。
ここで、ｓｏｒｔ（）は入力ベクトルを昇順でソートする関数である。

ＩＣＴＤが有効と見られる場合、図４ｂで概説される、ブロック４０９のステップが行われる。最初に、ブロック４２１において、ＩＣＣのピークエンベロープの推定値を取得するために、ＩＣＣがフィルタ処理される。これは、フィルタ係数（忘却／更新ファクタ）が、最後のフィルタ処理されたＩＣＣ値に対する現在のＩＣＣ値に依存する、１次ＩＩＲフィルタを使用して行われ得る。

α_１∈［０，１］が相対的に高く設定され（たとえばα_１＝０．９）、α_２∈［０，１］が相対的に低く設定される（たとえばα_２＝０．１）場合、フィルタ処理演算は、信号のエンベロープを形成するＩＣＣのピーク値に追従する傾向がある。動機づけは、ＩＣＣが低レベルに低下した状況になったとき、（ただ、低いＩＣＣへの遷移における最後の少数の値を指示するのではなく）最後の最高ＩＣＣの推定値を有することである。カウンタＩＣＴＤ＿ｃｏｕｎｔは、連続する有効なＩＣＴＤの数を追跡するために増分される。次いで、ブロック４２３においてＩＣＴＤ＿ｍａｘｃｏｕｎｔが超えられたと決定された場合、またはシステムが現在ＩＣＴＤハングオーバ状態にあり、およびＮ_ＨＯ＞０である場合、ブロック４２５において、ＩＣＴＤ＿ｃｏｕｎｔはＩＣＴＤ＿ｍａｘｃｏｕｎｔに設定される。前者の基準は、カウンタが、限られた精度の整数においてラップアラウンドすることを防ぐためにある。後者の基準は、有効なＩＣＴＤがハングオーバ期間中に見つかったというイベントをキャプチャすることになる。ＩＣＴＤ＿ｃｏｕｎｔをＩＣＴＤ＿ｍａｘｃｏｕｎｔに設定することは、新しいハングオーバ期間をトリガすることになり、これは、この場合望ましいことがある。最終的に、ブロック４２７において、出力ＩＣＴＤ測度ＩＣＴＤ（ｍ）は、有効な推定値ＩＣＴＤ_ｅｓｔ（ｍ）に設定される。また、ハングオーバカウンタＮ_ＨＯは、現在状態がハングオーバ状態でないことを指示するために０に設定される。

ＩＣＴＤが有効と見られない場合、図４ｃにおいて概説される、ブロック４１１のステップが実施されることになる。十分な数の有効なＩＣＴＤ測定値が先行フレームにおいて見つかり、これがブロック４３１において決定された場合、ブロック４３３において、ヒステリシス期間、またはハングオーバ時間が計算される。この例示的な実施形態では、十分な数の有効なＩＣＴＤ測定値は、ＩＣＴＤ＿ｃｏｕｎｔ＝ＩＣＴＤ＿ｍａｘｃｏｕｎｔであるときに達せられる。ここで、ＩＣＴＤ＿ｍａｘｃｏｕｎｔ＝２であり、これは、２つの連続する有効なＩＣＴＤ測定値が、ハングオーバ論理をトリガするのに十分であることを意味する。３、４または５など、より高いＩＣＴＤ＿ｍａｘｃｏｕｎｔも可能であることになる。これは、有効なＩＣＴＤ測定値のより長いシーケンスが取得されたときのみ、使用されるべきハングオーバ論理をさらに制限することになる。

ハングオーバ時間Ｎ_ＨＯは、適応型であり、ＩＣＣに依存し、したがって、最近のＩＣＣ推定値が低かった（低いＩＣＣ_ＬＰ（ｍ）に対応する）場合、ハングオーバ時間は長くなるべきであり、その逆も同様である。すなわち、ＩＣＣ_ＬＰ（ｍ）：＝ＩＣＣ_ＬＰ（ｍ−１）および
ここで、定数Ｎ_{ＨＯｍａｘ}、ｃおよびｄは、たとえば、
に設定され得、
は、最も近い整数に切り詰める／切り捨てる床関数を表示する。ｍａｘ（）関数およびｍｉｎ（）関数は両方とも、２つの引数をとり、それぞれ、最大引数および最小引数を返す。この関数の例示が、図５において参照され得る。図５は、信頼できるＩＣＴＤが抽出され得ないときのフレームのためにサンプリングされる、ローパスフィルタ処理されたチャネル間相関ＩＣＣ_ＬＰ（ｍ）を前提とする、ハングオーバフレームＮ_ＨＯの数を決定する、マッピング関数Ｎ_ＨＯ＝ｇ（ＩＣＣ_ＬＰ（ｍ））を例示する。図５に例示されているように、これは、ＩＣＣ_ＬＰ（ｍ）＜ｂの場合、Ｎ_{ＨＯｍａｘ}＝６のハングオーバフレームを割り当て、ＩＣＣ_ＬＰ（ｍ）＞ａの場合、０個のハングオーバフレームを割り当てる、線形減少関数である。ｂ＜ＩＣＣ_ＬＰ（ｍ）＜ａの場合、ＩＣＣ_ＬＰ（ｍ）を減少させるために増加する数のフレームを用いてハングオーバが適用される。点線は、床／切り捨て演算なしの関数を表す。ａのための好適な値はａ＝０．６であると見られたが、たとえば、範囲［０．５，１）が考慮され得る。対応して、ｂの場合、好適な値はｂ＝０．３であると見られたが、範囲（０，ａ）が考慮され得る。

概して、相関を示す任意のパラメータ、すなわちチャネル間のコヒーレンスまたは類似度が、制御パラメータＩＣＣ（ｍ）として使用され得るが、式（２２）において説明されたマッピング関数は、低／高相関事例について好適な数のハングオーバフレームを与えるように適応されなければならない。実験的に、低相関状況は、約３〜８個のフレームのハングオーバを与えるべきであり、高相関事例は、０個のフレームのハングオーバを与えるべきである。

ＩＣＴＤ_{ｃｏｕｎｔ}＜ＩＣＴＤ_{ｍａｘｃｏｕｎｔ}である場合、これは、不十分な数の連続するＩＣＴＤ推定値が過去のフレームにおいて登録されたこと、または現在状態がハングオーバ状態であることのいずれかを意味する。ブロック４３５において、Ｎ_ＨＯ＞０であるかどうかが決定される。Ｎ_ＨＯ＝０である場合、ブロック４３９において、ＩＣＴＤ（ｍ）は０に設定される。一方、Ｎ_ＨＯ＞０である場合、現在状態はハングオーバ状態であり、ブロック４３７において、前のＩＣＴＤ値が選択されることになり、すなわちＩＣＴＤ（ｍ）＝ＩＣＴＤ（ｍ−１）である。この場合、ハングオーバカウンタも減分され、Ｎ_ＨＯ：＝Ｎ_ＨＯ−１である。（代入演算子「：＝」は、Ｎ_ＨＯの古い値が新しい値を用いて上書きされることを示すために使用される。）最終的に、ブロック４４０において、ＩＣＴＤ＿ｃｏｕｎｔおよびＩＣＣ_ＬＰ（ｍ）が０に設定される。

図６は、ＩＴＤハングオーバ論理が、雑音が多い音声セグメントおよび後続するクリーンな音声セグメント上でどのように適用されるかを例示する。雑音が多い音声セグメントは、ＩＣＴＤ推定値がもはや有効でないとき、ＩＴＤハングオーバフレームをトリガする。クリーンな音声セグメントではハングオーバフレームは追加されない。上部プロットは、オーディオ入力チャネル、この場合ステレオ録音の左および右を示す。第２のプロットは、例示的なファイルのＩＣＣ（ｍ）およびＩＣＣ_ＬＰ（ｍ）を示し、下部プロットは、ＩＴＤハングオーバカウンタＮ_ＨＯを示す。低相関について、ファイルの始まりにおける雑音が多い音声セグメント中に、ＩＴＤハングオーバフレームをトリガするが、クリーンな音声セグメントは、ハングオーバフレームをトリガしないことがわかる。

ここで説明される方法は、マイクロプロセッサにおいてまたはコンピュータ上に実装され得る。方法はまた、図７に示されているように、パラメータヒステリシス／ハングオーバ論理ユニット中のハードウェアにおいて実装され得る。図７は、入力パラメータとしてＩＣＴＤ_ｅｓｔ（ｍ）、ＩＣＣ（ｍ）およびＶａｌｉｄ（ＩＣＴＤ_ｅｓｔ（ｍ））をとるパラメータヒステリシスユニット７００を示す。説明される方法に従って適応パラメータヒステリシスユニット７０５によって入力パラメータを処理した後、最終パラメータは、ＩＣＴＤ_ｅｓｔ（ｍ）が有効であるか否かの判定である。出力パラメータは、選択されたＩＣＴＤ（ｍ）である。パラメータヒステリシスユニットの入力７０１が、図２に示されているパラメータ抽出ユニット２０２に通信可能に結合され得、パラメータヒステリシスユニットの出力７０３が、図２に示されているパラメータエンコーダ２０８に通信可能に結合され得る。代替的に、パラメータヒステリシスユニットは、図２に示されているパラメータ抽出ユニット２０２中に備えられ得る。

図８は、パラメータヒステリシスユニット、またはハングオーバ論理ユニット７００をより詳細に説明する。入力パラメータＩＣＴＤ_ｅｓｔ（ｍ）、ＩＣＣ（ｍ）、およびＶａｌｉｄ（ＩＣＴＤ_ｅｓｔ（ｍ））は、好ましくは、相関推定器８０１によって実施される、同じ相互相関分析ｒ_ｘｙ（τ）、たとえば
から、それぞれ、ＩＣＴＤ推定器８０２、ＩＣＣ推定器８０４およびＩＣＴＤ検証機８０６によって生成される。ただし、ＩＣＴＤ推定から分離されたＩＣＣ測度を有することの利益があり得る。さらに、説明された方法は、ＩＣＴＤパラメータが有効である（すなわち信頼できる）かどうかを判定する一定の方法を暗示せず、パラメータの有効性についての２値（はい／いいえ）判定を示す任意の測度を用いて実装され得る。さらに図８では、ＩＣＣ推定値は、好ましくはＩＣＣのピークに追従するように調整された、ＩＣＣの長期推定値を形成するように、ＩＣＣフィルタ８０５によってフィルタ処理される。ＩＣＴＤカウンタ８０７は、連続する有効なＩＣＴＤ推定値の数ＩＣＴＤ＿ｃｏｕｎｔ、ならびにハングオーバ状態におけるハングオーバフレームの数Ｎ_ＨＯを追跡する。ＩＣＴＤメモリ８０３は、ヒステリシスユニットから最後に出力されたＩＣＴＤ判定を思い出す。最終的に、ＩＣＴＤセレクタ８０９は、入力ＩＣＣ_ＬＰ（ｍ）、ＩＣＴＤ＿ｃｏｕｎｔおよびＮ_ＨＯをとり、ＩＣＴＤ_ｅｓｔ（ｍ）、ＩＣＴＤ（ｍ−１）または０のいずれかをＩＣＴＤパラメータＩＣＴＤ（ｍ）として選択する。

図９は、図４ａ〜図４ｃに例示されている方法を実施する装置の一例を示す。装置９００は、プロセッサ９１０、たとえば中央処理ユニット（ＣＰＵ）と、命令、たとえばコンピュータプログラム９３０を記憶するためのメモリの形態のコンピュータプログラム製品９２０とを備え、命令は、メモリから取り出され、プロセッサ９１０によって実行されるとき、装置９００に、本適応パラメータヒステリシス処理の実施形態と関係があるプロセスを実施させる。プロセッサ９１０は、メモリ９２０に通信可能に結合される。装置は、入力パラメータを受信するための入力ノードと、処理されたパラメータを出力するための出力ノードとをさらに備え得る。入力ノードと出力ノードの両方は、プロセッサ９１０に通信可能に結合される。

例として、ソフトウェアまたはコンピュータプログラム９３０は、通常、コンピュータ可読媒体、好ましくは不揮発性コンピュータ可読記憶媒体上で担持されるかまたはその上に記憶される、コンピュータプログラム製品として実現され得る。コンピュータ可読媒体は、限定はしないが、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、ユニバーサルシリアルバス（ＵＳＢ）メモリ、ハードディスクドライブ（ＨＤＤ）ストレージデバイス、フラッシュメモリ、磁気テープ、または他の従来のメモリデバイスを含む、１つまたは複数のリムーバブルまたは非リムーバブルメモリデバイスを含み得る。

図１０は、図７および図８に例示されているパラメータヒステリシスユニットを備えるデバイス１０００を示す。デバイスは、エンコーダ、たとえば、オーディオエンコーダであり得る。入力信号は、ステレオまたはマルチチャネルオーディオ信号である。出力信号は、空間画像を記述する符号化されたパラメータをもつ符号化されたモノ信号である。デバイスは、出力信号をオーディオデコーダに送信するための送信機（図示せず）をさらに備え得る。デバイスは、図２に示されているように、ダウンミキサおよびパラメータ抽出ユニット／モジュール、ならびにモノエンコーダおよびパラメータエンコーダをさらに備え得る。

一実施形態では、デバイスは、相互相関測度とＩＣＴＤ推定値とを取得するための取得ユニットと、ＩＣＴＤ_ｅｓｔ（ｍ）が有効であるか否かを判定するための判定ユニットとを備える。デバイスは、ＩＣＣのピークエンベロープの推定値を取得するための取得ユニットと、十分な数の有効なＩＣＴＤ測定値が先行するフレームにおいて見つかったかどうかを決定することと、現在状態がハングオーバ状態であるかどうかを決定することとを行うための決定ユニットとをさらに備える。デバイスは、ＩＣＴＤ測度を出力するための出力ユニットをさらに備える。

本発明の実施形態によれば、パラメトリックオーディオコーディングにおけるチャネル間時間差（ＩＣＴＤ）パラメータの安定性を増加させるための方法は、少なくとも２つのチャネルを備えるマルチチャネルオーディオ入力信号を受信することを備える。
オーディオフレームｍについてのＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））を取得することと、取得されたＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））が有効であるかどうかを決定することと、前記ＩＣＴＤ推定値の安定性推定値を取得することと。ＩＣＴＤ_ｅｓｔ（ｍ）が有効と見られず、決定された十分な数の有効なＩＣＴＤ推定値が先行フレームにおいて見つかった場合、安定性推定値を使用してハングオーバ時間を決定することと、ハングオーバ時間中に、前に取得された有効なＩＣＴＤパラメータ（ＩＣＴＤ（ｍ−１））を、出力パラメータ（ＩＣＴＤ（ｍ））として選択することと、有効なＩＣＴＤ_ｅｓｔ（ｍ）がハングオーバ時間中に見つからない場合、出力パラメータ（ＩＣＴＤ（ｍ））を０に設定することと。

一実施形態では、安定性推定値は、オーディオフレームｍについてのチャネルペア間のチャネル間相関（ＩＣＣ）測度である。

一実施形態では、安定性推定値は、ローパスフィルタ処理されたチャネル間相関（ＩＣＣ_ＬＰ（ｍ））である。

一実施形態では、安定性推定値は、ＩＣＣ測度（ＩＣＣ（ｍ））を平均化することによって計算される。

一実施形態では、ハングオーバ時間は適応型である。たとえば、ＩＣＣ_ＬＰ（ｍ）を減少させるために増加する数のフレームを用いてハングオーバが適用される。

一実施形態では、位相変換を用いた一般化相互相関が、フレームｍについてのＩＣＣ測度を取得するために使用される。

一実施形態では、チャネル間相関測度（ＩＣＣ（ｍ））がしきい値ＩＣＣ_{ｔｈｒｅｓ}（ｍ）よりも大きい場合、ＩＣＴＤ_ｅｓｔ（ｍ）が有効であると決定される。

たとえば、取得されたＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））の有効性が、相互相関関数に基づいて、相互相関関数の相対ピーク振幅をしきい値（ＩＣＣ_{ｔｈｒｅｓ}（ｍ））と比較することによって決定される。ＩＣＣ_{ｔｈｒｅｓ}（ｍ）は、フレームｍについての相互相関値の順序セット中の所定の位置における相互相関の値を乗算された定数によって形成され得る。

一実施形態では、有効なＩＣＴＤ推定値の十分な数は２である。

本発明の実施形態は、ソフトウェア、ハードウェア、アプリケーション論理またはソフトウェア、ハードウェアおよびアプリケーション論理の組合せで実装され得る。ソフトウェア、アプリケーション論理および／またはハードウェアは、メモリ、マイクロプロセッサまたは中央処理ユニット上に存在し得る。所望される場合、ソフトウェア、アプリケーション論理および／またはハードウェアの一部は、ホストデバイス上またはホストのメモリ、マイクロプロセッサまたは中央処理ユニット上に存在し得る。例示的な一実施形態では、アプリケーション論理、ソフトウェアまたは命令セットは、様々な従来のコンピュータ可読媒体のうちのいずれか１つ上に維持される。

略語
ＩＣＣ チャネル間相関
ＩＣ 両耳間コヒーレンス、同じく、ＩＡＣＣ 両耳間相互相関のための
ＩＣＴＤ チャネル間時間差
ＩＴＤ 両耳間時間差
ＩＣＬＤ チャネル間レベル差
ＩＬＤ 両耳間レベル差
ＩＣＰＤ チャネル間位相差
ＩＰＤ 両耳間位相差

Claims (15)

1. パラメトリックオーディオコーディングにおけるチャネル間時間差（ＩＣＴＤ）パラメータの安定性を増加させるための方法であって、前記方法は、
   少なくとも２つのチャネルを備えるマルチチャネルオーディオ入力信号を受信することと、
   オーディオフレームｍについてのＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））を取得すること（４０５）と、
   前記取得されたＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））が有効であるかどうかを決定すること（４０７）と、
   前記ＩＣＴＤ推定値の安定性推定値を取得することと、
   前記ＩＣＴＤ_ｅｓｔ（ｍ）が有効と見られず（４１１）、決定された十分な数の有効なＩＣＴＤ推定値が先行フレームにおいて見つかった（４３１）場合、前記安定性推定値を使用してハングオーバ時間を決定すること（４３３）と、
   前記ハングオーバ時間中に、前に取得された有効なＩＣＴＤパラメータ（ＩＣＴＤ（ｍ−１））を、出力パラメータ（ＩＣＴＤ（ｍ））として選択すること（４３７）と、
   有効なＩＣＴＤ_ｅｓｔ（ｍ）が前記ハングオーバ時間中に見つからない場合、前記出力パラメータ（ＩＣＴＤ（ｍ））を０に設定すること（４３９）と
   を備える、方法。
2. 前記安定性推定値が、オーディオフレームｍについてのチャネルペア間のチャネル間相関（ＩＣＣ）測度である、請求項１に記載の方法。
3. 前記安定性推定値が、ローパスフィルタ処理されたチャネル間相関（ＩＣＣ_ＬＰ（ｍ））である、請求項２に記載の方法。
4. 前記安定性推定値が、前記ＩＣＣ測度（ＩＣＣ（ｍ））を平均化することによって計算される、請求項２に記載の方法。
5. ＩＣＣ_ＬＰ（ｍ）を減少させるために増加する数のフレームを用いてハングオーバが適用される、請求項３に記載の方法。
6. 位相変換を用いた一般化相互相関が、前記フレームｍについての前記ＩＣＣ測度を取得するために使用される、請求項２に記載の方法。
7. 前記チャネル間相関測度（ＩＣＣ（ｍ））がしきい値ＩＣＣ_{ｔｈｒｅｓ}（ｍ）よりも大きい場合、ＩＣＴＤ_ｅｓｔ（ｍ）が有効であると決定される、請求項２から６のいずれか一項に記載の方法。
8. 前記取得されたＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））の有効性が、相互相関関数に基づいて、前記相互相関関数の相対ピーク振幅をしきい値（ＩＣＣ_{ｔｈｒｅｓ}（ｍ））と比較することによって決定される、請求項７に記載の方法。
9. ＩＣＣ_{ｔｈｒｅｓ}（ｍ）が、フレームｍについての相互相関値の順序セット中の所定の位置における前記相互相関の値を乗算された定数によって形成される、請求項８に記載の方法。
10. 有効なＩＣＴＤ推定値の前記十分な数が２である、請求項１から９のいずれか一項に記載の方法。
11. 前記ハングオーバ時間が適応型である、請求項１から１０のいずれか一項に記載の方法。
12. プロセッサ（９１０）とメモリ（９２０）とを備えるパラメトリックオーディオコーディングのための装置（９００）であって、前記メモリ（９２０）が、前記プロセッサによって実行可能な命令（９３０）を含んでおり、それにより、前記装置（９００）は、
    少なくとも２つのチャネルを備えるマルチチャネルオーディオ入力信号を受信することと、
    オーディオフレームｍについてのＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））を取得することと、
    前記取得されたＩＣＴＤ推定値（ＩＣＴＤ_ｅｓｔ（ｍ））が有効であるかどうかを決定することと、
    前記ＩＣＴＤ推定値の安定性推定値を取得することと、
    前記ＩＣＴＤ_ｅｓｔ（ｍ）が有効と見られず、決定された十分な数の有効なＩＣＴＤ推定値が先行フレームにおいて見つかった場合、前記安定性推定値を使用してハングオーバ時間を決定することと、
    前記ハングオーバ時間中に、前に取得された有効なＩＣＴＤパラメータ（ＩＣＴＤ（ｍ−１））を、出力パラメータ（ＩＣＴＤ（ｍ））として選択することと、
    有効なＩＣＴＤ_ｅｓｔ（ｍ）が前記ハングオーバ時間中に見つからない場合、前記出力パラメータ（ＩＣＴＤ（ｍ））を０に設定することと
    を行うように動作可能である、装置（９００）。
13. 請求項２から１１のいずれか一項に記載の方法を実施するように設定された、請求項１２に記載の装置。
14. 請求項１２または１３に記載の装置を備えるオーディオエンコーダ。
15. 少なくとも１つのプロセッサ上で実行されたとき、前記少なくとも１つのプロセッサに、請求項１から１１のいずれか一項に記載の方法を実行させる命令を備える、コンピュータプログラム（９３０）。