JP5259588B2 - オーディオ復号のためのクロック補償技術 - Google Patents

Description

この開示は、オーディオ復号技術に関し、特にオーディオ復号器からのクロック信号を含んでいるオーディオ情報のためのオーディオ復号技術に関する。

本出願は、内容が参照することによりここに組み込まれている、２００６年７月６日に出願されたアメリカ仮出願６０／８１９，３１３の利益を要求する。

オーディオ符号化は、衛星放送、ディジタル放送、インターネット・ストリーミング（ウェブ放送）、ディジタル音楽プレーヤー、無線モバイル（携帯）機器、および様々なモバイルマルチメディア・アプリケーションのような多くのアプリケーションおよび環境の中で使用される。ＭＰＥＧ２およびＭＰＥＧ−４を含むmotion pictures expert group（ＭＰＥＧ）による標準、国際電気通信連合（ＩＴＵ）による標準、ウィンドウズ（登録商標）・メディア・オーディオ（ＷＭＡ）の標準およびドルビー・ラボラトリーズ社による標準のような多くのオーディオ符号化標準がある。ＭＰ３標準、およびアップル・コンピュータ社により販売された“ｉＰｏｄ”装置の中で使用される高品質音声圧縮法（ＡＡＣ）標準のようなＭＰ３標準の後継を含めて、多くのオーディオ符号化標準も存在する。オーディオ符号化標準は、一般的に圧縮を使う高品質のオーディオ符号化により、低いビットレートを達成しようと努める。あるオーディオ符号化が“ロスレス”、つまり符号化はオーディオ信号を劣化させないことを意味する。その一方で、他のオーディオ符号化は、追加的な圧縮を達成するためにいくぶんかの損失を取り入れてもよい。

多くのアプリケーションでは、オーディオ符号化は、テレビ電話（video telephony：ＶＴ）またはストリーミングビデオのようなアプリケーションのためのマルチメディアコンテントを提供するために、ビデオ符号化と共に使用される。オーディオ符号化は、ビデオゲームまたはそのようなもののマルチメディア・アプリケーションを支援する携帯機器の中でまた一般に使用される。実際、モバイル（携帯）機器は、ユーザにオーディオ出力を提供し、したがって、オーディオ符号化技術を利用する多種多様の機能性および内容を次第に組み込んでいる。オーディオ情報およびビデオ情報は、フレームまたはパケットへ分けられてもよい。それらは、オーディオデータおよびビデオデータのブロックを含む。

オーディオ出力のストリームは、オーディオのフレームまたはパケットのシーケンスとして送信され、次に、ユーザに音声出力を提供するために復号されることができる。

オーディオ符号化は、オーディオ放送またはマルチメディア放送の中でも使用される。マルチメディア放送は、例えば、地上モバイルマルチメディア・マルチキャスト（ＴＭ３）システム（terrestrial mobile multimedia multicast systems）におけるリアルタイムビデオサービスを配信するためにEnhanced Ｈ．２６４のビデオ符号化を使用してもよい。そのようなＴＭ３システムは、技術標準規格ＴＩＡ−１０９９（「ＦＬＯ（Forward Link Only）仕様書」）として刊行されるＦＬＯエアインターフェース仕様書（Air Interface Specification）である、“Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast”を使用してもよい。マルチメディア放送の他の種類の標準規格および技術もまた、出現したり発展したりする可能性のある将来の標準および技術を含んで存在する。

多くのオーディオ・ストリームは、符号器からのクロック信号を運ぶ。この場合、符号器は、オーディオ出力のタイミングが正確であることを保証するために復号器によって使用することができるオーディオ・ストリームのクロック信号を提供する。クロック信号は例えば、復号器が符号器と同じレートで計測されるように復号器のローカルクロックを調整するように使用されてもよい。それによって、オーディオ出力のタイミングにおける問題または誤差を回避する。クロック信号を運ぶオーディオ・ストリームは、例えば、ＩＳＯ／ＩＥＣ １３８１８１−１で定義された、ＭＰＥＧ２システムトランスポートストリーム（ＭＰＥＧ−２ Systems Transport Stream）を使用するオーディオパケット・ストリームを含んでいる。クロック信号を運ぶオーディオ・ストリームの他の多くの例もまた、出現したり発展したりする可能性のある将来の技術を含んで存在する。

一般に、この開示は適切に計測される必要のあるオーディオ情報を復号するためのオーディオ復号技術について記述する。符号化装置は、符号化されたオーディオ情報の中に第１タイミング情報を生成し含んでいてもよい。第１タイミング情報は、オーディオ情報を符号化するために使用される符号化装置の符号器クロックに関連している。復号装置は、復号器クロックに基づいたオーディオ情報のために第２タイミング情報を生成する。第１および第２タイミング情報間の違いは、符号器クロックに関する復号器クロックにおける誤差を推定するために使用されることができる。

この開示に従って、復号されたオーディオ出力でのオーディオサンプルの数は、復号器クロックでの推定誤差を補償するために調整することができる。すなわち、符号器クロックに復号器クロックを同期させるために復号器クロックを調整するのではなく、この開示は復号されたオーディオ出力の時間が適切に測られることを保証するために、復号されたオーディオ出力からのオーディオサンプルを追加するかまたは除去することを目的とする。このように、この開示の技術は、復号装置で調整可能または制御可能なクロックの必要性をなくすことができる。それはコストを減少することができる。加えて、この開示は、調整可能または制御可能なクロックを含んでいないレガシー装置（legacy device）に、適切に計測される必要のあるオーディオ情報を復号して出力することを許可することができる。オーディオサンプルの挿入か削除によって、調整可能なクロッキング効果（clocking effect）は、調整可能なクロックの使用がなくても達成することができる。オーディオサンプルの追加または削除を改善することができる様々な付加的技術はまた、記述される。例えば、復号されたオーディオ出力において実質的に無音の期間を推定し、そのような実質的に無音の期間の間でサンプルを優先的に挿入または削除する技術のようなものである。

１つの態様において、この開示は、符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信し、復号器クロックに基づいた前記オーディオ情報のために第２タイミング情報を生成し、前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定し、オーディオサンプルを生成するために前記オーディオ情報を復号し、および、前記復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力での前記オーディオサンプルの数を調整することを具備することを特徴とする方法を提供する。

別の態様において、この開示は、符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信するレシーバと、前記オーディオ情報のために第２タイミング情報を生成する復号器クロックと、前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定するタイミング調整部と、および、オーディオサンプルを生成するために前記オーディオ情報を復号する復号部とを具備し、前記復号部は前記復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力の前記オーディオサンプルの数を調整することを特徴とする装置を提供する。

別の態様において、この開示は、符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信する手段と、復号器クロックに基づいた前記オーディオ情報のために第２タイミング情報を生成する手段と、前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定する手段と、オーディオサンプルを生成するために前記オーディオ情報を復号する手段と、および、前記復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力の前記オーディオサンプルの数を調整する手段と、を具備することを特徴とする装置を提供する。

この開示に記述された技術は、ハードウェア、ソフトウェア、ファームウェアあるいはそれの任意の組み合わせ中で実装されてもよい。もしソフトウェア中で実装されれば、ソフトウェアは、ディジタル信号処理器（ＤＳＰ）あるいは他のタイプの処理器中で実行されてもよい。この技術を実行するソフトウェアは、機械読み取り可能な媒体に最初に格納され、プロセッサにおいてロード（load）および実行されてもよい。

従って、この開示はまた、装置での実行上、該装置に、符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信させ、復号器クロックに基づいた前記オーディオ情報のために第２タイミング情報を生成させ、前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定させ、オーディオサンプルを生成するために前記オーディオ情報を復号させ、前記復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力の前記オーディオサンプルの数を調整させる複数の命令を具備することを特徴とするコンピュータ読み取り可能な媒体を意図する。

この開示に記述された技術の様々な態様および実施例の追加的な詳細は、添付の図面および記述の中で下に明らかにされる。ここに記述された技術の他の特徴、目的および利点は、記述と図面、および請求項から明白になるだろう。

この開示のクロック補償技術を使用してもよいシステムを示すブロック図。 この開示のクロック補償技術を使用してもよいオーディオ復号装置のブロック図。 この開示のオーディオクロック補償技術を使用してもよいマルチメディア復号装置のブロック図。 オーディオ符号化装置のクロックに対するオーディオ復号装置のクロックにおける誤差を補償するために、オーディオサンプルが調整される技術を示すフローチャート。 オーディオ符号化装置のクロックに対するオーディオ復号装置のクロックにおける誤差を補償するために、オーディオサンプルが調整される技術を示す別のフローチャート。

この開示は適切に計測される必要のあるオーディオ情報を復号のためにオーディオ復号技術について記述する。符号化装置は、符号化されたオーディオ情報の中に第１タイミング情報を挿入してもよい。第１タイミング情報は、例えば、符号化装置によりオーディオ・パケットの符号化されたストリームに追加された、タイムスタンプを具備してもよい。

連続したタイムスタンプのそれぞれに、符号化装置によって、符号器クロックが定義する加算時間（increments of time）、たとえば１００ミリ秒が適用される。

復号装置がオーディオ情報を受信する場合、復号クロックに基づいたオーディオ情報のために第２タイミング情報を生成する。特に、復号装置は、オーディオ情報が復号装置によって受信されるとき、自身のクロックに基づいたそれ自身のタイムスタンプを生成してもよい。第１および第２タイミング情報間の違いは、符号器クロックに対する復号器クロックにおける誤差を推定するために使用されることができる。特に、符号器により適用されるタイムスタンプおよび復号器により独立して適用されるタイムスタンプの、２つの隣接するタイムスタンプ間の時間の違いは、符号器クロックに対する復号器クロックでの誤差を定義することができる。フィルタリングおよび平均化の技術は、それぞれのクロック中の任意のジッタ（jitter）をなくすために使用されてもよい。

この開示に従って、復号されたオーディオ出力でのオーディオサンプルの数は、復号器クロックでの推定誤差を補償するために調整することができる。すなわち、符号器クロックに復号器クロックを同期させるために復号器クロックを調整するのではなく、オーディオサンプルは、復号されたオーディオ出力の時間が適切に計られることを保証するために、復号されたオーディオ出力から追加されるかまたは除去される。このように、この開示の技術は、復号装置での調整可能または制御可能なクロックの必要性をなくすことができ、それによりコストを減少することができる。加えて、この開示の技術は、調整可能または制御可能なクロックを含んでいないレガシーデバイスが、適切に計測される必要のあるオーディオ情報を復号して出力することを許可することができる。オーディオサンプルの挿入または削除によって、調整可能なクロッキング効果（clocking effect）は、調整可能なクロックの使用がなくても達成することができる。オーディオサンプルの追加または削除を改善することができる付加的技術も記述される。それは、復号されたオーディオ出力において実質的に無音の期間を推定し、そのような実質的に無音の期間中にサンプルを優先的に挿入または削除をするような技術である。

図１は、ここに記述された技術を使用してもよいシステム２を示すブロック図である。図１に示されるように、システム２は、送信チャネル１５を経由して復号装置６へのオーディオ情報を符号化し送信する符号化装置４を含んでいる。符号化装置４および復号装置６は、オーディオ情報の一方向の通信またはオーディオおよびビデオ情報の両方を含むマルチメディア情報を支援してもよい。あるいは、符号化装置４および復号装置６は、オーディオまたはマルチメディア情報の双方向通信を支援するために相互のコンポーネント（component）を含んでいてもよい。送信チャネル１５は、有線または無線通信メディア、あるいは有線または無線メディアの任意の組み合わせかもしれない。

例えば、符号化装置４は、無線加入者装置へのオーディオ情報あるいはマルチメディア情報の１つ以上のチャネルを放送するために使用される放送網装置の一部を形成してもよい。この場合、符号化装置２は、いくつかの復号装置（つまり放送サービスの多くの加入者）にオーディオ情報またはマルチメディア情報のいくつかのチャネルを送信してもよい。しかしながら、簡単のため図１に１つの復号装置６が示される。符号化装置４および復号装置６は、１台以上のプロセッサ、ディジタル信号プロセッサ、特定用途向けＩＣ（ＡＳＩＣｓ）、フィールドプログラム可能なゲート・アレイ（ＦＰＧＡｓ）、個別論理、ソフトウェア、ハードウェア、ファームウェアあるいはそれらの任意の組み合わせとして実装されてもよい。

符号化装置４の例は、符号化されたオーディオ情報を放送するために使われる無線基地局またはどんなインフラストラクチャー・ノードを含んでいてもよい。一方で、復号装置６は、符号化されたオーディオ情報を受信するユーザ装置を具備してもよい。例として、復号装置６は、ディジタル・テレビ、無線通信装置、ポータブル・ディジタル補助装置（ＰＤＡ）、ラップトップ・コンピューターまたはデスクトップ・コンピュータ、「ｉＰｏｄ」（登録商標）の下で売られたもののようなディジタルの音楽およびビデオ装置、ビデオゲーム装置または、携帯、衛星または地上波に基づいた無線電話機のような無線電話の一部として実装されてもよい。他の例では、符号化装置４およびビデオ復号装置６の両方はユーザ装置を具備してもよい。ユーザ装置は、無線電話、データプロトコル、またはそのようなものを経由してそのような装置間のオーディオ情報を通信する。

ここに記述されたコンポーネント（component）は、ここに記述された技術の実装に適用可能な代表的なものである。だけれども、もし望むのであれば、符号化装置４および復号装置６は他の多くのコンポーネント（component）を含んでいてもよい。さらに、この開示の技術は、システム２のそのようなシステムや、放送装置の中で使用するために必ずしも制限されない。その技術は、オーディオ情報が計測される、あらゆるオーディオ符号化環境にアプリケーションを見いだしてもよい。

符号化装置４は、オーディオ情報を符号化する符号器８、および通信チャネル１５上の復号装置６へ復号されたオーディオ情報を送信する発信機１０を含む。符号化装置４はさらに符号器クロック１２を含む。符号化装置４は符号化されたオーディオ情報の中に第１タイミング情報を挿入してもよい。例えば、第１タイミング情報は、符号化装置４によりオーディオ・パケットの符号化されたストリームに追加された、タイムスタンプを具備してもよい。連続したタイムスタンプのそれぞれに、符号化装置によって、符号器クロックが定義する加算時間（increments）、たとえば１００ミリ秒が適用される。

復号装置６は、符号化されたオーディオ情報を得る受信機１４、およびユーザへの提示のためのオーディオ情報を復号する復号器１６を含んでいる。復号装置６はさらに復号器クロック１８およびタイミング調整部２０を含んでいる。

復号装置６がオーディオ情報を得る場合、それは復号器クロック１８に基づいたオーディオ情報のために第２タイミング情報を生成する。特に、復号装置６は、オーディオ情報が受信されるとき、復号器クロック１８に基づいたそれ自身のタイムスタンプを生成してもよい。タイミング調整装置２０は、第１および第２タイミング情報間の違いを計算し、符号器クロック１２に対する復号器クロック１８における誤差を推定するためにこれらの計算結果を使用する。特に、タイミング調整装置２０は、符号器４により適用されるタイムスタンプおよび復号器６により独立して適用されるタイムスタンプの、２つの隣接するタイムスタンプ間の時間の違いは、符号器クロック１２に対する復号器クロック１８での誤差を定義するために計算する。様々なフィルタリングおよび平均化の技術は、それぞれのクロック中の任意のジッタ（jitter）をなくすために使用されてもよい。

この開示に従って、復号装置６の復号器１６は、復号器クロックにおける推定誤差を補償するために復号されたオーディオ出力でのオーディオサンプルの数を調整する。言いかえれば、符号器クロック１２に復号器クロック１８を同期させるために復号器クロック１６を調整するのではなく、符号器１６は、復号されたオーディオ出力の時間が適切に計られることを保証するために、復号されたオーディオ出力から追加されるかまたは除去される。このように、この開示の技術は、調整可能かあるいは制御可能な復号器クロック１８の必要性をなくすことができ、それによりコストを減少することができる。加えて、この開示の技術は、調整可能または制御可能なクロックを含んでいないレガシー装置が適切に計測される必要のあるオーディオ情報を復号して出力することを許可することができる。オーディオサンプルの挿入または削除によって、復号装置６は、調整可能なクロックを使用することなく、オーディオ出力の適切なタイミングを達成する。

より詳しく以下に記述されるように、付加的技術も復号器１６によるオーディオサンプルの追加または削除を改善するために使用することができる。例えば、復号器１６は、復号されたオーディオ出力において実質的に無音の期間を推定し、そのような実質的に無音の期間の間でサンプルを優先的にオーディオサンプルの挿入または削除してもよい。追加された利点として、その技術は、復号装置６の様々なコンポーネント（component）によるオーディオ処理のために生じるあらゆる固有の遅れを補償してもよい。

ここに記述された技術は、クロック信号を運ぶあらゆるオーディオ・ストリームに適合するかもしれない。一例は、例えば、ＩＳＯ／ＩＥＣ１３８１８１−１で定義された、ＭＰＥＧ２システムトランスポートストリームを用いるオーディオパケット・ストリームである。クロック信号を運ぶオーディオ・ストリームの他の多くの例もまた、さらに出現したり発展したりする可能性のある将来の技術を含めて存在してもよい。ここに記述された技術は、ＭＰＥＧ２システムトランスポートストリームまたは他のオーディオ・ストリームに含まれるクロック信号を運ぶあらゆるオーディオ・ストリームに適用してもよい。

ＩＳＤＢＴ−Ｔ（Integrated Services Digital Broadcasting−Terrestrial：総合ディジタル放送サービス−地上）、ＳＤＭＢ（Satellite Digital Multimedia Broadcasting：衛星ディジタルマルチメディア放送）およびＴＤＭＢ（Terrestrial Digital Multimedia Broadcasting：地上波ディジタルマルチメディア放送）はすべて、ＭＰＥＧ２システム多重化を使用する。ＭＰＥＧ２システム多重化の１つの例は、ＩＳＯ／ＩＥＣ １３８１８−１に記述される。それもまた、２０００年１０月の“Generic coding of moving pictures and associated audio information: Systems”とタイトルをつけられたＩＴＵ−Ｔ推薦のＨ．２２２．０の中で引用される。ＩＳＯは国際標準化機構を表わす。また、ＩＥＣは国際電気標準会議を表わす。ＭＰＥＧ２では、オーディオおよびビデオ符号器によって伝達された基本のストリームは、プログラムトランスポートストリーム（ＴＳ）を形成するために、プログラム情報（ＰＭＴ）でパケット化および多重化される。

多重プログラムトランスポートストリームは、システムＴＳを形成するためにプログラムテーブル（ＰＡＴ）で多重化される。そのような多重化は、符号化装置４の符号器８または送信機１０の一部として含まれていてもよい。

例として、ＭＰＥＧ−２ ＴＳは、ＴＳパケットに４バイトのヘッダーおよび１８４バイトのペイロードがそれぞれある、１８８バイトのＴＳパケットを具備してもよい。ＴＳパケット・ペイロードは、パケット化基本ストリーム（Packetized Elementary Streams:PES）を含んでいてもよく、それは典型的にオーディオ・ビデオおよびプログラム情報（ＰＭＴ）を具備する。いくつかのＴＳパケットは、サイズがパケットヘッダ中のフラグによって決定される任意的な（optional）適応フィールドを含んでいてもよい。適応フィールドはタイミング情報、パッド・バイトおよび他のデータを含んでいてもよい。

ＴＳパケットヘッダはバイトの同期で始まり、パケット識別子（Packet Identifier：ＰＩＤ）を含んでいる。ＰＩＤは、多重の特有のＰＥＳを識別する。０のＰＩＤ値はＰＡＴのために確保される。ＰＡＴは、ＴＳ中のすべてのプログラム用のＰＭＴをＰＩＤ値に関連させるテーブルである。ＰＭＴは、プログラム用の構成要素である基本ストリーム（elementary streams）の詳細を含んでいる。

図１を再び参照して、ＭＰＥＧ−２ ＴＳまたは他のトランスポートストリームは、多重化されたチャンネルを含んでいて、復号装置６の受信機１４は、興味のあるチャンネルの受信および識別を促進するためにデマルチプレクサ（示されない）を含んでもよい。

この場合、デマルチプレクサにプログラムが選択された（プログラムｐとする）ことが通知されるとき、プログラムｐ用のＰＭＴのＰＩＤを決定するためにＰＡＴを使用することができる。その後、デマルチプレクサは、基本のオーディオおよびビデオストリームのＰＩＤを決定するためにプログラムｐ用のＰＭＴを使用する。デマルチプレクサは、ＴＳの中の全てのパケットを読み、捜している（つまり、プログラムｐに関連したもの）ＰＩＤがあるものだけを受け入れる。

クロック参照およびタイムスタンプの使用はＭＰＥＧ−２トランスポートストリームにおいて一般的であるが、多くの他のシステムまたはプロトコルの中で使用されてもよい。一般に、トランスポートストリームに含まれていたプログラムは、異なる位置（location）から始まり、かつ非同期である。したがって、ＭＰＥＧ−２は、復号器クロックがプログラム単位を基準に符号器クロックに同期することを可能にするためのメカニズムを提供する。この同期メカニズムは、プログラム・クロックレファレンス（Program Clock Reference：ＰＣＲ）と呼ばれる。ＰＣＲは、符号器クロック１２のような、符号化装置の２７ＭＨｚシステム時間クロック（System Time Clock：ＳＴＣ）からサンプリングされる４８ビットカウンタでもよい。トランスポートストリーム・マルチプレクサ（それは符号器８あるいは送信機１０に含まれていてもよい）は、周期的に拡張ＴＳパケットヘッダにＰＣＲ値（つまりＳＴＣサンプル）を挿入することができる。ＭＰＥＧ−２トランスポートストリームについては、ＰＣＲは少なくとも１００ミリセカンドごとに送信されるべきである。符号器ＳＴＣの望まれる精度は２７ＭＨｚ±８１０Ｈｚである。それはおよそ３０ｐｐｍの精度に相当する。

プログラムにおける基本ストリームの同期は、ＰＥＳヘッダーに含まれていたプレゼンテーション・タイムスタンプ（Presentation Time Stamp：ＰＴＳ）およびデコーダタイムスタンプ（Decoder Time Stamp：ＤＴＳ）タイムスタンプ・フィールドによって可能になる。これらのタイムスタンプは、３３ビットの分解能を持っていてもよいし、符号化装置４（９０ｋＨｚまで分割された後）のＳＴＣに由来してもよい。これらのタイムスタンプは、いつペイロードを復号するか決めるために復号装置６によって使用される。

ＰＴＳは、復号されたビデオフレームを表示するかまたは復号されたオーディオフレームを実行する時間を示す。ある場合には、オーディオ出力は、入力ビットストリームに従って連続的に実行する。また、ビデオはオーディオへのビデオＰＴＳを経由して同期される。これは単に双方向に符号化されたフレーム（bidirectional coded frames）（Ｂフレーム）に適用可能かもしれないが、ＤＴＳはビデオフレームを復号する時間を示す。ＤＴＳがＰＴＳと同じである場合、ＤＴＳの送信が回避されてもよい。

典型的なクロック同期メカニズムは、復号装置の中で電圧制御発振機（ＶＣＯ）を使用してもよい。電圧制御された水晶発振器（ＶＣＸＯ）は、例えば、入って来るクロックレファレンス（例えばＰＣＲ）とローカルクロック間の差によって周波数を調整してもよい。低域通過フィルタは、送信ジッタ（jitter）を排除するために使用されてもよい。減衰が大きいループはジッタをよく排除するが、より応答時間が遅くなる。ループの固定時間は、新しいチャネルの最初のＰＣＲが受け取られる場合、またはＰＣＲの不連続な指標がセットされる場合は常に、ＰＣＲにローカルクロックをセットすることにより減少する。しかしながら、ここに説明されているように、調節可能なクロックを使うというよりはむしろ、符号器クロック１２および復号器クロック１８間のどのような差でも補償するために、復号された出力から選択的にサンプルが追加されるかまたは欠落されるかもしれない。そのような技術は、復号器クロックのソース（source）を調整することが許されない構成に非常に役立つ。

もし特に、復号装置が復号器クロックの元を調節することができない場合、従来の閉ループメカニズムを使用して、符号器クロックに復号器クロックを同期させることは、従来的に難しいかもしれないし、またはできないかもしれない。そのような場合、この開示の技術は非常に有用かもしれない。この開示に従って、ＰＣＲ間の違い、つまり、２７ＭＨｚのトランスポートストリームインターフェース（Transport Stream Interface：ＴＳＩＦ）クロックおよびオーディオ復号器クロック間の違いに基づいたオーディオサンプルの選択的な挿入および削除によってクロックドリフト（または、符号器クロックに対する復号器クロックにおける他の誤差）は対処されうる。挿入および除去アルゴリズムは、あらゆる知覚可能なオーディオ効果を最小化するために特に設計することができる。

図２は代表的なオーディオ復号装置３０のブロック図である。これは図１の復号装置６と一致してもよい。オーディオ復号装置３０は、受信機２２、アンテナ３４、復号器クロック３２、オーディオバッファ２４、タイミング調整部２８、オーディオ復号部２６、駆動回路３６および１つ以上のスピーカ（３８Ａと３８Ｂ）を含んでいる。追加のコンポーネントも含まれていてもよい。

受信機２２は、無線プロトコルを経由してオーディオ情報を受信する。アンテナ３４は、受信機２２を経由して無線情報の受信を促進するだろう。受信したオーディオ情報は、符号器クロックに関連した第１タイミング情報を含んでいる。例えば、第１タイミング情報は、符号化装置（図１の中の符号化装置４のクロック１２を符号化するような）の符号化クロックを使用する符号化装置によって、周期的に追加されたタイムスタンプを具備してもよい。

受信したオーディオ情報は、オーディオバッファ２４に格納される。更に、オーディオ情報（符号器クロックに関連した第１タイミング情報を含んでいる）を得る際、復号器クロック３２は、オーディオ情報のための第２タイミング情報を生成する。この第２タイミング情報は、さらにタイムスタンプを具備してもよい。しかし、復号器クロック３２は第１タイミング情報が追加された符号器クロックと比べて異なってもよい限りでは、タイムスタンプは第１タイミング情報に関連したものと異なってもよい。第１および第２タイミング情報はタイミング調整部２８に提供される。

タイミング調整部２８は、第１タイミング情報および第２タイミング情報間の差に基づいて第１タイミング情報を追加した符号器クロックに対する復号器クロック３２での誤差を推定する。その後、オーディオ復号部２６は、オーディオサンプルを生成するためにオーディオ情報を復号する。符号器クロックに対する復号器クロック３２における推定誤差を特に補償するため、オーディオ復号部２６が復号されたオーディオ出力でのオーディオサンプルの数を調整することができるように、タイミング調整部２８は、オーディオ復号部２６にその誤差推定を提供することができる。

オーディオ復号部２６は、オーディオバッファ２４に格納されたオーディオ情報を復号する。この復号は、ディジタルオーディオサンプルのストリームをもたらす。ディジタルオーディオサンプルは、駆動回路３６に届けられてもよい。それはユーザにオーディオ出力を届けるために１つ以上のスピーカ（３８Ａと３８Ｂ）を駆動させるために使用される。駆動回路３６は、ディジタルオーディオサンプルをアナログ信号に変換するディジタル−アナログ変換器（ＤＡＣ）を含んでいてもよい。駆動回路３６は、さらに可聴音を生成するためのスピーカ（３８Ａと３８Ｂ）を駆動させるために、アナログ信号を十分増幅するための増幅要素を含んでいてもよい。

この開示の教示に従って、オーディオ復号部２６は、符号器クロックに対する復号器クロック３２の推定誤差を特に補償するために復号されたオーディオ出力でのオーディオサンプルの数を調整する。タイミング調整部２８は、第１タイミング情報および第２タイミング情報間の差に基づいた復号器クロック３２における誤差（時々“ドリフト（drift）”と呼ばれる）を推定する。タイミング調整部２８は、この推定誤差を示す信号をオーディオ復号部２６に供給する。その後、オーディオ復号装置は、復号器クロック３２における誤差またはドリフトを補償するために、復号された出力から選択的にサンプルを挿入するかまたは除去する。挿入または除去されたサンプルに関連した時間は、復号器クロック３２における誤差またはドリフトを補償するために十分である。

例えば、オーディオ復号部２６は、復号された出力に追加的なオーディオサンプルを挿入し、符号器クロックより遅い復号器クロックを補償することによって、オーディオサンプルの数を調整してもよい。挿入されたオーディオサンプルは、無音のオーディオサンプルを具備してもよい。サンプルは前後のサンプルと同様であるサンプルであり、挿入されたオーディオサンプルは１つ以上の前後のサンプルの間、または他のタイプのサンプルの間に挿入される。

ある場合では、ドリフト閾値に到達する場合はいつでも、オーディオ復号部２６がオーディオサンプルを挿入してもよい。この場合、タイミング調整部２８は累積誤差が符号器クロックに関連する復号器クロック３２に到達されたと決定する場合、オーディオ復号部２６は新しいサンプルを挿入するべきである。しかしながら、他の場合では、より理にかなった計算された方法でサンプルを挿入するほうが望ましいかもしれない。例として、オーディオ復号部２６は、復号されたオーディオ出力において実質的に無音の期間を推定し、そのような実質的に無音の期間の間で優先的にサンプルを挿入してもよい。この場合、タイミング調整部２８は累積誤差が符号器クロックに関連する復号器クロック３２に到達されたと決定する場合、オーディオ復号部２６は復号された出力において推定された実質的に無音の期間に無音のオーディオサンプルを特に挿入してもよい。これらの追加的なステップは、オーディオ出力でのどんな知覚できるアーティファクト（artifacts）も発生の可能性を減らすかもしれない。例えば、復号部２６は、実質的に無音の出力に一致する値を持つ期間に位置するディジタルサンプルに関連した値を検査することにより、実質的に無音の期間を推定することができる。

オーディオ復号部２６は、さらに、復号された出力からオーディオサンプルの１つ以上を除去し、符号器クロックより速い復号器クロック３２を補償することでオーディオサンプルの数を調整してもよい。この場合、タイミング調整部２８は累積誤差が符号器クロックに関連する復号器クロック３２に到達されたと決定する場合、オーディオ復号部２６は、この誤差を補償するためにサンプルを除去するべきである。サンプル挿入技術のように、サンプル削除もより理にかなった計算されたやり方で行われてもよい。例として、オーディオ復号部２６は、復号されたオーディオ出力において実質的に無音の期間を推定し、そのような実質的に無音の期間の間で優先的にサンプルを削除してもよい。この場合、タイミング調整部２８が、累積誤差が符号器クロックに対する復号器クロック３２に到達したと決定する際に、オーディオ復号部２６は、復号された出力でのこれら推定された実質的に無音の期間から実質的に無音のオーディオサンプルを消去することができる。

もしクロックドリフト補償がない場合、オーディオバッファ２４はオーバーフロー（over flow）またはアンダーラン（under run）であるかもしれない。例えば、復号器クロック３２が符号器クロックより遅い場合、オーディオバッファ２４はオーバーフローしうる。同様に、復号器クロック３２が符号器クロックより速い場合、オーディオバッファ２４はアンダーランになる。補償技術の１つの目標は、オーディオ・ビットストリームに対して、小さな、一般的に目立たない補正を施すことにより、オーバーフローおよびアンダーランを回避することである。

ＭＰＥＧ−２ ＴＳの例を再び参照すると、タイミング調整部２８によっておこなわれるクロックドリフト補償アルゴリズムは、（１）ＴＳＩＦに対するＰＣＲのドリフトの推定、および（２）ＴＳＩＦに対するＤＣＬＫ（復号器クロック３２）のドリフトを発生させるかもしれない。タイミング調整装置ユニット２８は、ＤＣＬＫに対するＰＣＲのドリフトの推定を与えるために、（１）から（２）を引くことができる。その後、ＤＣＬＫに対するＰＣＲのドリフトの推定は、サンプルを挿入するか欠落することをオーディオ復号部２６にいつ命じるかを決定するために使用される。

受信機２２が新しいＰＣＲを受け取る場合はいつでも、ＴＳＩＦタイムスタンプ（ＴＴＳ）を備えたＰＣＲサンプルを付けるかおよびタイミング調整部２８に通知する。ＰＣＲ通知のイベントを受け取る際、タイミング調整部２８は最新のＰＣＲ情報を読み込んで処理をおこなう。タイミング調整部２８によって読み込まれたＰＣＲ情報は、（１）４８ビットサンプルの下位の３２ビットによって定義されたＰＣＲ値、（２）３２ビットでＴＴＳが定義され、３２ＴＴＳビット中に含まれる２４ビットをＴＳＩＦタイムスタンプとして包含する、および、（３）ＰＣＲ不連続後（チャネル切り替え後のような）の最初のＰＣＲアップデート上で真にセットされるかもしれないブール値として定義された初期値、を具備してもよい。

ＰＣＲにタイムスタンプする行為は、タイムスタンプ・ジッタ（time stamp jitter）を減少するために受信機２２によっておこなわれてもよい。更に、フィルタリングもおこなわれてもよい。ＭＰＥＧ−２システム仕様書によって決定されるように、タイミング調整部２８はＰＣＲの更新を少なくとも１００ミリ秒ごとに受け取るべきである。タイミング調整装置ユニット２８は、以下に示すように、ＰＣＲとＴＳＩＦ間のドリフト（Ｄ１）を推定するために受信機２２によって提供される生のＰＣＲ／ＴＴＳデータを使用してもよい。
Ｄ１（ＰＣＲ_ｉ−ＰＣＲ_ｉ−１）／（ＴＴＳ_ｉ−ＴＴＳ_ｉ−１）、ｉ＞１
Ｄ１＝１、ｉ＝１
この場合、ＰＣＲ_ｉはＰＣＲが不連続に続くｉ番目のＰＣＲ更新である。また、ＴＴＳ_ｉは、ＰＣＲ_ｉと関連したＴＳＩＦタイムスタンプである。Ｄ１は、ＰＣＲおよびＴＴＳのジッタを削除するためにフィルタされる。Ｄ１＝１のとき、ＰＣＲおよびＴＳＩＦは同期している。Ｄ１が１以上である場合、ＰＣＲはＴＳＩＦより進んでいる。Ｄ１が１未満である場合、ＰＣＲはＴＳＩＦより遅れている。隣接したＰＣＲ更新がお互いに一致していない場合、ＰＣＲは不連続である。ＰＣＲが連続的な場合、隣接したＰＣＲ値間の違いは、ＰＣＲタイムスタンプ（ドリフトとジッタを考慮に入れて）間の違いとほぼ等しい。ＰＣＲが不連続の場合、ＰＣＲ値は、タイムスタンプクロックによって予測されたＰＣＲ値の前後に大きくジャンプする。ＰＣＲ不連続は、ＴＳパケット中のフラグを使用して識別することができる。不連続フラグを含んでいるＴＳパケットがちょうど欠落された場合、受信機２２は、不連続があるかすべてのＰＣＲ更新をチェックしてもよい。ＰＣＲ不連続を検知する際、受信機２２はタイミング調整部２８および復号部２６に通知してもよい。

オーディオ復号部２６は、タイミング調整部２８に直接的に利用可能ではないクロック・ソースを使用して実行するディジタル信号プロセッサ（ＤＳＰ）を具備してもよい。タイミング調整部２８は、例えば、異なる多目的のマイクロプロセッサによって実行されたソフトウェア・モジュールを具備してもよい。オーディオ復号部２６は、タイミング調整部２８（典型的に２５０ミリ秒ごとに１度）によって指定された時間間隔で、終了したサンプルの数および周期的に消費されたバイト数を報告してもよい。オーディオ復号部２６から更新を受け取る際、タイミング調整部２８は、終了したサンプルカウンタを２７ＭＨｚのクロックカウントに変換し、ＴＳＩＦタイムスタンプを適用する。終了したサンプルから２７ＭＨｚのクロックカウントへの変換は次のとおりである。
ＤＣＬＫ_ｊ＝（Ｎ_ｊ＊２７Ｅ６）／ＳＦ
そこでは、ＤＣＬＫ_ｊは、オーディオ復号部２６からｊ番目のフィードバック間隔における２７ＭＨｚのインクリメント（increment）数である。また、Ｎ_ｊは、オーディオ復号部２６のｊ番目のフィードバック間隔の中で終了したサンプルの数である。ＳＦはオーディオサンプル周波数で単位はＨｚである。

タイミング調整部２８は、ＤＣＬＫとＴＳＩＦの間のドリフト（Ｄ２）を推定するために、以下のようにタイムスタンプされた復号器クロックデータを使用することができる。

Ｄ２＝（ＤＣＬＫ_ｊ−ＤＣＬＫ_ｊ−１）／（ＴＴＳ_ｊ−ＴＴＳ_ｊ−１）、ｊ＞１
Ｄ２＝１、ｊ＝１
この場合、添字ｊは、ＰＣＲ不連続の後のオーディオ復号部２６からｊ番めのフィードバックを示す。ＰＣＲ不連続が検知される場合は常に、Ｄ１およびＤ２の推定の両方とも再開されてもよいことに留意する。Ｄ１と同様に、Ｄ２は、ＤＬＣＫおよびＴＴＳ中のジッタを削除するためにフィルタされることができるが、必ずしもＤ１と同じ時定数を使用する必要はない。Ｄ２＝１のとき、ＤＣＬＫおよびＴＳＩＦは同期される。Ｄ２が１以上である場合、ＤＣＬＫはＴＳＩＦより進んでいる。Ｄ２が１未満である場合、ＤＣＬＫはＴＳＩＦより遅れている。

ドリフト推定値Ｄ１とＤ２はＰＣＲおよび復号器クロック間のドリフトの推定（Ｄ３）をあたえるために以下のように組み合わせることができる。
Ｄ３＝Ｄ１−Ｄ２
したがって、Ｄ１（ＰＣＲ／ＴＳＩＦドリフト）からＤ２（ＤＣＬＫ／ＴＳＩＦドリフト）を引くことは、共通のタイムスタンプ（ＴＳＩＦ）を効果的に除去する。以下ではなぜ減算が有益であるかを説明する。もしＤ１およびＤ２が、１よりも大きく、かつほぼ等しい場合、ＰＣＲとＤＣＬＫは両方ともＴＳＩＦよりも進んでいて、ＤＣＬＫに対するＰＣＲのドリフトは小さい。もしＤ１およびＤ２が、１よりも小さくかつほぼ等しい場合、ＰＣＲとＤＣＬＫは両方ともＴＳＩＦよりも遅れていて、ＤＣＬＫに対するＰＣＲのドリフトもまた小さい。Ｄ１が１よりも大きく、Ｄ２が１未満である場合、ＰＣＲはＴＳＩＦより進んでおり、ＤＣＬＫはＴＳＩＦより遅れており、ＤＣＬＫに対するＰＣＲのドリフトは潜在的に大きい。

上に述べたように、ここに記述された技術はサンプルの挿入／除去の閾値を使用してもよい。例として、タイミング調整部２８は、ＰＣＭサンプルを挿入するかまたは欠落するようにオーディオ復号部２６に指示するために、復号器クロックドリフトに関連のあるＰＣＲドリフトの推定を使用してもよい。オーディオサンプル周波数がＳＦ Ｈｚである場合、クロック・エラーが１／ＳＦ秒を超える場合は常に、１つのサンプル訂正は起こるかもしれない。もちろん、優先的なサンプル挿入および削除は、実質的に無音の期間の推定のような、音声出力のプロパティの推定に基づいて、実際にいつサンプルが挿入されるかまたは削除されるかのタイミングを遅らせてもよいし、加速してもよい。

Ｄ３が１以上である場合、ｔ秒ごとに１つのサンプルは挿入されてもよい。
ｔ＝１／（ＳＦ（Ｄ３−１））
Ｄ３が１未満である場合、１つのサンプルはｔ秒ごとに削除されてもよい。
ｔ＝１／（ＳＦ（１−Ｄ３）
補正間隔は、サンプル周波数の増加するほど減少し、符号器クロックと復号器クロックとの誤差が増加するほど減少する。最悪の場合（つまり、修正間の最小の時間間隔）は１．６８秒（５９５ミリセカンドごとに１つのサンプル）かもしれない。サンプル周波数がその最大（例えば４８ｋＨｚ）にある場合、これが生じ得る。符号器クロック誤差はその最大（例えば±３０ｐｐｍ）にあり、復号器クロック誤差は、符号器クロックに対して逆向きに最大（例えば±５ｐｐｍ）にある。

タイミング調整部２８がサンプルを除去することをオーディオ復号部２６に命じる場合、オーディオ復号部２６はビットストリーム（あたかも、それが誤差を検知したかのように）中のサンプルを飛ばす。タイミング調整部２８がサンプルを挿入することをオーディオ復号部２６に命じる場合、オーディオ復号部２６はビットストリームに無音のサンプル、あるいは恐らく以前のサンプルと同一のサンプル、あるいは、２つの連続したサンプル間で補間されたサンプルを挿入してもよい。サンプルの除去に続いて、オーディオ復号部２６は、オーバーバッファ（over buffer）を回避するのを手助けするために、のちにオーディオバッファ２４により多くのデータを要求する。サンプルの挿入に続いて、オーディオ復号部２６は、実行下のバッファーを回避するのを手助けするために、オーディオバッファ２４により多くのデータをすぐに要求する。

サンプルの欠落または挿入による聞き手への影響はオーディオの種類に依存する。より頻繁な単一のサンプル調整は、典型的にはそれほど頻繁でない多数のサンプル調整よりインパクトのより少ない数量を持っている。スピーチおよびほとんどの種類の音楽については、最悪の場合のサンプル補正は聞き手によって気づかれないだろう。

図３はマルチメディア復号装置５０を示すブロックダイヤグラムである。この場合、デバイス５０はオーディオ情報および映像情報の両方を復号する。デバイス５０によって復号するオーディオは、デバイス３０（図２）に本質的に似ている。受信機４２は、無線プロトコルを経てマルチメディア情報を受け取る。マルチメディア情報は、オーディオ情報および映像情報の両方を含んでいる。アンテナ４４は、受信機４２を経て無線情報の受信を促進するだろう。

オーディオ情報に関して、図３のデバイス５０はデバイス３０（図２）と似た方法で動作する。この意味で、デバイス３０（図３）によるオーディオ処理に関して上記の記述は、デバイス５０によっておこなわれたオーディオ処理に適用する。この記述は、図３について論じる際に繰り返されないだろう。簡潔には、受信機４２は上述の受信機２２のように動作してもよい。復号器クロック５２、タイミング調整部４８およびオーディオバッファ４６は、上述の復号器クロック３２、タイミング調整部２８およびオーディオバッファ２６のように動作してもよい。オーディオ復号部６２、駆動回路６４およびスピーカ（６５Ａと６５Ｂ）は、上述のオーディオ復号部２６、駆動回路３６およびスピーカ（３８Ａと３８Ｂ）のように作動してもよい。

この開示に従って、ビデオ復号は復号されたオーディオ出力に同期される。それは、オーディオサンプルの調整された数を含んでいる。ビデオ同期は演奏されたサンプルおよび消費されたビットストリームのバイトの両方に基づいてもよい。オーディオサンプルの欠落およびオーディオサンプルの挿入はオーディオ／ビデオ同期上に悪影響を与えない。

オーディオ／ビデオ同期を管理するために、オーディオ復号部６２は、演奏されたサンプルの数および消費したバイト数をビデオ復号器に報告してもよい。この報告は、タイミング調整部４８によって指定された時間間隔で周期的に生じてもよい。その後、ビデオ復号部５６は、オーディオ復号によって定義された方法でビデオ復号をおこなうことができる。これは、ビデオバッファ５４が上回るまたは下回ることを保証する付加利益を達成するかもれしれない。

ビデオバッファはコード化されたビデオ情報を格納する。ビデオ復号部５６は、ビデオバッファ５４が提供している映像情報を要求し、必要に応じ、またビデオシーケンスのフレームを復号する。再び、これがオーディオサンプルと同期して生じる。それは、オーディオサンプルが符号器クロックに対する復号器クロック５２における任意の誤差を補償するために調整される限りにおいて、ビデオが本質的に時間が正しく測られることを許容することである。その後、復号されたオーディオフレームは、ビデオドライバ５８に提供される。それは、ユーザにビデオシーケンスを提示するためにディスプレイ６０を駆動する。

ビデオシーケンスは、スピーカ（６５Ａと６５Ｂ）の対応する音声出力と同期される。

図４は、オーディオ符号化装置のクロックに対するオーディオ復号装置のクロックにおける誤差を補償するために、オーディオサンプルが調整される技術を示すフローチャートである。図４は、図２に示されたオーディオ復号装置３０の観点から記述されるだろう。図４に示されるように、オーディオ復号装置３０の受信機２２は、符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信する（７１）。オーディオ復号装置３０は、復号器クロック３２に基づいたオーディオ情報のために第２タイミング情報を生成する（７２）。

タイミング調整装置ユニット２８は、第１タイミング情報および第２タイミング情報間の差に基づいて、符号器クロックに対する復号器クロック３２での誤差を推定する（７３）。オーディオ復号部２６は、オーディオサンプルを生成するためにオーディオ情報を復号する（７４）。その際に、オーディオ復号部２６は、復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力でのオーディオサンプルの数を調整する（７５）。この調整は、サンプルを挿入するか削除することを含んでいてもよく、必要があれば、オーディオ情報を符号化するための符号器によって使用される、符号器クロックに対する復号器クロックの推定誤差を補償するためでもよい。連続的にクロックドリフトに合わせて調整するために、１つのサンプルは、連続的な加算時間（increments of time）において典型的に挿入されるか削除される。

図５は、オーディオ符号化装置のクロックに対するオーディオ復号装置のクロックにおける誤差を補償するために、オーディオサンプルが調整される技術を示す別のフローチャートである。図５は、図２に示されたオーディオ復号装置３０の観点から記述されるだろう。図５に示されるように、オーディオ復号装置３０の受信機２２は、符号器クロックによって定義された第１タイムスタンプを含むオーディオ情報を受信する（８１）。オーディオ復号装置３０は、復号器クロック３２に基づいたオーディオ情報のために第２タイムスタンプを生成する（８２）。

タイミング調整部２８は、第１タイムスタンプおよび第２タイムスタンプに基づいて、符号器クロックに対する復号器クロック３２での誤差を推定する（８３）。オーディオ復号部２６は、オーディオサンプルを生成するためにオーディオ情報を復号する（８４）。その際に、オーディオ復号部２６は、復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力でのオーディオサンプルを挿入または削除する（８５）。

これは、（図５中のループによって示されたように）連続的にクロックドリフトに合わせて調整するために、１つのサンプルは、連続的な加算時間（increment of time）において挿入されるか削除される。挿入または削除されたサンプルはそれぞれ、離散時間のインクリメント（increment）上に生じるドリフトを補償する。時間加算（time increments）は、典型的に比較的安定している。もし例えば、符号器クロック、復号器クロックあるいはその両方の温度変化が原因でクロックドリフトが変わるようなことがなければ、サンプルは安定した周期的な方法で挿入されるかまたは削除される。クロックドリフトが変わる場合、サンプルの挿入または削除に関連した時間加算（time increments）は同様に変わってもよい。

多くの技術および実施例は記述された。記述された技術は、ハードウェア、ソフトウェア、ファームウェアあるいはそれの任意の組み合わせの中で実装されてもよい。もしソフトウェア中で実装されれば、ここに記述された技術は、上述した１つ以上の技術をおこなうための装置における実行の命令を含む、コンピュータ読取り可能な媒体で具体化されてもよい。例えば、命令、実行は、符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信させ、復号器クロックに基づいたオーディオ情報のために第２タイミング情報を生成させ、第１タイミング情報および第２タイミング情報間の差に基づいて、符号器クロックに対する復号器クロックでの誤差を推定させ、オーディオサンプルを生成するためにオーディオ情報を復号させ、復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力におけるオーディオサンプルの数を調整させることを装置に実行させてもよい。

コンピュータ読取り可能な媒体は、同期型ＤＲＡＭ（ＳＤＲＡＭ）のようなランダム・アクセス・メモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、不揮発性のランダム・アクセス・メモリー（ＮＶＲＡＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気媒体、または光学データ記憶装置媒体などのようなものを具備してもよい。その命令は、１つ以上のディジタル信号プロセサ（ＤＳＰ）、多目的マイクロプロセッサ、１つ以上の特定用途向けＩＣ（ＡＳＩＣ）、１つ以上のフィールド・プログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積または個別論理回路のような、１台以上のプロセッサあるいは他のマシンによって実行されてもよい。いくつかの実施形態では、ここに記述された機能性は、オーディオまたはマルチメディア情報の符号化および復号を含むか、または結合したマルチメディア・エンコーダ・デコーダ（ＣＯＤＥＣ）に組み入れられた、専用ソフトウェア・モジュールまたは専用ハードウェア装置内に提供されてもよい。
以下に補正前の出願当初の特許請求の範囲の請求項を付記する。
（１）
符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信し、
復号器クロックに基づいた前記オーディオ情報のために第２タイミング情報を生成し、
前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定し、
オーディオサンプルを生成するために前記オーディオ情報を復号し、
前記復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力での前記オーディオサンプルの数を調整することを具備することを特徴とする方法。
（２）
オーディオサンプルの前記数を調整することは、前記復号された出力に追加的なオーディオサンプルを挿入し、前記符号器クロックより遅い前記復号器クロックを補償することを具備することを特徴とする（１に記載の方法。
（３）
前記追加的なオーディオサンプルを挿入することは、無音のオーディオサンプルを挿入することを具備することを特徴とする（２）に記載の方法。
（４）
前記追加的なオーディオサンプルを挿入することは、前記復号されたオーディオ出力における実質的に無音の期間を推定し、前記実質的に無音の期間に前記無音のオーディオサンプルを挿入することを具備することを特徴とする（３）に記載の方法。
（５）
前記追加的なオーディオサンプルを挿入することは、補間されたオーディオサンプルを挿入することを具備することを特徴とする（２）に記載の方法。
（６）
オーディオサンプルの前記数を調整することは、前記復号された出力から前記オーディオサンプルの１つ以上を除去して、前記符号器クロックより速い前記復号器クロックを補償することを具備することを特徴とする（１）に記載の方法。
（７）
前記オーディオサンプルの１つ以上を除去することは、実質的に無音のオーディオサンプルを除去することを具備することを特徴とする（６）に記載の方法。
（８）
前記オーディオサンプルの１つ以上を除去することは、前記復号された出力での実質的に無音の期間を推定し、前記実質的に無音の期間から前記無音のオーディオサンプルを除去することを具備することを特徴とする（７）に記載の方法。
（９）
前記オーディオ情報は、オーディオ・パケット内の符号化されたオーディオ情報を具備することを特徴とする（１）に記載の方法。
（１０）
前記オーディオ・パケットは、motion pictures expert group ２（ＭＰＥＧ−２）トランスポートストリーム（ＴＳ）プロトコルに適合することを特徴とする（９）に記載の方法。
（１１）
オーディオサンプルの前記調整された数を含む前記復号されたオーディオ出力にビデオ復号を同期することをさらに具備することを特徴とする（１）に記載の方法。
（１２）
符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信するレシーバと、
前記オーディオ情報のために第２タイミング情報を生成する復号器クロックと、
前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定するタイミング調整部と、
オーディオサンプルを生成するために前記オーディオ情報を復号する復号部と、を具備し、
前記復号部は前記復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力での前記オーディオサンプルの数を調整することを特徴とする装置。
（１３）
前記復号部は、前記復号された出力に追加的なオーディオサンプルを挿入し、前記符号器クロックより遅い前記復号器クロックを補償することを特徴とする（１２）に記載の装置。
（１４）
前記復号部は、前記復号された出力に無音のオーディオサンプルを挿入することを特徴とする（１３）に記載の装置。
（１５）
前記復号部は、前記復号されたオーディオ出力における実質的に無音の期間を推定し、前記実質的に無音の期間に前記無音のオーディオサンプルを挿入することを特徴とする（１４）に記載の装置。
（１６）
前記復号部は、前記復号された出力へ補間されたオーディオサンプルを挿入することを特徴とする（１３）に記載の装置。
（１７）
前記復号部は、前記復号された出力から前記オーディオサンプルの１つ以上を除去して、前記符号器クロックより速い前記復号器クロックを補償することを特徴する（１２）に記載の装置。
（１８）
前記復号部は、前記復号された出力から本質的に無音のオーディオサンプルを除去することを特徴とする（１７）に記載の装置。
（１９）
前記復号部は、前記復号された出力での実質的に無音の期間を推定し、前記実質的に無音の期間から前記無音のオーディオサンプルを除去することを特徴とする（１８）に記載の装置。
（２０）
前記オーディオ情報は、オーディオ・パケット内の符号化されたオーディオ情報を具備することを特徴とする（１２）に記載の装置。
（２１）
前記オーディオ・パケットは、motion pictures expert group ２（ＭＰＥＧ−２）トランスポートストリーム（ＴＳ）プロトコルに適合することを特徴とする（２０）に記載の装置。
（２２）
オーディオサンプルの前記調整された数を含む前記復号されたオーディオ出力にビデオ復号を同期するビデオ復号部をさらに具備することを特徴とする（１２）に記載の装置。
（２３）
装置での実行上、該装置に、
符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信させ、
復号器クロックに基づいて前記オーディオ情報のために第２タイミング情報を生成させ、
前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定させ、
オーディオサンプルを生成するために前記オーディオ情報を復号させ、
前記復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力での前記オーディオサンプルの数を調整させる複数の命令を具備することを特徴とするコンピュータ読み取り可能な媒体。
（２４）
前記命令は、前記装置に、追加的なオーディオサンプルを前記復号された出力に挿入させ、符号器クロックより遅い前記復号器クロックを補償させることを特徴とする（２３）に記載のコンピュータ読取り可能な媒体。
（２５）
前記命令は、前記装置に前記復号された出力に無音のオーディオサンプルを挿入させることを特徴とする（２４）に記載のコンピュータ読取り可能な媒体。
（２６）
前記命令は、前記装置に前記復号されたオーディオ出力における実質的に無音の期間を推定させ、前記実質的に無音の期間に前記無音のオーディオサンプルを挿入させることを特徴とする（２５）に記載のコンピュータ読取り可能な媒体。
（２７）
前記命令は、前記装置に前記復号された出力へ補間されたオーディオサンプルを挿入させることを特徴とする（２３）に記載のコンピュータ読取り可能な媒体。
（２８）
前記命令は、前記装置に前記復号された出力から前記オーディオサンプルの１つ以上を除去させ、前記符号器クロックより速い前記復号器クロックを補償させることを特徴とする（２３）に記載のコンピュータ読み取り可能な媒体。
（２９）
前記命令は、前記装置に前記復号された出力から本質的に無音のオーディオサンプルを除去させることを特徴とする（２８）に記載のコンピュータ読取り可能な媒体。
（３０）
前記命令は、前記装置に前記復号された出力での実質的に無音の期間を推定させ、前記実質的に無音の期間から前記無音のオーディオサンプルを除去させることを特徴とする（２９）に記載のコンピュータ読み取り可能な媒体。
（３１）
前記オーディオ情報は、オーディオ・パケット内の符号化されたオーディオ情報を含むことを特徴とする（２３）に記載のコンピュータ読取り可能な媒体。
（３２）
前記オーディオ・パケットは、motion pictures expert group ２（ＭＰＥＧ−２）トランスポートストリーム（ＴＳ）プロトコルに適合することを特徴とする（３１）に記載のコンピュータ読み取り可能な媒体。
（３３）
前記命令は、前記装置にオーディオサンプルの前記調整された数を含む前記復号されたオーディオ出力にビデオ復号を同期させることを特徴とする（２３）に記載のコンピュータ読み取り可能な媒体。
（３４）
符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信する手段と、
復号器クロックに基づいた前記オーディオ情報のために第２タイミング情報を生成する手段と、
前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定する手段と、
オーディオサンプルを生成するために前記オーディオ情報を復号する手段と、
前記復号器クロックにおける推定誤差を補償するために、復号されたオーディオ出力での前記オーディオサンプルの数を調整する手段と、を具備することを特徴とする装置。
（３５）
オーディオサンプルの前記数を調整する手段は、前記復号された出力に追加的なオーディオサンプルを挿入し、前記符号器クロックより遅い前記復号器クロックを補償することを特徴とする（３４）に記載の装置。
（３６）
オーディオサンプルの前記数を調整する手段は、前記復号されたオーディオ出力に無音のオーディオサンプルを挿入することを特徴とする（３５）に記載の装置。
（３７）
オーディオサンプルの前記数を調整する手段は、前記復号されたオーディオ出力における実質的に無音の期間を推定し、前記実質的に無音の期間に前記無音のオーディオサンプルを挿入することを特徴とする（３６）に記載の装置。
（３８）
オーディオサンプルの前記数を調整する手段は、前記復号されたオーディオ出力へ補間されたオーディオサンプルを挿入することを特徴とする（３５）に記載の装置。
（３９）
オーディオサンプルの前記数を調整する手段は、前記復号された出力から前記オーディオサンプルの１つ以上を除去して、前記符号器クロックより前記速い復号器クロックを補償することを特徴する（３４）に記載の装置。
（４０）
オーディオサンプルの前記数を調整する手段は、前記復号されたオーディオ出力から実質的に無音のオーディオサンプルを除去することを特徴とする（３９）に記載の装置。
（４１）
オーディオサンプルの前記数を調整する手段は、前記復号された出力での実質的に無音の期間を推定し、前記実質的に無音の期間から前記無音のオーディオサンプルを除去することを特徴とする（４０）に記載の装置。
（４２）
前記オーディオ情報は、オーディオ・パケットの中に符号化されたオーディオ情報を含むことを特徴とする（３４）に記載の装置。
（４３）
前記オーディオ・パケットは、motion pictures expert group ２（ＭＰＥＧ−２）トランスポートストリーム（ＴＳ）プロトコルに適合することを特徴とする（４２）に記載の装置。
（４４）
オーディオサンプルの前記調整された数を含む前記復号されたオーディオ出力にビデオ復号を同期する手段をさらに含むことを特徴とする（３４）に記載の装置。

Claims (40)

1. オーディオパケットの符号化されたストリームに符号化装置によって追加される第１タイムスタンプを具備し、かつ符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信し、
   復号器クロックに基づいた前記オーディオ情報に関して第２タイムスタンプを含む第２タイミング情報を生成し、
   前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定し、
   前記符号器クロックに対する前記復号器クロックにおける前記誤差を蓄積し、
   オーディオサンプルを生成するために前記オーディオ情報を復号し、
   前記符号器クロックに対する前記復号器クロックでの前記蓄積された誤差が閾値に達するかどうかを決定し、前記誤差が閾値に達する場合、前記復号器クロックにおける前記蓄積された誤差を補償するために、前記蓄積された誤差に基づいて復号されたオーディオ出力での前記オーディオサンプルの数を調整することを具備し、
   前記オーディオサンプルの前記数を調整することは、前記復号された出力に追加的なオーディオサンプルを挿入し、前記符号器クロックより遅い前記復号器クロックを補償することを具備することを特徴とする方法。
2. 前記追加的なオーディオサンプルを挿入することは、無音のオーディオサンプルを挿入することを具備することを特徴とする請求項１に記載の方法。
3. 前記追加的なオーディオサンプルを挿入することは、前記復号されたオーディオ出力における実質的に無音の期間を推定し、前記実質的に無音の期間に前記無音のオーディオサンプルを挿入することを具備することを特徴とする請求項２に記載の方法。
4. 前記追加的なオーディオサンプルを挿入することは、補間されたオーディオサンプルを挿入することを具備することを特徴とする請求項１に記載の方法。
5. オーディオサンプルの前記数を調整することは、前記復号された出力から前記オーディオサンプルの１つ以上を除去して、前記符号器クロックより速い前記復号器クロックを補償することを具備することを特徴とする請求項１に記載の方法。
6. 前記オーディオサンプルの１つ以上を除去することは、実質的に無音のオーディオサンプルを除去することを具備することを特徴とする請求項５に記載の方法。
7. 前記オーディオサンプルの１つ以上を除去することは、前記復号された出力での実質的に無音の期間を推定し、前記実質的に無音の期間から前記無音のオーディオサンプルを除去することを具備することを特徴とする請求項６に記載の方法。
8. 前記オーディオ情報は、オーディオパケット内の符号化されたオーディオ情報を具備することを特徴とする請求項１に記載の方法。
9. 前記オーディオパケットは、motion pictures expert group ２（ＭＰＥＧ−２）トランスポートストリーム（ＴＳ）プロトコルに適合することを特徴とする請求項８に記載の方法。
10. オーディオサンプルの前記調整された数を含む前記復号されたオーディオ出力にビデオ復号を同期することをさらに具備することを特徴とする請求項１に記載の方法。
11. オーディオパケットの符号化されたストリームに符号化装置によって追加される第１タイムスタンプを具備し、かつ符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信するレシーバと、
    前記オーディオ情報のために第２タイミング情報に関して第２タイムスタンプを含む生成する復号器クロックと、
    前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定し、前記符号器クロックに対する前記復号器クロックにおける前記誤差を蓄積し、前記符号器クロックに対する前記復号器クロックでの前記蓄積された誤差が閾値に達するかどうかを決定するタイミング調整部と、
    オーディオサンプルを生成するために前記オーディオ情報を復号する復号部と、を具備し、
    前記復号部は、前記符号器クロックに対する前記復号器クロックでの前記蓄積された誤差が閾値に達する場合、前記復号器クロックにおける前記蓄積された誤差を補償するために、前記蓄積された誤差に基づいて復号されたオーディオ出力での前記オーディオサンプルの数を調整し、前記符号器クロックより遅い前記復号器クロックを補償するために、前記復号された出力に追加的なオーディオサンプルを挿入することを特徴とする装置。
12. 前記復号部は、前記復号された出力に無音のオーディオサンプルを挿入することを特徴とする請求項１１に記載の装置。
13. 前記復号部は、前記復号されたオーディオ出力における実質的に無音の期間を推定し、前記実質的に無音の期間に前記無音のオーディオサンプルを挿入することを特徴とする請求項１２に記載の装置。
14. 前記復号部は、前記復号された出力へ補間されたオーディオサンプルを挿入することを特徴とする請求項１１に記載の装置。
15. 前記復号部は、前記復号された出力から前記オーディオサンプルの１つ以上を除去して、前記符号器クロックより速い前記復号器クロックを補償することを特徴する請求項１１に記載の装置。
16. 前記復号部は、前記復号された出力から本質的に無音のオーディオサンプルを除去することを特徴とする請求項１５に記載の装置。
17. 前記復号部は、前記復号された出力での実質的に無音の期間を推定し、前記実質的に無音の期間から前記無音のオーディオサンプルを除去することを特徴とする請求項１６に記載の装置。
18. 前記オーディオ情報は、オーディオパケット内の符号化されたオーディオ情報を具備することを特徴とする請求項１１に記載の装置。
19. 前記オーディオパケットは、motion pictures expert group ２（ＭＰＥＧ−２）トランスポートストリーム（ＴＳ）プロトコルに適合することを特徴とする請求項１８に記載の装置。
20. オーディオサンプルの前記調整された数を含む前記復号されたオーディオ出力にビデオ復号を同期するビデオ復号部をさらに具備することを特徴とする請求項１１に記載の装置。
21. コンピュータに、
    オーディオパケットの符号化されたストリームに符号化装置によって追加される第１タイムスタンプを具備し、かつ符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信させ、
    復号器クロックに基づいて前記オーディオ情報に関して第２タイムスタンプを含む第２タイミング情報を生成させ、
    前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定させ、
    前記符号器クロックに対する前記復号器クロックにおける前記誤差を蓄積し、
    オーディオサンプルを生成するために前記オーディオ情報を復号させ、
    前記符号器クロックに対する前記復号器クロックでの前記蓄積された誤差が閾値に達するかどうかを決定し、前記誤差が閾値に達する場合、前記復号器クロックにおける前記蓄積された誤差を補償するために、前記蓄積された誤差に基づいて復号されたオーディオ出力での前記オーディオサンプルの数を調整させ、
    追加的なオーディオサンプルを前記復号された出力に挿入させ、符号器クロックより遅い前記復号器クロックを補償させるための命令を記録したコンピュータ読み取り可能な媒体。
22. 前記命令は、前記装置に前記復号された出力に無音のオーディオサンプルを挿入させることを特徴とする請求項２１に記載のコンピュータ読取り可能な媒体。
23. 前記命令は、前記装置に前記復号されたオーディオ出力における実質的に無音の期間を推定させ、前記実質的に無音の期間に前記無音のオーディオサンプルを挿入させることを特徴とする請求項２２に記載のコンピュータ読取り可能な媒体。
24. 前記命令は、前記装置に前記復号された出力へ補間されたオーディオサンプルを挿入させることを特徴とする請求項２１に記載のコンピュータ読取り可能な媒体。
25. 前記命令は、前記装置に前記復号された出力から前記オーディオサンプルの１つ以上を除去させ、前記符号器クロックより速い前記復号器クロックを補償させることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
26. 前記命令は、前記装置に前記復号された出力から本質的に無音のオーディオサンプルを除去させることを特徴とする請求項２５に記載のコンピュータ読取り可能な媒体。
27. 前記命令は、前記装置に前記復号された出力での実質的に無音の期間を推定させ、前記実質的に無音の期間から前記無音のオーディオサンプルを除去させることを特徴とする請求項２６に記載のコンピュータ読み取り可能な媒体。
28. 前記オーディオ情報は、オーディオパケット内の符号化されたオーディオ情報を含むことを特徴とする請求項２１に記載のコンピュータ読取り可能な媒体。
29. 前記オーディオパケットは、motion pictures expert group ２（ＭＰＥＧ−２）トランスポートストリーム（ＴＳ）プロトコルに適合することを特徴とする請求項２８に記載のコンピュータ読み取り可能な媒体。
30. 前記命令は、前記装置にオーディオサンプルの前記調整された数を含む前記復号されたオーディオ出力にビデオ復号を同期させることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
31. オーディオパケットの符号化されたストリームに符号化装置によって追加される第１タイムスタンプを具備し、かつ符号器クロックに関連した第１タイミング情報を含むオーディオ情報を受信する手段と、
    復号器クロックに基づいた前記オーディオ情報に関して第２タイムスタンプを含む第２タイミング情報を生成する手段と、
    前記第１タイミング情報および前記第２タイミング情報間の差に基づいて、前記符号器クロックに対する前記復号器クロックでの誤差を推定する手段と、
    前記符号器クロックに対する前記復号器クロックにおける前記誤差を蓄積し、
    オーディオサンプルを生成するために前記オーディオ情報を復号する手段と、
    前記符号器クロックに対する前記復号器クロックでの前記蓄積された誤差が閾値に達するかどうかを決定し、前記誤差が閾値に達する場合、前記復号器クロックにおける前記蓄積された誤差を補償するために、前記蓄積された誤差に基づいて復号されたオーディオ出力での前記オーディオサンプルの数を調整する手段と、を具備し、
    前記オーディオサンプルの前記数を調整する手段は、前記復号された出力に追加的なオーディオサンプルを挿入し、前記符号器クロックより遅い前記復号器クロックを補償することを特徴とする装置。
32. オーディオサンプルの前記数を調整する手段は、前記復号されたオーディオ出力に無音のオーディオサンプルを挿入することを特徴とする請求項３１に記載の装置。
33. オーディオサンプルの前記数を調整する手段は、前記復号されたオーディオ出力における実質的に無音の期間を推定し、前記実質的に無音の期間に前記無音のオーディオサンプルを挿入することを特徴とする請求項３２に記載の装置。
34. オーディオサンプルの前記数を調整する手段は、前記復号されたオーディオ出力へ補間されたオーディオサンプルを挿入することを特徴とする請求項３１に記載の装置。
35. オーディオサンプルの前記数を調整する手段は、前記復号された出力から前記オーディオサンプルの１つ以上を除去して、前記符号器クロックより前記速い復号器クロックを補償することを特徴する請求項３１に記載の装置。
36. オーディオサンプルの前記数を調整する手段は、前記復号されたオーディオ出力から実質的に無音のオーディオサンプルを除去することを特徴とする請求項３５に記載の装置。
37. オーディオサンプルの前記数を調整する手段は、前記復号された出力での実質的に無音の期間を推定し、前記実質的に無音の期間から前記無音のオーディオサンプルを除去することを特徴とする請求項３６に記載の装置。
38. 前記オーディオ情報は、オーディオパケットの中に符号化されたオーディオ情報を含むことを特徴とする請求項３１に記載の装置。
39. 前記オーディオパケットは、motion pictures expert group ２（ＭＰＥＧ−２）トランスポートストリーム（ＴＳ）プロトコルに適合することを特徴とする請求項３８に記載の装置。
40. オーディオサンプルの前記調整された数を含む前記復号されたオーディオ出力にビデオ復号を同期する手段をさらに含むことを特徴とする請求項３１に記載の装置。

Images