JP4413852B2 - 非同期式オーディオストリームを処理するための方法及び装置 - Google Patents

Description

本発明は、オーディオストリーム（audio stream）を復元（restore）する方法及び装置に関し、特に、非同期式オーディオパッケタイズドエレメンタリーストリーム（Packetized Elementary Stream；ＰＥＳ）からアドバンストオーディオコーディング（Advanced Audio Coding；ＡＡＣ）ストリームを復元する方法及び装置に関する。

衛星デジタルマルチメディア放送（Digital Multimedia Broadcasting；ＤＭＢ）においては、オーディオデータを定められた伝送ストリームに作って放送チャンネルへ送信する。

図１を参照すると、まず、オーディオＰＣＭ（Pulse Coded Modulation）ストリーム１００のオーディオＰＣＭデータをＭＰＥＧ−２（Moving Picture Expert Group-2）ＡＡＣ（Advanced Audio Coding）＋ＳＢＲ（Spectral Band Replication）コーデック（ＣＯＤＥＣ；Coder-Decoder）を使用して圧縮符号化し、ＡＤＴＳ（Audio Data Transport Stream）ヘッダー（header）を付加して、ＡＡＣストリーム１０２を構成する。ＰＣＭストリーム１００は、それぞれ４８ｋＨｚでサンプリング（sampling）された２，０４８サンプル（sample）のＰＣＭデータを有するＰＣＭフレーム（frame）からなる。ＡＡＣストリーム１０２は、ＰＣＭフレームがそれぞれ圧縮符号化され、ＡＤＴＳヘッダーが付加されたＡＤＴＳフレームからなる。ＡＡＣストリーム１０２のＡＤＴＳフレームのそれぞれのＡＤＴＳヘッダーを‘Ａ'で示す。

ＡＡＣストリーム１０２は、ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Organization for Standardization）１３８１８−１に従って、一定の大きさに分割され、分割されたストリーム１１４にヘッダー１１２が付加されてＰＥＳパケットが作られる。このようなＰＥＳパケットでＰＥＳストリーム１０４が構成される。図１において、ＰＥＳストリーム１０４のＰＥＳパケットのそれぞれのＰＥＳヘッダー１１２を‘Ｐ'で示す。

ＰＥＳストリーム１０４は、順に一定の大きさに分割され、分割されたストリーム１１８にヘッダー１１６が付加されて、ＴＳ（transport Stream）パケットが作られる。このようなＴＳパケットでＴＳストリーム１０６が構成される。

図１において、ＰＣＭストリーム１００の各ＰＣＭフレームの先頭に記入されたｔ０〜ｔ５は、時間情報値であって、オーディオ情報がデコーダーにいつ表現されなければならないかに関する情報を示す値である。上記時間情報は、タイムスタンプ（time stamp）としてＰＥＳヘッダーデータの一部に含まれる。

現在の衛星ＤＭＢにおいて、オーディオデータをＴＳパケットに乗せて送信する際に、固定された大きさのＴＳパケットへ最大に多い量のオーディオデータを送信するために、ＰＥＳパケットを構成する際に、ＡＡＣストリームのＡＤＴＳヘッダーとＰＥＳヘッダーとの間の同期を合わせていない。図１から分かるように、ＰＥＳパケットのヘッダー１１２の次にＡＤＴＳヘッダー“Ａ”が常にこない。このような方法は、非同期式ＰＥＳ方式と呼ばれ、オーディオデータがＴＳパケットに最大に乗せることができる、という長所がある。

しかしながら、非同期式ＰＥＳ方式は、エラー（error）が発生したＴＳパケットに対する処理が施さなければ、図２のような形態でＡＡＣストリームが復元される。図２は、ＴＳストリーム２００で、２個のＴＳパケット２０６，２０８がエラーによって損傷（corrupt）されたものと仮定する場合に、上記ＴＳストリーム２００からＰＥＳストリーム２０２を介してＡＡＣストリーム２０４が復元される例を示す。損傷されたＴＳパケット２０６，２０８を有するＴＳストリーム２００から得られるＰＥＳストリーム２０２も損傷されたＴＳパケット２０６，２０８に該当する損傷されたＰＥＳデータ２１０，２１２を含む。すなわち、ＰＥＳストリーム２０２は、ＴＳストリーム２００にエラーがない場合に、図１のＰＥＳストリーム１０４と同一であるように復元されなければならないが、損傷されたＴＳパケット２０６，２０８に該当する損傷されたＰＥＳデータ２１０，２１２を含む。

同様に、ＰＥＳストリーム２０２から復元されたＡＡＣストリーム２０４も、図１のＡＡＣストリーム１０２とは異なり、損傷されたデータ２１４，２１６を含む。損傷されたデータ２１４及び２１６は、ＡＤＴＳヘッダーに該当するデータフィールド２１８を含むことができる。

上述したように、エラーによって損傷されたデータが含まれたＡＡＣストリームは、オーディオコーデックの問題を引き起こす。また、図２に示すように、ＡＤＴＳヘッダーの大きさに関する情報があるデータフィールド２１８が損傷されると、オーディオコーデックには、致命的なエラーが発生することがある。

また、このようなエラーを防止するために、損傷されたＰＥＳデータを捨てると、時間情報の損失を引き起こす。結果的に、オーディオデータがあまり速く再生されるか、またはあまり遅く再生される、という問題があり、相互に異なるヘッダーを有するＡＤＴＳデータがＡＤＴＳフレームでミキシングされて、オーディオコーデックに深刻な影響を及ぼす。

上記背景に鑑みて、本発明の目的は、非同期式オーディオＰＥＳストリームにおいて、エラーにより損傷されたＰＥＳパケットが発生する場合にも、オーディオ音質を高め、システムの安定性を向上させることができるオーディオストリーム処理方法及び装置を提供することにある。

本発明の他の目的は、非同期式オーディオＰＥＳストリームにおいて、エラーにより損傷されたＰＥＳパケットのＡＡＣフレームを最適に復元することができるオーディオストリーム処理方法及び装置を提供することにある。

本発明のまた他の目的は、復元されたオーディオデータを貯蔵する際に、シンタックス（syntax）的に完全な構造を提供することによって、外部装置にオーディオストリームが貯蔵される場合にも安定性を保証することができるオーディオストリーム処理方法及び装置を提供することにある。

このような目的を達成するために、本発明の実施形態によれば、非同期式オーディオＰＥＳストリームのＰＥＳパケットのうちから、損傷されたＰＥＳパケットを検出し、損傷されたＰＥＳパケット内のＡＤＴＳフレームのそれぞれをあらかじめ定められた代替ＡＤＴＳフレームに置き換えてＡＡＣストリームを復元することを特徴とする。

本発明は、ＰＥＳパケット内のＡＤＴＳフレームに対して、シンタックスエラーなしに復元するだけではなく、損失されたＡＤＴＳフレームを適切に置き換えることによって、衛星ＤＭＢ放送中に発生したエラーによるオーディオ雑音を除去することができ、コーデック及びシステムの安定性に大きく寄与する。

また、エラー環境下で放送を録画する場合に、シンタックスエラーのないファイルに貯蔵されることができるので、録画されたオーディオデータを再生する際にシステムに安定性を提供する。

以下、本発明の好適な一実施形態を添付図面を参照しつつ詳細に説明する。なお、下記の説明において、本発明の要旨のみを明瞭にする目的で、関連した公知の機能又は構成に関する具体的な説明は省略する。

図３は、本発明の実施形態によるオーディオストリーム処理装置の構成を示すブロック図である。上記オーディオストリーム処理装置は、ＡＡＣストリーム復元部３０２、システムオーディオストリーム生成部３０４、リングバッファ３０６と、を含む。ＴＳデマルチプレクサー（demultiplexer）３００は、ＴＳストリームからＰＥＳストリームを復元して、ＡＡＣストリーム復元部３０２に印加する。上記ＰＥＳストリームは、エラーにより損傷されたデータが存在することができる。ＡＡＣストリーム復元部３０２は、ＰＥＳストリームからＡＡＣストリームを復元するが、エラーにより損傷されたＰＥＳパケットがある場合に損傷されたＰＥＳデータを処理して、後述するように、シンタックス（syntax）に従ってＡＡＣストリームを復元する。

ＡＡＣストリーム復元部３０２のＰＥＳデータの処理を図４及び図５を参照して説明する。図４は、本発明の実施形態による非同期式オーディオＰＥＳデータを処理する動作を示すフローチャートである。上記非同期式オーディオＰＥＳデータは、ステップ４００〜ステップ４２６でＡＡＣストリーム復元部３０２によって処理される。図５は、損傷されたＰＥＳパケットを有するＰＥＳストリーム２０２から損傷されたＡＡＣストリーム２０４ではない正常なＡＡＣストリーム５００を復元する例を示す。

図４を参照すると、まず、ＡＡＣストリーム復元部３０２は、ステップ４００で、ＴＳデマルチプレクサー３００からＰＥＳデータを受信し、ステップ４０２で、現在のＰＥＳデータが損傷されたＰＥＳパケットであるか否かを検査する。損傷されたＰＥＳパケットである場合に、該当ＰＥＳパケットをステップ４０４で廃棄した後に、ステップ４００へ戻る。

ステップ４０２で、現在のＰＥＳパケットが損傷されたＰＥＳパケットではない正常なＰＥＳパケットであると確認されると、ステップ４０６で、現在のＰＥＳパケットからタイムスタンプを取得（get）する。次に、ステップ４０８で、現在のＰＥＳパケットで一番目のＡＤＴＳヘッダーを検索（search）する。このとき、現在のＰＥＳパケットにプレフィックス（prefix）フレームが存在すると、一時的に貯蔵しておく。次に、ステップ４１０で、以前のＰＥＳパケットから貯蔵しておいた残余（residual）フレームが存在するか否かを検査する。

図５では、プレフィックスフレームを参照符号５０６で示し、残余フレームを参照符号５０４で示す。すなわち、プレフィックスフレーム５０６は、現在のＰＥＳパケットで、ＰＥＳヘッダーＰと一番目のＡＤＴＳフレームのヘッダーＡとの間に存在することができる分割されたＡＤＴＳフレームを意味し、残余フレーム５０４は、以前の正常なＰＥＳパケットの最後の部分に存在することができる分割されたＡＤＴＳフレームを意味する。

残余フレーム５０４及びプレフィックスフレーム５０６は、ＡＡＣストリームからＰＥＳストリームを作る場合に、１つのＡＤＴＳフレームが２個のＰＥＳパケットを介して分割される場合に発生する。現在のＰＥＳパケットにプレフィックスフレーム５０６が存在する場合には、上述したように、ステップ４０８で一時的に貯蔵され、後述するように、現在のＰＥＳパケットからＡＤＴＳフレームを復元するのに使用され、残余フレーム５０４が存在する場合には、ステップ４２４で貯蔵されて、次のＰＥＳパケットからＡＤＴＳフレームを復元するのに使用される。

ステップ４１０で、残余フレームが存在すると、ステップ４１８で残余フレームとプレフィックスフレームとを１つにまとめて（merge）貯蔵する。図５を参照して示すように、ＡＡＣストリーム５００は、ＰＥＳストリーム２０２の残余フレーム５０４及びプレフィックスフレーム５０６にそれぞれ該当する残余フレーム５０８とプレフィックスフレーム５１０とが合併されて、１つのＡＤＴＳフレームに含まれる。

ステップ４１０で、残余フレームが存在しない場合に、ステップ４１２で、現在のＰＥＳパケットが最初のパケットであるか否かを検査する。すなわち、ＡＡＣストリーム復元部３０２は、現在のＰＥＳパケットがＰＥＳストリームの最初のＰＥＳパケット、例えば、ＤＭＢ受信で最初に受信されたＰＥＳパケットであるか否かを検査する。

ステップ４１２で、現在のＰＥＳパケットが最初のパケットではない場合に、ステップ４１４で、ＡＡＣストリーム復元部３０２は、損失されたＡＤＴＳフレームの個数を算出する。このとき、損失されたＡＤＴＳフレームの個数は、以前の正常なＰＥＳパケットと現在のＰＥＳパケットとの間に損傷されたＰＥＳパケットによって損失された個数を意味する。損失されたＡＤＴＳフレームの位置及び個数は、損傷されたＰＥＳパケットの前後にそれぞれ隣接した正常なＰＥＳパケットのタイムスタンプ値を使用することによって分かる。すなわち、正常なＰＥＳパケットのヘッダーにあるタイムスタンプを使用して、オーディオ信号のサンプリング周波数を知っていると、ＡＤＴＳフレーム当たりの時間間隔を認知することができるので、損傷されたＰＥＳパケット内に含まれたＡＤＴＳフレームの個数を把握することができる。

上記損傷されたＰＥＳパケットに続く正常なＰＥＳパケットは、現在のＰＥＳパケットの前に位置したＰＥＳパケットが損傷されたパケットである場合に、現在のＰＥＳパケットが該当するが、ステップ４０６で取得された現在のＰＥＳパケットのタイムスタンプをステップ４２６で貯蔵しておくことによって、次のＰＥＳパケットが損傷されると、次のＰＥＳパケットに続く正常なＰＥＳパケットを処理する間に、上記タイムスタンプは、損失されたＡＤＴＳフレームを復元するのに使用されることができる。

この後に、上記のように算出された個数だけ損失されたＡＤＴＳフレームのそれぞれをステップ４１６であらかじめ決定された代替ＡＤＴＳフレームに置き換えることによって復元して貯蔵する。上記代替は、多様な方式にて遂行されることができる。例えば、黙音を圧縮したＡＤＴＳフレームをあらかじめ貯蔵した後に、損失されたＡＤＴＳフレームに置き換えることができる。また、白色雑音を圧縮したＡＤＴＳフレームをあらかじめ貯蔵する。すると、損傷されたＡＤＴＳフレームを上記貯蔵されたＡＤＴＳフレームに置き換えることができる。そして、損傷されたＰＥＳパケットに先行する正常なＰＥＳパケットから復元された正常なＡＤＴＳフレームを貯蔵した後に、ＡＤＴＳフレームに置き換えることができる。

これとは異なり、１つまたは２つのフレームのＡＤＴＳデータが損失された場合には、手前の正常なＡＤＴＳフレームに置き換える一方、複数のＡＤＴＳフレームが連続して損失された場合には、黙音を圧縮したＡＤＴＳフレームまたは白色雑音を圧縮したＡＤＴＳフレームに置き換える方法を使用することもある。複数のＡＤＴＳフレームが連続して損失された場合には、損失されたＡＤＴＳフレームのオーディオデータと手前の正常なＡＤＴＳフレームのオーディオデータとの差が非常に大きいので、この場合には、黙音を圧縮したＡＤＴＳフレーム又は白色雑音を圧縮したＡＤＴＳフレームに置き換えることが望ましい。

ステップ４２０で、損傷されたＰＥＳパケット及び現在のＰＥＳパケット内のＡＤＴＳフレームの個数を算出した後に、算出された個数だけＡＤＴＳフレームをステップ４２２で貯蔵する。このとき、損傷されたＰＥＳパケットに対するＡＤＴＳフレームを上記代替ＡＤＴＳフレームに置き換えて貯蔵し、現在のＰＥＳパケットに対するＡＤＴＳフレームを正常に貯蔵する。

次に、ステップ４２４で、残余フレームを貯蔵するとともに、ステップ４２６で、現在のＰＥＳパケットのタイムスタンプを貯蔵して、次の損傷されたＰＥＳパケットに続く正常なＰＥＳパケットを処理する間に、損失されたＡＤＴＳフレームを復元するのに使用した後に、ステップ４００に戻って、ＡＣＣストリーム復元部３０２は、次のＰＥＳパケットに対する処理を開始する。

従って、ＰＥＳパケット内のＡＤＴＳフレームに対して、エラーなしに復元するだけではなく、損失されたＡＤＴＳフレームを適切に置き換える。

上述したように、復元されたＡＡＣストリームは、システムオーディオストリーム生成部３０４に印加される。すると、システムオーディオストリーム生成部３０４は、図５に示すように、ＡＡＣストリームのＡＤＴＳフレームのそれぞれにヘッダーＨを付加することによって、システムオーディオストリーム５０２を生成し、システムオーディオストリーム５０２をリングバッファ（ring buffer）３０６に貯蔵する。このとき、システムオーディオストリーム５０２のヘッダーＨのそれぞれには、時間情報が含まれる。システムオーディオストリーム生成部３０４は、損傷されたＰＥＳパケットに対しても、前後の正常なＰＥＳパケットのタイムスタンプに基づいて得られた時間情報を用いて、図１に示した元来の時間情報ｔ０〜ｔ５をシステムオーディオストリーム５０２に正常に含ませることができる。

上述したように、システムオーディオストリーム５０２がリングバッファ３０６に貯蔵されることによって、システムオーディオストリームのフレームが循環的に貯蔵されて読み出される。これに従って、ＡＡＣストリーム復元部３０２で損失されたＡＤＴＳフレームを復元するのに必要な時間、すなわち、損傷されたＰＥＳパケットに続く正常なＰＥＳパケットが現れるときまで、ＡＤＴＳフレームの出力が遅延する時間をバッファリングすることができる。このように、リングバッファ３０６に貯蔵されたシステムオーディオストリームは、オーディオコーデック３０８によって再生されるか、又は、記録部３１０によって記録（recording）されることができる。

以上、本発明の詳細について具体的な実施の形態に基づき説明してきたが、本発明の範囲を逸脱しない限り、各種の変形が可能なのは明らかである。特に、本発明の実施形態では、衛星ＤＭＢと関連して説明したが、衛星ＤＭＢではないとしても、非同期式ＰＥＳオーディオストリームを処理する場合ならば、同様に適用される。従って、本発明の範囲は、上記実施の形態に限定されるものではなく、特許請求の範囲の記載及び該記載と同等なものにより定められるべきである。

衛星ＤＭＢサービスにおけるオーディオストリーム構成の例を示す図である。 損傷されたデータを有するパケットを含む復元されたＡＡＣストリームの例を示す図である。 本発明の実施形態によるオーディオストリーム処理装置の構成を示すブロック図である。 本発明の実施形態による非同期式オーディオＰＥＳデータを処理する動作を示すフローチャートである。 本発明の実施形態によるＡＡＣストリームの復元を示す図である。

符号の説明

３００ ＴＳデマルチプレクサー
３０２ ＡＡＣストリーム復元部
３０４ システムオーディオストリーム生成部
３０６ リングバッファ
３０８ オーディオコーデック
３１０ 記録部

Claims (5)

1. 非同期式オーディオパッケタイズドエレメンタリー（ＰＥＳ）ストリームを処理する装置であって、
   前記ＰＥＳストリームのＰＥＳパケット中に損傷されたＰＥＳパケット内のオーディオデータトランスポートストリーム（ＡＤＴＳ）フレームのそれぞれをあらかじめ決定された代替ＡＤＴＳフレームに置き換えて、アドバンストオーディオコーディング（ＡＡＣ）ストリームを復元し、前記ＰＥＳパケットのうちの正常なＰＥＳパケットに残余フレームが存在する場合には、前記残余フレームを一時貯蔵しておいた後に、前記残余フレームが存在するＰＥＳパケットに続く正常なパケットに含まれているプレフィックスフレームと前記一時貯蔵した残余フレームとをまとめてＡＤＴＳフレームを復元するＡＡＣストリーム復元部と、
   前記ＡＡＣストリームのＡＤＴＳフレームのそれぞれに時間情報を有するヘッダーを付加して、システムオーディオストリームを生成するシステムオーディオストリーム生成部と、
   前記システムオーディオストリームをバッファリングするリングバッファと
   を具備することを特徴とするオーディオストリーム処理装置。
2. 前記ＡＡＣストリーム復元部は、
   前記損傷されたＰＥＳパケットに先行する正常なＰＥＳパケットに含まれているタイムスタンプと、前記損傷されたＰＥＳパケットに続く正常なＰＥＳパケットに含まれているタイムスタンプに基づいて、前記損傷されたＰＥＳパケットにより損失されたＡＤＴＳフレームの個数を算出し、前記算出された個数だけ前記損失されたＡＤＴＳフレームのそれぞれを前記代替ＡＤＴＳフレームに置き換えることを特徴とする請求項１記載のオーディオストリーム処理装置。
3. 前記代替ＡＤＴＳフレームは、
   黙音を圧縮したＡＤＴＳフレーム及び白色雑音を圧縮したＡＤＴＳフレームのうちのいずれか１つで定められることを特徴とする請求項１又は請求項２記載のオーディオストリーム処理装置。
4. 前記代替ＡＤＴＳフレームは、
   黙音を圧縮したＡＤＴＳフレームと、白色雑音を圧縮したＡＤＴＳフレームと、前記損傷されたＰＥＳパケットに先行する正常なＰＥＳパケットから復元された正常なＡＤＴＳフレームのうちのいずれか１つで定められることを特徴とする請求項１又は請求項２記載のオーディオストリーム処理装置。
5. 前記ＡＡＣストリーム復元部は、
   前記算出された個数があらかじめ決定された数よりも大きい場合に、前記損失されたＡＤＴＳフレームのそれぞれを前記黙音を圧縮したＡＤＴＳフレーム及び白色雑音を圧縮したＡＤＴＳフレームのうちのあらかじめ定められたＡＤＴＳフレームに置き換え、
   前記算出された個数が前記あらかじめ決定された数よりも大きくない場合に、前記損失されたＡＤＴＳフレームのそれぞれを前記正常なＡＤＴＳフレームに置き換えることを特徴とする請求項４記載のオーディオストリーム処理装置。