JP4520062B2

JP4520062B2 - 統計的にマルチプレックスされたｍｐｅｇ転送ストリームのデマルチプレクス方法

Info

Publication number: JP4520062B2
Application number: JP2001067030A
Authority: JP
Inventors: メイヤー・ディー・シュワルツ; ライアン・ピー・ヘイガー
Original assignee: タット・システムズ・インコーポレイテッド
Priority date: 2000-03-23
Filing date: 2001-03-09
Publication date: 2010-08-04
Anticipated expiration: 2021-03-09
Also published as: KR20010090514A; DE60103316D1; US7145912B1; KR100830960B1; EP1137287A3; EP1137287A2; JP2001309377A; DE60103316T2; EP1137287B1

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に、ビデオ圧縮に関し、特に、統計的にマルチプレックスされたＭＰＥＧ転送ストリーム（即ち、多数のプログラムがマルチプレックスされた転送ストリームである多数プログラム転送ストリームＭＰＴＳ：multiple program transport streams）を、ビデオ要素ストリームにいかなる変化も与えることなく、一定ビット・レート（ＣＢＲ：constant bit rate）の単一プログラムの転送ストリーム（ＳＰＴＳ：single program transport stream）にデマルチプレックスする簡単な方法に関する。
【０００２】
【従来の技術】
多数プログラム転送ストリーム（ＭＰＴＳ）内のビデオ要素ストリームの総ては、典型的には、可変ビット・レート（ＶＢＲ：variable bit rate）によりエンコードされている。一定ビット・レートが低すぎる場合には、ビデオ要素ストリームを変調することなく、多数プログラム転送ストリーム（ＭＰＴＳ）からの単一のストリームをデマルチプレックスすることが不可能になる。明らかに、これは、ＶＢＲストリームの平均ビット・レートがＣＢＲストリームの一定ビット・レートよりも高い場合である。この場合でさえ、Ｂ（Bidirectinally predictive-coded）型画像（双方向予測を用いるフレームのピクチャ）をヌルＢ型画像（新たなデータがない画像であり、バッファがオーバーフローした期間中、前にデコードした画像を繰り返す）に置換することにより、潜在的な視覚アーティファクト（歪）を改善することが通常は可能である。
【０００３】
【発明が解決しようとする課題】
統計的にマルチプレックスされたＭＰＴＳを多数の一定ビット・レート（ＣＢＲ）の単一プログラム転送ストリーム（ＳＴＰＳ）にデマルチプレックスする従来技術は、ビデオ・ストリームを変調（トランスコード：コード変換）していた。なお、より一般的には、これは、計算が非常に重要な処理であり、デマルチプレックスしたビデオの品質に好ましくない影響を与えた。かかる従来技術を用いた製品の例としては、アメリカ合衆国カリフォルニア州サンタ・クララのテラヨン・コミュニケーション・システムズが販売しているチェリーピッカー（CherryPicker）７０００型ビデオ・リマルチプレクサ（re-multiplexer）や、カナダ国オンタリオ州ワーテルローのピックスストリーム・インコーポレイテッドが販売しているＰＳ５０３０型マルチプレクサ・モジュールがある。
【０００４】
統計的にマルチプレックスしたＭＰＴＳにおいては、１画像当たりのビット・レートを広く分散させて、ビデオ・ストリームを可変ビット・レート（ＶＢＲ）としてエンコードしている。いくらかのスムージングがあるにもかかわらず、所定ビデオ・ストリーム用の転送パケット（ＴＰ：transport packet）により、ほとんどの場合、バーストとしてパターンが届く。いずれにしても、ビデオを記録したり又は変調しないで、一定ビット・レート（ＣＢＲ）ネットワーク接続内において、可変ビット・レート（ＶＢＲ）のビデオと、一定ビット・レート（ＣＢＲ）のオーディオとを有する完全な単一プログラム転送ストリーム（ＳＰＴＳ）に適合できることが望まれている。
【０００５】
本発明は、ビデオを記録又は変調することなく、統計的にマルチプレクサされたＭＰＥＧ転送ストリームを一定ビット・レート（ＣＢＲ）の単一プログラム転送ストリームにデマルチプレックスする簡単且つ確実な方法を提供するものである。
【０００６】
【課題を解決するための手段】
本発明は、統計的にマルチプレックスされたＭＰＥＧ転送ストリームを一定ビット・レートの単一プログラム転送ストリームにデマルチプレックスする方法であって；統計的にマルチプレックスされたＭＰＥＧ転送ストリームから可変ビット・レートの単一プログラム転送ストリームを分離し；画像をデコードする時点以前であって、特定時点、又は、その後できるだけ早く、可変ビット・レートの単一プログラム転送ストリームから画像を一定ビット・レートでスムージング・バッファにロードし；デコード時点にスムージング・バッファから画像を伝送することを特徴としている。
【０００７】
本発明による方法は、先ず、画像をデコードする前、又はその後できるだけ早く、１０又は１００ミリ秒のオーダの固定インターバルで画像を送る。各可変ビット・レートの単一プログラム転送ストリームの各々に対して、分離した論理スムージング（平滑）バッファを用いる。デコード時間になると、デコードするために、スムージング・バッファから画像を転送する。バッファがオーバーフローした場合、Ｂ型フレーム（Ｂ型画像のフレーム）をヌルＢ型フレーム（ヌルＢ型画像のフレーム）と置換して、このオーバーフロー状態が終わるまで、前にデコードした画像を繰り返すことにより、フリーズ・フレーム（フレームの固定）の効果を得る。
【０００８】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の説明から更に明らかになろう。
【０００９】
【発明の実施の形態】
図１は、統計的にマルチプレックスされたＭＰＥＧ転送ストリーム（ＭＰＴＳ）であって、互いにマルチプレックスされた可変ビット・レート（ＶＢＲ）の複数のプログラム（番組）を有するＭＰＴＳを示す図である。斜線を付した矩形で示すパケットは、単一のプログラム（番組）転送ストリームであるプログラム１を表し、これらパケットは総て同じプログラムの一部である。ＰＣＲ０ｍｓ及びＰＣＲ１．８０４８ｍｓの間に示すように、この間の約３分の１のパケットがプログラム１である。これらプログラム１のパケットは、１０ＭｂｓのＭＰＴＳストリーム・レート、即ち、１ＭＰＥＧ転送ストリームＭＴＳ（MPEG transport stream）パケット当たり０．１５０４ｍｓで他のプログラムのパケットとインターリーブしている。このインターバルにおけるプログラム１のビット・レートは、３．３３３３３Ｍｂｓである。次のＰＣＲ１．８０４８ｍｓ及びＰＣＲ２．１０５６ｍｓの間には、インターリーブされたパケットがないので、プログラム１のビット・レートは、ＭＴＳストリームの１０Ｍｂｓである。プログラム１用の異なるビット・レートは、例えば、イメージの複雑さ及びＭＰＥＧフレームの型式であるＩ型式（Intra-coded：予測を使わずそのままコード化する）、Ｐ型式（Predictive-coded：一方向の動き補償予測を用いてコード化する）又はＢ型式により決まる。
【００１０】
可変ビット（ＶＢＲ）の単一プログラム転送ストリーム（ＳＰＴＳ）は、パケットＰＩＤに基づいてＭＰＥＧ転送ストリーム（ＭＴＳ）から分離され、所望の一定ビット・レートで論理スムージング・バッファに入力して、一定ビット・レート（ＣＢＲ）の単一プログラム転送ストリーム（ＳＰＴＳ）を発生する。なお、ＰＩＤは、プログラム識別番号（Program IDentification number）のことであり、パケットＰＩＤは、そのパケットがどのプログラム用のものであるかを示す。各フレームに対するデコード・タイム・スタンプ（ＤＴＳ：decode time stamp）が示す時点で、一定ビット・レート（ＣＢＲ）の単一プログラム転送ストリーム（ＳＰＴＳ）をデコードして、ビデオ・ストリーム内のオリジナルのイメージを再生する。
【００１１】
図２は、本発明によりスムージング・バッファを用いて発生した一定ビット・レートの単一プログラム転送ストリームと入力可変ビット・レートの単一プログラム転送ストリームとの関係を示す図である。この図２に示すように、所望の一定ビット・レート（ＣＢＲ）よりも低い平均ビット・レート（ＡＢＲ：average bit rate）の単一プログラム転送ストリーム（ＳＰＴＳ）にとって、可変ビット・レート（ＶＢＲ）のＳＰＴＳがＣＢＲを超える時点がある。本発明を用いない場合、これにより、画像がデコードされず、その結果、次のフレームがデコードされなければ、前のフレームを繰り返すので、繰り返しフレームとなる。関連したデコード・タイム・スタンプ（ＤＴＳ）が示す時点にて、デコーダが次の完全なイメージ又はフレームを利用できるようになるまで、静止フレームが維持される。この望ましくない異常を避けるために、本発明による解決方法では、フレーム用パケットのバッファへのロードを開始するので、デコード時点になると、図３に示し、詳細に後述するように、フレームの全データがデコード用に利用可能となる。
【００１２】
Ｂｕｆ_nは、統計的にマルチプレックスされたＭＰＥＧ転送ストリーム（ＭＰＴＳ）内の可変ビット・レート（ＶＢＲ）のビデオ基本ストリームｎ用のスムージング・バッファを示す。変数ｔｄ_n（ｊ）は、システム・ターゲット・デコーダ内のビデオ基本ストリームｎのｊ番目の画像におけるデコード時点である。デコード時点は、秒により測定され、基本ストリームｎを含むプログラム用のシステム・クロックＰＣＲに基づく。変数ｔ_n ⁱ（ｊ）は、基本ストリームｎのｊ番目の画像のｉ番目の転送ストリーム（ＴＳ）パケットがスムージング・バッファＢｕｆ_nに入る時点である。再び、時間を秒単位で測定するが、この時間は、基本ストリームｎを含むプログラム用のシステム・クロックに関係する。Ｒ_nは、図２に示す所望ビット・レートに基づいているが、これは、ビデオを伝送しない単一プログラム転送ストリーム（ＳＰＴＳ）内のパケットのビット・レートよりも低い所望ビット・レートである。また、このＲ_nは、ビデオ基本ストリームｎを有するＴＳパケットがスムージング・バッファＢｕｆ_nに入る際の一定レートである。このレートは、１秒当たりのビットを単位として決める。最後に、δ_nは、ビデオ基本ストリームＴＳパケットがスムージング・バッファＢｕｆ_nに入ることができるデコード時点の前で、最も早い時間である。ここでも、時間は、秒で与える。
【００１３】
バッファ・サイズ｜Ｂｕｆ_n｜は、｜Ｂｕｆ_n｜＝Ｒ_nδ_nで与えられる。ビデオ基本ストリームｎを含む転送ストリーム（ＴＳ）パケットは、次の状態に遭遇するとできるだけ早くＢｕｆ_nに入る。
１．パケットがＢｕｆ_nに入るレートがＲ_nにより制限される状態。
２．ビデオ基本ストリームｎの任意の画像ｊと、画像ｊを含む総てのＴＳパケットに対して、ｔ_n ⁱ（ｊ）＋δ_n＞＝ｔｄ_n（ｊ）となる状態。
３．時点ｔｄ_n（ｊ）にて、パケットｔ_n ⁱ（ｊ）の総てが除去される状態。
４．バッファＢｕｆ_nが一杯ならば、即ち、Ｒ_nδ_nビットを含んでいて、新たなパケットが入らない状態。
【００１４】
バッファＢｕｆ_nがオーバーフローしない又はアンダーフローしないならば、バッファ・モデルを満足する、即ち、バッファが通常動作をする。ビデオ基本ストリームｎの任意の画像ｊ、及び画像ｊを含む任意のＴＳパケットに対して、ｔ_n ⁱ（ｊ）＞ｔｄ_n（ｊ）のときに、オーバーフロー又はアンダーフローが生じる。
【００１５】
オーバーフローの場合、このオーバーフローが終わるまで、Ｂ型フレームをヌルＢ型フレームと置換する。これにより、デコーダが前のビデオ・フレームを繰り返すという効果がある。この点は、例えば、本願出願人に譲渡されたダグラス・シー・ステバンス等のアメリカ合衆国特許出願第０９／１１３６６９号「圧縮されたビデオ・ストリームの間で切替を行う際のビット・レートの再調整」（特開２０００−５０２６６号公報に対応）にも記載されている。
【００１６】
上述は、可変ビット・レートの一連のフレームを示す図３にも示されている。フレーム１に対するデコード・タイム・スタンプＤＴＳの前の時間δにおいて、フレーム１がバッファにロードされる。このバッファは、連続的なＤＴＳ時点の間に複数の等しい容量のスロットを有すると考えることができる。フレーム１は、１スロットの容量よりも少ないビットを有するので、フレーム２のＤＴＳの前で時間δにて、フレーム２がバッファにロードされる前にギャップが生じる。同様に、フレーム３は、ＤＴＳ₃の前の時間δでロードされる。フレーム３は、１つのスロットにフィットするよりも多くのビットを有するので、その後できるだけ早く、フレーム４がバッファにロードされる。次に、フレーム５ができるだけ早くバッファにロードされる。フレーム５の終わりは、フレーム５のＤＴＳ時点をほとんど超えて、バッファがオーバーフローの危険状態となる。しかし、次のフレーム６、７及び８の各々は、１スロットよりも少ないビットを有するので、バッファの容量状態が緩和する。
【００１７】
【発明の効果】
よって、本発明は、スムージング・バッファを用いて、画像をデコードする必要になる前に、固定インターバルまででのできるだけ早い時点で、ストリーム内のビデオ画像を所望一定レートでスムージング・バッファにロードするので、統計的にマルチプレックスされたＭＰＥＧ転送ストリームを一定ビット・レートの単一プログラム転送ストリームに確実且つ簡単にデマルチプレックスできる。
【図面の簡単な説明】
【図１】可変ビット・レートの単一プログラム転送ストリームを有し、統計的にマルチプレックスされたＭＰＥＧ転送ストリームを示す図である。
【図２】本発明によりスムージング・バッファを用いて発生した一定ビット・レートの単一プログラム転送ストリームと入力可変ビット・レートの単一プログラム転送ストリームとの関係を示す図である。
【図３】本発明により、デコード時点の前、又はその後できるだけ早く、固定時点にて開始する一定ビット・レートでのスムージング・バッファへの画像のロードを示すタイミング図である。

Claims

統計的にマルチプレックスされたＭＰＥＧ転送ストリームを一定ビット・レートの単一プログラム転送ストリームにデマルチプレックスする方法であって、
上記統計的にマルチプレックスされたＭＰＥＧ転送ストリームから、一連の画像で構成される可変ビット・レートのプログラムであって各画像がデコード・タイム・スタンプを有するものを具備する特定の単一プログラム転送ストリームを分離する工程と、
上記可変ビット・レートのプログラムから所望の一定ビット・レートでｊ番目の画像をスムージング・バッファにロードする工程と、
（ｊ＋１）番目の画像のデコード・タイム・スタンプによって示された時点よりも前の時点δより遅くなることなくｊ番目の画像をスムージング・バッファにロードすることが完了された場合、上記（ｊ＋１）番目の画像のデコード・タイム・スタンプによって示された時点よりも前の時点δから始めて、上記所望の一定ビット・レートで（ｊ＋１）番目の画像をスムージング・バッファにロードする工程と、
上記（ｊ＋１）番目の画像のデコード・タイム・スタンプによって示された時点よりも前の時点δより遅くなるまでｊ番目の画像をスムージング・バッファにロードすることが完了しない場合、上記ｊ番目の画像のロードが完了したほぼ直後から始めて、上記所望の一定ビット・レートで（ｊ＋１）番目の画像をスムージング・バッファにロードする工程と、
上記スムージング・バッファから上記（ｊ＋１）番目の画像のデコード・タイム・スタンプによって示された時点で上記（ｊ＋１）番目の画像を伝送する工程を具備する方法。
上記スムージング・バッファが上記所望の一定ビット・レートにδを掛けたのと同等の容量を有することを特徴とする上記請求項１に記載の方法。
上記スムージング・バッファがオーバーフロー状態のときに、このオーバーフロー状態が終わるまで、上記スムージング・バッファへの入力におけるＢ型画像をヌルＢ型画像に置換することを特徴とする上記請求項１又は２に記載の方法。
所望の一定ビット・レートよりも低い平均ビット・レートを有すると共に上記の所望の一定ビット・レートよりも大きな最大ビット・レートを有する可変ビット・レートの単一プログラム転送ストリームであって、該単一プログラム転送ストリームが一連の画像からなり各画像がデコード・タイム・スタンプを有するものであるもののビット・レートを調整する方法であり、上記方法が、
（ａ）上記一連の画像のうちｊ番目の画像をスムージング・バッファにロードする工程と、
（ｂ）デコードのために、上記スムージング・バッファから上記ｊ番目の画像を伝送する工程と、
（ｃ）（１）（ｊ＋１）番目の画像のデコード・タイム・スタンプによって示された時点よりも前の時点δより遅くなることなくｊ番目の画像をスムージング・バッファにロードすることが完了された場合、上記（ｊ＋１）番目の画像のデコード・タイム・スタンプによって示された時点よりも前の時点δから始めて、上記所望の一定ビット・レートで（ｊ＋１）番目の画像をスムージング・バッファにロードする工程と、
（ｃ）（２）上記（ｊ＋１）番目の画像のデコード・タイム・スタンプによって示された時点よりも前の時点δより遅くなるまでｊ番目の画像をスムージング・バッファにロードすることが完了しない場合、上記ｊ番目の画像のロードが完了したほぼ直後から始めて、上記所望の一定ビット・レートで（ｊ＋１）番目の画像をスムージング・バッファにロードする工程と、
（ｄ）上記スムージング・バッファから上記（ｊ＋１）番目の画像のデコード・タイム・スタンプによって示された時点で上記（ｊ＋１）番目の画像を伝送する工程を具備する方法。