JP4160278B2 - 媒体ストリームのスケーラブル符号化方法、スケーラブルエンコーダおよびマルチメディア端末 - Google Patents

媒体ストリームのスケーラブル符号化方法、スケーラブルエンコーダおよびマルチメディア端末 Download PDF

Info

Publication number
JP4160278B2
JP4160278B2 JP2001215833A JP2001215833A JP4160278B2 JP 4160278 B2 JP4160278 B2 JP 4160278B2 JP 2001215833 A JP2001215833 A JP 2001215833A JP 2001215833 A JP2001215833 A JP 2001215833A JP 4160278 B2 JP4160278 B2 JP 4160278B2
Authority
JP
Japan
Prior art keywords
data stream
bit rate
encoding
encoder
scalable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001215833A
Other languages
English (en)
Other versions
JP2002100994A (ja
Inventor
パルッキネン テーム
オヤラ パシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2002100994A publication Critical patent/JP2002100994A/ja
Application granted granted Critical
Publication of JP4160278B2 publication Critical patent/JP4160278B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は一般に媒体ストリームの符号化に関する。特に、本発明はスケーラブル符号化方法およびスケーラブルエンコーダに関する。
【０００２】
【従来の技術】
一般に媒体ストリームは、例えば通信網を介して伝送され、または、さらなる使用のために記憶される以前に、符号化、すなわち、圧縮される。媒体ストリームは、例えば、一連のビデオフレームであるビデオクリップ、あるいは、一般にディジタル化された音声もしくは音楽であるオーディオクリップであってもよい。例えば、マルチメディアに適用する場合、いくつかの媒体ストリームが同時に伝送され得る。
【０００３】
適当なデコーダを用いて、符号化済み媒体ストリームから、符号化された元の媒体ストリームに類似するかもしくは正確に同じである、復号された媒体ストリームを生成することが可能である。復号化済み媒体ストリームが元の媒体ストリームと同じであるならば、符号化は無損失である。しかし、大抵の符号化方法は符号化される媒体ストリームに対して損失を生じさせる。
【０００４】
用語「スケーラビリティ」は、媒体ストリームを種々のデータレートにおいて復号化可能な圧縮されたストリームに符号化することを意味する。一般に符号化済みデータストリームの一部分は、復号化することによって元の媒体ストリームの知覚的品質より不良の知覚的品質をもつ復号化済み媒体ストリームを生成するコアデータストリームである。符号化済みデータストリームはさらに他のエンハンスメントデータストリームを備え、これらのエンハンスメントデータストリームがコアデータストリームに加えて復号化処理に用いられると、復号化済み媒体ストリームの知覚的品質が高められる。スケーラブルマルチメディアストリームはこれらのコアおよびエンハンスメントストリームを有するので、比較的容易に操作可能であり、同時に、種々の帯域幅をもつ回線全体にわたってストリーム化可能であり、依然として復号化可能であり、さらにリアルタイムにプレイバック可能であるように圧縮される。
【０００５】
スケーラビリティは、異成分から成り立ち、かつエラーを生じ易い環境に関して望ましい特質である。スケーラビリティは、伝送ビットレート、ネットワークのスループット、および、デコーダの複雑さに関する拘束条件のような限定条件に対処するために望ましい。マルチキャストもしくはブロードキャスト伝送においては、例えば、スケーラブル符号化は様々な受信機が種々のデータレートにおいてデータを受信すること、または、伝送された符号化済みデータストリームを共通コアデコーダを備えた種々のデコーダを用いて復号化することを可能にする。さらに、スケーラビリティは移送システムにおけるエラー許容力を改良するために用いられる。この場合、スケーラブル符号化は移送優先順位化（ｔｒａｎｓｐｏｒｔ ｐｒｉｏｒｉｔｉｓａｔｉｏｎ）と組合わされる。ここに、用語「移送優先順位化（ｔｒａｎｓｐｏｒｔ ｐｒｉｏｒｉｔｉｓａｔｉｏｎ）」は、種々のエラー／損失比率を有する種々のチャネルを提供するために、移送において同等でないエラー保護措置を含む種々の品質のサービスを提供するための様々なメカニズムを意味する。データは、それらの性質に応じて、例えば、符号化済みコアデータストリームは高度のエラー保護措置を備えたチャネルを介して送出され、また、エンハンスメントデータストリームはより多くのエラーを生じ易いチャネルを介して伝送されるように、一様でなく割り当てられる。
【０００６】
図１は、スケーラブルエンコーダ１００および対応するデコーダ１３０を概略的に呈示する。媒体ストリーム１０１は、コアデータストリーム１０２およびエンハンスメントデータストリーム１０３を生成するスケーラブルエンコーダ１００に入力される。一般に、これらのデータストリームは、符号化されたスケーラブルデータストリーム１０４を生成するマルチプレクサ１１０に供給される。次に、この多重化されたデータストリームは、例えば、さらに伝送され、または、さらなる使用のために記憶される。復号化に際して、符号化済みスケーラブルデータストリーム１０４はデマルチプレックサ１２０においてコアデータストリーム１０２および可能なエンハンスメントデータストリーム１０３に逆多重化される。例えば、エンハンスメントデータストリームは、例えば伝送資源が限定されているので、受信したデータストリーム１０４内には存在しないことが可能である。デコーダ１３０は、入力として、コアデータストリーム１０２およびエンハンスメントデータストリーム１０３を取り、復号化済みオーディオ信号１０５を生成する。復号化済みオーディオ信号１０５の知覚的品質は、一般に、復号化にエンハンスメントデータストリーム１０３が用いられるかどうかに依存する。ある特定のデコーダは特定のエンハンスメントデータストリームを利用できないが、それでもなお、コアデータストリーム１０２を復号化することが可能であることもあり得る。
【０００７】
図２は、一般に音声および／または他のオーディオ信号を含むマルチメディアオーディオストリームを符号化するためのスケーラブルオーディオエンコーダの一例を概略的に示す。スケーラブルエンコーダ２００は、例えば音声を符号化するために特に設計されたコアエンコーダ２１０を含む。このエンコーダは、例えば、４．７５〜１２．２ｋｂｉｔ／ｓ間の公称レートにおいて作動する様々なモデムを有する３ＧＰＰＡＭＲ（適応マルチレート）音声エンコーダであってもよい。スケーラブルエンコーダ２００は、さらに、一般的なオーディオストリームを符号化するために設計されたエンハンスメントエンコーダ２３０を含む。エンハンスメントエンコーダは、例えば、ＭＰＥＧ−４ ＡＡＣオーディオエンコーダによって構成されてもよい。コアエンコーダ２１０は、オーディオストリーム１０１からコアデータストリーム１０２を生成する。コアデータストリーム１０２は、コアデータストリームを復号化し、復号化済みコアデータストリーム２０１を生成するコアデコーダ２２０に供給される。差ストリーム２０２は、元のオーディオストリーム１０１と復号化済みコアデータストリーム２０１との間の差であり、元のオーディオストリーム１０１と共にエンハンスメントエンコーダ２３０に供給される。元のオーディオストリーム１０１は、一般に量子化器ビット割当用心理音響学的モデルを決定するためにエンハンスメントエンコーダ２３０に必要とされる。エンハンスメントエンコーダ２３０はエンハンスメントデータストリーム１０３を生成する。コアデータストリーム１０２およびエンハンスメントデータストリーム１０３はマルチプレクサ１１０において符号化済みスケーラブルデータストリーム１０４に多重化される。図２はコアおよびエンハンスメントエンコーダの出力バッファであるコアバッファ２４０およびエンハンスメントバッファ２５０を示す。
【０００８】
図３は、スケーラブルエンコーダ２００に対応するデコーダ３００を概略的に示す。符号化済みスケーラブルデータストリーム１０４は、コアデコーダ２２０に供給されるコアデータストリーム１０２と、エンハンスメントデコーダ３１０に供給されるエンハンスメントデータストリーム１０３と、に逆多重化される。コアデコーダ２２０は、一般に、スケーラブルエンコーダ２００内に所在するエンコーダに類似し、復号化されたコアデータストリーム２０１を生成する。エンハンスメントデコーダ３１０は、復号化済みコアデータストリーム２０１と組合わされる復号化済みエンハンスメントデータストリーム３０１を生成する。結果として復号化済みオーディオ信号１０５が得られる。
【０００９】
【発明が解決しようとする課題】
一般に、ただし必須条件としてではないが、コア音声エンコーダは、エンハンスメントオーディオエンコーダより低いビットレートおよびサンプリング周波数で動作する。コアエンコーダおよびエンハンスメントエンコーダの各サンプリングレートは、どのエンコーダが使用されるかに応じて、同じであるかもしくは異なる。通常、符号化済みエンハンスメントデータストリームは、さらに高い帯域幅信号成分を加えることによって合成された信号の知覚的品質を改良する。
【００１０】
スケーラブルオーディオマルチメディアエンコーダにおいて、コア音声エンコーダは、多くの場合に音声アクティビティ検出（Ｖｏｉｃｅ ＡｃｔｉｖｉｔｙＤｅｔｅｃｔｉｏｎ：ＶＡＤ）および非連続伝送（Ｄｉｓｃｏｎｔｉｎｕｏｕｓ Ｔｒａｎｓｍｉｓｓｉｏｎ：ＤＴＸ）を使用して、一般に一定ビットレートで作動する。他方、エンハンスメントレイヤエンコーダは、一般に、可変レートで作動する。コアおよびエンハンスメントエンコーダに関する目標ビットレートは、一般に、伝送チャネルの伝送レートに基づいて独立的に調節される。伝送レートは一般に公称伝送レートである。符号化済みスケーラブルデータストリームを伝送可能にするためには、このデータストリームのビットレートは、もちろん平均値として、利用可能な伝送レート未満でなくてはならない。
【００１１】
符号化アルゴリズムがマルチメディアデータを効果的に圧縮する場合であっても、特に無線インタフェース全体にわたって作動する端末における処理の制限要因は伝送容量であり、従って、この限定された資源の使用を最適化することは非常に重要である。一般的に、スケーラブルマルチメディア符号化は、非スケーラブル符号化よりも圧縮効率が悪いことが難点である。換言すれば、全てのエンハンスメントレイヤを用いるスケーラブルマルチメディアクリップとして符号化されたマルチメディアクリップは、等価知覚的品質をもつ非スケーラブル単一レイヤクリップとして符号化されるよりも更に大きい帯域幅を必要とする。スケーラブル符号化の使用は、多数の利点をもつので、高度に望ましいことであり、従って、利用可能な伝送容量のさらに効率的な使用を可能にする方法が実行可能であるならば、有利であるといえる。
【００１２】
伝送されるべきコアおよびエンハンスメントデータはマルチプレクサバッファに一時的に記憶され、伝送されるべきデータチャンクは、例えば周期的に、そこから抽出される。一般に、最も古いデータはマルチプレクサバッファから抽出され、コアデータストリームとエンハンスメントデータストリームとのビットレートの比率は、伝送されるデータフローにおける、コアデータストリームとエンハンスメントデータストリームとの比率を決定する。この場合、例えば、可変レートオーディオエンコーダは、データバーストの伝送がコア音声データの伝送に遅延ジッタを引き起こす程大きいデータのバーストを生成することがあり得る。その代りに、コアデータストリームを伝送するためには使用されない伝送容量を用いてエンハンスメントデータストリームが伝送されるように、コア（音声）データを優先させることが可能である。このような方法において、コアデータストリームが適切に伝送されることをさらに良好に保証することが可能である。
【００１３】
マルチプレクサバッファ内の利用可能な空間は、コアおよびエンハンスメントデータビットレートの和に等価な全ビットレートにおいて、データはマルチプレクサバッファへ挿入される時のコアおよびエンハンスメントデータストリームのビットレートならびにデータがマルチプレクサバッファから抽出される伝送ビットレートによって決定される。マルチプレクサバッファはある特定のサイズである。一般に、コアおよびエンハンスメントデータストリームの少なくとも１つのレートは可変であり、したがって、データバーストは、残りのマルチプレクサバッファ空間を満たすか、あるいは、バッファ内に完全には記憶され得ないこともある。この状況はマルチプレクサバッファオーバフローと呼ばれる。瞬間的伝送レートの動的変化は、マルチプレクサバッファオーバフローを引き起こす可能性のある原因の別の例である。ある時間中、伝送レートが減少した場合には、データは、しばらくの間、更に小さいレートにおいて、マルチプレクサバッファから抽出され、マルチプレクサバッファの占有率は増大し、おそらく、マルチプレクサバッファはオーバフローすることになる。この種の状況において、さらにデータバーストがある場合には、マルチプレクサバッファがオーバフローする危険性はさらに増加する。さらに大きいマルチプレクサバッファを用いることによってマルチプレクサバッファがオーバフローする問題を克服しようと試みることは可能であるが、この方法では一般に伝送遅延の増大することになる。さらに、大部分の時間中は余分の空間は必要ではないので、大きいバッファは問題の解決には非能率的な方法である。
【００１４】
本発明の目的は、マルチメディアデータストリームの、汎用性の高いスケーラブル符号化方法、スケーラブルエンコーダ、ならびに、スケーラブルエンコーダを有するマルチメディア端末を提供することにある。本発明のさらなる目的は、マルチプレクサバッファオーバフロー危険の大幅減少が可能であるスケーラブル符号化方法、スケーラブルエンコーダ、ならびに、スケーラブルエンコーダを有するマルチメディア端末を提供することにある。さらなる目的は、符号化済みスケーラブルデータストリームは、種々の、かつダイナミックに変化する状況に適合するように調節可能であるスケーラブル符号化方法、スケーラブルエンコーダ、および、スケーラブルエンコーダを備えたマルチメディア端末を提供することにある。
【００１５】
【課題を解決するための手段】
本発明のこれらおよびさらなる目的は、コアデータストリームとエンハンスメントデータストリームとに関する目標ビットレートの比率を決定すること、ならびに、伝送レートが許す限り、この比率が実質的に維持される方法において、コアデータストリームおよびエンハンスメントデータストリームを調節することによって達成される。
【００１６】
本発明によるスケーラブルエンコーダは媒体信号を符号化するためのエンコーダであり、
媒体信号に関するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム、を生成するための第１符号化手段と、
媒体信号に関する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム、を生成するための第２符号化手段と、
少なくとも第１データストリームと第２データストリームとを組み合わせて第３データストリームにするマルチプレクサと、を備え、ここにおいて、制御情報を受信し、制御情報に従って第３データストリームにおける第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を決定し、かつ第１データストリームと第２データストリームとを調節することによって好適な比率を維持するように構成される制御手段と、を備え、
前記第１符合化手段および前記第２符号化手段の少なくとも１つが一組の利用可能な符号化アルゴリズムを備えるマルチレート符号化手段であり、
前記制御手段が、前記第１符合化手段および前記第２符号化手段のうちの１つによって生成された少なくとも前記データストリームに関する目標ビットレートを決定する手段と、前記一組の符号化アルゴリズムの中の符号化アルゴリズムを選択し、前記選択された前記符号化アルゴリズムを前記第１符合化手段および前記第２符号化手段のうちの１つに指示する手段であって、前記第１符合化手段および前記第２符号化手段のうちの１つは前記指示された符号化アルゴリズムを使用するように構成されている手段と、を有することを特徴とする。
さらに、本発明による他のスケーラブルエンコーダは、媒体信号を符号化するスケーラブルエンコーダであって、
前記媒体信号に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム、を生成する第１符号化手段と、
前記媒体信号に関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム、を生成する第２符号化手段と、
少なくとも前記第１データストリームと前記第２データストリームとを組み合わせて第３データストリームにするマルチプレクサと、
制御情報を受信し、前記制御情報に従って前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を決定し、かつ前記第１データストリームおよび前記第２データストリームを調節することによって前記好適な比率を維持するように構成された制御手段と、
前記第１データストリームに関する第１目標ビットレートと前記第２データストリームに関する第２目標ビットレートとを前記制御情報に従って連帯的に決定する手段と、
伝送に関する前記マルチプレクサからのデータを記憶するマルチプレクサバッファと、を備え、
前記マルチプレクサバッファの占有レベルを指示する制御情報を送出する制御手段へ前記マルチプレクサバッファが接続され、前記占有レベルが前記マルチプレクサバッファに記憶されているデータの現行量を示し、
前記第１データストリームに関する第１目標ビットレートと前記第２データストリームに関する第２目標ビットレートとを連帯的に決定する手段が、前記バッファの前記占有レベルがある特定の第１しきい値より下である限り前記目標ビットレートの前記比率が実質的に一定であるように前記目標ビットレートを調節するように構成されることを特徴とする。
【００１７】
本発明によるマルチメディア端末は、媒体信号に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム、を生成するための第１符号化手段を含むスケーラブルエンコーダと、媒体ストリームに関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム、を生成するための第２符号化手段と、少なくとも第１データストリームと第２データストリームとを組み合わせて第３データストリームにするマルチプレクサと、制御情報を受信し、制御情報に従って第３データストリームにおける第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を決定し、かつ第１データストリームと第２データストリームとを調節することによって好適な比率を維持するように構成される制御手段と、前記第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を示す優先情報を入力する入力エレメントと、を備え、前記優先情報が制御情報として前記制御手段へ送出されることを特徴とする。
【００１８】
本発明は媒体信号をスケーラブル符号化するための方法にも関し、
媒体信号に対応するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリームへ、媒体信号を符号化するステップと、
媒体信号に対応する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリームへ、媒体信号を符号化するステップと、
少なくとも第１データストリームと第２データストリームとを多重化して第３データストリームにするステップと、
制御情報を受信するステップと、
第３データストリームにおける第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を制御情報に従って決定するステップと、
第１データストリームと第２データストリームとを調節することによって好適な比率を維持するステップと、
前記第１データストリームの目標ビットレートと前記第２データストリームの目標ビットレートとに関する好ましい比率を前記制御情報に従って決定するステップと、
前記目標ビットレートを連帯的に決定するステップと、
前記第３データストリームをバッファに供給するステップと、
前記バッファの占有レベルを決定するステップと、を備え、
前記バッファの占有レベルがある特定の第１しきい値よりも下である時には、前記目標ビットレートの比率が実質的に前記好ましい比率であり、
前記バッファの占有レベルがある特定の第２しきい値よりも下である時には、前記第１データストリームに関する前記目標ビットレートが前記媒体信号の内容より決定される選択係数値に基づいて選択される、ことを特徴とする。
【００１９】
ここに、用語「制御情報」は、組合わされた符号化済みデータストリームにおけるコアデータストリームとエンハンスメントデータストリームとの目標組合わせ決定に際して用いられる情報を意味する。伝送レートおよびコア（第１）およびエンハンスメント（第２）データストリームのビットレートにおける可能性のある変化は、マルチプレクサバッファの占有率に変化を生じさせる。従って、マルチプレクサバッファの占有率を示す情報は、コアおよびエンハンスメントストリームに関する目標ビットレートを決定するためのフィードバック制御を提供するために用いられる制御情報の一例である。制御情報の他の例は、例えば、コアデータストリームとエンハンスメントデータストリームとの組合わせに関係するユーザ優位性である。ユーザ優位性情報は送信、および／または、受信ユーザ／端末から発信可能である。
【００２０】
本発明における主要な着想の１つは、コアデータストリームおよびエンハンスメントデータストリームに関する目標ビットレートを独立して調節する代わりに、これらのデータストリームに関する適当な組合わせを連帯的に決定することである。例えばマルチプレクサバッファ占有率情報を用いてデータストリームを制御することにより、スケーラブルエンコーダの動作は現行目的、および、例えば伝送チャネル状態に調節可能である。また、限定された伝送容量は解決方法と比較してさらに適切に用いられる。この場合、エンハンスメントデータストリームのビットレートのみが調節されるか、または、コアおよびエンハンスメントデータストリームのビットレートが独立して調節される。
【００２１】
さらに、コアおよびエンハンスメント両データストリームのビットレートが連帯的に調節される時には、ビットレート間において所与の比率を維持することが可能である。他方、例えば、ユーザがオーディオよりも音声の方を好む場合には、オーディオストリームのビットレートを著しく減少させ、かつ伝送された音声の知覚品質を維持しようと試みることが可能である。従って、汎用性の高いスケーラブル符号化は、本発明を適用することによって可能である。本発明に従って媒体ストリームを符号化する時には、コアもしくはエンハンスメントデータストリームのどちらかあるいは両方のビットレートが調節可能であり、従って、利用可能な伝送容量はさらに徹底的に（余すところなく）使用可能である。コアおよびエンハンスメントデータストリームのこの連帯的な制御により、マルチプレクサバッファのオーバフローの危険性も減少され、その結果として、最適の場合においては、バッファ空間全体を減少させることが可能であり、それによって、伝送遅延も減少可能である。マルチプレクサバッファにおいて極く限られた量の利用可能空間のみが存在する状況において、本発明に従い、例えば、エンハンスメントデータストリームのビットレートのみを減少させる代わりに、コアおよびエンハンスメントの両データストリームのビットレートを減少させることが可能である。
【００２２】
スケーラブルエンコーダは一組のエンハンスメントデータストリームを生成可能である。この場合、一組のエンハンスメントデータストリームを形成するコアデータストリームおよびエンハンスメントデータストリームは符号化されたスケーラブルデータストリームへ多重化される。例えば、マルチプレクサバッファの占有率がある特定のしきい値および／または各エンハンスメントデータに割当てられたビットレートよりも大きい時には、エンハンスメントデータストリームの数量が調節可能である。各エンハンスメントデータストリームに割当てられたビットレートは独立して調節可能であるか、あるいは、例えば、各エンハンスメントデータストリームに割当てられたビットレートは同様の方法で調節可能である。
【００２３】
本発明によるスケーラブルエンコーダは符号化構成の一部分であり得る。この場合、例えば、オーディオ信号およびビデオ信号の両方が符号化される。この種の符号化構成は、例えば、２つのスケーラブルエンコーダ（１つはオーディオ信号用、１つはビデオ信号用）、あるいは、１つの非スケーラブルエンコーダおよび１つのスケーラブルエンコーダを備える。
【００２４】
添付されている従属請求項は本発明のいくつかの好適な実施形態について記述する。
【００２５】
【発明の実施の形態】
図１から３は従来技術によるスケーラブルエンコーダの記述に関連して議論された。
【００２６】
本発明の詳細な説明において、一例として１つのエンハンスメントデータストリームについて議論する。本発明によるスケーラブルエンコーダは複数のエンハンスメントデータストリームで構成されたエンハンスメントデータストリームの一集合を生成することが可能である。
【００２７】
図４は本発明の好適な第１の実施形態によるスケーラブルエンコーダの構成４００を概略的に示す。これは、コアデータストリーム１０２およびエンハンスメントデータストリーム１０３のビットレートを調節するように構成されたスケーラブルエンコーダ４１０および制御ユニット４２０を備える。制御ユニット４２０は、コアおよびエンハンスメントデータストリームの目標組合わせの決定に使用する制御情報４０１を受信する。目標平均ビットレートおよび／または目標最大ビットレートであり得る一般に適当な目標ビットレートは、コアおよびエンハンスメントデータストリームに関して決定される。制御ユニット４２０は、目標組合わせを決定することに加えて、コアデータストリームおよびエンハンスメントデータストリーム４０２、４０３の現行ビットレートも監視し、さらに、例えば、選定された目標ビットレートが達成されるようにエンコーダを調節することが可能である。現行ビットレートは一般にスケーラブルエンコーダ４１０の出力バッファ４３１，４３２を用いて測定される。
【００２８】
図５は本発明の好適な第２の実施形態によるスケーラブルエンコーダの構成５００を概略的に示す。このスケーラブルエンコーダ５００は、一例として、音声コアエンコーダ２１０およびオーディオエンハンスメントエンコーダ２３０を備える。音声エンコーダおよびオーディオエンコーダは図２に関連して示されるエンコーダに一般的に類似する。例えば、音声エンコーダは、種々の公称ビットレートにおける符号化済み音声を生成する利用可能な特定な一組の符号化アルゴリズムを備えた可変レート音声エンコーダもしくはマルチレート音声エンコーダであってもよい。可変レート音声エンコーダは、例えば、下記の文献に記載されている可変レート音声エンコーダであってもよい。すなわち、「Ｔｏｌｌ ｑｕａｌｉｔｙ ｖａｒｉａｂｌｅ ｒａｔｅ ｓｐｅｅｃｈ ｃｏｄｅｃ」、Ｐａｓｉ Ｏｊａｌａ、音響装置、音声および信号処理に関するＩＥＥＥ国際会議議事録、ミュンヘン、ドイツ、１９９７年４月。マルチレート音声に関しては、例えば、３ＧＰＰ ＡＭＲ（適応マルチレート）音声エンコーダであってもよい。
【００２９】
図５においては、可能な２つの制御情報源を例として示す。マルチプレクサバッファ５２０の占有レベルに関する制御情報として制御情報４０１ｂを使用することが可能である。例えば、伝送チャネルの伝送容量がダイナミックに変化しているとき、または、特定期間中にエンハンスメントデータストリームのビットレートが急激に増加した場合には、従来技術の記述を参照して既に検討済みであるように、マルチプレクサバッファがオーバフローする危険がある。本発明によれば、マルチプレクサバッファがオーバフローする危険がある時には、組合わされたデータストリームのビットレートを減少させるためにコアデータストリームおよび／またはエンハンスメントデータストリームの目標ビットレートを減少させることが可能である。
【００３０】
また、図５は優先情報５０１を受信するための入力エレメント５１０を示す。入力エレメントは一般にエンコーダ５００がその一部であるマルチメディア端末の一部である。入力エレメント５１０に供給される優先情報５０１は多くの種々の供給源から発信可能である。入力は伝送端末のユーザから到来することがあり得る。この場合、入力エレメントは一般にマルチメディア端末のユーザインタフェースの一部である。用語「ユーザインタフェース」は、例えば、フォーマットされた優先表示へユーザによって与えられたコマンドを変換するためのキーボード、スクリーン、および、適切なソフトウェアの組合わせ体を意味する。この解決方法における、優先性は、例えば、スライドスイッチの支援を得て、調節され得る。この場合、スイッチをそのスケールの一方の終端部に配置することは高品質音声に関する全面的な優先性を意味し、また、スイッチをそのスケールの反対側の終端部に配置することは高品質オーディオに関する対する全面的な優先性を意味し、さらに、スイッチをこれらの中間に配置することは音声とオーディオとの間のトレードオフの方向を表示する。入力はいくつかの外部供給源、例えば、受信するユーザから到来することもあり得る。この場合、入力エレメントはマルチメディア端末の受信機能の一部である。例えば、制御入力は、例えば、呼（コール）制御またはインバンドシグナリングの一部として受信されることもあり得る。情報は、更新された通信期間中において、その通信の開始時に提供され得る。さらに、コアおよびエンハンスメントデータストリームの適切な組合わせを表示する特定のプリセットされた値がマルチメディア端末またはエンコーダ自体に記憶される。これらのプリセットされた値は、例えば、伝送チャネルビットレートに依存する。
【００３１】
優先情報５０１は、符号化されたスケーラブルデータストリーム１０４内のコアおよびエンハンスメントデータストリーム１０２、１０３好適な組合わせを表示し、また、可能なオプションは、１つのビットストリームに関して、完全補助（０％）から完全優先（１００％）までのあらゆる組合わせを含む。これには、あらゆるトレードオフ組合わせが含まれる。優先情報５０１は制御情報４０１ａに変換され、この制御情報４０１ａは音声およびオーディオビットレート制御ユニット４２１、４２２に入力される。音声ビットレート制御ユニット４２１およびオーディオビットレート制御ユニット４２２は、優先表示によって設定された好適な割合に従って符号化の目標ビットレートを調節するように構成される。この後で、エンコーダ２１０、２３０は、目標ビットレートレベルに作用するように構成される。一般に、高い音声品質に優先が与えられる場合には、制御情報４０１ａは、制御ユニット４２１、４２２を、コアエンコーダに関しては比較的高い目標ビットレートに設定させ、また、オーディオエンコーダに関しては比較的低い目標ビットレートに設定させる。目標ビットレートは平均ビットレートおよび／または最大のビットレートであり得る。ビットレートを調節するようにエンコーダが構成される方法については次にさらに詳細に検討することとする。
【００３２】
符号化されるスケーラブルデータストリームを受信する端末がコアデータストリームのみを復号化することが可能であることが予測される状況下においては、コアデータストリームがエンハンスメントデータストリームよりも高いビットレートを持つことが好適である。例えば、実際にデータの符号化が始まる以前に、マルチメディアセッションに関連する端末がそれらの符号化能力および復号化能力を相互に通知し合うことが可能である。この情報は制御情報として使用可能である。送信端末／ユーザから到来する制御情報に与えるよりも高い優先順位を受信端末／ユーザから受信する制御情報に与えることは妥当である。
【００３３】
図５に示すように、コアデータストリームの現行ビットレート４０２またはエンハンスメントデータストリームの現行ビットレート４０３は監視可能であり、かつ、コアおよびエンハンスメントエンコーダを調節するために使用可能である。さらに、図５における矢印５０２は、制御ユニット４２１と４２２との間で可能な情報交換を示す。コアおよびエンハンスメントデータストリームに関する目標ビットレートの連帯的に制御は個別の制御ユニットとして実現可能である。すなわち、相互に連絡をとるか、あるいは、その代わりに、ビットレートの連帯的な制御を可能にする共通ロジックを備えた個別ユニットとして実行可能である。さらに、目標ビットレートを選択し、かつ、コアエンコーダおよびエンハンスメントエンコーダ両方の現行ビットレートを監視する単一制御ユニットを有することが可能である。
【００３４】
本発明によるエンコーダは、ハードウェアにおいて、ソフトウェアにおいて、もしくは、ハードウェアとソフトウェアとの組合わせ体として実現可能である。例えば、コンピュータにおいてプログラムを実行する時に、必要なステップ（例えば、本発明による方法の諸ステップ）を実施するように形成されたコンピュータプログラムコード手段を有するコンピュータプログラムであってもよい。コンピュータプログラムはコンピュータ読取り可能媒体に具体化可能である。
【００３５】
図６は本発明の好適な第３の実施形態による可変レートコアエンコーダ２１０に関係する制御ユニット４２１を概略的に示す。可変レートエンコーダは、例えば、可変レート音声エンコーダであってもよい。制御目的に関して、コアエンコーダ２１０からのコアデータストリーム１０２のビットレートは監視され、フィードバックフィルタ６０１に供給される。ここに、ビットレートの短期的変動を平滑化するように、ビットレートは平均される。この方法によって得られる予測平均ビットレート６１１は、コアエンコーダ２１０の目標ビットレート６１２から差し引かれ、コアエンコーダ２１０に関する制御信号６１４を生成するコントローラ６０３に供給されるエラー誤差信号６１３が導出される。音声エンコーダに用いられる符号化アルゴリズムは、コントローラ６１４から受信した制御信号に従って調節される。調整の詳細は符号化アルゴリズムに依存する。すなわち、一般的に例えば、元の媒体信号を表す係数の量子化が調節される。コントローラ６０３においては、あらゆる制御アルゴリズムもしくはロジックが使用できる。例えば、一般的に当該技術分野における当業者にとって周知であるＰＩ（比例積分）制御が可能である。目標ビットレート６１２は、同様に制御ユニット４２１の一部分である目標ビットレート決定ユニット６０２において決定される。制御情報４０１は、一般にエンハンスメントエンコーダ２３０の目標ビットレートと連帯的に決定される目標ビットレートの決定に影響する。図６における矢印５０２は、これらの制御ユニットの間の情報交換を示す。
【００３６】
制御ループの機能は、所与の目標ビットレート６１２に従う予測平均ビットレート６１１を実質的にドライブすることにあり、入力信号１０１は制御ループにとっては外乱と見なされる。例えば、ソース制御された可変レート音声エンコーダの場合には、適応しきい値を用いてビットレートが選択される。コントローラ６０３からの制御信号６１４は、音声エンコーダ２１０に関する適応しきい値を選択するための同調係数として用いられる。ビットレートを制御するために適応しきい値を使用する具体化された使用についてのさらに詳細な記述に関しては、例えば、下記文献に記載されている。すなわち、「Ｔｏｌｌ ｑｕａｌｉｔｙ ｖａｒｉａｂｌｅ ｒａｔｅ ｓｐｅｅｃｈ ｃｏｄｅｃ」、（Ｐａｓｉ Ｏｊａｌａ、音響装置、音声および信号処理に関するＩＥＥＥ国際会議議事録、ミュンヘン、ドイツ、１９９７年４月）平均ビットレートの制御に加えて、音声エンコーダの最大ビットレートも、最高ビットレートを必要とするコードブックの使用を限定することによって制御され得る。平均ビットレートの制御適用およびエンコーダの最大ビットレートに関しては、符号化されたコアデータストリーム１０２のビットレートが所与レベルに対する標的とされ得る。
【００３７】
図７は、本発明の好適な第４の実施形態によるコアエンコーダ２１０に関係する制御ユニット４２１を概略的に示す。ここに、コアエンコーダ２１０は、各々が特定のあるビットレートにおける符号化済み音声を生成する一組の個別符号化アルゴリズムを有するマルチレートエンコーダである。制御情報４０１は目標ビットレート決定ユニット６０２に供給される。この場合、コアエンコーダ２１０に関する目標ビットレートが決定される。コアエンコーダ２１０に関する目標ビットレートはエンハンスメントデータストリームに関する目標ビットレートと共に連帯的に決定される。図７における矢印５０２は、コア制御ユニット４２１とエンハンスメント制御ユニット４２２との間の情報交換を示す。決定済み目標ビットレート６１２は、適当な符号化アルゴリズムを選択し、かつ、選択された符号化アルゴリズムをコアエンコーダ２１０に表示する制御信号７１１を伝送する符号化モード選択ユニット７０１に供給される。
【００３８】
図８は、本発明の好適な第５の実施形態によるエンハンスメントエンコーダ２３０に関係する制御ユニット４２２を概略的に示す。エンハンスメントエンコーダは一般に可変レートエンコーダである。例えば、ビットレートにおける短期変動を平滑化し、かつ、予測平均ビットレート８１１を生成するフィルタ８０１を用いて、エンハンスメントデータストリーム１０３の平均ビットレートを監視することが可能である。制御情報４０１を用いて目標ビットレート選択ユニット８０２においてコアエンコーダに関する目標ビットレート共に連帯的に選定される（図８の矢印５０２参照）目標ビットレート８１２は、平均ビットレート８１１と共にビットレート調整ユニット８０３へ供給される。一般に可変レートオーディオエンコーダの出力ビットレートは、例えば、オーディオエンコーダが生成する周波数領域変換係数に関する適当な量子化正確度を選択することによって調節される。オーディオ帯域幅を調節することによって出力ビットレートを調節することも可能である。用語「オーディオ帯域幅」という用語はコード化されるべきオーディオ信号の周波数範囲を意味する。オーディオ帯域幅は、例えば、０〜１２ｋＨｚもしくは０〜１６ｋＨｚであり得る。オーディ帯域幅を増大することによって、オーディオ信号を表すために必要な周波数帯域係数の個数は増大する。
【００３９】
図９は、本発明の好適な第６の実施形態によるコアエンコーダ２１およびエンハンスメントエンコーダ２３０に関係する制御ユニット４２０を概略的に示す。ここに、コアエンコーダ２１０は種々のビットレートにおいて符号化済み音声を生成する一組の利用可能な符号化アルゴリズムを有する。制御ユニット４２０はレート決定アルゴリズム（Ｒａｔｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ：ＲＤＡ）ユニット９０１を有し、ここで信号１０１の内容が分析される。ここで説明されるレート決定アルゴリズムがオーディオ信号の音声内容を分析するが、あらゆる内容アナライザを使用することが可能である。レート決定アルゴリズムユニット９０１は、依然として適切なオーディオ品質を提供しながら最小ビットレートを持つストリーム符号化済みエンハンスメントデータを生成する符号化アルゴリズムを選択する。例えば、選択係数として、長期周期性および予測利得を使用することが可能である。長期周期性は信号内に存在する基本周波数を意味し、周期的信号は高い長期予測利得を与え、かつ一般に有声音を示す。良品質を達成するためには、周期的成分の正確な符号化が必要である。これは、一般に、比較的高いビットレートにおいて符号化済み音声を生成する符号化アルゴリズムの選択を意味する。一方、低い長期予測利得は、一般に非有声音を示し、長期符号化は一般に必要とされない。これは、コード化されるべき信号を正確に表すには比較的低いビットレートが要求されることを意味する。短期予測は、オーディオデータ、明確には音声データ、の符号化に一般的に使用される別の技法であり、一般に、線形予測符号化（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｄｉｎｇ：ＬＰＣ）を使用する信号スペクトル（周波数スぺクトル）のモデル化に関係する。良好なＬＰＣ近似フィットは、通常、信号が音声を含み、従って、良好な音声品質を達成するためには高いコアビットレートを必要とすることを示す。
【００４０】
さらに、例えば、コア符号化アルゴリズム選択係数として復号化済みコアデータストリームのＳＮ比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ：ＳＮＲ）を使用することが可能である。例えば、全ての符号化アルゴリズムが並列処理され、最良のＳＮＲを生成するアルゴリズムが選定される。さらに、適当な符号化アルゴリズムもしくはコアエンコーダに関する目標ビットレートの選択に際して、信号エネルギーおよび周波数内容を使用することが可能である。
【００４１】
一旦、データストリームに関する目標ビットレートが合同決定されると、一般にコアおよびエンハンスメントデータストリームのビットレートは相互に無関係に調節される。目標ビットレートが連帯的に決定されるならば、例えば、コアデータストリームの目標ビットレート６１２よりもさらに頻度多く、エンハンスメントデータストリームの目標ビットレート８１２を変更することが可能である。これは、例えば、エンハンスメントエンコーダが可変レートエンコーダであり、かつコアエンコーダがマルチレートエンコーダである時に有利である。
【００４２】
図１０は、一例として、制御情報を用いてコアエンコーダの目標ビットレートおよびエンハンスメントエンコーダの目標ビットレートが連帯的に決定される本発明による方法に対応するフローチャートを示す。初期制御情報を決定するために符号化が開始される時には、ステップ１００１が実施される。初期制御情報は、例えば、プリセットされたデフォルト設定であるか、あるいは、例えば、送信／ユーザからもしくは受信ユーザ／端末から発信されることがあり得る。ステップ１００２において、コアデータストリームとエンハンスメントデータストリームとの目標組合わせは初期制御情報に従って決定される。その後で、符号化処理に際して、ステップ１００３〜１０１０によって形成されたループが実行される。ステップ１００３において、マルチプレクサバッファスペースの利用可能性が決定される。例えば、十分な利用可能バッファスペースがあるならば（バッファ占有率がステップ１００４におけるある特定の第１しきい値Ｔ１未満）、例えば、制御情報としてＲＤＡ情報およびユーザ優先情報を使用し、コアおよびエンハンスメントデータストリームに関する目標ビットレートはステップ１００５において決定される。例えば、バッファ占有率およびコアおよびエンハンスメントデータストリームのビットレートから実際の伝送レートを予想することが可能である。ＲＤＡは、例えば、コアビットストリームに関するある特定のビットレートを決定し、また、そのビットレートがＲＤＡによって決定されるコアデータストリームを有するデータストリームおよびそのビットレートがコアデータストリームとエンハンスメントデータストリームとに関する目標ビットレートの比率を表示する優先情報によって決定されるエンハンスメントデータストリームの伝送に関して、伝送レートが充分に大きい限り、ＲＤＡを用いて決定されるビットレートが許容され得る。ＲＤＡがあまりにも大きいビットレートを提案する場合には、コアおよびエンハンスメントストリームのビットレートを適宜減少させることによって、好適なビットレート比率を維持することが可能である。コアデータストリームとエンハンスメントデータストリームとが組合わされるものと仮定し、利用可能な伝送容量の一部分が未使用状態のまま残されるように低いビットレートをコアデータに関してＲＤＡが提案する場合には、コアデータストリームおよびエンハンスメントデータストリームに関して、それぞれ、さらに高い目標ビットレートを選定することが可能である。
【００４３】
例えば、バッファ占有率が第１しきい値Ｔ１より大きい（マルチプレクサバッファがオーバーフローする危険性の増大を示す）が、第２しきい値Ｔ２よりも小さい場合（ステップ１００６）には、コアおよび／またはエンハンスメントデータストリームのビットレートが、コアおよび／または、エンハンスメントデータストリームの目標ビットレートを調節することによって、例えば、ステップ１００７におけるユーザ優先情報、または、デフォルト設定情報に従って限定される。マルチプレクサバッファの占有率が第２しきい値Ｔ２を超過し（ステップ１００８）、マルチプレクサバッファが実質的に満杯であることを表示している場合には、コアおよびエンハンスメントデータストリームのビットレートはステップ１００９においてさらに拘束される。これは、例えば、エンハンスメントエンコーダが全く使用されず、かつ、例えば、マルチレートコアエンコーダの場合においては、最小ビットレートを有するコアデータストリームを生成する符号化アルゴリズムが選定されることを意味する。
【００４４】
潜在的オーバーフロー状況が完了した時には、バッファの占有レベルは低下する。これは、潜在的オーバフロー状況後のある点においては、マルチプレクサバッファの占有レベルはＴ２よりも低く、コアおよびエンハンスメントデータストリームに関する目標ビットレートは好適なビットレート比率に応じて調節され得ることを意味する。さらに、マルチプレクサバッファの占有レベルがＴ１よりも低い時には、コアデータストリームに関してＲＤＡによって決定された目標ビットレートを使用することが可能である。
【００４５】
ユーザ優先情報または他の制御情報は、コード化処理に際して、提供または更新されることが可能である。このような場合、コアデータストリームとエンハンスメントデータストリームとの目標組合わせは、ステップ１００３〜１００９を備えるループにおいて提供／更新された制御情報に従って決定される。
【００４６】
コアおよびエンハンスメントデータストリームに関する目標ビットレートがステップ１００５（あるいは、ステップ１００７もしくは１００９）において決定された後で、コアおよびエンハンスメントデータストリームのビットレートは、決定された目標ビットレートに応じてステップ１０１０において調節される。ステップ１０１０において、ビットレートは、例えば図７〜９に示す配置構成を用いて調節可能である。一般に、ビットレートのこの調整は、ステップ１００３〜１００９の実行期間中においても進行を継続する連続的な動作（アクティビティ）である。調整に関する目標ビットレートは、例えば、マルチプレクサバッファの占有に関する情報が受信される度に更新される（ステップ１００５、１００７、１００９）。
【００４７】
図１０は、符号化されるべきデータの受信、実際の符号化、あるいは、コア及びエンハンスメントデータストリームの組合わせデータストリームへの多重化、を明白には示していない。ただし、これらは、全て一般的に、本発明の方法において実施される。
【００４８】
一般に単一エンコーダに実装された基底レイヤ（コア）符号化およびエンハンスメントレイヤ符号化を備えるスケーラブルビデオエンコーダも有る。従って、図４も本発明による一般的スケーラブルビデオエンコーダを概略的に呈示する。ビデオシーケンスは、各フレームがある特定の時間間隔によって相互に分離され、かつ連続してディスプレイされる一連の静止映像からなる。ビデオ圧縮／符号化方法は、冗長かつ知覚的に無関係なビデオシーケンスの部分を減少させることに基づく。ビデオシーケンスにおける冗長度は、空間的、時間的、および、スペクトル冗長度に分類され得る。空間的冗長度という用語は一画像内の近傍画素間の相関性を意味する。時間的冗長度はビデオシーケンスにおける連続した映像間の類似性を意味する。時間的冗長度を減少させると、特定の画像シーケンスを表すために必要なデータ量を減少させる。これは、現行映像と前の（基準の）映像との間の運動について記述する運動補償データを生成することによって達成される。実際に現行映像は前の映像から予測される。用語「スペクトル冗長度」は同一映像の異なる色成分間の相関性を意味する。
【００４９】
スケーラブルビデオ符号化は時間的スケーラビリティ、ＳＮ比スケーラビリティ、または、空間的スケーラビリティを使用する。時間的スケーラビリティは、映像ディスプレイレートを増大することによって知覚的品質を高めるためのメカニズムを提供する。これは、１対の基準映像を撮影し、これらのどちらか一方もしくは両方から追加映像を予測することによって達成される。次に、予測された追加映像は２つの基準映像の間で順々に映写可能である。予測された追加映像はそれ自体が基準映像としては使用されない。すなわち、予測された追加映像から他の映像は決して予測されることなく、あるいは、これらを用いて符号化されることもない。従って、これらは、将来の映像の映像品質に衝突を与えることなしに廃棄されることが可能であるので、これらは時間的スケーラビリティを供給する。空間的スケーラビリティとＳＮＲスケーラビリティとは密接に関係し、両者の唯一の相違は空間的解像度の増大が空間的スケーラビリティによって提供されることである。ＳＮＲスケーラビリティはマルチレートビットストリームの生成を意味する。ＳＮＲスケーラビリティは符号化エラーの回復、すなわち、元の映像と基底レイヤから復元された映像との間の差の回復を可能にする。これは、エンハンスメントレイヤにおける差映像を符号化するためにさらに優れた量子化器を使用することによって達成される。この追加情報は再現された映像全体のＳＮＲを増大する。
【００５０】
空間的スケーラビリティは、変化するディスプレイ必要条件および／または拘束条件に適合するような多重解像度の生成を可能にする。空間的エンハンスメントレイヤが、復元された基準レイヤ映像のアップサンプリングされたバージョンと元の映像のさらに高い解像度バージョンとの間の符号化損失を回復しようと試みるということを除けば、空間的スケーラビリティはＳＮＲスケーラビリティの場合と実質的に同じである。例えば、基準レイヤの解像度が４分の１共通中間フォーマット（ＱＣＩＦ）解像度（１７６×１４４画素）であり、エンハンスメントレイヤの解像度が共通中間フォーマット（ＣＩＦ）解像度（３５２×２８８画素）である場合には、基準化された基準レイヤ映像からエンハンスメントレイヤ映像が予測され得るように、基準レイヤ映像は適宜基準化されなければならない。ＱＣＩＦ規格は、単一エンハンスメントレイヤに関して、垂直方向のみ、水平方向のみ、もしくは、垂直および水平の両方向に解像度が係数２だけ増大されることを許容する。従って、各レイヤの映像解像度が前の層の映像解像度よりも増加するような多重エンハンスメントレイヤが在り得る。
【００５１】
スケーラブルビデオエンコーダにおいて、エンハンスメントデータストリームは一般に予測された追加フレーム（時間的スケーラビリティ）および／または元のフレームを表す係数に関する追加情報を含む。本発明に従ったスケーラブルビデオエンコーダにおいて、基底レイヤフレームの正確度およびエンハンスメントレイヤフレームの正確度は一般に、係数の量子化を調節すること、または、時間的スケーラビリティにおいては、予測される追加フレームの個数を調節することによって調節される。
【００５２】
図１１は、本発明の好適な第７の実施形態による２つのスケーラブルエンコーダ、すなわち、オーディオ信号１０１ａを符号化するためのエンコーダ５００およびビデオ信号１０１ｂを符号化するためのエンコーダ４００を備える構成の一例を概略的に示す。この実施形態において、制御情報は、両スケーラブルエンコーダの制御ユニット４２０、４２１、４２２に引き渡される。制御情報は、例えば、オーディオストリームとビデオストリームとの間のユーザ優先性、および／または、スケーラブルオーディオエンコーダ５００およびスケーラブルビデオエンコーダ４００に関する微同調優先性を示す。
【００５３】
図１２は、本発明によるマルチメディア通信端末装置２０の機能ブロック図を示す。一例として、マルチメディア端末装置２０はＨ．３２４マルチメディア端末である。図１２に示すように、Ｈ．３２４互換可能マルチメディア通信システムは端末ユニット２０、インタフェースユニット３１、ＧＳＴＮ（公衆交換電話網）ネットワーク３２、および、多点制御ユニット（ＭＣＵ）３３で構成される。Ｈ．３２４実装は各機能的エレメントを持つ必要がない。移動端末は、インタフェースユニット３１（Ｈ．３２４ Ａｎｎｅｘ Ｃに規定されているように）として任意の適切な無線インタフェースを用いて実現可能である。この場合、ネットワークはＧＳＴＮでなくてＰＬＭＮ（公衆陸上移動網）である。
【００５４】
ＭＣＵ３３はブリッジとして作動し、いくつかの端末ユニットの間で通信を可能にするために、ＧＳＴＮネットワーク３２における情報の流れを中央指令するインタフェースユニット３１は多重化されたビットストリームをＧＳＴＮを介して伝送可能な信号に変換し、かつ、受信した信号を、端末２０の多重化／逆多重化プロトコルユニット２１に送られるビットストリームに変換する。多重プロトコルは符号化された媒体、データ、および、制御ストリームを伝送用の単一ビットストリームに多重化し、かつ、受信したビットストリームを種々の媒体ストリームへ多重化する。さらに、多重プロトコルは、論理的フレーム化、順序ナンバリング、エラー検出、および、例えば、各媒体のタイプに適合するような再伝送によるエラー訂正を実施する。システムコントロール２６の制御プロトコル２２はマルチメディア端末操作用終端間シグナリングを提供し、かつ、他の全ての終端間システム機能に信号を送る。制御プロトコルは、能力交換、コマンドおよび命令の通信、ならびに、論理回線を開いて内容を完全に記述するメッセージを提供する。データプロトコル２３は、例えば電子ホワイトボード、静止画像転送、ファイル交換、データベースアクセス、オーディオグラフィックス会議、遠隔装置制御、ネットワークプロトコルなどのようなデータアプリケーション２７をサポートする。本発明によるスケーラブルエンコーダ５００は、媒体Ｉ／Ｏ設備２８からの伝送用オーディオおよび／またはビデオ信号を符号化する。媒体Ｉ／Ｏ設備は、一般に、オーディオ信号の捕捉／再生用マイクロホンおよび拡声器、ならびに、ビデオ信号捕捉／再生用ディスプレイおよびデジタルカメラを有する。スケーラブルエンコーダ５００は、一般に、マルチプレクサユニット２２の一部であるマルチプレクサバッファ５２０の占有レベルに関する情報を受信する。また、一般に、対応するデコーダユニットがあるが、図１２には図示されていない。復号された媒体信号は、媒体Ｉ／Ｏ設備を用いて、ユーザに呈示される。本発明によるマルチメディア端末は、媒体Ｉ／Ｏ設備からの信号を符号化するために、本発明による少なくとも１つのスケーラブルエンコーダを有する。本発明によるマルチメディア端末は、一例として図１１に詳細に示すように、オーディオおよびビデオ信号を符号化するためのスケーラブルエンコーダ構成を備えてもよい。
【００５５】
相互に対応しない符号化および復号化アルゴリズムが用いられることが可能である。換言すれば、双方向性マルチメディア接続の一方の方向に１つの符号化アルゴリズムを使用し、もう一方の方向に第２の符号化アルゴリズムを使用することが可能である。その代わりに、マルチメディアストリームの例として、マルチメディア接続が一方向性であることが可能である。この場合、マルチメディアデータストリームは、ネットワークに常駐するソースから検索され、復号化されて、受信マルチメディア端末においてプレイバックされる。この場合、本発明によるエンコーダは当該ネットワーク内に配置されるはずである。
【００５６】
図１３は、本発明による無線マルチメディア端末１３００に関する一実施形態の機能的モジュールを示す。中央処理装置ＣＰＵ８１は移動局の種々の機能を担当するブロック、すなわち、メモリ（ＭＥＭ）８２、無線周波数ブロック（ＲＦ）８３、ユーザインタフェース（ＵＩ）８４、および、インタフェースユニット（ＩＵ）８５を制御する。ＣＰＵは、一般に、１つもしくは複数の機能的に相互作動するマイクロプロセッサによって実行される。メモリはＲＯＭ（読取り専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）を備えることが好ましく、かつ、一般に、ＳＩＭユーザ識別モジュールを備えたメモリによって補充される。マイクロプロセッサは、そのプログラムに応じて、無線経路において信号を送信および受信するためのＲＦブロック８３を使用する。ユーザとの通信は、一般に、拡声器、マイクロホン、ディスプレイ、および、キーボードを備えるユーザインタフェース（ＵＩ）８４を介して管理される。インタフェースユニット８５は、データ処理エンティティへのリンクを提供し、ＣＰＵ８１によって制御される。データ処理エンティティは、例えば、集積データ処理装置またはパーソナルコンピュータのような外部データ処理装置である。本発明による移動端末は本発明による少なくとも１つのスケーラブルエンコーダを有する。スケーラブルエンコーダ５００を図１３に示す。一般に、本発明による移動端末は対応するデコーダを備える。移動端末は、スケーラブルエンコーダによって出力されるコアおよびエンハンスメントデータストリームならびに制御情報を含む複合データストリームを生成するマルチプレクサ８８を備える。移動端末は、受信したデータストリームから復号化するための分解済みデータストリームも生成する。マルチプレクサは、多重化された符号化済みビットストリームをマルチプレクサバッファ５２０に出力するように構成される。スケーラブルエンコーダ５００は、図５に関連して記述されるように、一般に、符号化処理動作を制御するために制御データフィードバックループによって接続され、かつ、マルチプレクサバッファ５２０の占有レベルに関する情報を受信する制御手段を有する。図１３には、ただ２つのデータストリームが呈示されているが、２つより多いビットストリーム（例えば、図１２に示すように、制御データ、データアプリケーション用データなど）に関係することが可能である。各データストリームに関する目標ビットレートは、例えば、端末によって受信した優先情報、および、マルチプレクサバッファオーバフローが定義されている場合には、既に述べた仕方においてこれらの目標に対して調整を行う方針に従って設定される。
【００５７】
移動端末における入力エレメント５１０は、図５および１３に示すように、ユーザインタフェース８４を介して優先情報を受信するように構成可能である。同様に、移動端末における入力エレメント５１０は、２つの端末エンティティの間で用いられる通信プロトコルによって供給される制御信号を用いて、通信中の端末から優勢情報を受信するように構成可能である。例えば、ＩＴＵ−Ｔ Ｈ．３２４およびＨ．３２３のような、最新ＩＴＵ−Ｔ（ＩＴＵ電気通信標準化部門）ビデオフォーン規格は、接続を初期化するために、すなわち、論理チャネル、交換能力セットなどを開くためにＨ．２４５制御プロトコルを使用する。同様に、この制御プロトコルは、接続に際して、コマンドおよび指示を送るために用いられる。これらは、受信ユーザ／端末の優先順位に関する制御情報を送信端末に伝達するためにも使用可能である（図１２におけるユニット５１０参照）。
【００５８】
本発明は好適な実施形態に関して図示および記述したが、当該技術分野における当業者であれば、以下に特許請求されている本発明の範囲から逸脱することなしに好適な実施形態への修正が実施可能であることを認識するはずである。
【図面の簡単な説明】
【図１】従来技術によるスケーラブルエンコーダおよび対応するデコーダの概略図である。
【図２】従来技術による音声エンコーダおよびオーディオエンコーダを備えるスケーラブルエンコーダの概略図である。
【図３】図２に呈示されたスケーラブルエンコーダに対応する従来技術によるデコーダの概略図である。
【図４】本発明の好適な第１の実施形態に従ったスケーラブルエンコーダの概略図である。
【図５】本発明の好適な第２の実施形態によるスケーラブルエンコーダの概略図である。
【図６】本発明の好適な第３の実施形態によるコアエンコーダに関係する制御ユニットの概略図である。
【図７】本発明の好適な第４の実施形態によるコアエンコーダに関係する制御ユニットの概略図である。
【図８】本発明の好適な第５の実施形態によるエンハンスメントエンコーダに関係する制御ユニットの概略図である。
【図９】本発明の好適な第６の実施形態によるコアエンコーダおよびエンハンスメントエンコーダに関係する制御ユニットの概略図である。
【図１０】本発明による方法に対応するフローチャートである。
【図１１】本発明の好適な第７の実施形態によるオーディオおよびビデオストリームに関するスケーラブルエンコーダの概略図である。
【図１２】本発明によるＨ．３２４マルチメディア端末の概略図である。
【図１３】本発明による無線マルチメディア端末の一例を示す図である。
【符号の説明】
１０１…信号
１０２…コアデータストリーム
２１０…コアエンコーダ
２３０…エンハンスメントエンコーダ
４０１…制御情報
４２１…制御ユニット
６０１…フィードバックフィルタ
６０２…目標ビットレート決定ユニット
６０３…コントローラ
６１１…予測済み平均ビットレート
６１２…目標ビットレート
６１３…エラー信号
８１２…目標ビットレート
９０１…レート決定アルゴリズム（ＲＤＡ）ユニット
ＬＰＣ…線形予測符号化
ＳＮＲ…信号対雑音比率

Claims (28)

  1. 媒体信号を符号化するスケーラブルエンコーダ（１００）であって、
    前記媒体信号（１０１）に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム（１０２）、を生成する第１符号化手段（２１０）と、
    前記媒体信号に関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム（１０３）、を生成する第２符号化手段（２３０）と、
    少なくとも前記第１データストリームと前記第２データストリームとを組み合わせて第３データストリーム（１０４）にするマルチプレクサ（１１０）と、
    制御情報（４０１）を受信し、前記制御情報に従って前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を決定し、かつ前記第１データストリームおよび前記第２データストリームを調節することによって前記好適な比率を維持するように構成された制御手段（４２０、４２１、４２２）と、を備え、
    前記第１符合化手段および前記第２符号化手段の少なくとも１つが一組の利用可能な符号化アルゴリズムを備えるマルチレート符号化手段であり、
    前記制御手段が、前記第１符合化手段および前記第２符号化手段のうちの１つによって生成された少なくとも前記データストリームに関する目標ビットレートを決定する手段（６０２）と、前記一組の符号化アルゴリズムの中の符号化アルゴリズムを選択し、前記選択された前記符号化アルゴリズムを前記第１符合化手段および前記第２符号化手段のうちの１つに指示する手段であって、前記第１符合化手段および前記第２符号化手段のうちの１つは前記指示された符号化アルゴリズムを使用するように構成されている手段（７０１、９０１）と、を有することを特徴とするスケーラブルエンコーダ。
  2. 前記第１符合化手段および前記第２符号化手段の少なくとも１つが可変レート符号化手段であることを特徴とする請求項１に記載のスケーラブルエンコーダ。
  3. 前記制御手段が、前記第１符合化手段および前記第２符号化手段のうちの１つによって生成される少なくとも前記データストリームに関する目標ビットレートを決定する手段（６０２、８０２）を備え、前記データストリームのビットレートを調節するように構成されていることを特徴とする請求項２に記載のスケーラブルエンコーダ。
  4. 前記制御手段がフィードバックループ（６０１、８０１）と比較手段とコントローラユニット（６０３、８０３）とをさらに備え、
    前記フィードバックループは、前記データストリームの現実予測ビットレートに関する情報を前記比較手段へ転送するように構成され、
    前記データストリームの前記現実予測ビットレートと目標ビットレートとの間の差を計算しかつ前記計算された差を前記コントローラユニットへ供給するように構成された前記比較手段に、前記目標ビットレートが供給され、
    前記計算された差の受信に対する応答として前記第１符合化手段および前記第２符号化手段のうちの１つに制御信号を出力するように前記コントローラユニットが構成され、かつ、
    前記第１符合化手段および前記第２符号化手段のうちの１つが、前記コントローラユニットから受信した前記制御信号に従って前記データストリームのビットレートを調節するように構成されることを特徴とする請求項２に記載のスケーラブルエンコーダ。
  5. 前記第１符合化手段および前記第２符号化手段のうちの１つが、前記制御信号に従って前記媒体信号を表す係数の量子化を調節するように構成されることを特徴とする請求項４に記載のスケーラブルエンコーダ。
  6. 前記第１符合化手段および前記第２符号化手段のうちの１つが一可変レート音声エンコーダである前記第１符号化手段であることを特徴とする請求項４に記載のスケーラブルエンコーダ。
  7. 前記第１符合化手段および前記第２符号化手段のうちの１つが一可変レートオーディオエンコーダである前記第２符号化手段であることを特徴とする請求項４に記載のスケーラブルエンコーダ。
  8. 前記媒体信号に関するビットレートを前記制御信号に従って決定するように前記可変レートオーディオエンコーダが構成されることを特徴とする請求項７に記載のスケーラブルエンコーダ。
  9. 符号化アルゴリズムを選択する前記手段がレート決定手段（９０１）を備えることを特徴とする請求項１に記載のスケーラブルエンコーダ。
  10. 前記第１符合化手段および前記第２符号化手段のうちの１つがマルチレート音声エンコーダである前記第１符号化手段であることを特徴とする請求項１に記載のスケーラブルエンコーダ。
  11. 媒体信号を符号化するスケーラブルエンコーダ（１００）であって、
    前記媒体信号（１０１）に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム（１０２）、を生成する第１符号化手段（２１０）と、
    前記媒体信号に関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム（１０３）、を生成する第２符号化手段（２３０）と、
    少なくとも前記第１データストリームと前記第２データストリームとを組み合わせて第３データストリーム（１０４）にするマルチプレクサ（１１０）と、
    制御情報（４０１）を受信し、前記制御情報に従って前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を決定し、かつ前記第１データストリームおよび前記第２データストリームを調節することによって前記好適な比率を維持するように構成された制御手段（４２０、４２１、４２２）と、
    前記第１データストリームに関する第１目標ビットレートと前記第２データストリームに関する第２目標ビットレートとを前記制御情報に従って連帯的に決定する手段（６０２、８０２）と、
    伝送に関する前記マルチプレクサからのデータを記憶するマルチプレクサバッファ（５２０）と、を備え、
    前記マルチプレクサバッファの占有レベルを指示する制御情報（４０１ｂ）を送出する制御手段へ前記マルチプレクサバッファが接続され、前記占有レベルが前記マルチプレクサバッファに記憶されているデータの現行量を示し、
    前記第１データストリームに関する第１目標ビットレートと前記第２データストリームに関する第２目標ビットレートとを連帯的に決定する手段（６０２、８０２）が、前記バッファの前記占有レベルがある特定の第１しきい値より下である限り前記目標ビットレートの前記比率が実質的に一定であるように前記目標ビットレートを調節するように構成されることを特徴とするスケーラブルエンコーダ。
  12. 前記制御手段が前記第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を示す制御情報（４０１ａ）を受信するように構成されることを特徴とする請求項１〜１１のいずれか一項に記載のスケーラブルエンコーダ。
  13. 前記第１データストリームの前記目標ビットレートと前記第２データストリームの前記目標ビットレートとの好適な比率を決定するために前記第１データストリームおよび第２データストリームの好適な組み合わせを示す前記制御情報が用いられることを特徴とする請求項１２に記載のスケーラブルエンコーダ。
  14. 前記スケーラブルエンコーダは、前記第１データストリームを復号済み信号に復号化する復号手段をさらに備え、
    前記第２符号化手段が前記媒体信号と前記復号済み信号との間の差である差信号を符号化するように構成され、前記第２符号化手段が前記第２ビットレートをもつ前記第２データストリームを生成することを特徴とする請求項１〜１３のいずれか一項に記載のスケーラブルエンコーダ。
  15. 前記第１符号化手段が音声エンコーダであり、前記第２符号化手段がオーディオエンコーダであることを特徴とする請求項１４に記載のスケーラブルエンコーダ。
  16. 前記音声エンコーダがマルチレート音声エンコーダであり、前記オーディオエンコーダが可変レートオーディオエンコーダであることを特徴とする請求項１５に記載のスケーラブルエンコーダ。
  17. 前記音声エンコーダが可変レート音声エンコーダであり、前記オーディオエンコーダが可変レートオーディオエンコーダであることを特徴とする請求項１５に記載のスケーラブルエンコーダ。
  18. 前記第１符号化手段が基底レイヤビデオ符号化手段であり、前記第２エンコーダが少なくとも１つのエンハンスメントレイヤビデオ符号化手段を備えることを特徴とする請求項１に記載のスケーラブルエンコーダ。
  19. 第２媒体信号に対応するコアデータストリームであり、かつ第４ビットレートをもつ第４データストリーム、を生成する第３符号化手段と、
    前記第２媒体信号に対応する一組のエンハンスメントデータストリームを備え、かつ第５ビットレートをもつ第５データストリーム、を生成する第４符号化手段と、をさらに備え、
    前記マルチプレクサが少なくとも前記第１データストリームと前記第２データストリームと前記第４データストリームと前記第５データストリームとを組み合わせて第３データストリームにするように構成され、前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートと前記第４データストリームのビットレートと前記第５データストリームのビットレートとの好適な比率を前記制御情報に従って決定し、かつ前記第３データストリームにおける前記データストリームを調節することによって前記好適な比率を維持するように前記制御手段が構成されることを特徴とする請求項１〜１８のいずれか一項に記載のスケーラブルエンコーダ。
  20. スケーラブルエンコーダを備えるマルチメディア端末（２０）であって、前記スケーラブルエンコーダにおいて、
    媒体信号（１０１）に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム（１０２）、を生成する第１符号化手段（２１０）と、
    前記媒体信号に関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム（１０３）、を生成する第２符号化手段（２３０）と、
    少なくとも前記第１データストリームおよび前記第２データストリームを組み合わせて第３データストリームにするマルチプレクサ（１１０）と、
    制御情報（４０１）を受信し、前記制御情報に従って前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を決定し、かつ前記第１データストリームと前記第２データストリームとを調節することによって前記好適な比率を維持するように構成された制御手段（４２０、４２１、４２２）と、
    前記第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を示す優先情報を入力する入力エレメント（５１０）と、を備え、
    前記優先情報が制御情報として前記制御手段へ送出されることを特徴とするマルチメディア端末。
  21. 前記入力エレメントが前記マルチメディア端末のユーザインタフェースの一部を構成することを特徴とする請求項２０に記載のマルチメディア端末。
  22. 前記ユーザインタフェースがスライドスイッチを備えることを特徴とする請求項２１に記載のマルチメディア端末。
  23. 前記入力エレメントが外部制御情報を受信するように構成されることを特徴とする請求項２０に記載のマルチメディア端末。
  24. 前記入力エレメントが通信ネットワークから制御情報を受信するように構成されることを特徴とする請求項２３に記載のマルチメディア端末。
  25. 前記入力エレメントが第２マルチメディア端末から制御情報を受信するように構成されることを特徴とする請求項２３に記載のマルチメディア端末。
  26. 請求項２０〜２５のいずれか一項に記載のマルチメディア端末（１３００）であって、移動通信ネットワークの移動局であることを特徴とするマルチメディア端末。
  27. 前記マルチメディア端末がＨ．３２４マルチメディア端末であることを特徴とする請求項２０〜２５のいずれか一項に記載のマルチメディア端末。
  28. 媒体信号のスケーラブル符号化方法であって、前記方法において、
    前記媒体信号に対応するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリームへ、前記媒体信号を符号化するステップと、
    前記媒体信号に対応する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリームへ、前記媒体信号を符号化するステップと、
    少なくとも前記第１データストリームおよび前記第２データストリームを多重化して第３データストリームにするステップと、を備えるスケーラブル符合化方法において、
    制御情報を受信するステップ（１００１、１００３）と、
    前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を前記制御情報に従って決定するステップ（１００２、１００５、１００７）と、
    前記第１データストリームと前記第２データストリームとを調節することによって前記好適な比率を維持するステップ（１０１０）と、
    前記第１データストリームの目標ビットレートと前記第２データストリームの目標ビットレートとに関する好ましい比率を前記制御情報に従って決定するステップと、
    前記目標ビットレートを連帯的に決定するステップと、
    前記第３データストリームをバッファに供給するステップと、
    前記バッファの占有レベルを決定するステップと、を備え、
    前記バッファの占有レベルがある特定の第１しきい値（Ｔ２）よりも下である時には、前記目標ビットレートの比率が実質的に前記好ましい比率であり、
    前記バッファの占有レベルがある特定の第２しきい値（Ｔ１）よりも下である時には、前記第１データストリームに関する前記目標ビットレートが前記媒体信号の内容より決定される選択係数値に基づいて選択される、ことを特徴とするスケーラブル符合化方法。
JP2001215833A 2000-07-14 2001-07-16 媒体ストリームのスケーラブル符号化方法、スケーラブルエンコーダおよびマルチメディア端末 Expired - Lifetime JP4160278B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20001674A FI109393B (fi) 2000-07-14 2000-07-14 Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite
FI20001674 2000-07-14

Publications (2)

Publication Number Publication Date
JP2002100994A JP2002100994A (ja) 2002-04-05
JP4160278B2 true JP4160278B2 (ja) 2008-10-01

Family

ID=8558788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001215833A Expired - Lifetime JP4160278B2 (ja) 2000-07-14 2001-07-16 媒体ストリームのスケーラブル符号化方法、スケーラブルエンコーダおよびマルチメディア端末

Country Status (4)

Country Link
US (1) US7072366B2 (ja)
EP (1) EP1173028B1 (ja)
JP (1) JP4160278B2 (ja)
FI (1) FI109393B (ja)

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1236354A4 (en) 1999-11-10 2009-04-22 Yahoo Inc INTERNET RADIO AND BROADCASTING METHOD
US6389467B1 (en) 2000-01-24 2002-05-14 Friskit, Inc. Streaming media search and continuous playback system of media resources located by multiple network addresses
US7634011B2 (en) 2000-04-21 2009-12-15 Microsoft Corporation Application program interface (API) facilitating decoder control of accelerator resources
US7649943B2 (en) * 2000-04-21 2010-01-19 Microsoft Corporation Interface and related methods facilitating motion compensation in media processing
US6891893B2 (en) * 2000-04-21 2005-05-10 Microsoft Corp. Extensible multimedia application program interface and related methods
US6940912B2 (en) * 2000-04-21 2005-09-06 Microsoft Corporation Dynamically adaptive multimedia application program interface and related methods
US8352331B2 (en) 2000-05-03 2013-01-08 Yahoo! Inc. Relationship discovery engine
US7162482B1 (en) 2000-05-03 2007-01-09 Musicmatch, Inc. Information retrieval engine
US7024485B2 (en) * 2000-05-03 2006-04-04 Yahoo! Inc. System for controlling and enforcing playback restrictions for a media file by splitting the media file into usable and unusable portions for playback
US8271333B1 (en) 2000-11-02 2012-09-18 Yahoo! Inc. Content-related wallpaper
US7738407B2 (en) 2001-08-03 2010-06-15 At&T Intellectual Property Ii, L.P. Method and apparatus for delivering IPP2T (IP-push-to-talk) wireless LAN mobile radio service
US7307963B2 (en) * 2001-08-03 2007-12-11 At&T Corp. Architecture and method for using IEEE 802.11-like wireless LAN system to emulate private land mobile radio system (PLMRS) radio service
WO2003019791A2 (en) 2001-08-23 2003-03-06 Nortel Networks Limited System and method for reducing the peak power in multi-carrier modulation
US20030076858A1 (en) * 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
KR100420601B1 (ko) * 2001-11-22 2004-03-02 에스케이 텔레콤주식회사 비디오 데이터 스트리밍 서비스 방법
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
US7076263B2 (en) * 2002-02-19 2006-07-11 Qualcomm, Incorporated Power control for partial channel-state information (CSI) multiple-input, multiple-output (MIMO) systems
US6959171B2 (en) * 2002-02-28 2005-10-25 Intel Corporation Data transmission rate control
EP1484841B1 (en) * 2002-03-08 2018-12-26 Nippon Telegraph And Telephone Corporation DIGITAL SIGNAL ENCODING METHOD, DECODING METHOD, ENCODING DEVICE, DECODING DEVICE and DIGITAL SIGNAL DECODING PROGRAM
KR100908114B1 (ko) 2002-03-09 2009-07-16 삼성전자주식회사 스케일러블 무손실 오디오 부호화/복호화 장치 및 그 방법
DE60214599T2 (de) * 2002-03-12 2007-09-13 Nokia Corp. Skalierbare audiokodierung
US7707221B1 (en) 2002-04-03 2010-04-27 Yahoo! Inc. Associating and linking compact disc metadata
CN100346392C (zh) * 2002-04-26 2007-10-31 松下电器产业株式会社 编码设备、解码设备、编码方法和解码方法
KR100713435B1 (ko) * 2002-05-03 2007-05-07 삼성전자주식회사 이동통신시스템에서 다중 데이터 전송률 서비스 제공 장치 및 방법
KR100486524B1 (ko) * 2002-07-04 2005-05-03 엘지전자 주식회사 비디오 코덱의 지연시간 단축 장치
JP2004061646A (ja) * 2002-07-25 2004-02-26 Fujitsu Ltd Ｔｆｏ機能を有する音声符号化器および方法
FR2843517B1 (fr) * 2002-08-06 2005-02-11 Medialive Dispositif pour le brouillage de contenus multimedias et audiovisuels de type mpeg-4
US8194770B2 (en) 2002-08-27 2012-06-05 Qualcomm Incorporated Coded MIMO systems with selective channel inversion applied per eigenmode
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
US8036250B1 (en) * 2002-10-25 2011-10-11 Bigband Networks Inc. Method and apparatus of mutliplexing media streams
US7002900B2 (en) 2002-10-25 2006-02-21 Qualcomm Incorporated Transmit diversity processing for a multi-antenna communication system
US8320301B2 (en) 2002-10-25 2012-11-27 Qualcomm Incorporated MIMO WLAN system
US8170513B2 (en) 2002-10-25 2012-05-01 Qualcomm Incorporated Data detection and demodulation for wireless communication systems
US7986742B2 (en) 2002-10-25 2011-07-26 Qualcomm Incorporated Pilots for MIMO communication system
US20040081131A1 (en) 2002-10-25 2004-04-29 Walton Jay Rod OFDM communication system with multiple OFDM symbol sizes
US8169944B2 (en) 2002-10-25 2012-05-01 Qualcomm Incorporated Random access for wireless multiple-access communication systems
US8218609B2 (en) 2002-10-25 2012-07-10 Qualcomm Incorporated Closed-loop rate control for a multi-channel communication system
US8134976B2 (en) 2002-10-25 2012-03-13 Qualcomm Incorporated Channel calibration for a time division duplexed communication system
US8208364B2 (en) 2002-10-25 2012-06-26 Qualcomm Incorporated MIMO system with multiple spatial multiplexing modes
US8570988B2 (en) 2002-10-25 2013-10-29 Qualcomm Incorporated Channel calibration for a time division duplexed communication system
US7324429B2 (en) 2002-10-25 2008-01-29 Qualcomm, Incorporated Multi-mode terminal in a wireless MIMO system
US8204079B2 (en) * 2002-10-28 2012-06-19 Qualcomm Incorporated Joint transmission of multiple multimedia streams
JP2004151195A (ja) * 2002-10-29 2004-05-27 Sony Corp 通信装置、通信方法、プログラム、記憶媒体、端末装置
US20040083495A1 (en) * 2002-10-29 2004-04-29 Lane Richard D. Mulitmedia transmission using variable gain amplification based on data importance
US7720999B2 (en) * 2002-11-26 2010-05-18 Qualcomm Incorporated System and method for optimizing multimedia compression using plural encoders
FR2849733A1 (fr) * 2003-01-02 2004-07-09 Thomson Licensing Sa Dispositif et procede d'ajustement de debit d'un flux de contenus et produits associes
GB0300359D0 (en) * 2003-01-07 2003-02-05 Koninkl Philips Electronics Nv Joint bit rate control
FR2852172A1 (fr) * 2003-03-04 2004-09-10 France Telecom Procede et dispositif de reconstruction spectrale d'un signal audio
JP3968317B2 (ja) * 2003-03-31 2007-08-29 松下電器産業株式会社 無線基地局装置
US7406176B2 (en) * 2003-04-01 2008-07-29 Microsoft Corporation Fully scalable encryption for scalable multimedia
US7313814B2 (en) * 2003-04-01 2007-12-25 Microsoft Corporation Scalable, error resilient DRM for scalable media
WO2004090870A1 (ja) * 2003-04-04 2004-10-21 Kabushiki Kaisha Toshiba 広帯域音声を符号化または復号化するための方法及び装置
EP1482435A1 (de) * 2003-05-26 2004-12-01 Franz Maurer Nachf. GmbH & Co.KG Verkaufsvorrichtung für multimediale Werke
DE602004004950T2 (de) * 2003-07-09 2007-10-31 Samsung Electronics Co., Ltd., Suwon Vorrichtung und Verfahren zum bitraten-skalierbaren Sprachkodieren und -dekodieren
GB0321093D0 (en) * 2003-09-09 2003-10-08 Nokia Corp Multi-rate coding
JP4624354B2 (ja) 2003-09-10 2011-02-02 ミュージックマッチ インコーポレイテッド 音楽購入及び再生のシステム及び方法
US8437347B2 (en) * 2003-10-14 2013-05-07 Qualcomm Incorporated Scalable encoding for multicast broadcast multimedia service
KR100571824B1 (ko) * 2003-11-26 2006-04-17 삼성전자주식회사 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치
US9473269B2 (en) 2003-12-01 2016-10-18 Qualcomm Incorporated Method and apparatus for providing an efficient control channel structure in a wireless communication system
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
US20060200744A1 (en) * 2003-12-08 2006-09-07 Adrian Bourke Distributing and displaying still photos in a multimedia distribution system
US7519274B2 (en) * 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
KR20050076019A (ko) * 2004-01-19 2005-07-26 삼성전자주식회사 스케일러블 부호화에 기반한 비트스트림의 적응적 부호화및/또는 복호화 방법, 및 이를 구현하기 위한프로그램이 기록된 기록 매체
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
KR100561869B1 (ko) * 2004-03-10 2006-03-17 삼성전자주식회사 무손실 오디오 부호화/복호화 방법 및 장치
US7994946B2 (en) * 2004-06-07 2011-08-09 Agency For Science, Technology And Research Systems and methods for scalably encoding and decoding data
US7756271B2 (en) * 2004-06-15 2010-07-13 Microsoft Corporation Scalable layered access control for multimedia
JP2006060813A (ja) * 2004-08-20 2006-03-02 Polycom Inc ビデオデコーダにおける誤り隠蔽
JP4771674B2 (ja) * 2004-09-02 2011-09-14 パナソニック株式会社 音声符号化装置、音声復号化装置及びこれらの方法
CN101124626B (zh) 2004-09-17 2011-07-06 皇家飞利浦电子股份有限公司 用于最小化感知失真的组合音频编码
RU2500043C2 (ru) * 2004-11-05 2013-11-27 Панасоник Корпорэйшн Кодер, декодер, способ кодирования и способ декодирования
US7751324B2 (en) 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
WO2006081454A2 (en) 2005-01-26 2006-08-03 Internet Broadcasting Corporation Layered multicast and fair bandwidth allocation and packet prioritization
US7672742B2 (en) * 2005-02-16 2010-03-02 Adaptec, Inc. Method and system for reducing audio latency
KR100643291B1 (ko) * 2005-04-14 2006-11-10 삼성전자주식회사 랜덤 엑세스의 지연을 최소화하는 비디오 복부호화 장치 및방법
US7466749B2 (en) 2005-05-12 2008-12-16 Qualcomm Incorporated Rate selection with margin sharing
US9130706B2 (en) * 2005-05-26 2015-09-08 Unwired Planet, Llc Method and apparatus for signal quality loss compensation in multiplexing transmission systems
US8358714B2 (en) 2005-06-16 2013-01-22 Qualcomm Incorporated Coding and modulation for multiple data streams in a communication system
JP4936688B2 (ja) * 2005-07-19 2012-05-23 パナソニック株式会社 中継装置、通信端末装置、信号復号化装置、信号処理方法、および信号処理プログラム
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8477840B2 (en) 2005-09-29 2013-07-02 Thomson Research Funding Corporation Method and apparatus for constrained variable bit rate (VBR) video encoding
KR100736080B1 (ko) * 2005-10-27 2007-07-06 삼성전자주식회사 다 계층으로 구성된 멀티미디어 스트림의 저작권을 계층별로 관리하는 방법 및 장치
JP5200204B2 (ja) 2006-03-14 2013-06-05 ディブエックス リミテッド ライアビリティー カンパニー 高信頼性システムを含む連合型デジタル権限管理機構
US8370138B2 (en) * 2006-03-17 2013-02-05 Panasonic Corporation Scalable encoding device and scalable encoding method including quality improvement of a decoded signal
JP4885270B2 (ja) * 2006-05-11 2012-02-29 シーエフピーエイチ， エル．エル．シー． 電子ファイルの使用と管理とのための方法および装置
EP1855271A1 (en) * 2006-05-12 2007-11-14 Deutsche Thomson-Brandt Gmbh Method and apparatus for re-encoding signals
JP4707623B2 (ja) * 2006-07-21 2011-06-22 富士通東芝モバイルコミュニケーションズ株式会社 情報処理装置
JP4918841B2 (ja) * 2006-10-23 2012-04-18 富士通株式会社 符号化システム
WO2008061211A2 (en) * 2006-11-15 2008-05-22 Qualcomm Incorporated Systems and methods for applications using channel switch frames
US20080120098A1 (en) * 2006-11-21 2008-05-22 Nokia Corporation Complexity Adjustment for a Signal Encoder
JP5339919B2 (ja) * 2006-12-15 2013-11-13 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
CN101001371B (zh) * 2007-01-19 2010-05-19 华为技术有限公司 视频转码的方法及其装置
US8553757B2 (en) * 2007-02-14 2013-10-08 Microsoft Corporation Forward error correction for media transmission
JP5294713B2 (ja) * 2007-03-02 2013-09-18 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
JP4708446B2 (ja) * 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
US8098941B2 (en) * 2007-04-03 2012-01-17 Aptina Imaging Corporation Method and apparatus for parallelization of image compression encoders
US8571027B2 (en) * 2007-04-18 2013-10-29 At&T Intellectual Property I, L.P. System and method for multi-rate video delivery using multicast stream
US8331334B2 (en) * 2007-07-20 2012-12-11 Broadcom Corporation Method and system for a handheld wireless communication device for configuring connection to and use of local and remote resources
WO2009051404A2 (en) * 2007-10-15 2009-04-23 Lg Electronics Inc. A method and an apparatus for processing a signal
KR20100106327A (ko) 2007-11-16 2010-10-01 디브이엑스, 인크. 멀티미디어 파일을 위한 계층적 및 감소된 인덱스 구조
US9872066B2 (en) * 2007-12-18 2018-01-16 Ibiquity Digital Corporation Method for streaming through a data service over a radio link subsystem
US8411569B2 (en) * 2008-01-10 2013-04-02 Alcatel Lucent Method of splicing encoded multimedia data streams
WO2009136872A1 (en) * 2008-05-07 2009-11-12 Agency For Science, Technology And Research Method and device for encoding an audio signal, method and device for generating encoded audio data and method and device for determining a bit-rate of an encoded audio signal
EP2152028A1 (en) * 2008-08-06 2010-02-10 Nokia Siemens Networks OY Method and devices for bit rate allocation for point-to-multipoint multimedia communications
US8155670B2 (en) * 2008-11-04 2012-04-10 2Wire, Inc. Cell notification
CN102549557B (zh) 2009-01-07 2015-09-09 索尼克Ip股份有限公司 针对在线内容的媒体指南的特定化、集中式、自动化创建
KR100924309B1 (ko) 2009-06-04 2009-11-02 전자부품연구원 시간확장성과 버퍼상태판단을 통한 품질 적응적 멀티미디어 데이터 스트리밍 방법 및 시스템
FR2947944A1 (fr) * 2009-07-07 2011-01-14 France Telecom Codage/decodage perfectionne de signaux audionumeriques
KR101282193B1 (ko) * 2009-11-10 2013-07-04 한국전자통신연구원 칼만 필터와 ｆｉｒ 필터를 사용한 동영상 인코더에서의 비트율 제어 방법
US9313512B2 (en) * 2009-11-25 2016-04-12 Vudu, Inc. Multiple bit rate encoding by segments
JP5723888B2 (ja) 2009-12-04 2015-05-27 ソニック アイピー， インコーポレイテッド 基本ビットストリーム暗号材料伝送システムおよび方法
US20110268175A1 (en) * 2010-04-30 2011-11-03 Wai-Tian Tan Differential protection of a live scalable media
US8626900B2 (en) * 2010-07-02 2014-01-07 At&T Intellectual Property I, L.P. Method and system to proactively identify degraded network performance
US8799405B2 (en) * 2010-08-02 2014-08-05 Ncomputing, Inc. System and method for efficiently streaming digital video
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
KR101928910B1 (ko) 2011-08-30 2018-12-14 쏘닉 아이피, 아이엔씨. 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US20150163271A1 (en) * 2011-12-22 2015-06-11 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and method for monitoring performance in a communications network
US20130282868A1 (en) * 2012-04-23 2013-10-24 Jae Chung Integral Controller Based Pacing for HTTP Pseudo-streaming
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9578342B2 (en) * 2013-06-24 2017-02-21 Dialogic Corporation Rate control algorithm for scalable video encoding with disposable P-frames
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
US20150016547A1 (en) * 2013-07-15 2015-01-15 Sony Corporation Layer based hrd buffer management for scalable hevc
WO2015007795A1 (en) 2013-07-16 2015-01-22 Bitmovin Gmbh Apparatus and method for cloud assisted adaptive streaming
GB201314067D0 (en) * 2013-08-06 2013-09-18 Microsoft Corp Allocating Processor Resources
FR3011704A1 (fr) * 2013-10-07 2015-04-10 Orange Procede de mise en œuvre d'une session de communication entre une pluralite de terminaux
US10116943B2 (en) * 2013-10-16 2018-10-30 Nvidia Corporation Adaptive video compression for latency control
US9727460B2 (en) * 2013-11-01 2017-08-08 Samsung Electronics Co., Ltd. Selecting a memory mapping scheme by determining a number of functional units activated in each cycle of a loop based on analyzing parallelism of a loop
US20150163484A1 (en) * 2013-12-09 2015-06-11 Vixs Systems Inc. Variable bitrate encoding for multiple video streams
US20150170655A1 (en) * 2013-12-15 2015-06-18 Qualcomm Incorporated Systems and methods of blind bandwidth extension
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
EP3627507A1 (en) * 2016-02-17 2020-03-25 Fraunhofer Gesellschaft zur Förderung der Angewand Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing
GB2598255B (en) 2016-02-17 2022-07-27 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
US10346126B2 (en) 2016-09-19 2019-07-09 Qualcomm Incorporated User preference selection for audio encoding
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming
GB2561036A (en) * 2017-03-31 2018-10-03 Cirrus Logic Int Semiconductor Ltd Methods and apparatus for buffering and compression of data
US10686859B2 (en) * 2017-12-28 2020-06-16 Intel Corporation Content scenario and network condition based multimedia communication
GB2570324A (en) * 2018-01-19 2019-07-24 V Nova Int Ltd Multi-codec processing and rate control
WO2020047298A1 (en) * 2018-08-30 2020-03-05 Dolby International Ab Method and apparatus for controlling enhancement of low-bitrate coded audio
US11128869B1 (en) 2018-10-22 2021-09-21 Bitmovin, Inc. Video encoding based on customized bitrate table

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
FI106998B (fi) 1999-01-15 2001-05-15 Nokia Mobile Phones Ltd Bittinopeuden ohjaus multimedialaitteessa

Also Published As

Publication number Publication date
JP2002100994A (ja) 2002-04-05
US7072366B2 (en) 2006-07-04
EP1173028A3 (en) 2004-01-28
FI20001674A0 (fi) 2000-07-14
EP1173028A2 (en) 2002-01-16
EP1173028B1 (en) 2018-06-27
FI109393B (fi) 2002-07-15
FI20001674A (fi) 2002-01-15
US20030206558A1 (en) 2003-11-06

Similar Documents

Publication Publication Date Title
JP4160278B2 (ja) 媒体ストリームのスケーラブル符号化方法、スケーラブルエンコーダおよびマルチメディア端末
US6704281B1 (en) Bit-rate control in a multimedia device
US9338453B2 (en) Method and device for encoding/decoding video signals using base layer
KR101037459B1 (ko) 적응적 인코더-보조 프레임 레이트 상향변환
US7924917B2 (en) Method for encoding and decoding video signals
US20020136298A1 (en) System and method for adaptive streaming of predictive coded video data
EP1638333A1 (en) Rate adaptive video coding
US20030023982A1 (en) Scalable video encoding/storage/distribution/decoding for symmetrical multiple video processors
US20060133482A1 (en) Method for scalably encoding and decoding video signal
Järvinen et al. Media coding for the next generation mobile system LTE
KR101032243B1 (ko) 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템
WO2007035147A1 (en) Adaptive source signal encoding
JP2007507927A (ja) アドバンスドデータパーティショニングと効率的な空間−時間−ｓｎｒスケーラビリティビデオコーディング及びストリーミングのためのファイン・グラニュラリティ・スケーラビリティとを結合したシステム及び方法
JP3936708B2 (ja) 画像通信システム，通信会議システム，階層符号化装置，サーバ装置，画像通信方法，画像通信プログラムおよび画像通信プログラム記録媒体
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
JP4373088B2 (ja) マルチメディア通信端末
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
JP2010239389A (ja) 映像伝送システム
KR20090125556A (ko) 영상 코덱 방법, 영상 코덱 장치 및 그 영상 서비스 시스템
CN112004084B (zh) 一种利用量化参数排序的码率控制优化方法及系统
JP2005341347A (ja) 多地点接続装置および方法
CN112004083B (zh) 一种利用帧间预测特性优化码率控制方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071022

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20071022

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080717

R150 Certificate of patent or registration of utility model

Ref document number: 4160278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term