JP4988547B2

JP4988547B2 - ビデオコーディング方法

Info

Publication number: JP4988547B2
Application number: JP2007501705A
Authority: JP
Inventors: ハン，ウ−ジン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-03-04
Filing date: 2005-02-25
Publication date: 2012-08-01
Anticipated expiration: 2025-02-25
Also published as: US20130223541A1; JP2010178389A; CA2557294A1; EP1721466A1; JP5550442B2; US8929436B2; US8331434B2; EP1721466A4; JP2007525923A; KR100586883B1; CA2557294C; WO2005086486A1; US20050195899A1; BRPI0508354A; KR20050089720A

Description

本発明は、ビデオストリーミングサービスのためのビデオエンコーディング方法と、ビットストリーム構造と、プリデコーディング方法及び装置と、ビデオシーケンス復元方法及び装置と、イメージフィルタリング方法に関する。

インターネット技術の急激な発達につれて多様なサービスが新たに登場している。インターネットの発達につれて生じたサービスの１つが注文型ビデオ（ＶｉｄｅｏＯｎＤｅｍａｎｄ：以下、ＶＯＤと称する）サービスである。ＶＯＤサービスは、サービス利用者の要求によって映画やニュースなどの映像基盤サービスを電話線やケーブルまたはインターネットを通じて提供する新たな概念のサービス事業をいう。ＶＯＤサービスを通じてサービス利用者は映画館に行かずに、家でも映画が鑑賞でき、また学院や学校に行かなくても動映像講義を通じて多様な知識を習得しうる。

このようなＶＯＤサービスを可能にするためには、様々な条件が必要であるが、多くの情報を送受信できる広域通信サービスと動映像圧縮技術がこれに該当する。このうち、動映像圧縮技術は、データ伝送に必要な帯域幅を効率よく減少させてＶＯＤサービスを可能にする。例えば、６４０×４８０の解像度を有する２４ｂｉｔツルーカラーの動映像イメージは１フレーム当り６４０×４８０×２４ｂｉｔの容量、すなわち、約７．３７Ｍｂｉｔのデータが必要である。もし、フレームレートが秒当り３０フレームである場合、ＶＯＤサービスのために必要な帯域幅は約２２１Ｍｂｉｔ／ｓｅｃとなる。一方、このような動映像イメージからなる９０分映画を保存しようとするならば、約１２００Ｇｂｉｔの容量を有する記録媒体を必要とする。このように圧縮されていない動映像は、伝送時に莫大な帯域幅を必要とし、保存空間も非常に多く必要となるので、現在のネットワーク環境でＶＯＤサービスを行うには、圧縮技術は必須的である。

データを圧縮する基本的な原理は、データの重複（ｒｅｄｕｎｄａｎｃｙ）をなくすことである。１つのイメージフレームで同じ色や客体が反復されるか、動きが比較的小さくて隣接フレームの変化がほとんどない場合に、動映像圧縮は効率よく行われる。

動映像を圧縮する周知のビデオコーディングアルゴリズムとして、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、Ｈ．２６４（あるいはＡＶＣ）などがある。このようなビデオコーディング方式は、モーション補償予測コーディング法に基づいて時間的重複はモーション補償により除去し、空間的重複は離散コサイン変換（ＤｉｓｃｒｅｔｅｃｏｓｉｎｅＴｒａｎｓｆｏｒｍ：以下、“ＤＣＴ”と称する）により除去する。モーション補償による時間的重複除去とＤＣＴによる空間的重複は、効率的であるので、これら圧縮方式は高いビデオコーディング効率を有する。このようなビデオコーディング方式は、高いビデオコーディング効率を有するが、基本的に再帰的接近方式を採択することによって、満足できるほどのスケーラビディー（ｓｃａｌａｂｉｌｉｔｙ）は提供していない。最近には、ウェーブレット変換方式とモーション補償時間的フィルタリング（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄＴｅｍｐｏｒａｌＦｉｌｔｅｒｉｎｇ：以下、“ＭＣＴＦ”と称する）方式を採択したスケーラブルビデオコーディングアルゴリズムについての研究が活発である。スケーラブルビデオコーディングアルゴリズムの特性であるスケーラビディーは、１つのビットストリーム（コンテンツ）で多様な解像度、フレームレート、及び画質のビデオシーケンスをデコーディングしうる特性を意味する。

スケーラビディー特性の少ないビデオコーディング方式によるビデオストリーミングサービスとスケーラブルビデオコーディング方式によるビデオストリーミングサービスについては、各々図１及び図２に基づいて説明する。説明の便宜上、１つのビデオシーケンスに対するビデオストリーミングサービスを基準に説明する。

図１を参照して、ビデオストリーミング提供者１００は、ビデオシーケンスを入力されてＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、Ｈ．２６４のようなビデオコーディングアルゴリズムでビデオシーケンスに対するビデオコーディングを行う。このようなコーディングアルゴリズムでビデオシーケンスをコーディングして得たビットストリームはノンスケーラブルであるか、スケーラブルな特性が弱い。したがって、多様な解像度とフレームレートでビデオストリーミングサービスをしようとするなら、各解像度とフレームレート別にビットストリームを生成せねばならない。このためにビデオシーケンスについての解像度と（解像度または）フレームレートを変換させて、低解像度と（解像度または）フレームレートのビデオシーケンスを生成する複数の変換部１１０−２ないし１１０−ｎと、ビデオシーケンスまたは変換されたビデオシーケンスをビデオコーディングアルゴリズムでコーディングしてビットストリームを生成する複数のビデオエンコーダ１２０−１，１２０−２，１２０−３，．．．，１２０−ｎ、及び生成された各解像度とフレームレートのビットストリームのうちいずれか１つを選択してビデオデコーダ１４０に送る選択部１３０を備える。

第２変換部１１０−２は、ビデオシーケンスを入力されてダウンサンプリングまたはフレームレート変換を通じて低解像度または（及び）低いフレームレートのビデオシーケンスに変換させる。ＭＥＰＧ方式のダウンサンプリングは、ダウンサンプリングされたイメージが軟らかい特性を有する。変換されたビデオシーケンスは、第２ビデオエンコーダ１２０−２に送る。同様に第３変換部１１０−３は、ビデオシーケンスを変換して第３ビデオエンコーダ１２０−３に送り、第ｎ変換部１１０−ｎはビデオシーケンスを第ｎビデオエンコーダ１２０−ｎに送る。

第１ビデオエンコーダ１２０−１は、ビデオシーケンスに対して最高の解像度とフレームレートでビデオコーディングを行う。例えば、７０４ｘ５７６の解像度を有して６０Ｈｚのフレームレートを有するビデオシーケンスを受けて７０４ｘ５７６の解像度及び６０Ｈｚフレームレートを有するようにビデオコーディングを行ってビットストリームを生成する。このように原始ビデオシーケンスの解像度とフレームレートをそのまま維持しつつ、コーディングして得たビットストリームはネットワーク帯域幅が十分に保証される場合に、ユーザに提供されうる。例えば、６Ｍｂｐｓのネットワーク帯域幅が安定的に保証される場合に、第１ビデオエンコーダ１２０−１を通じて生成されたビットストリームをユーザに提供されうる。ユーザに提供されるビットストリームはビデオデコーダ１４０を通じてデコーディングされ、デコーディングを通じて７０４ｘ５７６の解像度を有して６０Ｈｚフレームレートを有するビデオシーケンスが復元される（ｒｅｃｏｎｓｔｒｕｃｔ）。

第２ビデオエンコーダ１２０−２は、第１ビデオエンコーダ１２０−２より低解像度及び（または）フレームレートを有するビデオシーケンスビデオコーディングしてビットストリームを生成する。同様に第３ビデオエンコーダ１２０−３も第１及び第２ビデオエンコーダ１２０−１、１２０−２と異なる解像度及び（または）他のフレームレートにビデオコーディングを行ってビットストリームを得る。このような方式で第１ないし第ｎビデオエンコーダ１２０−１ないし１２０−ｎは、同じビデオシーケンスについての相異なる解像度及び（または）フレームレートを有するビットストリームを生成する。

選択部１３０は、ユーザ（ビデオデコーダ１4０）から要請された解像度とフレームレートのビットストリームをビデオデコーダ１4０に提供する。ネットワークの帯域幅が安定して保証される場合に、ユーザは高い解像度とフレームレートとを有するビデオを要請でき、この場合、ビデオストリーミング提供者１００は、ユーザが選択した高い解像度とフレームレートとを有するビットストリームをユーザに提供する。ネットワーク帯域幅が安定していないとき、高い解像度とフレームレートとを有するようにコーディングされたビットストリームを受信するビデオデコーダ１４０で復元されるビデオシーケンスは、再生中に切れる現象が頻繁に発生しうる。この場合、ユーザはさらに低解像度及び（または）フレームレートを有するようにコーディングされたビットストリームをビデオストリーミング提供者１００に要請しうる。

ビデオデコーダ１４０は、ビデオストリーミング提供者１００からビデオシーケンスについてのビットストリームを受信し、これをデコーディングする。例えば、ＭＰＥＧ−２方式でコーディングされたビットストリームの場合には、ＭＰＥＧ−２方式でデコーディングし、Ｈ．２６４方式でコーディングされたビットストリームの場合にはＨ．２６４方式でデコーディングしてビデオシーケンスを復元する（ｒｅｃｏｎｓｔｒｕｃｔ）。

図１のビデオストリーミング提供者１００のようにスケーラビディーを有していないか、スケーラビディーの弱いビデオコーディングアルゴリズムを用いてビデオシーケンスに対するビデオコーディングを行うビデオストリーミング提供者は、ネットワーク環境やユーザの要求によって同じビデオシーケンスに対して多様な解像度とフレームレートとを有する複数のビデオコーディング過程を行わねばならない。その結果、１つのビデオシーケンスから複数のビットストリームが生成されるが、解像度とフレームレートとが異なる度にビットストリームを生成しようとするならば、高い演算能力を必要とし、また多様な解像度とフレームレートでビデオストリームをユーザに提供するサービス、いわゆる同時放送（ｓｉｍｕｌｃａｓｔｉｎｇ）サービスを行おうとするなら、生成されたビットストリームを保存するための高容量の記録媒体を必要とする。

図２は、ウェーブレット基盤のスケーラブルビデオコーディング方式を用いるビデオストリーミング提供者２００の構成を簡略に示す。便宜上１つのビデオシーケンスに対するビデオコーディングを中心に説明する。

ビデオストリーミング提供者２００は、ビデオシーケンスをコーディングするためのスケーラブルビデオエンコーダ２１０とプリデコーダ２２０を備える。スケーラブルビデオエンコーダ２１０は、スケーラビディーを有するビデオコーディングアルゴリズムを用いてスケーラビディーを有するビットストリームを生成する。現在知られたスケーラブルビデオコーディングアルゴリズムで空間的スケーラビディーはウェーブレット変換を通じて得られ、時間的スケーラビディーは、ＭＣＴＦやＵＭＣＴＦ（ＵｎｃｏｎｓｔｒａｉｎｅｄＭＣＴＦ）またはＳＴＡＲ（ＳｕｃｃｅｓｓｉｖｅＴｅｍｐｏｒａｌＡｐｐｒｏｘｉｍａｔｉｏｎａｎｄＲｅｆｅｒｅｎｃｉｎｇ）のような方式により得られ、信号対雑音比（ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏｎ）スケーラビディーはエンベデッド量子化を通じて得られる。

スケーラブルビデオエンコーダ２１０を通じてビデオシーケンスをコーディングして得たビットストリームはプリデコーダ２２０を通じてプリデコーディングされる。プリデコーディングとは、スケーラブルビットストリームの一部ビットを切断する（ｔｒｕｎｃａｔｉｏｎ）過程を意味するが、プリデコーディングを通じてビットストリームは原始のビットストリームより低い解像度のビットストリームになるか、低いフレームレートのビットストリームまたは低い画質のビットストリームになりうる。ユーザ側のビデオデコーダ２３０でビデオシーケンスに対して解像度とフレームレートとをビデオストリーミング提供者２００に要請すれば、ビデオストリーミング提供者２００のプリデコーダ２２０はビットストリームの一部のビットを切断する。一部のビットが除去されたビットストリームはビデオデコーダ２３０に提供されてビデオデコーダ２３０は、ビットストリームをデコーディングして要請した解像度とフレームレートとを有するビデオシーケンスを復元する。

このようにスケーラブルビデオコーディングアルゴリズムを使用したビデオストリーミングサービスは、１つのビデオシーケンスに対して１つのビットストリームを生成しても、多様な解像度とフレームレートとを有するビットストリームを提供する同時放送が可能である。しかし、現在知られたスケーラブルビデオコーディングアルゴリズムの場合、あらゆる解像度で画質に優れたビットストリームは提供していない。例えば、最高解像度のビデオを復元する場合には良い画質が得られるが、低解像度のビデオを復元する場合には満足できるほどの画質を得られなくなる。低解像度の画質を高めるために多くのビットを割り当ててビデオコーディングを行えるが、この場合にビデオコーディング効率が低下する。

前述したように図１のビデオストリーミングサービスは、あらゆる解像度で最適化されたビットストリームの提供が可能であるが、演算能力と保存空間との浪費が発生して、図２のビデオストリーミングサービスは、１つのビットストリームで多様な解像度とフレームレートとを有するビットストリームの提供が可能であるが、一部の解像度で画質が劣るか、画質を改善しようとするならば、コーディング効率が低下する。このような背景でビデオストリーミングサービスのために画質とビデオコーディングの効率間の適切な妥協を通じて満足できるほどの画質とビデオコーディング効率とを有するビデオコーディングの方案が必要である。

本発明の目的は、良い画質とビデオコーディング効率とを有するビデオストリーミングサービスのためのビデオコーディング方法とプリデコーディング方法及びビデオデコーディング方法、及びその装置を提供することである。

本発明の他の目的は、このようなビデオストリーミングサービスのためのビデオコーディングアルゴリズムの効率を高めることである。

本発明のさらに他の目的は、このようなビデオストリーミングサービスにより提供されるビデオシーケンスの画質を改善することである。

本発明の目的は、前述した目的に制限されず、言及されていないさらに他の目的は下記の記載から当業者に明確に理解されるであろう。

前記目的を達成するための本発明の一実施形態によるビデオコーディング方法は、
第１ビデオシーケンス、及び、前記第１ビデオシーケンスと解像度、フレームレート及び画質のうちの少なくとも１つが異なる第２ビデオシーケンスを、各々スケーラブルビデオコーディングして第１ビットストリーム及び第２ビットストリームを生成する段階と、
前記第１及び第２ビットストリームを統合して、一つのビットストリームとして生成したスーパービットストリームを生成する段階と、を含み、
前記第１及び第２ビデオシーケンスと解像度、フレームレート及び画質のうち少なくとも１つが異なる第３ないし第ｎビデオシーケンスを各々スケーラブルビデオコーディングして第３ないし第ｎビットストリームを生成する段階をさらに含み、
前記スーパービットストリームは、前記第３ないし第ｎビットストリームをさらに含み、前記第２ないし第ｎビデオシーケンスは、前記第１ビデオシーケンスを構成するフレームのうち一部のフレームを除去するフレームレート変換を適用することで得られる、ビデオコーディング方法である。

本発明によれば、良い画質とビデオコーディング効率を有する同時放送のためのビデオコーディングが可能であり、これを用いたビデオストリーミングサービスを提供しうる。

また本発明によれば、ビデオストリーミングサービスのためのビデオコーディングアルゴリズムの効率を高めうる。

また本発明によれば、ビデオストリーミングサービスにより提供されるビデオストリームの画質を改善しうる。このような画質改善は、単に動映像でのみ意味があるものではなく、個別的なイメージ（静止画像）に対しても意味があり得る。

以下、添付された図面を参照して本発明の実施形態を詳細に説明する。

本発明の実施形態は、多様な解像度とフレームレートとを有するビットストリームを生成するためにスケーラブルビデオコーディングを使用する。スケーラブルコーディングを利用すれば、１つのスケーラブルビットストリームから多様な解像度とフレームレートのビットストリームが容易に得られる。

解像度と関連して、現在まで知られたスケーラブルコーディングアルゴリズムでコーディングされた１つのスケーラブルビットストリームから、ある解像度では良い画質のビデオシーケンスを復元できるが、他の解像度では劣る画質のビデオシーケンスが得られる。したがって、本発明の実施形態は、基本的にスケーラブルビデオコーディングアルゴリズムを利用してビデオシーケンスに対してビデオコーディングを行うが、コーディングされた１つのスケーラブルビットストリームからあらゆる解像度とフレームレートのビデオシーケンスを得ることはできない。一実施形態において、１つのビデオシーケンスに対して２つ以上のスケーラブルビットストリームを生成する。他の実施形態において、１つのビデオシーケンスに対してスケーラブルビットストリームとＭＰＥＧ系列のビットストリームとを生成する。生成されたビットストリームで１つのスーパービットストリームを生成する。複数のスケーラブルビットストリームを生成した後、スーパービットストリームを生成してビデオデコーダに提供するビデオストリーミング提供者は図３に基づいて説明する。

図３は、本発明の一実施形態によるビデオストリーミングサービスの概念を示す図面である。１つのビデオシーケンス（コンデンツ）に対するサービスと仮定して説明する。

ビデオストリーミング提供者３００は、変換部３１０とビデオエンコーダ３２０とスーパービットストリーム生成部３３０及びプリデコーダ３４０を備える。

ビデオエンコーダ３２０は、相異なる解像度とフレームレート及び画質を有する複数のビデオシーケンスをビデオコーディングしてビットストリームを生成する。一実施形態において、ビデオエンコーダ３２０は、スケーラブルビデオコーディング方式だけを用いてビデオシーケンスからビットストリームを生成する。他の実施形態において、ビデオエンコーダ３２０は、スケーラブルビデオコーディング方式とＤＣＴ方式に基づいたノンスケーラブルなビデオコーディング方式を用いてビデオシーケンスからビットストリームを生成する。

スケーラブルビデオコーディング方式のみを用いる実施形態は、図３に示されたように１つのビデオシーケンス（コンデンツ）に対して異なる解像度とフレームレートとを有するｎ個のビデオシーケンスを入力されてｎ個のビットストリームを生成する。このためにビデオエンコーダ３２０は、第１スケーラブルビデオエンコーディング部３２０−１ないし第ｎスケーラブルビデオエンコーディング部３２０−ｎを含むが、これら第１ないし第ｎスケーラブルビデオエンコーディング部は、１つの統合されたスケーラブルビデオエンコーディング部でも、各々別途のスケーラブルビデオエンコーディング部でもあり得る。

第１スケーラブルビデオエンコーディング部３２０−１は、ビデオシーケンスに対して最高の解像度とフレームレートとを有するスケーラブルビデオコーディングを行う。第２スケーラブルビデオのコーディング部３２０−２は、第１スケーラブルビデオのコーディング部３２０−１より低い解像度または低いフレームレートを有するスケーラブルビデオコーディングを行う。同様に、残りのスケーラブルビデオのコーディング部３２０−２ないし３２０−ｎも相異なる解像度またはフレームレートを有するスケーラブルビデオコーディングを行う。スケーラブルビットストリームから解像度を低めてビデオシーケンスを復元するときの画質の低下と、フレームレートを低めてビデオシーケンスを復元するときの画質の低下とを比較すると、前者がはるかに大きく現れるので、各スケーラブルビデオエンコーダは、相異なる解像度のスケーラブルビットストリームを生成することが望ましい。

変換部３１０は、ビデオシーケンスを入力され、入力されたビデオシーケンスを低解像度またはフレームレートを有するビデオシーケンスに変換させる。第２変換部３１０−２は、第２スケーラブルビデオエンコーディング部３２０−２で生成するスケーラブルビットストリームの解像度とフレームレートにビデオシーケンスの解像度とフレームレートを変換させる。同様に、他の変換部３１０−３ないし３１０−ｎも各々スケーラブルビデオビデオエンコーディング部３２０−３ないし３２０−ｎのためにビデオシーケンスの解像度とフレームレートとを変換させる。一実施形態において、解像度変換は、ウェーブレット方式でダウンサンプリングする。他の実施形態において、解像度変換は、ＭＰＥＧ方式でダウンサンプリングする。さらに他の実施形態において、解像度変換は、ウェーブレット方式でダウンサンプリングし、ダウンサンプリングされたフレームをウェーブレット方式でアップサンプリングした後、アップサンプリングされたフレームを再びＭＰＥＧ方式でダウンサンプリングする。このうち、ウェーブレット方式の解像度変換は、イメージをウェーブレット方式で空間圧縮するときに得た低周波及び高周波サブバンドのうち、低周波サブバンドを選択することを意味する。ウェーブレット方式の解像度変換は、別途に具現せず、スケーラブルビデオのコーディング部と共に行える。

ビデオシーケンスは、各スケーラブルビデオエンコーディング部３２０−１ないし３２０−ｎを経てｎ個の相異なる解像度とフレームレートとを有するスケーラブルビットストリームとなる。一実施形態において、ビデオストリーミング提供者３００は、複数のビットストリームでスーパービットストリームを生成するスーパービットストリーム生成部３３０をさらに含むが、生成されたスケーラブルビットストリームは、スーパービットストリーム生成部３３０を経てスーパービットストリームに統合される。

プリデコーダ３４０は、要請された解像度とフレームレートのビットストリームをデコーダ３５０側に送る。一実施形態において、プリデコーダ３４０は、ｎ個のビットストリームのうち、要請された解像度に該当するビットストリームを選択し、選択されたビットストリームが要請されたフレームレートになるように不要なビットを切断し、不要な部分の切断されたビットストリームをデコーダ３５０に送信する。ビデオシーケンスとビデオシーケンスの解像度とフレームレートの要請は、デコーダ３５０から直接受信できるが、ビデオストリーミング提供者３００がデコーダ３５０からビデオシーケンスとビデオシーケンスの解像度とフレームレートの要請を受け、これをプリデコーダ３４０に伝達することもできる。このためにプリデコーダ３４０は、前記要請を受信する要請受信部（図示せず）とビットストリームのビットを切断するビットストリーム切断部（図示せず）を備える。他の実施形態において、プリデコーダ３４０は、要請受信部（図示せず）で受信されたビデオシーケンスとビデオシーケンスの解像度及びフレームレートに該当するビットストリームをｎ個のビットストリームを含むスーパービットストリームから選択し、選択されたビットストリームを除いたビットストリームと選択されたビットストリームの不要な部分を切断する。不要な部分の切断されたスーパービットストリームはデコーダ３５０に伝送される。

他の実施形態において、要請された解像度のスケーラブルビットストリームのない場合ならば、要請された解像度よりさらに高い解像度のスケーラブルビットストリームのうちいずれか１つの不要な部分を切断してデコーダ３５０に送信する。一実施形態において選択する基準は、要請されたこととの解像度差が最も少ないスケーラブルビットストリームを選択し、選択されたビットストリームから不要なビットを切断した後にデコーダ３５０に送信する。一方、プリデコーダ３４０は、解像度とフレームレートとが同一であっても、ネットワークの状態によってビットストリームをさらに切断して低いＳＮＲ値を有するビットストリームを作ってこれをデコーダ３５０に送信することもできる。

一実施形態において、プリデコーダ３４０は、ビデオエンコーダ３２０と別途に具現しうる。この場合、プリデコーダ３４０は、ビデオストリーミング提供者としての役割を行う。すなわち、プリデコーダ３４０は、デコーダ３５０から特定の解像度とフレームレートのビデオシーケンスとを要請される。プリデコーダ３４０は、予めエンコーディングされた複数のビットストリームを含むスーパービットストリームからいずれか１つのビットストリームを選択し、選択されたビットストリームの一部のビットと残りのビットストリームとを除去した後、要請された解像度とフレームレートのビデオシーケンスに復元されるスーパービットストリームをデコーダ３５０に伝送する。

他の実施形態において、プリデコーダ３４０は、デコーダ３５０と共にユーザ側にある。この場合、デコーダ３５０は、ビデオストリーミング提供者３００からスーパービットストリームを受信し、プリデコーダ３３０を通じて選択したビットストリームの一部のビットと不要なビットストリームのビットとを切断してデコーダ３５０が所望の解像度とフレームレートのビデオシーケンスを復元可能にする。

前記構成部分は、機能性モジュールであって、前述したような役割を行う。このような機能性モジュールは、ソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェアで具現されうる。しかし、機能性モジュールは、ソフトウェアまたはハードウェアに限定される意味ではない。機能性モジュールは、アドレッシングできる記録媒体にあるように構成されてもよく、１つまたはそれ以上のプロセッサーを実行させるように構成されても良い。したがって、一例として機能性モジュールは、ソフトウェアの構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。構成要素とモジュール内で提供される機能は、さらに少ない構成要素及びモジュールに結合されるか、追加的な構成要素とモジュールとにさらに分離されうる。のみならず、構成要素及びモジュールは、通信システム内の１つまたはそれ以上のコンピュータを実行させるように具現されることもある。

図４及び図５は、スケーラブルビデオエンコーダ４１０とＡＶＣビデオエンコーダ４６０との構成を各々示す。

スケーラブルビデオエンコーダ４１０は、モーション補償時間的フィルタリング部４２０とウェーブレット変換部４３０及びエンベデッド量子化部４４０を含む。スケーラブルビデオエンコーダ４１０は、ビデオシーケンスを入力されてＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）単位で処理する。１つのＧＯＰは、複数のフレームで構成される。例えば、ＧＯＰは２、４、８、１６、または３２フレームのうちいずれか１つで構成される。スケーラブルビデオコーディング方式として知られた多くのアルゴリズムは、ＧＯＰが含むフレームの数（ＧＯＰサイズ）が大きくなれば、ビデオ圧縮効率が高まるが、ビデオコーディングからビデオデコーディングまでのアルゴリズム遅延時間が増加する性質を有し、ＧＯＰサイズが小さくなれば、アルゴリズム遅延時間は短縮されるが、圧縮効率は減少する性質を有する。

モーション補償時間的フィルタリング部４２０は、ＧＯＰ単位で入力されたフレーム間の時間的重複を除去する。フレーム間の時間的重複を除去する方式では、ＭＣＴＦ、ＵＭＣＴＦ、ＳＴＡＲのようなアルゴリズムが知られている。このようなアルゴリズムを利用すれば、フレーム間の時間的重複を除去できるだけでなく、時間的なスケーラビディーを有するようにビデオコーディングをすることができる。

ウェーブレット変換部４３０は、時間的重複が除去されたフレームをウェーブレット変換方式で変換させて空間的重複を除去する。ウェーブレット変換アルゴリズムは、ＪＰＥＧ２０００にも使われているアルゴリズムであって、１つのフレームを低周波サブバンドと高周波サブバンドとに分ける。低周波サブバンドは、元来フレームの縮小されたイメージとほぼ同じイメージである。

エンベデッド量子化部４４０は、ウェーブレット変換部４３０でフレームをウェーブレット変換して得た変換係数をエンベデッド量子化させる。エンベデッド量子化された変換係数は、エントロピーコーディングを経てビットストリーム化される。

本発明の実施形態のうち、スケーラブルビデオコーディングと異なるビデオコーディングアルゴリズムを用いてビデオシーケンスに対する一部または全体ビットストリームを生成することがある。現在知られたビデオコーディングアルゴリズムとして、最も圧縮効率の高いのがＡＶＣ（ＡｄｖａｎｃｅＶｉｄｅｏＣｏｄｉｎｇ）方式である。ＡＶＣは、Ｈ．２６４またはＭＰＥＧ４−ｐａｒｔ１０とも呼ばれるビデオコーディング方式であって、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｏｎＴｒａｎｓｆｏｒｍ）を変換方式として採用する。ノンスケーラブルなビデオコーディング方式を使用する実施形態においてはＡＶＣを使用することが望ましい。

ＡＶＣビデオエンコーダ４６０は、モーション補償予測部４７０とＤＣＴ変換部４８０及び量子化部４９０を含む。モーション補償予測部４７０は、ビデオシーケンスを構成するフレームの時間的重複を除去する。ＡＶＣで時間的重複を除去するブロックタイプが多様に支援される。すなわち、４Ｘ４、４Ｘ８、８Ｘ４、８Ｘ８、１６Ｘ８、８Ｘ１６、１６Ｘ１６サブブロックのように多様なタイプを支援していて高い圧縮効率を達成しうる。

ＤＣＴ変換部４８０は、モーション補償予測部を通じて時間的重複が除去されたフレームをマクロブロック単位でＤＣＴ変換する。ＡＶＣでは、マクロブロック単位でＤＣＴ変換を行うので、ウェーブレット変換方式とは違って空間的スケーラビディーを持てない。

量子化部４９０は、ＤＣＴ変換された変換係数を量子化する。量子化を経た変換係数はエントロピーコーディングされてビットストリーム化される。

図３の実施形態でビデオエンコーダ３２０は前述したスケーラブルビデオエンコーダ４１０だけを含むこともできるが、ＡＶＣビデオエンコーダ４６０をも含みうる。ビデオエンコーダ３２０は、その他のビデオエンコーダをも含みうる。

一方、デコーダ（図示せず）エンコーディング過程と反対の過程でビデオシーケンスを復元する。すなわち、ビットストリーム（圧縮されたビデオシーケンス）を受信し、これを逆量子化（または逆エンベデッド量子化）及び逆空間的変換（ウェーブレット変換またはＤＣＴ変換）した後、逆モーション補償時間的フィルタリングまたは逆モーション補償予測を通じてビデオシーケンスを復元する。

図６ないし図９は、各々ノンスケーラブルなビデオコーディング方式、スケーラブルしたビデオコーディング方式及び本発明の第１及び第２実施形態によるコーディング方式を用いたビデオストリーミングサービスを各々示す。

ノンスケーラブルビデオコーディング方式の場合には、１つのコンテンツ（ビデオシーケンス）を多様な解像度とフレームレートでユーザにサービスしようとすれば、各解像度とフレームレートに該当するビットストリームを必要とする。例えば、７０４ｘ５７６の解像度と６０Ｈｚのフレームレートとを有するビデオストリーミングサービスと、３５２ｘ２８８の解像度と３０Ｈｚのフレームレートとを有するビデオストリーミングサービス、及び１７６ｘ１４４の解像度と１５Ｈｚのフレームレートとを有するビデオストリーミングサービスを行おうとすれば、１つのビデオシーケンスに対して７０４ｘ５７６の解像度と６０Ｈｚのフレームレート、３５２ｘ２８８の解像度と３０Ｈｚのフレームレート、及び１７６ｘ１４４の解像度と１５Ｈｚのフレームレートでビデオコーディングして３つのビットストリーム５１１、５１２、５１３を得る。例えば、ユーザが７０４ｘ５７６の解像度と６０Ｈｚのフレームレートとを要請すれば、ビデオストリーミング提供者は７０４ｘ５７６の解像度と６０Ｈｚのフレームレートとを有するビットストリーム５１１をユーザに提供する。例えば、ユーザが３５２ｘ２８８の解像度と３０Ｈｚのフレームレートとを要請すれば、ビデオストリーミング提供者は３５２ｘ２８８の解像度と３０Ｈｚのフレームレートとを有するビットストリーム５１２をユーザに提供する。ユーザが１７６ｘ１４４の解像度と１５Ｈｚのフレームレートとを要請すれば、ビデオストリーミング提供者は１７６ｘ１４４の解像度と１５Ｈｚのフレームレートとを有するビットストリーム５１３をユーザに提供する。

図６に示されたように、７０４ｘ５７６の解像度と６０Ｈｚのフレームレートのビットストリームをサービスしようとするなら、６Ｍｂｐｓの安定したネットワーク帯域幅が必要であり、３５２ｘ２８８の解像度と３０Ｈｚのフレームレートのビットストリームをサービスしようとするなら、７５０ｋｂｐｓの安定したネットワーク帯域幅が必要であり、１７６ｘ１４４の解像度と１５Ｈｚのフレームレートのビットストリームをサービスしようとするなら、１２８ｋｂｐｓの安定したネットワーク帯域幅が必要である。したがって、ユーザは、ある解像度とフレームレートのビットストリームを選択するとき、ネットワーク帯域幅を考慮して選択する。すなわち、６Ｍｂｐｓ以上の安定した帯域幅が保証されるとき、ユーザはビデオストリーミング提供者から７０４ｘ５７６の解像度と６０Ｈｚのフレームレートとを有するビデオストリーミングサービスと、３５２ｘ２８８の解像度と３０Ｈｚのフレームレートとを有するビデオストリーミングサービス、及び１７６ｘ１４４の解像度と１５Ｈｚのフレームレートとを有するビデオストリーミングサービスを提供されうるが、７５０ｋｂｐｓ以上の安定した帯域幅は保証されるが、６Ｍｂｐｓの安定した帯域幅は保証されないとき、ユーザは３５２ｘ２８８の解像度と３０Ｈｚのフレームレートとを有するビデオストリーミングサービス、及び１７６ｘ１４４の解像度と１５Ｈｚのフレームレートとを有するビデオストリーミングサービスのみを提供されうる。同様に１２８ｋｂｐｓの帯域幅が保証される場合、ユーザは１７６ｘ１４４の解像度と１５Ｈｚのフレームレートとを有するビデオストリーミングサービスのみを提供されうる。

５Ｍｂｐｓの安定した帯域幅が保証される時、ユーザは７０４ｘ５７６の解像度と６０Ｈｚのフレームレートを有するビデオストリーミングサービスを提供されず、３５２ｘ２８８の解像度と３０Ｈｚのフレームレートを有するビデオストリーミングサービスを提供されるようになるが、より高い解像度とフレームレートを所望するユーザを満足させようとするならば、ビデオストリーミング提供者は５Ｍｂｐｓの帯域幅に最適化された解像度とフレームレートでビデオシーケンスをコーディングする必要がある。すなわち、ネットワーク状態やユーザの好みなどによって多様な解像度とフレームレートとを有するビデオストリーミングサービスをしようとする時、ノンスケーラブルビデオコーディングアルゴリズムを採用したストリーミングサービスは各解像度とフレームレートごとにビデオコーディングを行わねばならない限界点を有する。このような限界点に対する代案としてスケーラブルビデオコーディング方式を用いるビデオストリーミングサービスについて説明する。

図７を参照して、スケーラブルビデオコーディング方式を採用した場合を説明すれば、スケーラブルビデオストリーミングサービスは、１つのコンテンツ（ビデオシーケンス）に対して単に１つのスケーラブルビットストリーム５２０を生成する。スケーラブルビットストリーム５２０は、プリデコーダを経て容易に低解像度のビットストリームになり、低いフレームレートを有するビットストリームにもなりうる。また、スケーラブルビットストリーム５２０は、プリデコーダを経て低解像度及び低いフレームレートを有するビットストリームにもなりうる。

例えば、７０４ｘ５７６の解像度と６０Ｈｚのフレームレートを有して６Ｍｂｐｓの帯域幅が必要なスケーラブルビットストリームはプリデコーダを経て、解像度の変化なく、フレームレートが３０Ｈｚであるビットストリームになり得、フレームレートが１５Ｈｚであるビットストリームにもなり得る。

また７０４ｘ５７６の解像度と６０Ｈｚのフレームレートとを有し、６Ｍｂｐｓの安定した帯域幅が必要なスケーラブルビットストリーム５２０はプリデコーダを経て解像度とフレームレートとが低くなり、３５２ｘ２８８の解像度と３０Ｈｚのフレームレートを有し、７５０ｋｂｐｓの安定した帯域幅が必要なビットストリームにもなり得、３５２ｘ２８８の解像度と１５Ｈｚのフレームレートとを有し、１９２ｋｂｐｓの安定した帯域幅が必要なビットストリームにもなり得、１７６ｘ１４４の解像度と１５Ｈｚのフレームレートとを有し、１２８ｋｂｐｓの安定した帯域暴漢ビットストリームにもなり得る。

のみならず、スケーラブルビットストリーム５２０は、プリデコーダを経て解像度とフレームレートとには変化がなく、単に画質のみ低いスケーラブルビットストリームにもなり得る。例えば、３５２ｘ２８８の解像度と３０Ｈｚのフレームレートを有し、７５０ｋｂｐｓの安定した帯域幅が必要なビットストリームとしてユーザに提供されうるが、解像度とフレームレートは、３５２ｘ２８８の解像度と３０Ｈｚとで同一であるが、３８４ｋｂｐｓの安定した帯域幅が必要なビットストリームとしてユーザに提供されることもある。後者の場合には、復元されるビデオシーケンスの画質が電子より低くなる。同様に１７６ｘ１４４の解像度と１５Ｈｚのフレームレートを有し、１２８ｋｂｐｓの安定した帯域幅の必要なビットストリームとしてユーザに提供されることができ、一方、同じ解像度とフレームレートとを有し、画質は若干劣るが、６４ｋｂｐｓの安定した帯域幅でもサービスが可能なビットストリームとしてユーザに提供されうる。

図６の場合とは異なって、スケーラブルコーディング方式を用いる図７の場合には１つのスケーラブルビットストリームから多様な解像度とフレームレート及び画質を有するビデオストリーミングサービスが可能である。すなわち、スケーラブルビデオコーディング方式を使用するときは、ネットワークの状態やユーザの機器の性能によって多様なビデオストリーミングサービスを容易に行えるという長所がある。しかし、現在まで知られたスケーラブルビデオコーディング方式を使用するとき、ある解像度では良い画質を有するビデオシーケンスを復元できるが、他の解像度では良い画質を有するビデオシーケンスを復元し難いことがある。例えば、図７で７０４ｘ５７６の解像度では良い画質を有するビデオシーケンスを復元しうるが、１７６ｘ１４４の解像度では良い画質を有するビデオシーケンスを復元し難い。

これにより、本発明による実施形態は、ビデオシーケンスを多様な解像度とフレームレート及び画質でサービスする時、１つのスケーラブルビットストリームをプリデコーダで加工してサービスする方式でなく、複数のスケーラブルビットストリームを生成して複数のスケーラブルビットストリームで１つのスーパービットストリームを生成する方式を使用する。これについては、図８を参照して説明する。

本実施形態は、１つのビデオシーケンスに対して解像度の異なる複数のスケーラブルビットストリーム５３１、５３２、５３３を生成する。生成されたスケーラブルビットストリーム５３１、５３２、５３３でスーパービットストリーム５３０を生成する。しかし、これは例示的なものであって、１つのビデオシーケンスに対して１つまたは解像度の異なる複数のスケーラブルビットストリームとノンスケーラブルな１つまたは複数のスケーラブルビットストリームを生成することも可能である。これについては、図９のスーパービットストリーム５４０で後述する。

本実施形態で第１スケーラブルビットストリーム５３１は、ビデオシーケンスについての最高の解像度とフレームレートとを有する。すなわち、第１スケーラブルビットストリームは、７０４ｘ５７６の解像度を有し、６０Ｈｚのフレームレートを有する。第２スケーラブルビットストリーム５３２は、同じビデオシーケンスに対して第１スケーラブルビットストリームより低解像度（及びフレームレート）を有する。例えば、第２スケーラブルビットストリーム５３２は、３５２ｘ２８８の解像度と３０Ｈｚのフレームレートを有する。同じ方式で第３スケーラブルビットストリーム５３０は、１７６ｘ１４４の解像度と１５Ｈｚのフレームレートを有する。一実施形態において、３８４ｋｐｂｓの帯域幅が保証される時、ユーザが３５２ｘ２８８の解像度を有するフレームを要求すれば、ユーザに第２スケーラブルビットストリーム５３０を、プリデコーダで不要なビットを切断して３５２ｘ２８８の解像度と３０Ｈｚのフレームレートとを有しつつ、画質を若干低めたビットストリームをユーザに送信する。

もちろん、３５２ｘ２８８の解像度と３０Ｈｚのフレームレートを有し、３８４ｋｂｐｓの帯域幅で伝送されるビットストリームは第１スケーラブルビットストリーム５３１から得ることも可能であるが、そのように得たビットストリームは第２スケーラブルビットストリーム５３２から得たビットストリームより画質が劣りうる。図示された実施形態で第２及び第３スケーラブルビットストリーム５３２、５３３の解像度とフレームレートは、第１スケーラブルビットストリームの解像度とフレームレートから１／２、１／４、１／８の大きさを有しているが、これは例示的なものであって、１／３、１／６も可能である。

他の実施形態において、第１スケーラブルビットストリーム５３１は、７０４ｘ５７６の解像度を有する一方、第２スケーラブルビットストリーム５３２は、６００ｘ４８０の解像度を有しうる。このような場合、３５２ｘ２８８の解像度を有するビットストリームは、第１スケーラブルビットストリーム５３１をプリデコーディングして得て、３００ｘ２４０の解像度を有するスケーラブルビットストリームは、第２スケーラブルビットストリーム５３２をプリデコーディングして得られる。

図８のビデオストリーミングサービスは、スケーラブルビデオコーディングを用いることによって、スケーラブルビデオコーディングの特徴であるスケーラビディーを有することができ、複数のスケーラブルビットストリームを使用することによって、１つのスケーラブルビットストリームから多様な解像度とフレームレートとを有するときに生じる画質の低下を減少させうる。したがって、１つのビデオシーケンスから多様な解像度とフレームレート及び画質を有するビデオストリーミングサービス、いわゆる同時放送（ｓｉｍｕｌｃａｓｔｉｎｇ）をするとき、実施形態１によれば解像度による画質のレベルは適切に保証されつつ、多様な解像度とフレームレート及び画質を有するビデオストリーミングサービスを達成しうる。

図９を参照すれば、実施形態２によるビデオコーディング方式は、ノンスケーラブルな一部のビットストリームを生成するのに使われる。すなわち、スーパービットストリーム５４０は、第１スケーラブルビットストリーム５４１と第２スケーラブルビットストリーム５４２及びノンスケーラブルな第２ビットストリーム５４３を含む。第１及び第２スケーラブルビットストリームは、スケーラブルビデオコーディング方式で生成されたビットストリームであるが、第３ビットストリーム５４３は、ノンスケーラブルビデオコーディング方式、例えば、ＡＶＣ方式でビデオコーディングして得たビットストリームである。

一方、図７のように１つのスケーラブルビットストリーム５２０でストリーミングサービスを行う場合より本発明の実施形態による場合に、さらに多くのデータ保存空間を必要とするが、このようなオーバーヘッドを減らす方案は、図１０および図１１に基づいて説明する。図１０及び図１１の実施形態は、便宜上スーパービットストリームには、２つのスケーラブルビットストリームが含まれる場合を仮定して説明する。

図１０は、本発明の一実施形態によるイントラフレーム共有を説明するための図面である。

ビデオシーケンスのコーディング時、ビデオシーケンスを構成するフレームは、他のフレームを参照せずにコーディングされるフレームと、他のフレームを参照してコーディングされるフレームとに分けられる。前者の場合をイントラフレーム（ＩｎｔｒａＦｒａｍｅ）と称し、ＳＴＡＲ方式のスケーラブルビデオコーディング方式とＭＰＥＧビデオコーディング方式ではＩフレームと称し、ＵＭＣＴＦ方式のスケーラブルビデオコーディング方式では、Ａフレームと称する。後者の場合をインターフレーム（ＩｎｔｅｒＦｒａｍｅ）と称するが、ＭＰＥＧビデオコーディング方式では、１つのフレームを参照した場合をＰフレームと称し、２つのフレームを参照した場合をＢフレームと称する。一方、スケーラブルビデオコーディング方式ではインターフレームをＨフレームと称する。

図１０は、最上位解像度（７０４×５７６）を有し、イントラフレーム６１０及び３つのインターフレーム６２０で構成される第１ビットストリームを示す。また、図１０は、３５２×２８８解像度を有し、インターフレーム６１０を前記第１ビットストリームと共有する第２ビットストリームも示す。そして、図１０は、前記第１ビットストリーム及び前記第２ビットストリームによって再構成された第２ビットストリームを示す。前記再構成された第２ビットストリームは、前記第１ビットストリームで共有されたインターフレーム６１０から得られるイントラフレーム６３０及び前記第２ビットストリームのインターフレーム６４０で構成される。

第２ビットストリームが第１ビットストリームとイントラフレームを共有するということは、第２ビットストリームはイントラフレームを含まないということを意味し、第２ビットストリームからビデオシーケンスを復元する時は、第１ビットストリームの共有されたイントラフレームを用いる。すなわち、スーパービットストリームには、第１ビットストリームと第２ビットストリームとを含んでおり、３５２Ｘ２８８の解像度を有するビデオシーケンスを要請されれば、ビデオストリーミング提供者は、スーパービットストリームに含まれた第１ビットストリームのイントラフレームと第２ビットストリーム以外の他のビットストリームを除去して再構成された第２ビットストリームを作る。

図１１は、本発明の他の実施形態によるイントラフレームの共有を説明するための図面である。

本実施形態は、図１０の実施形態と同様にイントラフレームの共有方式を採用する。異なる点は、第２ビットストリームのフレームレートが第１ビットストリームのフレームレートより小さくなったという点である。一方、低解像度のビットストリームの場合に示されたように、フレームレートが高解像度より小さくなった一方、ＧＯＰサイズは同一にした。言い換えれば、ＧＯＰ間の時間間隔を長くすることによって、再構成された第２ビットストリームのイントラフレームの数を最小化する。したがって、この場合にプリデコーダを経て伝送される第２ビットストリームのイントラフレームの比率は、図１０の実施形態より小さくなるので、狭い帯域幅でもビデオストリーミングサービスができる。例えば、第２ビットストリームのＧＯＰ間の時間間隔は、第１ビットストリームのＧＯＰ間の時間間隔より２倍に長くなる。言い換えれば、第２ビットストリームは、第１ビットストリームに比べてフレームレートが１／２であり、かつＧＯＰを構成するフレームの数を同一にすることによって、ＧＯＰ間の時間間隔は第１ビットストリームのそれより２倍となる。この際、第２ビットストリームのＨ（２）フレームは、示されたようにイントラコーデョングせず、インターコーディングで得る。一方、図１０の実施形態と同様に第２ビットストリームは第１ビットストリームとイントラフレームを共有できるが、この場合、第２ビットストリームは第１ビットストリームの２ＧＯＰごとにイントラフレーム７１０を共有する。スーパービットストリームには、第１ビットストリームと第２ビットストリームが含まれているが、３５２Ｘ２８８の解像度を有するビデオシーケンスを要請されれば、ビデオストリーミング提供者はスーパービットストリームで第１ビットストリームのインターフレーム７２０と共有されていないイントラフレーム７５０を除去し、共有されたイントラフレーム７１０の一部ビットを切断して再構成したイントラフレーム７３０を作って第２ビットストリームのインターフレーム７４０と共に再構成された第２ビットストリームを作る。再構成された第２ビットストリームは、ビデオデコーダに伝送する。一方、ＧＯＰの時間間隔調整とイントラフレーム共有方式とをいずれも採用する実施形態も可能であるが、イントラフレーム共有を全くせず、フレームレートによってビットストリームのＧＯＰの時間間隔のみ異ならせる実施形態も可能である。

図１０および図１１の実施形態の解像度及び（または）フレームレートの異なる複数のビットストリーム間の冗長を除去するのに効果的である。図１０及び図７に示されたように、インフラフレームを共有する方式は、ビデオコーディング技術と独立した技術であるために、イントラフレームとインターフレームを使用するスケーラブルビデオコーディングアルゴリズムのほとんどは、図１０及び図１１の実施形態によるビデオコーディングが可能である。

一方、図１０及び図１１の実施形態のように解像度を減らすために第１ビットストリームのイントラフレームの一部のビットを切断して再構成された第２ビットストリームのイントラフレームを得る方式も可能であるが、第１ビットストリームのイントラフレームの解像度をそのまま保持しつつ、第２ビットストリームのインターフレームと共に再構成された第２ビットストリームを得ることもできる。このような方式は、フレームの解像度を容易に調節し難いノンスケーラブルＡＶＣビデオコーディング方式を適用する場合に有用である。すなわち、図１１で第１及び第２ビットストリームがＡＶＣビデオコーディング方式で生成されたビットストリームである場合、再構成された第２ビットストリームは第１ビットストリームのイントラフレーム７１０と第２ビットストリームのインターフレーム７４０で構成されうる。この場合、デコーダはイントラフレーム７１０を復元してダウンサンプリングしてインターフレーム７４０を復元するための参照フレームとして使用しうる。

前述したように一部の実施形態では、１つのビデオシーケンスを用いて相異なる解像度の１つまたはそれ以上のビデオシーケンスを作り、各解像度のビデオシーケンスをスケーラブルビデオコーディング方法でコーディングしてスケーラブルビットストリームを生成し、スケーラブルビットストリームの全部あるいは（イントラフレームを除いた）一部を含んでスーパービットストリームを生成する。スケーラブルビデオコーディング方式ではビデオシーケンスで低解像度のビデオシーケンスを作る時、ウェーブレット変換されたフレームの低周波サブバンドから低解像度のビデオシーケンスを得る。実際にウェーブレット変換方式で低解像度フレームを得るとき、低解像度はシャープなイメージとなる傾向がある。この場合、モーション補償時間的フィルタリングが容易ではなく、ビデオコーディングの効率が劣りうる。したがって、ビデオシーケンスから低解像度ビデオシーケンスを得るとき、既存のＭＰＥＧビデオコーディング方式のダウンサンプリングを利用すれば、さらに軟らかい低解像度のビデオシーケンスが得られる。一方、ＭＰＥＧビデオコーディング方式のダウンサンプリングを用いる時、ウェーブレット方式との調和のためにウェーブレット方式でフレームをダウンサンプリングし、ダウンサンプリングされたフレームをアップサンプリングした後、ＭＰＥＧビデオコーディング方式でダウンサンプリングすることもできる。

一方、図１０及び図１１の実施形態で第２ビットストリームは、第１ビットストリームの生成に使われるビデオシーケンスをウェーブレット方式でダウンサンプリングして得たビデオシーケンスをスケーラブルビデオコーディングして得る。この場合、３５２Ｘ２８８のビデオストリーミングサービスのためにビデオストリーミング提供者は、スーパービットストリームから不要なビットを除去してイントラフレームを含まない第２ビットストリームと第１ビットストリームの一部または全部のイントラフレームを残す。一方、第１ビットストリームの残されたイントラフレームで３５２Ｘ２８８解像度のイントラフレームを作るためにウェーブレット変換で生成された第１解像度のイントラフレームで高周波サブバンドを除去する。すなわち、第１解像度（７０４Ｘ５７６）のイントラフレームは、３５２Ｘ２８８の大きさを有する４個のサブバンド（１つの低周波サブバンドと３個の高周波サブバンド）で構成されるが、低周波サブバンドを残して高周波サブバンドを除去して第２解像度（３５２Ｘ２８８）のイントラフレームを得る。ビデオシーケンスのダウンサンプリング時に、ウェーブレット方式で各フレームをダウンサンプリングするより、ＭＰＥＧ方式で各フレームをダウンサンプリングするとき、さらに軟らかいイメージを有するフレームとなる。したがって、ＭＰＥＧ方式でダウンサンプリング一ビデオシーケンスで第２ビットストリームを生成することが、ウェーブレット方式でダウンサンプリングしたビデオシーケンスで第２ビットストリームを生成することより圧縮効率と画質に優れる。

ビデオシーケンスを直接ＭＰＥＧ方式でダウンサンプリングして低解像度のビデオシーケンスを生成し、これをビデオコーディングしうるが、ウェーブレット方式でダウンサンプリングし、ダウンサンプリングされた各フレームをアップサンプリングした後、ＭＰＥＧ方式でダウンサンプリングした低解像度のビデオシーケンスを生成し、これをビデオコーディングすることもできる。後者の場合は、図１２を参照して説明する。

図１２は、本発明のさらに他の実施形態による軟らかい参照フレームを生成する方法を説明するための図面である。

図面において、Ｄはダウンサンプリングを意味し、Ｕはアップサンプリングを意味する。下付きのうち、Ｗはウェーブレット方式を意味し、ＭはＭＰＥＧ方式を意味する。Ｆは高解像度のフレームを意味し、Ｆ_Ｓは低解像度のフレームを意味し、Ｆ_Ｌは高解像度のフレームの低周波サブバンドを意味する。

低解像度のビットストリームを生成するためにビデオシーケンスをウェーブレット方式でダウンサンプリングし、ダウンサンプリングされたビデオシーケンスをアップサンプリングした後、ＭＰＥＧ方式でダウンサンプリングする。次いで、ＭＰＥＧ方式でダウンサンプリングされた低解像度のビデオシーケンスをスケーラブルビデオコーディングする。低解像度のフレームＦ_Ｓがイントラフレームである場合、ビットストリーム（スーパービットストリーム）には含めない。低解像度のフレームＦ_Ｓは、スーパービットストリームに含まれた高解像度のイントラフレームＦから求めうる。言い換えれば、イントラフレームＦ_Ｓはビットストリーム（スーパービットストリーム）に含まず、Ｆを通じて得る。すなわち、Ｆをウェーブレット方式でダウンサンプリングし、再びアップサンプリングすれば、元のＦとほぼ類似したイメージとなる。これを再びＭＰＥＧ方式でダウンサンプリングすれば、軟らかい低解像度イントラフレームＦ_Ｓが得られる。一方、高解像度のイントラフレームＦは、ウェーブレット変換と量子化とを経てスーパービットストリームに含まれる。デコーダ側での受信前にスーパービットストリームは、プリデコーダで一部のビットが切断される。Ｆから高周波サブバンドが切断されれば、Ｆの低周波サブバンドＦ_Ｌが得られる。Ｆの低周波サブバンドＦ_Ｌは、Ｆをウェーブレット方式でダウンサンプリングしたもの（Ｄ_Ｗ（Ｆ））と同じである。デコーダ側では、Ｆ_Ｌを受信し、これをウェーブレット方式でアップサンプリングし、再びＭＰＥＧ方式でダウンサンプリングすれば、軟らかいイントラフレームが得られる。

これを一般化させれば、高解像度ビデオシーケンスで低解像度ビデオシーケンスを得るためにＡという方式のダウンサンプリングを使用し、高解像度ビデオシーケンスと低解像度ビデオシーケンスとをビデオコーディングして高解像度及び低解像度のビットストリームを生成する。次いで、高解像度及び低解像度のビットストリームを含むスーパービットストリームを生成する。この際、スーパービットストリームに含まれた高解像度ビットストリームには、あらゆるフレームが含まれるが、低解像度ビットストリームにはイントラフレームを除いたインターフレームのみ含まれる。このような低解像度のスーパービットストリームから低解像度のビデオシーケンスを復元しようとするならば、スーパービットストリームから不要なビットを切断する。切断するビットには高解像度ビットストリームのインターフレームと高解像度のイントラフレームとが共有されたフレームでないイントラフレームが含まれる。そして、高解像度のイントラフレームが共有されたフレームから高周波サブバンドを切断する。これにより、スーパービットストリームには、高解像度のイントラフレームが共有されたフレームの低周波サブバンドと低解像度のインターフレームとが残る。ビデオデコーダは、受信されたスーパービットストリーム内の高解像度の低周波サブバンドでイントラフレームを復元し、復元されたイントラフレームをアップサンプリングしてから、再びＡというダウンサンプリング方式でダウンサンプリングして低解像度のインターフレームを復元するための基準フレームを生成する。ここで、Ａ方式は、ウェーブレット方式を除いたＭＰＥＧに関する文書Ｎ３９０８に記載されたＭＰＥＧダウンサンプリングフィルタリング方式にもなり得、イメージフィルタ分野でよく知られたｂｉｃｕｂｉｃフィルタでもあり得る。

このような方式は、ビデオコーディングにのみ適用されるものではなく、静止したイメージにも適用しうる。すなわち、ウェーブレット方式でダウンサンプリングされたイメージが鋭いためにＭＰＥＧ方式でダウンサンプリングされたイメージを得るには、ダウンサンプリングされたイメージをウェーブレット方式でアップサンプリングし、アップサンプリングされたイメージをＭＰＥＧ方式でダウンサンプリングして軟らかいイメージを得る。

図１３は、本発明の一実施形態によるビデオストリーミングサービス過程を示す図面である。

ビデオストリーミングサービス過程を説明すれば次の通りである。
１．本実施形態でスケーラブルビデオエンコーダ９１０は、１つのビデオシーケンスに対して解像度及び（または）フレームレートを異ならせた多様なビデオシーケンスを作ってビデオシーケンスをビデオコーディングする。
２．ビデオコーディングを通じて生成された複数のスケーラブルビットストリームから１つのスーパービットストリームを生成する。スーパービットストリームについては図１４に基づいてさらに詳細に説明する。
３．生成されたスーパービットストリームをプリデコーダ９２０に伝達する。
４．ビデオデコーダ９３０を使用するユーザがビデオシーケンス及び解像度／フレームレート／品質を要請する。一方、過程３と過程４は、順序を変えても良い。
５．プリデコーダ９２０は、ビデオシーケンスについての解像度／フレームレート／品質を要請されれば、スーパービットストリームから一部の不要なビットを切断する。
６．次いで、プリデコーダ９２０は不要なビットが切断されたスーパービットストリームをビデオデコーダ９３０に伝達する。
７．ビデオデコーダ９３０は、伝達されたスーパービットストリームからビデオシーケンスを復元する。
プリデコーダ９２０は、ビデオストリーミングサービスの形態によってそれぞれ別所に位置しうる。一実施形態において、プリデコーダ９２０は、ビデオストリーミング提供者側に存在する。すなわち、スケーラブルビデオエンコーダ９１０とプリデコーダ９２０は、ビデオストリーミング提供者であって、ビデオデコーダ９３０を使用するユーザ側からビデオシーケンス及びこれについての解像度／フレームレート／品質を要請される時、ビデオシーケンスのスーパービットストリームをプリデコーディングして伝達する。したがって、ストリーミングサービス提供者とユーザとの間のネットワーク上から伝えられるスーパービットストリームは不要な部分は除去された状態である。

他の実施形態において、ビデオストリーミング提供者は、プリデコーダ９２０を含んでおり、スケーラブルビデオエンコーダ９１０を含んでいるコンテンツ提供者からスーパービットストリームを供給される。スーパービットストリームの供給は、有線または無線を通じてオンラインで伝達されてもよく、記録媒体を通じてオフライン上で伝達されても良い。伝達されたスーパービットストリームは、ビデオストリーミング提供者の保存装置（図示せず）に保存する。ビデオデコーダ９３０を使用するユーザからビデオシーケンスを要請されれば、ビデオストリーミング提供者は要請されたビデオシーケンスに対するスーパービットストリームを保存装置（図示せず）から検索し、検索したスーパービットストリームに不要な部分を切断した後にこれをユーザ側に伝達する。

さらに他の実施形態において、プリデコーダ９２０は、ユーザ側に存在する。ビデオストリーミング提供者側にプリデコーダ９２０を含んでも、含まなくても良い。前者の場合には、前述した一実施形態に準じる動作を行う。後者の場合を説明する。ビデオストリーミング提供者は、スケーラブルビデオエンコーダ９１０を通じてビデオシーケンスについてのスーパービットストリームを生成する。ユーザ側からビデオシーケンスを要請されれば、スーパービットストリームをユーザ側に有線または無線で伝達する。ユーザ側は伝達されたスーパービットストリームが所望の解像度／フレームレート／画質になるように不要な部分をスーパービットストリームから切断した後、スーパービットストリームからビデオシーケンスを復元する。

さらに他の実施形態において、プリデコーダ９２０は、所望の解像度／フレームレートのビットストリームがスーパービットストリーム内に存在していない場合、さらに高い解像度／フレームレートのいずれか１つのビットストリームを除いた残り部分のビットをスーパービットストリームから切断する。望ましくは、所望の解像度／フレームレートのビットストリームから解像度の差のもっとも少ないビットストリームを除いた残りの部分を切断する。

図１４は、本発明の一実施形態によるスーパービットストリームの構造を示す図面である。

スーパービットストリームは、次のような過程を経て生成される。１つのビデオシーケンスで多様な解像度のビデオシーケンスを生成する。各ビデオシーケンスをスケーラブルビデオコーディング方式で圧縮してビットストリームを得て、各ビットストリームを統合してスーパービットストリームを得る。それぞれのビットストリームにはビデオ圧縮過程で得た動き補償ベクトルと、ウェーブレット変換係数をエンベデッド量子化して得た情報とが含まれる。

スーパービットストリームは、スーパービットストリームヘッダ1000と、第１ないし第ｎビットストリーム1010−１ないし1010−ｎを含む。スーパービットストリームヘッダ1000には、スーパービットストリームに必要な多様な情報を含む。例えば、スーパービットストリームに含まれたビットストリームの数、イントラフレームの共有如何についての情報などがスーパービットストリームヘッダ1000に含まれうる。

各ビットストリームのうち、第１ビットストリーム１０１０−１を説明する。

第１ビットストリーム１０１０−１には、最高解像度の元のビデオシーケンスをビデオコーディングした情報が含まれている。ビットストリームヘッダ１０２０には、第１ビットストリームについての各種の必要な情報が含まれている。第１ビットストリームの長さ、解像度、フレームレート、ＧＯＰの数などの情報が含まれている。ＧＯＰヘッダ１０３０には、ＧＯＰ情報が含まれているが、ＧＯＰを構成するフレームの数、ＧＯＰの大きさなどが含まれている。ＧＯＰヘッダ１０３０に次いで各フレーム１０４０−１ないし１０４０−ｎが後続する。１つのＧＯＰが終われば、次のＧＯＰが始まるが、この場合にもＧＯＰヘッダが先に先行し、フレームが後続する。

これらのうち、フレーム＃１１０４０−１を説明する。フレーム＃１１０４０−１は、ＧＯＰの最初のフレームであって、大体のスケーラブルビデオコーディング方式では、イントラフレーム（ＩフレームまたはＡフレーム）となる。フレームヘッダ１０５０には、フレームがいかなる種類のフレームであるかを示す情報とフレームの大きさなどの必要な情報を含む。フレームヘッダ１０５０に次いで、低周波サブバンド１０６０と高周波サブバンド１０７０の情報が後続する。低周波サブバンド１０６０は、該当フレームをウェーブレット変換して得た低周波成分（ＬＬイメージ）をエンベデッド量子化過程を経て得たテクスチャーイメージを称し、高周波サブバンド１０７０は、該当フレームをウェーブレット変換して得た高周波成分（ＬＨ、ＨＨイメージ）をエンベデッド量子化過程を経て得たテクスチャーイメージを称する。その他にフレーム＃１１０４０−１には、動きベクトル情報（図示せず）を含む。

スーパービットストリームと関連して図１０及び図１１の実施形態で低周波イントラフレームの共有の場合を説明する。最高解像度の第１ビットストリーム１０１０−１には、原始ビデオシーケンスのあらゆるフレーム情報を含んでいる。しかし、低解像度の第２ビットストリーム１０１０−２には、イントラフレームは含まれない。スーパービットストリームをプリデコーディングして第２ビットストリームを得ようとする時、多様な方式が可能である。一実施形態は、第１ビットストリーム１０１０−１のイントラフレームと第２ビットストリーム１０１０−２を残して他の部分を切断する。この場合、デコーディング側では、第１ビットストリームのイントラフレームを復元し、サンプリングした後、第２ビットストリームの残りのフレームを復元しうる。

他の実施形態は、第１ビットストリーム１０１０−１のイントラフレームと第２ビットストリーム１０１０−２とを残し、他の部分を切断する。次いで、残された第１ビットストリーム１０１０−１の各イントラフレームの低周波サブバンドを残し、高周波サブバンドを除去する。次いで、デコーディング側では、第１ビットストリームのイントラフレームの低周波サブバンドを復元した後でアップサンプリングし、再びダウンサンプリングして他のインターフレームのための参照フレームを復元する。一実施形態と他の実施形態とを比較すれば、後者の場合がデコーディング側に伝送されるビットストリームのデータ量が前者の場合より小さい。

本発明が属する技術分野の当業者は、本発明がその技術的思想や必須的な特徴を変更せず、他の具体的な形で実施できるということを理解できるであろう。詳細な説明で複数のスケーラブルビデオコーディング方式を用いたビデオストリーミング提供者について説明したが、スケーラブルビデオコーディング方式とスケーラビディーを有していないビデオコーディング方式とをいずれも使用したビデオストリーミングサービスも可能である。したがって、前述した一実施形態はあらゆる面で例示的なものであり、限定的ではないと理解せねばならない。本発明の範囲は、前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そしてその均等概念から導出されるあらゆる変更または変形された形が本発明の範囲に含まれると解釈されねばならない。

従来のビデオストリーミングサービスの概念を示す図である。従来のスケーラブルビデオストリーミングサービスの概念を示す図である。本発明の一実施形態によるビデオストリーミングサービスの概念を示す図である。スケーラブルビデオエンコーダとＡＶＣビデオエンコーダとの構成を簡略に示す図である。スケーラブルビデオエンコーダとＡＶＣビデオエンコーダとの構成を簡略に示す図である。各方式によるストリーミングサービスを比較する図である。各方式によるストリーミングサービスを比較する図である。各方式によるストリーミングサービスを比較する図である。各方式によるストリーミングサービスを比較する図である。本発明の一実施形態によるイントラフレームの共有を説明するための図である。本発明の他の実施形態によるイントラフレーム共有を説明するための図である。本発明のさらに他の実施形態による軟らかい参照フレームを生成する方法を説明するための図である。本発明の一実施形態によるビデオストリーミングサービス過程を示す図である。本発明の一実施形態によるスーパービットストリームの構造を示す図である。

Claims

第１ビデオシーケンス、及び、前記第１ビデオシーケンスと解像度、フレームレート及び画質のうちの少なくとも１つが異なる第２ビデオシーケンスを、各々スケーラブルビデオコーディングして第１ビットストリーム及び第２ビットストリームを生成する段階と、
前記第１及び第２ビットストリームを統合して、一つのビットストリームとして生成したスーパービットストリームを生成する段階と、を含み、
前記第１及び第２ビデオシーケンスと解像度、フレームレート及び画質のうち少なくとも１つが異なる第３ないし第ｎビデオシーケンスを各々スケーラブルビデオコーディングして第３ないし第ｎビットストリームを生成する段階をさらに含み、
前記スーパービットストリームは、前記第３ないし第ｎビットストリームをさらに含み、前記第２ないし第ｎビデオシーケンスは、前記第１ビデオシーケンスを構成するフレームのうち一部のフレームを除去するフレームレート変換を適用することで得られる、ビデオコーディング方法。
前記第２ビデオシーケンスないし第ｎビデオシーケンスは、
前記第１ビデオシーケンスを構成する各フレームをダウンサンプリングする解像度変換と、
前記第１ビデオシーケンスを構成するフレームのうち一部のフレームを除去するフレームレート変換とのうち少なくとも１つの変換を適用して得る請求項１に記載のビデオコーディング方法。
前記ダウンサンプリング方式は、前記第１ビデオシーケンスを構成する各フレームをＭＰＥＧ方式でダウンサンプリングすることを特徴とする請求項２に記載のビデオコーディング方法。
前記ダウンサンプリング方式は、前記第１ビデオシーケンスを構成する各フレームをウェーブレット方式でダウンサンプリングし、前記ダウンサンプリングされた各フレームをウェーブレット方式でアップサンプリングした後にＭＰＥＧ方式でダウンサンプリングすることを特徴とする請求項２に記載のビデオコーディング方法。
前記スーパービットストリームに含まれた前記第２ビットストリームは、イントラコーディングされたフレームを含まない請求項１に記載のビデオコーディング方法。
前記第２ビデオシーケンスは、前記第１ビデオシーケンスより低いフレームレートを有し、前記第１ビデオシーケンスより長いＧＯＰ間の時間間隔を有する請求項１に記載のビデオコーディング方法。
第１ビデオシーケンス、及び、前記第１ビデオシーケンスと解像度、フレームレート及び画質のうちの少なくとも１つが異なる第２ないし第ｎ（ｎは、２以上の自然数）ビデオシーケンスを、各々スケーラブルビデオコーディングして第１ないし第ｎビットストリームを生成する段階と、
前記第１ないし第ｎビットストリームを統合して、一つのビットストリームとして生成したスーパービットストリームを生成する段階と
を含み、前記第２ないし第ｎビデオシーケンスは、前記第１ビデオシーケンスを構成するフレームのうち一部のフレームを除去するフレームレート変換を適用することで得られる、ビデオコーディング方法。
前記第１ないし第ｎビットストリームのうち少なくとも１つは、ＡＶＣビデオコーディング方式で生成されている、請求項７に記載のビデオコーディング方法。
前記第１ないし第ｎビットストリームのうち最高解像度のビットストリームは、ＡＶＣビデオコーディング方式で生成されている、請求項７に記載のビデオコーディング方法。
前記第１ないし第ｎビットストリームのうち最低解像度のビットストリームは、ＡＶＣビデオコーディング方式で生成されている、請求項７に記載のビデオコーディング方法。