JP5026965B2 - ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置 - Google Patents

Description

本発明はビデオ圧縮に関し、より詳しくは、プリデコーダで特定フレームをベースレイヤフレームに置き換えることによって与えられたビット率に対してより優れた画質を有するビデオストリームを抽出する方法に関する。

インターネットを含む情報通信技術の発達により、文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足するには不足し、そのため文字、映像、音楽など多様な形態の情報を収容することができるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大で大容量の保存媒体を必要とし、伝送時に広い帯域幅を必要とする。例えば６４０＊４８０の解像度を有する２４ｂｉｔトゥルーカラーのイメージは１フレーム当たり６４０＊４８０＊２４ｂｉｔの容量、すなわち約７．３７Ｍｂｉｔのデータが必要である。これを秒当たり３０フレームで伝送する場合には２２１Ｍｂｉｔ／ｓｅｃの帯域幅を必要とし、９０分間上映する映画を保存するためには約１２００Ｇｂｉｔの保存空間が必要である。したがって文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を使用するのが必須的である。

データを圧縮する基本的な原理はデータの重複（冗長）をなくす過程である。イメージで同じ色やオブジェクトが繰り返されるような同じ空間的重複、及び動画フレームで隣接フレームがほとんど変化しない場合やオーディオで同じ音が繰り返し続けるような同じ時間的重複をなくすことによって、または人間の時刻及び知覚能力が高い周波数に鈍感なことを考慮した心理時刻重複をなくすことによってデータを圧縮することができる。データ圧縮の種類はソースデータの損失有無と、それぞれのフレームに対して独立に圧縮するか否かと、圧縮と復元に必要な時間が同一であるか否かによって各々損失／無損失圧縮、フレーム内／フレーム間圧縮、対称／非対称圧縮に分けられる。この他にも圧縮復元遅延時間が５０ｍｓを超えない場合にはリアルタイム圧縮に分類し、フレームの解像度が多様な場合はスケーラブル圧縮に分類する。文字データや医学用データなどの場合には無損失圧縮が使用され、マルチメディアデータの場合には主に損失圧縮が使用される。一方、空間的重複を除去するためにはフレーム内圧縮が使用され、時間的重複を除去するためにはフレーム間圧縮が使用される。

マルチメディアを伝送するための伝送媒体は媒体別にその性能が異なる。現在使用されている伝送媒体は秒当たり数十Ｍｂｉｔのデータを伝送することができる超高速通信網から秒当たり３８４ｋｂｉｔの伝送速度を有する移動通信網などのように多様な伝送速度を有する。ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、またはＨ．２６４（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のような従来のビデオコーディングはモーション補償予測に基づいて、時間的重複はモーション補償及び時間的フィルタリングにより除去し、空間的重複は空間的変換により除去する。このような方法は優れた圧縮率を有しているが、主アルゴリズムで再帰的接近法を使用しているので優れたスケーラブルビットストリームのための柔軟性を有していない。

これにより、最近にはウェーブレット基盤のスケーラブルビデオコーディングに関する研究が活発になっている。スケーラブルビデオコーディングは空間的領域、すなわち解像度面でスケーラビリティを有するビデオコーディングを意味する。ここでスケーラビリティとは、圧縮された１つのビットストリームから部分デコーディング、すなわち多様な解像度のビデオを再生することができる特性を意味する。

このようなスケーラビリティはビデオの解像度を調節することができる性質を意味する空間的スケーラビリティと、ビデオの画質を調節することがきる性質を意味するＳＮＲ（信号対雑音比）スケーラビリティと、フレーム率を調節することができる時間的スケーラビリティと、これら各々を組合せたものを含む概念である。

前記のように空間的スケーラビリティはウェーブレット変換によって具現でき、ＳＮＲスケーラビリティは量子化によって具現できる。一方、時間的スケーラビリティを具現する方法としては最近、ＭＣＴＦ、ＵＭＣＴＦなどの方法が使用されている。

このようなスケーラビリティを支援するビデオコーディングシステムの全体構成は図１に示す通りである。まず、エンコーダ４０は時間的フィルタリング、空間的変換、及び量子化過程によって入力ビデオ１０を符号化してビットストリーム２０を生成する。そして、プリデコーダ５０はデコーダ６０との通信環境またはデコーダ６０端での機器性能などを考慮した条件、例えば画質、解像度またはフレーム率を抽出条件として、エンコーダ４０から受信したビットストリーム２０の一部を削除したり抽出することによって簡単にテクスチャデータに対するスケーラビリティを具現することができる。

デコーダ６０は前記抽出したビットストリーム２５でエンコーダ４０で行われた過程を逆に行って出力ビデオ３０を復元する。もちろん、前記抽出条件によるビットストリームの抽出は必ずしもプリデコーダ５０で行うべきではなく、デコーダ６０の処理能力が不足してエンコーダ４０で生成されたビットストリーム２０の全体映像をリアルタイムに処理し難い場合にはデコーダ６０端で前記ビットストリームの抽出過程が行われ得る。もちろん、この過程はプリデコーダ５０及びデコーダ６０のいずれでも行われ得る。

このようなスケーラブルビデオコーディングを使用すれば、ビット率、解像度、フレーム率のいずれもプリデコーダ５０で変形することができるという長所があり、高いビット率では圧縮率も非常に優れる。しかし、ビット率が十分でない場合、ＭＰＥＧ−４、Ｈ．２６４など既存コーディング方法に比べて、その性能が大きく低下するという問題を有している。

これは複合的な原因がある。１つは、低い解像度ではウェーブレット変換がＤＣＴに比べて、その性能が低下することに一次的な原因がある。もう１つは、多様なビット率を支援しなければならないスケーラブルビデオコーディングの特性上、そのうち１つのビット率に最適化されるようにエンコーディング過程が行われるため、他のビット率ではその性能が低下することにある。

したがって、プリデコーディング過程で生じる画質、解像度、またはフレーム率の劣化を減らすためにプリデコーディング過程をより効率的に行うことができる方法を講じる必要がある。

本発明は前述した必要性を鑑みて創案したものであって、低いビット率と高いビット率で均一な性能を示すスケーラブルビデオコーディング方法を提供することを目的とする。

また、本発明はプリデコーディング過程をより効率的に行うことによって節約されるビットを他のフレームに与える方法を提供することを目的とする。

前記目的を達成するために、本発明によるプリデコーディング方法は、（ａ）所定の基準にしたがって、前記ベースレイヤが存在するフレームのうち省略されるフレームが決められた複数の省略モードから省略モードを決定するステップと、（ｂ）前記決定された省略モード及び抽出条件にしたがって、省略された前記フレームを除外した前記ビットストリームを抽出するステップと、を含む。

前記基準は、デコーダ段に接続されたネットワークの伝送状態による伝送可能なビット率を意味するのが好ましい。

前記（ａ）ステップは、前記ビット率が第一閾値より低い場合には、前記ベースレイヤが存在する位置に該当するフレーム全体を省略すると決定するステップを含む。

前記（ａ）ステップは、前記ビット率が第一閾値より高く、第二閾値より低い場合には、前記ベースレイヤが存在する位置に該当するフレームのうち高周波フレームを省略すると決定するステップを含む。

前記目的を達成するために、本発明によるビットストリームをデコーディングする方法は、（ａ）前記ビットストリームの中でベースレイヤに関する情報に所定のコーデックを適用してベースレイヤを復元するステップと、（ｂ）前記ビットストリームの中でベースレイヤ以外の情報から、一部フレームが省略された差分フレームを生成するステップと、（ｃ）前記省略されたフレームの位置に対応するベースレイヤを挿入するステップと、（ｄ）前記挿入されたベースレイヤと前記差分フレームに対して逆時間的フィルタリングを行ってビデオシーケンスを復元するステップとを含む。

前記（ｂ）ステップは、前記ビットストリームの中でベースレイヤ以外のテクスチャ情報を逆量子化して変換係数を出力するステップと、前記変換係数を空間的領域での変換係数に逆変換するステップとを含む。

前記ベースレイヤは、前記ベースレイヤの解像度を前記差分フレームの解像度でアップサンプリングした後に挿入される。

前記逆時間的フィルタリングは、前記差分フレームが差異コーディングによって生成されたフレームである場合は対応するベースレイヤとの和を求めることによって、また、時間的予測コーディングによって生成されたフレームである場合は該当参照フレーム番号及びモーションベクトルを使用して構成される予測フレームとの和を求めることによって行われる。

前記コーデックとしては、Ｈ．２６４を使用することができる。そして、前記アップサンプリングは、逆ウェーブレット変換によって行うことができる。

前記目的を達成するために、本発明によるベースレイヤを含むビットストリームで一部ビットストリームを抽出するプリデコーダは、所定の基準にしたがって前記ベースレイヤが存在するフレームのうち省略されるフレームが決められた複数の省略モードから省略モードを決定するモード選択モジュールと、前記決定された省略モード及び抽出条件にしたがって、省略された前記フレームを除外した前記ビットストリームを抽出するビットストリーム抽出モジュールとを含む。

前記目的を達成するために、本発明によるビデオデコーダは、前記ビットストリームの中でベースレイヤに関する情報に所定のコーデックを適用してベースレイヤを復元するベースレイヤデコーダと、前記ビットストリームの中でベースレイヤ以外の情報から、一部フレームが省略された差分フレームを生成する逆空間的変換モジュールと、前記省略されたフレームの位置に対応するベースレイヤを挿入し、前記挿入されたベースレイヤと前記差分フレームに対して逆時間的フィルタリングを行ってビデオシーケンスを復元する逆時間的フィルタリングモジュールとを含む。

本発明によれば、スケーラブルビデオコーディングにおいて、低いビット率と高いビット率で均一に高い性能を有するようにする効果がある。

また、本発明によれば、プリデコーダで一部フレームのビットを省略して他のフレームに提供することによってプリデコーディング後、デコーディングされるビデオシーケンスの画質を向上させることができる。

以下、添付する図面を参照して本発明の好ましい実施形態を詳細に説明する。

本発明の利点及び特徴、そしてそれらを達成する方法は添付する図面とともに詳細に後述する実施形態を参照すれば明確になる。本発明は以下に開示する実施形態に限定されず、相異なる多様な形態によって具現でき、単に本実施形態は本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同じ参照符号は同じ構成要素を示す。

本明細書におけるベースレイヤとは、スケーラブルビデオエンコーダで実際に生成されるビットストリームが有する最高フレーム率より低いフレーム率を、前記ビットストリームが有する最高解像度より低い解像度を有するビデオシーケンスを意味する。このように、ベースレイヤは前記最高フレーム率及び前記最高解像度より低いあるフレーム率及び解像度を有していればよく、必ずしも前記ビットストリームが有する最低フレーム率及び最低解像度を有する必要はないが、本発明の好ましい実施形態としてベースレイヤは最低フレーム率及び最低解像度を有するものとして説明する。

以下、本明細書において、このような最低フレーム率及び最低解像度、または後述する最高解像度はいずれも実際に生成されるビットストリームを基準に決定するものであって、スケーラブルビデオエンコーダ自体が支援できる最低フレーム率や最低解像度、または最高解像度とは区別される。

本発明の一実施形態によるスケーラブルビデオエンコーダ１００は図２に示す通りである。スケーラブルビデオエンコーダ１００はベースレイヤ生成モジュール１１０、時間的フィルタリングモジュール１２０、モーション推定モジュール１３０、空間的変換モジュール１５０、量子化モジュール１６０、及びビットストリーム生成モジュール１７０、及びアップサンプリングモジュール１８０を含んで構成できる。

入力されたビデオシーケンスはベースレイヤ生成モジュール１１０と時間的フィルタリングモジュール１２０に入力される。ベースレイヤ生成モジュール１１０は入力されたビデオシーケンスを最低フレーム率及び最低解像度を有するビデオシーケンスでダウンサンプリングすることによってベースレイヤを生成した後、これを所定のコーデックでエンコーディングしてビットストリーム生成モジュール１７０に提供する。そして、生成されたベースレイヤをアップサンプリングモジュール１８０に提供する。ここで、前記ダウンサンプリング方法としては多様な方法が使用されるが、このうち解像度側面でのダウンサンプリングはウェーブレット変換を使用したダウンサンプリング方法を使用するのが好ましい。

このように、時間的、空間的にダウンサンプリングされたビデオシーケンス、すなわちベースレイヤを直接アップサンプリングモジュール１８０に提供することもできるが、最終デコーダ段でベースレイヤを復元する場合との不一致が発生しないように、前記コーデックでエンコーディングされたベースレイヤをまた同じコーデックでデコーディングした結果をアップサンプリングモジュール１８０に提供することができる。アップサンプリングモジュール１８０に提供されるモジュールは時間的、空間的にダウンサンプリングされたビデオシーケンスであるか、またはこれをエンコーディングした後、デコーディングした結果のうち１つであり得るが、両者ともベースレイヤと称することにする。

ここで、前記コーデックとしては低いビット率で相対的に優れた画質を見せるコーデックを使用するのが好ましいが、このようなコーデックとしては非ウェーブレット系列であるＨ．２６４、ＭＰＥＧ−４などを使用することができる。ここで「優れた画質」とは、同じビット率で圧縮した後、復元したとき、元の映像との差異が小さいことを意味する。このような画質の判断基準としては主にＰＳＮＲが使われる。

アップサンプリングモジュール１８０はベースレイヤ生成モジュール１１０によって生成されたベースレイヤを時間的フィルタリングを行うフレームの解像度と同じ解像度でアップサンプリングする。ここでも、逆ウェーブレット変換を使用してアップサンプリングするのが好ましい。

一方、時間的フィルタリングモジュール１２０は時間軸方向にフレームを低周波フレームと高周波フレームとに分解することによって時間的重複性を減少させる。本発明で時間的フィルタリングモジュール１２０は時間的方向にフィルタリングを行うだけでなく、アップサンプリングされたベースレイヤと該当フレームの差を使用したフィルタリングもともに行うことができる。時間的方向に行うフィルタリングを時間的差分コーディングといい、アップサンプリングされたベースレイヤとの差を使用したフィルタリングを差異コーディングと定義する。このように、本発明での時間的フィルタリングという時間的方向の差分コーディングだけでなく、ベースレイヤを使用した差異コーディングも含む概念として理解することができる。

参照フレームを基準としてモーション推定を行う過程はモーション推定モジュール１３０によって行われるが、時間的フィルタリングモジュール１２０は必要とする度にモーション推定モジュール１３０にモーション推定を行わせ、その結果をリターンさせることができる。

このような時間的フィルタリング方法としては、例えばＭＣＴＦ、ＵＭＣＴＦなどを使用することができる。図３はＭＣＴＦ（５／３フィルタ）を使用した本発明の動作を説明する図面である。ここで、１つのＧＯＰは８つのフレームで構成されるものとし、ＧＯＰ境界を超えても参照できるものとする。まず、８つのフレームは時間的レベル１で、４個の低周波フレーム（Ｌ）と４個の高周波フレーム（Ｈ）とに分解される。ここで、高周波フレームは自身の左右フレームの全てを参照フレームとしたり、左右フレームのうち１個のフレームを参照フレームとすることができる。その後、低周波フレームはまた左右の高周波フレームを使用して自身を更新することができる。このような更新過程は低周波フレームを元フレームのまま使用せずに高周波フレームを反映して更新することによって、高周波フレームに偏るエラーを分散させる役割をする。しかし、このような更新過程は本発明を動作するために必須的な内容ではないので、以下では更新過程は省略して元フレームがそのまま低周波フレームになるのを例として説明する。

次いで、時間的レベル２で、時間的レベル１の４個の低周波フレームはまた２つの低周波フレームと２つの高周波フレームとに分解される。そして、最後に時間的レベル３で、時間的レベル２の２つの低周波フレームは１個の低周波フレームと１個の高周波フレームとに分解される。以後、最上位時間的レベルの低周波フレーム１個と残り高周波フレーム７つを符号化して伝送するようになる。

ところが、最上位時間的レベル、最低フレーム率を有するフレームに対応する区間に対しては単純な時間的差分コーディング方法とは異なる方法でフィルタリングを行う。したがって、現在ＧＯＰ内の時間的レベル３で、低周波フレーム６０及び高周波フレーム７０は差異コーディングによってフィルタリングされるようにできる。この中でも高周波フレーム７０は単純に差異コーディングによってフィルタリングできるが、時間的に関連性のある他のフレームを参照することができるので、時間的差分コーディングによってフィルタリングされることもある。したがって、所定のピクセルサイズのブロック別に時間的差分コーディングと差異コーディングのうち有利な方法を選択して前記ブロック別にフィルタリングする方法を使用する。

このように有利な方法を選択する基準としては、Ｒ−Ｄ最適化方法を使用することができる。時間的差分コーディングの方法も順方向、逆方向、両方向の３つが存在するので、この３つの場合と差異コーディングに適用される費用関数が最小になる方法をブロック別に選択すれば良い。

逆方向コーディング方法を選択する場合のエラーをＥｂに、順方向コーディング方法を選択する場合のエラーをＥｆに、両方向コーディング方法を使用する場合のエラーをＥｂｉに、そして、ベースレイヤを参照フレームとして使用する場合のエラーをＥｉにする。そして、各々に消耗される追加ビット量をＢｂ、Ｂｆ、Ｂｂｉ、Ｂｉにすれば、それぞれの費用関数は次の（式１）のように定義される。ここで、Ｂｂ、Ｂｆ、Ｂｂｉは各方向に対してモーションベクトル、参照フレームなどを含むモーション情報を圧縮するのに必要とするビット量を意味する。ところが、差異コーディングの際にはモーションベクトルを使用しないのでＢｉは非常に小さくてＢｉは省略しても良い。

ここで、λはラグランジュ係数であって、圧縮率にしたがって決定される常数値である。モード選択モジュール（図示せず）は前記４個の費用のうち最低のモードを選択することによって最上位時間的レベルの高周波フレームに対して好適なモードを選択することができるようになる。前記αは差異コーディングが反映されるようにする程度を示す常数であって、αが１であれば他の費用関数と同等に比較して選択されるようにする場合であり、αが大きくなるほど差異コーディング方法が選択されなくなる。そして、αが小さくなるほどＢ−イントラモードがさらに選択されるようになる。

図４は最上位時間的レベルに存在する高周波フレームが前記費用関数にしたがって各ブロック別に他の方式で符号化される例を示す図面である。ここで１個のフレームは１６個のブロックで構成されており、ＭＢは各ブロックを示すものとする。そして、Ｆ、Ｂ、Ｂｉ、そしてＢ_{ｉｎｔｒａ}は各々順方向推定モード、逆方向推定モード、両方向推定モード、そしてイントラ推定モードでフィルタリングされるものを示す。

図４において、ブロックＭＢ_０はＣｂ、Ｃｆ、Ｃｂｉ、及びＣｉを比較した結果、Ｃｆが最小値であるので順方向推定モードでフィルタリングされ、ブロックＭＢ_１５はＣｉが最小値であるのでＢ−イントラモードでフィルタリングされる場合を示している。

再び図２を参照する。モーション推定モジュール１３０は時間的フィルタリングモジュール１２０の呼び出しを受けて、時間的フィルタリングモジュール１２０で決定される参照フレームを基準に現在フレームのモーション推定を行ってモーションベクトルを求める。このような動作推定のために広く使われるアルゴリズムはブロックマッチングアルゴリズムである。すなわち、与えられたブロックを参照フレームの特定探索領域内でピクセル単位で動作しながらそのエラーが最低になる場合の変位を動作ベクトルで推定するものである。モーション推定のために図４の例のように、固定されたブロックを使用することができるが、階層的可変サイズブロックマッチング法（ＨＶＳＢＭ）による階層的な方法を使用することができる。モーション推定モジュール１３０はモーション推定結果、求められるブロックのサイズ、モーションベクトル、参照フレーム番号などのモーション情報をビットストリーム生成モジュール１７０に提供する。

空間的変換モジュール１５０は時間的フィルタリングモジュール１２０によって時間的重複性が除去されたフレームに対して、空間的スケーラビリティを支援する空間的変換法を使用して空間的重複性を除去する。このような空間的変換法としてはウェーブレット変換が主に使われている。空間的変換結果、求められる係数を変換係数という。

ウェーブレット変換を使用する例をより詳しく説明する。空間的変換モジュール１５０は時間的重複性が除去されたフレームに対して、ウェーブレット変換を使用して１個のフレームを分解して低周波サブバンドと高周波サブバンドとに区分し、各々に対するウェーブレット係数を求める。

図５は入力イメージまたはフレームをウェーブレット変換によってサブバンドで分解する過程の例を示す図面であって、２つのステップレベルに分割したものである。ここには３つの高周波サブバンド、すなわち水平、垂直、及び対角位置のサブバンドがある。低周波サブバンド、すなわち水平及び垂直方向の全てに対して低周波であるサブバンドは「ＬＬ」と表記する。前記高周波サブバンドは「ＬＨ」、「ＨＬ」、「ＨＨ」と表記するが、これは各々水平方向高周波、垂直方向高周波、そして水平及び垂直方向高周波サブバンドを意味する。そして、低周波サブバンドは繰り返し分解できる。括弧内の数字はウェーブレット変換レベルを示すものである。

量子化モジュール１６０は空間的変換モジュール１５０で求めた変換係数を量子化する。量子化とは、任意の実数値で表現される前記変換係数を一定区間に分けて不連続的な値で示し、これを所定のインデックスにマッチングさせる作業を意味する。特に、空間的変換方法でウェーブレット変換を使用する場合には量子化方法として埋め込み量子化方法を使用する場合が多い。このような埋め込み量子化方法としてはＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣなどがある。

ビットストリーム生成モジュール１７０はベースレイヤ生成モジュール１１０から提供されるエンコーディングされたベースレイヤデータと、量子化モジュール１６０によって量子化された変換係数と、モーション推定モジュール１３０によって提供されるモーション情報を無損失符号化して出力ビットストリームを生成する。このような無損失符号化方法としては、算術符号化、可変長符号化などの多様なエントロピ符号化を使用することができる。

図６は本発明の一実施形態によるプリデコーダ２００の構成を示す図面である。このようなプリデコーダ２００はトランスコーダやエキストラクタと呼ぶこともある。同様に、画質、解像度またはフレーム率などの抽出条件にしたがってエンコーダ１００から受信されたビットストリームの一部を抽出することによって画質、解像度、またはフレーム率を変化させる、すなわちスケーラビリティを具現することをプリデコーディング、トランスコーディング、またはエキストラクタという。

プリデコーダ２００はビットストリーム受信モジュール２１０、モード決定モジュール２２０、ビットストリーム抽出モジュール２３０、及びビットストリーム伝送モジュール２４０を含んで構成できる。

ビットストリーム受信モジュール２１０はエンコーダ１００段で生成されたビットストリームを受信する。このようにビットストリームを受信することは有線・無線ネットワークにかかわらず、具体的ネットワーク網の種類にかかわらず行うことができる。

図７はエンコーダ１００側から受信されるビットストリーム３００構造の一例を示す図面である。ビットストリーム４０はエンコーディングされたベースレイヤに対して無損失符号化したビットストリームであるベースレイヤビットストリーム４５０と、時間的、空間的にスケーラビリティが支援されて量子化モジュール１６０から伝送された変換係数を無損失符号化したビットストリーム、すなわちスケーラブルビットストリーム５００で構成できる。

図８に示す通りに、スケーラブルビットストリーム５００はシーケンスヘッダフィールド５１０とデータフィールド５２０で構成でき、データフィールド５２０は１つ以上のＧＯＰフィールド５３０，５４０，５５０で構成できる。シーケンスヘッダフィールド５１０にはフレームの横サイズ（２バイト）、縦サイズ（２バイト）、ＧＯＰサイズ（１バイト）、フレーム率（１バイト）など映像の特徴を記録する。そして、データフィールド５２０は映像を示すデータと、その他映像復元のために必要な情報（モーション情報など）が記録される。

図９は各ＧＯＰフィールド５１０，５２０，５５０の細部構造を示す図面である。ＧＯＰフィールド５１０，５２０，５５０はＧＯＰヘッダ５５１と、時間的に他のフレームを参照せずにエンコーディングされるフレームに関する情報を記録するＴ０フィールド５５２と、モーション情報及びモード情報が記録されるＭＶフィールド５５３と、前記他のフレームを参照してエンコーディングされるフレームの情報を記録する「ｔｈｅ ｏｔｈｅｒ Ｔ」フィールド５５４で構成できる。モーション情報にはブロックサイズと、各ブロック別モーションベクトルと、モーションベクトルを求めるために参照する参照フレームの番号などが含まれる。このような参照フレーム番号としては時間的に関連性あるフレームうち１個の番号記録されることもでき、差異コーディングがある場合にはベースレイヤフレームを示す番号（他のフレームが使用しない番号を特定して使用することができる）が記録される。このように差異コーディングにより生成されるブロックには参照フレームは存在するが、モーションベクトルは存在しない。

ＭＶフィールド５５３にはそれぞれのフレーム別に細部的な、ＭＶ_（１）ないしＭＶ_{（ｎ−１）}フィールドが含まれる。一方、ｔｈｅ ｏｔｈｅｒ Ｔフィールド５５４は各フレームの映像を示すデータが記録される細部的な、Ｔ_（１）ないしＴ_{（ｎ−１）}フィールドが含まれる。ここで、ｎはＧＯＰサイズを意味する。図９に示す通りに、１つのＧＯＰで低周波フレームがＧＯＰの開始部分に位置し、その個数が１つであると示すのは単に一例に過ぎず、エンコーダ１００段での時間的推定方法にしたがって低周波フレームは２つ以上が存在することがあり、ＧＯＰの最初位置でない他の位置に存在することがある。

また図６を参照すれば、モード決定モジュール２２０ではエンコーダ１００段で伝送されたビットストリーム４００内のスケーラブルビットストリーム５００の中で一部のビットストリームを抽出するとき省略するフレームを決定する。このような省略方法を「向上省略モード」と定義することができる。向上省略モードの基本発想を見れば、エンコーダはビデオ信号を時間的予測またはベースレイヤを使用した予測方法を使用してエンコーディングする。

プリデコーダ２００段では、目的ビット率が低い場合には、ベースレイヤフレームに対応するフレームのテクスチャ情報とモーション情報は全体的に省略される。前記テクスチャ情報は時間的差分コーディングまたは差異コーディングによって生成されるフレームを意味し、モーション情報はモーションベクトル、参照フレーム番号、ブロックのサイズなどを含む意味である。

これをいくつかの場合に割れば、第一モードは目的ビット率が十分な場合であって、省略されるフレームなく全てのフレームが伝送されるモードである。そして、第三モードは目的ビット率が一定以上低い場合であって、対応するベースレイヤを有するフレームは省略されるモードである。そして、第二モードは、中間ビット率に該当する場合であって、対応するベースレイヤを有するフレームのうち高周波フレームだけ省略され、相対的に重要な情報を含む低周波フレームは省略できないモードである。

このように３つのモードに分ける基準はさまざまな方法があるが、デコーダ段に接続されたネットワークの伝送状態に関する情報にしたがって伝送可能なビット率、すなわち目的ビット率を基準にモードを決定することができる。図１０はこのように目的ビット率にしたがってモードを分類する基準を説明する図面であって、目的ビット率に対して第一閾値（θ_１）と第二閾値（θ_２）を設定した後、現在デコーダ段に伝送状態を考慮するとき、目的ビット率が第一閾値を超えると判断されれば第一モードを適用し、目的ビット率が第二閾値より小さいと判断されれば第三モードを適用する。そして、目的ビット率が第一閾値と第二閾値との間に存在すると判断されれば第二モードを適用するようになる。

ビットストリーム抽出モジュール２３０はモード決定モジュール２２０で決定された向上省略モードと抽出条件を考慮してビットストリーム４００内のスケーラブルビットストリーム５００のうち一部を抽出することによってデコーダ３００段に伝送するビットストリームを生成する。ここで、抽出条件は画質、解像度、またはフレーム率条件を意味し、このような抽出条件はユーザによって直接入力され、またはビットストリーム伝送モジュール２４０によって得ることができる伝送可能なビット率情報を使用して決定できる。本発明では単に抽出条件だけを考慮してビットストリームを抽出するのではなく、向上省略モード及び抽出条件もともに考慮してビットストリームを抽出する。それは向上省略モードにしたがって一部フレームは省略できるので、省略されたフレームを除外した残りフレームに対して抽出条件を適用する場合が存在するためである。このように省略されたフレームによって節約されるビットは他のフレームに与えることができるため、これは自然に性能向上につながることになる。

図１１はビットストリーム抽出モジュール２３０で行われる動作の一例を説明する図面である。ここで、Ｆ０、Ｆ１、…Ｆ８はそれぞれのフレームを意味し、各数字はフレーム番号を意味し、「Ｂ」はベースレイヤを意味する。ここで、Ｆ０及びＦ８は低周波フレームとしてベースレイヤを使用して差異コーディングされたフレームである。

モード決定モジュール２２０で決定されたモードが第一モードである場合にはビットストリーム抽出モジュール２３０ではベースレイヤを考慮せずに本来のテクスチャ情報、またはテクスチャ情報とモーション情報をそのままビットストリーム伝送モジュールに伝送する。また、第三モードである場合には、ベースレイヤが存在するフレーム、すなわちＦ０、Ｆ４、Ｆ８に対するテクスチャ情報、またはテクスチャ情報とモーション情報は全て省略されてビットストリーム伝送モジュール２４０に伝送されない。このようにベースレイヤが存在するフレームであるか否かはビットストリーム受信モジュール２１０から提供される、ベースレイヤのフレーム番号情報またはフレーム率情報（この情報はベースレイヤビットストリーム４５０の一部位置に記録できる）によって分かる。

一方、モード決定モジュール２２０で決定されたモードが第二モードである場合には、ビットストリーム抽出モジュール２３０はベースレイヤが存在するフレームの中で高周波フレームインＦ４に対するテクスチャ情報及びモーション情報は省略し、低周波フレームインＦ０、及びＦ８に対するテクスチャ情報は省略せずにビットストリーム伝送モジュール２４０に伝送する。ここで、ベースレイヤが存在する低周波フレームと高周波フレームはあるＧＯＰ内で各々１つずつ存在することを例として挙げたが、エンコーダ１００段でベースレイヤを生成する方法にしたがって他の個数及び他の位置の低周波フレーム、高周波フレームが存在できることは当業者には明らかな事項である。

図１２はビットストリーム抽出モジュール２３０で行われる動作の他の例を説明する図面である。ここで本来のスケーラブルビットストリーム５００で向上省略モード及び抽出条件を考慮して判断した結果、時間的レベル２に存在するフレームだけ抽出するようになる場合を示すものである。前記判断結果、このように時間的次元で一部フレームだけを抽出することも可能であり、あらゆるフレームを抽出対象にするもののフレームの解像度を下げたり、フレームの画質を下げることも可能である。

第二モードまたは第三モードである場合には一部フレームが省略されるのでその省略されたビット数分他のフレームに割り当てることによってフレーム率、解像度または画質を高めるのに使うことができる。

図１３及び図１４は図１１でビットストリーム抽出モジュール２３０の抽出過程にしたがってスケーラブルビットストリーム５００で１つのＧＯＰフィールド５５０が変化される形態を示す図面である。図１３は変化以前のＧＯＰフィールド５５０の構造を示す図面である。第一モードである場合には本発明にしたがって省略されるフレームが存在しないが（もちろん、この場合も抽出条件のうちフレーム率条件にしたがって省略されるフレームは存在できる）、第三モードである場合にはＦ０に関するテクスチャ情報のＴ０と、Ｆ４に対するモーション情報のＭＶ４と、Ｆ４に対するテクスチャ情報のＴ４は省略される。ここでは１つのＧＯＰ内のフレームだけを表示したので図１３でのＦ８は示されない。第二モードにしたがって斜線の部分が省略されたＧＯＰフィールド５５０の構造は図１４に示す通りである。

一方、第二モードである場合にはベースレイヤが存在するフレームのうち高周波フレームに関する情報だけ省略されなければならないので、図１３でＭＶ４とＴ４だけ省略される。第二モードにしたがって高周波フレーム情報が省略されたＧＯＰフィールド５５０の構造は図１５に示す通りである。

以上のように、ビットストリーム抽出モジュール２３０はモード情報にしたがって各ＧＯＰ別に一部フレームを省略し、スケーラブルビットストリーム５００を再構成することによって新しくビットストリームを抽出し、これをビットストリーム伝送モジュール２４０に伝送する。

ビットストリーム伝送モジュール２４０はビットストリーム抽出モジュール２３０によって抽出されたビットストリームを有線・無線ネットワークによってデコーダ３００段に伝送する。

図１６は本発明の一実施形態によるスケーラブルビデオデコーダ３００の構成を示す図面である。スケーラブルビデオデコーダ３００はビットストリーム解析モジュール３１０、逆量子化モジュール３２０、逆空間的変換モジュール３３０、逆時間的フィルタリングモジュール３４０、アップサンプリングモジュール３５０、及びベースレイヤデコーダ３６０を含んで構成できる。

まず、ビットストリーム解析モジュール３１０はエントロピ符号化方式の逆として、入力されたビットストリームを解析してベースレイヤの情報と、以外階層の情報とを分離して抽出する。ここで、ベースレイヤの情報はベースレイヤデコーダ３６０に提供されている。そして、その以外階層の情報のうちテクスチャ情報は逆量子化モジュール３２０に提供し、モーション情報及び向上省略モード情報は逆時間的フィルタリングモジュール３４０に提供する。

ベースレイヤデコーダ３６０はビットストリーム解析モジュール３１０から提供されていたベースレイヤの情報を所定のコーデックでデコーディングする。前記所定のコーデックとしてはエンコーディング時に使われたコーデックに対応するコーデックが使われるが、このようなコーデックとしては低いビット率で優れた性能を示すＨ．２６４、ＭＰＥＧ−４などを使用するのが好ましい。

アップサンプリングモジュール３５０はベースレイヤデコーダ３６０でデコーディングされたベースレイヤのフレームを逆時間的フィルタリングを行うフレームの解像度と同じ解像度でアップサンプリングする。このようなアップサンプリング方法としては多様な方法があるが、最初エンコーダ１００で解像度ダウンサンプリングを行うときに使用した方法を逆に使用するのが好ましい。例えば、エンコーダ１００でウェーブレット変換によってダウンサンプリングを行えばここでも逆ウェーブレット変換によってアップサンプリングを行う。アップサンプリングモジュール３５０は必須構成要素ではなく、ベースレイヤの解像度と前記フィルタリングを行うフレームの解像度とが同じ場合にはアップサンプリングモジュール３５０は動作しなくても良い。

一方、逆量子化モジュール３２０はビットストリーム解析モジュール３１０から伝送されたテクスチャ情報を逆量子化して変換係数を出力する。逆量子化過程はエンコーダ１００段で所定のインデックスで表現して伝送した値からこれとマッチングされる量子化された係数を検索する過程である。インデックスと量子化係数との間のマッチング関係を示すテーブルはエンコーダ１００段から伝送することもでき、予めエンコーダとデコーダとの間の約束にしたがうこともできる。

逆空間的変換モジュール３３０は空間的変換を逆に行い、前記変換係数を空間的領域での変換係数で逆変換する。例えば、ウェーブレット方式で空間的変換されて場合にはウェーブレット領域での変換係数を空間的領域での変換係数に逆変換する。

逆時間的フィルタリングモジュール３４０は前記空間的領域での変換係数、すなわち差分フレームを逆時間的フィルタリングしてビデオシーケンスを構成するフレームを復元する。逆時間的フィルタリングのために逆時間的フィルタリングモジュール３４０はビットストリーム解析モジュール３１０から提供されるモーション情報と向上省略モード情報、そしてベースレイヤデコーダ２５０から提供されるベースレイヤを使用する。

逆時間的フィルタリングモジュール３４０は前記向上省略モードにしたがって省略されたフレームに対してはその省略されたフレームに対応するベースレイヤに交替した後、逆時間的フィルタリング過程を行う。図１７は図１４のようにプリデコーダ２００で第三モードにしたがって一部フレームが省略されたＧＯＰのモーション情報及びテクスチャ情報をフレーム番号別に示すものである。ここで、Ｆ０フレーム及びＦ４フレームが省略されて存在しない。これにより、逆時間的フィルタリングを行う以前に省略されたフレームを復元しなければならないが、これに係って図１８は図１７のような状況で省略されたフレームをベースレイヤを使用して復元する過程を説明する図面である。

ベースレイヤデコーダ２５０で復元されたベースレイヤはその自体が最低フレーム率と最低解像度を有するビデオシーケンスとして直接出力できる。そして、前記復元されたベースレイヤはベースレイヤ以外のフレームを復元するために逆時間的フィルタリングモジュール２４０に提供されている。

図１８で省略されたフレームインＦ０、Ｆ４、Ｆ８はベースレイヤデコーダ２５０で復元されたベースレイヤを使用して復元できる。前記ベースレイヤの位置０，４，８はベースレイヤビットストリーム４５０に含まれるベースレイヤのフレーム番号またはベースレイヤのフレーム率を参照して理解できる。たとえ、復元されたベースレイヤと逆時間的フィルタリングを行うフレームの解像度が異なれば、アップサンプリングモジュール２６０によってベースレイヤをアップサンプリングした後、該当フレームの位置に挿入する。このようにベースレイヤによって復元されるフレームＦ０、Ｆ４、Ｆ８は差分フレームでなく、その自体で完成した低周波フレームである。したがって、残り高周波フレームインＦ１、Ｆ２、Ｆ３、Ｆ５、Ｆ６、Ｆ７はエンコーダ１００段で時間的フィルタリングされた方式にしたがって、前記ベースレイヤによって復元された低周波フレームまたは他の高周波フレームのうちまず復元されたフレームを参照して逆時間的フィルタリングできる。このように各フレーム別に復元されればその全体が１つのビデオシーケンスを形成するようになる。

ここで、逆時間的フィルタリングはエンコーダ１００段で時間的フィルタリングを行った方法の逆に行うので、エンコーダ１００段で差異コーディングによってフィルタリングされた場合は対応するベースレイヤとの和を求めることによって、また、時間的予測コーディングによってフィルタリングされた場合は該当参照フレーム番号及びモーションベクトルを使用して構成される予測フレームとの和を求めることによって行われる。

図１７及び図１８の例では第三モードの場合を例として挙げたが、第二モードである場合も省略された高周波フレームだけをベースレイヤを使用して復元するものとし、別途の説明は省略する。そして、第一モードである場合には省略されたフレームがないので逆時間的フィルタリングモジュール２４０でベースレイヤを使用する必要はなくなる。

以上の説明において、「モジュール」という用語はソフトウェア構成要素またはＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、モジュールはある役割をする。しかし、モジュールはソフトウェアまたはハードウェアに限定される意味ではない。モジュールはアドレシングできる保存媒体にあるように構成でき、１つまたはそれ以上のプロセッサを実行させるようにも構成できる。したがって、一例としてモジュールはソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素などのように構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。構成要素などとモジュールの中で提供される機能はさらに小さな類似構成要素及びモジュールに接続されたり、追加的な構成要素などとモジュールにさらに分離できる。また、構成要素及びモジュールは通信システム内の１つまたはそれ以上のコンピュータを実行させるように具現できる。

図１９はＭｉｂｉｌｅシーケンスでビット率に対するＰＳＮＲを比較したグラフである。本発明による方法を使用した結果は高いビット率では既存のスケーラブルビデオコーディング（ＳＶＣ）方法を使用した結果と類似し、低いビット率では非常に優れた結果を示す。この中でもα＝１である場合（時間的差分コーディングと差異コーディングを比較選択する場合）はα＝０である場合（差異コーディングだけする場合）に比べて、高いビット率では多少高い性能を示し、低いビット率では多少低い性能を示す。しかし、両者は最低ビット率（４８ｋｂｐｓ）では互いに同じ性能を示している。

そして、α＝０であり、本発明で提案したモードのうち１つの第三向上省略モードを使用する場合は、低いビット率ではα＝０だけを使用する場合と類似しており、高いビット率ではα＝１だけを使用する場合と類似している。結果的に、向上省略モードを追加して低いビット率と高いビット率で均一に優れた性能を示すことが分かる。

以上、添付する図面を参照して本発明の実施形態を説明しましたが、本発明の属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態によって実施できることが理解できる。したがって前述した実施形態はあらゆる面で例示的なものであって、限定的なものではないことを理解しなければならない。

従来のスケーラブルビデオコーディングシステムの全体構成を示す図である。 本発明の一実施形態によるスケーラブルビデオエンコーダの構成を示す図である。 エンコーダ段で本発明の一実施形態による時間的フィルタリング過程を説明する図である。 最上位の時間的レベルに存在する高周波フレームが前記費用関数にしたがって各ブロック別に異なる方式でエンコードされた例を示す図である。 入力イメージをウェーブレット変換によってサブバンドに分解する過程の例を示す図である。 発明の一実施形態によるプリデコーダの構成を示す図である。 エンコーダ側から受信されるビットストリーム構造の一例を示す図である。 スケーラブルビットストリームの概略的な構成を示す図である。 ＧＯＰフィールドの細部構造を示す図である。 目的ビット率にしたがってモードを分類する基準を説明する図である。 ビットストリーム抽出モジュールで行われる動作の一例を説明する図である。 ビットストリーム抽出モジュールで行われる動作の他の例を説明する図である。 ビットストリーム抽出モジュールでの抽出過程にしたがって変化される以前のＧＯＰフィールドの構造を示す図である。 第三モードの場合に、ビットストリーム抽出モジュールでの抽出過程にしたがって変化された以後のＧＯＰフィールドの構造を示す図である。 第二モードの場合に、ビットストリーム抽出モジュールでの抽出過程にしたがって変化された以後のＧＯＰフィールドの構造を示す図である。 本発明の一実施形態によるスケーラブルビデオデコーダの構成を示す図である。 図１４のようにプリデコーダで第三モードにしたがって一部フレームが省略されたＧＯＰのモーション情報及びテクスチャ情報をフレーム番号別に示す図である。 図１７のような状況で省略されたフレームをベースレイヤを使用して復元する過程を説明する図である。 Ｍｉｂｉｌｅシーケンスでビット率に対するＰＳＮＲを示すグラフである。

Claims (18)

1. ベースレイヤを含むビットストリームをプリデコーディングする方法において、
   所定の基準にしたがって、前記ベースレイヤが存在する時間的位置に該当するフレームのうち、スケーラブルビット部分のデータが省略されるフレームが決められた複数の省略モードから省略モードを決定するステップと、
   前記決定された省略モード及び抽出条件にしたがって、決められた前記フレームのスケーラブルビット部分のデータを除外した前記ビットストリームを抽出するステップと、を含むことを特徴とするプリデコーディング方法。
2. 前記基準は、
   デコーダ端に接続されたネットワークの伝送状態による伝送可能なビット率を意味することを特徴とする請求項１に記載のプリデコーディング方法。
3. 前記決定するステップは、
   前記ビット率が第一閾値より低い場合には、前記複数の省略モードのうち前記ベースレイヤが存在する時間的位置に該当するフレームのスケーラブルビット部分のデータ全体を省略する省略モードに決定するステップを含むことを特徴とする請求項２に記載のプリデコーディング方法。
4. 前記決定するステップは、
   前記ビット率が第一閾値より高く、第二閾値より低い場合には、前記複数の省略モードのうち前記ベースレイヤが存在する時間的位置に該当するフレームのうち高周波フレームのスケーラブルビット部分のデータを省略する省略モードに決定するステップを含むことを特徴とする請求項２に記載のプリデコーディング方法。
5. ベースレイヤを含み、一部フレームのスケーラブルビット部分のデータが所定の基準にしたがって決められた複数の省略モードによって省略されたビットストリームをデコーディングする方法において、
   前記ビットストリームの中でベースレイヤに関する情報に所定のコーデックを適用してベースレイヤを復元するステップと、
   前記ビットストリームの中でベースレイヤ以外の情報から、一部フレームのスケーラブルビット部分のデータが省略された差分フレームを生成するステップと、
   前記スケーラブルビット部分のデータが省略されたフレームの位置に対応するベースレイヤを挿入するステップと、
   前記挿入されたベースレイヤと前記差分フレームに対して逆時間的フィルタリングを行ってビデオシーケンスを復元するステップとを含むことを特徴とするビットストリームをデコーディングする方法。
6. 前記生成するステップは、前記ビットストリームの中でベースレイヤ以外のテクスチャ情報を逆量子化して変換係数を出力するステップと、
   前記変換係数を空間的領域での変換係数路逆変換するステップとを含むことを特徴とする請求項5に記載のビットストリームをデコーディングする方法。
7. 前記ベースレイヤは、前記ベースレイヤの解像度を前記差分フレームの解像度でアップサンプリングした後に挿入されることを特徴とする請求項５に記載のビットストリームをデコーディングする方法。
8. 前記逆時間的フィルタリングは、前記差分フレームが差異コーディングによって生成されたフレームである場合は対応するベースレイヤとの和を求めることによって、また、時間的予測コーディングによって生成されたフレームである場合は該当参照フレーム番号及びモーションベクトルを使用して構成される予測フレームとの和を求めることを特徴とする請求項５に記載のビットストリームをデコーディングする方法。
9. 前記コーデックとしては、Ｈ．２６４を使用することを特徴とする請求項５に記載のビットストリームをデコーディングする方法。
10. 前記アップサンプリングは、逆ウェーブレット変換によって行われることを特徴とする請求項７に記載のビットストリームをデコーディングする方法。
11. ベースレイヤを含むビットストリームで一部ビットストリームを抽出するプリデコーダにおいて、
    所定の基準にしたがって前記ベースレイヤが存在する時間的位置に該当するフレームのうち、スケーラブルビット部分のデータが省略されるフレームが決められた複数の省略モードから省略モードを決定するモード選択モジュールと、
    前記決定された省略モード及び抽出条件にしたがって、決められた前記フレームのスケーラブルビット部分のデータを除外した前記ビットストリームを抽出するビットストリーム抽出モジュールとを含むことを特徴とするプリデコーダ。
12. 前記基準は、デコーダ段に接続されたネットワークの伝送状態による伝送可能なビット率を意味することを特徴とする請求項１１に記載のプリデコーダ。
13. 前記モード選択モジュールは、前記ビット率が第一閾値より低い場合には、前記複数の省略モードのうち前記ベースレイヤが存在する時間的位置に該当するフレームのスケーラブルビット部分のデータ全体を省略する省略モードに決定することを特徴とする請求項１２に記載のプリデコーダ。
14. 前記モード選択モジュールは、前記ビット率が第一閾値より高く、第二閾値より低い場合には、前記複数の省略モードのうち前記ベースレイヤが存在する時間的位置に該当するフレームのうち高周波フレームのスケーラブルビット部分のデータを省略する省略モードに決定するステップを含むことを特徴とする請求項１２に記載のプリデコーダ。
15. ベースレイヤを含み、所定の基準にしたがって決められた複数の省略モードによって一部フレームのスケーラブルビット部分のデータが省略されたビットストリームをデコーディングするビデオデコーダにおいて、
    前記ビットストリームの中でベースレイヤに関する情報に所定のコーデックを適用してベースレイヤを復元するベースレイヤデコーダと、
    前記ビットストリームの中でベースレイヤ以外の情報から、一部フレームのスケーラブルビット部分のデータが省略された差分フレームを生成する逆空間的変換モジュールと、
    前記スケーラブルビット部分のデータが省略されたフレームの位置に対応するベースレイヤを挿入するモジュールと、
    前記挿入されたベースレイヤと前記差分フレームに対して逆時間的フィルタリングを行ってビデオシーケンスを復元する逆時間的フィルタリングモジュールとを含むことを特徴とするビデオデコーダ。
16. 前記ベースレイヤは、
    前記ベースレイヤの解像度を前記差分フレームの解像度でアップサンプリングした後に挿入されることを特徴とする請求項１５に記載のビデオデコーダ。
17. 前記逆時間的フィルタリングモジュールは、
    前記差分フレームが差異コーディングによって生成されたフレームである場合は対応するベースレイヤとの和を求めることによって、また、時間的予測コーディングによって生成されたフレームである場合は該当参照フレーム番号及びモーションベクトルを使用して構成される予測フレームとの和を求めることを特徴とする請求項１５に記載のビデオデコーダ。
18. ベースレイヤを含むビットストリームをプリデコーディングする方法を実行するためのプログラムをコンピュータによって読取可能なプログラムで記録した記録媒体において、
    所定の基準にしたがって前記ベースレイヤが存在する時間的位置に該当するフレームのうち、スケーラブルビット部分のデータが省略されるフレームが決められた複数の省略モードから省略モードを決定するステップと、
    前記決定された省略モード及び抽出条件にしたがって、決められた前記フレームのスケーラブルビット部分のデータを除外した前記ビットストリームを抽出するステップとを含むことを特徴とする記録媒体。

Images