JP4373329B2 - ビデオ・シーケンス内のエラーを隠蔽する方法 - Google Patents

Description

本発明は全体としてビデオ・符号化に関し、特にエラーによって生じたアーチファクトの隠蔽に関する。

ビデオ・シーケンスは一連の静止画像、すなわちフレームから構成されている。ビデオ圧縮方式はビデオ・シーケンスの冗長性部分、および知覚的に無関係の部分を減少させることに基づいている。ビデオ・シーケンス内の冗長性はスペクトル、空間的、および時間的冗長性のカテゴリーに区分できる。スペクトルの冗長性とは同じ画像の異なるカラー成分相互の類似性のことである。空間的冗長性は画像内の隣接するピクセル相互の類似性から生ずる。時間的冗長性が存在する理由は、先行の画像フレーム内に出現するオブジェクトが現在の画像フレームにも出現することが予測されるからである。この時間的冗長性を利用し、参照画像と呼ばれる別の画像から現在の画像を予測することによって圧縮を達成可能である。現在の画像と参照画像との間の動きを記述する動き補償データを生成することによって更なる圧縮が達成される。

ビデオ圧縮方法は典型的には時間的冗長性の減少を利用した画像と、これを利用しない画像とを区別する。時間的冗長性の減少方法を利用しない圧縮画像は通常イントラ-（すなわちI-）フレーム、またはイントラ（I-）画像と呼ばれている。時間的に予測される画像は、通常は現在の画像の前に出現する画像から先に予測され、インター-若しくはP-フレームと呼ばれている。圧縮されたビデオ・クリップは、典型的には画像のシーケンスから構成されており、これらは大まかに時間的に独立なイントラ画像、および時間的に区別して符号化されたインター画像のカテゴリーに分類することができる。イントラ画像は、典型的には再構成されたビデオ信号内の伝送エラーの時間的な伝播を停止し、かつビデオのビットストリームにランダムアクセス・ポイントを供給するために利用される。イントラ画像によって得られる圧縮効率は、通常はインター画像によって供給されるものよりも低いので、これらは一般に、特にビット伝送速度が低いアプリケーションで控えめに利用されている。

ビデオ・シーケンスは多くのカメラ場面、すなわちショットで構成することができる。ショットは１台のカメラで撮影される連続したフレームまたは画像の集合として定義される。一般に、１ショット内のフレームは高度の相関関係にある。しかし、典型的なビデオ・シーケンスでは、画像のコンテンツは典型的には１つの場面と他の場面では大幅に異なっており、したがって場面の最初の画像は典型的にはイントラ符号化される。ビデオ・シーケンス内での異なるショット相互の変化は「場面遷移（scene transitions）」と呼ばれる。場面遷移は複数の異なる形式をとることもある。例えば、１つのショットが終了し、他のショットが「場面カット」で急激に開始されることもある。別の場合では、場面遷移は段階的であり、１つ以上のフレームにわたって行われる。段階的な場面遷移の例は「ディゾルブ」、「フェード（フェードイン、フェードアウト）、および「ワイプ」である。

圧縮されたビデオは主として２つの理由から伝送エラーによって損傷し易い。第１に、時間的な差分による予測符号化（インターフレーム）を利用することによって、エラーは空間的にも時間的にも伝播される。第２に、可変長コードを使用することでエラーに対するビデオ・ビットストリームの感受性が高まる。受信機（ビデオ・デコーダ）が伝送経路内に発生する損傷に対処するための方法は多くある。一般に、信号が受信されると先ず伝送エラーが検知され、それからデコーダによって修正または隠蔽される。「エラー修正」という用語はエラー・データをそもそもエラーが発生しなかったかのように完璧に修復する工程を意味し、一方「エラー隠蔽」は伝送エラーの作用を隠蔽して、再構成されたビデオ・シーケンスではほとんど見えないようにすることを意味している。

現在は、ISO（国際標準化機構）/IEC（国際電気標準会議）の動画圧縮技術標準化委員会とITU-T（国際電気通信連合・電気通信標準化セクタ/MPEG-4パート10AVCビデオ・コーデック用のITU-Tビデオ・符号化専門家グループとの合同ビデオ・チームによって開発されているビデオ・デコーダにはイントラ符号化されたフレームおよび場面遷移フレーム内の伝送エラーがどのように隠蔽されるべきであるかを決定する方法が欠如しており、本発明が開発されたのもこのような事情においてである。

本発明の目的はビデオ・シーケンス内の場面遷移に属するフレーム用に適宜の形式のエラー隠蔽を選択できる方法を提供することにある。この方法は急激な場面遷移（すなわち場面カット）、および例えばフェード、ワイプ、およびディゾルブのような段階的な場面遷移にも等しく利用できる。

場面遷移に属するフレームの有効なエラー隠蔽を行うには２種類の情報、すなわち１）ショットの変化が開始、終了されるフレームに関する情報、および２）場面遷移（カット、ディゾルブ、フェード、ワイプなど）に関する情報が必要である。前記の２種類の情報はビデオ・符号化層（VCL）データを適正に復号するには必要ないので、本発明は場面遷移に関する情報が拡張付加情報（Supplemental Enhancement Information, SEI）として供給され、拡張付加情報（SEI）メッセージとして符号化されたビデオ・ビットストリーム内に含まれることを提案する。そこで場面遷移に属するフレーム内に出現するエラーを隠蔽するために要する全ての必要情報をSEIメッセージから推測することができる。

本発明によって、ビデオ・シーケンスの各場面は場面識別子の値に関連付けられる。連続する場面の場面識別子の数値は互いに異なっており、したがって、ビデオ・デコーダは以前受信した場面識別子とは異なる場面識別子を受信すると、場面の変化が生じたことを推論できる。場面遷移期間中のフレームは遷移中の双方の場面から１つずつ２つの場面識別子と関連付けられる。加えて、段階的な場面遷移がディゾルブ、フェードイン、フェードアウト、ワイプまたはそのどれでもない（すなわち他の何らかの種類の）遷移であってよい特定の種類の遷移と関連付けられる。このおおまかなカテゴリー分けによってデコーダに充分なガイダンスが与えられ、デコーダは場面遷移中のデータ損失または損傷を隠蔽する適切なエラー隠蔽アルゴリズムを選択することが可能になる。

このように、本発明の第１の態様によれば、少なくとも第１の場面と、該第１の場面からの場面遷移を有する第２の場面とを含み、該場面遷移は複数のフレームを含み、該場面遷移は複数の種類の場面遷移の１つである、ビデオ・シーケンスのフレーム内のエラーを隠蔽する方法が提供される。この方法は、
場面遷移の種類を識別する工程と、
識別された場面遷移に基づいてその遷移に属するフレーム内のエラーを隠蔽するエラー隠蔽手順を適用する工程と、を含んでいる。

識別される場面遷移の種類は、場面カットまたは段階的な場面遷移であることができる。

好適には、場面カットに属する画像全体が損失した場合は、損失した画像は隠蔽されない。

好適には、場面カットに属する画像の一部が損失または破損した場合は、画像の損失または破損部分に空間的なエラー隠蔽アルゴリズムが適用される。

好適には、段階的な遷移に属する画像全体が損失または破損した場合は、画像の損失または破損した部分を隠蔽する空間的−時間的エラー隠蔽アルゴリズムが適用される。

好適には、段階的な遷移に属する画像の一部が損失または破損した場合は、画像の損失または破損した部分を隠蔽する空間的−時間的エラー隠蔽アルゴリズムが適用される。

好適には、識別された場面遷移を示す情報がデコーダに拡張付加情報として供給され、エンコーダがその情報に基づいてエラーを隠蔽することができるようにされる。

有利には、識別された場面遷移を示す情報は場面遷移の種類の表示を含み、識別された場面遷移を示す情報は遷移に属する各フレームごとに供給される。

本発明の第２の態様によれば、少なくとも第１の場面と、第１の場面からの場面遷移を有する第２の場面とを含み、場面遷移は複数のフレームを含み、場面遷移は複数の種類の場面遷移の１つである、ビデオ・シーケンスをデータ・ストリームへと符号化するビデオ符号化装置が提供される。ビデオ符号化装置は、
場面遷移に関連するフレームを識別する手段と、
場面遷移に関する情報を供給する手段と、を備えている。

本発明の第３の態様によれば、少なくとも第１の場面と、第１の場面からの場面遷移を有する第２の場面とを含み、場面遷移は複数のフレームを含み、場面遷移は複数の種類の場面遷移の１つである、ビデオ・シーケンスをデータ・ストリームから復号するビデオ復号化装置が提供される。ビデオ復号化装置は、
データ・ストリームを受信する手段と、
場面遷移の種類に基づいてその遷移に属するフレーム内のエラーを隠蔽するエラー隠蔽アルゴリズムと、を備えている。

本発明は図１から３を参照した説明を読むことによって明らかになる。

上記で説明したように、符号化されたビデオ・ビットストリームに含まれる拡張付加情報（SEI）は符号化されたビデオ・データを適正に復号するには必要ではないが、それにも関わらず復号またはプレゼンテーション目的のために有用な情報を含んでいる。したがって、SEI情報は、ビデオ・シーケンスの特定のフレームが属する場面に関する情報を伝送し、場面遷移に関する情報を供給するための最適な伝送手段である。

ITU-T H.264/MPEG-4パート10AVCビデオ符号化標準によれば、SEI要素は１つ以上のSEIメッセージを含んでいる。各SEIメッセージはSEIヘッダとSEIペイロードとを含んでいる。SEIペイロードの種類とサイズは拡張可能な構文を用いて符号化される。SEIペイロードのサイズはバイトで表示される。有効なSEIペイロードの種類がJVT委員会草案の補遺Cにリストアップされている（文書JVT D015d5を参照）。

SEIペイロードはSEIペイロードヘッダでもよい。例えば、ペイロードヘッダは特定のデータが属する画像を示すことができる。ペイロードヘッダはそれぞれの種類のペイロードごとに別個に定義される。SEIペイロードの定義はJVT委員会草案の補遺Cに規定されている（これも文書JVT D015d5を参照）。

SEIユニットの伝送は他のNAL（ネットワーク抽象化層）ユニットと同期して行われる。SEIメッセージはスライス、画像の一部、画像、いずれかの画像群、過去のシーケンス、現在復号されているシーケンス、または今後復号される予定のシーケンスに関するものでもよい。SEIメッセージはさらに伝送順序が前または次の１つ以上のNALにユニットに関するものであってもよい。

下記の表１はITU-T H.264/MPEG-4パート10AVCビデオ符号化標準で用いられるSEIペイロードの構文を定義するものであり、一方、表２は本発明によって提案されるような場面情報の信号方式に関連して用いられる特定の構文を提示している。

表２に記載されている場面情報パラメータは、符号化されたマクロブロックのデータを含む伝送順序が次のNALユニットに関するものである。

scene identifier（場面識別子）：ある場面は１台のカメラによって撮影された連続するフレームの集合として定義される。一般に、一場面内のフレームは高度の相関関係にある。本発明によれば、所定の場面内のフレームは同じscene identifierパラメータ値を共用し、符号化された順序の連続場面は同じscene identifierパラメータ値を有してはならない。

second scene identifier（第２場面識別子）：第２のscene identifierが存在する場合は、これは符号化されたマクロブロックを含む次のNALユニットが２つの場面からの画像データを含むフレームに属していることを示している。言い換えると、フレームは段階的な場面遷移に属している。second scene identifierは符号化された順序が後の場面の場面識別子である。

scene transition type（場面遷移の種類）：scene transition typeパラメータがSEI場面情報内に存在しない場合は、場面遷移の種類が不明であるか、定義されていないか、不適切であることを示している。それが存在する場合は、下記の表３に示された値が妥当である。

ここでデータ損失または損傷に対処するためにデコーダの工程で上記の場面情報が利用される態様をここで説明する。

現在の画像の直前の画像全体が損失し、先行して受信された画像以降、場面が変化している場合は、損失した画像は新たな場面を開始しているので隠蔽されない。現在の画像の直前の画像全体が損失し、先行して受信された画像以降、場面が変化していない場合は、デコーダは損失した画像を隠蔽する。遷移期間中に画像全体が損失した場合は、デコーダは損失された画像を隠蔽する場合は示された場面遷移の種類を利用する。

現在の画像の一部が損失または損傷し、場面情報メッセージがその画像と関連している場合は、デコーダは下記の動作を実行する。

１）先行画像が受信されて以降、場面が変化した場合は、現在の画像の損失または破損部分を隠蔽するために、デコーダは空間的なエラー隠蔽アルゴリズムを適用する。
２）先行画像が受信されて以降、場面が変化しない場合は、デコーダは空間的−時間的エラー隠蔽アルゴリズムを適用する。
３）現在の画像が場面遷移に属している場合は、損失した画像を隠蔽する際にデコーダは示された場面遷移の種類を利用する。

本発明によれば、エンコーダがエラーを生じ易い伝送環境で動作する場合、または符号化されたビデオ信号に基づいてビデオ・コンテンツの説明を作成する必要がある場合は、エンコーダは場面情報SEIメッセージを生成する必要がある。コンテンツの説明が即座に必要ではなくても、エンターテインメント用ビデオのようなある種のビデオ・コンテンツには後でその必要性が生ずることがある。したがって本発明によれば、可能ならばエンコーダが常に場面情報SEIメッセージを生成することが好適である。

したがって、エンコーダはそれぞれの場面カットおよび段階的な遷移ごとに場面情報SEIメッセージを作成する。各場面カット画像ごとに、エラーの復元力のために後に反復可能である関連する場面情報SEIメッセージが存在する。それぞれの段階的場面遷移ごとに、最初の遷移画像（すなわち、場面からの遷移と場面への遷移の双方から構成されている最初の画像）に関連する場面情報SEIメッセージが（好適には反復的に）存在する。それぞれの段階的場面遷移ごとに、最後の遷移画像（場面からの遷移と場面への遷移の双方から構成されている最後の画像）に関連する場面情報SEIメッセージも（好適には反復的に）存在する。前述のように、scene identifierパラメータの値は連続する場面で異なっている。

パケット依存の伝送環境では、メッセージの少なくとも１度の出現の適正な受信を保証するために、伝送パケタイザ（packetizer）は可能ならばそれぞれの場面情報SEIメッセージを少なくとも２つのパケットに複製する。RTP（実時間伝送プロトコル）伝送では、パケタイザは場面情報SEIを符号化された画像コンテンツに関連付けるために複合パケットを使用する。バイト・ストリーム依存の伝送環境では、各々の場面情報SEIメッセージは少なくとも複製される。

本発明によるショット変化の信号方式によるビデオ・シーケンスのエラー隠蔽方法が図１のフローチャート１００に示されている。

デコーダが復号工程でデータ損失または損傷に遭遇すると、デコーダはステップ１１０で、損失または損傷した画像が画像全体であるのか、画像の一部であるのかを決定する。画像全体が損失している場合は、デコーダはどの様な種類の損失状況が生じているかを判定する（ステップ１２０）。現在の画像の直前で画像全体が損失し、以前に受信された画像以降、（例えば受信されたSEI情報内のscene identifierパラメータ値によって示されるように）場面が変化した場合は、この場合、前述のように損失した画像は新たな場面の開始を表すので、損失した画像は隠蔽されない（ステップ１２４）。現在の画像の直前で画像全体が損失し、以前に受信された画像以降、場面の変化が生じない場合は、デコーダはステップ１２２に示すように損失した画像を隠蔽する。遷移期間中に画像全体が損失した場合は、デコーダはステップ１２６に示すように、損失した画像を隠蔽する際に（受信したSEI情報から得られた）示された種類の場面遷移を利用する。

画像の一部が損失した場合は、デコーダはどのような種類の損失状況が生じているかを判定する（ステップ１３０）。画像の一部が損失または損傷し、また場面情報SEIがその画像に関連している場合は、デコーダは下記のアクションを実行する。すなわち、以前受信した画像以降に場面が変化した場合は、デコーダはステップ１３４に示すように、画像の損失または破損した部分を隠蔽するための空間的エラー隠蔽アルゴリズムを適用する。以前受信した画像以降に場面が変化しない場合は、段階的な遷移に属する画像全体が損失または破損した場合は、デコーダはステップ１３２に示すように空間的−時間的エラー隠蔽アルゴリズムを利用する。現在の画像が場面遷移に属している場合は、デコーダはステップ１３６に示すように、損失した画像を隠蔽する際に示された種類の場面遷移を利用する。

図１のフローチャート１００に示されているエラー隠蔽方法を実行するためには、本発明によって実装されるビデオ・エンコーダは場面の変化を監視し、エンコーダによって生成された場面変化を示す情報を伝送することが可能である必要がある。このようなビデオ・エンコーダ２００のブロック図が図２に示されている。図示の通り、本発明によって実装されるビデオ・エンコーダは場面遷移モニタ２１０、符号化エンジン２２０、制御ユニット２３０、およびマルチプレクサ/パケタイザ・ユニット２４０を含んでいる。ビデオ・シーケンスを表すビデオ入力信号はビデオ・エンコーダの入力端子に印加され、場面遷移モニタ２１０を経てビデオ符号化エンジン２２０に送られ、そこでビデオ・シーケンスの個々のフレームが例えばイントラまたはインターフォーマットで符号化される。場面遷移モニタはビデオ・シーケンスを構成する様々な場面を識別するために、例えばシーケンスの連続フレーム内のピクセル相互の差の絶対値の累積合計を計算することによって、または先行技術から公知である他のいずれかの場面検知方法を適用することによってフレームを点検する。場面遷移モニタ２１０は各フレームが属する場面の指標を制御ユニット２３０に供給する。場面間の遷移（例えば場面カット、フェード、ディゾルブ、ワイプなど）が検知されると、場面遷移モニタ２１０はさらに遷移の種類の指標をも制御ユニット２３０に供給する。制御ユニットは識別子（例えば数字）を場面遷移モニタによって識別された各場面に割り当て、この識別子を当該場面に属するものと識別された各フレームに関連付ける。さらに、場面遷移が検知されると、制御ユニット２３０はビデオ符号化エンジンに対して新たな場面の最初のフレームをイントラ符号化フォーマットで符号化するように命令する。有利には、何らかの理由から所定のフレームを別のフォーマットで符号化することが必要にならない限り、新たな場面に属する後続の全フレームは次にインター符号化フォーマットで符号化される。本発明の好適な実施形態では、制御ユニット２３０は拡張付加情報（SEI情報）を場面遷移に属する各フレームに関連付け、SEI情報をマルチプレクサ/パケタイザ２４０に送る。有利には、場面遷移の一部を形成するフレーム用のSEI情報は、本明細書の前記の発明を実施する最良の形態の項で前述したように形成される。マルチプレクサ/パケタイザ２４０はさらにビデオ符号化エンジン２２０から符号化されたビデオ・データを受け、符号化されたビデオ・データおよびSEI情報から単一ビットストリームを形成する。次にビットストリームは伝送チャネルを経て例えば対応するビデオ・デコーダ（図３を参照）、または後に検索し、閲覧されるように記憶装置（図示せず）に伝送される。

図３は本発明によって実装され、図２に関連して記載したビデオ・エンコーダに対応するビデオ・デコーダ３００を示すブロック図である。図３から分かるように、本発明によって実装されるビデオ・デコーダはデパケタイザ/デマルチプレクサ・ユニット３１０と、制御ユニット３２０、エラー隠蔽ユニット３３０、ビデオ復号化エンジン３４０とを含んでいる。デパケタイザ/デマルチプレクサはビデオ・シーケンスを表す符号化されたビットストリームを伝送チャネルからのデータ・パケットの形式で受信する。これは受信したデータ・パケットから符号化されたビデオ・ビットストリームを再構成し、ビデオ・ビットストリームを構成部分（すなわち符号化されたビデオ・シーケンスのフレームに関連する異なる種類の情報）へと分離する。本発明によれば、デパケタイザ/デマルチプレクサは場面遷移に関する情報を特に含む拡張付加情報を符号化されたビデオ・ビットストリームから抽出し、SEI情報を制御ユニット３２０に送る。符号化されたビデオ・フレームを復号するために必要なデータはデパケタイザ/デマルチプレクサ３１０からビデオ復号エンジン３４０に送られ、そこでビデオ・シーケンスの個々のフレームは例えばイントラおよびインター復号技術を用いて再構成される。各フレームが復号されると、ビデオ復号エンジン３４０は符号化されたビデオ・ビットストリームがエンコーダから伝送チャネルを経て伝送されている間に生じる可能性のあるエラーがあるか否かについて、受信したビデオ・データを点検する。特定のフレームがこのようなエラーを含んでいること、またはフレームが全く復号できないほどひどく損傷している（すなわちフレームが完全に損失している）ことをビデオ復号エンジンが検知すると、ビデオ復号エンジンは適切なエラー隠蔽アルゴリズムを用いてエラーまたはフレーム全体を隠蔽しようとする。本発明によれば、適切なエラー隠蔽方法の選択はエラー隠蔽ユニット３３０によって行われる。エラー隠蔽ユニットは各フレームが属する場面に関する情報を制御ユニット３２０から受ける。フレームが場面遷移の一部である場合は、制御ユニット３２０は場面遷移の種類に関する情報もエラー隠蔽ユニットに送る。このように、復号エンジン３４０が場面遷移の一部であるフレームに影響するエラーを検知すると、エラー隠蔽ユニット３３０はフレームが属する場面を考量し、場面遷移の種類を考慮に入れてエラーを隠蔽するのに適した方法を選択することができる。好適には、この選択に際してエラー隠蔽ユニット３３０は前記の発明を実施する最良の形態の項に記載した選択方法を利用する。次に、ビデオ復号エンジン３４０は選択されたエラー隠蔽アルゴリズムを利用してフレーム内のエラーを隠蔽し、例えばディスプレー装置（図示せず）に表示するために復号されたフレームを出力する。

本発明による場面カットおよび場面遷移フレーム用のエラー隠蔽方法の有効性を確認するため、本発明の方法に従って動作するように修正されたITU-T H.264/MPEG-4パート10AVCビデオ符号化標準に基づいて実装されたビデオ・エンコーダおよびデコーダを使用して一連のシミュレーション試験を実施した。これらのシミュレーション試験を以下に詳述する。

Ａ．ランダムアクセスのフレームおよび場面カットのエラー隠蔽のシミュレーション

このシミュレーションでは、文献VCEG-N79r1で提示されているシーケンスおよびビット伝送速度が用いられ、（VCEG-N79r1で定義されている）パケット損失環境のための一般的な条件を適用した。加えて、場面カットのフレーム用のエラー隠蔽の効果をシミュレートするため、規則的な場面カットを伴う３０フレームの人工的なシーケンスをよく知られているシーケンス「ニュース」、「フォアマン」、「コーストガード」、「カーフォン」および「サイレント」で構成した。以下ではこの人工的シーケンスを「ミックスシーケンス（MixedSeq）」と呼ぶ。あらゆる場合で頻繁なランダムアクセスを可能にするため、約１秒のイントラフレーム期間を用いた。ミックスシーケンスの場合、このようなイントラ期間によって全ての場面カットをイントラ符号化した。損失認識R/D最適化（LA−RDO）も利用した。シーケンスを符号化するために使用したその他の符号化パラメータを下記の表４に示す。

エラー隠蔽
本発明の方法によるエンコーダ内での場面情報SEIメッセージの作成が、本明細書の前記の発明を実施する最良の形態の項で提示されたガイドラインに従ってシミュレートされ、デコーダの２つの処理工程を比較した。
１．JVT研究草案の補遺Dに記載のエラー隠蔽方法（文献JVT-C039を参照）を含む標準の複合モデル・デコーダ
２．本発明によるデコーダ処理工程で向上された複合モデル・デコーダ

ビット伝送速度およびPSNR（ピーク信号対雑音比）計算
文献VCEG-N79r1に指定されている共通の条件に記載されているように、パケット当たり４０バイトのIP/UDP/RTPヘッダを考慮に入れつつ、結果として生じたビット伝送速度をチャネルのビット伝送速度にできるだけ近づけるために、量子化パラメータのような符号化パラメータを選択した。ソース・シーケンス内のスキップ、および損失したフレームを含む各フレームを用いてPSNRの値を計算した。最初のフレームによる全体的な結果への影響を低減するため（最初に符号化されたフレームの平均サイズはシーケンス全体の平均サイズよりも大きい）、ビット伝送速度および平均PSNRは６番目に符号化されたフレームから計算した。この方法によって、公正な結果を伴う短いシーケンスの符号化が可能になる。少なくとも１００フレームが符号化され、少なくとも３００フレームが使用されることを確実にするため、４０００のフレームを符号化するのではなく、各々指定されたシーケンスの３００−４００のフレームを使用した。

パケット損失のシミュレーション
シミュレーションでは、パラメータの集合を含むパケット（表４を参照）が（例えばセッションのセットアップ中にアウトオブバンド方式によって）確実に伝送され、したがってエラー・パターンのファイルからそれについてのエラー・パターンは読み取られなかった。最初のフレームの少なくとも１つのパケットは、デコーダのクラッシュを避けるために受信される。この条件を満足するために、最初のフレームの最初のパケットは対応するエラー・パターンに関わりなく常に受信された。

代表的な復号ラン
符号化されたビットストリームを複数回復号した（各々が復号ランと呼ばれる）。N＋１番目のランの開始損失の位置は継続的にn番目のランの終了損失位置の後に来る。復号ランの回数は全部で少なくとも８０００のパケットが存在するように選択した。全ての復号ランの平均のPSNR値を平均化することによって、全体的な平均PSNRが得られた。その平均PSNRが全体的な平均PSNRに最も近くなるように代表的な復号ランを選択した。瞬間的なPSNR値のプロットを作成するため、また客観的な画質評価のために、瞬間的なPSNR値、および代表的なランの復号されたシーケンスを記憶した。

結果
下記の表１１に示されているミックスシーケンス、144kbpsにおけるシミュレーション結果によって示されるように、場面カットにイントラエラー隠蔽方式を利用することによって、主観的および客観的な画質の双方でインターエラー隠蔽方式よりも優れた性能が得られる。

逆に、表５から１０に提示された他の６つの符号化の場合から分かるように、場面カットではないフレームの場合は、インターエラー隠蔽方式は一貫してイントラエラー隠蔽方式よりも優れている。このことは本発明の有用性を実証している。

Ｂ．フェードのエラー隠蔽のシミュレーション
フェードアウトおよびフェードインのフレームにおけるエラー隠蔽の効果をシミュレートするため、１０のフェードアウト・フレーム、１０のフェードイン・フレーム、および１０の通常フレームを有する２つの人工シーケンスを作成した。一方は「ニュース」と「アキヨ」の組み合わせ（遅い動き）から作成し、他方は「カーフォン」および「フォアマン」（中程度の動き）から作成した。JVT複合モデル・エンコーダおよびI-P-P-P符号化パターンを使用して符号化した後、フェードする複数のフレームの損失がシミュレートされ、損失があるビットストリームをデコーダに送った。フェードするフレームの損失により発生するエラーを隠蔽するために異なる２つのエラー隠蔽方法を採用した。

１．（JVT研究草案（文献JVT-C039）の補遺Dに記載の）JVTコーデックでの従来のエラー隠蔽方法
２．下記のように本発明によるフェード用の特殊なエラー隠蔽方法

エラー隠蔽方法
フェード内での損失したフレームは先行フレームをコピーし、そのピクセル値をスケーリングすることによって隠蔽される。しかし、場面遷移期間中に先行フレームが１つしかない場合は、スケーリングは行われない。Mn’が先行フレームの平均Y（輝度）ピクセル値であり、Mn”が先行フレームの前のフレームの平均Yピクセル値である場合は倍率fは下記のように計算される。

ピクセル（Y_s、U_s、V_s）用の隠蔽されたY、U、およびVの値は先行する画像（Y、U、V）の空間的に対応する値から下記のように計算される。

シミュレーション結果に示されるように、本発明によるフェード用の特別のエラー隠蔽方法を利用することによって、JVTビデオ符号化推奨の補遺Dに記載されている従来のエラー隠蔽不法よりも主観的および客観的な双方の画質に関して大幅に優れた性能が得られる。段階的な場面遷移の視覚的な質は重要ではないということもできるが、場面遷移中の劣悪なエラー隠蔽の結果、画質が悪い遷移フレームが生ずるだけではなく、時間的なエラー伝播によって場面遷移後の通常のフレームの画質も悪くなる。

ディゾルブのエラー隠蔽
ディゾルブ中に損失したフレームのエラー隠蔽の２つの方法を以下に提示する。デコーダが復号前に充分な数のフレームをバッファすることができれば、アルゴリズムAが使用される。そうではない場合はアルゴリズムBが使用される。

アルゴリズムA
プリデコーダのバッファが２番目の場面のいずれかのイントラ−符号化フレーム（遷移期間後のフレーム）を含んでいる場合は、イントラフレームはエラー隠蔽における第２のアンカー・フレームとして利用される。このようなイントラフレームを利用できない場合は、アルゴリズムBを使用する必要がある。第１のアンカー・フレームは最後に再構成されたフレームである。それぞれdt1を提示時間内の第１のアンカー・フレームと損失したフレームとの時間間隔であるとし、dt2を第２のアンカー・フレームに関する同じ尺度であるとし、（y１、u１、v１）が第１のアンカー・フレーム内のピクセルであり、（y２、u２、v２）が第２のアンカー・フレーム内の空間的に対応するピクセルであるとすると、隠蔽されるピクセル（y、u、v）は下記によって得られる。

ただし、uおよびvは同様に計算されるが、それらの符号が考慮される。

ただし数学関数「clip1」は下記のように定義される。

clip1（c）=clip3（0、255、c）
clip3（a、b、c） c＜aならば=a
c＞bならば=b、または、
それ以外の場合は＝c
である。

アルゴリズムB
通常の空間的−時間的エラー隠蔽

ワイプのエラー隠蔽
デコーダは下記を検知しなければならない。
１．ワイプに含まれる２つの場面の間の境界（単数または複数）の形状、および
２．終了場面が開始場面によっていかに迅速にカバーされるかを規定する速度

例えば再構成された画像を比較し、ブロックごとの相関を計算することによって検知を行うことができる。時間的に後続の画像からの空間的に対応する２つのブロックが相関していれば、それらは同じ場面からのブロックである。そうでない場合は、これらは異なる場面からのブロックである。

推測された形状および速度に基づいて、デコーダは損失した画像またはエリア内の境界の位置および形状の予測を計算することができる。先行の画像内の終了場面に属し、かつ損失した画像若しくはエリア内の終了場面に属すると推測される損失エリアは、先行の画像からエリアをコピーすることによって隠蔽することができる。同様に、先行の画像内の開始場面に属し、かつ損失した画像若しくはエリア内の開始場面に属すると推測される損失エリアは、先行の画像からエリアをコピーすることによって隠蔽することができる。先行の画像内の終了場面に属し、かつ損失した画像若しくはエリア内の開始場面に属すると推測される損失エリアは、開始場面の隣接するコンテンツから空間的に隠蔽される必要がある。損失エリアを隠蔽する場合、エラー隠蔽でしばしば行われているように、隣接エラーする適正に再構成されたブロックとの境界の整合を利用できる。

他の種類の遷移のエラー隠蔽
通常の空間的−時間的エラー隠蔽方法が利用されるべきである。

本発明を好適な実施形態に関して記載してきたが、本発明の範囲から離れることなく形式と細部での前述の、およびその他の様々な変更、省略、および逸脱が可能であることが当業者には理解されよう。

場面遷移の種類に応じて場面遷移内の画像用に適したエラー隠蔽方法を選択する態様を示した、本発明によるエラー隠蔽方法を示したフローチャートである。 エラー隠蔽の目的のために場面遷移を示す情報を含む符号化されたデータ・ストリームを供給するように、本発明によって実装されたビデオ・エンコーダを示したブロック図である。 本発明により、また図２に示されたビデオ・エンコーダに対応して実装されたビデオ・デコーダを示したブロック図である。

Claims (27)

1. 少なくとも第１の場面と、該第１の場面からの場面遷移を有する第２の場面とを含み、該場面遷移は複数のフレームを含み、該場面遷移は複数種類の場面遷移の１つであり、前記複数種類の場面遷移はワイプ、ディゾルブ、フェードのうち少なくとも1つを含み、少なくともビデオ・シーケンスのフレーム内のエラーを隠蔽する方法であって、
   前記場面遷移の種類を識別するために、符号化されたビデオのビットストリームから場面遷移の種類を示す情報を読み出す工程と、
   前記識別された場面遷移の種類に基づいて該場面遷移に属するフレーム内のエラーを隠蔽するエラー隠蔽手順を適用する工程と、を含む方法。
2. 符号化されたビデオのビットストリームから場面変化を識別するための情報を読み出す工程を更に有し、前記場面変化は場面カットである請求項１に記載の方法。
3. 前記場面カットに属する画像全体が損失した場合は、該損失した画像は隠蔽されない請求項２に記載の方法。
4. 前記場面カットに属する画像の一部が損失または破損した場合は、該画像の損失または破損部分を隠蔽する空間的なエラー隠蔽アルゴリズムが適用される請求項２に記載の方法。
5. 前記識別された場面遷移の種類は段階的な場面遷移である請求項１に記載の方法。
6. 前記場面遷移はフェードである請求項５に記載の方法。
7. 前記場面遷移はディゾルブである請求項５に記載の方法。
8. 前記場面遷移はワイプである請求項５に記載の方法。
9. 前記段階的な遷移に属する画像全体が損失または破損した場合は、該画像の損失または破損した部分を隠蔽する空間的−時間的エラー隠蔽アルゴリズムが適用される請求項５に記載の方法。
10. 前記段階的な遷移に属する画像の一部が損失または破損した場合は、該画像の損失または破損した部分を隠蔽する空間的−時間的エラー隠蔽アルゴリズムが適用される請求項５に記載の方法。
11. 前記場面遷移の種類を示す情報がデコーダに拡張付加情報メッセージとして供給され、該デコーダが前記情報に基づいてエラーを隠蔽することができるようにする請求項１に記載の方法。
12. 前記拡張付加情報メッセージは場面変化を識別するための情報を含む請求項１１に記載の方法。
13. 前記拡張付加情報メッセージは前記場面遷移に属するフレームごとに供給される請求項１１に記載の方法。
14. 少なくとも第１の場面と、該第１の場面からの場面遷移を有する第２の場面とを含み、該場面遷移は複数のフレームを含み、該場面遷移は複数種類の場面遷移の１つであり、前記複数種類の場面遷移はワイプ、ディゾルブ、フェードのうち少なくとも1つを含み、ビデオ・シーケンスを符号化されたビデオデータ・ストリームへと符号化するビデオ符号化装置であって、
    前記場面遷移に関連するフレームを識別する識別モジュールと、
    前記符号化されたビデオデータ・ストリーム内の前記場面遷移の種類を示す、復号プロセスで使用するための情報を供給するマルチプレクサモジュールと、を備える装置。
15. 前記情報は拡張付加情報メッセージで供給される請求項１４に記載の装置。
16. 前記情報は該遷移に属するフレームごとに供給される請求項１５に記載の装置。
17. 少なくとも第１の場面と、該第１の場面からの場面遷移を有する第２の場面とを含み、該場面遷移は複数のフレームを含み、該場面遷移は複数種類の場面遷移の１つであり、前記複数種類の場面遷移はワイプ、ディゾルブ、フェードのうち少なくとも1つを含み、ビデオ・シーケンスを符号化されたビデオデータ・ストリームから復号するビデオ復号装置であって、該ビデオ復号装置は前記符号化されたビデオデータ・ストリームを受信するように構成され、
    前記符号化されたビデオデータ・ストリームから前記場面遷移の種類を識別する情報を読み出すデマルチプレクサモジュールを備え、該デマルチプレクサモジュールは、エラー隠蔽アルゴリズムが前記場面遷移の種類に基づいて該遷移に属するフレーム内のエラーを復号プロセスにおいて隠蔽できるように、前記識別された場面遷移の種類を示す情報を供給するように構成される装置。
18. 前記場面遷移の種類は前記ビデオ符号化装置に供給される拡張付加情報から読み出される請求項１７に記載のビデオ復号装置。
19. 前記場面遷移の種類は段階的な場面遷移であり、該段階的場面遷移に属する画像全体が損失または破損した場合、前記エラー隠蔽アルゴリズムは該損失または破損した画像を隠蔽するための空間的−時間的エラー隠蔽アルゴリズムを含む請求項１７に記載のビデオ復号装置。
20. 前記場面遷移の種類は段階的な場面遷移であり、該段階的場面遷移に属する画像の一部が損失または破損した場合、前記エラー隠蔽アルゴリズムは該損失または破損した画像の一部を隠蔽するための空間的−時間的エラー隠蔽アルゴリズムを含む請求項１７に記載のビデオ復号装置。
21. 前記デマルチプレクサモジュールは前記符号化されたビデオのデータストリームから場面変化を識別するための情報を読み出すように構成され、前記場面変化は場面カットであり、該場面カットに属する画像の一部が損失または破損した場合、前記エラー隠蔽アルゴリズムは該画像のエラーを隠蔽するための空間的エラー隠蔽アルゴリズムを含む請求項１７に記載のビデオ復号装置。
22. 前記デマルチプレクサモジュールは前記符号化されたビデオのデータストリームから場面変化を識別するための情報を読み出すように構成され、前記場面変化は場面カットであり、該場面カットに属する画像全体が損失または破損した場合、前記エラー隠蔽アルゴリズムは該損失または破損した画像を無視するようになっている請求項１７に記載のビデオ復号装置。
23. 少なくとも第１の場面と、該第１の場面からの場面遷移を有する第２の場面とを含み、該場面遷移は複数のフレームを含み、該場面遷移は複数種類の場面遷移の１つであり、前記複数種類の場面遷移はワイプ、ディゾルブ、フェードのうち少なくとも1つを含み、符号化されたビデオデータ・ストリームからビデオ・シーケンスを復号するビデオ復号装置であって、
    前記符号化されたビデオデータ・ストリームを受信する手段と、
    前記受信した符号化ビデオデータ・ストリームから前記場面遷移の種類を示す情報を読み出す手段と、
    前記の読み出した場面遷移の種類を示す情報に基づいて前記場面遷移に属するフレーム内のエラーを復号プロセスにおいて隠蔽する手段と、を備える装置。
24. 少なくとも第１の場面と、該第１の場面からの場面遷移を有する第２の場面とを含み、該場面遷移は複数のフレームを含み、該場面遷移は複数種類の場面遷移の１つであり、前記複数種類の場面遷移はワイプ、ディゾルブ、フェードのうち少なくとも1つを含み、ビデオ・シーケンスを符号化されたビデオデータ・ストリームへと符号化するビデオ符号化装置であって、
    前記場面遷移に関連するフレームを識別する手段と、
    前記符号化されたビデオデータ・ストリーム内の前記場面遷移の種類を示す、復号プロセスで使用するための情報を供給する手段と、を備える装置。
25. 少なくとも第１の場面と、該第１の場面からの場面遷移を有する第２の場面とを含み、該場面遷移は複数のフレームを含み、該場面遷移は複数種類の場面遷移の１つであり、前記複数種類の場面遷移はワイプ、ディゾルブ、フェードのうち少なくとも1つを含み、ビデオ・シーケンスを符号化されたビデオデータ・ストリームへと符号化する方法であって、
    前記場面遷移に関連するフレームを識別する工程と、
    前記符号化されたビデオデータ・ストリーム内の前記場面遷移の種類を示す、復号プロセスで使用するための情報を供給する工程と、を含む方法。
26. 前記情報が拡張付加情報メッセージにおいて供給される請求項２５に記載の方法。
27. 前記情報は前記場面遷移に属するフレームごとに供給される請求項２５に記載の方法。

Images