JP4440233B2

JP4440233B2 - エラー隠匿方法及び装置

Info

Publication number: JP4440233B2
Application number: JP2006178275A
Authority: JP
Inventors: 賢基白
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2005-06-30
Filing date: 2006-06-28
Publication date: 2010-03-24
Anticipated expiration: 2026-06-28
Also published as: EP1739974B1; EP1739974A1; JP2007013973A

Description

本発明は、エラー隠匿方法及び装置に係り、より詳細には、ビデオデータ伝送実行中に発生するフレーム単位のエラーによって損失されたフレームに対して損失フレームを構成するピクセル単位でエラー隠匿を行って画質の向上を図ってエラーの伝播を減少させてフレーム損失を隠匿するためのエラー隠匿方法及び装置に関する。

無線ネットワーク環境の発展につれて、無線ネットワーク上での動画像伝送が活発になされている。このような動画像フレームの圧縮技術について多くの研究と開発がなされており、これに基づいて国際標準化機構でフレームの圧縮技術に対してＨ．２６３、Ｈ．２６３＋、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの圧縮技術が国際的な標準と制定された。このような圧縮技術で作られたデータは高い圧縮率を有するので、帯域幅に制限があるチャンネルを有するシステムでも伝送が容易である。

しかし、データ圧縮率が高い場合、伝送されるデータのエラー発生時にデータ復元に深刻な被害を受ける短所もある。無線の特性上、障害物による伝播の干渉現象によってパケットの損失が頻繁に発生し、これにより、ビデオデータの損失が起こる。ビデオデータは、圧縮を行うために用いられるが、この際、圧縮の効率を高めるために時間的に以前にあるフレームのデータを参照する方式を使用する。したがって、ビデオデータの損失によるエラーは、エラーの発生以後にもエラーの伝播現象が持続される。特に、フレームデータ全体が損失されるエラーはフレームの一部であるスライスあるいはマクロブロック単位のエラー損失に比べてさらに深刻なエラー損失現象及びエラー伝播現象を引き起こす。

このような短所を克服しようと動画像データがエラーに対して最大限強じん性を有するように符号化する試みが多くの分野でなされている。動画像データのエラーに対する強じん性を与えるための方法の１つとして、フレームエラー隠匿技法がある。フレームエラー隠匿とは、エラーが存在するフレームが動画像デコーダに受信される時、受信された原本フレームの復号時にエラーの影響を最大限減らす方法を意味する。これは、あたかも最初から何らのエラーも発生していないように、誤ったデータを完璧に回復する方法である“エラー修正（ＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）”という過程とは区別される概念である。

そうすると、現在使われているフレームエラー隠匿技法には、映像情報によって連続されたフレーム間の重複された情報を利用する“時間予測エラー隠匿技法”と損失された情報が含まれた同一フレームで空間的重複性を利用する“空間予測隠匿技法”とがある。空間予測隠匿技法は、時間的な重複性を使用せず、現在フレーム内の損傷されていないマクロブロックの情報を用いて損傷されたマクロブロックを補償する技法である。この際、損失ブロックに近い周囲のマクロブロックに対置するか、色々な複数の補間法を使用したエラー隠匿技法が提案された。時間予測隠匿技法は、連続した映像の時間的相関性を用いて現在フレーム内で損失されたマクロブロックの情報を復元するために時間的に異なる位置に存在するフレームを参照する方法である。参照するフレームの数によって２つに大別されうる。復元時に参照するフレームが１つである場合に、これを“単一フレームエラー隠匿技法”といい、参照されるフレームが２つ以上である場合は、“多重フレームエラー隠匿技法”という。

ここで、前記フレームエラー隠匿技法は、損失されたマクロブロックの動きベクトルを求める方法によって数種の技術が提案された。第１に、以前に受信された１つのフレームを利用する方法があり、第２に、以前に受信された２以上のフレームを利用する方法がある。前記第１の方法は、以前に受信されたフレーム（以下、“以前フレーム”という）の使用方法によって再び３つに区分されるが、その３つの方法について簡略に説明する。

第１の方法は、現在受信されたフレームのうち、エラーが発生したマクロブロックと同じマクロブロックを以前フレームから持ってくる方法がある。第２の方法は、現在受信されたフレームの損失されたマクロブロック周辺の動きベクトル値の中間値または平均値を用いて損失された動きベクトルを復元する方法である。第３の方法は、損失されたマクロブロックの周辺画素値を以前フレームで推定して現在フレームと最も類似したマクロブロックを持ってくる方法である。

これと関連して多重フレームエラー隠匿技法も、基本的には前記単一フレームエラー隠匿技法で使われた方法を用いて動きベクトルを復元する。しかし、前記多重フレームエラー隠匿技法は、損失されたマクロブロックを探すために１つの以前フレームだけを検索するものではなく、少なくとも２つ以上の以前フレームを検索するという点で区別される。

そうすると、従来のフレームエラー隠匿技法の問題点についての説明に先立ち、一般的な動画像デコーダの構成について簡略に説明する。一般的に動画像デコーダは、圧縮された形態の映像ビットストリームを可変長復号化及び逆量子化を通じて元の映像信号に復元するが、これを図１を参照して説明する。図１は、従来の技術による動画像デコーダの構成を示すブロック図である。

まず、バッファ１１は、入力されるビットストリームを一定量保存し、可変長復号部１２は、バッファ１１に保存されたビットストリームを可変長復号化し、それにより発生する映像情報を２つに分類して逆量子化部１３と動き補償部１５とに出力する。逆量子化部１３は、可変長復号部１２から出力される量子化情報を入力されて可変長復号化されたデータを逆量子化する。ＩＤＣＴ部１４は、逆量子化部１３から出力される逆量子化されたデータをＩＤＣＴ（ＩｎｖｅｒｓｅＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）処理する。一方、動き補償部１５は、可変長復号部１２から出力される動き情報と出力映像データで動きが補償された映像データを生成する。加算部１６は、動き補償部１５により動き補償された映像データとＩＤＣＴ部１４により逆ＤＣＴ処理されて出力された映像データを加算する。保存部１７は、加算部１６から出力される映像データを保存する。

このように、前記図１のような動画像の復号化は、入力されるビットストリームをバッファ１１に保存した後、デコーディング能力の通り映像データをリードしてまず可変長復号化を行う方式である。しかし、伝送途中でエラーが発生して入力された映像データに可変長復号化できない損失されたデータが含まれている時、その損失されたエラーデータは時間的に以後の画面にも影響を与えて一定の単位内で累積されて画面に出力される問題点がある。

一方、図２Ａは、従来の技術によるフレーム単位の損失発生時にエラー伝播を示す図面であるが、前記図２Ａに示された損失されたフレーム２１のようにフレームの一部ではないフレーム全体のエラーが発生した場合、以後フレームのうち、前方フレームを参照するマクロブロックにいずれも影響を与えるので、これにより与えられる影響は他の形態のエラー発生と比較できない程度の非常に深刻なレベルの画質低下を招く。すなわち、損失されたフレーム２１により以後のフレーム２２、２３、２４いずれにも影響を与えて画質の低下を引き起こす。このようなエラー発生による短所を克服しようとして動画像データのエラーに強じん性を与えるための方法の１つとしてフレームエラー隠匿技法がある。本明細書の全体で使われるフレームエラー隠匿とは、エラーが発生してフレーム全体データがデコーダで受信されない時、以後に受信されたデータの復号化時にエラーの影響を最大限減らす方法の意味として使用する。

図２Ｂは、従来の技術によるフレーム単位エラー隠匿方法のうち、以前フレームのマクロブロックを参照する方法を示す図面である。このような方法は、損失フレーム４０のマクロブロック４０−１を復元するために以前フレーム３０に零点動きベクトル３５を適用して損失されたフレーム４０のマクロブロック４０−１に該当する以前フレーム３０のマクロブロック３０−１を持ってくる動作を行う。

しかし、前記図２Ｂに示された方法の問題点は、以前フレーム３０のデータを参照することによって、実際に場面転換が発生するか、あるいはフレーム間に画面の変化が多い場合には、予測に対するエラーが大きくなって画質の減少が大きいという点である。

図２Ｃは、従来の技術によるフレーム単位エラー隠匿方法のうち、両方向外挿を通じて損失されたフレームのピクセルを予測する方法を示す図面である。

前記図２Ｃの方法は、前方と後方との２方向の隠匿参照を行うが、まず前方隠匿参照を説明すれば次の通り動作する。

すなわち、以前フレームに対してマクロブロック単位で動きベクトルを外挿補間（Ｅｘｔｒａｐｏｌａｔｉｏｎ）を行って損失フレームに対応させる方式である。前記図２Ｃで、フレーム６０のマクロブロック６０−１の動きベクトルは５５である。動きベクトル５５を以後のフレーム７０に対して外挿補間を行えば、ピクセル７０−０−１に対応する動きベクトル６５となる。このような動作を通じてフレーム７０でのピクセル７０−０−１は、フレーム６０でのピクセル６０−１−１を隠匿参照点に選定する。このような過程を通じてピクセル７０−０−１は、以前フレーム６０に対して０個以上の隠匿参照点を有しうる。もし、隠匿参照点がない場合は、以前フレーム６０での同じ位置のピクセルを隠匿参照点に定める。また、隠匿参照点が複数個である場合には、隠匿参照点の平均点を前方向での隠匿参照点に定める。

次いで、後方隠匿参照を説明すれば、次の通り動作する。前記図２Ｃで後方フレーム８０に対して各マクロブロックの動きベクトル７５、７６、７７を用いて損失フレーム７０のピクセル７０−０−１に対応する隠匿参照点８０−０−１、８０−０−２、８０−０−３を探索する。以後の過程は、前述した前方隠匿参照と同一である。

このような過程を通じて得られた前方及び後方隠匿値の平均値が損失フレーム７０のピクセル７０−０−１の隠匿値となる。損失フレーム７０は、それぞれのピクセルについて前記のような両方向参照を通じてフレーム復元を行う。

しかし、前記図２Ｃに示された方法の問題点は次の通りである。

第１に、場面変換時に両方向参照によって予測の正確度が落ちるという点である。言い換えれば、場面が損失されたフレームの後方フレームで転換されるならば、損失されたフレームと後方フレームは、連関性がなく、場面が損失されたフレームの前方フレームで転換されるならば、損失されたフレームと前方フレームは連関性がない。前述した前記図２Ｃに示された方法は、このような場合に対して両方向参照を行うために、損失されたフレームの各ピクセルに対する予測の正確度が低くなる。

第２に、前方参照を行う時に１つの前方フレームだけを用いてエラーを隠匿するので、画面の縁部に対する隠匿を行うか、画面の中で物体が消えていて再び現れる場合に対して正確なピクセルを予測する確率が低くなる。

第３に、損失されたフレームを隠匿する参照点に対して単純な平均値を求める予測を行うが、正確でない参照点の情報が同じ加重値を有して予測を行うという問題がある。
韓国公開特許第２００１−１０７５３号公報

本発明は、前記問題点を解決するために考案されたものであって、本発明が解決しようとする技術的課題は、フレーム間の場面変換によって参照方向を決定して隠匿参照点を抽出し、抽出された隠匿参照点に対して加重値を与えて加重値による損失フレームのピクセル別隠匿を通じて損失フレームの復元を行うことによって、フレーム単位エラーによる画質の損傷を最小化しうるエラー隠匿方法及び装置を提供するところにある。

本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解されうる。

前記目的を達成するための本発明の一実施形態によるエラー隠匿方法は、損失フレームを基準にフレーム間場面転換如何を判断して前記損失フレームの参照方向を決定する第１ステップと、前記決定された参照方向によって前記損失フレームを除いた少なくとも１つ以上のフレームを用いて前記損失フレームを構成するピクセルに対する隠匿参照点を抽出する第２ステップと、前記抽出された隠匿参照点に加重値を与えて前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３ステップと、前記隠匿ピクセル値を用いて前記ピクセルに対する隠匿を行って前記損失フレームを復元する第４ステップを含む。

また、前記目的を達成するための本発明の一実施形態によるエラー隠匿装置は、損失フレームを基準にフレーム間場面転換如何を判断して前記損失フレームの参照方向を決定する参照方向決定部と、前記参照方向によって前記損失フレームを除いた少なくとも１つ以上のフレームを用いて前記損失フレームを構成するピクセルに対する隠匿参照点を抽出する隠匿参照点抽出部と、前記抽出された隠匿参照点に加重値を与えて前記損失フレームを構成するピクセルの隠匿ピクセル値を求める加重値計算部と、前記隠匿ピクセル値を用いて前記ピクセルに対する隠匿を行って前記損失フレームを復元するフレーム復元部と、を含む。

その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。

本発明の実施形態によれば、デジタルＴＶ、携帯電話機、マルチメディア端末機のように圧縮された動画像を受信して出力する装備でフレーム損失が起こった場合、フレーム単位のエラー隠匿を効果的に行ってエラーの伝播による画質の低下を最小化しうる。

また、本発明の実施形態によれば、場面変化の多い映像物で発生するエラー隠匿予測の誤差を大きく減らし、多重の以前フレームの参照を行ってさらに多くの予測参照点を利用するので、予測の正確度を高めうる。

また、本発明の実施形態によれば、フレーム間の連関性による加重値を与えることによって、各予測値に対する反映度を効果的に調整しうる。

本発明の効果は、以上で言及した効果に制限されず、言及されていない他の効果は請求の範囲の記載から当業者に明確に理解されうる。

本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。

以下、本発明の望ましい実施形態について添付された図面を参照してさらに詳細に説明する。添付されたブロック図の各ブロックとフロ−チャートの各段階の組合わせはコンピュータプログラムインストラクションにより実行可能なのが理解できるであろう。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサーに搭載されうるので、コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサーを通じて実行されるそのインストラクションがフローチャートのブロックで説明された機能を行う手段を生成するように機構を作れる。これらコンピュータプログラムインストラクションは特定方式で機能を具現するためにコンピュータまたはその他のプログラマブルデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ判読可能メモリに保存されることも可能なので、そのコンピュータ利用可能またはコンピュータ判読可能メモリに保存されたインストラクションはフローチャートのブロックで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータまたはその他のプログラム可能なデータプロセッシング装備上に搭載することも可能なので、コンピュータまたはその他のプログラマブルデータプロセッシング装備上で一連の動作段階が実行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラマブルデータプロセッシング装備を行うインストラクションはフローチャートのブロックで説明された機能を実行するための段階を提供することも可能である。

図３は、本発明の実施形態によるエラー隠匿装置の構成を含む動画像デコーダの構成を示す図面である。前記図３を説明すれば、従来のバッファ１１０、可変長復号部１２０、逆量子化部１３０、ＩＤＣＴ部１４０、加算部１５０、保存部１６０、動き補償部１７０に本発明の実施形態によるエラー隠匿装置２００を付加しているが、前記エラー隠匿装置２００は参照方向決定部２１０、隠匿参照点抽出部２２０、加重値計算部２３０及びフレーム復元部２４０を備える。

従来のデコーダのように、バッファ１１０は入力されるビットストリームを一定量保存し、可変長復号部１２０はバッファ１１０に保存されたビットストリームを可変長復号化し、それにより発生する映像情報が正常な場合には、これを２つに分類して逆量子化部１３０と動き補償部１７０に出力する。逆量子化部１３０は、可変長復号部１２０から出力される量子化情報を入力されて可変長復号化されたデータを逆量子化する。ＩＤＣＴ部１４０は、逆量子化部１３０から出力される逆量子化されたデータをＩＤＣＴ（ＩｎｖｅｒｓｅＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）処理する。一方、動き補償部１７０は、可変長復号部１２０から出力される動き情報と出力映像データで動きが補償された映像データを生成する。加算部１５０は、動き補償部１７０により動き補償された映像データとＩＤＣＴ部１４０により逆ＤＣＴ処理されて出力された映像データを加算する。保存部１６０は加算部１５０から出力される映像データを保存する。

一方、可変長復号部１２０がバッファ１１０に保存されたビットストリームを可変長復号化する場合に発生する映像情報が非正常なエラーを含んでいる場合には、エラー隠匿装置２００に出力してエラー隠匿過程を経なければならない。以下、エラー隠匿装置２００の構成を説明する。

参照方向決定部２１０は、可変長復号部１２０から出力された損失フレームを入力されて損失フレームの参照方向を決定する役割を行う。これは損失フレームを基準にフレーム間に場面転換されたか否かを判断することによって、前記損失フレームの参照方向を決定する方式である。ところが、このような場面転換の判断は、場面転換判断部２１５で担当するが、参照方向決定部２１０は、前記損失フレームより時間的に先行する以前フレームと時間的に後行する以後フレームのイメージデータを分析することによって、前記損失フレームを基準にフレーム間の場面転換の発生有無を判断する場面転換判断部２１５を備える。これを示したのが図５である。

図５は、本発明の実施形態によるエラー隠匿方法のステップのうち、損失フレームの参照方向を決定するステップを説明する図面である。前記図５は、フレーム間場面転換を判断して参照方向を決定する過程を説明している。場面転換は、損失フレームを基準にしたフレーム移転のフレームと１フレーム以後のフレーム間の各ピクセル間のピクセル値の差が一定の数値を超える場合、場面変換が発生したと判断する。その他にも、演算量を減らすためにＤＣ係数間の差あるいは動きベクトル間の分布などを用いて場面転換を判断しうる。

図５の左側部分でフレーム５１１ないし５１５は、場面転換がない場合である。この際、損失されたフレーム５１４は、複数の以前フレーム５１１ないし５１３及び以後フレーム５１５で隠匿参照点を抽出する両方向参照を行う。すなわち、場面転換判断部２１５により前記場面転換が発生していないと判断される場合であるために、前記参照方向を両方向に決定する。

図５の中間部分では、５個のフレームのうち、損失されたフレームである５２４以後フレームである５２５で場面転換が発生した場合である。この場合、フレーム５２４はフレーム５２５と連関性がないので、損失フレーム５２４の以前フレーム５２１ないし５２３で隠匿参照点を抽出する前方参照を行う。すなわち、場面転換判断部２１５により前記場面転換が発生したと判断され、また、損失フレームが時間的に先行する以前フレームと同じ場面である場合であるために、前記参照方向を前方向に決定する。

図５の右側部分では、５個のフレームのうち、損失フレーム５３４で場面転換が発生した場合である。この場合、損失フレーム５３４は、以前フレーム５３３と連関性がないので、損失フレーム５３４の以後フレーム５３５で隠匿参照点を抽出する後方参照を行う。すなわち、前記損失フレームが時間的に後行する以後フレームと同じ場面である場合であるために、前記参照方向を後方向に決定する。

隠匿参照点抽出部２２０は、前記参照方向によって前記損失フレームを除いた１つ以上のフレームを用いて前記損失フレームを構成するピクセルに対する隠匿参照点を抽出する機能を行う。すなわち、場面転換判断部２１５により前記参照方向が前方向と判断された場合は、前記複数の以前フレームを用いて隠匿参照点を抽出し、前記参照方向が後方向と判断された場合は、前記１つ以上の以後フレームを用いて隠匿参照点を抽出し、前記参照方向が両方向と判断された場合は、前記複数の以前フレームと前記１つ以上の以後フレームとを用いて隠匿参照点を抽出する。

これを示したのが図６であるために、図６を参照して説明する。図６は、本発明の実施形態によるエラー隠匿方法のステップのうち、損失フレームを構成するピクセルについての隠匿参照点を抽出するステップを説明する図面である。図６では、５個のフレーム６１０ないし６５０を時間的順序で配列し、フレーム６４０からエラーが発生した場合である。

まず、前方参照時に隠匿参照点を抽出する過程を説明する。前方向の隠匿参照点を求めるために損失フレーム６４０の以前フレームの動きベクトルの平均を求めるべきである。損失フレーム６４０のピクセル６４０ａに対して外挿補間を通じてピクセル６４０ａからピクセル６３０ａに向かう動きベクトル６４５を捜し出し、ピクセル６３０ａからピクセル６２０ａに向かう動きベクトル６３５と前記動きベクトル６３５が参照するピクセル６２０ａからピクセル６１０ａに向かう動きベクトル６２５の平均を求めて計算する。そうすると、ピクセル６４０ａからピクセル６３０ｂに向かう動きベクトル６４６が参照するピクセル６３０ｂを隠匿参照点として抽出することである。このような過程で損失フレーム６４０のピクセル６４０ａに対する前方向の隠匿参照点を抽出することである。

一方、後方向の隠匿参照点を抽出する過程は次の通りである。損失フレーム６４０の以後フレーム６５０の各点６５０ａ、６５０ｂ、６５０ｃを動きベクトルを通じて損失フレーム６４０に対応させて損失フレーム６４０のピクセル６４０ａを参照する点を隠匿参照点として抽出する。この際、それぞれのピクセル６５０ａ、６５０ｂ、６５０ｃは、損失フレーム６４０内のピクセル６４０ａに対応する動きベクトル６５５、６５６、６５７を有しているので、以後フレーム６５０に存在するピクセル６５０ａ、６５０ｂ、６５０ｃが後方隠匿参照点として抽出されうる。

加重値計算部２３０は、前記抽出された隠匿参照点に対する加重値を与えることによって、前記損失フレームの隠匿ピクセル値を求める機能を行う。具体的に説明すれば、場面転換判断部２１５により前記参照方向が前方向と判断された場合は、前方向加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求め、前記参照方向が後方向と判断された場合は、後方向加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求め、前記参照方向が両方向と判断された場合は、前記前方加重値と前記後方加重値とを与えた後、方向による方向別加重値をさらに与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求める役割を行う。

ここで、前方向加重値または後方向加重値は、動きベクトルの絶対値が少ないほど高く与え、前記動きベクトルの絶対値が大きいほど低く与えねばならない。なぜなら、動きベクトルの大きさが大きいほどピクセル間の誤差が大きくなるためである。これを数式で表現すれば、前方向加重値は、下記数式１により決定され、後方向加重値は、下記数式２により決定される。

ここで、前記

は、以前フレームのピクセルのうち、ｉ番目の前方向参照点のピクセル値に乗算される前方向加重値を意味し、前記

は、以後フレームのうち、ｉ番目の後方向参照点のピクセル値に乗算される後方向加重値を意味する。前記

は、ｉ番目の前方向参照点の動きベクトルの大きさ、前記

は、ｋ番目の前方向参照点の動きベクトルの大きさ、前記Ｎは、前方向参照点の数、そして、前記Ｍは後方向参照点の数を意味する。前記数式から分かるように、同じ形態の２式で加重値は

に反比例することが分かる。なぜなら、数式１の右辺にある

は加重値の総和を１にするための一種の係数であって、加重値をいずれも合わせれば１になる。

数式２についても同じ説明が適用されるので、数式２についての説明を省略する。前記式から分かるように、前方向加重値でも後方向加重値でもいずれも動きベクトルの大きさに反比例する。

そして、前記方向別加重値は下記数式３により決定されうる。

ここで、前記

は、前方向に対する方向別加重値、前記

は、後方向に対する方向別加重値、前記

は、前記以前フレームのイントラマクロブロックの数、前記

は、前記以後フレームのイントラマクロブロックの数を意味する。前記数式３は、損失フレームと以前フレーム、損失フレームと以後フレームとの連関性を用いた数式であって、特に両方向参照の場合に直接適用される。前方向に対して方向別加重値

は以前フレームより以後フレームに存在するイントラマクロブロックの数

が多いほど以後フレームを参照する可能性が少なくなり、前方向の以前フレームを参照する可能性はそれほど高まるために前方向に対して方向別加重値が大きくなる。イントラマクロブロックは他のフレームを参照しないマクロブロックであって、イントラマクロブロックを多く有しているフレームに対しては参照する可能性が低くなるからである。後方向に対して方向別加重値

についても同じ原理であるためにその詳細な説明は省略する。

前記のような数式により加重値を計算した後、前記損失フレームを構成するピクセルに対する隠匿ピクセル値は下記数式４により決定される。

ここで、前記

は、前記損失フレーム内のピクセル（ｘ、ｙ）に対する隠匿ピクセル値、前記

は、前方向に対する方向別加重値、前記

は、後方向に対する方向別加重値、前記

は、ｋ番目の前方向参照点のピクセル値に前方向加重値を乗算した値、前記

は、ｋ番目の後方向参照点のピクセル値に後方向加重値を乗算した値を意味する。前記数式４は、特に両方向参照である場合に有用であるが、前方向や後方向のうち、１つの方向だけ参照する場合には、該当方向の方向別加重値はだけ１に与え、残りの参照していない方向の加重値は０に与えれば良いので、前方向や後方向のうち１つの方向だけ参照する場合にも適用しうる。

フレーム復元部２４０は、前記の数式により求めた隠匿ピクセル値を用いて隠匿を行うことによって、損失フレームを復元する機能を行う。フレーム復元部２４０により復元されたフレームは再びバッファ１１０に送って一定量を保存するか、保存部１６０に出力して保存する。

これから本発明の実施形態によるエラー隠匿装置を用いてエラー隠匿を行う方法を図４を参照して説明する。図４は、本発明の実施形態によるエラー隠匿方法を示すフローチャートである。

まず、本発明の実施形態による動画像デコーダでビットストリームが受信されれば（Ｓ４０２）、このようなビットストリームがいろいろな過程を経て正常な映像フレームを受信したか否かを判断せねばならない（Ｓ４０４）。エラーの発生なしに正常な映像フレームを受信した場合は、直ちに映像出力を行い（Ｓ４０６）、引続きビットストリームを受信する。しかし、受信された映像フレームにエラーが発生した場合には、本発明の実施形態によるエラー隠匿装置２００によりエラー隠匿を行う。

まず、損失フレームを基準にフレーム間場面転換如何を判断することによって、前記損失フレームの参照方向を決定する（Ｓ４０８）。場面転換如何の判断は、前記損失フレームより時間的に先行する以前フレームと時間的に後行する以後フレームのイメージデータを分析することによって判断する。この際、前記場面転換が発生したと判断される場合は、前記損失フレームが前記以前フレームと同じ場面である場合は、前記参照方向を前方向に決定して前記損失フレームが前記以後フレームと同じ場面である場合は、前記参照方向を後方向に決定し、前記場面転換が発生していないと判断される場合には、前記参照方向を両方向に決定する。

一方、前記決定された参照方向によって前記損失フレームを除いた１つ以上のフレームを用いて前記損失フレームを構成するピクセルについての隠匿参照点を抽出するステップを経る。

すなわち、前記参照方向が前方向である場合は、前記複数の以前フレームを用いて隠匿参照点を抽出し（Ｓ４１０）、前記参照方向が後方向である場合は、前記１つ以上の以後フレームを用いて隠匿参照点を抽出し（Ｓ４１４）、前記参照方向が両方向である場合は、前記複数の以前フレームと前記１つ以上の以後フレームとを用いて隠匿参照点を抽出する（Ｓ４１２）。

そして、前記抽出された隠匿参照点に対して加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求めるステップを行う。

具体的に説明すれば、前記参照方向が前方向である場合は、前方向加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求め（Ｓ４１１）、参照方向が後方向である場合は、後方向加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求め（Ｓ４１５）、参照方向が両方向である場合は、前記前方加重値と前記後方加重値とを与えた後、方向による方向別加重値をさらに与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求める（Ｓ４１３）。ここで、前記前方向加重値または前記後方向加重値は、前述したように動きベクトルの絶対値が少ないほど高く与えられ、前記動きベクトルの絶対値が大きいほど低く与えられ、該当する数式については既に説明したので省略する。

最後に、前記隠匿ピクセル値を用いて隠匿を行うことによって、前記フレームを復元し（Ｓ４１６）、映像を出力する（Ｓ４１８）。

一方、本発明の権利範囲は、本発明の実施形態で行われる方法をコンピュータで実行するためのプログラムを記録したコンピュータで読取り可能な記録媒体にも及ぶ。

以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。

本発明は、エラー隠匿方法及び装置関連の技術分野に好適に適用されうる。

従来の技術による動画像デコーダの構成を示すブロック図である。従来の技術によるフレーム単位の損失発生時にエラーの伝播を示す図である。従来の技術によるフレーム単位エラー隠匿方法のうち、以前フレームのマクロブロックを参照する概念を示す図である。従来の技術によるフレーム単位エラー隠匿方法のうち、両方向外挿を通じて損失されたフレームのピクセルを予測する方法を示す図である。本発明の実施形態によるエラー隠匿装置の構成を含む動画像デコーダの構成を示す図である。本発明の実施形態によるエラー隠匿方法を示すフローチャートである。本発明の実施形態によるエラー隠匿方法のステップのうち、損失フレームの参照方向を決定するステップを説明する図である。本発明の実施形態によるエラー隠匿方法のステップのうち、損失フレームを構成するピクセルについての隠匿参照点を抽出するステップを説明する図である。

符号の説明

１１０バッファ
１２０可変長復号部
１３０逆量子化部
１４０ＩＤＣＴ部
１５０加算部
１６０保存部
１７０動き補償部
２００エラー隠匿装置
２１０参照方向決定部
２２０隠匿参照点抽出部
２３０加重値計算部
２４０フレーム復元部

Claims

損失フレームを基準にフレーム間の場面転換如何を判断して前記損失フレームの参照方向を決定する第１ステップと、
前記決定された参照方向によって前記損失フレームを除いた少なくとも１つ以上のフレームを用いて前記損失フレームを構成するピクセルに対する隠匿参照点を抽出する第２ステップと、
前記抽出された隠匿参照点に加重値を与えて前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３ステップと、
前記隠匿ピクセル値を用いて前記ピクセルに対する隠匿を行って前記損失フレームを復元する第４ステップと、を含むエラー隠匿方法であって、
前記第１ステップは、
前記損失フレームより時間的に先行する以前フレームと時間的に後行する以後フレームのイメージデータを分析することによって、前記損失フレームを基準にフレーム間の場面転換の発生有無を判断する第１−１ステップと、
前記場面転換が発生したと判断される場合、前記損失フレームが前記以前フレームと同じ場面である場合は、前記参照方向を前方向と決定し、前記損失フレームが前記以後フレームと同じ場面である場合は、前記参照方向を後方向と決定し、前記場面転換が発生していないと判断される場合には、前記参照方向を両方向と決定する第１−２ステップと、を含み、
前記第２ステップは、前記参照方向が前方向である場合は、前記複数の以前フレームを用いて隠匿参照点を抽出する第２−１ステップ、前記参照方向が後方向である場合は、前記１つ以上の以後フレームを用いて隠匿参照点を抽出する第２−２ステップ、または前記参照方向が両方向である場合は、前記複数の以前フレームと前記１つ以上の以後フレームを用いて隠匿参照点を抽出する第２−３ステップのうち、いずれか１ステップを含み、
前記第３ステップは、前記参照方向が前方向である場合は、前方向加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３−１ステップ、前記参照方向が後方向である場合は、後方向加重値を与えることによって前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３−２ステップ、または前記参照方向が両方向である場合は、前記前方加重値と前記後方加重値とを与えた後、方向による方向別加重値をさらに与えることによって前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３−３ステップのうち、いずれか１ステップを含み、
前記前方向加重値または前記後方向加重値は、動きベクトルの絶対値が少ないほど高く与え、前記動きベクトルの絶対値が大きいほど低く与え、
前記前方向加重値は、下記数式１により決定されるエラー隠匿方法：

ここで、前記

は、ｉ番目の前方向参照点のピクセル値に乗算される前方向加重値、前記

は、ｉ番目の前方向参照点の動きベクトルの大きさ、前記

は、ｋ番目の前方向参照点の動きベクトルの大きさ、前記Ｎは、前方向参照点の数を意味する。
損失フレームを基準にフレーム間の場面転換如何を判断して前記損失フレームの参照方向を決定する第１ステップと、
前記決定された参照方向によって前記損失フレームを除いた少なくとも１つ以上のフレームを用いて前記損失フレームを構成するピクセルに対する隠匿参照点を抽出する第２ステップと、
前記抽出された隠匿参照点に加重値を与えて前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３ステップと、
前記隠匿ピクセル値を用いて前記ピクセルに対する隠匿を行って前記損失フレームを復元する第４ステップと、を含むエラー隠匿方法であって、
前記第１ステップは、
前記損失フレームより時間的に先行する以前フレームと時間的に後行する以後フレームのイメージデータを分析することによって、前記損失フレームを基準にフレーム間の場面転換の発生有無を判断する第１−１ステップと、
前記場面転換が発生したと判断される場合、前記損失フレームが前記以前フレームと同じ場面である場合は、前記参照方向を前方向と決定し、前記損失フレームが前記以後フレームと同じ場面である場合は、前記参照方向を後方向と決定し、前記場面転換が発生していないと判断される場合には、前記参照方向を両方向と決定する第１−２ステップと、を含み、
前記第２ステップは、前記参照方向が前方向である場合は、前記複数の以前フレームを用いて隠匿参照点を抽出する第２−１ステップ、前記参照方向が後方向である場合は、前記１つ以上の以後フレームを用いて隠匿参照点を抽出する第２−２ステップ、または前記参照方向が両方向である場合は、前記複数の以前フレームと前記１つ以上の以後フレームを用いて隠匿参照点を抽出する第２−３ステップのうち、いずれか１ステップを含み、
前記第３ステップは、前記参照方向が前方向である場合は、前方向加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３−１ステップ、前記参照方向が後方向である場合は、後方向加重値を与えることによって前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３−２ステップ、または前記参照方向が両方向である場合は、前記前方加重値と前記後方加重値とを与えた後、方向による方向別加重値をさらに与えることによって前記損失フレームを構成するピクセルの隠匿ピクセル値を求める第３−３ステップのうち、いずれか１ステップを含み、
前記前方向加重値または前記後方向加重値は、動きベクトルの絶対値が少ないほど高く与え、前記動きベクトルの絶対値が大きいほど低く与え、
前記後方向加重値は、下記数式２により決定されるエラー隠匿方法：

ここで、前記

は、ｉ番目の後方向参照点のピクセル値に乗算される後方向加重値、前記

は、ｉ番目の後方向参照点の動きベクトルの大きさ、前記

は、ｋ番目の後方向参照点の動きベクトルの大きさ、前記Ｍは、後方向参照点の数を意味する。
損失フレームを基準にフレーム間場面転換如何を判断して前記損失フレームの参照方向を決定する参照方向決定部と、
前記参照方向によって前記損失フレームを除いた少なくとも１つ以上のフレームを用いて前記損失フレームを構成するピクセルに対する隠匿参照点を抽出する隠匿参照点抽出部と、
前記抽出された隠匿参照点に加重値を与えて前記損失フレームを構成するピクセルの隠匿ピクセル値を求める加重値計算部と、
前記隠匿ピクセル値を用いて前記ピクセルに対する隠匿を行って前記損失フレームを復元するフレーム復元部と、を備えるエラー隠匿装置であって、
前記参照方向決定部は、前記損失フレームより時間的に先行する以前フレームと時間的に後行する以後フレームのイメージデータを分析することによって、前記損失フレームを基準にフレーム間場面転換の発生有無を判断する場面転換判断部を備え、
前記加重値計算部は、前記場面転換判断部により前記参照方向が前方向と判断された場合は、前方向加重値を与えることによって前記損失フレームを構成するピクセルの隠匿ピクセル値を求め、前記参照方向が後方向と判断された場合は、後方向加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求め、前記参照方向が両方向と判断された場合は、前記前方加重値と前記後方加重値とを与えた後、方向による方向別加重値をさらに与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求め、
前記前方向加重値または前記後方向加重値は、動きベクトルの絶対値が少ないほど高く与え、前記動きベクトルの絶対値が大きいほど低く与え、
前記前方向加重値は、下記数式１により決定されるエラー隠匿装置：

ここで、前記

は、ｉ番目の前方向参照点のピクセル値に乗算される前方向加重値、前記

は、ｉ番目の前方向参照点の動きベクトルの大きさ、前記

は、ｋ番目の前方向参照点の動きベクトルの大きさ、前記Ｎは、前方向参照点の数を意味する。
損失フレームを基準にフレーム間場面転換如何を判断して前記損失フレームの参照方向を決定する参照方向決定部と、
前記参照方向によって前記損失フレームを除いた少なくとも１つ以上のフレームを用いて前記損失フレームを構成するピクセルに対する隠匿参照点を抽出する隠匿参照点抽出部と、
前記抽出された隠匿参照点に加重値を与えて前記損失フレームを構成するピクセルの隠匿ピクセル値を求める加重値計算部と、
前記隠匿ピクセル値を用いて前記ピクセルに対する隠匿を行って前記損失フレームを復元するフレーム復元部と、を備えるエラー隠匿装置であって、
前記参照方向決定部は、前記損失フレームより時間的に先行する以前フレームと時間的に後行する以後フレームのイメージデータを分析することによって、前記損失フレームを基準にフレーム間場面転換の発生有無を判断する場面転換判断部を備え、
前記加重値計算部は、前記場面転換判断部により前記参照方向が前方向と判断された場合は、前方向加重値を与えることによって前記損失フレームを構成するピクセルの隠匿ピクセル値を求め、前記参照方向が後方向と判断された場合は、後方向加重値を与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求め、前記参照方向が両方向と判断された場合は、前記前方加重値と前記後方加重値とを与えた後、方向による方向別加重値をさらに与えることによって、前記損失フレームを構成するピクセルの隠匿ピクセル値を求め、
前記前方向加重値または前記後方向加重値は、動きベクトルの絶対値が少ないほど高く与え、前記動きベクトルの絶対値が大きいほど低く与え、
前記後方向加重値は、下記数式２により決定されるエラー隠匿装置：

ここで、前記

は、ｉ番目の後方向参照点のピクセル値に乗算される後方向加重値、前記

は、ｉ番目の後方向参照点の動きベクトルの大きさ、前記

は、ｋ番目の後方向参照点の動きベクトルの大きさ、前記Ｍは、後方向参照点の数を意味する。