JP4177743B2 - アイコンを用いたｊｐｅｇ及びｊｐｅｇ２０００圧縮画像用エラー隠蔽 - Google Patents

Description

本発明は、画像処理の分野に関し、より詳細には、圧縮画像のアイコンを用いて、復号された画像の誤り（エラー）を無くすことに関する。

画像圧縮は、デジタルカメラ及び画像通信を一般的に実行可能とする。画像圧縮は、また、誤りの影響をより大きくする。１ビットの誤りが画像の１つのピクセルのみしか変化させないが、圧縮ファイル内の１ビットの誤りは、同期のロスを引き起こしうり、これにより、誤りの位置の後の全てのデータの有用性が損なわれる。

圧縮アルゴリズムは、しばしば、誤りを対処するための特別な設計対応を有する。Ｇ３ファックス標準は、数行毎に“リスタート”し、誤りが多くとも数行にしか影響しないようにし得る。ＪＰＥＧは、ビットストリームが再同期化されることを可能とする“リスタートマーカー”を有する。ＪＰＥＧ２０００は、誤りを検出する能力を増強するための種々のオプションを有し、これにより、伝播作用を制限する。

誤りに対処する圧縮標準の特別な特徴は、しばしば使用されない。誤り検出や補正を可能とする追加の冗長性の使用は、ビットレートを増加し、多くの人が望ましくないとわかる。更に、大部分の伝送プロトコルは、誤りを検出し再送信を要求することによって誤りの無いチャンネルを効率的に提供している。従って、誤り保護は無駄である。

残念ながら、誤りは依然として生ずる。大きな誤りを有するＪＰＥＧ画像は、典型的には、図２に概略的に表わされる図１に示すような外観を有する。コードストリーム内に生じた誤りの前の第１領域は、正確に現れる。その後、ソリッドなカラーバンド若しくは可視ノイズを多く含む領域でありうる“誤り領域”が始まる。最終的に、良好なデコーダは、コードストリームと再同期し、領域２のような認識可能な画像を生成する。残念ながら、デコーダは、コードストリームのブロックの開始を同期化するが、復号画像内の位置が間違いである。これは、第２領域が第１領域から移行（シフト）する場所で大きな水平ラインをもたらす。また、ピクチャの右エッジがある場所で鉛直ラインアーチファクトをもたらす。領域２がシフトされているので、正しい画像の左右エッジは、画像の可視部に互いに隣り合って表示される。画像のシフトにより生ずるアーチファクトに加えて、画像の色が典型的には領域２で悪い。それは、領域１内の同等の色よりも明るいか暗く、また、いつも色の変化がある。１以上の大きな誤りがある画像は、更なる誤り領域を有し、更なる可視水平ライン及び鉛直ライン及び強度シフトを有する。これは、図３に示される。この場合、第２の誤り領域は、表示画像のエッジまわりを折り返す。

今日、たいていの“ＪＰＥＧ”画像は、ＪＰＥＧコードストリームよりも大きい情報を含む。当初のＪＰＥＧ委員会は、完全な“ファイルフォーマット”を定義していなく、従って、2，３の変形型が開発されている。“ＪＦＩＦ”及び“Ｅｘｉｆ”は、ＪＰＥＧファイルの2つの最も一般的な種類である。双方とも、カラー空間の定義、メタデータの記憶、アイコンの記憶を可能とする。

カメラファイルシステム用デザインルール（ＤＣＦ（Ｄｅｓｉｇｎ Ｒｕｌｅ Ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ Ｓｙｓｔｅｍ））は、更にＪＰＥＧファイルがＥｘｉｆフォーマットであるように要求し、１２０アイコン単位で１６０を要求する標準である。ｈｔｔｐ：／／ｗｗｗ．ｐｒｉｍａ．ｎｅｔ／ｓｔａｎｄａｒｄｓ／ｉｔ１０／ＰＩＭＡ１５７４０／ｄｃｆ.ｈｔｍｌ（英語版）で入手可能な、１９９８年１１月に採用された、日本電子工業振興協会（ＪＥＩＤＡ）によるＤｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ（ＤＣＦ）を参照方。また、ｈｔｔｐ：／／ｗｗｗ．ｐｒｉｍａ．ｎｅｔ／ｓｔａｎｄａｒｄｓ／ｉｔ１０／ＰＩＭＡ１５７４０／ｅｘｉｆ.ｈｔｍｌ（英語版）で入手可能な、１９９８年６月１２日、バージョン２．１、日本電子工業振興協会（ＪＥＩＤＡ）によるＤｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ Ｓｔａｎｄａｒｄ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ ｆｏｒ Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ：Ｅｘｉｆ）を参照方。

多くの研究がＪＰＥＧ及びＭＰＥＧでの誤り検出、訂正、及び／又は削除についてなされている。ＪＰＥＧ画像での研究の幾つかは、誤りを検出するため、ライン間の（８×８のブロック境界に沿った）差の使用を含む。先行技術のＪＰＥＧ方法は、正しいＤＣ値を決定するため、ブロックの行間の差の使用を言及するが、ＭＰＥＧシーケンスの研究は、前のフレームを用いて誤りのある領域を埋めることを含む。また、ＭＰＥＧ及びＪＰＥＧは、８×８ブロックのＤＣＴｓ及びハフマン符号化の使用を共有する。ＭＰＥＧ方法の概要は、非特許文献１に開示される。

ＪＰＥＧ２０００での全ての研究は、標準に盛り込まれた誤り回復ツールを用いることを伴っている。ＪＰＥＧ２０００標準に盛り込まれた誤り回復ツールを用いる研究もある。
Ｙａｏ Ｗａｎｇ及びＱｉｎ−Ｆａｎ Ｚｈｕによる、"Ｅｒｒｏｒ Ｃｏｎｔｒｏｌ ａｎｄ Ｃｏｎｃｅａｌｍｅｎｔ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ：Ａ Ｒｅｖｉｅｗ，"ＩＥＥＥ会報、１９９８年５月、ｖｏｌ．８６，Ｎｏ．５、９７４−９９７頁

本発明は、圧縮画像に対して低解像度画像を用いて誤りを無くする方法及び装置の提供を目的とする。

一実施例では、本方法は、画像のコードストリームデータを受信し、アイコンを用いて係数内の誤り領域の位置を決定することを含む。

本発明は、以下の詳細な説明から及び本発明の種々の実施例についての添付図面からより完全に理解されるだろうが、これらは、本発明を特定の実施例に制限するために考慮されるべきでなく、理解及び例示のために示されているに過ぎない。

圧縮ファイル内の短い誤り（１ビットでさえも）も、全体ファイルのロスを引き起こし得る。ここでは、圧縮画像内の有用データを回復し、正確なデータが回復できない場所の画像の部分を隠すための技術が開示される。これらの技術は、誤り検出及び隠蔽処理を容易化するため、アイコン若しくは他の低分解能画像を用いてよい。一実施例では、これらの技術は、画像の、破損の無い低分解能バーション（例えば、アイコン）が利用可能であることを前提とする。これらの画像（例えば、アイコン）は、典型的には、Ｅｘｉｆ若しくはＪＦＩＦフォーマットＪＰＥＧファイルで存在する。画像（例えば、アイコン）は、他の源（例えば、画像データベースは、破損前の通覧（ブラウジング）のためにアイコンを生成しうる）から入手可能であってもよい。

次の説明では、膨大な詳細が、本発明のより多くの全体説明を提供するために提供される。しかし、当業者であればこれらの特別な詳細無しに本発明を実行しうることは明らかであろう。他の例では、広く知られた構造及び装置は、本発明の不明瞭化を防止するために、概略的にブロック図形式で示される。

次の詳細な説明のある部分は、コンピューターメモリ内のデータビット上での動作の記号的表現及びアルゴリズムの観点から表現される。これらのアルゴリズム的な説明及び表現は、他の当業者に研究の実体を最も効果的に伝えるためにデータ処理分野の当業者によって使用される手段である。アルゴリズムとは、一般的に、所望の結果を導く自己一貫性のあるステップのシーケンスであると認められる。ステップは、物理量の物理的な操作を必要とするものである。通常、必ずしも必要でないが、これらの量は、記憶、伝送、結合、比較及び操作されることができる電気的若しくは磁気的信号の形態を取ってよい。しばしば、これらの信号を、原理上一般的な用途の理由で、ビット、値、要素、記号、文字、用語、数等と称することが便利であることがわかっている。

しかし、これらの及び類似の用語のすべては、適切な物理量と関連付けられ、これらの量に付される都合上のラベルであるにすぎないことは、心に留めておくべきである。特に言及しない限り、以下の議論から明らかないように、説明全体を通して、“処理”、“計算”、“算出”、“決定”、“表示”等のような用語を利用した議論は、コンピューターシステム若しくは類似の電子計算機の動作及び処理を称し、コンピューターシステムのレジスタ及びメモリ内の物理（電子）量として表現されたデータを、コンピューターシステムメモリ、レジスタ、若しくは、他のかかる情報記憶、送信若しくは表示装置内の物理量として同様に表わされる他のデータに操作及び変換するものである。

本発明は、また、ここでの動作を実行する装置に関する。この装置は、要求される目的にために特別に構成されてよく、若しくは、コンピューターに記憶されるコンピュータープログラムによって選択的に動作若しくは再構成される汎用性コンピューターを含んでよい。かかるコンピュータープログラムは、フロッピー（登録商標）ディスク（Ｒ）、光ディスク、ＣＤ−ＲＯＭｓ、磁気光ディスク、リードオンリーメモリ（ＲＯＭｓ）、ランダムアクセスメモリ（ＲＡＭｓ）、ＥＰＲＯＭｓ、ＥＥＰＲＯＭｓ、磁気若しくは光カード、電気的指令を記憶するのに適した如何なる種のメディアのような、コンピューター読取り可能な記憶媒体に記憶されてよく、それぞれはコンピューターシステムバスで結合される。

ここで示されるアルゴリズム及びディスプレイは、如何なる特定のコンピューターや他の装置に固有に関連するものでない。種々の汎用システムが、ここでの教示に従ったプログラムにより使用されてよく、若しくは、要求される方法ステップを実行するためのより特化した装置を構築することが便利である場合もありうる。これらの種々のシステムに対する必要構成は、以下の説明から表れるだろう。更に、本発明は、特定のプログラム言語を参照して説明されない。種々のプログラム言語が、ここで説明される本発明の教示を実行するために使用されてよい。

機械読取り可能な媒体は、機械（例えば、コンピューター）によって読取り可能な形態で情報を記録若しくは送信する如何なる機構を含んでよい。例えば、機械読取り可能な媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶メディア、光記憶メディア、フラッシュメモリ装置、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号等）等を含む。

［ＪＰＥＧ画像用のアイコンを用いた誤り隠蔽］
次の技術は、復号されたＪＰＥＧ画像内の誤りを隠すために使用されてよい。一実施例では、この技術は、ヘッダー情報（例えば、量子化テーブル、ハフマンテーブル）が誤り無しで受信されること、及び、誤りのある復号画像に対する低解像度画像（例えば、アイコン）のような小さい画像が利用可能であることを前提とする。ヘッダー情報は、画像のサイズを決定する際に使用される画像サイズ情報を含んでよい。量子化テーブルは、ＤＣＴ係数に対する再構成乗算器を含む。或いは、量子化テーブル内のどの値が、同一システムで符号化された類似ファイルからのものであるべきかを決定しうる。尚、ハフマンテーブルは、デフォルトのハフマンテーブルが使用されない場合にだけ必要となりうる。一実施例では、より低い分解能の画像（例えば、アイコン）が、Ｅｘｉｆ若しくはＪＦＩＦヘッダー又は他の源から来ることができる。従って、ここで言及される技術は、復号処理のパラメータへのアクセスを必要とする。

重要なことであるが、ここで開示される技術は、リスタートマーカーが圧縮ファイルで使用されているか否かに関係なく動作する。

一実施例では、ここで言及される技術は、誤りが１ビット若しくは数千バイト長でありうるコードストリーム内の一の誤りを直す。数個の誤りのイベントでは、画像は、第１の誤りを直す技術の僅かな修正、次いで、技術を反復して反復工程で第２及び続く誤りを訂正することによって訂正されることができる。

説明の残りに対しては、用語“低解像度画像”及び“アイコン”が交換可能に使用されるだろう。

図４は、ＪＰＥＧ誤り隠蔽処理の図である。本プロセスは、ハードウェア（例えば、回路、専用論理回路等）、ソフトウェア（汎用コンピューターや専用コンピューターで走るような）、若しくは、その双方の組み合わせを含んでよい論理を処理することによって実行される。

図４を参照するに、表示されるべきＪＰＥＧ画像のコードストリーム内の一以上の誤りを隠すための処理は、ヘッダー情報及びアイコン画像をコードストリームから取得する処理論理で開始される（ステップ２０１）。ヘッダー情報及びアイコン画像が取得されると、処理論理は、復号されたＪＰＥＧ画像内の誤り領域の位置を、アイコンを用いて、若しくは、符号化データ内のパターンを検出することによって（例えば、“ゼロ”の走行、若しくは、どこまで復号が生じているかを見ることによって）、検出し（ステップ２０２）、誤り領域の位置に基づいて符号化データを再編する（ステップ２０３）。次いで、処理論理は、アイコンを用いて誤りにより定義される誤り領域内の係数に対してＤＣ値を設定し（ステップ２０４）、アイコンを用いて誤り領域内のデータを代替データで置換する（ステップ２０５）。

［誤り検出及び位置決定］
例えば、低バッテリＵＳＢファイル伝送のようなファイル伝送に起因した誤りの場合、誤り画像のそれぞれは、符号化データに代わってゼロのバイトの長いストリングを有しうる。かかる場合、誤り位置を検出することは、ゼロの２若しくはそれ以上のバイトが略明らかに誤りであるので、問題にならない。類似の誤りがロストパケットにより生じたとき、位置は、少なくとも伝送層で知られる。例えば、ＵＤＰでは、各パケットは、シーケンス番号を有してよいので、一連の特定シーケンス番号内のパケットが、受信されなかった場合、伝送層は、一のパケットがないことを知る。

一実施例では、ＪＰＥＧ内の誤り領域及びアライメント（配列）を決定することは、次の説明に従った処理論理によって実行されてよい。尚、処理論理は、ハードウェア（例えば、回路、専用論理回路等）、ソフトウェア（汎用コンピューターや専用コンピューターで走るような）、若しくは、その双方の組み合わせを含んでよい。

先ず、処理論理は、差分ＤＣ（ＤＤＣ）値を完全な画像（フル画像）から得る。誤りコードストリーム内の各８×８ブロックは、前のブロックのＤＣ値が引かれ、次いで差をハフマン符号化することによって符号化されたＤＣ値で始まる。通常のＪＰＥＧ復号処理を誤りコードストリームで実行することは、コーダーの幾つかの内部段階で、これらの差分ＤＣ値を生む。これらは、リストに保存されるべきである。このリストは、画像内の８×８ブロックの数よりも実質的に多いか実質的に少ないＤＣ値を有する、というのは、誤りが、コードブロックの挿入若しくは消去をもたらしているからである。

第２に、処理論理は、アイコン画像に対して同等のＤＤＣ値を決定する。復号されたアイコン画像は、標準的な内挿法（例えば、ピクセル複写、若しくは、双線形内挿）によってフル画像のサイズまでスケール化されうる。スケール化されたアイコンは、誤りコードストリームを圧縮するために使用されたのと同一の量子化テーブルを用いて圧縮されるべきである。圧縮されたスケール化されたアイコンは、第１ステップと同一の態様で復号されてよく、当該アイコンに対するＤＤＣ値のリストを生む。上述の説明は、スケール化されたアイコンを使用しているが、スケール化されたアイコン画像を実際に生成することなく全ての動作を行うことは可能である。そのためには、フルサイズ化された画像内の各８×８ブロックに対するＤＣ値が、アイコンから単純な内挿によって８×８ブロック内のサンプルの残りを計算することなく決定される。これは、メモリ、及び、誤り隠蔽技術の計算負荷を減らすことができる。

第３に、処理論理は、ＤＤＣ値を比較することによって誤り領域の空間的シフトを決定する。ＤＤＣ値を比較することによって誤り領域の空間的シフトを決定するため、Ｉ（ｂ）を、スケール化されたアイコン画像のｂ番目のブロックの差分ＤＣ値とし、Ｅ（ｂ）を誤り画像の差分ＤＣ値とし、Ｍ（ｓ）を、誤り信号がｓだけシフトされたときの信号間の平均絶対誤りとする。つまり、
Ｍ（ｓ）＝１／Ｎ ＳＵＭ（ａｂｓ（Ｉ（ｂ）−Ｅ（ｂ−ｓ）））
ここで、合算は、シフト後に重なる全てのサンプルに亘り、Ｎは、重なるサンプルの数である。

Ｍ（ｓ）の典型的なグラフが図５に示される。Ｍ（ｓ）における極小値は、圧縮データ内の誤りによって引き起こされるシフトの量を示す。典型的には、ｓ＝０で最小値がある、というのは、誤りは、通常、コードストリームの最初には無く、従って、コードストリームの幾らかは正確に整列する。典型的には、画像の幅における８×８ブロックの数に対応して繰り返しの最小値がある。これは、ＤＣ値が典型的には上下で類似するからである。たった一つの誤りがある場合、たった２つの主要な極小値、１つはｓ＝０で、もう１つは、画像の残りを編成するシフトで存在する。更なる各誤りは、新たな極小値をもたらすだろう。

図５では、−４４，０及び１５６のシフトで極小値が有り、−２００及び＋２００でより可視性の劣る最小値がある。使用される画像は、２００個の８×８ブロックに対応して、１６００ピクセル幅であるので、２００だけ異なるシフトは、同一の水平位置を生み、鉛直位置のみが異なる。−２００及び、０、＋２００での最小値のうち、０での最小値が、最も小さく、従って、一の領域に対する正しいシフトである。４４及び１５６のシフトでは、４４での最小値がより小さく、第２の領域に対する正しいシフトである。

一実施例では、シフトを決定するためにフル画像のＤＣ値をアイコンのＤＣ値と比較するのに代わって、フル画像が、種々のシフトで自身と比較される。この比較は、８×８ブロック境界の両端間のピクセル領域内の誤りを計算する。上述の方法よりも計算負荷が大きくなりうるが、アイコンには依存しない。

第４に、処理論理は、フルサイズ画像の各８×８ブロックについて、誤り画像の編成された部分をマッチングするか、若しくは、誤りであるとの、宣言する。スケール化されたアイコンＤＤＣ値と、編成された誤り画像ＤＤＣ値とを比較するため、処理論理は、次の式を用いて、アイコン画像の各位置でフル画像の異なるシフトがどのくらい良好にマッチ（整合）するかを計算する。
Ｍ１（ｂ）＝（Ｉ（ｂ）−Ｅ（ｂ−ｓ１））^２
Ｍ２（ｂ）＝（Ｉ（ｂ）−Ｅ（ｂ−ｓ２））^２
Ｍ１及びＭ２は、異なるシフトの画像が、スケール化されたアイコンにどのくらい良好にマッチするかを示す。ｓ１は、画像の第１の部分に対するシフトであり、ｓ２は第２の部分に対するシフトであると想定されるので、処理論理は、位置ｔまでシフトｓ１を備えた誤り画像を用い、次いで、位置ｔを越えてからシフトｓ２を備えた誤り画像を用いることによって生じた累積的な誤りを決定する。これは、次のように、シフトｓ１に対して前方向、シフトｓ２に対して後方向に進む累積誤りを定義する。

合計Ｃ１（ｔ）＋Ｃ２（ｔ）を最小化するｔの値が、誤り領域の位置の推定として採用され、一のシフトから他のシフトを使用することに変化させるための８×８ブロックとして採用される。この推定は、誤りの後に使用する正しいＤＣオフセットを計算するのに十分である。アイコンが大きい場合（例えば、フル画像の１／８×１／８若しくはそれ以上）、それは、画像内の誤りを正確に位置決定しうる。アイコンが小さい場合（例えば、フル画像の１／１０×１／１０）、この方法は、しばしば、一の８×８ブロックだけ鉛直に離れ、従って、画像のどの部分を埋めるかを決定するには十分に正確ではない。この場合、高分解能画像を用いた誤り検出方法が使用される。

同期化記号を付加することによる誤り検出若しくは順方向誤り訂正に関する先行技術は膨大にある。これらの方法は、エンコーダが制御できるときのみ正常に作動する。Ｍｉｔｃｈｅｌｌ及びＴａｂａｔａｂａｉは、８×８ブロックのエッジを、隣接ブロックと比較し、ブロック間の遷移が円滑であることを想定することによって、単一の係数で誤りを検出する。（Ｏ．Ｒ．Ｍｉｔｃｈｅｌｌ及びＡ．Ｊ．Ｔａｂａｔａｂａｉによる、１９８１年１１月、“Ｃｈａｎｎｅｌ ｅｒｒｏｒ ｒｅｃｏｖｅｒｙ ｆｏｒ ｔｒａｎｓｆｏｒｍ ｉｍａｇｅ ｃｏｄｉｎｇ”、ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏｌ．ＣＯＭ−２９、１７５４，１７６２頁参照、参照によりこの開示に含められる）。この方法は、検出し、次いで、非常に小さい誤りを訂正するのには良好であるが、効率的に劣る（非常に大きな誤りが生じたとき非常に複雑となる）。

誤り領域を検出する簡易な方法は、ブロックの一の８×８行の底部のピクセルを、次の行の上部のピクセルと比較することである。ブロックの行間の誤りは、誤りが生ずる行でサンプルの標準偏差よりも非常に大きく突出する。

第５に、処理論理は、フル画像のＤＣ値を調整して、アイコンのＤＣ値に整合させる。フル画像のＤＣ値を調整して、アイコンのＤＣ値に整合させるため、処理論理は、異なる位置からピクセルデータを受信する訂正された画像の各領域を有する。第１の領域は、第１の誤りまで通常的に復号されてよい。誤り領域は、初期的に飛ばされる。誤りの後の領域が埋められるまでこの領域を埋めるのを待つのが有用である。誤りの後の領域は、ブロックを復号し所定量だけ空間的にシフトすることによって埋められる。全ての色要素（典型的には、Ｙ、Ｃｂ及びＣｒ）の全てに対する絶対ＤＣ値が決定される。これは、誤り画像及びＤＣ画像の双方の領域内のブロックに対する全体平均ＤＣ値を求めることによってなされてよい。

前の絶対ＤＣ値がゼロであること想定した誤り画像内の平均輝度ＤＣ値は、次式で与えられる。

同一の式が、これらの差分ＤＣ値を合算することによってＣｂ及びＣｒ要素に適用される。アイコン画像内の平均輝度ＤＣ値は、次式で与えられる。

この値は、差分値でない。従って、正確な画像は、この領域の同一の平均ＤＣ値を得る。このため、訂正された画像は、前のＤＣ値としてＡｙ−Ｏｙを単に使用すべきであり、ＪＰＥＧ復号に対して一般的なような、シフト化されたコードストリームから復号された差分を適用する。

第６に、処理論理は、スケール化されたアイコンから誤りとして宣言されたブロックを埋める。スケール化されたアイコンから誤りとして宣言されたブロックを埋めるため、処理論理は、誤りであると宣言されたブロックを埋める多くの方法を使用してよい。幾つかかが、Ｙａｏ Ｗａｎｇ及びＱｉｎ−Ｆａｎ Ｚｈｕによる調査紙、“Ｅｒｒｏｒ Ｃｏｎｔｒｏｌ ａｎｄ Ｃｏｎｃｅａｌｍｅｎｔ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ：Ａ Ｒｅｖｉｅｗ，”ＩＥＥＥ会報、１９９８年５月、ｖｏｌ．８６，Ｎｏ．５、９７４−９９７頁、において議論されている。アイコンが利用可能な場合、最も簡易な方法は、スケール化されたバージョンのアイコンから誤り領域をコピーすることである。アイコンからのコピーが、ＤＣ値に対する正確な代替を生む一方、埋められた領域は、高い周波数成分を含んでいないだろう。従って、誤り領域を埋める他の技術が、コピーとの組み合わせで使用されてよい。周波数領域を埋めるための値を決定する技術は、８×８ブロックの非ＤＣ値を用いることで容易に組み合わせることができる。

誤り位置が知られていないことがありうる。かかる場合、低解像度アイコンが、高解像度ＪＰＥＧ画像の解像度まで拡大され、比較がなされる。一実施例では、第１の誤りの位置は、８×８ブロックの観点からラスター走査順で画像が観測された時、高い誤り領域の始まりによって決定され、比較が、拡大されたアイコンとＪＰＥＧ画像との間でなされ、いつ低周波数領域の相違が存在するかを特定する。各８×８ブロックに対する誤りが、誤りのない領域で低くなり、その他の場所で非常に高くなるだろう。尚、２つの画像間では高周波の相違が存在するが、これは、誤りを表わさない。従って、誤り位置は、２つの画像の低周波部を観測することによって決定されうる。

代替的に、アイコンを拡大することに代わって、ＪＰＥＧ画像の分解能が低減され、アイコンと比較されてもよい。

図１は、独立ＪＰＥＧグループ（ＩＪＧ）ＪＰＥＧコーデックにより復号されたような画像を示す。問題が起こり始まる場所が可視的に明らかであり、底部で利用可能な更なるデータが存在することが明らかである。

［符号化データの再編成］
誤りの開始位置が知られると、一若しくはそれ以上のバイトが加えられるか若しくは差し引かれてよい。一実施例では、誤りの開始位置が与えられると、‘０’のバイトが、コーデックが、正確な位置で復号し終えるまで（例えば、次のリスタートマーカー）、加えられるか若しくは差し引かれてよい。リスタートマーカーの無い画像に対しては、復号し終えることとは、コードストリームの終了まで復号することを意味する。一実施例では、バイトが加えられるか若しくは差し引かれてよく、また、探索が実行されて、ＩＪＧコーデックが“予期しない画像の終了”若しくは“画像の終了を過ぎるｎｎｎバイト”を報告しないように加えられるバイトの数が見出される。より具体的には、一実施例では、復号の終了にて、デコーダーは、それが多くの余計なバイトを有することを指示してよい。この指示に応答して、同一数のバイトが差し引かれるだろう。その後、デコーダーは、フルサイズ画像を生成することなく、圧縮されたバイトを復号し終えてよい。応答して、差し引かれるバイトの数は、当該コードストリーム内で失われているバイト数に基づいて低減されてよい。デコーダーが余計なバイト若しくは失われたバイトがあることを指示しなくなったとき、付加若しくは差し引かれるバイトの正確な量に達する。

その他の実施例では、コードブロックの数は、誤りがカウントされた後に正確に復号される。この数は、誤り後の第１のブロックのデータを正確に位置特定するために使用されてよい。これは、デコーダーが、画像がどのサイズであるべきかを知っており、当該サイズの画像に必要な以上に多くのコードブロックが復号されたかどうかを知るので、有効に動作する。重要なことには、復号されるデータが格納されている一時バッファーの位置及び変化が、終了までバッファリングポインタを動かすことによって計算される。この場合、符号化されたデータは、一回だけ復号される必要があるだろう。

［ＤＣ値の決定］
画像データが正確に位置付けられた後、ＤＣ値が決定される。各８×８ブロックに対して復号されたＤＣ値は、誤りの後に間違いとなるだろう。この問題は、ＪＰＥＧがコードブロック毎に異なる態様でＤＣ値をコード化するために生ずる。コードストリームの誤りがＤＣ値を変更するとき、終了までの全ての値が間違いであるだろう。

一実施例では、ＩＪＧデコーダーが、特定位置で特定の値にＤＣ値を設定することを可能とするように修正される。デコーダーが走るとき、Ｙ成分の開始のＤＣ値は、誤りの後、復号された画像と拡大されたアイコンとの間のＭＳＥが減少され、Ｙ成分に対して、潜在的に最小化されるまで、調整される。比較が、アイコンと復号された画像の平均グレー値間でなされてよい。次いで、処理は、Ｕ及びＶ成分に対して繰り返される。

或いは、Ｙ、Ｕ及びＶ成分は、独立であるので（ＲＧＢ空間に変換して戻される前）、同時にされてもよい。

その他の実施例では、画像の誤り領域及びアイコン間でのＤＣ値の差が測定される。この領域の始まりでのＤＣ値は、この差を、減少し、潜在的に最小化するために設定される。

［“失われた”部位への穴埋め］
ＤＣ値が調整された後、失われた若しくはゼロに変換されたバイトに対するデータは、埋められなければならない。これは、図１内の画像内の水平縞として現れる。この悪いデータの位置は、誤りが既に位置特定されているので既知である。

近くのピクセル若しくはＤＣＴ係数からの喪失データ推定若しくは“領域成長”に対する幾つかの公知の技術がある。尚、これらの方法が使用されてもよく、若しくは、組み合わせが使用されてもよい（例えば、上述の方法若しくはその他の方法の平均）。

一実施例では、喪失データは、低分解能アイコンからスケール化されたデータで代替される。コピーアンドペースト（貼り付け）は、コピーを開始及び終了する位置が特定されると、手動で若しくは自動的になされてよい。この場合、アイコンはフルサイズまでスケール化され、アイコンからの同一の領域が、画像上にペーストされる。代替されない画像の上部での鉛直ラインのような、この主観的な部分での誤りが生じうる。一実施例では、双方の誤り位置及び復号処理がアラインメントに戻る時間の知識が、コピーがアイコンから実行されるのを可能とする（これらのポイント間で）。

上述の技術が使用される場合、結果として画像は、略検出不能な誤りを有するべきである。フル分解能では、低分解能データが使用された場所に僅かなボケに気が付くことが可能である。これは、公知の技術を使用して、アイコンからの情報を、周辺データから中間周波数の予測の幾つかの方法と組み合わせることによって、改善されてよい。

［ＪＰＥＧ２０００画像に対するアイコンを用いた誤り隠蔽］
ＪＰＥＧ２０００は、ＤＣＴベースの当初のＪＰＥＧとは非常に異なる性質を有する。理論上、アイコンは不要である、というのは、５レベルのウェーブレット変換を備える１６００×１２００画像は、アイコンとして使用されうる５０×３８のローパスサブバンドを有するからである。１若しくは２レベルのウェーブレット変換が、１００×７５若しくは２００×１５０の画像を提供するためになされてよい。しかし、従来のシステムがＪＰＥＧ２０００を使用するために更新されるとき、それらは、依然として、Ｅｘｉｆ及びＤＣＦを用い、従って、別々に符号化されるアイコンを提供しうる。幾つかのシステムは、１００×７５若しくは２００×１５０でなく正確に１６０×１２０であるアイコンに依存しうる。動作システム若しくは画像ブラウジングプログラムが、独自に符号化されたアイコンを生成してもよい。従って、アイコンは破損されていないが破損画像を備える状況は依然として起こり得る。

独立的にコード化されたアイコンを用いることは、ＪＰＥＧ２０００ファイルの誤りを隠す簡易な方法を提供する。

図６は、ＪＰＥＧ２０００誤り隠蔽処理を示す図である。本プロセスは、ハードウェア（例えば、回路、専用論理回路等）、ソフトウェア（汎用コンピューターや専用コンピューターで走るような）、若しくは、その双方の組み合わせを含んでよい論理を処理することによって実行される。

図６を参照するに、表示されるべきＪＰＥＧ２０００画像のコードストリーム内の一以上の誤りを隠すための処理は、復号された画像が生成された基となるコードストリームからのアイコンを用いて、復号された画像内の誤り領域の位置を検出する論理処理によって開始される（ステップ２１０）。次いで、処理論理は、スケール化されたバージョンのアイコンからのウェーブレット係数で、コードストリーム内のウェーブレット係数を代替する（ステップ２１１）。

［誤り位置決定］
所与のシステムに対して（例えば、１６００×１２００画像及び中間高圧縮で１６０×１２０のアイコンを備えるカメラ）は、元の画像からのウェーブレット係数とアイコンからのウェーブレット係数間の典型的な類似性が決定されてよい。アイコンは、復号された画像と同一の分解能まで拡大されてよく、拡大されたアイコンの係数が、破損のある画像の係数と比較される。低周波数サブバンドに対しては、この整合は、非常に近く、高周波数サブバンドに対しては（アイコンがデータを有さない）、整合が全く無いだろう。アイコンよりも２倍大きいサブバンドでの誤りが生じた場合、それは、アイコンを用いて検出可能でないであろう。

スケール化されたアイコンからのウェーブレット係数がコードブロックで大きく異なる場合、当該コードブロックに対して誤りが宣告されてよい。更に、パケットヘッダーで誤りがあり同期化が失われる場合、全サブバンド（若しくは範囲）が、誤りと宣告されてよい。同期の喪失を引き起こすパケットヘッダー内の誤りがある場合、全サブバンドが置換されてよい。ヘッダーに誤りが無いと思われる場合、係数が誤りに対して検査される。

一実施例では、アイコンは、元の画像のフルサイズまで拡大されず圧縮される。より小さい拡大がなされうり、ウェーブレット変換のより低い周波数のみが比較される。これは、消費時間及びメモリを節約するだろう。しかし、画像オフセットで圧縮された画像の場合、拡大されたアイコンの位相が元の圧縮画像と整合するようにウェーブレット変換の位相を調整することが重要である。さもなければ、間違った誤り検出が生ずるだろう。

［符号化されたデータをアイコンからのデータで置換］
誤りが発生した場合、データは、スケール化されたアイコンからのデータによりコードブロック毎で置換されうる。これが圧縮されたコードストリーム上で実行される場合、パケットヘッダーは、再書き込みされる必要があり、簡易な（非誤り修復）ＪＰＥＧ２０００デコーダーに対する正規のＪＰＥＧ２０００コードストリームが生成される。全パケットの喪失の場合、低分解能画像からのパケットが使用されてよい。

この処理は図７に示される。

［一例］
図８の画像は、ＪＰＥＧ２０００の画像を圧縮し、低域通過符号化データの第１のバイトを０×００に変更し、変更されたデータを備えるコードストリームをＪＰＥＧ２０００コーデックにより復号することによって、生成された。この場合、ＬＬサブブロックが単一のコードブロックに適合し、従って、誤りが全体の画像に影響するウェーブレット変換の十分なレベルがあった。より小さいレベルのウェーブレット変換の場合、若しくは、より高いレベルのサブバンドが誤りを含んでいる場合、影響はより局所化されるだろう。

ＪＰＥＧ２０００からの誤り回復技術が圧縮器により使用された場合（例えば、各符合化パス毎での終了）、ＬＬサブバンド内の誤りを検出することは可能でありうり、全ての結果のウェーブレット係数が、最も異論の少ない値、即ち‘０’若しくは他の所定値で置換される。図９にこのような画像を示す。

代わりに、完全なローパスサブバンドは、アイコンをフルサイズにスケール化することによって生成され元の画像が圧縮されたのと同一の方法で圧縮されたローパスサブバンドで置換されてよい。図１０の画像は、かかる画像を示す。この画像は、フルサイズで印刷されているが、各ビットが元の同じくらい良好に見える。（ＭＳＥの観点では、誤りは比較的高いが、これは、ＭＳＥが画像品質に反応する人間の非常に乏しい手段である場合の一例である）。

［模範的なコンピューターシステム］
図１１は、上述の動作の一若しくはそれ以上を実行してよい模範的なコンピューターシステムのブロック図である。図１１を参照するに、コンピューターシステム１１００は、模範的なクライアント１１５０若しくはサーバー１１００コンピューターシステムを含んでよい。コンピューターシステム１１００は、情報通信用の通信機構若しくはバス１１１１、及び、バス１１１１に結合された情報処理用のプロセッサ１１１２を含む。プロセッサ１１１２は、Ｐｅｎｔｉｕｍ（登録商標）やＰｏｗｅｒＰＣ（登録商標）のようなマイクロプロセッサを含んでよい。

システム１１００は、更に、バス１１１１に接続された、プロセッサ１１１２により実行されるべき指令や情報を記憶するためのランダムアクセスメモリ（ＲＡＭ）若しくは他の動的記憶装置１１０４（主メモリと称する）を含む。主メモリ１１０４は、プロセッサ１１１２による指令の実行中の一次的変数若しくは他の中間情報を記憶するために使用されてもよい。

コンピューターシステム１１００は、また、バス１１１１に接続された、プロセッサ１１１２用の静的な情報及び指示を記憶するための読取専用メモリ（ＲＯＭ）、及び／又は、他の静的記憶装置１１０６、及び、磁気ディスク若しくは光ディスク及びその対応するディスクドライブのようなデータ記憶装置１１０７を含む。データ記憶装置１１０７は、情報及び指示を記憶するためバス１１１１に接続される。

コンピューターシステム１１００は、更に、バス１１１１に接続された、ブラウン管（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）のような、コンピューターのユーザに情報を表示するためのディスプレイ装置１１２１に接続されてもよい。英数字入力装置１１２２は、英数字及び他のキーを含み、バス１１１１に接続されてよく、プロセッサ１１１２に情報及びコマンド選択を通信する。追加のユーザ入力装置は、マウス、トラックボール、トラックパッド、電子ペン、若しくはカーソル方向キーのような、カーソルコントローラ１１２３であり、バス１１１１に接続され、方向情報及びコマンド選択をプロセッサ１１１２に送り、また、ディスプレイ１１２１でのカーソルの動きを制御する。

バス１１１１に接続されてよいその他の装置は、ハードコピー装置１１２４であり、指示、データ若しくは他の情報を紙、フィルム若しくは類似のメディアのような媒体上に印字するために使用されてよい。更に、スピーカ及び／又はマイクロフォンのような、音声記録再生装置は、選択的にバス１１１１に接続されてよく、コンピューターシステム１１００とのオーディオインターフェースとなる。バス１１１１に接続されてよいその他の装置は、電話若しくは携帯電話機との有線／無線通信機能１１２５である。

尚、システム１１００の構成要素及び関連装置の何れか若しくは全てが、本発明で使用されてもよい。しかし、明らかなように、他の構成のコンピューターシステムが装置の幾つか若しくは全てを含んでもよい。

本発明の多くの変形若しくは修正が、上述の説明を読んだ当業者に明らかであろうが、上述の特定の実施例は、例示的なものであり制限として解釈されるべきでない。それ故に、種々の実施例の詳細部の参照は、クレームの範囲を制限することを意図するものででなく、それ自体、本発明にとって重要とみなされる特徴を参照するものに過ぎない。

誤りのあるＪＰＥＧ画像を示す図である。 誤りのある画像内の領域を示す図である。 複数の誤りのある画像内の領域を示す図である。 ＪＰＥＧ誤り隠蔽処理の一実施例の流れ図である。 フル画像とアイコンとの間の誤りを種々の位相で示す図である。 ＪＰＥＧ２０００誤り隠蔽処理の一実施例の流れ図である。 スケール化されたバージョンのアイコンからのデータで、復号された画像内のデータを置換する処理を示す図である。 ＪＰＥＧ２０００の画像を圧縮し、低域通過符号化データの第１のバイトを０×００に変更し、ＪＰＥＧ２０００コーデックにより復号することによって生成された画像を示す図である。 ローパスサブバンド内の誤りを検出し、一定値で結果のウェーブレット係数を置換した結果を示す図である。 ローパスサブバンド内の誤りを検出し、アイコンから生成された値で結果のウェーブレット係数を置換した結果を示す図である。 模範的なコンピューターシステムのブロック図である。

符号の説明

１１００ コンピューターシステム
１１０４ 主メモリ
１１１１ バス
１１１２ プロセッサ

Claims (17)

1. ＪＰＥＧ画像のコードストリーム内の一若しくはそれ以上の誤りを訂正する方法であって、
   ヘッダー情報及び低分解能バージョンのＪＰＥＧ画像を取得し、
   前記低分解能バージョンのＪＰＥＧ画像を用いて、復号された前記ＪＰＥＧ画像の誤り領域の位置を検出し、
   前記誤り領域の位置に基づいて、符号化されたデータを再編成し、
   前記低分解能バージョンのＪＰＥＧ画像を用いて、前記誤り領域の後の係数に対するＤＣ値を設定し、
   前記低分解能バージョンのＪＰＥＧ画像を用いて、代替データで前記誤り領域内のデータを置換することを含み、
   前記誤り領域の位置に基づいて符号化されたデータを再編成することは、誤り位置でのコードストリーム内のバイト数を、復号が画像の終了まで達するまで、調整することを含み、
   前記誤り領域の係数に対してＤＣ値を設定することは、誤り領域開始直後の係数のＤＣ値を、復号された前記ＪＰＥＧ画像と拡大されたバージョンのアイコンとの間の計量値が所望レベルまで下がるまで、調整することを含む、方法。
2. 前記低分解能バージョンのＪＰＥＧ画像は、アイコンを含み、前記低分解能バージョンのＪＰＥＧ画像を取得することは、コードストリームから前記アイコンを取得することを含む、請求項１記載の方法。
3. 前記誤り領域内のデータを置換することは、前記誤り領域内の８×８ブロック内の係数を置換することを含む、請求項１記載の方法。
4. 前記誤り領域の位置を検出することは、ラスター走査順で８×８ブロックを用いてなされる、請求項１記載の方法。
5. 前記コードストリーム内のバイト数を調整することは、前記コードストリーム内のバイトを付加すること、若しくは、差し引くことの少なくとも何れか一方を含む、請求項１記載の方法。
6. 前記所望レベルは、復号された前記ＪＰＥＧ画像と拡大されたバージョンのアイコンとの間の計量値の最小値である、請求項１記載の方法。
7. 前記計量値は、平均二乗誤差（ＭＳＥ）である、請求項１記載の方法。
8. 前記アイコンを用いて代替データで誤り領域内のデータを置換することは、前記拡大されたバージョンのアイコンのデータで誤り領域内のデータを置換することを含む、請求項２記載の方法。
9. ＪＰＥＧ画像のコードストリーム内の一若しくはそれ以上の誤りを訂正する装置であって、
   ヘッダー情報及び低分解能バージョンのＪＰＥＧ画像を取得する手段と、
   前記低分解能バージョンのＪＰＥＧ画像を用いて、復号された前記ＪＰＥＧ画像の誤り領域の位置を検出する手段と、
   前記誤り領域の位置に基づいて、符号化されたデータを再編成する手段と、
   前記低分解能バージョンのＪＰＥＧ画像を用いて、前記誤り領域の後の係数に対するＤＣ値を設定する手段と、
   前記低分解能バージョンのＪＰＥＧ画像を用いて、代替データで前記誤り領域内のデータを置換する手段とを含み、
   前記誤り領域の位置に基づいて符号化されたデータを再編成する手段は、誤り位置でのコードストリーム内のバイト数を、復号が画像の終了まで達するまで、調整する手段を含み、
   前記誤り領域の係数に対してＤＣ値を設定する手段は、誤り領域開始直後の係数のＤＣ値を、復号された前記ＪＰＥＧ画像と拡大されたバージョンのアイコンとの間の計量値が所望レベルまで下がるまで、調整する手段を含む、装置。
10. 前記低分解能バージョンのＪＰＥＧ画像は、アイコンを含み、前記低分解能バージョンのＪＰＥＧ画像を取得する手段は、コードストリームから前記アイコンを取得する手段を含む、請求項９記載の装置。
11. 前記誤り領域内のデータを置換する手段は、前記誤り領域内の８×８ブロック内の係数を置換する手段を含む、請求項９記載の装置。
12. 前記誤り領域の位置を検出する手段は、ラスター走査順で８×８ブロックを用いて前記誤り領域の位置を検出する、請求項９記載の装置。
13. 前記コードストリーム内のバイト数を調整する手段は、前記コードストリーム内のバイトを付加する手段、若しくは、差し引く手段の少なくとも何れか一方を含む、請求項９記載の装置。
14. 前記所望レベルは、復号された前記ＪＰＥＧ画像と拡大されたバージョンのアイコンとの間の計量値の最小値である、請求項９記載の装置。
15. 前記計量値は、平均二乗誤差（ＭＳＥ）である、請求項９記載の装置。
16. 前記アイコンを用いて代替データで誤り領域内のデータを置換する手段は、前記拡大されたバージョンのアイコンのデータで誤り領域内のデータを置換する手段を含む、請求項１０記載の装置。
17. コンピューターをして請求項１〜８に記載の方法を実現させる指令を含むコンピューター読み取り可能なプログラム。
    

Images