JP4222753B2 - 分類適応誤り回復方法及び装置 - Google Patents

分類適応誤り回復方法及び装置 Download PDF

Info

Publication number
JP4222753B2
JP4222753B2 JP2001526799A JP2001526799A JP4222753B2 JP 4222753 B2 JP4222753 B2 JP 4222753B2 JP 2001526799 A JP2001526799 A JP 2001526799A JP 2001526799 A JP2001526799 A JP 2001526799A JP 4222753 B2 JP4222753 B2 JP 4222753B2
Authority
JP
Japan
Prior art keywords
class
data points
degraded
data
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001526799A
Other languages
English (en)
Other versions
JP2003526233A (ja
Inventor
哲二郎 近藤
カリッグ，ジェームス，ジェー
フジモリ、ヤスヒロ
カリー，ウィリアム，ノックス
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2003526233A publication Critical patent/JP2003526233A/ja
Application granted granted Critical
Publication of JP4222753B2 publication Critical patent/JP4222753B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Control Of Metal Rolling (AREA)
  • Complex Calculations (AREA)
  • Picture Signal Circuits (AREA)

Description

【０００１】
本発明の技術分野
本発明は、画像信号、音声信号又はその他の関連付けられた信号の処理に関し、特に、劣化した信号を劣化のない信号に復元する方法、装置及び製品に関する。
【０００２】
本発明の背景技術
従来、画質が劣化した画像を復元するためには、劣化の原因を分析し、劣化モデル関数（deterioration model function）を決定し、この関数の逆関数を劣化した画像に適用する必要があった。劣化の原因としては、例えばカメラ（ビデオカメラ等の撮像装置）の一定の動き及びカメラの光学素子の汚れ等の原因がある。したがって、画像を復元するために、劣化の原因に応じて異なるモデル関数が使用される。ここで、劣化の原因が解明されないと、モデル関数を決定することができないため、劣化した画像を復元することは困難である。
【０００３】
さらに、劣化に関するモデル関数を確立しても、復元に必要なそのモデル関数に対応する逆関数が存在しない場合もある。このような場合、最適なモデルを決定するための評価を行うことは困難である。
【０００４】
従来、相関推定（correlation evaluation）による誤り回復（error recovery）が行われている。例えば、従来のエラー画素回復法（error pixel recovery method）を用いた回復選択（recovery choices）が行われている。従来の誤り回復装置のブロック図をＦＩＧ．１Ａに示す。ここでは、ＦＩＧ．１Ｂに示す隣接するデータを用いて、ターゲットデータの空間的傾斜（spatial inclinations）が検出される。この例では、ＦＩＧ．１Ｃに示す式に基づいて、４つの方向に関する傾斜が評価される。ここで、傾斜値（inclination value）Ｅｉの４つの値のうち、最小の値に対応する補間フィルタが選択される。さらに、誤り回復のために、空間的傾斜に加えて、動き係数も評価される。動きのある領域については、選択された空間フィルタが誤り回復に使用される。一方、動きのない領域については、ターゲットデータと同じ位置の前フレーム内のデータが誤り回復に使用される。評価は、ＦＩＧ．１Ａに示す評価回路１１１により実行される。
【０００５】
ＦＩＧ．１Ａ〜ＦＩＧ．１Ｃに示す従来の誤り回復処理は、特にオブジェクトの端部において、データの置換（changing data）に関する重大な劣化を生じさせることがある。実際の信号分布は、通常、広範囲に変化するため、このような問題は生じやすい。したがって、劣化した信号を劣化のない信号に復元する手法において、データの置換に関する劣化を最小化する手法が望まれている。
発明の開示
本発明は、劣化した信号を劣化のない信号に復元するための方法、装置及び製品（article of manufacture）を提供する。劣化した信号は、複数の劣化したデータ点及び劣化していないデータ点を含む。各劣化したデータ点に対して、その劣化したデータ点を含む領域の特性に基づいて、複数のクラスの種類が生成される。データ点は、複数のクラスの種類のうちの１つに関して分類され、対応する入力信号クラスに割り当てられる。入力信号の分類結果に基づき、入力信号を適応的にフィルタリングすることにより、劣化のない信号が生成される。複数のクラスの種類を生成するために、２以上の分類法を使用してもよい。生成されるクラスには、例えば動きクラス、エラークラス、空間クラス、空間的アクティビティクラス等が含まれる。適応クラスタップ構造を用いて、複数のクラスの種類を生成してもよい。適応フィルタタップ構造は、対応する複数のクラスの種類基づいて使用してもよい。フィルタ係数の数を削減するために、フィルタタップ拡張を用いてもよい。劣化した入力信号は、周辺のエラーを含むデータを前処理することにより変形してもよい。空間クラスは、空間的対称性に基づいて、変形してもよい。
【０００６】
実施の形態の詳細な説明
以下の本発明の具体例の説明においては、本出願の一部として添付され、本発明を実現する特定の実施の形態を例示的に示した図面を参照する。ここで、本発明の範囲を逸脱することなく、他の実施の形態を用いてもよく、説明する具体例の構造を変更してもよいことは明らかである。
【０００７】
本発明は、分類適応誤り回復（classified adaptive error recovery）により、劣化した信号を劣化のない信号に復元するための方法、装置及び製品（article of manufacture）を提供する。ターゲットデータとは、劣化した信号において、値が決定又は推定される特定のデータを意味する。
【０００８】
分類適応誤り回復とは、分類適応フィルタリング処理を用いた技術である。入力信号の特性に基づいて、劣化した入力信号に関する適切な分類が行われる。誤り回復処理に先行して、各クラス用の適応フィルタが準備される。
【０００９】
複数のクラスを生成するために、２つ以上の分類法を用いてもよい。生成されるクラスは、例えば動きクラス、エラークラス、空間的アクティビティクラス、空間クラス等である。複数のクラスを生成するために、適応クラスタップ構造を用いてもよい。適応フィルタタップ構造は、例えば、各劣化した入力信号において検出されたクラスに基づいて使用してもよい。適応フィルタタップ構造は、マルティプルタップ（multiple taps）に基づいて拡張してもよい。マルティプルタップに同じ係数を割り当てることにより、記憶すべきフィルタ係数の数を削減することができる。この処理をフィルタタップ拡張（filter tap expansion）と呼ぶ。劣化した入力信号は、周辺のエラーを含むデータを前処理することにより変更してもよい。空間クラス削減式（spatial class elimination formula）により、空間クラスを削減することもできる。
【００１０】
本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真（photographs）又はその他の２次元静止画像、ホログラム又はその他の３次元静止画像、ビデオ又はその他の２次元動画像、３次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。この説明において、値という用語は、具体例によっては、受信又は生成されたデータ内の成分（component）を指すこともある。さらに、データ点とは、ポジション（position）、場所（place）、時点（instance）、位置（location）又はデータ内の範囲を指すものとする。
【００１１】
説明を明瞭にするために、ここでは、画素ストリームを含むビデオデータを中心として本発明を説明する。しかしながら、本発明は、ビデオデータ以外の種類のデータに適用してもよく、ここで本発明を説明するために用いる語句は、広範囲に亘るアプリケーション及びデータ種類を包含するものとする。例えば、適応クラスタップ構造は、マルティプル分類（multiple classification）において使用されているクラスタップ定義の適応構造である。空間クラス、動きクラス、エラークラスは、構造を定義するために使用される。フィルタタップ構造は、対応するクラスに基づくフィルタタップ定義の適応構造である。
【００１２】
クラスは、ターゲットデータの１つ以上の特性に基づいて定義してもよい。さらに、例えば、クラスは、ターゲットデータを含むグループの１つ以上の特性に基づいて定義してもよい。クラスＩＤは、特定の特性についてターゲットデータを記述し、他のデータから区別するために使用されるクラス内の特定の値である。クラスＩＤは、数値、シンボル、定義された範囲内のコードのいずれにより表現してもよい。データを評価、推定又は分類するために、所定の又は可変の量としてパラメータを使用してもよい。例えば、特定の動きクラスＩＤは、ターゲットデータを含むブロックの動き量のレベルと、例えば所定の閾値であるパラメータとを比較することにより決定してもよい。
【００１３】
元のデータは、データを分類及びフィルタリングする分類適応誤り回復（classified adaptive error recovery）を用いて、隣接するデータに基づいて推定することができる。包括的には、エラーを含むデータに空間的に近接するデータは、空間的な相関性が高いために、正しい値の推定に貢献する。動き領域における分類及びフィルタリングに時間的タップデータが導入された場合、動きにより空間的相関性が低下するため、推定の精度が劣化する。
【００１４】
一具体例においては、適応誤り回復を分類する前に、前処理により動き補償を導入する。すなわち、分類適応誤り回復処理の回復性能を向上させるために、分類適応誤り回復処理を実行する前に、エラーを含むデータに対する動き補償前処理を実行するとよい。
【００１５】
一具体例においては、動き補償前処理は２つの段階を有する。第１の段階は、動きベクトル検出である。第２の段階は、動きベクトルに基づいて、動きが施されるデータ（以下、「記憶されたデータ（memorized data）」と呼ぶ。）のシフトである。前処理の基本的構造をＦＩＧ．２Ａに示す。動き補償構造は、２つの処理要素、すなわち動きベクトル検出器２８０とメモリ２９０とを備える。動きベクトル検出器２８０は、時間的相関を調べることにより、動きベクトルを検出する。ここでは、様々な周知の手法を用いることができる。ここで検出された動きベクトルに基づき、使用される隣接する画像データ、例えばメモリ２９０に記憶されている前フィールド又は前フレームの画像がシフトされる。隣接するデータは、時間的に先行又は後続するデータであってもよく、空間的に隣接するデータであってもよく、隣接しない例えばデータのフレームであってもよい。一具体例においては、このシフト処理は、アクセスするメモリアドレスをシフトし、動き補償されたデータを形成することにより実行される。動き補償されたデータは、後段の分類適応誤り回復処理に供給される。
【００１６】
動き補償前処理により、動き領域のデータの相関性が高まるため、分類適応誤り回復処理の精度が著しく向上する。したがって、これにより、誤り回復の精度が向上した画像を再生することができる。
【００１７】
変形例においては、ＦＩＧ．２Ｂに示すように、動きベクトルクラスタイプを生成する。この装置には、入力データ及び対応するエラーフラグが入力される。動きベクトル検出器２８０は、入力データから動きベクトルを検出する。クラス発生器２０５は、動きベクトルの分類を行う。フィルタタップ選択器２１３は、動きベクトルのクラスに基づいて、フィルタタップを選択する。フィルタ２０９は、タップデータ及び係数メモリ２０７から選択されたフィルタ係数により誤り回復フィルタリングを実行する。選択器２１１は、エラーフラグに基づき、誤り回復されたデータ及びエラーを含まない入力データを選択し、この装置の出力信号を生成する。
【００１８】
ＦＩＧ．２Ａに示す動きベクトル検出器２８０は、画像内の動きベクトルを検出する。動きの具体例をＦＩＧ．２Ｆ及びＦＩＧ．２Ｇに示す。ＦＩＧ．２Ｆにおいて、時刻ｔ＝０における点（ｉ，ｊ）は、第１の位置（ｉ０，ｊ０）に示されている。第２の時刻ｔ＝ａにおける点（ｉ，ｊ）は、第２の位置（ｉａ，ｊａ）に示されている。ＦＩＧ．２Ｆに示す動きベクトルは、点（ｉ０，ｊ０）を始点とし、点（ｉａ，ｊａ）を終点とする線分である。すなわち、画像内に動きがある場合、画像内の動き部分は、その新たな位置にコピーされる。一具体例において、メモリ２９０に格納されている記憶されたデータは、先の時刻ｔ＝０におけるデータである。他の具体例においては、メモリ２９０に格納されている記憶されたデータは、将来の時刻のデータである。動きベクトルは、シフトロジック（shifting logic）により、記憶された画像データの位置を第２の位置、すなわち現在の時刻ｔ＝ａに対応する位置にシフトするために使用される。
【００１９】
ＦＩＧ．２Ｇに示す具体例では、画像データ２５０は、先の時刻ｔ＝Ｔ−１においては、第１の位置にある。一方、現在のフレームにおいて、画像データ２５０は、現在の時刻ｔ＝Ｔ０において、第２の位置に移動している。メモリ２９０は、画像データ２５０が第１の位置に存在する先のフレームデータを記憶している。そして、動きベクトルＭＶが検出されると、メモリ２９０内の画像２５０が第２の位置にシフトされる。
【００２０】
動きベクトルは、様々な手法で検出することができる。動きベクトルを検出するための手法としては、例えば、位相相関法（phase correlation）、こう配降下法（gradient descent）及びブロックマッチング法（block matching）等がある。
【００２１】
以下、位相相関法の具体例を説明する。画像点ｆ（ｘ１，ｘ２）のフーリエ変換をＦ（ω１，ω２）と定義する。フーリエ変換のシフト特性を適用すると、ｆ（ｘ１＋α１，ｘ２＋α２）は、ｅｊ２π（α１ω１＋α２ω２）で表すことができる。したがって、α１及びα２により表される動きベクトル量は、ｆ（ｘ１，ｘ２）及びｆ（ｘ１＋α１，ｘ２＋α２）の両方に対するフーリエ変換を行い、この２つを関係付ける倍数因子（multiplicative factor）を推定することにより推定できる。
【００２２】
次に、こう配降下法の具体例を説明する。画像ｅ（α）の誤差関数は、ｖを実際の動きベクトルとし、αをｖの推定値として、ｆ（ｘ＋ｖ−α）−ｆ（ｘ）として表すことができる。こう配降下法は、ｅ（α）を最小化するために使用される。すなわち、ｅ（α）の最小値が動きベクトルを表す。
【００２３】
ブロックマッチング法の一具体例では、パターンマッチング（pattern matching）を用いて動きベクトルを検出する。例えば、各探索点（例えば、画像内の点）において、時間的相関性が測定される。例えば、各点における現在のブロックデータと対応する過去のブロックデータ間の時間的差分の絶対値の総和に対応する相関値が生成される。全ての又は一部の点における相関値を生成した後、最も小さい値を有する動きベクトルが選択される。これは、動きベクトルを表す最も相関性の高い点を表している。
【００２４】
ＦＩＧ．２Ｈは、ブロックマッチング処理を説明する図である。元のブロックデータは、ＦＩＧ．２Ｈに示すように定義されている。ブロックデータは、ｆ（ｉ０＋Ｘ，ｊ０＋Ｙ）として定義されている。そして、探索点ｆ（ｉ，ｊ）が検出される。時間差の総和は、次の式により表される。
【００２５】
【数１】
Figure 0004222753
動きベクトルは、ｍｉｎ｛Ｅ（ｉ，ｊ）｝；−Ｉ≦ｉ≦Ｉ；−Ｊ≦ｊ≦Ｊ｝として決定される。
【００２６】
フレーム間の動きを補償する動き補償前処理により、ことにより、フレーム内のデータ生成を分類適応誤り回復処理に使用することができる。この処理をＦＩＧ．２Ｉを用いて説明する。動き補償導入後は、空間的動的データ（spatial temporal data）を空間的静止データ（spatite stationary data）として取り扱うことができる。ＦＩＧ．２Ｉは、複数の期間に亘る１フレーム内の２つのフィールドを示している。期間Ｔ３におけるフィールド２６０は、エラーを含んでいる。このエラーデータは、期間Ｔ２からのフィールド２６４内の画素２６２に対して高い相関性を有している。このように、動き補償を用いることにより、非静的データを空間及び時間領域で強く相関させることができる。
【００２７】
フィルタリング性能は、動き補償処理とともに先のフィールドデータを用いることにより向上させることができる。後述するように、分類適応誤り回復処理では、エラー分布（error distribution）を分類する。しかしながら、データが非静止データの場合、誤り回復は困難になる。したがって、動き補償により、誤り回復の性能が著しく向上する。また、分類適応誤り回復処理において、動き補償を行うことにより、時間的データの相関性が高まるため、分類の性能も向上する。さらに、空間的（パターン）分類及び空間的アクティビティの分類の性能も向上する。さらに、動き補償処理により時間的なデータの相関性が高まるため、適応フィルタリングの性能も向上する。
【００２８】
マルティプル分類
一具体例において、マルティプルクラスとは、ターゲットデータの少なくとも２つの異なる特性を記述するために使用される特定の値又は値の組の集合である。例えば、マルティプルクラスは、少なくとも２つの異なるクラスの組合せとして定義してもよい。例えば、マルティプルクラスは、エラークラスと、動きクラスと、例えばＡＤＲＣクラス等の空間クラスとの組合せとして定義することができる。
【００２９】
一具体例においては、マルティプルクラスＩＤを用いて、ターゲットデータの値を決定又は推定するための適切なフィルタ係数及び他の情報のアドレスの位置を示すメモリアドレスを指定するようにしてもよい。一具体例では、マルティプルクラスＩＤ内の異なるクラスＩＤの単純な連結をメモリアドレスとして使用する。
【００３０】
すなわち、マルティプル分類法とは、ターゲットデータの値をより正確に決定又は推定するために、ターゲットデータの２つ以上の特性に関してターゲットデータを分類する方法である。
【００３１】
エラークラスは、ターゲットデータに隣接するエラーを含むデータの様々な分布パターンを記述するために使用される特定の値の集合である。一具体例においては、ターゲットデータに隣接するデータにエラーが含まれているか否かを示すことにより定義される。エラークラスＩＤは、ターゲットデータに隣接するエラーを含むデータの特定の分布パターンを記述するために使用されるエラークラス内の特定の値としてもよい。例えば、エラークラスＩＤ「０」は、ターゲットデータの左右のデータがエラーを含まないことを示し、エラークラスＩＤ「１」は、ターゲットデータの左に隣接するデータがエラーを含んでいることを示す。フィルタは、データのグループを選択するための数学的処理、関数又はマスクである。
【００３２】
動きクラスは、ターゲットデータの動き特性を記述するための特定の値の集合である。一具体例において、動きクラスは、ターゲットデータを含むブロックに関する、例えば、動きなし、小さな動き、大きな動き等、異なる動きレベルに基づいて定義される。動きクラスＩＤは、ターゲットデータの動き量の特定のレベルを示すために使用される動きクラス内の特定の値である。例えば、動きクラスＩＤ「０」は、動きがないことを示し、動きクラスＩＤ「３」は大きな動きがあることを示す。
【００３３】
動きベクトルクラスは、ターゲットデータの動きの方向的特性を記述するために使用される特別な値の集合である。一具体例においては、動きベクトルクラスは、ターゲットデータを含むブロックの異なる方向、例えば垂直方向、水平方向又は対角線方向への動きに基づいて定義される。動きベクトルＩＤは、ターゲットデータの動きの特定の方向を指示するために使用される動きベクトルクラス内の特定の値である。ＦＩＧ．２Ｊは、動きベクトルＩＤの具体例を示す図である。例えば、動きベクトルクラスＩＤ「１」は、水平方向の小さな動きを指示するよう定義され、動きベクトルクラス「４」は、垂直方向の大きな動きを指示するよう定義される。動きベクトルクラスＩＤ「０」は、非常に小さな動き又は動きが全くないことを意味する。動きベクトルクラスＩＤ「７」は、方向を特定することなく、非常に速い動きを指示する。非常に速い動きの低下（degradation）は検出することができないため、動きベクトルクラスＩＤ「７」のような単純な動きクラスが使用される。
【００３４】
ＦＩＧ．２Ｊは、動きベクトルの分類の可能な一具体例を示しているにすぎない。動きベクトルの分類は、特定の値及び／又は可能な分類項目数に対応して、サイズ及び領域の形状を様々に変化させることができる。
【００３５】
この具体例においては、対称的構造を用いて、動きベクトル分類の数を削減している。これにより、フィルタの数を削減することができる。他の具体例においては、非対称的な動きベクトル分類を用いてもよい。垂直方向の動きは、オブジェクトのチルト又はピクチャのチルトに対応することもある。この種のピクチャは、特にインタレース画像においては、ピクチャの水平方向の動きから区別される。このように、動き補償分類により、画像の動き方向を特定し、チルトされる画像とパンされる画像とを区別し及び水平方向に移動するオブジェクトと垂直方向に移動するオブジェクトとを区別することができる。ここで、相対的に静止しているオブジェクトを撮像するビデオカメラがあるとする。このビデオカメラは上下にチルトすることもでき、或いは左右にパンすることもできる。これは、カメラが静止しており、オブジェクトが上下（逆）又は左右に移動していることと同じである。動きベクトル分類は、動きベクトルに基づく適応フィルタタップ構造においても利用され、これにより動き分類のみに比べて、推定精度を向上させることができる。
【００３６】
空間クラスは、ターゲットデータの空間的特性を記述するための特定の値の集合であってもよい。データの空間的な分類は、例えば、適応ダイナミックレンジコーディング（Adaptive Dynamic Range Coding：ＡＤＲＣ）、差分ＰＣＭ（Differential PCM：ＤＰＣＭ）、ベクトル量子化（Vector Quantization：ＶＱ）、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等により決定することができる。さらに、空間クラスＩＤは、グループ内のターゲットデータ又はターゲットデータを含むブロックの空間的パターンを記述するために使用される空間クラス内の特定の値である。
【００３７】
例えば、ＡＤＲＣクラスは適応型ダイナミックレンジコーディング法によって定義された空間クラスである。さらに、ＡＤＲＣクラスＩＤは、グループ内のターゲットデータ又はターゲットデータを含むブロックのＡＤＲＣパターンを記述するために使用される空間クラス内の特定の値である。クラスは、ターゲットデータの所定の特性を記述するために使用される特定の値の集合である。例えば、動きクラス、空間クラス、エラークラス、空間的アクティビティクラス等、様々な異なる種類のクラスを設けてもよい。
【００３８】
本発明は、１つ以上のデータクラスの組に対応するデータを生成する適応処理を実現する方法及び装置を提供する。この処理は「分類（classification）」として知られている。分類は、信号分布（signal distribution）の様々な属性に基づいて実現することができる。例えば、ＡＤＲＣを用いて各クラスを空間クラスとして生成することができるが、本発明の普遍性を失うことなく、動きクラス、エラークラス、空間的アクティビティクラス等のこの他のクラスを用いてもよいことは、当業者にとって明らかである。空間クラスは、ターゲットデータの空間的特性を記述するための特定の値の集合であってもよい。例えば、データの空間的アクティビティの分類は、ダイナミックレンジ、標準偏差、ラプラス値又は空間的傾斜値等を用いて決定してもよい。劣化した信号の復元を行う前に幾つかの分類を行うことにより、好ましい効果が得られる。例えば、ＡＤＲＣは、各信号波形を自動的に正規化することにより分類を行うことができる。
【００３９】
各クラスに対して、信号復元のための適切なフィルタが適応処理用に準備される。一具体例において、各フィルタは、データに適用されるフィルタ係数の行列により表現される。フィルタ係数は、フィルタリング処理より先に準備処理として実行される、後に具体例を説明するトレーニング処理により生成することができる。本発明の一具体例において、フィルタ係数は、ＦＩＧ．２Ａに示すランダムアクセスメモリ（ＲＡＭ）からなる係数メモリ２０７に格納される。
【００４０】
ＦＩＧ．２Ａは、本発明の信号処理の流れの具体例を示している。ターゲット入力データ２０１とともに、エラーフラグデータ２０３を供給してもよい。エラーフラグデータ２０３は、エラーを有する画素を含むデータ内のエラーの位置を示すことができる。本発明の一具体例においては、分類回路２０５は、各入力ターゲットデータに対してＡＤＲＣクラスＩＤを生成し、係数メモリ２０７は各クラスＩＤに対応するフィルタ係数を出力し、フィルタ２０９は、これらのフィルタ係数を用いて入力データ２０１をフィルタリングする。フィルタリングされたデータは、誤り回復された結果に対応する。選択器２１１は、エラーフラグデータ２０３に基づいて、誤り回復されたデータとエラーを含まないデータを切り換えて出力する。
【００４１】
ＦＩＧ．２Ｃは、クラスタップが４つの具体例を示す図である。１ビットＡＤＲＣを用いる一具体例においては、式３によって得られる１６個のＡＤＲＣクラスＩＤを使用することができる。ＡＤＲＣは以下に示す式２によって実現される。ローカルのダイナミックレンジ（ＤＲ）は、以下の式１により求められる。
【００４２】
【数２】
Figure 0004222753
【００４３】
【数３】
Figure 0004222753
【００４４】
【数４】
Figure 0004222753
ここで、ｃはＡＤＲＣクラスＩＤに対応し、ＤＲは４つのデータ領域のダイナミックレンジを表し、ＭＡＸは４つのデータの最大レベルを表し、ＭＩＮは４つのデータの最小レベルを表し、ｑｉはＱコードとも呼ばれるＡＤＲＣ符号化されたデータを表し、Ｑは量子化ビット数を表す。演算子［・］は、丸め処理を表す。
【００４５】
例えば、１ビットＡＤＲＣ方式において、ｃはＱ＝１に対して０〜１５の値をとる。この処理は、空間分類の一種であるが、本発明の普遍性を失うことなく、例えば、差分ＰＣＭ（ＤＰＣＭ）、ベクトル量子化（ＶＱ）、離散コサイン変換（ＤＣＴ）等を含む他の空間分類を用いてもよいことは、当業者にとって明らかである。ターゲットデータの分布を分類できるものであれば、いかなる方法を用いてもよい。
【００４６】
ＦＩＧ．２Ｄに示す具体例では、各適応フィルタは１２個のタップを有している。出力データは、次の式４に示す線形組合せ処理により生成される。
【００４７】
【数５】
Figure 0004222753
ここで、ｘｉは入力データであり、ｗｉは各フィルタ係数を表し、ｙは誤り回復処理の後の出力データを表す。誤り回復処理に先立って実行されるトレーニング処理により、各クラスＩＤに対応するフィルタ係数を生成してもよい。
【００４８】
トレーニング処理は、例えば次のような基準に基づいて実行することができる。
【００４９】
【数６】
Figure 0004222753
ここで、Ｘ、Ｗ及びＹは、次のような行列を表す。すなわち、Ｘは式６により定義される入力データ行列を表し、Ｗは式７により定義される係数行列を表し、Ｙは式８により定義されるターゲットデータ行列を表す。
【００５０】
【数７】
Figure 0004222753
【００５１】
【数８】
Figure 0004222753
【００５２】
【数９】
Figure 0004222753
係数ｗｉは式５に基づいて得ることができ、これにより、ターゲットデータに関する推定誤差が最小限に抑えられる。
【００５３】
ＦＩＧ．２Ｄに示す具体例では、各ＡＤＲＣクラスＩＤに関する１２個の係数が上述のトレーニング処理により決定される。
【００５４】
ＦＩＧ．２Ｅは、本発明に基づく処理を示すフローチャートである。ＦＩＧ．２Ｅに示すフローチャートは、劣化した入力信号から劣化のない信号を復元するための基本的な処理の流れを示すものである。ステップ２１５において、周辺のエラーを含む画素に対する前処理が行われる。ステップ２１７において、劣化した入力信号に関する各分類が行われ、クラスＩＤが生成される。他のクラスＩＤに基づいて、幾つかのクラスタップが選択される。ここで、動き分類、エラー分類、空間的アクティビティ分類及び空間分類等のマルティプル分類を行ってもよい。
【００５５】
分類法は、装置設計の段階で決定され、ここで分類法、クラスの数及び他の仕様は、ターゲットデータに基づいて決定される。設計段階では、この他、装置性能及びハードウェアの複雑性に関する検討を含んでもよい。
【００５６】
ステップ２１９において、ステップ２１７における様々な分類処理により生成された複数のクラスＩＤによりマルティプル分類を行い、マルティプルクラスＩＤを生成する。ステップ２２１においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づき、フィルタタップが適応的に選択される。ステップ２２３においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づいて、フィルタタップ構造が適応的に拡張される。マルティプルタップに同じ係数を割り当てることにより、記憶すべきフィルタ係数の数を削減することができる。この処理をフィルタタップ拡張（filter tap expansion）と呼ぶ。ステップ２２４においては、ステップ２１９において生成されたマルティプルクラスＩＤに基づき、フィルタ係数が選択される。ステップ２２５においては、劣化した入力信号に対するフィルタリング処理が実行され、劣化のない信号が生成される。フィルタ係数は、ステップ２１９において生成されたマルティプルクラスＩＤに基づいて、適応的に選択される。
【００５７】
ここで、例えば２次元ＡＤＲＣ処理等の単純な波形分類では、ＦＩＧ．２Ｃに示すような一般的な動画の分離を構造的に実現することができないため、本発明の一具体例においては、３次元ＡＤＲＣ処理を用いて空間−時間分類を行ってもよい。静止領域（stationary area）と動き領域（motion area）の両方を同じクラスＩＤで処理した場合、２つの領域の特性が異なるために、誤り回復の品質が劣化する。
【００５８】
本発明の他の具体例においては、空間分類に加えて、動き分類を用いて時間的特性を簡潔に定義してもよい。さらに、分類適応誤り回復法にマルティプル分類を加えてもよい。例えば、動きクラス、エラークラス、空間的アクティビティクラス及び上述の空間クラス等、様々な種類のクラスが存在する。これらの異なる分類法を２つ以上組み合わせることにより、分類の精度を向上させることができる。
【００５９】
ＦＩＧ．３は、動きクラスタップ構造の具体例を示す図である。この具体例は、エラーを含むターゲットデータに隣接する８つのタップを示す。この具体例においては、８つのタップの時間的差分の総和は、以下に示す式９により評価することができ、また、以下に示す式１０に基づく閾値により、４種類の動きクラスに分類される。本発明の一具体例では、閾値ｔｈ０を３とし、閾値ｔｈ１を８とし、閾値ｔｈ２を２４とする。
【００６０】
【数１０】
Figure 0004222753
【００６１】
【数１１】
Figure 0004222753
この式において、ｆｄは時間的差分の累算値を表し、ｘｉは現フレームの動きクラスタップデータを表し、ｘ’ｉは現フレームに対応する前フレームのタップデータを表し、ｍｃは動きクラスＩＤを表す。この動き分類のために、３つの閾値ｔｈ０、ｔｈ１、ｔｈ２を用いることができる。
【００６２】
本発明の一具体例においては、エラークラスを分類適応誤り回復法とともに使用することができる。この分類は、例えばＦＩＧ．４に例示的に示すようなターゲットデータに隣接するエラーを含むデータの分布パターンに基づいて行われる。この具体例では、単独エラー状態（independent error case）、左エラー状態（left error case）、右エラー状態（right error case）、３連続エラー状態（three consecutive error case）の４つのエラークラスを定義している。
【００６３】
包括的にいえば、ターゲットデータに隣接する画素のフィルタ係数は、誤り回復処理においてより大きな重みを有する。エラーを含むデータに隣接するデータは、誤り回復の結果に大きな影響を与える。エラークラスは、隣接するエラーを含むデータの分布に基づいて、異なる特性を有する領域を他のクラスから分離することにより、この影響を低減することができる。例えば、ＦＩＧ．２Ｃに示す具体例では、ＡＤＲＣ分類は、１６種類のＡＤＲＣクラスＩＤを生成し、動き分類及びエラー分類は、それぞれ４種類のクラスＩＤを生成する。したがって、クラスＩＤの数は、１６×４×４、すなわち２５６個となる。分類は、各信号の特性を表現することにより実現してもよい。マルティプル分類では、異なる分類特性を組み合せることにより、エラーを含むターゲットデータに関して、適切なクラス及びクラスＩＤを定義することができる。
【００６４】
適応クラスタップ構造
本発明の一具体例においては、適応クラスタップ構造を分類適応誤り回復法とともに使用することができる。ＦＩＧ．５は動きクラスを適応した空間クラスタップ構造の具体例を示す図である。フレーム間タップ（Intra-frame taps）は、静止領域又は動きの小さい動き領域で選択することができる。フィールド間タップ（Intra-field taps）は、通常、動きの大きな動き領域で使用される。この適応処理により適切な適応分類が実現される。
【００６５】
例えば、フレーム間タップは、動きの大きな動き領域の分類に使用され、これにより生成された動き分布は、相関性が低いために、大きく変化し、したがって、ターゲットデータの特性を正しく表現することは困難である。したがって、ＦＩＧ．５に示すような適応クラスタップ構造は有効である。
【００６６】
さらなる具体例をＦＩＧ．６、ＦＩＧ．７、ＦＩＧ．８及びＦＩＧ．９に示す。空間クラスタップは、通常、動きクラス及びエラークラスに基づいて選択される。動き係数に加えて、エラーを含むデータの分布は、空間クラスタップの定義を考慮して選択される。隣接するエラーを含むデータは、通常、空間分類においては使用されない。この定義により、有効なデータのみが使用され、分類の精度が向上する。
【００６７】
適応フィルタタップ構造
本発明の一具体例においては、分類適応誤り回復法に関連して、対応するクラスに基づく適応フィルタタップ構造を用いることができる。ＦＩＧ．１０は、エラークラスに基づく適応フィルタタップ構造の具体例を示す図である。ターゲットデータに関するフィルタタップ構造は、通常、好ましくは隣接する破損したデータを避けて、適応的に定義される。破損したデータは、フィルタリング処理においては選択されない。
【００６８】
適応フィルタタップ構造は、例えばＦＩＧ．１１に示すような動きクラスに基づいて定義してもよい。ＦＩＧ．１０に示す動きクラスの例においては、動きクラス０は、静止領域に対応し、動きクラス３は、動きの大きな動き領域に対応する。動きクラス１及び動きクラス２は、中間的な動き領域に対応する。
【００６９】
静止クラス領域又は疑似静止クラス領域（quasi-stationary class areas）には、ＦＩＧ．１１に示すように、フレーム間タップが使用される。同時に、ターゲットデータの位置における前フレームデータを誤り回復フィルタリングに用いてもよい。これらの領域は、動きクラス０及び動きクラス１に対応する。速い又は中間の動きを有する動き領域においては、各フィルタは、通常、ＦＩＧ．１１に示すようなフィールド間タップ構造を有する。ＦＩＧ．１１に示すように、前フレームのデータは導入されず、したがって、相関性が低いデータは無視される。このような場合、フィールド間タップによりフィルタリングの性能が向上する。
【００７０】
ＦＩＧ．１２は、動き及びエラークラス適応フィルタタップ構造の具体例を示す図である。ＦＩＧ．１０及びＦＩＧ．１１は、それぞれエラー適応フィルタタップ及び動き適応フィルタタップを示している。ＦＩＧ．１２に示す具体例は、単独エラー状態であるエラークラス０における両方の適応構造を示している。この具体例においては、上位の適応特性（Upper adaptive characteristics）も示している。ＦＩＧ．１２に準じて、ＦＩＧ．１３はエラークラス１に対応し、ＦＩＧ．１４はエラークラス２に対応し、ＦＩＧ．１５はエラークラス３に対応する。
【００７１】
フィルタタップ拡張
本発明の一具体例においては、分類適応誤り回復法に関連して、複数のタップに同じ係数を割り当てることにより、フィルタタップ拡張を行うことができる。ＦＩＧ．１２〜ＦＩＧ．１５の構造には、フィルタタップ拡張も示されている。例えば、ＦＩＧ．１２に示す動きクラス３のフィルタタップ構造は、４つの同じ係数タップを有する。評価の結果に基づき、幾つかのタップ係数を同じ係数に置換することができる。ＦＩＧ．１２に示す具体例は、水平方向及び垂直方向に対称的に配置された４つの係数Ｗ３を有する。この拡張により、１４個の係数は、１８個のタップ領域をカバーする。このような方法により係数メモリ及び例えば加算器や乗算器等のフィルタのハードウェアを削減することができる。本発明の一具体例では、係数の分布及び視覚的結果を評価することにより、タップの拡張に関する定義（expansion tap definition）を実現することができる。
【００７２】
周辺のエラーを含むデータに対する処理
本発明の一具体例においては、周辺のエラーを含むデータに対する処理を分類適応誤り回復法とともに使用することができる。誤り回復フィルタリングを実現するためには、フィルタタップの周辺のエラーを含む位置に適切なデータが必要である。
【００７３】
この処理の具体例をＦＩＧ．１６のフローチャートに示す。ステップ１６０１，１６０５，１６０９において、ターゲットデータの周辺にエラーを含むデータが存在すると判定された場合、ステップ１６０３，１６０７，１６１１において、エラーを含むデータは、水平方向にエラーがない場合、水平方向の処理されたデータに置換される。ステップ１６１３，１６１７，１６２１において、水平方向に３つ連続するエラーがあると判定された場合、ステップ１６１５，１６１９，１６２３において、垂直処理が適用され、処理されたデータが生成される。この具体例のフレーム間データの周辺の全てにエラーが含まれている場合、ステップ１６２５において、前フレームデータが誤り回復処理に導入される。
【００７４】
ＦＩＧ．１７は、前処理に動き適応処理を用いた他の具体例を示す図である。動き検出ステップであるステップ１７０１において、エラーのないデータを用いて、動き量が検出される。包括的にいえば、次のステップにおいて動き量の総和をエラーのないデータの数で割って平均化することにより、平均動き量が算出される。ステップ１７０３においては、上述の平均動き量と所定の閾値とを比較して、これに基づいて動きタップ又は静止タップのいずれかが選択される。これらのステップの後、ステップ１７０５〜ステップ１７２９は、ＦＩＧ．１６に示すステップ１６０１〜ステップ１６２５と同様の方法により実行される。処理されたデータは、これらの優先順位が付けられた処理（prioritized processes）に基づいて生成され、誤り回復フィルタリング処理に導入される。
【００７５】
空間クラス削減
本発明の一具体例においては、分類適応回復処理において、空間クラスの削減を行うこともできる。上述のように、ＡＤＲＣクラスは、式３により与えられる空間分類に使用することができる。これは、４タップＡＤＲＣの定義において、１６種類のクラスＩＤを有する。これら１６個のクラスＩＤは、以下の式１１に基づいて、８種類のクラスＩＤに削減することができる。
【００７６】
【数１２】
Figure 0004222753
ここで、ｃはＡＤＲＣクラスＩＤを表し、ｑｉは量子化データを表し、Ｑは式１及び式２に基づく量子化ビット数を表す。
【００７７】
本発明の一具体例では、式１１は、ＡＤＲＣコードの２進データにおける１の補数処理（1 's complement operation）に相当する。これは、各信号波形の対称的特性に関連している。ＡＤＲＣ分類は、ターゲット信号波形の正規化であるため、各ＡＤＲＣコードにおいて１の補数関係を有する２つの波形は、同一のクラスＩＤに分類することができる。ＡＤＲＣクラスの数は、この削減処理により、通常、半分にすることができる。４タップ１ビットＡＤＲＣに基づくＡＤＲＣクラスの削減処理をＦＩＧ．２０に示す。この具体例に式１１を適用することにより、８つのＡＤＲＣクラスの対が生成される。各対は、空間的対称パターンを有し、したがって、これらの対称パターンを利用することにより、ＡＤＲＣクラスＩＤの数を半分にすることができる。空間クラス削減技術は、例えばＤＰＣＭ及びブロック打切りコーディング（Block Truncation Coding：ＢＴＣ）を含む他の空間分類技術にも適用することもできる。
【００７８】
装置構造
上述の全ての処理実行する本発明の一具体例である、装置全体の構造をＦＩＧ．１８Ａに示す。装置には、入力データ１８０１及びエラーフラグ１８０３が入力される。前処理回路１８０５は、エラーフラグ１８０３を検査して、入力データ１８０１に対する前処理を行う。ＡＤＲＣクラス生成器１８０７は、ＡＤＲＣ分類処理を行い、動きクラス生成器１８０９は、動き分類処理を行い、エラークラス生成器１８１１は、エラー分類処理を行う。
【００７９】
この具体例においては、ＡＤＲＣクラスタップは、エラークラス及び動きクラスに基づいて適応的に選択される。フィルタタップ選択器１８１３は、エラークラス及び動きクラスに基づいてフィルタタップを選択する。フィルタ１８１７は、タップデータと、ＡＤＲＣクラス生成器１８０７が生成したＡＤＲＣクラスＩＤ、動きクラス生成器１８０９が生成した動きクラスＩＤ及びエラークラス生成器１８１１が生成したエラークラスＩＤに対応して係数メモリ１８１５から供給されたフィルタ係数とに基づいて、誤り回復フィルタリング処理を実行する。選択器１８２１は、エラーフラグ１８０３に基づいて、誤り回復されたデータと、元よりエラーを含んでいないデータとを切り換え、これにより、この装置の出力データ１８２３を出力する。
【００８０】
動きベクトルクラス生成器１８０９の構成の具体例をＦＩＧ．１８Ｂに示す。動きベクトル検出器１８３９は、例えば上述したブロックマッチング法等の手法を用いて動きベクトルを検出する。動きベクトルは、ターゲットデータについて検出される。動きクラス生成器１８４１は、生成された動きベクトルを用いて、例えばＦＩＧ．２Ｊに示すような３ビット量子化されたデータとして、動きベクトルの特徴を識別する。すなわち、量子化されたデータは、係数メモリ１８１５にアクセスするために使用される動きベクトルクラスを表す。動きベクトル分類を用いることにより、誤り回復処理の推定性能は著しく向上する。
【００８１】
係数メモリの内容の具体例をＦＩＧ．１９に示す。この具体例は、マルティプル分類法に基づき、４×４×８、すなわち１２８個のクラスＩＤを有する。エラークラスは４つのカテゴリを有し、動きクラスは４つのカテゴリを有し、ＡＤＲＣクラスは８つのカテゴリを有し、このカテゴリは、通常、式１１に基づいて半減される。各クラスは、ＦＩＧ．１９に示す各メモリアドレスに対応する。この具体例においては、例えばＦＩＧ．１２〜ＦＩＧ．１５に示すフィルタ定義に応じて、１４個の係数が各クラスＩＤアドレスに格納されている。
【００８２】
本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真（photographs）又はその他の２次元静止画像、ホログラム又はその他の３次元静止画像、ビデオ又はその他の２次元動画像、３次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。ＦＩＧ．２１は、本発明に基づき、オーディオ信号に適応される分類の具体例を示す図である。例示的に示されるオーディオ信号２１０１は、１つ以上の時点ｔ０〜ｔ８においてモニタ（monitor）される。時点ｔ０〜ｔ８におけるオーディオ信号２１０１のレベルは、タップ点Ｘ０〜Ｘ８により与えられる。オーディオ信号２１０１のダイナミックレンジは、最低レベルであるタップ点Ｘ０のレベルと、最高レベルであるタップ点Ｘ４のレベルとの間の差分により求められる。例えば、時点ｔ４においてエラーを含むデータを回復する場合、ＡＤＲＣ分類等の空間分類と、ダイナミックレンジ分類等の空間的アクティビティ分類とによるマルティプル分類を適用することができる。ダイナミックレンジ分類は、式１０に示す動き分類処理と類似する方法でダイナミックレンジを閾値と比較することにより実現される。上述のように、動き分類、エラー分類及び空間分類等を含む分類をマルティプル分類と呼ぶ。例えばビデオデータ等の汎用アプリケーションのために、マルティプル分類に空間的アクティビティ分類を導入してもよい。ダイナミックレンジに加えて、標準偏差、ラプラス値、空間傾斜値等を空間的アクティビティ分類に導入することもできる。
【００８３】
本発明では、上述の技術を適用した分類適応誤り回復法を用いることにより、エラーを含むデータに対する誤り回復処理の質が向上する。本発明は、データの置換に対する劣化を最小化して、劣化したデータを劣化のないデータに復元する方法を提供する。
【００８４】
本発明を特定の装置環境における具体例により説明したが、添付した請求の範囲に基づく本発明の思想及び範囲から逸脱することなく、変形された、この他の又は異なるハードウェア及びソフトウェア環境により本発明を実現できることは、当業者にとって明らかである。
【図面の簡単な説明】
【図１】 ＦＩＧ．１Ａ〜ＦＩＧ．１Ｃは、従来の誤り回復法、フィルタタップ及び傾斜値と補間フィルタ間の対応関係を示す図である。
【図２】 ＦＩＧ．２Ａは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図３】 ＦＩＧ．２Ｂは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図４】 ＦＩＧ．２Ｃ及びＦＩＧ．２Ｄは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図５】 ＦＩＧ．２Ｅは、本発明を適応した分類適応誤り回復法のフローチャートである。
【図６】 ＦＩＧ．２Ｆ及びＦＩＧ．２Ｇは、本発明を適用した動き補償処理を説明する図である。
【図７】 ＦＩＧ．２Ｈは、本発明を適用した動き補償処理を説明する図である。
【図８】 ＦＩＧ．２Ｉは、本発明を適用した動き補償処理を説明する図である。
【図９】 ＦＩＧ．２Ｊは、本発明に基づく動きベクトルフィールドを説明する図である。
【図１０】 ＦＩＧ．３は、本発明に基づく動きクラスタップを示す図である。
【図１１】 ＦＩＧ．４は、本発明に基づくエラークラスタップを示す図である。
【図１２】 ＦＩＧ．５は、本発明に基づく空間クラスタップを示す図であり、ＦＩＧ．６は、エラークラス０に対応する空間クラスタップを示す図である。
【図１３】 ＦＩＧ．７は、エラークラス１に対応する空間クラスタップを示す図であり、ＦＩＧ．８は、エラークラス２に対応する空間クラスタップを示す図である。
【図１４】 ＦＩＧ．９は、エラークラス３に対応する空間クラスタップを示す図である。
【図１５】 ＦＩＧ．１０は、本発明に基づく適応フィルタタップを示す図である。
【図１６】 ＦＩＧ．１１は、本発明に基づく動きクラス適応フィルタタップを示す図である。
【図１７】 ＦＩＧ．１２は、エラークラス０に対応する動きクラス適応フィルタタップを示す図である。
【図１８】 ＦＩＧ．１３は、エラークラス１に対応する動きクラス適応フィルタタップを示す図である。
【図１９】 ＦＩＧ．１４は、エラークラス２に対応する動きクラス適応フィルタタップを示す図である。
【図２０】 ＦＩＧ．１５は、エラークラス３に対応する動きクラス適応フィルタタップを示す図である。
【図２１】 ＦＩＧ．１６は、本発明に基づく前処理のアルゴリズムを示す図である。
【図２２】 ＦＩＧ．１７は、本発明に基づく、動きタップ及び静止タップに対する前処理のアルゴリズムを示す図である。
【図２３】 ＦＩＧ．１８Ａは、本発明に基づく装置のブロック図である。
【図２４】 ＦＩＧ．１８Ｂは、本発明に基づく装置のブロック図である。
【図２５】 ＦＩＧ．１９は、本発明に基づく係数メモリの内容を示す図である。
【図２６】 ＦＩＧ．２０は、本発明に基づく４タップ１ビットＡＤＲＣにおけるＡＤＲＣクラス削減を説明する図である。
【図２７】 ＦＩＧ．２１は、オーディオ信号に対する本発明に基づく適応分類の具体例を示す図である。

Claims (52)

  1. 非静止データを含む劣化した入力信号を復元する信号復元方法において、 上記劣化した入力信号の動きベクトルを検出するステップと、
    上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするステップと、
    上記劣化した入力信号の劣化したデータ点を検出するステップと、
    そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するステップと、
    異なるクラスの組合せを表すマルティプル分類ＩＤを生成するステップと、
    上記マルティプル分類ＩＤに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
    上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するステップと、
    を有する信号復元方法。
  2. 上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項１記載の信号復元方法。
  3. 上記フィルタリングのためのデータ点は、劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項１記載の信号復元方法。
  4. 上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項１記載の信号復元方法。
  5. 上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項１記載の信号復元方法。
  6. ２以上の分類法を用いて、劣化したデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを更に有する請求項１記載の信号復元方法。
  7. 上記マルティプル分類ＩＤは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項２記載の信号復元方法。
  8. 上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項６記載の信号復元方法。
  9. 上記劣化した入力信号は、２次元静止画像、ホログラム画像、３次元静止画像、映像、２次元動画像、３次元動画像、モノラル音声、Ｎチャンネル音声からなるグループから選択されるデータを含むことを特徴とする請求項１記載の信号復元方法。
  10. 上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するステップを更に有する請求項１記載の信号復元方法。
  11. 劣化したデータ点を復元するデータ点復元方法において、
    空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームとして劣化した入力信号を受信するステップと、
    上記ストリームのデータ点を動き補償されたストリームに前処理するステップと、
    上記ストリームから復元すべきターゲット点を選択するステップと、
    そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに従って上記ターゲットデータ点を分類するステップと、
    異なるクラスの組合せを表すマルティプル分類ＩＤを生成するステップと、
    上記マルティプル分類ＩＤと上記動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するステップとを有し、
    上記推定するステップは、
    上記マルティプル分類ＩＤに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
    上記マルティプル分類ＩＤに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも１つのタップデータ点を選択するステップと、
    上記選択されたフィルタ係数に従って上記少なくとも１つのタップデータ点をフィルタリングするステップとを有するデータ点復元方法。
  12. 上記ストリームは、２次元静止画像、ホログラム画像、３次元静止画像、映像、２次元動画像、３次元動画像、モノラル音声、Ｎチャンネル音声からなるグループから選択される情報を表すことを特徴とする請求項１１記載のデータ点復元方法。
  13. 上記前処理するステップは、
    上記ターゲットデータ点に対応する動きベクトルを検出するステップと、
    上記動きベクトルに基づいて上記ストリームのデータ点をシフトするステップとを有することを特徴とする請求項１１記載のデータ点復元方法。
  14. 上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項１３記載のデータ点復元方法。
  15. 上記少なくとも１つのタップデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項１１記載のデータ点復元方法。
  16. 上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項１３記載のデータ点復元方法。
  17. 上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項１３記載のデータ点復元方法。
  18. ２以上の分類法を用いて、上記ターゲットデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを更に有することを特徴とする請求項１１記載のデータ点復元方法。
  19. 上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項１８記載のデータ点復元方法。
  20. 上記空間−時間関係は、近接するフィールド、近接するフレーム、及び同じフィールド内の空間的な近接からなるグループから選択されることを特徴とする請求項１１記載のデータ点復元方法。
  21. 上記マルティプル分類ＩＤは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項１１記載のデータ点復元方法。
  22. 非静止データを含む劣化した入力信号を復元する信号復元装置において、
    上記劣化した入力信号の動きベクトルを検出するように構成された動きベクトル検出器と、
    上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするように構成されたシフトロジックと、
    上記劣化した入力信号の劣化したデータ点を検出し、そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類し、異なるクラスの組合せを表すマルティプル分類ＩＤを生成し、上記マルティプル分類ＩＤに従ってフィルタ係数を選択するように構成されたクラス生成器であって、該フィルタ係数を、単一のフィルタ係数を上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることにより選択するように構成されたクラス生成器と、
    上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するように構成されたフィルタとを備える信号復元装置。
  23. 上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するように構成された選択器を更に備える請求項２２記載の信号復元装置。
  24. 劣化したデータ点を復元するデータ点復元装置において、
    空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームとして劣化した入力信号を受信する手段と、
    上記ストリームを動き補償されたストリームに前処理するように構成された前処理手段と、
    上記ストリームから復元すべきターゲットデータ点を選択し、そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類し、異なるクラスの組合せを表すマルティプル分類ＩＤを生成し、上記マルティプル分類ＩＤに従ってフィルタ係数を選択するように構成されたクラス生成器であって、該フィルタ係数を、単一のフィルタ係数を上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることにより選択するように構成されたクラス生成器と、
    上記マルティプル分類ＩＤと動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するように構成されたフィルタと、
    を備え、
    上記フィルタは、上記マルティプル分類ＩＤに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも１つのタップデータ点を選択することにより、且つ上記選択されたフィルタ係数に従って上記少なくとも１つのタップデータ点をフィルタリングすることにより上記値を推定するように構成されたことを特徴とするデータ点復元装置。
  25. 処理システムにより実行されて、非静止データを含む劣化した入力信号を復元する信号復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該信号復元方法は、
    上記劣化した入力信号の動きベクトルを検出するステップと、
    上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするステップと、
    上記劣化した入力信号の劣化したデータ点を検出するステップと、
    そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するステップと、
    異なるクラスの組合せを表すマルティプル分類ＩＤを生成するステップと、
    上記マルティプル分類ＩＤに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
    上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するステップと、
    を有することを特徴とするコンピュータにより読取可能な媒体。
  26. 上記動きベクトルを検出するステップは、劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
  27. 上記フィルタリングのためのデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
  28. 上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
  29. 上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
  30. 上記処理システムにより実行されて、２以上の分類法を用いて、劣化したデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを実行する命令を更に有する請求項２５記載のコンピュータにより読取可能な媒体。
  31. 上記マルティプル分類ＩＤは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
  32. 上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項３０記載のコンピュータにより読取可能な媒体。
  33. 上記劣化した入力信号は、２次元静止画像、ホログラム画像、３次元静止画像、映像、２次元動画像、３次元動画像、モノラル音声、Ｎチャンネル音声からなるグループから選択されるデータを含むことを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
  34. 処理システムにより実行されて、劣化した入力信号を復元する信号復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該信号復元方法は、
    上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するステップとを有する請求項２５記載のコンピュータにより読取可能な媒体。
  35. 処理システムにより実行されて、劣化したデータ点を復元するデータ点復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該データ点復元方法は、
    空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームして劣化した入力信号を受信するステップと、
    上記ストリームのデータ点を動き補償されたストリームに前処理するステップと、
    上記ストリームから復元すべきターゲット点を選択するステップと、
    そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに従って上記ターゲットデータ点を分類するステップと、
    異なるクラスの組合せを表すマルティプル分類ＩＤを生成するステップと、
    上記マルティプル分類ＩＤと上記動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するステップとを有し、
    上記推定するステップは、
    上記マルティプル分類ＩＤに従ってフィルタ係数を選択するステップであって、単一 のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
    上記マルティプル分類ＩＤに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも１つのタップデータ点を選択するステップと、
    上記選択されたフィルタ係数に従って上記少なくとも１つのタップデータ点をフィルタリングするステップとを有するコンピュータにより読取可能な媒体。
  36. 上記ストリームは、２次元静止画像、ホログラム画像、３次元静止画像、映像、２次元動画像、３次元動画像、モノラル音声、Ｎチャンネル音声からなるグループから選択される情報を表すことを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
  37. 上記前処理するステップは、
    上記ターゲットデータ点に対応する動きベクトルを検出するステップと、
    上記動きベクトルに基づいて上記ストリームのデータ点をシフトするステップとを有することを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
  38. 上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項３７記載のコンピュータにより読取可能な媒体。
  39. 上記少なくとも１つのタップデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
  40. 上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項３７記載のコンピュータにより読取可能な媒体。
  41. 上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項３７記載のコンピュータにより読取可能な媒体。
  42. ２以上の分類法を用いて、上記ターゲットデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを実行する命令を更に有する請求項３５記載のコンピュータにより読取可能な媒体。
  43. 上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項４２記載のコンピュータにより読取可能な媒体。
  44. 上記空間−時間関係は、近接するフィールド、近接するフレーム、及び同じフィールド内の空間的な近接からなるグループから選択されることを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
  45. 上記マルティプル分類ＩＤは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択される複数のクラスから生成されることを特徴とする請求項３５記載のコンピュータにより読取可能な媒体。
  46. 非静止データを含む劣化した入力信号を復元する信号復元装置において、
    上記劣化した入力信号の動きベクトルを検出するように構成された動きベクトル検出ロジックと、
    上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするように構成されたシフトロジックと、
    上記劣化した入力信号の劣化したデータ点を検出するように構成されたデータ点検出ロジックと、
    そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するように構成された分類ロジックと、
    異なるクラスの組合せを表すマルティプル分類ＩＤを生成するように構成された生成ロジックと、
    上記マルティプル分類ＩＤに従ってフィルタ係数を選択するように構成された選択ロジックであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てるように構成された選択ロジックと、
    上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するように構成された生成ロジックと、
    を備える信号復元装置。
  47. 上記動きベクトル検出ロジックは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定することを特徴とする請求項４６記載の信号復元装置。
  48. 上記フィルタリングのためのデータは、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項４６記載の信号復元装置。
  49. 上記動きベクトル検出ロジックは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより動きベクトルを検出することを特徴とする請求項４６記載の信号復元装置。
  50. 上記シフトロジックは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するように更に構成されたことを特徴とする請求項４６記載の信号復元装置。
  51. 上記生成ロジックは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスからマルティプル分類ＩＤを生成するように構成されたことを特徴とする請求項４６記載の信号復元装置。
  52. 劣化した入力信号を復元する信号復元装置において、
    上記劣化のないデータ点及び劣化した入力信号に対応する劣化のない信号を出力する出力ロジックを更に備える請求項４６記載の信号復元装置。
JP2001526799A 1999-09-24 2000-08-22 分類適応誤り回復方法及び装置 Expired - Fee Related JP4222753B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/405,819 US6522785B1 (en) 1999-09-24 1999-09-24 Classified adaptive error recovery method and apparatus
US09/405,819 1999-09-24
PCT/US2000/023035 WO2001024105A1 (en) 1999-09-24 2000-08-22 Classified adaptive error recovery method and apparatus

Publications (2)

Publication Number Publication Date
JP2003526233A JP2003526233A (ja) 2003-09-02
JP4222753B2 true JP4222753B2 (ja) 2009-02-12

Family

ID=23605383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001526799A Expired - Fee Related JP4222753B2 (ja) 1999-09-24 2000-08-22 分類適応誤り回復方法及び装置

Country Status (6)

Country Link
US (1) US6522785B1 (ja)
JP (1) JP4222753B2 (ja)
AU (1) AU6797200A (ja)
DE (1) DE10085028T1 (ja)
GB (1) GB2371939B (ja)
WO (1) WO2001024105A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101001462B1 (ko) * 2002-08-19 2010-12-14 소니 주식회사 화상 처리 장치 및 방법, 영상 표시 장치와 기록 정보재생 장치
US6898328B2 (en) 2002-10-23 2005-05-24 Sony Corporation Method and apparatus for adaptive pixel estimation under high error rate conditions
KR100505663B1 (ko) * 2003-01-02 2005-08-03 삼성전자주식회사 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법
EP1665780A1 (en) * 2003-09-04 2006-06-07 Koninklijke Philips Electronics N.V. Robust de-interlacing of video signals
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
US8674855B2 (en) * 2006-01-13 2014-03-18 Essex Pa, L.L.C. Identification of text
US7783079B2 (en) * 2006-04-07 2010-08-24 Monro Donald M Motion assisted data enhancement
US7586424B2 (en) * 2006-06-05 2009-09-08 Donald Martin Monro Data coding using an exponent and a residual
US20080205505A1 (en) * 2007-02-22 2008-08-28 Donald Martin Monro Video coding with motion vectors determined by decoder
KR20090000502A (ko) * 2007-06-28 2009-01-07 삼성전자주식회사 손실된 블록의 주변 블록 특성에 적응적인 에러 은닉 방법및 장치
US7864086B2 (en) * 2008-10-06 2011-01-04 Donald Martin Monro Mode switched adaptive combinatorial coding/decoding for electrical computers and digital data processing systems
US7786903B2 (en) * 2008-10-06 2010-08-31 Donald Martin Monro Combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems
US7786907B2 (en) * 2008-10-06 2010-08-31 Donald Martin Monro Combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems
US7791513B2 (en) * 2008-10-06 2010-09-07 Donald Martin Monro Adaptive combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems
US9836831B1 (en) * 2014-07-30 2017-12-05 Google Inc. Simulating long-exposure images

Family Cites Families (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3311879A (en) 1963-04-18 1967-03-28 Ibm Error checking system for variable length data
US3805232A (en) 1972-01-24 1974-04-16 Honeywell Inf Systems Encoder/decoder for code words of variable length
FR2387557A1 (fr) 1977-04-14 1978-11-10 Telediffusion Fse Systemes de reduction de visibilite du bruit sur des images de television
DE2952315A1 (de) 1979-12-24 1981-07-02 Fried. Krupp Gmbh, 4300 Essen Verfahren zur darstellung einer gefechtslage
GB2073534B (en) 1980-04-02 1984-04-04 Sony Corp Error concealment in digital television signals
GB2084432A (en) 1980-09-18 1982-04-07 Sony Corp Error concealment in digital television signals
GB2121642B (en) 1982-05-26 1985-11-27 Sony Corp Error concealment in digital television signals
US4532628A (en) 1983-02-28 1985-07-30 The Perkin-Elmer Corporation System for periodically reading all memory locations to detect errors
US4574393A (en) 1983-04-14 1986-03-04 Blackwell George F Gray scale image processor
GB2163619A (en) 1984-08-21 1986-02-26 Sony Corp Error concealment in digital television signals
JPH0746864B2 (ja) 1984-08-22 1995-05-17 ソニー株式会社 高能率符号化装置
GB2164521B (en) 1984-09-18 1988-02-03 Sony Corp Error concealment in digital television signals
CA1251555A (en) 1984-12-19 1989-03-21 Tetsujiro Kondo High efficiency technique for coding a digital video signal
JPH0793724B2 (ja) 1984-12-21 1995-10-09 ソニー株式会社 テレビジョン信号の高能率符号化装置及び符号化方法
WO1987002210A1 (en) 1985-10-02 1987-04-09 Deutsche Thomson-Brandt Gmbh Process for correcting transmission errors
JP2512894B2 (ja) 1985-11-05 1996-07-03 ソニー株式会社 高能率符号化／復号装置
JP2670259B2 (ja) 1985-11-29 1997-10-29 ソニー株式会社 高能率符号化装置
JPH0746862B2 (ja) 1985-11-30 1995-05-17 ソニー株式会社 駒落とし圧縮符号化及び復号化方法
JP2612557B2 (ja) 1985-12-18 1997-05-21 ソニー株式会社 データ伝送受信システム及びデータ復号装置
JPS62231569A (ja) 1986-03-31 1987-10-12 Fuji Photo Film Co Ltd 予測誤差の量子化方法
JP2751201B2 (ja) 1988-04-19 1998-05-18 ソニー株式会社 データ伝送装置及び受信装置
JP2508439B2 (ja) 1987-05-29 1996-06-19 ソニー株式会社 高能率符号化装置
ATE74219T1 (de) 1987-06-02 1992-04-15 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
US5122873A (en) 1987-10-05 1992-06-16 Intel Corporation Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels
US5093872A (en) 1987-11-09 1992-03-03 Interand Corporation Electronic image compression method and apparatus using interlocking digitate geometric sub-areas to improve the quality of reconstructed images
EP0322956B1 (en) 1987-12-22 1994-08-03 Koninklijke Philips Electronics N.V. Video encoding and decoding using an adpative filter
JP2629238B2 (ja) 1988-02-05 1997-07-09 ソニー株式会社 復号装置及び復号方法
US4953023A (en) 1988-09-29 1990-08-28 Sony Corporation Coding apparatus for encoding and compressing video data
JP2900385B2 (ja) 1988-12-16 1999-06-02 ソニー株式会社 フレーム化回路及び方法
US5150210A (en) 1988-12-26 1992-09-22 Canon Kabushiki Kaisha Image signal restoring apparatus
KR960008400B1 (en) 1989-01-18 1996-06-26 Sanyo Electric Co Decoder for subsampled video signal
JP3018366B2 (ja) 1989-02-08 2000-03-13 ソニー株式会社 ビデオ信号処理回路
JPH02248161A (ja) 1989-03-20 1990-10-03 Fujitsu Ltd データ伝送方式
US5185746A (en) 1989-04-14 1993-02-09 Mitsubishi Denki Kabushiki Kaisha Optical recording system with error correction and data recording distributed across multiple disk drives
JPH02280462A (ja) 1989-04-20 1990-11-16 Fuji Photo Film Co Ltd 画像データ圧縮方法
DE69031638T2 (de) 1989-05-19 1998-03-19 Canon Kk System zum Übertragen von Bildinformation
US5208816A (en) 1989-08-18 1993-05-04 At&T Bell Laboratories Generalized viterbi decoding algorithms
JPH03141752A (ja) 1989-10-27 1991-06-17 Hitachi Ltd 画像信号伝送方法
JP2533393B2 (ja) 1990-02-16 1996-09-11 シャープ株式会社 Ｎｔｓｃ―ｈｄコンバ―タ
US5166987A (en) 1990-04-04 1992-11-24 Sony Corporation Encoding apparatus with two stages of data compression
US5101446A (en) 1990-05-31 1992-03-31 Aware, Inc. Method and apparatus for coding an image
JPH0474063A (ja) 1990-07-13 1992-03-09 Matsushita Electric Ind Co Ltd 画像の符号化方法
JP2650472B2 (ja) 1990-07-30 1997-09-03 松下電器産業株式会社 ディジタル信号記録装置およびディジタル信号記録方法
JP2969867B2 (ja) 1990-08-31 1999-11-02 ソニー株式会社 ディジタル画像信号の高能率符号化装置
GB9019538D0 (en) 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5416651A (en) 1990-10-31 1995-05-16 Sony Corporation Apparatus for magnetically recording digital data
US5243428A (en) 1991-01-29 1993-09-07 North American Philips Corporation Method and apparatus for concealing errors in a digital television
US5636316A (en) 1990-12-05 1997-06-03 Hitachi, Ltd. Picture signal digital processing unit
EP0493128B1 (en) 1990-12-28 1999-06-23 Canon Kabushiki Kaisha Image processing apparatus
JP2906671B2 (ja) 1990-12-28 1999-06-21 ソニー株式会社 ディジタルビデオ信号の高能率符号化装置およびその方法
US5327502A (en) 1991-01-17 1994-07-05 Sharp Kabushiki Kaisha Image coding system using an orthogonal transform and bit allocation method suitable therefor
DE69230922T2 (de) 1991-01-17 2000-11-30 Mitsubishi Denki K.K., Tokio/Tokyo Videosignalkodierer mit Blockvertauschungstechnik
US5455629A (en) 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
JP3125451B2 (ja) 1991-11-05 2001-01-15 ソニー株式会社 信号処理方法
JPH04358486A (ja) 1991-06-04 1992-12-11 Toshiba Corp 高能率符号化信号処理装置
JP2766919B2 (ja) 1991-06-07 1998-06-18 三菱電機株式会社 ディジタル信号記録再生装置、ディジタル信号記録装置、ディジタル信号再生装置
US5263026A (en) 1991-06-27 1993-11-16 Hughes Aircraft Company Maximum likelihood sequence estimation based equalization within a mobile digital cellular receiver
JP3141896B2 (ja) 1991-08-09 2001-03-07 ソニー株式会社 ディジタルビデオ信号の記録装置
DE69217150T2 (de) 1991-09-30 1997-07-17 Philips Electronics Nv Bewegungsvektorschätzung, Bewegungsbildkodierung- und -speicherung
JPH05103309A (ja) 1991-10-04 1993-04-23 Canon Inc 情報伝送方法及び装置
US5398078A (en) 1991-10-31 1995-03-14 Kabushiki Kaisha Toshiba Method of detecting a motion vector in an image coding apparatus
US5400076A (en) 1991-11-30 1995-03-21 Sony Corporation Compressed motion picture signal expander with error concealment
JP3278881B2 (ja) 1991-12-13 2002-04-30 ソニー株式会社 画像信号生成装置
US5473479A (en) 1992-01-17 1995-12-05 Sharp Kabushiki Kaisha Digital recording and/or reproduction apparatus of video signal rearranging components within a fixed length block
JP3360844B2 (ja) 1992-02-04 2003-01-07 ソニー株式会社 ディジタル画像信号の伝送装置およびフレーム化方法
JPH05236427A (ja) 1992-02-25 1993-09-10 Sony Corp 画像信号の符号化装置及び符号化方法
US5247363A (en) 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
US5307175A (en) 1992-03-27 1994-04-26 Xerox Corporation Optical image defocus correction
US6164540A (en) 1996-05-22 2000-12-26 Symbol Technologies, Inc. Optical scanners
JP3259323B2 (ja) 1992-04-13 2002-02-25 ソニー株式会社 デ・インターリーブ回路
US5325203A (en) 1992-04-16 1994-06-28 Sony Corporation Adaptively controlled noise reduction device for producing a continuous output
JP3438233B2 (ja) 1992-05-22 2003-08-18 ソニー株式会社 画像変換装置および方法
JP2976701B2 (ja) 1992-06-24 1999-11-10 日本電気株式会社 量子化ビット数割当方法
US5359694A (en) 1992-07-27 1994-10-25 Teknekron Communications Systems, Inc. Method and apparatus for converting image data
US5438369A (en) 1992-08-17 1995-08-01 Zenith Electronics Corporation Digital data interleaving system with improved error correctability for vertically correlated interference
US5481554A (en) 1992-09-02 1996-01-02 Sony Corporation Data transmission apparatus for transmitting code data
US5238318A (en) 1992-09-02 1993-08-24 Chen Yao K Control apparatus for a typing/reading aid device
JPH06153180A (ja) 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
JPH06121192A (ja) 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
DE596826T1 (de) 1992-11-06 1994-10-06 Gold Star Co Mischungsverfahren für ein digitales Videobandaufzeichnungsgerät.
US5689302A (en) 1992-12-10 1997-11-18 British Broadcasting Corp. Higher definition video signals from lower definition sources
JP3165296B2 (ja) 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US5477276A (en) 1992-12-17 1995-12-19 Sony Corporation Digital signal processing apparatus for achieving fade-in and fade-out effects on digital video signals
JPH06205386A (ja) 1992-12-28 1994-07-22 Canon Inc 画像再生装置
US5805762A (en) 1993-01-13 1998-09-08 Hitachi America, Ltd. Video recording device compatible transmitter
US5416847A (en) 1993-02-12 1995-05-16 The Walt Disney Company Multi-band, digital audio noise filter
US5737022A (en) 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
JP3259428B2 (ja) 1993-03-24 2002-02-25 ソニー株式会社 ディジタル画像信号のコンシール装置及び方法
KR100261072B1 (ko) 1993-04-30 2000-07-01 윤종용 디지털 신호처리시스템
KR940026915A (ko) 1993-05-24 1994-12-10 오오가 노리오 디지탈 비디오신호 기록장치 및 재생장치 및 기록방법
GB2280812B (en) 1993-08-05 1997-07-30 Sony Uk Ltd Image enhancement
US5499057A (en) 1993-08-27 1996-03-12 Sony Corporation Apparatus for producing a noise-reducded image signal from an input image signal
US5406334A (en) 1993-08-30 1995-04-11 Sony Corporation Apparatus and method for producing a zoomed image signal
KR960012931B1 (ko) 1993-08-31 1996-09-25 대우전자 주식회사 분류 벡터 양자화된 영상의 채널 오류 은폐 방법
JPH0779424A (ja) 1993-09-06 1995-03-20 Hitachi Ltd 多地点映像通信装置
US5663764A (en) 1993-09-30 1997-09-02 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
JP3590996B2 (ja) 1993-09-30 2004-11-17 ソニー株式会社 ディジタル画像信号の階層符号化および復号装置
JP3495766B2 (ja) 1993-10-01 2004-02-09 テキサス インスツルメンツ インコーポレイテツド 画像処理方法
US5546130A (en) 1993-10-11 1996-08-13 Thomson Consumer Electronics S.A. Method and apparatus for forming a video signal using motion estimation and signal paths with different interpolation processing
JP2862064B2 (ja) 1993-10-29 1999-02-24 三菱電機株式会社 データ復号装置及びデータ受信装置及びデータ受信方法
KR100269213B1 (ko) 1993-10-30 2000-10-16 윤종용 오디오신호의부호화방법
US5617333A (en) 1993-11-29 1997-04-01 Kokusai Electric Co., Ltd. Method and apparatus for transmission of image data
JP3271108B2 (ja) 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
JPH07203428A (ja) 1993-12-28 1995-08-04 Canon Inc 画像処理方法及び装置
JP3321972B2 (ja) 1994-02-15 2002-09-09 ソニー株式会社 ディジタル信号記録装置
JP3266416B2 (ja) 1994-04-18 2002-03-18 ケイディーディーアイ株式会社 動き補償フレーム間符号化復号装置
JP3161217B2 (ja) 1994-04-28 2001-04-25 松下電器産業株式会社 画像符号化記録装置および記録再生装置
JP3336754B2 (ja) 1994-08-19 2002-10-21 ソニー株式会社 デジタルビデオ信号の記録方法及び記録装置
WO1996007987A1 (fr) 1994-09-09 1996-03-14 Sony Corporation Circuit integre pour le traitement des signaux numeriques
US5577053A (en) 1994-09-14 1996-11-19 Ericsson Inc. Method and apparatus for decoder optimization
JPH08140091A (ja) 1994-11-07 1996-05-31 Kokusai Electric Co Ltd 画像伝送システム
US5594807A (en) 1994-12-22 1997-01-14 Siemens Medical Systems, Inc. System and method for adaptive filtering of images based on similarity between histograms
US5852470A (en) 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US6018317A (en) 1995-06-02 2000-01-25 Trw Inc. Cochannel signal processing system
US5724396A (en) 1995-06-07 1998-03-03 Discovision Associates Signal processing system
US5946044A (en) 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
FR2736743B1 (fr) 1995-07-10 1997-09-12 France Telecom Procede de controle de debit de sortie d'un codeur de donnees numeriques representatives de sequences d'images
JP3617879B2 (ja) 1995-09-12 2005-02-09 株式会社東芝 実時間ストリームサーバのディスク修復方法及びディスク修復装置
KR0155900B1 (ko) 1995-10-18 1998-11-16 김광호 위상에러검출방법 및 위상 트래킹 루프회로
KR970025184A (ko) 1995-10-26 1997-05-30 김광호 예측매크로블럭 변환을 이용한 동화상 복호기
KR100197366B1 (ko) 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
KR100196872B1 (ko) 1995-12-23 1999-06-15 전주범 영상 복화화 시스템의 영상 에러 복구 장치
JPH09212650A (ja) * 1996-02-05 1997-08-15 Sony Corp 動きベクトル検出装置および検出方法
US5778097A (en) 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
KR100242636B1 (ko) 1996-03-23 2000-02-01 윤종용 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
JP3876392B2 (ja) 1996-04-26 2007-01-31 富士通株式会社 動きベクトル探索方法
US5751862A (en) 1996-05-08 1998-05-12 Xerox Corporation Self-timed two-dimensional filter
US6134269A (en) 1996-09-25 2000-10-17 At&T Corp Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
KR100196840B1 (ko) 1996-12-27 1999-06-15 전주범 영상복호화시스템에 있어서 비트에러복원장치
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6137915A (en) 1998-08-20 2000-10-24 Sarnoff Corporation Apparatus and method for error concealment for hierarchical subband coding and decoding
US6151416A (en) 1999-02-12 2000-11-21 Sony Corporation Method and apparatus for adaptive class tap selection according to multiple classification
US6192161B1 (en) 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class

Also Published As

Publication number Publication date
JP2003526233A (ja) 2003-09-02
DE10085028T1 (de) 2002-09-12
WO2001024105A1 (en) 2001-04-05
AU6797200A (en) 2001-04-30
US6522785B1 (en) 2003-02-18
GB2371939B (en) 2004-02-25
GB0208311D0 (en) 2002-05-22
GB2371939A (en) 2002-08-07

Similar Documents

Publication Publication Date Title
US6192161B1 (en) Method and apparatus for adaptive filter tap selection according to a class
JP4222753B2 (ja) 分類適応誤り回復方法及び装置
US6351494B1 (en) Classified adaptive error recovery method and apparatus
JP4444252B2 (ja) 広域−局所ブロック動き推定用の方法及び装置
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6151416A (en) Method and apparatus for adaptive class tap selection according to multiple classification
US6754371B1 (en) Method and apparatus for past and future motion classification
US6621936B1 (en) Method and apparatus for spatial class reduction
JP5014987B2 (ja) ビデオモード検出による動き補償
JP2002536935A5 (ja)
US6307979B1 (en) Classified adaptive error recovery method and apparatus
Gangal et al. An improved motion-compensated restoration method for damaged color motion picture films
JP2002223374A (ja) ノイズ除去装置およびノイズ除去方法
US6519369B1 (en) Method and apparatus for filter tap expansion
US6418548B1 (en) Method and apparatus for preprocessing for peripheral erroneous data
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JP3861325B2 (ja) 動きベクトル検出装置および検出方法
JP3651093B2 (ja) 動きベクトル検出装置および方法
Pai Review on Deinterlacing Algorithms
JPH09231374A (ja) 動きベクトル検出装置および検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050803

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080521

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080521

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081118

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees