JP4222753B2 - 分類適応誤り回復方法及び装置 - Google Patents
分類適応誤り回復方法及び装置 Download PDFInfo
- Publication number
- JP4222753B2 JP4222753B2 JP2001526799A JP2001526799A JP4222753B2 JP 4222753 B2 JP4222753 B2 JP 4222753B2 JP 2001526799 A JP2001526799 A JP 2001526799A JP 2001526799 A JP2001526799 A JP 2001526799A JP 4222753 B2 JP4222753 B2 JP 4222753B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- data points
- degraded
- data
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 230000003044 adaptive effect Effects 0.000 title claims description 71
- 238000011084 recovery Methods 0.000 title claims description 53
- 239000013598 vector Substances 0.000 claims abstract description 97
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 19
- 230000015556 catabolic process Effects 0.000 claims description 13
- 238000006731 degradation reaction Methods 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 10
- 238000013139 quantization Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 35
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000009826 distribution Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Control Of Metal Rolling (AREA)
- Complex Calculations (AREA)
- Picture Signal Circuits (AREA)
Description
本発明の技術分野
本発明は、画像信号、音声信号又はその他の関連付けられた信号の処理に関し、特に、劣化した信号を劣化のない信号に復元する方法、装置及び製品に関する。
【0002】
本発明の背景技術
従来、画質が劣化した画像を復元するためには、劣化の原因を分析し、劣化モデル関数(deterioration model function)を決定し、この関数の逆関数を劣化した画像に適用する必要があった。劣化の原因としては、例えばカメラ(ビデオカメラ等の撮像装置)の一定の動き及びカメラの光学素子の汚れ等の原因がある。したがって、画像を復元するために、劣化の原因に応じて異なるモデル関数が使用される。ここで、劣化の原因が解明されないと、モデル関数を決定することができないため、劣化した画像を復元することは困難である。
【0003】
さらに、劣化に関するモデル関数を確立しても、復元に必要なそのモデル関数に対応する逆関数が存在しない場合もある。このような場合、最適なモデルを決定するための評価を行うことは困難である。
【0004】
従来、相関推定(correlation evaluation)による誤り回復(error recovery)が行われている。例えば、従来のエラー画素回復法(error pixel recovery method)を用いた回復選択(recovery choices)が行われている。従来の誤り回復装置のブロック図をFIG.1Aに示す。ここでは、FIG.1Bに示す隣接するデータを用いて、ターゲットデータの空間的傾斜(spatial inclinations)が検出される。この例では、FIG.1Cに示す式に基づいて、4つの方向に関する傾斜が評価される。ここで、傾斜値(inclination value)Eiの4つの値のうち、最小の値に対応する補間フィルタが選択される。さらに、誤り回復のために、空間的傾斜に加えて、動き係数も評価される。動きのある領域については、選択された空間フィルタが誤り回復に使用される。一方、動きのない領域については、ターゲットデータと同じ位置の前フレーム内のデータが誤り回復に使用される。評価は、FIG.1Aに示す評価回路111により実行される。
【0005】
FIG.1A〜FIG.1Cに示す従来の誤り回復処理は、特にオブジェクトの端部において、データの置換(changing data)に関する重大な劣化を生じさせることがある。実際の信号分布は、通常、広範囲に変化するため、このような問題は生じやすい。したがって、劣化した信号を劣化のない信号に復元する手法において、データの置換に関する劣化を最小化する手法が望まれている。
発明の開示
本発明は、劣化した信号を劣化のない信号に復元するための方法、装置及び製品(article of manufacture)を提供する。劣化した信号は、複数の劣化したデータ点及び劣化していないデータ点を含む。各劣化したデータ点に対して、その劣化したデータ点を含む領域の特性に基づいて、複数のクラスの種類が生成される。データ点は、複数のクラスの種類のうちの1つに関して分類され、対応する入力信号クラスに割り当てられる。入力信号の分類結果に基づき、入力信号を適応的にフィルタリングすることにより、劣化のない信号が生成される。複数のクラスの種類を生成するために、2以上の分類法を使用してもよい。生成されるクラスには、例えば動きクラス、エラークラス、空間クラス、空間的アクティビティクラス等が含まれる。適応クラスタップ構造を用いて、複数のクラスの種類を生成してもよい。適応フィルタタップ構造は、対応する複数のクラスの種類基づいて使用してもよい。フィルタ係数の数を削減するために、フィルタタップ拡張を用いてもよい。劣化した入力信号は、周辺のエラーを含むデータを前処理することにより変形してもよい。空間クラスは、空間的対称性に基づいて、変形してもよい。
【0006】
実施の形態の詳細な説明
以下の本発明の具体例の説明においては、本出願の一部として添付され、本発明を実現する特定の実施の形態を例示的に示した図面を参照する。ここで、本発明の範囲を逸脱することなく、他の実施の形態を用いてもよく、説明する具体例の構造を変更してもよいことは明らかである。
【0007】
本発明は、分類適応誤り回復(classified adaptive error recovery)により、劣化した信号を劣化のない信号に復元するための方法、装置及び製品(article of manufacture)を提供する。ターゲットデータとは、劣化した信号において、値が決定又は推定される特定のデータを意味する。
【0008】
分類適応誤り回復とは、分類適応フィルタリング処理を用いた技術である。入力信号の特性に基づいて、劣化した入力信号に関する適切な分類が行われる。誤り回復処理に先行して、各クラス用の適応フィルタが準備される。
【0009】
複数のクラスを生成するために、2つ以上の分類法を用いてもよい。生成されるクラスは、例えば動きクラス、エラークラス、空間的アクティビティクラス、空間クラス等である。複数のクラスを生成するために、適応クラスタップ構造を用いてもよい。適応フィルタタップ構造は、例えば、各劣化した入力信号において検出されたクラスに基づいて使用してもよい。適応フィルタタップ構造は、マルティプルタップ(multiple taps)に基づいて拡張してもよい。マルティプルタップに同じ係数を割り当てることにより、記憶すべきフィルタ係数の数を削減することができる。この処理をフィルタタップ拡張(filter tap expansion)と呼ぶ。劣化した入力信号は、周辺のエラーを含むデータを前処理することにより変更してもよい。空間クラス削減式(spatial class elimination formula)により、空間クラスを削減することもできる。
【0010】
本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真(photographs)又はその他の2次元静止画像、ホログラム又はその他の3次元静止画像、ビデオ又はその他の2次元動画像、3次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。この説明において、値という用語は、具体例によっては、受信又は生成されたデータ内の成分(component)を指すこともある。さらに、データ点とは、ポジション(position)、場所(place)、時点(instance)、位置(location)又はデータ内の範囲を指すものとする。
【0011】
説明を明瞭にするために、ここでは、画素ストリームを含むビデオデータを中心として本発明を説明する。しかしながら、本発明は、ビデオデータ以外の種類のデータに適用してもよく、ここで本発明を説明するために用いる語句は、広範囲に亘るアプリケーション及びデータ種類を包含するものとする。例えば、適応クラスタップ構造は、マルティプル分類(multiple classification)において使用されているクラスタップ定義の適応構造である。空間クラス、動きクラス、エラークラスは、構造を定義するために使用される。フィルタタップ構造は、対応するクラスに基づくフィルタタップ定義の適応構造である。
【0012】
クラスは、ターゲットデータの1つ以上の特性に基づいて定義してもよい。さらに、例えば、クラスは、ターゲットデータを含むグループの1つ以上の特性に基づいて定義してもよい。クラスIDは、特定の特性についてターゲットデータを記述し、他のデータから区別するために使用されるクラス内の特定の値である。クラスIDは、数値、シンボル、定義された範囲内のコードのいずれにより表現してもよい。データを評価、推定又は分類するために、所定の又は可変の量としてパラメータを使用してもよい。例えば、特定の動きクラスIDは、ターゲットデータを含むブロックの動き量のレベルと、例えば所定の閾値であるパラメータとを比較することにより決定してもよい。
【0013】
元のデータは、データを分類及びフィルタリングする分類適応誤り回復(classified adaptive error recovery)を用いて、隣接するデータに基づいて推定することができる。包括的には、エラーを含むデータに空間的に近接するデータは、空間的な相関性が高いために、正しい値の推定に貢献する。動き領域における分類及びフィルタリングに時間的タップデータが導入された場合、動きにより空間的相関性が低下するため、推定の精度が劣化する。
【0014】
一具体例においては、適応誤り回復を分類する前に、前処理により動き補償を導入する。すなわち、分類適応誤り回復処理の回復性能を向上させるために、分類適応誤り回復処理を実行する前に、エラーを含むデータに対する動き補償前処理を実行するとよい。
【0015】
一具体例においては、動き補償前処理は2つの段階を有する。第1の段階は、動きベクトル検出である。第2の段階は、動きベクトルに基づいて、動きが施されるデータ(以下、「記憶されたデータ(memorized data)」と呼ぶ。)のシフトである。前処理の基本的構造をFIG.2Aに示す。動き補償構造は、2つの処理要素、すなわち動きベクトル検出器280とメモリ290とを備える。動きベクトル検出器280は、時間的相関を調べることにより、動きベクトルを検出する。ここでは、様々な周知の手法を用いることができる。ここで検出された動きベクトルに基づき、使用される隣接する画像データ、例えばメモリ290に記憶されている前フィールド又は前フレームの画像がシフトされる。隣接するデータは、時間的に先行又は後続するデータであってもよく、空間的に隣接するデータであってもよく、隣接しない例えばデータのフレームであってもよい。一具体例においては、このシフト処理は、アクセスするメモリアドレスをシフトし、動き補償されたデータを形成することにより実行される。動き補償されたデータは、後段の分類適応誤り回復処理に供給される。
【0016】
動き補償前処理により、動き領域のデータの相関性が高まるため、分類適応誤り回復処理の精度が著しく向上する。したがって、これにより、誤り回復の精度が向上した画像を再生することができる。
【0017】
変形例においては、FIG.2Bに示すように、動きベクトルクラスタイプを生成する。この装置には、入力データ及び対応するエラーフラグが入力される。動きベクトル検出器280は、入力データから動きベクトルを検出する。クラス発生器205は、動きベクトルの分類を行う。フィルタタップ選択器213は、動きベクトルのクラスに基づいて、フィルタタップを選択する。フィルタ209は、タップデータ及び係数メモリ207から選択されたフィルタ係数により誤り回復フィルタリングを実行する。選択器211は、エラーフラグに基づき、誤り回復されたデータ及びエラーを含まない入力データを選択し、この装置の出力信号を生成する。
【0018】
FIG.2Aに示す動きベクトル検出器280は、画像内の動きベクトルを検出する。動きの具体例をFIG.2F及びFIG.2Gに示す。FIG.2Fにおいて、時刻t=0における点(i,j)は、第1の位置(i0,j0)に示されている。第2の時刻t=aにおける点(i,j)は、第2の位置(ia,ja)に示されている。FIG.2Fに示す動きベクトルは、点(i0,j0)を始点とし、点(ia,ja)を終点とする線分である。すなわち、画像内に動きがある場合、画像内の動き部分は、その新たな位置にコピーされる。一具体例において、メモリ290に格納されている記憶されたデータは、先の時刻t=0におけるデータである。他の具体例においては、メモリ290に格納されている記憶されたデータは、将来の時刻のデータである。動きベクトルは、シフトロジック(shifting logic)により、記憶された画像データの位置を第2の位置、すなわち現在の時刻t=aに対応する位置にシフトするために使用される。
【0019】
FIG.2Gに示す具体例では、画像データ250は、先の時刻t=T−1においては、第1の位置にある。一方、現在のフレームにおいて、画像データ250は、現在の時刻t=T0において、第2の位置に移動している。メモリ290は、画像データ250が第1の位置に存在する先のフレームデータを記憶している。そして、動きベクトルMVが検出されると、メモリ290内の画像250が第2の位置にシフトされる。
【0020】
動きベクトルは、様々な手法で検出することができる。動きベクトルを検出するための手法としては、例えば、位相相関法(phase correlation)、こう配降下法(gradient descent)及びブロックマッチング法(block matching)等がある。
【0021】
以下、位相相関法の具体例を説明する。画像点f(x1,x2)のフーリエ変換をF(ω1,ω2)と定義する。フーリエ変換のシフト特性を適用すると、f(x1+α1,x2+α2)は、ej2π(α1ω1+α2ω2)で表すことができる。したがって、α1及びα2により表される動きベクトル量は、f(x1,x2)及びf(x1+α1,x2+α2)の両方に対するフーリエ変換を行い、この2つを関係付ける倍数因子(multiplicative factor)を推定することにより推定できる。
【0022】
次に、こう配降下法の具体例を説明する。画像e(α)の誤差関数は、vを実際の動きベクトルとし、αをvの推定値として、f(x+v−α)−f(x)として表すことができる。こう配降下法は、e(α)を最小化するために使用される。すなわち、e(α)の最小値が動きベクトルを表す。
【0023】
ブロックマッチング法の一具体例では、パターンマッチング(pattern matching)を用いて動きベクトルを検出する。例えば、各探索点(例えば、画像内の点)において、時間的相関性が測定される。例えば、各点における現在のブロックデータと対応する過去のブロックデータ間の時間的差分の絶対値の総和に対応する相関値が生成される。全ての又は一部の点における相関値を生成した後、最も小さい値を有する動きベクトルが選択される。これは、動きベクトルを表す最も相関性の高い点を表している。
【0024】
FIG.2Hは、ブロックマッチング処理を説明する図である。元のブロックデータは、FIG.2Hに示すように定義されている。ブロックデータは、f(i0+X,j0+Y)として定義されている。そして、探索点f(i,j)が検出される。時間差の総和は、次の式により表される。
【0025】
【数1】
動きベクトルは、min{E(i,j)};−I≦i≦I;−J≦j≦J}として決定される。
【0026】
フレーム間の動きを補償する動き補償前処理により、ことにより、フレーム内のデータ生成を分類適応誤り回復処理に使用することができる。この処理をFIG.2Iを用いて説明する。動き補償導入後は、空間的動的データ(spatial temporal data)を空間的静止データ(spatite stationary data)として取り扱うことができる。FIG.2Iは、複数の期間に亘る1フレーム内の2つのフィールドを示している。期間T3におけるフィールド260は、エラーを含んでいる。このエラーデータは、期間T2からのフィールド264内の画素262に対して高い相関性を有している。このように、動き補償を用いることにより、非静的データを空間及び時間領域で強く相関させることができる。
【0027】
フィルタリング性能は、動き補償処理とともに先のフィールドデータを用いることにより向上させることができる。後述するように、分類適応誤り回復処理では、エラー分布(error distribution)を分類する。しかしながら、データが非静止データの場合、誤り回復は困難になる。したがって、動き補償により、誤り回復の性能が著しく向上する。また、分類適応誤り回復処理において、動き補償を行うことにより、時間的データの相関性が高まるため、分類の性能も向上する。さらに、空間的(パターン)分類及び空間的アクティビティの分類の性能も向上する。さらに、動き補償処理により時間的なデータの相関性が高まるため、適応フィルタリングの性能も向上する。
【0028】
マルティプル分類
一具体例において、マルティプルクラスとは、ターゲットデータの少なくとも2つの異なる特性を記述するために使用される特定の値又は値の組の集合である。例えば、マルティプルクラスは、少なくとも2つの異なるクラスの組合せとして定義してもよい。例えば、マルティプルクラスは、エラークラスと、動きクラスと、例えばADRCクラス等の空間クラスとの組合せとして定義することができる。
【0029】
一具体例においては、マルティプルクラスIDを用いて、ターゲットデータの値を決定又は推定するための適切なフィルタ係数及び他の情報のアドレスの位置を示すメモリアドレスを指定するようにしてもよい。一具体例では、マルティプルクラスID内の異なるクラスIDの単純な連結をメモリアドレスとして使用する。
【0030】
すなわち、マルティプル分類法とは、ターゲットデータの値をより正確に決定又は推定するために、ターゲットデータの2つ以上の特性に関してターゲットデータを分類する方法である。
【0031】
エラークラスは、ターゲットデータに隣接するエラーを含むデータの様々な分布パターンを記述するために使用される特定の値の集合である。一具体例においては、ターゲットデータに隣接するデータにエラーが含まれているか否かを示すことにより定義される。エラークラスIDは、ターゲットデータに隣接するエラーを含むデータの特定の分布パターンを記述するために使用されるエラークラス内の特定の値としてもよい。例えば、エラークラスID「0」は、ターゲットデータの左右のデータがエラーを含まないことを示し、エラークラスID「1」は、ターゲットデータの左に隣接するデータがエラーを含んでいることを示す。フィルタは、データのグループを選択するための数学的処理、関数又はマスクである。
【0032】
動きクラスは、ターゲットデータの動き特性を記述するための特定の値の集合である。一具体例において、動きクラスは、ターゲットデータを含むブロックに関する、例えば、動きなし、小さな動き、大きな動き等、異なる動きレベルに基づいて定義される。動きクラスIDは、ターゲットデータの動き量の特定のレベルを示すために使用される動きクラス内の特定の値である。例えば、動きクラスID「0」は、動きがないことを示し、動きクラスID「3」は大きな動きがあることを示す。
【0033】
動きベクトルクラスは、ターゲットデータの動きの方向的特性を記述するために使用される特別な値の集合である。一具体例においては、動きベクトルクラスは、ターゲットデータを含むブロックの異なる方向、例えば垂直方向、水平方向又は対角線方向への動きに基づいて定義される。動きベクトルIDは、ターゲットデータの動きの特定の方向を指示するために使用される動きベクトルクラス内の特定の値である。FIG.2Jは、動きベクトルIDの具体例を示す図である。例えば、動きベクトルクラスID「1」は、水平方向の小さな動きを指示するよう定義され、動きベクトルクラス「4」は、垂直方向の大きな動きを指示するよう定義される。動きベクトルクラスID「0」は、非常に小さな動き又は動きが全くないことを意味する。動きベクトルクラスID「7」は、方向を特定することなく、非常に速い動きを指示する。非常に速い動きの低下(degradation)は検出することができないため、動きベクトルクラスID「7」のような単純な動きクラスが使用される。
【0034】
FIG.2Jは、動きベクトルの分類の可能な一具体例を示しているにすぎない。動きベクトルの分類は、特定の値及び/又は可能な分類項目数に対応して、サイズ及び領域の形状を様々に変化させることができる。
【0035】
この具体例においては、対称的構造を用いて、動きベクトル分類の数を削減している。これにより、フィルタの数を削減することができる。他の具体例においては、非対称的な動きベクトル分類を用いてもよい。垂直方向の動きは、オブジェクトのチルト又はピクチャのチルトに対応することもある。この種のピクチャは、特にインタレース画像においては、ピクチャの水平方向の動きから区別される。このように、動き補償分類により、画像の動き方向を特定し、チルトされる画像とパンされる画像とを区別し及び水平方向に移動するオブジェクトと垂直方向に移動するオブジェクトとを区別することができる。ここで、相対的に静止しているオブジェクトを撮像するビデオカメラがあるとする。このビデオカメラは上下にチルトすることもでき、或いは左右にパンすることもできる。これは、カメラが静止しており、オブジェクトが上下(逆)又は左右に移動していることと同じである。動きベクトル分類は、動きベクトルに基づく適応フィルタタップ構造においても利用され、これにより動き分類のみに比べて、推定精度を向上させることができる。
【0036】
空間クラスは、ターゲットデータの空間的特性を記述するための特定の値の集合であってもよい。データの空間的な分類は、例えば、適応ダイナミックレンジコーディング(Adaptive Dynamic Range Coding:ADRC)、差分PCM(Differential PCM:DPCM)、ベクトル量子化(Vector Quantization:VQ)、離散コサイン変換(Discrete Cosine Transform:DCT)等により決定することができる。さらに、空間クラスIDは、グループ内のターゲットデータ又はターゲットデータを含むブロックの空間的パターンを記述するために使用される空間クラス内の特定の値である。
【0037】
例えば、ADRCクラスは適応型ダイナミックレンジコーディング法によって定義された空間クラスである。さらに、ADRCクラスIDは、グループ内のターゲットデータ又はターゲットデータを含むブロックのADRCパターンを記述するために使用される空間クラス内の特定の値である。クラスは、ターゲットデータの所定の特性を記述するために使用される特定の値の集合である。例えば、動きクラス、空間クラス、エラークラス、空間的アクティビティクラス等、様々な異なる種類のクラスを設けてもよい。
【0038】
本発明は、1つ以上のデータクラスの組に対応するデータを生成する適応処理を実現する方法及び装置を提供する。この処理は「分類(classification)」として知られている。分類は、信号分布(signal distribution)の様々な属性に基づいて実現することができる。例えば、ADRCを用いて各クラスを空間クラスとして生成することができるが、本発明の普遍性を失うことなく、動きクラス、エラークラス、空間的アクティビティクラス等のこの他のクラスを用いてもよいことは、当業者にとって明らかである。空間クラスは、ターゲットデータの空間的特性を記述するための特定の値の集合であってもよい。例えば、データの空間的アクティビティの分類は、ダイナミックレンジ、標準偏差、ラプラス値又は空間的傾斜値等を用いて決定してもよい。劣化した信号の復元を行う前に幾つかの分類を行うことにより、好ましい効果が得られる。例えば、ADRCは、各信号波形を自動的に正規化することにより分類を行うことができる。
【0039】
各クラスに対して、信号復元のための適切なフィルタが適応処理用に準備される。一具体例において、各フィルタは、データに適用されるフィルタ係数の行列により表現される。フィルタ係数は、フィルタリング処理より先に準備処理として実行される、後に具体例を説明するトレーニング処理により生成することができる。本発明の一具体例において、フィルタ係数は、FIG.2Aに示すランダムアクセスメモリ(RAM)からなる係数メモリ207に格納される。
【0040】
FIG.2Aは、本発明の信号処理の流れの具体例を示している。ターゲット入力データ201とともに、エラーフラグデータ203を供給してもよい。エラーフラグデータ203は、エラーを有する画素を含むデータ内のエラーの位置を示すことができる。本発明の一具体例においては、分類回路205は、各入力ターゲットデータに対してADRCクラスIDを生成し、係数メモリ207は各クラスIDに対応するフィルタ係数を出力し、フィルタ209は、これらのフィルタ係数を用いて入力データ201をフィルタリングする。フィルタリングされたデータは、誤り回復された結果に対応する。選択器211は、エラーフラグデータ203に基づいて、誤り回復されたデータとエラーを含まないデータを切り換えて出力する。
【0041】
FIG.2Cは、クラスタップが4つの具体例を示す図である。1ビットADRCを用いる一具体例においては、式3によって得られる16個のADRCクラスIDを使用することができる。ADRCは以下に示す式2によって実現される。ローカルのダイナミックレンジ(DR)は、以下の式1により求められる。
【0042】
【数2】
【0043】
【数3】
【0044】
【数4】
ここで、cはADRCクラスIDに対応し、DRは4つのデータ領域のダイナミックレンジを表し、MAXは4つのデータの最大レベルを表し、MINは4つのデータの最小レベルを表し、qiはQコードとも呼ばれるADRC符号化されたデータを表し、Qは量子化ビット数を表す。演算子[・]は、丸め処理を表す。
【0045】
例えば、1ビットADRC方式において、cはQ=1に対して0〜15の値をとる。この処理は、空間分類の一種であるが、本発明の普遍性を失うことなく、例えば、差分PCM(DPCM)、ベクトル量子化(VQ)、離散コサイン変換(DCT)等を含む他の空間分類を用いてもよいことは、当業者にとって明らかである。ターゲットデータの分布を分類できるものであれば、いかなる方法を用いてもよい。
【0046】
FIG.2Dに示す具体例では、各適応フィルタは12個のタップを有している。出力データは、次の式4に示す線形組合せ処理により生成される。
【0047】
【数5】
ここで、xiは入力データであり、wiは各フィルタ係数を表し、yは誤り回復処理の後の出力データを表す。誤り回復処理に先立って実行されるトレーニング処理により、各クラスIDに対応するフィルタ係数を生成してもよい。
【0048】
トレーニング処理は、例えば次のような基準に基づいて実行することができる。
【0049】
【数6】
ここで、X、W及びYは、次のような行列を表す。すなわち、Xは式6により定義される入力データ行列を表し、Wは式7により定義される係数行列を表し、Yは式8により定義されるターゲットデータ行列を表す。
【0050】
【数7】
【0051】
【数8】
【0052】
【数9】
係数wiは式5に基づいて得ることができ、これにより、ターゲットデータに関する推定誤差が最小限に抑えられる。
【0053】
FIG.2Dに示す具体例では、各ADRCクラスIDに関する12個の係数が上述のトレーニング処理により決定される。
【0054】
FIG.2Eは、本発明に基づく処理を示すフローチャートである。FIG.2Eに示すフローチャートは、劣化した入力信号から劣化のない信号を復元するための基本的な処理の流れを示すものである。ステップ215において、周辺のエラーを含む画素に対する前処理が行われる。ステップ217において、劣化した入力信号に関する各分類が行われ、クラスIDが生成される。他のクラスIDに基づいて、幾つかのクラスタップが選択される。ここで、動き分類、エラー分類、空間的アクティビティ分類及び空間分類等のマルティプル分類を行ってもよい。
【0055】
分類法は、装置設計の段階で決定され、ここで分類法、クラスの数及び他の仕様は、ターゲットデータに基づいて決定される。設計段階では、この他、装置性能及びハードウェアの複雑性に関する検討を含んでもよい。
【0056】
ステップ219において、ステップ217における様々な分類処理により生成された複数のクラスIDによりマルティプル分類を行い、マルティプルクラスIDを生成する。ステップ221においては、ステップ219において生成されたマルティプルクラスIDに基づき、フィルタタップが適応的に選択される。ステップ223においては、ステップ219において生成されたマルティプルクラスIDに基づいて、フィルタタップ構造が適応的に拡張される。マルティプルタップに同じ係数を割り当てることにより、記憶すべきフィルタ係数の数を削減することができる。この処理をフィルタタップ拡張(filter tap expansion)と呼ぶ。ステップ224においては、ステップ219において生成されたマルティプルクラスIDに基づき、フィルタ係数が選択される。ステップ225においては、劣化した入力信号に対するフィルタリング処理が実行され、劣化のない信号が生成される。フィルタ係数は、ステップ219において生成されたマルティプルクラスIDに基づいて、適応的に選択される。
【0057】
ここで、例えば2次元ADRC処理等の単純な波形分類では、FIG.2Cに示すような一般的な動画の分離を構造的に実現することができないため、本発明の一具体例においては、3次元ADRC処理を用いて空間−時間分類を行ってもよい。静止領域(stationary area)と動き領域(motion area)の両方を同じクラスIDで処理した場合、2つの領域の特性が異なるために、誤り回復の品質が劣化する。
【0058】
本発明の他の具体例においては、空間分類に加えて、動き分類を用いて時間的特性を簡潔に定義してもよい。さらに、分類適応誤り回復法にマルティプル分類を加えてもよい。例えば、動きクラス、エラークラス、空間的アクティビティクラス及び上述の空間クラス等、様々な種類のクラスが存在する。これらの異なる分類法を2つ以上組み合わせることにより、分類の精度を向上させることができる。
【0059】
FIG.3は、動きクラスタップ構造の具体例を示す図である。この具体例は、エラーを含むターゲットデータに隣接する8つのタップを示す。この具体例においては、8つのタップの時間的差分の総和は、以下に示す式9により評価することができ、また、以下に示す式10に基づく閾値により、4種類の動きクラスに分類される。本発明の一具体例では、閾値th0を3とし、閾値th1を8とし、閾値th2を24とする。
【0060】
【数10】
【0061】
【数11】
この式において、fdは時間的差分の累算値を表し、xiは現フレームの動きクラスタップデータを表し、x’iは現フレームに対応する前フレームのタップデータを表し、mcは動きクラスIDを表す。この動き分類のために、3つの閾値th0、th1、th2を用いることができる。
【0062】
本発明の一具体例においては、エラークラスを分類適応誤り回復法とともに使用することができる。この分類は、例えばFIG.4に例示的に示すようなターゲットデータに隣接するエラーを含むデータの分布パターンに基づいて行われる。この具体例では、単独エラー状態(independent error case)、左エラー状態(left error case)、右エラー状態(right error case)、3連続エラー状態(three consecutive error case)の4つのエラークラスを定義している。
【0063】
包括的にいえば、ターゲットデータに隣接する画素のフィルタ係数は、誤り回復処理においてより大きな重みを有する。エラーを含むデータに隣接するデータは、誤り回復の結果に大きな影響を与える。エラークラスは、隣接するエラーを含むデータの分布に基づいて、異なる特性を有する領域を他のクラスから分離することにより、この影響を低減することができる。例えば、FIG.2Cに示す具体例では、ADRC分類は、16種類のADRCクラスIDを生成し、動き分類及びエラー分類は、それぞれ4種類のクラスIDを生成する。したがって、クラスIDの数は、16×4×4、すなわち256個となる。分類は、各信号の特性を表現することにより実現してもよい。マルティプル分類では、異なる分類特性を組み合せることにより、エラーを含むターゲットデータに関して、適切なクラス及びクラスIDを定義することができる。
【0064】
適応クラスタップ構造
本発明の一具体例においては、適応クラスタップ構造を分類適応誤り回復法とともに使用することができる。FIG.5は動きクラスを適応した空間クラスタップ構造の具体例を示す図である。フレーム間タップ(Intra-frame taps)は、静止領域又は動きの小さい動き領域で選択することができる。フィールド間タップ(Intra-field taps)は、通常、動きの大きな動き領域で使用される。この適応処理により適切な適応分類が実現される。
【0065】
例えば、フレーム間タップは、動きの大きな動き領域の分類に使用され、これにより生成された動き分布は、相関性が低いために、大きく変化し、したがって、ターゲットデータの特性を正しく表現することは困難である。したがって、FIG.5に示すような適応クラスタップ構造は有効である。
【0066】
さらなる具体例をFIG.6、FIG.7、FIG.8及びFIG.9に示す。空間クラスタップは、通常、動きクラス及びエラークラスに基づいて選択される。動き係数に加えて、エラーを含むデータの分布は、空間クラスタップの定義を考慮して選択される。隣接するエラーを含むデータは、通常、空間分類においては使用されない。この定義により、有効なデータのみが使用され、分類の精度が向上する。
【0067】
適応フィルタタップ構造
本発明の一具体例においては、分類適応誤り回復法に関連して、対応するクラスに基づく適応フィルタタップ構造を用いることができる。FIG.10は、エラークラスに基づく適応フィルタタップ構造の具体例を示す図である。ターゲットデータに関するフィルタタップ構造は、通常、好ましくは隣接する破損したデータを避けて、適応的に定義される。破損したデータは、フィルタリング処理においては選択されない。
【0068】
適応フィルタタップ構造は、例えばFIG.11に示すような動きクラスに基づいて定義してもよい。FIG.10に示す動きクラスの例においては、動きクラス0は、静止領域に対応し、動きクラス3は、動きの大きな動き領域に対応する。動きクラス1及び動きクラス2は、中間的な動き領域に対応する。
【0069】
静止クラス領域又は疑似静止クラス領域(quasi-stationary class areas)には、FIG.11に示すように、フレーム間タップが使用される。同時に、ターゲットデータの位置における前フレームデータを誤り回復フィルタリングに用いてもよい。これらの領域は、動きクラス0及び動きクラス1に対応する。速い又は中間の動きを有する動き領域においては、各フィルタは、通常、FIG.11に示すようなフィールド間タップ構造を有する。FIG.11に示すように、前フレームのデータは導入されず、したがって、相関性が低いデータは無視される。このような場合、フィールド間タップによりフィルタリングの性能が向上する。
【0070】
FIG.12は、動き及びエラークラス適応フィルタタップ構造の具体例を示す図である。FIG.10及びFIG.11は、それぞれエラー適応フィルタタップ及び動き適応フィルタタップを示している。FIG.12に示す具体例は、単独エラー状態であるエラークラス0における両方の適応構造を示している。この具体例においては、上位の適応特性(Upper adaptive characteristics)も示している。FIG.12に準じて、FIG.13はエラークラス1に対応し、FIG.14はエラークラス2に対応し、FIG.15はエラークラス3に対応する。
【0071】
フィルタタップ拡張
本発明の一具体例においては、分類適応誤り回復法に関連して、複数のタップに同じ係数を割り当てることにより、フィルタタップ拡張を行うことができる。FIG.12〜FIG.15の構造には、フィルタタップ拡張も示されている。例えば、FIG.12に示す動きクラス3のフィルタタップ構造は、4つの同じ係数タップを有する。評価の結果に基づき、幾つかのタップ係数を同じ係数に置換することができる。FIG.12に示す具体例は、水平方向及び垂直方向に対称的に配置された4つの係数W3を有する。この拡張により、14個の係数は、18個のタップ領域をカバーする。このような方法により係数メモリ及び例えば加算器や乗算器等のフィルタのハードウェアを削減することができる。本発明の一具体例では、係数の分布及び視覚的結果を評価することにより、タップの拡張に関する定義(expansion tap definition)を実現することができる。
【0072】
周辺のエラーを含むデータに対する処理
本発明の一具体例においては、周辺のエラーを含むデータに対する処理を分類適応誤り回復法とともに使用することができる。誤り回復フィルタリングを実現するためには、フィルタタップの周辺のエラーを含む位置に適切なデータが必要である。
【0073】
この処理の具体例をFIG.16のフローチャートに示す。ステップ1601,1605,1609において、ターゲットデータの周辺にエラーを含むデータが存在すると判定された場合、ステップ1603,1607,1611において、エラーを含むデータは、水平方向にエラーがない場合、水平方向の処理されたデータに置換される。ステップ1613,1617,1621において、水平方向に3つ連続するエラーがあると判定された場合、ステップ1615,1619,1623において、垂直処理が適用され、処理されたデータが生成される。この具体例のフレーム間データの周辺の全てにエラーが含まれている場合、ステップ1625において、前フレームデータが誤り回復処理に導入される。
【0074】
FIG.17は、前処理に動き適応処理を用いた他の具体例を示す図である。動き検出ステップであるステップ1701において、エラーのないデータを用いて、動き量が検出される。包括的にいえば、次のステップにおいて動き量の総和をエラーのないデータの数で割って平均化することにより、平均動き量が算出される。ステップ1703においては、上述の平均動き量と所定の閾値とを比較して、これに基づいて動きタップ又は静止タップのいずれかが選択される。これらのステップの後、ステップ1705〜ステップ1729は、FIG.16に示すステップ1601〜ステップ1625と同様の方法により実行される。処理されたデータは、これらの優先順位が付けられた処理(prioritized processes)に基づいて生成され、誤り回復フィルタリング処理に導入される。
【0075】
空間クラス削減
本発明の一具体例においては、分類適応回復処理において、空間クラスの削減を行うこともできる。上述のように、ADRCクラスは、式3により与えられる空間分類に使用することができる。これは、4タップADRCの定義において、16種類のクラスIDを有する。これら16個のクラスIDは、以下の式11に基づいて、8種類のクラスIDに削減することができる。
【0076】
【数12】
ここで、cはADRCクラスIDを表し、qiは量子化データを表し、Qは式1及び式2に基づく量子化ビット数を表す。
【0077】
本発明の一具体例では、式11は、ADRCコードの2進データにおける1の補数処理(1 's complement operation)に相当する。これは、各信号波形の対称的特性に関連している。ADRC分類は、ターゲット信号波形の正規化であるため、各ADRCコードにおいて1の補数関係を有する2つの波形は、同一のクラスIDに分類することができる。ADRCクラスの数は、この削減処理により、通常、半分にすることができる。4タップ1ビットADRCに基づくADRCクラスの削減処理をFIG.20に示す。この具体例に式11を適用することにより、8つのADRCクラスの対が生成される。各対は、空間的対称パターンを有し、したがって、これらの対称パターンを利用することにより、ADRCクラスIDの数を半分にすることができる。空間クラス削減技術は、例えばDPCM及びブロック打切りコーディング(Block Truncation Coding:BTC)を含む他の空間分類技術にも適用することもできる。
【0078】
装置構造
上述の全ての処理実行する本発明の一具体例である、装置全体の構造をFIG.18Aに示す。装置には、入力データ1801及びエラーフラグ1803が入力される。前処理回路1805は、エラーフラグ1803を検査して、入力データ1801に対する前処理を行う。ADRCクラス生成器1807は、ADRC分類処理を行い、動きクラス生成器1809は、動き分類処理を行い、エラークラス生成器1811は、エラー分類処理を行う。
【0079】
この具体例においては、ADRCクラスタップは、エラークラス及び動きクラスに基づいて適応的に選択される。フィルタタップ選択器1813は、エラークラス及び動きクラスに基づいてフィルタタップを選択する。フィルタ1817は、タップデータと、ADRCクラス生成器1807が生成したADRCクラスID、動きクラス生成器1809が生成した動きクラスID及びエラークラス生成器1811が生成したエラークラスIDに対応して係数メモリ1815から供給されたフィルタ係数とに基づいて、誤り回復フィルタリング処理を実行する。選択器1821は、エラーフラグ1803に基づいて、誤り回復されたデータと、元よりエラーを含んでいないデータとを切り換え、これにより、この装置の出力データ1823を出力する。
【0080】
動きベクトルクラス生成器1809の構成の具体例をFIG.18Bに示す。動きベクトル検出器1839は、例えば上述したブロックマッチング法等の手法を用いて動きベクトルを検出する。動きベクトルは、ターゲットデータについて検出される。動きクラス生成器1841は、生成された動きベクトルを用いて、例えばFIG.2Jに示すような3ビット量子化されたデータとして、動きベクトルの特徴を識別する。すなわち、量子化されたデータは、係数メモリ1815にアクセスするために使用される動きベクトルクラスを表す。動きベクトル分類を用いることにより、誤り回復処理の推定性能は著しく向上する。
【0081】
係数メモリの内容の具体例をFIG.19に示す。この具体例は、マルティプル分類法に基づき、4×4×8、すなわち128個のクラスIDを有する。エラークラスは4つのカテゴリを有し、動きクラスは4つのカテゴリを有し、ADRCクラスは8つのカテゴリを有し、このカテゴリは、通常、式11に基づいて半減される。各クラスは、FIG.19に示す各メモリアドレスに対応する。この具体例においては、例えばFIG.12〜FIG.15に示すフィルタ定義に応じて、14個の係数が各クラスIDアドレスに格納されている。
【0082】
本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真(photographs)又はその他の2次元静止画像、ホログラム又はその他の3次元静止画像、ビデオ又はその他の2次元動画像、3次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。FIG.21は、本発明に基づき、オーディオ信号に適応される分類の具体例を示す図である。例示的に示されるオーディオ信号2101は、1つ以上の時点t0〜t8においてモニタ(monitor)される。時点t0〜t8におけるオーディオ信号2101のレベルは、タップ点X0〜X8により与えられる。オーディオ信号2101のダイナミックレンジは、最低レベルであるタップ点X0のレベルと、最高レベルであるタップ点X4のレベルとの間の差分により求められる。例えば、時点t4においてエラーを含むデータを回復する場合、ADRC分類等の空間分類と、ダイナミックレンジ分類等の空間的アクティビティ分類とによるマルティプル分類を適用することができる。ダイナミックレンジ分類は、式10に示す動き分類処理と類似する方法でダイナミックレンジを閾値と比較することにより実現される。上述のように、動き分類、エラー分類及び空間分類等を含む分類をマルティプル分類と呼ぶ。例えばビデオデータ等の汎用アプリケーションのために、マルティプル分類に空間的アクティビティ分類を導入してもよい。ダイナミックレンジに加えて、標準偏差、ラプラス値、空間傾斜値等を空間的アクティビティ分類に導入することもできる。
【0083】
本発明では、上述の技術を適用した分類適応誤り回復法を用いることにより、エラーを含むデータに対する誤り回復処理の質が向上する。本発明は、データの置換に対する劣化を最小化して、劣化したデータを劣化のないデータに復元する方法を提供する。
【0084】
本発明を特定の装置環境における具体例により説明したが、添付した請求の範囲に基づく本発明の思想及び範囲から逸脱することなく、変形された、この他の又は異なるハードウェア及びソフトウェア環境により本発明を実現できることは、当業者にとって明らかである。
【図面の簡単な説明】
【図1】 FIG.1A〜FIG.1Cは、従来の誤り回復法、フィルタタップ及び傾斜値と補間フィルタ間の対応関係を示す図である。
【図2】 FIG.2Aは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図3】 FIG.2Bは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図4】 FIG.2C及びFIG.2Dは、本発明を適応したクラスに対応する分類適応誤り回復法を説明する図である。
【図5】 FIG.2Eは、本発明を適応した分類適応誤り回復法のフローチャートである。
【図6】 FIG.2F及びFIG.2Gは、本発明を適用した動き補償処理を説明する図である。
【図7】 FIG.2Hは、本発明を適用した動き補償処理を説明する図である。
【図8】 FIG.2Iは、本発明を適用した動き補償処理を説明する図である。
【図9】 FIG.2Jは、本発明に基づく動きベクトルフィールドを説明する図である。
【図10】 FIG.3は、本発明に基づく動きクラスタップを示す図である。
【図11】 FIG.4は、本発明に基づくエラークラスタップを示す図である。
【図12】 FIG.5は、本発明に基づく空間クラスタップを示す図であり、FIG.6は、エラークラス0に対応する空間クラスタップを示す図である。
【図13】 FIG.7は、エラークラス1に対応する空間クラスタップを示す図であり、FIG.8は、エラークラス2に対応する空間クラスタップを示す図である。
【図14】 FIG.9は、エラークラス3に対応する空間クラスタップを示す図である。
【図15】 FIG.10は、本発明に基づく適応フィルタタップを示す図である。
【図16】 FIG.11は、本発明に基づく動きクラス適応フィルタタップを示す図である。
【図17】 FIG.12は、エラークラス0に対応する動きクラス適応フィルタタップを示す図である。
【図18】 FIG.13は、エラークラス1に対応する動きクラス適応フィルタタップを示す図である。
【図19】 FIG.14は、エラークラス2に対応する動きクラス適応フィルタタップを示す図である。
【図20】 FIG.15は、エラークラス3に対応する動きクラス適応フィルタタップを示す図である。
【図21】 FIG.16は、本発明に基づく前処理のアルゴリズムを示す図である。
【図22】 FIG.17は、本発明に基づく、動きタップ及び静止タップに対する前処理のアルゴリズムを示す図である。
【図23】 FIG.18Aは、本発明に基づく装置のブロック図である。
【図24】 FIG.18Bは、本発明に基づく装置のブロック図である。
【図25】 FIG.19は、本発明に基づく係数メモリの内容を示す図である。
【図26】 FIG.20は、本発明に基づく4タップ1ビットADRCにおけるADRCクラス削減を説明する図である。
【図27】 FIG.21は、オーディオ信号に対する本発明に基づく適応分類の具体例を示す図である。
Claims (52)
- 非静止データを含む劣化した入力信号を復元する信号復元方法において、 上記劣化した入力信号の動きベクトルを検出するステップと、
上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするステップと、
上記劣化した入力信号の劣化したデータ点を検出するステップと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するステップと、
異なるクラスの組合せを表すマルティプル分類IDを生成するステップと、
上記マルティプル分類IDに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するステップと、
を有する信号復元方法。 - 上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項1記載の信号復元方法。
- 上記フィルタリングのためのデータ点は、劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項1記載の信号復元方法。
- 上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項1記載の信号復元方法。
- 上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項1記載の信号復元方法。
- 2以上の分類法を用いて、劣化したデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを更に有する請求項1記載の信号復元方法。
- 上記マルティプル分類IDは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項2記載の信号復元方法。
- 上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項6記載の信号復元方法。
- 上記劣化した入力信号は、2次元静止画像、ホログラム画像、3次元静止画像、映像、2次元動画像、3次元動画像、モノラル音声、Nチャンネル音声からなるグループから選択されるデータを含むことを特徴とする請求項1記載の信号復元方法。
- 上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するステップを更に有する請求項1記載の信号復元方法。
- 劣化したデータ点を復元するデータ点復元方法において、
空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームとして劣化した入力信号を受信するステップと、
上記ストリームのデータ点を動き補償されたストリームに前処理するステップと、
上記ストリームから復元すべきターゲット点を選択するステップと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに従って上記ターゲットデータ点を分類するステップと、
異なるクラスの組合せを表すマルティプル分類IDを生成するステップと、
上記マルティプル分類IDと上記動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するステップとを有し、
上記推定するステップは、
上記マルティプル分類IDに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
上記マルティプル分類IDに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも1つのタップデータ点を選択するステップと、
上記選択されたフィルタ係数に従って上記少なくとも1つのタップデータ点をフィルタリングするステップとを有するデータ点復元方法。 - 上記ストリームは、2次元静止画像、ホログラム画像、3次元静止画像、映像、2次元動画像、3次元動画像、モノラル音声、Nチャンネル音声からなるグループから選択される情報を表すことを特徴とする請求項11記載のデータ点復元方法。
- 上記前処理するステップは、
上記ターゲットデータ点に対応する動きベクトルを検出するステップと、
上記動きベクトルに基づいて上記ストリームのデータ点をシフトするステップとを有することを特徴とする請求項11記載のデータ点復元方法。 - 上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項13記載のデータ点復元方法。
- 上記少なくとも1つのタップデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項11記載のデータ点復元方法。
- 上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項13記載のデータ点復元方法。
- 上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項13記載のデータ点復元方法。
- 2以上の分類法を用いて、上記ターゲットデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを更に有することを特徴とする請求項11記載のデータ点復元方法。
- 上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項18記載のデータ点復元方法。
- 上記空間−時間関係は、近接するフィールド、近接するフレーム、及び同じフィールド内の空間的な近接からなるグループから選択されることを特徴とする請求項11記載のデータ点復元方法。
- 上記マルティプル分類IDは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項11記載のデータ点復元方法。
- 非静止データを含む劣化した入力信号を復元する信号復元装置において、
上記劣化した入力信号の動きベクトルを検出するように構成された動きベクトル検出器と、
上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするように構成されたシフトロジックと、
上記劣化した入力信号の劣化したデータ点を検出し、そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類し、異なるクラスの組合せを表すマルティプル分類IDを生成し、上記マルティプル分類IDに従ってフィルタ係数を選択するように構成されたクラス生成器であって、該フィルタ係数を、単一のフィルタ係数を上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることにより選択するように構成されたクラス生成器と、
上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するように構成されたフィルタとを備える信号復元装置。 - 上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するように構成された選択器を更に備える請求項22記載の信号復元装置。
- 劣化したデータ点を復元するデータ点復元装置において、
空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームとして劣化した入力信号を受信する手段と、
上記ストリームを動き補償されたストリームに前処理するように構成された前処理手段と、
上記ストリームから復元すべきターゲットデータ点を選択し、そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類し、異なるクラスの組合せを表すマルティプル分類IDを生成し、上記マルティプル分類IDに従ってフィルタ係数を選択するように構成されたクラス生成器であって、該フィルタ係数を、単一のフィルタ係数を上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることにより選択するように構成されたクラス生成器と、
上記マルティプル分類IDと動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するように構成されたフィルタと、
を備え、
上記フィルタは、上記マルティプル分類IDに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも1つのタップデータ点を選択することにより、且つ上記選択されたフィルタ係数に従って上記少なくとも1つのタップデータ点をフィルタリングすることにより上記値を推定するように構成されたことを特徴とするデータ点復元装置。 - 処理システムにより実行されて、非静止データを含む劣化した入力信号を復元する信号復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該信号復元方法は、
上記劣化した入力信号の動きベクトルを検出するステップと、
上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするステップと、
上記劣化した入力信号の劣化したデータ点を検出するステップと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するステップと、
異なるクラスの組合せを表すマルティプル分類IDを生成するステップと、
上記マルティプル分類IDに従ってフィルタ係数を選択するステップであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するステップと、
を有することを特徴とするコンピュータにより読取可能な媒体。 - 上記動きベクトルを検出するステップは、劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項25記載のコンピュータにより読取可能な媒体。
- 上記フィルタリングのためのデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項25記載のコンピュータにより読取可能な媒体。
- 上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項25記載のコンピュータにより読取可能な媒体。
- 上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項25記載のコンピュータにより読取可能な媒体。
- 上記処理システムにより実行されて、2以上の分類法を用いて、劣化したデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを実行する命令を更に有する請求項25記載のコンピュータにより読取可能な媒体。
- 上記マルティプル分類IDは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスから生成されることを特徴とする請求項25記載のコンピュータにより読取可能な媒体。
- 上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項30記載のコンピュータにより読取可能な媒体。
- 上記劣化した入力信号は、2次元静止画像、ホログラム画像、3次元静止画像、映像、2次元動画像、3次元動画像、モノラル音声、Nチャンネル音声からなるグループから選択されるデータを含むことを特徴とする請求項25記載のコンピュータにより読取可能な媒体。
- 処理システムにより実行されて、劣化した入力信号を復元する信号復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該信号復元方法は、
上記劣化のないデータ点及び上記劣化した入力信号に対応する劣化のない信号を出力するステップとを有する請求項25記載のコンピュータにより読取可能な媒体。 - 処理システムにより実行されて、劣化したデータ点を復元するデータ点復元方法を実行する命令を有するコンピュータにより読取可能な媒体において、該データ点復元方法は、
空間−時間相関を有する劣化したデータ点及び劣化のないデータ点のストリームして劣化した入力信号を受信するステップと、
上記ストリームのデータ点を動き補償されたストリームに前処理するステップと、
上記ストリームから復元すべきターゲット点を選択するステップと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに従って上記ターゲットデータ点を分類するステップと、
異なるクラスの組合せを表すマルティプル分類IDを生成するステップと、
上記マルティプル分類IDと上記動き補償されたストリームとに基づいて、上記ターゲットデータ点の値を推定するステップとを有し、
上記推定するステップは、
上記マルティプル分類IDに従ってフィルタ係数を選択するステップであって、単一 のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てることを含むステップと、
上記マルティプル分類IDに基づいて上記ターゲットデータ点に対する空間−時間関係を有する少なくとも1つのタップデータ点を選択するステップと、
上記選択されたフィルタ係数に従って上記少なくとも1つのタップデータ点をフィルタリングするステップとを有するコンピュータにより読取可能な媒体。 - 上記ストリームは、2次元静止画像、ホログラム画像、3次元静止画像、映像、2次元動画像、3次元動画像、モノラル音声、Nチャンネル音声からなるグループから選択される情報を表すことを特徴とする請求項35記載のコンピュータにより読取可能な媒体。
- 上記前処理するステップは、
上記ターゲットデータ点に対応する動きベクトルを検出するステップと、
上記動きベクトルに基づいて上記ストリームのデータ点をシフトするステップとを有することを特徴とする請求項35記載のコンピュータにより読取可能な媒体。 - 上記動きベクトルを検出するステップは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定するステップを有することを特徴とする請求項37記載のコンピュータにより読取可能な媒体。
- 上記少なくとも1つのタップデータ点は、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項35記載のコンピュータにより読取可能な媒体。
- 上記動きベクトルを検出するステップは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより実行されることを特徴とする請求項37記載のコンピュータにより読取可能な媒体。
- 上記データ点をシフトするステップは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するステップを有することを特徴とする請求項37記載のコンピュータにより読取可能な媒体。
- 2以上の分類法を用いて、上記ターゲットデータ点を含む領域の特徴に基づき、上記複数のクラスを生成するステップを実行する命令を更に有する請求項35記載のコンピュータにより読取可能な媒体。
- 上記複数のクラスを生成するステップは、適応ダイナミックレンジコーディングクラス、差分パルスコード変調クラス、空間クラス、ベクトル量子化クラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスを生成するステップを更に有することを特徴とする請求項42記載のコンピュータにより読取可能な媒体。
- 上記空間−時間関係は、近接するフィールド、近接するフレーム、及び同じフィールド内の空間的な近接からなるグループから選択されることを特徴とする請求項35記載のコンピュータにより読取可能な媒体。
- 上記マルティプル分類IDは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択される複数のクラスから生成されることを特徴とする請求項35記載のコンピュータにより読取可能な媒体。
- 非静止データを含む劣化した入力信号を復元する信号復元装置において、
上記劣化した入力信号の動きベクトルを検出するように構成された動きベクトル検出ロジックと、
上記動きベクトルに基づいて、劣化したデータ点及び劣化のないデータ点を含む上記劣化した入力信号のデータ点をシフトするように構成されたシフトロジックと、
上記劣化した入力信号の劣化したデータ点を検出するように構成されたデータ点検出ロジックと、
そのクラスの各々が、その各々においてフィルタ係数が割り当てられたタップ構造に関連付けられた複数のクラスに関して上記劣化したデータ点を分類するように構成された分類ロジックと、
異なるクラスの組合せを表すマルティプル分類IDを生成するように構成された生成ロジックと、
上記マルティプル分類IDに従ってフィルタ係数を選択するように構成された選択ロジックであって、単一のフィルタ係数を、上記異なるクラスに対する上記タップ構造における複数のタップに割り当てるように構成された選択ロジックと、
上記シフトされたデータ点を用いて、上記選択されたフィルタ係数により該データ点をフィルタリングすることにより、劣化のないデータ点を生成するように構成された生成ロジックと、
を備える信号復元装置。 - 上記動きベクトル検出ロジックは、上記劣化したデータ点と、時間的に近接するデータ点とを比較し、動きベクトルを示すデータ間の変化量を判定することを特徴とする請求項46記載の信号復元装置。
- 上記フィルタリングのためのデータは、上記劣化したデータ点及び近接するデータ点からなるグループから選択されることを特徴とする請求項46記載の信号復元装置。
- 上記動きベクトル検出ロジックは、ブロックマッチング法、位相相関法、傾斜下降法のいずれかにより動きベクトルを検出することを特徴とする請求項46記載の信号復元装置。
- 上記シフトロジックは、上記データ点を読み出すためにアクセスされるメモリアドレスのシーケンスを上記シフトされたデータ点を反映するように変更するように更に構成されたことを特徴とする請求項46記載の信号復元装置。
- 上記生成ロジックは、空間クラス、適応ダイナミックレンジコーディングクラス、離散コサイン変換クラス、動きクラス、エラークラス、空間的アクティビティクラス、動きベクトルクラス、及びダイナミックレンジクラスからなるグループから選択されるクラスからマルティプル分類IDを生成するように構成されたことを特徴とする請求項46記載の信号復元装置。
- 劣化した入力信号を復元する信号復元装置において、
上記劣化のないデータ点及び劣化した入力信号に対応する劣化のない信号を出力する出力ロジックを更に備える請求項46記載の信号復元装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/405,819 US6522785B1 (en) | 1999-09-24 | 1999-09-24 | Classified adaptive error recovery method and apparatus |
US09/405,819 | 1999-09-24 | ||
PCT/US2000/023035 WO2001024105A1 (en) | 1999-09-24 | 2000-08-22 | Classified adaptive error recovery method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003526233A JP2003526233A (ja) | 2003-09-02 |
JP4222753B2 true JP4222753B2 (ja) | 2009-02-12 |
Family
ID=23605383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001526799A Expired - Fee Related JP4222753B2 (ja) | 1999-09-24 | 2000-08-22 | 分類適応誤り回復方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6522785B1 (ja) |
JP (1) | JP4222753B2 (ja) |
AU (1) | AU6797200A (ja) |
DE (1) | DE10085028T1 (ja) |
GB (1) | GB2371939B (ja) |
WO (1) | WO2001024105A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101001462B1 (ko) * | 2002-08-19 | 2010-12-14 | 소니 주식회사 | 화상 처리 장치 및 방법, 영상 표시 장치와 기록 정보재생 장치 |
US6898328B2 (en) | 2002-10-23 | 2005-05-24 | Sony Corporation | Method and apparatus for adaptive pixel estimation under high error rate conditions |
KR100505663B1 (ko) * | 2003-01-02 | 2005-08-03 | 삼성전자주식회사 | 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법 |
EP1665780A1 (en) * | 2003-09-04 | 2006-06-07 | Koninklijke Philips Electronics N.V. | Robust de-interlacing of video signals |
JP4487191B2 (ja) * | 2004-12-24 | 2010-06-23 | カシオ計算機株式会社 | 画像処理装置および画像処理プログラム |
US8674855B2 (en) * | 2006-01-13 | 2014-03-18 | Essex Pa, L.L.C. | Identification of text |
US7783079B2 (en) * | 2006-04-07 | 2010-08-24 | Monro Donald M | Motion assisted data enhancement |
US7586424B2 (en) * | 2006-06-05 | 2009-09-08 | Donald Martin Monro | Data coding using an exponent and a residual |
US20080205505A1 (en) * | 2007-02-22 | 2008-08-28 | Donald Martin Monro | Video coding with motion vectors determined by decoder |
KR20090000502A (ko) * | 2007-06-28 | 2009-01-07 | 삼성전자주식회사 | 손실된 블록의 주변 블록 특성에 적응적인 에러 은닉 방법및 장치 |
US7864086B2 (en) * | 2008-10-06 | 2011-01-04 | Donald Martin Monro | Mode switched adaptive combinatorial coding/decoding for electrical computers and digital data processing systems |
US7786903B2 (en) * | 2008-10-06 | 2010-08-31 | Donald Martin Monro | Combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems |
US7786907B2 (en) * | 2008-10-06 | 2010-08-31 | Donald Martin Monro | Combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems |
US7791513B2 (en) * | 2008-10-06 | 2010-09-07 | Donald Martin Monro | Adaptive combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems |
US9836831B1 (en) * | 2014-07-30 | 2017-12-05 | Google Inc. | Simulating long-exposure images |
Family Cites Families (135)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3311879A (en) | 1963-04-18 | 1967-03-28 | Ibm | Error checking system for variable length data |
US3805232A (en) | 1972-01-24 | 1974-04-16 | Honeywell Inf Systems | Encoder/decoder for code words of variable length |
FR2387557A1 (fr) | 1977-04-14 | 1978-11-10 | Telediffusion Fse | Systemes de reduction de visibilite du bruit sur des images de television |
DE2952315A1 (de) | 1979-12-24 | 1981-07-02 | Fried. Krupp Gmbh, 4300 Essen | Verfahren zur darstellung einer gefechtslage |
GB2073534B (en) | 1980-04-02 | 1984-04-04 | Sony Corp | Error concealment in digital television signals |
GB2084432A (en) | 1980-09-18 | 1982-04-07 | Sony Corp | Error concealment in digital television signals |
GB2121642B (en) | 1982-05-26 | 1985-11-27 | Sony Corp | Error concealment in digital television signals |
US4532628A (en) | 1983-02-28 | 1985-07-30 | The Perkin-Elmer Corporation | System for periodically reading all memory locations to detect errors |
US4574393A (en) | 1983-04-14 | 1986-03-04 | Blackwell George F | Gray scale image processor |
GB2163619A (en) | 1984-08-21 | 1986-02-26 | Sony Corp | Error concealment in digital television signals |
JPH0746864B2 (ja) | 1984-08-22 | 1995-05-17 | ソニー株式会社 | 高能率符号化装置 |
GB2164521B (en) | 1984-09-18 | 1988-02-03 | Sony Corp | Error concealment in digital television signals |
CA1251555A (en) | 1984-12-19 | 1989-03-21 | Tetsujiro Kondo | High efficiency technique for coding a digital video signal |
JPH0793724B2 (ja) | 1984-12-21 | 1995-10-09 | ソニー株式会社 | テレビジョン信号の高能率符号化装置及び符号化方法 |
WO1987002210A1 (en) | 1985-10-02 | 1987-04-09 | Deutsche Thomson-Brandt Gmbh | Process for correcting transmission errors |
JP2512894B2 (ja) | 1985-11-05 | 1996-07-03 | ソニー株式会社 | 高能率符号化/復号装置 |
JP2670259B2 (ja) | 1985-11-29 | 1997-10-29 | ソニー株式会社 | 高能率符号化装置 |
JPH0746862B2 (ja) | 1985-11-30 | 1995-05-17 | ソニー株式会社 | 駒落とし圧縮符号化及び復号化方法 |
JP2612557B2 (ja) | 1985-12-18 | 1997-05-21 | ソニー株式会社 | データ伝送受信システム及びデータ復号装置 |
JPS62231569A (ja) | 1986-03-31 | 1987-10-12 | Fuji Photo Film Co Ltd | 予測誤差の量子化方法 |
JP2751201B2 (ja) | 1988-04-19 | 1998-05-18 | ソニー株式会社 | データ伝送装置及び受信装置 |
JP2508439B2 (ja) | 1987-05-29 | 1996-06-19 | ソニー株式会社 | 高能率符号化装置 |
ATE74219T1 (de) | 1987-06-02 | 1992-04-15 | Siemens Ag | Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen. |
US5122873A (en) | 1987-10-05 | 1992-06-16 | Intel Corporation | Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels |
US5093872A (en) | 1987-11-09 | 1992-03-03 | Interand Corporation | Electronic image compression method and apparatus using interlocking digitate geometric sub-areas to improve the quality of reconstructed images |
EP0322956B1 (en) | 1987-12-22 | 1994-08-03 | Koninklijke Philips Electronics N.V. | Video encoding and decoding using an adpative filter |
JP2629238B2 (ja) | 1988-02-05 | 1997-07-09 | ソニー株式会社 | 復号装置及び復号方法 |
US4953023A (en) | 1988-09-29 | 1990-08-28 | Sony Corporation | Coding apparatus for encoding and compressing video data |
JP2900385B2 (ja) | 1988-12-16 | 1999-06-02 | ソニー株式会社 | フレーム化回路及び方法 |
US5150210A (en) | 1988-12-26 | 1992-09-22 | Canon Kabushiki Kaisha | Image signal restoring apparatus |
KR960008400B1 (en) | 1989-01-18 | 1996-06-26 | Sanyo Electric Co | Decoder for subsampled video signal |
JP3018366B2 (ja) | 1989-02-08 | 2000-03-13 | ソニー株式会社 | ビデオ信号処理回路 |
JPH02248161A (ja) | 1989-03-20 | 1990-10-03 | Fujitsu Ltd | データ伝送方式 |
US5185746A (en) | 1989-04-14 | 1993-02-09 | Mitsubishi Denki Kabushiki Kaisha | Optical recording system with error correction and data recording distributed across multiple disk drives |
JPH02280462A (ja) | 1989-04-20 | 1990-11-16 | Fuji Photo Film Co Ltd | 画像データ圧縮方法 |
DE69031638T2 (de) | 1989-05-19 | 1998-03-19 | Canon Kk | System zum Übertragen von Bildinformation |
US5208816A (en) | 1989-08-18 | 1993-05-04 | At&T Bell Laboratories | Generalized viterbi decoding algorithms |
JPH03141752A (ja) | 1989-10-27 | 1991-06-17 | Hitachi Ltd | 画像信号伝送方法 |
JP2533393B2 (ja) | 1990-02-16 | 1996-09-11 | シャープ株式会社 | Ntsc―hdコンバ―タ |
US5166987A (en) | 1990-04-04 | 1992-11-24 | Sony Corporation | Encoding apparatus with two stages of data compression |
US5101446A (en) | 1990-05-31 | 1992-03-31 | Aware, Inc. | Method and apparatus for coding an image |
JPH0474063A (ja) | 1990-07-13 | 1992-03-09 | Matsushita Electric Ind Co Ltd | 画像の符号化方法 |
JP2650472B2 (ja) | 1990-07-30 | 1997-09-03 | 松下電器産業株式会社 | ディジタル信号記録装置およびディジタル信号記録方法 |
JP2969867B2 (ja) | 1990-08-31 | 1999-11-02 | ソニー株式会社 | ディジタル画像信号の高能率符号化装置 |
GB9019538D0 (en) | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
US5416651A (en) | 1990-10-31 | 1995-05-16 | Sony Corporation | Apparatus for magnetically recording digital data |
US5243428A (en) | 1991-01-29 | 1993-09-07 | North American Philips Corporation | Method and apparatus for concealing errors in a digital television |
US5636316A (en) | 1990-12-05 | 1997-06-03 | Hitachi, Ltd. | Picture signal digital processing unit |
EP0493128B1 (en) | 1990-12-28 | 1999-06-23 | Canon Kabushiki Kaisha | Image processing apparatus |
JP2906671B2 (ja) | 1990-12-28 | 1999-06-21 | ソニー株式会社 | ディジタルビデオ信号の高能率符号化装置およびその方法 |
US5327502A (en) | 1991-01-17 | 1994-07-05 | Sharp Kabushiki Kaisha | Image coding system using an orthogonal transform and bit allocation method suitable therefor |
DE69230922T2 (de) | 1991-01-17 | 2000-11-30 | Mitsubishi Denki K.K., Tokio/Tokyo | Videosignalkodierer mit Blockvertauschungstechnik |
US5455629A (en) | 1991-02-27 | 1995-10-03 | Rca Thomson Licensing Corporation | Apparatus for concealing errors in a digital video processing system |
JP3125451B2 (ja) | 1991-11-05 | 2001-01-15 | ソニー株式会社 | 信号処理方法 |
JPH04358486A (ja) | 1991-06-04 | 1992-12-11 | Toshiba Corp | 高能率符号化信号処理装置 |
JP2766919B2 (ja) | 1991-06-07 | 1998-06-18 | 三菱電機株式会社 | ディジタル信号記録再生装置、ディジタル信号記録装置、ディジタル信号再生装置 |
US5263026A (en) | 1991-06-27 | 1993-11-16 | Hughes Aircraft Company | Maximum likelihood sequence estimation based equalization within a mobile digital cellular receiver |
JP3141896B2 (ja) | 1991-08-09 | 2001-03-07 | ソニー株式会社 | ディジタルビデオ信号の記録装置 |
DE69217150T2 (de) | 1991-09-30 | 1997-07-17 | Philips Electronics Nv | Bewegungsvektorschätzung, Bewegungsbildkodierung- und -speicherung |
JPH05103309A (ja) | 1991-10-04 | 1993-04-23 | Canon Inc | 情報伝送方法及び装置 |
US5398078A (en) | 1991-10-31 | 1995-03-14 | Kabushiki Kaisha Toshiba | Method of detecting a motion vector in an image coding apparatus |
US5400076A (en) | 1991-11-30 | 1995-03-21 | Sony Corporation | Compressed motion picture signal expander with error concealment |
JP3278881B2 (ja) | 1991-12-13 | 2002-04-30 | ソニー株式会社 | 画像信号生成装置 |
US5473479A (en) | 1992-01-17 | 1995-12-05 | Sharp Kabushiki Kaisha | Digital recording and/or reproduction apparatus of video signal rearranging components within a fixed length block |
JP3360844B2 (ja) | 1992-02-04 | 2003-01-07 | ソニー株式会社 | ディジタル画像信号の伝送装置およびフレーム化方法 |
JPH05236427A (ja) | 1992-02-25 | 1993-09-10 | Sony Corp | 画像信号の符号化装置及び符号化方法 |
US5247363A (en) | 1992-03-02 | 1993-09-21 | Rca Thomson Licensing Corporation | Error concealment apparatus for hdtv receivers |
US5307175A (en) | 1992-03-27 | 1994-04-26 | Xerox Corporation | Optical image defocus correction |
US6164540A (en) | 1996-05-22 | 2000-12-26 | Symbol Technologies, Inc. | Optical scanners |
JP3259323B2 (ja) | 1992-04-13 | 2002-02-25 | ソニー株式会社 | デ・インターリーブ回路 |
US5325203A (en) | 1992-04-16 | 1994-06-28 | Sony Corporation | Adaptively controlled noise reduction device for producing a continuous output |
JP3438233B2 (ja) | 1992-05-22 | 2003-08-18 | ソニー株式会社 | 画像変換装置および方法 |
JP2976701B2 (ja) | 1992-06-24 | 1999-11-10 | 日本電気株式会社 | 量子化ビット数割当方法 |
US5359694A (en) | 1992-07-27 | 1994-10-25 | Teknekron Communications Systems, Inc. | Method and apparatus for converting image data |
US5438369A (en) | 1992-08-17 | 1995-08-01 | Zenith Electronics Corporation | Digital data interleaving system with improved error correctability for vertically correlated interference |
US5481554A (en) | 1992-09-02 | 1996-01-02 | Sony Corporation | Data transmission apparatus for transmitting code data |
US5238318A (en) | 1992-09-02 | 1993-08-24 | Chen Yao K | Control apparatus for a typing/reading aid device |
JPH06153180A (ja) | 1992-09-16 | 1994-05-31 | Fujitsu Ltd | 画像データ符号化方法及び装置 |
JPH06121192A (ja) | 1992-10-08 | 1994-04-28 | Sony Corp | ノイズ除去回路 |
DE596826T1 (de) | 1992-11-06 | 1994-10-06 | Gold Star Co | Mischungsverfahren für ein digitales Videobandaufzeichnungsgerät. |
US5689302A (en) | 1992-12-10 | 1997-11-18 | British Broadcasting Corp. | Higher definition video signals from lower definition sources |
JP3165296B2 (ja) | 1992-12-25 | 2001-05-14 | 三菱電機株式会社 | フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式 |
US5477276A (en) | 1992-12-17 | 1995-12-19 | Sony Corporation | Digital signal processing apparatus for achieving fade-in and fade-out effects on digital video signals |
JPH06205386A (ja) | 1992-12-28 | 1994-07-22 | Canon Inc | 画像再生装置 |
US5805762A (en) | 1993-01-13 | 1998-09-08 | Hitachi America, Ltd. | Video recording device compatible transmitter |
US5416847A (en) | 1993-02-12 | 1995-05-16 | The Walt Disney Company | Multi-band, digital audio noise filter |
US5737022A (en) | 1993-02-26 | 1998-04-07 | Kabushiki Kaisha Toshiba | Motion picture error concealment using simplified motion compensation |
JP3259428B2 (ja) | 1993-03-24 | 2002-02-25 | ソニー株式会社 | ディジタル画像信号のコンシール装置及び方法 |
KR100261072B1 (ko) | 1993-04-30 | 2000-07-01 | 윤종용 | 디지털 신호처리시스템 |
KR940026915A (ko) | 1993-05-24 | 1994-12-10 | 오오가 노리오 | 디지탈 비디오신호 기록장치 및 재생장치 및 기록방법 |
GB2280812B (en) | 1993-08-05 | 1997-07-30 | Sony Uk Ltd | Image enhancement |
US5499057A (en) | 1993-08-27 | 1996-03-12 | Sony Corporation | Apparatus for producing a noise-reducded image signal from an input image signal |
US5406334A (en) | 1993-08-30 | 1995-04-11 | Sony Corporation | Apparatus and method for producing a zoomed image signal |
KR960012931B1 (ko) | 1993-08-31 | 1996-09-25 | 대우전자 주식회사 | 분류 벡터 양자화된 영상의 채널 오류 은폐 방법 |
JPH0779424A (ja) | 1993-09-06 | 1995-03-20 | Hitachi Ltd | 多地点映像通信装置 |
US5663764A (en) | 1993-09-30 | 1997-09-02 | Sony Corporation | Hierarchical encoding and decoding apparatus for a digital image signal |
JP3590996B2 (ja) | 1993-09-30 | 2004-11-17 | ソニー株式会社 | ディジタル画像信号の階層符号化および復号装置 |
JP3495766B2 (ja) | 1993-10-01 | 2004-02-09 | テキサス インスツルメンツ インコーポレイテツド | 画像処理方法 |
US5546130A (en) | 1993-10-11 | 1996-08-13 | Thomson Consumer Electronics S.A. | Method and apparatus for forming a video signal using motion estimation and signal paths with different interpolation processing |
JP2862064B2 (ja) | 1993-10-29 | 1999-02-24 | 三菱電機株式会社 | データ復号装置及びデータ受信装置及びデータ受信方法 |
KR100269213B1 (ko) | 1993-10-30 | 2000-10-16 | 윤종용 | 오디오신호의부호화방법 |
US5617333A (en) | 1993-11-29 | 1997-04-01 | Kokusai Electric Co., Ltd. | Method and apparatus for transmission of image data |
JP3271108B2 (ja) | 1993-12-03 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の処理装置および方法 |
JPH07203428A (ja) | 1993-12-28 | 1995-08-04 | Canon Inc | 画像処理方法及び装置 |
JP3321972B2 (ja) | 1994-02-15 | 2002-09-09 | ソニー株式会社 | ディジタル信号記録装置 |
JP3266416B2 (ja) | 1994-04-18 | 2002-03-18 | ケイディーディーアイ株式会社 | 動き補償フレーム間符号化復号装置 |
JP3161217B2 (ja) | 1994-04-28 | 2001-04-25 | 松下電器産業株式会社 | 画像符号化記録装置および記録再生装置 |
JP3336754B2 (ja) | 1994-08-19 | 2002-10-21 | ソニー株式会社 | デジタルビデオ信号の記録方法及び記録装置 |
WO1996007987A1 (fr) | 1994-09-09 | 1996-03-14 | Sony Corporation | Circuit integre pour le traitement des signaux numeriques |
US5577053A (en) | 1994-09-14 | 1996-11-19 | Ericsson Inc. | Method and apparatus for decoder optimization |
JPH08140091A (ja) | 1994-11-07 | 1996-05-31 | Kokusai Electric Co Ltd | 画像伝送システム |
US5594807A (en) | 1994-12-22 | 1997-01-14 | Siemens Medical Systems, Inc. | System and method for adaptive filtering of images based on similarity between histograms |
US5852470A (en) | 1995-05-31 | 1998-12-22 | Sony Corporation | Signal converting apparatus and signal converting method |
US6018317A (en) | 1995-06-02 | 2000-01-25 | Trw Inc. | Cochannel signal processing system |
US5724396A (en) | 1995-06-07 | 1998-03-03 | Discovision Associates | Signal processing system |
US5946044A (en) | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
FR2736743B1 (fr) | 1995-07-10 | 1997-09-12 | France Telecom | Procede de controle de debit de sortie d'un codeur de donnees numeriques representatives de sequences d'images |
JP3617879B2 (ja) | 1995-09-12 | 2005-02-09 | 株式会社東芝 | 実時間ストリームサーバのディスク修復方法及びディスク修復装置 |
KR0155900B1 (ko) | 1995-10-18 | 1998-11-16 | 김광호 | 위상에러검출방법 및 위상 트래킹 루프회로 |
KR970025184A (ko) | 1995-10-26 | 1997-05-30 | 김광호 | 예측매크로블럭 변환을 이용한 동화상 복호기 |
KR100197366B1 (ko) | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
KR100196872B1 (ko) | 1995-12-23 | 1999-06-15 | 전주범 | 영상 복화화 시스템의 영상 에러 복구 장치 |
JPH09212650A (ja) * | 1996-02-05 | 1997-08-15 | Sony Corp | 動きベクトル検出装置および検出方法 |
US5778097A (en) | 1996-03-07 | 1998-07-07 | Intel Corporation | Table-driven bi-directional motion estimation using scratch area and offset valves |
KR100242636B1 (ko) | 1996-03-23 | 2000-02-01 | 윤종용 | 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템 |
JP3876392B2 (ja) | 1996-04-26 | 2007-01-31 | 富士通株式会社 | 動きベクトル探索方法 |
US5751862A (en) | 1996-05-08 | 1998-05-12 | Xerox Corporation | Self-timed two-dimensional filter |
US6134269A (en) | 1996-09-25 | 2000-10-17 | At&T Corp | Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video |
JP3466032B2 (ja) | 1996-10-24 | 2003-11-10 | 富士通株式会社 | 動画像符号化装置および復号化装置 |
KR100196840B1 (ko) | 1996-12-27 | 1999-06-15 | 전주범 | 영상복호화시스템에 있어서 비트에러복원장치 |
US5991447A (en) | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
US6192079B1 (en) | 1998-05-07 | 2001-02-20 | Intel Corporation | Method and apparatus for increasing video frame rate |
US6137915A (en) | 1998-08-20 | 2000-10-24 | Sarnoff Corporation | Apparatus and method for error concealment for hierarchical subband coding and decoding |
US6151416A (en) | 1999-02-12 | 2000-11-21 | Sony Corporation | Method and apparatus for adaptive class tap selection according to multiple classification |
US6192161B1 (en) | 1999-02-12 | 2001-02-20 | Sony Corporation | Method and apparatus for adaptive filter tap selection according to a class |
-
1999
- 1999-09-24 US US09/405,819 patent/US6522785B1/en not_active Expired - Fee Related
-
2000
- 2000-08-22 WO PCT/US2000/023035 patent/WO2001024105A1/en active Application Filing
- 2000-08-22 DE DE10085028T patent/DE10085028T1/de not_active Ceased
- 2000-08-22 AU AU67972/00A patent/AU6797200A/en not_active Abandoned
- 2000-08-22 JP JP2001526799A patent/JP4222753B2/ja not_active Expired - Fee Related
- 2000-08-22 GB GB0208311A patent/GB2371939B/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003526233A (ja) | 2003-09-02 |
DE10085028T1 (de) | 2002-09-12 |
WO2001024105A1 (en) | 2001-04-05 |
AU6797200A (en) | 2001-04-30 |
US6522785B1 (en) | 2003-02-18 |
GB2371939B (en) | 2004-02-25 |
GB0208311D0 (en) | 2002-05-22 |
GB2371939A (en) | 2002-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6192161B1 (en) | Method and apparatus for adaptive filter tap selection according to a class | |
JP4222753B2 (ja) | 分類適応誤り回復方法及び装置 | |
US6351494B1 (en) | Classified adaptive error recovery method and apparatus | |
JP4444252B2 (ja) | 広域−局所ブロック動き推定用の方法及び装置 | |
KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
JP2000134585A (ja) | 動きベクトル決定方法、画像信号のフレーム数変換方法および回路 | |
US6151416A (en) | Method and apparatus for adaptive class tap selection according to multiple classification | |
US6754371B1 (en) | Method and apparatus for past and future motion classification | |
US6621936B1 (en) | Method and apparatus for spatial class reduction | |
JP5014987B2 (ja) | ビデオモード検出による動き補償 | |
JP2002536935A5 (ja) | ||
US6307979B1 (en) | Classified adaptive error recovery method and apparatus | |
Gangal et al. | An improved motion-compensated restoration method for damaged color motion picture films | |
JP2002223374A (ja) | ノイズ除去装置およびノイズ除去方法 | |
US6519369B1 (en) | Method and apparatus for filter tap expansion | |
US6418548B1 (en) | Method and apparatus for preprocessing for peripheral erroneous data | |
JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
JP3651093B2 (ja) | 動きベクトル検出装置および方法 | |
Pai | Review on Deinterlacing Algorithms | |
JPH09231374A (ja) | 動きベクトル検出装置および検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050803 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080521 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080521 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081118 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |