JP4689667B2 - 符号化方法、符号化装置、フィルタ生成方法及びフィルタ生成装置 - Google Patents

符号化方法、符号化装置、フィルタ生成方法及びフィルタ生成装置 Download PDF

Info

Publication number
JP4689667B2
JP4689667B2 JP2007515139A JP2007515139A JP4689667B2 JP 4689667 B2 JP4689667 B2 JP 4689667B2 JP 2007515139 A JP2007515139 A JP 2007515139A JP 2007515139 A JP2007515139 A JP 2007515139A JP 4689667 B2 JP4689667 B2 JP 4689667B2
Authority
JP
Japan
Prior art keywords
filter
motion
group
class
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007515139A
Other languages
English (en)
Other versions
JP2008500775A (ja
Inventor
ミャオ、チョウロン
カリッグ、ジェームス、ジェー．、ジュニア
パニコニ、マルコ
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2008500775A publication Critical patent/JP2008500775A/ja
Application granted granted Critical
Publication of JP4689667B2 publication Critical patent/JP4689667B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ビデオデータの圧縮符号化方法、符号化装置、フィルタ生成方法及びフィルタ生成装置に関し、詳しくは、画像データのフレームの予測に基づく圧縮に関する。
著作権表示／許諾
この明細書の開示内容の一部は、著作権保護の対象となるマテリアルを含む。著作権所有者は、この明細書が特許商標庁への特許出願であると認められるファックスコピーに対しては異議を唱えないが、この他のあらゆる全ての著作権を主張する。以下の表示は、後述するソフトウェア及びデータ、並びに添付の図面に適用される。：著作権（ｃ）２００３：全ての著作権はソニーエレクトロニクスインク社に帰属する（Copyright (c) 2003, Sony Electronics, Inc., All Rights Reserved）。
フレームに亘る時間的な冗長性を取り除くことによって、ビデオシーケンスの圧縮利得を高めることができる。現フレームを符号化するためには、まず、前に符号化した「参照」フレームに基づいて、フレームを予測し、その予測誤差だけが符号化される。時間的予測では、ブロックベースの動き推定及び補償が広く用いられている。図１に示すように、この技術の基礎的な発想は、参照フレーム１０１において、類似する対応するブロックを検出し、現フレーム１０３におけるターゲットブロックを予測することであり、したがって、ターゲットブロックの予測誤差だけを符号化すればよい。
正確な時間的予測を行うための従来の技術では、サブ画素動き検出を用いるため、動きベクトルオーバヘッドが大きくなる。更に、従来の手法では、サブ画素分解能を任意に設定できず、例えば、１／２、１／４又は１／８等、予め定められたサブ画素分解能だけしか得られない。しかしながら、現実には、ピクチャ内のオブジェクトは、従来の純粋な動き補償法では推定できない任意のサブ画素分解能で動くことがある。純粋な動き補償によって精密な動き分解能を実現するためには、各ベクトルを表現するためにより多くのビットが必要となり、圧縮性能が低下する。
時間的分類フィルタリングは、画素の値を予測するために、ターゲットフレーム内の画素のクラスに割り当てられたフィルタを適用することによって画像データを符号化する。画素は、関連する動きベクトルに基づいて分類され、動きベクトルは、参照フレーム上でフィルタを位置決めするために使用される。また、予測誤差値も算出する。フィルタと、動きベクトルと、予測誤差とは、符号化された画像データ内の画素を表す。参照フレームは、画像データの前方フレームであっても後方フレームであってもよく、予測では、前方フレーム又は後方フレームの様々な組合せを用いることができる。複数の参照フレーム予測フィルタは、各参照フレームの２次元フィルタを含む３次元フィルタである。フィルタは、予め定義してもよく、フレームを符号化する際に生成してもよい。画像データは、参照フレームにフィルタを適用し、これにより得られる予測を予測誤差値によって修正することによって再生される。
本発明は、様々な側面として、システム、クライアント、サーバ及びマシンにより読取可能な媒体に関連して説明される。この概要に開示する本発明の側面に加えて、本発明の更なる側面は、添付の図面を参照する以下の詳細な説明によって明らかとなる。
以下、添付の図面を用いて、本発明の実施例を詳細に説明する。添付の図面においては、類似する要素には、類似する参照符号を付す。添付の図面は、本発明を実現する特定の実施例を例示的に示している。これらの実施例については、当業者が本発明を実施することができるよう、詳細に説明するが、この他の実施例も可能であり、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的及びこの他の変更を行うことができる。したがって、以下の詳細な説明は、限定的には解釈されず、本発明の範囲は、添付の請求の範囲によってのみ定義される。
図２は、時間的分類フィルタリング（temporal classified filtering：ＴＣＦ）及び従来の動き補償を用いて画像データ２０１のソースフレームを符号化し、より高い圧縮利得及びより良好な視覚的結果を実現する符号化／復号システム２００を示している。エンコーダ２０３は、符号化するフレーム（ターゲットフレーム）内の各ブロックに対し、ブロックベースの動き推定を用いて動きベクトルを検出する。ターゲットフレーム内の画素は、動きプロパティに基づいて、異なるクラスにグループ化され、したがって、フレームは、本質的には、動きベクトルを用いてセグメント化される。指定されたフィルタは、クラス内の全ての画素に割り当てられる。ターゲット画素を予測するために、ターゲット画素に対する動きベクトルによって位置決めされた対応するフィルタを１つ以上の前に符号化されたフレーム（参照フレーム）に適用する。参照フレームの他の画素にフィルタリング処理を行うことによって、ターゲット画素の時間的予測が得られる。また、エンコーダ２０３は、ターゲット画素の予測誤差すなわち、実際の画素値と予測値との間の差分を算出する。次に、符号化されたフレーム、動きベクトル及び予測誤差は、ネットワーク２０５として示す通信リンクを介してデコーダ２０７に送信するために符号化される。また、デコーダ２０７は、フィルタ係数を送信又は再生することができる。ＴＣＦの動作は、特定の送信符号化に限定されず、周知の如何なる符号化法を用いてもよい。デコーダ２０７は、フィルタ及び動きベクトルを用いてターゲット画素の値を予測し、予測値に予測誤差を適用して画像データの出力フレーム２０９を生成する。このように、ＴＣＦは、粗い、すなわち画素単位の分解能の動きベクトルのみに基づいて、任意のサブ画素分解能の時間的予測を提供することができる。したがって、画素予測誤差は、小さくなり、高い圧縮利得を実現できる。更に、複数の参照フレームの画素データを用いてターゲット画素を予測することによって、予測精度をより高めることができる。
一実施の形態において、ＴＣＦを用いてターゲットフレームを符号化する手法について、図３Ａ〜図３Ｃを用いて説明する。図３Ａ〜図３Ｃは、前方又は未来の単一の参照フレームを使用することを仮定している。複数の参照フレームを用いる実施の形態については、後に説明する。
図３Ａは、画素に対する動きベクトル（矢印として示す）に基づいて、画素が６つのセグメント、例えば、セグメント３０３に分類されたターゲットフレーム３０１を示している。同様の動きベクトルを有する画素は、通常、共に同じセグメントにグループ化される。周知のブロックマッチング動き推定技術を用いて動きベクトルを取得した後、この動きベクトルを分類し、各動きベクトルにクラスＩＤを割り当てる。また、動きベクトルに対応する画素も、そのクラスＩＤに割り当てられる。この分類の後に、セグメントは、互いに結合された又は切り離された画素を含むことができる。
例えば、図１を参照して、時間順（時間領域）のフレームのインデクスをｔとする。ターゲットフレームＦｔ１０３における画素ｐ（ｉ，ｊ，ｔ）が参照フレームＦｔｒ１０１（時刻ｔｒにおけるフレーム）を参照する動きベクトル［ｍｉ，ｍｊ］１０５を有するとする。この場合、従来の動き補償ベースの時間的予測は、以下のように表される。
Figure 0004689667
ここで、ｖ（ｉ’，ｊ’，ｔｒ）は、前フレームＦｔｒにおけるｉ’列ｊ’行の画素の値である。この参照画素の位置は、動きベクトル［ｍｉ，ｍｊ］によって特定される。この場合、ｍｉ＝ｉ’−ｉであり、ｍｊ＝ｊ’−ｊである。
ターゲットフレームの全ての画素は、Ｎｃを正の整数として、Ｎｃ個のクラス又はセグメントに分類される。各クラス又はセグメントｃには、固有のフィルタが関連付けられ、したがって、各ターゲットフレームについてＮｃ個のフィルタが用いられる。これらのフィルタは、分類フィルタ（classified filter）と呼ばれる。フィルタの係数は、予め定義してもよく、又は後に更に詳細に説明するように、トレーニング又は他の技術に基づいて生成してもよい。各フィルタは、例えば、長方形、円形、ダイヤモンド形等、一組の画素位置又はフィルタタップによって定義される任意の二次元形状を有する。図３Ｂは、ダイヤモンド形のフィルタ３０５を示している。なお、各分類フィルタは、異なる形状及び異なる係数を有していてもよい。
図３Ｃに示すように、ターゲットフレームＦｔ３１１の各画素ｐ（ｉ，ｊ）について、画素ｖ（ｉ，ｊ，ｉ）３１７の値は、画素のクラスＩＤｃに対応するフィルタｃ３１５を適用することによって、参照フレームＦｔ３１３の画素のグループから推定できる。各フィルタタップは、参照フレームの画素に揃えられ、フィルタタップによって覆われる全ての画素は、領域Ｒを形成する。ε画素値ｖは、予測値＾ｖ（ｖハットを表す。）３１９と、予測誤差ε３２１として用いられる余りの値とを加算した値として表すことができる。
Figure 0004689667
参照フレーム内のフィルタの位置は、画素座標で表すことができる。これに代えて、フィルタ内の１つのタップを「アンカタップ」として選択してもよく、この場合、フィルタ位置は、フィルタアンカタップが揃えられたフレーム内の画素の座標として定義される。ターゲット画素の動きベクトル［ｍｉ，ｍｊ］３２３は、参照位置（ｉ’，ｊ’）を特定するために用いられる。
Figure 0004689667
アンカタップを用いる場合、フィルタＷｃを参照フレームＦｔｒ上に置き、アンカタップを参照画素位置に一致させる。一旦、フィルタタップ（換言すればフィルタ形状）及びフィルタ位置が決まると、入力タップ画素の領域も一意的に定義される。
入力タップ画素及びフィルタ係数の全ての値が、それぞれベクトルＸ及びベクトルＷを構成するとする。各ベクトルは、フィルタタップの数をｎとして、ｎ個の要素を有し、すなわち、Ｘ＝［ｘ１，ｘ２・・・ｘｎ］、Ｗ＝［ｗ１，ｗ２・・・ｗｎ］である。２つのベクトルの要素は、同じ次数を有し、すなわち、要素ｘｉは、空間領域において、フィルタタップｗｉに揃う入力タップである。したがって、式２のフィルタリング処理は、以下のベクトル積として表現することができる。
Figure 0004689667
予測値は、符号化されたフレーム内の画素を表すために用いられる。また、予測誤差は、以下の式を用いて生成され、フレームを復号する際に予測を修正するためにデコーダに供給される。
Figure 0004689667
説明を簡潔にするために、図３Ａ〜図３Ｃは、単一の参照フレームを用いた時間的分類フィルタリングの動作を示しているが、本発明は、これに限定されるわけではない。単一の参照フレームを用いる実施の形態は、後に更に詳細に説明するように、複数の参照フレームを用いるＴＣＦ画素予測に容易に拡張することができる。
例えば、図２のエンコーダ２０３等のエンコーダによって実行される時間的分類のフィルタリング処理（以下、ＴＣＦ処理という）４００の一実施の形態について、図４Ａ〜図４Ｄを参照して説明する。
まず、図４Ａに示すＴＣＦ処理４００には、ターゲットフレーム又は現フレームと、（既に符号化されている）の単一の参照フレームとが供給される。なお、ＴＣＦ処理４００は、単一の参照フレームのみを用いる処理に限定されず、複数のフレームを用いるＴＣＦ処理の応用例については、図５Ａ〜図５Ｄを用いて後に説明する。
ブロック４０１において、ＴＣＦ処理は、参照フレームに基づいて、ターゲットフレーム内の全ての画素の動きベクトルを検出する。これは、標準の映像圧縮技術（例えば、ＭＰＥＧ）と同様である。上述したように、ターゲットフレームは、固定サイズのブロックに分割され、各ブロックの動きベクトルを検出するために、ブロックマッチングが実行される。同じブロック内の全ての画素は、同じ動きベクトルを共有する。動きベクトルは、画素分解能及びサブ画素分解能の何れを有していてもよい。
ブロック４０３においては、図３Ａに関連して上述したように、画素の動きベクトルに基づいて、ターゲットフレーム内の画素を幾つかのセグメントに分類する。同様の動きベクトルを有する画素は、通常、共に同じセグメントにグループ化される。この分類の後に、セグメントは、互いに結合された又は切り離された画素を含むことができる。各画素には、動きベクトルの分類に基づいて、クラスＩＤｃが割り当てられる。
画素の各クラスｃには、固有のフィルタＷｃが割り当てられる。フィルタタップ及びフィルタの形状は、予め定義してもよい。フレーム内のクラス（又は、セグメント）の数Ｎｃは、所定の値であってもよく、又はフレームの特徴に基づいて決定してもよい。例えば、図３Ａは、Ｎｃが６であるフレームを示している。ブロック４０３における分類は、分類すべき要素がターゲットフレームの動きベクトルである、Ｎｃ個の面積中心を有する一般的な２二次元セグメント化問題とみなすことができる。一実施の形態においては、ｋ＝Ｎｃとして、周知のｋ平均セグメント化法（k-means segmentation method）を用いる。図４Ｂに示す他の実施の形態では、後に更に詳細に説明するように、所定の最大クラス数Ｎｍａｘに基づいて、ｋ平均セグメント化法に比べて、画素をより高速且つ簡単に分類できる。
上述のように、各フィルタは、異なる形状（フィルタタップ）及び異なる係数を有することができる。係数は、予め定義してもよく、破線のブロック４０５によって表しているように、様々な手法を用いて、必要に応じて生成してもよい。例えば、係数は、入力タップと参照位置（ｉ’，ｊ’）（又はフィルタ位置）との間の時間的距離に対応する重みであってもよい。また、図４Ｃに関連して後述するように、参照フレーム及びターゲットフレームからのデータによるセルフオンライントレーニングによって、フィルタ係数を生成することもできる。
図３Ｃに関連して上述したように、クラスＩＤｃを有するターゲット画素については、ＴＣＦ処理４００は、関連する分類フィルタＷｃ（ブロック４０７）を用いて画素の値を予測する。
ブロック４０９では、予測誤差を算出する。上述のように、予測誤差及び動きベクトルは、デコーダに供給される。また、動きベクトルからクラスＩＤを導出できない場合及びフィルタ係数がブロック４０５において生成されている場合等、クラスＩＤ及びフィルタ係数をデコーダに供給する必要がある場合もある。
図４Ｂは、ターゲットフレームの動きベクトルに基づいて、各画素のクラスＩＤを出力する分類処理４１０を示している。ブロック４１１において、分類処理４１０は、同じ値を有する動きベクトルをビンにグループ化する。ブロック４１３において、ｎｂ個の同じ動きベクトルを含む各ビルｂによって、Ｎｍｖ個のビンを生成する。この実施の形態では、２つの動きベクトルｍｖ１＝［ｍｉ１，ｍｊ１］及びｍｖ２＝［ｍｉ２，ｍｊ２］は、同じであると定義され、すなわちｍｉ１＝ｍｉ２及びｍｊ１＝ｍｊ２の場合及びこの場合に限り、ｍｖ１＝ｍｖ２である。
Ｎｍａｘ≧Ｎｍｖの場合（ブロック４１５）、ビンの数は、Ｎｍａｘより少なく、したがって、分類処理４１０は、ブロック４２１に進む。
一方、Ｎｍａｘ＜Ｎｍｖの場合、幾つかのビンを結合して、ビンの数をＮｍａｘになるように削減する必要がある。ビンは、ブロック４１７において、ｎｂ（ビン内の動きベクトルの数）の降順にソートされる。したがって、第１のビンは、最大数の動きベクトルを有する。第１のＮｍａｘ−１個のビンにおける各ビンは、クラスを形成し、残りのビンは、ＮｍａｘからＮｍｖまで一緒にグループ化され、単一のクラスを形成し（ブロック４１９）、これにより、合計Ｎｍａｘ個のビンが生成される。ブロック４２１では、各ビンに、例えば整数であるクラスＩＤｃを割り当てる。
クラス内の全ての画素は、同じフィルタを共有するので、フィルタ係数がデコーダに供給されると（例えば、係数は、オンライントレーニングによって取得される）、クラスが大きい程（例えば、より多くの画素を含む程）、圧縮効率が高くなる。したがって、圧縮利得を高めるために、分類処理４１０では、画素が非常に少ない（すなわち、動きベクトルの数が少ない）クラスを任意に除外してもよい。この場合、閾値Ｔｍｖを選択し、閾値Ｔｍｖより少ない数の動きベクトルしか含まないクラスは、最も近い隣接クラスに併合する（ブロック４２３）。閾値Ｔｍｖは、例えば、Ｔｍｖ＝１０等、予め決定してもよい。最も近い隣接クラスは、クラスの対間の距離ｄａ，ｂの測定に基づいて判定される。一実施の形態においては、距離は、２つのクラスの面積中心間のユークリッド距離である。
Figure 0004689667
ここで、（Ｍａ，１−Ｍｂ，１）及び（Ｍａ，２−Ｍｂ，２）は、それぞれクラスａ及びクラスｂの面積中心である。クラスｃの面積中心（［Ｍｃ，１−Ｍｃ，１］２つの要素のベクトルである。）は、以下のように定義される、クラスｃにおける動きベクトルの平均値である。
Figure 0004689667
ここで、ｍｋ，ｉ及びｍｋ，ｊは、クラスｃにおけるｋ番目の動きベクトルの２つの要素であり、ｎｃは、クラスｃにおける動きベクトルの総数である。所定のクラスｃに最も近い隣接クラスは、クラスｃへの距離が最も小さいクラスである。
動きベクトルの数が非常に少ないクラスは、ブロック４２３において、他の隣接クラスに併合することに代えて、特別なクラスにグループ化してもよい（ブロック４２５）。フィルタ係数のコストは、圧縮利得に影響するので、この特別なクラスには、非常に「短い」フィルタ、すなわち、タップが少ないフィルタを割り当て、このクラスのフィルタ係数のオーバヘッドを最小化する。図１は、１つのタップだけを有する「短い」フィルタの具体例を示しており、この場合、ターゲット画素は、単に参照画素だけによって予測される。
図４Ｃは、セルフオンライントレーニング処理４３１を用いてフィルタ係数を得る手法を説明する図である。なお、ここでは、ターゲットフレームの各クラスあたり１つのＮｃ個のフィルタがある。図４Ｃに示すように、セルフトレーニング処理４３１には、画素の動きベクトルを含むターゲットフレーム４３３、クラスＩＤ及び参照フレーム４３５が入力される。そして、セルフトレーニング処理４３１は、トレーニングされた特定の分類フィルタのフィルタ係数４３７を出力する。クラスｃに割り当てられたフィルタの係数は、クラスｃに属すデータ（画素）のみによってトレーニングされる。
一実施の形態においては、トレーニングされたフィルタ係数Ｗ＊は、以下の式から算出される。
Figure 0004689667
ここで、ｍｉｎｗは、独立変数Ｗについて、｜｜Ｘ・Ｗ−Ｙ｜｜２の値を最小化する関数である。Ｗ＊は、｜｜Ｘ・Ｗ−Ｙ｜｜２が最小に達したときのＷの値である。ここで、Ｘ、Ｙ及びＷは、例えば、以下に示すような行列及びベクトルであり、すなわち、Ｘは、入力データベクトルであり、Ｗは、係数ベクトルであり、Ｙは、ターゲットデータ行列である。Ｘ、Ｙ、Ｚの具体例を以下に示す。
Figure 0004689667
式９に基づいて算出されたＷ＊の分類フィルタ係数ｗｉは、同じクラスの全ての画素について、総合的な予測誤差を最小化する。
トレーニング処理の精度を更に高めて、より良い予測を提供するフィルタ係数を得ることもできる。ブロックマッチング動き補償段で「誤った」動きベクトルが生成される場合があるので、幾つかの画素が、不正確な、例えば、オブジェクトの実際の動きを表さない動きベクトルに割り当てられることがある。このような場合、これらの画素は、フィルタ係数のトレーニング処理を劣化させる。これを回避するために、図４Ｄに示すように、トレーニング処理４３１において、複数の繰返し処理を行うことができる。
ブロック４４１において、トレーニング処理４４０の第１の繰返しでは、同じセグメントｃ内の全ての画素を用いてそのセグメントクラスのフィルタ係数を導出する。そして、これにより得られたフィルタ係数を用いて、ターゲットフレームの各クラス内のターゲット画素を予測し（ブロック４４３）、各画素の予測誤差を算出する（ブロック４４５）。そして、所定の誤差閾値より誤差が大きいと判定された画素（ブロック４４７）を、クラスｃから削除し（ブロック４４９）、これにより、これらの画素は、このクラスのフィルタ係数のための次の繰返しにおいて、トレーニングから除外される。トレーニング処理４４０は、ブロック４４１に戻り、セグメントｃの残りの画素について処理を繰り返す。繰返しの回数が所定の値Ｔｔｒ、例えば、Ｔｔｒ＝３を超えた場合、又は大きい予測誤差を有する画素数が所定の数を下回った場合（ブロック４５１）、トレーニング処理４４０は終了する。トレーニング処理４４０は、誤って予測された画素をトレーニングデータから除外するので、最後の繰返しから得られるフィルタ係数は、セグメント内の残りの画素について、より正確な予測を提供する傾向がある。
繰返しの間にセグメントｃから除外された画素は、特別なクラスにグループ化し、新規のフィルタを割り当ててもよく（図４Ｂのブロック４２５）、又は同じクラスに残し、最後の繰返しで得られたフィルタ係数を用いて予測を行ってもよい（図４Ａのブロック４０７）。
実際には、ＴＣＦ処理４００は、マシンによって実行可能な命令で構成される１つ以上のプログラムから実現してもよい。図４Ａ〜図４Ｄのフローチャートの説明により、当業者は、適切に構成されたマシン（マシンによって読取可能な媒体からの命令を実行するマシンのプロセッサ）上で、論理ブロックで表されている処理（動作）を実行するための指示を含むプログラムを開発することができる。マシンによって実行可能な命令は、コンピュータプログラミング言語で書いてもよく、ファームウェアロジック又はハードウェア回路で実現してもよい。一般に認知されている標準的なプログラミング言語でこのようなソフトウェアを記述すれば、これらの命令は、様々なハードウェアプラットフォーム上で実行でき、様々なオペレーティングシステムにインタフェースすることができる。なお、ここでは、本発明を特定のプログラミング言語に基づいて説明はしない。ここに開示される本発明の原理は、様々なプログラミング言語で実現できることは明らかである。更に、当分野では、一般的に、動作の実行又は結果の導出を様々な表現（例えば、プログラム、手続、処理、アプリケーション、モジュール、ロジック等）で表す。これらの表現は、コンピュータによってソフトウェアが実行された場合に、コンピュータのプロセッサが所定の動作を実行し、又は結果を得ることを簡略的に示しているに過ぎない。なお、本発明の範囲から逸脱することなく、図４Ａ〜図４Ｄに示す処理にステップを追加してもよく、幾つかのステップを省略してもよく、また、ここに示すブロックの構成は、処理の順序を限定するものではない。
以下、図５Ａ〜図５Ｄを参照して、複数の参照フレームを用いるＴＣＦの特定の具体例について説明する。上述したＴＣＦの実施の形態では、単一の参照フレームに基づいて、画素を予測した。この手法は、複数の参照フレームを用いる予測に容易に拡張できる。幾つかのターゲットフレームについて、参照フレームにインデクスを付すことによって、複数の参照フレームに基づいて予測を行うことができる。これらの参照フレームは、前方フレーム又は後方フレームの何れでもよい又はこれらのフレームの如何なる組合せであってもよい。図５Ａ、５Ｂは、複数の前方の参照フレーム５０１、５０３からのターゲットフレームの予測、並びに前方の参照フレーム５０５、５０７及び未来の参照フレーム５０９からのターゲットフレームの予測を示している。
Ｎｒ個の参照フレームを仮定すると、各ブロック（又は画素）は、各参照フレームに関連付けられたＮｒ個の動きベクトルを有する。動きベクトルは、各参照フレームに対するインデクスを表す新たな要素をｍｔとして、［ｍｉ，ｍｊ，ｍｔ］として表される。この場合、各ターゲット画素について、Ｎｒ個の動きベクトルがあるので、分類処理は、単一の参照フレームを用いる上述のケース、すなわち、Ｎｒ＝１の場合とは、若干異なる。画素の各ブロックについて、動きベクトルは、利用可能な全てのＮｒ個の動きベクトルから選択される。一実施の形態においては、この選択は、画素の全体のブロックについて、どの動きベクトルが平均予測誤差を最小にするかに基づいて行われる。選択された動きベクトルは、上述のように、ブロックを分類するために用いられる。
クラスに割り当てられたフィルタは、タップが複数のフレームに亘る３次元形状を有することができる。換言すれば３Ｄフィルタは、上述した２次元フィルタのＮｒ個のピースを含む。図５Ｃは、係数トレーニング又は画素予測のために用いられ、異なる２Ｄフィルタ形状を有する２Ｄフィルタの２つのピース５１１、５１３を含む３Ｄフィルタを示している。３Ｄフィルタが複数の参照フレーム上に置かれると、２Ｄフィルタの各ピースは、対応する参照フレーム５１５、５１７に置かれ、その参照フレームに関連するターゲット画素動きベクトル５１９、５２１によって位置決めされる。一旦、フィルタが参照フレームに置かれると、入力タップ画素が特定される。入力タップ画素は、異なるフレームからの画素であってもよい。残りのトレーニング処理又は予測処理は、単一の参照フレームの実施の形態について説明した処理と同じである。
複数の参照フレームを有するＴＣＦの他の具体例を図５Ｄに示す。この場合、２つの前方の参照フレーム５３１、５３３及び１つの未来の参照フレーム５３５の３つの参照フレームがある（Ｎｒ＝３）。ターゲット画素５３７は、それぞれが各参照フレーム内の参照画素を特定する３つの動きベクトル（ｍｖ１５３９，ｍｖ２５４１及び／ｍｖ３５４３）を有する。３ＤのＴＣＦフィルタは、各参照フレームについて任意の形状を有することができ、図５Ｄは、各参照フレームに関してＴＣＦフィルタが１つのタップしかなく、各タップが参照画素に揃えられている極端なケースを示している。フィルタは、合計３つのタップを有し、３つの参照画素に対するフィルタリング処理からターゲット画素を予測できる。
以下、図６Ａ及び図６Ｂを用いて、上述した本発明の方法を実行するのに適するコンピュータハードウェア及び他の動作コンポーネントの概要を説明するが、この説明は、本発明を適用できる環境を限定することを意図するものではない。例えば、図２に示すエンコーダ２０３及び／又はデコーダ２０７は、図６Ｂに関連して後述するような汎用コンピュータシステムによって実現してもよいが、これらは、本明細書に開示した機能を実行するために特に構成された機器によって実現してもよい。ネットワーク２０５は、図６Ａに関連して後述するように、公衆回線であっても、プライベート接続であってもよく、この接続は、クライアントサーバ方式であっても、ピアツーピア方式であってもよい。また、本発明は、携帯型端末装置、マルチプロセッサシステム、マイクロプロセッサベース又はプログラミング可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ等他のコンピュータシステム構成で実現してもよいことは、当業者には明らかである。更に、本発明は、通信ネットワークを介してリンクされたリモートの処理装置によってタスクが実行される分散型コンピュータシステム環境によっても実現することができる。
図６Ａは、インターネット等のネットワーク３を介して接続された幾つかのコンピュータ装置１を示している。ここに用いる用語「インターネット」とは、例えば、ＴＣＰ／ＩＰプロトコル、及びワールドワイドウェブ（ｗｅｂ）を構成するハイパーテキストマークアップ言語（hypertext markup language：ＨＴＭＬ）文書のハイパーテキスト転送プロトコル（hypertext transfer protocol：ＨＴＴＰ）等の他のプロトコルを始めとする任意のプロトコルを用いるネットワークのネットワークを示している。インターネットの物理的接続及びプロトコル、インターネットの通信プロトコルは、当業者に周知の技術である。インターネット３へのアクセスは、例えば、ＩＳＰ５、７等のインターネットサービスプロバイダ（Internet service provider：以下、ＩＳＰという。）によって提供される。例えば、クライアントコンピュータシステム２１、２５、３５、３７等のクライアントシステム上のユーザは、ＩＳＰ５、７等のインターネットサービスプロバイダを介して、インターネットにアクセスする。クライアントコンピュータシステムのユーザは、インターネットにアクセスすることにより、情報を交換し、電子メールを送受信し、例えば、ＨＴＭＬフォーマットで作成された文書等の文書を閲覧することができる。これらの文書は、多くの場合、インターネット「上」にあるとみなされるウェブサーバ、例えば、ウェブサーバ９によって提供される。当分野において周知の通り、ＩＳＰではないコンピュータ装置をセットアップし、インターネットに接続することもできるが、これらのウェブサーバは、多くの場合、ＩＳＰ、例えば、ＩＳＰ５によって提供される。
ウェブサーバ９は、多くの場合、ワールドワイドウェブのプロトコルに基づいて、サーバコンピュータシステムとして動作するように構成され、インターネットに連結された少なくとも１つのコンピュータ装置である。これに代えて、ウェブサーバ９は、クライアントシステムにインターネットへのアクセスを提供するＩＳＰの一部であってもよい。ウェブサーバ９は、サーバコンピュータシステム１１に接続され、サーバコンピュータシステム１１は、メディアデータベースの形式のウェブコンテンツ１０に接続される。なお、図６Ａには、２つのコンピュータ装置９、１１を示しているが、ウェブサーバシステム９及びサーバコンピュータシステム１１は、ウェブサーバ機能及び、以下に詳細に説明するように、サーバコンピュータシステム１１によって提供されるサーバ機能を提供する異なるソフトウェアコンポーネントを有する１つのコンピュータ装置であってもよよい。
クライアントコンピュータシステム２１、２５、３５、３７は、それぞれ、適切なウェブブラウザを有し、ウェブサーバ９が提供するＨＴＭＬページを閲覧することができる。ＩＳＰ５により、クライアントコンピュータシステム２１は、クライアントコンピュータシステム２１の一部であるモデムインタフェース２３を介して、インターネットに接続することができる。クライアントコンピュータシステムは、パーソナルコンピュータシステム、ネットワークコンピュータ、ウェブテレビジョンシステム、携帯型機器、又はこの他のコンピュータ装置の何れであってもよい。同様に、これらの３つのコンピュータ装置（クライアントコンピュータシステム２５、３５、３７）ＩＳＰ７により、インターネットに接続することができるが、図６Ａに示すように、これらは、異なる手法でインターネットに接続してもよい。すなわち、クライアントコンピュータシステム２５は、モデムインタフェース２７を介して接続され、クライアントコンピュータシステム３５、３７は、ＬＡＮの一部である。図６Ａでは、モデムインタフェース２３、２７を包括的にモデムとして示しているが、これらのモデムインタフェース２３、２７は、アナログモデム、ＩＳＤＮモデム、ケーブルモデム、衛星通信インタフェース、又はコンピュータシステムを他のコンピュータシステムに接続するための他のインタフェースの何れであってもよい。クライアントコンピュータシステム３５、３７は、ネットワークインタフェース３９、４１を介してＬＡＮ３３に接続される。ネットワークインタフェース３９、４１は、イーサネット（登録商標）ネットワークであってもよく、この他のネットワークインタフェースであってもよい。また、ＬＡＮ３３は、ファイアウォール及びローカルエリアネットワークのこの他のインターネット関連のサービスを提供するゲートウェイコンピュータシステム３１にも接続されている。このゲートウェイコンピュータシステム３１は、ＩＳＰ７に接続され、これによりクライアントコンピュータシステム３５、３７は、インターネットに接続することができる。ゲートウェイコンピュータシステム３１は、従来のサーバコンピュータシステムであってもよい。またウェブサーバシステム９は、従来のサーバコンピュータシステムであってもよい。
これに代えて、周知の通り、ネットワークインタフェース４５を介して、サーバコンピュータシステム４３をＬＡＮ３３に直接接続し、ゲートウェイコンピュータシステム３１を介してインターネットに接続することなく、クライアントコンピュータシステム３５、３７にファイル４７及び他のサービスを提供してもよい。更に、ＬＡＮ３３、インターネット３又は通信媒体としてのこれらの組合せを用いたピアツーピアシステムを介して、クライアントコンピュータシステム２１、２５、３５、３７の任意の組合せを互いに接続してもよい。一般に、ピアツーピアシステムでは、中央サーバ又はサーバを用いることなく、複数のマシンのネットワークに亘って、ストレージ及び検索のためにデータを配信する。したがって、各ピアには、上述したクライアント及びサーバの両方の機能を組み込んでもよい。
図６Ｂは、クライアントコンピュータシステム、サーバコンピュータシステム又はウェブサーバシステムとして用いることができる周知のコンピュータ装置の構成を示している。更に、このようなコンピュータ装置を用いて、ＩＳＰ５等のインターネットサービスプロバイダの機能を実現することもできる。コンピュータ装置５１は、モデム又はネットワークインタフェース５３を介して、外部のシステムに接続される。なお、モデム又はネットワークインタフェース５３は、コンピュータ装置５１の一部であるとみなすこともできる。モデム又はネットワークインタフェース５３は、アナログモデム、ＩＳＤＮモデム、ケーブルモデム、トークンリングインタフェース、衛星通信インタフェース、又はコンピュータシステムを他のコンピュータ装置に接続するための他のインタフェースの何れであってもよい。コンピュータ装置５１は、処理ユニット５５を備え、処理ユニット５５は、例えば、インテル社（Intel）のペンティアム（Pentium）（登録商標）マイクロプロセッサ、モトローラ社（Motorola ）のパワーＰＣマイクロプロセッサ（Power PC microprocessor）等の周知のマイクロプロセッサであってもよい。メモリ５９は、バス５７を介してプロセッサ５５に接続されている。メモリ５９は、ダイナミックＲＡＭ（ＤＲＡＭ）であってもよく、スタティックＲＡＭ（ＳＲＡＭ）であってもよい。バス５７は、プロセッサ５５と、メモリ５９と、不揮発性メモリ６５と、ディスプレイ制御装置６１と、入出力（Ｉ／Ｏ）コントローラ６７とにも接続されている。ディスプレイ制御装置６１は、例えば陰極線管（cathode ray tube：ＣＲＴ）、液晶表示装置（liquid crystal display：ＬＣＤ）等のディスプレイデバイス６３の画面を周知の手法で制御する。入出力装置６９は、キーボード、ディスクドライブ、プリンタ、スキャナ及びマウス又は他のポインティング装置を備えるこの他の入出力装置を含む。ディスプレイ制御装置６１及びＩ／Ｏコントローラ６７は、周知の技術に基づいて実現することができる。デジタル画像入力装置７１は、入出力コントローラ６７に接続されたデジタルカメラであってもよく、この場合、デジタルカメラからの画像は、入出力コントローラ６７を介して、コンピュータ装置５１に供給される。不揮発性メモリ６５は、多くの場合、磁気ハードディスク、光ディスク又は大量のデータをストレージするための他の形式の媒体である。これらのデータは、通常、コンピュータ装置５１においてソフトウェアが実行されている間、ダイレクトメモリアクセス処理によってメモリ５９に書き込まれる。「コンピュータにより読取可能な媒体」及び「マシンにより読取可能な媒体」という用語には、プロセッサ５５によってアクセス可能なあらゆる種類の記録媒体だけではなく及びデータ信号をエンコードした搬送波等も含まれることは当業者にとって明らかである。
なお、コンピュータ装置５１は、異なるアーキテクチャを有する様々な可能なコンピュータ装置の一例に過ぎない。例えば、インテルマイクロプロセッサに基づくパーソナルコンピュータは、多くの場合、周辺機器への入出力（入出力）バスや、プロセッサ５５及びメモリ５９を直接接続するバス（メモリバスとも呼ばれる）を始めとする複数のバスを有する。バスは、異なるバスプロトコル間で必要な変換を実行するブリッジコンポーネントを介して、相互に接続される。
本発明では、他の種類のコンピュータ装置として、ネットワークコンピュータを用いてもよい。通常、ネットワークコンピュータは、ハードディスク又はこの他の大容量記憶媒体を備えておらず、実行可能なプログラムは、ネットワーク接続からメモリ５９にロードされ、プロセッサ５５によって実行される。当分野において周知のウェブテレビジョンシステムも本発明に基づくコンピュータ装置であるとみなすことができるが、ウェブテレビジョンシステムは、例えば、入力装置又は出力装置等、図６Ｂに示す要素の一部を有していない場合もある。一般的なコンピュータ装置は、通常、少なくともプロセッサと、メモリと、プロセッサをメモリに接続するバスとを備える。
更に、コンピュータ装置５１は、例えば、オペレーティングシステムソフトウェアの一部であるディスクオペレーティングシステム等のファイル管理システムを備えるオペレーティングシステムソフトウェアによって制御される。関連ファイル管理システムソフトウェアを有するオペレーティングシステムソフトウェアの一例として、ワシントン州レッドモンド（Redmond, Washington）のマイクロソフト社（Microsoft Corporation）から市販されているウィンドウズ（Windows：商標）のファミリであるオペレーティングシステム及びこれらの関連ファイル管理システムがある。ファイル管理システムは、通常、不揮発性メモリ６５に格納され、データを入出力し、メモリにデータを保存し、例えば、不揮発性メモリ６５にファイルを格納する等、オペレーティングシステムが必要とする様々な動作をプロセッサ５５に実行させる。
以上、送信の後に画素値を再生できるように画像データ内の画素を予測する時間的分類フィルタリングについて説明した。ここでは、特定の実施例を示したが、ここに示した特定の実施例に代えて、同じ目的を達成する如何なる構成を用いてもよいことは当業者にとって明らかである。したがって、本発明は、添付の請求の範囲及びその等価物によってのみ制限される。
従来のブロックベースの動き推定及び補償を説明する図である。 時間的分類フィルタリングの実施の形態を用いるデータ符号化の概要をシステムレベルで示す図である。 単一の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。 単一の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。 単一の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。 コンピュータにより実行される時間的分類フィルタリング処理の一例を示すフローチャートである。 コンピュータにより実行される時間的分類フィルタリング処理の一例を示すフローチャートである。 コンピュータにより実行される時間的分類フィルタリング処理の一例を示すフローチャートである。 コンピュータにより実行される時間的分類フィルタリング処理の一例を示すフローチャートである。 複数の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。 複数の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。 複数の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。 複数の参照フレームを用いる時間的分類フィルタリングの実施の形態を説明する図である。 本発明の実施に適当な動作環境の一例を示す図である。 図６Ａの動作環境での使用に適当なコンピュータ装置の一例を示す図である。

Claims (45)

  1. コンピュータを用いて、画像データを符号化する符号化方法において、
    画像データのターゲットフレームにおける各画素グループであって、同じ動きベクトルを有する画素を含んでいる各画素グループを、該ターゲットフレームが少なくとも２つの異なる動きクラスを含むよう、動きクラスに割当てるステップと、
    フィルタを各動きクラスに割当てるステップと、
    を有し、
    上記フィルタの係数は、該フィルタが割当てられている上記動きクラスの画素を用いてトレーニングされ、第１の動きクラスに割当てられている第１のフィルタは、第１のフィルタ形状を有し、第２の動きクラスに割当てられている第２のフィルタは、該第１のフィルタ形状とは異なっている第２のフィルタ形状を有し、
    符号化方法は、さらに、
    上記フィルタに割当てられている動きクラスであり、該動きクラスに割当てられている画素グループを用いて、フィルタごとに係数の初期の組を生成するステップと、
    コンピュータが、上記動きクラスに割り当てられているフィルタ及び参照フレームを用いて、各動きクラスに割当てられている上記画素グループの値を予測するステップと、
    上記予測値の予測誤差値を算出するステップと、
    を有し、
    符号化された画像データ内の画素グループは、上記フィルタ、上記動きベクトル、及び、上記予測誤差値によって表され、
    符号化方法は、さらに、
    各動きクラスに対応する予測誤差値が予測誤差閾値を越えている該動きクラスにおける各画素を識別するステップと、
    上記フィルタが割当てられている動きクラスの画素を用いて、各フィルタごとの後続の係数の組を少なくとも一つ生成するステップと、
    を有し、識別された上記画素は、上記後続の係数の生成から除外されることを特徴とする符号化方法。
  2. 上記参照フレームは、前に符号化されたフレームであることを特徴とする請求項１記載の符号化方法。
  3. 上記予測するステップは、
    予測された画素に関連する動きベクトルに基づいて、参照フレーム上でフィルタを位置決めするステップを有することを特徴とする請求項１記載の符号化方法。
  4. 上記予測は、複数の参照フレームを用いることを特徴とする請求項１記載の符号化方法。
  5. 上記複数の参照フレームは、前方フレーム、後方フレーム、並びに前方及び後方フレームの組合せから選択されることを特徴とする請求項４記載の符号化方法。
  6. 上記フィルタは、各参照フレームに対する２次元フィルタを含む３次元フィルタであることを特徴とする請求項４記載の符号化方法。
  7. 上記動きベクトルを生成するステップを更に有する請求項１記載の符号化方法。
  8. 上記各画素グループを割当てるステップは、
    動きベクトルを、各動きベクトルの値によって動きベクトルのグループにグループ化するステップと、
    上記各動きベクトルのグループにクラス識別子を割り当てるステップとを有することを特徴とする請求項１記載の符号化方法。
  9. 上記動きベクトルのグループの数が所定の最大値を超えた場合、上記各画素グループを割当てるステップは、
    上記動きベクトルのグループの数が上記所定の最大値になるまで、動きベクトルの数が少ない動きベクトルのグループを併合するステップを有することを特徴とする請求項８記載の符号化方法。
  10. 上記各画素グループを割当てるステップは、
    上記動きベクトルの数が少ない動きベクトルのグループを、隣接する動きベクトルのグループに併合するステップを含むことを特徴とする請求項８記載の符号化方法。
  11. 上記各画素グループを割当てるステップは、
    上記動きベクトルの数が少ない動きベクトルのグループを特別のクラスに併合するステップを含むことを特徴とする請求項８記載の符号化方法。
  12. 動きベクトルに基づいて、参照フレームに各フィルタを適用し、予測誤差値を加算し、画像データの画素を再構築するステップを更に有する請求項１記載の符号化方法。
  13. コンピュータを用いて、時間的に分類されたフィルタを生成するフィルタ生成方法において、
    画像データのターゲットフレームにおける各画素グループであって、同じ動きベクトルを有する画素を含んでいる各画素グループを、該ターゲットフレームが少なくとも２つの異なる動きクラスを含むよう、動きクラスに割当てるステップと、
    係数の初期グループを各動きクラスに割当てるステップと、
    を有し、
    上記係数の初期グループは、該係数の初期グループが割当てられている動きクラスの画素を用いてトレーニングされ、第１の動きクラスに割当てられている第１の係数グループは、第１のグループ形状を有し、第２の動きクラスに割当てられる第２の係数グループは、該第１のグループ形状とは異なっている第２のグループ形状を有し、
    フィルタ生成方法は、さらに、
    各動きクラスに対応する係数の初期グループを用いて、該動きクラスに割当てられている上記画素グループの値を予測するステップと、
    コンピュータが、上記画素グループ、上記同じ動きベクトル、及び、プリコーディングされた参照フレームに基づいて、上記各動きクラスに割当てられている画素グループについての後続の係数グループを少なくとも一つ生成するステップと、
    を有し、
    予測誤差値が閾値より大きい上記係数の初期グループを用いて予測された画素は、上記少なくとも一つの後続の係数グループの生成から除外されることを特徴とするフィルタ生成方法。
  14. プロセッサに、画像データを符号化する符号化方法を実現させる実行可能な命令を有するマシンにより読取可能な媒体において、該符号化方法は、
    画像データのターゲットフレームにおける各画素グループであって、同じ動きベクトルを有する画素を含んでいる各画素グループを、該ターゲットフレームが少なくとも２つの異なる動きクラスを含むよう、動きクラスに割当てるステップと、
    フィルタを各動きクラスに割当てるステップと、
    を有し、
    上記フィルタの係数は、該フィルタが割当てられている上記動きクラスの画素を用いてトレーニングされ、第１の動きクラスに割当てられている第１のフィルタは、第１のフィルタ形状を有し、第２の動きクラスに割当てられている第２のフィルタは、該第１のフィルタ形状とは異なっている第２のフィルタ形状を有し、
    符号化方法は、さらに、
    上記フィルタに割当てられている動きクラスであり、該動きクラスに割当てられている画素グループを用いて、フィルタごとに係数の初期の組を生成するステップと、
    上記動きクラスに割り当てられているフィルタ及び参照フレームを用いて、各動きクラスに割当てられている上記画素グループの値を予測するステップと、
    上記予測値の予測誤差値を算出するステップと、
    を有し、
    符号化された画像データ内の画素グループは、上記フィルタ、上記動きベクトル、及び、上記予測誤差値によって表され、
    符号化方法は、さらに、
    各動きクラスに対応する予測誤差値が予測誤差閾値を越えている該動きクラスにおける各画素を識別するステップと、
    上記フィルタが割当てられている動きクラスの画素を用いて、各フィルタごとの後続の係数の組を少なくとも一つ生成するステップと、
    を有し、識別された上記画素は、上記後続の係数の生成から除外されることを特徴とするマシンにより読取可能な媒体。
  15. 上記参照フレームは、前に符号化されたフレームであることを特徴とする請求項１４記載のマシンにより読取可能な媒体。
  16. 上記予測するステップは、予測された画素に関連する動きベクトルに基づいて、参照フレーム上でフィルタを位置決めするステップを有することを特徴とする請求項１４記載のマシンにより読取可能な媒体。
  17. 上記予測は、複数の参照フレームを用いることを特徴とする請求項１４記載のマシンにより読取可能な媒体。
  18. 上記複数の参照フレームは、前方フレーム、後方フレーム、並びに前方及び後方フレームの組合せから選択されることを特徴とする請求項１７記載のマシンにより読取可能な媒体。
  19. 上記フィルタは、各参照フレームに対する２次元フィルタを含む３次元フィルタであることを特徴とする請求項１７記載のマシンにより読取可能な媒体。
  20. 上記符号化方法は、上記動きベクトルを生成するステップを更に有することを特徴とする請求項１４記載のマシンにより読取可能な媒体。
  21. 上記各画素グループを割当てるステップは、
    動きベクトルを、各動きベクトルの値によって動きベクトルのグループにグループ化するステップと、
    上記各動きベクトルのグループにクラス識別子を割り当てるステップとを有することを特徴とする請求項１４記載のマシンにより読取可能な媒体。
  22. 上記動きベクトルのグループの数が所定の最大値を超えた場合、上記各画素グループを割当てるステップは、
    上記動きベクトルのグループの数が上記所定の最大値になるまで、動きベクトルの数が少ない動きベクトルのグループを併合するステップを有することを特徴とする請求項２１記載のマシンにより読取可能な媒体。
  23. 上記各画素グループを割当てるステップは、
    上記動きベクトルの数が少ない動きベクトルのグループを、隣接する動きベクトルのグループに併合するステップを含むことを特徴とする請求項２１記載のマシンにより読取可能な媒体。
  24. 上記各画素グループを割当てるステップは、
    上記動きベクトルの数が少ない動きベクトルのグループを特別のクラスに併合するステップを含むことを特徴とする請求項２１記載のマシンにより読取可能な媒体。
  25. 上記符号化方法は、動きベクトルに基づいて、参照フレームに各フィルタを適用し、予測誤差値を加算し、画像データの画素を再構築するステップを更に有することを特徴とする請求項１４記載のマシンにより読取可能な媒体。
  26. プロセッサに、時間的に分類されたフィルタを生成するフィルタ生成方法を実現させる実行可能な命令を有するマシンにより読取可能な媒体において、該フィルタ生成方法は、
    画像データのターゲットフレームにおける各画素グループであって、同じ動きベクトルを有する画素を含んでいる各画素グループを、該ターゲットフレームが少なくとも２つの異なる動きクラスを含むよう、動きクラスに割当てるステップと、
    係数の初期グループを各動きクラスに割当てるステップと、
    を有し、
    上記係数の初期グループは、該係数の初期グループが割当てられている動きクラスの画素を用いてトレーニングされ、第１の動きクラスに割当てられている第１の係数グループは、第１のグループ形状を有し、第２の動きクラスに割当てられる第２の係数グループは、該第１のグループ形状とは異なっている第２のグループ形状を有し、
    フィルタ生成方法は、さらに、
    各動きクラスに対応する係数の初期グループを用いて、該動きクラスに割当てられている上記画素グループの値を予測するステップと、
    上記画素グループ、上記同じ動きベクトル、及び、プリコーディングされた参照フレームに基づいて、上記各動きクラスに割当てられている画素グループについての後続の係数グループを少なくとも一つ生成するステップと、
    を有し、
    予測誤差値が閾値より大きい上記係数の初期グループを用いて予測された画素は、上記少なくとも一つの後続の係数グループの生成から除外されることを特徴とするマシンにより読取可能な媒体。
  27. バスを介してメモリに接続されたプロセッサと、
    上記プロセッサにより、上記メモリから読み出され、該プロセッサに画像データを符号化させる符号化処理プログラムとを備える符号化装置において、
    上記符号化処理プログラムは、該プロセッサに、
    画像データのターゲットフレームにおける各画素グループであって、同じ動きベクトルを有する画素を含んでいる各画素グループを、該ターゲットフレームが少なくとも２つの異なる動きクラスを含むよう、動きクラスに割当てるステップと、
    フィルタを各動きクラスに割当てるステップと、
    を実行させるためのプログラムであって、
    上記フィルタの係数は、該フィルタが割当てられている上記動きクラスの画素を用いてトレーニングされ、第１の動きクラスに割当てられている第１のフィルタは、第１のフィルタ形状を有し、第２の動きクラスに割当てられている第２のフィルタは、該第１のフィルタ形状とは異なっている第２のフィルタ形状を有し、
    さらに、上記符号化処理プログラムは、上記プロセッサに、
    上記フィルタに割当てられている動きクラスであり、該動きクラスに割当てられている画素グループを用いて、フィルタごとに係数の初期の組を生成するステップと、
    上記動きクラスに割り当てられているフィルタ及び参照フレームを用いて、各動きクラスに割当てられている上記画素グループの値を予測するステップと、
    上記予測値の予測誤差値を算出するステップと、
    を実行させるためのプログラムであって、
    符号化された画像データ内の画素グループは、上記フィルタ、上記動きベクトル、及び、上記予測誤差値によって表され、
    さらに、上記プロセッサに、
    各動きクラスに対応する予測誤差値が予測誤差閾値を越えている該動きクラスにおける各画素を識別するステップと、
    上記フィルタが割当てられている動きクラスの画素を用いて、各フィルタごとの後続の係数の組を少なくとも一つ生成するステップと、
    を実行させるための符号化処理プログラムであって、識別された上記画素は、上記後続の係数の生成から除外されることを特徴とする符号化処理プログラムを備える符号化装置。
  28. 上記参照フレームは、前に符号化されたフレームであることを特徴とする請求項２７記載の符号化装置。
  29. 上記符号化処理プログラムは、上記プロセッサに、予測された画素に関連する動きベクトルに基づいて、参照フレーム上でフィルタを位置決めするステップを実行させるためのプログラムであることを特徴とする請求項２７記載の符号化装置。
  30. 上記予測は、複数の参照フレームを用いることを特徴とする請求項２７記載の符号化装置。
  31. 上記複数の参照フレームは、前方フレーム、後方フレーム、並びに前方及び後方フレームの組合せから選択されることを特徴とする請求項３０記載の符号化装置。
  32. 上記フィルタは、各参照フレームに対する２次元フィルタを含む３次元フィルタであることを特徴とする請求項３０記載の符号化装置。
  33. 上記符号化処理プログラムは、上記プロセッサに、
    上記動きベクトルを生成するステップを実行させるためのプログラムであることを特徴とする請求項２７記載の符号化装置。
  34. 上記符号化処理プログラムは、上記プロセッサに、
    動きベクトルを、各動きベクトルの値によって動きベクトルのグループにグループ化するステップと、
    上記各動きベクトルのグループにクラス識別子を割り当てるステップと、
    を実行させるためのプログラムであることを特徴とする請求項２７記載の符号化装置。
  35. 上記動きベクトルのグループの数が所定の最大値を超えた場合、上記符号化処理プログラムは、上記プロセッサに、
    上記動きベクトルのグループの数が上記所定の最大値になるまで、動きベクトルの数が少ない動きベクトルのグループを併合するステップを実行させるためのプログラムであることを特徴とする請求項３４記載の符号化装置。
  36. 上記符号化処理プログラムは、上記プロセッサに、
    上記動きベクトルの数が少ない動きベクトルのグループを、隣接する動きベクトルグループに併合するステップを実行させるためのプログラムであることを特徴とする請求項３４記載の符号化装置。
  37. 上記符号化処理プログラムは、上記プロセッサに、
    上記動きベクトルの数が少ない動きベクトルのグループを特別のクラスに併合するステップを実行させるためのプログラムであることを特徴とする請求項３４記載の符号化装置。
  38. 上記符号化処理プログラムは、上記プロセッサに、
    動きベクトルに基づいて、参照フレームに各フィルタを適用し、予測誤差値を加算し、画像データの画素を再構築するステップを実行させるためのプログラムであることを特徴とする請求項２７記載の符号化装置。
  39. バスを介してメモリに接続されたプロセッサと、
    上記プロセッサにより、上記メモリから読み出され、該プロセッサに時間的に分類されたフィルタを生成するフィルタ生成処理プログラムとを備えるフィルタ生成装置において、
    上記フィルタ生成処理プログラムは、該プロセッサに、
    画像データのターゲットフレームにおける各画素グループであって、同じ動きベクトルを有する画素を含んでいる各画素グループを、該ターゲットフレームが少なくとも２つの異なる動きクラスを含むよう、動きクラスに割当てるステップと、
    係数の初期グループを各動きクラスに割当てるステップと、
    を実行させるためのプログラムであって、
    上記係数の初期グループは、該係数の初期グループが割当てられている動きクラスの画素を用いてトレーニングされ、第１の動きクラスに割当てられている第１の係数グループは、第１のグループ形状を有し、第２の動きクラスに割当てられる第２の係数グループは、該第１のグループ形状とは異なっている第２のグループ形状を有し、
    さらに、上記符号化処理プログラムは、上記プロセッサに、
    各動きクラスに対応する係数の初期グループを用いて、該動きクラスに割当てられている上記画素グループの値を予測するステップと、
    上記画素グループ、上記同じ動きベクトル、及び、プリコーディングされた参照フレームに基づいて、上記各動きクラスに割当てられている画素グループについての後続の係数グループを少なくとも一つ生成するステップと、
    を実行させるためのフィルタ生成処理プログラムであって、予測誤差値が閾値より大きい上記係数の初期グループを用いて予測された画素は、上記少なくとも一つの後続の係数グループの生成から除外されることを特徴とするフィルタ生成処理プログラムを備えるフィルタ生成装置。
  40. 画像データを符号化する符号化装置において、
    画像データのターゲットフレームにおける各画素グループであって、同じ動きベクトルを有する画素を含んでいる各画素グループを、該ターゲットフレームが少なくとも２つの異なる動きクラスを含むよう、動きクラスに割当てる割当手段と、
    フィルタを各動きクラスに割当てる割当手段と、
    を備え、
    上記フィルタの係数は、該フィルタが割当てられている上記動きクラスの画素を用いてトレーニングされ、第１の動きクラスに割当てられている第１のフィルタは、第１のフィルタ形状を有し、第２の動きクラスに割当てられている第２のフィルタは、該第１のフィルタ形状とは異なっている第２のフィルタ形状を有し、
    符号化装置は、さらに、
    上記フィルタに割当てられている動きクラスであり、該動きクラスに割当てられている画素グループを用いて、フィルタごとに係数の初期の組を生成する生成手段と、
    上記動きクラスに割り当てられているフィルタ及び参照フレームを用いて、各動きクラスに割当てられている上記画素グループの値を予測する予測手段と、
    上記予測値の予測誤差値を算出する算出手段と、
    を備え、
    符号化された画像データ内の画素グループは、上記フィルタ、上記動きベクトル、及び、上記予測誤差値によって表され、
    符号化装置は、さらに、
    各動きクラスに対応する予測誤差値が予測誤差閾値を越えている該動きクラスにおける各画素を識別する識別手段と、
    上記フィルタが割当てられている動きクラスの画素を用いて、各フィルタごとの後続の係数の組を少なくとも一つ生成する生成手段と、
    を備え、識別された上記画素は、上記後続の係数の生成から除外されることを特徴とする符号化装置。
  41. 上記予測手段は、予測された画素に関連する動きベクトルに基づいて、参照フレーム上でフィルタを位置決めする位置決め手段を備えることを特徴とする請求項４０記載の符号化装置。
  42. 上記動きベクトルを生成する動きベクトル生成手段を更に備える請求項４０記載の符号化装置。
  43. 上記各画素グループを割当てる割当手段は、
    動きベクトルを、各動きベクトルの値によって動きベクトルのグループにグループ化するグループ化手段と、
    上記各動きベクトルのグループにクラス識別子を割り当てる割当手段とを備えることを特徴とする請求項４０記載の符号化装置。
  44. 動きベクトルに基づいて、参照フレームに各フィルタを適用する適用手段と、
    予測誤差値を加算し、画像データの画素を再構築する再構築手段を更に備える請求項４０記載の符号化装置。
  45. 時間的に分類されたフィルタを生成するフィルタ生成装置において、
    画像データのターゲットフレームにおける各画素グループであって、同じ動きベクトルを有する画素を含んでいる各画素グループを、該ターゲットフレームが少なくとも２つの異なる動きクラスを含むよう、動きクラスに割当てる手段と、
    係数の初期グループを各動きクラスに割当てる手段と、
    を備え、
    上記係数の初期グループは、該係数の初期グループが割当てられている動きクラスの画素を用いてトレーニングされ、第１の動きクラスに割当てられている第１の係数グループは、第１のグループ形状を有し、第２の動きクラスに割当てられる第２の係数グループは、該第１のグループ形状とは異なっている第２のグループ形状を有し、
    フィルタ生成装置は、さらに、
    各動きクラスに対応する係数の初期グループを用いて、該動きクラスに割当てられている上記画素グループの値を予測する手段と、
    上記画素グループ、上記同じ動きベクトル、及び、プリコーディングされた参照フレームに基づいて、上記各動きクラスに割当てられている画素グループについての後続の係数グループを少なくとも一つ生成する手段と、
    を備え、
    予測誤差値が閾値より大きい上記係数の初期グループを用いて予測された画素は、上記少なくとも一つの後続の係数グループの生成から除外されることを特徴とするフィルタ生成装置。
JP2007515139A 2004-05-27 2005-05-09 符号化方法、符号化装置、フィルタ生成方法及びフィルタ生成装置 Expired - Fee Related JP4689667B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/856,093 2004-05-27
US10/856,093 US8503530B2 (en) 2004-05-27 2004-05-27 Temporal classified filtering for video compression
PCT/US2005/016348 WO2005120063A2 (en) 2004-05-27 2005-05-09 Temporal classified filtering for video compression

Publications (2)

Publication Number Publication Date
JP2008500775A JP2008500775A (ja) 2008-01-10
JP4689667B2 true JP4689667B2 (ja) 2011-05-25

Family

ID=35425228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007515139A Expired - Fee Related JP4689667B2 (ja) 2004-05-27 2005-05-09 符号化方法、符号化装置、フィルタ生成方法及びフィルタ生成装置

Country Status (5)

Country Link
US (1) US8503530B2 (ja)
EP (1) EP1757094A4 (ja)
JP (1) JP4689667B2 (ja)
CN (1) CN101375597B (ja)
WO (1) WO2005120063A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091483B2 (en) 2012-06-25 2018-10-02 Thomson Licensing Method and device for temporal filtering of disparity maps

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100849436B1 (ko) * 2004-12-13 2008-07-30 한국전자통신연구원 비디오 워터마킹 기법의 성능 평가를 위한 테스트 동영상선택 방법 및 시스템
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US8233535B2 (en) 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US8224017B2 (en) * 2006-01-13 2012-07-17 New Jersey Institute Of Technology Method for identifying marked content
KR100775104B1 (ko) * 2006-02-27 2007-11-08 삼성전자주식회사 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법
US7885469B2 (en) * 2006-05-22 2011-02-08 Microsoft Corporation Encoded high dynamic range textures
US7636098B2 (en) * 2006-09-28 2009-12-22 Microsoft Corporation Salience preserving image fusion
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
KR20090098214A (ko) * 2008-03-13 2009-09-17 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
FR2940736B1 (fr) * 2008-12-30 2011-04-08 Sagem Comm Systeme et procede de codage video
CN105872541B (zh) * 2009-06-19 2019-05-14 三菱电机株式会社 图像编码装置、图像编码方法及图像解码装置
JP2011029987A (ja) * 2009-07-27 2011-02-10 Toshiba Corp 圧縮歪除去装置
KR101729903B1 (ko) 2009-12-18 2017-04-24 샤프 가부시키가이샤 복호 장치
US8958478B2 (en) * 2010-12-03 2015-02-17 Technische Universitaet Berlin Method and device for processing pixels contained in a video sequence
CN103959791B (zh) 2011-11-18 2017-07-04 谷歌技术控股有限责任公司 针对高效率视频代码化(hevc)用信号发送并置图片的显式方式
US8842937B2 (en) * 2011-11-22 2014-09-23 Raytheon Company Spectral image dimensionality reduction system and method
US8655091B2 (en) 2012-02-24 2014-02-18 Raytheon Company Basis vector spectral image compression
CN103533384B (zh) * 2013-09-30 2016-09-28 广州华多网络科技有限公司 图像处理方法、图像复原方法、装置及系统
US9836831B1 (en) * 2014-07-30 2017-12-05 Google Inc. Simulating long-exposure images
KR20190003497A (ko) * 2016-05-02 2019-01-09 소니 주식회사 화상 처리 장치 및 화상 처리 방법
KR20200012957A (ko) * 2017-06-30 2020-02-05 후아웨이 테크놀러지 컴퍼니 리미티드 인터-프레임 예측 방법 및 디바이스
EP3629240B1 (en) * 2018-09-07 2023-08-23 Panasonic Intellectual Property Corporation of America Generative adversarial networks for local noise removal from an image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2003523654A (ja) * 1999-12-07 2003-08-05 ソニー エレクトロニクス インク 時間的に前方及び後方の動きを分類する方法及び装置
US20030169931A1 (en) * 2002-01-14 2003-09-11 Nokia Corporation Coding dynamic filters
JP2003264466A (ja) * 2002-03-07 2003-09-19 Sony Corp 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
DE69423166T2 (de) * 1993-09-08 2000-07-06 Thomson Consumer Electronics Verfahren und Vorrichtung zur Bewegungsauswertung mit Blockübereinstimmung
JP3929492B2 (ja) * 1995-10-25 2007-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化画像符号化方法及びシステム並びにその復号化方法及びシステム
US5838823A (en) * 1996-02-29 1998-11-17 Electronic Arts, Inc. Video image compression and decompression
WO1997040628A1 (en) * 1996-04-19 1997-10-30 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6249548B1 (en) * 1998-07-10 2001-06-19 U.S. Phillips Corporation Motion vector processing
US6351494B1 (en) * 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
AU2003246987A1 (en) * 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US6898328B2 (en) * 2002-10-23 2005-05-24 Sony Corporation Method and apparatus for adaptive pixel estimation under high error rate conditions
US6646578B1 (en) * 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JP2003523654A (ja) * 1999-12-07 2003-08-05 ソニー エレクトロニクス インク 時間的に前方及び後方の動きを分類する方法及び装置
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
US20030169931A1 (en) * 2002-01-14 2003-09-11 Nokia Corporation Coding dynamic filters
JP2003264466A (ja) * 2002-03-07 2003-09-19 Sony Corp 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091483B2 (en) 2012-06-25 2018-10-02 Thomson Licensing Method and device for temporal filtering of disparity maps

Also Published As

Publication number Publication date
WO2005120063A2 (en) 2005-12-15
US20050265452A1 (en) 2005-12-01
US8503530B2 (en) 2013-08-06
CN101375597B (zh) 2010-11-03
CN101375597A (zh) 2009-02-25
JP2008500775A (ja) 2008-01-10
EP1757094A4 (en) 2011-01-12
WO2005120063A3 (en) 2008-10-16
EP1757094A2 (en) 2007-02-28

Similar Documents

Publication Publication Date Title
JP4689667B2 (ja) 符号化方法、符号化装置、フィルタ生成方法及びフィルタ生成装置
US20240121454A1 (en) Transmission of reconstruction data in a tiered signal quality hierarchy
EP2850835B1 (en) Estimation, encoding and decoding of motion information in multidimensional signals through motion zones, and of auxiliary information through auxiliary zones
US9628817B2 (en) Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
JP5319875B2 (ja) アプリケーション・メタデータを用いるグラフィカル・ユーザ・インターフェースの適応ビデオ圧縮法
CA2478671A1 (en) Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US11741582B1 (en) Video enhancement using a neural network
JP4716777B2 (ja) マルチプルディスクリプション符号化のための可変サポートロバスト変換可変サポートロバスト変換
US20200349686A1 (en) Video enhancement using a recurrent image date of a neural network
JP6410177B2 (ja) 方法
EP3535975A1 (en) Apparatus and method for 3d video coding
EP1113395A2 (en) Method and apparatus for hierarchical image coding
CN113284075B (zh) 图像去噪方法、装置以及电子设备、存储介质
CN117280680A (zh) 动态网格对齐的并行方式
CN114900717A (zh) 视频数据传输方法、装置、介质和计算设备
KR20230124031A (ko) 비디오 다운샘플링을 위한 기계 학습 기술들
CN117426094A (zh) 用于视频处理的方法、设备和介质
CN114677280A (zh) 生成全景图像的方法、装置、设备和程序产品
CN113269696B (zh) 用于对图像进行去噪的方法以及电子设备、介质
CN116567194B (zh) 虚拟图像合成方法、装置、设备及存储介质
Kumar et al. A novel non-customary method of image compression based on image spectrum
US11622123B1 (en) Film grain preservation
US11503341B1 (en) Perceptually motivated video pre-filter
JP4174111B2 (ja) 符号化方法及び装置
JP6569242B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080410

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080602

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080602

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101116

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees