JP4922302B2 - 移動物体境界のための適応影響エリアフィルタ - Google Patents

移動物体境界のための適応影響エリアフィルタ Download PDF

Info

Publication number
JP4922302B2
JP4922302B2 JP2008531161A JP2008531161A JP4922302B2 JP 4922302 B2 JP4922302 B2 JP 4922302B2 JP 2008531161 A JP2008531161 A JP 2008531161A JP 2008531161 A JP2008531161 A JP 2008531161A JP 4922302 B2 JP4922302 B2 JP 4922302B2
Authority
JP
Japan
Prior art keywords
motion vector
filter
area
target image
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008531161A
Other languages
English (en)
Other versions
JP2009509404A (ja
Inventor
マルコ パニコーニ
ジェイムズ ジェイ キャリッグ
ズーロン ミアオ
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2009509404A publication Critical patent/JP2009509404A/ja
Application granted granted Critical
Publication of JP4922302B2 publication Critical patent/JP4922302B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

本発明は、ビデオ圧縮の分野に関する。
時間予測フィルタは、1組の予め復号された参照画像から目標画像を予測するためにビデオ圧縮処理において用いられる。時間予測処理は、有意な量の時間的冗長性を除去するのに有効であり、それによって一般的に高い符号化効率が得られる。予測処理は、1組の動きベクトルと動きベクトルに作用するフィルタとを用いて目標画像を予測する。
例えば、予測方法は、図1に示すように参照画像110を複数の固定サイズのブロック120に分割する。各ブロックは、目標画像に対するブロックの動きを表す関連の動きベクトルを有する。動きベクトルは、画像110内の白色の点で示している。時間予測フィルタは、関連の動きベクトルを用いて参照画像内の各ブロックに対して単純な動き補正技術を実施し、目標画像内のそのブロックの位置を予測する。すなわち、目標画像内の各ブロックは、単一の動きベクトルを用いて参照画像内のブロックから推定される。しかし、この手法は、各動きベクトルを独立に取り扱い、画像特徴に適応しない。
関連ブロックの位置を予測するのに単一の動きベクトルを用いるか、又は規則的な動きベクトルパターンに対して形成されたフィルタに依存する従来の時間フィルタは、時間予測を実施するのに動きベクトルの規則的な分布を必要とする。従って、それらは、動きベクトルの不規則パターンに対する予測処理に適応することができない。動きベクトルの不規則パターンの変動にタップ及びフィルタ係数を局所的に適応させることができるフィルタに対する必要性が存在する。また、物体境界及び空間テクスチャに適応する柔軟性を有する時間フィルタに対する必要性も存在する。
適応時間予測を実施する方法は、目標画像内の物体の位置が参照画像内のその物体の位置とは異なる目標画像を受信する段階、物体の境界を用いて不規則パターンの目標画像動きベクトルを発生させる段階、目標画像動きベクトルを用いて、各セルが目標画像動きベクトルのうちの固有の1つを収容する影響エリアセルに目標画像を分割する段階、及び影響エリアセルに適応影響エリアフィルタを適用することによって目標画像の予測を発生させる段階を含む。
本発明は、例示的に示しており、添付図面と共に以下の説明を参照することによってより良く理解することができる。
以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定的な実施形態を具体例によって示す添付図面を参照する。他の実施形態を利用することもでき、本発明の範囲から逸脱することなく構造的変更を加えることができることは理解されるものとする。例えば、様々な実施形態を説明するために用いるフィールド、フレーム、又は画像という用語は、一般的にビデオデータへの参照に用いられるものと互換的であることを当業者は理解するであろう。
適応影響エリア(AAOI)時間フィルタは、目標画像を予測する時に不規則なパターンの動きベクトル、物体特徴、及び空間テクスチャに自動的に適応する。AAOIフィルタは、動き補正された信号に対して時間ドメインで作用し、動きベクトルをフィルタリングしようと試みる他の方法(例えば、動きベクトル領域での三角分割フィルタリング)とは異なる。例えば、AAOIフィルタリング法は時間ドメインで作用するので、物体及び空間テクスチャへの適応に向いている。一実施形態では、AAOIフィルタは、ピクセルの予測中に近傍動きベクトルを結合する2段階処理を実施する。第1の段階は、フィルタを不規則なサンプリングパターンの動きベクトル、物体形状、及び境界に適応させる。第2の段階は、フィルタを画像の空間テクスチャに適応させる。
適応時間フィルタリング手順の例を図2Aに示している。203では、1つ又はそれよりも多くの参照画像及び目標画像内の移動物体の境界を受信する。210では、移動物体境界を用いて目標画像において不規則なサンプリングパターンの動きベクトルを発生させる。220では、各々が1つの動きベクトルをノードとして有する影響エリア(AOI)セルに目標画像を分割する。230では、各動きベクトルに関する初期値を推定する。240では、適応影響エリアフィルタをAIOセルに適応させて目標画像の予測を発生させる。250では、フィルタによって生成された予測結果を用いて動きベクトルの値を再推定し、適応フィルタの精度を改善する。一部の実施形態では、260で、処理は240に戻り、適応影響エリアフィルタによって発生する予測誤差を低減する。そうでなければ、処理は270で終了する。
図2Aに示す方法を実施する論理デバイスの例を図2Bに示している。論理デバイス280は、目標画像及び参照画像を受信する受信器281を含む。受信器281はまた、目標画像から移動物体の境界に関するデータを受信する。発生器283は、移動物体の境界に関するデータを用いて目標画像において不規則なサンプリングパターンの動きベクトルを発生させる。分割器285は、各々が動きベクトルのうちの1つを収容する影響エリアセルに目標画像を分割する。予測器287は、適応影響エリアフィルタを影響エリアセルに適用して目標画像の予測を発生させる。
ここで図2Aの要素をより詳細に解説することにする。図2Aの205で目標画像から抽出される移動物体境界の例を図3Aのブロック320に示している。ブロック320では、黒色の領域は、目標画像310の背景領域に対応する。白色の領域は、背景に対して移動している人物に対応し、灰色の領域は、同様に背景に対して移動するように見える目標画像の前景領域に対応する。図2Aの210で移動物体境界を用いて発生させた不規則パターンの動きベクトルの例を図3Bのブロック330に示している。画像330内の白色の点は、動きベクトルを表している。この適応サンプリングパターンでは、動きベクトルは、参照画像から予測することが困難な領域である移動物体境界に沿ってより集中している。例えば、背景領域のような単純な動き領域には、より少数の動きベクトルしか配置されていない。
一部の実施形態では、不規則パターンの動きベクトルは、図4Aに示す方法によって図2Aの210で発生させる。410では、動きベクトルを移動物体の重心に配置する。420では、不規則パターンの動きベクトルは、境界に対する接線に沿った2つの動きベクトルの間の距離d、境界に対して法線方向の経路に沿った境界の内側の動きベクトルと境界の外側の動きベクトルとの間の幅wのようなパラメータを用いて物体境界の周囲に配置される。内側ストライドistrは、法線方向の経路に沿った境界の内側の動きベクトル数を決め、外側ストライドostrは、法線方向の経路に沿った境界の外側の動きベクトル数を決める。
パラメータは、境界に沿った動きの程度及び境界の定義の程度に従って変更することができる。例えば、動きが複雑であり、境界が粗い場合には、w及びdの値を下げ、内側及び外側のストライドの値を増し、この領域内により多くの動きベクトルを配置する。代わりに、物体の動きが単純であり、境界が明確な場合には、より少数の動きベクトルしか必要とならない。従って、w及びdの値を増し、ストライド値を下げる。結果は、移動物体の境界に沿った不規則パターンの動きベクトルである。
430では、移動物体を目標画像から除去し、背景領域を残す。440では、不規則パターンの動きベクトルを背景領域から発生させる。一部の実施形態では、固定数の動きベクトルを目標画像に適用する。背景領域に対して利用可能な動きベクトル数は、不規則パターンの動きベクトルを境界の周囲に配置した後に残る数である。続いて450では、移動物体及び背景領域をこれらが有する不規則パターンの動きベクトルと共に組み合わせる。
図4Aの方法の中間結果を図4Bに示している。ブロック412では、動きベクトル414を物体の内側の位置に配置する。例えば、一部の実施形態では、動きベクトルは物体416の重心に配置する。422では、不規則パターンの動きベクトルを、d、w、istr、及びostrのようなパラメータに従って物体416の周囲に配置する。距離dの例を、動きベクトル423と425の間に示している。幅wは、動きベクトル423と427の間に示している。動きベクトル428及び429は、値2を有する内側ストライドパラメータの例である。値1を有する外側ストライドパラメータostrの例を、動きベクトル423によって示している。ブロック432では、物体416を画像から除去し、背景領域436を残す。ブロック442では、背景領域において不規則パターンの動きベクトルを発生させる。ブロック452では、目標画像内で不規則パターンを組み合わせる。
図2Aに戻ると、220において、影響エリアセル(AOIセル)と呼ぶ複数のセルへと画像を分割する。各AOIセルは、ノードとして1つの動きベクトルを有する。AOIセルに分割した画像の例を、図3Bの340に示している。各AOIセルは、画像内のあらゆる他の動きベクトルよりもセルの内側の動きベクトルによって大きく影響を受ける。AOIセルは、各動きベクトルに対して発生させるので、AOIセルのサイズは、境界領域のような画像内の物体の特徴に関連付けることができる。例えば、物体間の境界領域の近くのAOIセルは、画像背景領域内のAOIセルよりも小さくすることができる。同様に、AOIセルの形状は、物体の境界の形状に適応するように局所的に修正することができる。AOIセルを発生させる方法の一実施形態は、距離最短動きベクトル分割法(例えば、Voronoiセル)である。例えば、ブロック法又は三角法のような他の分割法を用いることができる。
図2Aを参照すると、230で最初の動き推定を実施し、各AOIセル内の動きベクトルに対する初期値を判断する。最初の動き推定は、動きベクトルに関連付けられたAOIセルを参照画像内の対応するセルにマップし、2つのセルの間の変位を測定する。変位は、各動きベクトルに対して初期値を与える。従って、この初期値は、これらのセル間のマッピング及び変位測定によって判断されるので、周囲の動きベクトルからのいかなる影響も反映しない。従って、特定の動きベクトルにおける初期値は、他の動きベクトルから独立している。
240では、適応影響エリア(AAOI)フィルタを影響エリアセルに適用し、目標画像の時間予測を実施する。このフィルタは、時間ドメインにおいて適用され、動きベクトル値の組及びサンプリングパターンが与えられると、目標画像に対する予測結果を発生させる。AAOIフィルタは、重なり領域の面積によって定められるフィルタタップ及びフィルタ係数を用いて、予測されるピクセルの近傍の動きベクトルの関連性を捕捉する。適応影響エリアフィルタは、影響エリアセルに適用され、参照画像及び動きベクトルの組から目標画像の時間予測を発生させる。このフィルタは、以下の構造を有する。{vj}はN個の動きベクトルの集合を表し、I(x)は参照画像(予め復号された画像)を表すとする。S(x)は、ピクセルxの位置を取り囲む動きベクトルの何らかの集合を表すとする。この目標ピクセルxの予測は、一般的に次式で表現することができる。
Figure 0004922302
ここで、{fi}は、フィルタ係数の集合であり、x+viは、動きベクトルviをピクセルxに適用する時の動き補正されたピクセルである。フィルタのサポート又はタップを集合S(x)によって定義する。タップサポートS(x)及びフィルタ係数{fi}は、一般的に、ピクセル位置x及びその近傍の動きベクトルの関数である。すなわち、動きベクトルの分布が画像にわたって変化するので、フィルタ係数は、各ピクセルに対して変えることができる。従って、フィルタは、変化する動きベクトルのパターンに局所的に適応する。
一実施形態では、フィルタ係数{fi}は、図5に例示する方法を用いて計算する。第1段階では、自然なタップ構造及びフィルタ重みを定め、第2段階では、フィルタを画像の空間テクスチャに適応させる。第1段階は、不規則なサンプリングパターン、並びに物体形状及び境界のような特徴に適応することができるAAOIフィルタを発生させる。第2段階は、AAOIフィルタが、ビデオ圧縮のための動きベクトルベースの時間予測中に画像の空間テクスチャに適応することを可能にする。
第1段階は、510で始まり、予測される目標ピクセルの近傍の動きベクトルを収容する局所動きベクトルサンプリングパターンを受信する。520では、影響エリアセルを各局所動きベクトルの周囲に構築する。すなわち、目標ピクセルの局所的なエリアを1組のAOIセルに分割する。530では、ピクセルを補間するために、このピクセルを新しいノードと見なし、その周囲にピクセル影響エリアセルを構築する。続いて540で、ピクセル影響エリアセルに重なる各近傍AOIセルのエリアを判断する。重なったエリアは、自然なタップ構造及びフィルタ重みを定める。言い換えれば、タップ構造は、AOIセルがピクセルエリアセルとの非ゼロの重なり面積Aiを有する各動きベクトルiによって形成される。タップ構造内の各動きベクトルのフィルタ重みは、比Ai/Aによって定められる。すなわち、何らかのピクセル位置xに対して次式が成り立つ。
Figure 0004922302
ここで、S(x)は、ピクセルxの近傍の局所動きベクトルの集合、Aiは、集合S(x)内の動きベクトルiに対してAOIセルの重なった面積、Aは、AOIセルとピクセル影響セルとの全重なり面積、及びfiは、フィルタ重みである。
550では、フィルタを例えば移動物体の物体境界のような画像特徴に適応させる。一部の実施形態では、影響エリアセルの形状は、移動物体の境界に適応させるために変化する。エリアセルは、動きベクトルエリアセル及びピクセルエリアセルを制約することによって画像内の物体境界に適応し、同じ物体に属するピクセルのみを含むようになる。この作用は、予測されるピクセルの周囲に修正されたAOIセルを発生させる。従って、一実施形態では、フィルタサポート及び係数は次式で表現される。
Figure 0004922302
ここで、
Figure 0004922302
は、物体境界に起因して修正された動きベクトルiに対するAOIセルである。各修正済みAOIセルは、予測されるピクセルと同じ動きレーヤ内のピクセルを含み、他の動きレーヤ内のピクセルを排除する。この第1段階の完了時には、フィルタは、不規則パターンの動きベクトル及び移動物体の境界の両方に適応している。
画像内の各ピクセルに対して予測を発生させた後に、フィルタリング処理の第2段階を実施する。第2段階では、560において、フィルタを空間テクスチャに適応させる。上述の予測は、規則的なパターンのサンプリングデータという形態にあるAAOIフィルタの第1段階からの出力であるから、一部の実施形態では、第2段階で、最小二乗(LS)学習フィルタを用いてフィルタを空間テクスチャに適応させる。別の実施形態では、空間適応処理は、同様の空間テクスチャを有するピクセルのみを含めるように、第1段階におけるAOIセルを直接修正することができる。
図6は、図5の550で画像特徴にフィルタを適応させる方法の例を示している。610では、移動物体境界の周囲でフィルタを修正する。620では、物体境界及び代表的動きベクトルを用いて遮蔽領域を推定する。遮蔽領域は、参照画像に対して隠れるエリアである。630で、過去の参照画像及び未来の参照画像の両方が利用可能な場合には、未来の参照画像を用い、610で発生させた修正済みフィルタを用いて遮蔽領域を予測する。そうでなければ、1つの参照画像のみしか利用可能でない場合に、640において遮蔽領域の周囲でフィルタを修正する。
610をより詳細に参照すると、動きレーヤを分離する移動物体境界の存在によってフィルタを修正し、予測されるピクセルxと同じ動きレーヤ内の動きベクトルを考慮に入れる。同様に、移動物体境界を用いて、ピクセルxを予測するのに用いられるAOIセルの形状を変更する。一部の実施形態では、次式のように各AOIセルを構築することによってこれを実施する。
Figure 0004922302
ここで、xは、予測されるピクセル、xiは、N個の動きベクトルの集合内での特定の動きベクトルiのピクセル位置、Oiは、動きベクトルiに対する物体の動きレーヤの割り当てである。動きベクトルiに対するAOIセルTiは、ピクセルxが、動きベクトルiと同じ動きレーヤOiに属するようなピクセル{x}の集合であり、ピクセルxと動きベクトルiの間の距離は、ピクセルxと全ての他の動きベクトルj、j=l、...N、j≠iの間の距離よりも短い。各新しいAOIセルTiが式(4)を用いて構築された後に、移動物体境界を用いて、これらのセルの形状を修正し、式(3)からフィルタ重みを生成する。
物体境界の周囲にAOIセルを構築し、これらのセルの形状を修正する例を図7に示している。710では、局所ノードパターンを受信する。局所ノードパターンは、予測する必要があるピクセルxの近傍の動きベクトルの集合(円で表している)を含む。動きベクトルには(1)から(6)の番号を振っている。720では、動きベクトルの周囲に影響エリアセルを構築する。各破線は、AOIセル間の境界を表している。730では、実線で表しているピクセル影響エリアセルを予測されるピクセルxの周囲に構築する。
740では、各動きベクトルのAOIセルとピクセルのAOIセルとの間の重なり面積を判断する。例えば、動きベクトル(1)に対するAOIセルは、重なりエリアA1においてピクセルAOIセルと重なる。フィルタのタップ及びフィルタ重みは、重なり面積によって判断される。タップ構造は、AOIセルがピクセルエリアセルとの非ゼロ重なり面積Aiを有する各動きベクトルIによって形成される。この例では、動きベクトル(4)に対するAOIセルは、ピクセルAOIセルと重ならない。従って、ピクセルxに対するフィルタタップ構造は、動きベクトル(1)、(2)、(3)、(5)、及び(6)である。タップ構造内の各動きベクトルのフィルタ重みは、比Ai/Aによって定められる。例えば、この事例では、f1=A1/Aである。
750では、フィルタを例えば移動物体の物体境界751のような画像特徴に適応させる。移動物体の物体境界451は、動きレーヤ753及び755を分離する。ピクセルxを補間するには、タップ構造を修正してピクセルxと同じ動きレーヤ内の動きベクトルを含める。ピクセルxは、動きレーヤ755内に存在するので、740からのタップ構造を式(4)を用いて修正し、動きベクトル(3)及び(5)を除去し、動きベクトル(1)、(2)、及び(6)をタップ構造として残す。
更に、750では、式(3)を用いてフィルタ重みを物体境界751の形状に適応させる。この例では、物体境界751に沿った影響エリアセルの形状は、移動物体の境界に適応するように変化する。物体境界751は、動きベクトル(2)に対するAOIセルを切断する。動きレーヤ755内に存在するピクセルxを補間するには、動きベクトル(2)に対するAOIセルを、動きレーヤ755内に存在するその元のセルのピクセルのみを含むように再形成する。それによって動きベクトル(2)の周囲に修正されたAOIセルが発生する。同様に、動きベクトル(6)に対するAOIセルの形状も、物体境界751に適応させる。動きベクトル(6)に対するAOIセルと物体境界751の間のエリアは、動きレーヤ755内に存在する。しかし、このエリアは、最初は動きベクトル(5)に対するAOIセル内に含まれていたものである。動きベクトル(5)は、もはやフィルタにおけるタップ構造の一部ではないので、このエリア内のピクセルは、この時点で動きベクトル(6)に対するAOIセルの一部になる。修正された重なり面積:
Figure 0004922302
及び
Figure 0004922302
及び重なり面積A1を用いて、修正済みフィルタに対するフィルタ重みを発生させる。
図6に戻ると、620において、移動物体境界を用いて遮蔽領域を推定する。遮蔽領域の例を図8に示している。目標画像820を過去の参照画像810を用いて予測する。過去の参照画像810内の移動物体805の境界の位置から、目標画像820内のこの境界の位置へのこの境界の変位は、遮蔽領域825を形成する。遮蔽領域825内の目標画像の部分は、過去の参照画像810内では覆われている。従って、過去の参照画像810を用いて目標画像820の遮蔽領域内のピクセルを予測すると、低い結果が作り出される。予測を改善するために、図6の630において、未来の参照画像が利用可能な場合は、この画像を用いて遮蔽領域内のピクセルを予測する。そうでなければ、640でフィルタを再度修正する。
640をより詳細に参照すると、予測のための図8の過去の参照画像810のような単一の参照フィールドしか利用可能でない場合には、別の修正をフィルタに加える。この第2の修正は、遮蔽領域の内外での予測の精度を改善する。遮蔽領域内の動きベクトルは、目標画像内で対応するピクセルと関連のない参照画像内のピクセルにマップされるので、これらの動きベクトルは信頼性が低く、一貫性がない。第2の修正は、フィルタが、互いに対してある程度の一貫性を有する動きベクトルノードを用いることを可能にする。例えば、遮蔽領域の近くのピクセルを予測する時には、フィルタは、同じ動きレーヤに属する動きベクトルを用いる。
遮蔽領域内の目標ピクセルを予測するために単一の参照フィールドを用いるための修正は、最も近くの動きベクトルのみを用いる。遮蔽領域の近くではあるがその外側にある目標ピクセルを予測するために、この修正は、遮蔽領域内のピクセルを用いることを回避するように影響エリアセルを制約する。
一般的に、遮蔽領域Cに属さない動きベクトルiに対して、各影響エリアセルTiは、次式のように構築される。
Figure 0004922302
ここで、xは、予測されるピクセルであり、xiは、N個の動きベクトルの集合内の特定の動きベクトルiのピクセル位置であり、Oiは、動きベクトルiに対する物体の動きレーヤの割り当てである。動きベクトルiに対するAOIセルTiは、ピクセルxが動きベクトルiと同じ動きレーヤに属するような全てのピクセル(x)の集合であり、xと動きベクトルiの間の距離は、ピクセルxと全ての他の動きベクトルj、j=1、...N、j≠iとの間の距離よりも短く、このピクセルは、遮蔽領域C内に存在しない。遮蔽領域C内に存在する動きベクトルに対しては、影響エリアセルを構築しない。その代わりに、この領域内の目標ピクセルは、最も近くの動きベクトルを用いて動き補正を実施することで予測される。
1つの参照画像を用いて遮蔽領域内又はその近くのピクセルを予測するための修正の例を図9に示している。AOIセルが移動物体境界に適応するように修正されたところを910に示している。遮蔽領域は、920で示している。フィルタへの第2の修正を930に示し、ここでは動きベクトル(3)に対するAOIセルが、遮蔽領域と重なる部分を除去するように縮小されている。遮蔽領域内に存在する動きベクトル(5)に対するAOIセルは、フィルタから除去されている。動きベクトル(4)に対するAOIセルは、先の動きベクトル(5)のAOIセルの遮蔽領域の外側に存在する部分を含むように拡張されている。940に示すピクセルxのような遮蔽領域の近くのピクセルを予測するために、950に示すように式(3)を用いてフィルタ重みを判断する。940に示すピクセルxのような遮蔽領域内のピクセルを予測するために、フィルタ重み1を有する最も近くの動きベクトルを用いて単一タップフィルタを形成する。この事例では、最も近い動きベクトルは(5)である。
適応フィルタリング処理は、時間ドメインに定義されで時間予測処理中に近傍動きベクトルと結合するエリアベースのフィルタを発生させる。このフィルタは、動き画像内の不均一又は不規則なサンプリングパターンの動きベクトル、物体の形状及び境界、並びに空間テクスチャに自然に適応する。図10は、フィルタを用いて目標画像内のピクセルxを予測する240(図2A)の更なる詳細を示している。参照画像1010内のピクセルを用いて、目標画像1020内のピクセルを予測する。参照ピクセルは、参照画像1010内の実線の円で表しており、予測される目標ピクセルは、目標画像1020内の破線の円で表している。
このフィルタは、局所動きベクトルv1からv5のタップ構造を用いて、目標画像1020内のピクセルxに関する予測を形成する。動きベクトルのそれぞれのAOIセルの各々は、ピクセルxに対するAOIセルの少なくとも一部分と重なるので、これらの動きベクトルは、ピクセルxに対して局所的である。タップ構造内の各動きベクトル{vi}は、参照画像1010内の画像データ{Ii}にマップされる。適応時間予測フィルタは、フィルタ重み{fi}によって参照データ{Ii}を調節してピクセルxを予測する。一実施形態では、この予測フィルタは、タップ構造及びフィルタ重みを用いて次式に従う予測を発生させる。
Figure 0004922302
ここで、フィルタタップは、局所動きベクトルによって形成され、フィルタ係数{fi}は、式(3)を用いて判断される。
最初の予測の後に、処理は、図2Aのブロック250に示すように動きベクトルの値を再推定し、フィルタの精度を改善する。一実施形態では、再推定は、図11に例示する方法を用いて実施される。1110では、AAOIフィルタに対する最大予測誤差に寄与する動きベクトルを識別する。続いて1120において、識別した動きベクトルの値をAAOIフィルタの予測誤差が低減するか又は最小になるまで変更する。更に、1130では、変更した値を用いて動きベクトルの値を更新する。1140で誤差低減が飽和状態になると、処理は終了する。そうでなければ、予測誤差の低減が飽和状態になるまで、処理は1110に戻る。この後、一部の実施形態では、図2Aの処理を画像内の全ての動きベクトルに対して繰り返す。
一実施形態では、AAOIフィルタは、図12に示すようにビデオデータの画像(又はフレーム、又はフィールド)を符号化するためのビデオ符号化システムによって用いられる。1210では、符号器は、入力目標画像のような入力ビデオデータ及び目標画像内の移動物体の境界に関するデータのような入力目標画像に関連するデータを受信する。目標画像に関連する復号された画像データを含む参照画像の集合は、符号化処理中に符号器に対して利用可能であり、同様に、復号処理中には復号器に対して利用可能である。1220では、符号器は、目標画像に関連の動きベクトルのサンプリング又は分布を発生させる。すなわち、数量N個の動きベクトルが与えられると、これらN個の動きベクトルを目標画像内に配置する。一般的に、動きベクトルの位置を画像コンテンツ内の動きのエリアに適応させて、例えば、図3Bに示すような不規則パターンの動きベクトルが生じる。1230では、サンプリングパターン情報(例えば、パターンを表すビット)を復号器に伝送する。適応サンプリングパターンを発生させるのに多くの手法を用いることができる。
1240では、時間予測フィルタリング処理は、不規則な動きサンプリングパターンに適用される。この適応フィルタリング処理は、動きベクトル、不規則なサンプリングパターン、及び参照画像を用いて目標画像の予測を発生させる。1250では、動きベクトル値を符号化し、復号器に送信する。1260では、目標画像の実際の目標データから適応フィルタリング処理からの予測誤差を差し引いた残差を発生させる。1270では、この残差を符号化し、1280において復号器に送信する。
別の実施形態では、AAOIフィルタは、図13に示すようにビデオデータの画像(又はフレーム、又は画像)を復号するのに用いられる。1310では、符号化済み残差を受信する。1320では、復号器は受信した符号化済み残差を復号する。1330では、復号器は、サンプリングパターン情報、参照画像、及び動きベクトル値を受信する。続いて1340において、復号器は、適応時間フィルタリング手順を適用して時間予測を発生させる。1350では、復号済み残差を時間予測に加えることにより、復号された目標画像を発生させる。
図14は、適応影響エリアフィルタを用いるシステムの例を示している。デジタルビデオカメラ1410は、電子形式で画像を取り込み、かつ圧縮及び符号化処理中に適応影響エリアフィルタを用いる圧縮デバイス1420を用いて画像を処理する。符号化された画像は、電子伝送媒体1430を通じてデジタル再生デバイス1440に送信される。画像は、復号処理中にこのフィルタを用いる復号デバイス1450によって復号される。カメラ1410は、本発明の実施形態を含む様々な画像処理装置(例えば、他の画像取り込みデバイス、画像エディタ、画像処理プロセッサ、パーソナル及び市販のコンピュータプラットフォーム等)を示している。同様に、復号デバイス1450は、画像データを復号する様々なデバイスを示している。
本発明を特定のシステム環境における実施形態に関して説明したが、本発明は、特許請求の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において修正を伴って実施することができることを当業者は認識するであろう。
複数の固定サイズのブロックに分割された参照画像の例を示す図である。 移動物体境界に対する適応時間フィルタリングの例を示す図である。 移動物体境界に対する適応時間フィルタリングの例を示す図である。 目標画像から抽出された移動物体境界の例を示す図である。 移動物体境界を用いて発生させた不規則パターンの動きベクトルの例を示す図である。 不規則パターンの動きベクトルを発生させる方法の例を示す図である。 図4Aの方法の中間結果の例を示す図である。 フィルタ係数を計算する方法の例を示す図である。 フィルタを画像内の物体特徴に適応させる方法の例を示す図である。 物体境界の周囲にAOIセルを構築する例を示す図である。 移動物体に対する遮蔽領域の例を示す図である。 1つの参照画像を用いて遮蔽領域内又はその近くのピクセルを予測するための修正の例を示す図である。 フィルタを用いて目標画像内のピクセルを予測する例を示す図である。 動きベクトルの値を再推定し、フィルタの精度を改善する例を示す図である。 適応時間フィルタを用いてビデオデータの画像(又はフレーム、又はフィールド)を符号化するためのビデオ符号化システムの例を示す図である。 ビデオデータの画像(又はフレーム、又は画像)を復号するのにフィルタを用いる例を示す図である。 適応影響エリアフィルタを用いるビデオシステムの例を示す図である。
符号の説明
210 不規則なサンプリングパターンの動きベクトルを発生させる段階
220 影響エリア(AOI)セルに目標画像を分割する段階
240 目標画像の予測を発生させる段階

Claims (16)

  1. 画像内の物体の位置が参照画像内の該物体の位置とは異なる目標画像を受信する段階と、
    前記物体の境界を用いて、不規則パターンの目標画像動きベクトルを発生させる段階と、
    前記目標画像動きベクトルを用いて、各セルが該目標画像動きベクトルのうちの固有の1つを収容する影響エリアセルに前記目標画像を分割する段階と、
    前記影響エリアセルに適応影響エリアフィルタを適用することにより、前記目標画像の予測を発生させる段階と、
    を含むことを特徴とする方法。
  2. 前記物体の境界を用いて不規則パターンの目標画像動きベクトルを発生させる段階は、
    前記物体の内側に動きベクトルを位置決めする段階と、
    前記境界に関連する少なくとも1つのパラメータを用いて、該境界に関連して動きベクトルを分布させる段階と、
    を含む、
    ことを特徴とする請求項1に記載の方法。
  3. 前記適応影響エリアフィルタを適用する段階は、
    前記境界の近くの影響エリアセルに対して前記フィルタを修正する段階と、
    前記修正されたフィルタを用いて遮蔽領域を推定する段階と、
    前記遮蔽領域を持たない参照画像を用いて前記目標画像を予測する段階と、
    を含む、
    ことを特徴とする請求項1に記載の方法。
  4. 前記境界の近くの影響エリアセルに対して前記フィルタを修正する段階は、
    Figure 0004922302
    が成り立つように、前記影響エリアセルに対する前記動きベクトルと同じ動きレーヤに属するピクセルを含めるために各影響エリアセルを修正し、
    ここで、xは、予測されるピクセルであり、xiは、N個の動きベクトルの集合内の特定の動きベクトルiのピクセル位置であり、Oは、動きベクトルiに対する物体の動きレーヤ割り当てであり、Tiは、該特定の動きベクトルiに対する影響エリアセルであり、集合j∈N、j≠iは、全ての他の動きベクトルを表している、
    ことを特徴とする請求項3に記載の方法。
  5. 前記境界近くの影響エリアセルに対して前記フィルタを修正する段階は、
    遮蔽領域を推定する段階と、
    前記遮蔽領域の周囲で前記フィルタを修正する段階と、
    を含む、
    ことを特徴とする請求項3に記載の方法。
  6. 前記遮蔽領域の周囲で前記フィルタを修正する段階は、
    前記遮蔽領域の外側の各動きベクトルに対して、
    Figure 0004922302
    が成り立つように、動きベクトルと同じ動きレーヤに属し、かつ該遮蔽領域の外側にあるピクセルを含めるために該動きベクトルに対する前記影響エリアセルを修正する段階、
    を含み、
    ここで、xは、予測されるピクセルであり、xiは、N個の動きベクトルの集合内の特定の動きベクトルiのピクセル位置であり、Oiは、動きベクトルiに対する物体の動きレーヤ割り当てであり、Tiは、該特定の動きベクトルiに対する影響エリアセルであり、集合j∈N、j≠iは、全ての他の動きベクトルを表し、Cは、前記遮蔽領域を表している、
    ことを特徴とする請求項5に記載の方法。
  7. 前記遮蔽領域の周囲で前記フィルタを修正する段階は、
    前記遮蔽領域の外側の各動きベクトルに対して、動きベクトルと同じ動きレーヤに属し、かつ該遮蔽領域の外側にあるピクセルを含めるために該動きベクトルに対する前記影響エリアセルを修正する段階と、
    前記遮蔽領域内の各ピクセルに対して、フィルタ重み1を有する最も近い動きベクトルを用いて該ピクセルを予測する段階と、
    前記遮蔽領域の外側の各ピクセルに対して、前記修正された影響エリアセルを用いてフィルタ重みを判断し、該ピクセルを予測する段階と、
    を含む、
    ことを特徴とする請求項5に記載の方法。
  8. 画像内の物体の位置が参照画像内の該物体の位置とは異なる目標画像を受信する受信器と、
    前記物体の境界を用いて不規則パターンの目標画像動きベクトルを発生させる発生器と、
    前記目標画像動きベクトルを用いて、各セルが該目標画像動きベクトルのうちの固有の1つを収容する影響エリアセルに前記目標画像を分割する分割器と、
    前記影響エリアセルに適応影響エリアフィルタを適用することによって前記目標画像の予測を発生させる予測器と、
    を含むことを特徴とする装置。
  9. 前記発生器は、前記物体の前記境界を用いて、該物体の内側に動きベクトルを位置決めし、かつ該境界に関連する少なくとも1つのパラメータを用いて該境界に関連して動きベクトルを分布させることにより、不規則パターンの目標画像動きベクトルを発生させることを特徴とする請求項8に記載の装置。
  10. 前記予測器は、記適応影響エリアフィルタを、前記境界の近くの影響エリアセルに対して該フィルタを修正し、該修正されたフィルタを用いて遮蔽領域を推定し、かつ該遮蔽領域を持たない参照画像を用いて前記目標画像を予測することによって適用することを特徴とする請求項8に記載の装置。
  11. 前記予測器は、前記境界の近くの影響エリアセルに対して前記フィルタを、移動物体の境界の周囲で該フィルタを修正し、遮蔽領域を推定し、該遮蔽領域を持たない参照画像を識別し、かつ該識別した参照画像を用いて前記目標画像を予測することによって修正することを特徴とする請求項10に記載の装置。
  12. 前記予測器は、前記境界の近くの影響エリアセルに対して前記フィルタを、遮蔽領域を推定し、かつ該遮蔽領域の周囲で該フィルタを修正することによって修正することを特徴とする請求項11に記載の装置。
  13. 電子データ処理システムによって実行された時に該システムに、
    画像内の物体の位置が参照画像内の該物体の位置とは異なる目標画像を受信する段階と、
    前記物体の境界を用いて、不規則パターンの目標画像動きベクトルを発生させる段階と、
    前記目標画像動きベクトルを用いて、各セルが該目標画像動きベクトルのうちの固有の1つを収容する影響エリアセルに前記目標画像を分割する段階と、
    前記影響エリアセルに適応影響エリアフィルタを適用することにより、前記目標画像の予測を発生させる段階と、
    を含む方法を実施させる命令のコンピュータプログラムを記憶するコンピュータ可読媒体。
  14. 前記物体の境界を用いて不規則パターンの目標画像動きベクトルを発生させる段階は、
    前記物体の内側に動きベクトルを位置決めする段階と、
    前記境界に関連する少なくとも1つのパラメータを用いて、該境界に関連して動きベクトルを分布させる段階と、
    を含む、
    ことを特徴とする請求項13に記載のコンピュータ可読媒体。
  15. 前記適応影響エリアフィルタを適用する段階は、
    前記境界の近くの影響エリアセルに対して前記フィルタを修正する段階と、
    前記修正されたフィルタを用いて遮蔽領域を推定する段階と、
    前記遮蔽領域を持たない参照画像を用いて前記目標画像を予測する段階と、
    を含む、
    ことを特徴とする請求項14に記載のコンピュータ可読媒体。
  16. 前記境界近くの影響エリアセルに対して前記フィルタを修正する段階は、
    遮蔽領域を推定する段階と、
    前記遮蔽領域の周囲で前記フィルタを修正する段階と、
    を含む、
    ことを特徴とする請求項15に記載のコンピュータ可読媒体。
JP2008531161A 2005-09-16 2006-08-31 移動物体境界のための適応影響エリアフィルタ Expired - Fee Related JP4922302B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/228,610 2005-09-16
US11/228,610 US7957466B2 (en) 2005-09-16 2005-09-16 Adaptive area of influence filter for moving object boundaries
PCT/US2006/034240 WO2007035231A2 (en) 2005-09-16 2006-08-31 Adaptive area of influence filter for moving object boundaries

Publications (2)

Publication Number Publication Date
JP2009509404A JP2009509404A (ja) 2009-03-05
JP4922302B2 true JP4922302B2 (ja) 2012-04-25

Family

ID=37884047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008531161A Expired - Fee Related JP4922302B2 (ja) 2005-09-16 2006-08-31 移動物体境界のための適応影響エリアフィルタ

Country Status (6)

Country Link
US (1) US7957466B2 (ja)
EP (1) EP1925159A4 (ja)
JP (1) JP4922302B2 (ja)
KR (1) KR101266638B1 (ja)
CN (1) CN101268690B (ja)
WO (1) WO2007035231A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
WO2009073415A2 (en) 2007-11-30 2009-06-11 Dolby Laboratories Licensing Corporation Temporal image prediction
US8059908B2 (en) * 2008-04-29 2011-11-15 Sony Corporation Adaptive area of influence filter for irregular spatial sub-sampled images
CN103141099B (zh) * 2010-10-01 2016-10-26 杜比实验室特许公司 用于参考图片处理的优化的滤波器的选择
KR20120045369A (ko) * 2010-10-29 2012-05-09 에스케이 텔레콤주식회사 쿼드 트리 기반으로 블록 필터 정보를 부호화/복호화하는 영상 부호화/복호화 장치 및 방법
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
WO2014133597A1 (en) * 2013-02-26 2014-09-04 Spinella Ip Holdings, Inc. Determination of object occlusion in an image sequence
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN109891884B (zh) 2016-10-19 2021-04-20 华为技术有限公司 用于编码和解码视频信号的视频编码块的装置和方法
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
CN110325350B (zh) * 2017-03-29 2021-08-03 惠普发展公司,有限责任合伙企业 制造边界对象壳
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4016043A (en) * 1975-09-04 1977-04-05 Akzona Incorporated Enzymatic immunological method for the determination of antigens and antibodies
SE427505B (sv) * 1977-03-04 1983-04-11 Pharmacia Diagnostics Ab Reagens till anvendning vid immunkemiska bestemningsmetoder
US4943531A (en) * 1985-05-06 1990-07-24 The Trustees Of Columbia University In The City Of New York Expression of enzymatically active reverse transcriptase
US5169939A (en) * 1985-05-21 1992-12-08 Massachusetts Institute Of Technology & Pres. & Fellows Of Harvard College Chimeric antibodies
US4889818A (en) * 1986-08-22 1989-12-26 Cetus Corporation Purified thermostable enzyme
DE3877105D1 (ja) 1987-09-30 1993-02-11 Siemens Ag, 8000 Muenchen, De
US5690934A (en) * 1987-12-31 1997-11-25 Tanox Biosystems, Inc. Peptides relating to the extracellular membrane-bound segment of human alpha chain
US5109124A (en) * 1988-06-01 1992-04-28 Biogen, Inc. Nucleic acid probe linked to a label having a terminal cysteine
US5021335A (en) * 1988-06-17 1991-06-04 The Board Of Trustees Of The Leland Stanford Junior University In situ transcription in cells and tissues
US5168038A (en) * 1988-06-17 1992-12-01 The Board Of Trustees Of The Leland Stanford Junior University In situ transcription in cells and tissues
US4925648A (en) * 1988-07-29 1990-05-15 Immunomedics, Inc. Detection and treatment of infectious and inflammatory lesions
US5047850A (en) 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US5091301A (en) * 1989-03-22 1992-02-25 The Unites States Of America As Represented By The Secretary Of Agriculture Diagnostic and epidemiological nucleic acid probe for bovine leptospirosis
US5665539A (en) * 1991-07-12 1997-09-09 The Regents Of The University Of California Immuno-polymerase chain reaction system for antigen detection
US5506105A (en) * 1991-12-10 1996-04-09 Dade International Inc. In situ assay of amplified intracellular mRNA targets
US5589333A (en) * 1992-02-03 1996-12-31 Thomas Jefferson University In situ polymerase chain reaction
JP4074658B2 (ja) * 1992-04-03 2008-04-09 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 自己構築ポリヌクレオチド送達システム
US5514545A (en) * 1992-06-11 1996-05-07 Trustees Of The University Of Pennsylvania Method for characterizing single cells based on RNA amplification for diagnostics and therapeutics
US5843640A (en) * 1992-06-19 1998-12-01 Northwestern University Method of simultaneously detecting amplified nucleic acid sequences and cellular antigens in cells
CA2169837A1 (en) * 1993-08-18 1995-02-23 Peter D. Duck Compositions and methods for detecting target nucleic acid sequences utilizing adjacent sequence-enzyme molecules
US6074869A (en) * 1994-07-28 2000-06-13 Pall Corporation Fibrous web for processing a fluid
US5872866A (en) 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
EP0851768B1 (en) * 1995-09-01 2002-04-24 University of Washington Interactive molecular conjugates
WO1997040628A1 (en) 1996-04-19 1997-10-30 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
JP3967405B2 (ja) 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) 1996-10-31 2008-01-16 株式会社東芝 画像符号化/復号化方法及び装置
DE19648016A1 (de) 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
EP1511325A3 (en) 1997-02-13 2006-07-19 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6261789B1 (en) * 1997-03-10 2001-07-17 The Regents Of The University Of California Methods for detecting the presence of a PSCA protein using PSCA antibodies
US6132722A (en) * 1997-05-07 2000-10-17 Bristol-Myers Squibb Company Recombinant antibody-enzyme fusion proteins
US6183995B1 (en) * 1997-09-05 2001-02-06 Lifespan Biosciences, Inc. Methods of measuring gene expression using wax-embedded tissue specimens
US6178205B1 (en) 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
JPH10243401A (ja) * 1998-04-06 1998-09-11 Nec Corp 適応動きベクトル補間による動き補償フレーム間予測方法
US6591015B1 (en) 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP2000308064A (ja) 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6187567B1 (en) * 1999-09-01 2001-02-13 Akzo Nobel N.V. Methods and reagents for in situ amplification
WO2001040454A1 (en) * 1999-11-30 2001-06-07 Oncosis Method and apparatus for selectively targeting specific cells within a cell population
JP3753578B2 (ja) 1999-12-07 2006-03-08 Necエレクトロニクス株式会社 動きベクトル探索装置および方法
JP3781934B2 (ja) * 1999-12-22 2006-06-07 株式会社ニチレイバイオサイエンス 酵素−タンパク質複合体
US6864994B1 (en) 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
JP2003530789A (ja) 2000-04-11 2003-10-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化及び復号方法
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
US6782054B2 (en) 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
AU2003246987A1 (en) 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US7068722B2 (en) 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
US20040091047A1 (en) * 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치

Also Published As

Publication number Publication date
US20070064802A1 (en) 2007-03-22
JP2009509404A (ja) 2009-03-05
KR101266638B1 (ko) 2013-05-23
CN101268690A (zh) 2008-09-17
EP1925159A4 (en) 2009-09-23
CN101268690B (zh) 2010-09-29
KR20080046271A (ko) 2008-05-26
WO2007035231A2 (en) 2007-03-29
EP1925159A2 (en) 2008-05-28
US7957466B2 (en) 2011-06-07
WO2007035231A3 (en) 2007-07-12

Similar Documents

Publication Publication Date Title
JP4922302B2 (ja) 移動物体境界のための適応影響エリアフィルタ
JP2009509413A (ja) 不規則な動きベクトルのサンプルに対する時間予測フィルタのための適応動き推定
US20210385486A1 (en) Moving Picture Decoding Method and Moving Picture Encoding Method
JP3847827B2 (ja) 動きベクトル検出方法
KR101342268B1 (ko) 모션 보상을 위한 자연 형상 영역
KR101339566B1 (ko) 모션 벡터 선택
KR20140021952A (ko) 멀티뷰 비디오 시퀀스 코딩을 위한 적응형 프레임 예측 방법
JP2010114933A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体
KR20080050491A (ko) 시간 예측을 위한 분류 필터링
KR101276450B1 (ko) 적응형 영향 영역 필터
JP5237814B2 (ja) ビデオ圧縮における適応的動きベクトルサンプリングのための多段リンク方法
CN108924551B (zh) 视频图像编码模式的预测方法及相关设备
JP2006518157A (ja) オブジェクトベースの動き補償の方法及び装置
JP2005057789A (ja) ディジタルのソース画像を圧縮する装置および方法
JP3390024B2 (ja) 撮像された画像の中の動きの推定方法
JP5043849B2 (ja) ビデオシーケンスにおける可変形状動き推定
JP2007110409A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JPH0746595A (ja) 動画像符号化器および復号化器
JP2008301085A (ja) 動きベクトル探索装置及びその制御方法、コンピュータプログラム
JP2009033266A (ja) 動きベクトル探索方法、動きベクトル探索装置、符号化装置及びコンピュータプログラム
JP2007049741A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体
JP2007060689A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体
JP2002521944A (ja) デジタル画像が被る動きを求める方法および装置
JP2009232163A (ja) 補間フレーム作成装置、補間フレーム作成方法及び補間フレーム作成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120123

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120203

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees