JP6392453B2 - 幾何要素を用いてグラフに基づく信号を処理する方法及び装置 - Google Patents

幾何要素を用いてグラフに基づく信号を処理する方法及び装置 Download PDF

Info

Publication number
JP6392453B2
JP6392453B2 JP2017516715A JP2017516715A JP6392453B2 JP 6392453 B2 JP6392453 B2 JP 6392453B2 JP 2017516715 A JP2017516715 A JP 2017516715A JP 2017516715 A JP2017516715 A JP 2017516715A JP 6392453 B2 JP6392453 B2 JP 6392453B2
Authority
JP
Japan
Prior art keywords
edge
target block
value
weight value
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017516715A
Other languages
English (en)
Other versions
JP2017535137A (ja
Inventor
サイド アミール
サイド アミール
エネス エギルメッズ ヒルミ
エネス エギルメッズ ヒルミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2017535137A publication Critical patent/JP2017535137A/ja
Application granted granted Critical
Publication of JP6392453B2 publication Critical patent/JP6392453B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明はグラフに基づく（基盤の、ベースの）信号処理方法及び装置に関し、より詳しくは、グラフに基づく信号上のエッジ重み付け値をコーディング（符号化）するための技術に関する。
従来の離散時間信号処理技術は、大部分アナログ信号の処理及びフィルタリングから進化してきているが、正規に組織されたデータのサンプリングのように幾つかの共通の仮定により制限されてきた。ビデオ圧縮分野は、基本的に同一の仮定に基づいて（基盤して）おり、単に多次元信号の処理に一般化されただけである。
グラフは多くの応用分野においてデータの幾何学的構造を記述することに有用なデータ表現形態である。このようなグラフに基づいた信号処理は各信号サンプルが頂点（vertex）を示し、信号の関係が正の重み付け値を有するグラフエッジで示されるグラフを使用してサンプリング、フィルタリング、フーリエ（Fourier）変換などの概念を一般化することができる。この方式は、信号を獲得する処理（過程）と分離することによってサンプリング及びシーケンス処理においてグラフの特性に置き換え（取り替え）ることができる。したがって、より効率良いグラフに基づく信号処理方法がビデオ圧縮分野だけでなく多くの応用分野で要求される。
グラフに基づく信号処理は、信号処理のさまざまな技術及びモデルを一般化する新たな技術分野であり、多くの応用分野で有望な結果を見せたことがある。但し、信号圧縮時、グラフに基づく信号処理方式を適用する（ようになる）場合、より良い信号変換又は予測を導出するためにはエンコーダとデコーダ（とが）全て同一のグラフ（例えば、 頂点、エッジ、及びエッジ重み付け値）を使用する必要がある。より向上した信号圧縮が複雑で、かつ適応的なグラフ構造で成就できるが、このようなグラフに関する情報をコーディングするオーバーヘッドが相対的に大きくなることによって、これらが提供する利得よりも大きくなることがあるという問題がある。したがって、本発明ではこのような問題を解決しようとする。
本発明は、ビデオコーディングのためのグラフトポロジ（topology）が固定されたグリッド（頂点がピクセルに該当するため、普通は平面）であり、エッジ重み付け値のみ変更されるという事実を用いてグラフ情報をコーディングするための解決策を提供する。そして、本発明の目的は、予測残差（残余）値のより良いコーディング集合のためのグラフに基づくツール（道具）を開発することにある。
このような場合のために設計されたグラフ上のエッジ重み付け値をコーディングするために、本発明は、一つ又は複数の幾何要素（点、線、円、曲線など）の集合を使用することができ、このような個体上の点までの距離に対する特定関数を使用して重み付け値を定義することができる。
また、本発明は、このような幾何要素を定義するパラメータ及び距離をエッジ重み付け値に変える（換える）関数のパラメータをコーディングすることによって、グラフ重み付け値の全体集合がグラフのサイズ及び複雑度に関わらず転送できる。また、互いに異なる幾何要素及び距離−重み付け値関数（distance-to-weight function）の集合は、より好ましいグラフ特性を示すことができるようにする。
本発明が適用されるグラフに基づく信号のモデル化は強力なツール（道具）になることができる。即ち、本発明は、グラフのエッジ重み付け値を適応的に変更し、スペクトル分解から得られた行列を使用することによって、より改善された信号表現、変換、及び予測を実行（遂行）することができる。
また、本発明は、データ圧縮で必要とし、圧縮応用分野のためのツールを使用することに有用（応用、適用）することができるより一般的なモデルに対する要求を扱う。
また、本発明は、より圧縮されたグラフ表現を使用することによって、個別のグラフのエッジ重み付け値をエンコードするために必要なビットレートの過度なオーバーヘッドを避けることができる。
本発明が適用される実施形態に従ってグラフに基づく信号を処理するエンコーダ及びデコーダの概略ブロック図を例示する図である。 本発明が適用される実施形態に従ってグラフに基づく信号を処理するエンコーダ及びデコーダの概略ブロック図を例示する図である。 本発明が適用される一実施形態に従ってビデオフレーム内の８×８ブロック内での統計的関係をモデル化するために使われたグラフの例を示す図である。 本発明が適用される一実施形態であって、重み付け値分布を示す２つの形態のグラフを示す図である。 本発明が適用される実施形態に従って個体の境界の周囲に集まる傾向がある残差（残余）信号の特性を例示する図である。 本発明が適用される一実施形態に従うグラフに基づく信号モデル化ユニットの概略ブロック図を例示する図である。 本発明が適用される一実施形態に従って多様なタイプの幾何要素を含むビデオフレームの例を示す図である。 本発明が適用される一実施形態に従って幾何要素を用いてビデオセグメント内のブロックのエッジをコーディングする方法を例示する図である。 本発明が適用される一実施形態に従って幾何要素を用いてビデオセグメント内のブロックのエッジをコーディングする処理を例示するフローチャートである。 本発明が適用される一実施形態に従って距離−重み付け値関数（distance-to-weight function）に基づいてグラフに基づく信号をコーディングする処理を例示するフローチャートである。 本発明が適用される一実施形態であって、グラフに基づく信号のエッジ重み付け値を用いてビデオ信号をデコードする処理を説明するためのフローチャートである。
本発明は、幾何要素（プリミティブ）（geometric primitive）を用いてグラフベース（に基づく）信号（グラフ基盤信号）を処理する方法であって、エッジ重み付け値（edge weight）を算出するために用いられる幾何要素を特定するステップと、幾何要素の各々に対するパラメータを獲得するステップと、パラメータに基づいてイメージ内のエッジの各々に対するエッジ重み付け値を算出するステップと、エッジ重み付け値に基づいてイメージをエンコードするステップと、を有することを特徴とする方法を提供する。
また、本発明は、ターゲットブロックに対応するグラフ内のエッジ（edge）に対する最小距離（minimum distance）を算出するステップと、距離対重み付け値関数（距離−重み付け値関数）に最小距離を適用するステップと、をさらに有し、エッジ重み付け値は距離対重み付け値関数に基づいて算出されることを特徴とする。
また、本発明で、最小距離は、エッジの中心から幾何要素までの距離を示すことを特徴とする。
また、本発明で、パラメータは、タイプ情報、位置情報、又は長さ情報のうち、少なくとも一つを有することを特徴とする。
また、本発明は、タイプ情報がデフォルトタイプと異なるか否かを確認するステップと、タイプ情報がデフォルトタイプと異なる場合、距離対重み付け値関数のパラメータをエンコードするステップと、をさらに有することを特徴とする。
また、本発明で、幾何要素のタイプ情報は、幾何要素の既に決定された３個のうちの一つを示すことを特徴とする。
また、本発明で、幾何要素の各々は、互いに異なる距離対重み付け値関数を用いることを特徴とする。
また、本発明で、エッジ重み付け値は、互いに異なる関数を用いることによって算出されることを特徴とする。
また、本発明で、イメージは、残差信号に対応することを特徴とする。
また、本発明で、幾何要素は、正規化された空間座標を用いることによって識別されることを特徴とする。
本発明は、グラフベースビデオ信号（グラフ基盤ビデオ信号）を処理する方法であって、エッジ重み付け値（edge weight）を受信するステップと、エッジ重み付け値を用いて変換行列を生成するステップであって、変換行列はターゲットブロック内のエッジのエッジ重み付け値に基づいてマッピングされるステップと、変換行列を用いて変換係数を獲得するステップと、獲得された変換係数に基づいてグラフベースビデオ信号を復元するステップと、を有することを特徴とする方法を提供する。
本発明は、幾何要素（geometric primitive）を用いてグラフベース信号（グラフ基盤信号）をエンコードする装置であって、エッジ重み付け値（edge weight）を算出するために用いられる幾何要素を特定し、幾何要素の各々に対するパラメータを獲得し、パラメータに基づいてイメージ内のエッジの各々に対するエッジ重み付け値を算出し、エッジ重み付け値に基づいてイメージをエンコードするプロセッサを有することを特徴とする装置を提供する。
本発明は、グラフベースビデオ信号をデコードする装置であって、グラフベースビデオ信号からエッジ重み付け値（edge weight）を受信し、エッジ重み付け値を残差信号に適用することによって変更された残差信号を獲得し、変更された残差信号に基づいてグラフベースビデオ信号を復元するプロセッサを有し、変換行列は、ターゲットブロック内のエッジのエッジ重み付け値に基づいてマッピングされることを特徴とする装置を提供する。
〔発明の実施のための形態〕
以下、添付した図面を参照して本発明の実施形態の構成とその作用とを説明するが、図面により説明される本発明の構成及び作用は、一つの実施形態として説明されるものであり、これによって本発明の技術的思想とその核心構成及び作用が制限されるものではない。
併せて、本発明で使われる用語は、できる限り現在広く使われる一般的な用語を選択したが、特定の場合は出願人が任意に選定した用語を使用して説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で使われた用語の名称だけで単純に解析されてはならず、その該当用語の意味まで把握して解析されなければならないことを明らかにしようとする。
また、本明細書で提示された実施形態はビデオ信号処理に関するものであるが、本発明は、ビデオ信号処理のみに基づいたものとして推論されてはならず、一般的なグラフに基づく信号処理方法にも適用できるものである。
また、本発明で使われる用語は、発明を説明するために選択された一般的な用語や、類似の意味を有する他の用語がある場合、より適切な解析のために置き換え可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング処理において適切に置き換えられて解析できる。
図１及び２は、本発明が適用される実施形態に従ってグラフに基づく信号を処理するエンコーダ及びデコーダの概略ブロック図を例示する。
図１のエンコーダ１００は、変換ユニット１１０、量子化ユニット１２０、逆量子化ユニット１３０、逆変換ユニット１４０、バッファ１５０、予測ユニット１６０、及びエントロピエンコードユニット１７０を含む。
上記エンコーダ１００は、ビデオ信号を受信し、上記ビデオ信号から上記予測ユニット１６０で出力された予測された信号を差し引いて予測エラーを生成する。
上記生成された予測エラーは、上記変換ユニット１１０に転送される。
上記変換ユニット１１０は、変換方式を上記予測エラーに適用することによって変換係数を生成する。
上記量子化ユニット１２０は、上記生成された変換係数を量子化して上記量子化された係数をエントロピエンコードユニット１７０に転送する。
上記エントロピエンコードユニット１７０は、上記量子化された信号に対するエントロピコーディングを実行し、エントロピコーディングされた信号を出力する。
一方、上記量子化ユニット１２０により出力された上記量子化された信号は、予測信号を生成するために使用できる。例えば、上記エンコーダ１００のループ内の上記逆量子化ユニット１３０及び上記逆変換ユニット１４０は、上記量子化された信号が予測エラーに復元されるように上記量子化された信号に対する逆量子化及び逆変換を実行することができる。復元された信号は上記復元された予測エラーを上記予測ユニット１６０により出力された予測信号に加えることによって生成できる。
上記バッファ１５０は、予測ユニット１６０の今後の参照のために復元された信号を記憶する。
上記予測ユニット１６０は、以前に復元されて上記バッファ１５０に記憶された信号を使用して予測信号を生成することができる。このような場合、本発明は、アンカ（anchor）イメージ内の領域を使用して目標（対象）イメージ内の領域を効率良く予測することに関連したものである。ここで、上記アンカイメージは、参照イメージ、参照ピクチャ、又は参照フレームを意味することができる。効率は率（レート）−歪み（Rate-Distortion）コスト（費用）又は予測エラー内の歪みを定量化する平均二乗（自乗）エラーを算出することによって決定できる。
より良い信号表現、変換、及び予測を実行するために、本発明は、幾何要素を使用し、幾何要素までの距離を重み付け値でマッピングさせる関数を用いてグラフに基づく信号をモデル化する方法を提案する。また、本発明はグラフ内の頂点とエッジとを識別し、残差値信号をエンコード又はデコードする方法を提案する。例えば、本発明の実施形態は、グラフに基づく信号モデル化ユニット（グラフ基盤信号モデリングユニット）６００を通じて多様な実施形態を実行することができる。上記グラフに基づく信号モデル化ユニットは、上記エンコーダ１００又は上記デコーダ２００に含まれることができる。
図２のデコーダ２００は、エントロピデコードユニット２１０、逆量子化ユニット２２０、逆変換ユニット２３０、バッファ２４０、及び予測ユニット２５０を含む。
図２のデコーダ２００は、図１のエンコーダ１００により出力された信号を受信する。
上記エントロピデコードユニット２１０は、受信した信号に対するエントロピデコードを実行する。上記逆量子化ユニット２２０は、量子化ステップのサイズに関する情報に基づいて上記エントロピデコードされた信号から変換係数を獲得する。上記逆変換ユニット２３０は、変換係数に対する逆変換を実行することによって予測エラーを取得する。復元された信号は、上記獲得された（取得した）予測エラーを上記予測ユニット２５０により出力された予測信号に加えることによって生成される。
上記バッファ２４０は、上記予測ユニット２５０の今後の参照のために上記復元された信号を記憶する。
上記予測ユニット２５０は、以前に復元されて上記バッファ２４０に記憶された信号に基づいて予測信号を生成する。
本発明が適用される上記グラフに基づく信号モデル化方法は、上記エンコーダ１００及び上記デコーダ２００の全てで使われる。
図３は、本発明が適用される一実施形態に従ってビデオフレーム内の８×８ブロック内での統計的関係をモデル化するために使われたグラフの例を示す。
図３を参照すると、本発明は、イメージ又はビデオ内の８×８ピクセルブロックの処理のために使用できるグラフタイプの２つ実施形態を提供する。各ピクセルはグラフの頂点に関連し（関連付けられ）、上記ピクセルの値はグラフ頂点の値となる。
グラフエッジは、グラフ頂点を連結する線を意味することができる。上記グラフエッジは、信号内の如何なる（任意の）形態の統計的依存性を示すために使われて、この際、正の重み付け値はその強度を示すことができる。例えば、各頂点は全ての他の頂点に連結されることができ、０の重み付け値は互いに関連しないか、又は弱く関連した頂点を連結するエッジに割り当てることができる。但し、表現の簡単化の（表現を簡単にする）ために、０の重み付け値を有するエッジは完全に除去できる。
本発明の他の実施形態において、グラフ頂点を連結するエッジは信号特性によって予め設定できる。例えば、頂点は、オーディオ信号に対しては１次元配列上に、イメージに対しては２次元配列上に、またビデオフレームに対しては３次元配列上に配置できる。この際、上記３次元配列の場合には時間軸が３番目の次元になることができる。例えば、図３（ａ）のグラフで、グラフエッジは各々の頂点がそれから最も近い４個の隣接頂点に連結されるように定義できる。但し、ブロック境界の場合は異なって（異に）取り扱うことができる。また、図３（ｂ）のグラフでは各々の頂点がそれから最も近い８個の隣接頂点に連結されるように定義できる。
図４は、本発明が適用される一実施形態であって、重み付け値の分布を示す２つの形態のグラフを示す。
グラフの頂点値は、信号測定（通常任意の変数にモデル化される）に基づく独立変数であるが、一部信号の特性と合致するグラフのエッジ重み付け値を選択することが必要である。図４において、グラフエッジに対する線の色相（濃淡、太さ）が互いに異なるエッジ重み付け値を示すグラフの２つの例が提供される。例えば、濃い色の線（太線）はｗ＝１の重み付け値を示し、薄い色の線（細線）はｗ＝０．２の重み付け値を示すことができる。
図４（ａ）のグラフは、直線に沿って“弱いリンク”を有している場合を示し、２つのエッジ重み付け値のみを有している場合を示す。ここで、上記“弱いリンク”は相対的に小さなエッジ重み付け値を有していることを意味する。
これは事実上、グラフに基づくイメージ処理で通常使われるものであり、このような構成は、イメージ内のエッジと他の辺との間のピクセル統計の差を示すことができる。
グラフに基づく信号処理のために使われる基本ツールは＜数式１＞のようにグラフのラプラシアン行列から導出できる。
＜数式１＞
Figure 0006392453
＜数式１＞で、Ｄは次数対角行列であり、Ａは隣接行列である。
グラフに基づく信号処理のための多くのツールが＜数式２＞のような行列Ｌのスペクトル分解に基づく（基盤する）ことができる。
＜数式２＞
Figure 0006392453
＜数式２＞において、上記直交行列Ｕは、該当グラフモデルに適う（適合する）信号に対する特殊化されたグラフに基づくフーリエ（Fourier）変換形態を提供する。
図４（ｂ）のグラフは、不規則な領域をカバーするエッジ重み付け値の分布を示し、本発明ではこのようなエッジ重み付け値の分布グラフを用いて信号を処理する方法を提供しようとする。
図５は、本発明が適用される実施形態に従って個体の境界周囲に集まる傾向がある残差信号の特性を例示するための図面を示す。
本発明は、データ圧縮のために要求されるより一般的なモデルに対する要求を扱う。例えば、コーディングの応用において、処理対象信号は元ピクセルの値でない残差信号でありうる。例えば、元信号から予測された値を差し引いた予測残差値でありうる。図５（ａ）はビデオフレームを図示し、図５（ｂ）は残差信号値の分布を図示する。例えば、図５（ｂ）で白色は０値を示し、黒色は残差信号値を示し、黒色の濃度が濃いほど残差信号値が大きく、相対的に黒色の濃度が薄いほど残差信号値が小さいことを示す。
このようなタイプの信号に対し、上記グラフは、明確に定義されたエッジのような特性を有するのではないが、代わりに特定領域に集まっているノイズサンプルを有することを示す。このような場合、上記図４（ｂ）の例に図示されたように、不均一な領域をカバーする重み付け値分布を有するグラフに対する処理方法が必要でありうる。
図６は、本発明が適用される一実施形態に従うグラフに基づく信号モデル化ユニット（グラフ基盤信号モデリングユニット）の概略ブロック図を例示する。
本発明が適用されるグラフに基づく信号モデル化を通じてビデオ信号をより効率良く処理することができる。エッジ重み付け値（edge weight）を適応的に変更し、グラフの行列Ｌのスペクトル分解から得られた行列を使用することによって、より改善された信号表現、変換、及び予測を得ることができる。
本発明の実施形態をより柔軟に適用するためには、エッジ重み付け値（edge weight）を適応的に変更させる必要がある。エンコーダは、入力信号のデータセットを使用してグラフに基づく信号をエンコードすることができ、デコーダは、上記データセットの一部又は全部を定めた順序に基づいて受信することができ、これを用いてデコードすることができる。
本発明の一実施形態で、エンコーダは、エッジ重み付け値（edge weight）に対する（関する）データセットの一部又は全部をエンコードすることができ、それによってデコーダは、上記データセットの一部又は全部をデコードすることによって行列Ｌの新たな値を計算することができる。
上記図３のような簡単なグラフの場合にも頂点毎に複数のグラフエッジを有することができるので、効率良いコーディングを実行することが容易でないことがある。例えば、Ｎ×Ｎブロックに対してピクセル４個の連結された頂点を有するグラフは、２Ｎ（Ｎ−１）≒２Ｎ2個のグラフエッジを有し、図３（ｂ）のようにピクセル８個の連結された頂点を有するグラフは２（Ｎ−１）（２Ｎ−１）≒４Ｎ2個のグラフエッジを有する（ようになる）。
一方、全てのエッジ重み付け値（edge weight）をエンコードするためには、頂点又はピクセル毎に２、４、又はそれ以上のグラフエッジを必要とすることがある。この場合、エッジ重み付け値（edge weight）をコーディング（符号化）するために多数のビットを必要とするため、効率良い圧縮コーディングを実行し難いことがある。
本発明の一実施形態で、グラフエッジをコーディングするために２つの互いに異なるエッジ重み付け値（edge weight）（例えば、０．１及び１）を用いることができる。例えば、重み付け値のうちの一つの確率がｐであり、本発明が最適な０の順次（次数）を有するエントロピエンコーダを使用することができると仮定する。このような場合、グラフエッジのビットレートは＜数式３＞のように示すことができる。
＜数式３＞
Figure 0006392453
この場合、上記＜数式３＞を用いて、グラフベース信号処理により得ることができるコーディングの利得は０．１ビット／ピクセル、又は０．０１ビット／ピクセルより大きくなることができない。したがって、本発明では、グラフ重み付け値に対するより精巧なコーディング方法を使用することによって、過度なオーバーヘッドを緩和させることができる新たな方法を提供する。
エッジ重み付け値（edge weight）を個別にエンコードするためには、ビットレートオーバーヘッドが要求される。本発明ではこれを解決するために複数のグラフエッジに関する情報を一度に提供する方法を提供する。例えば、複数のグラフエッジに対する共通情報を、定めた単位によってコーディングすることができる。ここで、上記定まった単位は、グラフ単位、フレームピクチャ単位、ブロック単位、ピクセル単位、及びビデオ信号コーディングのために用いられる多様な単位を含むことができる。上記方式を用いる場合、たとえコーディングのためのビットがさらに必要であっても、エッジ当たり又はピクセル当たりの平均ビットレートは小さく維持できる。
本発明は、次のようなビデオコーディングの特別な性質に基づくことができる。
第１に、ピクセル集合を処理するために用いられるグラフは、規則的な（標準的な）フォーマット（regular format）で生成できる。例えば、イメージの場合には平面（planar）で生成されることができ、又は多次元空間（multi-dimensional space）の場合には四角格子（rectangular lattice）で生成できる。この場合、エッジ重み付け値（edge weight）のみ変更できる。
第２に、ランダムな残差信号（random residual signal）はビデオ個体（人、壁など）の境界に集まる傾向があり、これは普通２次元曲線で定義できるが、それに限定されず、１次元直線や点などで定義されることもできる。一方、残差信号が小さな領域では概してこれらの値が互いに類似することがある。
第３に、残差信号は相互間で正確な境界を有せず、したがって、エッジ重み付け値（edge weight）が変化する正確な位置をエンコード又はデコードするためにビットを消費する必要がない。
本発明の一実施形態は、一般的なフレーム座標を使用して統計上の変化を特定信号に転送することによって上記第１の特性を用いることができる。
例えば、本発明は、ビデオフレーム又は全体フレームの特定部分で正規化された空間Ｓ＝［０，１］×［０，１］を使用することによって、全てのグラフ内の頂点とエッジを識別することができる。例えば、本発明は＜数式４＞のようにグラフエッジの重み付け値関数を定義することができる。
＜数式４＞
Figure 0006392453
この場合、各々の位置ｘ∈Ｓに対する重み付け値ｗ（ｘ）が獲得できる。
Ｗ×Ｈピクセルの集合を仮定すると、Ｓ内のピクセル（ｉ、ｊ）の位置は＜数式５＞のように定義できる。
＜数式５＞
Figure 0006392453
ここで、Ｗはグラフ又はフレームの幅を示し、Ｈはグラフ又はフレームの高さを示す。
本発明の更に他の実施形態で、ピクセル（ｉ、ｊ）と（ｋ、ｌ）との間のエッジ重み付け値（edge weight）は、＜数式６＞のようにグラフエッジの中間点を用いて定義できる。
＜数式６＞
Figure 0006392453
ここで、ｗ（）はグラフエッジの重み付け値関数を示し、（ｉ、ｊ）及び（ｋ、ｌ）は任意のピクセル位置を示す。そして、Ｗ×Ｈピクセルの集合を仮定すると、ｉ、ｋは０，１，…，Ｗ−１の値を示し、ｊ、ｌは０，１，…，Ｈ−１の値を示すことができる。
このような接近（近似、アプローチ）方式を通じて、全てのグラフエッジの重み付け値をコーディングするためのオーバーヘッドがグラフエッジの個数との関係がなくなり、全てのｘ∈Ｓに対してｗ（ｘ）を計算するための情報を効率良くコーディングすることに依存できる（ようになる）。
本発明の更に他の実施形態は、上記第２の特性を用いて重み付け値関数ｗ（ｘ）を計算する方法を提案することによって、効率良いコーディングを実行することができる。例えば、本発明は、大きい値を有する残差信号が集まって幾何学的要素（geometric primitive）を構成するという特徴を用いることができる。
このような場合、本発明は、点（point）、線（line）、線分（線セグメント）（line segment）、円（circle）、キュービックスプライン（３次式近似）を用いる線（lines using cubic splines）、及びベジェ（ビジェ）曲線（Bezier curves）などの少なくとも一つの幾何要素を含む幾何要素集合を使用して効率良いコーディングを実行することができる。
例えば、図７は、分離された点、直線、及び曲線などの一部の幾何要素を有するビデオフレームの例を示す。
本発明の更に他の実施形態は、上記第３の特性に基づいて、ｗ（ｘ）2の定義を完成するために幾何要素までの距離を重み付け値でマッピングする関数Φ（ｄ、Ｐ１、Ｐ２）（以下、“距離−重み付け値関数（distance-to-weight function）”という）を使用する。例えば、上記距離−重み付け値関数（distance-to-weight function）は＜数式７＞及び＜数式８＞のように定義できる。
＜数式７＞
Figure 0006392453
この際、ｄはターゲットユニットから幾何要素までの距離であり、μ、ηは追加パラメータ（additional parameter）を示す。例えば、上記ターゲットユニットはエッジ重み付け値（edge weight）を測定するための処理単位を意味することができ、上記ターゲットユニットは、頂点（vertex）、ピクセル（pixel）、エッジ（edge）、ブロック（block）、又はフレーム（frame）のうち、少なくとも一つを含むことができる。また、距離ｄを測定するための基準点には、例えば、 頂点、ピクセル、又はエッジなどを挙げることができる。一方、上記追加パラメータは、スケールパラメータ（scale parameter）及び変更パラメータ（change parameter）のうち、少なくとも一つを含むことができ、具体的な例において、μはスケールパラメータ（scale parameter）を示し、ηは変更パラメータ（change parameter）を示すことができる。
＜数式８＞
Figure 0006392453
この場合、＜数式８＞は＜数式７＞の補数（complement）（補関数）を示す。
例えば、距離−重み付け値関数（distance-to-weight function）のグラフの形態は、変更パラメータ（change parameter）ηにより変更できる。また、上記距離ｄは上記スケールパラメータ（scale parameter）μによりサイズが調整できる。また、上記距離−重み付け値関数（distance-to-weight function）は他のタイプの幾何要素及び距離尺度に対しても定義できる。
一方、図６を参照すると、グラフに基づく信号モデル化ユニット（グラフ基盤信号モデリングユニット）６００は、グラフ生成ユニット６１０、幾何要素エンコードユニット（幾何学要素エンコーディングユニット）６２０、及びエッジ重み付け値エンコードユニット（エッジ重み付け値エンコーディングユニット）６３０を含むことができる。
本発明が適用される上記グラフに基づく信号モデル化ユニット６００は、上記距離−重み付け値関数（distance-to-weight function）に基づいてエッジ重み付け値（edge weight）をコーディングすることができる。また、上記グラフに基づく信号モデル化ユニット６００は、ターゲットブロックに該当するグラフ内の少なくとも一つの参照幾何要素の集合をコーディングすることができる。上記少なくとも一つの参照幾何要素の集合は、エッジ重み付け値（edge weight）を決定するために使用できる。
上記グラフ生成ユニット６１０は、ターゲットイメージに該当するグラフを生成することができる。例えば、上記＜数式１＞のような上記グラフのラプラシアン行列がグラフに基づく信号処理のために使用できる。
上記幾何要素エンコードユニット６２０は、生成されたグラフ内の幾何要素をエンコードすることができる。このような場合、上記幾何要素はさまざまなパラメータにより定義できる。例えば、上記幾何要素は、幾何要素のタイプ情報及び位置情報のうち、少なくとも一つを用いて定義できる。上記タイプ情報は、点タイプ、線タイプ、円タイプ、キュービックスプラインを使用する線タイプ（line type using cubic splines）、又はベジェ曲線タイプ（Bezier curve type）のうち、少なくとも一つを含むことができる。
また、上記幾何要素エンコードユニット６２０は、ビデオフレーム内の幾何要素の個数をエンコードすることができる。このような場合、上記ビデオフレームは残差信号成分でありうる。幾何要素の個数によって、上記幾何要素エンコードユニット６２０は、幾何要素の各々のタイプ情報及びそのパラメータ情報を獲得することができる。
上記エッジ重み付け値エンコードユニット６３０は、上記距離−重み付け値関数（distance-to-weight function）に基づいてエッジ重み付け値をエンコードすることができる。例えば、本発明は、ターゲットユニットの基準点から幾何要素までの距離に基づいて上記ターゲットユニットのエッジに対する重み付け値を算出することができ、この際、上記距離−重み付け値関数（distance-to-weight function）が利用できる。
具体的な実施形態において、上記エッジ重み付け値エンコードユニット６３０は、エッジの中心から各々の幾何要素までの最小距離を算出することができる。上記エッジ重み付け値エンコードユニット６３０は、上記算出された最小距離に基づいてエッジ重み付け値を算出することができる。この際、上記距離−重み付け値関数（distance-to-weight function）が利用できる。上記エッジ重み付け値は、エンコードされてデコーダに転送できる。
また、上記エッジ重み付け値エンコードユニット６３０は、上記距離−重み付け値関数（distance-to-weight function）を各々の最小距離に適用し、その結果に基づいて最終的なエッジ重み付け値を算出することができる。上記処理はビデオ信号のターゲットユニットに対して実行できる。
上記エッジ重み付け値エンコードユニット６３０は、上記距離−重み付け値関数（distance-to-weight function）に基づいてブロック内の全てのピクセルの値をエンコードすることができる。
図７は、本発明が適用される一実施形態に従って多様なタイプの幾何要素を含むビデオフレームの例を示す。
本発明の一実施形態は、幾何学的要素（geometric primitive）が大きい値を有する残差信号で構成できるという特徴に基づいて、距離−重み付け値関数（distance-to-weight function）を算出する方法を提案する。本発明は、少なくとも一つの幾何要素を含む幾何要素集合を用いることによって、このような特性をより効率良くエンコード又はデコードすることができる。例えば、図７は単独点（isolated point）、直線、及び曲線などの幾何要素を含むビデオフレームの例を示す。
図７において、上記幾何要素はタイプ情報により定義できる。例えば、上記タイプ情報は、点（point）、線（line）、線分（line segment）、円（circle）、キュービックスプラインを用いる線（lines using cubic splines）、及びベジェ曲線（Bezier curves）のうち、少なくとも一つを含むことができる。
例えば、図７を参照すると、タイプ情報ＧＰ１（Geometric Primitive １；以下、‘ＧＰ１’という）はキュービックスプラインを用いる線（lines using cubic splines）を示し、タイプ情報ＧＰ２（Geometric Primitive ２；以下、‘ＧＰ２’という）、及びＧＰ３（Geometric Primitive ３；以下、‘ＧＰ３’という）は線分を示し、タイプ情報ＧＰ４（Geometric Primitive ４；以下、‘ＧＰ４’という）は連結された線分を示し、ＧＰ Ｎ（Geometric Primitive N；以下、‘ＧＰ Ｎ’という）は点を示す。
図７で、細い灰色の線は、ビデオフレーム処理のためのコーディングユニット又はエッジ重み付け値を算出するためのターゲットユニットを意味することができ、幾何要素の多様な色相はエッジ重み付け値の分布が識別できるように定義できる。
本発明が適用される他の実施形態において、幾何要素は位置情報により定義できる。例えば、ビデオフレーム内の座標情報又はピクセルの位置情報を用いて上記幾何要素を定義することができる。又は、上記幾何要素は２進データにより定義されることもできる。
本発明が適用される他の実施形態において、幾何要素はタイプ情報に基づいて他の方式により定義できる。例えば、点（point）タイプの場合、座標情報により定義されることができ、線（line）タイプ、線分（line segment）タイプ、円（circle）タイプ、キュービックスプラインを用いる線（lines using cubic splines）タイプ、及びベジェ曲線（Bezier curves）タイプの場合には座標関数により定義できる。
図８は、本発明が適用される一実施形態に従って幾何要素を用いてビデオセグメント内のブロックのエッジをコーディングする方法を例示する図面を示す。
図８のブロックは一部の幾何要素を有しているビデオセグメントの部分を示し、太線で示されたブロックはターゲットブロックを示す。
図８を参照すると、上記ビデオセグメントは点（ＧＰ４）、２つの線分（ＧＰ１、ＧＰ３）、及びキュービックスプラインを使用する線（ＧＰ２）を含む４個の幾何要素を有する。
まず、エンコーダは、幾何要素の個数情報をエンコードすることができる。例えば、図８のビデオセグメントは４個の幾何要素を含んでいるので、それに対応する値を幾何要素の個数情報としてエンコードすることができる。
また、上記４個の幾何要素の各々に対し、上記エンコーダは、上記幾何要素のタイプ情報をエンコードすることができる。例えば、ＧＰ１の場合に、上記エンコーダは、ＧＰ１のタイプ情報を長い線のセグメントとしてエンコードすることができる。
上記‘長い線のセグメント’のタイプがデフォルトタイプでない場合、上記エンコーダは、ＧＰ１に対して使われる距離−重み付け値関数（distance-to-weight function）のパラメータをエンコードすることができる。
次に、上記エンコーダは、上記距離−重み付け値関数（distance-to-weight function）に基づいてエッジ重み付け値をエンコードすることができる。上記エッジ重み付け値は、エッジの中心から幾何要素の各々までの最小距離に基づいて決定できる。
例えば、図８を参照すると、太線で示されたブロックをターゲットユニットということができ、上記ターゲットユニットは、エッジ１、エッジ２、エッジ３、及びエッジ４のように４個のエッジを含んでいる。したがって、上記ターゲットユニットのエッジ重み付け値を算出するために、上記４個のエッジ各々の中心から幾何要素までの最小距離を算出することができる。例えば、エッジ１の場合、最小距離ｄ１、ｄ２、ｄ３、及びｄ４（点線）は、上記エッジ１の中心から各幾何要素までの距離を測定することによって算出できる。このように算出された最小距離に基づいて上記エッジ１のエッジ重み付け値を獲得することができる。この際、上記距離−重み付け値関数（distance-to-weight function）が利用できる。
上記エンコーダは、上記エッジ１に対するエッジ重み付け値を獲得する処理を、上記エッジ２乃至エッジ４に対しても繰り返して実行することができる。このような処理を経て算出されたエッジ重み付け値を用いて上記ターゲットユニット内のピクセル値をエンコードすることができる。例えば、上記エッジ重み付け値を用いて上記ターゲットユニットに対する変換又は予測を実行することができ、これを通じて上記ターゲットユニットをエンコードすることができる。ここで、上記ターゲットユニットは、元データ（original data）、予測データ（predicted data）、又は残差データ（residual data）を含むことができる。
本発明が適用される他の実施形態において、エッジ重み付け値を決定するためにビデオフレーム内の一部の幾何要素のみを用いることができる。例えば、ターゲットエッジに最も近い幾何要素のみを用いてエッジ重み付け値を決定することができる。具体的な例において、図８を参照すると、エッジ１の場合、エッジ１に最も近い幾何要素ＧＰ１を選択することができ、上記エッジ１の中心から上記最も近い幾何要素ＧＰ１までの最小距離ｄ１を算出することができる。このように算出された最小距離ｄ１に基づいて上記エッジ１のエッジ重み付け値を獲得することができる。この際、上記距離−重み付け値関数（distance-to-weight function）が利用できる。
本発明が適用される他の実施形態において、エッジ重み付け値を決定するために、以前に決定されたエッジのエッジ重み付け値を用いることができる。例えば、上記以前に決定されたエッジは、現在ターゲットユニットのエッジ、又は他のユニットのエッジでありうる。ここで、他のユニットということはビデオフレーム内の上記現在ターゲットユニットを除外した（以外の）ユニットを意味することができる。具体的には、現在エッジに隣り合うエッジのエッジ重み付け値を用いて上記エッジ重み付け値を決定することができる。例えば、図８を参照すると、エッジ重み付け値が、エッジ１、エッジ２、エッジ３、そしてエッジ４の順に決定されると仮定する。この際、エッジ４のエッジ重み付け値を決定しようとする場合、現在ターゲットユニットの他のエッジであるエッジ１、エッジ２、及びエッジ３のうち、少なくとも一つを用いることができる。例えば、エッジ１、エッジ２、又はエッジ３のうち、いずれか一つのエッジ重み付け値をエッジ４のエッジ重み付け値に用いることができる。又は、エッジ１、エッジ２、又はエッジ３のうち、いずれか２つを用いることもでき、３個の中間値を用いることもできる。
更に他の例において、上記エッジ１に隣接した他のユニットのエッジを用いてエッジ重み付け値を予測することができる。例えば、エッジ１の場合、エッジ１に隣接した上側ブロック、左上側ブロック、右上側ブロック、左下側ブロック、又は右下側ブロックのエッジのうち、少なくとも一つを用いて上記エッジ１のエッジ重み付け値を予測することができる。
更に他の例において、エッジ重み付け値を予測するために、現在フレームだけでなく、他のフレーム内のブロックのエッジのエッジ重み付け値を用いることもできる。
図９は、本発明が適用される一実施形態に従って幾何要素を用いてビデオセグメント内のブロックのエッジをコーディングする処理を例示するフローチャートである。
本発明が適用されるエンコード方法には、次のようなアルゴリズムが適用できる。例えば、本発明は、コーディングブロック、フレーム、又はそのセットなどのビデオセグメントの各々に対して上記エンコード方法を繰り返して実行することができる。
上記エンコーダは、ターゲットユニットに対して用いられる幾何要素の個数Ｎをエンコードすることができる（Ｓ９１０）。
各々の幾何要素ｎ＝１，２，．．．，Ｎに対し、上記エンコーダは幾何要素のタイプ情報及び追加パラメータをエンコードすることができる（Ｓ９２０）。例えば、幾何要素のタイプ情報がデフォルトタイプと異なる場合、上記エンコーダは上記幾何要素に対して使われる距離−重み付け値関数（distance-to-weight function）のパラメータをエンコードすることができる。例えば、上記追加パラメータは、スケールパラメータ（scale parameter）及び変更パラメータ（change parameter）のうち、少なくとも一つを含むことができる。
具体的な例において、距離−重み付け値関数（distance-to-weight function）のグラフ形態は変更パラメータ（change parameter）により変更できる。また、上記距離−重み付け値関数（distance-to-weight function）の変数である距離ｄは、スケールパラメータ（scale parameter）によりサイズを調整できる。
また、ビデオセグメント内のブロックの各々に対して次のような処理を実行できる。
グラフ内のターゲットユニットの各エッジに対し、上記エンコーダはエッジの中心から各々の幾何要素までの最小距離を算出し、上記算出された最小距離に基づいてエッジ重み付け値を獲得することができる（Ｓ９３０）。
この後、エンコーダは上記ターゲットユニットのエッジ重み付け値を用いてターゲットユニット内のピクセル値をエンコードすることができる（Ｓ９４０）。ここで、上記ターゲットユニットは元データ（original data）、予測データ（predicted data）、又は残差データ（residual data）を含むことができる。
図１０は、本発明が適用される一実施形態に従って距離−重み付け値関数（distance-to-weight function）に基づいてグラフに基づく信号をコーディングする処理を例示するフローチャートである。
上記グラフに基づく信号モデル化ユニット６００は、距離−重み付け値関数（distance-to-weight function）に基づいてグラフに基づく信号をコーディングすることができる。
例えば、上記エッジ重み付け値エンコードユニット６３０は、エッジの中心から幾何要素までの最小距離を計算することができる（Ｓ１０１０）。
また、上記エッジ重み付け値エンコードユニット６３０は、上記距離−重み付け値関数（distance-to-weight function）に上記最小距離を適用することができ（Ｓ１０２０）、その結果値に基づいて最終的なエッジ重み付け値を算出することができる（Ｓ１０３０）。上記処理は、ビデオセグメント内の各ターゲットユニットに対して実行できる。
そして、上記エッジ重み付け値エンコードユニット６３０は、ターゲットユニット内のピクセル値をエンコードするために上記ターゲットユニットのグラフ情報を用いることができる（Ｓ１０４０）。ここで、グラフ情報はエッジ重み付け値、幾何要素のタイプ情報、及び追加パラメータのうち、少なくとも一つを含むことができる。
本発明の他の実施形態において、幾何要素は予め定義された幾何要素の集合でありうる。上記距離−重み付け値関数（distance-to-weight function）は、幾何要素までの最も近い距離を重み付け値でマッピングすることができる。
本発明の実施形態の更に他の実施形態で、本発明は、互いに異なる幾何要素からの重み付け値を結合する方法を提供する。
例えば、単一関数が他の幾何要素からの重み付け値を結合するために使用できる。上記単一関数は最も近い要素までの最小距離である単一値のｄを有する。
本発明の更に他の実施形態で、互いに異なる関数を幾何要素の各々に対して割り当てることができる。例えば、＜数式９＞及び＜数式１０＞のように互いに異なる関数をエッジ重み付け値を算出するために活用できる。
＜数式９＞
Figure 0006392453
＜数式１０＞
Figure 0006392453
上記＜数式９＞及び＜数式１０＞で、Φｎ（ｄ，．．．）（ｎ＝１，２，．．．，Ｎ）は、各幾何要素に対するＮ個の異なる距離−重み付け値関数を示す。上記＜数式９＞の場合はＮ個の互いに異なる距離−重み付け値関数に基づいて算出されたエッジ重み付け値のうちの最大値を示し、上記＜数式１０＞の場合はＮ個の互いに異なる距離−重み付け値関数に基づいて算出されたエッジ重み付け値のうちの中間値を示す。
本発明の更に他の実施形態で、上記実施形態は、フレーム内の予測により獲得された（ような）固定されたブロックに適用できる。また、幾何要素のパラメータはモーション補償を用いてコーディングできる。
また、上記実施形態はより高次元空間に拡張できる。例えば、本発明は［０，１］D空間の内部に含まれた幾何要素を定義することができ、関数ｗ（ｘ）を使用することができ、この際、ｘ∈［０，１］Dである。
図１１は、本発明が適用される一実施形態であって、グラフに基づく信号のエッジ重み付け値を用いてビデオ信号をデコードする処理を説明するためのフローチャートである。
デコーダは、エンコーダからグラフに基づく信号のエッジ重み付け値をシンタックス構成要素として受信することができる（Ｓ１１１０）。例えば、上記エッジ重み付け値は、シーケンス情報、ピクチャ情報、スライスヘッダ、スライスデータ、コーディングユニット、変換ユニット、残差信号コーディングシンタックス、及びブロックユニットのうち、少なくとも一つに含まれて転送できる。又は、上記エッジ重み付け値は、デコーダ内の他の情報から類推することができ、例えば上記エッジ重み付け値は幾何要素に対するパラメータから導出できる。
本発明の一実施形態において、デコーダは、エッジ重み付け値を獲得し、変換ブロックを生成するために上記エッジ重み付け値を用いることができる（Ｓ１１２０）。例えば、上記変換ブロックは変換行列で表現されることができ、上記変換行列の各行及び列はターゲットユニット内の各エッジのエッジ重み付け値に設定できる。
そして、上記変換ブロックに基づいて変換係数をデコードすることができる（Ｓ１１３０）。
上記変換係数に基づいて残差信号を復元し、上記残差信号を予測信号に加えることによって復元信号を生成できる（ようになる）（Ｓ１１４０）。
本発明の他の実施形態において、デコーダは、エッジ重み付け値を獲得し、残差信号を補正するために上記エッジ重み付け値を用いることができる。例えば、上記残差信号に上記エッジ重み付け値を適用することによって、変更された残差信号を獲得することができる。
上記処理を通じて獲得された変更された残差信号を予測信号に加えることによって復元信号を生成できる（ようになる）。
本発明の他の実施形態において、デコーダは、エッジ重み付け値を獲得し、上記エッジ重み付け値を予測信号を生成するために用いることができる。
本発明の他の実施形態において、エンコーダは、上記エッジ重み付け値を変換ブロック信号を生成するために用いるか、又は予測信号を生成するために用いることができる。
本発明の他の実施形態において、エンコーダは、残差信号を生成し、上記生成された残差信号にエッジ重み付け値を適用することによって、上記残差信号を補正することができる。即ち、残差信号にエッジ重み付け値を適用することによって、変更された残差信号を生成することができる。この場合、デコーダは既に変更された残差信号を受信する（ようになる）ので、デコーダではエッジ重み付け値を受信する必要がないか、又は予測信号を生成するためにエッジ重み付け値を用いることができる。
本発明の他の実施形態において、デコーダは、エンコーダからグラフに基づく信号の幾何要素に対するパラメータをシンタックス構成要素として受信することができる。例えば、上記パラメータは、幾何要素のタイプ情報、個数情報、及び追加パラメータのうち、少なくとも一つを含むことができ、これは先の本明細書で説明した内容が適用できる。デコーダは、上記パラメータに基づいてエッジ重み付け値を類推することができる。
上記のような処理を通じて、デコーダは、エッジ重み付け値を類推することができ、残差信号を補正するために上記エッジ重み付け値を用いることができる。例えば、上記残差信号に上記エッジ重み付け値を適用することによって、変更された残差信号を獲得することができる。そして、変更された残差信号を予測信号に加えることによって、復元信号を生成できる（ようになる）。
上記記述されたように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、又はチップ上で具現されて実行できる。例えば、上記図１、図２、及び図６で図示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、又はチップ上で具現されて実行できる。
また、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ（キャムコーダ）、注文型ビデオ（ＶｏＤ）サービス提供装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために使用できる。
また、本発明が適用される処理方法は、コンピュータにより実行されるプログラムの形態で生産（作成）されることができ、コンピュータにより読み取ることができる記録（記憶）媒体に記憶できる。本発明に従うデータ構造を有するマルチメディアデータもまたコンピュータにより読み取ることができる記録媒体に記憶できる。上記コンピュータにより読み取ることができる記録媒体は、コンピュータにより読み取ることができるデータが記憶される全ての種類の記憶装置を含む。上記コンピュータにより読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバーサルシリアル（汎用直列）バス（ＵＳＢ）、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、及び光学データ記憶装置を含むことができる。また、上記コンピュータにより読み取ることができる記録媒体は、搬送波（例えば、インターネットを通じての転送）の形態で具現されたメディアを含む。また、エンコード方法により生成されたビットストリームは、コンピュータにより読み取ることができる記録媒体に記憶されるか、又は有線／無線通信ネットワークを介して転送できる。
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであって、当業者であれば、以下に添付した特許請求範囲に開示された本発明の技術的思想とその技術的範囲内で、多様な他の実施形態を改良、変更、取替、又は付加などが可能である。

Claims (14)

  1. 幾何要素を用いてイメージを処理する方法であって、
    前記イメージ内のターゲットブロックのエッジ重み付け値を算出するために用いられる幾何要素を特定するステップであって、前記ターゲットブロックは、前記イメージの残差データを示すステップと、
    前記幾何要素の各々に対するパラメータを獲得するステップと、
    前記パラメータに基づいて前記イメージ内の前記ターゲットブロックのエッジの各々に対するエッジ重み付け値を算出するステップであって、前記ターゲットブロックのエッジは、前記ターゲットブロックの頂点を連結する線を示し、前記エッジ重み付け値は、前記頂点間の相関強度を示す値であるステップと、
    前記エッジ重み付け値に基づいて変換ブロックを生成するステップと、を有し、
    前記変換ブロックは、変換行列によって生成され、前記変換行列の各行及び列は、前記エッジ重み付け値に設定される、方法。
  2. 前記ターゲットブロックのエッジに対する最小距離を算出するステップであって、前記最小距離は、前記エッジの中心から前記幾何要素までの距離を示すステップと、
    距離対重み付け値関数に前記最小距離を適用するステップと、をさらに有し、
    前記エッジ重み付け値は、前記距離対重み付け値関数に基づいて算出される、請求項１に記載の方法。
  3. 前記パラメータは、タイプ情報、位置情報、又は長さ情報のうち、少なくとも一つを有する、請求項１に記載の方法。
  4. 前記タイプ情報がデフォルトタイプと異なるか否かを確認するステップと、
    前記タイプ情報が前記デフォルトタイプと異なる場合、前記距離対重み付け値関数のパラメータをエンコードするステップと、をさらに有する、請求項３に記載の方法。
  5. 前記幾何要素の前記タイプ情報は、前記幾何要素の予め決定されたセットのうちの一つを示す、請求項３に記載の方法。
  6. 前記幾何要素の各々は、互いに異なる距離対重み付け値関数を用いる、請求項３に記載の方法。
  7. 前記エッジ重み付け値は、互いに異なる関数を用いることによって算出される、請求項６に記載の方法。
  8. 前記幾何要素は、正規化された空間座標を用いることによって識別される、請求項１に記載の方法。
  9. イメージを処理する方法であって、
    前記イメージ内のターゲットブロックのエッジ重み付け値を受信するステップであって、前記ターゲットブロックは、前記イメージの残差データを示し、前記ターゲットブロックのエッジは、前記ターゲットブロックの頂点を連結する線を示し、前記エッジ重み付け値は、前記頂点間の相関強度を示す値であるステップと、
    前記エッジ重み付け値に基づいて変換行列を生成するステップであって、前記変換行列の各行及び列は、前記エッジ重み付け値に設定されるステップと、
    前記変換行列を用いて前記ターゲットブロックに対して逆変換を行うステップと、
    前記逆変換されたターゲットブロックに基づいて前記イメージの残差データを復元するステップと、を有する、方法。
  10. 前記エッジ重み付け値は、前記ターゲットブロックの幾何要素を用いて算出された、請求項９に記載の方法。
  11. 前記エッジ重み付け値は、前記ターゲットブロックのエッジと前記幾何要素との間の最小距離に基づいて算出され、
    前記最小距離は、前記エッジの中心から前記幾何要素までの距離を示す、請求項１０に記載の方法。
  12. 前記エッジ重み付け値は、前記幾何要素のパラメータに基づいて算出された、請求項１０に記載の方法。
  13. 幾何要素を用いてイメージをエンコードする装置であって、
    前記イメージ内のターゲットブロックのエッジ重み付け値を算出するために用いられる幾何要素を特定し、前記ターゲットブロックは、前記イメージの残差データを示し、
    前記幾何要素の各々に対するパラメータを獲得し、
    前記パラメータに基づいて前記イメージ内の前記ターゲットブロックのエッジの各々に対するエッジ重み付け値を算出し、前記ターゲットブロックのエッジは、前記ターゲットブロックの頂点を連結する線を示し、前記エッジ重み付け値は、前記頂点間の相関強度を示す値であり、
    前記エッジ重み付け値に基づいて変換ブロックを生成する、よう構成されるプロセッサを有し、
    前記変換ブロックは、変換行列によって生成され、前記変換行列の各行及び列は、前記エッジ重み付け値に設定される、装置。
  14. イメージをデコードする装置であって、
    前記イメージ内のターゲットブロックのエッジ重み付け値を受信し、前記ターゲットブロックは、前記イメージの残差データを示し、前記ターゲットブロックのエッジは、前記ターゲットブロックの頂点を連結する線を示し、前記エッジ重み付け値は、前記頂点間の相関強度を示す値であり、
    前記エッジ重み付け値に基づいて変換行列を生成し、前記変換行列の各行及び列は、前記エッジ重み付け値に設定され、
    前記変換行列を用いて前記ターゲットブロックに対して逆変換を行い、
    前記逆変換されたターゲットブロックに基づいて前記イメージの残差データを復元するよう構成される、プロセッサを有する、装置。
JP2017516715A 2014-09-26 2015-06-24 幾何要素を用いてグラフに基づく信号を処理する方法及び装置 Expired - Fee Related JP6392453B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462055661P 2014-09-26 2014-09-26
US62/055,661 2014-09-26
PCT/KR2015/006430 WO2016047897A1 (ko) 2014-09-26 2015-06-24 기하 요소를 이용하여 그래프 기반의 신호를 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2017535137A JP2017535137A (ja) 2017-11-24
JP6392453B2 true JP6392453B2 (ja) 2018-09-19

Family

ID=55581389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017516715A Expired - Fee Related JP6392453B2 (ja) 2014-09-26 2015-06-24 幾何要素を用いてグラフに基づく信号を処理する方法及び装置

Country Status (6)

Country Link
US (1) US10382711B2 (ja)
EP (1) EP3200156B1 (ja)
JP (1) JP6392453B2 (ja)
KR (1) KR101899090B1 (ja)
CN (1) CN107155364B (ja)
WO (1) WO2016047897A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469838B2 (en) * 2015-09-10 2019-11-05 Lg Electronics Inc. Method and apparatus for processing video signal using graph-based transformation based on prediction angle
WO2018091486A1 (en) * 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
IT201600122898A1 (it) * 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
AU2019315758B2 (en) * 2018-08-03 2023-04-06 V-Nova International Ltd Entropy coding for signal enhancement coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63146676A (ja) 1986-12-10 1988-06-18 Mitsubishi Electric Corp ベクトル量子化装置
JPH0691617B2 (ja) 1987-01-26 1994-11-14 株式会社日立製作所 パタ−ン符号化装置
JPH118848A (ja) 1997-06-19 1999-01-12 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置
JP2000040966A (ja) 1998-07-23 2000-02-08 Tadahiro Omi データ圧縮装置および方法、データ伸長装置および方法、データ圧縮伸長システム、記録媒体
AU2001278089A1 (en) * 2000-07-31 2002-02-13 Agilix Corporation Visualization and manipulation of biomolecular relationships using graph operators
JP2004048306A (ja) 2002-07-11 2004-02-12 Nec Engineering Ltd 符号化装置および復号化装置
US7623711B2 (en) 2005-06-30 2009-11-24 Ricoh Co., Ltd. White space graphs and trees for content-adaptive scaling of document images
KR100810326B1 (ko) 2006-10-10 2008-03-04 삼성전자주식회사 다해상도 3차원 모델 생성 방법
US8538175B1 (en) * 2008-06-19 2013-09-17 Joseph Alan Epstein System and method for representing and coding still and moving images
KR100986607B1 (ko) 2008-10-23 2010-10-11 중앙대학교 산학협력단 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체
EP2360927A3 (en) 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
KR101119268B1 (ko) * 2010-03-10 2012-03-20 삼성전자주식회사 영상의 컬러 잡음 제거 방법 및 장치
KR20110135787A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
KR101172629B1 (ko) 2011-01-04 2012-08-08 포항공과대학교 산학협력단 영상 처리 방법 및 이를 위한 장치
KR101248808B1 (ko) 2011-06-03 2013-04-01 주식회사 동부하이텍 경계 영역의 잡음 제거 장치 및 방법
US8478044B2 (en) * 2011-06-08 2013-07-02 Siemens Corporation System and method for image segmentation by optimizing weighted curvature
CN103136725B (zh) * 2011-12-05 2016-08-03 方正国际软件有限公司 一种图像重采样方法及系统
EP2618274A1 (en) 2012-01-18 2013-07-24 Alcatel Lucent Method for providing a set of services of a first subset of a social network to a user of a second subset of said social network
US9280811B2 (en) * 2014-03-06 2016-03-08 Samsung Electronics Co., Ltd. Multi-scale large radius edge-preserving low-pass filtering
US9679220B2 (en) * 2014-05-16 2017-06-13 Nokia Technologies Oy Method, apparatus and computer program product for disparity estimation in images
US20150363664A1 (en) * 2014-06-13 2015-12-17 Nokia Corporation Method, Apparatus and Computer Program Product for Image Processing
US10666960B2 (en) * 2014-11-14 2020-05-26 Lg Electronics Inc. Method and device for performing graph-based transform using generalized graph parameter
US10742988B2 (en) * 2015-02-12 2020-08-11 Lg Electronics Inc. Method and apparatus for processing video signal using graph-based transform
WO2016195455A1 (ko) * 2015-06-04 2016-12-08 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치

Also Published As

Publication number Publication date
JP2017535137A (ja) 2017-11-24
US20170257579A1 (en) 2017-09-07
EP3200156B1 (en) 2020-12-23
CN107155364B (zh) 2021-02-19
CN107155364A (zh) 2017-09-12
WO2016047897A1 (ko) 2016-03-31
KR20170015341A (ko) 2017-02-08
EP3200156A1 (en) 2017-08-02
KR101899090B1 (ko) 2018-09-14
US10382711B2 (en) 2019-08-13
EP3200156A4 (en) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6356912B2 (ja) 最適化関数を用いてグラフベース予測を実行する方法及び装置
Kim et al. Hierarchical prediction and context adaptive coding for lossless color image compression
JP6356913B2 (ja) グラフテンプレートから誘導された変換を用いてビデオ信号をデコーディング／エンコーディングする方法及び装置
JP6392453B2 (ja) 幾何要素を用いてグラフに基づく信号を処理する方法及び装置
JP6592086B2 (ja) 一般化されたグラフパラメータを用いてグラフ基盤変換を行う方法及び装置
JP2011124846A (ja) 画像符号化装置
US20220303537A1 (en) Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
US20180288407A1 (en) Method and apparatus for processing video signal using graph-based transformation based on prediction angle
JP6065613B2 (ja) 動画像符号化装置
JP2018107692A (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
WO2017057923A1 (ko) 단일 최적화된 그래프를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법
WO2019225344A1 (ja) 符号化装置、画像補間システム及び符号化プログラム
WO2017135661A1 (ko) 그래프 기반 분리 가능한 변환 (graph-based separable transform)을 이용하여 비디오 신호를 인코딩 / 디코딩하는 방법 및 장치
WO2019225337A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
JP2014222936A (ja) 画像復号装置、画像復号方法、画像符号化復号方法及び画像復号プログラム
JP2014033465A (ja) 画像符号化装置、画像復号装置、画像復号方法及び画像復号プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180822

R150 Certificate of patent or registration of utility model

Ref document number: 6392453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees