JP5061179B2 - 照明変化補償動き予測符号化および復号化方法とその装置 - Google Patents

照明変化補償動き予測符号化および復号化方法とその装置 Download PDF

Info

Publication number
JP5061179B2
JP5061179B2 JP2009501359A JP2009501359A JP5061179B2 JP 5061179 B2 JP5061179 B2 JP 5061179B2 JP 2009501359 A JP2009501359 A JP 2009501359A JP 2009501359 A JP2009501359 A JP 2009501359A JP 5061179 B2 JP5061179 B2 JP 5061179B2
Authority
JP
Japan
Prior art keywords
illumination change
current block
block
value
change amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009501359A
Other languages
English (en)
Other versions
JP2009530960A (ja
Inventor
ソク−ヘ チョ
ヒョン−ジン クォン
ナンホ ハー
ジン−ウン キム
ソ−イン イ
ユン−リュル イ
ジェ−ホ ハー
ドン−ギュ シム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2009530960A publication Critical patent/JP2009530960A/ja
Application granted granted Critical
Publication of JP5061179B2 publication Critical patent/JP5061179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本発明は、照明変化補償を通じた動き予測符号化および復号化方法とその装置に関する。より詳細には、動き予測および動き補償過程で照明変化の補償を通じて、照明が変わる映像に対して効率的に符号化および復号化できる方法とその装置に関する。
従来技術によれば、ＩＴＵ−ＴとＩＳＯ／ＩＥＣでは映像の符号化効率性を向上させる過程で、Ｈ．２６ｘシリーズとＭＰＥＧ−ｘシリーズとを発表した。そして２００３年度には、Ｈ．２６４／ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を完成させられ、多くのビットを低減できるようになった。
これらのビデオ符号化標準が発展するにつれて、ブロックマッチング動き予測（ＢＭＭＥ：Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）に関する研究も多かったが、大部分の方法は現在フレームのブロックと参照フレームの候補ブロックとのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を求めて、最も小さなＳＡＤを示す参照フレームの候補ブロックの位置を現在フレームのブロックの動きベクトルに決定するように構成される。
そして、その候補ブロックと現在フレームのブロックとの差分信号を離散余弦変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）および量子化して、動きベクトルと共に可変長符号化（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を行う。
ここで、動きベクトルを探すということは、現在フレームおよび参照フレームの時間的冗長性を除去して獲得することであるため、相当な符号化効率をもたらした。また、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、加重値予測を利用して、映像内の全域的な照明変化に適応的に符号化することで圧縮効率を高めている。
しかしながら、Ｈ．２６４の加重値予測は、局所的（ｌｏｃａｌ）な照明（ｉｌｌｕｍｉｎａｔｉｏｎ）変化に対して適応的に符号化できないという問題点を有している。例えば、映像内で局所的な照明変化が発生する場合、または複数台のカメラから得た映像を符号化する多重ビュー映像符号化の場合、獲得された映像は、全域的な照明変化だけではなく、局所的な照明変化が発生する可能性が高いため、既存のＨ．２６４／ＭＰＥＧ−４ ＡＶＣの加重値予測を通じて符号化効率を高めるには限界がある。
以上の問題点を解決するために、本発明は、動き予測および動き補償プロセスにおいて照明変化の補償を通じて、効率的に映像を符号化および復号化する方法ならびに装置を提供する。
上述の問題点を解決するために、本発明は、動き予測および動き補償過程で照明変化の補償を通じて、効率的に映像を符号化および復号化する方法および装置を提供する。本発明は、照明変化補償動き予測符号化および復号化方法とその装置に関する。本発明の照明変化補償動き予測符号化装置は、現在ブロックの画素値および前記現在ブロックの画素平均値の間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの画素値および前記参照ブロックの画素平均値の間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、照明変化補償が行われたブロックに基づいて残余信号を生成する残余信号生成部と、照明変化が発生した隣接したブロック間の密接性を反映して、照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測部とを備える。
本発明は、照明変化の補償を通じた動き予測および動き補償を利用して効率的に映像を符号化および復号化できる。すなわち、局所的または全域的な照明変化が発生した場合、適応的に符号化することによって照明変化発生に対して圧縮効率を高めることができる。
また、照明変化が発生した領域の空間的な密接性を利用して照明変化発生量を圧縮することによって、照明変化量の反映に消費されるビットをさらに減らす。
本発明の好ましい一態様として、照明変化補償動き予測符号化装置は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、前記照明変化補償部で、照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって残余信号を生成する残余信号生成部と、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックとの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調を行う照明変化量予測部とを備える。
本発明の他の好ましい一態様として、動き探索を行うインターモードである場合、照明変化補償動き予測符号化装置は、現在ブロックの画素値と参照ブロックの画素値との差から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値との差である照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）に基づいて動きベクトルを設定する照明変化予測部と、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算を実行することと、前記参照ブロックの画素平均値から前記動きベクトルが示す参照ブロックの各画素値を差し引くこととによって照明変化補償を行う照明変化補償部と、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測部とを備える。
本発明のさらに他の一態様として、動き探索を行わない直接モードである場合、照明変化補償動き予測符号化装置は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測部とを備える。
本発明のさらに他の一態様として、照明変化補償動き予測復号化装置は、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、照明変化補償が既に行われた隣接ブロックの照明変化量、および現在ブロックの照明変化量に基づいて、差分変調パルス符号変調（ＤＰＣＭ）されて符号化された照明変化予測差分信号（ＤＰＣＭ＿ＤＶＩＣ）、符号化された残余信号および照明変化補償を行ったか否かを表す照明変化表示情報を含むビットストリームを受信する受信部と、前記照明変化表示情報が照明変化補償を行ったことを表す場合、現在ブロックの画素値と動きベクトルに対応する参照ブロックの画素値との差から前記照明変化差値を引いた後、符号化された前記残余信号を復元するエントロピー復号化部と、前記復元された残余信号、前記符号化された照明変化量予測差分信号および前記動きベクトルに基づいてブロックを復元する復元部とを備える。
本発明のさらに他の一態様として、照明変化補償動き予測符号化方法は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行うステップと、前記照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとを差分して残余信号を生成するステップと、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップとを含む。
本発明のさらに他の一態様として、動き探索を行わない直接モードである場合、照明変化補償動きを予測する符号化方法は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償ステップと、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップとを含む。
以下、添付した図面を参照しながら、本発明の望ましい実施例を説明する。図面中で同じ構成要素については、他の図面上に表示されているとしてもなるべく同じ参照番号および符号で表していることに留意せねばならない。以下、本発明を説明するに当たって、関連した周知の機能または構成についての具体的説明が本発明の趣旨を必要以上にあいまいにすると判断される場合には、その詳細な説明を省略する。
図１は、本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置を示す図である。
照明変化補償動き予測符号化装置１００は、照明変化補償部１１０、残余信号生成部１２０および照明変化量予測部１３０を備える。
全域的または局所的な照明変化が発生した場合、本発明では照明変化の補償を通じた動き予測符号化を行う。照明変化補償を通じた動き予測符号化方法は、動き探索を行うインターブロックモードである場合、および動き探索を行わない直接予測モードの場合に提供される。
まず、照明変化が発生した現在マクロブロックにおいて動きベクトルを求める。動き探索を行うインターモードである場合、または現在マクロブロックが動き探索を行わない直接モードである場合に、動きベクトルは異なる方法で得ることができる。インターモードはＰスライスまたはＢスライスに適用され、直接モードはＢスライスに適用される。以下、各モードの場合について、動きベクトルを求める方法を述べる。
（１）インターモードの場合
動き探索を行うインターモードである場合、参照ブロックのうち現在ブロックに対応する候補ブロックに対してＮｅｗＳＡＤ値を求める。次いで、現在ブロックの画素値と参照ブロックの画素値との差から照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）値のうち、最小値に対応する参照ブロックから動きベクトルを求める。この場合、照明変化量はそれぞれのマクロブロックで発生した照明変化を表し、現在ブロックの画素平均値（以下、数式２参照）と参照ブロックの画素平均値（以下、数式３参照）との間の差分計算を実行することで求められる。
数式１で定義したＮｅｗＳＡＤは、従来に使われるＳＡＤ（絶対値差の和）に本発明の照明変化補償を反映した絶対値差の和を表す。
Figure 0005061179
この場合、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロックの（ｉ＋ｘ，ｊ＋ｙ）座標での画素値、（ｘ，ｙ）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ，ｎ＋ｙ）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置、そして、ＳおよびＴはブロックマッチング時に使われるブロックのサイズを意味する。
また、現在ブロックの画素平均値を意味するＭｃｕｒ（ｍ，ｎ）および参照ブロックの画素平均値を意味するＭｒｅｆ（ｐ，ｑ）は、それぞれ数式（２）および数式（３）から求められる。
Figure 0005061179
Figure 0005061179
数式（２）および数式（３）で、Ｍｃｕｒ（ｍ，ｎ）は現在フレームブロックの画素平均値、Ｍｒｅｆ（ｐ，ｑ）は参照フレームブロックの画素平均値、ｆ（ｉ，ｊ）は現在フレームの（ｉ，ｊ）座標での画素値、ｒ（ｉ，ｊ）は参照フレームの（ｉ，ｊ）座標での画素値、ＳおよびＴはブロックマッチング時に使用するブロックのサイズ、ｍおよびｎは現在フレーム内の現在ブロックの左側上端位置、ｐおよびｑは参照フレーム内の参照ブロックの左側上端位置を表す。
（２）直接モード
動き探索を行わない直接モードである場合、直接予測モード方法を通じて動きベクトルとそのベクトルが示す参照フレームブロックとを求める。直接予測モード方法は、空間的な直接予測モード方法と時間的な直接予測モード方法とによって行われ得る。
空間的な直接予測モード方法は、時間的に現在ブロックの周辺に位置したブロックの動きベクトルを利用して現在ブロックの動きベクトルを決定し、時間的な直接予測モード方法は、現在より時間的に以後に存在するフレームで、現在ブロックの位置と同じ位置にあるブロックの動きベクトルをフレーム間の距離でスケーリングして、現在ブロックの動きベクトルを決定する。
＊照明変化の補償
照明変化補償部１１０は、インターモードまたは直接モードそれぞれで求められた動きベクトルおよび参照ブロックを利用して、現在ブロックの画素値および動きベクトルが示す参照ブロックの画素値それぞれで、現在ブロックの画素平均値（Ｍｃｕｒ、数式（２）を参照）と参照ブロックの画素平均値（Ｍｒｅｆ、数式（３）を参照）とをそれぞれ差分して照明変化補償を行う。
残余信号生成部１２０は、照明変化補償部１１０で照明変化補償が行われた現在ブロックと、動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する。すなわち、数式（４）を通じて照明変化が反映された動き補償を行う。次いで、生成された残余信号は、残余信号処理部（図示せず）を通じて離散余弦変換（ＤＣＴ）および量子化を経て符号化された残余信号（ＮｅｗＲ´）になる。
残余信号は数式（４）を通じて計算される。
ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝ 式（４）
この場合、ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、そして（ｍ，ｎ）は現在ブロックの左側上端位置である。
＊照明変化量の予測
一般的に、照明変化が発生する領域は、一つのマクロブロックが占める領域よりさらに広い。したがって、現在マクロブロックの照明変化量は、隣接するマクロブロックの照明変化量と相当な密接関係を持っている。したがって、照明変化量を反映するために消費されるビットをさらに減らすために、現在ブロックの照明変化量を、隣接ブロックから算出された照明変化量の予測値（ｐｒｅｄＤＶＩＣ）と差分パルス符号変調（ＤＰＣＭ）して、その結果をビットストリームに出力する。
照明変化量予測部１３０は、現在ブロックと、現在ブロックに隣接するブロックのうち、照明変化補償部１１０で照明変化補償が既に行われた隣接ブロックとの照明変化量を現在ブロックの照明変化量予測値に設定し、現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う。これにより、さらに少ないビットで残余信号を符号化できる。
図２は、現在ブロックの照明変化量を予測するために使われる隣接するマクロブロックを示した図である。
図２を参考にして説明すれば、照明変化量予測部１３０では、現在ブロックＥに隣接するブロックＡ、Ｂ、ＣおよびＤのうち、照明変化補償が既に行われたブロックの照明変化量を現在ブロックの照明変化量予測値に設定して照明変化量の予測に利用する。
より具体的には、照明変化量の予測値（ｐｒｅｄＤＶＩＣ）は次のように計算される。
ステップ１） 現在照明変化補償ブロックの上側に位置したブロックＡが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックＡの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ２） 現在照明変化補償ブロックの上側に位置したブロックＢが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックＢの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ３） 現在照明変化補償ブロックの左側上端に位置したブロックＣが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックＣの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ４） 現在照明変化補償ブロックの右側上端に位置したブロックＤが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックＤの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ５） 現在照明変化補償ブロックの上側に位置したブロックＡ、左側に位置したブロックＢ、そして右側上端に位置したブロックＣが照明変化補償を行った場合、前記３つのブロックの照明変化量を中間値フィルタリングして照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ６）照明変化量予測値を０に決定する。
以上のステップを通じて求められた照明変化量予測値および現在ブロックの照明変化量に基づいて、差分パルス符号変調（ＤＰＣＭ、Ｄｉｆｆｅｒｅｎｔｉａｌ ＰＣＭ）を行ってエントロピー符号化する。上述のステップは、現在ブロックの照明変化量の復号化のために復号器でも同様に行われる。
図３は、動き探索を行うインターモードの場合に照明変化補償動きを予測する符号化装置を示す図である。
照明変化補償動き予測符号化装置は、照明変化予測部３１０、照明変化補償部３２０、残余信号生成部３３０および照明変化量予測部３４０を備える。
照明変化予測部３１０は、前述したインターモードの場合にＮｅｗＳＡＤを求める方式によって、数式（１）ないし（３）を利用して動きベクトルおよび参照フレームを求める。
照明変化補償部３２０、残余信号生成部３３０および照明変化量予測部３４０は、それぞれ図１に対応する構成要素と実質的に同じ機能を行うので、以上の内容を参考にする。
図４は、本発明の好ましい実施例の１つであって、照明変化補償動き予測符号化装置の一実施例を示す図である。
照明変化量計算部４１０は、現在ブロックの画素平均値と参照ブロックの画素平均値との間の差分計算を実行することによって、照明変化量を求める（数式（２）および（３）を参考のこと）。
動き探索を利用するインターモードである場合、動き予測部４２０は、照明変化量計算部４１０を通じて算出された照明変化量を利用して、動きベクトル決定部４２２で最も小さなＮｅｗＳＡＤ値を持つ地点を動きベクトルに決定する。また、照明変化補償部４２１では、現在ブロックの各画素値および前記現在ブロックの動きベクトルが示す参照ブロックの各画素値から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値とをそれぞれ差分して照明変化補償を行う。
動き探索を利用しない直接モードである場合、動きベクトル決定部４２２は、直接予測モード計算方法により決定された最終動きベクトルを利用して参照ブロックを決定する。次いで、照明変化補償部４２１では、現在ブロックの画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの画素値と前記参照ブロックの画素平均値との間の差分計算と実行することによって、照明変化補償を行う。
動き補償部４３０は、照明変化量計算部４１０および動き予測部４２０で求めた現在ブロックの画素平均値、参照ブロックの画素平均値および動きベクトルを利用して、数式（４）に基づいて動き補償を行う。
次いで、照明変化量予測部４４０は、照明変化量の空間的な相関性を利用して、現在ブロックの照明変化量を隣接ブロックから算出された照明変化量の予測値（ｐｒｅｄＤＶＩＣ）との関連から差分パルス符号変調（ＤＰＣＭ）して、その結果をビットストリームに出力する。
以上の過程を通じて計算された符号化された残余信号と予測符号化された照明変化量とをエントロピー符号化して、符号化プロセスを終える。
図５は、本発明の好ましい実施例の１つであって、照明変化補償動き予測復号化装置の構成を示す図である。
照明変化補償動き予測復号化装置５００は、受信部５１０、エントロピー符号化部５２０および復元部５３０を備える。
受信部５１０は、照明変化補償動き予測符号化装置から伝送されたビットストリームを受信する。ビットストリームは、照明変化補償を行ったか否かを表す照明変化表示情報、例えば、ｍｂ＿ｉｃ＿ｆｌａｇのような表示情報を含む。本発明による照明変化表示情報は表示情報フォーマットでもあり、メタデータフォーマットでもあり、復号器が認識できる情報ならばそのフォーマットには制限がない。また、ビットストリームは、照明変化補償が既に行われた隣接ブロックの照明変化量および現在ブロックの照明変化量に基づいて、差分パルス符号変調（ＤＰＣＭ）されて符号化された照明変化量予測値、符号化された残余信号をさらに含む。
ｍｂ＿ｉｃ＿ｆｌａｇが０である場合、現在マクロブロックに照明変化補償が行われていないと判断して従来のデコーディングプロセスを行い、ｍｂ＿ｉｃ＿ｆｌａｇが１である場合、現在マクロブロックに照明変化補償が行われ、照明変化量（ＤＶＩＣ）に対する差分変調値を利用して復元（再生）を行う。
エントロピー復号化部５２０は、照明表示情報がエンコーダ側で照明変化補償を行ったことを表す場合、受信部で受信した符号化された残余信号（ＮｅｗＲ´）は、逆量子化、逆離散余弦変換を通じて復元された残余信号（ＮｅｗＲ´´）になり、これを通じて復元される。
復元部５３０は、エントロピー復号化部５２０で復元された残余信号、符号化された照明変化予測差分信号（ＤＰＣＭ＿ＤＶＩＣ）および動きベクトルに基づいてブロックを復元する。復号化しようとするブロックの画素値は、数式（５）によって求めることができる。
ｆ´（ｉ，ｊ）＝｛ＮｅｗＲ´´（ｉ，ｊ）＋ｒ（ｉ＋ｘ´，ｊ＋ｙ´）｝＋｛Ｍｃｕｒ（ｍ，ｎ）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝ 式（５）
この場合、ｆ´（ｉ，ｊ）は現在ブロックの（ｉ，ｊ）座標での画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は参照ブロックの（ｉ＋ｘ´，ｊ＋ｙ´）座標での画素値、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｘ´，ｙ´）は動きベクトルを表す。
図６は、本発明の好ましい実施例の１つであって、照明変化補償動き予測復号化装置の一実施例を示す図である。
復号化プロセスでは、エンコーダで符号化された残余信号（ＮｅｗＲ´）は、エントロピー復号化部６１０および逆量子化および逆ＤＣＴ部６２０を通じて復元された残余信号（ＮｅｗＲ´´）になる。復元された残余信号を求める方式は、数式（５）を参考にする。
そして、照明変化補償動き予測符号化装置と同じ方法によって、復号化された以前ブロックの照明変化量値を利用して、照明変化差値予測部６３０で照明変化量の予測値を求めて照明変化量を復号化する。
動き補償予測部６４０では、動きベクトル、復元された残余信号（ＮｅｗＲ´´）および照明変化量を利用して、数式５に基づいて、現在復号化しようとするブロックの画素値を得る。
図７Ａおよび図７Ｂは、本発明の望ましい一実施例であって、Ｓｌｉｃｅ ｄａｔａ ｓｙｎｔａｘを示す図である。
Ｓｌｉｃｅ ｄａｔａ ｓｙｎｔａｘは、ｓｌｉｃｅ内にあるマクロブロックの符号化プロセスで得られた、データをエントロピー符号化する構文である。本発明によって、ＰピクチャーのＳｋｉｐモードであるＰ＿Ｓｋｉｐモードの場合、照明変化補償情報であるｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報が符号化されねばならない。したがって、Ｉｆ（Ｓｌｉｃｅ＿ｔｙｐｅ！＝Ｉ＆＆ｓｌｉｃｅ＿ｔｙｐｅ！＝ＳＩ）であり、Ｉｆ（！ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ）である場合にｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ（）の構文を追加して、ｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報が符号化されるようにした。
図８Ａおよび図８Ｂは、本発明の好ましい実施例の１つであって、Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒ ｓｙｎｔａｘの一実施例を示す図である。
ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒｓｙｎｔａｘは、各マクロブロックの符号化プロセスで得られたデータをエントロピー符号化する構文である。本発明によって、ｉｆ（ｉｃ＿ｅｎａｂｌｅ＆＆ｍｂ＿ｔｙｐｅ＝＝Ｂ＿ｓｋｉｐ）である場合、照明変化補償情報であるｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報が符号化され得る構文を追加した。
図９Ａおよび図９Ｂは、本発明の好ましい実施例の１つであって、ｍｂ＿ｐｒｅｄ（ｍｂ＿ｔｙｐｅ）ｓｙｎｔａｘの一実施例を示す図である。
ｍｂ＿ｐｒｅｄ（ｍｂ＿ｔｙｐｅ）ｓｙｎｔａｘは、Ｉｎｔｒａモード、Ｉｎｔｅｒモード、Ｄｉｒｅｃｔ（直接）モードであるマクロブロックの符号化プロセスで得られたデータをエントロピー符号化する構文である。本発明によって、Ｉｎｔｅｒモードおよびｄｉｒｅｃｔモードである場合、照明変化補償情報であるｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報が符号化され得る構文を追加した。前半部に追加されたｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報はＩｎｔｅｒモードの場合に該当し、後半部に追加されたｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報はＤｉｒｅｃｔモードの場合に該当する。
図１０は、本発明の好ましい実施例の１つであって、照明変化補償動き予測符号化フローチャートを示す図である。
まず、照明変化が発生したことを認識した場合、動き探索を行うインターモードか、または動き探索モードを行わない直接モードかによって、別々に動きベクトルを求める（Ｓ１０１０、Ｓ１０２０）。次いで、現在ブロックの各画素値と現在ブロックの画素平均値との間の差分計算と、現在ブロックの動きベクトルが示す参照ブロックの各画素値と参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化の補償が行なわれる（Ｓ１０３０）。
次いで、照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する（Ｓ１０４０）。
次いで、現在ブロックと隣接するブロックのうち、照明変化補償が既に行われた隣接ブロックの照明変化量を現在ブロックの照明変化量予測値に設定し、現在ブロックの照明変化量および照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行って、予測した照明変化量の照明変化予測差分信号（ＤＰＣＭ＿ＤＶＩＣ）を求める（Ｓ１０５０）。
図１１は、本発明の好ましい実施例の１つであって、インターモードおよび直接モードでの照明変化補償動き予測符号化のフローチャートを示す図である。
照明変化が発生したことを認識した後、現在マクロブロックが動き探索を行うモードであるかどうかを判断する（Ｓ１１１０）。
動き探索を行わない直接モードである場合、空間的予測を利用して動きベクトルを求め、参照ブロックを決定する（Ｓ１１２１）。次いで、照明変化を補償し（Ｓ１１３１）、残余信号を生成する（Ｓ１１４１）。次いで、現在ブロックと隣接するブロックとの間で既に照明変化が補償された場合、これを利用してＤＰＣＭを行って照明変化量予測値を求めた後、符号化する（Ｓ１１５１）。各ステップに対応する詳細な説明は、以上で対応する構成を参考にする。
動き探索を行うインターモードである場合、照明変化量に基づいてＮｅｗＳＡＤ値を求め、これに基づいて動きベクトルおよび参照ブロックを決定する（Ｓ１１２２）。次いで、照明変化を補償し（Ｓ１１３２）、残余信号を生成する（Ｓ１１４２）。次いで、現在ブロックと隣接するブロックとの間で既に照明変化が補償された場合、これを利用してＤＰＣＭを行って照明変化量の予測値を求めた後、符号化する（Ｓ１１５２）。各ステップに対応する詳細な説明は、以上で対応する構成を参考にする。
図１２は、本発明の実験に使われた映像を説明する表を示した図である。
本発明では実験は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの参照符号化器であるＪＳＶＭ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ）３．５を利用して実行し、１６×１６ブロックモードおよび空間的な直接モードに対して適用した。また多重ビュー映像に対して実験し、ＩＳＯ／ＩＥＣ ＭＰＥＧ（以下、ＭＰＥＧ）で提案された多重ビュー符号化方法で具現された符号化器を使用した。また、本発明では、現在ＭＰＥＧで多重ビュー映像符号化標準化で使われている映像を利用した。
図１３は、図１２に示した実験をするための実験条件を示した図である。
本発明で行われたあらゆる実験では、あらかじめ設定されたビット率歪最適化技術を使用した。提案された方法は、現在ＭＰＥＧで提案された階層的なＢ構造（Ｈｉｅｒａｒｃｈｉｃａｌ Ｂ ｓｔｒｕｃｔｕｒｅ）を使用した多重ビュー符号化方式のＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）結果、そして加重値予測方法を使用したＲＤ結果と比較した。
図１４Ａから図１４Ｆは、本発明による照明変化補償動き予測符号化および復号化方法を利用した後の効果を説明する図である。
各図面に示したように、本発明の方法を通じて、最小でも０．１ｄＢ〜０．５ｄＢの性能向上を得ることができた。
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして実施することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。
コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また搬送波（例えば、インターネットを通じた伝送）の形態で実現されるものも含む。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
以上、図面および明細書で最適の実施例が開示された。ここで特定の用語が使われたが、単に本発明を説明するための目的であり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。
当業者であれば、さらに多様な変形および均等な他の実施例が可能であるという点を理解できるだろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により定められねばならない。
本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置を示す図である。 現在ブロックの照明変化量を予測するために使われる隣接するマクロブロックを示す図である。 動き探索を行うインターモードの場合に、照明変化補償動きを予測する符号化装置を示す図である。 本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置の一実施例を示す図である。 本発明の望ましい一実施例であって、照明変化補償動き予測復号化装置の構成図である。 本発明の望ましい一実施例であって、照明変化補償動き予測復号化装置の一実施例を示す図である。 本発明の望ましい一実施例であって、Ｓｌｉｃｅ ｄａｔａ ｓｙｎｔａｘを図示する。 本発明の望ましい一実施例であって、Ｓｌｉｃｅ ｄａｔａ ｓｙｎｔａｘを図示する。 本発明の望ましい一実施例であって、Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒ ｓｙｎｔａｘの一実施例を示す図である。 本発明の望ましい一実施例であって、Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒ ｓｙｎｔａｘの一実施例を示す図である。 本発明の望ましい一実施例であって、ｍｂ＿ｐｒｅｄ（ｍｙ＿ｔｙｐｅ） ｓｙｎｔａｘの一実施例を示す図である。 本発明の望ましい一実施例であって、ｍｂ＿ｐｒｅｄ（ｍｙ＿ｔｙｐｅ） ｓｙｎｔａｘの一実施例を示す図である。 本発明の望ましい一実施例であって、照明変化補償動き予測符号化のフローチャートである。 本発明の望ましい一実施例であって、インターモードおよび直接モードで照明変化補償動き予測符号化のフローチャートである。 本発明の実験に使われた映像を説明する表を示す図である。 図１２に示した実験をするための実験条件を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。 本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。

Claims (6)

  1. 現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償部と、
    前記照明変化補償部によって照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する残余信号生成部と、
    現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調を行う照明変化量予測部と、
    を備え、
    前記動きベクトルは、動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用し、
    前記照明変化量予測値は、前記現在ブロックと隣接するブロックのうち３個のブロックで既に前記照明変化補償が行われた場合、前記３個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定する
    ことを特徴とする照明変化補償動き予測符号化装置。
  2. 現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行うステップと、
    前記照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成するステップと、
    現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップと
    を備え、
    前記照明変化量予測値は、前記現在ブロックと隣接するブロックのうち、３個のブロックで既に前記照明変化補償が既に行われた場合、前記３個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定する
    ことを特徴とする照明変化補償動き予測符号化方法。
  3. 現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行うステップと、
    前記照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成するステップと、
    現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップと
    を備え、
    前記動きベクトルは、動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用し、
    前記動きベクトルは、動き探索を行うインターモードである場合、現在ブロックの画素値と参照ブロックの画素値との差から前記照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）値のうち、最小値に対応する参照ブロックから求められる動きベクトルであり、
    前記インターモードはＰスライスまたはＢスライスに適用され、
    前記直接モードはＢスライスに適用される
    ことを特徴とする請求項に記載の照明変化補償動き予測符号化方法。
  4. 動き探索を行うインターモードの場合に照明変化補償動きを予測する符号化方法であって、
    現在ブロックの画素値と参照ブロックの画素値との差から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値との差である照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）に基づいて動きベクトルを設定するステップと、
    現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償ステップと、
    前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップと、
    を備え、
    前記照明変化量予測ステップは、前記現在ブロックと隣接するブロックのうち、３個のブロックで既に前記照明変化補償が既に行われた場合、前記３個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定する
    ことを特徴とする照明変化補償動き予測符号化方法。
  5. 動き探索を行わない直接モードの場合に、照明変化補償動きを予測する符号化方法であって、
    現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償ステップと、
    現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップと
    を備え、
    前記残余信号は、
    ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は前記動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置とすると、
    ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
    によって求められる
    ことを特徴とする照明変化補償動き予測符号化方法。
  6. 動き探索を行わない直接モードの場合に、照明変化補償動きを予測する符号化方法であって、
    現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償ステップと、
    現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップと
    を備え、
    前記照明変化量予測ステップは、
    前記現在ブロックと隣接するブロックのうち、３個のブロックで既に前記照明変化補償が既に行われた場合、前記３個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定する
    ことを特徴とする照明変化補償動き予測符号化方法。
JP2009501359A 2006-03-22 2007-03-22 照明変化補償動き予測符号化および復号化方法とその装置 Expired - Fee Related JP5061179B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2006-0026175 2006-03-22
KR20060026175 2006-03-22
KR20060062999 2006-07-05
KR10-2006-0062999 2006-07-05
PCT/KR2007/001413 WO2007108661A1 (en) 2006-03-22 2007-03-22 Method and apparatus for encoding and decoding the compensated illumination change
KR1020070028225A KR101342587B1 (ko) 2006-03-22 2007-03-22 조명변화 보상 움직임 예측 부호화 및 복호화 방법 및 장치
KR10-2007-0028225 2007-03-22

Publications (2)

Publication Number Publication Date
JP2009530960A JP2009530960A (ja) 2009-08-27
JP5061179B2 true JP5061179B2 (ja) 2012-10-31

Family

ID=38802934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009501359A Expired - Fee Related JP5061179B2 (ja) 2006-03-22 2007-03-22 照明変化補償動き予測符号化および復号化方法とその装置

Country Status (5)

Country Link
US (1) US20100232507A1 (ja)
EP (1) EP1997318A4 (ja)
JP (1) JP5061179B2 (ja)
KR (1) KR101342587B1 (ja)
WO (1) WO2007108661A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2130374A4 (en) * 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
WO2010016534A1 (ja) * 2008-08-08 2010-02-11 シャープ株式会社 動画像符号化装置および動画像復号装置
US8644389B2 (en) * 2009-05-15 2014-02-04 Texas Instruments Incorporated Real-time video image processing
CN102215389B (zh) * 2010-04-09 2013-04-17 华为技术有限公司 一种局部亮度补偿的视频编解码方法及装置
US20120082228A1 (en) 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
RU2606306C2 (ru) 2010-11-26 2017-01-10 Нек Корпорейшн Устройство видеокодирования, устройство видеодекодирования, способ видеокодирования, способ видеодекодирования и программа
KR20150014496A (ko) 2012-05-14 2015-02-06 루카 로사토 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
US9615089B2 (en) * 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
CN105308961B (zh) * 2013-04-05 2019-07-09 三星电子株式会社 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备
CN103327324A (zh) * 2013-05-13 2013-09-25 深圳市云宙多媒体技术有限公司 一种光线突变视频编解码方法及系统
CN105745703B (zh) * 2013-09-16 2019-12-10 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
KR102315920B1 (ko) 2013-09-16 2021-10-21 삼성전자주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
CN108965888B (zh) * 2014-03-19 2021-05-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
KR20150110357A (ko) * 2014-03-21 2015-10-02 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
US10554967B2 (en) * 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
CN109584137B (zh) * 2018-10-24 2021-02-02 北京大学 一种脉冲序列格式转换方法及系统
JP7263529B2 (ja) * 2019-02-14 2023-04-24 北京字節跳動網絡技術有限公司 デコーダ側精緻化ツールのサイズ選択アプリケーション
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355779A (ja) * 1998-06-09 1999-12-24 Ricoh Co Ltd 動きベクトル検出方法
JP2000134630A (ja) * 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像入力装置及びコンピュータ読み取り可能な記憶媒体
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
JP5199124B2 (ja) * 2006-01-12 2013-05-15 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理

Also Published As

Publication number Publication date
KR101342587B1 (ko) 2013-12-17
US20100232507A1 (en) 2010-09-16
EP1997318A4 (en) 2011-04-06
EP1997318A1 (en) 2008-12-03
WO2007108661A1 (en) 2007-09-27
KR20070095837A (ko) 2007-10-01
JP2009530960A (ja) 2009-08-27

Similar Documents

Publication Publication Date Title
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
KR100856411B1 (ko) 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8228989B2 (en) Method and apparatus for encoding and decoding based on inter prediction
KR101947142B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
US8873633B2 (en) Method and apparatus for video encoding and decoding
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
KR20080088039A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20070006446A (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
US20130128973A1 (en) Method and apparatus for encoding and decoding an image using a reference picture
US8699576B2 (en) Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method
KR20070057618A (ko) 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법
KR101187580B1 (ko) 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치
JP4561701B2 (ja) 動画像符号化装置
KR20130105402A (ko) 추가의 비트 레이트 오버헤드 없이 참조 블록의 로컬 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 코딩 및 디코딩 방법
KR20120079561A (ko) 선택적 다중 예측을 통한 적응적 인트라 예측 부호화/복호화 장치 및 방법
JP2008028882A (ja) 動画像符号化装置
WO2011142221A1 (ja) 符号化装置、および、復号装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110902

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120427

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120528

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5061179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees