JP5133136B2 - 照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置 - Google Patents

Description

本発明は、照度補償（Illumination compensation）方法及び装置に係り、さらに詳細には映像符号化及び復号化のための照度補償方法及びその装置に関する。

三次元ディスプレイアプリケーションのためのマルチビュー符号化（ＭＶＣ：Multi-View Coding）は、隣接したビュー間の予測時に、不完全に補正（calibration）されたカメラ、異なる遠近投影方向（Different perspective projection direction）、異なる反射効果（Different reflection effects）などによる隣接したビュー間の照度（illumination）変化が発生し、これは、符号化効率を落とすという問題があった。また、シングルビュー（Single view）の場合にも、画面転換などの場合、照度変化による符号化効率が落ちるという問題があった。

かような問題を解決するために、Ｈ．２６４規格では、加重予測（Weighted prediction）という技法を使用する。この加重予測技法は、スライスレベルで動き補償に適用され、適切な加重因子（Weighted factor）Ｗと付加的なオフセットＯとによって照度が補償される。かような加重予測技法のための改善された方式として、照度変換適応動き予測及び補償（ＩＣＡ ＭＥ／ＭＣ：Illumination Change-Adaptive Motion Estimation/Compensation）がある。

照度変換適応動き予測及び補償方式によれば、Ｙ成分の場合、１６Ｘ１６ブロック単位でＩＣＡ ＭＥ／ＭＣが行われ、それぞれのマクロブロックに対して照度変換の差分値（ＤＶＩＣ：Difference Value of Illumination Change）が得られる。

ＩＣＡ ＭＥ／ＭＣには、二種のモードが存在する。二種のモードのうち１つのモードは、ＰまたはＢスライスで使われる、ＩＣＡ ＭＥ／ＭＣを使用するＩＣインター１６ｘ１６モードである。他のモードは、Ｂスライスでのみ使われる、ＩＣＡ ＭＥ／ＭＣを使用しないＩＣダイレクト１６ｘ１６モードである。ローカル照度変換を補償するためには、それぞれのインター１６ｘ１６及びそれぞれのダイレクト１６ｘ１６ブロックモード当たり１ビットのフラグ、すなわちｍｂ＿ｉｃ＿ｆｌａｇが必要である。

現在ブロックのＤＶＩＣと隣接したブロックのＤＶＩＣは、非常に高い相関関係が存在するので、現在ブロックのＤＶＩＣは、隣接したブロックのＤＶＩＣとの差を符号化して送る方法を取る。

以下では、インター１６ｘ１６モードに係るマクロブロック単位のＩＣＡ ＭＥ／ＭＣについて説明する。

ＩＣＡ ＭＥ／ＭＣのためには、新しいＳＡＤ（Sum of Absolute Difference）が定義されねばならない。現在フレームの（ｉ，ｊ）位置の画素をｆ（ｉ，ｊ）とし、参照フレームの（ｉ，ｊ）位置の画素をｒ（ｉ，ｊ）とすれば、ＳｘＴサイズのブロックに対するＳＡＤは、次の式（１）のように計算される。ここで、ＳｘＴは、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８、４ｘ４などが可能である。

ここで、（ｘ，ｙ）は、候補動きベクターであり、（Ｍ，Ｎ）は、現在ブロックの位置を意味する。

照度変換を補償するためには、新しいＳＡＤが必要である。これは、下記の式（２）及び（３）によって求められる。

ここで、Ｍ_ｃｕｒは、現在ブロック内の画素の平均値であり、Ｍ_ｒｅｆは、参照ブロック内の画素の平均値である。また、（ｐ，ｑ）は、参照ブロックの位置である。新しいＳＡＤ、すなわちＮｅｗＳＡＤ（ｘ，ｙ）は、下記の式（３）によって求められる。

ＩＣＡ ＭＥ／ＭＣ方式では、式（３）に基づいてＮｅｗＳＡＤ（ｘ，ｙ）を最小にするブロック、例えば１６ｘ１６ブロックをサーチし、これに対応するＭＶ（Motion Vector）を探す。

ＮｅｗＳＡＤ（ｘ，ｙ）を最小にする動きベクターＭＶ（ｘ’，ｙ’）が決定されれば、照度補償残差信号ＮｅｗＲ（ｉ，ｊ）は、下記の式（４）により決定される。

このとき、１ビットフラグであるｍｂ＿ｉｃ＿ｆｌａｇがＩＣＡ ＭＥ／ＭＣが使われたか否かを示すために、シンタックス（syntax）に保存される。ＤＶＩＣのＤＰＣＭ（Differential Pulse Code Modulation）値もシンタックスに含まれる。本実施例では、ｍｂ＿ｉｃ＿ｆｌａｇが０ならば、現在ブロックに対してＩＣＡ ＭＣが行われないということを示す。また、ｍｂ＿ｉｃ＿ｆｌａｇが１ならば、現在ブロックに対してＩＣＡ ＭＣが行われたということを示す。

また、ｍｂ＿ｉｃ＿ｆｌａｇが１ならば、復号化装置のＩＣＡ ＭＥ／ＭＣ部は、下記の式（５）を利用して復元画素を求める。

式（５）でＮｅｗＲ”（ｉ，ｊ）は、復元された照度補償残差信号であり、ｆ’（ｉ，ｊ）は、復元された現在フレーム内の画素を意味する。

かような従来のＩＣＡ ＭＥ／ＭＣ方式では、ＤＶＩＣ情報を伝送しなければならないので、符号化効率が低下するという問題点があった。

かような照度補償方法を改善してＤＶＩＣ情報を省略できる照度補償方法が提案された。ＤＶＩＣ情報を省略するために、次の式（６）を利用して照度補償された参照ブロックを生成する。

式（６）でａ_ｘ，ｙ及びｂ_ｘ，ｙは、動きベクター（ｘ，ｙ）によって可変する値を有し、各動きベクターに対しては定数値を有する。また、ｒ’_ｘ，ｙ（ｉ，ｊ）は、動き補償された参照ブロックを示し、

は、照度補償された参照ブロックを示す。式（６）を利用した照度補償方式では、現在ブロックの周辺の復元された画素を利用し、ａ_ｘ，ｙ及びｂ_ｘ，ｙの値を線形回帰（Linear aggression）方式、差平均基盤予測（Average of difference based prediction）方式及び平均差基盤予測（Difference of average based prediction）方式を利用して計算するために、ＤＶＩＣ情報を省略できるという長所がある。しかし、かようなＤＶＩＣ情報を省略する照度補償方式は、現在ブロックの周辺の復元された画素からａ_ｘ，ｙ及びｂ_ｘ，ｙを計算するために、現在ブロックを利用してａ_ｘ，ｙ及びｂ_ｘ，ｙを計算する場合に比べ、照度変化の予測性能が落ちるという問題点がある。

本発明がなそうとする技術的課題は、可能な限り現在ブロックの画素情報を利用して照度補償パラメータを決定する一方、少ない照度補償パラメータの伝送でも、照度補償の性能を向上させうる改善された照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置を提供することである。

前述の技術的課題を解決するために、本発明による参照ブロックの照度補償方法は、現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値を入力される段階と、前記入力された現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値に基づいて、前記現在ブロック及び前記参照ブロックの画素の平均値を予測する段階と、前記予測された現在ブロックの画素の平均値、前記予測された参照ブロックの画素の平均値、前記現在ブロックと前記参照ブロックとの画素値に基づいて、前記参照ブロックの照度補償のための照度補償パラメータを決定する段階と、前記決定された照度補償パラメータを利用し、前記参照ブロックに対して照度補償を行う段階とを含むことを特徴とする。

本発明による参照ブロックの照度補償装置は、現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値に基づいて、前記現在ブロック及び前記参照ブロックの画素の平均値を予測する平均値予測部と、前記予測された現在ブロックの画素の平均値、前記予測された参照ブロックの画素の平均値、前記現在ブロックと前記参照ブロックとの画素値に基づいて、前記参照ブロックの照度補償のための照度補償パラメータを決定する照度補償パラメータ計算部と、前記決定された照度補償パラメータを利用し、前記参照ブロックに対して照度補償を行う照度補償遂行部とを備えることを特徴とする。

本発明による照度補償に基づいた映像符号化方法は、現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する段階と、前記決定された参照ブロックの照度補償のための照度補償パラメータを決定する段階と、前記決定された照度補償パラメータを利用し、前記参照ブロックに対する照度補償を行う段階と、前記照度補償された参照ブロックを利用し、前記現在ブロックの予測ブロックを生成し、前記生成された予測ブロックと前記現在ブロックとの差値を符号化してビットストリームを生成する段階と、前記生成されたビットストリームの所定領域に前記決定された照度補償パラメータ情報を保存する段階とを含むことを特徴とする。

本発明による照度補償に基づいた映像符号化装置は、現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する予測部と、前記決定された参照ブロックの照度補償のための照度補償パラメータを決定し、前記決定された照度補償パラメータを利用し、前記参照ブロックに対する照度補償を行う照度補償部と、前記照度補償された参照ブロックを利用し、前記現在ブロックの予測ブロックを生成し、前記生成された予測ブロックと前記現在ブロックとの差値を符号化してビットストリームを生成し、前記生成されたビットストリームの所定領域に前記決定された照度補償パラメータ情報を保存する符号化部とを備えることを特徴とする。

本発明による照度補償基盤の映像復号化方法は、受信されたビットストリームから復号化される現在ブロックの予測モード情報及び照度補償パラメータを抽出する段階と、前記抽出された予測モード情報を利用し、前記現在ブロックの参照ブロックを決定する段階と、前記抽出された照度補償パラメータ情報を利用し、前記決定された参照ブロックに対する照度補償を行う段階とを含むことを特徴とする。

本発明による照度補償基盤の映像復号化装置は、受信されたビットストリームから抽出された予測モード情報を利用して復号化される現在ブロックの参照ブロックを決定する予測部と、前記ビットストリームから抽出された照度補償パラメータを利用し、前記決定された参照ブロックに対する照度補償を行う照度補償部とを備えることを特徴とする。

本発明は、参照ブロックの照度補償のための照度補償パラメータの一部を現在ブロックの画素値を利用して予測することによって、周辺画素のみを利用して照度補償パラメータを利用する場合に比べて、現在ブロックの映像特性を効率的に反映できるので、映像の符号化効率が向上する。また本発明によれば、少ないデータ量を有した照度補償パラメータだけでも、効率的に現在ブロックの画素値を予測できるので、符号化効率を向上させることができる。

以下、添付された図面を参照しつつ、本発明の望ましい実施例について詳細に説明する。

図１は、本発明による照度補償装置を示したブロック図である。図１を参照するに、本発明による照度補償装置１００は、平均値予測部１１０、照度補償パラメータ計算部１２０及び照度補償遂行部１３０を備える。

平均値予測部１１０は、現在ブロックの復元された周辺画素値及び参照ブロックの復元された周辺画素値に基づいて、現在ブロックと参照ブロックとの画素の平均値（ＤＣ：Direct Current）を予測する。

照度補償パラメータ計算部１２０は、現在ブロックの画素の予測平均値、参照ブロックの画素の予測平均値、現在ブロックと参照ブロックとの画素値に基づいて、参照ブロックの照度補償のための照度補償パラメータを決定する。具体的に、照度補償パラメータ計算部１２０は、現在ブロックの画素から現在ブロックの画素の予測平均値を差し引いた値と、参照ブロックの画素から参照ブロックの画素の予測平均値を差し引いた値とに基づいて、照度補償パラメータを決定する。すなわち、照度補償パラメータ計算部１２０は、平均値成分が除去された現在ブロックと参照ブロックとの画素に基づいて、照度補償パラメータを決定する。照度補償パラメータの具体的な決定過程については後述する。

照度補償遂行部１３０は、照度補償パラメータ、現在ブロックと参照ブロックとの予測平均値、参照ブロックの画素の画素値を利用し、現在ブロックの照度補償された参照ブロックを生成する。ここで、照度補償された参照ブロックは、現在ブロックの予測ブロックに該当する。また参照ブロックは、シングルビューである場合には、復元された以前フレーム内のブロック、または現在フレームですでに復元された他のカラー成分のフレーム内のブロックになることが可能であり、マルチビューコーディング（ＭＶＣ：Multi-View Coding）方式では、隣接したビューの復元されたフレームのうち、いずれか１つのフレーム内のブロックになることが可能である。

以下では、図２Ａ及び図２Ｂを参照しつつ、本発明によって現在ブロック及び参照ブロックの画素の予測平均値を計算する方法及び照度補償パラメータを決定する方法について説明する。

図２Ａの太い実線ブロックは、参照フレーム内の動きベクター（ｘ，ｙ）に対応する１６ｘ１６サイズの復元された参照ブロック２１０を示す。動きベクター（ｘ，ｙ）に対応する参照ブロック内の（ｉ，ｊ）位置の復元された画素値は、ｒ’_ｘ，ｙ（ｉ，ｊ）で表示される。ここで、添字（’）は、復元された値を意味する。一方、陰影で表示された画素は、復元された周辺画素値を示す。図２Ｂの太い実線ブロックは、１６ｘ１６サイズの現在ブロック２２０を示す。現在ブロック内の（ｉ，ｊ）位置の原画素値は、ｆ（ｉ，ｊ）で表示される。陰影で表示された周辺画素は、現在ブロックの復元された周辺画素を示す。図２Ａと同様に、添字（’）は、復元された値を意味する。

平均値予測部１１０は、ブロック内部の画素と周辺画素との照度差が大きくないということを考慮し、現在ブロックの周辺画素の画素値の平均値を現在ブロックの画素の平均値として予測し、参照ブロックの周辺画素の画素値の平均値を参照ブロックの画素の平均値として予測する。図２Ａ及び図２Ｂを参照するに、１６ｘ１６モードの場合、参照ブロック２１０の周辺画素の平均値ＤＣ_ｒと現在ブロックの周辺画素の平均値ＤＣ_ｆは、次の式（７）のように計算されうる。

前述のように、ブロック内部の画素と周辺画素との照度差が大きくないということを考慮し、平均値予測部１１０は、計算された参照ブロック２１０の周辺画素の平均値ＤＣ_ｒと現在ブロックの周辺画素の平均値をＤＣ_ｆとをそれぞれ参照ブロックと現在ブロックとの予測平均値として決定する。

一方、本発明による現在ブロックと参照ブロックとの画素値の平均値を予測する過程は、可変ＤＣモードと固定ＤＣモードとに大別される。可変ＤＣモードでは、１６ｘ１６サイズのブロックを１６ｘ１６、８ｘ８及び４ｘ４サイズのブロックに分類した後で最適のモードを決定する。固定ＤＣモードでは、１６ｘ１６、８ｘ８及び４ｘ４サイズのブロックのうちから一つブロックを決定し、１つのスライスまたは１つのフレームまたは映像全体に対して決定されたブロックサイズによって平均値を予測する。前述の式（７）と同じように、８ｘ８及び４ｘ４サイズのブロック単位で、現在ブロックと参照ブロックとの画素の平均値を予測するとき、予測平均値は、それぞれ次の式（８）及び（９）を利用して予測されうる。

一方、照度補償パラメータをａ_ｘ，ｙ、現在ブロック及び参照ブロックの大きさをＭｘＮ（Ｍ，Ｎは正の整数）、現在ブロック内の（ｉ，ｊ）（０≦ｉ≦Ｍ、０≦ｊ≦Ｎ、ｉ，ｊは整数）位置の画素値をｆ（ｉ，ｊ）、現在ブロックの（ｉ，ｊ）位置の画素値の予測値をｆ_Ｅ（ｉ，ｊ）、参照ブロックの（ｉ，ｊ）位置の復元された画素値をｒ’_ｘ，ｙ（ｉ，ｊ）とするとき、照度補償遂行部１３０は、現在ブロック内の画素値の予測値ｆ_Ｅ（ｉ，ｊ）を次の式（１０）を利用して予測できる。

式（１０）で、現在ブロックの周辺画素の平均値のＤＣ_ｆを左側に移項させれば、現在ブロックの画素から現在ブロックの画素の予測平均値を差し引いた値と、参照ブロックの画素から参照ブロックの画素の予測平均値を差し引いた値とに基づいて、照度補償パラメータ（ａ_ｘ，ｙ）が決定されるということが分かる。式（１０）を介して計算された現在ブロックの予測画素値（ｆ_Ｅ（ｉ，ｊ））は、８ビット映像の場合、［０，２５５］にクリッピングされる。

再び図１を参照するに、前述の式（１０）のように、照度補償遂行部１３０で参照ブロックの復元された画素と参照ブロックの周辺画素の平均値との差に所定の照度補償パラメータ（ａ_ｘ，ｙ）を乗じた後、現在ブロックの周辺画素の平均値を加えることによって、照度補償された参照ブロック、すなわち現在ブロックの照度補償された予測ブロックが生成されれば、照度補償パラメータ計算部１２０は、照度補償された参照ブロックの画素（ｆ_Ｅ（ｉ，ｊ））と現在ブロックの原画素（ｆ_Ｅ（ｉ，ｊ））との差が最小になる照度補償パラメータ（ａ_ｘ，ｙ）を決定する。このとき、照度補償パラメータ計算部１２０は、あらかじめ定義された所定個数の照度補償パラメータ、例えばｎ個のあらかじめ決まった照度補償パラメータである｛ａ０，ａ１，…、ａｎ｝をそれぞれ適用して照度補償された参照ブロックの画素（ｆ_Ｅ（ｉ，ｊ））と現在ブロックの原画素（ｆ_Ｅ（ｉ，ｊ））との差値を計算した後、差値が最小になる照度補償パラメータを決定し、決定された照度補償パラメータを示す所定のインデックス情報だけを復号化装置に伝送できる。この場合、復号化装置では、あらかじめ定義されたインデックス情報のみを参照して、照度補償パラメータを決定できる。

一方、照度補償パラメータは、１６ｘ１６、８ｘ８、４ｘ４サイズなど多様な大きさのブロック単位でマクロブロックを分割し、それぞれのブロックごとに独立的な照度補償パラメータを有させることができる。図３Ａ及び図３Ｂを参照するに、８ｘ８サイズまたは４ｘ４サイズのブロック単位で、照度補償パラメータを決定する場合、左から右、上から下への方向のブロック単位で各ブロックを処理し、照度補償パラメータを決定する。

照度補償パラメータの決定のためのモードとしては、可変モードと固定モードとに大別される。可変モードには、１６ｘ１６モード、８ｘ８モード、４ｘ４モードの３つのモードが存在し、各モードによって、照度補償パラメータの値は変更されうる。固定モードには、１６ｘ１６モード、８ｘ８モード、４ｘ４モードの３つのモードが存在できるが、１６ｘ１６ブロックごとに１個の照度補償パラメータを有する。従って、１６ｘ１６ブロック内の各モードでの照度補償パラメータは、いずれも固定された１個の値を使用する。言い換えれば、固定モードでは、可変モードのようにスライス、フレーム、映像全体に対してブロックごとに異なる大きさのブロックモード（１６ｘ１６モード、８ｘ８モード、４ｘ４モード）を有することができる。しかし、可変モードでは、それぞれのブロックごとに可変的に異なる照度補償パラメータ値を有するが、固定モードでは、所定大きさのブロック内に備わったサブブロックは、いずれも同じ照度補償パラメータを有するという差異点がある。一例として、固定モードでは、１６ｘ１６ブロック内部のサブブロックは、１個の照度補償パラメータを共有するが、他の１６ｘ１６ブロックとは異なる照度補償パラメータを有することができる。この場合、可変モードでは、１６ｘ１６ブロック内部のサブブロックごとに異なる照度補償パラメータを有する。

また、１６ｘ１６サイズのブロックを符号化するとき、１６ｘ１６モード、８ｘ８モード、４ｘ４モードを適用する場合、それぞれ１つ、４つ、１６個の照度補償パラメータを伝送せねばならない。照度補償パラメータの個数が増加する場合、伝送されねばならないデータ量が増加しうるために、符号化装置と復号化装置とで、事前に照度補償パラメータセットを定義した後、照度補償パラメータセットに備わった照度補償パラメータのうち、最も適した照度補償パラメータを決定し、決定された照度補償パラメータのインデックス情報だけを伝送することによって、伝送されるデータ量を減少させることができる。また、可変モードと固定モードとのうちで適用されるブロックサイズが固定された固定モードを利用する場合には、モード情報量を減らすことができる。

図４は、本発明による照度補償方法を示したフローチャートである。

段階４１０で、現在ブロックの復元された周辺画素の画素値及び参照ブロックの復元された周辺画素の画素値を入力される。ここで、参照ブロックは、シングルビューである場合には、復元された以前フレーム内のブロック、または現在フレームですでに復元された他のカラー成分のフレーム内のブロックになることが可能であり、マルチビューコーディング（ＭＶＣ：Multi-View Coding）方式では、隣接したビューの復元されたフレームのうち、いずれか１つのフレーム内のブロックになることが可能である。

段階４２０で、入力された現在ブロックの復元された周辺画素の画素値及び参照ブロックの復元された周辺画素の画素値に基づいて、現在ブロック及び参照ブロックの画素の平均値を予測する。前述のように、ブロック内の画素と周辺画素との照度差が大きくないことを考慮し、現在ブロックの周辺画素の画素値の平均値をそのまま現在ブロックの画素の平均値として予測し、参照ブロックの周辺画素の画素値の平均値をそのまま参照ブロックの画素の平均値として予測できる。

段階４３０で、予測された現在ブロックの画素の平均値、予測された参照ブロックの画素の平均値、現在ブロックと参照ブロックとの画素値に基づいて、参照ブロックの照度補償のための照度補償パラメータを決定する。前述の式（１０）のように、参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の照度補償パラメータを乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって、照度補償された参照ブロック、すなわち現在ブロックの予測ブロックを生成した後、照度補償された参照ブロックの画素と現在ブロックの画素との差を最小にする照度補償パラメータを決定する。

段階４４０で、決定された照度補償パラメータを利用し、参照ブロックに対して照度補償を行う。

図５は、本発明による照度補償装置が適用された映像符号化装置の構成を示したブロック図である。図５を参照するに、本発明による映像符号化装置５００は、変換及び量子化部５１０、逆変換及び逆量子化部５２０、フレーム保存部５３０、照度補償部５４０、予測部５５０、減算部５６０及び加算部５６２を備える。

変換及び量子化部５１０は、映像データの空間重複性（spatial redundancy）をなくすために、入力された映像データを変換（transform）する。また、変換符号化して得られた変換係数値を所定量子化ステップによって量子化し、量子化された変換係数値によって構成された二次元データであるＮ×Ｍデータを得る。使われる映像変換の例としては、ＤＣＴ（Discrete Cosine Transform）を挙げることができる。量子化は、あらかじめ決定された量子化ステップによって行われる。

逆変換及び逆量子化部５２０は、変換及び量子化部５１０で量子化された映像データを逆量子化し、逆量子化された映像データを逆映像変換、例えば逆ＤＣＴする。

加算部５６２は、予測部５５０から出力された予測映像と、逆変換及び逆量子化部５２０で復元されたデータとを加算して復元映像を生成する。フレーム保存部５３０は、加算部５６２で復元された映像をフレーム単位で保存する。

予測部５５０は、符号化される現在ブロックの予測ブロックを生成し、予測ブロックの生成のために参照ブロックを決定する。前述のように、参照ブロックは、シングルビューである場合には、復元された以前フレーム内のブロック、または現在フレームですでに復元された他のカラー成分のフレーム内のブロックになることが可能であり、マルチビューコーディング（ＭＶＣ：Multi-View Coding）方式では、隣接したビューの復元されたフレームのうち、いずれか１つのフレーム内のブロックになることが可能である。

照度補償部５４０は、決定された参照ブロックの照度補償のための照度補償パラメータを決定し、決定された照度補償パラメータを利用して参照ブロックに対する照度補償を遂行し、照度補償された参照ブロックを出力する。出力された照度補償された参照ブロックは、現在ブロックの予測ブロックに該当し、入力された現在ブロックとの差である残差ブロックが符号化される。一方、照度補償部５４０で決定された照度補償パラメータ情報は、エントロピ符号化部５７０で生成されたビットストリームの所定領域に保存され、復号化装置での参照ブロックの照度補償のための照度補償パラメータを決定できるようにする。照度補償部５４０は、図１の照度補償装置１００と同じ機能を行うので、具体的な説明は省略する。

図６は、本発明による照度補償方法を適用した映像符号化方法を示したフローチャートである。図６を参照するに、段階６１０で、現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する。

段階６２０で、決定された参照ブロックの照度補償のための照度補償パラメータを決定する。前述のように、参照ブロックの復元された画素と参照ブロックの周辺画素の平均値との差に所定の加重値、すなわち照度補償パラメータを乗じた後、現在ブロックの周辺画素の平均値を加えることによって、照度補償された参照ブロックを生成し、照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる加重値を照度補償パラメータとして決定する。

段階６３０で、決定された照度補償パラメータを利用して参照ブロックに対する照度補償を行う。

段階６４０で、照度補償された参照ブロックを利用して現在ブロックの予測ブロックを生成し、生成された予測ブロックと現在ブロックとの差値を符号化してビットストリームを生成する。

段階６５０で、生成されたビットストリームの所定領域に決定された照度補償パラメータ情報を保存する。

図７は、本発明による映像復号化装置の構成を示したブロック図である。図７を参照するに、本発明による映像復号化装置は、エントロピ復号化部７１０、逆量子化及び逆変換部７２０、フレーム保存部７３０、予測部７４０、照度補償部７５０、及び加算部７６０を備える。

エントロピ復号化部７１０は、符号化されたビットストリームをエントロピ復号化し、映像データ、予測モード情報及び照度補償パラメータ情報などを抽出する。エントロピ復号化された映像データは、逆量子化及び逆変換部７２０に入力され、予測モード情報は、予測部７４０に入力され、照度補償パラメータ情報は、照度補償部７５０に入力される。

逆量子化及び逆変換部７２０は、エントロピ復号化部７１０から抽出された映像データに対して逆量子化及び逆変換を行う。加算部７６０は、逆量子化及び逆変換部７２０で逆量子化及び逆変換された映像データと、照度補償部７５０で照度補償された予測ブロックとを加えて映像を復元し、フレーム保存部７３０は、復元された映像をフレーム単位で保存する。

予測部７４０は、ビットストリームから抽出された予測モード情報を利用し、復号化される現在ブロックの参照ブロックを決定する。

照度補償部７５０は、ビットストリームから抽出された照度補償パラメータを利用し、決定された参照ブロックに対する照度補償を行って照度補償された参照ブロックを生成する。照度補償された参照ブロックは、現在ブロックの予測ブロックに該当する。

図８は、本発明による映像復号化方法を示したフローチャートである。図８を参照するに、段階８１０で、受信されたビットストリームから復号化される現在ブロックの予測モード情報及び照度補償パラメータを抽出する。

段階８２０で、抽出された予測モード情報を利用して現在ブロックの参照ブロックを決定する。
段階８３０で、抽出された照度補償パラメータ情報を利用して決定された参照ブロックに対する照度補償を行う。参照ブロックに対する照度補償過程は、前述の式（１０）を利用して行える。

段階８４０で、照度補償された参照ブロックと復元された残差データとを加えて現在ブロックを復元する。

本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

以上、本発明についてその望ましい実施形態を中心に述べた。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されうるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして説明的な観点でもって考慮されねばならない。本発明の範囲は、前述の説明ではなくして特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれるものと解釈されるものである。

本発明の照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置は、例えばディスプレイ・アプリケーション関連の技術分野に効果的に適用可能である。

本発明による照度補償装置を示したブロック図である。 本発明によって、参照ブロックの画素の予測平均値を計算する方法及び照度補償パラメータを決定する方法を説明するための図である。 本発明によって、現在ブロックの画素の予測平均値を計算する方法及び照度補償パラメータを決定する方法を説明するための図である。 ８ｘ８モードの場合の符号化順序を示す図である。 ４ｘ４モードの場合の符号化順序を示す図である。 本発明による照度補償方法を示したフローチャートである。 本発明による照度補償装置が適用された映像符号化装置の構成を示したブロック図である。 本発明による照度補償方法を適用した映像符号化方法を示したフローチャートである。 本発明による映像復号化装置の構成を示したブロック図である。 本発明による映像復号化方法を示したフローチャートである。

符号の説明

１００ 照度補償装置
１１０ 平均値予測部
１２０ パラメータ計算部
１３０ 照度補償遂行部
２１０ 参照ブロック
２２０ 現在ブロック
５００ 映像符号化装置
５１０ 変換及び量子化部
５２０ 逆変換及び逆量子化部
５３０，７３０ フレーム保存部
５４０，７５０ 照度補償部
５５０，７４０ 予測部
５６０ 減算部
５６２，７６０ 加算部
５７０ エントロピ符号化部
７１０ エントロピ復号化部
７２０ 逆量子化及び逆変換部

Claims (17)

1. 参照ブロックの照度補償方法において、
   現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値を入力される段階と、
   前記入力された現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値に基づいて、前記現在ブロック及び前記参照ブロックの画素の平均値を予測する段階と、
   前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の照度補償パラメータを乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる照度補償パラメータを決定する段階と、
   前記決定された照度補償パラメータを利用し、前記参照ブロックに対して照度補償を行う段階とを含むことを特徴とする照度補償方法。
2. 前記現在ブロック及び前記参照ブロックの画素の平均値を予測する段階は、
   前記現在ブロックの周辺画素の画素値の平均値を前記現在ブロックの画素の平均値として予測し、前記参照ブロックの周辺画素の画素値の平均値を前記参照ブロックの画素の平均値として予測することを特徴とする請求項１に記載の照度補償方法。
3. 前記照度補償パラメータを決定する段階は、
   前記照度補償パラメータをａ_ｘ，ｙ、前記現在ブロック及び参照ブロックの大きさをＭｘＮ（Ｍ，Ｎは正の整数）、前記現在ブロック内の（ｉ，ｊ）（０≦ｉ≦Ｍ、０≦ｊ≦Ｎ、ｉ，ｊは整数）位置の画素値をｆ（ｉ，ｊ）、前記現在ブロックの（ｉ，ｊ）位置の画素値の予測値をｆ_Ｅ（ｉ，ｊ）、前記参照ブロックの（ｉ，ｊ）位置の復元された画素値をｒ’_ｘ，ｙ（ｉ，ｊ）、前記現在ブロックの周辺画素の平均値をＤＣ_ｆ、前記参照ブロックの周辺画素の平均値をＤＣ_ｒとするとき、
   

   

   を利用し、前記照度補償された参照ブロックを生成する段階と、
   前記現在ブロックの各画素値ｆ（ｉ，ｊ）と前記予測値ｆ_Ｅ（ｉ，ｊ）との差の合計を計算し、前記差の合計が最小になる前記照度補償パラメータａ_ｘ，ｙを決定する段階とを含むことを特徴とする請求項１に記載の照度補償方法。
4. 前記照度補償パラメータを決定する段階は、
   あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定することを特徴とする請求項１に記載の照度補償方法。
5. 前記照度補償パラメータを決定する段階は、
   所定大きさのブロックごとに互いに異なる照度補償パラメータを決定する可変モード、及び前記所定大きさのブロック内に備わったサブブロックに対して同じ照度補償パラメータを決定する固定モードのうち選択されたモードによって行われることを特徴とする請求項１に記載の照度補償方法。
6. 参照ブロックの照度補償装置において、
   現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値に基づいて、前記現在ブロック及び前記参照ブロックの画素の平均値を予測する平均値予測部と、
   前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の照度補償パラメータを乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる照度補償パラメータを決定する照度補償パラメータ計算部と、
   前記決定された照度補償パラメータを利用し、前記参照ブロックに対して照度補償を行う照度補償遂行部とを備えることを特徴とする照度補償装置。
7. 前記平均値予測部は、
   前記現在ブロックの周辺画素の画素値の平均値を前記現在ブロックの画素の平均値として予測し、前記参照ブロックの周辺画素の画素値の平均値を前記参照ブロックの画素の平均値として予測することを特徴とする請求項６に記載の照度補償装置。
8. 前記照度補償遂行部は、
   前記照度補償パラメータをａ_ｘ，ｙ、前記現在ブロック及び参照ブロックの大きさをＭｘＮ（Ｍ，Ｎは正の整数）、前記現在ブロック内の（ｉ，ｊ）（０≦ｉ≦Ｍ、０≦ｊ≦Ｎ、ｉ，ｊは整数）位置の画素値をｆ（ｉ，ｊ）、前記現在ブロックの（ｉ，ｊ）位置の画素値の予測値をｆ_Ｅ（ｉ，ｊ）、前記参照ブロックの（ｉ，ｊ）位置の復元された画素値をｒ’_ｘ，ｙ（ｉ，ｊ）、前記現在ブロックの周辺画素の平均値をＤＣ_ｆ、前記参照ブロックの周辺画素の平均値をＤＣ_ｒとするとき、
   

   

   を利用し、前記照度補償された参照ブロックを生成し、
   前記照度補償パラメータ計算部は、
   前記現在ブロックの各画素値ｆ（ｉ，ｊ）と前記予測値ｆ_Ｅ（ｉ，ｊ）との差の合計を計算し、前記差の合計が最小になる前記照度補償パラメータａ_ｘ，ｙを決定することを特徴とする請求項６に記載の照度補償装置。
9. 前記照度補償パラメータ計算部は、
   あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定することを特徴とする請求項６に記載の照度補償装置。
10. 前記照度補償パラメータ計算部は、
    所定大きさのブロックごとに互いに異なる照度補償パラメータを決定する可変モード、及び前記所定大きさのブロック内に備わったサブブロックに対して同じ照度補償パラメータを決定する固定モードのうち選択されたモードによって、前記照度補償パラメータを決定することを特徴とする請求項６に記載の照度補償装置。
11. 照度補償に基づいた映像符号化方法において、
    現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する段階と、
    前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の加重値を乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックを生成する段階と、
    前記照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる前記加重値を照度補償パラメータとして決定する段階と、
    前記決定された照度補償パラメータを利用し、前記参照ブロックに対する照度補償を行う段階と、
    前記照度補償された参照ブロックを利用し、前記現在ブロックの予測ブロックを生成し、前記生成された予測ブロックと前記現在ブロックとの差値を符号化してビットストリームを生成する段階と、
    前記生成されたビットストリームの所定領域に前記決定された照度補償パラメータ情報を保存する段階とを含むことを特徴とする映像符号化方法。
12. 前記照度補償パラメータを決定する段階は、
    あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定し、
    前記決定された照度補償パラメータ情報を保存する段階は、
    前記決定された照度補償パラメータを示す所定のインデックス情報を前記ビットストリームに保存することを特徴とする請求項１１に記載の映像符号化方法。
13. 照度補償に基づいた映像符号化装置において、
    現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する予測部と、
    前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の加重値を乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックを生成し、前記照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる前記加重値を照度補償パラメータとして決定し、前記決定された照度補償パラメータを利用し、前記参照ブロックに対する照度補償を行う照度補償部と、
    前記照度補償された参照ブロックを利用し、前記現在ブロックの予測ブロックを生成し、前記生成された予測ブロックと前記現在ブロックとの差値を符号化してビットストリームを生成し、前記生成されたビットストリームの所定領域に前記決定された照度補償パラメータ情報を保存する符号化部とを備えることを特徴とする映像符号化装置。
14. 前記照度補償部は、
    あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定することを特徴とする請求項１３に記載の映像符号化装置。
15. 前記照度補償部は、
    あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定し、
    前記符号化部は、
    前記決定された照度補償パラメータを示す所定のインデックス情報を前記ビットストリームに保存することを特徴とする請求項１３に記載の映像符号化装置。
16. 照度補償基盤の映像復号化方法において、
    受信されたビットストリームから復号化される現在ブロックの予測モード情報及び照度補償パラメータを抽出する段階と、
    前記抽出された予測モード情報を利用し、前記現在ブロックの参照ブロックを決定する段階と、
    前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に前記抽出された照度補償パラメータを乗じた後、以前に復号化された前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックを生成する段階とを含むことを特徴とする映像復号化方法。
17. 照度補償基盤の映像復号化装置において、
    受信されたビットストリームから抽出された予測モード情報を利用して復号化される現在ブロックの参照ブロックを決定する予測部と、
    前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に前記ビットストリームから抽出された照度補償パラメータを乗じた後、以前に復号化された前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックを生成する照度補償部とを備えることを特徴とする映像復号化装置。
    

Images