JP5143120B2 - 画像の符号化方法及び装置、復号化方法及び装置 - Google Patents

画像の符号化方法及び装置、復号化方法及び装置 Download PDF

Info

Publication number
JP5143120B2
JP5143120B2 JP2009501352A JP2009501352A JP5143120B2 JP 5143120 B2 JP5143120 B2 JP 5143120B2 JP 2009501352 A JP2009501352 A JP 2009501352A JP 2009501352 A JP2009501352 A JP 2009501352A JP 5143120 B2 JP5143120 B2 JP 5143120B2
Authority
JP
Japan
Prior art keywords
color component
component image
pixel block
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009501352A
Other languages
English (en)
Other versions
JP2009534876A (ja
Inventor
ソン,ビョン−チョル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060063485A external-priority patent/KR101200865B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2009534876A publication Critical patent/JP2009534876A/ja
Application granted granted Critical
Publication of JP5143120B2 publication Critical patent/JP5143120B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

本発明は、画像の符号化及び復号化に係り、さらに詳細には、画像を構成する複数の色成分間の相関関係を利用して、何れか一つの色成分画像から他の色成分画像を予測することによって符号化効率を向上させる画像の符号化方法及び装置、復号化方法及び装置に関する。
一般的に、画像を取得するとき、最初画像は、RGB(赤、緑、青)カラーフォーマット形態で取得される。RGBカラーフォーマット画像を符号化する時には、一般的に、YUV(あるいはYCbCr)などのカラーフォーマットに変換する。このとき、Yは、白黒画像であって輝度成分を有し、U(あるいはCb)及びV(あるいはCr)は、色成分を有する。RGB画像では、情報がR、G及びBに均一に分布されているが、YUV(あるいはYCbCr)画像では、情報がY成分に偏重し、U(あるいはCb)及びV(あるいはCr)には、情報の量が減少する。したがって、圧縮を行う場合、圧縮効率が高まるという長所がある。圧縮効率をさらに改善するために、一般的に、YUV(あるいはYCbCr)画像の色度成分U(あるいはCb)及びV(あるいはCr)を1/4サイズにサンプリングして構成したYUV(あるいはYCbCr)4:2:0画像を使用する。
しかし、YUV(あるいはYCbCr)4:2:0画像で、U(あるいはCb)及びV(あるいはCr)を1/4サイズにサンプリングするのは、色相歪曲が発生して、高画質の応用には適していない。したがって、U(あるいはCb)及びV(あるいはCr)のサンプリング過程のないYUV(あるいはYCbCr)4:4:4画像を効果的に符号化する方法が必要である。最近には、RGB画像をYUV(あるいはYCbCr)に変換する時に発生する色相歪曲を除去するために、RGB4:4:4画像を直接符号化するレジデュアル色変換(Residual
Color Transform:RCT)という技術が提案された。
このように、YUV(あるいはYCbCr)4:4:4及びRGB4:4:4画像のように、色成分間に同じ解像度を有する画像を直ぐ符号化する場合、従来の符号化方法を適用すれば、符号化効率が低下する。したがって、YUV(あるいはYCbCr)4:4:4画像を符号化するか、またはRGB入力画像をYUV(あるいはYCbCr)に変換せずにそのままRGBドメインで符号化するとき、画像の統計的特性に合わせて予測を行って、高画質を維持しつつも符号化効率を高める方案が必要である。
本発明が解決しようとする技術的課題は、RGBカラーフォーマット入力画像を他のカラーフォーマットに変換せず、RGBの各色成分間の相関関係を考慮して、RGBのうち何れか一つの色成分から他の色成分の画像を予測することによって、符号化効率を向上させる画像の符号化方法及び装置、復号化方法及び装置を提供することである。
前記課題を解決するために、本発明の一実施形態による画像の符号化方法は、(a)入力画像に備えられた少なくとも2つの色成分の画像のうち、第1色成分画像の所定サイズの画素ブロックに対する予測符号化を行うステップと、(b)前記予測符号化された第1色成分画像の画素ブロックを復元するステップと、(c)前記第1色成分画像の復元された周辺画素ブロックの画素値、第2色成分画像の復元された周辺画素ブロックの画素値及び第1色成分画像の復元された画素ブロックの画素値を利用して、対応する第2色成分画像の画素ブロックを予測するステップと、を含むことを特徴とする。
本発明の他の実施形態による画像の符号化方法は、(a)入力画像に備えられた少なくとも2つの色成分の画像のうち、第1色成分画像の画素ブロックに対する予測符号化を行うステップと、(b)前記予測符号化された第1色成分画像の画素ブロックを復元するステップと、(c)前記復元された第1色成分画像の所定サイズの画素ブロック内に存在するエッジを検出するステップと、(d)前記検出されたエッジを利用して、前記第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックを分離するステップと、(e)前記第1色成分画像の復元された周辺画素ブロックの画素値、前記第2色成分画像の復元された周辺画素ブロックの画素値及び前記第1色成分画像の復元された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第2色成分画像の画素値を予測するステップと、を含むことを特徴とする。
本発明の一実施形態による画像符号化装置は、入力画像に備えられた少なくとも2つの色成分の画像のうち、第1色成分画像の所定サイズの画素ブロックに対する予測符号化を行う予測符号化部と、前記予測符号化された第1色成分画像の画素ブロックを復元する復元部と、前記第1色成分画像の復元された周辺画素ブロックの画素値、第2色成分画像の復元された周辺画素ブロックの画素値及び第1色成分画像の復元された画素ブロックの画素値を利用して、対応する第2色成分画像の画素ブロックを予測する相関予測部と、を備えることを特徴とする。
本発明の他の実施形態による画像符号化装置は、入力画像に備えられた少なくとも2つの色成分の画像のうち、第1色成分画像の所定サイズの画素ブロックに対する予測符号化を行う予測符号化部と、前記予測符号化された第1色成分画像の画素ブロックを復元する復元部と、前記復元された第1色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部と、前記検出されたエッジを利用して、前記第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックを分離する領域分離部と、前記第1色成分画像の復元された周辺画素ブロックの画素値、第2色成分画像の復元された周辺画素ブロックの画素値及び第1色成分画像の復元された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第2色成分画像の画素値を予測する相関予測部と、を備えることを特徴とする。
本発明の一実施形態による画像の復号化方法は、(a)少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信するステップと、(b)前記受信された画像のうち第1色成分画像の所定サイズの画素ブロックを復号化するステップと、(c)以前に処理された第1色成分画像の復号化された周辺画素ブロックの画素値、第2色成分画像の復号化された周辺画素ブロックの画素値及び前記第1色成分画像の復号化されたブロックの画素値を利用して、対応する第2色成分画像の画素ブロックを復号化するステップと、を含むことを特徴とする。
本発明の他の実施形態による画像の復号化方法は、(a)少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信するステップと、(b)前記画像のうち第1色成分画像の所定サイズの画素ブロックを復号化するステップと、(c)前記復号化された第1色成分画像の画素ブロック内に存在するエッジを検出するステップと、(d)前記検出されたエッジを利用して、前記復号化された第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックを分離するステップと、(e)前記第1色成分画像の復号化された周辺画素ブロックの画素値、第2色成分画像の復号化された周辺画素ブロックの画素値及び前記第1色成分画像の復号化されたブロックの画素値を利用して、前記分離された各領域別に対応する第2色成分画像の画素ブロックの画素値を予測することによって、前記第2色成分画像の画素ブロックを復号化するステップと、を含むことを特徴とする。
本発明の一実施形態による画像復号化装置は、少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信し、前記画像のうち第1色成分画像の所定サイズの画素ブロックを復号化する第1色成分復号化部と、以前に処理された第1色成分画像の復号化された周辺画素ブロックの画素値、第2色成分画像の復号化された周辺画素ブロックの画素値及び前記第1色成分画像の復号化されたブロックの画素値を利用して、対応する第2色成分画像の画素ブロックを復号化する相関復号化部と、を備えることを特徴とする。
本発明の他の実施形態による画像復号化装置は、少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信し、前記画像のうち第1色成分画像の所定サイズの画素ブロックをイントラ予測して復号化された第1色成分画像の画素ブロックを出力する第1色成分復号化部と、前記復号化された第1色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部と、前記検出されたエッジを利用して、前記復号化された第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックを分離する領域分離部と、以前に処理された第1色成分画像の復号化された周辺画素ブロックの画素値、第2色成分画像の復号化された周辺画素ブロックの画素値及び前記第1色成分画像の復号化されたブロックの画素値を利用して、前記分離された各領域別に対応する第2色成分画像の画素ブロックの画素値を予測することによって、前記第2色成分画像の画素ブロックを復号化する相関復号化部と、を備えることを特徴とする。
本発明によれば、一つの画像を構成する複数の色成分画像間の相関関係を利用して予測符号化を行うことによって、画像の符号化効率を向上させうる。
また、本発明によれば、RGB入力画像をYUVドメインに変換せず、入力画像そのままRGBドメインで符号化を行うことによって、RGB入力画像を他のカラーフォーマットに変換する過程中に発生する色相の歪曲を防止して画像の品質を向上させうる。
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
図1Aないし図1Cは、それぞれ一つのカラー画像を構成するR(赤)色成分画像、G(緑)色成分画像及びB(青)色成分画像の一例を示す図であり、図2Aは、図1B及び図1CのG色成分画像とB色成分画像との相関関係を示すグラフであり、図2Bは、図1A及び図1BのR色成分画像とG色成分画像との相関関係を示すグラフである。
一般的に、カラー画像を符号化する時にそれぞれの色成分画像別に予測符号化を行って、それぞれの色成分内で重複される情報を除去する。図1Aないし図1Cを参照するに、一つのカラー画像を構成する同一位置のRGB色成分画像の画素値は、類似した画素値を有し、これは、図2A及び図2Bに示された相関関係グラフを通じて再確認しうる。
したがって、本発明は、画像を構成する複数の色成分画像のうち選択された第1色成分画像は、H.264標準案のような一般的な予測符号化方式によって符号化した後、それぞれの色成分画像間の相関関係を考慮して、復元された第1色成分画像から他の残りの色成分画像を予測する符号化方法を提供する。一例として、画像がRGBの三つの色成分を含んでいれば、本発明による画像符号化方法及び装置は、まずG色成分画像をイントラ予測またはインター予測を通じて予測符号化し、復元されたG色成分画像から対応するR色成分画像を予測した後、復元されたG色成分画像または復元されたR色成分画像を利用して残りのB色成分画像を予測する。前述した例で、色成分画像の符号化順序は、前記例に限定されず、いくらでも変更されうる。
図3は、本発明の望ましい一実施形態による画像符号化装置の構成を示すブロック図である。以下では、説明の便宜のために、H.264標準案による画像符号化装置を中心に説明するが、本発明による画像符号化装置は、レジデューコーディングを行う他の画像符号化装置にも適用可能である。図3を参照するに、画像符号化装置300は、動き推定部302、動き補償部304、イントラ予測部306、減算部307、変換部308、量子化部309、再整列部310、エントロピーコーディング部311、逆量子化部312、逆変換部313、相関予測部314、加算部315、フィルタ316、フレームメモリ317及び制御部318を備える。
動き推定部302及び動き補償部304は、第1色成分画像の現在画素ブロックの予測値を以前または以後の参照ピクチャーで探索するインター予測を行い、イントラ予測部306は、第1色成分画像の現在画素ブロックの予測値を現在ピクチャーから予測するイントラ予測を行う。一例として、H.264標準案による16×16イントラ予測モードを示す図4及び4×4イントラ予測モードを示す図5を参照するに、イントラ予測部306は、入力されたR、G、B色成分画像のうち一つの第1色成分画像を選択し、選択された第1色成分画像を所定サイズの画素ブロックに分割する。そして、イントラ予測部306は、分割された第1色成分画像の画素ブロックに対して、そのサイズによって、イントラ16×16予測モード、イントラ4×4予測モード、イントラ8×8予測モード(イントラ4×4予測モードと類似している)でイントラ予測を行う。第1色成分画像の画素ブロックの予測画素ブロックの形成のためのインター予測及びイントラ予測方式は、前記の例に限定されず、変形された形態の他のインター予測及びイントラ予測方式が適用されうる。
減算部307は、入力された第1色成分原画像の該当画素ブロックからインター予測またはイントラ予測を通じて予測された予測画素ブロックを取り出して第1レジデューを生成する。生成された第1レジデューは、変換部308によって周波数領域に変換され、量子化部309で量子化される。量子化された第1レジデュー成分の変換係数は、再整列部310で再整列された後、エントロピーコーディング部314によって符号化されてビットストリーム状に出力される。
変換及び量子化された第1レジデューは、逆量子化部312と逆変換部313とを通じてさらに逆量子化及び逆変換される。加算部315は、逆量子化及び逆変換された第1レジデュー成分と第1色成分画像の予測画素ブロックとを合算して、第1色成分画像の画素ブロックを復元する。このように復元された第1色成分画像は、デブロッキングフィルタリングを行うフィルタ316を経た後、フレームメモリ317に保存され、次のピクチャーに対するインター予測に使われる。また、復元された第1色成分画像の画素ブロックは、次の画素ブロックのイントラ予測のためにイントラ予測部306に入力されて参照値として利用される。また、復元された第1色成分画像の画素ブロックは、第1色成分画像を除外した残りの色成分画像の画素ブロックの予測のために、相関予測部314に入力される。
相関予測部314は、カラー画像を構成する色成分画像の相関関係を利用して、復元された第1色成分画像の所定サイズの画素ブロックから対応する残りの色成分画像の画素ブロックを予測する。前述した図2A及び図2Bを参照するに、カラー画像を構成する色成分画像の画素値は、相関関係を有する。相関予測部314は、このような第1色成分画像と残りの色成分画像との相関関係を所定の関数関係でモデリングすることによって予測子を生成し、生成された予測子を利用して第1色成分画像の所定サイズの画素ブロックの復元された画素値を媒介変数として同じ位置の他の色成分画像の画素値を予測する。特に、本発明による相関予測部314は、予測子の形成時に第1色成分画像の復元された周辺画素ブロックの画素値、残りの色成分画像の復元された周辺画素ブロックの画素値を利用する。前記モデリング過程で後述する。
一方、相関予測部314は、RGBカラー入力画像のように、3個以上の色成分を含んでいる入力画像を予測符号化するとき、残りの第2及び第3色成分画像の画素ブロックを何れも復元された第1色成分画像の画素ブロックを利用して予測するか、または第2色成分画像の画素ブロックは、復元された第1色成分画像の画素ブロックから予測し、第3色成分画像の画素ブロックは、復元された第2色成分画像の画素ブロックから予測しうる。すなわち、相関予測部314は、復元された第1色成分画像の画素ブロックから残りの色成分画像の画素ブロック全部を予測するか、または以前に第1色成分画像の画素ブロックから予測された他の色成分画像の復元された画素ブロックから残りの色成分画像の画素ブロックを予測しうる。
減算部307は、相関予測部314で予測された第2及び第3色成分原画像の画素ブロックから第2及び第3色成分原画像の画素ブロックを取り出して第2及び第3レジデューを生成する。第2及び第3レジデューは、前述した第1レジデューと同様に、変換、量子化及びエントロピー符号化過程を経て符号化されてビットストリーム状に出力される。
また、変換及び量子化された第2及び第3レジデューは、逆量子化部312と逆変換部313とを通じてさらに逆量子化及び逆変換され、加算部315は、逆量子化及び逆変換された第2及び第3レジデューのそれぞれは、相関予測部314で予測された第2及び第3色成分画像の該当画素ブロックと合算されて第2及び第3色成分画像の画素ブロックが復元される。このように復元された第2及び第3色成分画像は、デブロッキングフィルタリングを行うフィルタ316を経た後、フレームメモリ317に保存され、次のピクチャーに対するインター予測に使われる。前述したように、復元された第2色成分画像の画素ブロックから第3色成分画像の画素ブロックを予測する場合には、加算部315で復元された第2色成分画像の画素ブロックは、再び相関予測部314に入力される。
制御部318は、画像符号化装置300の各構成要素を制御する一方、現在画素ブロックの予測モードを決定する。具体的に、制御部318は、インター予測された画像、イントラ予測された画像及び本発明によって色成分画像間の相関関係を利用して予測された画像のコストを計算し、予測された画像のうちから最も低いコストを有する予測モードを最終的な予測モードと決定する。制御部318は、本発明によって予測された画像のコストが所定の臨界値より高い場合には、本発明による予測符号化方法の代りに、従来の技術によるインター予測またはイントラ予測を通じて各色成分画像を符号化するように選択しうる。
また、制御部318は、図2A及び図2Bに示したような各色成分画像間の相関関係を表す基準値を計算し、各色成分画像間の基準値が所定臨界値以下である場合には、本発明による予測符号化方法の代りに、従来の技術によるインター予測またはイントラ予測を通じて各色成分画像を符号化するように選択しうる。ここで、基準値としては、各色成分間の散布度を表す分散や標準偏差が利用される。
本発明による画像符号化方法によって符号化された画像のビットストリームのヘッダには、予測モード情報を挿入して、本発明によって色成分画像間の相関関係を考慮して復号化を行う。
図6は、本発明の望ましい一実施形態による画像符号化方法を示すフローチャートである。以下、図3及び図4を参照して、本発明による画像符号化装置の動作及び画像符号化方法について説明する。
ステップ410で、複数の色成分を有する入力画像のうち選択された第1色成分画像の所定サイズの画素ブロックに対する予測符号化を行う。前述したように、第1色成分画像の画素ブロックに対する予測符号化は、動き推定部302及び動き補償部304によるインター予測またはイントラ予測306によるイントラ予測を通じて行う。
図7Aは、入力画像に備えられたG色成分画像の16×16画素ブロック710、図7Bは、入力画像に備えられたB色成分画像の16×16画素ブロック720、図7Cは、入力画像に備えられたR色成分画像の16×16画素ブロック730を示す図である。ここで、gi,j、bi,j、ri,jは、それぞれG、B、R色成分画像の16×16画素ブロックで第i行及び第j列に位置した画素値を表す。また、図7Aないし図7Cのそれぞれでハッチングで表示された画素は、現在画素ブロック以前に処理された周辺画素ブロックの復元された画素ブロックを表す。
もし、G色成分画像、B色成分画像及びR色成分画像の順に符号化を行う場合、動き推定部302及び動き補償部304によるインター予測またはイントラ予測部306によるイントラ予測を通じてG色成分画像の16×16画素ブロックの予測画素ブロックが生成される。
減算部307は、G色成分原画像の16×16画素ブロックからG色成分画像の16×16予測画素ブロックとの差を計算して第1レジデューを生成し、生成された第1レジデューは、変換、量子化及びエントロピー符号化過程を経てビットストリーム状に出力される。
ステップ420で、第1レジデューに対する逆量子化及び逆変換過程を行い、G色成分画像の16×16予測画素ブロックと逆量子化及び逆変換された第1レジデューとを合算して、G色成分画像の16×16画素ブロックを復元する。
ステップ430で、相関予測部314は、G色成分画像の復元された周辺画素ブロックの画素値、残りの色成分画像の復元された周辺画素ブロックの画素値及びG色成分画像の復元された現在画素ブロックの画素値を利用して、対応する位置のB色成分画像の画素ブロックの画素値及びR色成分画像の画素ブロックの画素値を予測する。
復元されたG色成分画像の16×16画素ブロックの第i行、第j列に位置した画素値を
Figure 0005143120
前記
Figure 0005143120
に対応するB色成分画像の画素ブロックの第i行、第j列に位置した画素の予測値を
Figure 0005143120
とするとき、B色成分画像の画素ブロックは、次の式(1)のように、G色成分画像の復元された周辺画素ブロックの画素値
Figure 0005143120
B色成分画像の復元された周辺画素ブロックの画素値
Figure 0005143120
及び復元されたG色成分画像の現在画素ブロックの画素値
Figure 0005143120
を利用して予測される。
Figure 0005143120
式(1)で、関数fは多様に定義される。一実施形態として、G色成分画像の復元された現在画素ブロックの画素値
Figure 0005143120
と、これに対応するB色成分画像の現在画素ブロックの予測値
Figure 0005143120
とを、次の式(2)のように、1次関数関係で定義しうる。
Figure 0005143120
式(2)で、aは、G色成分画像とB色成分との相関関係を表す所定の加重値、bは、所定のオフセット値を表す。式(2)を通じて得られた予測画素値は、画像の各画素値を8ビットで表現する場合、0ないし255の定数値にクリッピングされる。
式(2)のa及びbの値は、画素の位置(i,j)によって変更されるが、本発明の実施形態では、所定のブロック内で定数値を有する場合を考慮する。一例として、前記a及びbの値は、第1色成分画像の周辺画素ブロックの復元された画素値を利用して予測された第2色成分画像の周辺画素ブロックの予測画素値と、第2色成分画像の周辺画素ブロックの復元された画素値との値を最小にする値に決定される。すなわち、第1色成分画像をG色成分画像とし、残りの色成分画像をB色成分画像とするとき、次の式(3)のように、B色成分画像の周辺画素ブロック内の復元された画素値
Figure 0005143120
と、前記式(2)を通じて予測された対応するB色成分画像の周辺画素ブロックの予測値
Figure 0005143120
との差の和が最小になる値に決定される。
Figure 0005143120
式(2)で、a及びbを決定する他の方法としてaの値を1に決定し、bは、次の式(4)のように、B色成分画像の周辺画素ブロック内の復元された画素値と、G色成分画像の復元された周辺画素ブロックの画素値との差の平均に決定しうる。
Figure 0005143120
このように、式(2)の定数a及びbの値が決定されれば、相関予測部314は、復元されたG色成分画像の画素ブロックの各画素値g’i,jを式(2)に代入して、対応するB色成分画像の画素ブロックの画素値を予測する。
また、他のa及びbの値の決定方法としては、統計分野で多く使用する線形回帰モデルに基づいた方法が利用される。
図8Aは、本発明による画像符号化方法及び装置で8×8画素ブロックの処理順序を示す図であり、図8Bは、本発明による画像符号化方法及び装置で4×4画素ブロックの処理順序を示す図である。
図8Aを参照するに、B色成分画像の画素ブロックを8×8モードで処理する場合、4個のB色成分画像の8×8画素ブロックは、左から右に、上方から下方への順に順次に予測される。B色成分画像の8×8画素ブロックの処理は、ブロックサイズが変わっただけであり、前述したB色成分画像の16×16画素ブロックの画素値を予測する過程と類似して、式(2)を通じてB色成分画像の8×8画素ブロック内の各画素値を予測しうる。8×8モードで処理するとき、式(2)のa及びbは、B色成分画像の復元された周辺画素ブロックの画素値と、対応するB色成分画像の周辺画素ブロックの予測値との差の和が最小化される値に決定されるか、またはaは1、bは、次の式(5)のように、B色成分画像の8×8周辺画素ブロック内の復元された画素値と、G色成分画像の8×8周辺画素ブロックの復元された画素値との差の平均に決定しうる。
Figure 0005143120
図8Bを参照するに、B色成分画像の画素ブロックを4×4モードで処理する場合、16個のB色成分画像の4×4画素ブロックは、左から右、上方から下方への順に順次に予測される。B色成分画像の各4×4画素ブロックの画素値は、ブロックサイズが変わっただけであり、前述したB色成分画像の16×16画素ブロックまたは8×8画素ブロックの画素値を予測する過程と類似して、式(2)を通じて予測しうる。
式(2)のa及びbは、B色成分画像の4×4画素ブロック内の復元された画素値と、対応するB色成分画像の周辺画素ブロックの予測値との差の和が最小化される値に決定されるか、またはaは1に固定され、bは、次の式(6)のように、B色成分画像の4×4周辺画素ブロック内の復元された画素値と、復元されたG色成分画像の4×4周辺画素ブロックの画素値との差の平均に決定しうる。
Figure 0005143120
前述したように、相関予測は、各マクロブロック(16×16)ごとに16×16、8×8、4×4ブロック単位でなされる。適応的な一実施形態として、前記三つのブロックモードのうち適した一つのブロック単位で各マクロブロックの相関予測がなされる。
減算部307は、B色成分原画像の画素ブロックから、相関予測部314で復元されたG色成分画像の画素ブロックの画素値を利用して予測された予測画素ブロックとの差を計算して第2レジデューを生成し、生成された第2レジデューは、変換、量子化及びエントロピー符号化過程を経てビットストリーム状に出力される。
次いで、R色成分画像の画素ブロックの画素値は、前述したB色成分画像の画素ブロックの画素値と類似して、復元されたG色成分画像の画素ブロックの画素値を利用して予測される。
一方、相関予測部314は、R色成分画像の画素ブロックの画素値を予測するとき、復元されたG色成分画像の画素ブロックの代りに、以前に処理されたB色成分画像の画素ブロックの復元された画素値を利用して予測しうる。すなわち、B色成分原画像の画素ブロックからB色成分画像の予測画素ブロックとの差である第2レジデューを変換及び量子化した値をさらに逆変換及び逆量子化し、逆変換及び逆量子化された第2レジデューとB色成分画像の予測画素ブロックとを合算することによって、復元されたB色成分の画素ブロックをR色成分画像の画素ブロックの予測に利用しうる。
具体的に、復元されたB色成分画像の画素ブロックの第i行、第j列に位置した画素値を
Figure 0005143120
前記
Figure 0005143120
に対応するR色成分画像の画素ブロックの第i行、第j列に位置した画素の予測値を
Figure 0005143120
は、B色成分画像とR色成分との相関関係を表す所定の加重値、dは、所定のオフセット値とするとき、相関予測部314は、B色成分画像の画素値とR色成分画像との相関関係を、次の式(7)のように、1次関数としてモデリングし、B色成分画像の画素値に対応するR色成分画像の画素値を予測する。
Figure 0005143120
前述したように、式(7)を通じて得られた予測画素値は、画像の各画素値を8ビットで表現する場合、0ないし255の整数値にクリッピングされる。前記c及びdの値は、前述したa及びbの値の決定過程と類似して、B色成分画像の復元された周辺画素ブロックの画素値及びR色成分画像の復元された周辺画素ブロックの画素値を利用して決定される。
式(7)の定数c及びdの値が決定されれば、相関予測部314は、復元されたB色成分画像の画素ブロックの各画素値B’i,jを式(6)に代入して、対応するR色成分画像の画素ブロックの画素値を予測する。
式(2)及び式(7)のa及びb、c及びdの値は、生成されたビットストリームのヘッダに予測モード情報として挿入されて復号化器に伝送されることによって、復号化器で復号化を行えるようにすることが望ましい。しかし、復号器でも符号器と同じ方法で各色成分の復元された周辺画素を利用して、a及びb、c及びdの値を生成しうるため、a及びb、c及びdの値を別途にビットストリームに含めず、復号器に生成して使用することも可能である。
図9は、本発明の他の実施形態による画像符号化装置の構成を示すブロック図であり、図10は、本発明の他の実施形態による画像符号化方法を示すフローチャートである。
本発明の他の実施形態による画像符号化装置900は、前述した本発明の一実施形態による図3の画像符号化装置300とその構成及び動作において類似しているが、復元された第1色成分画像でエッジを検出するエッジ検出部901及び領域分離部902をさらに備えている。以下では、前述した本発明の一実施形態による画像符号化装置と同じ構成要素についての具体的な説明は省略し、本発明の一実施形態による画像符号化装置と差がある部分を中心に、本発明の他の実施形態による画像符号化装置及び方法について説明する。
ステップ1010で、動き推定部903及び動き補償部904による動き予測補償またはイントラ予測部905によるイントラ予測を通じて、G色成分画像の画素ブロックに対する予測画素ブロックを生成する。G色成分画像の予測画素ブロックとG色成分原画像の原画像の画素ブロックとの差である第1レジデューは、変換、量子化及びエントロピー符号化過程を通じて符号化されてビットストリームに出力される。
ステップ1020で、変換及び量子化された第1レジデューに対して逆変換及び逆量子化過程を行って第1レジデューを復元した後、G色成分画像の予測画素ブロックと第1レジデューとを合算して、G色成分画像の画素ブロックを復元する。
ステップ1030で、エッジ検出部901は、復元された第1色成分画像の所定サイズの画素ブロック内に存在するエッジを検出する。画素ブロック内に存在するエッジを検出する理由は、画素ブロック内にエッジが存在する場合、エッジを中心に分けられた画素ブロック内の領域間でもカラー特性が変化するためである。したがって、本発明の他の実施形態による画像符号化方法及び装置は、画素ブロック内に存在するエッジを検出し、検出されたエッジを中心に画素ブロックを分離した後、分離された領域別に前述した本発明の一実施形態と類似して、復元された第1色成分画像の画素値から他の残りの色成分画像の画素値を予測する。
エッジ検出方法としては、ソベル演算子、キャニーエッジ検出アルゴリズムなどの多様なエッジ検出アルゴリズムが適用される。また、エッジ検出部901を備えず、イントラ予測部905で決定されたイントラ予測モードの方向をエッジ方向に判断することもある。
ステップ1040で、領域分離部902は、検出されたエッジを利用して、第1色成分画像の画素ブロック及び対応する残りの色成分画像の画素ブロックを分離する。
図11Aは、検出されたエッジを利用して、G色成分画像の画素ブロックを分離する一例を示す図であり、図11Bは、検出されたエッジを利用して、B色成分画像の画素ブロックを分離する一例を示す図であり、図11Cは、検出されたエッジを利用して、R色成分画像の画素ブロックを分離する一例を示す図である。図11Aないし図11Cを参照するに、エッジ検出部901で復元されたG色成分画像の画素ブロック内に一つのエッジが存在すると判断されれば、領域分離部902は、B色成分画像の画素ブロック及びR色成分画像の画素ブロックにも同じエッジが存在すると判断し、検出されたエッジを利用して、各色成分の画素ブロックを2個の領域I,IIに分離する。
ステップ1050で、相関予測部913は、復元されたG色成分画像の画素ブロックを利用して、分離された各領域別に対応する残りのB色成分画像及びR色成分画像の画素ブロックの画素値を予測する。すなわち、相関予測部913は、第1領域Iに存在する復元されたG色成分画像の画素値g’i,jを利用して、第1領域Iに対応するB色成分画像の画素ブロック内の画素値及びR色成分画像の画素ブロック内の画素値を予測する。同様に、相関予測部913は、第2領域IIに存在する復元されたG色成分画像の画素値g’i,jを利用して、第2領域IIに対応するB色成分画像の画素ブロック内の画素値及びR色成分画像の画素ブロック内の画素値を予測する。
具体的に、各色成分画像の画素ブロックがn個の領域に分離され、復元されたG色成分画像の画素ブロックの第k領域(k=1,2,...,n)内の任意の画素値を
Figure 0005143120
前記
Figure 0005143120
に対応するB色成分画像の画素ブロックの第k領域の画素の予測値を
Figure 0005143120
は、前記G色成分画像の第k領域とB色成分画像の第k領域との相関関係を表す所定の加重値、fは、所定のオフセット値とすれば、前記B色成分画像の画素ブロックの画素値は、前述した式(2)と類似して、次の式(8)を通じて予測される。
Figure 0005143120
式(8)で、定数e及びfは、第1色成分画像の周辺画素ブロックの復元された画素値を利用して予測された第2色成分画像の画素ブロックの第k領域に隣接した第2色成分画像の周辺画素ブロックの予測画素値と、第2色成分画像の画素ブロックの第k領域に隣接した第2色成分画像の周辺画素ブロックの復元された画素値との差を最小にする値に決定される。
簡単な例として、eは1であり、fは、第2色成分画像の画素ブロックの第k領域に隣接した第2色成分画像の周辺画素ブロックの復元された画素値と、第2色成分画像の画素ブロックの第k領域に隣接した第1色成分画像の周辺画素ブロックの復元された画素値との差の平均を利用して決定される。図11A及び図11Bを参照するに、第1色成分画像をG色成分画像、第2色成分画像をB色成分画像とするとき、第1領域Iに適用する式(9)のfは、現在画素ブロックの第1領域Iに隣接したG色成分画像の周辺画素ブロックの画素1110の復元された画素値、及びこれに対応するB色成分画像の周辺画素ブロックの画素1112の復元された画素値を利用して、次の式(9)のように定義される。
Figure 0005143120
同様に、第2領域IIに適用する式(8)のfは、現在画素ブロックの第2領域IIに隣接したG色成分画像の周辺画素ブロックの画素1120,1130の復元された画素値及びこれに対応するB色成分画像の周辺画素ブロックの画素1122,1132の復元された画素値を利用して、次の式(10)のように定義される。
Figure 0005143120
前述した各領域別のB色成分画像の画素ブロックの画素値を各領域別に予測することと類似して、R色成分画像の画素ブロックの画素値を各領域別に予測しうる。
一方、R色成分画像の画素ブロックの画素値を予測するとき、復元されたG色成分画像の画素ブロックの画素値を利用する代わりに、前述した式(7)と類似して、同一領域内に存在する復元されたB色成分画像の画素ブロックの画素値を利用して、R色成分画像の画素ブロックの画素値を予測しうる。
図12は、本発明の望ましい実施形態による画像復号化装置の構成を示す図である。図12を参照するに、本発明による画像復号化装置1200は、エントロピーデコーディング部1210、再整列部1220、逆量子化部1230、逆変換部1240、イントラ予測部1250、動き補償部1260、相関予測部1270及びフィルタ1280を備える。
前記エントロピーデコーディング部1210及び再整列部1220は、圧縮されたビットストリームを受信してエントロピー復号化を行って、量子化された係数を生成する。前記逆量子化部1230及び逆変換部1240は、量子化された係数に対する逆量子化及び逆変換を行って、各色成分画像のレジデュー情報、動きベクトル情報及び予測モード情報を抽出する。ここで、予測モード情報には、本発明によるイントラ予測方法によって符号化されたビットストリームであるか否かを表す所定のシンタックスが含まれる。また、本発明による画像符号化方法によって符号化されたビットストリームの場合、前記予測モード情報には、残りの色成分画像の画素ブロックの画素値の予測に利用される予測子情報、すなわち、前述した式(2)のa及びb、式(7)のc及びd、式(8)のe及びf値情報が含まれる。
動き補償部1260は、現在画素ブロックがインター予測された画素ブロックである場合、動き補償及び予測を通じて予測ブロックを生成する。イントラ予測部1250は、現在画素ブロックがイントラ予測された画素ブロックである場合、イントラ予測を行って、予測画素ブロックを生成する。
加算部1275は、第1色成分画像の予測画素ブロックと逆変換部1240から出力される第1レジデューとを合算して、第1色成分画像の画素ブロックを復号化する。復号化された第1色成分画像の画素ブロックは、さらに相関予測部1270に入力される。相関予測部1270は、復号化された第1色成分画像の画素ブロックを利用して、対応する残りの色成分画像の画素ブロックを復号化する。
具体的に、前述した本発明による図3の相関予測部314と同様に、相関予測部1270は、復号化された第1色成分画像の画素ブロックの画素値を式(2)に代入して、第2または第3色成分画像の画素ブロックの画素値を予測しうる。もし、第3色成分画像が復元された第2色成分画像を利用して予測された場合には、前述した式(7)のように、復元された第2色成分画像の画素ブロックの画素値を利用して、第3色成分画像の画素ブロックの画素値を予測しうる。
相関予測部1270で予測された第2及び第3色成分画像の予測画素ブロックのそれぞれは、逆変換部1240から出力される第2レジデュー及び第3レジデュー成分と合算されることによって、第2及び第3色成分画像の画素ブロックが復号化される。
一方、前述した本発明の他の実施形態によって、画素ブロック内に存在するエッジを検出して、各領域別に符号化されたビットストリームを符号化する場合には、受信された複数の色成分の符号化された画像を備えるビットストリームで、第1色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部(図示せず)、及び検出されたエッジを利用して各色成分画像の画素ブロックを分離する領域分離部(図示せず)をさらに備えうる。この場合、図9の相関予測部913と同様に、相関予測部1270は、復号化されたG色成分画像の画素ブロックを利用して、分離された各領域別に対応する残りのB色成分画像及びR色成分画像の画素ブロックの画素値を予測する。また、前述したように、残りの色成分画像の画素値の予測に利用される予測子の定数値は、周辺画素ブロックの復元された画素値を利用して決定されるか、またはビットストリームに備えられた予測モード情報を利用して決定される。
図13は、本発明の一実施形態による画像復号化方法を示すフローチャートである。図13を参照するに、ステップ1310で、少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信する。
ステップ1320で、ビットストリームに備えられた複数の色成分の画像のうちから第1色成分画像の所定サイズの画素ブロックに対する予測画素ブロックを生成し、ステップ1330で、第1色成分画像の予測画素ブロックを第1レジデューと合算して、第1色成分画像の画素ブロックを復号化する。
ステップ1340で、復号化された第1色成分画像の画素ブロック、第1色成分画像の復号化された周辺画素ブロック及び現在復号化しようとする残りの色成分画像の復号化された周辺画素ブロックを利用して、残りの色成分画像の画素ブロックの画素値を予測することによって、残りの色成分画像の画素ブロックの予測画素ブロックを生成する。前述したように、残りの色成分画像の画素ブロックの予測に利用される式(2)または式(7)のような予測子を形成するために、ビットストリームに備えられた予測モード情報を利用するか、または第1色成分画像の復号化された周辺画素ブロック及び現在復号化しようとする残りの色成分画像の復号化された周辺画素ブロックを利用する。次いで、相関予測部1270は、復号化された第1色成分画像の画素ブロックの画素値を利用して、残りの第2及び第3色成分画像の画素ブロックの画素値を予測するか、または復号化された第2色成分画像を利用して、第3色成分画像の画素ブロックの画素値を予測する。
ステップ1350で、第2及び第3色成分画像の画素ブロックの予測画素ブロックそれぞれを、逆変換された第2レジデュー及び第3レジデュー成分と合算して、第2及び第3色成分画像の画素ブロックを復号化する。
図14は、本発明の他の実施形態による画像復号化方法を示すフローチャートである。本発明の他の実施形態による画像復号化方法は、各色成分画像の画素ブロック内に存在するエッジを中心に各領域別に分離されて符号化された色成分画像の画素ブロックを復元することを除いては、前述した本発明の一実施形態による画像復号化方法と類似している。
図14を参照するに、ステップ1410で、少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信する。
ステップ1420で、複数の色成分の画像のうちから第1色成分画像の所定サイズの画素ブロックを復号化する。
ステップ1430で、復号化された第1色成分画像の画素ブロック内に存在するエッジを検出する。
ステップ1440で、検出されたエッジを利用して、復号化された第1色成分画像の画素ブロック及び対応する残りの色成分画像の画素ブロックを分離する。
ステップ1450で、復号化された第1色成分画像の画素ブロックを利用して、分離された各領域別に第2及び第3色成分画像の画素ブロックの画素値を予測する。
各領域別に予測された第2及び第3色成分画像の画素値は、結合されて第2及び第3色成分画像の予測画素ブロックが形成され、第2及び第3色成分の予測画素ブロックは、逆変換された第2レジデュー及び第3レジデュー成分と合算されて、第2及び第3色成分画像の画素ブロックが復号化される。
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM(リード オンリ メモリ)、RAM(ランダム アクセス メモリ)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置があり、また、キャリアウェーブ(例えば、インターネットを通じた伝送)状に具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行される。
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
一つのカラー画像を構成するR色成分画像の一例を示す図である。 一つのカラー画像を構成するG色成分画像の一例を示す図である。 一つのカラー画像を構成するB色成分画像の一例を示す図である。 図1B及び図1CのG色成分画像とB色成分画像との相関関係を示すグラフである。 図1A及び図1BのR色成分画像とG色成分画像との相関関係を示すグラフである。 本発明の望ましい一実施形態による画像符号化装置の構成を示すブロック図である。 H.264標準案による16×16イントラ予測モードを示す図である。 H.264標準案による4×4イントラ予測モードを示す図である。 本発明の望ましい一実施形態による画像符号化方法を示すフローチャートである。 入力画像に備えられたG色成分画像の16×16画素ブロックを示す図である。 入力画像に備えられたB色成分画像の16×16画素ブロックを示す図である。 入力画像に備えられたR色成分画像の16×16画素ブロックを示す図である。 本発明による画像符号化方法及び装置で、8×8画素ブロックの処理順序を示す図である。 本発明による画像符号化方法及び装置で、4×4画素ブロックの処理順序を示す図である。 本発明の他の実施形態による画像符号化装置の構成を示すブロック図である。 本発明の他の実施形態による画像符号化方法を示すフローチャートである。 図9の領域分離部で検出されたエッジを利用して、G色成分画像の画素ブロックを分離する一例を示す図である。 図9の領域分離部で検出されたエッジを利用して、B色成分画像の画素ブロックを分離する一例を示す図である。 図9の領域分離部で検出されたエッジを利用して、R色成分画像の画素ブロックを分離する一例を示す図である。 本発明の望ましい実施形態による画像復号化装置の構成を示す図である。 本発明の一実施形態による画像復号化方法を示すフローチャートである。 本発明の他の実施形態による画像復号化方法を示すフローチャートである。

Claims (44)

  1. 画像の符号化方法において、
    (a)入力画像に備えられた少なくとも2つの色成分の画像のうち、第1色成分画像の所定サイズの画素ブロックに対する予測符号化を行うステップと、
    (b)前記予測符号化された第1色成分画像の画素ブロックを復元するステップと、
    (c)前記入力画像のうち前記第1色成分画像の復元された周辺画素ブロックの画素値、前記入力画像のうち第2色成分画像の復元された周辺画素ブロックの画素値及び前記入力画像のうち前記第1色成分画像の復元された画素ブロックの画素値を利用して、対応する第2色成分画像の画素ブロックを予測するステップと、を含むことを特徴とする符号化方法。
  2. 前記色成分は、
    R(赤)色成分、G(緑)色成分及びB(青)色成分であることを特徴とする請求項1に記載の符号化方法。
  3. 前記(c)ステップは、
    前記第1色成分画像の復元された画素ブロックのサイズをi×j(i、jは、整数)、前記第1色成分画像の復元された画素ブロックの第1行、第j列に位置した第1色成分の画素値を
    Figure 0005143120
    前記
    Figure 0005143120
    に対応する第2色成分画像の予測画素ブロックの第i行、第j列に位置した予測画素値を
    Figure 0005143120
    は、前記第1色成分画像と第2色成分画像との相関関係を表す所定の加重値、bは、所定のオフセット値とするとき、次の数式;
    Figure 0005143120
    を利用して前記
    Figure 0005143120
    を予測することを特徴とする請求項1に記載の符号化方法。
  4. 前記a及びbは、
    前記第1色成分画像の周辺画素ブロックの復元された画素値を利用して予測された第2色成分画像の周辺画素ブロックの予測画素値と、前記第2色成分画像の周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項3に記載の符号化方法。
  5. 前記aは1であり、前記bは、前記第2色成分の周辺画素ブロックの復元された画素値と前記第1色成分画像の周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項3に記載の符号化方法。
  6. 前記a及びbは、
    線形回帰モデルに基づいて決定されることを特徴とする請求項3に記載の符号化方法。
  7. 前記(c)ステップは、
    前記第1色成分画像の復元された画素ブロックを利用して、前記第2色成分画像の画素ブロックの予測画素ブロックを生成し、復元された第2色成分画像の画素ブロックを利用して、前記第3色成分ブロック画像の予測画素ブロックを生成することを特徴とする請求項3に記載の符号化方法。
  8. 画像の符号化方法において、
    (a)入力画像に備えられた少なくとも2つの色成分の画像のうち、第1色成分画像の画素ブロックに対する予測符号化を行うステップと、
    (b)前記予測符号化された第1色成分画像の画素ブロックを復元するステップと、
    (c)前記復元された第1色成分画像の所定サイズの画素ブロック内に存在するエッジを検出するステップと、
    (d)前記検出されたエッジを利用して、前記第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックを分離するステップと、
    (e)前記入力画像のうち前記第1色成分画像の復元された周辺画素ブロックの画素値、前記入力画像のうち前記第2色成分画像の復元された周辺画素ブロックの画素値及び前記入力画像のうち前記第1色成分画像の復元された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第2色成分画像の画素値を予測するステップと、を含むことを特徴とする符号化方法。
  9. 前記(e)ステップは、
    前記第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックは、それぞれn(nは、整数)個の領域に分離され、前記復元された第1色成分画像の画素ブロックの第k領域(k=1,2,...,n)内の任意の画素値を
    Figure 0005143120
    前記
    Figure 0005143120
    に対応する第2色成分画像の画素ブロックの第k領域の予測画素値を
    Figure 0005143120
    は、前記第1色成分画像の第k領域と第2色成分画像の第k領域との相関関係を表す所定の加重値、fは、所定のオフセット値とするとき、次の数式;
    Figure 0005143120
    を利用して前記
    Figure 0005143120
    を予測することを特徴とする請求項8に記載の符号化方法。
  10. 前記e及びfは、
    前記第1色成分画像の周辺画素ブロックの復元された画素値を利用して予測された前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの予測画素値と、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項9に記載の符号化方法。
  11. 前記eは1であり、前記fは、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの復元された画素値と、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第1色成分画像の周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項9に記載の符号化方法。
  12. 前記e及びfは、
    線形回帰モデルに基づいて決定されることを特徴とする請求項9に記載の符号化方法。
  13. 画像符号化装置において、
    入力画像に備えられた少なくとも2つの色成分の画像のうち、第1色成分画像の所定サイズの画素ブロックに対する予測符号化を行う予測符号化部と、
    前記予測符号化された第1色成分画像の画素ブロックを復元する復元部と、
    前記入力画像のうち前記第1色成分画像の復元された周辺画素ブロックの画素値、前記入力画像のうち第2色成分画像の復元された周辺画素ブロックの画素値及び前記入力画像のうち前記第1色成分画像の復元された画素ブロックの画素値を利用して、対応する第2色成分画像の画素ブロックを予測する相関予測部と、を備えることを特徴とする符号化装置。
  14. 前記色成分は、
    R色成分、G色成分及びB色成分であることを特徴とする請求項13に記載の符号化装置。
  15. 前記相関予測部は、
    前記第1色成分画像の復元された画素ブロックのサイズをi×j(i、jは、整数)、前記第1色成分画像の復元された画素ブロックの第1行、第j列に位置した第1色成分の画素値を
    Figure 0005143120
    前記
    Figure 0005143120
    に対応する第2色成分画像の予測画素ブロックの第i行、第j列に位置した予測画素値を
    Figure 0005143120
    は、前記第1色成分画像と第2色成分画像との相関関係を表す所定の加重値、bは、所定のオフセット値とするとき、次の数式;
    Figure 0005143120
    を利用して前記
    Figure 0005143120
    を予測することを特徴とする請求項13に記載の符号化装置。
  16. 前記a及びbは、
    前記第1色成分画像の周辺画素ブロックの復元された画素値を利用して予測された第2色成分画像の周辺画素ブロックの予測画素値と、前記第2色成分画像の周辺画素ブロックの復元された画素値との間の差を最小にする値であることを特徴とする請求項15に記載の符号化装置。
  17. 前記aは1であり、前記bは、前記第2色成分の周辺画素ブロックの復元された画素値と前記第1色成分画像の周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項15に記載の符号化装置。
  18. 前記a及びbは、
    線形回帰モデルに基づいて決定されることを特徴とする請求項15に記載の符号化装置。
  19. 前記相関予測部は、
    前記第1色成分画像の復元された画素ブロックを利用して、前記第2色成分画像の画素ブロックの予測画素ブロックを生成し、復元された第2色成分画像の画素ブロックを利用して、前記第3色成分ブロック画像の予測画素ブロックを生成することを特徴とする請求項13に記載の符号化装置。
  20. 画像の符号化装置において、
    入力画像に備えられた少なくとも2つの色成分の画像のうち、第1色成分画像の所定サイズの画素ブロックに対する予測符号化を行う予測符号化部と、
    前記予測符号化された第1色成分画像の画素ブロックを復元する復元部と、
    前記復元された第1色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部と、
    前記検出されたエッジを利用して、前記第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックを分離する領域分離部と、
    前記入力画像のうち前記第1色成分画像の復元された周辺画素ブロックの画素値、前記入力画像のうち第2色成分画像の復元された周辺画素ブロックの画素値及び前記入力画像のうち前記第1色成分画像の復元された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第2色成分画像の画素値を予測する相関予測部と、を備えることを特徴とする符号化装置。
  21. 前記相関予測部は、
    前記第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックは、それぞれn(nは、整数)個の領域に分離され、前記復元された第1色成分画像の画素ブロックの第k領域(k=1,2,...,n)内の任意の画素値を
    Figure 0005143120
    前記
    Figure 0005143120
    に対応する第2色成分画像の画素ブロックの第k領域の予測画素値を
    Figure 0005143120
    は、前記第1色成分画像の第k領域と第2色成分画像の第k領域との相関関係を表す所定の加重値、fは、所定のオフセット値とするとき、次の数式;
    Figure 0005143120
    を利用して前記
    Figure 0005143120
    を予測することを特徴とする請求項20に記載の符号化装置。
  22. 前記e及びfは、
    前記第1色成分画像の周辺画素ブロックの復元された画素値を利用して予測された前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの予測画素値と、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項21に記載の符号化装置。
  23. 前記eは1であり、前記fは、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの復元された画素値と、前記色成分画像の画素ブロックの第k領域に隣接した前記第1色成分画像の周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項21に記載の符号化装置。
  24. 前記e及びfは、
    線形回帰モデルに基づいて決定されることを特徴とする請求項22に記載の符号化装置。
  25. 画像の復号化方法において、
    (a)少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信するステップと、
    (b)前記受信された画像のうち、第1色成分画像の所定サイズの画素ブロックを復号化するステップと、
    (c)前記受信された画像のうち以前に処理された前記第1色成分画像の復元された周辺画素ブロックの画素値、前記受信された画像のうち第2色成分画像の復元された周辺画素ブロックの画素値及び前記受信された画像のうち前記第1色成分画像の復元された画素ブロックの画素値を利用して、対応する第2色成分画像の画素ブロックを復号化するステップと、を含むことを特徴とする復号化方法。
  26. 前記色成分は、
    R色成分、G色成分及びB色成分であることを特徴とする請求項25に記載の復号化方法。
  27. 前記(c)ステップは、
    (c1)前記ビットストリームに備えられた前記第1色成分画像と第2色成分画像との相関関係を表す所定の加重値a及び所定のオフセット値bを抽出するステップと、
    (c2)前記第1色成分画像の復元された画素ブロックのサイズをi×j(i、jは、整数)、前記第1色成分画像の復元された画素ブロックの第i行、第j列に位置した第1色成分の画素値を
    Figure 0005143120
    前記
    Figure 0005143120
    に対応する第2色成分画像の予測画素ブロックの第i行、第j列に位置した予測画素値を
    Figure 0005143120
    とするとき、次の数式;
    Figure 0005143120
    を利用して予測された前記
    Figure 0005143120
    で構成された第2色成分画像の予測画素ブロックを生成するステップと、
    (c3)前記ビットストリームに備えられた前記第2色成分原画像の画素ブロックと、前記第2色成分画像の予測画素ブロックとの差である第2レジデューを復号化するステップと、
    (c4)前記復号化された第2レジデューと前記第2色成分画像の予測画素ブロックとを合算して、第2色成分画像の画素ブロックを復号化するステップと、をさらに含むことを特徴とする請求項25に記載の復号化方法。
  28. 前記a及びbは、
    前記第1色成分画像の周辺画素ブロックの復号化された画素値を利用して予測された第2色成分画像の周辺画素ブロックの予測画素値と、前記第2色成分画像の周辺画素ブロックの復号化された画素値との間の差を最小にする値であることを特徴とする請求項27に記載の復号化方法。
  29. 前記aは1であり、前記bは、前記第2色成分の周辺画素ブロックの復号化された画素値と、前記第1色成分画像の周辺画素ブロックの復号化された画素値との差の平均であることを特徴とする請求項27に記載の復号化方法。
  30. 前記a及びbは、
    線形回帰モデルに基づいて決定されることを特徴とする請求項28に記載の復号化方法。
  31. 前記(c)ステップは、
    前記第1色成分画像の復号化された画素ブロックを利用して、前記第2色成分画像の画素ブロックの画素ブロックを復号化し、復号化された第2色成分画像の画素ブロックを利用して、前記第3色成分ブロック画像の画素ブロックを復号化することを特徴とする請求項27に記載の復号化方法。
  32. 画像の復号化方法において、
    (a)少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信するステップと、
    (b)前記画像のうち第1色成分画像の所定サイズの画素ブロックを復号化するステップと、
    (c)前記復号化された第1色成分画像の画素ブロック内に存在するエッジを検出するステップと、
    (d)前記検出されたエッジを利用して、前記復号化された第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックを分離するステップと、
    (e)前記画像のうち前記第1色成分画像の復号化された周辺画素ブロックの画素値、前記画像のうち第2色成分画像の復号化された画素ブロックの画素値及び前記画像のうち前記第1色成分画像の復号化された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第2色成分画像の画素ブロックの画素値を予測することによって、前記第2色成分画像の画素ブロックを復号化するステップと、を含むことを特徴とする復号化方法。
  33. 前記(e)ステップは、
    (e1)前記ビットストリームに備えられた前記第1色成分画像と第2色成分画像との相関関係を表す所定の加重値e及び所定のオフセット値fを抽出するステップと、
    (e2)前記復号化された第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックは、それぞれn(nは、整数)個の領域に分離され、前記復号化された第1色成分画像の画素ブロックの第k領域(k=1,2,...,n)内の任意の画素値を
    Figure 0005143120
    前記
    Figure 0005143120
    に対応する第2色成分画像の画素ブロックの第k領域の画素の予測値を
    Figure 0005143120
    とするとき、次の数式;
    Figure 0005143120
    を利用して予測される前記
    Figure 0005143120
    で構成された第2色成分画像の予測画素ブロックを生成するステップと、
    (e3)前記ビットストリームに備えられた前記第2色成分原画像の画素ブロックと前記第2色成分画像の予測画素ブロックとの差である第2レジデューを復号化するステップと、
    (e4)前記復号化された第2レジデューと前記第2色成分画像の予測画素ブロックとを合算して、第2色成分画像の画素ブロックを復号化するステップと、をさらに含むことを特徴とする請求項32に記載の復号化方法。
  34. 前記e及びfは、
    前記第1色成分画像の周辺画素ブロックの復号化された画素値を利用して予測された前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの予測画素値と、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの復号された画素値との差を最小にする値であることを特徴とする請求項33に記載の復号化方法。
  35. 前記eは1であり、前記fは、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの復号化された画素値と、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第1色成分画像の周辺画素ブロックの復号化された画素値との差の平均であることを特徴とする請求項33に記載の復号化方法。
  36. 画像復号化装置において、
    少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信し、前記画像のうち第1色成分画像の所定サイズの画素ブロックを復号化する第1色成分復号化部と、
    前記画像のうち以前に処理された第1色成分画像の復号化された周辺画素ブロックの画素値、前記画像のうち第2色成分画像の復号化された画素ブロックの画素値及び前記画像のうち前記第1色成分画像の復号化された画素ブロックの画素値を利用して、対応する第2色成分画像の画素ブロックを復号化する相関復号化部と、を備えることを特徴とする復号化装置。
  37. 前記相関復号化部は、
    前記第1色成分画像の復号化された画素ブロックのサイズをi×j(i、jは、整数)、前記第1色成分画像の復号化された画素ブロックの第i行、第j列に位置した第1色成分の画素値を
    Figure 0005143120
    前記
    Figure 0005143120
    に対応する第2色成分画像の予測画素ブロックの第i行、第j列に位置した予測画素値を
    Figure 0005143120
    とするとき、前記ビットストリームから抽出された前記第1色成分画像と第2色成分画像との相関関係を表す所定の加重値a及び所定のオフセット値bを利用して、次の数式;
    Figure 0005143120
    を通じて前記
    Figure 0005143120
    で構成された第2色成分画像の予測画素ブロックを生成することを特徴とする請求項36に記載の復号化装置。
  38. 前記a及びbは、
    前記第1色成分画像の周辺画素ブロックの復号化された画素値を利用して予測された第2色成分画像の周辺画素ブロックの予測画素値と、前記第2色成分画像の周辺画素ブロックの復号化された画素値との間の差を最小にする値であることを特徴とする請求項37に記載の復号化装置。
  39. 前記aは1であり、前記bは、前記第2色成分の周辺画素ブロックの復号化された画素値と、前記第1色成分画像の周辺画素ブロックの復号化された画素値との差の平均であることを特徴とする請求項37に記載の復号化装置。
  40. 前記a及びbは、
    線形回帰モデルに基づいて決定されることを特徴とする請求項37に記載の復号化装置。
  41. 画像復号化装置において、
    少なくとも2つの色成分の符号化された画像を備えるビットストリームを受信し、前記画像のうち第1色成分画像の所定サイズの画素ブロックをイントラ予測して復号化された第1色成分画像の画素ブロックを出力する第1色成分復号化部と、
    前記復号化された第1色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部と、
    前記検出されたエッジを利用して、前記復号化された第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックを分離する領域分離部と、
    前記画像のうち以前に処理された第1色成分画像の復号化された周辺画素ブロックの画素値、前記画像のうち第2色成分画像の復号化された画素ブロックの画素値及び前記画像のうち前記第1色成分画像の復号化された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第2色成分画像の画素ブロックの画素値を予測することによって、前記第2色成分画像の画素ブロックを復号化する相関復号化部と、を備えることを特徴とする復号化装置。
  42. 前記相関復号化部は、
    前記復号化された第1色成分画像の画素ブロック及び対応する第2色成分画像の画素ブロックは、それぞれn(nは、整数)個の領域に分離され、前記復号化された第1色成分画像の画素ブロックの第k領域(k=1,2,...,n)内の任意の画素値を
    Figure 0005143120
    前記
    Figure 0005143120
    に対応する第2色成分画像の画素ブロックの第k領域の画素の予測値を
    Figure 0005143120
    とするとき、前記ビットストリームに備えられた前記第1色成分画像と第2色成分画像との相関関係を表す所定の加重値e及び所定のオフセット値fを利用して、次の数式;
    Figure 0005143120
    を通じて前記
    Figure 0005143120
    で構成された第2色成分画像の予測画素ブロックを生成することを特徴とする請求項41に記載の復号化装置。
  43. 前記e及びfは、
    前記第1色成分画像の周辺画素ブロックの復号化された画素値を利用して予測された前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの予測画素値と、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの復号された画素値との差を最小にする値であることを特徴とする請求項42に記載の復号化装置。
  44. 前記eは1であり、前記fは、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第2色成分画像の周辺画素ブロックの復号化された画素値と、前記第2色成分画像の画素ブロックの第k領域に隣接した前記第1色成分画像の周辺画素ブロックの復号化された画素値との差の平均であることを特徴とする請求項42に記載の復号化装置。
JP2009501352A 2006-03-23 2007-03-20 画像の符号化方法及び装置、復号化方法及び装置 Expired - Fee Related JP5143120B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US78491106P 2006-03-23 2006-03-23
US60/784,911 2006-03-23
US78672206P 2006-03-29 2006-03-29
US60/786,722 2006-03-29
KR10-2006-0063485 2006-07-06
KR1020060063485A KR101200865B1 (ko) 2006-03-23 2006-07-06 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
PCT/KR2007/001365 WO2007108640A2 (en) 2006-03-23 2007-03-20 Image encoding/decoding method and apparatus

Publications (2)

Publication Number Publication Date
JP2009534876A JP2009534876A (ja) 2009-09-24
JP5143120B2 true JP5143120B2 (ja) 2013-02-13

Family

ID=41190737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009501352A Expired - Fee Related JP5143120B2 (ja) 2006-03-23 2007-03-20 画像の符号化方法及び装置、復号化方法及び装置

Country Status (2)

Country Link
JP (1) JP5143120B2 (ja)
CN (1) CN101496406B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101646085B1 (ko) * 2010-01-25 2016-08-05 톰슨 라이센싱 비디오 인코더, 비디오 디코더, 각각의 컬러 면에 대해 별개로 비디오 인코딩하기 위한 방법 및 비디오 디코딩하기 위한 방법
WO2012081636A1 (ja) * 2010-12-15 2012-06-21 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造
KR101547041B1 (ko) * 2011-01-12 2015-08-24 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR101444667B1 (ko) 2011-01-15 2014-09-30 에스케이 텔레콤주식회사 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
JP2014168107A (ja) * 2011-06-24 2014-09-11 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP5707261B2 (ja) * 2011-07-12 2015-04-22 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CA2844602A1 (en) * 2011-08-09 2013-02-14 Samsung Electronics Co., Ltd. Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map
US8615138B2 (en) * 2011-11-03 2013-12-24 Google Inc. Image compression using sub-resolution images
JP5753062B2 (ja) * 2011-11-16 2015-07-22 Kddi株式会社 色コンポーネント間予測型画像符号化装置および復号装置
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
TWI652935B (zh) * 2012-09-28 2019-03-01 Vid衡器股份有限公司 視訊編碼方法及裝置
WO2017059926A1 (en) 2015-10-09 2017-04-13 Telefonaktiebolaget Lm Ericsson (Publ) Cross component prediction in video coding
KR20210119514A (ko) 2019-03-18 2021-10-05 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 픽처 컴포넌트 예측 방법, 인코더, 디코더 및 저장 매체
CN110072108B (zh) * 2019-05-06 2022-10-28 格兰菲智能科技有限公司 图像压缩的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513128A (en) * 1993-09-14 1996-04-30 Comsat Corporation Multispectral data compression using inter-band prediction
JPH08205172A (ja) * 1995-01-26 1996-08-09 Mitsubishi Electric Corp 領域分割型動き予測回路、領域分割型動き予測回路内蔵画像符号化装置および領域分割型動き予測画像復号化装置
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction

Also Published As

Publication number Publication date
CN101496406B (zh) 2012-02-01
CN101496406A (zh) 2009-07-29
JP2009534876A (ja) 2009-09-24

Similar Documents

Publication Publication Date Title
JP5143120B2 (ja) 画像の符号化方法及び装置、復号化方法及び装置
JP2009530958A (ja) 画像の符号化方法及び装置、復号化方法及び装置
KR101266168B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101200865B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP5128443B2 (ja) 映像の符号化、復号化の方法及びその装置
JP5133135B2 (ja) インターカラー補償を利用した映像の符号化方法及び装置、復号化方法及び装置
JP2009518940A (ja) 画像の符号化方法及び装置、復号化方法及び装置
JP5026092B2 (ja) 動画像復号装置および動画像復号方法
JP5047995B2 (ja) 映像のイントラ予測符号化、復号化方法及び装置
JP5128794B2 (ja) 映像のイントラ予測符号化及び復号化方法、並びに装置
JP2009543423A (ja) 映像の符号化/復号化方法及び装置
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
US8260069B2 (en) Color image encoding and decoding method and apparatus using a correlation between chrominance components
US20080031518A1 (en) Method and apparatus for encoding/decoding color image
JP5227987B2 (ja) 符号化装置、復号装置及びプログラム
US7747096B2 (en) Method, medium, and system encoding/decoding image data
JP2010045853A (ja) 動画像符号化装置および動画像符号化方法
JP2005184525A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5143120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees