JP5895849B2 - ２次元信号符号化装置 - Google Patents

２次元信号符号化装置 Download PDF

Info

Publication number
JP5895849B2
JP5895849B2 JP2012554500A JP2012554500A JP5895849B2 JP 5895849 B2 JP5895849 B2 JP 5895849B2 JP 2012554500 A JP2012554500 A JP 2012554500A JP 2012554500 A JP2012554500 A JP 2012554500A JP 5895849 B2 JP5895849 B2 JP 5895849B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
coefficient
value
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012554500A
Other languages
English (en)
Other versions
JPWO2012101708A1 (ja
Inventor
巡 高田
巡 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012554500A priority Critical patent/JP5895849B2/ja
Publication of JPWO2012101708A1 publication Critical patent/JPWO2012101708A1/ja
Application granted granted Critical
Publication of JP5895849B2 publication Critical patent/JP5895849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Description

本発明は２次元信号の符号化装置に関し、特に、ベイヤー配列画像の符号化装置に関する。
単板の感光センサ（撮像素子）とカラーフィルタアレイとを利用して、カラー画像を撮像するデジタルスチルカメラやデジタルビデオカメラが広く普及している。カラーフィルタアレイとは、R,G,Bといった特定色のみを透過する微小なフィルタを周期的に配置したものである。カラーフィルタアレイに採用される代表的なフィルタ配置方法として、ベイヤー配列が知られている。
ベイヤー配列では、２×２画素の論理的な画素ブロック（単にブロックと称す）ごとにR(赤),G(緑),B(青)の各色のフィルタがモザイク状に配置される。このうちGのフィルタは、２×２画素のブロックの対角に位置する２画素に配置される。すなわち、２×２画素ブロックの左上と右下の画素、または右上と左下の画素にGフィルタが配置され、残りの画素にRフィルタおよびBフィルタが配置される。この結果、２×２画素のブロックごとにR,G0,B,G1の信号値が得られることになる。このうちG0およびG1は、ブロック内で対角に位置する二つのG成分の信号である。
一方、デジタルカメラによって撮像された画像信号は、現信号のままではデータ量が非常に大きいため、多くの場合、画像圧縮符号化処理によってデータ量の削減が図られる。
ベイヤー配列画像の符号化方式の一例が特許文献２に示されている。特許文献２に記載の方式は、ベイヤー配列のR,B画素の値から、上下左右に隣接する4つのG画素の平均値Giを減じて、(R-Gi),Gi,(B-Gi)によるベイヤー配列を形成する。その後、(R-Gi),Gi,(B-Gi)ベイヤー画像を元に各空間座標に対して補間処理を行い、各空間座標におけるRGB画素値を算出する。そして、こうして求めたRGB画素値からYCbCrへ変換を行い、JPEG等の既存方式を用いて符号化する。
ベイヤー配列画像の符号化方式の他の例が特許文献３、４、５に示されている。これらに記載の方式は、ベイヤー配列の画像信号に対して直接に色変換を行って、４コンポーネントの２次元信号を生成し、これら４コンポーネントの画像に対して独立に符号化を行う。すなわち、２×２画素のブロック内のR,G0,B,G1画素値間で色変換の演算を行い、変換された各成分を圧縮器へ入力する。ここで、特許文献３では、G0成分についてはそのまま符号化し、R,B,G1についてはG0との差分を符号化している。また、特許文献４では、R,G0,B,G1をY,Dg,Co,Cgに、特許文献５ではR,G0,B,G1をY,Cb,Cr,Cgにそれぞれ変換して符号化している。
特開2001-285643号公報 特開2008-311874号公報 特開2005-286415号公報 特開2006-121669号公報 特許第4436733号公報
ベイヤー配列画像では、G成分が全成分の半分を占める。そのため、G成分を如何に効率的に符号化するかが重要になる。しかし、上述した特許文献２〜５に記載の各符号化方式ではいずれもG成分を効率的に符号化することは難しい。その理由は、何れの特許文献も周辺のG成分どうしの相関を活用してG成分の電力集中を行うという考えがないためである。
本発明の目的は、上述したような課題、すなわちベイヤー配列画像中のG成分を効率的に符号化するのは困難である、という課題を解決する２次元信号符号化装置を提供することにある。
本発明の一形態にかかる２次元信号符号化装置は、
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が上記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する装置において、
上記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、上記G1画素の値と上記G1画素の近傍の４つの上記G0画素の値とから、上記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
上記G0画素の値と上記G0画素の近傍の４つの上記GH係数の値とから、上記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
上記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
上記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
を備える、といった構成を採る。
また本発明の一形態にかかる２次元信号符号化方法は、
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する方法において、
上記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、上記G1画素の値と上記G1画素の近傍の４つの上記G0画素の値とから、上記G1画素の空間座標に対応するハイパス成分であるGH係数を算出し、
上記G0画素の値と上記G0画素の近傍の４つの上記GH係数の値とから、上記G0画素の空間座標に対応するローパス成分であるGL係数を算出し、
上記GH係数で構成される２次元信号を符号化し、
上記GL係数で構成される２次元信号を符号化する
といった構成を採る。
また本発明の一形態にかかる２次元信号復号装置は、
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する装置において、
上記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、上記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
上記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
上記GL係数の値と上記GL係数の近傍の４つの上記GH係数の値とから、上記G0画素の空間座標に対応する上記G0画素の値を求める２次元逆ローパスフィルタ手段と、
上記GH係数の値と上記GH係数の近傍の４つの上記G0画素の値とから、上記G1画素の空間座標に対応する上記G1画素の値を求める２次元逆ハイパスフィルタ手段と
を備える、といった構成を採る。
また本発明の一形態にかかる２次元信号復号方法は、
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する方法において、
上記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、上記G1画素の空間座標に対応する高周波成分であるGH係数を復号し、
上記G0画素の空間座標に対応する低周波成分であるGL係数を復号し、
上記GL係数の値と上記GL係数の近傍の４つの上記GH係数の値とから、上記G0画素の空間座標に対応する上記G0画素の値を算出し、
上記GH係数の値と上記GH係数の近傍の４つの上記G0画素の値とから、上記G1画素の空間座標に対応する上記G1画素の値を算出する
といった構成を採る。
本発明は上述したような構成を有するため、ベイヤー配列画像中のG成分を効率的に符号化することができる。
本発明の第１実施形態による符号化装置の概略的構成を示すブロック図である。 本発明の第１実施形態による符号化装置の２次元リフティング手段の動作を模式的に示す図である。 本発明の第１実施形態による符号化装置の符号化制御を示すフローチャートである。 本発明の第２実施形態による復号装置の概略的構成を示すブロック図である。 本発明の第２実施形態による復号装置の２次元逆リフティング手段の動作を模式的に示す図である。 本発明の第２実施形態による復号装置の復号制御を示すフローチャートである。 本発明の第３実施形態による符号化装置の概略的構成を示すブロック図である。 本発明の第３実施形態による符号化装置のハイパス成分符号化手段の構成を示すブロック図である。 本発明の第３実施形態による符号化装置の色差変換手段および２次元リフティング手段の動作を模式的に示す図である。 本発明の第３実施形態による符号化装置の符号化制御を示すフローチャートである。 本発明の第３実施形態による符号化装置のハイパス成分符号化制御を示すフローチャートである。 本発明の第４実施形態による復号装置の概略的構成を示すブロック図である。 本発明の第４実施形態による復号装置のハイパス成分復号手段の構成を示すブロック図である。 本発明の第４実施形態による復号装置の色差逆変換手段および２次元逆リフティング手段の動作を模式的に示す図である。 本発明の第４実施形態による復号装置の復号制御を示すフローチャートである。 本発明の第４実施形態による復号装置のハイパス成分復号制御を示すフローチャートである。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施の形態は、画像入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、符号出力装置１４とから構成されている。
画像入力装置１１は、２次元信号としての画像を入力するための装置であり、例えばカメラや通信装置などで構成される。
データ記憶装置１２は、画像メモリ１２１と、２次元リフティング中間メモリ１２２、２次元リフティング結果メモリ１２３、ハイパス成分メモリ１２４、およびローパス成分メモリ１２５を含む。
画像メモリ１２１は、画像入力装置１１から入力された画像を記憶する。
２次元リフティング中間メモリ１２２は、画像メモリ１２１に記憶された入力画像に対して２次元ハイパスフィルタを施すことにより得られた係数を記憶する。
２次元リフティング結果メモリ１２３は、２次元リフティング中間メモリ１２２に記憶された係数に対して２次元ローパスフィルタを施すことにより得られた係数を記憶する。
ハイパス成分メモリ１２４は、２次元リフティング結果メモリ１２３のうち、ハイパス成分となるGH係数のみを抽出した結果が格納される中間メモリである。
ローパス成分メモリ１２５は、２次元リフティング結果メモリ１２３のうち、ローパス成分となるGL係数のみを抽出した結果が格納される中間メモリである。
データ処理装置１３は、２次元リフティング手段１３１と、ハイパス成分符号化手段１３２と、ローパス成分符号化手段１３３とを含む。また、２次元リフティング手段１３１は、２次元ハイパスフィルタ手段１３１１と、２次元ローパスフィルタ手段１３１２とを含む。
２次元リフティング手段１３１に含まれる２次元ハイパスフィルタ手段１３１１は、画像メモリ１２１に蓄積された入力画像から画素値G0およびG1を読み出し、ハイパスフィルタを適用して得られた係数値GHおよび画素値G0を２次元リフティング中間メモリ１２２に格納する。
ハイパスフィルタを適用するとは、各G1画素の値から近傍４画素のG0画素の総和の1/4を減ずる処理を行うことを意味する。
２次元リフティング手段１３１に含まれる２次元ローパスフィルタ手段１３１２は、２次元リフティング中間メモリ１２２に格納された係数値GHおよび画素値G0を読み出し、ローパスフィルタを適用して得られた係数値GLおよびGHを２次元リフティング結果メモリ１２３に格納する。
ローパスフィルタを適用するとは、各G0画素の値に近傍４画素のGH係数の総和の1/8を加える処理を行うことを意味する。
ハイパス成分符号化手段１３２は、２次元リフティング結果メモリ１２３に格納されたハイパス係数GHを、ハイパス成分メモリ１２４を介して読み出して符号化し、符号出力装置１４へ出力する。
ローパス成分符号化手段１３３は、２次元リフティング結果メモリ１２３に格納されたローパス係数GLを、ローパス成分メモリ１２５を介して読み出して符号化し、符号出力装置１４へ出力する。
符号出力装置１４は、生成された符号を記憶する磁気ディスク装置などの記憶装置や、生成された符号を遠隔地に送信する通信装置などで構成される。
図２に、２次元リフティング手段１３１の動作の具体例を示す。
Z101は、画像メモリ１２１に蓄積された入力画像における、G0およびG1の画素の配置を示している。入力画像は４×４画素であり、カラーフィルタアレイは２×２画素のブロック単位で構成されているため、画像は４つのブロックから成る。Z101では、４つのブロックをa,b,c,dとし、たとえばブロックaにおけるG0およびG1画素をG0a,G1aのような形式で記している。
Z102は、２次元ハイパスフィルタ手段１３１１の動作の様子を示している。２次元ハイパスフィルタ手段１３１１は、G1a,G1b,G1c,G1dのそれぞれに対して、近傍のG0画素の総和の1/4を減ずる処理を行う。たとえば、G0a,G0b,G0c,G0dの総和の1/4を、G1bから減ずる処理を行う。また、G1a,G1c,G1dについても同様の処理を行う。なお、近傍のG0画素が画像領域内に４つ存在しない場合には、画像領域内にある別のG0画素値を代用してよい。たとえばG1aの場合、その右側にはG0aとG0cが存在するが、左側にはG0画素が存在しない。こうした場合は、左側にもG0aとG0cが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のG1a,G1b,G1c,G1dの画素値がGHa,GHb,GHc,GHdの各係数値に置き換わり、２次元リフティング中間メモリ１２２に格納される。Z103は、２次元ハイパスフィルタ適用後の２次元リフティング中間メモリ１２２の様子を示している。
Z104は、２次元ローパスフィルタ手段１３１２の動作の様子を示している。２次元ローパスフィルタ手段１３１２は、G0a,G0b,G0c,G0dのそれぞれに対して、近傍のGH係数の総和の1/8を加える処理を行う。たとえば、GHa,GHb,GHc,GHdの総和の1/8を、G0cに加える処理を行う。また、G0a,G0b,G0dについても同様の処理を行う。なお、近傍のGH係数が画像領域内に４つ存在しない場合には、画像領域内にある別のGH係数値を代用してよい。たとえばG0aの場合、その下側にはGHaとGHbが存在するが、上側にはGH係数が存在しない。こうした場合は、上側にもGHaとGHbが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のG0a,G0b,G0c,G0dの画素値がGLa,GLb,GLc,GLdの各係数値に置き換わり、２次元リフティング結果メモリ１２３に格納される。Z105は、２次元ローパスフィルタ適用後の２次元リフティング結果メモリ１２３の様子を示している。
次に、図３のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
画像入力装置１１から画像メモリ１２１に画像が入力されると、２次元ハイパスフィルタ手段１３１１は、画像メモリ１２１に蓄積された入力画像から画素値G0およびG1を読み出し、ハイパスフィルタを適用して得られた係数値GHおよび画素値G0を２次元リフティング中間メモリ１２２に格納する（Ｓ１０１）。
次に、２次元ローパスフィルタ手段１３１２は、２次元リフティング中間メモリ１２２に格納された係数値GHおよび画素値G0を読み出し、ローパスフィルタを適用して得られた係数値GLおよびGHを２次元リフティング結果メモリ１２３に格納する（Ｓ１０２）。
次に、ハイパス成分符号化手段１３２は、２次元リフティング結果メモリ１２３に格納されたハイパス係数GHを読み出して符号化し、符号出力装置１４へ出力する（Ｓ１０３）。
最後に、ローパス成分符号化手段１３３は、２次元リフティング結果メモリ１２３に格納されたローパス係数GLを読み出して符号化し、符号出力装置１４へ出力する（Ｓ１０４）。
なお、上記説明では、画像メモリ１２１と２次元リフティング中間メモリ１２２と２次元リフティング結果メモリ１２３とは、別のメモリとして図示したが、同一のメモリ上で２次元リフティング演算処理を行ってもよい。
また、上記説明では、全処理を直列に結合して動作させているが、並行して処理させてもよい。
たとえば、各座標に対する２次元ローパスフィルタを行うために必要な係数値が、２次元ハイパスフィルタ手段１３１１によって得られ次第、２次元ローパスフィルタ手段１３１２が当該座標に対する処理を行うようにしてもよい。また、各座標のGH係数値が確定するごとにハイパス成分符号化手段１３２が当該座標に対する符号化処理を行うようにしてもよい。また、各座標のGL係数値が確定するごとにローパス成分符号化手段１３３が当該座標に対する符号化処理を行うようにしてもよい。
ハイパス成分符号化手段１３２およびローパス成分符号化手段１３３が用いる具体的な符号化方式は、JPEG2000などの従来の方式を用いて自由に符号化してよい。
なお、ローパス成分であるGLについては、離散ウェーブレット変換(DWT: Discrete Wavelet Transform）などの変換処理を加えて符号化すると効率よくデータ量を圧縮することができる。DWTを利用した代表的な画像符号化方式としてJPEG2000が挙げられる。DWTは入力信号を高周波帯域と低周波帯域とに分離する変換手法の一種である。DWTの演算は畳み込みとリフティングの２通りの手法で実現可能である。メモリ消費量、速度、可逆変換の容易性といった観点からリフティング演算を選択するのが望ましい。リフティング演算によるDWTの一例は、特許文献１に記載されている。
一方、ハイパス成分であるGHについてはそれ自体既に高周波が抽出された結果であるので、変換処理を加えずに符号化してもよい。たとえばJPEG2000においてウェーブレット分解数を0に設定してGHを符号化すると、効率よくデータ量を圧縮することができる。
また、符号化の際には、量子化処理を加えることで圧縮効率を更に向上させることも可能である。この場合、ハイパス成分であるGHについては、ローパス成分でるGLの最高周波数成分に対する量子化粒度と同じか、より粗い粒度で量子化を行うことが好ましい。
また本発明ではベイヤー配列におけるＧ以外の成分の符号化には触れていないが、これらについてもGL成分と同様、JPEG2000などの従来の方式を用いて自由に符号化してよい。
ハイパスフィルタやローパスフィルタでは1/4や1/8の演算を行うが、これは算術シフトなどで代用可能である。整数演算で構成することも可能であり、その場合、小数点以下の切上げや切捨て方式は自由に設計してよい。
また、上記説明では、ハイパスフィルタでは減算処理、ローパスフィルタでは加算処理を行うものとして説明したが、これを両者とも減算処理で構成することも可能である。この場合、ハイパスフィルタは、近傍４画素のG0画素の総和の1/4から、各G1画素の値を減ずる処理を行う。また、ローパスフィルタは、近傍４画素のGH係数の総和の1/8から、各G0画素の値を減ずる処理を行う。このように演算方式を変更した場合、元の演算方式に対してGH,GLの係数値の正負が逆転するが、同様の電力集中の効果が得られる。
本実施の形態の効果について説明する。
本実施の形態によれば、ベイヤー配列画像中のG成分を効率的に符号化することができる。
その理由は、周辺のG成分どうしの相関を活用してG成分の電力集中を行ってから符号化するためである。
また本実施の形態によれば、ベイヤー配列画像の符号化において、G成分の空間相関性を効率的かつ低負荷に除去可能な符号化方法および装置を提供することができる。
その理由は、隣接するG0画素とG1画素との間の簡易な演算のみで２次元のハイパスフィルタおよびローパスフィルタを実現することができ、GL成分への効率的な電力集中が得られるためである。
また、本実施の形態によれば、後段の２次元ローパスフィルタの各座標の演算に必要な係数値が得られ次第、２次元ローパスフィルタが動作を開始するような動作を容易に実現することができる。このため、入力画素を長期間メモリに保持することなく、スキャンライン方向の画素入力にしたがって符号化処理を進めることができる。なお、ベイヤー配列の画像に対して、対角方向に画素スキャンを行うと、G0とG1が画素スキャン方向およびその直交方向に並ぶため、こうして得られたG0およびG1で構成される２次元信号に対してJPEG2000などの符号化を適用すれば、G0とG1の相関性を利用して圧縮効率を向上させることができる。しかし、この方式（以下、対角スキャン方式と呼ぶ）では、メモリアクセス負荷が高くなるという問題がある。すなわち、一般に、画像信号のスキャン方向と一致しない方向でのリフティング演算はメモリアクセス負荷が高く、高速化が難しい。通常の水平および垂直方向のリフティングにおいても、垂直方向のリフティング処理は水平方向（スキャンライン方向）の処理に比べてメモリアクセスの局所性が低いため、高速処理は困難である。対角スキャン方式では、こうした負荷の大きいリフティング処理を２度行う必要がある。
[第２の実施形態]
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。本実施の形態は、本発明の第１実施形態の復号装置に相当する。
図４を参照すると、本発明の第２の実施の形態は、画像出力装置２１と、データ記憶装置２２と、プログラム制御により動作するデータ処理装置２３と、符号入力装置２４とから構成されている。
符号入力装置２４は、復号対象となる符号を入力する装置であり、例えば磁気ディスク装置や通信装置などで構成される。
データ記憶装置２２は、画像メモリ２２１と、２次元逆リフティング中間メモリ２２２と、成分復号結果メモリ２２３と、ハイパス成分メモリ２２４と、ローパス成分メモリ２２５とを含む。
ローパス成分メモリ２２５は、成分復号結果メモリ２２３に出力すべき係数値のうち、復号済のGL係数を保持する中間メモリである。
ハイパス成分メモリ２２４は、成分復号結果メモリ２２３に出力すべき係数値のうち、復号済のGH係数を保持する中間メモリである。
成分復号結果メモリ２２３は、復号されたハイパス成分GHおよびローパス成分GLの係数値を保持する。
２次元逆リフティング中間メモリ２２２は、成分復号結果メモリ２２３に記憶された復号画像に対して２次元逆ローパスフィルタを施すことにより得られた係数を保持する。
画像メモリ２２１は、画像出力装置２１に対して出力すべき画像を保持する。
画像出力装置２１は、例えばディスプレイ装置で構成され、画像メモリ２２１に記憶された画素データを読み出し、出力する。
データ処理装置２３は、２次元逆リフティング手段２３１と、ハイパス成分復号手段２３２と、ローパス成分復号手段２３３とを含む。また、２次元リフティング手段２３１は、２次元逆ハイパスフィルタ手段２３１１と、２次元逆ローパスフィルタ手段２３１２とを含む。
ローパス成分復号手段２３３は、符号入力装置２４から入力された符号を復号し、ローパス成分メモリ２２５を介して成分復号結果メモリ２２３に格納する。
ハイパス成分復号手段２３２は、符号入力装置２４から入力された符号を復号し、ハイパス成分メモリ２２４を介して成分復号結果メモリ２２３に格納する。
２次元逆リフティング手段２３１に含まれる２次元逆ローパスフィルタ手段２３１２は、成分復号結果メモリ２２３に格納された係数値GHおよびGLを読み出し、逆ローパスフィルタを適用して得られた画素値G0および係数値GHを２次元リフティング中間メモリ２２２に格納する。
逆ローパスフィルタを適用するとは、各GL画素の値から近傍４画素のGH係数の総和の1/8を減ずる処理を行うことを意味する。
２次元逆リフティング手段２３１に含まれる２次元逆ハイパスフィルタ手段２３１１は、２次元逆リフティング中間メモリ２２２に蓄積された係数値GHおよび画素値G0を読み出し、逆ハイパスフィルタを適用して得られた画素値G0およびG1を画像メモリ２２１に格納する。
逆ハイパスフィルタを適用するとは、各GH係数の値に近傍４画素のG0画素の総和の1/4を加える処理を行うことを意味する。
図５に、２次元逆リフティング手段２３１の動作の具体例を示す。
Z205は、成分復号結果メモリ２２３に蓄積された復号画像における、GLおよびGH係数の配置を示している。復号画像は４×４画素であり、カラーフィルタアレイは２×２画素のブロック単位で構成されているため、画像は４つのブロックから成る。Z205では、４つのブロックをa,b,c,dとし、たとえばブロックaにおけるGLおよびGH係数をGLa,GHaのような形式で記している。
Z204は、２次元逆ローパスフィルタ手段２３１２の動作の様子を示している。２次元ローパスフィルタ手段２３１２は、GLa,GLb,GLc,GLdのそれぞれに対して、近傍のGH係数の総和の1/8を減ずる処理を行う。たとえば、GHa,GHb,GHc,GHdの総和の1/8を、GLcから減ずる処理を行う。また、G0a,G0b,G0dについても同様の処理を行う。なお、近傍のGH係数が画像領域内に４つ存在しない場合には、画像領域内にある別のGH係数値を代用してよい。たとえばGLaの場合、その下側にはGHaとGHbが存在するが、上側にはGH係数が存在しない。こうした場合は、上側にもGHaとGHbが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のGLa,GLb,GLc,GLdの係数値がG0a,G0b,G0c,G0dの各画素値に置き換わり、２次元逆リフティング中間メモリ２２２に格納される。Z203は、２次元逆ローパスフィルタ適用後の２次元逆リフティング中間メモリ２２２の様子を示している。
Z202は、２次元逆ハイパスフィルタ手段２３１１の動作の様子を示している。２次元ハイパスフィルタ手段２３１１は、GHa,GHb,GHc,GHdのそれぞれに対して、近傍のG0画素の総和の1/4を加える処理を行う。たとえば、G0a,G0b,G0c,G0dの総和の1/4を、GHbに加える処理を行う。また、G1a,G1c,G1dについても同様の処理を行う。なお、近傍のG0画素が画像領域内に４つ存在しない場合には、画像領域内にある別のG0画素値を代用してよい。たとえばGHaの場合、その右側にはG0aとG0cが存在するが、左側にはG0画素が存在しない。こうした場合は、左側にもG0aとG0cが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のGHa,GHb,GHc,GHdの係数値がG0a,G0b,G0c,G0dの各係数値に置き換わり、画像メモリ２２１に格納される。Z201は、２次元逆ハイパスフィルタ適用後の画像メモリ２２１の様子を示している。
次に、図６のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
まず、ローパス成分復号手段２３３は、符号入力装置から入力された符号からローパス係数GLを復号し、ローパス成分メモリ２２５を介して成分復号結果メモリ２２３に格納する（Ｓ２０１）。
次に、ハイパス成分復号手段２３２は、符号入力装置から入力された符号からハイパス係数GHを復号し、ハイパス成分メモリ２２４を介して成分復号結果メモリ２２３に格納する（Ｓ２０２）。
次に、２次元逆ローパスフィルタ手段２３１２は、成分復号結果メモリ２２３に格納された係数値GHおよびGLを読み出し、逆ローパスフィルタを適用して得られた画素値G0および係数値GHを２次元リフティング中間メモリ２２２に格納する（Ｓ２０３）。
最後に、２次元逆ハイパスフィルタ手段２３１１は、２次元逆リフティング中間メモリ２２２に蓄積された係数値GHおよび画素値G0を読み出し、逆ハイパスフィルタを適用して得られた画素値G0およびG1を画像メモリ２２１に格納する（Ｓ２０４）。
なお、上記説明では、画像メモリ２２１と２次元逆リフティング中間メモリ２２２と成分復号結果メモリ２２３は別のメモリとして図示したが、同一のメモリ上で２次元逆リフティング演算処理を行ってもよい。
また、上記説明では、全処理を直列に結合して動作させているが、並行して処理させてもよい。
たとえば、各座標に対する２次元逆ハイパスフィルタを行うために必要な係数値が、２次元逆ローパスフィルタ２３１２によって得られ次第、２次元逆ハイパスフィルタ１３１１が当該座標に対する処理を行うようにしてもよい。また、各座標のG0およびG1画素値が確定するごとに画像を画像出力装置２１へ出力するようにしてもよい。
ハイパス成分復号手段２３２およびローパス成分復号手段２３３の具体的な符号化方式は、実施形態１と同様、従来方式を含めて自由に設計してよい。Ｇ以外の成分の符号化につても同様である。
逆ハイパスフィルタや逆ローパスフィルタでは1/4や1/8の演算を行うが、これは算術シフトなどで代用可能である。整数演算で構成することも可能であり、その場合、小数点以下の切上げや切捨て方式は、符号化の仕様と同じ方式を用いることで、可逆演算を実現することが可能である。
また、上記説明では、逆ハイパスフィルタでは加算処理、逆ローパスフィルタでは減算処理を行うものとして説明したが、これを両者とも減算処理で構成することも可能である。これは、符号化の仕様が、ハイパスフィルタ、ローパスフィルタとも減算処理である場合に用いることができる。この場合、逆ハイパスフィルタは、近傍４画素のG0画素の総和の1/4から、各G1画素の値を減ずる処理を行う。また、逆ローパスフィルタは、近傍４画素のGH係数の総和の1/8から、各G0画素の値を減ずる処理を行う。このように演算方式を変更した場合、符号化時の各フィルタと復号時の各フィルタとが同じ演算となるため、装置の回路設計を共有することができるという効果がある。
本実施の形態は、第１の実施の形態で符号化されたデータの復号装置に相当する。ベイヤー配列画像の符号化において、G成分の空間相関性を効率的かつ低負荷に除去可能な符号化方法および装置を提供することができる利点がある。
また、本実施の形態によれば、後段の２次元逆ハイパスフィルタの各座標の演算に必要な係数値が得られ次第、２次元逆ハイパスフィルタが動作を開始するような動作を容易に実現することができる。このため、復号係数を長期間メモリに保持することなく、スキャンライン方向の符号入力にしたがって復号処理を進めることができる。
[第３の実施形態]
図７を参照すると、本発明の第３の実施の形態は、画像入力装置３１と、データ記憶装置３２と、プログラム制御により動作するデータ処理装置３３と、符号出力装置３４とから構成されている。
画像入力装置３１および符号出力装置３４は、第１の実施の形態における図１の画像入力装置１１および符号出力装置１４と同じものである。
データ記憶装置３２は、画像メモリ３２１と、色差変換結果メモリ３２２と、２次元リフティング中間メモリ３２３と、２次元リフティング結果メモリ３２４と、ハイパス成分メモリ３２５と、ローパス成分メモリ３２６と、色差成分メモリ３２７とを含む。
画像メモリ３２１、２次元リフティング中間メモリ３２３、２次元リフティング結果メモリ３２４、ハイパス成分メモリ３２５、およびローパス成分メモリ３２６は、第１の実施の形態における図１の画像メモリ１２１、２次元リフティング中間メモリ１２２、２次元リフティング結果メモリ１２３、ハイパス成分メモリ１２４、およびローパス成分メモリ１２５と同じものである。
色差変換結果メモリ３２２は、画像メモリ３２１に記憶された入力画像に対して色差変換を施すことにより得られた色差変換画像を記憶する。
色差成分メモリ３２７は、２次元リフティング結果メモリ３２４のうち、色差成分となるCb,Cr成分のみを抽出した結果が格納される中間メモリである。
データ処理装置３３は、色差変換手段３３１と、２次元リフティング手段３３２と、ハイパス成分符号化手段３３３と、色差・ローパス成分符号化手段３３４とを含む。また、２次元リフティング手段３３２は、２次元ハイパスフィルタ手段３３２１と、２次元ローパスフィルタ手段３３２２とを含む。
２次元リフティング手段３３２、２次元ハイパスフィルタ手段３３２１、および２次元ローパスフィルタ手段３３２２は、第１の実施の形態における図１の２次元リフティング手段１３１、２次元ハイパスフィルタ手段１３１１、および２次元ローパスフィルタ手段１３１２と同じものである。
色差変換手段３３１は、画像メモリ３２１に記憶された入力画像に対して色差変換を施し、得られた色差変換画像を色差変換結果メモリ３２２に格納する。
色差・ローパス成分符号化手段３３４は、２次元リフティング結果メモリ３２４に格納されたローパス係数GL、および、色差成分Cb,Crを、ローパス成分メモリ３２６および色差成分メモリ３２７を介して読み出して符号化し、符号出力装置３４へ出力する。
ハイパス成分符号化手段３３３の構成を図８に示す。
図８を参照すると、ハイパス成分符号化手段３３３は、近傍係数参照手段３３３１と、符号化パラメータ算出手段３３３２と、係数量子化手段３３３３と、係数符号化手段３３３４とを含む。
近傍係数参照手段３３３１は、ハイパス成分メモリ３２５から、近傍の符号化済みのハイパス係数を読み出す。具体的には、GH係数のみで構成されるハイパス成分メモリ３２５から、符号化対象のGH係数(x)に対して、左(a)、上(b)、左上(c)、右上(d)の空間座標に位置するGH係数を読み出す。また、読み出した係数a,b,c,dに対しては、量子化および逆量子化処理を施し、復号時に得られる係数値と同じ値を再現する。
量子化・逆量子化演算には、一般的なデッドゾーン付きのミッドトレッド量子化を用いるものとする。
符号化パラメータ算出手段３３３２は、係数a,b,c,dの絶対値の総和を求め、更に総和値を量子化することによって符号化パラメータを算出する。総和値の量子化処理においては、まず、係数値に対する量子化粒度と同じ粒度で総和値を量子化する。次に、量子化された総和値を３ビット算術右シフトし、シフトされた値の２進表現での有効桁数を符号化パラメータkとする。
係数量子化手段３３３３は、符号化対象のGH係数(x)をハイパス成分メモリ３２５から読み出して量子化する。
係数符号化手段３３３４は、量子化された係数の絶対値を、パラメータkによりGolomb-Rice符号化する。また、絶対値が非ゼロの場合には、Golomb-Rice符号化後に、係数値の正負の情報を１ビットで出力する。
図９に、色差変換手段３３１および２次元リフティング手段３３２の動作の具体例を示す。
Z301は、画像メモリ３２１に蓄積された入力画像における、G0およびG1,R,Bの画素の配置を示している。入力画像は４×４画素であり、カラーフィルタアレイは２×２画素のブロック単位で構成されているため、画像は４つのブロックから成る。Z301では、４つのブロックをa,b,c,dとし、たとえばブロックaにおけるG0およびG1、R,B画素をG0a,G1a,Ra,Rbのような形式で記している。
Z302およびZ303は、色差変換手段３３１の動作の様子を示している。色差変換手段３３１は、G以外の色成分であるBa,Bb,Bc,Bd,Ra,Rb,Rc,Rdのそれぞれに対して、近傍のG0およびG1画素の総和の1/4を減ずる処理を行う。たとえば、G0a,G1a,G1b,G0cの総和の1/4を、Baから減ずる処理を行う。また、Bb,Bc,Bd,Ra,Rb,Rc,Rdについても同様の処理を行う。なお、近傍のG0,G1画素が画像領域内に４つ存在しない場合には、画像領域内にある別のG0,G1画素値を代用してよい。たとえばRaの場合、その右と下にはG0aとG1aが存在するが、左および上にはG0,G1画素が存在しない。こうした場合は、左および上にもG0aとG1aが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のBa,Bb,Bc,Bd,Ra,Rb,Rc,Rdの画素値がCba,Cbb,Cbc,Cbd,Cra,Crb,Crc,Crdの各色差値に置き換わり、色差変換結果メモリ３２２に格納される。Z304は、色差変換適用後の色差変換結果メモリ３２２の様子を示している。
Z304からZ308は、２次元リフティング手段３３２の動作の様子を示している。Z304のG0およびG1画素に対して、図２のZ101からZ105と同様の処理が行われる。Z308は、２次元リフティング適用後の２次元リフティング結果メモリ３２４の様子を示している。
次に、図10のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
画像入力装置３１から画像メモリ３２１に画像が入力されると、色差変換手段３３１は、画像メモリ３２１に記憶された入力画像に対して色差変換を施し、得られた色差変換画像を色差変換結果メモリ３２２に格納する（Ｓ３０１）。
次に、２次元ハイパスフィルタ手段３３２１は、色差変換結果メモリ３２２に蓄積された入力画像から画素値G0およびG1を読み出し、ハイパスフィルタを適用して得られた係数値GHおよび画素値G0を２次元リフティング中間メモリ３２３に格納する（Ｓ３０２）。
次に、２次元ローパスフィルタ手段３３２２は、２次元リフティング中間メモリ３２３に格納された係数値GHおよび画素値G0を読み出し、ローパスフィルタを適用して得られた係数値GLおよびGHを２次元リフティング結果メモリ３２４に格納する（Ｓ３０３）。
次に、色差・ローパス成分符号化手段３３４は、２次元リフティング結果メモリ３２４に格納された色成分値Cb、Crを読み出し、Cb,Crそれぞれの２次元信号に対して符号化を行い、符号出力装置３４へ出力する（Ｓ３０４）。
次に、ハイパス成分符号化手段３３３は、２次元リフティング結果メモリ３２４に格納されたハイパス係数GHを読み出して符号化し、符号出力装置３４へ出力する（Ｓ３０５）。
最後に、色差・ローパス成分符号化手段３３４は、２次元リフティング結果メモリ３２４に格納されたローパス係数GL、色成分値Cb、Crを読み出して符号化し、符号出力装置３４へ出力する（Ｓ３０６）。
次に、図11のフローチャートを参照して、本実施の形態のハイパス成分符号化手段３３３の動作について詳細に説明する。
まず、ハイパス成分符号化手段３３３は、ハイパス係数の符号化座標を原点（０，０）に初期化する（Ｓ３１１）。
次に、ハイパス成分符号化手段３３３は、現在の符号化座標におけるハイパス係数を、ハイパス成分メモリ３２５から読み出す（Ｓ３１２）。
次に、近傍係数参照手段３３３１は、ハイパス成分メモリ３２５から、近傍の符号化済みのハイパス係数を読み出す（Ｓ３１３）。具体的には、GH係数のみで構成されるハイパス成分メモリ３２５から、符号化対象のGH係数(x)に対して、左(a)、上(b)、左上(c)、右上(d)の空間座標に位置するGH係数を読み出す。また、読み出した係数a,b,c,dに対しては、量子化および逆量子化処理を施し、復号時に得られる係数値と同じ値を再現する。
次に、符号化パラメータ算出手段３３３２は、係数a,b,c,dの絶対値の総和を求め、更に総和値を量子化することによって符号化パラメータを算出する（Ｓ３１４）。総和値の量子化処理においては、まず、係数値に対する量子化粒度と同じ粒度で総和値を量子化する。次に、量子化された総和値を３ビット算術右シフトし、シフトされた値の２進表現での有効桁数を符号化パラメータkとする。
次に、係数量子化手段３３３３は、符号化対象のGH係数を量子化する（Ｓ３１５）。
次に、係数符号化手段３３３４は、量子化された係数の絶対値を、パラメータkによりGolomb-Rice符号化する（Ｓ３１６）。また、絶対値が非ゼロの場合には、Golomb-Rice符号化後に、係数値の正負の情報を１ビットで出力する。
次に、ハイパス成分符号化手段３３３は、全ハイパス係数の符号化が完了したかどうかを判定し（Ｓ３１７）、完了していない場合は、符号化座標を変更して（Ｓ３１８）、ステップＳ３１２に戻る。全ハイパス係数の符号化が完了した場合は処理を終了する。
なお、上記説明では、色差の演算を近傍のG成分４画素の平均値とR,B値との差分演算としたが、センサの特性によって、G成分４画素の平均値に対して一定値を乗じた値とR,B値との差分としてもよい。
また、上記説明では、色差成分とローパス成分とを同じ符号化器によって符号化するものとしたが、色差成分とローパス成分の符号化器でそれぞれ別の符号化方式を用いるようにしてもよい。
また、上記説明では、全処理を直列に結合して動作させているが、並行して処理させてもよい。
たとえば、各座標に対する色差変換を行うために必要な画素値が画像メモリ３２１に入力され次第、色差変換手段３３１が当該座標に対する処理を行うようにしてもよい。
また、色差成分とGH,GL成分の符号化の順序は自由に設定してよい。たとえば、符号化装置におけるバッファ容量を低減するためには、符号化過程で算出される順序、すなわち、色差,GH,GLの順序で符号化を行うと効果的である。一方、復号装置のバッファ容量低減を優先するには、復号過程での演算順序、すなわち、GL,GH,色差の順序で符号化しておいた方がよい。
なお、可変長符号化としてGolomb-Rice符号ではなく静的ハフマン符号などで代用することももちろん可能である。この場合、近傍係数参照手段３３３１は、近傍係数の絶対値の総和に対して量子化を行うことによって符号化パラメータkを求め、また、係数符号化手段３３３４は、符号化パラメータkの値に応じて複数種類のハフマン符号テーブルを切り替えながら係数の符号化を行うようにすればよい。
また、上記説明ではハイパス係数の圧縮率向上のため量子化を常に行うようにしているが、量子化・逆量子化を行わない構成とすることにより、可逆の圧縮伸張も可能である。
本実施の形態によれば、第１の実施の形態と同様の効果が得られると共に、以下のような効果が得られる。
本実施の形態によれば、G以外の色成分に対して色差変換を行うことによって、色成分に含まれる電力を低減し、圧縮効率を向上させることができる。
色差成分の符号化は、各色差成分で構成される各２次元信号に対してそれぞれ行われる。具体的には、Cbのグレースケール画像、および、Crのグレースケール画像に対してそれぞれ符号化が行われる。このため、中間的にRGB画像が生成されることがなく、メモリ効率を高く保つことができる。
また、２次元リフティングに用いるメモリ上で色変換処理も同時に行うことができるため、メモリ効率を高く保つことができる。
また、本実施の形態では、ハイパス成分の符号化を、GH係数が生成されるごとにスキャンライン順に行うことができるため、JPEG2000などの方式よりも符号化に要するバッファメモリを小さく保つことができる。
また、ハイパス成分の符号化に、0付近ほど短い符号長を持つGolomb-Rice符号を用いることで、0付近の値の頻発するハイパス成分を効率よく符号化することができる。またこの際、近傍の符号化済の係数から符号化パラメータを高精度に予測することによって、更に効率のよい圧縮が可能となる。
[第４の実施形態]
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。本実施の形態は、本発明の第３実施形態の復号装置に相当する。
図12を参照すると、本発明の第４の実施の形態は、画像出力装置４１と、データ記憶装置４２と、プログラム制御により動作するデータ処理装置４３と、符号入力装置４４とから構成されている。
符号入力装置４４および画像出力装置４１は、第２の実施の形態における図４の符号入力装置２４および符号出力装置２１と同じものである。
データ記憶装置４２は、画像メモリ４２１と、２次元逆リフティング結果メモリ４２２と、２次元逆リフティング中間メモリ４２３と、成分復号結果メモリ４２４と、ハイパス成分メモリ４２５と、ローパス成分メモリ４２６と、色差成分メモリ４２７とを含む。
画像メモリ４２１、２次元逆リフティング結果メモリ４２２、２次元逆リフティング中間メモリ４２３、ハイパス成分メモリ４２５、およびローパス成分メモリ４２６は、第２の実施の形態における図４の画像メモリ２２１、２次元逆リフティング結果メモリ２２２、２次元リフティング中間メモリ２２２、ハイパス成分メモリ２２４、およびローパス成分メモリ２２５と同じものである。
成分復号結果メモリ４２４は、復号されたハイパス成分GHおよびローパス成分GLの係数値、色差成分Cb,Crを保持する。
色差成分メモリ２２５は、成分復号結果メモリ４２４に出力すべき係数値のうち、復号済のCb,Cr成分を保持する中間メモリである。
データ処理装置４３は、色差逆変換手段４３１と、２次元逆リフティング手段４３２と、ハイパス成分復号手段４３３と、色差・ローパス成分復号手段４３４とを含む。また、２次元リフティング手段４３２は、２次元逆ハイパスフィルタ手段４３２１と、２次元逆ローパスフィルタ手段４３２２とを含む。
２次元逆リフティング手段４３２、２次元逆ハイパスフィルタ手段４３２１、および２次元逆ローパスフィルタ手段４３２２は、第２の実施の形態における図４の２次元逆リフティング手段２３１、２次元逆ハイパスフィルタ手段２３１１、および２次元逆ローパスフィルタ手段２３１２と同じものである。
色差・ローパス成分復号手段４３４は、符号入力装置４４から入力された符号からローパス係数GLと色差成分Cb,Crを復元し、それぞれローパス成分メモリ４２６と色差成分メモリ４２７を介して成分復号結果メモリ４２４に格納する。
ハイパス成分復号手段４３３は、符号入力装置４４から入力された符号を復号し、ハイパス成分メモリ４２５を介して成分復号結果メモリ４２４に格納する。
色差逆変換手段４３１は、２次元逆リフティング結果メモリ４２２に記憶された画像に対して色差逆変換を施し、得られた画像を画像メモリ４２１に格納する。
ハイパス成分復号手段４３３の構成を図13に示す。
図13を参照すると、ハイパス成分符号化手段４３３は、近傍係数参照手段４３３１と、符号化パラメータ算出手段４３３２と、係数復号手段４３３３と、係数逆量子化手段４３３４とを含む。
近傍係数参照手段４３３１は、ハイパス成分メモリ４２５から、近傍の復号済みのハイパス係数を読み出す。具体的には、GH係数のみで構成されるハイパス成分メモリ４２５から、復号対象のGH係数(x)に対して、左(a)、上(b)、左上(c)、右上(d)の空間座標に位置するGH係数を読み出す。
符号化パラメータ算出手段は４３３２は、係数a,b,c,dの絶対値の総和を求め、更に総和値を量子化することによって符号化パラメータを算出する。総和値の量子化処理においては、まず、係数値に対する量子化粒度と同じ粒度で総和値を量子化する。次に、量子化された総和値を３ビット算術右シフトし、シフトされた値の２進表現での有効桁数を符号化パラメータkとする。
係数復号手段４３３３は、量子化済み係数の絶対値を、パラメータkによりGolomb-Rice復号する。また、絶対値が非ゼロの場合には、Golomb-Rice復号後に、係数値の正負の情報を１ビット読み出す。
係数逆量子化手段４３３４は、復号された係数値を逆量子化し、ハイパス成分メモリ４２５に出力する。
図14に、色差逆変換手段４３１および２次元逆リフティング手段４３２の動作の具体例を示す。
Z408は、成分復号結果メモリ４２４に蓄積された復号画像における、GLおよびGH係数、Cb,Cr画素の配置を示している。復号画像は４×４画素であり、カラーフィルタアレイは２×２画素のブロック単位で構成されているため、画像は４つのブロックから成る。Z405では、４つのブロックをa,b,c,dとし、たとえばブロックaにおけるGLおよびGH係数、Cb,Cr画素をGLa,GHa,Cba,Craのような形式で記している。
Z408からZ404は、２次元逆リフティング手段４３２の動作の様子を示している。Z408のGLおよびGH係数に対して、図５のZ205からZ201と同様の処理が行われる。Z404は、２次元逆リフティング適用後の２次元逆リフティング結果メモリ４２２の様子を示している。
Z402およびZ403は、色差逆変換手段４３１の動作の様子を示している。色差逆変換手段４３１は、G以外の色成分であるCba,Cbb,Cbc,Cbd,Cra,Crb,Crc,Crdのそれぞれに対して、近傍のG0およびG1画素の総和の1/4を加える処理を行う。たとえば、G0a,G1a,G1b,G0cの総和の1/4を、Cbaに加える処理を行う。また、Cbb,Cbc,Cbd,Cra,Crb,Crc,Crdについても同様の処理を行う。なお、近傍のG0,G1画素が画像領域内に４つ存在しない場合には、画像領域内にある別のG0,G1画素値を代用してよい。たとえばCraの場合、その右と下にはG0aとG1aが存在するが、左および上にはG0,G1画素が存在しない。こうした場合は、左および上にもG0aとG1aが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のCba,Cbb,Cbc,Cbd,Cra,Crb,Crc,Crdの色差値がBa,Bb,Bc,Bd,Ra,Rb,Rc,Rdの各画素値に置き換わり、画像メモリ４２１に格納される。Z401は、色差逆変換適用後の画像メモリ４０１の様子を示している。
次に、図15のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
まず、色差・ローパス成分復号手段４３４は、符号入力装置から入力された符号からローパス係数GLを復号し、ローパス成分メモリ４２６を介して成分復号結果メモリ４２４に格納する（Ｓ４０１）。
次に、ハイパス成分復号手段４３３は、符号入力装置から入力された符号からハイパス係数GHを復号し、ハイパス成分メモリ４２５を介して成分復号結果メモリ４２４に格納する（Ｓ４０２）。
次に、色差・ローパス成分復号手段４３４は、符号入力装置から入力された符号から色差成分Cb,Crを復号し、色差成分メモリ４２７を介して成分復号結果メモリ４２４に格納する（Ｓ４０３）。
次に、２次元逆ローパスフィルタ手段４３２２は、成分復号結果メモリ４２４に格納された係数値GHおよびGLを読み出し、逆ローパスフィルタを適用して得られた画素値G0および係数値GHを２次元リフティング中間メモリ４２３に格納する（Ｓ４０４）。
次に、２次元逆ハイパスフィルタ手段４３２１は、２次元逆リフティング中間メモリ４２３に蓄積された係数値GHおよび画素値G0を読み出し、逆ハイパスフィルタを適用して得られた画素値G0およびG1を２次元逆リフティング結果メモリ４２２に格納する（Ｓ４０５）。
最後に、色差逆変換手段４３１は、２次元逆リフティング結果メモリ４２２に記憶された画像に対して色差逆変換を施し、得られた画像を画像メモリ４２１に格納する（Ｓ４０６）。
次に、図16のフローチャートを参照して、本実施の形態のハイパス成分復号手段４３３の動作について詳細に説明する。
まず、ハイパス成分復号手段４３３は、ハイパス係数の復号座標を原点（０，０）に初期化する（Ｓ４１１）。
次に、近傍係数参照手段４３３１は、ハイパス成分メモリ４２５から、近傍の復号済みのハイパス係数を読み出す（Ｓ４１２）。具体的には、GH係数のみで構成されるハイパス成分メモリ４２５から、復号対象のGH係数(x)に対して、左(a)、上(b)、左上(c)、右上(d)の空間座標に位置するGH係数を読み出す。
次に、符号化パラメータ算出手段４３３２は、係数a,b,c,dの絶対値の総和を求め、更に総和値を量子化することによって符号化パラメータを算出する（Ｓ４１３）。総和値の量子化処理においては、まず、係数値に対する量子化粒度と同じ粒度で総和値を量子化する。次に、量子化された総和値を３ビット算術右シフトし、シフトされた値の２進表現での有効桁数を符号化パラメータkとする。
次に、係数復号手段４３３３は、量子化済み係数の絶対値を、パラメータkによりGolomb-Rice復号する（Ｓ４１４）。また、絶対値が非ゼロの場合には、Golomb-Rice復号後に、係数値の正負の情報を１ビット読み出す。
次に、係数逆量子化手段４３３４は、復号された係数値を逆量子化し（Ｓ４１５）、ハイパス成分メモリ４２５に出力する（Ｓ４１６）。
次に、ハイパス成分復号手段４３３は、全ハイパス係数の復号が完了したかどうかを判定し（Ｓ４１７）、完了していない場合は、復号座標を変更して（Ｓ４１８）、ステップＳ４１２に戻る。全ハイパス係数の復号が完了した場合は処理を終了する。
本実施の形態は、第３の実施の形態で符号化されたデータの復号装置に相当する。ベイヤー配列画像の符号化において、G以外の色成分に対して色差変換を行うことによって、色成分に含まれる電力を低減し、圧縮効率を向上させることができる利点がある。
以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。R,G,B以外の補色系のカラーフィルタに対して本発明を適用することも可能である。また、より一般化すれば、２×２画素単位でカラーフィルタアレイが構成され、かつ、同種の色成分が対角２箇所に配置された画像に対して適用することも可能である。また、本発明は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリや光ディスクや光磁気ディスク等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における各手段として機能させる。
なお、本発明は、日本国にて２０１１年１月２８日に特許出願された特願２０１１−１６２３１の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
本発明は、デジタルカメラによって撮像された画像信号などの符号化および復号に利用することができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する装置において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
前記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
前記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
を備えることを特徴とする２次元信号符号化装置。
（付記２）
前記２次元ハイパスフィルタ手段は、前記G1画素の値から、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4を減ずる処理を行い、
前記２次元ローパスフィルタ手段は、前記G0画素の値に対して、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8を加える処理を行う
ことを特徴とする付記１に記載の２次元信号符号化装置。
（付記３）
前記２次元ハイパスフィルタ手段は、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4から、前記G1画素の値を減ずる処理を行い、
前記２次元ローパスフィルタ手段は、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8から、前記G0画素の値を減ずる処理を行う
ことを特徴とする付記１に記載の２次元信号符号化装置。
（付記４）
前記G0画素および前記G1画素以外の色成分の画素をR画素およびB画素とするとき、前記R画素および前記B画素の値と、前記R画素および前記B画素に隣接する前記G0画素および前記G1画素の値の総和の1/4との間で、減算処理を行うことによって、前記R画素および前記B画素の空間座標における色差成分であるCrおよびCbを求める色差変換手段と、
前記色差成分で構成される２次元信号を符号化するための第３の符号化手段と
を更に備えることを特徴とする付記１ないし３の何れかに記載の２次元信号符号化装置。
（付記５）
前記第１の符号化手段は、ウェーブレット分解数が0に設定されたJPEG2000準拠の符号化を行う
ことを特徴とする付記１ないし４の何れかに記載の２次元信号符号化装置。
（付記６）
前記第１の符号化手段は、
前記画像のスキャンライン順に符号化対象の前記GH係数の値を抽出する符号化対象係数抽出手段と、
前記符号化対象の前記GH係数の近傍から、符号化済の前記GH係数を参照する近傍係数参照手段と、
前記符号化済の前記GH係数の絶対値の総和によって符号化パラメータを設定する符号化パラメータ算出手段と、
前記符号化パラメータ算出手段によって設定された符号化パラメータによって前記GH係数の可変長符号化を行う係数符号化手段と
を備えることを特徴とする付記１ないし４の何れかに記載の２次元信号符号化装置。
（付記７）
前記第１の符号化手段は、
符号化対象の前記GH係数を量子化する係数量子化手段を備え、
前記近傍係数参照手段は、参照された近傍係数の値として、量子化および逆量子化処理を行った結果の値を用い、
前記符号化パラメータ算出手段は、近傍係数の絶対値の総和に対して量子化処理を行い、量子化処理後の値に基づいて符号化パラメータを設定する
ことを特徴とする付記６に記載の２次元信号符号化装置。
（付記８）
前記係数符号化手段は、Golomb-Rice符号化を行う
ことを特徴とする付記６または７に記載の２次元信号符号化装置。
（付記９）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する装置において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を求める２次元逆ローパスフィルタ手段と、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を求める２次元逆ハイパスフィルタ手段と
を備えることを特徴とする２次元信号復号装置。
（付記１０）
前記２次元逆ローパスフィルタ手段は、前記GL係数の値から、前記GL係数の近傍の４つの前記GH係数の値の総和の1/8を減ずる処理を行い、
前記２次元逆ハイパスフィルタ手段は、前記GH係数の値に対して、前記GH係数の近傍の４つの前記G0画素の値の総和の1/4を加える処理を行う
ことを特徴とする付記９に記載の２次元信号復号装置。
（付記１１）
前記２次元逆ローパスフィルタ手段は、前記GL画素の近傍の４つの前記GH係数の値の総和の1/8から、前記GL画素の値を減ずる処理を行い、
前記２次元逆ハイパスフィルタ手段は、前記GH画素の近傍の４つの前記G0画素の値の総和の1/4から、前記GH画素の値を減ずる処理を行う
ことを特徴とする付記９に記載の２次元信号復号装置。
（付記１２）
前記G0画素および前記G1画素以外の色成分の画素をR画素およびB画素とするとき、前記R画素に対応する色差成分であるCrで構成された２次元信号と、前記B画素に対応する色差成分であるCbで構成された２次元信号とを復号する第３の復号手段と、
各空間座標の前記Crまたは前記Cbの値と、前記Crまたは前記Cbに隣接する前記G0の画素および前記G1の画素の値とから、前記空間座標における前記R画素および前記B画素の値を求める色差逆変換手段と
を更に備えることを特徴とする付記９ないし１１の何れかに記載の２次元信号復号装置。
（付記１３）
前記第１の復号手段は、ウェーブレット分解数が0に設定されたJPEG2000準拠の復号を行う
ことを特徴とする付記９ないし１２の何れかに記載の２次元信号復号装置。
（付記１４）
前記第１の復号手段は、
前記画像のスキャンライン順に復号対象の前記GH係数を選択する復号対象係数選択手段と、
前記復号対象の前記GH係数の近傍から、復号済の前記GH係数を参照する近傍係数参照手段と、
前記復号済の前記GH係数の絶対値の総和によって符号化パラメータを設定する符号化パラメータ算出手段と、
前記符号化パラメータ算出手段によって設定された符号化パラメータによって前記GH係数の可変長符号の復号を行う係数復号手段と
を備えることを特徴とする付記９ないし１２の何れかに記載の２次元信号復号装置。
（付記１５）
前記第１の復号手段は、
復号対象の前記GH係数を逆量子化する係数逆量子化手段を備え、
前記符号化パラメータ算出手段は、近傍係数の絶対値の総和に対して量子化処理を行い、量子化処理後の値に基づいて符号化パラメータを設定する
ことを特徴とする付記１４に記載の２次元信号復号装置。
（付記１６）
前記係数復号手段は、Golomb-Rice符号の復号を行う
ことを特徴とする付記１４または１５に記載の２次元信号復号装置。
（付記１７）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する方法において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を算出し、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を算出し、
前記GH係数で構成される２次元信号を符号化し、
前記GL係数で構成される２次元信号を符号化する
ことを特徴とする２次元信号符号化方法。
（付記１８）
前記GH係数の算出では、前記G1画素の値から、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4を減ずる処理を行い、
前記GL係数の算出では、前記G0画素の値に対して、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8を加える処理を行う
ことを特徴とする付記１７に記載の２次元信号符号化方法。
（付記１９）
前記GH係数の算出では、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4から、前記G1画素の値を減ずる処理を行い、
前記GL係数の算出では、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8から、前記G0画素の値を減ずる処理を行う
ことを特徴とする付記１７記載の２次元信号符号化方法。
（付記２０）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する方法において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号し、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号し、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を算出し、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を算出する
ことを特徴とする２次元信号復号方法。
（付記２１）
前記G0画素の値の算出では、前記GL係数の値から、前記GL係数の近傍の４つの前記GH係数の値の総和の1/8を減ずる処理を行い、
前記G1画素の値の算出では、前記GH係数の値に対して、前記GH係数の近傍の４つの前記G0画素の値の総和の1/4を加える処理を行う
ことを特徴とする付記２０に記載の２次元信号復号方法。
（付記２２）
前記G0画素の値の算出では、前記GL画素の近傍の４つの前記GH係数の値の総和の1/8から、前記GL画素の値を減ずる処理を行い、
前記G1画素の値の算出では、前記GH画素の近傍の４つの前記G0画素の値の総和の1/4から、前記GH画素の値を減ずる処理を行う
ことを特徴とする付記２０に記載の２次元信号復号方法。
（付記２３）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化するコンピュータを、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
前記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
前記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
して機能させるためのプログラム。
（付記２４）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号するコンピュータを、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を求める２次元逆ローパスフィルタ手段と、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を求める２次元逆ハイパスフィルタ手段と
して機能させるためのプログラム。
１１…画像入力装置
１２…データ記憶装置
１３…データ処理装置
１２１…画像メモリ
１２２…２次元リフティング中間メモリ
１２３…２次元リフティング結果メモリ
１２４…ハイパス成分メモリ
１２５…ローパス成分メモリ
１３１…２次元リフティング手段
１３２…ハイパス成分符号化手段
１３３…ローパス成分符号化手段
１３１１…２次元ハイパスフィルタ手段
１３１２…２次元ローパスフィルタ手段
１４…符号化装置

Claims (9)

  1. ２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する装置において、
    前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
    前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
    前記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
    前記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
    を備えることを特徴とする２次元信号符号化装置。
  2. 前記２次元ハイパスフィルタ手段は、前記G1画素の値から、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4を減ずる処理を行い、
    前記２次元ローパスフィルタ手段は、前記G0画素の値に対して、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8を加える処理を行う
    ことを特徴とする請求項１に記載の２次元信号符号化装置。
  3. 前記２次元ハイパスフィルタ手段は、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4から、前記G1画素の値を減ずる処理を行い、
    前記２次元ローパスフィルタ手段は、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8から、前記G0画素の値を減ずる処理を行う
    ことを特徴とする請求項１に記載の２次元信号符号化装置。
  4. 前記G0画素および前記G1画素以外の色成分の画素をR画素およびB画素とするとき、前記R画素および前記B画素の値と、前記R画素および前記B画素に隣接する前記G0画素および前記G1画素の値の総和の1/4との間で、減算処理を行うことによって、前記R画素および前記B画素の空間座標における色差成分であるCrおよびCbを求める色差変換手段と、
    前記色差成分で構成される２次元信号を符号化するための第３の符号化手段と
    を更に備えることを特徴とする請求項１ないし３の何れかに記載の２次元信号符号化装置。
  5. ２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する装置において、
    前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
    前記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
    前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を求める２次元逆ローパスフィルタ手段と、
    前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を求める２次元逆ハイパスフィルタ手段と
    を備えることを特徴とする２次元信号復号装置。
  6. ２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する方法において、
    前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を算出し、
    前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を算出し、
    前記GH係数で構成される２次元信号を符号化し、
    前記GL係数で構成される２次元信号を符号化する
    ことを特徴とする２次元信号符号化方法。
  7. ２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する方法において、
    前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号し、
    前記G0画素の空間座標に対応する低周波成分であるGL係数を復号し、
    前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を算出し、
    前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を算出する
    ことを特徴とする２次元信号復号方法。
  8. ２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化するコンピュータを、
    前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
    前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
    前記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
    前記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
    して機能させるためのプログラム。
  9. ２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号するコンピュータを、
    前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
    前記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
    前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を求める２次元逆ローパスフィルタ手段と、
    前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を求める２次元逆ハイパスフィルタ手段と
    して機能させるためのプログラム。
JP2012554500A 2011-01-28 2011-11-30 ２次元信号符号化装置 Active JP5895849B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012554500A JP5895849B2 (ja) 2011-01-28 2011-11-30 ２次元信号符号化装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011016231 2011-01-28
JP2011016231 2011-01-28
JP2012554500A JP5895849B2 (ja) 2011-01-28 2011-11-30 ２次元信号符号化装置
PCT/JP2011/006681 WO2012101708A1 (ja) 2011-01-28 2011-11-30 ２次元信号符号化装置

Publications (2)

Publication Number Publication Date
JPWO2012101708A1 JPWO2012101708A1 (ja) 2014-06-30
JP5895849B2 true JP5895849B2 (ja) 2016-03-30

Family

ID=46580321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012554500A Active JP5895849B2 (ja) 2011-01-28 2011-11-30 ２次元信号符号化装置

Country Status (4)

Country Link
US (1) US9019399B2 (ja)
JP (1) JP5895849B2 (ja)
CN (1) CN103348675B (ja)
WO (1) WO2012101708A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6077811B2 (ja) * 2012-10-04 2017-02-08 キヤノン株式会社 画像符号化装置、画像符号化方法およびプログラム
US10163192B2 (en) * 2015-10-27 2018-12-25 Canon Kabushiki Kaisha Image encoding apparatus and method of controlling the same
JP6875817B2 (ja) * 2015-10-30 2021-05-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US10032252B2 (en) * 2015-10-30 2018-07-24 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer readable storage medium
JP6857970B2 (ja) * 2016-06-01 2021-04-14 キヤノン株式会社 画像符号化装置及びその制御方法
JP6806466B2 (ja) * 2016-06-01 2021-01-06 キヤノン株式会社 画像符号化装置及びその制御方法
JP6857973B2 (ja) * 2016-06-14 2021-04-14 キヤノン株式会社 画像符号化装置及びその制御方法
US10848696B2 (en) * 2018-06-01 2020-11-24 Samsung Electronics Co., Ltd. Apparatus for encoding image, apparatus for decoding image and image sensor
WO2021212441A1 (zh) * 2020-04-23 2021-10-28 华为技术有限公司 一种图像编解码的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086524A (ja) * 1999-09-16 2001-03-30 Sony Corp 撮像装置
JP2003092765A (ja) * 2001-09-18 2003-03-28 Olympus Optical Co Ltd 信号処理装置
WO2009087783A1 (ja) * 2008-01-08 2009-07-16 Nec Corporation 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法
JP2011130275A (ja) * 2009-12-18 2011-06-30 Sony Corp カメラシステム及び画像処理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
JP2001285643A (ja) 2000-03-30 2001-10-12 Canon Inc 画像変換装置及び方法
US7589858B2 (en) * 2002-06-18 2009-09-15 Nokia Corporation Image processing apparatus and method, image output unit, as well as digital camera and portable terminal using the image processing apparatus and output unit
JP4451181B2 (ja) 2004-03-26 2010-04-14 オリンパス株式会社 画像圧縮方法及び画像圧縮装置
JP4436733B2 (ja) 2004-08-27 2010-03-24 オリンパス株式会社 撮像装置および再生装置
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
JP3926363B2 (ja) * 2004-11-04 2007-06-06 三菱電機株式会社 画素信号処理装置及び画素信号処理方法
AU2005239628B2 (en) * 2005-01-14 2010-08-05 Microsoft Technology Licensing, Llc Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
JP2008544766A (ja) * 2005-05-12 2008-12-11 ブラッコ イメージング エス．ピー．エー． デジタル画像のピクセルまたはボクセルをコーディングするための方法、およびデジタル画像を処理するための方法
US8014597B1 (en) * 2006-03-22 2011-09-06 Woodman Labs Method for efficient compression and decoding of single sensor color image data
JP2007312304A (ja) * 2006-05-22 2007-11-29 Fujitsu Ltd 画像処理装置および画像処理方法
US8063948B2 (en) * 2007-02-26 2011-11-22 Texas Instruments Incorporated Proximity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same
US8063949B2 (en) * 2007-03-20 2011-11-22 Texas Instruments Incorporated Activity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same
JP5041886B2 (ja) 2007-06-13 2012-10-03 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP4377428B2 (ja) * 2007-12-12 2009-12-02 アキュートロジック株式会社 固体撮像素子及びそれを用いた撮像装置
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086524A (ja) * 1999-09-16 2001-03-30 Sony Corp 撮像装置
JP2003092765A (ja) * 2001-09-18 2003-03-28 Olympus Optical Co Ltd 信号処理装置
WO2009087783A1 (ja) * 2008-01-08 2009-07-16 Nec Corporation 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法
JP2011130275A (ja) * 2009-12-18 2011-06-30 Sony Corp カメラシステム及び画像処理方法

Also Published As

Publication number Publication date
JPWO2012101708A1 (ja) 2014-06-30
WO2012101708A1 (ja) 2012-08-02
CN103348675A (zh) 2013-10-09
CN103348675B (zh) 2016-05-25
US9019399B2 (en) 2015-04-28
US20130300893A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
JP5895849B2 (ja) ２次元信号符号化装置
US9204166B2 (en) Method and apparatus for decoding intra prediction mode
EP2241112B1 (en) Encoding filter coefficients
CN100568973C (zh) 数字图像的过滤方法和过滤设备
US20150110185A1 (en) Method and apparatus for encoding intra prediction information
JP2017055444A (ja) データ符号化及び復号化
WO2010021108A1 (ja) 補間フィルタリング方法、画像符号化方法、画像復号方法、補間フィルタリング装置、プログラム、及び集積回路
JP2022524055A (ja) 適応ループフィルタ処理のための境界ハンドリング
CN103650496A (zh) 用于在hevc中编码的基于像素的帧内预测
EP1762101A2 (en) Methods and apparatus for image encoding/decoding, and extended image compression/expansion
GB2519070A (en) Data encoding and decoding
KR20190091235A (ko) 복원 블록을 생성하는 방법 및 장치
CN107105208A (zh) 一种Bayer图像的无损编码与解码方法
TW201937927A (zh) 使用雙重分類用於線性分量樣本預測的方法以及裝置
JP2023179791A (ja) 符号化・復号方法、装置及びそのデバイス
CN103535041A (zh) 图像处理装置和方法
CN114125444B (zh) 面向图像滤波的编解码方法和装置
CN116584096A (zh) 用于视频译码的根据亮度的色度预测
WO2014050150A1 (en) Signaling decoder picture buffer information
KR20210070368A (ko) 비디오 이미지 요소 예측 방법 및 장치, 컴퓨터 저장 매체
JP2006203744A (ja) 静止画生成装置及び静止画生成方法
US20240040125A1 (en) Tracking sample completion in video coding
RU2772313C2 (ru) Способ и устройство для фильтрации изображений с адаптивными коэффициентами множителя
JP2024069588A (ja) 映像信号符号化／復号化方法及びその装置
EP3857877A1 (en) Image data encoding and decoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160215

R150 Certificate of patent or registration of utility model

Ref document number: 5895849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150