JP5469127B2 - 画像データ符号化装置ならびにその動作制御方法およびそのプログラム - Google Patents

画像データ符号化装置ならびにその動作制御方法およびそのプログラム Download PDF

Info

Publication number
JP5469127B2
JP5469127B2 JP2011120618A JP2011120618A JP5469127B2 JP 5469127 B2 JP5469127 B2 JP 5469127B2 JP 2011120618 A JP2011120618 A JP 2011120618A JP 2011120618 A JP2011120618 A JP 2011120618A JP 5469127 B2 JP5469127 B2 JP 5469127B2
Authority
JP
Japan
Prior art keywords
data
encoding
encoded
encoded data
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011120618A
Other languages
English (en)
Other versions
JP2012249167A (ja
Inventor
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011120618A priority Critical patent/JP5469127B2/ja
Priority to US13/471,368 priority patent/US8805107B2/en
Publication of JP2012249167A publication Critical patent/JP2012249167A/ja
Application granted granted Critical
Publication of JP5469127B2 publication Critical patent/JP5469127B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

この発明は,画像データ符号化装置ならびにその動作制御方法およびそのプログラムに関する。
JPEG(Joint Photographic Experts Group)2000は,JPEGに比べて圧縮率を高くしてもノイズが少ない。JPEG2000ではウェーブレット変換が行われた後に,EBCOT (Embedded Block Coding with Optimized Truncation) と呼ばれる符号化が行われる(非特許文献1)。また,JPEG2000のような符号化において,全体の符号量が目標の符号量になるように符号列の一部を切り捨てるもの(特許文献1),レート制御のためのディストーションスロープ等の計算を行い,符号破棄によりレート制御を行うもの(特許文献2),符号化の単位であるコード・ブロックのサイズを調整するもの(特許文献3),圧縮された符号データを効率的に再圧縮するもの(特許文献4),高画質で符号化するもの(特許文献5)などもある。
特開2005-192087号公報 特開2006-287487号公報 特開2010-213059号公報 特開2004-88164号公報 特開2003-244443号公報
J. Li and S. Lei, "An embedded still image coder with rate-distortion optimization", SPIE: Visual Communication and Image Processing, volume 3309, pp. 36-47, San Jose, CA, Jan. 1998.
しかしながら,非特許文献1に記載のものでは,符号量を微細に調節できず,画像ごとに画質が大きく変化することが多い。また,特許文献1から5に記載のものでは,画質を細かく調整することができない。
この発明は,画質を細かく調整できるようにすることを目的とする。
この発明による画像データ符号化装置は,画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得るサブ・バンド分割手段,上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割するコード・ブロック分割手段,上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し,符号化パス内で2値符号化して符号化データを得る符号化手段,上記符号化手段によって得られた符号化データのうち,画像に復号したときの歪率が所定の範囲内となる符号化データを,符号化パス単位で決定する決定手段,上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して,画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成するレイヤ生成手段,および上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように,上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって,画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える,あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する符号化データ量調整手段を備えていることを特徴とする。
この発明は,上記画像データ符号化装置に適した動作制御方法も提供している。すなわち,この方法は,サブ・バンド分割手段が,画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得,コード・ブロック分割手段が,上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割し,符号化手段が,上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し,符号化パス内で2値符号化して符号化データを得,決定手段が,上記符号化手段によって得られた符号化データのうち,画像に復号したときの歪率が所定の範囲内となる符号化データを,符号化パス単位で決定し,レイヤ生成手段が,上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して,画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成し,符号化データ量調整手段が,上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように,上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって,画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える,あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除するものである。
この発明は,上記画像データ符号化装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
この発明によると,画像データがサブ・バンドに分割されてサブ・バンド係数が得られる。得られたサブ・バンド係数は,複数のコード・ブロックに分割される。分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し,符号化パス内で2値符号化して符号化データが得られる。得られた符号化データのうち,画像に復号したときの歪率が所定の範囲内となる符号化データが,符号化パス単位で決定される。このような符号化および符号化データの決定が複数のコード・ブロックについて繰り返され,画像に復号されたときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤが生成される。生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように,符号化データ量調整対象のレイヤに含まれている符号化データであって,画質に与える影響の少ない符号化データが符号化パス単位で符号化データ量調整対象のレイヤに加えられる,あるいは画質に与える影響の少ない符号化データが符号化パス単位で符号化データ量調整対象のレイヤから削除される。符号化データが符号化パス単位で,符号化データ量調整対象のレイヤに含まれる符号化データのデータ量を細かく変化させることができるので,レイヤによって表わされる画像の画質を細かく変えることができる。画質の微調整が可能となる。
たとえば,低周波数成分よりも高周波数成分のサブ・バンド係数が符号化された符号化データが画質に影響の少ない符号化データである。
画像データは,たとえば,カラー画像を表わすカラー画像データである。この場合,カラー画像データが,輝度データと色データとに分けられるデータ分割手段をさらに備える。そして,上記データ分割手段によって分割された輝度データと色データとのそれぞれのデータごとに上記サブ・バンド分割手段による処理,上記符号化手段による処理,上記決定手段による処理が行われる。上記レイヤ生成手段は,たとえば,画像に復号したときの歪率が所定の範囲内となる輝度データおよび色データについての符号化データの集まりである符号化データ量調整対象のレイヤを生成するものであり,輝度データよりも色データについてのサブ・バンド係数が符号化された符号化データが画質に与える影響の少ない符号化データである。
上記サブ・バンド分割手段は,たとえば,画像データをウェーブレット変換することにより,周波数成分の異なるサブ・バンドに分割してウェーブレット変換係数を得るものである。
画像データ符号化装置の電気的構成を示すブロック図である。 画像データ符号化装置の処理手順を示すフローチャートの一部である。 画像データ符号化装置の処理手順を示すフローチャートの一部である。 コンポーネント分割の様子を示している。 ウェーブレット変換の様子を示している。 ビット・プレーンを示している。 コード・ブロック分割の様子を示している。 2値算術符号化およびパスごとに分割する処理の様子を示している。 符号化データを加える様子を示している。 (A)および(B)はレイヤを示している。
図1は,この発明の実施例を示すもので,画像データ符号化装置の電気的構成を示すブロック図である。
画像データ符号化装置の全体の動作は,CPU1によって統括される。
画像データ符号化装置には,CD−ROM(コンパクト・ディスク・リード・オンリ・メモリ)ドライブ10が含まれている。このCD−ROMドライブ10に,後述する動作プログラムが格納されているCD−ROM11が装填される。すると,CD−ROM11に格納されている動作プログラムが読み取られ,読み取られた動作プログラムが画像データ符号化装置にインストールされる。動作プログラムはROM2に記憶される。もちろん,動作プログラムはCD−ROM11に限らず,メモリ・カードその他の記録媒体に格納されていてもよい。また,ネットワークを介して送信される動作プログラムを画像データ符号化装置において受信し,受信した動作プログラムが画像データ符号化装置にインストールされるようにしてもよい。
この実施例による画像データ符号化装置は,カラー画像データ(必ずしもカラー画像でなくともよい)に対してJPEG(Joint Photographic Experts Group)2000にもとづく圧縮を行うものである。画像データ符号化装置には,外部ハードディスク装置などの外部記憶装置6が含まれている。外部記憶装置6には,多数のカラー画像データが格納されている。また,外部記憶装置6には,インターフェイス7を介してスキャナ8およびディジタル・カメラ9も接続されている。
画像データ符号化装置には,所定のデータ等を一時的に記憶するRAM3,表示装置4および指令等を画像データ符号化装置に与えるキーボード5も接続されている。
図2および図3は,画像符号化装置の処理手順を示すフローチャートである。
符号化すべきカラー画像データが外部記憶装置6から読み取られる(ステップ21)。カラー画像データは,外部記憶装置6に記憶されているものではなく,スキャナ8によって読み取られたもの,ディジタル・カメラ9に記憶されているもの,その他の装置等から与えられるものでもよい。読み取られたカラー画像データはYデータ,UデータおよびVデータにコンポーネント分割(色空間変換)が行われる(ステップ22)。コンポーネント分割によって,輝度成分を表わすYデータならびに色成分を表わすUデータおよびVデータに分けられるが,輝度データYならびに色差データCrおよびCb,赤色成分,緑色成分および青色成分のRGBデータなどにコンポーネント分割してもよい。
図4は,コンポーネント分割の様子を示している。上述のようにカラー画像データ41がコンポーネント分割されることにより,Yデータ51,Uデータ52およびVデータ53が得られる。
図2に戻って,コンポーネント分割により得られたYデータ51,Uデータ52およびVデータ53がウェーブレット変換される(ステップ23)。ウェーブレット変換されることにより,Yデータ51,Uデータ52およびVデータ53がサブバンド分割され,ウェーブレット変換係数(サブバンド係数)が得られる(ステップ24)。
図5は,Yデータ51がウェーブレット変換された様子を示している。Yデータ51だけでなくUデータ52およびVデータ53についてもウェーブレット変換が行われる。この実施例では,3回のウェーブレット変換が行われ,1HH,1LH,1HL,2HH,2LH,2HL,3HH,3LH,3HLおよび3LLの9つの帯域に分割されている。必ずしも9つの帯域に分割するのではなく,9つ以外の帯域に分割してもよい。
図6は,ウェーブレット変換により得られた1LHの帯域の詳細を示している。
1LHの帯域は,たとえば,9個のビット・プレーン61から構成されている。図6において最上位のビット・プレーン61がウェーブレット変換係数のMSB(Most Significant Bit)に相当し,最下位のビット・プレーン61がウェーブレット変換係数のLSB(Least Significant Bit)に相当する。図6においては1HLの帯域のみが図示されているが他の帯域についても同様である。
図2に戻って,ウェーブレット変換が行われると,ウェーブレット変換係数は複数のコード・ブロックに分割される(ステップ24)。
図7はウェーブレット変換係数が複数のコード・ブロック71に分割される様子を示している。コード・ブロック分割により複数のコード・ブロック71が得られる。図7においては1HLの帯域のみが複数のコード・ブロック71に分割されているが,1HL以外の帯域も複数のコード・ブロック71に分割される。また,図7においては1HLの帯域が4つのコード・ブロック71に分割されているが,4つ以外のコード・ブロックに分割されてもよい。
図2に戻って,コード・ブロック71に分割されると,コード・ブロック71ごとにすべてのコード・ブロック71が2値算術符号化される(ステップ25)。2値算術符号化されると,R−D制御が行われる(ステップ26)。
図8は,2値算術符号化等の処理を示している。
所望のコード・ブロック71が2値算術符号化されることにより,1または0で表わされる符号化コード列80が得られる。2値算術符号化はパス情報をもとに処理が行われる。符号化パスはウェーブレット変換係数の状態を表わすもので,符号化パスごとに分割することができ,その分割位置が記憶される。たとえば,符号P1,P2およびP3で示す位置の符号化コードが,パスが行われた符号化コードの最後の位置を示しているものとする。符号P1,P2およびP3の間ならびに符号P3以降の符号化コード列を,それぞれパス0,パス1,パス2およびパス3と呼ぶことにする。一つのコード・ブロック71に対応する符号化コード列80がパスごとに分割されると,パス0の符号化コード列91,パス1の符号化コード列92,パス2の符号化コード列93およびパス3の符号化コード列94が得られる。
図9は,分割されたパス0からパス3の符号化コード列91から93が加えられる様子を示している。
パスごとに分割された符号化コード列が組み合わされることにより,画像が復号される。R−D制御では,所定の歪率が与えられ,所定の歪率の範囲の歪率となるように符号化コード列が組み合わされる。たとえば,歪率が0.5以下となるように画像が復号される場合において,パス0の符号化コード列91,パス1の符号化コード列92およびパス2の符号化コード列93を組み合わせると歪率が0.5以下となるが,さらにパス3の符号化コード列94を組み合わせた場合には歪率が0.5以下とはならないときには,パス0の符号化コード列91,パス1の符号化コード列92およびパス2の符号化コード列93が組み合わせられ,パス3の符号化コード列94は組み合わせられない。このように,たとえば,復号画像の歪率が0.5以下となる符号化コード列が組み合わせられたもの(符号化データの決定)がすべてのコード・ブロックについて集められ,第1のレイヤが構成される。また,第2のレイヤには第1のレイヤに含まれていない符号化コード列のうち,上述のように,組み合わせることにより所定の歪率(例えば,0.5から0.8の歪率)となる符号化コード列が集められる。第1のレイヤに含まれる符号化データの総符号量が目標符号量となるように歪率が変更させられながら,上述の処理が行われる(R−D制御)。
図10(A)および(B)は,レイヤの一例を示している。
図10(A)は,第1のレイヤ110を示している。第1のレイヤ110は,復号画像の歪率が0.5以下となる符号化コード列d11,d12,d13,d1n,d1mなどの集りである。
図10(B)は,第2のレイヤ120を示している。第2のレイヤ120は,復号画像の歪率が0.5から0.8となる符号化コード列d21,d22,d23,d2n,d2mなどの集りである。
上述のように,レイヤ内の符号化データの総符号量が目標符号量となるようにR−D制御が行われるが,R−D制御では歪率を変えるとレイヤに含まれる符号化データが極端に増減してしまうので,レイヤ内の符号化データの総符号量が目標符号量となるように微調整することは難しい。この実施例では,レイヤ内の符号化データの総符号量が目標符号量となるように微調整し,かつ画質を微調整できるようにするものである。第1のレイヤ110内の符号化データの総符号量が目標符号量となるように調整するものとする。
図3を参照して,所定の第1のレイヤ(画質を微調整するレイヤ。符号化データ量調整対象のレイヤ。)101の符号量が目標符号量と等しいかどうかが確認される(ステップ27)。上述したR−D制御により得られる所定の第1のレイヤ110の符号量が目標符号量と等しくなっていると(ステップ27でYES),その第1のレイヤ110内の符号化データが書き出される(ステップ34)。
上述したR−D制御により得られる所定の第1のレイヤ110の符号量が目標符号量と等しくなっていなければ(ステップ27でNO),他のレイヤである第2のレイヤ120に含まれる符号化データ列のうち,画質への影響が少ない符号化コード列のパス情報が取得される(ステップ28)。取得されたパス情報から得られる,画質への影響が少ない符号化コード列のパス数が0であれば,符号がないため,次に画質への影響が少ない符号化コード列のパス情報が取得される(ステップ28)。画質への影響が少なく,かつパスが行われている符号化データ列についてのパス情報が取得されることとなる。
輝度データについての符号化コード列よりも色についての符号化コード列が画質への影響が少ない。また,画像の低周波数成分を表わす符号化コード列よりも画像の高周波数成分を表わす符号化コード列の方が画質への影響が少ない。たとえば,図5に示す1HHの帯域から得られる符号化コード列が画質への影響が一番少ない。このように,どのような符号化コード列が画質への影響が少ないかどうかはあらかじめ定められている。
所定の第1のレイヤ110の符号量が目標符号量以下であれば(ステップ30でNO),他のレイヤである第2のレイヤ120に含まれている符号化コード列d21,d22,d23,d2n,d2mなどの中から画質への影響が少ない符号化コード列のパスまでの符号化コードが第2のレイヤ120から削除され,かつ削除された符号化コードが所定の第1のレイヤ110に加えられる(ステップ31)。
どのような符号化コード列が画質への影響が少ないかは上述したようにあらかじめ定められている。たとえば,Y(輝度)データの符号化コード列よりもUまたはV(色)データのコード列の方が画質への影響が少なく,かつ低周波数成分のウェーブレット変換係数を表わす符号化コード列よりも高周波数成分のウェーブレット変換係数を表わす符号化コード列の方が画質への影響が少ない。このために,UまたはV(色)データであり,かつ高周波数成分である1HHの帯域のウェーブレット変換係数を表わす符号化コード列が,もっとも画質への影響が少ないものとなる。そのような符号化コード列についてパス処理が行われていれば,その符号化コード列のパス処理が行われた位置までの符号化コードが第1のレイヤ110に加えられる。たとえば,第2のレイヤ120に含まれている符号化コード列d21,d22,d23,d2n,d2mなどのうち,符号化コード列d21が,UまたはV(色)データであり,かつ高周波数成分である1HHの帯域のウェーブレット変換係数を表わすコード・ブロックについての符号化コード列であったものとする。しかも,この符号化コード列d21はパス処理が行われており,パスごとに符号化コード121,122および123に分けられるものとする。すると,符号化コード列d21を構成する符号化コード121が第2のレイヤ120から削除され,その削除された符号化コード121が第1のレイヤ110に加えられる。
第1のレイヤ110には符号化コード121が加えられるので,第1のレイヤ110に含まれるすべての符号化コード列から復号される画像の画質がわずかに向上する。画質を微調整できるようになる。
図3を参照して,所定の第1のレイヤ110の符号量と他のレイヤである第2のレイヤ120の符号量との大小関係がステップ30における判断の結果と変化していなければ(ステップ33でNO),第1のレイヤ110の符号量は目標符号量の近傍となっていないと考えられる。ステップ27から32までの処理が繰り返される。たとえば,上述したのと同様に,第2のレイヤ120の符号化コード列d21の符号化コード122が第2のレイヤ120から削除され,削除された符号化コード122が第1のレイヤ110に加えられる。
符号化コード122が第1のレイヤ110に加えられても第1のレイヤ110の符号量が目標符号量に近づかなければ,ステップ27からの処理が再び繰り返される。第2のレイヤ120に含まれる符号化コード列のうち,符号化コード列d21の残りの符号化コード123においてパス数が0であり(ステップ29でYES),パス処理が行われていなければ,符号化コード列d21以外の符号化コード列であり,かつ画質への影響が次に少ない(または同じ)他の符号化コード列のうちパス処理が行われている符号化コードが第2のレイヤ120から削除され,削除された符号化コードが第1のレイヤ110に加えられる。
所定の第1のレイヤ110の符号量と他のレイヤである第2のレイヤ120の符号量との大小関係がステップ30における判断の結果と変化すると(ステップ33でYES),第1のレイヤ110の符号量は目標符号量の近傍となったものと考えられる。すると,第1のレイヤ110に含まれる符号化コード列が符号化された画像を表わすコードとして書き出される(ステップ34)。このように書き出されたコードを復号することにより,画質が微調整された画像が得られる。
所定の第1のレイヤ110の符号量が目標符号量よりも大きければ(ステップ30でYES),第1のレイヤ110の符号量を減らすために,第1のレイヤ110に含まれている符号化コード列のうち画質への影響が少ない符号化コード列のパスまでの符号化コードが削除される。削除された符号化コードが第2のレイヤ120に加えられる(ステップ32)。
たとえば,第1のレイヤ110に含まれる符号化コード列d11,d12,d13,d1n,d1mなどのうち符号化コード列d1mが画質への影響が少ない符号化コード列であったものとする。符号化コード列d1mのうちパス処理によって区切られる符号化コード111が第1のレイヤ110から削除される。削除された符号化コード111は第2のレイヤ120に加えられる。
上述したように,ステップ30の判断での第1のレイヤ110の符号量と目標符号量との大小関係が変化しなければ(ステップ33),ステップ27からの処理が繰り返される。たとえば,画質への影響が少ない符号化データ列d1mから符号化データ112が削除され,削除された符号化データ112が第2レイヤ120に加えられる。依然として,ステップ30の判断での第1のレイヤ110の符号量と目標符号量との大小関係が変化しなければ(ステップ33),第1のレイヤ110から符号化データの削除が行われるが,たとえば,符号化データ列d1mの符号化データ113にパスが無ければ,符号化データ列d1m以外の画質の影響が少ない他の符号化データ列であってパスがある符号化データが第1のレイヤ110から削除される。
第1のレイヤ110の符号量が目標符号量以下となり,ステップ30の判断での第1のレイヤ110の符号量と目標符号量との大小関係が変化すると(ステップ33),第1レイヤ110に含まれている符号化データ列が書き出される(ステップ34)。
このように,第1のレイヤ110に含まれる符号化コード列から復号される画像の画質を微調整できるようになる。上述の実施例では,第1のレイヤ110の符号量を調整しているが,第1のレイヤ110に限らず,第2のレイヤ120,その他のレイヤの符号量を調整できることはいうまでもない。また,上述の実施例では,カラー画像データについて説明しているが,カラー画像データではなく,白黒画像データについてもこの実施例を適用できる。白黒画像データについてこの実施例を適用する場合には,上述したコンポーネント分割は不要となる。また,白黒画像データの場合には,色画像データが含まれていないので画質への影響がある符号化データかどうかの判断は色画像データについては考慮されずに,高周波数成分の符号化データほど画質への影響が少ないものとされる。たとえば,1HH,1HLまたは1LH,2HH,2HLまたは2LH,3HH,3HLまたは3LH,3LLの順で画質への影響が少ないものとされる。
上述の実施例では,ソフトウェアによる制御が行われているが,一部またはすべてをハードウェアによる制御としてもよい。また,上述の実施例では2値算術符号化が行われているがウェーブレット変換係数が2値化できれば2値算術符号化に限らない。
1 CPU
11 CD−ROM
41 カラー画像データ
51 Yデータ
52 Uデータ
53 Vデータ
61 ビット・プレーン
71 コード・ブロック
80,d11,d12,d13,d1n,d1m,d21,d22,d23,d2n,d2m 符号化コード列
110,120 レイヤ

Claims (7)

  1. 画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得るサブ・バンド分割手段,
    上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割するコード・ブロック分割手段,
    上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し,符号化パス内で2値符号化して符号化データを得る符号化手段,
    上記符号化手段によって得られた符号化データのうち,画像に復号したときの歪率が所定の範囲内となる符号化データを,符号化パス単位で決定する決定手段,
    上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して,画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成するレイヤ生成手段,ならびに
    上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように,上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって,画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える,あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する符号化データ量調整手段,
    を備えた画像データ符号化装置。
  2. 低周波数成分よりも高周波数成分のサブ・バンド係数が符号化された符号化データが画質に影響の少ない符号化データである,
    請求項1に記載の画像データ符号化装置。
  3. 画像データはカラー画像を表わすカラー画像データであり,
    カラー画像データが,輝度データと色データとに分けられるデータ分割手段をさらに備え,
    上記データ分割手段によって分割された輝度データと色データとのそれぞれのデータごとに上記サブ・バンド分割手段による処理,上記符号化手段による処理,上記決定手段による処理を行い,
    上記レイヤ生成手段は,
    画像に復号したときの歪率が所定の範囲内となる輝度データおよび色データについての符号化データの集まりである符号化データ量調整対象のレイヤを生成するものであり,
    輝度データよりも色データについてのサブ・バンド係数が符号化された符号化データが画質に与える影響の少ない符号化データである,
    請求項1または2に記載の画像データ符号化装置。
  4. 上記サブ・バンド分割手段は,
    画像データをウェーブレット変換することにより,周波数成分の異なるサブ・バンドに分割してウェーブレット変換係数を得るものである,
    請求項1から3のうち,いずれか一項に記載の画像データ符号化装置。
  5. サブ・バンド分割手段が,画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を得,
    コード・ブロック分割手段が,上記サブ・バンド分割手段において得られたサブ・バンド係数を複数のコード・ブロックに分割し,
    符号化手段が,上記コード・ブロック分割手段によって分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し,符号化パス内で2値符号化して符号化データを得,
    決定手段が,上記符号化手段によって得られた符号化データのうち,画像に復号したときの歪率が所定の範囲内となる符号化データを,符号化パス単位で決定し,
    レイヤ生成手段が,上記符号化手段による符号化および上記決定手段による符号化データの決定を上記コード・ブロック分割手段によって分割された複数のコード・ブロックについて繰り返して,画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成し,
    符号化データ量調整手段が,上記レイヤ生成手段によって生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように,上記符号化手段によって得られた符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって,画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える,あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除する,
    画像データ符号化装置の動作制御方法。
  6. 画像データ符号化装置のコンピュータを制御するプログラムであって,
    画像データを周波数成分の異なる複数のサブ・バンドに分割することによりサブ・バンド係数を取得させ,
    取得されたサブ・バンド係数を複数のコード・ブロックに分割させ,
    分割されたコード・ブロックに含まれるサブ・バンド係数に対しビット・プレーンごとに符号化パスを生成し,符号化パス内で2値符号化して符号化データを取得させ,
    取得された符号化データのうち,画像に復号したときの歪率が所定の範囲内となる符号化データを,符号化パス単位で決定させ,
    符号化および符号化データの決定を分割された複数のコード・ブロックについて繰り返して,画像に復号したときの歪率が所定の範囲内となる符号化データの集まりである符号化データ量調整対象のレイヤを生成させ,
    生成されたレイヤに含まれる符号化データのデータ量が目標データ量となるように,取得された符号化データのうち符号化データ量調整対象のレイヤに含まれている符号化データであって,画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤに加える,あるいは画質に与える影響の少ない符号化データを符号化パス単位で符号化データ量調整対象のレイヤから削除するように画像データ符号化装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
  7. 請求項6に記載の上記プログラムを格納した記録媒体。
JP2011120618A 2011-05-30 2011-05-30 画像データ符号化装置ならびにその動作制御方法およびそのプログラム Active JP5469127B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011120618A JP5469127B2 (ja) 2011-05-30 2011-05-30 画像データ符号化装置ならびにその動作制御方法およびそのプログラム
US13/471,368 US8805107B2 (en) 2011-05-30 2012-05-14 Image data coding apparatus, method of controlling operation of same, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011120618A JP5469127B2 (ja) 2011-05-30 2011-05-30 画像データ符号化装置ならびにその動作制御方法およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2012249167A JP2012249167A (ja) 2012-12-13
JP5469127B2 true JP5469127B2 (ja) 2014-04-09

Family

ID=47261736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011120618A Active JP5469127B2 (ja) 2011-05-30 2011-05-30 画像データ符号化装置ならびにその動作制御方法およびそのプログラム

Country Status (2)

Country Link
US (1) US8805107B2 (ja)
JP (1) JP5469127B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5469127B2 (ja) * 2011-05-30 2014-04-09 富士フイルム株式会社 画像データ符号化装置ならびにその動作制御方法およびそのプログラム
US9967559B1 (en) * 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3089152B2 (ja) * 1993-12-01 2000-09-18 キヤノン株式会社 画像符号化装置およびその方法
US6785423B1 (en) * 2000-05-26 2004-08-31 Eastman Kodak Company Producing a compressed digital image organized into layers having information relating to different viewing conditions and resolutions
US6885395B1 (en) * 2000-05-26 2005-04-26 Eastman Kodak Company Selectively adjusting the resolution levels or the quality levels of digital images stored in a digital camera memory
US6915016B2 (en) * 2001-06-12 2005-07-05 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for wireless image transmission
JP3620521B2 (ja) * 2001-09-14 2005-02-16 日本電気株式会社 画像処理装置、画像伝送装置、画像受信装置及び画像処理方法
US7200272B2 (en) * 2002-01-31 2007-04-03 Canon Kabushiki Kaisha Image processing method storing input encoded data into a memory
JP2003244443A (ja) 2002-02-19 2003-08-29 Ricoh Co Ltd 画像符号化装置及び画像復号装置
US6987890B2 (en) * 2002-03-27 2006-01-17 Eastman Kodak Company Producing and encoding rate-distortion information allowing optimal transcoding of compressed digital image
JP3989788B2 (ja) * 2002-07-24 2007-10-10 株式会社メガチップス 符号量制御装置およびプログラム
JP4166530B2 (ja) 2002-08-22 2008-10-15 株式会社リコー 画像処理装置
JP4045913B2 (ja) * 2002-09-27 2008-02-13 三菱電機株式会社 画像符号化装置、画像符号化方法、および画像処理装置
JP2004153751A (ja) * 2002-11-01 2004-05-27 Ricoh Co Ltd 画像処理装置及び画像処理方法
US7200277B2 (en) * 2003-07-01 2007-04-03 Eastman Kodak Company Method for transcoding a JPEG2000 compressed image
US7574063B2 (en) * 2003-07-23 2009-08-11 Canon Kabushiki Kaisha Image coding method and apparatus
JP2005150845A (ja) * 2003-11-11 2005-06-09 Canon Inc 画像データ符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4191592B2 (ja) 2003-12-26 2008-12-03 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム
KR20050090302A (ko) * 2004-03-08 2005-09-13 경희대학교 산학협력단 비디오 인코더/디코더, 비디오 인코딩/디코딩 방법, 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
US20080260275A1 (en) * 2004-05-17 2008-10-23 Ikuro Ueno Image Coding Apparatus
WO2006038607A1 (ja) * 2004-10-06 2006-04-13 Nippon Telegraph And Telephone Corporation スケーラブル符号化方法および装置,スケーラブル復号方法および装置,それらのプログラムおよびそれらプログラムを記録した記録媒体
JP4315926B2 (ja) * 2005-03-18 2009-08-19 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4737665B2 (ja) 2005-03-31 2011-08-03 株式会社リコー 符号処理装置、符号処理方法、プログラム及び情報記録媒体
US7778472B2 (en) * 2006-03-27 2010-08-17 Qualcomm Incorporated Methods and systems for significance coefficient coding in video compression
JP5201019B2 (ja) 2009-03-11 2013-06-05 株式会社リコー 画像符号化装置及び画像符号化方法
JP5515758B2 (ja) * 2010-01-18 2014-06-11 ソニー株式会社 画像処理装置および方法
JP5469127B2 (ja) * 2011-05-30 2014-04-09 富士フイルム株式会社 画像データ符号化装置ならびにその動作制御方法およびそのプログラム

Also Published As

Publication number Publication date
US20120308128A1 (en) 2012-12-06
US8805107B2 (en) 2014-08-12
JP2012249167A (ja) 2012-12-13

Similar Documents

Publication Publication Date Title
JP5469127B2 (ja) 画像データ符号化装置ならびにその動作制御方法およびそのプログラム
JP4656190B2 (ja) 情報処理装置および方法
JP4702928B2 (ja) 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US20210136394A1 (en) Encoding apparatus and encoding method, and decoding apparatus and decoding method
JP2007142614A (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2010118729A (ja) 画像復号化装置と画像復号化方法およびコンピュータ・プログラム
JP5263621B2 (ja) 画像処理装置および方法
JP2004104347A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5950157B2 (ja) 画像処理装置および方法、並びに、プログラム
CA3141246A1 (en) Encoder and method of encoding a sequence of frames
JP4086196B2 (ja) 画像符号化装置、プログラム及び記憶媒体
JP2004214828A (ja) 画像処理装置、画像処理方法、画像処理用コンピュータプログラム、及びこの画像処理用コンピュータプログラムを記憶する記憶媒体
JP4111259B2 (ja) 符号化装置、符号化方法、ソフトウェアプログラム、テーブルデータ並びに記録媒体
JP2004166254A (ja) 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP4532518B2 (ja) 画像処理装置及び画像処理方法
JP2004215021A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US8279932B2 (en) Information processing apparatus and method
JP2004040429A (ja) ディジタル画像符号化装置及びそれに用いるディジタル画像符号化方法並びにそのプログラム
JP2011071649A (ja) 画像処理装置および方法
JP2018527835A (ja) 高速かつ効率的な画像圧縮及び解凍のための方法及び装置
JP2011239066A (ja) 画像処理装置および方法
JP4111761B2 (ja) 画像処理装置
JP2004088164A (ja) 画像処理装置
Rahman et al. Efficient Image Compression Technique using JPEG2000 with Adaptive Threshold
US7613347B1 (en) Low-complexity image coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140130

R150 Certificate of patent or registration of utility model

Ref document number: 5469127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250