JP3892835B2 - 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP3892835B2
JP3892835B2 JP2003308496A JP2003308496A JP3892835B2 JP 3892835 B2 JP3892835 B2 JP 3892835B2 JP 2003308496 A JP2003308496 A JP 2003308496A JP 2003308496 A JP2003308496 A JP 2003308496A JP 3892835 B2 JP3892835 B2 JP 3892835B2
Authority
JP
Japan
Prior art keywords
block
area
gradation
blocks
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003308496A
Other languages
English (en)
Other versions
JP2005079953A (ja
Inventor
久美 秦泉寺
淳一 中嶋
一人 上倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003308496A priority Critical patent/JP3892835B2/ja
Publication of JP2005079953A publication Critical patent/JP2005079953A/ja
Application granted granted Critical
Publication of JP3892835B2 publication Critical patent/JP3892835B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は，画像を符号化し，基本階層と拡張階層の２階層からなる符号化データを生成する符号化方式に関し，特に，インターネットやモバイル通信環境などのパケットロスや帯域変動が常時起こる通信環境にて，画像を階層的に符号化することで，上位階層が通信網の影響を受けたとしても，下位の階層を何らかの形で伝送することによって画像が途切れることなく復号，再生することができる階層画像符号化技術に関するものである。
インターネットやモバイル環境での符号化方式として，ＭＰＥＧ−４ Simple profile （ＳＰ）ならびに Advanced Simple Profile（ＡＳＰ）がある（例えば，非特許文献１参照）。これらの符号化方式は，１Ｍｂｐｓ以下のビットレートにて，ＭＰＥＧ−１等の従来手法に比較して大きな圧縮効率を達成している。しかし，インターネットやモバイル通信環境の特徴であるパケットロスや帯域変動が起きた場合に適した符号化ではない。
一方，ＭＰＥＧ−４では，Fine Granularity Scalable(ＦＧＳ) 符号化（例えば，非特許文献２参照）において，スケーラブル符号化を装備している。スケーラブル符号化の目的は，伝送帯域の変動があった場合に，拡張レイヤを適応的にカットして，画像が途切れなくするための機能を実現することである。また，一つのソースにて複数のビットストリームを取り出せるという，One Source Multi-useを実現するものである。一方で，基本レイヤにて画像品質（ＳＮＲ）が十分でない部分を，拡張レイヤにて補うという応用も可能である。本発明ではこの１番目と３番目の特徴を生かして，高い主観品質を実現するスケーラブル符号化の構築を目的とする。
一般に，ＦＧＳ符号化は，拡張レイヤからは無限の細かさでビットレートを取り出すことができる。しかし，分割損があることも知られており，同程度の符号量では従来の符号化に比べてＰＳＮＲ(Peak Signal to Noise Ratio)および主観画質がともに悪化するという問題点があった。
ＦＧＳ符号化は，拡張レイヤにて原信号と基本レイヤの差分信号をＤＣＴ変換した値の差分ＤＣＴ係数をビットプレーン展開して可変長符号化する。高位のビットプレーンから順次送信するので，差分ＤＣＴ係数の大きいところ（＝原画像と基本レイヤの符号化画像のＰＳＮＲがより向上する部分）が優先的に送信される。しかし，ＰＳＮＲの低いところが必ずしも主観画質を悪化させるとは限らない。
ＦＧＳ符号化の枠組みにおいて，Selective Enhancement および，Frequency Weighting という優先順位を変更する手段がある。前者は選択されたマクロブロックを優先的に符号化する。また，後者はすべてのマクロブロックにおいて，ＤＣＴ係数の低周波を優先的に符号化する。
これらの適用方法は標準の対象外であり，達成できる主観品質の良し悪しは，その方法によるところが大きい。中嶋ら（例えば，非特許文献３参照）は，原画像の画素信号を用いて，Selective Enhancement を適用するマクロブロックを決定する方法の提案ならびにＦＧＳ符号化への適用を試みている。しかし，画素領域にて画像の特徴を判定するため，基本レイヤの画像品質を反映できない構成になっている。すなわち，基本レイヤが高い品質であっても低い品質であっても，同じ優先順位付けがなされる問題点があった。また，処理量が基本レイヤの約４倍，全符号化処理のほとんどを占めることも問題であった。
図９に，従来の一般的な階層画像符号化装置の例を示す。図９の例は，原画像とローカルデコード画像の差分のＤＣＴ係数を拡張レイヤで符号化する階層画像符号化装置の例である。
階層画像符号化装置３００は，符号化対象の原画像３０を入力し，減算部３１において原画像３０とローカルデコード部３７から得た参照画像（ローカルデコード画像）との差分を求める。ＤＣＴ部３２では，その差分画像を入力して離散コサイン変換を行い，量子化部３３では，その結果のＤＣＴ係数を量子化する。可変長符号化部３４は，量子化データを可変長符号化し，それを基本レイヤのビットストリーム（符号化データ）とする。
また，量子化部３３により量子化した量子化データを，逆ＤＣＴ部３６により逆量子化し，その結果のＤＣＴ係数を逆ＤＣＴ部３６により逆離散コサイン変換し，その結果にローカルデコード部３７によって元の参照画像を加算することにより，次に参照するローカルデコード画像を生成する。
拡張レイヤの符号化では，原画像３０とローカルデコード部３７で復号したローカルデコード画像との差分を減算部３８で求め，その差分をＤＣＴ部３９によって離散コサイン変換し，ビットプレーン展開部４０においてビットプレーンに展開する。選択的拡張処理部４１０を持つ階層画像符号化装置３００では，選択的拡張処理部４１０によって，可変長符号化する前のＤＣＴ係数の優先順位の変更を行うことができる。その優先順位に従ってＤＣＴ係数を可変長符号化部４２により可変長符号化したものを拡張レイヤの符号化データとする。
また，図１０に，従来の基本レイヤと拡張レイヤからなる階層画像符号化装置の他の例を示す。図９の階層画像符号化装置３００の場合，原画像とローカルデコード画像の差分のＤＣＴ係数を拡張レイヤで符号化していたのに対し，図１０の階層画像符号化装置１００では，基本レイヤの量子化前のＤＣＴ係数と量子化・逆量子化後のＤＣＴ係数との差分を拡張レイヤで符号化している（非特許文献４参照）。
図１０の階層画像符号化装置１００において，基本レイヤを符号化する場合の減算部１１，ＤＣＴ部１２，量子化部１３，可変長符号化部１４，逆量子化部１５，逆ＤＣＴ部１６，ローカルデコード部１７の動作は，図９で説明したものと同様である。
拡張レイヤの符号化では，逆量子化部１５により逆量子化した後のＤＣＴ係数と，量子化する前のＤＣＴ係数との差分（以下，差分ＤＣＴ係数という）を減算部１８により算出し，結果をビットプレーン展開部１９によってビットプレーンに展開する。選択的拡張処理部２００によって，可変長符号化する前の差分ＤＣＴ係数の優先順位を変更し，その優先順位に従って差分ＤＣＴ係数を可変長符号化部２１により可変長符号化する。その可変長符号化した結果を拡張レイヤの符号化データとする。
これらの従来の選択的拡張処理機能を有する階層画像符号化装置では，選択的拡張処理部において，符号化データから主観品質に大きく寄与する領域をどのようにして推定し，拡張レイヤの符号化において優先的に符号化する領域をどのように選択するかが問題であった。
"Information technology-Coding of audio-visual objects-Part2:Visual Amendment 1:Visual extensions ISO/IEC 14496-2. "AMENDMENT 4:Streaming video profile,"ISO/IEC 14496-2:1999/FDAM4. 中嶋淳一，上倉一人，八島由幸，"MPEG-4 FGS レイヤにおける符号化マクロブロック選択に関する考察",情報処理学会第４０会ＡＶＭ研究会，pp1-6. Weiping Li",Ovweview of fine granularity Scalability in ＭＰＥＧ−４ Video Standard,"IEEE TRans.on CSVT,Vol.11,No.3,March 2001. 宮林正樹，若宮直紀，村田正行，宮原秀夫,"ＴＣＰデータ通信との公平性を考慮した輻輳適応型レート制御によるMPEG-4動画像通信",信学会情報ネットワーク研究会２００１年３月． 市ケ谷敦郎，黒住正顕，杉本智彦，中州英輔,"ＤＣＴ係数確率密度分布を用いた符号化ＰＳＮＲ推定手法の検討",FIT2000,J-77,pp.355-356. Hayder Radha,Yingwei Chen,Kavitha Parthasarathy,Robert Cohen,"Scalable Internet video using MPEG-4",Signal Processing:Image Communication 15pp.95-126,1999. 松尾賢治，高木幸一，小池淳，松本修一,"有意係数の分布に基づいたMFEG-4 FGSの bit-plane符号化効率改善法",映像情報メディア学会技術報告Vol.26,No.31,pp13-18,March 2002.
本発明は，上記従来技術の問題点を解決し，従来の符号化方式（例えば，非特許文献１）にない，スケーラブル性を実現し，また，通常，符号化効率において分割損があるが，主観品質においては同程度の品質を達成し，処理時間が基本レイヤも含めて実時間で処理可能である階層画像符号化技術を提供することを目的とする。
本発明は，上記課題を解決するため，主観品質を向上させ，高速処理を可能にするための，基本レイヤの量子化前のＤＣＴ係数と量子化・逆量子化後のＤＣＴ係数の差分（差分ＤＣＴ係数の）性質から，画像の主観品質を左右する２つの歪であるブロックノイズおよびモスキートノイズが出現するブロックを，所定値より小さい差分ＤＣＴ係数のカウント値およびローカルデコード画像の値を用いて推定する手段と，主観画質に大きく寄与するマクロブロックを優先的に階層符号化する階層符号化手段とを有することを特徴とする。ここで，優先的に階層符号化するとは，画像を領域分割した後に，特定の領域のみをビットプレーンシフトをして符号化することをいう。
本発明によれば，原画像の画素領域から一切の情報を必要とせず，すべて符号化データから主観品質に大きく寄与するマクロブロックを推定する作用がある。また，画像の主観品質を左右する２つの歪であるブロックノイズおよびモスキートノイズが出現するブロックを推定するという作用がある。また，推定されたブロックを優先的に符号化するという作用がある。
本発明によれば，原画像の画素領域から一切の情報を必要とせず，すべて符号化データから主観品質に大きく寄与するマクロブロックを推定する作用があり，高速に処理することができるという効果がある。
また，画像の主観品質を左右する２つの歪であるブロックノイズおよびモスキートノイズが出現するブロックを推定するため，主観品質に影響があるマクロブロックを優先することで，高い主観品質を実現するという効果がある。また，推定されたブロックを優先的に階層符号化することで，パケットロスや帯域変動に頑健なスケーラブル符号化を構築できるという効果がある。
図１に，本発明の基本レイヤと拡張レイヤからなる階層画像符号化装置の構成例を示す。階層画像符号化装置としては，基本レイヤにＭＰＥＧ−４ ＳＰ(Simple Profile)もしくはＡＳＰ(Advanced Simple Profile) を用いる。また，拡張レイヤにはＭＰＥＧ−４ ＦＧＳ(Fine Granularity Scalable) を用いる。
図１において，１は階層画像符号化装置，１０は符号化対象の原画像，１１は原画像１０とローカルデコード画像との差分を計算する減算部，１２は原画像１０とローカルデコード画像との差分を離散コサイン変換するＤＣＴ部，１３はＤＣＴ部１２による離散コサイン変換後のＤＣＴ係数を量子化する量子化部，１４は量子化部１３が量子化したデータ可変長符号化する可変長符号化部，１５は量子化後のＤＣＴ係数を逆量子化する逆量子化部，１６は逆量子化後のＤＣＴ係数について逆離散コサイン変換する逆ＤＣＴ部，１７はＤＣＴ係数の逆離散コサイン変換結果をもとに復号画像を生成するローカルデコード部，１８は逆量子化部１５による逆量子化後のＤＣＴ係数と量子化部１３により量子化される前のＤＣＴ係数との差分である差分ＤＣＴ係数を求める減算部，１９は減算部１８が求めた差分ＤＣＴ係数をビットプレーンに展開するビットプレーン展開部，２０は拡張レイヤの符号化の際に優先的に符号化する領域を選択して符号化するための選択的拡張処理部，２１は差分ＤＣＴ係数を可変長符号化する可変長符号化部である。
また，選択的拡張処理部２０において，２０１は減算部１８により求められた差分ＤＣＴ係数とローカルデコード画像とに基づいて画像を領域分割する領域分割部，２０２は分割された領域のうち，特定の領域をビットプレーンシフトするビットプレーンシフト部である。
階層画像符号化装置１は，原画像１０とローカルデコード部１７から得た参照画像（ローカルデコード画像）との差分をＤＣＴ部１２に入力して離散コサイン変換を行い，その結果のＤＣＴ係数を量子化部１３により量子化し，可変長符号化部１４により可変長符号化したものを基本レイヤのビットストリーム（符号化データ）とする。
一方で，量子化部１３による量子化後のＤＣＴ係数を逆量子化部１５により逆量子化したＤＣＴ係数と，量子化する前のＤＣＴ係数の差分（これを差分ＤＣＴ係数という）を可変長符号化部２１により可変長符号化したものを拡張レイヤの符号化データとする。このときに，選択的拡張処理部２０によって，可変長符号化する前の差分ＤＣＴ係数の優先順位の変更を行う。
基本レイヤにて符号化された画像は，原画像との差分（画素値）をＤＣＴ変換するのがＦＧＳ符号化の基本であるが，本実施の形態では，量子化前のＤＣＴ係数と量子化・逆量子化後のＤＣＴ係数の差分をそのままビットプレーン展開し，可変長符号化することで，ＦＧＳ符号化シンタックスに則ったビットストリームを生成する方法を用いる。変換された係数は，ビットプレーン展開され，上位のプレーンから可変長符号化されて送信される。
上位のビットプレーンは，差分ＤＣＴ係数の振幅が大きいところに相当するので，画素信号的に差分の高いところほど最初に送信される。他の部分は振幅に応じて順次送信される。マクロブロック単位ではなくフレーム全体でビットプレーン展開されるので，フレームのＳＮＲが徐々に向上するイメージである。
図２に，選択的拡張処理(Selective Enhancement) の概念を示す。図２（Ａ）は Selective Enhancement無しの場合を，図２（Ｂ）は Selective Enhancement有りの場合を示している。図２において，横軸はマクロブロック番号，縦軸は差分ＤＣＴ係数の大きさを表している。本実施の形態では，各マクロブロックは，詳しくは後述するように，複雑領域，グラデーション領域（高輝度／低輝度），エッジ領域，平坦領域の４つの領域に分類される。
通常のＦＧＳ符号化の中にマクロブロック毎にビットプレーンシフトを加えることが可能である。このとき，どのフレームのどのマクロブロックをシフトするかは標準では規定されていない。この機能をSelective Enhancement という。
差分ＤＣＴ係数は，図２（Ａ）のようにビットプレーン展開される。基本的に差分ＤＣＴ係数の振幅の大きいものから順番に符号化される。小さな振幅を持つマクロブロックは，必然的に優先順位が低くなる。ここで，図２（Ｂ）のように，任意に優先したいマクロブロックのビットを何ビットかシフトする。こうすることで，そのマクロブロックが優先的に符号化されることになる。
ＦＧＳ符号化では，上位プレーンから順番に送信されていき，かつ，上位４プレーンまでしか送信することができない。よって，図２（Ａ）の例では，グラデーション領域やエッジ領域は主観品質上重要であっても，ビット値が上位プレーンには現れず，下位プレーンだけであるので送信されない。そこで本実施の形態では，このような場合に主観品質に大きく影響する領域を考慮し，図２（Ｂ）に示すように，値をビットシフトしてプレーンをより上位プレーンに上げることで，より優先的に送信することを実現する。
本発明は，以上のようなSelective Enhancement において優先的に符号化される領域を選択する方法に関するものである。本発明では，画像を以下の４つに分類する方式を提案する。画像の主観品質に対する影響を考慮した領域の分類を以下に示す。
・画像の劣化が主観画質に大きく寄与する領域
−エッジ領域
−グラデーション領域
・画像の劣化が主観画質にほとんど寄与しない領域
−複雑領域
−平坦領域
以下に，４つの領域の説明を記す。まず，エッジ領域は，十分な符号量が与えられない場合に，エッジの周辺にモスキートノイズが生じる領域である。主観画質に大きく影響を与えるブロックである。自身が複雑ブロックで周囲に平坦ブロックがある場合に，そのブロックがエッジを含むブロックである可能性が高い。よって，このようなブロックはエッジ領域に属すると判断する。
次に，グラデーション領域は，値の変化がなだらかな領域ではあるが，十分な符号量がない場合にブロックノイズが生じる領域である。これも主観画質に大きく影響を与えるブロックである。自身が平坦ブロックであり，かつ，周囲にも平坦ブロックがあり，その平均輝度値の差分が大きい場合にブロックノイズが生じる。よって，このようなブロックをグラデーション領域に属すると判断する。さらに，このグラデーション領域を輝度平均値と所定の閾値との大小比較によって，高輝度グラデーション領域と低輝度グラデーション領域とに分類することもできる。
次に，複雑領域であるが，これは自身も周囲も複雑な領域であるために，ノイズが目立ちにくいとされるブロックである。しかし，優先的に符号化するとＳＮＲの向上に大きく寄与するブロックである。このようなブロックを複雑領域に属すると判断する。
最後に，平坦領域であるが，上記の３種類以外のブロックを平坦領域と判断する。自身が平坦であり，周囲にも平坦なブロックがある場合，かつ，その輝度値にあまり変化がない場合に，平坦領域に属するものとする。符号量も少なく，主観画質にもほとんど影響を与えない領域である。
図３に，本発明の実施の形態における領域分割アルゴリズムを示す。選択的拡張処理部２０の領域分割部２０１は，減算部１８がＤＣＴ部１２の出力であるＤＣＴ係数と，それを量子化部１３により量子化し，逆量子化部１５により逆量子化したＤＣＴ係数との差分を計算し，ビットプレーン展開部１９によってビットプレーンに展開した差分ＤＣＴ係数を参照して，以下の処理を行う。
まず，各差分ＤＣＴ係数を所定の整数Ｎで除算し，商が“０”になった係数をカウントする（ステップＳ１）。このカウント値をマップ化したものをカウントマップと呼ぶ。この操作は，閾値Ｎよりも小さいＤＣＴ係数をカウントしたことに相当し，この数が６４（＝ＤＣＴ係数の数）に近ければ近いほど平坦なブロックである可能性が高い。カウントマップの任意の座標（ｘ，ｙ）において取り得るカウント値Ｖcount （ｘ，ｙ）の範囲は，０≦Ｖcount （ｘ，ｙ）≦６３である。このカウント値Ｖcount （ｘ，ｙ）を，ある閾値Ｔｈc で２値化し，より低い方の値を複雑ブロック，高い方の値を平坦ブロックと分類する（ステップＳ２）。
任意の着目ブロックが平坦ブロックでなく，複雑ブロックであった場合（ステップＳ３），着目ブロックの近傍に一つでも平坦ブロックがあるかどうかを調べ，一つでも平坦ブロックがある場合，このブロックをエッジ領域に属するとする。それ以外は複雑領域とする（ステップＳ４）。ここで，２値化閾値Ｔｈc ＝５０を標準的な値とする。
前の処理で決定された閾値Ｔｈc にて平坦ブロックと判定されたブロックにおいて，近傍のブロックに平坦ブロックがある場合にその周囲の平坦ブロックの輝度平均を各々算出し，平均輝度値の差分がある閾値Ｔｈdif を超えた場合に，その着目ブロックをグラデーション領域とする。またそれ以外を平坦領域とする（ステップＳ５）。ここで，ブロックにおける輝度平均は，基本レイヤにおけるローカルデコード画像の値を用いる。
グラデーション領域と判定されたブロックにおいて，輝度平均が，ある輝度閾値Ｔｈy を超える場合を高輝度グラデーション領域とする。また，それ以外を低輝度グラデーション領域とする（ステップＳ６）。このように分類することで，すべてのブロックがエッジ領域，高輝度グラデーション領域，低輝度グラデーション領域，複雑領域，平坦領域に分類されることになる（ステップＳ７）。
選択的拡張処理部２０は，優先的に符号化する領域の優先順を，
（１）エッジ領域
（２）グラデーション領域（高輝度）
（３）グラデーション領域（低輝度）
（４）複雑領域
（５）平坦領域
の順とする。なお，高輝度グラデーション領域と低輝度グラデーション領域とを区別しないで一つの領域として扱ってもよい。ビットプレーンシフト部２０２は，図２（Ｂ）の例のように，優先順位の高いエッジ領域やグラデーション領域について，差分ＤＣＴ係数をビットシフトし，優先的に符号化されるようにする。これによって，主観画質に大きく影響を与えるブロックが優先的に符号化されることになる。
本実施の形態におけるビットプレーンシフトの方法について，さらに詳しく説明する。ビットプレーンシフト部２０２における処理の自由度として，第１にどのマクロブロックを，第２に何ビットシフトするかという２つの自由度がある。そこで，シフトすべきマクロブロックと，シフトするビット量を次の方針で決定する。
実際の画像に対しての領域分割の実験から，一般にエッジ領域と複雑領域はビットプレーン数が多いことがわかっている。よって，この２つの領域をビットシフトすると，他の領域の優先度が必然的に下がることになる。また，ＦＧＳ符号化の規格上，上位４プレーンしか符号化されないので，振幅の大きいプレーンはビットシフトを行わないほうが望ましい。そこで，本実施の形態では，基本的にモスキートノイズの現れやすいエッジ領域と，ブロック歪の目立つ高輝度グラデーション領域を最大ビットプレーンに合わせる形でビットシフトする。
また，具体的なビットプレーンシフトのアルゴリズムとしては，次のようなアルゴリズムを用いるのも好適である。注視領域（ＲＯＩ：Region Of Interest）を考慮すると，画像中央の複雑領域がＲＯＩに相当する場合がある。複雑領域の画像全体に対する割合が小さい時はＲＯＩとみなし，優先されるべき領域であるが，もともと複雑領域はプレーン数が多いので，特にビットシフトの対象とはしない。一方で，複雑領域が画面全体に対して大きな割合を占める場合には，背景部分であると判断し，相対的に複雑領域がシフトダウンされる方式とする。
すなわち，拡張レイヤでは，拡張レイヤに与えられたビットレートから，１フレーム当たりのビット数を算出する。そのビット数に達するまで，ＦＧＳ符号におけるビットプレーンを符号化する。差分ＤＣＴ係数から，そのフレームにおける最大ビットプレーン値を算出する。また，領域分割結果から複雑領域の画面に対する割合ｐc を算出する。これがある閾値以下である場合には，複雑領域がＲＯＩに属するとして，エッジ領域および高輝度グラデーション領域を最大ビットプレーン値に合わせてビットプレーンシフトする。複雑領域が十分に大きい場合には，背景に相当すると判断し，エッジ領域および高輝度グラデーション領域を最大ビットプレーン数＋ｋ（本実施の形態ではｋ＝１を用いた）までビットシフトする。これにより，相対的に複雑領域，低輝度グラデーション領域，平坦領域の優先度が下がったことになる。
さらに単純化した方式として，一般にエッジ領域も複雑領域と同様に振幅の大きな差分ＤＣＴ係数が現れる領域であるので，エッジ領域に関しては既に優先されているものとし，ビットプレーンシフトは行わないで，高輝度グラデーション領域だけビットプレーンシフトを行うような実施も好適である。
本発明を実際に適用した実験例を説明する。図４は本発明の実験に用いた原画像の例（画像“Flower Garden ”）を示す。図３のステップＳ１で生成したカウントマップは，図５のとおりであった。図５のカウントマップでは，カウント値の大小を濃淡で表している。図５では，画像の「空」の部分に高い値が出現している。
図６に，選択的拡張処理部２０の領域分割部２０１によって図５のカウントマップに基づき領域分割した結果を示す。図６に示す領域は，輝度の低い（黒い）順に，エッジ領域，高輝度グラデーション領域，低輝度グラデーション領域，複雑領域，平坦領域となっている。図６からわかるように，画像“Flower Garden ”においては，「空」と他のテクスチャとの境界にエッジ領域が出現し，画像“Flower Garden ”の「花畑」の部分は複雑領域と判定されている。画素領域で一般的なエッジ検出フィルタをかけた結果と，本発明によって領域分割した結果とを比較すると，エッジ検出フィルタをかけた結果を指標とした場合には，「花畑」の部分もエッジが抽出されるので，「花畑」の部分がエッジ領域と判断されるが，本発明による領域分割では複雑領域と判定され，一般的なエッジ検出による領域分割の結果と異なる結果となる。
図７は，本発明による選択的拡張処理を行わないで（Selective Enhancement なしの場合）符号化したデータを復号した結果の画像と，本発明により選択的拡張処理を行って（Selective Enhancement ありの場合）符号化したデータを復号した結果の画像との比較を示している。図７（Ａ）がSelective Enhancement なしの場合，図７（Ｂ）は本発明によるSelective Enhancement ありの場合の復号画像である。この例では，基本レイヤのビットレートを２５０ｋｂｐｓ，拡張レイヤのビットレートも２５０ｋｂｐｓで符号化を行った。領域分割結果は，拡張レイヤの符号化時に，主観品質に影響を与えるエッジ領域と高グラデーション領域をビットプレーンシフトし，優先的に符号化されるようにした。
この実験から，本発明による方式のほうが，より低レートにてＳＮＲには反映されないが，モスキートノイズやブロックノイズの載りやすい領域を優先的に符号化することで，視覚的に良好な結果が得られることが確認できた。すなわち，トータルビットレートの低いところで，エッジ領域や高輝度グラデーション領域の画質改善が図られており，One Source Multi-useという利用に関して，低いレートでも画像品質の劣化を抑えることができることが確認された。非特許文献３に示されている従来方式と本発明による方式との処理時間を比較した場合，本発明による方式の処理時間は，従来方式の１／１０程度の時間であった。
図８は，本発明の階層画像符号化装置の他の構成例を示す。前述した図１の例では，基本レイヤの量子化前のＤＣＴ係数と量子化・逆量子化後のＤＣＴ係数との差分を拡張レイヤで符号化する階層画像符号化装置１に対して本発明を適用した例を示したが，原画像とローカルデコード画像の差分のＤＣＴ係数を拡張レイヤで符号化する階層画像符号化装置３に対しても，同様に本発明を適用した選択的拡張処理部４１を用いることができる。
図８における選択的拡張処理部４１の他の部分は，図９で説明した従来の階層画像符号化装置３００と同様である。階層画像符号化装置３による拡張レイヤの符号化では，ＤＣＴ部３９により原画像とローカルデコード画像との差分のＤＣＴ係数を求め，ビットプレーン展開部４０によって差分ＤＣＴ係数をビットプレーンに展開する。選択的拡張処理部４１では，ビットプレーン展開された差分ＤＣＴ係数の特徴から，領域分割部４１１が前述した領域分割アルゴリズムを用いて領域を分割し，画像の主観品質を左右する２つの歪であるブロックノイズおよびモスキートノイズが出現するブロックを差分ＤＣＴ係数およびローカルデコード画像から推定する。ビットプレーンシフト部４１２は，領域分割結果からエッジ領域や高輝度グラデーション領域などを抽出し，そのビットプレーンをシフトし，主観画質に大きく寄与する領域が優先的に符号化されるようにする。
以上の階層画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
本発明の階層画像符号化装置の構成例を示す図である。 本発明の選択的拡張処理の概念を示す図である。 本発明の実施の形態における領域分割アルゴリズムを示す図である。 原画像の例を示す図である。 カウントマップの例を示す図である。 領域分割結果の例を示す図である。 選択的拡張処理を行わなかった場合と行った場合の実験結果の画像の比較を示す図である。 本発明の階層画像符号化装置の他の構成例を示す図である。 従来の階層画像符号化装置の例を示す図である。 従来の階層画像符号化装置の例を示す図である。
符号の説明
１，３，１００，３００ 階層画像符号化装置
１０，３０ 原画像
１１，１８，３１，３８ 減算部
１２，３２，３９ ＤＣＴ部
１３，３３ 量子化部
１４，２１，３４，４２ 可変長符号化部
１５，３５ 逆量子化部
１６，３６ 逆ＤＣＴ部
１７，３７ ローカルデコード部
１９，４０ ビットプレーン展開部
２０，４１，４１０ 選択的拡張処理部
２０１，４１１ 領域分割部
２０２，４１２ ビットプレーンシフト部

Claims (6)

  1. 基本レイヤと拡張レイヤからなる階層符号化を行う階層画像符号化方法であって，
    基本レイヤにおける量子化前のＤＣＴ係数と量子化および逆量子化後のＤＣＴ係数の差分である差分ＤＣＴ係数を算出するステップと，
    所定の大きさのブロック毎に前記差分ＤＣＴ係数が所定の第１の閾値より小さいものの数をカウントし，カウント値が所定の第２の閾値より低いブロックを複雑ブロック，高いブロックを平坦ブロックに分類し，着目ブロックが複雑ブロックで周囲に平坦ブロックがある場合に，その着目ブロックをエッジ領域とし，着目ブロックが平坦ブロックであり，かつ，周囲にも平坦ブロックがあり，その周囲の各平坦ブロックの平均輝度値と着目ブロックの平均輝度値との差分が所定の第３の閾値より大きい場合に，その着目ブロックをグラデーション領域とし，少なくとも画像をエッジ領域，グラデーション領域およびその他の領域に分割するステップと，
    前記分割された領域のうち，前記エッジ領域と前記グラデーション領域，または前記エッジ領域と前記グラデーション領域のうちブロックの輝度平均が所定の輝度閾値を超える領域である高輝度グラデーション領域，または前記高輝度グラデーション領域を，ビットプレーンシフトして優先的に階層符号化するステップとを有する
    ことを特徴とする階層画像符号化方法。
  2. 基本レイヤと拡張レイヤからなる階層符号化を行う階層画像符号化方法であって，
    現画像と基本レイヤのローカルデコード画像との差分を離散コサイン変換した差分ＤＣＴ係数を算出するステップと，
    所定の大きさのブロック毎に前記差分ＤＣＴ係数が所定の第１の閾値より小さいものの数をカウントし，カウント値が所定の第２の閾値より低いブロックを複雑ブロック，高いブロックを平坦ブロックに分類し，着目ブロックが複雑ブロックで周囲に平坦ブロックがある場合に，その着目ブロックをエッジ領域とし，着目ブロックが平坦ブロックであり，かつ，周囲にも平坦ブロックがあり，その周囲の各平坦ブロックの平均輝度値と着目ブロックの平均輝度値との差分が所定の第３の閾値より大きい場合に，その着目ブロックをグラデーション領域とし，少なくとも画像をエッジ領域，グラデーション領域およびその他の領域に分割するステップと，
    前記分割された領域のうち，前記エッジ領域と前記グラデーション領域，または前記エッジ領域と前記グラデーション領域のうちブロックの輝度平均が所定の輝度閾値を超える領域である高輝度グラデーション領域，または前記高輝度グラデーション領域を，ビットプレーンシフトして優先的に階層符号化するステップとを有する
    ことを特徴とする階層画像符号化方法。
  3. 基本レイヤと拡張レイヤからなる階層符号化を行う階層画像符号化装置であって，
    基本レイヤにおける量子化前のＤＣＴ係数と量子化および逆量子化後のＤＣＴ係数の差分である差分ＤＣＴ係数を算出する手段と，
    所定の大きさのブロック毎に前記差分ＤＣＴ係数が所定の第１の閾値より小さいものの数をカウントし，カウント値が所定の第２の閾値より低いブロックを複雑ブロック，高いブロックを平坦ブロックに分類し，着目ブロックが複雑ブロックで周囲に平坦ブロックがある場合に，その着目ブロックをエッジ領域とし，着目ブロックが平坦ブロックであり，かつ，周囲にも平坦ブロックがあり，その周囲の各平坦ブロックの平均輝度値と着目ブロックの平均輝度値との差分が所定の第３の閾値より大きい場合に，その着目ブロックをグラデーション領域とし，少なくとも画像をエッジ領域，グラデーション領域およびその他の領域に分割する手段と，
    前記分割された領域のうち，前記エッジ領域と前記グラデーション領域，または前記エッジ領域と前記グラデーション領域のうちブロックの輝度平均が所定の輝度閾値を超える領域である高輝度グラデーション領域，または前記高輝度グラデーション領域を，ビットプレーンシフトして優先的に階層符号化する手段とを備える
    ことを特徴とする階層画像符号化装置。
  4. 基本レイヤと拡張レイヤからなる階層符号化を行う階層画像符号化装置であって，
    現画像と基本レイヤのローカルデコード画像との差分を離散コサイン変換した差分ＤＣＴ係数を算出する手段と，
    所定の大きさのブロック毎に前記差分ＤＣＴ係数が所定の第１の閾値より小さいものの数をカウントし，カウント値が所定の第２の閾値より低いブロックを複雑ブロック，高いブロックを平坦ブロックに分類し，着目ブロックが複雑ブロックで周囲に平坦ブロックがある場合に，その着目ブロックをエッジ領域とし，着目ブロックが平坦ブロックであり，かつ，周囲にも平坦ブロックがあり，その周囲の各平坦ブロックの平均輝度値と着目ブロックの平均輝度値との差分が所定の第３の閾値より大きい場合に，その着目ブロックをグラデーション領域とし，少なくとも画像をエッジ領域，グラデーション領域およびその他の領域に分割する手段と，
    前記分割された領域のうち，前記エッジ領域と前記グラデーション領域，または前記エッジ領域と前記グラデーション領域のうちブロックの輝度平均が所定の輝度閾値を超える領域である高輝度グラデーション領域，または前記高輝度グラデーション領域を，ビットプレーンシフトして優先的に階層符号化する手段とを備える
    ことを特徴とする階層画像符号化装置。
  5. 請求項１または請求項２に記載の階層画像符号化方法をコンピュータに実行させるための階層画像符号化プログラム。
  6. 請求項１または請求項２に記載の階層画像符号化方法をコンピュータに実行させるための階層画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2003308496A 2003-09-01 2003-09-01 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体 Expired - Lifetime JP3892835B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003308496A JP3892835B2 (ja) 2003-09-01 2003-09-01 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003308496A JP3892835B2 (ja) 2003-09-01 2003-09-01 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2005079953A JP2005079953A (ja) 2005-03-24
JP3892835B2 true JP3892835B2 (ja) 2007-03-14

Family

ID=34410950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003308496A Expired - Lifetime JP3892835B2 (ja) 2003-09-01 2003-09-01 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3892835B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201550A1 (en) * 2006-01-09 2007-08-30 Nokia Corporation Method and apparatus for entropy coding in fine granularity scalable video coding
JP4857975B2 (ja) * 2006-07-14 2012-01-18 富士ゼロックス株式会社 画像処理システムおよび画像処理プログラム
JP4620695B2 (ja) * 2007-02-21 2011-01-26 日本電信電話株式会社 スケーラブル動画像符号化方法，装置，そのプログラムおよびその記録媒体
AU2011203169C1 (en) * 2011-06-29 2014-07-17 Canon Kabushiki Kaisha Compression of high bit-depth images
JP7257152B2 (ja) * 2019-01-25 2023-04-13 日本放送協会 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム

Also Published As

Publication number Publication date
JP2005079953A (ja) 2005-03-24

Similar Documents

Publication Publication Date Title
JP5107495B2 (ja) 品質ベースのイメージ圧縮
US8442337B2 (en) Encoding adjustments for animation content
KR100740818B1 (ko) 분산 기반의 적응형 블록 사이즈 ｄｃｔ 이미지 압축
JP5384694B2 (ja) 多層ビデオ設計のためのレート制御
US8446960B2 (en) Picture coding using adaptive color space transformation
EP1601208A2 (en) Method, apparatus and computer readable medium for prediction encoding/decoding
JPWO2008084745A1 (ja) 画像符号化装置および画像復号化装置
JP2009153128A (ja) デジタルイメージに対する選択的なクロミナンスデシメーション
JP2011172297A (ja) 符号化および復号のための方法および装置
KR20010102155A (ko) '블러키 화상' 효과의 감소
JP2001320713A (ja) 画像予備処理方法
Ernawan et al. Bit allocation strategy based on Psychovisual threshold in image compression
JP2007509525A (ja) 視覚的画質を均一にするビットレートコントロール方法及び装置
US9264736B2 (en) Encoding method, decoding method, encoding device, and decoding device
KR100555419B1 (ko) 동영상 코딩 방법
JP2012151894A (ja) 画像シーケンスを符号化する方法または復号する方法および装置
JP3892835B2 (ja) 階層画像符号化方法，階層画像符号化装置，階層画像符号化プログラムおよびそのプログラムを記録した記録媒体
Zaghetto et al. Segmentation-driven compound document coding based on H. 264/AVC-INTRA
Li et al. A high performance image compression technique for multimedia applications
KR20050035040A (ko) 디지털 영상 데이터의 복호화 방법
Watanabe et al. Two-layer lossless HDR coding considering histogram sparseness with backward compatibility to JPEG
van der Vleuten et al. Low-complexity scalable DCT image compression
JP2004248124A (ja) 階層的画像符号化装置および階層的画像復号装置
KR100231925B1 (ko) 전역 기반 색도 상관성을 이용한 영상 부호화 방법
KR100203695B1 (ko) 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061207

R150 Certificate of patent or registration of utility model

Ref document number: 3892835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term