JP4726040B2 - 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体 - Google Patents

符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体 Download PDF

Info

Publication number
JP4726040B2
JP4726040B2 JP2005023365A JP2005023365A JP4726040B2 JP 4726040 B2 JP4726040 B2 JP 4726040B2 JP 2005023365 A JP2005023365 A JP 2005023365A JP 2005023365 A JP2005023365 A JP 2005023365A JP 4726040 B2 JP4726040 B2 JP 4726040B2
Authority
JP
Japan
Prior art keywords
image data
image
encoding
foreground
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005023365A
Other languages
English (en)
Other versions
JP2006211513A (ja
Inventor
宏幸 作山
亨 水納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2005023365A priority Critical patent/JP4726040B2/ja
Publication of JP2006211513A publication Critical patent/JP2006211513A/ja
Application granted granted Critical
Publication of JP4726040B2 publication Critical patent/JP4726040B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、文字・線画と写真等が混在した文書画像等の符号化処理と、その符号の復号処理に係り、特に、ローコントラストのエッジやテクスチャの再現性の良好な符号化処理と復号処理に関する。
文書には、文字・線画と写真のような画像が混在しているのが一般的となっている。
従来より、こうした混在文書を効率的に符号化するために、文書画像を文字・線画部分と画像部分とに分離し、各々に対して異なる符号化を施すことが提案されている(例えば特許文献1参照)。
また、画像といっても写真等の自然画像とCG画像等の人工画像とでは性質が大きくことなるため、同じ符号化方式で符号化したのでは効率的な圧縮が期待できない。そこで、文書中の自然画像部分と人工画像部分とをラン長分布の違いに着目して分離し、それぞれの部分を適した符号化方式で符号化する発明が特許文献2に記載されている。
また、混在文書の符号化手法としてMRCと呼ばれる手法がある。MRCでは、図1に模式的に示すように、1ページの文書を文字の色情報(前景)、文字領域情報(マスク)、画像情報(背景)といった3レイヤに分け、レイヤごとに符号化を行う。
MRCに関しては、例えば特許文献3に、原画像の絵柄部分を表す多値の絵柄画像、原画像の文字・線画部分の色情報を表す多値の文字色画像、原画像の文字・線画の形状を表す2値の選択データをそれぞれJPEG、Lempel−Ziv、MMRで符号化した符号を取り込み、各画像の符号を伸長し、伸長された絵柄画像データ又は文字色画像データを、伸長された選択データに従って画素毎に選択することにより画像を合成する画像処理装置の発明が記載されている。この発明は、同特許文献の段落(0003)〜(0005)等の記載によれば、高圧縮率時の文字・線画の劣化を防止することを主要な目的とするものである。
特開平11−305958号公報 特開2002−163658号公報 特許第3275807号公報
本発明の目的は、MRC的手法により、ローコントラストのエッジ又はテクスチャの再現性が良好な符号化処理装置又は方法と、この符号化処理装置又は方法により生成された符号からローコントラス・エッジ又はテクスチャの再現性が良好な画像を復元する復号処理装置又は方法を提供することにある。
一般に、変換符号化と呼ばれる画像の符号化は、
原画像のサブバンドへの周波数変換→サブバンドを構成する「周波数領域の係数」の 量子化→量子化後の係数のエントロピー符号化
という手順をとる。
ここで、サブバンドとは周波数帯域ごとに分類された「周波数領域の係数」の集合である。「周波数領域の係数(周波数係数)」とは、前記周波数変換がDCTであればDCT係数であり、また前記周波数変換がウェーブレット変換であればウェーブレット係数である。
このような変換符号化においては、視覚的に影響の少ない高周波の係数を量子化して圧縮率を上げるのが通常であり、量子化に伴って、まず弱いエッジ成分(値の小さい高周波係数)から順に失われていき、強いエッジ線分は最後に失われる。その結果、圧縮率を上げていくと、強いエッジ成分は残っているが、ローコントラストのエッジやテクスチャが失われた、過度に平滑化されたような画像になることが多い。
しかし、まず原画像からローコントラスト・エッジ成分やテクスチャ成分を前景画像として抽出し、例えばこれをあまり量子化しないで符号化し、一方で背景画像に対して相対的に強い量子化を行えば、相対的に高い圧縮率下で、ローコントラスト・エッジやテクスチャが維持され、かつ、強いエッジも(ある程度)維持された画像を再現することが可能となる。
さて、ローコントラストのエッジ領域やテクスチャ領域の抽出法であるが、これらの領域は、周波数変換を行うと絶対値の小さい高周波係数に変換されることが多い。例えば、ウェーブレット変換を用いた場合、これらの領域は、主に、デコンポジションレベル2以下の高周波サブバンドにおける、絶対値が8未満の係数に変換される。したがって、こうした絶対値が所定未満の係数のみを抽出して周波数逆変換を行った画像は、前記領域を示したものとなる。
以上の考察に基づき、請求項1に係る発明は、
原画像データより、前記原画像データに含まれる第1の画像データと、前記原画像データに含まれる前記第1の画像データとは異なる第2の画像データと、前記第1の画像データと前記第2の画像データの一方又は両方を画素毎に選択するための第3の画像データを生成する画像生成手段と、
前記画像生成手段により生成された前記第1、第2及び第3の画像データを別々に符号化する符号化手段とを有し、
前記第3の画像データは前記原画像データのテクスチャ領域の画素位置で前記第1の画像データと前記第2の画像データの一方又は両方を選択するものであり、
前記画像生成手段は、前記第3の画像データにおける前記第1と第2の画像データの一方又は両方が選択される画素の位置を、前記原画像データを周波数変換した係数のうちの、絶対値が所定値未満の係数のみを逆変換して得られる画像データに基づいて決定することを特徴とする符号化処理装置である。
また、請求項2に係る発明は、請求項1に係る発明の符号化処理装置であって、前記画像生成手段は、前記原画像データのテクスチャ成分からなる前記第1の画像データを生成し、前記原画像データのテクスチャ成分が除かれた成分からなる前記第2の画像データを生成することを特徴とする符号化処理装置である。
さて、第1、第2、第3の画像データに符号量を配分する場合、この配分は符号から再現したい画像の画質に応じて決めるべきである。ローコントラストのエッジ成分やテクスチャ成分を第1の画像データとし、これをあまり量子化しないように符号化すれば、それら成分の再現性を上げることができる。
かかる考察に基づき、請求項3に係る発明は、請求項1又は2に係る発明の符号化処理装置であって、前記符号化手段は、前記第1の画像データ及び前記第2の画像データの符号化において、前記第1の画像データの量子化の程度を前記第2の画像データよりも小さくすることを特徴とする符号化処理装置である。
また、上記符号量の配分は、量子化だけでなく、第1、第2、第3の画像データの解像度によって制御することもできる。例えば、MRCでは、図1に示すように前景、マスク、背景の3つのデータに対して各々異なる解像度を適用できる(原画像の解像度に対し、各々異なった解像度変換を行った後に、量子化・符号化を適用できる)。
ここで、ローコントラスのエッジやテクスチャの位置をマスク画像にする場合、その位置がランダムになりがちであるため符号化効率が落ち、マスクの符号量が占める割合が大きすぎる傾向にある。こうした場合は、マスクの解像度を落とすのが適切である。
かかる考察に基づき、請求項4に係る発明は、請求項1又は2に係る発明の符号化処理装置であって、前記画像生成手段は、前記第3の画像データを前記第2の画像データよりも低解像度とすることを特徴とする符号化処理装置である。
また、ローコントラスのエッジやテクスチャは、輝度や色の二次元的な変化が少ない部分であるから、二次元的な情報、すなわち解像度としては低くて良い場合がある。
かかる考察に基づき、請求項5に係る発明は、請求項1又は2に係る発明の符号化処理装置であって、前記画像生成手段は、前記第1の画像データを前記第3の画像データより低解像度とし、前記第3の画像データを前記第2の画像データより低解像度とすることを特徴とする符号化処理装置である。
請求項6に記載の発明は、請求項1乃至5のいずれか1項に係る発明の符号化処理装置により生成される符号から画像を生成する復号処理装置であって、
請求項1乃至5のいずれか1項記載の符号化処理装置により生成された符号を復号して第1、第2及び第3の画像データを復元する復号手段と、
前記第3の画像データに基づいて、前記第1の画像データ及び前記第2の画像データを画素毎に選択し、次式
合成画像=(マスク値/255)×前景+{(255−マスク値)/255}×背景
(ただし、前景、背景、マスク値はそれぞれ前記第1、第2、第3の画像データの対応画
素値)
により前記第1の画像データと前記第2の画像データの加重平均をとることにより出力画像データを合成する合成手段と、
を有することを特徴とする。
また、請求項7に係る発明は、
原画像データより、前記原画像データに含まれる第1の画像データと、前記原画像データに含まれる前記第1の画像データとは異なる第2の画像データと、前記第1の画像データと前記第2の画像データの一方又は両方を画素毎に選択するための第3の画像データを生成する画像生成工程と、
前記画像生成工程により生成された前記第1、第2及び第3の画像データを別々に符号化する符号化工程とを有し、
前記第3の画像データは前記原画像データのテクスチャ領域の画素位置で前記第1の画像データと前記第2の画像データの一方又は両方を選択するものであり、
前記画像生成工程は、前記第3の画像データにおける前記第1と第2の画像データの一方又は両方が選択される画素の位置を、前記原画像データを周波数変換した係数のうちの、絶対値が所定値未満の係数のみを逆変換して得られる画像データに基づいて決定することを特徴とする符号化処理方法である。
請求項8に係る発明は、請求項1乃至5のいずれか1項に係る発明の符号化処理装置により生成された符号を復号して第1、第2及び第3の画像データを復元する復号工程と、
前記第3の画像データに基づいて、前記第1の画像データ及び前記第2の画像データを画素毎に選択し、次式
合成画像=(マスク値/255)×前景+{(255−マスク値)/255}×背景
(ただし、前景、背景、マスク値はそれぞれ前記第1、第2、第3の画像データの対応画
素値)
により前記第1の画像データと前記第2の画像データの加重平均をとることにより出力画像データを合成する合成工程と、
を有することを特徴とする復号処理方法である。
また、請求項9に係る発明は、請求項1乃至5のいずれか1項に係る発明の符号化処理装置の画像生成手段及び符号化手段としてコンピュータを機能させるプログラムである。このプログラムを利用すれば、請求項1乃至5に係る発明の符号化処理装置を、コンピュータを利用し容易に実現することができる。
また、請求項10に係る発明は、請求項1乃至5のいずれか1項に係る発明の符号化処理装置の画像生成手段及び符号化手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。この情報記録媒体よりプログラムをコンピュータに読み取らせることにより、請求項1乃至5に係る発明の符号化処理装置を、コンピュータを利用し容易に実現することができる。
前述したように、請求項1乃至5,7に係る発明によればテクスチャの再現性の高い符号化処理が可能である。特に、請求項3,4,5に係る発明によれば、符号量を抑えつテクスチャの再現性を高めることができる。また、請求項6,8に係る発明によればテクスチャの再現性の良い画像を復元できる。また、請求項9,10に係る発明によればテクスチャの再現性の高い符号化処理装置を、コンピュータを利用し容易に実現することが可能になる、等々の効果を得られる。
[予備的な説明]
本発明の実施の形態の理解を容易にするため、JPEG後継の画像圧縮伸長方式であるJPEG2000の概要について説明する。JPEG2000の符号化処理は概ね図2に示すような流れで行われる。
まず、画像は矩形のタイルに分割され(分割数≧1)、各タイルに対しDCレベルシフトと輝度・色差のコンポ−ネントへの色変換が施される。5x3ウェーブレット変換が用いられる場合はRCTと呼ばれる可逆の色変換が使用される。その正変換は、
輝度Y=floor{(R+2G+B)/4}
色差Cb=B−G
色差Cr=R−G
であり、また、逆変換は、
R=G+Cr
G=Y−floor{(Cr+Cb)/4}
B=Cb+G
となるが、記号floor{x}は、xのフロア関数(実数xを、xを越えず、かつxに最も近い整数に置換する関数)を示している。
タイル毎に、色変換後のコンポ−ネント(タイルコンポ−ネントと呼ばれる)は、ウェーブレット変換によって、LL、HL、LH、HHと略称される4つのサブバンドに分割される。そしてLLサブバンドに対して再帰的にウェーブレット変換(デコンポジション)を繰返すと、最終的に1つのLLサブバンドと複数のHL、LH、HHサブバンドが生成される。ここで、JEFG2000で採用されている5x3ウェーブレット変換について説明する。
図3から図7は、16×16画素のモノクロの画像に対して、5x3ウェーブレット変換を2次元(垂直方向および水平方向)に施す過程の例を示したものである。図3の様にxy座標をとり、あるxについて、y座標がyである画素の画素値をP(y)(0≦y≦15)と表す。
JPEG2000では、まず垂直方向(Y座標方向)に、y座標が奇数(y=2i+1)の画素を中心にハイパスフィルタを施して係数C(2i+1)を得、次にy座標が偶数(y=2i)の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのxについて行う)。座標の奇偶によってフィルタのハイパス、ローパスを切り替えることは、全ての座標に関してハイパスおよびローパスフィルタをかけた後に、ハイパス係数、ローパス係数を1/2に間引くことと等価である。1/2までなら、間引いた後の係数から逆変換で原画像が再構成可能であるため、これをクリティカルサンプリングという。また、下記式(1)と式(2)から明らかなように、ハイパス係数とローパス係数の間には所定の関係が成立し、これが完全再構成条件である。
ここで、ハイパスフィルタとローパスフィルタはそれぞれ式(1)と式(2)で表される。なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は所謂ミラリングと呼ばれる手法によって適宜画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を上記隣接画素群の値とみなす処理である。
C(2i+1)=P(2i+1)-floor{(P(2i)+P(2i+2))/2} 式(1)
C(2i)=P(2i)+floor{(C(2i-1)+C(2i+1)+2)/4} 式(2)
簡単のため、ハイパスフィルタで得られる係数をH、ローパスフィルタで得られる係数をLと表記すれば、前記垂直方向の変換によって図3の画像は図4のようなL係数、H係数の配列へと変換される。
続いて、今度は図4の係数配列に対して、水平方向に、x座標が奇数(y=2i+1)の係数を中心にハイパスフィルタを施し、次にx座標が偶数(x=2i)の係数を中心にローパスフィルタを施す。これを全てのyについて行う。この場合、前記式(1)及び式(2)P(2i)等は係数値を表すものと読み替える。
簡単のため、
前記L係数を中心にローパスフィルタを施して得られる係数をLL、
前記L係数を中心にハイパスフィルタを施して得られる係数をHL、
前記H係数を中心にローパスフィルタを施して得られる係数をLH、
前記H係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図4の係数配列は、図5の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれる。すなわち、図5の例は4つのサブバンドで構成される。
以上で、1回のウェーブレット変換(1回のデコンポジション(分解))が終了し、上記LL係数だけを集めると(図6の様にサブバンド毎に集め、LLサブバンドだけ取り出すと)、ちょうど原画像の1/2の解像度の“画像”が得られる。このように、サブバンド毎に分類することをデインターリーブと呼び、図3のような状態に配置することをインターリーブと呼ぶ。
2回目のウェーブレット変換は、図6のLLサブバンドを原画像と見なして、上記と同様の変換を行えばよく、デインターリーブすると図7のような係数配列が得られる。図6及び図7中の係数の接頭の1や2は、何回のウェーブレット変換で該係数が得られたかを示しており、デコンポジションレベルと呼ばれる。なお、1次元のウェーブレット変換を行う場合には、垂直又は水平方向のいずれか一方についてだけ同様の処理を行うことになる。
一方、ウェーブレット逆変換は、図5の様なインターリーブされた係数の配列に対して、まず水平方向に、x座標が偶数(x=2i)の係数を中心に逆ローパスフィルタを施し、次にx座標が奇数(x=2i+1)の係数を中心に逆ハイパスフィルタを施す。これを全てのyについて行う。ここで、逆ローパスフィルタと逆ハイパスフィルタはそれぞれ式次(3)と式(4)で表される。ウェーブレット変換時の同様、画像の端部においては、中心となる係数に対して隣接係数群が存在しないことがあり、この場合はミラリングによって適宜係数値を補うことになる。
P(2i)=C(2i)-floor{(C(2i-1)+C(2i+1)+2)/4} 式(3)
P(2i+1)=C(2i+1)+floor{(P(2i)+P(2i+2))/2} 式(4)
これにより、図5の係数配列は図4のような係数配列に変換(逆変換)される。続いて同様に、垂直方向に、y座標が偶数(y=2i)の係数を中心に逆ローパスフィルタを施し、次にy座標が奇数(y=2i+1)の係数を中心に逆ハイパスフィルタを施せば(これを全てのxについて行う)、1回のウェーブレット逆変換が終了し、図3の画像に戻る(再構成される)。なお、ウェーブレット変換が複数回施されている場合は、やはり図3をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返すことになる。
図2に示す圧縮処理手順の説明に戻る。ウェーブレット変換後に、各サブバンドはプリシンクトとよばれる矩形に分割される。図8に示すように、プリシンクトとは、サブバンドを矩形に分割したものもので、HL、LH、HH各サブバンドの対応したプリシンクトは3つで1まとまりとして扱われる。ただし、LLサブバンドを分割したプリシンクトは1つで1まとまりとして扱われる。プリシンクトは、大まかには画像中の場所(Position)を表すものである。プリシンクトはサブバンドと同じサイズにできる。図8に示すように、プリシンクトをさらに矩形に分割したものがコードブロックである。よって、物理的な大きさの序列は、画像≧タイル>サブバンド≧プリシンクト≧コードブロックとなる。デコンポジションレベル(施すウェーブレット変換の回数)と解像度レベルの関係を図9に示す。
以上の分割の後、係数に対しMQ符号化と呼ばれるのエントロピー符号化(ビットプレーン符号化)が、コードブロック毎かつビットプレーン順に成される。プリシンクトに含まれる全てのコードブロックから、ビットプレーンの符号の一部(例えば全てのコードブロックのMSBから3枚目までのビットプレーンの符号)を集めたものにヘッダをつけたものをパケットと呼ぶ。上記“一部”は“空”でもいいので、パケットの中身が符号的には“空(から)”ということもある。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。
そして全てのプリシンクト(=全てコードブロック=全てのサブバンド)のパケットを集めると、画像全域の符号の一部(例えば、画像全域のウェーブレット係数の、MSBから3枚目までのビットプレーンの符号)ができるが、これをレイヤーと呼ぶ。レイヤーは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤー数が増えれば画質は上がることになる。すなわち。レイヤーはビット深さ方向に形成された画質の単位である。すべてのレイヤーを集めると、画像全域の全てのビットプレーンの符号になる。
図10に、デコンポジションレベル=2、プリシンクトサイズ=サブバンドサイズとしたときのレイヤーと、それに含まれるパケットの例を示す。パケットは、プリシンクトを単位とするものであるから、プリシンクト=サブバンドとした場合、HL〜HHサブバンドをまたいだものとなる。
さて、以上で生成されたパケットやレイヤの区切りに従い、パケットを並べる作業を符号形成と呼ぶ。以上の様にパケットは
・どのコンポ−ネント(記号C)に属するか、
・どの解像度レベル(記号R)に属するか、
・どのプリシンクト(“場所”)(記号P)に属するか、
・どのレイヤ(記号L)に属するか、
という4つの属性を有する。パケットの配列とは、どの属性の順に階層的に並べるかを意味する。この配列順をプログレッションオーダとよび、図11に示す5通りが規定されている。例えば、LRCPプログレッションオーダの場合、次のようなforループ
for(レイヤ){
for(解像度){
for(コンポ−ネント){
for(プリシンクト){
エンコード時:パケットを配置
デコード時:パケットの属性を解釈




により、パケットの配列(エンコード時)又は属性の解釈(デコード時)がなされる。
各パケットはパケットヘッダを有するが、パケットヘッダには、
・そのパケットが空かどうか、
・そのパケットにどのコードブロックが含まれるか、
・そのパケットに含まれる各コードブロックのゼロビットプレーン数、
・そのパケットに含まれる各コードブロック符号のコーディングパス数(ビットプレーン数)、
・そのパケットに含まれる各コードブロックの符号長、
が記載されているが、レイヤ番号や解像度番号等は一切記載されていない。デコード時に、そのパケットがどのレイヤのどの解像度のものかを判別するには、メインヘッダ中のCODマーカに記載されたプログレッションオーダから上に述べたようなforループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがforループ内のどの位置でハンドリングされたかを見ればよい。これは、パケットヘッダ中の符号長さえ読み出せば、エントロピー符号自体をデコードしなくても、次のパケットを検出できること、すなわち任意のパケットにアクセスできることを意味する。
図12はLRCPの様な、レイヤがforループの最も外側に位置するレイヤープログレッシブ符号の概念図である。
図13はMRCによる符号構成の説明図である。MRCによる符号フォーマットは、MRC符号であること等を示す全体用のヘッダと、1つの背景符号およびそのヘッダと、それに重ね合わせる1つ若しくは複数の「前景符号とマスク符号のペア」およびそのペア用のヘッダで構成されるのが典型であり、図13のような符号の構成をとる。
また、JPM(JPEG2000 Multi layer)は、背景、前景およびマスクの符号化方式として、JPEG000を許容したMRCタイプの符号化方式であり(もちろんJPEG2000以外の多くの方式が許容される)、その符号フォーマットも、図13に示すような、ヘッダとそれに続く符号の列として構成される。
[本発明の実施の形態1]
ここで、本発明の符号化処理装置及び符号化処理方法の実施の形態について説明する。
図14は本発明の符号化処理装置の一実施形態を説明するためのブロック図である。本実施形態に係る符号化処理装置は、原画像100のデータを取り込みMRC符号140を出力するもので、機能的に大きく分けると、原画像100のデータから前景画像、背景画像、マスク画像のデータを生成する画像生成部110と、それら各画像のデータを別々に符号化する符号化部120と、それら各画像の符号を結合してMRC符号を形成する符号形成部130とから構成される。なお、符号形成部130を省き、各画像データの符号を分離した形で出力する態様も本発明に含まれる。
画像生成部110は、前景画像のデータを生成する前景画像生成手段111、マスク画像のデータを生成するマスク画像生成手段112、背景画像のデータを生成する背景画像生成手段113からなる。また、符号化部120は、前景画像のデータを符号化する前景画像符号化手段121、マスク画像のデータを符号化するマスク画像符号化手段122、背景画像のデータを符号化する背景画像符号化手段123からなる。なお、前景画像と背景画像のデータは特許請求の範囲に記載の第1の画像データと第2の画像データにそれぞれ対応し、マスク画像のデータは特許請求の範囲の選択データに対応する。
この符号化処理装置を構成する前記各手段は、図14において処理の流れに沿った形で表されている。すなわち、図14は請求項7に係る発明の一実施形態を表すフローチャートでもあり、その処理手順は画像生成工程(110)、画像符号化工程(120)及び符号形成工程(130)とからなる。そして、画像生成工程(110)は前景画像生成工程(111)、マスク画像形成工程(112)及び背景画像生成工程(113)からなり、画像符号化工程(120)は前景画像符号化工程(121)、マスク画像符号化工程(122)及び背景画像符号化工程(123)からなる。
本実施形態に係る符号化処理装置(又は符号化処理方法)は専用のハードウェアにより実現することもできるが、パソコンなどの汎用コンピュータや各種機器内蔵のマイクロコンピュータなどのコンピュータを利用し1以上のプログラムにより実現することも可能である。後者の実現形態を図15により説明する。
図15は、CPU200、メモリ201、ハードディスク装置202などをシステムバス203により相互接続した一般的なコンピュータを模式的に示している。このようなコンピュータを本実施形態に係る符号化処理装置の各手段として機能させるための(又はコンピュータに符号化処理方法の各工程を実行させるための)1以上のプログラム(アプリケーションプログラムやデバイスドライバなど)は、通常、ハードディスク装置202に保存されており、必要に応じてメモリ201に読み込まれてCPU200に実行される。処理対象の原画像のデータはハードディスク装置202に保存されているものとすると、処理の流れは概ね次の通りである。
(1)ハードディスク装置202より処理対象となる原画像データが、CPU200からの命令によってメモリ201に読み込まれる。
(2)CPU200は、メモリ201上の原画像データを読み込み、前景画像、背景画像、マスク画像のデータの生成、符号化、符号形成の各処理を実行する。
(3)CPU200は、形成されたMCR符号をメモリ201上の別の領域に書き込む。(4)CPU200からの命令によって、そのMRC符号がハードディスク装置202に保存される。
以上のようなプログラムは請求項9に係る発明の一実施形態であり、また、同プログラムが記録された各種の情報記録(記憶)媒体は請求項10に係る発明の一実施形態である。
なお、本実施形態に係る符号化処理装置又は符号化処理方法により生成された符号の復号処理において、前景と背景を合成する方法として、
(i)前景か背景のいずれかを選択する方法
(ii)前景の値と背景の値を選択して、それらを加算する方法
(iii)前景の値と背景の値を選択し、それらの加重平均をとる方法
が選択可能である。符号化処理装置又は符号化処理方法において、(i)の合成方法の場合、マスク画像は2値とされ、その値が1のときに前景画像を選択し、0のときに背景画像を選択するようなものとされる。(ii)の合成方法の場合、マスク画像は2値とされ、その値が1のときに背景画像と前景画像を選択し、0のときに背景画像のみを選択するようなものとされる。(iii)の合成方法の場合には、マスク画像は8ビットの正の値をとり、次式
合成画像=(マスク値/255)×前景+{(255―マスク値)/255}×背景
により前景画像と背景画像が加重平均により合成されるようなものとされる。
このような合成方法は、前景画像とマスク画像のペアごとに指定可能であり、各ペア用のヘッダに記載される(図13参照)。また、各ペア用のヘッダには、前景画像とマスク画像に施すべき解像度変換率に関する情報が記載される。
また、MRCにおいて、前景画像と背景画像の画素値は、JPEG2000やJPMと同様に、負の値を持つことが許されている。
以下、本実施形態のいくつかの実施例について説明する。以下の説明において特に断らない限り、原画像はモノクロ画像とする。したがって、JPEG2000による符号化では色変換は行われない。また、JPEG2000による符号化のタイル数を1とする。
本実施例において、前景画像はテクスチャの画像であり、背景画像はテクスチャ以外の画像(絵柄、非ローコントラストの文字又は線画)であり、マスク画像はテクスチャ領域の位置を示す2値の画像である。また、前景画像と背景画像の合成に前記(ii)の加算による合成方法が採用されるものとする。
前景画像生成手段(工程)111は、図16に示す手順により前景画像のデータを生成する。まず、原画像のデータに対しDCレベルシフトを施し(ステップ301)、次に前記の5×3ウェーブレット変換を施す(ステップ302)。生成された1HL,1LH,1HH,2HL,2LH,2HHサブバンドの絶対値が8以上の係数の値を0に置換し(ステップ303)、それ以外のサブバンドの全ての係数の値を0に置換する(ステップ304)。以上の係数値の置換を行った後の全サブバンドの係数に対し、5×3ウェーブレット逆変換を施すことにより原画像中のテクスチャ成分からなる前景画像のデータを生成する(ステップ305)。
この処理の内容について説明すれば、前述のように、原画像のデータに対し5x3ウェーブレット変換を行うと、原画像中のテクスチャ成分は、主にデコンポジションレベル2以下の高周波サブバンドにおける絶対値が8未満の係数に変換される。図19は、原画像(太線)とそのローパス係数の形状(細線)を概念的に示したものであるが、5×3ウェーブレット変換におけるハイパス係数の算出式から明らかなように、ハイパス係数が正とは、その位置で原画像が上に凸であることを示し、ハイパス係数が負とは、その位置が下に凸であることを示している。よって、絶対値の小さい(本実施例では8未満の)ハイパス係数だけをとりだし、ローパス係数を含むそれ以外の係数を0に置換して、それらを5×3ウェーブレット逆変換すれば、ローパス成分が0で、正および負の値(凹凸)をもつ画像が生成される。そして、この生成された画像は、原画像における微小な凹凸、つまり主にテクスチャを近似的に取り出したものになるわけである。
マスク画像生成手段(工程)112は、図17に示す手順によりマスク画像のデータを生成する。まず、図16のステップ305で生成された前景画像(テクスチャ画像)のデータを取り込み(ステップ311)、その非0の画素値を1に置換する処理を行い(ステップ312)、原画像のテクスチャ領域の画素位置のみ画素値が1となるマスク画像データを生成する。ここで、非0の画素値を1に置換するとは、図19に関連して説明から分かるように、上に凸の位置と下に凸の位置の両方を選択するということである(なお、正の画素値のみを1に置換すれば上に凸の位置だけを選択することになり、負の画素値のみを1に置換すれば下に凸の位置を選択することになる)。
なお、上記選択した位置の全てを必ずしもマスク画像として採用しなくともよく、マスク画像の符号量を少なくしたい場合には、孤立ドット(孤立した選択位置)を除く等、目的に応じて適宜位置を選択してもよい。
これとは逆に、いわゆる視覚のマスキング効果(孤立したドットは目立ちやすいく、他のドットに紛れたドットは目立ちにくい効果)を考慮し、視覚的に目立ちやすい孤立したテクスチャ(孤立したドット)のみを選択したいということであれば、注目係数を中心とするm×nの周囲(例えば5x5の範囲)の係数の絶対値を調べ、注目係数の絶対値のみが所定値以下である場合のみに、その係数を選択し、その5×3ウェーブレット逆変換画像を得て、この画像に基づいてマスク画像を生成するようにしてもよい。
また、前記選択すべき係数の絶対値は、ユーザが前景画像として残したいテクスチャやローコントラスト・エッジの濃淡の度合い(強度、エッジ度)によって決定され、より薄いテクスチャを残したければ、例示した値以下の値を閾値とすることができ、より濃いテクスチャを残したければ、より大きな値を用いることができる。
本実施例においては、マスク画像の符号量を削減するため、マスク画像生成手段(工程)112は、ステップ312で生成された画像のデータに対し、周知の最近傍法により解像度を1/2に変換する処理を施し(ステップ313)、最終的なマスク画像のデータを得る(請求項4)。
背景画像生成手段(工程)113においては図18に示す手順により背景画像のデータ(係数状態)を生成する。まず、原画像のデータに対しDCレベルシフトを施し(ステップ321)、次に前記の5×3ウェーブレット変換を施す(ステップ322)。なお、ステップ321,322を前景画像生成のためのステップ301,302(図16)と共通化することも可能である。次に、生成された1HL,1LH,1HH,2HL,2LH,2HHサブバンドの絶対値が8未満の係数の値を0に置換する(ステップ323)。このようにして生成されるデータ(ただし係数状態)は、原画像からテクスチャ成分を除いた画像のデータであることは明らかである。
なお、本実施例で使用する5x3ウェーブレット変換/逆変換は、その変換式のフロア関数部において一部非線形を有するが、概ね線形であるため、前景画像生成手段(工程)111で生成された前景(テクスチャ)画像のデータと、背景画像生成手段(工程)113で生成された背景(テクスチャ以外)画像のデータを5×3ウェーブレット逆変換した画像のデータとを加算すると、ほぼ原画像データに戻る。
生成された各画像のデータは符号化部(工程)120において符号化される。まず、前景画像符号化手段(工程)121は、前景(テクスチャ)画像のデータを、―4、0、4の3値に量子化し(正の値は4に、0の値は0に、負の値はー4に、量子化する)、JPEG2000によって符号する。ただし、本実施例では、ウェーブレット変換は行わず(すなわちデコンポジションレベル=0)、画素値をそのままビットプレーン化し、MQ符号化する。上記の3値のように、量子化後の絶対値を2のべき乗にした場合、絶対値をビットプレーン化するJPEG2000のような符号化方式をとった場合、MSB(3ビット目)に1が存在するだけになるため符号化効率がよい。
マスク画像符号化手段(工程)122は、マスク画像のデータを周知のMMRによって符号化する。
また、背景画像符号化手段(工程)123は図20に示す手順で背景(テクスチャ以外)画像のデータをJPEG2000フォーマットで符号化する。すなわち、背景画像のデータ(係数状態)を取り込み(ステップ331)、コードブロック毎にビットプレーン符号化し(ステップ332)、デコンポジションレベル1の符号は不要な符号として全て破棄し、必要な符号をまとめてパケットを生成し(ステップ333)、パケットを所定のプログレッションオーダに並べて符号を形成する(ステップ334)。
通常、デコンポジションレベル1の係数は8ビット以上の値を有するため、これらの係数の符号全ての破棄は、デコンポジションレベル1の係数を2の8乗以上の値で量子化されたと等価である。一方、8未満の係数を逆変換した前景画像(テクスチャ画像)は、通常、8周辺の値をとるため、背景画像よりも小さな、2の8乗未満の値で量子化されたことになる(請求項3)。
なお、符号破棄による量子化の場合、コードブロック毎に符号破棄量を変えることができるため、線形量子化に比べて「量子化の程度」を定義しにくいが、本明細書では「全係数におけるビットプレーン破棄数の平均値」と定義する。デコンポジションレベル1の係数は、全係数の3/4を占めるため、それらのビットプレーン破棄数が平均値にしめる割合は大きい。
最後に、MRC符号形成部(工程)130において前景画像の符号、マスク画像の符号及び背景画像の符号を結合し、図13のようなMRCフォーマットの符号を形成する。
本実施例においては、前景画像と背景画像の合成に前記(iii)の加重平均による合成方法が採用されるものとする。
本実施例における前景画像生成手段(工程)111においては図21に示す手順により前景画像のデータを生成する。ステップ401〜405までの処理内容は図16のステップ301〜305と同様である。最後のステップ406で、5×3ウェーブレット逆変換後の画像データの負の画素値を0に置換することにより、原画像中のテクスチャの一部のみ取り出した前景画像のデータを生成する。
前景画像符号化手段(工程)121は、前景(テクスチャ)画像のデータを(0、4の2値ではなく)0、255の2値に量子化し(正の値は255に量子化される)、JPEG2000によって符号化する。ただし、本実施例でも、前記実施例1の場合と同様、ウェーブレット変換は行わず(すなわちデコンポジションレベル=0)、画素値をそのままビットプレーン化してMQ符号化する。このように、前景画像のデータを0、255の2値に量子化した場合、マスク画像が非0の値を有する位置においては単色の前景になるため、前景は1×1の画像に解像度変換される(請求項5)。なお、単色の画像に対しては、特別に画素値のみを符号として持ち、画像サイズが自動的に1x1として扱われる表現形式(通常はタグやマーカ内の所定ビットをセットする)をとってもよい。
マスク画像生成手段(工程)112は、図22に示すように、前景画像のデータを取り込み(ステップ411)、非0の値を持つ画素値を4に置換し(ステップ412)、周知の最近傍法によって解像度を1/2に変換し(ステップ413)、マスク画像のデータを得る(請求項4)。
マスク画像符号化手段(工程)122は、マスク画像のデータを、デコンポジションレベル=0としてJPEG2000により符号化する。MSBに1が存在するだけになるため効率的な符号化が可能である。
背景画像生成手段(工程)113の処理、背景画像符号化手段(工程)123の処理、MRC符号形成部(工程)130の処理は前記実施例1の場合と同様である。
本実施例では前記(iii)の合成方法を採用するが、マスク画像データが4の値をとる画素位置では、前景画素値が255であるため
合成画像=(マスク値/255)×前景+{(255―マスク値)/255}×背景
=(4/255)×255+(255―4)/255×背景
≒4+背景
となり、加重平均ながら、ほぼ加算に近い結果が得られる。
本実施例において、前景画像としてローコントラスト・エッジの画像が、背景画像としてローコントラスト・エッジ以外の画像が、また、前記(ii)の合成方法のためのマスク画像が生成される。
前景画像生成手段(工程)111は、図23に示すように、原画像のデータに対しDCレベルシフトを施し(ステップ511)、次に5×3ウェーブレット変換を施す(ステップ512)。得られたウェーブレット係数に対し、デコンポジション2の高周波サブバンドである2HL,2LH,2HHサブバンドの絶対値が8以上の係数の値を0に置換し(ステップ513)、それ以外のサブバンドの全ての係数を0に置換し(ステップ514)、最後に5×3ウェーブレット逆変換を行い(ステップ515)、前景画像のデータを生成する。
原画像のデータに対し5x3ウェーブレット変換を行うと、原画像中のローコントラスト・エッジ成分は、主に、デコンポジションレベル2(あるいは3)の高周波サブバンドにおける、絶対値が8未満の係数に変換される。ステップ513でデコンポジションレベル2の2HL,2LH,2HHサブバンドの絶対値が8以上の係数の値を0に置換し、それ以外のサブバンドの全係数を0に置換することにより、デコンポジションレベル1に含まれるノイズ的な成分が除かれ、ローコントラスト・エッジのみをとり出した前景画像データを生成することができる。
マスク画像生成手段(工程)112は、図24に示すように、前景画像のデータを取り込み(ステップ521)、その非0の値を有する画素値を1に変換することにより(ステップ522)マスク画像のデータを生成する。
背景画像生成手段(工程)123は、図25に示すように、原画像のデータにDCレベルシフトと5×3ウェーブレット変換を順次施し(ステップ531,532)、得られたウェーブレット係数のうちのデコンポジションレベル2の2HL,2LH,2HHサブバンドの絶対値が8未満の係数を0に置換する処理を行い(ステップ533)、ローコントラスト・エッジ成分が除かれた背景画像のデータ(係数状態)を生成する。なお、ステップ531,532は図23のステップ511,512と共通化してよい。
前景画像及び背景画像のデータは前記実施例1と同様にJPEG2000で符号化され、マスク画像のデータは前記実施例1と同様にMMRで符号化される。MRC符号形成処理も前記実施例1と同様である。
本実施例においては、前景画像としてローコントラスト・エッジの画像を、背景画像としてローコントラスト・エッジ以外の画像を生成し、また、前記(i)の合成方法のためのマスク画像を生成する。
前景画像生成手段(工程)111は、図26に示すように、まず原画像のデータの全画素に対し周知のSobelフィルタを適用する(ステップ601)。このSobelフィルタは、注目画素を中心とした上下左右の9つの画素に対して、図27に示す第1の重みマトリクスを乗算して、その和HSを算出し、同様に図28に示す第2のマトリクスを乗算してその和VSを算し、(HS^2+VS^2の)平方根をフィルタの出力値とするものである。次に、Sobleフィルタの出力値が10以上30未満である画素の画素値は維持し、Sobelフィルタ出力値がそれ以外の画素の画素値は直前に維持した画素値で置換する(ただし、直前に維持した画素値がない場合には128に置換する)処理を行い(ステップ602)、ローコントラスト・エッジ成分からなる前景画像のデータを生成する。
マスク画像生成手段(工程)112は、図29に示すように、原画像のデータの全画素に対しSobelフィルタを適用し(ステップ611)、Sobelフィルタ出力値が10以上30未満の画素の画素値を1に置換し、Sobelフィルタ出力値がそれ以外の治である画素の画素値を0に置換する処理を行い(ステップ612)、最後に周知の最近傍法により解像度を1/2に変換する処理を行い(ステップ613)、マスク画像のデータを生成する。なお、ステップ611は図26のステップ601と共通化してよい。
背景画像生成手段(工程)113は、図30に示すように、原画像のデータの全画素に対しSobelフィルタを適用し(ステップ621)、Sobelフィルタ出力値が10未満又は30以上の画素の画素値を維持し、Sobelフィルタ出力値が10以上30未満の画素の画素値を直前に維持した画素値で置換する処理を行い(ステップ622)、ローコントラスト・エッジ成分の含まれない背景画像のデータを生成する。なお、ステップ621は図26のステップ601と共通化してよい。
前景画像と背景画像のデータは前記実施例1と同様にJPEG2000により符号化され、2値のマスク画像のデータは前記実施例1と同様にMMRで符号化される。
前記実施例1〜4はモノクロの原画像を対象としたが、ここではカラーの原画像を対象とした実施例について説明する。本実施例は前景画像と背景画像の合成に前記(ii)の合成方法が用いられる場合である。
本実施例において、前景画像生成手段(工程)111は、図31に示すように、まず原画像のデータに対しDCレベルシフト及び色変換を施し(ステップ701)、次に輝度コンポーネントにのみ5×3ウェーブレット変換を施す(ステップ702)。生成された輝度コンポーネントのウェーブレット係数のうち、1HL,1LH,1HH,2HL,2LH,2HHサブバンドの絶対値が8以上の係数の値を0に置換し(ステップ703)、それ以外のサブバンドの全ての係数の値を0に置換する(ステップ704)。以上の係数値の置換を行った輝度コンポーネントの全サブバンドの係数に対し、5×3ウェーブレット逆変換を施す(ステップ705)。かくして、ウェーブレット逆変換後の輝度コンポーネントの画素値データと、ステップ701でのDCレベルシフト及び色変換により得られたCr,Cbコンポーネントの画素値データとからなる前景画像(テクスチャ画像)のデータが生成される。
マスク画像生成手段(工程)112は、図32に示すように、前景画像(テクスチャ画像)のデータを取り込み(ステップ711)、そのY,Cr,Cbの各コンポーネントについて、非0の画素値を1に置換する処理を行う(ステップ712)。この処理後の各コンポーネントについて、周知の最近傍法により解像度を1/2に変換する処理を行い(ステップ713)、前記(ii)の合成方法のためのマスク画像データを生成する。なお、ステップ713の解像度変換はマスク画像の符号量を削減するためであり、この解像度変換を省くこともできる。
背景画像生成手段(工程)113は、図33に示すように、まず、原画像のデータに対しDCレベルシフト及び色変換を施し(ステップ721)、次にY,Cb,Cr各コンポーネントに対し5×6ウェーブレット変換を施す(ステップ722)。次に、生成された輝度コンポーネントのウェーブレット係数のうち、1HL,1LH,1HH,2HL,2LH,2HHサブバンドの絶対値が8未満の係数の値を0に置換する(ステップ723)。かくして、この置換処理後の輝度コンポーネントのウェーブレット係数と、ステップ722で生成されたCr,Cbコンポーネントのウェーブレット係数とからなる背景画像(テクスチャ以外の画像)のデータ(たたじ係数状態)が生成される。
そして、前記実施例1の場合と同様、前景データ及び背景データはJPEG200で符号化され、マスク画像データはMMRにより符号化される。
ここまでの説明から理解されるように、本実施例は前記実施例1のカラー版ということができる。前記実施例2〜4についても、同様のカラー版が可能であることは明らかである。
[実施の形態2]
次に、本発明の復号処理装置又は方法の一実施形態について説明する。本実施形態は、前記実施形態1に係る符号化処理装置又は符号化処理方法により生成されたMRC符号から原画像に対応する画像のデータを復元する復号処理装置又は復号処理方法に係るものである。この復号処理装置又は復号処理方法は、入力するMRC符号より、前景画像、背景画像及びマスク画像のデータを復号する手段又は工程と、復号されたデータに必要に応じて解像度変換を施す手段又は工程と、マスク画像データに基づいて前景画像データと背景画像データから出力画像データを合成する処理を行う手段又は工程とから構成される。合成方法として前記(i)〜(iii)の方法を選択できる。なお、解像度変換が不要ならば、そのための手段又は工程は省き得る。
このような復号処理装置又は方法の一実施例について、図34に示すフローチャートに沿って説明する。まず、MRC符号を取り込む(ステップ801)。次に、背景画像符号を復号して背景画像データを復元し、それに対し必要に応じて解像度変換を施す(ステップ802)。次に、前景画像及びマスク画像用のヘッダ(図13)から合成方法(前記(i)〜(iii))を判断する(ステップ803)。前景画像符号を復号して前景画像データを復元し、それに対し必要に応じて解像度変換を施し(ステップ804)、マスク画像符号を復号してマスク画像データを復元し、それに対し必要に応じて解像度変換を施し(ステップ805)、ステップ803で確認した合成方法により、マスク画像データに基づいて画素毎に前景画像データと背景画像データの一方又は両方を選択して出力画像データの合成を行う(ステップ806)。ステップ803〜806の処理が全ての前景画像データについての合成が済むまで繰り返され、それが済んだと判断されると(ステップ807,Yes)、復号処理動作を終了する。なお、各画像の解像度変換倍率は各画像用のヘッダから知ることができる。また、各画像の符号化方式は、各画像の符号中のヘッダから判別される。
図34において、ステップ802,804,805は復号及び解像度変換の手段に対応し、ステップ806は合成の手段に対応する。ステップ803,807は、それら各手段に関する繰り返し制御のための手段に相当する。
このような復号処理装置又は方法は、例えば図15に模式的に示したようなコンピュータ上で1以上のプログラムにより実現可能であることは明らかである。このようなプログラムと、同プログラムが記録された各種情報記録(記憶)媒体も本発明に含まれる。
MRCの概念図である。 JPEG2000の符号化アルゴリズムの説明のためのブロック図である。 原画像の座標系を示す図である。 垂直方向へのフィルタリングにより得られる係数配列を示す図である。 水平方向へのフィルタリング後の係数配列を示す図である。 デインターリーブ後の係数配列を示す図である。 2回の変換後のデインターリーブされた係数配列を示す図である。 画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す図である。 デコンポジションレベルと解像度レベルの関係を示す図である。 レイヤーとパケットの例を示す図である。 JPEG2000の5通りのプログレッションオーダを示す図である。 LRCPプログレッション符号のようなレイヤープログレッシブ符号の概要図である。 MRCの符号フォーマットの説明図である。 本発明に係る符号化処理装置及び方法の実施の形態を説明するためのブロック図である。 プログラムによる実施形態を説明するためのブロック図である。 本発明の実施例1における前景画像生成処理を説明するためのフローチャートである。 本発明の実施例1におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例1における背景画像生成処理を説明するためのフローチャートである。 原画像とローパス係数の関係を説明するための図である。 本発明の実施例1における背景画像の符号化を説明するためのフローチャートである。 本発明の実施例2における前景画像生成処理を説明するためのフローチャートである。 本発明の実施例2におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例3における前景画像生成処理を説明するためのフローチャートである。 本発明の実施例3におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例3における背景画像生成処理を説明するためのフローチャートである。 本発明の実施例4における前景画像生成処理を説明するためのフローチャートである。 Sobelオペレータを示す図である。 Sobelオペレータを示す図である。 本発明の実施例4におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例4における背景画像生成処理を説明するためのフローチャートである。 本発明の実施例5における前景画像生成処理を説明するためのフローチャートである。 本発明の実施例5におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例5における背景画像生成処理を説明するためのフローチャートである。 本発明に係る復号処理装置及び方法の実施の形態を説明するためのブロック図である。
符号の説明
110 画像生成部(画像生成工程)
111 前景画像生成手段(前景画像生成工程)
112 マスク画像生成手段(マスク画像生成工程)
113 背景画像生成手段(背景画像生成工程)
120 符号化部(符号化工程)
121 前景画像符号化手段(前景画像符号化工程)
122 マスク画像符号化手段(マスク画像符号化工程)
123 背景画像符号化手段(背景画像符号化工程)
130 MRC符号形成部(MRC符号形成工程)

Claims (10)

  1. 原画像データより、前記原画像データに含まれる第1の画像データと、前記原画像データに含まれる前記第1の画像データとは異なる第2の画像データと、前記第1の画像データと前記第2の画像データの一方又は両方を画素毎に選択するための第3の画像データを生成する画像生成手段と、
    前記画像生成手段により生成された前記第1、第2及び第3の画像データを別々に符号化する符号化手段とを有し、
    前記第3の画像データは前記原画像データのテクスチャ領域の画素位置で前記第1の画像データと前記第2の画像データの一方又は両方を選択するものであり、
    前記画像生成手段は、前記第3の画像データにおける前記第1と第2の画像データの一方又は両方が選択される画素の位置を、前記原画像データを周波数変換した係数のうちの、絶対値が所定値未満の係数のみを逆変換して得られる画像データに基づいて決定することを特徴とする符号化処理装置。
  2. 前記画像生成手段は、前記原画像データのテクスチャ成分からなる前記第1の画像データを生成し、前記原画像データのテクスチャ成分が除かれた成分からなる前記第2の画像データを生成することを特徴とする請求項1記載の符号化処理装置。
  3. 前記符号化手段は、前記第1の画像データ及び前記第2の画像データの符号化において、前記第1の画像データの量子化の程度を前記第2の画像データよりも小さくすることを特徴とする請求項1又は2記載の符号化処理装置。
  4. 前記画像生成手段は、前記第3の画像データを前記第2の画像データよりも低解像度とすることを特徴とする請求項1又は2記載の符号化処理装置。
  5. 前記画像生成手段は、前記第1の画像データを前記第3の画像データより低解像度とし、前記第3の画像データを前記第2の画像データより低解像度とすることを特徴とする請求項1又は2記載の符号化処理装置。
  6. 請求項1乃至5のいずれか1項記載の符号化処理装置により生成された符号を復号して第1、第2及び第3の画像データを復元する復号手段と、
    前記第3の画像データに基づいて、前記第1の画像データ及び前記第2の画像データを画素毎に選択し、次式
    合成画像=(マスク値/255)×前景+{(255−マスク値)/255}×背景
    (ただし、前景、背景、マスク値はそれぞれ前記第1、第2、第3の画像データの対応画
    素値)
    により前記第1の画像データと前記第2の画像データの加重平均をとることにより出力画像データを合成する合成手段と、
    を有することを特徴とする復号処理装置。
  7. 原画像データより、前記原画像データに含まれる第1の画像データと、前記原画像データに含まれる前記第1の画像データとは異なる第2の画像データと、前記第1の画像データと前記第2の画像データの一方又は両方を画素毎に選択するための第3の画像データを生成する画像生成工程と、
    前記画像生成工程により生成された前記第1、第2及び第3の画像データを別々に符号化する符号化工程とを有し、
    前記第3の画像データは前記原画像データのテクスチャ領域の画素位置で前記第1の画像データと前記第2の画像データの一方又は両方を選択するものであり、
    前記画像生成工程は、前記第3の画像データにおける前記第1と第2の画像データの一方又は両方が選択される画素の位置を、前記原画像データを周波数変換した係数のうちの、絶対値が所定値未満の係数のみを逆変換して得られる画像データに基づいて決定することを特徴とする符号化処理方法。
  8. 請求項1乃至5のいずれか1項記載の符号化処理装置により生成された符号を復号して第1、第2及び第3の画像データを復元する復号工程と、
    前記第3の画像データに基づいて、前記第1の画像データ及び前記第2の画像データを画素毎に選択し、次式
    合成画像=(マスク値/255)×前景+{(255−マスク値)/255}×背景
    (ただし、前景、背景、マスク値はそれぞれ前記第1、第2、第3の画像データの対応画
    素値)
    により前記第1の画像データと前記第2の画像データの加重平均をとることにより出力画像データを合成する合成工程と、
    を有することを特徴とする復号処理方法。
  9. 請求項1乃至5のいずれか1項記載の符号化処理装置の画像生成手段及び符号化手段としてコンピュータを機能させるプログラム。
  10. 請求項1乃至5のいずれか1項記載の符号化処理装置の画像生成手段及び符号化手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
JP2005023365A 2005-01-31 2005-01-31 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体 Expired - Fee Related JP4726040B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005023365A JP4726040B2 (ja) 2005-01-31 2005-01-31 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005023365A JP4726040B2 (ja) 2005-01-31 2005-01-31 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体

Publications (2)

Publication Number Publication Date
JP2006211513A JP2006211513A (ja) 2006-08-10
JP4726040B2 true JP4726040B2 (ja) 2011-07-20

Family

ID=36967841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005023365A Expired - Fee Related JP4726040B2 (ja) 2005-01-31 2005-01-31 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体

Country Status (1)

Country Link
JP (1) JP4726040B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4728921B2 (ja) * 2006-09-15 2011-07-20 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5186820B2 (ja) * 2007-06-27 2013-04-24 株式会社リコー 符号化装置、符号化方法および符号化プログラム
JP4908382B2 (ja) 2007-11-14 2012-04-04 株式会社リコー 画像処理装置及び画像処理方法
JP5573316B2 (ja) * 2009-05-13 2014-08-20 セイコーエプソン株式会社 画像処理方法および画像処理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188756A (ja) * 1996-08-21 2000-07-04 Sharp Corp 動画像符号化装置および動画像復号装置
JP2000216979A (ja) * 1999-01-22 2000-08-04 Canon Inc 画像抽出方法及び装置並びに記憶媒体
JP2002094775A (ja) * 2000-09-19 2002-03-29 Matsushita Electric Ind Co Ltd 任意の形状の静止及び動画像を形成するための方法及び装置
WO2003061292A1 (en) * 2002-01-14 2003-07-24 Hewlett-Packard Company Coder matched layer separation and interpolation for compression of compound documents
JP2003348358A (ja) * 2002-05-23 2003-12-05 Fuji Xerox Co Ltd 画像処理装置
JP2004104230A (ja) * 2002-09-05 2004-04-02 Fuji Xerox Co Ltd 画像処理装置
JP2004173276A (ja) * 2002-11-18 2004-06-17 Xerox Corp デシジョン面生成方法、画像データ画素区分方法及びカラードキュメント区分方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188756A (ja) * 1996-08-21 2000-07-04 Sharp Corp 動画像符号化装置および動画像復号装置
JP2000216979A (ja) * 1999-01-22 2000-08-04 Canon Inc 画像抽出方法及び装置並びに記憶媒体
JP2002094775A (ja) * 2000-09-19 2002-03-29 Matsushita Electric Ind Co Ltd 任意の形状の静止及び動画像を形成するための方法及び装置
WO2003061292A1 (en) * 2002-01-14 2003-07-24 Hewlett-Packard Company Coder matched layer separation and interpolation for compression of compound documents
JP2003348358A (ja) * 2002-05-23 2003-12-05 Fuji Xerox Co Ltd 画像処理装置
JP2004104230A (ja) * 2002-09-05 2004-04-02 Fuji Xerox Co Ltd 画像処理装置
JP2004173276A (ja) * 2002-11-18 2004-06-17 Xerox Corp デシジョン面生成方法、画像データ画素区分方法及びカラードキュメント区分方法

Also Published As

Publication number Publication date
JP2006211513A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
JP4480119B2 (ja) 画像処理装置及び画像処理方法
US7577308B2 (en) Image data generation with reduced amount of processing
JP4618676B2 (ja) 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
JP5017555B2 (ja) 画像符号化装置及び画像復号化装置
US7302105B2 (en) Moving image coding apparatus, moving image decoding apparatus, and methods therefor
US7333664B2 (en) Image compression method capable of reducing tile boundary distortion
JP4229323B2 (ja) 符号化装置、符号化方法及びプログラム
JP4726040B2 (ja) 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体
WO2016158309A1 (ja) 画像処理システムおよび画像処理方法
JP5191013B2 (ja) 画像符号化装置及び画像復号化装置
JP5245771B2 (ja) 符号化装置、符号化方法、プログラム及び記録媒体
JP5267252B2 (ja) 画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラム
JP4965534B2 (ja) 符号化装置、符号化方法、プログラム、および情報記録媒体
JP4189956B2 (ja) 画像データ生成装置及び画像データ生成方法
JP4266195B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2004112004A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4034236B2 (ja) 特定変換係数優先符号化装置、特定変換係数優先符号化復号システム及び特定変換係数優先符号化方法
JP4663489B2 (ja) 画像処理装置、デタイル方法、プログラム及び情報記録媒体
JP5594011B2 (ja) 符号化装置、符号化方法、プログラム及び情報記録媒体
JP4189957B2 (ja) 画像データ生成装置及び画像データ生成方法
JP4753297B2 (ja) 画像処理装置、デタイル処理方法、プログラム及び情報記録媒体
JP4367113B2 (ja) 画像符号化装置及び方法
JP2006352365A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4137458B2 (ja) 固定長画像符号化装置
JP4424672B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110407

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees