JP4412688B2 - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP4412688B2 JP4412688B2 JP33327599A JP33327599A JP4412688B2 JP 4412688 B2 JP4412688 B2 JP 4412688B2 JP 33327599 A JP33327599 A JP 33327599A JP 33327599 A JP33327599 A JP 33327599A JP 4412688 B2 JP4412688 B2 JP 4412688B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- drawing object
- bit
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【発明の属する技術分野】
本発明は、属性情報等のオブジェクト情報を有する画像データを符号化する画像処理装置及びその方法に関するものである。
【0002】
【従来の技術】
一般に画像情報は、その画像の属性などを示すオブジェクト情報をビット情報として有しており、このようなオブジェクト情報は、その画像情報を展開して描画する際の重要な情報として使用されている。
【0003】
【発明が解決しようとする課題】
また、画像情報を符号化する際、その画像情報の有する属性情報等によって特定される画像特性に応じて符号化するのが望ましい。このため、画像情報の符号化に際しては、その画像の中のある特性の画像領域を指示して、その領域は他の領域とは異なる手法により符号化する試みもなされている。しかしながら、このような画像領域を指定するためには、人手によるか、或は予め定められた領域に固定するしかなかった。
【0004】
本発明は上記従来例に鑑みてなされたもので、画像情報の有するオブジェクト情報が解像度優先を示している画像領域を指定し、その指定された画像領域に対して他の領域よりも低い圧縮率で符号化を行うことにより、その画像量域の品位の低下を抑制しながら画像全体の符号化効率を高めるようにした画像処理装置及びその方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
描画オブジェクトに付随するオブジェクト情報に基づいて、前記描画オブジェクトを判別する判別手段と、
前記描画オブジェクトを描画展開する展開手段と、
前記展開手段により描画展開された描画オブジェクトが少なくともビットマップかベクトルデータか、及び当該ベクトルデータの場合に階調優先か解像度優先かを示すオブジェクト情報が解像度優先を示している画像領域を指定する指定手段と、
前記指定手段で指定された前記画像領域の画像データのビットをシフトアップした後、前記描画展開された描画オブジェクトの前記画像領域をそれ以外の画像領域よりも低い圧縮率で符号化する符号化手段と、
を有することを特徴とする。
【0006】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
画像データを符号化する画像処理装置の画像処理方法であって、
前記画像処理装置の判別手段が、描画オブジェクトに付随するオブジェクト情報に基づいて、前記描画オブジェクトを判別する判別工程と、
前記画像処理装置の描画手段が、前記描画オブジェクトを描画展開する展開工程と、
前記画像処理装置の指定手段が、前記展開工程で描画展開された描画オブジェクトが少なくともビットマップかベクトルデータか、及び当該ベクトルデータの場合に階調優先か解像度優先かを示すオブジェクト情報が解像度優先を示している画像領域を指定する指定工程と、
前記画像処理装置の符号化手段が、前記指定工程で指定された前記画像領域の画像データのビットをシフトアップした後、前記描画展開された描画オブジェクトの前記画像領域をそれ以外の画像領域よりも低い圧縮率で符号化する符号化工程と、を有することを特徴とする。
【0007】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0008】
本実施の形態に係る特徴は、画像情報に付随している、例えばデータ形式、画像の種類、カラー/白黒、等を示す情報を基に、その画像情報における関心領域を決定し、その関心領域の圧縮率を他の領域よりも低く抑えて符号化することにより、画像情報全体の圧縮率を高めながら、かつ関心領域の符号化における画質の低下を防止することができる画像処理装置及びその方法を提供する点にある。以下、詳しく説明する。
【0009】
図1は、本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。
【0010】
図1において、101は画像データを入力する画像入力部で、例えば原稿画像を読み取るスキャナ、或はデジタルカメラなどの撮像機、又は通信回線とのインターフェース機能を有するインターフェース部等を備えている。102は入力画像に対し二次元の離散ウェーブレット変換(Discrete Wavelet Transform)を実行する離散ウェーブレット変換部である。103は量子化部で、離散ウェーブレット変換部2で離散ウェーブレット変換された係数を量子化する。104はエントロピ符号化部で、量子化部103で量子化された係数をエントロピ符号化している。105は符号出力部で、エントロピ符号化部104で符号化された符号を出力する。106は領域指定部で、画像入力部101から入力された画像の関心領域を指定する領域指定部である。
【0011】
なお、本実施の形態1に係る装置は、図1に示すような専用の装置でなく、例えば汎用のPCやワークステーションに、この機能を実現するプログラムをロードして動作させる場合にも適用できる。
【0012】
以上の構成において、まず、画像入力部101により符号化対象となる画像を構成する画素信号がラスタスキャン順に入力され、その出力は離散ウェーブレット変換部102に入力される。なお、以降の説明では画像入力部101から入力される画像信号はモノクロの多値画像の場合で説明するが、カラー画像等、複数の色成分を符号化するならば、RGB各色成分、或い輝度、色度成分を上記単色成分として圧縮すればよい。
【0013】
この離散ウェーブレット変換部102は、入力した画像信号に対して2次元の離散ウェーブレット変換処理を行い、その変換係数を計算して出力するものである。
【0014】
図2(a)〜(c)は、本実施の形態に係る離散ウェーブレット変換部102の基本構成とその動作を説明する図である。
【0015】
画像入力部101から入力された画像信号はメモリ201に記憶され、処理部202により順次読み出されて変換処理が行われ、再びメモリ201に書きこまれている。
【0016】
本実施の形態においては、処理部202における処理の構成を図2(b)に示す。同図において、入力された画像信号は遅延素子204及びダウンサンプラ205の組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、2つのフィルタp及びuによりフィルタ処理が施される。sおよびdは、各々1次元の画像信号に対して1レベルの分解を行った際のローパス(Low-pass)係数及びハイパス(High-pas)係数を表しており、次式により計算されるものとする。
【0017】
d(n)=x(2n+1)-floor[{x(2n)+x(2n+2)}/2] (式1)
s(n)=x(2n)+floor[{d(n-1)+d(n)}/4] (式2)
但し、x(n)は変換対象となる画像信号である。また、上式においてfloor{X}は、Xを超えない最大の整数値を表す。
【0018】
以上の処理により、画像入力部101からの画像信号に対する1次元の離散ウェーブレット変換処理が行われる。2次元の離散ウェーブレット変換は、この1次元の離散ウェーブレット変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるので、ここでは説明を省略する。
【0019】
図2(c)は、この2次元の離散ウェーブレット変換処理により得られる2レベルの変換係数群の構成例を示す図であり、画像信号は異なる周波数帯域の係数列HH1,HL1,LH1,…,LLに分解される。なお、以降の説明ではこれらの係数列をサブバンドと呼ぶ。こうして得られた各サブバンド単位で後続の量子化部3に出力される。
【0020】
領域指定部106は符号化対象となる画像内で、周囲部分と比較して高画質で復号化されるべき領域(ROI:Region Of Interesting)を決定し、対象画像を離散ウェーブレット変換した際に、どの係数が指定領域に属しているかを示すマスク情報を生成する。
【0021】
図3(a)はマスク情報を生成する際の一例を示したものである。同図左側に示す様に、所定の指示入力により画像内に星型の領域が指定された場合に、領域指定部106は、この指定領域を含む画像を離散ウェーブレット変換した際、該指定領域が各サブバンドに占める部分を計算する。またマスク情報の示す領域は、指定領域境界上の画像信号を復元する際に必要な、周囲の変換係数を含む範囲となっている。
【0022】
このように計算されたマスク情報の例を図3(a)の右側に示す。この例においては、同図左側の画像に対し2レベルの離散ウェーブレット変換を施した際のマスク情報が図のように計算される。図において、星型の部分が指定領域であり、この領域内のマスク情報のビットは“1”、それ以外のマスク情報のビットは“0”となっている。これらマスク情報全体は2次元離散ウェーブレット変換による変換係数の構成と同じであるため、マスク情報内のビットを検査することで対応する位置の係数が指定領域内に属しているかどうかを識別することができる。このように生成されたマスク情報は量子化部103に出力される。
【0023】
更に、領域指定部106は指定領域に対する画質を指定するパラメータを不図示の入力系から入力する。このパラメータは指定領域に割り当てる圧縮率を表現する数値、或は画質を表す数値でも良い。領域指定部106はこのパラメータから、指定領域における係数に対するビットシフト量Bを計算し、マスクと共に量子化部103に出力する。
【0024】
量子化部103は、入力した係数を所定の量子化ステップにより量子化し、その量子化値に対するインデックスを出力する。ここで、量子化は次式により行われる。
【0025】
q=sign(c)floor{abs(c)/Δ} (式3)
sign(c)=1;c≧0 (式4)
sign(c)=−1;c<0 (式5)
ここで、cは量子化対象となる係数である。abs(c)はcの絶対値を示す。また、本実施の形態においては、量子化ステップΔの値として“1”を含むものとする。この場合、実際に量子化は行われない。
【0026】
次に量子化部103は、領域指定部106から入力したマスクおよびシフト量Bに基づき、次式により量子化インデックスを変更する。
【0027】
q’=q×2^B;m=1 (式6)
q’=q ;m=0 (式7)
ここで、mは当該量子化インデックスの位置におけるマスクの値である。以上の処理により、領域指定部106において指定された空間領域に属する量子化インデックスのみがBビットだけ上方にシフトアップされる。
【0028】
図3(b)及び図3(c)はこのシフトアップによる量子化インデックスの変化を示したものである。図3(b)において、3つのサブバンドに各々3個の量子化インデックスが存在しており、網がけされた量子化インデックスにおけるマスクの値が“1”でシフト数Bが“2”の場合、シフト後の量子化インデックスは図3(c)のようになる。
【0029】
このように変更された量子化インデックスは後続のエントロピ符号化部104に出力される。
【0030】
エントロピ符号化部104は、入力した量子化インデックスをビットプレーンに分解し、各ビットプレーンを単位に2値算術符号化を行ってコードストリームを出力する。
【0031】
図4は、本実施の形態のエントロピ符号化部104の動作を説明する図であり、この例においては4×4の大きさを持つサブバンド内の領域において非0の量子化インデックスが3個存在しており、それぞれ「+13」,「−6」,「+3」の値を持っている。エントロピ符号化部104は、この領域を走査して最大値Mを求め、次式により最大の量子化インデックスを表現するために必要なビット数Sを計算する。
【0032】
S=ceil[log2{abs(M)}] (式8)
ここでceil(x)はx以上の整数の中で最も小さい整数値を表す。
【0033】
図4においては、最大の係数値は「13」であるので、ビット数Sは“4”であり、シーケンス中の16個の量子化インデックスは同図に示すように4つのビットプレーンを単位として処理が行われる。最初に、エントロピ符号化部104は最上位ビットプレーン(同図MSBで表す)の各ビットを2値算術符号化し、ビットストリームとして出力する。次にビットプレーンを1レベル下げ、以下同様に対象ビットプレーンが最下位ビットプレーン(同図LSBで表す)に至るまで、ビットプレーン内の各ビットを符号化して符号出力部105に出力する。この時、各量子化インデックスの符号は、ビットプレーン走査において最初の非0ビットが検出されると、そのすぐ後に当該量子化インデックスの符号がエントロピ符号化される。
【0034】
図5は、このようにして生成され出力される符号列の構成を表した概略図である。
【0035】
同図(a)は符号列の全体の構成を示したものであり、MHはメインヘッダ、THはタイルヘッダ、BSはビットストリームである。メインヘッダMHは同図(b)に示すように、符号化対象となる画像のサイズ(水平及び垂直方向の画素数)、画像を複数の矩形領域であるタイルに分割した際のタイルサイズ、各色成分数を表すコンポーネント数、各成分の大きさ、ビット精度を表すコンポーネント情報を有している。なお、本実施の形態では、画像はタイルに分割されていないので、タイルサイズと画像サイズは同じ値を取り、対象画像がモノクロの多値画像の場合コンポーネント数は“1”である。
【0036】
次にタイルヘッダTHの構成を図5(c)に示す。タイルヘッダTHには当該タイルのビットストリーム長とヘッダ長を含めたタイル長及び当該タイルに対する符号化パラメータ、及び指定領域を示すマスク情報と当該領域に属する係数に対するビットシフト数とを含んでいる。ここで、符号化パラメータには、離散ウェーブレット変換のレベル、フィルタの種別等が含まれている。
【0037】
本実施の形態におけるビットストリームの構成を同図(d)に示す。同図において、ビットストリームは各サブバンド毎にまとめられ、解像度の小さいサブバンドを先頭として順次解像度が高くなる順番に配置されている。さらに、各サブバンド内は上位ビットプレーン(S-1)から下位ビットプレーンに向かってビットプレーンを単位として符号が配列されている。
【0038】
このような符号配列とすることにより、後述する図9の様な階層的復号化を行うことが可能となる。
【0039】
上述した実施の形態において、符号化対象となる画像全体の圧縮率は量子化ステップΔを変更することにより制御することが可能である。
【0040】
また別の方法として本実施の形態では、エントロピ符号化部104において符号化するビットプレーンの下位ビットを必要な圧縮率に応じて制限(廃棄)することも可能である。この場合には、全てのビットプレーンは符号化されず、上位ビットプレーンから所望の圧縮率に応じた数のビットプレーンまでが符号化され、最終的な符号列に含まれる。
【0041】
上記下位ビットプレーンを制限する機能を利用すると、図3に示した指定領域に相当するビットのみが多く符号列に含まれることになる、即ち、上記指定領域のみ低圧縮率で高画質な画像として符号化することが可能となる。
【0042】
次に以上述べた画像符号化装置により符号化されたビットストリームを復号化する方法について説明する。
【0043】
図6は、本実施の形態に係る画像復号化装置の構成を表すブロック図であり、601が符号入力部、602はエントロピ復号化部、603は逆量子化部、604は逆離散ウェーブレット変換部、605は画像出力部である。
【0044】
符号入力部601は、前述の符号化装置で符号化された符号列を入力し、それに含まれるヘッダを解析して後続の処理に必要なパラメータを抽出し、必要な場合は処理の流れを制御し、或は後続の処理ユニットに対して該当するパラメータを送出する。また、符号列に含まれるビットストリームはエントロピ復号化部602に出力される。
【0045】
エントロピ復号化部602は、符号入力部601から出力されるビットストリームをビットプレーン単位で復号化して出力する。この時の復号化手順を図7に示す。
【0046】
図7の左側は、復号対象となるサブバンドの一領域をビットプレーン単位で順次復号化し、最終的に量子化インデックスを復元する流れを図示したものであり、同図の矢印の順にビットプレーンが復号化される。復元された量子化インデックスは逆量子化器603に出力される。
【0047】
逆量子化器603は、入力した量子化インデックスから、次式に基づいて離散ウェーブレット変換係数を復元する。
【0048】
c’=Δ×q/2^U;q≠0 (式9)
c’=0 ;q=0 (式10)
U=B;m=1 (式11)
U=0;m=0 (式12)
ここで、qは量子化インデックス、Δは量子化ステップであり、量子化ステップΔは符号化時に用いられたものと同じ値である。また、Bはタイルヘッダから読み出されたビットシフト数、mは当該量子化インデックスの位置におけるマスクの値である。c’は復元された変換係数で、符号化時ではs又はdで表される係数を復元したものである。変換係数c’は後続の逆離散ウェーブレット変換部604に出力される。
【0049】
図8は、本実施の形態の逆離散ウェーブレット変換部604の構成および処理のブロック図を示したものである。
【0050】
同図(a)において、入力された変換係数はメモリ801に記憶される。処理部802は1次元の逆離散ウェーブレット変換を行い、メモリ801から順次変換係数を読み出して処理を行うことで、2次元の逆離散ウェーブレット変換を実行する。2次元の逆離散ウェーブレット変換は、順変換と逆の手順により実行されるが、詳細は公知であるので説明を省略する。また同図(b)は、処理部802の処理ブロックを示したものであり、入力された変換係数はu及びpの2つのフィルタ処理が施され、アップサンプリングされた後に重ね合わされて画像信号x’が出力される。これらの処理は次式により行われる。
【0051】
x'(2n)=s'(n)−floor[{d'(n-1)+d'(n)}/4] (式13)
x'(2n+1)=d'(n)+floor[{x'(2n)+x'(2n+2)}/2] (式14)
ここで、(式1)、(式2)、および(式13)、(式14)による順方向及び逆方向の離散ウェーブレット変換は完全再構成条件を満たしているため、本実施の形態において量子化ステップΔが“1”であり、ビットプレーン復号化において全てのビットプレーンが復号されていれば、復元された画像信号x’は原画像の信号xと一致する。
【0052】
以上の処理により画像が復元されて画像出力部605に出力される。この画像出力部605は、モニタ等の画像表示装置であってもよいし、或は磁気ディスク等の記憶装置であってもよい。
【0053】
以上述べた手順により画像を復元表示した際の、画像の表示形態について図9を用いて説明する。
【0054】
同図(a)は符号列の例を示した図で、基本的な構成は図5に基づいている。ここでは画像全体をタイルと設定されており、従って、符号列中には唯1つのタイルヘッダ及びビットストリームが含まれている。このビットストリームBS0には、図に示すように、最も低い解像度に対応するサブバンドであるLLから順次解像度が高くなる順に符号が配置されており、さらに各サブバンド内は上位ビットプレーンから下位ビットプレーンに向かって符号が配置されている。
【0055】
復号化装置は、このビットストリームを順次読みこみ、各ビットプレーンに対応する符号を復号した時点で画像を表示する。図9(b)は各サブバンドと表示される画像の大きさの対応と、サブバンド内の符号列を復号するのに伴う画像の変化を示したものである。同図において、LLに相当する符号列が順次読み出され、各ビットプレーンの復号処理が進むに従って画質が徐々に改善されているのが分かる。この時、符号化時に指定領域となった星型の部分は、その他の部分よりもより高画質に復元される。
【0056】
これは、符号化時に量子化部において、指定領域に属する量子化インデックスをシフトアップしており、そのためビットプレーン復号化の際に当該量子化インデックスがその他の部分に対し、より早い時点で復号化されるためである。このように指定領域部分が高画質に復号化されるのは、その他の解像度についても同様である。
【0057】
更に、全てのビットプレーンを復号化した時点では、指定領域とその他の部分は画質的に同一であるが、途中段階で復号化を打ち切った場合は、その指定領域がその他の領域よりも高画質に復元された画像が得られる。
【0058】
上述した実施の形態において、エントロピ復号化部602において復号する下位ビットプレーンを制限(無視)することにより、受信或いは処理する符号化データ量を減少させ、結果的に圧縮率を制御することが可能である。この様にすることにより、必要なデータ量の符号化データのみから所望の画質の復号画像を得ることが可能である。また、符号化時の量子化ステップΔの値が“1”であり、復号時に全てのビットプレーンが復号された場合は、その復元された画像が原画像と一致する可逆符号化・復号化を実現することもできる。
【0059】
また上記下位ビットプレーンを制限する機能を利用すると、復号対象となる符号列には、図3に示した指定領域に相当するビットのみが他領域より多く含まれていることから、結果的に上記指定領域のみを低圧縮率で、かつ高画質な画像として符号化されたデータを復号したのと同様の効果を奏することができる。
【0060】
上述の説明では、空間スケーラブルを使用する例を示したが、SNRスケーラブルを使用する方式でも同様の効果を得られることはいうまでもない。
【0061】
この場合、エンコーダの説明部分の図5が図10に、デコーダの説明部分の図9を図11に置き換わる。以下に、図10及び図11を参照して説明する。
【0062】
図10は、SNRスケーラブルで生成され出力される符号列の構成を表した概略図である。
【0063】
同図(a)は符号列の全体の構成を示したものであり、MHはメインヘッダ、THはタイルヘッダ、BSはビットストリームである。メインヘッダMHは同図(b)に示すように、符号化対象となる画像のサイズ(水平及び垂直方向の画素数)、画像を複数の矩形領域であるタイルに分割した際のタイルサイズ、各色成分数を表すコンポーネント数、各成分の大きさ、ビット精度を表すコンポーネント情報を有している。なお、本実施の形態では画像はタイルに分割されていないので、タイルサイズと画像サイズは同じ値を取り、対象画像がモノクロの多値画像の場合コンポーネント数は“1”である。
【0064】
次にタイルヘッダTHの構成を図10(c)に示す。タイルヘッダTHには、このタイルのビットストリーム長とヘッダ長を含めたタイル長及び、このタイルに対する符号化パラメータ、および指定領域を示すマスク情報と、この領域に属する係数に対するビットシフト数を有している。符号化パラメータには、離散ウェーブレット変換のレベル、フィルタの種別等が含まれている。本実施の形態におけるビットストリームの構成を同図(d)に示す。同図において、ビットストリームはビットプレーンを単位としてまとめられ、上位ビットプレーン(S-1)から下位ビットプレーンに向かう形で配置されている。各ビットプレーンには、各サブバンドにおける量子化インデックスの当該ビットプレーンを符号化した結果が順次サブバンド単位で配置されている。図において、Sは最大の量子化インデックスを表現するために必要なビット数である。このようにして生成された符号列は、符号出力部105に出力される。
【0065】
このような符号配列とすることにより、後述する図11の様な階層的復号化を行うことが可能となる。
【0066】
図11は、図10に示す符号列を復元表示した際の画像の表示形態について説明する図である。
【0067】
同図(a)は符号列の例を示したもので、基本的な構成は図10に基づいているが、ここでは画像全体をタイルと設定されており、符号列中には唯1つのタイルヘッダおよびビットストリームが含まれている。ビットストリームBS0には図に示すように、最も上位のビットプレーンから、下位のビットプレーンに向かって符号が配置されている。
【0068】
前述の復号化装置はこのビットストリームを順次読みこみ、各ビットプレーンの符号を復号した時点で画像を表示する。同図において各ビットプレーンの復号処理が進むに従って画質が徐々に改善されているが、符号化時に指定領域となった星型の部分はその他の部分よりもより高画質に復元される。
【0069】
これは上述したように、符号化時に量子化部において、指定領域に属する量子化インデックスをシフトアップしており、そのためビットプレーン復号化の際に当該量子化インデックスがその他の部分に対し、より早い時点で復号化されるためである。
【0070】
更に、全てのビットプレーンを復号化した時点では指定領域とその他の部分は画質的に同一であるが、途中段階で復号化を打ち切った場合は指定領域部分がその他の領域よりも高画質に復元された画像が得られる。
【0071】
次に、本実施の形態に係る特徴的な構成を印刷装置の場合で説明する。
【0072】
図12は、本実施の形態に係る印刷装置における印刷対象オブジェクトの処理を説明する図である。
【0073】
図12において、1100は、本実施の形態の印刷装置の全体の動作制御を司るコントローラである。1101はPDL解析部で、ホストコンピュータなどの外部機器から入力されるPDLデータ(印刷データ)を解析して解釈する。1102は印刷オブジェクトで、入力したPDLデータをPDL解析部1101が解析して作成したオブジェクトである。1103はグラフィック・ライブラリで、オブジェクト1102をレンダリング・エンジン1106が解釈できる命令オブジェクト1104に変換し、そのオブジェクト1104に対して情報1105を付加する(この情報については図13を参照して後述する)。レンダリング・エンジン1106は、オブジェクト1104を入力し、図14及び図15を参照して後述するように、ビット情報を操作して印刷用のビットマップイメージデータ1107を作成する。このビットマップイメージデータ1107は、RGB各色8ビットのイメージデータ(1108)、及び3ビットの情報(ビット/ピクセル)(1109)を含んでいる。
【0074】
図13は、情報1105の各ビットの持つ意味を説明する図である。
【0075】
ここでは、情報1105は3ビットで構成され、ビット0は、ビットマップ(Bitmap)かベクトル(Vector)グラフィックかを示すビット(Bitmapフラグと呼ぶ)で、ビットマップの場合には“0”、ベクトルの場合は“1”がセットされる。ビット1は、カラーオブジェクトか白黒オブジェクトかを示すビット(色フラグ)で、カラーの場合は“0”、白黒の場合は“1”である。ビット3は、Bitmapフラグが“0”(=Bitmapデータ)の場合では文字か(=1)、文字以外(=0)かを示し、Bitmapフラグが“1”(ベクトルデータ)の場合には、階調優先(=0)か、解像度優先(=1)かを示すビット(文字フラグとよぶ)である。
【0076】
図14及び図15は、ソース画像(S)とディスティネーション画像(D)の合成方法を説明する図である。
【0077】
図14において、1401は、合成するオブジェクトがSのみ(ソース画像のみ。つまり、オブジェクトを上書きする場合)、又はNotSのみ(ソース画像の0/1反転を行い、オブジェクトを上書きする場合)のいずれかの場合を示し、この場合はSの3ビットの情報(Sflag)を、そのまま3ビットの情報1109として残すことを示している。また1402は、合成するオブジェクトがDのみ(ディスティネーション画像のみ。つまり下地をそのまま利用する場合)、又はNotDのみ(ディスティネーションビットの0/1反転を)のいずれかの場合を示し、この場合はDの3ビットの情報(Dflag)を、そのまま3ビットの情報1109として残すことを示している。また1403はSとDの合成方法を示し、「S or D」(SとDの論理和)、「S and D」(SとDの論理積)、「S xor D」(SとDの排他論理和)、「S α D」(SとDのαオペレーション=透明度を持つS及びDのand、or、xor)を含み、この場合は、図13に示したSとDのそれぞれの3ビット情報の各ビットの論理積を求め、これを合成された画像の情報として決定することを示している。
【0078】
また図15は、他の合成方法を説明する図で、1501は1401と同様に、合成オブジェクトがSのみ(ソースのみ。つまり、オブジェクトを上書きする場合)、NotSのみ(ソースの否定演算子=ソースビットの0/1反転を行い、オブジェクトを上書きする場合)を示し、この場合にはSの3ビット情報をそのまま情報1109として残す。また1502は1402と同様に、Dのみ(ディスティネーションのみ。つまり、下地をそのまま利用する場合)、NotDのみ(ディスティネーションの否定演算子=ディスティネーションビットの0/1の反転を行う)場合を示し、その場合にはDの3ビット情報をそのまま情報1109として残す。また1503はSとDの合成方法を示したもので、「S or D」(SとDの論理和)、「S and D」(SとDの論理積)、「S xor D」(SとDの排他論理和)、「S α D」(SとDのαオペレーション=透明度を持つS及びDのand、or、xor)が存在し、この場合には、図13に示したSとDの各3ビット情報の各ビットにおいて、SとDが同一ならSのビット情報(Sflag)をそのまま残し、SとDが同じでないならばビット情報として0(000)(ビットマップ、カラー、文字以外)をセットすることを示している。
【0079】
図16は、本実施の形態の印刷装置において生成された印刷イメージデータにおける領域指定を説明する図である。
【0080】
図16において、1501は図12のRGBのイメージデータ1108に相当する画像データである。画像1502は、図13に示す情報により規定された(属性1(例えば(000:ビットマップ、カラー、文字以外))を有する画像データエリアである。同じく画像1503は、図13の情報により規定された(属性2(例えば(010:ビットマップ、白黒、文字以外))を有する画像データエリアである。また画像1504は、図13の情報により規定された(属性3(例えば(001:ビットマップ、カラー、文字))を有する画像データエリアである。1505は、この画像データ1501に対応する、図12のフラグ1109に相当する情報を表している。
【0081】
本実施の形態では、前述の図1における領域指定部106(ROI領域指定)において関心領域(ROI)を決定するために、この3ビットの情報を使用することを特徴としている。具体的には、図16に示す情報1505(図12のフラグ1109に相当)を入力し、その情報を基にROI領域となり得るエリアを抽出し(1506)、これら抽出したエリアの中からレンダリング・エンジン1106がROIとして使用する領域を決定する。
【0082】
このROI領域の選定方法は、図13に示した3ビット情報の各ビットの状態にプライオリティを設けて、画質を優先する(高圧縮では品位が耐えられない)属性を有するデータを優先するという方法で決定する。例えば、この3ビット情報が“101”である画像領域(ベクトル、カラー、解像度優先)を最も重要な高品位画像エリアとし、情報が“100”である画像領域(ベクトル、カラー、階調優先)をその次の重要な高品位画像領域というように設定する。
【0083】
尚、このプライオリティ付けに関しては、印刷エンジンの特性等も加味して決定する必要があり、ここでは特に規定を設けない。
【0084】
図17は、本実施の形態の印刷装置における領域指定処理を説明するフローチャートである。
【0085】
まずステップS1で、ホストコンピュータなどからの印刷データを入力し、ステップS2で、その入力した印刷データを解析し、後続のレンダリング処理で参照できるオブジェクトを生成する。次にステップS3に進み、その印刷データの指示に応じて、前述の図14及び図15において説明したようにして画像の合成及びそれに伴う3ビット情報の生成処理を行う。
【0086】
次にステップS4に進み、フラグ1109をチェックし、その3ビット情報が所定の属性(例えば前述したようにベクトルデータで、カラー、解像度優先)を示しているかどうかを調べ、そうであればステップS6に進み、そのフラグが付されている画像領域を関心領域(ROI)として設定する。そしてステップS7で、このフラグ1109の全てをチェックするまでステップS5〜S7を繰り返し実行する。こうして指定領域が決定されるとステップS8に進み、レンダリング処理を行って、図12に示すイメージデータ1108、フラグ1109を含むビットマップイメージデータ1107を生成して処理を終了する。尚、別の方法として、全データをレンダリングしてしまってから、即ち、ビットマップイメージデータ1107を得てから、そのイメージデータ1107の有するRGB各8ビットのイメージデータ1108を調べてROIを決定しても同様の効果が得られる。
【0087】
尚、このような領域指定処理は、印刷装置において実行されるものに限らず、前述の図1に示すように、X線カメラ、デジタルカメラ等で撮像された映像、或は写真画像等の符号化の際にも適用できることはもちろんであり、この領域指定の手法は印刷装置に何等限定されるものではない。
【0088】
[実施の形態2]
前述の実施の形態1ではビット情報に優先度付けを行ったが、3ビット情報が一番大きい面積をとる部分をROIとして選択してレンダリング・エンジン1106に通知することで、全体的に高品質な画像を得ることができる。
【0089】
[実施の形態3]
前述の実施の形態1〜2では、ROIとして1つの領域だけを選択したが、ROIとして複数の領域を指定できる場合には、実施の形態1,2に基づいて複数のROIを指定しても良い。
【0090】
なお、前述の実施の形態1〜3では、ROIと同等の機能を持つ圧縮方式の全てに本発明の領域指定方法を適応できることは言うまでもない。
【0091】
[実施の形態4]
前述の実施の形態1〜3では、3ビットの情報からROIを求める例を示したが、ROIを持たない圧縮方法を複数使用する印刷装置では、このビット情報を圧縮方法の選択基準とすることも可能である。一例として、印刷装置がPackBits圧縮とJPEG圧縮をサポートしている場合に、ビット情報を調べて、カラー画像が多い画像にはJPEG圧縮を用い、白黒文字が多い画像には、PackBits圧縮を使用することが考えられる。なお、圧縮方法とビット情報との組み合わせは、圧縮方法の特性でほぼ自動的に決定できるものであり、ここでは全てを網羅することはしない。
【0092】
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0093】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0094】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0095】
以上説明したように本実施の形態によれば、属性情報としてビット情報を有する画像情報における関心領域を、そのビット情報を使用して決定することにより、より高品位で、かつ高圧縮な画像を得ることができる。
【0096】
またその属性に優先度を持たせ、より優先度の高い属性を有する画像領域を関心領域として設定することにより、例えば解像度重視の領域の圧縮率を低く抑えながら、画像全体の圧縮率を低下させることなく画像を符号化できる。
【0097】
【発明の効果】
以上説明したように本発明によれば、画像情報の有するオブジェクト情報が解像度優先を示している画像領域を指定し、その指定された画像領域に対して他の領域よりも低い圧縮率で符号化を行うことにより、その画像量域の品位の低下を抑制しながら画像全体の符号化効率を高めることができるという効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。
【図2】本実施の形態に係るウェーブレット変換部の構成及びその変換により得られるサブバンドを説明する図である。
【図3】画像中の関心領域(指定領域)の変換と、その領域の画像データのビットシフトを説明する図である。
【図4】本実施の形態におけるエントロピ符号化部の動作を説明する図である。
【図5】空間スケーラビリティにより生成され出力される符号列の構成を表した概略図である。
【図6】本実施の形態に係る画像復号化装置の構成を表すブロック図である。
【図7】本実施の形態のエントロピ復号化部によるビットプレーンとビットプレーン毎の復号化順を説明する図である。
【図8】本実施の形態のウェーブレット復号化部の構成を示すブロック図である。
【図9】空間スケーラビリティの場合の符号列の例と、それを復号する際の、各サブバンドと、それに対応して表示される画像の大きさと、各サブバンドの符号列を復号するのに伴う再生画像の変化を説明する図である。
【図10】SNRスケーラビリティの場合の符号列の例を説明する図である。
【図11】SNRスケーラビリティの場合の符号列と、その復号化処理を説明する図である。
【図12】本実施の形態に係る印刷装置における印刷対象オブジェクトの処理を説明する図である。
【図13】本実施の形態に係る3ビット情報の構成を説明する図である。
【図14】本実施の形態に係るオブジェクトの合成とフラグの合成方法を説明する図である。
【図15】本実施の形態に係るオブジェクトの合成とフラグの合成方法を説明する図である。
【図16】本実施の形態に係るビット情報に基づく領域指定処理を説明する図である。
【図17】本実施の形態の印刷装置における領域指定処理を説明するフローチャートである。
Claims (7)
- 描画オブジェクトに付随するオブジェクト情報に基づいて、前記描画オブジェクトを判別する判別手段と、
前記描画オブジェクトを描画展開する展開手段と、
前記展開手段により描画展開された描画オブジェクトが少なくともビットマップかベクトルデータか、及び当該ベクトルデータの場合に階調優先か解像度優先かを示すオブジェクト情報が解像度優先を示している画像領域を指定する指定手段と、
前記指定手段で指定された前記画像領域の画像データのビットをシフトアップした後、前記描画展開された描画オブジェクトの前記画像領域をそれ以外の画像領域よりも低い圧縮率で符号化する符号化手段と、
を有することを特徴とする画像処理装置。 - 前記描画オブジェクトの合成が指示されると当該描画オブジェクトに対応するオブジェクト情報を合成する合成手段を更に有し、
前記展開手段は、前記合成手段により合成された描画オブジェクトを基に描画展開することを特徴とする請求項1に記載の画像処理装置。 - 前記指定手段は、描画オブジェクトに対応する前記オブジェクト情報が前記解像度優先を含まないとき前記階調優先の画像領域を指定することを特徴とする請求項1に記載の画像処理装置。
- 画像データを符号化する画像処理装置の画像処理方法であって、
前記画像処理装置の判別手段が、描画オブジェクトに付随するオブジェクト情報に基づいて、前記描画オブジェクトを判別する判別工程と、
前記画像処理装置の描画手段が、前記描画オブジェクトを描画展開する展開工程と、
前記画像処理装置の指定手段が、前記展開工程で描画展開された描画オブジェクトが少なくともビットマップかベクトルデータか、及び当該ベクトルデータの場合に階調優先か解像度優先かを示すオブジェクト情報が解像度優先を示している画像領域を指定する指定工程と、
前記画像処理装置の符号化手段が、前記指定工程で指定された前記画像領域の画像データのビットをシフトアップした後、前記描画展開された描画オブジェクトの前記画像領域をそれ以外の画像領域よりも低い圧縮率で符号化する符号化工程と、
を有することを特徴とする画像処理方法。 - 前記描画オブジェクトの合成が指示されると当該描画オブジェクトに対応するオブジェクト情報を合成する合成工程を更に有し、
前記展開工程では、前記合成工程で合成された描画オブジェクトを基に描画展開することを特徴とする請求項4に記載の画像処理方法。 - 前記指定工程では、描画オブジェクトに対応する前記オブジェクト情報が前記解像度優先を含まないとき前記階調優先の画像領域を指定することを特徴とする請求項4に記載の画像処理方法。
- 請求項4乃至6のいずれか1項に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶した、コンピュータにより読取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33327599A JP4412688B2 (ja) | 1999-11-24 | 1999-11-24 | 画像処理装置及びその方法 |
US09/718,363 US6853466B1 (en) | 1999-11-24 | 2000-11-24 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33327599A JP4412688B2 (ja) | 1999-11-24 | 1999-11-24 | 画像処理装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001157209A JP2001157209A (ja) | 2001-06-08 |
JP4412688B2 true JP4412688B2 (ja) | 2010-02-10 |
Family
ID=18264284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33327599A Expired - Lifetime JP4412688B2 (ja) | 1999-11-24 | 1999-11-24 | 画像処理装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4412688B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5078199B2 (ja) * | 2001-06-26 | 2012-11-21 | キヤノン株式会社 | 画像符号化装置及びその方法並びにプログラムコード、記憶媒体 |
JP4027196B2 (ja) * | 2002-09-24 | 2007-12-26 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
JP4111926B2 (ja) | 2004-03-09 | 2008-07-02 | 株式会社リコー | 画像処理装置、プログラム、記憶媒体及び画像送信方法 |
US8296662B2 (en) * | 2007-02-05 | 2012-10-23 | Brother Kogyo Kabushiki Kaisha | Image display device |
JP6214235B2 (ja) * | 2012-07-02 | 2017-10-18 | キヤノン株式会社 | ファイル生成方法、ファイル生成装置、及びプログラム |
-
1999
- 1999-11-24 JP JP33327599A patent/JP4412688B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001157209A (ja) | 2001-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3814456B2 (ja) | 画像処理装置及びその方法 | |
KR100524566B1 (ko) | 이미지 처리 장치 및 방법 | |
JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
JP4612782B2 (ja) | 画像処理装置、及びその方法、並びにプログラム、記憶媒体 | |
US7013050B2 (en) | Image encoding apparatus and method, program code, and storage medium | |
JP3848443B2 (ja) | 圧縮デジタルデータ処理方法 | |
US7302105B2 (en) | Moving image coding apparatus, moving image decoding apparatus, and methods therefor | |
US6853466B1 (en) | Image processing apparatus and method | |
JP4164211B2 (ja) | 画像処理装置及びその方法 | |
JP4412688B2 (ja) | 画像処理装置及びその方法 | |
JP2007005844A (ja) | 符号化処理装置、符号化処理方法、プログラム及び情報記録媒体 | |
US6847736B2 (en) | In image compression, selecting field or frame discrete wavelet transformation based on entropy, power, or variances from the high frequency subbands | |
JP2001144966A (ja) | 画像処理装置及びその方法 | |
US7373000B2 (en) | Image processing apparatus | |
JP2002135593A (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
JP2003204439A (ja) | 画像符号化装置及び画像符号化方法 | |
JP2006303678A (ja) | 画像処理装置 | |
JP2005198007A (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
KR20030063850A (ko) | 문자와 이미지가 포함된 문서의 압축, 복원 시스템 및방법 | |
JP5078199B2 (ja) | 画像符号化装置及びその方法並びにプログラムコード、記憶媒体 | |
JP4194311B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
JP2002051221A (ja) | 画像符号化装置、画像復号化装置、システム、及びその方法並びに記憶媒体 | |
JP2001231041A (ja) | 画像符号化方法及び装置 | |
JP3990949B2 (ja) | 画像符号化装置及び画像符号化方法 | |
JPH11331612A (ja) | 画像処理装置及び方法及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061010 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061010 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080805 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081114 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091116 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4412688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131127 Year of fee payment: 4 |
|
EXPY | Cancellation because of completion of term |