JP4795160B2 - 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Description

本発明は、画像データを圧縮符号化技術に関するものである。

従来、静止画像の圧縮方式には、離散コサイン変換を利用したＪＰＥＧ方式や、Ｗａｖｅｌｅｔ変換を利用した方式が多く使われている。この種の符号化方式は、可変長符号化方式であるので、その符号量は符号化対象の画像毎に異なる。

国際標準化方式であるＪＰＥＧ方式では、画像に対して１組の量子化マトリクスしか定義できない。従って、プリスキャン無しには、符号量の調整が行えず、限られた容量のメモリに符号化データを記憶するシステムで使用する場合においては、メモリオーバーを起こす危険性がある。

これを防止する方法として、例えば、プリ圧縮したデータを内部バッファメモリに入れ、これを伸長し、圧縮パラメータを変え、本圧縮し、記憶する方式が知られている。このとき、本圧縮は、プリ圧縮よりも圧縮率を高めにする必要がある。

また、リアルタイムに符号量制御しながら圧縮を行う技術も知られている（例えば特許文献１）。この技術は、圧縮パラメータを変更できる第１の圧縮手段と、圧縮パラメータを変更でき、かつ、第１の圧縮手段で圧縮して得られた符号化データを再圧縮する第２の圧縮手段とを備える。そして、第１の圧縮手段で圧縮中の符号化データの量が所定量になった場合には、第１、第２の圧縮手段に圧縮率を高く設定しなおし、第２の圧縮手段によって第１の圧縮手段で既に生成された符号データを再符号化する。そして、再符号化した符号化データを第１の圧縮手段のパラメータ変更後の符号化データとして保存し、パラメータ変更後の第１の圧縮手段で生成された符号化データを、後続する符号化データとして保存する技術である。
特開２００３−８９０３号公報

しかしながら、従来は、符号化処理には、非可逆処理が用いられており、画質が満足するかどうかは保証されていない。さらには、ソフトウエアやハードウエアで高速処理を実現しようとすると、処理対象のデータ量を減らすために、非可逆符号化の前にサブサンプリングや解像度変換を行う必要がある。また、解像度変換することにより画質変化の著しい画像に対してこの処理を施すことで、視覚的に劣化が目立つと言う問題が発生する。さらに、この非可逆の符号化処理は、自然画には高い圧縮率が期待できるものの、文書等の非自然画については高い圧縮率は期待できない。

そこで、画像中の可逆符号化すべき領域と非可逆符号化すべき領域とを、適応的に分けて圧縮する方式が必要とされる。

本発明はかかる点に鑑みなされたものである。そして、本発明は、可逆符号化と非可逆符号化による符号化データの混在を許容しつつも、特定画像に属する領域では、予め選択された非可逆／可逆符号データの一方を出力することで、画像ブロックの境界でのノイズの発生を抑制する。また、符号化対象の画像が閾値以上の高解像度を持つ場合、或いは、文字属性を有しない場合、非可逆符号化する以前により低い解像度に変換することで、仮に、非可逆符号化データが選択されるとしても、圧縮率の高い符号化データを生成する。

この課題を解決するため例えば本発明の画像処理装置は以下の構成を備える。すなわち、
画像データを可逆符号化する可逆符号化手段、画像データを非可逆符号化する非可逆符号化手段を備える画像処理装置であって、
符号化対象の画像データから、複数画素で構成される画像ブロックデータを単位に入力する入力手段と、
該入力手段で入力した注目画像ブロックデータの画像が文字属性を持つか否かを判定する文字属性判定手段と、
前記画像ブロックデータを、当該画像ブロックデータの持つ解像度よりも低い解像度に変換し、低解像度画像ブロックデータとして出力する解像度変換手段と、
該解像度変換手段で得られた、注目画像ブロックデータに対する注目低解像度画像ブロックデータの特徴量を算出し、当該特徴量に基づき当該注目画像ブロックデータの画像が、特定の画像に属するか否かを判定する特定画像判定手段と、
前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有すると判定した場合、前記解像度変換前の注目画像ブロックデータについて前記可逆符号化手段、前記非可逆符号化手段で生成されたそれぞれ符号化データのうち、符号量の少ない方を出力する第１の出力手段と、
前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有さないと判定し、且つ、前記特定画像判定手段が注目画像ブロックデータの画像が前記特定画像に属しないと判定した場合、前記非可逆符号化手段を用いて前記解像度変換手段で得られた注目低解像度画像ブロックデータより求めた非可逆符号化データと、前記解像度変換前の前記注目画像ブロックデータについて前記可逆符号化手段より得られた符号化データのうち、符号量の少ない方を出力する第２の出力手段と、
前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有さないと判定し、且つ、前記特定画像判定手段が前記注目画像ブロックデータの画像が特定画像に属すると判定した場合、前記非可逆符号化手段を用いて、前記解像度変換手段で得られた前記低解像度画像ブロックデータより求めた非可逆符号化データと、前記解像度変換前の前記注目画像ブロックデータについて前記可逆符号化手段より得られた符号化データのうち、予め設定された種類の符号化データを選択し、出力する第３の出力手段とを備える。

本発明によれば、可逆符号化と非可逆符号化による符号化データの混在を許容しつつも、特定画像に属する領域では、予め選択された非可逆／可逆符号データの一方を出力することで、画像ブロックの境界でのノイズの発生を抑制することが可能になる。また、本発明によれば、符号化対象の画像が閾値以上の高解像度を持つ場合、或いは、文字属性を有しない場合、非可逆符号化する以前により低い解像度に変換することで、仮に、非可逆符号化データが選択されるとしても、圧縮率の高い符号化データを生成することが可能になる。

以下、図面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
図１は、本実施形態における画像処理装置のブロック構成図である。以下、同図の各部を簡単に説明する。

実施形態における画像処理装置は、ページ記述言語のデータをレンダリングするレンダラで生成した画像をラスタスキャン順に入力し、所定のブロック単位に出力する入力部１０１を備えている。なお、入力部１０１が入力する画像は、レンダリング画像に限らず、イメージスキャナ等の画像入力デバイスから入力される画像データでも良いし、記憶媒体に格納された画像ファイルを読み込むことで実現してもよく、場合によっては、ネットワークより受信するようにしても良い。つまり、画像発生源は問わない。また、実施形態では、ブロックのサイズは、１６×１６画素とする（以下、このブロックを画像ブロックという）。このため、入力部１０１内には、１６ライン分のバッファメモリを備えるものとする。

制御部１５０は、不図示の操作パネルより、ユーザから可逆／非可逆のいずれを優先するのかを指示情報を入力し、その結果を符号化データ選択部１０７に設定する（詳細後述）。

解像度判定部１１０は、レンダリング画像の解像度が、予め設定された閾値以上であるか否かの判定結果を出力する。この閾値は適宜変更可能とするが、実施形態では６００ｄｐｉであるものとして説明する。以降、６００ｄｐｉ以上の解像度を高解像度、それ未満を低解像度と言う。なお、ここでは解像度判定部１１０はイメージスキャナへ設定した読取解像度の高低を判定するものとしたが、入力する符号化対象の画像データに、解像度情報が付随する場合には、その情報に基づいて判定するようにしても構わない。

さて、スイッチ１０９は、解像度判定部１１０の判定が高解像度を示す場合、入力部１０１から入力された１画像ブロックの画像データを解像度変換部１０２に出力する。また、解像度判定部１１０の判定が高解像度を示す場合、スイッチ１０９は、入力部１０１から入力された１画像ブロックの画像データを第１の符号化部１０４にダイレクトに出力する。

解像度変換部１０２は、入力した画像ブロックを水平、垂直とも１／２の解像度に変換する。実施形態では、画像ブロックのサイズが１６×１６画素としているわけであるから、この画像ブロックから８×８画素の画像データを生成することを意味する。解像度変換後の画像データ（８×８画素のデータ）は、第１の符号化部１０４に供給され符号化される。解像度変換のアルゴリズムは、例えば、水平２画素、垂直２画素の４画素から１画素を抜き出すニアレストネイバー法がある。また、水平２画素、垂直２画素の４画素の平均値を求め、その平均値を１つの画素の値として出力する方法で良い。また、それ以外の既知の解像度変換法を使ってもかまわない。

第１の符号化部１０４は与えられた画像データを非可逆符号化する。実施形態では非可逆符号化として公知の多値画像符号化技術の１つであるＪＰＥＧ符号化方式を用いた。すなわち、８×８画素単位に相当する画像データを直交変換、量子化ステップを用いた量子化、ハフマン符号化処理を行うものである。従って、第１の符号化部１０４は、スイッチ１０９からダイレクトに入力した画像ブロック（１６×１６画素サイズ）を符号化する場合、４つの８×８画素に分割し、それぞれを符号化することになる。また、解像度変換部１０２からの出力は１画像ブロックに対して１つの８×８画素データとなるので、それを符号化することになる。また、第１の符号化部１０４は、１つの画像ブロックに対する符号化データを符号化データ選択部１０７に出力する際、その符号化データのヘッダに２ビットの識別情報を付加する。この識別情報の第１のビットは、非可逆符号化データであること示す情報、第２ビットは解像度変換の有無を示す情報（解像度変換部１０５からの画像データを符号化したか否かを示す情報）を格納する。

一方、第２の符号化部１０５は、入力された画像ブロックに対して可逆符号化を行い、可逆符号化データを生成し、符号化データ選択部１０７に出力する。本実施形態では、この第２の符号化部１０５に、公知の多値画像に対する可逆符号化方式であるＪＰＥＧ−ＬＳを採用した。ただし、これに限らず、可逆符号化であれば、ＰＮＧ、ＪＰＥＧ２０００を用いて符号化処理を行うものでも構わない。また、第２の符号化部１０５は、符号化データを生成する際、そのヘッダに可逆符号化データであることを示す１ビットの識別情報を付加する。

符号化データ選択部１０７は、第１の符号化部１０４、第２の符号化部１０５からの符号化データのいずれか一方を、特定画像判定部１０６、及び、制御部１５０からの制御信号に基づいて選択し、メモリ１０８に出力することになる。この選択条件についての詳細は後述する。

差分算出部１０３は、解像度判定部１１０からの信号が高解像度を示す場合、すなわち、解像度変換部１０２が解像度変換した場合に機能する。この差分算出部１０３は、入力した画像ブロックの画像データと、解像度変換部１０３で変換した画像データとの差分を演算する。要するに、解像度変換後の画像が、変換前の画像からどれだけ変化したかを算出する。この差分出部１０３の演算内容の詳細についても後述する。

特定画像判定部１０６は、解像度判定部１１０からの信号が高解像度を示す場合、差分算出部１０３からの差分情報と、第２の符号化部からの情報を入力し、着目画像ブロックが特定の画像の性質を持つか否かを判定する（詳細後述）。そして、その判定結果の信号を符号化データ選択部１０７に出力する。なお、特定画像判定部１０６は、解像度判定部１１０からの信号が低解像度を示す場合には、無条件に、特定画像の性質無しを示す信号を符号化データ選択部１０７に出力する。

符号化データ選択部１０７は、第１の符号化部１０４、第２の符号化部１０５からの符号化データのいずれか一方を選択し、メモリ１０８に出力する。この符号化データ選択部１０７は、特定画像判定部１０６、及び制御部１５０からの信号に基づき、選択すべき符号化データを決定する。具体的には、次の通りである。
１．注目画像ブロックが特定画像の性質を有さないことを示す信号を特定画像判定部１０６から入力した場合、第１の符号化部１０４からの符号化データと第２の符号化部１０５からの符号化データのデータ量（符号長）を比較し、少ない方をメモリ１０８に出力する。
２．注目画像ブロックが特定画像の性質を有することを示す信号を特定画像判定部１０６から入力した場合、制御部１５０により指定された種類の符号化データを選択し、メモリ１０８に出力する。つまり、第１の符号化部１０４と第２の符号化部１０５それぞれかの符号がデータ量の比較はしない。

なお、上記において、注目画像ブロックが特定画像の性質を有さないと判定するのは、これまでの説明からわかるように２通りある。

１つは、解像度判定部１１０が低解像度であると判定した場合である。なぜなら、この場合には、画像入力部１０１より入力した画像ブロックのデータは、スイッチ１０９を介して第１の符号化部１０４にダイレクトに供給される。つまり、解像度変換部１０２は解像度変換をしないし、特定画像判定部１０６では注目画像ブロックが特定画像の性質を持つか否かを判断しないからである。

もう一つは、解像度判定部１１０が高解像度であると判定し、尚且つ、特定画像判定部１０６が実際に判定した結果、注目画像ブロックが特定画像の性質を持たないと積極的に判定した場合である。

上記のようにして、符号化データ選択部１０７は、選択した符号化データをメモリ１０８に出力されていく。なお、メモリ１０８ではなく、記憶装置にファイルとして記憶するようにしても良いし、ネットワーク上に出力するようにしても構わない。

図２は、メモリ１０８に格納する画像データのフォーマットの例を示している。

ヘッダには、符号化対象の画像データの水平、垂直の画素数、各色成分の数と、色成分のビット数等、その画像データを復号する際に必要な情報が格納される。このヘッダに後続して、各画像ブロックの符号化データが連続する。

各画像ブロックの符号化データは、図示のように、先頭に２ビットの識別情報が付加される。第１のビットは可逆／非可逆符号化の識別ビット、第２ビットは非可逆符号化データが解像度変換後の符号化データであるのか、解像度変換しないで符号化されたデータであるのかを示すビットである。なお、可逆符号化データの場合、識別情報中の第２ビットは存在しない。また、着目画像ブロックの符号化データが解像度変換無の非可逆符号化データである場合、符号化データには４つの８×８画素の符号化データが格納される。また、着目画像ブロックの符号化データが解像度変換後の非可逆符号化データである場合、符号化データには１つの８×８画素の符号化データが格納される。なお、各画像ブロック毎に識別情報を付加するのではなく、ヘッダに、各画像ブロック毎の識別情報を格納するようにしても構わない。要は、復号する際に、矛盾なく復号できる情報が有ればよい。

次に実施形態における復号処理について説明する。図３は実施形態における復号装置のブロック構成図である。

符号化データ入力部３０１は、先に説明した符号化処理で得られた画像ブロックの符号化データを単位に入力し、出力する。判定部３０２は、符号化データの先頭の識別情報を判定し、その判定結果を出力する。具体的には、判定部３０２は、符号化データの先頭ビットが可逆／非可逆のいずれを示すか判定する。また、非可逆であると判定した場合には第２ビットが解像度変換が行われていることを示すか否かを判定する。

スイッチ３０３は、判定部３０２からの判定結果の信号が「非可逆」であることを示す場合には、符号化データを第１の復号部３０４に出力する。また、判定部３０２からの判定結果の信号が「可逆」であることを示す場合には、符号化データを第２の復号部３０５に出力する。第１の復号部３０４は、非可逆符号化データを復号するものであり、実施形態ではＪＰＥＧ復号方式を採用することになる。また、第２の復号部３０５は、可逆復号方式（例えば、ＪＰＥＧ−ＬＳ、ＰＮＧ、ＪＰＥＧ２０００を用いた復号方式）を採用することになる。

解像度変換部３０６は、判定部３０２より、解像度変換されていることを示す信号を入力した場合、第１の復号部３０４から出力した復号した８×８画素の画像データを１６×１６画素のサイズに変換する。この解像度変換３０６は例えば線形補間技術を用いればよいであろう。

スイッチ３０７は、判定部３０２からの判定結果の信号が「可逆」を示している場合、第２の復号部３０５から出力された復号結果を選択し、出力部３０８に出力する。また、スイッチ３０７は、判定部３０２からの判定結果の信号が「非可逆」、「解像度変換無」を示す場合、第１の復号部３０４からの復号結果を選択し、出力部３０８に出力する。そして、スイッチ３０７は、判定部３０２からの判定結果の信号が「非可逆」、「解像度変換有り」を示す場合、解像度変換部３０６からの画像データを選択し、出力部３０８に出力する。

出力部３０８は、スイッチ３０７から１６×１６画素単位の画像データを入力することになる。それ故、この出力部３０８は、１６ライン分のバッファメモリを内蔵する。そして、１６ライン分の１ストライプ分の復号した画像データが揃った段階で、出力メモリ３０９に出力する。なお、ここでは、出力対象がメモリ３０９としているが、ハードディスク等の記憶装置の場合には、ファイルとして格納しても良い。

以上実施形態における画像の符号化、及び、復号について説明した。次に、実施形態における符号化する装置側の特定画像判定部１０６について説明する。

図４は、実施形態における特定画像判定部１０６と、それに関る解像度判定部１１０、差分算出部１０３、及び、第２符号化部１０５の一部を示している。

解像度判定部１１０からの信号が、入力する画像が低解像度を示している場合、実施形態における特定画像判定部１０６は無条件に特定画像の性質無しを示す信号を符号化データ選択部１０７に出力する。従って、この場合の説明は不要であろう。

そこで、以下では、解像度判定部１１０からの信号が、入力する画像が高解像度であることを示す場合について説明する。この場合、図示のように、差分算出部１０３、及び、実施形態における第２の符号化部（可逆符号化部）１０５が有する２色カウント部６０３、及び連続画素カウント部６０４からの信号に従って、着目画像ブロック（実施形態では１６×１６画素）が特定画像の性質を持つか否かを判定する。

まず、差分算出部１０３での差分算出方法を説明する。先に説明したように、解像度変換部１０２は１６×１６画素データを８×８画素画素データに変換する。このとき、図５に示すように、解像度変換部１０２は、入力した１６×１６画素の画像ブロック中の２×２画素の平均値を算出して、解像度変換後の１画素の値を求めるとする。従って、変換前の１６×１６画素の各画素値をＶ（）、変換後の８×８画素の各画素値をＶave（）と表わすと、変換後のＶave（）は次式（１）のように表わすことができる。
Ｖave(x,y)=｛Ｖ(2x,2y)+Ｖ(2x+1,2y)+Ｖ(2x,2y+1)+Ｖ(2x+1,2y+1)｝／４ …（１）
ここでｘは水平座標、ｙは垂直座標を示し、共にｉ，ｊ＝０、２、…７の値を持つ。

従って、変換後の画像と変換前の画像の差分（解像度変換後さ）Ｄは次式（２）で求めることができる。
Ｄ＝Σ|Ｖave(x,y)-Ｖ(2x,2y)|＋|Ｖave(x,y)-Ｖ(2x+1,2y)|＋|Ｖave(x,y)-Ｖ(2x,2y+1)|＋|Ｖave(x,y)-Ｖ(2x+1,2y+1)| …（２）
ここでΣはx,y=0,1,…7の合算関数である。なお、画像データの各色成分について求めることになるので、実際には、式（２）を各色成分毎に求め、その色成分毎の差分の合計値Ｄｔを求める。カラー画像がＲＧＢの場合、各色成分の誤差をＤｒ、Ｄｂ、Ｄｇと表現するなら、色成分を加味した変換前と変換後の誤差Ｄｔは、Ｄｔ＝Ｄｒ＋Ｄｂ＋Ｄｇとなる。差分演算部１０３は、この誤差Ｄｔを特定画像判定部１０６に出力することになる。

ここで、合計値Ｄｔの意味について考察する。風景等の自然画の場合、隣接する各画素の色（すなわち、隣接する各画素の各色成分の値）は同じか、近似する可能性が高いので式（１）の値Ｄは小さな値になる。必然、式（２）で算出される値Ｄｔも小さな値になる。一方、文字線画等、高周波成分を多く含む画像の場合には、値Ｄは大きくなるので、Ｄｔも大きな値になる。

次に、２色カウント部６０３、連続画素カウント部６０４について説明するが、以下の説明においては、説明を簡略化するため、各色成分毎については言及しない。

実施形態における第２の符号化部１０５は可逆符号化であるＪＰＥＧ−ＬＳを例にしている。ＪＰＥＧ−ＬＳでは、図６に示すウインドウを用いて、着目画素ｘの周囲４画素（既に符号化済みの画素位置）のａ，ｂ，ｃ，ｄを参照し、周囲４画素ａ，ｂ，ｃ，ｄが全て同じ色の場合にはランレングス符号化を開始し、それ以外の場合には予測符号化を行なう。周囲４画素が同色であり、ランレングス符号化の終了判定は、直前の画素（図６では画素ａ）と注目画素ｘとが異なることを検出するか、着目画素が１ラインの終端に達した場合のいずれかとなる。

第２の符号化部１０５は、符号化過程で、上記のように、着目画素ｘの周囲４画素ａ，ｂ，ｃ，ｄの色を判定することになるので、本実施形態での２色カウント部６０３、連続画素カウント部６０４はそれを利用する。

まず、２色カウント部６０３は、図６に示すウインドウにおいて、着目画素ｘの周辺画素ａ，ｂ，ｃ，ｄを参照し、周辺画素間の差分値Ｄａｂ，Ｄａｃ，Ｄａｄ，Ｄｂｃ，Ｄｃｄを次式（３）で求める。
Ｄａｂ＝ａ−ｂ
Ｄａｃ＝ａ−ｃ
Ｄａｄ＝ａ−ｄ
Ｄｂｃ＝ｂ−ｃ
Ｄｃｄ＝ｃ−ｄ
Ｄｄｂ＝ｂ−ｄ …（３）
そして、２色カウント部６０３は、差分値Ｄａｂ，Ｄａｃ，Ｄａｄ，Ｄｂｃ，Ｄｂｄ，Ｄｃｄのうち、０（２つの画素が同じ色）となる数Ｆをカウントする。従って、差分値は６つあるので、値Ｆは０乃至６の値を取り得る。ここで、Ｆ＝０の場合、周辺画素ａ，ｂ，ｃ，ｄが全て違う色であることを示すのは明らかで、色数が４であることを示す。また、Ｆ＝１の場合、周辺４画素中２画素が同じ色となるので、周辺画素ａ，ｂ，ｃ，ｄに含まれる色数は３となる。同様に、Ｆ＝２又はＦ＝３の場合には色数が２であることを示し、Ｆ＝４以上（実際は、４、５となることはなく、Ｆ＝６となる）の場合には周辺画素ａ，ｂ，ｃ，ｄがすべて同じ色（色数が１）であることを示すことになる。

着目画素ｘは図５に示すように、入力した１６×１６画素の左上位置からラスタースキャンするので、２色カウント部６０３は全部で１６×１６＝２５６回、式（３）を演算する。そして、その２５６回の演算によってＦ＝２となった数をカウントする。このＦ＝２となる数Ｔｆを特定画像判定部１０６に出力する。なお、着目画素ｘが１６×１６の画像ブロックの境界に位置するとき、周辺画素の幾つかがその境界外となることがある。境界外の画素の各色成分は“０”と見なして、計数する。ここで、Ｔｆが大きな値を示すのは、着目画像ブロックが２つの色で表わされる画像である可能性が高いことを意味する。典型的には、通常の文章を記述した文書のように、白地（背景）に黒文字が存在するような画像である。

次に、連続画素カウント部６０４について説明する。この連続画素カウント部６０４は、第２の符号化部１０５が入力した１６×１６画素の画素ブロックをスキャン中、２色カウント部４０２と同様に、周辺画素の色数をカウントしていく。そして、Ｆ≧３となった着目画素ｘを開始位置、その際の開始位置にある注目画素の色をＣｘとする。そして、スキャン中に、色Ｃｘと同じ色が連続する数をカウントし、１６×１６画素をスキャン中、最大となる連続数をＮｃとして特定画像判定部１０６に出力する。

以上、差分算出部１０３、２色カウント部６０３、連続画素カウント部６０４について説明した。

特定画像判定部１０６は、差分算出部１０３より得られたＤｔ、２色カウント部４０２から得られたＴｆ、及び、連続画素カウント部４０３から得られたＮｃに基づき、次のような条件を満たすか否かを判定する。
判定条件：Ｄｔ≧Ｔｈ１、且つ、Ｔｆ≧Ｔｈ２、且つ、Ｎｘ≦Ｔｈ３

上記条件を満たす場合、特定画像判定部１０６は、着目画像ブロックの画像が特定画像に属すると判定し、その判定結果を符号化データ選択部１０７に出力する。また、条件を満たさない場合には、特定画像に属しない旨の信号を符号化データ選択部１０７に出力する。

ここで上記の条件を満たす画像について考察する。上記条件が満たされるのは、着目画像ブロックの解像度変換前と後ではその差（解像度変換誤差）が大きく、且つ、ほぼ２色でありながらも、連続して同じ色が発生しない画像を意味する。このような画像を解像度変換部１０２で解像度変換してしまい、それが最終的にメモリ１０８に格納される対象となったとする。このとき、解像度変換による画質の劣化が避けられないばかりか、隣接する画像ブロックが解像度変換しない場合、その境界が不自然なものとなる。

図７は、上記条件を満たす典型的な特定画像の例を示している。例えば、図７に示す画像は、差分算出部１０３で算出される差分値と、２色カウント部６０３でカウントされる参照画素が２色である画素数が共に大きく、連続画素カウント部６０４でカウントされる連続している画素数が小さいという傾向が見られる。これらの特徴によりパターン画像などの特定画像に属するか否かを識別できる。

以上説明したように本実施形態によれば、符号化対象画像が予め設定した閾値より低い解像度の場合、もともと解像度が低いので、可逆／非可逆符号化の符号化データが混在したとしても、ブロックノイズが目立たない符号化データを出力することがでる。また、可逆／非可逆符号化データのうち符号量の少ない方を選択することで、画像全体の符号化データ量も少なくできる。

また、符号化対象画像が閾値以上の解像度を持つ場合については、解像度変換した際にオリジナルに対して画質劣化が大きくなるような性質を持つか否かを画像ブロック単位に判定する。そして、その性質を持つと判定した場合には、符号量の比較で出力符号化データを決定するのではなく、ユーザが設定した種類の符号化データを出力することで、画像ブロックの境界におけるブロックノイズの発生を抑制することができる。また、特定画像の性質を持たない画像については、解像度変換しても画質の劣化が少ないことを意味するので、可逆／非可逆符号化データのうち符号量の少ない方を選択することで、画像全体の符号化データ量も少なくできる。

なお、実施形態では、特定画像判定部１０６は、
判定条件：Ｄｔ≧Ｔｈ１、且つ、Ｔｆ≧Ｔｈ２、且つ、Ｎｘ≦Ｔｈ３
を満たすか否かで、着目画像ブロックが特定画像であるか否かを判断する例を説明した。しかしながら、この３つの判定要件中、１つでも満足する場合に特定画像であると判定するようにしても良い。特に、判定要件「Ｄｔ≧Ｔｈ１」は解像度変換誤差そのものを指標する値であるので、この要件のみで判定することでも上記作用効果に近い効果が期待できる。また、閾値Ｔｈ１、Ｔｈ２、Ｔｈ３は不図示の操作部で適宜ユーザが設定するようにしても構わない。

＜他の実施形態＞
上記実施形態は、図１、図３の構成に基づいて説明したが、これと等価の処理をソフトウェアでもって実現することが可能である。以下にその例を説明する。

図８はパーソナルコンピュータ等の情報処理装置のブロック構成図である。図中、１は装置全体の制御を司るＣＰＵ、２はＢＩＯＳやブートプログラムを記憶しているＲＯＭ、３はＣＰＵ１のワークエリアとして使用するＲＡＭである。４はハードディスク装置（ＨＤＤ）であり、ＯＳ（オペレーティングシステム）、及び、画像符号化・復号処理に係るアプリケーションが格納されている。５はキーボード、６はマウス等のポインティングデバイスである。７は表示制御部であって、内部には、表示する画像を描画するためのビデオメモリ、及び、ＣＰＵ１の制御下でビデオメモリへの描画したり、ビデオメモリから画像を読出しビデオ信号として表示装置８に出力するビデオコントローラを備えている。表示装置８はＣＲＴや液晶表示装置である。９はイメージスキャナ１１を接続するためのスキャナインタフェースであり、代表的なものとしてはＳＣＳＩインタフェース、ＵＳＢインタフェースである。１０はネットワークインタフェースである。

上記構成において、本装置の電源がＯＮになると、ＣＰＵ１はＲＯＭ２のブートプログラムに従って、ＨＤＤ４よりＯＳをＲＡＭ３にロードする。この結果、本装置は、ユーザからキーボード５やマウス６からの入力、及び、表示制御部７に対するＧＵＩを描画する処理を行ない、インタラクティブは装置として機能する。また、ユーザがアプリケーションの起動を指示すると、ＨＤＤ４からアプリケーションプログラムはＲＡＭ３にロードされ、ＣＰＵ１により実行されることで、本装置が画像符号化装置（或いは、画像復号装置）として機能することになる。

画像の符号化と復号の処理は、互いに表裏の関係にある。ここではアプリケーションが実行され、そのアプリケーション上でユーザが画像の符号化の指示を入力した場合のＣＰＵ１の処理手順を図９のフローチャートに従って説明することとする。復号処理は、第１の実施形態の記載内容、並びに、以下の説明から容易に理解できるであろうから、その説明は省略する。

なお、以下の説明に先立ち、ＲＡＭ３には、イメージスキャナ１１より読取った画像データを一時的に記憶するバッファメモリが確保されているものとする。

まず、ステップＳ１では、原稿のサイズ、読込む際の読取り解像度、並びに、可逆／非可逆符号化のいずれを優先するかを選択するメニューを表示し、ユーザにいずれかを選択させる。なお、デフォルトでは前回の条件を表示し、ユーザが必要時に変更するようにしても構わない。原稿サイズ、及び、読み取り解像度を設定することで、画像ブロックの個数が一義的に決定される。

次いで、ステップＳ２では、ＲＡＭ３のバッファメモリより、イメージスキャナで読取った画像中の１画像ブロック分の画像データ（実施形態では、１６×１６画素の画像データ）を入力する。

次いで、ステップＳ３では、設定した読取り解像度が、閾値を超えるか否かを判断する。閾値以上の高解像度読取りモードが設定されていると判断した場合には、ステップＳ４にて解像度変換を行なう。つまり、１６×１６画像のデータから８×８画素の画像データに変換する。

ステップＳ５では、画像データの特徴量を算出する。すなわち、解像度変換後の画像データから解像度変換誤差Ｄｔを算出し、解像度変換前の画像ブロックから２色カウント数Ｔｆ、連続画素カウント値Ｎｃを算出する。

ステップＳ６では、判定条件：「Ｔａｂｓ≧Ｔｈ１、且つ、Ｔｆ≧Ｔｈ２、且つ、Ｎｘ≦Ｔｈ３」を満たすか否かを判断することで、着目画像ブロックが特定画像に属するか否かを判断する。

注目画像ブロックの画像が特定画像に属すると判断した場合には、ステップＳ７に進み、先のステップＳ１で選択した優先符号化技術（可逆／非可逆のいずれか一方）に従って符号化し、符号化データを生成する。そして、ステップＳ８において、生成された符号化データを出力する。出力対象は、ＲＡＭ３でも良いし、ＨＤＤ４へファイルとして格納するようにしても構わない。いずれにしても、符号化データの先頭には、符号化の種類を示す識別情報を付加する。特に、非可逆符号化を優先すると指定した場合には、更に、解像度変換無しを示す情報も付加する。

また、ステップＳ３にて解像度が閾値未満の低解像度であると判定した場合、或いは、ステップＳ６にて着目画像ブロックが特定画像に属しないと判定された場合、処理はステップＳ９に進み、非可逆符号化データを生成する。なお、ステップＳ４乃至Ｓ６を経てステップＳ９に移行した場合には解像度変換後の８×８画素の画像データについて非可逆符号化を行なう。また、ステップＳ３にてＮｏと判定された場合、１６×１６画素の画像データについて非可逆符号化を行なう。

ステップＳ１０では、着目画像ブロック（１６×１６画素）の画像データについて可逆符号化を行なう。

ステップＳ１１では、非可逆符号化データと可逆符号化データのデータ量（符号長）とを比較する。可逆符号化データのデータ量が、非可逆符号化データのそれ以下と判断した場合には、ステップＳ１２に進んで、可逆符号化データを出力する。このとき、符号化データの先頭には、可逆符号化データであることを示す識別ビットを付加する。また、非可逆符号化データのデータ量が、可逆符号化データのそれより少ないと判断した場合には、ステップＳ１３に進んで、非可逆符号化データを出力する。このとき、符号化データの先頭には、非可逆符号化であり、尚且つ、解像度変換したことを示す２ビットを付加する。

こうして、着目画像ブロックの符号化と出力を終えると、ステップＳ１４にて、全画像ブロックについての符号化が完了したか否かを判断する。否の場合には、ステップＳ２に戻り、次の位置にある画像ブロックについての符号化処理を行なう。

以上説明したように、コンピュータプログラムによっても第１の実施形態と等価の処理を行なうことが可能となる。

なお、図９のフローチャートにおいては、ユーザが解像度を設定する例を説明したが、符号化対象画像データがファイルとして与えられる場合には、そのファイルのヘッダを解析して解像度情報を取得するようにしても構わない。

また、通常、コンピュータプログラムはＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されていて、それをコンピュータが有するリーダ（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。したがって、本発明はかかるコンピュータ可読記憶媒体をもその範疇とすることも明らかである。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限定されるものではない。例えば、実施形態では、符号化単位の画像ブロックのサイズを１６×１６画素サイズとした。これは、実施形態における非可逆符号化を行なう第１の符号化部がＪＰＥＧ（通常、ＪＰＥＧでは８×８画素サイズ毎にＤＣＴ変換する）を採用したことに起因するものであるが、８ｎ×８ｍのサイズに拡張できる（ｎ，ｍは１以上の整数）。

また、非可逆符号化、可逆符号化の種類も、上記実施形態に限らず、如何なる方式を採用しても構わない。また、解像度の高低を判定するための閾値も、ユーザが適宜設定するようにしても構わない。

＜第２の実施形態＞
上記第１の実施形態、及び、その変形例では、符号化対象の画像データの解像度に基づき、解像度変換を行なうか否かを決定した。本第２の実施形態では、画像ブロック単位に文字／線画属性を持つか否かで、解像度変換を行なうか否かを判定する例を説明する。

図１０は第２の実施形態における装置のブロック構成図である。図１と同じ処理を行なう要素については同符号を付し、その説明は省略する。図１０が図１と異なる点は、解像度判定部１１０に代えて、文字属性判定部１１１を設けた点にある。

この文字属性判定部１１１は、符号化対象となる画像データにあらかじめ付随する属性情報に基づいて判定しても良いし、自動判定でも構わない。特に、ページ記述言語（ＰＤＬ）に従って画像データを生成する場合、文字（線画を含む）を描画命令か、階調画像（ビットマップイメージデータ）かの判定は容易である。

この文字属性判定部１１１は、文字（線画を含む）属性を有する、ありはその可能性が高い画像か否かを判定する。文字属性を有すると判定した場合、第１の実施形態における低解像度画像と判定したのと同じ信号をスイッチ１０９、差分算出部１０３、特定画像判定部１０６に出力する。つまり、差分算出部１０３は機能せず（機能しても良いがその差分演算結果は無視する）、特定画像判定部１０６は着目画像ブロックは特定画像の性質を持たないことを示す信号を符号化データ選択部１０７に出力する。従って、この場合、可逆符号化データ、非可逆符号化データのうち、符号量の少ない符号化データがメモリ１０８に出力される。

一方、文字属性がない、或いは、文字属性である可能性が低いと判断した場合には、解像度変換部１０３が機能し、特定画像判定部１０６は第１の実施形態で説明した判定処理を行なう。そして、特定画像であると判定した場合には、符号化データ選択部１０７は、注目画像ブロックの符号化データとして、制御部１５０より予め設定された種類の符号化データをメモリ１０８に出力する。また、着目画像ブロックが特定画像の性質を持たないと判定した場合には、符号化データ選択部１０７は、注目画像ブロックの符号化データとして、符号量の少ない符号化データを選択し、メモリ１０８に出力する。

以上の結果、図７に示すように、入力した画像ブロックが誤差拡散処理やディザ処理等で網点で階調表現されているような場合には、その網点領域では可逆符号化、非可逆符号化データが混在することがなくなり、復号画像中に画像ブロックに境界にブロックノイズが発生することを抑制することが可能になる。

なお、本第２の実施形態における符号化データの構造は第１の実施形態と同じになる。従って、復号装置の構成は、図３の構成で良い。

また。本第２の実施形態の処理は、第１の実施形態における解像度判定部１１０の代わりに文字属性判定部１１１を用いるだけであるので、第１の実施形態の変形例で説明したのと同様、コンピュータプログラム及びコンピュータ可読記憶媒体によっても実現できることも明らかである。

第１の実施形態における画像処理装置のブロック構成図である。 実施形態における符号化データのフォーマットの一例の図である。 第１の実施形態における復号処理装置のブロック構成図である。 特定画像判定部とその周囲の構成を示す図である。 解像度変換部の処理、及び、差分算出部の処理を説明するための図である。 図４の２色カウント部の処理を説明するための図である 実施形態における特定画像の一例を示す図である。 第１の実施形態の変形例であるコンピュータのブロック構成図である。 コンピュータの処理手順を示すフローチャートである。 第２の実施形態における画像処理装置のブロック構成図である。

Claims (7)

1. 画像データを可逆符号化する可逆符号化手段、画像データを非可逆符号化する非可逆符号化手段を備える画像処理装置であって、
   符号化対象の画像データから、複数画素で構成される画像ブロックデータを単位に入力する入力手段と、
   該入力手段で入力した注目画像ブロックデータの画像が文字属性を持つか否かを判定する文字属性判定手段と、
   前記画像ブロックデータを、当該画像ブロックデータの持つ解像度よりも低い解像度に変換し、低解像度画像ブロックデータとして出力する解像度変換手段と、
   該解像度変換手段で得られた、注目画像ブロックデータに対する注目低解像度画像ブロックデータの特徴量を算出し、当該特徴量に基づき当該注目画像ブロックデータの画像が、特定の画像に属するか否かを判定する特定画像判定手段と、
   前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有すると判定した場合、前記解像度変換前の注目画像ブロックデータについて前記可逆符号化手段、前記非可逆符号化手段で生成されたそれぞれ符号化データのうち、符号量の少ない方を出力する第１の出力手段と、
   前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有さないと判定し、且つ、前記特定画像判定手段が注目画像ブロックデータの画像が前記特定画像に属しないと判定した場合、前記非可逆符号化手段を用いて前記解像度変換手段で得られた注目低解像度画像ブロックデータより求めた非可逆符号化データと、前記解像度変換前の前記注目画像ブロックデータについて前記可逆符号化手段より得られた符号化データのうち、符号量の少ない方を出力する第２の出力手段と、
   前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有さないと判定し、且つ、前記特定画像判定手段が前記注目画像ブロックデータの画像が特定画像に属すると判定した場合、前記非可逆符号化手段を用いて、前記解像度変換手段で得られた前記低解像度画像ブロックデータより求めた非可逆符号化データと、前記解像度変換前の前記注目画像ブロックデータについて前記可逆符号化手段より得られた符号化データのうち、予め設定された種類の符号化データを選択し、出力する第３の出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記特定画像判定手段は、前記注目画像ブロックデータを前記解像度変換手段によって変換した際に発生する解像度変換誤差を算出する解像度変換誤差算出手段を備え、当該解像度変換誤差算出手段で算出された前記解像度変換誤差が第１の閾値以上の場合、注目画像ブロックデータの画像が前記特定画像の性質を持つと判断することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定画像判定手段は、更に、
   前記注目画像ブロックデータをスキャンし、当該スキャン中に、注目画素の周囲に存在する複数の周囲画素が持つ色数が２となる回数をカウントする２色カウント手段と、
   前記スキャン中に前記注目画素と同じ色を持つ画素の連続する最大数をカウントする連続数カウント手段とを備え、
   前記２色カウント手段で得られた２色数が第２の閾値以上であり、前記連続数カウント手段で得られた連続数が第３の閾値以下であることを更なる条件として、注目画像ブロックデータの画像が前記特定画像の性質を持つと判断することを特徴とする請求項２に記載の画像処理装置。
4. 出力される符号化データの先頭に、当該符号化データが可逆符号化データであるか非可逆符号化データであるのかを識別するビット、及び、非可逆符号化データである場合には解像度変換の有無を示すビットを付加する手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 画像データを可逆符号化する可逆符号化手段、画像データを非可逆符号化する非可逆符号化手段を備える画像処理装置の制御方法であって、
   符号化対象の画像データから、複数画素で構成される画像ブロックデータを単位に入力する入力工程と、
   該入力工程で入力した注目画像ブロックデータの画像が文字属性を持つか否かを判定する文字属性判定工程と、
   前記画像ブロックデータを、当該画像ブロックデータの持つ解像度よりも低い解像度に変換し、低解像度画像ブロックデータとして出力する解像度変換工程と、
   該解像度変換工程で得られた、注目画像ブロックデータに対する注目低解像度画像ブロックデータの特徴量を算出し、当該特徴量に基づき当該注目画像ブロックデータの画像が、特定の画像に属するか否かを判定する特定画像判定工程と、
   前記文字属性判定工程が前記注目画像ブロックデータの画像が文字属性を有すると判定した場合、前記解像度変換前の注目画像ブロックデータについて前記可逆符号化手段、前記非可逆符号化手段で生成されたそれぞれ符号化データのうち、符号量の少ない方を出力する第１の出力工程と、
   前記文字属性判定工程が前記注目画像ブロックデータの画像が文字属性を有さないと判定し、且つ、前記特定画像判定工程が注目画像ブロックデータの画像が前記特定画像に属しないと判定した場合、前記非可逆符号化手段を用いて前記解像度変換工程で得られた注目低解像度画像ブロックデータより求めた非可逆符号化データと、前記解像度変換前の前記注目画像ブロックデータについて前記可逆符号化手段より得られた符号化データのうち、符号量の少ない方を出力する第２の出力工程と、
   前記文字属性判定工程が前記注目画像ブロックデータの画像が文字属性を有さないと判定し、且つ、前記特定画像判定工程が前記注目画像ブロックデータの画像が特定画像に属すると判定した場合、前記非可逆符号化手段を用いて、前記解像度変換工程で得られた前記低解像度画像ブロックデータより求めた非可逆符号化データと、前記解像度変換前の前記注目画像ブロックデータについて前記可逆符号化手段より得られた符号化データのうち、予め設定された種類の符号化データを選択し、出力する第３の出力工程と
   を備えることを特徴とする画像処理装置の制御方法。
6. コンピュータに読み込ませ実行させることで、前記コンピュータを、画像データを符号化する画像処理装置として機能させるコンピュータプログラムであって、
   画像データを可逆符号化する可逆符号化手段と、
   画像データを非可逆符号化する非可逆符号化手段と、
   符号化対象の画像データから、複数画素で構成される画像ブロックデータを単位に入力する入力手段と、
   該入力手段で入力した注目画像ブロックデータの画像が文字属性を持つか否かを判定する文字属性判定手段と、
   前記画像ブロックデータを、当該画像ブロックデータの持つ解像度よりも低い解像度に変換し、低解像度画像ブロックデータとして出力する解像度変換手段と、
   該解像度変換手段で得られた、注目画像ブロックデータに対する注目低解像度画像ブロックデータの特徴量を算出し、当該特徴量に基づき当該注目画像ブロックデータの画像が、特定の画像に属するか否かを判定する特定画像判定手段と、
   前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有すると判定した場合、前記解像度変換前の注目画像ブロックデータについて前記可逆符号化手段、前記非可逆符号化手段で生成されたそれぞれ符号化データのうち、符号量の少ない方を出力する第１の出力手段と、
   前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有さないと判定し、且つ、前記特定画像判定手段が注目画像ブロックデータの画像が前記特定画像に属しないと判定した場合、前記非可逆符号化手段を用いて前記解像度変換手段で得られた注目低解像度画像ブロックデータより求めた非可逆符号化データと、前記解像度変換前の前記注目画像ブロックデータについて前記可逆符号化手段より得られた符号化データのうち、符号量の少ない方を出力する第２の出力手段と、
   前記文字属性判定手段が前記注目画像ブロックデータの画像が文字属性を有さないと判定し、且つ、前記特定画像判定手段が前記注目画像ブロックデータの画像が特定画像に属すると判定した場合、前記非可逆符号化手段を用いて、前記解像度変換手段で得られた前記低解像度画像ブロックデータより求めた非可逆符号化データと、前記解像度変換前の前記注目画像ブロックデータについて前記可逆符号化手段より得られた符号化データのうち、予め設定された種類の符号化データを選択し、出力する第３の出力手段
   として機能させることを特徴とするコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images