JP3952981B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP3952981B2 JP3952981B2 JP2003085236A JP2003085236A JP3952981B2 JP 3952981 B2 JP3952981 B2 JP 3952981B2 JP 2003085236 A JP2003085236 A JP 2003085236A JP 2003085236 A JP2003085236 A JP 2003085236A JP 3952981 B2 JP3952981 B2 JP 3952981B2
- Authority
- JP
- Japan
- Prior art keywords
- compression
- processing
- image
- tile size
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、JPEG2000における符号化及び復号化処理を行うJPEG2000ファイル用のコーデックを備えた画像処理装置に関する。
【0002】
【従来の技術】
通常、所定のサーバに保存されたファイルを端末側にダウンロードして読み出す場合には、データの伝送時間の短縮化を図り、ファイルが所定の条件下で圧縮された状態で転送がなされる。このとき、端末側では、画像が画質劣化の少ない状態で読み出されることが好ましいが、JPEG2000方式でタイリング処理が施されたファイルを処理対象として扱う場合、圧縮に伴い、ファイルを構成するタイル境界に画像歪みが発生することが知られている。このタイリング処理に起因する画像歪みは、特定の画像においては比較的低い圧縮率が設定された場合でも生成することがある。
【0003】
従来、JPEG2000方式において、高圧縮率及び良好な画質を両立させるために、圧縮データのコードストリーム中のイメージデータ情報を除いた部分のデータ量の圧縮データ量に対する割合が、データ圧縮率に基づいて決まる一定値以下になるように、ウェーブレット変換の処理単位となるブロック(タイル)のサイズを変更するものが知られている(例えば特許文献1)。なお、この特許文献1では、上記タイリング処理に起因する画像歪みについては言及されていない。
【0004】
【特許文献1】
特開2000−32458号公報
【0005】
【発明が解決しようとする課題】
本発明は、上記技術的課題に鑑みてなされたもので、圧縮率や画質等の圧縮に関した各種の条件(以下、圧縮パラメータという)及び画像の特徴に応じて、JPEG2000ファイルをタイリング処理に起因する画像歪みが目立たない状態で取り出すことのできる画像処理装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本願の請求項1に係る発明は、JPEG2000における符号化及び復号化処理を行う画像処理装置において、所定容量を備えたタイリング処理及びウェーブレット変換/逆変換処理用のメモリを備え、該メモリを用いて、ハードウェア構成のみによる所定のタイルサイズまでの画像情報のタイリング処理及びウェーブレット変換/逆変換処理を実行し、また、該画像情報のロスレス圧縮及びロッシー圧縮を可能とするJPEG2000ハードウェア符号化及び復号化手段と、ロスレス圧縮ファイルからロッシー圧縮ファイルを生成するに際して、上記ロッシー圧縮に関した圧縮パラメータを取得する圧縮パラメータ取得手段とを有しており、上記JPEG2000ハードウェア符号化及び復号化手段は、上記圧縮パラメータ取得手段により取得された圧縮パラメータに基づきロッシー圧縮を行うに際して、上記ロスレス圧縮時のタイルサイズをより大きいタイルサイズに変更するように上記タイリング処理を実行することを特徴としたものである。
【0007】
また、本願の請求項2に係る発明は、請求項1に係る発明において、上記圧縮パラメータ及び処理対象である画像情報の特徴に基づき、ロスレス圧縮時のタイルサイズを変更するか否かを判定する判定手段を有していることを特徴としたものである。
【0008】
更に、本願の請求項3に係る発明は、請求項1又は2に係る発明において、上記ロッシー圧縮時に設定されるタイルサイズが、ハードウェア構成のみにより処理不可能である場合に、上記タイリング処理及びウェーブレット変換処理を所定のソフトウェアを用いて行うことを特徴としたものである。
【0009】
また、更に、本願の請求項4に係る発明は、JPEG2000における符号化及び復号化処理を行う画像処理装置において、所定容量を備えたタイリング処理及びウェーブレット変換/逆変換処理用のメモリを備え、該メモリを用いて、ハードウェア構成のみによる所定のタイルサイズまでの画像情報のタイリング処理及びウェーブレット変換/逆変換処理を実行し、また、高画質圧縮から低画質圧縮までの画像情報のロッシー圧縮を可能とするJPEG2000ハードウェア符号化及び復号化手段と、高画質ロッシー圧縮ファイルから低画質ロッシー圧縮ファイルを生成するに際して、低画質ロッシー圧縮に関した圧縮パラメータを取得する圧縮パラメータ取得手段とを有しており、上記JPEG2000ハードウェア符号化及び復号化手段は、上記圧縮パラメータ取得手段により取得された圧縮パラメータに基づき低画質ロッシー圧縮を行うに際して、上記高画質ロッシー圧縮時のタイルサイズをより大きいタイルサイズに変更するように上記タイリング処理を実行することを特徴としたものである。
【0010】
また、更に、本願の請求項5に係る発明は、請求項4に係る発明において、更に、上記圧縮パラメータ及び処理対象である画像情報の特徴に基づき、上記高画質ロッシー圧縮時のタイルサイズを変更するか否かを判定する判定手段を有していることを特徴としたものである。
【0011】
また、更に、本願の請求項6に係る発明は、請求項4又は5に係る発明において、上記低画質ロッシー圧縮時に設定されるタイルサイズが、ハードウェア構成のみにより処理不可能である場合に、上記タイリング処理及びウェーブレット変換処理を所定のソフトウェアを用いて行うことを特徴としたものである。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
実施の形態1.
図1は、本発明の実施の形態1に係る多機能複合機を含むネットワークシステムを概略的に示す図である。このネットワークシステム1は、プリンタ,ファクス,コピー,スキャナ等の多機能を備えた多機能複合機(Multiple Function Peripheral:以下、MFPと略記)10と、パーソナルコンピュータ等の複数の端末機器2とを有している。各機器は、データ送受信可能に、ネットワークバス3を介して互いに接続されている。このネットワークシステム1では、例えば、端末機器2からMFP10へ情報データ(画像データを含む)を送信してプリントしたり、MFP10のスキャナ11(図2参照)で原稿を読み取ることにより情報データを取得し、これを端末機器2からの読出し要求に応じて端末機器2側へ送信して保存したりすることが可能である。
【0013】
また、このネットワークシステム1は、ネットワークバス3を介して、インターネット50に接続されてもよい。この場合、MFP10は、必要に応じて、例えば他のネットワーク上にある遠隔の端末機器からの情報データを、インターネット50経由で受信し、プリントすることも可能である。
【0014】
図2は、MFP10の全体構成を概略的に示すブロック図である。このMFP10は、JPEG2000における符号化及び復号化処理を可能としており、所定のオペレーティングプログラムに基づき各種の命令を実行させるなどして、MFP10内の各構成を制御するCPU4と、CPU4とブリッジ5を介して接続され、上記オペレーティングプログラム等を格納する第1メモリ6と、メモリコントローラ7と、メモリコントローラ7を介してMFP10内の他の構成と接続される内蔵型の第2メモリ8と、JPEG2000における符号化及び復号化処理を実行するハードウェア構成としてのJPEG2000ハードウェアコーデック20とを有している。
【0015】
メモリコントローラ7には、第2メモリ8とともに、外付け型のハードディスクドライブ9(図中「HDD」と表記)が接続されている。また、JPEG2000ハードウェアコーデック20には、コーデック専用メモリ15が接続されており、該コーデック専用メモリ15は、基本的には、JPEG2000における符号化及び復号化に際し、画像データを所定のタイルサイズを備えた複数のタイルに分割する若しくは複数のタイルを1つの画像データとして組み合わせるタイリング処理や、JPEG2000ファイルをタイル単位でサブバンドに分解する若しくは1バンドに統合するウェーブレット変換及び逆変換を行う場合に使用される。このコーデック専用メモリ15のメモリ容量によって、JPEG2000ハードウェアコーデック20及びコーデック専用メモリ15からなるハードウェア構成で処理可能なタイルサイズの上限が決まる。この実施の形態では、上記ハードウェア構成でタイルサイズ256×256ピクセルまで処理可能である。
【0016】
また、MFP10は、原稿を読み取りビットマップ形式の画像データを取得するスキャナ11と、スキャナ11から取得された画像データを、MFP10内のデータ処理構成へ入力するラスタI/F12と、データ入出力ポートとして、ネットワークシステム1(図1参照)上の外部機器に接続するネットワークインターフェースカード(図中では「NIC」と表記)13と、ユーザが各種の入力設定を実行するための操作部14と、スキャナ11で取得された画像データ又はNIC13を介して外部から送られた画像データに基づき、シート上に画像をプリントするプリントエンジン16とを有している。これら各構成は、データ送受信可能に、バス19等によって互いに接続されている。
【0017】
CPU4は、ブリッジ5経由で第1メモリ6やバス19を介して接続される各デバイスを制御する。JPEG2000符号化処理に際しては、スキャナ11から出力されるラスタデータ(画像データ)がラスタI/F12に入力され、ラスタI/Fは、ダイレクトメモリアクセス(以下、DMAと表記)によって、メモリコントローラ7に接続される第2メモリ8へ画像データを転送する。第2メモリ8に格納された画像データは、DMAによって、JPEG2000ハードウェアコーデック20に転送される。JPEG2000ハードウェアコーデック20では、それ以降の端末機器2側からのファイルの読出し要求に伴い設定される各種の圧縮率や画質レベルに対応するために、高画質を保証するロスレス圧縮又は圧縮率の低いロッシー圧縮が実行される。JPEG2000ハードウェアコーデック20で生成されたJPEG2000ファイルは、DMAによって、メモリコントローラ7に接続されたHDD9に格納される。
なお、JPEG2000復号化処理は、基本的に、前述した符号化処理とは逆の流れで実行される。
【0018】
従来、上記のようにMFP10側で格納されたJPEG2000ファイルを、端末機器2側で読み出す場合には、JPEG2000における符号化及び復号化に際して行われるタイリング処理に起因して、設定された圧縮パラメータによっては、読み出された画像に歪みが生じる傾向があったが、かかる問題に対して、本実施の形態では、端末機器2側からの読出し要求時に設定される圧縮パラメータに基づき、必要であれば、タイルサイズを変更して各処理を行うことにより、画像歪みを抑制する。
【0019】
以下、画像歪みを抑制する方法について、MFP10側に格納されるロスレス圧縮形式のJPEG2000ファイル(以下、ロスレスファイルという)が、端末機器2側からの読出し要求に応じ、ロッシー圧縮形式のJPEG2000ファイル(以下、ロッシーファイルという)へ変換されて読み出される例を取り上げて説明する。
【0020】
この場合、端末機器2側からの読出し要求があると、典型的には、次の動作が実行される。すなわち、まず、HDD9に格納されるロスレスファイルが、DMAにより、メモリコントローラ7を介してJPEG2000ハードウェアコーデック20に転送される。JPEG2000ハードウェアコーデック20は、転送されてきたロスレスファイルを復号化してビットマップ形式の画像データとした後、DMAによって第2メモリ8に転送する。次に、第2メモリ8に格納された画像データは、DMAによりJPEG2000ハードウェアコーデック20に転送され、設定されている圧縮パラメータに従い、所定のタイルサイズで再圧縮される。再圧縮されてなるロッシーファイルは、DMAにより、第1メモリ6に転送され、更に、その後、NIC13に転送され、端末機器2へ出力される。ここで、DMAの起動停止及び監視等の制御は全てCPU4により行なわれる。
【0021】
図3は、ロスレスファイルからロッシーファイルへの変換処理に際して、所定の圧縮パラメータ(圧縮率)に基づきタイルサイズ変更が実行される様子をあらわす説明図である。MFP10側には、タイルサイズが128×128ピクセルであるタイルT0から構成されるロスレスファイルF0が格納されている。端末機器2側からロッシーファイルで読み出す場合、ユーザは、読み出すファイルの圧縮率を端末機器2側で設定することができる。そして、このユーザにより設定された圧縮率に基づき、読み出された画像において歪みが発生するか否かが判断され、必要であれば、タイルサイズの変更が行われた上で、ロッシーファイルへの変換処理が実行される。
【0022】
具体的には、図3から分かるように、高圧縮率が設定された場合には、画像歪みが発生すると予測されるので、タイルサイズが大きくなるように変更される。図3に示すファイルF1は、タイルサイズが256×256ピクセルとされたタイルT1からなるファイルをあらわす。他方、低圧縮率が設定された場合には、画像歪みが発生しないと予測されるので、タイルサイズの変更は行われない。すなわち、タイルサイズ128×128ピクセルはそのままでロッシーファイルへの変換処理が実行される。
【0023】
なお、前述したように、JPEG2000ハードウェアコーデック20及びコーデック専用メモリ15からなるハードウェア構成で処理可能なタイルサイズの上限は、コーデック専用メモリ15のメモリ容量によって決まっており、場合によっては、変更後のタイルサイズが、上記ハードウェア構成で処理不可能なサイズ(例えば512×512ピクセル)となることがある。本実施の形態では、かかる場合に、ハードウェア構成による処理を、専用のソフトウェア17(図2参照)による処理に切り換えることで、いかなるタイルサイズにも対応可能である。このソフトウェア17は、例えば第1メモリ6等の内蔵記録媒体又はCD−ROM(不図示)等の外部記録媒体に格納されるもので、必要に応じて読み出される。
【0024】
図4は、HDD9に格納されたロスレスファイルが読み出され、端末装置2側へ転送されるファイルとして、ロッシーファイルへ変換される処理の詳細な流れを示す説明図である。
端末機器2側からの読出し要求に応じて、JPEG2000ファイル(ロスレスファイル)がJPEG2000ハードウェアコーデック20に入力されると、まず、ビットストリームフォーマットが解除され(ブロック21)、続けて、復号化(ブロック22)が実行される。その後、復号化された符号化パスに対して係数ビットモデリングの解除(ブロック23)が実行され、これにより、コードブロック単位のデータが復元され、更に、タイル単位のウェーブレット変換画像が取得される。続いて、処理対象であるJPEG2000ファイルが符号化処理時に量子化されたものであれば、逆量子化処理(ブロック24)が実行される。
【0025】
次に、逆ウェーブレット変換処理(ブロック25)が実行され、これにより、各タイル毎の各色コンポーネントのデータが復元される。更に、タイリング処理(ブロック26)により各タイルデータが所定位置に配置されることで、RCT(Reversible Color Transform)で変換されたY,Cb,Cr成分からなる1つの画像データが取得される。そして、色空間変換処理(ブロック27)によりY,Cb,Cr色空間がRGB信号に変換され、ビットマップ形式の画像データが得られる。
【0026】
このように取得された画像データに対して、引き続き、ロッシー圧縮が実行され、端末機器2側へ送信されるロッシーファイルが生成される。具体的には、まず、画像データに対して、色空間変換処理(ブロック28)が実行され、RGB信号がY,Cb,Cr色空間へ変換される。
【0027】
続いて、画像データを所定のタイルサイズを備えた複数のタイルに分割するタイリング処理が実行されるが、この実施の形態では、前述したように、端末機器2側からの読出し要求に伴い設定される圧縮パラメータに基づき、必要に応じて、元のロスレスファイルについて設定されていたタイルサイズよりも大きいタイルサイズに変更される。
【0028】
タイルサイズがそのままである場合若しくはハードウェア構成で処理可能なサイズである場合には、図4中の符号r1で示すルートを進み、引き続き、JPEG2000ハードウェアコーデック20及びコーデック専用メモリ15からなるハードウェア構成で、タイリング処理(ブロック29)が実行され、1枚の画像データが、タイルサイズを備えた複数のタイルに分割され、更に、ウェーブレット変換処理(ブロック30,図中では「FDWT」と表記)が実行され、データは、各タイル毎に、サブバンド分解される。
また、一方、タイルサイズがハードウェア構成で処理不可能なサイズである場合には、図4中の符号r2で示すルートを進み、専用のソフトウェア17(図2参照)が読み出されて、CPU4及び外部メモリ(例えば第2メモリ8)を用いたソフトウェア17によるタイリング処理(ブロック31)及びウェーブレット変換処理(ブロック32)が実行される。
【0029】
ハードウェア構成又はソフトウェアによるウェーブレット変換処理(ブロック30,32)の後に続く処理は、全てハードウェア構成で行われる。まず、量子化処理(ブロック33)が実行される。更に、量子化処理後のサブバンドに対しては、コードブロック分割処理(ブロック34)及び係数ビットモデリング処理(ブロック35)が実行される。これらの処理では、量子化されたウェーブレット係数が、後の算術符号化処理のために、コードブロックと呼ばれる単位に分解され、更に、各コードブロックがビットプレーンとして表現される。その後、ビットプレーン化により得られた符号化列に対し、算術符号化処理(ブロック36)が実行される。そして、レイヤ生成処理(ブロック37)及びポスト量子化処理(ブロック38)が実行される。これらの処理では、生成された符号化データが、画質の寄与度に応じて複数のレイヤに分割され、更に、所定の符合量を越えるデータが切り捨てられる。そして、ポスト量化処理後に得られたビット列によりビットストリームが形成される(ブロック39)。以上の処理により、端末機器2側に送信されるロッシーファイルが取得される。
【0030】
図5は、ユーザにより端末機器2側で設定される各種の圧縮パラメータと、各圧縮パラメータに応じてMFP10側で設定されるタイルサイズとの対応関係をあらわすテーブルである。端末機器2側では、ユーザが、MFP10から読み出すJPEG2000ファイルの圧縮条件を設定することができ、この圧縮条件の設定は、ユーザが、提示された複数の条件のうちの少なくとも1つを選択することにより行われる。なお、MFP10側には、ロスレスファイルとして、128×128ピクセルのタイルサイズを備えたJPEG2000ファイルが予め格納されている。
【0031】
まず、図5の(a)には、各種の圧縮率とタイルサイズとの対応関係が示される。圧縮率としては、圧縮率の高い順から、「1/80」,「1/40」,「1/30」,「1/20」,「1/5」が用意されている。ユーザは、MFP10側に格納されたJPEG2000ファイルの読出しを要求する場合に、これら圧縮率のうちの1つを選択する。
【0032】
MFP10側には、図5の(a)に示すテーブルが格納されており、端末機器10側で設定された圧縮率を取得すると、このテーブルを参照して、タイルサイズの変更が必要であるか否かの判断が行われる。例えば、端末機器2側で設定された圧縮率が、比較的低い圧縮率「1/20」又は「1/5」である場合には、ロスレスファイルからロッシーファイルへの変換が、タイルサイズの変更なしに、JPEG2000ハードウェアコーデック20により実行される。
【0033】
また、端末機器2側で設定された圧縮率が「1/30」である場合には、タイリング処理に起因する画像歪みが、特定の画像に現れる可能性があるため、タイルサイズが256×256ピクセルに変更される。このタイルサイズ256×256ピクセルでの処理は、JPEG2000ハードウェアコーデック20及びコーデック専用メモリ15からなるハードウェア構成で実行可能である。
【0034】
更に、端末機器2側で設定された圧縮率が「1/80」又は「1/40」である場合には、タイリング処理に起因する画像歪みが、高い確率で発生することが予測される。このため、圧縮率が「1/80」及び「1/40」である場合、タイルサイズは、それぞれ、1タイル(すなわちファイルの全領域に相当するサイズ)及び512×512ピクセルに変更される。
【0035】
次に、図5の(b)には、各種の画質レベルとタイルサイズとの対応関係が示される。画質レベルとしては、レベル0〜4の5段階が用意されており、ここでは、レベル数が大きいほど、高画質である。比較的高画質が設定された場合には、タイリング処理に起因する画像歪みが抑制する。すなわち、レベル4の設定に対しては、タイルサイズが1タイルに変更され、また、レベル3の設定に対しては、タイルサイズが512×512ピクセルに変更される。更に、標準レベルとしてのレベル2の設定に対しても、画質重視の観点から、タイルサイズが256×256ピクセルに変更される。
これに対して、比較的低画質が設定された場合、すなわち、レベル0及びレベル1が設定された場合には、タイリング処理による画像歪みが多少発生してもファイルサイズやハードウェア処理による速度を優先するという観点から、タイルサイズの変更は行われない。
【0036】
更に、画像の特徴を考慮して、「文字優先モード」及び「写真優先モード」のモード別に、画像歪みの抑制に最適なタイルサイズとする変更を行うことも可能である。
図5の(c)には、「文字優先モード」での画質レベルとタイルサイズとの対応関係が示される。画質レベルとしては、レベル0〜4の5段階が用意されており、ここでは、レベル数が大きいほど、高画質である。例えば、スキャナで主走査及び副走査共に、600dpiで読み取った画像を解像度変換せず、JPEG2000ファイルに変換する場合には、128×128ピクセル,256×256ピクセル及び512×512ピクセルのタイルサイズは、それぞれ、5.4mm×5.4mm,10.8mm×10.8mm、及び、21.6mm×21.6mmとなる。文字原稿では、画像中の文字サイズに対して、タイルサイズが比較的大きい場合、タイリング処理に起因する画像歪みは発生しにくい傾向にある。このため、低画質〜標準画質が設定された場合、すなわち、レベル0〜2が設定された場合には、タイルサイズの変更が行われない。他方、比較的高画質が設定された場合、すなわち、レベル4及びレベル3が設定された場合には、それぞれ、512×512ピクセル及び256×256ピクセルにタイルサイズが変更される。
【0037】
図5の(d)には、「写真優先モード」での画質レベルとタイルサイズとの対応関係が示される。画質レベルとしては、レベル0〜4の5段階が用意されており、ここでは、レベル数が大きいほど、高画質である。例えば、中間調又は低階調でのなだらかな階調の中に高周波成分が含まれるような自然画には、タイリング処理に起因する画像歪みが比較的あらわれやすい。つまり、自然画を扱う場合には、このような画像部分が不規則に多く含まれるので、様々な画像をカバーするために比較的低画質レベルから高画質レベルまでタイルサイズを大きくすることで画像歪みを極力抑制するように設定にしている。具体的には、レベル4及びレベル3で1タイルに、レベル2で512×512ピクセルに、また、レベル1で256×256ピクセルに、タイルサイズが変更される。他方、レベル0では、タイルサイズは変更されない。
【0038】
なお、図5の(a)〜(d)に示す各圧縮パラメータのいずれについても、タイルが1タイル又は512×512ピクセルに変更された場合には、その処理がJPEG2000ハードウェアコーデック20により実行不可能であるため、前述したように、ソフトウェア17を用いて実行されることとなる。
【0039】
図6は、図5の(a)〜(d)と同様に、所定の圧縮パラメータとそれに応じて設定されるタイルサイズとの対応関係を示すテーブルであり、ここでは、端末機器2側で画質及び解像度が設定された場合に、それに応じたタイルサイズがMFP10側で設定される場合を取り上げる。画質(図中の「画質選択モード」)としては、「低画質」,「標準」,「高画質」が用意され、また、解像度としては、小さい順から「200dpi」,「300dpi」,「400dpi」,「600dpi」,「1200dpi」が用意されている。
【0040】
MFP10に格納されるロスレスファイルを元の画像データに復号化した後、更に解像度変換した上で、ロッシーファイルへ変換する場合、例えば文字画像に関しては、解像度を小さくすれば、文字の大きさがタイルサイズに対して小さくなる。このため、タイリング処理に起因する画像歪みによる文字の劣化を、ある程度抑制することができる。他方、解像度を大きくすれば、文字の大きさがタイルサイズに対して大きくなるので、小さなタイルサイズでは文字の劣化が生じ易い。
【0041】
したがって、低解像度では、比較的小さなタイルサイズで、他方、高解像度では、比較的大きなタイルサイズで、ロッシーファイルへの変換処理が行われる。また、低画質では小さなタイルサイズで、高画質になるほどより大きなタイルサイズで、ロッシーファイルへの変換処理が行われる。
【0042】
図7は、MFP10側にて行われる、ロスレスファイルからロッシーファイルへの変換処理についての基本的なフローチャートである。この処理では、端末機器2からロスレスファイルの読出し要求及び圧縮パラメータ等を取得すると(ステップS51)、ロスレスファイルを復号化して、元の画像データへ変換する(ステップS52)。次に、MFP10側に格納された、図5及び6に示すような圧縮パラメータ及びタイルサイズの対応関係をあらわすテーブルを参照し(ステップS53)、ロッシー圧縮時に画像歪みが目立たないようなタイルサイズを決定する(ステップS54)。
【0043】
続いて、ステップS54にて決定したタイルサイズの処理が、JPEG2000ハードウェアコーデック20及びコーデック専用メモリ15からなるハードウェアのみで実行可能であるか否かを判断する(ステップS55)。この結果、上記ハードウェアのみで実行可能であると判断された場合には、ステップS57へ進み、ハードウェアに対して圧縮パラメータを含む制御パラメータを設定した上で、そのハードウェアのみを用い、元の画像データを符号化して、ロッシーファイルを作成する(ステップS58)。以上で、処理を終了する。
【0044】
他方、ステップS55の結果、上記ハードウェアのみで実行不可能であると判断された場合には、タイリング及びウェーブレット変換用ソフトウェア17を起動させる(ステップS56)。その後、ソフトウェア17に対して圧縮パラメータを含む制御パラメータを設定した上で、そのソフトウェア17を用い、元の画像データを符号化して、ロッシーファイルを作成する(ステップS57)。以上で、処理を終了する。
【0045】
以上の説明から明らかなように、本実施の形態によれば、例えばMFP10側に格納された高画質画像ファイルをロッシー圧縮した上で端末機器2へダウンロードして読み出す場合に、必要に応じて、ロッシー圧縮時のタイルサイズを変更することにより、タイリング処理に起因する画像歪みが目立たない画像を取得することが可能である。また、変更後のタイルサイズの処理がハードウェア構成のみで実行できない場合には、ソフトウェア17を用いて処理を実行可能とし、いかなるタイルサイズにも対応可能である。
【0046】
前述した実施の形態では、ロッシー圧縮を行う上で、タイルサイズを変更するか否かを判断するための指標、すなわち、画像歪みの発生を予測するための指標として、圧縮率,画質,解像度等が用いられたが、これに限定されることなく、文書中に使用されている文字のサイズとタイルサイズとの関係又は文書の階調特性を用いてもよい。
【0047】
図8に、文書中に使用される文字のサイズとタイルサイズとの関係に基づき、タイルサイズの変更を行うか否かを判断する例を示す。ここでは、文字のサイズを認識するために、文字認識処理(OCR)や領域判別処理を用いる。文字のサイズが、図8の(a)に示すように、タイルサイズ面積の1/4以下の領域に収まると判断された場合には、タイルサイズの変更はしない。
他方、図8の(b)に示すように、文字のサイズが、タイルサイズ面積の1/4の領域に収まらないと判断された場合には、タイルサイズを例えば128×128ピクセルを256×256ピクセルへ変えるように大きくすることで、文字のサイズをタイルサイズ面積の1/4以下の領域に収める。
【0048】
次に、図9及び図10を参照して、文書の階調特性に基づき、タイルサイズ変更を行うか否かを判断する例について説明する。
まず、図9には、典型的な文字原稿の明度ヒストグラムを示す。この図中の左側にある小さなピークは、原稿中の文字部分に相当し、また、図中の右側にある大きなピークは、原稿中の下地部分に相当する。
【0049】
文字原稿をロスレス圧縮する場合には、明度ヒストグラムをタイル毎に解析し、タイル全体で文字部分の度数が占める割合を算出する。次に、原稿全体で、所定の割合以上を示すタイル数をカウントする。そして、このカウント値が所定値を越える場合には、その原稿が、ロッシーファイルへの変換処理に伴い、タイリング処理に起因する画像歪みが発生し易いと判断する。
【0050】
続いて、図10の(a)及び(b)には、写真等の自然画像の明度ヒストグラムの一例を示す。一般的に、低階調又は中間調でのグラデーションのようななだらかな階調変化が多く存在する原稿、又は、なだらかな階調変化の中に、線画のような高周波成分を含む原稿では、比較的低圧縮率が設定された場合でも、タイリング処理による画像歪みが発生し易いことが知られている。
図10の(a)に、低階調又は中間調でのグラデーションのようななだらかな階調変化が多く存在する画像原稿の明度ヒストグラムを示す。かかる特性を示すタイル数を調べることで、低階調又は中間調でのグラデーションのようななだらかな変化が、原稿全体で占める割合を推定することができる。この割合が所定以上であれば、タイリング処理に起因する画像歪みが発生し易い原稿と判断することができる。
【0051】
他方、図10の(b)には、低階調又は中間調でのグラデーションのようななだらかな階調変化の中に線画のような高周波成分を含む画像原稿のヒストグラムを示す。図中の左側にある小さなピークは、原稿中の高周波成分に相当する。かかる画像原稿でも、比較的低圧縮率の設定下で、タイリング処理に起因する画像歪みが発生し易い。この場合には、高周波特性を示すタイル数を調べることで、画像全体に低階調又は中間調でのグラデーションのようななだらかな階調変化の中に、高周波成分を含む面積がどれくらい存在するかを推定することができる。この割合が所定以上であれば、タイリング処理に起因する画像歪みが発生し易い原稿と判断することができる。
【0052】
上記の説明では、ロスレスファイルからロッシーファイルへの変換処理を取り上げたが、高画質(低圧縮)のロッシーファイルから低画質(高圧縮)のロッシーファイルへ変換する場合にも、基本的に、その処理の流れは同様である。また、タイルサイズを変更するか否かの判断は、ロスレスファイルからロッシーファイルへ変換する場合と同様である。
【0053】
タイルサイズを変更しない場合には、ロスレスファイルからロッシーファイルへの変換処理における場合のように、色空間変換処理やウェーブレット変換処理までさかのぼる必要はない。すなわち、図11に示すように、ビットストリームのフォーマット解除(ブロック21),ポスト量子化(ブロック38),ビットストリームの生成(ブロック39)のみを行えばよい。
【0054】
また、その代わりとして、JPEG2000ファイルが画質によるスケーラビリティをもち、図12に示すようなファイル構造をもつ場合には、ポスト量子化により、下位レイヤ部分に対応する符号データを捨てるのみでよい。
【0055】
他方、タイルサイズを変更する場合には、図13に示すように、まず、ビットストリームフォーマット解除(ブロック21)〜タイリング解除(ブロック40)を行い、MFP10側に格納されていた比較的低圧縮のロッシーファイルを復号化する。続いて、タイリング処理(ブロック29)が実行されるが、この実施の形態では、端末機器2側からの読出し要求に伴い設定される圧縮率等のパラメータに基づき、元のロッシーファイルについて設定されていたタイルサイズよりも大きいタイルサイズに変更される。
【0056】
更に、タイルサイズがハードウェア構成のみで処理可能なサイズであるか否かが判断される。タイルサイズがハードウェア構成で処理可能なサイズである場合には、図13中の符号R1で示すルートを進み、引き続き、JPEG2000ハードウェアコーデック20及びコーデック専用メモリ15からなるハードウェア構成で、タイリング処理(ブロック29)が実行され、1枚の画像データが、タイルサイズを備えた複数のタイルに分割され、更に、ウェーブレット変換処理(ブロック30)が実行される。
【0057】
他方、タイルサイズがハードウェア構成で処理不可能なサイズである場合には、図13中の符号R2で示すルートを進み、専用のソフトウェア17(図2参照)が読み出されて、CPU4及び外部メモリ(例えば第2メモリ8)を用いたソフトウェア17によるタイリング処理(ブロック31)及びウェーブレット変換処理(ブロック32)が実行される。
【0058】
ハードウェア構成又はソフトウェアによるウェーブレット変換処理(ブロック30,32)の後に続く処理は、全てハードウェア構成で行われる。以上の処理により、高画質のロッシーファイルから低画質のロッシーファイルへ変換処理が実行可能である。
【0059】
最後に、ロスレス圧縮とロッシー圧縮との処理系の違いについて説明する。ロスレス圧縮とロッシー圧縮との間で異なる処理系は、色空間変換処理,ウェーブレット変換処理,量子化処理,ポスト量子化処理である。
まず、色空間変換処理については、ロスレス処理時に、それ自体が実行されない、若しくは、RCT(Reversible Color Transform)と呼ばれる変換が実行される。他方、ロッシー処理時には、ICT(Irreversible Color Transform)と呼ばれる処理が実行される。
また、ウェーブレット変換処理については、ロスレス圧縮処理時に、5−3フィルタにより実行され、他方、ロッシー圧縮処理時には、9−7フィルタにより実行される。
更に、量子化処理については、ロスレス圧縮処理時に実行されず、他方、ロッシー圧縮処理時には、必要に応じて実行される。
同様に、ポスト量子化処理については、ロスレス処理時に実行されず、他方、ロッシー圧縮処理時には、必要に応じて実行される。
【0060】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。例えば、前述した実施の形態では、本発明が、単体のMFP10に適用される例を取り上げたが、この例に限定されることなく、本発明は、例えばパソコン本体,ディスプレイ,スキャナ等のそれぞれ独立した別個の機器から構成されるシステムにも適用可能である。
【0061】
【発明の効果】
本願の請求項1に係る発明によれば、例えば所定のサーバ側に格納されたロスレス圧縮ファイルをロッシー圧縮した上で端末へダウンロードして読み出す場合に、ロッシー圧縮時のタイルサイズを、ロスレス圧縮時に設定されたタイルサイズよりも大きくなるように変更することにより、タイリング処理に起因する画像歪みが目立たない画像を取得することが可能である。
【0062】
また、本願の請求項2に係る発明によれば、上記圧縮パラメータ及び処理対象である画像情報の特徴に基づき、ロスレス圧縮時のタイルサイズを変更するか否かを判定するので、必要に応じてタイルサイズの変更を行うことができ、効率的な処理が可能である。
【0063】
更に、本願の請求項3に係る発明によれば、上記ロッシー圧縮時に設定されるタイルサイズが、ハードウェア構成のみにより処理不可能である場合に、上記タイリング処理及びウェーブレット変換処理を所定のソフトウェアを用いて行うので、変更後のいかなるタイルサイズにも対応可能である。
【0064】
また、更に、本願の請求項4に係る発明によれば、例えば所定のサーバ側に格納された高画質ロッシー圧縮ファイルを低画質ロッシー圧縮した上で端末へダウンロードして読み出す場合に、低画質ロッシー圧縮時のタイルサイズを、高画質ロッシー圧縮時に設定されたタイルサイズよりも大きくなるように変更することにより、タイリング処理に起因する画像歪みが目立たない画像を取得することが可能である。
【0065】
また、更に、本願の請求項5に係る発明によれば、更に、上記圧縮パラメータ及び処理対象である画像情報の特徴に基づき、上記高画質ロッシー圧縮時のタイルサイズを変更するか否かを判定するので、必要に応じてタイルサイズの変更を行うことができ、効率的な処理が可能である。
【0066】
また、更に、本願の請求項6に係る発明によれば、上記低画質ロッシー圧縮時に設定されるタイルサイズが、ハードウェア構成のみにより処理不可能である場合に、上記タイリング処理及びウェーブレット変換処理を所定のソフトウェアを用いて行うので、変更後のいかなるタイルサイズにも対応可能である。
【図面の簡単な説明】
【図1】 本発明の実施の形態1に係るMFPを含むネットワークシステムを概略的に示す図である。
【図2】 上記MFPの全体構成を概略的に示すブロック図である。
【図3】 上記MFP側でのロスレスファイルからロッシーファイルへの変換処理に際して、所定の圧縮パラメータ(圧縮率)に基づき行われるタイルサイズ変更を示す説明図である。
【図4】 上記MFP側でのロスレスファイルからロッシーファイルへの変換処理の流れを概略的に示す説明図である。
【図5】 (a)JPEG2000ファイルの読出し要求時にユーザが設定し得る圧縮率、及び、それに対応して設定されるタイルサイズの関係をあらわすテーブルである。
(b)端末機器側からの読出し要求時にユーザが設定し得る画質レベル、及び、各画質レベルに対応して設定されるタイルサイズの関係をあらわすテーブルである。
(c)端末機器側からの読出し要求時にユーザが設定し得る文字優先モードでの画質レベル、及び、各画質レベルに対応して設定されるタイルサイズの関係をあらわすテーブルである。
(d)端末機器側からの読出し要求時にユーザが設定し得る写真優先モードでの画質レベル、及び、各画質レベルに対応して設定されるタイルサイズの関係をあらわすテーブルである。
【図6】 上記MFP側でのロスレスファイルからロッシーファイルへの変換処理についてのフローチャートである。
【図7】 端末機器側からの読出し要求時にユーザが設定し得る解像度及び画質選択モードと、これらのパラメータに対応して設定されるタイルサイズとの関係をあらわす表である。
【図8】 (a)文字サイズが、タイルサイズ面積の1/4以下の領域に収まる例を示す図である。
(b)タイルサイズ面積の1/4を越える文字サイズが、タイルサイズを上げることで、タイルサイズ面積の1/4以下の領域に収まる例を示す図である。
【図9】 典型的な文字原稿の明度ヒストグラムを示す図である。
【図10】 (a)低階調又は中間調でのグラデーションのようななだらかな階調変化が多く存在する画像原稿の明度ヒストグラムを示す。
(b)低階調又は中間調でのグラデーションのようななだらかな階調変化の中に線画のような高周波成分を含む画像原稿のヒストグラムを示す。
【図11】 ロッシーファイルからロッシーファイルへの変換処理の流れを概略的に示す説明図である。
【図12】 画質によるスケーラビリティをもつJPEG2000ファイルのビットストリーム構成の一部を示す図である。
【図13】 タイルサイズ変更が実行される場合における、ロッシーファイルからロッシーファイルの変換処理の流れを示す説明図である。
【符号の説明】
1…ネットワークシステム
2…端末機器
4…CPU
6…第1メモリ
8…第2メモリ
10…多機能複合機(MFP)
11…スキャナ
14…操作部
15…コーデック専用メモリ
17…タイリング及びウェーブレット変換/逆変換用ソフトウェア
20…JPEG2000ハードウェアコーデック
21…ビットストリームフォーマット解除
22…復号化
23…係数ビットモデリング解除
24…逆量子化
25…逆ウェーブレット変換
26,29…タイリング処理
27,28…色空間変換
30…ウェーブレット変換
31…ソフトウェアによるタイリング処理
32…ソフトウェアによるウェーブレット変換
33…量子化
34…コードブロック分割
35…係数ビットモデリング
36…算術符号化
37…レイヤ生成
38…ポスト量子化
39…ビットストリーム生成
40…タイリング解除[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus including a codec for a JPEG2000 file that performs encoding and decoding processing in JPEG2000.
[0002]
[Prior art]
Usually, when a file stored in a predetermined server is downloaded and read out to the terminal side, the data transmission time is shortened and the file is transferred in a compressed state under a predetermined condition. At this time, on the terminal side, it is preferable that the image is read in a state where there is little deterioration in image quality. However, when a file that has been subjected to tiling processing in the JPEG 2000 system is handled as a processing target, It is known that image distortion occurs. The image distortion resulting from the tiling process may be generated even when a relatively low compression rate is set for a specific image.
[0003]
Conventionally, in the JPEG2000 system, in order to achieve both a high compression rate and good image quality, the ratio of the data amount of the portion excluding image data information in the code stream of the compressed data to the compressed data amount is based on the data compression rate. There is known one that changes the size of a block (tile) that is a processing unit of wavelet transform so as to be equal to or less than a predetermined value (for example, Patent Document 1). Note that this Patent Document 1 does not mention image distortion caused by the tiling process.
[0004]
[Patent Document 1]
JP 2000-32458 A
[0005]
[Problems to be solved by the invention]
The present invention has been made in view of the above technical problems. JPEG2000 files are subjected to tiling processing according to various conditions (hereinafter referred to as compression parameters) related to compression such as compression rate and image quality, and image characteristics. It is an object of the present invention to provide an image processing apparatus that can be taken out in a state where image distortion caused by the image distortion is not conspicuous.
[0006]
[Means for Solving the Problems]
The invention according to claim 1 of the present application is an image processing apparatus that performs encoding and decoding processing in JPEG2000, and includes a memory for tiling processing and wavelet transform / inverse transform processing having a predetermined capacity, and using the memory JPEG2000 hardware encoding that performs tiling processing and wavelet transform / inverse transform processing of image information up to a predetermined tile size only by a hardware configuration, and enables lossless compression and lossy compression of the image information And a decoding means, and a compression parameter acquisition means for acquiring a compression parameter related to the lossy compression when generating a lossy compressed file from a lossless compressed file, and the JPEG2000 hardware encoding and decoding means includes: By the compression parameter acquisition means In performing lossy compression based on resulting compressed parameters, is obtained by means executes the tiling process to change to a larger tile size tile size when the lossless compression.
[0007]
The invention according to
[0008]
Furthermore, the invention according to claim 3 of the present application is the invention according to
[0009]
Furthermore, the invention according to
[0010]
Further, the invention according to
[0011]
Furthermore, in the invention according to
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is a diagram schematically showing a network system including a multi-function MFP according to Embodiment 1 of the present invention. The network system 1 includes a multi-function multifunction peripheral (Multiple Function Peripheral: hereinafter abbreviated as MFP) 10 having a plurality of functions such as a printer, a fax, a copy, and a scanner, and a plurality of
[0013]
The network system 1 may be connected to the Internet 50 via the network bus 3. In this case, the
[0014]
FIG. 2 is a block diagram schematically showing the overall configuration of the
[0015]
An external hard disk drive 9 (denoted as “HDD” in the figure) is connected to the
[0016]
In addition, the
[0017]
The
The JPEG2000 decoding process is basically executed in the reverse flow to the above-described encoding process.
[0018]
Conventionally, when a JPEG2000 file stored on the
[0019]
Hereinafter, regarding a method for suppressing image distortion, a lossless compressed JPEG2000 file (hereinafter referred to as a lossless file) stored on the
[0020]
In this case, when there is a read request from the
[0021]
FIG. 3 is an explanatory diagram showing a state in which tile size change is executed based on a predetermined compression parameter (compression ratio) during the conversion process from a lossless file to a lossy file. On the
[0022]
Specifically, as can be seen from FIG. 3, when a high compression ratio is set, it is predicted that image distortion will occur, so the tile size is changed to be larger. File F shown in FIG. 1 Is a tile T with a tile size of 256 × 256 pixels 1 Represents a file consisting of On the other hand, when the low compression rate is set, since it is predicted that no image distortion will occur, the tile size is not changed. That is, the conversion process to the lossy file is executed with the tile size of 128 × 128 pixels as it is.
[0023]
As described above, the upper limit of the tile size that can be processed by the hardware configuration including the JPEG 2000
[0024]
FIG. 4 is an explanatory diagram showing a detailed flow of a process in which a lossless file stored in the HDD 9 is read and converted into a lossy file as a file transferred to the
When a JPEG2000 file (lossless file) is input to the
[0025]
Next, an inverse wavelet transform process (block 25) is executed, whereby the data of each color component for each tile is restored. Further, each tile data is arranged at a predetermined position by the tiling process (block 26), whereby one image data composed of Y, Cb, and Cr components converted by RCT (Reversible Color Transform) is acquired. Then, the color space conversion process (block 27) converts the Y, Cb, and Cr color spaces into RGB signals to obtain bitmap format image data.
[0026]
The lossy compression is subsequently performed on the image data acquired in this way, and a lossy file to be transmitted to the
[0027]
Subsequently, a tiling process is performed to divide the image data into a plurality of tiles having a predetermined tile size. In this embodiment, as described above, setting is performed in accordance with a read request from the
[0028]
If the tile size is as it is or is a size that can be processed by the hardware configuration, the route indicated by reference numeral r1 in FIG. 4 is followed, and the hardware comprising the
On the other hand, if the tile size is a size that cannot be processed by the hardware configuration, the route indicated by reference numeral r2 in FIG. 4 is advanced, and the dedicated software 17 (see FIG. 2) is read out, and the
[0029]
All of the processes following the hardware configuration or software wavelet transform processing (blocks 30 and 32) are performed in the hardware configuration. First, the quantization process (block 33) is executed. Further, code block division processing (block 34) and coefficient bit modeling processing (block 35) are performed on the subbands after the quantization processing. In these processes, the quantized wavelet coefficients are decomposed into units called code blocks for later arithmetic coding processing, and each code block is expressed as a bit plane. Thereafter, arithmetic coding processing (block 36) is performed on the coded sequence obtained by bit plane conversion. Then, a layer generation process (block 37) and a post quantization process (block 38) are executed. In these processes, the generated encoded data is divided into a plurality of layers according to the contribution degree of image quality, and data exceeding a predetermined code amount is discarded. Then, a bit stream is formed by the bit string obtained after the post-quantification process (block 39). Through the above processing, the lossy file transmitted to the
[0030]
FIG. 5 is a table showing the correspondence between various compression parameters set by the user on the
[0031]
First, FIG. 5A shows the correspondence between various compression ratios and tile sizes. As the compression rate, “1/80”, “1/40”, “1/30”, “1/20”, and “1/5” are prepared in descending order of the compression rate. When the user requests reading of the JPEG2000 file stored on the
[0032]
The table shown in FIG. 5A is stored on the
[0033]
In addition, when the compression rate set on the
[0034]
Furthermore, when the compression rate set on the
[0035]
Next, FIG. 5B shows the correspondence between various image quality levels and tile sizes. As image quality levels, five levels of levels 0 to 4 are prepared. Here, the higher the number of levels, the higher the image quality. When a relatively high image quality is set, image distortion due to tiling processing is suppressed. That is, for the
On the other hand, when a relatively low image quality is set, that is, when level 0 and level 1 are set, the file size and the speed due to hardware processing can be achieved even if some image distortion occurs due to tiling processing. The tile size is not changed from the standpoint of prioritizing.
[0036]
Furthermore, considering the characteristics of the image, it is possible to change the tile size to be optimal for suppressing image distortion for each of the “text priority mode” and the “photo priority mode”.
FIG. 5C shows the correspondence between the image quality level and the tile size in the “character priority mode”. As image quality levels, five levels of levels 0 to 4 are prepared. Here, the higher the number of levels, the higher the image quality. For example, when the image scanned at 600 dpi is converted into a JPEG2000 file without converting the resolution for both main scanning and sub-scanning by the scanner, the tile sizes of 128 × 128 pixels, 256 × 256 pixels, and 512 × 512 pixels are These are 5.4 mm × 5.4 mm, 10.8 mm × 10.8 mm, and 21.6 mm × 21.6 mm, respectively. In a text document, when the tile size is relatively large with respect to the text size in the image, image distortion due to tiling processing tends not to occur. For this reason, when the low image quality to the standard image quality are set, that is, when the level 0 to 2 is set, the tile size is not changed. On the other hand, when relatively high image quality is set, that is, when
[0037]
FIG. 5D shows the correspondence between the image quality level and the tile size in the “photo priority mode”. As image quality levels, five levels of levels 0 to 4 are prepared. Here, the higher the number of levels, the higher the image quality. For example, a natural image in which a high-frequency component is included in a gentle gradation at halftone or low gradation is relatively likely to cause image distortion due to tiling processing. In other words, when dealing with natural images, such an image portion is irregularly included in many cases, so that the tile size is increased from a relatively low image quality level to a high image quality level to cover various images. It is set to suppress distortion as much as possible. Specifically, the tile size is changed to 1 tile at
[0038]
For any of the compression parameters shown in FIGS. 5A to 5D, when the tile is changed to one tile or 512 × 512 pixels, the processing is not executed by the
[0039]
FIG. 6 is a table showing a correspondence relationship between predetermined compression parameters and tile sizes set in accordance with the compression parameters, as in FIGS. 5A to 5D. Here, the image quality on the
[0040]
When the lossless file stored in the
[0041]
Therefore, conversion processing to a lossy file is performed with a relatively small tile size at a low resolution, and with a relatively large tile size at a high resolution. Also, conversion processing to a lossy file is performed with a small tile size for low image quality and a larger tile size for higher image quality.
[0042]
FIG. 7 is a basic flowchart of the conversion process from the lossless file to the lossy file performed on the
[0043]
Subsequently, it is determined whether or not the tile size process determined in step S54 can be executed only by hardware including the
[0044]
On the other hand, if it is determined as a result of step S55 that execution is not possible with only the hardware, the tiling and
[0045]
As is clear from the above description, according to the present embodiment, for example, when a high-quality image file stored on the
[0046]
In the embodiment described above, the compression rate, image quality, resolution, etc. are used as an index for determining whether to change the tile size when performing lossy compression, that is, an index for predicting the occurrence of image distortion. However, the present invention is not limited to this, and the relationship between the character size and tile size used in the document or the gradation characteristic of the document may be used.
[0047]
FIG. 8 shows an example of determining whether or not to change the tile size based on the relationship between the character size used in the document and the tile size. Here, character recognition processing (OCR) or region discrimination processing is used to recognize the character size. As shown in FIG. 8A, when it is determined that the character size falls within an area of 1/4 or less of the tile size area, the tile size is not changed.
On the other hand, as shown in FIG. 8B, when it is determined that the character size does not fit in the area of 1/4 of the tile size area, the tile size is set to, for example, 128 × 128 pixels to 256 × 256. By increasing the size so as to change to pixels, the size of the character is accommodated in an area of 1/4 or less of the tile size area.
[0048]
Next, an example of determining whether or not to change the tile size based on the gradation characteristics of the document will be described with reference to FIGS.
First, FIG. 9 shows a lightness histogram of a typical character document. A small peak on the left side in the drawing corresponds to a character portion in the document, and a large peak on the right side in the drawing corresponds to a background portion in the document.
[0049]
In the case of lossless compression of a character document, the brightness histogram is analyzed for each tile, and the ratio of the frequency of the character portion to the entire tile is calculated. Next, the number of tiles indicating a predetermined ratio or more in the entire document is counted. If the count value exceeds a predetermined value, it is determined that the original image is likely to be distorted by the tiling process due to the conversion process to the lossy file.
[0050]
Next, FIGS. 10A and 10B show an example of a brightness histogram of a natural image such as a photograph. In general, compare documents that have many gentle gradation changes such as gradations in low gradation or halftone, or originals that contain high-frequency components such as line drawings in gentle gradation changes. It is known that even when a low compression ratio is set, image distortion is likely to occur due to tiling processing.
FIG. 10A shows a brightness histogram of an image original in which there are many gentle gradation changes such as gradation in low gradation or halftone. By examining the number of tiles exhibiting such characteristics, it is possible to estimate the ratio of the gentle change such as gradation in low gradation or halftone in the entire document. If this ratio is greater than or equal to a predetermined value, it can be determined that the document is prone to image distortion due to tiling processing.
[0051]
On the other hand, FIG. 10B shows a histogram of an image original including a high-frequency component such as a line drawing in a gentle gradation change such as gradation in low gradation or halftone. A small peak on the left side in the figure corresponds to a high frequency component in the document. Even in such an image original, image distortion due to tiling processing is likely to occur under a relatively low compression ratio setting. In this case, by examining the number of tiles that exhibit high-frequency characteristics, how many areas that contain high-frequency components exist in the gentle gradation changes such as low gradation or halftone gradation in the entire image. Can be estimated. If this ratio is greater than or equal to a predetermined value, it can be determined that the document is prone to image distortion due to tiling processing.
[0052]
In the above explanation, the conversion process from lossless file to lossy file was taken up. However, when converting from high quality (low compression) lossy file to low quality (high compression) lossy file, basically, The process flow is the same. Whether to change the tile size is determined in the same manner as when converting from a lossless file to a lossy file.
[0053]
When the tile size is not changed, it is not necessary to go back to the color space conversion process and the wavelet conversion process as in the conversion process from the lossless file to the lossy file. That is, as shown in FIG. 11, it is only necessary to cancel the format of the bit stream (block 21), post-quantization (block 38), and generate the bit stream (block 39).
[0054]
Alternatively, if the JPEG2000 file has scalability by image quality and has a file structure as shown in FIG. 12, it is only necessary to discard the code data corresponding to the lower layer portion by post-quantization.
[0055]
On the other hand, when changing the tile size, as shown in FIG. 13, first, bitstream format cancellation (block 21) to tiling cancellation (block 40) is performed, and the relatively low compression stored on the
[0056]
Further, it is determined whether or not the tile size is a size that can be processed only by the hardware configuration. When the tile size is a size that can be processed by the hardware configuration, the route indicated by the reference symbol R1 in FIG. 13 is followed, and the tiling is subsequently performed with the hardware configuration including the
[0057]
On the other hand, if the tile size is a size that cannot be processed by the hardware configuration, the route indicated by the symbol R2 in FIG. 13 is advanced, and the dedicated software 17 (see FIG. 2) is read out, and the
[0058]
All of the processes following the hardware configuration or software wavelet transform processing (blocks 30 and 32) are performed in the hardware configuration. With the above processing, conversion processing from a high-quality lossy file to a low-quality lossy file can be executed.
[0059]
Finally, the difference in processing system between lossless compression and lossy compression will be described. Different processing systems between the lossless compression and the lossy compression are color space conversion processing, wavelet conversion processing, quantization processing, and post-quantization processing.
First, regarding the color space conversion process, the process itself is not executed during the lossless process, or conversion called RCT (Reversible Color Transform) is executed. On the other hand, during the lossy process, a process called ICT (Irreversible Color Transform) is executed.
The wavelet transform process is executed by the 5-3 filter at the time of the lossless compression process, and is executed by the 9-7 filter at the time of the lossy compression process.
Further, the quantization process is not executed at the time of the lossless compression process, and on the other hand, it is executed as needed at the time of the lossy compression process.
Similarly, the post-quantization process is not executed during the lossless process, and is executed as necessary during the lossy compression process.
[0060]
Note that the present invention is not limited to the illustrated embodiments, and it goes without saying that various improvements and design changes are possible without departing from the scope of the present invention. For example, in the above-described embodiment, the example in which the present invention is applied to the
[0061]
【The invention's effect】
According to the invention according to claim 1 of the present application, for example, when a lossless compressed file stored on a predetermined server side is subjected to lossy compression and then downloaded to a terminal and read, the tile size at the time of lossy compression is determined at the time of lossless compression. By changing the size so as to be larger than the set tile size, it is possible to obtain an image in which image distortion due to tiling processing is not noticeable.
[0062]
Further, according to the invention according to
[0063]
Further, according to the invention of claim 3 of the present application, when the tile size set at the time of lossy compression cannot be processed only by a hardware configuration, the tiling process and the wavelet transform process are performed using predetermined software. Therefore, any tile size after the change can be supported.
[0064]
Furthermore, according to the invention according to
[0065]
Further, according to the invention according to
[0066]
Further, according to the invention of
[Brief description of the drawings]
FIG. 1 is a diagram schematically showing a network system including an MFP according to a first embodiment of the present invention.
FIG. 2 is a block diagram schematically showing an overall configuration of the MFP.
FIG. 3 is an explanatory diagram showing tile size change that is performed based on a predetermined compression parameter (compression ratio) in the conversion process from the lossless file to the lossy file on the MFP side.
FIG. 4 is an explanatory diagram schematically showing a flow of conversion processing from a lossless file to a lossy file on the MFP side.
FIG. 5A is a table showing a relationship between a compression rate that can be set by a user when a JPEG2000 file read request is made and a tile size set corresponding to the compression rate.
(B) A table showing the relationship between the image quality level that can be set by the user at the time of a read request from the terminal device and the tile size set corresponding to each image quality level.
(C) A table showing the relationship between the image quality level in the character priority mode that can be set by the user at the time of a read request from the terminal device side, and the tile size set corresponding to each image quality level.
(D) A table showing the relationship between the image quality level in the photo priority mode that can be set by the user at the time of a read request from the terminal device side, and the tile size set corresponding to each image quality level.
FIG. 6 is a flowchart of a conversion process from a lossless file to a lossy file on the MFP side.
FIG. 7 is a table showing the relationship between resolution and image quality selection modes that can be set by a user when a read request is made from the terminal device side, and tile sizes set in correspondence with these parameters.
FIG. 8A is a diagram illustrating an example in which a character size fits in an area of ¼ or less of a tile size area.
(B) It is a figure which shows the example in which the character size exceeding 1/4 of a tile size area is settled in the area | region of 1/4 or less of a tile size area by raising a tile size.
FIG. 9 is a diagram showing a lightness histogram of a typical character document.
FIG. 10A shows a brightness histogram of an image original in which there are many gentle gradation changes such as low gradation or halftone gradation.
(B) A histogram of an image original including a high-frequency component such as a line drawing in a gentle gradation change such as gradation in low gradation or halftone.
FIG. 11 is an explanatory diagram schematically showing a flow of conversion processing from a lossy file to a lossy file.
FIG. 12 is a diagram illustrating a part of a bitstream configuration of a JPEG2000 file having scalability depending on image quality.
FIG. 13 is an explanatory diagram showing a flow of conversion processing from a lossy file to a lossy file when tile size change is executed.
[Explanation of symbols]
1 ... Network system
2. Terminal equipment
4 ... CPU
6 ... 1st memory
8 ... Second memory
10 ... Multifunction MFP (MFP)
11 ... Scanner
14 ... operation part
15 ... Codec dedicated memory
17 ... Tiling and wavelet transform / inverse transform software
20 ... JPEG2000 hardware codec
21 ... Cancel bitstream format
22: Decryption
23 ... coefficient bit modeling cancellation
24 ... Inverse quantization
25 ... Inverse wavelet transform
26, 29 ... Tiling processing
27, 28 ... Color space conversion
30 ... Wavelet transform
31 ... Tiling processing by software
32 ... Wavelet transform by software
33 ... Quantization
34 ... code block division
35 ... Coefficient bit modeling
36 ... arithmetic coding
37 ... Layer generation
38 ... Post-quantization
39 ... Bitstream generation
40 ... Tiling cancellation
Claims (6)
所定容量を備えたタイリング処理及びウェーブレット変換/逆変換処理用のメモリを備え、該メモリを用いて、ハードウェア構成のみによる所定のタイルサイズまでの画像情報のタイリング処理及びウェーブレット変換/逆変換処理を実行し、また、該画像情報のロスレス圧縮及びロッシー圧縮を可能とするJPEG2000ハードウェア符号化及び復号化手段と、
ロスレス圧縮ファイルからロッシー圧縮ファイルを生成するに際して、上記ロッシー圧縮に関した圧縮パラメータを取得する圧縮パラメータ取得手段とを有しており、
上記JPEG2000ハードウェア符号化及び復号化手段は、上記圧縮パラメータ取得手段により取得された圧縮パラメータに基づきロッシー圧縮を行うに際して、上記ロスレス圧縮時のタイルサイズをより大きいタイルサイズに変更するように上記タイリング処理を実行することを特徴とする画像処理装置。In an image processing apparatus that performs encoding and decoding processing in JPEG2000,
A memory for tiling processing and wavelet transform / inverse transform processing having a predetermined capacity is provided, and using this memory, tiling processing and wavelet transform / inverse transform of image information up to a predetermined tile size only by a hardware configuration. JPEG2000 hardware encoding and decoding means for performing processing and enabling lossless compression and lossy compression of the image information;
Compression parameter acquisition means for acquiring a compression parameter related to the lossy compression when generating a lossy compressed file from a lossless compressed file;
The JPEG2000 hardware encoding / decoding means, when performing lossy compression based on the compression parameter acquired by the compression parameter acquisition means, changes the tile size at the time of the lossless compression to a larger tile size. An image processing apparatus that performs ring processing.
所定容量を備えたタイリング処理及びウェーブレット変換/逆変換処理用のメモリを備え、該メモリを用いて、ハードウェア構成のみによる所定のタイルサイズまでの画像情報のタイリング処理及びウェーブレット変換/逆変換処理を実行し、また、高画質圧縮から低画質圧縮までの画像情報のロッシー圧縮を可能とするJPEG2000ハードウェア符号化及び復号化手段と、
高画質ロッシー圧縮ファイルから低画質ロッシー圧縮ファイルを生成するに際して、低画質ロッシー圧縮に関した圧縮パラメータを取得する圧縮パラメータ取得手段とを有しており、
上記JPEG2000ハードウェア符号化及び復号化手段は、上記圧縮パラメータ取得手段により取得された圧縮パラメータに基づき低画質ロッシー圧縮を行うに際して、上記高画質ロッシー圧縮時のタイルサイズをより大きいタイルサイズに変更するように上記タイリング処理を実行することを特徴とする画像処理装置。In an image processing apparatus that performs encoding and decoding processing in JPEG2000,
A memory for tiling processing and wavelet transform / inverse transform processing having a predetermined capacity is provided, and using this memory, tiling processing and wavelet transform / inverse transform of image information up to a predetermined tile size only by a hardware configuration. JPEG2000 hardware encoding and decoding means for performing processing and enabling lossy compression of image information from high image quality compression to low image quality compression;
Compression parameter acquisition means for acquiring compression parameters related to low image quality lossy compression when generating a low image quality lossy compression file from a high image quality lossy compression file;
The JPEG2000 hardware encoding / decoding unit changes the tile size at the time of the high-quality lossy compression to a larger tile size when performing the low-quality lossy compression based on the compression parameter acquired by the compression parameter acquisition unit. An image processing apparatus that executes the tiling process as described above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003085236A JP3952981B2 (en) | 2003-03-26 | 2003-03-26 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003085236A JP3952981B2 (en) | 2003-03-26 | 2003-03-26 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004297323A JP2004297323A (en) | 2004-10-21 |
JP3952981B2 true JP3952981B2 (en) | 2007-08-01 |
Family
ID=33400203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003085236A Expired - Fee Related JP3952981B2 (en) | 2003-03-26 | 2003-03-26 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3952981B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142640A (en) * | 2005-11-16 | 2007-06-07 | Mitsubishi Electric Corp | Wireless information transmission system |
JP2010263653A (en) * | 2010-07-22 | 2010-11-18 | Mitsubishi Electric Corp | Wireless information transmission system |
CN111080728A (en) * | 2019-12-19 | 2020-04-28 | 上海米哈游天命科技有限公司 | Map processing method, device, equipment and storage medium |
-
2003
- 2003-03-26 JP JP2003085236A patent/JP3952981B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004297323A (en) | 2004-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8265401B2 (en) | Image compressing apparatus, image compressing method, image decompressing apparatus, image decompressing method, image forming apparatus and recording medium | |
CN101094305B (en) | Image compressing apparatus and method, image recording, processing and image forming apparatus | |
JP2007060619A (en) | Image processing unit, method and program for compressing image, and recording medium | |
US7630574B2 (en) | Image encoding method and image apparatus | |
CN1756296B (en) | Image processing apparatus and image processing method | |
JP4115460B2 (en) | Image processing apparatus and method, and computer program and recording medium | |
JP5106318B2 (en) | Image processing apparatus, image forming apparatus, image storage method, and computer program | |
JP5225201B2 (en) | Image processing device | |
US7373000B2 (en) | Image processing apparatus | |
JP3952981B2 (en) | Image processing device | |
JP2004112695A (en) | Image processing apparatus and processing method thereof | |
JP3984817B2 (en) | Image processing apparatus and method, medium, and program | |
JP2003046789A (en) | Image coding apparatus and image decoding apparatus | |
JP4486847B2 (en) | Method and apparatus for creating halftone images from compressed images | |
JP3227181B2 (en) | Image processing device | |
JP4097146B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
JP2004193968A (en) | Color image communication equipment | |
JP4766586B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
JP4013721B2 (en) | Image processing device | |
JP2004128664A (en) | Image processor and processing method | |
JP4926128B2 (en) | Image processing apparatus, image reading apparatus, image forming apparatus, computer program, recording medium, and image processing method | |
JP2002158879A (en) | Method for compressing/uncompressing image with gradation and compressing/uncompressing device | |
JP2003023545A (en) | Image output device and control method therefor | |
JP5267140B2 (en) | Image compression apparatus and image compression method | |
JP4281242B2 (en) | Image processing apparatus and method, printer apparatus having the image processing apparatus, and storage medium storing computer-readable program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051207 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070423 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |