JP4046223B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4046223B2 JP4046223B2 JP2003005508A JP2003005508A JP4046223B2 JP 4046223 B2 JP4046223 B2 JP 4046223B2 JP 2003005508 A JP2003005508 A JP 2003005508A JP 2003005508 A JP2003005508 A JP 2003005508A JP 4046223 B2 JP4046223 B2 JP 4046223B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- decoding
- code string
- code
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
特許文献１には、動画像データを圧縮符号化した符号列について、フレーム符号化データを復号する際に要する時間を計測して、その時間データから次の復号対象のフレーム符号化データの復号時間を予測し、所定時間内に復号できないと予測されたフレームについては量子化を実行する技術について開示されている。
【０００３】
【特許文献１】
特開２００２−５１３３９公報
【０００４】
【発明が解決しようとする課題】
近年、画像圧縮方式の国際標準であるＪＰＥＧ２０００の規格がまとまり、静止画の新たな標準圧縮符号がネットワーク上を飛び交い始めている。これに伴い、電子写真方式の画像形成装置などが内蔵する画像処理装置でも、ネットワークやデジタルカメラ等の撮影機器から圧縮符号をダイレクトに取得して処理を行うことが求められると予想される。
【０００５】
ところで、ＪＰＥＧ２０００符号列をネットワークや撮影機器などから画像形成装置が直接受け取って画像形成を行なう場合、受け取った符号列を復号化するために要する時間が事前にわからないという不具合がある。すなわち、画像データを画像形成装置内で符号化し、これを画像形成装置内で復号する場合には、符号化の際に大体の復号時間が見積もれるし、また、タイル分割単位やウェーブレット変換の階層なども機器に適した方式となっているので、復号処理が遅れる心配は比較的少ないが、ネットワークや撮影機器などからダイレクトに取得した圧縮符号列に関しては、符号化の際の情報が存在しないため、また、必ずしも機器に適した符号となっていない可能性があるため、復号処理が遅れる可能性がある。特に、ＪＰＥＧ２０００では、タイルの分割やウェーブレット変換の階層などが比較的自由に設定されるために、多様な形式の圧縮符号が存在するというＪＰＥＧにはない困難が存在する。
【０００６】
そして、電子写真方式のように単位時間あたりに一定数の画素を処理する必要がある画像形成装置においては、所定時間内に所定数の画素が復号化されないと画像形成が途中で止まってしまい、トナーの浪費などにつながるので、復号時間の把握は非常に重要である。
【０００７】
また、特に、バンド単位で画像データを復号化して画像形成を行なう場合には、受け取ったＪＰＥＧ２０００の符号列のコードブロックサイズやタイルサイズが１バンドに含まれるライン数を越えている可能性がある。一般にラインバッファに格納可能なライン数は制限があり、格納可能なライン数を越えて画像データを復号してもラインバッファに入りきらない分は破棄しなければならない。
【０００８】
例えば、６４ライン分のラインバッファしかない場合に、▲１▼１２８×１２８画素単位でタイル分割されたＪＰＥＧ２０００符号や、▲２▼７階層のウェーブレット変換（１２８×１２８個の係数に対応）を施されたＪＰＥＧ２０００符号を復号化して１２８ライン分の画像データを得ても、一度にラインバッファに格納できるライン数が６４ラインであるため残りの６４ラインは廃棄しなくてはならない。従って１２８ライン分の画像形成を行なうためには同じ１２８ラインを２回復号化し、１回目には前半の６４ラインをラインバッファに格納し、２回目には後半の６４ラインをラインバッファに格納するという処理を行なわなければならない。このような場合には処理時間が２倍かかることになり、復号化する速度が処理速度を越える可能性が大きい。
【０００９】
一方、取得したＪＰＥＧ２０００符号について一律に復号して再符号化すれば上述の困難はなくなるが、復号＋再符号化処理は、一般に時間がかかるために高速な復号が妨げられることがあり、ダイレクトにＪＰＥＧ２０００符号を取得したにも関わらず高速な処理ができないという不具合を生じる。
【００１０】
これに対し、特許文献１に開示の技術では、動画像を構成する各フレームの復号時間を所定時間に収めるべく、所定時間内に復号できないと予測されたフレームについては量子化を実行する。しかし、動画像では連続するフレーム中に１フレームだけ強く量子化されたフレームが存在しても視覚上あまり問題とならないのに対して、静止画像では画像の劣化が目に付きやすい。また、機器が想定していない階層やタイルサイズに対する処理には触れられていないという不具合がある。このように、画質上の劣化が目に付きやすい静止画像に関しては、量子化するのではなく、復号時間が短い圧縮符号列へ変換することが望ましい。
【００１１】
また、この場合に、かかる変換処理は処理時間を要するという不具合もある。
【００１２】
本発明の目的は、静止画像等の符号列について、画質を劣化させることなく短時間で復号することができるようにすることである。
【００１３】
本発明の別の目的は、符号列の変換処理により短時間で符号列を復号することができないときは、符号列の変換処理で時間を要することを防止することである。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明の画像処理装置は、画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出手段と、前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定手段と、前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換手段とを備え、符号変換手段は、前記符号列を構成する前記矩形領域の一部または全部のサイズを変更することによって前記符号列の復号時間を短縮することを特徴とする。
【００１５】
したがって、静止画像等の符号列について、画質を劣化させることなく短時間で復号することができる。
【００１６】
請求項２に記載の発明の画像処理装置は、画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出手段と、前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定手段と、前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換手段とを備え、符号変換手段は、前記符号列を構成するウェーブレット変換係数の一部を復号することによって前記符号列の復号時間を短縮することを特徴とする。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、前記算出時間が前記所定時間を超過すると判断したときは、前記符号変換手段による前記符号列の変換に先立って当該変換を行なうことにより前記算出時間が前記所定時間を超過しないようにできるか否かを判定する第２の判定手段を更に備え、前記符号変換手段は、前記判定により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできると判断したことを条件に、前記変換を行なうことを特徴とする。
【００１８】
したがって、符号列の変換処理により短時間で符号列を復号することができないときは、符号列の変換処理で時間を要することを防止することができる。
【００１９】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記第２の判定手段により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできないと判断したときは、前記符号列を構成するビットプレーンの一部を削除する処理、又は、前記符号列を一度復号して所定の階調処理を施す処理を実行する画像処理手段を更に備えていることを特徴とする。
【００２０】
したがって、符号列の変換処理により短時間で符号列を復号することができないときは、符号列を構成するビットプレーンの一部を削除する処理、又は、符号列を一度復号して所定の階調処理を施す処理を行なって、符号列の変換処理で時間を要することを防止することができる。
【００２１】
請求項５に記載の発明は、画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出ステップと、前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定ステップと、前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換ステップとを有し、符号変換ステップは、前記符号列を構成する前記矩形領域の一部または全部のサイズを変更することによって前記符号列の復号時間を短縮することを特徴とする。
【００２２】
請求項６に記載の発明は、画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出ステップと、前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定ステップと、前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換ステップとを有し、符号変換ステップは、前記符号列を構成するウェーブレット変換係数の一部を復号することによって前記符 号列の復号時間を短縮することを特徴とする。
【００２３】
請求項７に記載の発明は、請求項５又は６に記載の画像処理方法において、前記算出時間が前記所定時間を超過すると判断したときは、前記符号変換ステップによる前記符号列の変換に先立って当該変換を行なうことにより前記算出時間が前記所定時間を超過しないようにできるか否かを判定する第２の判定ステップを更に有し、前記符号変換ステップは、前記判定により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできると判断したことを条件に前記変換を行なうことを特徴とする。
【００２４】
請求項８に記載の発明は、請求項７に記載の画像処理方法において、前記第２の判定ステップにより前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできないと判断したときは、前記符号列を構成するビットプレーンの一部を削除する処理、又は、前記符号列を一度復号して所定の階調処理を施す処理を実行する画像処理ステップを更に有することを特徴とする。
【００２５】
したがって、請求項１〜４のいずれかの一に記載の発明と同様の作用、効果を奏することができる。
【００２６】
【発明の実施の形態】
本発明の一実施の形態について説明する。
【００２７】
図１は、本実施の形態であるデジタル複写機１の概略構成を示すブロック図である。このデジタル複写機１は、本発明の画像形成装置を実施するもので、周知の電子写真プロセスにより用紙上などに画像形成を行なうプリンタエンジン２と、原稿の画像を読み取るスキャナ３とを備えている。このデジタル複写機１は、マイクロコンピュータを備えたコントローラ、具体的には、デジタル複写機１の全体を制御する図示しないメインコントローラと、メインコントローラ各部をそれぞれ制御する複数のサブコントローラとにより制御されて動作する。
【００２８】
プリンタエンジン２は、それぞれ感光体、現像装置、クリーニング装置、帯電装置を有していて、Ｋ，Ｍ，Ｃ，Ｙ（ブラック、マゼンタ、シアン、イエロー）各色の乾式トナー像を形成するためのプロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙと、転写ベルト１２と、定着装置１３と、プロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙの各感光体にＫ，Ｍ，Ｃ，Ｙ各色の画像の静電潜像を光書込みする光書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙとを備えている。また、デジタル複写機１は、カラー画像を記録されるための転写材（記録用紙やＯＨＰなど）を収納する給紙トレイ１５ａ〜１５ｃを備えている。各プロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙは、Ｋ，Ｍ，Ｃ，Ｙ各色のトナー像を転写ベルト１２に重ね合わせて形成し、この重ね合わされたトナー像は、給紙トレイ１５ａ〜１５ｃから供給される転写材に転写されて、定着装置１３により定着される。
【００２９】
また、デジタル複写機１は、図示せぬコントローラ、バンドバッファ２２、符号化部２３、復号部２４、ページメモリ２５からなる、画像処理装置２６を備えている。
【００３０】
図１において、バンドバッファ２２は、１ページ分の画像データを構成する複数のバンドのうち、一つのバンドに含まれる画素のデータを格納するためのバッファである。ここでバンドとは、所定数の画素ラインから構成される画像データの一領域である。
【００３１】
デジタル複写機１は、ＬＡＮなどの所定のネットワーク４から図示しない通信インターフェイスを介して画像データを受け取ることができる。ＲＩＰ部２１は、ネットワーク４を介して入力された画像データがＰＤＬ（ページ記述言語）形式のデータであるとき、これをバンド単位に描画処理してビットマップ形式に変換して、画像処理装置２６に出力する。
【００３２】
符号化部２３はバンドバッファ２２に格納された画像データを符号化するための符号化装置である。復号手段となる復号化部２４は、圧縮符号を復号するための復号化装置である。本例では、符号化部２３で使用する符号化として静止画圧縮の国際標準であるＪＰＥＧ２０００を使用している。したがって、その符号化後の符号列は、静止画像を１又は複数の矩形領域（タイル）に分割し、この各矩形領域を独立して階層的に圧縮符号化するものである。
【００３３】
ページメモリ２５は所定ページ分の画像データを圧縮符号として格納（記憶）するためのメモリである。本例のページメモリ２５は、Ａ４サイズの画像データ１ページ分の圧縮符号列を格納可能とする。ハードディスク２７はページメモリ２５に格納された圧縮符号列を取得して格納し、必要に応じてその圧縮符号列をページメモリ２５に再格納するために設けられたメモリである。
【００３４】
ＲＧＢ→ＣＭＹＫ変換部２８は、バンドバッファ２２からバンド単位でＲＧＢ（レッド、グリーン、ブルー）色の信号で表現された画像データを受け取り、これをＣＭＹＫ信号に変換する。Ｋ、Ｍ、Ｃ，Ｙ色階調処理部２９Ｋ、２９Ｍ，２９Ｃ，２９Ｙは、それぞれＫ、Ｍ、Ｃ，Ｙ色の多値データを少値化して書込データに変換する機能を果たす。本例では、バンドバッファ２２では１画素８ビットの６００ｄｐｉ画像データを格納し、これをＫ、Ｍ、Ｃ，Ｙ色階調処理部２９Ｋ、２９Ｍ，２９Ｃ，２９Ｙで１画素１ビットの１２００ｄｐｉ画像データへと変換する。
【００３５】
Ｋ，Ｍ，Ｃ色の書込みデータは、画像形成開始タイミングを調節するためにラインメモリ１６Ｋ，１６Ｍ，１６Ｃに格納され、各色の画像が転写材上で重なり合うようにタイミングを合わせてＫ、Ｍ、Ｃ，Ｙ，の色書込装置１４Ｋ、１４Ｍ，１４Ｃ，１４Ｙに送られる。
【００３６】
次に、本例における符号化部２３が実施する符号化方式を図２（ａ）の機能ブロック図を参照して説明する。すなわち、ＲＧＢ信号からなる画像データは必要に応じてタイル分割部３１でタイル分割され、タイルごとに独立（ここで、「独立」とは、符号化時に他のタイル内の画素情報を利用することなく符号化を実施すると言う意味である）にＤＣレベルシフト部３２でレベルシフトされ、色変換部３３で色変換され、各色変換係数がウェーブレット変換部３４でウェーブレット変換され、エントロピー符号化部３５でウェーブレット係数がエントロピー符号化される。エントロピー符号化された符号は符号フォーマットに従い、最終的に必要とされる符号順序に並べ替えて出力される。
【００３７】
ＪＰＥＧ２０００の符号フォーマットの概略構成を図３に示す。符号フォーマットは符号データの始まりを示すＳＯＣ（Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカで始まる。ＳＯＣマーカの後には、符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に実際の符号データが続く。
【００３８】
メインヘッダの構成を図４に示す。メインヘッダはＣＯＤ，ＱＣＤの必須マーカセグメントとＣＯＣ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＭ，ＴＬＭ，ＰＬＭ，ＣＲＧ，ＣＯＭのオプションマーカセグメントで構成される。ここでＳＩＺマーカには、タイルサイズの情報が記述されている。またＣＯＭマーカはコメント等の情報を付加したいときに利用するマーカで、メインヘッダ、タイルヘッダの双方で使用することが可能である。
【００３９】
実際の符号データは、ＳＯＴ（Ｓｔａｒｔ ｏｆ Ｔｉｌｅ−ｐａｒｔ）マーカで始まり、タイルヘッダ、ＳＯＤ（Ｓｔａｒｔ ｏｆ ｄａｔａ）マーカ、タイルデータ（符号）で構成される。これら画像全体に相当する符号データの後に、符号の終了を示すＥＯＣ（Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカが付加される。メインヘッダはＣＯＤ，ＱＣＤの必須マーカセグメントとＣＯＣ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＭ，ＴＬＭ，ＰＬＭ，ＣＲＧ，ＣＯＭのオプションマーカセグメントで構成される。
【００４０】
タイルヘッダ構成を図５、図６に示す。図５は、タイルデータの先頭に付加されるマーカセグメント列で、ＣＯＤ，ＣＯＣ，ＱＣＤ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＴ，ＰＬＴ，ＣＯＭのマーカセグメントが使用可能である。一方、図６は、タイル内が複数に分割されている場合における分割されたタイル部分列の先頭に付加されるマーカセグメント列であり、ＰＯＣ，ＰＰＴ，ＰＬＴ，ＣＯＭのマーカセグメントが使用可能である。タイルヘッダでは必須マーカセグメントはなく、すべてオプションである。
【００４１】
ＤＣレベルシフト部３２は、画像信号がＲＧＢ信号値のような正の数（符号なし整数）である場合には、各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行う。なお、レベルシフトは画像信号がＹＣｂＣｒ信号におけるＣｂ及びＣｒのような符号付き整数の場合には適用しない。
【００４２】
ＪＰＥＧ２０００で使用される色変換の方式はＹＣｒＣｂ等公知の技術なので説明は省略する。ウェーブレット変換としては９×７フィルタ、５×３フィルタのいずれを使用してもよい。いずれのフィルタも隣接画素とオーバーラップするフィルタである。隣接画素とオーバーラップするフィルタを使用する場合、量子化時にブロック歪が発生することがないという利点がある。なお、本例ではバンド境界においても隣接画素とのオーバーラップを行わせるために、バンドを構成する画素と併せて隣接する画素も必要な分だけバンドバッファ２２に格納しておく。また、本例での量子化は後述するようにビットプレーン単位でポスト量子化を行うので、ここでは実施しない。
【００４３】
ＪＰＥＧ２０００のエントロピー符号化は、係数モデリング処理と算術符号化処理とで実行される。この方式は国際標準として周知であるため、詳しい説明は省略するが、以下の説明に必要な範囲で概要を示す。
【００４４】
符号化方式は、ＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈＯｐｔｉｍｉｚｅｄ ｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化である。ＥＢＣＯＴの特徴としては、各サブバンドを同一サイズにブロック分割して符号化する点と、ポスト処理による符号量制御が可能な点が挙げられる。ＥＢＣＯＴは、ブロック分割、係数モデリング、算術符号化という順で符号化が実行される。すなわち符号化は、Ｃｏｄｅ ｂｌｏｃｋと称するブロック単位で行われるのでまずウェーブレット係数はブロックに分割され係数モデリングされる。
【００４５】
係数モデリングは、符号化対象となる多値Ｗａｖｅｌｅｔ係数から、後段の２値算術符号化用のビットモデルを作成することが目的である。言い換えれば、符号化方法を決定する部分である。符号化対象となるＷａｖｅｌｅｔ 係数は正負の符号を持った整数（あるいは実数表現された整数）であり、それらを決められた順序で走査しながら、係数を絶対値表現したものに対して、上位ビットから下位ビットへと、ビットプレーン単位で処理を行う。ビットプレーン内の各ビットは３つの処理パスによって４つの符号化を行う。
【００４６】
すなわち、まず、各Ｃｏｄｅ ｂｌｏｃｋにおけるビットプレーン上のビット走査順序は、垂直方向に４ビットまとめた単位でのラスター走査で行われる。符号化は、ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓ（有意な係数が周囲にある有意でない係数の符号化）、ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ（有意な係数の符号化）、ｃｌｅａｎｕｐ ｐａｓｓ （残りの係数情報の符号化）の３つの処理パスで実行される。各処理パスで実行される符号化方法は、ｓｉｇｎｉｆｉｃａｎｃｅ ｃｏｄｉｎｇ、ｓｉｇｎ ｃｏｄｉｎｇ、ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｃｏｄｉｎｇ、ｃｌｅａｎｕｐｃｏｄｉｎｇの４種類がある。なお、ここで、“ｓｉｇｎｉｆｉｃａｎｃｅ”とは、該当ビット（係数）が“有意である／ない”ことを示しており、以下のような解釈によって行われる。
【００４７】
・有意である
これまでの符号化処理において注目係数が０でないとわかっている状態のこと。言い換えれば、すでに１であるビットを符号化済みであること。
【００４８】
・有意でない
係数値が０であるか、０の可能性がある状態のこと。言い換えれば、未だ１であるビットを符号化していない状態のこと。
【００４９】
符号化は、まず、ビットプレーンのＭＳＢより走査を行い、ビットプレーン中に有意でない係数（０でないビット）が存在するかを判定する。有意である係数が登場するまでは３つの符号化処理パスは実行されない。有意でない係数のみで構成されるビットプレーンは、そのビットプレーン数をパケットヘッダに記述する。この値は復号時に利用され、有意でないビットプレーンを形成するために使われるとともに、係数のダイナミックレンジを復元するためにも必要である。有意であるビットが最初に登場したビットプレーンから実際の符号化は開始され、該ビットプレーンは、まずｃｌｅａｎｕｐ ｐａｓｓで処理される。その後、下位のビットプレーンに対して順次、３つのパスを用いて処理が進められる。
【００５０】
ａ）Ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓ（有意な係数が周囲にある有意でない係数の符号化）
周囲の所定の８近傍の係数値に少なくとも１つの有意な係数があり、かつ注目する係数（Ｘ位置の係数値）がまだ有意でない場合にのみ、本パスにて処理される。それ以外の場合には本パスでは処理されない。
【００５１】
ｂ）Ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ（有意な係数の符号化）
注目する係数値（Ｘ）がすでに有意である状態の場合には、Ｍａｇｎｉｔｕｄｅｒｅｆｉｎｅｍｅｎｔ ｐａｓｓによって処理される。本パスでは状態変化後（有意でない→有意である）に行う最初のパスであるかどうか、周囲の８近傍に有意な係数値が存在するかどうかによって、３つのコンテクストモデルを算出する。
【００５２】
ｃ）Ｃｌｅａｎｕｐ ｐａｓｓ（残りの係数情報の符号化）
上記２つのパス（Ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓとＭａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ）に該当しない残りのビットは、Ｃｌｅａｎｕｐ ｐａｓｓにて処理される。
【００５３】
本パスで作成するコンテクストは、上記２つのパスのように８近傍の係数値を参照するコンテクストに加えて、ランレングス符号化用のコンテクストを作成する。符号化はランレングス符号化を行うかどうかを判断しながら符号化処理を行う。まず、垂直方向に連続する４つの係数値がすべて本パスに属しており、かつ４つすべての係数値における周囲の８近傍に有意な係数値が存在しないか否かを判断する。もし、本条件に該当する場合には、ランレングス符号化を行う。一方、本条件に該当しない場合には、４つの係数値の中に少なくとも１つの有意である係数が存在するので、各係数値をＳｉｇｎｉｆｉｃａｎｃｅｐｒｏｐａｇａｔｉｏｎ ｐａｓｓで符号化する。ランレングス符号化は、４つの注目係数のビットがすべて０であるならば、シンボル０を符号化して終了する。そうでない場合にはシンボル１を符号化する。シンボル１を符号化した場合には、続いて４ビット中の最初の１になっているビット位置を２ビットで符号化し、その直後に正負の符号をＳｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓと同様に符号化をする。ここでビット位置を示す２ビットを符号化する際にはＵＮＩＦＯＲＭコンテクストと称するコンテクストを用いる。これ以降の係数に対しては、Ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓで符号化を行う。以上の処理が完了すると、次の４つの係数処理に入り、順次符号化処理を行う。なお、算術符号化については公知の技術であるので説明を省略する。
【００５４】
次に、復号部２４について説明する。図２（ｂ）は、復号部２４が実施する復号方式の機能ブロック図である。復号部２４が実行するのは符号化部２３の逆変換であり、符号化部２３で使用するＤＣレベルシフト、色変換、ウェーブレット変換、エントロピー符号化の各処理の逆変換をそれぞれ実行する逆ＤＣレベルシフト部３６、逆色変換部３７、ウェーブレット逆変換部３８、エントロピー復号部３９からなる。圧縮符号がタイル分割されている場合には、かかる処理を各タイルについて実行する。
【００５５】
続いて、デジタル複写機１の動作について説明する。
【００５６】
スキャナ３で読み込まれた、又は、ネットワーク４から送られてきた画像データは、バンド単位にバンドバッファ２２に格納される。本例のバンドバッファ２２が格納可能な画像データの容量は、６００ｄｐｉの１画素あたり８ビットのＲ，Ｇ，Ｂの３色からなる画像データをＡ４サイズの４分の１だけ格納できる容量である。
【００５７】
バンドバッファ２２に格納された１バンド分の画像データは、符号化部２３でタイル分割されて符号化される。すなわち符号化部２３は、まず、画像データをタイル分割し、各タイルにおいて、図２（ａ）を参照して前述した処理を実行する。こうして得られた画像データの圧縮符号列はページメモリ２５に格納され、その後、ハードディスク２７に格納される。
【００５８】
画像をプリンタエンジン２で出力する際には、ページメモリ２５、ハードディスク２７に格納されている圧縮符号列を復号部２４で復号し、復号後の画像データはＲＧＢ→ＣＭＹＫ変換部２８でＣＭＹＫ色の画像データに変換し、Ｋ，Ｍ，Ｃ，Ｙ色階調処理部２９Ｋ，２９Ｍ，２９Ｃ，２９ＹにおいてＫ，Ｍ，Ｃ，Ｙ色がそれぞれ階調処理されて１２００ｄｐｉで１画素あたり２値のデータに変換する。Ｋ，Ｍ，Ｃ色の画像データは静電潜像の書込タイミングを調節するためにラインメモリ１６Ｋ，１６Ｍ，１６Ｃに一時格納され、転写材上でカラー画像を形成するタイミングにあわせて書込装置１４Ｋ，１４Ｍ，１４Ｃへと送られる。
【００５９】
本例における画像形成プロセスは周知の電子写真プロセスであるので動作の詳細は省略するが、それぞれＫ，Ｍ，Ｃ，Ｙ色の乾式トナー像を形成するプロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙに対して書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙが画像情報に応じた書込み光を発射すると、プロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙにおいて、帯電装置によって帯電させられた感光体上の被露光部分が除電されて静電潜像が形成される。この静電潜像に対して現像装置が乾式トナー粒子を画像部のみに選択的に付着させて可視像とし、この各色の可視像を転写ベルト１２上に担持されて搬送される転写材（記録用紙やＯＨＰなど）上に順次重ねていくことで得られたカラー画像を定着装置１３で加熱・加圧して転写材上に固定する。
【００６０】
次に、ＪＰＥＧ２０００アルゴリズムで画像を圧縮した符号列をネットワーク４から受信して直接ページメモリに格納する場合の一連の処理について図７のフローチャートを参照して説明する。
【００６１】
図７の処理は、その処理により本発明の画像処理装置を実施するものである。まず、デジタル複写機１の図示しないコントローラは、ネットワーク４からＪＰＥＧ２０００アルゴリズムで画像を圧縮した符号列を取り込む（ステップＳ１）。この際、デジタル複写機１の出力性能を超える高精細な符号列については６００ｄｐｉ出力に充分な階層までのデータのみを取り込み、また、符号列がページメモリに格納しきれない場合には、ポスト量子化を行い、符号量を削減する。
【００６２】
そして、ページメモリ２５に格納された符号列について、コントローラは、その復号に要する時間を算出して、復号時間算出手段を実現する（ステップＳ２）。この算出は、具体的には以下のようにして行う。
【００６３】
▲１▼．メインヘッダあるいはタイルヘッダより、各ウェーブレット変換係数について、有意でないビットプレーンの数ｎを取得する。
【００６４】
▲２▼．ついで各ウェーブレット変換係数について、有意なビットプレーンの数ｍを取得する。
【００６５】
▲３▼．有意なビットプレーンのそれぞれについて、復号化に必要な時間ＢＰｉ を算出する。この「復号化に必要な時間」としては、有意でないビットプレーンについては０秒、有意なビットプレーンについては上述した復号処理の３パスにおいて最も時間がかかるパスが選択された場合の処理時間を用いる。
【００６６】
▲４▼．続いて各ビットプレーンの復号回数を計算する。具体的には、バンド単位の処理において１つのバンド内に存在するライン数をＮＢ、ページメモリに格納された符号列のウェーブレット変換階層数（デコンポジションレベル）をＮＤとした時、
・ＮＢ＞ＮＤの場合にはＮｉ１＝１
・ＮＢ≦ＮＤの場合にはＮｉ１＝［１＋ＳＵ（ＮＤ／ＮＢ）］
（但し、“ＳＵ（ｘ）”は、ｘ以上である最小の自然数）
で求められるＮｉ１ を計算する。同様に、ページメモリに格納された符号列が主走査方向にタイル分割されている場合における１タイルに含まれるライン数をＮＴとしたとき、
・ＮＢ＞ＮＴの場合にはＮｉ２＝［１＋ＳＵ（ＮＢ／ＮＴ）］
・ＮＢ≦ＮＴの場合にはＮｉ２＝［１＋ＳＵ（ＮＴ／ＮＢ）］
（但し、“ＳＵ（ｘ）”は、ｘ以上である最小の自然数）
で求められるＮｉ２を計算する。［２＋ＳＵ（ＮＢ／ＮＴ）］は、高さＮＢのバンドを高さＮＴのタイルで埋め尽くす場合に必要なタイル数である。バンドの第１行とタイルの第１行とが同じ行であれば［１＋ＳＵ（ＮＢ／ＮＴ）］でよいが、この行がずれることを考えて最悪の場合の［２＋ＳＵ（ＮＢ／ＮＴ）］で計算する。Ｎｉ１とＮｉ２のうちで大きな値を持つほうがＮｉ すなわち各ビットプレーンの復号回数である。
【００６７】
コントローラは、こうして得たＮｉ及びＢＰｉから、復号時間ＴとしてΣ（Ｎｉ×ＢＰｉ）を計算する（ステップＳ２）。ここで、Σはインデックスｉについての和である。
【００６８】
ついで、Ｔが所定の時間Ｔｈ１を超えているか否かが判定されて、第１の判定手段を実現する（ステップＳ３）。ここで時間ｔｈ１は復号時間の上限であり、ＴがＴｈ１を超えてしまった場合には、所定時間に所定画素のデータを書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙに送ることができなくなる。
【００６９】
Ｔ≦ｔｈ１の場合には（ステップＳ３のＮ）、一連の処理は終了し、画像の出力が可能となるが、Ｔ＞ｔｈ１の場合には（ステップＳ３のＹ）、そのままでは復号時間がｔｈ１をオーバーする恐れが強いので、ＴがＴｈ１以下となるように圧縮符号の変換による対応可能性を検討する（ステップＳ４）。具体的には、以下の▲１▼や▲２▼の検討を行う。
【００７０】
▲１▼．ウェーブレット変換の階層数が大きすぎるために一つのビットプレーンを複数回復号する必要があり、このため、Ｔ＞ｔｈ１となってしまう場合（例えば１バンドに６４ラインしか画像データを格納できないのに、８階層のウェーブレット変換がされているので１度に２５６ラインずつしか復号できない場合）や、あるいは、ウェーブレット変換の階層数が大きすぎるために復号化するビットプレーンが多くなり、このため、Ｔ＞ｔｈ１となってしまう場合（例えば６階層までならｔｈ１以内に処理できるのに、８階層の符号であるためにｔｈ１内に処理できない場合）には、圧縮符号を復号化部２４で一部復号する。具体的には、ページメモリ２５内の符号列をバンドバッファに順次読み出して、Ｔ＞ｔｈ１となるように途中の階層まで復号し、その後再びページメモリに格納する。この場合、階層変換に関係のない第一階層のウェーブレット係数については読み出す必要はないので、処理は高速に実行できる。
【００７１】
▲２▼．タイルサイズが大きすぎるためにＮＴがＮＢを超え、あるいは、ＮＴ＜ＮＢであるがＮＢがＮＴで割り切れないために画像の位相がずれ、このため、同じビットプレーンを何回も読み出さねばならない場合には、タイルサイズの変換を行う。具体的には、各タイルをバンドバッファ２２に順次読み出して画素値まで復号し、これをバンドバッファ２２の幅に合ったタイルに変換し、あるいは、復号化部２４において複数の復号器で並列処理を行なうことによって復号を行う場合にはタイルを細かく分割して復号処理に適したサイズ／タイル数に変換する。この場合、タイルを個々にバンドバッファ２２に読み出せばよいので、タイルの高さがバンドの高さよりも高くても変換処理は容易に行うことができる。また全てのタイルについて変換を行わなくとも、一部のタイルについて細分割を実行すれば復号処理がｔｈ１以内に行える場合がある。
【００７２】
そして、以上の▲１▼▲２▼の処理によって、Ｔ≦ｔｈ１とすることができるか否かが判定され、第２の判定手段を実現する（ステップＳ５）。そして、Ｔ≦ｔｈ１とできる場合には（ステップＳ５のＹ）、コントローラは圧縮符号を前述の▲１▼▲２▼のように変換し、符号変換手段を実現する（ステップＳ６）。Ｔ≦ｔｈ１とできない場合には（ステップＳ５のＮ）、符号列を量子化又は復号＋階調処理して時間内に復号できる圧縮符号に変換し、画像処理手段を実現する（ステップＳ７）。ステップＳ７において「量子化」とは、ビットプレーンの一部を削除することを、また、「復号＋階調処理」とは、圧縮符号を一度復号して階調処理部２９Ｋ、２９Ｍ、２９Ｃ、２９Ｙにおいてディザ等の階調処理を施し、これをそのまま又は圧縮してページメモリ２５に再格納することを意味する。本例では階調処理時に解像度が上がるために情報量が増えることがあるので、この場合には情報量を低減すべく画像の解像度を落とすこともありえる。階調処理された画像データをページメモリ２５に格納する場合、復号化部２４の処理をスルーできるので、高速に書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙに画像データを送ることができる。なお、ステップＳ４の処理は基本的に画質劣化を伴わない処理であるので、一部のタイルや一部のウェーブレット係数についてのみ処理を実行してもよいが、ステップＳ７の処理のうち画質劣化を伴う処理については、１枚の画像内部での画質バラツキを抑えるために一律に処理を行うことが望ましい。以上で一連の処理が終了し、画像の出力が可能な状態となる。
【００７３】
なお、本例のようにバンド単位に復号処理を実行する場合において、圧縮符号列がタイル分割されていない状態で復号時間を見積もったために、実際の出力処理においてバンドによっては復号時間が間に合わなくなる可能性がある。その場合には、その特定のバンドにおいてのみ復号するビットプレーンを制限して復号する。かかる場合にはバンド単位で若干画質に差が生じることになるが、１ページの出力としては復号時間がｔｈ１内に収まる程度に圧縮符号が調整されているために、その特定バンドにおいて強い量子化を実行する必要性は一般に低い。また、本例では最悪の処理パスで復号時間を見積もっているために、特定バンドにおいて処理時間が超過する可能性は低い。
【００７４】
以上のようにして図７の処理を行なった符号列は、復号化部２４で復号して、復号後の画像データはプリンタエンジン２で画像の形成に供される。
【００７５】
以上説明したとおり、本デジタル複写機１によれば、取得したＪＰＥＧ２０００符号列の復号時間を算出し、この結果、復号処理が間に合わないと判定された場合には（ステップＳ３のＹ）、より短時間で復号できる符号列に変換するので（ステップＳ６）、画質を劣化させることなく短時間で復号することができる。
【００７６】
また、この場合でも、符号列の変換によっても復号処理が間に合わないと判定される場合には、圧縮符号の変換は行わないため（ステップＳ５のＮ）、不必要な処理に時間をかけることがなく高速処理が可能である。
【００７７】
さらに、この場合には（ステップＳ５のＮ）、圧縮符号の変換や量子化などの処理（ステップＳ７）を実行するため、復号処理が時間内に終了し、画像形成時のエラーを防止できる。さらに、最悪の処理パスを通った場合について復号時間を見積もっているので、バンド単位の処理においても一部のバンドの処理が間に合わないという可能性は低い。
【００７８】
なお、本例では静止画像の処理を念頭において説明したが、本発明はこれに限定されるものではなく、様々な形態のデータについて適用することができる。例えば、音声情報については、本例で前述した処理からタイルに関する部分を除いた処理を１次元のウェーブレット変換について実行すれば適用可能である。
【００７９】
【発明の効果】
本発明によれば、静止画像の符号列について、画質を劣化させることなく短時間で復号することができる。さらに、符号列の変換処理により短時間で符号列を復号することができないときは、符号列の変換処理で時間を要することを防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるデジタル複写機の概略構成を示す説明図である。
【図２】デジタル複写機の符号化部（ａ）、復号化部（ｂ）の機能ブロック図である。
【図３】ＪＰＥＧ２０００の符号フォーマットの概略構成を示す説明図である。
【図４】ＪＰＥＧ２０００の符号フォーマットのメインヘッダの構成を示す説明図である。
【図５】ＪＰＥＧ２０００の符号フォーマットのタイルヘッダの構成を示す説明図である。
【図６】ＪＰＥＧ２０００の符号フォーマットのタイルヘッダの構成を示す説明図である。
【図７】デジタル複写機のコントローラが実行する処理のフローチャートである。
【符号の説明】
１ 画像形成装置
２ プリンタエンジン
２４ 復号手段
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
特許文献１には、動画像データを圧縮符号化した符号列について、フレーム符号化データを復号する際に要する時間を計測して、その時間データから次の復号対象のフレーム符号化データの復号時間を予測し、所定時間内に復号できないと予測されたフレームについては量子化を実行する技術について開示されている。
【０００３】
【特許文献１】
特開２００２−５１３３９公報
【０００４】
【発明が解決しようとする課題】
近年、画像圧縮方式の国際標準であるＪＰＥＧ２０００の規格がまとまり、静止画の新たな標準圧縮符号がネットワーク上を飛び交い始めている。これに伴い、電子写真方式の画像形成装置などが内蔵する画像処理装置でも、ネットワークやデジタルカメラ等の撮影機器から圧縮符号をダイレクトに取得して処理を行うことが求められると予想される。
【０００５】
ところで、ＪＰＥＧ２０００符号列をネットワークや撮影機器などから画像形成装置が直接受け取って画像形成を行なう場合、受け取った符号列を復号化するために要する時間が事前にわからないという不具合がある。すなわち、画像データを画像形成装置内で符号化し、これを画像形成装置内で復号する場合には、符号化の際に大体の復号時間が見積もれるし、また、タイル分割単位やウェーブレット変換の階層なども機器に適した方式となっているので、復号処理が遅れる心配は比較的少ないが、ネットワークや撮影機器などからダイレクトに取得した圧縮符号列に関しては、符号化の際の情報が存在しないため、また、必ずしも機器に適した符号となっていない可能性があるため、復号処理が遅れる可能性がある。特に、ＪＰＥＧ２０００では、タイルの分割やウェーブレット変換の階層などが比較的自由に設定されるために、多様な形式の圧縮符号が存在するというＪＰＥＧにはない困難が存在する。
【０００６】
そして、電子写真方式のように単位時間あたりに一定数の画素を処理する必要がある画像形成装置においては、所定時間内に所定数の画素が復号化されないと画像形成が途中で止まってしまい、トナーの浪費などにつながるので、復号時間の把握は非常に重要である。
【０００７】
また、特に、バンド単位で画像データを復号化して画像形成を行なう場合には、受け取ったＪＰＥＧ２０００の符号列のコードブロックサイズやタイルサイズが１バンドに含まれるライン数を越えている可能性がある。一般にラインバッファに格納可能なライン数は制限があり、格納可能なライン数を越えて画像データを復号してもラインバッファに入りきらない分は破棄しなければならない。
【０００８】
例えば、６４ライン分のラインバッファしかない場合に、▲１▼１２８×１２８画素単位でタイル分割されたＪＰＥＧ２０００符号や、▲２▼７階層のウェーブレット変換（１２８×１２８個の係数に対応）を施されたＪＰＥＧ２０００符号を復号化して１２８ライン分の画像データを得ても、一度にラインバッファに格納できるライン数が６４ラインであるため残りの６４ラインは廃棄しなくてはならない。従って１２８ライン分の画像形成を行なうためには同じ１２８ラインを２回復号化し、１回目には前半の６４ラインをラインバッファに格納し、２回目には後半の６４ラインをラインバッファに格納するという処理を行なわなければならない。このような場合には処理時間が２倍かかることになり、復号化する速度が処理速度を越える可能性が大きい。
【０００９】
一方、取得したＪＰＥＧ２０００符号について一律に復号して再符号化すれば上述の困難はなくなるが、復号＋再符号化処理は、一般に時間がかかるために高速な復号が妨げられることがあり、ダイレクトにＪＰＥＧ２０００符号を取得したにも関わらず高速な処理ができないという不具合を生じる。
【００１０】
これに対し、特許文献１に開示の技術では、動画像を構成する各フレームの復号時間を所定時間に収めるべく、所定時間内に復号できないと予測されたフレームについては量子化を実行する。しかし、動画像では連続するフレーム中に１フレームだけ強く量子化されたフレームが存在しても視覚上あまり問題とならないのに対して、静止画像では画像の劣化が目に付きやすい。また、機器が想定していない階層やタイルサイズに対する処理には触れられていないという不具合がある。このように、画質上の劣化が目に付きやすい静止画像に関しては、量子化するのではなく、復号時間が短い圧縮符号列へ変換することが望ましい。
【００１１】
また、この場合に、かかる変換処理は処理時間を要するという不具合もある。
【００１２】
本発明の目的は、静止画像等の符号列について、画質を劣化させることなく短時間で復号することができるようにすることである。
【００１３】
本発明の別の目的は、符号列の変換処理により短時間で符号列を復号することができないときは、符号列の変換処理で時間を要することを防止することである。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明の画像処理装置は、画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出手段と、前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定手段と、前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換手段とを備え、符号変換手段は、前記符号列を構成する前記矩形領域の一部または全部のサイズを変更することによって前記符号列の復号時間を短縮することを特徴とする。
【００１５】
したがって、静止画像等の符号列について、画質を劣化させることなく短時間で復号することができる。
【００１６】
請求項２に記載の発明の画像処理装置は、画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出手段と、前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定手段と、前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換手段とを備え、符号変換手段は、前記符号列を構成するウェーブレット変換係数の一部を復号することによって前記符号列の復号時間を短縮することを特徴とする。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、前記算出時間が前記所定時間を超過すると判断したときは、前記符号変換手段による前記符号列の変換に先立って当該変換を行なうことにより前記算出時間が前記所定時間を超過しないようにできるか否かを判定する第２の判定手段を更に備え、前記符号変換手段は、前記判定により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできると判断したことを条件に、前記変換を行なうことを特徴とする。
【００１８】
したがって、符号列の変換処理により短時間で符号列を復号することができないときは、符号列の変換処理で時間を要することを防止することができる。
【００１９】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記第２の判定手段により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできないと判断したときは、前記符号列を構成するビットプレーンの一部を削除する処理、又は、前記符号列を一度復号して所定の階調処理を施す処理を実行する画像処理手段を更に備えていることを特徴とする。
【００２０】
したがって、符号列の変換処理により短時間で符号列を復号することができないときは、符号列を構成するビットプレーンの一部を削除する処理、又は、符号列を一度復号して所定の階調処理を施す処理を行なって、符号列の変換処理で時間を要することを防止することができる。
【００２１】
請求項５に記載の発明は、画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出ステップと、前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定ステップと、前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換ステップとを有し、符号変換ステップは、前記符号列を構成する前記矩形領域の一部または全部のサイズを変更することによって前記符号列の復号時間を短縮することを特徴とする。
【００２２】
請求項６に記載の発明は、画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出ステップと、前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定ステップと、前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換ステップとを有し、符号変換ステップは、前記符号列を構成するウェーブレット変換係数の一部を復号することによって前記符 号列の復号時間を短縮することを特徴とする。
【００２３】
請求項７に記載の発明は、請求項５又は６に記載の画像処理方法において、前記算出時間が前記所定時間を超過すると判断したときは、前記符号変換ステップによる前記符号列の変換に先立って当該変換を行なうことにより前記算出時間が前記所定時間を超過しないようにできるか否かを判定する第２の判定ステップを更に有し、前記符号変換ステップは、前記判定により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできると判断したことを条件に前記変換を行なうことを特徴とする。
【００２４】
請求項８に記載の発明は、請求項７に記載の画像処理方法において、前記第２の判定ステップにより前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできないと判断したときは、前記符号列を構成するビットプレーンの一部を削除する処理、又は、前記符号列を一度復号して所定の階調処理を施す処理を実行する画像処理ステップを更に有することを特徴とする。
【００２５】
したがって、請求項１〜４のいずれかの一に記載の発明と同様の作用、効果を奏することができる。
【００２６】
【発明の実施の形態】
本発明の一実施の形態について説明する。
【００２７】
図１は、本実施の形態であるデジタル複写機１の概略構成を示すブロック図である。このデジタル複写機１は、本発明の画像形成装置を実施するもので、周知の電子写真プロセスにより用紙上などに画像形成を行なうプリンタエンジン２と、原稿の画像を読み取るスキャナ３とを備えている。このデジタル複写機１は、マイクロコンピュータを備えたコントローラ、具体的には、デジタル複写機１の全体を制御する図示しないメインコントローラと、メインコントローラ各部をそれぞれ制御する複数のサブコントローラとにより制御されて動作する。
【００２８】
プリンタエンジン２は、それぞれ感光体、現像装置、クリーニング装置、帯電装置を有していて、Ｋ，Ｍ，Ｃ，Ｙ（ブラック、マゼンタ、シアン、イエロー）各色の乾式トナー像を形成するためのプロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙと、転写ベルト１２と、定着装置１３と、プロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙの各感光体にＫ，Ｍ，Ｃ，Ｙ各色の画像の静電潜像を光書込みする光書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙとを備えている。また、デジタル複写機１は、カラー画像を記録されるための転写材（記録用紙やＯＨＰなど）を収納する給紙トレイ１５ａ〜１５ｃを備えている。各プロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙは、Ｋ，Ｍ，Ｃ，Ｙ各色のトナー像を転写ベルト１２に重ね合わせて形成し、この重ね合わされたトナー像は、給紙トレイ１５ａ〜１５ｃから供給される転写材に転写されて、定着装置１３により定着される。
【００２９】
また、デジタル複写機１は、図示せぬコントローラ、バンドバッファ２２、符号化部２３、復号部２４、ページメモリ２５からなる、画像処理装置２６を備えている。
【００３０】
図１において、バンドバッファ２２は、１ページ分の画像データを構成する複数のバンドのうち、一つのバンドに含まれる画素のデータを格納するためのバッファである。ここでバンドとは、所定数の画素ラインから構成される画像データの一領域である。
【００３１】
デジタル複写機１は、ＬＡＮなどの所定のネットワーク４から図示しない通信インターフェイスを介して画像データを受け取ることができる。ＲＩＰ部２１は、ネットワーク４を介して入力された画像データがＰＤＬ（ページ記述言語）形式のデータであるとき、これをバンド単位に描画処理してビットマップ形式に変換して、画像処理装置２６に出力する。
【００３２】
符号化部２３はバンドバッファ２２に格納された画像データを符号化するための符号化装置である。復号手段となる復号化部２４は、圧縮符号を復号するための復号化装置である。本例では、符号化部２３で使用する符号化として静止画圧縮の国際標準であるＪＰＥＧ２０００を使用している。したがって、その符号化後の符号列は、静止画像を１又は複数の矩形領域（タイル）に分割し、この各矩形領域を独立して階層的に圧縮符号化するものである。
【００３３】
ページメモリ２５は所定ページ分の画像データを圧縮符号として格納（記憶）するためのメモリである。本例のページメモリ２５は、Ａ４サイズの画像データ１ページ分の圧縮符号列を格納可能とする。ハードディスク２７はページメモリ２５に格納された圧縮符号列を取得して格納し、必要に応じてその圧縮符号列をページメモリ２５に再格納するために設けられたメモリである。
【００３４】
ＲＧＢ→ＣＭＹＫ変換部２８は、バンドバッファ２２からバンド単位でＲＧＢ（レッド、グリーン、ブルー）色の信号で表現された画像データを受け取り、これをＣＭＹＫ信号に変換する。Ｋ、Ｍ、Ｃ，Ｙ色階調処理部２９Ｋ、２９Ｍ，２９Ｃ，２９Ｙは、それぞれＫ、Ｍ、Ｃ，Ｙ色の多値データを少値化して書込データに変換する機能を果たす。本例では、バンドバッファ２２では１画素８ビットの６００ｄｐｉ画像データを格納し、これをＫ、Ｍ、Ｃ，Ｙ色階調処理部２９Ｋ、２９Ｍ，２９Ｃ，２９Ｙで１画素１ビットの１２００ｄｐｉ画像データへと変換する。
【００３５】
Ｋ，Ｍ，Ｃ色の書込みデータは、画像形成開始タイミングを調節するためにラインメモリ１６Ｋ，１６Ｍ，１６Ｃに格納され、各色の画像が転写材上で重なり合うようにタイミングを合わせてＫ、Ｍ、Ｃ，Ｙ，の色書込装置１４Ｋ、１４Ｍ，１４Ｃ，１４Ｙに送られる。
【００３６】
次に、本例における符号化部２３が実施する符号化方式を図２（ａ）の機能ブロック図を参照して説明する。すなわち、ＲＧＢ信号からなる画像データは必要に応じてタイル分割部３１でタイル分割され、タイルごとに独立（ここで、「独立」とは、符号化時に他のタイル内の画素情報を利用することなく符号化を実施すると言う意味である）にＤＣレベルシフト部３２でレベルシフトされ、色変換部３３で色変換され、各色変換係数がウェーブレット変換部３４でウェーブレット変換され、エントロピー符号化部３５でウェーブレット係数がエントロピー符号化される。エントロピー符号化された符号は符号フォーマットに従い、最終的に必要とされる符号順序に並べ替えて出力される。
【００３７】
ＪＰＥＧ２０００の符号フォーマットの概略構成を図３に示す。符号フォーマットは符号データの始まりを示すＳＯＣ（Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカで始まる。ＳＯＣマーカの後には、符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に実際の符号データが続く。
【００３８】
メインヘッダの構成を図４に示す。メインヘッダはＣＯＤ，ＱＣＤの必須マーカセグメントとＣＯＣ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＭ，ＴＬＭ，ＰＬＭ，ＣＲＧ，ＣＯＭのオプションマーカセグメントで構成される。ここでＳＩＺマーカには、タイルサイズの情報が記述されている。またＣＯＭマーカはコメント等の情報を付加したいときに利用するマーカで、メインヘッダ、タイルヘッダの双方で使用することが可能である。
【００３９】
実際の符号データは、ＳＯＴ（Ｓｔａｒｔ ｏｆ Ｔｉｌｅ−ｐａｒｔ）マーカで始まり、タイルヘッダ、ＳＯＤ（Ｓｔａｒｔ ｏｆ ｄａｔａ）マーカ、タイルデータ（符号）で構成される。これら画像全体に相当する符号データの後に、符号の終了を示すＥＯＣ（Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ）マーカが付加される。メインヘッダはＣＯＤ，ＱＣＤの必須マーカセグメントとＣＯＣ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＭ，ＴＬＭ，ＰＬＭ，ＣＲＧ，ＣＯＭのオプションマーカセグメントで構成される。
【００４０】
タイルヘッダ構成を図５、図６に示す。図５は、タイルデータの先頭に付加されるマーカセグメント列で、ＣＯＤ，ＣＯＣ，ＱＣＤ，ＱＣＣ，ＲＧＮ，ＰＯＣ，ＰＰＴ，ＰＬＴ，ＣＯＭのマーカセグメントが使用可能である。一方、図６は、タイル内が複数に分割されている場合における分割されたタイル部分列の先頭に付加されるマーカセグメント列であり、ＰＯＣ，ＰＰＴ，ＰＬＴ，ＣＯＭのマーカセグメントが使用可能である。タイルヘッダでは必須マーカセグメントはなく、すべてオプションである。
【００４１】
ＤＣレベルシフト部３２は、画像信号がＲＧＢ信号値のような正の数（符号なし整数）である場合には、各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行う。なお、レベルシフトは画像信号がＹＣｂＣｒ信号におけるＣｂ及びＣｒのような符号付き整数の場合には適用しない。
【００４２】
ＪＰＥＧ２０００で使用される色変換の方式はＹＣｒＣｂ等公知の技術なので説明は省略する。ウェーブレット変換としては９×７フィルタ、５×３フィルタのいずれを使用してもよい。いずれのフィルタも隣接画素とオーバーラップするフィルタである。隣接画素とオーバーラップするフィルタを使用する場合、量子化時にブロック歪が発生することがないという利点がある。なお、本例ではバンド境界においても隣接画素とのオーバーラップを行わせるために、バンドを構成する画素と併せて隣接する画素も必要な分だけバンドバッファ２２に格納しておく。また、本例での量子化は後述するようにビットプレーン単位でポスト量子化を行うので、ここでは実施しない。
【００４３】
ＪＰＥＧ２０００のエントロピー符号化は、係数モデリング処理と算術符号化処理とで実行される。この方式は国際標準として周知であるため、詳しい説明は省略するが、以下の説明に必要な範囲で概要を示す。
【００４４】
符号化方式は、ＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈＯｐｔｉｍｉｚｅｄ ｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化である。ＥＢＣＯＴの特徴としては、各サブバンドを同一サイズにブロック分割して符号化する点と、ポスト処理による符号量制御が可能な点が挙げられる。ＥＢＣＯＴは、ブロック分割、係数モデリング、算術符号化という順で符号化が実行される。すなわち符号化は、Ｃｏｄｅ ｂｌｏｃｋと称するブロック単位で行われるのでまずウェーブレット係数はブロックに分割され係数モデリングされる。
【００４５】
係数モデリングは、符号化対象となる多値Ｗａｖｅｌｅｔ係数から、後段の２値算術符号化用のビットモデルを作成することが目的である。言い換えれば、符号化方法を決定する部分である。符号化対象となるＷａｖｅｌｅｔ 係数は正負の符号を持った整数（あるいは実数表現された整数）であり、それらを決められた順序で走査しながら、係数を絶対値表現したものに対して、上位ビットから下位ビットへと、ビットプレーン単位で処理を行う。ビットプレーン内の各ビットは３つの処理パスによって４つの符号化を行う。
【００４６】
すなわち、まず、各Ｃｏｄｅ ｂｌｏｃｋにおけるビットプレーン上のビット走査順序は、垂直方向に４ビットまとめた単位でのラスター走査で行われる。符号化は、ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓ（有意な係数が周囲にある有意でない係数の符号化）、ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ（有意な係数の符号化）、ｃｌｅａｎｕｐ ｐａｓｓ （残りの係数情報の符号化）の３つの処理パスで実行される。各処理パスで実行される符号化方法は、ｓｉｇｎｉｆｉｃａｎｃｅ ｃｏｄｉｎｇ、ｓｉｇｎ ｃｏｄｉｎｇ、ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｃｏｄｉｎｇ、ｃｌｅａｎｕｐｃｏｄｉｎｇの４種類がある。なお、ここで、“ｓｉｇｎｉｆｉｃａｎｃｅ”とは、該当ビット（係数）が“有意である／ない”ことを示しており、以下のような解釈によって行われる。
【００４７】
・有意である
これまでの符号化処理において注目係数が０でないとわかっている状態のこと。言い換えれば、すでに１であるビットを符号化済みであること。
【００４８】
・有意でない
係数値が０であるか、０の可能性がある状態のこと。言い換えれば、未だ１であるビットを符号化していない状態のこと。
【００４９】
符号化は、まず、ビットプレーンのＭＳＢより走査を行い、ビットプレーン中に有意でない係数（０でないビット）が存在するかを判定する。有意である係数が登場するまでは３つの符号化処理パスは実行されない。有意でない係数のみで構成されるビットプレーンは、そのビットプレーン数をパケットヘッダに記述する。この値は復号時に利用され、有意でないビットプレーンを形成するために使われるとともに、係数のダイナミックレンジを復元するためにも必要である。有意であるビットが最初に登場したビットプレーンから実際の符号化は開始され、該ビットプレーンは、まずｃｌｅａｎｕｐ ｐａｓｓで処理される。その後、下位のビットプレーンに対して順次、３つのパスを用いて処理が進められる。
【００５０】
ａ）Ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓ（有意な係数が周囲にある有意でない係数の符号化）
周囲の所定の８近傍の係数値に少なくとも１つの有意な係数があり、かつ注目する係数（Ｘ位置の係数値）がまだ有意でない場合にのみ、本パスにて処理される。それ以外の場合には本パスでは処理されない。
【００５１】
ｂ）Ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ（有意な係数の符号化）
注目する係数値（Ｘ）がすでに有意である状態の場合には、Ｍａｇｎｉｔｕｄｅｒｅｆｉｎｅｍｅｎｔ ｐａｓｓによって処理される。本パスでは状態変化後（有意でない→有意である）に行う最初のパスであるかどうか、周囲の８近傍に有意な係数値が存在するかどうかによって、３つのコンテクストモデルを算出する。
【００５２】
ｃ）Ｃｌｅａｎｕｐ ｐａｓｓ（残りの係数情報の符号化）
上記２つのパス（Ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓとＭａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ）に該当しない残りのビットは、Ｃｌｅａｎｕｐ ｐａｓｓにて処理される。
【００５３】
本パスで作成するコンテクストは、上記２つのパスのように８近傍の係数値を参照するコンテクストに加えて、ランレングス符号化用のコンテクストを作成する。符号化はランレングス符号化を行うかどうかを判断しながら符号化処理を行う。まず、垂直方向に連続する４つの係数値がすべて本パスに属しており、かつ４つすべての係数値における周囲の８近傍に有意な係数値が存在しないか否かを判断する。もし、本条件に該当する場合には、ランレングス符号化を行う。一方、本条件に該当しない場合には、４つの係数値の中に少なくとも１つの有意である係数が存在するので、各係数値をＳｉｇｎｉｆｉｃａｎｃｅｐｒｏｐａｇａｔｉｏｎ ｐａｓｓで符号化する。ランレングス符号化は、４つの注目係数のビットがすべて０であるならば、シンボル０を符号化して終了する。そうでない場合にはシンボル１を符号化する。シンボル１を符号化した場合には、続いて４ビット中の最初の１になっているビット位置を２ビットで符号化し、その直後に正負の符号をＳｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓと同様に符号化をする。ここでビット位置を示す２ビットを符号化する際にはＵＮＩＦＯＲＭコンテクストと称するコンテクストを用いる。これ以降の係数に対しては、Ｓｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓで符号化を行う。以上の処理が完了すると、次の４つの係数処理に入り、順次符号化処理を行う。なお、算術符号化については公知の技術であるので説明を省略する。
【００５４】
次に、復号部２４について説明する。図２（ｂ）は、復号部２４が実施する復号方式の機能ブロック図である。復号部２４が実行するのは符号化部２３の逆変換であり、符号化部２３で使用するＤＣレベルシフト、色変換、ウェーブレット変換、エントロピー符号化の各処理の逆変換をそれぞれ実行する逆ＤＣレベルシフト部３６、逆色変換部３７、ウェーブレット逆変換部３８、エントロピー復号部３９からなる。圧縮符号がタイル分割されている場合には、かかる処理を各タイルについて実行する。
【００５５】
続いて、デジタル複写機１の動作について説明する。
【００５６】
スキャナ３で読み込まれた、又は、ネットワーク４から送られてきた画像データは、バンド単位にバンドバッファ２２に格納される。本例のバンドバッファ２２が格納可能な画像データの容量は、６００ｄｐｉの１画素あたり８ビットのＲ，Ｇ，Ｂの３色からなる画像データをＡ４サイズの４分の１だけ格納できる容量である。
【００５７】
バンドバッファ２２に格納された１バンド分の画像データは、符号化部２３でタイル分割されて符号化される。すなわち符号化部２３は、まず、画像データをタイル分割し、各タイルにおいて、図２（ａ）を参照して前述した処理を実行する。こうして得られた画像データの圧縮符号列はページメモリ２５に格納され、その後、ハードディスク２７に格納される。
【００５８】
画像をプリンタエンジン２で出力する際には、ページメモリ２５、ハードディスク２７に格納されている圧縮符号列を復号部２４で復号し、復号後の画像データはＲＧＢ→ＣＭＹＫ変換部２８でＣＭＹＫ色の画像データに変換し、Ｋ，Ｍ，Ｃ，Ｙ色階調処理部２９Ｋ，２９Ｍ，２９Ｃ，２９ＹにおいてＫ，Ｍ，Ｃ，Ｙ色がそれぞれ階調処理されて１２００ｄｐｉで１画素あたり２値のデータに変換する。Ｋ，Ｍ，Ｃ色の画像データは静電潜像の書込タイミングを調節するためにラインメモリ１６Ｋ，１６Ｍ，１６Ｃに一時格納され、転写材上でカラー画像を形成するタイミングにあわせて書込装置１４Ｋ，１４Ｍ，１４Ｃへと送られる。
【００５９】
本例における画像形成プロセスは周知の電子写真プロセスであるので動作の詳細は省略するが、それぞれＫ，Ｍ，Ｃ，Ｙ色の乾式トナー像を形成するプロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙに対して書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙが画像情報に応じた書込み光を発射すると、プロセスカートリッジ１１Ｋ，１１Ｍ，１１Ｃ，１１Ｙにおいて、帯電装置によって帯電させられた感光体上の被露光部分が除電されて静電潜像が形成される。この静電潜像に対して現像装置が乾式トナー粒子を画像部のみに選択的に付着させて可視像とし、この各色の可視像を転写ベルト１２上に担持されて搬送される転写材（記録用紙やＯＨＰなど）上に順次重ねていくことで得られたカラー画像を定着装置１３で加熱・加圧して転写材上に固定する。
【００６０】
次に、ＪＰＥＧ２０００アルゴリズムで画像を圧縮した符号列をネットワーク４から受信して直接ページメモリに格納する場合の一連の処理について図７のフローチャートを参照して説明する。
【００６１】
図７の処理は、その処理により本発明の画像処理装置を実施するものである。まず、デジタル複写機１の図示しないコントローラは、ネットワーク４からＪＰＥＧ２０００アルゴリズムで画像を圧縮した符号列を取り込む（ステップＳ１）。この際、デジタル複写機１の出力性能を超える高精細な符号列については６００ｄｐｉ出力に充分な階層までのデータのみを取り込み、また、符号列がページメモリに格納しきれない場合には、ポスト量子化を行い、符号量を削減する。
【００６２】
そして、ページメモリ２５に格納された符号列について、コントローラは、その復号に要する時間を算出して、復号時間算出手段を実現する（ステップＳ２）。この算出は、具体的には以下のようにして行う。
【００６３】
▲１▼．メインヘッダあるいはタイルヘッダより、各ウェーブレット変換係数について、有意でないビットプレーンの数ｎを取得する。
【００６４】
▲２▼．ついで各ウェーブレット変換係数について、有意なビットプレーンの数ｍを取得する。
【００６５】
▲３▼．有意なビットプレーンのそれぞれについて、復号化に必要な時間ＢＰｉ を算出する。この「復号化に必要な時間」としては、有意でないビットプレーンについては０秒、有意なビットプレーンについては上述した復号処理の３パスにおいて最も時間がかかるパスが選択された場合の処理時間を用いる。
【００６６】
▲４▼．続いて各ビットプレーンの復号回数を計算する。具体的には、バンド単位の処理において１つのバンド内に存在するライン数をＮＢ、ページメモリに格納された符号列のウェーブレット変換階層数（デコンポジションレベル）をＮＤとした時、
・ＮＢ＞ＮＤの場合にはＮｉ１＝１
・ＮＢ≦ＮＤの場合にはＮｉ１＝［１＋ＳＵ（ＮＤ／ＮＢ）］
（但し、“ＳＵ（ｘ）”は、ｘ以上である最小の自然数）
で求められるＮｉ１ を計算する。同様に、ページメモリに格納された符号列が主走査方向にタイル分割されている場合における１タイルに含まれるライン数をＮＴとしたとき、
・ＮＢ＞ＮＴの場合にはＮｉ２＝［１＋ＳＵ（ＮＢ／ＮＴ）］
・ＮＢ≦ＮＴの場合にはＮｉ２＝［１＋ＳＵ（ＮＴ／ＮＢ）］
（但し、“ＳＵ（ｘ）”は、ｘ以上である最小の自然数）
で求められるＮｉ２を計算する。［２＋ＳＵ（ＮＢ／ＮＴ）］は、高さＮＢのバンドを高さＮＴのタイルで埋め尽くす場合に必要なタイル数である。バンドの第１行とタイルの第１行とが同じ行であれば［１＋ＳＵ（ＮＢ／ＮＴ）］でよいが、この行がずれることを考えて最悪の場合の［２＋ＳＵ（ＮＢ／ＮＴ）］で計算する。Ｎｉ１とＮｉ２のうちで大きな値を持つほうがＮｉ すなわち各ビットプレーンの復号回数である。
【００６７】
コントローラは、こうして得たＮｉ及びＢＰｉから、復号時間ＴとしてΣ（Ｎｉ×ＢＰｉ）を計算する（ステップＳ２）。ここで、Σはインデックスｉについての和である。
【００６８】
ついで、Ｔが所定の時間Ｔｈ１を超えているか否かが判定されて、第１の判定手段を実現する（ステップＳ３）。ここで時間ｔｈ１は復号時間の上限であり、ＴがＴｈ１を超えてしまった場合には、所定時間に所定画素のデータを書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙに送ることができなくなる。
【００６９】
Ｔ≦ｔｈ１の場合には（ステップＳ３のＮ）、一連の処理は終了し、画像の出力が可能となるが、Ｔ＞ｔｈ１の場合には（ステップＳ３のＹ）、そのままでは復号時間がｔｈ１をオーバーする恐れが強いので、ＴがＴｈ１以下となるように圧縮符号の変換による対応可能性を検討する（ステップＳ４）。具体的には、以下の▲１▼や▲２▼の検討を行う。
【００７０】
▲１▼．ウェーブレット変換の階層数が大きすぎるために一つのビットプレーンを複数回復号する必要があり、このため、Ｔ＞ｔｈ１となってしまう場合（例えば１バンドに６４ラインしか画像データを格納できないのに、８階層のウェーブレット変換がされているので１度に２５６ラインずつしか復号できない場合）や、あるいは、ウェーブレット変換の階層数が大きすぎるために復号化するビットプレーンが多くなり、このため、Ｔ＞ｔｈ１となってしまう場合（例えば６階層までならｔｈ１以内に処理できるのに、８階層の符号であるためにｔｈ１内に処理できない場合）には、圧縮符号を復号化部２４で一部復号する。具体的には、ページメモリ２５内の符号列をバンドバッファに順次読み出して、Ｔ＞ｔｈ１となるように途中の階層まで復号し、その後再びページメモリに格納する。この場合、階層変換に関係のない第一階層のウェーブレット係数については読み出す必要はないので、処理は高速に実行できる。
【００７１】
▲２▼．タイルサイズが大きすぎるためにＮＴがＮＢを超え、あるいは、ＮＴ＜ＮＢであるがＮＢがＮＴで割り切れないために画像の位相がずれ、このため、同じビットプレーンを何回も読み出さねばならない場合には、タイルサイズの変換を行う。具体的には、各タイルをバンドバッファ２２に順次読み出して画素値まで復号し、これをバンドバッファ２２の幅に合ったタイルに変換し、あるいは、復号化部２４において複数の復号器で並列処理を行なうことによって復号を行う場合にはタイルを細かく分割して復号処理に適したサイズ／タイル数に変換する。この場合、タイルを個々にバンドバッファ２２に読み出せばよいので、タイルの高さがバンドの高さよりも高くても変換処理は容易に行うことができる。また全てのタイルについて変換を行わなくとも、一部のタイルについて細分割を実行すれば復号処理がｔｈ１以内に行える場合がある。
【００７２】
そして、以上の▲１▼▲２▼の処理によって、Ｔ≦ｔｈ１とすることができるか否かが判定され、第２の判定手段を実現する（ステップＳ５）。そして、Ｔ≦ｔｈ１とできる場合には（ステップＳ５のＹ）、コントローラは圧縮符号を前述の▲１▼▲２▼のように変換し、符号変換手段を実現する（ステップＳ６）。Ｔ≦ｔｈ１とできない場合には（ステップＳ５のＮ）、符号列を量子化又は復号＋階調処理して時間内に復号できる圧縮符号に変換し、画像処理手段を実現する（ステップＳ７）。ステップＳ７において「量子化」とは、ビットプレーンの一部を削除することを、また、「復号＋階調処理」とは、圧縮符号を一度復号して階調処理部２９Ｋ、２９Ｍ、２９Ｃ、２９Ｙにおいてディザ等の階調処理を施し、これをそのまま又は圧縮してページメモリ２５に再格納することを意味する。本例では階調処理時に解像度が上がるために情報量が増えることがあるので、この場合には情報量を低減すべく画像の解像度を落とすこともありえる。階調処理された画像データをページメモリ２５に格納する場合、復号化部２４の処理をスルーできるので、高速に書込装置１４Ｋ，１４Ｍ，１４Ｃ，１４Ｙに画像データを送ることができる。なお、ステップＳ４の処理は基本的に画質劣化を伴わない処理であるので、一部のタイルや一部のウェーブレット係数についてのみ処理を実行してもよいが、ステップＳ７の処理のうち画質劣化を伴う処理については、１枚の画像内部での画質バラツキを抑えるために一律に処理を行うことが望ましい。以上で一連の処理が終了し、画像の出力が可能な状態となる。
【００７３】
なお、本例のようにバンド単位に復号処理を実行する場合において、圧縮符号列がタイル分割されていない状態で復号時間を見積もったために、実際の出力処理においてバンドによっては復号時間が間に合わなくなる可能性がある。その場合には、その特定のバンドにおいてのみ復号するビットプレーンを制限して復号する。かかる場合にはバンド単位で若干画質に差が生じることになるが、１ページの出力としては復号時間がｔｈ１内に収まる程度に圧縮符号が調整されているために、その特定バンドにおいて強い量子化を実行する必要性は一般に低い。また、本例では最悪の処理パスで復号時間を見積もっているために、特定バンドにおいて処理時間が超過する可能性は低い。
【００７４】
以上のようにして図７の処理を行なった符号列は、復号化部２４で復号して、復号後の画像データはプリンタエンジン２で画像の形成に供される。
【００７５】
以上説明したとおり、本デジタル複写機１によれば、取得したＪＰＥＧ２０００符号列の復号時間を算出し、この結果、復号処理が間に合わないと判定された場合には（ステップＳ３のＹ）、より短時間で復号できる符号列に変換するので（ステップＳ６）、画質を劣化させることなく短時間で復号することができる。
【００７６】
また、この場合でも、符号列の変換によっても復号処理が間に合わないと判定される場合には、圧縮符号の変換は行わないため（ステップＳ５のＮ）、不必要な処理に時間をかけることがなく高速処理が可能である。
【００７７】
さらに、この場合には（ステップＳ５のＮ）、圧縮符号の変換や量子化などの処理（ステップＳ７）を実行するため、復号処理が時間内に終了し、画像形成時のエラーを防止できる。さらに、最悪の処理パスを通った場合について復号時間を見積もっているので、バンド単位の処理においても一部のバンドの処理が間に合わないという可能性は低い。
【００７８】
なお、本例では静止画像の処理を念頭において説明したが、本発明はこれに限定されるものではなく、様々な形態のデータについて適用することができる。例えば、音声情報については、本例で前述した処理からタイルに関する部分を除いた処理を１次元のウェーブレット変換について実行すれば適用可能である。
【００７９】
【発明の効果】
本発明によれば、静止画像の符号列について、画質を劣化させることなく短時間で復号することができる。さらに、符号列の変換処理により短時間で符号列を復号することができないときは、符号列の変換処理で時間を要することを防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるデジタル複写機の概略構成を示す説明図である。
【図２】デジタル複写機の符号化部（ａ）、復号化部（ｂ）の機能ブロック図である。
【図３】ＪＰＥＧ２０００の符号フォーマットの概略構成を示す説明図である。
【図４】ＪＰＥＧ２０００の符号フォーマットのメインヘッダの構成を示す説明図である。
【図５】ＪＰＥＧ２０００の符号フォーマットのタイルヘッダの構成を示す説明図である。
【図６】ＪＰＥＧ２０００の符号フォーマットのタイルヘッダの構成を示す説明図である。
【図７】デジタル複写機のコントローラが実行する処理のフローチャートである。
【符号の説明】
１ 画像形成装置
２ プリンタエンジン
２４ 復号手段
Claims (8)
- 画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出手段と、
前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定手段と、
前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換手段と、を備え、
前記符号変換手段は、前記符号列を構成する前記矩形領域の一部または全部のサイズを変更することによって前記符号列の復号時間を短縮することを特徴とする画像処理装置。 - 画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出手段と、
前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定手段と、
前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換手段と、を備え、
前記符号変換手段は、前記符号列を構成するウェーブレット変換係数の一部を復号することによって前記符号列の復号時間を短縮することを特徴とする画像処理装置。 - 前記算出時間が前記所定時間を超過すると判断したときは、前記符号変換手段による前記符号列の変換に先立って当該変換を行なうことにより前記算出時間が前記所定時間を超過しないようにできるか否かを判定する第２の判定手段を更に備え、
前記符号変換手段は、前記判定により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできると判断したことを条件に、前記変換を行なうことを特徴とする請求項１又は２に記載の画像処理装置。 - 前記第２の判定手段により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできないと判断したときは、前記符号列を構成するビットプレーンの一部を削除する処理、又は、前記符号列を一度復号して所定の階調処理を施す処理を実行する画像処理手段を更に備えていることを特徴とする請求項３に記載の画像処理装置。
- 画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出ステップと、
前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定ステップと、
前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換ステップとを有し、
前記符号変換ステップは、前記符号列を構成する前記矩形領域の一部または全部のサイズを変更することによって前記符号列の復号時間を短縮することを特徴とする画像処理方法。 - 画像を１又は複数の矩形領域に分割し、各矩形領域を独立して階層的に圧縮符号化した符号列を対象として、当該符号列を復号する際の復号時間を算出する復号時間算出ステップと、
前記算出した復号時間である算出時間が予め設定された所定時間を超過するか否かを判定する第１の判定ステップと、
前記判定により前記算出時間が前記所定時間を超過すると判断したときは、前記符号列を前記算出時間より少ない時間で前記復号が行なえる符号列に変換する符号変換ステップとを有し、
前記符号変換ステップは、前記符号列を構成するウェーブレット変換係数の一部を復号することによって前記符号列の復号時間を短縮することを特徴とする画像処理方法。 - 前記算出時間が前記所定時間を超過すると判断したときは、前記符号変換ステップによる前記符号列の変換に先立って当該変換を行なうことにより前記算出時間が前記所定時間を超過しないようにできるか否かを判定する第２の判定ステップを更に有し、
前記符号変換ステップは、前記判定により前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできると判断したことを条件に前記変換を行なうことを特徴とする請求項５又は６に記載の画像処理方法。 - 前記第２の判定ステップにより前記変換を行なうことで前記算出時間が前記所定時間を超過しないようにできないと判断したときは、前記符号列を構成するビットプレーンの一部を削除する処理、又は、前記符号列を一度復号して所定の階調処理を施す処理を実行する画像処理ステップを更に有することを特徴とする請求項７に記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003005508A JP4046223B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003005508A JP4046223B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置及び画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004221832A JP2004221832A (ja) | 2004-08-05 |
| JP2004221832A5 JP2004221832A5 (ja) | 2006-05-11 |
| JP4046223B2 true JP4046223B2 (ja) | 2008-02-13 |
Family
ID=32896152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003005508A Expired - Fee Related JP4046223B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4046223B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006262208A (ja) * | 2005-03-17 | 2006-09-28 | Ricoh Co Ltd | 情報処理システム、符号化ファイルの伸長時間予測方法、プログラム及び情報記録媒体 |
| JP4579049B2 (ja) * | 2005-05-11 | 2010-11-10 | 三菱電機株式会社 | 画像復号装置および画像復号システム |
-
2003
- 2003-01-14 JP JP2003005508A patent/JP4046223B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004221832A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
| CN101094305B (zh) | 图像压缩装置及方法和图像读取、处理、形成装置 | |
| JP2004104650A (ja) | 画像処理装置、画像読取装置、画像形成装置、画像処理用プログラム及び記憶媒体 | |
| JPH0750758A (ja) | 符号化装置 | |
| JP2004248268A (ja) | 画像処理装置、画像形成装置、画像復号装置、画像処理方法、プログラムおよび記憶媒体 | |
| JPH0514562A (ja) | デイジタル複写機 | |
| JP4046223B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004248271A (ja) | 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記憶媒体 | |
| JP4315928B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2004228964A (ja) | 画像処理装置、画像形成装置、プログラムおよび記憶媒体 | |
| JP4093871B2 (ja) | 画像形成装置、プログラムおよび記憶媒体 | |
| JP3732674B2 (ja) | カラー画像圧縮方法およびカラー画像圧縮装置 | |
| JP4111863B2 (ja) | 画像処理装置、画像形成装置、画像処理用プログラム及び記憶媒体 | |
| JP3189511B2 (ja) | 符号化装置 | |
| JP4050157B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 | |
| JP2004236220A (ja) | 符号化装置、情報管理装置、復号化装置、画像形成装置、符号化プログラム、情報管理プログラム、復号化プログラムおよび記憶媒体 | |
| JP4014087B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| JP4017109B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、プログラムおよび記録媒体 | |
| JP5078199B2 (ja) | 画像符号化装置及びその方法並びにプログラムコード、記憶媒体 | |
| JP4159259B2 (ja) | 画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP2005130244A (ja) | 画像処理装置および画像処理方法 | |
| JP4010452B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004235935A (ja) | 画像処理装置、画像形成装置、プログラムおよび記憶媒体 | |
| JP3784755B2 (ja) | 画像処理装置、画像形成装置、プログラム及び記憶媒体 | |
| JP5250591B2 (ja) | 画像圧縮装置及び方法並びに画像形成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041008 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050829 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060317 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20060925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070926 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |