JP3631609B2

JP3631609B2 - 画像処理装置、画像処理方法

Info

Publication number: JP3631609B2
Application number: JP09273798A
Authority: JP
Inventors: 宏美大久保; 弘幸芝木; 石井　　博
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-03-20
Filing date: 1998-03-20
Publication date: 2005-03-23
Anticipated expiration: 2018-03-20
Also published as: JPH11272861A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子写真複写機、レーザプリンタ、ファクシミリ等の画像処理装置に関し、特に入力された画像信号にウェーブレット変換を行って画像処理する機能を備えた画像処理装置、及び画像処理方法に関するものである。
【０００２】
【従来の技術】
従来一般の画像処理では、スキャナ等から送られてきた画像データをＡＤ変換器で量子化し、デジタルの実空間画像信号にしてフィルタ処理、変倍処理、ガンマ変換処理、階調処理等の画像処理を施していた。しかしながら、実空間画像信号を用いた画像処理では冗長性を持った画像信号で種々の処理を行うために、処理すべき画像信号量が膨大となり、画像信号の格納のための多くのメモリと、多くの処理時間を必要としていた。そのため、特開平７−７９４３３号公報に開示されているように、画像信号に対して強調特性を持ったウェーブレット変換を行い、変換された高周波帯域の係数信号に対して量子化のビット数を、他の周波数帯域の係数信号に対しての量子化のビット数より小さくして、画像の鮮鋭度を保ちながら画像圧縮を行っているものもある。
また、特開平６−２７４６１４号公報に記載の技術では、画像信号にウェーブレット変換を行い、周波数分解した少なくとも１つの周波数帯域の信号に強調等の画像処理を施し、画像処理された画像信号にウェーブレット逆変換を掛けることにより、ノイズを強調することなく、視覚的な印象にあった自然な再生画像を得ている。
上記のように画像信号に対してウェーブレット変換を行って、得られた周波数帯域の特定の係数信号についてフィルタ処理、階調処理等の画像処理を施せば、画像処理すべき情報量を減少でき、画像信号の格納のために多くのメモリや多くの処理時間を必要とせずに済む。
しかしながら、特開平７−７９４３３号や特開平６−２７４６１４号は、その具体的な方法まで示すものではない。
例えば、特開平７−７９４３３号では、デジタル複写機等で行われている画像の鮮鋭度を所定の強度で強調したり、網点原稿で生じるモワレの発生を抑えるために平滑化したりするフィルタ処理、出力装置のガンマ特性に応じて画像の濃度特性を変換するガンマ変換処理、及び出力装置の階調特性に併せて行うディザ処理や誤差拡散処理などの処理を実現することはできない。
また、特開平６−２７４６１４号にて開示されている技術は、ウェーブレット変換した各周波数帯域の各係数信号毎に所定の伝達係数を乗じることによって画像信号を先鋭化したり、平滑化したりするものであり、ウェーブレット変換したまま階調処理を行って画像の高精細化を保つことは技術的に確立されていなかった。
そのため、ウェーブレット係数信号を実空間画像信号に直してから階調処理を施し、その後必要に応じてウェーブレット逆変換を掛けることにより元のウェーブレット係数信号に戻していた。
【０００３】
【発明が解決しようとする課題】
上述したように従来の技術では、画像信号が階調処理のところまではウェーブレット係数信号で伝達されていても、実空間画像信号に直してから階調処理を施すため、面倒なウェーブレット逆変換回路を必要とする上、ウェーブレット係数信号と実空間画像信号との変換処理のため全体の処理速度が落ちると云う不具合が発生していた。
そこで、本発明の解決すべき課題は、階調処理手段に入力されたウェーブレット係数信号のままで階調処理を施すようにして、回路系の簡潔化を図った上、高速に、しかも高精細化な画像を得る階調処理手段を備えた画像処理装置を提供することにある。
【０００４】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の画像処理装置は、入力画像信号にウェーブレット変換を施し、複数の周波数成分の係数信号に変換を行うウェーブレット変換手段と、前記複数の係数信号から低周波成分の係数信号を抽出する第１の抽出手段と、前記低周波成分の信号と修正誤差とを加算する誤差加算手段と、前記誤差加算手段の出力信号と予め決められたしきい値とで、しきい値処理を行うしきい値処理手段と、前記しきい値処理に対応する出力パターンに基づき係数テーブルを参照することで、ウェーブレット係数信号を算出する係数算出手段と、前記係数算出手段から出力されるウェーブレット係数信号から低周波成分の係数信号を抽出する第２の抽出手段と、前記第２の抽出手段から抽出された低周波成分の係数信号と前記誤差加算手段からの出力信号とから、誤差分を算出する誤差算出手段と、前記誤差分を周辺ブロックの低周波成分に振り分ける誤差振分手段と、を有することを特徴とする。
このように構成される本発明の画像処理装置では、ウェーブレット係数信号のままで階調処理を施すようにしているため、このように本願発明は、ウェーブレット係数信号のままで階調処理を施す構成のため、ウェーブレット係数信号を実空間画素信号に直してから階調処理を施し、その後必要に応じてウェーブレット逆変換を行う従来の技術に比べ、回路系の簡素化と変換処理全体の処理速度の向上を図ることができる。
また請求項２に記載の画像処理装置は、前記修正誤差は、前記誤差分と１ライン前の誤差とから算出することを特徴とする。
また請求項３に記載の画像処理方法は、入力画像信号にウェーブレット変換を施し、複数の周波数成分の係数信号に変換を行うウェーブレット変換工程と、前記複数の係数信号から低周波成分の係数信号を抽出する第１の抽出工程と、前記低周波成分の信号と修正誤差とを加算する誤差加算工程と、当該加算した信号と予め決められたしきい値とで、しきい値処理を行うしきい値処理工程と、当該処理結果に基づいて、前記しきい値処理に対応する出力パターンより係数テーブルを参照することで、ウェーブレット係数信号を得る係数算出工程と、前記係数算出工程から出力されるウェーブレット係数信号から低周波成分の係数信号を抽出する第２の抽出工程と、前記第２の抽出工程から抽出された低周波成分の係数信号と前記誤差加算工程からの出力信号とから、誤差分を算出する誤差算出工程と、前記誤差分を周辺ブロックの低周波成分に振り分ける誤差振分工程と、を有することを特徴とする。
このように構成される本発明の画像処理装置では、ウェーブレット係数信号のままで階調処理を施すようにしているため、このように本願発明は、ウェーブレット係数信号のままで階調処理を施す構成のため、ウェーブレット係数信号を実空間画素信号に直してから階調処理を施し、その後必要に応じてウェーブレット逆変換を行う従来の技術に比べ、回路系の簡素化と変換処理全体の処理速度の向上を図ることができる。
また請求項４に記載の画像処理方法は、前記修正誤差は、前記誤差分と１ライン前の誤差とから算出することを特徴とする。
【０００５】
【発明の実施の形態】
次に、本発明の実施の形態を添付図面に基づいて詳細に説明する。
図１は、画像処理装置の代表的な例である白黒デジタル複写機（以下、複写機と呼ぶ）の主要部を示すブロック図である。複写機における詳細な動作及び機能は、一般に公知であるのでここではその説明を省略し、本発明に関する部分に限って詳しく述べる。
図１において、原稿の画像はスキャナ１１により読み取られ、図示しないＣＣＤにより原稿の画像を光電変換し、Ａ／Ｄ変換器により電気信号に変換された画像をデジタル画像信号として出力する。さらに、デジタル化した画像信号に対して、ＣＣＤの個々の素子の光感度のばらつきを補正するシェーディング補正を行った後に、画像信号をウェーブレット変換部１２に出力する。
ウェーブレット変換部１２に入力されたデジタル画像信号はウェーブレット変換され、複数の周波数帯域の係数信号に分解される。即ち、ウェーブレット変換部１２は下記の式（１−１）〜（１−４）に示す主走査方向（Ｘ方向）と副走査方向（Ｙ方向）の各々に対するローパスフィルタＳ（Ｘ），Ｓ（Ｙ）とハイパスフィルタｈ（Ｘ），ｈ（Ｙ）を基本ウェーブレット関数として変換を行う。
Ｓ（Ｘ）＝（Ｘ_ｎ＋Ｘ_ｎ＋１）／２・・・・（１−１）
Ｓ（Ｙ）＝（Ｙ_ｎ＋Ｙ_ｎ＋１）／２・・・・（１−２）
ｈ（Ｘ）＝Ｘ_ｎ−Ｘ_ｎ＋１・・・・（１−３）
ｈ（Ｙ）＝Ｙ_ｎ−Ｙ_ｎ＋１・・・・（１−４）
次に、分解された複数の周波数帯域の係数信号は、量子化部１３によりそれぞれの係数信号ごとに量子化され、画像処理部１４に伝達される。画像処理部１４では、高精細画像を得るために種々の画像処理が施される。さらに、画像処理された信号は、ウェーブレット逆変換部１５によって実空間信号に変換され、画像出力部１６であるプリンタ１６によって紙に出力される。また、システムコントローラ１７は内部にマイクロＣＰＵを保持しており、画像モードに合わせて上記スキャナ１１、ウェーブレット変換部１２、量子化部１３、画像処理部１４、ウェーブレット逆変換部１５、及びプリンタ１６の各々に処理タイミングと処理内容を指示する。
【０００６】
図２は、図１における画像処理部１４の詳細なブロック図を示したものであり、画像処理部１４はフィルタ処理部１８、ガンマ変換部１９、及び階調処理部２０等により構成されている。ここで、階調処理部２０以外の処理部の順序を入れ替えても差し支えない。例えば、フィルタ処理部１８とガンマ変換部１９の処理順序が前後しても問題ない。
図３は、ウェーブレット変換部１２の詳細な構成例を示している。スキャナ１１を経由してウェーブレット変換部１２に入力された実空間画像信号ｄｉｊは、ローパスフィルタＳ（Ｘ）２１とハイパスフィルタｈ（Ｘ）２２により各々主走査方向の低周波成分と高周波成分の係数信号に分解された後、ダウンサンプラー２３、２４により１／２にダウンサンプリングされ、係数信号Ｗ１、Ｗ２となる。さらに、各々の係数信号Ｗ１、Ｗ２に対してローパスフィルタＳ（Ｙ）２５、２７とハイパスフィルタｈ（Ｙ）２６、２８により副走査方向の低周波成分と高周波成分の係数信号に分解され、その後ダウンサンプラー２９、３０、３１、３２により１／２にダウンサンプリングされ、係数信号Ｗ３、Ｗ４、Ｗ５、Ｗ６となる。
上記に述べたように、実空間画像信号ｄｉｊはウェーブレット変換部１２により複数の異なる周波数帯域の係数信号Ｗ３、Ｗ４、Ｗ５、Ｗ６に分解され、ウェーブレット変換部１２より出力される。ウェーブレット変換部１２より出力された係数信号は量子化部１３に入力される。量子化部１３では、係数信号毎に量子化器１から量子化器４により異なった量子化ビット数で量子化する。この量子化部１３での割り当てビット数は、例えば高周波成分の係数信号Ｗ６には少ないビット数を割り付け、最も低周波成分であるＷ３には高ビット数を割り付けるようにして量子化する。
【０００７】
図４（Ａ）は低周波成分抽出のための基本ウェーブレット関数を表し、図３のローパスフィルタＳ（Ｘ）とＳ（Ｙ）に該当する。また、図４（Ｂ）は高周波成分抽出のための基本ウェーブレット関数を表し、図３のハイパスフィルタｈ（Ｘ）とｈ（Ｙ）に該当する。
図５は、量子化部１３通過後の各係数信号を模式的に示したものである。ここに示す各係数信号ＬＬ、ＨＬ、ＬＨ、ＨＨは図３の量子化部１３の出力信号に該当する。係数信号ＬＬは主走査方向及び副走査方向とも低周波成分の係数信号であり、係数信号ＨＬやＬＨでは順次主走査方向又は副走査方向に高周波成分の係数信号になり、係数信号ＨＨに至って主走査方向及び副走査方向とも高周波成分の係数信号になる。フィルタ処理部１８では、図５に示す入力係数信号に対して伝達関数を乗算することにより実現する。この伝達関数の例を図６に示す。図６（Ａ）は、平滑化特性を持った伝達関数であり、低周波成分に対する係数信号は保存し、それよりも高周波成分の信号に対しては減衰させるような特性を持っている。
また、図６（Ｂ）は、強調フィルタの特性を持った伝達関数の例であり、低周波成分に対する係数信号は保存するが、周波数が高くなるに連れて係数信号が増幅されるように動作する。平滑フィルタをかけるか、強調フィルタをかけるかは、図１のシステムコントローラ１７からの指示に従って決められる。さらに、フィルタ処理部１８からの出力は、図７に示す各係数信号ＬＬ’、ＨＬ’、ＬＨ’、ＨＨ’になる。
図８は、ガンマ変換部１９のガンマ変換曲線３３の例を示す。ここでは、ガンマ変換曲線３３に従って、入力係数信号の低周波成分ＬＬ’のみを変換し、出力係数信号ＬＬ”を得る。ガンマ変換部１９では低周波成分ＬＬ’以外の高周波成分の係数信号に関しては、入力係数信号をそのまま出力係数信号とし、図９に示す出力係数信号を得る。
【０００８】
次に、階調処理部２０の動作を誤差拡散処理を例に以下に説明する。図１０は、本発明の画像処理装置における階調処理部２０の主要部のブロック図を示す。まず、例えば図２のようなガンマ変換部１９からの出力（図９参照）が階調処理部２０の低周波成分第１抽出部１に入力する。低周波成分第１抽出部１では、図９のような係数信号から低周波成分であるＬＬ”信号だけを抜き出し、次段の誤差加算部２に渡す。誤差加算部２では後述する誤差振分部７から出力される修正誤差Ｅｓｕｍと低周波成分第１抽出部１からのＬＬ”信号とを加算して、しきい値処理部３と誤差算出部６に入力する。
また、しきい値処理部３では、入力してきた係数信号を例えば図１１に従ったしきい値にてしきい値処理を行う。ここで、しきい値処理部３への入力（ＬＬ”＋Ｅｓｕｍ）は、２×２画素ブロックの平均濃度を表すので、実空間画像での２値化処理と同様に入力（ＬＬ”＋Ｅｓｕｍ）に対して５値化処理を行う。先に示した図１１が実空間で表現した場合のしきい値の例である。次に、５値化処理された結果が係数算出部４に入力されて、しきい値処理を行ったときに対応する実空間での出力２値画像パターンが選択される。図１２（Ａ）〜（Ｅ）には出力２値画像パターンＰ０〜Ｐ４を示している。このＰ０〜Ｐ４のパターンのどれが選択されるのかは、入力（Ｘ＝ＬＬ”＋Ｅｓｕｍ）の大きさにより一意的に決定される。
また、入力Ｘの大きさと出力パターンの対応を示したのが以下の表１である。例えば、入力Ｘの値を１２８とすると、表１よりＰ２のパターンが選択される。この時の出力２値画像パターンは図１２に示されるＰ２である。ここで、図１２のＰ０〜Ｐ４に示した出力２値画像パターンに対して前記式（１−１）〜（１−４）に示すウェーブレット関数を用いて、図３に示すウェーブレット変換を行った場合の係数信号を図１３の（Ａ）〜（Ｅ）に示す。
【０００９】
【表１】

さらに、係数算出部４では選択された出力２値画像パターンより図１３（Ａ）〜（Ｅ）の係数テーブルを参照してウェーブレット係数出力を得る。即ち、入力Ｘの値１２８に対して図１２（ｃ）のＰ２のパターンが選択されると、それに対応して図１３（ｃ）のＰ２のウェーブレット係数信号出力が選択される。その後、係数算出部４の出力は、外部に出されると同時に次段の低周波成分第２抽出部５に入力し、低周波成分のみが抽出される。低周波成分第２抽出部５によって抽出された低周波成分は誤差算出部６に入力され、誤差加算部２からの出力との誤差分Ｅｉｊが算出される。
また、誤差算出部６によって算出された誤差分Ｅｉｊは、ＦＩＦＯ７ａと重み付け演算処理部７ｂ等からなる誤差振分部７に入力されて、周辺ブロックの低周波成分に振り分けられる。ここで、注目画素Ｘに対する誤差拡散係数の例を図１４に、周辺ブロックに拡散された誤差値Ｅ_１−１、Ｅ_０−１、Ｅ _１−０を図１５に、それぞれ示す。重み付け演算処理部７ｂでは入力した誤差とＦＩＦＯ７ａ内の１ライン前の誤差とを取り込んで、次に示す式（２−１）により前述した修正誤差Ｅｓｕｍを求める。
Ｅｓｕｍ＝（２×Ｅ_１−１＋３×Ｅ_０−１＋３×Ｅ_１−０）÷８・・・・（２−１）
また、重み付け演算処理部７ｂで算出された修正誤差Ｅｓｕｍは誤差加算部２の一端に入力され、対応する注目ブロックの低周波成分ＬＬ”と加算処理を施されることにより、しきい値処理部３と誤差算出部６への入力となることは前述した通りである。
また、係数算出部４からのウェーブレット係数信号出力は図２の画像処理部１４からの係数信号出力として、ウェーブレット逆変換部１５（図１参照）に入力して係数信号から実空間画像信号に変換される。ウェーブレット逆変換部１５ではウェーブレット変換部１２でのウェーブレット変換、つまり式（１−１）〜（１−４）に示す変換の全く逆の変換を行って実空間の画像信号を求める。式（１−１）〜（１−４）に対する逆変換を下記の式（３−１）〜（３−４）に示す。
Ｘ_ｎ＝Ｓ（Ｘ）＋ｈ（Ｘ）／２・・・・（３−１）
Ｘ_ｎ＋１＝Ｓ（Ｘ）−ｈ（Ｘ）／２・・・・（３−２）
Ｙ_ｎ＝Ｓ（Ｙ）＋ｈ（Ｙ）／２・・・・（３−３）
Ｙ_ｎ＋１＝Ｓ（Ｙ）−ｈ（Ｙ）／２・・・・（３−４）
最後に、逆変換された実空間信号をプリンタ１６に入力して、用紙上に画像を得る。また、本実施例では出力装置としてプリンタ１６を取り上げたが、ディスプレー等のような表示装置であっても構わない。
【００１０】
また、図１６は本発明の画像処理装置の階調処理部２０における主要動作を示すフロー図である。まず、前段のガンマ変換部１９からの係数信号を取り込み（Ｓ１）、低周波成分第１抽出部１で係数信号から低周波成分であるＬＬ”信号だけを抜き出し（Ｓ２）、記憶する。さらに、誤差振分部７の重み付け演算処理部７ｂから修正誤差Ｅｓｕｍを算出し、記憶する（Ｓ３）。次に、誤差加算部２で低周波成分ＬＬ”と修正誤差Ｅｓｕｍとを加算し（Ｓ４）、結果を修正ＬＬ”として次段のしきい値処理部３に出力する。しきい値処理部３では予め決められたしきい値でしきい値処理を行い、５値出力を得る（Ｓ５）。
さらに、結果が係数算出部４に入力され、該当する出力２値画像パターンが選択され（Ｓ６）、さらに係数テーブルを参照してウェーブレット係数出力を得る（Ｓ７）。さらに、入力信号が終了したか否か問われ（Ｓ８）、終了ならば（Ｓ８Ｙｅｓ）本ルーチンを抜ける。また、入力信号が終了していなければ（Ｓ８Ｎｏ）、ステップＳ９に進め、係数算出部４から算出されたウェーブレット係数出力の低周波成分を抽出し（Ｓ９）、上記修正ＬＬ”と抽出された低周波成分との誤差を算出する（Ｓ１０）。さらに、算出された誤差を周辺ブロックの低周波成分に振り分け（Ｓ１１）、ステップＳ１に戻って次の入力係数信号を待つ。
【００１１】
【発明の効果】
以上のように本発明によれば、ウェーブレット係数信号のままで階調処理を施す構成のため、ウェーブレット係数信号を実空間画素信号に直してから階調処理を施し、その後必要に応じてウェーブレット逆変換を行う従来の技術に比べ、回路系の簡素化と変換処理全体の処理速度の向上という効果を奏することができる。
【図面の簡単な説明】
【図１】画像データをウェーブレット変換して画像処理する画像処理装置の主要部を示すブロック図。
【図２】図１の画像処理装置の画像処理部の主要部を示すブロック図。
【図３】ウェーブレット変換を行う手段を説明する説明図。
【図４】（Ａ）は低周波成分抽出のための基本ウェーブレット関数の説明図、（Ｂ）は高周波成分抽出のための基本ウェーブレット関数の説明図。
【図５】量子化部通過後の係数信号を模式的に示す説明図。
【図６】（Ａ）は平滑化特性を持った伝達関数の説明図、（Ｂ）は強調フィルタの特性を持った伝達関数の説明図。
【図７】フィルタ処理手段の出力を模式的に示す説明図。
【図８】ガンマ変換手段によるガンマ変換を説明する説明図。
【図９】ガンマ変換手段の出力を模式的に示す説明図。
【図１０】本発明の画像処理装置の階調処理部の主要部を示すブロック図。
【図１１】しきい値処理を行うしきい値の例を示す説明図。
【図１２】（Ａ）乃至（Ｅ）はしきい値処理により５値化処理された２値画像パターンを示した説明図。
【図１３】（Ａ）乃至（Ｅ）は図１２の２値画像パターンに対してウェーブレット変換を行った場合の係数信号を示す説明図。
【図１４】誤差算出部によって算出された誤差を周辺ブロックの低周波成分に振り分けられる際の拡散係数を示す説明図。
【図１５】周辺ブロックの低周波成分に振り分けられた誤差を模式的に示す説明図。
【図１６】本発明の画像処理装置の階調処理部における主要動作を示すフロー図。
【符号の説明】
１低周波成分第１抽出部（低周波成分第１抽出手段）、２誤差加算部（誤差加算手段）、３しきい値処理部（しきい値処理手段）、４係数算出部（係数算出手段）、５低周波成分第２抽出部（低周波成分第２抽出手段）、６誤差算出部（誤差算出手段）、７誤差振分部（誤差振分手段）、７ａＦＩＦＯ、７ｂ重み付け演算処理部、１１スキャナ、１２ウェーブレット変換部、１３量子化部、１４画像処理部、１５ウェーブレット逆変換部、１６プリンタ（画像出力部）、１７システムコントローラ、１８フィルタ処理部、１９ガンマ変換部、２０階調処理部。

Claims

入力画像信号にウェーブレット変換を施し、複数の周波数成分の係数信号に変換を行うウェーブレット変換手段と、
前記複数の係数信号から低周波成分の係数信号を抽出する第１の抽出手段と、
前記低周波成分の信号と修正誤差とを加算する誤差加算手段と、
前記誤差加算手段の出力信号と予め決められたしきい値とで、しきい値処理を行うしきい値処理手段と、
前記しきい値処理に対応する出力パターンに基づき係数テーブルを参照することで、ウェーブレット係数信号を算出する係数算出手段と、
前記係数算出手段から出力されるウェーブレット係数信号から低周波成分の係数信号を抽出する第２の抽出手段と、
前記第２の抽出手段から抽出された低周波成分の係数信号と前記誤差加算手段からの出力信号とから、誤差分を算出する誤差算出手段と、
前記誤差分を周辺ブロックの低周波成分に振り分ける誤差振分手段と、
を有することを特徴とする画像処理装置。
前記修正誤差は、
前記誤差分と１ライン前の誤差とから算出することを特徴とする請求項１に記載の画像処理装置。
入力画像信号にウェーブレット変換を施し、複数の周波数成分の係数信号に変換を行うウェーブレット変換工程と、
前記複数の係数信号から低周波成分の係数信号を抽出する第１の抽出工程と、
前記低周波成分の信号と修正誤差とを加算する誤差加算工程と、
当該加算した信号と予め決められたしきい値とで、しきい値処理を行うしきい値処理工程と、
当該処理結果に基づいて、前記しきい値処理に対応する出力パターンより係数テーブルを参照することで、ウェーブレット係数信号を得る係数算出工程と、
前記係数算出工程から出力されるウェーブレット係数信号から低周波成分の係数信号を抽出する第２の抽出工程と、
前記第２の抽出工程から抽出された低周波成分の係数信号と前記誤差加算工程からの出力信号とから、誤差分を算出する誤差算出工程と、
前記誤差分を周辺ブロックの低周波成分に振り分ける誤差振分工程と、
を有することを特徴とする画像処理方法。
前記修正誤差は、
前記誤差分と１ライン前の誤差とから算出することを特徴とする請求項３に記載の画像処理方法。