JP3635761B2

JP3635761B2 - 画像処理装置

Info

Publication number: JP3635761B2
Application number: JP01232996A
Authority: JP
Inventors: 隆長尾
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-01-26
Filing date: 1996-01-26
Publication date: 2005-04-06
Anticipated expiration: 2016-01-26
Also published as: JPH09205558A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル化された画像を処理する画像処理装置に関するものであり、特に限定階調処理された画像から元の階調情報を推定して画像を復元する画像処理装置に関するものである。
【０００２】
【従来の技術】
デジタル中間調画像を蓄積／伝送する際に、記憶装置の容量や伝送時間を削減するため、２５６値などの多階調で表現された画像を、例えば、ディザ法や誤差拡散法などの擬似中間調処理で２値や４値などの少ない階調数に変換する場合がある。しかし、このような擬似中間調画像は、拡大や縮小処理を行なうとモアレと呼ばれる原画に無いパターンを生じることがある。また、出力時に多値記録可能な出力装置を用いる場合、その出力装置の性能を生かせないなどの問題もある。そこで、これらの問題を解決する手段の１つとして、擬似中間調画像から元の階調情報を復元する方法が研究されている。
【０００３】
従来、限定階調処理された画像から原画像を復元する方法としては、例えば、特公平５−１１４６５号公報などに記載されているように、固定サイズの開口を用いて画像を平滑化するのが最も一般的である。しかし、このような方法では、開口が大きいとエッジなどの濃度変化のある部分までもが一様に平滑化されて、画像がぼけてしまう。また、開口を小さくすると擬似中間調パターンが残ったり、復元後の階調数が不十分となる。例えば、２値画像を３ｘ３の大きさの開口で処理しても、たかだか１０値にしか復元できない。
【０００４】
そこで、特公平６−２４００６号公報、特公平４−３１４６６号公報、特開平２−７６３７０号公報等に記載されているように、複数の開口を用意してさまざまな条件で開口を選択する方法や、電子情報通信学会技術研究報告，ＩＥ９３−１３，「擬似中間調画像からの中間調画像推定」等に記載されているように、近傍領域の平均値から回帰直線を求めて復元する方法などが提案されている。
【０００５】
しかしながら、複数の開口を選択する方法では、エッジや擬似中間調パターンの揺らぎなどで小さな開口が選択されて擬似中間調パターンが除去されなかったり、複数開口の切り替わり部分で画質が急激に変化することにより、画像が不自然になる場合がある。さらに、基本的には開口による平滑化であるため、復元後の階調数が十分に取れないという問題もある。また、回帰直線を用いる方法は、直線による推定であるため急激な濃度変化に追従しにくく、また注目画素の周囲８または４方向の回帰直線から別々に復元値を求めて平均を取るため、その平均化によりぼけを生じてしまう場合があった。
【０００６】
【発明が解決しようとする課題】
本発明は、上述した既存方式の問題に鑑みてなされたもので、限定階調化された画像データから元の階調情報を推定する際に、擬似中間調パターンを十分に除去することができ、かつ画像のぼけを抑えた良好な階調の復元が可能な画像処理装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、画像処理装置において、入力画像中の各画素について前記入力画像の２次微分値ないしは２次微分値を平滑化した値を特徴量として求める特徴量演算手段と、各近傍画素と注目画素との相対位置に応じて予め定められた閾値に基づいて前記特徴量演算手段で求められた注目画素と近傍画素の特徴量の差と該閾値との比較結果に基づき注目画素とその近傍画素に対する加重値を設定する加重値設定手段と、前記注目画素ならびにその近傍画素に対応した画素値と加重値とから加重平均値を求める平均値計算手段を備え、与えられた画像中の各画素を注目画素として前記特徴量演算手段、前記加重値設定手段および前記平均値計算手段により階調復元処理を行なうことを特徴とするものである。
【０００８】
請求項２に記載の発明は、画像処理装置において、入力画像中の各画素について前記入力画像の１次微分値ないしは１次微分値を平滑化した値を特徴量として求める特徴量演算手段と、各近傍画素と注目画素との相対位置に応じて予め定められた閾値に基づいて前記特徴量演算手段で求められた注目画素と近傍画素の特徴量の差と該閾値との比較結果に基づき注目画素とその近傍画素に対する加重値を設定する加重値設定手段と、前記注目画素ならびにその近傍画素に対応した画素値と加重値とから加重平均値を求める平均値計算手段を備え、与えられた画像中の各画素を注目画素として前記特徴量演算手段、前記加重値設定手段および前記平均値計算手段により階調復元処理を行なうことを特徴とするものである。
【０００９】
請求項３に記載の発明は、画像処理装置において、入力画像中の各画素について前記入力画像の２次微分値ないしは２次微分値を平滑化した値を特徴量として求める特徴量演算手段と、各近傍画素と注目画素との相対位置に応じて予め定められた値と前記特徴量演算手段により求められた各近傍画素の特徴量とを用いた演算を行ない注目画素と各近傍画素に対する加重値を設定する加重値設定手段と、前記注目画素ならびにその近傍画素に対応した画素値と加重値とから加重平均値を求める平均値計算手段を備え、与えられた画像中の各画素を注目画素として前記特徴量演算手段、前記加重値設定手段および前記平均値計算手段により階調復元処理を行なうことを特徴とするものである。
【００１０】
請求項４に記載の発明は、画像処理装置において、入力画像中の各画素について前記入力画像の１次微分値ないしは１次微分値を平滑化した値を特徴量として求める特徴量演算手段と、各近傍画素と注目画素との相対位置に応じて予め定められた値と前記特徴量演算手段により求められた各近傍画素の特徴量とを用いた演算を行ない注目画素と各近傍画素に対する加重値を設定する加重値設定手段と、前記注目画素ならびにその近傍画素に対応した画素値と加重値とから加重平均値を求める平均値計算手段を備え、与えられた画像中の各画素を注目画素として前記特徴量演算手段、前記加重値設定手段および前記平均値計算手段により階調復元処理を行なうことを特徴とするものである。
【００１２】
【発明の実施の形態】
図１は、本発明の画像処理装置の実施の一形態を示すブロック図である。図中、１は画像入力部、２は画像記憶部、３は画像出力部、４は階調復元処理部、５は制御部、１１は特徴量演算部、１２は加重値設定部、１３は平均値計算部である。画像入力部１は、伝送または蓄積された画像データを入力する。入力される画像データは、限定階調により表現された画像である。画像記憶部２は、画像入力部１から入力された画像データを記憶する。画像出力部３は、処理結果を出力する。階調復元処理部４は、階調復元処理を行なう。制御部５は、各部を制御する。
【００１３】
階調復元処理部４は、特徴量演算部１１と加重値設定部１２と平均値計算部１３を有する。特徴量演算部１１は、注目画素とその近傍画素の特徴量を計算する。加重値設定部１２は、特徴量演算部１１で計算された画素ごとの特徴量に基づき、注目画素と各近傍画素の加重値を設定する。平均値計算部１３は、注目画素と近傍画素の画素値と、加重値設定部１２で設定された各画素に対応する加重値に基づき、加重平均化処理を行なって注目画素の復元値を求める。
【００１４】
図１において、限定階調により表現された画像データは、画像入力部１から入力されて画像記憶部２に格納され、階調復元処理部４へ読み出される。階調復元処理部４では、読み出した画像データを特徴量演算部１１に入力し、各画素を順に注目画素として、注目画素とその周辺の近傍画素の特徴量を計算する。この特徴量は加重値設定部１２に送られ、その値をもとに注目画素ならびに各近傍画素の加重値が計算される。注目画素ならびに各近傍画素の画素値と加重値は平均値計算部１３に送られる。平均値計算部１３は、これら複数の画素値と加重値とから加重平均値を求め、この加重平均値を注目画素の復元値として出力する。階調復元処理部４で得られた復元値は、処理された順に画像出力部３へ送られて出力される。
【００１５】
図２は、本発明の画像処理装置の実施の一形態における階調復元処理部４の処理の流れの一例を示すフローチャートである。なお、図２では、画像の幅と高さをＷ画素×Ｈラインとし、画像の左上を（０，０）、右下を（Ｗ−１，Ｈ−１）とする。Ｓ２１において、注目画素を入力画像の左上の画素に設定し、階調復元処理を開始する。
【００１６】
Ｓ２２において、画像記憶部２から特徴量演算部１１に注目画素を中心としたｐ×ｑ画素分の画像データを読み込む。読み込みを行なうｐ×ｑ画素分の画像データの領域は、注目画素とその周囲の近傍画素を含む領域を近傍領域とするとき、その近傍領域中の各画素の特徴量を計算するのに必要な画素を含む十分な大きさである必要がある。例えば、近傍領域として注目画素を中心とした５×５画素を用い、特徴量として後述する図４（Ａ）に示す９×９画素の開口による２次微分値を使用する場合には、ｐ＝ｑ＝１３となる。特徴量演算部１１では、近傍領域中の各画素について特徴量を計算して出力する。
【００１７】
Ｓ２３において、Ｓ２２で求めた複数個の特徴量を加重値設定部１２に転送し、加重値設定部１２で各画素ごとの加重値を求める。加重値の設定方法については、後述する。
【００１８】
Ｓ２４において、Ｓ２３で求めた各画素ごとの加重値を平均値計算部１３に転送し、各画素値と加重値とから加重平均化演算を行ない、注目画素の復元値を計算する。そして、Ｓ２５において、Ｓ２４で求めた注目画素の復元値を画像出力部３に送り、多値プリンタなどに順次出力する。
【００１９】
Ｓ２６において、１ラインの画素についての処理が終了したか否かを判定し、当該ラインの処理中である場合には、Ｓ２７において注目画素を現在の画素の右の画素に変更し、Ｓ２２に戻る。もし当該ラインの処理が終了、すなわち現在の注目画素が最右端ならば、Ｓ２８において最終ラインまで処理を行なったか否かを判定する。最終ラインでない場合には、Ｓ２９において１ライン下の最左端の画素を注目画素とし、Ｓ２２へ戻る。最終ラインの処理が終了した場合には、階調復元処理部４の処理を終了する。
【００２０】
以下、具体例をもとに本発明の画像処理装置の実施の一形態における動作の一例を説明する。以下の説明では２値データを２５６値に復元する場合を例に説明を行なうが、入力として３値以上のデータが入力される場合でも、また、出力データの階調が２５６値以外の場合でも同様に処理可能である。
【００２１】
図３は、近傍領域の一例の説明図である。図３において、中心の太枠で示されている画素が注目画素である。ここでは、図３に示す５×５画素領域を近傍領域として設定する。ここで、５×５画素の近傍領域中の各画素の画素値をｐ₀₀〜ｐ₄₄と称することにする。
【００２２】
図４は、特徴量演算の一例の説明図である。図中、太線で囲んだ画素が特徴量を演算する画素である。また、係数値はハッチングを異ならせて示している。特徴量演算部１１は、図３に示す５×５画素領域中の各画素について、その周囲の９×９画素の画素値を用いて、図４（Ａ）や（Ｂ）に示す係数マトリクスを用いた演算を行なう。図４（Ａ）に示す係数マトリクスを用いた演算では、注目画素からの距離に従った２次微分処理を行なうことができる。係数としては、例えば、白抜きの画素については８、右下がりのハッチングを施した画素については−１とすることができる。また、図４（Ｂ）に示す係数マトリクスを用いた演算では、縦方向、横方向の方向別の微分処理を行なうことができる。係数としては、例えば、右下がりのハッチングを施した画素を−１、クロスハッチングの画素を２とすることができる。ここでは、図４（Ａ）に示すような係数マトリクスを用いて２次微分処理を行い、その絶対値をそれぞれの画素の特徴量として出力するものとする。ここで、５×５画素の近傍領域中の各画素の特徴量をｋ₀₀〜ｋ₄₄と称することにする。
【００２３】
図５は、加重値設定部１２で使用される閾値マトリクスならびに加重値マトリクスの一例の説明図である。特徴量演算部１１で求めた２５個の特徴量ｋ００〜ｋ４４は、加重値設定部１２に転送される。加重値設定部１２には、例えば、図５（Ａ）に示すような閾値マトリクスが定義されている。注目画素の特徴量ｋ₂₂と各近傍画素の特徴量ｋ_ij（ｉ＝０〜４，ｊ＝０〜４）の差の絶対値が図５（Ａ）の閾値以下の場合には、図５（Ｂ）に示すマトリクスの当該位置（ｉ，ｊ）の値が加重値となり、閾値よりも大きい場合には加重値として０が設定される。ここで、各画素の加重値をｗ₀₀〜ｗ₄₄と称することにする。
【００２４】
加重値設定部１２で求められた２５個の加重値ｗ₀₀〜ｗ₄₄は、平均値計算部１３に転送される。平均値計算部１２では、画素値ｐ₀₀〜ｐ₄₄と加重値ｗ₀₀〜ｗ₄₄から次に示す（１）式により加重平均値を求め、その結果を注目画素の復元値として画像出力部３に出力する。
（復元値）＝（ｗ₀₀×ｐ₀₀＋ｗ₀₁×ｐ₀₁＋…＋ｗ₄₃×ｐ₄₃＋ｗ₄₄×ｐ₄₄）／（ｗ₀₀＋ｗ₀₁＋…＋ｗ₄₃＋ｗ₄₄）×（２５５／２５） −（１）
【００２５】
このようにして注目画素の画素値を復元することによって、注目画素と近傍画素との間で特徴量の差が少ない場合には、２つの画素は同じ濃度変化領域に属している可能性が高いと考えられるので、平滑化を行なうことで滑らかな多値復元ができる。また、特徴量の差が大きい場合には、２つの画素は異なる濃度変化領域に属している可能性が高いと考えられるので、その近傍画素を平滑化に用いないようにすることでエッジが保存される。このように、各画素の特徴量に応じて近傍の１画素単位に加重値を制御した平滑化を行なうことで、良好な復元が実現できる。
【００２６】
なお、この例では図３に示す５×５の近傍領域を用いて、図４（Ａ）に示す係数マトリクスにより特徴量を求め、図５（Ａ）に示す閾値と図５（Ｂ）に示す加重値マトリクスを用いて処理を行っているが、同様の結果をもたらす範囲でこれらを変形した構成を用いることもできる。例えば、特徴量を求めるために用いた図４（Ａ）のフィルタの代わりに図４（Ｂ）に示すように方向別に複数のフィルタを用意し、各フィルタ出力のうちから絶対値が最大のものを出力とすることで、図４（Ａ）のフィルタよりもより細かい特徴量を得ることができる。また、２次微分フィルタは雑音に対しての反応が鋭いため、これを抑えるための平滑化を行って出力とするなどの変形も考えられる。
【００２７】
また、その他の変形として、この例では特徴量の差の絶対値が閾値よりも大きい場合には加重値として０を設定したが、加重値マトリクスの当該位置の値の１／２を設定する、または特徴量の差の絶対値に逆比例した値を加重値マトリクスの当該位置の値に乗じるなど、種々の加重値を設定する構成も考えられる。
【００２８】
以下、別の具体例をもとに本発明の画像処理装置の実施の一形態における動作の一例を説明する。上述の具体例では、注目画素と各近傍画素との特徴量の差の絶対値を閾値と比較して、加重値を設定した。ここでは、各近傍画素の特徴量と加重値マトリクスとの演算により加重値を変更する方法を説明する。
【００２９】
図６は、特徴量を求めるための１次微分フィルタの係数マトリクスの一例の説明図である。図中、太線で囲んだ画素が特徴量を求める画素である。特徴量演算部１１では、図６（Ａ），（Ｂ）に示す各係数マトリクスを用いて横方向および縦方向の１次微分値を求める。係数としては、例えば、右下がりのハッチングを施した画素を１、白抜きの画素を０、クロスハッチングを施した画素を−１とすることができる。
【００３０】
図７は、１次微分フィルタの出力の絶対値を変換する変換テーブルの一例の説明図である。特徴量演算部１１は、図６に示すような係数マトリクスを用いて得られた１次微分値の絶対値のうちから最大のものを求め、その値で図７に示すような関数関係を有する変換テーブルを引く。そして、得られた変換結果を出力とする。限定階調化された画像のフィルタリング結果は、原画の濃度変化に加えて限定階調化の影響によるゆらぎが生じる場合が多いため、図７に示すような変換テーブルを用いた処理によって、出力の最大値／最小値付近の細かいゆらぎを抑えることができる。図中のＴｈ１ならびにＴｈ２は、このような細かい揺らぎを抑えることができるように、予め適当に定められる。また、大小関係を反転させているのは、平坦な領域ほど出力値が大きくなるように特徴量を変換し、次に述べる加重値設定部１２での処理を行なうためである。もちろん図７に示すような変換テーブルを用いずに構成することも可能である。
【００３１】
この具体例でも図３に示す近傍領域を用いるとすると、特徴量演算部１１では２５個の特徴量ｋ₀₀〜ｋ₄₄が計算され、加重値設定部１２に出力される。尚、この例では後述のように注目画素の特徴量は加重値の設定に用いないので、特徴量演算部１１では必要に応じて注目画素の特徴量ｋ₂₂の計算を省略してもよい。
【００３２】
図８は、加重値マトリクスの別の例の説明図である。加重値設定部１２では、図８（Ａ）に示すように予め設定された加重値マトリクスと、対応する特徴量とを乗算し、図８（Ｂ）に示すように、各近傍画素に対する加重値ｗ₀₀〜ｗ₄₄を求める。なお、注目画素の加重値は、ここでは１２８に固定されている。
【００３３】
加重値設定部１２で求められた加重値ｗ₀₀〜ｗ₄₄は、平均値計算部１３に転送される。平均値計算部１２では、注目画素を含む近傍領域の画素値ｐ₀₀〜ｐ₄₄と加重値ｗ₀₀〜ｗ₄₄から、前述の（１）式により加重平均値を求め、その結果を注目画素の復元値として画像出力部３に出力する。
【００３４】
平均値計算部１３では、上述の（１）式を用いて加重平均値を求めるほか、同様の結果をもたらす範囲でこれらを変形した構成を用いることもできる。例えば、上述の各具体例では、平均値計算部１３で加重値の総和による正規化や、出力値の範囲を０〜２５５にするための乗算を行なっているが、この部分を加重値設定部１２で行なうこともできる。具体的には、加重値設定部１２では加重値ｗ₀₀〜ｗ₄₄を求めた後に
ｗ_ij' ＝ｗ_ij／（ｗ₀₀＋ｗ₀₁＋…＋ｗ₄₃＋ｗ₄₄）×（２５５／２５）（ｉ，ｊ＝０〜４） −（２）
の演算を行なって各加重値ｗ_ijに変換し、平均値計算部１３では、
（復元値）＝ｗ₀₀’×ｐ₀₀＋ｗ₀₁’×ｐ₀₁＋…＋ｗ₄₃’×ｐ₄₃＋ｗ₄₄’×ｐ₄₄ −（３）
により復元値を求めるように構成しても、（１）式と同じ結果を得ることができる。
【００３５】
図９は、１次微分フィルタの係数マトリクスの別の例の説明図である。上述の具体例では、図６に示すような縦方向、横方向の濃度境界を検出する１次微分フィルタを用いたが、例えば、図９に示すような斜め方向に対応したフィルタや、あるいはサイズの異なるフィルタなどを付加することもできる。このようなフィルタを用いることによって、さらに細かい特徴量の検出を行ない、加重値を制御することにより、さらに良好な復元画像を得ることが可能である。
【００３６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、注目画素とその近傍画素の特徴量に応じた加重値を用いて平均化処理を行なって階調値の復元を行なうので、従来の単純な平均化と比べてエッジ部のぼけを抑えた良好な階調復元が可能となる。また、加重平均化処理であるため、単純平均化による復元と比べて十分な階調再現が可能な画像処理装置を実現することができるという効果がある。
【００３７】
また、請求項２に記載の発明のように、各近傍画素と注目画素との相対位置に応じて予め定められた閾値に基づいて、前記特徴量演算手段により求められた注目画素と近傍画素の特徴量の差と該閾値との比較結果に基づいて加重値を設定することにより、注目画素と特徴の類似した近傍画素のみを用いた階調復元処理が行なわれ、ぼけの少ない良好な階調復元処理を行なうことができる。
【００３８】
あるいは、請求項３に記載の発明のように、各近傍画素と注目画素との相対位置に応じて予め定められた値と、前記特徴量演算手段により求められた各近傍画素の特徴量とを演算して各画素の加重値を求めることにより、画像中の複雑な特徴変化に対応した階調復元処理を行なうことができる。
【００３９】
これらの処理に用いられる特徴量は、請求項４または５に記載の発明のように、画像の１次微分値または２次微分値を元に計算することで、画像中のエッジの存在やその度合いを反映した良好な階調復元処理を行なうことができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の実施の一形態を示すブロック図である。
【図２】本発明の画像処理装置の実施の一形態における階調復元処理部４の処理の流れの一例を示すフローチャートである。
【図３】近傍領域の一例の説明図である。
【図４】特徴量演算の一例の説明図である。
【図５】加重値設定部１２で使用される閾値マトリクスならびに加重値マトリクスの一例の説明図である。
【図６】特徴量を求めるための１次微分フィルタの係数マトリクスの一例の説明図である。
【図７】１次微分フィルタの出力の絶対値を変換する変換テーブルの一例の説明図である。
【図８】加重値マトリクスの別の例の説明図である。
【図９】１次微分フィルタの係数マトリクスの別の例の説明図である。
【符号の説明】
１…画像入力部、２…画像記憶部、３…画像出力部、４…階調復元処理部、５…制御部、１１…特徴量演算部、１２…加重値設定部、１３…平均値計算部。

Claims

入力画像中の各画素について前記入力画像の２次微分値ないしは２次微分値を平滑化した値を特徴量として求める特徴量演算手段と、各近傍画素と注目画素との相対位置に応じて予め定められた閾値に基づいて前記特徴量演算手段で求められた注目画素と近傍画素の特徴量の差と該閾値との比較結果に基づき注目画素とその近傍画素に対する加重値を設定する加重値設定手段と、前記注目画素ならびにその近傍画素に対応した画素値と加重値とから加重平均値を求める平均値計算手段を備え、与えられた画像中の各画素を注目画素として前記特徴量演算手段、前記加重値設定手段および前記平均値計算手段により階調復元処理を行なうことを特徴とする画像処理装置。
入力画像中の各画素について前記入力画像の１次微分値ないしは１次微分値を平滑化した値を特徴量として求める特徴量演算手段と、各近傍画素と注目画素との相対位置に応じて予め定められた閾値に基づいて前記特徴量演算手段で求められた注目画素と近傍画素の特徴量の差と該閾値との比較結果に基づき注目画素とその近傍画素に対する加重値を設定する加重値設定手段と、前記注目画素ならびにその近傍画素に対応した画素値と加重値とから加重平均値を求める平均値計算手段を備え、与えられた画像中の各画素を注目画素として前記特徴量演算手段、前記加重値設定手段および前記平均値計算手段により階調復元処理を行なうことを特徴とする画像処理装置。
入力画像中の各画素について前記入力画像の２次微分値ないしは２次微分値を平滑化した値を特徴量として求める特徴量演算手段と、各近傍画素と注目画素との相対位置に応じて予め定められた値と前記特徴量演算手段により求められた各近傍画素の特徴量とを用いた演算を行ない注目画素と各近傍画素に対する加重値を設定する加重値設定手段と、前記注目画素ならびにその近傍画素に対応した画素値と加重値とから加重平均値を求める平均値計算手段を備え、与えられた画像中の各画素を注目画素として前記特徴量演算手段、前記加重値設定手段および前記平均値計算手段により階調復元処理を行なうことを特徴とする画像処理装置。
入力画像中の各画素について前記入力画像の１次微分値ないしは１次微分値を平滑化した値を特徴量として求める特徴量演算手段と、各近傍画素と注目画素との相対位置に応じて予め定められた値と前記特徴量演算手段により求められた各近傍画素の特徴量とを用いた演算を行ない注目画素と各近傍画素に対する加重値を設定する加重値設定手段と、前記注目画素ならびにその近傍画素に対応した画素値と加重値とから加重平均値を求める平均値計算手段を備え、与えられた画像中の各画素を注目画素として前記特徴量演算手段、前記加重値設定手段および前記平均値計算手段により階調復元処理を行なうことを特徴とする画像処理装置。