JP4986957B2

JP4986957B2 - 画像補正装置

Info

Publication number: JP4986957B2
Application number: JP2008214004A
Authority: JP
Inventors: 昭二田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-08-22
Filing date: 2008-08-22
Publication date: 2012-07-25
Anticipated expiration: 2028-08-22
Also published as: JP2010050805A

Description

この発明のカラー画像を減色処理する際に発生するモワレなどの色むら修正する画像補正装置に関するものである。

フルカラー（24bit：RGB各8bit）で表現された画像をハイカラー（16bit：例えばRGB：5bit、6bit、5bit）に減色した場合に、モワレなどの色むらが発生する。
この問題に対し、従来技術では、ディザ処理により減色した際の量子化誤差を画像全体に拡散することによりモワレを目立たないようにしていた。（例えば、非特許文献１）

また別の技術では、文書をスキャナ等で読み込んだ場合に、本来単色で塗りつぶされている部分に色むらが発生する課題を解決するために、読み込んだ画像から単色領域を検出し、その領域を単色で塗りつぶすことにより発生した色むらを解消していた。（例えば、特許文献１）。

特開2002-142128号公報高木幹雄、下田陽久「画像解析ハンドブック」、東京大学出版会、1991-1月

従来技術では、画像全体にディザ処理を施すため、本来モワレが発生していない部分に対してもディザ処理の影響を受けることになり、例えば画像中の文字領域にディザ処理が施されてしまうと文字がかすれてしまうなどの問題があった。
また、別の従来技術では、単色領域の色むらは解消できるがグラデーション部分など色が滑らかに変化する部分に対しては適用できない問題があった。
この発明は上記課題を解決するためのものであり、減色処理により発生するモワレ部分を検出し、その部分にのみディザ処理を施すことによりディザ処理が他の部分に悪影響を及ぼさないようにした。

この発明に係る画像補正装置は、画像を入力する画像入力手段と、入力した画像を減色する画像減色手段と、原画像と減色画像のエッジを抽出するエッジ抽出手段と、エッジ抽出手段の抽出結果を用いて色むらを検出する色むら検出手段と、検出した色むらのみを対象として色むら補正を行う色むら補正手段を備える。

原画像と、原画像を減色処理した減色画像のエッジを抽出し、両画像のエッジから色むら部分を検出し、検出した色むらのみを対象として色むら補正手段が色むら補正を行うので、本来処理が不必要な部分への色むら補正処理による影響を抑えることが可能となり、例えば文字などを鮮明にしたまま色むらの無い減色画像を得ることが可能となる。

実施の形態１．
図１はこの発明の実施の形態１による画像補正装置を説明するための構成図である。図において1-1は原画像を入力する画像入力手段、1-2は原画像を指定された色数で減色する画像減色手段、1-3は原画像および減色画像からそれぞれエッジを抽出するエッジ抽出手段、1-4はエッジ抽出手段1-3の抽出結果により色むらが発生している部分を特定する色むら検出手段、1-5は発生した色むらを補正する色むら補正手段である。

図２は画像減色手段1-2でフルカラー画像を減色した結果を示す図である。図において2-1は原画像、2-2は減色後の画像、2-3は発生した色むら部分である。
図３はエッジ抽出手段1-3で原画像および減色画像からエッジを抽出した結果を示した図である。図において3-1は原画像から抽出したエッジ、3-2は減色画像から抽出したエッジである。
図４は、色むら抽出手段1-4で抽出した色むら部分を示している。
図５は、色むら補正手段1-5で色むらを補正した図である。
図６は、色むら補正手段1-5において色むらを補正するために用いる係数マトリクスである。
図７は、この発明の画像補正装置の動作を説明するためのフローチャートである。

以下図７を参照しながら動作を説明する。
画像入力手段1-1から原画像を入力する（ステップS1-1）。原画像は本実施の形態１では、フルカラー画像（24bitカラー：RGBそれぞれ8bit）とする。
次に、画像減色手段1-2において指定された色数で原画像を減色する（ステップS1-2）。ここで、本実施の形態１では、16bitカラーに減色した場合を説明する。
なお、256色以下で減色する場合は例えば、次の参考文献１に示された方式を用いて減色すればよい。
（参考文献１）Atsalakis, A.; Papamarkos, N.; Kroupis, N.; Soudris, D.; Thanailakis, A.“Colour quantisation technique based on image decomposition and its embedded system implementation”， Vision, Image and Signal Processing, IEE Proceedings - Volume 151, Issue 6, 30 Dec. 2004 Page(s): 511 524

画像減色手段1-2では、フルカラー画像（24bit）を16bitカラー（RGB:5bit,6bit,5bit）に変換するために、Rの下位3bit、Gの下位2bit、Bの下位3bitを０に設定する（ステップS1-2）。
画像減色手段1-2でフルカラー画像を減色した場合、特にグラデーション等が施された部分に、図２に示す通り減色後の画像にマッハバンドと呼ばれる色むら2-3が発生する。
次に、エッジ抽出手段1-3において原画像と減色後の画像をそれぞれグレースケールに変換する（ステップS1-3、ステップS1-4）。
ここで、カラー画像をグレースケール画像に変換するために、例えば，次式を用いて行う。

ここで，Gs(x,y)は座標値（x,y）における輝度値，R(x,y),G(x,y),B(x,y)は座標値(x,y)におけるカラー画像の画素値である。

次に、上記で変換した原画像と減色後の画像の２つのグレースケール画像に対してエッジ抽出処理を行う（ステップS1-5、ステップS1-6）。
ここでエッジ抽出処理は、例えば非特許文献１に示されたSobelフィルタを用いればよい。
Sobelフィルタは、注目画素の近傍の８画素値に対して、式２のように次の水平（fx）、垂直（fy）の係数を掛け合わせ、

最後に、式３によってエッジ強度Ｅを求める。

求めたエッジ強度Eに対して閾値Tにより２値化し、エッジを求める。
エッジ抽出手段1-3によって、図２の画像から図３に示すエッジ抽出結果が得られる。すなわち、原画像2-1から抽出したエッジ3-1と、減色画像2-2から抽出したエッジ3-2が得られる。

次に色むら抽出手段1-4によりエッジ抽出手段1-3で求めたエッジ画像3-1および3-2の差分を求める（ステップS1-7）。ここで、差分は、次式４の通り求める。

ここで、Difは差分画像、REは減色画像から求めたエッジ画像、OEは原画像から求めたエッジ画像である。以上の処理により、図４に示す画像4-1が得られる。

次に、求めた画像4-1の画素値が１である画素に着目し色むら補正手段1-5において色むらを補正する（ステップS1-8）。
色むら補正手段1-5では、色むら補正対象となっている画素の、予め定めた近傍の画素に対して誤差拡散処理を行い色むらを補正する。
本実施の形態１では、例えば補正対象画素の近傍9x9画素を処理対象として誤差拡散処理を行うことにする。なお、近傍の何画素を処理対象にするかは自由に決定してもよい。

誤差拡散処理は、原画像と減色後の各画素の誤差を周辺画素に拡散するものであり、図６に示すような係数を用いて誤差を拡散する。
具体的には式５の通りに処理する。

上記においてEは誤差、Oは原画像、Rは減色後の画像である。
前述で定めた処理対象画素に対して、誤差を周辺画素に拡散後に処理対象画素の減色値（RGB24bitをRGB16bitに変換した値）を求めることにより色むらが解消され、図５に示す通り原画像とほぼ同等の画像を得ることができる。

本実施の形態によれば、まず、色むらが発生している部分にのみ着目して誤差拡散するため、本来処理が必要でない部分への影響を抑えることが可能となり、例えば文字などを鮮明にしたまま色むらの無い減色画像を得ることが可能となる。

実施の形態２．
次に実施の形態２について説明する。
図８は、この発明の実施の形態２の構成図である。図において8-1は原画像を領域分割する領域分割手段、8-2は分割された領域単位で色むらを補正する領域色むら補正手段であり、請求項３，４における色むら補正手段に対応する。

例えば、図９の9-1に示す原画像を減色処理すると9-2の結果となり、9-3に示す色むらが発生しているとする。
この場合、背景9-4と円9-5は別の領域となっており、それぞれの領域内で発生した色むらは、別領域の色の影響を受けないように個別に解消したほうが望ましい。
そこで、本発明の実施の形態２では、図１０に示す通り、原画像からエッジ抽出した結果10-1に基き、領域分割手段8-1によりエッジが閉ループとなっている領域を求め、10-2に示す通り領域分割し、図１１に示す通り領域色むら補正手段8-2で各領域毎に色むら解消処理を行うことにより、領域毎に色むら解消可能とする。
なお、領域分割手段8-1はエッジが閉ループとなっている領域のみでなく、エッジと画面の端部とで閉領域を形成する場合も領域分割する。

図１２を用いて動作を説明する。
まず、画像入力手段1-1で原画像を入力する（ステップS2-1）、次に画像減色手段1-2において原画像を減色処理し減色画像を求める（ステップS2-2）。
次に、エッジ抽出手段1-3で原画像と減色画像それぞれをグレースケールに変換し（ステップS2-3〜S2-4）、このそれぞれのグレースケール画像からそれぞれエッジを抽出する（ステップS2-5〜S2-6）。
エッジ抽出手段1-3で求めた原画像のエッジ抽出結果から、領域分割手段8-1においてエッジが閉ループを形成する領域を分割する画像の領域分割処理をする（ステップS2-7）。

ここで、領域分割はエッジ抽出結果後の２値画像において、画素値が０となる画素を４連結処理で連結して行う。
４連結処理は、図１３に示す通り、まず、領域に属する画素を格納するための配列とスタックを用意し（ステップS3-1）、２値画像から画素値が０の画素を選択する（ステップS3-2）。
そして、選択した画素を注目画素とし、その座標値を領域配列に格納し、さらに注目画素をスタックに格納し、注目画素の値を０以外の値に設定する（ステップS3-3）。

次に、スタックが空か否かを検査する（ステップS3-4）。スタックが空でない場合は、まず、スタックから注目画素を取り出し（ステップS3-5）、注目画素の右隣の画素値を検査し、画素値が０の場合、右隣の画素を注目画素とし、領域配列に格納する。そして、注目画素をスタックに格納し、注目画素の値を０以外の値に変更し（ステップS3-6〜S3-7）、ステップS3-4に戻る。
ステップS3-6において、注目画素の右隣の画素値が０でない場合、注目画素の下の画素値を検査し、画素値が０の場合、下の画素を注目画素とし、領域配列に格納する。そして、注目画素をスタックに格納し、注目画素の値を０以外の値に変更し（ステップS3-8〜S3-9）、ステップS3-4に戻る。
以下、同様の処理を注目画素の左隣、上の画素に対しても行い（ステップS3-10〜S3-13）、以後、スタックが空になるまでこの処理を繰り返す。

ステップS3-4においてスタックが空の場合、１領域の処理が完了し、新たな領域を処理するための配列およびスタックを用意し（ステップS3-1）、処理を繰り返す。
ステップS3-2において画素値が０となる画素が存在しない場合は処理を終了する。

なお、領域分割手段8-1は、参考文献２に示す方法を用いて領域分割してもよい。
（参考文献２）田中他、「Octree Quantizationを用いた高速な画像領域分割手法」、第６５回情報処理学会全国大会、1G-5

上記の通り、領域分割手段8-1で領域分割したあと（ステップS2-7）、色むら検出手段1-4で原画像と減色画像のエッジ抽出画像の差分をとり、色むら解消処理対象画素を特定する（ステップS2-8）。

次に、領域分割手段8-1で求めた各領域10-2に対して個別に領域色むら補正手段8-2において領域内の色むらを補正する（ステップS2-9、ステップS2-10）。
ここで、図１１に示す11-1の領域を処理する場合、領域11-2は処理対象外となり、さらに、誤差拡散処理において、11-1の領域の誤差を11-2の領域に伝搬させないようにする。
具体的には、11-1の領域を処理する際、注目画素の周辺画素に11-2の領域画素が存在する場合、その画素には誤差を加算しないようにする。
次に、11-2の領域を処理する場合は、領域11-1に領域11-2の誤差を伝搬させないように処理する。

上記の通り、本発明の実施の形態２では、領域単位に色むらを解消することにより、各領域の色むら補正処理の影響を他の領域に及ぼすことなく全体の色むらを解消できる利点がある。

この発明による画像補正装置はデジタルカラー機器において減色処理を施すプリンタやスキャナーで読み込み記憶する画像記憶装置に利用可能であり、特に文字やグラフ、表等と写真等が混在する画像の処理に好適である。

この発明の実施の形態１による画像補正装置を説明するための構成図である。画像減色手段でフルカラー画像を減色した結果を示す図である。エッジ抽出手段が原画像および減色画像からエッジを抽出した結果を示した図である。色むら抽出手段で抽出した色むら部分を示す図である。色むら補正手段1-5で色むらを補正した図である。色むら補正手段で色むら補正のために用いる係数マトリクス図である。この発明の実施の形態１による画像補正装置の動作説明用フローチャートである。この発明の実施の形態２の構成図である。閉ループエッジ領域の存在する画像例の説明図である原画像からのエッジ抽出結果と閉ループエッジ領域の分割結果説明図である。各分割領域事に色むら解消処理を実施する説明図である。実施の形態２による画像補正装置の動作説明用フローチャートである。実施の形態２の領域分割手段による動作説明用フローチャートである。

符号の説明

1-1；画像入力手段、1-2；画像減色手段、1-3；エッジ抽出手段、1-4；色むら検出手段、1-5；色むら補正手段、8-1；領域分割手段、8-2；領域色むら補正手段。

Claims

原画像を入力する画像入力手段と、入力した原画像を減色する画像減色手段と、原画像と減色画像のエッジを抽出するエッジ抽出手段と、エッジ抽出手段の抽出結果を用いて色むらを検出する色むら検出手段と、検出した色むらのみを対象として色むら補正を行う色むら補正手段を備えたことを特徴とする画像補正装置。
色むら検出手段は、原画像と減色画像のエッジ抽出結果の差分をとることにより色むらが発生している部分を特定することを特徴とした請求項１に記載の画像補正装置。
エッジ抽出手段で抽出されたエッジにより形状される原画像の閉領域を分割する領域分割手段を備え、色むら検出手段は領域分割手段とエッジ抽出手段の結果に基き、減色画像を閉領域に分割して各分割領域の色むらを検出し、色むら補正手段は検出された色むらを分割された領域単位に補正することを特徴とする請求項１又は２に記載の画像補正装置。
色むら補正手段は、各分割領域内毎に色むらを補正し、色むら補正処理が他の分割領域に無影響になるよう色むら補正することを特徴とした請求項３に記載の画像補正装置。