JP6976758B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP6976758B2
JP6976758B2 JP2017136446A JP2017136446A JP6976758B2 JP 6976758 B2 JP6976758 B2 JP 6976758B2 JP 2017136446 A JP2017136446 A JP 2017136446A JP 2017136446 A JP2017136446 A JP 2017136446A JP 6976758 B2 JP6976758 B2 JP 6976758B2
Authority
JP
Japan
Prior art keywords
image
pixel
pixel value
value
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017136446A
Other languages
English (en)
Other versions
JP2019021993A (ja
JP2019021993A5 (ja
Inventor
亮介 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017136446A priority Critical patent/JP6976758B2/ja
Priority to US16/027,530 priority patent/US10708466B2/en
Publication of JP2019021993A publication Critical patent/JP2019021993A/ja
Publication of JP2019021993A5 publication Critical patent/JP2019021993A5/ja
Application granted granted Critical
Publication of JP6976758B2 publication Critical patent/JP6976758B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/405Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Description

本発明は、ハーフトーン処理に関する。
デジタル画像をレーザビームプリンタなどの電子写真プロセスによって再現する画像処理装置が広く普及している。かかる画像処理装置では、画像の中間調を再現するために、ドット集中型のハーフトーン処理(以下、AMスクリーン処理と呼ぶ)により、色材の付着領域の大きさ(いわゆる網点の大きさ)を変調することで階調再現を行う方法が一般に採用される。AMスクリーン処理では、画像の平坦部において均等間隔に同一形状の網点を形成するため、電子写真プロセスにおいて良好なハーフトーン処理結果が得られる。
しかしながら、AMスクリーン処理では、周期的なパターンをもつ画像や文字・細線部などの、高周波成分を多く含む領域において、AMスクリーンと画像に含まれる高周波成分との干渉が発生する。特に、AMスクリーンの周期に近い周期的パターンが入力されると強い干渉が発生し、その結果、モアレと呼ばれる周期的な縞模様が発生する。
このようなモアレを抑制するために、入力画像にローパスフィルタ(以下、LPFと略す)を適用し、モアレの原因となる高周波成分を除去してから、AMスクリーン処理を行う方法が知られている。しかしながら、入力画像に対してモアレの原因となる高周波数成分を取り除くのに十分なローパスフィルタをかけると、画像のエッジ部がなまるため、画像の鮮鋭性が低下してしまう。
そこで、モアレを抑制しつつ、鮮鋭性の良好なハーフトーン処理結果を得るために、特許文献1では以下の方法が提案されている。
特許文献1に記載の方法では、まず、入力画像にLPFを適用してモアレの原因となる高周波成分を除去した低周波成分画像に、AMスクリーン処理を行う。また、入力画像にAMスクリーン処理を行った画像にハイパスフィルタ(以下、HPFと略す)を適用して、低周波成分を除去した高周波成分画像を生成する。そして、AMスクリーン処理を行った低周波成分画像と高周波成分画像の二つの画像を加算して、出力画像を生成する。そうすることで、AMスクリーン処理によって発生するモアレを抑制しつつ、鮮鋭性の良好なハーフトーン処理結果を得ようとしている。
特開2016−136374号公報
しかしながら、特許文献1に記載の方法では、AMスクリーン処理を行った画像から生成した高周波成分画像に、すでに網点の高調波成分や、AMスクリーンと画像に含まれる高周波成分との干渉が生じてしまっているおそれがある。そのような場合、入力画像の高周波成分を適切に抽出することはできなくなってしまう。そのため、低周波成分画像に抽出した高周波成分を加算しても、入力画像の高周波成分を良好に補償することはできないおそれがあった。
本発明は、このような問題に鑑みてなされたものであり、AMスクリーンと入力画像に含まれる高周波成分との干渉を抑制しつつ、高周波成分の再現性の良好なハーフトーン処理結果を得ることを目的とする。
本発明の一実施形態における画像処理装置は、入力画像から低周波画像を生成する第1生成手段と、前記入力画像から高周波成分を抽出して高周波画像を生成する第2生成手段と、前記低周波画像に対してAMスクリーン処理してAMスクリーン画像を生成するスクリーン処理手段と、前記AMスクリーン画像に前記高周波画像を加算して、加算画像を生成する加算処理手段と、前記加算画像を補正する補正手段であって、前記加算画像において、所定の階調レンジ外の画素値を前記所定の階調レンジ内の画素値に置換し、前記所定の階調レンジ内の画素値による置換が行われた画素において生じる置換前の画素値と置換後の画素値との差分を、前記所定の階調レンジ内の画素値による置換が行われた画素以外の画素に分配する、補正手段とを有することを特徴とする。
本発明によれば、AMスクリーンと入力画像に含まれる高周波成分との干渉を抑制しつつ、高周波成分の再現性の良好なハーフトーン処理結果を得ることができる。
AMスクリーンと画像の空間周波数、及びモアレの関係を説明する図である。 LPFおよびHPFの周波数特性を説明する図である。 第一の実施形態のハーフトーン処理を行う画像処理装置の構成例を示すブロック図である。 第一の実施形態のLPF処理におけるフィルターの例を示す図である。 第一の実施形態のLPF処理およびHPF処理の結果の一例を示す図である。 第一の実施形態のディザマトリクスのマトリクステーブルの一例を示す図である。 第一の実施形態の高周波成分の有無によるスクリーン処理の結果の違いの一例を示す図である。 第一の実施形態の低周波成分のスクリーン処理画像と高周波成分画像とを加算した加算画像と、加算画像に対してクリップ処理を行った画像を示す図である。 第一の実施形態における階調制限処理のフローチャートである。 第一の実施形態の階調制限処理の結果を示す一例である。 第二の実施形態のハーフトーン処理を行う画像処理装置の構成例を示すブロック図である。 第二の実施形態における階調制限処理のフローチャートである。 第二の実施形態の階調制限処理の結果を示す一例である。 第三の実施形態のハーフトーン処理を行う画像処理装置の構成例を示すブロック図である。 第三の実施形態における階調制限処理のフローチャートである。 第三の実施形態の階調制限処理の結果を示す一例である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
第一の実施形態
(モアレ発生とその抑制)
まず、図1を参照して、AMスクリーンと画像の空間周波数、及びモアレの関係を説明する。図1に示すグラフの横軸は空間周波数を表し、縦軸は画像における当該周波数の成分の強度(パワー)を表している。なお、図1では、入力画像のサンプリング周波数(すなわち画像解像度)を「SpF」(Sampling Frequency)、AMスクリーンの周波数(すなわちスクリーン線数)を「ScF」(Screen Frequency)と略記している。
また、図1において、符号11は入力画像の周波数成分の強度分布、符号12は入力画像のサンプリング周波数の2分の1の空間周波数(SpF/2)の画素、符号13はAMスクリーンの周波数(ScF)の画素を示している。また、符号14はAMスクリーンの周波数の2分の1の空間周波数(ScF/2)の画素を示している。なお、本実施形態では、入力画像のサンプリング周波数(SpF)を23.6cycles/mm(画像解像度600dpi)とし、AMスクリーンの周波数(ScF)を5.9cycles/mm(スクリーン線数150lpi)とする。
AMスクリーン処理は、等間隔に並んだ網点の大きさを変化させることで階調を再現する技術である。AMスクリーン処理によると、実質的な階調再現の解像度は、入力画像のサンプリング周波数(SpF)からAMスクリーンの周波数(ScP)にリサンプリングされる。この際、入力画像の周波数成分11の内、ScF/2を超える高周波帯15に対応する成分(高周波成分)が、AMスクリーンと干渉し、低周波帯16に折り返しモアレが発生する(ナイキストの定理)。
本実施形態では、このようなモアレ発生の原因となる高周波成分を除去してからAMスクリーン処理を行った画像に対し、高周波成分を適切に合成する。そうすることで、モアレを抑制しつつ、高周波成分の再現性(すなわち、鮮鋭性)の良好なハーフトーン処理結果を得ることができる。
図2は、本実施形態で使用するLPFおよびHPFの周波数特性を説明する図である。図2に示すグラフの横軸は空間周波数を表し、縦軸は当該周波数の成分の強度(パワー)を表している。図2では、図1と同様に、入力画像のサンプリング周波数をSpF、AMスクリーンの周波数をScFと略記している。符号14は図1と同様に、ScF/2を示している。また、符号21はLPFの周波数特性、符号22はHPFの周波数特性を示している。
図1を参照して説明したように、モアレの原因となるのはScF/2以上の周波数成分である。このため、カットオフ周波数がScF/2付近にある周波数特性21のLPFを用いて入力画像を処理すると、モアレの原因部分が除去された低周波成分画像(低周波画像とも呼ぶ)が得られる。すなわち、カットオフ周波数は、AMスクリーン周波数の2分の1以下であればよい。したがって、得られた低周波成分画像に対してAMスクリーン処理を行ってもモアレは発生しないが、高周波成分が失われているため、画像の鮮鋭性が低下してしまう。また、AMスクリーン処理が行われる前の入力画像に対して、カットオフ周波数がScF/2付近にある周波数特性22のHPFを適用すると、入力画像の高周波成分を適切に抽出した高周波成分画像(高周波画像とも呼ぶ)を得ることができる。そこで、本実施形態では、入力画像から抽出した低周波成分画像にAMスクリーン処理を施した画像と、AMスクリーン処理を行わずに入力画像から抽出した高周波成分画像とを合成することで、全周波数のハーフトーン画像を取得する。
[装置の構成]
図3に、本実施形態のハーフトーン処理を行う画像処理装置の構成例を示す。
図3において、LPF処理部31は、入力画像から所定のカットオフ周波数よりも低い低周波成分を抽出して低周波成分画像を生成する。
HPF処理部33は、入力画像から所定のカットオフ周波数よりも高い高周波成分を抽出して、高周波成分画像を生成する。HPF処理部33は、単に通常のHPFを用いて構成してもよいが、本実施形態では、LPF処理部31と減算処理部32とを組み合わせてHPF処理部33を構成する。そうすることで、LPF処理部31のカットオフ周波数とHPF処理部33のカットオフ周波数とを容易に整合させることができる。
スクリーン処理部34は、LPF処理部31が出力する低周波成分画像にAMスクリーン処理を施して、AMスクリーン画像を生成する。加算処理部35は、スクリーン処理部34が出力するAMスクリーン画像と、HPF処理部33が出力する高周波成分画像とを加算した画像(加算画像)を生成する。
階調制限部36は、クリップ処理を行い、加算処理部35が生成した加算画像の画素値を所定の階調レンジ内に制限する。ただし、通常のクリップ処理では階調誤差による濃度変動(クリップ誤差)が生じるのに対して、本実施形態の階調制限部36は、注目画素のクリップ誤差を周辺の画素に重みづけて分配し、クリップ誤差を抑制した処理を行う。すなわち、階調制限部36は、加算画像において注目画素の周辺の画素の画素値を補正する。階調制限部36が行う処理の詳細は後述する。
量子化処理部37は、8ビット(256階調)の画像データを、画像処理装置が出力可能な階調数の画像データに変換する。例えば、画像形成装置は、PWM変調によってレーザ光の発光を制御して、1画素を15分割して形成し、1画素当り16階調を表現可能である。その場合、8ビット(256階調)の画像データをもつ各画素は、量子化処理部37により4ビット(16段階)に量子化される。例えば、量子化処理部37は、8ビット(256階調)の画像データから4ビットを切り捨てる(16で除算する)ことにより、量子化を行う。
[装置の構成の詳細]
以下に、本実施形態に係る画像処理装置の詳細な構成を説明する。
●LPF処理、HPF処理
(フィルターサイズ)
ここでは、LPF処理のフィルターサイズを具体的に説明する。図2を参照して説明したように、モアレの原因となる高周波数成分を除去するため、カットオフ周波数がScF/2付近となるサイズのフィルターが用いられる。図2に示すように、本実施形態においてScF/2は3.0cycles/mmであり、このようなフィルターは、1/(3.0cycles/mm×0.042mm/pixel)=7.9pixels/cycle以上となるような周波数成分を除去する。つまり、8×8サイズ程度の平均値フィルターであれば、カットオフ周波数がScF/2付近となる。本実施形態では、注目画素から上下左右で等距離を参照するように、一辺のサイズが奇数となる9×9サイズの平均値フィルターが用いられる。
図4は、本実施形態のLPF処理におけるフィルターの例を示す。図4には、9×9サイズの平均値フィルターが示されている。図示されたフィルターによると、各画素用の倍率を対応する画素の画素値に乗算したものの合計値を81で除算することにより、対象画素のフィルタリング出力が算出される。なお、ガウスフィルターが用いられる場合には、中央が加重的に平均化されるので、平均値フィルターの画素範囲の1.5倍程度である13×13サイズのフィルターが必要とされる。
また、モアレの原因となる周波数成分は、AMスクリーンの周波数(スクリーン線数)によって異なる。例えば、AMスクリーン線数が200lpi(ScF=7.9cycles/mm)である場合、モアレの原因は、3.9cycles/mm(ScF/2)以上の周波数成分となる。このような周波数成分を除去するフィルターは、1/(3.9cycles/mm×0.042mm/pixel)=6.0pixels/cycle以上となるような周波数成分を除去するフィルターである。つまり、6×6サイズ程度のフィルターであれば、カットオフ周波数をScF/2付近にすることができる。モアレを生じない周波数成分は、AMスクリーンにより階調が再現されるのが望ましい。そのため、モアレを生じない周波数成分を過度に除去しないように、スクリーン処理部34で処理されるAMスクリーンの周波数に応じて、フィルターサイズを可変とするとより効果的である。
(HPF処理)
本実施形態では、入力画像から、LPF処理部31で生成した低周波成分画像を減算することで、所定のカットオフ周波数よりも高い高周波成分を抽出した高周波成分画像を生成する。
図5は、本実施形態のLPF処理及びHPF処理の結果の一例を示す図である。図5(A)に、入力画像データの一例を示す。また、図5(B)に、入力画像データに対してLPF処理が行われた低周波成分画像データの一例を示す。つまり、図5(A)に示す入力画像データにLPF処理を施すことによって、図5(B)に示す処理結果が得られる。図5(C)に、入力画像データに対してHPF処理が行われた高周波成分画像データの一例を示す。つまり、図5(A)に示す入力画像データから、図5(B)に示す低周波成分画像データを減算すると、図5(C)に示す処理結果が得られる。
●スクリーン処理
図6に、第一の実施形態のスクリーン処理部34が使用するディザマトリクスのマトリクステーブルの一例を示す。図6に示すマトリクステーブルの各枠は画素に対応し、枠内の数値は閾値を表す。
本実施形態においては、入力の階調レンジは最小値0から最大値255の256値であり、出力は最小値0と最大値255の二値である。つまり、ディザマトリクスに入力される画像データが0以上閾値未満の場合は出力値0、画像データが閾値以上の場合は出力値255とする。本実施形態のディザマトリクスは、図6に太線で示す18画素からなる形状を有し、19レベルの階調を面積階調として表現することができる。
図7は、第一の実施形態の高周波成分の有無によるスクリーン処理の結果の違いの一例を示す図である。ここでは、図7を参照して、高周波成分の有無、すなわち、LPF処理の適用の有無によるスクリーン処理結果の違いについて説明する。
図7(A)は、図5(A)に示す入力画像データに対してAMスクリーン処理を施した画像データを示す。つまり、モアレの原因となる高周波成分を除去せずにAMスクリーン処理を施した場合の処理結果を示している。図7(A)の画像データには、AMスクリーンとの干渉により、長周期のムラ(すなわち、モアレ)が生じている。矢印71は、周期的に生じるムラのパターンの、1周期分の範囲を示している。
一方、図7(B)は、図5(B)に示すLPF処理が行われた低周波成分画像データにAMスクリーン処理を施した画像データを示す。つまり、モアレの原因となる高周波成分を除去してからAMスクリーン処理を施した場合の処理結果を示している。図7(B)の画像データには、AMスクリーン周波数との干渉によるモアレは生じていない。
●階調制限処理
(クリップ誤差発生)
図8は、低周波成分のスクリーン処理画像と高周波成分画像とを加算した加算画像と、加算画像に対してクリップ処理を行った画像を示す。以下では、図8を参照して、低周波成分にAMスクリーン処理を施した画像と高周波成分画像との加算、及びクリップ処理による濃度変動を説明する。
図8(A)は、図7(B)に示すAMスクリーン処理を施した低周波成分画像データに対して、図5(C)に示す高周波成分画像データを加算した画像データを示す。2つの画像にモアレはないので、合成した画像にもモアレは生じていない。また、図7(B)に示すAMスクリーン処理を施した低周波成分画像データの平均値は184であり、図5(C)に示す高周波成分画像データの平均値は0であるため、加算後の画像データの平均値は184となる。すなわち、画像データの平均値は変動していないため、濃度変動も生じていない。
図8(B)は、図8(A)の画像データに対して、一般的な8ビット階調レンジへのクリップ処理(255より大きい値は255に、0より小さい値は0に制限する)を実施した画像データの例を示す。図8(B)に示す画像データの平均値は171であり、クリップ処理前の図8(A)に示す画像データの平均値184よりも低下している。すなわち、平均値が変動しているので、図8(A)に示す画像データに対して濃度変動が生じている。
このような濃度変動は、加算された階調値がクリップ処理によって切り捨てられるために生じる。本実施形態では、クリップ処理した際の切り捨てによって生じる誤差(クリップ誤差)を周辺の画素に拡散することで、高周波成分の再現性を維持しつつ、濃度変動が発生するのを抑制する。
(階調制限処理)
図9は、本実施形態における階調制限部36よって行われる階調制限処理を示したフローチャートである。階調制限部36は、画像データを構成する画素を読み出しながら階調制限処理を行う。
まず、ステップS901において、加算処理部35で加算された画像データの注目画素(i,j)における画素値f(i,j)を取得する。次いで、ステップS902において、取得した画素値f(i,j)が255よりも大きいか否かを判定する。画素値f(i,j)が255よりも大きい場合、ステップS903に進む。一方、画素値f(i,j)が255以下の場合、ステップS904に進む。
ステップS903において、クリップ誤差(f(i,j)−255)を誤差レジスタErrに記憶し、画素値f(i,j)を255にクリップする。
ステップS904において、取得した画素値f(i,j)が0よりも小さいか否かを判定する。画素値f(i,j)が0よりも小さい場合、ステップS905に進む。一方、画素値f(i,j)が0以上の場合、ステップS907に進む。なお、ステップS907に進む場合とは、画素値f(i,j)が、255以下、かつ、0以上の場合であり、すなわち、階調レンジ内にある場合である。
ステップS905において、クリップ誤差(f(i,j)−0)を誤差レジスタErrに記憶し、画素値f(i,j)を0にクリップする。
ステップS906において、誤差レジスタErrに記憶されたクリップ誤差を、注目画素(i,j)の右隣(i,j+1)、左下(i+1,j−1)、下(i+1,j)および右下(i+1,j+1)の各画素に、次のように拡散する。すなわち、注目画素の周辺の画素の画素値を補正する。
f(i,j+1)=f(i,j+1)+Err×α(1)
f(i+1,j−1)=f(i+1,j−1)+Err×α(2)
f(i+1,j)=f(i+1,j)+Err×α(3)
f(i+1,j+1)=f(i+1,j+1)+Err×α(4)
ここで、係数αは、注目画素で生じた誤差を他の画素(誤差拡散画素)に拡散する割合(誤差拡散係数)である。すなわち、係数αは重みづけ係数である。本実施形態では、{α(1),・・・,α(4)}={7,3,5,1}/16とする。なお、誤差拡散画素及び誤差拡散係数は、これに限られるものではない。
ステップS907において、全ての画素について処理が完了したかを判定する。処理が完了したと判定されなかった場合には、注目画素を1画素右方向に移動し、ステップS902からステップS906までを繰り返す。なお、注目画素が右端まで来た場合、1ライン下の左端に注目画素を切り替える。全ての画素に対して処理が完了したと判定された場合には、処理を終了する。
図10は、図8(A)に示すAMスクリーン処理を施した低周波成分画像データに高周波成分を加算した画像データに対して、本実施形態における階調制限処理を実施した画像データを示す。図10に示す画像データの平均値は184であり、クリップ処理前の画像データの平均値184と一致している。すなわち、本実施形態における階調制限処理によると、濃度変動を抑制することができる。
このように、本実施形態では、AMスクリーンと入力画像に含まれる高周波成分との干渉を抑制したハーフトーン処理結果を得ることができる。また、クリップ処理によって切り捨てられることで生じる誤差(クリップ誤差)を、周辺の画素に拡散することで濃度変動が発生するのを抑制することができる。また、注目画素のクリップ誤差を周囲の画素で再現するので、高周波成分の再現性を維持することができる。
第二の実施形態
第一の実施形態では、注目画素で生じたクリップ誤差を周囲の画素に拡散することで、濃度変動の発生を抑制する方法を説明した。第二の実施形態では、複数の画素からなるブロック領域毎にクリップ誤差を分配して相殺する方法について説明する。即ち、本実施形態では、各ブロックでクリップ誤差の合計値を算出し、高周波成分画像に基づいて、クリップ誤差の分配先画素及び分配量を決定して、クリップ誤差を拡散する方法を説明する。
図11に、本実施形態のハーフトーン処理を行う画像処理装置の構成例を示す。本実施形態における階調制限部116は、第一の実施形態と異なり、HPF処理部33が生成した高周波成分画像を参照し、各画素の符号に基づいて、補正画素(クリップ誤差の分配先画素)及び補正量(クリップ誤差の分配量)を決定する。その他の構成は、第一の実施形態と同様である。
図12は、本実施形態における階調制限部116よって行われる階調制限処理を示したフローチャートである。階調制限部116は、画像データを構成する複数の画素のブロック領域毎に階調制限処理を行う。なお、ブロック領域のサイズは、カットオフ周波数(ScF/2)と同程度であることが望ましい。本実施形態では、6×6画素を1ブロックとする。
まず、ステップS1201において、加算処理部35で高周波成分が加算された画像データの注目ブロック領域のクリップ誤差の合計値Esを取得する。次いで、ステップS1202において、取得した合計値Esが0よりも大きいか否かを判定する。合計値Esが0よりも大きい場合、ステップS1203に進む。一方、合計値Esが0以下の場合、ステップS1205に進む。
ステップS1203では、クリップ誤差の合計値Esが0よりも大きい場合の、クリップ誤差の分配先画素を決定し、分配先画素の総数N1を算出する。具体的には、画像データの注目ブロック領域において画素値が255未満、かつ、高周波成分画像の注目ブロック領域において対応する画素の画素値が0より大きい画素を、分配先画素とする。
次に、ステップS1204で、クリップ誤差の合計値Esの分配処理を行う。具体的には、ステップS1203で決定したクリップ誤差の分配先画素のそれぞれに、クリップ誤差の合計値Esと分配先画素の総数N1で算出される分配量(補正量)Es/N1を加算する。なお、分配先画素の総数N1が0の場合は分配処理を行わない。
上述した処理によって、注目ブロック領域のクリップ誤差の合計値Esは、オーバーフローが生じていない画素(すなわち、画素値が255未満の画素)に分配されるため、階調を保存することができる。また、クリップ誤差の分配先画素を高周波成分画像の画素値が0より大きい画素(高周波成分に関して正方向へ補正させたい画素)に限定することで、高周波成分の再現性を維持することができる。
ステップS1205では、取得した合計値Esが0よりも小さいか否かを判定する。合計値Esが0よりも小さい場合、ステップS1206に進む。一方、合計値Esが0以上の場合、ステップS1208に進む。
ステップS1206では、クリップ誤差の合計値Esが0よりも小さい場合の、クリップ誤差の分配先画素を決定し、分配先画素の総数N2を算出する。具体的には、画像データの注目ブロック領域において画素値が0より大きく、かつ、高周波成分画像の注目ブロック領域において対応する画素の画素値が0未満の画素を、分配先画素とする。
次に、ステップS1207で、クリップ誤差の合計値Esの分配処理を行う。具体的には、ステップS1206で決定したクリップ誤差の分配先画素のそれぞれに、クリップ誤差の合計値Esと分配先画素の総数N2で算出される分配量Es/N2を加算する。なお、分配先画素の総数N2が0の場合は分配処理を行わない。
上述した処理によって、注目ブロック領域のクリップ誤差の合計値Esはアンダーフローが生じていない画素(すなわち、画素値が0より大きい画素)に分配されるため、階調を保存することができる。また、クリップ誤差の分配先画素を高周波成分画像の画素値が0より小さい画素(高周波成分に関して負方向へ補正させたい画素)に限定することで、高周波成分の再現性を維持することができる。
ステップS1208において、全てのブロック領域について処理を完了したかを判定する。処理が完了したと判定されなかった場合には、次のブロック領域に移動し、ステップS1202からステップS1207までを繰り返す。全てのブロック領域に対して処理が完了したと判定された場合には、処理を終了する。なお、本実施形態の処理はブロック領域毎に独立して行うことができるので、並列化により処理を高速化することができる。
なお、上述した処理の後に階調レンジを越えてオーバーフローまたはアンダーフローが発生している場合には、画像データを階調レンジ内に制限するクリップ処理を行ってもよい。
図13は、図8(A)に示すAMスクリーン処理を施した低周波成分画像データに高周波成分を加算した画像データに対して、本実施形態における階調制限処理を実施した画像データを示す。本実施形態のブロックは、図13に太線で示す36画素からなる領域である。図13に示す画像データの平均値は184であり、クリップ処理前の画像データの平均値184と一致している。すなわち、本実施形態における階調制限処理によると、濃度変動を抑制できる。また、本実施形態では、ブロック毎のクリップ誤差の合計値を、高周波成分に関して各符号方向へ補正させたい画素に限定して拡散しているので、高周波成分の再現性を維持することができる。
第三の実施形態
第一及び第二の実施形態では、高周波成分画像を加算した後の画像データからクリップ誤差を算出し、当該クリップ誤差を周囲の画素に拡散することで濃度変動を抑制する方法を説明した。第三の実施形態では、LPF処理部31で生成した低周波成分画像に基づいて、加算処理後に階調レンジを越えてオーバーフローまたはアンダーフローが発生する確率を算出し、クリップ誤差が抑制されるように高周波成分画像を補正する方法を説明する。すなわち、本実施形態では、加算処理後の画素値が所定の階調レンジ内にある状態で加算される加算量の期待値が、目標とする高周波成分画像の画素値と一致するように、高周波成分画像の画素値を補正する。加算処理前に予め高周波成分画像を補正することで、クリップ処理後の平均階調を維持し、濃度変動を抑制することができる。
図14に、本実施形態のハーフトーン処理を行う画像処理装置の構成例を示す。本実施形態における階調制限部146は、第一及び第二の実施形態と異なり、加算処理部35での加算処理の前に、低周波成分画像の各画素の画素値を参照して、高周波成分画像を補正する。
図15は、本実施形態における階調制限部146よって行われる処理を示したフローチャートである。階調制限部146は、高周波成分画像データを構成する画素毎に階調制限処理を行う。
まず、ステップS1501において、注目画素位置(i,j)を指定し、LPF処理部31によって生成された低周波成分画像データにおける画素値L(i,j)を取得する。また、ステップS1502において、HPF処理部33によって生成された高周波成分画像データの注目画素(i,j)における画素値H(i,j)を取得する。
ステップS1503において、取得した高周波成分画像データの画素値H(i,j)が0よりも大きいか否かを判定する。画素値H(i,j)が0よりも大きい場合、ステップS1504に進む。一方、画素値H(i,j)が0以下である場合、ステップS1505に進む。
ステップS1504において、低周波成分画像データの画素値L(i,j)に基づき、後に行う加算処理において加算される高周波成分画像データの画素値を補正する。ここでは、後に行う加算処理において出力が階調レンジを超えないで(オーバーフローしないで)加算される加算量の期待値が、目標とする画素値H(i,j)と一致するように、高周波成分画像データの画素値を補正する。
以下では、画素値H(i,j)が0よりも大きい場合の、補正後の高周波成分画像データH’(i,j)の算出方法について、具体的に説明する。
まず、後に行う加算処理において出力が階調レンジを超える(オーバーフローする)確率Rは、以下の式(1)により表される。ここで、画素値H(i,j)は0よりも大きいので、低周波成分画像データのスクリーン処理後画像の画素値が255である場合に、オーバーフローが発生する。画素値L(i,j)の画素がスクリーン処理によって255となる確率(すなわちオーバーフローが発生する確率R)は、以下の式(1)により表すことができる。
R=L(i,j)/255(1)
ここで、階調レンジを超えないで加算される加算量の期待値は、階調レンジを超えないで加算される確率と、階調レンジを超えないように補正した高周波成分画像データH’(i,j)との積で表すことができる。階調レンジを越えないで加算される確率は、オーバーフローしない確率と言いかえられ、1−Rによって表される。
この加算量の期待値が目標とする加算量H(i,j)と一致するように、補正した高周波成分画像データH’(i,j)を算出したいので、R、H(i,j)、H’(i,j)は以下の式(2)及び(3)に示す関係を満たす。
(1−R)×H’(i,j)=H(i,j) (2)
H’(i,j)=H(i,j)/(1−R)
=H(i,j)/(1−L(i,j)/255)
=H(i,j)×255/(255−L(i,j)) (3)
このように、式(3)により算出された画素値H’(i,j)で、高周波成分画像データの画素値を補正する。
ステップS1505では、取得した高周波成分画像データの画素値H(i,j)が0よりも小さいか否かを判定する。画素値H(i,j)が0よりも小さい場合、ステップS1506に進む。一方、画素値H(i,j)が0以上である場合、ステップS1507に進む。
ステップS1506において、低周波成分画像データの画素値L(i,j)に基づき、後に行う加算処理において加算される高周波成分画像データの画素値を補正する。ここでは、後に行う加算処理において出力が階調レンジを下回らないで(アンダーフローしないで)加算される加算量の期待値が、目標とする画素値H(i,j)と一致するように、高周波成分画像データの画素値を補正する。
以下では、画素値H(i,j)が0よりも小さい場合の、補正後の高周波成分画像データH’(i,j)の算出方法について、具体的に説明する。
まず、後に行う加算処理において出力が階調レンジを下回る(アンダーフローする)確率Rは、以下の式(4)により表される。ここで、画素値H(i,j)は0よりも小さいので、低周波成分画像データのスクリーン処理後画像の画素値が0である場合に、アンダーフローが発生する。画素値L(i,j)の画素がスクリーン処理によって0となる確率(すなわちアンダーフローが発生する確率R)は、以下の式(4)により表すことができる。
R=1−L(i,j)/255 (4)
また、上述したステップS1504と同様に、加算量の期待値が目標とする加算量H(i,j)と一致するように、補正した高周波成分画像データH’(i,j)を算出したいので、以下の式(5)が成り立つ。
H’(i,j)=H(i,j)/(1−R)
=H(i,j)/(L(i,j)/255)
=H(i,j)×255/L(i,j) (5)
このように、式(5)により算出された画素値画素値H’(i,j)で、高周波成分画像データの画素値を補正する。
ステップS1507において、全ての画素について処理を完了したかを判定する。処理が完了したと判定されなかった場合には、注目画素を次の画素に移動し、ステップS1501からステップS1506までを繰り返す。全ての画素に対して処理が完了したと判定された場合には、処理を終了する。
図16(A)は、図5(C)に示す高周波成分画像データに対して、本実施形態の階調制限処理を実施した画像データである。また、図16(B)は、図7(B)に示すAMスクリーン処理を施した低周波成分画像データに、図16(A)に示す階調制限処理を実施した高周波成分画像データを加算後、8ビット階調レンジへのクリップ処理を施した結果である。
図16(B)に示す画像データの平均値は184であり、低周波成分画像データの平均値184と一致している。本実施形態では、低周波成分画像からオーバーフローまたはアンダーフローが発生する割合を算出し、クリップ誤差が抑制されるように加算処理前の高周波画像を補正しているため、クリップ処理後の平均階調を維持し、濃度変動を抑制できる。また、本実施形態では、高周波成分の画素値を、オーバーフローまたはアンダーフローが発生する確率Rに基づいて強度のみを補正し、補正の正負の方向は変更しない。そのため、高周波成分画像の符号(高周波成分に関して各符号方向へ補正させたい画素)に基づいて適切に再現性を維持することができる。
また、本実施形態の処理は画素毎に独立して行うことができ、演算量も少なくなるので、第一及び第二の実施形態と比較して処理をさらに高速化することができる。
その他の実施形態
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
31 LPF処理部
32 減算処理部
33 HPF処理部
34 スクリーン処理部
35 加算処理部
36 階調制限部
37 量子化処理部

Claims (10)

  1. 入力画像から低周波成分を抽出して低周波画像を生成する第1生成手段と、
    前記入力画像から高周波成分を抽出して高周波画像を生成する第2生成手段と、
    前記低周波画像に対してAMスクリーン処理してAMスクリーン画像を生成するスクリーン処理手段と、
    前記AMスクリーン画像に前記高周波画像を加算して、加算画像を生成する加算処理手段と、
    前記加算画像を補正する補正手段であって、前記加算画像において、所定の階調レンジ外の画素値を前記所定の階調レンジ内の画素値に置換し、前記所定の階調レンジ内の画素値による置換が行われた画素において生じる置換前の画素値と置換後の画素値との差分を、前記所定の階調レンジ内の画素値による置換が行われた画素以外の画素に分配する、補正手段と
    を有することを特徴とする画像処理装置。
  2. 前記第1生成手段は、前記入力画像から所定のカットオフ周波数より低い低周波成分を抽出し、
    前記第2生成手段は、前記入力画像から前記所定のカットオフ周波数より高い高周波成分を抽出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記所定のカットオフ周波数は、前記スクリーン処理手段におけるAMスクリーン周波数の2分の1以下であることを特徴とする請求項に記載の画像処理装置。
  4. 前記補正手段は、前記差分を前記加算画像における注目画素の周辺の画素に拡散することを特徴とする請求項に記載の画像処理装置。
  5. 前記補正手段は、前記差分を前記周辺の画素に重みをつけて拡散することを特徴とする請求項に記載の画像処理装置。
  6. 前記補正手段は、複数の画素を含む所定のブロック領域毎に、前記複数の画素のそれぞれの画素値と前記所定の階調レンジとの比較による差分の合計値を算出し、前記高周波画像の画素値に基づいて、前記合計値を前記所定のブロック領域に含まれる前記複数の画素に分配することを特徴とする請求項に記載の画像処理装置。
  7. 前記補正手段は、
    前記合計値が0より大きい場合、前記ブロック領域において画素値が前記所定の階調レンジの最大値よりも小さく、かつ、前記高周波画像の対応する画素の画素値が0より大きい画素に分配し、
    前記合計値が0より小さい場合、前記ブロック領域において画素値が前記所定の階調レンジの最小値よりも大きく、かつ、前記高周波画像の対応する画素の画素値が0より小さい画素に分配することを特徴とする請求項に記載の画像処理装置。
  8. 前記補正手段は、加算処理後の画素値が前記所定の階調レンジ内にある状態で加算される加算量の期待値が、目標とする前記高周波画像の画素値と一致するように、前記低周波画像の画素値に基づいて、前記高周波画像の画素値を補正することを特徴とする請求項に記載の画像処理装置。
  9. 画像処理装置によって実行される画像処理方法であって、
    入力画像から低周波成分を抽出して低周波画像を生成する工程と、
    前記入力画像から高周波成分を抽出して高周波画像を生成する工程と、
    前記低周波画像に対してAMスクリーン処理してAMスクリーン画像を生成する工程と、
    前記AMスクリーン画像に前記高周波画像を加算して、加算画像を生成する工程と、
    前記加算画像を補正する工程であって、前記加算画像において、所定の階調レンジ外の画素値を前記所定の階調レンジ内の画素値に置換し、前記所定の階調レンジ内の画素値による置換が行われた画素において生じる置換前の画素値と置換後の画素値との差分を、前記所定の階調レンジ内の画素値による置換が行われた画素以外の画素に分配する、工程と
    を含むことを特徴とする画像処理方法。
  10. コンピュータを、請求項1乃至のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2017136446A 2017-07-12 2017-07-12 画像処理装置、画像処理方法、及びプログラム Active JP6976758B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017136446A JP6976758B2 (ja) 2017-07-12 2017-07-12 画像処理装置、画像処理方法、及びプログラム
US16/027,530 US10708466B2 (en) 2017-07-12 2018-07-05 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017136446A JP6976758B2 (ja) 2017-07-12 2017-07-12 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2019021993A JP2019021993A (ja) 2019-02-07
JP2019021993A5 JP2019021993A5 (ja) 2020-08-27
JP6976758B2 true JP6976758B2 (ja) 2021-12-08

Family

ID=65000710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136446A Active JP6976758B2 (ja) 2017-07-12 2017-07-12 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US10708466B2 (ja)
JP (1) JP6976758B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image
US10609286B2 (en) 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262879B2 (en) * 2001-03-28 2007-08-28 Sharp Laboratories Of America, Inc. Method for screening of halftone images
JP4143560B2 (ja) * 2004-03-05 2008-09-03 富士フイルム株式会社 閾値マトリクスの作成方法及びその装置
US7440139B2 (en) * 2005-01-13 2008-10-21 Xerox Corporation Systems and methods for controlling a tone reproduction curve using error diffusion
JP5562163B2 (ja) * 2010-07-27 2014-07-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5709479B2 (ja) * 2010-11-19 2015-04-30 キヤノン株式会社 画像処理装置および画像処理方法
JP5601333B2 (ja) * 2012-02-09 2014-10-08 コニカミノルタ株式会社 画像処理装置、閾値マトリクスの整形方法及びプログラム
JP2014202938A (ja) 2013-04-05 2014-10-27 キヤノン株式会社 画像形成装置及び画像形成方法
JP6335016B2 (ja) * 2014-05-12 2018-05-30 キヤノン株式会社 画像処理装置およびその方法
JP6276680B2 (ja) * 2014-11-05 2018-02-07 富士フイルム株式会社 画像処理装置及び方法、プログラム、並びに印刷システム
JP6560563B2 (ja) * 2015-01-16 2019-08-14 キヤノン株式会社 画像処理装置及び画像処理方法、コンピュータプログラム

Also Published As

Publication number Publication date
US10708466B2 (en) 2020-07-07
JP2019021993A (ja) 2019-02-07
US20190020784A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
KR100564467B1 (ko) 화상 처리 장치 및 화상 처리 방법 및 화상 처리프로그램을 기록한 기록 매체
JP3767732B2 (ja) 適応的誤差拡散方法および画像処理装置
KR100935495B1 (ko) 영상의 반복적인 복원과 융합을 기반으로 한자동초점복원장치 및 방법
US8160387B2 (en) Image processing method and computer software for image processing
US20140376056A1 (en) Image processing apparatus and method therefor
US6731823B1 (en) Method for enhancing the edge contrast of a digital image independently from the texture
EP1396816B1 (en) Method for sharpening a digital image
US8396318B2 (en) Information processing apparatus, information processing method, and program
JP2002314814A (ja) 画像処理装置
JP4107059B2 (ja) 画像処理方法および画像処理装置
JP4874184B2 (ja) 画像処理装置及び画像処理方法
JP6976758B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5534787B2 (ja) 画像処理装置及び画像処理方法
US7916967B2 (en) Image processing apparatus and image processing method
US8385679B2 (en) Apparatus and method for enhancing image base on luminance information of pixel
US9906686B2 (en) Image processing using content-based weighted dithering
US8139267B2 (en) Method, apparatus and program for creating a threshold value matrix
WO2017098832A1 (ja) 画像処理装置及びプログラム
US6347160B1 (en) Increasing the bit depth of and filtering dithered images for the purpose of inverse dithering
JP2001211324A (ja) 対象画素の出力カラーの選択方法およびデジタルハーフトーニングの誤差拡散法
JP2007215188A (ja) 画像変換方法、変換画像生成方法、および画像補正装置
JP6335016B2 (ja) 画像処理装置およびその方法
JP2020088449A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2002112030A (ja) 画像処理装置
JP2015005839A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211110

R151 Written notification of patent or utility model registration

Ref document number: 6976758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151