WO2009098830A1 - 鮮鋭化画像処理装置、方法、及びソフトウェア - Google Patents

鮮鋭化画像処理装置、方法、及びソフトウェア Download PDF

Info

Publication number
WO2009098830A1
WO2009098830A1 PCT/JP2008/073383 JP2008073383W WO2009098830A1 WO 2009098830 A1 WO2009098830 A1 WO 2009098830A1 JP 2008073383 W JP2008073383 W JP 2008073383W WO 2009098830 A1 WO2009098830 A1 WO 2009098830A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
gain
image
color difference
input image
Prior art date
Application number
PCT/JP2008/073383
Other languages
English (en)
French (fr)
Inventor
Hidetoshi Yamazaki
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to US12/865,973 priority Critical patent/US8351733B2/en
Priority to EP08872187.3A priority patent/EP2242020B1/en
Priority to BRPI0822280-0A priority patent/BRPI0822280A2/pt
Priority to MX2010008449A priority patent/MX2010008449A/es
Priority to CN2008801263878A priority patent/CN101933043B/zh
Publication of WO2009098830A1 publication Critical patent/WO2009098830A1/ja
Priority to HK11104480.6A priority patent/HK1150463A1/xx

Links

Images

Classifications

    • G06T5/75—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to image processing of an image display, printing, expression, photographing, and recording device, for example, a sharpened image processing device, a method, and software.
  • UM Unsharp Masking
  • AK Jain "Fundamentals of Digital” Image Processing ", see Prentice Hall, Inc., Inglewood Cliffs, NJ, 1989
  • Non-Patent Document 1 The unsharp masking method uses a characteristic of the human visual system called the Mach band effect. This characteristic is a visual phenomenon in which the perceived luminance of adjacent regions depends on the sharpness of the transition portion. Due to this property, the sharpness of the image can be improved by introducing more obvious changes between the image areas.
  • the basic idea of the unsharp masking method is to subtract a signal obtained by filtering the input signal with a low-pass filter from the input signal.
  • Edgebanding artifacts are highly undesirable artifacts in consumer images. In order not to make this feel visually, since it is necessary to disperse it in a sufficiently wide range, a large filter is required, and there is a problem of an increase in cost due to an increase in line memory in the smoothing means. .
  • the present invention provides a sharpened image processing apparatus that solves the above problems in view of the above-described conventional problems.
  • the present invention also provides a sharpened image processing method and software.
  • the sharpened image processing apparatus of the present invention smoothes the luminance of the input image, obtains a smoothed image, subtracting means for subtracting the smoothed image from the luminance of the input image to obtain a difference image, Luminance-linked gain calculation means for calculating a brightness-linked gain from the input image, first multiplication means for multiplying the difference image by the brightness-linked gain and obtaining a multiplication result, and the multiplication result as the brightness of the input image Addition means for obtaining the luminance of the output image, color difference gain calculating means for calculating the color difference gain from the color difference of the input image and the luminance interlock gain, and multiplying the color difference of the input image by the color difference gain, And a second multiplication means for obtaining a color difference of the output image. In this way, the sharpening process can be performed by changing only the luminance without changing the hue.
  • the luminance interlock gain calculation means calculates the luminance interlock gain so that a U gain in the luminance of the output image is smaller than an L gain.
  • the IIR filter is used for the past line
  • the line memory for the past line is set to one
  • the current line is cur
  • the past line is pre
  • the new past line is Newpre
  • the current line ratio is N
  • the past The percentage of the line is M
  • the luminance interlocking gain calculation means may calculate gains for all luminance values of the input image.
  • the luminance-linked gain calculation means may calculate the gain by dividing the luminance value of the input image into a plurality of sections and interpolating with setting values for each section.
  • the color difference gain calculating means uses Cb and Cr as the color difference of the input image, Y as the luminance, Cb unsharp and Cr unsharp as the color difference of the output image, and Y unsharp as the luminance of the input image in the color space in the luminance / color difference expression.
  • (X, y) is the highest saturation point on the straight line passing through the origin corresponding to the same hue and (Cb, Cr), and the highest saturation of the first and second primary colors constituting the input image is (Cb0, Cr0), (Cb1, Cr1), luminances Y0, Y1, and the angle between the origin and the straight line passing through (Cb, Cr) and the axis of Cb is ⁇ ,
  • the color difference gain may be calculated so that
  • the color difference gain calculating means is configured such that the color difference of the input image is Cb, Cr, the color difference of the output image is Cb unsharp , Cr unsharp , and the luminance from the input image to the output image in the color space in luminance / color difference expression. And Yb diff and Cbgain and Crgain as constants,
  • the color difference gain may be calculated so that
  • the sharpening image processing apparatus of the present invention can perform the sharpening process by changing only the luminance without changing the hue.
  • FIG. 1 is a block diagram showing an example of the configuration of a sharpened image processing apparatus of the present invention.
  • the sharpened image processing apparatus 1 smoothes the luminance of the input image and supplies the smoothed image to the subtracting unit 5, calculates the luminance interlock gain from the luminance of the input image, and calculates the color difference gain calculating unit 4.
  • FIG. 2 is a diagram showing a processed image waveform in the sharpened image processing apparatus 1 of FIG.
  • the flow of basic unsharp mask processing will be described with reference to FIG.
  • (1) is a luminance waveform of the input image.
  • (2) is a waveform (blurred image waveform) of a smoothed image obtained by smoothing (1).
  • (3) is a waveform of the difference image obtained by subtracting (2) from (1).
  • (4) is a luminance waveform of the output image obtained by multiplying (3) by the luminance interlock gain and adding (1).
  • the gain on the positive side is called the U gain
  • the gain on the negative side is called the L gain.
  • the U gain When the U gain is set to 0, it is possible to prevent the waveform from changing upward.
  • the luminance interlocking gain calculation means divides the luminance value of the input image into a plurality of sections in order to make the U gain zero, and when interpolation is performed with setting values for each section, the basic gain is set to 0 for all sections. The amount of change is also set to zero. Although it is not best to set the U gain to 0, it is generally preferable to make the U gain smaller than the L gain.
  • FIG. 3 is a diagram for explaining such a line memory reduction method.
  • N is the ratio of the current line
  • M is the ratio of the past line.
  • the processing on the future line side uses an FIR filter.
  • FIG. 4 is a graph for explaining an example of setting of the brightness interlocking gain in the brightness interlocking gain calculating means 3 of FIG.
  • the luminance interlocking gain calculation means 3 changes the gain according to the luminance value Y of the input image. For example, conversion may be performed by holding gains for all luminance values, but as shown in FIG. 4, the luminance value is divided into a plurality of sections (16 in FIG. 4), and a set value is set for each section.
  • the gain may be calculated by interpolation.
  • FIG. 5 is a graph for explaining the calculation of the color difference gain in the color difference gain calculation means 4 of FIG.
  • the color difference gain calculating means 4 and the multiplying means 8 perform the calculation as follows.
  • the luminance Yr at the point (x, y) is Y0 where the luminance of the primary color blue is Y0 and the luminance of the primary color magenta is Y1.
  • Yr Y0 + (Y1-Y0) ⁇ ratio It becomes.
  • the luminance at which the saturation on the straight line (same hue) passing through the point (Cb, Cr) and the origin is maximized is Yr.
  • the sharpened image processing apparatus of the present invention calculates the color difference gain based on the luminance interlocking gain, and performs the sharpening process by changing only the luminance without changing the hue. Can do.
  • the number of line memories can be reduced by using an IIR filter for the past line in the smoothing means.
  • the sharpened image processing apparatus of the present invention may be implemented as a circuit or may be implemented by a computer executing software.
  • the present invention can be implemented not only as a sharpening image processing apparatus as described above, but also as a sharpening image processing method performed in the sharpening image processing apparatus, or software that causes a computer to execute the sharpening image processing method. is there. Further, such software may be stored in a recording medium or downloaded from a network such as the Internet.
  • the present invention is applicable to a sharpened image processing apparatus, method, and software.

Abstract

色相を変化させることなく、輝度のみを変化させて鮮鋭化処理を行うことができる鮮鋭化画像処理装置を提供する。入力画像の輝度を平滑化し、平滑化画像を得る平滑化手段と、前記入力画像の輝度から前記平滑化画像を減算し、差分画像を得る減算手段と、前記入力画像から輝度連動ゲインを計算する輝度連動ゲイン計算手段と、前記差分画像に前記輝度連動ゲインを乗算し、乗算結果を得る第１の乗算手段と、前記乗算結果を前記入力画像の輝度に加算し、出力画像の輝度を得る加算手段と、入力画像の色差と前記輝度連動ゲインから色差用ゲインを計算する色差用ゲイン計算手段と、前記入力画像の色差に前記色差用ゲインを乗算し、出力画像の色差を得る第２の乗算手段とを備える。

Description

鮮鋭化画像処理装置、方法、及びソフトウェア
　本発明は、画像表示、印刷、表現、撮影、記録装置の画像処理に関し、例えば、鮮鋭化画像処理装置、方法、及びソフトウェアに関する。
　ぼけた画像を向上させるのに使用することができる単純な線形演算子として、アンシャープマスキング（Ｕｎｓｈａｒｐ　Ｍａｓｋｉｎｇ：ＵＭ）法がある（Ａ．Ｋ．ジャイン（Ｊａｉｎ）「デジタルイメージの基礎（Ｆｕｎｄａｍｅｎｔａｌｓ　ｏｆ　Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ）」プレンティスホール（Ｐｒｅｎｔｉｃｅ　Ｈａｌｌ）社、ニュージャージー州イングルウッドクリフス、１９８９年（非特許文献１）、を参照されたい）。アンシャープマスキング法は、マッハ（Ｍａｃｈ）バンド効果と呼ばれる、人間の視覚系の特性を利用する。この特性は、隣り合う領域の知覚される輝度が遷移部の鮮明度に依存するという視覚的な現象である。この特性により、画像の鮮明度は、画像領域の間により多くの明白な変化を導入することによって向上させることができる。アンシャープマスキング法の基本的な考え方は、入力信号から、入力信号を低域フィルタによって濾波した信号を減算させることである。
　図６は、このような従来のアンシャープマスキング法を行うアンシャープマスキング装置の構成を一例を示すブロック図である。アンシャープマスキング装置１１は、入力画像の輝度を平滑化し、減算手段１３に平滑化画像を供給する平滑化手段１２と、入力画像の輝度から平滑化画像を減算して差分画像を計算し、乗算手段１４に供給する減算手段１３と、差分画像に定数を乗算し、乗算結果を加算手段１５に供給する乗算手段１４と、乗算結果を入力画像の輝度に加算し、出力画像の輝度を出力する加算手段１５とを備える。
　アンシャープマスキング法による輪郭強調処理には、例えば、ラプラシアンを用いた鮮鋭化（土屋裕、深田陽司共著「画像処理」、テレビジョン学会参考書シリーズ、コロナ社、ＩＳＢＮ４－３３９－０１０７０－７（非特許文献２）の５８～５９ページ、７２～７３ページを参照）や、クリスプニング（特開昭５２－２６６１１６号公報（特許文献１）の図１、２で開示）など、様々なものがある。
特開昭５２－２６６１１６号公報 Ａ．Ｋ．ジャイン（Ｊａｉｎ）「デジタルイメージの基礎（Ｆｕｎｄａｍｅｎｔａｌｓ　ｏｆ　Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ）」プレンティスホール（Ｐｒｅｎｔｉｃｅ　Ｈａｌｌ）社、ニュージャージー州イングルウッドクリフス、１９８９年 土屋裕、深田陽司共著「画像処理」、テレビジョン学会参考書シリーズ、コロナ社、ＩＳＢＮ４－３３９－０１０７０－７
　しかしながら、上記従来例では、輝度のみを変化させて画像処理を行いたい場合であっても、彩度が表示装置や印刷装置等の表現装置で表現できる範囲を超えてしまい、表現できる範囲に丸め込まれてしまうため、色相も変化してしまうという問題があった。
　また、アンシャープマスキング技術の共通問題、すなわち、高コントラストのエッジ周辺に明暗のバンドが生成される（バンディング（ｂａｎｄｉｎｇ））という問題もある。アンシャープ（丸み）（低周波）成分により、シャープエッジ信号は丸みを帯び、滑らかなエッジが生成される。よって、オリジナル画像とアンシャープ画像との差信号（高周波成分）は、シャープエッジ周辺にオーバーシュート及びアンダーシュートを含む。この差信号をダイナミックレンジの圧縮された低周波成分に再び加えると、シャープエッジ周辺に存在する圧縮されない又は増幅されたオーバーシュート及びアンダーシュート信号により、エッジ付近に明るいバンド及び暗いバンドが生成される。このアーティファクトは、コントラストの強いエッジ付近でよりはっきり見られるため、エッジバンディングアーティファクトと呼ばれる。エッジバンディングアーティファクトは、消費者画像において非常に好ましくないアーティファクトである。これを視覚的に感じさせないようにするには、十分に広い範囲に分散させることが必要になるため、大きなフィルタが必要となり、平滑化手段におけるラインメモリの増大によるコストの増加といった問題もあった。
　本発明は、上記従来の問題点に鑑み、上記課題を解決する鮮鋭化画像処理装置を提供する。本発明はまた、鮮鋭化画像処理方法、及びソフトウェアも提供する。
　本発明の鮮鋭化画像処理装置は、入力画像の輝度を平滑化し、平滑化画像を得る平滑化手段と、前記入力画像の輝度から前記平滑化画像を減算し、差分画像を得る減算手段と、前記入力画像から輝度連動ゲインを計算する輝度連動ゲイン計算手段と、前記差分画像に前記輝度連動ゲインを乗算し、乗算結果を得る第１の乗算手段と、前記乗算結果を前記入力画像の輝度に加算し、出力画像の輝度を得る加算手段と、入力画像の色差と前記輝度連動ゲインから色差用ゲインを計算する色差用ゲイン計算手段と、前記入力画像の色差に前記色差用ゲインを乗算し、出力画像の色差を得る第２の乗算手段とを備えることを特徴とする。このようにして、色相を変化させることなく、輝度のみを変化させて鮮鋭化処理を行うことができる。
　好適には、前記輝度連動ゲイン計算手段は、前記出力画像の輝度におけるＵゲインがＬゲインより小さくなるように前記輝度連動ゲインを計算する。
　前記平滑化手段において、過去ラインにＩＩＲフィルタを用い、過去ライン用のラインメモリを１つにし、現ラインをｃｕｒ、過去ラインをｐｒｅ、新しい過去ラインをＮｅｗｐｒｅ、現在のラインの割合がＮ、過去のラインの割合がＭとして、
Figure JPOXMLDOC01-appb-M000010
となるようにしてもよい。このようにすれば、ラインメモリの数を減らすことができる。
　前記輝度連動ゲイン計算手段は、入力画像のすべての輝度値に対するゲインを計算するようにしてもよい。
　前記輝度連動ゲイン計算手段は、入力画像の輝度値を複数の区間に分割し、区間ごとに設定値をおいて補間することでゲインを計算するようにしてもよい。
　前記色差用ゲイン計算手段は、輝度・色差表現での色空間において、入力画像の色差をＣｂ、Ｃｒ、輝度をＹ、出力画像の色差をＣｂｕｎｓｈａｒｐ、Ｃｒｕｎｓｈａｒｐ、輝度をＹｕｎｓｈａｒｐとし、入力画像と同じ色相にあたる原点と（Ｃｂ，Ｃｒ）を通る直線上の最も彩度が高い点を（ｘ，ｙ）とし、入力画像を構成する第１及び第２の原色の最高彩度を（Ｃｂ０，Ｃｒ０）、（Ｃｂ１，Ｃｒ１）、輝度をＹ０、Ｙ１とし、原点と（Ｃｂ，Ｃｒ）を通る直線とＣｂの軸とが成す角をθすると、
Figure JPOXMLDOC01-appb-M000011
となり、線分（Ｃｂ０，Ｃｒ０）－（Ｃｂ１，Ｃｒ１）上において点（ｘ，ｙ）が分割している割合ｒａｔｉｏは、
Figure JPOXMLDOC01-appb-M000012
となり、点（ｘ，ｙ）における輝度Ｙｒは、
Ｙｒ＝Ｙ０＋（Ｙ１－Ｙ０）×ｒａｔｉｏ
となり、Ｙ＞Ｙｒのとき、
Figure JPOXMLDOC01-appb-M000013
Ｙ＜Ｙｒのとき、
Figure JPOXMLDOC01-appb-M000014
となり、入力画像から出力画像への輝度の変化をＹｄｉｆｆとすると、
Ｙｕｎｓｈａｒｐ＝Ｙ＋Ｙｄｉｆｆ
となり、Ｙｕｎｓｈａｒｐ＞Ｙｒのとき、
Figure JPOXMLDOC01-appb-M000015
Ｙｕｎｓｈａｒｐ＜Ｙｒのとき、
Figure JPOXMLDOC01-appb-M000016
となり、
Figure JPOXMLDOC01-appb-M000017
となるように色差用ゲインを計算するようにしてもよい。
　より簡略化し、前記色差用ゲイン計算手段は、輝度・色差表現での色空間において、入力画像の色差をＣｂ、Ｃｒ、出力画像の色差をＣｂｕｎｓｈａｒｐ、Ｃｒｕｎｓｈａｒｐ、入力画像から出力画像への輝度の変化をＹｄｉｆｆとし、Ｃｂｇａｉｎ、Ｃｒｇａｉｎを定数とすると、
Figure JPOXMLDOC01-appb-M000018
となるように色差用ゲインを計算するようにしてもよい。
　本発明の鮮鋭化画像処理装置は、色相を変化させることなく、輝度のみを変化させて鮮鋭化処理を行うことができる。
本発明の鮮鋭化画像処理装置の構成の一例を示すブロック図である。 図１の鮮鋭化画像処理装置１における処理画像波形を示す図である。 ラインメモリ削減方法を説明する図である。 図１の輝度連動ゲイン計算手段３における輝度連動ゲインの設定の一例を説明するグラフである。 図１の色差用ゲイン計算手段４における色差用ゲインの計算を説明するグラフである。 従来のアンシャープマスキング装置の構成を一例を示すブロック図である。
符号の説明
１　鮮鋭化画像処理装置
２、１２　平滑化手段
３　輝度連動ゲイン計算手段
４　色差用ゲイン計算手段
５、１３　減算手段
６、８、１４　乗算手段
７、１５　加算手段
１１　アンシャープマスキング装置
＜実施例１＞
　図１は、本発明の鮮鋭化画像処理装置の構成の一例を示すブロック図である。鮮鋭化画像処理装置１は、入力画像の輝度を平滑化し、減算手段５に平滑化画像を供給する平滑化手段２と、入力画像の輝度から輝度連動ゲインを計算し、色差用ゲイン計算手段４と乗算手段６に供給する輝度連動ゲイン計算手段３と、入力画像の色差と輝度連動ゲインとから色差用ゲインを計算し、乗算手段８に供給する色差用ゲイン計算手段４と、入力画像の輝度から平滑化画像を減算して差分画像を計算し、乗算手段６に供給する減算手段５と、差分画像と輝度連動ゲインとを乗算し、乗算結果を加算手段７に供給する乗算手段６と、乗算結果を入力画像の輝度に加算し、出力画像の輝度を出力する加算手段７と、色差用ゲインと入力画像の色差とを乗算し、出力画像の色差を出力する乗算手段８とを備える。
　図２は、図１の鮮鋭化画像処理装置１における処理画像波形を示す図である。図２を参照し、基本的なアンシャープマスク処理の流れを説明する。（１）は、入力画像の輝度波形である。（２）は、（１）を平滑化して得られる平滑化画像の波形（ぼけ画像波形）である。（３）は、（１）から（２）を減算した差分画像の波形である。（４）は、（３）に輝度連動ゲインを掛け、（１）を足して得られる出力画像の輝度波形である。差分波形が正側のゲインをＵゲイン、負側のゲインをＬゲインと呼ぶ。Ｕゲインを０にすると、波形に上側の変化をさせないようにすることができる。（５）は、Ｕゲインを０にした場合の出力画像の輝度波形である。輝度連動ゲイン計算手段は、Ｕゲインをゼロにするために、入力画像の輝度値を複数の区間に分割し、区間ごとに設定値をおいて補間する場合は、すべての区間について基本ゲインを０、変化量も０に設定する。Ｕゲインを０にするのが最もよいわけではないが、一般に、ＵゲインをＬゲインよりも小さくすることが好ましい。
　図１の平滑化手段２において、バンドアーティファクトの軽減のために、ＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ：有限インパルス応答）フィルタではタップ数の大きなフィルタが必要になる。このため、必然的にラインメモリの増大が発生し、コストの上昇につながる。そこで、過去ラインにＩＩＲ（Ｉｎｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ：無限インパルス応答）フィルタを用いて過去ライン用のラインメモリを１つにすれば、ラインメモリを削減することができる。図３は、このようなラインメモリ削減方法を説明する図である。現ライン（ｃｕｒ）と過去ライン（ｐｒｅ）を、
Figure JPOXMLDOC01-appb-M000019
とすることで、新しい過去ライン（Ｎｅｗ　ｐｒｅ）とする。ここで、Ｎは現在のラインの割合、Ｍは過去のラインの割合である。なお、未来ライン側の処理はＦＩＲフィルタを利用する。
　図４は、図１の輝度連動ゲイン計算手段３における輝度連動ゲインの設定の一例を説明するグラフである。輝度連動ゲイン計算手段３は、入力画像の輝度値Ｙによってゲインを変化させる。例えば、すべての輝度値に対するゲインを保持することで変換してもよいが、図４に示すように、輝度値を複数（図４では１６）の区間に分割し、区間ごとに設定値を置いて補間することでゲインを計算するようにしてもよい。
　図５は、図１の色差用ゲイン計算手段４における色差用ゲインの計算を説明するグラフである。色差用ゲイン計算手段４及び乗算手段８では、以下のように計算する。
　輝度（Ｙ）色差（Ｃｂ，Ｃｒ）表現での色空間において、６原色（黄、シアン、マゼンタ、緑、赤、青）は、Ｃｂ及びＣｒを軸とするグラフで６角形を示し、例えば、青とマゼンタとの間の部分を考えると、図５の上図に示すようになる。
　今、図５の上図において△で示した（Ｃｂ，Ｃｒ）の入力画像が得られたとして、同じ色相にあたる点、すなわち、原点と（Ｃｂ，Ｃｒ）を通る直線上の最も彩度が高い（原点からの距離が遠い）点（ｘ，ｙ）を考える。原色青（Ｃｂ０，Ｃｒ１）と原色マゼンタ（Ｃｂ１，Ｃｒ１）より彩度が高い点は表現できず、その中間色で最も彩度が高い色は互いを直線で結んだ（Ｃｂ０，Ｃｒ０）－（Ｃｂ１，Ｃｒ１）上に存在するので、
Figure JPOXMLDOC01-appb-M000020
と求めることができる。線分（Ｃｂ０，Ｃｒ０）－（Ｃｂ１，Ｃｒ１）上において、点（ｘ，ｙ）がどの割合（ｒａｔｉｏ）で分割しているかを考えると、
Figure JPOXMLDOC01-appb-M000021
となる。原色青の輝度をＹ０、原色マゼンタの輝度をＹ１として、点（ｘ，ｙ）における輝度Ｙｒは、
Ｙｒ＝Ｙ０＋（Ｙ１－Ｙ０）×ｒａｔｉｏ
となる。△点（Ｃｂ，Ｃｒ）と原点を通る直線上（同一色相）での彩度が最大になる輝度がＹｒである。
　入力画像（Ｙ，Ｃｂ，Ｃｒ）に対して、
Ｙ＞Ｙｒのとき、
Figure JPOXMLDOC01-appb-M000022
となり、
Ｙ＜Ｙｒのとき、
Figure JPOXMLDOC01-appb-M000023
となる。輝度の変化Ｙｄｉｆｆを使うと、
Ｙｕｎｓｈａｒｐ＝Ｙ＋Ｙｄｉｆｆ
となる。Ｙｕｎｓｈａｒｐ＞Ｙｒのとき、
Figure JPOXMLDOC01-appb-M000024
Ｙｕｎｓｈａｒｐ＜Ｙｒのとき、
Figure JPOXMLDOC01-appb-M000025
となり、
Figure JPOXMLDOC01-appb-M000026
のように輝度に対応した色相を変化させない色差信号を得ることができる。
　他の６原色間の場合についても同様に計算する。
　平滑化手段におけるＦＩＲフィルタ、ＩＩＲフィルタの処理は、公知の技術を用いるものとし、ここでさらに詳細には説明しない。
＜実施例２＞
　色差用ゲイン計算手段４及び乗算手段８は、より簡便な方法として、Ｃｂｇａｉｎ、Ｃｒｇａｉｎは定数にして、
Figure JPOXMLDOC01-appb-M000027
のように計算してもよい。例えば、Ｕゲイン側を＋０．５、Ｌゲイン側を－０．５とすることが望ましい。
　以上説明したように、本発明の鮮鋭化画像処理装置は、輝度連動ゲインに基づいて色差用ゲインを計算することで、色相を変化させることなく、輝度のみを変化させて鮮鋭化処理を行うことができる。
　また、平滑化手段において過去ラインにＩＩＲフィルタを用いることで、ラインメモリの数を減らすことができる。
　本発明の鮮鋭化画像処理装置は、回路として実現してもよく、ソフトウェアによってコンピュータが実行するようにして実現してもよい。
　また、本発明は、上述したような鮮鋭化画像処理装置だけでなく、鮮鋭化画像処理装置において行われる鮮鋭化画像処理方法や、鮮鋭化画像処理方法をコンピュータに実行させるソフトウェアとしても実施可能である。また、このようなソフトウェアは、記録媒体に格納されている形態であっても、インターネット等のネットワークからダウンロード可能な形態であってもよい。
　本発明は、鮮鋭化画像処理装置、方法、及びソフトウェアに利用可能である。

Claims (9)

  1. 　入力画像の輝度を平滑化し、平滑化画像を得る平滑化手段と、
    　前記入力画像の輝度から前記平滑化画像を減算し、差分画像を得る減算手段と、
    　前記入力画像から輝度連動ゲインを計算する輝度連動ゲイン計算手段と、
    　前記差分画像に前記輝度連動ゲインを乗算し、乗算結果を得る第１の乗算手段と、
    　前記乗算結果を前記入力画像の輝度に加算し、出力画像の輝度を得る加算手段と、
    　入力画像の色差と前記輝度連動ゲインから色差用ゲインを計算する色差用ゲイン計算手段と、
    　前記入力画像の色差に前記色差用ゲインを乗算し、出力画像の色差を得る第２の乗算手段とを備えることを特徴とする鮮鋭化画像処理装置。
  2. 　前記輝度連動ゲイン計算手段は、前記出力画像の輝度におけるＵゲインがＬゲインより小さくなるように前記輝度連動ゲインを計算することを特徴とする請求項１記載の鮮鋭化画像処理装置。
  3. 　前記平滑化手段において、過去ラインにＩＩＲフィルタを用い、過去ライン用のラインメモリを１つにし、現ラインをｃｕｒ、過去ラインをｐｒｅ、新しい過去ラインをＮｅｗｐｒｅ、現在のラインの割合がＮ、過去のラインの割合がＭとして、
    Figure JPOXMLDOC01-appb-M000001
     となるようにすることを特徴とする請求項１又は２に記載の鮮鋭化画像処理装置。
  4. 　前記輝度連動ゲイン計算手段は、入力画像のすべての輝度値に対するゲインを計算することを特徴とする請求項１乃至３のいずれか１項に記載の鮮鋭化画像処理装置。
  5. 　前記輝度連動ゲイン計算手段は、入力画像の輝度値を複数の区間に分割し、区間ごとに設定値をおいて補間することでゲインを計算することを特徴とする請求項１乃至３のいずれか１項に記載の鮮鋭化画像処理装置。
  6. 　前記色差用ゲイン計算手段は、輝度・色差表現での色空間において、入力画像の色差をＣｂ、Ｃｒ、輝度をＹ、出力画像の色差をＣｂｕｎｓｈａｒｐ、Ｃｒｕｎｓｈａｒｐ、輝度をＹｕｎｓｈａｒｐとし、入力画像と同じ色相にあたる原点と（Ｃｂ，Ｃｒ）を通る直線上の最も彩度が高い点を（ｘ，ｙ）とし、入力画像を構成する第１及び第２の原色の最高彩度を（Ｃｂ０，Ｃｒ０）、（Ｃｂ１，Ｃｒ１）、輝度をＹ０、Ｙ１とし、原点と（Ｃｂ，Ｃｒ）を通る直線とＣｂの軸とが成す角をθすると、
    Figure JPOXMLDOC01-appb-M000002
     となり、線分（Ｃｂ０，Ｃｒ０）－（Ｃｂ１，Ｃｒ１）上において点（ｘ，ｙ）が分割している割合ｒａｔｉｏは、
    Figure JPOXMLDOC01-appb-M000003
     となり、点（ｘ，ｙ）における輝度Ｙｒは、
    Ｙｒ＝Ｙ０＋（Ｙ１－Ｙ０）×ｒａｔｉｏ
    となり、Ｙ＞Ｙｒのとき、
    Figure JPOXMLDOC01-appb-M000004
     Ｙ＜Ｙｒのとき、
    Figure JPOXMLDOC01-appb-M000005
     となり、入力画像から出力画像への輝度の変化をＹｄｉｆｆとすると、
    Ｙｕｎｓｈａｒｐ＝Ｙ＋Ｙｄｉｆｆ
    となり、Ｙｕｎｓｈａｒｐ＞Ｙｒのとき、
    Figure JPOXMLDOC01-appb-M000006
     Ｙｕｎｓｈａｒｐ＜Ｙｒのとき、
    Figure JPOXMLDOC01-appb-M000007
     となり、
    Figure JPOXMLDOC01-appb-M000008
     となるように色差用ゲインを計算することを特徴とする請求項１乃至５のいずれか１項に記載の鮮鋭化画像処理装置。
  7. 　前記色差用ゲイン計算手段は、輝度・色差表現での色空間において、入力画像の色差をＣｂ、Ｃｒ、出力画像の色差をＣｂｕｎｓｈａｒｐ、Ｃｒｕｎｓｈａｒｐ、入力画像から出力画像への輝度の変化をＹｄｉｆｆとし、Ｃｂｇａｉｎ、Ｃｒｇａｉｎを定数とすると、
    Figure JPOXMLDOC01-appb-M000009
     となるように色差用ゲインを計算することを特徴とする請求項１乃至５のいずれか１項に記載の鮮鋭化画像処理装置。
  8. 　入力画像の輝度を平滑化し、平滑化画像を得る工程と、
    　前記入力画像の輝度から前記平滑化画像を減算し、差分画像を得る工程と、
    　前記入力画像から輝度連動ゲインを計算する工程と、
    　前記差分画像に前記輝度連動ゲインを乗算し、乗算結果を得る工程と、
    　前記乗算結果を前記入力画像の輝度に加算し、出力画像の輝度を得る工程と、
    　入力画像の色差と前記輝度連動ゲインから色差用ゲインを計算する工程と、
    　前記入力画像の色差に前記色差用ゲインを乗算し、出力画像の色差を得る工程とを含むことを特徴とする鮮鋭化画像処理方法。
  9. 　請求項８に記載の鮮鋭化画像処理方法をコンピュータに実行させるソフトウェア。
PCT/JP2008/073383 2008-02-04 2008-12-24 鮮鋭化画像処理装置、方法、及びソフトウェア WO2009098830A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US12/865,973 US8351733B2 (en) 2008-02-04 2008-12-24 Image sharpening processing device, method, and software
EP08872187.3A EP2242020B1 (en) 2008-02-04 2008-12-24 Image sharpening processing device, method, and software
BRPI0822280-0A BRPI0822280A2 (pt) 2008-02-04 2008-12-24 Dispositivo de processamento, método e software para aumentar a nitidez de imagem
MX2010008449A MX2010008449A (es) 2008-02-04 2008-12-24 Dispositivo, metodo y software de procesamiento para definicion de imagenes.
CN2008801263878A CN101933043B (zh) 2008-02-04 2008-12-24 图像锐化处理设备、方法以及软件
HK11104480.6A HK1150463A1 (en) 2008-02-04 2011-05-05 Image sharpening processing device, method, and software

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008024225A JP4314305B1 (ja) 2008-02-04 2008-02-04 鮮鋭化画像処理装置、方法、及びソフトウェア
JP2008-024225 2008-02-04

Publications (1)

Publication Number Publication Date
WO2009098830A1 true WO2009098830A1 (ja) 2009-08-13

Family

ID=40951913

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/073383 WO2009098830A1 (ja) 2008-02-04 2008-12-24 鮮鋭化画像処理装置、方法、及びソフトウェア

Country Status (9)

Country Link
US (1) US8351733B2 (ja)
EP (1) EP2242020B1 (ja)
JP (1) JP4314305B1 (ja)
CN (1) CN101933043B (ja)
BR (1) BRPI0822280A2 (ja)
HK (1) HK1150463A1 (ja)
MX (1) MX2010008449A (ja)
RU (1) RU2456670C2 (ja)
WO (1) WO2009098830A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10321022B2 (en) 2014-07-18 2019-06-11 Sony Semiconductor Corporation Signal processing device to generate low noise image signal in low light intensity environment

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI387319B (zh) * 2009-06-02 2013-02-21 Novatek Microelectronics Corp 影像處理電路及方法
US8654225B2 (en) * 2011-05-31 2014-02-18 Himax Imaging, Inc. Color interpolation system and method thereof
JP5891719B2 (ja) * 2011-11-08 2016-03-23 大日本印刷株式会社 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム
US8983187B2 (en) * 2013-03-07 2015-03-17 Cyberlink Corp. Systems and methods for performing edge enhancement in digital images
WO2015099683A1 (en) * 2013-12-23 2015-07-02 Empire Technology Development, Llc Suppression of real features in see-through display
EP3125191A4 (en) * 2014-03-27 2017-08-16 Noritsu Precision Co., Ltd. Image processing device
TWI601122B (zh) * 2016-11-15 2017-10-01 晨星半導體股份有限公司 應用於顯示器的影像補償方法與相關的控制電路

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01259464A (ja) * 1988-04-11 1989-10-17 Konica Corp 鮮鋭度改善回路
JPH02275589A (ja) * 1989-04-18 1990-11-09 Fuji Photo Film Co Ltd 画像信号処理方法およびその装置
JPH05237083A (ja) * 1991-11-22 1993-09-17 Arch Dev Corp ディジタル画像システム及びディジタルイメージング方法
JPH07327152A (ja) * 1994-06-01 1995-12-12 Matsushita Electric Ind Co Ltd 輪郭補正器
JPH09294220A (ja) * 1996-04-26 1997-11-11 Sony Corp 輪郭補正回路及びそれを用いた撮像装置
JPH1198364A (ja) * 1997-09-22 1999-04-09 Fuji Photo Film Co Ltd シャープネス強調方法
JP2001346222A (ja) * 2000-06-01 2001-12-14 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2003235050A (ja) * 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法
JP2005210442A (ja) * 2004-01-23 2005-08-04 Sanyo Electric Co Ltd 画像信号処理装置
JP2005260517A (ja) * 2004-03-11 2005-09-22 Sanyo Electric Co Ltd 画像信号処理装置
JP2005312008A (ja) * 2003-09-11 2005-11-04 Matsushita Electric Ind Co Ltd 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP2006033212A (ja) * 2004-07-14 2006-02-02 Sharp Corp 映像信号処理装置及びテレビジョン装置
JP2007312349A (ja) * 2005-10-12 2007-11-29 Matsushita Electric Ind Co Ltd 視覚処理装置、表示装置および集積回路

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2150146C1 (ru) * 1998-09-03 2000-05-27 Семенченко Михаил Григорьевич Способ обработки изображения
US6724943B2 (en) * 2000-02-07 2004-04-20 Sony Corporation Device and method for image processing
US6856704B1 (en) 2000-09-13 2005-02-15 Eastman Kodak Company Method for enhancing a digital image based upon pixel color
JP4086479B2 (ja) * 2001-03-23 2008-05-14 Ｎｅｃディスプレイソリューションズ株式会社 画質改善装置および画質改善方法
JP4094256B2 (ja) * 2001-07-30 2008-06-04 Ｎｅｃディスプレイソリューションズ株式会社 画質改善装置および画質改善方法
JP2003101783A (ja) 2001-09-21 2003-04-04 Fujitsu Ltd 画像輪郭強調装置，画像輪郭強調方法，画像輪郭強調プログラムおよびそのプログラム記録媒体
US20040085459A1 (en) * 2002-02-12 2004-05-06 Nikon Corporation Image processing device, image processing program, and image processing method
JP2004252620A (ja) 2003-02-19 2004-09-09 Sony Corp 画像処理装置および方法、並びに、プログラム
US20070109447A1 (en) * 2003-09-11 2007-05-17 Haruo Yamashita Visual processing device, visual processing method, visual processing program, and semiconductor device
US7860339B2 (en) 2003-09-11 2010-12-28 Panasonic Corporation Visual processing device, visual processing method, visual processing program, intergrated circuit, display device, image-capturing device, and portable information terminal
US7333671B2 (en) * 2003-09-30 2008-02-19 Benq Corporation Image processing method to improve image sharpness
US7333673B2 (en) * 2003-10-30 2008-02-19 Samsung Electronics Co., Ltd. Method and apparatus for image detail enhancement without zigzagged edge artifact
JP4127262B2 (ja) * 2004-11-29 2008-07-30 ソニー株式会社 画像処理装置及び画像処理方法
US7768496B2 (en) * 2004-12-02 2010-08-03 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale adjustment to compensate for a reduced source light power level
JP4419933B2 (ja) * 2005-08-26 2010-02-24 ソニー株式会社 画像処理装置、画像表示装置および画像処理方法
US7773158B2 (en) * 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
RU2298226C1 (ru) * 2005-10-28 2007-04-27 Самсунг Электроникс Ко., Лтд. Способ улучшения цифровых изображений
US7551795B2 (en) * 2005-11-01 2009-06-23 Samsung Electronics Co., Ltd. Method and system for quantization artifact removal using super precision
KR100790980B1 (ko) * 2006-02-09 2008-01-02 삼성전자주식회사 영상 신호의 주파수 성분에 따라 후처리를 달리하는 영상신호의 후처리 회로
JP2007259242A (ja) * 2006-03-24 2007-10-04 Seiko Epson Corp 映像信号処理
US8036481B2 (en) * 2006-07-14 2011-10-11 Eastman Kodak Company Image processing apparatus and image restoration method and program
JP5054981B2 (ja) * 2007-01-12 2012-10-24 キヤノン株式会社 撮像装置及び撮像処理方法
US8155434B2 (en) * 2007-10-30 2012-04-10 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01259464A (ja) * 1988-04-11 1989-10-17 Konica Corp 鮮鋭度改善回路
JPH02275589A (ja) * 1989-04-18 1990-11-09 Fuji Photo Film Co Ltd 画像信号処理方法およびその装置
JPH05237083A (ja) * 1991-11-22 1993-09-17 Arch Dev Corp ディジタル画像システム及びディジタルイメージング方法
JPH07327152A (ja) * 1994-06-01 1995-12-12 Matsushita Electric Ind Co Ltd 輪郭補正器
JPH09294220A (ja) * 1996-04-26 1997-11-11 Sony Corp 輪郭補正回路及びそれを用いた撮像装置
JPH1198364A (ja) * 1997-09-22 1999-04-09 Fuji Photo Film Co Ltd シャープネス強調方法
JP2001346222A (ja) * 2000-06-01 2001-12-14 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2003235050A (ja) * 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法
JP2005312008A (ja) * 2003-09-11 2005-11-04 Matsushita Electric Ind Co Ltd 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP2005210442A (ja) * 2004-01-23 2005-08-04 Sanyo Electric Co Ltd 画像信号処理装置
JP2005260517A (ja) * 2004-03-11 2005-09-22 Sanyo Electric Co Ltd 画像信号処理装置
JP2006033212A (ja) * 2004-07-14 2006-02-02 Sharp Corp 映像信号処理装置及びテレビジョン装置
JP2007312349A (ja) * 2005-10-12 2007-11-29 Matsushita Electric Ind Co Ltd 視覚処理装置、表示装置および集積回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2242020A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10321022B2 (en) 2014-07-18 2019-06-11 Sony Semiconductor Corporation Signal processing device to generate low noise image signal in low light intensity environment

Also Published As

Publication number Publication date
CN101933043A (zh) 2010-12-29
BRPI0822280A2 (pt) 2015-06-30
RU2456670C2 (ru) 2012-07-20
EP2242020A1 (en) 2010-10-20
US20100329581A1 (en) 2010-12-30
JP4314305B1 (ja) 2009-08-12
RU2010136942A (ru) 2012-03-20
EP2242020A4 (en) 2012-08-08
CN101933043B (zh) 2013-03-20
EP2242020B1 (en) 2013-05-08
US8351733B2 (en) 2013-01-08
MX2010008449A (es) 2010-08-30
HK1150463A1 (en) 2011-12-30
JP2009187118A (ja) 2009-08-20

Similar Documents

Publication Publication Date Title
JP4314305B1 (ja) 鮮鋭化画像処理装置、方法、及びソフトウェア
JP4524259B2 (ja) 適応的映像輝度制御装置、適応的映像輝度制御方法及びコンピュータ読み取り可能な記録媒体
EP0971314B1 (en) A method for preserving image detail when adjusting the contrast of a digital image
EP1638312B1 (en) Apparatus, program, and method for image tone transformation, and Electronic Camera
US6167165A (en) Method for adjusting image detail to compensate for an applied tone scale
KR100568391B1 (ko) 색 변환 장치
JP2005520442A (ja) センサ画像を処理する方法および装置
EP1552474A1 (en) A method for interpolation and sharpening of images
KR20030059330A (ko) 색 변환 장치 및 색 변환 방법
EP1021032A2 (en) A method for adjusting the tone scale of a digital image
US20090010561A1 (en) Device for removing noise in image data
JPH06339017A (ja) カラー画像の彩度強調方法及び装置
US20100295996A1 (en) Circuit and method for image processing
WO2009141339A2 (en) Image processing to enhance image sharpness
US7557953B2 (en) Image processing device and image processing method
JP5933332B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体
JP3879728B2 (ja) 色変換装置および色変換方法
US20110286666A1 (en) Image Sharpening
JP4273976B2 (ja) 色変換装置および色変換方法
JP4041943B2 (ja) 画像処理装置
WO2013047284A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体
JP3879720B2 (ja) 画像処理装置および画像処理方法
JP4259428B2 (ja) 色変換装置および色変換方法
ITOH Post-processing of YCbCr4: 2: 0 Compressed Image for Color Printer

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880126387.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08872187

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: MX/A/2010/008449

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 12865973

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2008872187

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 5407/CHENP/2010

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2010136942

Country of ref document: RU

ENP Entry into the national phase

Ref document number: PI0822280

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100802