JP5233757B2 - Image processing apparatus and image display apparatus - Google Patents
Image processing apparatus and image display apparatus Download PDFInfo
- Publication number
- JP5233757B2 JP5233757B2 JP2009055148A JP2009055148A JP5233757B2 JP 5233757 B2 JP5233757 B2 JP 5233757B2 JP 2009055148 A JP2009055148 A JP 2009055148A JP 2009055148 A JP2009055148 A JP 2009055148A JP 5233757 B2 JP5233757 B2 JP 5233757B2
- Authority
- JP
- Japan
- Prior art keywords
- gradation
- image data
- unit
- threshold value
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 81
- 238000012937 correction Methods 0.000 claims description 199
- 238000009499 grossing Methods 0.000 claims description 36
- 230000009467 reduction Effects 0.000 claims description 30
- 230000006872 improvement Effects 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000008859 change Effects 0.000 description 54
- 238000004364 calculation method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、画像処理装置および画像表示装置に関する。とくに、デジタル画像の階調を補間する技術に係わり、デジタル画像の擬似的な輪郭の発生の抑制に関するものである。 The present invention relates to an image processing device and an image display device. In particular, the present invention relates to a technique for interpolating the gradation of a digital image, and relates to the suppression of the occurrence of a pseudo contour in the digital image.
近年、テレビやモニタなどのディスプレイ装置の高輝度化が進んでいる。高輝度化によって単位階調当たりの輝度の変化量も大きくなり、緩やかな階調の変化でもその変化点が目立ってしまう。また近年では、リアルタイムに映像を分析し、映像シーンに合わせた階調補正処理を画像フレーム毎、または画素毎に行うことがある。この階調補正処理によって階調の変化量が大きくなる場合がある。そのため、夕焼けの空や海などの緩やかに階調が変化する画像信号では、隣接する領域の画像レベルが階段状に変化(隣接する画素の階調レベルが2以上異なった状態。つまり、輪郭でもないのに、隣接する画素の階調レベルが連続的に変化するのではなく、少なくとも1つの階調レベルを抜かして変化する状態をいい、階調ジャンプと称する。)して、擬似的な輪郭のように見えてしまうという問題がある。 In recent years, the brightness of display devices such as televisions and monitors has been increasing. As the luminance increases, the amount of change in luminance per unit gradation also increases, and the change point becomes noticeable even when the gradation changes gradually. In recent years, a video is analyzed in real time, and gradation correction processing according to a video scene is sometimes performed for each image frame or each pixel. This gradation correction processing may increase the amount of change in gradation. For this reason, in an image signal whose gradation changes gently, such as in the sunset sky or the sea, the image level of the adjacent region changes in a staircase shape (the gradation level of adjacent pixels is different by 2 or more. This is a state in which the gradation level of adjacent pixels does not change continuously but changes by removing at least one gradation level, which is referred to as gradation jump). There is a problem that it looks like.
この問題を改善するために、擬似的な輪郭を有した画像データに平滑化処理(単純な平均化など)を施し、擬似的な輪郭を緩和する技術がある。しかし、緩やかに変化する画像部分の擬似的な輪郭は緩和されるが、物体の輪郭や細かい模様などのテクスチャ画像がぼやけてしまうという問題があった。そこで、平滑化処理を行わずに擬似的な輪郭を解消するために、階調のジャンプが存在する第1と第2の画像レベルを特定することによって階調補間の対象領域を抽出し、この対象領域に対して階調補間を行うことにより、階調ジャンプを解消する技術が提案されている。(例えば、特許文献1参照) In order to solve this problem, there is a technique for relaxing the pseudo contour by performing smoothing processing (simple averaging or the like) on image data having a pseudo contour. However, although the pseudo contour of the slowly changing image portion is alleviated, there is a problem that the texture image such as the contour of the object or the fine pattern is blurred. Therefore, in order to eliminate the pseudo contour without performing the smoothing process, the target area for gradation interpolation is extracted by specifying the first and second image levels where the gradation jump exists, A technique for eliminating gradation jump by performing gradation interpolation on a target region has been proposed. (For example, see Patent Document 1)
しかしながら、階調補正処理した画像に上記のような階調補間を行う場合、階調補正処理による階調変化を考慮せずに階調の補間を行うため、階調の変化が小さくなった輪郭が階調ジャンプと判定されて輪郭がぼやけてしまう、あるいは、階調の変化が大きくなった階調ジャンプが輪郭と判定されて残ってしまう、という問題があった。 However, when the above-described gradation interpolation is performed on the gradation-corrected image, since the gradation interpolation is performed without considering the gradation change due to the gradation correction process, the contour in which the gradation change is reduced However, there is a problem that the contour is blurred due to being judged as a gradation jump, or a gradation jump with a large gradation change is judged as a contour and remains.
本発明は、上記に鑑みてなされたものであって、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる画像処理装置および画像表示装置を得ることを目的とする。 The present invention has been made in view of the above, and an image processing apparatus capable of accurately eliminating a pseudo contour caused by a missing image level even for an image subjected to gradation correction processing, and An object is to obtain an image display device.
本発明にかかる画像処理装置および画像表示装置は、入力画像データの階調を補正し、出力画像データとして出力する階調補正部と、出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタとエッジ保存型平滑化フィルタにて使用する閾値を決定する閾値決定部とを有し階調補正部から出力された出力画像データの階調抜けを補間処理する階調改善部と、を備えている。 An image processing apparatus and an image display apparatus according to the present invention include a gradation correction unit that corrects gradation of input image data and outputs the output image data, and an edge storage type that stores and smooths edges of the output image data A gradation improving unit that interpolates gradation loss of output image data output from the gradation correction unit , the threshold determining unit determining a threshold to be used in the smoothing filter and the edge preserving smoothing filter ; It has.
本発明によれば、階調補正処理による階調の変化量に応じた閾値を用いて、エッジ保存型平滑化フィルタによる補間処理を行うので、残すべき輪郭と解消すべき階調ジャンプとを区別して補間処理ができるので、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる画像処理装置および画像表示装置を得ることができる。 According to the present invention, since the interpolation processing by the edge-preserving smoothing filter is performed using the threshold value corresponding to the amount of change in gradation by the gradation correction process, the contour to be retained and the gradation jump to be resolved are distinguished. Since interpolation processing can be performed separately, an image processing device and an image display device that can accurately eliminate a pseudo contour caused by a missing image level even for an image that has been subjected to gradation correction processing can be obtained. .
実施の形態1.
図1は、本発明の実施の形態1に係る画像表示装置の構成を示す図である。実施の形態1に係る画像表示装置は、ビット拡張や階調補正処理により増加させた階調をεフィルタ(非線型デジタルフィルタ)を用いて平滑化し、実効的な階調数を増やして画像表示を行う液晶テレビやプラズマテレビなどの画像表示装置である。図において、本実施の形態の画像表示装置は、入力端子1、受信部2、階調補正部3、階調改善部4、及び表示部5を備えており、そのうち、階調補正部3と階調改善部4の部分が画像処理装置に対応している。
FIG. 1 is a diagram showing a configuration of an image display apparatus according to
本実施の形態では、受信部2がアナログの画像信号からデジタルの画像データに変換するA/D変換器である場合について説明する。なお、受信部2にチューナーを配設し、受信部2の内部でコンポジット信号を輝度や色度信号に復調した後にデジタルの画像データに変換してもよい。また、受信部2をデジタルインターフェースとし、受信部2が入力端子1からデジタルのデータを受信して、n(nは自然数)ビットの画像データDIを出力してもよい。
In the present embodiment, a case will be described in which the
入力端子1は、アナログ画像信号SAを入力する端子であり、入力されたアナログ画像信号SAを受信部2に出力する。受信部2は、アナログ画像信号SAをnビットの画像データDIに変換して階調補正部3に出力する。
The
画像表示装置内で入出力される各画像データ(画像データDI、後述の画像データDJ、後述の画像データDO)は、マトリクス状に配列された画素の値を示すデータである。画像データDIで示される各画素の位置は、画像の左上隅を原点(0,0)として、座標値(i,j)(iとjはともに自然数)で表され、水平方向の座標値iは、右向きに1列進む毎に1ずつ大きくなり、垂直方向の座標値jは、下向きに1行進む毎に1ずつ大きくなる。これらの各画像データは、複数の行に配列されるデータを順番に示すデータ列である。このデータ列は、複数の行を上から下への順番であって、かつ各行内では複数の画素を左から右への順番で示すデータの列である。 Each image data (image data DI, image data DJ to be described later, image data DO to be described later) input / output in the image display device is data indicating the values of pixels arranged in a matrix. The position of each pixel indicated by the image data DI is represented by a coordinate value (i, j) (i and j are both natural numbers) with the upper left corner of the image as the origin (0, 0), and a horizontal coordinate value i. Is incremented by 1 every time one column is moved to the right, and the vertical coordinate value j is incremented by 1 every time one row is moved downward. Each of these image data is a data string that sequentially indicates data arranged in a plurality of rows. This data column is a column of data indicating a plurality of rows in order from top to bottom and a plurality of pixels in each row in order from left to right.
受信部2におけるアナログ画像信号SAから画像データDIへの変換、受信部2から階調補正部3への画像データDIの供給、階調補正部3から階調改善部4への画像データDJの供給、階調改善部4から表示部5への画像データDOの供給などは、図示しない制御部から供給される画素クロックに同期して行われる。なお、以下で説明する階調補正部3内や階調改善部4内で行われる処理もまた、制御部から供給される画素クロックに同期して行われる。
Conversion from the analog image signal SA to the image data DI in the
階調補正部3は、補正カーブ決定部31と補正部32とを備えている。補正カーブ決定部31はメモリを備えており、メモリに保存された画像データをヒストグラム解析などの手法により画像解析し、解析結果から階調補正する補正カーブを決定する。補正部32は、補正カーブ決定部31で決定した補正カーブを基に階調補正する。
The
例えば、画像データDIのヒストグラム解析の結果が、図2(a1)に示すように暗い階調が多い画像の場合は、暗い部分の階調をもち上げ暗い部分のコントラストが上がるように、図2(a2)のような上に凸となる補正カーブに決定する。これにより、階調補正後の画像データDJは、図2(a3)に示すように明るい階調部分の頻度が増大する。一方、ヒストグラム解析の結果が、図2(b1)に示すように、明るい階調が多い画像の場合は、暗い部分と明るい部分の差を大きくしてコントラストの高い画像となるように、図2(b2)のような下に凸となる補正カーブに決定する。これにより、階調補正後の画像データDJは、図2(b3)に示すように明るい階調部分の頻度が減少する。図2(a2)や(b2)に示すような補正カーブは、例えば複数個用意されたルックアップテーブルから選択するものとする。補正部32は、画像データDIを決定したルックアップテーブルをもとに補正し、画像データDJとして出力する。
For example, when the result of the histogram analysis of the image data DI is an image having many dark gradations as shown in FIG. 2A1, the gradation of the dark part is increased and the contrast of the dark part is increased. A correction curve that is convex upward as in (a2) is determined. As a result, the frequency of the bright gradation portion of the image data DJ after gradation correction increases as shown in FIG. On the other hand, as shown in FIG. 2 (b1), when the result of the histogram analysis is an image with many bright gradations, the difference between the dark part and the bright part is increased so that an image with high contrast is obtained. The correction curve is determined to be convex downward as in (b2). As a result, the frequency of the bright gradation portion of the image data DJ after gradation correction is reduced as shown in FIG. 2 (b3). For example, a plurality of correction curves such as those shown in FIGS. 2A2 and 2B2 are selected from lookup tables prepared. The
なお、階調補正部3で階調を補正する際に使用する補正カーブについて、本実施の形態では、画面全体のヒストグラムにより決定する方式について説明しているが、画面の局所領域や画素毎に補正カーブまたは補正係数を決定するようにしてもよい。
In this embodiment, the correction curve used when the
階調改善部4は、ε閾値決定部41とエッジ保存型平滑化フィルタであるn次元m次εフィルタ部42とを備えている。ε閾値決定部41は、階調補正部3の階調補正による、出力画像データDJと受信部2の出力画像データDIとの変化量に応じて変化するεフィルタの閾値(E_TH)を決定し、n次元m次εフィルタ部42は、ε閾値決定部41が決定した階調補正量に応じたεフィルタの閾値E_THに基づいて階調補間を行う。
The
階調改善部4について、詳しく説明する。ε閾値決定部41は、階調補正部3で補正された補正量ごとに設定された閾値のルックアップテーブルを持ち、入力される画像データDJの補正量(DJ−DI)に応じた閾値(補正量0〜255に対応した閾値データ)をルックアップテーブル(補正量閾値対応情報)から選択してn次元m次εフィルタ部42に出力する。ここでの閾値は、後述の差分データEDと比較される値である。ε閾値決定部41については、後で詳細に説明する。
The
n次元m次εフィルタ部42は、注目画素(階調を平滑化する際に基準となる画素)に対して一次元方向に整列されている画素のデータに基づいて、急峻な変化(エッジ)を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタ(εフィルタ)として用いられる。n次元m次εフィルタ部42は、階調補正部3の補正により生じた階調のジャンプを平滑化することによって階調のジャンプをなくし、実効的な階調数を増やす処理を行う。
The n-dimensional m-th order ε
図3にn次元m次εフィルタ部42の詳細を示す。図において、n次元m次εフィルタ部42は、データ格納部421、差分算出部422−1〜422−m、ε判定部423−1〜423−m、判定付加重平均部424、及びデータ加算部425を備えている。
FIG. 3 shows details of the n-dimensional m-order ε
データ格納部421は、階調補正部3の補正部32から出力される画像データDJを格納するとともに、差分算出部422−1〜422−mに、それぞれ画像データDM(1)〜DM(m)を出力する。また、データ格納部421は、画像データDM(1)〜DM(m)のうち、画像データDM(c)については、差分算出部422−1〜422−mのそれぞれとデータ加算部425にも出力する。ただし、画像データDM(c)は、画素位置1〜mのうち、cの位置を注目画素とした場合の注目画素cの画像データである。この場合、画像データDM(1)〜DM(m)は、それぞれ注目画素cから所定の画素数(座標値)だけ右方向または左方向に離れた画素の画像データとなる。例えば、m=5の場合に、画像データDM(3)を画像データDM(c)とすると、画像データDM(1)が注目画素cの2つ前(左側:1=c−2)の画素の画像データとなり、画像データDM(2)が注目画素cの1つ前(左側:2=c−1)の画素の画像データとなり、画像データDM(4)が注目画素cの1つ後(右側:4=c+1)の画素の画像データとなり、画像データDM(5)が注目画素cの2つ後(右側:5=c+2)の画素の画像データとなる。
The
差分算出部422−1〜422−mは、画像データDM(1)〜DM(m)と画像データDM(c)との差分を、それぞれ差分データ(差分値)ED(1)〜ED(m)として算出する。差分算出部422−1〜422−mは、それぞれε判定部423−1〜423−mに、差分データED(1)〜ED(m)を出力する。 The difference calculation units 422-1 to 422-m calculate the difference between the image data DM (1) to DM (m) and the image data DM (c) as difference data (difference values) ED (1) to ED (m, respectively. ). The difference calculation units 422-1 to 422-m output the difference data ED (1) to ED (m) to the ε determination units 423-1 to 423-m, respectively.
ε判定部423−1〜423−mは、それぞれ差分算出部422−1〜422−mから出力された差分データED(1)〜ED(m)と、ε閾値決定部41から出力された閾値データE_TH(1)〜E_TH(m)より大きいか否かの判定を行い、その判定結果を判定データEE(1)〜EE(m)として判定付加重平均部10に出力する。
The ε determination units 423-1 to 423 -m are the difference data ED (1) to ED (m) output from the difference calculation units 422-1 to 422 -m and the threshold value output from the ε
判定付加重平均部10は、判定データEE(1)〜EE(m)に基づいて差分データED(1)〜ED(m)を加重平均し、その結果として得られる加重平均値を加重平均値(平均データ)EMとしてデータ加算部425に出力する。データ加算部425は、加重平均値EMに画像データDS(画像データDM(c))を加算した画像データを画像データDOとして出力する。
The determination additional weight
n次元m次εフィルタ部42によって階調のジャンプをなくし、実効的な階調数を増やす処理を行った画像データは、データ加算部425から画像データDOとして表示部4に出力される。表示部5は、画像データDOを表示する液晶モニタなどの表示手段である。
The image data that has been subjected to the process of eliminating the jump of gradation and increasing the effective number of gradations by the n-dimensional m-th order ε
本実施の形態では、εフィルタにて、階調補正により発生した階調のジャンプを小振幅雑音(ノイズ)ととらえ、εフィルタ処理を行う。こうすることで、εフィルタは輪郭など画像の急峻な変化を保持しながら、階調補正により発生した階調のジャンプ部分の実質的な階調数を増やし、階調のジャンプをなくすことができる。しかしながら、存在する階調差が、階調補正によって発生した階調差なのか、輪郭など画像の急峻な変化による階調差なのか、区別して処理する必要がある。そこで、階調の補正量に合わせて、閾値THを変化させる。すなわち、補正した補正量に応じて、εフィルタが保存できるエッジの大きさを変化させる。そのため、本実施の形態にかかる画像表示装置の階調補間部4は、階調の補正量によって閾値THを変化させるε閾値決定部41(閾値制御部)を備えている。以下、詳細に説明する。なお、本実施の形態においては、閾値THとして、E_TH(n)のように、「E_」を付けて閾値THを表記する場合、nは画素位置1〜mのうちの位置を示す値である。また、th(v)のように「E_」なしで閾値THを表記する場合、vは補正処理によって変化する階調の変化量や階調幅の拡大や縮小量を示す値である。
In the present embodiment, the ε filter performs the ε filter processing by regarding the jump of gradation generated by the gradation correction as small amplitude noise (noise). In this way, the ε filter can increase the substantial number of gradation jumps caused by gradation correction and eliminate gradation jumps while maintaining sharp changes in the image such as contours. . However, it is necessary to distinguish and process whether the existing gradation difference is a gradation difference caused by gradation correction or a gradation difference due to a sharp change in an image such as an outline. Therefore, the threshold value TH is changed in accordance with the gradation correction amount. That is, the size of the edge that can be stored in the ε filter is changed according to the corrected correction amount. Therefore, the
図4は、階調の補正量(画像データDJ−画像データDI)とε閾値決定部41で決定する閾値の関係を示す図である。なお、図中の変数a,bは、それぞれ正の値である。ε閾値決定部41は、例えば補正量に対応したε閾値のルックアップテーブルを保有し、階調の補正量からε閾値を決定する。εフィルタは、階調の補正量が小さい領域では小さいエッジも保持し、階調の補正量が大きい領域では大きいエッジのみを保持する事を表す。
FIG. 4 is a diagram illustrating the relationship between the gradation correction amount (image data DJ−image data DI) and the threshold value determined by the ε threshold
つまり、階調の補正がマイナスの画像の時(階調を圧縮する領域)は、閾値が小さい値に決定する為、輪郭など画像の急峻な変化部分が階調の補正によって変化量が小さくなった画像も、エッジを保持する処理を行う。一方、階調の補正がプラスに補正される画像の時(階調を拡大する領域)は、閾値を大きい値に決定する為、階調補正によって発生した階調のジャンプに対しても平滑化処理を行う。 In other words, when the gradation correction is a negative image (gradation compression area), the threshold value is determined to be a small value, so that the amount of change in the sharply changed portion of the image such as the contour is reduced by the gradation correction. The image is also processed to hold the edge. On the other hand, in the case of an image in which the gradation correction is corrected to a positive value (the area in which the gradation is enlarged), the threshold value is determined to be a large value, so that the gradation jump generated by the gradation correction is also smoothed. Process.
具体的な画像処理例を、図5〜14を用いて説明する。なお、処理例では、n次元m次フィルタ部42は、1次元5次フィルタを使用するものとする。
図5〜図9は、急峻に階調が変化するエッジ部分の画像処理例を示すものであり、図10〜図14は、緩やかに階調が変化する部分の画像処理例を示すものであり、画像データのうち、隣接する10個の画素n0〜n9を説明対象としている。
A specific image processing example will be described with reference to FIGS. In the processing example, the n-dimensional m-
5 to 9 show examples of image processing at the edge portion where the gradation changes sharply, and FIGS. 10 to 14 show examples of image processing at the portion where the gradation changes gradually. Among the image data, the adjacent ten pixels n0 to n9 are targeted for explanation.
まずは、図5〜図9を用いて、画素n4からn5において急峻に階調が変化するエッジ部分を有する画像データを処理する場合について説明する。図5(a)は入力画像DI、図5(b)は補正後の画像データDJ、図5(c)は補正量(DJ−DI)を示すものである。図において、受信部2から出力された画像データDI(画素n0〜n9)は、画素n4からn5において急峻に階調が変化するエッジ部分を有していることがわかる。
First, the case where image data having an edge portion where the gradation changes sharply in the pixels n4 to n5 will be described with reference to FIGS. 5A shows the input image DI, FIG. 5B shows the corrected image data DJ, and FIG. 5C shows the correction amount (DJ-DI). In the figure, it can be seen that the image data DI (pixels n0 to n9) output from the receiving
図5(b)は、画像データDIを階調補正部3にて補正した後の画像データDJであり、画素n4からn5における急峻に階調が変化している部分の変化量が、階調補正部3の補正によって小さくなっていることがわかる。
FIG. 5B shows the image data DJ after the image data DI is corrected by the
図5(c)は、図5(a)の画像データDIと図5(b)の画像データDJの差分(補正量)と、その差分(補正量)から決定したε閾値THを表す図である。図において画素n0〜n4の差分(補正量)は−a2、画素n5〜n10の差分(補正量)は−a2よりさらに小さい−a1である。図4に示すように、DJ−DIが小さいほど閾値THは小さくなるので、それに応じて閾値th(−a1)は、閾値th(−a2)よりも小さくなっている。なお、th(v)における変数vは、ある画素の階調補正前後の階調変化量(DJ−DI)であり、v=0のとき、DI=DVで階調変化がないことになる。
る。
FIG. 5C is a diagram showing a difference (correction amount) between the image data DI in FIG. 5A and the image data DJ in FIG. 5B and an ε threshold TH determined from the difference (correction amount). is there. In the figure, the difference (correction amount) between the pixels n0 to n4 is -a2, and the difference (correction amount) between the pixels n5 to n10 is -a1, which is smaller than -a2. As shown in FIG. 4, the smaller the DJ-DI, the smaller the threshold value TH. Accordingly, the threshold value th (-a1) is smaller than the threshold value th (-a2). Note that the variable v in th (v) is the gradation change amount (DJ-DI) before and after the gradation correction of a certain pixel. When v = 0, there is no gradation change when DI = DV.
The
図6(a)は図5(b)における画素n4を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、本発明の階調補正量によって変化するε閾値E_TH(1)〜E_TH(5)の関係を示した図、図6(b)は図5(b)における画素n5を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、ε閾値E_TH(1)〜E_TH(5)の関係を示した図、図6(c)は、これら変化する閾値THをもとに補間された画像データDOを示すものである。 6A shows the absolute value of the difference values ED (1) to ED (5) when the pixel n4 in FIG. 5B is the target pixel, and the ε threshold value E_TH that changes according to the gradation correction amount of the present invention. FIGS. 6A and 6B are diagrams showing the relationship between (1) to E_TH (5), and FIG. 6B is an absolute value of difference values ED (1) to ED (5) when the pixel n5 in FIG. FIG. 6C shows the relationship between the ε threshold values E_TH (1) to E_TH (5), and FIG. 6C shows the image data DO interpolated based on these changing threshold values TH.
図6(a)において、丸でプロットしている値は、画像データDJにおける注目画素n4(黒丸)とその水平左右2画素(白丸)の差分絶対値を示している。差分算出部422−1〜422−mから、それぞれ
ED(1)はDJにおける画素n4とn2との差分で0、
ED(2)はDJにおける画素n4とn3との差分で0、
ED(3)はDJにおける画素n4とn4との差分で0、
ED(4)はDJにおける画素n4とn5との差分でA(絶対値はA)、
ED(5)はDJにおける画素n4とn6との差分でAが、ε判定部423−1〜423−mに出力される。
In FIG. 6A, the values plotted with circles indicate the absolute difference values of the pixel of interest n4 (black circle) and its horizontal left and right pixels (white circle) in the image data DJ. From the difference calculation units 422-1 to 422-m, ED (1) is a difference between pixels n4 and n2 in DJ, 0,
ED (2) is 0 as a difference between pixels n4 and n3 in DJ.
ED (3) is 0 as the difference between pixels n4 and n4 in DJ.
ED (4) is the difference between the pixels n4 and n5 in the DJ and is A (absolute value is A),
ED (5) is the difference between the pixels n4 and n6 in the DJ, and A is output to the ε determination units 423-1 to 423-m.
各ε判定部423−1〜423−m(まとめてε判定部432と称する)にて、差分データED(1)〜ED(m)(まとめて差分データEDと称する)の絶対値とε閾値E_TH(1)〜E_TH(m)(まとめてε閾値THと称する)とを比較し、その判定結果EE(1)〜EE(m)(まとめて判定結果EEと称する)を判定付加重平均部424に出力する。差分データEDの絶対値がε閾値THより大きい場合は、判定結果EEは「0」を出力し、差分データEDの絶対値がε閾値以下の場合は、判定結果EEは「1」を出力する。 In each ε determination unit 423-1 to 423-m (collectively referred to as ε determination unit 432), the absolute value and ε threshold value of difference data ED (1) to ED (m) (collectively referred to as difference data ED) E_TH (1) to E_TH (m) (collectively referred to as the ε threshold TH) and the determination results EE (1) to EE (m) (collectively referred to as the determination result EE) to the determination additional weighted average unit Output to 424. When the absolute value of the difference data ED is larger than the ε threshold TH, the determination result EE outputs “0”, and when the absolute value of the difference data ED is equal to or less than the ε threshold, the determination result EE outputs “1”. .
具体的には、
画素n2では、差分データED(1)の絶対値=0<ε閾値th(−a2)なので、EE(1)=1、
画素n3では、差分データED(2)の絶対値=0<ε閾値th(−a2)なので、EE(2)=1、
画素n4では、差分データED(3)の絶対値=0<ε閾値th(−a2)なので、EE(3)=1、
画素n5では、差分データED(4)の絶対値=A>ε閾値th(−a1)なので、EE(4)=0、
画素n6では、差分データED(5)の絶対値=A>ε閾値th(−a1)なので、EE(5)=0となり、その判定結果EE(1)〜EE(5)を判定付加重平均部424に供給する。
In particular,
In the pixel n2, since the absolute value of the difference data ED (1) = 0 <εthreshold th (−a2), EE (1) = 1,
In the pixel n3, since the absolute value of the difference data ED (2) = 0 <εthreshold th (−a2), EE (2) = 1,
In the pixel n4, since the absolute value of the difference data ED (3) = 0 <εthreshold th (−a2), EE (3) = 1,
In the pixel n5, since the absolute value of the difference data ED (4) = A> ε threshold th (−a1), EE (4) = 0,
In the pixel n6, since the absolute value of the difference data ED (5) = A> εthreshold th (−a1), EE (5) = 0, and the determination results EE (1) to EE (5) are determined as the addition weighted average. To the
判定付加重平均部424は、判定結果EE(1)〜EE(5)に基づいて、差分データED(1)〜ED(5)を加重平均し、その結果として得られる加重平均EMを出力する。判定付加重平均部424は、判定結果EE(i)が「1」の場合、差分データED(i)に係数K(i)を乗算して加算し、判定結果EE(i)が「0」の場合は、加算しない。例えば、図7(a1)に示すように、係数K(1)〜K(5)を全て0.2とした場合、次のような加重平均を行い、加重平均値EMが出力される。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(0×A×0.2)
+(0×A×0.2)
=0
The determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (0xAx0.2)
+ (0xAx0.2)
= 0
画素n5を注目画素とした場合の差分値ED(1)〜ED(5)の絶対値は、以下のようになる。
ED(1)はDJにおける画素n5とn3との差分で−A(絶対値はA)、
ED(2)はDJにおける画素n5とn4との差分で−A、
ED(3)はDJにおける画素n5とn5との差分で0、
ED(4)はDJにおける画素n5とn6との差分で0、
ED(5)はDJにおける画素n5とn7との差分で0、
そして、EDとε閾値THとの関係は図6(b)のような関係となる。
The absolute values of the difference values ED (1) to ED (5) when the pixel n5 is the target pixel are as follows.
ED (1) is the difference between pixels n5 and n3 in DJ, −A (absolute value is A),
ED (2) is the difference between pixels n5 and n4 in DJ, −A,
ED (3) is 0 as a difference between pixels n5 and n5 in DJ.
ED (4) is a difference between pixels n5 and n6 in DJ and is 0,
ED (5) is 0 as the difference between pixels n5 and n7 in the DJ.
The relationship between ED and ε threshold value TH is as shown in FIG.
同様に図7(a2)に示すように、判定付加重平均部424にて加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (0×(−A)×0.2)
+(0×(−A)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=0
Similarly, as shown in FIG. 7 (a2), the weighted average value EM is calculated by the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (0x (-A) x0.2)
+ (0 × (−A) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= 0
画素n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図7(b)に示す値を出力する。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図6(c)に示すようにエッジが保存された画像データDOが出力される。
When the pixels n0 to n9 are set as the target pixels in order, a similar calculation is performed in the determination additional weight
一方、従来のようにε閾値THが階調補正量によって変化せず、ε閾値THが一定値であるth(0)となる場合の処理例を、図8、図9を用いて説明する。図8(a)は、画素n4を注目画素とした(DM(1)が画素n2、DM(2)が画素n3、DM(3)が注目画素n4、DM(4)が画素n5、DM(5)が画素n6のデータ)場合、図8(b)は、画素n5を注目画素とした(DM(1)が画素n3、DM(2)が画素n4、DM(3)が注目画素n5、DM(4)が画素n6、DM(5)が画素n7のデータ)場合における差分値EDと一定のε閾値th(0)との関係を示す図である。 On the other hand, a processing example in the case where the ε threshold value TH does not change with the gradation correction amount and the ε threshold value TH becomes a constant value th (0) as in the prior art will be described with reference to FIGS. In FIG. 8A, the pixel n4 is the pixel of interest (DM (1) is the pixel n2, DM (2) is the pixel n3, DM (3) is the pixel of interest n4, DM (4) is the pixel n5, DM ( 5) is the data of the pixel n6), FIG. 8B shows the pixel n5 as the pixel of interest (DM (1) is the pixel n3, DM (2) is the pixel n4, DM (3) is the pixel of interest n5, FIG. 7 is a diagram illustrating a relationship between a difference value ED and a constant ε threshold th (0) when DM (4) is data of pixel n6 and DM (5) is data of pixel n7.
画素n4を注目画素とした場合、図9(a1)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×A×0.2)
+(1×A×0.2)
=0.4A
When the pixel n4 is the target pixel, the determination result EE (1) = “1”, EE (2) = “1”, EE (3) is obtained by the ε determination unit 432 as shown in FIG. 9A1. = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x A x 0.2)
+ (1 x A x 0.2)
= 0.4A
また、画素n5を注目画素とした場合も同様に、図9(a2)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×(−A)×0.2)
+(1×(−A)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=−0.4A
Similarly, when the pixel n5 is the target pixel, the determination result EE (1) = “1” and EE (2) = “1” are obtained by the ε determination unit 432 as shown in FIG. 9A2. , EE (3) = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1 x (-A) x 0.2)
+ (1 × (−A) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= -0.4A
画素n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図9(b)のように出力される。データ加算部425で、注目画素のデータDM(c)に加重平均値EMを加算し、図8(c)に示すようにエッジが平均化された画像データDOが出力される。
When the pixels n0 to n9 are set as the target pixels in order, the same calculation is performed in the determination additional weight
つぎに、図10〜図14を用いて、緩やかに階調が変化する画像データを処理する場合について説明する。図10(a)は入力画像DI、図10(b)は補正後の画像データDJ、図10(c)は補正量(DJ−DI)を示すものである。図において、受信部2から出力された画像データDI(画素n0〜n9)は、画素n4からn5において緩やかに階調が変化していることがわかる。
Next, the case of processing image data whose gradation changes gently will be described with reference to FIGS. 10A shows the input image DI, FIG. 10B shows the corrected image data DJ, and FIG. 10C shows the correction amount (DJ-DI). In the figure, it can be seen that the gradation of the image data DI (pixels n0 to n9) output from the receiving
図10(b)は、画像データDIを階調補正部3にて補正した後の画像データDJであり、画素n4からn5における緩やかに階調が変化している部分の変化量が、階調補正部3の補正によって大きくなっている(階調ジャンプが発生)ことがわかる。
FIG. 10B shows image data DJ after the image data DI is corrected by the
図10(c)は、図10(a)の画像データDIと図10(b)の画像データDJの差分(補正量)と、その差分(補正量)から決定したε閾値THを表す図である。図において画素n0〜n4の差分(補正量)は+b2、画素n5〜n10の差分(補正量)はb2より大きいb1である。図4に示すように、DJ−DIが大きいほど閾値THは大きくなるので、それに応じて閾値th(a1)は、閾値th(b2)よりも大きくなっている。 FIG. 10C shows a difference (correction amount) between the image data DI in FIG. 10A and the image data DJ in FIG. 10B, and the ε threshold TH determined from the difference (correction amount). is there. In the figure, the difference (correction amount) between the pixels n0 to n4 is + b2, and the difference (correction amount) between the pixels n5 to n10 is b1, which is larger than b2. As shown in FIG. 4, the larger the DJ-DI, the larger the threshold value TH. Accordingly, the threshold value th (a1) is larger than the threshold value th (b2).
図11(a)は図10(b)における画素n4を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、本発明の階調補正量によって変化するε閾値E_TH(1)〜E_TH(5)の関係を示した図、図11(b)は図10(b)における画素n5を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、ε閾値E_TH(1)〜E_TH(5)の関係を示した図、図11(c)は、これら変化する閾値THをもとに補間された画像データDOを示すものである。 FIG. 11A shows an absolute value of difference values ED (1) to ED (5) when the pixel n4 in FIG. 10B is a target pixel, and an ε threshold value E_TH that changes according to the gradation correction amount of the present invention. FIG. 11B shows a relationship between (1) to E_TH (5), and FIG. 11B is an absolute value of difference values ED (1) to ED (5) when the pixel n5 in FIG. FIG. 11C shows the relationship between the ε threshold values E_TH (1) to E_TH (5), and FIG. 11C shows the image data DO interpolated based on these changing threshold values TH.
図11(a)において、丸でプロットしている値は、画像データDJにおける注目画素n4(黒丸)とその水平左右2画素(白丸)の差分絶対値を示している。差分算出部422−1〜422−mから、それぞれ
ED(1)はDJにおける画素n4とn2との差分で0、
ED(2)はDJにおける画素n4とn3との差分で0、
ED(3)はDJにおける画素n4とn4との差分で0、
ED(4)はDJにおける画素n4とn5との差分でB、
ED(5)はDJにおける画素n4とn6との差分でBが、ε判定部423−1〜423−mに出力される。
In FIG. 11A, the values plotted with circles indicate the absolute differences between the pixel of interest n4 (black circle) and its two horizontal left and right pixels (white circle) in the image data DJ. From the difference calculation units 422-1 to 422-m, ED (1) is a difference between pixels n4 and n2 in DJ, 0,
ED (2) is 0 as a difference between pixels n4 and n3 in DJ.
ED (3) is 0 as the difference between pixels n4 and n4 in DJ.
ED (4) is the difference between pixels n4 and n5 in DJ, and B,
ED (5) is the difference between pixels n4 and n6 in DJ, and B is output to the ε determination units 423-1 to 423-m.
各ε判定部423−1〜423−m(まとめてε判定部432と称する)にて、差分データEDの絶対値とε閾値THとを比較し、その判定結果EEを判定付加重平均部424に出力する。差分データEDの絶対値がε閾値THより大きい場合は、判定結果EEは「0」を出力し、差分データEDの絶対値がε閾値以下の場合は、判定結果EEは「1」を出力する。
Each ε determination unit 423-1 to 423 -m (collectively referred to as ε determination unit 432) compares the absolute value of the difference data ED with the ε threshold TH, and the determination result EE is used as a determination additional weight
具体的には、
画素n2では、差分データED(1)の絶対値=0<ε閾値th(b2)なので、EE(1)=1、
画素n3では、差分データED(2)の絶対値=0<ε閾値th(b2)なので、EE(2)=1、
画素n4では、差分データED(3)の絶対値=0<ε閾値th(b2)なので、EE(3)=1、
画素n5では、差分データED(4)の絶対値=B<ε閾値th(b1)なので、EE(4)=1、
画素n6では、差分データED(5)の絶対値=B<ε閾値th(b1)なので、EE(5)=1となり、その判定結果EE(1)〜EE(5)を判定付加重平均部424に供給する。
In particular,
In the pixel n2, since the absolute value of the difference data ED (1) = 0 <εthreshold th (b2), EE (1) = 1,
In the pixel n3, since the absolute value of the difference data ED (2) = 0 <εthreshold th (b2), EE (2) = 1,
In the pixel n4, since the absolute value of the difference data ED (3) = 0 <εthreshold th (b2), EE (3) = 1,
In the pixel n5, since the absolute value of the difference data ED (4) = B <εthreshold th (b1), EE (4) = 1,
In the pixel n6, since the absolute value of the difference data ED (5) = B <εthreshold th (b1), EE (5) = 1, and the determination results EE (1) to EE (5) are used as the determination additional weight average unit. 424.
判定付加重平均部424は、判定結果EE(1)〜EE(5)に基づいて、差分データED(1)〜ED(5)を加重平均し、その結果として得られる加重平均EMを出力する。判定付加重平均部424は、判定結果EE(i)が「1」の場合、差分データED(i)に係数K(i)を乗算して加算し、判定結果EE(i)が「0」の場合は、加算しない。例えば、図12(a1)に示すように、係数K(1)〜K(5)を全て0.2とした場合、次のような加重平均を行い、加重平均値EMが出力される。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×B×0.2)
+(1×B×0.2)
=0.4B
The determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x B x 0.2)
+ (1 x B x 0.2)
= 0.4B
画素n5を注目画素とした場合の差分値ED(1)〜ED(5)の絶対値は以下のようになる。
ED(1)はDJにおける画素n5とn3との差分で−B(絶対値はB)、
ED(2)はDJにおける画素n5とn4との差分で−B、
ED(3)はDJにおける画素n5とn5との差分で0、
ED(4)はDJにおける画素n5とn6との差分で0、
ED(5)はDJにおける画素n5とn7との差分で0、
そして、EDとε閾値THとの関係は図11(b)のような関係となる。
The absolute values of the difference values ED (1) to ED (5) when the pixel n5 is the target pixel are as follows.
ED (1) is the difference between pixels n5 and n3 in DJ, −B (absolute value is B),
ED (2) is the difference between pixels n5 and n4 in DJ, −B,
ED (3) is 0 as a difference between pixels n5 and n5 in DJ.
ED (4) is a difference between pixels n5 and n6 in DJ and is 0,
ED (5) is 0 as the difference between pixels n5 and n7 in the DJ.
The relationship between ED and ε threshold value TH is as shown in FIG.
同様に、図12(a2)に示すように、判定付加重平均部424にて加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×(−B)×0.2)
+(1×(−B)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=−0.4B
Similarly, as shown in FIG. 12 (a2), the weighted average value EM is calculated by the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1 x (-B) x 0.2)
+ (1 × (−B) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= -0.4B
画素n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図12(b)に示す値を出力する。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図11(c)に示すように階調ジャンプが解消され、緩やかに階調が変化する画像データDOが出力される。
When the pixels n0 to n9 are selected as the target pixel in order, the determination additional weight
一方、従来のようにε閾値THが階調補正量によって変化せず、ε閾値THが一定値であるth(0)となる場合の処理例を、図13、図14を用いて説明する。図13(a)は、画素n4を注目画素とした場合、図13(b)は、画素n5を注目画素とした場合における差分値EDと一定のε閾値th(0)との関係を示す図である。 On the other hand, a processing example in the case where the ε threshold value TH does not change with the gradation correction amount and the ε threshold value TH becomes a constant value th (0) as in the prior art will be described with reference to FIGS. 13 and 14. 13 (a) shows, when the pixel of interest pixel n4, FIG. 13 (b), shows the relationship between the difference value ED constant ε threshold th (0) in case of the pixel of interest pixel n5 It is.
画素n4を注目画素とした場合、図14(a1)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「0」、EE(5)=「0」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(0×B×0.2)
+(0×B×0.2)
=0
When the pixel n4 is the target pixel, the determination result EE (1) = “1”, EE (2) = “1”, EE (3) is obtained by the ε determination unit 432 as shown in FIG. = “1”, EE (4) = “0”, and EE (5) = “0” are determined and supplied to the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (0xBx0.2)
+ (0xBx0.2)
= 0
また、画素n5を注目画素とした場合も同様に、図14(a2)に示すように、ε判定部432にて、判定結果EE(1)=「0」、EE(2)=「0」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (0×(−B)×0.2)
+(0×(−B)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=0
Similarly, when the pixel n5 is set as the target pixel, the determination result EE (1) = “0” and EE (2) = “0” are obtained by the ε determination unit 432 as shown in FIG. , EE (3) = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (0x (-B) x0.2)
+ (0 × (−B) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= 0
画素n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図14(b)に示す値を出力する。データ加算部425で、注目画素の画素データDM(c)に加重平均値EMを加算し、図13(c)に示すようにエッジが急峻に変化する画像データDOが出力される。
When the pixels n0 to n9 are set as the target pixels in order, the same calculation is performed in the determination additional weight
上記のように、階調補正量に応じてε閾値THを変化させるε閾値決定部41(閾値制御部)を備えることによって、ε閾値決定部41によって閾値が制御されるn次元m次εフィルタ部42(エッジ保存型平滑化フィルタ)は、入力画像に対する階調補正量に応じて保持するエッジが異なる平滑化フィルタとして動作する。
As described above, an n-dimensional m-th order ε filter whose threshold is controlled by the ε
以上のように、本実施の形態1では、入力画像データDIの階調を補正し、出力画像データDJとして出力する階調補正部3と、階調補正部3から出力された出力画像データDJの階調抜けを補間処理する階調補間部4と、を備え、階調補間部4は、出力画像データDJのエッジを保存して平滑化するエッジ保存型平滑化フィルタ42と、エッジ保存型平滑化フィルタ42にて使用する閾値THを階調補正部3における階調補正量に応じて決定する閾値決定部41と、を備えるように構成したので、入力画像に階調補正を実施した画像において、階調補正量によってε閾値を可変することによって、階調補正にて変化した階調差をエッジか階調のジャンプかを的確に判断することが出来、エッジにおいてはボケのないエッジに処理することが出来、階調のジャンプにおいては緩やかに階調変化するように処理することが出来る。これにより、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる。
As described above, in the first embodiment, the gradation of the input image data DI is corrected and output as the output image data DJ, and the output image data DJ output from the
とくに、閾値決定部41は、入力画像データDIと出力画像データDJの階調値の差に基づいて閾値THを決定するようにしたので、簡単な計算によって階調補正による階調幅が拡大するか縮小するかを評価でき、その評価(判定)結果を閾値THに反映させることができる。
In particular, since the threshold
さらに、エッジ保存型平滑化フィルタ42は、n次元m次εフィルタで構成したので、着目画素と階調差の大きな周辺画素のデータを除いて平滑化することになる。したがって、εフィルタを用いて階調補正により増えた階調を平滑化するので、輪郭やテクスチャなどの階調が急峻に大きく変化する領域を有する画像の鮮鋭度を損なわずに、画像データの階調のジャンプを改善することができる。したがって、画像レベルの抜けに起因する擬似輪郭を解消して擬似輪郭による画質劣化を低減させることが可能となる。
Furthermore, since the edge preserving
また、本発明の実施の形態1にかかる画像表示装置は、画像データSAを受信する受信部2と、受信部2が受信した画像データを処理する上記画像処理装置と、上記画像処理装置から出力される画像データDOを表示する画像表示部5と、を備えたので、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消した画像を表示することができる。
The image display device according to the first exemplary embodiment of the present invention includes a receiving
なお、本実施の形態1においては、閾値決定部41が、入力画像データDIと出力画像データDJの階調値の差に基づいて閾値THを決定する例を示したが、入力画像データDIにおける隣接画素間の階調差に対し出力画像データDJにおける隣接画素間の階調差が大きくなるか小さくなるかによって閾値を決定するようにしても良い。例えば、図5(b)において、補正後の画素n0〜n4と画素n5〜n9間の階調差AJ=Aと、補正前の階調差AI=A+a1−a2との差ΔA=AJ−AIを基準に閾値を出すようにしてもよい。あるいは、補正後の階調差AJと、補正前の階調差AIとの比PA=AJ/AIを基準に閾値を出すようにしてもよい。それらの場合、本実施の形態1のように単純にDJ−DIを計算するよりも多少計算が複雑になるが、注目画素と注目画素に隣接する画素の階調差が拡大したか縮小したかをより的確に判定することができる。
In the first embodiment, the example in which the threshold
なお、上記実施の形態1において、補正係数決定部31の補正カーブをルックアップテーブルから決定すると説明したが、n=1以上のn次元グラフから算出してもよい。
In the first embodiment, it has been described that the correction curve of the correction
また、実施の形態1において、n次元m次フィルタ部42を1次元5次フィルタとして説明したが、本発明は、n=1、m=5に限定されるものではない。本実施の形態1においてn次元m次フィルタ部42を1次元フィルタとした為、水平方向のみの階調改善の説明をしたが、2次元以上のフィルタにすると垂直方向に対しても階調の改善を行うことが出来る。
In the first embodiment, the n-dimensional mth-
実施の形態2.
図15は、本発明の実施の形態2に係る画像表示装置の構成を示す図である。実施の形態2に係る画像表示装置は、ビット拡張や階調補正処理により増加させた階調をεフィルタ(非線型デジタルフィルタ)を用いて平滑化し、実効的な階調数を増やして画像表示を行う液晶テレビやプラズマテレビなどの画像表示装置である。実施の形態1と異なる点は、ε閾値決定部41Bが補正前後の(画像データDJと画像データDIの)階調の差に基づいて決定するものではなく、階調補正部3の補正カーブの形状と階調(画像データDJまたは画像データDIのどちらか一方)から決定する点である。図15の構成要素のうち、同一の構成を示すものについては、同一番号を付しており、重複する説明は省略する。
FIG. 15 is a diagram showing a configuration of an image display apparatus according to
本実施の形態2にかかる画像表示装置は、入力端子1、受信部2、階調補正部3、階調改善部4B、及び表示部5を備えていて、入力端子1、受信部2、階調補正部3、及び表示部5は実施の形態1と同様の処理を行うので、説明は省略する。
The image display apparatus according to the second embodiment includes an
階調改善部4Bは、ε閾値決定部41Bとエッジ保存型平滑化フィルタであるn次元m次εフィルタ部42とを備えている。ε閾値決定部41Bは、階調補正部3の補正カーブの形状と画像データDJの階調から可変するεフィルタの閾値THBを決定し、n次元m次εフィルタ部42にて階調補間を行う。
The
階調改善部4Bについて、詳しく説明する。
ε閾値決定部41Bは、補正カーブ決定部31で決定した補正カーブの係数と階調補正部3で階調補正され出力された画像データDJの画素の階調によって、n次元m次εフィルタ部42で使用するε閾値THを決定する。図16は、階調補正前の階調値と階調補正後の階調値とを対応させた補正カーブを示すものであり、図16(a)は階調補正をしない場合を、図16(b)は、入力階調に応じて階調補正係数k1が異なる階調補正を行う場合を示している。図16(a)では階調補正を行わない、つまり、階調の補正係数k1=1であるので、階調前後による階調幅の変化はなく、拡大縮小係数k2も一定の1となる。したがって、このような場合、閾値THは階調によって変化せず一定となり、これを基準のε閾値thB(1)とする。なお、ε閾値thB(1)は使用者によって任意に決定する。なお、thB(v)における変数vは拡大縮小係数k2であり、v=1のとき、階調前後で階調幅の拡大縮小がないことになる。
The
The ε threshold value determination unit 41B is an n-dimensional m-th order ε filter unit based on the correction curve coefficient determined by the correction
なお、補正カーブが直線の場合でも、例えば、画像データDJの最大階調が画像データDIの最大階調の2倍である場合、階調補正により、階調幅が2倍になるので、拡大縮小係数k2は階調によらず一定ではあるが、2となる。 Even when the correction curve is a straight line, for example, when the maximum gradation of the image data DJ is twice the maximum gradation of the image data DI, the gradation width is doubled by gradation correction. The coefficient k2 is 2 regardless of the gradation, but is 2.
次に、階調補正部3で決定した補正カーブが、図16(b)のような曲線である場合について説明する。この補正カーブの場合、階調の低い部分は階調幅が縮小する(k2<1)ため黒つぶれしやすくなり、同様に階調の高い部分も階調幅が縮小する(k2<1)ため白つぶれしやすくなる。一方、中間の階調部分は階調幅が拡大する(k2>1)ため階調のジャンプが発生しやすくなる。
Next, the case where the correction curve determined by the
階調の低い部分や階調の高い部分は、階調補正部3で補正されたことによりテクスチャやエッジ部分でも階調差が小さくなるため、従来の固定ε閾値thB(1)でεフィルタをかけると、テクスチャやエッジなどをノイズ(階調ジャンプ)と判断され、平滑化されることが多くなり、ぼやけた画像になってしまう。一方、中間階調部分は、階調補正部3で補正されたことにより階調差が大きくなり、従来の固定ε閾値thB(1)でεフィルタをかけると、ノイズ(階調ジャンプ)がテクスチャと判断され、平滑化を行わず、ノイズの除去が出来ないことがある。
Since the gradation difference is reduced in the texture and the edge part by correcting the low gradation part and the high gradation part by the
そこで、階調補正を行う補正カーブの形状(k1のプロフィール)に合わせて、ε閾値THを変化させる。ただし、本実施の形態に係るε閾値決定部41Bであっても、図16(a)のように階調に関わらず補正係数K1が1の場合、階調によってε閾値THは変化せず、一定のε閾値thB(1)を出力することになる。 Therefore, the ε threshold value TH is changed in accordance with the shape of the correction curve for performing gradation correction (profile of k1). However, even in the ε threshold value determination unit 41B according to the present embodiment, when the correction coefficient K1 is 1, regardless of the gradation as shown in FIG. A constant ε threshold thB (1) is output.
階調補正部3が、図16(b)の補正カーブを用いる場合のε閾値thBの決定方法を、図17、図18を用いて説明する。なお、図17は補正カーブにもとづく階調補正後の階調とε閾値thBを割り振るステップとの関係を示す図17(a)と、補正後階調の一定幅毎の階調拡大縮小係数k2とε閾値thBとを示す図17(b)と、階調補正後の階調とε閾値との関係を示す図17(c)とからなり、図18は、補正カーブから補正係数を定義する2つの方法を夫々示す図18(a)と図18(b)からなる。
A method for determining the ε threshold thB when the
図17(a)に示すように、階調カーブと階調補正後の階調を複数のステップ(本実施の形態では8ビット長の画素データ256階調を、1ステップあたり32階調の8ステップ)に分割し、それぞれのステップ(番号:j)の階調拡大縮小係数k2(j)を導きだす。ここで、変数jはステップ番号である。この階調拡大縮小係数k2に基準のε閾値thB(1)(補正係数k1が1の時のε閾値で、あらかじめ設定しておく)を掛けた値が、ε閾値THとなり、図17(b)、(c)に示すようにステップ毎に決定する。 As shown in FIG. 17A, the gradation curve and gradation after gradation correction are converted into a plurality of steps (in this embodiment, 256 gradations of 8-bit pixel data are converted into 8 gradations of 32 gradations per step. Step), and the gradation enlargement / reduction coefficient k2 (j) of each step (number: j) is derived. Here, the variable j is a step number. A value obtained by multiplying the gradation enlargement / reduction coefficient k2 by the reference ε threshold thB (1) (an ε threshold when the correction coefficient k1 is 1 and set in advance) becomes the ε threshold TH, and FIG. ), And determined for each step as shown in (c).
階調拡大縮小係数k2はステップ毎に、ステップ内での傾きにて求める。例えば、ステップの両端部を直線で結び、その傾きをk2とする場合、図18(a)に示すように、ステップ1の階調拡大縮小係数k2(1)=y/xとなる。あるいは、図18(b)に示すように、ステップ内代表座標点の接線の傾き(補正カーブk1上の傾き)で求めてもよい。
The gradation enlargement / reduction coefficient k2 is obtained for each step by the inclination within the step. For example, if both ends of the step are connected by a straight line and the inclination is k2, the gradation enlargement / reduction coefficient k2 (1) of
具体的な画像処理例を、図19〜図28を用いて説明する。なお、本実施の形態でも、エッジ保存型平滑化フィルタであるn次元m次フィルタ部42Bは、1次元5次フィルタを使用するものとする。また、図19〜図23は緩やかに階調が変化する部分の画像処理例を示すものであり、図24〜図28は急峻に階調が変化するエッジ部分の画像処理例を示すものであり、画像データのうち、隣接する10個の画素n0〜n9を説明対象としている。 A specific example of image processing will be described with reference to FIGS. In the present embodiment also, the n-dimensional mth-order filter unit 42B, which is an edge-preserving smoothing filter, uses a one-dimensional quintic filter. Further, FIGS. 19 to 23 show examples of image processing at a portion where gradation changes gently, and FIGS. 24 to 28 show examples of image processing at an edge portion where gradation changes sharply. Among the image data, the adjacent ten pixels n0 to n9 are targeted for explanation.
まずは、図19〜図23を用いて、緩やかに階調が変化する画像データを処理する場合について説明する。図19(a)は入力画像DI、図19(b)は補正後の画像データDJ、図19(c)は補正量(DJ−DI)を示すものである。図において、受信部2から出力された画像データDI(画素n0〜n9)は、画素n4からn5において微少に階調が変化していることがわかる。
First, the case of processing image data whose gradation changes gently will be described with reference to FIGS. 19A shows the input image DI, FIG. 19B shows the corrected image data DJ, and FIG. 19C shows the correction amount (DJ-DI). In the figure, it can be seen that the gradation of the image data DI (pixels n0 to n9) output from the receiving
図19(b)は、画像データDIを図17で示した補正カーブに基づき、階調補正部3にて補正した後の画像データDJであり、画素n4からn5における微小に階調が変化している部分の変化量が、階調補正部3の補正によって大きくなっている(階調ジャンプが発生)ことがわかる。これは、画素n0〜n4より階調値が大きい画素n5〜n9の階調の増加量Cが、画素n0〜n4の階調の増加量cよりも大きいために生じたもので、例えば、画素n0〜n9が図17で示すステップ3の階調となるような場合である。
FIG. 19B is image data DJ after the image data DI is corrected by the
図19(c)は、図17で示した補正カーブに基づき画素n0〜n9に対して階調補正部3にて補正を行う際の階調拡大縮小係数k2と、その階調拡大縮小係数k2に対応して定めるε閾値THを示すものである。図において画素n0〜n9の階調拡大縮小係数k2は1より大きい値である。図17(b)に示すように、k2が大きいほど閾値THは大きくなるので、それに応じて閾値thB(k2)は、thB(1)より大きくなっている。
FIG. 19C shows a gradation enlargement / reduction coefficient k2 when the
図20(a)は図19(b)における画素n4を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、本発明の階調拡大縮小係数k2によって変化するε閾値E_THB(1)〜E_THB(5)の関係を示した図、図20(b)は図19(b)における画素n5を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、ε閾値E_THB(1)〜E_THB(5)の関係を示した図、図20(c)は、これら変化する閾値THをもとに補間された画像データDOを示すものである。 20A shows the absolute value of the difference values ED (1) to ED (5) when the pixel n4 in FIG. 19B is the target pixel, and ε that changes depending on the gradation enlargement / reduction coefficient k2 of the present invention. FIG. 20B is a diagram showing the relationship between threshold values E_THB (1) to E_THB (5), and FIG. 20B is a graph showing the difference values ED (1) to ED (5) when the pixel n5 in FIG. FIG. 20C shows the relationship between the absolute value and the ε threshold values E_THB (1) to E_THB (5), and FIG. 20C shows the image data DO interpolated based on these changing threshold values TH.
図20(a)において、丸でプロットしている値は、画像データDJにおける注目画素n4(黒丸)とその水平左右2画素(白丸)の差分絶対値を示している。差分算出部422−1〜422−m(n次元m次εフィルタ部42内の各要素は、実施の形態1と同じ番号を付与)から、それぞれ
ED(1)はDJにおける画素n4とn2との差分で0、
ED(2)はDJにおける画素n4とn3との差分で0、
ED(3)はDJにおける画素n4とn4との差分で0、
ED(4)はDJにおける画素n4とn5との差分でC(絶対値もC)、
ED(5)はDJにおける画素n4とn6との差分でCが、ε判定部423−1〜423−mに出力される。
In FIG. 20A, the values plotted with circles indicate the absolute difference values of the pixel of interest n4 (black circle) and its horizontal left and right pixels (white circle) in the image data DJ. From the difference calculation units 422-1 to 422-m (each element in the n-dimensional m-th order ε
ED (2) is 0 as a difference between pixels n4 and n3 in DJ.
ED (3) is 0 as the difference between pixels n4 and n4 in DJ.
ED (4) is the difference between pixels n4 and n5 in DJ, C (absolute value is also C),
ED (5) is the difference between the pixels n4 and n6 in DJ, and C is output to the ε determination units 423-1 to 423-m.
ε判定部423にて、差分データEDの絶対値とε閾値E_THB(1)〜E_THB(m)(まとめてε閾値THBと称する)とを比較し、その判定結果EEを判定付加重平均部424に出力する。差分データEDの絶対値がε閾値THBより大きい場合は、判定結果EEは「0」を出力し、差分データEDの絶対値がε閾値以下の場合は、判定結果EEは「1」を出力する。
The
具体的には、
画素n2では、差分データED(1)の絶対値=0<ε閾値thB(k2)なので、EE(1)=1、
画素n3では、差分データED(2)の絶対値=0<ε閾値thB(k2)なので、EE(2)=1、
画素n4では、差分データED(3)の絶対値=0<ε閾値thB(k2)なので、EE(3)=1、
画素n5では、差分データED(4)の絶対値=C<ε閾値thB(k2)なので、EE(4)=1、
画素n6では、差分データED(5)の絶対値=C<ε閾値thB(k2)なので、EE(5)=1となり、その判定結果EE(1)〜EE(5)を判定付加重平均部424に供給する。
In particular,
In the pixel n2, since the absolute value of the difference data ED (1) = 0 <εthreshold thB (k2), EE (1) = 1,
In the pixel n3, since the absolute value of the difference data ED (2) = 0 <εthreshold thB (k2), EE (2) = 1,
In the pixel n4, since the absolute value of the difference data ED (3) = 0 <εthreshold thB (k2), EE (3) = 1,
In the pixel n5, since the absolute value of the difference data ED (4) = C <εthreshold thB (k2), EE (4) = 1,
In the pixel n6, since the absolute value of the difference data ED (5) = C <εthreshold thB (k2), EE (5) = 1, and the determination results EE (1) to EE (5) are used as the determination additional weight average unit. 424.
判定付加重平均部424は、判定結果EE(1)〜EE(5)に基づいて、差分データED(1)〜ED(5)を加重平均し、その結果として得られる加重平均EMを出力する。判定付加重平均部424は、判定結果EE(i)が「1」の場合、差分データED(i)に係数K(i)を乗算して加算し、判定結果EE(i)が「0」の場合は、加算しない。例えば、図21(a1)に示すように、係数K(1)〜K(5)を全て0.2とした場合、次のような加重平均を行い、加重平均値EMが出力される。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×C×0.2)
+(1×C×0.2)
=0.4C
The determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x C x 0.2)
+ (1 x C x 0.2)
= 0.4C
画素n5を注目画素とした場合の差分値ED(1)〜ED(5)の絶対値は以下のようになる。
ED(1)は画素n5とn3の差分で−C(絶対値はC)、
ED(2)は画素n5とn4の差分で−C、
ED(3)は画素n5とn5の差分で0)、
ED(4)は画素n5とn6の差分で0、
ED(5)は画素n5とn7の差分で0、
そして、EDとε閾値THとの関係は図20(b)のような関係となる。
The absolute values of the difference values ED (1) to ED (5) when the pixel n5 is the target pixel are as follows.
ED (1) is a difference between pixels n5 and n3, −C (absolute value is C),
ED (2) is the difference between pixels n5 and n4, −C,
ED (3) is the difference between pixels n5 and n5 0),
ED (4) is the difference between pixels n5 and n6, 0,
ED (5) is 0 as the difference between pixels n5 and n7.
The relationship between ED and ε threshold value TH is as shown in FIG.
同様に、図21(a2)に示すように、判定付加重平均部424にて加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×(−C)×0.2)
+(1×(−C)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=−0.4C
Similarly, as shown in FIG. 21 (a2), the weighted average value EM is calculated by the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1 x (-C) x 0.2)
+ (1 × (−C) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= -0.4C
画素位置n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図21(b)に示す値を出力する。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図20(c)に示すようにエッジが緩やかに変化する画像データDOが出力される。
When the pixel positions n0 to n9 are set as the target pixel in order, the determination additional weight
一方、従来のようにε閾値THBが階調拡大縮小係数k2によって変化せず、ε閾値THBが一定値であるthB(1)となる場合の処理例を、図22、図23を用いて説明する。図22(a)は、画素n4を注目画素とした(DM(1)が画素n2、DM(2)が画素n3、DM(3)が注目画素n4、DM(4)が画素n5、DM(5)が画素n6のデータ)場合、図22(b)は、画素n5を注目画素とした(DM(1)が画素n3、DM(2)が画素n4、DM(3)が注目画素n5、DM(4)が画素n6、DM(5)が画素n7のデータ)場合における差分値EDと一定のε閾値thB(1)との関係を示す図である。 On the other hand, a processing example in the case where the ε threshold value THB is not changed by the gradation enlargement / reduction coefficient k2 and the ε threshold value THB is a constant value thB (1) as in the conventional case will be described with reference to FIGS. To do. In FIG. 22A, the pixel n4 is the pixel of interest (DM (1) is the pixel n2, DM (2) is the pixel n3, DM (3) is the pixel of interest n4, DM (4) is the pixel n5, DM ( 5 (b) is the pixel n6), FIG. 22B shows the pixel n5 as the pixel of interest (DM (1) is the pixel n3, DM (2) is the pixel n4, DM (3) is the pixel of interest n5, FIG. 6 is a diagram illustrating a relationship between a difference value ED and a constant ε threshold thB (1) when DM (4) is data of pixel n6 and DM (5) is data of pixel n7.
画素n4を注目画素とした場合、図23(a1)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「0」、EE(5)=「0」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(0×C×0.2)
+(0×C×0.2)
=0
When the pixel n4 is the target pixel, as illustrated in FIG. 23A1, the ε determination unit 432 determines the determination result EE (1) = “1”, EE (2) = “1”, EE (3) = “1”, EE (4) = “0”, and EE (5) = “0” are determined and supplied to the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (0xCx0.2)
+ (0xCx0.2)
= 0
また、画素n5を注目画素とした場合も同様に、図23(a2)に示すように、ε判定部432にて、判定結果EE(1)=「0」、EE(2)=「0」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (0×(−C)×0.2)
+(0×(−C)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=0
Similarly, when the pixel n5 is the target pixel, the determination result EE (1) = “0” and EE (2) = “0” are obtained by the ε determination unit 432 as shown in FIG. 23 (a2). , EE (3) = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (0x (-C) x0.2)
+ (0 × (−C) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= 0
画素位置n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図23(b2)のように出力される。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図22(c)に示すようにエッジが保存された画像データDOが出力される。
When the pixel positions n0 to n9 are set as the target pixel in order, the determination additional weight
つぎに、図24〜図28を用いて、急峻に階調が変化する部分の画像処理例について説明する。図24(a)は入力画像DI、図24(b)は補正後の画像データDJ、図24(c)は補正係数k1を示すものである。図において、受信部2から出力された画像データDI(画素n0〜n9)は、画素n4からn5において急峻に階調が変化するエッジ部分を有していることがわかる。
Next, an example of image processing of a portion where the gradation changes sharply will be described with reference to FIGS. 24A shows the input image DI, FIG. 24B shows the corrected image data DJ, and FIG. 24C shows the correction coefficient k1. In the figure, it can be seen that the image data DI (pixels n0 to n9) output from the receiving
図24(b)は、画像データDIを階調補正部3にて補正した後の画像データDJである。画素n4からn5における急峻な階調の変化が、階調補正部3の補正によって階調の変化量が小さくなる例である。これは、画素n0〜n4より階調値が大きい画素n5〜n9の階調の減少量dが、画素n0〜n4の階調の減少量Dよりも大きいために生じたもので、例えば、図17で示すステップ1のような場合である。
FIG. 24B shows image data DJ after the image data DI is corrected by the
図24(c)は、図17で示した補正カーブに基づき画素n0〜n9に対して階調補正部3にて補正を行う際の画素ごとの階調拡大縮小係数k2と、その階調拡大縮小係数k2に対応して定めるε閾値THを示すものである。図において画素n0〜n9の階調拡大縮小係数k2は1より小さい値である。図17(b)に示すように、k2が小さいほど閾値THは小さくなるので、それに応じて閾値thB(k2)は、thB(1)よりも小さくなっている。
FIG. 24C shows the gradation enlargement / reduction coefficient k2 for each pixel when the
図25(a)は図24(b)における画素n4を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、本発明の階調拡大縮小係数k2によって変化するε閾値E_THB(1)〜E_THB(5)の関係を示した図、図25(b)は図24における画素n5を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、ε閾値E_THB(1)〜E_THB(5)の関係を示した図、図25(c)は、これら変化する閾値THをもとに補間された画像データDOを示すものである。 FIG. 25A shows the absolute value of the difference values ED (1) to ED (5) when the pixel n4 in FIG. 24B is the target pixel, and ε that changes depending on the gradation enlargement / reduction coefficient k2 of the present invention. FIG. 25B is a diagram showing the relationship between threshold values E_THB (1) to E_THB (5), and FIG. 25B shows the absolute values of difference values ED (1) to ED (5) when pixel n5 in FIG. , Ε threshold values E_THB (1) to E_THB (5), FIG. 25C shows image data DO interpolated based on these changing threshold values TH.
図25(a)において、丸でプロットしている値は、画像データDJにおける注目画素n4(黒丸)とその水平左右2画素(白丸)の差分絶対値を示している。差分算出部422−1〜422−mから、それぞれ
ED(1)はDJにおける画素n4とn2との差分で0、
ED(2)はDJにおける画素n4とn3との差分で0、
ED(3)はDJにおける画素n4とn4との差分で0、
ED(4)はDJにおける画素n4とn5との差分でD(絶対値もD)、
ED(5)はDJにおける画素n4とn6との差分でDが、ε判定部423−1〜423−mに出力される。
In FIG. 25A, the values plotted with circles indicate the absolute difference values of the pixel of interest n4 (black circle) and its horizontal left and right pixels (white circle) in the image data DJ. From the difference calculation units 422-1 to 422-m, ED (1) is a difference between pixels n4 and n2 in DJ, 0,
ED (2) is 0 as a difference between pixels n4 and n3 in DJ.
ED (3) is 0 as the difference between pixels n4 and n4 in DJ.
ED (4) is the difference between pixels n4 and n5 in DJ, D (absolute value is also D),
ED (5) is the difference between the pixels n4 and n6 in DJ, and D is output to the ε determination units 423-1 to 423-m.
ε判定部423にて、差分データEDの絶対値とε閾値E_THB(1)〜E_THB(m)とを比較し、その判定結果EEを判定付加重平均部424に出力する。差分データEDの絶対値がε閾値THBより大きい場合は、判定結果EEは「0」を出力し、差分データEDの絶対値がε閾値以下の場合は、判定結果EEは「1」を出力する。
The
具体的には、
画素n2では、差分データED(1)の絶対値=0<ε閾値thB(k2)なので、EE(1)=1、
画素n3では、差分データED(2)の絶対値=0<ε閾値thB(k2)なので、EE(2)=1、
画素n4では、差分データED(3)の絶対値=0<ε閾値thB(k2)なので、EE(3)=1、
画素n5では、差分データED(4)の絶対値=D>ε閾値thB(k2)なので、EE(4)=0、
画素n6では、差分データED(5)の絶対値=D>ε閾値thB(k2)なので、EE(5)=0となり、その判定結果EE(1)〜EE(5)を判定付加重平均部424に供給する。
In particular,
In the pixel n2, since the absolute value of the difference data ED (1) = 0 <εthreshold thB (k2), EE (1) = 1,
In the pixel n3, since the absolute value of the difference data ED (2) = 0 <εthreshold thB (k2), EE (2) = 1,
In the pixel n4, since the absolute value of the difference data ED (3) = 0 <εthreshold thB (k2), EE (3) = 1,
In the pixel n5, since the absolute value of the difference data ED (4) = D> εthreshold thB (k2), EE (4) = 0,
In the pixel n6, since the absolute value of the difference data ED (5) = D> εthreshold thB (k2), EE (5) = 0, and the determination results EE (1) to EE (5) are used as the determination additional weight average unit. 424.
判定付加重平均部424は、判定結果EE(1)〜EE(5)に基づいて、差分データED(1)〜ED(5)を加重平均し、その結果として得られる加重平均EMを出力する。判定付加重平均部424は、判定結果EE(i)が「1」の場合、差分データED(i)に係数K(i)を乗算して加算し、判定結果EE(i)が「0」の場合は、加算しない。例えば、図26(a1)に示すように、係数K(1)〜K(5)を全て0.2とした場合、次のような加重平均を行い、加重平均値EMが出力される。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(0×D×0.2)
+(0×D×0.2)
=0
The determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (0xDx0.2)
+ (0xDx0.2)
= 0
画素n5を注目画素とした場合の差分値ED(1)〜ED(5)の絶対値は以下のようになる。
ED(1)は画素n5とn3の差分で−D(絶対値もD)、
ED(2)は画素n5とn4の差分で−D、
ED(3)は画素n5とn5の差分で0、
ED(4)は画素n5とn6の差分で0、
ED(5)は画素n5とn7の差分で0、
そして、EDとε閾値THとの関係は図25(b)のような関係となる。
The absolute values of the difference values ED (1) to ED (5) when the pixel n5 is the target pixel are as follows.
ED (1) is a difference between pixels n5 and n3, −D (absolute value is also D),
ED (2) is the difference between pixels n5 and n4, −D,
ED (3) is 0 as a difference between pixels n5 and n5.
ED (4) is the difference between pixels n5 and n6, 0,
ED (5) is 0 as the difference between pixels n5 and n7.
The relationship between ED and ε threshold value TH is as shown in FIG.
同様に、図26(a2)に示すように、判定付加重平均部424にて加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (0×(−D)×0.2)
+(0×(−D)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=0
Similarly, as shown in FIG. 26 (a2), the weighted average value EM is calculated by the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (0 × (−D) × 0.2)
+ (0 × (−D) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= 0
画素位置n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図26(b)に示す値を出力する。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図25(c)に示すようにエッジをほぼ保った状態の画像データDOが出力される。
When the pixel positions n0 to n9 are selected as the target pixel in order, the same calculation is performed in the determination additional weight
一方、従来のようにε閾値THBが補正係数k1によって変化せず、つまり、階調拡大縮小係数k2によって変化せず、ε閾値THBが一定値であるthB(1)となる場合の処理例を、図27、図28を用いて説明する。図27(a)は、画素n4を注目画素とした(DM(1)が画素n2、DM(2)が画素n3、DM(3)が注目画素n4、DM(4)が画素n5、DM(5)が画素n6のデータ)場合、図27(b)は、画素n5を注目画素とした(DM(1)が画素n3、DM(2)が画素n4、DM(3)が注目画素n5、DM(4)が画素n6、DM(5)が画素n7のデータ)場合における差分値EDと一定のε閾値thB(1)との関係を示す図である。 On the other hand, a processing example in the case where the ε threshold value THB does not change with the correction coefficient k1 as in the conventional case, that is, does not change with the gradation enlargement / reduction coefficient k2, and the ε threshold value THB becomes a constant value thB (1). This will be described with reference to FIGS. In FIG. 27A, the pixel n4 is the pixel of interest (DM (1) is the pixel n2, DM (2) is the pixel n3, DM (3) is the pixel of interest n4, DM (4) is the pixel n5, DM ( 5 (b) is the pixel n6), FIG. 27B shows the pixel n5 as the pixel of interest (DM (1) is the pixel n3, DM (2) is the pixel n4, DM (3) is the pixel of interest n5, FIG. 6 is a diagram illustrating a relationship between a difference value ED and a constant ε threshold thB (1) when DM (4) is data of pixel n6 and DM (5) is data of pixel n7.
画素n4を注目画素とした場合、図28(a1)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×D×0.2)
+(1×D×0.2)
=0.4D
When the pixel n4 is the target pixel, the determination result EE (1) = “1”, EE (2) = “1”, EE (3) is obtained by the ε determination unit 432 as shown in FIG. 28 (a1). = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x D x 0.2)
+ (1 x D x 0.2)
= 0.4D
また、画素n5を注目画素とした場合も同様に、図28(a2)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×(−D)×0.2)
+(1×(−D)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=−0.4D
Similarly, when the pixel n5 is the target pixel, the determination result EE (1) = “1” and EE (2) = “1” are obtained by the ε determination unit 432 as shown in FIG. 28 (a2). , EE (3) = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1 x (-D) x 0.2)
+ (1 × (−D) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= -0.4D
画素位置n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図28(b2)のように出力される。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図27(c)に示すようにエッジが緩やかに変化する画像データDOが出力される。
When the pixel positions n0 to n9 are selected as the target pixel in order, the determination additional weight
上記のように、ε閾値決定部41B(閾値制御部)を備えることによって、ε閾値決定部41Bによって閾値が制御されるn次元m次εフィルタ部42(エッジ保存型平滑化フィルタ)は、入力画像に対する階調補正カーブと階調(から算出される階調拡大縮小係数k2)に応じて保持するエッジが異なる平滑化フィルタとして動作する。 As described above, by providing the ε threshold value determination unit 41B (threshold value control unit), the n-dimensional m-th order ε filter unit 42 (edge preserving smoothing filter) whose threshold value is controlled by the ε threshold value determination unit 41B is input. It operates as a smoothing filter having different edges to be held according to the gradation correction curve and gradation (the gradation enlargement / reduction coefficient k2 calculated from the image).
以上のように、本実施の形態2にかかる画像処理装置および画像表示装置によれば、閾値決定部41Bが、階調補正部3で使用する補正カーブと出力画像データDJの階調値とに基づいて算出する補正前後の階調幅の拡大縮小係数k2に基づいて閾値THを決定するようにしたので、入力画像DIに階調補正を実施した画像において、入力画像DIの値を参照しなくても、階調補正量によってε閾値を可変することができる。これにより、階調補正にて変化した階調差をエッジか階調のジャンプかを的確に判断することができるので、エッジにおいてはボケのないエッジに処理することができるとともに、階調のジャンプにおいては緩やかに階調変化するように処理することができる。
As described above, according to the image processing apparatus and the image display apparatus according to the second embodiment, the threshold value determination unit 41B uses the correction curve used in the
とくに、閾値決定部41Bが、出力画像DJを階調レベルによって複数の階級(ステップ)に分割し、分割した階級(ステップ)ごとに補正前後の階調幅の拡大縮小係数k2を算出するようにしたので、計算処理や記憶容量を増加させることなく、補間処理を行うことができる。 In particular, the threshold value determination unit 41B divides the output image DJ into a plurality of classes (steps) according to the gradation level, and calculates the enlargement / reduction coefficient k2 of the gradation width before and after correction for each divided class (step). Therefore, interpolation processing can be performed without increasing calculation processing and storage capacity.
なお、本実施の形態2において、n次元m次フィルタ部42を1次元5次フィルタとして説明したが、本発明は、n=1、m=5に限定されるものではない。また、本実施の形態2においてn次元m次フィルタ部42を1次元フィルタとした為、水平方向のみの階調改善の説明をしたが、2次元以上のフィルタにすると垂直方向に対しても階調の改善を行うことが出来る。
In the second embodiment, the n-dimensional mth-
また、本実施の形態2において、ε閾値決定部41Bでは8ステップに分けたε閾値TH(b)について説明したが、8ステップの限定されるものではない。図29(a)のように8ステップより少ないステップ数(例えば、4ステップ)や図29(b)のように8ステップより多いステップ数(例えば32ステップ)としても、本実施の形態2のように階調の改善を行うことが出来る。 In the second embodiment, the ε threshold value determination unit 41B has described the ε threshold value TH (b) divided into 8 steps, but is not limited to 8 steps. Even if the number of steps is less than 8 steps (for example, 4 steps) as shown in FIG. 29A or the number of steps is more than 8 steps (for example, 32 steps) as shown in FIG. It is possible to improve the gradation.
なお、本実施の形態2では、補正後の階調値に応じて分割したステップ毎の階調拡大縮小係数k2(j)を使用することを前提に説明を行ったが、ステップの分割位置にあたる階調を中心とするサブステップを形成して各ステップの階調範囲が重なり合うようにして、階調値に応じてステップを使い分けするようにしても良い。例えば図17に示すステップ7とステップ8のサブステップとして、補正後階調範囲207〜240のサブステップS7を設定し、階調拡大縮小係数k2(j)をk2(7)とk2(8)の平均である0.7と設定する。そして、ある画素の階調値がステップ7と8の境界値付近である例えば階調値223だった場合、サブステップ7がないと、階調差が同じでも、階調値が224の隣接画素Aと階調値が225の隣接画素Bがある場合、隣接画素AとBに対して異なるε閾値を用いることになるが、サブステップS7を適用すれば、隣接画素A,Bともに同じε閾値を使用することになるので、滑らかな補間が可能となる。
In the second embodiment, the description has been made on the assumption that the gradation enlargement / reduction coefficient k2 (j) for each step divided according to the corrected gradation value is used, but this corresponds to the division position of the step. A sub-step centering on the gradation may be formed so that the gradation ranges of the respective steps overlap, and the steps may be properly used according to the gradation value. For example, as a sub-step of
さらに、本実施の形態2では、同じ入力階調値に対して同じ補正係数k1により補正する例について説明したが、補正部における階調補正が、その画素の存在する位置や周囲の画素の階調値によって、同じ入力階調値でも異なる補正係数k1で補正するような場合、つまり、画素によって異なる補正カーブを用いる場合にも適用することはできる。その場合、画素ごとに選んだ補正カーブk1pと補正後の階調値に基づいて階調拡大縮小係数k2を算出するようにすればよい。 Furthermore, in the second embodiment, the example in which the same input gradation value is corrected with the same correction coefficient k1 has been described. However, the gradation correction in the correction unit is performed at the position where the pixel exists and the levels of surrounding pixels. The present invention can also be applied to a case where correction is performed with a different correction coefficient k1 even with the same input tone value depending on the tone value, that is, when a different correction curve is used for each pixel. In that case, the gradation enlargement / reduction coefficient k2 may be calculated based on the correction curve k1p selected for each pixel and the corrected gradation value.
また、本実施の形態2において、階調補正部を階調改善部の前段にあるものとして説明したが、図30に示すように階調補正部3Cの補正カーブ決定部31を階調改善部4Cの前段に設置し、補正部32を後段に設置しても同様の階調の改善を行うことが出来る。この時、ε閾値THは受信部2からの出力画像データDIの階調を基準として設定する。
In the second embodiment, the gradation correction unit is described as being in front of the gradation improvement unit. However, as shown in FIG. 30, the correction
このように実施の形態2によれば、εフィルタを用いて階調補正により増えた階調を平滑化するので、輪郭やテクスチャなどの階調が急峻に大きく変化する領域を有する画像の鮮鋭度を損なわずに、画像データの階調のジャンプを改善することができる。したがって、画像レベルの抜けに起因する擬似輪郭を解消して擬似輪郭による画質劣化を低減させることが可能となる。 As described above, according to the second embodiment, since the gradation increased by the gradation correction is smoothed using the ε filter, the sharpness of an image having an area where the gradation such as the outline or the texture changes drastically greatly. The gradation jump of the image data can be improved without impairing the image quality. Therefore, it is possible to eliminate the pseudo contour caused by the missing image level and reduce the image quality deterioration due to the pseudo contour.
また、上記実施の形態1〜2において、階調補正を伴い、エッジを保存して階調のジャンプを改善する回路について説明をしたが、階調補正を伴い、エッジを保存してノイズ除去をする回路、及び階調補正を伴い、エッジを保存して実質的な階調を拡大する回路においても同様の効果がある。 In the first and second embodiments, the circuit for improving the gradation jump by storing the edge with gradation correction has been described. However, the noise is removed by storing the edge and correcting the gradation. The same effect can be obtained in a circuit that performs gradation correction and a circuit that preserves edges and expands substantial gradation.
また、上記実施の形態1〜2において、図3に示すようにn次元m次εフィルタ部のε判定部423−1〜423―mは、ε閾値決定部41にて決定したそれぞれに対応するε閾値E_TH(1)〜E_TH(m)またはε閾値E_THB(1)〜E_THB(m)にて判定する回路について説明したが、図31に示すようにε判定部423−1〜423−mは、全て注目画素EM(c)に対応するε閾値E_TH(c)またはE_THB(c)にて判定するように回路を構成してもよい。
Further, in the first and second embodiments, as shown in FIG. 3, the ε determination units 423-1 to 423-m of the n-dimensional m-order ε filter unit correspond to each determined by the ε threshold
実施の形態3.
上記各実施の形態1、2では、階調補正部4のエッジ保存型の平滑化フィルタをn次元m次εフィルタとして説明してきたが、本発明はεフィルタを用いることに限定されない。急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタであるエッジ保存型平滑化フィルタとしては、上述したεフィルタの他にトリムド平均値フィルタ(DW−MTMフィルタ)やバイラテラルフィルタなどがあり、これらエッジ保存型平滑化フィルタを用いた場合でも本発明は実現できる。
In the first and second embodiments, the edge preserving type smoothing filter of the
ここで、トリムド平均値フィルタ(DW−MTMフィルタ)について説明する。トリムド平均値フィルタは、例えば非特許文献1(雛元孝夫監修、棟安実治、夫田口亮著、「非線形ディジタル信号処理」朝倉書店、1999年3月20日、p.72−74)に説明されているものである。 Here, the trimmed average value filter (DW-MTM filter) will be described. The trimmed average value filter is described in, for example, Non-Patent Document 1 (supervised by Takao Hinamoto, Meiji Muneyasu, Ryo Otaguchi, “Nonlinear Digital Signal Processing”, Asakura Shoten, March 20, 1999, p. 72-74). It is what has been.
トリムド平均値フィルタによる一次元処理は、式(1)や(2)で表される。x(i)は入力される画像データの階調であり、y(i)は出力する画像データの階調である。また、akは係数であり、kは注目画素からの相対的な画素位置であり、εは閾値である。 One-dimensional processing by the trimmed average value filter is expressed by equations (1) and (2). x (i) is the gradation of the input image data, and y (i) is the gradation of the output image data. Further, a k is a coefficient, k is a relative pixel position from the target pixel, and ε is a threshold value.
ここでxmedは、処理点を中心とするフィルタ窓幅mより小さい窓内データのメジアン値である。bkはx(i−k)−xmedが閾値ε以下なら1、閾値ε以下なら0を出力する Here, x med is a median value of in-window data smaller than the filter window width m centering on the processing point. b k is 1 if x ( ik ) -x med is less than or equal to the threshold ε, and 0 if the threshold ε or less.
bkはx(i−k)−x(i)が閾値ε以下なら1、閾値ε以下なら0を出力する。つまり、式(2)のトリムド平均値フィルタは着目画素と階調差の大きい周辺画素は除いて加重平均値を求めている。 b k is 1 if x (i−k) −x (i) is less than or equal to the threshold ε, and 0 if it is less than or equal to the threshold ε. That is, the trimmed average value filter of Expression (2) obtains a weighted average value excluding peripheral pixels having a large gradation difference from the target pixel.
εフィルタは着目画素と階調差の大きい周辺画素は着目画素の階調値に置き換えて加重平均値を求めている。一方、トリムド平均値フィルタはεフィルタと同様に急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタである。よって、εフィルタの代わりにトリムド平均値フィルタを用いても、ε閾値決定部41、41B、41Cまたは41Dで決定したε閾値THを閾値とすることで、同等の効果が得られる。同様に、εフィルタの代わりに他のエッジ保存型平滑化フィルタを用いても同等の効果が得られる。
The ε filter obtains a weighted average value by replacing peripheral pixels having a large gradation difference with the target pixel by the gradation value of the target pixel. On the other hand, the trimmed average value filter is a filter that smooths only a small change while preserving the sharpness of a portion where there is a steep and large change like the ε filter. Therefore, even if a trimmed average value filter is used instead of the ε filter, an equivalent effect can be obtained by using the ε threshold TH determined by the ε
1 入力端子、 2 受信部、 3 階調補正部、 4、4B、4C、4D 階調改善部、 5 表示部、 31 補正カーブ決定部、 32 補正部、 41、41B、41B、41C、41D ε閾値決定部、 42 n次元m次εフィルタ部(エッジ保存型平滑化フィルタ)、 421 データ格納部、 422 差分算出部、 423 ε判定部、 424 判定付荷重平均部、 425 データ加算部、5 表示部。
DESCRIPTION OF
Claims (7)
前記出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタと前記エッジ保存型平滑化フィルタにて使用する閾値を決定する閾値決定部とを有し前記階調補正部から出力された出力画像データの階調抜けを補間処理する階調改善部と
を備え、前記閾値決定部は、前記入力画像データと前記出力画像データの階調値の差が小さくなるにつれ前記閾値を小さくし、前記階調値の差が大きくなるにつれ前記閾値を大きくするように閾値を決定することを特徴とする画像処理装置。 A gradation correction unit that corrects the gradation of the input image data and outputs it as output image data;
An edge-preserving smoothing filter that preserves and smooths edges of the output image data; and a threshold value determining unit that determines a threshold value used in the edge-preserving smoothing filter. A gradation improving unit that interpolates the gradation loss of the output image data, and the threshold value determining unit decreases the threshold value as a difference between gradation values of the input image data and the output image data decreases. An image processing apparatus , wherein the threshold value is determined so as to increase as the difference between the gradation values increases .
前記出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタと前記エッジ保存型平滑化フィルタにて使用する閾値を決定する閾値決定部とを有し前記階調補正部から出力された出力画像データの階調抜けを補間処理する階調改善部と
を備え、前記閾値決定部は、前記入力画像データにおける補正前の隣接画素間の階調値の差に対し前記出力画像データにおける補正後の隣接画素間の階調値の差が小さくなるにつれ前記閾値を小さくし、前記入力画像データにおける補正前の隣接画素間の階調値の差に対し前記出力画像データにおける補正後の隣接画素間の階調値の差が大きくなるにつれ前記閾値を大きくするように閾値を決定することを特徴とする画像処理装置。 A gradation correction unit that corrects the gradation of the input image data and outputs it as output image data;
An edge-preserving smoothing filter that preserves and smooths edges of the output image data; and a threshold value determining unit that determines a threshold value used in the edge-preserving smoothing filter. A tone improvement unit that interpolates the missing tone of the output image data
And the threshold value determination unit reduces the difference in gradation value between adjacent pixels after correction in the output image data with respect to the difference in gradation value between adjacent pixels before correction in the input image data . The threshold value is decreased, and the threshold value is increased as the difference in gradation value between adjacent pixels after correction in the output image data increases with respect to the difference in gradation value between adjacent pixels before correction in the input image data. An image processing apparatus characterized by determining a threshold value as described above .
前記出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタと前記エッジ保存型平滑化フィルタにて使用する閾値を決定する閾値決定部とを有し前記階調補正部から出力された出力画像データの階調抜けを補間処理する階調改善部と
を備え、前記閾値決定部は、前記階調補正部で使用する補正カーブと前記出力画像データの階調値とに基づいて算出する補正前後の階調幅の拡大縮小係数が小さくなるにつれ前記閾値を小さくし、前記拡大縮小係数が大きくなるにつれ前記閾値を大きくするように閾値を決定することを特徴とする画像処理装置。 A gradation correction unit that corrects the gradation of the input image data and outputs it as output image data;
An edge-preserving smoothing filter that preserves and smooths edges of the output image data; and a threshold value determining unit that determines a threshold value used in the edge-preserving smoothing filter. A tone improvement unit that interpolates the missing tone of the output image data
And the threshold value determination unit sets the threshold value as the enlargement / reduction coefficient of the gradation width before and after correction calculated based on the correction curve used in the gradation correction unit and the gradation value of the output image data decreases. An image processing apparatus , wherein the threshold value is determined so as to decrease and to increase the threshold value as the enlargement / reduction coefficient increases .
前記受信部が出力した入力画像データの画像処理を行う請求項1ないし請求項6のいずれか1項に記載の画像処理装置と、The image processing apparatus according to any one of claims 1 to 6, wherein image processing of input image data output by the receiving unit is performed.
前記画像処理装置から出力される画像データを表示する画像表示部と、An image display unit for displaying image data output from the image processing device;
を備えてなる画像表示装置。An image display device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009055148A JP5233757B2 (en) | 2009-03-09 | 2009-03-09 | Image processing apparatus and image display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009055148A JP5233757B2 (en) | 2009-03-09 | 2009-03-09 | Image processing apparatus and image display apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010212870A JP2010212870A (en) | 2010-09-24 |
JP5233757B2 true JP5233757B2 (en) | 2013-07-10 |
Family
ID=42972622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009055148A Expired - Fee Related JP5233757B2 (en) | 2009-03-09 | 2009-03-09 | Image processing apparatus and image display apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5233757B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102019345B1 (en) * | 2012-12-12 | 2019-09-06 | 엘지디스플레이 주식회사 | Display device and image data processing method thereof |
KR102007815B1 (en) * | 2012-12-12 | 2019-08-07 | 엘지디스플레이 주식회사 | Display device and image data processing method thereof |
CN113538271A (en) * | 2021-07-12 | 2021-10-22 | Oppo广东移动通信有限公司 | Image display method, image display device, electronic equipment and computer readable storage medium |
CN114220371A (en) * | 2021-12-10 | 2022-03-22 | 西安诺瓦星云科技股份有限公司 | Full-gray-scale point-by-point correction method and related device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4649781B2 (en) * | 2001-06-20 | 2011-03-16 | ソニー株式会社 | Image processing method and apparatus |
JP4085739B2 (en) * | 2002-08-15 | 2008-05-14 | 日本電気株式会社 | Noise removal circuit |
EP1708490B1 (en) * | 2003-12-03 | 2013-02-13 | Nikon Corporation | Image processing device for controlling intensity of noise removal in a screen, image processing program, image processing method, and electronic camera |
JP5137464B2 (en) * | 2006-06-08 | 2013-02-06 | パナソニック株式会社 | Image processing apparatus, image processing method, image processing program, and integrated circuit |
JP2008199448A (en) * | 2007-02-15 | 2008-08-28 | Matsushita Electric Ind Co Ltd | Imaging apparatus, image processor and image processing method |
JP4772721B2 (en) * | 2007-03-26 | 2011-09-14 | 株式会社東芝 | Image processing apparatus and method |
-
2009
- 2009-03-09 JP JP2009055148A patent/JP5233757B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010212870A (en) | 2010-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5396527B2 (en) | Infrared thermogram digital signal processing system and method | |
US8406547B2 (en) | Visual processing device, visual processing method, program, display device, and integrated circuit | |
JP4816970B2 (en) | Image processing apparatus, display apparatus, image processing method, and program | |
EP2833317B1 (en) | Image display device and/or method therefor | |
CN106846270B (en) | Image edge enhancement method and device | |
JP3856031B2 (en) | Motion detection device and noise reduction device using the same | |
JP4746575B2 (en) | Image processing apparatus and method | |
US7734111B2 (en) | Image processing apparatus, image processing method, and computer product | |
JP5177142B2 (en) | Image processing apparatus, display apparatus, image processing method, and program thereof | |
KR20070036607A (en) | A digital image enhancement method and system using non-log domain illumination correction | |
JP5367667B2 (en) | Image processing device | |
CN103854259A (en) | Image processing apparatus and method of processing image | |
JP2013050962A (en) | Image processing apparatus, image processing method, image processing program, and integrated circuit | |
US10922792B2 (en) | Image adjustment method and associated image processing circuit | |
JP5233757B2 (en) | Image processing apparatus and image display apparatus | |
JP2007181189A (en) | Image processing device, display device, image processing method, and program | |
WO2007099755A1 (en) | Image processing device, display device, image processing method, and program | |
JP2006333202A (en) | Video signal processor and video signal processing method | |
JP4380498B2 (en) | Block distortion reduction device | |
KR100679046B1 (en) | Method and apparatus for bit resolution extension using local information of image | |
US8300974B2 (en) | Image processing device, image display device, and image processing method therefor | |
JP3630093B2 (en) | Video data correction apparatus and video data correction method | |
JP2007336075A (en) | Block distortion reducing device | |
JP4455554B2 (en) | Image processing apparatus and image processing method | |
US8665315B2 (en) | Signal processing device, reproducing device, signal processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111103 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130311 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5233757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |