JP5233757B2 - Image processing apparatus and image display apparatus - Google Patents

Image processing apparatus and image display apparatus Download PDF

Info

Publication number
JP5233757B2
JP5233757B2 JP2009055148A JP2009055148A JP5233757B2 JP 5233757 B2 JP5233757 B2 JP 5233757B2 JP 2009055148 A JP2009055148 A JP 2009055148A JP 2009055148 A JP2009055148 A JP 2009055148A JP 5233757 B2 JP5233757 B2 JP 5233757B2
Authority
JP
Japan
Prior art keywords
gradation
image data
unit
threshold value
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009055148A
Other languages
Japanese (ja)
Other versions
JP2010212870A (en
Inventor
千尋 佐桑
浩次 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009055148A priority Critical patent/JP5233757B2/en
Publication of JP2010212870A publication Critical patent/JP2010212870A/en
Application granted granted Critical
Publication of JP5233757B2 publication Critical patent/JP5233757B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像処理装置および画像表示装置に関する。とくに、デジタル画像の階調を補間する技術に係わり、デジタル画像の擬似的な輪郭の発生の抑制に関するものである。   The present invention relates to an image processing device and an image display device. In particular, the present invention relates to a technique for interpolating the gradation of a digital image, and relates to the suppression of the occurrence of a pseudo contour in the digital image.

近年、テレビやモニタなどのディスプレイ装置の高輝度化が進んでいる。高輝度化によって単位階調当たりの輝度の変化量も大きくなり、緩やかな階調の変化でもその変化点が目立ってしまう。また近年では、リアルタイムに映像を分析し、映像シーンに合わせた階調補正処理を画像フレーム毎、または画素毎に行うことがある。この階調補正処理によって階調の変化量が大きくなる場合がある。そのため、夕焼けの空や海などの緩やかに階調が変化する画像信号では、隣接する領域の画像レベルが階段状に変化(隣接する画素の階調レベルが2以上異なった状態。つまり、輪郭でもないのに、隣接する画素の階調レベルが連続的に変化するのではなく、少なくとも1つの階調レベルを抜かして変化する状態をいい、階調ジャンプと称する。)して、擬似的な輪郭のように見えてしまうという問題がある。   In recent years, the brightness of display devices such as televisions and monitors has been increasing. As the luminance increases, the amount of change in luminance per unit gradation also increases, and the change point becomes noticeable even when the gradation changes gradually. In recent years, a video is analyzed in real time, and gradation correction processing according to a video scene is sometimes performed for each image frame or each pixel. This gradation correction processing may increase the amount of change in gradation. For this reason, in an image signal whose gradation changes gently, such as in the sunset sky or the sea, the image level of the adjacent region changes in a staircase shape (the gradation level of adjacent pixels is different by 2 or more. This is a state in which the gradation level of adjacent pixels does not change continuously but changes by removing at least one gradation level, which is referred to as gradation jump). There is a problem that it looks like.

この問題を改善するために、擬似的な輪郭を有した画像データに平滑化処理(単純な平均化など)を施し、擬似的な輪郭を緩和する技術がある。しかし、緩やかに変化する画像部分の擬似的な輪郭は緩和されるが、物体の輪郭や細かい模様などのテクスチャ画像がぼやけてしまうという問題があった。そこで、平滑化処理を行わずに擬似的な輪郭を解消するために、階調のジャンプが存在する第1と第2の画像レベルを特定することによって階調補間の対象領域を抽出し、この対象領域に対して階調補間を行うことにより、階調ジャンプを解消する技術が提案されている。(例えば、特許文献1参照)   In order to solve this problem, there is a technique for relaxing the pseudo contour by performing smoothing processing (simple averaging or the like) on image data having a pseudo contour. However, although the pseudo contour of the slowly changing image portion is alleviated, there is a problem that the texture image such as the contour of the object or the fine pattern is blurred. Therefore, in order to eliminate the pseudo contour without performing the smoothing process, the target area for gradation interpolation is extracted by specifying the first and second image levels where the gradation jump exists, A technique for eliminating gradation jump by performing gradation interpolation on a target region has been proposed. (For example, see Patent Document 1)

特開平10−84481号公報(段落0025〜0028、図1)Japanese Patent Laid-Open No. 10-84481 (paragraphs 0025 to 0028, FIG. 1)

しかしながら、階調補正処理した画像に上記のような階調補間を行う場合、階調補正処理による階調変化を考慮せずに階調の補間を行うため、階調の変化が小さくなった輪郭が階調ジャンプと判定されて輪郭がぼやけてしまう、あるいは、階調の変化が大きくなった階調ジャンプが輪郭と判定されて残ってしまう、という問題があった。   However, when the above-described gradation interpolation is performed on the gradation-corrected image, since the gradation interpolation is performed without considering the gradation change due to the gradation correction process, the contour in which the gradation change is reduced However, there is a problem that the contour is blurred due to being judged as a gradation jump, or a gradation jump with a large gradation change is judged as a contour and remains.

本発明は、上記に鑑みてなされたものであって、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる画像処理装置および画像表示装置を得ることを目的とする。   The present invention has been made in view of the above, and an image processing apparatus capable of accurately eliminating a pseudo contour caused by a missing image level even for an image subjected to gradation correction processing, and An object is to obtain an image display device.

本発明にかかる画像処理装置および画像表示装置は、入力画像データの階調を補正し、出力画像データとして出力する階調補正部と、出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタとエッジ保存型平滑化フィルタにて使用する閾値を決定する閾値決定部とを有し階調補正部から出力された出力画像データの階調抜けを補間処理する階調改善部と、を備えている。 An image processing apparatus and an image display apparatus according to the present invention include a gradation correction unit that corrects gradation of input image data and outputs the output image data, and an edge storage type that stores and smooths edges of the output image data A gradation improving unit that interpolates gradation loss of output image data output from the gradation correction unit , the threshold determining unit determining a threshold to be used in the smoothing filter and the edge preserving smoothing filter ; It has.

本発明によれば、階調補正処理による階調の変化量に応じた閾値を用いて、エッジ保存型平滑化フィルタによる補間処理を行うので、残すべき輪郭と解消すべき階調ジャンプとを区別して補間処理ができるので、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる画像処理装置および画像表示装置を得ることができる。   According to the present invention, since the interpolation processing by the edge-preserving smoothing filter is performed using the threshold value corresponding to the amount of change in gradation by the gradation correction process, the contour to be retained and the gradation jump to be resolved are distinguished. Since interpolation processing can be performed separately, an image processing device and an image display device that can accurately eliminate a pseudo contour caused by a missing image level even for an image that has been subjected to gradation correction processing can be obtained. .

本発明の実施の形態1に係る画像処理装置および画像表示装置の構成を示す図である。It is a figure which shows the structure of the image processing apparatus and image display apparatus which concern on Embodiment 1 of this invention. 本発明の実施の形態1に係る画像処理装置における階調補正カーブと階調補正前後の階調の分布の変化を説明するための図(a1、a2、a3、b1、b2、b3)である。FIG. 6 is a diagram (a1, a2, a3, b1, b2, b3) for explaining a gradation correction curve and a change in gradation distribution before and after gradation correction in the image processing apparatus according to Embodiment 1 of the present invention. . 本発明の実施の形態1に係る画像処理装置におけるエッジ保存型平滑化フィルタ(n次元m次フィルタ部)の構成を示す図である。It is a figure which shows the structure of the edge preservation | save type | mold smoothing filter (n-dimensional m-th order filter part) in the image processing apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る画像処理装置における階調の補正量と閾値の関係を示す図である。It is a figure which shows the relationship between the correction amount of a gradation, and a threshold value in the image processing apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る画像処理装置における階調に急峻な変化がある画像の階調補正の例を示す図(a、b、c)である。It is a figure (a, b, c) which shows the example of the gradation correction | amendment of the image which has a sharp change in the gradation in the image processing apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る画像処理装置における階調に急峻な変化がある画像の階調補間の例を示す図(a、b、c)である。It is a figure (a, b, c) which shows the example of the gradation interpolation of the image which has a sharp change in the gradation in the image processing apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る画像処理装置における階調に急峻な変化がある画像の画像処理の例を示す図(a1、a2、b)である。It is a figure (a1, a2, b) which shows the example of the image processing of the image which has a steep change in the gradation in the image processing apparatus which concerns on Embodiment 1 of this invention. 固定ε閾値を使った場合の階調に急峻な変化がある画像の階調補間の例を示す図(a、b、c)である。FIG. 10 is a diagram (a, b, c) illustrating an example of gradation interpolation of an image having a sharp change in gradation when a fixed ε threshold is used. 固定ε閾値を使った場合の階調に急峻な変化がある画像の画像処理の例を示す図(a1、a2、b)である。It is a figure (a1, a2, b) which shows the example of the image processing of an image with a sharp change in the gradation at the time of using a fixed (epsilon) threshold value. 本発明の実施の形態1に係る画像処理装置における階調に緩やかな変化がある画像の階調補正の例を示す図(a、b、c)である。It is a figure (a, b, c) which shows the example of the gradation correction | amendment of the image which has a gentle change in the gradation in the image processing apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る画像処理装置における階調に緩やかな変化がある画像の階調補間の例を示す図(a、b、c)である。It is a figure (a, b, c) which shows the example of the gradation interpolation of the image which has a gentle change in the gradation in the image processing apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る画像処理装置における階調に緩やかな変化がある画像の画像処理の例を示す図(a1、a2、b)である。It is a figure (a1, a2, b) which shows the example of the image processing of the image which has a gentle change in the gradation in the image processing apparatus which concerns on Embodiment 1 of this invention. 固定ε閾値を使った場合の階調に緩やかな変化がある画像の階調補間の例を示す図(a、b、c)である。FIG. 10 is a diagram (a, b, c) illustrating an example of gradation interpolation of an image having a gradual change in gradation when a fixed ε threshold is used. 固定ε閾値を使った場合の階調に緩やかな変化がある画像の画像処理の例を示す図(a1、a2、b)である。It is a figure (a1, a2, b) which shows the example of the image processing of an image with a gentle change in the gradation at the time of using a fixed (epsilon) threshold value. 本発明の実施の形態2に係る画像処理装置および画像表示装置の構成を示す図である。It is a figure which shows the structure of the image processing apparatus and image display apparatus which concern on Embodiment 2 of this invention. 階調補正カーブと階調の拡大について説明するための図(a、b)である。It is a figure (a, b) for demonstrating a gradation correction curve and expansion of a gradation. 本発明の実施の形態2に係る画像処理装置における補正後の階調値を所定幅で区切ったステップ毎の階調拡大縮小係数とε閾値との関係を説明するための図(a、b、c)である。FIGS. 9A and 9B are diagrams for explaining the relationship between the gradation enlargement / reduction coefficient and the ε threshold value for each step in which the corrected gradation value is divided by a predetermined width in the image processing apparatus according to the second embodiment of the present invention. c). 本発明の実施の形態2に係る画像処理装置における階調補正カーブから補正後の階調値を所定幅で区切ったステップ毎に階調拡大縮小係数を算出する方法を示す図(a、b)である。FIG. 9A is a diagram illustrating a method for calculating a gradation enlargement / reduction coefficient for each step in which the corrected gradation value is divided by a predetermined width from the gradation correction curve in the image processing apparatus according to the second embodiment of the present invention. It is. 本発明の実施の形態2に係る画像処理装置における階調に緩やかな変化がある画像の階調補正の例を示す図(a、b、c)である。It is a figure (a, b, c) which shows the example of the gradation correction | amendment of the image which has a gentle change in the gradation in the image processing apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る画像処理装置における階調に緩やかな変化がある画像の階調補間の例を示す図(a、b、c)である。It is a figure (a, b, c) which shows the example of the gradation interpolation of the image which has a gentle change in the gradation in the image processing apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る画像処理装置における階調に緩やかな変化がある画像の画像処理の例を示す図(a1、a2、b)である。It is a figure (a1, a2, b) which shows the example of the image processing of the image which has a gentle change in the gradation in the image processing apparatus which concerns on Embodiment 2 of this invention. 固定ε閾値を使った場合の階調に緩やかな変化がある画像の階調補間の例を示す図(a、b、c)である。FIG. 10 is a diagram (a, b, c) illustrating an example of gradation interpolation of an image having a gradual change in gradation when a fixed ε threshold is used. 固定ε閾値を使った場合の階調に緩やかな変化がある画像の画像処理の例を示す図(a1、a2、b)である。It is a figure (a1, a2, b) which shows the example of the image processing of an image with a gentle change in the gradation at the time of using a fixed (epsilon) threshold value. 本発明の実施の形態2に係る画像処理装置における階調に急峻な変化がある画像の階調補正の例を示す図(a、b、c)である。It is a figure (a, b, c) which shows the example of the gradation correction | amendment of the image which has a sharp change in the gradation in the image processing apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る画像処理装置における階調に急峻な変化がある画像の階調補間の例を示す図(a、b、c)である。It is a figure (a, b, c) which shows the example of the gradation interpolation of the image which has a steep change in the gradation in the image processing apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る画像処理装置における階調に急峻な変化がある画像の画像処理の例を示す図(a1、a2、b)である。It is a figure (a1, a2, b) which shows the example of the image processing of the image which has a sharp change in the gradation in the image processing apparatus which concerns on Embodiment 2 of this invention. 固定ε閾値を使った場合の階調に急峻な変化がある画像の階調補間の例を示す図(a、b、c)である。FIG. 10 is a diagram (a, b, c) illustrating an example of gradation interpolation of an image having a sharp change in gradation when a fixed ε threshold is used. 固定ε閾値を使った場合の階調に急峻な変化がある画像の画像処理の例を示す図(a1、a2、b)である。It is a figure (a1, a2, b) which shows the example of the image processing of an image with a sharp change in the gradation at the time of using a fixed (epsilon) threshold value. 本発明の実施の形態2に係る画像処理装置における、階調値を区切るステップの幅を変えた場合の例を示す図(a、b)である。It is a figure (a, b) which shows the example at the time of changing the width | variety of the step which divides a gradation value in the image processing apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る画像処理装置および画像表示装置の変形例の構成を示す図である。It is a figure which shows the structure of the modification of the image processing apparatus and image display apparatus which concern on Embodiment 2 of this invention. 本発明の実施の形態2に係る画像処理装置および画像表示装置の変形例の構成を示す図である。It is a figure which shows the structure of the modification of the image processing apparatus and image display apparatus which concern on Embodiment 2 of this invention.

実施の形態1.
図1は、本発明の実施の形態1に係る画像表示装置の構成を示す図である。実施の形態1に係る画像表示装置は、ビット拡張や階調補正処理により増加させた階調をεフィルタ(非線型デジタルフィルタ)を用いて平滑化し、実効的な階調数を増やして画像表示を行う液晶テレビやプラズマテレビなどの画像表示装置である。図において、本実施の形態の画像表示装置は、入力端子1、受信部2、階調補正部3、階調改善部4、及び表示部5を備えており、そのうち、階調補正部3と階調改善部4の部分が画像処理装置に対応している。
Embodiment 1 FIG.
FIG. 1 is a diagram showing a configuration of an image display apparatus according to Embodiment 1 of the present invention. The image display apparatus according to the first embodiment smoothes the gradation increased by the bit expansion or gradation correction processing using an ε filter (nonlinear digital filter), and increases the effective number of gradations to display an image. An image display device such as a liquid crystal television or a plasma television. In the figure, the image display apparatus according to the present embodiment includes an input terminal 1, a receiving unit 2, a gradation correction unit 3, a gradation improvement unit 4, and a display unit 5. Of these, the gradation correction unit 3 and The gradation improving unit 4 corresponds to the image processing apparatus.

本実施の形態では、受信部2がアナログの画像信号からデジタルの画像データに変換するA/D変換器である場合について説明する。なお、受信部2にチューナーを配設し、受信部2の内部でコンポジット信号を輝度や色度信号に復調した後にデジタルの画像データに変換してもよい。また、受信部2をデジタルインターフェースとし、受信部2が入力端子1からデジタルのデータを受信して、n(nは自然数)ビットの画像データDIを出力してもよい。   In the present embodiment, a case will be described in which the receiving unit 2 is an A / D converter that converts an analog image signal into digital image data. Note that a tuner may be provided in the receiving unit 2 so that the composite signal is demodulated into a luminance or chromaticity signal inside the receiving unit 2 and then converted into digital image data. Alternatively, the receiving unit 2 may be a digital interface, and the receiving unit 2 may receive digital data from the input terminal 1 and output n (n is a natural number) bit image data DI.

入力端子1は、アナログ画像信号SAを入力する端子であり、入力されたアナログ画像信号SAを受信部2に出力する。受信部2は、アナログ画像信号SAをnビットの画像データDIに変換して階調補正部3に出力する。   The input terminal 1 is a terminal for inputting the analog image signal SA, and outputs the input analog image signal SA to the receiving unit 2. The receiving unit 2 converts the analog image signal SA into n-bit image data DI and outputs it to the gradation correcting unit 3.

画像表示装置内で入出力される各画像データ(画像データDI、後述の画像データDJ、後述の画像データDO)は、マトリクス状に配列された画素の値を示すデータである。画像データDIで示される各画素の位置は、画像の左上隅を原点(0,0)として、座標値(i,j)(iとjはともに自然数)で表され、水平方向の座標値iは、右向きに1列進む毎に1ずつ大きくなり、垂直方向の座標値jは、下向きに1行進む毎に1ずつ大きくなる。これらの各画像データは、複数の行に配列されるデータを順番に示すデータ列である。このデータ列は、複数の行を上から下への順番であって、かつ各行内では複数の画素を左から右への順番で示すデータの列である。   Each image data (image data DI, image data DJ to be described later, image data DO to be described later) input / output in the image display device is data indicating the values of pixels arranged in a matrix. The position of each pixel indicated by the image data DI is represented by a coordinate value (i, j) (i and j are both natural numbers) with the upper left corner of the image as the origin (0, 0), and a horizontal coordinate value i. Is incremented by 1 every time one column is moved to the right, and the vertical coordinate value j is incremented by 1 every time one row is moved downward. Each of these image data is a data string that sequentially indicates data arranged in a plurality of rows. This data column is a column of data indicating a plurality of rows in order from top to bottom and a plurality of pixels in each row in order from left to right.

受信部2におけるアナログ画像信号SAから画像データDIへの変換、受信部2から階調補正部3への画像データDIの供給、階調補正部3から階調改善部4への画像データDJの供給、階調改善部4から表示部5への画像データDOの供給などは、図示しない制御部から供給される画素クロックに同期して行われる。なお、以下で説明する階調補正部3内や階調改善部4内で行われる処理もまた、制御部から供給される画素クロックに同期して行われる。   Conversion from the analog image signal SA to the image data DI in the reception unit 2, supply of the image data DI from the reception unit 2 to the gradation correction unit 3, and image data DJ from the gradation correction unit 3 to the gradation improvement unit 4 Supply and supply of image data DO from the gradation improving unit 4 to the display unit 5 are performed in synchronization with a pixel clock supplied from a control unit (not shown). Note that processing performed in the gradation correction unit 3 and the gradation improvement unit 4 described below is also performed in synchronization with the pixel clock supplied from the control unit.

階調補正部3は、補正カーブ決定部31と補正部32とを備えている。補正カーブ決定部31はメモリを備えており、メモリに保存された画像データをヒストグラム解析などの手法により画像解析し、解析結果から階調補正する補正カーブを決定する。補正部32は、補正カーブ決定部31で決定した補正カーブを基に階調補正する。   The tone correction unit 3 includes a correction curve determination unit 31 and a correction unit 32. The correction curve determination unit 31 includes a memory, analyzes the image data stored in the memory by a technique such as histogram analysis, and determines a correction curve for tone correction from the analysis result. The correction unit 32 performs tone correction based on the correction curve determined by the correction curve determination unit 31.

例えば、画像データDIのヒストグラム解析の結果が、図2(a1)に示すように暗い階調が多い画像の場合は、暗い部分の階調をもち上げ暗い部分のコントラストが上がるように、図2(a2)のような上に凸となる補正カーブに決定する。これにより、階調補正後の画像データDJは、図2(a3)に示すように明るい階調部分の頻度が増大する。一方、ヒストグラム解析の結果が、図2(b1)に示すように、明るい階調が多い画像の場合は、暗い部分と明るい部分の差を大きくしてコントラストの高い画像となるように、図2(b2)のような下に凸となる補正カーブに決定する。これにより、階調補正後の画像データDJは、図2(b3)に示すように明るい階調部分の頻度が減少する。図2(a2)や(b2)に示すような補正カーブは、例えば複数個用意されたルックアップテーブルから選択するものとする。補正部32は、画像データDIを決定したルックアップテーブルをもとに補正し、画像データDJとして出力する。   For example, when the result of the histogram analysis of the image data DI is an image having many dark gradations as shown in FIG. 2A1, the gradation of the dark part is increased and the contrast of the dark part is increased. A correction curve that is convex upward as in (a2) is determined. As a result, the frequency of the bright gradation portion of the image data DJ after gradation correction increases as shown in FIG. On the other hand, as shown in FIG. 2 (b1), when the result of the histogram analysis is an image with many bright gradations, the difference between the dark part and the bright part is increased so that an image with high contrast is obtained. The correction curve is determined to be convex downward as in (b2). As a result, the frequency of the bright gradation portion of the image data DJ after gradation correction is reduced as shown in FIG. 2 (b3). For example, a plurality of correction curves such as those shown in FIGS. 2A2 and 2B2 are selected from lookup tables prepared. The correction unit 32 corrects the image data DI based on the determined look-up table and outputs it as image data DJ.

なお、階調補正部3で階調を補正する際に使用する補正カーブについて、本実施の形態では、画面全体のヒストグラムにより決定する方式について説明しているが、画面の局所領域や画素毎に補正カーブまたは補正係数を決定するようにしてもよい。   In this embodiment, the correction curve used when the gradation correction unit 3 corrects the gradation has been described with reference to the method of determining the correction curve using the histogram of the entire screen. A correction curve or a correction coefficient may be determined.

階調改善部4は、ε閾値決定部41とエッジ保存型平滑化フィルタであるn次元m次εフィルタ部42とを備えている。ε閾値決定部41は、階調補正部3の階調補正による、出力画像データDJと受信部2の出力画像データDIとの変化量に応じて変化するεフィルタの閾値(E_TH)を決定し、n次元m次εフィルタ部42は、ε閾値決定部41が決定した階調補正量に応じたεフィルタの閾値E_THに基づいて階調補間を行う。   The gradation improving unit 4 includes an ε threshold value determining unit 41 and an n-dimensional m-order ε filter unit 42 that is an edge-preserving smoothing filter. The ε threshold value determination unit 41 determines the threshold value (E_TH) of the ε filter that changes according to the amount of change between the output image data DJ and the output image data DI of the reception unit 2 by the gradation correction of the gradation correction unit 3. The n-dimensional m-th order ε filter unit 42 performs gradation interpolation based on the threshold E_TH of the ε filter corresponding to the gradation correction amount determined by the ε threshold determination unit 41.

階調改善部4について、詳しく説明する。ε閾値決定部41は、階調補正部3で補正された補正量ごとに設定された閾値のルックアップテーブルを持ち、入力される画像データDJの補正量(DJ−DI)に応じた閾値(補正量0〜255に対応した閾値データ)をルックアップテーブル(補正量閾値対応情報)から選択してn次元m次εフィルタ部42に出力する。ここでの閾値は、後述の差分データEDと比較される値である。ε閾値決定部41については、後で詳細に説明する。   The gradation improving unit 4 will be described in detail. The ε threshold value determination unit 41 has a lookup table of threshold values set for each correction amount corrected by the gradation correction unit 3, and has a threshold value (DJ-DI) corresponding to the correction amount (DJ-DI) of the input image data DJ. Threshold data corresponding to correction amounts 0 to 255) is selected from the look-up table (correction amount threshold correspondence information) and output to the n-dimensional m-th order ε filter unit 42. The threshold here is a value to be compared with difference data ED described later. The ε threshold value determination unit 41 will be described in detail later.

n次元m次εフィルタ部42は、注目画素(階調を平滑化する際に基準となる画素)に対して一次元方向に整列されている画素のデータに基づいて、急峻な変化(エッジ)を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタ(εフィルタ)として用いられる。n次元m次εフィルタ部42は、階調補正部3の補正により生じた階調のジャンプを平滑化することによって階調のジャンプをなくし、実効的な階調数を増やす処理を行う。   The n-dimensional m-th order ε filter unit 42 performs a steep change (edge) based on data of pixels aligned in a one-dimensional direction with respect to a target pixel (a pixel serving as a reference when smoothing gradation). Is used as an edge preserving smoothing filter (ε filter) that performs smoothing by treating a small amplitude component as noise. The n-dimensional m-th order ε filter unit 42 performs a process of eliminating the jump of the tone by smoothing the jump of the tone generated by the correction of the tone correction unit 3 and increasing the number of effective tones.

図3にn次元m次εフィルタ部42の詳細を示す。図において、n次元m次εフィルタ部42は、データ格納部421、差分算出部422−1〜422−m、ε判定部423−1〜423−m、判定付加重平均部424、及びデータ加算部425を備えている。 FIG. 3 shows details of the n-dimensional m-order ε filter unit 42. In the figure, an n-dimensional m-th order ε filter unit 42 includes a data storage unit 421, difference calculation units 422-1 to 422-m, ε determination units 423-1 to 423-m, a determination addition weighted average unit 424, and data addition. Part 425 is provided.

データ格納部421は、階調補正部3の補正部32から出力される画像データDJを格納するとともに、差分算出部422−1〜422−mに、それぞれ画像データDM(1)〜DM(m)を出力する。また、データ格納部421は、画像データDM(1)〜DM(m)のうち、画像データDM(c)については、差分算出部422−1〜422−mのそれぞれとデータ加算部425にも出力する。ただし、画像データDM(c)は、画素位置1〜mのうち、cの位置を注目画素とした場合の注目画素cの画像データである。この場合、画像データDM(1)〜DM(m)は、それぞれ注目画素cから所定の画素数(座標値)だけ右方向または左方向に離れた画素の画像データとなる。例えば、m=5の場合に、画像データDM(3)を画像データDM(c)とすると、画像データDM(1)が注目画素cの2つ前(左側:1=c−2)の画素の画像データとなり、画像データDM(2)が注目画素cの1つ前(左側:2=c−1)の画素の画像データとなり、画像データDM(4)が注目画素cの1つ後(右側:4=c+1)の画素の画像データとなり、画像データDM(5)が注目画素cの2つ後(右側:5=c+2)の画素の画像データとなる。   The data storage unit 421 stores the image data DJ output from the correction unit 32 of the gradation correction unit 3 and also stores the image data DM (1) to DM (m) in the difference calculation units 422-1 to 422-m, respectively. ) Is output. The data storage unit 421 also includes the difference calculation units 422-1 to 422-m and the data addition unit 425 for the image data DM (c) among the image data DM (1) to DM (m). Output. However, the image data DM (c) is image data of the target pixel c when the position of c is the target pixel among the pixel positions 1 to m. In this case, the image data DM (1) to DM (m) are image data of pixels that are separated from the target pixel c in the right direction or the left direction by a predetermined number of pixels (coordinate values). For example, if m = 5 and the image data DM (3) is the image data DM (c), the image data DM (1) is the pixel two pixels before the target pixel c (left side: 1 = c−2). The image data DM (2) is the image data of the pixel immediately before the target pixel c (left side: 2 = c−1), and the image data DM (4) is one after the target pixel c ( Right: 4 = c + 1) pixel image data, and image data DM (5) is the image data of the pixel after the pixel of interest c (right: 5 = c + 2).

差分算出部422−1〜422−mは、画像データDM(1)〜DM(m)と画像データDM(c)との差分を、それぞれ差分データ(差分値)ED(1)〜ED(m)として算出する。差分算出部422−1〜422−mは、それぞれε判定部423−1〜423−mに、差分データED(1)〜ED(m)を出力する。   The difference calculation units 422-1 to 422-m calculate the difference between the image data DM (1) to DM (m) and the image data DM (c) as difference data (difference values) ED (1) to ED (m, respectively. ). The difference calculation units 422-1 to 422-m output the difference data ED (1) to ED (m) to the ε determination units 423-1 to 423-m, respectively.

ε判定部423−1〜423−mは、それぞれ差分算出部422−1〜422−mから出力された差分データED(1)〜ED(m)と、ε閾値決定部41から出力された閾値データE_TH(1)〜E_TH(m)より大きいか否かの判定を行い、その判定結果を判定データEE(1)〜EE(m)として判定付加重平均部10に出力する。   The ε determination units 423-1 to 423 -m are the difference data ED (1) to ED (m) output from the difference calculation units 422-1 to 422 -m and the threshold value output from the ε threshold determination unit 41, respectively. It is determined whether or not the data is larger than the data E_TH (1) to E_TH (m), and the determination results are output to the determination additional weight average unit 10 as determination data EE (1) to EE (m).

判定付加重平均部10は、判定データEE(1)〜EE(m)に基づいて差分データED(1)〜ED(m)を加重平均し、その結果として得られる加重平均値を加重平均値(平均データ)EMとしてデータ加算部425に出力する。データ加算部425は、加重平均値EMに画像データDS(画像データDM(c))を加算した画像データを画像データDOとして出力する。   The determination additional weight average unit 10 performs weighted average of the difference data ED (1) to ED (m) based on the determination data EE (1) to EE (m), and the weighted average value obtained as a result thereof is weighted average value. (Average data) Output as EM to the data adder 425. The data adding unit 425 outputs the image data obtained by adding the image data DS (image data DM (c)) to the weighted average value EM as image data DO.

n次元m次εフィルタ部42によって階調のジャンプをなくし、実効的な階調数を増やす処理を行った画像データは、データ加算部425から画像データDOとして表示部4に出力される。表示部は、画像データDOを表示する液晶モニタなどの表示手段である。 The image data that has been subjected to the process of eliminating the jump of gradation and increasing the effective number of gradations by the n-dimensional m-th order ε filter unit 42 is output from the data addition unit 425 to the display unit 4 as image data DO. The display unit 5 is a display unit such as a liquid crystal monitor that displays the image data DO.

本実施の形態では、εフィルタにて、階調補正により発生した階調のジャンプを小振幅雑音(ノイズ)ととらえ、εフィルタ処理を行う。こうすることで、εフィルタは輪郭など画像の急峻な変化を保持しながら、階調補正により発生した階調のジャンプ部分の実質的な階調数を増やし、階調のジャンプをなくすことができる。しかしながら、存在する階調差が、階調補正によって発生した階調差なのか、輪郭など画像の急峻な変化による階調差なのか、区別して処理する必要がある。そこで、階調の補正量に合わせて、閾値THを変化させる。すなわち、補正した補正量に応じて、εフィルタが保存できるエッジの大きさを変化させる。そのため、本実施の形態にかかる画像表示装置の階調補間部4は、階調の補正量によって閾値THを変化させるε閾値決定部41(閾値制御部)を備えている。以下、詳細に説明する。なお、本実施の形態においては、閾値THとして、E_TH(n)のように、「E_」を付けて閾値THを表記する場合、nは画素位置1〜mのうちの位置を示す値である。また、th(v)のように「E_」なしで閾値THを表記する場合、vは補正処理によって変化する階調の変化量や階調幅の拡大や縮小量を示す値である。   In the present embodiment, the ε filter performs the ε filter processing by regarding the jump of gradation generated by the gradation correction as small amplitude noise (noise). In this way, the ε filter can increase the substantial number of gradation jumps caused by gradation correction and eliminate gradation jumps while maintaining sharp changes in the image such as contours. . However, it is necessary to distinguish and process whether the existing gradation difference is a gradation difference caused by gradation correction or a gradation difference due to a sharp change in an image such as an outline. Therefore, the threshold value TH is changed in accordance with the gradation correction amount. That is, the size of the edge that can be stored in the ε filter is changed according to the corrected correction amount. Therefore, the gradation interpolation unit 4 of the image display apparatus according to the present embodiment includes an ε threshold value determination unit 41 (threshold control unit) that changes the threshold value TH according to the gradation correction amount. Details will be described below. In the present embodiment, when the threshold value TH is expressed by adding “E_” as the threshold value TH, such as E_TH (n), n is a value indicating the position among the pixel positions 1 to m. . Further, when the threshold value TH is expressed without “E_” like th (v), v is a value indicating the change amount of the gradation and the enlargement / reduction amount of the gradation width that are changed by the correction processing.

図4は、階調の補正量(画像データDJ−画像データDI)とε閾値決定部41で決定する閾値の関係を示す図である。なお、図中の変数a,bは、それぞれ正の値である。ε閾値決定部41は、例えば補正量に対応したε閾値のルックアップテーブルを保有し、階調の補正量からε閾値を決定する。εフィルタは、階調の補正量が小さい領域では小さいエッジも保持し、階調の補正量が大きい領域では大きいエッジのみを保持する事を表す。   FIG. 4 is a diagram illustrating the relationship between the gradation correction amount (image data DJ−image data DI) and the threshold value determined by the ε threshold value determination unit 41. The variables a and b in the figure are positive values. The ε threshold value determination unit 41 holds, for example, an ε threshold value lookup table corresponding to the correction amount, and determines the ε threshold value from the gradation correction amount. The ε filter represents that a small edge is retained in a region where the gradation correction amount is small, and only a large edge is retained in a region where the gradation correction amount is large.

つまり、階調の補正がマイナスの画像の時(階調を圧縮する領域)は、閾値が小さい値に決定する為、輪郭など画像の急峻な変化部分が階調の補正によって変化量が小さくなった画像も、エッジを保持する処理を行う。一方、階調の補正がプラスに補正される画像の時(階調を拡大する領域)は、閾値を大きい値に決定する為、階調補正によって発生した階調のジャンプに対しても平滑化処理を行う。   In other words, when the gradation correction is a negative image (gradation compression area), the threshold value is determined to be a small value, so that the amount of change in the sharply changed portion of the image such as the contour is reduced by the gradation correction. The image is also processed to hold the edge. On the other hand, in the case of an image in which the gradation correction is corrected to a positive value (the area in which the gradation is enlarged), the threshold value is determined to be a large value, so that the gradation jump generated by the gradation correction is also smoothed. Process.

具体的な画像処理例を、図5〜14を用いて説明する。なお、処理例では、n次元m次フィルタ部42は、1次元5次フィルタを使用するものとする。
図5〜図9は、急峻に階調が変化するエッジ部分の画像処理例を示すものであり、図10〜図14は、緩やかに階調が変化する部分の画像処理例を示すものであり、画像データのうち、隣接する10個の画素n0〜n9を説明対象としている。
A specific image processing example will be described with reference to FIGS. In the processing example, the n-dimensional m-order filter unit 42 uses a one-dimensional quintic filter.
5 to 9 show examples of image processing at the edge portion where the gradation changes sharply, and FIGS. 10 to 14 show examples of image processing at the portion where the gradation changes gradually. Among the image data, the adjacent ten pixels n0 to n9 are targeted for explanation.

まずは、図5〜図9を用いて、画素n4からn5において急峻に階調が変化するエッジ部分を有する画像データを処理する場合について説明する。図5(a)は入力画像DI、図5(b)は補正後の画像データDJ、図5(c)は補正量(DJ−DI)を示すものである。図において、受信部2から出力された画像データDI(画素n0〜n9)は、画素n4からn5において急峻に階調が変化するエッジ部分を有していることがわかる。   First, the case where image data having an edge portion where the gradation changes sharply in the pixels n4 to n5 will be described with reference to FIGS. 5A shows the input image DI, FIG. 5B shows the corrected image data DJ, and FIG. 5C shows the correction amount (DJ-DI). In the figure, it can be seen that the image data DI (pixels n0 to n9) output from the receiving unit 2 has edge portions where the gradation changes sharply in the pixels n4 to n5.

図5(b)は、画像データDIを階調補正部3にて補正した後の画像データDJであり、画素n4からn5における急峻に階調が変化している部分の変化量が、階調補正部3の補正によって小さくなっていることがわかる。   FIG. 5B shows the image data DJ after the image data DI is corrected by the gradation correction unit 3, and the change amount of the portion where the gradation changes sharply in the pixels n4 to n5 is the gradation. It can be seen that the value is reduced by the correction of the correction unit 3.

図5(c)は、図5(a)の画像データDIと図5(b)の画像データDJの差分(補正量)と、その差分(補正量)から決定したε閾値THを表す図である。図において画素n0〜n4の差分(補正量)は−a2、画素n5〜n10の差分(補正量)は−a2よりさらに小さい−a1である。図4に示すように、DJ−DIが小さいほど閾値THは小さくなるので、それに応じて閾値th(−a1)は、閾値th(−a2)よりも小さくなっている。なお、th(v)における変数vは、ある画素の階調補正前後の階調変化量(DJ−DI)であり、v=0のとき、DI=DVで階調変化がないことになる。
る。
FIG. 5C is a diagram showing a difference (correction amount) between the image data DI in FIG. 5A and the image data DJ in FIG. 5B and an ε threshold TH determined from the difference (correction amount). is there. In the figure, the difference (correction amount) between the pixels n0 to n4 is -a2, and the difference (correction amount) between the pixels n5 to n10 is -a1, which is smaller than -a2. As shown in FIG. 4, the smaller the DJ-DI, the smaller the threshold value TH. Accordingly, the threshold value th (-a1) is smaller than the threshold value th (-a2). Note that the variable v in th (v) is the gradation change amount (DJ-DI) before and after the gradation correction of a certain pixel. When v = 0, there is no gradation change when DI = DV.
The

図6(a)は図5(b)における画素n4を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、本発明の階調補正量によって変化するε閾値E_TH(1)〜E_TH(5)の関係を示した図、図6(b)は図5(b)における画素n5を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、ε閾値E_TH(1)〜E_TH(5)の関係を示した図、図6(c)は、これら変化する閾値THをもとに補間された画像データDOを示すものである。   6A shows the absolute value of the difference values ED (1) to ED (5) when the pixel n4 in FIG. 5B is the target pixel, and the ε threshold value E_TH that changes according to the gradation correction amount of the present invention. FIGS. 6A and 6B are diagrams showing the relationship between (1) to E_TH (5), and FIG. 6B is an absolute value of difference values ED (1) to ED (5) when the pixel n5 in FIG. FIG. 6C shows the relationship between the ε threshold values E_TH (1) to E_TH (5), and FIG. 6C shows the image data DO interpolated based on these changing threshold values TH.

図6(a)において、丸でプロットしている値は、画像データDJにおける注目画素n4(黒丸)とその水平左右2画素(白丸)の差分絶対値を示している。差分算出部422−1〜422−mから、それぞれ
ED(1)はDJにおける画素n4とn2との差分で0、
ED(2)はDJにおける画素n4とn3との差分で0、
ED(3)はDJにおける画素n4とn4との差分で0、
ED(4)はDJにおける画素n4とn5との差分でA(絶対値はA)、
ED(5)はDJにおける画素n4とn6との差分でAが、ε判定部423−1〜423−mに出力される。
In FIG. 6A, the values plotted with circles indicate the absolute difference values of the pixel of interest n4 (black circle) and its horizontal left and right pixels (white circle) in the image data DJ. From the difference calculation units 422-1 to 422-m, ED (1) is a difference between pixels n4 and n2 in DJ, 0,
ED (2) is 0 as a difference between pixels n4 and n3 in DJ.
ED (3) is 0 as the difference between pixels n4 and n4 in DJ.
ED (4) is the difference between the pixels n4 and n5 in the DJ and is A (absolute value is A),
ED (5) is the difference between the pixels n4 and n6 in the DJ, and A is output to the ε determination units 423-1 to 423-m.

各ε判定部423−1〜423−m(まとめてε判定部432と称する)にて、差分データED(1)〜ED(m)(まとめて差分データEDと称する)の絶対値とε閾値E_TH(1)〜E_TH(m)(まとめてε閾値THと称する)とを比較し、その判定結果EE(1)〜EE(m)(まとめて判定結果EEと称する)を判定付加重平均部424に出力する。差分データEDの絶対値がε閾値THより大きい場合は、判定結果EEは「0」を出力し、差分データEDの絶対値がε閾値以下の場合は、判定結果EEは「1」を出力する。   In each ε determination unit 423-1 to 423-m (collectively referred to as ε determination unit 432), the absolute value and ε threshold value of difference data ED (1) to ED (m) (collectively referred to as difference data ED) E_TH (1) to E_TH (m) (collectively referred to as the ε threshold TH) and the determination results EE (1) to EE (m) (collectively referred to as the determination result EE) to the determination additional weighted average unit Output to 424. When the absolute value of the difference data ED is larger than the ε threshold TH, the determination result EE outputs “0”, and when the absolute value of the difference data ED is equal to or less than the ε threshold, the determination result EE outputs “1”. .

具体的には、
画素n2では、差分データED(1)の絶対値=0<ε閾値th(−a2)なので、EE(1)=1、
画素n3では、差分データED(2)の絶対値=0<ε閾値th(−a2)なので、EE(2)=1、
画素n4では、差分データED(3)の絶対値=0<ε閾値th(−a2)なので、EE(3)=1、
画素n5では、差分データED(4)の絶対値=A>ε閾値th(−a1)なので、EE(4)=0、
画素n6では、差分データED(5)の絶対値=A>ε閾値th(−a1)なので、EE(5)=0となり、その判定結果EE(1)〜EE(5)を判定付加重平均部424に供給する。
In particular,
In the pixel n2, since the absolute value of the difference data ED (1) = 0 <εthreshold th (−a2), EE (1) = 1,
In the pixel n3, since the absolute value of the difference data ED (2) = 0 <εthreshold th (−a2), EE (2) = 1,
In the pixel n4, since the absolute value of the difference data ED (3) = 0 <εthreshold th (−a2), EE (3) = 1,
In the pixel n5, since the absolute value of the difference data ED (4) = A> ε threshold th (−a1), EE (4) = 0,
In the pixel n6, since the absolute value of the difference data ED (5) = A> εthreshold th (−a1), EE (5) = 0, and the determination results EE (1) to EE (5) are determined as the addition weighted average. To the unit 424.

判定付加重平均部424は、判定結果EE(1)〜EE(5)に基づいて、差分データED(1)〜ED(5)を加重平均し、その結果として得られる加重平均EMを出力する。判定付加重平均部424は、判定結果EE(i)が「1」の場合、差分データED(i)に係数K(i)を乗算して加算し、判定結果EE(i)が「0」の場合は、加算しない。例えば、図7(a1)に示すように、係数K(1)〜K(5)を全て0.2とした場合、次のような加重平均を行い、加重平均値EMが出力される。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(0×A×0.2)
+(0×A×0.2)
=0
The determination additional weight average unit 424 performs weighted averaging of the difference data ED (1) to ED (5) based on the determination results EE (1) to EE (5), and outputs a weighted average EM obtained as a result. . When the determination result EE (i) is “1”, the determination additional weight average unit 424 multiplies the difference data ED (i) by the coefficient K (i) and adds the result, and the determination result EE (i) is “0”. In the case of, do not add. For example, as shown in FIG. 7A1, when all the coefficients K (1) to K (5) are set to 0.2, the following weighted average is performed, and the weighted average value EM is output.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (0xAx0.2)
+ (0xAx0.2)
= 0

画素n5を注目画素とした場合の差分値ED(1)〜ED(5)の絶対値は、以下のようになる。
ED(1)はDJにおける画素n5とn3との差分で−A(絶対値はA)、
ED(2)はDJにおける画素n5とn4との差分で−A、
ED(3)はDJにおける画素n5とn5との差分で0、
ED(4)はDJにおける画素n5とn6との差分で0、
ED(5)はDJにおける画素n5とn7との差分で0、
そして、EDとε閾値THとの関係は図6(b)のような関係となる。
The absolute values of the difference values ED (1) to ED (5) when the pixel n5 is the target pixel are as follows.
ED (1) is the difference between pixels n5 and n3 in DJ, −A (absolute value is A),
ED (2) is the difference between pixels n5 and n4 in DJ, −A,
ED (3) is 0 as a difference between pixels n5 and n5 in DJ.
ED (4) is a difference between pixels n5 and n6 in DJ and is 0,
ED (5) is 0 as the difference between pixels n5 and n7 in the DJ.
The relationship between ED and ε threshold value TH is as shown in FIG.

同様に図7(a2)に示すように、判定付加重平均部424にて加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (0×(−A)×0.2)
+(0×(−A)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=0
Similarly, as shown in FIG. 7 (a2), the weighted average value EM is calculated by the determination additional weight average unit 424.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (0x (-A) x0.2)
+ (0 × (−A) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= 0

画素n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図7(b)に示す値を出力する。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図6(c)に示すようにエッジが保存された画像データDOが出力される。   When the pixels n0 to n9 are set as the target pixels in order, a similar calculation is performed in the determination additional weight average unit 424, and the weighted average value EM outputs a value shown in FIG. In the data addition unit 425, the weighted average value EM is added to the target pixel data DM (c), and the image data DO in which the edges are stored is output as shown in FIG. 6 (c).

一方、従来のようにε閾値THが階調補正量によって変化せず、ε閾値THが一定値であるth(0)となる場合の処理例を、図8、図9を用いて説明する。図8(a)は、画素n4を注目画素とした(DM(1)が画素n2、DM(2)が画素n3、DM(3)が注目画素n4、DM(4)が画素n5、DM(5)が画素n6のデータ)場合、図8(b)は、画素n5を注目画素とした(DM(1)が画素n3、DM(2)が画素n4、DM(3)が注目画素n5、DM(4)が画素n6、DM(5)が画素n7のデータ)場合における差分値EDと一定のε閾値th(0)との関係を示す図である。   On the other hand, a processing example in the case where the ε threshold value TH does not change with the gradation correction amount and the ε threshold value TH becomes a constant value th (0) as in the prior art will be described with reference to FIGS. In FIG. 8A, the pixel n4 is the pixel of interest (DM (1) is the pixel n2, DM (2) is the pixel n3, DM (3) is the pixel of interest n4, DM (4) is the pixel n5, DM ( 5) is the data of the pixel n6), FIG. 8B shows the pixel n5 as the pixel of interest (DM (1) is the pixel n3, DM (2) is the pixel n4, DM (3) is the pixel of interest n5, FIG. 7 is a diagram illustrating a relationship between a difference value ED and a constant ε threshold th (0) when DM (4) is data of pixel n6 and DM (5) is data of pixel n7.

画素n4を注目画素とした場合、図9(a1)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×A×0.2)
+(1×A×0.2)
=0.4A
When the pixel n4 is the target pixel, the determination result EE (1) = “1”, EE (2) = “1”, EE (3) is obtained by the ε determination unit 432 as shown in FIG. 9A1. = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight average unit 424. The determination additional weight average unit 424 calculates the weighted average value EM as follows using the supplied determination result EE, difference data ED, and image data DM (c) of the target pixel.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x A x 0.2)
+ (1 x A x 0.2)
= 0.4A

また、画素n5を注目画素とした場合も同様に、図9(a2)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×(−A)×0.2)
+(1×(−A)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=−0.4A
Similarly, when the pixel n5 is the target pixel, the determination result EE (1) = “1” and EE (2) = “1” are obtained by the ε determination unit 432 as shown in FIG. 9A2. , EE (3) = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight average unit 424. The determination additional weight average unit 424 calculates the weighted average value EM as follows using the supplied determination result EE, difference data ED, and image data DM (c) of the target pixel.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1 x (-A) x 0.2)
+ (1 × (−A) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= -0.4A

画素n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図9(b)のように出力される。データ加算部425で、注目画素のデータDM(c)に加重平均値EMを加算し、図8(c)に示すようにエッジが平均化された画像データDOが出力される。   When the pixels n0 to n9 are set as the target pixels in order, the same calculation is performed in the determination additional weight average unit 424, and the weighted average value EM is output as shown in FIG. In the data addition unit 425, the weighted average value EM is added to the data DM (c) of the target pixel, and the image data DO whose edges are averaged as shown in FIG. 8C is output.

つぎに、図10〜図14を用いて、緩やかに階調が変化する画像データを処理する場合について説明する。図10(a)は入力画像DI、図10(b)は補正後の画像データDJ、図10(c)は補正量(DJ−DI)を示すものである。図において、受信部2から出力された画像データDI(画素n0〜n9)は、画素n4からn5において緩やかに階調が変化していることがわかる。   Next, the case of processing image data whose gradation changes gently will be described with reference to FIGS. 10A shows the input image DI, FIG. 10B shows the corrected image data DJ, and FIG. 10C shows the correction amount (DJ-DI). In the figure, it can be seen that the gradation of the image data DI (pixels n0 to n9) output from the receiving unit 2 gradually changes in the pixels n4 to n5.

図10(b)は、画像データDIを階調補正部3にて補正した後の画像データDJであり、画素n4からn5における緩やかに階調が変化している部分の変化量が、階調補正部3の補正によって大きくなっている(階調ジャンプが発生)ことがわかる。   FIG. 10B shows image data DJ after the image data DI is corrected by the gradation correction unit 3, and the change amount of the portion where the gradation gradually changes in the pixels n4 to n5 is the gradation. It can be seen that the value is increased by the correction of the correction unit 3 (tone jump occurs).

図10(c)は、図10(a)の画像データDIと図10(b)の画像データDJの差分(補正量)と、その差分(補正量)から決定したε閾値THを表す図である。図において画素n0〜n4の差分(補正量)は+b2、画素n5〜n10の差分(補正量)はb2より大きいb1である。図4に示すように、DJ−DIが大きいほど閾値THは大きくなるので、それに応じて閾値th(a1)は、閾値th(b2)よりも大きくなっている。   FIG. 10C shows a difference (correction amount) between the image data DI in FIG. 10A and the image data DJ in FIG. 10B, and the ε threshold TH determined from the difference (correction amount). is there. In the figure, the difference (correction amount) between the pixels n0 to n4 is + b2, and the difference (correction amount) between the pixels n5 to n10 is b1, which is larger than b2. As shown in FIG. 4, the larger the DJ-DI, the larger the threshold value TH. Accordingly, the threshold value th (a1) is larger than the threshold value th (b2).

図11(a)は図10(b)における画素n4を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、本発明の階調補正量によって変化するε閾値E_TH(1)〜E_TH(5)の関係を示した図、図11(b)は図10(b)における画素n5を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、ε閾値E_TH(1)〜E_TH(5)の関係を示した図、図11(c)は、これら変化する閾値THをもとに補間された画像データDOを示すものである。   FIG. 11A shows an absolute value of difference values ED (1) to ED (5) when the pixel n4 in FIG. 10B is a target pixel, and an ε threshold value E_TH that changes according to the gradation correction amount of the present invention. FIG. 11B shows a relationship between (1) to E_TH (5), and FIG. 11B is an absolute value of difference values ED (1) to ED (5) when the pixel n5 in FIG. FIG. 11C shows the relationship between the ε threshold values E_TH (1) to E_TH (5), and FIG. 11C shows the image data DO interpolated based on these changing threshold values TH.

図11(a)において、丸でプロットしている値は、画像データDJにおける注目画素n4(黒丸)とその水平左右2画素(白丸)の差分絶対値を示している。差分算出部422−1〜422−mから、それぞれ
ED(1)はDJにおける画素n4とn2との差分で0、
ED(2)はDJにおける画素n4とn3との差分で0、
ED(3)はDJにおける画素n4とn4との差分で0、
ED(4)はDJにおける画素n4とn5との差分でB、
ED(5)はDJにおける画素n4とn6との差分でBが、ε判定部423−1〜423−mに出力される。
In FIG. 11A, the values plotted with circles indicate the absolute differences between the pixel of interest n4 (black circle) and its two horizontal left and right pixels (white circle) in the image data DJ. From the difference calculation units 422-1 to 422-m, ED (1) is a difference between pixels n4 and n2 in DJ, 0,
ED (2) is 0 as a difference between pixels n4 and n3 in DJ.
ED (3) is 0 as the difference between pixels n4 and n4 in DJ.
ED (4) is the difference between pixels n4 and n5 in DJ, and B,
ED (5) is the difference between pixels n4 and n6 in DJ, and B is output to the ε determination units 423-1 to 423-m.

各ε判定部423−1〜423−m(まとめてε判定部432と称する)にて、差分データEDの絶対値とε閾値THとを比較し、その判定結果EEを判定付加重平均部424に出力する。差分データEDの絶対値がε閾値THより大きい場合は、判定結果EEは「0」を出力し、差分データEDの絶対値がε閾値以下の場合は、判定結果EEは「1」を出力する。   Each ε determination unit 423-1 to 423 -m (collectively referred to as ε determination unit 432) compares the absolute value of the difference data ED with the ε threshold TH, and the determination result EE is used as a determination additional weight average unit 424. Output to. When the absolute value of the difference data ED is larger than the ε threshold TH, the determination result EE outputs “0”, and when the absolute value of the difference data ED is equal to or less than the ε threshold, the determination result EE outputs “1”. .

具体的には、
画素n2では、差分データED(1)の絶対値=0<ε閾値th(b2)なので、EE(1)=1、
画素n3では、差分データED(2)の絶対値=0<ε閾値th(b2)なので、EE(2)=1、
画素n4では、差分データED(3)の絶対値=0<ε閾値th(b2)なので、EE(3)=1、
画素n5では、差分データED(4)の絶対値=B<ε閾値th(b1)なので、EE(4)=1、
画素n6では、差分データED(5)の絶対値=B<ε閾値th(b1)なので、EE(5)=1となり、その判定結果EE(1)〜EE(5)を判定付加重平均部424に供給する。
In particular,
In the pixel n2, since the absolute value of the difference data ED (1) = 0 <εthreshold th (b2), EE (1) = 1,
In the pixel n3, since the absolute value of the difference data ED (2) = 0 <εthreshold th (b2), EE (2) = 1,
In the pixel n4, since the absolute value of the difference data ED (3) = 0 <εthreshold th (b2), EE (3) = 1,
In the pixel n5, since the absolute value of the difference data ED (4) = B <εthreshold th (b1), EE (4) = 1,
In the pixel n6, since the absolute value of the difference data ED (5) = B <εthreshold th (b1), EE (5) = 1, and the determination results EE (1) to EE (5) are used as the determination additional weight average unit. 424.

判定付加重平均部424は、判定結果EE(1)〜EE(5)に基づいて、差分データED(1)〜ED(5)を加重平均し、その結果として得られる加重平均EMを出力する。判定付加重平均部424は、判定結果EE(i)が「1」の場合、差分データED(i)に係数K(i)を乗算して加算し、判定結果EE(i)が「0」の場合は、加算しない。例えば、図12(a1)に示すように、係数K(1)〜K(5)を全て0.2とした場合、次のような加重平均を行い、加重平均値EMが出力される。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×B×0.2)
+(1×B×0.2)
=0.4B
The determination additional weight average unit 424 performs weighted averaging of the difference data ED (1) to ED (5) based on the determination results EE (1) to EE (5), and outputs a weighted average EM obtained as a result. . When the determination result EE (i) is “1”, the determination additional weight average unit 424 multiplies the difference data ED (i) by the coefficient K (i) and adds the result, and the determination result EE (i) is “0”. In the case of, do not add. For example, as shown in FIG. 12A1, when all the coefficients K (1) to K (5) are set to 0.2, the following weighted average is performed, and the weighted average value EM is output.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x B x 0.2)
+ (1 x B x 0.2)
= 0.4B

画素n5を注目画素とした場合の差分値ED(1)〜ED(5)の絶対値は以下のようになる。
ED(1)はDJにおける画素n5とn3との差分で−B(絶対値はB)、
ED(2)はDJにおける画素n5とn4との差分で−B、
ED(3)はDJにおける画素n5とn5との差分で0、
ED(4)はDJにおける画素n5とn6との差分で0、
ED(5)はDJにおける画素n5とn7との差分で0、
そして、EDとε閾値THとの関係は図11(b)のような関係となる。
The absolute values of the difference values ED (1) to ED (5) when the pixel n5 is the target pixel are as follows.
ED (1) is the difference between pixels n5 and n3 in DJ, −B (absolute value is B),
ED (2) is the difference between pixels n5 and n4 in DJ, −B,
ED (3) is 0 as a difference between pixels n5 and n5 in DJ.
ED (4) is a difference between pixels n5 and n6 in DJ and is 0,
ED (5) is 0 as the difference between pixels n5 and n7 in the DJ.
The relationship between ED and ε threshold value TH is as shown in FIG.

同様に、図12(a2)に示すように、判定付加重平均部424にて加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×(−B)×0.2)
+(1×(−B)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=−0.4B
Similarly, as shown in FIG. 12 (a2), the weighted average value EM is calculated by the determination additional weight average unit 424.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1 x (-B) x 0.2)
+ (1 × (−B) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= -0.4B

画素n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図12(b)に示す値を出力する。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図11(c)に示すように階調ジャンプが解消され、緩やかに階調が変化する画像データDOが出力される。   When the pixels n0 to n9 are selected as the target pixel in order, the determination additional weight average unit 424 performs the same calculation, and the weighted average value EM outputs the value shown in FIG. The data adding unit 425 adds the weighted average value EM to the pixel-of-interest data DM (c), and the image data DO whose gradation is gradually changed is output as shown in FIG. 11C. Is done.

一方、従来のようにε閾値THが階調補正量によって変化せず、ε閾値THが一定値であるth(0)となる場合の処理例を、図13、図14を用いて説明する。図13(a)は、画素n4を注目画素とした場合、図13(b)は、画素n5を注目画素とした場合における差分値EDと一定のε閾値th(0)との関係を示す図である。 On the other hand, a processing example in the case where the ε threshold value TH does not change with the gradation correction amount and the ε threshold value TH becomes a constant value th (0) as in the prior art will be described with reference to FIGS. 13 and 14. 13 (a) shows, when the pixel of interest pixel n4, FIG. 13 (b), shows the relationship between the difference value ED constant ε threshold th (0) in case of the pixel of interest pixel n5 It is.

画素n4を注目画素とした場合、図14(a1)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「0」、EE(5)=「0」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(0×B×0.2)
+(0×B×0.2)
=0
When the pixel n4 is the target pixel, the determination result EE (1) = “1”, EE (2) = “1”, EE (3) is obtained by the ε determination unit 432 as shown in FIG. = “1”, EE (4) = “0”, and EE (5) = “0” are determined and supplied to the determination additional weight average unit 424. The determination additional weight average unit 424 calculates the weighted average value EM as follows using the supplied determination result EE, difference data ED, and image data DM (c) of the target pixel.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (0xBx0.2)
+ (0xBx0.2)
= 0

また、画素n5を注目画素とした場合も同様に、図14(a2)に示すように、ε判定部432にて、判定結果EE(1)=「0」、EE(2)=「0」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (0×(−B)×0.2)
+(0×(−B)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=0
Similarly, when the pixel n5 is set as the target pixel, the determination result EE (1) = “0” and EE (2) = “0” are obtained by the ε determination unit 432 as shown in FIG. , EE (3) = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight average unit 424. The determination additional weight average unit 424 calculates the weighted average value EM as follows using the supplied determination result EE, difference data ED, and image data DM (c) of the target pixel.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (0x (-B) x0.2)
+ (0 × (−B) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= 0

画素n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図14(b)に示す値を出力する。データ加算部425で、注目画素の画素データDM(c)に加重平均値EMを加算し、図13(c)に示すようにエッジが急峻に変化する画像データDOが出力される。   When the pixels n0 to n9 are set as the target pixels in order, the same calculation is performed in the determination additional weight average unit 424, and the weighted average value EM outputs the value shown in FIG. The data adding unit 425 adds the weighted average value EM to the pixel data DM (c) of the pixel of interest, and outputs image data DO whose edges change sharply as shown in FIG. 13 (c).

上記のように、階調補正量に応じてε閾値THを変化させるε閾値決定部41(閾値制御部)を備えることによって、ε閾値決定部41によって閾値が制御されるn次元m次εフィルタ部42(エッジ保存型平滑化フィルタ)は、入力画像に対する階調補正量に応じて保持するエッジが異なる平滑化フィルタとして動作する。   As described above, an n-dimensional m-th order ε filter whose threshold is controlled by the ε threshold determination unit 41 by including the ε threshold determination unit 41 (threshold control unit) that changes the ε threshold TH according to the gradation correction amount. The unit 42 (edge preservation type smoothing filter) operates as a smoothing filter having different edges to be held according to the gradation correction amount for the input image.

以上のように、本実施の形態1では、入力画像データDIの階調を補正し、出力画像データDJとして出力する階調補正部3と、階調補正部3から出力された出力画像データDJの階調抜けを補間処理する階調補間部4と、を備え、階調補間部4は、出力画像データDJのエッジを保存して平滑化するエッジ保存型平滑化フィルタ42と、エッジ保存型平滑化フィルタ42にて使用する閾値THを階調補正部3における階調補正量に応じて決定する閾値決定部41と、を備えるように構成したので、入力画像に階調補正を実施した画像において、階調補正量によってε閾値を可変することによって、階調補正にて変化した階調差をエッジか階調のジャンプかを的確に判断することが出来、エッジにおいてはボケのないエッジに処理することが出来、階調のジャンプにおいては緩やかに階調変化するように処理することが出来る。これにより、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる。   As described above, in the first embodiment, the gradation of the input image data DI is corrected and output as the output image data DJ, and the output image data DJ output from the gradation correction unit 3. A tone interpolation unit 4 that interpolates the missing tone of the image, and the tone interpolation unit 4 stores an edge preserving type smoothing filter 42 for preserving and smoothing an edge of the output image data DJ, and an edge preserving type. Since the threshold value determination unit 41 that determines the threshold value TH used in the smoothing filter 42 according to the gradation correction amount in the gradation correction unit 3 is provided, an image in which gradation correction is performed on the input image By varying the ε threshold according to the gradation correction amount, it is possible to accurately determine whether the gradation difference changed by the gradation correction is an edge or a gradation jump. Can be processed Years, can be treated as gently gradation change in the jump of the gray scale. As a result, the pseudo contour resulting from the missing image level can be accurately eliminated even for the image subjected to the gradation correction processing.

とくに、閾値決定部41は、入力画像データDIと出力画像データDJの階調値の差に基づいて閾値THを決定するようにしたので、簡単な計算によって階調補正による階調幅が拡大するか縮小するかを評価でき、その評価(判定)結果を閾値THに反映させることができる。   In particular, since the threshold value determination unit 41 determines the threshold value TH based on the difference between the gradation values of the input image data DI and the output image data DJ, is the gradation width expanded by gradation correction by simple calculation? It can be evaluated whether to reduce, and the evaluation (determination) result can be reflected in the threshold value TH.

さらに、エッジ保存型平滑化フィルタ42は、n次元m次εフィルタで構成したので、着目画素と階調差の大きな周辺画素のデータを除いて平滑化することになる。したがって、εフィルタを用いて階調補正により増えた階調を平滑化するので、輪郭やテクスチャなどの階調が急峻に大きく変化する領域を有する画像の鮮鋭度を損なわずに、画像データの階調のジャンプを改善することができる。したがって、画像レベルの抜けに起因する擬似輪郭を解消して擬似輪郭による画質劣化を低減させることが可能となる。   Furthermore, since the edge preserving smoothing filter 42 is composed of an n-dimensional m-th order ε filter, smoothing is performed except for data of peripheral pixels having a large gradation difference from the pixel of interest. Therefore, since the gradation increased by gradation correction is smoothed using the ε filter, the gradation of the image data is maintained without losing the sharpness of an image having a region where the gradation such as the outline or texture changes sharply. The key jump can be improved. Therefore, it is possible to eliminate the pseudo contour caused by the missing image level and reduce the image quality deterioration due to the pseudo contour.

また、本発明の実施の形態1にかかる画像表示装置は、画像データSAを受信する受信部2と、受信部2が受信した画像データを処理する上記画像処理装置と、上記画像処理装置から出力される画像データDOを表示する画像表示部5と、を備えたので、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消した画像を表示することができる。   The image display device according to the first exemplary embodiment of the present invention includes a receiving unit 2 that receives the image data SA, the image processing device that processes the image data received by the receiving unit 2, and an output from the image processing device. And an image display unit 5 for displaying the image data DO to be displayed, so that an image in which the pseudo contour caused by the lack of the image level is accurately eliminated even for the tone-corrected image is displayed. can do.

なお、本実施の形態1においては、閾値決定部41が、入力画像データDIと出力画像データDJの階調値の差に基づいて閾値THを決定する例を示したが、入力画像データDIにおける隣接画素間の階調差に対し出力画像データDJにおける隣接画素間の階調差が大きくなるか小さくなるかによって閾値を決定するようにしても良い。例えば、図5(b)において、補正後の画素n0〜n4と画素n5〜n9間の階調差A=Aと、補正前の階調差A=A+a1−a2との差ΔA=A−Aを基準に閾値を出すようにしてもよい。あるいは、補正後の階調差Aと、補正前の階調差Aとの比PA=A/Aを基準に閾値を出すようにしてもよい。それらの場合、本実施の形態1のように単純にDJ−DIを計算するよりも多少計算が複雑になるが、注目画素と注目画素に隣接する画素の階調差が拡大したか縮小したかをより的確に判定することができる。 In the first embodiment, the example in which the threshold value determination unit 41 determines the threshold value TH based on the difference between the gradation values of the input image data DI and the output image data DJ has been described. The threshold value may be determined depending on whether the gradation difference between adjacent pixels in the output image data DJ becomes larger or smaller than the gradation difference between adjacent pixels. For example, in FIG. 5B, the difference ΔA = A between the gradation difference A J = A between the corrected pixels n0 to n4 and the pixels n5 to n9 and the gradation difference A I = A + a1−a2 before correction. J -A I may be issued a threshold based on. Alternatively, the threshold value may be set based on the ratio PA = A J / A I of the gradation difference A J after correction and the gradation difference A I before correction. In these cases, the calculation is slightly more complicated than simply calculating DJ-DI as in the first embodiment, but is the gradation difference between the pixel of interest and the pixel adjacent to the pixel of interest enlarged or reduced? Can be determined more accurately.

なお、上記実施の形態1において、補正係数決定部31の補正カーブをルックアップテーブルから決定すると説明したが、n=1以上のn次元グラフから算出してもよい。   In the first embodiment, it has been described that the correction curve of the correction coefficient determination unit 31 is determined from the lookup table, but may be calculated from an n-dimensional graph of n = 1 or more.

また、実施の形態1において、n次元m次フィルタ部42を1次元5次フィルタとして説明したが、本発明は、n=1、m=5に限定されるものではない。本実施の形態1においてn次元m次フィルタ部42を1次元フィルタとした為、水平方向のみの階調改善の説明をしたが、2次元以上のフィルタにすると垂直方向に対しても階調の改善を行うことが出来る。   In the first embodiment, the n-dimensional mth-order filter unit 42 has been described as a one-dimensional quintic filter. However, the present invention is not limited to n = 1 and m = 5. In the first embodiment, since the n-dimensional m-th order filter unit 42 is a one-dimensional filter, gradation improvement only in the horizontal direction has been described. However, when a two-dimensional filter or more is used, gradation in the vertical direction is also reduced. Improvements can be made.

実施の形態2.
図15は、本発明の実施の形態2に係る画像表示装置の構成を示す図である。実施の形態2に係る画像表示装置は、ビット拡張や階調補正処理により増加させた階調をεフィルタ(非線型デジタルフィルタ)を用いて平滑化し、実効的な階調数を増やして画像表示を行う液晶テレビやプラズマテレビなどの画像表示装置である。実施の形態1と異なる点は、ε閾値決定部41Bが補正前後の(画像データDJと画像データDIの)階調の差に基づいて決定するものではなく、階調補正部3の補正カーブの形状と階調(画像データDJまたは画像データDIのどちらか一方)から決定する点である。図15の構成要素のうち、同一の構成を示すものについては、同一番号を付しており、重複する説明は省略する。
Embodiment 2. FIG.
FIG. 15 is a diagram showing a configuration of an image display apparatus according to Embodiment 2 of the present invention. The image display apparatus according to the second embodiment smoothes the gradation increased by the bit expansion and gradation correction processing using an ε filter (nonlinear digital filter), and increases the effective number of gradations to display an image. An image display device such as a liquid crystal television or a plasma television. The difference from the first embodiment is that the ε threshold value determination unit 41B does not determine based on the difference between the gradations before and after the correction (image data DJ and image data DI). This is a point determined from the shape and gradation (either image data DJ or image data DI). Of the components shown in FIG. 15, components having the same configuration are denoted by the same reference numerals, and redundant description is omitted.

本実施の形態2にかかる画像表示装置は、入力端子1、受信部2、階調補正部3、階調改善部4B、及び表示部5を備えていて、入力端子1、受信部2、階調補正部3、及び表示部5は実施の形態1と同様の処理を行うので、説明は省略する。   The image display apparatus according to the second embodiment includes an input terminal 1, a reception unit 2, a gradation correction unit 3, a gradation improvement unit 4B, and a display unit 5, and includes the input terminal 1, the reception unit 2, the floor. Since the tone correction unit 3 and the display unit 5 perform the same processing as in the first embodiment, description thereof is omitted.

階調改善部4Bは、ε閾値決定部41Bとエッジ保存型平滑化フィルタであるn次元m次εフィルタ部42とを備えている。ε閾値決定部41Bは、階調補正部3の補正カーブの形状と画像データDJの階調から可変するεフィルタの閾値THBを決定し、n次元m次εフィルタ部42にて階調補間を行う。   The gradation improving unit 4B includes an ε threshold value determining unit 41B and an n-dimensional m-order ε filter unit 42 that is an edge preserving smoothing filter. The ε threshold value determination unit 41B determines a threshold value THB of the ε filter that varies from the shape of the correction curve of the gradation correction unit 3 and the gradation of the image data DJ, and the n-dimensional m-th order ε filter unit 42 performs gradation interpolation. Do.

階調改善部4Bについて、詳しく説明する。
ε閾値決定部41Bは、補正カーブ決定部31で決定した補正カーブの係数と階調補正部3で階調補正され出力された画像データDJの画素の階調によって、n次元m次εフィルタ部42で使用するε閾値THを決定する。図16は、階調補正前の階調値と階調補正後の階調値とを対応させた補正カーブを示すものであり、図16(a)は階調補正をしない場合を、図16(b)は、入力階調に応じて階調補正係数k1が異なる階調補正を行う場合を示している。図16(a)では階調補正を行わない、つまり、階調の補正係数k1=1であるので、階調前後による階調幅の変化はなく、拡大縮小係数k2も一定の1となる。したがって、このような場合、閾値THは階調によって変化せず一定となり、これを基準のε閾値thB(1)とする。なお、ε閾値thB(1)は使用者によって任意に決定する。なお、thB(v)における変数vは拡大縮小係数k2であり、v=1のとき、階調前後で階調幅の拡大縮小がないことになる。
The gradation improving unit 4B will be described in detail.
The ε threshold value determination unit 41B is an n-dimensional m-th order ε filter unit based on the correction curve coefficient determined by the correction curve determination unit 31 and the gradation of the pixel of the image data DJ output after gradation correction by the gradation correction unit 3. The ε threshold TH used in 42 is determined. FIG. 16 shows a correction curve in which the gradation value before gradation correction is associated with the gradation value after gradation correction. FIG. 16A shows a case where gradation correction is not performed. (B) shows a case where gradation correction with a different gradation correction coefficient k1 is performed according to the input gradation. In FIG. 16A, gradation correction is not performed, that is, the gradation correction coefficient k1 = 1, so that there is no change in the gradation width before and after the gradation, and the enlargement / reduction coefficient k2 is also constant 1. Therefore, in such a case, the threshold value TH does not change depending on the gradation and is constant, and this is set as a reference ε threshold value thB (1). The ε threshold thB (1) is arbitrarily determined by the user. Note that the variable v in thB (v) is an enlargement / reduction coefficient k2, and when v = 1, there is no enlargement / reduction of the gradation width before and after the gradation.

なお、補正カーブが直線の場合でも、例えば、画像データDJの最大階調が画像データDIの最大階調の2倍である場合、階調補正により、階調幅が2倍になるので、拡大縮小係数k2は階調によらず一定ではあるが、2となる。   Even when the correction curve is a straight line, for example, when the maximum gradation of the image data DJ is twice the maximum gradation of the image data DI, the gradation width is doubled by gradation correction. The coefficient k2 is 2 regardless of the gradation, but is 2.

次に、階調補正部3で決定した補正カーブが、図16(b)のような曲線である場合について説明する。この補正カーブの場合、階調の低い部分は階調幅が縮小する(k2<1)ため黒つぶれしやすくなり、同様に階調の高い部分も階調幅が縮小する(k2<1)ため白つぶれしやすくなる。一方、中間の階調部分は階調幅が拡大する(k2>1)ため階調のジャンプが発生しやすくなる。   Next, the case where the correction curve determined by the gradation correction unit 3 is a curve as shown in FIG. In the case of this correction curve, the gradation width is reduced in the low gradation portion (k2 <1), so that the black portion is easily crushed. Similarly, the high gradation portion is reduced in the gradation width (k2 <1), and the white portion is crushed. It becomes easy to do. On the other hand, since the gradation width of the intermediate gradation portion is expanded (k2> 1), gradation jump is likely to occur.

階調の低い部分や階調の高い部分は、階調補正部3で補正されたことによりテクスチャやエッジ部分でも階調差が小さくなるため、従来の固定ε閾値thB(1)でεフィルタをかけると、テクスチャやエッジなどをノイズ(階調ジャンプ)と判断され、平滑化されることが多くなり、ぼやけた画像になってしまう。一方、中間階調部分は、階調補正部3で補正されたことにより階調差が大きくなり、従来の固定ε閾値thB(1)でεフィルタをかけると、ノイズ(階調ジャンプ)がテクスチャと判断され、平滑化を行わず、ノイズの除去が出来ないことがある。   Since the gradation difference is reduced in the texture and the edge part by correcting the low gradation part and the high gradation part by the gradation correction unit 3, the ε filter is applied with the conventional fixed ε threshold thB (1). When applied, textures and edges are judged as noise (gradation jump) and are often smoothed, resulting in a blurred image. On the other hand, in the intermediate gradation part, the gradation difference becomes large due to the correction by the gradation correction unit 3, and noise (gradation jump) becomes textured when the ε filter is applied with the conventional fixed ε threshold thB (1). Therefore, it may be impossible to remove noise without smoothing.

そこで、階調補正を行う補正カーブの形状(k1のプロフィール)に合わせて、ε閾値THを変化させる。ただし、本実施の形態に係るε閾値決定部41Bであっても、図16(a)のように階調に関わらず補正係数K1が1の場合、階調によってε閾値THは変化せず、一定のε閾値thB(1)を出力することになる。   Therefore, the ε threshold value TH is changed in accordance with the shape of the correction curve for performing gradation correction (profile of k1). However, even in the ε threshold value determination unit 41B according to the present embodiment, when the correction coefficient K1 is 1, regardless of the gradation as shown in FIG. A constant ε threshold thB (1) is output.

階調補正部3が、図16(b)の補正カーブを用いる場合のε閾値thBの決定方法を、図17、図18を用いて説明する。なお、図17は補正カーブにもとづく階調補正後の階調とε閾値thBを割り振るステップとの関係を示す図17(a)と、補正後階調の一定幅毎の階調拡大縮小係数k2とε閾値thBとを示す図17(b)と、階調補正後の階調とε閾値との関係を示す図17(c)とからなり、図18は、補正カーブから補正係数を定義する2つの方法を夫々示す図18(a)と図18(b)からなる。   A method for determining the ε threshold thB when the gradation correction unit 3 uses the correction curve of FIG. 16B will be described with reference to FIGS. FIG. 17 shows a relationship between the gradation after gradation correction based on the correction curve and the step of assigning the ε threshold thB, and the gradation enlargement / reduction coefficient k2 for each fixed width of the corrected gradation. 17 (b) showing the ε threshold thB and ε threshold thB, and FIG. 17 (c) showing the relationship between the gradation after gradation correction and the ε threshold. FIG. 18 defines the correction coefficient from the correction curve. 18A and 18B showing the two methods, respectively.

図17(a)に示すように、階調カーブと階調補正後の階調を複数のステップ(本実施の形態では8ビット長の画素データ256階調を、1ステップあたり32階調の8ステップ)に分割し、それぞれのステップ(番号:j)の階調拡大縮小係数k2(j)を導きだす。ここで、変数jはステップ番号である。この階調拡大縮小係数k2に基準のε閾値thB(1)(補正係数k1が1の時のε閾値で、あらかじめ設定しておく)を掛けた値が、ε閾値THとなり、図17(b)、(c)に示すようにステップ毎に決定する。   As shown in FIG. 17A, the gradation curve and gradation after gradation correction are converted into a plurality of steps (in this embodiment, 256 gradations of 8-bit pixel data are converted into 8 gradations of 32 gradations per step. Step), and the gradation enlargement / reduction coefficient k2 (j) of each step (number: j) is derived. Here, the variable j is a step number. A value obtained by multiplying the gradation enlargement / reduction coefficient k2 by the reference ε threshold thB (1) (an ε threshold when the correction coefficient k1 is 1 and set in advance) becomes the ε threshold TH, and FIG. ), And determined for each step as shown in (c).

階調拡大縮小係数k2はステップ毎に、ステップ内での傾きにて求める。例えば、ステップの両端部を直線で結び、その傾きをk2とする場合、図18(a)に示すように、ステップ1の階調拡大縮小係数k2(1)=y/xとなる。あるいは、図18(b)に示すように、ステップ内代表座標点の接線の傾き(補正カーブk1上の傾き)で求めてもよい。   The gradation enlargement / reduction coefficient k2 is obtained for each step by the inclination within the step. For example, if both ends of the step are connected by a straight line and the inclination is k2, the gradation enlargement / reduction coefficient k2 (1) of step 1 is y / x as shown in FIG. Alternatively, as shown in FIG. 18B, the inclination may be obtained by the inclination of the tangent of the in-step representative coordinate point (inclination on the correction curve k1).

具体的な画像処理例を、図19〜図28を用いて説明する。なお、本実施の形態でも、エッジ保存型平滑化フィルタであるn次元m次フィルタ部42Bは、1次元5次フィルタを使用するものとする。また、図19〜図23は緩やかに階調が変化する部分の画像処理例を示すものであり、図24〜図28は急峻に階調が変化するエッジ部分の画像処理例を示すものであり、画像データのうち、隣接する10個の画素n0〜n9を説明対象としている。   A specific example of image processing will be described with reference to FIGS. In the present embodiment also, the n-dimensional mth-order filter unit 42B, which is an edge-preserving smoothing filter, uses a one-dimensional quintic filter. Further, FIGS. 19 to 23 show examples of image processing at a portion where gradation changes gently, and FIGS. 24 to 28 show examples of image processing at an edge portion where gradation changes sharply. Among the image data, the adjacent ten pixels n0 to n9 are targeted for explanation.

まずは、図19〜図23を用いて、緩やかに階調が変化する画像データを処理する場合について説明する。図19(a)は入力画像DI、図19(b)は補正後の画像データDJ、図19(c)は補正量(DJ−DI)を示すものである。図において、受信部2から出力された画像データDI(画素n0〜n9)は、画素n4からn5において微少に階調が変化していることがわかる。   First, the case of processing image data whose gradation changes gently will be described with reference to FIGS. 19A shows the input image DI, FIG. 19B shows the corrected image data DJ, and FIG. 19C shows the correction amount (DJ-DI). In the figure, it can be seen that the gradation of the image data DI (pixels n0 to n9) output from the receiving unit 2 slightly changes in the pixels n4 to n5.

図19(b)は、画像データDIを図17で示した補正カーブに基づき、階調補正部3にて補正した後の画像データDJであり、画素n4からn5における微小に階調が変化している部分の変化量が、階調補正部3の補正によって大きくなっている(階調ジャンプが発生)ことがわかる。これは、画素n0〜n4より階調値が大きい画素n5〜n9の階調の増加量Cが、画素n0〜n4の階調の増加量cよりも大きいために生じたもので、例えば、画素n0〜n9が図17で示すステップ3の階調となるような場合である。   FIG. 19B is image data DJ after the image data DI is corrected by the gradation correction unit 3 based on the correction curve shown in FIG. 17, and the gradation changes slightly in pixels n4 to n5. It can be seen that the amount of change in the portion is increased by the correction of the gradation correction unit 3 (a gradation jump occurs). This occurs because the gradation increase amount C of the pixels n5 to n9 having a gradation value larger than that of the pixels n0 to n4 is larger than the gradation increase amount c of the pixels n0 to n4. This is a case where n0 to n9 become the gradation of step 3 shown in FIG.

図19(c)は、図17で示した補正カーブに基づき画素n0〜n9に対して階調補正部3にて補正を行う際の階調拡大縮小係数k2と、その階調拡大縮小係数k2に対応して定めるε閾値THを示すものである。図において画素n0〜n9の階調拡大縮小係数k2は1より大きい値である。図17(b)に示すように、k2が大きいほど閾値THは大きくなるので、それに応じて閾値thB(k2)は、thB(1)より大きくなっている。   FIG. 19C shows a gradation enlargement / reduction coefficient k2 when the gradation correction unit 3 performs correction on the pixels n0 to n9 based on the correction curve shown in FIG. 17, and the gradation enlargement / reduction coefficient k2. Ε threshold value TH determined in accordance with. In the figure, the gradation enlargement / reduction coefficient k2 of the pixels n0 to n9 is a value larger than 1. As shown in FIG. 17B, the threshold value TH increases as k2 increases, and accordingly the threshold value thB (k2) is larger than thB (1).

図20(a)は図19(b)における画素n4を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、本発明の階調拡大縮小係数k2によって変化するε閾値E_THB(1)〜E_THB(5)の関係を示した図、図20(b)は図19(b)における画素n5を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、ε閾値E_THB(1)〜E_THB(5)の関係を示した図、図20(c)は、これら変化する閾値THをもとに補間された画像データDOを示すものである。   20A shows the absolute value of the difference values ED (1) to ED (5) when the pixel n4 in FIG. 19B is the target pixel, and ε that changes depending on the gradation enlargement / reduction coefficient k2 of the present invention. FIG. 20B is a diagram showing the relationship between threshold values E_THB (1) to E_THB (5), and FIG. 20B is a graph showing the difference values ED (1) to ED (5) when the pixel n5 in FIG. FIG. 20C shows the relationship between the absolute value and the ε threshold values E_THB (1) to E_THB (5), and FIG. 20C shows the image data DO interpolated based on these changing threshold values TH.

図20(a)において、丸でプロットしている値は、画像データDJにおける注目画素n4(黒丸)とその水平左右2画素(白丸)の差分絶対値を示している。差分算出部422−1〜422−m(n次元m次εフィルタ部42内の各要素は、実施の形態1と同じ番号を付与)から、それぞれ
ED(1)はDJにおける画素n4とn2との差分で0、
ED(2)はDJにおける画素n4とn3との差分で0、
ED(3)はDJにおける画素n4とn4との差分で0、
ED(4)はDJにおける画素n4とn5との差分でC(絶対値もC)、
ED(5)はDJにおける画素n4とn6との差分でCが、ε判定部423−1〜423−mに出力される。
In FIG. 20A, the values plotted with circles indicate the absolute difference values of the pixel of interest n4 (black circle) and its horizontal left and right pixels (white circle) in the image data DJ. From the difference calculation units 422-1 to 422-m (each element in the n-dimensional m-th order ε filter unit 42 is assigned the same number as in the first embodiment), ED (1) is the pixels n4 and n2 in the DJ, respectively. 0 for the difference between
ED (2) is 0 as a difference between pixels n4 and n3 in DJ.
ED (3) is 0 as the difference between pixels n4 and n4 in DJ.
ED (4) is the difference between pixels n4 and n5 in DJ, C (absolute value is also C),
ED (5) is the difference between the pixels n4 and n6 in DJ, and C is output to the ε determination units 423-1 to 423-m.

ε判定部423にて、差分データEDの絶対値とε閾値E_THB(1)〜E_THB(m)(まとめてε閾値THBと称する)とを比較し、その判定結果EEを判定付加重平均部424に出力する。差分データEDの絶対値がε閾値THBより大きい場合は、判定結果EEは「0」を出力し、差分データEDの絶対値がε閾値以下の場合は、判定結果EEは「1」を出力する。   The ε determination unit 423 compares the absolute value of the difference data ED with the ε threshold values E_THB (1) to E_THB (m) (collectively referred to as the ε threshold value THB), and the determination result EE is used as the determination additional weight average unit 424. Output to. When the absolute value of the difference data ED is larger than the ε threshold THB, the determination result EE outputs “0”, and when the absolute value of the difference data ED is equal to or less than the ε threshold, the determination result EE outputs “1”. .

具体的には、
画素n2では、差分データED(1)の絶対値=0<ε閾値thB(k2)なので、EE(1)=1、
画素n3では、差分データED(2)の絶対値=0<ε閾値thB(k2)なので、EE(2)=1、
画素n4では、差分データED(3)の絶対値=0<ε閾値thB(k2)なので、EE(3)=1、
画素n5では、差分データED(4)の絶対値=C<ε閾値thB(k2)なので、EE(4)=1、
画素n6では、差分データED(5)の絶対値=C<ε閾値thB(k2)なので、EE(5)=1となり、その判定結果EE(1)〜EE(5)を判定付加重平均部424に供給する。
In particular,
In the pixel n2, since the absolute value of the difference data ED (1) = 0 <εthreshold thB (k2), EE (1) = 1,
In the pixel n3, since the absolute value of the difference data ED (2) = 0 <εthreshold thB (k2), EE (2) = 1,
In the pixel n4, since the absolute value of the difference data ED (3) = 0 <εthreshold thB (k2), EE (3) = 1,
In the pixel n5, since the absolute value of the difference data ED (4) = C <εthreshold thB (k2), EE (4) = 1,
In the pixel n6, since the absolute value of the difference data ED (5) = C <εthreshold thB (k2), EE (5) = 1, and the determination results EE (1) to EE (5) are used as the determination additional weight average unit. 424.

判定付加重平均部424は、判定結果EE(1)〜EE(5)に基づいて、差分データED(1)〜ED(5)を加重平均し、その結果として得られる加重平均EMを出力する。判定付加重平均部424は、判定結果EE(i)が「1」の場合、差分データED(i)に係数K(i)を乗算して加算し、判定結果EE(i)が「0」の場合は、加算しない。例えば、図21(a1)に示すように、係数K(1)〜K(5)を全て0.2とした場合、次のような加重平均を行い、加重平均値EMが出力される。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×C×0.2)
+(1×C×0.2)
=0.4C
The determination additional weight average unit 424 performs weighted averaging of the difference data ED (1) to ED (5) based on the determination results EE (1) to EE (5), and outputs a weighted average EM obtained as a result. . When the determination result EE (i) is “1”, the determination additional weight average unit 424 multiplies the difference data ED (i) by the coefficient K (i) and adds the result, and the determination result EE (i) is “0”. In case of, do not add. For example, as shown in FIG. 21A1, when all the coefficients K (1) to K (5) are set to 0.2, the following weighted average is performed, and the weighted average value EM is output.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x C x 0.2)
+ (1 x C x 0.2)
= 0.4C

画素n5を注目画素とした場合の差分値ED(1)〜ED(5)の絶対値は以下のようになる。
ED(1)は画素n5とn3の差分で−C(絶対値はC)、
ED(2)は画素n5とn4の差分で−C、
ED(3)は画素n5とn5の差分で0)、
ED(4)は画素n5とn6の差分で0、
ED(5)は画素n5とn7の差分で0、
そして、EDとε閾値THとの関係は図20(b)のような関係となる。
The absolute values of the difference values ED (1) to ED (5) when the pixel n5 is the target pixel are as follows.
ED (1) is a difference between pixels n5 and n3, −C (absolute value is C),
ED (2) is the difference between pixels n5 and n4, −C,
ED (3) is the difference between pixels n5 and n5 0),
ED (4) is the difference between pixels n5 and n6, 0,
ED (5) is 0 as the difference between pixels n5 and n7.
The relationship between ED and ε threshold value TH is as shown in FIG.

同様に、図21(a2)に示すように、判定付加重平均部424にて加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×(−C)×0.2)
+(1×(−C)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=−0.4C
Similarly, as shown in FIG. 21 (a2), the weighted average value EM is calculated by the determination additional weight average unit 424.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1 x (-C) x 0.2)
+ (1 × (−C) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= -0.4C

画素位置n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図21(b)に示す値を出力する。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図20(c)に示すようにエッジが緩やかに変化する画像データDOが出力される。   When the pixel positions n0 to n9 are set as the target pixel in order, the determination additional weight average unit 424 performs the same calculation, and the weighted average value EM outputs the value shown in FIG. The data adding unit 425 adds the weighted average value EM to the pixel-of-interest data DM (c), and outputs image data DO whose edges change gently as shown in FIG. 20 (c).

一方、従来のようにε閾値THBが階調拡大縮小係数k2によって変化せず、ε閾値THBが一定値であるthB(1)となる場合の処理例を、図22、図23を用いて説明する。図22(a)は、画素n4を注目画素とした(DM(1)が画素n2、DM(2)が画素n3、DM(3)が注目画素n4、DM(4)が画素n5、DM(5)が画素n6のデータ)場合、図22(b)は、画素n5を注目画素とした(DM(1)が画素n3、DM(2)が画素n4、DM(3)が注目画素n5、DM(4)が画素n6、DM(5)が画素n7のデータ)場合における差分値EDと一定のε閾値thB(1)との関係を示す図である。   On the other hand, a processing example in the case where the ε threshold value THB is not changed by the gradation enlargement / reduction coefficient k2 and the ε threshold value THB is a constant value thB (1) as in the conventional case will be described with reference to FIGS. To do. In FIG. 22A, the pixel n4 is the pixel of interest (DM (1) is the pixel n2, DM (2) is the pixel n3, DM (3) is the pixel of interest n4, DM (4) is the pixel n5, DM ( 5 (b) is the pixel n6), FIG. 22B shows the pixel n5 as the pixel of interest (DM (1) is the pixel n3, DM (2) is the pixel n4, DM (3) is the pixel of interest n5, FIG. 6 is a diagram illustrating a relationship between a difference value ED and a constant ε threshold thB (1) when DM (4) is data of pixel n6 and DM (5) is data of pixel n7.

画素n4を注目画素とした場合、図23(a1)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「0」、EE(5)=「0」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(0×C×0.2)
+(0×C×0.2)
=0
When the pixel n4 is the target pixel, as illustrated in FIG. 23A1, the ε determination unit 432 determines the determination result EE (1) = “1”, EE (2) = “1”, EE (3) = “1”, EE (4) = “0”, and EE (5) = “0” are determined and supplied to the determination additional weight average unit 424. The determination additional weight average unit 424 calculates the weighted average value EM as follows using the supplied determination result EE, difference data ED, and image data DM (c) of the target pixel.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (0xCx0.2)
+ (0xCx0.2)
= 0

また、画素n5を注目画素とした場合も同様に、図23(a2)に示すように、ε判定部432にて、判定結果EE(1)=「0」、EE(2)=「0」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (0×(−C)×0.2)
+(0×(−C)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=0
Similarly, when the pixel n5 is the target pixel, the determination result EE (1) = “0” and EE (2) = “0” are obtained by the ε determination unit 432 as shown in FIG. 23 (a2). , EE (3) = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight average unit 424. The determination additional weight average unit 424 calculates the weighted average value EM as follows using the supplied determination result EE, difference data ED, and image data DM (c) of the target pixel.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (0x (-C) x0.2)
+ (0 × (−C) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= 0

画素位置n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図23(b2)のように出力される。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図22(c)に示すようにエッジが保存された画像データDOが出力される。   When the pixel positions n0 to n9 are set as the target pixel in order, the determination additional weight average unit 424 performs the same calculation, and the weighted average value EM is output as shown in FIG. The data adding unit 425 adds the weighted average value EM to the pixel-of-interest data DM (c), and outputs image data DO in which edges are stored as shown in FIG. 22 (c).

つぎに、図24〜図28を用いて、急峻に階調が変化する部分の画像処理例について説明する。図24(a)は入力画像DI、図24(b)は補正後の画像データDJ、図24(c)は補正係数k1を示すものである。図において、受信部2から出力された画像データDI(画素n0〜n9)は、画素n4からn5において急峻に階調が変化するエッジ部分を有していることがわかる。   Next, an example of image processing of a portion where the gradation changes sharply will be described with reference to FIGS. 24A shows the input image DI, FIG. 24B shows the corrected image data DJ, and FIG. 24C shows the correction coefficient k1. In the figure, it can be seen that the image data DI (pixels n0 to n9) output from the receiving unit 2 has edge portions where the gradation changes sharply in the pixels n4 to n5.

図24(b)は、画像データDIを階調補正部3にて補正した後の画像データDJである。画素n4からn5における急峻な階調の変化が、階調補正部3の補正によって階調の変化量が小さくなる例である。これは、画素n0〜n4より階調値が大きい画素n5〜n9の階調の減少量dが、画素n0〜n4の階調の減少量Dよりも大きいために生じたもので、例えば、図17で示すステップ1のような場合である。 FIG. 24B shows image data DJ after the image data DI is corrected by the gradation correction unit 3. The steep gradation change in the pixels n4 to n5 is an example in which the gradation change amount is reduced by the correction of the gradation correction unit 3. This is intended to reduce the amount d of the gradation of the pixel n5~n9 larger tone value than the pixel N0-N4 has occurred for greater Ri by decrease D of the gradation of the pixel N0-N4, for example, This is a case like step 1 shown in FIG.

図24(c)は、図17で示した補正カーブに基づき画素n0〜n9に対して階調補正部3にて補正を行う際の画素ごとの階調拡大縮小係数k2と、その階調拡大縮小係数k2に対応して定めるε閾値THを示すものである。図において画素n0〜n9の階調拡大縮小係数k2は1より小さい値である。図17(b)に示すように、k2が小さいほど閾値THは小さくなるので、それに応じて閾値thB(k2)は、thB(1)よりも小さくなっている。   FIG. 24C shows the gradation enlargement / reduction coefficient k2 for each pixel when the gradation correction unit 3 corrects the pixels n0 to n9 based on the correction curve shown in FIG. It shows the ε threshold value TH determined in correspondence with the reduction coefficient k2. In the figure, the gradation enlargement / reduction coefficient k2 of the pixels n0 to n9 is a value smaller than 1. As shown in FIG. 17B, the threshold value TH becomes smaller as k2 is smaller, and accordingly, the threshold value thB (k2) is smaller than thB (1).

図25(a)は図24(b)における画素n4を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、本発明の階調拡大縮小係数k2によって変化するε閾値E_THB(1)〜E_THB(5)の関係を示した図、図25(b)は図24における画素n5を注目画素としたときの差分値ED(1)〜ED(5)の絶対値と、ε閾値E_THB(1)〜E_THB(5)の関係を示した図、図25(c)は、これら変化する閾値THをもとに補間された画像データDOを示すものである。   FIG. 25A shows the absolute value of the difference values ED (1) to ED (5) when the pixel n4 in FIG. 24B is the target pixel, and ε that changes depending on the gradation enlargement / reduction coefficient k2 of the present invention. FIG. 25B is a diagram showing the relationship between threshold values E_THB (1) to E_THB (5), and FIG. 25B shows the absolute values of difference values ED (1) to ED (5) when pixel n5 in FIG. , Ε threshold values E_THB (1) to E_THB (5), FIG. 25C shows image data DO interpolated based on these changing threshold values TH.

図25(a)において、丸でプロットしている値は、画像データDJにおける注目画素n4(黒丸)とその水平左右2画素(白丸)の差分絶対値を示している。差分算出部422−1〜422−mから、それぞれ
ED(1)はDJにおける画素n4とn2との差分で0、
ED(2)はDJにおける画素n4とn3との差分で0、
ED(3)はDJにおける画素n4とn4との差分で0、
ED(4)はDJにおける画素n4とn5との差分でD(絶対値もD)、
ED(5)はDJにおける画素n4とn6との差分でDが、ε判定部423−1〜423−mに出力される。
In FIG. 25A, the values plotted with circles indicate the absolute difference values of the pixel of interest n4 (black circle) and its horizontal left and right pixels (white circle) in the image data DJ. From the difference calculation units 422-1 to 422-m, ED (1) is a difference between pixels n4 and n2 in DJ, 0,
ED (2) is 0 as a difference between pixels n4 and n3 in DJ.
ED (3) is 0 as the difference between pixels n4 and n4 in DJ.
ED (4) is the difference between pixels n4 and n5 in DJ, D (absolute value is also D),
ED (5) is the difference between the pixels n4 and n6 in DJ, and D is output to the ε determination units 423-1 to 423-m.

ε判定部423にて、差分データEDの絶対値とε閾値E_THB(1)〜E_THB(m)とを比較し、その判定結果EEを判定付加重平均部424に出力する。差分データEDの絶対値がε閾値THBより大きい場合は、判定結果EEは「0」を出力し、差分データEDの絶対値がε閾値以下の場合は、判定結果EEは「1」を出力する。   The ε determination unit 423 compares the absolute value of the difference data ED with the ε threshold values E_THB (1) to E_THB (m), and outputs the determination result EE to the determination additional weight average unit 424. When the absolute value of the difference data ED is larger than the ε threshold THB, the determination result EE outputs “0”, and when the absolute value of the difference data ED is equal to or less than the ε threshold, the determination result EE outputs “1”. .

具体的には、
画素n2では、差分データED(1)の絶対値=0<ε閾値thB(k2)なので、EE(1)=1、
画素n3では、差分データED(2)の絶対値=0<ε閾値thB(k2)なので、EE(2)=1、
画素n4では、差分データED(3)の絶対値=0<ε閾値thB(k2)なので、EE(3)=1、
画素n5では、差分データED(4)の絶対値=D>ε閾値thB(k2)なので、EE(4)=0、
画素n6では、差分データED(5)の絶対値=D>ε閾値thB(k2)なので、EE(5)=0となり、その判定結果EE(1)〜EE(5)を判定付加重平均部424に供給する。
In particular,
In the pixel n2, since the absolute value of the difference data ED (1) = 0 <εthreshold thB (k2), EE (1) = 1,
In the pixel n3, since the absolute value of the difference data ED (2) = 0 <εthreshold thB (k2), EE (2) = 1,
In the pixel n4, since the absolute value of the difference data ED (3) = 0 <εthreshold thB (k2), EE (3) = 1,
In the pixel n5, since the absolute value of the difference data ED (4) = D> εthreshold thB (k2), EE (4) = 0,
In the pixel n6, since the absolute value of the difference data ED (5) = D> εthreshold thB (k2), EE (5) = 0, and the determination results EE (1) to EE (5) are used as the determination additional weight average unit. 424.

判定付加重平均部424は、判定結果EE(1)〜EE(5)に基づいて、差分データED(1)〜ED(5)を加重平均し、その結果として得られる加重平均EMを出力する。判定付加重平均部424は、判定結果EE(i)が「1」の場合、差分データED(i)に係数K(i)を乗算して加算し、判定結果EE(i)が「0」の場合は、加算しない。例えば、図26(a1)に示すように、係数K(1)〜K(5)を全て0.2とした場合、次のような加重平均を行い、加重平均値EMが出力される。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(0×D×0.2)
+(0×D×0.2)
=0
The determination additional weight average unit 424 performs weighted averaging of the difference data ED (1) to ED (5) based on the determination results EE (1) to EE (5), and outputs a weighted average EM obtained as a result. . When the determination result EE (i) is “1”, the determination additional weight average unit 424 multiplies the difference data ED (i) by the coefficient K (i) and adds the result, and the determination result EE (i) is “0”. In case of, do not add. For example, as shown in FIG. 26 (a1), when all the coefficients K (1) to K (5) are set to 0.2, the following weighted average is performed and the weighted average value EM is output.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (0xDx0.2)
+ (0xDx0.2)
= 0

画素n5を注目画素とした場合の差分値ED(1)〜ED(5)の絶対値は以下のようになる。
ED(1)は画素n5とn3の差分で−D(絶対値もD)、
ED(2)は画素n5とn4の差分で−D、
ED(3)は画素n5とn5の差分で0、
ED(4)は画素n5とn6の差分で0、
ED(5)は画素n5とn7の差分で0、
そして、EDとε閾値THとの関係は図25(b)のような関係となる。
The absolute values of the difference values ED (1) to ED (5) when the pixel n5 is the target pixel are as follows.
ED (1) is a difference between pixels n5 and n3, −D (absolute value is also D),
ED (2) is the difference between pixels n5 and n4, −D,
ED (3) is 0 as a difference between pixels n5 and n5.
ED (4) is the difference between pixels n5 and n6, 0,
ED (5) is 0 as the difference between pixels n5 and n7.
The relationship between ED and ε threshold value TH is as shown in FIG.

同様に、図26(a2)に示すように、判定付加重平均部424にて加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (0×(−D)×0.2)
+(0×(−D)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=0
Similarly, as shown in FIG. 26 (a2), the weighted average value EM is calculated by the determination additional weight average unit 424.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (0 × (−D) × 0.2)
+ (0 × (−D) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= 0

画素位置n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図26(b)に示す値を出力する。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図25(c)に示すようにエッジをほぼ保った状態の画像データDOが出力される。   When the pixel positions n0 to n9 are selected as the target pixel in order, the same calculation is performed in the determination additional weight average unit 424, and the weighted average value EM outputs the value shown in FIG. In the data addition unit 425, the weighted average value EM is added to the target pixel data DM (c), and the image data DO in a state where the edges are substantially maintained is output as shown in FIG. 25 (c).

一方、従来のようにε閾値THBが補正係数k1によって変化せず、つまり、階調拡大縮小係数k2によって変化せず、ε閾値THBが一定値であるthB(1)となる場合の処理例を、図27、図28を用いて説明する。図27(a)は、画素n4を注目画素とした(DM(1)が画素n2、DM(2)が画素n3、DM(3)が注目画素n4、DM(4)が画素n5、DM(5)が画素n6のデータ)場合、図27(b)は、画素n5を注目画素とした(DM(1)が画素n3、DM(2)が画素n4、DM(3)が注目画素n5、DM(4)が画素n6、DM(5)が画素n7のデータ)場合における差分値EDと一定のε閾値thB(1)との関係を示す図である。   On the other hand, a processing example in the case where the ε threshold value THB does not change with the correction coefficient k1 as in the conventional case, that is, does not change with the gradation enlargement / reduction coefficient k2, and the ε threshold value THB becomes a constant value thB (1). This will be described with reference to FIGS. In FIG. 27A, the pixel n4 is the pixel of interest (DM (1) is the pixel n2, DM (2) is the pixel n3, DM (3) is the pixel of interest n4, DM (4) is the pixel n5, DM ( 5 (b) is the pixel n6), FIG. 27B shows the pixel n5 as the pixel of interest (DM (1) is the pixel n3, DM (2) is the pixel n4, DM (3) is the pixel of interest n5, FIG. 6 is a diagram illustrating a relationship between a difference value ED and a constant ε threshold thB (1) when DM (4) is data of pixel n6 and DM (5) is data of pixel n7.

画素n4を注目画素とした場合、図28(a1)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×D×0.2)
+(1×D×0.2)
=0.4D
When the pixel n4 is the target pixel, the determination result EE (1) = “1”, EE (2) = “1”, EE (3) is obtained by the ε determination unit 432 as shown in FIG. 28 (a1). = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight average unit 424. The determination additional weight average unit 424 calculates the weighted average value EM as follows using the supplied determination result EE, difference data ED, and image data DM (c) of the target pixel.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1x0x0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x D x 0.2)
+ (1 x D x 0.2)
= 0.4D

また、画素n5を注目画素とした場合も同様に、図28(a2)に示すように、ε判定部432にて、判定結果EE(1)=「1」、EE(2)=「1」、EE(3)=「1」、EE(4)=「1」、EE(5)=「1」が決定し、判定付加重平均部424に供給する。判定付加重平均部424では、供給された判定結果EEと差分データEDと注目画素の画像データDM(c)を用いて以下のように加重平均値EMを算出する。
EM= EE(1)×ED(1)×K(1)
+EE(2)×ED(2)×K(2)
+EE(3)×ED(3)×K(3)
+EE(4)×ED(4)×K(4)
+EE(5)×ED(5)×K(5)
= (1×(−D)×0.2)
+(1×(−D)×0.2)
+(1×0×0.2)
+(1×0×0.2)
+(1×0×0.2)
=−0.4D
Similarly, when the pixel n5 is the target pixel, the determination result EE (1) = “1” and EE (2) = “1” are obtained by the ε determination unit 432 as shown in FIG. 28 (a2). , EE (3) = “1”, EE (4) = “1”, and EE (5) = “1” are determined and supplied to the determination additional weight average unit 424. The determination additional weight average unit 424 calculates the weighted average value EM as follows using the supplied determination result EE, difference data ED, and image data DM (c) of the target pixel.
EM = EE (1) × ED (1) × K (1)
+ EE (2) x ED (2) x K (2)
+ EE (3) x ED (3) x K (3)
+ EE (4) x ED (4) x K (4)
+ EE (5) x ED (5) x K (5)
= (1 x (-D) x 0.2)
+ (1 × (−D) × 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
+ (1 x 0 x 0.2)
= -0.4D

画素位置n0〜n9を順に注目画素とした時、判定付加重平均部424にて同様の演算が行われ、加重平均値EMは図28(b2)のように出力される。データ加算部425で、注目画素データDM(c)に加重平均値EMを加算し、図27(c)に示すようにエッジが緩やかに変化する画像データDOが出力される。   When the pixel positions n0 to n9 are selected as the target pixel in order, the determination additional weight average unit 424 performs the same calculation, and the weighted average value EM is output as shown in FIG. The data adding unit 425 adds the weighted average value EM to the target pixel data DM (c), and outputs image data DO whose edges change gently as shown in FIG.

上記のように、ε閾値決定部41B(閾値制御部)を備えることによって、ε閾値決定部41Bによって閾値が制御されるn次元m次εフィルタ部42(エッジ保存型平滑化フィルタ)は、入力画像に対する階調補正カーブと階調(から算出される階調拡大縮小係数k2)に応じて保持するエッジが異なる平滑化フィルタとして動作する。   As described above, by providing the ε threshold value determination unit 41B (threshold value control unit), the n-dimensional m-th order ε filter unit 42 (edge preserving smoothing filter) whose threshold value is controlled by the ε threshold value determination unit 41B is input. It operates as a smoothing filter having different edges to be held according to the gradation correction curve and gradation (the gradation enlargement / reduction coefficient k2 calculated from the image).

以上のように、本実施の形態2にかかる画像処理装置および画像表示装置によれば、閾値決定部41Bが、階調補正部3で使用する補正カーブと出力画像データDJの階調値とに基づいて算出する補正前後の階調幅の拡大縮小係数k2に基づいて閾値THを決定するようにしたので、入力画像DIに階調補正を実施した画像において、入力画像DIの値を参照しなくても、階調補正量によってε閾値を可変することができる。これにより、階調補正にて変化した階調差をエッジか階調のジャンプかを的確に判断することができるので、エッジにおいてはボケのないエッジに処理することができるとともに、階調のジャンプにおいては緩やかに階調変化するように処理することができる。   As described above, according to the image processing apparatus and the image display apparatus according to the second embodiment, the threshold value determination unit 41B uses the correction curve used in the gradation correction unit 3 and the gradation value of the output image data DJ. Since the threshold value TH is determined based on the enlargement / reduction coefficient k2 of the gradation width before and after correction calculated based on the input image DI, the value of the input image DI must be referred to in the image subjected to the gradation correction on the input image DI. Also, the ε threshold value can be varied according to the gradation correction amount. As a result, it is possible to accurately determine whether the gradation difference changed by the gradation correction is an edge or a gradation jump, so that the edge can be processed as an unblurred edge and the gradation jump can be performed. Can be processed so that the gradation changes gradually.

とくに、閾値決定部41Bが、出力画像DJを階調レベルによって複数の階級(ステップ)に分割し、分割した階級(ステップ)ごとに補正前後の階調幅の拡大縮小係数k2を算出するようにしたので、計算処理や記憶容量を増加させることなく、補間処理を行うことができる。   In particular, the threshold value determination unit 41B divides the output image DJ into a plurality of classes (steps) according to the gradation level, and calculates the enlargement / reduction coefficient k2 of the gradation width before and after correction for each divided class (step). Therefore, interpolation processing can be performed without increasing calculation processing and storage capacity.

なお、本実施の形態2において、n次元m次フィルタ部42を1次元5次フィルタとして説明したが、本発明は、n=1、m=5に限定されるものではない。また、本実施の形態2においてn次元m次フィルタ部42を1次元フィルタとした為、水平方向のみの階調改善の説明をしたが、2次元以上のフィルタにすると垂直方向に対しても階調の改善を行うことが出来る。   In the second embodiment, the n-dimensional mth-order filter unit 42 has been described as a one-dimensional quintic filter, but the present invention is not limited to n = 1 and m = 5. In the second embodiment, since the n-dimensional m-th order filter unit 42 is a one-dimensional filter, gradation improvement only in the horizontal direction has been described. Tone improvement.

また、本実施の形態2において、ε閾値決定部41Bでは8ステップに分けたε閾値TH(b)について説明したが、8ステップの限定されるものではない。図29(a)のように8ステップより少ないステップ数(例えば、4ステップ)や図29(b)のように8ステップより多いステップ数(例えば32ステップ)としても、本実施の形態2のように階調の改善を行うことが出来る。   In the second embodiment, the ε threshold value determination unit 41B has described the ε threshold value TH (b) divided into 8 steps, but is not limited to 8 steps. Even if the number of steps is less than 8 steps (for example, 4 steps) as shown in FIG. 29A or the number of steps is more than 8 steps (for example, 32 steps) as shown in FIG. It is possible to improve the gradation.

なお、本実施の形態2では、補正後の階調値に応じて分割したステップ毎の階調拡大縮小係数k2(j)を使用することを前提に説明を行ったが、ステップの分割位置にあたる階調を中心とするサブステップを形成して各ステップの階調範囲が重なり合うようにして、階調値に応じてステップを使い分けするようにしても良い。例えば図17に示すステップ7とステップ8のサブステップとして、補正後階調範囲207〜240のサブステップS7を設定し、階調拡大縮小係数k2(j)をk2(7)とk2(8)の平均である0.7と設定する。そして、ある画素の階調値がステップ7と8の境界値付近である例えば階調値223だった場合、サブステップ7がないと、階調差が同じでも、階調値が224の隣接画素Aと階調値が225の隣接画素Bがある場合、隣接画素AとBに対して異なるε閾値を用いることになるが、サブステップS7を適用すれば、隣接画素A,Bともに同じε閾値を使用することになるので、滑らかな補間が可能となる。   In the second embodiment, the description has been made on the assumption that the gradation enlargement / reduction coefficient k2 (j) for each step divided according to the corrected gradation value is used, but this corresponds to the division position of the step. A sub-step centering on the gradation may be formed so that the gradation ranges of the respective steps overlap, and the steps may be properly used according to the gradation value. For example, as a sub-step of steps 7 and 8 shown in FIG. 17, sub-step S7 of the corrected gradation range 207 to 240 is set, and the gradation enlargement / reduction coefficient k2 (j) is set to k2 (7) and k2 (8). The average of 0.7 is set. If the gradation value of a certain pixel is, for example, the gradation value 223 that is near the boundary value between steps 7 and 8, if there is no sub-step 7, even if the gradation difference is the same, the adjacent pixel having the gradation value of 224 When there is an adjacent pixel B having a gradation value of A and 225, different ε threshold values are used for the adjacent pixels A and B. However, if the sub-step S7 is applied, both the adjacent pixels A and B have the same ε threshold value. Therefore, smooth interpolation is possible.

さらに、本実施の形態2では、同じ入力階調値に対して同じ補正係数k1により補正する例について説明したが、補正部における階調補正が、その画素の存在する位置や周囲の画素の階調値によって、同じ入力階調値でも異なる補正係数k1で補正するような場合、つまり、画素によって異なる補正カーブを用いる場合にも適用することはできる。その場合、画素ごとに選んだ補正カーブk1pと補正後の階調値に基づいて階調拡大縮小係数k2を算出するようにすればよい。   Furthermore, in the second embodiment, the example in which the same input gradation value is corrected with the same correction coefficient k1 has been described. However, the gradation correction in the correction unit is performed at the position where the pixel exists and the levels of surrounding pixels. The present invention can also be applied to a case where correction is performed with a different correction coefficient k1 even with the same input tone value depending on the tone value, that is, when a different correction curve is used for each pixel. In that case, the gradation enlargement / reduction coefficient k2 may be calculated based on the correction curve k1p selected for each pixel and the corrected gradation value.

また、本実施の形態2において、階調補正部を階調改善部の前段にあるものとして説明したが、図30に示すように階調補正部3Cの補正カーブ決定部31を階調改善部4Cの前段に設置し、補正部32を後段に設置しても同様の階調の改善を行うことが出来る。この時、ε閾値THは受信部2からの出力画像データDIの階調を基準として設定する。   In the second embodiment, the gradation correction unit is described as being in front of the gradation improvement unit. However, as shown in FIG. 30, the correction curve determination unit 31 of the gradation correction unit 3C is replaced with the gradation improvement unit. The same gradation improvement can be performed even if the correction unit 32 is installed in the subsequent stage and installed in the previous stage of 4C. At this time, the ε threshold TH is set based on the gradation of the output image data DI from the receiving unit 2.

このように実施の形態2によれば、εフィルタを用いて階調補正により増えた階調を平滑化するので、輪郭やテクスチャなどの階調が急峻に大きく変化する領域を有する画像の鮮鋭度を損なわずに、画像データの階調のジャンプを改善することができる。したがって、画像レベルの抜けに起因する擬似輪郭を解消して擬似輪郭による画質劣化を低減させることが可能となる。   As described above, according to the second embodiment, since the gradation increased by the gradation correction is smoothed using the ε filter, the sharpness of an image having an area where the gradation such as the outline or the texture changes drastically greatly. The gradation jump of the image data can be improved without impairing the image quality. Therefore, it is possible to eliminate the pseudo contour caused by the missing image level and reduce the image quality deterioration due to the pseudo contour.

また、上記実施の形態1〜2において、階調補正を伴い、エッジを保存して階調のジャンプを改善する回路について説明をしたが、階調補正を伴い、エッジを保存してノイズ除去をする回路、及び階調補正を伴い、エッジを保存して実質的な階調を拡大する回路においても同様の効果がある。   In the first and second embodiments, the circuit for improving the gradation jump by storing the edge with gradation correction has been described. However, the noise is removed by storing the edge and correcting the gradation. The same effect can be obtained in a circuit that performs gradation correction and a circuit that preserves edges and expands substantial gradation.

また、上記実施の形態1〜2において、図3に示すようにn次元m次εフィルタ部のε判定部423−1〜423―mは、ε閾値決定部41にて決定したそれぞれに対応するε閾値E_TH(1)〜E_TH(m)またはε閾値E_THB(1)〜E_THB(m)にて判定する回路について説明したが、図31に示すようにε判定部423−1〜423−mは、全て注目画素EM(c)に対応するε閾値E_TH(c)またはE_THB(c)にて判定するように回路を構成してもよい。   Further, in the first and second embodiments, as shown in FIG. 3, the ε determination units 423-1 to 423-m of the n-dimensional m-order ε filter unit correspond to each determined by the ε threshold value determination unit 41. Although the circuit for determining by the ε threshold values E_TH (1) to E_TH (m) or the ε threshold values E_THB (1) to E_THB (m) has been described, the ε determining units 423-1 to 423-m are shown in FIG. The circuit may be configured to make a determination based on the ε threshold value E_TH (c) or E_THB (c) corresponding to the target pixel EM (c).

実施の形態3.
上記各実施の形態1、2では、階調補正部4のエッジ保存型の平滑化フィルタをn次元m次εフィルタとして説明してきたが、本発明はεフィルタを用いることに限定されない。急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタであるエッジ保存型平滑化フィルタとしては、上述したεフィルタの他にトリムド平均値フィルタ(DW−MTMフィルタ)やバイラテラルフィルタなどがあり、これらエッジ保存型平滑化フィルタを用いた場合でも本発明は実現できる。
Embodiment 3 FIG.
In the first and second embodiments, the edge preserving type smoothing filter of the gradation correction unit 4 has been described as an n-dimensional m-order ε filter, but the present invention is not limited to using an ε filter. As an edge-preserving smoothing filter that smooths only small changes while preserving sharpness in a portion where there is a steep and large change, a trimmed average value filter (DW-MTM) can be used in addition to the ε filter described above. Filter) and bilateral filters, and the present invention can be realized even when these edge-preserving smoothing filters are used.

ここで、トリムド平均値フィルタ(DW−MTMフィルタ)について説明する。トリムド平均値フィルタは、例えば非特許文献1(雛元孝夫監修、棟安実治、夫田口亮著、「非線形ディジタル信号処理」朝倉書店、1999年3月20日、p.72−74)に説明されているものである。   Here, the trimmed average value filter (DW-MTM filter) will be described. The trimmed average value filter is described in, for example, Non-Patent Document 1 (supervised by Takao Hinamoto, Meiji Muneyasu, Ryo Otaguchi, “Nonlinear Digital Signal Processing”, Asakura Shoten, March 20, 1999, p. 72-74). It is what has been.

トリムド平均値フィルタによる一次元処理は、式(1)や(2)で表される。x(i)は入力される画像データの階調であり、y(i)は出力する画像データの階調である。また、akは係数であり、kは注目画素からの相対的な画素位置であり、εは閾値である。 One-dimensional processing by the trimmed average value filter is expressed by equations (1) and (2). x (i) is the gradation of the input image data, and y (i) is the gradation of the output image data. Further, a k is a coefficient, k is a relative pixel position from the target pixel, and ε is a threshold value.

Figure 0005233757
Figure 0005233757

ここでxmedは、処理点を中心とするフィルタ窓幅mより小さい窓内データのメジアン値である。bkはx(i−k)−xmedが閾値ε以下なら1、閾値ε以下なら0を出力する Here, x med is a median value of in-window data smaller than the filter window width m centering on the processing point. b k is 1 if x ( ik ) -x med is less than or equal to the threshold ε, and 0 if the threshold ε or less.

Figure 0005233757
Figure 0005233757

kはx(i−k)−x(i)が閾値ε以下なら1、閾値ε以下なら0を出力する。つまり、式(2)のトリムド平均値フィルタは着目画素と階調差の大きい周辺画素は除いて加重平均値を求めている。 b k is 1 if x (i−k) −x (i) is less than or equal to the threshold ε, and 0 if it is less than or equal to the threshold ε. That is, the trimmed average value filter of Expression (2) obtains a weighted average value excluding peripheral pixels having a large gradation difference from the target pixel.

εフィルタは着目画素と階調差の大きい周辺画素は着目画素の階調値に置き換えて加重平均値を求めている。一方、トリムド平均値フィルタはεフィルタと同様に急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタである。よって、εフィルタの代わりにトリムド平均値フィルタを用いても、ε閾値決定部41、41B、41Cまたは41Dで決定したε閾値THを閾値とすることで、同等の効果が得られる。同様に、εフィルタの代わりに他のエッジ保存型平滑化フィルタを用いても同等の効果が得られる。   The ε filter obtains a weighted average value by replacing peripheral pixels having a large gradation difference with the target pixel by the gradation value of the target pixel. On the other hand, the trimmed average value filter is a filter that smooths only a small change while preserving the sharpness of a portion where there is a steep and large change like the ε filter. Therefore, even if a trimmed average value filter is used instead of the ε filter, an equivalent effect can be obtained by using the ε threshold TH determined by the ε threshold determination unit 41, 41B, 41C or 41D as a threshold. Similarly, the same effect can be obtained by using another edge-preserving smoothing filter instead of the ε filter.

1 入力端子、 2 受信部、 3 階調補正部、 4、4B、4C、4D 階調改善部、 5 表示部、 31 補正カーブ決定部、 32 補正部、 41、41B、41B、41C、41D ε閾値決定部、 42 n次元m次εフィルタ部(エッジ保存型平滑化フィルタ)、 421 データ格納部、 422 差分算出部、 423 ε判定部、 424 判定付荷重平均部、 425 データ加算部、5 表示部。   DESCRIPTION OF SYMBOLS 1 Input terminal, 2 Receiving part, 3 Gradation correction | amendment part, 4, 4B, 4C, 4D Gradation improvement part, 5 Display part, 31 Correction curve determination part, 32 Correction | amendment part, 41, 41B, 41B, 41C, 41D epsilon Threshold determination unit, 42 n-dimensional m-th order ε filter unit (edge-preserving smoothing filter), 421 data storage unit, 422 difference calculation unit, 423 ε determination unit, 424 load average unit with determination, 425 data addition unit, 5 display Department.

Claims (7)

入力画像データの階調を補正し、出力画像データとして出力する階調補正部と、
前記出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタと前記エッジ保存型平滑化フィルタにて使用する閾値を決定する閾値決定部とを有し前記階調補正部から出力された出力画像データの階調抜けを補間処理する階調改善部と
を備え、前記閾値決定部は、前記入力画像データと前記出力画像データの階調値の差が小さくなるにつれ前記閾値を小さくし、前記階調値の差が大きくなるにつれ前記閾値を大きくするように閾値を決定することを特徴とする画像処理装置。
A gradation correction unit that corrects the gradation of the input image data and outputs it as output image data;
An edge-preserving smoothing filter that preserves and smooths edges of the output image data; and a threshold value determining unit that determines a threshold value used in the edge-preserving smoothing filter. A gradation improving unit that interpolates the gradation loss of the output image data, and the threshold value determining unit decreases the threshold value as a difference between gradation values of the input image data and the output image data decreases. An image processing apparatus , wherein the threshold value is determined so as to increase as the difference between the gradation values increases .
入力画像データの階調を補正し、出力画像データとして出力する階調補正部と、
前記出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタと前記エッジ保存型平滑化フィルタにて使用する閾値を決定する閾値決定部とを有し前記階調補正部から出力された出力画像データの階調抜けを補間処理する階調改善部と
を備え、前記閾値決定部は、前記入力画像データにおける補正前の隣接画素間の階調値の差に対し前記出力画像データにおける補正後の隣接画素間の階調値の差が小さくなるにつれ前記閾値を小さくし、前記入力画像データにおける補正前の隣接画素間の階調値の差に対し前記出力画像データにおける補正後の隣接画素間の階調値の差が大きくなるにつれ前記閾値を大きくするように閾値を決定することを特徴とする画像処理装置。
A gradation correction unit that corrects the gradation of the input image data and outputs it as output image data;
An edge-preserving smoothing filter that preserves and smooths edges of the output image data; and a threshold value determining unit that determines a threshold value used in the edge-preserving smoothing filter. A tone improvement unit that interpolates the missing tone of the output image data
And the threshold value determination unit reduces the difference in gradation value between adjacent pixels after correction in the output image data with respect to the difference in gradation value between adjacent pixels before correction in the input image data . The threshold value is decreased, and the threshold value is increased as the difference in gradation value between adjacent pixels after correction in the output image data increases with respect to the difference in gradation value between adjacent pixels before correction in the input image data. An image processing apparatus characterized by determining a threshold value as described above .
入力画像データの階調を補正し、出力画像データとして出力する階調補正部と、
前記出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタと前記エッジ保存型平滑化フィルタにて使用する閾値を決定する閾値決定部とを有し前記階調補正部から出力された出力画像データの階調抜けを補間処理する階調改善部と
を備え、前記閾値決定部は、前記階調補正部で使用する補正カーブと前記出力画像データの階調値とに基づいて算出する補正前後の階調幅の拡大縮小係数が小さくなるにつれ前記閾値を小さくし、前記拡大縮小係数が大きくなるにつれ前記閾値を大きくするように閾値を決定することを特徴とする画像処理装置。
A gradation correction unit that corrects the gradation of the input image data and outputs it as output image data;
An edge-preserving smoothing filter that preserves and smooths edges of the output image data; and a threshold value determining unit that determines a threshold value used in the edge-preserving smoothing filter. A tone improvement unit that interpolates the missing tone of the output image data
And the threshold value determination unit sets the threshold value as the enlargement / reduction coefficient of the gradation width before and after correction calculated based on the correction curve used in the gradation correction unit and the gradation value of the output image data decreases. An image processing apparatus , wherein the threshold value is determined so as to decrease and to increase the threshold value as the enlargement / reduction coefficient increases .
前記閾値決定部は、前記出力画像データを階調レベルによって複数の階級に分割し、分割した階級ごとに前記拡大縮小係数を算出することを特徴とする請求項3に記載の画像処理装置。 The image processing apparatus according to claim 3 , wherein the threshold value determination unit divides the output image data into a plurality of classes according to gradation levels, and calculates the enlargement / reduction coefficient for each of the divided classes . 前記エッジ保存型平滑化フィルタは、n次元m次εフィルタであることを特徴とする請求項1ないし請求項4のいずれか1項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the edge-preserving smoothing filter is an n-dimensional m-order ε filter . 前記エッジ保存型平滑化フィルタは、トリムド平均値フィルタであることを特徴とする請求項1ないし請求項のいずれか1項に記載の画像処理装置。 The edge-preserving smoothing filter, the image processing apparatus according to any one of claims 1 to 4, characterized in that a trimmed mean filter. 画像データを受信し、入力画像データとして出力する受信部と、A receiving unit that receives image data and outputs it as input image data;
前記受信部が出力した入力画像データの画像処理を行う請求項1ないし請求項6のいずれか1項に記載の画像処理装置と、The image processing apparatus according to any one of claims 1 to 6, wherein image processing of input image data output by the receiving unit is performed.
前記画像処理装置から出力される画像データを表示する画像表示部と、An image display unit for displaying image data output from the image processing device;
を備えてなる画像表示装置。An image display device comprising:
JP2009055148A 2009-03-09 2009-03-09 Image processing apparatus and image display apparatus Expired - Fee Related JP5233757B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009055148A JP5233757B2 (en) 2009-03-09 2009-03-09 Image processing apparatus and image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009055148A JP5233757B2 (en) 2009-03-09 2009-03-09 Image processing apparatus and image display apparatus

Publications (2)

Publication Number Publication Date
JP2010212870A JP2010212870A (en) 2010-09-24
JP5233757B2 true JP5233757B2 (en) 2013-07-10

Family

ID=42972622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009055148A Expired - Fee Related JP5233757B2 (en) 2009-03-09 2009-03-09 Image processing apparatus and image display apparatus

Country Status (1)

Country Link
JP (1) JP5233757B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019345B1 (en) * 2012-12-12 2019-09-06 엘지디스플레이 주식회사 Display device and image data processing method thereof
KR102007815B1 (en) * 2012-12-12 2019-08-07 엘지디스플레이 주식회사 Display device and image data processing method thereof
CN113538271A (en) * 2021-07-12 2021-10-22 Oppo广东移动通信有限公司 Image display method, image display device, electronic equipment and computer readable storage medium
CN114220371A (en) * 2021-12-10 2022-03-22 西安诺瓦星云科技股份有限公司 Full-gray-scale point-by-point correction method and related device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649781B2 (en) * 2001-06-20 2011-03-16 ソニー株式会社 Image processing method and apparatus
JP4085739B2 (en) * 2002-08-15 2008-05-14 日本電気株式会社 Noise removal circuit
EP1708490B1 (en) * 2003-12-03 2013-02-13 Nikon Corporation Image processing device for controlling intensity of noise removal in a screen, image processing program, image processing method, and electronic camera
JP5137464B2 (en) * 2006-06-08 2013-02-06 パナソニック株式会社 Image processing apparatus, image processing method, image processing program, and integrated circuit
JP2008199448A (en) * 2007-02-15 2008-08-28 Matsushita Electric Ind Co Ltd Imaging apparatus, image processor and image processing method
JP4772721B2 (en) * 2007-03-26 2011-09-14 株式会社東芝 Image processing apparatus and method

Also Published As

Publication number Publication date
JP2010212870A (en) 2010-09-24

Similar Documents

Publication Publication Date Title
JP5396527B2 (en) Infrared thermogram digital signal processing system and method
US8406547B2 (en) Visual processing device, visual processing method, program, display device, and integrated circuit
JP4816970B2 (en) Image processing apparatus, display apparatus, image processing method, and program
EP2833317B1 (en) Image display device and/or method therefor
CN106846270B (en) Image edge enhancement method and device
JP3856031B2 (en) Motion detection device and noise reduction device using the same
JP4746575B2 (en) Image processing apparatus and method
US7734111B2 (en) Image processing apparatus, image processing method, and computer product
JP5177142B2 (en) Image processing apparatus, display apparatus, image processing method, and program thereof
KR20070036607A (en) A digital image enhancement method and system using non-log domain illumination correction
JP5367667B2 (en) Image processing device
CN103854259A (en) Image processing apparatus and method of processing image
JP2013050962A (en) Image processing apparatus, image processing method, image processing program, and integrated circuit
US10922792B2 (en) Image adjustment method and associated image processing circuit
JP5233757B2 (en) Image processing apparatus and image display apparatus
JP2007181189A (en) Image processing device, display device, image processing method, and program
WO2007099755A1 (en) Image processing device, display device, image processing method, and program
JP2006333202A (en) Video signal processor and video signal processing method
JP4380498B2 (en) Block distortion reduction device
KR100679046B1 (en) Method and apparatus for bit resolution extension using local information of image
US8300974B2 (en) Image processing device, image display device, and image processing method therefor
JP3630093B2 (en) Video data correction apparatus and video data correction method
JP2007336075A (en) Block distortion reducing device
JP4455554B2 (en) Image processing apparatus and image processing method
US8665315B2 (en) Signal processing device, reproducing device, signal processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111103

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130311

R151 Written notification of patent or utility model registration

Ref document number: 5233757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees