WO2015033695A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- WO2015033695A1 WO2015033695A1 PCT/JP2014/069592 JP2014069592W WO2015033695A1 WO 2015033695 A1 WO2015033695 A1 WO 2015033695A1 JP 2014069592 W JP2014069592 W JP 2014069592W WO 2015033695 A1 WO2015033695 A1 WO 2015033695A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- pixel
- value
- detection signal
- image processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 481
- 238000001514 detection method Methods 0.000 claims abstract description 242
- 239000006185 dispersion Substances 0.000 claims abstract description 196
- 238000000034 method Methods 0.000 claims description 78
- 238000003708 edge detection Methods 0.000 claims description 75
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 43
- 238000003786 synthesis reaction Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 34
- 239000000203 mixture Substances 0.000 description 31
- 238000012986 modification Methods 0.000 description 25
- 230000004048 modification Effects 0.000 description 25
- 230000002194 synthesizing effect Effects 0.000 description 18
- 241000255925 Diptera Species 0.000 description 14
- 238000013139 quantization Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- UOCLXMDMGBRAIB-UHFFFAOYSA-N 1,1,1-trichloroethane Chemical compound CC(Cl)(Cl)Cl UOCLXMDMGBRAIB-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- UBOXGVDOUJQMTN-UHFFFAOYSA-N 1,1,2-trichloroethane Chemical compound ClCC(Cl)Cl UBOXGVDOUJQMTN-UHFFFAOYSA-N 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Definitions
- Such jaggies and noises generated at the edge portion are obstructive, so it is desired to be reduced.
- the angular dispersion detection unit 2 has a small real value (for example, an absolute value
- the texture detection signal Det_txt acquired by the first multiplier 31 is output to the image processing unit 4.
- the image processing apparatus of this modification has a configuration in which the image processing unit 4 is replaced with the image processing unit 4A in the image processing apparatus 1000 of the first embodiment.
- the image processing apparatus of the present modification is the same as the image processing apparatus 1000 of the first embodiment.
- the enhancement processing unit 421 inputs the image signal output from the synthesis unit 413 of the noise processing unit 41 as the image signal Dout_NR. Then, the enhancement processing unit performs enhancement processing (for example, high-frequency component enhancement processing or detail enhancement processing) on the image signal Dout_NR, and uses the processed image signal as the image signal D_En, thereby enhancing the synthesis unit 423. Output to.
- enhancement processing for example, high-frequency component enhancement processing or detail enhancement processing
- the enhancement processing is appropriately executed in the image processing apparatus of the present modification.
- the enhancement synthesizing unit 423 acquires the same image signal Dout as the image signal Dout_NR.
- the luminance variance detection unit 1 calculates the luminance value variance. However, in the image processing apparatus according to the present modification, the luminance variance detection unit 1 calculates the average value of the absolute difference of the luminance values. Is calculated.
- the angular dispersion detection unit 2 outputs the acquired value Av (x, y) to the image region detection unit 3.
- the image region detection unit 3B has a configuration in which the inversion unit 32 and the second multiplier 33 are deleted from the image region detection unit 3 of the third embodiment. That is, the image area detection unit 3 acquires the texture detection signal Det_txt and the edge detection signal Det_edge, but the image area detection unit 3B acquires only the texture detection signal Det_txt.
- the “texture region” refers to an image region including a texture (for example, a detail portion including a lot of high frequency components) on the image.
- the image region detection unit generates a texture detection signal indicating that the target pixel is included in the texture region based on the pixel value variation degree and the contour direction variation degree. Obtained as an image area detection signal.
- the image processor (1) When it is determined by at least one of the edge detection signal and the texture detection signal that the pixel of interest is included in the texture region, general enhancement processing for enhancing a high frequency component is performed on the pixel of interest; (2) When it is determined by at least one of the edge detection signal and the texture detection signal that the target pixel is included in the edge region, the reference is the direction in which the contour direction acquired by the angular dispersion detection unit is the same or approximate to the target pixel A reduction filter processing signal is acquired by executing a smoothing process on the pixel of interest using the pixel value of the pixel, and a high frequency extension signal in which a high frequency component is emphasized is acquired from the acquired reduction filter processing signal. Thus, the direction enhancement process in consideration of the direction dependency on the image is executed for the target pixel.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
画像処理装置(1000)は、輝度分散検出部(1)と、角度分散検出部(2)と、画像領域検出部(3)と、画像処理部(4)と、を備える。輝度分散検出部(1)は、注目画素および注目画素の周辺画素を含む画素参照領域において、画素値のばらつき度合いを検出する。角度分散検出部(2)は、画素参照領域において、画素毎に画素値が一定の値である輪郭方向を取得し、取得した輪郭方向のばらつき度合いを検出する。画像領域検出部(3)は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素が含まれる画像領域の特徴を示す画像領域検出信号を取得する。画像処理部(4)は、画像領域検出信号に基づいて、注目画素に対して、所定の画像処理を実行する。
Description
本発明は、画像処理技術に関し、例えば、所定の特徴を有する画像領域を抽出し、抽出した画像領域に対して所定の画像処理を実行する技術に関する。
情報通信技術の普及により、多様な画像(映像)コンテンツが多様な形態で提供されている。
一方、フルハイビジョン等の高解像度の映像(画像)を表示することができる表示装置が普及しており、当該表示装置に、多様な画像(映像)コンテンツを表示させる機会が多くなってきている。例えば、解像度が水平方向640画素、垂直方向360画素である低解像度の画像(映像)コンテンツを、水平方向1920画素、垂直方向1080画素のフルハイビジョン規格に対応した高解像度ディスプレイ装置に表示する機会が多くなってきている。高解像度ディスプレイ装置では、表示解像度よりも低い解像度の画像(映像)に対して、内蔵されているスケーラ等によりアップスケール処理を実行することで、1920画素×1080画素の画像(映像)として、表示することができる。しかしながら、低解像度の画像(映像)をアップスケール処理により高解像度で表示させると、エッジ部において、ジャギーが発生することがある。
また、高解像度ディスプレイ装置に、圧縮された画像(映像)を復号して、表示させる場合、エッジ部において、モスキートノイズが発生することがある。
このような画像に対して、先鋭化処理(例えば、シャープネス強調処理やエンハンス処理)を施すと、エッジ部において、ジャギーやモスキートノイズが強調されすぎてしまい、画質を劣化させるという問題点がある。上記のような画像に対して、例えば、特許文献1(特開2003-348379号公報)に開示されているような先鋭化処理を実行すると、テクスチャ部分のディテール感を向上させることはできるが、エッジ部のジャギーやモスキートノイズが強調されすぎてしまい、エッジ部において、ジャギーやモスキートノイズが目立つようになる。
このようなエッジ部に発生するジャギーやノイズは、目障りであるので、低減されることが望まれる。
このようなエッジ部に発生するジャギーやノイズを低減するための技術が開発されている。例えば、特許文献2(特開2004-336652号公報)には、エッジ検出信号、平滑化信号、および、エッジ信号に基づき、注目画素を識別し、その識別結果を表す識別情報と、エッジ信号とに基づいてフィルタリング処理を行うことにより、有意なテクスチャ部のディテールを損なわずに、モスキートノイズを低減する技術が開示されている。
しかしながら、上記特許文献2の技術では、入力映像信号に対するハイパスフィルタ処理の結果に対して、閾値を設けることで、エッジ部とテクスチャ部とを分離する方法を採用しており、入力映像信号の状況によっては、エッジ部とテクスチャ部とを適切に分離することができず、その結果、ノイズ低減処理も適切に実行できない場合がある。上記特許文献2の技術において、例えば、輝度値のコントラストが大きく変化する映像信号が入力される場合、当該映像信号の輝度値のコントラストが所定の範囲内であるときは、適切にエッジ部とテクスチャ部とが分離され、適切にノイズ低減処理が実行されるが、当該映像信号の輝度値のコントラストが所定の範囲外であるときは、エッジ部とテクスチャ部とを適切に分離することができず、その結果、ノイズ低減処理も適切に実行されない。
本発明は、上記問題点に鑑み、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部とテクスチャ部とを分離し、適切に、画像処理(例えば、ノイズ低減処理やエンハンス処理)を実行することができる画像処理装置(映像処理装置)を実現することを目的とする。
上記課題を解決するために、第1の構成は、輝度分散検出部と、角度分散検出部と、画像領域検出部と、画像処理部と、を備える画像処理装置である。
輝度分散検出部は、注目画素および注目画素の周辺画素を含む画素参照領域において、画素値のばらつき度合いを検出する。
角度分散検出部は、画素参照領域において、画素値が一定の値である輪郭方向を画素毎に取得し、画素毎に取得した輪郭方向のばらつき度合いを検出する。
画像領域検出部は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素が含まれる画像領域の特徴を示す画像領域検出信号を取得する。
画像処理部は、画像領域検出信号に基づいて、注目画素に対して、所定の画像処理を実行する。
本発明によれば、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部とテクスチャ部とを分離し、適切に、画像処理(例えば、ノイズ低減処理)を実行することができる画像処理装置(映像処理装置)を実現することができる。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:画像処理装置の構成>
図1は、第1実施形態に係る画像処理装置1000の概略構成図である。
図1は、第1実施形態に係る画像処理装置1000の概略構成図である。
図2は、第1実施形態に係る画像処理装置1000の画像処理部4の概略構成図である。
画像処理装置1000は、図1に示すように、輝度分散検出部1と、角度分散検出部2と、画像領域検出部3と、画像処理部4と、を備える。
輝度分散検出部1は、画像信号(映像信号)Dinを入力し、画像Din(画像信号(映像信号)Dinにより形成される画像)の画素ごとに輝度分散値Yvを算出する。なお、注目画素(処理対象画素)の画像上の座標を(x1,y1)とし、注目画素(x1,y1)の輝度分散値をYv(x1,y1)と表記する。
輝度分散検出部1は、算出した輝度分散値Yvを画像領域検出部3に出力する。
角度分散検出部2は、画像信号(映像信号)Dinを入力し、画像Dinの画素ごとに角度分散値Avを算出する。なお、注目画素(x1,y1)の角度分散値をAv(x1,y1)と表記する。
角度分散検出部2は、算出した角度分散値Avを画像領域検出部3に出力する。
画像領域検出部3は、図1に示すように、第1乗算器31と、反転部32と、第2乗算器33とを備える。
第1乗算器31は、輝度分散検出部1から出力される輝度分散値Yvと、角度分散検出部2から出力される角度分散値Avとを入力する。第1乗算器31は、画素ごとに、輝度分散値Yvと、角度分散値Avとを乗算し、乗算結果の値を信号値とするテクスチャ検出信号Det_txtを、画像処理部4に出力する。
反転部32は、角度分散検出部2から出力される角度分散値Avを入力する。反転部32は、角度分散値Avの取り得る範囲が0~Max1、すなわち、0≦Av≦Max1であるとすると、
Av_r=Max1-Av
により算出した角度分散値の反転値Av_rを第2乗算器33に出力する。
Av_r=Max1-Av
により算出した角度分散値の反転値Av_rを第2乗算器33に出力する。
第2乗算器33は、輝度分散検出部1から出力される輝度分散値Yvと、反転部32から出力される角度分散値の反転値Av_rとを入力する。第2乗算器33は、輝度分散値Yvと、角度分散値の反転値Av_rとを乗算し、乗算結果の値を信号値とするエッジ検出信号Det_edgeを画像処理部4に出力する。
画像処理部4は、画像信号(映像信号)Dinと、画像領域検出部3から出力されるテクスチャ検出信号Det_txtおよびエッジ検出信号Det_edgeと、を入力する。画像処理部4は、テクスチャ検出信号Det_txtおよびエッジ検出信号Det_edgeに基づいて、画像信号に対して、所定の画像処理を実行し、画像処理後の画像信号Doutを出力する。
画像処理部4は、例えば、図2に示すように、ノイズ処理部41を備える。
ノイズ処理部41は、図2に示すように、ノイズ低減処理部411と、合成比決定部412と、合成部413とを備える。
ノイズ低減処理部411は、画像信号(映像信号)Dinを入力とし、画像信号Dinに対してノイズ低減処理を実行する。そして、ノイズ低減処理部411は、ノイズ低減処理後の画像信号を画像信号D_NRとして、合成部413に出力する。
合成比決定部412は、画像領域検出部3から出力されるテクスチャ検出信号Det_txtと、エッジ検出信号Det_edgeとを入力とし、テクスチャ検出信号Det_txtとエッジ検出信号Det_edgeとに基づいて、合成比αを決定する。合成部413は、決定した合成比αを合成部413に出力する。
合成部413は、画像信号(映像信号)Dinと、ノイズ低減処理部411から出力される画像信号D_NRと、合成比決定部412から出力される合成比αとを入力する。合成部413は、合成比αに基づいて、画像信号(映像信号)Dinと、画像信号D_NRと、を合成し、合成後の画像信号を画像信号Doutとして出力する。
<1.2:画像処理装置の動作>
以上のように構成された画像処理装置1000の動作について、以下、説明する。
以上のように構成された画像処理装置1000の動作について、以下、説明する。
輝度分散検出部1では、入力された画像信号(映像信号)Dinから輝度分散値Yvが算出される。具体的には、注目画素の画像上の座標を(x,y)とし、注目画素(x,y)の画素値(輝度値)をP(x,y)とすると、注目画素(x,y)の輝度分散値Yv(x,y)は、下記の数式により、算出される。
つまり、輝度分散値Yv(x,y)は、注目画素(x,y)を中心とする(2n+1)画素×(2n×1)画素(n:自然数)の画像領域における画素値(輝度値)の分散値である。
輝度分散検出部1では、画素ごとに、上記数式に相当する処理により、輝度分散値Yvが算出される。
算出された輝度分散値Yvは、輝度分散検出部1から画像領域検出部3の第1乗算器31と第2乗算器33とに出力される。
なお、輝度分散検出部1は、輝度分散値Yvを2値信号として、出力するようにしてもよい。つまり、輝度分散検出部1は、所定の閾値をTh_Yvとすると、
(1)Yv(x,y)≧Th_Yvのとき、Yv(x,y)=1とし、
(2)Yv(x,y)<Th_Yvのとき、Yv(x,y)=0として、
輝度分散値Yvを第1乗算器31と第2乗算器33とに出力してもよい。
(1)Yv(x,y)≧Th_Yvのとき、Yv(x,y)=1とし、
(2)Yv(x,y)<Th_Yvのとき、Yv(x,y)=0として、
輝度分散値Yvを第1乗算器31と第2乗算器33とに出力してもよい。
角度分散検出部2では、入力された画像信号(映像信号)Dinから輪郭方向θが算出される。具体的には、注目画素の画像上の座標を(x,y)とし、注目画素(x,y)の画素値(輝度値)をP(x,y)とすると、注目画素(x,y)の輪郭方向θ(x,y)は、下記数式に相当する処理により、算出される。
なお、P(x,y)は、画像上において、つまり、xy平面において、微分可能であるものとする。
(数式2)において、輪郭方向θ(x,y)は、水平方向(x方向)を基準とした左回りの角度である。輪郭方向θ(x,y)は、画素値(輝度値)P(x,y)のx方向への偏微分値を、画素値P(x,y)のy方向への偏微分値で除算した正接値を与える角度として算出される。上記(数式2)を、離散値に適用させるために、角度分散検出部2は、注目画素(x,y)におけるx方向の偏微分値Gx(x,y)と、注目画素におけるy方向の偏微分値Gy(x,y)とを以下の(数式3)、(数式4)に相当する処理により算出する。
なお、Wx(x+i,y+j)およびWy(x+i,y+j)は、フィルタ係数である。
フィルタ係数Wx(x+i,y+j)は、
(1)―n≦i<0のとき、Wx(x+i,y+j)=-1
(2)i=0のとき、Wx(x+i,y+j)=0
(3)0<i≦nのとき、Wx(x+i,y+j)=1
である。
(1)―n≦i<0のとき、Wx(x+i,y+j)=-1
(2)i=0のとき、Wx(x+i,y+j)=0
(3)0<i≦nのとき、Wx(x+i,y+j)=1
である。
フィルタ係数Wy(x+i,y+j)は、
(1)―n≦j<0のとき、Wy(x+i,y+j)=-1
(2)j=0のとき、Wy(x+i,y+j)=0
(3)0<j≦nのとき、Wy(x+i,y+j)=1
である。
(1)―n≦j<0のとき、Wy(x+i,y+j)=-1
(2)j=0のとき、Wy(x+i,y+j)=0
(3)0<j≦nのとき、Wy(x+i,y+j)=1
である。
(数式3)、(数式4)に相当する処理により、注目画素(x,y)におけるx方向の偏微分値Gx(x,y)と、注目画素におけるy方向の偏微分値Gy(x,y)とが算出される。
そして、角度分散検出部2は、算出したx方向偏微分値Gx(x,y)、y方向偏微分値Gy(x,y)に基づいて算出した輪郭方向θ(x,y)を量子化し、量子化した輪郭方向を表す量子化輪郭方向A(x,y)を算出する。角度分散検出部2は、量子化輪郭方向A(x,y)を、例えば、下記(数式5)に相当する処理により算出する。
上記(数式5)において、round(z)は、実数zの小数点以下の桁を四捨五入した整数値を与える丸め関数である。Ndは、量子化された輪郭方向の数(量子化輪郭方向数)を表す定数である。量子化輪郭方向数Ndは、例えば、8から32の間のいずれかの値である。つまり、量子化輪郭方向A(x,y)は、輪郭方向θ(x,y)を、量子化間隔π/Ndで除算した値を丸めることで取得される、0からNd-1までのいずれかの整数で表される。なお、角度分散検出部2は、ゼロ除算を回避するために、x方向偏微分値Gx(x,y)の絶対値|Gx(x,y)|が予め定めた微小な実数値(例えば、10^-6)よりも小さい場合には、tan-1()の値をπ/2とする。また、演算処理システムによっては、前述の除算による誤差やゼロ除算を避けるため、GxとGyとの2つの引数を有する正接関数が用意されている場合があるが、角度分散検出部2は、これを利用してtan-1()の値を求めても良い。
角度分散検出部2は、上記のようにして算出した量子化輪郭方向の値A(x,y)を用いて、注目画素(x,y)の角度分散値Av(x,y)を算出する。具体的には、角度分散検出部2は、下記(数式6)に相当する処理により、角度分散値Av(x,y)を算出する。
以上のようにして、角度分散検出部2で算出された角度分散値Av(x,y)は、画像領域検出部3の第1乗算器31および反転部32に出力される。
なお、角度分散検出部2は、角度分散値Avを2値信号として、出力するようにしてもよい。つまり、角度分散検出部2は、所定の閾値をTh_Avとすると、
(1)Av(x,y)≧Th_Avのとき、Av(x,y)=1とし、
(2)Av(x,y)<Th_Avのとき、Av(x,y)=0として、
角度分散値Avを第1乗算器31と反転部32とに出力してもよい。
(1)Av(x,y)≧Th_Avのとき、Av(x,y)=1とし、
(2)Av(x,y)<Th_Avのとき、Av(x,y)=0として、
角度分散値Avを第1乗算器31と反転部32とに出力してもよい。
画像領域検出部3の第1乗算器31では、画素ごとに、輝度分散検出部1から出力される輝度分散値Yvと、角度分散検出部2から出力される角度分散値Avとを乗算することで、テクスチャ検出信号Det_txtが取得される。
具体的には、第1乗算器31は、注目画素(x,y)のテクスチャ検出信号の値Det_txt(x,y)を、
Det_txt(x,y)=Yv(x,y)×Av(x,y)
により取得する。
Det_txt(x,y)=Yv(x,y)×Av(x,y)
により取得する。
一般に、エッジ部、テクスチャ部、平坦部、細かいノイズが存在する部分における輝度分散値および角度分散値は、以下の傾向を示す。
(1)エッジ部 :輝度分散値は大きな値であり、角度分散値は小さな値である。
(2)テクスチャ部:輝度分散値は大きな値であり、角度分散値も大きな値である。
(3)平坦部 :輝度分散値は小さな値であり、角度分散値も小さな値である。
(4)細かいノイズ:輝度分散値は小さな値であり、角度分散値は大きな値である。
(1)エッジ部 :輝度分散値は大きな値であり、角度分散値は小さな値である。
(2)テクスチャ部:輝度分散値は大きな値であり、角度分散値も大きな値である。
(3)平坦部 :輝度分散値は小さな値であり、角度分散値も小さな値である。
(4)細かいノイズ:輝度分散値は小さな値であり、角度分散値は大きな値である。
図3は、エッジ部を含む画像領域Img1およびテクスチャ部を含む画像領域Img2に、輪郭方向θを矢印で重ねて模式的に表示した図である。
図3から分かるように、エッジ部では、輪郭方向θが一定の方向に揃う傾向にあり、一方、テクスチャ部では、輪郭方向θがばらつく傾向にある。つまり、エッジ部では、角度分散値は小さな値となり、テクスチャ部では、角度分散値は大きな値となる傾向にある。
したがって、上記に示したように、テクスチャ部では、輝度分散値Yvおよび角度分散値Avがともに大きな値となるので、テクスチャ検出信号の値Det_txtも大きな値となる。つまり、テクスチャ検出信号の値Det_txtにより、画像上のテクスチャ部を適切に検出することができる。例えば、テクスチャ検出信号の値Det_txt(x,y)が所定の閾値Th1よりも大きい場合、注目画素(x,y)は、テクスチャ部に含まれると判定することができる。なお、輝度分散値および角度分散値が2値(2値信号)である場合、テクスチャ検出信号の値Det_txt(x,y)が「1」である場合、テクスチャ部に含まれると判定することができ、上記のような閾値による判定処理は不要である。
第1乗算器31により取得されたテクスチャ検出信号Det_txtは、画像処理部4に出力される。
なお、輝度分散値および角度分散値が2値(2値信号)である場合、テクスチャ検出信号Det_txtも2値信号として、画像処理部4に出力される。
反転部32では、角度分散値Avから、角度分散値の反転値Av_rが取得される。
具体的には、角度分散値Avの取り得る範囲が0~Max1、すなわち、0≦Av≦Max1であるとすると、反転部32は、
Av_r=Max1-Av
により、角度分散値の反転値Av_rを取得する。
Av_r=Max1-Av
により、角度分散値の反転値Av_rを取得する。
なお、輝度分散値および角度分散値が2値(2値信号)である場合、角度分散値Avを反転させることで、角度分散値の反転値Av_rを取得することができる。
そして、取得された角度分散値の反転値Av_rは、第2乗算器33に出力される。
なお、輝度分散値および角度分散値が2値(2値信号)である場合、角度分散値の反転値Av_rも2値信号として、第2乗算器33に出力される。
第2乗算器33では、画素ごとに、輝度分散検出部1から出力される輝度分散値Yvと、反転部32から出力される角度分散値の反転値Av_rとを乗算することで、エッジ検出信号Det_edgeが取得される。
具体的には、第2乗算器33は、注目画素(x,y)のエッジ検出信号の値Det_edge(x,y)を、
Det_edge(x,y)=Yv(x,y)×Av_r(x,y)
により取得する。
Det_edge(x,y)=Yv(x,y)×Av_r(x,y)
により取得する。
画像上のエッジ部では、輝度分散値Yvが大きな値となり、角度分散値Avが小さい値となる傾向があるので、輝度分散値Yvが大きな値となり、角度分散値の反転値Av_rが大きな値となる。
つまり、エッジ検出信号の値Det_edgeにより、画像上のエッジ部を適切に検出することができる。例えば、エッジ検出信号の値Det_edge(x,y)が所定の閾値Th2よりも大きい場合、注目画素(x,y)は、エッジ部に含まれると判定することができる。なお、輝度分散値および角度分散値が2値(2値信号)である場合、エッジ検出信号の値Det_edge(x,y)が「1」である場合、エッジ部に含まれると判定することができ、上記のような閾値による判定処理は不要である。
第2乗算器33により取得されたエッジ検出信号Det_edgeは、画像処理部4に出力される。
なお、輝度分散値および角度分散値が2値(2値信号)である場合、エッジ検出信号Det_edgeも2値信号として、画像処理部4に出力される。
画像処理部4では、テクスチャ検出信号Det_txtおよびエッジ検出信号Det_edgeに基づいて、画像信号(映像信号)Dinに対して、例えば、ノイズ低減処理が実行される。
ノイズ低減処理部411では、画像信号Dinに対してノイズ低減処理が実行される。そして、ノイズ低減処理後の画像信号は、画像信号D_NRとして、合成部413に出力される。
合成比決定部412では、テクスチャ検出信号Det_txtとエッジ検出信号Det_edgeとに基づいて、合成比αが決定される。
具体的には、以下のようにして、合成比αを決定する。なお、0≦α≦1であるものとする。
(1)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きい場合(テクスチャ検出信号が2値信号のときは、テクスチャ検出信号Det_txtが「1」である場合)、αを「0」に近い値αt(αt=0であってもよい)に設定する。
(2)エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(エッジ検出信号が2値信号のときは、エッジ検出信号Det_edgeが「1」である場合)、αを「1」に近い値αe(αe=1であってもよい)に設定する。
(3)上記(1)、(2)の両方の条件を満たす場合、
α=(αt+αe)/2
に設定する。
(4)上記(1)~(3)以外の場合、αを「0」に設定する。
(1)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きい場合(テクスチャ検出信号が2値信号のときは、テクスチャ検出信号Det_txtが「1」である場合)、αを「0」に近い値αt(αt=0であってもよい)に設定する。
(2)エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(エッジ検出信号が2値信号のときは、エッジ検出信号Det_edgeが「1」である場合)、αを「1」に近い値αe(αe=1であってもよい)に設定する。
(3)上記(1)、(2)の両方の条件を満たす場合、
α=(αt+αe)/2
に設定する。
(4)上記(1)~(3)以外の場合、αを「0」に設定する。
以上のようにして決定された合成比αは、合成部413に出力される。
合成部413では、合成比αにより、画像信号Dinと、ノイズ低減処理後の画像信号D_NRとを、例えば、
Dout=α×D_NR+(1-α)×Din
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号Doutが取得される。
(1)α=αtである場合(テクスチャ部であると判定された場合)、αtは、「0」に近い値であるため、画像信号Doutは、ほとんど画像信号Dinに近い信号となる。つまり、テクスチャ部では、ほとんどノイズ低減処理が実行されない。このため、画像信号Doutにより形成される画像のテクスチャ部では、ディテール感が保持される。
(2)α=αeである場合(エッジ部であると判定された場合)、αeは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_NRに近い信号となる。つまり、エッジ部では、強い強度でのノイズ低減処理が実行される。このため、画像信号Doutにより形成される画像のエッジ部では、ジャギーやモスキートノイズ等が適切に低減される。
(3)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きく、かつ、エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(上記(1)、(2)の両方の条件を満たす場合)、α=(αt+αe)/2であるので、上記(1)、(2)の中間の合成比αによる合成処理が実行される。通常、この(3)に該当する場合はあまりないが、閾値の設定の仕方によっては、この(3)に該当する場合があり得る。そのような場合であっても、合成部413では、上記(1)、(2)の中間の合成比αによる合成処理が実行される。その結果、この(3)に該当する場合であっても、適切にノイズ低減処理が施された画像信号Doutを取得することができる。
(4)上記(1)~(3)以外の場合、αは「0」であるので、合成部413では、画像信号Dinと同じ画像信号Doutが取得される。
Dout=α×D_NR+(1-α)×Din
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号Doutが取得される。
(1)α=αtである場合(テクスチャ部であると判定された場合)、αtは、「0」に近い値であるため、画像信号Doutは、ほとんど画像信号Dinに近い信号となる。つまり、テクスチャ部では、ほとんどノイズ低減処理が実行されない。このため、画像信号Doutにより形成される画像のテクスチャ部では、ディテール感が保持される。
(2)α=αeである場合(エッジ部であると判定された場合)、αeは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_NRに近い信号となる。つまり、エッジ部では、強い強度でのノイズ低減処理が実行される。このため、画像信号Doutにより形成される画像のエッジ部では、ジャギーやモスキートノイズ等が適切に低減される。
(3)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きく、かつ、エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(上記(1)、(2)の両方の条件を満たす場合)、α=(αt+αe)/2であるので、上記(1)、(2)の中間の合成比αによる合成処理が実行される。通常、この(3)に該当する場合はあまりないが、閾値の設定の仕方によっては、この(3)に該当する場合があり得る。そのような場合であっても、合成部413では、上記(1)、(2)の中間の合成比αによる合成処理が実行される。その結果、この(3)に該当する場合であっても、適切にノイズ低減処理が施された画像信号Doutを取得することができる。
(4)上記(1)~(3)以外の場合、αは「0」であるので、合成部413では、画像信号Dinと同じ画像信号Doutが取得される。
以上のように、画像処理装置1000では、輝度分散値Yvと角度分散値Avとの両方を考慮して、エッジ部とテクスチャ部とを分離するので、例えば、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部とテクスチャ部とを分離することができる。入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合、輝度分散値Yvのみを用いて、エッジ部とテクスチャ部とを分離しようとすると、誤判定することがある。画像処理装置1000では、輝度分散値Yvだけでなく、角度分散値Avを考慮して、画像領域の性質を判定、つまり、画像領域がエッジ部であるのか、テクスチャ部であるのかを判定する。角度分散値は、画像信号のコントラスト値の変化の影響を受けにくいので、画像処理装置1000では、輝度分散値Yvだけでなく、角度分散値Avを考慮して、エッジ部とテクスチャ部とを分離する。これにより、画像処理装置1000では、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部とテクスチャ部とを分離できる。そして、画像処理装置1000では、適切に分離されたエッジ部およびテクスチャ部に、それぞれ適した画像処理を実行することができる。
≪実施例≫
図4および図5に、画像処理装置1000による処理結果の一例を示す。
図4および図5に、画像処理装置1000による処理結果の一例を示す。
図4は、図3の画像領域Img1が入力されたときの入力画像信号Din、輝度分散値Yv、角度分散値Av、テクスチャ検出信号Det_txt、および、エッジ検出信号Det_edgeを画像として表示した図である。
図5は、図3の画像領域Img2が入力されたときの入力画像信号Din、輝度分散値Yv、角度分散値Av、テクスチャ検出信号Det_txt、および、エッジ検出信号Det_edgeを画像として表示した図である。
なお、輝度分散値Yv、角度分散値Av、テクスチャ検出信号Det_txt、および、エッジ検出信号Det_edgeを示す画像において、白い部分は、値が大きい部分である。また、上記画像では、値が大きい部分(あるいは検出部分)を明確にするために、2値画像として表示している。
図4から分かるように、エッジ部では、輝度分散値Yvの値が大きく、角度分散値Avの値が小さい。したがって、輝度分散値Yvと、角度分散値を反転させた値とを乗算することで取得されるエッジ検出信号Det_edgeを示す画像において、エッジ部が適切に抽出されていることが分かる。
また、図5から分かるように、テクスチャ部では、輝度分散値Yvの値が大きく、かつ、角度分散値Avの値も大きい。したがって、輝度分散値Yvと、角度分散値とを乗算することで取得されるテクスチャ検出信号Det_txtを示す画像において、テククチャ部分が適切に抽出されていることが分かる。
以上のように、画像処理装置1000では、輝度分散値Yvと角度分散値Avとの両方を考慮することで、エッジ部とテクスチャ部とを適切に分離することができる。
≪第1変形例≫
次に、第1実施形態の第1変形例について、説明する。
次に、第1実施形態の第1変形例について、説明する。
なお、以下では、本変形例に特有な部分について説明し、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
図6に、本変形例の画像処理部4Aの概略構成図を示す。
図7に、本変形例のエンハンス部42の概略構成図を示す。
本変形例の画像処理装置は、第1実施形態の画像処理装置1000において、画像処理部4を、画像処理部4Aに置換した構成を有している。それ以外については、本変形例の画像処理装置は、第1実施形態の画像処理装置1000と同様である。
画像処理部4Aは、図6に示すように、ノイズ処理部41と、エンハンス部42とを備える。
ノイズ処理部41は、第1実施形態のノイズ処理部41と同様のものである。
エンハンス部42は、図7に示すように、エンハンス処理部421と、エンハンス用合成比決定部422と、エンハンス用合成部423とを備える。
エンハンス処理部421は、ノイズ処理部41の合成部413から出力される画像信号を画像信号Dout_NRとして入力する。そして、エンハンス処理部は、画像信号Dout_NRに対して、エンハンス処理(例えば、高域成分強調処理や、ディテール強調処理)を実行し、処理後の画像信号を画像信号D_Enとして、エンハンス用合成部423に出力する。
エンハンス用合成比決定部422は、画像領域検出部3から出力されるテクスチャ検出信号Det_txtと、エッジ検出信号Det_edgeとを入力とし、テクスチャ検出信号Det_txtとエッジ検出信号Det_edgeとに基づいて、エンハンス用合成比βを決定する。
具体的には、以下のようにして、合成比βを決定する。なお、0≦β≦1であるものとする。
(1)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きい場合(テクスチャ検出信号が2値信号のときは、テクスチャ検出信号Det_txtが「1」である場合)、βを「1」に近い値βtに設定する。
(2)エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(エッジ検出信号が2値信号のときは、エッジ検出信号Det_edgeが「1」である場合)、βを「1」に近い値βeに設定する。
(3)上記(1)、(2)の両方の条件を満たす場合、
β=(βt+βe)/2
に設定する。
(4)上記(1)~(3)以外の場合、βを「0」に設定する。
(1)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きい場合(テクスチャ検出信号が2値信号のときは、テクスチャ検出信号Det_txtが「1」である場合)、βを「1」に近い値βtに設定する。
(2)エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(エッジ検出信号が2値信号のときは、エッジ検出信号Det_edgeが「1」である場合)、βを「1」に近い値βeに設定する。
(3)上記(1)、(2)の両方の条件を満たす場合、
β=(βt+βe)/2
に設定する。
(4)上記(1)~(3)以外の場合、βを「0」に設定する。
以上のようにして決定されたエンハンス用合成比βは、エンハンス用合成部423に出力される。
エンハンス用合成部423は、ノイズ処理部41の合成部413から出力される画像信号Dout_NRと、エンハンス処理部421から出力される画像信号D_Enと、エンハンス用合成比決定部422から出力される合成比βとを入力する。エンハンス用合成部423は、エンハンス用合成比βに基づいて、画像信号Dout_NRと、画像信号D_Enと、を合成する。
具体的には、エンハンス用合成部423は、エンハンス用合成比βにより、例えば、
Dout=β×D_En+(1-β)×Dout_NR
0≦β≦1
に相当する処理(内分処理)を実行することで、画像信号Dout_NRと、画像信号D_Enと、合成する。
(1)β=βtである場合(テクスチャ部であると判定された場合)、βtは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_Enに近い信号となる。つまり、テクスチャ部では、強い強度でのエンハンス処理が実行される。このため、画像信号Doutにより形成される画像のテクスチャ部では、ディテール感(精細感)が強調される。
(2)β=βeである場合(エッジ部であると判定された場合)、βeは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_Enに近い信号となる。つまり、エッジ部では、強い強度でのエンハンス処理が実行される。このため、画像信号Doutにより形成される画像のエッジ部では、高域強調され、エッジがより鮮明となる。
Dout=β×D_En+(1-β)×Dout_NR
0≦β≦1
に相当する処理(内分処理)を実行することで、画像信号Dout_NRと、画像信号D_Enと、合成する。
(1)β=βtである場合(テクスチャ部であると判定された場合)、βtは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_Enに近い信号となる。つまり、テクスチャ部では、強い強度でのエンハンス処理が実行される。このため、画像信号Doutにより形成される画像のテクスチャ部では、ディテール感(精細感)が強調される。
(2)β=βeである場合(エッジ部であると判定された場合)、βeは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_Enに近い信号となる。つまり、エッジ部では、強い強度でのエンハンス処理が実行される。このため、画像信号Doutにより形成される画像のエッジ部では、高域強調され、エッジがより鮮明となる。
なお、本変形例の画像処理装置では、前段のノイズ処理部41により、エッジ部において、ジャギーやモスキートノイズが低減されているので、エンハンス部42で、エッジ部に相当する画像信号に対してエンハンス処理を実行することで、ジャギーやモスキートノイズ等を低減しつつ、適切にエッジ強調することができる。
(3)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きく、かつ、エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(上記(1)、(2)の両方の条件を満たす場合)、β=(βt+βe)/2であるので、上記(1)、(2)の中間の合成比αによる合成処理が実行される。この場合も、本変形例の画像処理装置では、適切にエンハンス処理が実行される。
(4)上記(1)~(3)以外の場合、βは「0」であるので、エンハンス用合成部423では、画像信号Dout_NRと同じ画像信号Doutが取得される。
(3)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きく、かつ、エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(上記(1)、(2)の両方の条件を満たす場合)、β=(βt+βe)/2であるので、上記(1)、(2)の中間の合成比αによる合成処理が実行される。この場合も、本変形例の画像処理装置では、適切にエンハンス処理が実行される。
(4)上記(1)~(3)以外の場合、βは「0」であるので、エンハンス用合成部423では、画像信号Dout_NRと同じ画像信号Doutが取得される。
以上のように、本変形例の画像処理装置では、第1実施形態の画像処理装置1000と同様、輝度分散値Yvと角度分散値Avとの両方を考慮して、エッジ部とテクスチャ部とを適切に分離することができる。そして、本変形例の画像処理装置では、適切に分離したエッジとテクスチャ部に対して、それぞれ、適切なノイズ低減処理およびエンハンス処理を実行することができる。
≪第2変形例≫
次に、第1実施形態の第2変形例について、説明する。
次に、第1実施形態の第2変形例について、説明する。
なお、以下では、本変形例に特有な部分について説明し、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
第1実施形態では、輝度分散検出部1において、輝度値の分散値を算出していたが、本変形例の画像処理装置では、輝度分散検出部1において、輝度値の差分絶対値の平均値を算出する。
具体的には、本変形例の輝度分散検出部1では、下記(数式7)に相当する処理を実行することで、近似した輝度分散値Yv(x,y)(輝度値の差分絶対値の平均値Yv(x,y))を取得する。
なお、abs(z)は、値zの絶対値を取得する関数である。
そして、輝度分散検出部1は、取得した値Yv(x,y)を画像領域検出部3に出力する。
なお、輝度分散検出部1は、輝度分散値Yvを2値信号として、出力するようにしてもよい。つまり、輝度分散検出部1は、所定の閾値をTh_Yvとすると、
(1)Yv(x,y)≧Th_Yvのとき、Yv(x,y)=1とし、
(2)Yv(x,y)<Th_Yvのとき、Yv(x,y)=0として、
輝度分散値Yvを第1乗算器31と第2乗算器33とに出力してもよい。
(1)Yv(x,y)≧Th_Yvのとき、Yv(x,y)=1とし、
(2)Yv(x,y)<Th_Yvのとき、Yv(x,y)=0として、
輝度分散値Yvを第1乗算器31と第2乗算器33とに出力してもよい。
また、第1実施形態では、角度分散検出部2において、量子化輪郭方向A(x,y)の値の分散値を算出していたが、本変形例の画像処理装置では、角度分散検出部2において、量子化輪郭方向A(x,y)の差分絶対値の平均値を算出する。
具体的には、本変形例の角度分散検出部2では、下記(数式8)に相当する処理を実行することで、近似した角度分散値Av(x,y)(量子化輪郭方向A(x,y)の値の差分絶対値の平均値Av(x,y))を取得する。
そして、角度分散検出部2は、取得した値Av(x,y)を画像領域検出部3に出力する。
なお、角度分散検出部2は、角度分散値Avを2値信号として、出力するようにしてもよい。つまり、角度分散検出部2は、所定の閾値をTh_Avとすると、
(1)Av(x,y)≧Th_Avのとき、Av(x,y)=1とし、
(2)Av(x,y)<Th_Avのとき、Av(x,y)=0として、
角度分散値Avを第1乗算器31と反転部32とに出力してもよい。
(1)Av(x,y)≧Th_Avのとき、Av(x,y)=1とし、
(2)Av(x,y)<Th_Avのとき、Av(x,y)=0として、
角度分散値Avを第1乗算器31と反転部32とに出力してもよい。
以上のように、本変形例の画像処理装置では、輝度分散値Yvを、輝度値の差分絶対値の平均値で代替し、角度分散値Avを、量子化輪郭方向A(x,y)の値の差分絶対値の平均値で代替する。これにより、本変形例の画像処理装置では、分散値を算出するよりも少ない演算量で、輝度分散検出部1および角度分散検出部2での処理を実行することができる。したがって、本変形例の画像処理装置では、演算量を抑制しつつ、上記実施形態と同様、輝度分散値Yvと角度分散値Avとの両方を考慮することで、エッジ部とテクスチャ部とを適切に分離し、分離した画像領域に、それぞれ適した画像処理を実行することができる。
[第2実施形態]
次に、第2実施形態について、説明する。
次に、第2実施形態について、説明する。
なお、以下では、本実施形態に特有な部分について説明し、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
図8に、本実施形態の画像処理装置2000の概略構成図を示す。
図9に、本実施形態の画像処理部4Bの概略構成図を示す。
本実施形態の画像処理装置2000は、第1実施形態の画像処理装置1000において、画像領域検出部3を画像領域検出部3Aに置換し、画像処理部4を画像処理部4Bに置換した構成を有している。それ以外については、本実施形態の画像処理装置2000は、第1実施形態の画像処理装置1000と同様である。
画像領域検出部3Aは、図8に示すように、第1実施形態の画像領域検出部3から、第1乗算器31を削除した構成を有している。つまり、画像領域検出部3では、テクスチャ検出信号Det_txtおよびエッジ検出信号Det_edgeを取得されるが、画像領域検出部3Aでは、エッジ検出信号Det_edgeのみが取得される。
画像領域検出部3Aは、取得したエッジ検出信号Det_edgeを画像処理部4Bに出力する。
画像処理部4Bは、図9に示すように、ノイズ低減処理部411と、合成比決定部412Bと、合成部413とを備える。
ノイズ低減処理部411と、合成部413とは、第1実施形態と同様のものである。
合成比決定部412Bは、画像領域検出部3Aから出力されるエッジ検出信号Det_edgeを入力とし、入力されたエッジ検出信号Det_edgeに基づいて、合成比αを決定する。
具体的には、合成比決定部412Bは、以下のようにして、合成比αを決定する。なお、0≦α≦1であるものとする。
(1)エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(エッジ検出信号が2値信号のときは、エッジ検出信号Det_edgeが「1」である場合)、αを「1」に近い値αeに設定する。
(2)上記(1)以外の場合、αを「0」に設定する。
(1)エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(エッジ検出信号が2値信号のときは、エッジ検出信号Det_edgeが「1」である場合)、αを「1」に近い値αeに設定する。
(2)上記(1)以外の場合、αを「0」に設定する。
以上のようにして決定された合成比αは、合成部413に出力される。
そして、合成部413では、合成比αにより、画像信号Dinと、ノイズ低減処理後の画像信号D_NRとを、例えば、
Dout=α×D_NR+(1-α)×Din
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号Doutが取得される。
(1)α=αeである場合(エッジ部であると判定された場合)、αeは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_NRに近い信号となる。つまり、エッジ部では、強い強度でのノイズ低減処理が実行される。このため、画像信号Doutにより形成される画像のエッジ部では、ジャギーやモスキートノイズ等が適切に低減される。
(2)上記(1)以外の場合、αは「0」であるので、合成部413では、画像信号Dinと同じ画像信号Doutが取得される。
Dout=α×D_NR+(1-α)×Din
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号Doutが取得される。
(1)α=αeである場合(エッジ部であると判定された場合)、αeは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_NRに近い信号となる。つまり、エッジ部では、強い強度でのノイズ低減処理が実行される。このため、画像信号Doutにより形成される画像のエッジ部では、ジャギーやモスキートノイズ等が適切に低減される。
(2)上記(1)以外の場合、αは「0」であるので、合成部413では、画像信号Dinと同じ画像信号Doutが取得される。
以上のように、画像処理装置2000では、輝度分散値Yvと角度分散値Avとの両方を考慮して、エッジ部を分離(検出)するので、例えば、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部を分離(検出)することができる。入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合、輝度分散値Yvのみを用いて、エッジ部を分離(検出)しようとすると、誤判定することがある。画像処理装置2000では、輝度分散値Yvだけでなく、角度分散値Avを考慮して、画像領域の性質を判定、つまり、画像領域がエッジ部であるのか否かを判定する。角度分散値は、画像信号のコントラスト値の変化の影響を受けにくいので、画像処理装置2000では、輝度分散値Yvだけでなく、角度分散値Avを考慮して、エッジ部を分離(検出)する。これにより、画像処理装置2000では、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部を分離(検出)できる。そして、画像処理装置2000では、適切に分離(検出)されたエッジ部に適した画像処理を実行することができる。
さらに、画像処理装置2000では、第1実施形態の画像処理装置1000における、テクスチャ検出信号Det_txtを検出する部分を削除したので、第1実施形態の画像処理装置1000に比べて実現のためのコストを低減することができる。
[第3実施形態]
次に、第3実施形態について、説明する。
次に、第3実施形態について、説明する。
なお、以下では、本実施形態に特有な部分について説明し、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
<3.1:画像処理装置の構成>
図10に、第3実施形態の画像処理装置3000の概略構成図を示す。
図10に、第3実施形態の画像処理装置3000の概略構成図を示す。
図11に、第3実施形態の画像処理部4Cの概略構成図を示す。
図12に、第3実施形態のエンハンス処理部431の概略構成図を示す。
図13に、第3実施形態のディレクションエンハンス処理部432の概略構成図を示す。
本実施形態の画像処理装置3000では、画像処理部4Cにおいて、先鋭化処理を実行する。
一般に、高解像度ディスプレイ装置では、表示解像度よりも低い解像度の画像(映像)に対して、内蔵されているスケーラ等によりアップスケール処理を実行することで、1920画素×1080画素の画像(映像)として、表示することができる。しかしながら、低解像度の画像(映像)をアップスケール処理により高解像度で表示させると、エッジ部において、ジャギーが発生することがある。
また、高解像度ディスプレイ装置に、圧縮された画像(映像)を復号して、表示させる場合、エッジ部において、モスキートノイズが発生することがある。
このような画像に対して、先鋭化処理(例えば、シャープネス強調処理やエンハンス処理)を施すと、エッジ部において、ジャギーやモスキートノイズが強調されすぎてしまい、画質を劣化させるという問題点がある。
そこで、輪郭方向依存性低減フィルタを導入し、エイリアシングの影響を受けている信号に対して、エイリアシングの影響を予め低減させて、ジャギーが強調され過ぎるのを抑制することが考えられる。
しかしながら、この方法で全ての画像に対して同様の処理を実行すると、ジャギーの強調は抑制することができるが、細かい模様等のテクスチャのディテールをつぶしてしまうことがある。
本実施形態では、エッジ部のジャギーの強調を適切に抑制することができるともに、細かい模様等のテクスチャのディテール部に対しても適切なエンハンス処理を実行することができる画像処理装置3000について、説明する。
画像処理装置3000は、図10に示すように、第1実施形態の画像処理装置1000において、角度分散検出部2を角度分散検出部2Aに置換し、画像領域検出部3を画像領域検出部3Cに置換し、画像処理部4を画像処理部4Cに置換した構成を有している。
角度分散検出部2Aは、角度分散検出部2と同様の機能を有している。角度分散検出部2Aは、図10に示すように、例えば、(数式5)により算出される量子化輪郭方向A(x,y)を、画像処理部4Cに出力する。この点のみが、角度分散検出部2Aは、角度分散検出部2と相違する。
画像領域検出部3Cは、図10に示すように、画像領域検出部3に、輝度分散検出部1から出力される輝度分散値Yvを、画像処理部4Cに出力するパスが追加されている。それ以外については、画像領域検出部3Cは、画像領域検出部3と同様である。
画像処理部4Cは、図11に示すように、エンハンス処理部431と、ディレクションエンハンス処理部432と、合成比決定部433と、合成部434と、輝度分散レベル判定部435と、セレクタ436と、を備える。
エンハンス処理部431は、図12に示すように、高域強調処理部4311と、加算器4312とを備える。
高域強調処理部4311は、画像信号Dinを入力とし、画像信号の高域成分を抽出し強調した信号を取得する。そして、高域強調処理部4311は、取得した信号を加算器4312に出力する。
加算器4312は、画像信号Dinと、高域強調処理部4311から出力される信号とを入力し、両者を加算することで、高域成分が強調された信号、すなわち、エンハンス処理が実行された画像信号を取得する。そして、加算器4312は、取得した画像信号を、画像信号D_En1として、合成部434に出力する。
ディレクションエンハンス処理部432は、図13に示すように、低減フィルタ部4321と、高周波拡張部4432とを備える。
低減フィルタ部4321は、画像信号Dinと、角度分散検出部2Aから出力される量子化輪郭方向A(x,y)を示す信号Aと、を入力する。低減フィルタ部4321は、量子化輪郭方向A(x,y)に基づいて、注目画素における輪郭方向もしくはその方向に近似する方向であって、その輪郭方向が注目画素と同一もしくは近似する方向である参照画素に係る信号値を用いて注目画素を平滑化する。低減フィルタ部4321は、このようにして取得した低減フィルタ処理後の信号Y’’を高周波拡張部4432に出力する。
高周波拡張部4432は、低減フィルタ部4321から出力される低減フィルタ処理後の信号Y’’を入力とし、入力された信号Y’’が表す信号値に基づいて高周波成分値を算出する。高周波拡張部4432は、算出した高周波成分値と、入力された信号Y’’が表す信号値を加算して高周波拡張信号値を算出する。そして、高周波拡張部4432は、算出した高周波拡張信号値を表す画像信号を、画像信号D_En2として、合成部434に出力する。
合成比決定部433は、画像領域検出部3から出力されるテクスチャ検出信号Det_txtと、エッジ検出信号Det_edgeとを入力とし、テクスチャ検出信号Det_txtとエッジ検出信号Det_edgeとに基づいて、合成比αを決定する。合成部434は、決定した合成比αを合成部434に出力する。なお、合成比決定部433は、第1実施形態の合成比決定部412と同様に、合成比αを決定する。
合成部434は、エンハンス処理部431から出力される画像信号D_En1と、ディレクションエンハンス処理部432から出力される画像信号D_En2と、合成比決定部433から出力される合成比αとを入力する。合成部434は、合成比αに基づいて、画像信号D_En1と、画像信号D_En2と、を合成し、合成後の画像信号を画像信号D1として、セレクタ436に出力する。
輝度分散レベル判定部435は、画像領域検出部3Cから出力される輝度分散値Yvを入力とする。輝度分散レベル判定部435は、(1)入力された輝度分散値Yvが所定の閾値TH0よりも大きい場合、セレクト信号を「1」に設定し、セレクタ436に出力し、一方、(2)入力された輝度分散値Yvが所定の閾値TH0以下の場合、セレクト信号を「0」に設定し、セレクタ436に出力する。
セレクタ436は、画像信号Dinと、合成部434から出力される画像信号D1と、輝度分散レベル判定部435から出力されるセレクト信号と、を入力する。セレクタ436は、(1)セレクト信号が「1」である場合、合成部434から出力される画像信号D1を、出力画像信号Doutとして出力し、(2)一方、セレクト信号が「0」である場合、入力画像信号Dinを、出力画像信号Doutとして出力する。
<3.2:画像処理装置の動作>
以上のように構成された画像処理装置3000の動作について、以下、説明する。
以上のように構成された画像処理装置3000の動作について、以下、説明する。
なお、輝度分散検出部1、画像領域検出部3の処理については、第1実施形態と同様であるので、説明を省略する。また、角度分散検出部2Aでの処理についても、角度分散検出部2Aが、例えば、(数式5)により算出される量子化輪郭方向A(x,y)を、画像処理部4Cに出力する処理のみが、角度分散検出部2と相違する。角度分散検出部2Aでのその他の処理については、角度分散検出部2の処理と同様である。
エンハンス処理部431の高域強調処理部4311では、入力された画像信号Dinに対して、画像信号の高域成分を抽出し強調した信号を取得する。高域強調処理部4311は、例えば、注目画素の画像上の座標を(x,y)とし、注目画素(x,y)の画素値(輝度値)をP(x,y)とすると、注目画素(x,y)に対して、フィルタ演算子[-1 2 -1]により垂直方向のフィルタ処理を実行する。つまり、高域強調処理部4311は、注目画素のフィルタ処理後の画素値Dv(x,y)とすると,
Dv(x,y)=P(x,y-1)×(-1)+P(x,y)×2+P(x,y+1)×(-1)
に相当する処理を全画素に対して実行し、垂直方向の高域成分を抽出強調した画像Dvを取得する。
Dv(x,y)=P(x,y-1)×(-1)+P(x,y)×2+P(x,y+1)×(-1)
に相当する処理を全画素に対して実行し、垂直方向の高域成分を抽出強調した画像Dvを取得する。
また、高域強調処理部4311は、注目画素(x,y)に対して、フィルタ演算子[-1 2 -1]により水平方向のフィルタ処理を実行する。つまり、高域強調処理部4311は、注目画素のフィルタ処理後の画素値Dh(x,y)とすると,
Dh(x,y)=P(x-1,y)×(-1)+P(x,y)×2+P(x+1,y)×(-1)
に相当する処理を全画素に対して実行し、水平方向の高域成分を抽出強調した画像Dhを取得する。
Dh(x,y)=P(x-1,y)×(-1)+P(x,y)×2+P(x+1,y)×(-1)
に相当する処理を全画素に対して実行し、水平方向の高域成分を抽出強調した画像Dhを取得する。
そして、高域強調処理部4311は、上記処理により取得した画像Dvと画像Dhと加算した画像D0を取得する。つまり、高域強調処理部4311は、
D0(x,y)=Dv(x,y)+Dh(x,y)
に相当する処理を全画素に対して実行することにより、画像信号Dinの高域成分を抽出・強調した画像信号D0を取得する。そして、高域強調処理部4311は、取得した画像信号D0を加算器4312に出力する。
D0(x,y)=Dv(x,y)+Dh(x,y)
に相当する処理を全画素に対して実行することにより、画像信号Dinの高域成分を抽出・強調した画像信号D0を取得する。そして、高域強調処理部4311は、取得した画像信号D0を加算器4312に出力する。
加算器4312では、画像信号Dinと、高域強調処理部4311から出力される画像信号D0に対して、注目画素(x,y)の画像信号Dinの信号値をDin(x,y)とし、注目画素(x,y)の画像信号D0の信号値をD0(x,y)とし、加算器4312から出力される注目画素(x,y)の画像信号D_En1の信号値をD_En(x,y)とすると、
D_En1(x,y)=Din(x,y)+D0(x,y)
に相当する処理が実行される。なお、上記処理において、出力信号の信号値(画素値)D_En1が所定の範囲内の信号となるように、上限値、下限値を設け、当該上限値、下限値でクリップ処理を実行するようにしてもよい。
D_En1(x,y)=Din(x,y)+D0(x,y)
に相当する処理が実行される。なお、上記処理において、出力信号の信号値(画素値)D_En1が所定の範囲内の信号となるように、上限値、下限値を設け、当該上限値、下限値でクリップ処理を実行するようにしてもよい。
つまり、加算器4312では、上記処理により、高域成分が強調された画像信号D_Enが取得される。
そして、上記処理により取得された画像信号D_En1は、合成部434に出力される。
次に、ディレクションエンハンス処理部432での処理について、説明する。
ディレクションエンハンス処理部432の低減フィルタ部4321では、入力された量子化輪郭方向A(x,y)を示す信号(注目画素(x,y)の量子化輪郭方向A(x,y))に基づいて、注目画素(x,y)における輪郭方向もしくはその方向に近似する方向であって、その輪郭方向が注目画素と同一もしくは近似する方向である参照画素に係る信号値を用いて注目画素を平滑化する。
この平滑化処理は、注目画素の輪郭方向に相関の高い画素を用いて平滑化処理を行うため、例えば、画像上のエッジ部において、エイリアシングの影響を受けている信号に対して、エイリアシングの影響を適切に低減させることができる。つまり、上記の平滑化処理は、輪郭方向依存性を考慮して、注目画素の輪郭方向に存在する画素を用いて実行されるため、特に、画像上のエッジ部において、エイリアシングの影響を適切に抑制することができる。
このように、輪郭方向依存性を考慮した平滑化処理が実行された画像信号(低減フィルタ処理後の信号)Y’’は、高周波拡張部4432に出力される。
高周波拡張部4432では、入力された低減フィルタ処理後の画像信号Y’’が表す信号値に基づいて高周波成分値が算出される。高周波拡張部4432では、算出された高周波成分値と、入力された信号Y’’が表す信号値とが加算されることで、高周波拡張信号値が算出される。そして、高周波拡張部4432では、算出された高周波拡張信号値を表す画像信号が、画像信号D_En2として、合成部434に出力される。
合成部434では、合成比αにより、エンハンス処理部431から出力される画像信号D_En1と、ディレクションエンハンス処理部から出力される画像信号D_En2とを、例えば、
D1=(1-α)×D_En1+α×D_En2
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号D1が取得される。
(1)α=αtである場合(テクスチャ部であると判定された場合)、αtは、「0」に近い値であるため、画像信号D1は、ほとんど画像信号D_En1に近い信号となる。つまり、テクスチャ部では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行された画像信号が、画像信号D1として、セレクタ436に出力される。この画像信号D1により形成される画像のテクスチャ部では、適切にディテール感が保持される。
(2)α=αeである場合(エッジ部であると判定された場合)、αeは、「1」に近い値であるため、画像信号D1は、ほとんど画像信号D_En2に近い信号となる。つまり、エッジ部では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された画像信号が、画像信号D1として出力される。この画像信号D1により形成される画像のエッジ部では、ジャギーやモスキートノイズ等が適切に低減される。
(3)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きく、かつ、エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(上記(1)、(2)の両方の条件を満たす場合)、α=(αt+αe)/2であるので、上記(1)、(2)の中間の合成比αによる合成処理が実行される。通常、この(3)に該当する場合はあまりないが、閾値の設定の仕方によっては、この(3)に該当する場合があり得る。そのような場合であっても、合成部434では、上記(1)、(2)の中間の合成比αによる合成処理が実行される。その結果、この(3)に該当する場合であっても、適切にエンハンス処理が施された画像信号D1を取得することができる。
D1=(1-α)×D_En1+α×D_En2
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号D1が取得される。
(1)α=αtである場合(テクスチャ部であると判定された場合)、αtは、「0」に近い値であるため、画像信号D1は、ほとんど画像信号D_En1に近い信号となる。つまり、テクスチャ部では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行された画像信号が、画像信号D1として、セレクタ436に出力される。この画像信号D1により形成される画像のテクスチャ部では、適切にディテール感が保持される。
(2)α=αeである場合(エッジ部であると判定された場合)、αeは、「1」に近い値であるため、画像信号D1は、ほとんど画像信号D_En2に近い信号となる。つまり、エッジ部では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された画像信号が、画像信号D1として出力される。この画像信号D1により形成される画像のエッジ部では、ジャギーやモスキートノイズ等が適切に低減される。
(3)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きく、かつ、エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(上記(1)、(2)の両方の条件を満たす場合)、α=(αt+αe)/2であるので、上記(1)、(2)の中間の合成比αによる合成処理が実行される。通常、この(3)に該当する場合はあまりないが、閾値の設定の仕方によっては、この(3)に該当する場合があり得る。そのような場合であっても、合成部434では、上記(1)、(2)の中間の合成比αによる合成処理が実行される。その結果、この(3)に該当する場合であっても、適切にエンハンス処理が施された画像信号D1を取得することができる。
輝度分散レベル判定部435では、入力された輝度分散値Yvが所定の閾値TH0よりも大きい場合、セレクト信号は、「1」に設定され、セレクタ436に出力される。一方、入力された輝度分散値Yvが所定の閾値TH0以下の場合、セレクト信号は、「0」に設定され、セレクタ436に出力される。
セレクタ436では、セレクト信号が「1」である場合、合成部434から出力される画像信号D1が、出力画像信号Doutとして出力される。一方、セレクト信号が「0」である場合、入力画像信号Dinが、出力画像信号Doutとして出力される。
つまり、画像処理装置3000では、輝度分散値Yvが所定の閾値TH0よりも大きい場合、上記(1)~(3)の処理により取得された画像信号D1が、出力画像信号Doutとして取得される。一方、輝度分散値Yvが所定の閾値TH0以下の場合、つまり、エッジ部でもテクスチャ部でもなく、平坦部または細かいノイズが存在する部分と判定された場合は、エンハンス処理をせず入力画像信号Dinが、そのまま出力画像信号Doutとして出力される。
以上のように、画像処理装置3000では、(1)画像上のテクスチャ部では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行され、(2)画像上のエッジ部では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された出力画像信号Dout(出力画像Dout)を取得することができる。
ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)では、方向検出精度を確保するために、ある程度の広さの範囲で方向検出処理(輪郭方向の検出処理)を行う。このため、画像上のテクスチャ部に対して、検出された輪郭方向(量子化輪郭方向A(x,y))を用いてディレクションエンハンス処理を行うと、元々、輪郭方向(量子化輪郭方向A(x,y))がばらついていた画素が、画像上で、方向検出処理により検出された方向につながって溶けたように見えてしまう。これは、元々、輪郭方向(量子化輪郭方向A(x,y))がばらついていた画素群に対して、ある程度の広さの範囲で検出された輪郭方向によりディレクションエンハンス処理が実行されることで、当該輪郭方向に存在する画素群の高域成分が揃って強調されるためである。
画像処理装置3000では、画像上のテクスチャ部では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行された出力画像信号Doutが取得されるので、上記のような、所定の方向に存在する画素群だけが不自然に強調されるといった現象が発生することがない。
したがって、画像処理装置3000では、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部とテクスチャ部とを分離し、適切に、画像処理(エンハンス処理)を実行することができる。つまり、画像処理装置3000では、エッジ部に対しては、方向依存性を考慮したディレクションエンハンス処理を実行し、テクスチャ部に対しては、方向依存性を考慮しない、一般的なエンハンス処理(高域強調処理)を行うことで、エッジ部に対しても、テクスチャ部に対しても、適切にエンハンス処理を実行することができる。
なお、画像処理装置3000では、輝度分散値Yvのレベル判定結果に基づいて、上記処理を実行するか否かを決定しているので、エッジ部でもテクスチャ部でもなく、平坦部または細かいノイズが存在する部分と判定された場合は、エンハンス処理を実行していない入力画像信号を、そのまま、出力画像信号として出力することができる。
[第4実施形態]
次に、第4実施形態について、説明する。
次に、第4実施形態について、説明する。
なお、以下では、本実施形態に特有な部分について説明し、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
図14に、第4実施形態の画像処理装置4000の概略構成図を示す。
図15に、第4実施形態の画像処理部4Dの概略構成図を示す。
本実施形態の画像処理装置4000は、第3実施形態の画像処理装置3000において、画像領域検出部3を画像領域検出部3Bに置換し、画像処理部4Cを画像処理部4Dに置換した構成を有している。それ以外については、本実施形態の画像処理装置4000は、第3実施形態の画像処理装置3000と同様である。
画像領域検出部3Bは、図14に示すように、第3実施形態の画像領域検出部3から、反転部32および第2乗算器33を削除した構成を有している。つまり、画像領域検出部3では、テクスチャ検出信号Det_txtおよびエッジ検出信号Det_edgeを取得されるが、画像領域検出部3Bでは、テクスチャ検出信号Det_txtのみが取得される。
画像領域検出部3Bは、取得したテクスチャ検出信号Det_txtを画像処理部4Dに出力する。
画像処理部4Dは、図15に示すように、第3実施形態の画像処理部4Cにおいて、合成比決定部433を、合成比決定部433Aに置換した構成を有する。それ以外については、画像処理部4Dは、画像処理部4Cと同様である。
合成比決定部433Aは、画像領域検出部3Bから出力されるテクスチャ検出信号Det_txtを入力とし、入力されたテクスチャ検出信号Det_txtに基づいて、合成比αを決定する。
具体的には、合成比決定部433Aは、以下のようにして、合成比αを決定する。なお、0≦α≦1であるものとする。
(1)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きい場合(テクスチャ検出信号が2値信号のときは、テクスチャ検出信号Det_txtが「1」である場合)、αを「0」に近い値αt(αt=0であってもよい)に設定する。
(2)上記(1)以外の場合、αを「1」に設定する。
(1)テクスチャ検出信号Det_txtの値が所定の閾値よりも大きい場合(テクスチャ検出信号が2値信号のときは、テクスチャ検出信号Det_txtが「1」である場合)、αを「0」に近い値αt(αt=0であってもよい)に設定する。
(2)上記(1)以外の場合、αを「1」に設定する。
以上のようにして決定された合成比αは、合成部434に出力される。
そして、合成部434では、合成比αにより、エンハンス処理部431から出力される画像信号D_En1と、ディレクションエンハンス処理部432から出力される画像信号D_En2とを、例えば、
Dout=(1-α)×D_En1+α×D_En2
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号Doutが取得される。
(1)α=αtである場合(テクスチャ部であると判定された場合)、αtは、「0」に近い値であるため、画像信号Doutは、ほとんど画像信号D_En1に近い信号となる。つまり、テクスチャ部では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行された画像信号が、画像信号Doutとして出力される。この画像信号Doutにより形成される画像のテクスチャ部では、適切にディテール感が保持される。
(2)上記(1)以外の場合、αは「1」であるので、画像信号Doutは、画像信号D_En2となる。つまり、エッジ部では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された画像信号が、画像信号Doutとして出力される。この画像信号Doutにより形成される画像のテクスチャ部以外の部分(例えば、エッジ部)では、ジャギーやモスキートノイズ等が適切に低減される。
Dout=(1-α)×D_En1+α×D_En2
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号Doutが取得される。
(1)α=αtである場合(テクスチャ部であると判定された場合)、αtは、「0」に近い値であるため、画像信号Doutは、ほとんど画像信号D_En1に近い信号となる。つまり、テクスチャ部では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行された画像信号が、画像信号Doutとして出力される。この画像信号Doutにより形成される画像のテクスチャ部では、適切にディテール感が保持される。
(2)上記(1)以外の場合、αは「1」であるので、画像信号Doutは、画像信号D_En2となる。つまり、エッジ部では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された画像信号が、画像信号Doutとして出力される。この画像信号Doutにより形成される画像のテクスチャ部以外の部分(例えば、エッジ部)では、ジャギーやモスキートノイズ等が適切に低減される。
以上のように、画像処理装置4000では、(1)画像上のテクスチャ部では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行され、(2)それ以外の部分では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された出力画像信号Dout(出力画像Dout)を取得することができる。
したがって、画像処理装置4000では、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部とテクスチャ部とを分離し、適切に、画像処理(エンハンス処理)を実行することができる。つまり、画像処理装置4000では、テクスチャ部以外の部分に対しては、方向依存性を考慮したディレクションエンハンス処理を実行し、テクスチャ部に対しては、方向依存性を考慮しない、一般的なエンハンス処理(高域強調処理)を行うことで、テクスチャ部以外の部分(例えば、エッジ部)に対しても、テクスチャ部に対しても、適切にエンハンス処理を実行することができる。
さらに、画像処理装置4000では、第3実施形態の画像処理装置3000における、エッジ検出信号Det_edgeを検出する部分、輝度分散レベル判定部435およびセレクタ436を削除したので、第3実施形態の画像処理装置3000に比べて実現のためのコストを低減することができる。
[第5実施形態]
次に、第5実施形態について、説明する。
次に、第5実施形態について、説明する。
なお、以下では、本実施形態に特有な部分について説明し、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
図16に、第5実施形態の画像処理装置5000の概略構成図を示す。
図17に、第5実施形態の画像処理部4Eの概略構成図を示す。
本実施形態の画像処理装置5000は、第3実施形態の画像処理装置3000において、画像領域検出部3を画像領域検出部3Aに置換し、画像処理部4Cを画像処理部4Eに置換した構成を有している。それ以外については、本実施形態の画像処理装置5000は、第3実施形態の画像処理装置3000と同様である。
画像領域検出部3Aは、図16に示すように、第3実施形態の画像領域検出部3から、第1乗算器31を削除した構成を有している。つまり、画像領域検出部3では、テクスチャ検出信号Det_txtおよびエッジ検出信号Det_edgeを取得されるが、画像領域検出部3Aでは、エッジ検出信号Det_edgeのみが取得される。
画像領域検出部3Aは、取得したテクスチャ検出信号Det_edgeを画像処理部4Eに出力する。
画像処理部4Eは、図17に示すように、第3実施形態の画像処理部4Cにおいて、合成比決定部433を、合成比決定部433Bに置換した構成を有する。それ以外については、画像処理部4Eは、画像処理部4Cと同様である。
合成比決定部433Bは、画像領域検出部3Aから出力されるエッジ検出信号Det_edgeを入力とし、入力されたエッジ検出信号Det_edgeに基づいて、合成比αを決定する。
具体的には、合成比決定部433Bは、以下のようにして、合成比αを決定する。なお、0≦α≦1であるものとする。
(1)エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(エッジ検出信号が2値信号のときは、エッジ検出信号Det_edgeが「1」である場合)、αを「1」に近い値αe(αe=1であってもよい)に設定する。
(2)上記(1)以外の場合、αを「0」に設定する。
(1)エッジ検出信号Det_edgeの値が所定の閾値よりも大きい場合(エッジ検出信号が2値信号のときは、エッジ検出信号Det_edgeが「1」である場合)、αを「1」に近い値αe(αe=1であってもよい)に設定する。
(2)上記(1)以外の場合、αを「0」に設定する。
以上のようにして決定された合成比αは、合成部434に出力される。
そして、合成部434では、合成比αにより、エンハンス処理部431から出力される画像信号D_En1と、ディレクションエンハンス処理部432から出力される画像信号D_En2とを、例えば、
Dout=(1-α)×D_En1+α×D_En2
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号Doutが取得される。
(1)α=αeである場合(エッジ部であると判定された場合)、αeは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_En2に近い信号となる。つまり、エッジ部では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された画像信号が、画像信号Doutとして出力される。この画像信号Doutにより形成される画像のエッジ部では、適切にジャギーやモスキートノイズ等が適切に低減される。
(2)上記(1)以外の場合、αは「0」であるので、画像信号Doutは、画像信号D_En1となる。つまり、エッジ部以外の部分では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行された画像信号が、画像信号Doutとして出力される。この画像信号Doutにより形成される画像のエッジ部以外の部分(例えば、テクスチャ部)では、適切にディテール感が保持される。
Dout=(1-α)×D_En1+α×D_En2
0≦α≦1
に相当する処理(内分処理)により合成することで、画像信号Doutが取得される。
(1)α=αeである場合(エッジ部であると判定された場合)、αeは、「1」に近い値であるため、画像信号Doutは、ほとんど画像信号D_En2に近い信号となる。つまり、エッジ部では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された画像信号が、画像信号Doutとして出力される。この画像信号Doutにより形成される画像のエッジ部では、適切にジャギーやモスキートノイズ等が適切に低減される。
(2)上記(1)以外の場合、αは「0」であるので、画像信号Doutは、画像信号D_En1となる。つまり、エッジ部以外の部分では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行された画像信号が、画像信号Doutとして出力される。この画像信号Doutにより形成される画像のエッジ部以外の部分(例えば、テクスチャ部)では、適切にディテール感が保持される。
以上のように、画像処理装置5000では、(1)画像上のエッジ部以外の部分(例えば、テクスチャ部)では、エンハンス処理部431による処理(一般的なエンハンス処理)が実行され、(2)画像上のエッジ部では、ディレクションエンハンス処理部432による処理(ディレクションエンハンス処理)が実行された出力画像信号Dout(出力画像Dout)を取得することができる。
したがって、画像処理装置5000では、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部とテクスチャ部とを分離し、適切に、画像処理(エンハンス処理)を実行することができる。つまり、画像処理装置5000では、エッジ部に対しては、方向依存性を考慮したディレクションエンハンス処理を実行し、エッジ部以外の部分(例えば、テクスチャ部)に対しては、方向依存性を考慮しない、一般的なエンハンス処理(高域強調処理)を行うことで、エッジ部以外の部分(例えば、テクスチャ部)に対しても、エッジ部に対しても、適切にエンハンス処理を実行することができる。
さらに、画像処理装置5000では、第3実施形態の画像処理装置3000における、テクスチャ検出信号Det_txtを検出する部分、輝度分散レベル判定部435およびセレクタ436を削除したので、第3実施形態の画像処理装置3000に比べて実現のためのコストを低減することができる。
[他の実施形態]
上記実施形態(変形例を含む)において、ノイズ処理部41、41B、エンハンス部42において、合成比α、βを用いて、処理が実行された画像信号と、処理が実行されていない画像信号とを合成することで、処理強度を調整する場合について説明した。しかし、これらに限定されることはなく、例えば、テクスチャ検出信号Det_txtおよび/またはエッジ検出信号Det_edgeに基づいて、フィルタ係数が変化させることで、処理強度(例えば、ノイズ低減処理の処理強度やエンハンス処理の処理強度)を調整するようにしてもよい。また、複数の異なる特性のフィルタを設け、その出力をセレクタで選択できるようにし、テクスチャ検出信号Det_txtおよび/またはエッジ検出信号Det_edgeに基づいて、選択されるフィルタを変えることで、処理強度(例えば、ノイズ低減処理の処理強度やエンハンス処理の処理強度)を調整するようにしてもよい。
上記実施形態(変形例を含む)において、ノイズ処理部41、41B、エンハンス部42において、合成比α、βを用いて、処理が実行された画像信号と、処理が実行されていない画像信号とを合成することで、処理強度を調整する場合について説明した。しかし、これらに限定されることはなく、例えば、テクスチャ検出信号Det_txtおよび/またはエッジ検出信号Det_edgeに基づいて、フィルタ係数が変化させることで、処理強度(例えば、ノイズ低減処理の処理強度やエンハンス処理の処理強度)を調整するようにしてもよい。また、複数の異なる特性のフィルタを設け、その出力をセレクタで選択できるようにし、テクスチャ検出信号Det_txtおよび/またはエッジ検出信号Det_edgeに基づいて、選択されるフィルタを変えることで、処理強度(例えば、ノイズ低減処理の処理強度やエンハンス処理の処理強度)を調整するようにしてもよい。
また、上記実施形態(変形例を含む)において、輝度分散検出部1が、画像信号の輝度値の分散値を算出することで、エッジ部およびテクスチャ部の領域(輝度値の変化が大きい画像領域)を検出するための信号Yvを取得する場合について、説明した。しかし、これに限定されることはなく、輝度分散検出部1は、例えば、HPF(例えば、Sobelフィルタ)等を用いて、高周波成分が多く含まれる画像領域を抽出し、抽出結果を示す信号を、輝度分散値Yvの代わりに出力するようにしてもよい。このようにして抽出された信号も、輝度分散値Yvと同様の傾向を示すため、当該抽出した信号により、画像領域検出部3、3A以降の処理を、上記実施形態と同様に実行することができる。
また、上記実施形態において、一般的なエンハンス処理を実行するエンハンス処理部431を、図12に示す構成により実現する場合について、説明した。しかし、エンハンス処理部431は、この構成に限定されることはない。例えば、エンハンス処理部431は、入力される画像信号の高域成分を抽出し、抽出した高域成分を強調した信号と、入力される画像信号の低域成分を抽出した信号と、を合成(例えば、加算)する構成であってもよい。
また、上記実施形態(変形例を含む)の一部または全部を組み合わせて、画像処理装置を実現するようにしてもよい。
また、上記実施形態の画像処理装置の一部または全部は、集積回路(例えば、LSI、システムLSI等)として実現されるものであってもよい。
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により実行されるものであってもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、中央演算装置(CPU)が、ROM、あるいはRAMから当該プログラムを読み出し、実行されるものであってもよい。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
なお、上記実施形態に係る画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。また、タイミング調整を行うための遅延器等についても図示を省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
[付記]
なお、本発明は、以下のようにも表現することができる。
なお、本発明は、以下のようにも表現することができる。
第1の構成は、輝度分散検出部と、角度分散検出部と、画像領域検出部と、画像処理部と、を備える画像処理装置である。
輝度分散検出部は、注目画素および注目画素の周辺画素を含む画素参照領域において、画素値のばらつき度合いを検出する。
角度分散検出部は、画素参照領域において、画素値が一定の値である輪郭方向を画素毎に取得し、画素毎に取得した輪郭方向のばらつき度合いを検出する。
画像領域検出部は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素が含まれる画像領域の特徴を示す画像領域検出信号を取得する。
画像処理部は、画像領域検出信号に基づいて、注目画素に対して、所定の画像処理を実行する。
この画像処理装置では、画素値のばらつき度合いと輪郭方向のばらつき度合いとの両方を考慮して、注目画素が含まれる画像領域の特徴を示す画像領域検出信号を取得する。そして、画像領域検出信号により、注目画素が所定の画像特徴量を有する領域に含まれているか否かを判断することができる。例えば、画像領域検出信号により、注目画素が、エッジ画像領域やテクスチャ画像領域に含まれているか否かを判断することができる。そして、この画像処理装置では、画像処理部が、画像領域検出信号に基づいて、注目画素に対して、所定の画像処理を実行するので、注目画素が含まれる画像領域の特徴に応じた適切な画像処理を実行することができる。
つまり、この画像処理装置では、画素値のばらつき度合いと輪郭方向のばらつき度合いとの両方を考慮することで、例えば、入力される画像信号(映像信号)の画素値(輝度値等)のコントラストが大きく変化する場合であっても、適切に、所定の画像特徴量を有する画像領域(例えば、エッジ部とテクスチャ部)を分離することができる。入力される画像信号(映像信号)の画素値(輝度値等)のコントラストが大きく変化する場合、画素値(輝度等)のばらづき度合いのみを用いて、所定の画像特徴量を有する画像領域(例えば、エッジ部とテクスチャ部)を分離しようとすると、誤判定することがある。この画像処理装置では、画素値のばらつき度合いだけでなく、輪郭方向のばらつき度合いも考慮して、画像領域の性質を判定、つまり、注目画素がどのような画像領域に含まれているのかを判定する。輪郭方向のばらつき度合いは、画像信号のコントラスト値の変化の影響を受けにくいので、この画像処理装置では、画素値のばらつき度合いと輪郭方向のばらつき度合いとの両方を考慮することで、所定の画像領域(例えば、エッジ部とテクスチャ部)を分離することができ、分離した画像領域にそれぞれ適した画像処理を実行することができる。
なお、「ばらつき度」とは、例えば、分散値、標準偏差値、差分絶対値の合計値、差分絶対値の平均値等を含む概念である。
また、「所定の画像処理」とは、例えば、ノイズ低減処理、高域成分抑制処理、低域成分強調処理、平滑化処理、LPF処理、BPF処理、エンハンス処理等を含む概念である。
第2の構成は、第1の構成において、画像処理部は、画像領域検出信号に基づいて決定した処理強度により、注目画素に対して、所定の画像処理を実行する。
これにより、この画像処理装置では、画像処理部が、画像領域検出信号に基づいて決定した処理強度により、注目画素に対して、所定の画像処理を実行するので、注目画素が含まれる画像領域の特徴に応じた適切な画像処理を実行することができる。
第3の構成は、第2の構成において、画像領域検出部は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素がエッジ領域に含まれることを示すエッジ検出信号を、画像領域検出信号として取得する。
画像処理部は、エッジ検出信号に基づいて決定した処理強度により、注目画素に対して、所定の画像処理を実行する。
これにより、この画像処理装置では、画素値のばらつき度合いと輪郭方向のばらつき度合いとの両方を考慮して取得されたエッジ検出信号により、注目画素がエッジ画像領域に含まれているか否かを判断することができる。そして、この画像処理装置では、エッジ検出信号に基づいて決定した処理強度により、注目画素に対して、所定の画像処理が実行されるので、例えば、エッジ画像領域において、適切な画像処理(例えば、ノイズ低減処理)が実行される。
なお、「エッジ領域」とは、画像上において、エッジ(例えば、境界や輪郭等)が含まれる画像領域のことをいう。
第4の構成は、第2または第3の構成において、画像領域検出部は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素がテクスチャ領域に含まれることを示すテクスチャ検出信号を、画像領域検出信号として取得する。
画像処理部は、テクスチャ検出信号に基づいて決定した処理強度により、注目画素に対して、所定の画像処理を実行する。
これにより、この画像処理装置では、画素値のばらつき度合いと輪郭方向のばらつき度合いとの両方を考慮して取得されたテクスチャ検出信号により、注目画素がテクスチャ画像領域に含まれているか否かを判断することができる。そして、この画像処理装置では、テクスチャ検出信号に基づいて決定した処理強度により、注目画素に対して、所定の画像処理が実行されるので、例えば、テクスチャ画像領域において、適切な画像処理(例えば、エンハンス処理)が実行される。
なお、「テクスチャ領域」とは、画像上において、テクスチャ(例えば、高周波成分を多く含むディテール部分等)が含まれる画像領域のことをいう。
第5の構成は、第2の構成において、画像領域検出部は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素がエッジ領域に含まれることを示すエッジ検出信号と、注目画素がテクスチャ領域に含まれることを示すテクスチャ検出信号との2つの検出信号を、画像領域検出信号として取得する。
画像処理部は、エッジ検出信号およびテクスチャ検出信号の少なくとも一方に基づいて決定した処理強度により、注目画素に対して、所定の画像処理を実行する。
これにより、この画像処理装置では、画素値のばらつき度合いと輪郭方向のばらつき度合いとの両方を考慮して取得されたエッジ検出信号とテクスチャ検出信号との2つの検出信号により、注目画素がエッジ画像領域あるいはテクスチャ画像領域に含まれているか否かを判断することができる。そして、この画像処理装置では、エッジ検出信号とテクスチャ検出信号とに基づいて決定した処理強度により、注目画素に対して、所定の画像処理が実行されるので、例えば、テクスチャ画像領域において、適切な画像処理(例えば、エンハンス処理)を実行しつつ、エッジ画像領域においても、適切な画像処理(例えば、ノイズ低減処理)を実行することができる。
第6の構成は、第1の構成において、画像処理部は、画像領域検出信号が示す画像領域の特徴に応じた画像処理を、注目画素に対して実行する。
これにより、この画像処理装置では、画像領域検出信号が示す画像領域の特徴に応じた画像処理を、注目画素に対して実行することができる。
なお、「画像領域の特徴に応じた画像処理」とは、画像領域の特徴を判定し、その判定結果に基づいて、当該画像領域の画質を改善する画像処理を含む概念である。例えば、画像領域の特徴についての判定の結果、当該画像領域がテクスチャ部であると判定された場合における、当該テクスチャ部を自然に強調する画像処理(例えば、一般的なエンハンス処理)が「画像領域の特徴に応じた画像処理」の一例である。また、例えば、画像領域の特徴についての判定の結果、当該画像領域がエッジ部であると判定された場合における、当該エッジ部を自然に強調する画像処理(例えば、画像上の方向依存性を考慮したディレクションエンハンス処理)が「画像領域の特徴に応じた画像処理」の一例である。
第7の構成は、第6の構成において、画像領域検出部は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素がエッジ領域に含まれることを示すエッジ検出信号を、画像領域検出信号として取得する。
画像処理部は、
(1)エッジ検出信号により注目画素がエッジ領域に含まれないと判定された場合、注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)エッジ検出信号により注目画素がエッジ領域に含まれると判定された場合、角度分散検出部により取得された輪郭方向が注目画素と同一もしくは近似する方向である参照画素の画素値を用いて注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する。
(1)エッジ検出信号により注目画素がエッジ領域に含まれないと判定された場合、注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)エッジ検出信号により注目画素がエッジ領域に含まれると判定された場合、角度分散検出部により取得された輪郭方向が注目画素と同一もしくは近似する方向である参照画素の画素値を用いて注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する。
この画像処理装置では、エッジ部に対しては、方向依存性を考慮したディレクションエンハンス処理を実行し、エッジ部以外の部分(例えば、テクスチャ部)に対しては、方向依存性を考慮しない、一般的なエンハンス処理(高域強調処理)を行うことで、エッジ部以外の部分(例えば、テクスチャ部)に対しても、エッジ部に対しても、適切にエンハンス処理を実行することができる。
第8の構成は、第6の構成において、画像領域検出部は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素がテクスチャ領域に含まれることを示すテクスチャ検出信号を、画像領域検出信号として取得する。
画像処理部は、
(1)テクスチャ検出信号により注目画素がテクスチャ領域に含まれると判定された場合、注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)テクスチャ検出信号により注目画素がテクスチャ領域に含まれないと判定された場合、角度分散検出部により取得された輪郭方向が注目画素と同一もしくは近似する方向である参照画素の画素値を用いて注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する。
(1)テクスチャ検出信号により注目画素がテクスチャ領域に含まれると判定された場合、注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)テクスチャ検出信号により注目画素がテクスチャ領域に含まれないと判定された場合、角度分散検出部により取得された輪郭方向が注目画素と同一もしくは近似する方向である参照画素の画素値を用いて注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する。
この画像処理装置では、画像上のテクスチャ部以外の部分に対しては、方向依存性を考慮したディレクションエンハンス処理を実行し、テクスチャ部に対しては、方向依存性を考慮しない、一般的なエンハンス処理(高域強調処理)を行うことで、テクスチャ部以外の部分(例えば、エッジ部)に対しても、テクスチャ部に対しても、適切にエンハンス処理を実行することができる。
第9の構成は、第6の構成において、画像領域検出部は、画素値のばらつき度合いと輪郭方向のばらつき度合いとに基づいて、注目画素がエッジ領域に含まれることを示すエッジ検出信号と、注目画素がテクスチャ領域に含まれることを示すテクスチャ検出信号との2つの検出信号を、画像領域検出信号として取得する。
画像処理部は、
(1)エッジ検出信号およびテクスチャ検出信号の少なくとも一方により注目画素がテクスチャ領域に含まれると判定された場合、注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)エッジ検出信号およびテクスチャ検出信号の少なくとも一方により注目画素がエッジ領域に含まれると判定された場合、角度分散検出部により取得された輪郭方向が注目画素と同一もしくは近似する方向である参照画素の画素値を用いて注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する。
(1)エッジ検出信号およびテクスチャ検出信号の少なくとも一方により注目画素がテクスチャ領域に含まれると判定された場合、注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)エッジ検出信号およびテクスチャ検出信号の少なくとも一方により注目画素がエッジ領域に含まれると判定された場合、角度分散検出部により取得された輪郭方向が注目画素と同一もしくは近似する方向である参照画素の画素値を用いて注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する。
この画像処理装置では、エッジ部に対しては、方向依存性を考慮したディレクションエンハンス処理を実行し、テクスチャ部に対しては、方向依存性を考慮しない、一般的なエンハンス処理(高域強調処理)を行うことで、テクスチャ部に対しても、エッジ部に対しても、適切にエンハンス処理を実行することができる。
第10の構成は、第1から第9のいずれかの構成において、
角度分散検出部は、
注目画素の画像上の座標を(x,y)とし、注目画素の画素値をP(x,y)とし、変数i,j,nを整数とし、
フィルタ係数Wx(x+i,y+j)を、
(1)―n≦i<0のとき、Wx(x+i,y+j)=-1
(2)i=0のとき、Wx(x+i,y+j)=0
(3)0<i≦nのとき、Wx(x+i,y+j)=1
とし、
フィルタ係数Wy(x+i,y+j)を、
(1)―n≦j<0のとき、Wy(x+i,y+j)=-1
(2)j=0のとき、Wy(x+i,y+j)=0
(3)0<j≦nのとき、Wy(x+i,y+j)=1
としたとき、
注目画素(x,y)におけるx方向の偏微分値Gx(x,y)と、注目画素におけるy方向の偏微分値Gy(x,y)とを
角度分散検出部は、
注目画素の画像上の座標を(x,y)とし、注目画素の画素値をP(x,y)とし、変数i,j,nを整数とし、
フィルタ係数Wx(x+i,y+j)を、
(1)―n≦i<0のとき、Wx(x+i,y+j)=-1
(2)i=0のとき、Wx(x+i,y+j)=0
(3)0<i≦nのとき、Wx(x+i,y+j)=1
とし、
フィルタ係数Wy(x+i,y+j)を、
(1)―n≦j<0のとき、Wy(x+i,y+j)=-1
(2)j=0のとき、Wy(x+i,y+j)=0
(3)0<j≦nのとき、Wy(x+i,y+j)=1
としたとき、
注目画素(x,y)におけるx方向の偏微分値Gx(x,y)と、注目画素におけるy方向の偏微分値Gy(x,y)とを
により算出し、
θ(x,y)=tan-1(Gy(x,y)/Gx(x,y))
により算出した角度θ(x,y)に基づいて、輪郭方向を示す値を取得する。
θ(x,y)=tan-1(Gy(x,y)/Gx(x,y))
により算出した角度θ(x,y)に基づいて、輪郭方向を示す値を取得する。
これにより、この画像処理装置では、角度θ(x,y)のばらつき度合いを算出することで、輪郭方向のばらつき度合いを算出することができる。
本発明は、入力される画像信号(映像信号)の輝度値等のコントラストが大きく変化する場合であっても、適切に、エッジ部とテクスチャ部とを分離し、適切に、画像処理(例えば、ノイズ低減処理やエンハンス処理)を実行することができる。したがって、本発明は、映像関連産業分野において、有用であり、当該分野において実施することができる。
1000、2000、3000、4000、5000 画像処理装置
1 輝度分散検出部
2 角度分散検出部
3、3A、3B 画像領域検出部
4、4A、4B、4C、4D、4D 画像処理部
41 ノイズ処理部
42 エンハンス部
43、43A、43B 先鋭化処理部
431 エンハンス処理部
432 ディレクションエンハンス処理部
434 合成部
1 輝度分散検出部
2 角度分散検出部
3、3A、3B 画像領域検出部
4、4A、4B、4C、4D、4D 画像処理部
41 ノイズ処理部
42 エンハンス部
43、43A、43B 先鋭化処理部
431 エンハンス処理部
432 ディレクションエンハンス処理部
434 合成部
Claims (10)
- 注目画素および前記注目画素の周辺画素を含む画素参照領域において、画素値のばらつき度合いを検出する輝度分散検出部と、
前記画素参照領域において、画素値が一定の値である輪郭方向を画素毎に取得し、画素毎に取得した前記輪郭方向のばらつき度合いを検出する角度分散検出部と、
前記画素値のばらつき度合いと前記輪郭方向のばらつき度合いとに基づいて、前記注目画素が含まれる画像領域の特徴を示す画像領域検出信号を取得する画像領域検出部と、
前記画像領域検出信号に基づいて、前記注目画素に対して、所定の画像処理を実行する画像処理部と、
を備える画像処理装置。 - 前記画像処理部は、前記画像領域検出信号に基づいて決定した処理強度により、前記注目画素に対して、所定の画像処理を実行する、
請求項1に記載の画像処理装置。 - 前記画像領域検出部は、前記画素値のばらつき度合いと前記輪郭方向のばらつき度合いとに基づいて、前記注目画素がエッジ領域に含まれることを示すエッジ検出信号を、前記画像領域検出信号として取得し、
前記画像処理部は、前記エッジ検出信号に基づいて決定した処理強度により、前記注目画素に対して、所定の画像処理を実行する、
請求項2に記載の画像処理装置。 - 前記画像領域検出部は、前記画素値のばらつき度合いと前記輪郭方向のばらつき度合いとに基づいて、前記注目画素がテクスチャ領域に含まれることを示すテクスチャ検出信号を、前記画像領域検出信号として取得し、
前記画像処理部は、前記テクスチャ検出信号に基づいて決定した処理強度により、前記注目画素に対して、所定の画像処理を実行する、
請求項2または3に記載の画像処理装置。 - 前記画像領域検出部は、前記画素値のばらつき度合いと前記輪郭方向のばらつき度合いとに基づいて、前記注目画素がエッジ領域に含まれることを示すエッジ検出信号と、前記注目画素がテクスチャ領域に含まれることを示すテクスチャ検出信号との2つの検出信号を、前記画像領域検出信号として取得し、
前記画像処理部は、前記エッジ検出信号および前記テクスチャ検出信号の少なくとも一方に基づいて決定した処理強度により、前記注目画素に対して、所定の画像処理を実行する、
請求項2に記載の画像処理装置。 - 前記画像処理部は、前記画像領域検出信号が示す前記画像領域の特徴に応じた画像処理を、前記注目画素に対して実行する、
請求項1に記載の画像処理装置。 - 前記画像領域検出部は、前記画素値のばらつき度合いと前記輪郭方向のばらつき度合いとに基づいて、前記注目画素がエッジ領域に含まれることを示すエッジ検出信号を、前記画像領域検出信号として取得し、
前記画像処理部は、
(1)前記エッジ検出信号により前記注目画素がエッジ領域に含まれないと判定された場合、前記注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)前記エッジ検出信号により前記注目画素がエッジ領域に含まれると判定された場合、前記角度分散検出部により取得された前記輪郭方向が前記注目画素と同一もしくは近似する方向である参照画素の画素値を用いて前記注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した前記低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、前記注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する、
請求項6に記載の画像処理装置。 - 前記画像領域検出部は、前記画素値のばらつき度合いと前記輪郭方向のばらつき度合いとに基づいて、前記注目画素がテクスチャ領域に含まれることを示すテクスチャ検出信号を、前記画像領域検出信号として取得し、
前記画像処理部は、
(1)前記テクスチャ検出信号により前記注目画素がテクスチャ領域に含まれると判定された場合、前記注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)前記テクスチャ検出信号により前記注目画素がテクスチャ領域に含まれないと判定された場合、前記角度分散検出部により取得された前記輪郭方向が前記注目画素と同一もしくは近似する方向である参照画素の画素値を用いて前記注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した前記低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、前記注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する、
請求項6に記載の画像処理装置。 - 前記画像領域検出部は、前記画素値のばらつき度合いと前記輪郭方向のばらつき度合いとに基づいて、前記注目画素がエッジ領域に含まれることを示すエッジ検出信号と、前記注目画素がテクスチャ領域に含まれることを示すテクスチャ検出信号との2つの検出信号を、前記画像領域検出信号として取得し、
前記画像処理部は、
(1)前記エッジ検出信号および前記テクスチャ検出信号の少なくとも一方により前記注目画素がテクスチャ領域に含まれると判定された場合、前記注目画素に対して、高域成分を強調する一般エンハンス処理を実行し、
(2)前記エッジ検出信号および前記テクスチャ検出信号の少なくとも一方により前記注目画素がエッジ領域に含まれると判定された場合、前記角度分散検出部により取得された前記輪郭方向が前記注目画素と同一もしくは近似する方向である参照画素の画素値を用いて前記注目画素に対して平滑化処理を実行することで低減フィルタ処理信号を取得し、取得した前記低減フィルタ処理信号に対して、高域成分を強調した高周波拡張信号を取得することで、前記注目画素に対して、画像上の方向依存性を考慮したディレクションエンハンス処理を実行する、
請求項6に記載の画像処理装置。 - 前記角度分散検出部は、
前記注目画素の画像上の座標を(x,y)とし、前記注目画素の画素値をP(x,y)とし、変数i,j,nを整数とし、
フィルタ係数Wx(x+i,y+j)を、
(1)―n≦i<0のとき、Wx(x+i,y+j)=-1
(2)i=0のとき、Wx(x+i,y+j)=0
(3)0<i≦nのとき、Wx(x+i,y+j)=1
とし、
フィルタ係数Wy(x+i,y+j)を、
(1)―n≦j<0のとき、Wy(x+i,y+j)=-1
(2)j=0のとき、Wy(x+i,y+j)=0
(3)0<j≦nのとき、Wy(x+i,y+j)=1
としたとき、
注目画素(x,y)におけるx方向の偏微分値Gx(x,y)と、注目画素におけるy方向の偏微分値Gy(x,y)とを
により算出し、
θ(x,y)=tan-1(Gy(x,y)/Gx(x,y))
により算出した角度θ(x,y)に基づいて、前記輪郭方向を示す値を取得する、
請求項1から9のいずれかに記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201480048582.9A CN105519089A (zh) | 2013-09-06 | 2014-07-24 | 图像处理装置 |
US14/908,719 US9639771B2 (en) | 2013-09-06 | 2014-07-24 | Image processing device |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013184827 | 2013-09-06 | ||
JP2013-184827 | 2013-09-06 | ||
JP2014017477 | 2014-01-31 | ||
JP2014-017477 | 2014-01-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015033695A1 true WO2015033695A1 (ja) | 2015-03-12 |
Family
ID=52628181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/069592 WO2015033695A1 (ja) | 2013-09-06 | 2014-07-24 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9639771B2 (ja) |
CN (1) | CN105519089A (ja) |
WO (1) | WO2015033695A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208476A (ja) * | 2015-04-28 | 2016-12-08 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
CN111492402A (zh) * | 2017-12-28 | 2020-08-04 | 三星电子株式会社 | 用于处理图像的方法和装置及其计算机程序产品 |
US11024033B2 (en) | 2017-12-28 | 2021-06-01 | Samsung Electronics Co., Ltd. | Method and apparatus for processing image and computer program product thereof |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017004037A (ja) * | 2015-06-04 | 2017-01-05 | キヤノン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
CN109314757A (zh) * | 2016-07-01 | 2019-02-05 | 夏普株式会社 | 图像处理装置、图像处理方法、控制程序以及存储介质 |
KR102366232B1 (ko) * | 2017-08-30 | 2022-02-23 | 삼성전자 주식회사 | 디스플레이장치 및 그 제어방법 |
CN111989910B (zh) | 2018-04-12 | 2021-12-14 | 三菱电机株式会社 | 图像处理装置、图像处理方法和记录有图像处理程序的记录介质 |
US11158114B2 (en) | 2019-05-20 | 2021-10-26 | Canon Medical Systems Corporation | Medical imaging method and apparatus |
KR20210000985A (ko) | 2019-06-26 | 2021-01-06 | 삼성전자주식회사 | 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004336652A (ja) * | 2003-05-12 | 2004-11-25 | Sony Corp | 信号処理装置および信号処理方法、並びにプログラム |
JP2007053618A (ja) * | 2005-08-18 | 2007-03-01 | Sony Corp | データ処理装置およびデータ処理方法、並びにプログラム |
JP2007213125A (ja) * | 2006-02-07 | 2007-08-23 | Sony Corp | 画像処理装置および方法、記録媒体、並びに、プログラム |
WO2011145668A1 (ja) * | 2010-05-20 | 2011-11-24 | シャープ株式会社 | 画像処理装置、画像処理回路、画像処理方法及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US497258A (en) * | 1893-05-09 | Double lever-swing | ||
JPH06304142A (ja) * | 1993-04-22 | 1994-11-01 | Canon Inc | 視線検出装置 |
US6959870B2 (en) * | 1999-06-07 | 2005-11-01 | Metrologic Instruments, Inc. | Planar LED-based illumination array (PLIA) chips |
WO2002087258A2 (en) * | 2001-04-20 | 2002-10-31 | Koninklijke Philips Electronics N.V. | Image processing apparatus for and method of improving an image and an image display apparatus comprising the image processing apparatus |
JP4174656B2 (ja) | 2002-05-23 | 2008-11-05 | ソニー株式会社 | 画像表示装置および画像処理装置、並びに画像処理方法 |
JP4600011B2 (ja) * | 2004-11-29 | 2010-12-15 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
CN101123677B (zh) * | 2006-08-11 | 2011-03-02 | 松下电器产业株式会社 | 改善图像锐度的方法、装置及集成电路 |
JP4912979B2 (ja) * | 2007-08-10 | 2012-04-11 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5213670B2 (ja) * | 2008-01-16 | 2013-06-19 | 三洋電機株式会社 | 撮像装置及びぶれ補正方法 |
-
2014
- 2014-07-24 US US14/908,719 patent/US9639771B2/en not_active Expired - Fee Related
- 2014-07-24 CN CN201480048582.9A patent/CN105519089A/zh active Pending
- 2014-07-24 WO PCT/JP2014/069592 patent/WO2015033695A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004336652A (ja) * | 2003-05-12 | 2004-11-25 | Sony Corp | 信号処理装置および信号処理方法、並びにプログラム |
JP2007053618A (ja) * | 2005-08-18 | 2007-03-01 | Sony Corp | データ処理装置およびデータ処理方法、並びにプログラム |
JP2007213125A (ja) * | 2006-02-07 | 2007-08-23 | Sony Corp | 画像処理装置および方法、記録媒体、並びに、プログラム |
WO2011145668A1 (ja) * | 2010-05-20 | 2011-11-24 | シャープ株式会社 | 画像処理装置、画像処理回路、画像処理方法及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208476A (ja) * | 2015-04-28 | 2016-12-08 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
CN111492402A (zh) * | 2017-12-28 | 2020-08-04 | 三星电子株式会社 | 用于处理图像的方法和装置及其计算机程序产品 |
US11024033B2 (en) | 2017-12-28 | 2021-06-01 | Samsung Electronics Co., Ltd. | Method and apparatus for processing image and computer program product thereof |
CN111492402B (zh) * | 2017-12-28 | 2023-08-18 | 三星电子株式会社 | 用于处理图像的方法和装置及其计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
US20160171338A1 (en) | 2016-06-16 |
US9639771B2 (en) | 2017-05-02 |
CN105519089A (zh) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015033695A1 (ja) | 画像処理装置 | |
US8149299B2 (en) | Apparatus and method for generating a picture having a high visibility | |
WO2011033619A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 | |
JP5095860B2 (ja) | 分離エッジ強調アーキテクチャ | |
US20140010475A1 (en) | Digital Image Resampling | |
CN104335565A (zh) | 采用具有自适应滤芯的细节增强滤波器的图像处理方法 | |
JP2006209578A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
JPWO2009037803A1 (ja) | 画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラム | |
US20150139566A1 (en) | Image processing device and image processing method | |
JP2009212969A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2013085538A1 (en) | Control of video processing algorithms based on measured perceptual quality characteristics | |
JP5781370B2 (ja) | 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体 | |
JP5652272B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
WO2014102876A1 (ja) | 画像処理装置、および、画像処理方法 | |
CN111986095A (zh) | 基于边缘提取的图像处理方法及图像处理装置 | |
US8577180B2 (en) | Image processing apparatus, image processing system and method for processing image | |
JP5247628B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
US9349167B2 (en) | Image processing method and image processing apparatus | |
JP6242196B2 (ja) | 画像処理装置、画像処理装置の制御方法、及び、プログラム | |
JP5349204B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP5247633B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
US8934720B2 (en) | Image processing device, image processing method, and integrated circuit in which super resolution process data is output as output data for input pixel data that is classified as high-frequency region data and that has noise less than or equal to a threshold | |
JP2004133592A (ja) | 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム | |
KR101730886B1 (ko) | 적외선 영상 처리 방법 | |
JP2004282593A (ja) | 輪郭補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14842196 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14908719 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14842196 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |