TWI640958B - 增強影像邊緣的電子裝置與影像處理方法 - Google Patents

增強影像邊緣的電子裝置與影像處理方法 Download PDF

Info

Publication number
TWI640958B
TWI640958B TW106137402A TW106137402A TWI640958B TW I640958 B TWI640958 B TW I640958B TW 106137402 A TW106137402 A TW 106137402A TW 106137402 A TW106137402 A TW 106137402A TW I640958 B TWI640958 B TW I640958B
Authority
TW
Taiwan
Prior art keywords
pixel
edge
current pixel
image
enhancement
Prior art date
Application number
TW106137402A
Other languages
English (en)
Other versions
TW201917691A (zh
Inventor
蕭晶如
黃文聰
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW106137402A priority Critical patent/TWI640958B/zh
Priority to US16/059,607 priority patent/US10586313B2/en
Application granted granted Critical
Publication of TWI640958B publication Critical patent/TWI640958B/zh
Publication of TW201917691A publication Critical patent/TW201917691A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

本發明提供了一種增強影像邊緣的電子裝置與影像處理方法，用以調整一輸入影像中位於一影像邊緣的每一個邊緣像素。更進一步來說，本發明的電子裝置與影像處理方法可以根據目前像素位於影像邊緣的位置以及目前像素在輸入影像中的位置來適應性地調整作為邊緣像素的目前像素，以藉此輸出調整後的像素。據此，本發明的電子裝置與影像處理方法可以根據實際影像狀況來增強影像邊緣。

Description

增強影像邊緣的電子裝置與影像處理方法
本發明提供一種電子裝置與影像處理方法，且特別是關於一種增強影像邊緣的電子裝置與影像處理方法。
為了增強影像之清晰度，影像處理器(Image Signal Processor,ISP)會針對輸入影像中的邊緣部分做增強，以改進人眼視覺上的銳利度。如圖1A所示，ISP在執行邊緣增強時，會針對邊緣Eg兩側的像素值作不同程度的調整。像素值較高的一側稱為亮邊(bright edge)，且增強後的亮邊接近白色。像素值較低的一側稱為暗邊(dark edge)，且增強後的暗邊接近黑色。然而，如圖1B所示，增強後的亮邊Lt可能較周圍像素高出許多，產生不自然的白色邊緣，即為正脈衝(overshoot)。增強後的暗邊Dr可能較周圍像素低了許多，產生不自然的黑色邊緣，即為負脈衝(undershoot)。
適當的正/負脈衝可以提升影像銳利度，而不適當的正/負脈衝則會使影像不自然。因此，若可以根據影像狀況動態地調整亮邊與暗邊的像素值，將可產生合適的影像邊緣增強。
本發明提供了一種增強影像邊緣的電子裝置與影像處理方 法，用以調整一輸入影像中位於一影像邊緣的每一個邊緣像素。更進一步來說，本發明的電子裝置與影像處理方法可以根據目前像素位於影像邊緣的位置以及目前像素在輸入影像中的位置來適應性地調整作為邊緣像素的目前像素，以藉此輸出調整後的像素。據此，本發明的電子裝置與影像處理方法可以根據實際影像狀況來增強影像邊緣。
本發明實施例提供一種影像處理方法，適用於一電子裝置。影像處理方法用以調整一輸入影像中位於一影像邊緣的每一個邊緣像素。影像處理方法包括如下步驟：(A)接收輸入影像中的每一個像素；(B)於判斷一目前像素作為邊緣像素時，計算目前像素位於影像邊緣的一亮邊或一暗邊，且計算目前像素欲增強的數值；(C)根據一增強門檻值調整數值以產生一邊緣增強值；(D)判斷目前像素位於影像邊緣的一內側區域或一外側區域，其中內側區域為靠近影像邊緣的一中間位置，且外側區域為遠離影像邊緣的中間位置；(E)若目前像素位於內側區域，根據一第一增強幅度調整邊緣增強值以產生一最後增強像素，且若目前像素位於外側區域，根據一第二增強幅度調整邊緣增強值以產生最後增強像素；其中第一增強幅度與第二增強幅度關聯於目前像素位於輸入影像中的位置；以及(F)若目前像素位於亮邊，結合目前像素與最後增強像素作為一調整後像素，且根據一像素比例混合調整後像素與目前像素周圍的一最大像素以產生一輸出像素，且若目前像素位於暗邊，結合目前像素與最後增強像素作為調整後像素，且根據像素比例混合調整後像素與目前像素周圍的一最小像素以產生輸出像素。
本發明實施例提供一種影像邊緣增強的電子裝置，用以調整一輸入影像中位於一影像邊緣的每一個邊緣像素。電子裝置包括一影像擷取裝置與一處理器。影像擷取裝置接收輸入影像，且依序擷取輸入影像中的每一個像素。處理器電連接影像擷取裝置， 且用以執行下列步驟：(A)接收輸入影像中的每一個像素；(B)於判斷一目前像素作為邊緣像素時計算目前像素位於影像邊緣的一亮邊或一暗邊，且計算目前像素欲增強的數值；(C)根據一增強門檻值調整數值以產生一邊緣增強值；(D)判斷目前像素位於影像邊緣的一內側區域或一外側區域，其中內側區域為靠近影像邊緣的一中間位置，且外側區域為遠離影像邊緣的中間位置；(E)若目前像素位於內側區域，根據一第一增強幅度調整邊緣增強值以產生一最後增強像素，且若目前像素位於外側區域，根據一第二增強幅度調整邊緣增強值以產生最後增強像素；其中第一增強幅度與第二增強幅度關聯於目前像素位於輸入影像中的位置；以及(F)若目前像素位於亮邊，結合目前像素與最後增強像素作為一調整後像素，且根據一像素比例混合調整後像素與目前像素周圍的一最大像素以產生一輸出像素，且若目前像素位於暗邊，結合目前像素與最後增強像素作為調整後像素，且根據像素比例混合調整後像素與目前像素周圍的一最小像素以產生輸出像素。
為使能更進一步瞭解本發明之技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。
100‧‧‧電子裝置
110‧‧‧影像擷取裝置
120‧‧‧影像處理器
Im‧‧‧輸入影像
P0-Pn‧‧‧像素
P0’-Pn’‧‧‧輸出像素
Eg‧‧‧邊緣
Lt‧‧‧增強後的亮邊
Dr‧‧‧增強後的暗邊
S310、S320、S330、S340、S350、S360、S370‧‧‧步驟
P0、P1、P2、P3、P4、P5、P6、P7、P8、P9、P10、P11、P12、P13、P14、P15、P16、P17、P18、P19、P20、P21、P22、P23、P24‧‧‧像素
Mr‧‧‧響應遮罩
F(dark)‧‧‧暗邊增強函數
F(light)‧‧‧亮邊增強函數
T1‧‧‧增強下限值
T2‧‧‧增強上限值
T3‧‧‧增強下限值
T4‧‧‧增強上限值
Tt‧‧‧增強門檻值
G1‧‧‧梯度下限值
G2‧‧‧梯度上限值
G3‧‧‧梯度下限值
G4‧‧‧梯度上限值
Gtotal‧‧‧梯度總和
F(en)‧‧‧內外側增強函數
I0‧‧‧調整下限值
I1‧‧‧調整上限值
Ia‧‧‧調整幅度
D0‧‧‧距離下限值
D1‧‧‧距離上限值
D‧‧‧距離差距
圖1A是習知影像處理器偵測影像邊緣的示意圖。
圖1B是習知影像處理器執行邊緣增強的示意圖。
圖2是本發明一實施例之增強影像邊緣的電子裝置的示意圖。
圖3是本發明一實施例之影像處理方法的流程圖。
圖4是本發明一實施例之目前像素及其周圍像素的示意圖。
圖5A-5C是本發明一實施例之垂直方向的遮罩的示意圖。
圖6A-6C是本發明一實施例之水平方向的遮罩的示意圖。
圖7A-7C是本發明一實施例之正對角線方向的遮罩的示意圖。
圖8A-8C是本發明一實施例之負對角線方向的遮罩的示意圖。
圖9是本發明一實施例之計算邊緣響應值的遮罩的示意圖。
圖10A是本發明一實施例之目前像素位於暗邊時，梯度總和與增強門檻值的函數圖。
圖10B是本發明一實施例之目前像素位於亮邊時，梯度總和與增強門檻值的函數圖。
圖11是本發明一實施例之調整第一增強幅度與第二增強幅度的函數圖。
圖12A-12C是本發明一實施例之不同像素比例的示意圖。
在下文中，將藉由圖式說明本發明之各種例示實施例來詳細描述本發明。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。此外，圖式中相同參考數字可用以表示類似的元件。
首先，請參考圖2，其顯示本發明一實施例之增強影像邊緣的電子裝置的示意圖。如圖2所示，電子裝置100接收一輸入影像Im中的每一個像素P0-Pn，並調整輸入影像Im中位於影像邊緣的每一個邊緣像素，以產生調整後的輸出像素P0’-Pn’。在本實施例中，電子裝置100可為智慧型手機、錄影機、平板電腦、筆記型電腦或其他需要執行影像邊緣增強的裝置，本發明對此不作限制。
電子裝置100包括一影像擷取裝置110與一影像處理器120。如圖1所示，影像擷取裝置110接收輸入影像Im，並依序 擷取輸入影像Im中的複數個像素P0-Pn。更進一步來說，影像擷取裝置110為擷取連續影像，且輸入影像Im為連續影像中的其中一張。而輸入影像Im則是由像素P0-Pn組成。
影像處理器120電連接影像擷取裝置110，且用以執行下列步驟，以根據目前像素位於影像邊緣的位置以及根據目前像素在輸入影像中的位置來調整作為邊緣像素的目前像素，進而增強輸入影像中的影像邊緣。如圖4所示，為了方便說明，以下以輸入影像Im中的像素P12與以及像素P12的周圍像素P0、P1、P2、P3、P4、P5、P6、P7、P8、P9、P10、P11、P13、P14、P15、P16、P17、P18、P19、P20、P21、P22、P23與P24(即以像素P12為中心形成的5*5遮罩的周圍像素)來作說明，且像素P12為輸入影像Im中位於影像邊緣的其中一個邊緣像素。而所屬領域具有通常知識者可由調整像素P12之執行步驟來推得調整每個像素P0-Pn中作為邊緣像素的執行步驟。
請同時參考圖2-4。圖3顯示本發明一實施例之影像處理方法的流程圖。首先，影像處理器120接收輸入影像Im中的每一個像素P0-Pn，以進一步分析輸入影像Im中關聯於影像邊緣的特徵(步驟S310)。更進一步來說，影像處理器120依序將每一個像素P0-Pn作為目前像素，計算目前像素在多個方向上的邊緣梯度值，且根據這些邊緣梯度值來判斷目前像素是否位於影像邊緣。若目前像素不位於影像邊緣，影像處理器120將下一個像素作為目前像素，並重新判斷目前像素是否位於影像邊緣。反之，若目前像素位於影像邊緣，影像處理器120將執行下一步驟S320。
在本實施例中，影像處理器120將像素P12作為目前像素，且計算目前像素P12在垂直方向、水平方向、正對角線方向與負對角線方向上的邊緣梯度值。如圖4所示，像素P12的數值為52，且像素P12的周圍像素P0-P11、P13-P24的數值分別為88、 88、62、12、10、88、88、59、12、10、88、88、59、12、10、88、88、12、9、88、88、41、12、9、88、88、36、10、9。再請同時參考圖5A-5C、圖6A-6C、圖7A-7C與8A-8C，其分別顯示垂直方向、水平方向、正對角線方向與負對角線方向的遮罩。
因此，影像處理器120將分別計算目前像素P12在圖5A-5C的垂直方向、水平方向、正對角線方向與負對角線方向的遮罩上的邊緣梯度值。此時，垂直方向的邊緣梯度值Gv=|88+176+88-59-104-41|+|88+176+88-12-24-12|+|59+104+41-10-18-9|=148+304+167=619；水平方向的邊緣梯度值Gh=|88+124+12-88-104-12|+|88+118+12-88-82-12|+|88+104+12-88-72-10|=20+36+34=90；正對角線方向的邊緣梯度值Gdp=|88+176+62-88-104-12|+|88+88+59+12-88-41-12-10|+|88+104+12-36-12-9|=122+96+147=365；且負對角線方向的邊緣梯度值Gdn=|62+24+9-88-104-12|+|88+59+12+9-88-88-41-10|+|88+104+12-88-176-36|=109+59+96=264。
接著，影像處理器120將根據上述邊緣梯度值Gv、Gh、Gdp與Gdn判斷目前像素P12是否位於影像邊緣。若其中一個邊緣梯度值Gv、Gh、Gdp與Gdn大於一預定梯度值(例如數值300)，代表目前像素P12位於影像邊緣。而若任何一個邊緣梯度值Gv、Gh、Gdp與Gdn沒有大於預定梯度值，則代表目前像素P12不位於影像邊緣。因此，影像處理器120將判斷目前像素P12位於影像邊緣。而有關影像處理器120判斷目前像素P12是否位於影像邊緣亦可由其他方式來決定，本發明對此不作限制。
接下來，在步驟S320中，影像處理器120將計算目前像素P12位於影像邊緣的一亮邊或一暗邊，且計算目前像素P12欲增強的數值(步驟S320)。更進一步來說，影像處理器120根據一響應遮罩計算目前像素P12的一邊緣響應值，以判斷目前像素P12位於影像邊緣的亮邊或暗邊。
在本實施例中，響應遮罩Mr如圖9所示，影像處理器120將根據響應遮罩Mr計算目前像素P12的邊緣響應值，以判斷目前像素P12位於影像邊緣的亮邊或暗邊。更進一步來說，當邊緣響應值大於等於0時，影像處理器120判斷目前像素位於亮邊。反之，當邊緣響應值小於0時，影像處理器120判斷目前像素位於暗邊。因此，目前像素P12的邊緣響應值=52*24+(59+88+41+12)*2+(88+88+12+12)*(-1)+(88+12+10+9+10+88+88+88)*(-2)+(62+9+36+88)*(-3)=1248+400+(-200)+(-786)+(-585)=77。目前像素P12的邊緣響應值大於0，且影像處理器120判斷目前像素P12位於亮邊。
而有關影像處理器120計算目前像素P12欲增強的數值為所屬技術人員所悉知的作法，故在此不再贅述。值得注意的是，上述欲增強的數值並未根據目前像素位於影像邊緣的位置以及目前像素在輸入影像中的位置作調整。若影像處理器120根據上述欲增強的數值來調整目前像素，其會執行不適當的正/負脈衝而造成影像不自然。在本實施例中，目前像素P12欲增強的數值Si為20。
因此，影像處理器120將根據一增強門檻值調整上述數值以產生一邊緣增強值(步驟S330)。更進一步來說，若目前像素P12位於亮邊，影像處理器120將根據上述邊緣梯度值計算一梯度總和，且根據梯度總和來計算增強門檻值。而梯度總和係關聯於目前像素P12所在亮邊的強度。影像處理器120可根據實際狀況來選用上述邊緣梯度值計算梯度總和。以影像處理器120選用水平方向的邊緣梯度值Gh與垂直方向的邊緣梯度值Gv為例作說明。在本實施例中，梯度總和Gtotal=(Gv+Gh)/A1=(619+90)/32=22。A1代表梯度總和Gtotal的精度，且可供使用者依實際狀況調整。
如圖10A所示，當目前像素位於暗邊時，影像處理器120 係透過一暗邊增強函數F(dark)來計算增強門檻值Tt。暗邊增強函數F(dark)表示梯度總和Gtotal與增強門檻值Tt之間的關係。於暗邊增強函數F(dark)中，若梯度總和Gtotal小於等於一梯度下限值G1(本實施例為15)，增強門檻值Tt會維持一增強下限值T1(本實施例為20)。若梯度總和Gtotal大於等於一梯度上限值G2(本實施例為30)，增強門檻值Tt會維持一增強上限值T2(本實施例為43)。而若梯度總和Gtotal介於梯度下限值G1與梯度上限值G2之間，增強門檻值Tt將根據梯度總和Gtotal線性改變。於暗邊增強函數F(dark)中，有關梯度總和Gtotal與增強門檻值Tt之間的關係可以根據實際狀況來作設計，本發明對此不作限制。
類似地，如圖10B所示，當目前像素位於亮邊時，影像處理器120係透過一亮邊增強函數F(light)來計算增強門檻值Tt。亮邊增強函數F(light)表示梯度總和Gtotal與增強門檻值Tt之間的關係。於亮邊增強函數F(dark)中，若梯度總和Gtotal小於等於一梯度下限值G3(本實施例為9)，增強門檻值Tt會維持一增強下限值T3(本實施例為2)。若梯度總和Gtotal大於等於一梯度上限值G4(本實施例為24)，增強門檻值Tt會維持一增強上限值T4(本實施例為32)。而若梯度總和Gtotal介於梯度下限值G3與梯度上限值G4之間，增強門檻值Tt將根據梯度總和Gtotal線性改變。於亮邊增強函數F(light)中，有關梯度總和Gtotal與增強門檻值Tt之間的關係可以根據實際狀況來作設計，本發明對此不作限制。
承接上述例子，本實施例的目前像素P12位於亮邊，梯度總和Gtotal為22，且欲增強的數值Si為20。因此，影像處理器120將根據亮邊增強函數F(light)來計算增強門檻值Tt=(22-9)*(32-2)/(24-9)+2=28，以藉此限制目前像素P12欲增強的數值Si。當欲增強的數值Si大於增強門檻值Tt時，影像處理 器120將調降欲增強的數值Si至增強門檻值Tt，以產生邊緣增強值Si’。而當欲增強的數值小於等於增強門檻值Tt時，影像處理器120將欲增強的數值Si作為邊緣增強值Si’。在本實施例中，目前像素P12的欲增強的數值Si為20。因此，影像處理器120的邊緣增強值Si’為20。
由上述可知，影像處理器120可根據目前像素位於暗邊或亮邊適應性地調整目前像素欲增強的數值Si而產生邊緣增強值Si’，以避免產生不適當的正/負脈衝。此外，光線亮度在輸入影像Im的中間位置會比角落位置更大。因此，影像處理器120將進一步考慮目前像素在輸入影像中的位置，以產生更佳的影像邊緣增強，以下將進一步介紹在步驟S340-S370。
在步驟S340中，影像處理器120將判斷目前像素位於影像邊緣的一內側區域或一外側區域。內側區域為靠近影像邊緣的一中間位置，且外側區域為遠離影像邊緣的中間位置。當影像處理器120判斷目前像素位於內側區域時，將執行步驟S350。而當影像處理器120判斷目前像素位於外側區域時，將執行步驟S360。
更進一步來說，當目前像素位於影像邊緣的亮邊時，影像處理器120將判斷目前像素加上邊緣增強值Si’所產生的判斷值是否大於目前像素周圍的最大像素。若是，代表目前像素位於影像邊緣的外側區域。反之，則代表目前像素位於影像邊緣的內側區域。而上述目前像素P12的周圍係代表以目前像素P12為中心向外擴散一預定像素個數。在本實施例中，目前像素P12的周圍係代表以目前像素P12為中心向外擴散所形成5*5的範圍，如圖4所示的像素P0-P24。
類似地，當目前像素位於影像邊緣的暗邊時，影像處理器120將判斷目前像素減去邊緣增強值Si’所產生的判斷值是否小於目前像素周圍的最小像素。若是，代表目前像素位於影像邊緣 的外側區域。反之，則代表目前像素位於影像邊緣的內側區域。
承接上述例子，目前像素P12位於影像邊緣的亮邊，目前像素P12的邊緣增強值Si’為20。此時，影像處理器12將判斷判斷值(=52+20=72)小於目前像素P12周圍的最大像素(88)。代表目前像素P12位於影像邊緣的內側區域。
在步驟S350中，若目前像素位於內側區域，影像處理器120將根據一第一增強幅度來調整邊緣增強值Si’，以產生一最後增強像素，並接著執行步驟S370。更進一步來說，若目前像素位於內側區域，影像處理器120將設定一內側增強幅度ENin，且隨著目前像素與影像中央位置的一距離差距調整內側增強幅度ENin，以產生第一增強幅度ENin_final。內側增強幅度ENin為一參數值，且使用者可透過影像處理器120事先設定內側增強幅度ENin。
如圖11所示，在本實施例中，影像處理器120係根據一內外側增強函數F(en)來計算，以隨著目前像素與影像中央位置的一距離差距D調整內側增強幅度ENin，進而產生第一增強幅度ENin_final。內外側增強函數F(en)表示距離差距D與一調整幅度Ia之間的關係。
於內外側增強函數F(en)中，若距離差距D小於等於一距離下限值D0(本實施例為200)，表示目前像素很接近影像中央位置。此時，調整幅度Ia會維持一調整下限值I0(本實施例為0，即不調整)。若距離差距D大於等於一距離上限值D1(本實施例為500)，表示目前像素很遠離影像中央位置。此時，調整幅度Ia會維持一調整上限值I1(本實施例為15)。而若距離差距D介於距離下限值D0與距離上限值D1之間，調整幅度Ia將根據距離差距D線性改變。於內外側增強函數F(en)中，有關距離差距D與調整幅度Ia之間的關係可以根據實際狀況來作設計，本發明對此不作限制。
承接上述例子，目前像素P12位於內側區域，且內側增強幅度ENin設定為2。若輸入影像Im的影像大小為1280*720，且目前像素P12的座標為(621,158)。影像處理器120將計算目前像素P12與影像中央位置的距離差距D=|158-720/2|+|621-1280/2|=202+19=221。如圖11所示，影像處理器120將根據距離差距D計算出調整幅度Ia=(221-200)*(15-0)/(500-200)+0=1.05。影像處理器120接著將內側增強幅度ENIn加上調整幅度Ia(即2+1.05)以調整內側增強幅度ENin，進而產生第一增強幅度ENin_final為3.05。
再來，影像處理器120將根據第一增強幅度ENin_final來調整邊緣增強值Si’，以產生一最後增強像素S_final。更進一步來說，影像處理器120正規化第一增強幅度ENin_final，即1加上第一增強幅度ENin_final除以精度值(本實施例為8)。接著，影像處理器120將邊緣增強值Si’乘以正規化後的第一增強幅度ENin’，以據此產生最後增強像素S_final。承接上述例子，最後增強像素S_final=Si’*ENin’=20*(1+3.05/8)=27。
而類似地，在步驟S360中，若目前像素位於外側區域，影像處理器120將根據一第二增強幅度來調整邊緣增強值Si’，以產生一最後增強像素，並接著執行步驟S370。更進一步來說，若目前像素位於外側區域，影像處理器120將設定一外側增強幅度ENout，且隨著目前像素與影像中央位置的一距離差距調整外側增強幅度ENout，以產生第二增強幅度ENout_final。外側增強幅度ENout為一參數值，且使用者可透過影像處理器120事先設定外側增強幅度ENout。
如圖11所示，在本實施例中，影像處理器120係根據一內外側增強函數F(en)來計算，以隨著目前像素P12與影像中央位置的一距離差距D調整外側增強幅度ENout，進而產生第二增強幅度ENout_final。內外側增強函數F(en)表示距離差距D與一調 整幅度Ia之間的關係。有關內外側增強函數F(en)的實施方式已於步驟S350中作說明，故在此不再贅述。
假設一目前像素P0位於影像邊緣的暗邊，邊緣增強值Si’為9，且外側增強幅度ENout設定為3。若輸入影像Im的影像大小為1280*720，且目前像素P0的座標為(619,156)。影像處理器120將計算目前像素P0與影像中央位置的距離差距D=|156-720/2|+|619-1280/2|=204+21=225。如圖11所示，影像處理器120將根據距離差距D計算出調整幅度Ia=(225-200)*(15-0)/(500-200)+0=1.25。影像處理器120接著將內側增強幅度ENout加上調整幅度Ia(即3+1.25)以調整內側增強幅度ENout，進而產生第二增強幅度ENout_final為4.25。
再來，影像處理器120將根據第二增強幅度ENout_final來調整邊緣增強值Si’，以產生最後增強像素S_final。更進一步來說，影像處理器120正規化第二增強幅度ENout_final，即1加上第二增強幅度ENout_final除以精度值(本實施例為8)。接著，影像處理器120將邊緣增強值Si’乘以一正規化後的第二增強幅度ENout’，以據此產生最後增強像素S_final。承接上述例子，最後增強像素S_final=Si’*ENout’=9*(1+4.25/8)=14。
由上述可知，影像處理器120可根據目前像素位於影像邊緣的一內側區域或一外側區域，以及位於輸入影像Im中的位置來適應性地調整最後增強像素S_final，以避免產生不適當的正/負脈衝，進而產生更佳的影像邊緣增強
在步驟S370中，若目前像素P12位於暗邊，影像處理器120將結合目前像素P12與最後增強像素S_final作為調整後像素，且根據一像素比例Rb混合(blending)調整後像素與目前像素P12周圍的一最小像素Pmin以產生輸出像素P12’。在本實施例中，輸出像素P12’可表示為下式(1)，如下所示：P12’=(1-Rb)*(P12+S_final)+Rb*Pmin 式(1) 其中，目前像素P12加上最後增強像素S_final代表調整後像素，Pmin為目前像素P12周圍的最小像素。Rb為像素比例，且可根據實際狀況作設定。
而若目前像素P12位於亮邊，影像處理器120將結合目前像素P12與最後增強像素S_final作為調整後像素，且根據像素比例Rb混合調整後像素與目前像素P12周圍的一最大像素Pmax以產生輸出像素P12’。在本實施例中，輸出像素P12’可表示為下式(2)，如下所示：P12’=(1-Rb)*(P12+S_final)+Rb*Pmax 式(2)其中，目前像素P12加上最後增強像素S_final代表調整後像素，Pmax為目前像素P12周圍的最大像素。Rb為像素比例，且可根據實際狀況作設定。
承接上述例子，目前像素P12位於亮邊，目前像素P12的最後增強像素S_final為27，且像素比例Rb設定為0。因此，輸出像素P12’=(1-Rb)*(P12+S_final)+Rb*Pmin=(1-0)*(52+27)+0*9=79。請同時參考圖12A、12B與12C，其顯示輸出像素P12’在不同像素比例Rb(依序為0、0.5與1)的狀況。因此，使用者可依照合適的影像邊緣增強方式來設定像素比例Rb。
綜上所述，本發明實施例所提供的一種增強影像邊緣的電子裝置與影像處理方法，可以根據目前像素位於影像邊緣的位置以及目前像素在輸入影像中的位置來適應性地調整作為邊緣像素的目前像素，以藉此輸出調整後的像素。據此，本發明的電子裝置與影像處理方法可以根據實際影像狀況來增強影像邊緣。
以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。

Claims (10)

  1. 一種影像處理方法，適用於一電子裝置，用以調整一輸入影像中位於一影像邊緣的每一個邊緣像素，且該影像處理方法包括：(A)接收該輸入影像中的每一個像素；(B)於判斷一目前像素作為該邊緣像素時，計算該目前像素位於該影像邊緣的一亮邊或一暗邊，且計算該目前像素欲增強的數值；(C)根據一增強門檻值調整該數值以產生一邊緣增強值；(D)將該目前像素加上該邊緣增強值所產生的一判斷值與該目前像素周圍的像素進行比較以判斷該目前像素位於該影像邊緣的一內側區域或一外側區域；(E)若該目前像素位於該內側區域，根據一第一增強幅度調整該邊緣增強值以產生一最後增強像素，且若該目前像素位於該外側區域，根據一第二增強幅度調整該邊緣增強值以產生該最後增強像素；其中該第一增強幅度與該第二增強幅度關聯於該目前像素位於該輸入影像中的位置；以及(F)若該目前像素位於該亮邊，結合該目前像素與該最後增強像素作為一調整後像素，且根據一像素比例混合(blending)該調整後像素與該目前像素周圍的一最大像素以產生一輸出像素，且若該目前像素位於該暗邊，結合該目前像素與該最後增強像素作為該調整後像素，且根據該像素比例混合該調整後像素與該目前像素周圍的一最小像素以產生該輸出像素。
  2. 如請求項1之影像處理方法，其中，於該步驟(A)後，更包括：依序將每一該像素作為該目前像素；計算該目前像素在複數個方向上的邊緣梯度值；根據該些邊緣梯度值判斷該目前像素是否位於該影像邊緣；若該目前像素位於該影像邊緣，執行該步驟(B)；以及若該目前像素不位於該影像邊緣，將下一個像素作為該目前像素，並重新判斷該目前像素是否位於該影像邊緣。
  3. 如請求項1之影像處理方法，其中，於該步驟(B)計算該目前像素位於該影像邊緣的該亮邊或該暗邊中，更包括：根據一響應遮罩計算該目前像素的一邊緣響應值，以判斷該目前像素位於該影像邊緣的該亮邊或該暗邊。
  4. 如請求項2之影像處理方法，其中，於該步驟(C)中，更包括：若該目前像素位於該亮邊，根據該些邊緣梯度值計算一梯度總和，其中該梯度總和關聯於該目前像素所在該亮邊的強度；若該目前像素位於該暗邊，根據該些邊緣梯度值計算該梯度總和，其中該梯度總和關聯於該目前像素所在該暗邊的強度；以及根據該梯度總和計算該增強門檻值。
  5. 如請求項1之影像處理方法，其中，於該步驟(D)中，更包括：若該目前像素位於該影像邊緣的該亮邊時，判斷該目前像素加上該邊緣增強值所產生的一判斷值是否大於該目前像素周圍的該最大像素；若是，代表該目前像素位於該影像邊緣的該外側區域；以及若否，代表該目前像素位於該影像邊緣的該內側區域。
  6. 如請求項5之影像處理方法，其中，於判斷該邊緣增強值是否大於該目前像素周圍的該最大像素的步驟中，該目前像素的周圍代表以該目前像素為中心向外擴散一預定像素個數。
  7. 如請求項1之影像處理方法，其中，於該步驟(D)中，更包括：若該目前像素位於該影像邊緣的該暗邊時，判斷該目前像素減去該邊緣增強值所產生的一判斷值是否小於該目前像素周圍的該最小像素；若是，代表該目前像素位於該影像邊緣的該外側區域；以及若否，代表該目前像素位於該影像邊緣的該內側區域。
  8. 如請求項7之影像處理方法，其中，於判斷該邊緣增強值是否小於該目前像素周圍的該最小像素的步驟中，該目前像素的周圍代表以該目前像素為中心向外擴散一預定像素個數。
  9. 如請求項1之影像處理方法，其中，於該步驟(E)中，更包括：若該目前像素位於該內側區域，設定一內側增強幅度，且隨著該目前像素與該影像中央位置的一距離差距調整該內側增強幅度以產生第一增強幅度；以及若該目前像素位於該外側區域，設定一外側增強幅度，且隨著該目前像素與該影像中央位置的該距離差距調整該外側增強幅度以產生該第二增強幅度。
  10. 一種增強影像邊緣的電子裝置，用以調整一輸入影像中位於一影像邊緣的每一個邊緣像素，且包括：一影像擷取裝置，接收該輸入影像，且依序擷取該輸入影像中的每一個像素；一影像處理器，電連接該影像擷取裝置，且用以執行下列步驟：(A)接收該輸入影像中的每一個像素；(B)於判斷一目前像素作為該邊緣像素時計算該目前像素位於該影像邊緣的一亮邊或一暗邊，且計算該目前像素欲增強的數值；(C)根據一增強門檻值調整該數值以產生一邊緣增強值；(D)將該目前像素加上該邊緣增強值所產生的一判斷值與該目前像素周圍的像素進行比較以判斷該目前像素位於該影像邊緣的一內側區域或一外側區域；(E)若該目前像素位於該內側區域，根據一第一增強幅度調整該邊緣增強值以產生一最後增強像素，且若該目前像素位於該外側區域，根據一第二增強幅度調整該邊緣增強值以產生該最後增強像素；其中該第一增強幅度與該第二增強幅度關聯於該目前像素位於該輸入影像中的位置；以及(F)若該目前像素位於該亮邊，結合該目前像素與該最後增強像素作為一調整後像素，且根據一像素比例混合該調整後像素與該目前像素周圍的一最大像素以產生一輸出像素，且若該目前像素位於該暗邊，結合該目前像素與該最後增強像素作為該調整後像素，且根據該像素比例混合該調整後像素與該目前像素周圍的一最小像素以產生該輸出像素。
TW106137402A 2017-10-30 2017-10-30 增強影像邊緣的電子裝置與影像處理方法 TWI640958B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106137402A TWI640958B (zh) 2017-10-30 2017-10-30 增強影像邊緣的電子裝置與影像處理方法
US16/059,607 US10586313B2 (en) 2017-10-30 2018-08-09 Electronic apparatus and image processing method for image edge enhancement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106137402A TWI640958B (zh) 2017-10-30 2017-10-30 增強影像邊緣的電子裝置與影像處理方法

Publications (2)

Publication Number Publication Date
TWI640958B true TWI640958B (zh) 2018-11-11
TW201917691A TW201917691A (zh) 2019-05-01

Family

ID=65034232

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106137402A TWI640958B (zh) 2017-10-30 2017-10-30 增強影像邊緣的電子裝置與影像處理方法

Country Status (2)

Country Link
US (1) US10586313B2 (zh)
TW (1) TWI640958B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022029840A (ja) * 2020-08-05 2022-02-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200614810A (en) * 2004-08-27 2006-05-01 Micron Technology Inc Apparatus and method for processing images
TW200813888A (en) * 2006-09-06 2008-03-16 Magic Pixel Inc Color interpolation method and image processing apparatus using the same
US20090141999A1 (en) * 2007-12-04 2009-06-04 Mao Peng Method of Image Edge Enhancement
CN101727659A (zh) * 2008-10-31 2010-06-09 比亚迪股份有限公司 一种图像边缘增强方法及系统
US20140023268A1 (en) * 2012-07-23 2014-01-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2280376B1 (en) * 2002-02-12 2015-10-28 Panasonic Intellectual Property Corporation of America Image processing apparatus and image processing method
TWI272853B (en) * 2005-09-21 2007-02-01 Quanta Comp Inc Image edge enhancement apparatus and method thereof
TWI372365B (en) * 2006-09-06 2012-09-11 Realtek Semiconductor Corp Method and apparatus for directional edge enhancement
JP5407462B2 (ja) * 2009-03-19 2014-02-05 富士通株式会社 画像出力装置、輪郭強調装置及び輪郭強調方法
CN102640485B (zh) * 2010-09-28 2015-09-09 松下电器（美国）知识产权公司 图像处理装置、图像处理方法及集成电路
JP2013165476A (ja) * 2011-11-11 2013-08-22 Mitsubishi Electric Corp 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体
TWI542217B (zh) * 2014-03-12 2016-07-11 瑞昱半導體股份有限公司 像素值校正裝置與方法
US10547820B2 (en) * 2014-09-12 2020-01-28 Seek Thermal, Inc. Selective color display of a thermal image
TWI546769B (zh) * 2015-04-10 2016-08-21 瑞昱半導體股份有限公司 影像處理裝置與影像處理方法
KR102584522B1 (ko) * 2016-12-27 2023-10-05 한화비전 주식회사 영상처리장치 및 그의 영상보정방법
TWI638336B (zh) * 2017-11-22 2018-10-11 瑞昱半導體股份有限公司 影像增強方法及影像增強裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200614810A (en) * 2004-08-27 2006-05-01 Micron Technology Inc Apparatus and method for processing images
TW200813888A (en) * 2006-09-06 2008-03-16 Magic Pixel Inc Color interpolation method and image processing apparatus using the same
US20090141999A1 (en) * 2007-12-04 2009-06-04 Mao Peng Method of Image Edge Enhancement
CN101727659A (zh) * 2008-10-31 2010-06-09 比亚迪股份有限公司 一种图像边缘增强方法及系统
US20140023268A1 (en) * 2012-07-23 2014-01-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Also Published As

Publication number Publication date
US20190130549A1 (en) 2019-05-02
US10586313B2 (en) 2020-03-10
TW201917691A (zh) 2019-05-01

Similar Documents

Publication Publication Date Title
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
US9218653B2 (en) Method and apparatus for dynamic range enhancement of an image
JP6442209B2 (ja) 画像処理装置およびその制御方法
JP5829107B2 (ja) 画像処理装置、画像処理方法、及びプログラム
TWI539820B (zh) 投影系統及其亮度調整方法
US10937130B1 (en) Image color enhancement method and device
WO2016075744A1 (ja) プロジェクタ及び映像表示方法
TWI520101B (zh) 美化影像中人體膚色的方法、美化影像中人體膚色的裝置、調整影像中人體膚色亮度的方法及調整影像中人體膚色亮度的裝置
JP2015097350A (ja) 画像処理装置およびマルチプロジェクションシステム
WO2021218603A1 (zh) 图像处理方法及投影系统
JP2014154108A (ja) 画像処理装置
JP2016076908A (ja) 撮像装置およびその制御方法、並びにプログラム
TWI640958B (zh) 增強影像邊緣的電子裝置與影像處理方法
US20160277657A1 (en) Video processing method and apparatus
US10582193B2 (en) Light field display control method and apparatus, and light field display device
JP2007096437A (ja) 画像生成者の意図の判定
US10812678B2 (en) Image processing device, imaging apparatus, image printing apparatus, control method of image processing device, and image processing program for performing correction processing on image
JP7462458B2 (ja) 画像処理装置、画像処理方法
CN109754371B (zh) 增强影像边缘的电子装置与影像处理方法
JP2017084302A (ja) 黒目位置検出装置、電子機器、プログラムおよび黒目位置検出方法
JP6867563B1 (ja) 画像処理方法
US20230162335A1 (en) Image adjustment apparatus, image adjustment method and program
JP6039778B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016051982A (ja) 画像処理装置、カメラおよび画像処理プログラム
JP5294595B2 (ja) 輪郭強調方法