TWI594635B - 產生寬動態範圍運算的目標增益值的方法 - Google Patents

產生寬動態範圍運算的目標增益值的方法 Download PDF

Info

Publication number
TWI594635B
TWI594635B TW105101144A TW105101144A TWI594635B TW I594635 B TWI594635 B TW I594635B TW 105101144 A TW105101144 A TW 105101144A TW 105101144 A TW105101144 A TW 105101144A TW I594635 B TWI594635 B TW I594635B
Authority
TW
Taiwan
Prior art keywords
gain value
initial gain
image
brightness
value
Prior art date
Application number
TW105101144A
Other languages
English (en)
Other versions
TW201725903A (zh
Inventor
張緯德
陳世澤
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW105101144A priority Critical patent/TWI594635B/zh
Priority to US15/296,324 priority patent/US9800793B2/en
Publication of TW201725903A publication Critical patent/TW201725903A/zh
Application granted granted Critical
Publication of TWI594635B publication Critical patent/TWI594635B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

產生寬動態範圍運算的目標增益值的方法
本發明有關影像處理技術，尤指一種產生寬動態範圍(wide dynamic range，WDR)運算的目標增益值的方法。
高動態範圍(high dynamic range，HDR)運算對於改善高反差影像的清晰度有很大幫助，因此被廣泛應用在許多影像處理系統中，例如，數位相機、智慧型手機、平板電腦、監控系統等等。
傳統的高動態範圍運算是為連續時間點的多張影像分別設置成具有不同的曝光值，再將這些影像合成一張暗部(dark portion)以及亮部(bright portion)都能達到適中亮度的影像。
然而，前述的傳統高動態範圍運算需要搭配較複雜的感光元件設計才能進行，不可避免地會增加整體系統的電路複雜度。
有鑑於此，如何在不增加電路複雜度的情況下改善高反差影像的能見度與清晰度，實為業界有待解決的問題。
本說明書提供一種產生一寬動態範圍運算的一目標增益值的方法的實施例，其包含：獲取與一視訊畫面的一影像亮部的像素平均亮度值對應的一亮部平均亮度；獲取與該視訊畫面的一影像暗部的像素平均亮度值對應的一暗部平均亮度；依據該亮部平均亮度及該暗部平均亮度之間的差值，產生該寬動態範圍運算的一初始 增益值；以及依據該視訊畫面的一影像色溫及一影像曝光時間設定值的至少其一，調整該初始增益值以產生該目標增益值。
上述實施例的優點之一，是影像處理系統可透過數位運算的寬動態範圍技術來對高反差影像進行補償，而不需要搭配複雜的感光元件來運作，故能有效降低電路的複雜度。
本發明的其他優點將藉由以下的說明和圖式進行更詳細的解說。
110~160‧‧‧方法流程
470~480‧‧‧方法流程
500‧‧‧視訊畫面
510‧‧‧影像中央區域
520‧‧‧影像周圍區域
圖1為本發明一第一實施例之產生寬動態範圍運算的目標增益值的方法簡化後的流程圖。
圖2為本發明一實施例之依據暗部平均亮度調整寬動態範圍運算的初始增益值權重的方法簡化後的示意圖。
圖3為本發明一實施例之依據影像暗部的像素總量調整寬動態範圍運算的初始增益值權重的方法簡化後的示意圖。
圖4為本發明一第二實施例之產生寬動態範圍的目標增益值的方法簡化後的流程圖。
圖5與圖6為本發明不同實施例之視訊畫面簡化後的示意圖。
以下將配合相關圖式來說明本發明的實施例。在圖式中，相同的標號表示相同或類似的元件或方法流程。
圖1為本發明一第一實施例之產生寬動態範圍(wide dynamic range，WDR)運算的目標增益值的方法簡化後的流程圖。在實際應用中，數位相機、智慧型手機、平板電腦、監控系統等各種影像處理系統(image processing system)，可藉由執行實施圖1中的方法的軟體，產生對特定視訊畫面進行寬動態範圍運算時所需的一目標增益值。 接著，影像處理系統便可依據該目標增益值對該視訊畫面進行寬動態範圍運算，以提升處理後的視訊畫面的能見度與清晰度。
在對特定視訊畫面進行寬動態範圍運算前，影像處理系統可進行流程110，以獲取與一視訊畫面的一影像亮部(bright portion)的像素平均亮度值對應的一亮部平均亮度(average bright portion luminance)，以及獲取與該視訊畫面的一影像暗部(dark portion)的像素平均亮度值對應的一暗部平均亮度(average dark portion luminance)。
實作上，影像處理系統可從既有電路的計算結果直接獲取前述的亮部平均亮度及暗部平均亮度，也可以針對該特定視訊畫面重新進行亮度計算。
在流程120中，影像處理系統可依據該亮部平均亮度及該暗部平均亮度之間的差值，產生寬動態範圍運算的一初始增益值。一般而言，該亮部平均亮度及該暗部平均亮度之間的差值越大，代表該特定視訊畫面屬於高反差場景(high contrast scene)的可能性越高。反之，該亮部平均亮度及該暗部平均亮度之間的差值越小，代表則該特定視訊畫面屬於高反差場景的可能性也就越低。因此，影像處理系統可將該初始增益值的大小，設置成與該亮部平均亮度及該暗部平均亮度之間的差值成正比例關係。
有鑑於前述亮部平均亮度及暗部平均亮度之間的差值無法完全反應出該特定視訊畫面的場景類型，因此，影像處理系統還會進行流程130及140。
在流程130中，影像處理系統可依據該特定視訊畫面的一影像色溫調整該初始增益值。色溫越高代表該特定視訊畫面為戶外場景 的可能性較大。反之，色溫越低代表該特定視訊畫面為室內場景的可能性較大。一般而言，戶外場景出現強背光情況的機率較高。室內場景也許也會有背光的情況，但背光程度通常較室外場景較低。因此，影像處理系統可將該初始增益值的大小設置成與該影像色溫的高低成正比例關係。
在流程140中，影像處理系統可依據該視訊畫面的一影像曝光時間設定值調整該初始增益值。此處所稱的影像曝光時間設定值，指的是在硬體寬動態範圍機制關閉時的感光元件之曝光設定值。一般而言，曝光時間設定值越短，代表該特定視訊畫面屬於室外場景的機率越高。反之，曝光時間設定值越長，代表該特定視訊畫面屬於室內場景的機率越高。因此，影像處理系統可將該初始增益值的大小設置成與該影像曝光時間設定值的長短成反比例關係。
為了使後續的寬動態範圍運算獲得更準確的結果，影像處理系統也可進一步將前述的暗部平均亮度以及影像暗部的像素總量納入考慮，以進一步調整寬動態範圍運算的增益值。
例如，在進行前述的流程130與140之後，影像處理系統還可進行流程150，進一步依據該暗部平均亮度調整該初始增益值的權重。
請參考圖2，其所繪示為本發明一實施例之依據暗部平均亮度調整寬動態範圍運算的初始增益值權重的方法簡化後的示意圖。
如圖2所示，若該特定視訊畫面的暗部平均亮度低於一臨界亮度值L1，則影像處理系統可將該初始增益值的權重固定在一第一預定權重值W1。倘若該暗部平均亮度高於臨界亮度值L1，則影像處理系統可將該初始增益值的權重大小設置成與該暗部平均亮度 成反比例關係，例如圖2中所繪示的反比例線性關係。
另外，在依據該暗部平均亮度調整該初始增益值的權重之後，影像處理系統還可進行流程160，進一步依據該特定視訊畫面的影像暗部的像素總量調整該初始增益值的權重。
請參考圖3，其所繪示為本發明一實施例之依據影像暗部的像素總量調整寬動態範圍運算的初始增益值權重的方法簡化後的示意圖。
如圖3所示，若該特定視訊畫面的影像暗部的像素總量介於一第一預定數量Q1與一第二預定數量Q2之間，則影像處理系統可將該初始增益值的權重大小設置成與該影像暗部的像素總量成正比例關係，例如圖3中所繪示的正比例線性關係。倘若該影像暗部的像素總量超過該第二預定數量Q2，則影像處理系統可將該初始增益值的權重固定在一第二預定權重值W2。
在圖1的實施例中，影像處理系統可利用經過前述權重調整後的初始增益值，做為對特定視訊畫面進行寬動態範圍運算時所需的目標增益值，並依據該目標增益值對該特定視訊畫面進行寬動態範圍運算。
由前述可知，影像處理系統採用圖1的方法時，只需依據單一視訊畫面的資料進行運算，便可獲得對該視訊畫面進行寬動態範圍運算時所需的目標增益值，而無需對其他視訊畫面的資料進行運算，故可有效降低影像處理系統所需的運算量。
另外，由於影像處理系統可透過數位運算的寬動態範圍技術來對高反差影像進行補償，而不需要搭配複雜的感光元件來運作，故能有效降低電路的複雜度。
再者，除了依據亮部平均亮度及暗部平均亮度之間的差值之外，圖1的方法還會依據影像色溫或影像曝光時間設定值來調整寬動態範圍的增益值，故能提升寬動態範圍運算的準確性，以進一步改善處理後的視訊畫面的能見度與清晰度。
圖4為本發明一第二實施例之產生寬動態範圍的目標增益值的方法簡化後的流程圖。圖4實施例的主要流程與前述圖1的實施例很類似，但圖4的實施例中還增加流程470與480。
如圖4所示，在依據該影像暗部的像素總量調整該初始增益值的權重之後，影像處理系統還可進行流程470，以進一步計算與前述特定視訊畫面的一影像中央區域(central region)的像素平均亮度值對應的一中心亮度(central luminance)，並計算與該特定視訊畫面的一影像周圍區域(peripheral region)的像素平均亮度值對應的一周圍亮度(peripheral luminance)。
例如，圖5為本發明一實施例之視訊畫面500簡化後的示意圖。視訊畫面500包含一長方形的影像中央區域510，以及圍繞著影像中央區域510的一影像周圍區域520(亦即虛線所表示的部分)。
以圖5的實施例而言，影像處理系統可在流程470中計算與影像中央區域510的像素平均亮度值對應的一中心亮度，並計算與影像周圍區域520的像素平均亮度值對應的一周圍亮度。
接著，影像處理系統可進行流程480，進一步依據該中心亮度與該周圍亮度之間的差值調整該初始增益值的權重，以產生該目標增益值。由於人眼對於影像中央區域的敏感度較高，因此，影像處理系統可將該初始增益值的權重大小設置成與該中心亮度及該周圍亮度之間的差值成正比例關係，以產生該目標增益值。
前述有關圖1中的流程110~160的實施方式及相關優點的說明，亦適用於圖4的實施例中。為簡潔起見，在此不重複敘述。
由於圖4的方法進一步將該特定視訊畫面的影像中央區域及影像周圍區域之間的亮度差納入考慮，因此，採用圖4的方法所產生的目標增益值能更進一步提升寬動態範圍運算的準確性，以提升處理後的視訊畫面的能見度與清晰度。
請注意，前述圖1與圖4中的流程執行順序只是一示範性的實施例，並非侷限本發明的實際實施方式。例如，流程130與140可以同時進行或是對調順序，也可以省略流程130與140的其中之一。在某些實施例中，也可以將流程160省略，或是將流程150及160都省略。另外，流程470與480可以調整到流程150之前進行，也可以在某些應用中將流程470與480都省略，以節省系統所需的運算量。
另外，前述影像中央區域510的形狀只是一示範性的實施例，而非侷限本發明的實際實施方式。實作上，亦可將視訊畫面的影像中央區域的形狀改定義為其他形狀，例如，橢圓形、圓角四邊形、六角形、八角形、正方形等等。例如，圖6為本發明另一實施例之視訊畫面500簡化後的示意圖。在圖6的實施例中，影像中央區域510的形狀為橢圓形，而非圖5中的長方形。
以上僅為本發明的較佳實施例，凡依本發明請求項所做的均等變化與修飾，皆應屬本發明的涵蓋範圍。
110~160‧‧‧方法流程

Claims (10)

  1. 一種產生一寬動態範圍運算的一目標增益值的方法，包含：獲取與一視訊畫面的一影像亮部的像素平均亮度值對應的一亮部平均亮度；獲取與該視訊畫面的一影像暗部的像素平均亮度值對應的一暗部平均亮度；依據該亮部平均亮度及該暗部平均亮度之間的差值，產生該寬動態範圍運算的一初始增益值；以及依據該視訊畫面的一影像色溫及一影像曝光時間設定值的至少其一，調整該初始增益值以產生該目標增益值。
  2. 如請求項1所述的方法，其中，產生該初始增益值的流程包含：將該初始增益值的大小設置成與該亮部平均亮度及該暗部平均亮度之間的差值成正比例關係。
  3. 如請求項1所述的方法，其中，調整該初始增益值的流程包含：將該初始增益值的大小設置成與該影像色溫的高低成正比例關係。
  4. 如請求項1所述的方法，其中，調整該初始增益值的流程包含：將該初始增益值的大小設置成與該影像曝光時間設定值的長短成反比例關係。
  5. 如請求項1所述的方法，其中，調整該初始增益值的流程包含：在依據該影像色溫及該影像曝光時間設定值的至少其一調整該初始增益值之後，進一步依據該暗部平均亮度調整該初始增益值的權重，以產生該目標增益值。
  6. 如請求項5所述的方法，其中，調整該初始增益值的權重的流程包含： 若該暗部平均亮度低於一臨界亮度值(L1)，則將該初始增益值的權重固定在一第一預定權重值(W1)；以及若該暗部平均亮度高於該臨界亮度值(L1)，則將該初始增益值的權重大小設置成與該暗部平均亮度成反比例關係。
  7. 如請求項5所述的方法，其中，調整該初始增益值的流程包含：在依據該暗部平均亮度調整該初始增益值的權重之後，進一步依據該影像暗部的像素總量調整該初始增益值的權重，以產生該目標增益值。
  8. 如請求項7所述的方法，其中，依據該影像暗部的像素總量調整該初始增益值的權重的流程包含：若該影像暗部的像素總量介於一第一預定數量(Q1)與一第二預定數量(Q2)之間，則將該初始增益值的權重大小設置成與該影像暗部的像素總量成正比例關係。
  9. 如請求項1所述的方法，其中，調整該初始增益值的流程包含：計算與該視訊畫面(500)的一影像中央區域(510)的像素平均亮度值對應的一中心亮度；計算與該視訊畫面(500)的一影像周圍區域(520)的像素平均亮度值對應的一周圍亮度；以及在依據該影像色溫及該影像曝光時間設定值的至少其一調整該初始增益值之後，進一步依據該中心亮度及該周圍亮度之間的差值調整該初始增益值的權重，以產生該目標增益值。
  10. 如請求項9所述的方法，其中，依據該中心亮度與該周圍亮度之間的差值調整該初始增益值的權重的流程包含：將該初始增益值的權重大小設置成與該中心亮度及該周圍亮度之 間的差值成正比例關係。
TW105101144A 2016-01-14 2016-01-14 產生寬動態範圍運算的目標增益值的方法 TWI594635B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105101144A TWI594635B (zh) 2016-01-14 2016-01-14 產生寬動態範圍運算的目標增益值的方法
US15/296,324 US9800793B2 (en) 2016-01-14 2016-10-18 Method for generating target gain value of wide dynamic range operation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105101144A TWI594635B (zh) 2016-01-14 2016-01-14 產生寬動態範圍運算的目標增益值的方法

Publications (2)

Publication Number Publication Date
TW201725903A TW201725903A (zh) 2017-07-16
TWI594635B true TWI594635B (zh) 2017-08-01

Family

ID=59314838

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105101144A TWI594635B (zh) 2016-01-14 2016-01-14 產生寬動態範圍運算的目標增益值的方法

Country Status (2)

Country Link
US (1) US9800793B2 (zh)
TW (1) TWI594635B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9871972B2 (en) * 2016-06-21 2018-01-16 Himax Imaging Limited Auto exposure control system and method
TWI664860B (zh) * 2017-12-04 2019-07-01 瑞昱半導體股份有限公司 影像調整裝置與方法
CN112735353B (zh) * 2019-10-28 2022-05-13 瑞昱半导体股份有限公司 屏幕亮度均匀性校正装置与方法
JP7471832B2 (ja) * 2020-01-23 2024-04-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN118158538B (zh) * 2024-05-09 2024-08-02 杭州海康威视数字技术股份有限公司 一种宽动态自动曝光控制方法及图像采集设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158400A1 (en) * 2002-06-26 2008-07-03 Pixim, Incorporated Digital Image Capture Having an Ultra-High Dynamic Range
US20100225783A1 (en) * 2009-03-04 2010-09-09 Wagner Paul A Temporally Aligned Exposure Bracketing for High Dynamic Range Imaging
TW201410017A (zh) * 2012-07-20 2014-03-01 Canon Kk 影像擷取設備、影像擷取設備之控制方法及電子裝置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614948A (en) * 1996-04-26 1997-03-25 Intel Corporation Camera having an adaptive gain control
JP4327928B2 (ja) * 1999-02-26 2009-09-09 メディア・テック・ユーエスエイ・インコーポレーテッド 電子カメラ装置
US8154628B2 (en) * 2006-09-14 2012-04-10 Mitsubishi Electric Corporation Image processing apparatus and imaging apparatus and method
CN101971612B (zh) * 2007-12-04 2013-05-01 索尼公司 图像处理装置和方法
KR101287667B1 (ko) * 2009-03-09 2013-07-24 아사히 가세이 이-매터리얼즈 가부시키가이샤 적층 세퍼레이터, 폴리올레핀 미다공막 및 축전 디바이스용 세퍼레이터
KR101113483B1 (ko) * 2010-04-09 2012-03-06 동아대학교 산학협력단 컬러 영상의 가시성 향상 장치 및 방법
JP6083897B2 (ja) * 2013-02-28 2017-02-22 株式会社 日立産業制御ソリューションズ 撮像装置及び画像信号処理装置
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
US8982238B2 (en) * 2013-07-02 2015-03-17 Omnivision Technologies, Inc. Multi-target automatic exposure and gain control based on pixel intensity distribution
TWI530911B (zh) * 2014-02-25 2016-04-21 宏碁股份有限公司 動態曝光調整方法及其電子裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158400A1 (en) * 2002-06-26 2008-07-03 Pixim, Incorporated Digital Image Capture Having an Ultra-High Dynamic Range
US20100225783A1 (en) * 2009-03-04 2010-09-09 Wagner Paul A Temporally Aligned Exposure Bracketing for High Dynamic Range Imaging
TW201410017A (zh) * 2012-07-20 2014-03-01 Canon Kk 影像擷取設備、影像擷取設備之控制方法及電子裝置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ping Wah Wong, "A method for the evaluation of wide dynamic range cameras", Proceedings of SPIE, vol. 8299, Digital Photography VIII, 2012/01/24 *

Also Published As

Publication number Publication date
US9800793B2 (en) 2017-10-24
US20170208233A1 (en) 2017-07-20
TW201725903A (zh) 2017-07-16

Similar Documents

Publication Publication Date Title
TWI594635B (zh) 產生寬動態範圍運算的目標增益值的方法
EP3694203B1 (en) Method and device for obtaining exposure compensation value of high-dynamic-range image
US10868985B2 (en) Correcting pixel defects based on defect history in an image processing pipeline
US11070741B2 (en) High dynamic range video shooting method and device
WO2018176925A1 (zh) Hdr图像的生成方法及装置
CN109922275B (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备
KR20180059233A (ko) 멀티 렌즈 기반의 촬영 장치 및 방법
JP2009193421A (ja) 画像処理装置、カメラ装置、画像処理方法、およびプログラム
WO2017084255A1 (zh) 实时视频增强方法、终端和非易失性计算机可读存储介质
US10475188B2 (en) Image processing device and image enhancing method
US9544506B1 (en) Image processing method for image capturing device
WO2021093534A1 (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
TWI552600B (zh) 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統
US10469812B2 (en) Projection display system, information processing apparatus, information processing method, and storage medium therefor
GB2558393A (en) Backlift face detection
WO2017185957A1 (zh) 图像处理方法、图像处理装置及显示装置
US20220270225A1 (en) Device based on machine learning
WO2019128539A1 (zh) 图片清晰度的获取方法、装置、存储介质及电子设备
US10373293B2 (en) Image processing apparatus, image processing method, and storage medium
CN106993140B (zh) 产生宽动态范围运算的目标增益值的方法
TWI604413B (zh) 影像處理方法及影像處理裝置
WO2021056538A1 (zh) 一种图像处理方法及设备
KR101936168B1 (ko) 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법
WO2019085023A1 (zh) 改善显示画面中鬼影的方法和系统
WO2022000974A1 (zh) 红外图像处理方法、装置、设备及存储介质