TWI813146B - 高動態範圍視頻曝光補償方法與電路 - Google Patents

高動態範圍視頻曝光補償方法與電路 Download PDF

Info

Publication number
TWI813146B
TWI813146B TW111103241A TW111103241A TWI813146B TW I813146 B TWI813146 B TW I813146B TW 111103241 A TW111103241 A TW 111103241A TW 111103241 A TW111103241 A TW 111103241A TW I813146 B TWI813146 B TW I813146B
Authority
TW
Taiwan
Prior art keywords
magnification
exposure
frame
dynamic range
high dynamic
Prior art date
Application number
TW111103241A
Other languages
English (en)
Other versions
TW202332254A (zh
Inventor
曾育恒
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW111103241A priority Critical patent/TWI813146B/zh
Priority to US18/098,175 priority patent/US20230239577A1/en
Publication of TW202332254A publication Critical patent/TW202332254A/zh
Application granted granted Critical
Publication of TWI813146B publication Critical patent/TWI813146B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一種高動態範圍視頻曝光補償方法與電路,電路設於一影像取得裝置,在其中運作的高動態範圍視頻曝光補償方法中,當取得一視頻時,從視頻的連續幀取得各幀的畫素值,再取得連續兩幀之間的一曝光值倍率,如此,可以根據影像信息處理器的處理器曝光值倍率作為初始曝光值倍率,以一固定調整倍率控制影像取得裝置中的影像信息處理器與影像感測器,得出每幀的一曝光值倍率,即以此曝光值倍率進行高動態範圍補償,輸出一高動態範圍視頻。

Description

高動態範圍視頻曝光補償方法與電路
揭露書涉及一種高動態範圍視頻曝光補償的技術,特別是指一種利用動態影像中高動態範圍曝光的幀中畫素對之間曝光值倍率執行補償,而避免採用習知佇列方法的高動態範圍視頻曝光補償方法與電路。
高動態範圍視頻(high dynamic range video)是應用在連續影像形成的視頻中的高動態範圍(HDR)技術,支援連續輸出多幀不同曝光的高動態範圍視頻的影像感測器,這種影像感測器輸出不同曝光幀組合,再以影像信息處理器(image signal processor,ISP)合成為單一幀以取得更大的動態範圍、避免輸出過曝及過暗的連續影像。
習知影像取得裝置(如攝影機)的主要電路可參考圖1所示方塊圖,影像取得裝置中以控制器18控制各電路運作,裝置啟動後,可驅動相關電路與機構通過鏡頭11拍攝連續影像,經影像感測器13感應後取得影像訊號,先以記憶體19儲存後,由影像信息處理器15處理包括影像還原、形成與壓縮後,通過輸出電路17輸出。上述高動態範圍視頻技術中影像曝光和合成分別由影像感測器13與影像信息處理器15負責,通過控制器18的程序控制讓影像感測器13產生影像信息處理器15預期的亮暗幀。而大部分的影像感測器需要複數幀才能反映新設定的曝光值,習知的做法會根據影像感測器曝光生效所需幀數,以佇列(queue)做處理器的參數延遲,達到曝光參數及影像信息處理器參數同時生效的目的。
習知的作法示意圖如圖2所示使用影像處理器佇列實作高動態範圍視頻的參數控制示意圖。圖中顯示輸入視頻形成的連續幀,示意有第0幀、第1幀、第2幀、第3幀、第4幀與第5幀等,實作高動態範圍視頻時,影像感測器需要複數幀才能反映新設定的曝光值,此例顯示處理連續幀的影像感測器參數會延遲2幀生效(effective),如圖2上半部以箭號連線示意表示每幀的影像參數將於2幀後生效,如感測器參數0(S0)延遲2幀後到第3幀生效,同理其他感測器參數1(S1)、感測器參數2(S2)、感測器參數3(S3)與感測器參數4(S4)都會延遲2幀後到第3幀生效。
在此情況下,整個電路系統需要使用3層的影像信息處理器參數堆疊來完成影像感測器和影像信息處理器的同步,即根據影像感測器曝光生效所需幀數(此例顯示2幀)以佇列(queue)做處理器的參數延遲,達到曝光參數及影像信息處理器參數同時生效的目的。如圖2的下半部顯示各階段處理器參數,顯示第0幀影像佇列為處理器參數0(P0),第1幀影像佇列為處理器參數1(P1),第2幀影像佇列為處理器參數2(P2),也就是到了第2幀影像產生時,在記憶體中形成3層(P0、P1與P2)的影像信息處理器參數堆疊,再逐幀輸出至影像信息處理器。當由佇列中輸出處理器參數0(P0)時,感測器參數0(S0)亦同步生效。如圖示在第4幀影像產生當下在記憶體中形成處理器參數1(P1)、處理器參數2(P2)與處理器參數3(P3)形成的參數堆疊,在第5幀時形成處理器參數2(P2)、處理器參數3(P3)與處理器參數4(P4)形成的參數堆疊。記憶體中佇列不同曝光值的影像數據,之後即逐幀輸出讓影像信息處理器產生新的曝光影像,實現高動態範圍視頻。然而,習知的做法具有缺失如下。
習知高動態範圍視頻使用短曝光幀補償長曝光幀的過曝區的方法,可參考圖3A顯示關係圖,橫軸為輸入影像畫素的亮度值,縱軸為輸出影像的畫素值,其中顯示使用短曝光幀301取代長曝光幀303過曝的資料,也就是取代圖中長曝光幀延續段305。然而,在此曝光補償過程中,如果影像感測器的曝光幀和影像信息處理器參數間發生不同歩的情況,會在交接區(即實線與虛線連接處)產生不連續的現象,即如圖3B所示短曝光幀301’與長曝光幀303產生不連續情況,因此,使用佇列的方式實作無法察覺並即時補償這個不連續情況,此短曝光幀301’與長曝光幀303交接區不連續情況在環境變化時會有交接區合成異常及畫面閃爍的問題出現。
習知實現高動態範圍視頻的方法為影像感測器採用佇列方法與影像信息處理器進行曝光幀同步處理,但影像信息處理器會有無法保證影像感測器生效幀數而產生合成異常及閃爍的問題。有鑑於此,本說明書公開一種高動態範圍視頻曝光補償方法與電路,當對連續影像進行即時曝光幀同步時,提出不倚賴佇列的控制流程,能有效避免實現高動態範圍視頻時合成異常及閃爍現象。
根據高動態範圍視頻曝光補償方法實施例,應用於一影像取得裝置,經取得一視頻後,可從視頻的連續幀取得各幀的畫素值,並取得連續兩幀之間的一曝光值倍率,設定初始曝光值倍率,可採用影像信息處理器的一處理器曝光值倍率,接著以一固定調整倍率控制影像信息處理器與影像感測器,得出每幀的一曝光值倍率,再以此曝光值倍率補償,產生經高動態範圍補償處理的連續幀,輸出一高動態範圍視頻。
優選地,在執行高動態範圍視頻曝光補償方法的一開始,可以設定一亮度範圍門檻以排除過暗以及過亮的畫素,再設定一亮暗比例門檻排除影像中可能的運動區。
進一步地,於從視頻中取得連續兩幀的畫素值時,根據處理器曝光值倍率以及亮度範圍門檻,在連續兩幀之間設定一倍率範圍與一合適亮度範圍,以選取在一合理倍率內以及排除過曝或過暗畫素的連續兩幀之間的有效畫素對,以連續兩幀之間的有效畫素對執行高動態範圍視頻曝光補償。
優選地,當運行高動態範圍補償時,各幀可以列為單位,將兩幀的列畫素值之和相比得出一即時曝光值倍率,其中即時曝光值倍率等於一上一列曝光值倍率加上每列的一調整量。於計算各幀各列的曝光值倍率時,可利用一調整曝光值倍率的閥值收斂各幀的該曝光值倍率。
進一步地,從初始的處理器曝光值倍率開始,以每列的調整量和固定調整倍率進行收斂,完成收斂後將各幀具有一高度的一可移除區域移除後,取其中具有另一高度的一輸出影像區域。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與圖式,然而所提供的圖式僅用於提供參考與說明,並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不悖離本發明的構思下進行各種修改與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。
應當可以理解的是,雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者訊號,但這些元件或者訊號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件,或者一訊號與另一訊號。另外,本文中所使用的術語“或”,應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
本發明說明書公開一種高動態範圍視頻曝光補償方法與電路,其中在實作高動態範圍視頻時,能夠根據即時偵測的曝光倍率進行曝光補償,過程中的影像感測器與影像信息處理器並不倚賴佇列進行參數同步,可以避免幀間交接區亮度不連續及合成異常的問題。
所述高動態範圍視頻為針對連續影像執行高動態範圍處理,其中需要至少兩幀曝光值,每幀為高度m與寬度n的影像,影像中每個畫素的畫素值(P)依其高度、寬度及曝光幀可表示為P i,j,k,i為影像x方向位置,j為影像y方向位置,k為曝光幀數。為實現高動態範圍視頻,兩幀可分別為長曝光幀與短曝光幀。以靜態放置相機拍攝影像為例,每個畫素除了運動區以外其餘部分是靜止的,因此前後幀畫素值會有P i,j,1= P i,j,2*R的關係,其中P i,j,1為第1幀畫素值,P i,j,2為第2幀畫素值,R為第1幀和第2幀的曝光值倍率。進一步地,根據實施例之一,可以列為單位進行補償,對影像中第1列(j=1~n)來說,曝光值倍率R可以用這兩張曝光幀的列畫素值之和相比來得到,如方程式一。
方程式一: R=
然而上述以兩幀曝光值實作高動態範圍可能會產生兩個問題,其一是運動區前後幀的畫素對(pixel pair)因為影像變動而產生長曝光幀與短曝光幀內容不同,則不適用上述方法。其二是,在過暗和過亮的區域會因數值太小和太接近過曝區而產生誤差。因此進一步提出以下方法排除上述問題。
前後幀形成的一對畫素值可以{P i,j,1, P i,j,2}表示,依預先輸入影像信息處理器的一處理器曝光值倍率R ISP,設定一亮度範圍門檻以排除過暗以及過亮的畫素,並且再設定以一亮暗比例門檻排除影像中可能的運動區,選取參與實作高動態範圍視頻的畫素範圍的方法範例如下。
第1幀P i,j,1為亮幀,根據其中亮度分布取一不會有過曝以及/或過暗的合適亮度範圍,例如在12位元影像中取範圍[1024, 3072]。
第2幀P i,j,2為暗幀,依照第1幀P i,j,1的畫素值、影像信息處理器的曝光值倍率R ISP及可能的誤差倍率ε,可得第2幀P i,j,2的合理範圍[P i,j,1/(R ISP+ε), P i,j,1/(R ISP-ε)]。接著僅取在亮幀(第1幀P i,j,1)及暗幀(第2幀P i,j,2)均符合上述合理範圍的前後幀的畫素對(pixel pair),所述合理範圍即以亮度範圍門檻排除過亮以及/或過暗的畫素後的範圍,以及可以亮暗比例門檻排除可能的運動區域。如圖4顯示的有效畫素對(valid pixel pair)範圍圖式,圖中以長曝光幀與短曝光幀的畫素值畫成一個x-y區域,長曝光幀與短曝光幀的畫素值落於4條限制線框出的區域,此例顯示為畫素值a、畫素值b、上限倍率R ISP+ε與下限倍率R ISP–ε圍成所述合理範圍,即得出可參考的前後幀的有效畫素對。相關描述如下,並可參考圖5所示取得有效畫素對的實施例流程圖。
先取得視頻中連續各幀畫素值(Pi,j,k)(步驟S501),亦取得影像信息處理器的處理器曝光值倍率(R ISP)(步驟S503)。接著計算當下幀即時曝光值倍率(R)(步驟S505),並可以亮度範圍門檻排除各幀過暗或過亮的畫素(步驟S507),以及可以亮度比例門檻排除各幀中的運動區(步驟S509)。
根據實施例,可參考圖4,其中橫軸為長曝光畫素值,縱軸為短曝光畫素值,其中基於影像信息處理器的處理器曝光值倍率R ISP設一上限倍率401以及一下限倍率403,上限倍率401如此例中的「R ISP+ε」,下限倍率403如此例中的「R ISP–ε」,圍成一個涵蓋合理倍率405的倍率範圍,加上參考以上亮度範圍門檻指出的合適亮度範圍,如圖中排除過曝或過暗畫素的畫素值a與b圍成的範圍,可從中選取在合理倍率以及排除過曝或過暗畫素的有效畫素對(步驟S511)。
進一步地,在取得即時曝光值倍率R的步驟S505中,針對各幀有效畫素對取得即時曝光值倍率的計算方法可參考圖6顯示演算曝光值倍率的實施例流程圖。
一開始曝光值倍率的預設值可先採用影像信息處理器的處理器曝光值倍率(R ISP)(步驟S601),同樣地如上述實施例取得當下幀即時曝光值倍率(R)(步驟S603)。根據實施例,為了畫面的連續性,倍率補償可以列為單位,根據圖4顯示有效畫素對範圍,多列時可使用各幀當下列為止的每一列的和(不是單列的和)以增加穩定性,如以方程式一取得即時曝光值倍率R。相關演算方程式如下範例。
在以列為單位計算各幀曝光值倍率時,先取得上一列曝光值倍率(R in)(步驟S605),除第1列倍率可設為影像信息處理器初始輸入的處理器曝光值倍率R ISP外,每列使用的即時曝光值倍率等於上一列曝光值倍率加上每列的調整量,可表示為:R out= R in+ R m,其中R out為即時輸出的曝光值倍率,R in為上一列曝光值倍率,R m為每列的調整量,據此可從上一列曝光值倍率R in得出當下列的即時曝光值倍率R out,因此步驟將先決定其中調整量(R m)(步驟S607)。
其中調整量R m的決定方法範例如方程式二。
方程式二: R m= 0 , if -E ≤ R - R in≤ E,其中E為調整倍率的閥值; R m= R m,if R - R in> E ; R m= -R m,if R - R in< -E。
因此,根據上述步驟可計算出當下列的即時曝光值倍率(R out)(步驟S609),並反覆步驟得出各列曝光值倍率(步驟S611)。
在使用上述決定即時曝光值倍率R out的方法中,若有一幀初始設為影像信息處理器的曝光值倍率R ISP較影像感測器實際的曝光值倍率R s低時,第一列使用的曝光值倍率為R 1= R ISP,第2列的曝光值倍率(R 2)為影像信息處理器的曝光值倍率(R ISP)加上調整量(R m),即R 2= R ISP+ R m,繼續演算各幀各列曝光值倍率。根據一實施例,可以一調整曝光值倍率的閥值收斂各幀的曝光值倍率,即演算各列曝光值倍率直到第j列R j= R ISP+ j * R m> R - E 時(R為即時曝光值倍率,E為調整曝光值倍率的閥值),曝光值倍率進入穩定區間,即圖4中涵蓋合理倍率405的倍率範圍,此時畫面倍率收斂完畢。如此,即在第j列前倍率使用每列固定的變化確保連續性,後續的畫面由於倍率已收斂完畢不會有倍率不正確產生的異常。
之後,將經過收斂後的多列曝光值倍率相加,可得出穩定各幀的曝光值倍率(步驟S613)。
根據以上選取有效畫素對以及計算幀與幀之間曝光值倍率的實施例,據此實作說明書揭示的高動態範圍視頻曝光補償方法,適用所述方法的電路可參考圖1顯示的電路方塊圖,電路設於一影像取得裝置中,其中的控制電路(如圖1控制器18)將控制影像取得裝置中的影像信息處理器與影像感測器的運作,特別的是不進行影像信息處理器曝光值演算的佇列控制,可以圖7顯示使用影像信息處理器實作高動態範圍視頻的參數控制示意圖為例。
根據實施例,影像取得裝置中的控制電路控制各電路運作,裝置啟動後,驅動鏡頭拍攝連續影像,經影像感測器感應後取得影像訊號,先以記憶體儲存後,由影像信息處理器處理影像數據,整體電路實現一高動態範圍視頻曝光補償電路,控制電路針對相關影像執行高動態範圍視頻曝光補償方法。圖7示意顯示經影像取得裝置拍攝特定對象所形成的第0幀、第1幀、第2幀、第3幀、第4幀與第5幀等連續影像,基於影像信息處理器不用佇列控制的方法,以及以至少兩幀實作高動態範圍視頻的範例,並且影像感測器需要兩幀才能反映新設定的曝光值,使得處理連續幀的影像感測器參數會延遲2幀生效(effective),如圖7上半部顯示第0幀影像形成感測器參數S0,延遲2幀後生效到第3幀生效,同理,第1幀影像形成感測器參數S1到第4幀生效、第2幀影像形成感測器參數S2到第5幀生效、第3幀影像形成感測器參數S3到第6幀(未顯示)生效,以及第4幀影像形成感測器參數S4到第7幀(未顯示)生效。
根據揭露書所提出的高動態範圍視頻曝光補償方法實施例,影像信息處理器根據即時得出前後幀之間曝光值倍率執行曝光補償,而不同於習知通過佇列同步影像感測器與影像信息處理器的方法,實施例可對照參考圖9顯示的流程。
所述方法設定初始曝光值倍率為處理器曝光值倍率,接著使用固定調整倍率同時控制影像感測器與影像信息處理器(步驟S901),一開始取得視頻中連續幀影像數據,根據以上實施例取得各幀的有效畫素對,並即時演算曝光值倍率,據此以連續兩幀之間的有效畫素對執行高動態範圍視頻曝光補償(步驟S903)。根據實施例,採用影像信息處理器預設的處理器曝光值倍率(R ISP),作為第0幀的曝光值倍率,接著根據前後幀之間的曝光值倍率得出每幀固定調整倍率R adj,以此作為固定微調每幀倍率,控制每幀有相同的誤差,得出各幀曝光值倍率。並且,根據上述實施例,因為考量畫面的連續性,倍率補償可以列為單位微調幀內曝光值倍率(步驟S905)。
以兩幀曝光值執行高動態範圍處理為例,其中第1幀曝光值倍率設為上述處理器曝光值倍率(R ISP)乘以固定調整倍率(R adj),第2幀曝光值倍率為處理器曝光值倍率乘以兩次固定調整倍率;相應地,影像感測器對應第1幀曝光值倍率設有一初始曝光值倍率,而接續調整誤差同樣為上述固定調整倍率(R adj),因此對應第2幀曝光值倍率時,影像感測器對應曝光值倍率為所述初始曝光值倍率乘以固定調整倍率。
舉例來說,從預設的處理器曝光值倍率(R ISP)開始以每幀固定調整倍率R adj調整曝光值倍率,其中第1幀曝光值倍率為R ISP*R adj,而影像感測器的初始曝光值倍率為R s,調整誤差為上述固定調整倍率R adj,第2幀曝光值倍率為R ISP*R adj*R adj,影像感測器對應曝光值倍率為R s*R adj,誤差仍為R adj倍。之後由於影像信息處理器和影像感測器間的誤差幀數量相同,此誤差會持續到收斂結束後消失,只要固定每幀的倍率調整值,即可在不使用處理器佇列的情況固定住每幀的誤差量,可避免收斂過程產生交接區不連續的問題。
進一步地,合併前述曝光倍率的即時偵測及補償方法可以補償畫面和預期倍率間的誤差,在倍率補償以列為單位微調幀內曝光值倍率的實施例中,其收斂速度和影響列數由每列的調整量R m和固定調整倍率R adj決定。
以表1顯示影像感測器的輸出為例,初始倍率(即處理器曝光值倍率)4倍,調整量R m設為3.125%(1/32),固定調整倍率R adj控制為每幀上升12.5%(1/8)時,畫面需要4列進行倍率漸進收斂。此時每幀每列的曝光值倍率誤差E i的變化如表1,其中顯示到E 5產生收斂效果。
表1:
R ISP R m R s E 1 E 2 E 3 E 4 E 5
0 4.0 0.125 4.0 1.0 1.0 1.0 1.0 1.0  
1 4.5 0.141 4.0 1.125 1.090 1.054 1.019 1.0  
2 5.0625 0.158 4.5 1. 125 1.090 1.054 1.019 1.0  
3 5.695 0.178 5.0625 1. 125 1.090 1.054 1.019 1.0  
                 
由表1可得知在整個收斂過程中每一列的曝光值倍率誤差E i最後是固定的,因此可以確保每一列的每個畫素在整個收斂中亮度都是穩定變化,只要給定的固定調整倍率R adj足夠小,每列的調整量R m足夠大,影響的列數就能被限制在特定的數量內。
並且,在一實施例中,可參考圖8顯示輸出具有可移除區域的影像示意圖,其中顯示影像感測器輸出的輸出影像80,當影像感測器可以損失幾列的情況下,可以使用較大的輸出影像(高度為k+m),利用具有一高度k的可移除區域801執行從初始處理器曝光值倍率開始,以每列的調整量R m和固定調整倍率R adj進行收斂,完成收斂後可將各幀高度k的可移除區域801移除後,取另一高度m的輸出影像區域803。
如此,當影像感測器輸出的影像高度為m+k,經過上述收斂步驟,將倍率有誤的列(即可移除區域801)移除後,成為高度為m的輸出影像,即可完全避免條收斂過程中的倍率錯誤(步驟S907),在另一實施例中,可不移除可移除區域801,而採用其他處理方式使人眼不容易察覺此區域。最終得出經過正確曝光值倍率補償的影像(步驟S909),經產生經高動態範圍補償處理的連續幀,通過影像取得裝置的輸出電路輸出一高動態範圍視頻(步驟S911 )。
在此一提的是,在所述高動態範圍視頻曝光補償方法中,一般來說,當採用固定調整倍率R adj,只要控制固定調整倍率R adj足夠小而不會出現連續性和合成異常,仍可確保整個收斂流程的穩定變化。
綜上所述,根據以上揭露的高動態範圍視頻曝光補償方法與系統的實施例,根據所提出的補償方法,利用動態影像中高動態範圍曝光的幀中畫素對(pixel pair)之間曝光值倍率執行補償以使影像感測器與影像信息處理器能同步生效,避免採用習知可能會在影像交接區產生不連續問題的佇列(queue)方法。其中實施例之一可以(但不限於)條(line)為單位即時更新影像感測器倍率,以即時偵測的曝光倍率進行曝光補償,能確保補償條與條(幀與幀)間曝光的連續性。如此,使用設計過的曝光倍率差而不是以佇列進行高動態範圍視頻連續控制流程,能確保影像感測器與影像信息處理器之間不論生效幀差距幾張,都能完成穩定的收斂流程,能有效避免實現高動態範圍視頻時合成異常及閃爍現象。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
11:鏡頭 13:影像感測器 15:影像信息處理器 17:輸出電路 18:控制器 19:記憶體 S0, S1, S2, S3, S4:感測器參數 P0, P1, P2, P3, P4:處理器參數 301, 301’:短曝光幀 303:長曝光幀 305:長曝光幀延續段 401:上限倍率 403:下限倍率 405:合理倍率 a, b:畫素值 80:輸出影像 801:高度k的可移除區域 803:高度m的輸出影像區域 步驟S501~S511取得有效畫素對的流程 步驟S601~S613演算曝光值倍率的流程 步驟S901~S911高動態範圍視頻曝光補償流程
圖1顯示習知影像取得裝置的電路方塊圖;
圖2顯示習知技術中使用影像處理器佇列實作高動態範圍視頻的參數控制示意圖;
圖3A與圖3B顯示習知實作高動態範圍視頻時使用短幀補償長幀過曝區的曲線圖;
圖4顯示有效畫素對(valid pixel pair)範圍圖式;
圖5顯示取得有效畫素對的實施例流程圖;
圖6顯示演算曝光值倍率的實施例流程圖;
圖7顯示使用影像處理器實作高動態範圍視頻的參數控制示意圖;
圖8顯示輸出一具有可移除區域的影像示意圖;以及
圖9顯示高動態範圍視頻曝光補償方法的流程實施例圖。
S0, S1, S2, S3, S4:感測器參數 P0, P1, P2, P3, P4:處理器參數

Claims (10)

  1. 一種高動態範圍視頻曝光補償方法,包括:取得一視頻,從該視頻的連續幀取得各幀的畫素值;取得當下幀的一即時曝光值倍率;根據一影像信息處理器的一處理器曝光值倍率,以一固定調整倍率控制該影像信息處理器與一影像感測器,調整出每幀即時輸出的曝光值倍率;以及以該即時輸出的曝光值倍率補償連續兩幀之間的畫素值,產生經高動態範圍補償處理的連續幀,輸出一高動態範圍視頻。
  2. 如請求項1所述的高動態範圍視頻曝光補償方法,其中,於執行該高動態範圍視頻曝光補償方法的一開始,設定一亮度範圍門檻以排除過暗以及過亮的畫素,再設定一亮暗比例門檻排除影像中可能的運動區。
  3. 如請求項2所述的高動態範圍視頻曝光補償方法,其中該高動態範圍視頻曝光補償方法以兩幀曝光值執行高動態範圍處理,自該視頻中取得連續幀後,其中一第1幀曝光值倍率設為該處理器曝光值倍率乘以該固定調整倍率,一第2幀曝光值倍率為該處理器曝光值倍率乘以兩次該固定調整倍率;相應地,該影像感測器對應該第1幀曝光值倍率設有一初始曝光值倍率,調整誤差為該固定調整倍率,對應該第2幀曝光值倍率,該影像感測器對應曝光值倍率為該初始曝光值倍率乘以該固定調整倍率。
  4. 如請求項2所述的高動態範圍視頻曝光補償方法,其中,於從該視頻中取得連續兩幀的畫素值時,根據該處理器曝光值倍率以及該亮度範圍門檻,在該連續兩幀之間設定一倍率範圍與一合適亮度範圍,以選取在一合理倍率內以及排除過曝 或過暗畫素的該連續兩幀之間的有效畫素對,以該連續兩幀之間的有效畫素對執行高動態範圍視頻曝光補償。
  5. 如請求項1至4中任一項所述的高動態範圍視頻曝光補償方法,其中,各幀以列為單位,將兩幀的列畫素值之和相比得出一即時曝光值倍率。
  6. 如請求項5所述的高動態範圍視頻曝光補償方法,其中該即時曝光值倍率等於一上一列曝光值倍率加上每列的一調整量。
  7. 如請求項6所述的高動態範圍視頻曝光補償方法,其中第1列的即時曝光值倍率設為該影像信息處理器的該處理器曝光值倍率。
  8. 如請求項7所述的高動態範圍視頻曝光補償方法,其中,於計算各幀各列的該曝光值倍率時,利用一調整曝光值倍率的閥值收斂各幀的該曝光值倍率。
  9. 如請求項8所述的高動態範圍視頻曝光補償方法,其中,從初始的該處理器曝光值倍率開始,以每列的該調整量和該固定調整倍率進行收斂,完成收斂後將各幀具有一高度的一可移除區域移除後,取其中具有另一高度的一輸出影像區域。
  10. 一種高動態範圍視頻曝光補償電路,設於一影像取得裝置中,包括:一控制電路,用以控制該影像取得裝置中的一影像信息處理器與一影像感測器的運作,執行一高動態範圍視頻曝光補償方法包括:取得一視頻,從該視頻的連續幀取得各幀的畫素值;取得當下幀的一即時曝光值倍率;根據該影像信息處理器的一處理器曝光值倍率,以一固定調整倍率控制該影像信息處理器與該影像感測器,調整 出每幀即時輸出的曝光值倍率;以及以該即時輸出的曝光值倍率補償連續兩幀之間的畫素值,產生經高動態範圍補償處理的連續幀,輸出一高動態範圍視頻。
TW111103241A 2022-01-26 2022-01-26 高動態範圍視頻曝光補償方法與電路 TWI813146B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111103241A TWI813146B (zh) 2022-01-26 2022-01-26 高動態範圍視頻曝光補償方法與電路
US18/098,175 US20230239577A1 (en) 2022-01-26 2023-01-18 Method and circuitry for exposure compensation applied to high dynamic range video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111103241A TWI813146B (zh) 2022-01-26 2022-01-26 高動態範圍視頻曝光補償方法與電路

Publications (2)

Publication Number Publication Date
TW202332254A TW202332254A (zh) 2023-08-01
TWI813146B true TWI813146B (zh) 2023-08-21

Family

ID=87314886

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111103241A TWI813146B (zh) 2022-01-26 2022-01-26 高動態範圍視頻曝光補償方法與電路

Country Status (2)

Country Link
US (1) US20230239577A1 (zh)
TW (1) TWI813146B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902581A (zh) * 2009-03-31 2010-12-01 索尼株式会社 用于产生高动态范围图像和视频帧的方法和单元
WO2017172103A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Temporal control for spatially adaptive tone mapping of high dynamic range video

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
JP2012010105A (ja) * 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2015115789A (ja) * 2013-12-12 2015-06-22 ソニー株式会社 撮像装置、撮像信号処理回路、及び、撮像信号処理方法、並びに、表示装置、画像信号処理回路、及び、画像信号処理方法
CN110149484B (zh) * 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
CN112351216B (zh) * 2020-10-10 2022-04-05 深圳开阳电子股份有限公司 检测和消除视频闪烁的方法及图像处理设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902581A (zh) * 2009-03-31 2010-12-01 索尼株式会社 用于产生高动态范围图像和视频帧的方法和单元
WO2017172103A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Temporal control for spatially adaptive tone mapping of high dynamic range video

Also Published As

Publication number Publication date
TW202332254A (zh) 2023-08-01
US20230239577A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
TWI485695B (zh) 影像修正資料產生系統、影像修正資料產生方法、影像修正資料產生程式及影像修正電路
TWI389559B (zh) 前景影像分離方法
US10033936B2 (en) Control apparatus, control method, and imaging apparatus
US9531938B2 (en) Image-capturing apparatus
TW201030448A (en) Method for high dynamic range imaging
JP6027242B2 (ja) 撮像装置
JP6137792B2 (ja) 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体
JP2007329555A (ja) 撮像制御装置、撮像システム、および撮像制御方法
US10013747B2 (en) Image processing method, image processing apparatus and display apparatus
JP2010148084A (ja) 映像処理方法および映像処理装置
US20080316333A1 (en) Imaging apparatus, imaging method, program, and integrated circuit
JP2016146592A (ja) 画像処理装置および画像処理方法、並びに電子機器
JP2017011367A5 (zh)
JP5986461B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
TWI813146B (zh) 高動態範圍視頻曝光補償方法與電路
CN114783355A (zh) Led显示方法、装置、电子设备及可读存储介质
JP5829122B2 (ja) 撮像装置および評価値生成装置
JP5581968B2 (ja) 撮像装置
JP2014235417A5 (zh)
KR20010076040A (ko) 화질검사장치 및 화질검사방법
JP2011171795A (ja) ノイズ低減装置
JP2017169027A (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
CN116634282A (zh) 高动态范围视频曝光补偿方法与电路
JP2012204859A (ja) 画像処理装置及びカメラモジュール
TW201526640A (zh) 基於個別像素進行曝光映射之高動態範圍影像合成裝置及其方法