TWI783643B - 圖像處理方法及裝置 - Google Patents

圖像處理方法及裝置 Download PDF

Info

Publication number
TWI783643B
TWI783643B TW110131069A TW110131069A TWI783643B TW I783643 B TWI783643 B TW I783643B TW 110131069 A TW110131069 A TW 110131069A TW 110131069 A TW110131069 A TW 110131069A TW I783643 B TWI783643 B TW I783643B
Authority
TW
Taiwan
Prior art keywords
white balance
balance gain
exposure
frame
frames
Prior art date
Application number
TW110131069A
Other languages
English (en)
Other versions
TW202211679A (zh
Inventor
游任鴻
莊銘璋
葉柏佑
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202211679A publication Critical patent/TW202211679A/zh
Application granted granted Critical
Publication of TWI783643B publication Critical patent/TWI783643B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Studio Devices (AREA)

Abstract

一種圖像處理方法，包括：由白平衡增益估計電路分析多個不同曝光的曝光幀，以產生多組白平衡增益設置；將多組白平衡增益設置進行組合以產生白平衡增益表；將白平衡增益表應用於多個曝光幀以產生多個白平衡補償幀；以及藉由根據從多個白平衡補償幀導出的像素資料執行像素融合來生成高動態範圍(high dynamic range，簡稱HDR)幀。

Description

圖像處理方法及裝置
本發明的申請專利範圍要求在2020年9月7日遞交的申請號為63/075,243的美國臨時申請案的優先權，以上申請的全部內容以引用方式併入本發明。
本發明涉及圖像處理，以及更具體地，涉及一種藉由白平衡補償生成高動態範圍(high dynamic range，簡稱HDR)幀的方法和裝置，該白平衡補償使用藉由組合多組白平衡增益設置生成的白平衡增益表。
在高對比場景中在多於兩個光源下的常規相機預覽和攝影遭受光源之一或所有光源的不正確的白平衡。傳統方法通常對整個圖像幀應用全域白平衡增益來補償一個光源，但通常會破壞另一個光源下的部分。或者另一種常規方法是在兩個或多個光源之間調整全域白平衡增益，但是每個光源因此不能很好地平衡。
因此，需要一種創新的圖像處理設計，能夠生成每個光源均被良好平衡的高動態範圍(high dynamic range，簡稱HDR)幀。
本發明的目的之一是提供一種藉由白平衡補償生成高動態範圍(high dynamic range，簡稱HDR)幀的方法和裝置，該白平衡補償使用藉由組合多組白平衡增益設置生成的白平衡增益表。
根據本發明的第一方面，一種示例性圖像處理方法被公開。示例性的圖像處理方法包括：由白平衡增益估計電路分析具有不同曝光的多個曝光幀以產生多組白平衡增益設置；對多組白平衡增益設置進行組合以產生白平衡增益表；將白平衡增益表應用於多個曝光幀以產生多個白平衡補償幀；以及根據從多個白平衡補償幀導出的像素資料生成高動態範圍(high dynamic range，簡稱HDR)幀。
根據本發明的第二方面，一種示例性圖像處理方法被公開。示例性的圖像處理方法包括：由白平衡增益估計電路分析具有不同曝光的多個曝光幀以產生多組白平衡增益設置；對多組白平衡增益設置進行設置以產生白平衡增益表；以及將白平衡增益表應用於高動態範圍(high dynamic range，簡稱HDR)幀以生成白平衡補償HDR幀。
根據本發明的第三方面，一種示例性圖像處理裝置被公開。示例性圖像處理裝置包括白平衡增益估計電路、白平衡補償電路和像素融合電路。白平衡增益估計電路用以分析多個不同曝光的曝光幀以產生多組白平衡增益設置，以及對多組白平衡增益設置進行組合以產生白平衡增益表。白平衡補償電路用於將白平衡增益表應用於多個曝光幀，以產生多個白平衡補償幀。像素融合電路被佈置為藉由根據從多個白平衡補償幀導出的像素資料執行像素融合來生成高動態範圍(high dynamic range，簡稱HDR)幀。
根據本發明的第四方面，一種示例性圖像處理裝置被公開。示例性圖像處理裝置包括白平衡增益估計電路和白平衡補償電路。白平衡增益估計電路被佈置為分析具有不同曝光的多個曝光幀以產生多組白平衡增益設置，以及對多組白平衡增益設置進行組合以產生白平衡增益表。白平衡補償電路被佈置為將白平衡增益表應用於高動態範圍(high dynamic range，簡稱HDR)幀以生成白平衡補償HDR幀。
在閱讀了在各個附圖和附圖中示出的優選實施例的以下詳細描述之後，本發明的這些和其他目的對於本領域之通常技術者來說無疑將變得顯而易見。
100:圖像處理裝置
102:白平衡增益估計電路
104:白平衡補償電路
106:像素融合電路
108:圖像處理電路
702,704,706,708,710,712:步驟
800:圖像處理裝置
802:白平衡增益估計電路
804:像素融合電路
806:白平衡補償電路
808:圖像處理電路
902,904,906,908,910,912:步驟
1000:圖像處理裝置
1002:像素融合電路
1004:分割電路
1006:白平衡增益估計電路
1008:白平衡補償電路
1010:圖像處理電路
1102,1104,1106,1108,1110,1112,1114:步驟
1200:圖像處理裝置
1202:分割電路
1204:白平衡增益估計電路
1206:白平衡補償電路
1208:圖像處理電路
1302,1304,1306,1308,1310,1312:步驟
1402:感測器模組
1404:圖像處理流水線
第1圖示出根據本發明實施例的第一圖像處理裝置的框圖。
第2圖示出根據本發明實施例的曝光幀中不同顏色分量的統計的圖。
第3圖示出從白平衡增益估計電路產生的白平衡增益表的第一示例的圖。
第4圖示出白平衡增益估計電路產生的白平衡增益表的第二示例的圖。
第5圖示出白平衡增益估計電路產生的白平衡增益表的第三示例的圖。
第6圖示出白平衡增益估計電路所產生的白平衡增益表的第四示例的圖。
第7圖示出根據本發明實施例的第一圖像處理方法的流程圖。
第8圖示出根據本發明實施例的第二圖像處理裝置的框圖。
第9圖示出根據本發明實施例的第二圖像處理方法的流程圖。
第10圖示出根據本發明實施例的第三圖像處理裝置的框圖。
第11圖示出根據本發明實施例的第三圖像處理方法的流程圖。
第12圖示出根據本發明實施例的第四圖像處理裝置的框圖。
第13圖示出根據本發明實施例的第四圖像處理方法的流程圖。
第14圖示出根據本發明實施例的具有像素融合塊和白平衡塊的圖像處理流水線的圖。
在以下描述和申請專利範圍中使用了特定術語，它們指的是特定組 件。正如本領域之通常技術者將理解的那樣，電子設備製造商可能會用不同的名稱來指代一個組件。本文檔不打算區分名稱不同但功能相同的組件。在以下描述和申請專利範圍中，術語“包括”和“包含”以開放式方式使用，因此應解釋為“包括但不限於......”。此外，術語“耦合”旨在表示間接或直接電連接。因此，如果一個設備耦合到另一設備，則該連接可以是藉由直接電連接，或經由其他設備和連接的間接電連接。
第1圖示出根據本發明實施例的第一圖像處理裝置的框圖。圖像處理裝置100包括白平衡增益估計電路102、白平衡補償電路104、像素融合電路106及圖像處理電路108。白平衡增益估計電路102被佈置為分析具有不同曝光的多個原始幀(例如N個具有不同曝光的曝光幀IMG_1-IMG_N，其中N為不小於2的正整數)以產生多組白平衡增益設置(例如N組白平衡增益設置WB_1-WB_N)，以及對多組白平衡增益設置進行組合以生成白平衡增益表WB_T。例如，每一個原始幀可以是位元深度等於10的10位元圖像。在本實施例中，白平衡增益估計電路102對一個曝光幀IMG_n(1
Figure 110131069-A0305-02-0006-15
n
Figure 110131069-A0305-02-0006-16
N)獲得一組白平衡增益設置WB_n。例如，白平衡增益估計電路102可以獲取曝光幀IMG_n中不同顏色分量(R，G，B)的統計，以及根據曝光幀IMG_n中的顏色分量(R，G，B)的統計生成一組白平衡增益設置WB_n。
第2圖示出根據本發明實施例的曝光幀IMG_1-IMG_N中不同顏色分量(R、G、B)的統計的圖。在曝光時間ti時，每個曝光幀IMG_n(1
Figure 110131069-A0305-02-0006-17
n
Figure 110131069-A0305-02-0006-18
N)中每個塊區域的一個統計資料(R、G、B)Ii由白平衡增益估計電路102獲得。具有不同曝光的曝光幀IMG_1、IMG_2，...，IMG_N可以藉由捕獲由不同強度的多個光源照亮的相同場景而導出。白平衡增益估計電路102分析N個曝光幀IMG_1-IMG_N，分別得到N組白平衡增益設置WB_1-WB_N，其中每個曝光幀IMG_n中不同顏色分量(R、G、B)的統計用於確定相應的一組白平衡增益設 置WB_n。因此，一組白平衡增益設置WB_n與感測器模組捕獲一個曝光幀的曝光條件的白平衡補償相關聯。
在N組白平衡增益設置WB_1-WB_N可用後，白平衡增益估計電路102將N組白平衡增益設置WB_1-WB_N進行組合以生成一個白平衡增益表WB_T。第3圖示出白平衡增益估計電路102產生的白平衡增益表WB_T的第一示例的圖。白平衡增益表WB_T記錄像素值與不同顏色分量(R,G,B)的白平衡(white balance，簡稱WB)增益值之間的映射。因此，根據白平衡增益表WB_T，一個顏色分量R/G/B的像素值被映射到顏色分量R/G/B的一個WB增益R增益/G增益/B增益。假設曝光幀的數量等於3(即N=3)，以及感測器模組捕捉到的場景被具有不同強度的多個光源照射，對於第一曝光設置，第一組白平衡增益設置WB_1被獲得；對於第二曝光設置，第二組白平衡增益設置WB_2被獲得，以及對於第三曝光設置，第三組白平衡增益設置WB_3被獲得。為了獲得完整的白平衡增益表WB_T，白平衡增益估計電路102可以採用適當的演算法對第一組白平衡增益設置WB_1和第二組白平衡增益設置WB_2之間的一個過渡添加白平衡增益設置，以及對第二組白平衡增益設置WB_2和第三組白平衡增益設置WB_3之間的另一個過渡添加白平衡增益設置。
第3圖所示的像素值和WB增益值之間的映射僅用於說明目的，並不意味著對本發明的限制。第4圖示出白平衡增益估計電路102生成的白平衡增益表WB_T的第二示例的圖。第5圖示出白平衡增益估計電路102所產生的白平衡增益表WB_T的第三示例的圖。簡單來說，本發明對如何組合多組白平衡增益設置WB_1-WB_N沒有限制。實際上，白平衡增益估計電路102可以採用能夠從不同曝光的曝光幀獲得的多組白平衡增益設置WB_1-WB_N中導出一個白平衡增益表WB_T的任一手段。
如上所述，白平衡增益估計電路102藉由分析曝光幀IMG_n獲得曝光 幀IMG_n(1
Figure 110131069-A0305-02-0008-19
n
Figure 110131069-A0305-02-0008-20
N)的一組白平衡增益設置WB_n。在上述例子中，白平衡增益估計電路102可以獲取曝光幀IMG_n中不同顏色分量(R、G、B)的統計，以及根據曝光幀IMG_n中顏色分量(R、G、B)的統計生成一組白平衡增益設置WB_n。然而，這僅用於說明目的，並不意味著對本發明的限制。又例如，白平衡增益估計電路102可對曝光幀IMG_n(1
Figure 110131069-A0305-02-0008-21
n
Figure 110131069-A0305-02-0008-22
N)進行特徵提取以獲得曝光幀IMG_n中的特徵，以及根據曝光幀IMG_n中的特徵生成一組白平衡增益設置WB_n，其中每個特徵是與曝光幀IMG_n的圖像內容相關的內容感知資訊(content-aware information)。在N組白平衡增益設置WB_1-WB_N為可用後，白平衡增益估計電路102對N組白平衡增益設定WB_1-WB_N進行組合以產生白平衡增益表WB_T。第6圖示出白平衡增益估計電路102所產生的白平衡增益表WB_T的第四示例的圖。白平衡增益表WB_T記錄圖像特徵與白平衡增益設置之間的映射。因此，位置(i,j)處的每個像素(或每個塊區域)的白平衡增益設置增益取決於從位置(i,j)處的像素(或塊區域)提取的圖像特徵f(i,j)。
在本發明的一些實施例中，曝光幀IMG_n中不同顏色分量(R、G、B)和圖像特徵的統計被聯合考慮來確定對應的一組白平衡增益設置WB_n。這種替代設計也落入本發明的範圍內。
請再次參考第1圖。白平衡增益估計電路102產生的白平衡增益表WB_T被提供給白平衡補償電路104。白平衡補償電路104被配置為將白平衡增益表WB_T應用於曝光幀IMG_1-IMG_N以分別產生多個白平衡補償幀IMG'_1-IMG'_N，其中具有不同強度的多個光源可以根據白平衡增益表WB_T進行補償，該白平衡增益表WB_T從分析具有不同曝光的相應曝光幀得到。像素融合電路106被佈置為藉由根據從白平衡補償幀IMG'_1-IMG'_N(其中每個光源都被良好地平衡)導出的像素資料執行像素融合來生成高動態範圍(high dynamic range，簡稱HDR)幀IMGHDR。例如，HDR幀可以是位元深度等於18的18位元圖 像，或者位元深度等於20的20位元圖像。在一示例性設計中，像素融合電路106可以直接混合白平衡補償幀IMG'_1-IMG'_N。在另一示範性設計中，像素融合電路106可在白平衡補償幀IMG'_1-IMG'_N經過一定的圖像增強處理後混合白平衡補償幀IMG'_1-IMG'_N。圖像處理電路108用於處理剩餘的圖像處理以及產生圖像處理裝置100的HDR輸出。
第7圖示出根據本發明實施例的第一圖像處理方法的流程圖。第7圖所示的圖像處理方法由第1圖所示的圖像處理裝置100採用。如果結果基本相同，則該些步驟不需要按照第7圖所示的確切順序執行。在步驟702，白平衡增益估計電路102獲得具有不同曝光的原始幀。在步驟704，白平衡增益估計電路102根據原始幀(具有不同曝光的曝光幀)產生多組白平衡增益設置。在步驟706，白平衡增益估計電路102根據多組白平衡增益設置產生白平衡增益表。在步驟708，白平衡補償電路104將白平衡增益表應用於原始幀以生成白平衡補償幀。在步驟710，像素融合電路106藉由根據從白平衡補償幀導出的像素資料執行像素融合來生成HDR幀。在步驟712，圖像處理電路108將圖像處理應用於HDR幀。由於相關領域的技術人員在閱讀了上述段落後，可以很容易地理解每個步驟的細節，為簡潔起見，在此不再贅述。
在上述實施例中，所提出的裝置和方法被設計為將白平衡增益表應用於每個曝光幀(原始幀)，然後對從白平衡補償幀導出的像素資料執行像素融合。然而，這些僅用於說明目的，並不意味著對本發明的限制。在一些實施例中，所提出的裝置和方法可以被設計為對從曝光幀(原始幀)導出的像素資料執行像素融合，然後將白平衡增益表應用於HDR幀，或者可以被設計為將白平衡增益表應用於HDR幀無需預先執行像素融合。
第8圖示出根據本發明實施例的第二圖像處理裝置的框圖。圖像處理裝置800包括白平衡增益估計電路802、像素融合電路804、白平衡補償電路806 和圖像處理電路808。如第1圖所示的白平衡增益估計電路102，白平衡增益估計電路802被佈置為分析多個具有不同曝光的原始幀(例如N個具有不同曝光的曝光幀IMG_1-IMG_N，其中N為不小於2的正整數)以產生多組白平衡增益設置(例如，N組白平衡增益設置WB_1-WB_N)，以及將白平衡增益設置組進行組合生成白平衡增益表WB_T，其中不同顏色分量(R、G、B)的統計和/或一個曝光幀中的圖像特徵IMG_n(1
Figure 110131069-A0305-02-0010-23
n
Figure 110131069-A0305-02-0010-24
N)可用於確定對應的一組白平衡增益設置WB_n。例如，每個原始幀可以是位元深度等於10的10位元圖像。
圖像處理裝置100和800之間的主要區別在於圖像融合電路和白平衡補償電路的順序。如第8圖所示，像素融合電路804被佈置為根據從曝光幀IMG_1-IMG_N導出的像素資料進行像素融合，從而產生像素融合結果(例如，HDR圖像IMGHDR)；以及白平衡補償電路806被佈置為將白平衡增益表WB_T應用於HDR幀(其可以從諸如HDR幀IMGHDR的像素融合結果導出)以生成白平衡補償的HDR幀IMG'HDR，其中，具有不同強度的多個光源根據白平衡增益表WB_T進行補償，該白平衡增益表WB_T由分析具有不同曝光的相應曝光幀獲得的多組白平衡增益設置組合而成。例如，HDR幀可以是位元深度等於18的18位元圖像，或者位元深度等於20的20位元圖像。在一示例性設計中，白平衡補償電路806可以直接將HDR幀IMGHDR與白平衡增益表WB_T相乘。在另一示範性設計中，白平衡補償電路806可在HDR幀IMGHDR經過一定的圖像增強處理後，將HDR幀IMGHDR與白平衡增益表WB_T相乘。類似於第1圖所示的圖像處理電路108，圖像處理電路808被佈置為處理剩餘的圖像處理以及產生圖像處理裝置800的HDR輸出。
第9圖示出根據本發明實施例的第二圖像處理方法的流程圖。第9圖所示的圖像處理方法可由第8圖所示的圖像處理裝置800採用。如果結果基本相同，則該些步驟不需要按照第8圖所示的確切順序執行。在步驟902，白平衡增 益估計電路802獲得具有不同曝光的原始幀。在步驟904，白平衡增益估計電路802根據原始幀(具有不同曝光的曝光幀)產生多組白平衡增益設置。在步驟906，白平衡增益估計電路802根據多組白平衡增益設置產生白平衡增益表。在步驟908，像素融合電路804藉由根據從原始幀導出的像素資料執行像素融合來生成像素融合輸出。在步驟910，白平衡補償電路806將白平衡增益表應用於HDR幀以生成白平衡補償HDR幀。在步驟912，圖像處理電路808將圖像處理應用於白平衡補償HDR幀。由於相關領域的技術人員在閱讀了上述段落後，可以很容易地理解每個步驟的細節，為簡潔起見，在此不再贅述。
第10圖示出根據本發明實施例的第三圖像處理裝置的框圖。圖像處理裝置1000包括像素融合電路1002、分割電路1004、白平衡增益估計電路1006、白平衡補償電路1008和圖像處理電路1010。如第8圖所示的像素融合電路804，像素融合電路1002被佈置為根據來自多個不同曝光的原始幀IMG_R1-IMG_RN的像素資料進行像素融合，產生像素融合結果(例如，HDR圖像IMGHDR)，其中N為不小於2的正整數。例如，每個原始幀是位元深度等於10的10位元圖像，而HDR圖像可以是位元深度等於18的18位元圖像或位元深度等於20的20位元圖像。圖像處理裝置800與1000的主要區別在於，圖像處理裝置1000具有分割電路1004，分割電路1004用於分割單個HDR幀(例如，HDR圖像IMGHDR)以產生具有不同曝光的多個曝光幀IMG_1-IMG_N。類似於第8圖所示的白平衡增益估計電路802，白平衡增益估計電路1006被佈置為分析曝光幀IMG_1-IMG_N以產生多組白平衡增益設置(例如，N組白平衡增益設置WB_1-WB_N)，以及將這些組白平衡增益設置進行組合以生成白平衡增益表WB_T，其中一個曝光幀IMG_n(1
Figure 110131069-A0305-02-0011-25
n
Figure 110131069-A0305-02-0011-26
N)中的不同顏色分量(R、G、B)的統計和/或圖像特徵被用來確定相應的一組白平衡增益設置WB_n。
類似於第8圖所示的白平衡補償電路806，白平衡補償電路1008被佈 置為將白平衡增益表WB_T應用於HDR幀(其可從像素融合結果導出，例如HDR幀IMGHDR)以生成白平衡補償HDR幀IMG'HDR，其中不同強度的多個光源根據白平衡增益表WB_T進行補償，該白平衡增益表WB_T藉由對分析具有不同曝光的相應曝光幀獲得的多組白平衡增益設置進行組合而生成。在一示範性設計中，白平衡補償電路1008可直接將HDR幀IMGHDR與白平衡增益表WB_T相乘。在另一示範性設計中，白平衡補償電路1008可在HDR幀IMGHDR經過一定的圖像增強處理後，將HDR幀IMGHDR與白平衡增益表WB_T相乘。如第8圖所示的圖像處理電路808，圖像處理電路1010被佈置為處理剩餘的圖像處理以及產生圖像處理裝置1000的HDR輸出。
第11圖示出根據本發明實施例的第三圖像處理方法的流程圖。第11圖所示的圖像處理方法由第10圖所示的圖像處理裝置1000採用。如果結果基本相同，則該些步驟不需要按照第11圖所示的確切順序執行。在步驟1102，像素融合電路1002獲得具有不同曝光的原始幀。在步驟1104，像素融合電路1002藉由根據從原始幀導出的像素資料執行像素融合來生成像素融合輸出。在步驟1106，分割電路1004將單個HDR幀進行分割以生成具有不同曝光的曝光幀。在步驟1108，白平衡增益估計電路1006根據曝光幀產生多組白平衡增益設置。在步驟1110，白平衡增益估計電路1006根據多組白平衡增益設置產生白平衡增益表。在步驟1112，白平衡補償電路1008將白平衡增益表應用於HDR幀以生成白平衡補償HDR幀。在步驟1114，圖像處理電路1010將圖像處理應用於白平衡補償HDR幀。由於相關領域的技術人員在閱讀了上述段落後，可以很容易地理解每個步驟的細節，為簡潔起見，在此不再贅述。
第12圖示出根據本發明實施例的第四圖像處理裝置的框圖。圖像處理裝置1200包括分割電路1202、白平衡增益估計電路1204、白平衡補償電路1206及圖像處理電路1208。圖像處理裝置1000與1200的主要區別在於圖像處理裝置 1200不需要像素融合電路。具體地，由於圖像處理裝置1200的原始幀輸入已經是從HDR圖像感測器輸出導出的HDR幀IMGHDR，因此無需像素融合即可將具有不同曝光的多個曝光幀相結合以生成HDR幀。例如，HDR幀可以是位元深度等於18的18位元圖像，也可以是位元深度等於20的20位元圖像。如第10圖所示的分割電路1004，分割電路1004用於分割單個HDR幀IMGHDR產生具有不同曝光的多個曝光幀IMG_1-IMG_N，其中N為不小於2的正整數。如第10圖所示的白平衡增益估計電路1006，白平衡增益估計電路1204被佈置為分析曝光幀IMG_1-IMG_N以產生多組白平衡增益設置(例如，N組白平衡增益設置WB_1-WB_N)，以及將多組白平衡增益設置進行組合以生成白平衡增益表WB_T，其中一個曝光幀IMG_n(1
Figure 110131069-A0305-02-0013-27
n
Figure 110131069-A0305-02-0013-28
N)中不同顏色分量(R、G、B)的統計和/或圖像特徵可用於確定相應的一組白平衡增益設置WB_n。
如第10圖所示的白平衡補償電路，白平衡補償電路1206被佈置為將白平衡增益表WB_T應用於HDR幀(其可從單個HDR幀IMGHDR導出)以生成白平衡補償HDR幀IMG'HDR，其中具有不同強度的多個光源根據白平衡增益表WB_T進行補償，該白平衡增益表WB_T將藉由分析不同曝光的相應曝光幀得到的多組白平衡增益設置進行組合生成。在一示範性設計中，白平衡補償電路1206可直接將HDR幀IMGHDR與白平衡增益表WB_T相乘。在另一示範性設計中，白平衡補償電路1206可在HDR幀IMGHDR經過一定的圖像增強處理後，將HDR幀IMGHDR與白平衡增益表WB_T相乘。如第10圖所示的圖像處理電路1010，圖像處理電路1208被佈置為處理剩餘的圖像處理以及產生圖像處理裝置1200的HDR輸出。
第13圖示出根據本發明實施例的第四圖像處理方法的流程圖。第13圖所示的圖像處理方法可由第12圖所示的圖像處理裝置1200採用。如果結果基本相同，則不需要按照第13圖所示的確切順序執行這些步驟。在步驟1302，分 割電路1202從HDR圖像感測器輸出獲得單個HDR幀。在步驟1304，分割電路1202分割單個HDR幀以生成具有不同曝光的曝光幀。在步驟1306，白平衡增益估計電路1204根據曝光幀產生多組白平衡增益設置。在步驟1308，白平衡增益估計電路1204根據多組白平衡增益設置產生白平衡增益表。在步驟1310，白平衡補償電路1206將白平衡增益表應用於HDR幀以生成白平衡補償HDR幀。在步驟1312，圖像處理電路1208將圖像處理應用於白平衡補償HDR幀。由於相關領域的技術人員在閱讀了上述段落後，可以很容易地理解每個步驟的細節，為簡潔起見，在此不再贅述。
前述圖像處理裝置100、800、1000、1200中的每一個可以被集成在用於特定應用的圖像處理流水線中。第14圖示出根據本發明實施例的具有像素融合塊和白平衡塊的圖像處理流水線的圖。圖像處理流水線1404接收來自感測器模組1402的幀輸入，以及具有多個流水線級，包括光學黑補償塊(標記為“光學黑補償”)、壞像素補償塊(標記為“壞像素補償”)，像素融合塊(標記為“像素融合”)，鏡頭陰影補償塊(標記為“鏡頭陰影補償”)，白平衡塊(標記為“白平衡”)，去馬賽克塊(標記為“去馬賽克”)、顏色校正塊(標記為“顏色校正”)、伽馬校正塊(標記為“Gamma”)、降噪塊(標記為“降噪”)和RGB-到-YUV轉換塊(標記為RGB到YUV)。例如，像素融合塊可以包括像素融合電路804/1002，白平衡塊可以包括白平衡增益估計電路802/1006和白平衡補償電路806/1008。第14所示的圖像處理流水線1404僅用於說明目的，並不意味著對本發明的限制。實際上，使用所提出的圖像處理裝置100/800/1000/1200的任一圖像處理流水線設計都落入本發明的範圍內。
本領域之通常技術者將容易地觀察到，在保留本發明的教導的同時，可以對裝置和方法進行多種修改和改變。因此，上述公開應被解釋為僅受所附申請專利範圍的界限的限制。
702,704,706,708,710,712:步驟

Claims (20)

  1. 一種圖像處理方法，包括：由一白平衡增益估計電路分析具有不同曝光的複數個曝光幀以生成複數組白平衡增益設置；將該等組白平衡增益設置進行組合以生成一白平衡增益表；將該白平衡增益表應用於該等曝光幀中每個曝光幀的每個像素以生成複數個白平衡補償幀；以及藉由根據從該等白平衡補償幀導出的像素資料執行像素融合來生成一高動態範圍幀；其中該白平衡增益表記錄該等曝光幀中每個曝光幀的每個像素與一白平衡增益值之間的映射。
  2. 如請求項1所述之圖像處理方法，其中分析具有不同曝光的複數個曝光幀以生成複數組白平衡增益設置的步驟包括：對於包含在該等曝光幀中的一曝光幀，獲取該曝光幀中多個不同顏色分量的統計，以及根據該曝光幀中該等顏色分量的該統計生成一組白平衡增益設置。
  3. 如請求項1所述之圖像處理方法，其中分析具有不同曝光的複數個曝光幀以生成複數組白平衡增益設置的步驟包括：對於包含在該等曝光幀中的一曝光幀，對該曝光幀進行特徵提取以獲取該曝光幀中的多個特徵，以及根據該曝光幀中的該等特徵生成一組白平衡增益設置。
  4. 一種圖像處理方法，包括： 由一白平衡增益估計電路分析具有不同曝光的複數個曝光幀以生成複數組白平衡增益設置；將該等組白平衡增益設置進行組合以生成一白平衡增益表；以及將該白平衡增益表應用於一高動態範圍幀中的每個像素以生成一白平衡補償高動態範圍幀；其中該白平衡增益表記錄該等曝光幀中每個曝光幀的每個像素與一白平衡增益值之間的映射。
  5. 如請求項4所述之圖像處理方法，進一步包括：藉由根據從該等曝光幀導出的像素資料執行像素融合來生成一像素融合結果；其中該高動態範圍幀從該像素融合結果導出。
  6. 如請求項4所述之圖像處理方法，進一步包括：將一單個高動態範圍幀進行分割生成複數個曝光幀，其中該高動態範圍幀從該單個高動態範圍幀導出。
  7. 如請求項6所述之圖像處理方法，進一步包括：藉由根據從具有不同曝光的複數個幀導出的像素資料執行像素融合來生成該單個高動態範圍幀。
  8. 如請求項6所述之圖像處理方法，其中該單個高動態範圍幀從一高動態範圍圖像感測器輸出導出。
  9. 如請求項4所述之圖像處理方法，其中分析具有不同曝光的複數個 曝光幀以生成複數組白平衡增益設置的步驟包括：對於包含在該等曝光幀中的一曝光幀，獲取該曝光幀中多個不同顏色分量的統計，以及根據該曝光幀中該等顏色分量的該統計生成一組白平衡增益設置。
  10. 如請求項4所述之圖像處理方法，其中分析具有不同曝光的複數個曝光幀以生成複數組白平衡增益設置的步驟包括：對於包含在該等曝光幀中的一曝光幀，對該曝光幀進行特徵提取獲取該曝光幀中的多個特徵，以及根據該曝光幀中的該等特徵生成一組白平衡增益設置。
  11. 一種圖像處理裝置，包括：一白平衡增益估計電路，被佈置為分析具有不同曝光的複數個曝光幀以生成複數組白平衡增益設置，以及將該等組白平衡增益設置進行組合以生成一白平衡增益表；一白平衡補償電路，被佈置為將該白平衡增益表應用於該等曝光幀中每個曝光幀的每個像素以生成複數個白平衡補償幀；以及一像素融合電路，被佈置為藉由根據從該等白平衡補償幀導出的像素資料執行像素融合來生成一高動態範圍幀；其中該白平衡增益表記錄該等曝光幀中每個曝光幀的每個像素與一白平衡增益值之間的映射。
  12. 如請求項11所述之圖像處理裝置，其中對於包含在該等曝光幀中的一曝光幀，該白平衡增益估計電路獲取該曝光幀中多個不同顏色分量的統計，以及根據該曝光幀中該等顏色分量的該統計生成一組白平衡增益設置。
  13. 如請求項11所述之圖像處理裝置，其中對於包含在該等曝光幀中的一曝光幀，該白平衡增益估計電路對該曝光幀進行特徵提取以獲取該曝光幀中的多個特徵，以及根據該曝光幀中的該等特徵生成一組白平衡增益設置。
  14. 一種圖像處理裝置，包括：一白平衡增益估計電路，被佈置為分析具有不同曝光的複數個曝光幀以生成複數組白平衡增益設置，以及將該等組白平衡增益設置進行組合以生成一白平衡增益表；以及一白平衡補償電路，被佈置為將該白平衡增益表應用於一高動態範圍幀中的每個像素以生成一白平衡補償高動態範圍幀；其中該白平衡增益表記錄該等曝光幀中每個曝光幀的每個像素與一白平衡增益值之間的映射。
  15. 如請求項14所述之圖像處理裝置，進一步包括：一像素融合電路，被佈置為藉由根據從該等曝光幀導出的像素資料執行像素融合來生成一像素融合結果；其中該高動態範圍幀從該像素融合結果導出。
  16. 如請求項14所述之圖像處理裝置，進一步包括：一分割電路，被佈置為將一單個高動態範圍幀進行分割生成複數個曝光幀；其中該高動態範圍幀從該單個高動態範圍幀導出。
  17. 如請求項16所述之圖像處理裝置，進一步包括： 一像素融合電路，被佈置為藉由根據從具有不同曝光的複數個幀導出的像素資料執行像素融合來生成該單個高動態範圍幀。
  18. 如請求項16所述之圖像處理裝置，其中該單個高動態範圍幀從一高動態範圍圖像感測器輸出導出。
  19. 如請求項14所述之圖像處理裝置，其中對於包含在該等曝光幀中的一曝光幀，該白平衡增益估計電路獲取該曝光幀中多個不同顏色分量的統計，以及根據該曝光幀中該等顏色分量的該統計生成一組白平衡增益設置。
  20. 如請求項14所述之圖像處理裝置，其中對於包含在該等曝光幀中的一曝光幀，該白平衡增益估計電路對該曝光幀進行特徵提取獲取該曝光幀中的多個特徵，以及根據該曝光幀中的該等特徵生成一組白平衡增益設置。
TW110131069A 2020-09-07 2021-08-23 圖像處理方法及裝置 TWI783643B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063075243P 2020-09-07 2020-09-07
US63/075,243 2020-09-07
US17/381,165 US11736804B2 (en) 2020-09-07 2021-07-20 Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings
US17/381,165 2021-07-20

Publications (2)

Publication Number Publication Date
TW202211679A TW202211679A (zh) 2022-03-16
TWI783643B true TWI783643B (zh) 2022-11-11

Family

ID=80460666

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110131069A TWI783643B (zh) 2020-09-07 2021-08-23 圖像處理方法及裝置

Country Status (3)

Country Link
US (1) US11736804B2 (zh)
CN (1) CN114157849A (zh)
TW (1) TWI783643B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220414847A1 (en) * 2021-06-29 2022-12-29 Qualcomm Incorporated High dynamic range image processing
CN114554170A (zh) * 2022-03-08 2022-05-27 三星半导体(中国)研究开发有限公司 多传感器白平衡同步的方法和使用该方法的电子装置
WO2023240651A1 (zh) * 2022-06-17 2023-12-21 北京小米移动软件有限公司 图像处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7365778B2 (en) * 2002-08-29 2008-04-29 Nikon Corporation Electronic camera and white balance correction circuit
US20120262600A1 (en) * 2011-04-18 2012-10-18 Qualcomm Incorporated White balance optimization with high dynamic range images
US9030574B2 (en) * 2010-10-27 2015-05-12 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus capable of correcting white balance based on an output signal amplification gain and white balance gain
US9516290B2 (en) * 2014-10-13 2016-12-06 Quanta Computer Inc. White balance method in multi-exposure imaging system
CN110267041A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像编码方法、装置、电子设备和计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080892A (ja) * 2004-09-09 2006-03-23 Olympus Corp 画像記録再生装置
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
JP5699482B2 (ja) * 2010-08-24 2015-04-08 セイコーエプソン株式会社 画像処理装置、画像処理方法及び撮像装置
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
US8488055B2 (en) 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
JP6598479B2 (ja) * 2014-03-31 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
US10129485B2 (en) * 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
JP6887853B2 (ja) * 2017-04-03 2021-06-16 キヤノン株式会社 撮像装置、その制御方法、プログラム
CN110022469B (zh) * 2019-04-09 2021-03-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111292282B (zh) * 2020-01-21 2023-02-17 展讯通信（上海）有限公司 低比特位宽hdr图像的生成方法及装置、存储介质、终端
US11445127B2 (en) * 2020-06-15 2022-09-13 Samsung Electronics Co., Ltd. Leveraging HDR sensors for handling mixed illumination auto white balance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7365778B2 (en) * 2002-08-29 2008-04-29 Nikon Corporation Electronic camera and white balance correction circuit
US9030574B2 (en) * 2010-10-27 2015-05-12 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus capable of correcting white balance based on an output signal amplification gain and white balance gain
US20120262600A1 (en) * 2011-04-18 2012-10-18 Qualcomm Incorporated White balance optimization with high dynamic range images
US9516290B2 (en) * 2014-10-13 2016-12-06 Quanta Computer Inc. White balance method in multi-exposure imaging system
CN110267041A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像编码方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN114157849A (zh) 2022-03-08
TW202211679A (zh) 2022-03-16
US20220078324A1 (en) 2022-03-10
US11736804B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
TWI783643B (zh) 圖像處理方法及裝置
JP3668014B2 (ja) 画像処理方法及び装置
US9681026B2 (en) System and method for lens shading compensation
US6995791B2 (en) Automatic white balance for digital imaging
JP6110574B2 (ja) ハイダイナミックレンジ画像化方法及びカメラ
Kao et al. Design considerations of color image processing pipeline for digital cameras
US20070070364A1 (en) Color characterization of high dynamic range image capture devices
Bilcu Multiframe auto white balance
US20090091660A1 (en) Method and apparatus for processing color components of pixel through adding white light adaptively
WO2016111020A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
EP3953896A1 (en) High-dynamic-range image generation with pre-combination denoising
US20180288336A1 (en) Image processing apparatus
JP5367455B2 (ja) 複数のカラーカメラ間の色調整装置および方法
US20080131007A1 (en) Image Coding Method and Image Coding Device
JP3921499B2 (ja) カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置
US11563898B2 (en) Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
JP6902922B2 (ja) 信号処理回路及びプログラム
JP2004229259A (ja) カラ−画像処理装置および処理方法
JP2020145553A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4400160B2 (ja) 画像処理装置
US11651495B2 (en) Method and system for image correction
JP4888037B2 (ja) 信号処理方法、信号処理回路及び撮像装置
Brown Color processing for digital cameras
Kao et al. Tone reproduction in color imaging systems by histogram equalization of macro edges
JPH11164190A (ja) 自動露出制御方法