TWI639974B - 影像處理方法 - Google Patents

影像處理方法 Download PDF

Info

Publication number
TWI639974B
TWI639974B TW106110945A TW106110945A TWI639974B TW I639974 B TWI639974 B TW I639974B TW 106110945 A TW106110945 A TW 106110945A TW 106110945 A TW106110945 A TW 106110945A TW I639974 B TWI639974 B TW I639974B
Authority
TW
Taiwan
Prior art keywords
image
interest
instant
image processing
analysis result
Prior art date
Application number
TW106110945A
Other languages
English (en)
Other versions
TW201805892A (zh
Inventor
詹政哲
池弘偉
洪崇耀
陳正哲
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201805892A publication Critical patent/TW201805892A/zh
Application granted granted Critical
Publication of TWI639974B publication Critical patent/TWI639974B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/793—Processing of colour television signals in connection with recording for controlling the level of the chrominance signal, e.g. by means of automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本發明提供至少一種影像處理方法，其中根據本發明一實施例之影像處理方法，包含：調配多個曝光畫面以產生即時影像，其中曝光畫面透過一個或多個影像擷取裝置使用多個曝光時間所擷取的；根據關於即時影像之一個或多個興趣區之興趣區資訊，分析即時影像之一個或多個興趣區，並相應產生分析結果；以及使用影像處理器根據分析結果在即時影像之一個或多個興趣區內局部調整影像資料，以即時地產生調整後之即時影像。本發明之優點之一在於能夠對即時影像執行局部視覺優化以增強局部區域之影像細節，同時又可維持整個即時影像之高動態範圍。

Description

影像處理方法
本發明是有關於影像處理(image processing)，更具體地，是有關於根據即時影像(real-time image)之興趣區(Region of Interest,ROI)之分析結果局部地(locally)調整即時影像之影像資料之影像處理方法。
高動態範圍(High Dynamic Range,HDR)視訊記錄(Video Recording)為被記錄之場景(scene)提供更多細節。然而，HDR視訊記錄需要根據該場景之完整影像之影像資料來增強動態範圍。HDR視訊記錄無法根據使用者需求在HDR視訊影像內進一步增強特定區域之影像細節。例如，當一個使用者希望增強HDR視訊影像中之人臉之影像細節，而另一個使用者希望增強同一HDR視訊影像中之背景(background)之影像細節時，HDR視訊記錄無法滿足不同使用者需求，這是因為HDR視訊記錄全域地(globally)增強或降低視訊影像之亮度。
因此，需要一種新的影像處理機制，來滿足不同觀看需求。
有鑑於此，本發明提供至少一種影像處理方法，可根據即時影像之 ROI之分析結果對即時影像之影像資料進行局部調整。
根據本發明一實施例之影像處理方法，包含：調配(blending)多個曝光畫面(exposure frames)以產生即時影像，其中該多個曝光畫面係透過一個或多個影像擷取(capturing)裝置使用多個曝光時間所擷取的；根據關於該即時影像之一個或多個興趣區之興趣區資訊，分析該即時影像之該一個或多個興趣區，並相應產生分析結果；以及使用影像處理器根據該分析結果在該即時影像之該一個或多個興趣區內局部調整影像資料，以即時地產生調整後之即時影像。
根據本發明一實施例之影像處理裝置，包含影像處理器，該影像處理器包含：影像融合(image fusion)電路，用於調配多個曝光畫面以產生即時影像，其中該多個曝光畫面是透過一個或多個影像擷取裝置使用多個曝光時間所擷取的；以及興趣區分析器，耦接於該影像融合電路，根據關於該即時影像之一個或多個興趣區之興趣區資訊，分析該即時影像之該一個或多個興趣區，並相應產生分析結果；其中，該影像處理器根據該分析結果在該即時影像之該一個或多個興趣區內局部調整影像資料，以即時地產生調整後之即時影像。
根據本發明一實施例之影像處理裝置，該興趣區分析器確定該一個或多個興趣區之一個或多個各自之亮度值是否滿足一個或多個預定準則。該興趣區分析器確定該一個或多個各自之亮度值是否大於門檻值，以產生該分析結果。根據本發明一實施例，該影像處理器進一步包含：局部對比度增強電路，耦接於該興趣區分析器並接收該興趣區分析器之該分析結果，當該分析結果指示該一個或多個各自之亮度值中之至少一個不大於該門檻值時，該局部對比度增強電路在該即時影像之至少一個對應興趣區內增強局部對比度。根據本發明 一實施例，當該分析結果指示該一個或多個各自之亮度值中之至少一個大於該門檻值時，該影像融合電路根據該一個或多個各自之亮度值中之該至少一個調整對不同曝光畫面之調配。根據一實施例，當該分析結果指示該一個或多個各自之亮度值中之至少一個大於該門檻值時，該影像融合電路基於該一個或多個各自之亮度值中之該至少一個之最低值確定調配參數，並根據該調配參數調配不同曝光畫面。根據一實施例，該影像融合電路根據該調配參數調配不同曝光畫面之步驟包含：該影像融合電路使用該調配參數控制與該調整後之即時影像之該影像資料有關之多個場景亮度值和多個數位值之間之非線性映射。根據一實施例，該影像融合電路使用該調配參數控制與該調整後之即時影像之該影像資料有關之該場景亮度值和該數字值之間之該非線性映射之步驟包含：該影像融合電路調整映射至高於門檻值範圍之高場景亮度值範圍之數字值範圍。根據一實施例，該影像處理器根據該分析結果在該即時影像之該一個或多個興趣區內局部調整該影像資料之步驟包含：該興趣區分析器將該分析結果作為回饋進行提供給該影像融合電路，該影像融合電路根據該分析結果調整對不同曝光畫面之該調配，以便調整與該調整後之即時影像之該影像資料有關之多個場景亮度值和多個數位值之間之非線性映射。根據一實施例，該影像處理器根據該分析結果在該即時影像之該一個或多個興趣區內局部調整該影像資料之步驟包含：該興趣區分析器將該分析結果作為回饋提供給該影像融合電路，該影像融合電路根據該分析結果調整映射至高於門檻值範圍之高場景亮度值範圍之數字值範圍。根據一實施例，該影像處理器進一步包含：局部對比度增強電路，耦接於該興趣區分析器並接收該興趣區分析器之該分析結果；其中，該影像處理器根據該分析結果在該即時影像之該一個或多個興趣區內局部調整該影像資料之步驟包含：該局部對比度增強電路在該一個或多個興趣區之至少一個興趣區內增強局部對比度。根據一實施例之影像處理裝置進一步包含：面板，耦接於 該影像處理器，該面板顯示該調整後之即時影像。根據一實施例，該影像處理器進一步包含：影像信號處理引擎，用於對該調整後之即時影像進行編碼。根據一實施例，該影像處理器全域調整該即時影像之影像資料。根據一實施例，該影像擷取裝置耦接於參數設置電路，該參數設置電路用於根據該興趣區分析器之該分析結果確定該感測器之一個或多個設置參數，以設置該影像擷取裝置之操作。根據一實施例，該一個或多個設置參數用於設置以下操作中之至少一個：該影像擷取裝置之自動白平衡，自動曝光以及自動對焦。
本發明所提供之影像處理器方法及裝置，其優點之一在於能夠對HDR即時影像執行局部視覺優化以增強局部區域之影像細節，同時又可維持整個即時影像之高動態範圍。
100‧‧‧影像處理系統
110‧‧‧面板
120、520、820‧‧‧影像處理裝置
122、521、822‧‧‧影像擷取單元
126、522‧‧‧影像處理器
130‧‧‧影像處理裝置
300‧‧‧控制方法
302~312、412~416、602~616‧‧‧步驟
523‧‧‧HDR感測器
524‧‧‧影像融合電路
525‧‧‧參數設置電路
526‧‧‧ROI分析器
528‧‧‧局部對比度增強電路
530‧‧‧影像信號處理引擎
D1~D4‧‧‧顯示圖像
BG‧‧‧背景
R1~R2‧‧‧ROI
第1圖為根據本發明一實施例之顯示較佳影像處理系統之區塊示意圖。
第2圖為根據本發明一實施例之在第1圖所示影像處理系統100之不同工作模式下之面板110上之顯示內容之示意圖。
第3圖為根據本發明一實施例之影像處理系統之較佳控制方法之流程圖。
第4圖為根據本發明一實施例之較佳影像處理方法之流程圖。
第5圖為根據本發明一實施例之較佳影像處理裝置之區塊示意圖。
第6圖為根據本發明一實施例之較佳影像處理方法之流程圖。
第7圖為第5圖所示HDR影像融合電路524之影像調配操作之實施例之示意圖。
第8圖為根據本發明一實施例之較佳影像處理裝置之區塊示意圖。
在說明書及申請專利範圍當中使用了某些詞彙來指稱特定之元件。 所屬領域具有通常知識者應可理解，硬體製造商可能會用不同名詞來稱呼同一個元件。本說明書及申請專利範圍並不以名稱之差異來作為區分元件之方式，而是以元件在功能上之差異來作為區分之準則。在通篇說明書及申請專利範圍當中所提及之「包含」及「包括」為一開放式用語，故應解釋成「包含但不限定於」。「大致」是指在可接受之誤差範圍內，所屬領域具有通常知識者能夠在一定誤差範圍內解決所述技術問題，基本達到所述技術效果。此外，「耦接」一詞在此包含任何直接及間接之電性連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電性連接於該第二裝置，或透過其它裝置或連接手段間接地電性連接至該第二裝置。「連接」一詞在此包含任何直接及間接、有線及無線之連接手段。以下所述為實施本發明之較佳方式，目的在於說明本發明之精神而非用以限定本發明之保護範圍，本發明之保護範圍當視後附之申請專利範圍所界定者為准。
在一些實施例中，本發明所提供之影像處理機制可分析即時影像(動態影像或視訊影像)之至少一局部區域(感興趣之區域或ROI)，以即時地對即時影像進行影像資料之局部調整，從而顯示該至少一ROI之更多影像細節。為便於理解本發明之多個實施例，本發明所提供之影像處理機制使用從多個影像或畫面中所獲取之即時影像(例如，透過對多個曝光畫面進行調配所獲取之HDR視訊影像)進行描述。然而，這並非用以限制本發明。只要即時影像之影像資料是根據即時影像之ROI之分析結果進行局部調整的，那麼有關之修改或更動均落入本發明之範圍。以下將提供進一步說明。
請參考第1圖，第1圖為根據本發明一實施例之顯示較佳影像處理系統之區塊示意圖。影像處理系統100可實施為能夠擷取和處理影像之任意裝置，例如行動電話，平板電腦，個人電腦，相機等，並可包括但不僅限於面板110，影像處理裝置120及記憶體裝置130。影像處理裝置120可包含影像擷取單元122和影像處理器126，其中影像擷取單元122可擷取場景之影像或畫面，並將擷取到之影像發送至影像處理器126，以及影像處理器126可相應產生即時影像IMR。 在一實施方式中，影像處理裝置120可將所產生之即時影像IMR發送至面板(panel)110以顯示場景之即時預覽(live preview)。在另一實施方式中，影像處理系統100可使用記憶體裝置130(例如，記憶體裝置或暫存器)來儲存即時影像IMR，以便記錄視訊流。舉例而言，影像處理裝置120可對即時影像IMR進行編碼以產生編碼資料，並將編碼資料儲存於記憶體裝置130中，以記錄視訊流。
在此實施例中，影像擷取單元122可使用多個曝光時間來擷取場景，以產生多個曝光畫面F1-Fn，且影像處理器126可調配曝光畫面F1-Fn以產生即時影像IMR，其中，n為大於1之整數。由於曝光畫面F1-Fn對應於不同曝光時間，因此所產生之即時影像IMR可具有高動態範圍(high dynamic range)。在一實施方式中，影像擷取單元122可實施為具有HDR感測器之影像擷取裝置，其中HDR感測器可根據不同曝光時間來擷取場景，以便產生曝光畫面F1-Fn。在另一實施方式中，影像擷取單元122可包含多個影像擷取裝置，這多個影像擷取裝置可分別根據不同曝光時間來擷取場景，以便產生對應之曝光畫面F1-Fn。請注意，只要影像擷取單元122可使用不同曝光時間來擷取場景以產生曝光畫面F1-Fn，那麼影像擷取單元122可以多種方式來實施。
另外地，當在記錄HDR視訊或擷取HDR視訊影像時，影像處理系統 100可用於即時地對即時影像IMR之影像資料進行局部調整，以便進一步增強已記錄之HDR視訊之品質。以舉例但不限定之方式，面板110可實施為觸摸顯示面板。用戶可選擇/觸摸在面板110上所顯示之即時影像IMR之一個或多個興趣區(ROIs)，以及面板110可相應產生關於該一個或多個ROI之ROI資訊INFROI，其中ROI資訊INFROI可包含使用者所選擇之該一個或多個ROI之位置/坐標資訊。影像處理器126可根據ROI資訊INFROI分析即時影像IMR之一個或多個ROI，並相應產生分析結果。接著，影像處理器126可參考分析結果對即時影像IMR之影像資料進行局部調整(例如，調整該一個或多個ROI內之影像資料)，以即時地產生調整後之即時影像IMA。面板110可顯示調整後之即時影像IMA之即時預覽，及/或影像處理裝置120可將調整後之即時影像IMA發送至記憶體裝置130以用於視訊記錄。
請注意，雖然在第1圖所示實施例中，影像擷取單元122包含於影像處理裝置120之中，然而根據本發明其它實施例，影像擷取單元122也可位於影像處理裝置120之外部，本發明並不以此為限。
即時影像IMR和調整後之即時影像IMA之間之差別之實施例如第2圖所示，該實施例僅用於說明目的。請一併參考第1圖和第2圖。第2圖為根據本發明一實施例之在第1圖所示影像處理系統100之不同工作模式下之面板110上之顯示內容之示意圖。首先，如第2圖之左上部分所示，當影像處理系統100工作在正常視訊記錄模式下時，一顯示圖像(display picture)D1顯示背景BG因過度曝光導致太亮而人臉因背光導致太暗。當影像處理器系統100工作在HDR視訊記錄模式下時，相較於顯示圖像D1，顯示圖像D2(即，具有高動態範圍之即時影像IMR)中之背景BG和人臉均較清晰。
另外，如上所述，影像處理系統100在HDR視訊記錄模式下可進一步局部增強影像細節。舉例而言，若使用者希望增強背景BG之影像細節，使用者可選擇顯示圖像D2上之ROI R1。面板110可向影像處理裝置120發送與ROI R1有關之ROI資訊INFROI，以及影像處理裝置120可根據ROI資訊INFROI分析即時影像IMR之ROI R1，從而產生調整後之即時影像IMA以增強ROI R1之影像細節(如第2圖之左下部分所示之顯示圖像D3)。類似地，若使用者希望增強人臉之影像細節，使用者可選擇顯示圖像D2上之ROI R2。影像處理裝置120可產生調整後之即時影像IMA以增強人臉之影像細節(如第2圖之右下部分所示之顯示圖像D4)。
請注意，在顯示圖像D3/D4中未選擇之影像物件(image objects)(例如，顯示圖像D3中之人臉和太陽)可維持與顯示圖像D2類似或相同之影像清晰度(sharpness)。這意味著影像處理裝置120可對已選擇之ROI R1之影像資料進行局部調整(例如，根據其分析結果調整ROI R1之亮度(brightness/luminance)值)，而維持整個影像之高動態範圍。因此，本發明所提供之影像處理系統不但可顯示/記錄HDR視訊影像，而且可增強HDR視訊影像之一個或多個特定區域之影像細節，從而為使用者提供更好之視覺體驗。
在另一設計中，使用者可同時在顯示圖像D2上觸摸/選擇多個ROI。 舉例而言，用戶可同時觸摸ROI R1和R2，以及面板110可向影像處理裝置120輸出與ROI R1和ROI R2有關之ROI資訊INFROI(包含ROI R1和ROI R2之位置/坐標資訊)。接著，影像處理裝置120可輸出具有增強之背景BG和人臉之影像細節之調整後之即時影像IMA。
上述即時影像之產生方法可總結為如第3圖所示之流程圖。第3圖為根據本發明一實施例之影像處理系統之較佳控制方法之流程圖。為說明目的，第3圖所示之控制方法300結合第1圖所示之影像處理系統100進行說明。所屬領域具有通常知識者應理解，該實施例並非用以限定本發明。第3圖所示之控制方法300可總結如下。
步驟302：開啟影像處理系統100。舉例而言，啟動(activate)影像處理系統100之記錄功能。
步驟304：提供正常預覽。舉例而言，當影像處理系統100工作在正常視訊記錄模式(或正常影像擷取模式)下時，面板110可顯示影像處理裝置120所產生之即時影像IMR(例如，第2圖所示之顯示圖像D1)。
步驟306：使能(enable)HDR視訊記錄模式。當影像處理系統100使能HDR視訊記錄模式時，影像處理裝置120輸出之即時影像IMR可具有高動態範圍。
步驟308：提供與一個或多個ROI有關之ROI資訊。舉例而言，當用戶觸摸面板110上所顯示之即時影像IMR之一個或多個視窗或選擇一個或多個ROI(例如，第2圖所示之ROI R1及/或ROI R2)時，面板110可相應地產生ROI資訊INFROI，並發送至影像處理裝置120，其中ROI資訊INFROI用於指示所選擇之一個或多個ROI。
步驟310：對HDR視訊(或HDR視訊影像)執行局部視覺優化。舉例而言，影像處理裝置120可分析該一個或多個ROI以產生分析結果，並根據分析結果對即時影像IMR之影像資料進行局部調整，以便對HDR視訊(即，即時影像IMR)執行局部視覺優化。
步驟312：播放/記錄經過局部優化後之HDR視訊。舉例而言，影像處理裝置120可對即時影像IMR執行局部視覺優化，以產生調整後之即時影像 IMA，並將調整後之影像IMA發送至面板110，以顯示調整後之即時影像IMA之即時預覽。在另一實施例中，影像處理裝置120可將調整後之即時影像IMA發送至記憶體裝置130以用於視訊記錄。在又一實施例中，影像處理裝置120可對調整後之即時影像IMA進行編碼以產生編碼資料，然後將編碼資料儲存於記憶體裝置130中以用於視訊記錄。
請注意，以上僅用於說明目的，並非用以限制本發明。舉例而言，假設結果大致相同，那麼以上多個步驟無需嚴格依照第3圖所示之次序執行，也不需要是連續的。
根據上述說明，本發明所提供之影像處理系統能夠對HDR視訊執行局部視覺優化。具體地，第1圖所示之影像處理裝置120可能不僅產生HDR即時影像IMR，而且可以即時地調整其影像細節，以便產生調整後之即時影像IMA。 影像處理裝置120所使用之影像處理方法可總結如第4圖，第4圖為根據本發明一實施例之較佳影像處理方法之流程圖。該影像處理方法可結合第1圖進行說明，但本發明並不僅限於此。
步驟412：調配多個曝光畫面(例如，曝光畫面F1-Fn)以產生即時影像(例如，即時影像IMR)，其中該多個曝光畫面是透過一個或多個影像擷取裝置(例如，影像擷取單元122)使用多個曝光時間來擷取的。
步驟414：根據關於即時影像之一個或多個ROI之ROI資訊(例如，ROI資訊INFROI)，分析即時影像之一個或多個ROI，並相應產生分析結果。
步驟416：使用影像處理器(例如，影像處理器126)根據分析結果對即時影像之該一個或多個ROI內之影像資料進行局部調整，以即時地產生調整 後之即時影像(例如，即時影像IMA)。
為便於理解本發明，本發明所提出之影像處理方法將在下文結合使用HDR感測器之影像處理裝置進行說明。然而，所屬領域具有通常知識者應理解，這並非用以限制本發明。請參考第5圖，第5圖為根據本發明一實施例之較佳影像處理裝置之區塊示意圖。第1圖所示之影像處理裝置120可實施為影像處理裝置520，但本發明並不以此為限。在本實施例中，影像處理裝置520可包含影像擷取單元521和影像處理器522，其中，第1圖所示之影像擷取單元122和影像處理器126可分別實施為影像擷取單元521和影像處理器522。
影像擷取單元521可包含HDR感測器523和參數設置電路525，其中HDR感測器523可使用不同曝光時間來擷取場景以產生多個曝光畫面F1-Fn，以及參數設置電路525可確定HDR感測器523之一個或多個設置參數，例如一個或多個自動白平衡(Auto White Balance,AWB)參數，一個或多個自動曝光(Auto Exposure,AE)參數，一個或多個自動對焦(Auto Focus,AF)參數等。換言之，參數設置電路525可為HDR感測器523提供一個或多個設置參數，以便設置HDR感測器523之操作(例如，AWB，AE和AF操作中之至少一個)，從而更新曝光畫面F1-Fn。影像處理器522可根據更新後之曝光畫面F1-Fn對即時影像IMR之影像資料進行全域調整。
影像處理器522可包含HDR影像融合(image fusion)電路524，ROI分析器526，局部對比度增強(Local Contrast Enhancement,LCE)電路528和影像信號處理(Image Signal Processing,ISP)引擎530。在HDR視訊記錄模式下，HDR影像融合電路524可調配曝光畫面F1-Fn以產生即時影像IMR(具有高動態範圍之即時影 像)。當影像處理器522接收ROI資訊INFROI(包括即時影像IMR之一個或多個ROI之位置/坐標資訊)時，ROI分析器526可根據ROI資訊INFROI分析即時影像IMR之該一個或多個ROI，以產生分析結果AR，其中，影像處理器522可根據分析結果AR對即時影像IMR執行局部視覺優化，以便產生調整後之即時影像IMA。舉例而言，當HDR影像融合電路524可根據數位值與場景輻射(scene radiance)/亮度值(brightness values)之間之影像資料映射對多個曝光畫面進行調配以產生即時影像之影像資料時，HDR影像融合電路524可根據分析結果AR調整與該一個或多個ROI之影像資料有關之場景亮度值和數字值之間之映射(例如，非線性映射)，從而產生調整後之即時影像IMA之影像資料。
另外地或者可選擇地，當HDR影像融合電路524可根據數位值與場景輻射/亮度值之間之影像資料映射對多個曝光畫面進行調配以產生即時影像之影像資料時，HDR影像融合電路524可使用分析結果AR作為回饋來調整映射至高於門檻值範圍之高場景亮度範圍之數位值範圍，從而產生調整後之即時影像IMA之該一個或多個ROI內之影像資料。在一些實施例中，對HDR影像處理之調整可對高亮度水準(例如，亮度值高於預定門檻值)執行。
另外地或者可選擇地，LCE電路528可根據分析結果AR在即時影像IMR之一個或多個ROI中之至少一個ROI內增強局部之對比度(contrast)，並相應產生調整後之即時影像IMA。在一些實施例中，局部對比度增強可對低亮度水準和中等亮度水準(例如，亮度水準低於預定門檻值)執行。
另外地或者可選擇地，參數設置電路525可調整HDR感測器523之一個或多個設置參數(例如，一個或多個AE參數)。HDR感測器523可相應更新曝 光畫面F1-Fn，以及HDR影像融合電路524可調配更新後之曝光畫面F1-Fn以產生調整後之即時影像IMA。換言之，ROI分析器526可為HDR影像融合電路524提供分析結果AR作為回饋，以調整其影像調配操作。
以上僅用於說明目的，並非用以限制本發明。在另一種設計中，影像處理器522可根據分析結果AR來調整HDR影像融合電路524之影像調配操作、HDR感測器523中之一個或多個設置參數以及LCE電路528之LCE操作中之至少一個。在另一種可選擇之設計中，影像處理器522可透過確定一個或多個ROI之影像資料是否滿足一個或多個預定準則(criteria)來分析該一個或多個ROI，相應產生分析結果AR，並根據分析結果AR來調整HDR影像融合電路524之影像調配操作或執行LCE電路528之LCE操作。進一步之描述提供如下。
請參考第6圖，第6圖為根據本發明一實施例之較佳影像處理方法之流程圖。在本實施例中，相應之局部視覺優化操作是根據一個或多個ROI之影像資料是否滿足一個或多個預定準則來執行的。為說明目的，第6圖所示之影像處理方法將結合第5圖所示之影像處理裝置520進行說明。另外，假設結果大致相同，以下多個步驟無需嚴格依照第6圖所示之次序執行，也不必需是連續的。第6圖所示之影像處理方法可總結如下。
步驟602：ROI分析器526接收ROI資訊INFROI。
步驟604：ROI分析器526確定即時影像IMR之一個或多個ROI之各個影像資料(例如，各個亮度值)是否滿足一個或多個預定準則。若滿足第一準則(準則1)，則轉至步驟606，若滿足第二準則(準則2)，則轉至步驟608。
步驟606：當分析結果AR指示該一個或多個ROI之各個影像資料中之 至少一個滿足第一準則時，HDR影像融合電路524可根據各個影像資料之至少一個調整對多個曝光畫面F1-Fn之調配。
步驟608：當分析結果AR指示該一個或多個ROI之各個影像資料中之至少一個滿足第二準則時，LCE電路528可在即時影像IMR之至少一對應ROI內增強局部對比度。
步驟614：ISP 530可對調整後之即時影像IMA之執行進一步處理，以優化影像信號品質。
步驟616：ISP 530可輸出處理後之即時影像IMA，以用於即時預覽(例如，輸出至顯示幕幕)，及/或對處理後之即時影像IMA進行編碼以用於視訊記錄。
在步驟604中，ROI分析器526可確定該一個或多個ROI之一個或多個各自之亮度值是否大於門檻值。當ROI分析器526確定該一個或多個各自之亮度值中之至少一個大於門檻值時，分析結果AR指示滿足第一準則。當ROI分析器526確定該一個或多個各自之亮度值中之至少一個不大於門檻值時，分析結果AR指示滿足第二準則。
在步驟606中，當分析結果AR指示該一個或多個ROI之各自之影像資料中之至少一個滿足第一準則時，參數設置電路525可根據分析結果AR(進一步指示該一個或多個ROI之各自之影像資料)來確定一個或多個設置參數，以設置HDR感測器523之一個或多個操作，其中，該一個或多個操作可包含AWB、AE和AF操作中之至少一個。因此，HDR感測器523可根據該一個或多個設置參數來執行影像擷取，從而更新曝光畫面F1-Fn。接著，HDR影像融合電路524可根據分析結果AR來調配更新後之曝光畫面F1-Fn，以產生調整後之即時影像IMA。
在步驟608中，LCE電路528可對至少一對應ROI執行LCE，而不影響即時影像IMR之其它區域之影像資料(例如亮度值)。
請注意，當該一個或多個ROI包含滿足第一準則和第二準則之ROI時，影像處理器522可對對應之ROI執行各自之局部視覺優化操作(例如，步驟606和步驟608)。
另外，在另一設計中，分析結果AR可包含其它類型之影像資料，以及上述準則可相應調整。簡言之，只要根據ROI分析結果對HDR即時影像執行局部視覺優化，那麼有關之修改和變形均落入本發明之範圍。
此外，當ROI分析器526可確定該一個或多個各自之亮度值中之至少一個大於門檻值時，HDR影像融合電路524可透過調整用於調配曝光畫面F1-Fn之調配參數來執行局部視覺優化。請一併參考第7圖和第5圖。第7圖為第5圖所示HDR影像融合電路524之影像調配操作之實施例之示意圖。為說明目的，在本實施例中，HDR影像融合電路524可調配HDR感測器523所擷取之兩個曝光畫面F1和F2(即，n等於2)，以產生即時影像IMR/IMA。請注意，本發明所提供之影像擷取單元所擷取之曝光畫面F1-Fn之數目並不僅限於此。
如第7圖之左上部所示，HDR影像融合電路524可根據曝光信號LE(對應於較長之曝光時間)擷取曝光畫面F1，並根據曝光信號SE(對應於較短之曝光時間)擷取曝光畫面F2。為了對即時影像IMR之影像資料進行局部調整，HDR影像融合電路524可根據調配參數K來確定曝光信號LE和曝光信號SE之非線性組合。舉例而言，當調配參數K等於3/4時，曝光信號LE可調整為曝光信號 LENL，其中，過度曝光區域之最大數位值從AX減少到3X，以及曝光信號SE調整為曝光信號SENL，如第7圖之右下部分所示。類似地，當調配參數K等於1/2時，過度曝光區域之最大數位值從4X減少至2X(如第7圖之左下部分所示)；當調配參數K等於1/4時，過度曝光區域之最大數位值從4X減少至1X(如第7圖右下部分所示)。
基於對與影像資料有關之場景輻射/亮度值和數位值之間之非線性映射之上述調整，HDR影像融合電路524可透過調整調配參數K來增強一個或多個過度曝光區域之影像品質。具體地，當分析結果AR指示一個或多個ROI之各自之一個或多個亮度值中之至少一個大於門檻值時，HDR影像融合電路524可根據該各自之一個或多個亮度值中之該至少一個調整對曝光畫面F1-Fn之調配，其中，HDR影像融合電路524可基於該各自之亮度值中之該至少一個中之最低值確定調配參數K，並根據調配參數K來調配曝光畫面F1-Fn。舉例而言，HDR影像融合電路524可為調整後之實施影像IMA使用調配參數K來控制與一個或多個ROI之影像資料有關之場景亮度值和數位值之間之非線性映射。另外，為了增強一個或多個過度曝光區域之影像品質，HDR影像融合電路524可調整映射至高於門檻值範圍之高場景亮度範圍之數字值範圍(例如，在第7圖所示之實施例中數位值大於4X)，從而為調整後之即時影像IMA產生一個或多個ROI之影像資料。
以上僅用於說明目的，並非用以限制本發明。在另一種設計中，HDR影像融合電路524可根據該各自之亮度值之平均值來確定調配參數K。在另一可選擇之設計中，HDR影像融合電路524可以多種方式來調配曝光畫面F1-Fn(例如，與第7圖所示之非線性映射不同其它非線性映射)。在又一設計中，HDR影像融合電路524可根據調配參數K增強在即時影像內之具有較低亮度值之一個或 多個區域(例如，曝光不足之區域)之影像細節。
此外，參數設置電路525可根據分析結果AR來調整HDR感測器523所使用之曝光信號LE和SE。換言之，本發明所提出之影像處理方法可根據ROI分析結果不僅對曝光畫面之調配操作進行調整(例如，調整曝光信號之組合)，而且直接調整用於捕獲曝光畫面之曝光信號，從而實現對即時影像之局部視覺優化。此外，也可將HDR感測器523替換為可擷取多個曝光畫面之多種其它影像擷取裝置。
根據多個實施例，本發明所提供之影像處理裝置可對即時影像執行局部視覺優化，而無需對即時影像之影像資料進行全域調整。換言之，一個或多個影像擷取裝置之設置參數在局部視覺優化期間可以不改變。第8圖為根據本發明一實施例之較佳影像處理裝置之區塊示意圖。影像處理裝置820之結構是基於第5圖所示之影像處理裝置520之結構，其中，二者主要區別在於在影像擷取單元822中可省略參數設置電路。所屬領域具有通常知識者在閱讀與第1圖-8有關之段落後，應當理解，影像處理裝置820可根據ROI資訊INFROI來事先對即時影像IMR之局部視覺優化，簡潔起見，省略此處描述。
總而言之，本發明所提供之影像處理機制可對HDR即時影像執行局部視覺優化，以增強局部區域之影像細節，而維持整體即時影像之高動態範圍。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何所屬領域具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為准。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (8)

  1. 一種影像處理方法，包含：調配多個曝光畫面以產生即時影像，其中該多個曝光畫面是透過一個或多個影像擷取裝置使用多個曝光時間所擷取的；根據關於該即時影像之一個或多個興趣區之興趣區資訊，分析該即時影像之該一個或多個興趣區，並相應產生一分析結果；以及使用一影像處理器根據該分析結果在該即時影像之該一個或多個興趣區內局部調整影像資料，以即時地產生調整後之即時影像；其中，根據該分析結果在該即時影像之該一個或多個興趣區內局部調整該影像資料之步驟包含：將該分析結果作為一回饋進行提供，以調整對不同曝光畫面之調配，以便調整與該調整後之即時影像之該影像資料有關之多個場景亮度值和多個數位值之間之非線性映射；或者將該分析結果作為一回饋進行提供，以調整映射至高於一門檻值範圍之一高場景亮度值範圍之數字值範圍。
  2. 根據申請專利範圍第1項之影像處理方法，其特徵在於，分析該即時影像之該一個或多個興趣區之步驟包含：確定該一個或多個興趣區之一個或多個各自之亮度值是否滿足一個或多個預定準則；以及確定該一個或多個興趣區之該一個或多個各自之亮度值是否滿足該一個或多個預定準則之步驟包含：確定該一個或多個各自之亮度值是否大於一門檻值。
  3. 根據申請專利範圍第2項之影像處理方法，其特徵在於，根據該分析 結果在該即時影像之該一個或多個興趣區內局部調整該影像資料之步驟包含：當該分析結果指示該一個或多個各自之亮度值中之至少一個不大於該門檻值時，在該即時影像之至少一個對應興趣區內增強局部對比度。
  4. 根據申請專利範圍第2項之影像處理方法，其特徵在於，根據該分析結果在該即時影像之該一個或多個興趣區內局部調整該影像資料之步驟包含：當該分析結果指示該一個或多個各自之亮度值中之至少一個大於該門檻值時，根據該一個或多個各自之亮度值中之該至少一個調整對不同曝光畫面之調配。
  5. 根據申請專利範圍第4項之影像處理方法，其特徵在於，根據該一個或多個各自之亮度值中之該至少一個調整對不同曝光畫面之調配之步驟包含：基於該一個或多個各自之亮度值中之該至少一個之一最低值確定一調配參數；以及根據該調配參數調配不同曝光畫面。
  6. 根據申請專利範圍第5項之影像處理方法，其特徵在於，根據該調配參數調配不同曝光畫面之步驟包含：使用該調配參數控制與該調整後之即時影像之該影像資料有關之多個場景亮度值和多個數位值之間之一非線性映射。
  7. 根據申請專利範圍第6項之影像處理方法，其特徵在於，控制與該調整後之即時影像之該影像資料有關之該多個場景亮度值和該多個數字值之間之該非線性映射之步驟包含：調整映射至高於一門檻值範圍之一高場景亮度值範圍之數字值範圍。
  8. 根據申請專利範圍第1項之影像處理方法，其特徵在於，根據該分析結果在該即時影像之該一個或多個興趣區內局部調整該影像資料之步驟包含：在該一個或多個興趣區之至少一個興趣區內增強局部對比度。
TW106110945A 2016-05-11 2017-03-31 影像處理方法 TWI639974B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/151,507 US9998720B2 (en) 2016-05-11 2016-05-11 Image processing method for locally adjusting image data of real-time image
US15/151,507 2016-05-11

Publications (2)

Publication Number Publication Date
TW201805892A TW201805892A (zh) 2018-02-16
TWI639974B true TWI639974B (zh) 2018-11-01

Family

ID=60297237

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106110945A TWI639974B (zh) 2016-05-11 2017-03-31 影像處理方法

Country Status (3)

Country Link
US (1) US9998720B2 (zh)
CN (1) CN107370960A (zh)
TW (1) TWI639974B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602075B2 (en) * 2017-09-12 2020-03-24 Adobe Inc. Automatically determining a set of exposure values for a high dynamic range image capture device
US10497104B2 (en) 2017-10-24 2019-12-03 Adobe Inc. Empirical exposure normalization
JP7135299B2 (ja) * 2017-10-27 2022-09-13 株式会社リコー 画像処理装置、表示装置、画像処理方法、プログラム
CN108198152B (zh) * 2018-02-07 2020-05-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109035159A (zh) * 2018-06-27 2018-12-18 努比亚技术有限公司 一种图像优化处理方法、移动终端及计算机可读存储介质
CN109379625B (zh) * 2018-11-27 2020-05-19 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
CN110049240B (zh) * 2019-04-03 2021-01-26 Oppo广东移动通信有限公司 摄像头控制方法、装置、电子设备和计算机可读存储介质
JP7373299B2 (ja) * 2019-04-26 2023-11-02 キヤノン株式会社 画像処理装置およびその制御方法
CN113905182B (zh) * 2020-06-22 2022-12-13 华为技术有限公司 一种拍摄方法及设备
CN114302035A (zh) * 2021-12-13 2022-04-08 杭州海康慧影科技有限公司 一种图像处理方法、装置、电子设备及内窥镜系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130314568A1 (en) * 2011-02-18 2013-11-28 DigitalOptics Corporation Europe Limited Dynamic Range Extension by Combining Differently Exposed Hand-Held Device-Acquired Images
TW201444364A (zh) * 2012-12-21 2014-11-16 Nvidia Corp 用於照相機控制的方式
TW201526640A (zh) * 2013-12-24 2015-07-01 shi-jie Huang 基於個別像素進行曝光映射之高動態範圍影像合成裝置及其方法
TW201525942A (zh) * 2013-12-16 2015-07-01 Asustek Comp Inc 影像處理方法及影像處理裝置
CN104935911A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种高动态范围图像合成的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888487B (zh) * 2010-06-02 2012-03-14 中国科学院深圳先进技术研究院 高动态范围视频成像系统和图像生成方法
CA2841910A1 (en) * 2011-07-15 2013-01-24 Mobile Imaging In Sweden Ab Method of providing an adjusted digital image representation of a view, and an apparatus
US9008415B2 (en) * 2011-09-02 2015-04-14 Adobe Systems Incorporated Automatic image adjustment parameter correction
DE102013020611B4 (de) * 2012-12-21 2019-05-29 Nvidia Corporation Ein Ansatz für eine Kamerasteuerung
US10088989B2 (en) * 2014-11-18 2018-10-02 Duelight Llc System and method for computing operations based on a first and second user input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130314568A1 (en) * 2011-02-18 2013-11-28 DigitalOptics Corporation Europe Limited Dynamic Range Extension by Combining Differently Exposed Hand-Held Device-Acquired Images
TW201444364A (zh) * 2012-12-21 2014-11-16 Nvidia Corp 用於照相機控制的方式
TW201525942A (zh) * 2013-12-16 2015-07-01 Asustek Comp Inc 影像處理方法及影像處理裝置
TW201526640A (zh) * 2013-12-24 2015-07-01 shi-jie Huang 基於個別像素進行曝光映射之高動態範圍影像合成裝置及其方法
CN104935911A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种高动态范围图像合成的方法及装置

Also Published As

Publication number Publication date
CN107370960A (zh) 2017-11-21
TW201805892A (zh) 2018-02-16
US20170332060A1 (en) 2017-11-16
US9998720B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
TWI639974B (zh) 影像處理方法
US11375128B2 (en) Method for obtaining exposure compensation values of high dynamic range image, terminal device and non-transitory computer-readable storage medium
JP6388673B2 (ja) 携帯端末及びその撮像方法
JP5713752B2 (ja) 画像処理装置、及びその制御方法
JP5624809B2 (ja) 画像信号処理装置
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
JP5875732B2 (ja) 液晶表示装置
TWI530911B (zh) 動態曝光調整方法及其電子裝置
TW201233159A (en) High dynamic range transition
CN110266954B (zh) 图像处理方法、装置、存储介质及电子设备
US11490024B2 (en) Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium
CN108616689B (zh) 基于人像的高动态范围图像获取方法、装置及设备
WO2016011877A1 (zh) 拍摄光绘视频的方法和移动终端、存储介质
CN107888839B (zh) 高动态范围图像获取方法、装置及设备
US10127455B2 (en) Apparatus and method of providing thumbnail image of moving picture
JP2016163052A (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2010183460A (ja) 撮像装置およびその制御方法
US11336802B2 (en) Imaging apparatus
JP2015023514A (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
EP3442218A1 (en) Imaging apparatus and control method for outputting images with different input/output characteristics in different regions and region information, client apparatus and control method for receiving images with different input/output characteristics in different regions and region information and displaying the regions in a distinguishable manner
JP2010183461A (ja) 撮像装置およびその制御方法
JP2020048159A (ja) 撮像制御装置、撮像制御方法、およびプログラム
JP2019033470A (ja) 画像処理システム、撮像装置、画像処理装置、制御方法およびプログラム
JP2019016833A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7075272B2 (ja) 画像処理装置、情報表示装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees