TW202006666A - 影像處理方法與電子裝置 - Google Patents

影像處理方法與電子裝置 Download PDF

Info

Publication number
TW202006666A
TW202006666A TW107122823A TW107122823A TW202006666A TW 202006666 A TW202006666 A TW 202006666A TW 107122823 A TW107122823 A TW 107122823A TW 107122823 A TW107122823 A TW 107122823A TW 202006666 A TW202006666 A TW 202006666A
Authority
TW
Taiwan
Prior art keywords
image
subject
depth information
processor
images
Prior art date
Application number
TW107122823A
Other languages
English (en)
Other versions
TWI684165B (zh
Inventor
詹凱琳
黃旭鍊
Original Assignee
華晶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 華晶科技股份有限公司 filed Critical 華晶科技股份有限公司
Priority to TW107122823A priority Critical patent/TWI684165B/zh
Priority to CN201810980589.4A priority patent/CN110677558B/zh
Priority to US16/292,356 priority patent/US10972676B2/en
Application granted granted Critical
Publication of TW202006666A publication Critical patent/TW202006666A/zh
Publication of TWI684165B publication Critical patent/TWI684165B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

影像處理方法與電子裝置，所述方法包括：取得多個第一影像；取得第一深度資訊；根據第一影像產生第二影像；根據第一深度資訊，識別第二影像中的主體以及背景；判斷是否需對第二影像中的主體進行優化；當需對第二影像中的主體進行優化時，對第二影像中的主體進行優化，根據背景以及優化後的主體產生輸出影像，並輸出此輸出影像；以及當不需對第二影像中的主體進行優化時，根據背景以及主體產生輸出影像，並輸出此輸出影像。

Description

影像處理方法與電子裝置
本發明是有關於一種影像處理方法與電子裝置，且特別是應用於高動態範圍影像的影像處理方法與電子裝置。
圖1A至圖1C是傳統單張影像的取像技術的示意圖。傳統單張影像的取像技術，在高反差亮度的場景時(例如：逆光場景)，由於感測器動態範圍(Dynamic Range)的限制，此時若主體(例如：人像)亮度較暗，為拉亮此暗部區域影像亮度，而選擇較長的曝光設定，會造成影像其他明亮區域，因曝光設定增長而造成過曝，因此形成主體亮度正常但背景過曝的不佳影像，如圖1A所示。若曝光設定改以亮部區域為主時，為避免亮部區域過曝，則會因選擇較短的曝光設定，反而造成影像主體區域因曝光不足而過暗，如圖1B所示。如此，不管怎樣的曝光設定，使用者皆無法拍到主體、背景皆清晰的影像。
一般來說，為了達到影像最佳的效果，可以將多張影像疊合成單一高動態範圍影像，並透過階調再現(Tone Reproduction)技術，調整每一個像素的亮度。此方法可以較精準地還原現場景物的動態範圍，避免影像有過曝或過暗的區域，並產生明亮與暗部區域的細節。為了產生好的疊合影像，通常需要多張不同曝光設定的影像，因此得花費較多的計算時間(Computation Time)與記憶體空間，方能有效地完成疊合。然而，區域性階調再現的調整不僅費時，且容易產生光暈(例如，黑白邊界處，有異常的白邊或黑邊)的問題，如圖1C所示。此外，現有高動態影像處理技術，有時主體亮度經影像處理疊合後，對比度也跟著下降，造成主體立體感下降且不自然之亮度變化。
本發明提供一種影像處理方法與電子裝置，可以使用深度資訊來優化高動態範圍影像，使得優化後的高動態範圍影像可以更貼近人眼所見，並且能達到更佳的視覺效果。
本發明的提出一種影像處理方法，用於電子裝置，所述方法包括：取得多個第一影像；取得第一深度資訊；根據所述多個第一影像產生第二影像；根據所述第一深度資訊，識別所述第二影像中的主體以及背景；判斷是否需對所述第二影像中的所述主體進行優化；當需對所述第二影像中的所述主體進行優化時，對所述第二影像中的所述主體進行優化，根據所述背景以及優化後的所述主體產生輸出影像，並輸出所述輸出影像；以及當不需對所述第二影像中的所述主體進行優化時，根據所述背景以及所述主體產生所述輸出影像，並輸出所述輸出影像。
在本發明的一實施例中，其中取得所述多個第一影像的步驟包括：取得對應於所述主體的第二深度資訊；根據所述第二深度資訊，決定第一曝光值；根據所述第一曝光值，決定至少一第二曝光值；以及根據所述第一曝光值以及所述第二曝光值擷取所述多個第一影像。
在本發明的一實施例中，其中取得所述第一深度資訊的步驟包括：根據所述多個第一影像中使用所述第一曝光值拍攝的第三影像，取得所述第一深度資訊。
在本發明的一實施例中，所述方法更包括：取得使用所述第一曝光值擷取的第四影像，其中用於擷取所述多個第一影像的第一影像擷取電路不同於用於擷取所述第四影像的第二影像擷取電路。其中取得所述第一深度資訊的步驟包括：根據所述第三影像以及所述第四影像取得所述第一深度資訊。
在本發明的一實施例中，其中取得對應於所述主體的所述第二深度資訊的步驟包括：獲得至少一第五影像，其中所述第五影像是由所述第一影像擷取電路所擷取；獲得至少一第六影像，其中所述第六影像是由所述第二影像擷取電路所擷取；以及根據所述第五影像以及所述第六影像取得對應於所述主體的所述第二深度資訊。
在本發明的一實施例中，其中所述第二深度資訊是透過深度感測電路所獲得，其中取得所述第一深度資訊的步驟包括：根據所述多個第一影像中使用所述第一曝光值拍攝的所述第三影像以及所述深度感測電路感測所述主體所獲得的第三深度資訊，取得所述第一深度資訊。
在本發明的一實施例中，其中判斷是否需對所述第二影像中的所述主體進行優化的步驟包括：根據所述第二影像以及所述多個第一影像中的至少一第五影像，判斷所述第二影像中的所述主體的第一參數與所述第五影像中的所述主體的第二參數的差值是否大於一門檻值；當所述差值大於所述門檻值時，判斷需對所述第二影像中的所述主體進行優化；以及當所述差值非大於所述門檻值時，判斷不需對所述第二影像中的所述主體進行優化。
在本發明的一實施例中，所述第一參數與所述第二參數為亮度值及/或對比度。
在本發明的一實施例中，其中在產生所述輸出影像的步驟包括：對所述背景進行虛化，並根據虛化後的所述背景產生所述輸出影像。
在本發明的一實施例中，其中所述第二影像為高動態範圍影像（High Dynamic Range Image，HDR）。
本發明提出一種電子裝置，所述電子裝置包括處理器。所述處理器用以執行下述運作：取得多個第一影像；取得第一深度資訊；根據所述多個第一影像產生第二影像；根據所述第一深度資訊，識別所述第二影像中的主體以及背景；判斷是否需對所述第二影像中的所述主體進行優化；當需對所述第二影像中的所述主體進行優化時，對所述第二影像中的所述主體進行優化，根據所述背景以及優化後的所述主體產生輸出影像，並輸出所述輸出影像；以及當不需對所述第二影像中的所述主體進行優化時，根據所述背景以及所述主體產生所述輸出影像，並輸出所述輸出影像。
在本發明的一實施例中，其中在取得所述多個第一影像的運作中，所述處理器更用以執行下述運作：取得對應於所述主體的第二深度資訊；根據所述第二深度資訊，決定第一曝光值；根據所述第一曝光值，決定至少一第二曝光值；以及所述處理器根據所述第一曝光值以及所述第二曝光值擷取所述多個第一影像。
在本發明的一實施例中，其中在取得所述第一深度資訊的運作中，所述處理器根據所述多個第一影像中使用所述第一曝光值拍攝的第三影像，取得所述第一深度資訊。
在本發明的一實施例中，所述處理器取得使用所述第一曝光值擷取的第四影像，其中用於擷取所述多個第一影像的第一影像擷取電路不同於用於擷取所述第四影像的第二影像擷取電路。其中在取得所述第一深度資訊的運作中，所述處理器根據所述第三影像以及所述第四影像取得所述第一深度資訊。
在本發明的一實施例中，其中在取得對應於所述主體的所述第二深度資訊的運作中，所述處理器獲得至少一第五影像，其中所述第五影像是由所述第一影像擷取電路所擷取。所述處理器獲得至少一第六影像，其中所述第六影像是由所述第二影像擷取電路所擷取。所述處理器根據所述第五影像以及所述第六影像取得對應於所述主體的所述第二深度資訊。
在本發明的一實施例中，其中所述第二深度資訊是透過深度感測電路所獲得，其中在取得所述第一深度資訊的運作中，所述處理器根據所述多個第一影像中使用所述第一曝光值拍攝的所述第三影像以及所述深度感測電路感測所述主體所獲得的一第三深度資訊，取得所述第一深度資訊。
在本發明的一實施例中，其中在判斷是否需對所述第二影像中的所述主體進行優化的運作中，所述處理器根據所述第二影像以及所述多個第一影像中的至少一第五影像，判斷所述第二影像中的所述主體的第一參數與所述第五影像中的所述主體的第二參數的差值是否大於門檻值。當所述差值大於所述門檻值時，所述處理器判斷需對所述第二影像中的所述主體進行優化。當所述差值非大於所述門檻值時，所述處理器判斷不需對所述第二影像中的所述主體進行優化。
在本發明的一實施例中，所述第一參數與所述第二參數為亮度值及/或對比度。
在本發明的一實施例中，其中在產生所述輸出影像的運作中，所述處理器對所述背景進行虛化，並根據虛化後的所述背景產生所述輸出影像。
在本發明的一實施例中，其中所述第二影像為高動態範圍影像（High Dynamic Range Image，HDR）。
基於上述，本發明的影像處理方法與電子裝置可以使用深度資訊來優化高動態範圍影像中的主體，藉此修正高動態範圍影像中主體的亮度及/或對比度，讓優化後的高動態範圍影像可以更貼近人眼所見，並且能達到更佳的視覺效果。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
現將詳細參考本發明之示範性實施例，在附圖中說明所述示範性實施例之實例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件代表相同或類似部分。
圖2是依照本發明的一實施例所繪示的電子裝置的示意圖。
請參照圖2，電子裝置100包括處理器20、深度感測電路22、影像擷取電路24以及儲存電路26。其中，深度感測電路22、影像擷取電路24以及儲存電路26分別耦接至處理器20。電子裝置100例如是手機、平板電腦、筆記型電腦等電子裝置，在此不設限。需注意的是，在本實施例中，深度感測電路22以及影像擷取電路24是被配置於電子裝置100中。然而本發明不限於此，在其他實施例中，深度感測電路22以及影像擷取電路24也可以被配置於電子裝置100以外的其他裝置中。
處理器20可以是中央處理器（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位信號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）或其他類似元件或上述元件的組合。
深度感測電路22可以是用來發射紅外線與接收該紅外線的反射來獲取深度的深度感測器。或者，深度感測電路22也可以是相同於影像擷取電路24的影像擷取電路，其可以用於擷取影像並且讓處理器20根據深度感測電路22所擷取的影像以及影像擷取電路24所擷取的影像來判斷所拍攝的影像中的物體的深度。或者，深度感測電路22也可以是其他種類可以取得深度資訊的電路，在此不做限制。
影像擷取電路24是用以擷取一或多張影像。舉例來說，影像擷取電路24可以配備有電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他種類的感光元件的攝像鏡頭。
儲存電路26可以是任何型態的固定或可移動隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。
在本範例實施例中，電子裝置100的儲存電路26中儲存有多個程式碼片段，在上述程式碼片段被安裝後，會由處理器20來執行。例如，儲存電路26中包括多個模組，藉由這些模組來分別執行本發明的影像處理方法的各個運作，其中各模組是由一或多個程式碼片段所組成。然而本發明不限於此，電子裝置100的各個運作也可以是使用其他硬體形式的方式來實現。
以下以多個實施例來描述本發明的影像處理方法。
[第一實施例]
圖3是依照本發明的第一實施例所繪示的影像處理方法的流程圖。
請同時參照圖2與圖3。首先，處理器20可以取得由影像擷取電路24對一場景進行拍攝的多張第一影像(步驟S301)。此些第一影像可以是分別使用不同的曝光值所拍攝。之後，處理器20可以取得由深度感測電路22及/或影像擷取電路24偵測到的第一深度資訊(步驟S303)。第一深度資訊例如是深度感測電路22及/或影像擷取電路24對前述場景進行偵測而所獲得的對應於該場景的深度資訊。例如，圖4是依照本發明的第一實施例所繪示的第一深度資訊的示意圖。請參照圖4，深度感測電路22及/或影像擷取電路24可以對具有人物(即，主體)的場景進行深度的偵測以獲得如圖4得深度資訊。
此外，處理器20還會根據前述多個第一影像產生一張第二影像(步驟S305)。在本範例實施例中，此第二影像為高動態範圍（High Dynamic Range，HDR）影像，且第二影像可以保留真實環境的亮、暗部細節。需注意的是，透過影像疊合所產生的高動態範圍影像中，主體的亮度及/或對比度可能會下降(或變差)，因此本發明的影像處理方法會根據前述的第一深度資訊來優化前述第二影像中的主體。
更詳細來說，處理器20會根據前述的第一深度資訊，識別第二影像中主體以及背景的位置(步驟S307)。在識別出第二影像中主體以及背景的部分後，處理器20會判斷是否需對第二影像中的主體進行優化(步驟S309)。在本範例實施例中，處理器20會從前述的多個第一影像中挑選出至少一影像(亦稱為，第五影像)，並且根據第二影像以及第五影像，判斷第二影像中的主體的一參數(亦稱為，第一參數)與第五影像中的主體的參數(亦稱為，第二參數)的差值是否大於一門檻值。當前述的差值大於門檻值時，處理器20會判斷需要對第二影像中的主體進行優化。然而，當前述的差值非大於所述門檻值時，處理器20會判斷不需對第二影像中的主體進行優化。特別是，前述的第一參數與第二參數可以是亮度值及/或對比度。
當需對第二影像中的主體進行優化時，處理器20會對第二影像中的主體進行優化，並根據第二影像中的背景以及第二影像中優化後的主體產生輸出影像(步驟S311)。其中，前述的優化可以包括階調轉換(Tone Mapping)或其他種的優化處理，在此不做限制。然而，當不需對第二影像中的主體進行優化時，處理器20會根據前述第二影像中的背景以及主體產生輸出影像(步驟S313)。之後，處理器20會輸出前述的輸出影像(步驟S315)。例如，圖5是依照本發明的第一實施例所繪示的輸出影像的示意圖。請參照圖5，當處理器20在執行步驟S311或步驟S313後，處理器20會產生如圖5的輸出影像，並且在步驟S315輸出該影像。特別是，若主體有經過前述的優化處理時，則輸出影像可以更貼近人眼所見。
在一實施例中，在步驟S311與步驟S313產生前述的輸出影像之前，處理器20還可以對前述的背景進行虛化，並可以根據虛化後的背景與主體產生輸出影像。
需注意的是，本發明並不用於限定上述圖3中各個步驟的執行順序。在其他實施例中，也可以先執行步驟S305再執行步驟S303。
[第二實施例]
圖6是依照本發明的第二實施例所繪示的影像處理方法的流程圖。
請同時參照圖2與圖6，在本範例實施例中，處理器20會取得對應於欲拍攝的場景中主體的一第二深度資訊(步驟S601)。在一實施例中，假設深度感測電路22也是類似於影像擷取電路24的影像擷取電路，則處理器20可以獲得由深度感測電路22擷取的影像(亦稱為，第五影像)以及由影像擷取電路24擷取的影像(亦稱為，第六影像)，並且根據第五影像以及第六影像取得對應於場景中的主體的第二深度資訊。然而本發明不限於此，在另一實施例中，第二深度資訊例如也可以是直接藉由深度感測電路22進行感測而獲得。
在獲得第二深度資訊後，處理器20會根據第二深度資訊決定第一曝光值(步驟S603)，並且根據此第一曝光值決定至少一第二曝光值(步驟S605)。舉例來說，第一曝光值例如是拍攝該場景的最佳曝光值(例如，0 EV)，之後在產生高動態範圍影像時，使用第一曝光值拍攝的影像會作為主體影像(subject image)。此外，第二曝光值例如是相對於前述最加曝光值的多個延伸的曝光值(例如，+N EV或-N EV)。
在決定出前述的第一曝光值與第二曝光值後，處理器20會控制影像擷取電路24根據第一曝光值以及第二曝光值對欲拍攝的場景擷取多個第一影像(步驟S607)。其中，此些第一影像包括使用第一曝光值拍攝的影像(亦稱為，第三影像)以及使用第二曝光值拍攝的影像。
之後，處理器20會取得第一深度資訊(步驟S609)。在一實施例中，假設深度感測電路22也是類似於影像擷取電路24的影像擷取電路，則處理器20可以取得深度感測電路22使用第一曝光值對該場景進行拍攝(或擷取)的影像(亦稱為，第四影像)，並且根據前述的第三影像以及前述的第四影像取得如圖4所繪示的第一深度資訊。然而在另一實施例中，處理器20也可以根據前述第三影像以及深度感測電路22感測所拍攝的場景所獲得的深度資訊(亦稱為，第三深度資訊)而取得如圖4所繪示的第一深度資訊。特別是，所辨別出的第一深度資訊包括高動態範圍影像中主體與背景部分的深度資訊。
此外，處理器20還會根據前述多個第一影像產生一張第二影像(步驟S611)。在本範例實施例中，此第二影像為高動態範圍（High Dynamic Range，HDR）影像。
之後，處理器20會根據前述的第一深度資訊，識別第二影像中主體以及背景的位置(步驟S613)。在識別出第二影像中主體以及背景的部分後，處理器20會判斷是否需對第二影像中的主體進行優化(步驟S615)。在本範例實施例中，處理器20會從前述的多個第一影像中挑選出至少一影像(亦稱為，第五影像)，並且根據第二影像以及第五影像，判斷第二影像中的主體的一參數(亦稱為，第一參數)與第五影像中的主體的參數(亦稱為，第二參數)的差值是否大於一門檻值。當前述的差值大於門檻值時，處理器20會判斷需要對第二影像中的主體進行優化。然而，當前述的差值非大於所述門檻值時，處理器20會判斷不需對第二影像中的主體進行優化。特別是，前述的第一參數與第二參數可以是亮度值及/或對比度。特別是，在本範例實施例中，第五影像是第一影像中使用第一曝光值拍攝的第三影像。然而本發明不限於此，在其他實施例中，第五影像也可以是第一影像中其他的影像。
當需對第二影像中的主體進行優化時，處理器20會對第二影像中的主體進行優化，並根據第二影像中的背景以及第二影像中優化後的主體產生輸出影像(步驟S617)。其中，前述的優化可以包括階調轉換(Tone Mapping)或其他種的優化處理，在此不做限制。然而，當不需對第二影像中的主體進行優化時，處理器20會根據前述第二影像中的背景以及主體產生輸出影像(步驟S619)。之後，處理器20會輸出前述的輸出影像(步驟S621)。
在一實施例中，在步驟S617與步驟S619產生前述的輸出影像之前，處理器20還可以對前述的背景進行虛化，並可以根據虛化後的背景與主體產生輸出影像。
需注意的是，本發明並不用於限定上述圖6中各個步驟的執行順序。在其他實施例中，也可以先執行步驟S611再執行步驟S609。
綜上所述，本發明的影像處理方法與電子裝置可以使用深度資訊來優化高動態範圍影像中的主體，藉此修正高動態範圍影像中主體的亮度及/或對比度，讓優化後的高動態範圍影像可以更貼近人眼所見，並且能達到更佳的視覺效果。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧電子裝置20‧‧‧處理器22‧‧‧深度感測電路24‧‧‧影像擷取電路26‧‧‧儲存電路S301‧‧‧取得多個第一影像的步驟S303‧‧‧取得第一深度資訊的步驟S305‧‧‧根據所述多個第一影像產生第二影像的步驟S307‧‧‧根據第一深度資訊，識別第二影像中的主體以及背景的步驟S309‧‧‧判斷是否需對第二影像中的主體進行優化的步驟S311‧‧‧對第二影像中的主體進行優化，根據背景以及優化後的主體產生輸出影像的步驟S313‧‧‧根據背景以及主體產生輸出影像的步驟S315‧‧‧輸出前述的輸出影像的步驟S601‧‧‧取得對應於主體的第二深度資訊的步驟S603‧‧‧根據第二深度資訊，決定第一曝光值的步驟S605‧‧‧根據第一曝光值，決定第二曝光值的步驟S607‧‧‧根據第一曝光值以及第二曝光值擷取多個第一影像的步驟S609‧‧‧取得第一深度資訊的步驟S611‧‧‧根據所述多個第一影像產生第二影像的步驟S613‧‧‧根據第一深度資訊，識別第二影像中的主體以及背景的步驟S615‧‧‧判斷是否需對第二影像中的主體進行優化的步驟S617‧‧‧對第二影像中的主體進行優化，根據前述背景以及優化後的主體產生輸出影像的步驟S619‧‧‧根據前述背景以及前述主體產生輸出影像的步驟S621‧‧‧輸出前述的輸出影像的步驟
圖1A至圖1C是傳統單張影像的取像技術的示意圖。 圖2是依照本發明的一實施例所繪示的電子裝置的示意圖。 圖3是依照本發明的第一實施例所繪示的影像處理方法的流程圖。 圖4是依照本發明的第一實施例所繪示的第一深度資訊的示意圖。 圖5是依照本發明的第一實施例所繪示的輸出影像的示意圖。 圖6是依照本發明的第二實施例所繪示的影像處理方法的流程圖。
S301‧‧‧取得多個第一影像的步驟
S303‧‧‧取得第一深度資訊的步驟
S305‧‧‧根據所述多個第一影像產生第二影像的步驟
S307‧‧‧根據第一深度資訊，識別第二影像中的主體以及背景的步驟
S309‧‧‧判斷是否需對第二影像中的主體進行優化的步驟
S311‧‧‧對第二影像中的主體進行優化，根據背景以及優化後的主體產生輸出影像的步驟
S313‧‧‧根據背景以及主體產生輸出影像的步驟
S315‧‧‧輸出前述的輸出影像的步驟

Claims (20)

  1. 一種影像處理方法，用於一電子裝置，所述方法包括： 取得多個第一影像； 取得一第一深度資訊； 根據所述多個第一影像產生一第二影像； 根據所述第一深度資訊，識別所述第二影像中的一主體以及一背景； 判斷是否需對所述第二影像中的所述主體進行優化； 當需對所述第二影像中的所述主體進行優化時，對所述第二影像中的所述主體進行優化，根據所述背景以及優化後的所述主體產生一輸出影像，並輸出所述輸出影像；以及 當不需對所述第二影像中的所述主體進行優化時，根據所述背景以及所述主體產生所述輸出影像，並輸出所述輸出影像。
  2. 如申請專利範圍第1項所述的影像處理方法，其中取得所述多個第一影像的步驟包括： 取得對應於所述主體的一第二深度資訊； 根據所述第二深度資訊，決定一第一曝光值； 根據所述第一曝光值，決定至少一第二曝光值；以及 根據所述第一曝光值以及所述第二曝光值擷取所述多個第一影像。
  3. 如申請專利範圍第2項所述的影像處理方法，其中取得所述第一深度資訊的步驟包括： 根據所述多個第一影像中使用所述第一曝光值拍攝的一第三影像，取得所述第一深度資訊。
  4. 如申請專利範圍第3項所述的影像處理方法，更包括： 取得使用所述第一曝光值擷取的一第四影像，其中用於擷取所述多個第一影像的一第一影像擷取電路不同於用於擷取所述第四影像的一第二影像擷取電路， 其中取得所述第一深度資訊的步驟包括： 根據所述第三影像以及所述第四影像取得所述第一深度資訊。
  5. 如申請專利範圍第4項所述的影像處理方法，其中取得對應於所述主體的所述第二深度資訊的步驟包括： 獲得至少一第五影像，其中所述第五影像是由所述第一影像擷取電路所擷取； 獲得至少一第六影像，其中所述第六影像是由所述第二影像擷取電路所擷取；以及 根據所述第五影像以及所述第六影像取得對應於所述主體的所述第二深度資訊。
  6. 如申請專利範圍第3項所述的影像處理方法，其中所述第二深度資訊是透過一深度感測電路所獲得，其中取得所述第一深度資訊的步驟包括： 根據所述多個第一影像中使用所述第一曝光值拍攝的所述第三影像以及所述深度感測電路感測所述主體所獲得的一第三深度資訊，取得所述第一深度資訊。
  7. 如申請專利範圍第1項所述的影像處理方法，其中判斷是否需對所述第二影像中的所述主體進行優化的步驟包括： 根據所述第二影像以及所述多個第一影像中的至少一第五影像，判斷所述第二影像中的所述主體的一第一參數與所述第五影像中的所述主體的一第二參數的一差值是否大於一門檻值； 當所述差值大於所述門檻值時，判斷需對所述第二影像中的所述主體進行優化；以及 當所述差值非大於所述門檻值時，判斷不需對所述第二影像中的所述主體進行優化。
  8. 如申請專利範圍第7項所述的影像處理方法，其中所述第一參數與所述第二參數為亮度值及/或對比度。
  9. 如申請專利範圍第1項所述的影像處理方法，其中在產生所述輸出影像的步驟包括： 對所述背景進行虛化，並根據虛化後的所述背景產生所述輸出影像。
  10. 如申請專利範圍第1項所述的影像處理方法，其中所述第二影像為高動態範圍影像（High Dynamic Range Image，HDR）。
  11. 一種電子裝置，包括： 一處理器，其中 所述處理器取得多個第一影像， 所述處理器取得一第一深度資訊， 所述處理器根據所述多個第一影像產生一第二影像， 所述處理器根據所述第一深度資訊，識別所述第二影像中的一主體以及一背景， 所述處理器判斷是否需對所述第二影像中的所述主體進行優化； 當需對所述第二影像中的所述主體進行優化時，所述處理器對所述第二影像中的所述主體進行優化，根據所述背景以及優化後的所述主體產生一輸出影像，並輸出所述輸出影像，以及 當不需對所述第二影像中的所述主體進行優化時，所述處理器根據所述背景以及所述主體產生所述輸出影像，並輸出所述輸出影像。
  12. 如申請專利範圍第11項所述的電子裝置，其中在取得所述多個第一影像的運作中， 所述處理器取得對應於所述主體的一第二深度資訊， 所述處理器根據所述第二深度資訊，決定一第一曝光值， 所述處理器根據所述第一曝光值，決定至少一第二曝光值，以及 所述處理器根據所述第一曝光值以及所述第二曝光值擷取所述多個第一影像。
  13. 如申請專利範圍第12項所述的電子裝置，其中在取得所述第一深度資訊的運作中， 所述處理器根據所述多個第一影像中使用所述第一曝光值拍攝的一第三影像，取得所述第一深度資訊。
  14. 如申請專利範圍第13項所述的電子裝置，其中 所述處理器取得使用所述第一曝光值擷取的一第四影像，其中用於擷取所述多個第一影像的一第一影像擷取電路不同於用於擷取所述第四影像的一第二影像擷取電路， 其中在取得所述第一深度資訊的運作中， 所述處理器根據所述第三影像以及所述第四影像取得所述第一深度資訊。
  15. 如申請專利範圍第14項所述的電子裝置，其中在取得對應於所述主體的所述第二深度資訊的運作中， 所述處理器獲得至少一第五影像，其中所述第五影像是由所述第一影像擷取電路所擷取， 所述處理器獲得至少一第六影像，其中所述第六影像是由所述第二影像擷取電路所擷取，以及 所述處理器根據所述第五影像以及所述第六影像取得對應於所述主體的所述第二深度資訊。
  16. 如申請專利範圍第13項所述的電子裝置，其中所述第二深度資訊是透過一深度感測電路所獲得，其中在取得所述第一深度資訊的運作中， 所述處理器根據所述多個第一影像中使用所述第一曝光值拍攝的所述第三影像以及所述深度感測電路感測所述主體所獲得的一第三深度資訊，取得所述第一深度資訊。
  17. 如申請專利範圍第11項所述的電子裝置，其中在判斷是否需對所述第二影像中的所述主體進行優化的運作中， 所述處理器根據所述第二影像以及所述多個第一影像中的至少一第五影像，判斷所述第二影像中的所述主體的一第一參數與所述第五影像中的所述主體的一第二參數的一差值是否大於一門檻值， 當所述差值大於所述門檻值時，所述處理器判斷需對所述第二影像中的所述主體進行優化，以及 當所述差值非大於所述門檻值時，所述處理器判斷不需對所述第二影像中的所述主體進行優化。
  18. 如申請專利範圍第17項所述的電子裝置，其中所述第一參數與所述第二參數為亮度值及/或對比度。
  19. 如申請專利範圍第11項所述的電子裝置，其中在產生所述輸出影像的運作中， 所述處理器對所述背景進行虛化，並根據虛化後的所述背景產生所述輸出影像。
  20. 如申請專利範圍第11項所述的電子裝置，其中所述第二影像為高動態範圍影像（High Dynamic Range Image，HDR）。
TW107122823A 2018-07-02 2018-07-02 影像處理方法與電子裝置 TWI684165B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107122823A TWI684165B (zh) 2018-07-02 2018-07-02 影像處理方法與電子裝置
CN201810980589.4A CN110677558B (zh) 2018-07-02 2018-08-27 图像处理方法与电子装置
US16/292,356 US10972676B2 (en) 2018-07-02 2019-03-05 Image processing method and electronic device capable of optimizing hdr image by using depth information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107122823A TWI684165B (zh) 2018-07-02 2018-07-02 影像處理方法與電子裝置

Publications (2)

Publication Number Publication Date
TW202006666A true TW202006666A (zh) 2020-02-01
TWI684165B TWI684165B (zh) 2020-02-01

Family

ID=69054821

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107122823A TWI684165B (zh) 2018-07-02 2018-07-02 影像處理方法與電子裝置

Country Status (3)

Country Link
US (1) US10972676B2 (zh)
CN (1) CN110677558B (zh)
TW (1) TWI684165B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111659A1 (ja) * 2017-12-07 2019-06-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
CN113362354B (zh) * 2021-05-07 2024-04-30 安徽国际商务职业学院 色调映射图像的质量评价方法、系统、终端及存储介质
CN113973175A (zh) * 2021-08-27 2022-01-25 天津大学 一种快速的hdr视频重建方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012004709A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
US9270899B1 (en) * 2012-06-27 2016-02-23 Amazon Technologies, Inc. Segmentation approaches for object recognition
TWI533256B (zh) * 2013-01-07 2016-05-11 義明科技股份有限公司 影像感測裝置與影像感測的方法
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
CN104125408B (zh) * 2013-04-28 2018-06-12 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
US9894287B2 (en) * 2013-12-06 2018-02-13 Huawei Device (Dongguan) Co., Ltd. Method and apparatus for acquiring a high dynamic image using multiple cameras
TWI504936B (zh) * 2014-02-12 2015-10-21 Htc Corp 影像處理裝置
CN104935911B (zh) * 2014-03-18 2017-07-21 华为技术有限公司 一种高动态范围图像合成的方法及装置
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
US9544503B2 (en) * 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9846919B2 (en) * 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
US10284835B2 (en) * 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
CN106331510B (zh) * 2016-10-31 2019-10-15 维沃移动通信有限公司 一种逆光拍照方法及移动终端
US10389948B2 (en) * 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
CN106683100B (zh) * 2016-12-27 2020-08-04 宇龙计算机通信科技(深圳)有限公司 一种图像分割去雾方法及终端
CN106851124B (zh) * 2017-03-09 2021-03-02 Oppo广东移动通信有限公司 基于景深的图像处理方法、处理装置和电子装置
CN107197169B (zh) * 2017-06-22 2019-12-06 维沃移动通信有限公司 一种高动态范围图像拍摄方法及移动终端
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN107809582A (zh) * 2017-10-12 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、电子装置和计算机可读存储介质
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备

Also Published As

Publication number Publication date
US10972676B2 (en) 2021-04-06
US20200007732A1 (en) 2020-01-02
CN110677558A (zh) 2020-01-10
CN110677558B (zh) 2021-11-02
TWI684165B (zh) 2020-02-01

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
US11461910B2 (en) Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
KR101916355B1 (ko) 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
KR101661215B1 (ko) 영상 처리 방법 및 영상 처리 장치
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
JP2007067907A (ja) 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
TWI684165B (zh) 影像處理方法與電子裝置
WO2015142530A1 (en) System for auto-hdr capture decision making
CN110519485B (zh) 图像处理方法、装置、存储介质及电子设备
JP6720881B2 (ja) 画像処理装置及び画像処理方法
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN115601244B (zh) 图像处理方法、装置和电子设备
CN110430370B (zh) 图像处理方法、装置、存储介质及电子设备
TWI543615B (zh) 影像處理方法及其電子裝置
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
KR20160063794A (ko) 촬영 장치 및 그 제어 방법
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
EP4050881A1 (en) High-dynamic range image synthesis method and electronic device
JP4523629B2 (ja) 撮像装置
JP2009207092A (ja) 撮影装置及びその設定方法
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体