TWI520097B - 依據深度資訊處理影像的方法、裝置及電腦程式產品 - Google Patents

依據深度資訊處理影像的方法、裝置及電腦程式產品 Download PDF

Info

Publication number
TWI520097B
TWI520097B TW102140901A TW102140901A TWI520097B TW I520097 B TWI520097 B TW I520097B TW 102140901 A TW102140901 A TW 102140901A TW 102140901 A TW102140901 A TW 102140901A TW I520097 B TWI520097 B TW I520097B
Authority
TW
Taiwan
Prior art keywords
image
depth
processing
processed
pixels
Prior art date
Application number
TW102140901A
Other languages
English (en)
Other versions
TW201519155A (zh
Inventor
彭詩淵
莊哲綸
戴呈軒
Original Assignee
聚晶半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚晶半導體股份有限公司 filed Critical 聚晶半導體股份有限公司
Priority to TW102140901A priority Critical patent/TWI520097B/zh
Publication of TW201519155A publication Critical patent/TW201519155A/zh
Application granted granted Critical
Publication of TWI520097B publication Critical patent/TWI520097B/zh

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

依據深度資訊處理影像的方法、裝置及電腦程式產品
本發明是有關於一種處理影像的方法及裝置,且特別是有關於一種依據像素的深度資訊處理影像的方法及裝置。
採用傳統電荷耦合元件(Charge-Coupled Device,CCD)相機在拍攝照片的過程中只會對整個圖像採樣一次,因此對於顏色亮暗明顯的圖像,會出現對整個圖像中明亮的區域過度曝光,陰暗的區域曝光不足的現象。寬動態範圍(Wide Dynamic Range,WDR)技術採用特殊的數位訊號處理(Digital Signal Processing,DSP)電路,其可對圖像中的明亮部分及陰暗部分分別進行合適的曝光,然後再利用影像融合的技術將兩個圖像中曝光較佳的明亮度分及陰暗部分取出並進行重組,使得重組後的影像中的明亮部分和陰暗部分都有合適的曝光。
然而,由於WDR技術只針對圖像中的明亮部分及陰暗部 分進行處理,未能區分這些部分的景深。若使用者欲拍攝的圖像中包含景深較近的拍攝主體以及景深較遠的背景等需要強烈亮暗對比的區域,則執行WDR將會得到暗部雜訊被放大且主體和背景對比不明顯的結果。
本發明提供一種依據深度資訊處理影像的方法、裝置及電腦程式產品,藉由深度資訊決定選取區塊,而可僅針對選取區塊進行影像處理。
本發明的依據深度資訊處理影像的方法適用於電子裝置。此方法先取得由立體成像系統拍攝的左影像及右影像,以及此左影像及右影像中相對應之多個像素的深度圖,此深度圖記錄各個像素的深度。接著,顯示此左影像及右影像其中之一,以作為待處理影像。然後,接收對於待處理影像中至少一個像素的選取操作,並查詢深度圖,以在待處理影像中搜尋其深度在選取操作所選取像素的深度前後之第一預設範圍內的多個目標像素,據以決定至少一個選取區塊。最後,對選取區塊執行影像處理。
在本發明的一實施例中,在上述取得由立體成像系統拍攝的左影像及右影像的步驟之後,所述方法更包括計算左影像及右影像相對應之各個像素的像差,並依據立體成像系統之左鏡頭及右鏡頭拍攝左影像及右影像的焦距、左鏡頭及右鏡頭的鏡頭間距以及各個像素的像差,估測各個像素的深度。
在本發明的一實施例中,上述計算左影像及右影像相對應之各個像素的像差的步驟包括依據各個像素在左影像及右影像中的位置,計算各個像素在左影像及右影像之間的位移,以作為像差。
在本發明的一實施例中,在上述決定選取區塊的步驟之後,所述方法更包括接收對於深度之容許度(tolerance)的調整操作,而根據此調整操作所調整的容許度,調整各個選取區塊的涵蓋範圍。
在本發明的一實施例中,在上述接收對於待處理影像中像素的選取操作的步驟之後,所述方法更包括將深度圖所記錄之深度的數值範圍重新映射至選取操作所選取像素之深度前後的第二預設範圍,以將調整操作可調整的涵蓋範圍限制於第二預設範圍內。
在本發明的一實施例中,上述對選取區塊執行影像處理的步驟更包括依據待處理影像中各個像素的深度,對選取區塊以及待處理影像中的其他區塊執行影像處理。
在本發明的一實施例中,上述依據待處理影像中各個像素的深度,對選取區塊以及待處理影像中的其他區塊執行影像處理的步驟包括依據待處理影像中各個像素的深度,增加對於選取區塊執行影像處理的強度。
本發明的依據深度資訊處理影像的裝置包括顯示單元、儲存單元及,一或多個處理單元。其中,儲存單元是用以記錄多 個模組。處理單元係耦接顯示單元及儲存單元,用以存取並執行儲存單元中記錄的模組。所述模組包括擷取模組、顯示模組、區塊選取模組及影像處理模組。其中,擷取模組是用以取得由立體成像系統拍攝的左影像及右影像,以及左影像及右影像中相對應之多個像素的深度圖,此深度圖記錄各個像素的深度。顯示模組是用以在顯示單元中顯示左影像及右影像其中之一,以作為待處理影像。區塊選取模組是用以接收對於待處理影像中至少一個像素的選取操作,據以查詢深度圖,以在待處理影像中搜尋其深度在選取操作所選取像素的深度前後之第一預設範圍內的多個目標像素,以決定至少一個選取區塊。影像處理模組是用以對選取區塊執行影像處理。
在本發明的一實施例中,上述的模組更包括深度分析模組,其是用以計算擷取模組所取得之左影像及右影像相對應之各個像素的像差,並依據立體成像系統之左鏡頭及右鏡頭拍攝左影像及右影像的焦距、左鏡頭及右鏡頭的鏡頭間距以及各個像素的像差,估測各個像素的深度。
在本發明的一實施例中,上述的深度分析模組是依據各個像素在左影像及右影像中的位置,計算各個像素在左影像及右影像之間的位移,以作為像差。
在本發明的一實施例中,上述的區塊選取模組更接收對於深度之容許度的調整操作,並根據此調整操作所調整的容許度,以及待處理影像中各個像素的深度,調整各個選取區塊的涵 蓋範圍。
在本發明的一實施例中,上述的模組更包括映射模組,其是用以將深度圖所記錄之深度的數值範圍重新映射至選取操作所選取像素之深度前後的第二預設範圍,以將調整操作可調整的涵蓋範圍限制於第二預設範圍內。
在本發明的一實施例中,上述的影像處理模組更依據待處理影像中各個像素的深度,對選取區塊以及待處理影像中的其他區塊執行影像處理。
在本發明的一實施例中,上述的影像處理模組是依據待處理影像中各個像素的深度,增加對於選取區塊執行影像處理的強度。
在本發明的一實施例中,上述的影像處理包括亮度、對比度、色溫、白平衡、銳利度、鮮豔度調整,或雜訊消除或特定顏色保留。
在本發明的一實施例中,上述的立體成像系統內建於所述裝置中。
本發明的電腦程式產品是經由電子裝置載入程式以執行下列步驟:首先,取得由立體成像系統拍攝的左影像及右影像,以及此左影像及右影像中相對應之多個像素的深度圖,此深度圖記錄各個像素的深度。接著,顯示此左影像及右影像其中之一,以作為待處理影像。然後,接收對於待處理影像中至少一個像素的選取操作,並查詢深度圖,以在待處理影像中搜尋其深度在選 取操作所選取像素的深度前後之第一預設範圍內的多個目標像素,據以決定至少一個選取區塊。最後,對選取區塊執行影像處理。
基於上述,本發明之依據深度資訊處理影像的方法、裝置及電腦程式產品藉由查詢待處理影像的深度圖,以提供使用者可經由點選影像以選取所欲處理的區塊,並對此選取區塊進行特定的影像處理。而藉由僅針對選取區塊進行影像處理,或是針對選取區塊及其他區塊分別進行不同種類或強度的影像處理,而可獲得較佳的處理效果。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
10‧‧‧影像處理裝置
12‧‧‧顯示單元
14‧‧‧儲存單元
142‧‧‧擷取模組
144‧‧‧顯示模組
146‧‧‧區塊選取模組
148‧‧‧影像處理模組
16‧‧‧處理單元
32‧‧‧影像
34、50‧‧‧深度圖
36、52、54‧‧‧選取區塊
T1、T2、T3‧‧‧觸碰點
S202~S210、S402~S416、S602~S610‧‧‧依據深度資訊處理影像的方法步驟
圖1是依照本發明一實施例所繪示之依據深度資訊處理影像的裝置的方塊圖。
圖2是依照本發明一實施例所繪示之依據深度資訊處理影像的方法流程圖。
圖3(a)~3(c)是依照本發明一實施例所繪示之依據深度資訊處理影像的範例。
圖4是依照本發明一實施例所繪示之依據深度資訊處理影像的方法流程圖。
圖5(a)~5(b)是依照本發明一實施例所繪示之依據深度資訊處理影像的範例。
圖6是依照本發明一實施例所繪示之依據深度資訊處理影像的方法流程圖。
立體成像系統的雙鏡頭可拍攝同一區域不同角度的影像,而結合左、右鏡頭所拍攝影像間的像差資訊以及預知的鏡頭間距,則可準確估測出影像中各個物件的深度資訊。據此,本發明即藉由立體成像系統所拍攝的左影像及右影像,估測影像中像素的深度資訊,並將此深度資訊套用在使用者對於影像中特定區塊的選取上。藉由查詢使用者在影像中點選區域的深度,從而圈選出此區域周圍深度值相近之像素所形成的區塊。之後,即可選擇性地僅針對此區塊內的像素進行特定影像處理,或是針對此區塊內及區塊外的像素分別進行不同的影像處理,從而達到針對影像中特定區域進行處理的功效。
圖1是依照本發明一實施例所繪示之依據深度資訊處理影像的裝置的方塊圖。請參照圖1,本實施例的影像處理裝置10例如是行動電話、平板電腦、桌上型電腦、筆記型電腦或包含立體呈像系統的立體像機,在此不設限。影像處理裝置10包括顯示單元12、儲存單元14以及一個或多個處理單元(本實施例僅以處理單元16為例做說明,但不限於此),其功能分述如下:
顯示單元12例如是液晶顯示器(Liquid Crystal Display,LCD)、發光二極體(Light-Emitting Diode,LED)顯示器或場發射顯示器(Field Emission Display,FED)等顯示器,其可用以顯示影像處理裝置10待處理的影像,以供使用者選取影像中的特定區域。
儲存單元14例如是具有資料儲存功能的硬碟或記憶體,此儲存單元14中例如會儲存擷取模組142、顯示模組144、區塊選取模組146及影像處理模組148。這些模組例如是電腦程式,而可載入處理單元16,從而執行影像處理功能。需說明的是,本實施例並不限定影像處理模組148的實施方式。在本實施例中,影像處理模組148是以電腦程式的軟體形式實現,其可由處理器元16載入,以執行亮度、對比度、色溫、白平衡、銳利度、鮮豔度調整,或雜訊消除或特定顏色保留等影像處理功能。然而,在另一實施例中,影像處理模組148也可以獨立於儲存單元14之外,而以圖形處理單元(Graphics Processing Unit,GPU)、數位訊號處理器(Digital Signal Processor,DSP)、邏輯電路等硬體形式實現,其可輔助處理器元16執行亮度、對比度、色溫、白平衡、銳利度、鮮豔度調整,或雜訊消除或特定顏色保留等影像處理功能。
處理單元16例如是中央處理單元(Central Processing Unit,CPU)、微處理器(Microprocessor)、數位訊號處理器、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝(Programmable Logic Device, PLD)或其他類似裝置,其可從儲存單元14中載入上述模組,以控制影像處理裝置10執行影像處理功能。
詳言之,圖2是依照本發明一實施例所繪示之依據深度資訊處理影像的方法流程圖。請參照圖2,本實施例的方法適用於圖1的影像處理裝置10,以下即搭配影像處理裝置10中的各項元件說明本實施例依據深度資訊處理影像的方法的詳細步驟:
首先,由擷取模組142取得由一立體成像系統(未繪示)拍攝的左影像及右影像,以及此左影像及右影像中相對應之多個像素的深度圖(步驟S202)。上述的深度圖包括記錄各個像素的深度,而這些像素的深度是藉由分析立體成像系統所拍攝的左影像及右影像而取得。
在一實施例中,擷取模組142可從立體成像系統取得左影像及右影像,同時也取得由立體成像系統自行計算的左影像及右影像的深度圖。而在另一實施例中,影像處理裝置10在取得左、右影像之後,則可由內建的深度分析模組(未繪示)直接計算左影像及右影像相對應之各個像素的像差,並依據立體成像系統之左鏡頭及右鏡頭拍攝左影像及右影像的焦距、左鏡頭及右鏡頭的鏡頭間距以及各個像素的像差,估測各個像素的深度。其中,深度分析模組是依據各個像素在左影像及右影像中的位置,計算各個像素在左影像及右影像之間的位移,以作為像差。
詳言之,立體成像系統所拍攝之左、右眼影像中相對應像素的像差是由鏡頭焦距(決定影像大小)、鏡頭間距(決定影像 重疊範圍)以及該像素對應物件與鏡頭間的距離(即深度資訊,決定影像中物件的大小)而來決定,其中存在著某種比例關係,而記載此比例關係的關係表可藉由在立體成像系統出廠前預先測試而得。因此,當使用者使用立體成像系統拍攝影像,而影像處理裝置10在計算此影像中像素的像差時,即可利用預先建立的關係表查詢而得。
回到圖2的流程,在擷取模組142取得左、右影像及深度圖等資訊後,顯示模組144即會在顯示單元12中顯示左影像及右影像其中一張影像,以作為待處理影像(步驟S204)。
接著,由區塊選取模組146接收使用者對於待處理影像中至少一個像素的選取操作(步驟S206)。其中,在一實施例中,區塊選取模組146例如是由滑鼠、觸控板等指向裝置接收使用者對於待處理影像的選擇操作,從而決定使用者所選擇的區塊。在另一實施例中,區塊選取模組146則可藉由顯示單元12與觸碰偵測單元(未繪示)所結合而成的觸控螢幕接收使用者對於待處理影像的選擇操作,從而決定使用者所選擇的區塊。
在接收到選取操作之後,區塊選取模組146會進一步查詢深度圖,以在待處理影像中搜尋其深度在選取操作所選取像素的深度前後之一預設範圍內的多個目標像素,以決定至少一個選取區塊(步驟S208)。詳言之,上述的選取操作若是經由滑鼠實施,則可能會只有一個像素會被選取;若是經由觸控螢幕或觸控板實施,則有會同時有多個像素被選取。其中,無論選取操作所選取 的像素是一個或多個,區塊選取模組146都可從深度圖中查詢到這些像素的深度,並可計算出這些像素的平均深度。
此外,由於使用者所欲選取區域通常是待處理影像中的特定物件(例如人物或背景等),而同一物件內的像素彼此之間的深度值都會在一定範圍內。據此,區塊選取模組146只需針對選取操作所選取像素的深度,設立一個預設範圍,以搜尋所選取像素周選深度值相近的其他像素,再結合連通區域標定(connected-component labeling)技術將這些像素串連起來,即可從待處理影像中圈選出使用者欲選取的區塊。值得一提的是,在另一實施例中,上述選取操作也可包含針對待處理影像中多個區塊的選取操作,而區塊選取模組146則根據不同像素的選取操作依上述方式,在待處理影像中圈選出多個不同的區塊。
舉例來說,圖3(a)~3(c)是依照本發明一實施例所繪示之依據深度資訊處理影像的範例。請參照圖3(a),本實施例的影像32例如是立體呈像系統所拍攝的左影像或右影像,而當使用者點選影像32中的觸碰點T1時,影像處理裝置即會根據圖3(b)所示的影像32的深度圖34,找出觸碰點T1中各個像素的深度,並搜尋影像32中深度與其相近的其他像素,從而圈選出圖3(c)所示的選取區塊36。
最後,在決定選取區塊之後,影像處理模組148即可對這些選取區塊執行影像處理(步驟S208)。此影像處理例如是由系統預設或是由使用者手動選取來決定,而影像處理的種類包括亮 度、對比度、色溫、白平衡、銳利度、鮮豔度調整,或雜訊消除或特定顏色保留,在此不設限。
藉由上述方法,即可提供使用者藉由簡單的選取操作,在待處理影像中圈選出所欲處理的區塊,進而針對這些選取區塊進行影像處理,避免針對整張影像進行處理,從而得到較佳的影像處理效果。
需說明的是,由於影像中各個物件的深度值範圍不一,若只依照預設範圍選取區塊,則此選取區塊的涵蓋範圍不一定符合使用者想要圈選物件的範圍。對此,本發明進一步提供一種調整機制,讓使用者可以調整深度之容許度(tolerance),以便將選取區塊的涵蓋範圍調整至所欲選擇區塊的合適邊緣。以下則再舉一實施例詳細說明。
圖4是依照本發明一實施例所繪示之依據深度資訊處理影像的方法流程圖。請參照圖4,本實施例的方法適用於圖1的影像處理裝置10,以下即搭配影像處理裝置10中的各項元件說明本實施例依據深度資訊處理影像的方法的詳細步驟:
首先,由擷取模組142取得由立體成像系統拍攝的左影像及右影像,以及此左影像及右影像中相對應之多個像素的深度圖(步驟S402)。接著,顯示模組144即會在顯示單元12中顯示左影像及右影像其中一張影像,以作為待處理影像(步驟S404)。然後,由區塊選取模組146接收使用者對於待處理影像中至少一個像素的選取操作(步驟S406)。上述步驟S402~S406與前述實 施例中的步驟S202~S206相同或相似,故其詳細內容在此不再贅述。
與前述實施例不同的是,在本實施例中,在區塊選取模組146接收到選取操作後,例如會由一個映射模組(未繪示)先依據選取操作所選取像素之深度資訊,將深度圖所記錄之深度資訊的數值範圍重新映射到選取操作所選取像素之深度值前後的第一預設範圍,以將可調整的涵蓋範圍限制於第一預設範圍內(步驟S408)。詳言之,一張影像中所有像素的深度範圍可能由數公分至無限遠,橫跨相當大的範圍。然而,一般情況下使用者想要調整的深度範圍只會在其感興趣區塊周圍的深度範圍內。例如,當使用者在步驟S406中選擇的區塊是影像中的人物時,可推論該影像中在此人物周圍的其他人物也可能是使用者感興趣的拍攝主體之一。此時,本實施例即藉由對深度圖重新映射,將使用者調整操作可調整的涵蓋範圍限制於第一預設範圍(例如20公分至5公尺)內,從而排除了對於此範圍外其他深度範圍(例如5公尺至無限遠)的調整,而方便使用者在這些人物之間調整選取區塊的涵蓋範圍。
接著,區塊選取模組146即可查詢深度圖,以在待處理影像中搜尋其深度在選取操作所選取像素的深度前後之第二預設範圍內的多個目標像素,以決定至少一個選取區塊(步驟S410)。此步驟亦與前述實施例中的步驟S208相同或相似,故其詳細內容在此者不再贅述。
與前述實施例不同的是,在本實施例中,在區塊選取模組146在決定選取區塊之後,還可接收使用者對於深度之容許度(tolerance)的調整操作(步驟S412),並根據此調整操作所調整的容許度,以及待處理影像中各個像素的該深度,調整各個選取區塊的涵蓋範圍(步驟S414)。舉例來說,若使用者選取操作所選取的像素的深度為120公分,而預設的容許度為20公分,則區塊選取模組146即會在待處理影像中搜尋深度介於100~140公分的像素,以標示做為選取區塊。此時,若使用者藉由調整操作,將容許度調整至100公分,則區塊選取模組146會在待處理影像中搜尋深度介於20~220公分的像素,以標示做為選取區塊。其中,若使用者調整操作可調整的涵蓋範圍限制於20公分至5公尺,則使用者可調整之容許度的範圍亦限制於調整後的深度範圍在此涵蓋範圍內,以避免選到此深度範圍以外的其他區塊。
舉例來說,圖5(a)~5(b)是依照本發明一實施例所繪示之依據深度資訊處理影像的範例。請參照圖5(a),本實施例的影像50是待處理影像的深度圖,而根據使用者的選取操作,影像處理裝置已決定選取區塊為區塊52。而當使用者在影像下方的調整欄中點選觸碰點T2並拖曳至圖5(b)中的觸碰點T3,則影像處理裝置則會將其選取區塊擴大為區塊54。藉此,即可圈選出更多的區塊,以便針對多個區塊同時進行影像處理。
最後,在決定選取區塊之後,影像處理模組148即可對這些選取區塊執行影像處理(步驟S416)。此影像處理例如是由系 統預設或是由使用者手動選取來決定,而影像處理的種類包括亮度、對比度、色溫、白平衡、銳利度、鮮豔度調整,或雜訊消除或特定顏色保留,在此不設限。其中,影像處理模組148例如會根據使用者對於顯示單元12所顯示之調整欄的操作,從而調整其執行影像處理的強度,而獲得較佳的影像處理效果。
藉由上述方法,即可提供使用者藉由簡單的選取操作,在待處理影像中圈選出所欲處理的區塊,並藉由簡單的調整操作,快速地調整所擇選區塊的範圍,進而針對選取區塊進行影像處理。
需說明的是,在上述實施例中,影像處理裝置僅針對使用者選擇操作所選取的區塊進行影像處理,而在另一實施例中,影像處理裝置亦可針對選取區塊以外的其他區塊進行影像處理。以下則再舉一實施例詳細說明。
圖6是依照本發明一實施例所繪示之依據深度資訊處理影像的方法流程圖。請參照圖6,本實施例的方法適用於圖1的影像處理裝置10,以下即搭配影像處理裝置10中的各項元件說明本實施例依據深度資訊處理影像的方法的詳細步驟:
首先,由擷取模組142取得由立體成像系統拍攝的左影像及右影像,以及此左影像及右影像中相對應之多個像素的深度圖(步驟S602)。接著,顯示模組144即會在顯示單元12中顯示左影像及右影像其中一張影像,以作為待處理影像(步驟S604)。然後,由區塊選取模組146接收使用者對於待處理影像中至少一 個像素的選取操作(步驟S606)。之後,區塊選取模組146會進一步查詢深度圖,以在待處理影像中搜尋其深度在選取操作所選取像素的深度前後之一預設範圍內的多個目標像素,以決定至少一個選取區塊(步驟S608)。上述步驟S602~S608與前述實施例中的步驟S202~S208相同或相似,故其詳細內容在此不再贅述。
與前述實施例不同的是,在本實施例中,在區塊選取模組146決定選取區塊之後,影像處理模組148除了會對選取區塊執行影像處理外,同時也會對選取區塊以外的其他區塊進行影像處理(步驟S610)。其中,針對上述的選取區塊及其他區塊,影像處理裝置可執行相同種類但不同強度的影像處理,或是執行不同種類的影像處理,在此不設限。
詳言之,影像處理模組148可依據待處理影像中各個像素的深度,增加對於選取區塊執行影像處理的強度。據此,即使當影像處理模組148對於選取區塊及其他區塊執行相同的影像處理(例如調整亮度),在同一個調整操作中,影像處理模組148對於選取區塊所調整的強度較強,對於其他區塊所調整的強度較弱,藉此凸顯拍攝主體(即選取區塊)。
本發明另提供一種電腦程式產品,其係用以執行上述依據深度資訊處理影像的方法的各個步驟,此電腦程式產品基本上是由多數個程式碼片段所組成的(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段),並且這些程式碼片段在載入電子裝置中並執行之後,即可完成上 述依據深度資訊處理影像的方法步驟。
綜上所述,本發明的依據深度資訊處理影像的方法、裝置及電腦程式產品利用立體影像中夾帶的深度資訊,將影像區分為多個深度區塊,並根據使用者在影像中點選的位置,把此位置周圍深度相似的像素標記成選取區塊,從而對此選取區塊進行特定的影像處理。藉此,可提供使用者對於影像中不同景深的區塊進行差異性的影像處理,而獲得較佳的處理效果。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S202~S210‧‧‧依據深度資訊處理影像的方法步驟

Claims (16)

  1. 一種依據深度資訊處理影像的方法,適用於一電子裝置,該方法包括下列步驟:取得由一立體成像系統拍攝的一左影像及一右影像,以及該左影像及該右影像中相對應之多個像素的一深度圖,該深度圖記錄各所述像素的一深度;顯示該左影像及該右影像之一以作為一待處理影像;接收對於該待處理影像中至少一像素的一選取操作;查詢該深度圖,以在該待處理影像中搜尋其深度在該選取操作所選取像素的所述深度前後之一第一預設範圍內的多個目標像素,據以決定至少一選取區塊;以及執行一影像處理於所述選取區塊,其中所述影像處理包括亮度、對比度、色溫、白平衡、銳利度、鮮豔度調整,或雜訊消除或特定顏色保留。
  2. 如申請專利範圍第1項所述的依據深度資訊處理影像的方法,其中在取得由該立體成像系統拍攝的該左影像及該右影像的步驟之後,更包括:計算該左影像及該右影像相對應之各所述像素的一像差;以及依據該立體成像系統之一左鏡頭及一右鏡頭拍攝該左影像及該右影像的一焦距、該左鏡頭及該右鏡頭的一鏡頭間距以及各所述像素的該像差,估測各所述像素的該深度。
  3. 如申請專利範圍第2項所述的依據深度資訊處理影像的方法,其中計算該左影像及該右影像相對應之各所述像素的該像差的步驟包括:依據各所述像素在該左影像及該右影像中的一位置,計算各所述像素在該左影像及該右影像之間的一位移,以作為該像差。
  4. 如申請專利範圍第1項所述的依據深度資訊處理影像的方法,其中在決定所述選取區塊的步驟之後,更包括:接收對於該深度之一容許度(tolerance)的一調整操作;以及根據該調整操作所調整的該容許度,調整各所述選取區塊的一涵蓋範圍。
  5. 如申請專利範圍第4項所述的依據深度資訊處理影像的方法,其中在接收對於該待處理影像中所述像素的該選取操作的步驟之後,更包括:重新映射該深度圖所記錄之所述深度的一數值範圍至該選取操作所選取像素之所述深度前後的一第二預設範圍,以限制該調整操作可調整的該涵蓋範圍於該第二預設範圍內。
  6. 如申請專利範圍第1項所述的依據深度資訊處理影像的方法,其中執行該影像處理於所述選取區塊的步驟更包括:依據該待處理影像中各所述像素的該深度,執行該影像處理於所述選取區塊以及該待處理影像中的其他區塊。
  7. 如申請專利範圍第6項所述的依據深度資訊處理影像的方法,其中依據該待處理影像中各所述像素的該深度,執行該影像 處理於該選取操作所選取的所述區塊以及該待處理影像中的其他區塊的步驟包括:依據該待處理影像中各所述像素的該深度,增加對於所述選取區塊執行該影像處理的一強度。
  8. 一種依據深度資訊處理影像的裝置,包括:一顯示單元;一儲存單元,記錄多個模組;以及一或多個處理單元,耦接該顯示單元及該儲存單元,存取並執行儲存單元中記錄的所述模組,所述模組包括:一擷取模組,取得由一立體成像系統拍攝的一左影像及一右影像,以及該左影像及該右影像中相對應之多個像素的一深度圖,該深度圖記錄各所述像素的一深度;一顯示模組,顯示該左影像及該右影像之一於該顯示單元以作為一待處理影像;一區塊選取模組,接收對於該待處理影像中至少一像素的一選取操作,據以查詢該深度圖,以在該待處理影像中搜尋其深度在該選取操作所選取像素的所述深度前後之一第一預設範圍內的多個目標像素,以決定至少一選取區塊;以及一影像處理模組,執行一影像處理於所述選取區塊,其中所述影像處理包括亮度、對比度、色溫、白平衡、銳利度、鮮豔度調整,或雜訊消除或特定顏色保留。
  9. 如申請專利範圍第8項所述的依據深度資訊處理影像的裝 置,其中所述模組更包括:一深度分析模組,計算該擷取模組所取得之該左影像及該右影像相對應之各所述像素的一像差,並依據該立體成像系統之一左鏡頭及一右鏡頭拍攝該左影像及該右影像的一焦距、該左鏡頭及該右鏡頭的一鏡頭間距以及各所述像素的該像差,估測各所述像素的該深度。
  10. 如申請專利範圍第9項所述的依據深度資訊處理影像的裝置,其中該深度分析模組包括依據各所述像素在該左影像及該右影像中的一位置,計算各所述像素在該左影像及該右影像之間的一位移,以作為該像差。
  11. 如申請專利範圍第8項所述的依據深度資訊處理影像的裝置,其中該區塊選取模組更接收對於該深度之一容許度的一調整操作,並根據該調整操作所調整的該容許度,以及該待處理影像中各所述像素的該深度,調整各所述選取區塊的一涵蓋範圍。
  12. 如申請專利範圍第11項所述的依據深度資訊處理影像的裝置,其中所述模組更包括:一映射模組,重新映射該深度圖所記錄之所述深度的一數值範圍至該選取操作所選取像素之所述深度前後的一第二預設範圍,以限制該調整操作可調整的該涵蓋範圍於該第二預設範圍內。
  13. 如申請專利範圍第8項所述的依據深度資訊處理影像的裝置,其中該影像處理模組更依據該待處理影像中各所述像素的該深度,執行該影像處理於所述選取區塊以及該待處理影像中的 其他區塊。
  14. 如申請專利範圍第13項所述的依據深度資訊處理影像的裝置,其中該影像處理模組包括依據該待處理影像中各所述像素的該深度,增加對於所述選取區塊執行該影像處理的一強度。
  15. 如申請專利範圍第8項所述的依據深度資訊處理影像的裝置,其中該立體成像系統內建於該裝置。
  16. 一種電腦程式產品,經由一電子裝置載入該程式以執行下列步驟:取得由一立體成像系統拍攝的一左影像及一右影像;顯示該左影像及該右影像之一以作為一待處理影像;接收對於該待處理影像中至少一像素的一選取操作;查詢該深度圖,以在該待處理影像的所有像素中,搜尋其深度在該選取操作所選取像素的所述深度前後之一預設範圍內的多個目標像素,據以決定至少一選取區塊;以及執行一影像處理於所述選取區塊,其中所述影像處理包括亮度、對比度、色溫、白平衡、銳利度、鮮豔度調整,或雜訊消除或特定顏色保留。
TW102140901A 2013-11-11 2013-11-11 依據深度資訊處理影像的方法、裝置及電腦程式產品 TWI520097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW102140901A TWI520097B (zh) 2013-11-11 2013-11-11 依據深度資訊處理影像的方法、裝置及電腦程式產品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102140901A TWI520097B (zh) 2013-11-11 2013-11-11 依據深度資訊處理影像的方法、裝置及電腦程式產品

Publications (2)

Publication Number Publication Date
TW201519155A TW201519155A (zh) 2015-05-16
TWI520097B true TWI520097B (zh) 2016-02-01

Family

ID=53720995

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102140901A TWI520097B (zh) 2013-11-11 2013-11-11 依據深度資訊處理影像的方法、裝置及電腦程式產品

Country Status (1)

Country Link
TW (1) TWI520097B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI538512B (zh) 2013-06-27 2016-06-11 聚晶半導體股份有限公司 調整對焦位置的方法及電子裝置

Also Published As

Publication number Publication date
TW201519155A (zh) 2015-05-16

Similar Documents

Publication Publication Date Title
US11284013B2 (en) Color detection method and terminal
TWI375463B (en) Image feature identification and motion compensation apparatus, systems, and methods
US10475237B2 (en) Image processing apparatus and control method thereof
US9491366B2 (en) Electronic device and image composition method thereof
US9906772B2 (en) Method for performing multi-camera capturing control of an electronic device, and associated apparatus
US9538065B2 (en) System and method for multi-focus imaging
CN106060422B (zh) 一种图像曝光方法及移动终端
WO2016134534A1 (zh) 自动调整摄像头的方法和电子设备
TWI416943B (zh) 聚焦輔助系統與方法
JP2017520050A (ja) 局所的適応ヒストグラム平坦化
KR101738572B1 (ko) 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법
CN112930677B (zh) 用于在第一镜头和第二镜头之间切换的方法和电子设备
US20190082154A1 (en) Image processing method and device for auto white balance
US9445073B2 (en) Image processing methods and systems in accordance with depth information
CN107463051B (zh) 一种曝光方法及装置
CN104639926B (zh) 根据深度信息处理图像的方法及装置
EP2817959B1 (en) Vision system comprising an image sensor and means for analysis and reducing loss of illumination towards periphery of the field of view using multiple frames
TWI520097B (zh) 依據深度資訊處理影像的方法、裝置及電腦程式產品
CN106469446B (zh) 深度图像的分割方法和分割装置
KR20100081099A (ko) 아웃 포커싱 장치 및 방법
US11386525B2 (en) Image stitching apparatus and operation method thereof
CN110830728A (zh) 曝光调整方法及装置
US20170118389A1 (en) Image determining method and image sensing apparatus applying the image determining method
JPWO2018030386A1 (ja) 位置指定装置および位置指定方法
TW201827911A (zh) 影像擷取裝置及其對焦方法