TWI479455B - 全對焦影像之建立方法 - Google Patents
全對焦影像之建立方法 Download PDFInfo
- Publication number
- TWI479455B TWI479455B TW100118146A TW100118146A TWI479455B TW I479455 B TWI479455 B TW I479455B TW 100118146 A TW100118146 A TW 100118146A TW 100118146 A TW100118146 A TW 100118146A TW I479455 B TWI479455 B TW I479455B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- pixel position
- pixel
- component
- color space
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000007935 neutral effect Effects 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Analysis (AREA)
Description
本發明是有關於一種影像處理方法,且特別是有關於一種建立全對焦影像的方法。
隨著科技的發展,電子產品在許多國家都具有相當高的普及率與使用率。其中,消費性電子產品對現代人來說更是生活上不可或缺的工具。以數位相機為例,在眾多品牌相爭的情況下,其市場競爭十分激烈,業者無一不致力於開發更精進的功能以獲得消費者的青睞。
一般來說,數位相機除了要提供良好的成像品質之外,對焦技術的準確性與速度更是消費者在購買產品時會參考的因素。但以現有的光學系統而言,由於多個物體在立體場景中具有不同的遠近,故無法在單次拍攝影像的過程中取得完全清晰的全對焦影像。亦即,受到鏡頭光學特性的限制,在使用數位相機取像時只能選擇其中一個深度來進行對焦,故在成像中處於其他深度的景物會較為模糊。
重建全對焦影像則是為了解決上述問題而產生的技術。然而目前在重建全對焦影像時多半未考慮亮度與顏色等資訊,容易導致所產生之全對焦影像的顏色變淡,甚至可能破壞原有物體邊緣的色彩表現。此外,由於影像在亮暗部雜訊分布情況不均等,單純透過合成影像所建立的全對焦影像也容易因沒有考慮亮暗部的雜訊而無法提供較佳
的影像品質。
有鑑於此,本發明提供一種全對焦影像之建立方法,能避免在利用多張影像來建立全對焦影像時喪失影像細節的情況。
本發明提出一種全對焦影像之建立方法,用於影像擷取裝置。此方法包括取得在數個對焦距離下所拍攝的多張影像,上述影像包括一來源影像與多張參考影像。對上述影像執行移動補償程序。對上述影像執行邊緣偵測程序,以判斷影像中的每一像素位置是否屬於邊緣。針對屬於邊緣的各像素位置,計算來源影像的像素位置分別與各參考影像的像素位置之間的特性相近度,並且依據各參考影像所對應的特性相近度,從上述參考影像中選擇多張實際參考影像。根據來源影像之像素位置與各實際參考影像之像素位置所個別對應的邊緣銳利度來決定全對焦影像之像素位置的第一類色彩空間分量。以及根據來源影像之像素位置與各實際參考影像之像素位置所個別對應的顏色鮮豔度來決定全對焦影像之像素位置的第二類色彩空間分量。
在本發明之一實施例中,其中分別在各對焦距離下所取得的影像數量大於1。
在本發明之一實施例中,其中計算來源影像的像素位置分別與各參考影像的像素位置之間的特性相近度的步驟包括在來源影像中,取得以像素位置為中心的n×n像素區
塊,其中n為正整數。針對各參考影像,在參考影像中取得以像素位置為中心的n×n像素區塊,並計算來源影像與參考影像個別之n×n像素區塊中每一像素之特定色彩空間分量的絕對差值總和(Sum of Absolute Difference,SAD),以作為來源影像的像素位置與參考影像的像素位置之間的特性相近度。
在本發明之一實施例中,其中特定色彩空間分量包括亮度分量、藍色色度分量,以及紅色色度分量其中之一。
在本發明之一實施例中,其中依據各參考影像所對應的特性相近度,從所有參考影像中選擇實際參考影像的步驟包括針對各參考影像,偵測參考影像的像素位置是否具有脈衝雜訊(impulse noise)。若不具有脈衝雜訊,則取得特定色彩空間分量門檻值,並判斷來源影像的像素位置與參考影像的像素位置之間的特性相近度是否小於特定色彩空間分量門檻值。若特性相近度小於特定色彩空間分量門檻值,則選擇參考影像作為實際參考影像。
在本發明之一實施例中,其中取得特定色彩空間分量門檻值的步驟包括計算在來源影像之n×n像素區塊中各像素的特定色彩空間分量的平均絕對誤差(Mean Absolute Error,MAE),並計算在參考影像之n×n像素區塊中各像素的特定色彩空間分量的平均絕對誤差。判斷來源影像與參考影像所分別對應的平均絕對誤差之間的大小。根據較大的平均絕對誤差取得特定色彩空間分量初始值,並根據來源影像之像素位置的特定色彩空間分量取得特定色彩空
間分量增益值,以及以特定色彩空間分量初始值與特定色彩空間分量增益值的乘積作為特定色彩空間分量門檻值。
在本發明之一實施例中,其中根據來源影像之像素位置與各實際參考影像之像素位置所個別對應的邊緣銳利度決定全對焦影像之像素位置的第一類色彩空間分量的步驟包括利用拉普拉斯遮罩(Laplacian mask)計算來源影像之像素位置與各實際參考影像之像素位置所個別對應的邊緣銳利度。在來源影像與所有實際參考影像中,取得所對應的邊緣銳利度較高的m個影像,並且計算上述m個影像個別的像素位置之亮度分量的平均權重值以作為第一類色彩空間分量。
在本發明之一實施例中,其中根據來源影像之像素位置與各實際參考影像之像素位置所個別對應的顏色鮮豔度決定全對焦影像之像素位置的第二類色彩空間分量的步驟包括判斷來源影像之像素位置與各實際參考影像之像素位置個別的色度分量是否均接近中性色。若是,依照第一規則決定來源影像與實際參考影像所分別對應的權重值。若否,依照第二規則決定來源影像與實際參考影像所分別對應的權重值。根據來源影像與實際參考影像所分別對應的權重值,計算來源影像與各實際參考影像個別之像素位置的色度分量的平均權重值以作為第二類色彩空間分量。
在本發明之一實施例中,其中第一規則是對於像素位置之色度分量越接近中性色的影像給予越高的權重值,而第二規則是對於像素位置之色度分量越偏離中性色的影像
給予越高的權重值。
在本發明之一實施例中,其中在判斷影像中的各像素位置是否屬於邊緣的步驟之後,此全對焦影像之建立方法更包括針對不屬於邊緣的各像素位置,以來源影像之像素位置的亮度分量作為全對焦影像之像素位置的第一類色彩空間分量,並且以來源影像之像素位置的色度分量作為全對焦影像之像素位置的第二類色彩空間分量。
基於上述,本發明在利用多張影像來建立全對焦影像時,不僅能一併消除影像中的雜訊,同時也考慮顏色及亮度等細節上的表現,從而得到品質較佳的全對焦影像。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是依照本發明之一實施例所繪示之全對焦影像之建立方法的流程圖。此全對焦影像之建立方法適用於影像擷取裝置,以利用在不同對焦距離下所拍攝的數張影像建立一全對焦影像。其中,影像擷取裝置例如是相機、攝影機,或具備影像擷取能力的任何電子裝置。
首先如步驟S110所示,取得在數個對焦距離下所拍攝的多張影像,上述影像包括一來源影像與多張參考影像。詳細地說,影像擷取裝置先進行對焦動作,以利用其自動對焦功能找出對某一目標物進行拍攝時的最佳對焦距離,接著取得在上述最佳對焦距離與其前後對焦距離下所
拍攝的多張連續影像。在本實施例中,為了在建立全對焦影像時一併消除影像中的雜訊,針對每一對焦距離都將取得兩張以上的影像。而在所取得的所有影像中,以最佳對焦距離拍攝其中一張影像將被視為來源影像,其餘影像則為參考影像。
由於在連續影像中物體的位置可能有所偏移,故如步驟S120所示,對上述影像執行移動補償程序以使參考影像的各部份對位至來源影像的相應位置。在本實施例中可採用全域移動向量(global motion vector)進行移動補償程序,或者利用區域移動向量(local motion vector)進行移動補償程序,在此並不對移動補償程序的實施方式進行限制。
接著如步驟S130所示,對上述影像執行邊緣偵測程序,以判斷影像中的每一像素位置是否屬於邊緣。具體來說,先對每一影像進行邊緣偵測以建立各影像的邊緣圖(edge map)。所謂邊緣圖是指與影像大小相同的矩陣,且矩陣中的每一元素記錄影像中對應之像素位置是否為邊緣的資訊。透過比對各影像的邊緣圖(例如,找出各邊緣圖中有交集的部份)便能識別影像中的物體所在之處,進而判斷各像素位置是否為邊緣。
在本實施例中,對於屬於邊緣的每一像素位置都會執行步驟S140至步驟S170的處理。其中如步驟S140所示,針對屬於邊緣的各像素位置,計算來源影像的像素位置分別與各參考影像的像素位置之間的特性相近度。必須特別
說明的是,本實施例並非單純只比對來源影像分別與各參考影像在單一個像素位置上的特性相近度,而是判斷來源影像分別與各參考影像在一塊包括該像素位置的局部區域的特性相近度。
詳言之,首先在來源影像中取得以像素位置為中心的n×n像素區塊(n為正整數)。假設像素位置為(i,j)且n為3,本實施例所取得的3×3像素區塊則如圖2所示,其包括9個像素位置。類似地,在其中一張參考影像中取得以像素位置為中心的n×n像素區塊。接著,計算來源影像與此參考影像個別之n×n像素區塊中每一像素之特定色彩空間分量的絕對差值總和(Sum of Absolute Difference,SAD)。絕對差值總合能反映來源影像與參考影像在n×n像素區塊這個局部區域內的特性是否接近。對於每張參考影像都將以對應的絕對差值總和來作為其像素位置與來源影像之像素位置之間的特性相近度。
本實施例例如是以下列算式來計算來源影像之像素位置與參考影像之像素位置之間的絕對差值總和SAD:
其中,SC_Sp表示在來源影像之n×n像素區塊中一像素的特定色彩空間分量,而SC_Rp表示在參考影像之n×n像素區塊中一像素的特定色彩空間分量。
對於屬於邊緣的各像素位置,本實施例是透過疊合影像的方式以在建立全對焦影像的同時達到去除雜訊的效果。然而,由於在拍攝連續影像的過程中可能發生光色或
亮度的改變,且為了避免移動補償程序的結果不夠準確,因此在疊合過程中必須考慮各參考影像與來源影像之間的特性相近度多寡,進而找出較為適用的參考影像來進行疊合。因此如步驟S150所示,依據各參考影像所對應的特性相近度,從上述參考影像中選擇多張實際參考影像。
以下說明選擇實際參考影像的方式。首先,對每一參考影像進行脈衝雜訊(impulse noise)的偵測,以判斷參考影像的像素位置是否具有脈衝雜訊。若在此像素位置發生脈衝雜訊,則剔除對應的參考影像,從而避免用其疊合而產生品質不佳的結果。
對於在此像素位置上不具有脈衝雜訊的各參考影像,則取得一特定色彩空間分量門檻值,並判斷來源影像的像素位置與參考影像的像素位置之間的特性相近度是否小於特定色彩空間分量門檻值。若是,表示來源影像與參考影像在該像素位置具有類似的特性,因而選擇此參考影像作為實際參考影像。
值得一提的是,本實施例是動態取得特定色彩空間分量門檻值。亦即,依據來源影像與參考影像中像素的特定色彩空間分量來取得適用的特定色彩空間分量門檻值。詳細地說,首先計算在來源影像之n×n像素區塊中各像素之特定色彩空間分量的平均絕對誤差(Mean Absolute Error,MAE),平均絕對誤差MAE的算式如下:
其中,SC_Sq表示在來源影像之n×n像素區塊中一像
素的特定色彩空間分量,表示n×n像素區塊中所有像素之特定色彩空間分量的平均值。
在以類同上述算式計算在參考影像之n×n像素區塊中各像素的特定色彩空間分量的平均絕對誤差後,判斷來源影像與參考影像所分別對應的平均絕對誤差之間的大小,並根據其中較大的平均絕對誤差來取得一特定色彩空間分量初始值。此外,根據來源影像之像素位置的特定色彩空間分量取得一特定色彩空間分量增益值,再以特定色彩空間分量初始值與特定色彩空間分量增益值的乘積作為特定色彩空間分量門檻值。
在YCbCr色彩空間下,特定色彩空間分量包括亮度分量、藍色色度分量,以及紅色色度分量,然而本發明並不對色彩空間加以限定。以亮度分量為例,圖3是依照本發明之一實施例所繪示之平均絕對誤差與亮度分量初始值的關係曲線圖。在本實施例中,亮度分量初始值a、b以及平均絕對誤差M1、M2係預先定義的數值,而透過內插法便可繪出如圖3所示之關係曲線。如圖3所示,越小的平均絕對誤差(例如小於M1)在影像特徵上是代表較不清楚的邊緣,適於放寬疊合條件以提高進行疊合的機會來盡可能消除影像雜訊。因此,在分別計算來源影像之n×n像素區塊中各像素之亮度分量的平均絕對誤差,以及參考影像之n×n像素區塊中各像素之亮度分量的平均絕對誤差,並取得兩者之間的較大值後,若該平均絕對誤差小於M1時,所取得的亮度分量初始值會是數值較高的亮度分量初
始值b。反之,由於越大的平均絕對誤差(例如大於M2)表示該處具有硬邊(hard edge)等影像特徵,由於對硬邊處進行不當的疊合處理容易產生鬼影情形,因此若取得的平均絕對誤差大於M2時,所對應的亮度分量初始值則為數值較低的亮度分量初始值a,以減少進行時間疊合處理的機會。而介於M1與M2之間的平均絕對誤差則會線性對應至介於a、b之間的亮度分量初始值。
圖4是依照本發明之一實施例所繪示之亮度分量與亮度分量增益值的關係曲線圖。在本實施例中,預先定義亮度分量增益值c、d以及亮度分量Y1、Y2,再以內插法便可繪出如圖4所示之關係曲線。請參閱圖4,越小的亮度分量(例如小於Y1)表示其亮度越低,由於影像中的暗部易有較多雜訊,為了盡可能地消除該些雜訊,若來源影像之像素位置的亮度分量小於Y1,則取得數值較高的亮度分量增益值d,以提升進行疊合的機會。反之,若來源影像之像素位置的亮度分量越大(例如大於Y2),表示其具有較高的亮度,因此取得數值較低的亮度分量增益值c,以降低進行疊合的機會。若來源影像之像素位置的亮度分量係介於Y1與Y2之間,其對應的亮度分量增益值則會是介於c、d之間的數值。
利用圖3與圖4以分別取得亮度分量初始值與亮度分量增益值後,便以兩者的乘積來作為亮度分量這項特定色彩空間分量的門檻值。
其他特定色彩空間分量(例如藍色色度分量,或紅色
色度分量)的門檻值也可以類似的方式取得。以藍色色度分量門檻值為例,分別計算來源影像之n×n像素區塊中各像素之藍色色度分量的平均絕對誤差,以及參考影像之n×n像素區塊中各像素之藍色色度分量的平均絕對誤差,再根據較大的平均絕對誤差取得對應的一藍色色度分量初始值以作為藍色色度分量門檻值。而在計算紅色色度分量門檻值時,例如先計算來源影像之n×n像素區塊中各像素之紅色色度分量的平均絕對誤差,以及參考影像之n×n像素區塊中各像素之紅色色度分量的平均絕對誤差,再根據兩者中較大的平均絕對誤差取得對應的紅色色度分量初始值以作為紅色色度分量門檻值。
針對屬於邊緣的各像素位置,本實施例會依照此像素位置的每種特定色彩空間分量分別執行步驟S140與步驟S150。例如,分別對亮度分量、藍色色度分量,以及紅色色度分量進行判斷。而經過步驟S140與步驟S150便能剔除在該像素位置上與來源影像具有明顯亮度與顏色差距的參考影像。換言之,所選擇的實際參考影像與來源影像在該像素位置上的亮度與顏色無明顯不同,且具有相似的區域特性。
接下來如步驟S160所示,根據來源影像之像素位置與各實際參考影像之像素位置所個別對應的邊緣銳利度來決定全對焦影像之像素位置的第一類色彩空間分量(例如亮度分量)。
由於影像細節會反映在每一像素的亮度分量,因此本
實施例係利用拉普拉斯遮罩(Laplacian mask,如圖5所示)對包括該像素位置之區域中每一像素的亮度分量進行運算,以分別取得來源影像之像素位置與各實際參考影像之像素位置所個別對應的邊緣銳利度。亦即,計算該像素位置與周圍的亮度分量對比。接著在來源影像與所有實際參考影像中,取得所對應的邊緣銳利度較高的m個影像,並計算上述m個影像個別的像素位置之亮度分量的平均權重值以作為全對焦影像之該像素位置第一類色彩空間分量。
並且如步驟S170所示,根據來源影像之像素位置與各實際參考影像之像素位置所個別對應的顏色鮮豔度來決定全對焦影像之像素位置的第二類色彩空間分量(例如色度分量)。在本實施例中,首先判斷來源影像之像素位置與各實際參考影像之像素位置個別的色度分量是否均接近中性色。在本實施例中例如是以下列算式來進行判斷:
其中,T表示來源影像與實際參考影像的總數。CbS
表示一影像之像素位置的藍色色度分量,而CrS
表示一影像之像素位置的紅色色度分量。CTH則是鮮豔度門檻值,CTH的大小會與影像擷取裝置的感光度有關。舉例來說,越高的感光度所對應的鮮豔度門檻值越大,而越低的感光度所對應的鮮豔度門檻值越小。
若上述判斷式成立,則表示來源影像與各實際參考影像個別之像素位置的色度分量都接近中性色。基此,依照第一規則決定來源影像與實際參考影像所分別對應的權重
值。其中,第一規則是對於像素位置之色度分量越接近中性色的影像給予越高的權重值。圖6是依照本發明之一實施例所繪示之藍色色度分量與紅色色度分量之座標系統。座標軸Cb表示藍色色度分量,座標軸Cr表示紅色色度分量,原點之藍色色度分量與紅色色度分量的數值均為128(表示為中性色)。如圖6所示,座標點F1至F6分別代表6張影像,由於這6個點均接近原點,故應依照第一規則給予該些影像權重值。其中,對應座標點F6的影像將被給予最高的權重值。
若上述條件不成立,表示來源影像與各實際參考影像個別之像素位置的色度分量並非都接近中性色,因此依照第二規則決定來源影像與實際參考影像所分別對應的權重值。第二規則是對於像素位置之色度分量越偏離中性色的影像給予越高的權重值。圖7是依照本發明之一實施例所繪示之藍色色度分量與紅色色度分量之座標系統,其中座標軸Cb表示藍色色度分量,座標軸Cr表示紅色色度分量,原點之藍色色度分量與紅色色度分量的數值均為128(表示為中性色)。如圖7所示,分別代表6張影像的6個座標點F1至F6屬於相同象限但並未都接近原點,因此依照第二規則給予該些影像權重值。其中,距離原點最遠的座標點F1所對應的影像會被給予最高的權重值。
接下來,根據來源影像與實際參考影像所分別對應的權重值,計算來源影像與各實際參考影像個別之像素位置的色度分量的平均權重值,以作為為全對焦影像之像素位
置的第二類色彩空間分量。
對於所有屬於邊緣的像素位置,本實施例將透過步驟S140至步驟S170所示之方式來產生全對焦影像在該像素位置的亮度分量與色度分量。基此,屬於邊緣的像素位置都是對焦最清楚(亦即,亮度分量對比最明顯)的疊合結果,並且透過上述方式可避免合成後顏色偏淡的問題。
除此之外,對於不屬於邊緣的每一像素位置則會執行步驟S180至步驟S190的處理。在步驟S180中,以來源影像之像素位置的亮度分量作為全對焦影像之像素位置的第一類色彩空間分量(例如亮度分量),並且如步驟S190所示,以來源影像之像素位置的色度分量作為全對焦影像之像素位置的第二類色彩空間分量(例如色度分量)。如步驟S180與步驟S190所示,透過取代而非疊合的方式來決定全對焦影像在非邊緣像素位置的亮度分量與色度分量可避免增加影像平坦區的雜訊。
本實施例在利用多張影像來建立全對焦影像時,針對屬於邊緣的像素位置,會根據來源影像與參考影像在該像素位置的特性相近度來決定要採用哪些參考影像進行疊合。選擇要用來疊合的參考影像後,再根據邊緣銳利度與顏色鮮豔度決定疊合的方式,據此得到較佳的疊合結果。針對不屬於邊緣的像素位置會直接以來源影像在該像素位置的亮度與色度分量來作為全對焦影像中該像素位置的亮度與色度分量。根據各像素位置是否為邊緣而採取不同的處理方式能避免一昧地疊合影像而增加平坦區的雜訊。
綜上所述,本發明所述之全對焦影像之建立方法能利用擷取自不同對焦距離的多張影像來建立影像中每個地方都清楚對焦的全對焦影像。而在建立全對焦影像時,亦能將影像中的雜訊一併消除,同時確保所建立的全對焦影像仍具有鮮豔顏色並且不會喪失影像中的細節。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S110~S190‧‧‧本發明之一實施例所述之全對焦影像之建立方法的各步驟
a、b‧‧‧亮度分量初始值
M1、M2‧‧‧平均絕對誤差
c、d‧‧‧亮度分量增益值
Y1、Y2‧‧‧亮度分量
Cb、Cr‧‧‧座標軸
F1、F2、F3、F4、F5、F6‧‧‧座標點
圖1是依照本發明之一實施例所繪示之全對焦影像之建立方法的流程圖。
圖2是依照本發明之一實施例所繪示之像素區塊的示意圖。
圖3是依照本發明之一實施例所繪示之平均絕對誤差與亮度分量初始值的關係曲線圖。
圖4是依照本發明之一實施例所繪示之亮度分量與亮度分量增益值的關係曲線圖。
圖5是依照本發明之一實施例所繪示之拉普拉斯遮罩的示意圖。
圖6、圖7是依照本發明之一實施例所繪示之藍色色度分量與紅色色度分量之座標系統。
S110~S190‧‧‧本發明之一實施例所述之全對焦影像之建立方法的各步驟
Claims (10)
- 一種全對焦影像之建立方法,用於一影像擷取裝置,該方法包括:取得在多個對焦距離下所拍攝的多張影像,其中該些影像包括一來源影像與多張參考影像;對該些影像執行一移動補償程序;對該些影像執行一邊緣偵測程序,以判斷該些影像中的每一像素位置是否屬於邊緣;針對屬於邊緣的各該像素位置,計算該來源影像的該像素位置分別與各該些參考影像的該像素位置之間的一特性相近度;依據各該些參考影像所對應的該特性相近度,從該些參考影像中選擇多張實際參考影像;根據該來源影像之該像素位置與各該些實際參考影像之該像素位置所個別對應的一邊緣銳利度決定一全對焦影像之該像素位置的一第一類色彩空間分量;以及根據該來源影像之該像素位置與各該些實際參考影像之該像素位置所個別對應的一顏色鮮豔度決定該全對焦影像之該像素位置的一第二類色彩空間分量。
- 如申請專利範圍第1項所述之全對焦影像之建立方法,其中分別在各該些對焦距離下所取得的影像數量大於1。
- 如申請專利範圍第1項所述之全對焦影像之建立方法,其中計算該來源影像的該像素位置分別與各該些參 考影像的該像素位置之間的該特性相近度的步驟包括:在該來源影像中,取得以該像素位置為中心的一n×n像素區塊,其中n為正整數;針對各該些參考影像,在該參考影像中取得以該像素位置為中心的該n×n像素區塊;計算該來源影像與該參考影像個別之該n×n像素區塊中每一像素之一特定色彩空間分量的一絕對差值總和(Sum of Absolute Difference,SAD),以作為該來源影像的該像素位置與該參考影像的該像素位置之間的該特性相近度。
- 如申請專利範圍第3項所述之全對焦影像之建立方法,其中該特定色彩空間分量包括一亮度分量、一藍色色度分量,以及一紅色色度分量其中之一。
- 如申請專利範圍第3項所述之全對焦影像之建立方法,其中依據各該些參考影像所對應的該特性相近度,從該些參考影像中選擇該些實際參考影像的步驟包括:針對各該些參考影像,偵測該參考影像的該像素位置是否具有脈衝雜訊(impulse noise);若不具有脈衝雜訊,則取得一特定色彩空間分量門檻值,並判斷該來源影像的該像素位置與該參考影像的該像素位置之間的該特性相近度是否小於該特定色彩空間分量門檻值;以及若該特性相近度小於該特定色彩空間分量門檻值,則選擇該參考影像作為實際參考影像。
- 如申請專利範圍第5項所述之全對焦影像之建立方法,其中取得該特定色彩空間分量門檻值的步驟包括:計算在該來源影像之該n×n像素區塊中各該像素之該特定色彩空間分量的一平均絕對誤差(Mean Absolute Error,MAE);計算在該參考影像之該n×n像素區塊中各該像素的該特定色彩空間分量的該平均絕對誤差;判斷該來源影像與該參考影像所分別對應的該平均絕對誤差之間的大小;根據較大的該平均絕對誤差取得一特定色彩空間分量初始值;根據該來源影像之該像素位置的該特定色彩空間分量取得一特定色彩空間分量增益值;以及以該特定色彩空間分量初始值與該特定色彩空間分量增益值的乘積作為該特定色彩空間分量門檻值。
- 如申請專利範圍第1項所述之全對焦影像之建立方法,其中根據該來源影像之該像素位置與各該些實際參考影像之該像素位置所個別對應的該邊緣銳利度決定該全對焦影像之該像素位置的該第一類色彩空間分量的步驟包括:利用一拉普拉斯遮罩(Laplacian mask)計算該來源影像之該像素位置與各該些實際參考影像之該像素位置所個別對應的該邊緣銳利度;在該來源影像與該些實際參考影像中,取得所對應的 該邊緣銳利度較高的m個影像;以及計算該m個影像個別之該像素位置之一亮度分量的一平均權重值以作為該第一類色彩空間分量。
- 如申請專利範圍第1項所述之全對焦影像之建立方法,其中根據該來源影像之該像素位置與各該些實際參考影像之該像素位置所個別對應的該顏色鮮豔度決定該全對焦影像之該像素位置的該第二類色彩空間分量的步驟包括:依據一判斷式判斷該來源影像之該像素位置與各該些實際參考影像之該像素位置個別的一色度分量是否均接近中性色;若是,依照一第一規則決定該來源影像與各該些實際參考影像所分別對應的一權重值;若否,依照一第二規則決定該來源影像與各該些實際參考影像所分別對應的該權重值;以及根據該來源影像與各該些實際參考影像所分別對應的該權重值,計算該來源影像與各該些實際參考影像個別之該像素位置的該色度分量的一平均權重值以作為該第二類色彩空間分量。
- 如申請專利範圍第8項所述之全對焦影像之建立方法,其中該第一規則是對於該像素位置之該色度分量越接近在該色度分量的一座標系統中對應中性色的一座標的影像給予越高的權重值,而該第二規則是對於該像素位置之該色度分量越偏離在該座標系統中對應中性色的該座標 的影像給予越高的權重值。
- 如申請專利範圍第1項所述之全對焦影像之建立方法,其中在判斷該些影像中的各該像素位置是否屬於邊緣的步驟之後,該方法更包括:針對不屬於邊緣的各該像素位置,以該來源影像之該像素位置的一亮度分量作為該全對焦影像之該像素位置的該第一類色彩空間分量;以及以該來源影像之該像素位置的一色度分量作為該全對焦影像之該像素位置的該第二類色彩空間分量。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100118146A TWI479455B (zh) | 2011-05-24 | 2011-05-24 | 全對焦影像之建立方法 |
US13/237,958 US8412002B2 (en) | 2011-05-24 | 2011-09-21 | Method for generating all-in-focus image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100118146A TWI479455B (zh) | 2011-05-24 | 2011-05-24 | 全對焦影像之建立方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201248551A TW201248551A (en) | 2012-12-01 |
TWI479455B true TWI479455B (zh) | 2015-04-01 |
Family
ID=47219259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100118146A TWI479455B (zh) | 2011-05-24 | 2011-05-24 | 全對焦影像之建立方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8412002B2 (zh) |
TW (1) | TWI479455B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
TWI637154B (zh) * | 2016-12-29 | 2018-10-01 | 財團法人印刷工業技術研究中心 | Method of measuring chromaticity with mobile devices |
US11405547B2 (en) * | 2019-02-01 | 2022-08-02 | Electronics And Telecommunications Research Institute | Method and apparatus for generating all-in-focus image using multi-focus image |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5511155A (en) * | 1993-01-27 | 1996-04-23 | Texas Instruments Incorporated | Method and device for synthesizing all-objects-in-focus images |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
TWI303392B (en) * | 2004-12-08 | 2008-11-21 | Marena Systems Corp | A method and system for automatically focusing an image detector for defect detection and analysis |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5825930A (en) * | 1997-03-05 | 1998-10-20 | Samsung Electronics Co., Ltd. | Motion estimating method |
US20060291751A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution) |
US7613363B2 (en) * | 2005-06-23 | 2009-11-03 | Microsoft Corp. | Image superresolution through edge extraction and contrast enhancement |
WO2007139070A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法 |
JP4382797B2 (ja) * | 2006-11-09 | 2009-12-16 | 株式会社山武 | 対応点探索方法および3次元位置計測方法 |
JP4646146B2 (ja) * | 2006-11-30 | 2011-03-09 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US8073277B2 (en) * | 2007-06-21 | 2011-12-06 | The University Of Southern Mississippi | Apparatus and methods for image restoration |
US8290212B2 (en) * | 2007-07-17 | 2012-10-16 | Lockheed Martin Corporation | Super-resolving moving vehicles in an unregistered set of video frames |
JP5076755B2 (ja) * | 2007-09-07 | 2012-11-21 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
JP2010140460A (ja) * | 2008-11-13 | 2010-06-24 | Sony Corp | 画像処理装置および方法、並びにプログラム |
-
2011
- 2011-05-24 TW TW100118146A patent/TWI479455B/zh not_active IP Right Cessation
- 2011-09-21 US US13/237,958 patent/US8412002B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5511155A (en) * | 1993-01-27 | 1996-04-23 | Texas Instruments Incorporated | Method and device for synthesizing all-objects-in-focus images |
TWI303392B (en) * | 2004-12-08 | 2008-11-21 | Marena Systems Corp | A method and system for automatically focusing an image detector for defect detection and analysis |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
Also Published As
Publication number | Publication date |
---|---|
US20120301025A1 (en) | 2012-11-29 |
TW201248551A (en) | 2012-12-01 |
US8412002B2 (en) | 2013-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111164647B (zh) | 使用单个相机估算深度 | |
US9800856B2 (en) | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies | |
US9445022B2 (en) | Image processing apparatus and image processing method, and program | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6355346B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
US10212332B2 (en) | Image sensor, calculation method, and electronic device for autofocus | |
JP6600936B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体 | |
JP2013026755A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
US8818089B2 (en) | Device and method of removing chromatic aberration in image | |
TWI479455B (zh) | 全對焦影像之建立方法 | |
US11330177B2 (en) | Image processing apparatus and image processing method | |
CN101778297B (zh) | 影像序列的干扰消除方法 | |
EP4090006A2 (en) | Image signal processing based on virtual superimposition | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101233986B1 (ko) | 퍼플 프린징 보정 장치 및 방법 | |
CN107517367B (zh) | 拜尔域图像插值方法、装置、图像处理芯片及存储装置 | |
CN102800068B (zh) | 全对焦图像的建立方法 | |
Jo et al. | Adaptive white point extraction based on dark channel prior for automatic white balance | |
TWI514325B (zh) | 三維影像對的深度修正系統及其方法 | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 | |
CN103108200B (zh) | 对立体影像的处理方法 | |
JP2010068464A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
Moriyama et al. | Illuminant color estimation method based on pseudo-detection of specular reflection | |
JP6415106B2 (ja) | 撮像装置及びその制御方法、並びに、プログラム | |
TWI459795B (zh) | 雜訊抑制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |