TWI524757B - 影像擷取裝置及數位變焦顯示方法 - Google Patents

Description

影像擷取裝置及數位變焦顯示方法

本發明是有關於一種數位變焦技術，特別是有關於一種利用多個鏡頭來提高數位變焦顯示品質的影像擷取裝置及數位變焦顯示方法。

與光學變焦技術相比，數位變焦技術不須額外的光學機構，以有利於相機輕薄化以及降低成本。然而，數位變焦技術也有其待解決的問題。由於數位影像放大後並無法增加影像細節，所以會造成放大倍率越高影像越模糊失真的現象。

如果攝像裝置之螢幕的解析度低於攝像鏡頭的解析度時，當影像預覽時，攝像裝置大多會把所擷取的影像進行降取樣以符合螢幕的解析度。如此，當使用者在預覽影像時進行縮放，則數位變焦技術所造成的模糊失真會更明顯。

有鑑於上述問題，本發明之目的係提供一種影像擷取裝置及數位變焦顯示方法，其利用多鏡頭以避免數位變焦時產生的細節模糊現象。

基於上述目的，本發明係提供一種影像擷取裝置，影像擷取裝置包含第一鏡頭模組、第二鏡頭模組、預覽處理單元、特徵擷取單元、影像縮放暨變形單元及影像融合單元。第一鏡頭模組可擷取第一影像。第二鏡頭模組可擷取第二影像，且第二鏡頭模組之一攝影範圍大致等於第一鏡頭模組。預覽處理單元可根據顯示單元之解析度對第一影像進行降取樣以產生第三影像，並根據第三影像之解析度大小從第二影像裁切出相同大小之第四影像。特徵擷取單元可擷取第三影像之複數個第一影像特徵以及第四影像中之複數個第二影像特徵，並根據複數個第一影像特徵及複數個第二影像特徵產生第三影像及第四影像之間的像素位移特徵。影像縮放暨變形單元用以當影像縮放暨變形單元根據縮放比例縮放第三影像以產生第五影像時時，影像縮放暨變形單元將第四影像根據像素位移特徵及縮放比例以產生第六影像；第六影像之視角及攝影範圍近似於第五影像之中央區域。影像融合單元係依據縮放比例融合第五影像及第六影像以產生結合影像，並將結合影像顯示於顯示單元上。

較佳地，特徵擷取單元係自動進行複數個第一影像特徵與複數個第二影像特徵之比對與匹配以產生像素位移特徵。

較佳地，影像融合單元更依據一動態加權方式以融合第五影像及第六影像；動態加權方式係依據縮放比例與第五影像之複數個第一像素之位置及第六影像之複數個第二像素之位置，以自動決定複數個第一像素及複數個第二像素之權重值。

基於上述目的，本發明再提供一種數位變焦顯示方法，其適用於具有第一鏡頭模組、第二鏡頭模組、輸入單元、顯示單元、特徵擷取單元、影像縮放暨變形單元、影像融合單元以及預覽處理單元的影像擷取裝置。其中，第二鏡頭模組之一攝影範圍係大致等於第一鏡頭模組。數位變焦顯示方法包含下列步驟：(a)使用第一鏡頭模組以及第二鏡頭模組分別擷取第一影像以及第二 影像。(b)使用預覽處理單元根據顯示單元之解析度對第一影像進行降取樣以產生第三影像，並根據第三影像之解析度大小從第二影像中裁切出相同之第四影像。(c)使用特徵擷取單元擷取第三影像之複數個第一影像特徵以及第四影像中之複數個第二影像特徵，並根據複數個第一影像特徵及複數個第二影像特徵產生第三影像及第四影像之間的像素位移特徵。(d)經由輸入單元接收縮放比例，並由影像縮放暨變形單元根據縮放比例縮放第三影像以產生第五影像，再根據像素位移特徵及縮放比例以縮放並變形第四影像以產生第六影像；其中，第六影像之視角及攝影範圍近似於第五影像之中央區域。以及(e)使用影像融合單元依據縮放比例融合第五影像與第六影像以產生結合影像，並顯示結合影像至顯示單元上。

較佳地，像素位移特徵係由自動比對與匹配複數個第一影像特徵與複數個第二影像特徵而產生。

較佳地，步驟(e)更包含：依據一動態加權方式以融合第五影像及第六影像；動態加權方式係依據縮放比例與第五影像之複數個第一像素之位置及第六影像之複數個第二像素之位置，以自動決定複數個第一像素及複數個第二像素之權重值。

承上所述，依本發明之影像擷取裝置及數位變焦顯示方法，其可具有一或多個下述優點：

第一，本發明之影像擷取裝置及數位變焦顯示方法可有效地降低數位變焦於顯示時造成的模糊失真。

第二，本發明之影像擷取裝置及數位變焦顯示方法可提供流暢的數位變焦之長短焦段變化。

10‧‧‧第一鏡頭模組

11‧‧‧第一影像

12‧‧‧第三影像

20‧‧‧第二鏡頭模組

21‧‧‧第二影像

22‧‧‧第四影像

30‧‧‧特徵擷取單元

31‧‧‧影像特徵

32、321‧‧‧對應區域

33‧‧‧像素位移特徵

34‧‧‧中央區域

40‧‧‧影像縮放暨變形單元

41‧‧‧縮放比例

42‧‧‧第五影像

43‧‧‧第六影像

50‧‧‧影像融合單元

53‧‧‧結合影像

60‧‧‧輸入單元

70‧‧‧顯示單元

71‧‧‧顯示尺寸

80‧‧‧影像擷取裝置

90‧‧‧預覽處理單元

S11~S15‧‧‧步驟

本發明之上述及其他特徵及優勢將藉由參照附圖詳細說明其例示性實施例而變得更顯而易知，其中：第1圖係為根據本發明實施例之影像擷取裝置之方塊圖。

第2圖係為根據本發明實施例之影像擷取裝置之第一示意圖。

第3圖係為根據本發明實施例之影像擷取裝置之第二示意圖。

第4圖係為本發明實施例之數位變焦顯示方法之流程圖。

於此使用，詞彙“與/或”包含一或多個相關條列項目之任何或所有組合。當“至少其一”之敘述前綴於一元件清單前時，係修飾整個清單元件而非修飾清單中之個別元件。

參閱第1圖，其為根據本發明之實施例之影像擷取裝置之方塊圖。圖中，影像擷取裝置80包含一第一鏡頭模組10、一第二鏡頭模組20、一特徵擷取單元30、一影像縮放暨變形單元40、一影像融合單元50以及一預覽處理單元90。本發明之影像擷取裝置80，第一鏡頭模組10與第二鏡頭模組20係設置在影像擷取裝置80之同一側上並朝向同一方向。

特徵擷取單元30、影像縮放暨變形單元40、影像融合單元50以及預覽處理單元90可為影像擷取裝置80內之處理單元以軟體方式執行，例如特徵擷取單元30、影像縮放暨變形單元40、影像融合單元50或是預覽處理單元90分別為處理單元可執行之程式碼；或是以硬體方式執行，特徵擷取單元30、影像縮放暨變形單元40、影像融合單元50或是預覽處理單元90分別為處理單元內的特定電路；或是以軟體以及硬體混合搭配執行，例如部分單元以軟體方式執行， 而部分單元以硬體方式執行。此外，影像擷取裝置80另外包含輸入單元60以及顯示單元70。

第一鏡頭模組10可擷取第一影像11。第二鏡頭模組20可擷取第二影像21，第二鏡頭模組20之一攝影範圍大致等於第一鏡頭模組10，且第二鏡頭模組20之一視角係大致等於第一鏡頭模組10。實施上，第一鏡頭模組10以及第二鏡頭模組20係分別包含一取像鏡頭以及一影像感測器，第一鏡頭模組10之取像鏡頭的取像角度範圍係大致等於第二鏡頭模組20之取像鏡頭的取像角度範圍，且第一影像11及第二影像21包含有相同的影像特徵。

上述影像感測器可包含使用感光耦合元件(Charge-coupled Device；CCD)或是使用互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor；CMOS)的影像感測器。

請同時參閱第2圖與第3圖，其分別為根據本發明實施例之影像擷取裝置之第一示意圖及第二示意圖。因為第一影像11或第二影像21的解析度大於顯示單元70，所以當使用者欲預覽影像時，必須先對第一影像11或第二影像21做降取樣處理，使其能夠在顯示單元70上顯示。以第一影像11為例，預覽處理單元90根據顯示單元70之解析度對第一影像11進行降取樣以產生一第三影像12。如第2圖之(C)部分所示，圖中所繪示之第三影像12之尺寸係對應顯示單元70之尺寸，用以表示顯示單元70之尺寸或解析度是小於第一影像11。另外，值得一提的是，第一影像11及第二影像21同時包含有相同的影像特徵31，如第2圖之(A)與(B)部分所示。

接著，預覽處理單元90根據第三影像12之解析度大小從第二影像21中裁切出相同大小之一第四影像22，如第2圖之(D)部分所示。由比較第2圖之(C)部分與(D)部分可得知，由於沒有經過降取樣的處理，預覽處理單元90輸出的 第四影像22的影像視野較窄，但是在相同景色上有更多的影像細節，亦即影像特徵31可以看得更清楚。

其次，再由特徵擷取單元30分別擷取第三影像12中之複數個第一影像特徵及第四影像22中之複數個第二影像特徵，並根據此複數個第一影像特徵及複數個第二影像特徵產生第三影像12與第四影像22間之一像素位移特徵33。如第3圖所示，圖中(A)部份繪示第三影像12，(B)部份繪示第四影像22，因為第一鏡頭模組10與第二鏡頭模組20係設置在影像擷取裝置80之同一側上，且朝向同一方向，所以雖然視角略有不同，但是中間區域所擷取的景色大致上是相同的，因此可透過影像特徵萃取以及影像特徵比對的手段判斷出第四影像22在第三影像12內的一對應區域32。

影像縮放暨變形單元40可根據輸入單元60提供的縮放比例41(Zoom in factor)分別縮放及調整第三影像12及第四影像22。此縮放比例41可由使用者在影像擷取裝置80之輸入單元60上，如相機的觸控螢幕或是智慧型手機的觸控螢幕，利用手指在輸入單元60上的滑動來控制縮放比例41。之後，再由影像縮放暨變形單元40根據此縮放比例41對第三影像12及第四影像22進行縮放及變形，以分別產生一第五影像42及一第六影像43，如第3圖之(C)及(D)部分所示。實施上，輸入單元60除了觸控模組之外，亦可以包含一按鍵組，如鍵盤。

詳細地說，當影像縮放暨變形單元40根據縮放比例41對第三影像12進行縮放以產生第五影像42時，此時影像縮放暨變形單元40亦同時對第四影像22進行一縮放變形處理，其係利用像素位移特徵33及所設定的縮放比例41以產生一第六影像43，其中此第六影像43的攝影範圍近似於第五影像42之中央區域34，如第3圖之(C)及(D)部分所示。進一步的舉例，當使用者透過縮放比例41來放大第三影像12為1.1倍(此時，所形成之第五影像42大於顯示單元70之一顯示尺寸71)，並將第四影像22縮小至約0.5倍以形成第六影像43，由特徵擷取單元30 擷取第五影像42及第六影像43中所相對應的影像特徵(如在第三影像12中的第一影像特徵以及在第四影像22中的第二影像特徵)來進行變形調整，使第六影像43的對應區域321可以與第五影像42之對應區域32進行對齊，其對齊方式可以利用對應區域的像素座標來進行彼此對齊。

接著，影像融合單元50可以再根據輸入單元60所提供的縮放比例41，決定在影像融合過程(blending)中第五影像42及第六影像43所佔的權重，亦即此兩張影像的融合權重，並對第五影像42及第六影像43進行影像融合，以產生一結合影像53，如第3圖之(E)部份所示。舉例來說，當縮放比例41為1.1時，第五影像42所佔的權重為0.9，而第六影像43所佔的權重為0.1；當縮放比例41為1.8時，第五影像42所佔的權重為0.2，而第六影像43所佔的權重為0.8。

更進一步地，一動態加權方式可以被實施於影像融合單元50中以融合第五影像42及第六影像43，此動態加權方式可依據縮放比例41、第五影像42中的複數個第一像素之位置及第六影像43中的複數個第二像素之位置以自動決定複數個第一像素及複數個第二像素之權重值，再根據此權重值以決定第五影像42及第六影像43在進行融合時所佔之權重比例。

最後，再將此結合影像53顯示於顯示單元70上，讓使用者可以透過此顯示單元70清晰地看見所拍攝的影像。

綜上所述，使用兩個相同視野範圍之鏡頭的影像擷取裝置在預覽時，可以根據縮放比例41選擇性產生結合影像53，藉此以降低數位變焦在顯示時造成的模糊失真，同時兼顧數位變焦在長短焦段切換的流暢感。

請參閱第4圖，其係根據本發明實施例之數位變焦顯示方法之流程圖。圖中，數位變焦顯示方法適用於具有第一鏡頭模組10、第二鏡頭模組20、特徵擷取單元30、影像縮放暨變形單元40、影像融合單元50、輸入單元60、顯示單元70以及一預覽處理單元90的影像擷取裝置80，其中此第二鏡頭模組20之 攝影範圍係大致上等於第一鏡頭模組10。數位變焦顯示方法係搭配第1圖進行說明，包含下列步驟。

在步驟S11，使用第一鏡頭模組10以及第二鏡頭模組20分別擷取一第一影像11以及一第二影像21。由於第一鏡頭模組10及第二鏡頭模組20是設置在影像擷取裝置80的同一側且朝向同一方向，故兩者所擷取出的第一影像11及第二影像21之中間區域的景色是大致相同，且第一影像11及第二影像21可包含有相同的影像特徵31。其中值得注意的是，此第一影像11及第二影像21之解析度係大於顯示單元70。

在步驟S12，使用預覽處理單元90根據顯示單元70之解析度對第一影像11進行降取樣以產生一第三影像12，並根據第三影像12之解析度大小從第二影像21中裁切出一相同大小之第四影像22。

在步驟S13，使用特徵擷取單元30擷取第三影像12之複數個第一影像特徵以及第四影像22中之複數個第二影像特徵，並根據此複數個第一影像特徵及複數個第二影像特徵，產生第三影像12及第四影像22間的一像素位移特徵33。

在步驟S14，經由輸入單元60接收一縮放比例41，由影像縮放暨變形單元40根據縮放比例41縮放第三影像12以產生一第五影像42，再根據像素位移特徵33及縮放比例41對第四影像22進行縮放或變形，以產生一第六影像43。其中經過縮放或變形的第六影像43的攝影範圍係近似於第五影像42之中間區域之影像範圍。

進一步地說明，此影像縮放暨變形單元40可利用特徵擷取單元30擷取第五影像42及第六影像43所對應的影像特徵，來進行變形調整，使第五影像42及第六影像43彼此相對應的區域可以對齊。

在步驟S15，使用影像融合單元50依據縮放比例41融合第五影像42與第六影像43以產生一結合影像53，並顯示結合影像53至顯示單元70上。其中，此結合影像53之清晰度係高於第六影像43，如此可降低數位變焦在顯示時造成的模糊失真。

其中，在步驟S15中更可包含依據一動態加權方式以融合第五影像42及第六影像43，其中此動態加權方式可依據縮放比例41與第五影像42之複數個第一像素之位置及第六影像43之複數個第二像素之位置以自動決定複數個第一像素及複數個第二像素之權重值。

透過本發明之數位變焦顯示方法，於預覽影像時，可以根據縮放比例選擇性產生結合影像，藉此以降低數位變焦在顯示時造成的模糊失真，同時兼顧數位變焦在長短焦段切換的流暢感。

在較佳實施例之詳細說明中所提出之具體實施例僅用以方便說明本發明之技術內容，而非將本發明狹義地限制於上述實施例，在不超出本發明之精神及申請專利範圍之情況，所做之種種變化實施，皆屬於本發明之範圍。

10‧‧‧第一鏡頭模組

11‧‧‧第一影像

12‧‧‧第三影像

20‧‧‧第二鏡頭模組

21‧‧‧第二影像

22‧‧‧第四影像

30‧‧‧特徵擷取單元

33‧‧‧像素位移特徵

40‧‧‧影像縮放暨變形單元

41‧‧‧縮放比例

42‧‧‧第五影像

43‧‧‧第六影像

50‧‧‧影像融合單元

53‧‧‧結合影像

60‧‧‧輸入單元

70‧‧‧顯示單元

80‧‧‧影像擷取裝置

90‧‧‧預覽處理單元

Claims (6)

1. 一種影像擷取裝置，影像擷取裝置包含：一顯示單元；一第一鏡頭模組，係擷取一第一影像；一第二鏡頭模組，係擷取一第二影像，該第二鏡頭模組之一攝影範圍大致等於該第一鏡頭模組；一預覽處理單元，係根據該顯示單元之解析度對該第一影像進行降取樣以產生一第三影像，並根據該第三影像之解析度大小從該第二影像裁切出相同大小之一第四影像；一特徵擷取單元，係擷取該第三影像之複數個第一影像特徵以及該第四影像中之複數個第二影像特徵，並根據該複數個第一影像特徵及該複數個第二影像特徵產生該第三影像及該第四影像之間的一像素位移特徵；一影像縮放暨變形單元，當該影像縮放暨變形單元根據一縮放比例縮放該第三影像以產生一第五影像時，該影像縮放暨變形單元將該第四影像根據該像素位移特徵及該縮放比例以產生一第六影像，其中該第六影像之視角及攝影範圍近似於該第五影像之中央區域；以及一影像融合單元，係依據該縮放比例融合該第五影像及該第六影像以產生一結合影像，並將該結合影像顯示於該顯示單元上。
2. 如申請專利範圍第1項所述之影像擷取裝置，其中該特徵擷取單元係自動進行該複數個第一影像特徵與該複數個第二影像特 徵之比對與匹配以產生該像素位移特徵。
3. 如申請專利範圍第1項所述之影像擷取裝置，其中該影像融合單元更依據一動態加權方式以融合該第五影像及該第六影像，該動態加權方式係依據該縮放比例與該第五影像之複數個第一像素之位置及該第六影像之複數個第二像素之位置以自動決定該複數個第一像素及該複數個第二像素之權重值。
4. 一種數位變焦顯示方法，適用於具有一第一鏡頭模組、一第二鏡頭模組、一輸入單元、一顯示單元、一特徵擷取單元、一影像縮放暨變形單元、一影像融合單元以及一預覽處理單元的一影像擷取裝置，該第二鏡頭模組之一攝影範圍係大致等於該第一鏡頭模組，該數位變焦顯示方法包含下列步驟：(a)使用該第一鏡頭模組以及該第二鏡頭模組分別擷取一第一影像以及一第二影像；(b)使用該預覽處理單元根據該顯示單元之解析度對該第一影像進行降取樣以產生一第三影像，並根據該第三影像之解析度大小從該第二影像中裁切出相同大小之一第四影像；(c)使用該特徵擷取單元擷取該第三影像之複數個第一影像特徵以及該第四影像中之複數個第二影像特徵，並根據該複數個第一影像特徵及該複數個第二影像特徵產生該第三影像及該第四影像之間的一像素位移特徵；(d)經由該輸入單元接收一縮放比例，並由該影像縮放暨變形單元根據該縮放比例縮放該第三影像以產生一第五影像，再根據該像素位移特徵及該縮放比例以縮放並變形該第四 影像以產生一第六影像，其中該第六影像之視角及攝影範圍近似於該第五影像之中央區域；以及(e)使用該影像融合單元依據該縮放比例融合該第五影像與該第六影像以產生一結合影像，並顯示該結合影像至該顯示單元上。
5. 如申請專利範圍第4項所述之數位變焦顯示方法，其中該像素位移特徵係由自動比對與匹配該複數個第一影像特徵與該複數個第二影像特徵而產生。
6. 如申請專利範圍第4項所述之數位變焦顯示方法，其中步驟(e)更包含：依據一動態加權方式以融合該第五影像及該第六影像，其中該動態加權方式係依據該縮放比例與該第五影像之複數個第一像素之位置及該第六影像之複數個第二像素之位置以自動決定該複數個第一像素及該複數個第二像素之權重值。