TWI554103B - 影像擷取裝置及其數位變焦方法 - Google Patents

影像擷取裝置及其數位變焦方法 Download PDF

Info

Publication number
TWI554103B
TWI554103B TW103139384A TW103139384A TWI554103B TW I554103 B TWI554103 B TW I554103B TW 103139384 A TW103139384 A TW 103139384A TW 103139384 A TW103139384 A TW 103139384A TW I554103 B TWI554103 B TW I554103B
Authority
TW
Taiwan
Prior art keywords
image
sub
main
deformation
corrected
Prior art date
Application number
TW103139384A
Other languages
English (en)
Other versions
TW201618531A (zh
Inventor
周宏隆
曾逸鴻
張文彥
王煜智
王贊維
余依依
Original Assignee
聚晶半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚晶半導體股份有限公司 filed Critical 聚晶半導體股份有限公司
Priority to TW103139384A priority Critical patent/TWI554103B/zh
Priority to US14/571,021 priority patent/US9325899B1/en
Publication of TW201618531A publication Critical patent/TW201618531A/zh
Application granted granted Critical
Publication of TWI554103B publication Critical patent/TWI554103B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Description

影像擷取裝置及其數位變焦方法
本發明是有關於一種影像擷取裝置及其數位變焦方法，且特別是有關於一種具有雙鏡頭的影像擷取裝置及其數位變焦方法。
隨著科技的發展，各式各樣的智慧型電子裝置，舉凡平板型電腦、個人數位化助理、及智慧型手機等，已成為現代人不可或缺的工具。其中，高階款的智慧型電子裝置所搭載的相機鏡頭已經與傳統消費型相機不相上下，甚至可以取而代之，少數高階款更具有接近數位單眼相機的畫素和畫質或是拍攝三維影像的功能。
一般此類電子裝置在進行數位變焦以放大影像時，往往具有影像模糊失真的問題。以單鏡頭的數位變焦來說，其是利用影像處理技術，針對單張影像直接進行數位放大。然而，影像經過數位放大後，往往無法保留影像的細節，而放大倍率越高，影像越模糊失真。
另一方面，以雙鏡頭的數位變焦來說，其是利用雙鏡頭之一廣角鏡頭(wide-angle lens)拍攝廣角影像，並且利用另一遠攝鏡頭(telephoto lens)拍攝窄角影像，再依據放大倍率選擇廣角影像或是窄角影像為標的影像，進行單張標的影像的數位放大。然而，在影像持續放大的過程中，若標的影像須更替為廣角影像或是窄角影像時，影像畫面會產生不順暢或是跳躍的現象。
基此，如何在針對影像進行數位變焦時，隨時能呈現符合人眼期待的影像，為此領域技術人員所關心的議題。
本發明提供一種影像擷取裝置及其數位變焦方法，其可於影像持續放大倍率的過程中，輸出具有高品質的數位變焦影像。
本發明提出一種影像擷取裝置的數位變焦方法，適用於具有主鏡頭以及副鏡頭的影像擷取裝置。此數位變焦方法包括下列步驟：分別利用主鏡頭以及副鏡頭擷取一場景的影像，以產生主影像以及副影像；針對主影像以及副影像進行影像校正處理，以產生主校正影像以及副校正影像；針對主校正影像以及副校正影像進行特徵點偵測，藉以偵測出主校正影像以及副校正影像中的重疊區域，進而取得兩重疊區域的像素位移特性以及深度資訊。根據縮放倍率、像素位移特性以及像素深度資訊，分別針對主校正影像以及副校正影像進行影像縮放處理與影像形變處理，據以產生主形變影像以及副形變影像；最終，根據縮放倍率，針 對主形變影像與副形變影像之重疊區域進行影像融合處理，以產生符合縮放倍率之數位變焦影像。
在本發明的一實施例中，上述針對主影像以及副影像進行影像校正處理，以產生主校正影像以及副校正影像的步驟包括：取得關聯於主鏡頭以及副鏡頭的校正參數；以及根據所述校正參數，校正主影像以及副影像，以產生主校正影像以及副校正影像。
在本發明的一實施例中，上述針對主校正影像以及副校正影像進行特徵點偵測，藉以偵測出主校正影像與副校正影像之重疊區域，進而取得兩重疊區域的像素位移特性以及像素深度資訊的步驟包括：偵測主校正影像以及副校正影像中的多個特徵點，依據特徵點與鄰近點之色彩資訊，從兩校正影像中，找出多組對應特徵點組合，以計算單應性矩陣(Homography matrix)，並依據此單應性矩陣找出兩校正影像之重疊區域位置；除可利用單應性矩陣知悉兩重疊區域像素之位移特性外，兩重疊區域由於視角雷同，可用以進行立體比對，以估測各像素點的深度資訊。
在本發明的一實施例中，主鏡頭與副鏡頭具有不同的拍攝視角以及相同的變形程度，主鏡頭的拍攝視角大於副鏡頭的拍攝視角，副校正影像與主校正影像之間的主副影像倍率固定且事先已知。當縮放倍率介於1與主副影像倍率之間時，上述根據縮放倍率、像素位移特性以及像素深度資訊，分別針對主校正影像以及副校正影像進行影像縮放處理與影像形變處理，據以產生主 形變影像以及副形變影像的步驟包括：根據縮放倍率，放大主校正影像，以產生放大後的主校正影像；根據縮放倍率，縮小副校正影像，以產生縮小後的副校正影像；以及根據兩校正影像的重疊區域估測所得之像素位移特性以及像素深度資訊，分別針對放大後的主校正影像以及縮小後的副校正影像進行影像形變處理，以產生主形變影像以及副形變影像，其中影像形變的幅度關聯於各所述像素深度資訊。若縮放倍率小於1，僅以主校正影像進行數位縮小處理；若縮放倍率大於主副影像倍率，則僅以副校正影像進行數位放大處理。
在本發明的另一實施例中，主鏡頭與副鏡頭具有相同的 拍攝視角以及相同的變形程度，而在分別自主鏡頭以及副鏡頭接收主影像以及副影像之後，數位變焦方法的步驟包括：針對主校正影像進行影像裝箱處理，以產生裝箱主校正影像；針對副校正影像進行影像中間區域裁剪處理，以產生裁剪副校正影像，其中裝箱主校正影像與裁剪副校正影像的尺寸相同；以及分別設定裝箱主校正影像以及裁剪副校正影像為主校正影像以及副校正影像。此外，當縮放倍率介於1與主副影像倍率之間時，上述根據縮放倍率、像素位移特性以及像素深度資訊，分別針對主校正影像以及副校正影像進行影像縮放處理與影像形變處理，據以產生主形變影像以及副形變影像的步驟包括：根據縮放倍率，放大主校正影像，以產生放大後的主校正影像；根據縮放倍率，縮小副校正影像，以產生縮小後的副校正影像；以及根據兩校正影像的 重疊區域估測所得之像素位移特性以及像素深度資訊，分別針對放大後的主校正影像以及縮小後的副校正影像進行影像形變處理，以產生主形變影像以及副形變影像，其中影像形變的幅度關聯於各所述像素深度資訊。若縮放倍率小於1，則僅以主校正影像進行數位縮小處理；若縮放倍率大於主副影像倍率，則僅以副校正影像進行數位放大處理。
在本發明的又一實施例中，主鏡頭與副鏡頭具有相同的拍攝視角以及不同的變形程度，主鏡頭的變形程度遠小於副鏡頭的變形程度，主副影像之視角雷同，經過鏡頭校正處理後，兩校正影像之重疊區域可含括近乎完整影像，像素深度估測更為完整。主校正影像中心區域與副校正影像中心區域具有固定且事先已知之主副中心影像倍率；針對副校正影像進行影像中心區域裁剪處理，以產生裁剪副校正影像，並設定為副校正影像。當縮放倍率介於1與主副中心影像倍率之間時，上述根據縮放倍率、像素位移特性以及像素深度資訊，分別針對主校正影像以及副校正影像進行影像縮放處理與影像形變處理，據以產生主形變影像以及副形變影像的步驟包括：根據縮放倍率，放大主校正影像，以產生放大後的主校正影像；根據縮放倍率，縮小副校正影像，以產生縮小後的副校正影像；以及根據兩校正影像的重疊區域估測所得之像素位移特性以及像素深度資訊，分別針對放大後的主校正影像以及縮小後的副校正影像進行影像形變處理，以產生主形變影像以及副形變影像，其中影像形變的幅度關聯於像素深度資 訊。若縮放倍率小於1，則僅以主校正影像進行數位縮小處理；若縮放倍率大於主副影像中心倍率，則僅以副校正影像進行數位放大處理。
在本發明的一實施例中，上述根據縮放倍率，針對主形 變影像與副形變影像的重疊區域進行影像融合處理，據以產生數位變焦影像的步驟包括：根據縮放倍率，設定分別對應於主形變影像以及副形變影像的第一權重以及第二權重；以第一權重與第二權重，融合主形變影像與副形變影像的重疊區域，以產生融合重疊區域；以及以融合重疊區域取代位於主形變影像的重疊區域，以產生數位變焦影像。
本發明另提出一種影像擷取裝置，包括主鏡頭、副鏡頭、 儲存單元以及一或多個處理單元，其中所述處理單元耦接主鏡頭、副鏡頭以及儲存單元。儲存單元用以記錄多個模組。處理單元用以存取並執行儲存單元中記錄的所述模組，其中所述模組包括影像擷取模組、影像前處理模組、特徵點分析模組、影像縮放變形模組以及影像融合模組。影像擷取模組分別利用主鏡頭以及鏡頭擷取一場景的影像，以產生主影像以及副影像。影像前處理模組針對主影像以及副影像進行影像校正處理，以產生主校正影像以及副校正影像。特徵點分析模組分別針對主校正影像以及副校正影像擷取多個特徵點，並進行配對與過濾，利用過濾後之多對特徵點組合，計算單應性矩陣，並據以找出兩校正影像之重疊區域位置，進而取得兩重疊區域的像素位移特性以及像素深度資 訊。影像縮放變形模組根據縮放倍率、像素位移特性以及像素深度資訊，分別針對主校正影像以及副校正影像進行影像縮放處理與影像形變處理，據以產生主形變影像以及副形變影像。影像融合模組根據縮放倍率，針對主形變影像與副形變影像的重疊區域進行影像融合處理，以產生數位變焦影像。
在本發明的一實施例中，上述的影像前處理模組取得關聯於主鏡頭以及副鏡頭的多個校正參數，以及根據所述校正參數，校正主影像以及副影像，以產生主校正影像以及副校正影像。
在本發明的一實施例中，上述的特徵點分析模組偵測主校正影像以及副校正影像中的多個特徵點，又根據所述特徵點與鄰近像素點之色彩資訊，進行特徵點之配對與過濾，利用過濾後之特徵點組合計算單應性矩陣，並據以找出兩校正影像之重疊區域位置，並且分析得知兩重疊區域之像素位移特性；兩重疊區域之各像素亦可進行立體比對，以取得重疊區域內各像素點所對應的深度資訊。
在本發明的一實施例中，主鏡頭與副鏡頭具有不同的拍攝視角以及相同的變形程度，主鏡頭的拍攝視角大於副鏡頭的拍攝視角，副校正影像與主校正影像之間的主副影像倍率固定且事先已知。上述的影像縮放變形模組根據縮放倍率，放大主校正影像，以產生放大後的主校正影像，又根據縮放倍率，縮小副校正影像，以產生縮小後的副校正影像，以及根據兩校正影像的重疊區域估測所得之像素位移特性以及像素深度資訊，分別針對放大 後的主校正影像以及縮小後的副校正影像進行影像形變處理，以產生主形變影像以及副形變影像。
在本發明的另一實施例中，主鏡頭與副鏡頭具有相同的 拍攝視角以及相同的變形程度。上述的影像擷取裝置包括影像前處理模組，用以針對主校正影像進行影像裝箱處理，以產生裝箱主校正影像，又針對副校正影像進行影像中心區域裁剪處理，以產生裁剪副校正影像，以及分別設定裝箱主校正影像以及裁剪副校正影像為主校正影像以及副校正影像，其中裝箱主校正影像與裁剪副校正影像的尺寸相同。上述的影像縮放變形模組根據縮放倍率，放大主校正影像，以產生放大後的主校正影像，又根據縮放倍率，縮小副校正影像，以產生縮小後的副校正影像，以及根據兩校正影像的重疊區域估測所得之像素位移特性以及像素深度資訊，分別針對放大後的主校正影像以及縮小後的副校正影像進行影像形變處理，以產生主形變影像以及副形變影像。
在本發明的又一實施例中，主鏡頭與副鏡頭具有相同的 拍攝視角以及不同的變形程度，主鏡頭的變形程度遠小於副鏡頭的變形程度。主校正影像中心區域與副校正影像中心區域具有固定且事先已知之主副中心影像倍率；針對副校正影像進行影像中心區域裁剪處理，以產生裁剪副校正影像，並將裁剪副校正影像設定為副校正影像。上述的影像縮放變形模組根據縮放倍率，放大主校正影像，以產生放大後的主校正影像；並根據縮放倍率，縮小副校正影像，以產生縮小後的副校正影像；以及根據兩校正 影像的重疊區域估測所得之像素位移特性以及像素深度資訊，分別針對放大後的主校正影像以及縮小後的副校正影像進行影像形變處理，以產生主形變影像以及副形變影像。
在本發明的一實施例中，影像融合模組根據縮放倍率，設定分別對應於主形變影像以及副形變影像的第一權重以及第二權重，又以第一權重與第二權重，融合主形變影像與副形變影像的重疊區域，以產生融合重疊區域，以及以融合重疊區域取代位於主形變影像的重疊區域，以產生數位變焦影像。
基於上述，本發明所提出的影像擷取裝置及其數位變焦方法，其藉由分析雙鏡頭之不同成像特性以及變異程度，依據放大倍率自動縮放與形變雙鏡頭各自所擷取的影像，成為焦段、尺寸與視角類似的形變影像，再以加權的方式，融合兩張形變影像，得到符合縮放倍率的數位變焦影像。相較於現有數位變焦技術，本發明所提出的影像擷取裝置及其數位變焦方法可於影像持續放大倍率的過程中，輸出具有高品質的數位變焦影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧影像擷取裝置
10a‧‧‧主鏡頭
10b‧‧‧副鏡頭
20‧‧‧儲存單元
30‧‧‧處理單元
121‧‧‧影像擷取模組
122‧‧‧影像前處理模組
123‧‧‧特徵點分析模組
124‧‧‧影像縮放變形模組
125‧‧‧影像融合模組
S202~S210、S603~S609‧‧‧數位變焦方法的流程
310a、400a、603a‧‧‧主校正影像
310b、400b、603b‧‧‧副校正影像
500a、601a‧‧‧主影像
500b、601b‧‧‧副影像
410a‧‧‧裝箱主校正影像
410b‧‧‧裁剪副校正影像
315a、315b、415a、405b、505a、505b、508a、508b‧‧‧區域
606‧‧‧縮放倍率
607a‧‧‧主形變影像
607b‧‧‧副形變影像
611‧‧‧數位變焦影像
圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖。
圖2為根據本發明之一實施例所繪示的影像擷取裝置的數位變焦方法的流程圖。
圖3為根據本發明之一實施例所繪示的主校正影像以及副校正影像的示意圖。
圖4為根據本發明之另一實施例所繪示的主校正影像以及副校正影像的示意圖。
圖5為根據本發明之又一實施例所繪示的主影像以及副影像的示意圖。
圖6為根據本發明之一實施例所繪示的影像擷取裝置的數位變焦方法之功能方塊示意圖。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像擷取裝置之所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，影像擷取裝置100包括主鏡頭10a、副鏡頭 10b、儲存單元20以及一或多個處理單元30。在本實施例中，影像擷取裝置100例如是數位相機、單眼相機、數位攝影機或是其他具有影像擷取功能的智慧型手機、平板電腦、個人數位助理等電子裝置，本發明不以此為限。
主鏡頭10a以及副鏡頭10b包括感光元件，用以分別感測進入主鏡頭10a以及副鏡頭10b的光線強度，進而分別產生影像。所述的感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件。另外，主鏡頭10a以及副鏡頭10b的焦段、感光尺寸、拍攝視角範圍以及變形程度(distortion)可以是相同或是不同，本發明不在此設限。
儲存單元20例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。儲存單元20用以記錄可由處理單元30執行的多個模組，這些模組可載入處理單元30，以對影像擷取裝置100所產生的影像執行數位變焦的功能。
處理單元30可以例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置 (Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。處理單元30耦接主鏡頭10a、副鏡頭10b以及儲存單元20，其可存取並執行記錄在儲存單元20中的模組，以對影像擷取裝置100所產生的影像執行數位變焦的功能。
上述模組包括影像擷取模組121、影像前處理模組122、特徵點分析模組123、影像縮放變形模組124以及影像融合模組125，其可載入處理單元30，從而執行數位變焦的功能。以下即列舉實施例說明針對影像擷取裝置100執行數位變焦方法的詳細步驟。
圖2為根據本發明之一實施例所繪示的影像擷取裝置的數位變焦方法流程圖，而圖2的影像擷取裝置的數位變焦方法可以圖1的影像擷取裝置100的各元件實現。
請同時參照圖1以及圖2，首先，影像擷取裝置100的影像擷取模組121分別利用主鏡頭10a以及副鏡頭10b擷取一場景的影像，以產生主影像以及副影像(步驟S202)。換言之，當使用者欲利用影像擷取裝置100拍攝所述場景的影像時，影像擷取模組121將產生對應於主鏡頭10a的主影像以及對應於副鏡頭10b的副影像。在本實施例中，主影像為使用者觀看以及取像的來源，其影像品質較低，但涵蓋較大的視角範圍；副影像不提供給使用者觀看或是取像，其影像品質較高，但涵蓋較小的視角範圍，用以在後續步驟中做為數位變焦的輔助。在後續的實施例中，將會針對主影像以及副影像做更詳盡的說明。
接著，影像前處理模組122針對主影像以及副影像進行影像校正處理，以產生主校正影像以及副校正影像(步驟S204)。詳言之，影像前處理模組122將會針對主鏡頭10a以及副鏡頭10b所分別造成主影像以及副影像的亮度、色彩與幾何位置上的偏差進行校正。
在本實施例中，影像前處理模組122將自儲存單元20取得關聯於主鏡頭以及副鏡頭的多個校正參數。校正參數可以例如是相機的內部參數(intrinsic parameters)與外部參數(extrinsic parameters)等用以進行影像矯正(image rectification)的參數。內部參數可用來描述相機座標(camera coordinates)與影像座標(image coordinates)之間的轉換關係，也就是利用針孔(pinhole)成像原理將相機座標投影到成像平面(projective plane)。舉例而言，內部參數包括焦距(focal length)、影像中心(image center)、主軸點(principal point)以及鏡頭扭曲變形係數(distortion coefficients)等參數。外部參數則是用來描述世界座標系統(world coordinate system)與相機座標系統(camera coordinate system)之間的轉換關係。舉例而言，影像擷取裝置100在三維座標中的位置與拍攝方向，包括旋轉矩陣(rotation matrix)與位移向量(translation vector)等與影像擷取裝置100擺放位置與拍攝方向相關的參數。此外，校正參數亦可以是亮度補償(illumination compensation)或是色彩修正(color correction)等相關參數，本發明不在此設限。影像前處理模組122將根據上述校正參數來校 正主影像以及副影像，而在此將校正過後的主影像以及副影像分別定義為「主校正影像」以及「副校正影像」。
接著，特徵點分析模組123針對主校正影像以及副校正 影像進行特徵點偵測，藉以偵測出主校正影像與副校正影像的重疊區域，進而取得主校正影像與副校正影像的重疊區域的像素位移特性以及像素深度資訊(步驟S206)。在此的重疊區域即為主校正影像與副校正影像中所涵蓋的視角範圍相互重疊的區域。
詳言之，特徵點分析模組123可利用邊緣偵測(edge detection)、角偵測(corner detection)、區域偵測(blob detection)或其它特徵點偵測演算法(feature detection algorithm)來偵測主校正影像以及副校正影像中的多個特徵點。接著，特徵點分析模組123將自所述特徵點中找出相同特性特徵點的對應組合，以及分別於主校正影像以及副校正影像中區分出重疊的區域。
在一實施例中，特徵點分析模組123可偵測主校正影像 以及副校正影像中的多個特徵點，依據特徵點與鄰近點之色彩資訊，從兩校正影像中，找出多組對應特徵點組合，以計算單應性矩陣(Homography matrix)。此方式除可利用單應性矩陣知悉兩重疊區域像素之位移特性外，兩重疊區域由於視角雷同，特徵點分析模組123更可用以進行立體比對，以估測各像素點的深度資訊。
詳言之，特徵點分析模組123可判斷各個相同特徵點的位移以及偏斜特性，以取得各個相同特徵點所對應的位移資訊。另一方面，特徵點分析模組123又將針對主校正影像與副校正影 像中的各個像素點進行立體比對(stereo matching)，以取得各個像素點所對應的深度資訊。換言之，特徵點分析模組123可針對主鏡頭10a以及副鏡頭10b的重疊區域的各個像素進行景深程度的計算，以得到重疊區域的深度資訊，並且以例如是深度圖(depth map)的形式記錄。
接著，當縮放倍率介於1與主副影像倍率之間時，影像縮放變形模組124根據縮放倍率、各所述像素位移特性以及各所述像素深度資訊，分別針對主校正影像以及副校正影像進行影像縮放處理(image zooming)與影像形變處理(image warping)，據以產生主形變影像以及副形變影像(步驟S208)。在此的「主副影像倍率」為主校正影像與副校正影像之間的大小倍率，其為固定且事先已知，而縮放倍率為使用者欲針對所要觀看的主要畫面的大小變化幅度，其可以為使用者設定或是影像擷取裝置的預設值。影像縮放變形模組124可利用兩個重疊區域的相對位移、偏斜以及深度特性，並且依據縮放倍率，分別對主校正影像以及副校正影像進行影像縮放處理與影像形變處理，以產生符合使用者的縮放倍率需求並且重疊區域視角與外觀雷同的影像。此外，影像形變的幅度關聯於兩個重疊區域的深度資訊。當深度值越大時，影像形變的幅度較小；當深度值越小時，影像形變的幅度較大。在後續的實施例中，將會針對影像縮放處理以及影像形變處理的詳盡步驟進行說明。
之後，影像融合模組125根據縮放倍率，針對主形變影 像與副形變影像的重疊區域進行影像融合處理(image blending)，以產生數位變焦影像(步驟S210)。詳言之，影像融合模組125可根據縮放倍率，設定主形變影像以及副形變影像的重疊區域進行影像融合時所需的權重，在此分別定義為「第一權重」以及「第二權重」。接著，影像融合模組125將以第一權重與第二權重來加權兩個重疊區域的像素色彩之混合比例，針對兩個重疊區域進行影像融合處理。在此將經過影像融合處理後所產生的結果定義為「融合重疊區域」。之後，影像融合模組125將以融合重疊區域取代原主形變影像中的重疊區域，從而產生高品質的數位變焦影像。
在另一實施例中，當縮放倍率小於1時，則僅以主校正 影像進行數位縮小處理以及後續的影像形變處理，以產生主形變影像，並且直接設定此主形變影像為數位變焦影像。另一方面，當縮放倍率大於主副影像倍率時，則僅以副校正影像進行數位放大處理以及後續的影像形變處理，以產生副形變影像，並且直接設定此副形變影像為數位變焦影像。
本發明的影像擷取裝置可用於多種鏡頭組合，而以下將列舉三個不同鏡頭組合所拍攝的影像來說明數位變焦方法流程。
圖3為根據本發明之一實施例所繪示的主校正影像以及副校正影像的示意圖。必須先說明的是，在本實施例中，影像擷取裝置100的主鏡頭10a與副鏡頭10b具有不同的拍攝視角以及相同的變形程度，其中主鏡頭10a的拍攝視角大於副鏡頭10b的拍攝視角。在此，主影像所涵蓋的拍攝範圍大於副影像所涵蓋的 拍攝範圍，然而副影像的影像品質較優於主影像的影像品質。換言之，主影像以及副影像分別為廣角影像以及窄角影像，並且副影像的畫面具有較為清晰放大的效果。雖然副影像的影像品質較好，但其是用以輔助主影像來進行數位變焦之用，並非為提供使用者觀看與取像之來源。
請參照圖3，影像310a以及影像310b分別為影像擷取模組121利用主鏡頭10a以及副鏡頭10b所擷取的主影像以及副影像經過影像前處理模組122對其進行影像校正處理後，所產生的主校正影像以及副校正影像。區域315a以及區域315b則為特徵點分析模組123分別自主校正影像310a以及副校正影像310b中偵測出重疊區域。在本實施例中，由於副校正影像310b為窄角影像，因此副校正影像310b與位於副校正影像310b的重疊區域315b則會相同；亦即，整個副校正影像310b將會與位於主校正影像310a的重疊區域315a的畫面一致。
在本實施例中，影像縮放變形模組124將根據縮放倍率，放大主校正影像，以產生放大後的主校正影像。主校正影像在放大的過程中，其中間區域將會逐漸地與副校正影像接近。此外，影像縮放變形模組124又根據縮放倍率，縮小副校正影像，以產生縮小後的副校正影像。接著影像縮放變形模組124再根據特徵點分析模組123所取得的像素位移特性以及像素深度資訊，分別針對放大後的主校正影像以及縮小後的副校正影像進行形變處理，以產生主形變影像以及副形變影像。
影像融合模組125根據縮放倍率來分配主形變影像以及副形變影像的重疊區域進行影像融合的第一權重以及第二權重。在此的權重是依照縮放倍率相對於主影像以及副影像之間的倍率來分配。在本實施例中，主影像所對應的倍率為1，若副影像所對應的倍率為2。如果欲進行之影像縮放倍率為1.5，其為1與2的中值，因此影像融合模組125將分別設定第一權重以及第二權重為0.5。在另一實施例中，如果欲進行之影像縮放倍率為1.2，則影像融合模組125將分別設定第一權重以及第二權重為0.8以及0.2。然而，影像融合模組125分配權重的方式並不限於線性關係而分配。在其它實施例中，影像融合模組125可根據其它關係式來對第一權重與第二權重進行分配，本發明不在此設限。影像融合模組125在進行影像融合之後所產生的數位變焦影像，即為平順且清晰的放大影像。
圖4為根據本發明之另一實施例所繪示的主校正影像以及副校正影像的示意圖。
請參照圖4，在本實施例中，影像擷取裝置100的主鏡頭10a與副鏡頭10b具有相同的拍攝視角以及相同的變形程度，因此影像擷取模組121利用主鏡頭10a以及副鏡頭10b所擷取的主影像以及副影像將會是具有相同的視角範圍。在本實施例中，影像擷取裝置100的影像前處理模組122將分別針對主校正影像400a以及副校正影像400b進行裝箱處理與裁剪處理，以產生兩個不同視角範圍的畫面。附帶一提的是，本實施例較適用於具有縮圖檢 視需求的數位攝影設備。
詳細來說，影像前處理模組122將針對主校正影像400a進行影像裝箱處理(image binning)，以產生尺寸較小的裝箱主校正影像410a。在本實施例中，裝箱主校正影像410a為主校正影像400a的1/4大小。換句話說，影像前處理模組122將針對主校正影像400a進行2x2裝箱處理(2x2 pixel binning)，以將主影像400a中的每四個鄰近畫素合併至單一畫素，從而產生裝箱主校正影像410a。相較於主校正影像400a，裝箱主校正影像410a具有較高的傳輸速度，然而其解析度較低。
另一方面，影像前處理模組122又將針對副校正影像400b中間區域進行影像裁剪處理(image cropping)，以產生裁剪副校正影像410b。在本實施例中，裁剪副校正影像410b亦為副校正影像400b的1/4大小。換句話說，影像前處理模組122將剪取副校正影像400b的1/4大小的中間區域405b，從而產生裁剪副校正影像410b。
基此，影像前處理模組122可模擬出相同尺寸而不同視角範圍的裝箱主校正影像410a以及裁剪副校正影像410b，並且將兩者重新設定為主校正影像以及副校正影像。接著，可再針對新設定的主校正影像以及副校正影像進行類似於圖3的實施例中的影像處理方式來產生數位變焦影像，其中裝箱主校正影像410a中的區域415a會與裁剪副校正影像410b形成重疊區域。詳細處理方式請參照前述段落的相關說明，於此不再贅述。
圖5為根據本發明之一實施例所繪示的主影像以及副影像的示意圖。必須先說明的是，在本實施例中，影像擷取裝置100的主鏡頭10a與副鏡頭10b具有相同的拍攝視角以及不同的變形程度，其中主鏡頭10a的變形程度遠小於副鏡頭10b的變形程度。在本實施例中，主鏡頭10a為不具有特殊變形的鏡頭，而副鏡頭10b為具有特殊設計的變形鏡頭。
請參照圖5，在本實施例中，影像擷取模組121利用主鏡頭10a所擷取的主影像500a則是一般正常的影像畫面，而影像擷取模組121利用副鏡頭10b所擷取的副影像500b則是經過特殊變形的影像畫面，其特殊之處在於將原拍攝場景中間區域(例如是對應於主影像500a中的區域505a)投射到副鏡頭10b的感光元件之中間較大比例之區域，其中此較大比例之中間區域為副影像500b中的區域505b並且其變形程度較小。另一方面，原拍攝場景的視角外圍區域(亦即，對應於主影像500a中的區域508a)投射到副鏡頭10b的感光元件則是剩餘的外圍區域，其中此外圍區域則是副影像500b中的區域508b並且其變形程度較大。
之後，影像前處理模組122將對主影像500a以及副影像500b進行影像校正處理，以產生主校正影像以及副校正影像。副校正影像之較大比例中間區域(亦即，對應於副影像的區域505b)被裁剪，並重新設定副校正影像。副校正影像比主校正影像具有較小的視角，但有較大解析度與重疊區域尺寸大小。影像縮放變形模組124將根據縮放倍率，放大主校正影像以及縮小副校正影 像，以產生放大後的主校正影像以及縮小後的副校正影像。接著影像縮放變形模組124再根據特徵點分析模組123所取得重疊區域的像素位移特性以及像素深度資訊，分別針對放大後的主校正影像以及縮小後的副校正影像進行形變處理，以產生主形變影像以及副形變影像。
附帶說明的是，副影像500b中的外圍區域508b在經過關聯於鏡頭變形的校正(lens distortion correction)後，由於原始副校正影像可與主校正影像的視角相同，因此影像擷取裝置100可在此輔助進行整張影像的景深估測(depth estimation)。
前述影像擷取裝置的數位變焦方法可利用圖6依據本揭露一實施例所繪示的功能方塊圖來總結。
請參照圖6，此方法會在影像擷取裝置100利用主鏡頭10a以及副鏡頭10b分別擷取一場景的影像，產生主影像601a以及副影像601b後。接著，針對主影像601a以及副影像601b進行影像校正處理S603，以分別產生主校正影像603a以及副校正影像603b。接著，針對主校正影像603a以及副校正影像603b進行特徵點偵測S605，以取得兩個影像的重疊區域之像素位移特性以及像素深度資訊。之後，根據縮放倍率606以及特徵點偵測S605所取得的像素位移特性以及像素深度資訊，針對主校正影像603a以及副校正影像603b進行影像縮放處理與影像形變處理S607，以分別產生主形變影像607a以及副形變影像607b。最後，針對主形變影像607a以及副形變影像607b進行影像融合處理，而處理後將 輸出畫面平順且清晰的數位變焦影像611。
綜上所述，本發明所提出的影像擷取裝置及其數位變焦方法，其藉由分析雙鏡頭之不同成像特性以及變異程度，依據放大倍率自動縮放與形變雙鏡頭各自所擷取的影像，成為焦段、尺寸與視角類似的形變影像，再以加權的方式，融合兩張形變影像，得到符合縮放倍率的數位變焦影像。相較於現有數位變焦技術，本發明所提出的影像擷取裝置及其數位變焦方法可於影像持續放大倍率的過程中，輸出具有高品質的數位變焦影像。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S202~S210‧‧‧數位變焦方法的流程

Claims (22)

  1. 一種影像擷取裝置的數位變焦方法，適用於具有一主鏡頭以及一副鏡頭的一影像擷取裝置，該數位變焦方法包括：分別利用該主鏡頭以及該副鏡頭擷取一場景的影像，以產生一主影像以及一副影像；針對該主影像以及該副影像進行影像校正處理，以產生一主校正影像以及一副校正影像；針對該主校正影像以及該副校正影像進行特徵點偵測，藉以偵測出該主校正影像與該副校正影像的一重疊區域，進而取得該主校正影像與該副校正影像的該重疊區域的多個像素位移特性以及多個像素深度資訊；當一縮放倍率介於1與一主副影像倍率之間時，根據該縮放倍率、各所述像素位移特性以及各所述像素深度資訊，分別針對該主校正影像以及該副校正影像進行影像縮放處理與影像形變處理，據以產生一主形變影像以及一副形變影像，其中該主副影像倍率為該主校正影像與該副校正影像之間的大小倍率；以及根據該縮放倍率，針對該主形變影像與該副形變影像的一重疊區域進行影像融合處理，以產生一數位變焦影像。
  2. 如申請專利範圍第1項所述的數位變焦方法，其中針對該主影像以及該副影像進行影像校正處理，以產生該主校正影像以及該副校正影像的步驟包括：取得關聯於該主鏡頭以及該副鏡頭的多個校正參數；以及 根據所述校正參數，校正該主影像以及該副影像，以產生該主校正影像以及該副校正影像。
  3. 如申請專利範圍第1項所述的數位變焦方法，其中針對該主校正影像以及該副校正影像進行特徵點偵測，藉以偵測出該主校正影像與該副校正影像的該重疊區域，進而取得該主校正影像與該副校正影像中的該重疊區域的所述像素位移特性以及所述像素深度資訊的步驟包括：偵測該主校正影像以及該副校正影像中的多個特徵點；根據該主校正影像以及該副校正影像中的各所述特徵點與各所述特徵點的多個鄰近點的色彩資訊，找出多個對應特徵點組合，以計算一單應性矩陣；根據該單應性矩陣，取得該主校正影像與該副校正影像的該重疊區域，進而取得各所述像素位移特性；以及針對該主校正影像以及該副校正影像中各所述特徵點進行立體比對，以取得各所述特徵點所對應的該像素深度資訊。
  4. 如申請專利範圍第1項所述的數位變焦方法，其中該主鏡頭與該副鏡頭具有不同的拍攝視角以及相同的變形程度，該主鏡頭的拍攝視角大於該副鏡頭的拍攝視角，而當該縮放倍率介於1與該主副影像倍率之間時，根據該縮放倍率、各所述像素位移特性以及各所述像素深度資訊，分別針對該主校正影像以及該副校正影像進行影像縮放處理與影像形變處理，據以產生該主形變影像以及該副形變影像的步驟包括： 根據該縮放倍率，放大該主校正影像，以產生一放大後的主校正影像；根據該縮放倍率，縮小該副校正影像，以產生一縮小後的副校正影像；以及根據各所述像素位移特性以及各所述像素深度資訊，分別針對該放大後的主校正影像以及該縮小後的副校正影像進行影像形變處理，以產生該主形變影像以及該副形變影像，其中影像形變的幅度關聯於各所述像素深度資訊。
  5. 如申請專利範圍第1項所述的數位變焦方法，其中該主鏡頭與該副鏡頭具有相同的拍攝視角以及相同的變形程度，而在針對該主影像以及該副影像進行影像校正處理，以產生該主校正影像以及該副校正影像的步驟之後，該數位變焦方法更包括：針對該主校正影像進行影像裝箱處理，以產生一裝箱主校正影像；針對該副校正影像進行影像裁剪處理，以產生一裁剪副校正影像，其中該裝箱主校正影像與該裁剪副校正影像的尺寸相同；分別設定該裝箱主校正影像以及該裁剪副校正影像為該主校正影像以及該副校正影像。
  6. 如申請專利範圍第5項所述的數位變焦方法，其中當該縮放倍率介於1與該主副影像倍率之間時，根據該縮放倍率、各所述像素位移特性以及各所述像素深度資訊，分別針對該主校正影像以及該副校正影像進行影像縮放處理與影像形變處理，據以產 生該主形變影像以及該副形變影像的步驟包括：根據該縮放倍率，放大該主校正影像，以產生一放大後的主校正影像；根據該縮放倍率，縮小該副校正影像，以產生一縮小後的副校正影像；以及根據各所述像素位移特性以及各所述像素深度資訊，分別針對該放大後的主校正影像以及該縮小後的副校正影像進行影像形變處理，以產生該主形變影像以及該副形變影像，其中影像形變的幅度關聯於各所述像素深度資訊。
  7. 如申請專利範圍第1項所述的數位變焦方法，其中該主鏡頭與該副鏡頭具有相同的拍攝視角以及不同的變形程度，該主鏡頭的變形程度遠小於該副鏡頭的變形程度，而在針對該主影像以及該副影像進行影像校正處理，以產生該主校正影像以及該副校正影像的步驟之後，該數位變焦方法更包括：針對該副校正影像的一中心區域進行影像裁剪處理，以產生一裁剪副校正影像；設定該裁剪副校正影像為該副校正影像。
  8. 如申請專利範圍第7項所述的數位變焦方法，其中當該縮放倍率介於1與該主副影像倍率之間時，根據該縮放倍率、各所述像素位移特性以及各所述像素深度資訊，分別針對該主校正影像以及該副校正影像進行影像縮放處理與影像形變處理，據以產生該主形變影像以及該副形變影像的步驟包括： 根據該縮放倍率，放大該主校正影像，以產生一放大後的主校正影像；根據該縮放倍率，縮小該副校正影像，以產生一縮小後的副校正影像；以及根據各所述像素位移特性以及各所述像素深度資訊，分別針對該放大後的主校正影像以及該縮小後的副校正影像進行影像形變處理，以產生該主形變影像以及該副形變影像，其中影像形變的幅度關聯於各所述深度資訊。
  9. 如申請專利範圍第1項所述的數位變焦方法，其中根據該縮放倍率，針對該主形變影像與該副形變影像的該重疊區域進行影像融合處理，據以產生該數位變焦影像的步驟包括：根據該縮放倍率，設定分別對應於該該主形變影像以及該副形變影像的一第一權重以及一第二權重；以該第一權重與該第二權重，融合該主形變影像與該副形變影像的該重疊區域，以產生一融合重疊區域；以及以該融合重疊區域取代位於該該主形變影像的該重疊區域，以產生該數位變焦影像。
  10. 如申請專利範圍第1項所述的數位變焦方法，其中當該縮放倍率大於該主副影像倍率時，該數位變焦方法更包括：根據該縮放倍率，放大該副校正影像，以產生一放大後的副校正影像；根據各所述像素位移特性以及各所述像素深度資訊，針對該 放大後的副校正影像進行影像形變處理，以產生該副形變影像，其中影像形變的幅度關聯於各所述像素深度資訊；以及設定該副形變影像為該數位變焦影像。
  11. 如申請專利範圍第1項所述的數位變焦方法，其中當該縮放倍率小於1時，該數位變焦方法更包括：根據該縮放倍率，縮小該主校正影像，以產生一縮小後的主校正影像；根據各所述像素位移特性以及各所述像素深度資訊，針對該縮小後的主校正影像進行影像形變處理，以產生該主形變影像，其中影像形變的幅度關聯於各所述像素深度資訊；以及設定該主形變影像為該數位變焦影像。
  12. 一種影像擷取裝置，包括：一主鏡頭；一副鏡頭；一儲存單元，記錄多個模組；以及一或多個處理單元，耦接該主鏡頭、該副鏡頭以及該儲存單元，以存取並執行該儲存單元中記錄的所述模組，所述模組包括：一影像擷取模組，分別利用該主鏡頭以及該副鏡頭擷取一場景的影像，以產生一主影像以及一副影像；一影像前處理模組，針對該主影像以及該副影像進行影像校正處理，以產生一主校正影像以及一副校正影像；一特徵點分析模組，針對該主校正影像以及該副校正影 像進行偵測，藉以偵測出該主校正影像與該副校正影像的一重疊區域，進而該主校正影像與該副校正影像的該重疊區域的多個像素位移特性以及多個像素深度資訊；一影像縮放變形模組，當一縮放倍率介於1與一主副影像倍率之間時，根據該縮放倍率、各所述像素位移特性以及各所述像素深度資訊，分別針對該主校正影像以及該副校正影像進行影像縮放處理與影像形變處理，據以產生一主形變影像以及一副形變影像，其中該主副影像倍率為該主校正影像與該副校正影像之間的大小倍率；以及一影像融合模組，根據該縮放倍率，針對該主形變影像與該副形變影像的一重疊區域進行影像融合處理，以產生一數位變焦影像。
  13. 如申請專利範圍第12項所述的影像擷取裝置，其中該影像前處理模組取得關聯於該主鏡頭以及該副鏡頭的多個校正參數，以及根據所述校正參數，校正該主影像以及該副影像，以產生該主校正影像以及該副校正影像。
  14. 如申請專利範圍第12項所述的影像擷取裝置，其中該特徵點分析模組偵測該主校正影像以及該副校正影像中的多個特徵點，根據該主校正影像以及該副校正影像中的各所述特徵點與各所述特徵點的多個鄰近點的色彩資訊，找出多個對應特徵點組合，以計算一單應性矩陣，又根據該單應性矩陣，取得該主校正影像與該副校正影像的該重疊區域，進而取得各所述像素位移特 性，以及針對該主校正影像以及該副校正影像中各所述特徵點進行立體比對，以取得各所述特徵點所對應的該像素深度資訊。
  15. 如申請專利範圍第12項所述的影像擷取裝置，其中該主鏡頭與該副鏡頭具有不同的拍攝視角以及相同的變形程度，該主鏡頭的拍攝視角大於該副鏡頭的拍攝視角，而當該縮放倍率介於1與該主副影像倍率之間時，該影像縮放變形模組根據該縮放倍率，放大該主校正影像，以產生一放大後的主校正影像，又根據該縮放倍率，縮小該副校正影像，以產生一縮小後的副校正影像，以及根據各所述像素位移資訊特性以及各所述像素深度資訊，分別針對該放大後的主校正影像以及該縮小後的副校正影像進行影像形變處理，以產生該主形變影像以及該副形變影像。
  16. 如申請專利範圍第12項所述的影像擷取裝置，其中該主鏡頭與該副鏡頭具有相同的拍攝視角以及相同的變形程度，並且該影像前處理模組更針對該主校正影像進行影像裝箱處理，以產生一裝箱主校正影像，又針對該副校正影像進行影像裁剪處理，以產生一裁剪副校正影像，以及分別設定該裝箱主校正影像以及該裁剪副校正影像為該主校正影像以及該副校正影像，其中該裝箱主校正影像與該裁剪副校正影像的尺寸相同。
  17. 如申請專利範圍第16項所述的影像擷取裝置，其中當該縮放倍率介於1與該主副影像倍率之間時，該影像縮放變形模組根據該縮放倍率，放大該主校正影像，以產生一放大後的主校正影像，又根據該縮放倍率，縮小該副校正影像，以產生一縮小後 的副校正影像，以及根據各所述像素位移特性以及各所述像素深度資訊，分別針對該放大後的主校正影像以及該縮小後的副校正影像進行影像形變處理，以產生該主形變影像以及該副形變影像，其中影像形變的幅度關聯於各所述像素深度資訊。
  18. 如申請專利範圍第12項所述的影像擷取裝置，其中該主鏡頭與該副鏡頭具有相同的拍攝視角以及不同的變形程度，該主鏡頭的變形程度遠小於該副鏡頭的變形程度，而該影像前處理模組更針對該副校正影像的一中心區域進行影像裁剪處理，以產生一裁剪副校正影像，並且設定該裁剪副校正影像為該副校正影像。
  19. 如申請專利範圍第18項所述的影像擷取裝置，其中當該縮放倍率介於1與該主副影像倍率之間時，該影像縮放變形模組根據該縮放倍率，放大該主校正影像，以產生一放大後的主校正影像，又根據該縮放倍率，縮小該副校正影像，以產生一縮小後的副校正影像，以及根據各所述像素位移特性資訊以及各所述像素深度資訊，分別針對該放大後的主校正影像以及該放大縮小後的副校正影像進行影像形變處理，以產生該主形變影像以及該副形變影像，其中影像形變的幅度關聯於各所述深度資訊。
  20. 如申請專利範圍第12項所述的影像擷取裝置，其中該影像融合模組根據該縮放倍率，設定分別對應於該主形變影像以及該副形變影像的一第一權重以及一第二權重，又以該第一權重與該第二權重，融合該主形變影像與該副形變影像的該重疊區域，以產生一融合重疊區域，以及以該融合重疊區域取代位於該主形 變影像的該重疊區域，以產生該數位變焦影像。
  21. 如申請專利範圍第12項所述的影像擷取裝置，其中當該縮放倍率大於該主副影像倍率時，該影像縮放變形模組更根據該縮放倍率，放大該副校正影像，以產生一放大後的副校正影像，又根據各所述像素位移特性以及各所述像素深度資訊，針對該放大後的副校正影像進行影像形變處理，以產生該副形變影像，以及設定該副形變影像為該數位變焦影像，其中影像形變的幅度關聯於各所述像素深度資訊。
  22. 如申請專利範圍第12項所述的影像擷取裝置，其中當該縮放倍率小於1時，該影像縮放變形模組更根據該縮放倍率，縮小該主校正影像，以產生一縮小後的主校正影像，又根據各所述像素位移特性以及各所述像素深度資訊，針對該縮小後的主校正影像進行影像形變處理，以產生該主形變影像，以及設定該主形變影像為該數位變焦影像，其中影像形變的幅度關聯於各所述像素深度資訊。
TW103139384A 2014-11-13 2014-11-13 影像擷取裝置及其數位變焦方法 TWI554103B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103139384A TWI554103B (zh) 2014-11-13 2014-11-13 影像擷取裝置及其數位變焦方法
US14/571,021 US9325899B1 (en) 2014-11-13 2014-12-15 Image capturing device and digital zooming method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103139384A TWI554103B (zh) 2014-11-13 2014-11-13 影像擷取裝置及其數位變焦方法

Publications (2)

Publication Number Publication Date
TW201618531A TW201618531A (zh) 2016-05-16
TWI554103B true TWI554103B (zh) 2016-10-11

Family

ID=55754849

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103139384A TWI554103B (zh) 2014-11-13 2014-11-13 影像擷取裝置及其數位變焦方法

Country Status (2)

Country Link
US (1) US9325899B1 (zh)
TW (1) TWI554103B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI720445B (zh) * 2018-03-26 2021-03-01 聯發科技股份有限公司 攝像機裝置中圖像融合的方法及相關裝置
TWI791405B (zh) * 2021-05-20 2023-02-01 西班牙商沃普責任有限公司 針對可變焦攝影機的深度估計方法、電腦系統及電腦可讀取儲存媒體

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
TWI610250B (zh) * 2015-06-02 2018-01-01 鈺立微電子股份有限公司 監測系統及其操作方法
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10321112B2 (en) * 2016-07-18 2019-06-11 Samsung Electronics Co., Ltd. Stereo matching system and method of operating thereof
TWI639338B (zh) 2016-08-15 2018-10-21 香港商立景創新有限公司 影像擷取裝置及其影像平順縮放方法
KR102560780B1 (ko) 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
TWI644141B (zh) 2016-10-14 2018-12-11 大立光電股份有限公司 光學取像系統組、取像裝置及電子裝置
EP3531689B1 (en) * 2016-11-03 2021-08-18 Huawei Technologies Co., Ltd. Optical imaging method and apparatus
JP7047767B2 (ja) * 2016-11-17 2022-04-05 ソニーグループ株式会社 画像処理装置と画像処理方法
US10356300B2 (en) * 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
CN106713772B (zh) * 2017-03-31 2018-08-17 维沃移动通信有限公司 一种拍照方法及移动终端
DE102017205630A1 (de) * 2017-04-03 2018-10-04 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
US10410314B2 (en) * 2017-04-27 2019-09-10 Apple Inc. Systems and methods for crossfading image data
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10373290B2 (en) * 2017-06-05 2019-08-06 Sap Se Zoomable digital images
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107277360B (zh) * 2017-07-17 2020-07-14 惠州Tcl移动通信有限公司 一种双摄像头切换进行变焦的方法、移动终端及存储装置
US10834310B2 (en) 2017-08-16 2020-11-10 Qualcomm Incorporated Multi-camera post-capture image processing
US10404916B2 (en) 2017-08-30 2019-09-03 Qualcomm Incorporated Multi-source video stabilization
US10497122B2 (en) 2017-10-11 2019-12-03 Adobe Inc. Image crop suggestion and evaluation using deep-learning
US10516830B2 (en) 2017-10-11 2019-12-24 Adobe Inc. Guided image composition on mobile devices
US10257436B1 (en) * 2017-10-11 2019-04-09 Adobe Systems Incorporated Method for using deep learning for facilitating real-time view switching and video editing on computing devices
CN107835372A (zh) 2017-11-30 2018-03-23 广东欧珀移动通信有限公司 基于双摄像头的成像方法、装置、移动终端和存储介质
CN108307114B (zh) * 2018-01-31 2020-01-14 Oppo广东移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
KR102606824B1 (ko) 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
CN110072047B (zh) 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
WO2020263982A1 (en) * 2019-06-22 2020-12-30 Trackonomy Systems, Inc. Image based locationing
KR102652117B1 (ko) 2019-07-10 2024-03-27 삼성전자주식회사 이미지 보정 방법 및 이미지 보정 시스템
CN111641775B (zh) * 2020-04-14 2021-10-01 北京迈格威科技有限公司 多摄变焦控制方法、装置及电子系统
CN113808510B (zh) * 2020-06-15 2024-04-09 明基智能科技（上海）有限公司 影像调整方法
WO2022076483A1 (en) 2020-10-05 2022-04-14 Trackonomy Systems, Inc. System and method of utilizing 3d vision for asset management and tracking
US11405563B2 (en) * 2020-11-10 2022-08-02 Qualcomm Incorporated Spatial alignment transform without FOV loss
CN113055592B (zh) * 2021-03-11 2023-03-21 Oppo广东移动通信有限公司 图像展示方法、装置、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW472482B (en) * 1999-10-26 2002-01-11 Hewlett Packard Co Digital camera and method of enhancing zoom effects
TW201217897A (en) * 2010-10-29 2012-05-01 Altek Corp Method for composing three dimensional image with long focal length and three dimensional imaging system
TW201330606A (zh) * 2012-01-02 2013-07-16 Altek Corp 影像擷取裝置及其影像擷取方法
CN103814567A (zh) * 2012-07-10 2014-05-21 松下电器产业株式会社 显示控制装置
CN103888656A (zh) * 2012-12-19 2014-06-25 信泰光学(深圳)有限公司 影像撷取装置及其防手振控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028283A (ja) * 2005-07-19 2007-02-01 Matsushita Electric Ind Co Ltd 撮像装置
JP4573724B2 (ja) * 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4624245B2 (ja) * 2005-11-29 2011-02-02 イーストマン コダック カンパニー 撮像装置
JP4692770B2 (ja) * 2006-12-27 2011-06-01 富士フイルム株式会社 複眼デジタルカメラ
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
CN102918858B (zh) * 2010-12-24 2014-09-03 富士胶片株式会社 立体全景图像创建设备和方法、立体全景图像再现设备和方法
US8508649B2 (en) * 2011-02-14 2013-08-13 DigitalOptics Corporation Europe Limited Compact distorted zoom lens for small angle of view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW472482B (en) * 1999-10-26 2002-01-11 Hewlett Packard Co Digital camera and method of enhancing zoom effects
TW201217897A (en) * 2010-10-29 2012-05-01 Altek Corp Method for composing three dimensional image with long focal length and three dimensional imaging system
TW201330606A (zh) * 2012-01-02 2013-07-16 Altek Corp 影像擷取裝置及其影像擷取方法
CN103814567A (zh) * 2012-07-10 2014-05-21 松下电器产业株式会社 显示控制装置
CN103888656A (zh) * 2012-12-19 2014-06-25 信泰光学(深圳)有限公司 影像撷取装置及其防手振控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI720445B (zh) * 2018-03-26 2021-03-01 聯發科技股份有限公司 攝像機裝置中圖像融合的方法及相關裝置
US11172145B2 (en) 2018-03-26 2021-11-09 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras
TWI791405B (zh) * 2021-05-20 2023-02-01 西班牙商沃普責任有限公司 針對可變焦攝影機的深度估計方法、電腦系統及電腦可讀取儲存媒體

Also Published As

Publication number Publication date
TW201618531A (zh) 2016-05-16
US9325899B1 (en) 2016-04-26
US20160142627A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
TWI554103B (zh) 影像擷取裝置及其數位變焦方法
CN108600576B (zh) 图像处理装置、方法和系统以及计算机可读记录介质
TWI692967B (zh) 影像裝置
JP6299124B2 (ja) 投影システム、画像処理装置、投影方法およびプログラム
TWI518436B (zh) 影像擷取裝置及影像處理方法
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
CN105657237B (zh) 图像获取装置及其数字变焦方法
TWI554106B (zh) 產生影像散景效果的方法及影像擷取裝置
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
JP2010009417A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
JP6552315B2 (ja) 撮像装置
JP5846172B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
JP6222205B2 (ja) 画像処理装置
JP5796611B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
US9743007B2 (en) Lens module array, image sensing device and fusing method for digital zoomed images
JP6665917B2 (ja) 画像処理装置
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP6079838B2 (ja) 画像処理装置、プログラム、画像処理方法および撮像システム
JP6579764B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6439845B2 (ja) 画像処理装置
JP2017028606A (ja) 撮像装置
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees