TWI720445B - 攝像機裝置中圖像融合的方法及相關裝置 - Google Patents

攝像機裝置中圖像融合的方法及相關裝置 Download PDF

Info

Publication number
TWI720445B
TWI720445B TW108110218A TW108110218A TWI720445B TW I720445 B TWI720445 B TW I720445B TW 108110218 A TW108110218 A TW 108110218A TW 108110218 A TW108110218 A TW 108110218A TW I720445 B TWI720445 B TW I720445B
Authority
TW
Taiwan
Prior art keywords
image
zoom factor
factor
view
field
Prior art date
Application number
TW108110218A
Other languages
English (en)
Other versions
TW201941156A (zh
Inventor
李秉翰
張德浩
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201941156A publication Critical patent/TW201941156A/zh
Application granted granted Critical
Publication of TWI720445B publication Critical patent/TWI720445B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

提供了一種攝像機裝置。該攝像機裝置包括：一第一成像部分、一第二成像部分、一第三成像部分以及一處理器。該第一成像部分、該第二成像部分以及該第三成像部分分別捕獲具有一第一視場、一第二視場以及一第三視場的一第一圖像、一第二圖像以及一第三圖像。該處理器配置為回應於該攝像機裝置的一變焦因數在一第一變焦因數與一第二變焦因數之間，藉由在該第一圖像、該第二圖像以及該第三圖像上執行一第一圖像融合處理來生成一第一輸出圖像，其中該第一視場比該第二視場更寬，以及該第二視場比該第三視場更寬，以及該第二變焦因數大於該第一變焦因數。

Description

攝像機裝置中圖像融合的方法及相關裝置
本發明涉及攝像機，更具體地，涉及攝像裝置以及在攝像裝置中圖像融合的方法。
光學變焦(optical zoom)是目前吸引用戶的最重要的智慧手機攝像機特徵之一。不幸的是，鏡頭的物理特性使得設計包括光學變焦而不犧牲手機整體性能或者不增加其厚度的單攝像機智慧手機設置變得困難。
最近幾年開發了一種廣角加遠攝的雙攝像機模組並為業界提供了一種解決方案。由於圖像變焦可以在雙攝像機模組中的廣角成像部分與遠攝成像部分之間切換，使用者可以使用配備有廣角加遠攝的雙攝像機模組的智慧型電話來獲得具有平滑的光學變焦功能的更好體驗。廣角鏡頭以及遠攝鏡頭通常稱為“寬”鏡頭以及“長”鏡頭，以及廣角成像部分中廣角鏡頭的焦距小於遠攝成像部分中遠攝鏡頭的焦距。例如，廣角鏡頭可以具有較短的焦距，以及遠攝鏡頭可以具有較長的焦距。此外，廣角鏡頭以及遠攝鏡頭可以具有不同的FOV(視場)。
此外，隨著技術的發展，市場上一些傳統的可擕式電子裝置已經在單個攝像機模組(例如，背面的攝模機模組)中配備有多於2個攝像機，其中攝像機模組中每一攝像機可以具有各自的焦距以及FOV。假定在一攝像機模組中有三個攝像機，如第一攝像機、第二攝像機以及第三攝像機，第一攝像機可以具有最短的焦距以及最寬的FOV，以及第二攝像機可以具有第二短的焦距以及第二寬的FOV，以及第三攝像機可以具有最長的焦距以及最窄的FOV。然而，在執行數位變焦時，這些傳統的可擕式電子裝置不能有效地使用由第一、第二以及第三攝像機捕獲的圖像，導致較差的圖像品質。
因此，需要一種攝像機裝置以及攝像機裝置中圖像融合的方法來解決上述提到的問題。
參考附圖在後續的實施例中給出了細節描述。
在示例性實施例中，提供了攝像機裝置。該攝像機裝置包括：一第一成像部分、一第二成像部分、一第三成像部分以及一處理器。該第一成像部分配置於捕獲具有一第一視場的一第一圖像，該第二成像部分配置於捕獲具有一第二視場的一第二圖像，以及該第三成像部分配置於捕獲具有一第三視場的一第三圖像。該處理器耦合到該第一處理器、該第二處理器以及該第三處理器，以及配置於回應該攝像機裝置的一變焦因數在一第一變焦因數與一第二變焦因數之間，在該第一圖像、該第二圖像以及該第三圖像上執行一第一圖像融合處理來生成一第一輸出圖像。該第一視場比該第二視場更寬，以及該第二視場比該第三視場更寬，以及該第二變焦因數大於該第一變焦因數。
在另一個示例性實施例中，提供了一種攝像機裝置中圖像融合的方法。該攝像機裝置配備有一第一成像部分、一第二成像部分以及一第三成像部分。該方法包括以下步驟：利用該第一成像部分、該第二成像部分以及該第三成像部分來分別捕獲具有一第一視場、一第二視場以及一第三視場的一第一圖像、一第二圖像以及一第三圖像，並且回應於該攝像機裝置的一變焦因數在一第一變焦因數與一第二變焦因數之間，藉由在該第一圖像、該第二圖像以及該第三圖像上執行一第一圖像融合處理來生成一第一輸出圖像，其中該第一視場比該第二視場更寬，以及該第二視場比該第三視場更寬，以及該第二變焦因數大於該第一變焦因數。
本發明公開了一種圖像融合方法，依據變焦因數、視場因素來確定對不同區域的圖像進行圖像融合的程度，實現更好的圖像品質，提供使用者更好的拍照體驗。
下文的描述是實施本發明的最佳實施方式。所作之描述是出於說明本發明一般原理的目的，不應對此作限制性理解。本發明的範圍由參考所附權利要求而最佳確定。本文使用了如“寬鏡頭”、“寬圖像”以及“寬圖像資料”的術語。在包括廣角鏡頭以及遠攝鏡頭的攝像機裝置的上下文中使用這些術語。應當理解，如本領域技術人員所理解的，諸如“寬鏡頭”、“寬圖像”以及“寬圖像資料”分別指“廣角鏡頭”、“廣角圖像”、“廣角圖像資料”，以及“遠鏡頭”、“遠圖像”以及“遠圖像資料”分別指“遠攝鏡頭”、“遠攝圖像”以及“遠攝圖像資料”。
第1圖示出了根據本發明實施例的攝像機裝置的框圖。如第1圖所示，攝像機裝置100包括至少三個成像部分以及處理器140。出於描述的目的，攝像機裝置100中成像部分的數目是3，即，成像部分110、120以及130。
例如，成像部分110包括鏡頭111以及圖像感測器112，以及成像部分120包括鏡頭121以及圖像感測器122，以及成像部分130包括鏡頭131以及圖像感測器132。圖像感測器112、122以及132可以是物理上分開的或者可以是單個較大圖像感測器的一部分，以及圖像感測器112、122以及132的解析度可以彼此相等或者不同。此外，鏡頭111、121以及131的視場(FOV)以及焦距可以彼此相等或者不同。
處理器140可以耦合到成像部分110、120以及130，以及配置為接收由成像部分110捕獲的第一圖像、由成像部分120捕獲的第二圖像以及由成像部分130捕獲的第三圖像。處理器140可以配置為在圖像變焦期間，在第一圖像、第二圖像以及第三圖像上執行對應的影像處理來實現平滑的變焦功能。具體地，處理器140可以生成預覽圖像，其從由成像部分110、120以及130獲得的信號在所有變焦等級融合而得。
在一個實施例中，攝像機裝置100可以進一步包括用於顯示預覽圖像的顯示面板150。例如，顯示面板150可以是觸控面板，以及處理器140可以在顯示面板150上呈現用於變焦功能的使用者介面。因此，使用者可以按壓顯示面板150來調整預覽圖像的變焦因數。
第2A圖示出了根據本發明實施例的攝像機裝置中成像部分的變焦因數與視場之間的關係。
在一個實施例中，攝像機裝置100可以包括N個成像部分，如，成像部分211、212、213……以及21N。出於描述的目的，假定成像部分211~21N中圖像感測器的解析度是相同的，以及每一成像部分211~21N的鏡頭具有各自的FOV，即，FOV1 、FOV2 、FOV3 ……以及FOVN ，如第2A圖中的塊221~22N所示，其中FOV1 ＞FOV2 ＞FOV3 ……＞FOVN 。在一些實施例中，每一成像部分211~21N的鏡頭的焦距可以是FL1 ~FLN ，其中FL1 ＜FL2 ＜FL3 ＜……＜FLN 。
例如，假定成像部分211具有等於1的變焦因數k1 ，可以使用等式(1)計算其他成像部分212~21N的變焦因數：
Figure 02_image001
其中kN 表示成像部分21N的變焦因數，FOV1 表示成像部分211的FOV，FOVN 表示成像部分21N的FOV。例如，成像部分212的變焦因數k2 可以計算為：
Figure 02_image003
具體地，變焦因數可以是等於或大於1的正數，尾綴為“x”。例如，當變焦因數從k1 (如，等於1)變到k2 時，FOV1 的範圍(即，塊221)將收縮到是FOV2 的範圍（塊222）。
因此，由每一成像部分211~21N捕獲的圖像的解析度可以用角度單位的像素的“密度”表示，如每角度像素(pixel per angle，PPA)。例如，PPA的定義可以使用等式(3)表示：
Figure 02_image005
其中PPAi 表示第i個成像部分的PPA；#pixeli 表示第i個成像部分中圖像感測器的像素數；FOVi 表示第i個成像部分的FOV。
因此，每一成像部分中圖像感測器的像素數(即，解析度)與每一成像部分的PPA成比例。此外，每一成像部分中圖像感測器的解析度可能受到光圈(aperture)以及一些其他因素(如，感測器尺寸、像素尺寸等)的影響。
成像部分211~21N的PPA值可以分類為PPAN ＞…＞PPA2 ＞PPA1 。需要注意的是，可以在水平、垂直以及對角線方向定義每一成像部分的FOV。就這一點而言，變數PPAi 以及FOVi 可以分別替代為
Figure 02_image007
以及
Figure 02_image009
，其中j表示水平、垂直或對角線方向。
第2B圖示出了圖像融合處理的示意圖，圖像融合處理使用根據第2A圖的實施例三個成像部分捕獲的圖像。第2C圖示出了根據第2B圖的實施例的相對於變焦因數的輸出圖像的總PPA值。
在一個實施例中，出於描述的目的，攝像機裝置100中的成像部分的數目是3，即，成像部分211、212以及213。成像部分211、212、213分別具有PPA值PPA1 、PPA2 以及PPA3 。成像部分211、212以及213的FOV如第2A圖所示，其中成像部分211的FOV1 對應於1x變焦因數，成像部分212的FOV2 對應於k2 x變焦因數，以及成像部分213的FOV3 對應於k3 x變焦因數。成像部分211、212以及213的PPA值PPA1 、PPA2 、PPA3 相對於Kx變焦因數的關係如第2C圖所示。此外，在一個實施例中，成像部分211、212以及213的FOV1 、FOV2 以及FOV3 分別示為第2A圖中的塊211、212以及213。
特別地，成像部分211、212以及213可以被設計為用於不同的焦距以及FOV。例如，參考第2A圖，塊222示出了在塊221(即，FOV1 )內部的FOV2 的範圍，以及塊223示出了在塊221(即，FOV1 )內部的FOV3 的範圍。此外，FOV3 的範圍比FOV2 的範圍更窄。需要注意的是，因為成像部分211~213中的圖像感測器可以具有相同的解析度(即，相同的像素數)以及成像部分213具有最窄的視場FOV3 ，成像部分213可以具有三個成像部分211~213中最高的PPA值。
因此，如第2B圖所示，可以在FOV1 的範圍內的不同區域執行不同的圖像融合處理。例如，FOV1 (即，塊221)可以被分成第一區域、第二區域以及第三區域。第一區域可以是FOV3 ，以及第二區域(即，231)可以是在FOV2 內部且在FOV3 外部的區域，以及第三區域(即，塊232)可以是在FOV1 內部且在FOV2 外部的區域。此外，由處理器140生成的輸出圖像可以分別由第一區域、第二區域以及第三區域的圖像融合結果形成，即，第一輸出圖像、第二輸出圖像以及第三輸出圖像。
相對於第一區域R1(即，塊223)，可以使用第一圖像I1、第二圖像I2以及第三圖像I3計算第一輸出圖像X1。例如，可以使用等式(4)計算第一輸出圖像X1：
Figure 02_image011
其中I1R1 以及I2R1 分別表示在FOV3 (即，塊223)的範圍內部的第一圖像I1以及第二圖像I2。W1、W2以及W3表示在FOV3 內部的第一圖像I1、第二圖像I2以及第三圖像I3的權重因數。權重因數W1、W2以及W3是在0與1之間的值，以及可以使用等式(5)表示權重因數W1、W2以及W3之間的關係：
Figure 02_image013
具體地，回應於變焦因數是1x，第一圖像I1的權重因數W1是基本上等於1的P1a ，以及第二圖像I2以及第三圖像I3的權重因數W2(如，等於Q1a )以及W3(如，等於R1a )基本上等於0。即，回應於變焦因數是1x，由成像部分211捕獲的整個第一圖像I1被用作為第一輸出圖像X1。
在第一階段，攝像機裝置100的變焦因數Kx逐漸地從1x調整到k2 x。第一圖像I1的權重因數W1從1逐漸地減少到0或預定的比率P1b ，第二圖像I2以及第三圖像I3的權重因數W2以及W3分別逐漸地增加到預定比率Q1b 以及R1b 。此外，權重因數W2的增加率大於權重因數W3的增加率。需要注意的是，預定比率P1b 、Q1b 以及R1b 的和也等於1。在一些實施例中，權重因數W1、W2與W3相對於攝像機裝置100的變焦因數之間的關係可以被記錄在攝像機裝置100的非揮發性記憶體(未在第1圖中示出)中存儲的尋找表(lookup table)中。或者，處理器140可以使用線性函數或冪函數來確定相對於攝像機裝置100的變焦因數的權重因數W1、W2以及W3。
在一些實施例中，當攝像機裝置100的變焦因數Kx逐漸地從1x調整到kp x時，其中kp x是大於k2 的變焦因數，第一圖像I1的權重因數W1逐漸地從P1a 減少到0(即，變焦因數kp )，第二圖像I2以及第三圖像I3的權重因數W2以及W3也相應地增加。
在第二階段，攝像機裝置100的變焦因數Kx逐漸地從k2 x調整到k3 x。第一圖像I1的權重因數被保持在P1b (如，0)，以及第二圖像I2的權重因數W2可以逐漸地從Q1b 減少到Q1c (如，0)，以及第三圖像I3的權重因數可以逐漸地從R1b 增加到R1c (如，1)。在一些實施例中，權重因數W1、W2與W3相對於攝像機裝置100的變焦因數之間的關係可以記錄在攝像機裝置100的非揮發性記憶體(未在第1圖中示出)中存儲的尋找表中。或者，處理器140可以使用線性函數或冪函數來確定相對於攝像機裝置100的變焦因數的權重因數W1、W2以及W3。
在第三階段，當攝像機100的變焦因數Kx逐漸地從k3 x調整到較大的變焦因數時，權重因數W1以及W2被保持在0，以及權重因數W3被保持在R1c (如，1)。
關於第二區域R2(即，區域231)，因為成像部分213的FOV僅覆蓋小於成像部分211以及212的FOV的塊223，可以使用第一圖像I1以及第二圖像I2計算第二輸出圖像X2。例如，可以使用等式(6)計算第二輸出圖像X2：
Figure 02_image015
其中I1R2 以及I2R2 分別表示在第二區域231內部的第一圖像I1以及第二圖像I2，第二區域231是在FOV2 (即，塊222)內部且在FOV3 (即，塊223)外部的區域。W1以及W2分別表示在FOV3 內部的第一圖像I1以及第二圖像I2的權重因數。
在第一階段，攝像機裝置100的變焦因數Kx逐漸地從1x調整到k2 x。第一圖像I1的權重因數W1可以逐漸地從預定比率P2a (如，1)減少到P2b (如，0)，以及第二圖像I2的權重因數W2可以逐漸地從預定比率Q2a (如，0)增加到Q2b (如，1)。需要注意的是，預定比率P2b 以及Q1b 的和也等於1。在一些實施例中，權重因數W1、W2與W3之間的關係可以記錄在存儲於攝像機裝置100的非揮發性記憶體(未在第1圖中示出)的尋找表中。或者，處理器140可以使用線性函數或冪函數來確定相對於攝像機裝置100的變焦因數的權重因數W1、W2以及W3。
在第二階段中，攝像機裝置100的變焦因數Kx逐漸地從k2 x調整到k3 x。第一圖像I1的權重因數W1保持在P2b (如，0)，以及第二圖像的權重因數W2保持在Q2b (如，1)。需要注意的是，因為攝像機裝置100正變焦到超出區域231的範圍的塊223中，在這一情況中沒有第三階段。
關於第三區域R3(即，區域232)，因為僅成像部分211的FOV1 可以覆蓋區域232，其是在FOV1 (即，塊221)與FOV2 (即，塊222)之間的區域，可以使用第一圖像I1計算第三輸出圖像X3。因此，第三區域R3中第一圖像I1的權重因數W1可以保持在預定比率P3a (如，1)。需要注意的是，因為攝像機裝置100正變焦到超出區域232範圍的塊222或223，在這種情況中沒有第二階段以及第三階段。
在第2B圖的實施例中，處理器140使用由成像部分211、212以及213捕獲的第一圖像I1、第二圖像I2以及第三圖像I3在輸出圖像的不同區域上執行不同的圖像融合處理，以實現輸出圖像中不同圖像區域之間的平滑過渡。此外，如上所述，可以在變焦的不同階段中調整第一圖像I1、第二圖像I2以及第三圖像I3的權重因數。因此，如第2C圖所示，隨著變焦因數逐漸地從1x改變到k3 x，由攝像機裝置100生成的輸出圖像的總PPA逐漸地從PPA1 增加到PPA3 。
在一個實施例中，第一圖像I1、第二圖像I2以及第三圖像I3的權重因數還可能受到一些其他因素影響，如從物體到攝像機裝置100的物距(object distance)、光線條件、攝像機裝置100的功率消耗約束或其組合。
關於物距的因素，當將要對準的物體非常靠近攝像機裝置100(即，短的物距)時，處理器140可以增加具有小PPA的成像部分的權重因數。例如，攝像機裝置100中具有小PPA(如，可以使用PPA閾值確定)的成像部分能夠捕獲非常接近攝像機裝置100(即，短的物距)的物體的清晰圖像，而由於更長的焦距與/或更窄的FOV，具有大PPA的成像部分可能不能夠捕獲物體的清晰圖像。在這一情況下，處理器140可以向右移動控制點，如增加在上述實施例中描述的預定變焦因數kp ，以便使用由具有小PPA的成像部分在更寬的變焦因數範圍中捕獲的圖像，從而改善輸出圖像的圖像品質。此外，在執行自動對焦的同時，可以由從攝像機裝置100中每一成像部分的數模轉換電路(未示出)輸出的DAC(數模轉換，digital-to-analog)值確定權重因數。類似地，物距與DAC值之間的關係可以預先記錄在攝像機裝置100的尋找表中。附加地或替代地，處理器140可以使用線性函數或冪函數來確定成像部分的權重因數，但本發明不限於此。
關於照明條件的因素，在一些實施例中，當處理器140使用公知的技術確定攝像機裝置100處於黑暗的環境時，處理器140可以增加具有小PPA的成像部分的權重因數。例如，攝像機裝置100中具有大PPA(如，可以使用PPA閾值確定)的成像部分可以配備有更小的光圈，從而導致在暗環境中更多的雜訊。在這種情況下，處理器140可以向右移動控制點，如增加上述實施例所描述的預定變焦因數kp ，以便使用由具有小PPA的成像部分在較寬的變焦因數範圍中所捕獲的圖像，從而改善輸出圖像的圖像品質。此外，當攝像機裝置100是自動對焦模式(如，自動地確定用於每一成像部分的環境的ISO值)時，可以由攝像機裝置100中至少一個成像部分的ISO值確定權重因數。類似地，物距以及ISO值之間的關係可以預先記錄在攝像機裝置100的尋找表中。附加地或替代地，處理器140可以使用線性函數或冪函數來確定成像部分的權重因數。
關於功率消耗約束的因素，在一些實施例中，當攝像機裝置100中有M個成像部分時，由於預定的功率消耗閾值，處理器140可以同時開啟至多N個成像部分，其中M是大於或等於3的整數，以及N是在1與M之間的整數。處理器140可以針對給定變焦因數從M個成像部分中選擇具有最高N個FOV覆蓋範圍的N個成像部分。例如，用於給定變焦因數的特定成像部分的“FOV覆蓋範圍”可以指示由特定成像部分的FOV所覆蓋的給定變焦因數的FOV中像素的百分比。換言之，特定成像部分的FOV覆蓋範圍可以指示由特定成像部分“看到的”變焦圖像的相對大小。
例如，假定攝像機裝置100中每一成像部分具有相同的功率消耗。假定(M,N)=(4,3)以及變焦因數是1.5x，攝像機裝置100中四個成像部分(成像部分211~214)的FOV覆蓋範圍可以分別是100%、70%、40%以及20%。因為100%、70%、40%是最高的三個FOV覆蓋範圍值，處理器140可以控制成像部分211、212以及213在正常模式中操作，以及設置成像部分214進入低功耗模式或待機模式，從而用3個啟動的成像部分實現最高的FOV覆蓋範圍。在一些實施例中，如果攝像機裝置100中的兩個成像部分具有相同的FOV覆蓋範圍但不同的PPA，處理器140可以選擇具有較大PPA的成像部分，從而實現更好的圖像品質。
在另一個示例中，假定攝像機裝置100中成像部分的數目是3並且攝像機裝置100位於暗環境中，處理器140可以使用公知的技術確定攝像機裝置100處於暗環境中，並隨後啟動具有最小PPA的成像部分，如成像部分211，以及控制剩餘成像部分進入低功耗模式。或者，處理器140可以啟動具有最小兩個PPA的兩個成像部分，如成像部分211以及212，以及控制剩餘的成像部分(如，成像部分213)進入低功耗模式。因為成像部分213具有最大的PPA，當執行圖像融合處理時，處理器140可以避免使用由成像部分213所捕獲的在暗環境中具有更多雜訊的圖像，從而改善輸出圖像的圖像品質。
對於第1圖，在一些實施例中，成像部分110可以被認為是廣角成像部分，其具有相對較大的光圈、相對較短的焦距以及相對較寬的FOV。成像部分120或130可以被認為是遠攝成像部分，其具有相對較小的光圈、相對較長的焦距以及相對較窄的FOV。例如，成像部分110中的鏡頭111以及圖像感測器112可以分別被認為是廣角鏡頭以及廣角圖像感測器。類似地，成像部分120中的鏡頭121以及圖像感測器122可以分別被認為是遠攝鏡頭以及遠攝圖像感測器。成像部分110可以具有相對大的光圈以及相對短的焦距。
由成像部分120(即，遠攝成像部分)捕獲的遠攝圖像在低光條件下通常可能遭受高雜訊，因此它很難獲得用於遠攝圖像的良好的去噪結果，或者去噪的遠攝圖像可能丟失太多的圖像細節。此外，需要大尺寸的濾波內核對遠攝圖像進行去噪，並且它表明更多的功率消耗。
然而，廣角圖像以及遠攝圖像可以被融合來改善由處理器140生成的預覽圖像的整體圖像品質。例如，雖然成像部分120(即，遠攝圖像部分)具有較窄的FOV(如，第二FOV)，成像部分120在第二FOV中的圖像細節比成像部分110在第二FOV內部的相同區域的圖像細節好。具體地，遠攝圖像相比於第二FOV的區域中的廣角圖像具有更高的PPA值，因此遠攝圖像可以被用於第二FOV的區域中的圖像融合。在後續部分中，將會介紹一種多尺度圖像融合方法，以及該方法能夠生成具有精細細節的圖像並同時抑制雜訊。此外，該方法可以應用於攝像機裝置100中至少三個成像部分中的任意兩個成像部分。
在本發明的技術領域中，在暗環境中實現輸出圖像的較好圖像品質是一個挑戰。因為由遠攝成像部分捕獲的遠攝圖像可能具有極高的雜訊等級，市場上配備有廣角成像部分以及遠攝成像部分的傳統攝像機裝置一般只使用由廣角成像部分捕獲的廣角圖像作為暗環境中的輸出圖像而不管變焦因數。然而，由傳統攝像機裝置執行的方法可能因使用數位變焦而導致不良圖像品質。
第3圖示出了根據本發明另一個實施例的使用由三個成像部分所捕獲的圖像進行的圖像融合處理。第4圖是根據第3圖的實施例的相對於變焦因數的成像部分的PPA值。
參考第2A圖以及第3圖，在一個實施例中，出於描述的目的，攝像機裝置100中成像部分的數目還是3，即，成像部分211、212以及213。成像部分211、212、213分別具有PPA值PPA1 、PPA2 以及PPA3 。成像部分211、212以及213的FOV可以參考第2A圖，其中成像部分211的FOV1 對應於變焦因數1x，以及成像部分212的FOV2 對應於變焦因數k2 x，以及成像部分213的FOV3 對應於變焦因數k3 x。此外，在一個實施例中，成像部分211、212以及213的FOV1、FOV2以及FOV3分別被視為第2A圖中的塊211、212以及213。
具體地，成像部分211、212以及213可以設計為用於不同的焦距以及FOV。例如，參考第2A圖，塊222示出了在塊221(即，FOV1 )內部的FOV2 的範圍，以及塊223示出了在塊221(即，FOV1 )內部的FOV3 的範圍。此外，FOV3 的範圍比FOV2 的範圍更窄。需要注意的是，因為成像部分211~213中的圖像感測器可以具有相同的解析度(即，相同的像素數目)以及成像部分213具有最窄的視場FOV3 ，成像部分213可以具有三個成像部分211~213中最高的PPA值。
在第3圖的實施例中，還可以對FOV1 中的不同區域執行不同的圖像融合處理。例如，FOV1 (即，塊421)的範圍可以被分成第一區域、第二區域以及第三區域。第一區域可以是FOV3 (即，塊423)的範圍，以及第二區域(即，區域431)可以是FOV2 (即，塊422)的範圍內部以及在FOV3 的範圍外部的範圍，以及第三區域(即，區域432)可以是在FOV1 的範圍內部以及在FOV2 的範圍外部的範圍。此外，由處理器140生成的輸出圖像可以分別由第一區域、第二區域以及第三區域(即，第一輸出圖像、第二輸出圖像以及第三輸出圖像)的圖像融合結果所形成。
關於第一區域R1(即，塊423)，可以使用第一圖像I1’、第二圖像I2’以及第三圖像I3’計算第一輸出圖像X1。例如，可以使用等式(7)計算第一輸出圖像X1：
Figure 02_image017
其中I1’R1 以及I2’R1 分別表示FOV3 的範圍(即，塊423)內部的第一圖像I1以及第二圖像I2。W1、W2以及W3表示FOV3的範圍內部的第一圖像I1’、第二圖像I2’以及第三圖像I3’的權重因數。權重因數W1、W2以及W3是0與1之間的值，以及權重因數W1、W2與W3之間的關係可以使用等式(8)來表示：
Figure 02_image019
特別地，響應於變焦因數是1x，第一圖像I1的權重因數W1等於1，以及第二圖像I2以及第三圖像I3的權重因數W2以及W3等於0。即，回應於變焦因數是1x，由成像部分211捕獲的整個第一圖像I1’R1 被用作為第一輸出圖像X1。
在第一階段，攝像機裝置100的變焦因數Kx逐漸地從1x調整到預定變焦因數Zx。第一圖像I1的權重因數W1逐漸地從1減少到預定比率T1，第二圖像以及第三圖像I3的權重因數W2以及W3分別逐漸地從0增加到預定比率T2以及T3。此外，權重因數W2的增加率可以稍稍地高於或等於權重因數W3的增加率。需要注意的是，預定比率T1、T2以及T3的和也是1。在一些實施例中，預定比率T1、T2以及T3可以彼此相等或不同，但本發明不限於此。
此外，回應於處理器140檢測到攝像機裝置100處於暗環境中(如，場景的亮度低於預定閾值)，處理器140可以動態地調整預定比率T1、T2以及T3，其中T1＞T2＞=T3。特別地，回應於攝像機裝置100處於暗環境中，由成像部分212以及213捕獲的第二圖像以及第三圖像可以具有極高的雜訊等級，即第一雜訊等級以及第二雜訊等級，其中第二雜訊等級高於第一雜訊等級。因此，處理器140可以減少用於第二圖像以及第三圖像的預定比率T2以及T3，以便可以減少融合的輸出圖像的雜訊。
在一些實施例中，權重因數W1、W2以及W3相對於攝像機裝置100的變焦因數的關係可以記錄在存儲於攝像機裝置100的非揮發性記憶體(未在第1圖中示出)的尋找表中。或者，處理器140可以使用線性函數或冪函數來確定相對於變焦因數的權重因數W1、W2以及W3，但本發明不限於此。例如，在表1中示出權重因數W1、W2以及W3相對於正常環境(如，攝像機裝置的ISO值大約是100)中變焦因數的關係。
Figure 108110218-A0304-0001
 表1
附加地或替換地，權重因數W1、W2以及W3還可以由成像部分211、212以及213的ISO值或成像部分211的ISO值確定。通常，攝像機裝置100的ISO值可以是從大約50或100直到大約800至8000的範圍。回應於處理器140確定攝像機裝置100使用較大ISO值，處理器140可以增加權重因數W1以及減少權重因數W2以及W3。
例如，假設攝像機裝置100的變焦因數是2.0x以及ISO值是100，根據表1，獲得權重因數W1、W2以及W3分別為0.4、0.3以及0.3。處理器140可以根據表2調整權重因數W1、W2以及W3，表2記錄使用固定變焦因數2.0x的ISO值相對於權重因數W1、W2以及W3的關係。
Figure 108110218-A0304-0002
 表2
需要注意的是，表2為用於2.0x的變焦因數的設計。權重因數W1、W2以及W3相對於使用不同變焦因數的關於ISO值的關係可以以類似方式記錄在另一個尋找表中。特別地，較大ISO值可指示攝像機裝置100所位於的“較暗的”環境。當攝像機裝置100的ISO值變得更高時，遠攝成像部分(如，成像部分212或213)的雜訊等級可能變得更高。因此，可以減少用於第二圖像以及第三圖像的權重因數W2以及W3來減少融合的輸出圖像中雜訊的影響。
在第二階段，攝像機裝置100的變焦因數Kx逐漸地從Zx調整到k2 x，以及權重因數W1、W2以及W3可以分別被保持在預定比率T1、T2以及T3。需要注意的是，預定比率T1、T2以及T3的和也等於1。在一些實施例中，預定比率T1、T2以及T3可以彼此相等或不同，但本發明不限於此。
在第三階段，攝像機裝置100的變焦因數Kx逐漸地從k2 x調整到k3 x，以及權重因數W1、W2以及W3可以分別保持在預定比率T1、T2以及T3。在第四階段，攝像機裝置100的變焦因數Kx逐漸地從k3 x調整到更大的變焦因數，以及權重因數W1、W2以及W3可以還分別保持在預定比率T1、T2以及T3。
特別地，響應於變焦因數等於或大於預定變焦因數Zx，權重因數W1、W2以及W3可以被保持在預定比率T1、T2以及T3。
關於第二區域R2(即，區域431)，因為成像部分213的FOV3 僅覆蓋小於成像部分211的FOV1 以及212的FOV2 (參見第2A圖)的塊423，可以使用第一圖像I1’以及第二圖像I2’來計算第二輸出圖像X2。例如，可以使用等式(9)計算第二輸出圖像X2：
Figure 02_image021
其中I1’R2 以及I2’R2 分別表示在第二區域431內部的第一圖像I1’以及第二圖像I2’，第二區域431是在FOV2 (即，塊422)內部以及在FOV3 (即，塊423)外部的區域。W1以及W2分別表示第二區域中第一圖像I1’以及第二圖像I2’的權重因數。
在第一階段，攝像機裝置100的變焦因數Kx逐漸地從1x調整到Zx。第一圖像I1’的權重因數W1可以逐漸地從1減少到預定比率T4，以及第二圖像I2’的權重因數W2可以從0增加到預定比率T5。需要注意的是，預定比率T4以及T5的和也等於1。
在第二階段以及第三階段，攝像機裝置100的變焦因數Kx逐漸地從Zx調整到k2 x，以及從k2 x調整到k3 x，以及權重因數W1以及W2分別保持在預定比率T4以及T5。
關於第三區域R3(即，區域432)，因為僅成像部分211的FOV1 可以覆蓋在FOV1 (即，塊421)內部以及FOV2 (即，塊422)外部的第三區域432，可以使用第一圖像I1’計算第三輸出圖像X3。因此，第三區域R3中第一圖像I1’的權重因數W1可以保持為1。需要注意的是，因為攝像機裝置100正變焦到超出區域432範圍的塊422或423中，這裡沒有第二、第三以及第四階段。
在第3~4圖的實施例中，處理器140可以使用由成像部分211、212以及213捕獲的第一圖像I1’、第二圖像I2’以及第三圖像I3’，在輸出圖像的不同區域執行不同的圖像融合處理，以便在輸出圖像中實現不同圖像區域之間的平滑過渡。此外，如上所述，可以在變焦的不同階段調整第一圖像I1’、第二圖像I2’以及第三圖像I3’的權重因數。在第4圖中示出了關於變焦因數Kx的成像部分211、212以及213的PPA值PPA1 、PPA2 、PPA3 的關係。可以理解的是，由於在不同區域中的上述提到的圖像融合處理，融合的輸出圖像的整體PPA可以被保持在定值(constant value)。
第5A圖示出了根據本發明實施例的由攝像機裝置的成像部分所捕獲的圖像的高頻分量以及低頻分量。第5B圖示出了根據本發明實施例的由攝像機裝置的成像部分所捕獲的圖像多分解級中的高頻分量以及低頻分量。第5C圖示出了根據本發明實施例的由攝像機裝置的成像部分所捕獲的第一圖像以及第二圖像的多分解級中的高頻分量。
在一個實施例中，可以使用本領域公知的技術將由成像部分211、212以及213捕獲的每一第一圖像、第二圖像以及第三圖像分成低頻分量以及高頻分量。參考第5A圖，例如，圖像500可以是由成像部分211捕獲的第一圖像，以及圖像500被分成高頻分量5010以及低頻分量5020。此外，多尺度分解方法(例如，可以包括但不限於，高斯金字塔、拉普拉斯金字塔、小波轉換等)可以用於匯出不同尺度中的各種高頻分量。如第5B圖所示，高頻分量5010表示分解級0(即，100%原始大小)中的高頻分量，以及高頻分量5011、5012、5013分別表示分解級1(即，每一維度的50%)、分解級2(即，每一維度的22.5%)以及分解級3(即，每一維度的12.25%)中的高頻分量，也即，分解級越大圖像的尺寸越小。此外，低頻分量5020表示分解級0(即，100%的原始大小)中的低頻分量，以及低頻分量5021、5022、5023分別表示分解級1、分解級2以及分解級3中的低頻分量。類似地，由成像部分212以及213捕獲的第二圖像以及第三圖像也可以被分成各自的高頻分量以及低頻分量(未在第5B圖中示出)。
出於描述的目的，可以使用第一圖像以及第二圖像的高頻分量執行圖像融合處理。例如，參考第5C圖，高頻分量5100、5101、5102以及5103分別表示分解級0、分解級1、分解級2以及分解級3中第二圖像的高頻分量。此外，因為第一圖像以及第二圖像可能在FOV2 的範圍內重疊，在FOV2 範圍內的第一圖像被放大以匹配第二圖像的維度。在實施例中，第一圖像以及第二圖像的高頻分量的權重因數基於分解級變化。例如，在分解級3中，高頻分量5103的權重因數可以是100%以及高頻分量5013的權重因數可以是0%，以及它表明分解級3中輸出高頻分量可以是整個高頻分量5103。在分解級2中，高頻分量5102的權重因數可以是90%以及高頻分量5012的權重因數可以是10%。在分解級1中，高頻分量5101的權重因數可以是75%以及高頻分量5011的權重因數可以是25%。在分解級0中，高頻分量5100的權重因數可以是50%以及高頻分量5010的權重因數可以是50%。需要注意的是，本發明不限於上述提到的用於圖像混合期間的高頻分量的權重因數。
因此，可以藉由使用上述提到的權重因數執行圖像混合來計算每一合成級中所生成的高頻分量。此外，可以執行本領域技術人員所公知的多尺度圖像重構處理來使用第一圖像的低頻分量以及從圖像混合中獲得的高頻分量重構融合的輸出圖像。需要注意的是，由於其高雜訊等級，不使用第二圖像的低頻分量。因此，所生成的輸出圖像可以保持第一圖像的低頻分量以及混合的高頻分量的圖像細節，從而實現更好的圖像品質以及抑制所輸出圖像的雜訊。
第6圖示出了根據本發明實施例的攝像機裝置中圖像融合的方法的流程圖。該方法包括下列步驟：
步驟S610：利用第一成像部分、第二成像部分以及第三成像部分分別捕獲具有第一FOV、第二FOV以及第三FOV的第一圖像、第二圖像以及第三圖像。例如，該第一FOV比該第二FOV更寬，以及該第二FOV比該第三FOV更寬，以及該第二變焦因數大於該第一變焦因數。
步驟S620：回應於該攝像機裝置的變焦因數在第一變焦因數以及第二變焦因數之間，在該第一圖像、該第二圖像以及該第三圖像上執行第一圖像融合處理來生成第一輸出圖像。例如，可以在該第一圖像、該第二圖像以及該第三圖像之間的重疊區域上執行該第一圖像融合處理，以及該第一圖像、該第二圖像以及該第三圖像全部盡可能地用於該第一圖像融合處理，如該攝像機裝置的所變焦因數在該第一變焦因數(如，第一成像部分的1x)與該第二變焦因數(第二成像部分的k2 x)之間。此外，可以在該第二FOV內部以及在該第三FOV外部的該第一圖像以及該第二圖像執行第二圖像融合處理，以及在該第一FOV內部以及在該第二FOV外部的該第一圖像上執行第二圖像融合處理。
鑒於上述，已經提供了一種用於在攝像機裝置中進行圖像融合的攝像機裝置及方法，以在圖像變焦期間實現更好的圖像執行並抑制輸出圖像的雜訊。
雖然已經藉由實施例與根據優選實施例描述了本發明，但應當理解，本發明不限於所公開的實施例。相反，其旨在覆蓋各種修改及類似的佈置(如對本領域技術人員顯而易見的)。因此，該權利要求的範圍應該給予最廣泛的解釋，以便包括所有這些修改以及類似的佈置。
110、120、130‧‧‧成像部分111、121、131‧‧‧鏡頭112、122、132‧‧‧圖像感測器140‧‧‧處理器150‧‧‧顯示面板211~21N‧‧‧成像部分221~22N‧‧‧塊231‧‧‧第二區域232‧‧‧第三區域421、422、423‧‧‧塊431‧‧‧第二區域432‧‧‧第三區域500‧‧‧圖像5010、5011、5012、5013‧‧‧高頻分量5020、5021、5022、5023‧‧‧低頻分量S610~S620‧‧‧步驟
藉由閱讀後續的細節描述以及參考附圖所給的示例可以完全理解本發明，其中： 第1圖示出了根據本發明實施例的一攝像機裝置的框圖。 第2A圖示出了根據本發明實施例的一攝像機裝置中成像部分的變焦因數與FOV之間的關係。 第2B圖示出了根據第2A圖的實施例的使用由三個成像部分所捕獲的圖像的圖像融合處理。 第2C圖示出了根據第2B圖的實施例的相對於變焦因數的輸出圖像的整體PPA值。 第3圖示出了根據本發明另一實施例的使用由三個成像部分所捕獲的圖像的圖像融合處理。 第4圖示出了根據第3圖的實施例的相對於變焦因數的成像部分的PPA值。 第5A圖示出了根據本發明實施例的由攝像機裝置的成像部分所捕獲的圖像的高頻分量以及低頻分量。 第5B圖示出了根據本發明實施例的由攝像機裝置的成像部分所捕獲的圖像的多個分解級中的高頻分量以及低頻分量。 第5C圖示出了根據本發明實施例的由攝像機裝置的成像部分所捕獲的第一圖像以及第二圖像的多個分解級中的高頻分量。 第6圖示出了根據本發明實施例的攝像機裝置中圖像融合方法的流程圖。
S610~S620‧‧‧步驟

Claims (18)

  1. 一種攝像機裝置，包括：一第一成像部分，配置為捕獲具有一第一視場的一第一圖像；一第二成像部分，配置為捕獲具有一第二視場的一第二圖像；一第三成像部分，配置為捕獲具有一第三視場的一第三圖像；以及一處理器，耦合到該第一成像部分、該第二成像部分以及該第三成像部分，以及配置為回應於該攝像機裝置的一變焦因數在一第一變焦因數與一第二變焦因數之間，藉由在該第一圖像、該第二圖像以及該第三圖像上執行一第一圖像融合處理來生一第一輸出圖像，其中該第一視場比該第二視場更寬，以及該第二視場比該第三視場更寬，以及該第二變焦因數大於該第一變焦因數；其中該第一變焦因數對應於該第一成像部分的該第一視場，以及該第二變焦因數對應於該第二成像部分的該第二視場，其中該處理器配置為在一第一區域的該第一圖像、該第一區域內的該第二圖像、以及該第三圖像上執行該第一圖像融合處理，以及該第一區域表示該第三視場；以及回應於該變焦因數在該第一變焦因數與一預定變焦因數之間，該預定變焦因數小於該第二變焦因數，該處理器進一步配置為與該變焦因數成比例的將在該第三視場內的該第一圖像的一第一權重因數減少到一第一預定比率，以及與該變焦因數成比例的將在該第三視場內的該第二圖像的一第二權重因數增加到一第二預定比率，以及與該變焦因數成比例的將該第三圖像的一第三權重因數增加到一第三預定比率，其中該第一預定比率、該第二預定比率以及該第三預定比率的和等於1。
  2. 如申請專利範圍第1項所述之攝像機裝置，回應於該變焦因數從該第一變焦因數增大到該第二變焦因數，該處理器配置為與該變焦因數成比例的將在該第三視場內的該第一圖像的一第一權重因數減少到0，以及與該變焦因數成比例的將在該第三視場內的該第二圖像的一第二權重因數增加到一第一預定的比率，以及與該變焦因數成比例的將該第三圖像的一第三權重因數增加到一第二預定的比率，其中該第一預定比率以及該第二預定比率的和等於1。
  3. 如申請專利範圍第1項所述之攝像機裝置，一第三變焦因數對應於該第三成像部分的該第三視場，以及該第三變焦因數大於該第二變焦因數，其中回應於該變焦因數從該第二變焦因數增大到該第三變焦因數，該處理器配置為與該變焦因數成比例的將該第二圖像的該第二權重因數減少到0，以及與該變焦因數成比例的將該第三圖像的該第三權重因數增加到1。
  4. 如申請專利範圍第1項所述之攝像機裝置，該處理器進一步配置為藉由對在一第二區域內的該第一圖像以及該第二區域內該第二圖像上執行一第二圖像融合處理來生成一第二輸出圖像，以及該第二區域表示在該第二視場內部以及在該第三視場外部的一區域，其中該處理器進一步配置為回應於該變焦因數在該第一變焦因數與該第二變焦因數之間，使用在一第三區域內的該第一圖像作為一第三輸出圖像，以及該第三區域表示在該第一視場內部以及在該第二視場外部的一區域。
  5. 如申請專利範圍第2項所述之攝像機裝置，該處理器進一步配置為根據來自該第一成像部分、該第二成像部分以及該第三成像部分的各自的數模轉換電路的一數模轉換值，調整每一該第一權重因數、該第二權重因數以及該第三權重因數。
  6. 如申請專利範圍第2項所述之攝像機裝置，該處理器進一步配置為根據由該第一成像部分檢測到的一ISO值，調整每一該第一權重因數、該第二權重因數以及該第三權重因數。
  7. 如申請專利範圍第2項所述之攝像機裝置，該攝像機裝置進一步包括M個成像部分，該M個成像部分包括該第一成像部分、該第二成像部分以及該第三成像部分，其中回應於同時啟動該攝像機裝置的至多N個成像部分的一功率消耗約束，該處理器從該M個成像部分中啟動具有最高的N個視場覆蓋範圍的N個成像部分，其中M是等於或大於3的一整數，以及N是在1與M之間的一整數。
  8. 如申請專利範圍第1項所述之攝像機裝置，回應於該第一圖像的一平均亮度低於一預定亮度與/或該第一圖像的一ISO值高於一預定閾值，該處理器進一步配置為增加該第一預定比率，以及減少該第二預定比率以及該第三預定比率。
  9. 如申請專利範圍第1項所述之攝像機裝置，該處理器進一步配置為在該第一圖像融合處理中，在每一該第一圖像、該第二圖像以及該第三圖像的一各自的高頻分量上執行一多尺度分解方法，其中回應於該第一圖像融合處理的一較大的分解級，增加用於一高頻分量的該第一權重因數並且減少該第二權重因數以及該第三權重因數。
  10. 一種攝像機裝置中圖像融合的方法，該攝像機裝置配備有一第一成像部分、一第二成像部分以及一第三成像部分，該方法包括：利用該第一成像部分、該第二成像部分以及該第三成像部分分別捕獲具有一第一視場、一第二視場以及一第三視場的一第一圖像、一第二圖像以及一第 三圖像；以及回應於該攝像機裝置的一變焦因數在一第一變焦因數與一第二變焦因數之間，藉由在該第一圖像、該第二圖像以及該第三圖像上執行一第一圖像融合處理來生成一第一輸出圖像，其中該第一視場比該第二視場更寬，以及該第二視場比該第三視場更寬，以及該第二變焦因數大於該第一變焦因數；該第一變焦因數對應於該第一成像部分的該第一視場，以及該第二變焦因數對應於該第二成像部分的該第二視場，以及該方法進一步包括：在一第一區域內的該第一圖像、在該第一區域內的該第二圖像、以及該第三圖像上執行該第一圖像融合處理，以及該第一區域表示該第三視場；以及回應於該變焦因數在該第一變焦因數與一預定變焦因數之間，該預定變焦因數小於該第二變焦因數，該處理器進一步配置為與該變焦因數成比例的將在該第三視場內的該第一圖像的一第一權重因數減少到一第一預定比率，以及與該變焦因數成比例的將在該第三視場內的該第二圖像的一第二權重因數增加到一第二預定比率，以及與該變焦因數成比例的將該第三圖像的一第三權重因數增加到一第三預定比率，其中該第一預定比率、該第二預定比率以及該第三預定比率的和等於1。
  11. 如申請專利範圍第10項所述之攝像機裝置中圖像融合的方法，進一步包括：回應於該變焦因數從該第一變焦因數增大到該第二變焦因數，與該變焦因數成比例的將在該第三視場內的該第一圖像的一第一權重因數減少到0，與該變焦因數成比例的將在該第三視場內的該第二圖像的一第二權重因數增加到一第一預定比率，以及與該變焦因數成比例的將該第三圖像的一第三權重因數增加 到一第二預定比率，其中該第一預定比率與該第二預定比率的和等於1。
  12. 如申請專利範圍第10項所述之攝像機裝置中圖像融合的方法，一第三變焦因數對應於該第三成像部分的該第三視場，以及該第三變焦因數大於該第二變焦因數，以及該方法進一步包括：回應於該變焦因數從該第二變焦因數增大到該第三變焦因數，與該變焦因數成比例的將該第二圖像的該第二權重因數減少到0，以及與該變焦因數成比例的將該第三圖像的該第三權重因數增加到1。
  13. 如申請專利範圍第10項所述之攝像機裝置中圖像融合的方法，進一步包括：藉由在一第二區域內的該第一圖像以及該第二區域內的該第二圖像上執行一第二圖像融合進程來生成一第二輸出圖像，以及該第二區域表示在該第二視場內部以及該第三視場外部的一區域；以及回應於該變焦因數在該第一變焦因數與該第二變焦因數之間，使用在一第三區域內的該第一圖像作為一第三輸出圖像，以及該第三區域表示在該第一視場內部以及該第二視場外部的一區域。
  14. 如申請專利範圍第11項所述之攝像機裝置中圖像融合的方法，進一步包括：根據來自該第一成像部分、該第二成像部分以及該第三成像部分的一各自數模轉換電路的一數模轉換器值，調整每一該第一權重因數、該第二權重因數以及該第三權重因數。
  15. 如申請專利範圍第11項所述之攝像機裝置中圖像融合的方法，進一步包括： 根據由該第一成像部分檢測到的一ISO值，調整每一該第一權重因數、該第二權重因數以及該第三權重因數。
  16. 如申請專利範圍第11項所述之攝像機裝置中圖像融合的方法，該攝像機裝置進一步包括M個成像部分，該M個成像部分包括該第一成像部分、該第二成像部分以及該第三成像部分，以及該方法進一步包括：回應於同時啟動該攝像機裝置的至多N個成像部分的一功率消耗約束，從該M個成像部分中啟動具有最高的N個視場覆蓋範圍的N個成像部分，其中M是等於或大於3的一整數，以及N是在1與M之間的一整數。
  17. 如申請專利範圍第10項所述之攝像機裝置中圖像融合的方法，進一步包括：回應於該第一圖像的一平均亮度低於一預定亮度與/或該第一圖像的一ISO值高於一預定閾值，增加該第一預定比率，以及減少該第二預定比率以及該第三預定比率。
  18. 如申請專利範圍第10項所述之攝像機裝置中圖像融合的方法，進一步包括：在該第一圖像融合處理中，在每一該第一圖像、該第二圖像以及該第三圖像的一各自的高頻分量上執行一多尺度分解方法；以及回應於該第一圖像融合處理的一較大的分解級，增加一高頻分量的該第一權重因數以及減少該第二權重因數以及該第三權重因數。
TW108110218A 2018-03-26 2019-03-25 攝像機裝置中圖像融合的方法及相關裝置 TWI720445B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862647915P 2018-03-26 2018-03-26
US62/647,915 2018-03-26
US16/296,317 US10764512B2 (en) 2018-03-26 2019-03-08 Method of image fusion on camera device equipped with multiple cameras
US16/296,317 2019-03-08

Publications (2)

Publication Number Publication Date
TW201941156A TW201941156A (zh) 2019-10-16
TWI720445B true TWI720445B (zh) 2021-03-01

Family

ID=67983810

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108110218A TWI720445B (zh) 2018-03-26 2019-03-25 攝像機裝置中圖像融合的方法及相關裝置

Country Status (3)

Country Link
US (2) US10764512B2 (zh)
CN (1) CN110365894B (zh)
TW (1) TWI720445B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523854B2 (en) 2015-06-25 2019-12-31 Intel Corporation Array imaging system having discrete camera modules and method for manufacturing the same
US10764512B2 (en) * 2018-03-26 2020-09-01 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras
US11320632B2 (en) 2018-07-20 2022-05-03 Samsung Electro-Mechanics Co., Ltd. Optical imaging system and mobile electronic device
CN110913122B (zh) * 2018-09-18 2021-08-10 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质
US11653097B2 (en) * 2018-10-12 2023-05-16 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
CN109639997B (zh) * 2018-12-20 2020-08-21 Oppo广东移动通信有限公司 图像处理方法、电子装置及介质
CN110809101B (zh) * 2019-11-04 2022-05-17 RealMe重庆移动通信有限公司 图像变焦处理方法及装置、电子设备、存储介质
CN111935397B (zh) * 2020-07-07 2022-04-22 北京迈格威科技有限公司 图像的处理方法、装置、电子设备和计算机可读介质
US11405563B2 (en) 2020-11-10 2022-08-02 Qualcomm Incorporated Spatial alignment transform without FOV loss

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI524752B (zh) * 2010-05-03 2016-03-01 量宏科技股份有限公司 用於高解析度影像及視訊擷取之裝置及方法
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304284B1 (en) * 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
US20040075741A1 (en) * 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
US7206136B2 (en) * 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
KR100808610B1 (ko) * 2006-06-13 2008-02-28 중앙대학교 산학협력단 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
JP2012521673A (ja) * 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110242342A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US20120075489A1 (en) * 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
JP5578749B2 (ja) * 2011-10-19 2014-08-27 富士フイルム株式会社 変倍ファインダ装置及び表示情報の輝度変更方法
US9609190B2 (en) * 2012-10-31 2017-03-28 Invisage Technologies, Inc. Devices, methods, and systems for expanded-field-of-view image and video capture
KR102023179B1 (ko) * 2013-02-21 2019-09-20 삼성전자주식회사 듀얼 카메라를 포함하는 전자장치에서 듀얼 리코딩 촬영을 위한 방법 및 장치
CN105491278B (zh) * 2014-10-09 2018-09-25 聚晶半导体股份有限公司 影像撷取装置及数字变焦显示方法
US9912865B2 (en) * 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
CN105657237B (zh) * 2014-11-13 2019-02-19 聚晶半导体股份有限公司 图像获取装置及其数字变焦方法
JP6172178B2 (ja) * 2015-02-17 2017-08-02 コニカミノルタ株式会社 画像処理システム、画像処理装置、および画像形成装置
US9485432B1 (en) * 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US9906715B2 (en) * 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法
US10356300B2 (en) * 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
US10142543B1 (en) * 2017-05-12 2018-11-27 Mediatek Inc. Power reduction in a multi-sensor camera device by on-demand sensors activation
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
CN107343155B (zh) * 2017-07-10 2019-03-29 Oppo广东移动通信有限公司 抑制aec跳变的方法及装置、终端设备
US10764512B2 (en) * 2018-03-26 2020-09-01 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI524752B (zh) * 2010-05-03 2016-03-01 量宏科技股份有限公司 用於高解析度影像及視訊擷取之裝置及方法
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法

Also Published As

Publication number Publication date
TW201941156A (zh) 2019-10-16
US20200358965A1 (en) 2020-11-12
CN110365894A (zh) 2019-10-22
US11172145B2 (en) 2021-11-09
US10764512B2 (en) 2020-09-01
CN110365894B (zh) 2021-05-07
US20190297275A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
TWI720445B (zh) 攝像機裝置中圖像融合的方法及相關裝置
JP6945744B2 (ja) 撮影方法、装置、およびデバイス
US8306360B2 (en) Device and method for obtaining clear image
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
US9113075B2 (en) Image processing method and apparatus and digital photographing apparatus using the same
US20120293706A1 (en) Image pickup device, digital photographing apparatus using the image pickup device, auto-focusing method, and computer-readable medium for performing the auto-focusing method
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
US20180241949A1 (en) Image pickup apparatus, control method for image pickup apparatus
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
WO2022066353A1 (en) Image signal processing in multi-camera system
US9167150B2 (en) Apparatus and method for processing image in mobile terminal having camera
US7684688B2 (en) Adjustable depth of field
US8681245B2 (en) Digital photographing apparatus, and method for providing bokeh effects
JP2012217090A (ja) 撮像装置、撮影レンズユニット、および撮像ユニット
US20230196529A1 (en) Image processing apparatus for capturing invisible light image, image processing method, and image capture apparatus
US20100097499A1 (en) Image pickup apparatus and method of using the same
US9288461B2 (en) Apparatus and method for processing image, and computer-readable storage medium
US20190052815A1 (en) Dual-camera image pick-up apparatus and image capturing method thereof
TW202307791A (zh) 選擇性地增加具有多個感興趣區域的場景中的景深
JP2018181070A (ja) 画像処理装置および画像処理方法
JP5282533B2 (ja) 画像処理装置、撮像装置およびプログラム
US20220217285A1 (en) Image processing device, image processing method, and recording medium
WO2020044844A1 (ja) 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置
CN117356102A (zh) 多相机系统中辅助相机的镜头定位
CN116320743A (zh) 对象识别方法、装置、电子设备以及计算机存储介质