TWI811386B - 應用處理器 - Google Patents

應用處理器 Download PDF

Info

Publication number
TWI811386B
TWI811386B TW108121401A TW108121401A TWI811386B TW I811386 B TWI811386 B TW I811386B TW 108121401 A TW108121401 A TW 108121401A TW 108121401 A TW108121401 A TW 108121401A TW I811386 B TWI811386 B TW I811386B
Authority
TW
Taiwan
Prior art keywords
image
signal
processor
output
receive
Prior art date
Application number
TW108121401A
Other languages
English (en)
Other versions
TW201937449A (zh
Inventor
李瑞勳
李春承
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201937449A publication Critical patent/TW201937449A/zh
Application granted granted Critical
Publication of TWI811386B publication Critical patent/TWI811386B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

一種影像處理裝置。影像處理裝置包括：第一透鏡；第二透鏡，設置在第一透鏡的一側；第三透鏡，設置在第一透鏡的另一側；第一影像感測器，接收從第一透鏡獲得的第一影像的輸入以產生第一影像信號；第二影像感測器，接收從第二透鏡獲得的第二影像的輸入以產生第二影像信號；第三影像感測器，接收從第三透鏡獲得的第三影像的輸入以產生第三影像信號；選擇器，接收第二及第三影像信號的輸入，在第一條件輸出第二影像信號並在與第一條件不同的第二條件輸出第三影像信號；以及影像處理器，利用第一影像信號及選擇器的輸出信號執行影像處理。

Description

應用處理器
本發明概念涉及處理器、包括處理器的影像處理裝置以及利用影像處理裝置處理影像的方法。
某些影像處理裝置可包括多個照相機模組相應影像，統稱為多個影像。因此，此類影像處理裝置可處理多個影像以產生單個影像。
為了獲取相對高品質的影像，給定的照相機模組可包括雙感測器。包括雙感測器的照相機模組可包括例如廣角透鏡及攝遠透鏡，其中可在例如在相對高照度環境中執行的變焦操作（zoom operation）期間有利地使用廣角透鏡與攝遠透鏡的組合能力。然而，此不適用於在相對低照度環境中的情形，在所述相對低照度環境中光照等級（light level）不足以實現攝遠透鏡的有利效果。
本發明概念的方面提供一種能夠在照度高時提高變焦操作的性能的處理器、包括所述處理器的影像處理裝置以及處理影像的方法。
本發明概念的另一個方面提供一種即使在照度低時仍能夠提高影像品質的處理器、包括所述處理器的影像處理裝置以及處理影像的方法。
本發明概念的又一方面提供一種能夠減小由每一透鏡獲得的影像的校正誤差（rectification error）的處理器、包括所述處理器的影像處理裝置以及處理影像的方法。
本發明概念的方面並非僅限於以上提到的這些方面，且所屬領域中的技術人員通過以下說明可清楚地理解未被提到的另一技術問題。
根據本發明概念的一些實施例，提供一種影像處理裝置，所述影像處理裝置包括：第一透鏡；第二透鏡，設置在所述第一透鏡的一側；第三透鏡，設置在所述第一透鏡的另一側的；第一影像感測器，接收從所述第一透鏡獲得的第一影像的輸入以產生第一影像信號；第二影像感測器，接收從所述第二透鏡獲得的第二影像的輸入以產生第二影像信號；第三影像感測器，接收從所述第三透鏡獲得的第三影像的輸入以產生第三影像信號；選擇器，接收所述第二影像信號及所述第三影像信號的輸入，在第一條件下輸出所述第二影像信號，並在與所述第一條件不同的第二條件下輸出所述第三影像信號；以及影像處理器，利用所述第一影像信號及所述選擇器的輸出信號執行影像處理。
根據本發明概念的一些實施例，提供一種處理器，所述處理器包括：影像處理器，從第一照相機模組接收第一影像信號的提供；以及第一選擇器，從第二照相機模組接收第二影像信號的提供及從第三照相機模組接收第三影像信號的提供，在第一條件下輸出所述第二影像信號，並在與所述第一條件不同的第二條件下輸出所述第三影像信號，其中所述影像處理器利用所述第一影像信號及所述第一選擇器的輸出信號來執行影像處理。
根據本發明概念的一些實施例，提供一種影像處理方法，所述影像處理方法包括：由第一信號處理器從第一照相機模組接收第一影像信號，以執行第一影像信號處理；由選擇器從第二照相機模組接收第二影像信號及從第三照相機模組接收第三影像信號，以在第一條件下輸出所述第二影像信號以及在與所述第一條件不同的第二條件下輸出所述第三影像信號；以及由影像處理器利用所述第一信號處理器的輸出信號及所述選擇器的輸出信號產生輸出影像。
現在將參照圖1到圖8以一些額外的細節來闡述根據本發明概念的實施例的某些影像處理裝置。
圖1是根據本發明概念的一些實施例說明影像處理裝置的方塊圖，其中所述影像處理裝置一般包括照相機模組1110及處理器1120。
將由照相機模組1110分別產生的影像信號（例如，is1、is2及is3）提供到處理器1120，使得處理器1120可以產生輸出影像io的方式處理影像信號（例如，is1、is2及is3）中的一者或多者。在所說明的實施例中，可在照相機模組1110與處理器1120之間視情況包括各種傳統上理解的元件。舉例來說，由照相機模組1110產生的各影像信號（例如，is1、is2及is3）可通過某些構成元件及/或設置在照相機模組1110與處理器1120之間的介面而被提供到處理器1120。
在圖1所示的實施例中，照相機模組1110包括第一照相機模組1111、第二照相機模組1112以及第三照相機模組1113，其中第一照相機模組1111包括第一透鏡L1及第一影像信號輸出單元1010；第二照相機模組1112包括第二透鏡L2及第二影像信號輸出單元1020；且第三照相機模組1113包括第三透鏡L3及第三影像信號輸出單元1030。
此處，第一透鏡L1及第三透鏡L3中的至少一者可為與第二透鏡L2相比不同類型的透鏡。舉例來說，第一透鏡L1及第三透鏡L3可為廣角透鏡，而第二透鏡L2可為攝遠透鏡。
圖2A及圖2B分別是說明圖1所示的第一透鏡L1、第二透鏡L2及第三透鏡L3的示例性配置的圖式。
參照圖2A，第一透鏡L1、第二透鏡L2以及第三透鏡L3在電子裝置1000（例如，行動電話）的主體的一個側表面（例如，前側或後側）上水準設置。在某些配置中，第二透鏡L2設置在第一透鏡L1的一側，而第三透鏡L3設置在第一透鏡L1的相對（或另一）側。在圖2A中，第二透鏡L2與第三透鏡L3關於第一透鏡L1對稱設置。也就是說，假設第二透鏡L2在一側與第一透鏡L1間隔開第一距離d1且第三透鏡L3在另一側與第一透鏡L1間隔開第二距離d2，圖2A所示的實施例假設第一距離d1與第二距離d2實質上相同。然而，在本發明概念的其他實施例中未必總是此種情形。
在圖2A所示的實施例中，第一透鏡L1、第二透鏡L2以及第三透鏡L3的中心沿水平線線性設置，出於本說明的目的將對用語“水準”的任意定義假設為指跨越電子裝置1000的寬度的方向。利用此假設的定義，圖2B所示的實施例沿實質上相同的垂直線垂直設置第一透鏡L1、第二透鏡L2以及第三透鏡L3的中心。
參照圖2A及圖2B，在將物件設置成面對第一透鏡L1時，所述對象與第一透鏡L1被排列成彼此對準，且第一距離d1與第二距離d2彼此不同，自所述物件反射的光入射到第一透鏡L1、第二透鏡L2以及第三透鏡L3中的每一者的角度將彼此不同。
因此，在準確地表示所述對象時，在從第一透鏡L1、第二透鏡L2以及第三透鏡L3中的每一者獲得的影像（例如，id1、id2及id3）中可存在未補償（或未校正）的畸變。也就是說，由於第一距離d1與第二距離d2彼此不同，因此在所述影像（例如，id1、id2及id3）之間的某一程度的畸變可變得嚴重。
為了糾正上述影像畸變，可對從第一透鏡L1、第二透鏡L2以及第三透鏡L3中的每一者獲得的影像（例如，id1、id2及id3）中的每一者執行校正操作。此時，由於所述影像（例如，id1、id2及id3）之間的畸變程度可能是嚴重的，因此校正操作的誤差可相應地為大的。如果所得校正操作誤差是大的，那麼輸出影像（例如，io）的雜訊（偽像）可變大。
在影像處理裝置（如圖1所示的影像處理裝置）中，第二透鏡L2及第三透鏡L3可分別與第一透鏡L1間隔開實質上相同的間距（例如，第一距離d1=第二距離d2）。與其中第一距離d1與第二距離d2實質上不同的配置相比，其中第一距離d1與第二距離d2實質上相同時所述影像（例如，id1、id2及id3）之間的畸變程度可顯著減小。因此，相對於隨後對各影像（例如，id1、id2及id3）執行的校正操作，可減小校正誤差。
返回參照圖1，第一影像信號輸出單元1010可包括例如第一影像感測器1011、第一儲存裝置1012以及第一類比數位轉換器1013；第二影像信號輸出單元1020可包括例如第二影像感測器1021、第二儲存裝置1022以及第二類比數位轉換器1023；且第三影像信號輸出單元1030可包括例如第三影像感測器1031、第三儲存裝置1032以及第三類比數位轉換器1033。
第一影像id1、第二影像id2以及第三影像id3中的每一者分別是從第一透鏡L1、第二透鏡L2以及第三透鏡L3獲得。第一影像id1、第二影像id2以及第三影像id3然後可分別被提供到第一影像信號輸出單元1010、第二影像信號輸出單元1020以及第三影像信號輸出單元1030。第一影像感測器1011、第二影像感測器1021以及第三影像感測器1031中的每一者可用以分別感測第一影像id1、第二影像id2以及第三影像id3。
因此，第一影像感測器1011（例如，彩色影像感測器）接收第一影像id1以產生第一影像信號is1；第二影像感測器1021（例如，彩色感測器）接收第二影像id2以產生第二影像信號is2；且第三影像感測器1031（例如，單色影像感測器）接收第三影像id3以產生第三影像信號is3。
第一照相機模組1111、第二照相機模組1112以及第三照相機模組1113中的每一者的校準資料可分別儲存在第一儲存裝置1012、第二儲存裝置1022以及第三儲存裝置1032中，其中用語“校準資料”可包括例如與對應照相機模組的旋轉程度、焦距及/或光軸相關聯的資訊。
第一類比數位轉換器1013、第二類比數位轉換器1023、以及第三類比數位轉換器1033中的每一者可用以分別轉換第一影像信號id1、第二影像信號id2以及第三影像信號id3的格式。舉例來說，可將具有類比格式的第一影像信號id1、第二影像信號id2以及第三影像信號id3分別轉換成對應的數位信號（即，第一影像信號is1、第二影像信號is2及第三影像信號is3）。
分別由第一照相機模組1111、第二照相機模組1112及第三照相機模組1113提供的第一影像信號is1、第二影像信號is2及第三影像信號is3可被輸入到處理器1120。在圖1所示的實施例中，處理器1120包括第一介面110、第二介面120、第三介面130、第一選擇器210、第一信號處理器310、第二信號處理器320以及第一影像產生器400。然而，此僅是可用于實施本發明概念的各種實施例中的處理器的元件及/或功能的許多特定排列中的一者。
然而，在圖1所示的實施例中，第一介面110、第二介面120及第三介面130可分別用以將可與第一影像感測器1011、第二影像感測器1021以及第三影像感測器1031相容的一個或多個信號格式改變為與處理器1120更相容的格式。此處，第一介面110、第二介面120及第三介面130可為例如照相機序列介面（camera serial interface，CSI）。
在圖1中，第一影像信號is1通過第一介面110被提供到第一信號處理器310；第二影像信號is2通過第二介面120被提供到第一選擇器210；且第三影像信號is3通過第三介面130被提供到第一選擇器210。第一選擇器210接收第二影像信號is2及第三影像信號is3作為輸入，且回應於選擇信號SS，第一選擇器210輸出第二影像信號is2及第三影像信號is3中被選擇的一者作為被提供到影像處理器1121的第一影像輸出信號isa。在一些實施例中，第一選擇器210可被設置成與影像處理器1121的第二信號處理器320分離。
利用上述實施例作為工作實例，選擇信號SS可被配置成與第一條件C1（例如，邏輯值為‘0’）-選擇第二影像信號is2或第二條件C2（例如，邏輯值為‘1’）-選擇第三影像信號is3中的一者相關。就此來說，第一條件C1與第二條件C2可為不同的條件。舉例來說，第一條件C1可指示高照度環境（即，照度大於預定值）且第二條件C2可指示低照度環境（即，照度小於預定值）。在此上下文中，使用用語“照度”來指示與（例如）從第一照相機模組1111的第一透鏡L1獲得的成像對象相關聯的位置的亮度。
在一些實施例中，第一信號處理器310可用于感測照度並將對應的照度資訊傳送到選擇信號產生器310_SS，其中選擇信號產生器310_SS用於響應于照度資訊來產生選擇信號SS。在圖1所示的實施例中，選擇信號產生器310_SS被示出為設置在處理器1120中，但在本發明概念的其他實施例中未必總是此種情形。舉例來說，選擇信號產生器310_SS可為設置在處理器1120之外的硬體元件、或提供選擇信號產生功能的軟體元件。
在圖1中，處理器1120的影像處理器1121接收第一影像信號is1以及第一選擇器210的輸出信號isa與選擇信號SS的組合，以便產生輸出影像io。此處，影像處理器1121包括第一信號處理器310、第二信號處理器320以及第一影像產生器400。
第一信號處理器310接收第一影像信號is1作為輸入並執行第一影像信號處理以向第一影像產生器400提供第一輸出影像信號is1a。在此種配置中，例如，由第一信號處理器310提供的第一輸出影像信號is1a可為經執行由第一信號處理器310處理的第一影像信號處理的第一輸出信號is1。
圖3是在一個實施例中進一步說明圖1所示的第一信號處理器310的方塊圖。
參照圖3，第一信號處理器310可包括第一格式轉換器311、第一雜訊移除單元313、第一影像增強器315以及第二格式轉換器317。由第一信號處理器310執行的第一影像處理可包括：使第一影像信號is1依序穿過第一格式轉換器311、第一雜訊移除單元313、第一影像增強器315以及第二格式轉換器317，以產生具有適當的信號格式的第一輸出信號is1a。
也就是說，第一格式轉換器311可接收第一影像信號is1，改變第一影像信號is1的格式，並將格式經改變的第一影像信號提供到第一雜訊移除單元313。就此來說，第一影像信號is1可具有根據第一照相機模組1111使用的濾色器排列的具體形式界定的格式。舉例來說，在其中例如第一照相機模組1111的第一影像感測器1011包括拜耳（Bayer）顏色排列的情況下，第一格式轉換器311可將第一影像信號is1的格式轉換成傳統上理解的RGB格式。在此種情形中，第一格式轉換器311可將第一影像信號is1的格式轉換成RGB格式。第一格式轉換器311可例如執行去馬賽克（demosaic）操作。在其他實施例中，可根據第一照相機模組1111的第一影像感測器1011的濾色器的類型而省略第一格式轉換器311的操作。
第一雜訊移除單元313可用以從第一格式轉換器311提供的輸出信號移除一個或多個雜訊分量，並將所得的雜訊濾除輸出信號提供到第一影像增強器315。
繼而，從第一雜訊移除單元313接收雜訊濾除輸出信號的第一影像增強器315，執行提高所得信號的品質的信號處理，並將品質經提高的輸出信號提供到第二格式轉換器317。舉例來說，第一影像增強器315可用以從第一雜訊移除單元313提供的雜訊濾除輸出信號移除假彩色分量（false color component），或可用以執行銳化操作等。
第二格式轉換器317接收由第一影像增強器315提供的品質經提高的信號，並可用以將此信號的格式轉換成與第一影像產生器400相容的格式。舉例來說，由第一影像增強器315提供的品質經提高的信號可具有RGB格式，所述RGB格式利用第二格式轉換器317被轉換成包括光亮度資訊及彩色資訊的（例如）YUV格式。
再次返回參照圖1，第二信號處理器320從第一選擇器210接收第一影像輸出信號isa，並執行第二影像信號處理，以便產生與第一影像產生器400格式相容的第二影像輸出信號isb。
圖4是在一個實施例中進一步說明圖1所示的第二信號處理器320的方塊圖。
參照圖4，第二信號處理器320可包括第二選擇器220、第三格式轉換器321、第三選擇器230、第二雜訊移除單元323、第二影像增強器325、第四選擇器240、第四格式轉換器327以及第五選擇器250。由第二信號處理器320執行的第二影像信號處理可包括：相對於從第一選擇器210接收的第一影像輸出信號isa產生具有所需格式的第二影像輸出信號isb。被提供到第一選擇器210的選擇信號SS也可被輸入到第二選擇器220、第三選擇器230、第四選擇器240以及第五選擇器250。
當選擇信號SS包括對應於第一條件C1的資訊時，第一選擇器210的第一影像輸出信號isa可為第二影像信號is2。在此種情形中，第二選擇器220可基於選擇信號SS向第三格式轉換器321提供第二影像信號is2。
第三格式轉換器321可接收第二影像信號is2的輸入並轉換第二影像信號is2的格式，以將第二影像信號提供到第三選擇器230。第三格式轉換器321可與第一信號處理器310的第一格式轉換器311（參見圖3）實質上相同。
在第一條件C1下，第三選擇器230可基於選擇信號SS將第三格式轉換器321的輸出信號提供到第二雜訊移除單元323。
第二雜訊移除單元323可接收第三選擇器230的輸出信號的輸入，並移除第三選擇器230的輸出信號的雜訊，以將輸出信號提供到第二影像增強器325。第二雜訊移除單元323可與第一信號處理器310的第一雜訊移除單元313（參見圖3）實質上相同。
第二影像增強器325可接收第二雜訊移除單元323的輸出信號的輸入，並執行用於提高第二影像信號is2的品質的工作，以將輸出信號輸出到第四選擇器240。第二影像增強器325可與第一信號處理器310的第一影像增強器315（參見圖3）實質上相同。
在第一條件C1下，第四選擇器240可基於選擇信號SS將第二影像增強器325的輸出信號提供到第四格式轉換器327。
第四格式轉換器327可轉換第二影像增強器325的輸出信號的格式，以將輸出信號提供到第一影像產生器400。第四格式轉換器327可與第一信號處理器310的第二格式轉換器317（圖3）實質上相同。
當選擇信號SS包括對應於第二條件C2的資訊時，第一選擇器210的輸出信號isa可為第三影像信號is3。在此種情形中，第二選擇器220及第三選擇器230可基於選擇信號SS將第三影像信號is3提供到第二雜訊移除單元323。第三照相機模組1113的第三影像感測器1031可為黑白影像感測器。因此，對於第三影像信號is3來說，利用第三格式轉換器321的格式轉換工作可能是沒有必要的。
第二雜訊移除單元323可接收第三影像信號is3的輸入並移除第三影像信號is3的雜訊，以將第三影像信號提供到第二影像增強器325。第二影像增強器325可接收第二雜訊移除單元323的輸出信號並執行用於提高第二雜訊移除單元323的輸出信號的品質的工作，以將輸出信號提供到第四選擇器240。
在第二條件C2下，第四選擇器240可基於選擇信號SS將第二影像增強器325的輸出信號提供到第五選擇器250。在第二條件C2下，第五選擇器250可基於選擇信號SS輸出第二影像增強器325的輸出信號作為輸出信號isb。也就是說，對於第三影像信號is3來說，利用第四格式轉換器327的格式轉換工作可能是沒有必要的。
再次參照圖1，第一影像產生器400可利用第一信號處理器310的輸出信號is1a以及第二信號處理器320的輸出信號isb來執行影像處理並產生輸出影像io。
圖5是在一個實施例中進一步說明圖1所示的第一影像產生器400的方塊圖。
參照圖5，第一影像產生器400包括深度資訊產生單元410、第一輸出影像產生單元420、第二輸出影像產生單元430以及第三輸出影像產生單元440。在一些實施例中，由第一影像產生器400執行的影像處理可包括：利用深度資訊產生單元410、第一輸出影像產生單元420、第二輸出影像產生單元430以及第三輸出影像產生單元440來基於兩個影像信號isb及is1a產生單個影像(例如，io1或io2)。
深度資訊產生單元410可接收兩個影像信號isb及is1a的輸入，並輸出深度資訊is_410a以及對應的視差(disparity)資訊is_410b。
圖6是在一個實施例中進一步說明圖5所示的第一影像產生器400的深度資訊產生單元410的方塊圖。
參照圖6，深度資訊產生單元410可包括調整單元411、對應的視差資訊產生器413以及深度資訊產生器415。
兩個影像信號isb及is1a中的每一者可被輸入到調整單元411。兩個調整單元411可被設置成對應於兩個影像信號isb及is1a。調整單元411可執行用於糾正兩個影像信號isb及is1a中的每一者的畸變的校正工作。也就是說，調整單元411可對兩個影像信號isb及is1a進行校正以使所述兩個影像信號行對準(row-aligned)。在校正工作的進程中，調整單元411可使用例如儲存在第一照相機模組1111、第二照相機模組1112以及第三照相機模組1113的第一儲存裝置1012、第二儲存裝置1022以及第三儲存裝置1032中的校準資料等。
可將調整單元411的相應輸出輸入到對應的視差資訊產生器413。對應的視差資訊產生器413可搜尋調整單元411的輸出信號中的每一者中的對應的點，且可計算其中對兩個影像信號isb及is1a進行校正的調整單元411的輸出信號的對應視差。對應的視差資訊產生器413可輸出對應的視差資訊is_410b。對應的視差資訊is_410b可為例如對應的視差圖(disparity map)。
對應的視差資訊is_410b可被提供到深度資訊產生器415。深度資訊產生器415可通過視差轉換對應的視差資訊is_410b，以產生深度資訊is_410a。深度資訊is_410a可為例如深度圖。
再次參照圖5，第一輸出影像產生單元420可接收第一信號處理器310的輸出信號is1a以及深度資訊is_410a的輸入，以產生第一輸出影像io1。
圖7是在一個實施例中說明圖5所示的第一影像產生器400的第一輸出影像產生單元420的方塊圖。
參照圖7，第一輸出影像產生單元420可包括離焦單元（out-focus unit）421。離焦單元421可利用深度資訊is_410a將第一信號處理器310的輸出信號is1a轉換成第一輸出影像io1。離焦單元421例如可向第一信號處理器310的輸出信號is1a提供離焦效果。
再次參照圖5，第二輸出影像產生單元430可接收兩個影像信號isb及is1a以及對應的視差資訊is_410b的輸入，以產生第二輸出影像io2。
圖8是在一個實施例中進一步說明圖5所示的第一影像產生器400的第二輸出影像產生單元430的方塊圖。
參照圖8，第二輸出影像產生單元430可包括像素映射單元431及混合單元433。像素映射單元431可利用對應的視差資訊is_410b產生兩個影像信號isb及is1a的像素圖。混合單元433可接收兩個影像信號isb及is1a的輸入，並利用像素映射單元431的輸出來使所述兩個影像信號isb及is1a混合，以產生單個第二輸出影像io2。
再次參照圖5，當選擇信號SS包括對應於第一條件C1的資訊時，第三輸出影像產生單元440可對第一信號處理器310的輸出信號is1a及第二信號處理器320的輸出信號isb中的一者進行比例縮放以產生第三輸出影像io3。舉例來說，當處理器（圖1所示的1120）是內建在手機中的應用處理器AP且選擇信號（圖1所示的SS）包括對應於第一條件（圖1所示的C1）的資訊時，可為使用者支援變焦模式（zoom mode）。
當縮放比（scale ratio）低（即，在第三條件C3中）時，第一信號處理器310的輸出信號is1a可由變焦選擇器441提供到輸出影像產生單元440。第三輸出影像產生單元440可對第一信號處理器310的輸出信號is1a進行比例縮放以產生第三輸出影像io3。也就是說，當變焦選擇信號SS_ZOOM包括對應於第三條件C3的資訊時，變焦選擇器441可將第一信號處理器310的輸出信號is1a提供到第三輸出影像產生單元440。此處，第三條件C3可為例如其中與第三輸出影像產生單元440產生的第三輸出影像io3相關聯的視角小於與第二影像（圖1所示的id2）相關聯的視角的情形。
當縮放比增大且與第三輸出影像產生單元440產生的第三輸出影像io3相關聯的視角大於或等於與第二影像（圖1所示的id2）相關聯的視角時（即，在第四條件C4中），變焦選擇器441可將第二信號處理器320的輸出信號isb輸出到第三輸出影像產生單元440。第三輸出影像產生單元440可對第二信號處理器320的輸出信號isb進行比例縮放以產生第三輸出影像io3。也就是說，當變焦選擇信號SS_ZOOM包括對應於第四條件C4的資訊時，變焦選擇器441可將第二信號處理器320的輸出信號isb輸出到第三輸出影像產生單元440。此時，第四條件C4可為例如其中由第三輸出影像產生單元440產生的第三輸出影像io3的視角等於或大於第二影像（圖1所示的id2）的視角的情形。
例如當處理器（圖1所示的1120）是內建在行動電話中的應用處理器AP時，變焦選擇信號SS_ZOOM可由選擇縮放比的用戶確定。舉例來說，變焦選擇信號SS_ZOOM可由變焦選擇信號產生器產生。變焦選擇信號產生器可利用使用者選擇的縮放比資訊來產生變焦選擇信號SS_ZOOM。在一些實施例中，變焦選擇信號產生器可被提供為軟體。
再次參照圖1，作為第一影像產生器400的輸出的輸出影像io可為第一輸出影像io1及第二輸出影像io2中的一者。舉例來說，根據預定影像系統的模式，第一輸出影像io1、第二輸出影像io2以及第三輸出影像io3中的一者可被輸出作為輸出影像io。舉例來說，當處理器1120是內建在手機中的應用處理器AP時，第一輸出影像io1、第二輸出影像io2以及第三輸出影像io3中的一者可被輸出到行動電話的液晶螢幕。
以下，將參照圖9及圖10闡述根據本發明概念的一些實施例的影像處理裝置。
圖9是根據本發明概念的一些實施例說明影像處理裝置的方塊圖，且圖10是在一個實施例中進一步說明圖9所示的第三信號處理器330的方塊圖。
參照圖9及圖10，第三信號處理器330可包括輸出第二影像信號is2或第三影像信號is3中的一者的第六選擇器260。第三信號處理器330還可包括第三格式轉換器321、第二雜訊移除單元323、第二影像增強器325、第七選擇器270、第四格式轉換器327、以及第八選擇器280。輸入到第六選擇器260、第七選擇器270以及第八選擇器280的選擇信號SS可被輸入到第三信號處理器330。
第三信號處理器330可接收第二影像信號is2及第三影像信號is3的輸入。第二影像信號is2可通過第三格式轉換器321被輸入到第六選擇器260。第三影像信號is3可被輸入到第六選擇器260。
第六選擇器260可在第一條件C1下基於選擇信號SS輸出第三格式轉換器321的輸出信號。此外，第六選擇器260可在第二條件C2下基於選擇信號SS輸出第三影像信號is3。換句話說，第六選擇器260可執行與參照圖1所述的第一選擇器（圖1所示的210）相同的功能。
第六選擇器260的輸出信號isa可通過第二雜訊移除單元323及第二影像增強器325而被輸入到第七選擇器270。
第七選擇器270可在第一條件C1下基於選擇信號SS來連接第四格式轉換器327的輸入端子與第二影像增強器325的輸出端子。同時，第七選擇器270可在第二條件C2下基於選擇信號SS來輸出第二影像增強器325的輸出信號作為第三信號處理器330的輸出信號isb。
圖11是根據本發明概念的一些實施例的影像處理裝置的方塊圖。
參照圖11，照相機模組1110_1可包括第九選擇器290。第九選擇器290可選擇第二影像信號is2或第三影像信號is3，並輸出影像信號作為輸出信號isa。第九選擇器290可執行與參照圖1所述的第一選擇器（圖1所示的210）實質上相同的功能。
照相機模組1110_1可將第一影像信號is1及第九選擇器290的輸出信號isa提供到處理器1120。處理器1120可包括第一介面110、第二介面120以及影像處理器1121。影像處理器1121可包括第一信號處理器310、第二信號處理器320以及第一影像產生器400。
圖12是說明根據本發明概念的一些實施例的影像處理裝置的方塊圖，且圖13是在一個實施例中進一步說明圖12所示的第二影像產生器500的方塊圖。
參照圖12及圖13，影像處理器1121可接收第一影像信號is1到第三影像信號is3的輸入。影像處理器1121可包括第一信號處理器310、第四信號處理器340、第五信號處理器350以及第二影像產生器500。第二影像產生器500可包括第十選擇器299，第十選擇器299接收第四信號處理器340的輸出信號is2a以及第五信號處理器350的輸出信號is3a，以基於選擇信號SS輸出第四信號處理器340的輸出信號is2a及第五信號處理器350的輸出信號is3a中的一者。
第四信號處理器340可接收穿過第二介面120的第二影像信號is2，並執行第一影像信號處理以輸出輸出信號is2a。第五信號處理器350可接收穿過第三介面130的第三影像信號is3，並執行第一影像信號處理以輸出輸出信號is3a。第四信號處理器340及第五信號處理器350可與參照圖1及圖3所述的第一信號處理器（圖1所示的310）實質上相同。
第一信號處理器310的輸出信號is1a、第四信號處理器340的輸出信號is2a以及第五信號處理器350的輸出信號is3a可被提供到第二影像產生器500。
第二影像產生器500中所包括的第十選擇器299可執行與參照圖1所述的第一選擇器210實質上相同的功能。因此，輸出信號isa在第一條件C1下可為第四信號處理器340的輸出信號is2a，且輸出信號isa在第二條件C2下可為第五信號處理器350的輸出信號is3a。
深度資訊產生單元410可接收第十選擇器299的輸出信號isa以及第一信號處理器310的輸出信號is1a的輸入，以產生深度資訊is_410a以及對應的視差資訊is_410b。第一輸出影像產生單元420可接收第一信號處理器310的輸出信號is1a以及深度資訊is_410a的輸入以產生第一輸出影像io1。第二輸出影像產生單元430可接收第一信號處理器310的輸出信號is1a、第十選擇器299的輸出信號isa、以及對應的視差資訊is_410b的輸入以產生第二輸出影像io2。第三輸出影像產生單元440可利用變焦選擇器441的輸出信號來產生第三輸出影像io3。
以下，將參照圖14來闡述根據本發明概念的一些實施例的影像處理方法。為闡釋清晰起見，對上述說明便不再予以贅述。
圖14是根據本發明概念的一些實施例中概述可由第一選擇器（圖1所示的210）、第六選擇器（圖10所示的260）、第九選擇器（圖11所示的290）、以及第十選擇器（圖13所示的299）中的任一者執行的某些方法步驟的流程圖。
參照圖14，可提供第二影像信號及第三影像信號（S100）。
具體來說，例如，選擇器（圖1中的210、圖10中的260、圖11中的290、以及圖13中的299）可接收從第二照相機模組（圖1、圖9、圖11及圖12中的1112）產生的第二影像信號is2、以及從第三照相機模組（圖1、圖9、圖11及圖12中的1113）產生的第三影像信號is3的提供。
在照度與預定值之間進行比較（S200）。當照度大於或等於預定值（即，第一條件C1）時，選擇器（圖1中的210、圖10中的260、圖11中的290、以及圖13中的299）可輸出第二影像信號is2。當照度小於預定值（即，第二條件C2）時，在步驟S400中，選擇器（圖1中的210、圖10中的260、圖11中的290、以及圖13中的299）可輸出第三影像信號is3。
影像處理器1121可包括利用第一影像信號is1及選擇器（圖1中的210、圖10中的260、圖11中的290、以及圖13中的299）的輸出信號來產生輸出影像io。
根據本發明概念的實施例的影像處理裝置可包括選擇器（圖1中的210、圖10中的260、圖11中的290以及圖13中的299），所述選擇器選擇並輸出第二影像信號is2及第三影像信號is3中的一者。
在第一條件C1的情形中，選擇器（圖1中的210、圖10中的260、圖11中的290以及圖13中的299）可選擇並輸出第二影像信號is2（或第四信號處理器（圖12中的340）的輸出信號is2a）。影像處理器1121可利用從第一照相機模組（圖1、圖9、圖11及圖12中的1111）產生的第一影像信號is1以及從第二照相機模組（圖1、圖9、圖11及圖12中的1112）產生的第二影像信號is2來產生輸出影像io。第一照相機模組（圖1、圖9、圖11及圖12中的1111）的第一透鏡L1是廣角透鏡，而第二照相機模組（圖1、圖9、圖11及圖12中的1112）的第二透鏡L2可為攝遠透鏡。因此，當照度相對高時，可提高影像處理裝置的變焦操作性能。
在第二條件C2的情形中，選擇器（圖1中的210、圖10中的260、圖11中的290、以及圖13中的299）可選擇並輸出第三影像信號is3的輸出信號（或第五處理器（圖12中的350）的輸出信號is3a）。處理器1120可利用從第一照相機模組（圖1、圖9、圖11及圖12中的1111）產生的第一影像信號is1以及從第三照相機模組（圖1、圖9、圖11及圖12中的1113）產生的第三影像信號is3來產生輸出影像io。第一照相機模組（圖1、圖9、圖11及圖12中的1111）的第一影像感測器1011可為彩色影像感測器，且第三照相機模組（圖1、圖9、圖11及圖12中的1113）的第三影像感測器可為黑白影像感測器。當照度相對低時，黑白影像感測器可具有比彩色影像感測器更高的影像靈敏度。因此，當照度相對低時，可改善影像處理裝置的輸出影像io的品質。
圖15是根據本發明概念的一些實施例包括影像處理裝置的影像系統的概括方塊圖。圖16是根據本發明概念的一些實施例說明包括影像處理裝置的影像系統的一部分的概括方塊圖。
參照圖15，影像系統可包括照相機模組1110、處理器1120、儲存裝置1130、介面1140以及匯流排1150。照相機模組1110、處理器1120、儲存裝置1130及/或介面1140可通過匯流排1150互連。匯流排1150可對應於資料在照相機模組1110、處理器1120、儲存裝置1130及/或介面1140之間傳遞的通過路徑。
儲存裝置1130可儲存資料及/或命令等。介面1140可執行將資料傳遞到通信網路或從通信網路接收資料的功能。介面1140可為有線形式或無線形式。舉例來說，介面1140可包括天線或有線/無線收發器等。
儘管圖中未示出，但影像系統還可包括高速DRAM及/或SRAM作為操作記憶體，用於改善照相機模組1110及處理器1120的操作。
所述影像系統可應用到個人數位助理（personal digital assistant，PDA）、可攜式電腦、網路平板電腦、無線電話、行動電話或可在無線情況下傳送及/或接收資訊的所有電子產品。
在一些實施例中，影像系統可應用到行動電話。舉例來說，參照圖16，處理器1120及介面1140可設置在板1100上並設置成單個板的形式。照相機模組1110可通過介面1140與處理器1120通信。基板1100可例如為行動電話的基板。處理器1120可為例如內建在行動電話中的應用處理器AP。
儘管已參照本發明概念的示例性實施例具體說明並闡述了本發明概念，但所屬領域中的普通技術人員將理解，在不背離由以上權利要求書所界定的本發明概念的精神及範圍的條件下，可作出各種形式及細節上的變化。所述示例性實施例應僅以闡述性意義來考慮而不用於限制目的。
110‧‧‧第一介面120‧‧‧第二介面130‧‧‧第三介面210‧‧‧第一選擇器220‧‧‧第二選擇器230‧‧‧第三選擇器240‧‧‧第四選擇器250‧‧‧第五選擇器260‧‧‧第六選擇器270‧‧‧第七選擇器280‧‧‧第八選擇器290‧‧‧第九選擇器299‧‧‧第十選擇器310‧‧‧第一信號處理器310_SS‧‧‧選擇信號產生器311‧‧‧第一格式轉換器313‧‧‧第一雜訊移除單元315‧‧‧第一影像增強器317‧‧‧第二格式轉換器320‧‧‧第二信號處理器321‧‧‧第三格式轉換器323‧‧‧第二雜訊移除單元325‧‧‧第二影像增強器327‧‧‧第四格式轉換器330‧‧‧第三信號處理器340‧‧‧第四信號處理器350‧‧‧第五信號處理器400‧‧‧第一影像產生器410‧‧‧深度資訊產生單元/深度資訊產生器411‧‧‧調整單元413‧‧‧視差資訊產生器415‧‧‧深度資訊產生器420‧‧‧第一輸出影像產生器/第一輸出影像產生單元421‧‧‧離焦單元430‧‧‧第二輸出影像產生單元431‧‧‧像素映射單元433‧‧‧混合單元440‧‧‧第三輸出影像產生單元441‧‧‧變焦選擇器500‧‧‧第二影像產生器1000‧‧‧電子裝置1010‧‧‧第一影像信號輸出單元1011‧‧‧第一影像感測器1012‧‧‧第一儲存裝置1013‧‧‧第一類比數位轉換器1020‧‧‧第二影像信號輸出單元1021‧‧‧第二影像感測器1022‧‧‧第二儲存裝置1023‧‧‧第二類比數位轉換器1030‧‧‧第三影像信號輸出單元1031‧‧‧第三影像感測器1032‧‧‧第三儲存裝置1033‧‧‧第三類比數位轉換器1100‧‧‧板/基板1110、1110_1‧‧‧照相機模組1111‧‧‧第一照相機模組1112‧‧‧第二照相機模組1113‧‧‧第三照相機模組1120‧‧‧處理器1121‧‧‧影像處理器1130‧‧‧儲存裝置1140‧‧‧介面1150‧‧‧匯流排C1‧‧‧第一條件C2‧‧‧第二條件C3‧‧‧第三條件C4‧‧‧第四條件d1‧‧‧第一距離d2‧‧‧第二距離id1‧‧‧第一影像/第一影像信號id2‧‧‧第二影像/第二影像信號id3‧‧‧第三影像/第三影像信號io‧‧‧輸出影像io1‧‧‧第一輸出影像io2‧‧‧第二輸出影像io3‧‧‧第三輸出影像is1‧‧‧第一影像信號is2‧‧‧第二影像信號is3‧‧‧第三影像信號is1a‧‧‧第一輸出信號/影像信號/第一輸出影像信號is2a‧‧‧輸出信號is3a‧‧‧輸出信號isa‧‧‧第一影像輸出信號isb‧‧‧第二影像輸出信號/影像信號is_410a‧‧‧深度資訊is_410b‧‧‧視差資訊L1‧‧‧第一透鏡L2‧‧‧第二透鏡L3‧‧‧第三透鏡S100、S200、S300、S400‧‧‧步驟SS‧‧‧選擇信號SS_ZOOM‧‧‧變焦選擇信號
在參照附圖考慮本發明概念的某些示例性實施例時，本發明概念的上述及其他方面及特徵將變得更加顯而易見，在附圖中：
圖1是根據本發明概念的一些實施例說明影像處理裝置10的方塊圖。 圖2A及圖2B分別是說明圖1所示的第一透鏡、第二透鏡及第三透鏡的示例性配置的圖式。 圖3是在一個實施例中進一步說明圖1所示的第一信號處理器310的方塊圖。 圖4是在一個實施例中進一步說明圖1所示的第二信號處理器320的方塊圖。 圖5是在一個實施例中進一步說明圖1所示的第一影像產生器400的方塊圖。 圖6是在一個實施例中進一步說明圖5所示的深度資訊產生器410的方塊圖。 圖7是在一個實施例中進一步說明圖5所示的第一輸出影像產生器420的方塊圖。 圖8是在一個實施例中進一步說明圖5所示的第二輸出影像產生單元430的方塊圖。 圖9是根據本發明概念的一些實施例說明影像處理裝置的另一方塊圖。 圖10是在一個實施例中進一步說明圖9所示的第三信號處理器330的方塊圖。 圖11及圖12分別是根據本發明概念的再一些其他實施例的影像處理裝置的方塊圖。 圖13是進一步說明圖12所示的第二影像產生器500的方塊圖。 圖14是根據本發明概念的一些實施例概述可由各種選擇器元件執行的方法步驟的流程圖。 圖15是根據本發明概念的一些實施例可被配置成包括處理裝置的影像系統的概括方塊圖。 圖16是根據本發明概念的一些實施例說明包括影像處理裝置的影像系統的一部分的概括方塊圖。
310‧‧‧第一信號處理器
311‧‧‧第一格式轉換器
313‧‧‧第一雜訊移除單元
315‧‧‧第一影像增強器
317‧‧‧第二格式轉換器
is1‧‧‧第一影像信號
is1a‧‧‧第一輸出信號/影像信號/第一輸出影像信號

Claims (22)

  1. 一種應用處理器，包括：第一介面，被配置成從第一照相機模組接收第一影像資料；第二介面，被配置成從第二照相機模組接收第二影像資料；第三介面，被配置成從第三照相機模組接收第三影像資料；影像處理器，被配置成接收所述第一影像資料、所述第二影像資料及所述第三影像資料，且被配置成基於縮放比來產生影像輸出，其中所述影像處理器被配置成基於物件的深度資訊來產生所述影像輸出，並且所述影像處理器被配置成基於所述物件的所述深度資訊向所述影像輸出提供離焦效果，其中所述影像處理器包括第一信號處理器、不同於所述第一信號處理器的第二信號處理器、以及配置成接收所述第二影像資料及所述第三影像資料的第一選擇器，其中所述第一選擇器被配置成選擇所述第二影像資料及所述第三影像資料中的一者，其中所述第一信號處理器配置成接收所述第一影像資料且配置成不接收所述第二影像資料及所述第三影像資料，其中所述第二信號處理器配置成接收來自所述第一選擇器的所選擇影像資料。
  2. 如申請專利範圍第1項所述的應用處理器，其中所述影像處理器被配置成基於所述第一影像資料與所述第二影像資料之間的視差資訊來產生所述影像輸出。
  3. 如申請專利範圍第1項所述的應用處理器，其中所述影像處理器被配置成基於所述縮放比、所述第一影像資料、以及所述第二影像資料及所述第三影像資料中的一者來產生所述影像輸出。
  4. 如申請專利範圍第2項所述的應用處理器，其中所述第一影像資料及所述第二影像資料是彩色資料。
  5. 一種應用處理器，包括：第一介面，被配置成從第一照相機模組接收第一影像資料；第二介面，被配置成從第二照相機模組接收第二影像資料；第三介面，被配置成從第三照相機模組接收第三影像資料；選擇器，被配置成輸出所述第二影像資料及所述第三影像資料中的一者；以及第一信號處理器，被配置成對所述第一影像資料執行第一影像信號處理，且被配置成產生第一經處理影像資料；以及第二信號處理器，被配置成對所述選擇器的輸出執行第二影像信號處理，且被配置成產生第二經處理影像資料，所述第二影像信號處理不同於所述第一影像信號處理，其中所述應用處理器被配置成基於物件的深度資訊以及所述第一經處理影像資料來產生具有離焦效果的影像輸出，其中所述第一信號處理器配置成接收所述第一影像資料且配置成不接收所述第二影像資料及所述第三影像資料。
  6. 如申請專利範圍第5項所述的應用處理器，其中所述第一影像資料及所述第二影像資料是彩色資料。
  7. 如申請專利範圍第6項所述的應用處理器，其中所述應用處理器被配置成基於縮放比、所述第一經處理影像資料及所述第二經處理影像資料來產生影像輸出。
  8. 一種應用處理器，包括：第一照相機序列介面，被配置成從第一照相機模組接收對象的第一影像信號；第二照相機序列介面，被配置成從第二照相機模組接收所述對象的第二影像信號，其中所述第一影像信號及所述第二影像信號為彩色影像資料；第三照相機序列介面，被配置成從第三照相機模組接收所述對象的第三影像信號；第一信號處理器；以及第二信號處理器，不同於所述第一信號處理器，其中，所述應用處理器被配置成基於選擇信號選擇所述第二影像信號及所述第三影像信號的其中之一作為所選擇影像信號，並且基於所述第一影像信號及所述所選擇影像信號產生輸出影像，其中，所述選擇信號包括變焦選擇信號，所述變焦選擇信號響應于縮放比而改變，其中，所述第一照相機模組、所述第二照相機模組及所述第三照相機模組的每一者與所述應用處理器是間隔開的，其中，所述應用處理器被配置成基於物件的深度資訊向所述輸出影像提供離焦效果， 其中所述第一信號處理器配置成接收所述第一影像信號且配置成不接收所述第二影像信號及所述第三影像信號，其中所述第二信號處理器配置成接收所述所選擇影像信號。
  9. 如申請專利範圍第8項所述的應用處理器，其中所述第一信號處理器執行第一影像信號處理，以產生第一影像輸出信號；以及所述第二信號處理器執行第二影像信號處理，以產生第二影像輸出信號，並且其中，所述應用處理器被配置成基於所述第一影像輸出信號及所述第二影像輸出信號產生所述輸出影像。
  10. 如申請專利範圍第9項所述的應用處理器，其中所述應用處理器更包括選擇器，所述選擇器被配置成接收所述第二影像信號及所述第三影像信號以輸出所述第二影像信號及所述第三影像信號的其中之一作為所述所選擇影像信號。
  11. 如申請專利範圍第10項所述的應用處理器，其中所述應用處理器被配置成產生所述第一影像輸出信號及所述第二影像輸出信號的其中之一作為所述輸出影像。
  12. 如申請專利範圍第10項所述的應用處理器，其中所述第一信號處理器更包括格式轉換器，所述格式轉換器被配置成對所述第一影像信號執行去馬賽克操作。
  13. 如申請專利範圍第12項所述的應用處理器，其中所述第一信號處理器更包括雜訊移除單元，所述雜訊移除單元被配置成從所述格式轉換器的輸出移除一個或多個雜訊分量。
  14. 如申請專利範圍第10項所述的應用處理器，其中所述第二信號處理器更包括格式轉換器，所述格式轉換器被配置成對所述所選擇影像信號執行去馬賽克操作。
  15. 如申請專利範圍第14項所述的應用處理器，其中所述第二信號處理器更包括雜訊移除單元，所述雜訊移除單元被配置成從所述格式轉換器的輸出移除一個或多個雜訊分量。
  16. 如申請專利範圍第13項所述的應用處理器，其中所述第一信號處理器更包括影像增強器，所述影像增強器被配置成將所述雜訊移除單元的輸出轉換成YUV格式。
  17. 一種應用處理器，包括：第一照相機序列介面，被配置成從第一照相機模組接收對象的第一影像信號；第二照相機序列介面，被配置成從第二照相機模組接收所述對象的第二影像信號，其中所述第一影像信號及所述第二影像信號為彩色影像資料；第三照相機序列介面，被配置成從第三照相機模組接收所述對象的第三影像信號，第一信號處理器，被配置成接收所述第一影像信號，並且執行第一影像信號處理，以產生第一影像輸出信號；以及第二信號處理器，被配置成接收所述第二影像信號，並且執行第二影像信號處理，以產生第二影像輸出信號，其中，所述應用處理器被配置成基於所述第一影像輸出信號及所述第二影像輸出信號根據縮放比產生第一輸出影像、第二輸 出影像及第三輸出影像的其中之一，其中，所述第一照相機模組、所述第二照相機模組及所述第三照相機模組的每一者與所述應用處理器是間隔開的，其中，所述第一信號處理器被配置成對所述第一影像信號執行第一去馬賽克操作，其中，所述應用處理器被配置成基於物件的深度資訊向所述第一輸出影像、所述第二輸出影像及所述第三輸出影像的其中之一提供離焦效果，其中所述第一信號處理器配置成不接收所述第二影像信號及所述第三影像信號，其中所述第二信號處理器被配置成接收所述第二影像信號及所述第三影像信號的其中之一，以對所述第二影像信號及所述第三影像信號的其中之一執行所述第二影像信號處理以產生所述第二影像輸出信號。
  18. 如申請專利範圍第17項所述的應用處理器，其中所述第二信號處理器被配置成對所述第二影像信號執行第二去馬賽克操作。
  19. 如申請專利範圍第18項所述的應用處理器，其中所述第一信號處理器被配置成基於所述第一影像信號產生第一YUV格式，並且所述第二信號處理器被配置成基於所述第二影像信號產生第二YUV格式。
  20. 一種應用處理器，包括：第一照相機序列介面，被配置成從第一照相機模組接收對象 的第一影像信號；第二照相機序列介面，被配置成從第二照相機模組接收所述對象的第二影像信號，其中所述第一影像信號及所述第二影像信號為彩色影像資料；第三照相機序列介面，被配置成從第三照相機模組接收所述對象的第三影像信號，第一信號處理器，被配置成接收所述第一影像信號，並且執行第一影像信號處理，以產生第一影像輸出信號；以及第二信號處理器，被配置成基於選擇信號接收所述第二影像信號及所述第三影像信號的其中之一，並且對所述第二影像信號及所述第三影像信號的其中之一執行第二影像信號處理，以產生第二影像輸出信號，其中，所述應用處理器被配置成基於所述第一影像輸出信號及所述第二影像輸出信號產生輸出影像，其中，所述選擇信號包括包括變焦選擇信號，所述變焦選擇信號響應于縮放比而改變，其中，所述第一照相機模組、所述第二照相機模組及所述第三照相機模組的每一者與所述應用處理器是間隔開的，以及其中，所述第一信號處理器被配置成基於所述第一影像信號產生第一YUV格式，並且所述第二信號處理器被配置成基於所述第二影像信號產生第二YUV格式，其中，所述應用處理器被配置成基於物件的深度資訊向所述輸出影像提供離焦效果，其中所述第一信號處理器不同於所述第二信號處理器，且所 述第一信號處理器配置成不接收所述第二影像信號及所述第三影像信號。
  21. 如申請專利範圍第20項所述的應用處理器，其中所述第一信號處理器更包括格式轉換器，所述格式轉換器被配置成對所述第一影像信號執行去馬賽克操作。
  22. 如申請專利範圍第21項所述的應用處理器，其中所述第一信號處理器更包括雜訊移除單元，所述雜訊移除單元被配置成從所述格式轉換器的輸出移除一個或多個雜訊分量。
TW108121401A 2017-06-02 2018-03-06 應用處理器 TWI811386B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170069040A KR102204596B1 (ko) 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
KR10-2017-0069040 2017-06-02

Publications (2)

Publication Number Publication Date
TW201937449A TW201937449A (zh) 2019-09-16
TWI811386B true TWI811386B (zh) 2023-08-11

Family

ID=64460847

Family Applications (3)

Application Number Title Priority Date Filing Date
TW108121401A TWI811386B (zh) 2017-06-02 2018-03-06 應用處理器
TW108121399A TWI720516B (zh) 2017-06-02 2018-03-06 應用處理器
TW107107370A TWI796323B (zh) 2017-06-02 2018-03-06 手機及影像處理裝置

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW108121399A TWI720516B (zh) 2017-06-02 2018-03-06 應用處理器
TW107107370A TWI796323B (zh) 2017-06-02 2018-03-06 手機及影像處理裝置

Country Status (4)

Country Link
US (6) US10348978B2 (zh)
KR (1) KR102204596B1 (zh)
CN (6) CN110225232B (zh)
TW (3) TWI811386B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111567021B (zh) * 2018-03-20 2021-06-01 华为技术有限公司 一种终端
CN108391035B (zh) 2018-03-26 2020-04-21 华为技术有限公司 一种拍摄方法、装置与设备
US11108995B2 (en) * 2018-09-11 2021-08-31 Draeger Medical Systems, Inc. System and method for gas detection
CN112788201A (zh) * 2019-11-07 2021-05-11 虹软科技股份有限公司 摄像系统
KR20220049871A (ko) * 2020-10-15 2022-04-22 삼성전자주식회사 카메라 모듈 및 이를 포함하는 전자 장치
CN112233037B (zh) * 2020-10-23 2021-06-11 新相微电子(上海)有限公司 基于图像分割的图像增强系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152557A1 (en) * 1997-08-25 2002-10-24 David Elberbaum Apparatus for identifying the scene location viewed via remotely operated television camera
US20080219654A1 (en) * 2007-03-09 2008-09-11 Border John N Camera using multiple lenses and image sensors to provide improved focusing capability
US20120120256A1 (en) * 2010-11-12 2012-05-17 Qualcomm Incorporated Parallel image processing using multiple processors
TW201544890A (zh) * 2014-05-16 2015-12-01 Htc Corp 手持式電子裝置、圖像擷取裝置及其圖像擷取方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH068869A (ja) 1991-01-29 1994-01-18 Kouta Nezu 車両の操向装置
US5347476A (en) * 1992-11-25 1994-09-13 Mcbean Sr Ronald V Instrumentation system with multiple sensor modules
JP2001245266A (ja) 2000-02-25 2001-09-07 Matsushita Electric Ind Co Ltd 携帯型情報通信端末装置
JP2003018445A (ja) 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
JP2005099265A (ja) * 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
JP4210189B2 (ja) 2003-09-24 2009-01-14 フジノン株式会社 撮像装置
FI117843B (fi) * 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7284921B2 (en) * 2005-05-09 2007-10-23 Silverbrook Research Pty Ltd Mobile device with first and second optical pathways
US7964835B2 (en) * 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
EP1942660A1 (en) * 2007-01-02 2008-07-09 STMicroelectronics (Research & Development) Limited Improvements in image sensor noise reduction
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
CN101408720A (zh) * 2007-10-11 2009-04-15 鸿富锦精密工业（深圳）有限公司 便携式电子装置
US8179452B2 (en) * 2008-12-31 2012-05-15 Lg Electronics Inc. Method and apparatus for generating compressed file, and terminal comprising the apparatus
JP2012521673A (ja) 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
JP5220666B2 (ja) * 2009-03-24 2013-06-26 オリンパスイメージング株式会社 撮影装置およびライブビュー表示方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
CN102118551A (zh) * 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 成像装置
CA2787303A1 (en) * 2010-01-19 2011-07-28 Delacom Detection Systems, Llc A method, device and system for determining the presence of volatile organic compounds (voc) in video
JP5816015B2 (ja) 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
US9110332B2 (en) 2012-03-29 2015-08-18 Shenzhen China Star Optoelectronics Technology Co., Ltd. Backlight module and liquid crystal display
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
CN109963059B (zh) * 2012-11-28 2021-07-27 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
JP6100089B2 (ja) * 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR101634516B1 (ko) 2013-06-13 2016-06-28 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
CN105338338B (zh) * 2014-07-17 2018-01-02 诺基亚技术有限公司 用于成像条件检测的方法和装置
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
TWM511632U (zh) * 2015-02-03 2015-11-01 Largan Precision Co Ltd 相機模組及電子裝置
KR102359268B1 (ko) * 2015-02-16 2022-02-08 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
KR102195407B1 (ko) * 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US10708526B2 (en) * 2015-04-22 2020-07-07 Motorola Mobility Llc Method and apparatus for determining lens shading correction for a multiple camera device with various fields of view
TWI599809B (zh) * 2015-04-23 2017-09-21 聚晶半導體股份有限公司 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
WO2017100099A1 (en) * 2015-12-07 2017-06-15 Flir Systems, Inc. Uncooled gas imaging camera
KR101751140B1 (ko) * 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
KR102560780B1 (ko) * 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
CN106454101A (zh) * 2016-10-25 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152557A1 (en) * 1997-08-25 2002-10-24 David Elberbaum Apparatus for identifying the scene location viewed via remotely operated television camera
US20080219654A1 (en) * 2007-03-09 2008-09-11 Border John N Camera using multiple lenses and image sensors to provide improved focusing capability
US20120120256A1 (en) * 2010-11-12 2012-05-17 Qualcomm Incorporated Parallel image processing using multiple processors
CN103201764A (zh) * 2010-11-12 2013-07-10 高通股份有限公司 使用多个处理器的并行图像处理
TW201544890A (zh) * 2014-05-16 2015-12-01 Htc Corp 手持式電子裝置、圖像擷取裝置及其圖像擷取方法

Also Published As

Publication number Publication date
CN110149467B (zh) 2021-02-09
CN110113519A (zh) 2019-08-09
US20190281231A1 (en) 2019-09-12
US20200296299A1 (en) 2020-09-17
CN110225232B (zh) 2022-01-04
CN108989655B (zh) 2022-03-22
CN111787220B (zh) 2022-03-22
TWI796323B (zh) 2023-03-21
CN110149467A (zh) 2019-08-20
CN111787220A (zh) 2020-10-16
KR20180132299A (ko) 2018-12-12
TW201937448A (zh) 2019-09-16
US10798312B2 (en) 2020-10-06
CN108989655A (zh) 2018-12-11
US11153506B2 (en) 2021-10-19
US10666876B2 (en) 2020-05-26
TW201937449A (zh) 2019-09-16
TWI720516B (zh) 2021-03-01
US20190289222A1 (en) 2019-09-19
US10708517B2 (en) 2020-07-07
KR102204596B1 (ko) 2021-01-19
TW201903707A (zh) 2019-01-16
US10348978B2 (en) 2019-07-09
US20180352169A1 (en) 2018-12-06
US20190281230A1 (en) 2019-09-12
US20190281232A1 (en) 2019-09-12
CN110225232A (zh) 2019-09-10
CN110149468A (zh) 2019-08-20
US10805555B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
TWI811386B (zh) 應用處理器
CN109308686B (zh) 一种鱼眼图像处理方法及装置、设备和存储介质
US10762664B2 (en) Multi-camera processor with feature matching
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
KR20170046498A (ko) 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US8289420B2 (en) Image processing device, camera device, image processing method, and program
TWI785162B (zh) 提供影像的方法及用於支持所述方法的電子裝置
EP2847998B1 (en) Systems, methods, and computer program products for compound image demosaicing and warping
TWI471848B (zh) 顏色校正方法與影像處理裝置
US20200310128A1 (en) Image processing apparatus, head-mounted display, and image displaying method
US20070177018A1 (en) Image sensor coprocessor
US10339641B2 (en) Image processing apparatus and method, and decoding apparatus
JP2006060629A (ja) 画像処理装置と撮像装置、および画像処理プログラム
CN116362982A (zh) 一种图像处理方法、装置、电子设备和存储介质
JPWO2004102479A1 (ja) 画像変換プログラム、画像変換方法、及びプログラムを担持した媒体