TW202105028A - 相機裝置及相機裝置之影像產生方法 - Google Patents

Abstract

根據一實施例之一種相機裝置可包含：一影像感測器，其產生具有一第一解析度之一第一拜耳資料；及一處理器，其藉由使用該第一拜耳資料輸出具有一第二解析度之一第二拜耳資料。

Description

相機裝置及相機裝置之影像產生方法

本發明涉及相機模組、包含相機模組之行動終端裝置，及影像產生方法，且更具體而言，涉及用於使用深度學習演算法自低解析度影像產生高解析度影像之技術。

隨著技術的進步，相機模組之小型化成為可能，且小型相機模組已被應用於諸如行動電話及PDA之各種IT裝置，及包含智慧型電話之類似物，且小型相機模組已被使用。此類相機模組以諸如CCD及CMOS之影像感測器作為主要組件製成，且以能夠進行聚焦調整之方式製造，藉此控制影像之大小。

此類相機模組經組態以包含複數個鏡頭及致動器，且致動器移動每一鏡頭以改變相對距離，使得可以調整光學焦距的方式相對於被攝物拍攝物體。

具體而言，相機模組包含：用於將自外部接收之光學信號轉換成電信號的影像感測器、鏡頭及用於利用影像感測器聚光之紅外(IR)濾光器、用於將該等組件包含在其中的殼體，以及用於處理影像感測器之信號的印刷電路板，且鏡頭之焦距由諸如音圈電機(VCM)致動器或微機電系統(MEMS)致動器及類似物之致動器來調整。

同時，隨著技術的進步，可能實現高解析度影像，且對能夠自遠端被攝物之所拍攝影像實現高解析度影像的技術的需求亦日益增大。

大體而言，相機裝備有變焦功能以拍攝遠端被攝物，且變焦功能主要分為移動相機內部之實際鏡頭以放大被攝物的光學變焦，及藉由 使用數位處理方法擴展並顯示被攝物之所拍攝影像資料的螢幕的部分來獲得變焦效果之數位變焦方法。

在使用鏡頭之移動獲得被攝物之影像的光學變焦之情況下，可獲得具有相對高解析度之影像，但此情況具有相機之內部結構變得複雜且由於添加了零件而增大成本之問題。另外，可使用光學變焦放大被攝物之區域存在限制，且對於此部分，正開發利用軟體及類似物進行校正之技術。

除了此等方法之外，存在藉由移動相機之內部零件來產生較多像素資訊以實施高解析度影像的技術，諸如利用音圈電機(VCM)或微機電系統(MEMS)技術搖動感測器之感測器移位技術、藉由利用VCM及類似物搖動鏡頭來獲得像素資訊的光學影像穩定器(OIS)技術，及搖動感測器與鏡頭之間的濾光器的技術，以及類似技術。

然而，此等技術之缺點在於其合成多個視差之資料，因此在拍攝移動之物體時，可能出現諸如運動模糊或偽影之現象，使得可能出現影像品質降級之問題。

另外，存在以下問題：隨著將用於實施此技術之複雜裝置插入相機，相機模組之大小增大，且因為此技術係藉由搖動零件來實施，所以難以在安裝有相機之車輛中使用，且因此僅可在固定環境中使用。

另一方面，使用大體上在TV中使用之軟體演算法的高解析度實現技術包含單框超解析度(SR)或多框超解析度(SR)技術。

儘管在此等技術之情況下不會出現偽影問題，但此演算法難以應用於可應用於小型相機模組之裝置，諸如行動裝置、車輛、IoT及類似物，且另外，存在在未安裝單獨影像處理器之情況下難以實施此類技術的問題。

因此，本發明為設計成解決如上文所描述之先前技術的問題的發明，且用以提供能夠產生高解析度影像而不產生諸如運動模糊或偽影 之問題的相機模組，及包含該相機模組之行動終端裝置。

具體而言，本發明用以提供藉由在相機模組上安裝具有基於深度學習技術之高解析度實施演算法的晶片而能夠較有效地產生高解析度影像之相機模組，及包含該相機模組之行動終端裝置，或裝備有呈運作中形式之相機模組的行動終端裝置。

根據實施例之一種相機裝置可包含：影像感測器，其產生具有第一解析度之第一拜耳資料；及處理器，其基於第一拜耳資料執行深度學習，以輸出具有高於第一解析度之第二解析度的第二拜耳資料。

處理器可藉由針對每一波長帶配置第一拜耳資料來產生第一資料陣列，且接著可藉由基於已產生之第一資料陣列執行深度學習來產生第二資料陣列。

處理器可基於第二資料陣列產生第二拜耳資料。

處理器可基於第二拜耳資料產生具有第二解析度之影像。

處理器可包含：第一資料陣列單元，其產生其中針對每一波長帶配置第一拜耳資料之第一資料陣列；深度學習處理器，其基於第一資料陣列執行深度學習以輸出第二資料陣列；及第二資料陣列單元，其產生其中第二資料陣列配置成拜耳圖案之第二拜耳資料。

處理器可包含：至少一個第一行緩衝器，其儲存每一行之第一拜耳資料；第一資料對準單元，其接收自第一行緩衝器輸出之資訊且產生針對每一波長帶配置之第一資料陣列；深度學習處理器，其基於第一資料陣列執行深度學習以產生第二資料陣列；第二資料對準單元，其產生其中第二資料陣列配置成拜耳圖案之第二資料陣列；至少一個第二行緩衝器，其儲存已自第二資料對準單元輸出的每一行之資料。

根據另一實施例的一種用於產生相機裝置之影像的方法可包括：用於產生具有第一解析度之第一拜耳資料的步驟，用於產生針對每一波長帶分類第一拜耳資料之第一資料陣列的步驟，用於藉由基於第一資料陣列執行深度學習而產生第二資料陣列，且基於第二資料陣列產生具有 高於第一解析度之第二解析度的第二拜耳資料之步驟。

用於產生第二拜耳資料之步驟可包含用於藉由配置成拜耳圖案而產生第二資料陣列之步驟。

在用於產生相機裝置之影像的方法中，第一拜耳資料包含複數個列資料，且用於產生第一資料陣列之步驟可包含用於基於藉由預設之N+1個列行輸出的第一拜耳資料產生第一資料陣列的步驟。

用於藉由預設之N+1個列行輸出之步驟可包含用於依序儲存接收之第一拜耳資料的複數個列資料當中之N個列資料，且接著在傳輸第N+1列時一起輸出N個列資料的步驟。

由於用於實現高解析度的基於深度學習之演算法使用圖框緩衝器，因此其難以在通用PC及伺服器上進行實時運行，然而，根據實施例的相機模組及包含該相機模組之行動終端裝置以及影像產生方法具有如下優勢：由於僅藉由使用幾個行緩衝器來實施高解析度，因此可利用具有相對較小大小的晶片來實現演算法，且能以最佳化網路組態之方式產生高解析度影像。

另外，由於應用本發明技術之晶片可製造成小型大小，因此晶片可根據經安裝裝置之使用目的以各種方式安裝於各種位置處，藉此可能增大設計之自由度。另外，由於並不需要昂貴處理器以執行現有深度學習演算法，因此可較經濟地產生高解析度影像。

另外，由於可以可安裝於影像感測器模組、相機模組及AP模組之任何位置處的方式來實施本發明技術，因此可藉由將此技術應用於不具有變焦之相機模組或僅支援特定放大率之固定變焦的相機模組來使用連續變焦功能。

另外，存在可藉由將本發明技術應用於僅支援特定放大率之連續光學變焦的相機模組，在較寬放大率範圍中利用連續變焦功能之效果。

另外，在產生高解析度資料時，由於藉由增大為原始資料而非RGB影像之拜耳資料的解析度來執行數位變焦，因此可獲得具有高影像 品質之高解析度影像，因為相比針對RGB影像增大解析度之情況，存在大量資訊。另外，藉由輸出高解析度拜耳資料，可能維持資料之線性，藉此增強後處理程序中之影像處理效能。

10:拜耳影像

11:行緩衝器

12:行緩衝器

20:影像

30:影像

40:第二拜耳影像

100:相機模組

110:濾光器

120:傳輸單元，鏡頭

130:影像感測器

140:傳輸單元

150:驅動器IC

160:致動器

200:影像產生單元

210:接收單元，傳輸單元

219:第一影像對準單元

220:處理器

221:第一資料對準單元

222:深度學習處理器

223:第二資料對準單元

230:輸出單元

300:應用程式處理器(AP)

310:影像信號處理單元(ISP)

400:行動終端裝置

1110:相機模組

1111:鏡頭

1112:影像感測器

1113:感測器板

1114:連接器

1115:記憶體

1120:AP模組

1121:第一處理單元

1121-1:深度學習網路

1121-2:拜耳參數，深度學習參數

1122:第二處理單元

1130:影像處理裝置

2100:影像處理裝置

2110:相機模組

2120:拜耳資料處理模組

2130:AP模組

L1:層

L2:層

L3:層

P11:參數

P12:參數

P13:參數

P21:參數

P22:參數

P31:參數

P32:參數

P33:參數

S11:步驟

S12:步驟

S13:步驟

S21:步驟

S22:步驟

S110:步驟

S120:步驟

S130:步驟

S140:步驟

X:第一樣本資料

Y:第一輸出資料

Z:第二樣本資料

圖1為說明根據本發明之第一實施例的相機模組之一些組件的方塊圖。

圖2為說明根據本發明之第一實施例的影像產生單元之一些組件的圖式。

圖3為說明根據本發明之第一實施例的執行深度學習訓練之程序的圖式。

圖4為說明根據本發明之第一實施例及另一實施例的執行深度學習訓練之程序的圖式。

圖5為說明輸入至應用深度學習演算法之處理器的資訊及藉由處理器輸出之輸出資訊的圖式。

圖6及圖7為說明具有第一解析度之第一拜耳影像由處理器轉換成具有第二解析度之第二拜耳影像的狀態之圖式。

圖8為說明根據本發明之第一實施例的行動終端裝置之一些組件的方塊圖。

圖9為說明根據本發明之第一實施例的包含相機模組之行動終端裝置的一些組件之方塊圖。

圖10為說明根據本發明之第一實施例的另一實施例的包含相機模組之行動終端裝置的一些組件之方塊圖。

圖11為說明根據本發明之第一實施例的另一實施例的包含相機模組之行動終端裝置的一些組件之方塊圖。

圖12為說明根據本發明之第一實施例的用於產生影像之方法的序列之流程圖。

圖13為根據本發明之第二實施例的影像處理裝置之方塊圖。

圖14為根據本發明之第二實施例的包括於影像處理裝置中之相機模組 的方塊圖。

圖15為應用根據本發明之第二實施例的影像處理裝置之組態的行動裝置之方塊圖。

圖16為根據本發明之第二實施例的另一實施例的影像處理裝置之方塊圖。

圖17為應用根據本發明之第二實施例的另一實施例的影像處理裝置之組態的行動裝置之方塊圖。

圖18為用於解釋根據本發明之第二實施例的在影像處理裝置中處理影像之程序的視圖。

圖19為根據本發明之第二實施例的又一實施例的影像處理裝置之方塊圖。

圖20為根據本發明之第二實施例的影像處理方法之流程圖。

圖21為根據本發明之第二實施例的另一實施例的影像處理方法之流程圖。

本說明書中所描述之實施例及圖式中說明的組態為所揭示本發明之較佳實例，且在申請本申請案時，可存在可替換本說明書之實施例及圖式的各種修改。

另外，本文中所使用之術語用於描述實施例，且並不意欲制約及/或限制所揭示本發明。除非上下文另外清晰指示，否則單數表達包括複數表達。

在本申請案中，術語「包含」、「包括」或「具有」意欲指派本說明書中描述之特徵、數目、步驟、操作、組件、零件或其組合的存在，而不事先排除一或多個其他特徵、數目、步驟、操作、組件、零件或其組合之存在或添加可能性，且本說明書中使用的包括諸如「第1」及「第2」之序號的術語可用於描述各種組件，但組件不受該等術語限制。

在下文中，將參考附圖詳細描述本發明之實施例，使得熟習本發明所屬之此項技術者可容易地實踐本發明。另外，圖式中省略了與描 述不相關之部分，以便清晰地描述本發明。

圖1至圖12為根據本發明之第一實施例的相機裝置及用於產生相機裝置之影像的方法的圖式，且圖13至圖21為根據本發明之第二實施例的影像處理裝置及影像處理方法的圖式。

圖1為說明根據本發明之第一實施例的相機模組100之一些組件的方塊圖；圖2為說明根據本發明之第一實施例的影像產生單元200之一些組件的圖式；且圖3為說明根據第一實施例的由處理器220執行之深度學習程序的實例之圖式。

參考圖1，根據實施例之相機模組100包含獲取外部被攝物之影像的影像感測器130，及將由影像感測器130獲取之影像傳輸至影像產生單元200之傳輸單元120，且影像產生單元200可包含：接收單元210，其接收由傳輸單元120傳輸之影像且將影像傳輸至處理器220；處理器220，其藉由應用對來自接收單元210所接收影像執行深度學習訓練之結果而導出的演算法，產生解析度不同於所接收影像之解析度的影像；及輸出單元230，其接收由處理器220產生之影像並將影像傳輸至外部裝置及類似物，此處，作為執行深度學習訓練之結果而導出的演算法可為上文所描述之回旋神經網路。處理器220可為使用基於深度學習之演算法訓練的處理器。其可包含管線化處理器及經訓練以自第一拜耳資料產生第二拜耳資料之回旋神經網路。

具體而言，影像感測器130可包含諸如互補金屬氧化物半導體(CMOS)或電荷耦合裝置(CCD)之影像感測器，其將穿過相機模組之鏡頭120的光轉換成電信號。

傳輸單元120可將由影像感測器130獲取之影像傳輸至影像產生裝置200之接收單元210。在圖1中，儘管傳輸單元120說明為不同於影像感測器130之組件，但不限於此，且影像感測器130亦可同時執行稍後將描述之傳輸單元120的作用。

具體而言，傳輸單元120可自影像感測器130獲取之影像提取拜耳圖案之資訊，且接著將此資訊傳輸至接收單元210。

影像產生單元200可包含：傳輸單元210，其接收由傳輸單元120傳輸之影像並將影像傳輸至處理器220；處理器220，其藉由對自傳輸單元210接收之影像使用藉由深度學習訓練產生的演算法來產生具有較高解析度之影像；輸出單元230，其接收由處理器220產生之影像並將影像傳輸至外部裝置；及類似物。

具體而言，在自接收單元210接收具有第一解析度之拜耳影像之後，處理器220使用藉由深度學習訓練產生之演算法來產生具有第二解析度之拜耳影像，且接著可將產生之第二拜耳影像傳輸至輸出單元230。此處，第二解析度意指具有不同於第一解析度之解析度值的解析度，且具體而言，可意指比第一解析度高或低之解析度。第二解析度可具有之解析度值可由使用者根據使用者之目的自由設定並改變。

因此，儘管圖式中未說明，但根據實施例之相機模組100可進一步包括接收關於第二解析度之資訊的輸入單元，且使用者可將所要解析度之資訊鍵入相機模組100中。

例如，若使用者想要獲得具有高解析度之影像，則使用者可將第二解析度設定成與第一解析度具有較大差異之解析度，且若使用者想要在相對短時間內獲取新的影像，則可將第二解析度值自由地設定成與第一解析度具有較小差異之解析度。

另外，可藉由記憶體(未示出)實施處理器220，經由處理器執行之至少一個程式指令儲存在該記憶體中。

具體而言，記憶體可包含諸如S-RAM及D-RAM之揮發性記憶體。然而，本發明不限於此，且在一些情況下，記憶體亦可包含非揮發性記憶體，諸如快閃記憶體、唯讀記憶體、可抹除可程式化唯讀記憶體(EPROM)，及電可抹除可程式化唯讀記憶體(EEPROM)以及類似物。

典型相機裝置或相機模組自影像感測器接收拜耳圖案，且藉由著色(色彩內插或去馬賽克)程序輸出呈影像形式之資料，然而，根據實施例之傳輸單元120可自影像感測器130接收之影像提取包含拜耳圖案資訊之資訊並將所提取資訊傳輸至外部。

此處，拜耳圖案可包含由將相機裝置或相機模組100中包括之光學信號轉換成電信號之影像感測器130輸出的原始資料。

具體而言，透射穿過相機模組100中包括之鏡頭120的光學信號可藉由安置在能夠偵測R、G及B之色彩的影像感測器中之每一像素轉換成電信號。

假設相機模組100之規格為5百萬像素，則可認為相機模組包含包括能夠偵測R、G及B之色彩的5百萬像素之影像感測器。儘管像素之數目為5百萬，但該結構可被視為僅偵測黑白亮度，而非實際上偵測每一色彩之單色像素與R、G及B濾光器中之任一者的組合。

亦即，在影像感測器中，R、G及B濾色器以特定圖案安置在按像素數目配置之單色像素單元上。因此，R、G及B色彩圖案根據使用者(亦即，人類)之視覺特性交叉配置，此被稱為拜耳圖案。

大體而言，拜耳圖案具有比影像類型資料小之資料量。因此，相比影像類型資料，甚至安裝有並無高規格處理器之相機模組之裝置可相對較快地傳輸及接收拜耳圖案影像資訊，且基於此，存在可轉換成具有各種解析度之影像的優勢。

出於實例，甚至在相機模組安裝在車輛上且相機模組使用全雙工傳輸速率為100Mbit/s之低電壓差分傳信(LVDS)的環境中，仍可能不會發生過載，且因此對於使用車輛之駕駛員或駕駛員的安全可能不會造成安全隱患，因為不需要許多處理器來處理影像。

另外，由於可能減小車輛中藉由通信網路傳輸之資料的大小，因此即使將相機模組應用於自控車輛，取決於車輛中部署之多個相機的操作，仍存在可消除由通信方法、通信速度及類似物引起之問題的效果。

另外，在將拜耳圖案之影像資訊傳輸至接收單元210時，傳輸單元120可在自影像感測器130接收拜耳圖案類型圖框之後，傳輸已減少取樣至1/n大小之資訊。

具體而言，傳輸單元120可在藉由高斯濾波器或類似物對減少取樣之前就已接收之拜耳圖案資料執行平滑化之後執行減少取樣。此 後，在基於經減少取樣影像資料產生圖框封包之後，可將完成之圖框封包傳輸至接收單元210。然而，可在處理器220中，而非傳輸單元120中同時執行此等功能。

另外，傳輸單元120可包含串列器(未示出)，其將拜耳圖案轉換成串列資料以便經由諸如低電壓差分傳信方案(LVDS)之串列通信方案傳輸拜耳圖案資訊。

串列器可通常包含暫時儲存資料之緩衝器，及形成傳輸資料之週期的鎖相迴路(PLL)，或可一起實施。

至此，已描述根據實施例之相機模組100的通用組件。在下文中，將描述用於產生應用於處理器220之演算法的方法及其特徵。

應用於根據實施例之相機模組100的處理器220之演算法為產生解析度比輸入影像高之影像的演算法，且可意指藉由反覆地執行深度學習訓練所產生的最佳演算法。為藉由深度學習訓練產生之演算法的回旋神經網路可經訓練以接收具有第一解析度之第一拜耳資料，並產生具有第二解析度之第二拜耳資料。

有時被稱作深入學習之深度學習意指與機器學習相關之一組演算法，該等演算法試圖藉由若干非線性變換方法之組合進行高水平之抽象化(抽象化為總結大量資料或複雜材料中的關鍵內容或功能)。

具體而言，深度學習為一種學習技術，其以電腦可理解之形式表示某一學習資料(例如，在影像之情況下，像素資訊表示為行向量)，以便將其應用於許多研究的學習(如何創建較好的表示技術及如何建立模型以學習技術)，且深度學習可包含諸如深度神經網路(DNN)、深度信念網路(DBN)及類似物的學習技術。

出於實例，深度學習可首先辨識周圍環境並將當前環境狀態傳送至處理器。處理器執行與此對應之動作，且環境又根據動作向處理器告知補償值。接著，處理器採取使補償值最大化之動作。藉由此程序，可反覆地執行學習程序。

如先前所描述，在執行深度學習時運用之學習資料可為在將 具有較低真實解析度之拜耳影像轉換成具有較高解析度之拜耳影像時獲得的結果，或可為藉由模擬獲得之資訊。

若執行模擬程序，則可藉由根據模擬環境調整程序(影像之背景、色彩之類型及類似物)較快速地獲得資料。在下文中，將藉由圖3及圖4詳細描述根據實施例的用於產生應用於處理器220之演算法的方法。

圖3為說明根據實施例的執行深度學習訓練之程序的圖式，且圖4為說明根據另一實施例的執行深度學習訓練之程序的圖式。

圖3之深度學習為應用深度神經網路(DNN)演算法之深度學習，且為說明在應用DNN演算法時產生具有新解析度之影像的程序之圖式。

深度神經網路(DNN)可指定為多個隱藏層存在於輸入層與輸出層之間的深度神經網路；在神經元之間形成連接圖案之回旋神經網路，類似於動物視覺皮層之結構，神經元之間的連接圖案類似於動物視覺皮層之結構；及隨時間推移每時每刻皆建立神經網路之遞歸神經網路。回旋神經網路可為全回旋網路(FCN)、U-Net、MobileNet、殘留密集網路(RDN)及殘留通道注意網路(RCAN)中之至少一者的模型。另外，自然可使用多種模型。

具體而言，DNN藉由重複回旋及子取樣來減小及扭曲資料量，從而對神經網路進行分類。亦即，DNN藉由特徵提取及分類行為輸出分類結果，且主要用於影像分析，而回旋意指影像濾波。

參考圖3，在描述由應用DNN演算法之處理器220執行之程序時，處理器220基於自接收單元210接收的具有第一解析度之拜耳影像10，對一區域執行回旋及子取樣以增大放大率。

增大放大率意指僅擴展由影像感測器130獲取之影像的特定部分。因此，由於未被使用者選擇之部分為使用者不感興趣之部分，因此不需要執行增大解析度之程序，且可僅對使用者選擇之部分執行回旋及子取樣。

子取樣指減小影像之大小的程序。作為實例，子取樣可使用 最大池方法。最大池為在對應區域中選擇最大值之技術，類似於神經元如何對最大信號作出回應。子取樣具有減小雜訊及增大學習速度之優勢。

在執行了回旋及子取樣時，如圖3中所說明，可輸出複數個影像20。此後，可基於輸出之影像使用向上按比例縮放方法輸出具有不同特徵之複數個影像。向上按比例縮放方法意指使用彼此不同之r²個濾波器將影像增大r×r倍。

如圖3中所說明，在根據向上按比例縮放輸出了複數個影像30時，處理器220可基於此類影像進行重組，以最後輸出具有第二解析度之第二拜耳影像40。

圖4之深度學習為說明以不同於圖3之深度學習的方式執行深度學習之方法的圖式，且具體而言，其為解釋產生藉由迭代學習形成之演算法的程序之圖式。

在根據圖4之深度學習的情況下，在接收解析度彼此不同之第一樣本資料X及第二樣本資料Z之後，可基於此執行深度學習訓練。

具體而言，根據圖4之深度學習可基於藉由比較及分析第二樣本資料Z與輸出資料Y所產生的參數來產生演算法，該演算法產生具有較高解析度之影像，該輸出資料已經歷將第一樣本資料X用作輸入資料之深度學習訓練。

此處，輸出資料Y為藉由實際深度學習輸出之資料，且第二樣本資料Z為使用者輸入之資料，其可意指在第一樣本資料X已輸入至演算法時可最理想地輸出之資料。

因此，根據圖4之演算法比較及分析為最理想輸出結果之第二樣本資料Z與為實際輸出資料之第一輸出資料Y，以導出差異，且接著以抵消差異之方式向演算法提供回饋。

具體而言，在分析影響輸出資料之參數之後，以如下方式提供回饋：改變或刪除參數或產生新參數，使得可消除為理想輸出資料之第二樣本資料Z與為實際輸出資料之第一輸出資料Y之間的差異。

出於實例，如圖4中所說明，假定存在影響演算法之總共三 個層：L1、L2及L3，且每一層中存在總共八個參數P11、P12、P13、P21、P22、P31及P32。

在此情況下，在以增大參數P22之值的方式改變參數時，若為實際上輸出資料之第一輸出資料Y與為最理想輸出資料之第二樣本資料Z之間的差異增大，則回饋可以降低參數P22之方式改變演算法。

相反，在以增大參數P33之值的方式改變參數時，若為實際上輸出資料之第一輸出資料Y與為最理想輸出資料之第二樣本資料Z之間的差異降低，則回饋可以增大參數P33之方式改變演算法。

亦即，藉由此方法，應用了深度學習之演算法可允許實際上輸出之第一輸出資料Y輸出為類似於為最理想輸出資料之第二樣本資料Z。

在此情況下，第二樣本資料Z之解析度可相同或高於第一輸出資料Y之解析度，且第二樣本資料Z之解析度可相同於第一輸出資料Y之解析度。

大體而言，為了實施能夠利用小型晶片進行深度學習之處理器，深度學習之程序及記憶體閘之數目應最小化，此處，極大地影響閘數目之因素為演算法之複雜度及每時脈處理的資料量，且由處理器處理的資料量取決於輸入解析度。

因此，為了減小閘數目，根據實施例之處理器220以在減小輸入解析度之後執行向上按比例縮放之方式來以較高放大率產生影像，且因此存在能夠較快創建影像之優勢。

例如，若具有8Mp(兆像素)之輸入解析度的影像需要進行2倍變焦，則藉由在1/4區域(2Mp)的基礎上將寬度及長度各自向上按比例縮放2倍來執行2倍變焦。且接著將1/4區域(2Mp)向下按比例縮放1/4，並在將解析度為0.5Mp之影像用作輸入資料進行深度學習處理之後，若以在產生的影像之基礎上分別向上按比例縮放寬度及長度之方式執行4倍變焦，則可產生與2倍變焦相同面積的變焦影像。

因此，根據實施例之相機模組100及用於產生影像之方法以深度學習在習得多達對應於解析度損耗之放大率之後產生影像的方式來產 生影像，以便防止由於輸入解析度之損耗造成的效能降級，且因此存在可最小化效能降級之優勢。

另外，用於實現高解析度影像的基於深度學習之演算法大體上使用圖框緩衝器，但在圖框緩衝器之情況下，由於其特性，在通用PC及伺服器中可能難以進行實時操作。

然而，根據實施例之處理器220應用已藉由深度學習產生之演算法，且因此可容易地應用於低規格相機模組及包含該低規格相機模組之各種裝置，且在應用此演算法時，具體而言，由於僅藉由使用幾個行緩衝器實現高解析度，因此亦存在利用具有相對較小大小的晶片來實施處理器之效果。

圖5為說明根據實施例之處理器220的一些組件之方塊圖。

參考圖5，根據實施例之處理器可包含：複數個行緩衝器11，其接收第一拜耳資料；第一資料對準單元221，其藉由針對每一波長帶配置藉由行緩衝器輸出之第一拜耳資料來產生第一資料陣列；深度學習處理器222，其根據預設演算法執行深度學習；第二資料對準單元223，其藉由將藉由深度學習處理器222輸出之第二資料陣列配置成拜耳圖案來產生第二拜耳資料；複數個行緩衝器12，其輸出藉由第二資料對準單元223輸出之第二拜耳資料。

第一拜耳資料為包含先前描述之拜耳圖案的資訊，且儘管在圖5中描述為拜耳資料，但可將其定義為拜耳影像或拜耳圖案。

另外，在圖5中，為方便起見，第一資料對準單元221及第二資料對準單元223說明為單獨組件，但不限於此，且深度學習處理器222亦可執行由第一資料對準單元221及第二資料對準單元223一起執行之功能，稍後將加以描述。

參考圖5，具有第一解析度之第一拜耳資料可被傳輸至n+1個行緩衝器11a、11b……11n、11n+1，該第一拜耳資料為由使用者選擇且由影像感測器110接收的區域之影像資訊。如先前所描述，由於僅針對由使用者選擇之區域產生具有第二解析度之拜耳影像，因此並不將未由使用 者選擇的區域之影像資訊傳輸至行緩衝器11。

具體而言，第一拜耳資料包含複數個列資料，且複數個列資料可藉由複數個行緩衝器11傳輸至第一資料對準單元221。

例如，若待由深度學習處理器222執行深度學習之區域為3×3區域，則必須將總共三行同時傳輸至第一資料對準單元221或處理器220，使得可執行深度學習。因此，關於三行當中之第一行的資訊被傳輸至第一行緩衝器11a，且接著儲存在第一行緩衝器11a中，且關於三行當中之第二行的資訊可被傳輸至第二行緩衝器11b，且接著儲存在第二行緩衝器11b中。

此後，在第三行之情況下，由於不存在關於此後接收之行的資訊，因此可能不將資訊儲存在行緩衝器11中，而是可直接傳輸至處理器220或第一資料對準單元221。

此時，由於第一資料對準單元221或處理器220必須同時接收關於三行之資訊，因此已儲存在第一行緩衝器11a中的關於第一行之資訊及已儲存在第二行緩衝器11b中的關於第二行之資訊亦可同時傳輸至處理器220或第一影像對準單元219。

相反地，若待由深度學習處理器222執行深度學習之區域為(N+1)×(N+1)，則僅在總共(N+1)行同時傳輸至第一資料對準單元221或處理器220時才可執行深度學習。因此，關於(N+1)行當中之第一行的資訊可在傳輸至第一行緩衝器11a之後儲存在第一行緩衝器11a中；關於(N+1)行當中之第二行的資訊可在傳輸至第二行緩衝器11b之後儲存在第二行緩衝器11b中；且關於(N+1)行當中之第N行的資訊可在傳輸至第N行緩衝器11n之後儲存在第N行緩衝器11n中。

此後，在第(N+1)行之情況下，由於不存在關於此後接收之行的資訊，因此可能不將資訊儲存在行緩衝器11中，而是可直接傳輸至處理器220或第一資料對準單元221，且如先前所解釋，此時，由於第一資料對準單元221或處理器220必須同時接收關於(N+1)行之資訊，因此已儲存在行緩衝器11a至11n中的關於第一行至第N行之資訊亦可同時傳輸 至處理器220或第一影像對準單元219。

在自行緩衝器11接收拜耳資料之後，第一影像對準單元219藉由針對每一波長帶配置拜耳資料來產生第一資料陣列，且接著可將第一資料陣列傳輸至深度學習處理器222。

第一影像對準單元219可產生第一資料陣列，該陣列藉由將所接收資訊分類為特定波長或紅色、綠色或藍色之特定色彩來配置。

此後，深度學習處理器222可藉由基於已藉由第一影像對準單元219接收之第一資料陣列執行深度學習來產生第二資料陣列。

具體而言，如先前藉由圖3及圖4所描述，執行深度學習可意指藉由推理或迭代學習產生演算法以便產生最佳演算法之程序，但同時，執行由此等程序產生之演算法亦可被稱為執行深度學習。

因此，藉由基於已藉由第一影像對準單元219接收之第一資料陣列執行深度學習，深度學習處理器222可產生具有比第一解析度高之解析度的第二解析度之第二資料陣列。

例如，如先前所描述，若接收了3×3區域之第一資料陣列，則對該3×3區域執行深度學習，且若接收了(n+1)×(n+1)區域之第一資料陣列，則可對該(n+1)×(n+1)區域執行深度學習。

此後，由深度學習處理器222產生之第二資料陣列被傳輸至第二資料對準單元223，且第二資料對準單元223可將第二資料陣列轉換成具有拜耳圖案之第二拜耳資料。

此後，經轉換第二拜耳資料藉由複數個行緩衝器12a輸出至外部，且已輸出之第二拜耳資料可由另一程序產生為具有第二解析度之影像，第二解析度為比第一解析度高之解析度。

圖6及圖7為說明具有具第一解析度之影像的第一拜耳影像由處理器220轉換成具有第二解析度之第二拜耳影像的狀態之圖式。

在使用者自具有第一解析度之拜耳影像10選擇特定區域時，處理器220可對該區域執行影像轉換程序，且結果，如圖6及圖7中所說明，可產生具有第二解析度之拜耳影像40。

圖8為說明根據實施例之行動終端裝置400的一些組件之方塊圖。

參考圖8，根據實施例之行動終端裝置400可包含濾光器110、鏡頭120、影像感測器130、傳輸單元140、驅動器IC 150、致動器160、接收單元210、處理器220、輸出單元230以及包含ISP 310之AP 300。

影像感測器130、傳輸單元140、接收單元210、處理器220以及輸出單元230為作用相同於圖1及圖2中描述之組態的組件，將省略關於此等組件之描述。

濾光器110用以選擇性地阻擋自外部引入之光，且其可大體上定位在鏡頭120之上側上。

鏡頭120為將諸如玻璃之透明材料的表面精細地研磨成球體，以收集或轉移來自物體之光以形成光學影像的裝置，相機模組100中使用之典型鏡頭120可包含具有彼此不同之特徵的複數個鏡頭。

驅動器IC 150指代將驅動信號及資料作為電信號提供至面板，使得文本或視訊影像可顯示於螢幕上之半導體IC，儘管稍後將描述，但驅動器IC可安置於行動終端裝置400之各種位置處。另外，驅動器IC(150m驅動器IC)可驅動致動器160。

致動器可藉由調整鏡頭或包含鏡頭之鏡筒的位置來調整聚焦。例如，致動器160可為音圈電機(VCM)法。鏡頭120亦可包含變焦鏡頭。若包括變焦鏡頭，則驅動器IC可驅動變焦鏡頭。例如，鏡頭可包含液體鏡頭，液體鏡頭包含液體，且在此情況下，驅動器IC可藉由調整液體鏡頭中之液體來調整聚焦。

應用程式處理器(AP)300為行動裝置之記憶體晶片，且指代負責行動終端裝置400中之各種應用程式操作及圖形處理之核心半導體。AP 300可以系統單晶片(SoC)之形式實施，系統單晶片包含電腦之中央處理單元(CPU)之功能及控制記憶體、硬碟、圖形卡以及其他設備之連接的晶片組之功能兩者。

影像信號處理單元(ISP)300可使用行動行業處理器介面 (MIPI)通信接收由處理器220產生之第二拜耳影像，並執行影像信號處理程序。

影像信號處理單元300在處理影像信號時可包含複數個子程序。例如，對於所接收影像，程序可包含伽瑪校正、色彩校正、自動曝光校正及自動白平衡中之一或多者。圖9至圖11為說明驅動器IC 150及處理器220可安置於行動終端裝置400中之各種實施例的方塊圖。

圖9至圖11中所說明之組件中之每一者先前已詳細描述，且將不再描述，但將集中於驅動器IC 150及處理器220可安置之位置加以解釋。

在一個實施例中，如圖7中所說明，驅動器IC 150及處理器220可獨立地實施為相機模組100內之單獨模組。

具體而言，處理器220可以晶片形式實施且包括於影像產生單元200中，且驅動器IC 150可被實施為獨立於影像產生單元200及處理器220之單獨晶片。

在圖9中，影像產生單元200說明為包含接收單元210、處理器220及輸出單元230，但不限於此，且影像產生單元200僅包含處理器220，且處理器220可同時執行先前已描述之接收單元210及輸出單元230之作用。

當驅動器IC 150及處理器220以相同於圖9之形式實施時，由於可以將利用影像產生單元200實施之晶片插入現有相機模組中之方式應用本發明技術，因此存在不論現有相機模組之結構如何皆可實施本發明技術之效果。

在另一實施例中，如圖8中所說明，驅動器IC 150及處理器220可一起實施為包括於相機模組100中之影像產生單元200內之單個模組。

具體而言，影像產生單元200可被實施為單個晶片，且在此情況下，影像產生單元200可同時執行驅動器IC 150及處理器220之作用。

在圖10中，影像產生單元200說明為包含接收單元210、 處理器220及輸出單元230，但不限於此，且影像產生單元200僅包含處理器220及驅動器IC 150，且處理器220可同時執行如先前所描述之接收單元210及輸出單元230以及驅動器IC 150之作用。

當驅動器IC 150及處理器220以相同於圖10之形式實施時，可藉由使用單個晶片同時執行驅動器IC 150之作用及處理器220之作用，且因此存在可較經濟地製造相機模組100之效果。

在另一實施例中，如圖9中所說明，對於驅動器IC 150及處理器220，驅動器IC 150可安裝在相機模組100內部，且處理器220可分離於相機模組100安置於行動終端裝置400內部。

具體而言，處理器220可以晶片形式實施且包括於影像產生單元200中，且驅動器IC 150可安置於相機模組100內部，同時實施成獨立於影像產生單元200及處理器220。

在圖11中，影像產生單元200說明為包含接收單元210、處理器220及輸出單元230，但不限於此，且影像產生單元200僅包含處理器220，且處理器220可同時執行如先前所描述之接收單元210及輸出單元230的作用。

當驅動器IC 150及處理器220以相同於圖11之形式實施時，可以將利用影像產生單元200實施之晶片插入現有相機模組中之方式實施本發明技術，且因此存在不論現有相機模組之結構如何皆可實施本發明技術之優勢。另外，相比於高影像感測器，存在減小模組自身之厚度的效果。

圖12為說明根據實施例的用於產生影像之方法的序列之流程圖。

參考圖12，可自影像感測器130接收具有第一解析度之第一拜耳影像。(S110)

此後，可自使用者接收關於第二解析度之資訊。儘管圖式中未說明，但可藉由單獨的輸入裝置自使用者接收關於第二解析度之資訊。(S120)

若自使用者接收了關於第二解析度之資訊，則可使用藉由深度學習產生之演算法產生第二拜耳影像，以便產生具有由使用者設定之第二解析度的拜耳影像。(S130、S140)

藉由圖式，已描述相機模組100及包含該相機模組之行動終端裝置400以及用於產生影像的方法。

在用於實施高解析度的基於深度學習之演算法的情況下，若使用了圖框緩衝器，則存在在通用PC及伺服器中難以進行實時操作之問題。然而，根據實施例之相機模組及包含該相機模組之行動終端裝置以及用於產生影像的方法僅藉由使用幾個行緩衝器來實施高解析度，且因此存在可利用具有相對較小大小的晶片來實施之優勢。

另外，由於應用本發明技術之晶片可製造成小型大小，因此晶片可根據待安裝裝置之使用目的以各種方式安裝於各種位置處，藉此增大設計自由度，且存在使用了嵌入有已藉由深度學習產生之演算法之處理器，使得並不需要昂貴處理器之優勢，且因此可較經濟地產生高解析度影像。

另外，由於可藉由將簡單晶片安裝在相機模組上來實施此技術，因此可藉由將此技術應用至不具有變焦功能之相機模組或僅支援特定放大率之固定變焦的相機模組來使用連續變焦功能。

另外，藉由亦將本發明技術應用至僅支援特定放大率之光學變焦的相機模組，存在在較寬放大率範圍中利用連續變焦功能之效果。另外，藉由使用習得回旋神經網路輸出之第一拜耳資料被輸入至影像信號處理單元。可藉由執行AP之影像信號處理單元的去馬賽克RGB轉換來產生RGB影像。

自第一拜耳資料產生第二拜耳資料之處理器可實施於影像信號處理單元之前端處(AP之軟體邏輯，亦即ISP之前端處的預處理邏輯)，可實施為單獨晶片，或可實施於相機模組內。

為原始資料之拜耳資料具有10位元或更多之位元解析度，然而在已經歷ISP影像處理之RGB資料的情況下，由於ISP處發生的諸如 雜訊/偽影減小及壓縮之資料損耗，RGB資料為8位元，且因此其包含的資訊顯著減小。另外，ISP包括諸如色調映射之非線性處理，從而難以處理影像復原，然而，拜耳資料具有與光成比例之線性，因此可易於處理影像復原。另外，在信雜比(PSNR)之情況下，當使用相同演算法時，相比於使用RGB資料，使用拜耳資料時亦高約2至4dB，且藉此，可有效地處理諸如在AP中執行之多框去雜訊或SR。亦即，藉由使用拜耳資料，可增強高解析度轉換之效能，且由於輸出了拜耳資料，因此亦可增強AP之額外影像處理效能。

如先前所描述，參考圖1至圖12，已描述根據本發明之第一實施例的相機裝置及用於產生相機裝置之影像的方法。在下文中，參考圖13至圖18，將描述根據本發明之第二實施例的影像處理裝置及用於處理影像的方法。根據本發明之第二實施例的影像處理裝置及用於處理影像的方法之詳細描述係基於每一實施例之詳細描述，且在成像程序、相機模組、影像產生單元、成像裝置、行動終端裝置、相機裝置及用於成像的方法，以及根據本發明之第一實施例的名稱、術語及功能方面可能相同或不同。

圖13為根據本發明之第二實施例的影像處理裝置1130之方塊圖。根據本發明之第二實施例的影像處理裝置1130包含相機模組1110及AP模組1120。

AP模組1120包含第一處理單元1121及第二處理單元1122。另外，其可進一步包含一或多個處理器或一或多個記憶體或通信單元。影像處理裝置1130指代包含用於處理影像之功能的裝置，且可意指電子裝置中之任一者，諸如包含自用於處理影像之模組至影像處理單元的行動終端。

相機模組1110包含影像感測器。

更具體而言，相機模組1110輸出來自影像感測器的具有第一解析度之拜耳資料。如圖14中所說明，相機模組1110可包含鏡頭1111、影像感測器1112、上面安裝影像感測器1112之感測器板1113，以及用於將資料傳輸至外部及自外部接收資料之連接器1114。上文組件可形成為單 個模組。亦即，作為區別於除了相機模組外之組件的獨立裝置，其可以將資料傳輸至其他模組及自其他模組接收資料之形式實施。

鏡頭1120為將諸如玻璃之透明材料的表面精細地研磨成球體，以收集或轉移來自物體之光以形成光學影像的裝置，相機模組1100中使用之典型鏡頭1111可包含具有彼此不同之特徵的複數個鏡頭。作用為選擇性地阻擋來自外部之光的濾光器可形成於鏡頭1111之上側上。

影像感測器1112可包括諸如互補金屬氧化物半導體(CMOS)或電荷耦合裝置(CCD)之影像感測器，其將穿過相機模組之鏡頭的光轉換成電信號。影像感測器1112可藉由濾色器自所獲取影像產生包含拜耳圖案之資訊的拜耳資料。拜耳資料可具有根據影像感測器1112之規格的第一解析度，或在產生對應影像時設定之變焦放大率。影像感測器1112可形成於感測器板1113上。鏡頭1111亦可形成於感測器板1113上。

透射穿過鏡頭1111之光學信號可藉由能夠偵測R、G及B之色彩的影像感測器1112中安置之每一像素轉換成電信號。假設相機模組1100之規格為5百萬像素，則可認為相機模組包含包括能夠偵測R、G及B之色彩的5百萬像素之影像感測器1112。儘管像素之數目為5百萬，但該結構可被視為僅偵測黑白亮度，而非實際上偵測每一色彩之單色像素與R、G及B濾光器中之任一者的組合。亦即，在影像感測器1112中，R、G及B濾色器以特定圖案安置在按像素數目配置之單色像素單元上。因此，R、G及B色彩圖案根據使用者(亦即，人類)之視覺特性交叉配置，此被稱為拜耳圖案。大體而言，拜耳圖案具有比影像類型資料小之資料量。因此，相比影像類型資料，甚至安裝有並無高規格處理器之相機模組1110之裝置可相對較快地傳輸及接收拜耳圖案影像資訊，且基於此，存在可轉換成具有各種解析度之影像的優勢。

例如，甚至在相機模組1110安裝在車輛上且相機模組1110使用全雙工傳輸速率為100Mbit/s之低電壓差分傳信(LVDS)的環境中，仍可能不會發生過載，且因此對於使用車輛之駕駛員或駕駛員的安全可能不會造成安全隱患，因為不需要許多處理器來處理影像。另外，由於可能 減小車輛中藉由通信網路傳輸之資料的大小，因此即使將相機模組應用於自控車輛，取決於車輛中部署之多個相機的操作，仍存在可消除由通信方法、通信速度及類似物引起之問題的效果。

另外，在將具有拜耳圖案之拜耳資料傳輸至第一處理單元1121時，影像感測器1112可在將拜耳圖案塑形圖框減少取樣至1/n之大小之後傳輸資料。可在藉由高斯濾波器或類似物對減少取樣之前已接收之拜耳圖案資料執行平滑化之後執行減少取樣。此後，在基於經減少取樣影像資料產生圖框封包之後，可將已完成之圖框封包傳輸至第一處理單元1121。然而，可在第一處理單元1121中而不在影像感測器中執行此功能。

另外，影像感測器1112可包含串列器(未示出)，其將拜耳圖案轉換成串列資料以便經由諸如低電壓差分傳信方案(LVDS)之串列通信方案傳輸拜耳圖案資訊。串列器可通常包含暫時儲存資料之緩衝器，及形成傳輸資料之週期的鎖相迴路(PLL)，或可一起實施。

連接器1114將由相機模組1110產生之資料輸出至外部或自外部接收資料。連接器1114可形成為通信單元，或可形成為通信線或資料線。連接器1114可將由影像感測器1112產生及輸出之拜耳資料傳輸至第一處理單元1121。此處，形成為連接至外部之線的連接器1114可實施為行動行業處理器介面(MIPI)。MIPI為構成行動裝置之每一組件之間的介面，且包含作為具有增強型可重用性及兼容性之介面的顯示串列介面(DSI)及相機串列介面(CSI)。相機模組1110之連接器1114可實施為CSI。

相機模組1110可進一步包含驅動器IC及致動器。

驅動器IC指代將驅動信號及資料作為電信號提供至面板，使得文本或視訊影像可顯示於螢幕上之半導體IC，且可安置於行動終端裝置之各種位置處。另外，驅動器IC可驅動致動器。致動器可藉由調整鏡頭或包含鏡頭之鏡筒的位置來調整聚焦。例如，致動器可為音圈電機(VCM)法。此時，鏡頭亦可包含變焦鏡頭。若包括變焦鏡頭，則驅動器IC可驅動變焦鏡頭。例如，鏡頭可包含液體鏡頭，液體鏡頭包含液體，且在此情況下，驅動器IC可藉由調整液體鏡頭中之液體來調整聚焦。

AP模組1120接收自相機模組1110輸出之第一輸出資料。

更具體而言，AP模組1120自相機模組1110接收自影像感測器1112輸出之第一拜耳資料。應用程式處理器(AP)120為用於行動裝置之記憶體晶片，且在影像處理裝置1130為行動裝置時，應用程式處理器意指負責行動裝置中之各種應用程式操作及圖形處理的核心半導體。AP模組1120可以系統單晶片(SoC)之形式實施，系統單晶片包含電腦之中央處理單元(CPU)之功能及控制諸如記憶體、硬碟、圖形卡等其他設備之連接的晶片組之功能兩者。

AP模組1120包括第一處理單元1121及第二處理單元1122。

第一處理單元1121使用具有第一解析度之第一拜耳資料產生具有第二解析度之第二拜耳資料。

更具體而言，第一處理單元1121增大拜耳資料之解析度，該拜耳資料為由影像感測器1112產生及輸出之影像資料。亦即，自具有第一解析度之第一拜耳資料產生具有第二解析度之第二拜耳資料。此處，第二解析度意指具有不同於第一解析度之解析度值的解析度，且第二解析度可高於第一解析度。第一解析度可為由相機模組1110輸出之拜耳資料的解析度，且第二解析度可根據使用者設定而改變或可為預設解析度。此處，影像感測器1112可為RGB影像感測器。

影像處理裝置1130可進一步包含自使用者接收關於解析度之資訊的輸入單元(未示出)。使用者可藉由輸入單元輸入關於待由第一處理單元1121產生之第二解析度的資訊。例如，若使用者想要獲得具有高解析度之影像，則使用者可將第二解析度設定成與第一解析度具有較大差異之解析度，且若使用者想要在相對短時間內獲取新的影像，則可將第二解析度值設定成與第一解析度具有較小差異之解析度。

第一處理單元1121可自具有第一解析度之第一拜耳資料產生具有第二解析度之第二拜耳資料以執行超解析度(SR)。超解析度為基於低解析度影像產生高解析度影像之程序，且充當藉由影像處理而非物理光學變焦自低解析度影像產生高解析度影像之數位變焦。超解析度可用於 改良經壓縮或經減少取樣影像之品質，或可用於增強具有取決於裝置限制之解析度的影像之品質。另外，可用於增大各種領域中之影像的解析度。

在執行諸如超解析度的增大解析度之程序時，使用拜耳資料而非RGB影像增大解析度之程序可改良增大解析度之結果的品質。由於拜耳資料為由影像感測器1112產生及輸出之原始資料，因此其包含比藉由執行影像處理產生之RGB影像多的資訊。

RGB資料亦可經處理有10位元或更高，但當前僅應用於顯示器及類似物，且當使用現有RGB資料時，每一通道具有8位元資料。又，由於在ISP及類似物中執行之去馬賽克，資訊可能受到損耗。然而，另一方面，拜耳資料具有當前用於行動裝置中的呈未處理格式之10位元資料。呈12位元或14位元格式之拜耳資料亦係可能的。以此方式，在使用拜耳資料時，由於待用於超解析度之輸入資訊的量大於RGB資料的量，因此相比於使用RGB影像增大解析度，使用拜耳資料增大解析度在處理品質方面係優良的。

第一處理單元1121可增大IR資料以及拜耳資料之解析度。當影像感測器1112為ToF感測器時，可使用由ToF感測器產生且由相機模組1110輸出的具有第三解析度之IR資料產生具有第四解析度之IR資料。第三解析度可為由ToF感測器1120輸出之IR資料的解析度，且第四解析度可根據使用者設定而改變或可為預設解析度。第四解析度可為具有相同於第二解析度之解析度值的解析度。當使用自IR資料產生之IR影像改良自拜耳資料產生之RGB影像的影像品質時，可以IR影像之大小，亦即解析度，與RGB影像相同之方式產生IR資料，且IR資料之第四解析度相同於第二拜耳資料之第二解析度。

第二處理單元1122接收自第一處理單元1121輸出之第二輸出資料且執行影像處理。

更具體而言，第二處理單元1122藉由對自第一處理單元1121輸出之第二輸出資料執行影像信號處理(ISP)來產生影像。第二處理器1122可為影像信號處理器(ISP)。行動行業處理器介面(MIPI)通信 可用於接收由第一處理單元1121輸出之第二輸出資料並執行影像信號處理程序。

當第二輸出資料為第二拜耳資料時，第二處理單元1122可自第二拜耳資料產生RGB影像。此時，第二處理單元1122可在處理影像信號時執行複數個子程序。例如，可對所接收影像執行伽瑪校正、色彩校正、自動曝光校正及自動白平衡中之一或多者。

當第一處理單元1121輸出IR資料以及拜耳資料時，第二處理單元1122可藉由自拜耳資料產生之RGB影像及自IR資料產生之IR影像進行計算而產生具有經改良影像品質之RGB影像，該拜耳資料為第一處理單元1121之第二輸出資料。在低光環境中，僅自拜耳資料產生之RGB影像具有低亮度或高雜訊，此會顯著降級影像品質。為了改良在僅利用拜耳資料產生RGB影像時可發生之影像品質降級，可使用IR影像。亦即，可藉由計算RGB影像及IR影像來產生具有經改良影像品質之第二RGB影像。藉由使用包括RGB影像感測器及ToF影像感測器之相機模組1110，可能使用高解析度IR資料以及用以增大每一資料之解析度的變焦功能而改良RGB影像之低照度。拜耳資料或IR資料可藉由增大解析度之程序產生高解析度RGB影像、高解析度IR影像及高解析度深度影像。另外，由於IR影像相比RGB影像(低於11Mp)具有極低解析度，因此以高解析度處理IR資料之處理單元適於以晶片形式實施。為了製造小型化晶片，重要的是使計算所需之演算法邏輯及資料記憶體最小化，因為相機裝置之解析度與記憶體及計算量直接相關。在增大IR資料之解析度的程序中，可使用第一處理單元1121的增大拜耳資料之解析度的晶片。在使用第一處理單元1121之部分晶片時僅需要切換習得之權重值來增大IR資料之解析度。若使用具有經改良解析度之IR影像改良了低光條件下的RGB影像，則可實現較高改良，且在應用於各種應用程式(例如，面部辨識、物體辨識、大小辨識及類似物)時藉由深度影像及融合能改良辨識率。

第一處理單元1121可自第一拜耳資料產生第二拜耳資料。此處，執行深度學習之含義意指使用藉由深度學習導出之回旋神經網路產 生第二拜耳資料。可使用除了深度學習外的解析度增大演算法自第一拜耳資料產生第二拜耳資料。自然可使用用於超解析度(SR)之各種演算法。將參考圖18及圖3至圖7詳細解釋第一處理單元1121增大第一輸出資料之解析度的程序。

第一處理單元1121可以區別於第二處理單元1122之晶片的形式實施。用於自第一拜耳資料產生第二拜耳資料之第一處理單元1121及用於執行影像信號處理之第二處理單元1122可實施為單獨的晶片。藉由將第一處理單元1121形成為小型晶片並將其應用於AP模組上，可僅將增大拜耳資料之解析度的組態添加於AP模組上，而無需改變AP模組之現有組態，諸如為ISP之第二處理單元1122。

如圖15中所示，當影像處理裝置1130為行動裝置時，相機模組1110可為包括於行動裝置中之相機裝置，且用於處理行動裝置之各種應用程式的AP模組1120形成於行動裝置中，且第一處理單元1121可以單獨晶片之形式實施於AP模組上，該晶片可區別於為ISP處理器之第二處理單元1122。

為由相機模組1110產生及輸出之第一輸出資料的拜耳資料可為未處理原始資料，且此時，拜耳資料可表示為拜耳原始資料。拜耳資料由以晶片形式形成於AP模組上的第一處理單元1121藉由MIPI通信接收。第一處理器1121使用已藉由執行深度學習所習得之回旋神經網路自第一拜耳資料產生第二拜耳資料。第一處理單元1121可表示為深度學習網路晶片。由於第一處理單元1121接收並處理低解析度拜耳列資料，因此不必考慮MIPI頻寬或分離於相機模組之控制信號的額外工作。因此，由於可原樣使用現有裝置，因此兼容性較高且設計自由度亦被增大。

第一處理單元1121使用第一拜耳資料產生第二拜耳資料，且自第一處理單元1121輸出之第二輸出資料由第二處理單元1122接收以執行影像信號處理，藉此產生影像。

第一處理單元1121可以可區別於第二處理單元之IP區塊的形式實施於AP模組上。

智慧財產權(IP)區塊指代可再用的邏輯單元、單元或晶片佈局設計，且指代被視為特定方之智慧財產權的區塊。IP區塊可為IP核心。IP區塊可由授權及/或擁有設計中存在之智慧財產權(例如，專利、原始程式碼版權、商業秘密、專有技術及類似物)之各方用作IC設計內之建置區塊。IP區塊為適用於諸如AP模組之晶片設計的對應晶片之設計區塊，且可藉由使用IP區塊來促進晶片設計。藉由使用複數個IP區塊，可能設計諸如SoC之晶片。

AP模組包括在行動裝置上執行功能之各種應用程式的IP區塊。其可包含：執行行動裝置所需功能之應用程式的IP區塊，諸如LTE數據機、圖形處理單元(GPU)、Wi-Fi、顯示處理單元(DPU)、視訊處理單元(VPU)、數位信號處理器(DSP)、六邊形向量擴展(HVX)、全方位感知、音訊、中央處理單元(CPU)、位置、安全性及類似物；及對應於第二處理單元1122之相機影像信號處理器(ISP)，第二處理單元對自相機裝置接收之影像信號執行影像信號處理。

如圖16中所示，第一處理單元1121及第二處理單元1122可實施為AP模組之IP區塊。第二處理單元1122可為影像信號處理(ISP)IP區塊。自第一拜耳資料產生第二拜耳資料之第一處理單元1121可組態為IP區塊並添加至AP模組之現有晶片。此時，第一處理單元1121之IP區塊可形成為可區別於為第二處理單元之影像信號處理IP區塊。

當第一處理單元1121以可區別於第二處理單元之IP區塊的形式形成於AP模組上時，如圖17中所示，為自相機模組1110輸出之第一輸出資料的拜耳資料由AP模組之IP區塊形成的第一處理單元1121接收。此後，在第一處理單元1121之IP區塊中使用第一拜耳資料產生第二拜耳資料，且自第一處理單元1121之IP區塊輸出的第二輸出資料由第二處理單元1122之IP區塊接收以執行影像信號處理，藉此產生影像。

如圖18中所示，第一處理單元1121可包含自具有第一解析度之第一拜耳資料產生具有第二解析度之拜耳資料的深度學習網路1121-1，且儲存拜耳參數1121-2，該參數為深度學習參數且用於自具有第 一解析度之第一拜耳資料產生具有第二解析度之拜耳資料。深度學習參數1121-2可儲存在記憶體中。第一處理單元1121可以晶片形式實施並自第一拜耳資料產生第二拜耳資料。

第一處理單元1121可包含一或多個處理器，且藉由處理器執行之至少一個程式指令可儲存在一或多個記憶體中。記憶體可包含諸如SRAM及DRAM之揮發性記憶體。然而，本發明不限於此，且在一些情況下，記憶體1115可包含非揮發性記憶體，諸如快閃記憶體、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)以及類似物。

典型相機裝置或相機模組自影像感測器接收拜耳圖案並藉由著色(色彩內插或去馬賽克)之程序輸出呈影像形式之資料，可自影像提取包含拜耳圖案資訊之資訊並將所提取資訊傳輸至外部。此處，拜耳圖案可包含由將相機裝置或相機模組1110中包括之光學信號轉換成電信號之影像感測器輸出的原始資料。

應用於第一處理單元1121之深度學習演算法(模型)為產生解析度比已輸入之影像資料高的影像資料之演算法，且可意指藉由深度學習訓練反覆地執行學習所產生的最佳演算法。

有時被稱作深入學習之深度學習意指與機器學習相關之一組演算法，該等演算法試圖藉由若干非線性變換方法之組合進行高水平之抽象化(抽象化為總結大量資料或複雜材料中的關鍵內容或功能)。

具體而言，深度學習為一種學習技術，其以電腦可理解之形式表示某一學習資料(例如，在影像之情況下，像素資訊表示為行向量)，以便將其應用於許多研究的學習(如何創建較好的表示技術及如何建立模型以學習技術)，且深度學習可包含諸如深度神經網路(DNN)、深度信念網路(DBN)及類似物的學習技術。

第一處理單元1121自第一拜耳資料產生第二拜耳資料。作為用於自具有第一解析度之第一拜耳資料產生具有第二解析度之第二拜耳資料的方法之實例，可使用圖3中之深度學習模型。

圖3之深度學習模型為應用深度神經網路(DNN)演算法之深度學習模型，且說明在應用DNN演算法時產生具有新解析度之資料的程序。

深度神經網路(DNN)可指定為多個隱藏層存在於輸入層與輸出層之間的深度神經網路；在神經元之間形成連接圖案之回旋神經網路，類似於動物視覺皮層之結構，神經元之間的連接圖案類似於動物視覺皮層之結構；及隨時間推移每時每刻皆建立神經網路之遞歸神經網路。

具體而言，DNN藉由重複回旋及子取樣來減小及扭曲資料量，從而對神經網路進行分類。亦即，DNN藉由特徵提取及分類行為輸出分類結果，且主要用於影像分析，而回旋意指影像濾波。

在參考圖3描述由應用DNN演算法之第一處理單元1121執行深度學習之程序時，第一處理單元1121基於具有第一解析度之拜耳資料110，針對意圖增大放大率之區域執行回旋及子取樣。

增大放大率意指僅擴展第一拜耳資料之特定部分。因此，由於未被使用者選擇之部分為使用者不感興趣之部分，因此不需要執行增大解析度之程序，且可僅對使用者選擇之部分執行回旋及子取樣。藉此，藉由不執行不必要之計算，可能減小計算量，藉此增大處理速度。

子取樣指減小影像之大小的程序。此時，子取樣可使用最大池方法。最大池為在對應區域中選擇最大值之技術，類似於神經元如何對最大信號作出回應。子取樣具有減小雜訊及增大學習速度之優勢。

在執行回旋及子取樣時，如圖3中所說明，可輸出複數個影像120。此處，複數個影像資料120可為特徵圖。此後，可基於輸出之影像使用向上按比例縮放方法輸出具有不同特徵之複數個影像。向上按比例縮放方法意指使用彼此不同之r²個濾波器將影像增大r×r倍。

如圖3中所說明，在輸出了複數個影像資料130時，第一處理單元1121可基於此等影像資料進行重組且最後輸出具有第二解析度之第二拜耳資料140。

可藉由深度學習訓練導出由第一處理單元1121所使用以藉 由執行深度學習自第一拜耳資料產生第二拜耳資料之深度學習參數。

深度學習可分成訓練及推理。訓練指代藉由輸入資料學習深度學習模型之程序，且推理指代利用習得之深度學習模型執行影像處理或類似物之程序。亦即，使用應用了藉由訓練導出之深度學習模型參數的深度學習模型來處理影像。

為了藉由執行深度學習自第一拜耳資料產生第二拜耳資料，必須藉由訓練導出拜耳資料處理所需之第一深度學習參數。在藉由訓練導出第一深度學習參數時，可藉由使用應用了對應拜耳參數之深度學習模型執行深度學習來執行自第一拜耳資料產生第二拜耳資料之推理。因此，必須執行訓練程序以導出用於執行深度學習之參數。

可藉由重複學習來執行深度學習訓練程序，如圖4中所示。在接收了具有不同解析度之第一樣本資料X及第二樣本資料Z之後，可基於此執行深度學習訓練。

具體而言，可基於藉由比較及分析第二樣本資料Z與輸出資料Y所產生的參數來產生產生具有較高解析度之影像的演算法，該輸出資料已經歷將第一樣本資料X用作輸入資料之深度學習訓練。

此處，第一輸出資料Y為藉由執行實際深度學習輸出之資料，且第二樣本資料Z為使用者輸入之資料，其可意指在第一樣本資料X輸入至演算法時可最理想地輸出之資料。此處，第一樣本資料X可為具有藉由對第二樣本資料Z進行減少取樣而降低之解析度的資料。此時，可根據待藉由深度學習放大之比率，亦即，執行數位變焦之變焦比率，變化減少取樣度。例如，當待藉由深度學習執行之變焦比率為3倍，且第二樣本資料Z之解析度為9MP(兆像素)時，第一取樣資料X之解析度應為1MP，使得解析度藉由執行深度學習放大3倍的第一輸出資料Y之解析度變成9MP，9M之第二樣本資料Z被減少取樣1/9，藉此產生1MP之第一樣本資料Y。

藉由比較及分析第一輸出資料Y與第二樣本資料Z，計算兩個資料之間的差異，且以減小兩個資料之間的差異之方式給出對深度學 習模型之參數的回饋，該兩資料係藉由根據輸入第一樣本資料X之深度學習輸出的。此時，可藉由為損耗函數中之一者的均方誤差(MSE)方法計算兩個資料之間的差異。另外，可使用諸如交叉熵誤差(CEE)之各種損耗函數。

具體而言，在分析影響輸出資料之參數之後，以如下方式提供回饋：改變或刪除參數或產生新參數，使得可消除為理想輸出資料之第二樣本資料Z與為實際輸出資料之第一輸出資料Y之間的差異。

如圖4中所說明，假定存在影響演算法之總共三個層：L1、L2及L3，且每一層中存在總共八個參數P11、P12、P13、P21、P22、P31及P32。在此情況下，當參數以增大參數P22之值的方式改變時，若第一輸出資料Y與第二樣本資料Z之間的差異增大，則回饋可以降低參數P22之方式改變演算法。相反，當參數以增大參數P33之值的方式改變時，若第一輸出資料Y與第二樣本資料Z之間的差異降低，則回饋可以增大參數P33之方式改變演算法。

亦即，藉由此方法，應用深度學習之演算法可允許第一輸出資料Y輸出為類似於第二樣本資料Z。此時，第二樣本資料Z之解析度可相同或高於第一輸出資料Y之解析度，且第二樣本資料Z之解析度可相同於第一輸出資料Y之解析度。

對於深度學習訓練，如圖4中所示，存在輸出結果及比較目標，且可使用補償值執行訓練以及藉由與比較目標進行比較來執行學習。在此情況下，在首先辨識了周圍環境之後，可將當前環境條件傳輸至執行深度學習訓練之處理器。處理器執行與此對應之動作，且環境又根據彼動作向處理器告知補償值。且處理器採取使獎勵(reward)最大化之動作。藉由此程序，可藉由反覆地進行學習來執行訓練。另外，可使用各種深度學習訓練方法來執行深度學習訓練。

大體而言，為了實施能夠利用小型晶片進行深度學習之處理器，深度學習之程序及記憶體閘之數目應最小化，此處，極大地影響閘數目之因素為演算法之複雜度及每時脈處理的資料量，且由處理器處理的資 料量取決於輸入解析度。

因此，為了減小閘數目，根據實施例之處理器1220以在減小輸入解析度之後執行向上按比例縮放之方式來以較高放大率產生影像，且因此存在能夠較快創建影像之優勢。

例如，若具有8Mp(兆像素)之輸入解析度的影像需要進行2倍變焦，則藉由在1/4區域(2Mp)的基礎上將寬度及長度各自向上按比例縮放2倍來執行2倍變焦。且接著將1/4區域(2Mp)向下按比例縮放1/4，並在將解析度為0.5Mp之影像用作輸入資料進行深度學習處理之後，若以在產生的影像之基礎上分別向上按比例縮放寬度及長度之方式執行4倍變焦，則可產生與2倍變焦相同面積的變焦影像。

因此，由於深度學習在習得多達對應於解析度損耗之放大率之後產生影像，以便防止由於輸入解析度之損耗造成的效能降級，因此存在可最小化效能降級之優勢。

另外，用於實現高解析度影像的基於深度學習之演算法大體上使用圖框緩衝器，但在圖框緩衝器之情況下，由於其特性，在通用PC及伺服器中可能難以進行實時操作。

然而，根據本發明之第二實施例的第一處理單元1121應用已藉由深度學習產生之演算法，且因此可容易地應用於低規格相機模組及包含該低規格相機模組之各種裝置，且在應用此演算法時，具體而言，由於僅藉由使用幾個行緩衝器實現高解析度，因此亦存在利用具有相對較小大小的晶片來實施處理器之效果。

第一處理單元1121包括儲存每一行之第一拜耳資料的至少一個行緩衝器，且當預定數目個第一拜耳資料儲存在行緩衝器中時，可針對行緩衝器中儲存之第一拜耳執行第二拜耳資料之產生。第一處理單元1121分別逐行接收第一拜耳資料，且將每行分別接收之第一拜耳資料儲存在行緩衝器中。在接收所有行之第一拜耳資料之後，第一處理單元1121並不產生第二拜耳資料，且在儲存了某一行數之第一拜耳資料時，可執行儲存在行緩衝器中之第一拜耳資料以進行第二拜耳資料產生。為增大對應於9 倍之解析度，亦即，3倍變焦，若3行之第一拜耳資料經儲存於行緩衝器中，則針對所儲存3行之第一拜耳資料產生第二拜耳資料。將參考圖5解釋形成行緩衝器之特定組態。

參考圖5，第一處理單元121可包含：複數個行緩衝器11，其接收第一拜耳資料；第一資料對準單元221，其藉由針對每一波長帶配置藉由行緩衝器輸出之第一拜耳資料來產生第一資料陣列；深度學習處理器222，其執行深度學習；第二資料對準單元223，其藉由將藉由深度學習處理器222輸出之第二資料陣列配置成拜耳圖案來產生第二拜耳資料；及複數個行緩衝器12，其輸出藉由第二資料對準單元223輸出之第二拜耳資料。

第一拜耳資料為包括如先前所描述之拜耳圖案的資訊，且儘管圖5中描述為拜耳資料，但可將其定義為拜耳影像或拜耳圖案。

另外，在圖5中，為方便起見，第一資料對準單元221及第二資料對準單元223說明為單獨組件，但不限於此，且深度學習處理器222亦可執行由第一資料對準單元221及第二資料對準單元223執行之功能，稍後將加以描述。

參考圖5，具有第一解析度之第一拜耳資料可被傳輸至n+1個行緩衝器11a、11b……11n、11n+1，該第一拜耳資料為由使用者選擇且由影像感測器110接收的區域之影像資訊。如先前所描述，由於僅針對由使用者選擇之區域產生具有第二解析度之拜耳影像，因此並不將未由使用者選擇的區域之影像資訊傳輸至行緩衝器11。

具體而言，第一拜耳資料包含複數個列資料，且複數個列資料可藉由複數個行緩衝器11傳輸至第一資料對準單元221。

例如，若待由深度學習處理器222執行深度學習之區域為3×3區域，則必須將總共三行同時傳輸至第一資料對準單元221或深度學習處理器222，使得可執行深度學習。因此，關於三行當中之第一行的資訊被傳輸至第一行緩衝器11a，且接著儲存在第一行緩衝器11a中，且關於三行當中之第二行的資訊可被傳輸至第二行緩衝器11b，且接著儲存在第二行緩衝器11b中。

此後，在第三行之情況下，由於不存在關於此後接收之行的資訊，因此可能不將資訊儲存在行緩衝器11中，而是可直接傳輸至深度學習處理器222或第一資料對準單元221。

此時，由於第一資料對準單元221或深度學習處理器222必須同時接收關於三行之資訊，因此已儲存在第一行緩衝器11a中的關於第一行之資訊及已儲存在第二行緩衝器11b中的關於第二行之資訊亦可同時傳輸至深度學習處理器222或第一影像對準單元219。

相反地，若待由深度學習處理器222執行深度學習之區域為(N+1)×(N+1)，則僅在總共(N+1)行同時傳輸至第一資料對準單元221或深度學習處理器222時才可執行深度學習。因此，關於(N+1)行當中之第一行的資訊可在傳輸至第一行緩衝器11a之後儲存在第一行緩衝器11a中；關於(N+1)行當中之第二行的資訊可在傳輸至第二行緩衝器11b之後儲存在第二行緩衝器11b中；且關於(N+1)行當中之第N行的資訊可在傳輸至第N行緩衝器11n之後儲存在第N行緩衝器11n中。

此後，在第(N+1)行之情況下，由於不存在關於此後接收之行的資訊，因此可能不將資訊儲存在行緩衝器11中，而是可直接傳輸至深度學習處理器222或第一資料對準單元221，且如先前所解釋，此時，由於第一資料對準單元221或深度學習處理器222必須同時接收關於(N+1)行之資訊，因此已儲存在行緩衝器11a至11n中的關於第一行至第N行之資訊亦可同時傳輸至深度學習處理器222或第一影像對準單元219。

在自行緩衝器11接收拜耳資料之後，第一影像對準單元219藉由針對每一波長帶配置拜耳資料來產生第一資料陣列，且接著可將第一資料陣列傳輸至深度學習處理器222。

第一影像對準單元219可產生第一資料陣列，該陣列藉由將所接收資訊分類為特定波長或紅色、綠色或藍色之特定色彩來配置。

此後，深度學習處理器222可藉由基於已藉由第一影像對準單元219接收之第一資料陣列執行深度學習來產生第二資料陣列。

因此，藉由基於已藉由第一影像對準單元219接收之第一資 料陣列執行深度學習，深度學習處理器222可產生具有比第一解析度高之解析度的第二解析度之第二資料陣列。

例如，如先前所描述，若接收了3×3區域之第一資料陣列，則對該3×3區域執行深度學習，且若接收了(n+1)×(n+1)區域之第一資料陣列，則可對該(n+1)×(n+1)區域執行深度學習。

此後，由深度學習處理器222產生之第二資料陣列被傳輸至第二資料對準單元223，且第二資料對準單元223可將第二資料陣列轉換成具有拜耳圖案之第二拜耳資料。

此後，經轉換第二拜耳資料藉由複數個行緩衝器12a輸出至外部，且已輸出之第二拜耳資料可由另一程序產生為具有第二解析度之影像，第二解析度為比第一解析度高之解析度。

圖6及圖7為說明具有具第一解析度之影像的第一拜耳影像由處理單元1121轉換成具有第二解析度之第二拜耳影像的狀態之圖式。

在使用者自具有第一解析度之拜耳影像10選擇特定區域時，第一處理單元1121可在彼區域上轉換解析度，且結果，如圖6及圖7中所說明，可產生具有第二解析度之拜耳影像40。

第一處理單元1121可對第二拜耳資料進行預處理。第一處理器1121可使用具有第一解析度之第一拜耳資料產生具有第二解析度之第二拜耳資料，且可對已產生之第二拜耳資料執行預處理。此時，第一處理單元1121可執行白平衡、去雜訊、散焦、去模糊及去馬賽克中之至少一者。另外，可執行對應於預處理之各種預處理。

除了第一處理單元1121中用於增大拜耳資料之解析度的超解析度之外，可藉由執行可由第二處理單元1122處理之影像預處理來減小第二處理單元1122之計算量。亦即，由第一處理單元1121執行第二處理單元1122之預處理功能以共用功能，藉此減小ISP上之負擔。第一處理單元1121可進一步包含執行預處理之預處理單元。

此時，第一處理單元1121可使用藉由執行深度學習習得之回旋神經網路執行第二拜耳資料之預處理。在該情況下，當由第一處理單 元1121執行之預處理程序當中存在可使用相同於增大拜耳資料之解析度的程序的深度學習網路處理之預處理程序時，儲存用於預處理程序之深度學習參數且可執行預處理程序。其亦可包含用於一或多個預處理程序之單獨深度學習網路及用於儲存對應深度學習參數之記憶體。

第一處理單元1121可預處理第二拜耳資料以產生RGB影像或ycbcr影像。可藉由對具有第二解析度之第二拜耳資料執行預處理產生經預處理第三拜耳資料，或此外，可藉由預處理產生RGB影像或自RGB影像轉換之ycbcr影像。第一處理單元1121執行複數個預處理程序，且可根據所執行預處理輸出各種資料。亦即，可自第二拜耳資料產生對應於先前RGB影像之第三拜耳資料。儘管第三拜耳資料並非RGB影像，但可藉由諸如白平衡之預處理產生為已執行白平衡之拜耳資料的第三拜耳資料。替代地，可藉由執行用於針對第二拜耳資料產生RGB影像之預處理程序來產生RGB影像。此外，可藉由對如上文所描述般產生之RGB影像進行ycbcr轉換而產生ycbcr影像。在自RGB影像轉換成ycbcr影像時，ycbcr影像可直接顯示於顯示器上。

可根據使用者設定、使用環境或為第二處理單元1122之ISP的工作狀態改變第一處理單元1121中執行之預處理程序。第一處理單元1121執行預處理以共用為第二處理單元1122之ISP的功能，且可根據使用者設定來設定待由第一處理單元1121執行哪一預處理程序。或，若根據使用環境或ISP之當前工作情況必須共用ISP功能，則可在第一處理單元1121中設定待執行之預處理程序。可藉由自一或多個處理器接收環境資訊來判定用於在第一處理單元1121中執行預處理之設定值。替代地，可藉由將根據環境資訊及類似資訊之設定值儲存在查找表(LUT)中來應用用於在第一處理單元1121中執行預處理之設定值。

如圖19中所示，根據本發明之另一實施例的影像處理裝置2100可包含相機模組2110、拜耳資料處理模組2120及AP模組2130。圖13或圖16之影像處理裝置1130的第一處理單元1121可經組態為拜耳資料處理模組2120，其為不在AP模組內之單獨模組。除了拜耳資料處理模組 2120實施為分離於AP模組2130之模組之外，由圖19之影像處理裝置2100執行的影像處理程序對應於圖13之影像處理裝置1130中執行的影像處理程序，且因此在下文中，將省略且簡單描述對圖19之影像處理裝置2100的描述中與圖13之影像處理裝置1130中執行的影像處理程序重疊的描述。

相機模組2110包含影像感測器，且拜耳資料處理模組2120使用自相機模組2110輸出的具有第一解析度之第一拜耳資料產生具有第二解析度之第二拜耳資料。拜耳資料處理模組2120可以可區別於AP模組2130之單獨晶片的形式實施。

拜耳資料處理模組2120可自第一拜耳資料產生第二拜耳資料，且拜耳資料處理模組2120可包含預處理第二拜耳資料之預處理單元。此時，預處理單元可藉由預處理第二拜耳資料產生第三拜耳資料、RGB影像或ycbcr影像中之任一者。

AP模組2130接收自拜耳資料處理模組2120輸出之輸出資料且執行影像處理。

根據本發明之另一實施例的影像處理裝置包含使用具有第一解析度之第一拜耳資料產生具有第二解析度之第二拜耳資料的第一處理單元，其中第一處理單元可形成為可區別於AP模組中形成之影像信號處理單元。此處，第一處理單元1121呈對應於圖13或圖16之影像處理裝置1130的第一處理單元1121，及圖19之影像處理裝置2100的拜耳資料處理模組2120之組態。根據本發明之另一實施例的影像處理裝置可包含第一處理單元；第一處理單元可自第一拜耳資料產生第二拜耳資料，且可包含用於預處理第二拜耳資料之預處理單元。此時，預處理單元可藉由預處理第二拜耳資料產生第三拜耳資料、RGB影像或ycbcr影像中之任一者。

圖20為根據本發明之第二實施例的影像處理方法之流程圖，且圖21為根據本發明之另一實施例的影像處理方法之流程圖。由於圖20至圖21中之每一步驟的詳細描述對應於圖13至圖19之影像處理裝置的詳細描述，在下文中，將省略重疊的描述。

根據本發明之第二實施例的影像處理方法涉及用於在包含 一或多個處理器之影像處理裝置中處理影像的方法。

在步驟S11中，接收具有第一解析度之第一拜耳資料，且藉由使用藉由步驟S12中之執行深度學習習得之回旋神經網路，在步驟S13中產生具有第二解析度之第二拜耳資料。

在步驟S13之後，可在步驟S21中預處理第二拜耳資料，且在執行預處理之後，步驟S22中可進一步包括用於產生第三拜耳資料、RGB影像或ycbcr影像中之任一者的步驟。此後，該方法可進一步包含藉由影像信號處理產生可輸出至顯示器之影像的步驟。

根據本實施例之經修改實施例可一起包含參考圖1至圖12所描述之第一實施例的一些組態，及參考圖13圖21所描述之第二實施例的一些組態。亦即，經修改實施例可包含參考圖1至圖12所描述之實施例，但省略參考圖1至圖12所描述之實施例的一些組態，且可包含參考對應圖13至圖21所描述之實施例的一些組態。或，經修改實施例可省略參考圖13至圖21所描述之實施例的一些組態，但可包含參考對應圖1至圖12所描述之實施例的一些組態。

上文實施例中描述之特徵、結構及效果包括於至少一個實施例中，且未必限於僅一個實施例。此外，實施例所屬領域之一般技術者可針對其他實施例組合或修改每一實施例中例示之特徵、結構、效果及類似物。因此，與此類組合及修改相關之內容應解譯為包括於實施例之範疇中。

同時，本發明之實施例可實施於電腦可讀記錄媒體上之電腦可讀程式碼中。電腦可讀記錄媒體包括儲存由電腦系統可讀取之資料的所有類型之記錄裝置。

電腦可讀記錄媒體之實例包括諸如ROM、RAM、CD-ROM、磁帶、軟碟以及光學資料儲存裝置，且另外，電腦可讀記錄媒體遍及網路耦合式電腦系統而分佈，可由電腦以分佈式方式讀取之程式碼可經儲存並執行。另外，用於實施本發明之功能性程式、程式碼及程式碼區段可易於由本發明所屬之技術領域的程式設計師推斷。

儘管至此已利用有限實施例及圖式描述實施例，但熟習此項 技術者可根據上文描述進行各種修改及變化。例如，以不同於所描述方法之次序執行所描述技術，及/或以不同於所描述方法之形式耦合或組合諸如所描述系統、結構、裝置、電路及類似物之組件，或甚至在藉由另一組件或等效物進行替換或取代時，可實現適當結果。因此，針對請求項之其他實施例及等效物亦在稍後將描述之申請專利範圍之範疇內。

100:相機模組

120:傳輸單元，鏡頭

130:影像感測器

200:影像產生單元

210:接收單元，傳輸單元

220:處理器

230:輸出單元

Claims (10)

1. 一種相機裝置，其包含：

   一影像感測器，其經組態以產生具有一第一解析度之一第一拜耳資料；及

   一處理器，其經組態以使用該第一拜耳資料輸出具有一第二解析度之一第二拜耳資料。
2. 如請求項1之相機裝置，

   其中該處理器包含一回旋神經網路，該回旋神經網路經訓練以使用一第一拜耳資料輸出具有一第二解析度之一第二拜耳資料。
3. 如請求項2之相機裝置，

   其中該回旋神經網路之一訓練集包含具有一第一解析度之一第一拜耳資料及具有一第二解析度之一第二拜耳資料。
4. 如請求項1之相機裝置，

   其中該第二解析度高於該第一解析度。
5. 如請求項1之相機裝置，

   其中該第二拜耳資料被輸出至一影像信號處理器。
6. 如請求項1之相機裝置，

   其中該處理器包含：

   一接收單元，其經組態以接收該第一拜耳資料；及

   一回旋神經網路，其經組態以使用該第一拜耳資料輸出具有一第二解析度之一第二拜耳資料。
7. 一種方法，其包含以下步驟：

   接收具有一第一解析度之一第一拜耳資料；及

   使用已習得之一回旋神經網路自該第一拜耳資料輸出具有一第二解析度之一第二拜耳資料。
8. 如請求項7之方法，

   其中該第一拜耳資料為自一影像感測器輸出之一資料。
9. 如請求項7之方法，

   其中該回旋神經網路之一訓練集包含具有一第一解析度之一第一拜耳資料及具有一第二解析度之一第二拜耳資料。
10. 如請求項7之方法，

    其中該第二拜耳資料被輸出至一影像信號處理器。

Images