TW202326528A

TW202326528A - 影像處理模組

Info

Publication number: TW202326528A
Application number: TW111129626A
Authority: TW
Inventors: 朴貞娥
Original assignee: 韓商Ｌｇ伊諾特股份有限公司
Priority date: 2021-05-26
Filing date: 2022-08-05
Publication date: 2023-07-01
Also published as: WO2023014115A1; KR20220159852A; CN117769719A; KR20220159853A; KR20220159854A

Abstract

本發明提供一影像處理模組包括：一輸入單元，用於接收利用通過一顯示面板傳輸的一光線所生成的一第一影像資料；及一深度學習神經網路，用於從該第一影像資料輸出一第二影像資料，其中，該第二影像資料是一種影像資料，其中至少有一部分雜訊被去除，該雜訊係指在該光線透過該顯示面板時發生的一種影像品質下降現象。

Description

影像處理模組

本發明涉及一種影像處理模組，更具體地說，涉及一種影像處理模組，它可以改善正在使用通過顯示面板傳輸的光線生成的影像資料中的影像品質下降現象，涉及一種使影像感測器和影像預處理模組對影像感測器模組和應用處理器模組的影響最小化的影像處理模組，以及一種攝像設備。

對於使用智慧手機進行個人廣播，觀看電視或觀看各種內容，為了在視覺敏銳度和注意力集中的情況下身臨其境地觀看視頻，攝像頭被隱藏在顯示幕內，整個正面被設計成完整的顯示幕。嵌入顯示幕內的攝像頭被稱為顯示幕下攝像頭，通常被稱為UDC。由於顯示面板的原因，影像品質會下降，目前正在嘗試改善它。由於顯示面板導致的攝像影像品質下降似乎引起了各種問題。

通常情況下，光量急劇下降，當用高增益來彌補時，就會產生雜訊，但為了消除這種雜訊，用軟體SW或應用處理器(AP)中的影像訊號處理器(ISP)進行處理會使影像模糊。此外，由於顯示面板的圖案，可能會引起各種問題，如模糊、霧度(衍射重影)、反射重影、閃光等，比現有的傳統攝像更嚴重。

目前正在開發各種技術，以提高影像品質級別，使其達到一般攝像的級別。雖然在最後的智慧手機階段處理影像訊號處理器可以改善基本的光強度和黃化現象，但不容易改善其他現象，而且難以快速處理，所以在視頻通話和個人廣播等即時性能至關重要的攝像模式下，存在影像處理延遲的問題。

此外，在使用智慧手機攝像頭拍攝現實影像並顯示影像時，隨著顯示技術的發展，解析度逐漸提高，自然對超高解析度和影像品質提高的要求也越來越高。為滿足這些要求而製造感測器的行業將數位單眼相機的各種感測器技術帶到移動設備上，以實現高達48M的高解析度，而在電視中嘗試用軟體SW演算法實現超高解析度，以實現生動的畫質。此外，正在開發變焦功能，以獲得更寬的視角和拍攝更遠的物體的細節。

雖然有一種用硬體進行光學變焦的方法，但硬體結構複雜，由於增加了這些部件，價格上漲是不可避免的。此外，使用光學變焦的區域是有限制的，所以正在開發用軟體處理這一區域。此外，正在進行各種嘗試，以利用同一感測器創造高解析度的影像。

有一些技術通過移動硬體部件來產生更多的畫素資訊來創造更高的解析度，如使用VCM或MEMS技術移動感測器的感測器位移技術，通過使用VCM移動鏡頭獲得畫素資訊的OIS技術，移動感測器和鏡頭之間的濾色鏡的技術，等等。

這種技術的缺點是，由於合成了幾個視差的資料，在拍攝移動物體時，會出現運動模糊等偽影，這是一個致命的問題，會降低影像品質。此外，通過採用複雜的硬體結構來實現，攝像模組的尺寸會增加，由於它是一種移動部件的方法，所以有一個限制，即它是一種有限的技術，可以在固定的環境中使用，因為它很難在車載攝像中使用。

此外，隨著人工智慧技術的發展，利用人工智慧技術進行影像處理的研究正在進行，但它還沒有針對攝像等具體產品進行優化，而且由於它是一種非常昂貴的AP，所以它只能應用於智慧手機中的高端機型。

為了應用於高檔以外的機型，因為必須使用低成本的AP，而且由此產生的S/W處理要簡化，無論攝像有多好，AP都很難接收這種高規格的攝像資料並進行各種處理。如果在攝像感測器之外單獨增加一個具有預處理功能的晶片，就可以減少對感測器的依賴，但由於移動產品處理器接口(MIPI)介面要嵌入兩次，就存在一個問題，即從整個感測器和晶片來看，價格和體積都在增加。

本發明要解決的技術問題是提供一種影像處理模組、攝像模組和一種影像處理方法，用於改善使用通過顯示面板傳輸的光線生成的影像資料中的影像品質下降現象。

本發明要解決的另一個技術問題是提供一種影像感測器和一種影像處理方法，用於改善使用通過顯示面板傳輸的光線產生的影像資料中的影像品質下降現象。

然而，本發明要解決的另一個技術問題是提供一種影像處理模組和攝像設備，該模組將影像預處理模組對影像感測器模組和應用處理器模組的影響降到最低。

為了解決上述技術問題，根據本發明的一個實施例的影像處理模組，其特徵在於包括：輸入單元，用於接收利用通過顯示面板傳輸的光線生成的第一影像資料；以及深度學習神經網路，用於從第一影像資料中輸出第二影像資料，其中，第二影像資料是一種影像資料，其中至少有一部分雜訊，即當光線傳輸通過顯示面板時發生的畫質下降現象，被去除。

此外，雜訊可以包括低強度、模糊、霧度(衍射重影)、反射重影、色彩分離、閃光、干涉圖紋圖案和黃化現象中的至少一種。

此外，輸入單元可以從設置在顯示面板下的影像感測器接收第一影像資料。

此外，第一影像資料和第二影像資料可能具有不同的雜訊級別。

此外，深度學習神經網路的訓練集可以包括使用通過顯示面板傳輸的光線生成的第一影像資料和使用未通過顯示面板傳輸的光線生成的第二影像資料。

此外，第一影像資料和第二影像資料中的至少一個可以是拜爾影像資料(Bayer image data)。

此外，第二影像資料可以被輸出到一個影像訊號處理器。

為了解決上述技術問題，根據本發明的另一個實施例的影像處理模組，其特徵在於包括：至少一個處理器；以及用於儲存由處理器處理的指令的記憶體，其中，處理器根據儲存在記憶體中的指令，接收利用通過顯示面板傳輸的光線生成的第一影像資料，並從第一影像資料中輸出第二影像資料，以及其中，第二影像資料是一種影像資料，其中至少有一部分雜訊被去除，該雜訊是光線通過顯示面板時發生的影像品質下降的現象。

為了解決上述技術問題，根據本發明的一個實施例的攝像模組，其特徵在於包括：用於利用通過顯示面板傳輸的光線生成第一影像資料的影像感測器；用於控制影像感測器的驅動IC；以及根據本發明的實施例的影像處理模組，並被設置在顯示面板下方。

此外，影像處理模組可以與驅動IC形成為一個晶片。

此外，影像處理模組可以形成為一個與驅動IC分離的晶片。

為了解決上述技術問題，根據本發明的一個實施例的影像處理方法，其特徵在於包括以下步驟：接收使用通過顯示面板傳輸的光線生成的第一影像資料；以及使用正在學習的深度學習神經網路從第一影像資料中輸出第二影像資料，其中，第二影像資料是一種影像資料，其中至少有一部分雜訊被去除，該雜訊是當光線通過顯示面板時發生的影像品質下降現象。

此外，第一影像資料可以從設置在顯示面板下的影像感測器輸入，而第二影像資料可以輸出到影像訊號處理器。

為了解決其他技術問題，根據本發明的一個實施例的影像感測器包括：影像傳感單元，用於使用通過顯示面板傳輸的光線生成第一影像資料；深度學習神經網路，用於從第一影像資料輸出第二影像資料；以及輸出單元，用於將第二影像資料輸出到外部，其中，深度學習神經網路根據輸出單元的輸出格式輸出第二影像資料。

此外，還包括用於通過分解或重新排列第一影像資料的至少一部分來輸出第三影像資料的校準單元，其中深度學習神經網路可從第三影像資料輸出第二影像資料。

此外，校準單元可根據輸出單元的輸出格式輸出第三影像資料。

此外，第二影像資料可以是影像資料，從該影像資料中去除至少一部分雜訊，該雜訊是在光透過顯示面板時發生的影像品質下降現象。

此外，影像傳感單元可以被設置在顯示面板下。

此外，第一影像資料和第二影像資料中的至少一個可以是拜爾影像資料。

此外，輸出單元可以將第二影像資料輸出到一個影像訊號處理器。

為了解決上述技術問題，根據本發明的另一個實施例的影像感測器的特徵是包括一個畫素陣列，用於接收通過顯示面板傳輸的光線；一個第一處理器和一個第二處理器；和記憶體，用於儲存由第一處理器或第二處理器處理的指令，其中第一處理器根據儲存在記憶體中的指令，利用畫素陣列的輸出生成第一影像資料，其中第二處理器根據儲存在記憶體中的指令，從第一影像資料輸出第二影像資料，其中第二影像資料是被輸出的影像資料，其中至少有一部分雜訊被去除，而雜訊是當光線透過顯示面板時發生的畫質下降現象，並根據輸出格式被輸出。

為了解決上述技術問題，根據本發明的一個實施例的影像處理方法，其特徵在於包括以下步驟：利用通過顯示面板傳輸的光線生成第一影像資料；以及利用學習過的深度學習神經網路從第一影像資料中輸出第二影像資料，其中第二影像資料是一種影像資料，其中至少有一部分雜訊，即當光線通過顯示面板時發生的畫質下降現象被去除，並根據通訊格式被輸出。

此外，還包括通過分解或重新排列第一影像資料的至少一部分來輸出第三影像資料的步驟，其中輸出第二影像資料的步驟可以從第三影像資料輸出第二影像資料。

此外，第二影像資料可以被輸出到影像訊號處理器。

為了解決又一個技術問題，根據本發明的一個實施例的影像處理模組包括：第一連接器，被連接到影像感測器模組並接收第一影像資料；深度學習神經網路，用於從通過第一連接器接收的第一影像資料輸出第二影像資料；以及第二連接器，被連接到應用處理器(AP)模組並輸出第二影像資料。

此外，影像感測器模組和應用處理器模組之間可以形成一個橋接。

此外，它可以被設置在與影像感測器模組和應用處理器模組中的至少一個相同的基板上。

此外，它可以被設置成與影像感測器模組或應用處理器模組間隔開。

此外，影像感測器模組可以被設置在顯示面板下。

此外，第一影像資料是正在使用通過顯示面板傳輸的光產生的影像資料，而第二影像資料可以是影像資料，其中至少有一部分雜訊，即當光通過顯示面板傳輸時發生的影像品質下降現象被去除。

此外，第一影像資料是具有第一解析度的影像資料，而第二影像資料可以是具有第二解析度的影像資料。

此外，第一解析度可以高於第二解析度。

此外，深度學習神經網路的訓練集可以包括具有第一解析度的第一影像資料和具有第二解析度的第二影像資料。

為了解決上述技術問題，根據本發明的一個實施例的攝像機設備包括。影像感測器模組，用於生成第一影像資料；影像處理模組，包括深度學習神經網路，用於從影像感測器接收第一影像資料並從第一影像資料輸出第二影像資料。以及應用處理器(AP)模組，用於從深度學習神經網路接收第二影像資料並從第二影像資料生成影像，其中，影像處理模組通過包括與影像感測器連接的第一連接器和與應用處理器模組連接的第二連接器在影像感測器和應用處理器模組之間進行連接，並且與影像感測器和應用處理器模組中的至少一個設置在同一基板上，彼此間隔開。

根據本發明的實施例，有可能改善正在使用通過顯示面板傳輸的光線生成的影像資料中的影像品質下降問題。此外，通過使用硬體HW加速器，可以在即時運行的同時以低能耗進行處理。通過在影像訊號處理器之前進行預處理，可以實現低耗電和快速處理。其中大部分是複用HW，這是一種基於深度學習的技術，用HW加速器很容易優化。此外，通過只使用幾個行緩衝器，並優化網路設置，可以將其做成一個小晶片。通過這一點，安裝的設備可以根據使用目的以各種方式安裝在不同的位置，從而可能提高設計的自由度。此外，由於不需要昂貴的處理器來執行傳統的深度學習演算法，可以更經濟地製作高解析度的影像。優化的參數可以通過從外部發送至晶片來更新，同時也可以作為一個黑匣子來實現，這樣就可以通過儲存在晶片內部而無法從外部知道這些參數。通過用拜爾資料(Bayer data)進行處理，可以利用資料處理量和拜爾資料的線性特性進行優化。

此外，通過在攝像頭(CIS，攝像頭影像感測器)和AP之間以橋的形式插入連接部分，可以減少攝像頭和AP之間的尺寸問題或設計問題，也可以減少攝像頭和AP之間的熱量問題。雖然由於攝像頭內部的尺寸存在晶片設計上的約束，但由於AP周圍有一個相對自由的空間，當它被添加到連接部分時，晶片尺寸的約束也會減少，從而減少了晶片設計的約束。此外，當它與攝像機分離時，由於攝像機製造商也單獨管理缺陷，所以可以降低f成本。

此外，由於與感測器集成，MIPI IP的成本降低，模組的整體成本也隨之降低，為此，以低成本向客戶供應模組成為可能。此外，由於感測器內部的各種資料資訊在晶片中共用，AP控制訊號也可以統一進行通訊，相應地，通過使用感測器中已有的EEPROM或快閃記憶體，也可以節省記憶體。簡單的影像訊號處理器功能也包含在感測器中，如果對這些功能進行類比控制並用於影像資料，就可以建立更加多樣化的深度學習影像資料庫，從而可能提高最終性能。

11:行緩衝器

11a:第一行緩衝器

11b:第二行緩衝器

12:行緩衝器

12a:行緩衝器

100:影像處理模組

110:輸入單元

120:深度學習神經網路

130:記憶體

140:處理器

141:第一處理器

142:第二處理器

150:第一連接器

160:第二連接器

170:影像感測單元

171:像素陣列

180:輸出單元

190:校準單元

191:第一資料校準單元

192:第二資料校準單元

210:影像感測器模組

211:影像感測器

212:濾色鏡

213:鏡頭

214:致動器

215:驅動IC

216:晶片

220:應用處理器模組

221:影像訊號處理器ISP

230:顯示面板

240:基板

250:光線

300:連接器

1000:攝像設備

1100:影像處理模組

1500:影像感測器

L1:層

L2:層

L3:層

P11:參數

P12:參數

P13:參數

P21:參數

P22:參數

P31:參數

P32:參數

X2:雜訊級別

X:輸入資料

Y:輸出資料

Z:基準真相

圖1是根據本發明的一個實施例的影像處理模組的方框圖。

圖2至圖6是用於解釋根據本發明的一個實施例的影像處理過程的圖。

圖7是根據本發明的另一個實施例的影像處理模組的方框圖。

圖8是根據本發明的一個實施例的攝像模組的方框圖。

圖9和圖10是根據本發明的另一個實施例的攝像模組的方框圖。

圖11是根據本發明的另一個實施例的影像處理模組的方框圖。

圖12和圖13是用於解釋根據圖11的實施例的影像處理模組的圖。

圖14是根據本發明的一個實施例的攝像設備的方框圖。

圖15是根據本發明的一個實施例的影像感測器的方框圖。

圖16是用於解釋根據本發明的一個實施例的影像感測器的圖。

圖17和圖18是根據本發明的另一實施例的影像感測器的方框圖。

圖19是用於解釋根據本發明的另一實施例的影像感測器的圖。

圖20是根據本發明的一個實施例的影像處理方法的流程圖。

圖21和22是根據本發明的另一實施例的影像處理方法的流程圖。

下面，將參照附圖對本發明的優選實施方案進行詳細描述。

然而，本發明的技術思想並不限於要描述的一些實施例，而是可以以各種形式實現，在本發明的技術思想的範圍內，一個或多個構成要素可以在實施例之間有選擇地組合或替換。

此外，本發明實施例中使用的術語(包括技術和科學術語)，除非明確定義和描述，否則可以解釋為本領域技術人員可以普遍理解的含義，常用術語如字典中定義的術語可以考慮相關技術背景的含義進行解釋。

此外，本說明書中使用的術語是用於描述實施例的，並不打算限制本發明。

在本說明書中，單數形式可包括複數形式，除非在短語中特別說明，當描述為"A和B和C中的至少一個(或一個以上)"時，可包括可與A、B和C結合的所有組合中的一個或多個。

此外，在描述本發明的實施方案的元件時，可以使用諸如第一、第二、A、B、(a)和(b)等術語。這些術語只是為了將元件與其他元件區分開來，而且這些術語並不限制元件的性質、順序或次序。

而且，當一個元件被描述為與另一個元件'連接'、'耦合'或'互連'時，該元件不僅與另一個元件直接連接、耦合或互連，而且還可能包括由於該另一個元件在該其他元件之間'連接'、'耦合'或'互連'的情況。

此外，當被描述為在每個元件的"上(上)"或"下(下)"形成或排列時，"上(上)"或"下(下)"意味著它不僅包括兩個元件直接接觸的情況，還包括一個或多個其他元件在兩個元件之間形成或排列的情況。此外，當表示為"上(上)"或"下 (下)"時，不僅可以包括向上的方向，還可以包括基於一個元件的向下的方向的含義。

圖1是根據本發明的一個實施例的影像處理模組100的方框圖。

根據本發明的一個實施例的影像處理模組100包括一個輸入單元110和一個深度學習神經網路120，並且可以包括一個記憶體、一個處理器和一個通訊單元。

輸入單元110接收正在使用通過顯示面板傳輸的光線生成的第一影像資料。

更具體地說，輸入單元110接收要通過深度學習神經網路120進行影像處理的第一影像資料。這裡，第一影像資料是使用通過顯示面板傳輸的光線生成的影像資料，並且可以從設置在顯示面板下的影像感測器211接收第一影像資料。影像感測器211設置在顯示面板下的攝像被稱為顯示幕下攝像(UDC)。

在顯示幕下攝像(UDC)中，影像感測器211可以如圖2所示設置在顯示面板230的下方。它被設置在位於顯示面板230下方的基板240上，並接收從顯示面板外部透過顯示面板的光線250，以生成第一影像資料。這裡，影像感測器211可以包括影像感測器，例如互補金屬氧化物半導體(CMOS)或電荷耦合器件(CCD)，它將通過設置在顯示面板230下方的攝像模組的鏡頭進入的光轉換為電訊號。

這裡，第一影像資料可以是拜爾資料。這裡，拜爾資料可以包括由影像感測器211輸出的原始資料，該感測器將接收的光訊號轉換成電訊號。

為了詳細解釋這一點，通過包括在攝像模組中的鏡頭傳輸的光學訊號可以通過設置在能夠檢測R、G和B顏色的影像感測器中的每個畫素轉換為電訊號。例如，如果攝像模組的規格為500萬畫素，可以認為包括能夠檢測R、G和B顏色的500萬畫素的影像感測器。雖然影像感測器的畫素數為500萬，但可以看出，每個畫素實際上並不檢測所有的顏色，而是將只檢測黑白亮度的單色畫素與R、G和B濾色鏡中的任何一個結合起來。

也就是說，在影像感測器中，R、G和B彩色濾色鏡以特定的模式佈置在單色畫素單元上，其數量與畫素的數量相同。相應地，根據使用者(即人類)的視覺特徵，R、G和B顏色圖案相互交錯佈置，這被稱為拜爾模式(Bayer pattern)。

深度學習神經網路120從第一影像資料中輸出一個第二影像資料。

更具體地說，深度學習神經網路120是為了從第一影像資料輸出第二影像資料而學習的深度學習神經網路，當輸入單元110接收第一影像資料時，從第一影像資料輸出第二影像資料。這裡，第二影像資料是影像資料，其中至少有一部分雜訊被去除，而雜訊是在光線透過顯示面板時發生的影像品質下降現象。

影像感測器211被設置在顯示面板的下面，因此，由影像感測器211接收的光通過顯示面板傳輸，因此，當光通過顯示面板時，影像品質就會下降。當光線透過顯示面板時，光量急劇下降，當用高增益來彌補時，就會產生雜訊，但為了消除這種雜訊，用AP中軟體SW或影像訊號處理器進行處理，就會使影像模糊。此外，由於顯示面板的圖案，與沒有通過顯示面板的光線的情況相比，會出現影像品質下降的現象，如圖3所示，包括各種雜訊。

這裡，雜訊可以包括低強度、模糊、霧度(衍射重影)、反射重影、色彩分離、閃光、干涉圖紋圖案和黃化現象中的至少一種。低強度是指由於光線強度低而導致影像品質下降的現象，模糊是指影像的焦點失焦的現象，霧度是指發生衍射重影的現象，是一種產生散光等幻象的現象，反射重影是指顯示面板上的圖案被反射而產生幻象的現象。色彩分離是指RGB顏色被分離的現象，閃光是指由於內部反射或漫反射而過度出現的明亮區域的現象，干涉圖紋圖案是指由干涉引起的圖案，黃化現象是指影像呈現淡黃色的現象。此外，還可能包括各種雜訊。

為了改善這種包括雜訊的影像，即時性能以及改善效果是很重要的。特別是，在使用者終端中，前置攝像頭的即時性能比後置攝像頭更重要。後置攝像頭通常用於拍攝其他地方，所以一般拍攝的品質比視頻更重要，而照片模式是最經常使用的。然而，由於前置攝像頭更頻繁地用於需要即時性能的攝像模式，如視頻通話和個人廣播，而不是拍照，所以快速處理速度和低功耗是必不可少的，然而，通過使用軟體快速處理高解析度移動影像資料和低功耗是有限制的。

深度學習神經網路120可以通過使用被學習的深度學習神經網路快速改善包括在第一影像資料中的雜訊，以輸出第二影像資料，其中至少部分雜訊從包括雜訊的第一影像資料中被移除。

通過深度學習神經網路120輸出的第二影像資料可能具有與第一影像資料不同的雜訊級別。即使包括在第一影像資料中的所有雜訊不能像包括未被學習的雜訊那樣通過深度學習神經網路120去除，但可以通過去除至少一部分雜訊來降低雜訊級別。

深度學習神經網路120是通過深度學習來學習的。深度學習，也被稱為深度結構化學習，指的是一組與機器學習相關的演算法，它通過幾種非線性轉換方法的組合，試圖進行高級別的抽象(在大量資料或複雜資料中總結核心內容或功能的任務)。

具體來說，深度學習將任何學習資料以電腦能夠理解的形式表達出來(例如，在影像的情況下，畫素資訊被表達為列向量，等等)，並將這些應用到學習中，是大量研究的學習技術(如何做出更好的表示技術，如何做出學習這些的模型)，可能包括深度神經網路(DNN)和深度訊念網路(DBN)等學習技術。

作為一個例子，深度學習可以首先識別周圍的環境，並將當前的環境狀態傳輸給處理器。處理器執行與之相適應的行動，環境再次告知處理器該行動的獎勵。而處理器則選擇將獎勵最大化的行動。通過這個過程，學習過程可以反復進行。如前所述，在進行深度學習時使用的學習資料可以是將實際解析度較低的拜爾影像轉換為高解析度的拜爾影像而得到的結果，也可以是通過類比得到的資訊。在執行類比過程的情況下，通過根據類比的環境(影像的背景、顏色的類型等)進行調整，可以更快地獲得資料。

深度學習包括深度神經網路(DNN)，深度神經網路(DNN)可以規定為：在輸入層和輸出層之間存在多個隱藏層的深度神經網路；在神經元之間形成類似於動物視覺皮層結構的連接模式的卷積神經網路；以及在一段時間內每時每刻建立神經網路的迴圈神經網路。卷積神經網路可以是完全卷積網路(FCN)、U-Net、MobileNet、殘餘密集網路(RDN)和殘餘通道注意網路(RCAN)中的至少一種模型。自然也可以使用其他各種模型。

深度學習神經網路120的訓練是基於第一影像資料被生成，使用通過顯示面板傳輸的光；以及包括第二影像資料被生成，使用不通過顯示面板傳輸的光的訓練集進行。深度學習神經網路120被學習為基於第一影像資料輸出第二影像資料。深度學習訓練可以通過如圖4所示的過程進行。

深度學習神經網路120的訓練可以通過重複訓練進行，如圖4所示。訓練是針對使用通過顯示面板傳輸的光線生成的第一影像資料和使用不通過顯示面板傳輸的光線生成的第二影像資料進行的。這裡，第一影像資料作為輸入資料X被輸入到深度學習神經網路中，而第二張影像資料的作用是比較正在從深度學習神經網路中輸出的資料Y，作為基準真相(GT)Z。基準真相是指在訓練期間可以在深度學習神經網路中產生的最理想的資料。深度學習神經網路被反覆訓練，使輸出資料Y接近基準真相Z。

這裡，第一影像資料可以是由影像感測器在應用顯示面板時拍攝特定物體產生的影像資料，第二影像資料可以是由影像感測器在未應用顯示面板時拍攝同一物體產生的影像資料。此時，為了生成同一場景的拜爾資料，可以使用能夠固定在包括影像感測器的攝像設備上的設備，例如三腳架。使用兩個影像資料作為訓練集，對預設的時間或更多和預設的數量或更多的訓練集進行反覆運算訓練。

可以使用損失函數和優化器進行訓練。它接收輸入資料X，並比較和分析由深度學習神經網路輸出的輸出資料Y和基準真相Z，使用損失函數和優化器調整參數，並進行反覆運算訓練，使輸出資料Y接近基準真相Z。

根據輸入資料X1和雜訊級別X2的輸入，對被輸出的輸出資料Y和基準真相Z進行比較和分析，以計算出兩個資料之間的差異，並可以回饋給卷積濾色鏡的參數，以減少兩個資料之間的差異。

如圖4所示，對於一個例子，可以假設共有3層L1、L2和L3影響演算法，每層共有7個參數P11、P12、P13、P21、P22、P31、P32。在這種情況下，如果在增加參數P22的值的方向上改變參數時，輸出資料Y和基準真相Z之間的差異增加，則回饋學習在減少參數P22的方向上改變演算法。反之，如果當參數向增加參數P33值的方向改變時，輸出資料Y和基準真相Z之間的差異減少，則回饋被學習為向增加P33參數的方向改變演算法。

在深度學習訓練中，如圖4所示，當存在輸出結果和比較目標，並通過與比較目標的比較進行學習時，也可以使用獎勵值進行訓練。在這種情況下，可以首先識別周圍的環境，並將當前的環境狀態傳輸給一個執行深度學習訓練的處理器。處理器執行與之相對應的行動，而環境則根據行動再次告知處理器獎勵值。而處理器則採取使獎勵值最大化的行動。訓練可以通過這個過程反復進行學習。此外，深度學習訓練可以使用各種深度學習訓練方法進行。

如前所述，通過訓練得出的每個卷積層的參數被應用於如圖5所示的深度學習神經網路120，以從第一影像資料輸出第二影像資料。應用於每個卷積層的參數可以是通過訓練得出的固定參數，也可以是通過訓練更新或根據其他條件或指令變化的可變參數。參數值可以儲存在記憶體中，或者正在外部儲存在執行深度學習訓練的AP或設備、伺服器等中的參數可以在操作或開啟期間被接收和使用。

基於深度學習的演算法用於實現具有改進的雜訊的影像資料，通常使用幀緩衝器，由於其特性，在一般PC和伺服器中可能難以即時運行。

然而，由於深度學習神經網路120應用的是已經通過深度學習訓練產生的演算法，因此可以很容易地應用於低規格的攝像模組和包括相同的各種設備，在這些深度學習神經網路的具體應用中，由於高解析度是以只使用幾個行緩衝器的方式實現的，因此還有一個效果是可以用一個相對小的晶片來實現處理器。

參照圖6，深度學習神經網路120可以包括。多個行緩衝器11，用於接收第一影像資料；第一資料校準單元191，用於生成第一陣列資料，用於排列通過行緩衝器輸出的每個波長段的第一影像資料；深度學習神經網路120，用於通過正在學習的深度學習神經網路處理影像。第二資料校準單元192，用於通過將通過深度學習神經網路120輸出的第二陣列資料排列成拜爾模式來生成第二影像資料；以及多個行緩衝器12，用於輸出通過第二資料校準單元192輸出的第二影像資料。

第一影像資料是包括前面描述的拜爾模式的資訊，它可以被定義為拜爾資料或RGB影像。此外，為了方便，第一資料校準單元191和第二資料校準單元192被說明為獨立的元件，但不限於此，深度學習神經網路120可以執行由第一資料校準單元191和第二資料校準單元192共同執行的功能。

由影像感測器211接收的第一影像資料可以將使用者所選擇的區域的影像資訊傳送到n+1行緩衝器11a、11b、…、11n和11n+1。如前所述，由於只為使用者選擇的區域生成第二影像資料，所以沒有被使用者選擇的區域的影像資訊不會被傳送到行緩衝器11。

具體地說，第一影像資料包括多個行資料，多個行資料可以通過多個行緩衝器11傳送到第一資料校準單元191。

例如，如果要由深度學習神經網路120執行深度學習的區域是33個區域，則必須同時向第一資料校準單元191或深度學習神經網路120傳輸總共三行資料以執行深度學習。相應地，三行中的第一行的資訊被傳送到第一行緩衝器11a，然後儲存在第一行緩衝器11a中，三行中的第二行的資訊被傳送到第二行緩衝器11b，然後可儲存在第二行緩衝器11b。

【00100】之後，在第三行的情況下，由於此後沒有收到該行的資訊，可以不儲存在行緩衝器11中，可以直接傳送到深度學習神經網路120或第一資料校準單元191。此時，由於第一資料校準單元191或深度學習神經網路120必須同時接收三條線上的資訊，因此，儲存在第一行緩衝器11a和第二行緩衝器11b中的第一行資訊和第二行資訊可以同時傳輸給深度學習神經網路120或第一影像校準單元191。

【00101】相反，如果要由深度學習神經網路120執行深度學習的區域是(N+1)(N+1)區域，則只有當總共N+1行被同時傳輸到第一資料校準單元191或深度學習神經網路120以執行深度學習。相應地，N+1行中第一行的資訊被傳送到第一行緩衝器11a，然後儲存在第一行緩衝器11a中，N+1行中第二行的資訊可以被傳送到第二行緩衝器11b，然後儲存在第二行緩衝器11b中，N+1行中第N行的資訊可以被傳送到第N行緩衝器11n，然後儲存在第N行緩衝器11n中。

【00102】之後，在第(N+1)行的情況下，由於此後沒有收到該行的資訊，所以不儲存在行緩衝器11中，可直接傳送到深度學習神經網路120或第一資料校準單元191，並如前面所述，此時。因為第一資料校準單元191或深度學習神經網路120必須同時接收N+1行的資訊，所以儲存在行緩衝器11a至11n中的第一至第n行的資訊也可以同時傳送給深度學習神經網路120或第一影像校準單元191。

【00103】在接收來自行緩衝器11的拜爾資料後，第一影像校準單元191通過排列每個波長帶的拜爾資料生成第一陣列資料，然後可以將生成的第一陣列資料傳輸給深度學習神經網路120。第一影像排列單元191可以通過將接收到的資訊分類為特定的波長或特定的顏色(紅、綠、藍)來生成排列的第一陣列資料。

【00104】此後，深度學習神經網路120可基於通過第一影像排列單元191接收的第一序列資料生成第二序列資料。深度學習神經網路120可以通過基於通過第一資料校準單元191接收的第一序列資料執行深度學習來生成第二序列資料。

【00105】例如，如前所述，當接收到3x3區域的第一陣列資料時，對3x3區域執行深度學習，而當接收到(n+1)(n+1)區域的第一陣列資料時，可對(n+1)(n+1)區域執行深度學習。

【00106】此後，由深度學習神經網路120生成的第二陣列資料被傳送到第二資料校準單元192，第二資料校準單元192可將第二陣列資料轉換為第二影像資料。此後，轉換後的第二影像資料可以通過多個行緩衝器12a進行外部輸出。

【00107】第一影像資料和第二影像資料中的至少一個可以是拜爾影像資料。第一影像資料和第二影像資料都可以是拜爾資料，第一影像資料可以是拜爾資料，第二影像資料可以是RGB資料，或者第一影像資料和第二影像資料都可以是RGB資料。

【00108】如前所述，拜爾資料是一種原始資料，其資料量比RGB資料等影像資料小。因此，存在的優勢是，即使是配備了沒有高端處理器的攝像模組的設備，也可以比影像形式的資料更快地傳輸和接收拜爾圖案的影像資訊，基於此，它可以被轉換為具有各種解析度的影像。舉例來說，在攝像模組安裝在車輛上並使用具有100Mbit/s全雙工傳送速率的低壓差分訊號(LVDS)的環境中，由於影像處理不需要很多處理器，所以攝像模組不會超載，這樣就可能不會危及駕駛員或使用車輛的駕駛員的安全。此外，由於有可能減少由車載通訊網路傳輸的資料的大小，因此有一個效果，即使應用於自主車輛，也有可能根據設置在車輛中的多個攝像機的操作，消除由通訊方法和通訊速度引起的問題。

【00109】第二影像資料可以輸出到影像訊號處理器221。影像訊號處理器221可以使用MIPI通訊接收從深度學習神經網路120輸出的第二影像資料，並執行影像訊號處理過程。影像訊號處理器221在處理影像訊號時可以包括多個子過程。例如，收到的影像可以包括伽瑪校正、顏色校正、自動曝光校正和自動白平衡過程中的一個或多個。

【00110】影像訊號處理器221可以包括在應用處理器模組220中。應用處理器(AP)模組220是一個移動儲存晶片，是指負責移動終端中各種應用操作和圖形處理的核心半導體。應用處理器模組220可以系統單晶片(SoC)的形式實現，它既包括電腦中央處理單元(CPU)的功能，也包括控制記憶體、硬碟、圖形卡等連接的晶片組的功能。

【00111】如圖7所示，根據本發明的一個實施例的影像處理模組100可以包括至少一個處理器140和一個用於儲存由處理器140處理的指令的記憶體130。圖7的影像處理模組100的詳細描述與圖1至圖6的影像處理模組的詳細描述相對應，下文將省略重疊的描述。處理器140根據儲存在記憶體130中的指令，接收利用通過顯示面板傳輸的光線生成的第一影像資料，並從第一影像資料輸出第二影像資料。這裡，第二影像資料是影像資料，其中至少有一部分雜訊，即當光透過顯示面板時發生的影像品質下降現象，被去除。處理器140包括深度學習神經網路，而深度學習神經網路的訓練集可以包括正在使用通過顯示面板傳輸的光線生成的第一影像資料和正在使用未通過顯示面板傳輸的光線生成的第二影像資料。

【00112】根據本發明的一個實施例的影像感測器模組210包括影像感測器211、驅動IC215和影像處理模組100，並且可以包括濾色鏡212、鏡頭213和致動器214。根據本發明的一個實施例，影像感測器模組210可以是一個被設置在顯示面板下的攝像模組。根據本發明的一個實施例的影像感測器模組210的每個設置的詳細描述與圖1至圖7的影像處理模組的每個相應設置的詳細描述相對應，重疊的描述將在下文中省略。

【00113】濾色鏡212的作用是選擇性地阻擋從外部引入的光線，一般可位於鏡頭213的上方。鏡頭213是一種設備，其中透明材料如玻璃的表面被精細地研磨成球形表面，以收集或發射來自物體的光，形成光學影像，而被用於影像感測器模組210的一般鏡頭可以提供多個具有彼此不同特性的鏡頭。

【00114】驅動IC 215指的是一個半導體IC，它將驅動訊號和資料作為電訊號提供給面板，以便在螢幕上顯示字元或視頻影像，正如後面要描述的，驅動IC 215也可以驅動致動器214。

【00115】致動器214可以通過調整鏡頭或包括鏡頭的桶的位置來調整焦點。例如，致動器214可以是一個音圈馬達(VCM)類型。鏡頭213可以包括一個可變焦距鏡頭。當包括可變焦點鏡頭時，驅動IC 215可以驅動可變焦點鏡頭。例如，鏡頭213可以包括一個含有液態的液態鏡頭。在這種情況下，驅動IC 215可以通過調整液態鏡頭的液態來調整焦點。

【00116】影像處理模組100可以與驅動IC 215形成一個單一的晶片，或者作為一個單獨的晶片。或者，它可以形成為一個與影像感測器模組210分開的模組。

【00117】首先，如圖8所示，影像處理模組100可以形成為一個帶有驅動IC 215的單個晶片216的單一封裝。通過形成一個基本包括在影像感測器模組210中的帶有驅動IC的單個晶片216，驅動IC的功能和影像處理模組的功能可以同時執行，這很經濟。

【00118】或者，如圖9所示，影像處理模組100形成在影像感測器模組210的內部，但可以形成為兩個封裝，與驅動IC 215形成獨立的晶片。在不改變影像感測器模組210的結構的情況下，只有影像處理模組100可以被額外設置和使用。通過這一點，可以防止在與驅動IC形成單一晶片時設計的自由度下降，而且與形成單一晶片的情況相比，也可以使生成晶片的過程更加容易。

【00119】或者，如圖10所示，影像處理模組100可以形成在影像感測器模組210的外面。通過只在影像感測器模組210和應用處理器模組220之間設置影像處理模組100而不改變影像感測器模組210，可以增加設計的自由度。或者，影像處理模組100可以被設置在應用處理器模組220中，而不是影像感測器模組210。

【00120】如前所述，通過包括深度學習神經網路120的影像處理模組100可以實現低功耗和快速處理。通過使用HW加速器而不是應用SW演算法，有可能在即時駕駛時進行低功耗處理。大多數是複用HW，這是一種基於深度學習的技術，很容易用HW加速器進行優化。

【00121】大多數基於深度學習的演算法都使用幀緩衝器，所以在一般的PC和伺服器中可能很難即時運行，但在本發明中，只使用了幾個行緩衝器，而且網路設置經過優化，可以做成一個小晶片。

【00122】由於小型化成為可能，它可以形成各種安排的影像感測器模組。

【00123】進行深度學習訓練，從第一影像資料被放置在顯示面板下並包括作為影像品質下降現象的雜訊中去除由面板引起的影像品質下降現象，然後可以使用通過學習提取的優化參數進行即時操作。優化的參數可以通過從外部發送至晶片來更新，也可以作為一個黑匣子來實現，以便通過儲存在晶片內而不能從外部知道。通過用拜爾資料進行處理，可以利用資料處理量和拜爾資料的線性特性進行優化。

【00124】圖11是根據本發明的另一個實施例的影像處理模組的方框圖。

【00125】根據本發明的另一實施例的影像處理模組1100包括第一連接器150、深度學習神經網路120和第二連接器160。由於圖11的深度學習神經網路120的詳細描述與圖1至圖10的深度學習神經網路120的詳細描述相對應，關於從第一影像資料輸出第二影像資料的過程是利用通過顯示面板傳輸的光產生的，因此下文將省略重疊的描述。

【00126】第一連接器150連接到影像感測器模組210以接收第一影像資料，並且包括用於從通過第一連接器150接收的第一影像資料輸出第二影像資料的深度學習神經網路120和被連接到應用處理器(AP)模組220以輸出第二影像資料的第二連接器160。

【00127】當影像處理模組1100被設置在影像感測器模組210或應用處理器模組220內部時，影像感測器模組210或應用處理器模組220的尺寸可能增加，並且由影像處理模組1100產生的熱量可能被傳遞到影像感測器模組210或應用處理器模組220以影響影像感測器模組210或應用處理器模組220。如圖11所示，由於影像處理模組1100分別通過第一連接器150和第二連接器160連接到影像感測器模組210和應用處理器模組220，所以可以防止尺寸增大或發熱。

【00128】第一連接器150和第二連接器160分別與影像感測器模組210和應用處理器模組220連接，形成影像感測器模組和應用處理器模組之間的橋樑。第一連接器150和第二連接器160是指物理連接器，可以形成符合通訊標準的埠，用於傳輸和接收資料。每個連接器可以是一個用於MIPI通訊的通訊連接器。連接器150和160可以實現為剛性基板或柔性基板。

【00129】影像處理模組1100可以與影像感測器模組210和應用處理器模組220中的至少一個設置在同一基板上。此時，影像感測器模組或應用處理器模組可以彼此間隔開來。

【00130】如圖13所示，影像處理模組1100可以在與影像感測器模組210相同的基板240上以橋接形式連接到影像感測器模組210的連接器300。通過在影像感測器模組210和應用處理器模組220之間的連接部分以橋接的形式設置，可以減少影像感測器模組210和應用處理器模組220的尺寸問題或設計問題，並且還可以減少影像感測器模組210和應用處理器模組220的發熱問題。由於包括影像感測器模組210在內的攝像內部的尺寸存在晶片設計約束，但由於電路板上應用處理器模組220周圍有相對自由的空間，當以橋接的形式加入時，晶片尺寸的約束也會減少，從而減少晶片設計約束。此外，當影像感測器模組210被分離時，攝像製造商也單獨管理缺陷，從而可能降低f成本。

【00131】此外，影像感測器模組210可以被放置在顯示面板下。此時，第一影像資料是正在使用通過顯示面板傳輸的光產生的影像資料，而第二影像資料可以是影像資料，其中至少有一部分雜訊，即當光通過顯示面板傳輸時發生的影像品質下降現象，被去除。這裡，雜訊可以包括低強度、模糊、陰霾(衍射重影)、反射重影、色彩分離、閃光、干涉圖紋圖案和黃化現象中的至少一種。

【00132】此時，深度學習神經網路的訓練集可以包括使用通過顯示面板傳輸的光線生成的第一影像資料和使用未通過顯示面板傳輸的光線生成的第二影像資料。

【00133】此外，第一影像資料是具有第一解析度的影像資料，而第二影像資料可以是具有第二解析度的影像資料。此時，影像感測器模組210的深度學習神經網路120可以被訓練為從具有第一解析度的第一影像資料輸出具有第二解析度的第二影像資料。這裡，第一解析度可以高於第二解析度。反之，第一解析度可以比第二解析度低。此時，深度學習神經網路的訓練集可以包括具有第一解析度的第一影像資料和具有第二解析度的第二影像資料。第一影像資料和第二影像資料中的至少一個是拜爾影像資料。

【00134】圖14是根據本發明的一個實施例的攝像設備的方框圖。

【00135】根據本發明的一個實施例的攝像設備1000包括。影像感測器模組210，用於生成第一影像資料；影像處理模組1100，包括深度學習神經網路，用於從影像感測器接收第一影像資料並從第一影像資料輸出第二影像資料。以及應用處理器(AP)模組220，用於從深度學習神經網路接收第二影像資料並從第二影像資料生成影像，其中，影像處理模組1100包括被連接到影像感測器的第一連接器和被連接到應用處理器模組的第二連接器，以連接影像感測器和應用處理器模組，並且其中，影像感測器和應用處理器模組中的至少一個被設置在同一基板上並且彼此間隔開。由於圖14中根據本發明的實施例的攝像設備1000的每個設置的詳細描述與圖1至13中的每個相應設置的詳細描述相對應，以下，將省略重疊的描述。

【00136】圖15是根據本發明的一個實施例的影像感測器的方框圖；以及圖16是用於解釋根據本發明的一個實施例的影像感測器的圖。對圖15、17和18的每個設置的詳細描述對應於對圖1至14的每個相應設置的詳細描述，以下，重疊的描述將被省略。

【00137】根據本發明的一個實施例的影像感測器1500包括：影像感測單元170，用於利用通過顯示面板傳輸的光來生成第一影像資料；深度學習神經網路120，用於從第一影像資料輸出第二影像資料；以及輸出單元180，用於將第二影像資料傳輸到外部，其中深度學習神經網路根據輸出單元的輸出格式輸出第二影像資料。

【00138】影像感測單元170可以設置在顯示面板下，以利用通過顯示面板傳輸的光線生成第一影像資料。深度學習神經網路120從第一影像資料生成第二影像資料。這裡，第二影像資料可以是影像資料，從該影像資料中去除至少一部分雜訊，該雜訊是當光透過顯示面板時發生的品質下降現象，並且該雜訊可以包括低強度、模糊、霧度(衍射重影)、反射重影、色彩分離、閃光、干涉圖紋圖案和黃化現象中的至少一個。深度學習神經網路的訓練集可以包括使用通過顯示面板傳輸的光線生成的第一影像資料和使用未通過顯示面板傳輸的光線生成的第二影像資料，並且該影像資料和第二影像資料中的至少一個可以是拜爾影像資料。

【00139】輸出單元180將第二影像資料傳輸到外部，但根據與外部的通訊標準傳輸符合輸出格式的資料。據此，在輸出第二影像資料時，深度學習神經網路120根據輸出單元180的輸出格式輸出第二影像資料。這裡，傳輸第二影像資料的目標可以是影像訊號處理器221。影像訊號處理器221被設置在應用處理器模組220中，並且可以以預設的通訊標準之一向影像感測器1500發送和接收資料。例如，資料可以通過MIPI傳輸和接收，並且深度學習神經網路120可以根據MIPI標準輸出第二影像資料。在使用其他通訊標準的情況下，可以相應地輸出對應於輸出格式的資料。

【00140】當深度學習神經網路120與影像感測器211分開形成時，為了將包括深度學習神經網路120的處理器連接到影像感測器211和影像訊號處理器之間的通訊，如圖16所示，在影像感測器輸出MIPI tx和AP輸入MIPI rx之間另外需要一個'晶片輸入MIPI rx和晶片輸出MIPI tx'的結構。

【00141】然而，當在影像感測器1500中實現深度學習神經網路120時，由於被深度學習神經網路120生成的第二影像資料可以使用影像感測器輸出而不是晶片輸出，因此有一種使設計相對簡單的效果。

【00142】也就是說，在圖15的影像感測器1500的"影像感測器輸出MIPI tx-晶片輸入MIPI rx-晶片輸出MIPI tx-AP輸入MIPI rx"結構中，可以刪除"晶片輸入MIPI rx-晶片輸出MIPI tx"部分。此外，由於與影像感測器200的集成，MIPI IP的成本可以降低，從而可以經濟地製造，設計的自由度也可以提高。

【00143】另外，由於影像感測器1500內部的各種資料資訊在晶片中是共用的，所以應用處理器模組220的控制訊號也可以統一通訊，也可以通過影像感測器1500的EEPROM或Flash記憶體一起儲存記憶體。

【00144】此外，由於影像感測器1500還包括簡單的影像訊號處理器功能，如果利用這些功能來處理影像資料，就可以建立更加多樣化的深度學習影像資料庫，這樣就有了可以提高最終性能的效果。

【00145】校準單元190通過對第一影像資料的至少一部分進行分解或重新排列，輸出第三影像資料，此時，深度學習神經網路120可以從第三影像資料中輸出第二影像資料。為了在深度學習神經網路120中有效地處理從影像感測單元170輸出的資料，校準單元190可以通過分解或重新排列第一影像資料的至少一部分而輸出適合深度學習神經網路120的資料形式的第三影像資料。校準單元190可以只輸出在第一影像資料中生成第二影像資料所需的安排，作為第三影像資料。校準單元190可以作為一個行緩衝器。

【00146】此外，校準單元190可以根據輸出單元的輸出格式來輸出第三影像資料。由於輸出單元180應根據輸出格式輸出第二影像資料，第一影像資料可根據輸出格式預先轉換為第三影像資料並輸出到深度學習神經網路120。深度學習神經網路120可以直接輸出，而不需要根據輸出格式單獨生成第二影像資料。

【00147】根據本發明的另一個實施例的影像感測器1500，如圖18所示，包括：一個像素陣列171，用於接收通過顯示面板傳輸的光；一個第一處理器141和一個第二處理器142；和記憶體130，用於儲存由第一處理器141或第二處理器142處理的指令，其中第一處理器141根據儲存在記憶體130中的指令，通過使用像素陣列171的輸出生成第一影像資料，其中第二處理器142根據儲存在記憶體130中的指令，從第一影像資料輸出第二影像資料，其中第二影像資料可以是一種影像資料，其中至少有一部分雜訊被去除，該雜訊是當光線透過顯示面板時發生的影像品質下降現象，並根據輸出格式被輸出。

【00148】像素陣列171通過濾色鏡為每個像素輸出一個濾色值，用於被影像感測器接收的光線。此時，從像素陣列171輸出的訊號，如圖19所示，通過矩陣的每個解碼器進行解碼，並通過模數轉換器轉換為數位訊號。此後，第一處理器141從轉換為數位訊號的訊號生成第一影像資料。包括深度學習神經網路的第二處理器142從第一影像資料生成第二影像資料，並通過輸出單元180按照輸出格式輸出第二影像資料。

【00149】此外，影像感測器1500可以包括一個PLL，一個OTP，一個12C，一個內部LDO，等等。應利用高速MIPI介面，以便將從影像傳感單元171輸入並在通過內部塊等傳輸後處理的高容量影像原始資料發送到AP。為此，影像感測器1500可以進一步包括一個鎖相迴路(PLL)，該鎖相環執行分頻和乘法，以達到幾Gbps的速度。OTP是指用於存儲影像傳感單元171和SR演算法的特定參數的存儲空間，I2C是一個介面，被用來根據使用者對攝像模組的操作從AP 300輸出指令，一般來說，有一個匯流排結構，由2條線SCL和SDA連接。在內部LDO(low drop out)&POR中，內部LDO可以起到向影像傳感單元171供電的作用，在POR的情況下，有可能在AP的操作指令的同時執行重定功能，以便在省電模式下順利運行。

【00150】圖20是根據本發明的一個實施例的影像處理方法的流程圖；以及圖21和22是根據本發明的另一個實施例的影像處理方法的流程圖。圖20至22的每個步驟的詳細描述與圖1至19的影像處理模組、攝像模組和影像感測器的詳細描述相對應，因此下文將省略重疊的描述。

【00151】為了去除至少一部分雜訊，即當光線透過顯示面板時發生的影像品質下降現象，首先，在步驟S11中，影像處理模組100接收利用透過顯示面板的光線生成的第一影像資料，在步驟S12中，使用正在學習的深度學習神經網路從第一影像資料輸出第二影像資料。這裡，第二影像資料是一種影像資料，其中至少有一部分雜訊被去除，而雜訊是當光透過顯示面板時發生的影像品質下降現象。深度學習神經網路的訓練集可以包括：使用通過顯示面板傳輸的光線生成的第一影像資料；以及使用未通過顯示面板傳輸的光線生成的第二影像資料。

【00152】第一影像資料從設置在顯示面板下的影像感測器接收，而第二影像資料可以輸出到影像訊號處理器。

【00153】為了從使用通過顯示面板傳輸的光線生成的影像中去除至少一部分雜訊，該雜訊是當光線傳輸通過顯示面板時發生的影像品質下降現象，影像感測器211在步驟S21中使用通過顯示面板傳輸的光線生成第一影像資料，並在步驟S22中使用正在學習的深度學習神經網路從第一影像資料輸出第二影像資料。在此，第二影像資料是在去除至少部分雜訊之後，根據通訊格式輸出的影像資料，該雜訊是在光線透過顯示面板時發生的影像品質下降現象。

【00154】在步驟S21之後，第一影像資料的至少一部分可以在步驟S31中被分解或重新排列以輸出第三影像資料，此時，輸出第二影像資料的步驟S22可以實現為步驟S32，其中第二影像資料由第三影像資料輸出。第二影像資料可以被輸出到影像訊號處理器。

【00155】同時，本發明的實施例可以在電腦可讀記錄介質上實現為電腦可讀代碼。電腦可讀記錄介質包括所有類型的記錄設備，其中存儲有電腦系統可讀的資料。

【00156】作為電腦可讀記錄介質的例子，有ROM、RAM、CD-ROM、磁帶、軟碟和光學資料存放設備，此外，它們以分散式的方式分佈在聯網的電腦系統中，電腦可讀代碼可以被存儲和執行。而且用於實現本發明的功能程式、代碼和程式碼片段可以很容易地被本發明所屬技術領域的程式設計師推斷出來。

【00157】如上所述，在本發明中，已經描述了具體的事項，如具體的組件等；以及有限的實施例和附圖，但這些只是為了幫助對本發明有一個更普遍的理解，本發明並不限於上述實施例，本發明所屬技術領域的普通技術人員可以根據這些描述進行各種修改和變化。

【00158】因此，本發明的精神不應局限於所描述的實施例，不僅後面要描述的請求項，而且所有與請求項等價或等同的修改都將被說成是屬於本發明精神的範圍。