TW202209876A - 影像感測器模組和影像壓縮方法 - Google Patents

Abstract

本發明提供一種影像感測器模組、一種影像處理系統以及一種影像壓縮方法。壓縮由影像感測器產生的影像資料的影像壓縮方法包含：接收影像資料的待對其進行壓縮的目標像素群的像素值，以及待用於所述目標像素群的壓縮的參考像素的參考值；判定平均方向，將在平均方向上對目標像素值進行求平均計算；在平均方向上對目標像素的像素值進行求平均；基於參考像素產生包含待應用於平均值的補償值的平衡資訊；以及基於平均值、平衡資訊以及壓縮資訊產生位元流。

Description

影像感測器模組和影像壓縮方法

本揭露內容大體上是關於影像感測器，且更特定而言是關於一種用於壓縮隔離區中的資料的影像感測器模組、一種影像處理系統以及一種影像壓縮方法。 相關申請案的交叉引用

本申請案主張2020年7月16日在韓國智慧財產局申請的韓國專利申請案第10-2020-0088452號及2021年3月4日在韓國智慧財產局申請的韓國專利申請案第10-2021-0029045號的優先權，所述申請案的揭露內容以全文引用的方式併入本文中。

隨著對高品質及高清晰度圖像、影像或類似者的關注增加，影像感測器的像素陣列中的感測像素的數目以及由影像感測器產生的影像資料的大小已增加。可將影像資料傳輸至影像處理裝置，其中影像資料可經壓縮以增加傳輸效率，且可將經壓縮影像資料傳輸至影像處理裝置。影像資料可包含在兩個維度或多個維度中的各種影像圖案。為了壓縮包含於影像圖案的特定區中的像素資料，可應用壓縮效率增加且壓縮損耗減少的壓縮方法。

本揭露內容提供一種用於有效壓縮隔離區的像素資料的影像感測器模組、一種影像處理系統以及一種影像壓縮方法。

根據本揭露內容的實施例，提供一種壓縮由影像感測器產生的影像資料的影像壓縮方法，包含：接收影像資料的待對其進行壓縮的目標像素群的像素值，以及待用於所述目標像素群的壓縮的參考像素的參考值；判定平均方向，將在所述平均方向上對目標像素值進行求平均計算；在所述平均方向上對目標像素的所述像素值進行求平均；基於所述參考像素產生包含待應用於所述平均值的補償值的平衡資訊；以及基於所述平均值、所述平衡資訊以及壓縮資訊產生位元流。

根據本揭露內容的另一實施例，提供一種影像感測器模組，包含：影像感測器，經組態以產生包含多個像素的影像資料；編碼器，經組態以藉由以像素群為單位依序壓縮由所述影像感測器產生的所述影像資料來產生包含多個位元流的經壓縮資料，以及根據多種編碼方法中的至少一種編碼方法來壓縮待壓縮的目標像素群；以及介面，經組態以將所述經壓縮資料輸出至外部影像處理裝置，其中所述編碼器根據所述多種編碼方法中的第一編碼方法基於所述目標像素的像素值產生平均值、產生包含待應用於所述平均值的補償值的平衡資訊，且產生包含所述平均值、所述平衡資訊以及壓縮資訊的位元流。

根據本揭露內容的另一實施例，提供一種影像處理系統，包含：影像感測器，經組態以感測接收到的光學信號及產生影像資料；編碼器，經組態以依序壓縮所述影像資料的多個像素群及產生多個位元流；以及解碼器，經組態以解壓縮所述多個位元流且復原所述影像資料，其中所述編碼器基於目標像素的像素值及待應用於平均值的補償值來產生包含所述平均值的平衡資訊，且產生包含所述平均值、所述平衡資訊以及壓縮資訊的位元流。

在下文中，將參考隨附圖式詳細地描述本揭露內容的實施例。

圖1示出根據實施例的影像處理系統10。圖2示出根據實施例的應用於影像感測器模組的像素陣列及影像資料。

影像處理系統10可感測物件或主體的影像，將感測到的影像儲存至記憶體及/或處理感測到的影像，且可將經處理影像儲存於記憶體中。根據實施例，影像處理系統10可實施為數位攝影機、數位攝錄影機、行動電話、平板電腦或攜帶型電子裝置。攜帶型電子裝置可包含膝上型電腦、行動電話、智慧型電話、平板PC、個人數位助理（personal digital assistant；PDA）、企業數位助理（enterprise digital assistant；EDA）、數位靜態攝影機、數位視訊攝影機、音訊裝置、攜帶型多媒體播放器（portable multimedia player；PMP）、個人導航裝置（personal navigation device；PND）、MP3播放器、手持型遊戲控制台、電子書、可穿戴裝置或類似者。此外，影像處理系統10可安裝為電子設備中的組件，諸如無人機、進階駕駛員輔助系統（advanced drivers assistance system；ADAS）、車輛、傢俱、製造設施、門、各種量測設備或類似者。

參看圖1，影像處理系統10可包含影像感測器模組100及影像處理裝置200。在實施例中，影像感測器模組100可包含影像感測器110、編碼器120以及介面（interface；I/F）130。在實施例中，影像感測器模組100可實施為多個半導體晶片。舉例而言，影像感測器110的像素陣列（例如，圖2中的PXA）可整合至一個半導體晶片中，或可整合至影像感測器110、編碼器120以及I/F 130的邏輯電路不同的其他半導體晶片中，且多個半導體晶片可經由連接部件彼此電連接或可經由堆疊的穿孔彼此電連接。然而，實施例不限於此，且影像感測器模組100可實施為單一半導體晶片，但不限於此。

在實施例中，影像處理裝置200可包含I/F 210、記憶體220、解碼器230以及影像信號處理器240。

影像感測器模組100可拍攝外部目標、物件或主體，且產生影像資料IDT。影像感測器模組100可包含影像感測器110，所述影像感測器110能夠將經由透鏡LS入射的目標的光學信號轉換成電信號。

影像感測器110可包含多個感測像素（例如，圖2中的SPX）二維地配置的像素陣列（例如，圖2中的PXA），且可輸出包含分別對應於像素陣列PXA的多個感測像素SPX的多個像素值的影像資料IDT。

像素陣列PXA可包含多個列線、多個行線以及連接至多個列線中的每一者及多個行線中的每一者且以矩陣形式配置的多個感測像素SPX。

像素陣列PXA的多個感測像素SPX中的每一者可感測多個參考色彩中的至少一個色彩的光學信號。舉例而言，多個參考色彩可包含紅色色彩、綠色色彩以及藍色色彩，或紅色色彩、綠色色彩、藍色色彩以及白色色彩，且亦可包含除此等色彩以外的色彩。舉例而言，多個參考色彩可包含青色色彩、黃色色彩、綠色色彩以及洋紅色色彩。像素陣列PXA可產生包含於多個感測像素SPX中的每一者的參考色彩的資訊的像素信號。

舉例而言，如圖2中所示出，像素陣列PXA可包含紅色感測像素SPX_R、藍色感測像素SPX_B以及第一綠色感測像素SPX_Gr及第二綠色感測像素SPX_Gb。與紅色感測像素SPX_R配置於同一列中的綠色感測像素可稱為第一綠色感測像素SPX_Gr，且與藍色感測像素SPX_B配置於同一列中的綠色感測像素可稱為第二綠色感測像素SPX_Gb。

紅色感測像素SPX_R、藍色感測像素SPX_B、第一綠色感測像素SPX_Gr以及第二綠色感測像素SPX_Gb可以列及行配置，且此配置可稱為像素圖案PT。可在像素陣列PXA中重複地配置多個像素圖案PT。

舉例而言，如圖2中所示出，像素圖案PT可包含配置成2×2矩陣的紅色感測像素SPX_R、配置成2×2矩陣的藍色感測像素SPX_B、配置成2×2矩陣的第一綠色感測像素SPX_Gr以及配置成2×2矩陣的第二綠色感測像素SPX_Gb。此類型的像素圖案PT可稱為四圖案。然而，本揭露內容的技術想法不限於此，且像素圖案PT可包含紅色感測像素SPX_R、藍色感測像素SPX_B、第一綠色感測像素SPX_Gr以及第二綠色感測像素SPX_Gb，其配置成2×2矩陣，且此類型的像素圖案PT可稱為拜耳（Bayer）圖案（參見例如圖9）。替代地，像素圖案PT可包含配置成n×n（其中n為等於或大於3的整數）矩陣的紅色感測像素SPX_R、配置成n×n矩陣的藍色感測像素SPX_B、配置成n×n矩陣的第一綠色感測像素SPX_Gr以及配置成n×n矩陣的第二綠色感測像素SPX_Gb。

可基於由像素陣列PXA輸出的像素信號產生影像資料IDT。影像資料IDT可具有對應於像素陣列PXA的像素圖案PT的色彩圖案。作為實例，當像素陣列PXA具有拜耳圖案時，影像資料IDT亦可具有拜耳圖案。作為另一實例，當像素陣列PXA具有四圖案時，影像資料IDT可具有四圖案或拜耳圖案。

舉例而言，當像素陣列PXA具有四圖案時，一個像素信號可自包含於像素圖案PT中的具有相同色彩的四個感測像素SPX輸出，或在像素信號自四個感測像素SPX中的每一者輸出時可輸出四個像素信號。當輸出一個像素信號時，影像資料IDT可具有拜耳圖案，且當輸出四個像素信號時，如圖2中所示出，影像資料IDT可具有四圖案。

影像資料IDT可包含讀取像素PX_R、藍色像素PX_B、第一綠色像素PX_Gr以及第二綠色像素PX_Gb，其交替地配置。影像資料IDT的像素PX可指示對應於像素陣列PXA的感測像素SPX的資料，亦即，像素資料。讀取像素PX_R、藍色像素PX_B、第一綠色像素PX_Gr以及第二綠色像素PX_Gb可分別對應於紅色感測像素SPX_R、藍色感測像素SPX_B、第一綠色感測像素SPX_Gr、第二綠色感測像素SPX_Gb。

影像資料IDT可包含多個像素群PG，且在此情況下，根據影像資料IDT的色彩圖案PT，像素群PG可設定為包含按列及行依序配置或在一個方向上配置的預設數目個像素PX，或包含對應於相同參考色彩的彼此鄰近的像素PX。

舉例而言，如圖2中所示出，當影像資料IDT具有四圖案時，像素群PG可設定為對應於相同參考色彩（例如，紅色、藍色以及綠色，或類似者）且包含彼此鄰近的四個像素PX。作為另一實例，當影像資料IDT具有拜耳圖案時，像素群PG可設定為包含配置成矩陣的預設數目（例如，四個）不同色彩像素PX。

再次參看圖1，多個感測像素SPX中的每一者可包含至少一個光感測元件或光電轉換元件。光感測元件可感測光，且將感測到的光轉換成電信號。舉例而言，光感測元件可包含光二極體、光電晶體、光閘、釘紮光二極體（pinned photodiode；PPD）或其組合。

多個感測像素SPX中的每一者可包含光感測元件及像素電路，所述像素電路用於輸出對應於由光感測元件產生的電信號的像素信號。舉例而言，像素電路可具有四電晶體結構，其包含傳輸電晶體、重設電晶體、放大電晶體以及選擇電晶體。然而，實施例不限於此，且像素電路可具有一電晶體結構、三電晶體結構、四電晶體結構、五電晶體結構，或多個像素PX共用一些電晶體的結構。在實施例中，像素電路中的每一者可配備有記憶體及/或類比數位轉換器。

在實施例中，傳輸特定波長帶的光學信號（例如，特定色彩的光學信號）的多個彩色濾光片可配置於多個像素PX上以分別對應於像素陣列PXA的多個像素PX，且可轉換通過對應於配備於像素PX中的至少一個光感測元件的彩色濾光片傳輸的光學信號。因此，多個感測像素SPX中的每一者可輸出對應於所分配的至少一個參考色彩的至少一個像素信號。然而，實施例不限於此。舉例而言，入射於配備於感測像素SPX中的至少一個光感測元件上的光的特定波長帶的光學信號可選擇性地轉換為電信號。

在實施例中，影像資料IDT可包含原始影像資料（包含多個像素值，其中由像素陣列PXA輸出的多個像素信號已經過數位類比轉換），或已對原始影像資料進行預處理操作的影像資料。

對於資料傳輸速度、根據資料傳輸的功率消耗減少以及資料儲存空間的效率，影像感測器模組100可藉由使用編碼器120壓縮影像資料IDT，且將經壓縮資料CDT傳輸至影像處理裝置200。

編碼器120可自影像感測器110接收影像資料IDT、壓縮影像資料IDT，且產生經壓縮資料CDT。可以經編碼位元流形式實施經壓縮資料CDT。在下文中，經編碼位元流可簡稱為位元流。位元流可包含壓縮結果及壓縮資訊（例如，指示壓縮方法的模式資訊）。

編碼器120可藉由以像素群PG為單位編碼影像資料IDT而產生經壓縮資料CDT。編碼器120可藉由編碼一個像素群PG產生一個位元流，且基於影像資料IDT中的所有像素群PG的位元流產生經壓縮資料CDT。當編碼像素群PG時，可壓縮像素群PG，且在下文中，在本揭露內容中，可以與壓縮相同的意義使用編碼。

編碼器120可藉由使用基於對應於先前已在待對其進行壓縮的像素群PG（亦即，目標像素群）之前壓縮的像素PX的像素值產生的參考映圖來進行壓縮。編碼器120可基於鄰近於參考映圖中的目標像素群中的至少一個目標像素的至少一個參考像素的參考值來壓縮目標像素的像素值。參考值可基於參考像素的像素值產生，且例如參考值可為在參考像素的像素值經壓縮及解壓縮時產生的值。

可能目標像素的像素值可具有類似於鄰近參考像素的像素值的值。此外，存在目標像素群中的目標像素的像素值可具有彼此類似的值的可能性。因此，編碼器120可藉由使用基於差分脈碼調變（differential pulse code modulation；DPCM）的編碼方法來壓縮目標像素群，其中基於目標像素群的目標像素與相鄰像素之間的差（諸如（例如）目標像素的像素值與參考像素的參考值之間的差值，或目標像素的像素值與另一目標像素群的像素值之間的差值）進行編碼操作。因此，可增大壓縮效率或壓縮率，且因此，可減少歸因於壓縮的資料丟失。

包含於影像資料IDT中的隔離區中的目標像素群的像素的像素值與參考像素的像素值之間的差可較大。換言之，目標像素的像素值與參考像素的參考值之間的相關性可較低。

在此情況下，隔離區可指示在影像資料IDT中產生的二維或多維影像圖案的周邊區的至少兩個方向（例如，彼此正交的兩個方向）上對應於周邊區的區，諸如（例如）對應於影像圖案的邊緣的區。

根據實施例的編碼器120可包含平衡模式壓縮器BMC，且當目標像素的像素值與參考像素的參考值之間的差較大時，平衡模式壓縮器BMC可藉由使用諸如（例如）水平或豎直(horizontal or vertical；HV）平衡編碼方法的專用編碼方法來壓縮目標像素。平衡模式壓縮器BMC可藉由在水平或縱向方向上或在豎直或橫向方向上對目標像素的像素值求平均來產生平均值，且基於平均值及平衡資訊產生位元流。在此情況下，平衡資訊可包含用於補償平均值與像素值之間的差的資訊，且可包含藉由在編碼操作期間將相鄰像素的參考值之間的差值應用於平均值作為補償值而指示是否將復原像素值的選擇值，以及指示相對於某一像素將差值或預設內定值加至平均值抑或自平均值扣除差值或預設內定值的斜率值。可參看圖5至圖10更詳細地描述此HV平衡編碼方法。

當編碼器130藉由使用上述DPCM方法壓縮隔離區中的像素群，或根據編碼隔離區中的像素群的方法基於包含指示目標像素中的每一者的像素值的多個資料位元中的最高有效位元（most significant bit；MSB）的一些高資料位元壓縮時，可能發生大量資料丟失。因此，影像劣化可在已藉由解壓縮經壓縮資料CDT產生的經復原影像資料中出現，且偽影可在影像資料中出現。然而，如上文所描述，根據實施例的編碼器120可藉由使用專用編碼方法（例如，HV平衡編碼方法）壓縮隔離區中的像素群。因此，可增大壓縮效率，且可減少資料丟失。

編碼器120可經由I/F 130將經壓縮資料CDT提供至影像處理裝置200。舉例而言，I/F 130可實施為基於行動產業處理器介面（mobile industry processor interface；MIPI）的攝影機串列介面（camera serial interface；CSI）。然而，I/F 130的類型不限於此，且可根據各種協定標準來實施。

影像處理裝置200可藉由轉換自影像感測器模組100接收到的經壓縮資料CDT來產生待顯示於顯示器上的影像。影像處理裝置200可自影像感測器模組100接收經壓縮資料CDT，藉由解壓縮經壓縮資料CDT來產生經解壓縮資料DDT（諸如（例如）經復原影像資料），且對經解壓縮資料DDT進行影像處理操作。

在實施例中，影像處理裝置200可經由I/F 210自影像感測器模組100接收經壓縮資料CDT。I/F 210可藉由作為配備於影像感測器模組100中的I/F 130的MIPI實施，但不限於此。影像處理裝置200可將接收到的經壓縮資料CDT儲存至記憶體220。

記憶體220可為用於儲存資料的儲存位置。經壓縮資料CDT可儲存於記憶體220中。此外，記憶體220可儲存其他資料，諸如（例如）作業系統（operating system；OS）、各種程式以及各種資料（例如，經壓縮資料CDT）。記憶體220可包含揮發性記憶體，諸如隨機存取記憶體（random-access memory；RAM）、動態隨機存取記憶體（dynamic random-access memory；DRAM）及/或靜態RAM（static RAM；SRAM），或非揮發性記憶體，諸如相變RAM（phase change RAM；PRAM）、電阻式RAM（resistive RAM；ReRAM）、磁性RAM（magnetic RAM；MRAM）及/或快閃記憶體。在圖1中，記憶體220經示出為包含於影像處理裝置200中，但不限於此，且記憶體220可分別設置於影像處理裝置200外部。

解碼器230可自記憶體220讀取經壓縮資料CDT，且藉由解壓縮經壓縮資料CDT來產生經解壓縮資料DDT。解碼器230可將經解壓縮資料DDT提供至影像信號處理器240。

解碼器230可藉由使用根據由影像感測器模組100的編碼器120進行的壓縮方法或編碼方法的解壓縮方法或解碼方法以像素群PG為單位對經壓縮資料CDT進行解壓縮。解碼器230可基於包含於經壓縮資料CDT之的位元流中的壓縮資訊判定應用於像素群PG的解壓縮方法。解碼器230可基於已在待解壓縮的目標像素群之前解壓縮的像素（亦即，包含對應於參考像素的參考值的參考映圖）對目標像素群的目標像素進行解壓縮。

在實施例中，解碼器230可藉由使用根據HV平衡編碼方法的解碼方法對目標像素群進行解壓縮。解碼器230可藉由基於平衡資訊調整包含於位元流中的平均值來儲存像素值。

影像信號處理器240可對接收到的經解壓縮資料DDT進行各種影像處理操作。作為非限制性實例，影像信號處理器240可對經解壓縮資料DDT進行不良像素補償、偏移補償、透鏡失真補償、色彩增益補償、陰影補償、伽馬補償、去雜及/或銳化中的至少一個影像處理操作。在實施例中，根據影像感測器模組100的效能，可省略上述影像處理操作中的一些。舉例而言，當影像感測器模組100包含高品質影像感測器110時，可省略影像處理操作中的不良像素補償（例如，靜態不良像素補償）或偏移補償或類似者。

另一方面，編碼器120及解碼器230中的每一者可實施為軟體或硬體，或軟體與硬體的組合，諸如韌體。當編碼器120及解碼器230實施為軟體時，上述功能中的每一者可實施為程式化原始程式碼且載入於配備在影像感測器模組100及影像處理裝置200中的每一者中的儲存媒體上，且當配備在影像感測器模組100及影像處理裝置200中的每一者中的處理器（例如，影像處理器）執行軟體時，可實施編碼器120及解碼器230的功能。當編碼器120及解碼器230實施為硬體時，編碼器120及解碼器230可包含邏輯電路及暫存器，且上述功能中的每一者可基於暫存器設定進行。

在圖1中，影像處理系統10經示出為包含影像感測器模組100及影像處理裝置200，但實施例不限於此。舉例而言，影像處理系統10可包含影像感測器模組100及影像處理裝置200中的一些，或可經實施以包含多個影像感測器模組100。此外，在圖1中，解碼器230及影像信號處理器240經示出為個別組件，但實施例不限於此。舉例而言，影像信號處理器240可經實施以包含解碼器230。

圖3A及圖3B示出根據實施例的編碼器。圖3A及圖3B示出圖1中的編碼器120的實例。

參看圖1及圖3A，編碼器120可包含參考像素偵測器121、壓縮電路122、模式選擇器123、復原影像產生器124以及參考緩衝器125。

參考像素偵測器121可自影像感測器（例如，圖1中的110）接收影像資料IDT，且自參考緩衝器125接收包含用於壓縮目標像素群的參考像素的參考值的參考映圖。參考像素偵測器121可在儲存於參考緩衝器125中的經復原影像資料中偵測鄰近於目標像素群的參考像素的參考值，亦即參考像素的經復原像素值，且可自參考緩衝器125接收參考值作為參考映圖。參考像素偵測器121可將目標像素群及影像資料IDT之參考映圖提供至壓縮電路122。

壓縮電路122可基於參考映圖壓縮目標像素群。壓縮電路122可包含平衡模式壓縮器BMC及正常模式壓縮器NMC，且平衡模式壓縮器BMC及正常模式壓縮器NMC可藉由使用彼此不同的壓縮方法或編碼方法來壓縮目標像素群。正常模式壓縮器NMC可輸出第一編碼資料EDT1，且平衡模式壓縮器BMC可輸出第二編碼資料EDT2。

正常模式壓縮器NMC可基於參考映圖以DPCM方法編碼目標像素群。在實施例中，正常模式壓縮器NMC可產生參考像素的參考值與目標像素的像素值之間的差，以及目標像素的像素值之間的差值，且可基於差值產生位元流。在實施例中，正常模式壓縮器NMC可產生目標像素的像素值的平均值與參考像素的參考值之間的差值，以及平均值與目標像素的像素值之間的差值，且可基於差值產生位元流。可輸出在正常模式壓縮器NMC中產生的位元流作為第一編碼資料EDT1。

平衡模式壓縮器BMC可以HV平衡編碼方法編碼目標像素群，如上文參看圖1所描述。如上文參看圖1所描述，平均值可藉由在縱向方向或豎直方向上對目標像素的像素值求平均來產生，且位元流可基於用於補償平均值的平均值與像素值之間的差的平衡資訊來產生。可輸出藉由平衡模式壓縮器BMC產生的位元流作為第二編碼資料EDT2。

在此情況下，平衡模式壓縮器BMC可判定是向上及向下對連續配置的目標像素的像素值求平均，抑或向左及向右對連續配置的目標像素的像素值求平均，亦即，待進行求平均計算的方向。平衡模式壓縮器BMC可基於參考映圖的參考值判定待進行求平均計算的方向。

在圖3A中，壓縮電路122經示出為包含平衡模式壓縮器BMC及正常模式壓縮器NMC，但實施例不限於此，且壓縮電路122可更包含藉由使用與平衡模式壓縮器BMC及/或正常模式壓縮器NMC的編碼方法不同的編碼方法來編碼目標像素群的壓縮器。

模式選擇器123可選擇自壓縮電路122接收到的經壓縮資料（例如，第一編碼資料EDT1及第二編碼資料EDT2中的一者），且可輸出所選擇的編碼資料作為經壓縮資料CDT。

模式選擇器123可在根據解碼第一編碼資料EDT1及第二編碼資料EDT2中的每一者的方法的解碼方法中解碼第一編碼資料EDT1及第二編碼資料EDT2，且可根據解碼基於錯誤率選擇第一編碼資料EDT1及第二編碼資料EDT2中的一者。錯誤率可指示經解碼資料（亦即，經解碼像素值與解碼之前的像素值）之間的差，且隨著差愈小，錯誤率可愈低。隨著錯誤率愈低，由影像處理裝置200產生的經解壓縮資料DDT（亦即，經復原影像資料的影像劣化）可愈少。因此，模式選擇器123可選擇第一編碼資料EDT1及第二編碼資料EDT2當中具有較低錯誤率的編碼資料作為經壓縮資料CDT，且可輸出經壓縮資料CDT。

在實施例中，正常模式壓縮器NMC或另一個別壓縮器可藉由編碼目標像素群產生經編碼資料（例如，第一編碼資料EDT1），且當第一編碼資料EDT1的錯誤率超出參考錯誤率時，平衡模式壓縮器BMC可運行。平衡模式壓縮器BMC可藉由編碼目標像素群產生第二編碼資料EDT2。當第一編碼資料EDT1的錯誤率等於或小於參考錯誤率時，模式選擇器123可輸出第一編碼資料EDT1作為經壓縮資料CDT。當第一編碼資料EDT1的錯誤率超出參考錯誤率時，模式選擇器123可輸出自平衡模式壓縮器BMC接收到的第二編碼資料EDT2作為經壓縮資料CDT。

復原影像產生器124可藉由將經壓縮資料CDT解碼為資料來產生經復原影像。復原影像產生器124可藉由以對應於包含於經壓縮資料CDT中的多個位元流中的每一者的編碼方法的解碼方法解碼來復原目標像素群的像素值。對應於經復原像素值的像素可用作另一目標像素群的待對其進行壓縮的參考像素。

參考緩衝器125可儲存經復原影像資料，且將用於壓縮目標像素群的參考像素的參考值提供至參考像素偵測器121。在實施例中，參考緩衝器125可包含線記憶體，且儲存圍繞目標像素群的目標像素的參考像素。在實施例中，參考緩衝器125可實施為揮發性記憶體，諸如DRAM及SRAM。然而，實施例不限於此，且參考緩衝器125可實施為非揮發性記憶體，諸如ReRAM及PRAM。

參看圖3B，編碼器120a可包含參考像素偵測器121、預偵測器126、壓縮電路122、模式選擇器123、復原影像產生器124以及參考緩衝器125。相比於圖3A的編碼器120，編碼器120a可更包含預偵測器126。參考像素偵測器121、壓縮電路122、模式選擇器123、恢復影像產生器124以及參考緩衝器125的操作已參看圖3A進行描述，且省略其重複描述。

預偵測器126可啟動或撤銷啟動平衡模式壓縮器BMC。在實施例中，預偵測器126可基於參考像素的參考值啟動或撤銷啟動平衡模式壓縮器BMC。舉例而言，當參考值與目標像素的像素值之間的差等於或大於臨限值或特定程式碼值時，可啟動平衡模式壓縮器BMC，且當所述差小於臨限值時，可撤銷啟動平衡模式壓縮器BMC。在實施例中，預偵測器126可包含暫存器，且可基於儲存於暫存器中的控制信號啟動或撤銷啟動平衡模式壓縮器BMC。舉例而言，可自影像處理裝置200接收到控制信號。

當撤銷啟動平衡模式壓縮器BMC時，配備於壓縮電路122中的另一壓縮器（例如，正常模式壓縮器NMC）可編碼目標像素群，且可輸出經編碼資料（例如，第一編碼資料EDT1）作為經壓縮資料CDT。

當啟動平衡模式壓縮器BMC時，配備於壓縮電路122中的壓縮器及平衡模式壓縮器BMC中的至少一些可各自編碼目標像素群，且模式選擇器123可輸出經編碼資料中的具有最低錯誤率的經編碼資料作為經壓縮資料CDT。

在實施例中，儘管啟動平衡模式壓縮器BMC，但配備於壓縮電路122中的壓縮機的平衡模式壓縮器BMC的優先級可能較低。舉例而言，正常模式壓縮器NMC可首先編碼目標像素群以產生第一編碼資料EDT1，且當第一編碼資料EDT1的錯誤率超出參考錯誤率時，平衡模式壓縮器BMC可運行。平衡模式壓縮器BMC可藉由編碼目標像素群產生第二編碼資料EDT2。當第一編碼資料EDT1的錯誤率等於或小於參考錯誤率時，模式選擇器123可輸出第一編碼資料EDT1作為經壓縮資料CDT。當第一編碼資料EDT1的錯誤率超出參考錯誤率時，模式選擇器123可輸出自平衡模式壓縮器BMC接收到的第二編碼資料EDT2作為經壓縮資料CDT。

在實施例中，當啟動平衡模式壓縮器BMC時，可撤銷啟動配備於壓縮電路122中的另一壓縮器（例如，正常模式壓縮器NMC），且可輸出由平衡模式壓縮器BMC產生的第二編碼資料EDT2作為經壓縮資料CDT。因此，可減少編碼器120a的功率消耗。

圖4示出根據實施例的參考映圖。在圖4中，用於像素的參考標誌為以字母開始的文數字。在此實施例中，與像素相關聯的三數位數字指示彼像素的值，換言之，指示像素值或參考值。舉例而言，指示為T0的像素具有值283。

參看圖4，影像資料IDT可包含多個像素群PG，且可在設定多個像素群PG的方向上依序壓縮。在實施例中，影像資料IDT可自左至右方向上及在自上至下方向上依序且以像素群PG為單位壓縮。然而，實施例不限於此，且影像資料IDT可在自右至左方向上或在自下至上方向上壓縮。

可對目標像素群TG或對目標像素群TG的目標像素T0、目標像素T1、目標像素T2以及目標像素T3進行壓縮。可基於包含於像素群PG中對應於已對其進行壓縮的相鄰像素群PG的同一色彩的像素壓縮目標像素群TG。用於壓縮目標像素群TG的相鄰像素可稱為參考像素。

可產生參考像素的鄰近於來自參考緩衝器125的經復原影像資料RIDT的目標像素群TG的參考值作為參考映圖RM。在此情況下，參考值可指示在像素值經壓縮及經解壓縮之後產生的值。舉例而言，參考映圖RM可包含參考像素（例如，R11、R12、R13、R14、R21、R22、R23、R24、R31、R32、R33以及R34）的參考值。

可基於參考映圖RM壓縮目標像素群TG。舉例而言，目標像素群TG或目標像素群TG的目標像素T0可基於鄰近參考像素R13、參考像素R14、參考像素R23、參考像素R24、參考像素R32以及參考像素R34的參考值中的具有相對最高相關性的參考值或在預設方向上的鄰近參考像素的參考值經編碼。

目標像素群TG的目標像素T0、目標像素T1、目標像素T2以及目標像素T3的像素值之間的差可較大。舉例而言，當目標像素T0的像素值為283時，鄰近參考像素R14、參考像素R23以及參考像素R32的參考值分別為137、148以及127，且臨限值設定為125，像素值與參考值之間的差值可等於或大於125，目標像素群TG可對應於隔離區。以此方式，當目標像素群TG對應於隔離區時，可基於HV平衡編碼方法壓縮目標像素群TG。舉例而言，圖3中的平衡模式壓縮器BMC可以HV平衡編碼方法壓縮目標像素群TG，且在此情況下，平衡模式壓縮器BMC可使用目標像素群TG的相鄰像素。

圖5示出根據實施例的壓縮方法，且圖6A、圖6B、圖6C以及圖6D示出圖5的壓縮方法的操作。

圖5以及圖6A至圖6D的壓縮方法可由圖3A及圖3B中的平衡模式壓縮器BMC進行。

目標像素T0、目標像素T1、目標像素T2以及目標像素T3的像素值可彼此類似。平衡模式壓縮器BMC可根據HV平衡模式編碼方法藉由使用目標像素T0、目標像素T1、目標像素T2以及目標像素T3的像素值的類似性來壓縮目標像素T0、目標像素T1、目標像素T2以及目標像素T3，且在此情況下，可使用包含於參考映圖（例如，圖4中的RM）中的像素群中的至少一個像素群。

假定平衡模式壓縮器BMC藉由使用像素群的最接近參考映圖RM的像素群的目標像素群TG的左側的參考像素R31、參考像素R32、參考像素R33以及參考像素R34壓縮目標像素群TG，描述根據實施例的壓縮方法。實施例不限於此。

參看圖5，平衡模式壓縮器BMC可接收目標像素群的像素值及參考像素的參考像素值（S110）。換言之，平衡模式壓縮器BMC可接收包含目標像素群TG的影像資料IDT及包含參考像素的參考值的參考映圖RM。作為對其進行壓縮的像素群，目標像素群TG可包含目標像素T0、目標像素T1、目標像素T2以及目標像素T3，且可接收目標像素T0、目標像素T1、目標像素T2以及目標像素T3中的每一者的像素值。參考像素可包含用於壓縮目標像素群的目標像素的相鄰像素。相鄰像素的像素值可經壓縮，且接著經復原且產生為參考值。

平衡模式壓縮器BMC可判定將根據HV平衡模式編碼方法進行求平均計算的方向（在下文中稱為平均方向）（S120）。參看圖6A，平衡模式壓縮器BMC可判定將在水平方向HD抑或豎直方向VD上進行求平均計算。

在實施例中，平衡模式壓縮器BMC可基於參考像素R31、參考像素R32、參考像素R33以及參考像素R34判定平均方向。舉例而言，當參考像素在水平方向HD上的差值RDh（例如，參考像素R31及參考像素R32的參考值之間的差值）等於或小於參考像素在豎直方向VD上的差值RDv（例如，參考像素R33及參考像素R34的參考值之間的差值）時，平衡模式壓縮器BMC可判定水平方向HD為平均方向。相反，當水平方向HD上的差值RDh大於豎直方向VD上的差值RDv時，平衡模式壓縮器BMC可判定豎直方向VD為平均方向。作為另一實例，當參考像素在水平方向HD上的差值RDh與目標像素在水平方向HD上的差值TDh（例如，目標像素T0及目標像素T1的像素值之間的差值）之間的差值（例如，(RDh-TDh)的絕對值）等於或小於參考像素在豎直方向HV上的差值RDv與目標像素在豎直方向HV上的差值TDv（例如，目標像素T0及目標像素T3的像素值之間的差值）之間的差值（例如，(RDv-TDv)的絕對值）時，平衡模式壓縮器BMC可判定水平方向HD為平均方向，且在相反情況下，可判定豎直方向VD為平均方向。然而，實施例不限於此，且平衡模式壓縮器BMC可以各種方法判定平均方向。在實施例中，平衡模式壓縮器BMC可將預設方向判定為平均方向。

再次參看圖5，平衡模式壓縮器BMC可根據經判定平均方向對目標像素的像素值求平均（S130）。

如圖6B中所示出，當水平方向HD經判定為平均方向時，平衡模式壓縮器BMC可對目標像素T0及目標像素T1的像素值以及目標像素T2及目標像素T3的像素值求平均。因此，可計算出目標像素T0與目標像素T1的平均值AVGh0，其為287(=(283+291)/2)，以及目標像素T2與目標像素T3的平均值AVGh1，其為300(

(298+301)/2)。

如圖6C中所示出，當豎直方向VD經判定為平均方向時，平衡模式壓縮器BMC可對目標像素T0及目標像素T2的像素值求平均，且對目標像素T1及目標像素T3的像素值求平均。因此，可計算出目標像素T0與目標像素T2的平均值AVGv0，其為291 (

(283+298)/2)，以及目標像素T1與目標像素T3的平均值AVGv1，其為296 (=(291+301)/2)。

平衡模式壓縮器BMC可基於參考像素產生平衡資訊（S140）。

可存在平均值與像素值之間的差。平衡模式壓縮器BMC可產生平衡資訊以用於補償平均值與像素值之間的差。平衡資訊可包含用於補償平均值與像素值之間的差的資訊，且可包含藉由在編碼操作期間將相鄰像素的參考值之間的差值應用於平均值（亦即，差值的絕對值）而指示是否將復原像素值的選擇值，以及指示相對於某一像素將差值（或預設內定值）加至平均值抑或自平均值扣除差值（或預設內定值）的斜率值。

參看圖6D，當平均方向經判定為水平方向HD時，平衡模式壓縮器BMC可計算參考像素R31與參考像素R32的差值Rd0及目標像素（例如，目標像素T0與目標像素T1）的差值Td0，且可藉由比較差值Rd0與差值Td0判定指示在解碼目標像素T0及目標像素T1時是否將不同值應用為補償值的第一選擇值。

舉例而言，當參考像素的差值Rd0不為『0』且等於或小於目標像素的差值Td0時，平衡模式壓縮器BMC可判定指示將參考像素的差值Rd0應用為補償值的第一選擇值（例如，程式碼值『1』）。

當參考像素的差值Rd0等於或大於目標像素的差值Td0且為『0』時，平衡模式壓縮器BMC可判定指示不將參考像素的差值Rd0應用為補償值的第一選擇值（例如，程式碼值『0』）。在此情況下，可將預設內定值應用為補償值。取決於平均值的丟失程度，可將最佳補償值設定為內定值。舉例而言，當平均值的四個位元在位元流中丟失時，可將內定值設定為4。

當在解碼期間將大於目標像素的差值Td0的參考像素的差值Rd0應用為補償值時，目標像素的經復原像素值（亦即，經解碼像素值）與初始像素值（亦即，編碼之前的像素值）之間的差可頗大於平均值與初始像素值之間的差。此外，當參考像素的差值Rd0為『0』，且將參考像素的差值Rd0應用為補償值時，可不補償平均值與初始像素值之間的差值。因此，當參考像素的差值Rd0大於目標像素的差值Td0或為『0』時，平衡模式壓縮器BMC可將第一選擇值判定為程式碼值『0』，且可在解碼時根據第一選擇值的程式碼值『0』將內定值而非參考像素的差值Rd0應用為補償值。

平衡模式壓縮器BMC可判定指示目標像素T0及目標像素T1當中的哪一像素具有較大值的第一斜率值。換言之，第一斜率值可指示相對於目標像素T0及目標像素T1當中的某一像素將差值加至平均值抑或自平均值減去差值。舉例而言，當第一斜率值為程式碼值『0』時，目標像素T0的像素值可大於目標像素T1的像素值，且當第一斜率值為程式碼值『1』時，目標像素T1的像素值可大於目標像素T0的像素值。因此，當第一斜率值為『0』時，在解碼的時序下，其中將補償值（差值Rd0或內定值）加至平均值（例如，圖6B中的平均值AVGh0）的值可經復原為目標像素T0的像素值，且其中自平均值AVGH0減去補償值的值可經復原為目標像素T1的像素值。

類似於上文所描述，平衡模式壓縮器BMC可計算參考像素R33與參考像素R34的差值Rd1以及目標像素T2與目標像素T3的差值Td1，且可藉由比較差值Rd1與差值Td1在解碼目標像素T2及目標像素T3時判定指示是否應用差值Rd1的第二選擇值。此外，平衡模式壓縮器BMC可判定指示目標像素T2及目標像素T3的斜率的第二斜率值。

當平均方向經判定為豎直方向VD時，平衡模式壓縮器BMC可以類似於上文所描述的方法的方法產生平衡資訊。

再次參看圖5，平衡模式壓縮器BMC可產生包含平均值、平衡資訊以及壓縮資訊的位元流（S150）。

另一方面，如上文參看圖3A所描述，壓縮方法可更包含在產生位元流之後藉由解壓縮位元流來產生經復原像素值，以及基於經復原像素值產生包含待用於壓縮將在目標像素群之後對其進行壓縮的下一目標像素群的參考像素的經復原影像資料。

圖7A及圖7B示出根據實施例的位元流。

可假定，壓縮之前的目標像素（例如，圖4中的目標像素T0、目標像素T1、目標像素T2或目標像素T3）的像素值由包含10個位元的資料表示，且由於目標像素群TG以約50%的壓縮率壓縮，因此位元流BSa及位元流BSb各自包括包含20個位元的資料。

參看圖7A及圖7B，位元流BSa及位元流BSb可包含標頭HD及資料塊DB。標頭HD可包含模式資訊（包含用於壓縮的編碼方法（例如，DPCM方法、HV平衡模式編碼方法或類似者））、壓縮比、丟失資訊或類似者，且資料塊DB可包含根據目標像素T0、T1、T2以及T3的像素值的資訊（例如，多個平均值），以及與平均值相關的平衡資訊。

當位元流BSa或位元流BSb傳輸至影像處理裝置（例如，圖1中的200）作為經壓縮資料CDT時，解碼器（例如，圖1中的230）可基於包含於標頭HD中的模式資訊判定壓縮方法（例如，編碼方法），且可藉由基於包含於對應於壓縮方法的解壓縮方法（例如，解碼方法）中的資訊及資料塊DB解碼位元流BSa及位元流BSb來解壓縮經壓縮資料CDT。

標頭HD可經分配給第十七位元B16至第二十位元B19。由於將四個位元分配給標頭HD，故標頭HD可包含模式資訊的4×4（=16）個片段中的一者。

資料塊DB經分配給第一位元B0至第十六位元B15，且資料塊DB可包含第一平均區AVE0及第二平均區AVE1，以及平衡資訊區域BIF。第一平均區AVE0及第二平均區AVE1中的每一者可經分配給六個位元，第一平均區AVE0可經分配給第十一位元B10至第十六位元B15，且第二平均區AVE1可經分配給第五位元B4至第十位元B9。第一平均區AVE0及第二平均區AVE1可包含目標像素AVGh0與目標像素AVGh1（或目標像素AVGv0與目標像素AVGv1）的平均值。

平衡資訊區BIF可經分配給四個位元，亦即，第一位元B0至第四位元B3。

參看圖7A，平衡資訊區BIF可包含第一斜率值S0、第二斜率值S1、第一選擇值b0以及第二選擇值b1。在此情況下，關於平均方向的資訊可作為模式資訊包含於標頭HD中。

參看圖7B，平衡資訊區BIF可包含諸如平均方向的資訊。平衡資訊區BIF可包含關於平均方向、斜率值S、第一選擇值b0以及第二選擇值b1的資訊D。相同斜率值S可應用於目標像素T0及目標像素T1（或目標像素T0及目標像素T2）以及目標像素T2及目標像素T3（或目標像素T1及目標像素T3）。舉例而言，當在編碼期間斜率值S為用於目標像素T0及目標像素T1中的目標像素T1的程式碼值『1』時，可將補償值（例如，圖6D中的差值Rd0或內定值）加至平均值（例如，AVGh0），且可自目標像素T0的平均值減去補償值。此外，對於目標像素T2及目標像素T3中的目標像素T3，可將補償值（例如，圖6D中的差值Rd1或內定值）加至平均值（例如，AVGh1），且可自目標像素T2的平均值減去補償值。

圖8示出根據壓縮方法的比較例的壓縮方法實施例，其中可省略實質上重複的描述。相比較地，儘管圖6A至圖6D以及圖7A至圖7B可示出根據HV方法的壓縮方法，但實施例不限於此。舉例而言，圖8示出根據使用參考映圖RM的DPCM方法的壓縮方法，且例如，可由正常模式壓縮器（例如，圖3A及圖3B中的NMC）進行所述壓縮方法。

參看圖8，正常模式壓縮器NMC可基於包含於參考映圖RM中的至少一個參考像素的參考值壓縮目標像素T0、目標像素T1、目標像素T2以及目標像素T3。舉例而言，參考映圖RM的參考像素R32可用於壓縮目標像素群TG。

正常模式壓縮器NMC可計算參考像素R32的參考值與目標像素T0的像素值之間的差值d0。舉例而言，可自像素值283減去參考值127，且因此差值d0可為156。在此情況下，當像素值小於補償參考值時，差值d0可具有負值。替代地，差值d0可藉由自補償參考值減去像素值來產生。

正常模式壓縮器NMC可計算目標像素T0、目標像素T1、目標像素T2以及目標像素T3當中的差值d1、差值d2以及差值d3。差值d1、差值d2以及差值d3可分別為78(=361-283)、-41(=320-361)以及82(=402-320)。

平衡模式壓縮器BMC可基於參考像素R32的參考值與目標像素T0的像素值之間的差值d0以及目標像素T0、目標像素T1、目標像素T2以及目標像素T3之間的差值d1、差值d2以及差值d3產生用於目標像素群TG的位元流BS'。

位元流BS'可包含標頭HD及資料塊DB，且資料塊DB可包含多個剩餘區，例如第一剩餘區RD0、第二剩餘區RD1、第三剩餘區RD2以及第四剩餘區RD3。舉例而言，第一剩餘區RD0、第二剩餘區RD1、第三剩餘區RD2以及第四剩餘區RD3可包含參看圖8計算出的差值d0、差值d1、差值d2以及差值d3。作為非限制性實例，包含於位元流BS'中的值可藉由使用最高有效數目位元表示方法表示為負值及正值。

第一剩餘區RD0、第二剩餘區RD1、第三剩餘區RD2以及第四剩餘區RD3中的每一者可經分配給相同數目個位元。舉例而言，第四剩餘區RD3可經分配給第一位元B0至第四位元B3，第三剩餘區RD2可經分配給第五位元B4至第八位元B7，第二剩餘區RD1可經分配給第九位元B8至第十二位元B11，且第一剩餘區RD0可經分配給第十三位元B12至第十六位元B15。

另一方面，差值d0可為156，且差值d1、差值d2以及差值d3可分別為78、-41以及82。差值d1、差值d2以及差值d3可由類似或相同數目個位元（例如，包含表示絕對值的七個位元及表示正負號的一個位元的八個位元）表示。然而，差值d0可很大程度上不同於差值d1、差值d2以及差值d3，且可能需要八個位元以用於表示差值d0的絕對值。然而，由於第一剩餘區RD0、第二剩餘區RD1、第三剩餘區RD2以及第四剩餘區RD3經分配給相同數目個位元，故當正常模式壓縮器NMC基於根據本比較例的壓縮方法對隔離區的像素群PG進行壓縮時，可能發生大量資料丟失。

因此，當目標像素群TG對應於隔離區時，根據實施例的影像感測器模組（例如，圖1中的100）可藉由使用HV平衡編碼方法對目標像素群TG進行壓縮，從而減少壓縮損耗且改良壓縮效率。

圖9示出根據實施例的影像資料及參考映圖。

在圖9中，影像資料IDTa可包含拜耳圖案。在實施例中，可藉由使用連續配置的四個像素單元來設定像素群PG。在實施例中，像素群PG可包含兩個紅色像素及兩個綠色像素，或兩個藍色像素及兩個綠色像素。

壓縮可以像素群PG為單位進行，且像素群PG的對應於在目標像素群TG之前壓縮且鄰近於目標像素群TG的像素群PG的相同色彩的參考像素（例如，R11、R12、R13、R14、R21、R22、R23、R24、R31、R32、R33以及R34）的參考值可產生為待用於壓縮目標像素群TG的參考映圖RM。

目標像素群TG及參考像素R11、參考像素R12、參考像素R13、參考像素R14、參考像素R21、參考像素R22、參考像素R23、參考像素R24、參考像素R31、參考像素R32、參考像素R33以及參考像素R34的像素值之間可存在顯著差（例如，125或大於125，但不限於此），且目標像素群TG可經判定為對應於隔離區。因此，可基於HV平衡編碼方法壓縮目標像素群TG。

圖10示出根據實施例的壓縮方法。可藉由使用參考映圖RM對圖9中的影像資料IDTa進行圖10的壓縮方法。

參看圖10，平衡模式壓縮器（例如，圖3A中的BMC）可基於包含於參考映圖RM中的至少一個像素群的參考值壓縮目標像素T0、目標像素T1、目標像素T2以及目標像素T3。舉例而言，參考像素R31、參考像素R32、參考像素R33以及參考像素R34可用於壓縮目標像素群TG。在壓縮期間，可使用與目標像素具有相同色彩的參考像素。

像素群PG包含在水平方向HD上連續配置的四個像素，且平衡模式壓縮器BMC可將水平方向HD判定為平均方向。平衡模式壓縮器BMC可藉由對對應於相同色彩的目標像素T0及目標像素T2的像素值求平均來計算第一平均值AVGh0，且藉由對對應於相同色彩的目標像素T1及目標像素T3的像素值求平均來計算第二平均值AVGh1。

平衡模式壓縮器BMC可基於參考像素R31及參考像素R33的參考值的差值Rd0以及目標像素T0及目標像素T2的像素值的差值Td0產生關於目標像素T0及目標像素T2的平衡資訊，例如，第一選擇值及第一斜率值。平衡模式壓縮器BMC可基於參考像素R32及參考像素R34的參考值的差值Rd1以及目標像素T1及目標像素T3的像素值的差值Td1產生關於目標像素T1及目標像素T3的平衡資訊，例如，第二選擇值及第二斜率值。

平衡模式壓縮器BMC可計算參考像素R33的補償參考值與目標像素T0的像素值之間的差值d0，且此外，計算目標像素T0及目標像素T2的像素值之間的差值d1。此外，平衡模式壓縮器BMC可計算參考像素R34的補償參考值與目標像素T1的像素值之間的差值d2，且可計算目標像素T1及目標像素T3的像素值之間的差值d3。平衡模式壓縮器BMC可基於差值d0、差值d1、差值d2以及差值d3產生位元流BS（參見例如圖7A的BSa、圖7B的BSb及/或圖8的BS'，但不限於此）。差值d0、差值d1、差值d2以及差值d3可包含於位元流BS的資料塊DB中。

平衡模式壓縮器BMC可基於第一平均值AVGh0及第二平均值AVGh1以及平衡資訊產生位元流BS（例如，圖7A中的BSa或圖7B中的BSb）。

圖11A及圖11B示出根據實施例的影像感測器模組。

參看圖11A，影像感測器模組100'可包含實質上如同圖1的影像感測器100中的影像感測器110、編碼器120以及I/F 130，以及處理邏輯150。可省略重複描述。

影像感測器110可包含像素陣列PXA及驅動&讀取電路DRC。如上文所描述，像素陣列PXA可包含以列及行配置的多個像素PX。驅動&讀取電路DRC可控制像素陣列PXA，且將自像素陣列PXA接收到的像素信號轉換成像素值。驅動&讀取電路DRC可產生包含分別對應於接收到的像素信號的像素值的初始影像資料RDT。

處理邏輯150可對初始影像資料RDT進行預處理。舉例而言，預處理可包含影像處理，諸如不良像素校正、串擾補償、雜訊降低、格化儲存、大小改變，以及色彩空間轉換。

編碼器120可藉由壓縮自處理邏輯150接收到的影像資料IDT（或初始影像資料RDT）產生經壓縮資料CDT。編碼器120可以像素群為單位壓縮影像資料IDT，且藉由使用已對其進行壓縮的相鄰像素群來壓縮待對其進行壓縮的目標像素群。如上文所描述，當目標像素群對應於隔離區時，編碼器120可藉由使用HV平衡編碼方法來壓縮目標像素群。

可將經壓縮資料CDT提供至I/F 130，且I/F 130可將經壓縮資料CDT傳輸至影像處理裝置（例如，圖1中的200）。

參看圖11B，影像感測器模組100a可更包含記憶體160。記憶體160可包含諸如DRAM及SRAM的揮發性記憶體，或諸如PRAM、ReRAM、MRAM以及快閃記憶體的非揮發性記憶體。由編碼器120產生的經壓縮資料CDT可儲存於記憶體160中。經壓縮資料CDT可自記憶體160讀取，且經由I/F 130輸出。

圖12示出根據實施例的解碼器220。

解碼器220可藉由經由以反向次序進行針對由編碼器（例如，圖1中的120）編碼影像資料IDT進行的一系列操作解壓縮經壓縮資料CDT來產生經解壓縮資料DDT，例如，經復原影像資料。

解碼器220可藉由使用對應於由編碼器120使用的編碼方法的解碼方法來解壓縮經壓縮資料CDT。解碼器220可以位元流為單位解碼經壓縮資料CDT。

解碼器220可包含參考像素偵測器221、模式解碼器222、解壓縮器223以及參考緩衝器224。

參考像素偵測器221可接收經壓縮資料CDT，且自參考緩衝器224接收待用於解壓縮包含於經壓縮資料CDT中的位元流中的待經解壓縮的目標位元流的參考映圖RM。參考映圖RM可包含與待參考的位元流相關的像素群的相鄰像素的參考值，亦即參考像素的參考值。

參考像素偵測器221可在儲存於參考緩衝器中的經復原影像資料中逐位置偵測鄰近於目標像素群的參考像素的參考值，亦即參考像素的經復原像素值，且可自參考緩衝器224接收參考值作為參考映圖RM。參考像素偵測器221可將經壓縮資料CDT的目標位元流及參考映圖RM提供至模式解碼器222或解壓縮器223。

模式解碼器222可解碼位元流的標頭HD，且藉由使用解碼的結果來判定模式資訊、壓縮比、丟失資訊或類似者。根據實施例，模式解碼器222可藉由使用解碼標頭HD的結果驗證已以HV平衡編碼方法或另一編碼方法（例如，DPCM方法）進行壓縮。

解壓縮器223可基於經判定壓縮模式、壓縮比、丟失資訊或類似者自位元流復原目標像素。根據實施例，當判定已藉由使用解碼標頭HD的結果以HV平衡編碼方法中產生位元流時，解壓縮器223可驗證來自位元流的資料塊的平均值及平衡資訊，且可藉由基於平衡資訊將補償值應用於平均值來復原經壓縮像素的像素值。可輸出藉由解碼位元流產生的像素群作為經解壓縮資料DDT。

參考緩衝器224可儲存經解壓縮資料DDT，亦即，經復原影像資料。在實施例中，參考緩衝器224可儲存對應於待在經復原影像資料之後解壓縮的位元流的像素群。在實施例中，配備於影像處理裝置（例如，圖1中的200）中的記憶體或緩衝器（例如，記憶體220）可用作參考緩衝器224。

圖13示出根據實施例的影像處理系統10b。影像處理系統10b為圖1的影像處理系統10的可修改實施例。

參看圖13，影像處理系統10b可包含影像感測器模組100b及影像處理裝置200b。影像感測器模組100b可包含影像感測器110及I/F 130。影像感測器模組100b可更包含記憶體。影像處理裝置200b可包含I/F 210、編碼器250、解碼器230、影像信號處理器240以及記憶體220。圖13中的編碼器250可對應於圖1中的編碼器120。

比較圖13的影像處理系統10b與圖1的影像處理系統10，不同於影像感測器模組100b的影像處理裝置200b可包含編碼器250，且影像處理裝置200b可壓縮影像資料IDT。其他組件可彼此實質上相同。可省略影像處理系統10b的實質上類似於圖1的影像處理系統10的組件的重複描述。

參看圖13，影像感測器模組100b可產生影像資料IDT（初始影像資料或預處理影像資料）。影像資料IDT可經由I/F 130傳輸至影像處理裝置200b。影像處理裝置200b可自影像感測器模組100b接收影像資料IDT，編碼影像資料IDT以形成經壓縮資料CDT，且將經壓縮資料CDT儲存至記憶體220。其後，解碼器230可讀取儲存於記憶體220中的經壓縮資料CDT，且解壓縮經壓縮資料CDT。解碼器230可將經壓縮資料CDT（例如，經復原影像資料）提供至影像信號處理器240。

如上文所描述，壓縮及解壓縮可以像素群為單位進行，可基於HV平衡編碼方法壓縮或解壓縮對應於經壓縮資料CDT的隔離區的像素群。

圖14示出根據實施例的壓縮資訊。圖14示出根據由行動產業處理器介面（MIPI）聯盟提出的標準的壓縮模式（或壓縮方法）的實例。

參看圖14，可根據各種壓縮模式壓縮四圖案的影像資料（例如，圖2中的IDT）。然而，實施例不限於此，且可根據各種壓縮模式壓縮其中包含配置成n×n矩陣的像素的紅色像素群、藍色像素群、第一綠色像素群以及第二綠色像素群交替地配置的影像資料。

作為壓縮模式，可使用基於平均的定向差分（average-based directional differential；AD）模式、擴展的基於多像素的差分（extended multi-pixel-based differential；eMPD）模式、擴展的基於水平或豎直方向的差分（extended horizontal or vertical direction-based differential；eHVD）模式、擴展的基於水平或豎直平均的差分（extended horizontal or vertical average-based differential；eHVA）模式、基於傾斜方向的差分（oblique direction-based differential；OD；）模式、擴展離群值補償（extended outlier compensation；eOUT）模式、離群值補償（outlier compensation；OUT）模式以及固定量化及無參考（fixed quantization and no-reference；FNR）模式。然而，上述壓縮模式的名稱可僅為實例，且實施例不限於此。

在AD模式下，可藉由使用DPCM方法對目標像素群進行編碼。舉例而言，可基於目標像素群的像素值的平均值之間的差值以及每一像素值與平均值之間的差值產生位元流（例如，圖7A中的BSa）。

AD模式可根據詳細實施演算法劃分成模式0、模式1、模式2以及模式3。由於四個位元可經分配給表示壓縮方法的標頭HD，故十六個壓縮模式可藉由使用彼此不同的位元來表示標頭資訊。舉例而言，模式0可由位元0000表示，模式1可由位元0001表示，模式2可由位元0010表示，且模式3可由位元0011表示。

在OD模式中，可壓縮對角線結構的影像資料IDT。OD模式可根據詳細實施演算法劃分成模式4（例如，位元0100）及模式5（例如，位元0101）。類似地，eMPD模式可包含模式8（例如，位元1000）、模式9（例如，位元1001）、模式10（例如，位元1010）以及模式11（例如，位元1011），且eHVD模式可包含模式12（例如，位元1100）及模式13（例如，位元1101）。

eHVA模式可包含模式14（例如，位元1110）。根據實施例的HV平衡模式可對應於eHVA模式，且平衡模式壓縮器（例如，圖3A中的BMC）可產生包含指示eHVA模式的標頭HD的位元流。

eOUT模式可包含模式15（例如，位元1111），且OUT模式可包含模式7（例如，位元0111）。FNR模式可包含模式6（例如，位元0110）。在實施例中，模式7（例如，0111）可根據儲存於暫存器中的值包含於eOUT模式中。

在實施例中，模式選擇器（例如，圖3A及圖3B中的123）可依序評估AD模式、eMPD模式、eHVD模式、eHVA模式、OD模式、eOUT模式、OUT模式以及FNR模式，且可根據壓縮評估指標（諸如，壓縮比及丟失資訊）選擇最佳模式。然而，本揭露內容不限於所描述的模式評估序列。

圖15A示出包含具有多個攝影機模組的多攝影機模組的電子裝置1000，且圖15B示出圖15A中的攝影機模組。

參看圖15A，電子裝置1000可包含多攝影機模組1100、應用程式處理器1200、PMIC 1300以及外部記憶體1400。

多攝影機模組1100可包含多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。儘管圖式示出配置三個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的實施例，但實施例不限於此。在實施例中，多攝影機模組1100可包含僅兩個攝影機模組，或可經修改及體現以包含k（其中k為等於或大於4的自然數）個攝影機模組。

在下文中，參看圖15B，將描述攝影機模組1100b的詳細組態，但以下描述可相同地應用於根據實施例的其他攝影機模組1100a及攝影機模組1100c。

參看圖15B，攝影機模組1100b可包含稜鏡1105、光徑摺疊元件（在下文中稱為OPFE）1110、致動器1130以及影像感測裝置1140，以及儲存器1150。

稜鏡1105可改變自外部入射的光L的路徑，所述稜鏡1105包含光反射材料的反射表面1107。

在若干實施例中，稜鏡1105可使在第一方向X上入射的光L的路徑改變為垂直於第一方向X的第二方向Y。此外，稜鏡1105可使光反射材料的反射表面1107以中心軸線1106為中心向方向A旋轉，或藉由使中心軸線1106向方向B旋轉將在第一方向X上入射的光L的路徑改變為第二方向Y。在此情況下，OPFE 1110可垂直於第一方向X及第二方向Y向第三方向Z移動。

在若干實施例中，如所示出，在稜鏡1105的方向A上的最大旋轉角在正（+）方向A上可等於或小於約15度，且在負（-）方向A上可大於約15度，但實施例不限於此。

在若干實施例中，稜鏡1105可在正（+）或負（-）方向B上移動約20度，或約10度與約20度之間，或約15度與20度之間，且在此情況下，移動度在正（+）或負（-）方向B上可為相同度，或為與其在約1度範圍內幾乎類似的度。

在若干實施例中，稜鏡1105可使反射表面1107向與中心軸線1106的延伸方向平行的第三方向（例如，Z方向）移動。

在若干實施例中，攝影機模組1100b可包含兩個或大於兩個稜鏡，且在第一方向X上穿過此等稜鏡入射的光L的路徑可不同地改變，諸如改變為垂直於第一方向X的第二方向Y、再次改變為第一方向X或改變為第三方向Z，且返回至第二方向Y。

OPFE 1110可包含例如包含m（其中m為自然數）個群的光學透鏡。m個透鏡可在第二方向Y上移動且改變攝影機模組1100b的光學變焦比。舉例而言，當攝影機模組1100b的基本光學變焦比為Z且移動包含於OPFE 1110中的m個光學透鏡時，攝影機模組1100b的光學變焦比可改變為3Z或5Z或大於5Z的光學變焦比。

致動器1130可使OPFE 1110或光學透鏡（在下文中稱為光學透鏡）移動至某一位置。舉例而言，致動器1130可調整光學透鏡的位置，使得影像感測器1142定位於光學透鏡的焦距處以用於精確感測。

影像感測裝置1140可包含影像感測器1142、控制邏輯1144以及記憶體1146。圖1中的影像感測器模組100或圖13中的影像感測器模組100b可應用為影像感測裝置1140。

影像感測器1142可藉由使用經由光學透鏡提供的光L對感測目標的影像進行感測。控制邏輯1144可控制攝影機模組1100b的所有操作且處理感測到的影像。舉例而言，控制邏輯1144可根據經由控制信號線CSLb提供的控制信號來控制攝影機模組1100b的操作，且可進行影像處理，諸如自感測到的影像（例如，影像中的人的臉、臂、腿或類似者）擷取對應於特定影像的影像資料，以及雜訊降低。

在實施例中，控制邏輯1144可包含編碼器（例如，圖1中的120），且壓縮（或編碼）感測到的影像或經影像處理的影像。如上文所描述，編碼器120可以像素群為單位壓縮影像，且根據HV平衡編碼方法來壓縮隔離區的像素群。

記憶體1146可儲存攝影機模組1100b的操作所需的資訊，如校準資料1147。校準資料1147可為藉由使用自攝影機模組1100b的外部提供的光L來產生影像資料所需的資訊，且可包含資訊，例如關於旋轉度的資訊、關於焦距的資訊、關於光軸的資訊，或類似者。當攝影機模組1100b以其中焦距根據光學透鏡的位置而變化的多狀態攝影機形式實施時，校準資料1147可包含光學透鏡的每位置(或每狀態)的焦距值及關於自動聚焦的資訊。

在若干實施例中，經壓縮資料可儲存於記憶體1146中。此外，記憶體1146可用作編碼器120的參考緩衝器125。

儲存器1150可儲存由影像感測器1142感測到的影像資料。儲存器1150可配置於影像感測裝置1140外部，且可實施為構成影像感測裝置1140且呈堆疊形式的感測器晶片。在若干實施例中，影像感測器1142可包含第一晶片，且控制邏輯1144、儲存器1150以及記憶體1146可包含第二晶片，且因此，其中的所有者可以兩晶片堆疊形式實施。

在若干實施例中，儲存器1150可實施為電可抹除可程式化唯讀記憶體（electrically erasable programmable read-only memory；EEPROM），但實施例不限於此。在若干實施例中，影像感測器1142可包含像素陣列，且控制邏輯1144可包含類比至數位轉換器及用於處理感測到的影像的影像信號處理器。

共同參看圖15A及圖15B，在若干實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者可包含致動器1130。因此，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者可包含根據包含於其中的致動器1130的操作彼此相同或不同的校準資料1147。

在若干實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的一個攝影機模組（例如，1100b）可包含包含上述稜鏡1105及OPFE 1110的摺疊透鏡類型的攝影機模組，且其他攝影機模組（例如，1100a及1100c）可包含不包含稜鏡1105及OPFE 1110的豎直類型的攝影機模組，但實施例不限於此。

在若干實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的一個攝影機模組（例如，1100c）可包含藉由使用例如紅外線（infrared ray；IR）擷取深度資訊的豎直型深度攝影機。在此狀況下，應用程式處理器1200可藉由合併由豎直深度攝影機提供的影像資料與由其他攝影機模組（例如，1100a或1100b）提供的影像資料來產生三維（three-dimensional；3D）深度影像。

在若干實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的至少兩個攝影機模組（例如，1100a及1100b）可具有彼此不同的視場。在此情況下，例如，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的至少兩個攝影機模組（例如，1100a及1100b）的光學透鏡可彼此不同，但實施例不限於此。

此外，在若干實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者的視場可彼此不同。舉例而言，攝影機模組1100a可包含超寬攝影機，攝影機模組1100b可包含寬攝影機，且攝影機模組1100c可包含遠攝攝影機（tele camera），但實施例不限於此。在此情況下，包含於多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者中的光學透鏡亦可彼此不同，但實施例不限於此。

在若干實施例中，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者可彼此實體地隔開地配置。換言之，一個影像感測器1142的感測區域可不經劃分且由多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c使用，但獨立影像感測器1142可配置於多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者內部。

再次參看圖15A，應用程式處理器1200可包含影像處理裝置1210、記憶體控制器1220以及內部記憶體1230。應用程式處理器1200及多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可作為例如個別半導體晶片實施為彼此分離。

影像處理裝置1210可包含多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c、影像產生器1214以及攝影機模組控制器1216。

影像處理裝置1210可包含對應於多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的數目的多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c。

由攝影機模組1100a產生的影像資料可經由影像信號線ISLa提供至子影像處理器1212a，由攝影機模組1100b產生的影像資料可經由影像信號線ISLb提供至子影像處理器1212b，且由攝影機模組1100c產生的影像資料可經由影像信號線ISLc提供至子影像處理器1212c。影像資料的傳輸可藉由使用例如基於MIPI的CSI來進行，但實施例不限於此。

在實施例中，多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的至少一者可包含解碼器（例如，圖1中的230）。當對應攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c包含編碼器（例如，圖1中的120）時，多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c可包含用於解壓縮經壓縮影像資料的解碼器230。

在若干實施例中，圖13中的影像處理裝置200b可實施為多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的至少一者，且多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的至少一個子影像處理器可包含編碼器（例如，圖13中的250）及解碼器（例如，圖13中的230）。

另一方面，在若干實施例中，一個子影像處理器可經配置以對應於多個攝影機模組。舉例而言，子影像處理器1212a及子影像處理器1212c可並未如所示出而實施為彼此分離，而是可實施為經整合至一個子影像處理器中，且由攝影機模組1100a及攝影機模組1100c提供的影像資料可在由選擇元件（例如，多工器）選擇之後提供至整合式子影像處理器。在此情況下，子影像處理器1212b可不經整合，且自攝影機模組1100b接收影像資料。

此外，在若干實施例中，由攝影機模組1100a產生的影像資料可經由影像信號線ISLa提供至子影像處理器1212a，由攝影機模組1100b產生的影像資料可經由影像信號線ISLb提供至子影像處理器1212b，且由攝影機模組1100c產生的影像資料可經由影像信號線ISLc提供至子影像處理器1212c。此外，由子影像處理器1212b處理的影像資料可直接提供至影像產生器1214，但由子影像處理器1212a及子影像處理器1212c處理的影像資料可在由選擇元件（例如，多工器）選擇任一者之後提供至影像產生器1214。

子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的每一者可對由多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c提供的影像資料進行影像處理，諸如不良像素校正、自動聚焦校正、自動白平衡、自動曝光（3A調整）、雜訊降低、銳化、伽馬控制以及再鑲嵌（re-mosaic）。

在若干實施例中，再鑲嵌信號處理可在由攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者進行之後提供至子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c。

由子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的每一者處理的影像資料可提供至影像產生器1214。影像產生器1214可根據影像產生資訊或模式信號藉由使用由子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的每一者提供的影像資料產生輸出影像。

影像產生器1214可根據影像產生資訊或模式信號藉由合併由影像處理器1212a、影像處理器1212b以及影像處理器1212c產生的影像資料的至少一部分產生輸出影像。此外，影像產生器1214可根據影像產生資訊或模式信號藉由選擇由影像處理器1212a、影像處理器1212b以及影像處理器1212c產生的影像資料中的任一者產生輸出影像。

在若干實施例中，影像產生資訊可包含變焦信號或變焦因數。此外，在若干實施例中，模式信號可包含例如基於由使用者選擇的模式的信號。

當影像產生資訊包含變焦信號（變焦因數)，且攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c具有彼此不同的視場時，影像產生器1214可根據變焦信號的類型進行彼此不同的操作。舉例而言，當變焦信號包含第一信號時，輸出影像可藉由使用由子影像處理器1212a輸出的影像資料及由子影像處理器1212c輸出的影像資料中的自子影像處理器1212a輸出的影像資料，以及自子影像處理器1212b輸出的影像資料產生。當變焦信號包含不同於第一信號的第二信號時，輸出影像可藉由使用由子影像處理器1212a輸出的影像資料及由子影像處理器1212c輸出的影像資料中的自子影像處理器1212c輸出的影像資料，以及自子影像處理器1212b輸出的影像資料產生。當變焦信號包含不同於第一信號及第二信號的第三信號時，影像產生器1214可不進行此類影像資料合併，且藉由選擇由子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的每一者輸出的影像資料中的任一者產生輸出影像。然而，實施例不限於此，且視需要可修改及進行處理影像資料的方法。

在若干實施例中，影像處理裝置1210可更包含選擇子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c的輸出且將其傳輸至影像產生器1214的選擇器。

在此情況下，選擇器可根據變焦信號或變焦因數進行彼此不同的操作。舉例而言，當變焦信號包含第四信號（例如，變焦比包含第一比）時，選擇器可選擇來自子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c的輸出中的任一者且將其傳輸至影像產生器1214。

此外，當變焦信號包含不同於第四信號的第五信號（例如，變焦比包含第二比）時，選擇器可將來自子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c的輸出中的p（其中p為等於或大於2的自然數）輸出依序傳輸至影像產生器1214。舉例而言，選擇器可將來自子影像處理器1212b的輸出及來自子影像處理器1212c的輸出依序傳輸至影像產生器1214。此外，選擇器可將來自子影像處理器1212a的輸出及來自子影像處理器1212b的輸出依序傳輸至影像產生器1214。影像產生器1214可藉由合併已依序提供的p輸出來產生一個輸出影像。

在此情況下，影像處理（諸如再鑲嵌、視訊/預覽解析度大小向下縮放、伽馬控制以及高動態範圍（high dynamic range；HDR）處理）可由子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c提前進行，且接著可將經處理影像資料傳輸至影像產生器1214。因此，即使經由選擇器將經處理影像資料提供至影像產生器1214作為一個信號線，影像產生器1214的影像合併操作亦可以高速進行。

在若干實施例中，影像產生器1214可自子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的至少一者接收具有彼此不同的曝光時間的多個影像資料，且對多個影像資料進行HDR處理，且接著可產生具有增大的動態範圍的合併影像資料。

攝影機模組控制器1216可將控制信號提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者。由攝影機模組控制器1216產生的控制信號可經由彼此分離的控制信號線CSLa、控制信號線CSLb以及控制信號線CSLc提供至對應攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。

多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的任一者可根據包含變焦信號或模式信號的影像產生資訊指定為主控攝影機（例如，1100b），且其他攝影機模組（例如，1100a及1100c）可指定為受控攝影機。此資訊片段可包含於控制信號中，且經由彼此分離的控制信號線CSL1、控制信號線CSLb以及控制信號線CSLc提供至對應攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。

根據變焦因數或操作模式信號，操作為主控攝影機及受控攝影機的攝影機模組可改變。舉例而言，當攝影機模組1100a的視場寬於攝影機模組1100b的視場且變焦因數指示較低變焦比時，攝影機模組1100a可操作為主控攝影機，且攝影機模組1100b可操作為受控攝影機。相反，當變焦因數指示高變焦比時，攝影機模組1100b可操作為主控攝影機，且攝影機模組1100a可操作為受控攝影機。

在若干實施例中，由攝影機模組控制器1216提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者的控制信號可包含同步啟用信號。舉例而言，當攝影機模組1100b為主控攝影機且攝影機模組1100a及攝影機模組1100c為受控攝影機時，攝影機模組控制器1216可將同步啟用信號傳輸至攝影機模組1100b。已接收同步啟用信號的攝影機模組1100b可基於所提供同步啟用信號產生同步信號，且可經由同步啟用信號線SSL將所產生同步信號提供至攝影機模組1100a及攝影機模組1100c。攝影機模組1100b以及攝影機模組1100a及攝影機模組1100c可同步至同步信號，且將影像資料傳輸至應用程式處理器1200。

在若干實施例中，由攝影機模組控制器1216提供至多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的控制信號可包含根據模式信號的模式資訊。基於模式資訊，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可相對於感測速度在第一操作模式及第二操作模式下操作。

多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可以第一速度產生影像信號（例如，產生第一圖框率的影像信號），以高於第一速度的第二速度編碼所產生影像信號（例如，編碼高於第一圖框率的第二圖框率的影像信號），且將經編碼影像信號傳輸至應用程式處理器1200。在此情況下，第二速度可等於或小於第一速度的30倍。

應用程式處理器1200可將接收到的影像信號（亦即，經編碼影像信號）儲存於配備於其中的內部記憶體1230或應用程式處理器1200外部的外部記憶體1400中，且接著可自內部記憶體1230或外部記憶體1400讀取及解碼經編碼信號，且可顯示基於經解碼影像信號產生的影像資料。舉例而言，對應於影像處理裝置1210的多個子處理器1212a、子處理器1212b以及子處理器1212c的對應子處理器可進行解碼，且此外可對經解碼影像信號進行影像處理。

在第二操作模式下，多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可以低於第一速度的第三速度產生影像信號（例如，產生低於第一圖框率的第三圖框率的影像信號），且將影像信號傳輸至應用程式處理器1200。提供至應用程式處理器1200的影像信號可為未經編碼的信號。應用程式處理器1200可對接收到的影像信號進行影像處理，或將影像信號儲存至內部記憶體1230或外部記憶體1400。

PMIC 1300可將功率（例如，電源電壓）提供至多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者。舉例而言，PMIC 1300可在應用程式處理器1200的控制下經由功率信號線PSLa將第一功率提供至攝影機模組1100a，經由功率信號線PSLb將第二功率提供至攝影機模組1100b，且經由功率信號線PSLc將第三功率提供至攝影機模組1100c。

PMIC 1300可回應於來自應用程式處理器1200的功率控制信號PCON而產生對應於多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者的功率，且此外可調整功率位準。功率控制信號PCON可包含多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的每操作模式的功率調整信號。舉例而言，操作模式可包含低功率模式，且在此情況下，功率控制信號PCON可包含關於在低功率模式及設定功率位準下操作的攝影機模組的資訊。提供至多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者的功率位準可彼此相同或不同。此外，功率位準可動態地改變。

圖16示出根據實施例的電子裝置2000。圖16的電子裝置2000可包含行動終端機。

參看圖16，電子裝置2000可包含應用程式處理器2100、攝影機模組2200、工作記憶體2300、儲存器2400、顯示裝置2600、使用者介面2700以及無線收發器2500。

應用程式處理器2100可控制電子裝置2000的操作，且可實施為系統單晶片（system on chip；SoC）驅動應用程式、作業系統或類似者。應用程式處理器2100可將由攝影機模組2200提供的影像資料提供至顯示裝置2600或儲存於儲存器2400中。

上文參看圖1至圖11B所描述的影像感測器模組100及影像感測器模組100a可應用於攝影機模組2200。攝影機模組2200可包含編碼器2210，且編碼器2210可藉由壓縮影像資料來產生經壓縮資料，且將經壓縮資料傳輸至應用程式處理器2100。如上文所描述，當影像資料中的至少一些（例如，當至少一個像素群）對應於隔離區時，編碼器2210可藉由使用HV平衡編碼方法來壓縮像素群。

應用程式處理器2100可包含解碼器2110，所述解碼器2110藉由使用對應於編碼器2210的壓縮方法（例如，編碼方法）的解碼方法解壓縮經壓縮資料。解碼器2110可解壓縮自攝影機模組2200接收到的經壓縮資料且產生經復原影像資料，且應用程式處理器2100可對經復原影像資料進行影像處理。應用程式處理器2100可顯示於顯示裝置2600上，或將經復原影像資料或經影像處理的影像資料儲存於儲存器2400中。

工作記憶體2300可實施為揮發性記憶體（諸如DRAM及SRAM）或非揮發性記憶體（諸如FeRAM、RRAM以及PRAM）。工作記憶體2300可儲存應用程式處理器2100執行或處理的程式及/或資料。

儲存器2400可實施為諸如NAND快閃記憶體及電阻式記憶體的非揮發性記憶體，且儲存器2400可提供為例如記憶卡，諸如多媒體卡（multi-media card；MMC）、嵌入式MMC（embedded MMC；eMMC）、安全卡（secure card；SD）以及微SD。儲存器2400可儲存自攝影機模組2200接收到的影像資料或由應用程式處理器2100處理或產生的資料。

使用者介面2700可實施為能夠接收使用者輸入的各種裝置，諸如鍵盤、簾式數字鍵盤、觸控面板、指紋感測器以及邁克（mike）。使用者介面2700可接收使用者輸入，且將對應於接收到的使用者輸入的信號提供至應用程式處理器2100。

無線收發器2500可包含收發器2510、數據機2520以及天線2530。

儘管已參考本揭露內容的實施例特定地繪示及描述本揭露內容，但所屬技術領域中具有通常知識者應理解，可在不脫離以下申請專利範圍的精神及範圍的情況下在其中進行形式及細節的各種改變。

10、10b:影像處理系統 100、100a、100b、100':影像感測器模組 110、1142:影像感測器 120、120a、250、2210:編碼器 121、231:參考像素偵測器 122:壓縮電路 123:模式選擇器 124:復原影像產生器 125、234:參考緩衝器 126:預偵測器 130、210:介面 150:處理邏輯 160、220、1146:記憶體 200、200b、1210:影像處理裝置 232:模式解碼器 233:解壓縮器 230:解碼器 240:影像信號處理器 1000、2000:電子裝置 1100:多攝影機模組 1100a、1100b、1100c、2200:攝影機模組 1105:稜鏡 1106:中心軸線 1107:反射表面 1110:光徑摺疊元件 1130:致動器 1140:影像感測裝置 1144:控制邏輯 1147:校準資料 1150、2400:儲存器 1200、2100:應用程式處理器 1212a、1212b、1212c:子影像處理器 1214:影像產生器 1216:攝影機模組控制器 1220:記憶體控制器 1230:內部記憶體 1300:PMIC 1400:外部記憶體 2300:工作記憶體 2500:無線收發器 2510:收發器 2520:數據機 2530:天線 2600:顯示裝置 2700:使用者介面 b0:第一選擇值 b1:第二選擇值 d0、d1、d2、d3、Rd0、Rd1、RDh、RDv、Td0、Td1、TDh、TDv:差值 A、B:方向 AVE0:第一平均區 AVE1:第二平均區 AVGh0:第一平均值 AVGh1:第二平均值 AVGv0、AVGv1:平均值 B0:第一位元 B3:第四位元 B4:第五位元 B7:第八位元 B8:第九位元 B9:第十位元 B10:第十一位元 B11:第十二位元 B12:第十三位元 B15:第十六位元 B16:第十七位元 B19:第二十位元 BIF:平衡資訊區域 BMC:平衡模式壓縮器 BS、BSa、BSb、BS':位元流 CDT:經壓縮資料 CSLa、CSLb、CSLc:控制信號線 D:資訊 DB:資料塊 DDT:經解壓縮資料 DRC:驅動&讀取電路 EDT1:第一編碼資料 EDT2:第二編碼資料 HD:水平方向/標頭 IDT、IDTa:影像資料 ISLa、ISLb、ISLc:影像信號線 L:光 LS:透鏡 NMC:正常模式壓縮器 PCON:功率控制信號 PG:像素群 PSLa、PSLb、PSLc:功率信號線 PT:像素圖案 PX:像素 PXA:像素陣列 PX_B:藍色像素 PX_Gb:第二綠色像素 PX_Gr:第一綠色像素 PX_R:讀取像素 R11、R12、R13、R14、R21、R22、R23、R24、R31、R32、R33、R34:參考像素 RD0:第一剩餘區 RD1:第二剩餘區 RD2:第三剩餘區 RD3:第四剩餘區 RDT:初始影像資料 RIDT:經復原影像資料 RM:參考映圖 S:斜率值 S0:第一斜率值 S1:第二斜率值 S110、S120、S130、S140、S150:操作 SPX:感測像素 SPX_B:藍色感測像素 SPX_Gb:第二綠色感測像素 SPX_Gr:第一綠色感測像素 SPX_R:紅色感測像素 SSL:同步啟用信號線 T0、T1、T2、T3:目標像素 TG:目標像素群 VD:豎直方向 X:第一方向 Y:第二方向 Z:第三方向

將自結合隨附圖式進行的以下詳細描述更清楚地理解本揭露內容的實施例，其中： 圖1為根據實施例的影像處理系統的方塊圖。 圖2為根據實施例的應用於影像感測器模組的像素陣列及影像資料的混合概念圖。 圖3A為根據實施例的編碼器的方塊圖。 圖3B為根據實施例的編碼器的方塊圖。 圖4為根據實施例的參考映圖的混合概念圖。 圖5為根據實施例的壓縮方法的流程圖。 圖6A為描述圖5的壓縮方法的操作的概念圖。 圖6B為描述圖5的壓縮方法的操作的概念圖。 圖6C為描述圖5的壓縮方法的操作的概念圖。 圖6D為描述圖5的壓縮方法的操作的概念圖。 圖7A為示出根據實施例的位元流的概念圖。 圖7B為示出根據實施例的位元流的概念圖。 圖8為描述根據實施例的使用比較例的壓縮方法的概念圖。 圖9為示出根據實施例的影像資料及參考映圖的概念圖。 圖10為描述根據實施例的壓縮方法的概念圖。 圖11A為示出根據實施例的影像感測器模組的方塊圖。 圖11B為示出根據實施例的影像感測器模組的方塊圖。 圖12為根據實施例的解碼器的示意性方塊圖。 圖13為根據實施例的影像處理系統的方塊圖。 圖14為描述根據實施例的壓縮資訊的表格圖。 圖15A為包含多攝影機模組的電子裝置的方塊圖。 圖15B為圖15A中的攝影機模組的方塊圖。 圖16為根據實施例的電子裝置的示意性方塊圖。

S110、S120、S130、S140、S150:操作

Claims (10)

1. 一種影像壓縮方法，包括： 接收影像資料中待進行壓縮的目標像素群的像素值，以及待用於所述目標像素群的壓縮的參考像素的參考值； 判定平均方向，將在所述平均方向上對所述目標像素群的所述像素值進行求平均計算； 在所述平均方向上對目標像素的所述像素值進行求平均； 基於所述參考像素產生包括待應用於所述目標像素的平均值的補償值的平衡資訊；以及 基於所述平均值、所述平衡資訊以及壓縮資訊產生位元流。
2. 如請求項1所述的影像壓縮方法，其中： 所述影像資料由影像感測器產生， 所述參考值對應於已在所述目標像素群之前壓縮的所述參考像素的經復原像素值，且所述像素值的至少一個像素值與所述參考值之間的差等於或大於臨限值。
3. 如請求項1所述的影像壓縮方法，其中所述求平均包括計算所述目標像素當中的在所述平均方向上的兩對目標像素的第一平均值及第二平均值。
4. 如請求項3所述的影像壓縮方法，其中產生所述平衡資訊包括基於所述兩對目標像素當中的第一對目標像素的差值及所述參考像素當中的第一對參考像素的差值產生關於所述第一對目標像素的平衡資訊。
5. 如請求項4所述的影像壓縮方法，其中所述平衡資訊包括所述第一對目標像素的第一選擇值及第一斜率值， 其中所述第一選擇值指示是否將所述第一對參考像素的差值應用於所述第一平均值，且 所述第一斜率值指示所述第一對目標像素當中的具有較大像素值的目標像素。
6. 如請求項5所述的影像壓縮方法，其中，當所述第一選擇值指示不將所述第一對參考像素的所述差值應用於所述第一對目標像素的所述第一平均值時，將預設內定值設定為應用於所述第一平均值。
7. 如請求項4所述的影像壓縮方法，其中所述平衡資訊包括所述兩對目標像素中的每一者的選擇值及斜率值。
8. 如請求項4所述的影像壓縮方法，其中所述平衡資訊包括所述兩對目標像素中的每一者的選擇值及待普遍應用於所述兩對目標像素的斜率值。
9. 如請求項1所述的影像壓縮方法，其中所述位元流包括標頭及資料塊，且 關於所述平均方向的資訊包括於所述標頭或所述資料塊中。
10. 一種影像感測器模組，包括： 影像感測器，經組態以產生包括多個像素的影像資料； 編碼器，經組態以藉由以像素群為單位依序壓縮由所述影像感測器產生的所述影像資料來產生包括多個位元流的經壓縮資料，以及根據多種編碼方法中的至少一種編碼方法來壓縮待壓縮的目標像素群；以及 介面，經組態以將所述經壓縮資料輸出至外部影像處理裝置， 其中所述編碼器根據所述多種編碼方法中的第一編碼方法基於目標像素的像素值產生平均值、產生包括待應用於所述平均值的補償值的平衡資訊，且產生包括所述平均值、所述平衡資訊以及壓縮資訊的位元流。

Images