TWI772453B

TWI772453B - 對影像資料進行編碼的電子裝置及使用此電子裝置對影像資料進行編碼的方法

Info

Publication number: TWI772453B
Application number: TW107123273A
Authority: TW
Inventors: 詹姆士Ｈ珍納德; 彼得賈爾德蘭德; 曼朱納斯薩博瑞巴特
Original assignee: 美商紅色網域有限責任公司
Priority date: 2017-07-05
Filing date: 2018-07-05
Publication date: 2022-08-01
Also published as: KR102620350B1; JP7313330B2; EP3649783A1; TW201911228A; WO2019010233A1; US11019336B2; US20240244206A1; CN110999298B; US20190014319A1; KR20200022496A; JP2020526966A; US20210400272A1; US11503294B2; US20230224461A1; US11818351B2; CN110999298A

Abstract

在一些實施例中，用於壓縮視訊影像資料的電子裝置包括外殼、影像感測器、記憶體裝置及一或多個處理器。影像感測器可從入射在影像感測器上的光產生影像資料。一或多個處理器可轉換影像資料以獲得轉換係數、量化轉換係數、對經量化轉換係數進行編碼，及將經量化轉換係數儲存至記憶體裝置。一或多個處理器可至少藉由決定其中包括一個轉換係數之多個範圍中的一範圍來編碼經量化轉換係數、決定一個轉換係數所對應之範圍內的值、使用第一演算法將範圍編碼為範圍代碼，並使用第二演算法將值編碼為值代碼。

Description

對影像資料進行編碼的電子裝置及使用此電子裝置對影像資料進行編碼的方法

在本申請案的申請案資料表中所識別出的國內優先權所要求的任何及所有申請案皆藉由引用之方式結合於本文中。

本申請案涉及電子裝置中的視訊影像資料處理。

高端視訊捕捉能力不斷提升。專業攝影師及越來越多的消費者不僅在傳統的數位攝影機中要求高質量的視訊錄製功能，在其他配備有攝影機的電子裝置中(該等電子裝置包括手機/智慧型手機及平板電腦等)亦要求高質量的視訊錄製功能。

本文描述的各種實施例涉及能捕捉及板載儲存經壓縮之原始的(例如，根據拜爾圖案濾色鏡陣列或根據另一種類型的濾色鏡陣列進行馬賽克的)、高解析度(例如，至少2k、4k、6k、8k及10k或這些解析度級別中之任何級別之間的值範圍)的視訊影像資料的影像捕捉裝置。在視訊資料未「開發」的意義上，經壓縮的原始影像資料可為「原始的」，使得在壓縮及儲存之前不對影像資料執行某些影像處理影像開發步驟。這些步驟可包括插值(例如，去拜爾(de-Bayering)或其他去馬賽克(de-mosaicing)之步驟)、顏色處理、色調處理、白平衡及伽馬校正中的一者或多者。例如，經壓縮的原始影像資料可為經馬賽克的(例如，不內插顏色及不去馬賽克的)、不進行顏色處理、不進行色調處理、不進行白平衡及不進行伽馬校正中的一者或多者。替代地，可在儲存之後延遲這些步驟(如用於離板的後處理)，從而保持創造靈活性而不是在相機中的特定處理決策中「烘焙(baking)」。

可用各種形狀因子實施本文描述的影像處理及壓縮技術。例如，可在相對較小的形狀因子裝置中實施本文所描述之用於壓縮及經壓縮的原始影像資料的板載儲存的技術，該相對較小的形狀因子裝置如具有集成攝影機(或包括(多個)前置攝影機及(多個)後置攝影機的複數個攝影機)的智慧型手機或小型攝影機。例如，根據某些實施例的處理技術被定製成用於在具有相對有限的功率預算、處理能力及物理不動產的小形狀因子裝置中實施，以便結合到電子元件(等)中。在另一個範例中，可在相對較大的形狀因子攝影機(該等相對較大的形狀因子攝影機包括數位電影攝影機)中實施本文所描述的壓縮技術。

根據某些態樣，影像捕捉設備可經配置成捕捉原始的馬賽克影像資料、壓縮原始影像資料，及將影像資料儲存在影像捕捉裝置的板載記憶體中。

駐留在影像捕捉裝置中的電子裝置可經配置成作為壓縮的一部分來使用離散餘弦轉換(DCT)或另一轉換(如以在不同頻率下振蕩的函數之和來定義有限資料點序列的轉換)來轉換原始馬賽克影像資料，以獲得轉換係數，及壓縮轉換係數。根據一些實施例，電子裝置可經配置成在沒有使用儲存用於處理目的之完整影像幀的影像幀記憶體(例如，動態隨機存取記憶體[DRAM])的情況下來執行壓縮。例如，電子裝置可使用與影像處理晶片(例如為專用積體電路[ASIC]或現場可程式化閘陣列[FPGA])集成的晶載第一記憶體(例如，靜態隨機存取記憶體[SRAM])來壓縮轉換係數，且不使用任何第二DRAM或位於晶片外的其他記憶體。

在某些實施例中，電子裝置可包括DRAM或晶片外的其他第二記憶體。然而，這些實施例中之晶片外的記憶體可用於除了壓縮原始視訊影像資料之外的目的，如用於像素缺陷校正、定址像素圖案雜訊或諸如此類。這與現有之使用晶片外的DRAM來執行影像壓縮的影像捕捉裝置(如智慧型電話)不同。例如，一些現有的影像捕捉裝置使用晶片外的DRAM來計算用於H.264壓縮的運動向量。本文描述的某些實施例使用DCT技術，從而有助於記憶體有效壓縮，而無需計算運動向量或使用晶片外的記憶體。

在不使用完整影像幀記憶體(例如，晶片外的DRAM)的情況下執行壓縮提高了功率效率(如在一些實施中大約0.5瓦特(W))，這在小形狀因子裝置(如智慧型手機)中特別有用。根據某些態樣，影像捕捉裝置的電子元件在操作期間消耗小於15W或小於約20W。

在某些實施例中，本文所揭露的特徵可提供用於即時解碼儘可能多的幀的方法，且可用比每秒24幀(fps)更快的速率實現解壓縮。此外，在一些實施中，方法可擴大使用電子裝置的圖形處理單元(GPU)且允許操作的顯著平行化，同時能保持高的影像品質。

根據一些態樣，影像捕捉裝置包括時脈，該時脈經配置成控制由電子電路處理(例如，壓縮)原始馬賽克影像資料的時序，及電子電路經配置成儘管時脈停止了一段時間仍可正確地處理原始馬賽克影像資料。這可能至少是因為電子電路可使用可不需要更新(refresh)的記憶體來處理原始馬賽克影像資料。

根據某些態樣，影像捕捉裝置經配置成轉換原始馬賽克影像資料以獲得轉換係數。裝置量化轉換係數以獲得經量化係數，及藉由執行以下步驟中的一者或多者來對至少一些經量化係數進行編碼：將每個經量化係數劃分成複數個範圍及複數個範圍內的值；根據其中包括每個經量化係數的個別範圍來決定每個經量化係數的霍夫曼碼；根據其中包含每個經量化係數的個別範圍內的個別值來決定每個經量化係數的哥倫布碼。

在一些實施例中，揭露了一種電子裝置。電子裝置包括外殼、影像感測器、記憶體裝置及一或多個處理器。影像感測器可從入射在影像感測器上的光產生影像資料。一或多個處理器可執行以下步驟：轉換影像資料以獲得轉換係數、量化經轉換係數以獲得包括第一經量化轉換係數及不同於該第一經量化轉換係數的第二經量化轉換係數的經量化轉換係數、對經量化轉換係數進行編碼來獲得編碼係數，並將編碼係數儲存至記憶體裝置。經量化的轉換係數可至少藉由以下步驟來編碼：決定包括第一經量化轉換係數的複數個範圍中的第一範圍、決定包括第二經量化轉換係數的複數個範圍中的第二範圍、決定第一經量化轉換係數對應的第一範圍內的第一值、決定第二經量化轉換係數對應的第二範圍內的第二值、使用第一演算法將第一範圍編碼成第一範圍代碼及將第二範圍編碼成第二範圍代碼，及使用與第一演算法不同的第二演算法來將第一值編碼成第一值代碼及將第二值編碼成第二值代碼。經編碼的係數可包括第一範圍代碼、第二範圍代碼、第一值代碼及第二值代碼。

前述段落的電子裝置可包括以下特徵中的一者或多者：第一演算法是霍夫曼碼，或第二演算法是哥倫布碼。一或多個處理器可在處理影像資料期間改變第一演算法。一或多個處理器可將第一演算法從處理影像資料的第一幀變成處理影像資料的第二幀。第二演算法可在由一或多個處理器處理影像資料期間保持恆定。經量化的轉換係數可包括與第一經量化轉換係數及第二經量化的轉換係數不同的第三經量化轉換係數，及一或多個處理器可至少藉由以下步驟來對經量化轉換係數進行編碼：決定複數個範圍中的第三範圍其中包括第三經量化轉換係數、不決定第三經量化轉換係數對應的第三範圍內的第三值，並使用第一演算法將第三範圍編碼為第三範圍代碼，經編碼的係數包括第三範圍代碼。一或多個處理器可使用離散餘弦轉換來轉換影像資料。離散餘弦轉換可為16×16的離散餘弦轉換。一或多個處理器可至少藉由對經量化轉換係數的DC係數進行編碼來對經量化轉換係數進行編碼，該編碼方式與經量化轉換係數的AC係數的編碼方式不同。一或多個處理器可將用於第一演算法的參數儲存在用於經編碼係數的幀頭中。一或多個處理器可藉由至少使用用於影像資料的綠色像素的第一量化表及用於影像資料的紅色像素及藍色像素的第二量化表來量化轉換係數；第一量化表不同於第二量化表。影像資料可為馬賽克影像資料。影像資料可為原始的馬賽克影像資料。外殼可為行動電話外殼，且行動電話外殼可支持影像感測器、記憶體裝置及一或多個處理器。外殼可包圍影像感測器、記憶體裝置及一或多個處理器，及外殼可以可拆卸地連接至行動電話。電子裝置可進一步包括顯示器，該顯示器經配置成呈現由一或多個處理器自影像資料產生的全息影像。

在一些實施例中，揭露了一種使用電子裝置來對影像資料進行編碼的方法。方法可包括以下步驟：由影像感測器產生來自入射在影像感測器上的光的影像資料；由一或多個處理器轉換影像資料以獲得轉換係數；由一或多個處理器量化轉換係數，以獲得包括第一經量化轉換係數及不同於第一經量化轉換係數的第二經量化轉換係數的經量化轉換係數；由一或多個處理器決定包括第一經量化轉換係數之複數個範圍中的第一範圍及包括該第二經量化轉換係數之複數個範圍中的第二範圍；一或多個處理器決定第一範圍內對應於第一經量化轉換係數的第一值及第二範圍內對應於第二經量化轉換係數的第二值；由一或多個處理器將第一範圍編碼成第一範圍代碼及將第二範圍編碼成第二範圍代碼、一或多個處理器將第一值編碼成第一值代碼及將該第二值編碼成第二值代碼，及將第一範圍代碼、第二範圍代碼、第一值代碼及第二值代碼儲存至記憶體裝置中。

前述段落的方法可包括以下特徵中的一者或多者：可使用無損壓縮來執行對第一範圍及第二範圍的編碼與對第一值及第二值的編碼。可使用可變長度編碼來執行對第一範圍及第二範圍的編碼及對第一值及第二值的編碼。方法可進一步包括以下步驟：從記憶體裝置中檢索第一範圍代碼、第二範圍代碼、第一值代碼及第二值代碼，及由一或多個處理器對第一範圍代碼、第二範圍代碼、第一值代碼及第二值代碼進行解碼，以獲得第一範圍、第二範圍、第一值及第二值。可使用霍夫曼碼將第一範圍及第二範圍編碼成第一範圍代碼及第二範圍代碼，或可使用哥倫布碼將第一值及第二值編碼成第一值代碼及第二值代碼。可使用16×16的離散餘弦轉換來執行轉換影像資料。

雖然關於特定解析度(例如，至少2k或至少4k)或幀速率(例如，每秒至少23幀)來描述某些實施例，但這些實施例並不限於這些幀速率或解析度級別。例如，取決於實施例(例如，取決於感測器尺寸)，用於本文所描述之經壓縮原始影像資料的板載儲存的技術可能夠實現至少2k、3k、4k、4.5k、5k、6k、8k、10k、12k、15k、20k或更高解析度級別的解析度級別或在任何前述解析度級別之間且包括任何解析度(例如，在4k及12k之間且包括4k及12k)的解析度級別。類似地，取決於實施例，用於本文所描述之經壓縮原始影像資料的板載儲存的技術可能夠以至少23、24、25、120、150或240或更大的fps或在任何前述幀速率級別之間且包括任何幀速率(例如，在23fps及120fps之間且包括23fps及120fps)的幀速率來捕捉或儲存影像資料。

一，簡介： 除了其他特徵之外，本申請案還描述了用於壓縮如原始拜爾資料的視訊影像資料的方法。在某些實施例中，這些方法可使用幾行的晶載記憶體且不使用像DRAM這樣的幀記憶體來實施視訊影像資料的壓縮。可設置視訊影像資料的壓縮大小且該視訊影像資料的壓縮大小可針對各個幀並可逐幀調整。此外，方法可提供硬體友好的實施，該實施能夠減小壓縮視訊影像資料的裝置的尺寸及功耗。結果，對於相對較小或低功率的手持裝置(如智慧型電話)來說，本申請案的某些特徵可能是特別期望的，其中可能期望在限制功耗及系統尺寸的同時節省高品質視訊。在一些實施例中，這種技術可用於壓縮完全處理的YUV資料(而不是原始資料)。

儘管可主要在智慧型電話的背景中描述本文描述的電子裝置，但本申請案適用於具有或不具有蜂窩型電話功能的各種電子裝置中的任何一者，該等各種電子裝置包括數位靜止及運動攝影機、個人導航裝置、行動式網路裝置、手持遊戲控制台或具有任何功能、或功能組合或其他功能的裝置。

二 ，電子裝置系統概述： 圖1A示出了可實施本文所述的壓縮技術或其他特徵中的一或多者的電話10的頂部、前部及左側透視圖。電話10可為智慧型電話。電話10的前部包括顯示器11、攝影機12(例如，如圖所示的四個攝影機)、第一揚聲器格柵13A及第二揚聲器格柵13B，及一或多個麥克風(未示出)。電話10的左側包括第一輸入14。

圖1B示出了電話10的底部、後部及右側透視圖。電話的底部包括電源輸入埠15。電話10的左側包括第二輸入16。電話10的背面包括第二攝影機17(例如，如圖所示的兩個攝影機)、閃光燈18、雷射焦點19及模組連接器20。

顯示器11可顯示各種應用、功能及資訊，且亦可包含觸控螢幕控制特徵。

第一攝影機12及第二攝影機17中的每一者包括用於捕捉具有如本文所述之各種或可調節解析度及縱橫比的視訊影像資料幀的能力。第一攝影機12每者通常可面向彼此相同的方向，且第二攝影機17通常可面向彼此相同的方向。

第一輸入14及第二輸入16可為按鈕且從電話10的使用者接收使用者輸入。第一輸入14(例如)可作為電話10的電源按鈕且讓使用者能控制電話10是打開或關閉。此外，第一輸入14可作為如指紋感測器的使用者辨識感測器，該使用者辨識感測器使得電話10能決定使用者是否被授權存取電話10、或電話10中儲存的一或多個特徵或文件或經耦合至電話10的裝置。第一輸入14可作為裝置鎖定/解鎖按鈕、用於啟動拍攝影像的按鈕、用於啟動拍攝視訊的按鈕或用於電話10的選擇按鈕。第二輸入16可做為電話10的音量增大按鈕及音量減小按鈕。可由使用者配置及改變第一輸入14及第二輸入16的功能。此外，電話10的側面可包括如圖1A所示且如美國專利號9,917,935中所述的扇形或鋸齒形邊緣；美國專利號9,917,935中的全部揭露內容藉由引用方式併入本文中。值得注意的是，第一輸入14所在的扇形可不包括鋸齒，而其他扇形可包括鋸齒，這可幫助使用者區分電話10的兩個邊緣及區分第一輸入14與第二輸入16。

在一些實施例中，除了經由顯示器11之外，電話10可不接收至電話10的正面的使用者輸入。因此，電話10的正面可不包括按鈕，且任何按鈕可位於電話10的一側或多側。有利地，在某些實施例中，此種配置可改善電話10的人體工學(如藉由讓使用者不必伸手碰到前按鈕)並增加可用於電話10上的顯示器11的空間量。

模組連接器20可與模組可互換地耦合且從模組或耦合到模組的一或多個其他裝置接收電力或資料或將電力或資料傳輸至模組或耦合到模組的一或多個其他裝置。模組可包括相機、顯示器、視訊遊戲控制器、揚聲器、電池、輸入/輸出擴展器、燈、鏡頭，投影機及上述組合等。此外，模組可堆疊到一或多個其他模組以形成如在美國專利申請公開號2017/0171371中所描述之耦合到電話10的一系列連接模組；美國專利申請公開號2017/0171371中的全部揭露內容藉由引用方式併入本文中。

模組連接器20可包括複數個觸點(例如，三列中的44個觸點或一列中的13個觸點，及其他可能性)，該複數個觸點與模組的對應連接器上的觸點接合以電子地傳送資料。複數個觸點可與彈簧加載的連接器或模組的觸點接合。在一些實施方式中，電話10可磁性地附接至或支撐模組，且電話10及模組可各自包括使得電話10被附接且牢固地耦合的磁鐵。電話10及模組可進一步部分地藉由摩擦配合、互鎖結構、緊固件、機械卡扣表面結構、機械閂鎖表面結構、機械干涉配合表面結構等在電話10的一或多個部分及模組的一或多個部分之間耦合。

關於在裝置及一或多個模組之間耦合及傳送資料的附加資訊可在美國專利申請公開號2017/0171371及2016/0044148及美國專利號9,568,808中找到；該等美國專利申請公開案及專利案所揭露內容藉由引用其全文方式而併入本文中。

電話10的尺寸可根據特定實施例而變化。例如，電話10可為大約100mm高、50mm寬及15mm厚。在另一範例中，電話10可為約150mm高、70mm寬及10mm厚。在又一個範例中，電話10可為約130mm高、70mm寬及10mm厚。在又一個範例中，電話10可為約120mm高、60mm寬及10mm厚。例如，顯示器11可為是4吋、4.5吋、5吋、5.5吋、5.7吋、6吋、6.5吋、7吋或7.5吋顯示器。

圖1C示出了經定位以附接至攝影機模組30的電話10的側視圖，及圖1D示出了電話10及攝影機模組30在附接時的透視圖。攝影機模組30(單獨或與電話10組合)可實施本文所述的一或多種壓縮技術或其他特徵。攝影機模組30可包括支撐磁鐵34A及34B的外殼及輸入36。磁鐵34A及34C可便於將外殼耦合至電話10。輸入36可用於接收對攝影機模組30的使用者輸入，以控制攝影機模組30的活動，如改變模式或啟動視訊捕捉。儘管未在圖1C及圖1D中示出，但攝影機模組30亦可包括在攝影機模組30之外殼之與圖1C中所示的側面相對的一側上的磁鐵，以將相對側耦合至電話10的外殼。

相機模組30可進一步耦合到光學模組38，該光學模組38可與一或多個其他光學模組互換。光學模組38可(例如)包括一或多個光學元件，如鏡頭、快門、稜鏡、鏡子及光圈等，以在目標位置處形成物體的影像。在美國專利申請公開號2017 / 0171371中進一步描述了相機模組、光學模組及用於耦合相機模組及光學模組的方法的實施例；美國專利申請公開號2017 / 0171371中全部揭露內容藉由引用方式併入本文中。

光學模組38可包括可移除式鏡頭39及鏡頭安裝座41，其中鏡頭39可插入至鏡頭安裝座41的開口(未示出)中，接著旋轉以將鏡頭固定在適當位置。在一實施例中，鏡頭安裝座41可包括按鈕或其他類型的控制，從而允許移除鏡頭39。例如，使用者可推動或用其他方式來與介面元件交互作用，該介面元件允許使用者以相反方向旋轉鏡頭39及從鏡頭安裝座41的開口移除鏡頭39。在一些實施例中，鏡頭安裝座41本身是可移除的且可(例如)藉由插入安裝螺釘通過每個孔來通過孔45A、45B、45C及45D重新連接。鏡頭安裝座41或鏡頭39可為(例如)美國專利號9,568,808中描述的那些鏡頭安裝座或鏡頭中之一者，該專利的全部內容藉由引用方式結合於本文中。

相機模組30可包括與模組連接器20類似或相同的模組連接器31，該模組連接器31可與附加模組可互換地耦合(例如，與附加模組的相應連接器上的觸點接合)及從模組或耦合至模組的一或多個其他裝置接收電力或資料或將電力或資料傳輸至模組或耦合至模組的一或多個其他裝置。附加模組可包括攝影機、顯示器、視訊遊戲控制器、揚聲器、電池、輸入/輸出擴展器、燈、鏡頭、投影機或上述組合等。在一範例中，連接至模組連接器31的附加模組可為輸入/輸出擴展器且包括一或多個附加輸入，其使得使用者能夠控制攝影機模組30的操作。此外，附加模組可具有形狀因子，該形狀因子允許將附加模組的相應連接器耦合至模組連接器31，而不需要妨礙鏡頭安裝座41的放置或使用或阻礙來自攝影機模組30中之影像感測器的鏡頭39的視野(例如，附加模組可不覆蓋包括模組連接器31的攝影機模組30的整個表面)的附加模組。在一些實施方式中，附加模組可磁性附接至攝影機模組或由攝影機模組支撐，且附加模組及攝影機模組30均可包括使得兩者被附接且牢固地耦合的磁鐵。附加地或替代地，可至少通過摩擦配合，互鎖結構、緊固件、機械卡扣表面結構、機械閂鎖表面結構、機械干涉配合表面結構等來實現耦合。

圖2示出了攝像機40的透視圖。攝像機40可包括腦模組42、鏡頭安裝模組介面44及鏡頭46。攝像機40可實施本文所描述的一或多種壓縮技術或其他特徵。在美國專利申請公開號2016/0295096及2017/0171371中更詳細地描述了攝像機40及其組件的實施例；其全部公開內容藉由引用方式併入本文中。

圖3A示出了可實施本文描述的壓縮技術或其他特徵中的一或多者的影像捕捉裝置50。在一些實施例中，影像捕捉裝置50可為電話10、攝影機模組30或攝像機40或結合成電話10、攝影機模組30或攝像機40的一部分。影像捕捉裝置50可包括經配置成支撐光學元件51、影像感測器52(或多個影像感測器)、影像處理系統53、壓縮系統54及記憶體裝置55的外殼。在一些實施方式中，影像捕捉裝置50可進一步包括多媒體系統56。影像感測器52、影像處理系統53、壓縮系統54及多媒體系統56可在影像捕捉裝置50的操作期間包含在外殼內。記憶體裝置55亦可包含或安裝在外殼內、安裝在外殼外部或由影像捕捉裝置50外部的有線或無線通訊連接。

光學元件51可為具有至少一個鏡頭的鏡頭系統形式，該至少一個鏡頭經配置成將輸入影像聚焦在影像感測器52上。在一些實施例中，光學元件51可為提供可變焦距、光圈及焦距的多鏡頭系統形式。光學元件51可為由外殼支撐的鏡頭接口形式且(例如但不限制)接收多種不同類型的鏡頭系統，光學元件51可包括經配置成接收各種尺寸的鏡頭系統的接口，該等各種尺寸的鏡頭系統包括50至100毫米(F2.8)的變焦鏡頭、18至50毫米(F2.8)的變焦鏡頭、300毫米(F2.8)的鏡頭、15毫米(F2.8)的鏡頭、25毫米(F1.9)的鏡頭、35毫米(F1.9)的鏡頭、50毫米(F1.9)的鏡頭、85毫米(F1.9)的鏡頭或任何其他鏡頭。如上所述，光學元件51可經配置成使得影像可聚焦在影像感測器52的光敏表面上(儘管鏡頭附著在其上)。關於此種鏡頭系統的附加資訊可在美國專利號9,568,808中找到，其全部揭露內容藉由引用方式結合於本文中。

影像感測器52可為任何類型的視訊感測裝置，包括但不限於CCD、CMOS、如Foveon®感測器的垂直堆疊的CMOS裝置或使用稜鏡來分感測器之間的光的多感測器陣列。影像感測器52可進一步包括濾色鏡陣列(如拜爾圖案濾色鏡)，該濾色鏡陣列輸出表示由影像感測器52的各個光電池所偵測到的紅光、綠光或藍光的大小的資料。在一些實施例中，影像感測器52可包括具有大約1200萬個光電池的CMOS裝置。然而，亦可使用其他尺寸的感測器。在一些配置中，攝像機10可經配置成以「2k」(例如，2048×1152像素)、「4k」(例如，4096×2540像素)、「4.5k」、「5k」、「6k」、「8k」、或「16k」或更高的解析度來輸出視訊。如本文所使用的，在以「xk」的格式(如上文所提到的「2k」及「4k」)所表示的術語中，「x」量是指近似的水平解析度。因此，「 4k」解析度係對應於約4000或更多的水平像素，及「2k」係對應於約2000或更多像素。使用當前市售的硬體，影像感測器52可小到約0.5吋(8mm)，但影像感測器52可為約1.0吋或更大。另外，影像感測器52可藉由選擇性地僅輸出影像感測器52的預定部分來提供可變的解析度。例如，影像感測器52或影像處理系統53可經配置成允許使用者辨識、配置、選擇或定義視訊資料輸出的解析度。關於感測器及來自感測器的輸出的附加資訊可在美國專利號8,174,560中找到，其全部揭露內容通過引用方式結合在本文中。

影像處理系統53可格式化來自影像感測器52的資料串流。例如，影像處理系統53可將綠色、紅色及藍色影像資料分成三個或四個單獨的資料編譯。例如，影像處理系統53可經配置成將紅色資料分成一個紅色通道或資料結構、將藍色資料分成一個藍色通道或資料結構，及將綠色資料分成一個綠色通道或資料結構。影像處理系統53亦可將綠色分成兩個單獨的綠色資料結構，以便保持2×2拜爾圖案中對角相鄰的綠色像素之間的像差。影像處理系統53可處理影像元素值以對影像元素進行加法、減法、乘法、除法或以其他方式修改以產生影像資料的數字表示。

影像處理系統53可進一步包括子取樣系統，該子取樣系統經配置成將減少的或未減少的解析度影像資料輸出至多媒體系統56。例如，此類子取樣系統可經配置成輸出影像資料以支持6K、4K、2K、1080p及720p，或任何其他解析度。另外，影像處理系統53可包括其他模組或執行其他處理，如伽馬校正處理及雜訊濾波處理等。由影像處理系統53所提供的功能的範例在美國專利申請公開號2014/0226036中描述，其全部內容通過引用方式併入本文中。

壓縮系統54可使用壓縮技術(如以圖7描述的壓縮方法)或另一技術來壓縮來自影像處理系統53的影像資料。壓縮系統54可為單獨晶片或多個晶片(例如，FPGA及ASIC等)的形式。可用軟體及另一個處理器來實施壓縮系統54，或可用處理器、軟體或專用晶片的組合來實施壓縮系統54。例如，壓縮系統54可包括一或多個壓縮晶片，該一或多個壓縮晶片根據基於DCT的編解碼器來執行壓縮技術。

壓縮系統54可使用具有速率控制的基於DCT的編解碼器來壓縮來自影像處理系統53的影像資料。在一些實施例中，壓縮系統54執行壓縮技術，該壓縮技術在視訊資料的壓縮期間修改或更新壓縮參數。經修改或經更新的壓縮參數可經配置成實現目標或期望的檔案大小、視訊品質、視訊位元率或上述的任何組合。在一些實施例中，壓縮系統54可以經配置成允許使用者或其他系統調整壓縮參數以修改壓縮系統54輸出之經壓縮視訊的品質或大小。例如，影像捕捉裝置50可包括允許使用者輸入使壓縮系統54改變壓縮參數的命令的使用者介面(未示出)。

壓縮系統54可即時壓縮來自影像處理系統53的影像資料。壓縮系統54可使用單次來執行壓縮以壓縮視訊幀。這可用於消除在一些壓縮系統中使用的中間幀記憶體(該中間幀記憶體係執行多個壓縮傳遞或基於來自儲存在中間幀記憶體中的一或多個先前視訊幀的內容來壓縮當前視訊幀)的使用。這可降低具有板載視訊壓縮的攝像機的成本或複雜性。當影像資料的幀速率為每秒至少23幀(fps)、至少約24fps(例如，23.976fps)、至少約25fps、至少約30fps(例如，29.97fps)、至少約48fps、至少約50fps、至少約60fps(例如，59.94fps)、至少約120fps、至少約240fps，或小於或等於約240 fps，壓縮系統54可即時壓縮來自影像處理系統53的影像資料。接著可將經壓縮視訊發送到記憶體裝置55。

記憶體裝置55可為任何類型的數位儲存器的形式，如(但不限於)硬碟、快閃記憶體或任何其他類型的記憶體。在一些實施例中，記憶體裝置55的尺寸可足夠大以儲存來自壓縮系統54的影像資料，該影像資料對應於1200萬像素解析度、12位元顏色解析度及60fps的至少約30分鐘的視訊。然而，記憶體裝置55可為任何尺寸。

在包括多媒體系統56的實施例中，多媒體系統56可允許使用者觀看由影像感測器52在操作期間捕捉的視訊影像或從壓縮系統54或記憶體裝置55接收的視訊影像。在一些實施方式中，影像處理系統53可包括子取樣系統，該子取樣系統經配置成將降低解析度的影像資料輸出至螢幕系統56。例如，此類子取樣系統可經配置成輸出視訊影像資料以支持「2k」、1080p、720p，或任何其他解析度。用於去馬賽克的濾波器亦可適用於執行向下取樣濾波，使得可同時執行向下取樣及濾波。多媒體系統56可對來自影像處理系統53的資料執行任何類型的解壓縮或去馬賽克處理。例如，多媒體系統56可解壓縮已如本文所述來壓縮的資料。此後，多媒體系統56可將去馬賽克或解壓縮的影像資料輸出至多媒體系統56的顯示器或另一顯示器。

圖3B示出了根據一些實施例的影像捕捉裝置50的附加元件。特別地，相較於圖3A而言，圖3B描繪了影像捕捉裝置50的實施例的更多實施細節。如圖所示，影像捕捉裝置50進一步與幀記憶體63通訊。幀記憶體63可為DRAM(如圖4的RAM 113)。

影像捕捉裝置50進一步包括影像處理單元60。如圖所示，影像處理單元60可包括影像處理系統53、壓縮系統54及晶載記憶體62。晶載記憶體可(例如)為SRAM。影像處理單元60的一些或所有元件可專用於處理及儲存由影像捕捉裝置50捕捉的影像資料(例如，經壓縮的原始視訊影像資料)，且該一些或所有元件可不用於其他目的(如用於實現與影像捕捉裝置50相關聯的電話功能)。

影像處理單元60可取決於實施方式而包括一或多個積體電路、晶片或晶片組；影像處理單元60可包括專用積體電路(ASIC)、現場可編程閘陣列(FPGA)及上述組合等。根據某些實施例，晶載記憶體62可位於與影像處理單元60的其他元件(如影像處理系統23及壓縮系統54)相同的裝置(例如，ASIC、FPGA或其他(多個)晶片)內。例如，影像處理單元60可包括實現影像處理系統53、壓縮系統54及晶載記憶體62的ASIC或FPGA。晶載記憶體62因此可稱為根據某些實施例的「晶載」記憶體，而幀記憶體63可稱為「晶片外」記憶體。

如圖所示，幀記憶體63可與影像處理單元60分開實現且可為DRAM。例如，在一實施例中，幀記憶體63及影像處理單元60分別為在單獨的封裝中實施且安裝於共用印刷電路板上的ASIC和FPGA。幀記憶體63可用於同時儲存整個影像幀(例如，一個影像幀的所有的或基本上所有的像素資料)以用於處理目的。例如，影像處理系統53可使用幀記憶體63以在某些影像處理步驟(作為一些範例，如像素缺陷校正或像素圖案雜訊校正)期間儲存整個影像幀。雖然幀記憶體63可用於一些此類步驟，但根據某些實施例，影像捕捉裝置50實施影像處理管線，其中在不使用用於壓縮目的的幀記憶體63的情況下處理經壓縮的原始視訊影像資料。例如，在一些實施例中，壓縮系統54實現基於DCT的壓縮方案，該基於DCT的壓縮方案可為本文所述的任何壓縮方案(如關於圖6所述的壓縮方案)。這種基於DCT的壓縮方案在記憶體要求方面可為相對輕的，使得壓縮系統61可在壓縮期間執行利用晶載記憶體62(而不是幀記憶體63或任何其他幀記憶體)的壓縮。

在壓縮期間避免使用幀記憶體可顯著降低功耗，且與涉及使用幀記憶體進行運動向量計算的某些其他壓縮技術形成對比。例如，根據本文所描述的某些基於DCT的壓縮技術，壓縮系統54在任何給定時間對視訊影像幀的離散部分(例如，小於完整影像幀的部分)上進行操作及在處理後立即丟棄視訊影像幀的離散部分。例如，在一個實施例中，壓縮系統54一次對32個水平行像素的資料進行操作，且僅利用晶載記憶體62中對應於64行像素資料的存儲量以壓縮(從而保持當前正被壓縮的32行像素資料的影像資料並保持接下來要壓縮的32行的影像資料)。可取決於實施例來降低功耗，使得根據各種實施例，影像捕捉裝置50在操作期間消耗小於約15或20W，且在一些實施例中消耗約10W至20W之間、約10W至25W之間或約5W至25W之間。例如，根據一些實施例，影像處理裝置50的成像部件(例如，影像處理裝置50的攝影機相關部件)消耗少於約10W或15 W(例如，在約4 W至10 W之間或在約6 W 10 W之間)，而剩餘的非成像部件(例如，電話部件及顯示器部件等)消耗小於約10W(例如，在約3W至10W之間或約5W 10W之間)。

本文描述的壓縮技術可允許增強的解碼/解壓縮速度。例如，因DCT演算法允許在解壓縮期間使用高度平行化的數學運算從而有效地使用圖形處理單元，故基於DCT的原始壓縮技術可允許增強的解壓縮。根據實施例，本文描述的原始壓縮技術可允許在小於或等於大約1/23、1/24、1/25或1/120秒的情況下對視訊影像幀進行解壓縮，這可允許即時解壓縮(取決於幀速率)。

三 ，影像資料處理： 圖4為流程圖400，該流程圖400示出了用於處理由影像捕捉裝置(如電話10、攝影機模組30、視訊攝影機40或影像捕捉裝置50)所執行之視訊影像資料的示例性過程。流程圖400可表示儲存在記憶體裝置(如記憶體裝置55、ROM 112、RAM 113或記憶體175)中的控制常式。另外，如控制器110的處理器可經配置成執行控制常式。為方便起見，在影像捕捉裝置50的上下文中描述了流程圖400，但可替代地由本文描述的其他系統或未示出的其他適當的計算系統來實施流程圖400。在某些實施例中，流程圖400有利地描繪了一種示例性方法，藉由該示例性方法，如蜂窩電話的相對小或低功率的手持裝置可壓縮視訊影像資料。

在方框402處，影像感測器52可回應於入射在影像感測器52上的光而產生視訊影像資料。例如，影像感測器52可產生視訊影像資料作為每秒至少約23幀及解析度至少為2K的原始馬賽克影像資料。此外，在一些實施方式中，來自一個或一個以上影像感測器202的輸出可各自為至少16位元寬、具有15位元的輸出及用於黑日效應的1位元設定。在一些範例下，影像感測器52可用於產生3D視訊影像資料以用於處理並最終呈現為3D視訊影像。

在方框404處，影像處理系統53可預加強由影像感測器52產生的視訊影像資料。可藉由對經產生的視訊影像資料的原始像素執行有損轉換來預加強經產生的視訊影像資料。在某些實施例中，預加強可理想地減少在方框406處所處理的視訊影像資料的量，同時仍保持視訊影像資料品質。

影像處理系統53可(例如)執行分段線性函數，以將原始像素從15位元或16位元資料轉換成12位元資料。分段線性函數的斜率可遵循調和級數1、1/2、1/ 3、……1/15、1/16且每256個計數改變一次。分段線性函數的形狀可根據感測器表徵資料來適應影像感測器52，因此分段線性函數的形狀可依據不同感測器或不同感測器製造商而不同。在一些範例下，分段線性函數的輸入範圍可高於允許考慮可應用之黑色平移的最大值。

圖5為曲線圖500，該曲線圖500以圖形方式示出了用於將原始像素從15位元資料轉換為12位元資料的一個示例分段線性函數。下文的表1提供了曲線圖500的示例點。

表 1

假設並非所有在位元範圍(如包括0至32767的15位元範圍)中的視訊影像資料值攜帶相同的資訊，則可由影像處理系統53執行預加強。每個像素的入射光可由卜松過程(poisson process)控制，該卜松過程在每個光級別產生不同的光子散粒雜訊(PSN)。卜松隨機分佈可具有其中分佈的變異數等於分佈的平均值之獨特特徵。因此，標準差等於平均值的平方根。根據這種理解，對應於特定像素的入射光之與每個經測量的數位數字輸出(DN)相關聯的(如由標準差所指示的)不確定性可與

成比例。為了預加強，輸入域中的一或多個數字值可集中成輸出域中的單個數字值。若將Q 個相鄰DN 值集中在一起(例如，量化)為1，則產生的雜訊可與

成比例。藉由選擇Q 使得

α

(例如，Q α³

)而可最小化量化雜訊。可藉由從函數構造分段線性函數來減少此函數的複雜性。使用此技術，可減少由預加強所增加的額外雜訊，如降低一小百分比(如在示例性的最壞情況下的光子散粒雜訊的1％)。

轉換函數可用於在解碼之後轉換預加強值。例如，以虛擬碼表示的下列函數可用於在解碼後將12位元資料轉換回15位元資料。 int index = imageData[i][j] ＞＞ 8; int offset = imageData[i][j] & 0xff; int value = (index+1) * offset + ((index+1) * index * 128) + ((index + 1) ＞＞ 1);

在一些情況中，使用具有相對簡單的反函數的轉換函數(有時稱為預加強函數)可有助於使用平行處理在硬體中解碼壓縮影像。例如，當示例性轉換函數具有相對簡單的反函數時，可使用圖形處理單元(GPU)在解壓縮之後相對快速地將12位元資料轉換回其原始的15位元資料形式。

關於預加強技術的附加資訊可在美國專利號8,174,560中找到，其全部揭露內容通過引用方式結合於本文中。

在方框406處，壓縮系統54可壓縮由影像處理系統53預加強的視訊影像資料。例如，壓縮系統54可如關於圖6所描述地或使用另一種壓縮演算法來壓縮預加強的視訊影像資料。在一些實施方式中，壓縮系統54可執行以下步驟中的一或多者：（i）在不使用儲存完整影像幀的幀記憶體的情況下來壓縮視訊影像資料、（ii）使用一記憶體裝置且不使用任何相對於該記憶體裝置而位於晶片外的記憶體來壓縮視訊影像資料、（iii）使用可能不會定期刷新的靜態記憶體(而不是必須定期刷新的動態記憶體)來壓縮視訊影像資料，及（iv）根據時脈的時間操作，且儘管時脈停止一段時間(如5、10、20或30秒或1、2、3、5或10分鐘)仍可正確壓縮視訊影像資料。此外，壓縮系統54可用於壓縮可呈現為3D視訊影像的視訊影像資料。

圖6為流程圖600，該流程圖600示出了用於壓縮由影像捕捉裝置(如電話10、攝影機模組30、視訊攝影機40或影像捕捉裝置50)所執行之視訊影像資料的示例性處理。流程圖600可表示儲存在記憶體裝置(如記憶體裝置55、ROM 112、RAM 113或記憶體175)中的控制常式。另外，如控制器110的處理器可經配置成執行控制常式。為方便起見，在影像捕捉裝置50的上下文中描述了流程圖600，但可替代地由本文描述的其他系統或未示出的其他適當的計算系統來實施流程圖600。在某些實施例中，流程圖600有利地描繪了一種示例性方法，藉由該示例性方法，如蜂窩電話的相對小或低功率的手持裝置可壓縮視訊影像資料。

在方框602處，壓縮系統54可移位及分割視訊影像資料。可使視訊影像資料的值平移一量，該量係等於取決於資料的位元數目之視訊影像資料的中心值 (例如，中心值可為用於N位元資料的

，這意味著在12位資料的情況下是2048)。平移可將值平移至約值0以用於進一步處理。這些值亦可分割成切片(slice)及宏區塊(macroblock)。在一實施方式中，切片的最大尺寸是256×32像素，且最大尺寸的切片係從左到右包裝(packed)。若某些像素仍留在每行的末尾，則可藉由包裝在末端值0的像素來製作大小為256x32像素、128x32像素、64x32像素、32x32像素或其他大小的切片。在像素遵循拜爾圖案的情況下，每個切片可具有128×16的綠1像素、綠2像素、紅色像素及藍色像素，且像素可進一步經劃分成綠1像素、綠2像素、紅色像素及藍色像素的8個宏區塊(16×16像素)。

在方框604處，壓縮系統54可如使用離散餘弦轉換(DCT)或另一種轉換來轉換經平移及經分割的視訊影像資料。在一範例中，壓縮系統54可使用16×16的DCT來轉換經平移及經分割的視訊影像資料的每個宏區塊。在某些情況下，16x16的DCT顯著地可提供比8x8 的DCT更高的壓縮效率。此外，二維的16×16的DCT可分成32個一維的1×16的DCT計算。在某些實施例中，這種可分離性有利地在執行壓縮時助於使用容量小於幀記憶體的記憶體 (例如，晶載記憶體62的多行)。來自轉換的輸出可為用於視訊影像資料的轉換係數。

在方框606處，壓縮系統54可量化轉換係數。量化可包括兩個分量。第一分量可為來自一或多個量化表的量化表值。例如，一個量化表可用於綠1通道及綠2通道，另一個量化表可用於藍色通道及紅色通道。可在幀標頭中定義一或多個量化表。第二分量可為量化比例因子。量化比例因子對於切片內的每個值可為相同、可從最小值(例如，1)變化到最大值(例如，255)、可在切片標頭中定義，及用於實現目標切片大小。可至少基於目標幀尺寸或如美國專利號9,800,875中描述的技術來決定量化比例因子，該專利的全部內容藉由引用方式而結合於本文中。在某些情況下，可將量化比例因子設置為常數，以產生具有特定品質的壓縮視訊，而不管壓縮影像大小如何。在一個實施方式中，可使用下文所述的等式1來決定轉換係數的量化值。等式 1 ：量化值=轉換係數值/量化表值*量化比例因子

在方框608處，壓縮系統54可逐片地排列量化的轉換係數以用於編碼，且使得可在切片內單獨編碼綠色分量、紅色分量及藍色分量。可從左到右排列一切片的宏區塊的DC係數。可排列一切片的宏區塊的AC係數，使得（i）來自切片中的不同宏區塊的16×16的DCT表中的所有特定位置AC係數被一個接一個地排列，且（ii）由下文表2所示的Z字形掃描順序來排列不同的AC係數，其中表2中的索引係表示量化的轉換係數的序列中的位置。

表 2

在方框610處，壓縮系統54可將經排列的轉換係數分割成為範圍內的範圍及值。 DC係數的範圍可為DC係數的可能值的範圍，及AC係數的範圍可為AC係數的可能值的範圍及0值組的計數。

在方框612處，壓縮系統54可將經排列的係數的範圍編碼為霍夫曼碼，且將經排列的係數的範圍內的至少一些值編碼為哥倫布碼。若範圍具有不超過一個唯一值，則可使用霍夫曼碼(而不是哥倫布碼)來對該一個唯一值進行編碼。若範圍具有超過一個唯一值，則可藉由用於範圍的霍夫曼碼及用於範圍內的唯一值的哥倫布碼的組合來編碼值。範圍及用於範圍的哥倫布碼可為固定的或預定義的(如在製造時設置)。然而，用於範圍的霍夫曼碼可在幀與幀之間變化，其中在幀標頭中定義一或多個霍夫曼表。編碼器可使用霍夫曼編碼的自適應性，且可在每個幀的末尾計算一或多個霍夫曼表以用於下一幀，從而最佳化特定視訊影像資料的壓縮效率。在一實施方式中，霍夫曼碼中的最大位元數可為12。

可將切片中的特定分量的DC係數的值編碼為與DC係數的先前值的差值。此差值可稱為差異係數。可將切片中的特定分量的DC係數的初始值設為0。為了對各個DC係數的值進行編碼，壓縮系統54例如可(i)計算單獨的DC係數的差異係數的絕對值、(ii)將對應於各個DC係數的範圍的霍夫曼碼附加到位元串流、(iii)將對應於各個DC係數的範圍內的值的哥倫布碼附加到位元串流，及(iv)若差分係數非零，則在位元串流上附加符號位元(例如，0表示正數而1表示負數)。

下文所述的表3提供了示例性的DC編碼表。當壓縮統計可能未知時，表的霍夫曼碼部分可做為開始壓縮時的預設表。

表 3

例如，從表3可看出，若差異係數可為20，則霍夫曼碼可為11、霍夫曼位元可為2、哥倫布碼可為Golomb-Rice(4,2)及符號位元可為0。另一個例子，若差異係數可為-75，則霍夫曼碼可為是011、霍夫曼位元可為3、哥倫布碼可為Golomb-Rice(11,4) 及符號位元可為1。另一個例子，若差異係數可為300，則霍夫曼碼可為1010、霍夫曼位元可為4、哥倫布碼可為Golomb-Rice(44,6)及符號位元可為0。

AC係數的值可由非零值在其後的一連串零來表示。不同的霍夫曼碼可表示由一連串零在前的AC係數的值及不由一連串的零在前的AC係數的值。為了對非零的各個AC係數的值進行編碼，壓縮系統54例如可(i)計算EACV = | AC值| - 1以表示單個AC係數、(ii)決定各個AC係數是否在一或多個零之後、(iii)將對應於單個DC係數的EACV的霍夫曼碼附加到位元串流、 (iv)若EACV超過3，則將對應於EACV的哥倫布碼附加到位元串流，及(v)將符號位元(例如，0表示正，1表示負) 附加到位元串流。此外，為了對具有零值的各個AC係數的值進行編碼，壓縮系統54例如可(i)計算EACR =AC零的個數(Run)-1、 (ii)將對應於EACR的霍夫曼碼附加至位元串流，及(iii)若EACR超過3，則將對應於EACR的哥倫布碼附加到位元串流。

下文所述的表4提供了示例性的AC編碼表。當壓縮統計可能未知時，表的霍夫曼碼部分可做為開始壓縮時的預設表。

表 4

為了說明表4可如何用於編碼，將描述編碼0、2、0、0、-10、50、0、0、0、0及0的11個係數序列的範例。從表4可看出，對於一個零來說，「AC Run-1」可為0、霍夫曼碼可為1、霍夫曼位元可為1且可沒有哥倫布碼。接著，對於之前有至少一個零的值「2」來說，「| AC值| - 1」可為1、霍夫曼碼可為1111、霍夫曼位元可為4且可沒有哥倫布碼，及符號位元可為0。隨後，對於兩個零來說，「 AC Run– 1」可為1、霍夫曼碼可為001、霍夫曼位元可為3，且可沒有哥倫布碼。然後，對於之前有至少一個零的值「-10」來說，「 | AC值| - 1」可為9、霍夫曼碼可為0011001、霍夫曼位元可為7、且哥倫布碼可為Golomb-Rice(2,1)及符號位元可為1。然後，對於之前沒有至少一個零的值「50」來說，「| AC值| - 1」可為49、霍夫曼碼可為0000100、霍夫曼位元可為7、哥倫布碼可為Golomb-Rice(18,3)且符號位元可為0。最後，對於剩餘的五個零來說，「AC Run – 1」可為4、霍夫曼碼可為011、霍夫曼位元可為3且哥倫布碼可為Golomb-Rice(1,0)。

作為流程圖600的處理的另一部分，可在某些實施方式中執行自適應壓縮。例如，可(如)使用美國專利號9,800,875中描述的技術(該專利之前已藉由引用其整體方式而併入本文中)來將壓縮幀的大小設定為接近目標位元組數。此外，可(如)使用美國專利號9,800,875中描述的技術(該專利先前已藉由引用其整體之方式而併入本文中)來計算每個切片的熵指數(index)。熵指數連同熵乘數可用於計算量化比例因子。對於相同的12位元輸入來說，DCT 16x16的範圍可能明顯高於DCT 8x8的範圍。

在一些情況下，因可一次處理32行原始影像資料，故可將影像垂直(或以其他方式)分割成8個或更多個部分。在處理各個部分之後，到目前為止可因而獲得壓縮影像的大小。接著可使用壓縮影像的大小來更新熵乘數。在幀壓縮結束時，可將壓縮影像的大小與目標大小進行比較，以進一步更新熵乘數。

儘管本文的一些範例係使用霍夫曼碼(或演算法)及哥倫布碼(或演算法)來描述範圍內的編碼範圍或值，但仍可使用其他碼(或演算法)。例如，可使用無損代碼、有損代碼、可變長度代碼或前綴代碼。

在一些實施例中，第一演算法可用於編碼範圍及第二演算法可用於編碼範圍內的值。在一些情況下，第一演算法可與第二演算法不同，使得範圍內的範圍及值可被不同地編碼。在其他情況下，第一演算法可與第二演算法相同。

四， 視訊串流規範： 可根據視訊串流規範來組織可使用本文所揭露的一或多種方法壓縮的視訊影像資料。在一些實施方式中，視訊流規範可包括以下特徵中的一或多者。

可將壓縮文件中的幀結構分成標頭及資料部分。標頭可設計為硬體友好。在某些情況下，在壓縮開始前，可知道標頭中除壓縮幀大小之外的所有值。若對檔案格式進行了修改，則可使用標頭版本來解碼壓縮文件(如)以在攝影機上或在攝影機外播放。例如，標頭可(例如)包含600個位元。標頭可接著從左到右、從上到下排序的切片。每個切片可包含整數個字元組。一個示例性的標頭結構如下表5所示。

表 5

霍夫曼表中的各個項次可為2字元組(16位元)寬。如下文的表6所示，霍夫曼表結構的最高有效位元(例如，前4位元)可表示霍夫曼碼的大小，及霍夫曼表的最低有效位元(例如，最後12位元)可表示可左右對齊及用零填充的霍夫曼碼本身。

表 6

每個切片可具有一個標頭(例如，9個位元組)，其後有綠色1分量、綠色2分量、紅色分量及藍色分量。每個分量皆可從字元組邊界開始。若分量可能具有部分字元組，則可用零填充分量以形成完整的字元組。下文所述的表7示出了示例性切片結構。

表 7

下文的表8示出了示例性切片標頭結構。可指定切片標頭結構的位元數目以避免將填充位元與值為零的霍夫曼碼混淆。若分量中的位元數可能不是8的倍數，則下一個分量可在字元組邊界上開始。

表 8

五 . 3D 影像顯示： 在一些實施方式中，本文描述的影像捕捉裝置的顯示器或連接到影像捕捉裝置的顯示器(例如，圖1A的裝置10的顯示器11)可為或包括3D顯示器。3D顯示器可經配置成產生光，使得使用者觀察到3D影像(有時稱為「多維內容」)。例如，立體顯示器可在以適當角度觀看時或使用專門設計的眼睛穿戴式裝置時形成使用者看起來是3D的影像。至少一些實施例涉及一種顯示器，該顯示器經配置成產生看起來係在3D空間中的影像，使得使用者能夠在不移動顯示器的情況下從多個方向觀看3D影像。顯示器可不需要定位在使用者的視野內。在一些實施例中，3D影像可能看起來係懸掛或漂浮在顯示器上方。因此，使用者可能能夠「四處走動」3D影像以觀察影像的不同視圖，就好像影像中的內容是物理物體一樣。

3D顯示器的一些實施例可包括衍射光場背光系統。衍射光場背光系統可包括多視圖或3D顯示器及經配置成用於3D顯示器的後照射的光源。多視圖顯示器可包括複數個衍射元件，每個衍射元件包括複數個衍射光柵，該複數個衍射光柵經配置成將在其上照射的光引導至多個方向。光被引導的方向可基於衍射元件的衍射特性。在一些實施例中，多個方向可對應於3D影像的不同視圖。指向相同或基本相似方向的多個光線可形成對應於3D內容的特定視圖的影像。因此，可基於複數個衍射元件來在多個方向上顯示3D內容的多個視圖。在(例如)題為「基於多光束衍射光柵的背光」的美國專利號9,128,226及題為「定向背光」的美國專利號9,459,461(其內容各自以其整體併入本文中)中更詳細地描述本文中之實施例的一些實施方式。 3D顯示器可從2維(2D)顯示器分開單獨操作。例如，3D顯示器可佈置在2D顯示器的後面或前面。這樣的話可打開及關閉3D顯示器或2D顯示器而不影響另一者的使用。

3D顯示器的其他實施例係可能用於產生3D影像。例如，3D顯示器可經配置成基於與全息圖相關聯的全息干涉圖案的重建來顯示3D影像。可基於儲存在條紋圖案中的特徵來重建干涉圖案，且顯示器可包括被驅動以在螢幕上複製干涉條紋圖案的像素。可通過光源來照射像素，其可藉由像素的干涉圖案被變換(例如，相位或透射率變化)以產生3D全息影像。一些實施方式可在(例如)美國專利號9,304,491且題為「具有動態影像控制的透明全息顯示器」及美國專利號6,760,135且題為「全息顯示器」(其內容各自以其整體併入本文中)中找到。在另一個實施例中，例如，如美國專利號7,190,496且題為「使用全息立體圖來增強環境可視化」(其內容以其整體併入本文中)中所描述地，顯示器可包括使用空間光調變器進行照明調變的複數個全息像素。

有利地，在某些實施例中，3D顯示器可不需要利用雙凸透鏡或眼睛追蹤技術。在沒有同意特定科學理論的情況下，與使用雙凸透鏡的顯示器相比，本文的實施例可提供更高的解析度，3D顯示器可與標準2D顯示器分開操作，且3D顯示器提供具有多個視圖的多方向內容。

此外，在一些實施方案中，本文中所描述的影像捕捉裝置可捕捉3D影像以供3D顯示器再現。例如，第一攝影機12、第二攝影機17、攝影機模組30的影像感測器或攝像機的影像感測器可用於捕捉3D影像。在一範例中，第一攝影機12、第二攝影機17或攝影機模組30的影像感測器可用於捕捉3D影像，且電話10可依次儲存3D影像並使用顯示器11播放3D影像。此種設計可促進3D影像的即時或同時捕捉及顯示。

可根據本文描述的任何技術(例如(如)根據用於壓縮關於圖3A至圖6所描述之原始影像資料的技術)來壓縮3D顯示器上顯示的3D內容、全息內容或其他內容。例如，電話10可使用第一攝影機12中的兩者或更多者、使用第二攝影機17或攝影機模組30的一或多個影像感測器(或使用附接至電話10的不同攝影機模組)來捕捉壓縮的原始影像資料。電話10接著可將壓縮的影像資料記錄在電話10的記憶體裝置上的一或多個檔案中或記錄在附接至電話10的模組中的記憶體裝置中。電話10可接著存取影像資料、對影像資料解壓縮且適當地準備影像資料以在顯示器11上播放成3D、全息內容或諸如此類。根據一些實施例，電話10可額外即時播放3D、全息或其他內容，而無需在電話10正在錄製時先壓縮及儲存內容。

六， 附加實施例及術語： 圖7示出了與電話100通訊的影像捕捉裝置50。影像捕捉裝置50可(例如)為攝影機模組30的實施例，且電話100可(例如)為電話10的實施例。電話100可為模組化的且耦合到如本文所述的一或多個模組。例如，電話可機械地或電氣地連接到電源60、記憶體裝置62或輸入/輸出(I/O)裝置64，及影像捕捉裝置50或一或多個其他模組66。另外，電話100可分別藉由電源60、記憶體裝置62、輸入/輸出(I/O)裝置64及影像捕捉裝置50與一或多個其他模組61、63、65及67電通訊，及一或多個其他模組61、63、65及67可分別耦合到電源60、記憶體裝置62、輸入/輸出(I/O)裝置64及影像捕捉裝置50。在美國專利申請公開號2017/0171371中進一步描述了模組化電話及攝影機機模組的實施例及特徵，該美國專利申請公開號2017/0171371的全部揭露內容係藉由引用方式而併入本文中。

圖8示出了電話100的元件。電話100可藉由使用外部連接裝置(如子通訊模組130、連接器165及耳機連接插孔167)連接至外部裝置。「外部裝置」可包括各種裝置，如耳機、外部揚聲器、通用序列匯流排(USB)記憶體、充電器、支架/底座、數位多媒體廣播(DMB)天線、電子支付相關裝置、醫療保健裝置(例如，血糖測試器)、遊戲控制台、車輛導航器、手機、智慧型電話、平板電腦、桌上型電腦及伺服器等，該等上述裝置可從電子裝置移除並通過電纜連接至電子裝置。

電話100包括觸控螢幕顯示器190及觸控螢幕控制器195。電話100亦進一步包括控制器110、行動通訊模組120、子通訊模組130、多媒體模組140、攝影機模組150、全球定位系統(GPS)模組155、輸入/輸出模組160、感測器模組170、記憶體175及電源180。子通訊模組130包括無線區域網路(WLAN) 131 及短程通訊模組132中的至少一者，及多媒體模組140包括廣播通訊模組141、音訊播放模組142及視訊播放模組143中的至少一者。輸入/輸出模組160包括按鈕161、麥克風162、揚聲器163、振動馬達164、連接器165及鍵盤166中的至少一者。另外，電子裝置100可包括一或多個燈，該一或多個燈包括面向一方向的第一燈153及面向另一方向的第二燈154。

控制器110可包括中央處理單元(CPU)111、用於儲存控制電話100的控制程式(如作業系統(OS))的唯讀記憶體(ROM)112及用於儲存來自外部來源的信號或資料輸入或作為用於電話100中的工作結果的記憶體空間的隨機存取記憶體(RAM)113。CPU 111可包括單核、雙核、三核或四核。CPU 111、ROM 112及RAM 113可經由內部匯流排彼此連接。

控制器110可控制行動通訊模組120、子通訊模組130、多媒體模組140、攝影機模組150、GPS模組155、輸入/輸出模組160、感測器模組170、記憶體175、電源180、觸控螢幕顯示器190及觸控螢幕控制器195。

行動通訊模組120在控制器110的控制下通過使用至少一對一天線或一對多天線的行動通訊來將電子裝置100連接到外部裝置。行動通訊模組120向/從手機、智慧型電話、平板電腦或其他裝置及具有鍵入電話100的電話號碼的電話發送/接收用於語音呼叫、視訊會議呼叫、短訊息服務(SMS)訊息或多媒體訊息服務(MMS)訊息的無線信號。

子通訊模組130可包括WLAN模組131及短程通訊模組132中的至少一者。例如，子通訊模組130可包括WLAN模組131或短程通訊模組132中之一者或兩者。

WLAN模組131可在控制器110的控制下，於存在無線存取點(AP)的地方連接到網際網路。WLAN模組131支持電氣和電子工程師協會(IEEE)802.11x標準的WLAN。短距離通訊模組132可在控制器110的控制下在電話100及影像呈現裝置之間進行短距離通訊。短距離通訊可包括與藍牙^TM 兼容的通訊、2.4GHz頻帶的短距離無線通訊技術、可從藍牙技術聯盟、紅外資料協會(IrDA)及WI-FI^TM 直連購得的通訊技術、用於通過電腦網路進行資料交換的無線技術及可從WI-FI 聯盟及NFC等等購得的通訊技術。

電話100可包括基於電話100的效能要求的行動通訊模組120、WLAN模組131及短距離通訊模組132中的至少一者。例如，電話100可包括基於電話100的效能要求的行動通訊模組120、WLAN模組131及短距離通訊模組132的組合。

多媒體模組140可包括廣播通訊模組141、音頻播放模組142或視訊播放模組143。在控制器110的控制下，廣播通訊模組141可接收廣播信號(例如，電視廣播信號、無線電廣播信號或資料廣播信號)及從廣播站通過廣播通訊天線發送的附加的廣播資訊(例如，電子節目指南(EPG)或電子服務指南(ESG))。在控制器110的控制下，音頻播放模組142可播放被儲存或接收的數位音頻檔案(例如，具有如mp3、wma、ogg或way之副檔名的檔案)。在控制器110的控制下，視訊播放模組143可播放被儲存或接收的數位視訊檔案(例如，具有如mpeg、mpg、mp4、avi、move或mkv之副檔名的檔案)。視訊播放模組143亦可播放數位音頻檔案。

除了廣播通訊模組141之外，多媒體模組140可包括音頻播放模組142及視訊播放模組143。多媒體模組140的音頻播放模組142或視訊播放模組143可包括在控制器110中。

攝影機模組150可包括用於在控制器110的控制下捕捉靜止影像或視訊影像的一或多個攝影機。此外，一或多個攝影機可包括提供用於捕捉影像的光量的輔助光源(例如，閃光燈)。在一個範例中，一或多個攝影機可放置在電話100的前面，且一或多個其他攝影機可放置在電話100的背面。在一些實施方式中，可佈置兩個或更多個攝影機，每個攝影機彼此相鄰 (例如，兩個或更多個攝影機之間的距離可分別在1cm至8cm的範圍內)，來捕捉3維(3D)靜止影像或3D視訊影像。

GPS模組155從圍繞地球軌道的複數個GPS衛星接收無線電信號，且可藉由使用從GPS衛星到達電話100的到達時間來計算電話100的位置。

輸入/輸出模組160可包括複數個按鈕161、麥克風162、揚聲器163、振動馬達164、連接器165及鍵盤166中的至少一者。

按鈕161中的至少一者可佈置在電話100的殼體的前面、側面或後面，且可包括電源/鎖定按鈕、音量按鈕、菜單按鈕、主頁按鈕、後退按鈕及搜尋按鈕。

在控制器110的控制下，麥克風162藉由接收語音或聲音來產生電信號。

在控制器110的控制下，揚聲器163可從行動通訊模組120、子通訊模組130、多媒體模組140或攝影機模組150輸出與各種信號(例如，無線電信號、廣播信號、數位音頻檔案、數位視訊文件或攝影信號)對應的外部聲音。揚聲器163可輸出與電子裝置100執行的功能相對應的聲音(例如，按鈕按下的聲音或回鈴音)。可有一或多個佈置在電話100的殼體上或殼體中的至少一個位置中的揚聲器163。

在控制器110的控制下，振動馬達164可將電信號轉換為機械振動。例如，處於振動模式的電話100在從另一裝置接收語音呼叫時操作振動馬達164。在電話100的殼體內可有至少一個振動馬達164。振動馬達164可回應於觸摸活動或使用者在觸控螢幕顯示器190上的連續觸摸而操作。

連接器165可做為用於將電話100連接至外部裝置或電源的介面。在控制器110的控制下，電話100可經由連接到連接器165的電纜將儲存在電子裝置100的記憶體175中的資料發送到外部裝置或從外部裝置接收資料。此外，可由電源通過連接到連接器165的電纜來對電話100供電，或電話100可使用電源來對電池充電。

鍵盤166可從使用者接收鍵輸入以控制電話100。鍵盤166包括形成在電話100中的機械鍵盤，或在觸控螢幕顯示器190上顯示的虛擬鍵盤。根據電話100的效能要求或結構，可以可選地從電話100的實施方式中省略電話100。

耳機可插入耳機連接插孔167中，因此耳機可連接到電話100。

觸控筆168可插入並可移除地保持在電話100中，且觸控筆168可從電話100中拉出及分離。

回應於觸控筆168的附接及分離而操作的筆可移除識別開關169經配備在電話100內部可移除地保持觸控筆168的區域中，且筆可移除識別開關169發送對應於觸控筆168的附接及分離的信號至控制器110。當觸控筆168插入區域時，筆可移除識別開關169可與觸控筆168直接或間接接觸。筆可移除識別開關169基於直接或間接接觸產生對應於觸控筆168的附接或分離的信號，且將信號提供給控制器110。

感測器模組170包括用於偵測電話100的狀態的至少一個感測器。例如，感測器模組170可包括用於偵測使用者與電話100的接近度的接近感測器、用於偵測電子裝置100的環境光量的照度感測器、用於偵測電話100的運動(例如，電話100的旋轉及施加到電話100的加速度或振動)的運動感測器、使用地磁場來偵測羅盤點的地磁感測器、用於偵測重力方向的重力感測器，及藉由測量大氣壓來偵測高度的高度計。至少一個感測器可偵測狀態並產生相應信號以發送至控制器110。可根據電話100的效能要求來添加或移除感測器模組170的感測器。

在控制器110的控制下，記憶體175可根據行動通訊模組120、子通訊模組130、多媒體模組140、攝影機模組150、GPS模組、輸入/輸出模組160、感測器模組170及觸控螢幕顯示器190的操作來儲存信號或資料輸入/輸出。記憶體175可儲存用於控制電話100或控制器110的控制程式及應用程式。

術語「儲存」可指記憶體175、亦可指ROM 112、控制器110中的RAM 113、或安裝在電話100中的記憶卡(例如，安全數位(SD)卡及記憶棒等)。記憶體可進一步包括非暫態記憶體、暫態記憶體、硬碟驅動器(HDD)及固態驅動器(SSD)等。

在控制器110的控制下，電源180可自放置在電話100的殼體內的至少一個電池供電。因此，至少一個電池可為電話100供電。電源180可通過連接到連接器165的電纜以用從外部電源輸入的電力來向電話100供電。電源180亦可使用無線充電技術來從外部電源向電話100提供無線電力。

觸控螢幕控制器195接收由控制器110處理的資訊(例如，用於進行呼叫、資料傳輸、廣播或攝影所產生的資訊)、將資訊轉換為要在觸控螢幕顯示器190上顯示的資料及提供資料給觸控螢幕顯示器190。觸控螢幕顯示器190顯示從觸控螢幕控制器195接收的資料。例如，在呼叫模式中，觸控螢幕顯示器190可顯示使用者介面(UI)或關於呼叫的圖形使用者介面(GUI)。觸控螢幕顯示器190可包括液晶顯示器、薄膜電晶體液晶顯示器、有機發光二極體、可撓性顯示器、(例如，用於呈現如本文所述的3D影像)的3D顯示器、多視圖顯示器、電泳顯示器或上述組合及諸如此類中的至少一者。此外，觸控螢幕顯示器190可用於呈現如本文所述的視訊影像，如包括2D視訊影像、3D視訊影像及2D/3D虛擬現實(VR)、增強現實(AR)及混合現實(MR)。在一些實施方式中，電話100進一步包括全息模組，該全息模組處理及輸出全息視訊影像以用於呈現(如)在觸控螢幕顯示器190或電話100的另一顯示器上。

觸控螢幕顯示器190可作為輸出設備且亦可作為輸入設備，且對於後一種情況，觸控螢幕顯示器190可具有觸控螢幕面板以用作觸控螢幕。觸控螢幕顯示器190可向觸控螢幕控制器195發送對應於對UI或GUI的至少一個觸控的類比信號。觸控螢幕顯示器190可偵測至少一個藉由使用者的物理接觸(例如，藉由包括拇指的手指)或藉由可觸控的輸入裝置(例如，觸控筆)的觸控。觸控螢幕顯示器190還可在至少一個觸控之間接收觸控的拖動運動，且將與拖動運動相對應的類比信號發送至觸控螢幕控制器195。可將觸控螢幕顯示器190(例如)以電阻方法、電容方法、紅外方法及聲波方法等實施成偵測至少一個觸控。

術語「觸控」不限於藉由使用者的物理接觸或與可觸控式輸入裝置的接觸的物理觸控，而是還可包括非觸控式的接近(例如，觸控螢幕顯示器190及使用者的身體或可觸控的輸入裝置之間保持在小於1mm的可偵測距離)。與觸控螢幕顯示器190相距地的可偵測距離可根據電話100的效能要求或電話100的結構而變化；更具體來說，觸控螢幕顯示器190可輸出用於觸控偵測及懸停偵測的不同值(例如，當前值)，以藉由與使用者身體或可觸控輸入設備的接觸及非接觸輸入(例如，懸停事件)可區別地偵測到觸控事件發生。此外，觸控螢幕顯示器190可輸出用於在距懸停事件發生之距離上的懸停偵測之不同的值(例如，當前值)。

觸控螢幕控制器195將從觸控螢幕顯示器190(例如，在觸控面板或顯示螢幕上的XY坐標中)接收的類比信號轉換為數位信號，並將數位信號發送到控制器110。控制器110可藉由使用從觸控螢幕控制器195接收的數位信號來控制觸控螢幕顯示器190。例如，回應於觸控事件或懸停事件，控制器110可使在觸控螢幕顯示器190上顯示的捷徑圖標被選中或被執行。觸控螢幕控制器195亦可併入控制器110中。

此外，觸控螢幕控制器195可藉由偵測通過觸控螢幕顯示器190輸出的值(例如，當前值)來決定懸停事件發生的位置與觸控螢幕顯示器190之間的距離、轉換所決定的距離為數位信號(例如，具有Z坐標)，並將數位信號提供給控制器110。

電話100的一或多個組件或模組可以可拆卸地耦合到電話100的殼體。為了幫助說明此種耦合，電話100的殼體可被理解為電話10，而一或多個組件或模組可藉由模組連接器20而可拆卸地耦合到電話10，以增加或移除電話10的功能。作為一個範例，攝影機模組30的一部分或全部可以可拆卸地耦合到電話10以提供電話10攝影機模組30的部分或全部功能。

雖然本文示出及描述的某些電子裝置是手機，但其他手持式電子裝置實施例不是手機、且不包括電話能力。例如，一些實施例具有與本文所描述的電子裝置相同或相似的外觀，但並不包括電話能力(如在平板計算裝置或數位攝影機的情況下)。此些實施例仍可包括本文所述的非電話組件及功能的任何組合，如下文中的一或多者或其部分：控制器110、觸控螢幕顯示器190及觸控螢幕控制器195、攝影機模組150、多媒體模組140、子通訊模組130、第一燈153、第二燈154、GPS模組155及I / O模組160及記憶體176。

圖9A示出了經定位以附接至擴展器模組900及攝影機模組30的電話10的透視圖，及圖9B示出了附接時之電話10、擴展器模組900及攝影機模組30的透視圖。擴展器模組900可包括記憶體裝置、電池或用於增強電話10的容量的其他元件。擴展器模組900可包括支撐磁鐵的殼體，其可在結構及功能上與圖1C及圖1D中之攝影機模組30中所述的類似。磁鐵可助於將殼體耦合至一側上的電話10及另一側上的攝影機模組30。附加地或替代地，可至少通過摩擦配合、互鎖結構、緊固件、機械卡扣表面結構、機械閂鎖表面結構、機械干涉配合表面結構等來完成耦合。

擴展器模組900亦可包括模組連接器(例如，兩個模組連接器，其中一個擴展器模組連接器910係用於耦合至攝影機模組30上的相應連接器(未示出)及另一個擴展器模組連接器(未示出)係用於耦合到模組連接器20)，該等模組連接器與模組連接器20類似或相同，該模組連接器20可與模組互換地耦合且從模組或耦合到模組的一或多個其他裝置接收電力或資料或將電力或資料傳送至模組或耦合到模組的一或多個其他裝置。

儘管在本文所述的一些範例下可將綠色1及綠色2描述為單獨地或不同地處理，但綠色1及綠色2可或可以單獨地或不同地處理。例如，可將綠色1像素及綠色2像素分成單獨的DCT宏區塊或可不分成單獨的DCT宏區塊。作為另一個範例，可將綠色1像素及綠色2像素分成單獨的掃描或可不分成單獨的掃描。在又一個範例中，切片結構可具有用於綠色1及綠色2的單獨部分，或可不具有用於綠色1及綠色2的單獨部分。在另一範例中，綠色1及綠色2可在切片標頭結構中具有單獨的大小，或可在切片標頭結構中不具有單獨的大小。

各種影像捕捉裝置(或裝置的某些元件)在本文中可被描述為「被配置成」執行一或多個功能。如本文所使用地，這意味著裝置能夠被設置於至少一種模式(例如，使用者可選模式)中，其中裝置執行特定功能。例如，裝置可能不一定在所有操作模式中執行特定功能。為此，使用片語「被配置成」並不意味著裝置實際上必須當前處於操作模式中以「被配置成」執行功能，而僅是裝置能夠(例如被程式化成)被選擇性地設置模式。

如本文所使用地，提到項目列表中的「至少一者」的片語係指那些項目(包括單個成員)的任何組合。例如，「a、b或c中的至少一者」旨在涵蓋：「a、b、c、a-b、a-c、b-c及a-b-c」。

結合本文中所述的實施方式而描述的各種說明性邏輯、邏輯塊、模組、電路及演算法步驟可實施為電子硬體、電腦軟體或兩者的結合。已在功能方面對硬體及軟體的可互換性進行了一般性描述，且已在上述各種說明性元件、塊、模組、電路及步驟中示出了硬體及軟體的可互換性。這些功能取決於特定應用及強加於整個系統的設計限制而以硬體或是軟體實施。

可用單晶片或多晶片處理器、數位信號處理器(DSP)、專用積體電路(ASIC)、現場可程式化閘陣列(FPGA)或其他可程式化邏輯裝置、離散閘或電晶體邏輯、分離的硬體組件或上述的任何組合(其被設計成執行本文所述的功能)來實施或執行用於實施結合本文所揭露的態樣所描述的各種說明性邏輯、邏輯塊、模組及電路的硬體及資料處理設備。處理器可為微處理器、或任何處理器、控制器、微控制器或狀態機。處理器亦可實現為電子裝置的組合，如DSP及微處理器的組合、複數個微處理器、一或多個結合DSP核心的微處理器或任何其他此種配置。在一些實施方式中，可由專門針對給定功能的電路來執行特定步驟及方法。

在一或多個態樣中，可用包含本說明書中所揭露的結構及其結構等同物的硬體、數位電子電路、電腦軟體、韌體或上述任何組合來實施所描述的功能。本說明書中所描述的標的的實施方式亦可實施成一或多個電腦程式；例如，電腦程式指令的一或多個模組，該一或多個模組經編碼在電腦儲存媒體上以由資料處理設備執行或控制資料處理設備的操作。

若以軟體實施，則可將功能作為一或多個指令或代碼來儲存在電腦可讀取媒體上或在電腦可讀取媒體上傳輸。本文所揭露的方法或演算法的步驟可在處理器可執行軟體模組中實施，該處理器可執行軟體模組可駐留在電腦可讀取媒體上。電腦可讀取媒體包括電腦儲存媒體及包括能夠將電腦程式從一個地方傳送到另一個地方的任何媒體的通訊媒體。儲存媒體可為任何可由電腦存取的可用媒體。作為範例而非限制，此種電腦可讀取媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置，或任何其他可用於儲存可由電腦所存取之指令或資料結構形式的所欲程式代碼的媒體。以上的組合亦可包括在電腦可讀取媒體的範圍內。另外，方法或演算法的操作可作為一者或任何組合或一組代碼及指令駐留在機器可讀取媒體及電腦可讀取媒體上，該機器可讀取媒體及該電腦可讀取媒體可合併至電腦程式產品中。

對所屬技術領域中具有通常知識者來說，對本申請案中描述的實施方式的各種修改可為顯而易見的，且在不脫離本申請案的精神或範疇的情況下，本文中定義的一般原理可應用於其他實施方式。因此，申請專利範圍不旨在限於本文所示的實施方式，而是與符合本申請案、本申請案揭露的原理及新穎特徵的最寬範圍相一致。

在單獨實施方式的上下文中於本說明書中描述的某些特徵亦可在單個實施方式中組合實施。相反地，在單個實施方式的上下文中所描述的各種特徵亦可單獨地或以任何合適的子組合來在多個實施方式中實施。此外，儘管上文所述的特徵可描述為以某些組合起作用(且甚至最初係如此聲稱)，但在一些情況下可從所要求保護的組合中切除來自該組合的一或多個特徵，且所要求保護的組合可針對子組合或子組合的變化。

除非上下文明確要求，否則在整個說明書及申請專利範圍中，術語「包括/包含」等諸如此類應以包含性的含義來解釋，而不是排他性或窮舉性的含義；也就是說，是「包括但不限於」的意義。如本文通常使用的「耦合」一詞指的是可直接連接或藉由一或多個中間元素連接的兩個或更多個元件。同樣地，如本文通常使用的「連接」一詞指的是可直接連接或藉由一或多個中間元件連接的兩個或更多個元件。另外，術語「本文」、「上文」、「下文」及類似含義的術語在本申請案中使用時應當係指代本申請案的整體，而不是本申請案的任何特定部分。在上下文允許的情況下，在實施方式上文中的使用單數或複數的術語亦可分別包括複數或單數。術語「或」指的是兩個或多個項目的列表，該術語「或」涵蓋了該術語「或」的所有下述解釋：列表中的任何項目、列表中的所有項目及列表中的項目的任意組合。

此外，除非另有明確說明，或在所使用的上下文內以其他方式理解，不然本文所使用之除其他事項外如「可(can/could/might)」、「例如(for example)」及「如(such as )」等諸如此類的條件語言通常係意欲表達某些實施例包括(而其他實施例不包括)某些特徵、元件或狀態。因此，此種條件語言通常不意欲暗示特徵、元素或狀態係由一或多個實施例以任何方式所需要的，或不意欲暗示一或多個實施例必須包括用於在有或沒有作者輸入或提示的情況下來決定這些特徵、元件或狀態是否包含在任何特定實施例中或要在任何特定實施例中執行的邏輯。

上文對實施例的詳細描述並非旨在窮舉或限制於上文所揭露的精確形式。雖然上文出於說明性目的而描述了特定實施例及範例，但如所屬技術領域中具有通常知識者將認識到地，在本文描述的發明範疇內可進行各種等同修改。例如，雖然以給定順序呈現處理或方塊，但替代實施例可用不同的順序執行具有步驟的常式或使用具有方塊的系統，且可刪除、移動、添加、細分、組合或修改一些處理或方塊。可用各種不同的方式實施此些處理或方塊中的每一者。而且，雖然有時將處理或方塊示出為串行執行，但替代地，可平行執行或可在不同時間執行這些處理或方塊。

本文提供的教示可應用於其他系統，而不僅是上述系統。可組合上述各種實施例的元件及動作以提供進一步的實施例。

雖然已描述了本發明的某些實施例，但這些實施例僅作為範例呈現，並不意欲限制本申請案的範疇。實際上，可用各種其他形式來體現本文所描述的新穎方法及系統；此外，在不脫離本申請案的精神的情況下，可對本文描述的方法及系統的形式進行各種省略、替換及改變。所附申請專利範圍及其等同物係意欲包含落入本申請案的範疇及精神內的這些形式或修改。

10‧‧‧電話11‧‧‧顯示器12‧‧‧攝影機13A‧‧‧第一揚聲器格柵13B‧‧‧第二揚聲器格柵14‧‧‧第一輸入15‧‧‧電源輸入埠16‧‧‧第二輸入17‧‧‧第二攝影機18‧‧‧閃光燈19‧‧‧雷射焦點20‧‧‧模組連接器23‧‧‧影像處理系統30‧‧‧攝影機模組31‧‧‧模組連接器34A‧‧‧磁鐵34B‧‧‧磁鐵34C‧‧‧磁鐵36‧‧‧輸入38‧‧‧光學模組39‧‧‧可移除式鏡頭40‧‧‧攝像機41‧‧‧鏡頭安裝座42‧‧‧腦模組44‧‧‧鏡頭安裝模組介面45A‧‧‧孔45B‧‧‧孔45C‧‧‧孔45D‧‧‧孔46‧‧‧鏡頭50‧‧‧影像捕捉裝置51‧‧‧光學元件52‧‧‧影像感測器53‧‧‧影像處理系統54‧‧‧壓縮系統55‧‧‧記憶體裝置56‧‧‧多媒體系統60‧‧‧影像處理單元61‧‧‧壓縮系統62‧‧‧晶載記憶體63‧‧‧幀記憶體64‧‧‧輸入/輸出(I/O)裝置65‧‧‧模組66‧‧‧模組67‧‧‧模組100‧‧‧電話110‧‧‧控制器111‧‧‧中央處理單元112‧‧‧ROM113‧‧‧RAM120‧‧‧行動通訊模組130‧‧‧子通訊模組131‧‧‧無線區域網路(WLAN)132‧‧‧短程通訊模組140‧‧‧多媒體模組141‧‧‧廣播通訊模組142‧‧‧音訊播放模組143‧‧‧視訊播放模組150‧‧‧攝影機模組153‧‧‧第一燈154‧‧‧第二燈155‧‧‧全球定位系統(GPS)模組160‧‧‧輸入/輸出模組161‧‧‧按鈕162‧‧‧麥克風163‧‧‧揚聲器164‧‧‧振動馬達165‧‧‧連接器166‧‧‧鍵盤167‧‧‧耳機連接插孔168‧‧‧觸控筆169‧‧‧筆可移除識別開關170‧‧‧感測器模組175‧‧‧記憶體180‧‧‧電源190‧‧‧觸控螢幕顯示器195‧‧‧觸控螢幕控制器202‧‧‧影像感測器400‧‧‧流程圖402‧‧‧方框404‧‧‧方框406‧‧‧方框500‧‧‧曲線圖600‧‧‧流程圖602‧‧‧方框604‧‧‧方框606‧‧‧方框608‧‧‧方框610‧‧‧方框612‧‧‧方框900‧‧‧擴展器模組910‧‧‧擴展器模組連接器

圖1A示出了示例電話的頂部、前部及左側透視圖。

圖1B示出了圖1A的電話的底部、後部及右側透視圖。

圖1C示出了經定位以附接至示例性攝影機模組之圖1A的電話的側視圖。

圖1D示出了附接時之圖1A的電話及圖1C的攝影機模組的透視圖。

圖2示出了示例性攝像機的透視圖。

圖3A及圖3B示出了示例性影像捕捉裝置的元件，該示例性影像捕捉裝置如圖1A的電話、圖1C的攝影機模組或圖2的攝像機。

圖4示出了用於可由影像捕捉裝置(如圖3A的影像捕捉裝置)所執行之處理影像資料的示例性處理。

圖5為示出示例性的預加強功能的曲線圖。

圖6示出了用於壓縮視訊影像資料的示例性處理，該視訊影像資料可由影像捕捉裝置(如圖3A的影像捕捉裝置)執行。

圖7示出了與示例性電話(如圖1A的電話)通訊的圖3A的影像捕捉裝置。

圖8示出了圖1A的電話或圖1C的攝影機模組的示例性元件。

圖9A示出了經定位以附接至擴展器模組及圖1C之攝影機模組之圖1A的電話的透視圖。

圖9B示出了圖1A的電話、圖9A的擴展器模組及圖1C的攝影機模組在附接時的透視圖。

國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無

國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無

600‧‧‧流程圖

602‧‧‧方框

604‧‧‧方框

606‧‧‧方框

608‧‧‧方框

610‧‧‧方框

612‧‧‧方框

Claims

一種電子裝置，包括：一外殼；一影像感測器，該影像感測器經配置成從入射在該影像感測器上的光產生影像資料；一記憶體裝置；及一個或多個處理器，該一或多個處理器經配置成：轉換該影像資料以獲得轉換係數，量化該等轉換係數以獲得包括一第一經量化轉換係數及不同於該第一經量化轉換係數的一第二經量化轉換係數的經量化轉換係數，藉由至少使用用於該影像資料的一第一顏色的像素的一第一量化表及用於該影像資料的一第二顏色的像素的一第二量化表來量化該等轉換係數，該第一量化表與該第二量化表不同；對該等經量化轉換係數進行編碼以獲得經編碼的轉換係數，該等經量化轉換係數至少由以下步驟來編碼：決定其中包括該第一經量化轉換係數的複數個範圍中的一第一範圍，決定其中包括該第二經量化轉換係數的該複數個範圍中的一第二範圍，決定該第一經量化轉換係數對應的該第一範圍內的一第一值，決定該第二經量化轉換係數對應的該第二範圍內的一第二值，使用一第一演算法將該第一範圍編碼成一第一範圍代碼及將該第二範圍編碼成一第二範圍代碼，及使用與該第一演算法不同的一第二演算法將該第一值編碼成一第一值代碼，及將該第二值編碼成一第二值代碼，及將該等經編碼的係數儲存到該記憶體裝置，該等經編碼的係數包括該第一範圍代碼、該第二範圍代碼、該第一值代碼及該第二值代碼。
如請求項1所述的電子裝置，其中該第一演算法為一霍夫曼碼，及該第二演算法為一哥倫布碼。
如請求項1所述的電子裝置，其中該一或多個處理器經配置成在處理該影像資料期間改變該第一演算法。
如請求項3所述的電子裝置，其中該一或多個處理器經配置成將該第一演算法從處理該影像資料的一第一幀變成處理該影像資料的一第二幀。
如請求項3所述的電子裝置，其中該第二演算法在由該一或多個處理器處理該影像資料期間保持恆定。
如請求項1所述的電子裝置，其中該等經量化轉換係數包括與該第一經量化轉換係數及該第二經量化轉換係數不同的一第三經量化轉換係數，及該一或多個處理器經配置成至少由以下步驟來對該等經量化轉換係數進行編碼：決定其中包括該第三經量化轉換係數的該複數個範圍中的一第三範圍，不決定該第三經量化轉換係數所對應的該第三範圍內的一第三值，及使用該第一演算法來將該第三範圍編碼成一第三範圍代碼，該等經編碼的係數包括該第三範圍代碼。
如請求項1所述的電子裝置，其中該一或多個處理器經配置成使用一離散餘弦轉換來轉換該影像資料。
如請求項7所述的電子裝置，其中該離散餘弦轉換是一個16×16的離散餘弦轉換。
如請求項1所述的電子裝置，其中該一或多個處理器經配置成至少藉由對該等經量化轉換係數的DC係數進行編碼來對該等經量化轉換係數進行編碼，該編碼方式與該等經量化轉換係數的AC係數的編碼方式不同。
如請求項1所述的電子裝置，其中該一或多個處理器經配置成將用於該第一演算法的一參數儲存在用於該等經編碼的係數的一幀頭中。
如請求項1所述的電子裝置，其中該第一顏色是綠色、該第二顏色是紅色，且藉由使用用於該影像資料的紅色像素及藍色像素的該第二量化表來量化該等轉換係數。
如請求項1所述的電子裝置，其中該影像資料為一原始馬賽克影像資料。
如請求項1所述的電子裝置，其中該外殼經配置成包圍該影像感測器、該記憶體裝置及該一或多個處理器，及該外殼經配置成可移除地連接至一行動電話。
如請求項1所述的電子裝置，進一步包括：一顯示器，該顯示器經配置成呈現由該一或多個處理器自該影像資料產生的全息影像。
一種使用一電子裝置對影像資料進行編碼的方法，該方法包括以下步驟：由一影像感測器自入射在一影像感測器上的光來產生影像資料；由一或多個處理器轉換該影像資料以獲得轉換係數；由該一或多個處理器量化該等轉換係數，以獲得包括一第一經量化轉換係數及不同於該第一經量化轉換係數的一第二經量化轉換係數的經量化轉換係數，藉由至少使用用於該影像資料的一第一顏色的像素的一第一量化表及用於該影像資料的一第二顏色的像素的一第二量化表來量化該等轉換係數，該第一量化表與該第二量化表不同；由該一或多個處理器決定包括該第一經量化轉換係數之複數個範圍的一第一範圍及包括該第二經量化轉換係數之該複數個範圍的一第二範圍；由該一或多個處理器決定該第一範圍內對應於該第一經量化轉換係數的一第一值及該第二範圍內對應於該第二經量化轉換係數的一第二值；由該一或多個處理器將該第一範圍編碼成一第一範圍代碼及將該第二範圍編碼成一第二範圍代碼；由該一或多個處理器將該第一值編碼成一第一值代碼及將該第二值編碼成一第二值代碼；及由將該第一範圍代碼、該第二範圍代碼、該第一值代碼及該第二值代碼儲存至一記憶體裝置。
如請求項15所述的方法，其中編碼該第一範圍及該第二範圍及編碼該第一值及該第二值之該等步驟是使用無損壓縮來執行的。
如請求項15所述的方法，其中編碼該第一範圍及該第二範圍及編碼該第一值及該第二值之該等步驟是使用可變長度編碼來執行的。
如請求項15所述的方法，進一步包括以下步驟：從該記憶體裝置中檢索該第一範圍代碼、該第二範圍代碼、該第一值代碼及該第二值代碼；及由該一或多個處理器解碼該第一範圍代碼、該第二範圍代碼、該第一值代碼及該第二值代碼，以獲得該第一範圍、該第二範圍、該第一值及該第二值。
如請求項18所述的方法，進一步包括以下步驟：使用該經解碼的第一範圍、第二範圍、第一值及第二值來產生全息內容，以在該電子裝置的一顯示器上顯示。
如請求項15所述的方法，其中使用一霍夫曼碼將該第一範圍及該第二範圍編碼成該第一範圍代碼及該第二範圍代碼，及使用一哥倫布碼將該第一值及該第二值編碼成該第一值代碼及該第二值代碼。
如請求項15所述的方法，其中轉換該影像資料之該步驟是使用一個16×16的離散餘弦轉換來執行的。
如請求項15所述的方法，其中該第一顏色是綠色、該第二顏色是紅色，且藉由使用用於該影像資料的紅色像素及藍色像素的該第二量化表來量化該等轉換係數。
如請求項15所述的方法，其中該等經量化轉換係數包括與該第一經量化轉換係數及該第二經量化轉換係數不同的一第三經量化轉換係數，及其中該方法進一步包括以下步驟：決定其中包括該第三經量化轉換係數的該複數個範圍中的一第三範圍，不決定該第三經量化轉換係數所對應的該第三範圍內的一第三值，及將該第三範圍編碼成一第三範圍代碼，該等經編碼的係數包括該第三範圍代碼。
一種電子裝置，包括：一外殼；一影像感測器，該影像感測器經配置成從入射在該影像感測器上的光產生影像資料；一記憶體裝置；及一個或多個處理器，該一或多個處理器經配置成：轉換該影像資料以獲得轉換係數，量化該等轉換係數以獲得包括一第一經量化轉換係數、不同於該第一經量化轉換係數的一第二經量化轉換係數和不同於該第一經量化轉換係數及該第二經量化轉換係數的一第三經量化轉換係數的經量化轉換係數；對該等經量化轉換係數進行編碼以獲得經編碼的轉換係數，該等經量化轉換係數至少由以下步驟來編碼：決定其中包括該第一經量化轉換係數的複數個範圍中的一第一範圍，決定其中包括該第二經量化轉換係數的該複數個範圍中的一第二範圍，決定其中包括該第三經量化轉換係數的該複數個範圍中的一第三範圍，決定該第一經量化轉換係數對應的該第一範圍內的一第一值，決定該第二經量化轉換係數對應的該第二範圍內的一第二值，不決定該第三經量化轉換係數所對應的該第三範圍內的一第三值，使用一第一演算法將該第一範圍編碼成一第一範圍代碼、將該第二範圍編碼成一第二範圍代碼，及將該第三範圍編碼成一第三範圍代碼，及使用與該第一演算法不同的一第二演算法將該第一值編碼成一第一值代碼，及將該第二值編碼成一第二值代碼，及將該等經編碼的係數儲存到該記憶體裝置，該等經編碼的係數包括該第一範圍代碼、該第二範圍代碼、該第三範圍代碼、該第一值代碼及該第二值代碼。