TW201345263A - 原始格式影像資料處理技術 - Google Patents

原始格式影像資料處理技術 Download PDF

Info

Publication number
TW201345263A
TW201345263A TW101148995A TW101148995A TW201345263A TW 201345263 A TW201345263 A TW 201345263A TW 101148995 A TW101148995 A TW 101148995A TW 101148995 A TW101148995 A TW 101148995A TW 201345263 A TW201345263 A TW 201345263A
Authority
TW
Taiwan
Prior art keywords
image
original format
compression
format image
compressed
Prior art date
Application number
TW101148995A
Other languages
English (en)
Other versions
TWI555386B (zh
Inventor
Albert W Wegener
Original Assignee
Samplify Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samplify Systems Inc filed Critical Samplify Systems Inc
Publication of TW201345263A publication Critical patent/TW201345263A/zh
Application granted granted Critical
Publication of TWI555386B publication Critical patent/TWI555386B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

使用小巧及低成分組件，至少與影像資料速率一般快地(亦即，即時地)，壓縮代表以影像資料速率從影像拍攝裝置接收的影像之原始格式影像。壓縮的影像資料接著被傳送經過晶片至晶片資料通道而至記憶體系統或是至主處理器，而被儲存於其中作為壓縮的資料。主處理器或其它處理器讀取及解壓縮壓縮的原始資料及對恢復的原始格式影像施加包含工業標準的資料壓縮的數位訊號處理或其它影像處理演繹法，而不侷限於即時處理。

Description

原始格式影像資料處理技術
本發明係有關處理原始像素資訊或其它大影像檔案的資料處理系統及影像系統。
數位相機和掃描器包含以原始格式而產生影像資料的感測器。所產生的原始格式隨著裝置不同而不同。基本上，由影像裝置所產生的原始格式包括用於靜態影像之以二維陣列配置的像素資料、以及用於視訊之這些陣列的序列。使用根據對感測到的各像素的顏色或頻譜有貢獻的色彩空間(color space)之成分的多頻譜碼化，像素資料將各像素特徵化。經常應用在例如相機及掃描器等成像裝置的一個共同色彩空間被稱為紅色/綠色/藍色(RGB)空間。多頻譜碼化也包含與例如紅外光或紫外光頻譜等可見光範圍之外的光的波長有關的資料。
影像拍攝裝置包含配置成感測各像素的多頻譜碼化的各成分之多個感測器。舉例而言，在RGB空間中，相機包含用於顏色中的紅色、綠色及藍色各成分的感測器陣列。這些感測器陣列包括設有對應的濾光器之所謂的CMOS感測器或是CCD感測器，濾光器選取要由感測器所偵測的顏色、或頻譜、成分。
而且，以「馬賽克」濾光器用於單感測器陣列，使得陣列中的各感測器被配置成偵測多頻譜碼化的特定成分。 使用後置處理以插入資料，以便提供用於各像素的所有成分。替代地，各像素特徵在於提供用於各成分的資料之陣列中的感測器組。
用於可見光成像的馬賽克濾光器的一般型式稱為貝爾(Bayer)濾光器。貝爾濾光器具有馬賽克圖案，其中，舉例而言，每2乘以2組的感測器包含二個綠光濾光器及紅光和藍光濾光器各一個。此圖案利用人類視覺對於綠光比RGB色彩空間中的其它成分更靈敏的事實。使用貝爾濾光器收集之原始影像資料的插入處理當產生最終原始影像資料時會考慮此點。此插入處理有時被稱為解馬賽克。
成像裝置係配置成高速地拍攝高解析度的影像。高解析度的各拍攝影像包含大量的像素。典型上，以光柵掃描或一列接一列格式，從陣列讀出來自感測器的資料，而以串流列形式傳送至主處理系統，主處理系統能對原始資料執行進一步的數位訊號處理。影像拍攝速率(例如，每秒的格數)乘以每一個影像的像素數目、加上與各影像相關連的負擔資料決定主處理系統應被配置以接受影像資料輸入之影像資料速率。
原始格式影像資料通常被處理成根據例如JPEG等工業標準格式，所述標準格式在其它功能之外還涉及壓縮資料。也可以應用包括白平衡處理、對比處理、影像的尺寸或型態比的處理等其它的數位訊號處理。當消費者為了使用而傳送或儲存資料時，典型上，資料以例如.tif或.jpg等標準檔案格式來予以提供。
相較於相機或掃描器拍攝的資料之速度，將原始格式資料轉換成工業標準格式之一的處理、以及其它的影像數位訊號處理相當緩慢。
隨著每一個影像之解析度或像素的數目增加，這些原始格式影像變得很大。而且，隨著影像感測器技術的增進，拍攝這些原始格式影像的速率也隨著增加。以容納影像拍攝速率的方式，移除及儲存這些大原始格式影像，要求很多資源。因此，需要大的高速緩衝器及多高頻寬資料通道以跟上成像裝置。在操作期間，這些資源消耗電力、降低可攜式成像裝置的電池壽命。而且，這些資源增加影像處理系統的組件成本。
因此，在影像的進一步數位訊號處理之準備或期間，傳送及儲存原始資料格式變成資源強化、增加耗電及推升成本。
因此，需要提供降低執行原始影像資料拍攝、及原始影像資料處理所需要的資源及時間之技術。
說明接收影像資料、及壓縮影像資料的技術，所述影像資料包含代表灰階或是多頻譜碼化的多個像素。影像資料是由影像拍攝裝置以影像資料速率來予以產生，並且，使用小巧及低成本的組件，至少與影像拍攝時間窗(亦即，即時地)一般快地完成壓縮處理。然後，壓縮的影像資料至少與影像資料速率一般快地經過資料通道而從包含 或耦合影像感測器的積體電路而被傳送至積體電路記憶體或是積體電路影像處理器，在積體電路記憶體或是積體電路影像處理器中，其被儲存為壓縮的原始資料。影像處理器讀取及離線地解壓縮壓縮的原始資料，並且，對恢復的影像資料施加包含例如工業標準資料壓縮或其它影像處理演繹法等數位訊號處理，而不受限於即時處理。並未包括影像資料速率，儲存原始格式影像及/或用以轉換原始格式影像的資料通道的頻寬之記憶體的大小可以降低，節省成本及成像系統中的功率。壓縮邏輯可施加時域壓縮處理，以維持儘快地執行某些影像拍攝裝置所要求的高生產量(throughput)。
代表系統包含產生原始格式影像的影像拍攝組件，以及施加數位訊號處理演繹法給影像之影像處理器。使用典型上耦合至影像處理器的記憶體以儲存原始格式影像而由影像處理器所離線地處理。比較邏輯可包含在影像拍攝組件中，降低影像拍攝組件與影像處理器之間的資料通道的頻寬需求，降低影像處理器與記憶體之間的資料通道的頻寬需求，以及降低記憶體的大小及/或頻寬需求。替代地，比較邏輯包含在影像處理器中，其中，影像處理器從影像拍攝裝置接收原始格式影像，並且將其壓縮以傳送至記憶體。在本實施例中，影像處理器與記憶體之間的資料通道的頻寬需求、及記憶體的大小需求降低。
壓縮邏輯動態地受控以在通訊通道上維持固定資料速率、以維持恢復的資料之影像品質、以及視技術的特定應 用需求而使用資料速率及恢復的影像品質參數。
在包含施加貝爾矩陣或其它馬賽克處理之影像拍攝裝置的實施例中，壓縮邏輯係配置成利用導因於馬賽克之原始資料的特徵，以增進性能或降低成本。在某些實施例中，壓縮邏輯可被配置成回應儲存在配置暫存器中的參數、或其它型式的使用輸入，以執行符合特定影像拍攝環境之壓縮操作，包含一維壓縮(亦即，使用單一列上像素之間的比較)、二維壓縮(亦即，使用不同列上像素之間的比較)、及三維壓縮(亦即，使用不同格中像素之間的比較)。
說明技術，其中，原始格式影像包含插入的多頻譜碼化，多頻譜碼化包含分類多頻譜資料及將取樣序列從各組件施加至分開的壓縮通道。多壓縮通道的輸出結合成單一資料序列，或是分別地維持以傳送至主處理器。在某些實施例中，為各組件而將時域壓縮技術最佳化。
從下述揭示的詳細說明及圖式，能瞭解此處所述的技術之其它態樣及優點。
參考圖1-11，說明影像拍攝技術的詳細說明。此處所述的技術的實施例包含以影像資料速率從影像拍攝裝置接收原始格式影像，其中，原始格式影像包含代表影像的灰階或多頻譜碼化的多個像素取樣。方法的本實施例包含壓縮原始影像資料以至少如影像資料速率一般快地形成壓縮 原始格式影像，並且以小於影像拍攝時間窗的時間來完成影像格的壓縮，然後經過資料通道而在積體電路之間傳送壓縮的原始格式影像。此處所述之原始格式影像及壓縮的原始格式影像包含資料結構，資料結構包括以能在資料處理系統中儲存、傳送及處理的方式組織的多個像素取樣。在某些實施例中，如影像資料速率一般快地，壓縮100佰萬像素等級的原始格式影像。而且，對每秒拍攝的200的等級的或更多的影像(或格)工作的影像拍攝系統以至少如影像資料速率一般快地壓縮，並且對在小於影像拍攝時間窗的時間之內各格中拍攝到的影像產生壓縮的原始格式影像。在每秒拍攝200格的系統中的影像拍攝時間窗是5毫秒。此處所述的實施例在影像拍攝時間窗之內執行原始格式影像的壓縮，使得壓縮處理至少如影像拍攝資料速率一般地快，以及通常取得至少2對1的壓縮。僅使用時域壓縮處理，以完成壓縮。在感測器之空間域資料當其經由類比對數比轉換器而被掃描出來時，被轉譯至時域資料。
稍後，壓縮的原始格式影像被解壓縮以形成經恢復的原始影像資料。然後，使用轉換域壓縮處理，以執行經恢復的原始影像資料之進一步的數位訊號處理，包含將經恢復的原始影像資料轉譯成工業標準及壓縮的格式，例如JPEG或H.264。在各式各樣的實施例中，接收組件是記憶體，用以儲存壓縮的原始格式影像，以稍後由主處理系統存取及處理。在其它實施例中，接收組件可以是一個積體電路，將壓縮的原始格式影像傳送給另一個積體電體上的 記憶體，稍後從記憶體讀取經壓縮的原始資料格式以供進一步處理用。
類似這些實施例的方法容納很快的影像拍攝速率，並允許恢復的原始影像資料的數位訊號處理能夠被離線地執行(亦即，不會干擾從影像拍攝裝置至記憶體或其它目的地之原始格式影像的流動)。而且，稍後之恢復的原始影像資料的數位訊號處理涉及更加資源強化的處理，這產生比影像資料速率還慢的速率的結果。
圖1顯示影像拍攝系統。影像拍攝系統包含影像拍攝裝置10、及影像處理器11，影像拍攝裝置10可包含第一積體電路，第一積體電路包含或是耦合至影像感測器，影像處理器11可包括第二積體電路，第二積體電路係配置成經過第一資料通道13而從影像拍攝裝置10接收影像檔案，以及執行進一步處理。影像處理器11係耦合至記憶體12，記憶體12可包括第三積體電路，例如高速動態存取記憶體DRAM裝置。而且，在此說明的系統中，影像處理器11包含用於第二資料通道14的介面以與其它裝置或記憶體系統相通訊，接收執行的影像處理之結果。資料通道13由一或更多道的十億位元SERDES、或是其它用於晶片對晶片通訊的協定之通道所組成。積體電路包含邏輯部以執行此處所述的處理，其中，邏輯部包含專用的邏輯電路、例如配置成以執行功能之現場可編程邏輯陣列FPGA區塊等可配置的邏輯、可編程以執行功能的一般用途處理器或是數位訊號處理器、以及其各式各樣的組合。
在本實例中，影像拍攝裝置10包含通常見於相機中的組件。因此，鏡頭20及濾光器或是多個濾光器21係配置成聚集來自視野的光(29)，並且，將光聚焦於一或多個影像感測器22上。影像感測器22典型上包含各別的偵測器陣列以及一或更多個類比對數位轉換器，一起被配置成以光柵掃描或是其它二維樣式輸出原始影像資料。在某些系統中，影像感測器22也執行某些基本的處理功能(未顯示出)。舉例而言，原始影像資料典型上被封裝於與系統相容的資料結構內。而且，在某些影像拍攝系統中，執行基本的色彩空間調整或轉換，使得外離的原始影像資料與例如RGB、YUV、YCrCb等等特定的色彩空間相容。
使用快速處理器，線上地進行從影像感測器空間至RGB(假使需要時)的轉換、或是從RGB或影像感測器空間至例如YUV和YCrCb等其它色彩空間的轉換。「YCrCb」請參見2011年12月20日下載之維基百科(包含在與本案一起提交的資訊揭露中)；「YUV」請參見2011年12月20日下載之維基百科(包含在與本案一起提出的資訊揭露中)。而且，可以線上地施加應用於YUV或其它亮度：色度等例如4：2：4倍數降低取樣(decimation)或是4：2：0倍數降低取樣之色彩空間倍數降低取樣。為了本說明之用，當線上地施加轉換或是倍數降低取樣率時，經過轉換的影像資料或是經過倍數降低取樣的影像資料而產生始影像資料。對於即時影像擷取系統，原始格式影像代表包含像素取樣陣列的影像。在影像拍攝時間窗期間，原始格式影像從感測 器陣列被輸出。影像拍攝時間窗足夠長以使影像在感測器陣列中被拍攝、由要施加的任何線上處理數位取樣、及自感測器陣列送出而允許下一原始格式影像被拍攝。此影像拍攝時間窗典型上根據特定裝置而指定的。影像拍攝資料速率是遞送原始格式影像中樣本的速率，此為每單位時間的數目(例如，以位元計之原始格式影像的大小除以以秒計之時間拍攝時間窗的長度)。
在某些實施例中，在壓縮及稍後的解壓縮之後，剛才說明的轉換及倍數降低取樣處理可以應用至恢復的原始格式影像。
對於一個實例，代表RGB編碼的像素之原始格式影像係配置成選取的大小的三位元組，例如24位元三位元組，其中，各顏色成分以八位元來予以表示。資料結構也包含標示各列的開始及結束、及各格的開始及結束的特點。在圖1中所示的實施例中，來自影像感測器22的原始格式影像(在可能的線上處理之後)被遞送至通道壓縮器23。如下更詳細說明般，配置暫存器24與通道比較器23相關連。
通道壓縮器23的輸出可包括傳送至用於平行的或串流列的資料通道之輸入/輸出收發器25、以及經過資料通道13而被傳送至影像處理器11之壓縮原始格式影像的封包序列。通道壓縮器23可被配置成至少與影像資料速率一般快地執行例如時域壓縮等壓縮，影像資料速率至少與從影像感測器22接收原始影像資料一般快。在這些實施 例中，可以相當小的邏輯電路來實施通道壓縮器，而且，通道壓縮器將不會要求大的緩衝能力。而且，當影像感測器從快速的影像序列產生資料時，至少與原始影像資料被接收一般快地操作之通道壓縮器23不會苦於溢流。而且，壓縮的的原始格式影像能在影像拍攝時間窗之內傳送經過資料通道。由於壓縮的原始格式影像小於拍攝的原始格式影像，所以，使用比傳送拍攝的原始格式影像所要求的還低速的實體鏈結或是更小數目的平行實體鏈結來傳送壓縮的原始格式影像，並且仍然在影像拍攝時間窗之內完成壓縮的原始格式影像之傳送。
在某些實施例中，影像感測器22、通道壓縮器23及輸入/輸出收發器是單一積體電路的組件。通道壓縮器可包括在設計期間被加至影像感測器積體電路的小的、低功率及快的IP區塊或是來自設計庫的預定電路設計之實施。IP區塊也可被配置成容納載有原始格式影像及使用者的設計目的之資料結構的特點。
影像處理器11從資料通道13接收壓縮的原始格式影像及將其傳送至記憶體12，來自通道的壓縮資料可被儲存於記憶體12中以供稍後的離線處理用。
影像處理器11包含用以將通道資料解壓縮的資源(「Ch.DECOMPRESS」)、以及執行進一步數位訊號處理的資源，數位訊號處理可為例如根據其它壓縮演繹法的影像壓縮、或是其它影像操作處理。如圖1所示，可配置的暫存器15包含在影像處理器11中，與影像拍攝裝置10 上的配置暫存器24是互補的。在進一步處理之後，經過處理的影像在資料通道14上被傳送至長期儲存裝置、或是其它處理資源。
影像處理器11可為包含用於資料通道的輸入/輸出收發器之一個積體電路的一部份，而輸入/輸出收發器25是不同的積體電路的一部份。在本配置中，在與原始格式影像相關連的資料通道13上的負載減少很多，允許使用較少的並列或串流列實體鏈結之資料通道的實施、或是更低速度及更低功率之資料通道的操作。
圖2顯示替代的影像拍攝系統。影像拍攝系統包含影像拍攝裝置30及影像處理器31或是可被配置成經過第一資料通道33而從影像拍攝裝置30接收原始格式影像以及執行進一步處理之其它主處理器。影像處理器31係耦合至記憶體32，例如高速動態存取記憶體DRAM裝置。也在本說明系統中，影像處理器31包含用於第二資料通道34的介面，用以與接收執行的影像處理結果之其它裝置或記憶體系統相通訊。
在本實例中，影像拍攝裝置30包含例如相機等組件。因此，鏡頭40及濾光器或是多個濾光器41被配置成聚集來自視野的光(50)，並且，將光聚焦於一或多個影像感測器42上。影像感測器42典型上包含各別的偵測器陣列以及一或更多個類比對數位轉換器，一起被配置成以光柵掃描或是其它二維樣式輸出原始影像資料。在某些系統中，影像感測器42也可執行某些基本的處理功能。舉例 而言，原始影像資料典型上被封裝於與系統相容的資料結構之內。而且，在某些影像拍攝系統中，可執行基本的色域空間調整或轉換，使得外離的原始影像資料與例如RGB、YUV、YCrCb等等特定的色彩空間相容。使用快速處理器，線上地進行從影像感測器空間至RGB(假使需要時)的轉換、或是從RGB或影像感測器空間至例如YUV和YCrCb等其它色彩空間的轉換。舉例而言，使用3X3矩陣乘法，以每一個像素為基礎，線上地執行色彩空間轉換處理。而且，可以線上地施加應用於YUV或其它亮度：色彩空間之例如4：2：4倍數降低取樣或是4：2：0倍數降低取樣之色彩空間倍數降低取樣。使用簡單平均，以實施倍數降低取樣。「YCrCb」請參見2011年12月20日下載之維基百科(包含在與本案一起提交的資訊揭露中)；「YUV」請參見2011年12月20日下載之維基百科(包含在與本案一起提出的資訊揭露中)。在圖2中所示的實施例中，來自影像感測器22的原始格式影像被遞送至輸入/輸出結構45及經過資料通道33而被遞送至影像處理器31。
影像處理器31從通道33接收原始影像資料以及施加通道壓縮功能(「Ch.COMPRESS」)。通道壓縮功能可被配置成在影像處理器31至少與影像資料速率一般快地執行壓縮，影像資料速率至少與從通道33接收的原始影像資料一般快。在這些實施例中，通道壓縮器可由相當小的邏輯電路、或是小巧電腦程式來予以實施，且將不會要求 大緩衝能力。而且，當影像感測器從快速的影像序列中產生資料時，至少與原始影像資料被接收一般快地操作之通道壓縮器不會苦於溢流。影像處理器31在影像拍攝時間窗之內傳送壓縮的原始格式影像給記憶體32，來自通道的壓縮資料被儲存於記憶體32中以供稍後的離線處理用。因此，影像處理器31包含用以將通道資料解壓縮的資源(「Ch.DECOMPRESS」)、以及執行進一步數位訊號處理的資源，數位訊號處理可為例如根據其它壓縮演繹法的影像壓縮、或是其它影像操作處理。如圖2所示，可配置的暫存器35包含在用以配置通道壓縮功能之影像處理器31中。在進一步處理之後，經過處理的影像檔案在資料通道34上被傳送至長期儲存裝置、或是其它處理資源。
圖3顯示可被使用於此處所述的通道壓縮功能之壓縮邏輯的基本組件。在衰減器51接收原始影像資料，衰減器51可被使用而從訊號取樣中移除整數或是分數最低效位元以降低位元計數。舉例而言，當衰減器51係設定為0.5的值時，從各取樣中移除一個最低效位元。相反地，當衰減器51被設定為0.4的值時，從各取樣中移除一個最低效位元加上第二最低效位元的分數量。對於涉及用於多個顏色頻譜的成分之以三位元組或其它格式遞送的原始影像資料，衰減器51可被配置成對三位元組的各成分施加相異的衰減、或是對所有三位元組的成分施加相同的衰減。而且，也如下述更詳細地說明般，三位元組格式的原始影像資料在被施加至壓縮引擎之前被解多工。衰減器51的輸出 被施加至冗餘移除器52，舉例而言，冗餘移除器52使用第一、第二或更高階導數以降低原始影像取樣編碼的動態範圍。冗餘移除器52的輸出被施加至位元封裝器邏輯53，將位元封裝成以壓縮的原始格式影像而傳送至解壓縮邏輯的格式，解壓縮邏輯可被設置於資料通道的接收端。壓縮邏輯的代表性實施可見於共同擁有的由Albert W.Wegener發明之美國利號7,009,533「ADAPTIVE COMPRESSION AND DECOMPRESSION OF BANDLIMITED SIGNAL」，其於此一併列入參考，宛如於此揭示般。
圖3中所示的壓縮邏輯包含根據壓縮度量邏輯54之回饋迴路，壓縮度量邏輯54測量反應壓縮邏輯的性能之壓縮原始格式影像的特徵。壓縮度量邏輯54也可包含配置暫存器(未顯示出)以配置壓縮邏輯。配置暫存器提供選自無損失、固定率、或固定品質壓縮模式之壓縮碼的選取。在所示的實例中，壓縮度量邏輯54根據例如每序列的位元數目而提供回饋給衰減器51，每序列的位元數目可為例如壓縮原始格式影像中影像的每一格的位元數、每一列的位元數或是每一個封包的位元數。舉例而言，封包長度可被設定為256取樣，以對應於H.264影像壓縮標準的每一個色彩平面256像素。當壓縮邏輯係配置成維持固定的位元率或是在目標範圍之內的位元率時，壓縮度量邏輯54調整衰減器51施加的衰減因數以維持位元率。當壓縮邏輯係配置成用於無損失壓縮時，壓縮度量邏輯54將衰減器51禁能，或是將施加的衰減因數設定為1.0。
圖4顯示影像拍攝系統的實施之一個實施例，影像拍攝系統包含用於影像拍攝裝置與主處理器之間的資料通道之壓縮邏輯。在本實例中，系統包含類似於參考圖1及2之上述所述的影像拍攝裝置100。主處理器101藉由資料通道104而被耦合至影像拍攝裝置100。主處理器101係耦合至高速記憶體102，例如雙倍資料速率動態隨機存取記憶體DDR DRAM。而且，主處理器101係耦合至非依電性儲存器103，例如磁碟、快閃儲存裝置、或是其它儲存系統。
在圖4中所示的實施例中的處理器101包含耦合至資料通道104之輸入/輸出埠110(包含並列或串流列實體層收發器)、以及耦合至記憶體裝置的輸入/輸出埠113，記憶體裝置包含高速記憶體102及非依電性儲存器103。高速記憶體102及非依電性儲存器在輸入/輸出埠113之內具有分開的埠。主處理器101包含數位訊號處理器(DSP)核心112與通道壓縮及解壓縮邏輯111。使用例如現場可編程閘極陣列(FPGA)技術，實施通道壓縮及解壓縮邏輯111，其可與DSP核心112在相同的積體電路上。DSP核心112可由圖形處理器單元、中央處理器單元、單核心或多核心處理器所配置、特定應用積體電路(ASIC)、或是適合特定影像拍攝應用的其它資料處理架構取代。較佳的是，類似於此處所述的FPGA實施例，在獨立邏輯中設置通道壓縮及解壓縮邏輯111，以降低處理負擔、增加速度、及降低實施成本。而且，通道壓縮及解壓縮邏輯111 包括在設計期間被加至影像處理器積體電路的小的、低功率及快的IP區塊或是來自設計庫的預定電路設計之實施。而且，IP區塊及FPGA實施例可被配置成容納載有原始格式影像及使用者的設計目的之資料結構的特點。
在其它實施例中，通道壓縮及解壓縮邏輯111可能由DSP核心所執行，而特別是在容納平行處理的多核心實施例或是其它實施例中，不是在獨立的邏輯區塊中執行。舉例而言，多核心實施例中的核心的子集合可以專用於執行通道壓縮及/或解壓縮功能。
在圖4所示的實例中，從通道壓縮及解壓縮邏輯111中的通道104接收原始影像資料，並且，至少與從通道104接收資料一般地快，原始影像資料被遞送至高速記憶體102。當此記憶體作為緩衝器以儲存壓縮的原始格式影像而供稍後處理用時，這限制高速記憶體102的尺寸要求。當需要原始影像資料的進一步處理時，經由通道壓縮及解壓縮邏輯111而從高速記憶體102讀取壓縮原始格式影像。然後，解壓縮的或恢復的原始影像資料被遞送至DSP核心112，在DSP核心112中執行進一步的數位訊號處理功能。在根據更複雜的壓縮處理之後、或是在其它影像操作處理之後，經過處理的影像資料接著被遞送至非依電性儲存器103。
圖4所示的實例具有圖2中所示的基本架構，而在影像處理器上設有通道壓縮邏輯。在其它實例中，如同參考圖1之上述所述般，通道壓縮邏輯可被實施於影像拍攝裝 置100上。在此實施例中，也以FPGA功能區塊、或是用於高速及低成本操作之其它型式的專用邏輯來實施通道壓縮邏輯。在其它實施例中，應用一般用途處理器以在影像拍攝裝置上執行此功能。
圖5顯示用於此處所述的系統中之通道壓縮邏輯的配置。在圖5中所示的配置中，在線150上以三位元組來遞送原始影像資料至解多工器151。舉例而言，三位元組包含來自第一頻譜成分S1的取樣、來自第二頻譜成分S2的取樣、以及來自第三頻譜成分S3的取樣。這些頻譜成分由獨立的感測器所再生，且對應於紅色、綠色及藍色，或是對應於由系統中應用的技術有效地感測之譜頻成分。注意，在某些實施例中，頻譜成分包含在可見光範圍之外的要素，包含紅外光或紫外光範圍中的成分。解多工器將三位元組的成分分類以及將各串流用於各分類之三分開的串流遞送至對應的壓縮邏輯152、153、154。分類串流S1、S2、及S3在例如RGB編碼時以相同率來予以操作，或是例如當執行色彩空間倍數降低取樣時，以不同率來予以操作。色彩空間倍數降低取樣的實例包含4：2：2、4：2：0、及其它，其中，以比色度(顏色)成分更高的位元率，將亮度(明亮度)成分典型地編碼。在本實例中，用於S1成分的壓縮邏輯152的輸出、用於S2成分的壓縮邏輯153的輸出、以及用於S3成分的壓縮邏輯154的輸出提供給多工器155。多工器155將壓縮資料交插，以用於在共同資料通道156上遞送。在其它實施例中，省略多工 器155，其中，有足夠的資料通道可用以操作三個分別串流的壓縮資料。
圖6顯示貝爾(Bayer)矩陣。貝爾矩陣是馬賽克濾光器的配置，以單一陣列感測偵測器來感測顏色成分。如同所見，貝爾矩陣包含多個濾光器，多個濾光器與偵測器陣列或實例上的影像偵測器一對一地對應。當然，對應性為一對一之外的對應性。貝爾矩陣圖案包含奇數列的交錯的紅光及綠光濾光器、以及偶數列的交錯的綠光及藍光濾光器。依此方式，每一個2x2組的濾光器包含二綠光濾光器、以及各一個紅光及藍光濾光器。貝爾矩陣馬賽克濾光器配置顯示對可見光成像提供優良的結果且廣泛使用。在成像系統中也應用其它馬賽克濾光器配置。使用貝爾矩陣的導因於「馬賽克」處理的資料以「四位元組」(R G1 B G2)來予以遞送，其中，各四位元組包含經由紅光濾光器所感測到的值、經由第一綠光濾光器所感測到的值、經由藍光濾光器所感測到的值、以及經由第二綠光濾光器所感測到的值。在圖7中所示的配置中，原始影像資料於線160上以四元組而被遞送至解多工器161。解多工器161將四元組的成分分類成三個分別的串流，一串流用於紅光成分，一串流用於綠光成分，以及一串流用於藍光成分。如同所示，對於貝爾矩陣四元組，綠光成分串流將具有紅光及藍光取樣的二倍。各獨立串流被施加至用於該串流之壓縮邏輯。因此，壓縮邏輯162係適用於紅光成分。壓縮邏輯163係適用於綠光成分。壓縮邏輯164係適用於藍光成 分。壓縮邏輯162-164的輸出被施加至解多工器165，解多工器165將壓縮的資料串流交插至資料通道166中。如上所述，在替代系統中，假定有可利用的資源，可在分別的資料通道上遞送輸出。
圖8提供此處使用的壓縮邏輯的另一實施例的方塊圖，其中，壓縮邏輯是可使用配置暫存器來予以配置的，配置暫存器由使用者或設計者設定以符合特定系統的需求。在本實施例中，輸入資料串流在線200上被遞送至衰減器201，衰減器201將各取樣乘以衰減因數A。衰減器201的輸出被施加至冗餘移除器202。冗餘移除器202的輸出被施加至位元封裝器203，位元封裝器(packer)203將壓縮資料組合成資料結構或封包以在資料通道上傳輸，且可由解壓縮邏輯使用。位元封裝器203的輸出於線210上被施加至輸入/輸出電路。衰減控制邏輯204係耦合至線210，且用以提供由衰減器201所使用的衰減因數A。如同所示，組件202-204包含各別的配置暫存器212、213、214。當然，在某些實施中，單一暫存器儲存用於所有組件的參數。在某些實施例中，該配置可包含繞過(bypassing)冗餘移除器202。
冗餘移除器202可被配置成例如在使用配置暫存器之壓縮操作期間，計算第一階、第二階或更高階的微分。如同配置暫存器所示般，冗餘移除器202可被配置成計算連續取樣或以固定間隔分開的取樣中的微分。位元封裝器203可被配置成符合冗餘移除器的特徵、以及為了使資料 結構適應特定系統實施之目的而配置。對於衰減因數設定為「1」之無損失壓縮、或是對於希望受控制輸出位元率的損失壓縮，使用配置暫存器214來配置衰減控制邏輯204。舉例而言，對於損失壓縮，計數來自位元封裝器203的輸出(或其它序列)的每一個封包的位元數。藉由調整進入的資料的衰減，可調整衰減因數A以維持固定位元率。在又另一模式中，衰減控制邏輯204可被配置成用於小於「1」的固定衰減值。
圖9顯示與上述所述的壓縮邏輯互補的壓縮邏輯之基本組件。壓縮邏輯包含解壓縮區塊250，解壓縮區塊250接收壓縮原始格式影像的資料結構並且施加讀自那些資料結構的參數以產生恢復的原始影像資料。當需要時，解壓縮區塊250的輸出被施加至後置處理區塊251，以便以由主處理器所使用的格式來配置恢復的原始影像資料。舉例而言，對於各成分已被施加分別的壓縮演繹法之原始影像資料，後置處理器251重組原先原始影像資料的三位元組或四位元組。然後，如同離線地執行之區塊252所示般，原始影像資料被施加至DSP功能或是其它影像處理。舉例而言，為了儲存在非依電性記憶體中或是經由網路而被傳送至其它系統，如同系統所需般，施加進一步處理的輸出。
在圖9中所示的實例中，設置影像品質度量區塊253。使用主處理器的資源，影像品質度量區塊253計算與恢復的原始影像資料的品質有關之資訊，例如所謂的結 構類似性SSIM索引資料。搜集的資訊歸還給壓縮系統以供配置參數的調整用，或是提供給使用者以供分析目的用。
圖10顯示可被使用於此處所述的即時壓縮之冗餘移除器，其包含動態配置以及使用者界定配置。至少與用於大形式數位彩色影像之影像資料速率一般快地，通常提供至少2對1的壓縮，參考圖10所述的邏輯提供無損失壓縮。在本實例中，選加地在通過可配置衰減器320之後，輸入取樣x(i)在線300上遞送，其中，它們輸入至FIFO緩衝器301。由用於像素資料的儲存槽之數目所決定的級中的FIFO緩衝器301的深度等於輸入的二維影像中列的長度加上1(對於列N個像素長，儲存槽為0至N)，以儲存來自先前列的取樣。FIFO緩衝器301含有用於所有多工化顏色成分的足夠儲存器，並因而包含用於在各儲存槽處的各成分之分別的暫存器。舉例而言，對於RGB顏色成分，FIFO緩衝器301包含槽1中的R1G1B1、槽2中的R2G2B2等等成分的序列加上用於先前列的第一像素的RGB取樣之槽N的3個儲存位置。對於另一實例，如圖6中所示，當原始影像資料由貝爾矩陣成分構成時，有奇數列交錯的紅光及綠光成分，以及偶數列交錯的綠光及藍光成分。FIFO緩衝器301配置成二個緩衝器，一個緩衝器用以儲存偶數列之紅光及綠光成分，一個緩衝器用以儲存奇數列之綠光及藍光成分，各緩衝器具有二額外的儲存位置以用於先前RG成分的偶數列、或是先前GB成分的奇 數列。替代地，FIFO緩衝器301配置成容納奇數及偶數列(包含用於各列之二額外的儲存位置)，以奇數列資料儲存在第一半部中，偶數列資料儲存在第二半部中。為了簡明起見，圖10顯示每一個像素一個取樣。
因此，FIFO緩衝器301儲存目前列之像素0至像素N-1的取樣。儲存在級N的取樣是來自先前的列且其在列中的位置對應於儲存在用於目前列的級0之取樣的位置。FIFO緩衝器301的至少一級係耦合至多工器302。在所示的實施例中，級1、2、3、及N係耦合至多工器302。多工器由線303上的冗餘選取參數「R_SEL」所控制，冗餘選取參數「R_SEL」是由配置暫存器提供或者由使用者來予以程式化。多工器302的輸出被遞送至差分電路305(或是對於各取樣分類有一個差異電路)，且藉由從FIFO緩衝器301的級0之取樣遞送的目前取樣中減掉多工器302的輸出，多工器302的輸出被用來計算第一階微分。在線306上提供差分電路305的輸出作為一次微分取樣x’(i)。線306係耦合至暫存器307及被用來使用差分電路308以計算第二階微分。差分電路308取得線306上的取樣與暫存器307中的取樣之間的差值以便在線309上提供第二階微分取樣x”(i)。線300、306及309係設置成輸入至多工器310，多工器310選取通道的其中之一作為對編碼器330之線311上的輸出，編碼器330為例如區塊浮點位元封裝器。多工器310回應區塊315中的「最佳微分選取器」。最佳微分選取器315決定具有最少位元的位元序 列，並且，每一個封包決定一次是否使用輸入位元串流x(i)、一次微分x’(i)或二次微分x”(i)作為用於下一封包之壓縮原始格式影像輸出。
圖10中所示的冗餘移除器可被配置成以一維壓縮模式來操作，其中，冗餘選取器造成選取FIFO緩衝器301的第一級1以由差分電路305所使用。在此模式中，在壓縮處理中使用單一列中相鄰像素之間的差異。冗餘移除器也可被配置成藉由線303上的冗餘選取參數而以二維壓縮模式來操作，造成選取FIFO緩衝器301的最後級N以由差分電路305所使用。在此模式中，在壓縮處理中，使用相鄰列上對應的像素之間的差異。對於沿著列之具有某些週期性的原始格式影像、或者是其它具有調變位元串流的之原始格式影像，線303上的冗餘選取參數可被設定成應用FIFO緩衝器301的其它級以供使用於差分操作中。
在其它實施例中，施加三維壓縮。在這些實施例中，系統包含FIFO緩衝器301及格緩衝器301，或是僅有格緩衝器，而能夠格至格差分地操作。
圖11是施加區塊浮點編碼及位元封裝之線上影像壓縮邏輯的實施例之方塊圖，如同此處一併列入參考之我於2009年10月23日共同申請的美國專利申請號12/605,245「BLOCK FLOATING POINT COMPRESSION OF SIGNAL DATA」(現為公開號：US 2011/0099295 A1)中所述般。在本實例中的系統包含處理器400，其執行取樣分類、取樣衰減、冗餘移除等等功能的其中之一或更多。舉例而言， 前置處理器400包含冗餘移除器52(圖3)或是冗餘移除器202(圖8)以提供微分取樣給區塊產生器405。對於另一實例，前置處理器400包含解多工器151(圖5)或解多工器161(圖7)，以將顏色成分分類提供顏色成分給區塊產生器405。假使有一個以上分類的影像資料取樣，則一個區塊產生器提供給各分類，以及下述邏輯區塊402-408提供給各分類。區塊產生器405將N_GROUP取樣的區塊(N_GROUP是取樣的數目)定義為一起編碼。對於多頻譜碼化，可以指派包含每一個顏色平面N_GROUP取樣之區塊。
對於N_GROUP取樣，要用於組之最大指數被編碼，並且，根據下述步驟而將N_GROUP尾數編碼。
對於第一組N_GROUP取樣：
1)例如藉由計算各組的N_GROUP取樣中最大的量值的log2，以決定用於具有最大量值之取樣的指數(底數2)。這表示每一個編碼的取樣之位元數目、或是n_exp(0)。
2)使用S位元，將第一組的指數n_exp(0)絕對編碼，其中，S為每一個取樣的原始位元數。
3)使用每一個取樣n_exp(0)，將N_GROUP取樣編碼。
對於第i組(i>0)的N_GROUP取樣：
4)對具有最大量值的取樣，決定第i指數(底數2)，這表示第i組中每一個編碼取樣的位元數目，或是n_exp(i)；
5)藉由從n_exp(i-1)中減掉n_exp(i)而差分地編碼第i指數，以決定第i差值。使用對應的符記，將第i差值編碼，其中，較短的符記代表更共同的差值，較長的符記代表較不共同的差值。
6)使用每一個取樣n_exp(i)位元，將第i組N_GROUP取樣編碼。
對於第一組取樣，將指數n_exp(0)直接編碼。舉例而言，如下所述地將指數n_exp(0)編碼，其中，S是原先之每一個取樣的位元數：
a. 0：n_exp(0)=0(全部4取樣值都為零)
b. 1：n_exp(0)=2(每一個取樣2位元)
c. 2：n_exp(0)=3(每一個取樣3位元)
d.等等直到S-1：n_exp(0)=2(每一個取樣s位元)
對於第i組，使用前置碼，將指數n_exp(i)差分地編碼，其中，沒有碼字是另一碼字的前言。差分編碼的實例如下所述：
1.計算差值：e_diff=n_exp(i)-n_exp(i-1)
2.將e_diff如下所述地編碼：
a. 0：e_diff=e(i)-e(i-1)
b. 101：e_diff=+1
c. 110：e_diff=-1
d. 1001：e_diff=+2
e. 1110：e_diff=-2
f.等等
指數差值的赫夫曼(Huffman)編碼根據它們的發生頻率而指定不同長度的符記給指數差值。較短的赫夫曼符記指定給指數差值的更經常值。舉例而言，藉由赫夫曼編碼，將指數n_exp(i)直接地編碼，以取代差分編碼。在共同申請的美國專利申請號12/605,245中，說明用於將區塊指數編碼之替代。
圖11是區塊浮點編碼器的實例，其中，N_GROUP=4取樣。如同在步驟1及步驟4中一般，指數計算器402決定N_GROUP取樣之最大指數，n_exp。最大指數對應於具有最大量值的取樣之log底數2。如同在步驟2及步驟5中一般，指數符記產生器404將n_exp值編碼。如同在步驟3及步驟6中一般，尾數封裝器406將用於N_GROUP取樣的尾數編碼，產生具有n_exp位元的尾數。圖12a顯示選取用於經過編碼的尾數之n_exp位元的實例。輸入取樣420以K位元表示。選取取樣420的n_exp下位元以用於編碼。用於取樣的符號位元附加至選取的位元以及結果的位元序列代表編碼器取樣。圖12b顯示將二取樣壓縮在相同區塊之內的實例。對於本實例，以符號量值格式，表示取樣。在區塊中的N_GROUP取樣的最大量值取樣421佔據n_exp尾數位元，以「X」標示。原始之每一個取樣的位元數是K，以0至K-1作索引，以位元K-1代表符號位元「S」。根據步驟3及6，壓縮的取樣422代表n_exp尾數位元「X」、以及符號位元「S」。取樣423代表佔據以「Y」標示的位元之N_GROUP取樣的區塊中的另一取 樣。根據步驟3及6，壓縮的取樣424使用n_exp位元以代表尾數位元「Y」、以及其符號位元「S」。壓縮取樣422及424的尾數具有與未壓縮的取樣421及423的對應尾數相同的整數值，但是，各尾數的位元寬度縮減。回至圖11，多工器408將N_GROUP編碼的尾數集合跟隨在後的編碼指數符記411與符號位元一起組合，以形成代表N_GROUP壓縮取樣之壓縮組410。對於本實例，壓縮組410包含四個封裝的尾數(具有附加的符號位元)412-0、412-1、412-2、及412-3之序列跟隨在後的指數符記411。位元封裝器邏輯包含在區塊408中，並且，將連續的壓縮組410連接以形成壓縮封包的資料部份。替代地，位元封裝器配置指數符記序列，指數符記序列對應於有對應的尾數組跟隨在後的組序列。用於N_GROUP的較佳尺寸是每組三或四個取樣。但是，也使用可變組尺寸。
分別地編碼尾數及指數能提供額外的壓縮及減少壓縮誤差。在用於指數編碼的某些實施例中，將二或更多個指數差值接合地編碼。用於包含超音波、雷達及計算的斷層攝影原始資料等來自各種應用的訊號資料之區塊指數值的統計分析，顯示90%的連續指數具有在{-1,0,+1}的範圍中的差值以及98%的連續指數具有在{-2,-1,0,+1，及+2}的範圍中的差值。將二或更多個連續指數差值接合地編碼能降低每一個編碼的指數之位元數。以四或八個位元用於指數符記的編碼設計示於圖13中。當相較於允許具有任意位元長度的指數編碼時，藉由使用固定數目的指數位元，能 降低壓縮器及解壓縮器的複雜度。圖13的表格列出用於三編碼選項的指數符記值：(A)將二個連續的指數差值接合地編碼，(B)將一個指數差值編碼，以及(C)將一個指數值絕對(或線性)編碼。在第3欄中所示之用於接合編碼選項(A)的連續指數差值{diff(i),diff(i-1)}具有差值的不同組合，其中，第一及第二編碼指數差值都具有三個可能值{-1,0,+1}的其中之一。表格中十六個組合中的九個組合使用各具有4位元的指數符記來編碼。由於一個符記將用於二區塊的指數編碼，所以，指數差值的接合編碼每一個區塊指數使用2位元。列出用於選項(B)之範圍{-2,-1,0,+1,+2}中單一指數差值的編碼及相關連的指數符記。此選項使用表格中十六個組合的五個組合。最後，列出之用於選項(C)的指數值本身n_exp(i)的絕對編碼每一個指數符記使用8位元。在本實施例中，頂部三個位元都設定為1而底部五個位元將指數編碼。頂部三個位元都設定為1表示指數被絕對編碼。五個下位元表示範圍{0,2,3,...,32}中的一個絕對指數，其中，1的指數值不被允許。使用四位元字(4位元單位)的整數會簡化指數編碼及往後的解碼。將圖13的指數編碼施加至來自上述應用的訊號資料顯示下述用於指數編碼選項的比例：
(A)接合編碼選項(2位元/指數)-指數的80%
(B)差分編碼選項(4位元/指數)-指數的18%
(C)線性編碼選項(8位元/指數)-指數的2%
用於各選項的位元/指數的加權平均值表示每一個編碼的 指數之位元的平均數目約為2.48位元。由於每一個編碼指數有N_GROUP各別取樣，所以，當與替代的指數編碼技術相比時，特別是使用每一個尾數一個指數之技術相比時，指數編碼設計提供實質效率。
對於封包的有效率編碼及解碼，用於所有由封包表示之取樣的壓縮資料含在封包之內。絕對編碼封包的第一區塊指數使得第一指數符記獨立於先前的封包。以封包之下一個至最後一個區塊指數，將封包的最後區塊指數差分地編碼。以相同封包內先前的指數差值，將對應於最後的區塊指數及先前的區塊指數之指數差值編碼，但是，不以後續封包的第一指數差值接合編碼。
圖14是包含線上原始格式影像壓縮的影像拍攝處理之簡化流程圖。根據簡化的流程圖，影像拍攝裝置拍攝影像及以影像拍攝率將原始格式的影像資料輸出(1001)。例如藉由將成分分類成分別的串流，將原始格式影像資料前置處理(1002)。接著，以衰減因數「A」，將原始影像資料串流的分別成分衰減(1003)。在某些實施例中，有分別的衰減因數用於各成分串流。經過衰減的原始影像資料被施加至冗餘移除器，在冗餘移除器中，例如使用如上所述的差分演繹法，將冗餘移除(1004)。接著，將資料編碼及組合成壓縮資料的封包以用於傳送或儲存(1005)。在所示的處理中，在小於或等於影像拍攝時窗之時間窗之內，壓縮的原始格式影像檔案在資料通道上傳送，其中，資料傳輸速率比至接收裝置之影像拍攝資料速率還慢(1006)。 在小於或等於影像拍攝時間窗之時間窗之內，接收裝置接收及儲存壓縮的原始格式影像(1007)。
步驟1001至1007線上地發生，這是在以跟上影像拍攝處理之方式，原始格式影像正傳送出感測器並被數位地取樣時。在壓縮原始格式影像被儲存之後，其被保持以用於往後的離線處理。因此，在此舉例說明的流程中，稍後，壓縮的原始格式影像資料被讀取及解壓縮以形成恢復的原始影像資料(108)。在色彩空間成分於分別串流中被分類及壓縮之實施例中，像素值再組合成希望的原始影像格式。藉由施加數位訊號處理演繹法，以處理依此方式恢復的原始影像資料(1009)。舉例而言，數位訊號處理演繹法被施加至恢復的原始格式影像，以將其轉換成例如JPEG和H.264等工業標準格式，或是執行例如Bondar等的美國專利7,372,486中所述之子波轉換處理等其它轉換域壓縮技術。
圖14因而顯示影像拍攝處理的實施例，其包含原始影像資料的第一線上壓縮、及提供恢復原的始影像資料之第二離線解壓縮，隨後是恢復的原始影像資料的離線之進一步處理。
也以使用壓縮性能資料的回饋以控制壓縮處理之方式，實施圖14中所示的壓縮處理(1011)。因此，舉例而言，藉由計數每一個封包或其它序列的位元數目，處理在區塊1005組合的封包以辨識壓縮效率。關於壓縮效率的此資訊應用於處理中，以用於前置處理或是用於控制衰 減因數「A」。在某些實施例中，線上地施加壓縮效率回饋。
而且，在從壓縮的原始格式影像恢復影像資料之後，執行品質評估以提供關於壓縮性能的回饋。為了回應品質評估，舉例而言，藉由改變處理序列、改變衰減因數A、或是改變冗餘移除演繹法，以改變壓縮演繹法。
圖10中所示的邏輯選加地包含額外的組件，例如設有配置暫存器及選項之衰減控制邏輯，如上所述，使用FPGA電路以實施圖10中所示的邏輯。對於使用FPGA電路的實施，此處所述的技術包含記憶體，記憶體以FPGA區塊的配置檔案之形式來儲存機器可讀取壓縮邏輯的規格、以及壓縮邏輯的機器可讀取規格。使用電腦輔助設計工具說明來說明選加地包含例如上述的衰減控制邏輯的額外組件之圖10中所示的電路、以及解壓縮邏輯，並且，以它們的表現、暫存器傳送、邏輯成分、電晶體、佈局幾何、及/或其它特徵之觀點而言，將其表示成嵌入於各種電腦可讀取媒體中的資料及/或指令。以這些表現、暫存器傳送、邏輯成分、電晶體、佈局幾何及/或其它特徵之形成，實施機器可讀取壓縮邏輯的規格、以及機器可讀取解壓縮邏輯的規格。實施這些電路表示之檔案及其它物件的格式包含但不限於支援例如C、Verilog、及VHDL等行為語言的格式、支援例如RTL之暫存器等級說明語言之格式、以及支援例如GDSII、GDSIII、GDSIV、CIF、MEBES等幾何說明語言的格式、以及任何其它適合的格 式語言。可以具體實施這些格式化的資料及/或指令之包含電腦可讀取媒體之記憶體包含但不限於各種形式的電腦儲存媒體(例如，光學、磁性、或半導體儲存媒體，不論是以該方式獨立地散佈、或是「原樣地」儲存在作業系統中)。
當經由一或更多個電腦可讀取媒體而在電腦系統中被接收時，由電腦系統內的處理實體(例如，一或更多個處理器)，配合一或更多個其它電腦程式的執行，處理上述電路的此資料及/或指令為基礎的表示，以產生這些電路的實體表現之表示或影像，電腦程式包含但不限於網路連線表產生程式、配置及路由程式等等。舉例而言，藉由能夠產生用以在裝置製程中形成電路的各式組件的其中之一或更多個遮罩，這些表示或影像之後用於裝置製造。
雖然已說明及顯示本發明的較佳實施例，將清楚知道本發明不僅限於這些實施例。在不悖離如申請專利範圍中所述的本發明的精神及範圍之下，習於此技藝者，將清楚知道多個修改、改變、變異、替代及均等性。
10‧‧‧影像拍攝裝置
11‧‧‧影像處理器
12‧‧‧記憶體
13‧‧‧第一資料通道
14‧‧‧第二資料通道
15‧‧‧暫存器
20‧‧‧鏡頭
21‧‧‧濾光器
22‧‧‧影像感測器
23‧‧‧通道壓縮器
24‧‧‧配置暫存器
25‧‧‧輸入/輸出收發器
29‧‧‧光
30‧‧‧影像拍攝裝置
31‧‧‧影像處理器
32‧‧‧記憶體
33‧‧‧第一資料通道
34‧‧‧第二資料通道
35‧‧‧暫存器
40‧‧‧鏡頭
41‧‧‧濾光器
42‧‧‧影像感測器
45‧‧‧輸入/輸出結構
50‧‧‧光
51‧‧‧衰減器
52‧‧‧冗餘移除器
53‧‧‧位元封裝器邏輯
54‧‧‧壓縮度量邏輯
100‧‧‧影像拍攝裝置
101‧‧‧主處理器
102‧‧‧記憶體
103‧‧‧非依電性儲存器
104‧‧‧資料通道
110‧‧‧輸入/輸出埠
111‧‧‧解壓縮邏輯
112‧‧‧數位訊號處理核心
113‧‧‧輸入/輸出埠
151‧‧‧解多工器
152‧‧‧壓縮邏輯
153‧‧‧壓縮邏輯
154‧‧‧壓縮邏輯
155‧‧‧多工器
156‧‧‧資料通道
161‧‧‧解多工器
162‧‧‧壓縮邏輯
163‧‧‧壓縮邏輯
164‧‧‧壓縮邏輯
165‧‧‧解多工器
166‧‧‧資料通道
201‧‧‧衰減器
202‧‧‧冗餘移除器
203‧‧‧位元封裝器
204‧‧‧衰減控制邏輯
212‧‧‧暫存器
213‧‧‧暫存器
214‧‧‧暫存器
250‧‧‧解壓縮區塊
251‧‧‧後置處理區塊
253‧‧‧影像品質度量區塊
301‧‧‧緩衝器
302‧‧‧多工器
305‧‧‧差分電路
307‧‧‧暫存器
308‧‧‧差分電路
310‧‧‧多工器
315‧‧‧最佳微分選取器
320‧‧‧衰減器
330‧‧‧編碼器
400‧‧‧處理器
402‧‧‧指數計算器
404‧‧‧指數符記產生器
405‧‧‧區塊產生器
406‧‧‧尾數封包器
408‧‧‧多工器
421‧‧‧未壓縮的取樣
422‧‧‧未壓縮的取樣
423‧‧‧未壓縮的取樣
424‧‧‧壓縮的取樣
圖1是包含此處所述的壓縮邏輯之影像拍攝系統的簡化方塊圖。
圖2是包含此處所述的壓縮邏輯之影像拍攝系統的替代實施之簡化圖。
圖3是適用於此處所述的影像拍攝系統之壓縮邏輯的 方塊圖。
圖4是顯示包含壓縮邏輯的影像拍攝系統的一個實施例之簡化方塊圖。
圖5是根據多頻譜碼化的格式而分類影像資料成分之對原始格式影像施加壓縮邏輯的簡化圖。
圖6顯示影像拍攝系統中施加的貝爾矩陣的配置。
圖7是施加至原始格式影像的壓縮邏輯之簡化圖，壓縮邏輯將包括貝爾矩陣馬賽克碼化的影像資料成分分類。
圖8顯示適用於此處所述的系統中的可配置壓縮邏輯之邏輯配置。
圖9是方塊圖，顯示用於解壓縮拍攝的壓縮原始影像、及對解壓縮的影像施加進一步的數位訊號處理功能之系統的組件。
圖10是適用於此處所述的影像拍攝系統之冗餘移除器邏輯。
圖11是對此處所述的影像壓縮施加的區塊浮點編碼器的方塊圖。
圖12a顯示用於編碼的尾數之選取n_exp位元的實例。
圖12b顯示在相同區塊內壓縮二取樣的實例。
圖13是以四或八位元用於指數符記之編碼設計的表格。
圖14是包含此處所述的原始格式影像壓縮之影像拍攝處理的簡化流程圖。
10‧‧‧影像拍攝裝置
11‧‧‧影像處理器
12‧‧‧記憶體
13‧‧‧第一資料通道
14‧‧‧第二資料通道
15‧‧‧暫存器
20‧‧‧鏡頭
21‧‧‧濾光器
22‧‧‧影像感測器
23‧‧‧通道壓縮器
24‧‧‧配置暫存器
25‧‧‧輸入/輸出收發器
29‧‧‧光

Claims (64)

  1. 一種方法，包括：在影像拍攝時間窗之內，從影像拍攝裝置接收原始格式影像，該原始格式影像包含代表影像的多個像素取樣；在小於或等於該影像拍攝時間窗之時間間隔期間，僅使用時域壓縮處理，將該原始格式影像壓縮，以形成壓縮的原始格式影像；在具有小於或等於該影像拍攝時間窗之持續時間的傳送窗之內，將該壓縮的原始格式影像傳送通過資料通道而至接收裝置；在該傳送之後，將該壓縮的原始格式影像解壓縮，以形成恢復的原始格式影像；以及將該數位訊號處理施加至該恢復的原始格式影像。
  2. 如申請專利範圍第1項之方法，其中，該接收裝置是積體電路，並且包含：在該解壓縮之前，將該壓縮原始格式影像從該接收裝置傳送至記憶體，以及，從該記憶體讀取該壓縮的原始格式影像以供解壓縮用，且其中，在該接收裝置上執行該解壓縮。
  3. 如申請專利範圍第1項之方法，其中，該接收裝置是記憶體，並且包含：在該解壓縮之前，從該記憶體讀取該壓縮的原始格式影像。
  4. 如申請專利範圍第1項之方法，其中，該數位訊號處理包含該恢復的原始格式影像之轉換域影像壓縮。
  5. 如申請專利範圍第1項之方法，包含施加一或更多 個壓縮控制參數至該壓縮，該壓縮控制參數是根據該壓縮原始格式影像的一或更多個特徵。
  6. 如申請專利範圍第1項之方法，包含施加一或更多個壓縮控制參數至該壓縮，該壓縮控制參數是根據該恢復的原始格式影像的一或更多個特徵。
  7. 如申請專利範圍第1項之方法，其中，該原始格式影像包括RGB編碼資料。
  8. 如申請專利範圍第1項之方法，其中，該原始格式影像包括YUV編碼資料。
  9. 如申請專利範圍第1項之方法，其中，該原始格式影像包括貝爾矩陣馬賽克資料。
  10. 如申請專利範圍第1項之方法，其中，該原始格式影像包括馬賽克化編碼資料，其中，該數位訊號處理包含解馬賽克及影像壓縮。
  11. 如申請專利範圍第1項之方法，包含以第一積體電路來壓縮該多個像素取樣，且其中，該接收裝置是第二積體電路，將該壓縮的原始格式影像儲存於該第二積體電路上的記憶體中。
  12. 如申請專利範圍第1項之方法，包含以第一積體電路壓縮該多個像素取樣，且其中，該接收裝置是第二積體電路，並且包含：在該解壓縮之前，將該壓縮的原始格式影像從該接收裝置傳送至包含記憶體的第三積體電路，以及，從該第三積體電路讀取該壓縮的原始格式影像以供解壓縮用，且其中，該解壓縮由該接收裝置上的一或多個 處理器所執行。
  13. 如申請專利範圍第1項之方法，包含提供包括多個壓縮模式的壓縮邏輯、辨識該多個壓縮模式的特定壓縮模式，且其中，該壓縮包含施加該特定壓縮模式。
  14. 如申請專利範圍第13項之方法，其中，該多個壓縮模式包含至少一無損失壓縮模式及至少一損失壓縮模式。
  15. 如申請專利範圍第13項之方法，其中，該多個壓縮模式包含至少一一維壓縮模式及至少一二維壓縮模式。
  16. 如申請專利範圍第13項之方法，其中，該多個壓縮模式包含至少一一維壓縮模式及至少一三維壓縮模式。
  17. 如申請專利範圍第1項之方法，其中，該原始格式影像包括多個色彩空間成分，並且該多個像素取樣包括該多個色彩空間成分的值，且其中，該壓縮包含將該多個像素取樣分類成該多個色彩空間成分的子串流，以及，對該子串流施加壓縮處理。
  18. 如申請專利範圍第17項之方法，包含施加不同的衰減因數給該子串流。
  19. 如申請專利範圍第1項之方法，其中，使用區塊浮點壓縮，以執行該壓縮該原始格式影像。
  20. 一種方法，包括：在影像拍攝時間窗之內，在包含影像拍攝裝置的第一積體電路中，產生原始格式影像，該原始格式影像包含代表影像的多個像素取樣； 在小於或等於該影像拍攝時間窗的時間間隔期間，壓縮該原始格式影像，以形成壓縮的原始格式影像；在具有小於或等於該影像拍攝時間窗的持續時間之傳送窗之內，將該壓縮的原始格式影像傳送經過一或多個串流列資料通道而至第二積體電路；在該傳送之後，在該第二積體電路，將該壓縮的原始格式影像解壓縮，以形成恢復的原始格式影像；以及在該第二積體電路，對該恢復的原始格式影像施加數位訊號處理。
  21. 如申請專利範圍第20項之方法，其中，僅使用時域壓縮邏輯，執行該壓縮該原始格式影像。
  22. 一種方法，包括：以影像資料速率，在影像拍攝時間窗之內，從影像拍攝裝置接收原始格式影像，該原始格式影像包含代表多頻譜碼化的多個像素取樣；在小於或等於該影像拍攝時間窗之時間間隔期間，使用時域壓縮處理，將該原始格式影像壓縮，以形成壓縮的原始格式影像；以及傳送該壓縮的原始格式影像通過資料通道而至接收裝置，其中，該資料通道的資料傳送速率小於該影像資料速率，其中，該原始格式影像的該多頻譜碼化包括多個色彩空間成分，並且該多個像素取樣包括該多個色彩空間成分的值，且其中，該壓縮包括將該多個像素取樣分類成多個色彩空間成分的子串流，以及，對該子串流施加壓縮處 理。
  23. 如申請專利範圍第22項之方法，包含施加不同的衰減因數至該子串流。
  24. 如申請專利範圍第22項之方法，其中，使用區塊浮點壓縮，以執行該壓縮該原始格式影像。
  25. 如申請專利範圍第22項之方法，其中，僅使用時域壓縮邏輯，以執行該壓縮該原始格式影像。
  26. 一種方法，包括：在小於或等於影像拍攝裝置的影像拍攝時間窗之時間間隔內，自資料通道，從具有該影像拍攝時間窗的該影像拍攝裝置，接收壓縮的原始格式影像，該壓縮的原始格式影像代表包含代表影像的多個像素取樣之原始格式影像；儲存該壓縮的原始格式影像；根據時域壓縮程序的參數，在積體電路中解壓縮該壓縮的原始格式影像，以形成恢復的原始格式影像；以及在該積體電路中施加數位訊號處理至該恢復的原始格式影像。
  27. 如申請專利範圍第26項之方法，其中，該原始格式影像包括多個色彩空間成分，並且該多個像素取樣包括該多個色彩空間成分的值，且其中，該壓縮的原始格式影像包含用於分別的色彩空間成分之影像取樣的子串流，以及，該解壓縮包含將該子串流解壓縮以及再組合該多個像素取樣。
  28. 如申請專利範圍第26項之方法，其中，使用區塊 浮點解壓縮，以執行該解壓縮。
  29. 一種設備，包括：影像拍攝裝置，包含或適以被耦合至影像感測器，該影像拍攝裝置係配置成在影像拍攝時間窗內產生原始格式影像，該原始格式影像包含代表該影像拍攝時間窗期間感測的影像的多個像素取樣，該影像拍攝裝置包含壓縮邏輯以及資料傳送介面，該壓縮邏輯僅使用時域壓縮處理而在具有等於或小於該影像拍攝時間窗的持續時間之第一時間間隔內，壓縮該原始格式影像以形成壓縮的原始格式影像，並且該資料傳送介面在具有小於或等於該影像拍攝時間窗的持續時間的第二時間間隔內，傳送該壓縮的原始格式影像經過資料通道而至接收裝置；以及該接收裝置，包含具有足以儲存該壓縮的原始格式影像之容量的記憶體、存取該記憶體中該壓縮的原始格式影像及將該壓縮的原始格式影像解壓縮以形成恢復的原始格式影像之邏輯、以及施加數位訊號處理至該恢復的原始格式影像之邏輯。
  30. 如申請專利範圍第29項之設備，其中，該接收裝置包含積體電路，該積體電路包含執行該解壓縮的邏輯以及在該解壓縮之前對該記憶體傳輸該壓縮的原始格式影像或從該記憶體傳輸該壓縮的原始格式影像。
  31. 如申請專利範圍第30項之設備，其中，該積體電路包含配置成施加該數位訊號處理的處理器。
  32. 如申請專利範圍第29項之設備，其中，該數位訊 號處理包含該恢復的原始格式影像的轉換域影像壓縮。
  33. 如申請專利範圍第29項之設備，其中，根據該壓縮的原始格式影像的一或更多個特徵，該壓縮邏輯回應一或更多個壓縮控制參數。
  34. 如申請專利範圍第29項之設備，其中，根據該恢復的原始格式影像的一或更多個特徵，該壓縮邏輯回應一或更多個壓縮控制參數。
  35. 如申請專利範圍第29項之設備，其中，該原始格式影像包括RGB編碼資料。
  36. 如申請專利範圍第29項之設備，其中，該原始格式影像包括YUV編碼資料。
  37. 如申請專利範圍第29項之設備，其中，該原始格式影像包括貝爾矩陣馬賽克資料。
  38. 如申請專利範圍第29項之設備，其中，該原始格式影像包括馬賽克化編碼資料，其中，該數位訊號處理包含解馬賽克及影像壓縮。
  39. 如申請專利範圍第29項之設備，其中，該影像拍攝裝置是第一積體電路的組件，並且該接收裝置包括第二積體電路，該第二積體電路係耦合至與該第一積體電路通訊的該資料通道。
  40. 如申請專利範圍第29項之設備，其中，該接收裝置包含耦合至該資料通道的第一積體電路及包含該記憶體的第二積體電路。
  41. 如申請專利範圍第29項之設備，其中，該壓縮邏 輯施加多個壓縮模式，該壓縮邏輯回應配置參數以辨識該多個壓縮模式的特別壓縮模式。
  42. 如申請專利範圍第41項之設備，其中，該多個壓縮模式包含至少一無損失壓縮模式及至少一損失壓縮模式。
  43. 如申請專利範圍第41項之設備，其中，該多個壓縮模式包含至少一一維壓縮模式及至少一二維壓縮模式。
  44. 如申請專利範圍第41項之設備，其中，該多個壓縮模式包含至少一一維壓縮模式及至少一三維壓縮模式。
  45. 如申請專利範圍第29項之設備，其中，該原始格式影像包括多個色彩空間成分，並且該多個像素取樣包括該多個色彩空間成分的值，且其中，該壓縮邏輯包含將該多個像素取樣分類成共同的多個色彩空間成分的子串流以及對該子串流施加壓縮處理之邏輯。
  46. 如申請專利範圍第45項之設備，其中，該壓縮邏輯包含施加不同的衰減因數給該子串流之電路。
  47. 如申請專利範圍第29項之設備，其中，該壓縮邏輯施加區塊浮點壓縮。
  48. 一種設備，包括：影像拍攝裝置，係配置成在影像拍攝時間窗內以影像資料速率產生原始格式影像，該原始格式影像包含代表多頻譜碼化的多個像素取樣，該影像拍攝裝置包含壓縮邏輯及資料傳送介面，該壓縮邏輯壓縮該原始格式影像以至少與該影像資料速率一般快地形成壓縮的原始格式影像，該 資料傳送介面在等於或小於該影像拍攝時間窗的時間窗之內，傳送該壓縮的原始格式影像經過資料通道而至接收裝置；以及其中，該原始格式影像的該多頻譜碼化包括多個色彩空間參數，並且該多個像素取樣包括該多個色彩空間參數的值，且其中，該壓縮邏輯包含將該像素取樣分類成共同色彩空間參數的子串流以及對該子串流僅施加時域壓縮處理的邏輯。
  49. 如申請專利範圍第48項之設備，其中，該壓縮邏輯包含電路以施加不同的衰減因數至該子串流。
  50. 如申請專利範圍第48項之設備，其中，該壓縮邏輯施加區塊浮點壓縮。
  51. 一種設備，包括：影像拍攝裝置，包含或適以被耦合至影像感測器，該影像拍攝裝置係配置成在影像拍攝時間窗內產生原始格式影像，該原始格式影像包含代表該影像拍攝時間窗期間感測的影像的多個像素取樣，該影像拍攝裝置包含壓縮邏輯以及資料傳送介面，該壓縮邏輯僅使用時域壓縮而在具有等於或小於該影像拍攝時間窗的持續時間之第一時間間隔內，壓縮該原始格式影像以形成壓縮的原始格式影像，並且該資料傳送介面在具有小於或等於該影像拍攝時間窗的持續時間的第二時間間隔內，傳送該壓縮的原始格式影像經過資料通道而至接收裝置。
  52. 如申請專利範圍第51項之設備，其中，該壓縮邏 輯施加區塊浮點壓縮。
  53. 一種設備，包括：接收裝置，包含用於資料通道的介面，以便在等於或小於該影像拍攝裝置的影像拍攝時間窗之時間間隔內，自該資料通道，從具有該影像拍攝時間窗的該影像拍攝裝置接收壓縮的原始格式影像，該壓縮的原始格式影像代表時域壓縮的、原始格式影像，該原始格式影像包含代表影像之多個像素取樣；以及該接收裝置，包含具有足以儲存該壓縮的原始格式影像之容量的記憶體、存取該記憶體中該壓縮的原始格式影像及將該壓縮的原始格式影像解壓縮以形成恢復的原始格式影像之邏輯、以及施加數位訊號處理至該恢復的原始格式影像之邏輯。
  54. 如申請專利範圍第53項之設備，其中，該原始格式影像包括多個色彩空間成分，並且該多個像素取樣包括該多個色彩空間成分的值，且其中，該壓縮的原始格式影像包含用於分別的色彩空間成分之影像取樣的子串流，且其中，將該壓縮的原始格式影像解壓縮之該邏輯包含從該子串流再組合該多個像素取樣之邏輯。
  55. 如申請專利範圍第53項之設備，其中，使用區塊浮點壓縮以壓縮該壓縮的原始格式影像。
  56. 如申請專利範圍第53項之設備，其中，僅使用時域壓縮，壓縮該壓縮的原始格式影像。
  57. 如申請專利範圍第53項之設備，其中，該接收裝 置包含耦合至該資料通道的第一積體電路及包含該記憶體的第二積體電路。
  58. 如申請專利範圍第53項之設備，其中，該接收裝置包含耦合至該資料通道的第一積體電路及包含該記憶體的第二積體電路，且其中，存取該記憶體中該壓縮的原始格式影像以及解壓縮該壓縮的原始格式影像之該邏輯是在該第一積體電路上。
  59. 如申請專利範圍第53項之設備，其中，該接收裝置包含耦合至該資料通道的第一積體電路及包含該記憶體的第二積體電路，且其中，施加數位訊號處理至該恢復的原始格式影像之該邏輯是在該第一積體電路上。
  60. 如申請專利範圍第53項之設備，其中，該數位訊號處理包含該恢復的原始格式影像的轉換域影像壓縮。
  61. 一種記憶體，儲存用來壓縮以影像資料速率拍攝的原始格式影像之機器可讀取壓縮區塊的規格，該原始格式影像包含代表多頻譜碼化的多個像素取樣，該壓縮區塊包括：壓縮邏輯，僅以時域壓縮處理來壓縮該原始格式影像，以至少與該影像資料速率一般快地形成壓縮的原始格式影像，其中，該原始格式影像的該多譜頻碼化包括多個色彩空間成分，並且該多個像素取樣包括該多個色彩空間成分的值，且其中，該壓縮原始格式影像包含用於分別的色彩空間成分之該多個影像取樣的子串流。
  62. 如申請專利範圍第61項之記憶體，其中，使用區 塊浮點壓縮，以壓縮該壓縮的原始格式影像。
  63. 一種記憶體，儲存用於解壓縮時域壓縮的原始格式影像之機器可讀取解壓縮區塊的規格，該壓縮的原始格式影像包含代表多頻譜碼化的多個像素取樣之原始格式影像，該解壓縮區塊包括：解壓縮邏輯，將該壓縮的原始格式影像解壓縮以形成恢復的原始格式影像，其中，該原始格式影像的該多頻譜碼化包括多個色域彩空間分，並且該多個像素取樣包括該多個色彩空間成分的值，且其中，該壓縮的影像資料包含用於分別的色彩空間成分之多個影像取樣的子串流，且其中，解壓縮該壓縮的影像資料之該解壓縮邏輯包含從子串流再組合該多個像素取樣的邏輯。
  64. 如申請專利範圍第63項之記憶體，其中，使用區塊浮點壓縮，以壓縮該壓縮的原始格式影像。
TW101148995A 2012-01-25 2012-12-21 原始格式影像資料處理技術 TWI555386B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/358,511 US9106936B2 (en) 2012-01-25 2012-01-25 Raw format image data processing

Publications (2)

Publication Number Publication Date
TW201345263A true TW201345263A (zh) 2013-11-01
TWI555386B TWI555386B (zh) 2016-10-21

Family

ID=48796916

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101148995A TWI555386B (zh) 2012-01-25 2012-12-21 原始格式影像資料處理技術

Country Status (3)

Country Link
US (1) US9106936B2 (zh)
TW (1) TWI555386B (zh)
WO (1) WO2013112257A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899831A (zh) * 2015-06-09 2015-09-09 天津航天中为数据系统科技有限公司 一种无人机影像数据实时处理方法及系统

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426430B2 (en) * 2012-03-22 2016-08-23 Bounce Imaging, Inc. Remote surveillance sensor apparatus
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US10154177B2 (en) * 2012-10-04 2018-12-11 Cognex Corporation Symbology reader with multi-core processor
GB2506649A (en) * 2012-10-05 2014-04-09 Bae Systems Plc Hyperspectral image processing using estimated global covariance and mean
GB2506687B (en) 2012-10-08 2018-02-07 Bae Systems Plc Hyperspectral imaging of a moving scene
US9274951B2 (en) 2013-05-31 2016-03-01 Altera Corporation Cache memory controller for accelerated data transfer
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
JP6327939B2 (ja) * 2014-05-14 2018-05-23 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6483966B2 (ja) * 2014-07-04 2019-03-13 キヤノン株式会社 画像読取装置、画像読取装置を含むシステム、画像読取装置により実行される方法、およびプログラム
JP6420176B2 (ja) * 2015-02-26 2018-11-07 ルネサスエレクトロニクス株式会社 通信システムおよび通信装置
US9727947B2 (en) 2015-03-23 2017-08-08 Microsoft Technology Licensing, Llc Downscaling a digital raw image frame
US20170291261A1 (en) * 2015-06-12 2017-10-12 Ashok Chand Mathur Method And Apparatus Of Very Much Faster 3D Printer
EP3320683A4 (en) * 2015-07-30 2018-12-05 Zhejiang Dahua Technology Co., Ltd Methods and systems for image compression
US9954550B1 (en) * 2016-06-22 2018-04-24 EMC IP Holding Company LLC Content-aware compression of data using window-based selection from multiple prediction functions
US10148871B2 (en) 2016-12-07 2018-12-04 Microsoft Technology Licensing, Llc Advanced raw conversion to produce high dynamic range, wide color gamut output
WO2018121775A1 (en) * 2016-12-30 2018-07-05 SZ DJI Technology Co., Ltd. System and methods for feedback-based data transmission
CN107113441B (zh) 2016-12-30 2019-07-26 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端
CN107005714B (zh) 2016-12-30 2019-05-14 深圳市大疆创新科技有限公司 图像处理方法与设备
CN106897979B (zh) * 2017-03-31 2020-08-25 联想(北京)有限公司 图像处理方法及系统、电子设备
US10609172B1 (en) 2017-04-27 2020-03-31 Chicago Mercantile Exchange Inc. Adaptive compression of stored data
KR20200088380A (ko) * 2017-11-15 2020-07-22 버터플라이 네트워크, 인크. 초음파 장치들 및 초음파 디바이스들을 제조하기 위한 방법들
US11729403B2 (en) 2017-12-05 2023-08-15 Intel Corporation Lossless pixel compression based on inferred control information
US10972643B2 (en) 2018-03-29 2021-04-06 Microsoft Technology Licensing, Llc Camera comprising an infrared illuminator and a liquid crystal optical filter switchable between a reflection state and a transmission state for infrared imaging and spectral imaging, and method thereof
US10924692B2 (en) * 2018-05-08 2021-02-16 Microsoft Technology Licensing, Llc Depth and multi-spectral camera
JP2021170689A (ja) * 2018-06-01 2021-10-28 ソニーグループ株式会社 画像処理装置および方法
US11615307B2 (en) 2018-12-06 2023-03-28 MIPS Tech, LLC Neural network data computation using mixed-precision
US11893470B2 (en) 2018-12-06 2024-02-06 MIPS Tech, LLC Neural network processing using specialized data representation
DE102020121617A1 (de) * 2020-08-18 2022-02-24 Koenig & Bauer Ag Verfahren zur fotografischen Abbildung eines auf einem Bedruckstoff aufgebrachten Druckbildes
CN116193138B (zh) * 2023-04-21 2023-07-21 北京象帝先计算技术有限公司 数据处理系统、电子组件及电子设备

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172227A (en) 1990-12-10 1992-12-15 Eastman Kodak Company Image compression with color interpolation for a single sensor image system
US5668596A (en) 1996-02-29 1997-09-16 Eastman Kodak Company Digital imaging device optimized for color performance
US5675382A (en) 1996-04-08 1997-10-07 Connectix Corporation Spatial compression and decompression for video
US6031964A (en) 1996-06-20 2000-02-29 Apple Computer, Inc. System and method for using a unified memory architecture to implement a digital camera device
US6256347B1 (en) 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system
US5917542A (en) 1997-02-18 1999-06-29 Eastman Kodak Company System and method for digital image capture and transmission
US6157740A (en) 1997-11-17 2000-12-05 International Business Machines Corporation Compression/decompression engine for enhanced memory storage in MPEG decoder
WO2000002384A2 (en) 1998-07-06 2000-01-13 Koninklijke Philips Electronics N.V. Image data compression
US6320594B1 (en) 1998-07-21 2001-11-20 Gateway, Inc. Circuit and method for compressing 10-bit video streams for display through an 8-bit video port
US6442302B2 (en) * 1998-09-17 2002-08-27 Xerox Corporation Rotated read-out of JPEG compressed images
GB9904770D0 (en) 1999-03-02 1999-04-28 Canon Kk Apparatus and method for compression of data
US7372485B1 (en) 1999-06-08 2008-05-13 Lightsurf Technologies, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
KR20010076123A (ko) 2000-01-22 2001-08-11 구자홍 색향상 처리 장치
US7649947B2 (en) 2001-06-05 2010-01-19 Qualcomm Incorporated Selective chrominance decimation for digital images
JP2003046758A (ja) 2001-07-31 2003-02-14 Canon Inc 撮像装置、情報処理装置、画像処理装置およびその方法、並びに、画像処理システム
US7142251B2 (en) * 2001-07-31 2006-11-28 Micronas Usa, Inc. Video input processor in multi-format video compression system
JP2003116104A (ja) * 2001-10-02 2003-04-18 Sony Corp 情報処理装置及び情報処理方法
US8312504B2 (en) * 2002-05-03 2012-11-13 Time Warner Cable LLC Program storage, retrieval and management based on segmentation messages
JP2004040548A (ja) * 2002-07-04 2004-02-05 Minolta Co Ltd 撮像装置
JP2004120529A (ja) 2002-09-27 2004-04-15 Kyocera Mita Corp 画像処理装置及び画像形成装置
US7088777B2 (en) 2002-11-22 2006-08-08 Microsoft Corp. System and method for low bit rate watercolor video
SE526226C2 (sv) * 2003-12-19 2005-08-02 Ericsson Telefon Ab L M Bildbehandling
US7394410B1 (en) * 2004-02-13 2008-07-01 Samplify Systems, Inc. Enhanced data converters using compression and decompression
US7009533B1 (en) * 2004-02-13 2006-03-07 Samplify Systems Llc Adaptive compression and decompression of bandlimited signals
US7088276B1 (en) * 2004-02-13 2006-08-08 Samplify Systems Llc Enhanced data converters using compression and decompression
KR20060056558A (ko) 2004-11-22 2006-05-25 주식회사 네빌소프트 영상의 인코딩 및 디코딩 방법
US7477789B2 (en) * 2004-11-24 2009-01-13 Pixart Imaging Inc. Video image capturing and displaying method and related system
US7792370B2 (en) 2005-03-18 2010-09-07 Sharp Laboratories Of America, Inc. Residual color transform for 4:2:0 RGB format
WO2006113057A2 (en) 2005-04-15 2006-10-26 Thomson Licensing Down-sampling and up-sampling processes for chroma samples
KR20060122530A (ko) 2005-05-27 2006-11-30 삼성전자주식회사 표본 추출비가 다른 화상데이터의 버스트 전송이 가능한화상처리장치 및 그 버스트 전송방법
US7903306B2 (en) 2005-07-22 2011-03-08 Samsung Electronics Co., Ltd. Sensor image encoding and/or decoding system, medium, and method
US20100033496A1 (en) 2005-10-18 2010-02-11 Nxp B.V. Methods and Storing Colour Pixel Data and Driving a Display, Means for Preforming Such Methods, and Display Apparatus Using the Same
JP4649355B2 (ja) * 2006-03-27 2011-03-09 富士通株式会社 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置
US7554557B2 (en) * 2006-03-28 2009-06-30 Silicon Integrated Systems Corp. Device and method for image compression and decompression
KR101292039B1 (ko) 2006-09-15 2013-08-01 엘지디스플레이 주식회사 표시장치용 영상데이터 처리 방법
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
US8466973B2 (en) 2007-01-22 2013-06-18 St-Ericsson Sa Computer device and method for adapting the compression rate of digital images
GB0716158D0 (en) 2007-08-17 2007-09-26 Imagination Tech Ltd Data compression
JP2009055463A (ja) 2007-08-28 2009-03-12 Kyocera Mita Corp 画像形成装置
US8401071B2 (en) 2007-12-19 2013-03-19 Sony Corporation Virtually lossless video data compression
JP2009159359A (ja) 2007-12-27 2009-07-16 Samsung Techwin Co Ltd 動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラム
US20090304073A1 (en) 2008-06-06 2009-12-10 Mohammad Usman Systems and Methods for the Bandwidth Efficient Processing of Data
CN101360243A (zh) * 2008-09-24 2009-02-04 腾讯科技（深圳）有限公司 基于反馈参考帧的视频通信系统及方法
US8094931B2 (en) 2008-12-09 2012-01-10 Himax Technologies Limited Method of color components compression
JP2010268335A (ja) 2009-05-18 2010-11-25 Panasonic Corp 記録再生システム
US8301803B2 (en) 2009-10-23 2012-10-30 Samplify Systems, Inc. Block floating point compression of signal data
US8605166B2 (en) 2009-12-25 2013-12-10 Samsung Electronics Co., Ltd. Photographing apparatus, photographing method and recording medium
JP5603641B2 (ja) * 2010-04-23 2014-10-08 キヤノン株式会社 撮像装置、画像処理装置、制御方法及びプログラム
JP6457488B2 (ja) * 2013-04-15 2019-01-23 ロッサト、ルカ ハイブリッド上位互換性のあるデータストリームをデコードするための方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899831A (zh) * 2015-06-09 2015-09-09 天津航天中为数据系统科技有限公司 一种无人机影像数据实时处理方法及系统
CN104899831B (zh) * 2015-06-09 2019-05-24 天津航天中为数据系统科技有限公司 一种无人机影像数据实时处理方法及系统

Also Published As

Publication number Publication date
US9106936B2 (en) 2015-08-11
TWI555386B (zh) 2016-10-21
WO2013112257A1 (en) 2013-08-01
US20130188065A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
TWI555386B (zh) 原始格式影像資料處理技術
JP5695080B2 (ja) 圧縮画像データの解像度ベースのフォーマット
US10326904B2 (en) On-chip image sensor data compression
US6556242B1 (en) Dual mode signal processing system for video and still image data
US8098941B2 (en) Method and apparatus for parallelization of image compression encoders
CN101990095B (zh) 压缩文件生成方法和设备、相关的相机模块和终端
KR102666666B1 (ko) 이미지 부호화 장치 및 이미지 복호화 장치
WO2016064583A1 (en) Lossless compression of raw color sensor data from a color array filtered image sensor
US6404927B1 (en) Control point generation and data packing for variable length image compression
JP4561649B2 (ja) 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
CN108156461A (zh) 一种Bayer图像压缩方法及装置
JP4302661B2 (ja) 画像処理システム
WO1999013429A1 (en) A method for directly compressing a color image and tailoring the compression based on the color filter array, optics, and sensor characteristics
KR100827680B1 (ko) 썸네일 데이터 전송 방법 및 장치
US11765366B2 (en) Method for processing transform coefficients
JP6628625B2 (ja) 撮像装置及びその制御方法並びにコンピュータプログラム
JPH06178121A (ja) 圧縮方法
JP2007228514A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees