TWI527435B

TWI527435B - 攝影機

Info

Publication number: TWI527435B
Application number: TW099111497A
Authority: TW
Inventors: 珍納德詹姆士; 奈崔斯湯瑪士桂靡
Original assignee: 紅色網域股份有限公司
Priority date: 2009-04-13
Filing date: 2010-04-13
Publication date: 2016-03-21
Also published as: US20100013963A1; JP5773984B2; US20100265367A1; US7830967B1; US9792672B2; TW201127059A; US20150348233A1; WO2010120472A1; US20170053385A1; US9019393B2; EP2419879B1; JP2012523790A; ES2590659T3; US20130113951A1; EP2419879A1; US20180130183A1; US8237830B2; US9436976B2; US8878952B2; US20150003730A1

Description

攝影機

本發明係關於數位攝影機，諸如用於擷取靜止圖片或動畫之數位攝影機，且更特定而言，係關於壓縮影像資料之數位攝影機。

儘管可以採用數位攝影機，但大多數電影和某些電視廣播媒體之製作者繼續依賴於膠片攝影機。用於這些攝影機的膠片為視訊編輯者提供了解析度非常高的影像，可藉由傳統裝置編輯。最近，這些膠片則通常被掃瞄、數位化及以數位方式編輯。

儘管某些目前可用之數位攝影機包含高解析度影像感測器，且因此輸出高解析度視訊，但是這些攝影機上內置之該等影像處理及壓縮技術失真過大，且因此消除太多原始影像資料，以致在如上所述市場之高端部分不能被接受。本文所揭示之具體實施例之至少一者之一態樣包含一實現，在此實現中，具有對於如上所述市場之高端部分(諸如主要電影市場)可接受之視訊品質，可藉由能夠以至少大約每秒23訊框之訊框率擷取及儲存解析度為至少大約2k之原始或大體上原始之視訊資料的攝影機來滿足。

因此，依據一具體實施例，一攝影機可包括一便攜式外殼，及一藉由該外殼支撐且經組態以聚焦光之鏡頭總成。一光敏裝置可經組態以至少大約每秒23訊框之訊框率，將該聚焦光轉換為解析度為至少2k之原始影像資料。該攝影機亦可包含一記憶體元件及一影像處理系統，其經組態以在至少大約每秒23訊框之速率下，以一至少六比一之壓縮比壓縮該原始影像資料並將其儲存於該記憶體元件中，並保持大體視覺上無失真。

依據另一具體實施例，一種使用一攝影機記錄一運動視訊之方法可包括將光導引至一光敏裝置上。該方法亦可包含以一至少大於每秒23訊框之速率將由該光敏裝置接收之光轉換為原始數位影像資料，壓縮該原始數位影像資料，且以一至少大約每秒23訊框之速率將該原始影像資料記錄到一儲存裝置上。

依據再一具體實施例，一攝影機可包括：一鏡頭總成，其藉由該外殼支撐且經組態以聚焦光；及一光敏裝置，其經組態以將該聚焦光轉換為一表示該聚焦光之原始影像資料訊號。該攝影機亦可包含一記憶體元件及用於以一至少大約每秒23訊框之訊框率壓縮及記錄該原始影像資料之裝置。

依據再一具體實施例，一攝影機可包括一便攜式外殼，該外殼具有至少一手柄，其經組態以允許一使用者在該攝影機之一視訊記錄操作期間，基於該外殼至少一運動自由度而操縱方向。一鏡頭總成可包括至少一鏡頭，其藉由該外殼支撐，並經組態以將光在聚焦在一佈置於該外殼內部之平面上。一光敏裝置可經組態以使用至少2k之水平解析度並以一至少大約每秒23訊框之訊框率，將該聚焦光轉換為原始影像資料。一記憶體元件亦可經組態以儲存視訊影像資料。一影像處理系統可經組態而以一至少六比一之壓縮比並以一至少大約每秒23訊框之速率壓縮該原始影像資料並將其儲存於該記憶體元件中，且保持大體視覺上無失真。

本文所揭示之本發明之至少一者之另一態樣包含一實現，在此實現中，因為人眼對綠色波長比任何其他顏色更敏感，對於自一影像感測器輸出之影像資料之基於綠色影像資料的修改，可用於增強該資料之可壓縮性，且仍提供一更高品質之視訊影像。其中一種技術可包含在壓縮該資料之前，自所偵測之該等紅色及/或藍色光之幅度減去所偵測之綠色光之幅度。這可將紅色及/或藍色影像資料轉換為一更易於壓縮之形式。舉例而言，在用於將伽馬糾正之RGB資料轉換為Y'CbCr之習知處理中，影像被「去關聯」，所剩大多數影像資料在Y'(亦稱「luma(亮度)」)上，因此剩餘色度分量更易於壓縮。然而，用於轉換為Y'CbCr格式之習知技術不能直接應用於拜耳樣式資料，因為個別顏色資料在空間上不相關聯，且拜耳樣式資料包含兩倍於藍色或紅色影像資料之綠色影像資料。依據本文所揭示之某些具體實施例，減去綠色影像資料之處理可類似於如上所述之Y'CbCr轉換，原因在於大多數該影像資料留在綠色影像資料中，使剩餘資料成一更易於壓縮之形式。

此外，減去綠色影像資料之處理為可逆，而保留所有初始原始資料。因此，併入這種技術所產生之系統及方法可為此類視訊影像資料提供無損或視覺上無失真且增強之可壓縮性。

因此，依據一具體實施例，一攝影機可包括：一鏡頭總成，其藉由該外殼支撐且經組態以聚焦光；及一光敏裝置，其經組態以將該聚焦光轉換為影像資料之一原始訊號，表示該聚焦光之至少第一、第二及第三顏色。一影像處理模組可經組態以基於該第三顏色之影像資料修改該等第一和第二顏色中至少一者之影像資料。此外，該攝影機可包含一記憶體元件及一壓縮元件，其經組態以壓縮該等第一、第二及第三顏色之影像資料及將經壓縮之影像資料儲存在該記憶體元件上。

依據另一具體實施例，可提供一種處理一影像之方法。該方法可包含：將一影像轉換為表示一第一顏色之第一影像資料、表示一第二顏色之第二影像資料及表示一第三顏色之第三影像資料，基於該第三影像資料修改至少該第一影像資料及該第二影像資料，壓縮該第三影像資料及經修改之第一和第二影像資料，及儲存該壓縮資料。

依據再一具體實施例，一攝影機可包括一藉由該外殼支撐且經組態以聚焦光之鏡頭總成。一光敏裝置可經組態以將該聚焦光轉換為影像資料之一原始訊號，表示該聚焦光之至少第一、第二及第三顏色。該攝影機亦可包含：用於基於該第三顏色之影像資料修改該等第一和第二顏色中至少一者之影像資料的裝置、一記憶體元件，及一壓縮元件，其經組態以壓縮該等第一、第二及第三顏色之影像資料及將經壓縮之影像資料儲存在該記憶體元件上。

第1圖係一攝影機之示意圖，其具有影像感測、處理，及壓縮模組，如在一用於動畫之攝影機之上下文中所述。本文所揭示之具體實施例係在一配備帶一拜耳樣式濾波器之單一感測器元件的攝影機之上下文中進行說明，因為此等具體實施例在該上下文中具有特定用途。然而，本文之該等具體實施例及發明亦可應用於具有其他類型影像感測器(例如，CMY拜耳以及其他非拜耳樣式)、其他不同數量的影像感測器、操作於不同影像格式類型、及經組態以用於靜止圖片及/或動畫之攝影機。因此，應瞭解，本文所揭示之具體實施例係例示性的，但不限於具體實施例，因此本文所揭示之發明並不限於所揭示之該等例示性具體實施例。

繼續參照第1圖，一攝影機10可包含一主體或外殼12，其經組態以支撐一系統14，該系統經組態以偵測、處理及視需要儲存及/或重播視訊影像資料。舉例而言，該系統14可包含光學硬體16、一影像感測器18、一影像處理模組20、一壓縮模組22及一儲存裝置24。視需要，該攝影機10亦可包含一監控模組26、一播放模組28及一顯示器30。

第2圖說明該攝影機10之一非限制性例示性具體實施例。如第2圖中所示，該光學硬體16可藉由該外殼12以一使其外部表面露出之方式進行支撐。在某些具體實施例中，該系統14支撐於該外殼12內。舉例而言，該影像感測器18、影像處理模組20，及該壓縮模組22可容納於該外殼12內。該儲存裝置24可安裝於該外殼12中。此外，在某些具體實施例中，該儲存裝置24可安裝至該外殼12外部，且透過任何類型之習知連接器或電纜連接至該系統14之剩餘部分。此外，該儲存裝置24可使用一撓性電纜連接至該外殼12，因此允許該儲存裝置24略微獨立於該外殼12移動。舉例而言，使用這種撓性電纜連線，該儲存裝置24可佩戴於一使用者之一皮帶上，從而允許降低該外殼12之總重。此外，在某些具體實施例中，該外殼可包含一或多個儲存元件24，其位於內部及安裝至其外部。此外，該外殼12亦可支撐該監控模組26及播放模組28。此外，在某些具體實施例中，該顯示器30可經組態以安裝至該外殼12之一外部。

該光學硬體16可為一鏡頭系統之形式，其具有至少一鏡頭，經組態以將一傳入影像聚焦至該影像感測器18上。該光學硬體16可視需要以一多鏡頭系統之形式，其提供可變焦距、光圈及焦點。此外，該光學硬體16可以一鏡頭插座之形式，其藉由該外殼12支撐且經組態以接收複數個不同類型之鏡頭系統，例如但不限於，該光學硬體16包含一插座，其經組態以接收各種尺寸之鏡頭系統，包含50-100毫米(F2.8)變焦透鏡、18-50毫米(F2.8)變焦透鏡、300毫米(F2.8)鏡頭、15毫米(F2.8)鏡頭、25毫米(F1.9)鏡頭、35毫米(F1.9)鏡頭、50毫米(F1.9)鏡頭、85毫米(F1.9)鏡頭、及/或任何其他鏡頭。如上所述，該光學硬體16可經組態以便無論將何種鏡頭附加於其上，影像均可聚焦於該影像感測器18之一光敏感表面上。

該影像感測器18可為任何類型之視訊感測元件，包含(例如但不限於)：CCD、互補金氧半導體、諸如Foveon感測器之垂直堆疊互補金氧半導體元件，或一使用一棱鏡在感測器之間分光之多感測器陣列。在某些具體實施例中，該影像感測器18可包含一具有大約1千2百萬光電池之互補金氧半導體元件。然而，亦可使用其他大小之感測器。在某些組態中，攝影機10可經組態而以「2k」(例如，2048 x 1152像素)、「4k」(例如，4,096 x 2,540像素)、「4.5k」之水平解析度或更高解析度輸出視訊。在本文中，在以xk(諸如以上所述之2k及4k)格式表示之術語中，該「x」數量係指近似水平解析度。因此，「4k」解析度對應於大約4000或更多水平像素，「2k」對應於大約2000或更多像素。使用目前商業上可用之硬體，該感測器可小至大約0.5英寸(8毫米)，但可為大約1.0英寸，或更大。此外，該影像感測器18可經組態以藉由選擇性地僅輸出該感測器18之一預定部分而提供變數解析度。舉例而言，該感測器18及/或該影像處理模組可經組態以允許一使用者辨識該影像資料輸出之解析度。

該攝影機10亦可經組態以降頻取樣及隨後處理該感測器18之輸出，而以2K、1080p、720p或任何其他解析度產生視訊輸出。舉例而言，來自該感測器18之影像資料可「開窗口」，藉此降低該輸出影像之尺寸且允許更高之讀出速度。然而，亦可使用其他大小之感測器。此外，該攝影機10可經組態以升頻取樣該感測器18之輸出，而以更高之解析度產生視訊輸出。

參照第1及3圖，在某些具體實施例中，該感測器18可包含一拜耳樣式濾波器。因此，該感測器18藉助其晶片組(未顯示)輸出表示藉由該影像感測器18之個別光電池偵測之紅色、綠色或藍色光幅度之資料。第3圖示意性圖解說明該感測器18之拜耳樣式輸出。在某些具體實施例中，舉例而言，如第3圖中所示，該拜耳樣式濾波器具有兩倍於紅色元素數及藍色元素數之綠色元素。該影像感測器18之晶片組可用於讀取該影像感測器之每一元素上之電荷，且因此以該吾人熟習之RGB格式輸出而輸出一值流。

繼續參照第4圖，該影像處理模組20視需要可經組態而以任何習知方式格式化來自該影像感測器18之資料流。在某些具體實施例中，該影像處理模組20可經組態以將綠色、紅色及藍色影像資料分解為三或四個單獨資料編譯。舉例而言，該影像處理模組20可經組態以將紅色資料分解為一資料元素，將藍色資料分解為一藍色資料元素，並將綠色資料分解為一綠色資料元素。舉例而言，參考第4圖，該影像處理模組20可包含一紅色資料處理模組32、一藍色資料影像處理模組34及一第一綠色影像資料處理模組36。

如上所述，然而，第3圖中所示之拜耳樣式資料具有兩倍於其他兩個顏色之綠色像素。第5圖說明一已移除藍色和紅色資料之資料分量，僅留下初始綠色影像資料。

在某些具體實施例中，該攝影機10可經組態以刪除或省略某些綠色影像資料。舉例而言，在某些具體實施例中，該影像處理模組20可經組態以刪除1/2的綠色影像資料，以便綠色影像資料之總數數量與藍色和紅色影像資料之數量相同。舉例而言，第6圖說明在該等影像處理模組20刪除1/2的綠色影像資料之後的剩餘資料。在第6圖所示之具體實施例中，已經刪除列n-3、n-1、n+1及n+3。此只是可刪除之綠色影像資料之型樣之一實例。亦可刪除其他圖案及其他數量之綠色影像資料。

在某些替代實施例中，在已基於綠色影像資料轉換紅色及藍色影像資料之後，該攝影機10可經組態以刪除1/2的綠色影像資料。以下在說明自其他顏色影像資料減去綠色影像資料值之後，接著描述此可選技術。

視需要，該影像處理模組20可經組態以選擇性地刪除綠色影像資料。舉例而言，該影像處理模組20可包含一刪除分析模組(未顯示)，其經組態以選擇性地判定要刪除之綠色影像資料。舉例而言，這種刪除模組可經組態以判定自綠色影像資料刪除一種型樣之列是否將導致混疊假影，諸如摩爾紋，或其他視覺上可感知之假影。該刪除模組可另經組態以選擇刪除某種綠色影像資料型樣，以降低產生這些假影之風險。舉例而言，如果該刪除模組判定藉由該影像感測器18擷取之影像包含一特徵在於複數個平行水平線之影像特徵，則該刪除模組可經組態以選擇一交替垂直行之綠色影像資料刪除型樣。此刪除型樣可降低或消除假影，諸如摩爾紋，其可能產生於一平行於該影像中偵測之水平線之影像資料的交替行刪除型樣。

然而，此僅係可由該刪除模組使用之影像特徵及刪除圖案類型之一例示性、非限制性實例。該刪除模組亦可經組態以偵測其他影像特徵及以使用其他影像資料刪除圖案，諸如但不限於，刪除交替列、交替對角線或其他圖案。此外，該刪除模組可經組態以依據所使用感測器之類型，而刪除部分其他影像資料，諸如紅色及藍色影像資料，或其他影像資料。

此外，該攝影機10可經組態以將一資料欄位插入該影像資料，指示哪些影像資料已被刪除。例如但不限於，該攝影機10可經組態以將一資料欄位插入儲存至該儲存裝置24中之任何視訊剪輯之開頭，指示在該視訊剪輯之每一「畫面」中已刪除哪些資料。在某些具體實施例中，該攝影機可經組態以將一資料欄位插入藉由該感測器18擷取之每一畫面，指示已刪除哪些影像資料。舉例而言，在某些具體實施例中，該影像處理模組20經組態以刪除一刪除型樣中1/2之綠色影像資料，則該資料欄位可小至單個位元資料欄位，指示影像資料是否已被刪除。由於該影像處理模組20經組態以僅刪除一型樣中之資料，單一位元足以指示哪些資料已刪除。

在某些具體實施例中，如上所述，該影像處理模組20可經組態以選擇性地刪除一個以上型樣中之影像資料。因此，該影像資料刪除欄位可以更大，包含充分數量之值以用來指示複數個不同影像資料刪除圖案中哪些已被使用。此資料欄位可由下游組件及/或處理使用，以判定剩餘影像資料對應於哪些空間位置。

在某些具體實施例中，該影像處理模組可經組態以保留所有原始綠色影像資料，例如，第5圖中所示之資料。在這些具體實施例中，該影像處理模組可包含一或多個綠色影像資料處理模組。

如上所述，在習知拜耳樣式濾波器中，存在兩倍於紅色元素數及藍色元素數之綠色元素。換言之，該等紅色元素包括該拜耳樣式陣列總數之25%，該等藍色元素對應於該拜耳樣式陣列之25%，且該等綠色元素包括該拜耳樣式陣列元素之50%。因此，在某些具體實施例中，保留所有綠色影像資料，則該影像處理模組20可包含一第二綠色資料影像處理模組38。因此，該第一綠色資料影像處理模組36可處理一半之綠色元素，且該第二綠色影像資料處理模組38可處理剩餘綠色元素。然而，本發明可與其他類型之圖案結合使用，諸如但不限於CMY及RGBW。

第7圖包含藉由模組32、34、36及38(第4圖)處理之該等紅色、藍色及兩個綠色資料分量之示意圖示。這可提供其他優點，因為此等模組之每一者由於其處理大致相同數量之資料，其尺寸及組態可大致相同。此外，該影像處理模組20可選擇性地切換於處理所有綠色影像資料(藉由同時使用模組36及38)之模式及與刪除1/2之綠色影像資料(其中僅使用模組36及38之一者)之模式之間。然而，亦可使用其他組態。

此外，在某些具體實施例中，該影像處理模組20可包含其他模組及/或可經組態以執行其他處理，諸如但不限於，伽瑪校正處理、雜訊濾波處理，等等。

此外，在某些具體實施例中，該影像處理模組20可經組態以自一藍色元素及/或紅色元素之一值減去一綠色元素之一值。因此，在某些具體實施例中，當該影像感測器18偵測到某些顏色時，該對應紅色或藍色元素可降低至零。舉例而言，在許多相片中，可能有大面積之黑色、白色或灰色，或一自灰色朝向紅色或藍色顏色偏移之顏色。因此，如果該影像感測器18之對應像素已感測到一灰色區域，則綠色、紅色，及藍色之幅度將大致相等。因此，如果自該等紅色及藍色值減去該綠色值，該等紅色及藍色值將下降至零或接近零。因此，在一後續壓縮處理中，將在感測一黑色、白色，或灰色區域之像素中產生更多零，且因此所產生之資料將更易於壓縮。此外，自其他顏色之一者或二者減去綠色，可使所產生之影像資料由於其他原因而更易於壓縮。

這種技術可有助於實現一更高之有效壓縮比，且由於其與初始影像資料之熵的關係，仍保持視覺上無失真。舉例而言，一影像之熵與該影像中之隨機量有關。舉例而言，自其他顏色之影像資料減去一種顏色之影像資料，可降低該隨機性，且因此降低該等顏色之影像資料的熵，藉此允許以更高壓縮比及更小之失真壓縮該資料。通常，一影像並非一隨機顏色值之集合，而是在周圍圖片元素之間通常存在某種程度之關聯。因此，這種減法技術可使用圖片元素之關聯以實現更佳壓縮。壓縮量將至少部分地依賴於影像中初始資訊之熵。

在某些具體實施例中，自一紅色或藍色像素減去之幅度，可係自一與該主體紅色或藍色像素相鄰之綠色像素輸出之值的幅度。此外，在某些具體實施例中，自該等紅色或藍色元素減去之綠色幅度可由該等周圍綠色元素之一平均值推得。以下將進一步詳細描述這些技術。然而，亦可使用其他技術。

視需要，該影像處理模組20亦可經組態以選擇性地自其他顏色減去綠色影像資料。舉例而言，該影像處理模組20可經組態以判定從任一其他顏色之影像資料之一部分減去綠色影像資料是否將提供更佳之可壓縮性。在此模式下，該影像處理模組20可經組態以將旗標插入該影像資料，指示該影像資料之哪些部分已修改(例如，已減去綠色影像資料)及哪些部分未曾如此修改。對於這些旗標，一下游解馬賽克/重建組件可基於這些資料旗標之狀態，選擇性地將綠色影像值重新添加到其他顏色之影像資料。

視需要，影像處理模組20亦可包含另一資料削減模組(未顯示)，其經組態以對紅色及藍色資料值取整。舉例而言，如果，在減去綠色幅度之後，紅色或藍色資料接近零(例如，在一範圍在0-255之8位元階調中之一或二之內或一更高解析度系統之更高幅度)。舉例而言，該感測器18可係一12位元感測器，其按一0-4095之階調輸出紅色、藍色及綠色資料。可調整該舍入模組執行之任何資料舍入或濾波，以達到所需效果。舉例而言，如果需要具有無損輸出，可在一更小程度上執行舍入；如果可接受某些損失或有損輸出，則可在一更大程度上執行舍入。可以執行某些舍入而仍然導致一視覺上無失真之輸出。舉例而言，在一8位元階調上，絕對值最高為2或3之紅色或藍色資料可取整為0，而仍然提供一視覺上無失真之輸出。此外，在一12位元階調上，絕對值最高為10至20之紅色或藍色資料可取整為0，而仍然提供視覺上無失真之輸出。

此外，可取整為零或取整為其他值而仍然提供一視覺上無失真輸出之值的幅度，依賴於系統之組態，該系統包含：光學硬體16、影像感測器18、影像感測器之解析度、影像感測器18之顏色解析度(位元)、濾波之類型、藉由影像處理模組20執行之抗混疊技術或其他技術、藉由壓縮模組22所執行之壓縮技術，及/或攝影機10之其他參數或特性。

如上所述，在某些具體實施例中，該攝影機10可經組態以在紅色及藍色影像資料已基於綠色影像資料而轉換之後，刪除1/2的綠色影像資料。例如但不限於，該處理器模組20可經組態以在已自該等紅色及藍色資料值減去該等周圍綠色資料值之該等幅度之平均之後，刪除1/2的綠色影像資料。此對該綠色資料之削減可降低關聯硬體之吞吐量要求。此外，剩餘綠色影像資料可用於重新建構該紅色及藍色影像資料，以下參考第14及16圖對此進行進一步詳細描述。

如上所述，該攝影機10亦可包含一壓縮模組22。該壓縮模組22可以一單獨晶片之形式，或者可使用軟體及另一處理器來實現。舉例而言，該壓縮模組22可以一商業上可用之壓縮晶片之形式，該壓縮晶片執行一依據該JPEG 2000標準之壓縮技術，或其他壓縮技術。

該壓縮模組可經組態以對來自該影像處理模組20之資料執行任何類型之壓縮處理。在某些具體實施例中，該壓縮模組22執行一壓縮技術，其利用藉由該影像處理模組20執行之該等技術。舉例而言，如上所述，該影像處理模組20可經組態以藉由減去綠色影像資料之幅度，而降低紅色及藍色資料值之幅度，藉此導致更多數量的零值，以及其他效果。此外，該影像處理模組20可使用影像資料之熵對原始資料執行一操作。因此，藉由該壓縮模組22執行之壓縮技術可為一受益於存在更大零字串之類型，以降低自其輸出之壓縮資料的大小。

此外，該壓縮模組22可經組態以壓縮來自該影像處理模組20之影像資料，以導致一視覺上無失真之輸出。舉例而言，首先，該壓縮模組可經組態以應用任何習知壓縮技術，諸如但不限於，JPEG 2000、動畫JPEG、任何基於DCT之編碼解碼器、任何設計用於壓縮RGB影像資料之編碼解碼器、H.264、MPEG4、霍夫曼，或其他技術。

根據所用壓縮技術之類型，可設定該壓縮之各種參數技術，以提供一視覺上無失真之輸出。舉例而言，許多如上所述之該等壓縮技術可被調整至不同壓縮速率，其中當解壓時，較低壓縮速率所產生之影像有更佳品質，更高壓縮速率所產生之影像有較低品質。因此，該壓縮模組可經組態而以一提供視覺上無失真輸出之方式壓縮該影像資料，或可經組態以允許一使用者以調整各種參數而獲得一視覺上無失真之輸出。舉例而言，該壓縮模組22可經組態而以一大約6:1、7:1、8:1或更大之壓縮比壓縮該影像資料。在某些具體實施例中，該壓縮模組22可經組態以將該影像資料壓縮至一12:1或更高之比率。

此外，該壓縮模組22可經組態以允許一使用者調整藉由該壓縮模組22實現之壓縮比。舉例而言，該攝影機10可包含一使用者介面，其允許一使用者輸入命令，以促使該壓縮模組22變更壓縮比。因此，在某些具體實施例中，該攝影機10可提供可變壓縮。

在本文中，「視覺上無失真」一詞意欲包含如下一種輸出：當在相同顯示裝置上與初始(從未壓縮之)影像資料並排比較時，本項技術中之一普通技藝者僅基於對該等影像之一目視檢查，將不能以一合理程度之準確度判定哪一影像為初始影像資料。

繼續參照第1圖，該攝影機10亦可包含一儲存裝置24。該儲存裝置可以任何數位儲存類型之形式，諸如但不限於，硬碟、快閃記憶體，或任何其他類型之記憶體元件。在某些具體實施例中，該儲存裝置24之尺寸可充分大，以儲存來自該壓縮模組22之影像資料，其對應於以1200萬像素解析度、12位元顏色解析度及以每秒60訊框速率之至少大約30分鐘的視訊。然而，該儲存裝置24可具有任何尺寸。

在某些具體實施例中，該儲存裝置24可安裝於該外殼12之外部。此外，在某些具體實施例中，該儲存裝置24可透過標準通信埠連接至該系統14之其他組件，舉例而言，包含但不限於，IEEE 1394、USB 2.0、IDE、SATA，等等。此外，在某些具體實施例中，該儲存裝置24可包括按照RAID協定操作之複數個硬碟。然而，可使用任何類型之儲存裝置。

繼續參照第1圖，如上所述，在某些具體實施例中，該系統可包含一監控模組26及一顯示裝置30，其經組態以允許一使用者在操作期間檢視藉由該影像感測器18擷取之視訊影像。在某些具體實施例中，該影像處理模組20可包含一次取樣系統，其經組態以將降低解析度之影像資料輸出至該監控模組26。舉例而言，這種次取樣系統可經組態以輸出視訊影像資料，以支援2K、1080p、720p或任何其他解析度。在某些具體實施例中，用於解馬賽克之濾波器可經調適以亦執行降頻取樣濾波，以便降頻取樣及濾波可同時執行。該監控模組26可經組態以對來自該影像處理模組20之資料執行任何類型之解馬賽克處理。其後，該監控模組26可將一解馬賽克影像資料輸出至該顯示器30。

該顯示器30可為任何類型之監視元件。例如但不限於，該顯示器30可係一藉由該外殼12支撐之4英寸液晶顯示器面板。舉例而言，在某些具體實施例中，該顯示器30可連接至一無限可調座架，其經組態以允許該顯示器30調整相對該外殼12之任意位置，以便一使用者可在相對該外殼12之任意角度查看該顯示器30。在某些具體實施例中，該顯示器30可透過任何類型之視訊電纜連接至該監控模組，舉例而言，諸如一RGB或YCC格式之視訊電纜。

視需要，該播放模組28可經組態以自該儲存裝置24接收資料，對該影像資料解壓及解馬賽克，然後將該影像資料輸出至該顯示器30。在某些具體實施例中，該監控模組26及該播放模組28可透過一中間媒介顯示控制器(未顯示)連接至該顯示器。因此，該顯示器30可使用單一連接器連接至該顯示控制器。該顯示控制器可經組態以將資料自該監控模組26或該播放模組28傳送至該顯示器30。

第8圖包含一流程圖50，其圖解說明藉由該攝影機10對影像資料之處理。在某些具體實施例中，該流程圖50可表示儲存於一記憶體元件中之一控制常式，諸如該儲存裝置24，或該攝影機10內之另一儲存裝置(未顯示)。此外，一中央處理單元(CPU)(未顯示)可經組態以執行該控制常式。以下關於對應於該流程圖50之該等方法之說明，係在處理單一畫面之視訊影像資料之上下文中進行說明。因此，該等技術可應用於處理單一靜止影像。此等處理亦可應用於連續視訊之處理，例如，大於12之訊框率、以及20、23.976、24、30、60及120之訊框率，或此等訊框率之間或更大之其他訊框率。

繼續參照第8圖，控制常式可起始於操作方塊52。在該操作方塊52中，該攝影機10可獲得感測器資料。舉例而言，參考第1圖，該影像感測器18，其可包含一拜耳感測器及晶片組，可輸出影像資料。

例如但不限於，參考第3圖，該影像感測器可包括一互補金氧半導體元件，該互補金氧半導體元件在其光接收表面上具有一拜耳樣式濾波器。因此，來自該光學硬體16之聚焦影像聚焦於該影像感測器18之互補金氧半導體元件上之拜耳樣式濾波器上。第3圖圖解說明藉由該互補金氧半導體元件上之拜耳樣式濾波器之配置而建立之拜耳樣式之一實例。

在第3圖中，行m為自該拜耳樣式之左側邊緣之第四行，列n為自該型樣之頂端之第四列。其餘行及列相對行m及列n而標記。然而，此佈局只是出於說明之目的而任意選擇，並不限制本文所揭示之任何具體實施例或發明。

如上所述，習知拜耳樣式濾波器通常包含兩倍於藍色及紅色元素之綠色元素。在第5圖之型樣中，藍色元素僅出現在列n-3、n-1、n+1及n+3中。紅色元素僅出現在列n-2、n、n+2及n+4中。然而，綠色元素出現在所有列及行中，並以紅色和藍色元素散佈其間。

因此，在該操作方塊52中，自該影像感測器18輸出之紅色、藍色及綠色影像資料，可由該影像處理模組20接收及組織成單獨顏色資料分量，諸如第7圖中所示者。如第7圖中所示，且如以上參照第4圖所述，該影像處理模組20可將紅色、藍色及綠色影像資料分解為四個單獨分量。第7圖說明兩個綠色分量(綠色1及綠色2)、一藍色分量、及一紅色分量。然而，這只是一種處理來自該影像感測器18之影像資料的例示性方式。此外，如上所述，該影像處理模組20可視需要任意或選擇性地刪除1/2的綠色影像資料。

在操作方塊52之後，該流程圖50可移至操作方塊54。在操作方塊56中，可進一步處理該影像資料。舉例而言，視需要，可進一步處理任一或所有所產生之資料(例如，綠色1、綠色2、來自第9圖之藍色影像資料，及來自第10圖之紅色影像資料)。

舉例而言，可以其他方式預加重或處理影像資料。在某些具體實施例中，可處理該影像資料以使其(在數學上)更加非線性。某些壓縮演算法受益於在壓縮之前對該等圖片元素執行這種線性化。然而，亦可使用其他技術。舉例而言，可使用一線性曲線處理影像資料，該線性曲線實質上不提供加重。

在某些具體實施例中，操作方塊54可使用藉由函數y=x^0.5定義之曲線處理影像資料。在某些具體實施例中，舉例而言但不限於，此曲線可用於該影像資料係正規化之0-1範圍內之浮點資料的場合。在其他具體實施例中，舉例而言，該影像資料係12位元資料，則可使用曲線y=(x/4095)^0.5處理影像。此外，亦可使用其他曲線處理影像資料，諸如y=(x+c)^g，其中0.01<g<1且c係一偏移，在某些具體實施例中其可為0。此外，亦可使用對數曲線。舉例而言，y=A*log(B*x+C)形式之曲線，其中A、B、及C為常數，可對這些常數進行選擇以提供所需之結果。此外，以上該等曲線及處理可經修改以在黑色附近提供線性更佳之區域，類似於用於吾人所熟習之Rec709伽馬曲線中之技術。在將此等處理應用於影像資料之過程中，相同處理可應用於所有影像資料，或不同處理可應用於不同顏色之影像資料。然而，此等僅係可用於處理該影像資料之例示性曲線，或者亦可使用其他曲線或轉換。此外，此等處理技術可使用諸如以上所述之數學函數，或使用查找表(LUT)而加以應用。此外，不同處理、技術或轉換可用於不同類型之影像資料、在記錄該影像資料期間使用之不同ISO設定、溫度(其可影響雜訊位準)，等等。

在操作方塊54之後，該流程圖50可移至一操作方塊56。在操作方塊56中，可轉換紅色及藍色圖片元素。舉例而言，如上所述，可從藍色和紅色影像資料分量之每一者減去綠色影像資料。在某些具體實施例中，一紅色或藍色影像資料值可藉由減去與該紅色或藍色圖片元素相鄰之該等綠色圖片元素中至少一者之一綠色影像資料值來進行轉換。在某些具體實施例中，可從該紅色或藍色影像資料值減去複數個相鄰綠色圖片元素之該等資料值之一平均值。例如但不限於，可計算及從該等綠色圖片元素附近之紅色或藍色圖片元素中減去2、3、4或更多綠色影像資料值之平均值。

例如但不限於，參考第3圖，紅色元素R_m-2,n-2之原始輸出被四個綠色圖片元素G_m-2,n-3、G_m-1,n-2、G_m-3,n-2及G_m-2,n-1所包圍。因此，該紅色元素R_m-2,n-2可藉由減去周圍綠色元素之值之平均值而轉換，如下所示：

(1)　R_m,n=R_m,n-(G_m,n-1+G_m+1,n+G_m,n+1+G_m-1,n)/4

類似地，藍色元素可以一類似方式藉由減去周圍綠色元素之平均值而轉換，如下所示：

(2)　B_m+1,n+1=B_m+1,n+1-(G_m+1,n+G_m+2,n+1+G_m+1,n+2+G_m,n+1)/4

第9圖說明一結果藍色資料分量，其中該初始藍色原始資料B_m-1,n-1被轉換，新值標記為B'_m-1,n-1(該分量中僅有一值被填充，且相同技術可用於所有藍色元素)。類似地，第10圖說明已轉換之紅色資料分量，其中被轉換之紅色元素R_m-2,n-2辨識為R'_m-2,n-2。在此狀態中，該影像資料仍可視為「原始」資料。舉例而言，對該資料執行之數學處理完全可逆，以便可藉由回復此等處理而獲得所有初始值。

繼續參照第8圖，在操作方塊56之後，該流程圖50可移至一操作方塊58。在操作方塊58中，所產生之資料，其為原始或可大體上原始之資料，可使用任何習知壓縮演算法進一步壓縮。舉例而言，該壓縮模組22(第1圖)可經組態以執行這種壓縮演算法。壓縮之後，該經壓縮原始資料可儲存於該儲存裝置24(第1圖)中。

第8A圖說明該流程圖50之一修改，其藉由元件符號50'來辨識。以上參考流程圖50所述之某些步驟可與流程圖50'之某些對應步驟類似或相同，且因此使用相同元件符號來辨識。

如第8A圖中所示，在某些具體實施例中，該流程圖50'可視需要省略操作方塊54。在某些具體實施例中，該流程圖50'亦可包含一操作方塊57，其中可將一查找表應用於該影像資料。舉例而言，可使用一藉由第11圖之曲線表示之可選查找表以用於增強進一步的壓縮。在某些具體實施例中，第11圖之查找表僅用於綠色圖片元素。在其他具體實施例中，該查找表亦可用於紅色及藍色圖片元素。相同查找表可用於該等三種不同顏色，也可以每一顏色具有其自己的查找表。此外，亦可應用除藉由第11圖之曲線所表示者之外的其他處理。

藉由以如上參考第8圖及第8A圖所述之方式處理該影像資料，已發現可藉由一6比1或更高之壓縮比壓縮來自該影像感測器18之影像資料，並保持視覺上無失真。此外，儘管該影像資料已被轉換(例如，藉由減去綠色影像資料)，但所有原始影像資料仍然對使用者可用。舉例而言，藉由回復某些該等處理，可摘取所有或大體上所有初始原始資料，且因此使用使用者期望之任何處理對其進一步處理、濾波，及/或解馬賽克。

舉例而言，參考第12圖，可解壓及解馬賽克儲存於該儲存裝置24中之資料。視需要，該攝影機10可經組態以執行藉由流程圖60所圖解說明之方法。例如但不限於，該播放模組28可經組態以執行藉由流程圖60所圖解說明之方法。然而，使用者亦可將來自該儲存裝置24之資料傳送至一單獨工作站，且應用流程圖60之任何或所有步驟及/或操作。

繼續參照第12圖，該流程圖60可起始於操作方塊62，於其中解壓來自該儲存裝置24之資料。舉例而言，在操作方塊62中對資料之解壓縮，可係執行於操作方塊58(第8圖)中之壓縮演算法之逆向操作。在該操作方塊62之後，該流程圖60可移至一操作方塊64。

在該操作方塊64中，可反轉一執行於操作方塊56(第8圖)中之處理。舉例而言，第11圖之曲線之逆向或以上參考第8圖及第8A圖之操作方塊56所述之任何其他函數之逆向，可應用於該影像資料。在該操作方塊64之後，該流程圖60可移至一步驟66。

在該操作方塊66中，可對該等綠色圖片元素解馬賽克。舉例而言，如上所述，來自資料分量綠色1及/或綠色2(第7圖)之所有值可儲存於該儲存裝置24中。舉例而言，參考第5圖，可根據藉由該影像感測器18所應用之初始拜耳樣式，而配置來自資料分量綠色1、綠色2之綠色影像資料。然後可藉由任何習知技術(舉例而言，諸如線性內插、雙線性，等等)進一步對該綠色資料解馬賽克。

第13圖說明一自所有原始綠色影像資料解馬賽克之綠色影像資料之例示性佈局。使用字母G_x所辨識之該等綠色影像元素表示初始原始(經解壓)影像資料，使用「DG_x」所辨識之該等元素表示透過解馬賽克處理而自該初始資料推得之元素。此命名法適用於以下對其他顏色之解馬賽克處理的說明。第14圖說明自1/2之初始綠色影像資料解馬賽克之綠色影像資料之一例示性影像資料佈局。

繼續參照第12圖，在該操作方塊66之後，該流程圖60可移至一操作方塊68。在該操作方塊68中，可進一步處理已解馬賽克之綠色影像資料。例如但不限於，可將雜訊降低技術應用於該綠色影像資料。然而，亦可將任何其他影像處理技術，諸如抗混疊技術，應用於該綠色影像資料。在該操作方塊68之後，該流程圖60可移至一操作方塊70。

在該操作方塊70中，可對紅色及藍色影像資料解馬賽克。舉例而言，首先，可根據該初始拜耳樣式(第15圖)而重新排列第9圖之藍色影像資料。可使用任何習知去馬賽克技術(包含線性內插、雙線性，等等)自現有藍色影像資料對周圍元素(如第16圖中所示)解馬賽克。作為解馬賽克步驟之結果，將得到每一像素之藍色影像資料，如第16圖中所示。然而，此藍色影像資料之解馬賽克係基於第9圖之經修改藍色影像資料，即，從中減去綠色影像資料值之藍色影像資料值。

該操作方塊70亦可包含對紅色影像資料之解馬賽克處理。舉例而言，可根據初始拜耳樣式對來自第10圖之紅色影像資料重新排列，並藉由任何習知解馬賽克處理(諸如線性內插、雙線性，等等)而對其進一步解馬賽克。

在該操作方塊70之後，該流程圖可移至一操作方塊72。在該操作方塊72中，可自已解馬賽克之綠色影像資料重新建構已解馬賽克之紅色及藍色影像資料。

在某些具體實施例中，可藉由添入來自同位綠色影像元素(在相同行「m」及列「n」位置之綠色影像元素)之綠色值而重新建構該等紅色及藍色影像資料元素之每一者。舉例而言，在解馬賽克之後，該藍色影像資料包含一藍色元素值DB_m-2,n-2。因為第3圖之初始拜耳樣式在此位置未包含一藍色元素，此藍色值DB_m-2,n-2舉例而言，係基於來自該等元素B_m-3,n-3、B_m-1,n-3、B_m-3,n-1及B_m-1,n-1之任一者或藉由任何其他技術或其他藍色影像元素之藍色值，而透過如上所述之解馬賽克處理所推得。如上所述，此等值在操作方塊54(第8圖)中被修改，且因此不對應於藉由該影像感測器18所偵測之初始藍色影像資料，而是已自此等值之每一者減去一平均綠色值。因此，所產生之藍色影像資料DB_m-2,n-2亦表示已從中減去綠色影像資料之藍色資料。因此，在一具體實施例中，可將元素DG_m-2,n-2之已解馬賽克之綠色影像資料添加至該藍色影像值DB_m-2,n-2，藉此導致一經重新建構之藍色影像資料值。

在某些具體實施例中，可視需要，在解馬賽克之前，首先重新建構藍色及/或紅色影像資料。舉例而言，可首先藉由添加周圍綠色元素之平均值，重新建構已轉換之藍色影像資料B'_m-1,n-1。這將導致獲得或重新計算初始藍色影像資料B_m-1,n-1。可對所有藍色影像資料執行此處理。隨後，該藍色影像資料可此外藉由任何習知去馬賽克技術而解馬賽克。該紅色影像資料亦可以相同或類似方式進行處理。

第12A圖說明該流程圖60之一修改，其藉由元件符號60'辨識。以上參考流程圖60所述之某些步驟可與流程圖60'之某些對應步驟類似或相同，且因此使用相同元件符號來辨識。

如第12A圖中所示，該流程圖60'可在操作方塊62之後包含操作方塊68'。在操作方塊68'中，可對該影像資料執行一雜訊降低技術。例如但不限於，可將雜訊降低技術應用於該綠色影像資料。然而，亦可將任何其他影像處理技術，諸如抗混疊技術，應用於該綠色影像資料。在操作方塊68'之後，該流程圖可移至操作方塊70'。

在操作方塊70'中，可對影像資料解馬賽克。在以上參考操作方塊66及70所闡述之說明中，可分兩步對綠色、紅色，及藍色影像資料解馬賽克。然而，在本流程圖60'中，影像資料之所有三顏色之解馬賽克表示在單一步驟中，儘管可使用上述相同去馬賽克技術以用於此解馬賽克處理。在該操作方塊70'之後，該流程圖可移至操作方塊72，其中可重新建構紅色及藍色影像資料，及移至操作方塊64，其中可應用一反向查找表。

已根據任一流程圖70或70'對影像資料執行解壓及處理或進行任何其他適當處理之後，該影像資料可進一步處理為解馬賽克之影像資料。

藉由在重建該紅色及藍色影像資料之前對綠色影像資料解馬賽克，可實現某些其他優點。舉例而言，如上所述，人眼對綠色光更敏感。對該綠色影像資料進行解馬賽克及處理將最佳化人眼更敏感之綠色影像值。因此，紅色及藍色影像資料之後續重建將受該綠色影像資料之處理的影響。

此外，拜耳樣式具有兩倍於紅色和藍色元素之綠色元素。因此，在保留所有綠色資料之具體實施例中，與紅色或藍色影像資料元素相比，綠色元素存在兩倍於之的影像資料。因此，該等去馬賽克技術、濾波器，及其他影像處理技術將導致一更佳之經解馬賽克、銳化，或以其他方式濾波之影像。使用此等解馬賽克之值對紅色及藍色影像資料進行重新建構及解馬賽克，將向該等紅色和藍色元素之處理、重建，及解馬賽克傳遞與該初始綠色資料之更高解析度相關聯之優點。因此，所產生之影像進一步得到增強。

第17A-B圖說明對第8A圖之流程圖50之一修改，其包含一雜訊去除階段。該例示性方法可儲存為一處理序，其可由該影像處理模組20、壓縮模組22，及/或該攝影機10之其他組件存取。以上參考該流程圖50所述之某些步驟可與第17A-17B圖中之該等流程圖之某些對應步驟類似或相同，且因此使用相同元件符號來辨識。

如第17A-17B圖所示，在某些具體實施例中，可包含操作方塊170，其中將去雜訊應用於影像資料。該去雜訊步驟可包含雜訊去除技術，諸如空間去雜訊，其中單一影像畫面用於在一像素或圖片元素中抑制雜訊。亦可利用使用多個影像畫面進行雜訊校正之時間去雜訊方法，包含運動適應、半運動適應，或運動補償方法。此外，亦可將其他雜訊去除方法用於自影像或一視訊訊號移除雜訊，如以下參考第17C圖及第18-20圖所做之進一步詳細描述。

在某些具體實施例中，在操作方塊170中所圖解說明之去雜訊階段可發生於操作方塊58中之壓縮之前。在壓縮之前，自資料中移除雜訊可較為有利，因為其可極大改良壓縮處理之有效性。在某些具體實施例中，雜訊去除可作為操作方塊58中之壓縮處理的一部分而完成。

如第17A-17B圖中所示，操作方塊170可發生在該影像資料轉換處理中之眾多點位。舉例而言，在轉換之前，可在步驟52之後將去雜訊應用於來自一影像感測器之原始影像資料；或在操作方塊56中之轉換之後，再將其應用於拜耳樣式資料。在某些具體實施例中，可在操作方塊54中發生之資料預加重之前或之後應用去雜訊。值得注意的是，在預加重之前去除資料雜訊可較為有利，因為去雜訊在感觀上線性之資料上操作起來可以更加有效。此外，在例示性具體實施例中，可在操作方塊56之前對綠色影像資料去雜訊，以最小化在操作方塊56中紅色及藍色圖片元素轉換處理期間之雜訊。

第17C圖包含一圖解說明自影像資料去除雜訊之多個階段之流程圖。在某些具體實施例中，該流程圖可表示一儲存於一記憶體元件中之雜訊去除常式，該記憶體元件諸如該儲存裝置24，或該攝影機10內之另一儲存裝置(未顯示)。此外，一中央處理單元(CPU)(未顯示)可經組態以執行該雜訊去除常式。根據該具體實施例，可移除以下所描述之某些方塊，可添加其他方塊，且可改變該等方塊之順序。

繼續參照第17C圖，該雜訊去除常式可起始於操作方塊172。在該操作方塊172中，應用了定限中值去雜訊。定限中值去雜訊可包含使用一影像畫面中被去雜訊之一目前像素周圍或相鄰之像素計算一中值(或平均值)。可使用一臨限值判定是否使用該中值替換目前像素。這可有利於移除尖銳雜訊，諸如一遠比其周圍像素更亮或更暗之像素。當在基於綠色圖片元素轉換紅色及藍色圖片元素之前將定限中值去雜訊應用於綠色圖片元素時，可極大改良雜訊降低效果。

舉例而言，在一具體實施例中，該定限中值去雜訊可利用一3x3中值濾波器，其使用一排序演算法來平滑舉例而言可能由所應用缺陷管理演算法而引入之假影及時間雜訊。此等假影大體上稱為胡椒鹽雜訊(salt-and-pepper noise)，且該中值濾波器可有助於移除此類雜訊。

如前所述，一臨限可用於定限中值去雜訊，以根據一量測一像素相對該中間值之相似性或差異之量度，而判定一像素是否應被替換。舉例而言，假設相鄰綠色像素G1及G2可視同其來自相同樣本。該定限中值去雜訊可利用以下演算法，出於示意性目的，其以虛擬程式碼之形式表示：

差異=abs(Gamma(像素值)-Gamma(中間值))

如果(差異<臨限)，則選擇像素值

否則，選擇中間值

熟習此項技術者將認識到定限中值去雜訊可利用其他類型之演算法。舉例而言，該臨限值可為一預定或計算之靜態值。或者，該臨限值可基於一目前畫面之特性、一或多個先前畫面之特性等等而動態判定及調整。

移至方塊174，對該影像資料應用空間去雜訊。空間去雜訊可包含使用在一影像或視訊畫面中與一目前像素相鄰(例如在空間近鄰範圍內)之圖片元素以用於雜訊去除。在某些具體實施例中，可使用一基於其自目前像素之距離、亮度，及在亮度等級中與目前像素之差異而對該等周圍像素進行加權之加權函數。這可極大改良一影像畫面中之雜訊降低效果。值得注意的是，在某些具體實施例中，可在預加重之後在已轉換之紅色、藍色及綠色像素上發生空間去雜訊。

繼續方塊176，對該影像資料應用時間去雜訊。時間去雜訊可包含使用來自若干影像或視訊畫面之資料以自一目前畫面移除雜訊。舉例而言，一先前畫面或一累積畫面可用於自目前畫面移除雜訊。在某些具體實施例中，該時間去雜訊處理可用於移除閃爍。在某些具體實施例中，可使用偵測像素運動之運動適應、半運動適應、及運動補償方法，以自先前畫面判定正確之像素值。

第18A圖說明一例示性中值定限去雜訊方法之流程圖的具體實施例。該例示性方法可儲存為一執行序，其可藉由該影像處理模組150及/或該攝影機10之其他組件存取。根據該具體實施例，可移除以下所描述之某些方塊，可添加其他方塊，且可改變該等方塊之順序。

起始於方塊180中，計算一影像畫面中之一目前像素的周圍像素之一中值(或在某些具體實施例中，一平均值)。可自該影像或視訊畫面選擇各種大小之像素之一樣本，以最佳化雜訊降低，同時平衡該攝影機10之基礎硬體中之限制。舉例而言，第18B圖顯示紅色及藍色資料像素之樣本核心大小，而第18C圖顯示綠色資料像素之樣本大小。在第18B-18C圖中，對於紅色(R)、藍色(B)及綠色(G1或G2)影像資料，該樣本大小為9點。

值得注意的是，第18B圖顯示用於計算紅色及藍色像素中值的像素之型樣。如圖所示，在第18B圖中，用於紅色及藍色資料之像素的樣本維持一方形形狀。然而，如第18C圖中可見，用於綠色資料之像素的樣本具有一鑽石形狀。值得注意的是，可根據影像資料及其他約束之格式而選定不同樣本形狀及大小。

繼續參照第18A圖，在操作方塊180之後，該流程圖移至方塊182。在方塊182中，將目前像素之值與中值比較。移至方塊184，如果目前像素自中值偏離(舉例而言，絕對差)高於一臨限值，則在方塊186中目前像素替換為中間值。然而，在方塊188中，如果目前像素自中值之偏離低於一臨限值，則目前像素值保持不變。

在某些具體實施例中，該計算中值或臨限之值可根據被去雜訊之目前像素是在一暗區域還是在一明亮區域中而變化。舉例而言，當像素值對應於線性光感測器資料時，可將一權重應用於周圍像素之每一者，以便最終結果不會基於目前像素是在一明亮區域或還是在一暗區域而偏斜。或者，可根據該計算中值或目前像素之亮度而選定一臨限值。在該去雜訊處理中，這可自一畫面之陰影區域中之像素消除過度雜訊去除。

第19A圖說明自一畫面之影像或視訊資料去除空間雜訊之一例示性方法。該例示性方法可儲存為一處理序，其可由該影像處理模組20、壓縮模組22，及/或該攝影機10之其他組件存取。根據該具體實施例，可移除以下所描述之某些方塊，可添加其他方塊，且可改變該等方塊之順序。

起始於操作方塊190中，選定一影像畫面中之一目前像素並將其與一臨限進行核對，以判定目前像素是否超過一雜訊臨限。本領域之一般技術者將認識到，可使用各種技術以用於判定目前像素是否超過一雜訊臨限，包含本文參照第18A圖及其他圖式所述者。

繼續方塊192，選定一組與目前像素相鄰之像素，並將一空間函數應用於該等相鄰像素。第19B-19C圖說明可用作資料點以作為輸入提供給該空間函數之周圍藍色、紅色及綠色像素之樣本佈局。在第19B圖中，展示一具有21點選或點之紅色影像資料的樣本核心。如第19B圖中可見，該樣本具有一大體上圓形型樣及形狀。值得注意的是，一類似於第19B圖中者之點取樣可用於藍色圖片元素。

在第19C圖中，展示一以綠色資料與一目前像素相鄰之資料點之取樣。如圖所示，該樣本包含形成一大體上圓形型樣之29個資料點。值得注意的是，第19B-19C圖說明根據所需雜訊去除之程度及攝影機10之硬體約束，可為樣本選擇之例示性具體實施例及其他數量之資料點及形狀。

進一步參照方塊192，該空間函數通常基於目前像素與周圍像素之間之亮度等級差異、目前像素之亮度等級、以及周圍像素自目前像素之距離，而對圍繞被去雜訊之目前像素的像素設定權重。在某些具體實施例中，所述之某些或全部三個因數(以及其他者)可由該空間函數用於去除目前像素之雜訊。

在某些具體實施例中，可計算被去雜訊之目前像素之亮度等級與該等相鄰像素之每一者之間之絕對差，以判定每一相鄰像素之去雜訊強度。或者，如第19D圖中所示，可應用一例示性加權函數以實現此效果，該加權函數應用一雙向濾波器。在第19D圖中，提供目前像素作為該加權函數之x輸入，並提供周圍像素作為y輸入。如第19D圖中可見，該加權函數可大體上圍繞x軸對稱。該加權函數之右側可包含3個線段。根據目前像素及周圍像素落入哪個線段，該加權函數之結果可導致三個值之一。在某些具體實施例中，該加權函數之端點(x0，y0)及(x3，y3)可分別固定於坐標(0，1)及(1，0)處。兩個中間點之坐標(x1，y1)及(y2，x2)可為可程式化。值得注意的是，坐標之一固定及可程式化配置之一組合可縮短計算時間，同時仍然提供相應精度。在某些具體實施例中，亦可使用具有大體上與第19D圖之例示性函數類似之特性的加權函數。

如前所述，該空間函數亦可使用被去雜訊之目前像素的亮度等級以去除目前像素之雜訊。第19E-19F圖說明可用於針對影像之較暗區域調整空間去雜訊函數的例示性加權函數。大體上，第19E圖中所示曲線可藉由以下函數表示：Y=X^1/3。第19F圖中所示之曲線可大體上藉由函數Y=(1/3)^x表示。第19E-19F圖均接收被去雜訊像素之亮度(或絕對亮度)作為輸入x，且輸出一加權亮度值作為y。在某些具體實施例中，亦可使用大體上具有類似特性之曲線家族。

繼續參考方塊192，每一周圍像素離被去雜訊之目前像素的距離亦可用於控制去雜訊效果之強度。在例示性具體實施例中，先前均已說明之第19B-19C圖可用於基於相鄰像素自目前像素之距離而將其分解為兩個群組。根據相鄰像素落入哪個組，可在空間去雜訊函數中為其指定某一特定權重。舉例而言，離目前像素較遠之像素可賦予較小之權重，而離目前像素較近之像素可被賦予較高之權重。在某些具體實施例中，三或更多群組可用於基於距離而區分相鄰像素。

繼續操作方塊192，該空間函數完成計算目前像素之一去雜訊像素值，該值基於目前像素與每一周圍像素間之亮度等級差異、目前像素之亮度等級以及每一周圍像素距目前像素之距離，而對周圍像素進行加權。計算該去雜訊像素值之後，將目前像素設定為該去雜訊像素值。

第20圖說明自一視訊或影像資料畫面之一例示性時間雜訊移除方法。該例示性方法可儲存為一處理序，其可由該影像處理模組20、壓縮模組22，及/或該攝影機10之其他組件存取。根據該具體實施例，可移除以下所描述之某些方塊，可添加其他方塊，且可改變該等方塊之順序。

起始於操作方塊200中，選定一影像畫面中之一目前像素，並將其與一臨限進行核對以判定目前像素是否超過一雜訊臨限。本領域之一般技術者將認識到，可使用各種技術以用於判定目前像素是否超過一雜訊臨限，包含本文參照第18A圖及其他圖式所述者。

移至方塊202，獲得一空間去雜訊之先前畫面。舉例而言，在對一先前畫面運行第19A圖之去雜訊常式之後，可選定該畫面。或者，可使用尚未去雜訊之一累積畫面或一先前畫面。

繼續方塊204，該時間函數基於目前像素與周圍像素之間之亮度等級差異、目前像素之亮度等級，及該等周圍像素自目前像素之距離，而對圍繞自該(等)先前畫面去雜訊之目前像素的像素進行加權。在某些具體實施例中，該時間函數可使用所述之某些或全部三個因數(以及其他者)以用於去除目前像素之雜訊。

進一步參照方塊204，選定一組與該先前畫面中之目前像素相鄰之像素，並將一時間函數應用於該等相鄰像素。先前所述之第19B-19C圖，其說明除目前畫面中正被去雜訊之目前像素之外，在該時間函數中亦可使用一先前畫面中周圍藍色、紅色及綠色像素之樣本佈局作為資料點。此外，亦可使用先前所述之第19D圖，其圖解說明一加權函數，其用於基於每一相鄰像素之亮度等級而判定其去雜訊強度。在某些具體實施例中，可使用一基於該先前畫面中之周圍像素自目前像素之距離而對其進行加權之距離加權函數，以用於控制該去雜訊效果之強度。在某些具體實施例中，該時間函數亦可使用被去雜訊之目前像素之亮度等級。第19E-19F圖說明例示性加權函數，其可用於針對一影像之較暗區域調整該時間去雜訊函數。值得注意的是，可使用其他曲線及曲線家族。

繼續操作方塊206，該空間函數完成計算目前像素之一去雜訊像素值，該值基於目前畫面中之目前像素與每一周圍像素間之亮度等級差異、目前像素之亮度等級及該周圍像素自每一目前像素之距離，而對來自該先前畫面之周圍像素進行加權。計算去雜訊像素值之後，可將目前像素設定為該去雜訊像素值。

10．．．攝影機

12．．．外殼

14．．．系統

16．．．光學硬體

18．．．影像感測器

20．．．影像處理器

22．．．壓縮模組

24．．．储存裝置

26．．．監控模組

28．．．播放模組

30．．．顯示器

32．．．紅色資料處理模組

34．．．藍色資料影像處理模組

36．．．第一綠色影像資料處理模組

38．．．第二綠色資料影像处理模組

第1圖係圖解說明依據一具體實施例之一系統之方塊圖，該系統可包含硬體及/或可經組態以執行用於處理視訊影像資料之方法。

第2圖係一用於第1圖中所示意表示攝影機之外殼之一可選具體實施例。

第3圖係一影像感測器之一示意佈局，其具有一拜耳樣式濾波器，可用於第1圖中所示之系統。

第4圖係一影像處理模組之示意方塊圖，其可用於第1圖中所示之系統。

第5圖係來自第3圖之影像感測器之該等綠色感測單元之綠色影像資料之一示意佈局。

第6圖係在一刪除某些初始綠色影像資料之可選處理之後，第5圖之剩餘綠色影像資料之一示意佈局。

第7圖係第5圖之紅色、藍色及綠色影像資料之一示意佈局，該等影像資料經配置以用於第1圖之影像處理模組中之處理。

第8圖係圖解說明一影像資料轉換技術之流程圖，該技術可用於第1圖中所示之系統。

第8A圖係說明第8圖之影像資料轉換技術之一修改之流程圖，該修改技術亦可用於第1圖中所示之系統。

第9圖係第8圖之一影像轉換處理所產生之藍色影像資料之一示意佈局。

第10圖係第8圖之一影像轉換處理所產生之紅色影像資料之一示意佈局。

第11圖說明一例示性可選轉換，其可應用於影像資料以進行伽瑪校正。

第12圖係一控制常式之流程圖，該常式可用於第1圖之系統以對影像資料進行解壓縮和解馬賽克。

第12A圖係說明第12圖之控制常式之一修改之流程圖，該修改常式亦可用於第1圖中所示之系統。

第13圖係已根據第12圖之流程圖解壓及解馬賽克之綠色影像資料之一示意佈局。

第14圖係來自第13圖之初始綠色影像資料之一半之一示意佈局，該資料已根據第12圖之流程圖解壓及解馬賽克。

第15圖係藍色影像資料之一示意佈局，該資料已根據第12圖之流程圖而解壓。

第16圖係第15圖之藍色影像資料之一示意佈局，該資料已根據第12圖之流程圖而解馬賽克。

第17A-17B圖係說明一影像資料轉換技術之流程圖，該技術包含可應用於第1圖中所示系統之雜訊去除。

第17C圖係圖解說明雜訊去除常式之流程圖，該常式藉由第1圖中所示系統之例示性組件執行。

第18A圖係圖解說明一定限中值去雜訊常式之流程圖，該常式藉由第1圖中所示系統之例示性組件執行。

第18B-18C圖係藍色、紅色及綠色影像資料之示意佈局，該等資料可用於一藉由第1圖中所示系統之例示性組件執行之定限中值去雜訊常式。

第19A圖係圖解說明一藉由第1圖中所示系統之例示性組件執行之空間去雜訊常式之流程圖。

第19B-19C圖係藍色、紅色及綠色影像資料之示意佈局，該等資料可用於藉由第1圖中所示系統之例示性組件執行之空間及時間去雜訊常式。

第19D-F圖圖解說明可藉由第18A圖之雜訊去除常式應用之例示性加權函數。

第20圖係圖解說明一藉由第1圖中所示系統之例示性組件執行之時間去雜訊常式之流程圖。

Claims

一種影像雜訊降低方法，該方法包括以下步驟：接收複數畫面之影像資料，每一畫面之影像資料包括僅表示一第一顏色之第一影像資料、僅表示一第二顏色之第二影像資料，及僅表示一第三顏色之第三影像資料；藉由使用至少一個處理器，基於該第三影像資料之一平均值，修改在一目前畫面中之該第一影像資料及該第二影像資料，來增強該影像資料的可壓縮性；及藉由使用至少一個處理器，應用一空間函數以調整該目前畫面中空間上彼此鄰近之影像資料，來降低該影像資料中的雜訊。
如申請專利範圍第1項所述之方法，更包括以下步驟：回應於判定一受干擾像素中的一雜訊量超過一臨限值，使用圍繞該受干擾像素且具有相同顏色之像素計算一中值，並將該受干擾像素設定為該中值。
如申請專利範圍第1項所述之方法，其中該調整空間上鄰近之影像資料之步驟包括：計算一值，並將一受干擾像素設定為該值，該值用於對與該受干擾像素相鄰之複數個像素的影像資料進行加權，該值是基於該等相鄰像素距該受干擾像素的距離、該受干擾像素及該等相鄰像素之間的亮度差異，及該受干擾像素之亮度三者中的至少一者來計算的，其中該等加權判定經加權之該等像素對於經計算之該值的相對貢獻。
如申請專利範圍第1項所述之方法，更包括以下步驟：基於一先前畫面調整該目前畫面，其中調整該目前畫面之步驟包括：計算一值，並將該目前畫面中之受干擾像素設定為該值，該值用於對圍繞該先前畫面中之一受干擾像素之複數個像素的影像資料進行加權，該值是基於該等相鄰像素距該受干擾像素的距離、該受干擾像素及該等相鄰像素之間的亮度差異，及該受干擾像素之亮度三者中至少一者來計算的，其中該等加權判定經加權之該等像素對於經計算之該值的相對貢獻。
如申請專利範圍第1項所述之方法，其中該第三影像資料表示綠色影像資料，且該影像資料包括還未解馬賽克的拜耳樣式資料。
如申請專利範圍第1項所述之方法，其中調整空間上彼此鄰近之影像資料的該步驟包括：計算一值，並將一受干擾像素設定為經計算的該值，該值對於與該受干擾像素相鄰之複數個像素的影像資料進行加權，其中該複數個相鄰像素的該影像資料及該受干擾像素的該影像資料造成經計算的該值。
如申請專利範圍第1項所述之方法，其中修改該第一影像資料及該第二影像資料的該步驟包括：藉由從該第一影像資料及該第二影像資料中的至少一者減去該第三影像資料的一平均值，來降低該影像資料中的熵。
如申請專利範圍第2項所述之方法，其中該影像資料相對應於線性光感測器資料，且其中該臨限是至少部分地基於該受干擾像素所在之一影像區域的亮度來判定的。
一種用於影像資料雜訊降低之影像處理裝置，該影像處理裝置包括：一儲存影像資料之電腦記憶體，該影像資料包括僅表示一第一顏色的第一圖片元素、僅表示一第二顏色的第二圖片元素及僅表示一第三顏色的第三圖片元素；及一處理器，該處理器藉由將一空間去雜訊函數應用於該影像資料，自該等圖片元素移除雜訊，該處理器藉由基於該第三顏色之圖片元素修改該等第一和第二顏色二者中至少一者之圖片元素，來增強該影像資料的可壓縮性，且該處理器壓縮經修改、去雜訊之該影像資料，其中該空間去雜訊函數計算一值，並將該受干擾圖片元素設定為經計算的該值，該值對與一受干擾圖片元素相鄰之複數個圖片元素的影像資料進行加權，其中該複數個相鄰圖片元素的該影像資料及該受干擾圖片元素的該影像資料造成經計算的該值。
如申請專利範圍第9項所述之影像處理裝置，其中該處理器在基於該第三顏色而修改該等第一和第二顏色二者中至少一者之圖片元素之前移除雜訊。
如申請專利範圍第9項所述之影像處理裝置，其中該處理器在基於該第三顏色而修改該等第一和第二顏色二者中至少一者之圖片元素之後移除雜訊。
如申請專利範圍第9項所述之影像處理裝置，其中該處理器更計算具有與一受干擾圖片元素相同顏色之相鄰圖片元素之一中值，及回應判定該受干擾圖片元素中的一雜訊量超過一臨限值而將該受干擾圖片元素設定為該中值。
如申請專利範圍第9項所述之影像處理裝置，其中該空間去雜訊函數計算該值，該值用於對與該受干擾圖片元素相鄰之該複數個圖片元素的該影像資料進行加權，該值是基於該等相鄰圖片元素距該受干擾圖片元素的距離、該相鄰圖片元素及該受干擾圖片元素之間的亮度差異，及該受干擾圖片元素之亮度三者中至少一者來計算的，其中該等加權判定經加權之該等圖片元素對於經計算之該值的相對貢獻。
如申請專利範圍第12項所述之影像處理裝置，其中該等相鄰圖片元素至少包括8個圍繞該受干擾圖片元素形成一大體上類似鑽石形狀之資料點。
如申請專利範圍第9項所述之影像處理裝置，其中該處理器更應用時間去雜訊步驟，該時間去雜訊步驟包括：計算一值，且將一目前畫面中之受干擾圖片元素設定為該值，該值用於對與該先前畫面中之該受干擾圖片元素相鄰之複數個圖片元素的影像資料進行加權，該值是基於該相鄰圖片元素距該受干擾圖片元素的距離、該等相鄰圖片元素及該受干擾圖片元素之間的亮度差異，及該受干擾圖片元素之亮度三者中至少一者來計算的，其中該等加權判定經加權之該等像素對於經計算之該值的相對貢獻。
如申請專利範圍第9項所述之影像處理裝置，其中該影像資料包括還未解馬賽克的拜耳樣式資料。
如申請專利範圍第第9項所述之影像處理裝置，其中該處理器藉由從該第一顏色及該第二顏色中之至少一者的圖片元素減去該第三顏色之圖片元素的一平均值，來修改該等圖片元素，藉此降低該影像資料中的熵。
如申請專利範圍第12項所述之影像處理裝置，其中該影像資料相對應於線性光感測器資料，且其中該臨限是至少部分地基於該受干擾圖片元素所在之一影像區域的亮度來判定的。
一種攝影機，包括：一光敏裝置，其經組態以將來自一鏡頭總成之光轉換為影像資料之一原始訊號，其表示該光之至少第一、第二及第三顏色；及一影像處理器，該處理器接收包含了影像資料的畫面，該影像資料包括僅表示一第一顏色的第一影像資料、僅表示一第二顏色的第二影像資料及僅表示一第三顏色的第三影像資料之影像資料的畫面，該處理器藉由基於該第三顏色之一平均值修改該等第一和第二顏色之影像資料，來增強該影像資料的可壓縮性，且該處理器藉由將一空間函數應用於一目前畫面中空間上彼此鄰近之影像資料，來降低該影像資料中的雜訊。
如申請專利範圍第19項所述之攝影機，其中，回應於判定一受干擾像素中的一雜訊量超過一臨限值，該影像處理器計算在該受干擾像素附近且具有相同顏色之多個像素之一中值，並將該受干擾像素之值設定為該中值。
如申請專利範圍第19項所述之攝影機，其中該影像處理器調整空間上鄰近之影像資料，包括：計算一值，並將該受干擾像素設定為該值，該值用於對與該受干擾像素相鄰之複數個像素的影像資料進行加權，該值是基於該等相鄰像素距該受干擾像素的距離、該等相鄰圖片元素及該受干擾像素之間的亮度差異，及該受干擾像素之亮度三者中至少一者來計算的，其中該等加權判定經加權之該等像素對於經計算之該值的相對貢獻。
如申請專利範圍第21項所述之攝影機，其中該等相鄰像素至少包括21個圍繞該受干擾像素形成一大體上圓形型樣之資料點。
如申請專利範圍第19項所述之攝影機，其中該影像處理器更基於該先前畫面調整該目前畫面，至少部分地藉由以下步驟來進行：計算一值，並將該目前畫面中之受干擾像素設定為該值，該值用於對圍繞該先前畫面中之一受干擾像素之複數個像素的影像資料進行加權，該值是基於該等相鄰像素距該受干擾像素的距離、該受干擾像素及該等相鄰像素之間的亮度差異，及該受干擾像素之亮度三者中至少一者來計算的，其中該等加權判定經加權之該等像素對於經計算之該值的相對貢獻。
如申請專利範圍第19項所述之攝影機，其中該空間函數計算一值，且將一受干擾像素設定為經計算的該值，該值對與該受干擾像素相鄰之複數個像素的影像資料進行加權，其中該複數個相鄰像素的該影像資料及該受干擾像素的該影像資料造成經計算的該值。
如申請專利範圍第19項所述之攝影機，其中該影像資料包括還未解馬賽克的拜耳樣式資料。
如申請專利範圍第19項所述之攝影機，其中該影像處理器藉由從該等第一顏色及第二顏色的影像資料減去該第三顏色之影像資料的一平均值，來修改該影像資料，藉此降低該影像資料中的熵。
如申請專利範圍第20項所述之攝影機，其中該影像資料相對應於線性光感測器資料，且其中該臨限係至少部分地基於該受干擾像素所在之一影像區域的亮度來判定的。