TWI407800B - 馬賽克影像的改良處理 - Google Patents

馬賽克影像的改良處理 Download PDF

Info

Publication number
TWI407800B
TWI407800B TW096145022A TW96145022A TWI407800B TW I407800 B TWI407800 B TW I407800B TW 096145022 A TW096145022 A TW 096145022A TW 96145022 A TW96145022 A TW 96145022A TW I407800 B TWI407800 B TW I407800B
Authority
TW
Taiwan
Prior art keywords
image
edge
images
input
pixel values
Prior art date
Application number
TW096145022A
Other languages
English (en)
Other versions
TW200838325A (en
Inventor
Uri Kinrot
Alex Alon
Original Assignee
Digitaloptics Corp Internat
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digitaloptics Corp Internat filed Critical Digitaloptics Corp Internat
Publication of TW200838325A publication Critical patent/TW200838325A/zh
Application granted granted Critical
Publication of TWI407800B publication Critical patent/TWI407800B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Description

馬賽克影像的改良處理
本發明大體而言係關於數位成像，而且特別是關於提升數位相機內的影像品質的方法與器件。
低成本的彩色攝影機通常使用一個具有一多色馬賽克濾波器疊層的單一固態影像感測器。馬賽克濾波器係為微型彩色濾波器元件的遮罩，其中一濾波器元件係被放置在每個影像感測器的偵測元件前面。舉例而言，美國專利第4,697,208號之揭示內容係以引用的方式併入本文中，其說明一具有一固態影像感測元件與一互補色式馬賽克濾波器之彩色影像攝像器件。任何具有一彩色馬賽克濾波器的影像感測器(不管馬賽克內顏色的選擇與安排)在下文中係指「馬賽克影像感測器」。
馬賽克濾波器內的濾波器元件通常在三原色(RGB)，或青綠色、洋紅色與黃色互補色之間替換。一種常見的彩色馬賽克濾波器稱為「拜爾(Bayer)感測器」或「拜爾馬賽克」，其具有下面一般形式(其中字母表示顏色-字母R代表紅色，G代表綠色，B代表藍色)：
該等不同顏色濾波器具有個別的通帶，該等通帶可重疊。美國專利第3,971,065號係說明拜爾馬賽克，該案之揭示內容以引用的方式併入本文中。
處理馬賽克影像感測器所產生的影像通常牽涉到藉由從該感測器輸出取得三種顏色信號(紅、綠及藍)來重建全色彩影像。一影像信號處理器(ISP)處理該影像感測器輸出以便計算該輸出影像的每個像素的亮度(Y)與彩度(C)值。接著該ISP在標準視訊格式下輸出這些值(或相對應的紅、綠與藍色值)。
下文中說明的本發明之實施例係提供電子影像處理及強化的方法與器件，此等電子影像特別是指馬賽克影像感測器所產生的影像。該感測器輸出一串屬於複數個輸入次影像的像素值，該等次影像中的每一個係與一入射到該馬賽克影像感測器的不同、個別顏色的光有關。在一些實施例中，一影像復原引擎(IRE)過濾該等輸入次影像中的每一個內的像素值，以便產生具有提升品質(例如減少模糊)之相對應的輸出次影像。接著一影像信號處理器(ISP)結合該等輸出次影像，以便產生一彩色視訊輸出影像。該IRE與ISP可以是分開的單位，或者可在一單一積體電路中結合。
在一些實施例中，該IRE與ISP交換輔助資訊，以便提升該輸出影像品質。在一些實施例中，該IRE從個別次影像取得資訊，並且提供該資訊給該ISP，以作為結合影像之 產生及/或處理。在其他實施例中，該ISP根據該結合影像產生輔助資訊，並且反饋該輔助資訊給該IRE，以作為處理該等個別次影像之用。經反饋或提供的該輔助資訊可僅包括像素值，或者可包括處理影像參數，諸如邊緣、顏色或亮度資訊。
雖然下文中說明的實施例係指一特定的處理結構，但是根據IRE與ISP功能，本發明之原理(馬賽克次影像的特徵，例如邊緣特性)被用於控制後馬賽克結合影像之產生及/或處理，反之亦然，可同樣地應用於其他類型的結構中。
因此依照本發明之一實施例提供成像裝置，該成像裝置包括：一馬賽克影像感測器，其經配置用以產生一屬於複數個輸入次影像的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；一影像復原引擎(IRE)，其經耦合用以接收與數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像，並且在數位式地過濾該等輸入次影像前從該等輸入次影像取得輔助資訊；以及一影像信號處理器(ISP)，其經耦合用以從該IRE接收該複數個輸出次影像與輔助資訊，並且結合該等輸出次影像以便產生一彩色視訊輸出影像，同時使用該輔助資訊來強化該彩色視訊輸出影像。
在一已揭示的實施例中，該IRE包括一用於降低該等輸 入次影像模糊的反摺積濾波器，而且該馬賽克影像感測器包括一以拜爾馬賽克圖案排列的濾波器陣列。
在一些實施例中，輔助資訊包括邊緣資訊。該邊緣資訊可包括一在該等輸入次影像中確認邊緣區域的邊緣遮罩。此外或另一選擇是，該邊緣資訊至少包括一邊緣特性，其分別地對該等輸入次影像內之複數個像素中的每一個作判定，其中該至少一邊緣特性係選自一組由一邊緣強度與一邊緣方向組成的特性。進一步地此外或另一選擇是，該ISP經配置用以藉由執行至少一影像強化操作來強化該彩色視訊輸出影像，其中該至少一影像強化操作係選自一組由雜訊抑制與邊緣強化組成的操作。
在一些實施例中，該輔助資訊包括至少一項選自一組由壞像素確認與局部雜訊參數組成的資訊。此外或另一選擇是，該輔助資訊包括至少一類選自一組由該等輸入像素值組成的像素值資料類型的像素值資料，以及包括該等輸入像素值與該等輸出次影像之輸出像素值之間的差異。
在一已揭示的實施例中，該等輸出次影像包括輸出像素值，而且該IRE經配置用以藉由增加一或多個輔助位元到輸出像素值來傳送該輔助資訊至該ISP。該IRE可經配置用以經由一串列資料匯流排或一並聯資料匯流排來傳送輸出像素值與該一或多個輔助位元至該ISP。
視情況，該ISP經配置用以執行一或多個選自該組由去馬賽克處理、白平衡與自動曝光控制組成的操作之影像處理與控制操作，並且應用該輔助資訊以執行該一或多個影 像處理與控制操作中的至少一個。
依照本發明之一實施例亦提供成像裝置，該成像裝置包括：一馬賽克影像感測器，其經配置用以產生一屬於複數個輸入次影像的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；一影像復原引擎(IRE)，其經耦合用以使用回應於輔助資訊之經決定的濾波器參數來接收與數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像；以及一影像信號處理器(ISP)，其經耦合用以接收與結合該複數個輸出次影像，以便產生一彩色視訊輸出影像，同時回應於該結合的次影像產生用於輸入給該影像復原引擎之該輔助資訊。
在一已揭示的實施例中，該IRE經配置用以偵測該等輸入次影像內的邊緣，而且該輔助資訊包括一用於偵測該等輸入次影像內之邊緣的邊緣偵測底限。此外或另一選擇是，該輔助資訊在數位式地過濾該等輸入像素值期間包括一經該IRE應用的濾波器核指示。
依照本發明之一實施例，額外地提供成像裝置，該成像裝置包括：一馬賽克影像感測器，其經配置用以產生一屬於複數個輸入次影像的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應； 一邊緣偵測器，其經耦合用以從該等次影像中的一或多個取得邊緣資訊；以及一影像信號處理器(ISP)，其經耦合用以接收與結合該複數個次影像，以便產生一彩色視訊輸出影像，並且使用邊緣資訊來強化該彩色視訊輸出影像。
在一已揭示的實施例中，該邊緣偵測器經配置用以藉由處理一第一組與個別像素水平排列之像素的輸入像素值與一第二組與個別像素垂直排列之像素的輸入像素值在至少一次影像內之複數個像素中的每一像素上取得邊緣資訊。
依照本發明之一實施例，進一步地提供一種用於成像的方法，該方法包括：從一馬賽克影像感測器接收一屬於複數個輸入次影像的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像；在數位式地過濾該等輸入像素值前，從該等輸入次影像取得輔助資訊；以及結合該等輸出次影像以便產生一彩色視訊輸出影像，同時使用該輔助資訊來強化該彩色視訊輸出影像。
依照本發明之一實施例，並且提供一種用於成像的方法，該方法包括：從一馬賽克影像感測器接收一串屬於複數個輸入次影像的輸入像素值，每一個次影像對一入射到該馬賽克影像感 測器的不同、個別顏色的光有反應；使用經回應於輔助資訊決定的濾波器參數來數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像；結合該等輸出次影像以便產生一彩色視訊輸出影像同時強化該彩色視訊輸出影像；以及產生回應於該結合次影像的輔助資訊。
依照本發明之一實施例，此外還提供一種用於成像的方法，該方法包括：從一馬賽克影像感測器接收一串屬於複數個輸入次影像的輸入像素值，每一個次影像對一入射到該馬賽克影像感測器上的不同、個別顏色的光有反應；從該等次影像中的一或多個取得邊緣資訊；結合該等輸出次影像以便產生一彩色視訊輸出影像；並且使用該邊緣資訊來強化該彩色視訊輸出影像。
依照本發明之一實施例，亦提供一電腦軟體產品，其包括一儲存程式指令的電腦可讀媒體，當指令被電腦讀取時會造成電腦從一馬賽克影像感測器接收一屬於複數個次影像的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；從該等次影像中的一或多個取得邊緣資訊；結合該複數個次影像以便產生一彩色視訊輸出影像；而且使用該邊緣資訊來強化該彩色視訊輸出影像。
依照本發明之一實施例，此外還提供一種電腦軟體產 品，其包括一儲存程式指令的電腦可讀媒體，當電腦讀取指令時，該等指令造成電腦從一馬賽克影像感測器接收一屬於複數個次影像的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像；並且在數位式地過濾該等輸入像素值前，從該等輸入次影像取得輔助資訊；以及結合該等輸出次影像以便產生一彩色視訊輸出影像，同時使用該輔助資訊來強化該彩色視訊輸出影像。
本發明將因以下實施例的詳述與圖式而讓吾人更加了解。
依照本發明之一實施例，圖1係為概要地圖解一電子成像相機20之方塊圖。為了闡明與具體化本發明之原理，故以實例顯示此特殊、簡化的相機設計。然而，這些原理並不限於此設計，但反而可應用於提高其他種類的成像系統中的輸出影像品質，其中一感測器產生多種不同顏色的次影像，該等多種不同顏色的次影像經結合用以產生一強化彩色輸出影像。
在相機20中，物鏡光學系統22將來自一景的光集中於一馬賽克影像感測器24上。任何適當類型的影像感測器(例如一光學耦合元件CCD或互補性金氧半導體CMOS影像感測器)皆可使用於相機內。在此範例中，以及接下來的說 明中，假定該感測器具有一拜爾式馬賽克濾波器，以便該感測器輸出的影像信號中的每一像素32對紅、綠或藍光有反應。因此，該馬賽克感測器輸出可視為包括由相對應的感測器元件之像素值組成的紅、綠與藍次影像。該等屬於不同次影像之像素值通常穿插於根據馬賽克濾波器內彩色元件的順序之輸出信號中，即該感測器輸出一列RGRGRG…(紅與綠濾波器交替)，接著是一列GBGBGB…(綠與藍交替)，以及依此類推的交替列。或者，下文中說明的方法與電路(加上必要的變更)可與其他類型的馬賽克感測器圖案一起使用。
一影像復原引擎(IRE)26接收與處理由影像感測器24輸出的像素值串流。下文中將參考圖2詳述此相機20之組件。在以IRE26處理前，將該等像素值藉由一類比/數位轉換器(未顯示於圖中)來數位化，該類比/數位轉換器可與感測器24或IRE 26整合在一起或可為一分離組件。無論如何，IRE 26處理由感測器24產生的紅、綠與藍輸入次影像，以便減少影像模糊，如下文中所述。接著IRE 26輸出具有已減少模糊的紅、綠與藍輸入次影像。
通常，IRE 26以相同格式輸出次影像，其中該IRE 26從感測器24接收該等次影像。舉例而言，IRE 26可在輸出次影像中插入像素值，以產生一單一輸出串流，其中該等像素值具有如來自感測器24之輸入像素值的相同插入。或者，IRE 26可經配置用以信號分離並輸出每一次影像成一分離的資料塊或資料串流。
一ISP 28從IRE 26接收該已解模糊的紅、綠與藍輸出次影像，並且以標準視訊格式結合該等次影像以產生一彩色視訊輸出影像(或影像序列)。此輸出影像可展現於一視訊螢幕30上，而且經由通訊鏈來傳送及/或儲存於一記憶體內。在IRE 26以從感測器24接收次影像的相同格式來輸出次影像之實施例中，ISP 28可經交換地使用以處理IRE 26之輸出或直接處理感測器24之輸出。此IRE 26之特徵是有利的，尤其因為此特徵在不改變感測器與ISP的情況下允許該IRE與一現存感測器及ISP一起使用。此特徵亦允許IRE 26之復原功能僅以啟動或停止該感測器與該ISP之間的一旁通連結(未顯示)來打開或關閉，或適當地設定該IRE之處理參數以給予相同於輸入的輸出。
ISP 28產生的彩色視訊輸出影像通常包含影像中的每一像素之亮度與顏色資訊。可依亮度與彩度(例如Y/C或其他顏色坐標)或個別的色彩值(例如RGB)來編碼此資訊。相比之下，經IRE 26處理與輸出的次影像屬於單色影像，僅包含關於該等單色影像代表的特定顏色的亮度資訊。每一次影像僅包含該等出現於該彩色視訊輸出影像之像素的子集，即那些由被相對應的濾波器覆蓋之影像感測器元件所產生的像素濾波器。換言之，以圖1中所示的拜爾矩陣為例，R與B次影像分別包含輸出影像中的1/4像素，而G次影像則包含剩下的一半像素。
ISP 28的一個重要功能是降低影像雜訊，同時維持影像信號中的清晰邊緣。(因為人類對影像品質知覺的敏感度 是色散雜色大於亮度雜色，所以希望在將影像轉換至亮度/彩度色空間之後執行雜訊降低，而不是在馬賽克範圍內。)然而由IRE 26執行的復原功能可增加影像內的雜訊，而且可在近飽和邊產生假影(即在一非飽和影像與影像內的一飽和物體之間的邊界上的邊緣，其中遺失一些原始影像資訊)。因此該IRE之運作可降低雜訊過濾性能與該ISP執行的其他功能。例如，當運用低通濾波來降低雜訊時，因復原造成的高頻雜訊的增加振幅與雜訊光譜分布中的變化可削弱該ISP偵測與保存影像中的真正邊緣的能力。
如另一範例，為了在將馬賽克次影像轉換成一結合顏色影像階段時最佳化雜訊解析度取捨，因此一些ISPs使用馬賽克影像的局部梯度。IRE 26之影像復原操作可使該局部梯度資訊劣化，而且可增加影像雜訊。其它因使用復原操作前取得之邊緣資訊或其他輔助資訊而增加的ISP功能尤其是包括高級白平衡與自動曝光控制機制。
在本發明之實施例中，為了克服這些困難與提升輸出影像的品質，IRE 26從復原前次影像提供ISP 28(除了已復原的次影像之外還有)某些輔助資訊，諸如邊緣位置。此輔助資訊可包括：˙復原前次影像像素值，或復原前與復原後像素值之間的差。
˙從復原前次影像取得的邊緣資訊。此資訊可為每像素或每區域單一位元之形式，表示不管該像素或區域被分類 為一邊緣位置或一可具有較大範圍的值之「邊緣值」。
˙關於該等復原前次影像的強度梯度資訊，例如沿著某些方向(水平的、垂直的，以及可能是斜的)的導數。此等導數可根據一指定底限或底限值而量化。
˙將該等復原前次影像內之對應邊緣給予該等復原次影像的平移向量。(例如為了修正某些偏移，所以這些向量可用於補償發生於復原過程中的影像移動)。
˙原始感測器影像內之「壞的」像素之確認。
˙該等復原前次影像內之雜訊位準之一局部估計量產生的一雜訊參數。
ISP 28使用此輔助資訊以改善其執行影像處理步驟的品質，例如將該等馬賽克次影像轉換成一結合彩色影像與後續雜訊移除。下面將於圖3與圖4中描述一詳細的範例。
此外或另一選擇是，ISP 28可將輔助資訊傳給IRE 26。舉例而言，該ISP可為了復原前邊緣偵測而傳送至該IRE底限。另一個例子，該ISP可在根據某個ISP功能的結果(例如曝光控制、色彩平衡或其他統計資訊)之該等次影像中的每一區域(或甚至在每一像素)中選擇由IRE 26應用的復原濾波核，其中該ISP可從一個單一影像或幾個連續影像收集。IRE處理參數之小心控制可更進一步改善來自該ISP的輸出影像之品質。
通常，一或多個積體電路晶片內包含有IRE 26與ISP 28，該等積體電路晶片可包括訂製或半訂製組件。雖然IRE 26與ISP 28在圖1中係以分開的功能塊顯示，但是該 IRE與ISP的功能可在一個單一積體電路組件中實施出來。視情況，影像感測器24可與IRE 26結合，而且亦可能與ISP 28在系統單晶片(SoC)或相機單晶片設計內之相同的半導體基板上結合。或者，IRE 26與ISP 28的一些或所有功能可在一可程式處理器(例如一數位信號處理器)上之軟體內實施。此軟體可以電子形式下載至該處理器，或者可設置於實體媒體(例如光學、磁性或電子記憶媒體)上。
依照本發明之一實施例，圖2係為概要地顯示IRE 26與ISP 28之功能組件的方塊圖。在此例示性實施例中，IRE 26在次影像被ISP 28結合成一個單一彩色輸出影像前，藉由反摺積濾波(DCF)執行影像復原，以便降低該等次影像之模糊。此外或另一選擇是，IRE 26可經配置用以在該等馬賽克次影像之空間內實行其他數位濾波功能。2006年11月7日申請之PCT專利申請案PCT/IL2006/001294中可發現IRE 26的這些與其他功能的更詳細說明，該案係讓渡給本專利申請案之受讓人，而且其揭示內容以引用的方式併入本文中。此外，該IRE從該等馬賽克次影像取得輔助資訊(尤其是邊緣資訊)，而且將此資訊傳送給ISP 28。
IRE 26內之一預處理電路40從影像感測器24接收該等馬賽克次影像，而且在影像復原前執行初步處理功能。在此範例中，該預處理電路包括一綠平衡單位42與一除尖波單位44。該綠平衡單位為了振幅變動而平衡綠-紅(Gr)與綠-藍(Gb)像素值。(Gr與Gb分別是指發生於RGRGRG…列與GBGBGB…列內的綠像素。)該除尖波單位確認並修改壞像 素的值，以便阻止雜訊從這些像素傳播至已處理的影像。
一數位濾波器46對該等次影像中的每一個單獨地執行一解模糊操作。濾波器46通常使用一大體上與光學系統22(圖1)之點擴散函數(PSF)相反的反摺積核，以便「消除」該光學像差的影響。舉例而言，PCT專利公開案WO 2004/063989 A2與2006年3月31日申請之美國專利申請案第11/278,255號(此案係讓渡給本專利申請案之受讓人)中說明計算此類核的方法。上述兩個專利申請案之揭示內容係以引用的方式併入本文中。或者，其他類型的濾波器核可被濾波器46應用，不管是用於解模糊或此項技術中已知的其他影像處理功能。舉例而言，濾波器46可執行影像加強功能，例如雜訊抑制及/或邊緣加強(除了由ISP 28執行的雜訊抑制與邊緣加強之外)。該濾波器46之核通常被遮蔽，因此該等次影像中的每一個係與其他的次影像分開進行過濾，儘管在輸入像素串流中該等次影像交錯。
在經由濾波器46處理之後，IRE 26透過一傳送匯流排60將加強次影像輸出至ISP 28，該傳送匯流排60可使用一平行或串列資料傳送格式。
一邊緣偵測單位56決定每個次影像內的邊緣像素之位置。此單位可同樣地擁有一具有一適當梯度核之數位濾波器外形，例如圖4中所示的核。由該濾波器計算出的梯度可與某些底限值(可適應地作調整)作比較以便決定邊緣位置。形態加寬操作可應用於邊緣位置，以便產生一包含邊緣區域之邊緣遮罩。舉例而言，該遮罩在邊緣區域內之像 素上可具有數值「1」，而其他處則為「0」。上述PCT專利申請案PCT/IL2006/001294中詳述這些類型的邊緣確認功能。
雖然顯示於圖2中的邊緣偵測單位56係為IRE 26的一部分，但是此單位的功能可供選擇地實現於ISP 28內，根據濾波器46之應用前IRE 26提供的次影像像素值。(當然，該IRE與ISP整合於一單一晶片上時，該邊緣偵測單位是否屬於該IRE或該ISP的問題則具有很少或不具實際重要性。)視情況，濾波器46與ISP 28內之一去馬賽克處理器48亦可使用該邊緣資訊。
該邊緣資訊(或其他輔助資訊)可個別地自該等輸出次影像像素值傳送或與該等輸出次影像像素值一起傳送。為了維持該邊緣資訊與該等濾波後的影像像素之間的正確同步，該邊緣資訊可在其透過匯流排60傳至ISP 28前通過一延遲線58。或者，在IRE 26之軟體式實施中，該邊緣資訊可以一分離的影像緩衝器傳至ISP 28，或例如與儲存影像緩衝器內的次影像之像素值結合。
或者，相機20可包括一平行於IRE 26之獨立邊緣處理單位(未顯示)，接著ISP 28可從此獨立單位接收邊緣或其他輔助資訊。然而，此方法通常需要使用一比延遲線58大很多的記憶體，以便同步提供給ISP 28的資料。因此，為了在IRE 26內透過匯流排60傳輸而取得輔助資訊，或為了IRE 26之復原功能與提供同步輔助資訊給ISP 28而至少使用相同的記憶體通常是比較符合經濟效益的。
在一些實施例中，邊緣資訊藉由將一或多個輔助位元加至像素值以便結合匯流排60上之像素對像素與輸出影像像素值。舉例而言，一個1位元或2位元邊緣遮罩可與一個10位元影像結合，以便透過一串列匯流排傳送一個11位元或12位元的修正影像，其中每一個像素值經修正而包括一邊緣值。接著原始像素值與邊緣值經由一串列對平行解碼器(未示於圖式中)在該ISP分離出。該邊緣資訊可被IRE 26嵌入最低有效位元(LSB)中或匯流排上修正影像內的每個像素值之位元中，因此如果該IRE與一未經配置用以取得與處理該額外邊緣資訊之ISP一起使用，則附加位元將低於雜訊。另一個範例，4位元定向邊緣資訊可與8位元壓縮影像資料結合以便在匯流排60上形成一個12位元修正影像。(此類資訊傳送計畫可經設計用以符合用於數位相機模組的標準行動影像架構(SMIA)介面規格。)接著該ISP內的一串列對平行解碼器可分離出該4位元定向邊緣資訊與解壓縮該8位元壓縮影像資料，以作為後續處理使用。
ISP 28包括一去馬賽克處理器48，該去馬賽克處理器48插入馬賽克次影像像素值以便計算每一個像素的R、G與B色彩值。為了改善品質，該去馬賽克處理器48可使用由邊緣偵測單位56提供的邊緣資訊作為部分去馬賽克操作。一音調與色彩處理單位50調整影像亮度直方圖與色彩平衡，以及在亮度/彩度座標(例如YUV)中的輸出像素值。這些去馬賽克、音調與色彩處理功能係為此項技術中所熟知的。根據邊緣偵測單位56提供的邊緣資訊，一動態雜訊濾波器 52接著經應用於降低結合影像內的雜訊。下面將參考圖3來說明濾波器52之操作。在雜訊濾波之後，一視訊格式電路54以標準視訊格式輸出色彩影像。
依照本發明之一實施例，圖3係為概要地顯現雜訊濾波器52細節的方塊圖。在一銳處理通道62與一平滑處理通道64兩個內接收來自音調與色彩處理單位50的影像資料。該平滑處理通道通常在影像上執行一低通數位濾波操作，此平均每一像素與其相鄰像素。該銳處理通道通常執行一邊緣加強濾波操作，以便銳化像素內之邊緣。或者，僅該銳與平滑處理通道之其中一個可真正地過濾影像，另一個通道以一適當的同步延遲來通過影像資料。
對於影像中的每一像素或區域，一選擇器66選擇通道62或通道64輸出的像素值，此視邊緣偵測單位56接收的邊緣資訊而定。該選擇器將選定的平滑與銳像素值分工傳輸至一結合的、雜訊濾波的或銳化輸出影像。舉例而言，假設該邊緣資訊包括一個1位元邊緣遮罩，則選擇器66在邊緣區域選擇銳值，並且在其他處選擇平滑值。因此，假的「邊緣」因影像之平滑區域內的雜訊而遭抑制，而真正的邊緣則被保存或甚至被強化。
或者，雜訊濾波器52可使用更複雜的濾波與邊緣強化計畫。舉例而言，如果來自單位56的邊緣資訊包括梯度方向，則銳處理通道62可選擇一適當的濾波器核，以便用於依局部邊緣方向而定的每一像素或區域的邊緣銳化。其他可使用來自單位56的邊緣資訊以實施的適應性雜訊抑制與 邊緣強化計畫將對於熟習此項技術者是顯而易知的，而且被視為屬於本發明的範圍內。
依照本發明之一實施例，圖4係為概要地圖解邊緣偵測單位56使用於偵測馬賽克次影像內之邊緣的像素70之選取的圖。對每一像素72(座標(i, j) )而言，該邊緣偵測單位使用與像素72垂直地與水平地排列的像素74，以決定該1位元邊緣遮罩e(i, j) 值。該邊緣偵測單位僅使用交錯像素74，該等交錯像素74與馬賽克影像空間內的像素72一樣皆屬於相同的次影像(即相同的顏色)。發明者發現圖4代表的邊緣偵測器在高解析度與具有最小假的邊緣偵測及合理使用計算資源的良好步驟偵測之間給予有效調和。或者，大體上邊緣偵測單位56可使用任何其他適當像素之選取與邊緣偵測演算法，此對於熟習此項技術者亦是顯而易知的。
為了決定邊緣遮罩值，邊緣偵測單位56為每一像素計算一組梯度值，d x -1 =p (i -2,j )-p (i ,j )g x -1 =p (i -4,j )-p (i -2,j )d x +1 =p (i +2,j )-p (i ,j )g x +1 =p (i +4,j )-p (i +2,j )d y -1 =p (i ,j -2)-p (i ,j )g y -1 =p (i ,j -4)-p (i ,j -2)d y +1 =p (i ,j +2)-p (i ,j )g y +1 =p (i ,j +4)-p (i ,j +2)
如果下面4項表現式中的任何一項被評為正確，該邊緣偵測單位輸出的邊緣值e(i, j) 則被設定為1(表示一邊緣之存在)：
如先前提到的，邊緣偵測單位56可視情況將一形態加寬操作應用於軌跡e(i, j) =1。
在真正影像的實驗方面，發明者發現雖然不管是在數位濾波器前或後執行邊緣偵測皆可找到類似的真正邊緣像素數目，但是在數位濾波前的邊緣偵測則給予較小數目的假邊緣(即e(i, j) =1的像素，儘管觀察者將位於該影像之一區域內的像素歸入非邊緣)。因此，在不損及真正邊緣清晰度之下，使用取自預先濾波器邊緣偵測之遮罩，造成一來自ISP的更平滑且較少雜訊的輸出影像。或者，在數位濾波器46之前作為邊緣偵測使用的底限可能被設定為一較低的值，以便偵測一較大數目的真正邊緣(以稍微增加假的邊緣偵測為代價)，因此給予一具有強化細節之來自ISP的輸出影像。
雖然上述的實施例與相機20之特定的處理結構有關，但是本發明之原理(馬賽克次影像的特徵，例如邊緣特性)被用於控制後馬賽克結合影像之處理(可能使用作為復原與輔助資訊之共享記憶體資源)，反之亦然，可同樣地應用於其他類型的結構中。因此應了解，上述之實施例係以實例的方式被引用，而且本發明並不限於上面已經特別顯示與說明的內容。本發明之範圍包括上述各種特徵之組合與 次組合，以及熟習本項技術者在閱讀前面說明時想到的且先前技術中未揭示的變化與修改。
20‧‧‧成像裝置/電子成像相機
22‧‧‧物鏡光學系統
24‧‧‧馬賽克影像感測器
26‧‧‧影像復原引擎
28‧‧‧影像信號處理器
30‧‧‧視訊螢幕
32‧‧‧像素
40‧‧‧預處理電路
42‧‧‧綠平衡單位
44‧‧‧除尖波單位
46‧‧‧數位濾波器
48‧‧‧去馬賽克處理器
50‧‧‧音調與色彩處理單位
52‧‧‧動態雜訊濾波器
54‧‧‧視訊格式電路
56‧‧‧邊緣偵測單位
58‧‧‧延遲線
60‧‧‧傳送匯流排
62‧‧‧銳處理通道
64‧‧‧平滑處理通道
66‧‧‧選擇器
圖1是一依照本發明之一實施例概要地圖解一電子成像相機的方塊圖；圖2是一依照本發明之一實施例概要地顯示一電子成像相機內的影像處理電路細節的方塊圖；圖3是一依照本發明之一實施例概要地顯示一雜訊濾波器細節的方塊圖；以及圖4是一依照本發明之一實施例概要地圖解經使用於邊緣偵測內的像素值之選取的圖。
24‧‧‧馬賽克影像感測器
26‧‧‧影像復原引擎
28‧‧‧影像信號處理器
40‧‧‧預處理電路
42‧‧‧綠平衡單位
44‧‧‧除尖波單位
46‧‧‧數位濾波器
48‧‧‧去馬賽克處理器
50‧‧‧音調與色彩處理單位
52‧‧‧動態雜訊濾波器
54‧‧‧視訊格式電路
56‧‧‧邊緣偵測單位
58‧‧‧延遲線
60‧‧‧傳送匯流排

Claims (47)

  1. 一種成像裝置，其包括：一馬賽克影像感測器，其經配置用以產生一屬於複數個輸入次影像的輸入像素值串流，每一個輸入次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；一影像復原引擎(IRE)，其經耦合用以接收與數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像，並且在數位式地過濾該等輸入像素值前，從該等輸入次影像取得輔助資訊；以及一影像信號處理器(ISP)，其經耦合用以從該IRE接收該複數個強化輸出次影像與輔助資訊，並且結合該等輸出次影像以便產生一彩色視訊輸出影像，同時使用該輔助資訊來強化該彩色視訊輸出影像。
  2. 如請求項1之裝置，其中該IRE包括一用於降低該等輸入次影像模糊的反摺積濾波器。
  3. 如請求項1之裝置，其中該馬賽克影像感測器包括一以拜爾馬賽克圖案排列的濾波器陣列。
  4. 如請求項1-3中任一項之裝置，其中該輔助資訊包括邊緣資訊。
  5. 如請求項4之裝置，其中該邊緣資訊包括一在該等輸入次影像中確認邊緣區域的邊緣遮罩。
  6. 如請求項4之裝置，其中該邊緣資訊包括至少一邊緣特 性，其分別地對該等輸入次影像內之複數個像素中的每一個作判定，其中該至少一邊緣特性係選自一組由一邊緣強度與一邊緣方向組成的特性。
  7. 如請求項4之裝置，其中該ISP經配置用以藉由回應於該邊緣資訊執行至少一影像強化操作來強化該彩色視訊輸出影像，其中該至少一影像強化操作係選自一組由雜訊抑制與邊緣強化組成的操作。
  8. 如請求項1-3中任一項之裝置，其中該輔助資訊包括至少一項選自一組由壞像素確認與局部雜訊參數組成的資訊。
  9. 如請求項1-3中任一項之裝置，其中該輔助資訊包括至少一類選自一組由該等輸入像素值組成的像素值資料類型的像素值資料，以及包括該等輸入像素值與該等輸出次影像之輸出像素值之間的差異。
  10. 如請求項1-3中任一項之裝置，其中該等輸出次影像包括輸出像素值，而且其中該IRE經配置用以藉由增加一或多個輔助位元到該等輸出像素值來傳送該輔助資訊至該ISP。
  11. 如請求項10之裝置，其中該IRE經配置用以經由一串列資料匯流排傳送該等輸出像素值與該一或多個輔助位元至該ISP。
  12. 如請求項10之裝置，其中該IRE經配置用以經由一並聯資料匯流排傳送該等輸出像素值與該一或多個輔助位元至該ISP。
  13. 如請求項1-3中任一項之裝置，其中該ISP經配置用以執行一或多個選自該組由去馬賽克處理、白平衡與自動曝光控制組成的操作之影像處理與控制操作，並且以執行該一或多個影像處理與控制操作中的至少一個來應用該輔助資訊。
  14. 一種影像裝置，其包括：一馬賽克影像感測器，其經配置用以產生一屬於複數個輸入次影像的輸入像素值串流，每一個輸入次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；一影像復原引擎(IRE)，其經耦合用以使用回應於輔助資訊之經決定的濾波器參數來接收與數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像；以及一影像信號處理器(ISP)，其經耦合用以接收與結合該複數個強化輸出次影像，以便產生一彩色視訊輸出影像，該ISP進一步產生用於輸入給該影像復原引擎之該輔助資訊。
  15. 如請求項14之裝置，其中該IRE經配置用以偵測該等輸入次影像內的邊緣，而且其中該輔助資訊包括一用於偵測該等輸入次影像內之邊緣的邊緣偵測底限。
  16. 如請求項14或15之裝置，其中該輔助資訊包括一在數位式地過濾該等輸入像素值期間經該IRE應用的濾波器核指示。
  17. 一種影像裝置，其包括：一馬賽克影像感測器，其經配置用以產生一屬於複數個輸入次影像的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；一邊緣偵測器，其經耦合用以從該等次影像中的一或多個取得邊緣資訊；以及一影像信號處理器(ISP)，其經耦合用以接收與結合該複數個次影像，以便產生一彩色視訊輸出影像，並且使用邊緣資訊來強化該彩色視訊輸出影像，其中該ISP使用該邊緣資訊以決定複數個雜訊濾波器之哪一雜訊濾波器使用來濾波來自於該彩色視訊輸出影像之雜訊。
  18. 如請求項17之裝置，其中該邊緣資訊包括一在該等次影像中確認邊緣區域的邊緣遮罩。
  19. 如請求項17之裝置，其中該邊緣資訊包括至少一邊緣特性，其分別地對該等次影像內之複數個像素中的每一個作判定，其中該至少一邊緣特性係選自一組由一邊緣強度與一邊緣方向組成的特性。
  20. 如請求項17-19中任一項之裝置，其中該ISP經配置用以藉由執行至少一影像強化操作來強化該彩色視訊輸出影像，其中該至少一影像強化操作係選自一組由雜訊抑制與邊緣強化組成的操作。
  21. 如請求項17-19中任一項之裝置，其中該邊緣偵測器經配置用以藉由處理一第一組與個別像素水平排列之像素的 輸入像素值與一第二組與個別像素垂直排列之像素的輸入像素值在至少一次影像內之複數個像素中的每一像素上取得邊緣資訊。
  22. 如請求項17之裝置，其中該邊緣資訊被合併至屬於該複數個次影像之該等輸入像素值中。
  23. 一種成像方法，其包括：從一馬賽克影像感測器接收一屬於複數個輸入次影像的輸入像素值串流，每一個輸入次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像；在數位式地過濾該等輸入像素值前，從該等輸入次影像取得輔助資訊；以及結合該等強化輸出次影像以便產生一彩色視訊輸出影像，同時使用該輔助資訊來強化該彩色視訊輸出影像。
  24. 如請求項23之方法，其中數位式地過濾該等輸入像素值包括應用一反摺積濾波器以便降低該等輸入次影像之模糊。
  25. 如請求項23之方法，其中該馬賽克影像感測器包括一以拜爾馬賽克圖案排列的濾波器陣列。
  26. 如請求項23-25中任一項之方法，其中該輔助資訊包括邊緣資訊。
  27. 如請求項26之方法，其中該邊緣資訊包括一在該等輸入次影像中確認邊緣區域的邊緣遮罩。
  28. 如請求項26之方法，其中該邊緣資訊包括至少一邊緣特 性，其分別地對該等輸入次影像內之複數個像素中的每一個作判定，其中該至少一邊緣特性係選自一組由一邊緣強度與一邊緣方向組成的特性。
  29. 如請求項26之方法，其中強化該彩色視訊輸出影像包括執行至少一回應於該邊緣資訊之影像強化操作，其中該至少一影像強化操作係選自一組由雜訊抑制與邊緣強化組成的操作。
  30. 如請求項23-25中任一項之方法，其中該輔助資訊至少包括一項選自一組由壞像素確認與局部雜訊參數組成的資訊。
  31. 如請求項23-25中任一項之方法，其中該輔助資訊包括至少一類選自一組由該等輸入像素值組成的像素值資料類型的像素值資料，以及包括該等輸入像素值與該等輸出次影像之輸出像素值之間的差異。
  32. 如請求項23-25中任一項之方法，其中該等輸出次影像包括輸出像素值，且藉由一影像信號處理器(ISP)結合在一起，而且其中取得該輔助資訊包括藉由增加一或多個輔助位元至該等輸出像素值以傳送該輔助資訊至該ISP。
  33. 如請求項32之方法，其中傳送該輔助資訊包括經由一串列資料匯流排傳送該等輸出像素值與該一或多個輔助位元至該ISP。
  34. 如請求項32之方法，其中傳送該輔助資訊包括經由一並聯資料匯流排傳送該等輸出像素值與該一或多個輔助位元至該ISP。
  35. 如請求項32之方法，其中結合該等輸出次影像與強化該 彩色視訊輸出影像包括執行一或多個選自該組由去馬賽克處理、白平衡與自動曝光控制組成的操作之影像處理與控制操作，並且以執行該一或多個影像處理與控制操作中的至少一個來應用該輔助資訊。
  36. 一種成像方法，其包括：從一馬賽克影像感測器接收一屬於複數個輸入次影像的輸入像素值串流，每一個輸入次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；使用回應於輔助資訊之經決定的濾波器參數來數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像；結合該等強化輸出次影像，以便產生一彩色視訊輸出影像；以及產生在數位式地濾波該等輸入像素值時所使用之該輔助資訊。
  37. 如請求項36之方法，其中數位式地過濾該等輸入像素值包括在該等輸入次影像中偵測邊緣，而且其中產生該輔助資訊包括提供一用於偵測該等輸入次影像內之邊緣偵測底限。
  38. 如請求項36或37之方法，其中產生該輔助資訊包括在數位式地過濾該等輸入像素值期間提供一經應用的濾波器核指示。
  39. 一種成像方法，其包括：從一馬賽克影像感測器接收一屬於複數個輸入次影像 的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；從該等次影像中的一或多個取得邊緣資訊；結合該等輸出次影像以便產生一彩色視訊輸出影像；以及使用該邊緣資訊以強化該彩色視訊輸出影像，其中該邊緣資訊經使用以決定複數個雜訊濾波器之哪一雜訊濾波器使用來濾波來自於該彩色視訊輸出影像之雜訊。
  40. 如請求項39之方法，其中該邊緣資訊包括一在該等次影像中確認邊緣區域的邊緣遮罩。
  41. 如請求項39之方法，其中該邊緣資訊包括至少一邊緣特性，其分別地對該等次影像內之複數個像素中的每一個作判定，其中該至少一邊緣特性係選自一組由一邊緣強度與一邊緣方向組成的特性。
  42. 如請求項39-41中任一項之方法，其中強化該彩色視訊輸出影像包括執行至少一回應於該邊緣資訊之影像強化操作，其中該至少一影像強化操作係選自一組由雜訊抑制與邊緣強化組成的操作。
  43. 如請求項39-41中任一項之方法，其中取得該邊緣資訊包括在至少一次影像內之複數個像素中的每一像素上處理一第一組與該像素水平排列之像素的輸入像素值與一第二組與該像素垂直排列之像素的輸入像素值。
  44. 如請求項39之方法，其進一步包含：將該邊緣資訊合併至屬於該複數個次影像之該等輸入 像素值中。
  45. 一種電腦軟體產品，其包括一儲存程式指令的電腦可讀媒體，當指令被電腦讀取時會造成該電腦從一馬賽克影像感測器接收一屬於複數個次影像的輸入像素值串流，每一個次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；並且從該等次影像中的一或多個取得邊緣資訊以便結合該複數個次影像產生一彩色視訊輸出影像；而且使用該邊緣資訊來強化該彩色視訊輸出影像，其中該邊緣資訊經使用以決定複數個雜訊濾波器之哪一雜訊濾波器使用來濾波來自於該彩色視訊輸出影像之雜訊。
  46. 如請求項45之電腦軟體產品，其中該等指令進一步使得該電腦將該邊緣資訊合併至屬於該複數個次影像之該等輸入像素值中。
  47. 一種電腦軟體產品，其包括一儲存程式指令的電腦可讀媒體，當指令被電腦讀取時會造成該電腦從一馬賽克影像感測器接收一屬於複數個輸入次影像的輸入像素值串流，每一個輸入次影像對一入射到該馬賽克影像感測器的不同、個別顏色的光有反應；數位式地過濾該等輸入次影像中的每一個內的輸入像素值，以便產生複數個相對應的強化輸出次影像；在數位式地過濾該等輸入像素值前，從該等輸入次影像取得輔助資訊；以及結合該等強化輸出次影像以便產生一彩色視訊輸出影像，同時使用該輔助資訊來強化該彩色視訊輸出影像。
TW096145022A 2006-11-27 2007-11-27 馬賽克影像的改良處理 TWI407800B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US86138606P 2006-11-27 2006-11-27
US11/715,862 US7907791B2 (en) 2006-11-27 2007-03-07 Processing of mosaic images

Publications (2)

Publication Number Publication Date
TW200838325A TW200838325A (en) 2008-09-16
TWI407800B true TWI407800B (zh) 2013-09-01

Family

ID=39468349

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096145022A TWI407800B (zh) 2006-11-27 2007-11-27 馬賽克影像的改良處理

Country Status (4)

Country Link
US (1) US7907791B2 (zh)
EP (1) EP2100257A4 (zh)
TW (1) TWI407800B (zh)
WO (1) WO2008065641A2 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007054931A2 (en) * 2005-11-10 2007-05-18 D-Blur Technologies Ltd. Image enhancement in the mosaic domain
US8154636B2 (en) * 2005-12-21 2012-04-10 DigitalOptics Corporation International Image enhancement using hardware-based deconvolution
US8019171B2 (en) * 2006-04-19 2011-09-13 Microsoft Corporation Vision-based compression
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
TWI451755B (zh) 2007-04-11 2014-09-01 Red Com Inc 影像攝影機
TWI343207B (en) * 2007-09-07 2011-06-01 Lite On Technology Corp Device and method for obtain a clear image
US8781250B2 (en) 2008-06-26 2014-07-15 Microsoft Corporation Image deconvolution using color priors
US8098951B2 (en) * 2008-08-15 2012-01-17 Sharp Laboratories Of America, Inc. Image sharpening technique
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
US20110135217A1 (en) * 2008-08-15 2011-06-09 Yeping Su Image modifying method and device
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN101477692B (zh) * 2009-02-13 2012-08-22 阿里巴巴集团控股有限公司 图像特征提取方法及装置
JP2011054080A (ja) * 2009-09-04 2011-03-17 Sony Corp 画像処理装置および方法、並びにプログラム
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US20110216157A1 (en) 2010-03-05 2011-09-08 Tessera Technologies Ireland Limited Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems
US8644603B2 (en) * 2010-06-03 2014-02-04 Tripurari Singh Methods and system for spectral image sampling
US8588535B2 (en) 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8600188B2 (en) 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
US8532429B2 (en) 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
US8538193B2 (en) 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
US8175411B2 (en) 2010-09-28 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US9473700B2 (en) * 2010-11-03 2016-10-18 The Trustees Of Columbia University In The City Of New York Camera systems and methods for gigapixel computational imaging
KR20120088103A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 영상 처리 장치
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8860816B2 (en) 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US9324170B2 (en) * 2011-08-18 2016-04-26 Hewlett-Packard Development Company, L.P. Creating a blended image
JP2013110700A (ja) * 2011-11-24 2013-06-06 Samsung Electronics Co Ltd 撮像装置、撮像方法、及び画像処理装置
JP5791082B2 (ja) * 2012-07-30 2015-10-07 国立大学法人横浜国立大学 画像合成装置、画像合成システム、画像合成方法およびプログラム
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
CN104969545B (zh) * 2013-02-05 2018-03-20 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
JP2016508700A (ja) 2013-02-14 2016-03-22 レッド．コム，インコーポレイテッド ビデオカメラ
JP5701942B2 (ja) * 2013-07-10 2015-04-15 オリンパス株式会社 撮像装置、カメラシステム及び画像処理方法
KR102087986B1 (ko) * 2013-10-04 2020-03-11 삼성전자주식회사 이미지 데이터를 처리하는 방법 및 장치
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9747514B2 (en) * 2015-08-31 2017-08-29 Apple Inc. Noise filtering and image sharpening utilizing common spatial support
US10270958B2 (en) 2016-09-01 2019-04-23 Duelight Llc Systems and methods for adjusting focus based on focus target information
US11019336B2 (en) 2017-07-05 2021-05-25 Red.Com, Llc Video image data processing in electronic devices
KR102301940B1 (ko) 2017-12-01 2021-09-14 삼성전자주식회사 이미지 합성 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137498A (en) * 1997-01-02 2000-10-24 Runaway Technology, Inc. Digital composition of a mosaic image
US20020008715A1 (en) * 2000-02-03 2002-01-24 Noam Sorek Image resolution improvement using a color mosaic sensor
US6628749B2 (en) * 2001-10-01 2003-09-30 Siemens Corporate Research, Inc. Systems and methods for intensity correction in CR (computed radiography) mosaic image composition
US20030234866A1 (en) * 2002-06-21 2003-12-25 Ross Cutler System and method for camera color calibration and image stitching
WO2004032484A1 (en) * 2002-10-01 2004-04-15 Philips Intellectual Property & Standards Gmbh Method and device for generating sub-images
TW200529093A (en) * 2003-12-26 2005-09-01 Seiko Epson Corp Face image detection method, face image detection system, and face image detection program
TW200632782A (en) * 2004-09-28 2006-09-16 Qualcomm Inc Magnification and pinching of two-dimensional images

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4697208A (en) 1985-06-13 1987-09-29 Olympus Optical Co., Ltd. Color image pickup device with complementary color type mosaic filter and gamma compensation means
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US5751863A (en) 1996-06-18 1998-05-12 Hewlett Packard Company Method and system having relaxed front end distortion requirements
US6240219B1 (en) 1996-12-11 2001-05-29 Itt Industries Inc. Apparatus and method for providing optical sensors with super resolution
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
KR100247938B1 (ko) 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US6704440B1 (en) 1999-06-24 2004-03-09 General Electric Company Method and apparatus for processing a medical image containing clinical and non-clinical regions
US6628330B1 (en) * 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US6900838B1 (en) 1999-10-14 2005-05-31 Hitachi Denshi Kabushiki Kaisha Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
US6933970B2 (en) 1999-12-20 2005-08-23 Texas Instruments Incorporated Digital still camera system and method
US6757012B1 (en) 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
US6978050B2 (en) 2001-07-18 2005-12-20 Hewlett-Packard Development Company, L.P. Electronic image color plane reconstruction
US7082218B2 (en) 2001-07-27 2006-07-25 Hewlett-Packard Development Company, L.P. Color correction of images
EP1289309B1 (en) 2001-08-31 2010-04-21 STMicroelectronics Srl Noise filter for Bayer pattern image data
US6904169B2 (en) * 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
US7079705B2 (en) 2002-10-30 2006-07-18 Agilent Technologies, Inc. Color interpolation for image sensors using a local linear regression method
US6798422B2 (en) * 2002-11-08 2004-09-28 Samsung Electronics Co., Ltd. Method and filtering system for filtering edge directions
US7283165B2 (en) 2002-11-15 2007-10-16 Lockheed Martin Corporation Method and apparatus for image processing using weighted defective pixel replacement
US20070236573A1 (en) 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Combined design of optical and image processing elements
CN101819325B (zh) 2003-01-16 2015-11-25 帝欧希数字光学科技国际有限公司 光学系统和产生所述光学系统的方法
JP2005354610A (ja) 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
TWI260918B (en) * 2005-05-30 2006-08-21 Pixart Imaging Inc Pixel compensation method for an image sensor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137498A (en) * 1997-01-02 2000-10-24 Runaway Technology, Inc. Digital composition of a mosaic image
US20020008715A1 (en) * 2000-02-03 2002-01-24 Noam Sorek Image resolution improvement using a color mosaic sensor
US6628749B2 (en) * 2001-10-01 2003-09-30 Siemens Corporate Research, Inc. Systems and methods for intensity correction in CR (computed radiography) mosaic image composition
US20030234866A1 (en) * 2002-06-21 2003-12-25 Ross Cutler System and method for camera color calibration and image stitching
WO2004032484A1 (en) * 2002-10-01 2004-04-15 Philips Intellectual Property & Standards Gmbh Method and device for generating sub-images
TW200529093A (en) * 2003-12-26 2005-09-01 Seiko Epson Corp Face image detection method, face image detection system, and face image detection program
TW200632782A (en) * 2004-09-28 2006-09-16 Qualcomm Inc Magnification and pinching of two-dimensional images

Also Published As

Publication number Publication date
US7907791B2 (en) 2011-03-15
EP2100257A4 (en) 2012-04-25
EP2100257A2 (en) 2009-09-16
WO2008065641A3 (en) 2009-05-28
WO2008065641A2 (en) 2008-06-05
US20080095466A1 (en) 2008-04-24
TW200838325A (en) 2008-09-16

Similar Documents

Publication Publication Date Title
TWI407800B (zh) 馬賽克影像的改良處理
US8537234B2 (en) Image restoration with enhanced filtering
JP5155871B2 (ja) モザイクドメインにおける画像向上
US7065246B2 (en) Image processing apparatus
JP6129119B2 (ja) 画像処理装置、画像処理システム、撮像装置、および画像処理方法
JP4960309B2 (ja) 固体撮像装置
CN100527853C (zh) 照相机及图象信号处理系统
CN113228094A (zh) 图像处理器
JPWO2006134923A1 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
CN113632134B (zh) 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
CN108702494B (zh) 图像处理装置、成像装置、图像处理方法和存储介质
CN112291479A (zh) 图像处理模组、图像处理方法、摄像头组件及移动终端
US8385671B1 (en) Digital camera and method
CN116996786B (zh) 一种rgb-ir图像色彩恢复及校正的方法及装置
JP2003123063A (ja) 画像処理装置
JP7423033B2 (ja) 画像信号処理方法
JP6143575B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2005532004A (ja) 信号処理方法、信号処理装置、コンピュータプログラムプロダクト、コンピュータシステム、およびカメラ
US7262780B2 (en) Simple and robust color saturation adjustment for digital images
JP4734032B2 (ja) 画像処理装置
CN109600596B (zh) 一种非线性无色恒常的白平衡方法
JP5494249B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2009506722A (ja) ホワイトバランス統計計算のための改良された色差フィルタ
JP2005354585A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2004064227A (ja) 映像信号処理装置