TWI488144B - 使用由相同影像擷取裝置所擷取之場景之低解析度影像及至少一個高解析度影像來提供經改良高解析度影像的方法 - Google Patents

使用由相同影像擷取裝置所擷取之場景之低解析度影像及至少一個高解析度影像來提供經改良高解析度影像的方法 Download PDF

Info

Publication number
TWI488144B
TWI488144B TW099129063A TW99129063A TWI488144B TW I488144 B TWI488144 B TW I488144B TW 099129063 A TW099129063 A TW 099129063A TW 99129063 A TW99129063 A TW 99129063A TW I488144 B TWI488144 B TW I488144B
Authority
TW
Taiwan
Prior art keywords
image
low
resolution
resolution image
images
Prior art date
Application number
TW099129063A
Other languages
English (en)
Other versions
TW201112169A (en
Inventor
Aaron T Deever
Original Assignee
Intellectual Ventures Fund 83 Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intellectual Ventures Fund 83 Llc filed Critical Intellectual Ventures Fund 83 Llc
Publication of TW201112169A publication Critical patent/TW201112169A/zh
Application granted granted Critical
Publication of TWI488144B publication Critical patent/TWI488144B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Description

使用由相同影像擷取裝置所擷取之場景之低解析度影像及至少一個高解析度影像來提供經改良高解析度影像的方法
本發明係關於自多個影像產生一經改良影像。更具體而言，使用多個影像來形成一具有減少之運動模糊及減少之雜訊的高解析度影像。
有待解決之一問題係在影像擷取期間存在造成影像中之運動模糊的運動時的欠光(light deficient)攝影。運動可為全局種類，其中正成像之整個場景一起移動，或可為局部種類，其中場景之一或多個部分與場景之其餘部分相比以一不同速度或方向移動。全局運動係由於在影像擷取期間場景與相機之間的相對運動。局部運動係由於場景內之物件相對於場景之其它部分移動。局部運動可在場景之不同部分中以不同方式發生。
在曝光時間較短且運動緩慢之情況下，單一影像擷取可用以擷取具有良好影像品質之影像。然而，隨著獲得具有高信號雜訊比之影像所需之曝光時間相對於在影像擷取期間存在之運動變得較長，或可用光減少，擷取之影像品質以影像內增加之運動模糊及增加之雜訊的形式降低。
對於消費型數位相機，存在像素之大小日趨減小的趨勢，其減小了在曝光期間用以擷取光之可用區域，使得雜訊變得較成問題。可增加曝光時間以補償較小像素，但運動模糊就變得較成問題。因此，已在Compton等人之美國專利申請公開案第2007/0024931號中描述用以增加像素對光之敏感性之方法，其對影像感測器添加了全色像素。
隨著運動相對於曝光時間的增加或可用光的減少，存在可做出之一系列折衷。可在拍攝空間中做出若干折衷以增加空間解析度、時間解析度或影像品質，但重要的是應注意，每一增益亦將伴有損失。舉例而言，可減小曝光時間以減少運動模糊，藉此增加時間解析度，但以影像中增加之雜訊為代價。
閃光係減少影像中之雜訊的有效方式，且藉由允許實現較短曝光時間，時間解析度增加，但以不均勻之照明及紅眼為代價。另外，存在閃光不可用或是無益的影像擷取情形。
可在曝光期間使用基於光學之影像穩定以允許實現較長曝光時間，以減少影像中之雜訊，同時減少運動模糊且增加空間解析度。然而，基於光學之影像穩定僅可用以減少來自相機運動(全局運動)之運動模糊。另外，光學影像穩定增加了與影像擷取裝置相關聯之成本及重量。
可藉由格化(binning)(即，將鄰近像素彼此連接，因此加總鄰近像素上之電荷且增加信號)來增加像素之有效大小以允許實現減少之曝光時間。然而，格化伴隨有空間解析度之減小。
減少模糊之另一方法係擷取兩個高解析度影像，一者具有短曝光時間，且一者具有長曝光時間。選擇短曝光時間以便產生帶雜訊但相對不含運動模糊之影像。選擇長曝光時間以便產生具有極少雜訊但可能具有顯著運動模糊之影像。使用影像處理演算法以將該兩次擷取組合為一個最終輸出影像。此等方法描述於美國專利第7,239,342號、美國專利申請公開案第2006/0017837號、美國專利申請公開案第2006/0187308號以及美國專利申請公開案第2007/0223831號中。此等方法之缺點包含：需要額外緩衝記憶體來儲存多個高解析度影像、處理多個高解析度影像之額外複雜性，以及該兩次影像擷取之間的潛在時間間隙。
減少模糊之另一方法係經由擷取後所應用之影像復原-解模糊演算法。此方法之一實施例係熟知之Lucy-Richardson解迴旋演算法。此方法及類似方法之缺陷包含高計算複雜性及對雜訊之敏感性。
多個低解析度視訊影像可用以形成具有經改良影像品質之單一影像，同時維持空間解析度且提供時間解析度與曝光時間之間的平衡。在給定時間內讀取多個影像可藉由針對每一影像使用較短曝光時間而減少運動模糊，然而，每一影像將具有較多雜訊。藉由使多個影像彼此對準以校正個別影像擷取之間的運動且隨後將該等個別影像在一起求和，所形成單一影像中的雜訊可減少。
雖然可相對快速地讀出多個低解析度視訊影像(通常30-60個影像/秒)，且影像由於像素常常經格化而通常具有較低雜訊，但可形成之單一影像限於相對低解析度。相反地，多個高解析度影像可用以形成高解析度單一影像。然而，高解析度影像通常因為像素較小而具有較多雜訊，且更顯著地，由於硬體限制而需要相對大量時間來讀出多個高解析度影像(通常1.5-7個影像/秒)。另外，使影像對準之問題由於影像擷取之間的顯著運動而加劇。
因此，此項技術中需要組合多個影像以形成一經改良影像(尤其在存在運動之場景中)的經改良解決方案。
本發明之目的係使用低解析度影像及至少一個高解析度影像來產生一經改良高解析度影像。該目的係藉由一種使用由相同影像擷取裝置所擷取之一場景之低解析度影像及至少一個高解析度影像來提供一經改良高解析度影像的方法來達成，該方法包含：
a)使用該影像擷取裝置來擷取該場景之複數個低解析度影像以及該場景之至少一個高解析度影像，該至少一個高解析度影像具有一大於該等低解析度影像之解析度的解析度；
b)組合該等低解析度影像以提供一聚集低解析度影像；以及
c)藉由以下操作來組合該高解析度影像與該聚集低解析度影像以提供該經改良高解析度影像：
i)減小該高解析度影像之該解析度以提供一代表一能由該影像擷取裝置所擷取之低解析度影像的影像；
ii)內插該代表性低解析度影像以提供一經內插高解析度影像；
iii)從該高解析度影像及該經內插高解析度影像計算一殘餘影像；
iv)組合該代表性低解析度影像與該聚集低解析度影像以提供一最終低解析度影像；以及
v)使用該最終低解析度影像及該殘餘影像來提供該經改良之高解析度影像。
本發明之一優點在於可藉由對影像處理軟體之基本改變來產生一經改良高解析度影像，而不必使用一攝影閃光燈或長曝光時間來適當曝光單一影像。
本發明之又一優點在於可在無需高成本的具有橫向可移動透鏡元件之特殊透鏡的情況下產生一經改良高解析度影像。
本發明之又一優點在於不增加可在用於儲存多個高解析度影像之緩衝記憶體要求的情況下產生一經改良高解析度影像。
本發明之又一優點在於可在無需計算上複雜的解模糊演算法之情況下產生一經改良高解析度影像。
本發明之再一優點在於其可產生一具有減少之運動模糊及減少之雜訊的高解析度影像。
根據對以下實施方式及所附申請專利範圍之審閱且藉由參見附圖，將更清楚理解且明瞭本發明之此態樣及其它態樣、目的、特徵以及優點。
因為使用成像裝置以及用於信號擷取及校正且用於曝光控制之相關電路的數位相機係熟知的，所以本發明將特定針對形成根據本發明之方法及設備之部分或較直接與該方法及設備協作的元件。本文未具體展示或描述之元件係選自此項技術中已知之元件。將描述之具體例之某些態樣係以軟體提供。就在以下材料中根據本發明展示及描述之系統而言，本文未具體展示、描述或建議之有用於實施本發明之軟體係習知的，且為熟習此項技術者所知。
現參見圖1，展示為體現本發明所示之數位相機之影像擷取裝置的方塊圖。雖然現將闡釋數位相機，但本發明清楚地適用於其它類型之影像擷取裝置，諸如包含於例如行動電話及汽車車輛之非相機裝置中的成像子系統。來自對象場景之光10輸入至一成像級11，在其中該光由透鏡12聚焦以在固態影像感測器20上形成一影像。影像感測器20藉由整合每一圖像元素(像素)之電荷而將入射光轉換為一電信號。較佳具體例之影像感測器20為電荷耦合裝置(CCD)類型或主動式像素感測器(APS)類型。(APS裝置由於其能夠在互補金屬氧化物半導體製程中加以製造而常常稱為CMOS感測器)。該感測器包括濾色器之配置，如隨後更詳細描述。
藉由改變光圈之光闌區塊14及包括插入於光徑中之一或多個ND濾波器之中性密度(ND)濾波器區塊13來調整到達感測器20之光量。而且，調整總體光位準係在快門區塊18打開的時間。曝光控制器區塊40回應於如由亮度感測器區塊16計量之在場景中可用的光量，且控制全部此三種調整功能。
來自影像感測器20之類比信號由類比信號處理器22處理且施加於類比至數位(A/D)轉換器24以用於數位化感測器信號。時序產生器26產生各種時脈信號以選擇列及像素，且使類比信號處理器22與A/D轉換器24之操作同步。影像感測器級28包括影像感測器20、類比信號處理器22、A/D轉換器24以及時序產生器26。影像感測器級28之功能元件為單獨製造之積體電路，或者其被製造為單一積體電路(如對於CMOS影像感測器的通常作法)。來自A/D轉換器24之所得數位像素值之串流儲存於與數位信號處理器(DSP)36相關聯之記憶體32中。
數位信號處理器36係此實施例中之三個處理器或控制器中之一者，另兩者為系統控制器50及曝光控制器40。雖然相機功能控制在多個控制器及處理器中之此分佈係典型的，但此等控制器或處理器以各種方式組合而不影響相機之功能操作及本發明之應用。此等控制器或處理器可包含一或多個數位信號處理器裝置、微控制器、可程式化邏輯裝置或其它數位邏輯電路。雖然已描述此等控制器或處理器之組合，但應明瞭，一個控制器或處理器經指定以執行所有所需之功能。所有此等變型可執行相同功能，且屬於本發明之範疇內，且將在需要時使用術語「處理級」以在一個短語中(例如圖1中之處理級38中)涵蓋所有此功能性。
在說明之具體例中，DSP 36根據一軟體程式來操縱其記憶體32中之數位影像資料，該軟體程式永久儲存於程式記憶體54中且複製至記憶體32以供在影像擷取期間執行。DSP 36執行實踐圖18中所示之影像處理所需的軟體。記憶體32包括任何類型之隨機存取記憶體，諸如SDRAM。包含一用於位址及資料信號之路徑的匯流排30將DSP 36連接至其相關記憶體32、A/D轉換器24以及其它相關裝置。
系統控制器50基於儲存於程式記憶體54中之軟體程式而控制相機之總體操作，該程式記憶體54可包括快閃EEPROM或其它非揮發性記憶體。此記憶體亦可用以儲存影像感測器校準資料、使用者設定選擇以及必須在相機關閉時保存的其它資料。系統控制器50藉由如下方式來控制影像擷取之序列：引導曝光控制器40以如先前描述操作透鏡12、ND濾波器13、光闌14以及快門18，引導時序產生器26以操作影像感測器20及相關聯元件，且引導DSP 36以處理擷取之影像資料。在擷取及處理一影像之後，將儲存於記憶體32中之最終影像檔案經由介面57傳送至一主機電腦，儲存於一可移除記憶卡64或其它儲存裝置上，且在影像顯示器88上為使用者顯示。
匯流排52包括一用於位址、資料及控制信號之路徑，且將系統控制器50連接至DSP 36、程式記憶體54、系統記憶體56、主機介面57、記憶卡介面60以及其它相關裝置。主機介面57提供與個人電腦(PC)或其它主機電腦之高速連接以用於傳送影像資料供顯示、儲存、操縱或列印。此介面為IEEE1394或USB2.0串列介面或任何其它合適的數位介面。記憶卡64通常為緊密型快閃(CF)卡，其經由記憶卡介面60插入插口62且連接至系統控制器50。所使用之其它類型之儲存裝置包括(不限於)PC卡、多媒體卡(MMC)或安全數位(SD)卡。
將經處理影像複製至系統記憶體56中之一顯示緩衝器，且經由視訊編碼器80連續讀出以產生一視訊信號。此信號自相機直接輸出以供在一外部監視器上顯示，或由顯示控制器82處理且在影像顯示器88上呈現。此顯示器通常為主動矩陣彩色液晶顯示器(LCD)，但亦使用其它類型之顯示器。
包括取景器顯示器70、曝光顯示器72、狀態顯示器76及影像顯示器88以及使用者輸入74之全部或任何組合的使用者介面68由在曝光控制器40及系統控制器50上所執行之軟體程式的組合來控制。使用者輸入74通常包括按鈕、搖臂開關、操縱桿、旋轉撥號盤或觸控螢幕之某些組合。曝光控制器40操作光計量、曝光模式、自動聚焦及其它曝光功能。系統控制器50管理在該等顯示器中之一或多者上(例如，在影像顯示器88上)所呈現之圖形使用者介面(GUI)。GUI通常包括用於做出各種選項選擇之選單及用於檢查擷取之影像的回顧模式。
曝光控制器40接受選擇曝光模式、透鏡光圈、曝光時間(快門速度)及曝光指數或ISO速度額定值之使用者輸入，且針對後續擷取相應地引導透鏡及快門。使用亮度感測器16以量測場景之亮度，且為使用者提供在手動設定ISO速度額定值、光圈及快門速度時所參考之曝光計量功能。在此情況下，在使用者改變一或多個設定時，在取景器顯示器70上所呈現之光計量指示器告知使用者影像將過曝或欠曝之程度。在自動曝光模式中，使用者改變一個設定且曝光控制器40自動更改另一設定以維持正確的曝光，例如對於一給定ISO速度額定值，當使用者減小透鏡光圈時，曝光控制器40自動增加曝光時間以維持相同之總體曝光。
ISO速度額定值為數位靜態相機之一重要屬性。曝光時間、透鏡光圈、透鏡透射率、場景照明之位準及光譜分佈以及場景反射率決定了數位靜態相機之曝光位準。當來自一數位靜態相機之影像係使用不足之曝光獲得時，可大體上藉由增加電子或數位增益而維持適當之色調再生，但影像將含有不可接受之雜訊量。在曝光增加時，增益減小，且因此影像雜訊可通常減少至一可接收位準。若曝光過量地增加，則在影像之亮區域中之所得信號可超過影像感測器或相機信號處理之最大信號位準容量。此可致使影像高亮部分經限幅而形成一均勻亮區域，或漸暈至影像之周圍區域中。在設定適當曝光方面指導使用者係重要的。意欲使ISO速度額定值充當此指導。為使攝影者容易理解，數位靜態相機之ISO速度額定值應直接與攝影膠片相機之ISO速度額定值相關。舉例而言，若一數位靜態相機具有ISO 200之ISO速度額定值，則相同曝光時間及光圈應適用於一ISO 200額定膠片/處理系統。
意欲使ISO速度額定值與膠片ISO速度額定值協調。然而，在基於電子之成像系統與基於膠片之成像系統之間存在使完全等效性不可能實現之差異。數位靜態相機可包括可變增益，且可在影像資料已經擷取之後提供數位處理，使得在相機曝光之一範圍內達成色調再生。由於此靈活性，數位靜態相機可具有一速度額定值範圍。此範圍被定義為ISO速度寬容度。為防止混淆，將一單一值指定為固有ISO速度額定值，其中ISO速度寬容度上限及下限指示速度範圍，亦即，一包括與固有ISO速度額定值不同的有效速度額定值之範圍。由此可見，固有ISO速度為一在數位靜態相機之焦點平面處所提供之曝光而計算以產生指定相機輸出信號特性的數字值。固有速度通常為對於正常場景針對一給定相機系統產生最高影像品質的曝光指數值，其中該曝光指數為一與提供給影像感測器之曝光成反比的數字值。
對數位相機之上述描述將為熟習此項技術者所熟悉。顯然，存在對此具體例之許多變化，其可經選擇以減少成本、添加特徵或改良相機之效能。舉例而言，添加一自動聚焦系統，或透鏡可拆卸且可互換。將瞭解，本發明適用於任何類型之數位相機，或更一般地，適用於任何類型之數位影像擷取設備，其中替代模組提供類似功能性。
給定圖1之說明性範例，以下描述隨後將詳細描述根據本發明之此用於擷取影像之相機的操作。每當在以下描述中一般地提及一影像感測器時，應瞭解其代表來自圖1之影像感測器20。圖1所示之影像感測器20通常包括一製造於矽基板上的二維光敏像素陣列，其將每一像素處之傳入光轉換為一量測之電信號。在一影像感測器之情況下，一像素(「圖像元素」之縮寫)指示一離散的光感測區域及與該光感測區域相關聯之電荷移位或電荷量測電路。在數位彩色影像之情況下，術語像素通常指示該影像中具有相關聯色彩值之一特定位置。術語色彩像素將指示在一相對窄頻譜帶中具有色彩光回應之像素。術語曝光持續時間及曝光時間可互換使用。
在感測器20曝露於光時，產生自由電子且在每一像素處之電子結構內被擷取。在某個時段內擷取此等自由電子且隨後量測所擷取之電子數目或量測產生自由電子之速率可量測每一像素處之光位準。在前一種情況下，累積電荷被移出像素陣列至一電荷-電壓量測電路(如在電荷耦合裝置(CCD)中)，或靠近每一像素之區域可含有一電荷-電壓量測電路的元件(如在主動式像素感測器(APS或CMOS感測器)中)。
為了產生一彩色影像，一影像感測器中之像素陣列通常具有安置於其上之一濾色器圖案。圖2展示通常所使用之紅(R)、綠(G)及藍(B)濾色器之圖案。此特定圖案通常稱為拜耳濾色器陣列(CFA)，因其發明人布萊斯拜耳(Bryce Bayer)而得名，如美國專利第3,971,065號中所揭露。此圖案有效地用在具有二維色彩像素陣列之影像感測器中。因此，每一像素具有一特定色彩光回應，其在此情況下為對紅、綠或藍色光之主要敏感性。另一有用種類之色彩光回應為對洋紅、黃或青色光之主要敏感性。在每一情況下，特定色彩光回應具有對可見光譜之某些部分的高敏感性，同時具有對可見光譜之其它部分的低敏感性。
使用具有圖2之CFA之二維陣列的影像感測器所擷取的影像在每一像素處僅具有一個色彩值。為了產生一全色彩影像，存在用於推斷或內插每一像素處缺失的色彩的若干技術。此等CFA內插技術係此項技術中為熟知的，且參考以下專利：美國專利第5,506,619號、美國專利第5,629,734號以及美國專利第5,652,621號。
圖2說明之CFA圖案之一個缺點在於：入射於一給定像素上之光的大部分被過濾掉，導致低光條件下之帶雜訊影像。用以改良低光成像之一種類型之解決方案係使用感測器陣列像素之某部分作為全色像素。舉例而言，Compton等人之題為「Image Sensor with Improved Light Sensitivity」之共同讓渡美國專利申請案第2007/0024931號揭露一種具有色彩像素與全色像素之影像感測器。在本發明之情況下，術語全色像素指示具有大體上全色光回應的像素，其具有比選定之色彩光回應集合中所表示之較窄光譜敏感性寬的光譜敏感性。亦即，全色像素可具有對整個可見光譜上之光的高敏感性。雖然全色像素一般具有比色彩光回應集合寬的光譜敏感性，但每一全色像素亦可具有一相關聯濾波器。此濾波器可為中性密度濾波器或者色彩或頻寬濾波器。
參見圖3之曲線圖，展示一典型相機應用中之具有紅、綠及藍色濾色器之像素的相對光譜敏感性。圖3中之X軸表示以奈米為單位之光波長，其跨越大約自近紫外線至近紅外線之波長，且Y軸表示效率(經正規化)。在圖3中，曲線110表示一用以阻擋紅外及紫外光到達影像感測器之典型頻寬濾波器的光譜透射特性。此濾波器係需要的，因為用於影像感測器之濾色器通常不阻擋紅外光，因此像素可能無法在紅外光與在其相關聯濾色器之通頻帶內的光之間進行區分。曲線110所示之紅外線阻擋特性因此防止紅外光破壞可見光信號。將具有所應用之紅、綠及藍色濾波器之典型矽感測器之光譜量子效率(亦即，入射光子之經擷取且轉換為一可量測電信號之比例)乘以由曲線110表示之紅外線阻擋濾波器之光譜透射特性，以產生由針對紅色之曲線114、針對綠色之曲線116以及針對藍色之曲線118所表示之組合系統量子效率。自此等曲線中瞭解，每一色彩光回應僅對可見光譜之一部分敏感。相比而言，未應用濾色器(但包括紅外線阻擋濾波器特性)之相同矽感測器之光回應由曲線112展示；此為全色光回應之實例。藉由將色彩光回應曲線114、116及118與全色光回應曲線112進行比較，顯然全色光回應對寬光譜光的敏感性可比任何色彩光回應均大三至四倍。
圖4說明根據本發明之具體例之流程圖。在步驟410中，操作者藉由以下動作開始獲取過程：在操作者對影像進行構圖時，將相機上之擷取按鈕自S0位置(未按下位置)按壓至S1位置(部分按下位置)，藉此將部分按下擷取按鈕信號發送至相機中之系統控制器50。系統控制器50隨後指示相機使用可用的DSP記憶體32以開始獲取及組合多個低解析度影像420。應注意，在同時，相機中之系統控制器50亦通常完成自動聚焦及自動曝光。當操作者識別了獲取之時刻時，操作者將擷取按鈕自S1按壓至S2(完全按下位置)，藉此將完全按下擷取按鈕信號發送至相機中之系統控制器50，如步驟430中所示。在此點，在步驟440中，系統控制器50指示相機停止對低解析度影像之繼續獲取或擷取且起始獲取一高解析度影像。最終，在步驟450中，將低解析度及高解析度影像組合以形成一經改良之高解析度影像。所有經擷取之低解析度及高解析度影像之集合稱為一擷取集。
步驟420中所擷取之低解析度影像可為預覽影像，諸如常在相機LCD顯示器88上顯示者。此等影像通常以320行乘240列之空間解析度或以VGA解析度(640行乘480列)以30圖框/秒擷取及顯示。然而，此空間解析度並非限制性的，且可以較高空間解析度擷取低解析度影像。可自感測器擷取且讀出低解析度影像的頻率與低解析度影像之空間解析度成反比。
步驟440中所擷取之高解析度影像具有比步驟420期間所擷取之低解析度影像大的空間解析度。高解析度影像常具有影像感測器20之全空間解析度。
低解析度影像之擷取亦可在S1之外發生。在相機處於S0位置中時，可如在步驟420中擷取且組合低解析度影像。亦可經由自S0至S1之轉變或經由自S1至S0之轉變而繼續對低解析度影像之擷取。
擷取集之一範例如下，其針對一10百萬像素數位相機。當操作者將擷取按鈕自S0按壓至S1時，系統控制器50指示相機開始連續獲取及組合低解析度影像。低解析度影像經9X格化(水平及垂直方向上均以3為因數)以使得每一低解析度影像之解析度大約為1百萬像素。低解析度影像係以30影像/秒獲取。取決於場景中所存在之光位準，低解析度影像可以各自1/30秒或更小之曝光時間來獲取。曝光時間可在一低解析度影像與下一低解析度影像之間改變。該等影像在經擷取時被組合，使得僅兩個影像儲存於記憶體中：當前影像及聚集(組合)影像。當擷取按鈕被按下至S2時，擷取單一高解析度影像。可以10百萬像素之全感測器解析度獲取高解析度影像。高解析度影像之曝光時間與低解析度影像之曝光時間相比可較短、較長或實質上相同，此取決於場景中所存在之光位準以及取決於相機及場景之任何運動。擷取完成時之擷取集包括單一聚集1百萬像素影像以及單一10百萬像素影像。
圖5更詳細描述圖4之擷取及組合低解析度影像之步驟420。在操作者將擷取按鈕按下至S1位置後，低解析度影像之擷取及組合連續發生，直至將擷取按鈕按下至S2為止(510)。擷取一個別低解析度影像(520)，且隨後與聚集低解析度影像組合(530)。在較佳具體例中，使用一無限脈衝回應濾波器將低解析度影像組合為一聚集低解析度影像。無限脈衝回應濾波器係熟習此項技術者所熟知的。在本發明之情況下，一無限脈衝回應濾波器具有以下性質：任一時刻之經濾波之值(聚集低解析度影像)係當前及先前低解析度影像之經加權組合，其中每一低解析度之權重嚴格為正。具體而言，經擷取低解析度影像及聚集低解析度影像之間的關係由以下公式給予：
其中n>1。
在此公式中，A表示聚集低解析度影像。C表示經擷取低解析度影像，且括弧中之數字n表示相關聯影像對應於第n個擷取的低解析度影像。因此，聚集低解析度影像被初始設定為等於第一個擷取之低解析度影像。隨後，將聚集低解析度影像更新為等於當前擷取之低解析度影像與先前聚集低解析度影像之經加權組合。參數α控制當前擷取之圖框的相對重要性。參數α限於範圍(0,1)，較佳值為0.25。
此擷取及組合方法僅要求在任何時間儲存兩個低解析度影像：當前擷取之低解析度影像及聚集低解析度影像。一旦已將低解析度影像與聚集低解析度影像組合，則該低解析度影像可被丟棄(或例如僅另外用於自動聚焦及自動曝光且隨後被丟棄)。
亦可在組合之前將當前擷取之低解析度影像與聚集低解析度影像對準。具體而言，可包含一運動估計及補償的步驟以將擷取之低解析度影像與聚集低解析度影像對準。此運動估計及補償步驟可考慮到全局相機運動以及另外亦考慮到局部運動。用於全局及局部運動估計及補償之技術係各式各樣的，且為熟習此項技術者所熟知。
在較佳具體例中，擷取之低解析度影像在其經組合時保持為CFA影像，且聚集低解析度影像亦為CFA影像。或者，擷取之低解析度影像可經顏色內插以產生全色彩低解析度影像，且聚集低解析度影像亦可為全色彩影像。
所描述之組合低解析度影像之方法具有的優點在於其達成使許多低解析度影像平均化的雜訊減少之益處而不必同時儲存該等影像。另外，藉由對較近擷取之影像加較大權重，聚集低解析度影像較偏向場景之最近狀態。與低解析度影像之一均勻加權平均值相比，經加權聚集較可能與後續擷取之高解析度影像匹配。另外，等於0.25之α允許當前低解析度影像與聚集低解析度影像之計算上有效率的組合，其僅需要簡單的加法及移位運算而不是較複雜的乘法或除法運算。類似地，等於0.5之α可用以額外強調較近的影像，同時仍僅需要加法及移位運算。
圖6更詳細描述圖4之組合低解析度與高解析度影像之步驟450。在操作者將擷取按鈕按壓至S2(430)後，擷取一高解析度影像(440)。因此，組合低解析度與高解析度影像之步驟以一高解析度影像610及一聚集低解析度影像620開始。初始地，使高解析度影像之解析度減小(630)。此步驟產生一代表性低解析度影像。此步驟可包含像素組合、抽取及截除。在較佳具體例中，減小高解析度影像之解析度的步驟經設計以模仿由相機使用以產生低解析度影像的步驟。
解析度減小之一範例如下，其針對一具有2560行及1944列之5百萬像素拜耳圖案感測器。將高解析度影像縮減以產生一1280乘720 HD視訊解析度影像，諸如在將相機按鈕按下至S1位置時產生的影像。自感測器資料之頂部截除224列資料。自感測器資料之底部截除280列。剩餘2560行乘1440列在每一維度上以2之因數以數位方式組合。此數位組合係藉由將每個4乘4拜耳像素資料之區塊縮減至2乘2拜耳像素資料之區塊而達成。此可藉由組合對應拜耳圖案像素位置之像素值而達成。四個藍色像素值經組合以產生一個經組合藍色像素值。類似地，四個紅色像素值經組合以產生一個經組合紅色像素值。與紅色像素在相同列上之四個綠色像素值經組合以形成一經組合綠色像素值。且與藍色像素在相同列上之其它四個綠色像素值經組合以形成另一經組合綠色像素值。可藉由將經組合像素值除以造成該值之像素的數目來正規化該等經組合像素值。組合步驟亦可丟棄該等像素值中之一些。舉例而言，在形成組合像素值時可僅使用四個像素值中之兩者。
代表性低解析度影像隨後被空間內插回至原始高解析度影像之解析度(640)。此過程產生一經內插高解析度影像。在原始高解析度影像之某些列或行在代表性低解析度影像之形成期間被截除的情況下，該內插步驟僅產生一與經截除之高解析度影像具有相同解析度的經內插影像。在較佳具體例中，將雙三次內插用以產生該經內插高解析度影像。然而熟習此項技術者將認識到，存在許多合適的內插技術來產生一經內插高解析度影像。
在步驟650中，將該經內插高解析度影像自原始高解析度影像減去以產生一殘餘影像。若原始及經內插高解析度影像係不同大小，則殘餘影像可與經內插高解析度影像為相同大小，且可忽略來自原始高解析度影像之額外列/行。或者，殘餘影像可與原始高解析度影像為相同大小，且在經內插高解析度影像之解析度以外的任何位置處殘餘影像可具有等於原始高解析度影像的值。應注意，一旦產生了殘餘影像，則不再需要儲存原始高解析度影像。
在步驟660中，將聚集低解析度影像與代表性低解析度影像組合以形成一最終低解析度影像。一旦此步驟完成，則將最終低解析度影像內插回至(可能經截除的)高解析度影像之解析度(670)。在較佳具體例中，此內插步驟等同於步驟650中所使用之內插步驟。最終，將此內插步驟之結果(經內插最終低解析度影像)加至殘餘影像以形成一經改良高解析度影像680。
在圖6之總體框架內可包含額外之雜訊清除操作。特定而言，可將斑點雜訊移除應用於步驟610中所提供之原始高解析度影像。另外，可藉由對步驟660中所計算出之殘餘影像進行空間低通濾波來從高解析度影像中移除高頻率雜訊。
圖7更詳細描述組合聚集低解析度影像與代表性低解析度影像以形成一最終低解析度影像之步驟660。在步驟710中，計算聚集低解析度影像與代表性低解析度影像之間的運動。此在相機需要一顯著時段以自S1擷取模式切換至S2且獲取高解析度影像的情況下可尤其適當。舉例而言，若在最後的低解析度影像之擷取與高解析度影像之擷取之間逝去1/2秒，則在組合聚集低解析度影像與代表性低解析度影像之前使聚集低解析度影像與代表性低解析度影像對準可為適當的。此運動校正步驟可考慮到起因於相機移動的全局運動。其亦可考慮到起因於場景內之物件移動的局部運動。
一旦聚集低解析度影像與代表性低解析度影像對準，則找到匹配像素之映射(720)。將匹配像素定義為聚集低解析度影像與代表性低解析度影像具有匹配之場景資料的彼等像素。對應像素值可由於諸如雜訊或照明改變的因素而不同。最初藉由比較聚集低解析度影像與代表性低解析度影像之間的差異之量值與一雜訊標準偏差來定義此匹配像素之映射。差異量值小於雜訊標準偏差之一純量倍數的彼等像素最初歸類為匹配。將其餘像素歸類為不匹配。可隨後對該映射應用形態運算以移除經隔離之不匹配像素，且亦擴大不匹配區之邊界。
在步驟730中，針對匹配像素計算最終低解析度影像。在此等位置處，最終低解析度影像像素值為聚集低解析度影像與代表性低解析度影像像素資料之一經加權平均值。權重可計算為該兩影像之雜訊標準偏差之函數。針對一給定像素，使σA 為與聚集低解析度影像像素資料相關聯之雜訊的標準偏差，且使σR 為與代表性低解析度影像像素資料相關聯之雜訊的標準偏差。則最終低解析度影像像素值給予為：
其中I F 為最終低解析度影像像素值，I A 為聚集低解析度影像像素值，且I R 為代表性低解析度影像像素值。聚集低解析度影像之雜訊標準偏差為像素值、每一低解析度影像之整合時間以及由於像素組合而使用之任何正規化的函數。其亦為在無限脈衝回應濾波器中用以組合低解析度影像之α參數的函數。α之較小值導致較大的潛在雜訊減少。代表性低解析度影像之雜訊標準偏差為像素值、高解析度影像之整合時間，以及由於形成代表性低解析度影像時的像素組合而使用之任何正規化的函數。
在步驟740中，針對不匹配像素計算最終低解析度影像。初始地，對此等像素指派代表性低解析度影像之值。由於此等像素不具有與聚集低解析度影像之良好匹配，因此不使用該資料。此通常對應於未經對準或有阻塞物阻止任何對準的運動區域。在最終低解析度影像中，不匹配像素比匹配像素保持較大雜訊。為了移除或最小化最終低解析度影像中之此空間上變化的雜訊，可以一空間低通濾波器對不匹配像素進行空間濾波以與匹配像素達成之比例相等的比例來減少雜訊。
圖8說明本發明之一替代具體例。在此具體例中，低解析度及高解析度影像由一具有一含有全色像素及色彩像素之感測器的影像擷取裝置來擷取。在圖9中給予含有色彩像素及全色像素之影像感測器之一代表性部分的範例。在圖9中，將全色像素(P)與紅(R)、綠(G)及藍(P)像素組合。全色像素提供對光之額外敏感性，且含有全色像素之感測器可用以達成相對於傳統拜耳CFA感測器之改良的低光成像。再參見圖8，在步驟810中，擷取多個低解析度影像，隨後擷取一或多個高解析度影像。在步驟820中，將低解析度影像組合為單一聚集低解析度影像。組合低解析度影像之過程可在擷取完成之後發生。在此情況下，在低解析度影像之組合之前，將所有低解析度影像或至少與相機記憶體可容納之低解析度影像一樣多之低解析度影像儲存於相機中。或者，可在擷取低解析度影像時將其組合為一聚集低解析度。在步驟830中，將聚集低解析度影像與高解析度影像組合以產生一經改良高解析度影像。此方法體現用以改良低光成像效能之技術的組合：使用全色像素與使用多個低解析度影像來改良一高解析度影像。
本發明提供用於產生一經改良高解析度影像之若干有利要素。與使用多個高解析度影像來產生一經改良之高解析度影像的演算法相比，使用低解析度影像提供了低解析度影像之擷取與高解析度影像之擷取之間的最小延遲，因此最小化在擷取過程期間所發生之運動的影響。另外，使用低解析度影像使改良著重於高解析度影像中之低頻雜訊。低頻雜訊(顏色斑)常被視為一影像中最麻煩、最使人厭煩且最難以清除之雜訊，且低解析度影像特別提供了針對低頻雜訊之改良。
本發明之另一有利特徵在於其可以低記憶體及計算成本來實施，且輸出可直接回饋至標準影像處理鏈中。低解析度影像可保持為CFA圖案影像，且經改良高解析度影像可為一經改良CFA圖案影像。此經改良高解析度影像可隨後直接輸入回至影像處理路徑中。
本發明尤其有用於低光成像情境。在此情況下，通常可適當的具有長曝光以採集足夠的光來達成可接受之訊號雜訊比。然而此長曝光可導致由曝光期間之相機搖晃引起之模糊影像。低解析度影像可用以提供一經改良信號-雜訊位置，且因此減少高解析度影像之所需曝光時間，藉此減少運動模糊且提供影像穩定化之途徑。
亦可結合自諸如迴轉儀或加速計之裝置所提供之運動資訊而使用本發明。在高解析度擷取期間所進行之迴轉儀量測可指示在擷取期間是否發生顯著相機移動，且若發生，則可提早終止擷取，且先前(或隨後)所擷取之低解析度影像可用以改良信號-雜訊位置，同時允許具有減少之運動模糊的高解析度影像。
在擷取之前可用之迴轉儀量測可用以評估在擷取期間相機之當前及預期移動，且可用以相應地設定高解析度曝光。若高解析度曝光被縮短至所要的曝光時間以下，則可用來自低解析度擷取之資訊補充該信號。
系統控制器50可選擇總是將高解析度曝光自初始計算之目標曝光縮短，且以低解析度影像補償丟失之信號。
本發明之另一用途可在擷取後發生。分析應用於高解析度影像之類比及數位增益之量，且若增益因數過高，則可藉由使用低解析度影像來改良高解析度影像之雜訊位置。
本發明之另一用途為初始擷取高解析度影像且將其以數位方式組合以形成低解析度影像。可隨後將此等低解析度影像與一最終擷取之高解析度影像組合。在此情境中，由於自感測器讀取多個高解析度影像，因此不存在經格化影像之快速讀出的優點。然而，數個高解析度影像可組合為一單一聚集低解析度影像，使得記憶體成本保持較小。聚集低解析度影像改良高解析度影像之低頻率中的訊號雜訊比。一影像之低頻率中之雜訊通常難以清除且亦在視覺上使人厭煩。
可基於擷取條件及相機能力來選擇每一低解析度影像之圖框率、解析度以及曝光。在較佳具體例中，在每一維度上，低解析度影像之解析度大約為高解析度影像之解析度的三分之一。此解析度減小量允許低解析度影像改良高解析度影像之低頻率中的訊號雜訊比。其亦允許高解析度影像保持其原始高頻率，其防止引入常常在嘗試組合有相等空間解析度及由於場景內之運動帶來之某種場景內容差異的多個影像時所發生的視覺假影。在較佳具體例中，低解析度影像係以30影像/秒擷取，或在針對所要解析度之影像而言相機之最大速率低於30影像/秒之情況下以相機之最大速率進行擷取。在較佳具體例中，每一低解析度影像之曝光等於相機之速率之倒數。亦即，若相機可每秒擷取30個低解析度影像，則每一低解析度影像之曝光為1/30秒。另外，在較佳具體例中，在格化過程期間未丟棄像素。舉例而言，對於每一維度中之3X之格化因數，此導致9個像素經組合以形成每一經格化像素值。在正成像之場景具有足夠光，使得所描述之曝光及格化設定導致過曝及飽和之情況下，可藉由減少每一影像之曝光或藉由在格化過程期間丟棄一些像素資料來更改低解析度影像。
熟習此項技術者將認識到存在本發明之許多替代方法。
10．．．光
11．．．成像級
12．．．透鏡
13．．．濾波器區塊
14．．．光闌
16．．．感測器區塊
18．．．快門區塊
20．．．影像感測器
22．．．類比信號處理器
24．．．A/D轉換器
26．．．時序產生器
28．．．感測器級
30．．．匯流排
32．．．DSP記憶體
36．．．數位信號處理器
38．．．處理級
40．．．曝光控制器
50．．．系統控制器
52．．．匯流排
54．．．程式記憶體
56．．．系統記憶體
57．．．主機介面
60．．．記憶卡介面
62．．．插口
64．．．記憶卡
68．．．使用者介面
70．．．取景器顯示器
72．．．曝光顯示器
74．．．使用者輸入
76．．．狀態顯示器
80．．．視訊編碼器
82．．．顯示控制器
88．．．影像顯示器
110．．．濾波器透射曲線
112．．．全色光回應曲線
114．．．色彩光回應曲線
116．．．色彩光回應曲線
118．．．色彩光回應曲線
410．．．擷取按鈕至S1區塊
420．．．影像獲取及組合區塊
430．．．擷取按鈕至S2區塊
440．．．影像獲取區塊
450．．．影像組合區塊
510．．．擷取按鈕查詢
520．．．影像獲取區塊
530．．．影像組合區塊
610．．．高解析度影像
620．．．聚集低解析度影像
630．．．解析度減小區塊
640．．．內插區塊
650．．．殘餘計算區塊
660．．．影像組合區塊
670．．．內插區塊
680．．．影像組合區塊
710．．．運動估計及補償區塊
720．．．映射建置區塊
730．．．影像形成區塊
740．．．影像形成區塊
810．．．影像獲取區塊
820．．．影像組合區塊
830．．．影像組合區塊
圖1為可採用習知感測器及處理方法或本發明之感測器及處理方法之習知數位靜態相機系統的方塊圖；
圖2(先前技術)為用於一影像感測器之一部分的拜耳濾色器陣列圖案的視圖；
圖3(先前技術)提供紅、綠及藍色像素之代表性光譜量子效率曲線以及一較寬光譜全色量子效率，其全部由一紅外線截止濾波器之透射特性倍增；
圖4為展示本發明之一具體例的流程圖；
圖5為說明一聚集低解析度影像之形成的流程圖；
圖6為說明從一高解析度影像及一聚集低解析度影像形成一經改良高解析度影像的流程圖；
圖7為說明一代表性低解析度影像與一聚集低解析度影像之組合的流程圖；
圖8為使用一具有全色像素及色彩像素之感測器之本發明另一具體例的流程圖；以及
圖9(先前技術)為一含有全色像素及色彩像素之影像感測器之一代表性部分之一濾色器陣列圖案的視圖。

Claims (14)

  1. 一種使用由相同影像擷取裝置所擷取之一場景之低解析度影像及至少一個高解析度影像來提供一經改良高解析度影像的方法，其包含：a)使用該影像擷取裝置來擷取該場景之複數個低解析度影像以及該場景之至少一個高解析度影像，該至少一個高解析度影像具有一大於該等低解析度影像之解析度的解析度；b)組合該等低解析度影像以提供一聚集低解析度影像；以及c)藉由以下操作來組合該高解析度影像與該聚集低解析度影像以提供該經改良高解析度影像：i)減小該高解析度影像之該解析度以提供一代表一能由該影像擷取裝置所擷取之低解析度影像的影像；ii)內插該代表性低解析度影像以提供一經內插高解析度影像；iii)根據該高解析度影像及該經內插高解析度影像計算一殘餘影像；iv)組合該代表性低解析度影像與該聚集低解析度影像以提供一最終低解析度影像；以及v)使用該最終低解析度影像及該殘餘影像來提供該經改良之高解析度影像。
  2. 如申請專利範圍第1項之方法，其中，步驟b)進一步包含使用一無限脈衝回應濾波器來組合該等低解析度影像以提供一聚集低解析度影像。
  3. 如申請專利範圍第1項之方法，其中，步驟b)進一步包含校正存在於該等低解析度影像中之至少一些低解析度影像之間的運動。
  4. 如申請專利範圍第1項之方法，其中，步驟c)i)進一步包含使用實質上與在該等低解析度影像之擷取中所使用之相同的格化及抽取程序來減小該高解析度影像之該解析度。
  5. 如申請專利範圍第1項之方法，其中，步驟c)iv)進一步包含校正存在於該聚集低解析度影像與該代表性低解析度影像之間的運動。
  6. 如申請專利範圍第1項之方法，其中，步驟c)iv)進一步包含形成一識別匹配像素的映射，在該等匹配像素中該聚集低解析度影像與代表性低解析度影像具有匹配之場景資料。
  7. 如申請專利範圍第6項之方法，其中，藉由計算對應聚集低解析度影像及代表性低解析度影像像素資料之一加權平均值而針對匹配之像素形成該最終低解析度影像，且藉由僅使用該代表性低解析度影像像素資料而針對不匹配像素形成該最終低解析度影像。
  8. 如申請專利範圍第7項之方法，其進一步包括將一空間低通濾波器應用於該最終低解析度影像之不匹配像素。
  9. 如申請專利範圍第1項之方法，其中，步驟c)v)進一步包含內插該最終低解析度影像，且將該殘餘影像加至該經內插最終低解析度影像以提供該經改良高解析度影像。
  10. 如申請專利範圍第1項之方法，其中，該等低解析度影像及該高解析度影像為全色彩影像。
  11. 如申請專利範圍第1項之方法，其中，該等低解析度影像及該高解析度影像為濾色器陣列影像，且該經改良高解析度影像為一濾色器陣列影像。
  12. 如申請專利範圍第1項之方法，其中，該等低解析度影像及該高解析度影像具有色彩像素及全色像素。
  13. 一種使用由相同影像擷取裝置所擷取之一場景之低解析度影像及至少一個高解析度影像來提供一經改良高解析度影像的方法，該影像擷取裝置具有一含有全色像素及色彩像素之影像感測器，該方法包含：a)使用一具有一含有全色像素及色彩像素之影像感測器的影像擷取裝置來擷取該場景之複數個低解析度影像以及該場景之至少一個高解析度影像，該至少一個高解析度影像具有一大於該等低解析度影像之解析度的解析度；b)組合該等低解析度影像以提供一聚集低解析度影像；以及c)組合該高解析度影像與該聚集低解析度影像以提供該經改良高解析度影像。
  14. 如申請專利範圍第13項之方法，其中，步驟c)包含：i)減小該高解析度影像之該解析度以提供一代表一能由該影像擷取裝置所擷取之低解析度影像的影像；ii)內插該代表性低解析度影像以提供一經內插高解析度影像；iii)從該高解析度影像及該經內插高解析度影像計算一殘餘影像；iv)組合該代表性低解析度影像與該聚集低解析度影像以提供一最終低解析度影像；以及v)使用該最終低解析度影像及該殘餘影像來提供該經改良之高解析度影像。
TW099129063A 2009-08-31 2010-08-30 使用由相同影像擷取裝置所擷取之場景之低解析度影像及至少一個高解析度影像來提供經改良高解析度影像的方法 TWI488144B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/550,559 US8724928B2 (en) 2009-08-31 2009-08-31 Using captured high and low resolution images

Publications (2)

Publication Number Publication Date
TW201112169A TW201112169A (en) 2011-04-01
TWI488144B true TWI488144B (zh) 2015-06-11

Family

ID=42985460

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099129063A TWI488144B (zh) 2009-08-31 2010-08-30 使用由相同影像擷取裝置所擷取之場景之低解析度影像及至少一個高解析度影像來提供經改良高解析度影像的方法

Country Status (4)

Country Link
US (4) US8724928B2 (zh)
EP (1) EP2473971A1 (zh)
TW (1) TWI488144B (zh)
WO (1) WO2011025806A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890881B1 (en) * 2005-07-29 2011-02-15 Adobe Systems Incorporated Systems and methods for a fold preview
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
TWI494824B (zh) * 2010-08-24 2015-08-01 Quanta Comp Inc 光學觸控系統及方法
EP2642746B1 (en) * 2010-11-18 2015-06-10 Panasonic Intellectual Property Corporation of America Image capture device, image capture method
US8704943B2 (en) 2011-01-21 2014-04-22 Aptina Imaging Corporation Systems for multi-exposure imaging
DE202012013411U1 (de) 2011-04-25 2016-11-15 Terra Bella Technologies Inc. Systeme für Overhead-Bild- und Videoanzeige
US9137463B2 (en) * 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US9264673B2 (en) * 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
KR101796481B1 (ko) * 2011-11-28 2017-12-04 삼성전자주식회사 저전력 셔터랙 제거 방법, 카메라 모듈 및 이를 구비하는 모바일 기기
JP5966636B2 (ja) * 2012-06-06 2016-08-10 株式会社ニコン 撮像素子および撮像装置
US20140063575A1 (en) * 2012-08-30 2014-03-06 Stacy M. Munechika Multi-resolution segmented image sensor
CA2807404C (en) * 2012-09-04 2017-04-04 Research In Motion Limited Methods and devices for inter-layer prediction in scalable video compression
US9300846B2 (en) * 2012-09-10 2016-03-29 Apple Inc. Signal shaping for improved mobile video communication
US10063757B2 (en) 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
US8937745B2 (en) * 2013-03-25 2015-01-20 Eastman Kodak Company Method for correcting stitching errors in multi-color high-speed printing
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
US9478010B2 (en) * 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
US9179039B2 (en) 2014-02-12 2015-11-03 Xerox Corporation Methods and systems for processing low resolution images via error diffusion
JP6565905B2 (ja) * 2014-05-08 2019-08-28 ソニー株式会社 情報処理装置及び情報処理方法
US10176452B2 (en) 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
US9659204B2 (en) 2014-06-13 2017-05-23 Conduent Business Services, Llc Image processing methods and systems for barcode and/or product label recognition
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US10453046B2 (en) * 2014-06-13 2019-10-22 Conduent Business Services, Llc Store shelf imaging system
RU2655662C1 (ru) * 2014-09-12 2018-05-29 Кэнон Кабусики Кайся Устройство обработки изображений и способ обработки изображений
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
JP6020950B1 (ja) * 2014-11-25 2016-11-02 ソニー株式会社 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム
US9692967B1 (en) 2015-03-23 2017-06-27 Snap Inc. Systems and methods for reducing boot time and power consumption in camera systems
WO2016153914A1 (en) 2015-03-25 2016-09-29 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
JP6604019B2 (ja) * 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
CA2990063A1 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
US10955546B2 (en) 2015-11-25 2021-03-23 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
CN105578005B (zh) 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105578072A (zh) 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
KR102591581B1 (ko) * 2016-01-07 2023-10-20 삼성전자주식회사 촬영 디바이스 및 그 제어 방법
US9928438B2 (en) 2016-03-10 2018-03-27 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
CN105913395B (zh) * 2016-04-10 2019-06-04 中国人民解放军海军航空工程学院青岛校区 一种运动目标观测及模糊复原方法
US10873752B2 (en) * 2016-05-11 2020-12-22 Intel Corporation Adaptive camera resolution for compression matching
US10002344B2 (en) 2016-10-17 2018-06-19 Conduent Business Services, Llc System and method for retail store promotional price tag detection
US10289990B2 (en) 2016-10-17 2019-05-14 Conduent Business Services, Llc Store shelf imaging system and method
US10019803B2 (en) 2016-10-17 2018-07-10 Conduent Business Services, Llc Store shelf imaging system and method using a vertical LIDAR
US10210603B2 (en) 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
JP6904684B2 (ja) * 2016-11-04 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
WO2018131266A1 (ja) * 2017-01-10 2018-07-19 富士フイルム株式会社 ノイズ処理装置及びノイズ処理方法
DE102017205630A1 (de) * 2017-04-03 2018-10-04 Conti Temic Microelectronic Gmbh Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US11378682B2 (en) 2017-05-23 2022-07-05 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods for moving targets
WO2018215907A1 (en) * 2017-05-25 2018-11-29 Apul Nahata System and method for accurately detecting an object in an image frame
US10430987B1 (en) 2017-06-09 2019-10-01 Snap Inc. Annotating an image with a texture fill
DE102017210845A1 (de) * 2017-06-27 2018-12-27 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
CA3083033A1 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
US10846824B2 (en) * 2017-12-08 2020-11-24 Tata Consultancy Services Limited Systems and methods for reconstructing super-resolution images under total aliasing based upon translation values
KR102530752B1 (ko) 2018-08-29 2023-05-10 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법
US11017500B2 (en) 2018-10-08 2021-05-25 Verily Life Sciences Llc Image acquisition using time-multiplexed chromatic illumination
CN109697695B (zh) * 2018-12-07 2023-03-10 三峡大学 可见光图像引导的超低分辨率热红外图像插值算法
US11144780B2 (en) * 2019-07-30 2021-10-12 Snap-On Incorporated Adaptive image processing
CN110855881B (zh) * 2019-11-01 2021-07-02 RealMe重庆移动通信有限公司 拍摄处理方法及装置、存储介质和电子设备
CA3167541A1 (en) 2020-02-14 2021-08-19 Activ Surgical, Inc. Systems and methods for processing laser speckle signals
FR3111462B1 (fr) * 2020-06-12 2022-08-05 Centre Nat Etd Spatiales Procédé de construction d’un signal ou d’une image fusionné(e) haute résolution à partir d’une pluralité de signaux ou d’une pluralité d’images basse résolution.
US11330145B1 (en) 2021-06-10 2022-05-10 Bank Of America Corporation Image processing edge device for document noise removal
CN118176521A (zh) * 2021-10-25 2024-06-11 三星电子株式会社 生成高分辨率峰值动作帧的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002048960A2 (en) * 2000-12-12 2002-06-20 Sharp Kabushiki Kaisha Methods and systems for improving display resolution in images using sub-pixel sampling and visual error filtering
TW200803478A (en) * 2005-11-09 2008-01-01 Sharp Kk Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device and control program
US7420592B2 (en) * 2004-06-17 2008-09-02 The Boeing Company Image shifting apparatus for enhanced image resolution

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5835160A (en) * 1995-09-13 1998-11-10 Oak Technology, Inc. Sampling rate conversion using digital differential analyzers
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US6519584B1 (en) * 1996-06-26 2003-02-11 Sun Microsystem, Inc. Dynamic display advertising
US5801824A (en) * 1996-11-25 1998-09-01 Photon Dynamics, Inc. Large area defect monitor tool for manufacture of clean surfaces
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
US6975764B1 (en) * 1997-11-26 2005-12-13 Cognex Technology And Investment Corporation Fast high-accuracy multi-dimensional pattern inspection
US6044403A (en) * 1997-12-31 2000-03-28 At&T Corp Network server platform for internet, JAVA server and video application server
US6711297B1 (en) * 1998-07-03 2004-03-23 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Methods and apparatus for dynamic transfer of image data
US6912327B1 (en) * 1999-01-28 2005-06-28 Kabushiki Kaisha Toshiba Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
CN1185859C (zh) * 2000-07-27 2005-01-19 振玮科技股份有限公司 数码影像内插及清晰度增强的方法
US6937291B1 (en) * 2000-08-31 2005-08-30 Intel Corporation Adaptive video scaler
US6816197B2 (en) * 2001-03-21 2004-11-09 Hewlett-Packard Development Company, L.P. Bilateral filtering in a demosaicing process
GB2373946A (en) 2001-03-29 2002-10-02 Snell & Wilcox Ltd Method of synthesizing motion blur in a video sequence
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US7162101B2 (en) * 2001-11-15 2007-01-09 Canon Kabushiki Kaisha Image processing apparatus and method
JP4050102B2 (ja) * 2002-06-27 2008-02-20 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
US7146059B1 (en) * 2003-03-05 2006-12-05 Massachusetts Institute Of Technology Method of performing fast bilateral filtering and using the same for the display of high-dynamic-range images
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
KR100504594B1 (ko) 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7352911B2 (en) * 2003-07-31 2008-04-01 Hewlett-Packard Development Company, L.P. Method for bilateral filtering of digital images
US7437013B2 (en) * 2003-12-23 2008-10-14 General Instrument Corporation Directional spatial video noise reduction
US20050226525A1 (en) * 2004-03-31 2005-10-13 Fujitsu Limited Image magnification device and image magnification method
US7379611B2 (en) * 2004-04-01 2008-05-27 Microsoft Corporation Generic image hallucination
US8144931B1 (en) * 2004-04-22 2012-03-27 Hartman Richard L Real time correlator system and method
US7372984B2 (en) * 2004-05-05 2008-05-13 California Institute Of Technology Four-dimensional imaging of periodically moving objects via post-acquisition synchronization of nongated slice-sequences
US7657118B2 (en) * 2004-06-09 2010-02-02 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames using image data converted from a different color space
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US20060114479A1 (en) 2004-11-26 2006-06-01 Sozotek, Inc. Accelerated image enhancement
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
EP1693789A1 (de) * 2005-02-16 2006-08-23 Johann Huber Kunststoffträger mit Transponder
US7570829B2 (en) * 2005-02-17 2009-08-04 Eastman Kodak Company Selection of alternative image processing operations to maintain high image quality
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US7298144B2 (en) * 2005-05-06 2007-11-20 The Board Of Trustee Of The Leland Stanford Junior University Homodyne reconstruction of water and fat images based on iterative decomposition of MRI signals
US20080165258A1 (en) * 2005-05-10 2008-07-10 Andrew Augustine Wajs Method of Controlling an Image Capturing System, Image Capturing System and Digital Camera
US8068117B2 (en) * 2005-06-30 2011-11-29 Microsoft Corporation Parallel texture synthesis by upsampling pixel coordinates
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7477323B2 (en) * 2005-11-07 2009-01-13 Kolorific, Inc. Method and system for digital image magnification and reduction
US7738739B2 (en) * 2006-01-26 2010-06-15 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the resolution of a digital image
US7613360B2 (en) * 2006-02-01 2009-11-03 Honeywell International Inc Multi-spectral fusion for video surveillance
US7680354B2 (en) * 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
KR20070119879A (ko) * 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치
US7817161B2 (en) * 2006-06-26 2010-10-19 Microsoft Corporation Texture synthesis using dimensionality-reduced appearance space
US7643034B2 (en) * 2006-06-30 2010-01-05 Microsoft Corporation Synthesis of advecting texture using adaptive regeneration
EP2059027A4 (en) 2006-09-14 2012-08-08 Nikon Corp IMAGE PROCESSING DEVICE, ELECTRONIC CAMERA, AND IMAGE PROCESSING PROGRAM
GB2443457B (en) * 2006-10-31 2011-11-02 Hewlett Packard Development Co Image processing system and method
US20080110878A1 (en) 2006-11-09 2008-05-15 3M Innovative Properties Company Nonwoven microwave thawing apparatus
US7936949B2 (en) * 2006-12-01 2011-05-03 Harris Corporation Panchromatic modulation of multispectral imagery
US7826685B2 (en) * 2006-12-01 2010-11-02 Harris Corporation Spatial and spectral calibration of a panchromatic, multispectral image pair
US20080134487A1 (en) 2006-12-07 2008-06-12 Julia Hartono Integral waistband for a disposable absorbent article, an article and a method of forming said article
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
US8644600B2 (en) * 2007-06-05 2014-02-04 Microsoft Corporation Learning object cutout from a single example
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
KR100944462B1 (ko) * 2008-03-07 2010-03-03 한국항공우주연구원 위성 영상 융합 방법 및 시스템
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US8350952B2 (en) * 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
US8078009B2 (en) * 2008-07-08 2011-12-13 Harris Corporation Optical flow registration of panchromatic/multi-spectral image pairs
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP2010063088A (ja) * 2008-08-08 2010-03-18 Sanyo Electric Co Ltd 撮像装置
JP4650560B2 (ja) * 2008-11-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CA2748234A1 (en) * 2008-12-25 2010-07-01 Medic Vision - Imaging Solutions Ltd. Denoising medical images
CN102576412B (zh) * 2009-01-13 2014-11-05 华为技术有限公司 图像处理以为图像中的对象进行分类的方法和系统
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
US8260086B2 (en) * 2009-03-06 2012-09-04 Harris Corporation System and method for fusion of image pairs utilizing atmospheric and solar illumination modeling
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8452087B2 (en) * 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
EP2471025B1 (en) * 2009-12-31 2019-06-05 Tata Consultancy Services Limited A method and system for preprocessing the region of video containing text
JP2011180798A (ja) * 2010-03-01 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
US8655069B2 (en) * 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US8285033B2 (en) * 2010-04-01 2012-10-09 Seiko Epson Corporation Bi-affinity filter: a bilateral type filter for color images
US20110268334A1 (en) * 2010-04-30 2011-11-03 Korean Advanced Institute Of Science And Technology Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US8466976B2 (en) * 2010-11-03 2013-06-18 Eastman Kodak Company Digital camera providing high dynamic range images
JP5719148B2 (ja) * 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
US8594385B2 (en) * 2011-04-19 2013-11-26 Xerox Corporation Predicting the aesthetic value of an image
DE202012013411U1 (de) * 2011-04-25 2016-11-15 Terra Bella Technologies Inc. Systeme für Overhead-Bild- und Videoanzeige
US8923653B2 (en) * 2011-06-27 2014-12-30 Yutaka Yamamoto Super-resolution processing method and system
US9208580B2 (en) * 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
US8687736B1 (en) * 2012-12-09 2014-04-01 Phuong Huynh Multi-band bandpass-sampling receiver
US9179039B2 (en) * 2014-02-12 2015-11-03 Xerox Corporation Methods and systems for processing low resolution images via error diffusion
WO2015180054A1 (zh) * 2014-05-28 2015-12-03 北京大学深圳研究生院 一种基于图像超分辨率的视频编解码方法及装置
US10341544B2 (en) * 2014-07-23 2019-07-02 Orcam Technologies Ltd. Determining a matching score between users of wearable camera systems
US9225889B1 (en) * 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
US10752378B2 (en) * 2014-12-18 2020-08-25 The Boeing Company Mobile apparatus for pest detection and engagement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002048960A2 (en) * 2000-12-12 2002-06-20 Sharp Kabushiki Kaisha Methods and systems for improving display resolution in images using sub-pixel sampling and visual error filtering
US7420592B2 (en) * 2004-06-17 2008-09-02 The Boeing Company Image shifting apparatus for enhanced image resolution
TW200803478A (en) * 2005-11-09 2008-01-01 Sharp Kk Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device and control program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction

Also Published As

Publication number Publication date
EP2473971A1 (en) 2012-07-11
US9955071B2 (en) 2018-04-24
WO2011025806A1 (en) 2011-03-03
US20170230573A1 (en) 2017-08-10
US20140218553A1 (en) 2014-08-07
US20110052095A1 (en) 2011-03-03
US9407818B2 (en) 2016-08-02
US20160316141A1 (en) 2016-10-27
US9661218B2 (en) 2017-05-23
TW201112169A (en) 2011-04-01
US8724928B2 (en) 2014-05-13

Similar Documents

Publication Publication Date Title
TWI488144B (zh) 使用由相同影像擷取裝置所擷取之場景之低解析度影像及至少一個高解析度影像來提供經改良高解析度影像的方法
US8179445B2 (en) Providing improved high resolution image
TWI496463B (zh) 形成全彩色影像之方法
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
USRE47458E1 (en) Pattern conversion for interpolation
TWI495336B (zh) 利用彩色濾光片陣列影像產生全彩影像
US8462221B2 (en) Method for producing high dynamic range images
US8466976B2 (en) Digital camera providing high dynamic range images
US20110149111A1 (en) Creating an image using still and preview
JP2010537555A (ja) パンクロの市松模様パターンを有するカラーフィルタアレイを有する画像センサ

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees