TWI452539B - 使用不同解析度影像之改良影像形成 - Google Patents

使用不同解析度影像之改良影像形成 Download PDF

Info

Publication number
TWI452539B
TWI452539B TW098125941A TW98125941A TWI452539B TW I452539 B TWI452539 B TW I452539B TW 098125941 A TW098125941 A TW 098125941A TW 98125941 A TW98125941 A TW 98125941A TW I452539 B TWI452539 B TW I452539B
Authority
TW
Taiwan
Prior art keywords
images
image
resolution images
lower resolution
corrected
Prior art date
Application number
TW098125941A
Other languages
English (en)
Other versions
TW201011695A (en
Inventor
John N Border
Amy D Enge
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201011695A publication Critical patent/TW201011695A/zh
Application granted granted Critical
Publication of TWI452539B publication Critical patent/TWI452539B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Description

使用不同解析度影像之改良影像形成
本發明關於自多重影像產生一改良影像。更明確言之，多重影像被用於形成具有降低之運動模糊與降低之雜訊的一改良影像。
待解決之一問題係在影像擷取期間，在有運動存在的光不足攝影會導致影像中之運動模糊。該運動可為一全域變化，其中正被成像之整個場景一起移動，或該運動可為一局域變化，其中該場景之一或多個部份以相比於該場景之其餘者不同的一速度或方向移動。全域運動係由於在影像擷取期間場景與相機之間的一相對運動。局域運動係由於在場景內之目標相對於場景之其他部份移動。局域運動可不同地發生於場景之不同部份中。
在曝光時間短暫且運動緩慢之情況下的案例中，一單個影像擷取可被用於擷取具有良好影像品質之一影像。但是，因為相對於在影像擷取期間存在之運動而言，得到具有一高信雜比之一影像所需要的曝光時間變得更長，或可用光減少，所擷取之影像的品質以影像內運動模糊增加及雜訊增加之形式而降級。
對於消費性數位相機，隨著時間推移其具有像素之大小變得更小之一趨勢，此減少用以在曝光期間擷取光的可用區域，致使雜訊成為一個更大的問題。可增加曝光時間以補償較小之像素，但接著運動模糊成為一個更大的問題。因此，增加像素對光之敏感度的方法已藉由Hamiltom描述於美國專利申請案第110/191,729號中(檔案號碼91045)中，該方法係將全色像素添加至影像感測器。因為運動相對於曝光時間而增加，或可用光減少，所以可進行一系列折衷。
若干折衷方法可用於攝影空間中以增加空間解析度、時間解析度或影像品質，但是，重要事項係應注意有得必有失。例如，可以增加影像中之雜訊為代價減少曝光時間以降低運動模糊，藉此增加時間解析度。閃光係減少影像中之雜訊的一有效方法且藉由實現較短之曝光時間以增加時間解析度，但此係以不均勻之照明及紅眼為代價的。可在曝光期間使用以光學為基礎之影像穩定性，以實現一更長之曝光時間來減少影像中之雜訊而同時減少運動模糊及增加空間解析度。但是，以光學為基礎之影像穩定性可僅被用於降低來自相機運動(全域運動)之運動模糊。可增加像素之有效大小以藉由併像(binning)(亦即鄰近之像素彼此連接使得鄰近像素上之電荷被相加且信號被增強)實現一減少之曝光時間。但是，伴隨併像而來的是空間解析度之減少。可使用多重低解析度視訊影像以形成具有改良影像品質的一單一影像，而同時保持空間解析度並且提供介於時間解析度與曝光時間之間的一平衡。在一給定時間內讀取多重影像可藉由對每一影像使用一較短之曝光時間來降低運動模糊，但是，每一影像會有更多的雜訊。藉由將多重影像彼此對準以在校正個別影像擷取之間的運動及接著將個別影像相加(堆疊)在一起，可減少在所形成之單個影像中之雜訊。
當可相對快地讀出(典型的係30至60個影像/秒)多重低解析度視訊影像時，因像素經常被併像，所以影像通常具有較低之雜訊，此處可形成之單個影像限於相對低解析度。相反地，可使用多重高解析度影像以形成一高解析度之單個影像。但是，高解析度影像因像素較小而通常具更多雜訊，且更大程度上而言，由於硬體限制，讀出多重高解析度影像(典型的係1.5至7個影像/秒)需要相對大量的時間。此外，由於在影像擷取之間的顯著運動，對準影像之問題變得更大。
因此，在此項技術中(特別是運動存在情況下的場景中)需要一改良之解決方案以結合多重影像來形成一改良影像。
藉由根據本發明之多種實施例之用於形成一影像的系統及方法解決上文描述之問題，且在此項技術中達成一技術性解決方案。在本發明之一些實施例中，於一段同時存在時期內，獲取一場景之多重影像，其中該多重影像之大多數係以比該多重影像之其他者更低之一解析度獲取的較低解析度影像。該等較低解析度影像之至少一些可為視訊影像或預覽影像，且可在獲取多重影像之其他者之前獲取該等較低解析度影像。在一些實施例中，該等較低解析度影像具有與該多重影像之其他者相同或比其更長之曝光時間。在一些實施例中，該多重影像之其他者僅包含一單個較高解析度影像。藉由校正存在於該等較低解析度影像之至少一些之間的運動而形成一組經校正影像。至少藉由合併(a)該組經校正影像中之該等影像之至少一者的至少一部份及(b)該多重影像之該其他者之至少一者的至少一部份而形成一合成影像。此外，將該合成影像儲存於一處理器可存取記憶體系統中。合成影像展示超越習知技術的改良影像品質，包含降低之運動模糊、一較高之信雜比及較高之解析度。
在一些實施例中，形成一組經校正影像包含將經運動校正之較低解析度影像合併為一單個低解析度影像，其中該組經校正影像僅包含該單個較低解析度影像。在此等實施例之一些中，形成一組經校正影像進一步包含對準該等較低解析度影像之至少一些內的特徵，以使該等影像彼此偏移，其中對準係在合併該等較低解析度影像之前發生。
在一些實施例中，較低解析度影像保存於一輪流式緩衝器(rolling buffer)中。此等實施例可幫助防止用於擷取多重較低解析度影像的時間促成快門時間落差(shutter lag)中。
在一些實施例中，接收到一部份按下擷取按鈕信號引起獲取較低解析影像，且接收到一完全按下擷取按鈕信號引起獲取多重影像之其他者。
在諸如此等較低解析度影像係視訊影像情況下的一些實施例中，獲取音訊資料同時獲取較低解析度影像。在此等案例中，以將該音訊資料及該等較低解析度影像連結至該合成影像之一方式來儲存該音訊資料及該等較低解析度影像於處理器可存取記憶體系統中。此類實施例提供一視訊及音訊背景內容以與合成影像附合。
除上文描述之實施例之外，進一步實施例藉由參考圖式及學習以下具體描述會變得清晰可見。
以結合附圖考慮從下文所呈現之例示性實施例的詳細描述會更容易理解本發明。
應瞭解附圖係為了繪示本發明之概念的目的且可不按比例繪製。
本發明之實施例關於獲取或擷取一場景之多重影像，其中該多重影像形成由較低解析度影像及較少數量之較高解析度影像組成的一擷取組。在一段相對短時段內獲取所有影像，致使該等影像可被認為彼此係同時存在的。相較於較高解析度影像，較低解析度影像具有相同或較長之曝光時間以及有效之較大像素(由於較低解析度影像需在感測器上併像)。因此，較低解析度影像具有一較高之信雜比、一較低之解析度及在每一影像中相同或更多之運動模糊。相較之下，與較低解析度影像相比較，較高解析度影像具有一較高解析度(由於較少在感測器上併像)、一較低信雜比及相同或更少之運動模糊。接著，藉由將在擷取組中之該等影像之至少部份合併一起形成具有改良影像品質之一合成影像(較高解析度、降低之運動模糊及增加之信雜比)。可藉由以下降低在合成影像中之運動模糊：(a)在合併以校正在獲取擷取組期間發生之運動之前，使在擷取組中之影像彼此偏移；(b)藉由使用具有降低之運動模糊的較高解析度影像以校正在低解析度影像中之運動模糊；或(a)與(b)之一組合。
在一典型數位相機內，通常可擷取較低解析度影像及較高解析度影像二者。通常在影像感測器之全解析度處提供較高解析度影像，而藉由併像或整數倍降低取樣在感測器上之像素提供較低解析度影像。
併像涉及將附近之像素電子地連接在一起使得附近像素所需之電荷被相加在一起，藉此增加信雜比且亦有效地增加像素之大小，同時降低感測器之解析度(降低像素之數量)。整數倍降低取樣涉及重設在像素之一些上的電荷，且因此不使用用於此等整數倍降低取樣之像素的像素資料。為了增加信雜比，本發明之實施例可使用併像以在在擷取組中產生較低解析度影像。在一些諸如弱光之情況下，甚至可併像較高解析度影像以增加在影像中之信雜比，但是其併像級會低於用於較低解析度影像的併像級。
由於數位相機之硬體限制，有處理路徑時機方面的侷限性。多重影像之快速圖框速率擷取更容易獲得較低解析度影像。此外，高信雜比影像更容易獲得具有較長曝光時間之較低解析度影像。校正多重影像之間的運動降低若以相等於擷取組中之多重影像之經組合之曝光時間之一曝光時間來擷取一單個影像時可能發生的運動模糊。但是，精細邊緣細節必須來自一較高解析度影像。
在本發明之多種實施例中，可以一高度併像視訊模式或一預覽模式來獲取較低解析度影像，其中以一快速速率(諸如30至120個影像/秒)連續地獲取該等影像。相較之下，可在一全解析度模式或一較低併像模式中，以一較慢速率來擷取較高解析度影像。此外，以短於場景中存在之攝影條件，藉由自動曝光系統典型計算之一曝光時間來獲取較高解析度影像。通常，多重影像之獲取速率首先受限於曝光時間，但接著可受限於讀出影像感測器或儲存影像之速度，該速度係由影像中的像素數量所決定。因此，具有較少像素之較低解析度影像可比具有更多像素之較高解析度影像更快地被讀出及儲存。在一視訊影像中之像素數量與在一全解析度影像中之像素數量之間的差值經常係10倍到20倍。因此，為了減少用於一多重影像擷取組之擷取時間，最好使用較多數量之較低解析度影像及較少數量之較高解析度影像。因此，本發明之實施例關於包含多重較低解析度影像連同較少數量(或單個)之較高解析度影像之一擷取組。
在獲取該擷取組中之影像期間，可儘快獲取較低解析度影像，以減少在獲取該擷取組期間可發生於影像之間的在場景中之運動與相機相對於場景之運動二者的影響。即使很快地獲取較低解析度影像，用於較低解析度影像之每一者的曝光時間可相等於或較長於用於一較高解析度影像之曝光時間，此可導致在每一較低解析度影像中有相同或更多之運動模糊。可基於存在於場景中之光量與偵測到之運動量二者而選定曝光時間。對較低解析度影像與較高解析度影像二者使用相同曝光時間可產生具有一致清晰度的一合成影像，而對較低解析度影像使用一較長曝光時間可產生具有最高信雜比及最低色度(chroma)雜訊之一合成影像。最後結果係，較低解析度影像由於相同或較長之曝光時間而具有一較高信雜比及由於併像而具有有效之較大像素，但此以較低解析度及相同或更多運動模糊為代價。相比之下，選擇用於(若干)較高解析度影像之曝光時間短於通常用於成像條件之時間以減少運動模糊，同時接受一較低信雜比。於是，擷取組可由具有一較高信雜比的多重較低解析度影像及具有一較低信雜比與降低之運動模糊的一或多個較高解析度影像所組成。
此外，本發明之實施例可包含使用一輪流式緩衝器，在該輪流式緩衝器中可儲存擷取組中之較低解析度影像。使用一輪流式緩衝器之優點在於，獲取(若干)較高解析度影像之前，可連續地獲取及讀取較低解析度影像至輪流式緩衝器中。以此方式，獲取較低解析度影像之時間未促成如操作者感知之快門時間落差中。快門時間落差係操作者所感知的介於擷取按鈕完全按下時之時間與實際擷取影像時之時間之間的延遲。在實務中，當藉由相機偵測到操作者正準備擷取一影像時，藉由操作者部份按下擷取按鈕或藉由相機偵測到操作者將相機放置於一擷取位置，開始獲取較低解析度影像及將該等較低解析度影像讀取至輪流式緩衝器中。當操作者發出影像擷取之時刻到來(藉由完全按下擷取按鈕)之信號時，於是停止將較低解析度影像擷取至輪流式緩衝器及擷取較高解析度影像。以此方式，感知之快門時間落差僅係需要擷取(若干)較高解析度影像之時間。
進一步，本發明揭示除了使用低解析度影像以產生具有改良影像品質之一影像之外，亦可儲存較低解析度影像連同合成影像，以提供背景內容至合成影像。此提供一視訊背景內容至具有產生之改良影像品質的靜態影像。到最後，合成音訊可被擷取且連同較低解析度影像一起儲存。
圖1圖解說明根據本發明之一實施例之用於形成一影像的一系統100。該系統100包含一資料處理系統110、一週邊系統120、一使用者介面系統130及一處理器可存取記憶體系統140。處理器可存取記憶體系統140、週邊系統120及使用者介面系統130通信性地連接至資料處理系統110。儘管本發明並不受限制，但是整個系統100可為一數位靜態相機、一數位視訊攝影機或任何其他數位影像獲取系統或裝置。或者，僅系統100之部份(諸如週邊系統110)可常駐於此一數位影像獲取裝置中，而系統100之其他部份(諸如一電腦系統)可常駐於一更通用之資料處理系統內。
資料處理系統110包含實施或促進本發明之多種實施例之處理程序的實施方案的一或多個資料處理裝置，該處理程序包含本文描述之圖2至圖5之實例處理程序。片語「資料處理裝置」或「資料處理器」意為包含任何資料處理裝置(諸如一中央處理單元(「CPU」))或用於處理資料、管理資料或處置資料的任何其他裝置，無論是否用電、磁、光學、生物成份或其它實施。此一資料處理裝置可常駐於例如一桌上型電腦、一膝上型電腦、一主機電腦、一個人數位助理、一BlackberryTM 、一數位相機或一蜂巢式電話中。請注意，除非另有明確說明或背景內容另有要求，單詞「或者」在本發明中於一非排他意義上使用。
處理器可存取記憶體系統140包含經組態以儲存資訊之一或多個處理器可存取記憶體，該資訊包含需要執行或促進執行本發明之多種實施例之處理程序的資訊，該等處理程序包含本文描述之圖2至圖5的實例處理程序。處理器可存取記憶體系統140可為一分散式處理器可存取記憶體系統，其包含經由複數個電腦及/或裝置通信性地連接至資料處理系統110的多重處理器可存取記憶體。另一方面，處理器可存取記憶體系統140不需為一分散式處理器可存取記憶體系統，且因此可包含位於一單個資料處理器或裝置內之一或多個處理器可存取記憶體。
片語「存取處理器記憶體」意為包含任何處理器可存取資料儲存裝置，無論是否為揮發性或非揮發性、電、磁、光學或其它，該處理器可存取資料儲存裝置包含但並不限於暫存器、軟碟、硬碟、光碟、DVD、快閃記憶體、ROM及RAM。
片語「通信性連接」意為包含可在裝置、資料處理器或程式之間傳達資料的任何類型連接，無論是否有線或無線。進一步，「通信性連接」意為包含：在一單個資料處理器內之裝置或程式之間的一連接；在位於不同資料處理器中之裝置或程式之間的一連接；及根本不在資料處理器中的裝置之間的一連接。在此方面，儘管繪示處理器可存取記憶體系統140分離於資料處理系統110，但是熟悉此項技術者會瞭解，處理器可存取記憶體系統140可完全地或部份地儲存於資料處理系統110內。進一步在此方面，儘管繪示週邊系統120及使用者介面系統130分離於資料處理系統110，熟悉此項技術者會瞭解，該等系統之一者或二者可完全地或部份地儲存於資料處理系統110內。
週邊系統120可包含經組態以提供數位影像至資料處理系統110之一或多個裝置。例如，週邊系統120可包含數位視訊相機、蜂巢式電話、正規數位相機或其他資料處理器。資料處理系統110在接收到來自在週邊系統120中之一裝置的數位內容記錄之後，可儲存該等數位內容記錄於處理器可存取記憶體系統140中。
使用者介面系統130可包含一滑鼠、一鍵盤、一觸控螢幕、另一電腦或任何其他裝置或該等裝置之組合，可從彼等裝置輸入資料至資料處理系統110。在此方面，儘管繪示週邊系統120分離於使用者介面系統130，但週邊系統120可作為使用者介面系統130之部份而被包含。
使用者介面系統130亦可包含一顯示裝置、一處理器可存取記憶體或任何裝置或該等裝置之組合，可藉由資料處理系統110輸出資料至彼等裝置。在此方面，如果使用介面系統130包含一處理器可存取記憶體，即使在圖1中被分離地繪示使用者介面系統130及處理器可存取記憶體系統140，該記憶體亦可為處理器可存取記憶體系統140之部份。
圖2係根據本發明之一實施例之獲取一組多重影像的一處理程序的一流程圖，該多重影像之大多數具有比其他者更低的解析度。在步驟210中，當操作者進行影像構圖時，操作者藉由將在相機上之按鈕從S0位置(非按下之位置)推動至S1(部份按下位置)開始獲取處理程序，藉此發送一部份按下擷取按鈕信號至在相機中之資料處理器。如在步驟220中所繪示，資料處理器接著指示相機開始將多重較低解析度影像連續地獲取至在相機上的一輪流式緩衝器。該輪流式緩衝器能夠儲存至少三個或三個以上較低解析度影像。請注意與此同時，在相機中之資料處理器亦通常會完成自動調焦及自動曝光。如在步驟230中所繪示，當操作者識別獲取時刻時，操作者將擷取按鈕自從S1推動至S2(完全按下位置)，藉此發送一完全按下擷取按鈕信號至在相機中之資料處理器。在這點上，在步驟240中，資料處理器指示相機停止連續獲取或擷取低解析度影像至輪流式緩衝器，並且起始一較高解析度影像的擷取。在步驟250中，接著資料處理器指示相機儲存多重影像於擷取組中，該擷取組由多重較低解析度影像及較高解析度影像組成。雖然本發明在本文中描述為在擷取組中僅獲取一單個較高解析度影像，但在擷取組中包含兩個以上較高解析度影像係在本發明之範圍內。請注意如在本發明內之一實施例所描述，因為在步驟230之前擷取來自輪流式緩衝器之經儲存之較低解析度影像，所以在時間上該等較低解析度影像先於高解析度影像被擷取。但是，本發明包含其中較低解析度影像同樣在較高解析度影像之後被擷取(諸如當相機直接從S0開啟至S2時)的方法。在擷取組中之多重影像於是由經儲存之較高解析度影像及經儲存之較低解析度影像組成。
一擷取組之一實例係如下一1000萬像素的數位相機。當操作者將擷取按鈕從S0推動至S1時，資料處理器指示相機開始將較低解析度之視訊影像連續地獲取至一輪流式緩衝器。視訊影像被9倍地併像致使每一視訊影像之解析度接近於100萬像素。以30個影像/秒的速度獲取視訊影像。取決於存在於場景中之光級，可以每視訊影像1/30秒或更少之曝光時間獲取視訊影像。輪流式緩衝器大到足以每次儲存10個視訊影像。一旦輪流式緩衝器滿了，在儲存一新視訊影像之前刪除最早的視訊影像且連續操作此處理程序直到操作者將擷取按鈕從S0推動至S1。當將擷取按鈕推動至S2時，可以全解析度或1000萬像素擷取較高解析度影像。用於較高解析度影像之曝光時間可為1/30秒或更少，使得用於較低解析度影像之曝光時間實質上與較高解析度影像之曝光時間相同。為了減少在較高解析度影像之運動模糊，曝光時間可為1/60秒或更少。擷取組於是由單個1000萬像素影像及十個100萬像素影像組成，其中該十個100萬像素影像在時間上先於單個1000萬像素影像。資料處理器接著指示相機儲存多重影像於擷取組中。
圖3係根據本發明之一實施例及如藉由資料處理器所指示之用於自經擷取組之多重影像形成一影像的一處理程序的一流程圖。步驟310以儲存影像於如由多重影像組成之擷取組中而開始。在步驟320中，分析在擷取組中之多重影像以識別存在於影像之間的運動。多種方法可用於分析在擷取組中之影像以識別存在於影像之間的運動。在美國專利申請案第11/130,690號(檔案號碼89105)中，Deever描述了一基於區塊之方法，該方法用於使影像關聯以識別在影像之間的運動及移除在視訊序列中之抖動。此技術會非常適於其中在影像之間的運動係相對一致的影像。在美國專利申請案第2003/0213892中，Zhao描述了用於識別在影像之間之運動的一方法，其中影像之部份之間的運動係不同的。
在步驟330中，基於來自資料處理器之指令，影像被橫向移位或彼此偏移以對準在影像內之共同特徵，及校正在影像之間之未識別的運動，以形成一組經校正影像。在對準處理程序中，使多重影像移位以與相同之單個基礎影像對準。單個基礎影像較佳地係一較高解析度影像。接著在步驟340中藉由合併該經組校正影像之部份及較高解析度影像之部份而合成一改良影像，其中改良影像之部份具有至少一較高信雜比或降低之運動模糊。可藉由相加在擷取組中之多重影像內之共同特徵的經對準部份的像素值來完成合併。
圖4係根據本發明之一實施例之用於自在擷取組中之經獲取組之多重影像形成一改良單個影像的又一處理程序的一示意圖。在步驟410中提供用於影像處理之多重較低解析度影像。在步驟420中，針對較低解析度影像，校正影像之間之運動。步驟420包含分析較低解析度影像之間之運動。同樣請注意，步驟420亦可包含分析較低解析度影像內的運動，諸如藉由在場景中之一移動中目標產生之運動。在合成影像中選定將使用哪些較低解析度影像係基於運動分析(對於在較低解析度影像之間之運動與對於在較低解析度影像內之運動二者)及選定之較低解析度影像彼此對準得如何。倘若一較低解析度影像存在太多運動或若其並沒對準，則該較低解析度影像可能並不被用於形成合成影像。在步驟340中，合併經校正之較低解析度影像以形成一單個經合成之較低解析度影像。在合併步驟中，資料處理器可指示經合成之較低解析度影像由在擷取組中之某些影像之部份組成，以補償在場景中之移動中目標。接著在步驟440中被增加取樣(upsampled)單個經合成之較低解析度影像，以將在較低解析度影像中之像素數量增加至相同於較高解析度影像之數量。熟悉此項技術者熟知，用於形成經增加取樣影像之內插方法可係雙立方(bicubic)內插法或任何其他內插法。在步驟460中提供用於影像處理之較高解析度影像。使經增加取樣影像對準於在步驟450中之較高解析度影像。步驟450可包含使較高解析度影像之明亮度(luma)或綠色通道模糊以調變該較高解析度影像之邊緣細節使得其更媲美於增加取樣影像。在步驟450中之對準處理程序產生用於將來自增加取樣影像之顏色應用於較高解析度影像之一對準圖。在步驟470中，自較高解析度影像(步驟460)及經增加取樣影像(步驟440)產生色差影像，且接著將該色差影像與來自步驟450之對準圖結合以形成一合成色差。對於一特定像素應用色差可係來自經增加取樣影像像素值之80%與來自高解析度影像像素值之20%的一平均值，或增加取樣影像像素值與高解析度影像像素值之某其他加權組合。在步驟480中色差影像接著被轉換為一合成彩色影像，其中合成彩色影像由經增加取樣影像之部份及較高解析度影像之部份組成。
圖5係根據本發明之另一實施例之用於自在擷取組中之經獲取組之多重影像形成一改良影像的一又另一處理程序的一示意圖。類似於在圖4中所繪示之方法，於步驟430中針對在步驟410中提呈之較低解析度影像校正影像之間之運動，及在步驟430中使用該等較低解析度影像以形成一較低解析度合成影像，在步驟440中該較低解析合成影像被增加取樣以相配於較高解析度影像。接著在步驟450中使經增加取樣影像對準於如在步驟460中提呈之較高解析度影像。但是，在步驟570中，合併經增加取樣影像之色彩或色度部份與較高解析度影像之黑色＆白色或明亮度部份，以在步驟580中形成具有改良影像品質之一合成彩色影像。
請注意，經常以與靜態影像不同之一縱橫比擷取視訊影像。如果經由視訊成像路徑獲取在擷取組中之較低解析度影像，則自多重影像擷取組產生之合成影像可受限於視訊影像之縱橫比。或者，可以較高解析度影像之縱橫比及較高程度之併像擷取較低解析度影像，致使合成影像可為較高解析度影像之縱橫比。
圖6繪示根據本發明之多種實施例之如藉由資料處理器指示之一影像處理工作流程，在此工作流程中，可在多種點處插入處理程序，諸如繪示於圖3、4及5中之處理程序。步驟610係影像獲取步驟，在此步驟獲取及儲存在擷取組中之多重影像，如圖2中所繪示。步驟620校正來自感測器之暗電流類型雜訊。步驟630校正在感測器上之缺陷，包含不良像素及不良行。步驟640係基於像素資料之一雜訊減少步驟，該像素資料包含彩色濾光器陣列之影響。步驟650內插像素資料以導出每一像素之全部彩色資訊。步驟660分析內插像素資料以識別在影像內之邊緣。步驟670係基於內插像素資料之一雜訊減少步驟，該內插像素資料僅包含色度通道。在步驟680中，應用任何數位變焦以界定將被完全地處理的影像的部份。步驟690係校正在場景中之普通照明。步驟691係一色彩校正步驟。步驟692係將影像從紅/綠/藍轉換為YCrCb(其中Y係亮度(明亮度)，Cb係藍色減去明亮度(B-Y)及Cr係紅色減去明亮度(R-Y))。在步驟693中，加強在影像中之目標邊緣。在步驟694中，將影像壓縮為一JPEG檔案或其他壓縮檔案格式。在步驟695中，儲存經處理之影像。基於此影像處理鏈，如在步驟610及620之間，可在任何雜訊減少之前執行如在圖3、4及5中所繪示之擷取組中之多重影像的處理，以減少必須經影像處理的影像數量。另一選項係，如在步驟640及650之間，在從在擷取組中之多重影像之每一者移除與感測器相關之雜訊之後，處理在擷取組中之多重影像。一替代選擇係，如在步驟660及步驟670之間的，在已識別多重影像之邊緣以輔助校正運動之後，執行在擷取組中之多重影像的影像處理。另一選擇係，如在步驟670及680之間，當已從在擷取組中之影像的每一者移除雜訊之大部份時，在進一步清除色度通道雜訊之後，執行在擷取組中之多重影像的影像處理。另一選擇係，如在步驟693及694之間，在對擷取組中之影像已完全校正色彩及加強邊緣之後，執行在擷取組中之多重影像之影像處理。以上所列執行在擷取組中之多重影像之影像處理的所有選擇會導致具有相似之改良影像品質的一最終影像，不同選擇之間的差距在於，在影像處理期間所需之計算能力的級別及儲存多重影像所需之計算記憶體的大小。
根據本發明之一些實施例，可在處理路徑中提供多重雜訊清除操作以進一步增強信雜比。因為在擷取組中之影像之大多數係具有併像像素之較低解析度影像，所以本發明具有一空間雜訊清除。因為對多重較低解析度影像校正影像之間之運動且接著將該多重較低解析度影像加總在一起以產生一較低解析度合成影像，所以本發明具有一時間雜訊。因為從較低解析度至較高解析度之增加取樣處理程序並不導入高頻率雜訊，所以本發明具有用於較低解析度合成影像之一增加取樣雜訊清除。當使經增加取樣影像對準於較高解析度影像時，本發明具有另一時間雜訊。當將較低解析度色差應用於較高解析度色差影像時，本發明具有另一空間雜訊清除。預期可將其他雜訊清除步驟應用於在整個影像處理處理程序中建立之多種影像。
產生之合成彩色影像的特徵為接近以下品質：相似於較低解析度影像之一高信雜比；相似於較高解析度影像之一減少之運動模糊；相似於較高解析度影像之一解析度；及相似於擷取一單個較高解析度影像之一快門時間落差。
100．．．用於形成一影像之系統
110．．．資料處理系統
120．．．週邊系統
130．．．使用者介面系統
140．．．處理器可存取記憶體系統
210．．．步驟
220．．．步驟
230．．．步驟
240．．．步驟
250．．．步驟
310．．．步驟
320．．．步驟
330．．．步驟
340．．．步驟
410．．．步驟
420．．．步驟
430．．．步驟
440．．．步驟
450．．．步驟
460．．．步驟
470．．．步驟
480．．．步驟
570．．．步驟
580．．．步驟
610．．．步驟
620．．．步驟
630．．．步驟
640．．．步驟
650．．．步驟
660．．．步驟
670．．．步驟
680．．．步驟
690．．．步驟
691．．．步驟
692．．．步驟
693．．．步驟
694．．．步驟
695．．．步驟
圖1圖解說明根據本發明之一實施例之用於形成一影像的一系統；
圖2係根據本發明之一實施例之獲取一組多重影像的一處理程序的一流程圖，該多重影像之大多數具有比其他者更低的解析度；
圖3係根據本發明之一實施例之用於自經擷取組之多重影像形成一影像的一處理程序的一流程圖；
圖4係根據本發明之一實施例之用於自經獲取組之多重影像形成一影像的一處理程序的一示意圖；
圖5係根據本發明之另一實施例之用於自經獲取組之多重影像形成一影像的一處理程序的一示意圖；及
圖6圖解說明根據本發明之多種實施例之一影像處理工作流程，在此工作流程中，可在多種點插入諸如繪示於圖3、4及5中之處理程序。
210．．．步驟
220．．．步驟
230．．．步驟
240．．．步驟
250．．．步驟

Claims (21)

  1. 一種至少部份藉由一資料處理系統實施之方法，該方法用於形成具有降低之運動模糊及較高信雜比之一影像，且該方法包括以下步驟：在一段同時存在時期內獲取一場景之一或一個以上高解析度影像及二或二個以上較低解析度影像，其中經獲取之該等高解析度影像具有比該等較低解析度影像更少的運動模糊，及經獲取之該等較低解析度影像具有比該等高解析度影像更低的解析度及更高的信雜比；至少藉由使用該等低及高解析度影像中之共同特徵以對準該等較低解析度影像之一些以校正存在於該等較低解析度影像與該等較高解析度影像之間的運動來形成一組經校正影像；至少藉由合併(a)該組經校正影像中之該等影像之一者的一部份及(b)一高解析度影像之一部份而形成具有降低之運動模糊及較高信雜比之一高解析度的合成影像；及將該合成影像儲存於一處理器可存取記憶體系統中。
  2. 如請求項1之方法，其中形成一組經校正影像的該步驟進一步包括：將經運動校正之該二或二個以上較低解析度影像合併為一單個較低解析度影像，其中該組經校正影像僅包括該單個較低解析度影像。
  3. 如請求項1之方法，其中僅獲取一單個較高解析度影像。
  4. 如請求項1之方法，其中獲取之該步驟進一步包括：在 獲取該一或一個以上高解析度影像之前獲取該等較低解析度影像。
  5. 如請求項4之方法，其中獲取之該步驟進一步包括：將該等較低解析度影像保存於一輪流式緩衝器中。
  6. 如請求項4之方法，進一步包括接收一部份按下擷取按鈕信號之步驟，其引起該等較低解析度影像的獲取，其中該方法進一步包括在接收該部份按下擷取按鈕信號之後接收一完全按下擷取按鈕之信號的步驟，且其中收到該完全按下擷取按鈕之信號引起該一或一個以上高解析度影像的獲取。
  7. 如請求項1之方法，其中該等較低解析度影像之至少一些係視訊影像或預覽影像。
  8. 如請求項6之方法，其中該等較低解析度影像係視訊影像，其中獲取之該步驟進一步包括：獲取音訊資料同時獲取該等較低解析度影像，及其中該方法進一步包括以下步驟：以將該音訊資料及該等較低解析度影像連結至該合成影像之一方式來儲存該音訊資料及該等較低解析度影像於該處理器可存取記憶體系統中。
  9. 如請求項1之方法，其中該等較低解析度影像具有與該等高解析度影像實質上相同的曝光時間。
  10. 如請求項1之方法，其中該等較低解析度影像具有比該等高解析度影像更長的曝光時間。
  11. 如請求項1之方法，其中形成該組經校正影像之該步驟、形成該合成影像之該步驟及儲存該合成影像之該步驟發生於對經獲取之該等影像之任一者執行雜訊減少處理之前。
  12. 如請求項1之方法，其中形成該組經校正影像之該步驟、形成該合成影像之該步驟及儲存該合成影像之該步驟發生於已從經獲取之該等影像之每一者移除影像感測器相關之雜訊之後。
  13. 如請求項1之方法，其中形成該組經校正影像之該步驟、形成該合成影像之該步驟及儲存該合成影像之該步驟發生於已識別經獲取之該等影像之每一者中之邊緣之後。
  14. 如請求項1之方法，其中形成該組經校正影像之該步驟、形成該合成影像之該步驟及儲存該合成影像之該步驟發生於該等經獲取的影像已經完全經色彩校正及經邊緣加強之後。
  15. 如請求項1之方法，其中該等較低解析度影像之該信雜比藉由增加其曝光時間而進一步增加。
  16. 一種至少部份藉由一資料處理系統實施之方法，該方法用於形成具有降低之運動模糊及較高信雜比之一影像，且該方法包括以下步驟：在一段同時存在時期內獲取一場景之一或一個以上高解析度影像及二或二個以上較低解析度影像，其中經獲取之該等高解析度影像具有比該等較低解析度影像更少 的運動模糊，及經獲取之該等較低解析度影像係使用併像(binning)而獲取且具有比該等高解析度影像更低的解析度及更高的信雜比；至少藉由使用該等低及高解析度影像中之共同特徵以對準該等較低解析度影像之一些以校正存在於該等較低解析度影像與該等較高解析度影像之間的運動來形成一組經校正影像；至少藉由合併(a)該組經校正影像中之該等影像之一者的一部份及(b)一高解析度影像之一部份而形成具有降低之運動模糊及較高信雜比之一高解析度的合成影像；及將該合成影像儲存於一處理器可存取記憶體系統中。
  17. 如請求項16之方法，其中形成一組經校正影像的該步驟進一步包括：將經運動校正之該二或二個以上較低解析度影像合併為一單個較低解析度影像，其中該組經校正影像僅包括該單個較低解析度影像。
  18. 如請求項16之方法，其中獲取之該步驟進一步包括：將該等較低解析度影像保存於一輪流式緩衝器中。
  19. 如請求項16之方法，其中該等較低解析度影像具有與該等高解析度影像實質上相同的曝光時間。
  20. 如請求項16之方法，其中該等較低解析度影像具有比該等高解析度影像更長的曝光時間。
  21. 如請求項16之方法，其中該等較低解析度影像之該信雜比藉由增加其曝光時間而進一步增加。
TW098125941A 2008-08-01 2009-07-31 使用不同解析度影像之改良影像形成 TWI452539B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/184,446 US8130278B2 (en) 2008-08-01 2008-08-01 Method for forming an improved image using images with different resolutions

Publications (2)

Publication Number Publication Date
TW201011695A TW201011695A (en) 2010-03-16
TWI452539B true TWI452539B (zh) 2014-09-11

Family

ID=41059503

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098125941A TWI452539B (zh) 2008-08-01 2009-07-31 使用不同解析度影像之改良影像形成

Country Status (6)

Country Link
US (1) US8130278B2 (zh)
EP (1) EP2308236B1 (zh)
JP (1) JP5346082B2 (zh)
CN (1) CN102090068B (zh)
TW (1) TWI452539B (zh)
WO (1) WO2010014157A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023946B1 (ko) * 2007-11-02 2011-03-28 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR101041366B1 (ko) * 2007-11-02 2011-06-14 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
US8625934B2 (en) * 2008-01-28 2014-01-07 Pixart Imaging Inc. Method and apparatus for detecting displacement with sub-pixel accuracy
US7886072B2 (en) 2008-06-12 2011-02-08 Apple Inc. Network-assisted remote media listening
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
KR101594291B1 (ko) * 2009-03-09 2016-02-16 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
JP5281495B2 (ja) * 2009-06-18 2013-09-04 キヤノン株式会社 画像処理装置およびその方法
RU2426264C2 (ru) * 2009-07-20 2011-08-10 Дмитрий Валерьевич Шмунк Способ улучшения изображений
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
KR101751902B1 (ko) * 2009-10-26 2017-06-28 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 반도체 장치
US8615111B2 (en) * 2009-10-30 2013-12-24 Csr Technology Inc. Method and apparatus for image detection with undesired object removal
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
US8345971B2 (en) * 2010-06-28 2013-01-01 The Hong Kong Polytechnic University Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
CN102714699B (zh) * 2010-11-18 2016-09-21 松下电器（美国）知识产权公司 摄像装置、摄像方法
JP5806007B2 (ja) * 2011-06-15 2015-11-10 オリンパス株式会社 撮像装置
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
TWI574251B (zh) * 2012-05-29 2017-03-11 欣德洺企業有限公司 顯示器像素驅動系統及顯示器子像素驅動流程
US9160912B2 (en) * 2012-06-08 2015-10-13 Apple Inc. System and method for automatic image capture control in digital imaging
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US20140270688A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Personal Video Replay
US9282244B2 (en) * 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US9304089B2 (en) 2013-04-05 2016-04-05 Mitutoyo Corporation System and method for obtaining images with offset utilized for enhanced edge resolution
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
TWI602153B (zh) * 2013-07-09 2017-10-11 聚晶半導體股份有限公司 影像去雜訊化方法與影像去雜訊化裝置
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
US9478010B2 (en) * 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
TWI489195B (zh) * 2014-02-10 2015-06-21 Etron Technology Inc 增加影像擷取系統偵測範圍的方法及其相關的影像擷取系統
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures
CN103888679A (zh) 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
KR102165610B1 (ko) 2014-04-23 2020-10-14 삼성전자주식회사 엑스선 영상 장치 및 엑스선 영상 장치의 영상 처리 방법
CN106464781B (zh) * 2014-05-08 2020-11-03 索尼公司 信息处理装置和信息处理方法
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
WO2016038808A1 (en) * 2014-09-12 2016-03-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20160115675A1 (en) * 2014-10-28 2016-04-28 Marcus Quigley Method for automated control of a combined greywater/stormwater system with forecast integration
EP3016387A1 (en) * 2014-10-29 2016-05-04 Thomson Licensing A method and device for estimating a color mapping between two different color-graded versions of a sequence of pictures
CN105791659B (zh) * 2014-12-19 2020-10-27 联想(北京)有限公司 图像处理方法和电子设备
CN104748678B (zh) * 2015-03-08 2017-06-13 大连理工大学 高温物体测量中图像质量补偿方法
KR102489279B1 (ko) 2016-02-04 2023-01-18 삼성전자주식회사 이미지 처리장치 및 방법
US10062156B2 (en) * 2016-02-25 2018-08-28 Kla-Tencor Corporation Method and system for detecting defects on a substrate
CN109074630A (zh) * 2016-05-20 2018-12-21 上海安科迪智能科技有限公司 具有分布式存储器的阵列照相机成像系统
CN106357967B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
WO2018137267A1 (zh) * 2017-01-25 2018-08-02 华为技术有限公司 图像处理方法和终端设备
US10650505B2 (en) 2017-07-12 2020-05-12 Tata Consultancy Services Limited Method and system for generating high resolution image by fusing low resolution images
WO2019116487A1 (ja) * 2017-12-14 2019-06-20 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10764507B1 (en) * 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
CN110944160B (zh) * 2019-11-06 2022-11-04 维沃移动通信有限公司 一种图像处理方法及电子设备
CN113572980B (zh) * 2020-04-28 2022-10-11 华为技术有限公司 拍照方法、装置、终端设备及存储介质
US11252337B1 (en) * 2020-12-29 2022-02-15 Himax Imaging Limited Method and apparatus of performing automatic exposure control for image sensor with context switching
CN115988311A (zh) * 2021-10-14 2023-04-18 荣耀终端有限公司 图像处理方法与电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070147820A1 (en) * 2005-12-27 2007-06-28 Eran Steinberg Digital image acquisition system with portrait mode

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS592227B2 (ja) 1978-08-21 1984-01-17 株式会社日立製作所 雑音除去方式
US5600731A (en) 1991-05-09 1997-02-04 Eastman Kodak Company Method for temporally adaptive filtering of frames of a noisy image sequence using motion estimation
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5325449A (en) 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
JPH05328127A (ja) 1992-05-20 1993-12-10 Nikon Corp 画像処理装置
DE69431791T2 (de) * 1993-07-31 2003-07-17 Sony Corp Vorrichtung und verfahren zur automatischen bildentzerrung
US5442407A (en) 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
JP2000502549A (ja) 1996-10-24 2000-02-29 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ノイズフィルタ処理
US6281942B1 (en) 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
US6519288B1 (en) 1998-03-06 2003-02-11 Mitsubishi Electric Research Laboratories, Inc. Three-layer scaleable decoder and method of decoding
JP4284570B2 (ja) 1999-05-31 2009-06-24 ソニー株式会社 撮像装置及びその方法
US6650704B1 (en) 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
US6888566B2 (en) 1999-12-14 2005-05-03 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
JP2001285684A (ja) * 2000-03-30 2001-10-12 Minolta Co Ltd 電子カメラ
GB2373946A (en) 2001-03-29 2002-10-02 Snell & Wilcox Ltd Method of synthesizing motion blur in a video sequence
US7657123B2 (en) 2001-10-03 2010-02-02 Microsoft Corporation Text document capture with jittered digital camera
US7064779B1 (en) 2001-10-23 2006-06-20 Ess Technology, Inc. Imaging system combining multiple still images for higher resolution image output
US7061524B2 (en) 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7084910B2 (en) 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
WO2003098402A2 (en) 2002-05-17 2003-11-27 Sarnoff Corporation Method and apparatus for determining optical flow
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US6983080B2 (en) * 2002-07-19 2006-01-03 Agilent Technologies, Inc. Resolution and image quality improvements for small image sensors
JP4701598B2 (ja) * 2003-01-07 2011-06-15 セイコーエプソン株式会社 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
US7489829B2 (en) 2003-03-11 2009-02-10 Sightic Vista Ltd. Adaptive low-light image processing
CN101431685B (zh) * 2003-06-23 2011-05-25 索尼株式会社 处理图像的方法和设备
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7209601B2 (en) 2003-07-22 2007-04-24 Omnivision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
US20050157949A1 (en) 2003-09-30 2005-07-21 Seiji Aiso Generation of still image
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
US8570389B2 (en) 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US20060062303A1 (en) * 2004-09-17 2006-03-23 Sony Corporation Hybrid global motion estimator for video encoding
US7602438B2 (en) 2004-10-19 2009-10-13 Eastman Kodak Company Method and apparatus for capturing high quality long exposure images with a digital camera
US20060114479A1 (en) 2004-11-26 2006-06-01 Sozotek, Inc. Accelerated image enhancement
JP2008524888A (ja) 2004-12-15 2008-07-10 トムソン ライセンシング ビデオ画像信号を処理する方法および装置
US20060152596A1 (en) 2005-01-11 2006-07-13 Eastman Kodak Company Noise cleaning sparsely populated color digital images
JP2006221220A (ja) * 2005-02-08 2006-08-24 Seiko Epson Corp 複数の低解像度画像を用いた高解像度画像の生成
US20060239579A1 (en) 2005-04-22 2006-10-26 Ritter Bradford A Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images
US8270753B2 (en) * 2005-06-14 2012-09-18 Nikon Corporation Image processing device, computer program product, and image processing method to restore signals in a saturated area
JP4631558B2 (ja) * 2005-06-22 2011-02-16 株式会社ニコン 撮像装置および画像処理プログラム
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
DE602006006582D1 (de) 2005-08-08 2009-06-10 Mep Imaging Technologies Ltd Adaptive belichtungssteuerung
JPWO2007063819A1 (ja) * 2005-11-29 2009-05-07 パイオニア株式会社 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP5082856B2 (ja) * 2005-11-30 2012-11-28 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
EP1968308B1 (en) * 2005-12-26 2011-02-23 Nikon Corporation Image processing method, image processing program, image processing device, and imaging device
JP4620607B2 (ja) * 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置
EP1993278A1 (en) * 2006-03-03 2008-11-19 Olympus Corporation Imaging device, processing method for obtaining high-resolution, processing program for obtaining high-resolution, and recording medium
JP4757085B2 (ja) * 2006-04-14 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP5018775B2 (ja) * 2006-06-20 2012-09-05 株式会社ニコン 画像処理方法、画像処理装置、及び画像処理プログラム
WO2008032441A1 (fr) * 2006-09-14 2008-03-20 Nikon Corporation Dispositif de traitement d'images, caméra électronique et programme de traitement d'images
JP5055571B2 (ja) * 2006-09-14 2012-10-24 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
US8194148B2 (en) * 2006-09-14 2012-06-05 Nikon Corporation Image processing device, electronic camera and image processing program
JP5211589B2 (ja) * 2006-09-14 2013-06-12 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
US7876956B2 (en) 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
WO2008090730A1 (ja) * 2007-01-23 2008-07-31 Nikon Corporation 画像処理装置、電子カメラ、画像処理方法および画像処理プログラム
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US7705889B2 (en) * 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
US7817187B2 (en) * 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070147820A1 (en) * 2005-12-27 2007-06-28 Eran Steinberg Digital image acquisition system with portrait mode

Also Published As

Publication number Publication date
CN102090068B (zh) 2013-07-10
US8130278B2 (en) 2012-03-06
EP2308236A1 (en) 2011-04-13
US20100026839A1 (en) 2010-02-04
JP5346082B2 (ja) 2013-11-20
CN102090068A (zh) 2011-06-08
EP2308236B1 (en) 2016-05-25
WO2010014157A1 (en) 2010-02-04
JP2011530208A (ja) 2011-12-15
TW201011695A (en) 2010-03-16

Similar Documents

Publication Publication Date Title
TWI452539B (zh) 使用不同解析度影像之改良影像形成
US9094648B2 (en) Tone mapping for low-light video frame enhancement
US8199222B2 (en) Low-light video frame enhancement
US9307212B2 (en) Tone mapping for low-light video frame enhancement
EP3429189B1 (en) Dual image capture processing
US7940311B2 (en) Multi-exposure pattern for enhancing dynamic range of images
US8154634B2 (en) Image processing device that merges a plurality of images together, image shooting device provided therewith, and image processing method in which a plurality of images are merged together
JP4469019B2 (ja) 画像データを生成する装置、方法およびプログラム
JP4210021B2 (ja) 画像信号処理装置および画像信号処理方法
US20120224766A1 (en) Image processing apparatus, image processing method, and program
US9918062B2 (en) Image capturing apparatus, control method of image capturing apparatus, and image processing method
US20100141823A1 (en) Image Processing Apparatus And Electronic Appliance
JP2012004908A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2006180078A (ja) 電子カメラ、画像処理装置および画像処理プログラム
KR100968375B1 (ko) 최적 영상 선택 방법 및 장치
JP4936816B2 (ja) 撮像装置及び同時表示制御方法
JP4001268B2 (ja) 撮像装置および撮像方法