TW583603B - Method for producing enhanced-resolution image by use of a plurality of low-resolution images - Google Patents

Method for producing enhanced-resolution image by use of a plurality of low-resolution images Download PDF

Info

Publication number
TW583603B
TW583603B TW092103612A TW92103612A TW583603B TW 583603 B TW583603 B TW 583603B TW 092103612 A TW092103612 A TW 092103612A TW 92103612 A TW92103612 A TW 92103612A TW 583603 B TW583603 B TW 583603B
Authority
TW
Taiwan
Prior art keywords
image
images
resolution
prototype
point
Prior art date
Application number
TW092103612A
Other languages
English (en)
Other versions
TW200416624A (en
Inventor
You-Chiuan Guo
Jian-Yu Chen
Chiou-Shan Fu
Jau-Yang Gau
Original Assignee
Inventec Appliances Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Appliances Corp filed Critical Inventec Appliances Corp
Priority to TW092103612A priority Critical patent/TW583603B/zh
Priority to US10/758,088 priority patent/US7583860B2/en
Priority to GB0403326A priority patent/GB2399251B/en
Priority to DE102004007637A priority patent/DE102004007637B4/de
Priority to JP2004044311A priority patent/JP4162610B2/ja
Priority to FR0450325A priority patent/FR2851676B1/fr
Application granted granted Critical
Publication of TW583603B publication Critical patent/TW583603B/zh
Publication of TW200416624A publication Critical patent/TW200416624A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

583603 五、發明說明(l) 二·^發明所屬之技術領拔 本發明係關於一種影像處理方法,特別是關於藉由多 張低解析度(low-resolution)影像產生高解析度 (Enhanced-resolut ion)影像之方法。相關技術背景,請 參考以下所列之文獻·· [1] M. Irani and S. Pe 1 eg, M Improving Resolution by Image Registration," CVGIP: Graphical Models and Image Proc.,1991, Vol. 53, pp. 231-239 ; [2] R. Y. Tsai and T. S. Huang, "Multiframe Image Restoration and Registration," in Advances in Computer Vision and I mage Processing, Vol. 1 (T. S. Huang, ed.), Greenwich, CT: Jai Press, 1984, pp. 317-339 ; [3] P. Cheeseman, B. Kane f sky, R. Kruft, J. Stutz, and R. Hanson, M Super-Resolved Surface Reconstruction from Multiple Images,M NASA Technical Report FIA-94-12, 1994 ; [4] A. M. Tekalp, Μ. K. Ozkan, and Μ. I. Sezan, n High-Resolution Image Reconstruction for
Lower-Resolution Image Sequences and Space-Varying Image Restoration,M IEEE International Conference on Acoustics, Speech, and Signal Processing, San Francisco, CA, 1992, Vol· III, pp· 169-172 ; [5] R. C. Gonzalez and R. E. Woods, Digital Image
第6頁 583603 五、發明說明(2)
Processing, Addison-Wes1ey, Reading, MA, 1992 ; [6] W. K. Pratt, Digital Image Processing, 2nd ^
Ed·, Wiley, New York, 2001 ; [7] 美國專利公告號第6, 33 0, 344號專利;以及 ‘ [8] 美國專利公告號第5, 9 6 9, 848號專利。 , 二、先前技術 由於環境的限制以及影像感測器的解析度,某些時候 _ 僅能擷取到低解析度的影像。為了要改善人眼所見的影像 品質以及解析度,則需要輸入一張以上的影像做處理。藉 _ 由序列的影像,較差品質的模糊場景、朦朧的圖形或不清 晰的物體可以藉由重建(Reconstruction)直至輸出超高解 析度的影像,進而讓人眼能容易觀察、辨識。 關於提昇解藉由多張低解析度影像重建成高解析度影 .像的先前技術主要可區分為:反覆修正法(11 e r a t i v e methods)[l]、頻域法(Frequency domain methods)[2]以 及貝氏統計法(Bayesian statistical meth〇ds)[3]。上 述各類方法中,目前仍以I rani [1]於西元1991年所發展出 使用影像套合(Image registration)重建超高解析度影像 的反覆修正邏輯最為可靠。反覆修正法主要是由三個階段 _ 所組成,該三個階段係初期猜測階段、影像處理階段以及 重建處理階段。關於反覆修正法各階段詳細流程,將於實 · 施方式中一併做詳細描述,在此不做贅述。 * 然而,值得注意的是,運用反覆修正法重建出高解析 ·
第7頁 州603
因此,本發明之一目的 析度演算邏輯並重,建高解析 反覆修正法,並且應用預測 像選擇、健全的影像套合, 的後處理。 =二f且當放大參數(Magnification factor)或重建 :運Iΐ 0時,需耗費較長的運算時間。就典型的案 夕 反復修正法重建高解析度影像所耗費的運算時間 夕/、守計’並且有賴機器效能而定。 即在提出一種具有改良的高解 度影像的技術。該技術係基於 的初期插補技術、自動化的影 進一步可再施以影像品質提昇
有鑑於以往重建高解析 態相機對整體景象拍攝得到 系統才可運作完善。因此, 種重建高解析度影像的技術 有相同位移序列影像能運作 相對於靜態攝影機的移動物 重建出向解析度影像。 度影像的系統,皆是當移動靜 具有相同位移序列影像時,該 本發明之另一目的即在提出一 ’除了針對靜態景象攝得到具 完善外’亦可針對目標係針對 體所產生的序列影像,完善地 多、發明内容 〃本發明之-目的即在提出一種具有改良的高解析度演 算邏輯並重建高解析度影像的技術。該技術係基於反覆修 正法,並且應用預測的初期插補技術、自動化的影像選/ 擇、健全的影像套合,進一步可再施以影像品質提昇的後 本發明之另一目的即在提出一種重建高解析度影像的
五、發明說明(4) 技術,除了針對靜態景象攝得 運作完善外,亦可針對目 ;;有相同位移序列影像能 動物體所產生的序列影像二:盖?相對於靜態攝影機的移 根據本發明之一籍w 地重建出高解析度影像。 低解析度的第-影像用:;;產方法係利用Μ張 一影像皆係爾於—旦參 问解析度影像。該Μ張第 取樣並量子化的像ί所代表且;;::;像係由-一影像之間存有—访+ :f 忒阿解析度影像與該Μ張第 首先儲存該Μ張第—马傻彡垃之關係。根據本發明之方法, 一張影像做為一離象。接者,從該Μ張第一影像中選取 的第一影像歸為象第’Λΐ。),未被選作難形影像 數,對該雛形影傻许 ^ Ρ象 ^後,基於该放大參 素之鄰近像素:值推::lb :像素,並且根據每-額外像 經插補的雛带旦彡後二出母一額外像素之值,進而產生— 與該經插補的^ ^亚且計算出該(M—1)張第二影像分別 該(M-之間存有的二維平移量。接著二 維平移量分別^』人°亥經插補的雛形影像之間存有的二 相同餘數組之二j j放大麥數並求得餘數組,並將被算出 其他被算出不η二Γ像經一準則從中選取一張第二影像與 等於或d 組之第二影像歸為Ν張第三影像,其 插補的雛形旦彡伯六—i。隨後,根據該N張第三影像與該經 形影像經縮I百二之個別的二維平移量對該經插補的雛 像中每—弭 7進而產生N張第四影像,該N張第四影 夂象4弟=像係對應該㈣第三影像中之-張第: 冲# An張第三影像中每一張第三影像與其 583603 五、發明說明(5) _ 對應之第四影像之^。冑彳4, 應之第四影像之差的平均值修正該離形=-之;像與其對 JJ的小取樣的步驟至根據差值;象=之 斂至一符合要求的結果為止 :::=素的值收 果的雛形影像即為該高解析度^像。、 > 付合要求結 所:= = :神可以藉由™詳述及 I、實施方< 解析度影:5: u:改良的高解析度邏輯並重建高 法,並且鹿用子本發明之方法係基於反覆修正 健全的影1 ;插補技術、自動化的影像選擇、 理。以下將詳述本發明影像品質提昇的後處 藉以充分說明本發明:法=及較佳具體實施例, 影像態景f之序列影像快速重建高解析度 析度影像。 p於動恕物體之序列影像快速重建高解 請見第一圖所+ + h α 明的是,根據本發明發明之方法流程。需先行說 像用以產生一言解* 方法係利用Μ張低解析度的第一影 —景象。該Μ Λ 度影像’該Μ張第—影像皆係關於同 量子化的像41X—ef; =-影像 斤代表’該南解析度影像與該Μ張第 ^603
—影像之間存有 根據本發明 一影像。 一放大參數之關係。 之方法,首先執行步驟S 10 儲存該Μ張第 做為步額2 ’從該Μ張第—影像中選取-張影像 雛取旦彡像奸=像(Prototype image),該(Μ_1)張未被選作 離$ =像的弟—影像即歸為(Μ_υ張第二影像。,.…a 巧執行步驟S14 ’基於該放大參數,對該雛形 推像素’ 1且根據每一額外像素之鄰近像素之值 -出母一頜外像素之值,進而產生一經插補的 雛形影像,亦即執行初期猜測階段。於步 \ ,亚且計算出該(Μ—1)張第二影像分別與該姑插補 的雛形影像之.間存有的二維平移量(Translation)。、- 接著執行步驟S16,將該(M_n張第二影 的,开广象之間存有的二維平移量分別除以該放大S補 2求得餘數組。於步驟S16中,並且執行自動化的影 1货將被Η相同餘數組之第二影像經—準則 象 一,第二影像與其他被算出不同餘數組之第二影像t取 張第三影像,其中N等於或小於(Μ〜1)。 為Ν 隨後執行步驟S1 8 ’根據該Ν張第二影像盥 =影像存有之個別的二維平移量對=補;以: j鈿小取樣(Down-sampling),進而產生N張第四 〜,
:該N張第四影像中每一張第四影像係對應 第:象丄J 中之一張第三影像。 T ^ —衫像 &著執行步驟S20 ’ #算該以第三影像中每—張第:
583603 五、發明說明(7) 影像與其對應之第四影像之差。 隨後執行步驟S22,根據該N張第三影像與其對應之第 四影像之差的平均值修正該雛形影像之像素的值。 最後執行步驟S24,即判斷該經插補的雛形影像之像 素的值收斂至一符合要求的結果,若判斷結果為否定則重 複步驟S1 8至步驟S22。該像素值收斂至符合要求結果的雛 形影像即為該高解析度影像。 於一具體實施例中,步驟S1 8係根據下列公式進行: g^=(Tk(f^).h)is , cr ⑷ f(n) 其中,g A 為第η次縮小取樣之第k張第四影像,7 為經 第η次處理的雛形影像,h為由點擴散函數 (Point-spread-function)所定義的模糊化(Blurring)運 算元,^ 為根據第k張第三影像與該經插補的雛形影像存 有之二維平移量所做的轉換(Transformation)運算元,i s為縮小取樣運算元。 於一具體實施例中,步驟S18及步驟S22係根據下列公 式執行: /㈣)=/⑷+m -仏⑷山)·户) K k = \ 其中,/ 為經第η次修正後之雛形影像,K為計算與第四 影像差值之第三影像的總張數,為第k張第三影像,p為
第12頁 583603
五、發明說明(8) 去模糊化運异元(D e - b 1 u r r i n g ),V為祀撼楚一 =經,補的:形影像存有之二維平移量所做的反 个為放大取樣(Up- sampling)運算元。 會大:二i 3:ΐ法重建高解析度影像時’初期猜測階段 ’並且若是應用較佳的初期猜測,將可 時執行--欠:日因為’初期猜測僅在方法流程開始 猜t段二:r覆修正法的複雜度並不依賴初期 技術而來sr初期猜測階段的複雜度係基於插補 鄰近的像素做為推算過程中的計管:=:广用上同= 術(Third 0:rder , 介以下乂二-人項插補技 二;Fder lnterpolati〇n)為例,做為說明。 考量四個^ H f術’或稱為立方(Cub i c )插補技術,係 芩里四個未知變數。假設插補函數為 +b^ +cx+d 、, — ’並且已知的鄰近像素包括 、(〇5) 、(1,C)以及(2,巧,則推導出下列公
ίΑΛ Β C -1 η 4 2 lj
583603 五、發明說明(9) 1 - 1 1、 b 0 0 0 1 Β C 1111 C ,8421, -0.1667 0.5 - 0.5 0.16(57 0.5 -1 0.5 0 -0.3333 - 0.5 1 - 0.1667 0 10 0 再 為了推 行計算 插補函 而得。 Ai、Bi 方向以 插補技 值。 相 樣地可 到不同 質隨著 影響影 需的必 技術, 像與從 以第二A圖及第二B圖做為說明。如第二A圖所示, 算一二維影像中像素P的值,A’ 、B’ 、C’以及D’先 。A 1、B 1、C 1以及D 1已知的值則運用來決定三次項 數f 3 (X)的係數。隨後,A’運用一維插補技術内插 相類似地,B’ 、C’以及D’係根據i =2、3以及4時之 、Ci以及Di推算而得。最後像素P的值依圖中垂直 一維技術計算而得。如第二B圖所示,一維三次項 術係以A’ 、B’ 、C’以及D’已知的值來決定像素P的 類似地,其他次項插補在二維插補演算邏輯中,同 解出函數又(x)的係數。經由實驗評估,可以觀察 次項插補技術造成不同初期猜測的影像以及影像品 反覆修正次數增加的收斂速率。由於初期猜測階段 像套合的效能極深,並且影響達到峰值影像結果所 要反覆修正次數,因此藉由選擇較適當的次項插補 可以得到反覆修正法的最佳效果。藉由量測原始影 低解析度序列重建的影像之間訊號雜訊比峰值
第14頁 583603 五、發明說明(10) (Peak Signa卜to-Noise Ratio, PSNR),可以 同次項插補技術隨後對高解析度演算邏輯的^文二估運用不 圖所示。藉由第三圖可以清楚看出,如果將複η: =像:質接做考量的言舌,三次項插補技術; 補=的最佳選擇。在此,根據本發明 --t^a^CF.rst 〇rder lnterp〇latl〇n) 員插補技術,或五次項插補技術(Fifth 〇rder次—— 人 lnterpolati〇n)。 物體::L=例中,該(Μ—υ張第二影像係關於移動 、-解析度序列影像,步驟S16中第i張第二影像與該 驟計=的離形影像之間的二維平移量(ΖΓ〇係依照下列步
Point於第張第二影像上指定至少一關注點(Interesting
Wind〇w 1 Χ’Υ,υ :每一關注點係對應一局部視窗區(Local 點(u,v) · 〇並且對應至該經插補的雛形影像上之一對應 (u 次计^出母一關注點Pi (X,y)與其對應點 ’ V)間之絕對差值(上乂°/0,少;“,\;) ) · LAD^y\u,v)= YjlXx + m,y + n)^I〇(u + m,v + n) ^ (w,«)ew (康下列A式,計异出步驟(C — 2 )中之絕對差值 (叫―))之極小值(#,少)):
第15頁 583603
五、發明說明(11) = arg (w,v) LADf(xyy;u9V) ⑷根據下列公式,計算出關於每 平移量: · y)之二維 在此具體貫施例中,為了得到齡 ^ 且隨後重建出移動物體的高解析,,根據本發;2 J t 在下列限制下挑選出關注點: 方法係 a·關庄點處的灰度應該高於一門檻值; b·低解析度影像上的每一關注點,其對應至极 度影像上對應點處的複雜度應該高過周遭:二⑽ C·關注點與其對應點間的二維平移量不應該為零又。 上述的技術亦可稱為局部匹配(Local t 1 術,如第四A圖所示。 cning)枝 實施例中’該(M_1)張第二影像係關於靜態 厅、象的低解析度序列影像,步驟S1 6中第i張第二影像與該 經插補的雛形影像之間的二維平移量 驟計算 (a)根據下列公式,計算出第i張第二影像整體影像内之絕 對差值(: GAD{u,v)= Yjl^x.y)-! 0{u + x,v + y)\ (X,少)e/ 係依照下列步 LT;
第16頁 583603 五、發明說明(12) (U,V)為第i張第二影像之一起始 影像之一對應位置點; 、丄插補的雛形 (b)根據下列公式,計算出步驟(c-n中之絕對差值 ()之極小值(⑶⑴)·· GR(i) = argmin GAD( (u, v) ⑽) ,並且⑶(/)即為ΐτγ 。 ^ j的技術亦可稱為整體匹配(Global match 術,如第四B圖所示。 上述步驟S 1 6中,勃杆白私& ΑΑ & μ e 於膊右田μ μ初』— 自動化的影像選擇的目的係在 於將有用的低解析度影像挑選 理。如此作法,將減少不”“象處 像重建的過程。針對關於碑& jf二/ u加速焉解析度影 以及關於動態物體的低解 斤度序列衫像, 析度影像的準則將有所又 ^ ,挑選有用的地解 於一具體實施例中, U 5兄月 物體的低解析度序列& ^ )張弟一影像係關於移動 旦…· 序列衫像,步驟S16中該準則為:兩第二 影像(1及])具有相同餘數組,並且(〜Ή,(^付 若 GADAupV^G^w 1 7 於一呈體奋# / ;,則選第二影像i。 景象的低解析度序列& ()張弟二影像係關於靜態 -序列衫像’步驟S16中該準則為:兩第二 影像(i〜)具有相同餘數組,並且
第17頁 583603
第18頁 583603 五、發明說明(14) 以證明運用本發明之效能。 請見第五A圖至第五D圖所示,第五A圖係低解析度 列影像中之一幀影像。第五B圖係經過初期猜測階段後之 結果。第五C圖係經過反覆修正丨〇〇次後之結果。第X五d圖 係高解析度影像重建後進一步經過高通過濾,讓影且b 較為犀利的邊緣。 ,;,> 請見第六A圖至第六D圖所示,該案例係取一影像做為 一原始靜態景象,並以一相機縮小取像拍攝取得序列影… 像。相機攝取每張影像之起始位置有所不同,亦即相對於 原始靜態景象相機有移動位置。隨後根據本發明之方法, 重建出放大參數為4的高解析度影像。第六A圖係低解析度 序列衫像中之一幀影像。第六B圖係經過初期猜測階段後 之結果。第六c圖係經過反覆修正丨〇〇次後之結果。第六d 圖係高解析度影像重建後進一步經過後續影像處理之結 果.。本案例[^著反覆修正次數的增加其輸出影像的Μ⑽值 快速收斂,亦足以證明用運根據本發明之方法的效能極 隹,其結果請見第七圖所示。 見第八Α圖至第八D圖所示,該案例係關於移動物體 之低解析度序列影像做高解析度影像重建,每〆悄影像中 物體有些微的移動,背景著# & ' n 月厅、耆保持不動。此案例之放大參數 為2。第八A圖係低解析度序列影像中之一幀 圖係經過初期猜測階段後之結果 c
玉1 00次後之結果。第八D圖俜古絃紅pi 、工 '汉復G 口係回解析度衫像重建後進一步 鏗過後續影像處理之結果。從笛、A回$楚 不攸第八A圖至弟八D圖可清楚地
第19頁 583603 五、發明說明(15) 1 ΐ ΐ ΐ反覆修正次數的增加,物體會變得更為清晰, 背不則、交彳于杈糊,字的邊緣越佳可辨識。 供且Ϊί『二I:月詳細說0月,即可清楚看出本發明所提 2= :f 邏輯並重建高解析度影像之方法, 應用預測的初期插補技術、自動化的 像套合,可藉由關於靜能畢象直像l擇健王的衫 度影像,亦可藉由關於=1、f =序列4像快速重建高解析 析度影像。重建好的古悲體之序列影像快速重建高解 品質提昇的後處理的日=度-步可再施以影像 像重建方法極具新穎性=牛^明所提供,高解析度影 保障發明人之權益。申晴,懇請詳查並賜准本案專利,以 藉由以上較佳呈 〜 描述本發明之特徵^ =貫施例之詳述,係希望能更加清楚 體實施例來對本發明a =,而並非以上述所揭露的較佳具 希望能涵蓋各稽抒繳之範驁加以限制。相反地,其目的是 之專利範圍的範疇=及具相等性的安排於本發明所欲申請
583603 圖式簡單說明 五、 圖式簡單說明 第一圖係揭示根據本發明之方法流程。 第二A圖及第二B圖係繪示藉由三次項插補技術計算像素P 之值。 第三圖係揭示藉由量測原始影像與從低解析度序列重 建的影像之間訊號雜訊比峰值-評估運用不同次項插補技 術隨後對高解析度演算邏輯的效能結果。 第四A圖係繪示利用局部匹配的技術進行影像套合處 理。 第四B圖係繪示利用整體匹配的技術進行影像套合處 理。 第五A圖至第五D圖係揭示根據本發明之方法重建高解 析度影像之一案例。 第六A圖至第六D圖係揭示根據本發明之方法重建高解 析度影像之一案例。 第七圖係揭示第六A圖至第六D圖之案例其輸出影像的 PSNR值隨著反覆修正次數的增加快速收斂的結果。 第八A圖至第八D圖係揭示根據本發明之方法重建高解 析度影像之一案例。 六、 圖式標號說明 S 1 0〜S 2 4 :流程步驟
第21頁

Claims (1)

  1. 583603 六、申請專利範圍 1、一種影像處理方法,該方法係利用M張低解析度 (L〇W-reS〇Ution)的第—影像用以產生一高解析产 (EnhanCed-resolution)影像,該M 張第一影像皆= 景象,該Μ張第-影像之每一影像係由一組均句取樣並量 子化的像素(Pixel)所代表,該高解析度影像與該以張第一 影像之間存有一放大參數(Magrfification factQ 係,該方法包含下列步驟: S (a) 儲存該Μ張第一影像; (b) 從該Μ張第一影像中選取一張影像做為—離 (Prototype image),該(M_1)m未被選作雛 的^像 影像歸為(M-1)張第二影像; ^ m的弟一 (c) 基於該放大參數,對該雛形影像插入額 素’並且根據每一額外像素之鄰近像素之值 外像素之值’進而產生—經插補的(Interp :出 形影像之間存有的二維平移量(Transla^l插補的離 (d) 將該(M-1 )張第二影像與該經插補的 存有的二維平移量分別除以該放大參數並求=像之間 將被算出相同餘數組之第二影像經_準則從:^數組’並 二影像與其他被算出不同餘數組之第二 =取—張第 影像,其中N等於或小於(M-ι) ; ^ 听為N張第三 (e) 根據該N張第三影像與該經插補的離 個別的二維平移量對該經插補的雛形影像經縮衫像存有之 (Down-sampling),進而產張第 、’二=小取樣 心像,该N張第四影
    第22頁 583603 六、申請專利範圍 像中每一張第四影像係對應該N張第三影像中之一張第三 影像; (f)计算該N張第三影像中每一張第三影像與其對應之 第四影像之差; (g )根據該N張第三影像與其對應之第四影像之差的平 均值修正該離形影,像之像素的值; (h )重複步驟(e )至步驟(g ),直至該經插補的雛形影 $之像素的值收斂至一符合要求的結果,該像素值收斂至 符合要求結果的雛形影像即為該高解析度影像。 、如申睛專利範圍第1項所述之影像處理方法,其中步驟 (e )係根據下列公式執行: Sik)^(Tk(f(n))%h)is , 為第n次縮小取樣之第k張第四影像,/⑻為經第n次_ 理的雛形影像,h為由點擴散函數 处 (Point-spread-functl〇n)所定義的模糊化(BUrring)運 算元,'為根據第k張第三影像與該經插補的雛形 有之二維平移量所做的轉換(Transf〇r 二子 S為縮小取樣運算元。 運异兀,i 3、如申請專利範圍第2項所述之影像處理方法,並 (f)及步驟(g)係根據下列公式執行: -步驟
    第23頁 六、申請專利範圍 厂⑻、 為經第n次修正後之雛形影像,K為計算與第四影像差 值之第三影像的總張數,、為第k張第三影像,P為去模d 化運算元(De-blurring),7;—1 4 經插補的雛形影像存有之二工為根據第㈣第三影像與該 元,t S為放大取—、、隹平移量所做的反轉換運算 巧敌大取樣(Up-SampUng)運算元。 4、 如申明專利範圍第3 _「Γ、Φ 兮她 貝所迷之影像處理方法,其中於步 .Cc y中,邊雛形影像之| 音的佶π日〃 I u <母—頭外像素的值係根據鄰近像 素的值依由一次項插補 ., ,· ^ w(F1r s t order interpolation)、三次工g , 人貝插補技術(Third order interpolation)及五次頊扞 an , . 人貝插補技術(Fi fth order interpolation) iK ^ m ^ , '氣 群組當中選取一插補技術做推算。 5、 如申請專利範圍第4 ns & ,、山e斤 固弟4項所述之影像處理方法,其中步驟 (C )中弟1張弟二影像盥兮奴 、4經插補的雛形影像之間的二維平 移量()係依照下列步驟計算: (c - 1 )於第i張第二影僮二 〜像上指定至少一關注點 (Interesting point, P\ r ^ x x 二 , 一 ^ (x,y)),母一關注點係對應一局 部視窗區(Loca 1 W i ndow , x ^ ,ω)並且對應至該經插補的雛形
    第24頁 M3603 六、申請專利範圍 一 ---- 影像上之一對應點(u,v); (C — 2)根據下列公式,計算出每一關注點Pi (X,y)與其 對應點(u,v)間之絕對差值() ·· LADi(x,y,u,v)- ^Ii{x + m,y + ri)-I0{u + m,v+n)\ , (c-3)根據下列公式f奸算出步驟(c_2)中之絕對差值 (⑽办,从V))之極小值(AW)): = arg min LADXx,y\u,v) (w,v) ; (c-4)根據下列公式,計算出關於每一關注點pi(x,y) 之二維平移量: Z7;〇,j;)二 ZAO,;;)- 0,少)·放大參數 。 6、如申請專利範圍第4項所述之影像處理方法,其中步驟 (c)中第i張第二影像與該經插補的雛形影像之間的二維平 移量(U / )係依照下列步驟計算: (c _ 1)根據下列公式,計算出第i張第二影像整體影像 内之絕對差值(): GAD^u.v) = + + y) (x,_y)e/ , (u, V)為第i張第二影像之一起始點對應至該經插補的雛形 影像之一對應位置點;
    583603 六、申請專利範圍 (c-2)根據下列公式,計算出步驟(c-1)中之絕對差值 GR(i) 即為 GAD{u,v))之極小值() GR{i) - ^X^mmGAD^u.v) 0,V〇 ,並且
    第26頁
TW092103612A 2003-02-21 2003-02-21 Method for producing enhanced-resolution image by use of a plurality of low-resolution images TW583603B (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
TW092103612A TW583603B (en) 2003-02-21 2003-02-21 Method for producing enhanced-resolution image by use of a plurality of low-resolution images
US10/758,088 US7583860B2 (en) 2003-02-21 2004-01-16 Method for producing enhanced-resolution image by use of a plurality of low-resolution images
GB0403326A GB2399251B (en) 2003-02-21 2004-02-16 Method for producing enhanced-resolution image by use of a plurity of low-resolution images
DE102004007637A DE102004007637B4 (de) 2003-02-21 2004-02-17 Verfahren zum Erzeugen eines Bildes mit erhöhter Auflösung unter Verwendung einer Mehrzahl von Bildern mit niedriger Auflösung
JP2004044311A JP4162610B2 (ja) 2003-02-21 2004-02-20 複数の低解像度の画像を使用して解像度が向上された画像を生成するための方法
FR0450325A FR2851676B1 (fr) 2003-02-21 2004-02-20 Procede d'obtention d'une image a resolution augmentee par l'utilisation d'une pluralite d'images a faible resolution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW092103612A TW583603B (en) 2003-02-21 2003-02-21 Method for producing enhanced-resolution image by use of a plurality of low-resolution images

Publications (2)

Publication Number Publication Date
TW583603B true TW583603B (en) 2004-04-11
TW200416624A TW200416624A (en) 2004-09-01

Family

ID=32028423

Family Applications (1)

Application Number Title Priority Date Filing Date
TW092103612A TW583603B (en) 2003-02-21 2003-02-21 Method for producing enhanced-resolution image by use of a plurality of low-resolution images

Country Status (6)

Country Link
US (1) US7583860B2 (zh)
JP (1) JP4162610B2 (zh)
DE (1) DE102004007637B4 (zh)
FR (1) FR2851676B1 (zh)
GB (1) GB2399251B (zh)
TW (1) TW583603B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2479990A3 (en) 2005-06-23 2013-01-23 Israel Aerospace Industries Ltd. A system and method for tracking moving objects
AU2006279337B2 (en) * 2005-08-18 2010-08-26 Mental Images, Gmbh Image synthesis methods and systems
JP4818031B2 (ja) * 2005-10-27 2011-11-16 キヤノン株式会社 画像処理装置及び画像処理方法
US7912321B1 (en) * 2005-12-19 2011-03-22 Sandia Corporation Image registration with uncertainty analysis
EP2001227B1 (en) * 2006-03-30 2016-07-20 NEC Corporation Image processing device, image processing system, image processing method and image processing program
US8374464B2 (en) * 2006-05-31 2013-02-12 Nec Corporation Method, apparatus and program for enhancement of image resolution
KR100808610B1 (ko) * 2006-06-13 2008-02-28 중앙대학교 산학협력단 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
JP4646146B2 (ja) 2006-11-30 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8290212B2 (en) * 2007-07-17 2012-10-16 Lockheed Martin Corporation Super-resolving moving vehicles in an unregistered set of video frames
US8150214B2 (en) * 2007-11-27 2012-04-03 Microsoft Corporation Inferred discovery and construction of multi-resolution images
US8233541B2 (en) * 2008-03-26 2012-07-31 Sony Corporation Recursive image quality enhancement on super resolution video
JP5024300B2 (ja) * 2009-01-19 2012-09-12 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8330827B2 (en) * 2009-11-19 2012-12-11 Eastman Kodak Company Increasing image resolution using combined differential image
IL202788A (en) 2009-12-17 2016-08-31 Elta Systems Ltd Method and system for improving radar image
US8750647B2 (en) 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
JP5810631B2 (ja) * 2011-05-26 2015-11-11 コニカミノルタ株式会社 超音波診断装置
TWI459326B (zh) * 2011-09-05 2014-11-01 Chunghwa Picture Tubes Ltd 顯示面板的影像解析度提升裝置及方法
US8861893B2 (en) * 2011-09-27 2014-10-14 The Boeing Company Enhancing video using super-resolution
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
US10212396B2 (en) 2013-01-15 2019-02-19 Israel Aerospace Industries Ltd Remote tracking of objects
IL224273B (en) 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
US9058644B2 (en) * 2013-03-13 2015-06-16 Amazon Technologies, Inc. Local image enhancement for text recognition
CN103514580B (zh) * 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
US20150363916A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Low power demosaic with intergrated chromatic aliasing repair
US10147167B2 (en) 2015-11-25 2018-12-04 Heptagon Micro Optics Pte. Ltd. Super-resolution image reconstruction using high-frequency band extraction
CN108681988B (zh) * 2018-04-17 2022-03-29 中国科学院光电技术研究所 一种基于多幅图像的鲁棒的图像分辨率增强方法
EP3820343A4 (en) * 2018-07-13 2022-06-29 iRobot Corporation Mobile robot cleaning system
EP3637365B1 (de) * 2018-10-11 2020-12-02 Siemens Healthcare GmbH Verfahren zum bewerten einer verlässlichkeit eines ct-volumenbildes, computerprogramm und computerlesbares speichermedium
TWI733341B (zh) * 2020-02-20 2021-07-11 瑞昱半導體股份有限公司 用於圖像放大與增強的方法與裝置
CN113313636A (zh) * 2020-02-27 2021-08-27 瑞昱半导体股份有限公司 用于图像放大与增强的方法与装置
IL285320B2 (en) * 2021-08-02 2023-02-01 Rafael Advanced Defense Systems Ltd Methods and systems for simulating image capture of an imaging device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3006872B2 (ja) 1990-11-06 2000-02-07 日本電信電話株式会社 高解像度画像合成処理方式
JP2989364B2 (ja) 1992-03-12 1999-12-13 シャープ株式会社 画像処理装置及び画像処理方法
JPH0818840A (ja) 1994-06-30 1996-01-19 Sony Corp 画像読み取り装置
US5696848A (en) 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
JP3994445B2 (ja) * 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
US6330344B1 (en) * 1997-02-14 2001-12-11 Sony Corporation Image processing device and method employing motion detection to generate improved quality image from low resolution image
US5969848A (en) * 1997-07-03 1999-10-19 The Regents Of The University Of California Micromachined electrostatic vertical actuator
JPH1198395A (ja) 1997-09-17 1999-04-09 Fujitsu Ltd 画像処理装置
US6804419B1 (en) 1998-11-10 2004-10-12 Canon Kabushiki Kaisha Image processing method and apparatus
US6650704B1 (en) * 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter

Also Published As

Publication number Publication date
TW200416624A (en) 2004-09-01
GB2399251A (en) 2004-09-08
JP4162610B2 (ja) 2008-10-08
US20040156561A1 (en) 2004-08-12
JP2004272895A (ja) 2004-09-30
DE102004007637A1 (de) 2004-09-16
DE102004007637B4 (de) 2008-10-09
US7583860B2 (en) 2009-09-01
GB0403326D0 (en) 2004-03-17
GB2399251B (en) 2005-04-13
FR2851676B1 (fr) 2006-01-13
FR2851676A1 (fr) 2004-08-27

Similar Documents

Publication Publication Date Title
TW583603B (en) Method for producing enhanced-resolution image by use of a plurality of low-resolution images
Zamir et al. Learning enriched features for fast image restoration and enhancement
Bai et al. Single-image blind deblurring using multi-scale latent structure prior
Anwar et al. Densely residual laplacian super-resolution
Zhang et al. A super-resolution reconstruction algorithm for surveillance images
JP5543605B2 (ja) 空間画像事前確率を用いたぼけ画像修正
He et al. A soft MAP framework for blind super-resolution image reconstruction
Agrawal et al. Resolving objects at higher resolution from a single motion-blurred image
WO2015192316A1 (en) Face hallucination using convolutional neural networks
Sunkavalli et al. Video snapshots: Creating high-quality images from video clips
Su et al. Super-resolution without dense flow
US20220343463A1 (en) Changing the size of images by means of a neural network
JP2023532755A (ja) 画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム
Rasti et al. Wavelet transform based new interpolation technique for satellite image resolution enhancement
Puttagunta et al. Swinir transformer applied for medical image super-resolution
Dai et al. Deep learning-enabled resolution-enhancement in mini-and regular microscopy for biomedical imaging
Albluwi et al. Super-resolution on degraded low-resolution images using convolutional neural networks
Sarmadi et al. A new approach in single Image Super Resolution
Heinze et al. Joint multi-frame demosaicing and super-resolution with artificial neural networks
Zhang et al. Bilateral upsampling network for single image super-resolution with arbitrary scaling factors
Yau et al. Robust deep learning-based multi-image super-resolution using inpainting
Lee et al. Edge-oriented two-step interpolation based on training set
Jin et al. Boosting single image super-resolution learnt from implicit multi-image prior
Li et al. Resolution enhancement from document images for text extraction
Deng et al. Attention-guided network with inverse tone-mapping guided up-sampling for HDR imaging of dynamic scenes

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees