TWI605417B - 利用仿射轉換建立影像資料庫之方法 - Google Patents

利用仿射轉換建立影像資料庫之方法 Download PDF

Info

Publication number
TWI605417B
TWI605417B TW100139560A TW100139560A TWI605417B TW I605417 B TWI605417 B TW I605417B TW 100139560 A TW100139560 A TW 100139560A TW 100139560 A TW100139560 A TW 100139560A TW I605417 B TWI605417 B TW I605417B
Authority
TW
Taiwan
Prior art keywords
resolution
block
affine transformation
low
resolution block
Prior art date
Application number
TW100139560A
Other languages
English (en)
Other versions
TW201317938A (zh
Inventor
許志仲
林嘉文
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW100139560A priority Critical patent/TWI605417B/zh
Publication of TW201317938A publication Critical patent/TW201317938A/zh
Application granted granted Critical
Publication of TWI605417B publication Critical patent/TWI605417B/zh

Links

Landscapes

  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

利用仿射轉換建立影像資料庫之方法
本發明係有關一種可轉換高解析區塊之大小及角度以替代低解析區塊，特別是指一種可應用於各種技術影像還原技術之利用仿射轉換建立影像資料庫之方法。
現代數位拍照技術日益發達，但對於畫數較低的數位相機而言，較遠的目標或發生不可預期之狀況造成影像模糊的狀況，因此，若需要清晰的影像則需要利用影像還原技術，將此模糊影像還原成清晰的影像。
由W. T. Freeman，T. R. Jones and E. C. Pasztor，所發表的“Example-based super-resolution”，其主要係利用一組訓練影像，包含了高解析度區塊與低解析度區塊的資訊。當輸入影像進來之後，可切成數個區塊，並於資料庫中尋找相似的區塊，用其對應的高解析度區塊補回來，但然而若資料庫資訊太少，就無法有效還原。
由J. Yang，J. Wright，T. Huang and Y. Ma，所發表的“Image super-resolution as sparse representation of raw image patches”，其方法是透過資料庫，轉換到一組有限集合的基底空間，使得高低對應的組合變少到1024組以內，加快超解析度技術的還原。然而，若無法找到一個好的資料庫，就無法訓練出良好的基底。
由M. Protter，M. Elad，H. Takeda and P. Milanfar，所發表的“Generalizing the nonlocal-means to super-resolution reconstruction”，其方法只需利用單一張影像，不須其他資料庫，即可從本身影像的資訊中，挖掘出自我相似性的區塊，並建立高低解析度的模型，重建出高解析度區塊，此方式搜尋的資料還是有角度及大小不同的限制。
由Y.HaCohen，R.Fattal and D.Lischinski，所發表的“Image upsampling via texture hallucination”，其亦是利用資料庫，但合成高解析度的方法，則是利用紋理合成的技術合成細節，雖然此方法的重建細節並非真實的細節，但紋理細節品質遠高過其他方法，可是當資料庫內容不足時，影像也會產生瑕疵。
有鑑於此，本發明係針對上述之問題，提出一種利用仿射轉換建立影像資料庫之方法改良，以有效解決習知之問題。
本發明之主要目的在提供一種利用仿射轉換建立影像資料庫之方法，其係可轉換高解析度區塊之大小及角度，以替代與高解析度區塊不同角度及大小的低解析度區塊，形成一張清晰的完整影像。
本發明之另一目的在提供一種利用仿射轉換建立影像資料庫之方法，其係將可高解析度特徵點儲存於資料庫中，以應用於各種影像還原技術上。
本發明之再一目的在提供一種利用仿射轉換建立影像資料庫之方法，其係利用特徵點尋找對應的影像區塊，可減少資料庫的容量佔用。
為達上述之目的，本發明提供一種利用仿射轉換建立影像資料庫之方法，其步驟包括：至少一影像輸入，萃取複數高解析度特徵點以及複數低解析度特徵點儲存至資料庫中；於低解析度特徵點中搜尋與高解析度特徵點對應之特徵點；將高解析度特徵點所屬之高解析度區塊，透過仿射轉換角度及大小，以對應與高解析度特徵點對應之低解析度特徵點所屬之低解 析度區塊；以轉換後之高解析度區塊為中心，搜尋周圍之高解析度特徵點，是否為更佳對應之低解析度區塊之高解析特徵點；以及將轉換之高解析度區塊，取代低解析度區塊。
底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
第一圖係為本發明之方法流程圖，如圖所示，首先，進入步驟S10，其係由至少一影像輸入後，萃取高解析度特徵點以及低解析度特徵點，並可將萃取出高解析度特徵點與低解析度特徵點儲存於資料庫中；接下來進入步驟S12，於低解析度特徵點中尋找與資料庫中互相對應之高解析度特徵點，本實施例亦可由輸入另一張低解析度影像中，萃取低解析度影像之低解析度特徵點後，於低解析度影像之低解析度特徵點中尋找與資料庫中互相對應之高解析度特徵點；接著進入步驟S14，因本發明之對應區塊係以對應特徵點作為依據，因此當我們找到相似對應特徵點時，就會轉換與低解析度應徵點對應之高解析度特徵點所屬的高解析度區塊，而高解析度區塊與低解析度區塊可能是來自於不同的方向與大小，會使兩對應區塊無法直接貼上，因此本發明將所屬對應特徵點之高解析度區塊，利用仿射轉換方程式(1)轉換高解析度區塊，以符合低解析度特徵點所屬之低解析度區塊之大小、角度以及亮度：Pe=s(R(Ps))+d (1)；其中Pe係為轉換後之高解度區塊；S代表大小之方程式；R代表角度之方程式；Ps係為高解析度區塊；d代表亮度空間轉換參數方程式。這些方程式 可以改寫成為一個參數形式，如下方程式(2)所示： 其中xs、ys係為高解析度特徵點之座標；xe、ye係為轉換後之高解析度特徵點之座標；m1-m4係為控制區塊大小與方向的參數；t1、t2則為位移量之參數。將這幾個參數轉換為矩陣形式，可重寫方程式為下列矩陣，如方程式(3)所示： 並利用最小平方誤差法(Least-squares)的方式，將上述方程式(3)重新排列成方程式(4)： 如方程式(4)所示，令Ah=0，我們可以得到方程式(5)： 接著，此最佳解h向量便可以轉成矩陣形式H。因此，一個單應矩陣估計(Homograph estimation)就可以估計出來方程式(6)： 之後，必須將轉換座標後之高解析度區塊對應到低解析度區塊上，因此還需要一個內插方程式，將座標上的高解析度區塊轉換到目標的低解析度區塊上，因此本發明採用雙線性(Bilinear)內插函式，算出之方程式如方程 式(7)所示： 其中w之函式係如方程式(8)所示： 接下來進入步驟S16，如第二圖所示，係再次確認所搜尋高解析度區塊10，是否為最佳符合低解析度區塊(圖中未示)，因此，本發明以高解析度區塊10為中心，再次搜尋高解析度區塊周圍相鄰區塊之特徵點，以尋找更加對應低解析度區塊之高解析度區塊10若所搜尋之高解析度區塊10較對應該低解析度區塊，則經過仿射轉換後，取代先前所搜尋到的高解析度區塊；若未搜尋到更佳對應的區塊，則進入最後步驟S18，將轉換後之高解析度區塊，利用影像還原技術，將高解析度區塊取代低解析度區塊，以形成一張完整清晰的影像。
本發明可由多張影像或單張影像中尋找對應的特徵點，再轉換對應低解析度特徵點之高解析度特徵點所屬區塊，本實施例係舉例多張影像，請參照第三A圖並配合第三B圖，如圖所示，低解析度區塊之影像12與高解析度區塊之影像14，雖係為大小及角度不相同之影像，但高解析度區塊之影像14可經由仿射轉換，旋轉角度、大小以及亮度後，形成與低解析度區塊之影像12相似的影像，因此高解析度區塊之影像14將可取代低解析度區塊之影像12。
綜上所述，本發明係為一種利用仿射轉換建立影像資料庫之方法，其係擷取高解析度特徵點後，將高解析度特徵點儲存於資料庫中，並可轉換 高解析度區塊大小及角度，以符合對應的低解析度區塊，並將低解析度區塊取代，以形成一張完整且清晰的影像，並利用比對特徵點以取代利用區塊比對對應之區塊，以降低資料庫的容量佔用，並可應用於各種影像還原技術中。
唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。
10‧‧‧高解析度區塊
12‧‧‧低階析度區塊之影像
14‧‧‧高解析度區塊之影像
第一圖係為本發明之方法流程圖。
第二圖係為本發明之搜尋更佳高解析度區塊示意圖。
第三A圖至第三B圖係為本發明之利用多張影像尋找對應區塊示意圖。

Claims (9)

  1. 一種利用仿射轉換建立影像資料庫之方法，包括下列步驟：至少一影像輸入，並萃取複數高解析度特徵點，及複數低解析度特徵點，並儲存於資料庫中；於該低解析度特徵點中搜尋與該高解析度特徵點對應之特徵點；將該高解析度特徵點所屬之高解析度區塊，透過仿射轉換，轉換角度以及大小，以對應與該高解析度特徵點對應之低解析度特徵點所屬之低解析度區塊，該仿射轉換係利用下列方程式：Pe=s(R(Ps))+d其中Pe係為轉換後之高解度區塊；S代表大小之方程式；R代表角度之方程式；Ps係為高解析度區塊；d代表亮度空間轉換參數方程式；以轉換後之該高解析度區塊為中心，搜尋周圍之該高解析度特徵點，是否為更加對應該低解析度區塊之該高解析度區塊；以及將轉換之該高解析度區塊，取代該低解析度區塊。
  2. 如請求項1所述之利用仿射轉換建立影像資料庫之方法，其中該仿射轉換係先擷取該高解析度區塊之座標點，並乘以一轉換矩陣參數，以轉換為與對應之該低解析度區塊相同之座標點。
  3. 如請求項2所述之利用仿射轉換建立影像資料庫之方法，其中將轉換後高解析度區塊之座標點，應轉換為該高解析度區塊，以符合對應的該低解析度區塊。
  4. 如請求項1所述之利用仿射轉換建立影像資料庫之方法，其中該對應區塊係以對應特徵點作為依據。
  5. 如請求項3所述之利用仿射轉換建立影像資料庫之方法，其中該高解析度區塊可轉換亮度，以對應該低解析度區塊之亮度。
  6. 如請求項1所述之利用仿射轉換建立影像資料庫之方法，其中所搜尋之該高解析度區塊若較對應該低解析度區塊，則經由仿射轉換後取代先前該高解析度區塊。
  7. 如請求項1所述之利用仿射轉換建立影像資料庫之方法，其中該高解析度區塊以及該低解析度區塊係可為不同大小及角度。
  8. 如請求項3所述之利用仿射轉換建立影像資料庫之方法，其中將該高解析度區塊，轉換到該低解析度區塊係利用內插法。
  9. 如請求項2所述之利用仿射轉換建立影像資料庫之方法，其中該轉換矩陣參數係為單應矩陣估計。
TW100139560A 2011-10-31 2011-10-31 利用仿射轉換建立影像資料庫之方法 TWI605417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW100139560A TWI605417B (zh) 2011-10-31 2011-10-31 利用仿射轉換建立影像資料庫之方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100139560A TWI605417B (zh) 2011-10-31 2011-10-31 利用仿射轉換建立影像資料庫之方法

Publications (2)

Publication Number Publication Date
TW201317938A TW201317938A (zh) 2013-05-01
TWI605417B true TWI605417B (zh) 2017-11-11

Family

ID=48871988

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100139560A TWI605417B (zh) 2011-10-31 2011-10-31 利用仿射轉換建立影像資料庫之方法

Country Status (1)

Country Link
TW (1) TWI605417B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622868A (zh) * 2008-01-21 2010-01-06 索尼株式会社 画面处理设备、供其使用的处理方法以及程序

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622868A (zh) * 2008-01-21 2010-01-06 索尼株式会社 画面处理设备、供其使用的处理方法以及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
運用特徵點之全景影像接合研究 2001/10/30 *

Also Published As

Publication number Publication date
TW201317938A (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
JP5295045B2 (ja) 組み込み機器において高解像度画像を提供するための方法及び装置
CN105631807B (zh) 基于稀疏域选取的单帧图像超分辨重建方法
US7542047B2 (en) Multi-dimensional texture drawing apparatus, compressing apparatus, drawing system, drawing method, and drawing program
CN107590791B (zh) 图像增强方法以及图像处理装置
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN102693538A (zh) 生成高动态范围图像的全局对准
TWI334581B (en) Texture engine, graphics processing unit and texture processing method thereof
CN110634147A (zh) 基于双边引导上采样的图像抠图方法
WO2008050589A1 (fr) Procédé de génération d'image haute résolution
CN104899835A (zh) 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
CN104504672B (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
JP4714038B2 (ja) 画像の高解像度化方法及び装置
Xing et al. Scale-arbitrary invertible image downscaling
CN106558021B (zh) 基于超分辨率技术的视频增强方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN109087247B (zh) 一种对立体图像进行超分的方法
CN103685858A (zh) 视频实时处理的方法及设备
WO2024041027A1 (zh) 全景图像处理方法、计算机设备和存储介质
TWI605417B (zh) 利用仿射轉換建立影像資料庫之方法
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
CN113947528A (zh) 一种基于多帧融合的实时超分辨率重建方法及系统
CN114155152A (zh) 一种基于历史特征融合的实时超分辨率重建方法及系统
Yuan et al. Fast image blending and deghosting for panoramic video