TW201131511A - Super-resolution method for video display - Google Patents

Description

201131511 r 六、發明說明： 【發明所屬之技術領域】 本發明大體而言係有關於一種影像處理方法，更特定而 言係為一種基於二維隱藏式馬可夫模蜇之適用於視訊之超解 析處理方法。 【先前技術】 隨著各種顯示器技術的發展及推廣，目前各種高解析顯 示裝置（顯示器、電視或其他）在一般家庭或專業領域中已是 •非常普遍具有之設備。從早期的標準解析（Standard Definition ’ SD)演變到現在較為普遍的高解析（High Definition，HD)或全高解析（Fuii HD)標準，其中Full HD顯 示器所能提供之解析能力已可達到r 192〇xi〇8〇」，而部分專 業顯示器之解析度更是已超越此標準，可廣泛用於像是娛 樂、醫療或其他領域。 為了充分利用顯示器具有之高解析能力，使用者亦會希 • 望能獲得各種高解析訊號來源（Signal Source)，像是高解析之 影像(Image)或視頻序列（video Sequence)等，以達到最佳顯示 效果。目前的訊號來源極為廣泛’像是來自數位相機、數位 攝影機、有線/無線電視機上盒、電視遊樂器、CD/DVD播放 器、藍光播放器、電腦或其他等’使用者亦可利用網際網路 於遠端撥放或下載各種經由串流傳送之影像或視頻序列等。 然而’上述訊號來源中，多半無法提供令人滿意的解析度， 舉例而言’台灣的有線電視所能提供之畫質大多僅有約 「640x480」。此外’經由網際網路傳送之串流影片，為了提「

L 3 201131511

I 升傳輸速度，晝質多枝過歷縮而降低。再者，即使是解析 ，車=的影像或視頻序列，也常會出_職不當或其他原 局部模糊的問題。因此，對於各種不同的訊號來源， 使用者t白有提升其訊號源解析度之需求。 【發明内容】 之—目的在於’#由將高解析影狀亮度及彩度 ’並忽略亮度而僅對彩度進行超解析處理，可以減 V冋解析影像的資料量及所需運算的複雜度。 拼= 目的在於，利用二維隱藏式馬可夫模塑以 : = : =法進行回貼補丁’可提升整體執行效率， 于j的超解析景》像之訊 -t1〇； PSNR)^^fH,a〇〇；^；〇(Peak 於視;之起解=^在本發明之—觀點中，提出—種適用 之超解析處理方法，其處理 影像以獲得複數個訓練用 ^3.湘1解析 用低解析高頻資訊補丁；將所丁及複數個訓練 及所述訓練用低解析高頻資^用:;解析高頻資訊補丁 關係以建立-訓練f料庫；、接收練學習以獲得對應 析影像依所述訓練用低解析高頻影像；將所述低解 個區塊，·將該複數個區塊於該訓練 ^大小劃分成複數 練用低解析高頻資訊補丁㈣中尋找-相似之訓 低解析高頻資訊補丁之一'4寻一，…於所述相似之訓練用 -處理器控制—超解析；”用间解析㈣資訊補丁；利用 述高解析高«訊=1圖式方法或斜角式方法將所 丁貼回所述低解析影像之所述複數個區 201131511 塊並以二維隱藏式馬可夫模型計〜〜 影像。 异相各性；及產生一超解析 在本發明之另一觀點中，亦 析處理方法，包含：接收一低解種適用於視訊之超解 劃分成複數個區塊；在一預先訓練知像，將所述低解析影像 丁；利用一處理器控制一超解析模=貝料庫中尋找高解析補 方法將所述高解析補丁貼回所述圖式方法或斜角式 塊並以二維隱藏式馬可夫模型析衫像之所述複數個區 影像。 、5十异相容性；及產生—超解析 本發明之上述各項目的及觀 伴隨之圖式得到詳細的說明。’’ ΰ稭由下述實施方式及 【實施方式】 圖一為根據本發明實施例之適用於視訊之 Resolution ’ SR)處理方法流程 ，（Super 訊之超解析處財法聊包含㈣m巾’適用於視 階段謂。各階段时騎轉於下文切述 明下述所執行之步驟、裎庠式b ，’、、貫鈀本毛 产理季统3_ , 序或仏，實施例中提供-超解析 實：：圖六所示。為實施所述超解析 、二 提供一種不範性電腦硬體及操作環境示音圖 如圖七所示。在圖七中’電腦侧包含一處理單元彻[(可 為-處理器，更特定而言可為一可程式處理器)，藉由譬如一 匯流排4004耗合於一記憶體傷、一儲存裝置介面彻、 一系統資訊顯示I置侧、-系統妓介面4G12、-影像輸 入介面4014、一影像輸出介面4016及一其他介面/裝置4〇18 201131511 等。其中，儲存裝置介面4008包含pATA、SATA、e_SATA、 USB、MS、CF、SD、MMC等或其他-或多種常用介面，可 用以連接一電腦可讀取媒體4〇2〇。電腦可讀取媒體4〇如可 包含外接或内建之CD/DVD/藍光光碟機、硬碟驅動器、軟碟 驅動器 '記憶卡等或其他—或多種f用媒體。在_些°實施例 中處理單元4002及電腦可讀取媒體4〇2〇亦可整合於一微 處理器中。其中，電腦可讀取媒體術0及記憶體4^可载 有包含基本輸出入系統4022、作業系統4〇24、應用程式 4〇26、㈣語言及對應之編料侧及其他程式侧^ 以執行本發明之電腦料產品。此外，利用影像輪入介面 3可由有線或無線之影像輸人管道備從-外部之影像 高解㈣像3购(見圖六 > 及低解析料 (I、）’其影像輸入管道4〇32可包含網路線鐵線 線、無線基地台訊號或其他等。“，本領域之具 之者應可理解，#由上述電腦可讀取雜侧包含 之外接或内建之CD/DVD/藍光光碟機、硬 動器、記憶卡等或其他一或多種常用媒體亦可提二= 由:解析處理系統3_執行超解析處理方法二 之後所產生之超解析影像3006b可利用旦彡後^山 系統資訊顯Μ置侧可為另—顯示螢幕， 用以顯不目前系統工作狀態之資 茧参 可包含譬如滑鼠、鍵盤、觸控面板或其他等;^介種面輸= 置及對應之介面。此外’亦應包含基本輸入輸出單元(/卿 201131511 J而品/主思上述說明僅用以舉例說明可實施發明實施例之 電知硬體及操作環境，但並非用以限制本發明之實施方式。 ^將本發明更貼切剌於不同之使用態樣或環境，亦可以不 同=方式廣泛加以實施。舉例而言，若實施態樣為一數位機 上益，連接於—電視以接收數位視頻訊號，則上述部分元件 可此正、口為早—微晶片，以縮小體積方便使用，亦可能不需 中。此：鼠或光碟機等，直接將程式燒錄於上述單一微晶片 加以3，’^^元件二數量並不限於—個，可依實際需要 件可疋需求加以刪除，亦可加入其他元件。 圖二A至-p 一立 一 L為根據本發明實施例之訓練學習階段流程 不思圖，並配入同丄_ ^ 於獲得電腦可;糸統軟硬體運作、執行’以利 牛驄志㈣r _之八體、貫用之輸出結果。所述之程序、 .^糸以貪訊技術將電腦可讀取數位資料以電腦程式 :月二=於電腦可讀取之儲存媒體内，得執行已知或本發 明U下所述之功上 在步驟㈣巾^圖二A中，訓練學習階段謂包含： 自外邙之一 &舉例而言，利用影像輪入介面4014接收來 框），儲存至Γ解析影像3GG4a(亦可為視頻序列中之個別訊 甽綠資料庫模組3008、暫存 4006或透過儲在壯 仔盗（未圖不）3己丨思體 内，隨之透過和置介面4〇08至電腦可讀取記錄媒體4020 觀，例如實2之下達，透過纽單元侧呼叫應用程式 3〇〇4;在步驟^超解析處理系統_G之訓練學習模組 析影像3GG4a<、.4: ’利用訓練學習模組3_分離出高解 分離之訓練資訊作為訓練用高解析影像，同理，經 阿解析影像將被儲存於訓練資料庫模組 201131511 3008、暫存器、記憶體4_或透過儲存 腦可讀取記錄媒體4〇2〇内，以供後續處理;置：：：〇8至電 中’利用指令之下達或原始之設定，訓 y在步驟、 之作獲得訓練用低解析影像，同理經分= 腦可4 Γ 6或透過儲存裝置介面麵至電 指令:入4020内’以供後續處理所需;透過介面之 擷取所= ，在步驟1108中’利用處理單元4· 練學習r,之冋解析料㈣述騎用低•影像，透過訓 用低解=3_ __取之訓練用高解析影像及所述訓練 頻資2讀分別進行高通纽處理以獲得訓練用高解析高 學_ =練用低解析高頻資訊；在步驟⑽中，利用· 低解：、、且3_將所述訓練用高解析高頻資訊及所述訓練用 補Ϊ =頻資訊分別加以切割以獲得訓練用高解析高頻資訊 雜用低解析高頻資訊補丁，隨之將此經處理資訊暫 1憶體4_或儲存於電腦可讀取記錄媒體誦；在步 訓^2中’透過相關硬體如處理單元4002呼叫或執行所述 :‘予習模組將所❹丨練用高解析高頻f訊補了及所述訓練 二解析高頻資訊補Tit行訓練”以獲得對應義；隨之 3008驟1114中，將所得之處理資訊儲存於訓練資料庫模組 8中。本領域之具有通常知識者應可理解，在下述說明 ’各步驟之運作所需運用之軟體及硬體之對應關絲⑽ 者明相似，為避免贅述，未必會對所有細節加以說明， 号上述說明以更加理解。 201131511 析影像之色、^ 貫施例中’在步驟1104中係將所述高解 格m =間轉換為明度、藍色差與紅色差（YCbCr)之 略真产二、所述高解析影像之亮度與彩度加以分離，並忽 旦對彩度加以處理，可大幅減少高解析影像的資料 里及連异的複雜度。 一在本I明之較佳實施例中，步驟1106更包含如圖二B 驟’包含在步驟U〇6a中’利用训練學習模組3004 :二飞處理；在步驟U06b中’利用訓練學習模組撕 二L下—處理；及在步驟膽中’利用訓練學習模組 料所Γ向上取樣處理。其中’模糊化處理（1106a)的目的在 訓練用高解析影像失去高頻的影像資訊。而進行向 :取樣處理⑽⑽和進行向上取樣處理⑽㈣係可利用雙 線性内插法，以使所述訓練用高解析影像在’、 又 資訊後，進-步減少像素資訊以創造出低解柄2頻的影像 f丨丨丨鍤ra / '鮮析的畫面，以獲 付洲、.來用低解析影像，並儲存於訓練資料庫模組中。 在本發明之較佳實施例中，在步驟11〇8中，高通遽波處 理係了利用傅立葉轉換（Fourier Transform)以將二今^之介 間域轉換為頻率域4著’可利用—遮罩以將類率域中的低 =遮蓋掉’僅留下高頻部分。藉此方式，可將所述訓練 象及所述训練用低解析影像分別進行高通滤波處 理則又仔訓練用高解析㈣資訊及訓練用低解析高頻資訊。 其中，此中所指「高頻」*「低頻」係指空間頻率物㈣ Frequency)。_般而言’㈣部分可代表影像中變化較大之 處。因此1高頻教擷取-影像之㈣，可減少低頻部分[ 201131511

I 之影像，並可減少所需處理之資料量。 容产較佳實施例中，在步驟⑽中，為了加強相 頻貝W切割成稍大於訓練用高解析高頻解:二 二言’物低解析高頻資訊補丁可切割為：7像辛:: ’而魏用高解析高頻資訊補τ可切割為5x5像素之補 f東解析高歸訊射與低解析高頻資訊補丁重最 時’可利用低解析高頻資訊補丁多出來“ 下;^ 以得龍佳之對應_。其訓練方式將於 高頻d::較佳貫施例中，為了求得所述訓練用高解析 择:補丁及所述訓練用低解析高頻資訊補丁之對庫關 係’步驟1112更包含如圖二c所示之步驟，包含 1 斤1 ^ 利用訓練學習模組3 004分別計算所述訓練用高解 斤：頻/貝訊補丁及所述訓練用低解析高頻資訊補 和值；在步驟_中，利用訓練學習模組3_記錄所儲； 於訓練資料庫模組職中之每一所述訓練用解析高頻= 補丁於所述訓練隸解析高頻資訊補丁相對應位址；在步驟 1112C中’利用訓練學習模，组3 〇〇4根據所述色彩總和值於 練貝料庫模組議中的所有高頻資料庫中進行相似補丁初 步比對，在步驟1112d +，利用訓練學習模組3〇〇4進行 比對’在步驟U12e中’利用訓練學習模組細（根據所述像 素比對進行相似補丁進—步比對及分類，再將上述結果^ 於訓練資料庫模組3008中。 于 201131511 其中，由於切割出的補丁（所述訓練 、 =述訓練用低解析高頻資訊補丁後量相當龐二 =本，明之較佳實施例中係利用訓練學f模組· 者 補丁個別計算出色彩總和值⑴叫並:所有 =之相對應位址⑴叫接著利用針;二二 =值進行初步崎⑴12e)，若色彩總和值相似，= :個::像素進行進一步比對(咖)’若像素比 : 二=可視為相同類型的補丁，在此中稱為相似補丁，= 以刀類（m2e)。α此方式，不但可以對於相似γ 力口 行分類統計，亦可節省儲存補 ^ 丁進 斗瞀。* „ 用J所而之儲存空間。此外，在 :异：，母塊訓練用高解析高頻資訊補丁會有一 二值在本發明實施财射利料些重疊的料計算差異= 練：，並將差異平方值最小者定為相似鄰近補丁。當完成訓 、，東後，即可於圖二A中步驟1114建立—訓練資料庫。 在完成訓練資料庫後，便可從訓練學習階段測 超解析階段1200。圖三a及二 也 解析階舒程干咅3，η Γ 本發明實施例之超 丨白f又々丨L柱不思圖，並配入阁> β回 .+ 圖，、及圖七之系統軟硬體運 行來進行°兒明。在圖二A中，超解析階段1200包含： 在^驟體中，利用超解析處理系統3_之超解析模組 /接收—來自外部之低解析影像期，即欲進行超解析處 高解析效果之低解析影像；在步驟測中，利用超 =析模組3_將低解析影像2〇〇〇依所述訓練用低解柯高頻 貝訊補丁之大小劃分成複數個區塊；在步驟】施中，利用超 析模組3006在訓練資料庫模組3〇〇8中尋找相似之所述訓 201131511 練用低解析高頻資訊補丁；在步驟1 ?Πδ + ^ . 08中，再利用超解析模 組3006在§川練資料庫模組3008中專ϋ & 、 ^^哥找對應於所述相似之訓 練用低解析高頻資訊補丁之所述訓绩 _ 、承用咼解析高頻資訊福 丁；在步驟12y $超解析模組錢料 式方法將所述咼解析咼頻資訊補丁貼 W低解析影像2000之 複數個區塊並以二維隱藏式馬可夫楹 大辑型（Two Dimensional

Hidden Markov Modd，2D-HMM)計算相容性；及在步驟丨2】2 φ中，利用超解析模組3006產生超解析影像3〇〇6卜 在本發明之較佳實施例中，在步驟121〇中，利用超解 析模組3006將所述高解析高頻資訊補丁貼回低解析影像 〇之複數個區塊時，係可利用拼圖式或斜角式的方式進 订’如圖四A及四B所示。其中，拼圖式是從外圈先拼貼完 後再往内圈逐圈拼貼；而斜角式是以左上右下或右上-左下 之傾斜角度逐斜線拼貼（其中以左上·右下實作較多，為較佳 實施方式，但並不限於此），其較佳傾斜角度為九十度但並不 鲁限於九十度。 隱藏馬可夫模型係為統計模型的集合，其目的係用來描 述狀態轉移特性程序，一般隱藏馬可夫模型的組成包含為有 限的狀態個數、狀態的轉移機率矩陣、以及一初始狀態機率 分佈。由於’馬可夫網路(Markov Network)係為給定一狀態 後，則可以此狀態來預測其後續狀態之一種網路模型，因此， 在正常的馬可夫模型中，其後續狀態對於觀察者而言是可以 直接看見的；但，在隱藏馬可夫模型中，其後續狀態對於觀 察者而言卻不是可以直接看見的，而是每一個狀態所對應的【 12 201131511 1 可能輸出訊號都存在著-個機率的分佈。因此，在隱藏馬可 夫模型中，需針對已知的狀態去尋找可能性最高之狀態轉移 及輸出機率。 於本發明之-些實施例中，在使用隱藏馬可夫模型於一 低解析影像2000時’會對於所述低解析影像2〇〇〇所劃分成 之複數個區塊㈣給予K5個狀態補丁，每—狀態補丁依據 與對應之區塊的相似度可得出—初始機率，而對於每一區塊 的5個狀態補丁彼此之㈣會存在—轉換機率，如此，則可 以計算出彼此間之相容性。 在圖四Α中係顯示二維隱藏馬可夫模型之拼圖式方法。 對於低解析影像2000而言，已在步驟12〇4中被區分為 個區塊2002(為簡化圖式，僅標記一區塊）。在步驟12〇8中， 將每一塊貼上的補丁與鄰近之八塊區塊做相容程度計算，若 將欲貼上的補丁位置表示冑s(iJ)，貝，】其相鄰區塊可表示為 . 8(,1,-1) . scy-1) . S(i+I,j-1) . S(i+ij). _ SG+lj+i)、S(iJ+1)、叩…+川等如圖四A中以斜線表示之 區塊位置。在圖四B中係顯示二維隱藏馬可夫模型之斜角式 方法，其對於每一塊貼上的補丁會與鄰近的三塊區塊做相容 程度計算（比對），若將欲貼上的補丁位置表示為s(i，p，則相 鄰區塊可表示為s(M，j+1)、s(ij+i)}，如圖四 B中以斜線表示之區塊位置。藉此，其機率關係由下式所表 示： < P{S〇，j)} = i + K，j + LeNm， XP{S(i + K，j + L)}*e(i+K，j+L)， 13 201131511 其中，S(i，j)表示正在重建的區塊’而S(i+K，j+L)表示鄰近的 幾個區塊，且K及L表示上下左右周圍的變數參數。^為隱 藏馬可夫模型之選擇模式，當m=l時為拼圖式，相鄰區塊最 多會有八個可作為比較；而當m=2時為斜角式，相鄰區塊最 多會有三個可作為比較，優點為執行速度較快。 在較佳實施例中，步驟1210更包含兩階段，如圖三B 所示，包含：在步驟121 〇a中，利用超解析模組3〇〇6進行二 維隱藏式馬可夫正算程序（Forward Pass);及在步驟i21〇b

中，利用超解析模組3006進行二維隱藏式馬可夫逆算程序 (Backward Pass)。其中’每一補丁對於其每一相鄰區塊都有 一對應的轉換機率，在步驟1210a中，利用超解析模組3〇〇6 將各補丁與以建立好的相鄰區塊計算出權重值，即為每一相 鄰區塊所對應之轉換機率，其權重狀態如圖五A及五b所 示。圖五A顯示二維隱藏馬可夫模型之拼圖式方法權重狀態 不意圖，而圖五B顯示二維隱藏馬可夫模型之斜角式方法權 重狀態示意圖。在步驟1210b中，根據在步驟Ul〇b中計曾 出之權重值’將轉換機率最高的那一塊訓練用高解析高頻: 汛補丁貼回低解析影像2〇〇〇之指定區塊2〇〇2 貝 到高解析之影像。 ’如此以得 以比ί本發明之實施例巾，由於是利用隱藏式馬可夫模^ :::外因=:逐，…執行時間較短： 低拼貼錯誤率’亦可降低因前者選擇： 14 201131511

I 性之影響程度。 在此，需說明的是，_影像重叙賴得出的影像在 某種程度下可能會與原始影像有些微的不同，因此，為了衡 董重建後之影像品質，會使用訊號雜訊比（Peak Signal t0 Noise Ratio，PSNR)值來確認所得之影像結果是否達到標 準。其中’所計算之PSN11值越域代表失真越少，此為一 客觀之評比數據。利用本發明之視訊之超解析處理方法所得 出之重建影像進行PSNR值的計算之後，可證實經由超解析 •處理方法之後所得之影像品質得以提升。纟一較佳實施例 中，PSNR之定義可為如下所示： ^ 2552 ^ PSNR =U)x log ，

I^MSE J

FrameSize ^ Σ {In-Pnf mse = —^->

FrameSize Φ 其中曰原始影像第n個像素值，P«指經處理後影像的 第11個像素值。PSNR的單位為dB。PSNR值越大，代表失 真越少，般而言是一種較客觀之評比數據。在本發明之一 些實她例中利用超解析處理方法，並利用最高優先權重建， 其原始影像與超解析影像計算出來之PSNR值可達約28 14 以上。相較於普通内插法求得之影像之PSNR(舉例而言，約 小於27)，具有明顯之提升。 為達成上述步驟，圖六顯示一種超解析處理系統。在圖 /、中I解析處理系統3000包含：一控制模組3002，用以 15 201131511 控制系統整體運作·—今丨丨M風π t 7 f冰練學習模組3〇〇4,耦合至一其解妨 模組3002 ’以接收-高解析影像馳， 耦八至：低二W皆段_之步驟;一超解析模組3006， 二002，以接：像輪入端、一超解析影像輸出端及控制模 ' 低解析影像2_、執行前述超解析階段 _庙之步驟及產生-超解析影像3祕並加《/出解f = 貝料庫換組3G08,其_合至控制模組谓2、 :及超解析模組3_，以提供資料庫功能並儲存 階段1100及超解析階段1200所產生之資料。 糟由-具有運算及儲存能力之電腦（如圖七 働〇’但並不限於此態樣）可實施超解析處理系統3_ = 應具有輸人輸出設備及界面以接收上述高解析影像蘭u 低解析影像2_，並藉由一外接或内建之顯示裳置以呈現上 述超解析影像30_。-般而言，上述電腦可包含—工作站、 伺服器、個人電月|、筆記型電腦、個人數位助理、行動電咭、 電視機、CD/DVD播放器、藍光播放器、類比/數位機上盒、 照相機、攝影機、遊戲機或以上之組合，或其他具有運^及 儲存能力之襄置等。上述超解析處理系統3〇〇〇之各模么且可姐 由上述裝置之軟體、硬體及動體之結合加以實施，並儲存： —電腦可讀取媒體中。其中提及之影像可廣泛包含靜能參像 (譬如相片或圖片）或動態影像（譬如視頻序列），且傳輸方式可 廣泛包含有線/無線及數位/類比方式。亦可經由網際網路或 &域網路專加以傳輸。 在本發明之-些實施例中，提出—種内儲程式之電腦可严 16 201131511 讀取記錄媒體，當電腦載入所述程式並執行後，可完成所述 之適用於視訊之超解析處理方法。 在本發明之另一些實施例中，提出一種内儲於電腦之電 腦程式產品，當電腦載入所述電腦程式並執行後，可完成所 述之適用於視訊之超解析處理方法。 本發明之較佳實施例詳細說明如上，配合各種實施例及 伴隨之圖式，可使本領域中具有通常知識者更完整地理解本 發明之各項目的、特徵及優點。然而，應理解上述詳細實施 ® 例係用以詳細舉例說明本發明，而非用以限制本發明於特定 實施例之細節。在不背離本發明之精神之下，本領域中具有 通常知識者可經由本發明實施例之教示及推知做出許多修改 或變更，但仍應受限於下述申請專利範圍及其均等物。 【圖式簡單說明】 圖一顯示根據本發明實施例之超解析處理方法流程示 意圖。 φ 圖二A至二C顯示根據本發明實施例之訓練學習階段流 程示意圖。 圖三A及三B顯示根據本發明實施例之超解析階段流程 示意圖。 圖四A及四B顯示根據本發明實施例之二維隱藏式馬可 夫模型補丁貼法示意圖，其中圖四A為拼圖式，而圖四B為 斜角式。 圖五A及五B顯示根據本發明實施例之二維隱藏式馬可 夫模型補丁貼法權重狀態示意圖，其中圖五A為拼圖式權重 17 201131511 狀態，而圖五B為斜角式權重狀態。 圖六顯示根據本發明實施例之超解析處理系統示意 圖，及 圖七顯示根據本發明實施例之一示範性電腦硬體示意 圖。 【主要元件符號說明】 1000超解析處理方法 1100訓練學習階段 1102、1104、1106、1106a、1106b、1106c、1108、1110、 1112、1112a、1112b、1112c、1112d、1112e、1114 步驟 1200超解析階段 1202、1204、1206、1208、1210、1210a、1210b、1212 步驟 2000低解析影像 2002區塊 3000超解析處理系統 3002控制模組 3004訓練學習模組 3004a高解析影像 3006超解析模組 3006b超解析影像 3008訓練資料庫模組 4000電腦 4002處理單元 18 201131511 4004匯流排 4006記憶體 4008儲存裝置介面 4010系統資訊顯示裝置 4012系統設定介面 4014影像輸入介面 4016影像輸出介面 4018其他介面/裝置 ® 4020電腦可讀取記錄媒體 4022基本輸出入系統 4024作業系統 4026應用程式 4028程式語言及對應之編譯器 4030其他程式 4032影像輸入管道 φ 4〇34影像提供端 4036影像輸出管道 4038顯示螢幕 19

Claims (1)

1. 201131511 七、申請專利範圍： 1. 一種適用於視訊之超解析處理方法，包含： 利用-高解析影像以獲得複數個訓練用高解析高頻資訊 補丁及複數個訓練用低解析高頻資訊補丁； =該訓練用高解析高頻資訊補丁及該訓練用低解析高頻 資訊補丁進行訓練學習以獲得對應關係以建立—訓練資 料庫； 接收一低解析影像； 將該低解析影像依該訓練用低解析高頻f訊補丁之大小 劃分成複數個區塊； 數個區塊於該訓練資料庫中尋找—相似之訓練用 析頻資訊補丁，並尋找對應於該相似之訓練用低解 回頻貝戒補丁之一钏練用高解析高 理:r制一超解析模組以拼圖式二斜角式 數個f訊討貼㈣低解析影像之該複 塊並以二維隱藏式馬可夫模型計算相容性；及 產生一超解析影像。 2· 項1所述之適用於視訊之超解析處理方法，其步驟 分離出該高解析影像之彩度資訊作 根據該訓練用高解析影像獲得训練用低析衫像， ，該訓練用高解析影像及該訓練用低 问通濾波處理以獲得訓練用高解内7y n灯 啊阿頻賁訊及訓練用低 20 201131511 解析高頻資訊；及 將β玄訓練心解析高頻f訊及該訓練用低解析 分:：以切割以獲得該複數個訓練用 ：： 丁及該複數個訓練用低解析高頻資訊補丁。貝, t =項2所述之適用於視訊之超解析處理方法，盆中， 之分離是利用將該高解析影像之色彩 ： 為YCbCr格式所獲得。 轉換 4. 如請求項2所述之適用於視訊之超解析處理方法，其 得該訓練用低解析影像之步驟包含進行模糊化處理、、進; 向下取樣處理及進行向上取樣處理。 5. 如請求们所述之適用於視訊之超解析處理方法， 得該對應關係之步驟包含分別計算該訓練用高解析高; 貧訊補丁及該訓練用低解析高頻資訊補丁之色彩總和 值、έ己錄每一該訓練用高解析高頻資訊補丁與該訓練用低 解析两頻資訊補丁之該色彩總和值之相對應位址、根據該 色衫總值進行相似補丁初步比對、進行像素比對、及根據 δ亥像素比對進行相似補丁進一步比對及分類。 6.如請求項1所述之適用於視訊之超解析處理方法，立中該 二維隱藏式馬可夫模型計算之步驟包含進行二維隱藏式 馬可夫正算程序及進行二維隱藏式馬可夫逆算程序。 21 201131511 其中該 如明求項1所述之剌於視訊之超解析處理方法， 斜角式方法包含計算周圍三個區塊之相容性。 8.如請求項丨所述之剌於視訊之超 拼圖式方法包含計算周圍八個區塊之相容性m亥 9·種適用於視訊之超解析處理方法，包含： 接收一低解析影像； 將該低解析影像劃分成複數個區塊； 在一預先訓練之資料庫中尋找高解析補丁； 處理器控制—超解析模組以拼圖式方法或斜角式 =將該高解析補丁貼回該低解析影像之該複數個區塊 並 維隱藏式馬可夫模型計算相容性；及 產生一超解析影像。 籲10.如請求項9所述之適用於視訊之超解析處理方法，且令咳 藏ί馬可夫模型計算之步驟包含進行二維隱^ 馬夫正异程序及進行二維隱藏式馬可夫逆算程序。 11. 如請求項9所述之適用於視訊之超解析處理方法，其令該 斜角式方法包含計算周圍三個區塊之相容性。" 12. 如請求項9所述之適用於視訊之超解析處理方法，其中該 拼圖式方法包含計算周圍八個區塊之相容性。/、" 22