TWI449417B - 用以實現視訊穩定化之方法與裝置 - Google Patents

用以實現視訊穩定化之方法與裝置 Download PDF

Info

Publication number
TWI449417B
TWI449417B TW099139488A TW99139488A TWI449417B TW I449417 B TWI449417 B TW I449417B TW 099139488 A TW099139488 A TW 099139488A TW 99139488 A TW99139488 A TW 99139488A TW I449417 B TWI449417 B TW I449417B
Authority
TW
Taiwan
Prior art keywords
block
motion vector
edge
candidate
current frame
Prior art date
Application number
TW099139488A
Other languages
English (en)
Other versions
TW201208361A (en
Inventor
Stephen Mangiat
Yi-Jen Chiu
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201208361A publication Critical patent/TW201208361A/zh
Application granted granted Critical
Publication of TWI449417B publication Critical patent/TWI449417B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用以實現視訊穩定化之方法與裝置
本發明係有關於用以實現視訊穩定化之方法與裝置。
發明背景
視訊穩定化目的係消除視訊中因搖動平臺所造成的非蓄意相機移動。此種全面性移動可包括藉相機的搖攝、旋轉、或變焦所導入的移動。全面性移動的估算可使用多項方法執行,包括強度校準、特徵匹配、及區塊移動向量濾波。結果所得移動參數可經平滑化,典型地係使用高斯核函數平滑化,及然後圖框經扭曲來補償高頻偏差。但圖框扭曲導入接近框緣的遺漏區。若任由此等區為目視可見,則視訊仍然呈現不穩。常見解決之道係裁剪圖框。依據移動量而定,如此可能導致顯著較小的圖框大小,此乃不合期望者。
視訊的實現可用來於其原先解析度達成穩定化視訊,此種程序稱作為「全圖框視訊穩定化」。藉圖框扭曲所導入的遺漏區可使用得自過去(或未來)圖框及/或影像修補填補。若鄰近圖框的移動向量為已知,則遺漏像素可使用該鄰近圖框填補,但因此等像素係在原先圖框外側,故無法計算其移動。但用於扭曲的全面性變換可能延伸至該圖框外側的此區,假設係其位在該影像之相同平面上。因此一種基準線實現視訊之方法係使用全面性二維變換將鄰近圖框鑲嵌至目前扭曲的影像上。
基於全面性移動參數之鑲嵌可造成鄰近圖框重疊。若對一給定像素有多於一個候選者,則可使用此等點的中數。候選者的變因判定匹配的品質,若變因低,則鑲嵌圖框可能略為一致,而該區可能極少有特徵結構。若變因高,則使用該中數可能產生模糊效應。第二選項可能為選擇取自最靠近該目前圖框之該點,假設較為接近的圖框提供較佳的總體匹配。但如此可能導致圖框邊界的非連續。此外,全面性參數可能唯有當遺漏區並無局部移動時才能產生良好結果。局部移動無法藉全面性變換拍攝,因此無法使用全面性鑲嵌處理。
為了避免非連續性及模糊,視訊實現期間可利用靠近框緣的局部移動。為了達成此項目的,某些解決之道首先使用全面性鑲嵌法來將該區填補以低變因。至於任何其餘孔洞,使用在其邊界計算的光流來填補遺漏區之局部移動向量,此種方法稱作「移動修補」。此種方法可產生視覺上可接受的結果,但要求昂貴的光流運算。同理,其它解決之道造成視訊實現成為全面性最佳化問題,填補時空補片可改良局部及全面性相干性。此種方法可強化且填補遺漏區,但也造成重大運算負擔。
依據本發明之一實施例,係特地提出一種方法,其包含下列步驟:對一欲穩定化之目前圖框判定總體移動參數;對該目前圖框之多數邊緣區塊各自計算一移動向量,其中各邊緣區塊移動向量係就鄰近圖框計算;對超出目前 圖框之一預期新區塊,使用計算所得之邊緣區塊移動向量及藉該等總體移動參數預測得之一總體移動向量而產生多數候選區塊;及自該等多數候選區塊選出欲成為新區塊之一候選區塊,其中該經選定的候選區塊係至少部分位在該目前圖框之一穩定化版本之外邊界內部。
圖式簡單說明
第1圖為流程圖顯示依據一實施例之總體處理。
第2圖顯示依據一實施例一總體移動向量的使用。
第3圖為流程圖顯示依據一實施例一邊緣區塊之移動向量之判定。
第4圖顯示依據一實施例用來產生候選區塊之移動向量。
第5圖為流程圖顯示依據一實施例候選區塊的產生。
第6圖為流程圖顯示依據一實施例候選區塊的選擇。
第7圖顯示依據一實施例一選定區塊與一外邊界間之關係。
第8圖顯示依據一實施例用以實現一視訊圖框之掃描順序。
第9圖為方塊圖顯示依據一實施例可實施該系統之模組。
第10圖為方塊圖顯示依據一實施例可實施該系統之軟體或韌體模組。
較佳實施例之詳細說明
視訊穩定化尋求藉由去除或減少藉搖動相機所導入的非蓄意移動而改良所拍攝的視訊之視覺品質。穩定化的主要組成可為圖框扭曲,其導入接近框緣的遺漏區。常見此等遺漏像素可藉圖框裁剪移除,但其實質上減低視訊解析度。如此造成需要有視訊實現可不裁剪而填補在圖框邊界的遺漏像素。
後文描述用於視訊實現之系統及方法。可對欲穩定化之目前圖框判定總體移動參數。然後算出該目前圖框之邊緣區塊之移動向量。對超過該目前圖框之預期新區塊,可使用計算所得之移動向量及藉該等總體移動參數預測得之總體移動向量而產生候選區塊。自該等候選區塊,選出欲成為新區塊之候選區塊,其中該經選定的候選區塊係至少部分位在該目前圖框之最終穩定化版本之外邊界內部。
此項處理係大致上說明於第1圖。於110,可判定目前圖框(亦即被穩定化之該圖框)之總體移動,如藉總體移動參數模型化。於一實施例,該等總體移動參數可用來預測對目前圖框之個別點的總體移動向量。於本上下文之總體移動估算方法為技藝界所已知,及包括例如Odobez等人(M.Odobez、P.Bouthemy及P.Temis,「參數移動模型之強勁多重解析度估算」,視覺通訊及影像表示型態期刊,第6輯348-365頁,1995年)及Battiato等人(S.Battiato、G.Puglisi及A.Bruna,「藉適應性移動向量濾波之強勁視訊穩定化系統」,ICME,第373-376頁,2008年4月)所述處理器。
於120,可對位在目前圖框邊緣的區塊計算移動向量 (MV),其中該等移動向量可相對於鄰近圖框計算。經由使用藉總體移動參數預測的一總體移動向量可初始化啟動對一給定邊緣區塊的移動向量搜尋,容後詳述。於130,始於將界限該目前圖框邊緣之預期區塊,對每個預期區塊可產生一候選區塊集合其將用於視訊實現。容後詳述。候選區塊的產生可使用該總體移動向量及於120算出的移動向量。
於140,可對各個預期區塊選擇候選區塊中之一者且放置定位。於一實施例,選擇候選區塊可遵循特定順序來畫界該目前圖框邊界,容後詳述。於候選區塊被選定來畫界該邊界後,若如同150之測定視訊實現尚未完成,則可形成另一區塊集合,此處此等新區塊可進一步自該目前圖框邊緣移除。相對於位在相鄰該目前圖框之第一層的第一選定候選區塊集合,次一集合的中心可自該目前圖框邊緣向外移位(160)。此種移位程度容後詳述。此一新的區塊層可藉於130產生額外候選者及做進一步選擇而擇定,如第1圖之迴圈顯示。
完成後(如於150判定),可在170進行目前圖框的扭曲來形成穩定化圖框。處理於180結束。
依據一實施例,一邊緣區塊之移動向量之計算(如上120)以進一步細節顯示於第2及3圖。如第2圖所示,目前圖框可具有一框緣220。對一邊緣區塊260,可定義一搜尋區230。為了初始化搜尋及搜尋區,可使用總體移動向量240。更明確言之,搜尋的初始化可使用半量總體移動向量240,顯示為向量250。
對一邊緣區塊計算移動向量之處理程序顯示於第3圖。於310,可初始化搜尋區。於所示實施例,如此可使用藉總體移動參數所預測的移動向量進行。為了達成初始化搜尋之目的,可使用半量此一移動向量。於320,搜尋可於環繞邊緣區塊的鄰近施行。於330,可識別移動向量,此處移動向量可最小化該邊緣區塊與參考圖框的一區塊間之絕對差值和(SAD)。該處理程序結束於340。於一實施例,第3圖之處理可視需要對多個邊緣區塊重複施行。
依據一實施例,候選區塊的產生(第1圖之130)以進一步細節顯示於第4及5圖。第4圖顯示6候選區塊的產生,此處各個候選區塊可表示填補與目前圖框410之邊緣區塊430相對的目前圖框410外側空間的預期區塊。各個候選區塊可以個別移動向量定義。此等移動向量標示為1至6。MV 1可為邊緣區塊430之移動向量。MV 2可為相鄰於邊緣區塊430的一邊緣區塊440之移動向量。MV 3可為在邊緣區塊430另一側的一邊緣區塊450之移動向量。MV 4可為MV 1...3之中數。MV 5可為MV 1...3之均數。MV 6可為如上對該邊緣區塊所導算出之總體移動向量。MV 1至MV 6各自可指示一區塊,其乃填補在目前圖框410外側欲實現的該區顯示為區塊420的空間的候選區塊。
依據一實施例,產生此等候選區塊之處理程序顯示於第5圖。於510,預期區塊中心初步可界定在距目前框緣的半框距離。於520,一候選區塊可藉目前圖框的最接近邊緣區塊之移動向量識別,諸如第4圖之區塊430。於530,另一 個候選區塊可藉相鄰於目前圖框的最接近邊緣區塊之移動向量識別。於540,另一個候選區塊可藉目前圖框的第二邊緣區塊的移動向量識別。於550,另一個候選區塊可藉一移動向量識別,其為如上520至540的前三個移動向量之均數。於560,另一個候選區塊可藉一移動向量識別,其為如上520至540的前三個移動向量之中數。於570,另一個候選區塊可藉一總體移動向量識別。該處理程序於580結束。
注意就目前圖框之各個邊緣區塊可產生一候選區塊集合。因此可重複順序510-560,各次迭代重複係使用另一個邊緣區塊作為其最接近的區塊。此外,對各個邊緣區塊於處理程序500判定的6移動向量可相對於相鄰於目前圖框之一圖框判定。對各邊緣區塊,處理程序500可對鄰近目前圖框的各圖框重複進行,使得相對於相鄰於目前圖框的各圖框將判定6移動向量(及產生6候選區塊)。給定二鄰近圖框,例如對各個邊緣區塊可產生共計12候選區塊。注意鄰近圖框可為或可非為緊接相鄰。
依據一實施例,自與一邊緣區塊相對應之候選區塊中選出一個特定區塊係舉例說明於第6圖。
於640,可判定延伸至外邊界的區域是否已經填補。若是,則無需加另一區塊或填補額外區,處理程序可於660結束。若否,則處理可於645繼續。此處,可選擇候選區塊中之一者,此處當選定的區塊畫界目前圖框邊緣時,就候選區塊與最接近邊緣區塊的重疊邊界間之彩度成分及亮度成分而言可最小化SAD。
於650,欲填補的區域量可藉選定之候選區塊的移動向量判定。選定之候選區塊可用來填補多行,此處行數可取決於所選定之候選區塊之移動向量。舉例言之,若填補在目前圖框頂上的一區,則該選定之候選區塊之移動向量具有-5之y成分。此種情況下,選定之候選區塊只可用來填補五行。如此可視為選定之候選區塊中心向上移位五行。目前圖框之底、左、或右之區域可填補可以類似方式進行。使用一選定之候選區塊實現目前圖框的左或右例如可藉選定之候選區塊之移動向量的x座標控制。處理程序於660結束。
依據一實施例,填補一區至隨選定之候選區塊之移動向量而異的程度,此一處理程序舉例說明於第7圖。本圖顯示一原先圖框亦即目前圖框710及一外邊界720。舊中心730表示可位在背向原先圖框710的一區塊中心。該新中心740可表示一選定之候選區塊的所在位置,此處此一區塊位置可取決於選定之候選區塊之移動向量。於本實例使用選定之候選區塊的新涵蓋的行數可與本實例的選定之候選區塊之移動向量的y座標相對應。
依據一實施例,需要環繞一目前圖框諸如第8圖之圖框810的完整周邊執行130-140(參考第1圖)。此種情況下,第8圖所示順序可用來填補欲完成的區域。顯示選定區塊之初層。第一選定區塊可位在位置1(顯示為區塊820)。一旦此一區塊已經選自一候選區塊集合且位在指示的位置,對位置2可自對該位置發展出的一候選區塊集合選定一區塊。該處 理程序可以所示順序對環繞目前圖框810的全部位置繼續進行。於該具體實施例,角隅位置可最後填補。
於此一初層進行後,若須填補額外區,則處理程序尚未完成(如第1圖於150判定)。此種情況下,另一層可以類似方式組成。
依據一實施例,一種執行前述處理之系統舉例說明於第9圖。邊緣區塊移動向量計算模組910對一目前圖框之個別邊緣區塊計算移動向量。對各個邊緣區塊,候選區塊產生模組920產生由模組910所產生的移動向量,及位在該邊緣區塊相對位置,產生可用來填補欲完成的一區之一候選區塊集合。識別候選區塊之指標器可送至一區塊選擇模組930,其將該等候選區塊之指標器前傳至邊界匹配模組940。於邊界匹配模組940,可選出一特定候選區塊(如前文就第6圖之參考號碼610討論),此處選定之候選區塊可視需要用來填補目前圖框與外邊界間之區域。如前文討論,使用選定之候選區塊填補的行數可取決於選定之候選區塊的移動向量。如前述,處理可迭代重複來建立欲完成的該區。然後,結果亦即目前圖框加環繞該目前圖框之選定之候選區塊(或其部分)可送至一扭曲模組960,其可產生一穩定化圖框作為輸出信號970。
前述模組可於硬體、韌體、或軟體、或其組合實施。此外,此處揭示之任一項或多項特徵結構可於硬體、軟體、韌體、或其組合實施,包括離散型及整合型電路邏輯組件、特殊應用積體電路(ASIC)邏輯組件、及微控制器,且可實 施作為特定域積體電路封裝體,或積體電路封裝體之組合。如此處使用,軟體一詞可指稱一電腦程式產品包括具有電腦程式邏輯組件儲存於其中之一電腦可讀取媒體來使得電腦系統執行如此處揭示之一或多個特徵結構及/或特徵結構之組合。
前述處理之軟體或韌體實施例係舉例說明於第10圖。系統1000可包括一處理器1020及一記憶體1010本體其可包括可儲存電腦程式邏輯組件1040之一或多個電腦可讀取媒體。記憶體1010例如事實施為硬碟及硬碟機、活動式媒體諸如光碟及光碟機、或唯讀記憶體(ROM)裝置。處理器1020及記憶體1010可使用熟諳技藝人士中之一者已知之若干技術中之任一項諸如匯流排通訊。含在記憶體1010中之邏輯組件可藉處理器1020讀取與執行。一或多個I/O埠及/或I/O裝置合稱為I/O 1030,也連結至處理器1020及記憶體1010。
依據一實施例,電腦程式邏輯組件可包括模組1050-1080。邊緣區塊MV計算模組1050負責計算一目前圖框之各邊緣區塊之移動向量。候選區塊產生模組1060負責對與一邊緣區塊相對的欲完成的一給定位置產生一候選區塊集合。區塊選擇模組1070負責前傳候選區塊至邊界匹配模組1080。邊界匹配模組1080可負責使用一選定之候選區塊來填補目前圖框與外邊界間區,此處該區之涵蓋程度可取決於選定之候選區塊的移動向量。
結論
此處借助於功能建構區塊諸如前文列舉描述其功能、 特徵及關係者揭示方法及系統。此等功能建構區塊之至少若干邊界為求方便描述係任意對此處界定。也可界定其它邊界只要適當實施其特定功能及關係即可。
雖然此處揭示多個實施例,但須瞭解此等實施例僅供舉例說明而非限制性。熟諳技藝人士顯然易知可在此處揭示之方法及系統之精髓及範圍內作出形式上及細節上的各項變化。如此,申請專利範圍之寬廣度及範圍不應囿限於此處揭示之具體實施例中之任一者。
100‧‧‧處理程序
110-180、310-340、510-580、640-660‧‧‧處理方塊
200‧‧‧總體移動向量的使用
210、410、710‧‧‧目前圖框
220‧‧‧框緣
230‧‧‧搜尋區
240‧‧‧總體移動向量
250‧‧‧向量
260、430-450‧‧‧邊緣區塊
400‧‧‧候選區塊的產生
420‧‧‧方塊
700‧‧‧關係圖
720‧‧‧外邊界
730‧‧‧舊中心
740‧‧‧新中心
800‧‧‧掃描順序
810‧‧‧目前圖框、圖框
820‧‧‧區塊
900、1000‧‧‧系統
910‧‧‧邊緣區塊MV計算模組
920、1060‧‧‧候選區塊產生模組
930、1070‧‧‧區塊選擇模組
940、1080‧‧‧邊界匹配模組
950‧‧‧扭曲模組
960‧‧‧輸出信號
1010‧‧‧記憶體本體
1020‧‧‧處理器
1030‧‧‧I/O、輸入/輸出
1040‧‧‧電腦程式邏輯組件
1050‧‧‧邊緣區塊移動向量計算模組
第1圖為流程圖顯示依據一實施例之總體處理。
第2圖顯示依據一實施例一總體移動向量的使用。
第3圖為流程圖顯示依據一實施例一邊緣區塊之移動向量之判定。
第4圖顯示依據一實施例用來產生候選區塊之移動向量。
第5圖為流程圖顯示依據一實施例候選區塊的產生。
第6圖為流程圖顯示依據一實施例候選區塊的選擇。
第7圖顯示依據一實施例一選定區塊與一外邊界間之關係。
第8圖顯示依據一實施例用以實現一視訊圖框之掃描順序。
第9圖為方塊圖顯示依據一實施例可實施該系統之模組。
第10圖為方塊圖顯示依據一實施例可實施該系統之軟體或韌體模組。
100‧‧‧處理
110-180‧‧‧處理方塊

Claims (22)

  1. 一種用於視訊穩定化的方法,其包含下列步驟:判定針對要穩定化的一目前圖框的數個總體移動參數;針對該目前圖框的多個邊緣區塊各計算一移動向量,其中,對於各個邊緣區塊移動向量的計算係與鄰近圖框有關,並且此步驟包含下列步驟:使用藉由該等總體移動參數所預測出的一總體移動向量的一半來針對該邊緣區塊的移動向量而初始化一搜尋區,在該邊緣區塊週圍的一鄰近區域中進行搜尋,及針對目前邊緣區塊而識別出一移動向量,其中,所識別出的該移動向量會使得在該邊緣區塊與一參考區塊之間的絕對差值和(SAD)最小化;針對超出該目前圖框的一預期新區塊,利用所計算出的該等邊緣區塊移動向量及該總體移動向量來產生多個候選區塊;以及自該等多個候選區塊中選出一候選區塊來作為新區塊,其中,所選出的該候選區塊至少部分係設置在該目前圖框之一穩定化版本的外邊界之內。
  2. 如申請專利範圍第1項之方法,其進一步包含下列步驟:扭曲該目前圖框來形成該目前圖框的該穩定化版本。
  3. 如申請專利範圍第1項之方法,其中,產生該等多個候選區塊的步驟包含下列步驟:將該預期新區塊的中心初始化為離位在該目前圖框之一邊緣處的一邊緣區塊半個區塊遠;以及從該預期新區塊之中心開始,識別出:a.由該邊緣區塊之移動向量所指示的一區塊;b.由與該邊緣區塊相鄰的一第一邊緣區塊之移動向量所指示的一區塊;c.由與該邊緣區塊相鄰的一第二邊緣區塊之移動向量所指示的一區塊;d.由為a.至c.之移動向量之均值的一移動向量所指示的一區塊;e.由為a.至c.之移動向量之中數的一移動向量所指示的一區塊;及f.由該總體移動向量所指示的一區塊。
  4. 如申請專利範圍第3項之方法,其中,該等多個候選區塊包含區塊a.至f.的多個集合,當中,對於該等多個集合的判定係與各別的多個鄰近該目前圖框之圖框有關。
  5. 如申請專利範圍第1項之方法,其中,選擇之步驟包含下列步驟:在所選出的該候選區塊設置好後,利用所選出的該候選區塊來將在該目前圖框與該外邊界之間的區域填補到取決於所選出之該候選區塊之移動向量的x或y座標的一程度。
  6. 如申請專利範圍第5項之方法,其中,選擇之步驟進一步包含下列步驟:選擇可獲得在所選出之該候選區塊與該邊緣區塊之重疊邊界間之就亮度及彩度成分而言的最小絕對差值和(SAD)的候選區塊。
  7. 一種用於視訊穩定化的系統,其包含:一處理器;以及與該處理器通訊的一記憶體,其中,該記憶體儲存有多個處理指令,該等處理指令受組織來引導該處理器進行下列步驟:判定針對要穩定化的一目前圖框的數個總體移動參數;針對該目前圖框的多個邊緣區塊各計算一移動向量,其中,對於各個邊緣區塊移動向量的計算係與鄰近圖框有關,並且此步驟包含下列步驟:使用藉由該等總體移動參數所預測出的一總體移動向量的一半來針對該邊緣區塊的移動向量而初始化一搜尋區,在該邊緣區塊週圍的一鄰近區域中進行搜尋,與針對該邊緣區塊而識別出一移動向量,其中,所識別出的該移動向量會使得在該邊緣區塊與一參考區塊之間的絕對差值和(SAD)最小化; 針對超出該目前圖框的一預期新區塊,利用所計算出的該等邊緣區塊移動向量及該總體移動向量來產生多個候選區塊;及自該等多個候選區塊中選出一候選區塊來作為新區塊,其中,所選出的該候選區塊至少部分係設置在該目前圖框之一穩定化版本的外邊界之內。
  8. 如申請專利範圍第8項之系統,其中,該記憶體進一步儲存有受組織來引導該處理器進行下列步驟的處理指令:扭曲該目前圖框來形成該目前圖框的該穩定化版本。
  9. 如申請專利範圍第7項之系統,其中,受組織來引導該處理器產生多個候選區塊的該等處理指令包含受組織來引導該處理器進行下列步驟的指令:將該預期新區塊的中心初始化為離位在該目前圖框之一邊緣處的一邊緣區塊半個區塊遠;以及從該預期新區塊之中心開始,識別出:a.由該邊緣區塊之移動向量所指示的一區塊;b.由與該邊緣區塊相鄰的一第一邊緣區塊之移動向量所指示的一區塊;c.由與該邊緣區塊相鄰的一第二邊緣區塊之移動向量所指示的一區塊;d.由為a.至c.之移動向量之均值的一移動向量所指示的一區塊; e.由為a.至c.之移動向量之中數的一移動向量所指示的一區塊;及f.由該總體移動向量所指示的一區塊。
  10. 如申請專利範圍第9項之系統,其中,該等多個候選區塊包含區塊a.至f.的多個集合,當中,對於該等多個集合的判定係與各別的多個鄰近該目前圖框之圖框有關。
  11. 如申請專利範圍第7項之系統,其中,受組織來引導該處理器自該等多個候選區塊中選出一候選區塊來作為新區塊的該等處理指令包含受組織來引導該處理器進行下列步驟的指令:在所選出的該候選區塊設置好後,利用所選出的該候選區塊來將在該目前圖框與該外邊界之間的區域填補到取決於所選出之該候選區塊之移動向量的x或y座標的一程度。
  12. 如申請專利範圍第11項之系統,其中,用於引導該處理器自該等多個候選區塊中選擇一候選區塊來作為新區塊的該等處理指令進一步包含受組織來引導該處理器進行下列步驟的指令:選擇可獲得在所選出之該候選區塊與該邊緣區塊之重疊邊界間之就亮度及彩度成分而言的最小絕對差值和(SAD)的候選區塊。
  13. 一種用於視訊穩定化的系統,其包含:一邊緣區塊移動向量計算模組,其係組配來針對一目前圖框的多個邊緣區塊而各計算一移動向量,其中, 對於各個邊緣區塊移動向量的計算係與鄰近圖框有關,並且其中該邊緣區塊移動向量計算模組進一步受組配來進行下列步驟:使用藉由數個總體移動參數所預測出的一總體移動向量的一半來針對各個邊緣區塊的移動向量而初始化一搜尋區,在該邊緣區塊週圍的一鄰近區域中進行搜尋,及針對該邊緣區塊而識別出一移動向量,其中,所識別出的該移動向量會使得在該邊緣區塊與一參考區塊之間的絕對差值和(SAD)最小化;與該邊緣區塊移動向量計算模組通訊的一候選區塊產生模組,其受組配來接收來自該邊緣區塊移動向量計算模組的該等邊緣區塊移動向量,並受組配來針對超出該目前圖框的一預期新區塊而利用所計算出的該等邊緣區塊移動向量及該總體移動向量來產生多個候選區塊;與該候選區塊產生模組通訊的一區塊選擇模組,其受組配來接收來自該候選區塊產生模組的對於該等候選區塊的數個指標,並受組配來選擇一候選區塊;以及與該區塊選擇模組通訊的一邊界匹配模組,其受組配來接收來自該區塊選擇模組的對於所選出之該候選區塊的一指示,並受組配來將所選出之該候選區塊至少部分設置在該目前圖框之一穩定化版本的外邊界之內。
  14. 如申請專利範圍第13項之系統,其中該候選區塊產生模組進一步受組配來進行下列步驟:將該預期新區塊的中心初始化為離位在該目前圖框之一邊緣處的一邊緣區塊半個區塊遠;及從該預期新區塊之中心開始,識別出:a.由該邊緣區塊之移動向量所指示的一區塊;b.由與該邊緣區塊相鄰的一第一邊緣區塊之移動向量所指示的一區塊;c.由與該邊緣區塊相鄰的一第二邊緣區塊之移動向量所指示的一區塊;d.由為a.至c.之移動向量之均值的一移動向量所指示的一區塊;e.由為a.至c.之移動向量之中數的一移動向量所指示的一區塊;及f.由針對該邊緣區塊的一總體移動向量所指示的一區塊。
  15. 如申請專利範圍第14項之系統,其中,該等多個候選區塊包含區塊a.至f.的多個集合,當中,對於該等多個集合的判定係與各別的多個鄰近該目前圖框之圖框有關。
  16. 如申請專利範圍第13項之系統,其中,該區塊選擇模組進一步受組配來進行下列步驟:選擇可獲得在所選出之該候選區塊與該邊緣區塊之重疊邊界間之就亮度及彩度成分而言的最小絕對差值和(SAD)的候選區塊。
  17. 如申請專利範圍第13項之系統,其中該邊界匹配模組進一步受組配來進行下列步驟:在所選出之該候選區塊設置好後,利用所選出的該候選區塊來將在該目前圖框與該外邊界之間的區域填補到取決於所選出之該候選區塊之移動向量的x或y座標的一程度。
  18. 一種包括儲存有電腦程式邏輯在內之電腦可讀媒體的電腦程式產品,該電腦程式邏輯包括:用以致使一處理器判定針對要穩定化的一目前圖框的數個總體移動參數的邏輯;用以致使一處理器針對該目前圖框的多個邊緣區塊而各計算一移動向量的邏輯,其中,對於該等移動向量的計算係與鄰近圖框有關,並且此邏輯包含:用以致使該處理器使用藉由該等總體移動參數所預測出的一總體移動向量的一半來針對該邊緣區塊移動向量而初始化一搜尋區的邏輯,用以致使該處理器在該邊緣區塊週圍的一鄰近區域中進行搜尋的邏輯,及用以致使該處理器針對該邊緣區塊而識別出該移動向量的邏輯,其中,所識別出的該移動向量會使得在該邊緣區塊與一參考區塊之間的絕對差值和(SAD)最小化;用以致使一處理器針對超出該目前圖框的一預期新區塊而利用所計算出的該等邊緣區塊移動向量及該 總體移動向量來產生多個候選區塊的邏輯;以及用以致使一處理器自該等多個候選區塊中選出一候選區塊來作為新區塊的邏輯,其中,所選出的該候選區塊至少部分係設置在該目前圖框之一穩定化版本的外邊界之內。
  19. 如申請專利範圍第18項之電腦程式產品,其中,用以致使該處理器利用該總體移動向量及所計算出之該移動向量而產生多個候選區塊的該邏輯包含:用以致使該處理器將該預期新區塊的中心初始化為離該目前圖框之一邊緣半個區塊遠的邏輯;以及用以致使該處理器從該預期新區塊之中心開始識別出下列區塊的邏輯:a.由該邊緣區塊之移動向量所指示的一區塊;b.由與該邊緣區塊相鄰的一第一邊緣區塊之移動向量所指示的一區塊;c.由與該邊緣區塊相鄰的一第二邊緣區塊之移動向量所指示的一區塊;d.由為a.至c.之移動向量之均值的一移動向量所指示的一區塊;e.由為a.至c.之移動向量之中數的一移動向量所指示的一區塊;及f.由該總體移動向量所指示的一區塊。
  20. 如申請專利範圍第19項之電腦程式產品,其中,該等多個候選區塊包含區塊a.至f.的多個集合,當中,對於該 等多個集合的判定係與各別的多個鄰近該目前圖框之圖框有關。
  21. 如申請專利範圍第18項之電腦程式產品,其進一步包含:用以致使該處理器在所選出之該候選區塊設置好後利用所選出的該候選區塊來將在該目前圖框與該外邊界之間的區域填補到取決於所選出之該候選區塊之移動向量的x或y座標的一程度的邏輯。
  22. 如申請專利範圍第18項之電腦程式產品,其中,用以致使一處理器選出一候選區塊來作為新區塊的該邏輯進一步包含:用以致使該處理器選擇可獲得在所選出之該候選區塊與該邊緣區塊之重疊邊界間之就亮度及彩度成分而言的最小絕對差值和(SAD)的該候選區塊的邏輯。
TW099139488A 2009-12-22 2010-11-17 用以實現視訊穩定化之方法與裝置 TWI449417B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/644,825 US20110150093A1 (en) 2009-12-22 2009-12-22 Methods and apparatus for completion of video stabilization

Publications (2)

Publication Number Publication Date
TW201208361A TW201208361A (en) 2012-02-16
TWI449417B true TWI449417B (zh) 2014-08-11

Family

ID=43500872

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099139488A TWI449417B (zh) 2009-12-22 2010-11-17 用以實現視訊穩定化之方法與裝置

Country Status (4)

Country Link
US (1) US20110150093A1 (zh)
CN (1) CN102123244B (zh)
GB (1) GB2476535B (zh)
TW (1) TWI449417B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724854B2 (en) 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
TWI469062B (zh) * 2011-11-11 2015-01-11 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
CN102665033B (zh) * 2012-05-07 2013-05-22 长沙景嘉微电子股份有限公司 基于分层块匹配的实时数字视频稳像方法
US8673493B2 (en) * 2012-05-29 2014-03-18 Toyota Motor Engineering & Manufacturing North America, Inc. Indium-tin binary anodes for rechargeable magnesium-ion batteries
US8982938B2 (en) * 2012-12-13 2015-03-17 Intel Corporation Distortion measurement for limiting jitter in PAM transmitters
CN103139568B (zh) * 2013-02-05 2016-05-04 上海交通大学 基于稀疏度和保真度约束的视频稳像方法
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
CN104469086B (zh) * 2014-12-19 2017-06-20 北京奇艺世纪科技有限公司 一种视频去抖动方法及装置
US9525821B2 (en) 2015-03-09 2016-12-20 Microsoft Technology Licensing, Llc Video stabilization
US10506248B2 (en) * 2016-06-30 2019-12-10 Facebook, Inc. Foreground detection for video stabilization
CN108596963B (zh) * 2018-04-25 2020-10-30 珠海全志科技股份有限公司 图像特征点的匹配、视差提取和深度信息提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040028133A1 (en) * 2002-08-06 2004-02-12 Raghavan Subramaniyan Method and apparatus for performing high quality fast predictive motion search
TW200540678A (en) * 2004-06-15 2005-12-16 Ulead Systems Inc Video stabilization method, and computer readable medium thereof
US20060257042A1 (en) * 2005-05-13 2006-11-16 Microsoft Corporation Video enhancement

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227896B2 (en) * 2001-10-04 2007-06-05 Sharp Laboratories Of America, Inc. Method and apparatus for global motion estimation
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
FR2882160B1 (fr) * 2005-02-17 2007-06-15 St Microelectronics Sa Procede de capture d'images comprenant une mesure de mouvements locaux
JP3862728B2 (ja) * 2005-03-24 2006-12-27 三菱電機株式会社 画像動きベクトル検出装置
US8134603B2 (en) * 2005-08-12 2012-03-13 Nxp B.V. Method and system for digital image stabilization
CN101558637B (zh) * 2007-03-20 2011-10-19 松下电器产业株式会社 摄像装置以及摄像方法
CN101340539A (zh) * 2007-07-06 2009-01-07 北京大学软件与微电子学院 利用运动矢量和图像边缘检测去交织视频处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040028133A1 (en) * 2002-08-06 2004-02-12 Raghavan Subramaniyan Method and apparatus for performing high quality fast predictive motion search
TW200540678A (en) * 2004-06-15 2005-12-16 Ulead Systems Inc Video stabilization method, and computer readable medium thereof
US20060257042A1 (en) * 2005-05-13 2006-11-16 Microsoft Corporation Video enhancement

Also Published As

Publication number Publication date
CN102123244B (zh) 2016-06-01
US20110150093A1 (en) 2011-06-23
GB2476535B (en) 2013-08-28
GB2476535A (en) 2011-06-29
GB201020294D0 (en) 2011-01-12
CN102123244A (zh) 2011-07-13
TW201208361A (en) 2012-02-16

Similar Documents

Publication Publication Date Title
TWI449417B (zh) 用以實現視訊穩定化之方法與裝置
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
US6583823B1 (en) Methods, apparatuses, and mediums for repairing a pixel associated with motion-picture processes
JP2005100407A (ja) 複数のソース画像からパノラマ画像を作成するシステム及び方法
US20170316597A1 (en) Texturing a three-dimensional scanned model with localized patch colors
JP2010218548A (ja) 仮想画像を合成する方法
JP2010034696A (ja) 解像度変換装置、方法およびプログラム
US9449367B2 (en) Parallel processor for providing high resolution frames from low resolution frames
JP2008512767A (ja) 一般的な2次元空間変換の表現システム及び方法
TW201123073A (en) Image processing apparatus, image processing method, and program
WO2017096814A1 (zh) 一种图像处理方法及装置
US20120133786A1 (en) Image processing method and image processing device
WO2018039936A1 (en) Fast uv atlas generation and texture mapping
Lee et al. Fast 3D video stabilization using ROI-based warping
JP4360177B2 (ja) 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
KR101105675B1 (ko) 영상 데이터 인페인팅 방법 및 장치
US7894529B2 (en) Method and device for determining motion vectors
JP5728399B2 (ja) 計測装置、方法及びプログラム
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
JP4453202B2 (ja) 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体
JP6854629B2 (ja) 画像処理装置、画像処理方法
CN111626935B (zh) 像素图缩放方法、游戏内容生成方法及装置
JP4419500B2 (ja) 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
JP2019164619A (ja) レイキャスティングプログラム、探索制御データ、探索制御データ生成方法、レイキャスティング装置
JP4767313B2 (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees