TW201616859A - 同屬平台視訊影像穩定 - Google Patents

同屬平台視訊影像穩定 Download PDF

Info

Publication number
TW201616859A
TW201616859A TW104133387A TW104133387A TW201616859A TW 201616859 A TW201616859 A TW 201616859A TW 104133387 A TW104133387 A TW 104133387A TW 104133387 A TW104133387 A TW 104133387A TW 201616859 A TW201616859 A TW 201616859A
Authority
TW
Taiwan
Prior art keywords
video
motion
computing device
stabilization
frame
Prior art date
Application number
TW104133387A
Other languages
English (en)
Other versions
TWI568262B (zh
Inventor
吳勇軍
鮑里索夫尼古拉
趙偉東
薩瓦尼希亞姆
湯普迪納非恩
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201616859A publication Critical patent/TW201616859A/zh
Application granted granted Critical
Publication of TWI568262B publication Critical patent/TWI568262B/zh

Links

Classifications

    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

視訊影像穩定在一用於計算裝置之同屬平台上提供較佳效能，其係藉由評估可用之多媒體數位信號處理組件，且根據一用於視訊穩定效能之階層結構選擇可用組件以用於處理視訊穩定的部分。視訊穩定具有經改良運動向量估計，其根據一自該等視訊訊框之一降低取樣解析度版本開始的金字塔區塊結構關係利用細化運動向量搜尋。視訊穩定性亦改良全域運動轉換估計，其係藉由施行一隨機取樣一致方法用於處理局部運動向量，及用於運動向量可靠度之選擇準則。視訊穩定藉由具有與誤差偵測與校正的即時之一次(one-pass)、或離線的二次時間平滑化達到平滑地移除手搖動性。

Description

同屬平台視訊影像穩定
本發明係關於同屬平台視訊影像穩定。
視訊相機能力逐漸普遍地併入多用途、小及重量輕的手持電子裝置中，諸如行動電話、小型相機及媒體播放器。與大型專用視訊攝錄像機不同，此等多用途手持裝置典型缺少任何機械或光學機構以減少由於搖動或不穩定之手所致的顫動視訊運動。由於其重量輕及典型使用一廣角鏡頭，多用途手持裝置可能對來自手搖之顫動視訊運動更敏感。此外，因為此等價廉多用途手持裝置之可用性將拍攝視訊之流行性超過業餘及專業視訊攝影者之社群來散播，消費者視訊越來越普遍由在如何拍攝有品質視訊方面受過極少訓練或經驗的使用者產生。消費者中亦逐漸流行透過網際網路經由電子郵件、部落格、視訊分享網站及社群網站來分享短視訊剪接。尤其是對於並非攝影專家或愛好者之該等使用者，視訊剪接經常係上傳至網站(有時直接從視訊擷取裝置)而無任何編輯或其他處理。由於此等各種原因，在網路上分享之視訊剪接的品質極經常 是頗不良的，且該視訊剪接普遍受手搖之顫動視訊運動的影響。
數位視訊影像穩定是一種可應用於視訊以校正來自手搖之顫動視訊運動的數位信號處理技術。在一範例性實施方案中，該技術涉及計算視訊序列之各影像的巨集區塊相對於其先前影像之局部運動估計；處理巨集區塊的局部運動向量以產生由於顫動之全域運動的估計；而後藉由在一與經估計顫動運動相反之方向中數位偏移或扭曲來補償該顫動視訊運動。
已知數位視訊影像穩定之一缺點在於該技術係頗密集計算。當將視訊上傳至一部落格、視訊分享網站或社群網站時，視訊可能自其處理能力變化之裝置上傳。此外，偶然性使用者可能對能即時迅速將其視訊告示於一視訊分享或社群網站更感興趣，使得視訊的任何耗時處理不符合需求。例如，視訊可從一多用途手持裝置直接上傳，例如透過一蜂巢式網路。然而，多用途手持裝置(例如行動電話)經常具有有限的處理資源，或必須與多用途手持裝置的其他能力分享處理資源。或者，亦能將手持裝置連接到一PC、膝上型電腦、筆記型電腦或具有上傳視訊至視訊分享或社群網站之網際網路連接性的類似裝置。然而，此等際網路連接的PC在處理資源方面亦變化極大。另外，在即時之關注方面，在經由一網際網路連接裝置貼告示期間的任何處理延遲可能不符合需求。
由於此等原因，橫跨各種可用計算平台有效地操作之一視訊影像穩定技術將會有用及符合需求。
總之，詳細描述大體上係與用於一視訊序列之影像穩定的數位視訊處理有關。
以下實施方式關於在同屬平台執行視訊穩定之系統及方法，其有效地利用可用的多媒體數位信號處理組件以提供更佳效能。例如，同屬平台上的視訊穩定係在可執行之程式館中編程，程式館提供編程功能以利用可能在具有同屬平台之計算裝置上提供的任何各種多媒體數位信號處理組件。視訊穩定之實施在同屬平台操作，其藉由評估其上執行視訊穩定之計算裝置是否在該計算裝置上有可用之多媒體數位信號處理組件。在同屬平台上之視訊穩定的實施接著根據藉由包括用於視訊影像穩定之至少效能的準則而安排多媒體數位信號處理組件之一階層結構，決定那一個或那些可用的多媒體數位信號處理組件(或多個組件)以利用於處理視訊穩定之一或多個部分。接著該實施處理一視訊以用於視訊影像穩定，包括在視訊影像穩定之處理的該等部分上利用經決定之多媒體數位信號處理組件來執行該等可執行程式館功能。
在以下實施方式中呈現的一些實施中，視訊影像穩定使用局部運動向量估計的一形式，其強調在一視訊訊框之相鄰區塊中的運動向量之一致性。在此局部運動向 量估計中，訊框及其參考訊框被降低取樣一或多次以依複數個解析度形成該訊框及參考訊框之複數個版本。該訊框的一最低解析度版本具有作為一金字塔結構聯結至在該訊框之各較高解析度版本中之對應位置處的一連續較大數目區塊之複數個區塊。運動向量估計程序用該訊框的最低解析度版本開始，使用經聯結之最低解析度版本參考訊框之一完全搜尋來估計該最低解析度版本訊框之區塊的運動向量。然後，對於該訊框的各連續高解析度版本，較高解析度版本訊框之區塊的運動向量係使用一根據金字塔架構從針對先前較低解析度版本訊框的經聯結區塊估計之運動向量開始的細化搜尋而估計。在對於各較高解析度版本重複直到訊框的完全解析度版本以後，此產生用於完全解析度版本訊框的區塊之經估計局部運動向量，其更佳強調在相鄰區塊中之一致性。局部運動向量的此更一致性估計更加地強調訊框的全域運動。
在以下實施方式中呈現的一些實施方案中，視訊影像穩定包括處理運動向量的方式，其更可靠地估計視訊中之訊框的全域運動。此等包括選擇更可靠地反映訊框全域運動之一組運動向量，例如藉由消除圖片邊界上的運動向量，消除產生高運動補償殘餘之運動向量，及具有較低變異之區塊的運動向量。視訊影像穩定亦可包括藉由使用隨機取樣一致方法估計一全域運動轉換的參數來偵測及移除運動向量異常值。視訊影像穩定亦可基於一可更佳 模擬來自手搖之顫動視訊運動的相似性運動模型來估計全域運動轉換。
在以下實施方式中呈現的一些實施方案中，視訊影像穩定亦可使對應於顫動視訊運動的全域運動轉換之估計經受極限臨限值以用於偵測及校正全域運動估計中之誤差。視訊影像穩定將經估計的全域運動轉換之參數與兩極限比較。若超過上限，則重設全域運動轉換之估計。若參數超過下限，則將經估計的全域運動轉換之參數限於其下限。否則，使用經估計之全域運動轉換而不改變。
在以下實施方式中呈現的一些實施中，視訊影像穩定執行針對該等訊框估計的全域運動轉換之時間平滑化。
以下實施方式中呈現視訊影像穩定之變動，其可用於即時重播或轉碼情節，以及適用於離線視訊穩定之變動。在即時模式中，視訊影像穩定可使用局部運動向量之一單次之處理來執行以產生該等訊框的全域運動估計。在離線模式中，視訊影像穩定可在兩次中施行運動向量處理。例如，可用第一運動向量處理發生以收集關於運動向量的統計資訊，例如橫跨視訊片段之場景的訊框之運動向量的機率分佈。可用此統計資訊來調適地決定應用於全域運動轉換估計的極限。亦可將來自一第一次之資訊用於全域運動轉換的時間平滑化。例如，可用該資訊以決定用於時間平滑化的經約束全域最佳化之約束極限。此外， 離線模式中的第一次亦可用於偵測一視訊片段中之場景改變。
此發明內容係提供以簡化形式介紹概念的選擇，其將會在以下實施方式中進一步描述。此發明內容非意欲識別所主張之標的之關鍵特徵或基本特徵，亦非意欲用作決定所主張之標的範疇的輔助。本發明之額外特徵及優點可從參考附圖進行之以下詳細實施例瞭解。
100‧‧‧程序
110-150‧‧‧動作
200‧‧‧程序
210-230‧‧‧步驟
900‧‧‧處理
910-950‧‧‧動作
1000‧‧‧處理
1005-1050‧‧‧動作
1100‧‧‧計算環境
1110‧‧‧中央處理單元
1115‧‧‧多媒體組件
1120‧‧‧記憶體
1130‧‧‧基本組態
1140‧‧‧儲存器
1150‧‧‧輸入裝置
1160‧‧‧輸出裝置
1170‧‧‧通信連接
1180‧‧‧軟體
1200‧‧‧網路環境
1210‧‧‧雲端
1220‧‧‧視訊儲存/分享網站
1230‧‧‧區域電腦
1320‧‧‧A至N裝置
第1圖係用於一同屬平台數位視訊影像穩定技術的方法之一流程圖，其根據一計算效能階層最有效地利用可用多媒體數位信號處理組件。
第2圖係一三部分數位視訊影像穩定程序之一流程圖，其根據第1圖之階層式利用程序來利用目標計算裝置之可用多媒體數位信號處理組件。
第3圖係一說明用於以金字塔區塊為主之局部運動估計的一視訊訊框之降低取樣的圖式。
第4、5、6及7圖係說明用於以金字塔區塊為主之局部運動估計的一實例視訊訊框之處理的圖式。
第8圖係一說明全域運動轉換模型之圖式，其包括用於數位視訊影像穩定之全域運動轉換的一相似性模型。
第9圖係一說明針對一視訊訊框之運動向量的一單次之處理以估計由於手搖之顫動運動的一全域運動轉換，例如用於一即時模式數位視訊影像穩定。
第10圖係一說明針對一視訊訊框之運動向量的二次之處理以估計由於手搖之顫動運動的全域運動轉換之流程圖，其諸如用於一離線模式數位視訊影像穩定。
第11圖係其中可實現數位視訊影像穩定技術之一計算環境的方塊圖。
第12及13圖係一其中可實現數位視訊影像穩定技術之一雲端計算網路環境的方塊圖。
以下實施方式關注於提供數位視訊影像穩定之系統及技術，且尤其更關注於可於一同屬計算硬體平台上操作之數位視訊影像穩定技術，同時有效地利用可用的多媒體數位信號處理(DSP)硬體組件。該數位影像穩定技術可橫跨各種硬體裝置實現，包括手持及可攜式計算裝置、視訊相機、行動電話、娛樂控制台(如，視訊遊戲控制台及電視機機上盒)、各種網路客戶端電腦(如，個人電腦、膝上型電腦、筆記型電腦及平板電腦)、以及伺服器電腦。數位視訊影像穩定技術亦可用於各種用途及計算方式，包括在一專用視訊擷取裝置上之視訊處理、在一單獨電腦上的視訊處理、在一網路客戶端電腦上之視訊處理、及在一伺服器電腦上的視訊處理。此外，數位視訊影像穩 定技術的各種部分可在多計算裝置上平行或協作地執行，例如尤其在一客戶端/伺服器、網路「雲端」服務或同級計算配置。因此，應認知該等技術可在許多不同電子及計算裝置上實現，包括終端使用者消費者操作之裝置、以及可提供技術作為供應予顧客之服務的部分的伺服器電腦兩者。
用於數位視訊影像穩定之同屬平台上的多媒體DSP組件之階層化選擇
視訊之處理且更特別是本文所述之數位視訊影像穩定技術的處理，係不可避免地密集計算。另一方面，數位視訊影像穩定技術可在各種計算裝置上實現，多媒體處理硬體組件的其組態架構彼此可大幅度變化。在此描述之數位視訊影像穩定技術實現較佳潛在效能及品質之一方式係該等技術評估目標計算裝置(該等技術在其上執行)，及選擇以根據一依考慮效能、品質、電力消耗、符合性及強健性之一或多個態樣的方式，來利用可用的多媒體處理組件。依此方法，數位視訊影像穩定技術係針對一同屬操作平台發展，而後經調適以最佳地利用實際目標計算硬體(該等技術在其上執行)的多媒體處理能力。
在一實例實施方案中，下文描述的數位視訊影像穩定技術係在待於一計算裝置(更詳細描述於下)上執行的一可執行程式中實施，諸如一動態連結程式館檔案(DLL)或作為一應用程式可執行檔案。當實施作為一DLL或其他可執行程式館檔案時，可執行程式實施數位 視訊影像穩定技術成為一組程式館功能，及為應用程式提供一程式化介面以使數位視訊影像穩定功能性之程式化使用藉由可執行程式實施。可執行程式於一同屬平台或計算環境上執行，即該可執行程式可在包括變化之多媒體數位信號處理(DSP)組件的各種電腦及計算裝置上執行。
參考第1圖，數位視訊影像穩定程式館程式包括：程式化以使用可能在目標計算裝置(程式在其上執行)上可用的各種多媒體DSP組件針對數位視訊影像穩定施行視訊處理。該程式接著調適以經由多媒體利用階層程序100最佳地利用多媒體DSP組件。在此程序100之一第一動作110中，程式館程式評估目標計算系統或裝置的多媒體DSP組件(該程式已安裝於其上且執行中)。程式館程式可藉由進行對於一作業系統服務之一呼叫以用於查詢系統資訊，藉由檢驗記錄在一暫存器或其他系統資料庫中之系統資訊，藉由呼叫與多媒體DSP組件聯結之程式化介面，藉由試圖存取到多媒體DSP組件或藉由其他相似方式以存取系統資訊及/或查詢硬體組件的存在，來施行此評估。
基於動作110中之估計結果，程式館程式接著根據該處理階層從經決定可用於目標計算裝置上的多媒體DSP組件中選擇。在所說明的實例中，首先程式館程式選擇以利用經調適用於目標計算裝置中之多媒體DSP的任何可用ASIC單元，如動作120至121中顯示。目前可市購之此ASIC單元的實例包括：來自Intel(名為 Larrabee)及Nvidia(名為Tesla)之視訊卡。若無此等ASIC單元可用在目標裝置上，程式館程式其次選擇利用目標裝置上具有著色器能力之任何可用的圖形處理單元，如動作130至131中所顯示。若不存在ASIC或GPU著色器組件，程式館程式選擇以利用具有先進多媒體指令集(如，SSEx指令)之任何可用多核心處理器或中央處理單元。最後，若在目標裝置上無此等較高效能多媒體DSP組件可用，程式館程式返回以使用C/C++程式化在一單一核心CPU上施行數位視訊影像穩定技術之視訊處理，如動作150中顯示。在其他替代實施方案中，可基於用於在可市購之同屬平台的計算裝置硬體中可用的多媒體DSP組件之效能、品質、電力消耗、符合性及強健性之上述態樣的考慮，來使用多媒體DSP組件之其他階層。此等替代實施方案可包括：比在經說明之階層式多媒體DSP利用程序100中較少或額外的多媒體DSP組件。
同屬平台上之數位視訊影像穩定
如第2圖中說明，數位視訊影像穩定技術施行一主題視訊的處理涉及大體上三部分：局部運動估計210、運動向量處理以估計一對應於來自手搖之視訊顫動的全域運動轉換220，及影像扭曲以補償視訊顫動運動230。局部運動估計210及影像扭曲230須密集計算，及更理想係使用自根據第1圖中顯示及以上討論之階層式DSP利用所選擇之目標計算裝置上的任何可用的多媒體DSP組件之選擇進行。例如，局部運動估計210的特別適 合於處理利用GPU著色器之一形式可在程式館程式中實施，及當目標計算裝置之其可用多媒體DSP組件中具有一GPU著色器能力時用以完成數位視訊影像穩定之局部運動估計部分。另一方面，程式館程式可包括功能性以當經評估之目標計算裝置被決定擁有其可用多媒體DSP組件中之能力時，使用一D3D API呼叫施行影像扭曲230。第二部分220，處理局部運動向量以估計全域運動轉換係在實例實施方案中於CPU上完成。
在GPGPU上的以金字塔區塊為主之ME
在一實例實施方案中，用於數位視訊影像穩定之程式館程式包括程式化以使用第3至7圖中說明尤其充分適用於處理一GPU著色器之一以金字塔區塊為主之運動估計技術來實施局部運動估計210(當藉由以上討論的程序100決定可用在目標計算裝置上時)。當與針對完全解析度視訊訊框之諸區塊的個別估計局部運動比較，以金字塔區塊為主之運動估計技術亦強調視訊訊框的全域運動，其充分適合於針對數位視訊影像穩定而估計視訊訊框的總體全域運動。
以金字塔區塊為主之運動估計施行相對於一參考訊框之視訊的各訊框之運動估計。一般而言，參考訊框係視訊序列中之一連序訊框(如，緊鄰訊框之前或之後)。或者，每個第三訊框可用作視訊之下兩個訊框的參考，或可做出參考訊框的其他選擇。為了運動估計，視訊訊框被分成諸區塊的一規則性柵格，且運動估計計算一運 動向量、或視訊訊框之各區塊相對於參考訊框中的緊密匹配影像內容的位移。
以金字塔區塊為主之運動估計藉由使用計算裝置之GPU上的一降低取樣著色器而重複減半降低取樣該視訊訊框及其參考訊框兩者的解析度。在第3圖顯示的實例中，視訊訊框及參考訊框係減半降低取樣三次以依完全解析度、1/2解析度、1/4解析度及1/8解析度產生視訊訊框及參考訊框的諸版本。視訊訊框及參考訊框可根據計算裝置的可用影像緩衝器空間與處理資源取決於視訊訊框的大小與原始解析度，而在解析度方面降低取樣一固定次數，或可降低取樣一可變次數。或者，該視訊訊框及參考訊框可比第3圖中顯示之實例降低取樣較少或較多次。應理解第3圖中說明的實例僅用於說明，且由數位視訊影像穩定技術處理的實際視訊訊框大體上將比所示實例具有更大量像素及更高原始解析度。
對於視訊訊框的各解析度，以金字塔區塊為主之運動估計將視訊訊框分成諸區塊的一柵格。相同大小的區塊用於各解析度。較佳係一相對較大的區塊大小，諸如使用16 x 16或8 x 8像素。依此方法，最低解析度影像之各區塊將在下一較高解析度影像中的對應位置處分成相同區塊大小的4區塊，其有效地將在最低解析度影像中之區塊的一金字塔結構或階層關係提供至在較高解析度影像中的對應位置者。為了描述的目的，視訊訊框之在對於1/8解析度影像之左上區塊之一金字塔結構關係中的較 高解析度版本中的區塊(即，1/1、1/2及1/4解析度)係顯示在第3圖中之粗線邊界之內。
其次，以金字塔區塊為主之運動估計基於在整個完全參考訊框之最低解析度影像中的各區塊上之絕對差之和(SAD)上施行一完全搜尋，以發現在參考訊框中匹配影像內容的一位置。此在對應於其自參考訊框中的匹配影像內容位移之最低解析度視訊訊框中之各區塊的一局部運動向量。此完全搜尋僅在第4圖中顯示之視訊訊框及參考訊框的最低解析度版本處施行。
如第5至7圖中舉例，以金字塔區塊為主之運動估計接著相對於參考訊框在視訊訊框的各連續較高解析度版本處施行細化運動估計搜尋直至原始解析度視訊訊框。如前述，一較低解析度影像的各區塊分成在該視訊訊框之下一較高解析度版本的對應位置處的四區塊。經由對於最低解析度影像中之區塊的運動估計搜尋所計算的運動向量係用作對視訊訊框的下一較高解析度版本處之金字塔結構中之四區塊的各者之細化運動估計搜尋的起點。使用最低解析度視訊訊框中的區塊相對於下一較高解析度視訊訊框中之四對應區塊的金字塔結構關係之此細化搜尋強調：相鄰區塊中之運動估計計算方面的一致性。因為細化搜尋係針對視訊訊框的各連續較高解析度版本重複，此強調相鄰者中的一致性對於原始解析度影像中的區塊提供一更一致的局部運動向量集，其作為以下討論之全域運動轉換估計的基礎。
一旦GPU著色器依原始視訊訊框解析度完成局部運動估計，用於原始解析度視訊訊框之各區塊的運動向量連同差值結果和變異被複製至用於全域運動轉換估計的CPU。
全域運動轉換估計之運動向量處理
再次參考第2圖，運動向量處理以估計在一實例實施方案中的數位視訊影像穩定程序200之全域運動轉換部分220是在計算裝置的中央處理單元(CPU)上施行。數位視訊影像穩定技術可使用運動向量處理的一單次模式，其適用於一在視訊重播、視訊串流或傳輸期間之即時處理。或者，可使用運動向量處理之二次模式，其以增加計算時間之代價提供更佳視訊穩定品質。因此，二次模式可能更適用於離線視訊處理情節，其不易受即時視訊重播之時間約束影響，且為此需求一高視訊穩定品質。
第8圖說明各種全域運動轉換模型，其可用來估計來自手搖之顫動視訊運動，包括平移相似性、歐幾里德、投射及仿射運動轉換模型。在此呈現的一實例實施方案中，運動向量處理使用相似性全域轉換模型，其中平移、旋轉及縮放參數如以下方程式(1)中顯示： 其中x與y係原始位置，x’與y’係經轉換位置，且s、β、tx、ty分別係縮放、旋轉及平移參數。
一般而言，大多數使用者將僅經歷平移、縮放、及旋轉方面之搖動運動影響。因此，相似性運動轉換模型充分適配視訊穩定之應用以模擬相機操作員的手搖。然而，全域運動轉換估計的替代實施方案可使用其他模型，其模擬來自手搖之視訊顫動的額外或較少態樣。
即時模式之一次運動向量處理
第9圖說明用於估計視訊訊框之全域運動轉換之一次運動向量處理900的一實例實施方案，其係適用於一即時處理模式。運動向量處理係應用至用於一視訊序列中之一場景的各視訊訊框之運動向量，諸如經由上述以金字塔區塊為主之運動估計所產生者。該實例實施方案藉由接收一視訊訊框之運動向量的資訊在動作910開始。此外，實例運動向量處理900亦接收相對於在參考訊框中的運動向量位置處的其匹配區塊之各區塊的殘餘值的資訊，其係在運動向量估計期間計算出之絕對差之和(SAD)值。此外，實例運動向量處理900接收到視訊訊框中之原始區塊的影像內容中變異的一值，其亦可在運動向量估計期間計算出。
在動作920中，一次之運動向量處理900選擇一組更可靠的運動向量，其作為全域運動轉換估計的基礎。在一實例實施方案中，該一次運動向量處理900基於三規則來選擇運動向量。首先，圖片邊界上的運動向量可能不可靠，且因此不選擇。例如，在逐訊框之相機運動後，邊界區塊處的圖片內容可能部分地遺失。第二，在一區塊 之運動補償後的一大殘餘誤差(如，用於該區塊之SAD值係大)可能指示不可靠運動估計。因此亦不選擇用於具有大運動補償殘餘之區塊的運動向量(如藉由在用於該區塊之運動估計期間計算出的大SAD值指示)。第三，用於具有低原始變異之區塊的運動估計可能不可靠，因此亦不選擇用於此等區塊的運動向量。在替代實施方案中，處理900可基於可靠性的較少或額外準則選擇該組運動向量。
在動作930中，運動向量處理900基於在動作920中選擇的運動向量，計算各訊框之全域運動轉換的一估計。在一實例實施方案中，全域運動轉換係使用用於以上討論的相似性全域運動模型之方程式(1)估計。或者，全域運動轉換可基於另一運動模型估計。為了估計全域運動轉換，運動向量處理900使用一隨機取樣一致(RANSAC)方法以偵測及消除係異常值的運動向量。更特定言之，在RANSAC方法中，兩運動向量係從在動作920中選擇的該組運動向量中隨機地選擇。運動向量處理接著使用最小均方誤差(LMSE)擬合來解出方程式(1)以決定用於兩個經隨機選擇的運動向量之s、β、tx、ty參數值。RANSAC方法接著決定亦與全域運動轉換方程式參數的解答一致的一些其他運動向量。RANSAC方法重複其他對之運動向量的隨機選擇，直到找到與解答一致的一最大群運動向量。此消除被視為異常值或與用於全域運動轉換之參數的一致LMSE解答不一致的運動向量。
在動作940至944中，運動向量處理藉由使全域運動轉換參數之估計經受兩極限而施行誤差偵測及校正，兩極限係用於縮放、旋轉及平移運動的各者。在流程圖中，兩極限係指示為一下限(T1x)及一上限(T2x)，其中T1x<T2x，且x表示縮放、旋轉或平移。兩極限可透過一顯現顫動視訊運動之視訊的代表性大樣本上的實驗經驗性導出，及表示作為係代表顫動視訊運動之全域運動的一統計機率。如動作940至944中顯示，若全域運動轉換參數(s,β,tx,ty)小於其下限，則使用如動作930中估計之全域運動轉換。否則，若用於縮放、旋轉及平移之全域運動轉換參數超過下限，但仍小於一上限，則運動向量處理限制全域運動轉換至如動作943處顯示的下限。若在動作930處估計之全域運動轉換超出上限，則重設全域運動轉換。因此此等動作意欲偵測並非來自一手搖之顫動視訊運動視訊的特徵之過量全域運動，然後自過補償上校正。
運動向量處理900之一最後動作950將時間平滑化應用至全域運動轉換。在一實例實施方案中，用於一場景之一序列視訊訊框的全域運動轉換估計係藉由一31分接高斯過濾器過濾，如以下方程式(2)中顯示。
記法(W t-1 W t-2...W t-15)-1指反矩陣。在此方程式(2)中，係在時間t處平滑化後之全域運動轉換，且W t-i 係在時間(t-i)處平滑化前之全域運動轉換。值C t-i 係高斯過濾器係數，且I係單 位矩陣。在即時視訊重播或轉譯的情況中，過濾器之此大小造成15圖片的延遲。替代實施方案可使用一更長或更短的過濾器大小，及或者可使用其他類型過濾器，包括一適應過濾器。
離線模式中的二次運動向量處理
全域運動轉換之估計可替代地使用一二次運動向量處理(如在第10圖中顯示之一實例二次運動向量處理1000)，其提供更佳品質之視訊影像穩定但代價係更增加的計算時間。二次處理亦大體上給予使用者較少便利，此係因為使用者被迫等待直到視訊穩定處理結束以見到結果。由於其增加計算負載，二次運動向量處理典型地係較適於執行一離線模式。運動向量處理的二次配置允許誤差偵測及校正的部分，及運動向量處理之時間平滑化部分之較佳最佳化。在一第一次中，運動向量處理可收集額外資訊以用於該處理的此等部分，其可接著應用於第二次之運動向量處理。
如在第10圖中之動作1005處所說明，該二次運動向量處理1000於一第一次期間在視訊片段上施行場景改變偵測。場景改變偵測可使用習知方法施行。接著，在動作1010中，該二次運動向量處理1000對於第一次之場景的各視訊訊框產生全域運動轉換的估計，諸如藉由應用如第9圖中之單次運動向量處理900之動作910、920及930相同的動作。在此第一次中，僅收集全域運動轉換的此等估計以產生統計資訊來較佳地最佳化在一第二次 中之全域運動轉換估計。因此，未將第一次中的全域運動估計直接用於視訊影像穩定程序200之影像扭曲230以補償顫動視訊運動。取而代之的是，在動作1020處，二次運動向量處理1000計算橫跨視訊片段之各場景上的所有訊框的全域運動轉換之最小及最大值，及平移、旋轉及縮放參數的機率分佈(如，smin、smax、βmin、βmax、txmin、txmax、tymin、tymax、p(s)、p(β)、p(tx)及p(ty)。或者，可針對視訊片段整體而非每個個別場景收集機率統計。
基於針對各場景中的參數之此等經驗性機率分佈，動作1030處之二次之運動向量處理1000針對全域運動轉換參數(s,β,tx,ty)之各者決定各場景中的下及上限(T1x及T2x)。例如，下及上限可被選擇以對應於某些機率臨限值p1與p2。在一實例中，機率臨限值p1與p2分別係95%及98%。換句話說，在該場景之第一次中觀察到的參數值的95%在極限T1x內；且觀察到參數值的98%在上限T2x下。在替代實施方案中，二次之運動向量處理可基於其他機率臨限值或一些其他以經驗機率為主之準則決定該等極限。此外，下及上限可藉由硬極限定界。如與第9圖中之單次運動向量處理900相比，基於視訊的經驗機率統計學之參數極限(T1x及T2x)之此設定允許應用至全域運動轉換之誤差校正與偵測以調適至特定內容。
於動作1030處，二次之運動向量處理1000接著施行運動向量處理的一第二次。對於此第二次，處理1000施行如在單次之運動向量處理900的動作910、920、930及940至944中所進行之處理。至於應用於此第二次之動作940至944的極限(T1x及T2x)，二次程序使用基於在第一次中收集到之視訊的機率統計所決定之極限。因為此等極限被調適至主題視訊的內容，故二次之運動向量處理1000應使用此等調適極限施行更佳品質的誤差偵測及校正。
二次之運動向量處理亦藉由在視訊片段上全域地施行時間平滑化而可達到更佳品質的數位視訊影像穩定(與單一次之運動向量處理比較)。在二次之運動向量處理1000的一實例實施方案中，該處理使用一受約束的全域最佳化施行時間平滑化，而非單次之運動向量處理的滑動窗方法。此受約束的全域最佳化的一實例包括決定一用於過平滑化全域運動轉換之約束，其係來自針對N數目的視訊訊框平均全域運動轉換作為對時間平滑化之一上限，其中N可係用於過平滑化之範圍[10，15]中的一值。接著在過平滑化約束下施行一凸最佳化。在一實例實施方案中，可將目標函數(例如一目標函數)指定為，
在目標函數方程式(3)中，第一項指最後平滑轉換Wj應類似於原始轉換及其相鄰者轉換Woi，其中一窗內具有不同加權係數Ci。第二項指最後平滑轉換Wj應 類似於過平滑化Wst，作為一具有加權ρ之約束。值D係一公制距離測量，其可為具有Wj與Woi之四影像角落的經轉換座標間的距離。可應用凸最佳化以使目標函數最小化。
具有全域運動轉換之影像扭曲
再次參考第2圖，數位視訊影像穩定程序200最後基於使用單或二次之運動向量處理220產生的全域運動轉換，施行影像扭曲230。影像扭曲可僅藉由使用GPU D3D API及/或一客製雙立方頂點著色器在GPU中完成，以在與由於顫動視訊運動之全域運動轉換的估計相反之方向中應用一影像扭曲。為了在視訊訊框的邊界提供足夠的視訊內容以允許影像扭曲，視訊訊框在一實例實施方案中係於邊界處剪裁約τ%，其當使用一次處理模式時典型地可為10%且對於二次之處理模式中的不同場景可為一可變(可調適)百分比。此允許一顯示埠藉由影像扭曲在視訊訊框的內容內移動，其接著形成影像穩定視訊用於輸出。
如可從運動向量處理中之動作944理解，當全域運動超過可能僅由於一手搖之顫動視訊運動的數量，經估計的全域運動轉換簡單地重設。依此方法，不會將影像扭曲應用於超過來自手搖的顫動之極限特性的全域視訊運動。取而代之係用其實際運動來播放視訊訊框，沒有任何對於手搖的補償。
實例計算環境
第11圖說明一適合計算環境1100的一通用實例，其中可實施經描述的實施例及技術。例如，計算環境1100可為計算裝置(如，一電腦伺服器、個人電腦、膝上型電腦或其他計算裝置)之一，在其上執行第2圖的數位視訊影像穩定程序200。
計算環境1100非意欲提出任何限制作為技術之用途或功能的範圍，因為該技術可在不同通用或專用計算環境中實施。例如，所揭示的技術可用具有其他電腦系統組態實施，包括手持裝置、多處理器系統、以微處理器為主或可編程的消費者電子元件、網路PC、迷你電腦、大型電腦及類似者。所揭示的技術亦可在其中任務係藉由透過一通信網路連接的遠端處理裝置施行之分佈式計算環境中實踐。在一分佈式計算環境中，程式模組可位於在局部及遠端記憶儲存裝置兩者中。
參考第11圖，計算環境1100包括至少一中央處理單元1110及記憶體1120。在第11圖中，此最基本組態1130包括於虛線內。中央處理單元1110執行電腦可執行指令，且可為一真實或一虛擬處理器。在一多處理系統中，多處理單元執行電腦可執行指令以增加處理能力，及因此多處理器可同時執行。記憶體1120可為揮發性記憶體(如，暫存器、快取記憶體、RAM)、非揮發性記憶體(如，ROM、EEPROM，快閃記憶體等等)，或兩者的一些組合。記憶體1120儲存軟體1180，其可例如實施在此描述的技術。
除了中央處理單元1110以外，計算環境可包括其他處理資源，例如數位訊號處理DSP、或多媒體組件1115。DSP組件1115可為任何資源，其可有利地藉由以上結合第1圖討論之同屬平台程式館實施方案用於數位視訊影像穩定程序。例如，DSP組件可包括多媒體DSP ASCI單元、GPU著色器單元、多核心CPU、用於CPU之先進多媒體指令集及等等。
一計算環境可具有額外特徵。例如，計算環境1100包括儲存器1140，一或多個輸入裝置1150，一或多個輸出裝置1160，及一或多個通信連接1170。諸如一匯流排、一控制器或一網路之一互連機構(未顯示)使計算裝置1100的組件互連。典型地，作業系統軟體(未顯示)為在計算環境1100中執行的其他軟體提供一操作環境，及協調計算環境1100之組件的動作。
儲存器1140可係可移除或非可移除，及包括磁碟、磁帶或卡匣、CD-ROM、CD-RW、DVD或可用來在計算環境1100之內儲存資訊以及可被存取的任何其他媒體。儲存器1140儲存用於軟體1180之指令，其可實施在此描述的技術。
輸入裝置1150可係一觸碰式輸入裝置，如一鍵盤、小鍵盤、滑鼠、筆或軌跡球、一聲音輸入裝置、一掃描裝置或另一裝置，其將輸入提供至計算環境1100。對於音訊，輸入裝置1150可係接受類比或數位形式之音訊輸入的聲音卡或類似裝置，或提供音訊樣本至計算環境 1100的CD-ROM讀取器。輸出裝置1160可為一顯示器、印表機、揚聲器、CD書寫器或提供來自計算環境1100之輸出的另一裝置。
通信連接1170致能透過一通信媒體(如，一連接網路)通信至另一計算實體。通信媒體傳送資訊，諸如電腦可執行指令、壓縮圖形資訊或在經調變資料信號中之其他資料。
電腦可讀媒體係任何可用的媒體，資料及處理器指令可在一計算環境1100之內自其存取。舉例說明且非限制，在所說明之計算環境1100中，電腦可讀媒體包括記憶體1120及/或儲存器1140。如應易於理解，術語「電腦可讀儲存媒體」包括用於儲存資料及程式指令的媒體，例如記憶體1120及儲存器1140，及並非單獨之未經調變資料信號。
實例雲端計算網路環境
第12及13圖說明用於雲端計算之適用網路環境1200的一通用實例，於其中可實踐上述數位視訊影像穩定。
在實例雲端計算網路環境1200中，用於視訊分享、儲存或分佈(如，視訊分享或社群網站)的各種類型計算服務，係藉由網路可存取計算及儲存資源之一集合(稱作雲端1210)提供。例如，雲端1210可包含伺服器計算裝置之一集合，其可集中或在分佈地點定位，其將以雲 端為基礎之服務經由諸如網際網路之一網路提供至各種類型之使用者與裝置。
在實例環境1200中，雲端1210為使用者計算裝置提供服務(例如在其他實例中之視訊儲存、視訊分享或社群網路服務)。可透過雲端計算服務供應者，或透過線上服務的其他供應者在雲端1210中提供服務。例如，以雲端為主的服務可包括一視訊儲存服務、一視訊分享地點、一社群網站或其他服務，使用者來源視訊經由其被分佈用於藉由連接裝置1320A至N上之其他者檢視。
使用者可使用各種行動視訊擷取裝置來記錄視訊，例如視訊攝錄像機、具有視訊模式之數位相機、行動電話及手持計算裝置。使用者可直接(如，使用電信網路之一資料傳輸服務)或藉由首先將視訊轉移至一區域電腦1230(如膝上型、個人電腦或其他網路連接計算裝置)來將視訊上載至雲端1210上的一服務。
如第13圖中顯示，可稍後將視訊自以雲端為主之視訊儲存器或分享網站下載、串流及/或播放至其他連接的電腦裝置，其可具有各種螢幕顯示大小倍數1320A至N。連接裝置1320A表示一具有中等大小顯示螢幕之裝置，諸如可用在一個人電腦、膝上型、平板電腦或其他類似網路連接裝置上。
經連接的裝置1320B表示一具有顯示螢幕之裝置，其具有經設計以高度可攜之形狀因數(如，一小螢 幕)。例如，經連接的裝置1320B可係一行動電話、智慧型電話、個人數位助理及類似者。
經連接的裝置1320N表示一具有大檢視螢幕之連接裝置。例如，經連接的裝置1320N可係一電視螢幕(如，一智慧型電視)或將視訊輸出提供至一電視或一視訊投射器(如，轉頻器或遊戲主控台)之另一裝置，或有相似視訊顯示輸出的其他裝置。
在所說明的雲端計算網路環境1200中，數位視訊影像穩定可在視訊分享、儲存及分佈之各種階段處，且取決於所需使用情節藉由各種經描述的裝置來實施及施行。在一實例情節中，數位視訊影像穩定是在區域電腦1230上之軟體中實施，且當視訊初始轉移到局部電腦或當上至以雲端為主之服務時應用。在另一情節中，數位視訊影像穩定是在雲端中實施，且當其被上傳至且儲存於雲端中應用至視訊。在另一情節中，數位視訊影像穩定是藉由雲端計算服務實施，且當將視訊被播放、轉移或分佈至另一連接裝置或服務時應用。在又另一情節中，數位視訊影像穩定係藉由雲端計算服務實施，及當將視訊轉碼用於依適合解析度呈現時或依適合傳輸頻寬串流用於連接裝置(在其上檢視視訊)時應用。在又其他情節中，可在重播處之連接裝置上施行數位視訊影像穩定。
實例替代及組合
在此描述的任何方法可經由一或多個電腦可讀媒體(如，儲存或其他實存媒體)施行，其包含(如，具 有或儲存)電腦可執行指令用於施行(如，引起一計算裝置施行)此等方法。操作可完全自動化、半自動化、或涉及手動介入。
已描述及說明詳細描述及附圖中之本發明原理，應認知可在不背離此等原理下在配置及細節中修改各種實施例。應理解除非另行表明，否則在此描述的程式、程序或方法不聯結或受限於任何特定類型的計算環境。各種類型的通用或專用計算環境可配合或依據在此描述的教示使用或施行操作。軟體中顯示之實施例的元件可於硬體中實施，且反之亦然。
鑒於可應用本發明的原理之許多可能實施例，本發明者主張可能落入以下申請專利範圍之範疇與精神及其均等內容之所有此等實施例。
100‧‧‧程序
110-150‧‧‧動作

Claims (15)

  1. 一種手持計算裝置，包括：一中央處理單元(CPU)；記憶體；一相機；一圖形處理單元(GPU)，該GPU包含一著色器；及儲存器，該儲存器儲存電腦可執行指令以使該手持計算裝置在被程式化時，針對被該相機擷取的一視訊序列的多個訊框之每一者施行即時數位視訊穩定，包含以下步驟：使用該CPU來評估一運動轉換，該運動轉換代表相關聯於該手持計算裝置手搖的顫動運動；及基於該運動轉換，使用該GPU的該著色器來扭曲該訊框的至少一部分以補償該顫動運動。
  2. 如請求項1所述之手持計算裝置，其中該評估該運動轉換的步驟包含以下步驟：計算一扭曲矩陣，該扭曲矩陣在視訊擷取期間補償該手持計算裝置的旋轉、縮放及平移的其中一者或更多者。
  3. 如請求項1所述之手持計算裝置，其中該即時數位視訊穩定進一步包含以下步驟：在-顯示埠附近形成穩定視訊，針對該視訊序列的 該多個訊框之至少一些的每一者，包含以下步驟：剪裁該訊框之邊界，其中該顯示埠個別取決於該多個訊框之該扭曲。
  4. 如請求項3所述之手持計算裝置，進一步包括一顯示器，其中該儲存器進一步儲存電腦可執行指令以使該手持計算裝置在被程式化時施行以下步驟：將該穩定視訊輸出至該顯示器以重播。
  5. 如請求項3所述之手持計算裝置，其中該儲存器進一步儲存電腦可執行指令以使該手持計算裝置在被程式化時施行以下步驟：起始在至一網路的一連接上將該穩定視訊上傳至一視訊分享地點或社群網站。
  6. 如請求項1所述之手持計算裝置，其中該GPU的該著色器為一頂點著色器。
  7. 一種電腦可讀取記憶體或儲存器裝置，儲存電腦可執行指令以使一計算裝置在被程式化時施行使用即時數位視訊穩定的視訊分享，使用即時數位視訊穩定的該視訊分享包含以下步驟：針對被該計算裝置的一相機擷取的一視訊序列的多個訊框之每一者：評估一運動轉換，該運動轉換代表相關聯於該計算裝置手搖的顫動運動；及 基於該運動轉換，扭曲該訊框的至少一部分以補償該顫動運動；在一顯示埠附近形成穩定視訊，針對該視訊序列的該多個訊框之至少一些的每一者，包含以下步驟：剪裁該訊框之邊界，其中該顯示埠個別地取決於該多個訊框之該扭曲；及起始在至一網路的一連接上將該穩定視訊上傳至一視訊分享地點或社群網站。
  8. 如請求項7所述之電腦可讀取記憶體或儲存器裝置，其中該計算裝置包含具有一頂點著色器的一圖形處理單元(GPU)，且該扭曲使用該GPU的該頂點著色器。
  9. 如請求項7所述之電腦可讀取記憶體或儲存器裝置，其中該即時數位視訊穩定使用單次處理，該單次處理與在該即時數位視訊穩定期間針對穩定視訊的重播或串流的時間約束一致。
  10. 如請求項7所述之電腦可讀取記憶體或儲存器裝置，其中使用即時數位視訊穩定的該視訊分享進一步包含以下步驟：在該評估該運動轉換之步驟期間應用時間平滑化，且其中該時間平滑化包含在不同濾波器大小及/或具有不同延遲的濾波器類型之間作選擇。
  11. 如請求項7所述之電腦可讀取記憶體或儲存器裝置，其中使用即時數位視訊穩定的該視訊分享進一步包含以下步驟：將該運動轉換與一個或更多個臨限值作比較，其中該扭曲的效能取決於滿足該一個或更多個臨限值的該運動轉換。
  12. 如請求項7所述之電腦可讀取記憶體或儲存器裝置，其中一程式館實施該即時數位視訊穩定，且提供用於一應用程式的一程式化介面以使用該即時數位視訊穩定。
  13. 如請求項12所述之電腦可讀取記憶體或儲存器裝置，其中該即時數位視訊穩定進一步包含以下步驟：評估該計算裝置的數位信號處理(DSP)組件；及自該計算裝置的該等DSP組件間，針對該即時數位視訊穩定的不同階段選擇使用該等DSP組件中之何者。
  14. 一種在一計算裝置中使用即時數位視訊穩定的視訊分享的方法，該方法包含以下步驟：針對被該計算裝置的一相機擷取的一視訊序列的多個訊框之每一者：評估一運動轉換，該運動轉換代表相關聯於該計算 裝置手搖的顫動運動；及基於該運動轉換，扭曲該訊框的至少一部分以補償該顫動運動；在一顯示埠附近形成穩定視訊，針對該視訊序列的該多個訊框之至少一些的每一者，包含以下步驟：剪裁該訊框之邊界，其中該顯示埠個別地取決於該多個訊框之該扭曲；及起始在至一網路的一連接上將該穩定視訊上傳至一視訊分享地點或社群網站。
  15. 如請求項14所述之方法，其中該計算裝置包含具有一頂點著色器的一圖形處理單元(GPU)，且其中該扭曲使用該GPU的該頂點著色器。
TW104133387A 2010-02-11 2011-02-01 同屬平台視訊影像穩定 TWI568262B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/704,047 US8896715B2 (en) 2010-02-11 2010-02-11 Generic platform video image stabilization

Publications (2)

Publication Number Publication Date
TW201616859A true TW201616859A (zh) 2016-05-01
TWI568262B TWI568262B (zh) 2017-01-21

Family

ID=44353429

Family Applications (2)

Application Number Title Priority Date Filing Date
TW100103909A TWI517705B (zh) 2010-02-11 2011-02-01 同屬平台視訊影像穩定
TW104133387A TWI568262B (zh) 2010-02-11 2011-02-01 同屬平台視訊影像穩定

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW100103909A TWI517705B (zh) 2010-02-11 2011-02-01 同屬平台視訊影像穩定

Country Status (11)

Country Link
US (4) US8896715B2 (zh)
EP (2) EP2534828B1 (zh)
JP (1) JP5778187B2 (zh)
KR (2) KR101757838B1 (zh)
CN (1) CN102742260B (zh)
AU (1) AU2011216119B2 (zh)
CA (1) CA2786910C (zh)
HK (1) HK1216695A1 (zh)
RU (1) RU2564832C2 (zh)
TW (2) TWI517705B (zh)
WO (1) WO2011100174A2 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US9094617B2 (en) 2011-04-01 2015-07-28 Sharp Laboratories Of America, Inc. Methods and systems for real-time image-capture feedback
US8947453B2 (en) * 2011-04-01 2015-02-03 Sharp Laboratories Of America, Inc. Methods and systems for mobile document acquisition and enhancement
US9824426B2 (en) * 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
CN102497550A (zh) * 2011-12-05 2012-06-13 南京大学 H.264编码中运动补偿插值的并行加速方法及装置
CN103186372B (zh) * 2011-12-29 2017-01-18 上海墨游信息科技有限公司 一种游戏引擎
US9460495B2 (en) * 2012-04-06 2016-10-04 Microsoft Technology Licensing, Llc Joint video stabilization and rolling shutter correction on a generic platform
KR101939628B1 (ko) * 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
US9300873B2 (en) * 2012-06-22 2016-03-29 Apple Inc. Automated tripod detection and handling in video stabilization
US9554042B2 (en) * 2012-09-24 2017-01-24 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
US8941743B2 (en) * 2012-09-24 2015-01-27 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
US9712818B2 (en) * 2013-01-11 2017-07-18 Sony Corporation Method for stabilizing a first sequence of digital image frames and image stabilization unit
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
US9055223B2 (en) * 2013-03-15 2015-06-09 Samsung Electronics Co., Ltd. Digital image stabilization method and imaging device using the same
JP6232730B2 (ja) * 2013-04-16 2017-11-22 セイコーエプソン株式会社 プロジェクターおよび制御方法
US9208131B2 (en) * 2013-05-06 2015-12-08 Sas Institute, Inc. Techniques to simulate statistical tests
CN103297657B (zh) * 2013-05-14 2016-08-10 李小林 一种基于gpu的视频稳定方法
US20150022677A1 (en) * 2013-07-16 2015-01-22 Qualcomm Incorporated System and method for efficient post-processing video stabilization with camera path linearization
US9953400B2 (en) 2013-07-23 2018-04-24 Microsoft Technology Licensing, Llc Adaptive path smoothing for video stabilization
WO2015010244A1 (en) * 2013-07-23 2015-01-29 Microsoft Corporation Adaptive path smoothing for video stabilization
GB201318658D0 (en) 2013-10-22 2013-12-04 Microsoft Corp Controlling resolution of encoded video
AU2013260753A1 (en) * 2013-11-25 2015-06-11 Canon Kabushiki Kaisha Rapid shake detection using a cascade of quad-tree motion detectors
JP6448218B2 (ja) 2014-05-12 2019-01-09 キヤノン株式会社 撮像装置、その制御方法および情報処理システム
IL233684B (en) 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
US9398217B2 (en) 2014-10-15 2016-07-19 Microsoft Technology Licensing, Llc Video stabilization using padded margin pixels
CN105100546A (zh) * 2014-12-31 2015-11-25 天津航天中为数据系统科技有限公司 运动估计方法及装置
US9949093B2 (en) * 2015-01-29 2018-04-17 Dominic M. Kotab System, method, and computer program product for managing a network based on feedback
KR101661476B1 (ko) * 2015-06-04 2016-09-30 숭실대학교산학협력단 비의도 움직임 완화 필터링 기반의 동영상 안정화 방법, 이를 수행하기 위한 기록매체 및 장치
EP3310043A4 (en) * 2015-06-10 2019-01-16 Sony Interactive Entertainment Inc. HEAD-MOUNTED DISPLAY, DISPLAY CONTROL METHOD AND PROGRAM
GB2539241B (en) * 2015-06-11 2019-10-23 Advanced Risc Mach Ltd Video processing system
US10708571B2 (en) * 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
US10043070B2 (en) * 2016-01-29 2018-08-07 Microsoft Technology Licensing, Llc Image-based quality control
US10148880B2 (en) 2016-04-04 2018-12-04 Microsoft Technology Licensing, Llc Method and apparatus for video content stabilization
US10097765B2 (en) 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
US10534503B1 (en) * 2016-06-06 2020-01-14 Google Llc Motion stills experience
US9961261B2 (en) * 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US9916863B1 (en) * 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
US10534837B2 (en) * 2017-11-13 2020-01-14 Samsung Electronics Co., Ltd Apparatus and method of low complexity optimization solver for path smoothing with constraint variation
CN108416382B (zh) * 2018-03-01 2022-04-19 南开大学 一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法
CN108765356A (zh) * 2018-07-26 2018-11-06 杭州拓叭吧科技有限公司 一种防眩晕的模拟驾驶系统、方法及其驾驶舱
US11455705B2 (en) * 2018-09-27 2022-09-27 Qualcomm Incorporated Asynchronous space warp for remotely rendered VR
CN109544584B (zh) * 2018-11-30 2021-03-16 国网智能科技股份有限公司 一种实现巡检稳像精度测量的方法及系统
US10970911B2 (en) * 2019-02-21 2021-04-06 Facebook Technologies, Llc Graphics processing chip with machine-learning based shader
WO2020195232A1 (ja) * 2019-03-28 2020-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US11089220B2 (en) 2019-05-02 2021-08-10 Samsung Electronics Co., Ltd. Electronic test device, method and computer-readable medium
US11470254B1 (en) * 2019-06-21 2022-10-11 Gopro, Inc. Systems and methods for assessing stabilization of videos
CN110430480B (zh) * 2019-08-09 2022-02-18 深圳市迈岭信息技术有限公司 一种流媒体云存储同步的系统和方法
CN110750757B (zh) * 2019-10-29 2023-04-07 哈尔滨工业大学 一种基于灰度线性建模及金字塔分解的图像抖动量计算方法
CN110971895B (zh) * 2019-12-18 2022-07-08 北京百度网讯科技有限公司 视频抖动检测方法和装置
KR20210107958A (ko) 2020-02-24 2021-09-02 삼성전자주식회사 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치
KR20210155284A (ko) * 2020-06-15 2021-12-22 한화테크윈 주식회사 영상처리장치
CN112291561B (zh) * 2020-06-18 2024-03-19 珠海市杰理科技股份有限公司 Hevc最大编码块运动向量计算方法、装置、芯片及存储介质
US10991190B1 (en) 2020-07-20 2021-04-27 Abbott Laboratories Digital pass verification systems and methods
US11436793B1 (en) 2021-02-12 2022-09-06 Facebook Technologies, Llc Systems and methods for graphics rendering based on machine learning
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer
CN113411500B (zh) * 2021-06-18 2024-01-12 上海盈方微电子有限公司 一种全局运动向量估计方法及电子防抖方法
CN116193257B (zh) * 2023-04-21 2023-09-22 成都华域天府数字科技有限公司 一种消除手术视频图像画面抖动的方法

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
JP3734829B2 (ja) 1993-06-04 2006-01-11 サーノフ・コーポレーション 電子画像安定化システム及び方法
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
JP2914320B2 (ja) 1996-09-06 1999-06-28 日本電気株式会社 モジュール切り替え型画像圧縮・再生装置
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6847737B1 (en) 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
US7382927B2 (en) * 1999-01-08 2008-06-03 Sharp Laboratories Of America, Inc. System for constructing mosaic images
US6798843B1 (en) 1999-07-13 2004-09-28 Pmc-Sierra, Inc. Wideband digital predistortion linearizer for nonlinear amplifiers
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6970206B1 (en) * 2000-04-20 2005-11-29 Ati International Srl Method for deinterlacing interlaced video by a graphics processor
US7227896B2 (en) * 2001-10-04 2007-06-05 Sharp Laboratories Of America, Inc. Method and apparatus for global motion estimation
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
EP1376471A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
JP3799326B2 (ja) 2002-12-02 2006-07-19 Ｎｅｃインフロンティア株式会社 パケット送信方式及びパケット受信方式
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP4262014B2 (ja) * 2003-07-31 2009-05-13 キヤノン株式会社 画像撮影装置および画像処理方法
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7817726B2 (en) * 2004-05-21 2010-10-19 Broadcom Corporation System and method for automatic filter generation using sampled SINC function with windowed smoothing
US7649549B2 (en) * 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
US7489341B2 (en) * 2005-01-18 2009-02-10 Primax Electronics Ltd. Method to stabilize digital video motion
EP1869888B1 (en) * 2005-04-13 2016-07-06 Nokia Technologies Oy Method, device and system for effectively coding and decoding of video data
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US7894528B2 (en) * 2005-05-25 2011-02-22 Yissum Research Development Company Of The Hebrew University Of Jerusalem Fast and robust motion computations using direct methods
US7433514B2 (en) * 2005-07-13 2008-10-07 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
US7454136B2 (en) * 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
JP4640032B2 (ja) * 2005-08-11 2011-03-02 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
US7557832B2 (en) * 2005-08-12 2009-07-07 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
JP4775700B2 (ja) 2005-09-05 2011-09-21 カシオ計算機株式会社 画像処理装置及び画像処理方法
US7817151B2 (en) * 2005-10-18 2010-10-19 Via Technologies, Inc. Hardware corrected software vertex shader
TWI296178B (en) 2005-12-12 2008-04-21 Novatek Microelectronics Corp Image vibration-compensating apparatus and the method thereof
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US7929599B2 (en) * 2006-02-24 2011-04-19 Microsoft Corporation Accelerated video encoding
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
JP4620607B2 (ja) * 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
JP2007328693A (ja) * 2006-06-09 2007-12-20 Canon Inc 画像回転装置
US8644643B2 (en) * 2006-06-14 2014-02-04 Qualcomm Incorporated Convolution filtering in a graphics processor
EP2296108B1 (en) 2006-06-15 2012-11-14 Kabushiki Kaisha Toshiba Portable electronic device and control method thereof
US8340185B2 (en) 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
WO2008012822A2 (en) * 2006-07-26 2008-01-31 Human Monitoring Ltd Image stabilizer
JP2008053875A (ja) * 2006-08-23 2008-03-06 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体
US20080112630A1 (en) * 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
US7856246B2 (en) * 2007-03-21 2010-12-21 Nokia Corporation Multi-cell data processor
JP4931223B2 (ja) * 2007-03-30 2012-05-16 株式会社バンダイナムコゲームス 動きベクトル探索プログラム、情報記憶媒体、動きベクトル探索装置、及び、ネットワークシステム
JP4958610B2 (ja) * 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
US8422550B2 (en) * 2007-07-27 2013-04-16 Lagavulin Limited Apparatuses, methods, and systems for a portable, automated contractual image dealer and transmitter
KR101392732B1 (ko) * 2007-08-20 2014-05-08 삼성전자주식회사 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
JP4461165B2 (ja) 2007-09-26 2010-05-12 株式会社東芝 画像処理装置、方法およびプログラム
US8284205B2 (en) * 2007-10-24 2012-10-09 Apple Inc. Methods and apparatuses for load balancing between multiple processing units
US8760450B2 (en) 2007-10-30 2014-06-24 Advanced Micro Devices, Inc. Real-time mesh simplification using the graphics processing unit
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8769207B2 (en) 2008-01-16 2014-07-01 Via Technologies, Inc. Caching method and apparatus for a vertex shader and geometry shader
US8130277B2 (en) * 2008-02-20 2012-03-06 Aricent Group Method and system for intelligent and efficient camera motion estimation for video stabilization
JP2009230537A (ja) * 2008-03-24 2009-10-08 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法、および、電子機器
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
JP5213613B2 (ja) * 2008-09-26 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法及び撮像装置及びプログラム
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
JP4915424B2 (ja) 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体
US8659670B2 (en) * 2009-04-20 2014-02-25 Qualcomm Incorporated Motion information assisted 3A techniques
WO2010123923A1 (en) * 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
US8446433B1 (en) * 2009-06-12 2013-05-21 Lucasfilm Entertainment Company Ltd. Interactive visual distortion processing
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US8531535B2 (en) * 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US8797414B2 (en) * 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US9824426B2 (en) * 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US9460495B2 (en) 2012-04-06 2016-10-04 Microsoft Technology Licensing, Llc Joint video stabilization and rolling shutter correction on a generic platform
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization

Also Published As

Publication number Publication date
US8896715B2 (en) 2014-11-25
HK1216695A1 (zh) 2016-11-25
US20110193978A1 (en) 2011-08-11
US20170094172A1 (en) 2017-03-30
KR20130001215A (ko) 2013-01-03
EP2999210A1 (en) 2016-03-23
US10257421B2 (en) 2019-04-09
JP2013520717A (ja) 2013-06-06
AU2011216119B2 (en) 2014-07-03
US10841494B2 (en) 2020-11-17
RU2012134335A (ru) 2014-02-20
TWI568262B (zh) 2017-01-21
WO2011100174A3 (en) 2011-11-17
EP2534828A2 (en) 2012-12-19
RU2564832C2 (ru) 2015-10-10
KR101757838B1 (ko) 2017-07-26
CN102742260B (zh) 2015-07-15
US20150036010A1 (en) 2015-02-05
US9578240B2 (en) 2017-02-21
KR20150126421A (ko) 2015-11-11
TWI517705B (zh) 2016-01-11
KR101725215B1 (ko) 2017-04-10
US20190297263A1 (en) 2019-09-26
EP2999210B1 (en) 2019-12-04
TW201143398A (en) 2011-12-01
JP5778187B2 (ja) 2015-09-16
CA2786910C (en) 2020-06-30
CA2786910A1 (en) 2011-08-18
EP2534828A4 (en) 2015-03-04
WO2011100174A2 (en) 2011-08-18
CN102742260A (zh) 2012-10-17
EP2534828B1 (en) 2018-12-19
AU2011216119A1 (en) 2012-08-09

Similar Documents

Publication Publication Date Title
TWI568262B (zh) 同屬平台視訊影像穩定
US9824426B2 (en) Reduced latency video stabilization
US10217200B2 (en) Joint video stabilization and rolling shutter correction on a generic platform
US8576295B2 (en) Image processing apparatus and image processing method
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
WO2011129249A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
KR20150132846A (ko) 비디오 안정화를 위한 캐스케이드 카메라 모션 추정, 롤링 셔터 검출 및 카메라 흔들림 검출
Dai et al. Sparse representation-based multiple frame video super-resolution
Gryaditskaya et al. Motion aware exposure bracketing for HDR video
CN113837978B (zh) 图像合成方法、装置、终端设备以及可读存储介质
Bozinovic Practicing super-resolution: what have we learned?
US20120044389A1 (en) Method for generating super resolution image

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees