TW201319954A - 影像穩定方法及影像穩定裝置 - Google Patents
影像穩定方法及影像穩定裝置 Download PDFInfo
- Publication number
- TW201319954A TW201319954A TW100141253A TW100141253A TW201319954A TW 201319954 A TW201319954 A TW 201319954A TW 100141253 A TW100141253 A TW 100141253A TW 100141253 A TW100141253 A TW 100141253A TW 201319954 A TW201319954 A TW 201319954A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- processed
- matrix
- feature point
- feature points
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000006641 stabilisation Effects 0.000 title claims abstract description 57
- 238000011105 stabilization Methods 0.000 title claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 94
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000009499 grossing Methods 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一種影像穩定方法及影像穩定裝置。影像穩定方法包括先採用特徵點偵測法對每一待處理影像進行偵測，藉以偵測出每一待處理影像中的多數個特徵點。並分析在相鄰待處理影像中相同特徵點的對應關係。依據相同特徵點的對應關係計算相鄰待處理影像間的單應性轉換矩陣。再依據已知的特徵點與單應性轉換矩陣計算穩定矩陣與對應每一待處理影像的調整矩陣。分別藉由調整矩陣對每一待處理影像進行補償，藉以產生校正後影像。其中，相鄰校正後影像中的第一影像乘上相同的穩定矩陣後轉換為相鄰校正後影像中的第二影像。
Description
本揭露是有關於一種影像處理方法及影像處理裝置，且特別是有關於一種影像穩定方法及影像穩定裝置。
近來攝影機廣泛架設，除了運用在監控系統之外，亦大量應用於車輛或飛機等移動載具當中。不論應用領域為何，攝影機都暴露在易受外界因素影響的環境中，例如偶發的風吹搖晃或來自移動載具本身的晃動，皆會導致攝影機所拍攝的影像內容因搖晃而造成視覺上的困擾，除此之外更會影響後續影像分析之效能，因此影像穩定遂成為影像處理技術當中的重要課題。
因應攝影機架設環境之不同，大致可分類為固定式攝影機或移動式攝影機。固定式攝影機之影像穩定通常進行簡易之前景與背景比對，將前景出現的移動量去除，意即達到完全停格之目標即可。移動式攝影機本身通常依循一平滑軌跡移動，此平滑軌跡係為使用者欲保留之移動軌跡，不能去除。因此分離影像中的平滑軌跡移動量與搖晃成分移動量即為移動式攝影機探討影像穩定之關鍵議題。
針對估測平滑軌跡之方法，常見之作法有三大方向：第一個方向為使用參數式來近似所觀察到之不平滑軌跡，找尋參數式中近似效果最佳之參數。參數式可為平均化、線性或多項式等，一旦近似效果最佳之參數被決定後，平滑軌跡亦同時被決定，而觀察軌跡中超出此平滑軌跡之成分即被視為搖晃成分，須予以去除。
參數式之缺點有二。其一為模型的限定性，即根據運動模型之不同(如車輛與飛機之差別)，需事先選擇最適用之模型，若選擇出現差錯即導致效果不佳。舉例來說，如針對多項式軌跡難以用線性模型描述，此時若誤選線性模型則導致效果不佳。基此，運動模型之選擇容易耗費許多人力與精神。另一為模型與參數之選定須兼顧平滑軌跡程度與近似程度之兩難，通常近似程度較高則無法達到良好的平滑效果。舉例而言，高階多項式之軌跡彎曲程度較高，較忠於攝影機本身之觀察軌跡，但平滑程度較低。相反地，平滑程度較高則易將攝影機本身之觀察軌跡一併去除。具上所述，如何選擇適當的模型以及調整平滑軌跡程度與近似程度之參數實為一棘手問題。
第二個方向為使用卡曼濾波器(Kalman Filter)來近似所觀察到之不平滑軌跡，利用過去時間點的資料特性來預估未來時間點的資料特性。換句話說，即利用過去時間點的軌跡來預估未來可能的平滑軌跡，並將此平滑軌跡以外的搖晃成份去除。
卡曼濾波器的第一項缺點為過去時間點的資料特性不易完全預測未來時間點的資料特性，而影響估測的穩定度。再者恰當之參數選擇亦是一問題點，因為此法必須設定可容許之平滑振幅參數，若振幅愈小則愈平滑，但易去除攝影機本身之觀察軌跡；振幅愈大則愈忠於攝影機本身之觀察軌跡，但平滑效果受影響。因此如何設定恰當之平滑振幅參數亦為難解的棘手問題。
第三個方向則為前景去除法，此方法主要分析影像內容，將前景移動量與背景移動量分離。此方法因需對影像內容做進一步的運算。此外，當背景劇烈搖晃時，無法清楚區隔前景與背景移動量，可用性相對受限。
綜上所述，一種可找尋攝影機適當的平滑軌跡，並將風吹搖晃、拍攝者的手震等外力因素所造成的搖晃成分去除的影像穩定裝置及影像穩定方法，實為本領域一待解決之問題。
本揭露提供一種影像穩定方法及影像穩定裝置，利用特徵點偵測法與追蹤，計算一單應性轉換，藉以描述從一影像至下一影像之轉換關係，並且使兩相鄰校正後影像間的轉換關係具有一致性，進而達到影像穩定效果。
本揭露提出一種影像穩定方法，其適於處理多數個待處理影像，影像穩定方法包括下列步驟。先採用特徵點偵測法對每一待處理影像進行偵測，藉以偵測出每一待處理影像中的多數個特徵點。並且分析在相鄰待處理影像中相同特徵點的對應關係。此外，依據這些特徵點的對應關係計算相鄰待處理影像間的單應性(homography)轉換矩陣。再依據已知的每一待處理影像中之特徵點與單應性轉換矩陣計算穩定矩陣與對應每一待處理影像的調整矩陣。分別藉由調整矩陣對每一待處理影像進行補償，藉以產生相對應的多數個校正後影像。其中，相鄰校正後影像中的第一影像乘上相同的穩定矩陣後轉換為相鄰校正後影像中的第二影像。
本揭露另提出一種影像穩定裝置，其適於處理多數個待處理影像。影像穩定裝置包括特徵點偵測與分析模組、單應性矩陣運算模組、平滑化估測模組以及影像校正模組。其中，特徵點偵測與分析模組對每一待處理影像進行偵測，藉以偵測出每一待處理影像中的多數個特徵點，並且分析在相鄰待處理影像中相同特徵點的對應關係。單應性矩陣運算模組耦接至特徵點分析模組，依據特徵點的對應關係計算相鄰待處理影像間的單應性轉換矩陣。平滑化估測模組耦接至單應性矩陣運算模組，依據已知的每一待處理影像中之特徵點與單應性轉換矩陣計算穩定矩陣與對應每一待處理影像的調整矩陣。影像校正模組耦接至平滑化估測模組，影像校正模組分別藉由調整矩陣對每一待處理影像進行補償，藉以產生相對應的多數個校正後影像。其中，相鄰校正後影像中的第一影像乘上相同的該穩定矩陣後轉換為相鄰校正後影像中的第二影像。
基於上述，本揭露提出一種影像穩定方法及影像穩定裝置，無須尋找待處理影像進行拍攝時的運動模型或設定影響平滑程度之參數，可避免因參數設定不恰當而導致穩定效果不佳，因此，可適用於各種不同拍攝環境所擷取的待處理影像。
為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施範例，並配合所附圖式作詳細說明如下。
本揭露提出一通用性高之影像穩定技術，使校正後影像之間的轉換關係具有一致性，並且對於轉換的一致性須為何種型式並無限定，因此可適用於各種拍攝環境，在環境改變時亦無須如習知技術所述重新尋找並設定參數。為了使本揭露之內容更為明瞭，以下列舉實施例作為本揭露確實能夠據以實施的範例。所提出的實施例僅作為解說之用，並非用來限定本揭露的申請權利範圍。
圖1是根據本揭露一範例實施例所繪示之影像穩定裝置的方塊圖，請參照圖1。在一範例實施例中，影像穩定裝置例如是攝影機、單眼相機、數位相機等本身具有影像擷取功能之電子裝置，意即可直接利用自身所擷取的影像進行本揭露之影像穩定處理。在另一範例實施例中，影像穩定裝置可不具備影像擷取功能，影像穩定裝置可透過有線或無線等各種傳輸資料模組接收欲處理的多數個待處理影像。接下來詳細說明本揭露之影像穩定裝置。
如圖1所示，影像穩定裝置100包括特徵點偵測與分析模組110、單應性矩陣運算模組120、平滑化估測模組130以及影像校正模組140。其中，單應性矩陣運算模組120耦接至特徵點偵測與分析模組110，而平滑化估測模組130則串接於單應性矩陣運算模組120與影像校正模組140之間。
上述各模組可由軟體、硬體或其組合實作而得，在此不加以限制。軟體例如是應用程式或驅動程式等。硬體例如是中央處理單元(Central Processing Unit,CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)等裝置。
圖2是根據本揭露一範例實施例所繪示之影像穩定方法的流程圖。本範例實施例的方法適用於圖1的影像穩定裝置100，以下即搭配圖1中的各模組說明本範例實施例之影像穩定方法的詳細步驟。
於步驟S210中，特徵點偵測與分析模組110採用特徵點偵測法對每一待處理影像進行偵測，藉以偵測出每一待處理影像中的多數個特徵點，並且於步驟S220中分析在相鄰待處理影像中相同特徵點的對應關係。詳言之，特徵點偵測與分析模組110必須先偵測出每一待處理影像中的特徵點，才能於相鄰待處理影像之間進行特徵點的追蹤。
在本範例實施例中，特徵點偵測與分析模組110係採用一種哈立斯(Harris)特徵點偵測演算法，然本揭露並不限於此。哈立斯特徵點偵測演算法乃是藉由觀察一張待處理影像中局部的矩形區域，將這個矩形區域朝向待處理影像中不同的方向作些微的移動，來瞭解矩形區域中灰階變化的強弱。藉由觀察灰階變化的特性，可以設計出相對應的響應函式，來判斷該點是否為哈立斯特徵點。
以下將以數學式來說明哈立斯特徵點的尋找方法，在描述矩形區域於各方向移動後其變化的總和時，可得一2x2的對稱(symmetric)矩陣Z，而分析其特徵值λ 1與λ 2則可作為響應函式，來判斷矩形區域中心點是否為哈立斯特徵點：
其中k為一常數值，藉由函式R的計算，即可挑選出待處理影像內響應最大之前m個點，作為後續追蹤運算的依據，其中m為正整數。
在待處理影像內偵測出特徵點後，便可接續步驟S220，分別偵測每一特徵點在相鄰待處理影像中的第一影像之位置對應至第二影像之位置的一移動向量，換句話說，即為特徵點之追蹤。在本範例實施例中則以光流法進行估測。假設同一特徵點p i 於第t張待處理影像與第(t+Δt)張待處理影像中具有不變性，該Δt為自然數。
I t (x,y)=I t +Δ t (x+u,y+v) (2)
其中，I t (x,y)為特徵點p i 於第t張待處理影像中的位置；I t +Δ t (x+u,y+v)為特徵點p i 於第(t+Δt)張待處理影像中的位置；故(u,v)表示特徵點p i 之移動向量。藉由泰勒展開式將式(2)之右項展開：
考慮到特徵點p i 滿足外貌不變性，則結合式(2)及式(3)，可得以下近似結果：
其中I nm = I/ t、I x = I/ x與I y = I/ y。
由於式(4)有兩個未知數u及v，但僅有一方程式，因此假設特徵點p i 附近的點亦有相同的移動向量，考慮以特徵點p i 為中心之一r×r視窗，r為一正整數，即有充分資訊可解出未知數u及v，即該特徵點之移動向量。
接續步驟S230，單應性矩陣運算模組120耦接至特徵點分析模組110，依據特徵點的對應關係計算相鄰待處理影像間的單應性轉換矩陣。詳言之，所謂的單應性透視投影轉換，是計算相同一平面於不同視角之轉換關係，假設a和b分別為不同時間點之廣角攝影機位置，Q i 則為該平面上被拍攝之任一點。令 a Q i 和 b Q i 分別為Q i 在a及b中的投影。則可令：
a Q i =H ba ‧ b Q i (5)
其中H ba 為一3x3矩陣，如式(6)所示：
舉例說明，描述同一特徵點於第t張待處理影像中(x t ,y t )位置至第(t+Δt)張待處理影像中(x t +Δ t ,y t +Δ t )位置之轉換關係可由式(7)表示：
由於在步驟S220中已透過光流法做特徵點追蹤，意即前後相鄰兩張待處理影像之相同特徵點的對應關係為已知，因此，將相同特徵點的對應關係代入式(6)，透過最小平方和法，即可求得單應性轉換矩陣H ba 。然本揭露並不限於此法求得單應性轉換矩陣H ba 。
接下來，於步驟S240中，耦接至單應性矩陣運算模組120的平滑化估測模組130依據已知的每一待處理影像中之特徵點與單應性轉換矩陣計算穩定矩陣與對應每一待處理影像的調整矩陣。
圖3A是根據本揭露一範例實施例所繪示之待處理影像之原始軌跡T_ori的示意圖，請參照圖3A。
假設一組待處理影像共有n張，n為一正整數，舉例來說，第1張待處理影像至第2張待處理影像之間單應性投影轉換可表示為x 2=H 1,2 x 1；第2張待處理影像至第3張待處理影像之間單應性投影轉換可表示為x 3=H 2,3 x 2；意即
x n =H n -1, n x n -1 (8)
其中，x n 為第n張待處理影像中各特徵點之座標，H n -1, n 為描述第(n-1)張至第n張待處理影像之單應性轉換矩陣。此轉換可能包含未知之平滑與不平滑之成分，本揭露假設平滑成分在此n張待處理影像之間均不改變，因此欲求得每一張待處理影像需經過多少數量之調整，才能使此組待處理影像呈現平滑軌跡。圖3B是根據本揭露一範例實施例所繪示之待處理影像之原始軌跡T_ori與平滑軌跡T_stab的示意圖，請配合參照圖3B。原始軌跡T_ori與平滑軌跡T_stab之調整關係為x'1=ΔH 1 x 1，x'2=ΔH 2 x 2，依此類推：
x' n =ΔH n x n (9)
其中，ΔH n 為第n張待處理影像的調整矩陣，調整矩陣代表將每一待處理影像由原始軌跡T_ori調整至平滑軌跡T_stab位置所需做的不平滑校正調整。
換句話說，本揭露之每一待處理影像在經過調整矩陣之校正後，目標是為了使每一校正後影像之間具有平滑穩定的轉換關係，x'2=H stab x'1，x'3=H stab x'2，依此類推：
x' n =H stab x' n -1 (10)
其中，H stab 為穩定矩陣，每一校正後影像之間的轉換關係皆可透過相同的穩定矩陣H stab 進行轉換。換句話說，相鄰校正後影像中的第一影像乘上相同的穩定矩陣H stab 後轉換為相鄰校正後影像中的第二影像。
具上所述，式(9)與式(10)中之ΔH 1,ΔH 2,…,ΔH n 與H stab 即為欲求解之未知變數。在本範例實施例中，可針對由調整矩陣ΔH 1,ΔH 2,…,ΔH n 與穩定矩陣H stab 為變數所形成之函式，以最小化此函式為限制條件，依據已知的每一待處理影像中之特徵點與單應性轉換矩陣進行數值運算，藉以計算出調整矩陣ΔH 1,ΔH 2,…,ΔH n 與穩定矩陣H stab 之解。如下列數學式表示：
式(11)對於欲求解的調整矩陣ΔH 1,ΔH 2,…,ΔH n 與穩定矩陣H stab 變數來說為非線性，因此可採用非線性最佳化方法求解，本範例實施例例如可採用一常見之連續二次規劃法(Sequential Quadratic Programming)，由已知之所有x n 以遞迴方式計算調整矩陣ΔH 1,ΔH 2,…,ΔH n 與穩定矩陣H stab 之最佳解。在另一實施例，該等調整矩陣與該穩定矩陣為變數所形成之一函式，以最小化該函式為限制條件，依據已知的每一待處理影像中之該些特徵點與該些單應性轉換矩陣進行一最佳化數值運算，藉以計算出該調整矩陣與該穩定矩陣之最佳解。
回到圖2，於步驟S250中，影像校正模組140藉由調整矩陣ΔH 1,ΔH 2,…,ΔH n 分別對每一待處理影像進行扭曲補償(warping)，藉以產生相對應的多數個校正後影像。
舉例說明，描述第1張待處理影像中其中之一像素點(x 1,y 1)位置與校正後像素點()位置之轉換關係可由式(12)表示：
藉由本範例實施例之步驟S210至步驟S250的影像處理流程之後，便可使校正後影像之間具有平滑穩定的轉換關係。
一般解決移動載具上所擷取影像之穩定問題，主要困難度在於需成功分離移動載具本身移動的平滑軌跡與真正需矯正之暫時性晃動。由於移動載具本身移動的平滑軌跡為未知，常見的估測手法均假設平滑軌跡為某一形式(例如多項式)，並尋找較佳之參數設定藉以近似此平滑軌跡。然而，移動載具之移動方式具有相當大的不確定性，參數設定的準確度限縮了一般影像穩定演算法之通用性。
有鑑於此，本揭露之方法針對調整矩陣ΔH 1,ΔH 2,…,ΔH n 與穩定矩陣H stab 作為變數來求解，並不需要進一步將穩定矩陣H stab 分解成為平移(Translation)、縮放(Scaling)、旋轉(Rotation)等細部參數並且建立平滑化之模型。此做法以單一穩定矩陣參數取代三種參數，可包含各種平移、縮放、旋轉之可能組合，兼顧了求解之簡潔性和實用之廣泛性。另一方面，本揭露之方法可適用於如車輛或飛機等不同之運動模型，無須根據不同之環境設定參數，通用性優於多項現有之習知技術。以下搭配圖式說明本揭露與習知技術之區別。
圖4A與圖4B分別是根據本揭露另一範例實施例所繪示之習知技術與本揭露之方法對待處理影像之原始軌跡T_ori進行平滑化處理的示意圖。如圖4A所示，圖4A之作法僅考量平滑軌跡T_stab1的平滑程度，以最佳化平滑軌跡T_stab1為目標，並無考量校正後影像之間的轉換關係，因此，圖4A之轉換矩陣H 1、H 2、H 3、H 4並不一致，將會使得校正後影像在播放時會有忽快忽慢的情況，導致人眼觀賞的不舒適感。相反地，請參照圖4B，本揭露之作法不僅同時考量平滑軌跡T_stab2的平滑程度，同時考慮校正後影像之間的轉換關係，使得平滑軌跡T_stab2上的各點平均分布，意即校正後影像之間的轉換關係具有一致性，因此校正後影像間具有相同的穩定矩陣H stab 2，據此，本揭露之校正後影像在播放時並不會有忽快忽慢的情況產生。
圖5A與圖5B分別是根據本揭露又一範例實施例所繪示之習知技術與本揭露之方法對待處理影像之原始軌跡T_ori進行平滑化處理的示意圖。如圖5A所示，此習知技術需選擇一最佳參數，依據參數選擇的不同其處理結果亦有所不同。其中平滑軌跡T_stab3係依據第一取樣率之參數所得的處理結果；平滑軌跡T_stab4係依據第二取樣率之參數所得的處理結果。其中，第一取樣率高於第二取樣率，因此，平滑軌跡T_Stab3的平滑程度低於平滑軌跡T_stab4。另一方面，如圖5B所示，本揭露之作法並不限定穩定矩陣調整量的大小，例如H stab 5與H stab 6並不相同，因此對於各種不同待處理影像可尋找最適當的穩定矩陣，並且平滑軌跡T_stab5、T_stab6的平滑程度不隨穩定矩陣的不同而改變。
綜上所述，本揭露之影像穩定方法及影像穩定裝置，可在不限定待處理影像本身平滑軌跡形式之下，將搖晃成分去除，達到視覺上穩定效果。本揭露同時考量校正後影像的穩定性及其轉換關係的一致性，無須尋找待處理影像在進行拍攝時的運動模型或設定影響平滑程度之參數，因此可適用於各種不同拍攝環境所擷取的待處理影像。由於考量校正後影像之間具有一致性的轉換關係，因此，校正後影像在播放時並不會有忽快忽慢的情況產生。良好的動態影像品質使得此技術可廣泛運用於任何移動載具之拍攝，例如可應用於搭載影像擷取裝置之飛機或車輛等，可為行車紀錄器、自行車隨行拍攝、飛機空拍等產業增加極大效益。
雖然本揭露已以實施範例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．影像穩定裝置
110．．．特徵點偵測與分析模組
120．．．單應性矩陣運算模組
130．．．平滑化估測模組
140．．．影像校正模組
T_ori．．．原始軌跡
T_stab、T_stab1~T_stab6．．．平滑軌跡
x n ．．．第n張待處理影像中各特徵點之座標
x' n ．．．第n張校正後影像中各特徵點之座標
ΔH n ．．．第n張待處理影像的調整矩陣
H stab 2、H stab 5、H stab 6．．．穩定矩陣
H 1~H 4．．．轉換矩陣
S210~S250．．．影像穩定方法之各步驟
圖1是根據本揭露一範例實施例所繪示之影像穩定裝置的方塊圖。
圖2是根據本揭露一範例實施例所繪示之影像穩定方法的流程圖。
圖3A是根據本揭露一範例實施例所繪示之待處理影像之原始軌跡T_ori的示意圖。
圖3B是根據本揭露一範例實施例所繪示之待處理影像之原始軌跡T_ori與平滑軌跡T_stab的示意圖。
圖4A與圖4B分別是根據本揭露另一範例實施例所繪示之習知技術與本揭露之方法對待處理影像之原始軌跡T_ori進行平滑化處理的示意圖。
圖5A與圖5B分別是根據本揭露又一範例實施例所繪示之習知技術與本揭露之方法對待處理影像之原始軌跡T_ori進行平滑化處理的示意圖。
S210~S250．．．影像穩定方法之各步驟
Claims (14)
- 一種影像穩定方法，適於處理多數個待處理影像，該影像穩定方法包括：採用一特徵點偵測法對每一待處理影像進行偵測，藉以偵測出每一待處理影像中的多數個特徵點；分析在相鄰待處理影像中相同特徵點的對應關係；依據該些特徵點的對應關係計算相鄰待處理影像間的一單應性轉換矩陣；依據已知的每一待處理影像中之該些特徵點與該些單應性轉換矩陣計算一穩定矩陣與對應每一待處理影像的一調整矩陣；以及分別藉由該調整矩陣對每一待處理影像進行補償，藉以產生相對應的多數個校正後影像，其中，相鄰校正後影像中的第一影像乘上相同的該穩定矩陣後轉換為相鄰校正後影像中的第二影像。
- 如申請專利範圍第1項所述之影像穩定方法，其中依據已知的每一待處理影像中之該些特徵點與該些單應性轉換矩陣計算該穩定矩陣與對應每一待處理影像的該調整矩陣的步驟包括：針對由該調整矩陣與該穩定矩陣為變數所形成之一函式，以最小化該函式為限制條件，依據已知的每一待處理影像中之該些特徵點與該些單應性轉換矩陣進行一最佳化數值運算，藉以計算出該調整矩陣與該穩定矩陣之最佳解。
- 如申請專利範圍第2項所述之影像穩定方法，其中該最佳化數值運算包括採用一非線性最佳化方法進行運算。
- 如申請專利範圍第3項所述之影像穩定方法，其中該非線性最佳化方法包括二次規劃法，以遞迴方式計算該調整矩陣與該穩定矩陣之解。
- 如申請專利範圍第1項所述之影像穩定方法，其中分析在相鄰待處理影像中相同特徵點的對應關係的步驟包括：分別偵測每一特徵點在相鄰待處理影像中的第一影像之位置對應至第二影像之位置的一移動向量。
- 如申請專利範圍第1項所述之影像穩定方法，包括採用一特徵點追蹤方法分析在相鄰待處理影像中相同特徵點的對應關係，其中該特徵點追蹤方法包括採用一光流法藉以估算每一特徵點的移動向量。
- 如申請專利範圍第1項所述之影像穩定方法，其中該特徵點偵測法包括採用一哈立斯特徵點偵測法藉以偵測出每一待處理影像中的該些特徵點。
- 一種影像穩定裝置，適於處理多數個待處理影像，該影像穩定裝置包括：一特徵點偵測與分析模組，對每一待處理影像進行偵測，藉以偵測出每一待處理影像中的多數個特徵點，並且分析在相鄰待處理影像中相同特徵點的對應關係；一單應性矩陣運算模組，耦接至該特徵點分析模組，依據該些特徵點的對應關係計算相鄰待處理影像間的一單應性轉換矩陣；一平滑化估測模組，耦接至該單應性矩陣運算模組，依據已知的每一待處理影像中之該些特徵點與該些單應性轉換矩陣計算一穩定矩陣與對應每一待處理影像的一調整矩陣；以及一影像校正模組，耦接至該平滑化估測模組，該影像校正模組分別藉由該調整矩陣對每一待處理影像進行補償，藉以產生相對應的多數個校正後影像，其中，相鄰校正後影像中的第一影像乘上相同的該穩定矩陣後轉換為相鄰校正後影像中的第二影像。
- 如申請專利範圍第8項所述之影像穩定裝置，其中：該平滑化估測模組針對由該調整矩陣與該穩定矩陣為變數所形成之一函式，以最小化該函式為限制條件，依據已知的每一待處理影像中之該些特徵點與該些單應性轉換矩陣進行一最佳化數值運算，藉以計算出該調整矩陣與該穩定矩陣之最佳解。
- 如申請專利範圍第9項所述之影像穩定裝置，其中：該平滑化估測模組包括採用一非線性最佳化方法進行該數值運算。
- 如申請專利範圍第10項所述之影像穩定裝置，其中：該平滑化估測模組包括採用二次規劃法作為該非線性最佳化方法，以遞迴方式計算該調整矩陣與該穩定矩陣之解。
- 如申請專利範圍第8項所述之影像穩定裝置，其中：該特徵點偵測與分析模組分別偵測每一特徵點在相鄰待處理影像中的第一影像之位置對應至第二影像之位置的一移動向量。
- 如申請專利範圍第12項所述之影像穩定裝置，其中：該特徵點偵測與分析模組包括採用一特徵點追蹤方法分析在相鄰待處理影像中相同特徵點的對應關係，其中該特徵點追蹤方法包括採用一光流法藉以估算每一特徵點的移動向量。
- 如申請專利範圍第8項所述之影像穩定裝置，其中：該特徵點偵測與分析模組採用一哈立斯特徵點偵測法藉以偵測出每一待處理影像中的該些特徵點。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100141253A TWI469062B (zh) | 2011-11-11 | 2011-11-11 | 影像穩定方法及影像穩定裝置 |
| US13/327,717 US8879850B2 (en) | 2011-11-11 | 2011-12-15 | Image stabilization method and image stabilization device |
| CN201110461302.5A CN103108108B (zh) | 2011-11-11 | 2011-12-30 | 影像稳定方法及影像稳定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100141253A TWI469062B (zh) | 2011-11-11 | 2011-11-11 | 影像穩定方法及影像穩定裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201319954A true TW201319954A (zh) | 2013-05-16 |
| TWI469062B TWI469062B (zh) | 2015-01-11 |
Family
ID=48280719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100141253A TWI469062B (zh) | 2011-11-11 | 2011-11-11 | 影像穩定方法及影像穩定裝置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8879850B2 (zh) |
| CN (1) | CN103108108B (zh) |
| TW (1) | TWI469062B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI496115B (zh) * | 2013-12-05 | 2015-08-11 | Univ Nat Kaohsiung Applied Sci | 移動攝影機之畫面穩定方法 |
| TWI548566B (zh) * | 2014-05-23 | 2016-09-11 | 國立臺北科技大學 | 多執行序全畫面即時光流估測方法 |
| TWI778785B (zh) * | 2021-02-26 | 2022-09-21 | 明俐科技有限公司 | 即時影像的校正裝置及校正方法 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9232139B2 (en) * | 2012-07-24 | 2016-01-05 | Apple Inc. | Image stabilization using striped output transformation unit |
| US9374532B2 (en) * | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| CN103679172B (zh) * | 2013-10-10 | 2017-02-08 | 南京理工大学 | 一种通过转动红外探测器检测地面远距离运动目标的方法 |
| CN103841298B (zh) * | 2014-02-25 | 2017-05-10 | 浙江理工大学 | 一种基于颜色恒量和几何不变特征的视频稳像方法 |
| CN105450907B (zh) * | 2014-07-31 | 2018-10-16 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像系统模型参数的标定方法及装置 |
| SG11201700834QA (en) * | 2014-08-26 | 2017-03-30 | Velano Vascular Inc | Systems and methods for phlebotomy through a peripheral iv catheter |
| US9967461B2 (en) * | 2015-10-14 | 2018-05-08 | Google Inc. | Stabilizing video using transformation matrices |
| US20170214674A1 (en) | 2016-01-25 | 2017-07-27 | Google Inc. | Reducing latency |
| US10002435B2 (en) | 2016-01-29 | 2018-06-19 | Google Llc | Detecting motion in images |
| CN106101485B (zh) * | 2016-06-02 | 2019-05-17 | 中国科学技术大学 | 一种基于反馈的前景轨迹判定方法和装置 |
| CN106101616B (zh) * | 2016-06-02 | 2019-05-17 | 中国科学技术大学 | 一种自适应的背景轨迹提取方法和装置 |
| CN106101615B (zh) * | 2016-06-02 | 2019-01-11 | 中国科学技术大学 | 一种背景轨迹找回方法和装置 |
| WO2018053785A1 (en) | 2016-09-23 | 2018-03-29 | Qualcomm Incorporated | Image processing in an unmanned autonomous vehicle |
| SG10202110833PA (en) * | 2017-03-29 | 2021-11-29 | Agency Science Tech & Res | Real time robust localization via visual inertial odometry |
| US10462370B2 (en) | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
| US10171738B1 (en) | 2018-05-04 | 2019-01-01 | Google Llc | Stabilizing video to reduce camera and face movement |
| CN110493488B (zh) * | 2018-05-15 | 2021-11-26 | 株式会社理光 | 视频稳像方法、视频稳像装置和计算机可读存储介质 |
| US10929982B2 (en) * | 2019-01-25 | 2021-02-23 | Google Llc | Face pose correction based on depth information |
| US11470254B1 (en) | 2019-06-21 | 2022-10-11 | Gopro, Inc. | Systems and methods for assessing stabilization of videos |
| CN110415186B (zh) * | 2019-07-05 | 2021-07-20 | 浙江大华技术股份有限公司 | 一种图像去抖动的方法和设备 |
| CN110991367A (zh) * | 2019-12-09 | 2020-04-10 | 上海扩博智能技术有限公司 | 采集货柜商品售卖信息的方法、系统、设备和存储介质 |
| CN113497861B (zh) * | 2020-03-19 | 2022-06-24 | 武汉Tcl集团工业研究院有限公司 | 一种视频稳化方法及装置 |
| US11190689B1 (en) | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
| CN112954134B (zh) * | 2021-02-23 | 2022-08-30 | 中国科学院合肥物质科学研究院 | 一种车载稳像显示补偿方法及系统 |
Family Cites Families (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5096802A (en) | 1990-11-09 | 1992-03-17 | Hewlett-Packard Company | Holes and spaces shrinkage |
| US5608404A (en) | 1993-06-23 | 1997-03-04 | The United States Of America As Represented By The United States Department Of Energy | Imaging synthetic aperture radar |
| JP3234138B2 (ja) | 1995-10-12 | 2001-12-04 | シャープ株式会社 | 画像安定化装置 |
| US5736305A (en) | 1996-01-23 | 1998-04-07 | Fuji Photo Film Co., Ltd. | Processing method for silver halide photosensitive materials and processor for the same |
| JP2002209136A (ja) | 2001-01-05 | 2002-07-26 | Canon Inc | 撮影装置 |
| JP4477783B2 (ja) | 2001-01-29 | 2010-06-09 | 株式会社リコー | 電子写真装置のレーザ発光制御 |
| US20020130953A1 (en) | 2001-03-13 | 2002-09-19 | John Riconda | Enhanced display of environmental navigation features to vehicle operator |
| JP4072348B2 (ja) | 2002-01-25 | 2008-04-09 | キヤノン株式会社 | 振れ補正装置、撮像装置、振れ補正方法、振れ補正装置の制御プログラム、及び記憶媒体 |
| GB2407724B (en) | 2003-10-31 | 2005-10-12 | Hewlett Packard Development Co | Image stabilization |
| US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7742077B2 (en) * | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US20070182812A1 (en) | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
| US7440008B2 (en) | 2004-06-15 | 2008-10-21 | Corel Tw Corp. | Video stabilization method |
| TWI272550B (en) | 2005-01-03 | 2007-02-01 | Quanta Comp Inc | Apparatus and method for digital image stabilization |
| US7489341B2 (en) | 2005-01-18 | 2009-02-10 | Primax Electronics Ltd. | Method to stabilize digital video motion |
| US20060170783A1 (en) | 2005-01-28 | 2006-08-03 | Stavely Donald J | Adaptive response image stabilization |
| US8074394B2 (en) | 2005-03-08 | 2011-12-13 | Lowrey Iii John William | Riflescope with image stabilization |
| US20060210007A1 (en) | 2005-03-17 | 2006-09-21 | Markku Koskelo | Floating scanning and detection platforms |
| JP4595733B2 (ja) | 2005-08-02 | 2010-12-08 | カシオ計算機株式会社 | 画像処理装置 |
| US20080112630A1 (en) * | 2006-11-09 | 2008-05-15 | Oscar Nestares | Digital video stabilization based on robust dominant motion estimation |
| KR100866963B1 (ko) | 2007-03-12 | 2008-11-05 | 삼성전자주식회사 | 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법 |
| US8446468B1 (en) * | 2007-06-19 | 2013-05-21 | University Of Southern California | Moving object detection using a mobile infrared camera |
| CN101126639A (zh) | 2007-09-18 | 2008-02-20 | 武汉大学 | 快速进行低空遥感影像自动匹配与空中三角测量方法 |
| US8600189B2 (en) | 2007-11-12 | 2013-12-03 | Qualcomm Incorporated | Block-based image stabilization |
| US8379926B2 (en) * | 2007-12-13 | 2013-02-19 | Clemson University | Vision based real time traffic monitoring |
| JP5147384B2 (ja) | 2007-12-25 | 2013-02-20 | オンセミコンダクター・トレーディング・リミテッド | 振動補償制御回路 |
| JP5348881B2 (ja) | 2007-12-25 | 2013-11-20 | セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー | 振動補償制御回路 |
| TWI381719B (zh) | 2008-02-18 | 2013-01-01 | Univ Nat Taiwan | 穩定全幅式視訊之方法 |
| CN101668114A (zh) | 2008-09-05 | 2010-03-10 | 华硕电脑股份有限公司 | 影像稳定方法及装置、以及使用其的影像传送与接收方法 |
| US8848974B2 (en) | 2008-09-29 | 2014-09-30 | Restoration Robotics, Inc. | Object-tracking systems and methods |
| JP5284048B2 (ja) * | 2008-11-12 | 2013-09-11 | キヤノン株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| TWI492188B (zh) | 2008-12-25 | 2015-07-11 | Univ Nat Chiao Tung | 利用多攝影機自動偵測與追蹤多目標的方法及系統 |
| US8396286B1 (en) * | 2009-06-25 | 2013-03-12 | Google Inc. | Learning concepts for video annotation |
| GB0920191D0 (en) | 2009-11-18 | 2010-01-06 | St Microelectronics Res & Dev | Optical image stabilisation |
| TW201120812A (en) | 2009-12-04 | 2011-06-16 | Huper Lab Co Ltd | Stabilization method for vibrating video frames |
| TWI393074B (zh) | 2009-12-10 | 2013-04-11 | Ind Tech Res Inst | 移動物體偵測裝置與方法 |
| US20110150093A1 (en) * | 2009-12-22 | 2011-06-23 | Stephen Mangiat | Methods and apparatus for completion of video stabilization |
| US8531535B2 (en) * | 2010-10-28 | 2013-09-10 | Google Inc. | Methods and systems for processing a video for stabilization and retargeting |
| CN102075686B (zh) * | 2011-02-10 | 2013-10-30 | 北京航空航天大学 | 一种鲁棒的实时在线摄像机跟踪方法 |
| US8724854B2 (en) * | 2011-04-08 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for robust video stabilization |
-
2011
- 2011-11-11 TW TW100141253A patent/TWI469062B/zh active
- 2011-12-15 US US13/327,717 patent/US8879850B2/en active Active
- 2011-12-30 CN CN201110461302.5A patent/CN103108108B/zh active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI496115B (zh) * | 2013-12-05 | 2015-08-11 | Univ Nat Kaohsiung Applied Sci | 移動攝影機之畫面穩定方法 |
| TWI548566B (zh) * | 2014-05-23 | 2016-09-11 | 國立臺北科技大學 | 多執行序全畫面即時光流估測方法 |
| TWI778785B (zh) * | 2021-02-26 | 2022-09-21 | 明俐科技有限公司 | 即時影像的校正裝置及校正方法 |
| US11803975B2 (en) | 2021-02-26 | 2023-10-31 | Ml Technology Ltd. | Correcting device and correcting method of real-time image |
Also Published As
| Publication number | Publication date |
|---|---|
| US8879850B2 (en) | 2014-11-04 |
| US20130121597A1 (en) | 2013-05-16 |
| CN103108108B (zh) | 2016-08-03 |
| CN103108108A (zh) | 2013-05-15 |
| TWI469062B (zh) | 2015-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI469062B (zh) | 影像穩定方法及影像穩定裝置 | |
| US11317024B2 (en) | Electronic image stabilization frequency estimator | |
| JP6658791B2 (ja) | パノラマ映像を処理する方法、装置、デバイス、コンピュータ読取り可能な記憶媒体 | |
| KR102185963B1 (ko) | 비디오 안정화를 위한 캐스케이드 카메라 모션 추정, 롤링 셔터 검출 및 카메라 흔들림 검출 | |
| Dong et al. | Video stabilization for strict real-time applications | |
| JP5680524B2 (ja) | 画像処理装置 | |
| KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
| US10853950B2 (en) | Moving object detection apparatus, moving object detection method and program | |
| WO2020253618A1 (zh) | 一种视频抖动的检测方法及装置 | |
| US11303793B2 (en) | System and method for high-resolution, high-speed, and noise-robust imaging | |
| CN106550187A (zh) | 用于图像稳定的设备和方法 | |
| JP5885384B2 (ja) | 画像処理装置 | |
| Jiao et al. | Comparing representations in tracking for event camera-based slam | |
| CN107704814B (zh) | 一种基于视频的振动目标监测方法 | |
| TW201523516A (zh) | 移動攝影機之畫面穩定方法 | |
| KR101806453B1 (ko) | 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법 | |
| Verma et al. | Robust Stabilised Visual Tracker for Vehicle Tracking. | |
| Yang et al. | Real-time digital image stabilization based on regional field image gray projection | |
| Zhang et al. | The video stabilization based on improved smoothing filtering and curve fitting | |
| WO2023223704A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Shankarpure et al. | Real-Time Frame-to-Frame Jitter Removing Video Stabilization Technique | |
| Areekath et al. | Sensor assisted motion estimation | |
| Wu et al. | Motion clustering with hybrid-sample-based foreground segmentation for moving cameras | |
| CN118233758A (zh) | 图像处理方法及其装置 | |
| Song et al. | Time-based Calibration: A Way to Ensure that Stitched Images are Captured Simultaneously |