TWI773808B

TWI773808B - 利用進行路徑平滑的低複雜度優化求解器的裝置及方法

Info

Publication number: TWI773808B
Application number: TW107129187A
Authority: TW
Inventors: 裵東運; 庄斌南; 正元李
Original assignee: 南韓商三星電子股份有限公司
Priority date: 2017-11-13
Filing date: 2018-08-22
Publication date: 2022-08-11
Also published as: US20190147606A1; US10534837B2; US10885145B2; US20190147013A1; KR102339906B1; KR20210152446A; KR102385018B1; US10762162B2; TWI808987B; CN109783432A; CN109788189A; CN109788189B; US20200356619A1; US10740431B2; TW201918906A; CN109783432B; KR102385024B1; TW201918772A; KR20190054890A; KR20190054898A

Abstract

在本文中揭露一種用於利用約束變化進行路徑平滑的低複雜度優化求解器的裝置及方法。根據一個實施例，一種裝置包括：L1控制器，被配置成接收要被進行平滑的原始資料級數z，接收權重w0、w1、w2及w3以控制輸出路徑的平滑度，以及將L1趨勢濾波問題公式化，其中L1表示基於L1範數成本的公式；L1中央處理器(CPU)，連接到所述L1控制器且被配置成將所述L1趨勢濾波問題變換成原始-對偶線性規劃(LP)優化問題對；以及L1算數邏輯單位(ALU)，連接到所述L1中央處理器且被配置成利用擴展全表單純形法來求解原始-對偶問題對的原始問題。

Description

利用進行路徑平滑的低複雜度優化求解器的裝置及方法

[相關申請的交叉參考]

本申請主張在2017年11月13日在美國專利與商標局提出申請且被授予序號第62/585,187號的美國臨時專利申請的優先權，所述美國臨時專利申請的全部內容併入本申請供參考。

本揭露大體來說涉及一種優化求解器，且更具體來說，涉及一種用於利用約束變化進行路徑平滑的低複雜度優化求解器的裝置及方法。

路徑優化(也被稱為趨勢濾波(trend filtering))旨在基於原始路徑找到最優路徑，此使作為所述原始路徑與將要計算的最優路徑二者的函數的成本最小化。路徑優化具有廣泛應用，包括機器人學、航空及金融。舉例來說，可使用路徑優化來對抖動的原始相機路徑進行平滑以實現視頻穩定。

線性規劃(linear programming，LP)是用於將若干變數(例如，輸出或成本)的線性函數最大化或最小化的數學技術。二次規劃(quadratic programming，QP)是求解專門類型的數學優化問題(具體來說，是(受線性約束的)二次優化問題)的過程，即對服從若干變數的線性約束的這些變數的二次函數進行優化(最小化或最大化)的問題。

根據一個實施例，提供一種低複雜度優化求解器的裝置。所述裝置包括：L1控制器，被配置成接收要被進行平滑的原始資料級數z，接收權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度，以及將L1趨勢濾波問題公式化，其中L1表示基於L1範數成本的公式；L1中央處理器(central processing unit，CPU)，連接到所述L1控制器且被配置成將所述L1趨勢濾波問題變換成原始-對偶LP優化問題對；以及L1算數邏輯單位(arithmetic logic unit，ALU)，連接到所述L1 CPU且被配置成利用擴展全表單純形法來求解所述原始-對偶LP優化問題對的原始問題。

根據一個實施例，提供一種低複雜度優化求解器的方法。所述方法包括：由L1控制器接收要被進行平滑的原始資料級數z，接收權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度，以及將L1趨勢濾波問題公式化，其中L1表示基於L1範數成本的公式；由連接到所述L1控制器的L1 CPU將所述L1趨勢濾波問題變換成原始-對偶LP優化問題對；以及由連接到所述L1 CPU的 L1 ALU利用擴展全表單純形法來求解所述原始-對偶LP優化問題對的原始問題。

根據一個實施例，提供一種低複雜度優化求解器的裝置。所述裝置包括：L2控制器，被配置成接收要被進行平滑的原始資料級數z，接收權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度，以及將L2趨勢濾波問題公式化，其中L2表示基於L2範數成本的公式；L2 CPU，連接到所述L2控制器且被配置成通過對偶變換匯出QP問題；以及L2 ALU，連接到所述L2 CPU且被配置成使用具有封閉形式更新的基於交替方向乘子法(alternating direction method of multipliers，ADMM)的解來求解所述QP問題。

根據一個實施例，提供一種低複雜度優化求解器的方法。所述方法包括：由L2控制器接收要被進行平滑的原始資料級數z，其中L2表示基於L2範數成本的公式；由所述L2控制器接收權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度；由所述L2控制器將L2趨勢濾波問題公式化；由連接到所述L2控制器的L2 CPU通過對偶變換匯出QP問題；以及由連接到所述L2 CPU的L2 ALU使用具有封閉形式更新的基於ADMM的解來求解所述QP問題。

100:三維視頻穩定系統

101:三維旋轉估計器

103:三維旋轉平滑器

105:畸變計算器

107:畸變補償器

109:輸入

111、113、115、119、211、213、215、511、513、515:輸出

117、209、509:第二輸入

200:基於擴展全表單純形的LP求解器

201:L1控制器

203:L1中央處理器(L1 CPU)

205:L1算術處理單元(L1 ALU)

207、507:第一輸入

301、303、305、307、309、311、313、401、403、405、407、409、411、413、415、417、419、421、423、601、603、605、607、609、611、613、701、703、705、707、709、711、713、715、717:步驟

500:ADMM QP求解器

501:L2控制器

503:L2中央處理器(L2 CPU)

505:L2算術處理單元(L2 ALU)

800:網路環境

801:電子器件

802、804:電子器件/外部電子器件

808:伺服器/外部電子器件

820:處理器

821:主處理器

823:輔助處理器

830、1050:記憶體

832:揮發性記憶體

834:非揮發性記憶體

836:內部記憶體

838:外部記憶體

840:程式

842:作業系統

844:中介軟體

846:應用

850:輸入器件

855:聲音輸出器件

860:顯示器件

870:音訊模組

876:感測器模組

877:介面

878:連接端子

879:觸感模組

880、1000:相機模組

888:電源管理模組

889:電池

890:通訊模組

892:無線通訊模組

894:有線通訊模組

896:使用者識別模組

897:天線模組

898:第一網路

899:第二網路

1010:鏡頭總成

1020:閃光燈

1030:圖像感測器

1040:圖像穩定器

1060:圖像訊號處理器

結合附圖閱讀以下詳細說明，本揭露的某些實施例的以上及其他方面、特徵及優點將更顯而易見，在附圖中：圖1示出根據一個實施例的基於陀螺儀的三維(three-dimensional，3D)視頻穩定系統的方塊圖。

圖2示出根據一個實施例的用於L1路徑優化器的裝置。

圖3示出根據一個實施例的基於擴展全表單純形的LP求解器的方法的流程圖。

圖4示出根據實施例的L1 ALU的方法的流程圖。

圖5示出根據一個實施例的L2路徑優化器。

圖6示出根據一個實施例的基於ADMM的QP求解器的方法的流程圖。

圖7示出根據一個實施例的L2 ALU的方法的流程圖。

圖8示出根據一個實施例的網路環境中的電子器件的方塊圖。

圖9示出根據一個實施例的相機模組的方塊圖。

在下文中，參照附圖詳細闡述本揭露的實施例。應注意，相同的元件將由相同的參考編號指示，儘管它們示出在不同的圖式中。在以下說明中，提供例如詳細配置及元件等具體細節僅是為了幫助全面理解本揭露的實施例。因此，對所屬領域中的技術人員應顯而易見，在不背離本揭露的範圍的條件下可對本文所述的實施例作出各種改變及修改。另外，為清晰及簡潔起見，省略對眾所周知的功能及構造的說明。以下所述用語是考慮到本揭露中的功能而定義的用語，且可根據使用者、使用者的意圖或習慣而有所不同。因此，這些用語的定義應基於本說明書通篇的內容來確定。

本揭露可具有各種修改及各種實施例，以下參照附圖詳細闡述其中的一些實施例。然而應理解，本揭露並非僅限於所述實施例，而是包括處於本揭露的範圍內的所有修改、等效形式及替代形式。

儘管可能使用包括例如“第一(first)”、“第二(second)”等序數詞的用語來闡述各種元件，但結構元件不受這些用語限制。這些用語僅用於區分各個元件。舉例來說，在不背離本揭露的範圍的條件下，“第一結構元件”可被稱為“第二結構元件”。相似地，“第二結構元件”也可被稱為“第一結構元件”。本文中所用的用語“和/或(and/or)”包括一個或多個相關項的任意及所有組合。

本文中所用的用語僅用於闡述本揭露的各種實施例，而並非旨在限制本揭露。除非上下文清楚地另外指明，否則單數形式旨在包括複數形式。在本揭露中，應理解，用語“包括(include)”或“具有(have)”指示特徵、數目、步驟、操作、結構元件、部件或其組合的存在，而不排除一個或多個其他特徵、數位、步驟、操作、結構元件、部件或其組合的存在或添加的可能。

除非進行不同地定義，否則本文中所用的所有用語均具有與本揭露所屬領域中的技術人員所理解的含意相同的含意。例如在常用字典中所定義的用語等用語應被解釋為具有與相關技術領域中的上下文含意相同的含意，且除非在本揭露中進行清楚定義，否則不應將其解釋為具有理想化或過於正式的含意。

根據一個實施例的電子器件可為各種類型的電子器件中的一種。電子器件可包括例如可攜式通訊器件(例如，智慧型電話)、電腦、可攜式多媒體器件、可攜式醫療器件、相機、穿戴式器件或家用電器。根據本揭露的一個實施例，電子器件並非僅限於上述電子器件。

本揭露中所用的用語並非旨在限制本揭露，而是旨在包括對對應實施例的各種改變、等效形式或替代形式。關於對附圖的說明，可使用相似的參考編號指代相似的或相關的元件。除非相關上下文清楚地另外指明，否則與物項對應的名詞的單數形式可包括一個或多個事物。本文所用的例如“A或B”、“A及B中的至少一者”、“A或B中的至少一者”、“A、B或C”、“A、B、及C中的至少一者”及“A、B、或C中的至少一者”等短語中的每一者可包括與短語中的對應一個短語一同枚舉的物項的所有可能組合。本文所用的例如“第一(1^st、first)”及第二(2^nd、second)等用語可用於將對應的元件與另一個元件進行區分，而不旨在在其他方面(例如，重要性或次序)對元件進行限制。本文意圖在於，如果在帶有或不帶有用語“可操作地”或“可通訊地”的條件下將元件(例如，第一元件)稱為與另一元件(例如，第二元件)“耦合”、“耦合到”另一元件、與另一元件“連接”或“連接到”另一元件，則其表示元件可直接地(例如，以有線方式)、無線地或通過第三元件與另一元件耦合。

本文所用用語“模組”可包括以硬體、軟體或韌體形式實施的單元，且可與例如“邏輯”、“邏輯區塊”、“部件”及“電路”等其他用語互換使用。模組可為適以執行一種或多種功能的單個整體元件或所述單個整體元件的最小單元或部件。舉例來說，根據一個實施例，模組可被實施為應用專用積體電路 (application-specific integrated circuit，ASIC)的形式。根據一個實施例，本揭露的方法可包括在電腦程式產品中及在電腦程式產品中提供。電腦程式產品可在賣方與買方之間作為產品進行交易。電腦程式產品可以機器可讀儲存介質(例如，壓縮磁碟唯讀記憶體(compact disc read only memory，CD-ROM))形式分發，或者通過應用商店(例如，播放商店^TM(Play Store^TM)線上分發(例如，下載或上傳)，或者直接在兩個用戶器件(例如，智慧型電話)之間分發。如果線上分發，則電腦程式產品的至少一部分可在機器可讀儲存介質(例如，製造商伺服器、應用商店的伺服器或中繼伺服器的記憶體)中臨時產生或至少臨時儲存在所述機器可讀儲存介質中。

根據一個實施例，上述元件中的每一個元件(例如，模組或程式)可包括單個實體或多個實體。根據一個實施例，可省略上述元件中的一者或多者，或者可添加一個或多個其他元件。作為另外一種選擇或另外地，可將多個元件(例如，模組或程式)集成成單個元件。在這種情形中，集成元件仍可以與在集成之前所述多個元件中的對應一者執行一種或多種功能的方式相同或相似的方式來執行所述多個元件中的每一者的所述一種或多種功能。由模組、程式或另一元件執行的操作可依序地、並行地、重複地或啟發式地執行，或者所述操作中的一個或多個操作可以不同的次序執行或者被省略，或者可添加一個或多個其他操作。

在實施例中，以下闡述用於使用L1範數進行路徑優化的低複雜度求解器。範數是對向量空間中除了被指派長度零的零向量之外的每一個向量指派嚴格正長度或大小的函數。L1表示基於L1範數成本的公式且L2表示基於L2範數成本的公式。L1範數成本衡量目標值與估計值之間的絕對差的和。使用L1範數成本的求解器(L1求解器)使用專門的路徑優化結構且與使用標準LP求解器相比會實現複雜度的明顯降低。

在實施例中，以下闡述用於使用L2範數進行路徑優化的低複雜度求解器。L2範數成本衡量目標值與估計值之間的差的平方的和。使用L2範數成本的求解器(L2求解器)使用專門的路徑優化結構且與使用標準QP求解器相比會實現複雜度的明顯降低。

在實施例中，可使用求解器來對抖動的原始相機路徑進行平滑以實現視頻穩定。對於即時實施方式而言，期望一種計算成本低的高效求解器來用於在智慧型電話上實施的視頻穩定系統。然而，本揭露並非僅限於對抖動的原始相機路徑進行平滑來實現視頻穩定。

視頻穩定會去除不期望的運動抖動(motion jitter)並將原來的抖動的視頻重構成滿足一般觀看者的電影感知(cinematographic perception)的穩定視頻。穩定技術有兩種主要類別，即光學圖像穩定(optical image stabilization，OIS)及數位圖像穩定(digital image stabilization，DIS)。OIS常常通過基於由陀螺儀測量的暫態相機移動而機械地移動相機鏡頭或感測器來實現。因此，會在記錄圖像之前將不想要的運動去除。DIS在記錄圖像之後去除不想要的運動。在DIS中，可估計多個畫面中的相機運動(例如，估計原始路徑)。接著使用路徑優化器基於估計原始路徑來確定經平滑的路徑。通過圖像捲繞處理(image warping process)，可採用如同記錄視頻的相機正在沿經平滑的路徑移動一樣的方式來校正視頻。本揭露可應用於DIS，但本揭露並非僅限於此。

在實施例中，存在兩部分，即用於使用L1範數成本函數來求解路徑平滑問題的基於擴展全表單純形的LP求解器以及用於使用L2範數成本函數來求解路徑平滑問題的基於ADMM的QP求解器。基於L1範數的路徑平滑問題可被轉換成標準LP方程式。在實施例中，會考慮到標準LP方程式的對偶方程式，且提供單純形法的擴展全表實現方式，此可與暖開機方法一起無縫應用來實現複雜度的明顯降低。基於L2範數的路徑優化問題可通過對偶分析被變換成具有邊界約束(box constraint)的QP問題。通過利用QP問題的專門結構，提供基於ADMM的方法，所述基於ADMM的方法在每一反覆運算中包括封閉形式更新。因此，基於ADMM的QP求解器比替代解決方案更高效。

基於擴展全表的單純形法會降低計算複雜度並提高數值穩定性。低複雜度LP求解器與暖開機一起使用擴展全表單純形法來在對偶域中求解基於L1範數的路徑平滑問題。基於ADMM的方法在反覆運算中僅使用封閉形式更新來求解具有邊界約束的QP問題。低複雜度QP求解器與暖開機一起使用基於ADMM的反覆運算法(iterative method)來求解基於L2範數的路徑平滑問題。

用於基於L1範數的路徑平滑的基於擴展單純形的LP求解器提供優點。舉例來說，從對偶域匯出的LP公式更適合於與暖開機方法一起工作以加速收斂。基於擴展全表的單純形法還將每一反覆運算中的計算簡化並提高數值穩定性。

用於基於L2範數的路徑平滑的基於ADMM的QP求解器提供優點。舉例來說，從對偶域匯出的QP問題將要被進行優化的變數的數目最小化。基於ADMM的反覆運算方程式將每一反覆運算中的更新簡化成封閉形式計算。通過利用用於收斂加速的暖開機方法，基於ADMM的QP求解器比傳統的QP求解器更高效。

以下闡述了在視頻穩定中使用相機路徑平滑方程式的求解器。然而，所述求解器可採用相似的形式應用於更一般的優化問題。

相機路徑平滑問題可被公式化為在每一畫面中將方程式(1)中的成本函數最小化：

其中z是原始相機路徑輸入，且y是要被進行優化的經平滑的相機路徑。D _i矩陣是如在以下方程式(2)、方程式(3)及方程式(4)中所示的階不同的差分矩陣(differential matrix)：

所推導出的方程式的這三個階足以捕獲相機的動態量。對於其他應用而言，可利用修改來選擇性地確定階的不同數目。d(y,z)項表示原始相機路徑與穩定的相機路徑之間的距離。在實施例中，考慮到L1距離

及L2距離

二者。在每一視頻畫面中，原始相機路徑的每一維度可存在一個輸入向量z。舉例來說，如果原始相機路徑對相機的三維旋轉進行建模，則針對三維旋轉路徑的每一維度來獨立地求解三個路徑優化方程式。以下說明涉及單個維度。輸入向量包括前一a ₁畫面、當前畫面及未來a ₂-1畫面中的路徑值。

所述優化問題如在以下方程式(5)中所示：

其中添加閾值向量r _th來將已優化路徑約束在原始相機路徑附近範圍內。可添加另一個一致性約束以使前一已優化路徑在當前更新中不會發生改變，如在以下方程式(6)中所示：

其中(

,…,

)是從先前畫面得到的估計結果。

對於基於L1範數的LP問題而言，如果

，則以上方程式(5)中的優化問題是LP問題。通過引入鬆弛變數(slack variables)e ₀

|y-z|、e ₁

|D ₁ y|、e ₂

|D ₂ y|及e ₃

|D ₃ y|，可將以上方程式(5)轉換成以下方程式(7)及方程式(8)中的LP問題，其中|x|表示取向量x的逐個元素的絕對值：

其中

其中I及0是具有恰當大小的單位矩陣(identity matrix)及零矩陣；且1是全為1的向量。將每一個L1範數項β=|α|最小化被變換成以兩個不等式約束-β

α

β來將β最小化。通過移除A ^T的一些行及一些列以及使用前面已優化的值來更新c，利用以上方程式(6)中的先前已優化值來強迫實現一致性。

以下闡述了通過擴展全表單純形來求解的對偶問題。任何LP問題均可被變換成如以下方程式(9)中所示的標準形式：

其對偶問題可被示出為以下方程式(10)：

其中A的維度是m×n，一般來說m

n，即A是厚度(fat)矩陣。LP方程式可被變換成原始形式或對偶形式。然而，變換成以上方程式(9)中的原始形式需要比直接將以上方程式(7)擬合到對偶域中多的鬆弛變數。因此，以上方程式(7)可被視為對偶方程式且可對對應的原始問題進行求解。此可通過設定b ^T=-[w ₀1^T,w ₁1^T,w ₂1^T,w ₃1^T]，

以及使用與以上方程式(7)相同的A ^T及c來實現。根據對偶性定理(duality theorem)，以上問題(9)及(10)的最優解將滿足c ^T x ^*=y ^*T b。

在本揭露中，揭露了對單純形演算法的改進，所述改進降低了計算複雜度並提高了數值穩定性。

以上原始問題(9)的解被稱為基本可行解(basic feasible solution)。如果滿足以下兩個條件則解x ^*便為基本可行解：(a)所有的等式約束均成立以及(b)在這些成立的約束中，有n個線性獨立的成立的約束。基本可行解在這n個值中僅具有m個非零元素。基本可行解的非零部分是以下方程式(11)：x _b=B ^-1 b，...(11)

其中基矩陣B包括A的m個獨立行，即B=[A _B(1) ,…,A _B(m)]。在這種情形中，B(1),…,B(m)是對應的行索引且A _B(i)表示A的處於基本可行解的基中的一個行。對應的基本可行解是通過對不處於所述基中的其他座標添加零來獲得的。在每一單純形反覆運算中，尋找A的不處於B中的行A _j來取代行A _B(l)中的當前處於B中的一個行。這樣，新的基矩陣變成

。新的基本可行解的非零部分是由

給出。單純形法實質上在每一反覆運算中以降低的成本從一個極點遍歷到另一個極點。單純形法在不存在可使成本降低的進入行之後停止。y ^*是對偶方程式的解，此可使用包含通過單純形法找到的最優基(optimal basis)的矩陣B來通過y ^*=[B ^-1]^T c _B計算得到。

單純形法的計算密集程度最高的部分是計算B ^-1。在實施例中，使用擴展全表單純形法來更高效地實施單純形法。也就是說，通過更新以下表1中的擴展全表來使用基於列運算的更新來實現每一反覆運算中的單純形更新：

以上表1中的擴展全表是對全表單純形法的擴展且將在以下更詳細地加以闡述。

反覆運算以與基矩陣B相關聯的擴展全表以及對應的基本可行解x開始。

對擴展全表的第0列中的降低的成本

進行檢驗。如果降低的成本

全非負，則當前基本可行解最優，且所述方法終止。否則，選擇使

<0的j。

對於作為表中的第j+1個行的中下部分的向量u=B ^-1 A _j而言，如果u不存在為正的分量，則所述方法終止。

針對u _i為正的每一個i計算比率x _B(i) /u _i。l是與最小比率對應的列的索引，其中x _B=B ^-1 b可從擴展全表的左下部分讀出。行A _B(l)存在於基中且行A _j進入基。

將第l列的常數倍加到表的每一列以使得u _l(例如，主元元素(pivot element))變成1且主元行(pivot column)的所有其他項變成零。

在終止擴展全表單純形法之後，通過

來獲得最優對偶解，其中

項是擴展全表的右上區塊。在擴展全表方法的實施例中，B ^-1 A _B=B ^-1 B=I，即，不需要對與新更新的基對應的B ^-1 A的第m行執行列運算。而是，將區塊的對應部分設定為單位矩陣。

可使用暖開機方法來為連續畫面求解最優y ^*以加速收斂。舉例來說，可使用在前一畫面中獲得的最優擴展全表來將當前畫面的擴展全表初始化。這種方法僅在以上方程式(7)擬合到對偶域中且原始域中的對應問題得到求解時有效。這是由於由Ax=b,x

0給出的原始可行設定在各個畫面之間不會改變，由此保證前一畫面中的最優解仍為當前畫面的LP的基本可行解。由於c在相鄰畫面中只是稍微發生了改變，因此收斂會加速。

具有暖開機的擴展全表單純形還具有改善的數值穩定性，此在用於求解一般路徑優化問題時至關重要。當使用暖開機時，B ^-1在多個畫面之間連續地更新。因此，舍入誤差(round-off)將從一個畫面傳播到另一個畫面。單純形法的一個版本，即，經修訂的單純形法將因暖開機而遭受這種誤差傳播。擴展全表對這種誤差傳播的敏感度低得多，這是因為儘管在全表中對B ^-1進行了更新，然而B ^-1不會直接用於任何矩陣乘法。

圖1示出根據一個實施例的基於陀螺儀的三維視頻穩定系統的方塊圖。基於陀螺儀的三維視頻穩定系統100包括三維旋轉估計器101、三維旋轉平滑器103、畸變計算器105及畸變補償器107。

三維旋轉估計器101包括輸入109及輸出111。三維旋轉估計器101可在輸入109處接收由陀螺儀測量的角速度且使用所述角速度來估計相機的三維旋轉以及在輸出111處輸出累積三維旋轉原始相機路徑。

三維旋轉平滑器103包括與三維旋轉估計器101的輸出111連接的輸入、以及輸出113。三維旋轉平滑器103對從三維旋轉估計器101接收的三維原始相機路徑進行平滑並在輸出113處輸出三維原始相機路徑以及三維經平滑相機路徑。

畸變計算器105包括與三維旋轉平滑器103的輸出113連接的輸入以及用於提供畸變柵格(distorted grid)的輸出115。通過使用三維原始相機路徑以及三維經平滑相機路徑，畸變計算器105確定畸變柵格。

畸變補償器107包括與畸變計算器105的輸出115連接的第一輸入、第二輸入117及輸出119。畸變補償器107接收由畸變計算器105確定的畸變柵格，在第二輸入117處接收圖像序列且使用畸變柵格來補償圖像序列中的三維旋轉。

圖2示出根據一個實施例的用於L1路徑優化器的裝置。基於擴展全表單純形的LP求解器200將L1趨勢濾波問題變換成LP原始-對偶問題對，此使得能夠高效地利用擴展全表單純形法與暖開機技術。

參照圖2，基於擴展全表單純形的LP求解器200包括L1控制器201、L1 CPU 203及L1 ALU 205。

L1控制器201包括用於接收要被進行平滑的原始資料級數z的第一輸入207、用於接收所選擇權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度的第二輸入209以及輸出211。L1控制器201在方程式(12)中將L1趨勢濾波問題公式化：

L1 CPU 203包括與L1控制器201的輸出211連接的輸入、以及輸出213。L1 CPU 203將以上方程式(12)中的L1趨勢濾波問題變換成原始-對偶問題對。

L1 ALU 205包括與L1 CPU 203的輸出213連接的第一輸入、輸出215及連接到輸出215的第二輸入。L1 ALU 205與暖開機一起利用擴展全表單純形法來求解原始問題並輸出經平滑的路徑y，其中原始問題的前一解被用作暖開機。以下將參照圖4更詳細地闡述L1 ALU 205的操作。

圖3示出根據一個實施例的基於擴展全表單純形的LP求解器的方法的流程圖。在301處，基於擴展全表單純形的LP求解器通過L1控制器來接收要被進行平滑的原始資料級數z。在303處，基於擴展全表單純形的LP求解器通過L1控制器來接收所選擇權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度。在305處，基於擴展全表單純形的LP求解器通過L1控制器來將L1趨勢濾波問題公式化為如以上方程式(12)中所示。

在307處，基於擴展全表單純形的LP求解器通過L1 CPU將以上方程式(12)中的L1趨勢濾波問題變換成原始-對偶問題。在309處，基於擴展全表單純形的LP求解器通過L1 ALU 利用擴展全表單純形法以暖開機來求解原始問題。在311處，基於擴展全表單純形的LP求解器通過L1 ALU來使用原始問題的前一解(例如，309處的解)作為暖開機。在313處，基於擴展全表單純形的LP求解器通過L1 ALU來輸出經平滑的路徑y。

圖4示出根據實施例的L1 ALU(例如，圖2中的L1 ALU 205、以及圖3中的步驟309)的方法的流程圖。在401處，L1 ALU使用第k畫面輸入z _k來更新c。

在403處，L1 ALU判斷k是否等於0。在405處，如果確定k等於0，則L1 ALU使用標準單純形初始化來將全表初始化。在407處，如果確定k不等於0，則L1 ALU利用暖開機(例如，使用最新更新的全表)來將全表初始化。

在409處，L1 ALU確定當前全表。在411處，L1 ALU判斷成本

是否全非負。在413處，如果確定成本

全非負，則L1 ALU輸出

。

在415處，如果確定成本

並非全非負，則L1 ALU確定

<0時的進入行j。在417處，L1 ALU判斷u=B ^-1 A _j是否非正。在419處，如果u=B ^-1 A _j非正，則L1 ALU確定無界解。

在421處，如果u=B ^-1 A _j並非非正，則L1 ALU確定給出所有正u _i中的最小x _B(i) /μ _i的現有行j。在423處，L1 ALU執行基本列運算並更新全表。

以下闡述基於L2範數的QP問題。如果在以下方程式(13)中

，則以上方程式(5)中的優化問題變成QP問題：

以上方程式(13)可被變換成標準QP形式。在這種情形中，由於對偶域需要的鬆弛變數更少，因此執行對偶域變換。首先x _i=D _i y。因此，以上方程式(13)可被改寫為以下方程式(14)：

以上方程式(14)的拉格朗日函數(Lagrangian function)由以下方程式(15)給出：

其中v=[v ₁ ,v ₂ ,v ₃]^T是在x _i=D _i y,i=1,2,3時的拉格朗日乘子；且

、

是在-r _th

y-z

r _th時的拉格朗日乘子。將x視為唯一變數，以上方程式(15)的解是以下方程式(16)：

因此，添加額外的約束-w _i1

v _i

w _i1。在約束-w _i1

v _i

w _i1的條件下來求解以上方程式(16)中的最優y，從而得出L(y ^* ,x ^* ,v,μ)=inf_y L(y,x ^* ,v,μ)。根據對偶性定理，對偶方程式接著變成max_v,μ L(y ^* ,x ^* ,v,μ)，此可匯出為以下方程式(17)：

其中

一旦獲得了最優對偶解η ^*，便可通過以下方程式(18)來恢復原始解：

以上方程式(18)是具有邊界約束的正半定QP問題(positive semidefinite QP problem)。用於求解QP問題的一些方法包括例如QP內點法(QP interior point method)及座標下降法(coordinate descent method)。在實施例中，使用ADMM來求解以上方程式(17)中的QP問題。

以下闡述基於ADMM的對偶解。以上方程式(17)可被改寫為以下方程式(19)：

其中H=AA ^T，f=2(Az+B)，且x=η。等價公式是以下方程式(20)：min_x x ^T Hx+f ^T x s.t.x=y

通過在約束x=y下考慮對偶，以上方程式(20)的增廣拉格朗日量(augmented lagrangian)是方程式(21)：

其中ρ是二次懲罰的權重。用於求解方程式(21)的基於ADMM的更新由以下方程式(22)、方程式(23)及方程式(24)給出：

x _k+1=argmin_x L(x,y _k+1 ,α _k)...(23)

α _k+1=α _k+ρ(x _k+1-y _k+1)...(24)

如果原始間隙r _p=|x _k-y _k|₂及對偶間隙r _d=|ρ(x _k-x _k-1)|₂二者均低於預定閾值γ，則所述方法終止。

x更新(x _k+1=argmin_x L(x,y _k+1 ,α _k))是不受約束的QP問題，其可由以下方程式(25)進行計算：x _k+1=[2H+ρI]^-1(ρy _k+1-α _k-f)...(25)

由於使用固定的ρ，因此可僅計算一次矩陣求逆(matrix inversion)[2H+ρI]^-1且可對所有畫面中的所有反覆運算重複使用。y更新實質上是在邊界約束γ _lb y
γ _ub下找到與點x _k+

α _k的最小距離，所述y更新還具有以下方程式(26)中的封閉形式解：

基於ADMM的QP求解器還可通過將x ₀設定成前一畫面中的最優解來配合暖開機使用。由於封閉形式更新複雜度低，因此所述方法比傳統方法運行地快得多。

圖5示出根據一個實施例的L2路徑優化器。ADMM QP求解器500包括L2控制器501、L2 CPU 503及L2 ALU 505。

L2控制器501包括用於接收要被進行平滑的原始資料級數z的第一輸入507、用於接收所選擇權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度的第二輸入509、以及輸出511。L2控制器501在以下方程式(27)中將L2趨勢濾波問題公式化：

L2 CPU 503包括與L2控制器501的輸出511連接的輸入、以及輸出513。L2 CPU 503通過對偶變換匯出QP問題。

L2 ALU 505包括與L2 CPU 503的輸出513連接的第一輸入、輸出515及連接到輸出515的第二輸入。L2 ALU 505使用具有封閉形式更新的基於ADMM的解以暖開機來求解QP問題，並輸出經平滑的路徑y，其中具有封閉形式更新的基於ADMM的解的前一解被用作暖開機。以下將參照圖7更詳細地闡述L2 ALU 505的操作。

圖6示出根據一個實施例的基於ADMM的QP求解器的方法的流程圖。在601處，基於ADMM的QP求解器通過L2控制器接收要被進行平滑的原始資料級數z。在603處，基於ADMM的QP求解器通過L2控制器接收所選擇權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度。在605處，基於ADMM的QP求解器通過L2控制器將L2趨勢濾波問題公式化為如以上方程式(27)中所示。

在607處，基於ADMM的QP求解器通過L2 CPU來經由對偶變換匯出QP問題。在609處，基於ADMM的QP求解器通過L2 ALU使用具有封閉形式更新的基於ADMM的解來求解QP問題。在611處，基於ADMM的QP求解器通過L2 ALU使用QP問題的前一解作為暖開機。在613處，基於ADMM的QP求解器通過L2 ALU來輸出經平滑的路徑y。

L1趨勢濾波不同於L2趨勢濾波。由於對距離懲罰項的不同的選擇將改變所輸出的經平滑的路徑的性質，因此選擇使用L1趨勢濾波以及L2趨勢濾波中的哪一者需視應用要求而定。

LP求解器與QP求解器在以上方程式(1)中可採用不同數目的匯出項。基於ADMM的QP求解器還可對具有L2範數的匯出項進行處理。可將LP求解器及QP求解器推廣到求解考慮更高階項的濾波問題。

圖7示出根據實施例的L2 ALU(例如，圖5中的L2 ALU 505以及圖6中的步驟609)的方法的流程圖。在701處，L2 ALU使用第n畫面輸入z _n來更新f。

在703處，L2 ALU判斷n是否等於0。在705處，如果n等於0，則L2 ALU隨機地將變數x ₀及拉格朗日乘子α ₀初始化，並設定反覆運算次數k等於0。在707處，如果n不等於0，則L2 ALU使用來自前一畫面n-1的最新更新來將x ₀及α ₀初始化並設定反覆運算次數k等於0。

在709處，L2 ALU根據以下方程式(28)、方程式(29)及方程式(30)來確定基於ADMM的更新：x _k+1=[2H+ρI]^-1(ρy _k+1-α _k-f)...(28)

α _k+1=α _k+ρ(x _k+1-y _k+1)...(30)

在711處，L2 ALU根據以下方程式(31)及方程式(32)來計算殘留間隙：r _p=|x _k-y _k|₂...(31)

r _d=|ρ(x _k-x _k-1)|₂...(32)

在713處，L2 ALU判斷r _p<y及r _d<y是否成立。在715處，如果r _p<y及r _d<y不成立，則L2 ALU將反覆運算次數k設定成k+1。在717處，如果r _p<y且r _d<y，則L2 ALU輸出z _n-

A ^T x _k。

圖8示出根據一個實施例的網路環境中的電子器件的方塊圖。網路環境800中的電子器件801可通過第一網路898(例如，短距離無線通訊網路)來與電子器件802進行通訊，或者通過第二網路899(例如，長距離無線通訊網路)來與電子器件804或伺服器808進行通訊。根據一個實施例，電子器件801可通過伺服器808來與電子器件804進行通訊。電子器件801可包括處理器820、記憶體830、輸入器件850、聲音輸出器件855、顯示器件860、音訊模組870、感測器模組876、介面877、觸感模組(haptic module)879、相機模組880、電源管理模組888、電池889、通訊模組890、使用者識別模組(subscriber identification module，SIM)896或天線模組897。在一個實施例中，可從電子器件801省略這些元件中的至少一者(例如，顯示器件860或相機模組880)，或者可向電子器件801添加一個或多個其他元件。在一個實施例中，所述元件中的一些元件可被實施為單個積體電路(integrated circuit，IC)。舉例來說，感測器模組876(例如，指紋感測器 (fingerprint sensor)、虹膜感測器(iris sensor)或亮度感測器(illuminance sensor))可嵌入在顯示器件860(例如，顯示器)中。

處理器820可執行例如軟體(例如，程式840)以控制與處理器820耦合的電子器件801的至少一個其他元件(例如，硬體元件或軟體元件)，且可執行各種資料處理或計算。根據一個實施例，作為資料處理或計算的至少一部分，處理器820可在揮發性記憶體832中載入從另一個元件(例如，感測器模組876或通訊模組890)接收的命令或資料，處理儲存在揮發性記憶體832中的命令或資料，以及將所得資料儲存在非揮發性記憶體834中。根據一個實施例，處理器820可包括主處理器821(例如，CPU或應用處理器(application processor，AP))以及能夠獨立於主處理器821運行或與主處理器821結合運行的輔助處理器823(例如，圖形處理單元(graphics processing unit，GPU)、圖像訊號處理器(image signal processor，ISP)、感測器集線器處理器(sensor hub processor)或通訊處理器(communication processor，CP))。另外地或作為另外一種選擇，輔助處理器823可適以消耗比主處理器821少的功率，或者執行特定功能。輔助處理器823可與主處理器821分開實施或者作為主處理器821的一部分實施。

當主處理器821處於非現用(inactive)(例如，睡眠)狀態時，輔助處理器823可替代主處理器821來控制與電子器件801的元件中的至少一個元件(例如，顯示器件860、感測器模組876或通訊模組890)相關的功能或狀態中的至少一些功能或狀態；或者當主處理器821處於現用狀態(例如，正在執行應用時)，輔助處理器823可與主處理器821一起控制上述功能或狀態中的至少一些功能或狀態。根據一個實施例，輔助處理器823(例如，圖像訊號處理器或通訊處理器)可被實施為在功能上與輔助處理器823相關的另一個元件(例如，相機模組880或通訊模組890)的一部分。

記憶體830可儲存由電子器件801的至少一個元件(例如，處理器820或感測器模組876)使用的各種資料。所述各種資料可包括例如軟體(例如，程式840)以及用於與軟體相關的命令的輸入資料或輸出資料。記憶體830可包括揮發性記憶體832或非揮發性記憶體834。

程式840可作為軟體儲存在記憶體830中且可包括例如作業系統(operating system，OS)842、中介軟體(middleware)844或應用846。

輸入器件850可從電子器件801的外部(例如，使用者)接收將由電子器件801的其他元件(例如，處理器820)使用的命令或資料。輸入器件850可包括例如麥克風、滑鼠或鍵盤。

聲音輸出器件855可將聲音訊號輸出到電子器件801的外部。聲音輸出器件855可包括例如揚聲器或接收器。揚聲器可用於一般用途(例如，播放多媒體或錄音)，且接收器可用於接收傳入呼叫。根據一個實施例，接收器可與揚聲器分開實施或作為揚聲器的一部分實施。

顯示器件860可向電子器件801的外部(例如，使用者)以視覺方式提供資訊。顯示器件860可包括例如顯示器、全息圖器件(hologram device)或投影儀以及用於控制顯示器、全息圖器件及投影儀中的對應一者的控制電路。根據一個實施例，顯示器件860可包括適以檢測觸摸的觸摸電路、或適以測量由觸摸引發的力的強度的感測器電路(例如，壓力感測器)。

音訊模組870可將聲音轉換成電訊號以及將電訊號轉換成聲音。根據一個實施例，音訊模組870可通過輸入器件850獲得聲音，或者通過聲音輸出器件855或通過與電子器件801直接地(例如，以有線方式)耦合或無線耦合的外部電子器件(例如，電子器件802)的頭戴耳機來輸出聲音。

感測器模組876可檢測電子器件801的運行狀態(例如，功率或溫度)或者電子器件801外部的環境狀態(例如，使用者狀態)，且接著產生與所檢測的狀態對應的電訊號或資料值。根據一個實施例，感測器模組876可包括例如手勢感測器(gesture sensor)、陀螺儀感測器(gyro sensor)、大氣壓感測器(atmospheric pressure sensor)、磁性感測器(magnetic sensor)、加速度感測器(acceleration sensor)、握持感測器(grip sensor)、接近感測器(proximity sensor)、顏色感測器(color sensor)、紅外(infrared，IR)感測器、生物特徵感測器(biometric sensor)、溫度感測器(temperature sensor)、濕度感測器(humidity sensor)或亮度感測器。

介面877可支援為將電子器件801直接地(例如，以有線方式)或無線地與外部電子器件(例如，電子器件802)耦合而使用的一種或多種規定協議。根據一個實施例，介面877可包括例如高清晰度多媒體介面(high definition multimedia interface，HDMI)、通用序列匯流排(universal serial bus，USB)介面、安全數位(secure digital，SD)卡介面或音訊介面。

連接端子878可包括連接件，電子器件801可通過連接件與外部電子器件(例如，電子器件802)實體連接。根據一個實施例，連接端子878可包括例如HDMI連接件、USB連接件、SD卡連接件或音訊連接件(例如，頭戴耳機連接件)。

觸感模組879可將電訊號轉換成機械刺激(例如，震動或移動)或者可由用戶通過觸覺(tactile sensation)或運動覺(kinesthetic sensation)識別的電刺激。根據一個實施例，觸感模組879可包括例如電動機、壓電式元件(piezoelectric element)或電刺激器(electrical stimulator)。

相機模組880可拍攝靜止圖像或移動圖像。根據一個實施例，相機模組880可包括一個或多個鏡頭、圖像感測器、圖像訊號處理器或閃光燈。

電源管理模組888可管理向電子器件801供應的電力。根據一個實施例，電源管理模組888可被實施為例如電源管理積體電路(power management integrated circuit，PMIC)的至少一部分。

電池889可向電子器件801的至少一個元件供電。根據一個實施例，電池889可包括例如不可再充電的一次電池(primary cell)、可再充電的二次電池(secondary cell)或燃料電池(fuel cell)。

通訊模組890可支援在電子器件801與外部電子器件(例如，電子器件802、電子器件804或伺服器808)之間建立直接的(例如，有線的)通訊通道或無線的通訊通道以及通過所建立的通訊通道執行通訊。通訊模組890可包括可獨立於處理器820 (例如，AP)運行的一個或多個通訊處理器並支援直接的(例如，有線的)通訊或無線的通訊。根據一個實施例，通訊模組890可包括無線通訊模組892(例如，蜂窩通訊模組、短距離無線通訊模組或全球導航衛星系統(global navigation satellite system，GNSS)通訊模組)或有線通訊模組894(例如，局域網(local area network，LAN)通訊模組或電力線通訊(power line communication，PLC)模組)。這些通訊模組中對應的一個通訊模組可通過第一網路898(例如，短距離通訊網路，例如藍牙^TM、無線保真(wireless-fidelity，Wi-Fi)直接或紅外資料協會(Infrared Data Association，IrDA)標準)或第二網路899(例如，長距離通訊網路，例如蜂窩網路、互聯網或電腦網路(例如，LAN或廣域網路(wide area network，WAN)))與外部電子器件進行通訊。這些各種類型的通訊模組可被實施為單個元件(例如，單個積體電路)或者可被實施為彼此分開的多個組件(例如，多個積體電路)。無線通訊模組892可使用儲存在使用者識別模組896中的使用者資訊(例如，國際移動用戶識別碼(international mobile subscriber identity，IMSI))來識別及認證通訊網路(例如，第一網路898或第二網路899)中的電子器件801。

天線模組897可將訊號或電力傳送到電子器件801外部(例如，外部電子器件)或者從電子器件801外部接收訊號或電力。根據一個實施例，天線模組897可包括一個或多個天線，且由此舉例來說通訊模組890(例如，無線通訊模組892)可從所述一個或多個天線中選擇適用於在通訊網路(例如，第一網路898或第二網路899)中使用的通訊方案的至少一個天線。然後可通過所選擇的至少一個天線在通訊模組890與外部電子器件之間傳送或接收訊號或電力。

上述元件中的至少一些元件可相互耦合且所述至少一些元件之間可通過週邊間通訊方案(inter-peripheral communication scheme)(例如，匯流排、通用輸入及輸出(general purpose input and output，GPIO)、串列週邊介面(serial peripheral interface，SPI)或移動產業處理器介面(mobile industry processor interface，MIPI))傳送訊號(例如，命令或資料)。

根據一個實施例，可通過與第二網路899進行耦合的伺服器808在電子器件801與外部電子器件804之間傳送或接收命令或資料。電子器件802及電子器件804中的每一者可為與電子器件801為相同類型或不同類型的器件。根據一個實施例，將在電子器件801處執行的所有操作或一些操作可在外部電子器件802、外部電子器件804或外部電子器件808中的一者或多者處執行。舉例來說，如果電子器件801原本應自動地或回應於來自用戶或另一個器件的請求而執行功能或服務，則替代執行所述功能或服務或者除了執行所述功能或服務之外，電子器件801還可請求所述一個或多個外部電子器件執行所述功能或服務的至少一部分。接收到所述請求的所述一個或多個外部電子器件可執行所請求的功能或服務的所述至少一部分，或者執行與所述請求相關的其他功能或其他服務，並將所述執行的結果傳輸到電子器件801。電子器件801在對結果進行進一步處理或不進行進一步處理的情況下提供所述結果作為對請求的回復的至少一部分。為此，舉例來說，可使用雲計算、分散式運算或客戶機-伺服器計算技術。

一個實施例可被實施為包括儲存在可由機器(例如，電子器件801)讀取的儲存介質(例如，內部記憶體836或外部記憶體838)中的一個或多個指令的軟體(例如，程式840)。舉例來說，機器(例如，電子器件801)的處理器(例如，處理器820)可在使用或不使用受處理器控制的一個或多個其他元件的條件下調用儲存在儲存介質中的所述一個或多個指令中的至少一個指令，並執行所述至少一個指令。因此，可操作機器根據所調用的至少一個指令來執行至少一種功能。所述一個或多個指令可包括由編譯器產生的代碼或者可由解譯器執行的代碼。機器可讀儲存介質可設置成非暫時性儲存介質形式。用語“非暫時性”表示儲存介質是有形器件，且不包括訊號(例如，電磁波)，但此用語並不區分資料以半永久方式儲存在儲存介質中的情形與資料臨時儲存在儲存介質中的情形。

圖9示出根據一個實施例的相機模組的方塊圖。相機模組1000可包括鏡頭總成1010、閃光燈1020、圖像感測器1030、圖像穩定器(image stabilizer)1040、記憶體1050(例如，緩衝記憶體)或圖像訊號處理器1060。鏡頭總成1010可收集從要被拍攝圖像的物體發出或反射的光。鏡頭總成1010可包括一個或多個鏡頭。根據一個實施例，相機模組1000可包括多個鏡頭總成1010。在這種情形中，相機模組1000可形成例如雙攝相機(dual camera)、360度相機(360-degree camera)或球形相機(spherical camera)。所述多個鏡頭總成1010中的一些鏡頭總成1010可具有相同的鏡頭屬性(例如，視角、焦距、自動聚焦(auto-focusing)、f數(f number)或光學變焦(optical zoom))，或者至少一個鏡頭總成可具有與另一鏡頭總成的屬性不同的一個或多個鏡頭屬性。鏡頭總成1010可包括例如廣角鏡頭(wide-angle lens)或攝遠鏡頭(telephoto lens)。

閃光燈1020可發出光來加強從物體反射的光。根據一個實施例，閃光燈1020可包括一個或多個發光二極體(light emitting diode，LED)(例如，紅綠藍(red-green-blue，RGB)LED、白色LED、紅外(IR)LED或紫外(ultraviolet，UV)LED)或氙氣燈(xenon lamp)。圖像感測器1030可通過將從物體發出或反射並通過鏡頭總成1010透射的光轉換成電訊號來獲得與物體對應的圖像。根據一個實施例，圖像感測器1030可選自具有不同屬性的圖像感測器，例如RGB感測器、黑白(black-and-white，BW)感測器、IR感測器或UV感測器、具有相同屬性的多個圖像感測器或具有不同屬性的多個圖像感測器。包括在圖像感測器1030中的每一個圖像感測器可使用例如電荷耦合器件(charged coupled device，CCD)感測器或互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)感測器來實施。

圖像穩定器1040可在特定方向上移動圖像感測器1030或移動鏡頭總成1010中包括的至少一個鏡頭，或者回應於相機模組1000的移動或包括相機模組1000的電子器件801的移動來控制圖像感測器1030的操作屬性(例如，調整讀出時序)。這使得能夠補償因所述移動而對正被拍攝的圖像造成的至少部分負面影響(例如，圖像模糊)。根據一個實施例，圖像穩定器1040可使用設置在相機模組1000內部或外部的陀螺儀感測器或加速度感測器來感測相機模組1000或電子器件801的這種移動。根據一個實施例，圖像穩定器1040可被實施為例如光學圖像穩定器。

記憶體1050可至少臨時地儲存通過圖像感測器1030獲得的圖像的至少一部分以用於後續影像處理任務。舉例來說，如果由於快門滯後(shutter lag)而導致圖像拍攝延遲或如果快速拍攝多個圖像，則可將獲得的原始圖像(例如，拜耳圖案圖像(Bayer-patterned image)、高解析度圖像)儲存在記憶體1050中，且可通過顯示器件860來預覽原始圖像的對應的副本圖像(例如，低解析度圖像)。之後，如果滿足規定條件(例如，使用者的輸入或系統命令滿足所述規定條件)，則圖像訊號處理器1060可例如獲得及處理儲存在記憶體1050中的原始圖像的至少一部分。根據一個實施例，記憶體1050可被配置成記憶體830的至少一部分或者被配置成獨立於記憶體830運行的單獨記憶體。

圖像訊號處理器1060可對通過圖像感測器1030獲得的圖像或儲存在記憶體1050中的圖像執行一種或多種影像處理。所述一種或多種影像處理可包括例如深度圖生成(depth map generation)、三維建模、全景生成(panorama generation)、特徵點提取、圖像合成或圖像補償(例如，降噪、解析度調整、明度調整、模糊、銳化或軟化)。另外地或作為另外一種選擇，圖像訊號處理器1060可對相機模組880中所包括的元件中的至少一個元件(例如，圖像感測器1030)執行控制(例如，曝光時間控制或讀出時序控制)。由圖像訊號處理器1060處理的圖像可儲存在記憶體1050中以用於進一步處理，或者可被提供到位於相機模組1000外部的外部元件(例如，記憶體830、顯示器件860、電子器件802、電子器件804或伺服器808)。根據一個實施例，圖像訊號處理器1060可被配置成處理器820的至少一部分，或者被配置成獨立於處理器820運行的單獨處理器。如果圖像訊號處理器1060被配置成與處理器820分開的單獨處理器，則處理器820可通過顯示器件860來原樣顯示由圖像訊號處理器1060處理的至少一個圖像或者在對所述至少一個圖像進行進一步處理之後加以顯示。

根據一個實施例，電子器件801可包括具有不同的屬性或功能的多個相機模組880。在這種情形中，所述多個相機模組880中的至少一個相機模組880可形成例如廣角相機且所述多個相機模組880中的至少另一個相機模組880可形成攝遠相機。相似地，所述多個相機模組880中的至少一個相機模組880可形成例如前置相機且所述多個相機模組880中的至少另一個相機模組880可形成後置相機。

儘管已在本揭露的詳細說明中闡述了本揭露的某些實施例，然而在不背離本揭露的範圍的條件下可以各種形式來對本揭露進行修改。因此，本揭露的範圍不應僅基於所闡述的實施例來確定，而是應基於隨附權利要求書及其等效形式來確定。

100:三維視頻穩定系統

101:三維旋轉估計器

103:三維旋轉平滑器

105:畸變計算器

107:畸變補償器

109:輸入

111、113、115、119:輸出

117:第二輸入

Claims

一種低複雜度優化求解器的裝置，包括：L1控制器，被配置成接收要被進行平滑的原始資料級數z，接收權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度，以及將L1趨勢濾波問題公式化，其中L1表示基於L1範數成本的公式；L1中央處理器，連接到所述L1控制器且被配置成將所述L1趨勢濾波問題變換成原始-對偶線性規劃優化問題對；以及L1算數邏輯單位，連接到所述L1中央處理器且被配置成利用擴展全表單純形法來求解所述原始-對偶線性規劃優化問題對的原始問題。
如申請專利範圍第1項所述的裝置，其中所述L1算數邏輯單位更被配置成使用所述原始-對偶線性規劃優化問題對的前一解作為暖開機。
如申請專利範圍第1項所述的裝置，其中所述L1控制器更被配置成將所述L1趨勢濾波問題公式化為：
其中y是經平滑的所述輸出路徑，D _i是第i階微分矩陣，且r _th是閾值向量。
如申請專利範圍第1項所述的裝置，其中所述L1算數邏輯單位更被配置成利用如下所示擴展全表單純形法來求解所述原始-對偶線性規劃優化問題對的所述原始問題：
其中A是厚度矩陣，c是行矩陣，B是基矩陣，T表示矩陣的轉置，且b=Ax，且x是向量。
如申請專利範圍第1項所述的裝置，其中所述L1算數邏輯單位更被配置成通過以下操作來求解所述原始-對偶線性規劃優化問題對的所述原始問題：使用第k畫面輸入z _k來更新c，其中k是整數；判斷k是否等於0，如果確定k等於0，則使用單純形初始化來將所述擴展全表單純形法初始化；如果確定k不等於0，則利用所述擴展全表單純形法的最新更新的暖開機來將所述擴展全表單純形法初始化；確定當前擴展全表單純形法；判斷成本
是否全部非負的；如果確定所述成本
全部非負的，則輸出
；如果確定所述成本
不是全部非負的，則確定
<0時的進入行j；判斷u=B ^-1 A _j是否非正；如果u=B ^-1 A _j為非正的，則確定無界解；如果u=B ^-1 A _j不是非正，則確定給出所有正u _i中的最小x _B(i) /u _i的現有行j；以及執行基本列運算並更新所述擴展全表單純形法，其中y是經平滑的所述輸出路徑，c是行矩陣，B是基矩陣，T表示矩陣的轉置，A是厚度矩陣，x是向量，i是B的第i行索引。
一種低複雜度優化求解器的方法，包括：由L1控制器接收要被進行平滑的原始資料級數z，接收權重 w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度，以及將L1趨勢濾波問題公式化，其中L1表示基於L1範數成本的公式；由連接到所述L1控制器的L1中央處理器將所述L1趨勢濾波問題變換成原始-對偶線性規劃優化問題對；以及由連接到所述L1中央處理器的L1算數邏輯單位利用擴展全表單純形法來求解所述原始-對偶線性規劃優化問題對的原始問題。
如申請專利範圍第6項所述的方法，更包括由所述L1算數邏輯單位使用所述原始問題的前一解作為暖開機。
如申請專利範圍第6項所述的方法，其中將所述L1趨勢濾波問題公式化包括將所述L1趨勢濾波問題公式化為：
其中y是經平滑的所述輸出路徑，D _i是第i階微分矩陣，且r _th是閾值向量。
如申請專利範圍第6項所述的方法，其中由連接到所述L1中央處理器的所述L1算數邏輯單位來求解所述原始-對偶線性規劃優化問題對的所述原始問題包括如下所示方法：
其中A是厚度矩陣，c是行矩陣，B是基矩陣，T表示矩陣的轉置，且b=Ax，且x是向量。
如申請專利範圍第6項所述的方法，其中由連接到所述L1中央處理器的所述L1算數邏輯單位利用所述擴展全表單純形法來求解所述原始-對偶線性規劃優化問題對的所述原始問題包括：使用第k畫面輸入z _k來更新c，其中k是整數；判斷k是否等於0，如果確定k等於0，則使用單純形初始化來將所述擴展全表單純形法初始化；如果確定k不等於0，則利用所述擴展全表單純形法的最新更新的暖開機來將所述擴展全表單純形法初始化；確定當前擴展全表單純形法；判斷成本
是否全部非負的，如果確定所述成本
全部非負的，則輸出
；如果確定所述成本
不是全部非負的，則確定
<0時的進入行j；判斷u=B ^-1 A _j是否非正的；如果u=B ^-1 A _j為非正的，則確定無界解；如果u=B ^-1 A _j不是非正的，則確定給出所有正u _i中的最小x _B(i) /u _i的現有行j；以及執行基本列運算並更新所述擴展全表單純形法，其中y是經平滑的所述輸出路徑，c是行矩陣，B是基矩陣，T表示矩陣的轉置，A是厚度矩陣，x是向量，i是B的第i行索引。
一種低複雜度優化求解器的裝置，包括：L2控制器，被配置成接收要被進行平滑的原始資料級數z，接收權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度，以及將L2 趨勢濾波問題公式化，其中L2表示基於L2範數成本的公式；L2中央處理器，連接到所述L2控制器且被配置成通過對偶變換匯出二次規劃問題；以及L2算數邏輯單位，連接到所述L2中央處理器且被配置成使用具有封閉形式更新的基於交替方向乘子法的解來求解所述二次規劃問題。
如申請專利範圍第11項所述的裝置，其中所述L2算數邏輯單位更被配置成使用所述基於交替方向乘子法的解的前一解作為暖開機。
如申請專利範圍第11項所述的裝置，其中所述L2控制器更被配置成將所述L2趨勢濾波問題公式化為：
其中y是經平滑的所述輸出路徑，D _i是第i階微分矩陣，且r _th是閾值向量。
如申請專利範圍第11項所述的裝置，其中所述L2算數邏輯單位更被配置成通過對偶變換匯出所述二次規劃問題。
如申請專利範圍第11項所述的裝置，其中所述L2算數邏輯單位更被配置成通過以下操作使用具有封閉形式更新的所述基於交替方向乘子法的解來求解所述二次規劃問題：使用第n畫面輸入z _n來更新f；判斷n是否等於0；如果n等於0，則隨機地將變數x ₀及拉格朗日乘子α ₀初始化，並設定反覆運算次數k等於0；如果n不等於0，則使用來自前一畫面n-1的最新更新來將x ₀及α ₀初始化並設定所述反覆運算次數k等於0；根據以下公式確定基於交替方向乘子法的更新：x_k+1=[2H+ρI]^-1(ρy_k+1-α_k-f)
α _k+1=α _k+ρ(x _k+1-y _k+1)根據以下公式計算殘留間隙：r _p=|x _k-y _k|₂ r _d=|ρ(x _k-x _k-1)|₂判斷r _p<y及r _d<y是否成立；如果r _p<y及r _d<y不成立，則將所述反覆運算次數k設定成k+1；如果r _p<y且r _d<y，則輸出z _n-
A ^T x _k，其中，f=2(Az+B)，H=AA ^T，A是厚度矩陣，T是轉置，B是基矩陣，n是整數，k是整數，z是原始資料級數，ρ是二次懲罰的權重，γ _lb是下限閾值，γ _ub是上限閾值，且y是經平滑的所述輸出路徑。
一種低複雜度優化求解器的方法，包括：由L2控制器接收要被進行平滑的原始資料級數z，其中L2表示基於L2範數成本的公式；由所述L2控制器接收權重w ₀、w ₁、w ₂及w ₃以控制輸出路徑的平滑度，由所述L2控制器將L2趨勢濾波問題公式化；由連接到所述L2控制器的L2中央處理器通過對偶變換匯出二次規劃問題；以及由連接到所述L2中央處理器的L2算數邏輯單位使用具有封閉形式更新的基於交替方向乘子法的解來求解所述二次規劃問題。
如申請專利範圍第16項所述的方法，更包括：由所述L2算數邏輯單位使用所述基於交替方向乘子法的解的前一解作為暖開機。
如申請專利範圍第16項所述的方法，其中由所述L2控制器將L2趨勢濾波問題公式化為：
其中y是經平滑的所述輸出路徑，D _i是第i階微分矩陣，且r _th是閾值向量。
如申請專利範圍第16項所述的方法，其中由連接到所述L2控制器的所述L2中央處理器通過對偶變換匯出二次規劃問題。
如申請專利範圍第16項所述的方法，其中由連接到所述L2中央處理器的所述L2算數邏輯單位使用具有封閉形式更新的所述基於交替方向乘子法的解來求解所述二次規劃問題包括：使用第n畫面輸入z _n來更新f；判斷n是否等於0；如果n等於0，則隨機地將變數x ₀及拉格朗日乘子α ₀初始化，並設定反覆運算次數k等於0；如果n不等於0，則使用來自前一畫面n-1的最新更新來將x ₀及α ₀初始化並設定所述反覆運算次數k等於0；根據以下公式確定基於交替方向乘子法的更新：x_k+1=[2H+ρI]^-1(ρy_k+1-α_k-f)
α _k+1=α _k+ρ(x _k+1-y _k+1)根據以下公式計算殘留間隙：r _p=|x _k-y _k|₂ r _d=|ρ(x _k-x _k-1)|₂判斷r _p<y及r _d<y是否成立；如果r _p<y及r _d<y不成立，則將所述反覆運算次數k設定成k+1；以及如果r _p<y且r _d<y，則輸出z _n-
A ^T x _k，其中f=2(Az+B)，H=AA ^T，A是厚度矩陣，T是轉置，B是基矩陣，n是整數，k是整數，z是原始資料級數，ρ是二次懲罰的權重，γ _lb是下限閾值，γ _ub是上限閾值，且y是經平滑的所述輸出路徑。