TWI723626B

TWI723626B - 具隱私保護機制的預測方法、電子裝置與電腦程式產品

Info

Publication number: TWI723626B
Application number: TW108141046A
Authority: TW
Inventors: 陳伯煒
Original assignee: 國立中山大學
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2021-04-01
Also published as: TW202119401A; US11669634B2; US20210141927A1

Abstract

本發明提出的方法包括：取得一預測因子矩陣，此預測因子矩陣中至少一個屬性是被遮蔽；取得一響應矩陣；設定預測因子矩陣近似為基底矩陣與係數矩陣的乘積，設定響應矩陣近似為權重矩陣、投影矩陣與預測因子矩陣的乘積；設定基底矩陣、係數矩陣、權重矩陣與投影矩陣為非負矩陣；設定投影矩陣、權重矩陣或投影矩陣與預測因子矩陣的乘積為正交，藉此設定一成本函數；以及根據成本函數計算出基底矩陣、係數矩陣、權重矩陣與投影矩陣，據此可以執行補值、擬合與子空間分析等操作。

Description

具隱私保護機制的預測方法、電子裝置與電腦程式產品

本發明是有關於一種具隱私保護機制的預測方法，可以完成補值、擬合與子空間分析等操作。

針對隱私權保護條款，例如歐盟提出的一般資料保護規範(General Data Protection Regulation，GDPR)，軟體上的隱私權保護機制依據強度可以略分為三類：加密(encryption)、模糊混淆化(obfuscation)與訊息移除(information removal)。其中訊息移除技術使用遮罩直接將敏感資料從原始數據中移除，因為具有不可還原性，因此通常用於高度機密資料。然而，使用訊息移除的結果會造成數值遺失，無法正常使用數學計算，例如一般的資料探勘演算法等。在這樣的情況下，為了對被遮蔽資料(masked data)做後續的分析，例如預測、擬合、子空間分析等，需要先進行遮蔽數據補值(masked-value imputation)。習知的技術並無法同時做到預測、擬合、子空間分析這三個操作。

本發明的實施例提出一種具隱私保護機制的預測方法，適用於一電子裝置，此預測方法包括：取得一預測因子矩陣，此預測因子矩陣包括多筆預測紀錄，每一筆預測記錄包括多個預測屬性，預測因子矩陣中至少一個預測屬性是被遮蔽；取得一響應矩陣，此響應矩陣包括多筆響應紀錄，每一筆響應紀錄包括多個響應屬性；設定預測因子矩陣近似為基底矩陣與係數矩陣的乘積，設定響應矩陣近似為權重矩陣、投影矩陣與預測因子矩陣的乘積，設定基底矩陣、係數矩陣、權重矩陣與投影矩陣為非負矩陣，並且設定投影矩陣、權重矩陣或投影矩陣與預測因子矩陣的乘積為正交，藉此設定一成本函數；根據成本函數計算出基底矩陣、係數矩陣、權重矩陣與投影矩陣；取得新紀錄向量，此新紀錄向量包括多筆新屬性，這些新屬性的個數相同於每一筆預測記錄中預測屬性的個數；以及將新紀錄向量合併至預測因子矩陣以取得一新預測因子矩陣，計算新預測因子矩陣、權重矩陣與投影矩陣的乘積以取得對應於新紀錄向量的多個新響應屬性。

在一些實施例中，至少一個新屬性是被遮蔽。

在一些實施例中，上述的預測紀錄分別對應至多個使用者，預測屬性包括對應使用者的年齡、性別、居住地、網頁瀏覽時間與商品購買紀錄。

在一些實施例中，響應紀錄分別對應至上述的使用者，響應屬性包括對應使用者的廣告瀏覽時間。

在一些實施例中，上述的預測方法更包括：計算基底矩陣與係數矩陣的乘積以取得被遮蔽的預測屬性。

以另一個角度來說，本發明的實施例亦提出一種電子裝置，包括處理器與記憶體，記憶體中儲存有多個指令，處理器用以執行這些指令以實施上述的預測方法。

以另一個角度來說，本發明的實施例亦提出一種電腦程式產品，由電子裝置載入並執行以實施上述的預測方法。

在上述的預測方法中，可以同時做到預測、擬合、子空間分析這三個操作。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:電子裝置

110:處理器

120:記憶體

201、211~213、221~223、231~233、240:步驟

210、220、230:程序

[圖1]是根據一實施例繪示電子裝置的示意圖。

[圖2]是根據一實施例繪示具隱私保護機制的預測方法的流程圖。

圖1是根據一實施例繪示電子裝置的示意圖。請參照圖1，電子裝置100可以是智慧型手機、平板電腦、個人電腦、筆記型電腦、伺服器、工業電腦或具有計算能力的各種電子裝置等，本發明並不在此限。電子裝置100包括了處理器110與記憶體120，處理器110可以是中央處理器、微處理器、微控制器等，記憶體120可為揮發性記憶體或非揮發性記憶體，其中儲存有多個指令，處理器110會執行這些指令來完成具隱私保護機制的預測方法。

本揭露所提出的預測方法可以同時完成補值、擬合與子空間分析等操作。首先，擬合是要根據一預測因子矩陣來預測一個響應矩陣。在此以廣告推播為例，預測因子矩陣如以下表1所示，表1共包括N+1欄與M+1列，第一列表示使用者編號，第一列表示預測因子矩陣中屬性的類型。表1中的第2欄至第N+1欄，第2列至第M+1列中的數值組成上述的預測因子矩陣。表1中的第2欄至第N+1欄亦稱為預測紀錄，對應至N個使用者，每筆預測紀錄包括了M個預測屬性，例如年齡、性別、居住地、網頁瀏覽時間等，其中N、M為正整數。表1中的黑色方格表示其中的預測屬性已被遮蔽，其他未被遮蔽的值可填入任意的數值，本發明並不在此限。

表1

此外，上述的響應矩陣如以下表2所示，表2共包括N+1欄與L+1列，第一列表示使用者的編號，第一欄表示響應矩陣中屬性的類型。表2的第2欄至第N+1欄，第2列至第L+1列中的數值組成響應矩陣。第2欄至第N+1欄亦稱為響應紀錄，對應至N個使用者，每筆響應紀錄包括了L個響應屬性，值得注意的是表2中沒有響應屬性被遮蔽，其中L為正整數。

上述的表1是要記錄使用者的網頁瀏覽紀錄、商品購買紀錄等，並用這些資訊來擬合表2中使用者對於廣告的偏好(即瀏覽時間)，這個擬合的程序也可稱為訓練階段。在測試階段，如果有一群新客戶，便可以根據上述訓練的結果來預測這些新客戶的偏好，藉此顯示相關的廣告，詳細的預測方式以下會再詳細說明。然而，上述的表1與表2僅是範例，在其他實施例中預測因子矩陣與響應矩陣也可以是關於其他消費品，也可以關於工具機、課程學習等任意領域。舉例來說，預測因子矩陣中的每筆預測紀錄是關於某一產品，而預測屬性是關於對應此產品的生產參數，響應矩陣中的響應屬性可以是產品規格、良率等。本發明並不限制預測因子矩陣與響應矩陣的大小與內容。

在以下的方程式中，預測因子矩陣表示為X，其大小為M×N，響應矩陣表示為Y，其大小為L×N。需注意的是，在此以粗體來表示矩陣或向量，非粗體則表示純量(scalar)。值得注意的是，預測因子矩陣X中至少有一個預測屬性是被遮蔽，被遮蔽的屬性可以用0來表示。在此實施例中，會設定預測因子矩陣近似為一基底矩陣與一係數矩陣的乘積，表示為X

AB，其中A為基底矩陣，大小為M×K，B為係數矩陣，大小為K×N。基底矩陣A與係數矩陣B為非負矩陣，即其中所包含的數值都是非負的實數。此外，響應矩陣則設定為近似於權重矩陣、投影矩陣與預測矩陣的乘積，表示為WU ^T X

Y，其中W為權重矩陣，大小為L×D，U為投影矩陣，大小為M×D，D為正整數。權重矩陣W與投影矩陣U也都是非負矩陣。

在此會設定三種正交，即(1)投影矩陣U為正交；(2)權重矩陣W為正交；(3)投影矩陣W與預測因子矩陣X的乘積為正交。這三種情況可以分別設定三種成本函數，根據對應的成本函數可計算出基底矩陣A、係數矩陣B、權重矩陣W與投影矩陣U中的數值。以下將分不同實施例討論這三種情形。

[第一實施例]

在第一實施例中投影矩陣U為正交，根據此條件與上述關於預測因子矩陣X與響應矩陣Y的描述可以設定如以下方程式(1)的成本函數。

其中Tr(．)是用以計算矩陣的跡(trace)。上標T表示矩陣的轉置。

是用以計算矩陣的弗羅貝尼烏斯範數(Frobenius norm)的平方。α為一對稱拉格朗治乘數(Lagrangian multiplier)矩陣，大小為D×D，其中包括了多個拉格朗治乘數，也就是說在矩陣α中對稱的位置上有相同的拉格朗治乘數。I為單位矩陣。ρ_X、ρ_A、ρ_B、ρ_W、ρ_U可經由實驗設定為任意實數。方程式(1)中的第一項是要將響應矩陣Y近似於權重矩陣W、投影矩陣U與預測矩陣X的乘積；第二項是要將預測因子矩陣X近似為基底矩陣A與係數矩陣B的乘積；第三至第六項是要避免基底矩陣A、係數矩陣B、權重矩陣W與投影矩陣U太過複雜，也就是避免過於擬合(overfitting)；最後一項則是要限制投影矩陣U為正交。

值得注意的是，上述方程式(1)還必須加上幾個限制，即基底矩陣A、係數矩陣B、權重矩陣W與投影矩陣U中的數值是非負的。在設定上述的限制與成本函數以後，可以根據任意的演算法來(例如基因演算法、粒子群優化演算法等)計算出基底矩陣A、係數矩陣B、權重矩陣W與投影矩陣U中的數值，使得方程式(1)中的數值E最小。在一些實施例中，由於當只看一變數並固定其他變數時，上述方程式(1)為凸函數(convex function)，因此可以透過微分來求解。具體來說，將方程式(1)分別對矩陣A、B、W、U偏微分可以得到以下方程式(2)~(5)。

如此一來，方程式(2)~(4)中並不含拉格朗治乘數矩陣，所以他們的乘法法則(multiplicative rule)可以簡單推導出，乘法法則是指可將基底矩陣A、係數矩陣B、權重矩陣W與投影矩陣U分別乘上一個數值以更新矩陣中的數值。方程式(5)依然有拉格朗治乘數矩陣，為了求出U的乘法法則且繞過計算未知的拉格朗治乘數矩陣，本實施例採用斯蒂費爾流型(Stiefel manifold)定義中的梯度(gradient)。假設

代表矩陣U的斯蒂費爾流型梯度，則

，其中

與

分別由以下方程式(6)、(7)計算。

此外，

>0且

>0。依據

/

，U的乘法法則可寫成以下方程式(8)。

其中⊙為矩陣元素間乘法(element-wise multiplication)，方程式(8)中的除法也是矩陣元素間除法，max(．)是用以計算最大值，而

代表一極小正數。另外，m、d為索引值，用來代表矩陣中第m列第d行的元素，其中1

m

M、1

d

D。在初始化階段，矩陣U中的數值是隨機設定的，通過上述的方程式(8)可以更新矩陣U中的數值。此外，矩陣U中數值都會是非負的。

另一方面，矩陣A、B與W的乘法法則分別為以下方程式(9)~(11)。

其中l、k、n為索引值，1

n

N、1

l

L、N且1

k

K。類似地，在初始化階段，矩陣A、B與W是隨機設定的，通過上述的方程式(9)~(11)可以更新矩陣A、B與W中的數值。執行完方程式(8)~(11)稱為一回合，在多回合計算後可以得到收斂的矩陣A、B、U與W。例如，若在一回合後矩陣A、B、U與W的改變幅度在一預設範圍內便表示收斂，或者當回合執行的次數超過一預設次數也必須停止。值得注意的是每回合X中被遮蔽的屬性可以由AB中相對的元素推得並更新之。

[第二實施例]

在第二實施例中投影矩陣W為正交，根據此條件與上述關於預測因子矩陣X與響應矩陣Y的描述可以設定如以下方程式(12)的成本函數。

β為一對稱拉格朗治乘數矩陣，大小為D×D。在此相同的符號不再重複贅述。方程式(12)的最後一項是要限制矩陣W為正交，也就是限制w ^T w=I。與第一實施例類似的是，為了求出矩陣W的乘法法則，且繞過計算未知的拉格朗治乘數矩陣β，本發明採用斯蒂費爾流型(Stiefel Manifold)定義中的梯度。假設

代表矩陣W的斯蒂費爾流型梯度，則

，其中

與

分別由以下方程式(13)、(14)計算。

此外，

>0且

>0。依據

/

，矩陣W的乘法法則可寫成以下方程式(15)。

矩陣U的乘法法則可以依據

E/

U推導出，如以下方程式(16)。

矩陣A、B的乘法法則與第一實施例相同。計算完方程式(9)、(10)、(15)、(16)稱為一回合，多回合計算後可以得到收斂的矩陣A、B、U，與W。此外，每回合的矩陣X中被遮蔽的屬性可以由AB中相對的元素推得並更新之。

[第三實施例]

在第三實施例中，UX為正交，也就是U ^TΣ_XX U為正交，其中Σ_XX=XX ^T。根據此條件與上述關於預測因子矩陣X與響應矩陣Y的描述可以設定如以下方程式(17)的成本函數。

γ為一對稱拉格朗治乘數矩陣，大小為D×D。在此相同的符號不再重複贅述。方程式(17)的最後一項是要限制矩陣U ^TΣ_XX U為正交，也就是限制U ^TΣ_XX U=I。將方程式(17)對U偏微分可得以下方程式(18)，對應的矩陣U乘法法則是以下方程式(19)。

然而，格朗治乘數矩陣γ為未知且需要計算。為了避免複雜計算，本方法採用非負正交矩陣三因子分解理論與Karush-Kuhn-Tucker(KKT)條件中的結論，亦即，藉由設定方程式(19)中分母式與分子式相等，可以得出以下方程式(20)。

γ=U ^T ABY ^T W-W ^T W-ρ _U U ^T U…(20)

將方程式(20)代入方程式(19)可以得矩陣U的乘法法則如以下方程式(21)。

矩陣A、B、W的乘法法則與第一實施例相同。執行完方程式(9)~(11)、(21)稱為一回合，多回合計算後可以得到收斂的矩陣A、B、W與U。此外，每回合X中被遮蔽的屬性可以由AB中相對的元素推得並更新之。

[補值、擬合與子空間分析]

首先說明補值，如上所述的，預測因子矩陣X中至少一個預測屬性是被遮蔽的。然而在上述的實施例中將預測因子矩陣X近似為基底矩陣A與係數矩陣B的乘積，因此藉由計算基底矩陣A與係數矩陣B的乘積AB，被遮蔽的屬性可以由AB中相對的元素推得。此外，由於在補值時同時考慮補值誤差與擬合誤差以計算具正交性的子空間投影轉換矩陣，因此可以將自變量(預測因子矩陣X)轉成雜訊更小的自變量子空間群，更適用於擬合應變量(響應矩陣Y)。

在此說明擬合，上述的預測因子矩陣X與響應矩陣Y可以視為訓練資料，所計算出的矩陣A、B、W與U亦可稱為訓練模型。當取得一筆新紀錄向量x時，可以預測出對應此新紀錄向量x的響應屬性。具體來說，此新紀錄向量x包括M筆新屬性，也就是說新屬性的個數相同於每一個預測記錄中預測屬性的個數，值得注意的是至少有一個新屬性是被遮蔽的。被遮蔽的新屬性可以設定為0，而此新紀錄向量x會合併至預測因子矩陣X(加入至最後一行)以取得新預測因子矩陣，表示為[X|x]，大小為M×(N+1)。接下來，計算新預測因子矩陣、權重矩陣與投影矩陣的乘積WU ^T[X|x]，其大小為L×(N+1)，此乘積的最後一行便包括了對應至新紀錄向量x的L個響應屬性。

在此說明子空間分析，由於響應矩陣Y為權重矩陣W、投影矩陣U與預測因子矩陣X的乘積，這等同於把預測因子矩陣X的維度降低(投影至矩陣U上的子空間)，權重矩陣W則表示子空間上各基底的係數。透過不斷參照自變量(預測因子矩陣X)與應變量(響應矩陣Y)之間的相關性，可以找出自變量中具鑑別性的成分(這些成分組成投影矩陣U)，也可以產生具鑑別性的補值。

圖2是根據一實施例繪示具隱私保護機制的預測方法的流程圖。請參照圖2，在步驟201中，從資料庫中取得預測因子矩陣X與響應矩陣Y。程序210、220、230分別對應至上述的第一實施例至第三實施例，這些程序210、220、230可以擇一執行。

程序210包括了步驟211~213。在步驟211中，設定方程式(1)為成本函數。在步驟212中，執行方程式(8)~(11)以更新矩陣A、B、U、W。在步驟213中，判斷是否收斂，若沒有收斂則重複步驟212，若已收斂則結束程序210。

程序220包括了步驟221~223。類似地，在步驟221中設定方程式(12)為成本函數，在步驟222中執行方程式(9)、(10)、(15)、(16)以更新矩陣A、B、U、W。在步驟223中判斷是否收斂，若沒有收斂則重複步驟222，若已收斂則結束程序220。

程序230包括了步驟231~233。在步驟231中，設定方程式(17)為成本函數。在步驟232中執行方程式(9)~(11)、(21)以更新矩陣A、B、U、W。在步驟233中判斷是否收斂，若沒有收斂則重複步驟232，若已收斂則結束程序230。

在程序210、220或程序230結束之後，便可以在步驟240中執行補值或擬合的程序，或者取得矩陣U與W以進行子空間分析。然而，圖2中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖2中各步驟可以實作為多個程式碼或是電路，本發明並不在此限。此外，圖2的方法可以搭配以上實施例使用，也可以單獨使用。換言之，圖2的各步驟之間也可以加入其他的步驟。

以另外一個角度來說，本發明也提出了一電腦程式產品，此產品可由任意的程式語言及/或平台所撰寫，當此電腦程式產品被載入至電子裝置100並執行時，可執行上述的預測方法。

以上所稱的屬性也可稱為自變數/應變數、預測因子/響應、或特徵。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

201、211~213、221~223、231~233、240‧‧‧步驟

210、220、230‧‧‧程序

Claims

一種具隱私保護機制的預測方法，適用於一電子裝置，該預測方法包括：取得一預測因子矩陣，其中該預測因子矩陣包括多筆預測紀錄，每一該些預測記錄包括多個預測屬性，該預測因子矩陣中的該些預測屬性的至少其中之一是被遮蔽；取得一響應矩陣，其中該響應矩陣包括多筆響應紀錄，每一該些響應紀錄包括多個響應屬性；設定該預測因子矩陣近似為一基底矩陣與一係數矩陣的乘積，設定該響應矩陣近似為一權重矩陣、一投影矩陣與該預測因子矩陣的乘積，設定該基底矩陣、該係數矩陣、該權重矩陣與該投影矩陣為非負矩陣，並且設定該投影矩陣、該權重矩陣或該投影矩陣與該預測因子矩陣的乘積為正交，藉此設定一成本函數；根據該成本函數計算出該基底矩陣、該係數矩陣、該權重矩陣與該投影矩陣，使得該成本函數計算出的數值最小；取得一新紀錄向量，其中該新紀錄向量包括多筆新屬性，該些新屬性的個數相同於每一該些預測記錄中該些預測屬性的個數；以及將該新紀錄向量加入至該預測因子矩陣的一行以取得一新預測因子矩陣，計算該新預測因子矩陣、該權重矩陣與該投影矩陣的乘積以取得對應於該新紀錄向量的多個新響應屬性。
如申請專利範圍第1項所述之預測方法，更包括：設定該投影矩陣為正交，並將以下方程式(1)作為該成本函數：
其中X為該預測因子矩陣，Y為該響應矩陣，W為該權重矩陣，U為該投影矩陣，A為該基底矩陣，B為該係數矩陣，α為一對稱拉格朗治乘數矩陣，I為單位矩陣，ρ_X、ρ_A、ρ_B、ρ_W、ρ_U為實數，Tr(．)是用以計算跡，
是用以計算弗羅貝尼烏斯範數(Frobenius norm)的平方。
如申請專利範圍第1項所述之預測方法，更包括：設定該權重矩陣為正交，並將以下方程式(1)作為該成本函數：
其中X為該預測因子矩陣，Y為該響應矩陣，W為該權重矩陣，U為該投影矩陣，A為該基底矩陣，B為該係數矩陣，β為一對稱拉格朗治乘數矩陣，I為單位矩陣，ρ_X、ρ_A、ρ_B、ρ_W、ρ_U為實數，Tr(．)是用以計算跡，
是用以計算弗羅貝尼烏斯範數(Frobenius norm)的平方。
如申請專利範圍第1項所述之預測方法，更包括：設定該投影矩陣與該預測因子矩陣的乘積為正交，並將以下方程式(1)作為該成本函數：
其中X為該預測因子矩陣，Y為該響應矩陣，W為該權重矩陣，U為該投影矩陣，A為該基底矩陣，B為該係數矩陣，γ為一對稱拉格朗治乘數矩陣，I為單位矩陣，Σ_XX=XX ^T，ρ_X、ρ_A、ρ_B、ρ_W、ρ_U為實數，Tr(．)是用以計算跡，
是用以計算弗羅貝尼烏斯範數(Frobenius norm)的平方。
如申請專利範圍第1項所述之預測方法，其中該些新屬性的至少其中之一被遮蔽。
如申請專利範圍第1項所述之預測方法，其中該些預測紀錄分別對應至多個使用者，該些預測屬性包括對應的該使用者的年齡、性別、居住地、網頁瀏覽時間與商品購買紀錄。
如申請專利範圍第6項所述之預測方法，其中該些響應紀錄分別對應至該些使用者，該些響應屬性包括對應的該使用者的一廣告瀏覽時間。
如申請專利範圍第1項所述之預測方法，更包括：計算該基底矩陣與該係數矩陣的乘積以取得該些預測屬性中被遮蔽的預測屬性。
一種電子裝置，包括：一記憶體，儲存多個指令；以及一處理器，用以執行該些指令以實施多個步驟：取得一預測因子矩陣，其中該預測因子矩陣包括多筆預測紀錄，每一該些預測記錄包括多個預測屬性，該預測因子矩陣中的該些預測屬性的至少其中之一是被遮蔽；取得一響應矩陣，其中該響應矩陣包括多筆響應紀錄，每一該些響應紀錄包括多個響應屬性；設定該預測因子矩陣近似為一基底矩陣與一係數矩陣的乘積，設定該響應矩陣近似為一權重矩陣、一投影矩陣與該預測因子矩陣的乘積，設定該基底矩陣、該係數矩陣、該權重矩陣與該投影矩陣為非負矩陣，並且設定該投影矩陣、該權重矩陣或該投影矩陣與該預測因子矩陣的乘積為正交，藉此設定一成本函數；根據該成本函數計算出該基底矩陣、該係數矩陣、該權重矩陣與該投影矩陣，使得該成本函數計算出的數值最小；取得一新紀錄向量，其中該新紀錄向量包括多筆新屬性，該些新屬性的個數相同於每一該些預測記錄中該些預測屬性的個數；以及將該新紀錄向量加入至該預測因子矩陣的一行以取得一新預測因子矩陣，計算該新預測因子矩陣、該權重矩陣與該投影矩陣的乘積以取得對應於該新紀錄向量的多個新響應屬性。
一種電腦程式產品，由一電子裝置載入並執行以實施多個步驟：取得一預測因子矩陣，其中該預測因子矩陣包括多筆預測紀錄，每一該些預測記錄包括多個預測屬性，該預測因子矩陣中的該些預測屬性的至少其中之一是被遮蔽；取得一響應矩陣，其中該響應矩陣包括多筆響應紀錄，每一該些響應紀錄包括多個響應屬性；設定該預測因子矩陣近似為一基底矩陣與一係數矩陣的乘積，設定該響應矩陣近似為一權重矩陣、一投影矩陣與該預測因子矩陣的乘積，設定該基底矩陣、該係數矩陣、該權重矩陣與該投影矩陣為非負矩陣，並且設定該投影矩陣、該權重矩陣或該投影矩陣與該預測因子矩陣的乘積為正交，藉此設定一成本函數；根據該成本函數計算出該基底矩陣、該係數矩陣、該權重矩陣與該投影矩陣，使得該成本函數計算出的數值最小；取得一新紀錄向量，其中該新紀錄向量包括多筆新屬性，該些新屬性的個數相同於每一該些預測記錄中該些預測屬性的個數；以及將該新紀錄向量加入至該預測因子矩陣的一行以取得一新預測因子矩陣，計算該新預測因子矩陣、該權重矩陣與該投影矩陣的乘積以取得對應於該新紀錄向量的多個新響應屬性。