TWI607331B - 資料分析方法與裝置 - Google Patents

Description

資料分析方法與裝置

本揭露是有關於一種資料分析方法與裝置。

隨著資訊技術的發展，發展出雲端運算、電子商務等各種產業。這些產業通常必須面對巨量資料的分析。業者經常需要對巨量資料進行資料感知器(data sensor)的發掘。資料感知器是影響某一事件的幾個主要因素。然而，分析巨量資料是一項相當大的挑戰。系統必須窮舉各種特徵，並取出相當多的資料來進行分析。這種方式相當沒有效率，且造成系統很大的負擔。

本揭露係有關於一種資料分析方法與裝置。

根據本揭露之第一方面，提出一種資料分析方法。資料分析方法包括以下步驟。整合一資料庫中針對一事件之多筆查詢指令，以獲得被查詢之數個特徵。各個特徵被以一限制範圍 進行查詢。於各個特徵之各個限制範圍下，資料庫被查詢出數筆查詢資料。判斷此些查詢資料之一資料量是否高於一預定數量範圍或低於預定數量範圍。若資料量高於預定數量範圍，則根據此些特徵，降低此些查詢資料之資料量。若資料量低於預定數量範圍，則根據此些特徵，增加此些查詢資料之資料量。依據此些查詢資料，分析此些特徵與事件的一相關性。

根據本揭露之第二方面，提出一種資料分析系統。資料分析系統包括一資料庫、一使用者介面、一運算單元及一分析單元。使用者介面用以接收數個使用者針對一事件之多筆查詢指令。運算單元連接於資料庫及使用者介面。運算單元用以整合此些查詢指令，以獲得被查詢之數個特徵。各個特徵被以一限制範圍進行查詢。於各個特徵之各個限制範圍下，資料庫被查詢出數筆查詢資料。若資料量高於一預定數量範圍，則運算單元根據此些特徵，降低此些查詢資料之資料量。若資料量低於預定數量範圍，則運算單元根據此些特徵，增加此些查詢資料之資料量。分析單元連接於資料庫及運算單元。分析單元用以依據此些查詢資料，分析此些特徵與事件的一相關性。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

100‧‧‧資料分析系統

110‧‧‧資料庫

120‧‧‧使用者介面

130‧‧‧運算單元

140‧‧‧分析單元

N1、N1’、N2、N3、N4、N10‧‧‧特徵

Ra1、Ra2、Rb1、Rb2、Rb3、Rc4、R1’、R1”‧‧‧限制範圍

S110、S120、S130、S140、S150‧‧‧流程步驟

第1圖繪示資料分析系統之示意圖。

第2圖繪示資料分析方法的流程圖。

第3圖繪示多筆資料之示意圖。

第4A~4C圖繪示查詢影響某一特徵之因素的三筆查詢指令之示意圖。

第5圖繪示第4A~4C圖之數筆查詢指令之整合示意圖。

第6圖繪示降低查詢資料之資料量之一示意圖。

第7圖繪示降低查詢資料之資料量之另一示意圖。

第8圖繪示降低查詢資料之資料量之另一示意圖。

第9圖繪示增加查詢資料之資料量之一示意圖。

第10圖繪示增加查詢資料之資料量之另一示意圖。

請參照第1圖，其繪示資料分析系統100之示意圖。資料分析系統100用以對巨量資料進行分析，以發掘出與某一事件(event)相關之資料感知器(data sensor)。資料感知器是影響某一事件的幾個主要因素。舉例來說，在晶圓製造過程中，影響製程良率的因素相當繁雜。為了找出影響製程良率的因素，會在機台上設置一些感知器，例如是溫度感知器、壓力感知器等等。藉由分析這些感知器的數值，可以找出哪些感知器與製程良率相關，藉此作為機台設定的依據。類比上述概念，在其他應用上，資料分析系統100可以從學生的各項資料中，進行資料感知器的發掘，以分析出影響數學成績的主要因素為何。資料感知器即為 分析出的主要因素。或者，電子商務之營收遽增時，可以從各項營業資料中，進行資料感知器的發掘，以分析出造成營收遽增的主要因素為何。

資料分析系統100包括一資料庫110、一使用者介面120、一運算單元130及一分析單元140。資料庫110用以儲存各種資料，例如是一記憶體、一硬碟、一雲端儲存裝置、一記憶卡或一光碟片。使用者介面120用以提供使用者輸入各項資訊，例如是一鍵盤或一觸控螢幕。運算單元130連接於資料庫110及使用者介面120，運算單元130用以進行各種資料運算程序或判斷程序。分析單元140連接於資料庫110及運算單元130，分析單元140用以進行各種分析程序或判斷程序。運算單元130及分析單元140例如分別是一積體電路、一韌體電路、一電路板、或儲存數組程式碼之記錄媒體。運算單元130與分析單元140可以是獨立的兩個物件、或者可以是整合的一個物件。

在資料量龐大時，資料感知器的發掘顯得相當的困難，以下搭配一流程圖詳細說明資料分析系統100如何在龐大資料量下進行資料感知器的發掘。

請參照第2圖，其繪示資料分析方法的流程圖。在一實施例中，資料庫110已儲存巨量的多筆資料。使用者介面120用以提供使用者針對一事件輸入查詢指令，以瞭解影響此事件的因素。舉例來說，請參照第3圖，其繪示多筆資料之示意圖。各筆資料記錄特徵N1~N10之內容。除了以表格的呈現方式以外， 在另一實施例中，此些資料可以樹狀圖、雷達圖等方式呈現。舉例來說，某一使用者查詢造成電子商務之營收遽增的主要因素時，可以輸入「商品價格」、「購買地點」等特徵，且限定「商品價格」之限制範圍為「大於1000元」、「購買地點」之限制範圍為「台北市」，來進行觀察。另一使用者查詢造成營收遽增之主要因素時，可以輸入「天氣」、「平面廣告金額」等特徵，且限定「天氣」之限制範圍為「雨天」、「平面廣告金額」之限制範圍為「大於30萬元」，來進行觀察。多個查詢指令可以由不同使用者輸入；或者，多個查詢指令可以由同一使用者輸入。此些查詢指令儲存亦於資料庫110中。

在步驟S110中，運算單元130整合資料庫120中針對一事件之多筆查詢指令，以獲得被查詢之數個特徵。舉例來說，請參照第4A~4C圖，其繪示欲查詢影響特徵N10之因素的三筆查詢指令之示意圖。如第4A圖所示，第一個查詢指令對特徵N1及特徵N2分別以限制範圍Ra1及限制範圍Ra2進行查詢。如第4B圖所示，第二個查詢指令對特徵N1、特徵N2及特徵N3分別以限制範圍Rb1、限制範圍Rb2及限制範圍Rb3進行查詢。如第4C圖所示，第三個查詢指令對特徵N4以限制範圍Rc4進行查詢。

請參照第5圖，其繪示第4A~4C圖之數筆查詢指令之整合示意圖。運算單元130整合第4A~4C圖之三筆查詢指令後，得到被查詢的特徵N1、特徵N2、特徵N3、特徵N4。特 徵N1具有限制範圍R1，特徵N2具有限制範圍R2，特徵N3具有限制範圍R3，特徵N4具有限制範圍R4。在一實施例中，整合之方式可以是將所有查詢指令查詢過的特徵進行聯集，以選取出所有曾經查詢過的至少一次特徵。或者，在另一實施例中，整合之方式可以是將所有查詢過的特徵進行交集，以選取出被所有查詢指令均查詢過的特徵。此外，第一筆查詢指令及第二筆查詢指令均有特徵N1，特徵N1之限制範圍R1可以是限制範圍Ra1及特徵Rb1之聯集。在另一實施例中，特徵N1之限制範圍R1可以是限制範圍Ra1及特徵Rb1之交集。在第5圖之實施例中，係採用聯集之方式來整合出特徵N1、N2、N3、N4，並以聯集之方式整合出限制範圍R1、R2、R3、R4。於各個特徵N1、N2、N3、N4之各個限制範圍R1、R2、R3、R4下，資料庫120被查詢出數筆查詢資料。

在步驟S120中，運算單元130判斷此些查詢資料之一資料量是否高於一預定數量範圍或低於此預定數量範圍。若資料量高於此預定數量範圍，則進入步驟S130之資料收縮程序(data shrink procedure)；若資料量低於此預定數量範圍，則進入步驟S140之資料擴大程序(data expand procedure)；若資料量落入此預定數量範圍，則進入步驟S150。預定數量範圍係根據資料分析系統100之運算能力而定，而不超過運算能力的上限。舉例來說，預定數量範圍例如是1~2萬筆。

在步驟S130中，根據特徵，降低查詢資料之資料 量。步驟S130可以採取多種作法，以下分別一一說明。

在一實施例中，運算單元130可以依據特徵於查詢指令之使用次數，剔除部分之特徵，以降低資料量。舉例來說，請參照第6圖，其繪示降低查詢資料之資料量之一示意圖。於第5圖中，被查詢的特徵N1、N2、N3、N4有四個。其中於第一~第三個查詢指令中，特徵N1、N2使用2次，特徵N3使用1次，特徵N4使用1次。故可以剔除使用此數較低的特徵N3、特徵N4，而保留特徵N1、特徵N2。如此一來，僅留下滿足特徵N1之限制範圍R1或特徵N2之限制範圍R2之查詢資料，使其資料量能夠有效降低。

在另一實施例中，運算單元130可以縮小限制範圍，以降低資料量。舉例來說，請參照第7圖，其繪示降低查詢資料之資料量之另一示意圖。運算單元130可以將特徵N1之限制範圍R1縮小為限制範圍R1’，例如是將「大於30萬元」縮小為「大於50萬元」。如此一來，查詢資料之資料量能夠有效降低。

在另一實施例中，運算單元130可以抽樣此些查詢資料，以降低資料量。舉例來說，請參照第8圖，其繪示降低查詢資料之資料量之另一示意圖。當資料量為預定數量範圍之平均值的3/2倍時，則可以2/3的比率進行抽樣。抽樣之方式例如是對滿足特徵N1之限制範圍R1之數筆資料中，抽取2/3的資料，其餘1/3予以捨棄。對滿足特徵N2之限制範圍R2之數筆資料中， 抽取2/3的資料，其餘1/3予以捨棄。對滿足特徵N3之限制範圍R3之數筆資料中，抽取2/3的資料，其餘1/3予以捨棄。對滿足特徵N4之限制範圍R4之數筆資料中，抽取2/3的資料，其餘1/3予以捨棄。第8圖中，打勾者為保留的資料。如此一來，資料量可縮減為原來的2/3，而落於預定數量範圍內。

步驟S130之資料收縮程序(data shrink procedure)完成後，則回至步驟S120重新進行判斷。

在步驟S140中，運算單元130根據特徵，增加查詢資料之資料量。步驟S130可以採取多種作法，以下分別一一說明。

在一實施例中，運算單元130可以提升特徵之層級，以增加資料量。舉例來說，請參照第9圖，其繪示增加查詢資料之資料量之一示意圖。特徵N1例如是「平面廣告金額」，特徵N1之限制範圍R1例如是「大於30萬元」。運算單元130可以將特徵N1之層級提升至特徵N1’，例如是「各種廣告金額」。如此一來，包含電視廣告金額大於30萬元的資料也會加入。使得查詢資料之資料量能夠有效增加。

在另一實施例中，運算單元130可以放大限制範圍，以增加資料量。舉例來說，請參照第10圖，其繪示降低查詢資料之資料量之另一示意圖。運算單元130可以將特徵N1之限制範圍R1放大為限制範圍R1”，例如是將「大於30萬元」放大為「大於10萬元」。如此一來，查詢資料之資料量能夠有效 增加。

步驟S140之資料擴大程序(data expand procedure)完成後，則回至步驟S120重新進行判斷。

在步驟150中，分析單元140依據查詢資料，分析特徵與事件的一相關性。分析單元140可以採用自我調整增強(Adaptive boosting)演算法、最小絕對壓縮挑選法(LASSO)、逐步迴歸法(Stepwise Regression)等機器學習方法來分析特徵與事件的相關性，並獲得相關於事件之資料感知器(data sensor)。

因應巨量資料時代的來臨，上述各種實施例可以透過數個查詢指令的整合，快速發掘可能為資料感知器的特徵，有效降巨量資料的分析複雜度。並且，透過資料收縮程序(data shrink procedure)，有效避免資料過於龐大而無法負荷的情況。再者，透過資料擴大程序(data expand procedure)，可以獲得足夠的資料量，以提升發掘資料感知器之精準度。

綜上所述，雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

S110、S120、S130、S140、S150‧‧‧流程步驟

Claims (16)

1. 一種資料分析方法，包括：整合一資料庫中針對一事件之多筆查詢指令，以獲得被查詢之複數個特徵，各該特徵以一限制範圍進行查詢，於各該特徵之各該限制範圍下，該資料庫被查詢出複數筆查詢資料；判斷該些查詢資料之一資料量是否高於一預定數量範圍或低於該預定數量範圍；若該資料量高於該預定數量範圍，則根據該些特徵，降低該些查詢資料之該資料量；若該資料量低於該預定數量範圍，則根據該些特徵，增加該些查詢資料之該資料量；以及依據該些查詢資料，分析該些特徵與該事件的一相關性。
2. 如申請專利範圍第1項所述之資料分析方法，其中降低該些查詢資料之該資料量之步驟包括：依據該些特徵於該些查詢指令之使用次數，剔除部分之該些特徵。
3. 如申請專利範圍第1項所述之資料分析方法，其中降低該些查詢資料之該資料量之步驟包括：縮小部分之該些限制範圍。
4. 如申請專利範圍第1項所述之資料分析方法，其中降低該些查詢資料之該資料量之步驟包括：抽樣該些查詢資料。
5. 如申請專利範圍第1項所述之資料分析方法，其中增加該些查詢資料之該資料量之步驟包括：提升部分該些特徵之層級。
6. 如申請專利範圍第1項所述之資料分析方法，其中增加該些查詢資料之該資料量之步驟包括：放大部分該些限制範圍。
7. 如申請專利範圍第1項所述之資料分析方法，其中該些查詢指令由至少二使用者輸入。
8. 如申請專利範圍第1項所述之資料分析方法，其中該些查詢指令之其中之二由同一使用者輸入。
9. 一種資料分析系統，包括：一資料庫；一使用者介面，用以接收複數個使用者針對一事件之多筆查詢指令；一運算單元，連接於該資料庫及該使用者介面，該運算單元用以整合該些查詢指令，以獲得被查詢之複數個特徵，各該特徵以一限制範圍進行查詢，於各該特徵之各該限制範圍下，該資料庫被查詢出複數筆查詢資料；若該資料量高於一預定數量範圍，則該運算單元根據該些特徵，降低該些查詢資料之該資料量；若該資料量低於該預定數量範圍，則該運算單元根據該些特徵，增加該些查詢資料之該資料量；以及一分析單元，連接於該資料庫及該運算單元，該分析單元用 以依據該些查詢資料，分析該些與該事件的一相關性。
10. 如申請專利範圍第9項所述之資料分析系統，其中該運算單元係依據該些特徵於該些查詢指令之使用次數，剔除部分之該些特徵，以降低該些查詢資料之該資料量。
11. 如申請專利範圍第9項所述之資料分析系統，其中該運算單元係縮小部分該些限制範圍，以降低該些查詢資料之該資料量。
12. 如申請專利範圍第9項所述之資料分析系統，其中該運算單元係抽樣該些查詢資料，以降低該些查詢資料之該資料量。
13. 如申請專利範圍第9項所述之資料分析系統，其中該運算單元係提升部分該些特徵之層級，以增加該些查詢資料之該資料量。
14. 如申請專利範圍第9項所述之資料分析系統，其中該運算單元係放大部分該些限制範圍，以增加該些查詢資料之該資料量。
15. 如申請專利範圍第9項所述之資料分析系統，其中該些查詢指令由至少二使用者輸入。
16. 如申請專利範圍第9項所述之資料分析系統，其中該些查詢指令之其中之二由同一使用者輸入。