TWI697794B

TWI697794B - 資料採集處理裝置及其方法

Info

Publication number: TWI697794B
Application number: TW107102597A
Authority: TW
Inventors: 李睿麒; 文坤胡; 蔡輔元; 黃志豪
Original assignee: 沅聖科技股份有限公司
Priority date: 2018-01-24
Filing date: 2018-01-24
Publication date: 2020-07-01
Also published as: US20190228102A1; JP2019128945A; TW201933152A

Abstract

本發明提供一種資料採集處理方法，適用於一資料採集處理裝置。前述資料採集處理裝置包含一資料來源介面、一資料處理模組、一資料辨識模組以及一分類資料區。前述資料採集處理方法包含以下步驟。連接前述資料來源介面至一資料源。前述資料源具有一原始資料以及一特徵內容。前述資料來源介面取得前述資料源之特徵內容。前述資料來源介面依據前述特徵內容產生一資料標籤。前述資料來源介面採集前述資料源之原始資料，並將前述資料標籤加入前述原始資料以形成一標記資料。前述資料辨識模組判斷前述標記資料是否為允收資料。當前述標記資料為允收資料時，前述資料處理模組將前述標記資料進行分組形成一分組資料。將前述分組資料儲存於前述分組資料區。

Description

資料採集處理裝置及其方法

本發明係關於一種資料採集處理裝置及其方法，尤其是一種在資料源的原始資料中加入標籤以方便後續資料處理的資料採集處理裝置及其方法。

IOT與網路的發展使大大增加了數據資料的數量。一般數據資料的來源可能來自不同的裝置或是不同的軟體。在數據採集的過程中，如果無法辨識數據資料的來源，對於後續的資料處理將造成很多困擾。現有一般的資料採集方式要求資料源本身在原始資料中加入資料標籤以便於後續處理時了解原始資料的來源。然而，產生資料的來源眾多，常常缺乏可辨識的資料標籤。

因此，需要一種資料採集處理方法，解決上述問題。

有鑑於此，本發明之目的為提供一種資料採集處理裝置及其方法，用於採集與處理來自不同資料源的原始資料。本發明之資料採集處理裝置及其方法利用資料源中的特徵內容(例如Register ID等唯一性宣告之數值或字串)作為資料標籤，並將資料標籤加入所採集的原始資料以形成具有標籤的資料，再進行後續的分組儲存。或者，本發明之資料採集處理裝置及其方法也可針對不同的資料源主動提供可辨識資料標籤(例如模組編碼)，再將設定的資料標籤加入採集的原始資料中。同時，本發明之資料採集處理裝置及其方法在資料採集期間可同時持續檢查特徵內容的有效性，確保依據最新的特徵內容進行採集。以此方式，本發明之資料採集處理裝置及其方法可有效地辨認所取得的資料來源，方便後續的資料處理。此外，本發明之資料採集處理裝置及其方法也能利用資料標籤對資料進行排序，以解決傳輸介面上因速度或產生時間不同導致之碎片化與不連續問題，以利後續之輸出、儲存之資料處理步驟。

為達上述目的，本發明提供一種資料採集處理裝置，用於自一資料源採集並處理資料。前述資料源包含一原始資料。前述資料採集處理裝置包含一資料來源介面、一資料處理模組以及一分類資料區。前述資料來源介面連接於前述資料源，用於產生一資料標籤，並將前述資料標籤加入自前述資料源所採集的原始資料中以產生一標記資料。前述資料處理模組連接至前述資料來源介面，用於將前述標記資料進行分組以形成一分組資料。前述分類資料區用於儲存前述分組資料。

為達上述目的，本發明也提供一種資料採集處理方法，適用於一資料採集處理裝置。前述資料採集處理裝置包含一資料來源介面、一資料處理模組、一資料辨識模組以及一分類資料區。前述資料採集處理方法包含以下步驟。連接前述資料來源介面至一資料源。前述資料源具有一原始資料以及一特徵內容。前述資料來源介面取得前述資料源之特徵內容。前述資料來源介面依據前述特徵內容產生一資料標籤。前述資料來源介面採集前述資料源之原始資料，並將前述資料標籤加入前述原始資料以形成一標記資料。前述資料辨識模組判斷前述標記資料是否為允收資料。當前述標記資料為允收資料時，前述資料處理模組將前述標記資料進行分組形成一分組資料。將前述分組資料儲存於前述分組資料區。

為達上述目的，本發明再提供一種資料採集處理方法，適用於一資料採集處理裝置。前述資料採集處理裝置包含一資料來源介面、一資料處理模組、一資料辨識模組以及一分類資料區。前述資料採集處理方法包含以下步驟。連接前述資料來源介面至一資料源；前述資料源具有一原始資料。前述資料來源介面針對前述資料源產生一對應的特徵內容。前述資料來源介面將前述特徵內容設定為一資料標籤。前述資料來源介面採集前述資料源之原始資料，並將前述資料標籤加入前述原始資料以形成一標記資料。前述資料辨識模組判斷前述標記資料是否為允收資料。當前述標記資料為允收資料時，前述資料處理模組將前述標記資料進行分組形成一分組資料。將前述分組資料儲存於前述分組資料區。

綜上所述，本發明之資料採集處理裝置及其方法利用資料源中的特徵內容(例如Register ID等唯一性宣告之數值或字串)作為資料標籤，並將資料標籤加入所採集的原始資料以形成具有標籤的資料，再進行後續的分組儲存。或者，本發明之資料採集處理裝置及其方法也可針對不同的資料源主動提供可辨識資料標籤(例如模組編碼)，再將設定的資料標籤加入採集的原始資料中。同時，本發明之資料採集處理裝置及其方法在資料採集期間可同時持續檢查特徵內容的有效性，確保依據最新的特徵內容進行採集。以此方式，本發明之資料採集處理裝置及其方法可有效地辨認所取得的資料來源，方便後續的資料處理。此外，本發明之資料採集處理裝置及其方法也能利用資料標籤對資料進行排序，以解決傳輸介面上因速度或產生時間不同導致的碎片化與不連續問題，以利後續之輸出、儲存之其他資料處理步驟。

100:資料採集處理裝置

110:處理器

120:記憶體

130:輸入輸出介面

140:通訊模組

150:資料來源介面

160:資料辨識模組

170:資料處理模組

180:分類資料區

190:非允收資料區

200:資料源

210:原始資料

220:特徵內容

S300、S400、S500:資料採集處理方法

S301~S308、S401~S409、S501~S508:步驟

圖1為本發明之資料採集處理裝置之硬體架構方塊示意圖。

圖2為本發明之資料採集處理裝置之功能模組方塊示意圖。

圖3為本發明之資料採集處理裝置之資料採集處理示意圖。

圖4為本發明第一實施例之資料採集處理方法之流程圖。

圖5為本發明第二實施例之資料採集處理方法之流程圖。

圖6為本發明第三實施例之資料採集處理方法之流程圖。

以下將參照相關圖式，說明本發明較佳實施例之一種資料採集處理裝置及其方法，其中相同的元件將以相同的參照符號加以說明。

請先參考圖1，為本發明之資料採集處理裝置之硬體架構方塊示意圖。如圖1所示，本發明之資料採集處理裝置100包含一處理器110、一記憶體120、一輸入輸出介面130以及一通訊模組140。前述處理器100用於處理資料，並控制前述記憶體120、前述輸入輸出介面130以及前述通訊模組140。前述記憶體120用於儲存資料。前述輸入輸出介面130提供使用者進行操作的介面。前述通訊模組140用於連接至一外部裝置(例如一資料源)，用於接收或傳送資料。本發明之資料採集處理裝置100可為一般電腦裝置或是一伺服器，不限於特定的軟體或是硬體設備。本發明之資料採集處理裝置100用於自一資料源採集並處理資料，並將處理後的資料輸出或儲存以利於後續的處理步驟。

請參考圖2與圖3，圖2為本發明之資料採集處理裝置之功能模組方塊示意圖。圖3為本發明之資料採集處理裝置100之資料採集處理示意圖。如圖2與圖3所示，本發明之資料採集處理裝置100，用於自一資料源200採集並處理資料。前述資料源200包含一原始資料210。前述資料採集處理裝置100包含一資料來源介面150、一資料處理模組160以及一分類資料區180。前述資料來源介面150連接於前述資料源200，用於產生一資料標籤，並將前述資料標籤加入自前述資料源200所採集的原始資料210中以產生一標記資料。前述資料處理模組160連接至前述資料來源介面150，用於將前述標記資料進行分組以形成一分組資料。前述分類資料區180用於儲存前述分組資料。前述資料採集處理裝置100進一步包含一資料辨識模組160以及一非允收資料區190。前述資料辨識模組160用於辨識前述標記資料是否為允收資料。前述非允收資料區190用於儲存前述資料辨識模組160辨識為非允收之資料。前述資料源200進一步包含一特徵內容220。前述資料來源介面150依據前術特徵內容220產生前述資料標籤。請同時參考圖1，前述資料來源介面150、前述資料辨識模組160與前述資料處理模組170包含於前述處理器中。前述資料來源介面150透過前述通訊模組140連接於前述資料源200。前述分類資料區180與前述非允收資料區190包含於前述記憶體120中。

當連接至前述資料源200時，前述資料來源介面150會先定義資料採集原則，設定所採集的資料須包含可辨識之前述資料標籤，包含來源辨識標籤、欲採集之模組編號、欲採集之行為編號、欲採集之行為以及欲採集之行為附加描述。前述資料標籤之來源辨識標籤可來自於前術特徵內容220。前述特徵內容為一可辨識資料來源、且不與同一網域內其他來源重複之數值或是字串，例如一註冊ID(Register ID)、一認證金鑰(Authorized Key)、或是一MAC位址(MAC Address)。前述欲採集之模組編號之功能在於標示欲加入資料採集作業之模組名稱，可明確紀錄前述原始資料210由前述資料源200之何種模組中被產生。前述模組編號可用例如MOD_01、MOD_22或其他可代表該模組之唯一編號。前述欲採集之行為編號之功能在於標示欲加入資料採集作業之行為名稱，可明確紀錄前述原始資料210前述資料源200之何種處理行為所產生。前述行為編號可用例如FUNC_01、FUNC_02或其他可代表該行為之唯一編號。前述欲採集之行為附加描述之功能在於描述該行為之實際內容與選擇性功能等資訊，可加強資料可讀性。前述標籤資料除了以上資訊外，還可包可擴充定義各識別資料之屬性資訊，可依據使用者需求進行傳送以供後續能進行更明確之資料回朔。前述標籤資料可作為前述資料採集處理裝置100後續進行主動資料採集時選擇目標資料時的重要依據。同時，前述資料辨識模組160也能夠依據前述資料標籤決定是否允收該原始資料並判斷資料格式之正確性。此外，前述資料處理模組170更可利用前述資料標籤進行資料分組。

請參考圖4，為本發明第一實施例之資料採集處理方法之流程圖。本發明第一實施例之資料採集處理方法S300適用於一資料採集處理裝置。前述資料採集處理裝置可參考如圖2與圖3所示之資料採集處理裝置100。前述資料採集處理裝置100包含一資料來源介面150、一資料處理模組170、一資料辨識模組160、一分類資料區180以及一非允收資料區190。本發明第一實施例之資料採集處理方法S300包含步驟S301至S308。在步驟S301中，連接前述資料來源介面150至一資料源200。前述資料源200具有一原始資料210以及一特徵內容220。在步驟S302中，前述資料來源介面150取得前述資料源200之特徵內容。在步驟S303中，前述資料來源介面150依據前述特徵內容產生一資料標籤。在步驟S304中，前述資料來源介面150採集前述資料源200之原始資料，並將前述資料標籤加入前述原始資料210以形成一標記資料。前述特徵內容例如一MAC位址(MAC Address)、一註冊ID(Register ID)或是一認證金鑰(Authorized Key)。前述資料來源介面150可直接採用前述特徵內容做為前述資料標籤。並且，前述資料來源介面150在採集前述資料源200之原始資料210時，同步將前述資料標籤加入前述原始資料210中，使得所採集到的資料形成有標示來源等相關資料的標記資料，以利於後續的資料處理與分類。同時，在後續的資料採集過程中，當前述資料來源介面150運作於前述資料源200之底層時，前述資料來源介面150可攔截帶有前述資料標籤的原始資料210。此外，使用資料標籤作為採集資料的依據，前述資料來源介面150可主導資料採集的步驟，使用者無須特別針對所需要採集的資料源重新設計執行的原則，就可持續地採集到所需要的資料。而前述資料來源介面150則以側錄的方式於背景進行資料標記的工作。在步驟S305中，前述資料辨識模組160判斷前述標記資料是否為允收資料。前述資料辨識模組160可依照一預設之資料原則對採集的資料進行檢查，確認是否為允收資料，以減少不必要的資料流入或收取過多的資料造成後續需要用其他方法進行過濾而增加裝置的負擔。當步驟S305判斷為是時，進入步驟S306。在步驟S306中，當前述標記資料為允收資料時，前述資料處理模組170將前述標記資料進行分組形成一分組資料。前述資料處理模組170將前述標記資料轉換成為一個獨立的事件(Event)。從前述標記資料中的資料標籤可以辨識的資料來源。自不同軟體、裝置所採集之事件可擁有不同的資料標籤。利用前述資料標籤，前述標記資料可被進行分組，並且在同時採集多個不同資料源時直接進行分組。分組資料再利用其流入的時間點進行記錄，讓每一單一事件能產生關聯性完整地呈現事件的細節與順序。前述資料處理模組170可包含擴充封裝功能，對於需要具備特殊屬性之資料可在資料封裝時加入客製化屬性於事件中，增加資料的可用性與關聯性。在步驟S307中，將前述分組資料儲存於前述分組資料區180。當步驟S305判斷為否時，進入步驟S308。在步驟S308中，當前述標記資料為非允收資料時，前述資料辨識模組160將前述標記資料傳送至前述非允收資料區190。在前述非允收資料區190中的資料可定期進行資料清除。

以此方式，本發明之資料採集處理方法可以解決資料來自不同設備、不同時間、不同執行動作之狀況下所產生之資料碎片化、不易直接判讀資料關聯性以及順序等問題。本發明之資料採集處理方法可適用於多層次架構設計，可擴大採集規模以支援更多的實體裝置。此外，本發明之資料採集處理方法以群聚的概念處理每一個事件，將多個事件進行組合，產生關聯性並保持延續性，讓多個事件再次組合用來描述由不同裝置與不同時間點所產生的不同事件。因此，本發明之資料採集處理方法讓後續的其他資料處理步驟能依照事件的紀錄完整還原事件發生的過程，以提高資料的可讀性，且不需要經過其他額外的處理步驟。

請參考圖5，為本發明第二實施例之資料採集處理方法之流程圖。本發明第二實施例之資料採集處理方法S400適用於一資料採集處理裝置。前述資料採集處理裝置可參考如圖2與圖3所示之資料採集處理裝置100。前述資料採集處理裝置100包含一資料來源介面150、一資料處理模組170、一資料辨識模組160、一分類資料區180以及一非允收資料區190。本發明第二實施例之資料採集處理方法S400包含步驟S401至S409。在步驟S401中，連接前述資料來源介面150至一資料源200。前述資料源200具有一原始資料210以及一特徵內容220。在步驟S402中，前述資料來源介面150取得前述資料源200之特徵內容。在步驟S403中，前述資料來源介面150判斷前述特徵內容是否有效。當步驟S403之判斷為否時，則回到步驟S402。當步驟S403之判斷為是時，進入步驟S404。在步驟S404中，前述資料來源介面150依據前述特徵內容產生一資料標籤。在步驟S405中，前述資料來源介面150採集前述資料源200之原始資料，並將前述資料標籤加入前述原始資料210以形成一標記資料。在步驟S406中，前述資料辨識模組160判斷前述標記資料是否為允收資料。當步驟S406判斷為是時，進入步驟S407。在步驟S407中，當前述標記資料為允收資料時，前述資料處理模組170將前述標記資料進行分組形成一分組資料。在步驟S408中，將前述分組資料儲存於前述分組資料區180。當步驟S406判斷為否時，進入步驟S409。在步驟S409中，當前述標記資料為非允收資料時，前述資料辨識模組160將前述標記資料傳送至前述非允收資料區190。本發明第二實施例之資料採集處理方法S400之詳細說明可參考前述第一實施例之資料採集處理方法S300，在此不做贅述。除了前述第一實施例之資料採集處理方法所描述之步驟以外，第二實施例之資料採集處理方法S400增加例對前述特徵內容(即採集原則)之有效性檢查，並依據最新的特徵內容進行學習。

請參考圖6，為本發明第三實施例之資料採集處理方法之流程圖。本發明第三實施例之資料採集處理方法S500適用於一資料採集處理裝置。前述資料採集處理裝置可參考如圖2與圖3所示之資料採集處理裝置100。前述資料採集處理裝置100包含一資料來源介面150、一資料處理模組170、一資料辨識模組160、一分類資料區180以及一非允收資料區190。本發明第三實施例之資料採集處理方法S500包含步驟S501至S508。在步驟S501中，連接前述資料來源介面150至一資料源200。前述資料源200具有一原始資料210。在步驟S502中，前述資料來源介面150針對前述資料源產生一對應的特徵內容。在步驟S503中，前述資料來源介面150將前述特徵內容設定為一資料標籤。在步驟S504中，前述資料來源介面150採集前述資料源200之原始資料，並將前述資料標籤加入前述原始資料210以形成一標記資料。在步驟S505中，前述資料辨識模組160判斷前述標記資料是否為允收資料。當步驟S505判斷為是時，進入步驟S506。在步驟S506中，當前述標記資料為允收資料時，前述資料處理模組170將前述標記資料進行分組形成一分組資料。在步驟S507中，將前述分組資料儲存於前述分組資料區180。當步驟S505判斷為否時，進入步驟S508。在步驟S308中，當前述標記資料為非允收資料時，前述資料辨識模組160將前述標記資料傳送至前述非允收資料區190。本發明第三實施例之資料採集處理方法S500與前述第一實施例之資料採集處理方法S300不同之處在於：在第三實施例之資料採集處理方法中，前述作為資料標籤之特徵內容為前述資料來源介面150所主動產生，而非來自於前述資料源200。本發明第三實施例之資料採集處理方法S500 之其他步驟的詳細說明可參考前述第一實施例之資料採集處理方法S300，在此不做贅述。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S300:資料採集處理方法

S301~S308:步驟

Claims

一種資料採集處理裝置，用於自一資料源採集並處理資料；前述資料源包含一原始資料；前述資料採集處理裝置包含一資料來源介面、一資料處理模組以及一分類資料區；其中，前述資料來源介面連接於前述資料源，用於產生一資料標籤，並將前述資料標籤加入自前述資料源所採集的原始資料中以產生一標記資料；前述資料處理模組連接至前述資料來源介面，用於將前述標記資料進行分組以形成一分組資料；以及前述分類資料區用於儲存前述分組資料，其中，前述資料處理模組將前述標記資料轉換成為一個獨立的事件，利用前述分組資料流入的時間點對前述分組資料進行記錄，並依據記錄的分組資料的時間點讓前述分組資料中每一事件產生關聯性完整地呈現事件的細節與順序。
如申請專利範圍第1項所述的資料採集處理裝置，進一步包含一資料辨識模組，用於辨識前述標記資料是否為允收資料。
如申請專利範圍第2項所述的資料採集處理裝置，進一步包含一非允收資料區，用於儲存前述資料辨識模組辨識為非允收之資料。
如申請專利範圍第1項所述的資料採集處理裝置，前述資料源進一步包含一特徵內容；前述資料來源介面依據前術特徵內容產生前述資料標籤。
一種資料採集處理方法，適用於一資料採集處理裝置；前述資料採集處理裝置包含一資料來源介面、一資料處理模組、一資料辨識模組以及一分類資料區；前述資料採集處理方法包含以下步驟：連接前述資料來源介面至一資料源；前述資料源具有一原始資料以及一特徵內容；前述資料來源介面取得前述資料源之特徵內容；前述資料來源介面依據前述特徵內容產生一資料標籤；前述資料來源介面採集前述資料源之原始資料，並將前述資料標籤加入前述原始資料以形成一標記資料；前述資料辨識模組判斷前述標記資料是否為允收資料；當前述標記資料為允收資料時，前述資料處理模組將前述標記資料進行分組形成一分組資料；以及將前述分組資料儲存於前述分組資料區，其中，將前述標記資料轉換成為一個獨立的事件，利用前述分組資料流入的時間點對前述分組資料進行記錄，並依據記錄的分組資料的時間點讓前述分組資料中每一事件產生關聯性完整地呈現事件的細節與順序。
如申請專利範圍第5項所述的資料採集處理方法，前述資料採集處理裝置進一步包含一非允收資料區；前述資料採集處理方法進一步包含以下步驟：當前述標記資料為非允收資料時，前述資料辨識模組將前述標記資料傳送至前述非允收資料區。
如申請專利範圍第5項所述的資料採集處理方法，前述資料來源介面取得前述資料源之特徵內容進一步包含以下步驟：前述資料來源介面判斷前述特徵內容是否有效。
一種資料採集處理方法，適用於一資料採集處理裝置；前述資料採集處理裝置包含一資料來源介面、一資料處理模組、一資料辨識模組以及一分類資料區；前述資料採集處理方法包含以下步驟：連接前述資料來源介面至一資料源；前述資料源具有一原始資料；前述資料來源介面針對前述資料源產生一對應的特徵內容；前述資料來源介面將前述特徵內容設定為一資料標籤；前述資料來源介面採集前述資料源之原始資料，並將前述資料標籤加入前述原始資料以形成一標記資料；前述資料辨識模組判斷前述標記資料是否為允收資料；當前述標記資料為允收資料時，前述資料處理模組將前述標記資料進行分組形成一分組資料；以及將前述分組資料儲存於前述分組資料區，其中，將前述標記資料轉換成為一個獨立的事件，利用前述分組資料流入的時間點對前述分組資料進行記錄，並依據記錄的分組資料的時間點讓前述分組資料中每一事件產生關聯性完整地呈現事件的細節與順序。
如申請專利範圍第8項所述的資料採集處理方法，前述資料採集處理裝置進一步包含一非允收資料區；前述資料採集處理方法進一步包含以下步驟：當前述標記資料為非允收資料時，前述資料辨識模組將前述標記資料傳送至前述非允收資料區。