TWI781547B - 一種自動生成數據判斷結果的方法和系統 - Google Patents

一種自動生成數據判斷結果的方法和系統 Download PDF

Info

Publication number
TWI781547B
TWI781547B TW110107986A TW110107986A TWI781547B TW I781547 B TWI781547 B TW I781547B TW 110107986 A TW110107986 A TW 110107986A TW 110107986 A TW110107986 A TW 110107986A TW I781547 B TWI781547 B TW I781547B
Authority
TW
Taiwan
Prior art keywords
analysis
data
value
terminal
user
Prior art date
Application number
TW110107986A
Other languages
English (en)
Other versions
TW202134904A (zh
Inventor
李韶輝
李天舒
吳連旺
Original Assignee
大陸商廣州快決測信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010145527.9A external-priority patent/CN111367979B/zh
Priority claimed from CN202010147643.4A external-priority patent/CN111367973B/zh
Application filed by 大陸商廣州快決測信息科技有限公司 filed Critical 大陸商廣州快決測信息科技有限公司
Publication of TW202134904A publication Critical patent/TW202134904A/zh
Application granted granted Critical
Publication of TWI781547B publication Critical patent/TWI781547B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/256Integrating or interfacing systems involving database management systems in federated or virtual databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0203Market surveys; Market polls

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明實施例公開了一種自動生成數據判斷結果的方法和系統。所述方法包括:採集端將數據採集模組發送給多個使用者終端,並將所述使用者終端對所述數據採集模組回饋的第一數據發送給分析端;所述分析端基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯;所述分析端從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果。

Description

一種自動生成數據判斷結果的方法和系統
本發明涉及電腦技術領域,特別涉及一種自動生成數據判斷結果的方法和系統。
針對大多數調研報告或者需要分析判斷的資料,是通過資料分析師針對每個專案進行格式化的資料匯出,通過軟體進行定制化的報告程式設計。每一個專案也就相應需要用代碼一步步程式設計,輸出整個報告。在現在更加多元化和高效的要求下,進行調研分析和資料分析時,很多時候需要直接從系統獲取資料直接進行分析,對於不會代碼程式設計的人員也可進行。
本發明一個方面提供一種自動生成數據判斷結果的方法。所述方法包括:採集端將數據採集模組發送給多個使用者終端,並將所述使用者終端對所述數據採集模組回饋的第一數據發送給分析端;所述分析端基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯;所述分析端從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果。
本發明另一個方面提供一種自動生成數據判斷結果的系統。所述系統包括:採集端,用於將數據採集模組發送給多個使用者終端,並將所述使用者終端對所述數據採集模組回饋的第一數據發送給分析端;所述分析端,用於基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯;用於從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果。
本發明另一個方面提供一種自動生成數據判斷結果的裝置,包括處理器,所述處理器用於執行所述的方法。
本發明另一個方面提供一種電腦可讀存儲介質,所述存儲介質存儲電腦指令,當電腦讀取存儲介質中的電腦指令後,電腦執行所述方法。
為了更清楚地說明本發明實施例的技術方案,下面將對實施例描述中所需要使用的附圖作簡單的介紹。顯而易見地,下面描述中的附圖僅僅是本發明的一些示例或實施例,對於本領域的普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖將本發明應用於其它類似情景。除非從語言環境中顯而易見或另做說明,圖中相同標號代表相同結構或操作。
應當理解,本發明中所使用的“系統”、“裝置”、“單元”和/或“模組”是用於區分不同級別的不同元件、元件、部件、部分或裝配的一種方法。然而,如果其他詞語可實現相同的目的,則可通過其他表達來替換所述詞語。
如本發明和請求項中所示,除非上下文明確提示例外情形,“一”、“一個”、“一種”和/或“該”等詞並非特指單數,也可包括複數。一般說來,術語“包括”與“包含”僅提示包括已明確標識的步驟和元素,而這些步驟和元素不構成一個排它性的羅列,方法或者設備也可能包含其它的步驟或元素。
本發明中使用了流程圖用來說明根據本發明的實施例的系統所執行的操作。應當理解的是,前面或後面操作不一定按照順序來精確地執行。相反,可以按照倒序或同時處理各個步驟。同時,也可以將其他操作添加到這些過程中,或從這些過程移除某一步或數步操作。
圖1是根據本發明的一些實施例所示的示例性自動生成數據判斷結果系統的應用場景示意圖。
自動生成數據判斷結果系統100可以通過實施本發明中揭露的方法和/或過程來自動生成數據判斷結果。在一些實施例中,自動生成數據判斷結果系統100可以應用於資料調查分析領域,回饋的第一數據即為回收的調查問卷,第一數據包括調查問卷內容(例如調查人們喜歡吃那種口味速食麵的問卷包含的所有問題內容)、使用者對於調查問卷回饋的答案內容(例如使用者對於人們喜歡吃那種口味速食麵的問卷填寫的文本答案或根據答案選項選擇的答案)和/或參與調查使用者的相關資訊(例如參與問卷調查的人數、男女人數、各個年齡段對應人數、用戶所在地區等)等分析數據。自動生成數據判斷結果系統100可以將回收的調查問卷的問題、答案、使用者的相關資訊等分析數據直接進行自動分析判斷,得到所需的調查結果,例如喜歡吃泡椒口味的女生的占比、哪一個年齡段的人最喜歡吃泡椒口味等等。
如圖1所示,自動生成數據判斷結果系統100可以包括伺服器110、網路120、使用者終端130、數據庫140、採集終端150。伺服器110可以包含處理設備112。
在一些實施例中,伺服器110可以用於處理與數據處理相關的資訊和/或數據。在一些實施例中,伺服器110可以直接與數據庫140和/或使用者終端130和/或採集終端150連接以訪問存儲於其中的資訊和/或資料。例如,伺服器110可以通過網路120獲取數據庫140中資料進行分析判斷結果。又例如,伺服器110可以通過網路120訪問使用者終端130輸入的數據,並將該資料用於分析判斷結果。又例如,伺服器110可以通過網路120訪問採集終端150的數據,並將該數據用於分析判斷結果。伺服器110可以是獨立的伺服器或者伺服器組。該伺服器組可以是集中式的或者分散式的(如:伺服器110可以是分佈系統)。在一些實施例中,伺服器110可以是區域的或者遠端的。在一些實施例中,伺服器110可在雲端平臺上執行。例如,該雲端平臺可包括私有雲端、公共雲端、混合雲端、社區雲端、分散式雲端、內部雲端等中的一種或其任意組合。
在一些實施例中,伺服器110可包含處理設備112。該處理設備112可處理數據和/或資訊以執行一個或多個本發明中描述的分析端的功能。例如,處理設備112可以基於配置條件生成數據判斷結果的顯示方式,並從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果。又例如,處理設備112可以基於所述配置條件確定所述顯示方式中行表頭和列表頭各自包含的分析項目,以及所述分析項目的位置,並基於所述邏輯關係確定所述第一運算邏輯和第二運算邏輯。在一些實施例中,處理設備112可包含一個或多個子處理設備(例如,單芯處理設備或多核多芯處理設備)。僅僅作為範例,處理設備112可包含中央處理器(CPU)、專用積體電路(ASIC)、專用指令處理器(ASIP)、圖形處理器(GPU)、物理處理器(PPU)、數位訊號處理器(DSP)、現場可編程(可程式設計)閘陣列(FPGA)、可編輯邏輯電路(PLD)、控制器、微控制器單元、精簡指令集電腦(RISC)、微處理器等或以上任意組合。
在一些實施例中,網路120可促進數據和/或資訊的交換,數據或資訊可以包括使用者終端130輸入的數據、數據庫140中存儲的數據、伺服器110中的分析判斷結果相關資料、採集終端150的數據等。在一些實施例中,自動生成數據判斷結果系統100中的一個或多個元件(例如,伺服器110、使用者終端130、數據庫140、採集終端150)可通過網路120發送數據和/或資訊給系統100中的其他元件。在一些實施例中,網路120可是任意類型的有線或無線網路。例如,網路120可包括纜線網路、有線網路、光纖網路、電信網路、內部網路、網際網路、區域網路(LAN)、廣域網路(WAN)、無線區域網路(WLAN)、都會區域網路(MAN)、公共電話切換式網路(PSTN)、藍牙網路、ZigBee網路、近場通訊(NFC)網路等或以上任意組合。在一些實施例中,網路120可包括一個或多個網路進出點。例如,網路120可包含有線或無線網路進出點,如基站和/或網際網路交換點120-1、120-2、…,通過這些進出點系統100的一個或多個元件可連接到網路120上以交換數據和/或資訊。
在一些實施例中,使用者終端130可以是一台計算設備或計算設備組。在一些實施例中,使用者終端130具有輸入的功能,可以用於使用者輸入回饋的第一數據。例如,打字輸入、語音輸入等。所述計算設備可以包括手機130-1、平板電腦130-2、筆記型電腦130-3、桌式電腦等中的一種或其任意組合。所述計算設備組可以是集中式或分散式的。在一些實施例中,使用者終端130可以將輸入的內容發送到伺服器110。相應地,伺服器110可以將對輸入內容的分析判斷結果相關數據發送到使用者終端130。
在一些實施例中,數據庫140可以用於存儲分析數據(包括但不限於使用者終端130的資料、採集終端150的資料、伺服器110的資料)。數據庫140可以在單個中央伺服器、通過通信鏈路連接的多個伺服器或多個個人設備中實現。數據庫140可以由多個個人設備和雲伺服器生成。在一些實施例中,數據庫140可以用於提供所需要數據的器件或原始媒體,還可以用於資料的存儲、加密等操作。在一些實施例中,數據庫140可存儲供伺服器110執行或使用的資訊和/或指令,以執行本發明中描述的示例性方法。在一些實施例中,數據庫140可包括大容量記憶體、卸除式記憶體、揮發性讀寫記憶體(例如,隨機存取記憶體RAM)、唯讀記憶體(ROM)等或以上任意組合。在一些實施例中,數據庫140可在雲端平臺上實現。例如,該雲端平臺可包括私有雲端、公共雲端、混合雲端、社區雲端、分散式雲端、內部雲端等或以上任意組合。
在一些實施例中,採集終端150可以是一台計算設備或計算設備組。在一些實施例中,採集終端150具有輸入的功能,可以用於輸入採集數據的項目內容(例如調查問卷、視頻等各種形式的項目內容),可以通過打字輸入、語音輸入等各種輸入方式,本實施例不做限制。所述計算設備可以包括手機130-1、平板電腦130-2、筆記型電腦130-3、桌式電腦等中的一種或其任意組合。所述計算設備組可以是集中式或分散式的。在一些實施例中,採集終端150可以將輸入的採集內容發送到伺服器110或使用者終端130。相應地,使用者終端130可以將對項目內容回饋的第一數據發送到採集終端150,伺服器110可以將對分析數據的分析判斷結果相關資料發送到採集終端150。
圖2是根據本發明的一些實施例所示的示例性自動生成數據判斷結果系統的模組圖。如圖2所示,自動生成數據判斷結果系統200包括採集端210和分析端220。
採集端220用於將數據採集模組發送給多個使用者終端130,並將所述使用者終端130對所述數據採集模組回饋的第一數據發送給分析端220。
在一些實施例中,採集端210還用於在所述使用者終端回饋所述第一數據時,將第二數據傳遞給所述分析端220。在一些實施例中,所述第二數據包括所述使用者終端130的位置資訊、所述使用者終端130的設備資訊或所述使用者終端的設備使用資訊。
分析端220用於基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯;用於從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果。在一些實施例中,所述配置條件包含所述分析項目以及所述分析項目之間的位置關係和邏輯關係。
在一些實施例中,分析端220用於從所述第一數據和所述第二數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成所述數據判斷結果。
在一些實施例中,分析端220還用於基於所述配置條件確定所述顯示方式中行表頭和列表頭各自包含的分析項目,以及所述分析項目的位置;基於所述邏輯關係確定所述第一運算邏輯和第二運算邏輯。
在一些實施例中,分析端220還用於將所述第一數據分別與所述行表頭中的分析項目和所述列表頭中的分析項目進行映射,得到所述分析項目的統計值以及不同分析項目的交叉統計值;利用所述第一運算邏輯對所述統計值進行運算,得到所述分析值;利用所述第二運算邏輯對所述統計值或/和所述交叉統計值進行運算,得到所述交叉分析值。
在一些實施例中,分析端220還用於對所述行表頭或所述列表頭的分析項目進行編碼;當所述分析項目的分析值與所述行表頭或列表頭中的其他分析項目的分析值的誤差大於第一預設閾值時,在所述其他分析項目的分析值中加入所述分析項目的編碼;基於所述分析項目和第一分析項目得到第一交叉分析值,基於所述其他項目和所述第一分析項目得到第二交叉分析值,當所述第一交叉分析值與所述第二交叉分析值的誤差大於第二預設閾值時,在所述第二交叉分析值中加入所述分析項目的編碼;其中,所述第一分析項目來源於所述行表頭和所述列表頭的分析項目。
在一些實施例中,分析端220還用於基於所述數據採集模組生成配置選項單元,並將所述配置選項單元發送給採集端210;基於所述採集端210對所述配置選項單元回饋的第三數據提取所述分析項目、所述分析項目之間的位置關係和邏輯關係,生成所述配置條件。分析端220還用於對所述第三數據進行緩存。
在一些實施例中,分析端220還用於對所述數據判斷結果配置置信度,所述置信度與所述第一數據的數據量正相關。
應當理解,圖2所示的系統及其模組可以利用各種方式來實現。例如,在一些實施例中,系統及其模組可以通過硬體、軟體或者軟體和硬體的結合來實現。其中,硬體部分可以利用專用邏輯來實現;軟體部分則可以存儲在記憶體中,由適當的指令執行系統,例如微處理器或者專用設計硬體來執行。本領域技術人員可以理解上述的方法和系統可以使用電腦可執行指令和/或包含在處理器控制代碼中來實現,例如在諸如磁片、CD或DVD-ROM的載體介質、諸如唯讀記憶體(固件、韌體、Firmware)的可編程(可程式設計)的記憶體或者諸如光學或電子信號載體的數據載體上提供了這樣的代碼。本發明的系統及其模組不僅可以有諸如超大型積體電路或閘陣列、諸如邏輯晶片、電晶體等的半導體、或者諸如現場可編程(可程式設計)閘陣列、可編程(可程式設計)邏輯裝置等的可編程(可程式設計)硬體設備的硬體電路實現,也可以用例如由各種類型的處理器所執行的軟體實現,還可以由上述硬體電路和軟體的結合(例如,固件、韌體、Firmware)來實現。
需要注意的是,以上對於自動生成數據判斷結果系統200及其模組的描述,僅為描述方便,並不能把本發明限制在所舉實施例範圍之內。可以理解,對於本領域的技術人員來說,在瞭解該系統的原理後,可能在不背離這一原理的情況下,對各個模組進行任意組合,或者構成子系統與其他模組連接。例如,圖2中揭露的採集端210和分析端220可以共用一個存儲模組,各個模組也可以分別具有各自的存儲模組。諸如此類的變形,均在本發明的保護範圍之內。
圖3是根據本發明的一些實施例所示的自動生成數據判斷結果的方法的示例性流程圖如圖3所示,該自動生成數據判斷結果的方法300可以包括:
步驟310,採集端210將數據採集模組發送給多個使用者終端130,並將所述使用者終端130對所述數據採集模組回饋的第一數據發送給分析端220。具體的,該步驟310可以由採集端210執行。
採集端210是指用於資訊採集的終端,例如一台電腦計算設備,又例如計算設備的通訊設備或計算設備上用於資訊採集功能的應用程式。採集端可以輸入數據和/或發送數據,例如通過採集端輸入調查問卷的問題內容,又例如通過採集端210發送調查問卷至需要調查的使用者。
數據採集模組可以是指用於直接面向使用者的採集數據的模組,承載有採集數據的項目內容,項目內容可以是例如調查問卷、視頻、語音等各種形式的內容。在一些實施例中,可以通過網路120傳輸或直接分發的方式將數據採集模組發送給多個使用者終端130。數據採集模組發送到使用者終端即採集數據的項目內容發送到了使用者終端,使用者終端便可以根據項目內容進行回饋,例如對於調查問卷回饋的答案、對於視頻回饋的看法等。
第一數據可以是指使用者終端回饋的數據,例如使用者終端130輸入的對於調查問卷回饋的答案內容。使用者終端130可以通過網路120傳輸或者直接上傳的方式將第一數據發送給分析端,分析端收到第一數據後即得到了項目內容對應回饋的數據,便可以進行後續分析端220對第一數據的分析判斷。
步驟320,所述分析端220基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯。具體的,該步驟320可以由分析端220執行。
在一些實施例中,配置條件是指數據判斷結果的顯示方式中包含的資訊和/或條件。在一些實施例中,配置條件包含所述分析項目以及所述分析項目之間的位置關係和邏輯關係。分析項目是指對數據進行的分析內容,分析項目之間的位置關係是指各個分析項目的排列位置關係或相對位置關係。例如對於採用表格的顯示方式來說,假設行設置的內容為男、女,列設置的內容為衣服、褲子,分析項目即包括男、女、衣服、褲子,行、列為分析項目的位置關係。進一步的,在行和列設置的時候還可以設置運算方式,用來確定一些複雜的分析項目,邏輯關係可以是指對於分析項目進行進一步運算的運算邏輯。比如,確定選擇衣服的男性占所有男性的比值如何計算,或者其他基於分析項目進一步需要的內容都可以設定計算方式作為分析項目的運算邏輯。在一些實施例中,配置條件可以是從分析端提供的推薦配置條件中進行選擇,也可以是通過輸入的方式生成配置條件,本實施例不做限制。
配置條件可以直接或間接生成數據判斷結果的顯示方式,顯示方式是指分析端220所生成的數據判斷結果的展示形式及展示內容,顯示方式也決定了分析端220進行數據分析的方式和數據的分析內容。顯示方式可以採用表格、圖形、報告等各種展示形式,本實施例不做限制。
在一些實施例中,顯示方式包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯。其中,顯示方式包含的分析項目可以是指通過配置條件所生成的對數據進行的分析內容。分析值是指一個分析項目對應的數據值,例如數量、百分比、等級等各種形式的數據值,本實施例不做限制。用於確定所述分析項目的分析值的第一運算邏輯是指對於各個分析項目進行計算對應分析值的運算邏輯。例如,以前述表格形式為例,在使用者終端回饋的第一數據中,令男、女、衣服、褲子這幾個分析項目各自對應的數量為分析值,統計計算各個分析項目數量的運算邏輯即為第一運算邏輯。在一些實施例中,為了在各個分析項目的分析值基礎上得到更多的分析數據,可以進一步對分析值進行運算。用於確定不同分析項目的交叉分析值的第二運算邏輯是指對於兩個或兩個以上項目進行分析值交叉計算的運算邏輯,分析值交叉計算得到的分析值即為交叉分析值。例如,以前述表格形式為例,基於男、女、衣服、褲子這幾個分析項目各自對應的數量,選擇衣服的男性數量即為分析項目男和衣服的交叉分析值,計算選擇衣服的男性數量的運算邏輯即為第二運算邏輯。通過分析項目、第一運算邏輯和/或第二運算邏輯分析端可以進行回饋的第一數據的分析。
在一些實施例中,為了數據分析的便捷性更好和可操作性更強,顯示方式可以統一採用表格的形式。分析端基於配置條件生成判斷結果的顯示方式可以包括:基於配置條件確定顯示方式中行表頭和列表頭各自包含的分析項目,以及分析項目的位置;基於邏輯關係確定所述第一運算邏輯和第二運算邏輯。其中,行表頭和清單頭是指表格中行與列的頭部資訊,單元格的數據內容對應於該單元格所屬行表頭和/或列表頭的分析項目。行表頭和列表頭包含的分析項目可以是多個,分析項目的位置是指各個分析項目的排列位置和相對位置。在一些實施例中,為了確定一些複雜的分析項目,配置條件可以包括用於對分析項目進行進一步運算的邏輯關係,所以可以進一步基於邏輯關係,確定更加複雜的第一運算邏輯和第二運算邏輯,用於對複雜分析項目的分析值進行計算和進一步計算。
在一些實施例中,分析端220基於配置條件生成判斷結果的顯示方式還可以包括:對所述行表頭或所述列表頭的分析項目進行編碼。對分析項目進行編碼可以是指在分析項目的內容或屬性中加上代碼資訊,可以加上例如數位代碼、英文字母代碼等各種形式的代碼,本實施例不做限制。
在一些實施例中,可以當所述分析項目的分析值與所述行表頭或列表頭中的其他分析項目的分析值的誤差大於第一預設閾值時,在所述其他分析項目的分析值中加入所述分析項目的編碼。第一預設閾值可以是分析端推薦的數據值或者通過輸入進行設置的數據值。分析值的誤差可以是分析值之間的差值或者分析值分別與某一定值的誤差的差值,又或者是分析值所占比例的差值。當分析項目的分析值與所述行表頭或列表頭中的其他分析項目的分析值的誤差大於第一預設閾值時,即該分析項目與其他分析項目的分析值差距較大,可能是大很多或者小很多,在其他分析項目的分析值中加入該分析項目的編碼便可以表示與該編碼對應的分析項目的差距較大。例如,在採用表格形式進行各個城市人數調查分析時,行表頭有依次排列的3個分析項目城市1(編碼為a)、城市2(編碼為b)、城市3(編碼為c),分析項目城市1的人數是100,分析項目城市2的人數是300,分析項目城市3的人數是250,第一預設閾值為200,則在分析項目城市2的分析值中加入分析項目城市1的編碼a,可以表示為300a。通過該實施例可以清晰直觀地展示出各個分析項目的分析值之間的差距資訊。
在一些實施例中,可以基於分析項目和第一分析項目得到第一交叉分析值,基於其他分析項目和所述第一分析項目得到第二交叉分析值,當所述第一交叉分析值與所述第二交叉分析值的誤差大於第二預設閾值時,在所述第二交叉分析值中加入所述分析項目的編碼。其中,所述第一分析項目來源於所述行表頭和/或所述列表頭的分析項目。在一些實施例中,分析項目或其他分析項目來源於行表頭的分析項目,第一分析項目來源於列表頭的分析項目。在一些實施例中,分析項目或其他分析項目來源於列表頭的分析項目,第一分析項目來源於行表頭的分析項目。第二預設閾值可以是分析端推薦的數據值或者通過輸入進行設置的數據值。交叉分析值的誤差可以是各個交叉分析值之間的差值或者各個交叉分析值分別與某一定值的誤差的差值,又或者是各個交叉分析值所占比例的差值。繼續以上述各個城市人數調查分析為例,在列表頭加入各個年齡段人數的分析項目,列表頭依次排列的多個分析項目包括年齡段17歲以下(編碼為A)、年齡段18-24歲(編碼為B)、年齡25歲以上(編碼為C),若針對城市1的不同年齡段的人數進行分析,其中,城市1年齡段17歲以下的人數是10,城市1年齡段18-24歲的人數是65,城市1年齡段25歲以上的人數是25,第二預設閾值為50。第一分析項目可以列表頭中任意一個分析項目,若第一分析項目為年齡段17歲以下,則第一分析交叉值為城市1年齡段17歲以下的人數10,第二分析交叉值為城市1年齡段18-24歲的人數65和分析項目為城市1年齡段25歲以上的人數25,則在分析項目城市1年齡段18-24歲的分析值中加入分析項目年齡段17歲以下的編碼A,可以表示為65A。通過該實施例可以進一步清晰直觀地展示出各個分析項目的交叉分析值之間的差距資訊。
步驟330,所述分析端從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成判斷結果。具體的,該步驟330可以由分析端220執行。
分析端根據顯示方式中包含的分析項目、用於確定所述分析項目的分析值的第一運算邏輯以及或/和用於確定不同分析項目的交叉分析值的第二運算邏輯便可以對第一數據進行計算得到各個分析項目的分析值或/和不同分析項目的交叉分析值。判斷結果是指對第一數據進行分析後得到的數據結果,可以是分析端根據顯示方式得出的各個分析項目的分析值或/和不同分析項目的交叉分析值,也可以是在分析端得出的各個分析項目的分析值或/和不同分析項目的交叉分析值基礎上進行進一步處理後展示出的數據結果。判斷結果可以為例如表格形式的分析表、文本形式的分析報告、圖形形式的分析圖等各種形式的數據結果。
在一些實施例中,分析端生成數據判斷結果可以包括:將所述第一數據分別與所述行表頭中的分析項目和所述列表頭中的分析項目進行映射,得到所述分析項目的統計值以及不同分析項目的交叉統計值。映射是指將數據庫中的第一數據與各個分析項目建立對應關係,例如一個分析項目為年齡段18-24歲,經過映射後,第一數據中滿足該條件的使用者數據則對應到該分析項目的數據中。對分析項目的映射數據進行統計可以得到該分析項目的統計值以及不同分析項目的交叉統計值。統計值是指數據的一個簡單的統計量資訊,交叉統計值是指多個分析項目進行交叉後映射數據的統計量資訊。例如基於男、女、衣服、褲子這幾個分析項目,各自對應的數量為各自的統計值,選擇衣服的男性數量即為分析項目男和衣服的交叉統計值。在一些實施例中,可以然後利用第一運算邏輯對所述統計值進行運算,得到分析值,利用第二運算邏輯對統計值或/和所述交叉統計值進行運算,得到所述交叉分析值。其中,分析值可以等於統計值(即,第一運算邏輯可以為分析值=統計值),也可以是對統計值利用第一運算邏輯進行進一步計算後得到的數據值(例如,第一運算邏輯可以為求該數量在總數中的占比,分析值就為統計值進行占比計算後得到的數據值)。為了在各個分析項目的統計值或/和交叉統計值基礎上得到更多的分析數據,便可以進一步利用第二運算邏輯對統計值或/和交叉統計值進行運算。例如基於女、衣服這兩個分析項目的統計數量,計算女性選衣服的數量,或者基於選擇衣服的男性統計數量和選擇褲子的男性統計數量,計算既選擇衣服又選擇褲子的男性數量。
在一些實施例中,在使用者終端130回饋第一數據時,將第二數據傳遞給所述分析端。關於第一數據的更多細節請參見步驟310及其相關描述,在此不再贅述。在一些實施例中,第二數據可以包括使用者終端130的位置資訊、使用者終端130的設備資訊或使用者終端130的設備使用資訊,在一些實施例中,使用者終端130的位置資訊可以包括使用者終端130當前所處地理位置資訊和/或其地理位置中的城市所對應的方位資訊,示例地,以使用者終端130當前所處地理位置為“北京市昌平區馬池口鎮”為例,“北京市昌平區馬池口鎮”中的城市“北京市”所對應的方位資訊為“北”,則使用者終端的位置資訊可以是“北京市昌平區馬池口鎮”和/或“北”。在一些實施例中,使用者終端130的設備資訊可以包括使用者終端的型號、使用者終端IP、使用者終端IME或者使用者終端的序號。在一些實施例中,使用者終端的設備使用資訊可以包括使用者終端設備的每日使用時長或用戶終端設備的每日使用時間段。
在一些實施例中,分析端220可以從所述第一數據和/或所述第二數據中確定所述顯示方式中分析項目的分析值,示例地,仍以上述示例為例,若第二數據為使用者終端的位置資訊,則分析值可以是位於相同地理位置的使用者終端的數量,例如,位於“北京市昌平區馬池口鎮”的使用者終端的數量,也可以是位於相同城市方位的使用者終端的數量,例如,位於城市方位為北的使用者終端的數量,又例如,位於城市方位為東的使用者終端的數量。
在一些實施例中,分析端還可以從所述第一數據和/或所述第二數據中確定所述顯示方式中不同分析項目的交叉分析值,示例地,仍以上述示例為例,若分析項目為男和女,第二數據為使用者終端的位置資訊,則交叉分析值可以是位於相同地理位置的男性的數量,例如,位於“北京市昌平區馬池口鎮”的男性的數量,也可以是位於相同城市方位的男性的數量,例如,位於城市方位為北的男性的數量。關於分析值和交叉分析值的更多細節請參見步驟320及其相關描述,在此不再贅述。
根據以上描述可知,本發明實施例除了基於第一數據生成數據判斷結果,還可以基於第一數據和第二數據生成數據判斷結果,即除了根據使用者對問卷的回答資訊生成數據判斷結果以外,還可以根據使用者的相關資訊(例如使用者的位置資訊)生成判斷結果,增強了數據分析的多樣性,提高了數據分析的專業度。
在一些實施例中,可以對數據判斷結果配置置信度。置信度可以是指數據判斷結果的可靠度。在一些實施例中,所述置信度與所述第一數據的資料量正相關,例如,第一數據為問卷時,針對1500份問卷得到的數據判斷結果的置信度大於針對500份問卷得到的判斷結果。
圖4是根據本發明的一些實施例所示的生成配置條件的方法的示例性流程圖。
步驟410,所述分析端基於所述數據採集模組生成配置選項單元,並將所述配置選項單元發送給採集端210。具體的,該步驟410可以由分析端220執行。
配置選項單元可以是用於資訊配置功能的部分,例如電腦計算設備的配置設備或計算設備上用於資訊配置功能的應用程式。配置選項單元可以包括各種資訊或/和條件配置,在一些實施例中,資訊或/和條件配置可以包括但不限於分析項目的配置以及不同分析項目之間的位置關係配置和邏輯關係配置。在一些實施例中,可以基於數據採集模組模型生成配置選項單元,例如,數據採集模組為問卷時,將問卷題目、問卷選項、選項的先後順序、選項的重要性、選項的層次關係、選項等級關係等作為配置選項單元的數據。
在一些實施例中,可以通過網路120傳輸或直接分發的方式將配置選項單元發送給採集端210,採集端210可以根據配置選項單元包括的資訊或/和條件配置進行配置。採集端210可以選擇配置選項單元推薦的配置資訊進行配置或者採用輸入的方式生成配置資訊進行配置。
步驟420,所述分析端220基於所述採集端210對所述配置選項單元回饋的第三數據提取所述分析項目、所述分析項目之間的位置關係和邏輯關係,生成所述配置條件。具體的,該步驟420可以由分析端220執行。
第三數據可以是指採集端210根據配置選項單元包括的資訊或/和條件配置進行的配置運算元據。在一些實施例中,第三數據可以是採集端210對配置選項單元中的內容進行選擇、排序等任意操作。在一些實施例中,第三數據可以與分析需求相關,採集端210可以根據分析需求對配置選項單元中的內容進行操作。例如,若採集端210可以根據需要選擇配置選項單元中的選項作為分析項目;又如,可以根據選項的重要性、等級或層次等確定分析項目位於列表頭還是行表頭,以及在表頭的前後順序,即確定分析項目的位置關係;又如,可以根據分析需求確定選項之間的運算,進一步得到邏輯關係,例如,選項A在選項A、B、C、D中所占的比例,從而,A的數值除以A+B+C+D的數值的運算確定為邏輯關係,邏輯關係還可以是任意運算邏輯,本發明不做限制。在一些實施例中,可以通過緩存空間(例如,數據庫)對第三數據進行緩存,從而保證第三數據的資料安全性。具體的,在基於第三數據生成配置條件之前,可以先將第三數據暫時緩存於緩存空間。
採集端210可以通過網路120傳輸或者直接上傳的方式將第三數據傳輸至分析端220,分析端220便可以提取分析項目、所述分析項目之間的位置關係和邏輯關係等所需數據,生成配置條件。
本發明實施例還提供一種裝置,其至少包括處理器以及記憶體。所述記憶體用於存儲指令。當所述指令被所述處理器執行時,導致所述裝置實現前述的自動生成數據判斷結果的方法。所述方法可以包括:採集端210將數據採集模組發送給多個使用者終端130,並將所述使用者終端130對所述數據採集模組回饋的第一數據發送給分析端220;所述分析端220基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯;所述分析端從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果。
本發明實施例還提供一種電腦可讀存儲介質。所述存儲介質存儲電腦指令,當電腦讀取存儲介質中的電腦指令後,電腦實現前述的自動生成數據判斷結果的方法。所述方法可以包括:採集端210將數據採集模組發送給多個使用者終端130,並將所述使用者終端130對所述數據採集模組回饋的第一數據發送給分析端220;所述分析端220基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯;所述分析端220從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果。
本發明實施例可能帶來的有益效果包括但不限於:(1)通過配置條件生成顯示方式,分析端220可以基於顯示方式從系統直接獲取數據後自動進行數據分析判斷,直接得到結果,整個方法高效且不需複雜的代碼編寫分析,適用性強;(2)通過對不同分析項目進行編碼,可以直觀看出不同分析項目的分析值的差異大小。需要說明的是,不同實施例可能產生的有益效果不同,在不同的實施例裡,可能產生的有益效果可以是以上任意一種或幾種的組合,也可以是其他任何可能獲得的有益效果。
圖5是根據本發明一些實施例所示的數據收集系統的示例性應用場景圖。
數據收集系統500可以用於解決企業在進行問卷調研時,可能出現的在收集使用者答卷時,使用者數據收集緩慢與丟失的問題。數據收集系統500可以是用於互聯網服務的線上服務平臺。例如,數據收集系統500可以用於線上的問卷調研平臺,可以線上收集使用者數據。
數據收集系統500可以包括伺服器510、處理設備512、網路520、使用者終端530、儲存設備540和採集端550。伺服器510可以包含處理設備512。
伺服器510可以處理來自本系統至少一個元件或外部數據來源(例如,採集端550或儲存設備540)的數據和/或資訊。在一些實施例中,伺服器510可以是一台單獨的伺服器,可以是多台伺服器組成的計算平臺,多台伺服器群可以是集中式的或分散式的,可以是專用的也可以由其他設備或系統同時提供服務。
在一些實施例中,伺服器510可包含處理設備512。該處理設備512可處理與數據收集系統500相關的數據和/或資訊以執行一個或多個本發明中描述的功能。例如處理設備512向採集端550發送指令,使採集端550接收至少一個使用者數據,並將使用者數據發送給儲存設備540。在一些實施例中,處理設備512可包含一個或多個子處理設備(例如,單芯處理設備或多核多芯處理設備)。僅僅作為範例,處理設備512可包含中央處理器(CPU)、專用積體電路(ASIC)、專用指令處理器(ASIP)、圖形處理器(GPU)、物理處理器(PPU)、數位訊號處理器(DSP)、現場可編程(可程式設計)閘陣列(FPGA)、可編輯邏輯電路(PLD)、控制器、微控制器單元、精簡指令集電腦(RISC)、微處理器等或以上任意組合。在一些實施例中,伺服器510可以在雲端平臺上實施。僅作為示例,雲端平臺可以包括私有雲端、公共雲端、混合雲端、社區雲端、分佈雲端、內部雲端、多層雲端等或其任意組合。
網路520連接系統的各組成部分,使得各部分之間可以進行通訊。在一些實施例中,通過數據收集系統500中的一個或多個元件(例如,伺服器510、使用者終端530、儲存設備540、採集端550)可通過網路520發送數據和/或資訊給數據收集系統500中的其他元件。在系統中各部分之間的網路可以是有線網路或無線網路中的任意一種或多種。例如,網路520可以包括電纜網路、有線網路、光纖網路、電信網路、內部網路、互聯網、區域網路(LAN)、廣域網路絡(WAN)、無線區域網路(WLAN)、都會區網路(MAN)、公共交換電話網絡(PSTN)、藍牙網路、紫蜂網路(ZigBee)、近場通信(NFC)、設備內匯流排、設備內線路、線纜連接等或其任意組合。每兩個部分之間的網路連接可以是採用上述一種方式,也可以是採取多種方式。在一些實施例中,網路520可包括一個或多個網路進出點。例如,網路520可包含有線或無線網路進出點,如基站和/或網際網路交換點520-1、520-2、…,通過這些進出點,數據收集系統500的一個或多個元件可連接到網路520上以交換數據和/或資訊。
使用者終端530是使用者(例如,調研問卷的受訪者等)所使用的一個或多個用於回饋數據(例如,調研題目的一個或多個回答)終端設備或軟體,可包括手機530-1、平板電腦530-2、筆記型電腦530-3等中的一種或其任意組合。在一些實施例中,使用者終端主要用於使用者進行線上問卷答題。在一些實施例中,使用使用者終端530的可以是一個或多個用戶,可以包括直接使用服務的使用者,也可以包括其他相關用戶。在一些實施例中,使用者終端530可以將回饋(即答題)的數據發送到伺服器510,伺服器510再將所述數據發送給儲存設備。在一些實施例中,使用者終端530可以包括各類具有資訊接收和/或發送功能的設備。例如,可以是電腦,可以是智慧手機,可以是車載終端設備。上述示例僅用於說明所述設備範圍的廣泛性而非對其範圍的限制。
儲存設備540可以存儲數據和/或指令。儲存設備540可以包括一個或多個存儲元件,每個存儲元件可以是一個獨立的設備,也可以是其他設備的一部分。例如,儲存設備540可以包括第一存儲空間、數據倉庫和第二存儲空間,第一存儲空間、數據倉庫以及第二存儲空間可以分別位於不同的設備中,也可以是同一個設備的一部分。儲存設備540可以用於為數據收集系統500提供其他資訊的來源。儲存設備540可以用於為數據收集系統500提供與服務相關的資訊。例如,線上答題的人數、用戶線上答題的時長、使用者輸入的文字字數等。又例如,儲存設備540還可以包括線上答題的使用者資訊、歷史回答等,該使用者資訊可以包括使用者的姓名、用戶的年齡、用戶的職位等。儲存設備540可以在單個中央伺服器、通過通信鏈路連接的多個伺服器或多個個人設備中實現。儲存設備540可以由多個個人設備和雲伺服器生成。在一些實施例中,儲存設備540可存儲從使用者終端530回饋的數據,例如,受訪者對於調研題目的回答。在一些實施例中,儲存設備540可存儲供伺服器510執行或使用的資訊和/或指令,以執行本發明中描述的示例性方法。在一些實施例中,儲存設備540可包括大容量記憶體、卸除式記憶體、揮發性讀寫記憶體、唯讀記憶體(ROM)等或其任意組合。在一些實施例中,儲存設備540可在雲平臺上實現。例如,該雲端平臺可包括私有雲端、公共雲端、混合雲端、社區雲端、分散式雲端、內部雲端等或以上任意組合。在一些實施例中,儲存設備540可以是伺服器510的一部分。
在一些實施例中,採集端550可以是用於接收使用者數據、發送使用者數據的終端,例如,可以是用於用戶接收調研問卷、答題、回饋調研問卷的終端設備。在一些實施例中,採集端550還可以是對接收到的回饋數據進行處理的終端,例如,對受訪者針對調研題目回答後的使用者數據進行加密的設備終端。採集端550可以包括手機、平板電腦、筆記型電腦等中的一種或其任意組合。
應該注意的是,關於應用場景的描述出於說明性目的,並不用於限制本發明的保護範圍。對於本領域的技術人員來說,可以在本發明的指示下做出多個變體和修改。然而,這些變體和修改不會脫離本發明的保護範圍。
圖6是根據本發明一些實施例所示的數據收集方法的示例性流程圖。如圖6所示,流程600可以包括:
步驟602,接收至少一個使用者數據,並將所述使用者數據發送給存儲端。具體的,步驟602可以由採集端810執行。
在一些實施例中,使用者數據可以包括任何形式的數據,例如,文檔、文字、字母、數位、圖片、語音、視頻、二維碼以及各種程式碼等。在一些實施例中,採集端可以具備多個功能。在一些實施例中,採集端可以根據應用場景的不同,具備相應的功能。例如,採集端可以應用於問卷調研的場景,相應地,採集端可以具備接收、處理以及發送調研問卷的功能。使用者數據可以是使用者答題完成後的調研問卷。採集端可以通過網路(例如,網路520)將使用者數據發送給存儲端。
在一些實施例中,存儲端可以用於接收、存儲、處理以及發送使用者數據等。例如,存儲端可以從採集端接收調研問卷,並對調研問捲進行處理(例如,加密、解密、拆分、合併、計算、分析等)。存儲端可以包括一個或多個設備,例如,存儲端可以是一台或多台伺服器,每台伺服器都可以對使用者數據進行存儲。各台伺服器之間可以相互發送/接收使用者數據。
在一些實施例中,採集端在接收到所述使用者數據之後,可以對所述使用者數據數據進行處理,例如,對使用者數據進行加密。加密方式可以包括權杖(token)加密、公開金鑰加密技術、數位憑證、對稱加密、非對稱加密等其中的一種或其組合。在一些實施例中,採集端可以選擇權杖加密的方式對使用者數據進行加密。加密用的權杖可以採用多種方式生成,作為示例,可以採用下文所示的方式生成權杖。
在一些實施例中,可以先進行請求參數排序,對除簽名外的所有請求參數按關鍵字(key)做升序排列,請求參數的值(value)無需編碼。例如,假設當前時間的時間戳記是157363833,有c=3,b=2,a=1三個參數,加上時間戳記後,按key做升序排序後為:a=1,b=2,c=3,_timestamp=1573638336。然後,可以使用字串拼接把參數關鍵字和參數值連接成字串,得到拼裝字元:a1b2c3_timestamp1573638336。最後,可以申請一個appkey,appkey可以用於連接到接拼裝字串頭部和尾部,拼裝後進行32位MD5加密,最後將到得MD5加密摘要轉化成大寫。假設appkey=test,md5(testa1b2c3_timestamp1573638336test),以此最後得到的權杖值為取得MD5的摘要值C5F3EB5D7DC2748AED89E90AF00081E6。
在一些實施例中,存儲端在對所述使用者數據進行緩存之前,可以先對加密的所述使用者數據進行解密。存儲端可以根據使用者數據的加密方式選擇相應的解密方式對使用者數據進行解密。例如,以權杖加密為例,存儲端可以在接收到使用者數據後,可以採用與生成的權杖值對應的演算法對使用者數據進行解密,得到使用者數據的明文。再例如,採集端可以使用公開金鑰對使用者數據進行加密,存儲端可以使用相應的私密金鑰對加密的使用者數據進行解密,得到使用者數據的明文。
步驟604,將接收到的所述使用者數據緩存至一個或多個第一存儲空間,並將緩存完成的所述使用者數據同步到數據數據倉庫。具體的,步驟604可以由存儲端820執行。
在一些實施例中,第一存儲空間可以是存儲端的記憶體空間。例如,第一存儲空間可以是存儲端的伺服器(例如,伺服器510)的記憶體空間。記憶體具有高速的寫入/讀取速度,即使是在面對大量使用者數據的情況下,依然可以將接收到的使用者數據快速地緩存完畢。存儲端可以是一個或多個伺服器,相應地,在存儲端為多個伺服器時,其可以相應的擁有多個第一存儲空間(伺服器記憶體),可以將使用者數據緩存至多個第一存儲空間。使用者數據可以並行或非並行的緩存至多個第一存儲空間,例如,在大數據情況下,可以將使用者數據並行緩存至多個第一存儲空間,並行緩存可以有效地提高緩存效率;在資料量相對較小時,可以將使用者數據緩存至一個存儲空間或將使用者數據依次緩存至多個第一存儲空間,從而可以減少伺服器的運行負擔。
在一些實施例中,第一存儲空間可以包含主庫和至少一個從庫,從庫可以對主庫緩存的使用者數據進行備份。例如,存儲端在將接收的使用者數據存儲至第一存儲空間的主庫同時,可以將用戶數據備份至一個或多個從庫;也可以在將使用者數據緩存至作為主庫的第一存儲空間後,從主庫中備份使用者數據至一個或多個從庫。
在一些實施例中,可以將所述主庫或者從庫中緩存完成的使用者數據同步到所述數據倉庫。在使用者數據緩存完成後,可以採用隊列的方式將使用者數據從第一存儲空間同步至數據數據倉庫。例如,可以將第一存儲空間中的使用者數據放入同步隊列中,再使用腳本自動將同步隊列中的使用者數據同步到數據數據倉庫。使用隊列的方式對使用者數據進行同步,第一存儲空間中的使用者數據在放入到隊列後,後續即可以不用參與數據同步過程,數據數據倉庫可以直接到隊列中讀取使用者數據,從而可以更加便捷的將使用者數據從第一存儲空間同步到數據倉庫。
在一些實施例中,可以判斷使用者數據是否同步成功,如果未成功,則可以對未被同步的庫中緩存完成的使用者數據進行再次同步。在一些實施例中,可以通過監聽同步過程來判斷是否同步成功。例如,可以通過監聽器來監聽使用者數據是否同步成功。如果監聽到同步失敗,則可以向用戶預警,通知用戶及時處理。預警方式可以包括文字預警、語音預警、彈窗預警等。在一些實施例中,未被同步的庫可以是指未對其緩存的使用者數據進行同步的庫(例如,主庫和/或從庫)。例如,在當前是從主庫中同步使用者數據時,從庫中的使用者數據可以作為備份,可以不對從庫中緩存的使用者數據進行同步。在從主庫中同步使用者數據失敗時,為了能夠快速恢復使用者數據,可以在從庫中查詢到同步失敗的使用者數據後,再次對其進行同步,從而有效地避免使用者數據同步失敗而丟失的情況。例如,主庫中緩存的使用者數據同步失敗時,可以將從庫中備份的相同的使用者數據再次放入到同步隊列中,確保使用者數據可以順利同步到數據倉庫。
在一些實施例中,第一存儲空間可以為遠端字典服務(Reids)存儲系統。遠端字典服務存儲系統是一個高性能的鍵值數據庫,不僅可以支援存儲各種類型的使用者數據,還可以支援主從同步。在遠端字典服務存儲系統中,從庫可以連接到主庫,從而即時更新從庫中的使用者數據,實現對主庫緩存的使用者數據的備份。將使用者數據緩存至遠端字典服務存儲系統的所有操作都可以在記憶體中完成,而記憶體又具有高速的寫入/讀取性能,從而即使是在高併發場景,需要上傳大量使用者數據的情況下,也可以快速地完成對使用者數據的緩存。
在一些實施例中,數據倉庫可以用於存儲使用者數據。數據倉庫相較於第一存儲空間,可以擁有更大的存儲容量,並且可以用於長期存儲使用者數據。使用者可以到數據倉庫中讀取/查詢使用者數據。第一存儲空間為記憶體空間,當長期緩存使用者數據時,會佔用伺服器的記憶體,對伺服器的負擔較高,因此可以將第一存儲空間緩存的使用者數據同步到數據倉庫中,釋放記憶體空間,減少伺服器的負擔,以使伺服器即使在高併發情況下也可以快速地對使用者數據進行緩存。
在一些實施例中,數據倉庫可以是分散式結構的數據庫。例如,數據倉庫可以由搭建於多個伺服器的數據庫組成,搭建了數據庫的每個伺服器都可以具有獨立處理數據的能力。在從第一存儲空間同步使用者數據到數據倉庫時,可以從一個或多個第一存儲空間同步到分佈於不同伺服器(例如,分佈於不同節點位置處的伺服器)的數據倉庫,在同步使用者數據時,可以將使用者數據分別同步到不同伺服器的數據倉庫中。採用分散式結構的數據倉庫,在增加新的伺服器後,可以自動從分佈於其他伺服器的數據倉庫中調取使用者數據,從而可以實現數據倉庫的存儲容量的水準擴展。將使用者數據均勻的分佈於多個伺服器的數據倉庫中,同時也實現了負載均衡,不會出現某一伺服器處的數據倉庫中存在過多使用者數據的現象。在一些實施例中,可以從至少兩個第一存儲空間同步使用者數據到至少兩個數據倉庫,兩個數據倉庫可以是位於不同(例如,位於不同位置節點)的伺服器中,也可以是同一個伺服器上的數據倉庫的不同分區(同一數據倉庫中對資料存儲進行邏輯分區也可以認為是分散式結構),從而實現更加高效地將使用者數據從第一存儲空間同步至數據倉庫,釋放伺服器的記憶體空間。
在一些實施例中,數據倉庫可以為開源分散式混合交易處理和分析處理數據庫。混合交易處理和分析處理(HTAP,Hybrid Transaction and Analytical Process)數據庫可以包括TiDB、PetaData、Redshift、Apache kudu等。作為示例,以TiDB為例,TiDB數據庫具備包括與MySQL相容、寫入讀取可線性擴展、分散式事務、海量資料高併發即時寫入與即時查詢等特性。基於TiDB數據庫的特性,即使在高併發場景下產生大量使用者數據時,也可以快速地將使用者數據從第一存儲空間同步至TiDB數據庫。在一些實施例中,基於TiDB數據庫的特性,使用者在需要使用資料時,也可以到TiDB數據庫中讀取/查詢存儲的使用者數據。
步驟606,將常用使用者數據同步到第二存儲空間。具體地,步驟606可以由存儲端820執行。
在一些實施例中,所述常用使用者數據可以是指數據倉庫中讀取頻率大於預設閾值的使用者數據。讀取頻率可以是一定時間內到數據倉庫中讀取使用者數據的次數,例如,在一天內到數據倉庫中讀取某一使用者數據多少次。預設閾值可以是設定的時間段內使用者數據的讀取次數達到預設次數,比如,在一天內被讀取500、5000、50000次;預設閾值也是是讀取頻率達到預設排名,比如,每一種類型的使用者數據都會有相應的讀取頻率,常用使用者數據可以是所有讀取頻率中排名前10、50、500的使用者數據。
在一些實施例中,第二存儲空間可以用於查詢常用使用者數據。第二存儲空間可以為關係型數據庫管理系統。關係型數據庫可以包括MySQL、Oracle、DB2、Microsoft SQL Server、Microsoft Access等。作為示例,以MySQL數據庫為例,MySQL數據庫可以將使用者數據保存在不同的表中,而不是將所有使用者數據放在一個大空間內,從而增加了讀取速度以及提高了資料讀取的靈活性,可以便於查詢和讀取使用者數據。MySQL數據庫與TiDB數據倉庫相比,TiDB數據倉庫擁有更大的容量,同時具有與MySQL數據庫相容的特性,但是相對MySQL數據庫,TiDB數據倉庫運營成本會更高,為了節省運行成本與方便查詢,可以將常用的部分使用者數據放入到MySQL數據庫(第二存儲空間內)。在查詢使用者數據時,對於常用的使用者數據可以直接到第二存儲空間進行查詢,對於不常用的使用者數據,可以到數據倉庫進行查詢。
應當注意的是,上述有關流程600的描述僅僅是為了示例和說明,而不限定本發明的適用範圍。對於本領域技術人員來說,在本發明的指導下可以對流程600進行各種修正和改變。然而,這些修正和改變仍在本發明的範圍之內。例如,在流程600中添加其他步驟,例如,數據分析步驟、預處理步驟等。
圖7是根據本發明一些實施例所示的緩存使用者數據至第一存儲空間的示例性流程圖。如圖7所述,流程700包括:
步驟702,從所述使用者數據中提取與所述使用者類型相關的資訊。具體的,該步驟702可以通過存儲端820執行。
用戶類型可以用於表示用戶的不同類別,例如,不同年齡、性別、職業、喜好、習慣、活躍度等用戶。在一些實施例中,使用者數據可以是使用者對調研問卷回答後得到的答案。在一些實施例中,可以從用戶回答的答案中獲取與使用者類型相關的資訊。例如,從用戶回答的年齡題目中獲取用戶的年齡,從用戶回答的性別題目中獲取用戶的性別等。在一些實施例中,使用者數據還可以是使用者在發送問卷答案時傳遞的與使用者設備相關的參數,使用者設備可以是手機、平板電腦等。例如,參數可以是設備型號參數、使用設備的習慣參數(例如,使用時長、使用時間段等)。
步驟704,將所述使用者數據緩存至與所述資訊匹配的所述第一存儲空間。具體地,該步驟704可以通過存儲端820執行。
在一些實施例中,存儲端可以具有多個第一存儲空間,每個第一存儲空間可以分別用於存儲不同類型的使用者數據,例如,共3個第一存儲空間A、B和C,其中,A用於存儲年齡20-30歲用戶回答的問卷,B用於存儲30-40歲使用者回答的問卷,C用於存儲40-50歲使用者回答的問卷。在一些實施例中,通過步驟702得到與使用者類型相關的資訊後,可以對該資訊與第一存儲空間進行匹配。例如,若該資訊為20-30歲,則將對應的使用者數據存儲於A。
在一些實施例中,在將使用者數據緩存至與所述資訊匹配的第一存儲空間時,還可以判斷與所述資訊匹配的第一存儲空間中緩存的使用者數據的量是否高於預設閾值,如果未高於預設閾值,則可以將使用者數據緩存至第一存儲空間。其中,使用者數據的量可以是回答的調研問卷份數,相應的,閾值為回答的調研問卷的份數,例如,20份、30份等;使用者數據的量還可以是資料大小,相應的,閾值為存儲的資料大小,例如,2MB、3MB等。在一些實施例中,不同第一存儲空間可以設定的閾值可以相同可以不同。在一些實施例中,閾值的大小可以根據實際調研需要確定,例如,重點調研20-30歲,則將對應的第一存儲空間的閾值設定較高。
應當注意的是,上述有關流程700的描述僅僅是為了示例和說明,而不限定本發明的適用範圍。對於本領域技術人員來說,在本發明的指導下可以對流程700進行各種修正和改變。然而,這些修正和改變仍在本發明的範圍之內。例如,在流程700中添加其他步驟,例如,資料分析步驟、預處理步驟等。
圖8是根據本發明的一些實施例所示的數據收集系統400的模組圖。如圖6所示,該數據收集系統400可以包括:採集端810和存儲端820。
採集端810可以用於接收至少一個使用者數據,並將使用者數據發送給存儲端。在一些實施例中,使用者數據可以包括任何形式的資料,例如,文檔、文字、字母、數位、圖片、語音、視頻、二維碼以及各種程式碼等。在一些實施例中,採集端810可以通過網路(例如,網路520)將使用者數據發送給存儲端。在一些實施例中,採集端810可以用於在接收到所述使用者數據之後,對所述使用者數據進行加密。加密方式可以包括權杖(token)加密、公開金鑰加密技術、數位憑證、對稱加密、非對稱加密等其中的一種或其組合。
存儲端820可以用於將接收到的所述使用者數據緩存至一個或多個第一存儲空間,並將緩存完成的所述使用者數據同步到數據倉庫。在一些實施例中,存儲端820可以用於接收、存儲、處理以及發送使用者數據等。例如,存儲端可以從採集端接收調研問卷,並對調研問捲進行處理(例如,加密、解密、拆分、合併、計算、分析等)。在一些實施例中,存儲端820可以用於在對所述使用者數據進行緩存之前,先對加密的所述使用者數據進行解密。在一些實施例中,第一存儲空間為存儲端的記憶體空間。在一些實施例中,所述第一存儲空間包含主庫和至少一個從庫,所述從庫對所述主庫緩存的數據進行備份。在一些實施例中,第一存儲空間可以為遠端字典服務(Reids)存儲系統。
在一些實施例中,存儲端820可以用於從所述使用者數據中提取與使用者類型相關的資訊;以及將所述使用者數據緩存至與所述資訊匹配的所述第一存儲空間。在一些實施例中,存儲端820可以用於判斷與所述資訊匹配的所述第一存儲空間中緩存的使用者數據的量是否高於預設閾值;否,則將所述使用者數據緩存至所述第一存儲空間。
在一些實施例中,存儲端820可以用於將緩存完成的所述使用者數據同步到數據倉庫,所述數據倉庫用於存儲所述使用者數據,其中,數據倉庫可以用於存儲使用者數據。在一些實施例中,存儲端820可以用於將所述主庫或者從庫中緩存完成的使用者數據同步到所述數據倉庫,以及判斷是否同步成功,否,則對未被同步的庫中緩存完成的使用者數據進行再次同步。在一些實施例中,所述數據倉庫為分散式結構的數據庫。在一些實施例中,所述數據倉庫為開源分散式混合交易處理和分析處理數據庫。
在一些實施例中,存儲端820可以將常用使用者數據同步到第二存儲空間。第二存儲空間可以用於查詢常用使用者數據,常用使用者數據是指數據倉庫中讀取頻率大於預設閾值的使用者數據。在一些實施例中,第二存儲空間為關係型數據庫管理系統。
關於數據收集系統的各模組的具體描述,可以參考本發明流程圖部分,例如,圖6至圖7的相關描述。
應當理解,圖8所示的系統及其模組可以利用各種方式來實現。例如,在一些實施例中,系統及其模組可以通過硬體、軟體或者軟體和硬體的結合來實現。其中,硬體部分可以利用專用邏輯來實現;軟體部分則可以存儲在記憶體中,由適當的指令執行系統,例如微處理器或者專用設計硬體來執行。本領域技術人員可以理解上述的方法和系統可以使用電腦可執行指令和/或包含在處理器控制代碼中來實現,例如在諸如磁片、CD或DVD-ROM的載體介質、諸如唯讀記憶體(固件、韌體)的可編程(可程式設計)的記憶體或者諸如光學或電子信號載體的數據載體上提供了這樣的代碼。本發明的系統及其模組不僅可以有諸如超大型積體電路或閘陣列、諸如邏輯晶片、電晶體等的半導體、或者諸如現場可程式設計閘陣列、可程式設計邏輯裝置等的可編程(可程式設計)硬體設備的硬體電路實現,也可以用例如由各種類型的處理器所執行的軟體實現,還可以由上述硬體電路和軟體的結合(例如,固件、韌體)來實現。
需要注意的是,以上對於數據收集系統及其模組的描述,僅為描述方便,並不能把本發明限制在所舉實施例範圍之內。可以理解,對於本領域的技術人員來說,在瞭解該系統的原理後,可能在不背離這一原理的情況下,對各個模組進行任意組合,或者構成子系統與其他模組連接。例如,在一些實施例中,例如,圖8中揭露的採集端810和存儲端820可以是一個系統中的不同模組,也可以是一個模組實現上述的兩個或兩個以上模組的功能。例如,採集端810、存儲端820可以是兩個模組,也可以是一個模組同時具有接收和存儲功能。例如,各個模組可以共用一個存儲模組,各個模組也可以分別具有各自的存儲模組。諸如此類的變形,均在本發明的保護範圍之內。
本發明實施例可能帶來的有益效果包括但不限於:(1)在接收到使用者數據後,先將使用者數據緩存至第一存儲空間,再將使用者數據同步至數據倉庫,最後將常用的部分使用者數據同步至第二存儲空間。第一存儲空間具有緩存速度快,數據倉庫可以為分散式結構並且可以存儲海量使用者數據,因此,即使是在高併發場景下,也可以及時將使用者數據上傳,使用者數據不易丟失。(2)數據倉庫和第二存儲空間都可以用於查詢/讀取資料,使用者可以便捷的選擇在數據倉庫或第二存儲空間進行資料讀取/查詢。(3)採集端在接收到使用者數據後,對使用者數據加密後進行緩存,提高了使用者數據的安全性。(4)第一存儲空間採用主庫和從庫的模式,可以對使用者數據進行備份,具有較強的資料收集容錯性。需要說明的是,不同實施例可能產生的有益效果不同,在不同的實施例裡,可能產生的有益效果可以是以上任意一種或幾種的組合,也可以是其他任何可能獲得的有益效果。
上文已對基本概念做了描述,顯然,對於本領域技術人員來說,上述詳細揭露僅僅作為示例,而並不構成對本發明的限定。雖然此處並沒有明確說明,本領域技術人員可能會對本發明進行各種修改、改進和修正。該類修改、改進和修正在本發明中被建議,所以該類修改、改進、修正仍屬於本發明示範實施例的精神和範圍。
同時,本發明使用了特定詞語來描述本發明的實施例。如“一個實施例”、“一實施例”、和/或“一些實施例”意指與本發明至少一個實施例相關的某一特徵、結構或特點。因此,應強調並注意的是,本發明中在不同位置兩次或多次提及的“一實施例”或“一個實施例”或“一個替代性實施例”並不一定是指同一實施例。此外,本發明的一個或多個實施例中的某些特徵、結構或特點可以進行適當的組合。
此外,本領域技術人員可以理解,本發明的各方面可以通過若干具有可專利性的種類或情況進行說明和描述,包括任何新的和有用的工序、機器、產品或物質的組合,或對他們的任何新的和有用的改進。相應地,本發明的各個方面可以完全由硬體執行、可以完全由軟體(包括固件、常駐軟體、微碼等)執行、也可以由硬體和軟體組合執行。以上硬體或軟體均可被稱為“資料塊”、“模組”、“引擎”、“單元”、“元件”或“系統”。此外,本發明的各方面可能表現為位於一個或多個電腦可讀介質中的電腦產品,該產品包括電腦可讀程式編碼。
電腦存儲介質可能包含一個內含有電腦程式編碼的傳播資料信號,例如在基帶上或作為載波的一部分。該傳播信號可能有多種表現形式,包括電磁形式、光形式等,或合適的組合形式。電腦存儲介質可以是除電腦可讀存儲介質之外的任何電腦可讀介質,該介質可以通過連接至一個指令執行系統、裝置或設備以實現通訊、傳播或傳輸供使用的程式。位於電腦存儲介質上的程式編碼可以通過任何合適的介質進行傳播,包括無線電、電纜、光纖電纜、RF、或類似介質,或任何上述介質的組合。
本發明各部分操作所需的電腦程式編碼可以用任意一種或多種程式語言編寫,包括物件導向程式設計語言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常規程式化程式設計語言如C語言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP,動態程式設計語言如Python、Ruby和Groovy,或其他程式設計語言等。該程式編碼可以完全在使用者電腦上運行、或作為獨立的套裝軟體在使用者電腦上運行、或部分在使用者電腦上運行部分在遠端電腦運行、或完全在遠端電腦或處理設備上運行。在後種情況下,遠端電腦可以通過任何網路形式與使用者電腦連接,比如局域網(LAN)或廣域網路(WAN),或連接至外部電腦(例如通過網際網路),或在雲計算環境中,或作為服務使用如軟體即服務(SaaS)。
此外,除非權利要求中明確說明,本發明所述處理元素和序列的順序、數位字母的使用、或其他名稱的使用,並非用於限定本發明流程和方法的順序。儘管上述揭露中通過各種示例討論了一些目前認為有用的發明實施例,但應當理解的是,該類細節僅起到說明的目的,附加的權利要求並不僅限於揭露的實施例,相反,權利要求旨在覆蓋所有符合本發明實施例實質和範圍的修正和等價組合。例如,雖然以上所描述的系統元件可以通過硬體設備實現,但是也可以只通過軟體的解決方案得以實現,如在現有的處理設備或移動設備上安裝所描述的系統。
同理,應當注意的是,為了簡化本發明揭露的表述,從而幫助對一個或多個發明實施例的理解,前文對本發明實施例的描述中,有時會將多種特徵歸併至一個實施例、附圖或對其的描述中。但是,這種揭露方法並不意味著本發明物件所需要的特徵比權利要求中提及的特徵多。實際上,實施例的特徵要少於上述揭露的單個實施例的全部特徵。
一些實施例中使用了描述成分、屬性數量的數位,應當理解的是,此類用於實施例描述的數字,在一些示例中使用了修飾詞“大約”、“近似”或“大體上”來修飾。除非另外說明,“大約”、“近似”或“大體上”表明所述數字允許有±20%的變化。相應地,在一些實施例中,說明書和權利要求中使用的數值參數均為近似值,該近似值根據個別實施例所需特點可以發生改變。在一些實施例中,數值參數應考慮規定的有效數位並採用一般位數保留的方法。儘管本發明一些實施例中用於確認其範圍廣度的數值域和參數為近似值,在具體實施例中,此類數值的設定在可行範圍內盡可能精確。
針對本發明引用的每個專利、專利申請、專利申請公開物和其他材料,如文章、書籍、說明書、出版物、文檔等,特此將其全部內容併入本發明作為參考。與本發明內容不一致或產生衝突的申請歷史檔除外,對本發明權利要求最廣範圍有限制的檔(當前或之後附加於本發明中的)也除外。需要說明的是,如果本發明附屬材料中的描述、定義、和/或術語的使用與本發明所述內容有不一致或衝突的地方,以本發明的描述、定義和/或術語的使用為准。
最後,應當理解的是,本發明中所述實施例僅用以說明本發明實施例的原則。其他的變形也可能屬於本發明的範圍。因此,作為示例而非限制,本發明實施例的替代配置可視為與本發明的教導一致。相應地,本發明的實施例不僅限於本發明明確介紹和描述的實施例。
100:自動生成數據判斷結果系統 110:伺服器 112:處理設備 120:網路 120-1:網際網路交換點 120-2:網際網路交換點 130:使用者終端 130-1、150-1:手機 130-2、150-2:平板電腦 130-3、150-3:筆記型電腦 140:數據庫 150:採集終端 200:自動生成數據判斷結果系統 210:採集端 220:分析端 300:自動生成數據判斷結果的方法 310-330:步驟 400:生成配置條件的流程 410-420:步驟 500:數據收集系統 510:伺服器 512:處理設備 520:網路 520-1、520-2:網際網路交換點 530:使用者終端 530-1:手機 530-2:平板電腦 530-3:筆記型電腦 540:儲存設備 550:採集端 600:數據收集方法流程 602-606:步驟 700:流程 702-704:步驟 800:數據收集系統 810:採集端 820:存儲端
本發明將以示例性實施例的方式進一步說明,這些示例性實施例將通過附圖進行詳細描述。這些實施例並非限制性的,在這些實施例中,相同的編號表示相同的結構,其中: 圖1是根據本發明一些實施例所示的自動生成數據判斷結果系統的應用場景的第一種實施方式的示意圖; 圖2是根據本發明一些實施例所示的自動生成數據判斷結果系統的第一種實施方式的模組圖; 圖3是根據本發明一些實施例所示的自動生成數據判斷結果方法的第一種實施方式的示例性流程圖; 圖4是根據本發明的一些實施例所示的生成配置條件的方法的示例性流程圖; 圖5是根據本發明一些實施例所示的自動生成數據判斷結果系統的應用場景的第二種實施方式的示意圖; 圖6是根據本發明一些實施例所示的自動生成數據判斷結果方法的第二種實施方式的示例性流程圖; 圖7是根據本發明一些實施例所示的緩存使用者數據至第一存儲空間的示例性流程圖; 圖8是根據本發明一些實施例所示的自動生成數據判斷結果系統的第二種實施方式的模組圖。
300:自動生成數據判斷結果的方法
310:步驟
320:步驟
330:步驟

Claims (8)

  1. 一種自動生成數據判斷結果的方法,其包括:採集端將數據採集模組發送給多個使用者終端,並將所述使用者終端對所述數據採集模組回饋的第一數據發送給分析端;所述分析端基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯;以及所述分析端從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果;其中,所述配置條件包含所述分析項目以及所述分析項目之間的位置關係和邏輯關係;所述分析端基於配置條件生成判斷結果的顯示方式包括:基於所述配置條件確定所述顯示方式中行表頭和列表頭各自包含的分析項目,以及所述分析項目的位置;以及基於所述邏輯關係確定所述第一運算邏輯和第二運算邏輯;其中,所述分析端從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果包括:將所述第一數據分別與所述行表頭中的分析項目和所述列表頭中的分析項目進行映射,得到所述分析項目的統計值以及不同分析項目的交叉統計值;利用所述第一運算邏輯對所述統計值進行運算,得到所述分析值;以及利用所述第二運算邏輯對所述統計值或/和所述交叉統計值進行運算,得到所述交叉分析值。
  2. 如請求項1所述的自動生成數據判斷結果的方法,其中,所述方法還包括: 對所述行表頭或所述列表頭的分析項目進行編碼;當所述分析項目的分析值與所述行表頭或列表頭中的其他分析項目的分析值的誤差大於第一預設閾值時,在所述其他分析項目的分析值中加入所述分析項目的編碼;以及基於所述分析項目和第一分析項目得到第一交叉分析值,基於所述其他項目和所述第一分析項目得到第二交叉分析值,當所述第一交叉分析值與所述第二交叉分析值的誤差大於第二預設閾值時,在所述第二交叉分析值中加入所述分析項目的編碼;其中,所述第一分析項目來源於所述行表頭和/或所述列表頭的分析項目。
  3. 如請求項1所述的自動生成數據判斷結果的方法,其中,所述方法還包括:在所述使用者終端回饋所述第一數據時,將第二數據傳遞給所述分析端;所述分析端從所述第一數據和/或所述第二數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成所述數據判斷結果;以及所述第二數據包括:所述使用者終端的位置資訊、所述使用者終端的設備資訊或所述使用者終端的設備使用資訊。
  4. 如請求項1所述的自動生成數據判斷結果的方法,其中,還包括:採集端接收至少一個使用者數據,所述使用者數據包括第一數據以及數據判斷結果中的任意一種或多種,並將所述使用者數據發送給存儲端;所述存儲端將接收到的所述使用者數據緩存至一個或多個第一存儲空間,並將緩存完成的所述使用者數據同步到數據倉庫,所述數據倉庫用於存儲所述使用者數據;以及 所述存儲端將常用使用者數據同步到第二存儲空間,所述第二存儲空間用於查詢所述常用使用者數據;所述常用使用者數據是指所述數據倉庫中讀取頻率大於預設閾值的使用者數據。
  5. 如請求項4所述的自動生成數據判斷結果的方法,其中,所述第一存儲空間包含主庫和至少一個從庫,所述從庫對所述主庫緩存的資料進行備份;所述將緩存完成的所述使用者數據同步到數據倉庫,包括:將所述主庫或者從庫中緩存完成的使用者數據同步到所述數據倉庫;以及判斷是否同步成功,否,則對未被同步的庫中緩存完成的使用者數據進行再次同步。
  6. 如請求項4所述的自動生成數據判斷結果的方法,其中,所述存儲端將接收到的所述使用者數據緩存至一個或多個第一存儲空間,包括:從所述使用者數據中提取與使用者類型相關的資訊;將所述使用者數據緩存至與所述資訊匹配的所述第一存儲空間;所述將所述使用者數據緩存至與所述資訊匹配的所述第一存儲空間包括:判斷與所述資訊匹配的所述第一存儲空間中緩存的使用者數據的量是否高於預設閾值;以及否,則將所述使用者數據緩存至所述第一存儲空間。
  7. 一種自動生成數據判斷結果的系統,其包括:採集端,用於將數據採集模組發送給多個使用者終端,並將所述使用者終端對所述數據採集模組回饋的第一數據發送給分析端;以及所述分析端,用於基於配置條件生成數據判斷結果的顯示方式,所述顯示方式中包含分析項目、用於確定所述分析項目的分析值的第一運算邏輯或/和用於確定不同分析項目的交叉分析值的第二運算邏輯;用於從所述第一數據中確定 所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果;其中,所述配置條件包含所述分析項目以及所述分析項目之間的位置關係和邏輯關係;所述分析端基於配置條件生成判斷結果的顯示方式包括:基於所述配置條件確定所述顯示方式中行表頭和列表頭各自包含的分析項目,以及所述分析項目的位置;以及基於所述邏輯關係確定所述第一運算邏輯和第二運算邏輯;其中,所述分析端從所述第一數據中確定所述顯示方式中分析項目的分析值或/和不同分析項目的交叉分析值,生成數據判斷結果包括:將所述第一數據分別與所述行表頭中的分析項目和所述列表頭中的分析項目進行映射,得到所述分析項目的統計值以及不同分析項目的交叉統計值;利用所述第一運算邏輯對所述統計值進行運算,得到所述分析值;以及利用所述第二運算邏輯對所述統計值或/和所述交叉統計值進行運算,得到所述交叉分析值。
  8. 一種電腦可讀存儲介質,所述存儲介質存儲電腦指令,當電腦讀取存儲介質中的電腦指令後,電腦執行如請求項1~6任一項所述的方法。
TW110107986A 2020-03-05 2021-03-05 一種自動生成數據判斷結果的方法和系統 TWI781547B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202010145527.9A CN111367979B (zh) 2020-03-05 2020-03-05 一种数据收集方法和系统
CN202010147643.4A CN111367973B (zh) 2020-03-05 2020-03-05 一种自动生成数据判断结果的方法和系统
CN202010147643.4 2020-03-05
CN202010145527.9 2020-03-05

Publications (2)

Publication Number Publication Date
TW202134904A TW202134904A (zh) 2021-09-16
TWI781547B true TWI781547B (zh) 2022-10-21

Family

ID=77613902

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110107986A TWI781547B (zh) 2020-03-05 2021-03-05 一種自動生成數據判斷結果的方法和系統

Country Status (4)

Country Link
US (1) US11960497B2 (zh)
EP (1) EP3951610A4 (zh)
TW (1) TWI781547B (zh)
WO (1) WO2021175301A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819616A (zh) * 2011-12-28 2012-12-12 中华电信股份有限公司 云端线上即时多维度分析系统与方法
TWI442224B (zh) * 2006-12-01 2014-06-21 Nec Corp 資料管理方法
CN110837551A (zh) * 2019-11-27 2020-02-25 广州快决测信息科技有限公司 一种在线数据采集的方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070067575A1 (en) * 2005-09-20 2007-03-22 Morris John M Method of managing cache memory based on data temperature
CN100456289C (zh) 2005-10-25 2009-01-28 英业达股份有限公司 信息采集系统及方法
US20070239768A1 (en) * 2006-04-10 2007-10-11 Graphwise Llc System and method for creating a dynamic database for use in graphical representations of tabular data
CN101315680B (zh) 2007-05-31 2011-03-16 中国科学院自动化研究所 基于自动调查问卷的群体意见定性分析工具及实现方法
US9348804B2 (en) * 2008-05-12 2016-05-24 The Nielsen Company (Us), Llc Methods and apparatus to provide a choice selection with data presentation
JP5318525B2 (ja) 2008-10-28 2013-10-16 株式会社 資生堂 アンケート解析方法、アンケート解析装置、アンケート解析プログラム、及び該プログラムが記録された記録媒体
US8429179B1 (en) * 2009-12-16 2013-04-23 Board Of Regents, The University Of Texas System Method and system for ontology driven data collection and processing
CN102006505A (zh) 2010-10-11 2011-04-06 上海泓安信息科技有限公司 基于数字电视机顶盒的观众收视行为调查系统
CN102231869B (zh) 2011-06-27 2013-08-21 北京邮电大学 一种增值服务精细化运营系统架构的实现方法
CN103699660B (zh) 2013-12-26 2016-10-12 清华大学 一种大规模网络流式数据缓存写入的方法
CN103714471B (zh) 2014-01-21 2017-09-08 北京益派市场咨询有限公司 二维码调查方法及系统
CN104484435B (zh) 2014-12-23 2018-08-03 合一网络技术(北京)有限公司 交叉分析用户行为的方法
US20160224645A1 (en) * 2015-02-03 2016-08-04 Siemens Aktiengesellschaft System and method for ontology-based data integration
US20170139888A1 (en) 2015-11-17 2017-05-18 Starting Block Capital System and method of analyzing polling results and generating polling results outputs
CN106845272A (zh) * 2017-01-19 2017-06-13 浙江中都信息技术有限公司 基于终端代理的威胁监控及数据防泄露方法与系统
CN108133041A (zh) 2018-01-11 2018-06-08 四川九洲电器集团有限责任公司 基于网络爬虫和数据转移技术的数据采集系统及方法
US11308106B1 (en) * 2018-05-21 2022-04-19 Amazon Technologies, Inc. Caching results for sub-queries to different data store locations
US20200394672A1 (en) * 2019-06-14 2020-12-17 MBP Insights, Inc. Systems and methods for targeting promotional material
CN110704463B (zh) 2019-09-06 2024-05-24 中国平安财产保险股份有限公司 常用数据的本地缓存方法、装置、计算机设备及存储介质
CN111367979B (zh) * 2020-03-05 2021-10-26 广州快决测信息科技有限公司 一种数据收集方法和系统
CN111367973B (zh) * 2020-03-05 2021-03-09 广州快决测信息科技有限公司 一种自动生成数据判断结果的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI442224B (zh) * 2006-12-01 2014-06-21 Nec Corp 資料管理方法
CN102819616A (zh) * 2011-12-28 2012-12-12 中华电信股份有限公司 云端线上即时多维度分析系统与方法
CN110837551A (zh) * 2019-11-27 2020-02-25 广州快决测信息科技有限公司 一种在线数据采集的方法及系统

Also Published As

Publication number Publication date
EP3951610A1 (en) 2022-02-09
TW202134904A (zh) 2021-09-16
US20220222267A1 (en) 2022-07-14
EP3951610A4 (en) 2022-06-22
US11960497B2 (en) 2024-04-16
WO2021175301A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
US10860598B2 (en) Systems and methods for interest-driven business intelligence systems including event-oriented data
US9536003B2 (en) Method and system for hybrid information query
Sharma et al. A brief review on leading big data models
Kepner et al. Achieving 100,000,000 database inserts per second using Accumulo and D4M
CN110705683B (zh) 随机森林模型的构造方法、装置、电子设备及存储介质
CN105512336A (zh) 一种基于Hadoop的海量数据处理方法和装置
US20170270210A1 (en) Data Infrastructure and Method for Ingesting and Updating A Continuously Evolving Social Network
Gupta et al. Faster as well as early measurements from big data predictive analytics model
JP2013164704A (ja) 情報処理装置、情報処理方法およびプログラム
Wenzhen Personalized music recommendation algorithm based on hybrid collaborative filtering technology
Chen et al. User intent-oriented video QoE with emotion detection networking
CN112860659B (zh) 数据仓库的构建方法、装置、设备及存储介质
TWI781547B (zh) 一種自動生成數據判斷結果的方法和系統
CN105989167B (zh) 基于新闻客户端的数据采集方法及装置
Yuan et al. Analysis of user behavior in a large-scale internet video-on-demand (VoD) system
CN111367979B (zh) 一种数据收集方法和系统
CN111367973B (zh) 一种自动生成数据判断结果的方法和系统
CN109635193A (zh) 一种书籍阅读共享平台
Singh NoSQL: A new horizon in big data
CN111832304B (zh) 楼盘名称的查重方法、装置、电子设备及存储介质
CN107958087A (zh) 移动医疗的倒排泰森多边形的分布式时空索引的代表点获取方法
CN107766495A (zh) 基于Voronoi图的分布式时空索引方法
CN111651457B (zh) 数据分组方法、装置、计算机设备及存储介质
CN114092064A (zh) 电力大数据加工批处理系统及方法、装置、设备和介质
Razdan The next page access prediction using makov model

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent