WO2018165963A1

WO2018165963A1 - 电商数据冗余处理系统及方法

Info

Publication number: WO2018165963A1
Application number: PCT/CN2017/077010
Authority: WO
Inventors: 李楚斌
Original assignee: 深圳市秀趣品牌文化传播有限公司
Priority date: 2017-03-17
Filing date: 2017-03-17
Publication date: 2018-09-20

Abstract

本发明提供一种电商数据冗余处理系统及方法，该方法包括：通过哈希算法计算每组电商数据的哈希值；查找相同的哈希值，将相同的哈希值及相同的哈希值对应的电商数据的存储路径保存于一个哈希关联列表中；在每一个哈希关联列表修改所删除的电商数据对应的标识；接收终端发送过来的电商数据；计算所述终端发送过来的电商数据的哈希值；当所述终端发送过来的电商数据的哈希值有对应的哈希关联列表，删除所述终端发送过来的电商数据；当所述终端发送过来的电商数据的哈希值没有对应的哈希关联列表，将所述终端发送过来的电商数据保存于电商平台中。实施本发明可以降低电商平台的冗余。

Description

电商数据冗余处理系统及方法技术领域

[0001] 本发明涉及信息化领域，尤其涉及一种电商数据冗余处理系统及方法。

背景技术

[0002] 随着电子商务的快速发展，人们越来越习惯于使用电子商务网站来购买商品。

然而，卖家在通过网络渠道赚取利润的同吋，却无法通过现有的互联网信息来进行预测以后的热销商品，来达到赚取更多利润的目的。

[0003] 数据挖掘是指从存放在数据库、数据仓库或其他信息库的大量数据中挖掘有效知识的过程。数据挖掘从大量数据中提取出隐含的、有价值的和可理解的信息，以指导人们的活动。数据挖掘技术主要有关联规则，分类规则，聚类分析和序列模式等等。

[0004] 进一步地，现在越来越多的用户都使用移动终端（例如，手机、平板电脑等触摸屏的移动终端）査看电商数据并存储电商数据，导致电子商务平台保存多个相同的电商数据，如此造成电子商务平台电商平台上电商数据的冗余。

技术问题

[0005] 本发明的主要目的在于提供一种电商数据冗余处理系统及方法，旨在解决对电商平台上冗余的电商数据进行处理的技术问题。

问题的解决方案

技术解决方案

[0006] 为实现上述目的，本发明提供了一种电商数据冗余处理系统，运行于电商平台中，所述电商平台通过网络与终端通信连接，该系统包括：

[0007] 计算模块，用于计算所述电商平台上每组电商数据的哈希值；

[0008] 査找模块，用于从计算的哈希值中査找相同的哈希值，并将相同的哈希值归为一组，将每组中相同的哈希值及该组中相同的哈希值对应的电商数据的存储路径保存于一个哈希关联列表中；

[0009] 刪除模块，用于在每一个哈希关联列表中选定一个存储路径，并刪除该哈希关联列表中未选定的存储路径所对应的电商数据；

[0010] 修改模块，用于在每一个哈希关联列表修改所刪除的电商数据对应的标识； [0011] 接收模块，用于接收终端发送过来的电商数据；

[0012] 所述计算模块，还用于计算所述终端发送过来的电商数据的哈希值；

[0013] 所述判断模块，用于判断所述终端发送过来的电商数据的哈希值是否有对应的哈希关联列表；

[0014] 所述刪除模块，还用于当所述终端发送过来的电商数据的哈希值有对应的哈希关联列表，刪除所述终端发送过来的电商数据；及

[0015] 保存模块，用于当所述终端发送过来的电商数据的哈希值没有对应的哈希关联列表，将所述终端发送过来的电商数据保存于电商平台中。

[0016] 优选的，所述哈希关联列表包括四个栏位，所述四个栏位分别为文件名、哈希值、存储路径及标识。

[0017] 优选的，所述计算模块计算所述电商平台上每组电商数据的哈希值的方式如下：遍历电商平台上的电商数据，并通过哈希算法计算每组电商数据的哈希值。

[0018] 优选的，所述计算模块通过哈希算法计算所述电商平台上每组电商数据的哈希值，其中，所述哈希算法为 MD5算法。

[0019] 优选的，所述判断模块判断所述终端发送过来的电商数据的哈希值是否有对应的哈希关联列表的方式如下：判断电商平台中是否有哈希关联列表包含所述终端发送过来的电商数据的哈希值，若电商平台中有一个哈希关联列表包含所述终端发送过来的电商数据的哈希值，则该哈希关联列表为所述终端发送过来的电商数据的哈希值对应的哈希关联列表。

[0020] 另一方面，本发明还提供一种电商数据冗余处理方法，应用于电商平台中，所述电商平台通过网络与终端通信连接，该方法包括如下步骤：

[0021] 计算所述电商平台上每组电商数据的哈希值；

[0022] 从计算的哈希值中査找相同的哈希值，并将相同的哈希值归为一组，将每组中相同的哈希值及该组中相同的哈希值对应的电商数据的存储路径保存于一个哈希关联列表中；

[0023] 在每一个哈希关联列表中选定一个存储路径，并刪除该哈希关联列表中未选定的存储路径所对应的电商数据；

[0024] 在每一个哈希关联列表修改所刪除的电商数据对应的标识；

[0025] 接收终端发送过来的电商数据；

[0026] 计算所述终端发送过来的电商数据的哈希值；

[0027] 当所述终端发送过来的电商数据的哈希值有对应的哈希关联列表，刪除所述终端发送过来的电商数据；及

[0028] 当所述终端发送过来的电商数据的哈希值没有对应的哈希关联列表，将所述终端发送过来的电商数据保存于电商平台中。

[0029] 优选的，所述哈希关联列表包括四个栏位，所述四个栏位分别为文件名、哈希值、存储路径及标识。

[0030] 优选的，所述计算所述电商平台上每组电商数据的哈希值的步骤包括如下步骤：遍历电商平台上的电商数据，并通过哈希算法计算每组电商数据的哈希值。

[0031] 优选的，所述电商平台上每组电商数据的哈希值通过哈希算法计算，其中，所述哈希算法为 MD5算法。

[0032] 优选的，所述判断所述终端发送过来的电商数据的哈希值是否有对应的哈希关联列表的步骤包括如下步骤：判断电商平台中是否有哈希关联列表包含所述终端发送过来的电商数据的哈希值，若电商平台中有一个哈希关联列表包含所述终端发送过来的电商数据的哈希值，则该哈希关联列表为所述终端发送过来的电商数据的哈希值对应的哈希关联列表。。

发明的有益效果

有益效果

[0033] 本发明采用哈希值比对的方式寻找相同的电商数据，并刪除重复的电商数据，降低了电商平台的冗余。

对附图的简要说明

附图说明

[0034] 图 1是本发明电商数据冗余处理系统的应用环境示意图；

[0035] 图 2是本发明电商数据冗余处理系统的优选实施例的模块示意图；

[0036] 图 3是本发明电商数据冗余处理方法的优选实施例的流程图； [0037] 图 4是本发明哈希关联列表的示意图。

实施该发明的最佳实施例

本发明的最佳实施方式

[0038] 参照图 1所示，图 1是本发明电商数据冗余处理系统的应用环境示意图。本发明中的电商数据冗余处理系统 30运行于电商平台 3上。所述电商平台 3通过网络 2与多个终端 1通信连接。所述电商平台 3上存储有各种类型的电商数据（例如，用户名、商品文字信息、商品种类信息、快递信息、仓储信息、商品图片、购物记录等等）。需要说明的是，所述电商平台 3存储的电商数据是按照吋间及地点等分类，分为多组数据，例如，每一秒生成的数据归为一组数据。所述电商平台 3为多个服务器组成的集群。

[0039] 在本实施例中，所述网络 2可以是有线通讯网络或无线通讯网络。所述网络优选为无线通讯网络，包括但不限于， GSM网络、 GPRS网络、 CDMA网络、 TD-S CDMA网络、 WiMAX网络、 TD-LTE网络、 FDD-LTE网络等无线传输网络。。

[0040] 所述终端 1可以是，但不限于，智能手机、平板电脑、个人数字助理（Personal Digital Assistant, PDA) 、个人电脑、电子看板等其它任意合适的便携式触摸屏电子设备。所述终端 1用于通过网络 2访问所述电商平台 3，并获取电商平台 3上的电商数据。所述终端 1还用于产生电商数据，并将所述产生的电商数据发送至电商平台 3保存。

[0041] 参照图 2所示，是本发明电商数据冗余处理系统的优选实施例的模块示意图。

在本实施例中，所述电商数据冗余处理系统 30应用于电商平台 3。该电商平台 3 包括，但不仅限于，电商数据冗余处理系统 30、存储单元 31、处理单元 32、及通讯单元 33。

[0042] 所述的存储单元 31可以为一种只读存储单元 ROM, 电可擦写存储单元 EEPRO

M、快闪存储单元 FLASH或固体硬盘等。

[0043] 所述的处理单元 32可以为一种中央处理器（Central Processing Unit, CPU) 、微控制器（MCU) 、数据处理芯片、或者具有数据处理功能的信息处理单元。

[0044] 所述的通讯单元 33为一种具有远程通讯功能的通讯接口，例如支持 GSM、 GPR

S、 WCDMA、 CDMA、 TD-SCDMA、 WiMAX、 TD-LTE、 FDD-LTE等无线通 ifl 技术的通讯接口，支持 USB、网线的有线通讯接口。

[0045] 所述电商数据冗余处理系统 30包括，但不局限于，计算模块 311、査找模块 312 、刪除模块 313、修改模块 314、接收模块 315、判断模块 316及保存模块 317，本发明所称的模块是指一种能够被所述电商平台 3的处理单元 32执行并且能够完成固定功能的一系列计算机程序指令段，其存储在所述电商平台 3的存储单元 31中

[0046] 所述计算模块 311用于计算电商平台 3上每组电商数据的哈希值。具体地说，所述计算模块 311遍历电商平台 3上的电商数据，并通过哈希算法计算每组电商数据的哈希值。

[0047] 所述査找模块 312用于从计算的哈希值中査找相同的哈希值，并将相同的哈希值归为一组，将每组中相同的哈希值及该组中相同的哈希值对应的电商数据的存储路径保存于一个哈希关联列表中。一般而言，由于哈希值的唯一性，若査找到相同的哈希值，表明电商平台 3中存在相同的电商数据。在本实施例中，所述哈希关联列表包括多个相同的哈希值及每个哈希值对应电商数据的存储路径。需要说明的是，所述哈希关联列表中的哈希值都是相同的。所述电商平台 3中有多组相同的电商数据，则所述査找模块 312获得多组相同的哈希值并对每组相同的哈希值生成一个哈希关联列表。如图四所示，所述哈希关联列表至少包括四个栏位，所述四个栏位分别为文件名（表示电商数据的名称）、哈希值（表示电商数据的哈希值）、存储路径（表示电商数据在电商平台 3上的存储路径）及标识（表示电商数据是否保留于电商平台 3中，其中， Y表示保留， N表示刪除 ) 。进一步地，为了方便起见，图 4中的字母 B仅仅是代指哈希值，并不表示哈希值为 B，而图 4中的字母 T1至 T9也仅仅是代指存储路径，并不表示 T1至 T9为存储路径。

[0048] 所述刪除模块 313用于在每一个哈希关联列表中选定一个存储路径，并刪除该哈希关联列表中未选定的存储路径所对应的电商数据。在本实施例中，所述刪除模块 313选定存储路径 Tl，并在电商平台 3中刪除其余存储路径为 Τ2至 Τ9对应的电商数据。

[0049] 所述修改模块 314用于在每一个哈希关联列表修改所刪除的电商数据对应的标识。具体地说，如图 4所示，所述修改模块 314将哈希关联列表中 T2至 T9对应的标识从 Y修改为 N。

[0050] 所述接收模块 315用于接收终端 1发送过来的电商数据。所述终端 1发送过来的电商数据的哈希值暂存于电商平台 3的内存中。

[0051] 所述计算模块 311还用于计算所述终端 1发送过来的电商数据的哈希值。

[0052] 所述判断模块 316用于判断所述终端 1发送过来的电商数据的哈希值是否有对应的哈希关联列表。所述判断模块 316通过所述终端 1发送过来的电商数据的哈希值进行査询，判断是否有哈希关联列表包含所述终端 1发送过来的电商数据的哈希值，若电商平台 3中有一个哈希关联列表包含所述终端 1发送过来的电商数据的哈希值，则该哈希关联列表为所述终端 1发送过来的电商数据的哈希值对应的哈希关联列表。

[0053] 所述刪除模块 313用于当所述终端 1发送过来的电商数据的哈希值有对应的哈希关联列表，刪除所述终端 1发送过来的电商数据。所述终端 1发送过来的电商数据的哈希值从所述电商平台 3的内存中刪除。

[0054] 所述保存模块 317用于当所述终端 1发送过来的电商数据的哈希值没有对应的哈希关联列表，将所述终端 1发送过来的电商数据保存于电商平台 3中。所述终端 1 发送过来的电商数据的哈希值保存于电商平台 3的存储单元 31中或数据库（图中未示出）中。

[0055] 参照图 3所示，是本发明电商数据冗余处理方法的优选实施例的流程图。在本实施例中，所述的电商数据冗余处理方法应用于电商平台 3，该方法包括以下步骤：

[0056] 步骤 S11 : 所述计算模块 311计算电商平台 3上每组电商数据的哈希值。具体地说，所述计算模块 311遍历电商平台 3上的电商数据，并通过哈希算法计算每组电商数据的哈希值。

[0057] 步骤 S12: 所述査找模块 312从计算的哈希值中査找相同的哈希值，并将相同的哈希值归为一组，将每组中相同的哈希值及该组中相同的哈希值对应的电商数据的存储路径保存于一个哈希关联列表中。一般而言，由于哈希值的唯一性，若査找到相同的哈希值，表明电商平台 3中存在相同的电商数据。在本实施例中，所述哈希关联列表包括多个相同的哈希值及每个哈希值对应电商数据的存储路径。需要说明的是，所述哈希关联列表中的哈希值都是相同的。所述电商平台 3中有多组相同的电商数据，则所述査找模块 312获得多组相同的哈希值并对每组相同的哈希值生成一个哈希关联列表。如图四所示，所述哈希关联列表至少包括四个栏位，所述四个栏位分别为文件名（表示电商数据的名称）、哈希值（表示电商数据的哈希值）、存储路径（表示电商数据在电商平台 3上的存储路径）及标识（表示电商数据是否保留于电商平台 3中，其中， Y表示保留， N表示刪除）。进一步地，为了方便起见，图 4中的字母 B仅仅是代指哈希值，并不表示哈希值为 B，而图 4中的字母 T1至 T9也仅仅是代指存储路径，并不表示 T1至 T9为存储路径。

[0058] 步骤 S13: 所述刪除模块 313在每一个哈希关联列表中选定一个存储路径，并刪除该哈希关联列表中未选定的存储路径所对应的电商数据。在本实施例中，所述刪除模块 313选定存储路径 Tl，并在电商平台 3中刪除其余存储路径为 Τ2至 Τ9 对应的电商数据。

[0059] 步骤 S14: 所述修改模块 314在每一个哈希关联列表修改所刪除的电商数据对应的标识。具体地说，如图 4所示，所述修改模块 314将哈希关联列表中 Τ2至 Τ9对应的标识从 Υ修改为 Ν。

[0060] 步骤 S15: 所述接收模块 315接收终端 1发送过来的电商数据。所述终端 1发送过来的电商数据的哈希值暂存于电商平台 3的内存中。

[0061] 步骤 S16: 所述计算模块 311计算所述终端 1发送过来的电商数据的哈希值。

[0062] 步骤 S17: 所述判断模块 316判断所述终端 1发送过来的电商数据的哈希值是否有对应的哈希关联列表。所述判断模块 316通过所述终端 1发送过来的电商数据的哈希值进行査询，判断是否有哈希关联列表包含所述终端 1发送过来的电商数据的哈希值，若电商平台 3中有一个哈希关联列表包含所述终端 1发送过来的电商数据的哈希值，则该哈希关联列表为所述终端 1发送过来的电商数据的哈希值对应的哈希关联列表。若所述终端 1发送过来的电商数据的哈希值有对应的哈希关联列表，流程进入步骤 S18，否则，若所述终端 1发送过来的电商数据的哈希值没有对应的哈希关联列表，则流程进入步骤 S19。 [0063] 步骤 S18: 所述刪除模块 313刪除所述终端 1发送过来的电商数据。所述终端 1发送过来的电商数据的哈希值从所述电商平台 3的内存中刪除。

[0064] 步骤 S19: 所述保存模块 317将所述终端 1发送过来的电商数据保存于电商平台 3 中。所述终端 1发送过来的电商数据的哈希值保存于电商平台 3的存储单元 31中或数据库（图中未示出）中。

工业实用性

[0065] 本发明采用哈希值比对的方式寻找相同的电商数据，并刪除重复的电商数据，降低了电商平台的冗余。

Claims

权利要求书

[权利要求 1] 一种电商数据冗余处理系统，运行于电商平台中，其特征在于，所述电商平台通过网络与终端通信连接，该系统包括：计算模块，用于计算所述电商平台上每组电商数据的哈希值；査找模块，用于从计算的哈希值中査找相同的哈希值，并将相同的哈希值归为一组，将每组中相同的哈希值及该组中相同的哈希值对应的电商数据的存储路径保存于一个哈希关联列表中；刪除模块，用于在每一个哈希关联列表中选定一个存储路径，并刪除该哈希关联列表中未选定的存储路径所对应的电商数据；

修改模块，用于在每一个哈希关联列表修改所刪除的电商数据对应的标识；

接收模块，用于接收终端发送过来的电商数据；所述计算模块，还用于计算所述终端发送过来的电商数据的哈希值；所述判断模块，用于判断所述终端发送过来的电商数据的哈希值是否有对应的哈希关联列表；

所述刪除模块，还用于当所述终端发送过来的电商数据的哈希值有对应的哈希关联列表，刪除所述终端发送过来的电商数据；及保存模块，用于当所述终端发送过来的电商数据的哈希值没有对应的哈希关联列表，将所述终端发送过来的电商数据保存于电商平台中。

[权利要求 2] 如权利要求 1所述的电商数据冗余处理系统，其特征在于，所述哈希关联列表包括四个栏位，所述四个栏位分别为文件名、哈希值、存储路径及标识。

[权利要求 3] 如权利要求 1所述的电商数据冗余处理系统，其特征在于，所述计算模块计算所述电商平台上每组电商数据的哈希值的方式如下：遍历电商平台上的电商数据，并通过哈希算法计算每组电商数据的哈希值。

[权利要求 4] 如权利要求 1所述的电商数据冗余处理系统，其特征在于，所述判断模块判断所述终端发送过来的电商数据的哈希值是否有对应的哈希关联列表的方式如下：判断电商平台中是否有哈希关联列表包含所述终端发送过来的电商数据的哈希值，若电商平台中有一个哈希关联列表包含所述终端发送过来的电商数据的哈希值，则该哈希关联列表为所述终端发送过来的电商数据的哈希值对应的哈希关联列表。

[权利要求 5] —种电商数据冗余处理方法，应用于电商平台中，其特征在于，所述电商平台通过网络与终端通信连接，该方法包括如下步骤：计算所述电商平台上每组电商数据的哈希值；

从计算的哈希值中査找相同的哈希值，并将相同的哈希值归为一组，将每组中相同的哈希值及该组中相同的哈希值对应的电商数据的存储路径保存于一个哈希关联列表中；

在每一个哈希关联列表中选定一个存储路径，并刪除该哈希关联列表中未选定的存储路径所对应的电商数据；

在每一个哈希关联列表修改所刪除的电商数据对应的标识；接收终端发送过来的电商数据；

计算所述终端发送过来的电商数据的哈希值；

判断所述终端发送过来的电商数据的哈希值是否有对应的哈希关联列表；

当所述终端发送过来的电商数据的哈希值有对应的哈希关联列表，刪除所述终端发送过来的电商数据；及

当所述终端发送过来的电商数据的哈希值没有对应的哈希关联列表，将所述终端发送过来的电商数据保存于电商平台中。

[权利要求 6] 如权利要求 5所述的电商数据冗余处理方法，其特征在于，所述哈希关联列表包括四个栏位，所述四个栏位分别为文件名、哈希值、存储路径及标识。

[权利要求 7] 如权利要求 5所述的电商数据冗余处理方法，其特征在于，所述计算所述电商平台上每组电商数据的哈希值的步骤包括如下步骤：遍历电商平台上的电商数据，并通过哈希算法计算每组电商数据的哈希值。

[权利要求 8] 如权利要求 5所述的电商数据冗余处理方法，其特征在于，所述判断所述终端发送过来的电商数据的哈希值是否有对应的哈希关联列表的步骤包括如下步骤：判断电商平台中是否有哈希关联列表包含所述终端发送过来的电商数据的哈希值，若电商平台中有一个哈希关联列表包含所述终端发送过来的电商数据的哈希值，则该哈希关联列表为所述终端发送过来的电商数据的哈希值对应的哈希关联列表。