WO2021174696A1 - Procédé et appareil de mise à jour de données, dispositif informatique et support d'enregistrement - Google Patents

Procédé et appareil de mise à jour de données, dispositif informatique et support d'enregistrement Download PDF

Info

Publication number
WO2021174696A1
WO2021174696A1 PCT/CN2020/093327 CN2020093327W WO2021174696A1 WO 2021174696 A1 WO2021174696 A1 WO 2021174696A1 CN 2020093327 W CN2020093327 W CN 2020093327W WO 2021174696 A1 WO2021174696 A1 WO 2021174696A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
batch
index data
index
indicator
Prior art date
Application number
PCT/CN2020/093327
Other languages
English (en)
Chinese (zh)
Inventor
周亮
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021174696A1 publication Critical patent/WO2021174696A1/fr

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

La présente invention concerne un procédé et un appareil de mise à jour de données, un dispositif informatique et un support d'enregistrement, se rapportant au domaine technique des mégadonnées. Le procédé consiste à : acquérir des enregistrements de données uniques et des temps d'écriture de ceux-ci à partir d'une table de configuration dans une base de données frontale ; analyser une plage temporelle de données synchrone dans une instruction de lecture de données, réaliser une traversée et une interrogation pour obtenir les temps d'écriture qui correspondent à la plage temporelle de données synchrone et aux enregistrements de données uniques associés aux différents temps d'écriture mis en correspondance, et marquer, en tant qu'identifiants de données devant être soumis à une lecture, les enregistrements de données uniques associés aux différents temps d'écriture qui correspondent à la plage temporelle de données synchrone ; interroger une table d'interface pour les données d'index correspondant à chacun desdits identifiants de données, déterminer, selon un symbole de segmentation, des lots à soumettre à une lecture, à laquelle appartient les données d'index correspondant auxdits identifiants de données, et enregistrer toutes les données d'index desdits lots en tant que données d'index de lot nouvellement ajoutées ; et mettre à jour les données d'index de lot nouvellement ajoutées de tous les lots et les stocker dans une table de données cible d'une base de données dorsale. Par conséquent, les performances de fonctionnement d'un serveur dorsal peuvent être améliorées.
PCT/CN2020/093327 2020-03-06 2020-05-29 Procédé et appareil de mise à jour de données, dispositif informatique et support d'enregistrement WO2021174696A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010152296.4 2020-03-06
CN202010152296.4A CN111475517B (zh) 2020-03-06 2020-03-06 数据更新方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021174696A1 true WO2021174696A1 (fr) 2021-09-10

Family

ID=71747360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/093327 WO2021174696A1 (fr) 2020-03-06 2020-05-29 Procédé et appareil de mise à jour de données, dispositif informatique et support d'enregistrement

Country Status (2)

Country Link
CN (1) CN111475517B (fr)
WO (1) WO2021174696A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226255A (zh) * 2023-03-15 2023-06-06 中大体育产业集团股份有限公司 一种体测数据的高效批量导入方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115121B (zh) * 2020-11-20 2023-12-12 陕西云基华海信息技术有限公司 一种数据治理实时数据质量检测系统
CN112669480B (zh) * 2020-12-08 2023-04-18 安徽鸿程光电有限公司 数据处理方法、装置、终端设备及存储介质
CN112632091B (zh) * 2020-12-17 2023-10-20 重庆软江图灵人工智能科技有限公司 基于大数据的指标流实时计算方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024422A1 (en) * 2011-07-19 2013-01-24 Infosys Limited Methods for tracking database changes and devices thereof
CN105488187A (zh) * 2015-12-02 2016-04-13 北京四达时代软件技术股份有限公司 多源异构数据增量抽取的方法及装置
CN105975502A (zh) * 2016-04-25 2016-09-28 南京优测信息科技有限公司 一种基于cdc方式实现增量抽取数据的方法
CN107402981A (zh) * 2017-07-07 2017-11-28 国网浙江省电力公司信息通信分公司 一种基于分布式离线数据库的数据增量处理方法及系统
CN107704607A (zh) * 2017-10-17 2018-02-16 武汉楚鼎信息技术有限公司 一种数据库数据同步的方法
CN108536775A (zh) * 2018-03-27 2018-09-14 广东能龙教育股份有限公司 一种多个子数据库与中心库之间同步或初始化的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073595B (zh) * 2016-11-10 2020-09-18 北京国双科技有限公司 一种在olap数据库实现数据更新和快照的方法及装置
CN108228613B (zh) * 2016-12-14 2021-12-07 北京国双科技有限公司 数据的读取方法及装置
CN107885804A (zh) * 2017-11-02 2018-04-06 平安科技（深圳）有限公司 数据库同步方法、应用服务器及计算机可读存储介质
CN108536759B (zh) * 2018-03-20 2020-08-04 阿里巴巴集团控股有限公司 一种样本回放数据存取方法及装置
CN109189785A (zh) * 2018-08-10 2019-01-11 平安科技（深圳）有限公司 数据存储方法、装置、计算机设备及存储介质
CN110781214A (zh) * 2019-09-26 2020-02-11 金蝶软件（中国）有限公司 数据库读写方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024422A1 (en) * 2011-07-19 2013-01-24 Infosys Limited Methods for tracking database changes and devices thereof
CN105488187A (zh) * 2015-12-02 2016-04-13 北京四达时代软件技术股份有限公司 多源异构数据增量抽取的方法及装置
CN105975502A (zh) * 2016-04-25 2016-09-28 南京优测信息科技有限公司 一种基于cdc方式实现增量抽取数据的方法
CN107402981A (zh) * 2017-07-07 2017-11-28 国网浙江省电力公司信息通信分公司 一种基于分布式离线数据库的数据增量处理方法及系统
CN107704607A (zh) * 2017-10-17 2018-02-16 武汉楚鼎信息技术有限公司 一种数据库数据同步的方法
CN108536775A (zh) * 2018-03-27 2018-09-14 广东能龙教育股份有限公司 一种多个子数据库与中心库之间同步或初始化的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226255A (zh) * 2023-03-15 2023-06-06 中大体育产业集团股份有限公司 一种体测数据的高效批量导入方法及系统
CN116226255B (zh) * 2023-03-15 2023-08-11 中大体育产业集团股份有限公司 一种体测数据的高效批量导入方法及系统

Also Published As

Publication number Publication date
CN111475517A (zh) 2020-07-31
CN111475517B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
WO2021174696A1 (fr) Procédé et appareil de mise à jour de données, dispositif informatique et support d'enregistrement
CN109558440B (zh) 数据批量处理方法、装置、计算机设备及存储介质
WO2020186809A1 (fr) Procédé et appareil de planification de tâches de hive à base de plateforme de données massives, dispositif et support d'enregistrement
CN108304554B (zh) 文件拆分方法、装置、计算机设备和存储介质
CN113220782A (zh) 多元测试数据源生成方法、装置、设备及介质
WO2019047565A1 (fr) Procédé de traitement de tâches, dispositif, dispositif informatique, et support d'informations
CN108762898B (zh) 一种线程接口的管理方法、终端设备及计算机可读存储介质
US10078758B1 (en) Systems and methods for an incremental, reversible and decentralized biometric identity management system
CN103593257A (zh) 一种数据备份方法及装置
CN112559526A (zh) 数据表导出方法、装置、计算机设备及存储介质
CN112306655A (zh) 任务审核方法、装置、计算机设备及存储介质
CN111581155B (zh) 数据入数据库的方法、装置和计算机设备
CN114372006A (zh) 测试用例自动生成方法、系统、计算机设备和存储介质
CN114385760A (zh) 增量数据实时同步的方法、装置、计算机设备及存储介质
WO2020211233A1 (fr) Procédé et dispositif pour éditer des données par lots, dispositif informatique et support d'informations
CN111522881B (zh) 业务数据处理方法、装置、服务器及存储介质
CN107644041B (zh) 保单结算处理方法和装置
CN112182225A (zh) 一种多模态场景目标基于半监督深度学习的知识管理方法
CA3184895A1 (fr) Methode et dispositif d'ecriture de donnees sur le comportement utilisateur, equipement informatique et support de stockage
CN114116811B (zh) 日志处理方法、装置、设备及存储介质
CN115827777A (zh) 一种多数据源的自适应同步与差异识别方法、装置及设备
CN113704267A (zh) 基于ElasticSearch的数据查询方法、系统、设备及存储介质
CN114416847A (zh) 一种数据转换的方法、装置、服务器及存储介质
CN112579571B (zh) 监控数据配置、数据监控方法、装置、设备及存储介质
CN113032368A (zh) 一种数据迁移方法、装置、存储介质及平台

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922600

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20922600

Country of ref document: EP

Kind code of ref document: A1