RU2016123091A - Способ и система для обработки данных - Google Patents

Способ и система для обработки данных Download PDF

Info

Publication number
RU2016123091A
RU2016123091A RU2016123091A RU2016123091A RU2016123091A RU 2016123091 A RU2016123091 A RU 2016123091A RU 2016123091 A RU2016123091 A RU 2016123091A RU 2016123091 A RU2016123091 A RU 2016123091A RU 2016123091 A RU2016123091 A RU 2016123091A
Authority
RU
Russia
Prior art keywords
node
data
stack
cache tree
cache
Prior art date
Application number
RU2016123091A
Other languages
English (en)
Other versions
RU2646349C2 (ru
Inventor
Ян СЯО
Синьжун ЛИ
Лю ЛЮ
Си Лян
Original Assignee
Бэйцзин Цзиндун Шанкэ Информейшн Текнолоджи Ко, Лтд.
Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Бэйцзин Цзиндун Шанкэ Информейшн Текнолоджи Ко, Лтд., Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд. filed Critical Бэйцзин Цзиндун Шанкэ Информейшн Текнолоджи Ко, Лтд.
Publication of RU2016123091A publication Critical patent/RU2016123091A/ru
Application granted granted Critical
Publication of RU2646349C2 publication Critical patent/RU2646349C2/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Claims (26)

1. Способ обработки данных, характеризующийся тем, что содержит этапы, на которых:
определяют местоположение первого сервера кэширования в распределенной системе кэширования после приема запроса обработки данных от пользователя;
первый сервер кэширования строит дерево кэширования в его собственной памяти в соответствии с информацией отношения между файлом или папкой и его родительским каталогом в реляционной базе данных, дерево кэширования сохраняет данные под корневым узлом, соответствующим данным, указанным в запросе обработки данных, в древовидной структуре; и
определяют местоположение узла, в котором расположены данные, указанные в запросе обработки данных, сохраненных в дереве кэширования, и затем обрабатывают данные в узле и возвращают результат обработки пользователю.
2. Способ обработки данных по п. 1, характеризующийся тем, что последовательность операций построения дерева кэширования в его памяти содержит:
этап A, на котором определяют корневой узел, соответствующий данным, указанным в запросе обработки данных, и сохраняют корневой узел в стеке;
этап B, на котором оценивают, пуст ли стек, и если да, останавливают последовательность операций, иначе переходят на этап C;
этап C, на котором изымают узел наверху стека из стека;
этап D, на котором оценивают, является ли узел, изъятый из стека, концевым узлом, и если да, возвращаются на этап B, иначе переходят на этап E; и
этап E, на котором собирают данные всех подузлов узла, изъятого из стека на этапе C, в реляционной базе данных в соответствии с информацией отношения, сохраняют подузлы под узлом, изъятым из стека на этапе C, в дереве кэширования, сохраняют подузлы в стеке и затем возвращаются на этап B.
3. Способ обработки данных по п. 1, характеризующийся тем, что этап обработки данных в узле содержит: чтение/запись данных в узле, удаление данных в узле, добавление к узлу нового подузла, переименование узла или перемещение узла.
4. Способ обработки данных по п. 3, характеризующийся тем, что дополнительно содержит этап, на котором сохраняют метку времени для обработки узла в дереве кэширования.
5. Способ обработки данных по любому из пп. 1-4, характеризующийся тем, что после этапа построения дерева кэширования в его памяти способ дополнительно содержит этап, на котором сохраняют идентификатор пользователя в корневом узле дерева кэширования.
6. Система для обеспечения данных, характеризующаяся тем, что содержит:
модуль определения местоположения для определения местоположения первого кэш-буфера в распределенной системе кэширования после приема запроса обработки данных от пользователя;
модуль построения дерева кэширования для построения дерева кэширования в его памяти в соответствии с информацией отношения между файлом или папкой и его родительским каталогом в реляционной базе данных, дерево кэширования сохраняет данные под корневым узлом, соответствующим данным, указанным в запросе обработки данных, в древовидной структуре; и
модуль обеспечения для определения местоположения узла, в котором расположены данные, указанные в запросе обработки данных, сохраненных в дереве кэширования, и затем обработки данных в узле и возврата результата обработки пользователю.
7. Система для обеспечения данных по п. 6, характеризующаяся тем, что модуль построения дерева кэширования дополнительно используется для построения дерева кэширования в соответствии со следующей последовательностью операций:
этап A: определение корневого узла, соответствующего данным, указанным в запросе обработки данных, и сохранение корневого узла в стеке;
этап B: оценка, пуст ли стек, и если да, остановка последовательности операций, иначе переход на этап C;
этап C: изъятие узла наверху стека из стека;
этап D: оценка, является ли узел, изъятый из стека, концевым узлом, и если да, возврат на этап B, иначе переход на этап E; и
этап E: сбор данных всех подузлов узла, изъятого из стека на этапе C, в реляционной базе данных в соответствии с информацией отношения, сохранение подузлов под узлом, изъятым из стека на этапе C, в дереве кэширования, сохранение подузлов в стеке и затем возврат на этап B.
8. Система для обеспечения данных по п. 6, характеризующаяся тем, что модуль построения дерева кэширования дополнительно используется для чтения/записи данных в узле в дереве кэширования, удаления данных в узле, добавления к узлу нового подузла, переименования узла или перемещения узла.
9. Система для обеспечения данных по п. 8, характеризующаяся тем, что дополнительно содержит модуль метки времени для сохранения метки времени для обработки узла в дереве кэширования.
10. Система для обеспечения данных по любому из пп. 6-9, характеризующаяся тем, что модуль построения дерева кэширования дополнительно используется для сохранения идентификатора пользователя в корневом узле дерева кэширования.
RU2016123091A 2013-11-13 2014-09-26 Способ и система для обработки данных RU2646349C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310567862.8A CN103617199B (zh) 2013-11-13 2013-11-13 一种操作数据的方法和系统
CN201310567862.8 2013-11-13
PCT/CN2014/087620 WO2015070674A1 (zh) 2013-11-13 2014-09-26 一种操作数据的方法和系统

Publications (2)

Publication Number Publication Date
RU2016123091A true RU2016123091A (ru) 2017-12-19
RU2646349C2 RU2646349C2 (ru) 2018-03-02

Family

ID=50167902

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016123091A RU2646349C2 (ru) 2013-11-13 2014-09-26 Способ и система для обработки данных

Country Status (4)

Country Link
US (1) US20160283479A1 (ru)
CN (1) CN103617199B (ru)
RU (1) RU2646349C2 (ru)
WO (1) WO2015070674A1 (ru)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617199B (zh) * 2013-11-13 2016-08-17 北京京东尚科信息技术有限公司 一种操作数据的方法和系统
CN106406833B (zh) * 2015-07-30 2020-09-01 北京京东尚科信息技术有限公司 一种提供数据的方法和装置
CN106878428A (zh) * 2017-02-23 2017-06-20 郑州云海信息技术有限公司 一种文件夹上传的方法以及装置
US20190005066A1 (en) * 2017-06-29 2019-01-03 International Business Machines Corporation Multi-tenant data service in distributed file systems for big data analysis
US11093471B2 (en) * 2018-06-05 2021-08-17 Vmware, Inc. Large range lookups for Bϵ-tree
CN109697663A (zh) * 2018-11-07 2019-04-30 中国银行股份有限公司 批量交易的方法及装置、存储介质及电子设备
CN110263043A (zh) * 2019-06-24 2019-09-20 苏州睿威博科技有限公司 数据存储方法、数据查询方法、装置及存储介质
CN111339042B (zh) * 2020-03-26 2024-03-01 北京快映互娱传媒有限公司 数据的操作处理方法、系统及调度服务器
CN111767321B (zh) * 2020-06-30 2024-02-09 北京百度网讯科技有限公司 节点关系网络的确定方法、装置、电子设备和存储介质
CN112445764B (zh) * 2020-11-27 2024-05-31 北京五一视界数字孪生科技股份有限公司 文件操作的方法、装置、存储介质及电子设备
CN113127570B (zh) * 2021-05-18 2022-11-04 上海莉莉丝科技股份有限公司 分布式服务器的数据操作方法、系统、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553420B1 (en) * 1998-03-13 2003-04-22 Massachusetts Institute Of Technology Method and apparatus for distributing requests among a plurality of resources
US20050188108A1 (en) * 2002-10-31 2005-08-25 Volera, Inc. Enriched tree for a content distribution network
US7188308B2 (en) * 2003-04-08 2007-03-06 Thomas Weise Interface and method for exploring a collection of data
EP1738291A1 (en) * 2004-04-23 2007-01-03 Novauris Technologies Limited Tree index based method for accessing automatic directory
US7558884B2 (en) * 2004-05-03 2009-07-07 Microsoft Corporation Processing information received at an auxiliary computing device
US8949455B2 (en) * 2005-11-21 2015-02-03 Oracle International Corporation Path-caching mechanism to improve performance of path-related operations in a repository
GB2459494A (en) * 2008-04-24 2009-10-28 Symbian Software Ltd A method of managing a cache
CN102546674A (zh) * 2010-12-07 2012-07-04 盛乐信息技术（上海）有限公司 一种基于网络存储装置的目录树缓存系统及方法
CN102779308B (zh) * 2012-01-09 2017-04-26 合一网络技术(北京)有限公司 一种广告投放方法及系统
CN102651144A (zh) * 2012-03-30 2012-08-29 北京师范大学 一种地质体线性八叉树快速动态生成的方法
CN102902741B (zh) * 2012-09-13 2015-10-28 国网电力科学研究院 一种通信网络资源数据高速缓存与状态级联更新的方法
CN103617199B (zh) * 2013-11-13 2016-08-17 北京京东尚科信息技术有限公司 一种操作数据的方法和系统

Also Published As

Publication number Publication date
RU2646349C2 (ru) 2018-03-02
CN103617199A (zh) 2014-03-05
WO2015070674A1 (zh) 2015-05-21
US20160283479A1 (en) 2016-09-29
CN103617199B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
RU2016123091A (ru) Способ и система для обработки данных
KR102665979B1 (ko) 압축한 키-값 저장소 트리 데이터 블록 유출
TWI702506B (zh) 用於合併樹廢棄項目指標之系統、機器可讀媒體及機器實施之方法
TWI719281B (zh) 用於串流選擇之系統、機器可讀媒體、及機器實施之方法
CN102890722B (zh) 应用于时序历史数据库的索引方法
US9646030B2 (en) Computer-readable medium storing program and version control method
CN104572670B (zh) 一种小文件的存储、查询及删除方法和系统
CN101446984B (zh) 一种文件存储方法、装置及文件删除方法和装置
CN103605805B (zh) 一种海量时序数据的存储方法
CN102541968B (zh) 一种索引方法
CN110147204B (zh) 一种元数据落盘方法、装置、系统及计算机可读存储介质
JP2015512604A (ja) 暗号ハッシュ・データベース
CN110109910A (zh) 数据处理方法及系统、电子设备和计算机可读存储介质
JP2016519810A5 (ru)
JP6598996B2 (ja) データ準備のためのシグニチャベースのキャッシュ最適化
WO2015096698A1 (zh) 一种Flash的数据写入和读取方法
CN102314485A (zh) 哈希表添加、查找和删除方法及装置
CN103870588B (zh) 一种在数据库中使用的方法及装置
CN106445416B (zh) 一种数据记录的存储、查询和检索的方法及装置
CN102306168B (zh) 日志操作方法、装置及文件系统
CN103914483B (zh) 文件存储方法、装置及文件读取方法、装置
JP2005122702A5 (ru)
US20190188289A1 (en) Data management device, data management method, and non-transitory computer readable storage medium
JP2008181260A5 (ru)
JP2008269197A5 (ru)