RU2510623C2 - Способ репликации информации в распределенных базах данных с конкурентным распределением потоков - Google Patents
Способ репликации информации в распределенных базах данных с конкурентным распределением потоков Download PDFInfo
- Publication number
- RU2510623C2 RU2510623C2 RU2012116021/08A RU2012116021A RU2510623C2 RU 2510623 C2 RU2510623 C2 RU 2510623C2 RU 2012116021/08 A RU2012116021/08 A RU 2012116021/08A RU 2012116021 A RU2012116021 A RU 2012116021A RU 2510623 C2 RU2510623 C2 RU 2510623C2
- Authority
- RU
- Russia
- Prior art keywords
- exchange
- distributed
- information
- nodes
- exchange files
- Prior art date
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Изобретение относится к информационным технологиям, в частности к методам и средствам обеспечения информационного обмена между узлами распределенной компьютерной системы. Техническим результатом является повышение скорости выполнения репликации в распределенных базах данных за счет влияния на распределение потоков данных, распространяемых по узлам распределенных баз данных. Раскрыт способ репликации информации в распределенных базах данных с конкурентным распределением потоков, заключающийся в том, что в процессе обмена реплицируемыми данными между узлами распределенной базы данных формируют обменные файлы, которые пересылают между узлами распределенной базы данных, отличающийся тем, что на основе параметров обменных файлов и информации о доступных сетевых ресурсах вычисляют вариант распределения потоков обменных файлов на коммуникационных устройствах, передают информацию о варианте распределения потоков обменных файлов, в виде управляющего сигнала, на входы коммуникационных устройств, вычисляют при помощи коммуникационных устройств на основе распределенного алгоритма маршруты передачи обменных файлов, передают обменные файлы по определенным маршрутам. 3 ил.
Description
Изобретение относится к информационным технологиям, в частности к методам и средствам обеспечения информационного обмена между узлами распределенной компьютерной системы.
В настоящее время все более востребованными становятся распределенные базы данных (РБД), однако высокие темпы развития технологий вызывают постоянный рост требований к скорости обслуживания трафика, генерируемого узлами РБД. Одна из основных проблем при этом - сохранение непротиворечивости копий баз данных в узлах РБД. Следовательно, обновления данных должны расходиться по узлам РБД как можно быстрее. Существующие в настоящий момент способы репликации не учитывают возможности влияния РБД на телекоммуникационную систему с целью увеличения скорости выполнения репликации.
Известен способ динамического распределения сетевых ресурсов (патент США №0226249 от 13.10.2005 года "Способ и система для динамического распределения сетевых ресурсов"), заключающийся в том, что на основе оценочной функции вычисляются требования по пропускной способности для различных видов трафика. В результате влияния на порядок и глубину очереди достигается более эффективное распределение сетевых ресурсов. Основными недостатком аналога является отсутствие возможности распределения потоков по различным маршрутам (что может оказывать существенное влияние на скорость распространения потоков и надежность функционирования системы в целом).
Наиболее близким по технической сущности и выполняемым функциям аналогом (прототипом) к заявляемому является способ репликации информации в распределенных базах данных (патент №2315349 от 12.07.2006 года "Способ репликации информации в распределенных базах данных и система его осуществления"), заключающийся в том, что в процессе обмена реплицируемыми данными между узлами РБД формируют обменные файлы, которые помещают в хранилища обменных файлов каждого из узлов РБД, выполненных с возможностью хранения и выборки обменных файлов, проверки корректности содержащихся в них данных, формирования и выполнения запросов на замену некорректных данных. Проводят пересылку обменных файлов между узлами РБД, проверяют корректность принятых файлов и в случае их некорректности обеспечивают повторную пересылку обменных файлов из хранилища. Далее данные из принятых файлов передают в промежуточную БД, проверяют ссылочную целостность данных в промежуточной БД и при отрицательном результате проверки формируют запрос на замену данных и обеспечивают замену некорректных данных, повторно осуществляют указанную проверку и при положительном результате передают данные в основную БД. Для проверки корректности выполненной репликации формируют хэш-суммы соответствующих записей.
Недостатком способа-прототипа является отсутствие возможности влияния на распределение сетевых ресурсов со стороны узлов распределенной базы данных для потоков данных при передаче обменных файлов между узлами распределенной системы, что ограничивает потенциальные возможности процесса репликации в распределенных базах данных с точки зрения скорости выполнения репликации.
Задачей изобретения является разработка способа репликации информации в распределенных базах данных с конкурентным распределением потоков, позволяющего ускорить процесс репликации за счет влияния на распределение потоков данных, распространяемых по узлам РБД.
Эта задача решается тем, что способ репликации информации в распределенных базах данных с конкурентным распределением потоков, заключающийся в том, что в процессе обмена реплицируемыми данными между узлами распределенной базы данных формируют обменные файлы, которые пересылают между узлами РБД, согласно изобретению дополнен следующей последовательностью операций:
- сбор и обработка информации о сетевых ресурсах;
- определение требований к сетевым ресурсам на основе сформированных обменных файлов;
- вычисление варианта распределения потоков обменных файлов по сетевым ресурсам;
- передача управляющей информации на коммуникационное оборудование.
При этом сбор и обработка информации о сетевых ресурсах проводится в течение всего времени функционирования РБД. Требования к сетевым ресурсам и вариант распределения потоков обменных файлов по сетевым ресурсам определяются непосредственно перед выполнением репликации. Информация о варианте распределения потоков, в виде управляющего сигнала, поступает на входы смежных коммуникационных устройств. На основе полученного управляющего сигнала коммуникационное оборудование распределяет поступающие от узлов обменные файлы по различным маршрутам. Вычисления осуществляются на основе распределенного алгоритма.
Перечисленная совокупность существенных признаков позволяет решить задачу изобретения за счет того, что обменные файлы распространяются между узлами РБД с учетом оптимального варианта распределения потоков, вычисленного на основе данных о ресурсах сети и требований к сетевым ресурсам. В результате увеличивается скорость выполнения полной репликации.
Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного способа репликации, отсутствуют. Следовательно, заявленное изобретение соответствует условию патентоспособности "новизна".
Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного способа, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения преобразований на решение задачи изобретения. Следовательно, заявленное изобретение соответствует условию патентоспособности "изобретательский уровень".
Заявленное изобретение поясняется чертежами, на которых:
на фиг.1 - структурная схема системы репликации;
на фиг.2 - сравнение результатов имитационного моделирования для способа-прототипа и предлагаемого способа;
на фиг.3 - обобщенный алгоритм вычисления варианта распределения потоков обменных файлов.
Реализация заявленного способа заключается в следующем. Способ состоит в выполнении процесса репликации в РБД. Каждый из узлов (14, 24…N) состоит из части распределенной базы данных (10, 20, …С), управление которой осуществляет сервер управления распределенной базой данных (11, 21, 31…B) и блока оптимизации распределения потоков данных (12, 22, 32…A), который осуществляет взаимодействие с коммуникационным оборудованием (13, 23, 33…K). Принцип работы блока оптимизации распределения потоков данных (12, 22, 32…K) заключается в сборе данных о доступных сетевых ресурсах и вычислении на основе данных об обменных файлах и предоставляемых сетевых ресурсах варианта распределения потоков данных по сети, позволяющего увеличить скорость выполнения репликации. Управляющий сигнал, содержащий информацию о распределении потоков данных, передается на коммуникационное оборудование (13, 23, 33…K), где используется для распределения поступающих обменных файлов по сети.
Таким образом, основные этапы процесса репликации состоят в:
- обработке информации о сетевых ресурсах;
- формировке обменных файлов и определении требований к сетевым ресурсам;
- вычислении варианта распределения потоков обменных файлов по сетевым ресурсам;
- передаче управляющей информации на коммуникационное оборудование;
- передаче обменных файлов на коммуникационное оборудование.
Правомерность теоретических предпосылок проверялась с помощью имитационных моделей системы-прототипа и системы, реализующей заявленный способ репликации информации в распределенных базах данных с конкурентным распределением потоков. Моделирование выполнялось в рамках теории массового обслуживания на базе языка моделирования GPSS. Эксперимент проводился в программной среде GPSS World при следующих условиях:
1) количество узлов РБД n=150;
2) загрузка узла РБД обработкой запросов на обновление Au=0,2, где Au=λu·τu, при этом λu - интенсивность поступления запросов на обновление, а τu - среднее время обработки запросов на обновление;
3) загрузка узла РБД обработкой поисковых запросов Aq=0,005, где Aq=λq·τq, при этом λq - интенсивность поступления поисковых запросов, а τq - среднее время обработки поисковых запросов;
4) соотношение между затратами времени на обработку поискового запроса и запроса на обновление γ=2.
Сравнение результатов эксперимента, приведенное на фиг.2, показывает, что применение предлагаемого способа дает выигрыш по скорости выполнения репликации при равных условиях на 7-12,5% (в зависимости от доли реплицируемой части распределенной базы данных) по сравнению со способом-прототипом.
Промышленная применимость изобретения обусловлена тем, что устройство, реализующее предложенный способ, может быть осуществлено с помощью современной элементной базы, с достижением указанного в изобретении назначения.
Claims (1)
- Способ репликации информации в распределенных базах данных с конкурентным распределением потоков, заключающийся в том, что в процессе обмена реплицируемыми данными между узлами распределенной базы данных формируют обменные файлы, которые пересылают между узлами распределенной базы данных, отличающийся тем, что на основе параметров обменных файлов и информации о доступных сетевых ресурсах вычисляют вариант распределения потоков обменных файлов на коммуникационных устройствах, передают информацию о варианте распределения потоков обменных файлов, в виде управляющего сигнала, на входы коммуникационных устройств, вычисляют при помощи коммуникационных устройств на основе распределенного алгоритма маршруты передачи обменных файлов, передают обменные файлы по определенным маршрутам.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012116021/08A RU2510623C2 (ru) | 2012-04-19 | 2012-04-19 | Способ репликации информации в распределенных базах данных с конкурентным распределением потоков |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012116021/08A RU2510623C2 (ru) | 2012-04-19 | 2012-04-19 | Способ репликации информации в распределенных базах данных с конкурентным распределением потоков |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2012116021A RU2012116021A (ru) | 2013-10-27 |
| RU2510623C2 true RU2510623C2 (ru) | 2014-04-10 |
Family
ID=49446343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012116021/08A RU2510623C2 (ru) | 2012-04-19 | 2012-04-19 | Способ репликации информации в распределенных базах данных с конкурентным распределением потоков |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2510623C2 (ru) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU188004U1 (ru) * | 2018-07-25 | 2019-03-26 | федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный университет им. А.Н. Косыгина (Технологии. Дизайн. Искусство)" | Устройство репликации информации в базах данных независимых компьютеров |
| RU2703961C1 (ru) * | 2018-07-25 | 2019-10-22 | федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный университет им. А.Н. Косыгина (Технологии. Дизайн. Искусство)" | Система репликации информации в базах данных |
| RU2731331C1 (ru) * | 2017-03-28 | 2020-09-01 | Алибаба Груп Холдинг Лимитед | Способ и устройство консенсуса на основе блокчейна |
| RU2768202C2 (ru) * | 2017-09-08 | 2022-03-23 | Юледжер, Инк. | Системы и способы для обеспечения неизменяемых записей |
| US11475150B2 (en) | 2019-05-22 | 2022-10-18 | Hedera Hashgraph, Llc | Methods and apparatus for implementing state proofs and ledger identifiers in a distributed database |
| US11537593B2 (en) | 2017-11-01 | 2022-12-27 | Hedera Hashgraph, Llc | Methods and apparatus for efficiently implementing a fast-copyable database |
| US11580075B2 (en) | 2017-09-08 | 2023-02-14 | ULedger, Inc. | Systems and methods of providing immutable records |
| US11657036B2 (en) | 2016-12-19 | 2023-05-23 | Hedera Hashgraph, Llc | Methods and apparatus for a distributed database that enables deletion of events |
| US11677550B2 (en) | 2016-11-10 | 2023-06-13 | Hedera Hashgraph, Llc | Methods and apparatus for a distributed database including anonymous entries |
| US11734260B2 (en) | 2015-08-28 | 2023-08-22 | Hedera Hashgraph, Llc | Methods and apparatus for a distributed database within a network |
| US11797502B2 (en) | 2015-08-28 | 2023-10-24 | Hedera Hashgraph, Llc | Methods and apparatus for a distributed database within a network |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2315349C1 (ru) * | 2006-07-12 | 2008-01-20 | Михаил ТОПР | Способ репликации информации в распределенных базах данных и система для его осуществления |
| RU2425415C2 (ru) * | 2005-12-05 | 2011-07-27 | Майкрософт Корпорейшн | Обновление и репликация ресурсов |
| US8117154B2 (en) * | 2003-06-30 | 2012-02-14 | Gravic, Inc. | Method for ensuring replication when system resources are limited |
-
2012
- 2012-04-19 RU RU2012116021/08A patent/RU2510623C2/ru not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8117154B2 (en) * | 2003-06-30 | 2012-02-14 | Gravic, Inc. | Method for ensuring replication when system resources are limited |
| RU2425415C2 (ru) * | 2005-12-05 | 2011-07-27 | Майкрософт Корпорейшн | Обновление и репликация ресурсов |
| RU2315349C1 (ru) * | 2006-07-12 | 2008-01-20 | Михаил ТОПР | Способ репликации информации в распределенных базах данных и система для его осуществления |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11797502B2 (en) | 2015-08-28 | 2023-10-24 | Hedera Hashgraph, Llc | Methods and apparatus for a distributed database within a network |
| US11734260B2 (en) | 2015-08-28 | 2023-08-22 | Hedera Hashgraph, Llc | Methods and apparatus for a distributed database within a network |
| RU2775263C2 (ru) * | 2016-11-10 | 2022-06-28 | Свирлдз, Инк. | Способы и устройство для распределенной базы данных, содержащей анонимные входные данные |
| US11677550B2 (en) | 2016-11-10 | 2023-06-13 | Hedera Hashgraph, Llc | Methods and apparatus for a distributed database including anonymous entries |
| US11657036B2 (en) | 2016-12-19 | 2023-05-23 | Hedera Hashgraph, Llc | Methods and apparatus for a distributed database that enables deletion of events |
| US10846182B2 (en) | 2017-03-28 | 2020-11-24 | Advanced New Technologies Co., Ltd. | Blockchain-based consensus method and device |
| RU2731331C1 (ru) * | 2017-03-28 | 2020-09-01 | Алибаба Груп Холдинг Лимитед | Способ и устройство консенсуса на основе блокчейна |
| US11580075B2 (en) | 2017-09-08 | 2023-02-14 | ULedger, Inc. | Systems and methods of providing immutable records |
| RU2768202C2 (ru) * | 2017-09-08 | 2022-03-23 | Юледжер, Инк. | Системы и способы для обеспечения неизменяемых записей |
| US11537593B2 (en) | 2017-11-01 | 2022-12-27 | Hedera Hashgraph, Llc | Methods and apparatus for efficiently implementing a fast-copyable database |
| RU188004U1 (ru) * | 2018-07-25 | 2019-03-26 | федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный университет им. А.Н. Косыгина (Технологии. Дизайн. Искусство)" | Устройство репликации информации в базах данных независимых компьютеров |
| RU2703961C1 (ru) * | 2018-07-25 | 2019-10-22 | федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный университет им. А.Н. Косыгина (Технологии. Дизайн. Искусство)" | Система репликации информации в базах данных |
| US11475150B2 (en) | 2019-05-22 | 2022-10-18 | Hedera Hashgraph, Llc | Methods and apparatus for implementing state proofs and ledger identifiers in a distributed database |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2012116021A (ru) | 2013-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2510623C2 (ru) | Способ репликации информации в распределенных базах данных с конкурентным распределением потоков | |
| Gemeliarana et al. | Evaluation of proof of work (POW) blockchains security network on selfish mining | |
| Tang et al. | An intermediate data placement algorithm for load balancing in spark computing environment | |
| Liang et al. | A reliable trust computing mechanism based on multisource feedback and fog computing in social sensor cloud | |
| CN109246176B (zh) | 软件定义网络中基于区块链的多控制器同步方法及装置 | |
| CN105550274B (zh) | 双副本并行数据库的查询方法和装置 | |
| CN106453435B (zh) | 一种基于区块链的数据共享授权方法 | |
| WO2020142906A1 (zh) | 基于结构化有向无环图的交易分配方法和装置 | |
| CN102170440A (zh) | 适用于存储云间数据安全迁移的方法 | |
| WO2023040538A1 (zh) | 一种数据迁移的方法、装置、设备、介质和计算机产品 | |
| CN111966495B (zh) | 数据处理方法和装置 | |
| CN103067363A (zh) | 一种用于公开数据完整性校验的索引转换方法 | |
| CN110727727A (zh) | 一种数据库的统计方法及装置 | |
| CN103593543B (zh) | 一种更新p2p网络用户主观行为分析模型参数的方法及系统 | |
| Yapp et al. | Communication-efficient and Scalable Decentralized Federated Edge Learning. | |
| EP3158478B1 (en) | Embeddable cloud analytics | |
| Nikolaidis et al. | Privacy preserving distributed training of neural networks | |
| CN104503983A (zh) | 为搜索引擎提供网站认证数据的方法及装置 | |
| CN108418871A (zh) | 一种云存储性能优化方法和系统 | |
| US20220046027A1 (en) | Distributed digital currency mining to perform network tasks | |
| CN115878729A (zh) | 一种基于联盟链的节点区块存储分配优化方法及系统 | |
| CN114499885A (zh) | 一种工作量证明的方法及系统 | |
| KR102154640B1 (ko) | 데이터 관리 장치, 데이터 관리 방법 및 이를 이용한 프로그램을 저장하는 저장매체 | |
| Ma et al. | Fork probability analysis of PoUW consensus mechanism | |
| JP2014032530A (ja) | 分散処理システムおよび分散処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20140420 |