RU2015102736A - Система и способ обработки запроса в сети распределенной обработки данных - Google Patents

Система и способ обработки запроса в сети распределенной обработки данных Download PDF

Info

Publication number
RU2015102736A
RU2015102736A RU2015102736A RU2015102736A RU2015102736A RU 2015102736 A RU2015102736 A RU 2015102736A RU 2015102736 A RU2015102736 A RU 2015102736A RU 2015102736 A RU2015102736 A RU 2015102736A RU 2015102736 A RU2015102736 A RU 2015102736A
Authority
RU
Russia
Prior art keywords
electronic device
request
identifier
version
subsystem
Prior art date
Application number
RU2015102736A
Other languages
English (en)
Inventor
Михаил Владимирович Белов
Данил Александрович Загоскин
Original Assignee
Общество С Ограниченной Ответственностью "Яндекс"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Яндекс" filed Critical Общество С Ограниченной Ответственностью "Яндекс"
Priority to RU2015102736A priority Critical patent/RU2015102736A/ru
Priority to US15/504,863 priority patent/US10097668B2/en
Priority to EP15879785.2A priority patent/EP3103022A1/en
Priority to PCT/IB2015/055390 priority patent/WO2016120680A1/en
Publication of RU2015102736A publication Critical patent/RU2015102736A/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

1. Способ обработки запроса, осуществляемый сетевой компьютерной системой, содержащей второе электронное устройство, соединенное с первым электронным устройством, при этом первое электронное устройство является по меньшей мере частью первой подсистемы, второе электронное устройство является по меньшей мере частью второй подсистемы, первая подсистема и вторая подсистема являются по меньшей мере частью сети распределенной обработки данных, причем второе электронное устройство и первое электронное устройство имеют связанные с ними соответственно идентификатор второй подсистемы и идентификатор первой подсистемы, способ включающий:получение вторым электронным устройством с первого электронного устройства запроса, подлежащего обработке, и первой версии идентификатора запроса, причем первая версия идентификатора запроса включает в себя:уникальную неизменяемую часть идентификатора запроса, иидентификатор первой подсистемы;создание вторым электронным устройством второй версии идентификатора запроса путем включения идентификатора второй подсистемы в состав первой версии идентификатора запроса.2. Способ по п. 1, в котором запрос, подлежащий обработке, и уникальную неизменяемую часть идентификатора запроса, и первую версию идентификатора запроса генерируют первым электронным устройством.3. Способ по п. 1, в которомзапрос, подлежащий обработке, предварительно получают первым электронным устройством от клиентского устройства, ипервую версию идентификатора запроса генерируют первым электронным устройством, причем для генерации первой версии идентификатора запроса первым электронным устройством

Claims (40)

1. Способ обработки запроса, осуществляемый сетевой компьютерной системой, содержащей второе электронное устройство, соединенное с первым электронным устройством, при этом первое электронное устройство является по меньшей мере частью первой подсистемы, второе электронное устройство является по меньшей мере частью второй подсистемы, первая подсистема и вторая подсистема являются по меньшей мере частью сети распределенной обработки данных, причем второе электронное устройство и первое электронное устройство имеют связанные с ними соответственно идентификатор второй подсистемы и идентификатор первой подсистемы, способ включающий:
получение вторым электронным устройством с первого электронного устройства запроса, подлежащего обработке, и первой версии идентификатора запроса, причем первая версия идентификатора запроса включает в себя:
уникальную неизменяемую часть идентификатора запроса, и
идентификатор первой подсистемы;
создание вторым электронным устройством второй версии идентификатора запроса путем включения идентификатора второй подсистемы в состав первой версии идентификатора запроса.
2. Способ по п. 1, в котором запрос, подлежащий обработке, и уникальную неизменяемую часть идентификатора запроса, и первую версию идентификатора запроса генерируют первым электронным устройством.
3. Способ по п. 1, в котором
запрос, подлежащий обработке, предварительно получают первым электронным устройством от клиентского устройства, и
первую версию идентификатора запроса генерируют первым электронным устройством, причем для генерации первой версии идентификатора запроса первым электронным устройством используют одну из:
уникальную неизменяемую часть идентификатора запроса, сгенерированную первым электронным устройством и
уникальную неизменяемую часть идентификатора запроса, полученную первым электронным устройством от клиентского устройства.
4. Способ по п. 1, в котором в сети распределенной обработки данных обрабатывают множество запросов и в котором уникальная неизменяемая часть идентификатора запроса является буквенно-цифровой последовательностью, причем данная буквенно-цифровая последовательность является уникальной среди множества других идентификаторов запросов.
5. Способ по п. 1, в котором сеть распределенной обработки данных включает в себя третье электронное устройство, являющееся по меньшей мере частью третьей подсистемы, третья подсистема, являющаяся по меньшей мере частью сети распределенной обработки данных, и способ, в котором передают вторым электронным устройством запрос и связанную с ним вторую версию идентификатора запроса третьему электронному устройству.
6. Способ по п. 5, в котором вторая версия идентификатора запроса выполнена с возможностью изменения третьим электронным устройством по меньшей мере одним способом, выбранным из: путем включения идентификатора третьей подсистемы в состав второй версии идентификатора запроса в дополнение к идентификатору первой подсистемы и идентификатору второй подсистемы; путем удаления из состава второй версии идентификатора запроса, по меньшей мере одного, выбранного из: идентификатор первой подсистемы, идентификатор второй подсистемы.
7. Способ по п. 1, в котором второе электронное устройство сохраняет вторую версию идентификатора запроса во второе хранилище данных.
8. Способ по п. 1, в котором первую версию идентификатора запроса сохраняют первым электронным устройством в первое хранилище данных.
9. Способ по п. 1, в котором второе электронное устройство сохраняет сведения об обработке запроса вторым устройством во второе хранилище данных.
10. Способ по п. 1, в котором сведения об обработке запроса первым устройством сохраняют первым электронным устройством в первое хранилище данных.
11. Способ по п. 7, в котором первое хранилище данных является лог-файлом первой подсистемы, и второе хранилище данных является лог-файлом второй подсистемы.
12. Способ по п. 7, в котором первое хранилище данных и второе хранилище данных реализованы как лог-файл сети распределенной обработки данных.
13. Способ по п. 7, в котором первое хранилище данных и второе хранилище данных реализованы как общая база данных.
14. Способ по п. 1, в котором дополнительно получают вторым электронным устройством требование на предоставление истории обработки запроса.
15. Способ по любому из пп. 10 или 11, в котором дополнительно получают вторым электронным устройством требование на предоставление истории обработки запроса.
16. Способ по любому из пп. 12 или 13, в котором дополнительно получают вторым электронным устройством требование на предоставление истории обработки запроса.
17. Способ по п. 15, в котором, в ответ на получение требования на предоставление истории обработки запроса, второе электронное устройство: считывает из второй версии идентификатора запроса все идентификаторы подсистем, содержащиеся во второй версии идентификатора запроса, и обращается в хранилища данных соответствующих подсистем для получения из них сведений об обработке запроса.
18. Способ по п. 16, в котором, в ответ на получение требования на предоставление истории обработки запроса, второе электронное устройство:
получает наиболее полную версию идентификатора запроса, причем для получения наиболее полной версии идентификатора запроса, второе электронное устройство:
получает из одного из: лог-файла сети распределенной обработки данных и общей базы данных все содержащиеся в соответствующем хранилище данных версии идентификатора запроса и:
при наличии более чем одной версии идентификатора запроса, определяет в качестве наиболее полной версии идентификатора такую версию идентификатора запроса, которая содержит в себе наибольшее количество идентификаторов подсистем, и
при наличии одной версии идентификатора запроса, определяет эту единственную версию идентификатора запроса в качестве наиболее полной версии идентификатора запроса, и
считывает из наиболее полной версии идентификатора запроса все идентификаторы подсистем, содержащиеся в наиболее полной версии идентификатора, и
обращается в хранилища данных соответствующих подсистем для получения из них сведений об обработке запроса.
19. Способ по п. 14, в котором сеть распределенной обработки данных включает в себя третье электронное устройство, являющееся по меньшей мере частью третьей подсистемы, третья подсистема, являющаяся по меньшей мере частью сети распределенной обработки данных, способ, в котором требование на предоставление истории обработки запроса второе электронное устройство получает с третьего электронного устройства.
20. Сетевая компьютерная система, включающая в себя интерфейс связи для обеспечения связи по сети передачи данных, второе электронное устройство, включающее в себя процессор, операционно связанный с интерфейсом связи, первое электронное устройство, соединенное со вторым электронным устройством, первое электронное устройство является по меньшей мере частью первой подсистемы, второе электронное устройство является по меньшей мере частью второй подсистемы, первая подсистема и вторая подсистема являются по меньшей мере частью сети распределенной обработки данных, причем второе электронное устройство и первое электронное устройство имеют связанные с ними соответственно идентификатор второй подсистемы и идентификатор первой подсистемы, конфигурация процессора во втором электронном устройстве настроена таким образом, чтобы второе электронное устройство могло осуществлять:
получение вторым электронным устройством с первого электронного устройства запроса, подлежащего обработке, и первой версии идентификатора запроса, причем первая версия идентификатора запроса включает в себя:
уникальную неизменяемую часть идентификатора запроса, и
идентификатор первой подсистемы;
создание вторым электронным устройством второй версии идентификатора запроса путем включения идентификатора второй подсистемы в состав первой версии идентификатора запроса.
21. Система по п. 20, в которой первое электронное устройство выполнено с возможностью генерирования: запроса, подлежащего обработке; уникальной неизменяемой части идентификатора запроса; первой версии идентификатора запроса.
22. Система по п. 20, в которой
первое электронное устройство выполнено с возможностью получения запроса, подлежащего обработке, от клиентского устройства, а второе электронное устройство выполнено с возможностью получения упомянутого запроса от первого электронного устройства, и
первое электронное устройство выполнено с возможностью генерации первой версии идентификатора запроса посредством одного из:
уникальной неизменяемой части идентификатора запроса, сгенерированной первым электронным устройством, и
уникальной неизменяемой части идентификатора запроса, полученной первым электронным устройством от клиентского устройства;
второе электронное устройство выполнено с возможностью получения первой версии идентификатора запроса с первого электронного устройства.
23. Система по п. 20, в которой сеть распределенной обработки данных выполнена с возможностью обработки множества запросов, и в которой уникальная неизменяемая часть идентификатора запроса является буквенно-цифровой последовательностью, причем данная буквенно-цифровая последовательность является уникальной среди множества других идентификаторов запросов.
24. Система по п. 20, в которой сеть распределенной обработки данных включает в себя третье электронное устройство, являющееся по меньшей мере частью третьей подсистемы, третья подсистема, являющаяся по меньшей мере частью сети распределенной обработки данных, причем процессор второго электронного устройства настроен таким образом, чтобы быть способным осуществлять передачу вторым электронным устройством запроса и связанной с ним второй версии идентификатора запроса третьему электронному устройству.
25. Система по п. 24, в которой третье электронное устройство выполнено с возможностью изменения второй версии идентификатора запроса.
26. Система по п. 20, в которой процессор настроен таким образом, чтобы второе электронное устройство могло сохранять вторую версию идентификатора запроса во второе хранилище данных.
27. Система по п. 20, в которой первое электронное устройство выполнено с возможностью сохранения первой версии идентификатора запроса в первое хранилище данных.
28. Система по п. 20, в которой процессор настроен таким образом, чтобы второе электронное устройство могло сохранять сведения об обработке запроса вторым устройством во второе хранилище данных.
29. Система по п. 20, в которой первое электронное устройство выполнено с возможностью сохранения сведений об обработке запроса первым электронным устройством в первое хранилище данных.
30. Система по п. 26, в которой первое хранилище данных является лог-файлом первой подсистемы, и второе хранилище данных является лог-файлом второй подсистемы.
31. Система по п. 26, в которой первое хранилище данных и второе хранилище данных реализованы как лог-файл сети распределенной обработки данных.
32. Система по п. 26, в которой первое хранилище данных и второе хранилище данных реализованы как общая база данных.
33. Система по п. 20, в которой процессор второго электронного устройства настроен таким образом, чтобы быть способным осуществлять получение вторым электронным устройством требования на предоставление истории обработки запроса.
34. Система по п. 29, в которой процессор второго электронного устройства настроен таким образом, чтобы быть способным осуществлять получение вторым электронным устройством требования на предоставление истории обработки запроса.
35. Система по п. 30, в которой процессор второго электронного устройства настроен таким образом, чтобы быть способным осуществлять получение вторым электронным устройством требования на предоставление истории обработки запроса.
36. Система по п. 31, в которой процессор второго электронного устройства настроен таким образом, чтобы быть способным осуществлять получение вторым электронным устройством требования на предоставление истории обработки запроса.
37. Система по п. 32, в которой процессор второго электронного устройства настроен таким образом, чтобы быть способным осуществлять получение вторым электронным устройством требования на предоставление истории обработки запроса.
38. Система по любому из пп. 34 или 35, в которой процессор второго электронного устройства настроен таким образом, чтобы, в ответ на получение требования на предоставление истории обработки запроса, второе электронное устройство было способным: считывать из второй версии идентификатора запроса все идентификаторы подсистем, содержащиеся во второй версии идентификатора запроса, и обращаться в хранилища данных соответствующих подсистем для получения из них сведений об обработке запроса.
39. Система по любому из пп. 36 или 37, в которой процессор второго электронного устройства настроен таким образом, чтобы, в ответ на получение требования на предоставление истории обработки запроса, второе электронное устройство было способно:
получать наиболее полную версию идентификатора запроса, причем для получения наиболее полной версии идентификатора запроса второе электронное устройство выполнено с возможностью:
получать из одного из: лог-файла сети распределенной обработки данных и общей базы данных все содержащиеся в соответствующем хранилище данных версии идентификатора запроса и:
при наличии более чем одной версии идентификатора запроса, определять в качестве наиболее полной версии идентификатора такую версию идентификатора запроса, которая содержит в себе наибольшее количество идентификаторов подсистем, и
при наличии одной версии идентификатора запроса, определять эту единственную версию идентификатора запроса в качестве наиболее полной версии идентификатора запроса, и
считывать из наиболее полной версии идентификатора запроса все идентификаторы подсистем, содержащиеся в наиболее полной версии идентификатора, и
обращаться в хранилища данных соответствующих подсистем для получения из них сведений об обработке запроса.
40. Система по п. 33, в которой сеть распределенной обработки данных включает в себя третье электронное устройство, являющееся по меньшей мере частью третьей подсистемы, третья подсистема являющаяся по меньшей мере частью сети распределенной обработки данных, второе электронное устройство выполнено с возможностью получения требования на предоставление истории обработки запроса с третьего электронного устройства.
RU2015102736A 2015-01-29 2015-01-29 Система и способ обработки запроса в сети распределенной обработки данных RU2015102736A (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
RU2015102736A RU2015102736A (ru) 2015-01-29 2015-01-29 Система и способ обработки запроса в сети распределенной обработки данных
US15/504,863 US10097668B2 (en) 2015-01-29 2015-07-16 System and method of request processing in a distributed data processing network
EP15879785.2A EP3103022A1 (en) 2015-01-29 2015-07-16 System and method of request processing in a distributed data processing network
PCT/IB2015/055390 WO2016120680A1 (en) 2015-01-29 2015-07-16 System and method of request processing in a distributed data processing network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2015102736A RU2015102736A (ru) 2015-01-29 2015-01-29 Система и способ обработки запроса в сети распределенной обработки данных

Publications (1)

Publication Number Publication Date
RU2015102736A true RU2015102736A (ru) 2016-08-20

Family

ID=56542515

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015102736A RU2015102736A (ru) 2015-01-29 2015-01-29 Система и способ обработки запроса в сети распределенной обработки данных

Country Status (4)

Country Link
US (1) US10097668B2 (ru)
EP (1) EP3103022A1 (ru)
RU (1) RU2015102736A (ru)
WO (1) WO2016120680A1 (ru)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5117351A (en) 1988-10-21 1992-05-26 Digital Equipment Corporation Object identifier generator for distributed computer system
US5522077A (en) 1994-05-19 1996-05-28 Ontos, Inc. Object oriented network system for allocating ranges of globally unique object identifiers from a server process to client processes which release unused identifiers
US6505230B1 (en) 1999-05-14 2003-01-07 Pivia, Inc. Client-server independent intermediary mechanism
US6880126B1 (en) 1999-08-03 2005-04-12 International Business Machines Corporation Controlling presentation of a GUI, using view controllers created by an application mediator, by identifying a destination to access a target to retrieve data
US20010039497A1 (en) 2000-03-30 2001-11-08 Hubbard Edward A. System and method for monitizing network connected user bases utilizing distributed processing systems
US6735220B1 (en) 2000-08-01 2004-05-11 Sun Microsystems, Inc. Using a centralized server to coordinate assignment of identifiers in a distributed system
US20020152393A1 (en) * 2001-01-09 2002-10-17 Johannes Thoma Secure extensible computing environment
US7493397B1 (en) * 2001-06-06 2009-02-17 Microsoft Corporation Providing remote processing services over a distributed communications network
US6970445B2 (en) * 2001-06-14 2005-11-29 Flarion Technologies, Inc. Methods and apparatus for supporting session signaling and mobility management in a communications system
WO2003017123A1 (en) * 2001-08-16 2003-02-27 Redline Networks, Inc. System and method for maintaining statefulness during client-server interactions
CA2584269A1 (en) 2004-10-06 2006-04-20 Digipede Technologies, Llc Distributed processing system
EA200401599A1 (ru) 2004-12-10 2005-10-27 Закрытое Акционерное Общество "Микротест-Инвест" Система, способы и устройства, предназначенные для интеграции распределенных приложений
ATE460804T1 (de) 2005-10-03 2010-03-15 Sap Ag Datenverarbeitungssystem und verfahren zur spiegelung der bereitstellung von identifikatoren
TWI298129B (en) 2006-01-20 2008-06-21 Hon Hai Prec Ind Co Ltd System and method for processing files distributively
US8301589B2 (en) 2006-05-10 2012-10-30 Sybase, Inc. System and method for assignment of unique identifiers in a distributed environment
TWI305619B (en) * 2006-05-12 2009-01-21 Qisda Corp State synchronization systems and methods
JP2009093316A (ja) 2007-10-05 2009-04-30 Hitachi Ltd ストレージシステム及び仮想化方法
JP5408442B2 (ja) 2010-01-21 2014-02-05 株式会社日立製作所 並列分散処理方法、及び、計算機システム
US8825873B2 (en) 2010-03-01 2014-09-02 Apple Inc. Using a service discovery request to find available devices
US8635617B2 (en) * 2010-09-30 2014-01-21 Microsoft Corporation Tracking requests that flow between subsystems using transaction identifiers for generating log data
US20140188451A1 (en) 2011-08-01 2014-07-03 Nec Corporation Distributed processing management server, distributed system and distributed processing management method
EP2765510A4 (en) 2011-10-06 2016-07-06 Fujitsu Ltd DATA PROCESSING, DISTRIBUTED PROCESSING SYSTEM AND PROGRAM
US9325785B2 (en) * 2012-06-29 2016-04-26 Rodolfo Kohn Device, system, and method for client-governed session persistency between one or more clients and servers of a data center
US9813307B2 (en) 2013-01-28 2017-11-07 Rackspace Us, Inc. Methods and systems of monitoring failures in a distributed network system
EP3150020B1 (en) * 2014-06-02 2019-08-07 Telefonaktiebolaget LM Ericsson (publ) Re-establishment of a failed communication session

Also Published As

Publication number Publication date
US10097668B2 (en) 2018-10-09
US20170272537A1 (en) 2017-09-21
EP3103022A1 (en) 2016-12-14
WO2016120680A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
AU2014212780B2 (en) Data stream splitting for low-latency data access
US20180075052A1 (en) Tiering with pluggable storage system for parallel query engines
CN107622091B (zh) 一种数据库查询方法和装置
CN107515878B (zh) 一种数据索引的管理方法及装置
US20170161373A1 (en) Method and system for providing context based query suggestions
JP2019503537A (ja) ショートリンクを処理する方法及び装置並びにショートリンクサーバ
CN106471501B (zh) 数据查询的方法、数据对象的存储方法和数据系统
CN107704202B (zh) 一种数据快速读写的方法和装置
US20220215053A1 (en) Efficient and scalable time-series data storage and retrieval over a network
KR101621385B1 (ko) 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법
JP6168635B2 (ja) データベース管理システム、計算機、データベース管理方法
TW202001618A (zh) 檔案處理的方法及裝置
US20160098442A1 (en) Verifying analytics results
CN111737228B (zh) 数据库的分库分表方法及装置
US10083121B2 (en) Storage system and storage method
US9563687B1 (en) Storage configuration in data warehouses
RU2015102736A (ru) Система и способ обработки запроса в сети распределенной обработки данных
CN111008220A (zh) 数据源的动态识别方法及装置、存储介质和电子装置
JP6233846B2 (ja) 可変長ノンスの生成
CN110851437A (zh) 一种存储方法、装置及设备
US11170000B2 (en) Parallel map and reduce on hash chains
US11144593B2 (en) Indexing structure with size bucket indexes
US9639630B1 (en) System for business intelligence data integration
CN110598072A (zh) 一种特征数据聚合方法及装置
US11921759B1 (en) Operating a distributed search index in a content delivery network

Legal Events

Date Code Title Description
FA94 Acknowledgement of application withdrawn (non-payment of fees)

Effective date: 20161213