KR102126320B1 - 분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치 - Google Patents

분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치 Download PDF

Info

Publication number
KR102126320B1
KR102126320B1 KR1020187032480A KR20187032480A KR102126320B1 KR 102126320 B1 KR102126320 B1 KR 102126320B1 KR 1020187032480 A KR1020187032480 A KR 1020187032480A KR 20187032480 A KR20187032480 A KR 20187032480A KR 102126320 B1 KR102126320 B1 KR 102126320B1
Authority
KR
South Korea
Prior art keywords
data
processed
computing node
node
characteristic
Prior art date
Application number
KR1020187032480A
Other languages
English (en)
Other versions
KR20180134956A (ko
Inventor
징보 마
쩌량 페이
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20180134956A publication Critical patent/KR20180134956A/ko
Application granted granted Critical
Publication of KR102126320B1 publication Critical patent/KR102126320B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치에 대해 개시한다. 분산 처리 시스템은 제어 노드, 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드를 포함한다. 상기 제어 노드는 처리될 특성 데이터의 유형 및 특성 식별자를 획득한다. 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하는 데 사용된다. 상기 홈 컴퓨팅 노드는 상기 제1 컴퓨팅 노드 또는 상기 제2 컴퓨팅 노드이다. 상기 제어 노드는 상기 특성 식별자에 따라 프로세스 인덱스 정보를 결정한다. 상기 제어 노드는 상기 홈 컴퓨팅 노드의 처리될 프로세스를 위해, 상기 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 또는 상기 처리될 특성 데이터를 스케줄링한다. 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하는 데 사용되며, 이에 따라 상기 홈 컴퓨팅 노드는 상기 처리될 특성 데이터를 처리한다.

Description

분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치
본 출원은 2016년 5월 9일 중국특허청에 출원되고 발명의 명칭이 "distributed processing system, data processing method, and device"인 중국특허출원 제201610303417.4호에 대한 우선권을 주장하는 바이며, 상기 문헌은 본 명세서에 원용되어 포함된다.
본 발명은 컴퓨터 기술 분야에 관한 것이며, 구체적으로 분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치에 관한 것이다.
대용량 데이터 처리에서, 차원은 모니터링된 객체의 속성이며, 영역, 장비실 또는 운영자를 포함할 수 있거나, 인터페이스 및 에러 코드 등을 포함할 수 있다.
특성은 하나의 차원 또는 복수의 차원의 조합에 대응하는 인덱스이다.
특성 트리는 프로세스에 참여하는 모든 모니터링된 객체와 이 객체 간의 관계에 의해 형성된 지향성 그래프를 지칭할 수 있는데, 상기 프로세스에서는 더 정밀한 모니터 그래뉼래리티(granularity)를 갖는 모니터링된 객체가 다른 규칙 및 서비스 요구사항에 따라 더 조밀한 그래뉼래리티를 갖는 모니터링된 객체에 대해 층별로 응집된다.
특성 트리의 산출은 합 또는 평균 또는 몫을 1분 안에 구하는 것과 같이, 특성 트리의 하위 계층 특성 데이터를 상위 계층 특성 데이터에 계층별로 응집시키는 프로세싱 처리를 지칭할 수 있다.
종래 기술에서, 특성 데이터 처리 프로세스는 모든 특성 데이터를 사용하여 단일 기계에 의해 복수의 특성 트리를 미리 생성하는 단계를 포함하고, 그런 다음 복수의 특성 트리를 각각 단일 유닛으로 간주하여 계산을 수행할 수 있다. 이 솔루션은 예를 들어 처리 시간이 길고 단일 기계의 성능이 제한되며 특성 갱신 속도가 느릴 수 있다.
처리 시간이 길고 단일 기계의 성능이 제한되는 종래 기술에서의 특성 트리 처리 솔루션의 문제를 해결하기 위해, 본 발명의 실시예는 분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치를 제공한다. 분산 처리 방식에서, 특성 데이터의 계산은 특성 트리를 구성함이 없이 실현될 수 있으며, 이에 의해 처리 시간이 감소한다. 또한, 특성 트리는 처리를 위해 단일 기계에 위치할 필요가 없으며, 이에 의해 단일 기계의, 성능이 제한되는 문제를 해결한다.
본 발명의 제1 관점은 분산 처리 시스템을 제공하며, 상기 분산 처리 시스템은 제어 노드, 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드를 포함하며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 여기서
상기 제어 노드는 처리될 특성 데이터의 유형 및 특성 식별자를 획득하며, 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드 중 하나이며,
상기 제어 노드는 상기 특성 식별자에 따라 프로세스 인덱스 정보를 결정하며, 상기 프로세스 인덱스 정보는 상기 처리될 특성 데이터가 속하는 상기 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것이며,
상기 제어 노드는 상기 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 및 상기 처리될 특성 데이터 중 하나를 상기 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하며, 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것이며,
상기 홈 컴퓨팅 노드는 상기 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득한다.
본 발명의 제2 관점은 데이터 처리 방법을 제공하며, 상기 데이터 처리 방법은:
제어 노드가 처리될 특성 데이터의 유형 및 특성 식별자를 획득하는 단계 - 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드 중 하나이며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있음 - ;
상기 제어 노드가 상기 특성 식별자에 따라 프로세스 인덱스 정보를 결정하는 단계 - 상기 프로세스 인덱스 정보는 상기 처리될 특성 데이터가 속하는 상기 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것임 - ;
상기 제어 노드가 상기 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 및 상기 처리될 특성 데이터 중 하나를 상기 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하는 단계 - 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것임 - ; 및
상기 홈 컴퓨팅 노드가 상기 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득하는 단계
를 포함한다.
본 발명의 제3 관점은 제어 노드 장치를 제공하며, 상기 제어 노드 장치는:
처리될 특성 데이터의 유형 및 특성 식별자를 획득하도록 구성되어 있는 획득 유닛 - 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드 중 하나이며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있음 - ;
상기 획득 유닛에 의해 획득된 특성 식별자에 따라 프로세스 인덱스 정보를 결정하도록 구성되어 있는 결정 유닛 - 상기 프로세스 인덱스 정보는 상기 처리될 특성 데이터가 속하는 상기 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것임 - ;
상기 결정 유닛에 의해 결정된 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 및 상기 처리될 특성 데이터 중 하나를 상기 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하도록 구성되어 있는 스케줄링 유닛
을 포함하며, 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것이며, 이에 따라 상기 홈 컴퓨팅 노드는 상기 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득한다.
처리 시간이 길고 단일 기계의 성능이 제한되는 종래 기술의 특성 트리 처리 솔루션과 비교하여, 본 발명의 실시예에서 제공하는 분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치는 분산 처리 방식을 채택하는데, 특성 트리를 구성하지 않고도 특성 데이터의 계산이 실행될 수 있어서 처리 시간이 단축된다. 또한, 특성 트리를 단일 시스템에 배치하여 처리할 필요가 없으므로 단일 기계의 제한된 성능 문제를 해결할 수 있다.
본 발명의 실시예의 기술적 솔루션을 더 명확하게 설명하기 위해, 이하에서는 본 발명의 실시예를 설명하는 데 필요한 첨부된 도면에 대해 간략하게 설명한다. 당연히, 이하의 실시예의 첨부된 도면은 본 발명의 일부의 실시예에 지나지 않으며, 당업자라면 창조적 노력 없이 첨부된 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 분산 처리 시스템의 실시예에 대한 개략도이다.
도 2는 본 발명의 실시예에 따른 분산 처리 시스템을 사용해서 특성 데이터를 처리하는 예에 대한 개략도이다.
도 3은 본 발명의 실시예에 따른 데이터 저장 구조에 대한 개략도이다.
도 4는 본 발명의 실시예에 따른 데이터 처리 방법의 실시예에 대한 개략도이다.
도 5는 본 발명의 실시예에 따른 제어 노드 장치의 실시예에 대한 개략도이다.
도 6은 본 발명의 실시예에 따른 제어 노드 장치의 다른 실시예에 대한 개략도이다.
본 발명의 실시예는 분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치를 제공한다. 분산 처리 방식에서, 특성 데이터의 계산은 특성 트리를 구성함이 없이 실현될 수 있으며, 이에 의해 처리 시간이 감소한다. 또한, 특성 트리는 처리를 위해 단일 기계에 위치할 필요가 없으며, 이에 의해 단일 기계의, 성능이 제한되는 문제를 해결한다. 이에 대해 이하에 상세히 설명한다.
이하에서는 본 발명의 실시예에 첨부된 도면을 참조하여 본 발명의 실시예의 기술적 솔루션에 대해 명확하고 완전하게 설명한다. 당연히, 설명된 실시예는 본 발명의 모든 실시예가 아닌 일부에 지나지 않는다. 당업자가 창조적 노력 없이 본 발명의 실시예에 기초하여 획득하는 모든 다른 실시예는 본 발명의 보호 범위 내에 있게 된다.
먼저, 본 발명에서 사용되는 기술적 용어를 설명한다:
차원(Dimension): 모니터링된 객체의 속성이며, 영역, 장비실 또는 운영자를 포함할 수 있거나 인터페이스 및 오류 코드 등을 포함할 수 있다.
특성: 1차원 또는 다차원의 조합에 대응하는 인덱스로서, 시스템 내에서의 데이터 구성 방식을 모니터링 하기 위한 것이고, 특성 값과 특성 정보를 포함하는 모니터링된 객체이며, 특성 값은 예를 들면 하루 1440 포인트의 세트이다.
단일 기계 특성: 시스템에서 가장 정밀한 그래뉼래리티를 갖는 모니터링된 객체이며 단일 기계에 의해 보고된 특성 데이터를 식별하기 위한 것이다.
단순 특성: 지정된 규칙에 따라 복수의 기계에 의해 보고된 동일한 특성(단일 기계 특성)을 복합화하여 얻은 데이터.
복합 특성: 지정된 규칙에 따라 복수의 단순 특성 또는 복수의 복합 특성을 복합화하여 얻은 데이터.
구성 갱신 시스템(Configuration update system): 대용량 데이터의 저장 및 풀링(pulling)을 지원하고 구독 요청이 있는 모듈에 데이터 갱신 알림을 실시간으로 보내는 분산 협업 시스템이다.
도 1을 참조하면, 본 발명의 실시예에서 제공하는 분산 처리 시스템은 제어 노드, 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드를 포함한다. 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드가 복수 개 있을 수 있다. 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있다. 즉, 단말에 의해 보고된 특성 데이터는 단일-기계 특성 데이터와 같고, 제1 컴퓨팅 노드에 의해 직접적으로 처리된다. 제1 컴퓨팅 노드는 추가의 처리를 위해 단순 특성 데이터를 제2 컴퓨팅 노드에 추가로 전송할 수 있다. 제2 컴퓨팅 노드에 의해 단순 특성 데이터가 처리된 후 복합 특성 데이터가 획득된다. 제2 컴퓨팅 노드는 제1 컴퓨팅 노드의 내용에 대해 설명할 수 있으므로, 계산에 의해 단순 특성 데이터를 획득한 후, 제1 컴퓨팅 노드는 제2 컴퓨팅 노드로부터의 설명에 따라 대응하는 제2 컴퓨팅 노드에 단순 특성 데이터를 전송한다.
제어 노드는 본 발명의 분산 처리 시스템에서 제어 센터이며, 처리될 특성 데이터가 갱신되었다는 것을 구성 갱신 노드가 모니터링하는 경우, 갱신된 특성 정보를 실시간으로 수신할 수 있다. 갱신된 특성 정보는 처리될 특성 데이터의 유형 및 특성 식별자를 포함할 수 있다. 처리될 특성 데이터의 유형은 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이다. 즉, 본 발명에서, 제어 노드 상의 특성 데이터는 2개의 유형: 단순 특성 데이터 및 복합 특성 데이터로 분류될 수 있다. 처리될 특성 데이터가 단순 특성 데이터에 속하는 것으로 유형이 지시하면, 처리될 특성 데이터는 제1 컴퓨팅 노드에 의해 처리되어야 하는 것으로 결정될 수 있다. 처리될 특성 데이터가 복합 특성 데이터에 속하는 것으로 유형이 지시하면, 처리될 특성 데이터는 제2 컴퓨팅 노드에 의해 처리되어야 하는 것으로 결정될 수 있다. 사실, 복수의 특성 처리 프로세스는 제1 컴퓨팅 노드마다 그리고 제2 컴퓨팅 노드마다 실행된다. 프로세스마다 처리되는 특성 데이터를 다를 수 있다. 그러므로 프로세스 인덱스 정보는 처리될 특성 데이터의 특성 식별자에 따라 결정될 수 있다. 구체적으로, 특성 식별자와 프로세스 인덱스 정보 간의 대응관계가 존재한다. 그러므로 처리될 특성 데이터의 특성 식별자에 따라 프로세스 인덱스 정보를 결정하는 프로세스는 이 대응관계에 따라 처리될 특성 데이터의 특성 식별자에 대응하는 프로세스 인덱스 정보를 결정하는 단계를 포함할 수 있다. 선택적으로, 특성 식별자에 대응하는 프로세스 인덱스 정보는 일관적인 해싱 알고리즘(consistent hashing algorithm)을 사용해서 처리될 특성 데이터의 특성 식별자에 따라 계산될 수 있다. 프로세스 인덱스 정보는 처리될 특성 데이터가 속하는 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것이다. 처리될 특성 데이터 또는 데이터 인덱스 정보의 라우팅 정보는 프로세스 인덱스 정보에 따라 결정될 수 있다. 환언하면, 데이터 인덱스 정보 또는 처리될 특성 데이터가 스케줄링되어야 하는 프로세스가 결정될 수 있다.
제어 노드는 프로세스 인덱스 정보에 따라, 처리될 특성 데이터의 데이터 인덱스 정보 또는 처리될 특성 데이터를 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하고, 데이터 인덱스 정보는 처리될 특성 데이터를 획득하기 위해 홈 컴퓨팅 노드에 명령하기 위한 것이다.
홈 컴퓨팅 노드는 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득한다.
제어 노드는 특성 데이터가 갱신되었다는 것을 구성 갱신 노드가 모니터링한 경우, 구성 갱신 노드에 의해 보고되는 처리될 특성 데이터의 유형 및 특성 식별자를 수신한다.
대안으로, 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드 상에서의 프로세스가 비정상인 것으로 결정하는 경우, 제어 노드는 비정상 프로세스에서 처리된 특성 데이터의 유형 및 특성 식별자를 상기 처리될 특성 데이터의 유형 및 특성 식별자로 획득한다.
실제, 본 발명에서 분산 처리 시스템의 주 원리는 시스템에서의 모든 특성을 단순 유형 및 복합 유형으로 분할하는 것이다. 처리될 특성 데이터를 분산하는 규칙은 제어 노드에 구성되어 있다. 분산 규칙은 특성 데이터가 속하는 프로세스를 결정하는 프로세스를 지정한다. 예를 들어, 시스템에서의 특성은 2개 유형: 단순 특성 및 복합 특성으로 나누어질 수 있다. 단일-기계 특성은 단순 특성의 서브세트이다. 단순 특성은 사용자에 의해 보고된 데이터에 따라 직접적으로 계산된다. 복합 특성은 단순 특성 또는 다른 복합 특성에 따라 직접적으로 계산된다.
먼저, 처리될 특성 데이터를 계산하는 계산 노드는 특성 유형에 따라 결정된다. 즉, 처리될 특성 데이터가 제1 컴퓨팅 노드에 의해 계산되는지 또는 제2 컴퓨팅 노드에 의해 계산되는지를 결정한다.
그런 다음, 특성 식별자에 대응하는 라우팅 테이블의 프로세스 인덱스 정보는 분산 함수 F를 풀면 획득될 수 있다. 해결 과정은: x1=F1(X1), ..., xn=Fn(Xn)이고, 여기서 X1, ...Xn은 특성 식별자를 나타낸다. 프로세스 인덱스 정보 x1, ...xn은 분산 함수 F를 풀면 획득될 수 있다.
대응하는 라우팅 정보는 특성 식별자에 대응하는 라우팅 테이블의 프로세스 인덱스 정보에 따라 검색되며, 여기서 r1=R1(x1), r2=R2(x2), ...rn=Rn(xn)이다. 지막으로, 특성은 획득된 라우팅 정보에 따라 대응하는 계산 노드 상의 대응하는 프로세스에 대해 실시간으로 스케줄링된다.
처리될 특성 데이터가 스케줄링되어야 하는 프로세스를 결정한 후, 제어 노드는 처리될 특성 데이터의 인덱스 정보 또는 처리될 특성 데이터를 계산을 위한 해당 프로세스에 스케줄링한다.
제2 컴퓨팅 노드는 제1 컴퓨팅 노드 또는 다른 제2 컴퓨팅 노드로부터 자체적으로 수행되는 계산에 필요한 특성을 분 단위로 구독한다. 사용자에 의해 보고된 데이터가 제1 컴퓨팅 노드에 도달하고 제1 컴퓨팅 노드는 계산을 완료하는 경우, 제1 컴퓨팅 노드는 제2 컴퓨팅 노드로부터의 구독에 따라 대응하는 제2 컴퓨팅 노드에 데이터를 푸시한다. 복합 특성마다 계산하기 위한 단순 특성 데이터 또는 복합 특성 데이터가 제2 컴퓨팅 노드에 도달하면, 제2 컴퓨팅 노드는 복합 특성 데이터를 계산하기 시작한다. 프로세스는 분 단위로 반복된다. 특성의 수량이 증가하는 경우, 기계의 수량 역시 증가할 것이다.
제1 컴퓨팅 노드가 특성 데이터를 계산하는 프로세스는 단순 특성 계산이고, 제2 컴퓨팅 노드가 특성 데이터를 계산하는 프로세스는 복합 특성 계산이다.
1) 단순 특성 계산: S([Sx1, Sx2, ...Sxn])=>[S1, S2, ...Sn], 여기서 S는 단순 특성 계산 함수이고, S1, S2, ...Sn은 일정 시간 내에 단순 특성마다 계산되는 특성값이다.
2) 복합 계산:
C([S1, S2, ...Sn])=>[C1, C2, ...Cn] 또는 C([C1, C2, ...Cn])=>[C1`, C2`, ...Cn`]
여기서 C는 복합 특성 계산 함수이고, C1, C2, ...Cn은 복수의 단순 특성값에 따라 계산을 통해 획득된 복합 특성값이고, C1`, C2`, ...Cn`은 복합 특성값에 따라 계산을 통해 획득된 현재의 복합 특성값이다.
이해를 쉽게 하기 위해, 이와 같은 프로세스를 도 2를 참조하여 예를 사용해서 설명한다.
특성 데이터가 위챗-모멘트-요구 수(WeChat―Moments―request quantity)인 예가 사용된다. 위챗-모멘트-요구 수를 카운트하기 위해, 각국의 각 지역 내의 차이나 모바일 사용자의 위챗-모멘트-요구 수, 차이나 유니콤 사용자의 위챗-모멘트-요구 수 및 차이나 텔레콤 사용자의 위챗-모멘트-요구 수가 먼저 카운트될 수 있다. 이러한 특성 데이터는 단순 특성 데이터이고, 합을 계산함으로써 획득될 수 있다. 광동 지역의 차이나 모바일 사용자의 위챗-모멘트-요구 수를 예를 들어 설명한다. 예는 모멘트 요구를 송신하는 차이나 모바일 사용자의 수가 카운트를 위해 제1 컴퓨팅 노드 상의 프로세스에 스케줄링되어야 하는 것일 수 있다. 마찬가지로, 광동 지역의 차이나 모바일 사용자의 위챗-모멘트-요구 수와 광동 지역의 차이나 텔레콤 사용자의 위챗-모멘트-요구 수를 다른 2개의 프로세스를 사용해서 각각 카운트할 수 있다. 당연히, 다른 지역에 대한 이러한 수치는 다른 프로세스를 사용해서 계산될 수 있다. 그런 다음, 제2 컴퓨팅 노드 상에서 국내 지역의 위챗-모멘트-요구 수를 계산하기 위한 해당 프로세스에 단순 특성 데이터를 송신한다. 이 방식에서, 국내 데이터가 계산될 수 있다. 국외의 특성 데이터 역시 이와 같은 방법으로 처리될 수 있으며, 결국에는 세계적 위챗-모멘트-요구 수가 결정될 수 있다.
본 발명에서, 특성 데이터는 처리 후에 저장될 필요가 있다. 본 발명에서 제공하는 스토리지 포맷은 값 구조를 채택한다. 값 구조는 버전 수 + 비트맵 식별자 + 동적 데이터 내용이다. 이 포맷에 대한 상세한 설명은 이해를 위해 도 3을 참조한다.
도 3에 도시된 바와 같이, 0 바이트의 "ver"는 버전 수를 나타내는데, 예를 들면, 1.0이다. 그 다음 60 바이트에서, 제1 바이트 내지 제60 바이트가 비트맵 플래그 비트이고, 각 4 비트가 1분 내의 데이터를 나타낸다. 비트맵 플래그 비트에 대한 상세한 설명에 대해서는 표 1을 참조한다. 하나의 값은 2시간 내에 데이터를 저장할 수 있다.
비트 설명
1 0 0 0 0 값
1 0 0 1 보류
1 0 1 0 보류
1 0 1 1 보류
1 1 0 0 보류
1 1 0 1 보류
1 1 1 0 -2 (계산되지 않음)
1 1 1 1 -1 (계산되지 않음)
0 0 0 0 1-바이트 데이터
0 0 0 1 2-바이트 데이터
0 0 1 0 3-바이트 데이터
0 0 1 1 4-바이트 데이터
0 1 0 0 5-바이트 데이터
0 1 0 1 6-바이트 데이터
0 1 1 0 7-바이트 데이터
0 1 1 1 8-바이트 데이터
비트맵 플래그 비트 구조의 설명
표 1로부터 데이터의 실제 크기는 특성 데이터가 0보다 큰 경우에만 저장될 수 있고 저장된 바이트의 수량은 데이터가 가진 실제 바이트 수량에 의해 결정된다는 것을 학습할 수 있다. 예를 들어, 32는 1바이트로 나타낼 수 있으므로 1바이트가 저장된다.
또한, 본 발명에서, ANM 압축 알고리즘이 사용될 수 있고, 압축 효율이 향상될 수 있다. 표 2는 3가지 유형의 압축 알고리즘의 지표 간의 비교이다.
압축 방식 데이터의 양(B) 압축 시간(S) 압축해제 시간 (S) 압축률(%)
ANM 166125*1440*8 3.113 2.157 83.5
Snappy 166125*1440*8 7.724 2.798 82
Zlib 166125*1440*8 69.356 8.122 92
압축 효율 비교
동일한 데이터 수량이 압축되어야 하는 경우, 본 발명에서 ANM 압축 알고리즘을 사용하는 압축 기간 및 압축해제 기간이 가장 짧고, 압축 효율은 압축 기간이 69.356인 zlib 방식의 압축 효율보다 훨씬 높다는 것을 표 2로부터 학습할 수 있다.
표 2의 ANM 압축 알고리즘, snappy 압축 알고리즘 및 zlib 압축 알고리즘은 3가지 유형의 데이터 압축 알고리즘이다. 그렇지만, 본 발명에서의 압축 알고리즘은 이에 제한되지 않는다.
도 1의 구성 갱신 노드는 주로 대용량 데이터의 급속 끌어오기(rapid pulling), 구독 및 알림을 제공한다. 제어 노드는 구성 갱신 노드 상의 갱신 알림을 구독한다. 구성 갱신 노드는 수억 개의 데이터의 임의의 수정에 대한 응답으로 1초 내에 제어 노드에 알릴 수 있다. 제어 노드가 데이터 인덱스 정보를 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드에 푸시하는 경우에만, 특정 특성 데이터가 구성 갱신 노드로부터 실시간으로 풀링될 필요가 있다.
제어 노드는 전체 실시간 계산을 위한 제어 센터이고, 전체 데이터 인덱스 정보 또는 갱신된 특성 데이터의 일부를 지정된 계산 노드에 푸시하도록 구성되어 있다. 푸시된 라우터는 일관적인 해싱 알고리즘을 사용해서 해당 계산 프로세스를 결정할 수 있다. 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드가 비정상인 경우, 제어 노드는 30S 이내에 그 경우를 감지하고, 비정상 프로세스의 특성 데이터를 균등하게 다른 프로세스에 분산시켜 데이터가 1분 이내에 복원되도록 한다.
제1 컴퓨팅 노드는: 계산이 특성 데이터에 의해 실시되는 단일-기계 특성으로부터 단순 특성을 합성하고; 제2 컴퓨팅 노드로부터의 구독 요구를 수락하며; 단순 특성 데이터의 계산이 완료되고 복합 계산 노드가 있는 경우에, 즉 제2 컴퓨팅 노드로부터의 구독이 있는 경우에 지정된 제2 컴퓨팅 노드에 데이터를 제시간에 푸시하도록 구성되어 있다.
또한, 데이터 보안을 보장하기 위한 정책이 있다. 일반적으로, 단순 특성 데이터와 단일-기계 특성 데이터 모두는 2개의 사본으로 저장되고, 하나의 사본은 제1 컴퓨팅 노드에 저장되고 다른 사본은 결과 데이터 캐싱 노드에 저장된다. 저장을 위한 특정 프로세스는 라우팅 알고리즘에 따라 결정된다. 제1 컴퓨팅 노드가 예기치 않게 재시작되거나 확장되는 경우, 시스템은 대응하는 결과 데이터 스토리지 노드로부터 이력 데이터를 획득한다. 특성 데이터는 2시간의 데이터 구조와의 비교에 의해 저장된다. 그러므로 데이터이 무결성을 보장하기 위해 2시간 이내에 데이터가 완료되어야 한다.
프로세스, 네트워크 또는 기계가 예기치 않게 모듈의 리던던시 메커니즘을 트리거링하는 경우, 비정상 프로세스의 계산 작업이 다른 프로세스에 균등하게 분산된다. 데이터 인덱스 정보는 제어 노드에 의해 푸시된다. 계산 노드는 구성 시스템으로부터 데이터를 획득한다. 프로세스는 1분 이내에 완료된다.
제2 컴퓨팅 노드는: 복합 특성을 계산하고 - 계산이 시간에 따라 실시되고 하나의 계산이 분 단위로 수행됨 - ; 제2 컴퓨팅 노드 자체로부터 구독 요구를 수락하며; 복합 특성 데이터의 계산이 완료되고 다른 제2 컴퓨팅 노드로부터의 구독이 있는 경우에 지정된 제2 컴퓨팅 노드에 특성 데이터를 제시간에 푸시하도록 구성되어 있다.
또한, 데이터 보안을 위한 정책이 있으며 제1 컴퓨팅 노드의 데이터 리던던시 정책과 같다.
제2 컴퓨팅 노드의 리던던시 메커니즘은 또한 제1 컴퓨팅 노드의 리던던시 메커니즘과 같고, 이해를 위해 제1 컴퓨팅 노드의 대응하는 부분을 참조한다.
스토리지 노드는 캐싱을 위한 스토리지 노드를 포함할 수 있다.
캐싱을 위한 스토리지 노드는 최근 4시간 이내의 데이터 캐싱, 외부 인터페이스의 데이터 풀링, 및 데이터 로컬라이징 스토리지를 위한 것일 수 있다.
데이터 보안 정책에 따라, 데이터 캐싱을 위한 스토리지 노드는: 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드의 계산 결과를 저장하고, 계산 노드가 비정상인 경우 계산 노드에 2시간 이내에 데이터를 제공하도록 구성되어 있다. 계산 노드 자체가 예기치 않게 재시작되거나 확장되는 경우 계산 노드는 스토리지 노드에 관련 데이터를 푸시하여 각각의 데이터가 2개의 사본으로 저장되도록 한다.
외부에서 사용되는 모든 데이터는 스토리지로부터 획득된다. 이력 데이터가 존재하지 않는 경우, 데이터는 스토리지 장치로부터 다시 풀링되고 캐싱된다.
시스템에는 대량의 데이터가 있고 스토리지 장치에 대한 기록 요구가 높으므로, 모듈은 데이터 캐싱 성능을 사용해서 데이터를 천천히 국소화한다. 이 방식에서는 스토리지 저장 장치의 액세스 계층에 대한 압박이 낮을 뿐만 아니라 스토리지 저장의 비정상 경우에 대응하는 리던던시 성능도 존재한다.
본 발명에서는 전체를 부분으로 분할하는 방법이 사용되는데, 특성 트리를 단위로 사용하는 계산 방식은 단일 노드를 단위로 사용하는 계산 방식으로 개선되므로 트리 구조는 단일 기계의 제한된 성능에 의해 제한되지 않는다. 갱신된 특성은 구성 갱신에 의해 지정된 계산 노드에 실시간으로 할당되며, 이에 의해 수억 개의 특성 데이터에 의해 유효 시간이 길어지는 문제가 해결된다. 특성의 유형에 따라 분류되는 계산을 수행함으로써 유형이 다른 특성들은 서로 분리되고 이에 의해 서로에 대한 간섭이 방지된다.
도 4를 참조하면, 본 발명의 실시예에서 제공하는 데이터 처리 방법은 단계 101 내지 단계 103을 포함한다.
단계 101에서, 제어 노드는 처리될 특성 데이터의 유형 및 특성 식별자를 획득하며, 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 또는 제2 컴퓨팅 노드이며, 상기 제어 노드는 분산 처리 시스템에 적용되며, 상기 분산 처리 시스템은 제어 노드를 더 포함하며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있다.
단계 102에서, 제어 노드는 특성 식별자에 따라 프로세스 인덱스 정보를 결정하며, 상기 프로세스 인덱스 정보는 상기 처리될 특성 데이터가 속하는 상기 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것이다.
단계 103에서, 제어 노드는 상기 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 또는 상기 처리될 특성 데이터를 상기 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하며, 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것이며, 이에 따라 상기 홈 컴퓨팅 노드는 상기 처리될 특성 데이터를 처리한다.
처리 시간이 길고 단일 기계의 성능이 제한되는 종래 기술의 특성 트리 처리 솔루션과 비교하여, 본 발명의 실시예에서 제공하는 데이터 처리 방법은 분산 처리 방식을 채택하는데, 특성 트리를 구성하지 않고도 특성 데이터의 계산이 실행될 수 있어서 처리 시간이 단축된다. 또한 특성 트리를 단일 시스템에 배치하여 처리할 필요가 없으므로 단일 기계의 제한된 성능 문제를 해결할 수 있다.
실시예에서, 분산 처리 시스템은 구성 갱신 노드를 더 포함하며, 상기 구성 갱신 노드는: 단말에 의해 보고된 처리될 특성 데이터를 저장하고 상기 처리될 특성 데이터의 갱신을 모니터링하도록 구성되어 있다.
구성 갱신 노드가 처리될 특성 데이터가 갱신된다는 것을 모니터링하는 경우, 제어 노드는 구성 갱신 노드에 의해 푸시되는 처리될 특성 데이터의 유형 및 특성 식별자를 수신하도록 추가로 구성되어 있다.
실시예에서, 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하며, 상기 처리된 특성 데이터를 제2 홈 컴퓨팅 노드의 구독 요구에 따라 제2 컴퓨팅 노드에 푸시하도록 구성되어 있다.
실시예에서, 분산 처리 시스템은 복수의 제2 컴퓨팅 노드를 포함한다.
복수의 제2 컴퓨팅 노드 중 하나는: 제1 컴퓨팅 노드에 의해 푸시된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하고, 상기 처리된 데이터를 다른 제2 컴퓨팅 노드의 구독 요구에 따라 상기 다른 제2 컴퓨팅 노드에 푸시하도록 구성되어 있다.
제어 노드는, 홈 컴퓨팅 노드 상의 처리 프로세스가 비정상인 것으로 결정하는 경우, 상기 비정상 처리 프로세스에서 처리된 특성 데이터의 유형 및 특성 식별자를 상기 처리될 특성 데이터의 유형 및 특성 식별자로 획득하도록 추가로 구성되어 있다.
실시예에서, 제어 노드는 특성 식별자 및 프로세스 인덱스 정보 간의 대응관계에 따라, 특성 식별자에 대응하는 프로세스 인덱스 정보를 결정하도록 추가로 구성되어 있다.
실시예에서, 분산 처리 시스템은 스토리지 노드를 더 포함하며, 상기 스토리지 노드는 처리된 특성 데이터를 저장하도록 구성되어 있다.
상기 저장된 특성 데이터는 버전 번호, 비트 정보 및 데이터 내용의 데이터 스토리지 포맷을 가진다.
본 발명에서, 데이터 처리 방법은 이해를 위해 분산 처리 시스템의 대응하는 부분을 참조할 수 있고, 이에 대해서는 여기서 다시 설명하지 않는다.
도 5를 참조하면, 본 발명의 실시예에서 제공하는 제어 노드 장치(20)는 분산 처리 시스템에 적용된다. 분산 처리 시스템은 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드를 더 포함하며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있다. 제어 노드 장치는 획득 유닛(201), 결정 유닛(202) 및 스케줄링 유닛(203)을 포함한다.
획득 유닛(201)은 처리될 특성 데이터의 유형 및 특성 식별자를 획득하도록 구성되어 있으며, 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 또는 제2 컴퓨팅 노드이며;
결정 유닛(202)은 획득 유닛(201)에 의해 획득된 특성 식별자에 따라 프로세스 인덱스 정보를 결정하도록 구성되어 있으며, 상기 프로세스 인덱스 정보는 처리될 특성 데이터가 속하는 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것이며;
스케줄링 유닛(203)은 결정 유닛(202)에 의해 결정된 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 또는 상기 처리될 특성 데이터를 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하도록 구성되어 있으며, 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것이며, 이에 따라 상기 홈 컴퓨팅 노드는 상기 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득한다.
처리 시간이 길고 단일 기계의 성능이 제한되는 종래 기술의 특성 트리 처리 솔루션과 비교하여, 본 발명의 실시예에서 제공하는 제어 노드 장치는 분산 처리 방식을 채택하는데, 특성 트리를 구성하지 않고도 특성 데이터의 계산이 실행될 수 있어서 처리 시간이 단축된다. 또한 특성 트리를 단일 시스템에 배치하여 처리할 필요가 없으므로 단일 기계의 제한된 성능 문제를 해결할 수 있다.
실시예에서, 획득 유닛(201)은 처리될 특성 데이터가 갱신된다는 것을 구성 갱신 노드가 모니터링하는 경우, 상기 구성 갱신 노드에 의해 푸시되는 상기 처리될 특성 데이터의 유형 및 특성 식별자를 수신하도록 구성되어 있다.
실시예에서, 획득 유닛(201)은 홈 컴퓨팅 노드 상의 처리 프로세스가 비정상인 것으로 결정하는 경우, 상기 비정상 처리 프로세스에서 처리된 특성 데이터의 유형 및 특성 식별자를 상기 처리될 특성 데이터의 유형 및 특성 식별자로 획득하도록 구성되어 있다.
실시예에서, 결정 유닛(202)은 특성 식별자 및 프로세스 인덱스 정보 간의 대응관계에 따라, 상기 특성 식별자에 대응하는 프로세스 인덱스 정보를 결정하도록 구성되어 있다.
실시예에서, 상기 처리된 특성 데이터는 버전 번호, 비트 정보 및 데이터 내용의 데이터 스토리지 포맷으로 저장된다.
본 발명에서, 제어 노드 장치는 이해를 위해 분산 처리 시스템 내의 제어 노드의 대응하는 부분을 참조할 수 있고, 이에 대해서는 여기서 다시 설명하지 않는다.
도 6은 본 발명의 실시예에 따른 제어 노드 장치(30)의 다른 실시예에 대한 개략도이다. 제어 노드 장치(20)는 분산 처리 시스템에 적용된다. 분산 처리 시스템은 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드를 더 포함하며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있다. 제어 노드 장치(30)는: 프로세서(310), 메모리(350), 입출력 장치(330)를 포함한다. 입출력 장치(330)는: 마우스, 키보드, 터치스크린 및 디스플레이를 포함할 수 있다. 메모리(350)는 리드-온리 메모리 및 랜덤 액세스 메모리를 포함할 수 있고, 프로세서(310)에 연산 명령 및 데이터를 제공한다. 메모리(350)의 일부는 비휘발성 RAM(NVRAM)을 더 포함할 수 있다.
일부의 실시에서, 메모리(350)는 다음의 요소: 실행 가능한 모듈, 또는 데이터 구조, 또는 실행 가능한 모듈 및 데이터 구조의 서브세트, 또는 실행 가능한 모듈 및 데이터 구조의 확장 세트를 저장한다.
본 발명의 실시예에서, 메모리(350)에 저장된 연산 명령을 불러냄으로써(연산 명령은 운영체제에 저장되어 있을 수 있다), 다음의 작동:
처리될 특성 데이터의 유형 및 특성 식별자를 획득하는 단계 - 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 또는 제2 컴퓨팅 노드임 - ;
상기 특성 식별자에 따라 프로세스 인덱스 정보를 결정하는 단계 - 상기 프로세스 인덱스 정보는 상기 처리될 특성 데이터가 속하는 상기 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것임 - ;
상기 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 및 상기 처리될 특성 데이터 중 하나를 상기 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하는 단계 - 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것이고, 이에 따라 상기 홈 컴퓨팅 노드가 상기 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득함 -
를 실행한다.
처리 시간이 길고 단일 기계의 성능이 제한되는 종래 기술의 특성 트리 처리 솔루션과 비교하여, 본 발명의 실시예에서 제공하는 제어 노드 장치는 분산 처리 방식을 채택하는데, 특성 트리를 구성하지 않고도 특성 데이터의 계산이 실행될 수 있어서 처리 시간이 단축된다. 또한 특성 트리를 단일 시스템에 배치하여 처리할 필요가 없으므로 단일 기계의 제한된 성능 문제를 해결할 수 있다.
프로세서(310)는 제어 노드 장치(30)의 작동을 제어한다. 프로세서(310)는 중앙처리장치(CPU)일 수 있다. 메모리(350)는 리드-온리 메모리 및 랜덤 액세스 메모리를 포함할 수 있고, 프로세서(310)에 연산 명령 및 데이터를 제공한다. 메모리(350)의 일부는 NVRAM을 더 포함할 수 있다. 사례로, 제어 노드 장치(30)의 모든 구성요소는 버스 시스템(320)에 의해 연결되며, 버스 시스템(320)은 데이터 버스를 포함할 수 있고, 전원 버스, 제어 버스, 상태 신호 버스 등을 더 포함할 수 있다. 설명의 간략화를 위해, 도면 중의 모든 유형의 버스는 버스 시스템(320)으로 표시되어 있다.
본 발명의 전술한 실시예에서 설명된 방법은 프로세서(310)에 적용될 수도 있고, 환언하면, 프로세서(310)에 의해 실시될 수도 있다. 프로세서(310)는 신호 처리 성능이 있는 집적회로일 수 있다. 사례로, 전술한 방법의 단계는 프로세서(310)에 집적된 하드웨어 논리 회로를 사용해서 실시될 수도 있고 소프트웨어의 형태의 명령을 사용해서 실시될 수 있다. 프로세서(310)는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processing, DSP), 주문형 집적회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 프로그래머블 논리 컴포넌트, 트랜지스터 논리 장치, 또는 이산 하드웨어 컴포넌트일 수 있으며, 본 발명의 실시예에서 개시된 방법, 단계 및 논리 블록도를 실시 또는 수행할 수 있다. 범용 프로세서는 마이크로프로세서일 수도 있고, 임의의 종래의 프로세스 등이 될 수도 있다. 본 발명의 실시예에서 개시된 방법의 단계는 하드웨어 디코딩 프로세서로 직접적으로 실행될 수도 있고 하드웨어 모듈과 소프트웨어 모듈을 결합하는 디코딩 프로세서에 의해 실행될 수도 있다. 소프트웨어 모듈은 당업계에 많이 보급된 저장 매체에 위치할 수 있는데, 예를 들어, 랜덤 액세스 메모리, 플래시 메모리, 리드-온리 메모리, 프로그래머블 리드-온리 메모리, 전기적으로 소거 가능한 프로그래머블 메모리, 또는 레지스터에 위치할 수 있다. 저장 매체는 메모리(350)에 위치하며, 프로세서(310)는 메모리(350) 내의 정보를 읽어내고 프로세서의 하드웨어와 결합해서 전술한 방법의 단계를 수행한다.
선택적으로, 분산 처리 시스템은 구성 갱신 노드를 더 포함한다. 프로세서(310)는: 구성 갱신 노드가 처리될 특성 데이터가 갱신된다는 것을 모니터링하는 경우, 상기 구성 갱신 노드에 의해 푸시되는 상기 처리될 특성 데이터의 유형 및 특성 식별자를 수신하도록 구성되어 있다.
선택적으로, 프로세서(310)는 홈 컴퓨팅 노드 상의 처리 프로세스가 비정상인 것으로 결정하는 경우, 상기 비정상 처리 프로세스에서 처리된 특성 데이터의 유형 및 특성 식별자를 상기 처리될 특성 데이터의 유형 및 특성 식별자로 획득하도록 구성되어 있다.
선택적으로, 프로세서(310)는 특성 식별자 및 프로세스 인덱스 정보 간의 대응관계에 따라, 상기 특성 식별자에 대응하는 프로세스 인덱스 정보를 결정하도록 구성되어 있다.
제어 노드 장치(30)는 이해를 위해 분산 처리 시스템 내의 제어 노드의 대응하는 부분을 참조할 수 있고, 이에 대해서는 여기서 다시 설명하지 않는다.
당업자라면 본 발명의 방법의 단계 중 일부 또는 전부는 하드웨어 또는 관련 하드웨어에 명령을 내리는 컴퓨터 프로그램에 의해 실행될 수 있다는 것을 이해할 수 있을 것이다. 프로그램은 컴퓨터 판독 가능형 저장 매체에 저장될 수 있다. 저장 매체는 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기디스크, 또는 광디스크가 될 수 있다.
이상으로 본 발명의 실시예에서 제공하는 분산 처리 시스템, 데이터 처리 방법 및 장치에 대해 상세히 설명하였다. 본 발명의 원리 및 실시를 본 명세서에서 특정한 예를 사용해서 설명하였으나, 전술한 실시예의 설명은 단지 본 발명의 방법 및 방법의 핵심 개념을 이해하는 데 도움을 주기 위한 것이다. 한편, 당업자는 본 발명의 개념에 따라 특정한 실시 및 애플리케이션 범위에 대해 수정을 수행할 수 있다. 결론적으로, 본 명세서의 내용은 본 발명에 대한 제한으로서 파악되어서는 안 된다.

Claims (17)

  1. 분산 처리 시스템으로서,
    제어 노드, 구성 갱신 노드, 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드를 포함하며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며,
    상기 구성 갱신 노드는 상기 단말에 의해 보고된 처리될 특성 데이터를 저장하고 상기 처리될 특성 데이터의 갱신을 모니터링하며,
    상기 제어 노드는, 상기 구성 갱신 노드가 상기 처리될 특성 데이터가 갱신되는 것을 모니터링하는 경우, 상기 구성 갱신 노드에 의해 푸시되는 상기 처리될 특성 데이터의 유형 및 특성 식별자를 수신하고, 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드 중 하나이며,
    상기 제어 노드는 상기 특성 식별자에 따라 프로세스 인덱스 정보를 결정하며, 상기 프로세스 인덱스 정보는 상기 처리될 특성 데이터가 속하는 상기 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것이며,
    상기 제어 노드는 상기 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 및 상기 처리될 특성 데이터 중 하나를 상기 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하며, 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것이며,
    상기 홈 컴퓨팅 노드는 상기 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득하는, 분산 처리 시스템.
  2. 제1항에 있어서,
    상기 제1 컴퓨팅 노드는 상기 단말에 의해 보고된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하며, 상기 처리된 특성 데이터를 상기 제2 컴퓨팅 노드의 구독 요구에 따라 상기 제2 컴퓨팅 노드에 푸시하도록 구성되어 있는, 분산 처리 시스템.
  3. 제2항에 있어서,
    상기 분산 처리 시스템은 복수의 제2 컴퓨팅 노드를 포함하며,
    상기 복수의 제2 컴퓨팅 노드 중 하나의 제2 컴퓨팅 노드는 상기 제1 컴퓨팅 노드에 의해 푸시된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하고, 상기 처리된 데이터를 다른 제2 컴퓨팅 노드의 구독 요구에 따라 상기 다른 제2 컴퓨팅 노드에 푸시하도록 구성되어 있는, 분산 처리 시스템.
  4. 제1항에 있어서,
    상기 제어 노드는, 상기 홈 컴퓨팅 노드 상의 처리 프로세스가 비정상인 것으로 결정하는 경우, 상기 비정상 처리 프로세스에서 처리된 특성 데이터의 유형 및 특성 식별자를 상기 처리될 특성 데이터의 유형 및 특성 식별자로 획득하도록 추가로 구성되어 있는, 분산 처리 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제어 노드는 특성 식별자 및 프로세스 인덱스 정보 간의 대응관계에 따라, 상기 특성 식별자에 대응하는 프로세스 인덱스 정보를 결정하도록 추가로 구성되어 있는, 분산 처리 시스템.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 분산 처리 시스템은 스토리지 노드를 더 포함하며, 상기 스토리지 노드는 상기 처리된 특성 데이터를 저장하도록 구성되어 있으며,
    상기 저장된 특성 데이터는 버전 번호, 비트 정보 및 데이터 내용의 데이터 스토리지 포맷을 가지는, 분산 처리 시스템.
  7. 데이터 처리 방법으로서,
    처리될 특성 데이터가 갱신되는 것을 구성 갱신 노드가 모니터링하는 경우, 제어 노드가, 상기 구성 갱신 노드에 의해 푸시되는 상기 처리될 특성 데이터의 유형 및 특성 식별자를 수신하는 단계 - 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드 중 하나이며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있음 - ;
    상기 제어 노드가 상기 특성 식별자에 따라 프로세스 인덱스 정보를 결정하는 단계 - 상기 프로세스 인덱스 정보는 상기 처리될 특성 데이터가 속하는 상기 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것임 - ;
    상기 제어 노드가 상기 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 및 상기 처리될 특성 데이터 중 하나를 상기 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하는 단계 - 상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것임 - ; 및
    상기 홈 컴퓨팅 노드가 상기 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득하는 단계
    를 포함하는 데이터 처리 방법.
  8. 제7항에 있어서,
    제어 노드가 처리될 특성 데이터의 유형 및 특성 식별자를 획득하는 단계는,
    상기 제어 노드가, 상기 홈 컴퓨팅 노드 상의 처리 프로세스가 비정상인 것으로 결정하는 경우, 상기 비정상 처리 프로세스에서 처리된 특성 데이터의 유형 및 특성 식별자를 상기 처리될 특성 데이터의 유형 및 특성 식별자로 획득하는 단계
    를 포함하는, 데이터 처리 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 제어 노드가 상기 특성 식별자에 따라 프로세스 인덱스 정보를 결정하는 단계는,
    상기 제어 노드가 특성 식별자 및 프로세스 인덱스 정보 간의 대응관계에 따라, 상기 특성 식별자에 대응하는 프로세스 인덱스 정보를 결정하는 단계
    를 포함하는, 데이터 처리 방법.
  10. 제7항 또는 제8항에 있어서,
    상기 처리된 특성 데이터는 버전 번호, 비트 정보 및 데이터 내용의 데이터 스토리지 포맷으로 저장되는, 데이터 처리 방법.
  11. 제어 노드 장치로서,
    처리될 특성 데이터가 갱신되는 것을 구성 갱신 노드가 모니터링하는 경우, 상기 구성 갱신 노드에 의해 푸시되는 상기 처리될 특성 데이터의 유형 및 특성 식별자를 수신하도록 구성되어 있는 획득 유닛 - 상기 유형은 상기 처리될 특성 데이터의 홈 컴퓨팅 노드를 식별하기 위한 것이고, 상기 홈 컴퓨팅 노드는 제1 컴퓨팅 노드 및 제2 컴퓨팅 노드 중 하나이며, 상기 제1 컴퓨팅 노드는 단말에 의해 보고된 특성 데이터 및 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있으며, 상기 제2 컴퓨팅 노드는 제1 컴퓨팅 노드에 의해 생성된 특성 데이터 및 상기 제어 노드에 의해 할당된 특성 데이터를 처리하도록 구성되어 있음 - ;
    상기 획득 유닛에 의해 획득된 특성 식별자에 따라 프로세스 인덱스 정보를 결정하도록 구성되어 있는 결정 유닛 - 상기 프로세스 인덱스 정보는 상기 처리될 특성 데이터가 속하는 상기 홈 컴퓨팅 노드 상의 처리 프로세스를 지시하기 위한 것임 - ;
    상기 결정 유닛에 의해 결정된 프로세스 인덱스 정보에 따라, 상기 처리될 특성 데이터의 데이터 인덱스 정보 및 상기 처리될 특성 데이터 중 하나를 상기 홈 컴퓨팅 노드 상의 처리 프로세스에 스케줄링하도록 구성되어 있는 스케줄링 유닛
    을 포함하며,
    상기 데이터 인덱스 정보는 상기 처리될 특성 데이터를 획득하기 위해 상기 홈 컴퓨팅 노드에 명령하기 위한 것이며, 이에 따라 상기 홈 컴퓨팅 노드는 상기 처리될 특성 데이터를 처리하여 처리된 특성 데이터를 획득하는, 제어 노드 장치.
  12. 제11항에 있어서,
    상기 획득 유닛은, 상기 홈 컴퓨팅 노드 상의 처리 프로세스가 비정상인 것으로 결정하는 경우, 상기 비정상 처리 프로세스에서 처리된 특성 데이터의 유형 및 특성 식별자를 상기 처리될 특성 데이터의 유형 및 특성 식별자로 획득하도록 구성되어 있는, 제어 노드 장치.
  13. 제11항 또는 제12항에 있어서,
    상기 결정 유닛은 특성 식별자 및 프로세스 인덱스 정보 간의 대응관계에 따라, 상기 특성 식별자에 대응하는 프로세스 인덱스 정보를 결정하도록 구성되어 있는, 제어 노드 장치.
  14. 제11항 또는 제12항에 있어서,
    상기 처리된 특성 데이터는 버전 번호, 비트 정보 및 데이터 내용의 데이터 스토리지 포맷으로 저장되는, 제어 노드 장치.
  15. 삭제
  16. 삭제
  17. 삭제
KR1020187032480A 2016-05-09 2017-05-05 분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치 KR102126320B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610303417.4A CN107357639B (zh) 2016-05-09 2016-05-09 一种分布式处理系统、数据处理的方法及设备
CN201610303417.4 2016-05-09
PCT/CN2017/083171 WO2017193873A1 (zh) 2016-05-09 2017-05-05 一种分布式处理系统、数据处理的方法及控制节点设备

Publications (2)

Publication Number Publication Date
KR20180134956A KR20180134956A (ko) 2018-12-19
KR102126320B1 true KR102126320B1 (ko) 2020-06-24

Family

ID=60266320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032480A KR102126320B1 (ko) 2016-05-09 2017-05-05 분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치

Country Status (5)

Country Link
US (1) US10432455B2 (ko)
EP (1) EP3457278B1 (ko)
KR (1) KR102126320B1 (ko)
CN (1) CN107357639B (ko)
WO (1) WO2017193873A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936942B1 (ko) * 2017-08-28 2019-04-09 에스케이텔레콤 주식회사 분산형 컴퓨팅 가속화 플랫폼 장치 및 분산형 컴퓨팅 가속화 플랫폼 운영 방법
CN109542338B (zh) * 2018-10-19 2022-02-18 郑州云海信息技术有限公司 一种实现分布式存储系统中节点信息一致性方法及装置
CN111090514B (zh) * 2018-10-24 2023-06-20 阿里巴巴集团控股有限公司 一种分配计算能力的方法及系统
WO2020113405A1 (en) * 2018-12-04 2020-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Configuration updates of service functions in service-based network architecture
CN112104706B (zh) * 2020-08-24 2022-12-20 中国银联股份有限公司 分布式系统中模型发布方法、装置、设备、存储介质
CN113435462B (zh) * 2021-07-16 2022-06-28 北京百度网讯科技有限公司 定位方法、装置、电子设备和介质
CN113946294A (zh) * 2021-10-29 2022-01-18 蜂巢科技(南通)有限公司 一种分布式储存系统及其数据处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030164A (ja) 2001-07-11 2003-01-31 Hitachi Ltd 計算機システムおよび計算ノード
US20040063405A1 (en) 2002-10-01 2004-04-01 Young-Wun Song Method and apparatus for displaying positions of home network appliances
CN102904919A (zh) * 2011-07-29 2013-01-30 国际商业机器公司 流处理方法和实现流处理的分布式系统
US20150333978A1 (en) * 2014-05-19 2015-11-19 Inventec Appliances Corp. System, method and computer readable media storage program therein for allocating cloud resource

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5104489B2 (ja) * 2008-04-03 2012-12-19 日本電気株式会社 分散イベント検出システム、分散イベント検出方法、及び分散イベント検出用プログラム
KR101463678B1 (ko) * 2010-07-21 2014-12-04 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 신뢰되지 않는 컴퓨팅 노드들에 의해 수행된 작업의 검증
CN102063330B (zh) * 2011-01-05 2013-04-24 北京航空航天大学 一种大规模并行程序性能数据采集方法
CN102360310B (zh) * 2011-09-28 2014-03-26 中国电子科技集团公司第二十八研究所 一种分布式系统环境下的多任务进程监视方法
CN104077188A (zh) * 2013-03-29 2014-10-01 西门子公司 一种用于任务调度的方法和装置
CN103455633A (zh) * 2013-09-24 2013-12-18 浪潮齐鲁软件产业有限公司 一种海量网络发票明细数据分布式分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030164A (ja) 2001-07-11 2003-01-31 Hitachi Ltd 計算機システムおよび計算ノード
US20040063405A1 (en) 2002-10-01 2004-04-01 Young-Wun Song Method and apparatus for displaying positions of home network appliances
CN102904919A (zh) * 2011-07-29 2013-01-30 国际商业机器公司 流处理方法和实现流处理的分布式系统
US20150333978A1 (en) * 2014-05-19 2015-11-19 Inventec Appliances Corp. System, method and computer readable media storage program therein for allocating cloud resource

Also Published As

Publication number Publication date
KR20180134956A (ko) 2018-12-19
CN107357639B (zh) 2019-09-17
US20180241623A1 (en) 2018-08-23
EP3457278B1 (en) 2021-06-30
EP3457278A1 (en) 2019-03-20
CN107357639A (zh) 2017-11-17
US10432455B2 (en) 2019-10-01
EP3457278A4 (en) 2020-01-22
WO2017193873A1 (zh) 2017-11-16

Similar Documents

Publication Publication Date Title
KR102126320B1 (ko) 분산 처리 시스템, 데이터 처리 방법 및 제어 노드 장치
CN108683720B (zh) 一种容器集群服务配置方法及装置
CN109684358B (zh) 数据查询的方法和装置
CN110737658A (zh) 数据分片存储方法、装置、终端及可读存储介质
US10740198B2 (en) Parallel partial repair of storage
CN109167819B (zh) 数据同步系统、方法、装置及存储介质
US10282245B1 (en) Root cause detection and monitoring for storage systems
CN114791907B (zh) 一种多租户共享数据的处理方法和系统
CN109885384B (zh) 任务并行度优化方法、装置、计算机设备及存储介质
WO2020094064A1 (zh) 性能优化方法、装置、设备及计算机可读存储介质
WO2024119792A1 (zh) 一种视频数据存储及分析方法、装置、系统、通信设备和存储介质
CN109510730A (zh) 分布式系统及其监控方法、装置、电子设备及存储介质
US10223189B1 (en) Root cause detection and monitoring for storage systems
CN109522299A (zh) 数据处理方法、装置、系统及存储介质
CN113518131B (zh) 一种网络异常的传输数据容错处理方法、装置及系统
US9898357B1 (en) Root cause detection and monitoring for storage systems
CN114205424A (zh) 账单文件解压方法、装置、计算机设备和存储介质
CN112637067A (zh) 基于模拟网络广播的图并行计算系统和方法
TWI735520B (zh) 調整元件邏輯執行緒數量的方法及裝置
CN112799856A (zh) 一种用于获取数据的方法及装置
CN110879774A (zh) 一种网元性能数据告警方法及装置
CN104978344A (zh) 一种数据运算方法及装置
US20090157715A1 (en) Managing large collection of interlinked xml documents
CN108718285A (zh) 云计算集群的流量控制方法、装置及服务器
US20240054132A1 (en) Computer system and query processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant