KR20150031470A - 대규모 데이터 프로세싱 시스템들에 있어서의 분리된 어노멀리 검출을 위한 방법 - Google Patents

대규모 데이터 프로세싱 시스템들에 있어서의 분리된 어노멀리 검출을 위한 방법 Download PDF

Info

Publication number
KR20150031470A
KR20150031470A KR20157003603A KR20157003603A KR20150031470A KR 20150031470 A KR20150031470 A KR 20150031470A KR 20157003603 A KR20157003603 A KR 20157003603A KR 20157003603 A KR20157003603 A KR 20157003603A KR 20150031470 A KR20150031470 A KR 20150031470A
Authority
KR
South Korea
Prior art keywords
data processing
processing device
quality
service
bucket
Prior art date
Application number
KR20157003603A
Other languages
English (en)
Inventor
에르완 르 메레르
질르 스트롭
로마릭 뤼디나르
브뤼노 쎄리꼴라
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP12306237.4A external-priority patent/EP2720406A1/en
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150031470A publication Critical patent/KR20150031470A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0659Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0847Transmission error

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 분리된 어노멀리들의 검출에 관련되며, 대규모 어노멀리들이 발생한 경우에 어노멀리 관리 시스템의 과부하를 야기하지 않고 그리고 사용자 개입에 의존하지 않는 자동 방식으로 동작한다.

Description

대규모 데이터 프로세싱 시스템들에 있어서의 분리된 어노멀리 검출을 위한 방법{METHOD FOR ISOLATED ANOMALY DETECTION IN LARGE-SCALE DATA PROCESSING SYSTEMS}
본 발명은 일반적으로, 다수의(예를 들어, 수천, 수백만) 디바이스들이 데이터를 프로세싱하여 데이터 프로세싱 서비스를 제공하는 대규모 데이터 프로세싱 시스템들에 관한 것이다. 특히, 본 발명의 기술분야는 그러한 대규모 데이터 프로세싱 시스템들에 있어서 분리된 어노멀리(anomaly)들의 검출에 관한 것이다.
본 발명의 컨텍스트에 있어서의 대규모 데이터 프로세싱 시스템의 예는, 텔레비전, 인터넷, 및 전화 서비스들이 수백만의 가입자들에게 제공되는(여기서, 시청각 서비스들의 수신 및 렌더링이 데이터 프로세싱임) 트리플-플레이 시청각 서비스 제공 시스템이다. 대규모 데이터 프로세싱 시스템의 다른 예는, 수천개의 저장 노드들이 저장 서비스를 제공하는(여기서, 저장 서비스의 렌더링이 데이터 프로세싱임) (분산된) 데이터 저장 시스템이다. 오퍼레이터의 수백만의 클라이언트들에 의해 향유된 트리플-플레이 서비스들의 서비스 품질(QoS)에 있어서의 어노멀리들을 검출하기 위하여 또는 분산된 데이터 저장 시스템에서의 저장 디바이스들의 기능에 있어서의 어노멀리들을 검출하기 위하여, 어노멀리 검출 시스템의 부분인 중앙집중형 에러 검출 서버들은 데이터 프로세싱 디바이스들을 모니터링한다. 여기서, 분리된 어노멀리 검출이 문제가 된다. 이는, 접속되는 수백만의 데이터 프로세싱 디바이스들로 인해, 어노멀리 관리 시스템이 데이터 프로세싱 디바이스들로부터 어노멀리 관리 시스템으로의 개별 메시지 송신을 가능케 할 경우에 발생할 수 있는 과부하에 대해 어노멀리 관리 시스템이 자신을 보호해야 하기 때문이다. 예를 들어, 통신 경로가 임의의 이유로 중단되었으면, 적어도 부분적으로 이 통신 경로를 통해 (트리플-플레이 예에 대해) 서빙되거나 또는 (분산된 데이터 저장 예에 대해) 상호통신하는 수천 또는 수백만의 데이터 프로세싱 디바이스들은 (트리플-플레이 예에 대해) QoS(서비스 품질)의 갑작스런 감소 또는 (분산된 저장 예에 대해) 접속의 갑작스런 손실을 경험할 것이고, 또한 에러 메시지들을 어노멀리 관리 시스템으로 엄청나게 전송할 것이다. 그 후, 어노멀리 관리 시스템은 매우 단기간에 도달하는 대다수의 메시지를 감당할 수 없을 것이다. 따라서, 이들 대규모 데이터 프로세싱 시스템들에 대해, 오퍼레이터들은 개별 디바이스들이 에러 메시지들을 어노멀리 관리 시스템으로 송신하는 바로 그 가능성을 제한하는 경향이 있다. TR-069 또는 SNMP(Simple Network Management Protocol) 프로토콜들과 같은 원격 관리 기술들이 존재한다. 이들 프로토콜들은 서버-클라이언트 지향식이며, 즉, 서버가 다수의 데이터 프로세싱 디바이스들을 원격으로 관리한다. 본질적으로, 이러한 중앙집중형 원격 관리 아키텍처는, 단일 서버가 그러한 거대한 디바이스 세트를 효율적으로 모니터링할 수 없을 때에 수백만의 데이터 프로세싱 디바이스들로 스케일링하지 않는다. 따라서, 종래기술에 따르면, 상이한 모니터링 아키텍처가 착수되며, 여기서, 모니터링 시스템은 서비스 분산 네트워크 토폴로지의 분산 경로들에서 일부 데이터 프로세싱 디바이스들을 빈번하게 모니터링하여 이들 데이터 프로세싱 디바이스들이 계속 정확하게 기능하는지를 확인한다. 명백하게, 어노멀리 관리 시스템의 과부하에 대한 이러한 보호 장벽은 임의의 세립 어노멀리 검출(fine grain anomaly detection)을 불가능하게 한다. 그 후, 개별 기반의 어노멀리 검출이 불가능하게 되었다.
어노멀리가 발생할 경우, 어노멀리는 상당수의 데이터 프로세싱 디바이스들이 동일한 어노멀리를 경험할 경우에 있어서 네트워크 관련 이슈에 기인할 수도 있거나, 또는 국부적인 문제에 기인하여 오직 단일의 데이터 프로세싱 디바이스에 또는 매우 제한된 수의 데이터 프로세싱 디바이스들에게 영향을 줄 수도 있다. 트리플-플레이 서비스 제공 시스템인 대규모 데이터 프로세싱 시스템의 제1 예를 취하면, 서비스 오퍼레이터가 다수의 데이터 프로세싱 디바이스들에게 영향을 주는 어노멀리들의 검출에 논리적으로 우선순위를 주는 경향이 있을 것이더라도, QoS의 분리된 감소를 경험하는 서비스 사용자에 대해, 이것은 매우 불만족스러운 상황이다. 그 사용자는 서비스 오퍼레이터와 접촉하려고 시도하는 것 이외의 다른 옵션을 갖지 않는다. 이는 시간 소비적이고 번거로우며; 종종, 사용자는 그 자신을 서비스 오퍼레이터의 콜 센터로 어드레싱해야 한다. 일단 불안한 사용자가 마침내 콜 센터 전화 오퍼레이터와 접촉하면, 콜 센터 전화 오퍼레이터는 사용자에게, 팩토리 세팅들(factory settings)로의 리턴 및 디바이스 재부팅과 같은 상이한 조작들을 시도하도록 지시할 것이다. 다수의 시행 이후에도 사용자의 서비스 수신이 여전히 오류상태이면, 유지보수 기술자가 마지막 수단으로서 사용자의 구내로 개입할 수 있다. 그러한 절차는 사용자를 매우 성가시게 하고, 이는 발생된 문제를 해결하는 것을 도울 수 있는 액션들을 자신에게 취해야 한다. 서비스 오퍼레이터들은 만족하지 못한 사용자들을 그 만큼 인식하지 않는다. 개별 문제가 기술적 관점에서 사소한 것으로 고려될 수 있더라도, 개별 문제들은 더 큰 스케일 디멘젼을 갖는다. 만족하지 못한 그리고 절망한 사용자들은 오퍼레이터의 명성을 파괴할 수 있는데, 왜냐하면 인간 본성적으로 서비스 오퍼레이터의 고객 또는 잠재 고객들인 다른 개인들에게 불만족스런 경험을 전달하기 때문이다. 분산된 데이터 저장 시스템인 대규모 데이터 프로세싱 시스템의 제2 예를 취하면, 저장 "노드" 또는 디바이스는, 저장 매체 고장, 전력 서지, CPU 과충전에 의해 야기되는 국부적인 문제들을 조우할 수 있다. 이는 그 성능, 또는 달리 말하면, 전달하는 서비스의 서비스 품질(QoS)을 감소시키며, 저장 디바이스에 의해 전달된 서비스는 저장 서비스이다.
따라서, 대규모 데이터 프로세싱 시스템들에 대해, 대규모 어노멀리들이 발생한 경우에 어노멀리 관리 시스템의 과부하를 야기하지 않고 자동 방식으로 동작하고 그리고 사용자 개입에 의존하지 않는 분리된 어노멀리들의 검출을 위한 더 우수한 솔루션에 대한 필요성이 존재한다.
본 발명은 종래기술의 불편들 중 일부를 경감하는 것을 목적으로 한다.
본 발명은 서비스를 렌더링하는 데이터 프로세싱 디바이스에 있어서 분리된 어노멀리 검출의 방법을 제안하며, 그 방법은 데이터 프로세싱 디바이스에 의해 구현되며, 데이터 프로세싱 디바이스를 데이터 프로세싱 디바이스에 의해 렌더링된 적어도 하나의 서비스의 서비스 품질의 함수로서 소스 품질 버킷에 제1 삽입하는 단계 ― 품질 버킷은 적어도 하나의 서비스에 대한 서비스 품질의 미리 정의된 범위를 갖는 데이터 프로세싱 디바이스들의 그룹을 나타냄 ―; 데이터 프로세싱 디바이스에 의해 렌더링된 서비스 품질이 제1 품질 버킷의 미리 정의된 범위를 넘어 진화(evolve)하면 데이터 프로세싱 디바이스를 목적지 품질 버킷에 제2 삽입하는 단계; 및 소스 품질 버킷이 데이터 프로세싱 디바이스의 품질 버킷과 동일한 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스들의 총 수를 나타내는 카운터가 미리 결정된 값 미만일 경우, 분리된 어노멀리 검출을 나타내는 메시지를 전송하는 단계를 포함한다.
본 발명의 방법의 특정 실시예에 따르면, 그 방법은 소스 품질 버킷에 대해 및 제2 삽입의 타임스탬프에 대해 동작되는 해시 함수에 따라 카운터를 저장하는 것을 담당하는 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스의 어드레스를 결정하는 것을 더 포함하고, 타임스탬프는 데이터 프로세싱 디바이스들 사이에서 공유된 공통 클록으로부터 도출된 시간 슬롯을 나타낸다.
본 발명의 방법의 특정 실시예에 따르면, 데이터 프로세싱 디바이스는 품질 버킷에 대한 엔트리 포인트를 나타내는 루트 데이터 프로세싱 디바이스들을 포함하는 데이터 프로세싱 디바이스들의 네트워크에서 구성되고, 제2 삽입은 그 목적지 품질 버킷의 목적지 루트 데이터 프로세싱 디바이스의 어드레스를 획득하기 위해 그 소스 품질 버킷의 제1 루트 데이터 프로세싱 디바이스로 제1 요청을 송신하는 것을 더 포함한다.
본 발명의 방법의 특정 실시예에 따르면, 그 방법은 데이터 프로세싱 디바이스를 목적지 품질 버킷에 삽입하기 위해 그 목적지 품질 버킷의 목적지 루트 데이터 프로세싱 디바이스로 제2 요청을 송신하는 것을 더 포함한다.
본 발명의 방법의 특정 실시예에 따르면, 데이터 프로세싱 디바이스들의 네트워크는 2레벨 오버레이 구조에 따라 구성되고, 그 2레벨 오버레이 구조는 루트 데이터 프로세싱 디바이스들 사이에 네트워크 접속들을 구성하는 하나의 상부 오버레이, 및 동일한 품질 버킷의 데이터 프로세싱 디바이스들 사이에 네트워크 접속들을 구성하는 다중의 저부 오버레이들을 포함한다.
본 발명의 방법의 특정 실시예에 따르면, 데이터 프로세싱 디바이스에 의해 렌더링된 서비스는 데이터 저장 서비스이다.
본 발명의 방법의 특정 실시예에 따르면, 데이터 프로세싱 디바이스에 의해 렌더링된 서비스는 시청각 데이터 렌더링 서비스이다.
본 발명은 또한, 서비스를 렌더링하는 데이터 프로세싱 디바이스에 대한 분리된 어노멀리 검출 장치와 관련되며, 그 장치는 데이터 프로세싱 디바이스를 데이터 프로세싱 디바이스에 의해 렌더링된 적어도 하나의 서비스의 서비스 품질의 함수로서 소스 품질 버킷에 제1 삽입하는 수단 ― 품질 버킷은 적어도 하나의 서비스에 대한 서비스 품질의 미리 정의된 범위를 갖는 데이터 프로세싱 디바이스들의 그룹을 나타냄 ―; 데이터 프로세싱 디바이스에 의해 렌더링된 서비스 품질이 제1 품질 버킷의 미리 정의된 범위를 넘어 진화하면 데이터 프로세싱 디바이스를 목적지 품질 버킷에 제2 삽입하는 수단; 및 소스 품질 버킷이 데이터 프로세싱 디바이스의 품질 버킷과 동일한 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스들의 총 수를 나타내는 카운터가 미리 결정된 값 미만일 경우, 분리된 어노멀리 검출을 나타내는 메시지를 전송하는 수단을 포함한다.
본 발명에 따른 장치의 특정 실시예에 따르면, 그 장치는 소스 품질 버킷에 대해 및 제2 삽입의 타임스탬프에 대해 동작되는 해시 함수에 따라 카운터를 저장하는 것을 담당하는 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스의 어드레스를 결정하는 수단을 더 포함하고, 타임스탬프는 데이터 프로세싱 디바이스들 사이에서 공유된 공통 클록으로부터 도출된 시간 슬롯을 나타낸다.
본 발명에 따른 장치의 특정 실시예에 따르면, 데이터 프로세싱 디바이스는 품질 버킷에 대한 엔트리 포인트를 나타내는 루트 데이터 프로세싱 디바이스들을 포함하는 데이터 프로세싱 디바이스들의 네트워크에서 구성되고, 제2 삽입은 그 목적지 품질 버킷의 목적지 루트 데이터 프로세싱 디바이스의 어드레스를 획득하기 위해 그 소스 품질 버킷의 제1 루트 데이터 프로세싱 디바이스로 제1 요청을 송신하는 수단을 더 포함한다.
본 발명에 따른 장치의 특정 실시예에 따르면, 그 장치는 데이터 프로세싱 디바이스를 목적지 품질 버킷에 삽입하기 위해 그 목적지 품질 버킷의 목적지 루트 데이터 프로세싱 디바이스로 제2 요청을 송신하는 수단을 더 포함한다.
본 발명에 따른 장치의 특정 실시예에 따르면, 데이터 프로세싱 디바이스들의 네트워크는 2레벨 오버레이 구조에 따라 구성되고, 그 2레벨 오버레이 구조는 루트 데이터 프로세싱 디바이스들 사이에 네트워크 접속들을 구성하는 하나의 상부 오버레이, 및 동일한 품질 버킷의 데이터 프로세싱 디바이스들 사이에 네트워크 접속들을 구성하는 다중의 저부 오버레이들을 포함한다.
본 발명에 따른 장치의 특정 실시예에 따르면, 데이터 프로세싱 디바이스에 의해 렌더링된 서비스는 데이터 저장 서비스이다.
본 발명에 따른 장치의 특정 실시예에 따르면, 데이터 프로세싱 디바이스에 의해 렌더링된 서비스는 시청각 데이터 렌더링 서비스이다.
본 발명의 더 많은 이점들은 본 발명의 특정의 비한정적인 실시예들의 설명을 통해 나타날 것이다.
실시예들은 다음의 도면들을 참조하여 설명될 것이다.
도 1은 대규모 데이터 프로세싱 시스템의 예시적인 네트워크 토폴로지를 도시하고, 분리된 어노멀리가 검출되거나 되지 않는 상이한 경우들을 예시한다.
도 2는 본 발명의 방법을 예시한다.
도 3은 2개의 서비스들의 서비스 품질을 모니터링하기 위해 본 발명에서 사용될 수 있는 2차원 상부 오버레이 구조의 예를 예시한다.
도 4는 제공된 솔루션의 스케일가능성(scalability)을 증가시키기 위해 본 발명에서 사용될 수 있는 상부 오버레이 구조 및 저부 오버레이 구조 사이의 계층구조를 예시하며, 그 구조들은 노드들 또는 데이터 프로세싱 디바이스들로 하여금 일 품질 버킷으로부터 다른 품질 버킷으로 이동할 경우에 효율적으로 네비게이션하게 한다.
도 5는 본 발명의 방법을 구현하는 시스템에서 사용될 수 있는 장치 및 디바이스를 도시한다.
도 6은 특정 실시예에 따른 본 발명의 방법을 플로우 차트의 형태로 예시한다.
본 문서에 있어서는, '에러 검출'보다는 용어 '어노멀리 검출'이 사용된다. 이는 의도적으로 한 것이다. 실제로, 어노멀리는 QoS에 있어서 '비정상적인' 변화로서 고려된다. 그러한 어노멀리는 긍정적 (더 우수한 QoS)이거나 부정적(더 열악한 QoS)일 수 있으며, 따라서, '에러' 여부가 구별되어야 한다. 어노멀리 모니터링 목적들을 위해, 에러 검출 이외에, 예를 들어 분쟁조정의 목적으로, 노드가 더 우수한 QoS를 가짐을 검출하는 것에 또한 흥미가 있을 수 있다.
데이터 프로세싱 시스템들에 대해, 어노멀리 관리 시스템을 향한 통신 복잡도는 스케일가능성에 있어서 핵심이다. 본 문서의 종래기술 섹션에서 논의되었던 바와 같이, 세립 어노멀리 검출은 대규모 데이터 프로세싱 시스템들에 있어서 그룹화된 어노멀리 검출에 대해 트레이드 오프되는데, 왜냐하면 어노멀리 모니터링 시스템은 다수의 디바이스들로부터의 어노멀리 메시지들을 동시에 핸들링할 수 없기 때문이다. 따라서, 본 발명은, 수천, 또는 심지어 수백만의 디바이스들이 하나 이상의 데이터 프로세싱 서비스들을 제공하는 대규모 데이터 프로세싱 시스템들에서 사용하기 위해 특히 잘 스케일링하는 분리된 어노멀리 검출을 위한 솔루션을 정의한다. 그 스케일가능성과 관련된 본 발명의 중요한 특징은, 디바이스들이 제공하는 데이터 프로세싱 서비스의 QoS에 있어서의 현저한 열화 또는 그와 반대의 개선을 디바이스들이 조우할 경우 어노멀리의 검출 시 알람들의 유발을 최소화하는 그 능력이다. 본 발명의 목적은, QoS 열화/개선이 디바이스 또는 디바이스들의 제한된 세트에 특정인 것으로서 평가되는 경우들에 대한 알람 리포팅을 감소시키는 것이다. 이러한 목적을 위해, 본 발명은, 대규모 또는 초대규모를 포함한 임의의 규모의 데이터 프로세싱 시스템에 적합한 어노멀리 검출의 자가-구성 방법을 제안한다.
도 1은 대규모 데이터 프로세싱 시스템의 예시적인 네트워크 토폴로지를 도시하고, 분리된 어노멀리가 검출되거나 되지 않는 상이한 경우들을 예시한다. 오직 하나의 서비스(예를 들어: 하나의 텔레비전 수신 서비스)가 데이터 프로세싱 시스템 노드들(이하, '노드들')에 대해 모니터링되면, 가능한 QoS는, 0(최소 품질)부터 1(최대 품질)까지의 QoS를 분류하기 위한 다수의 미리 정의된(여기서: 10) 품질 버킷들을 나타내는 '품질 버킷들'의 라인으로서 표현될 수 있다. 참조부호 10은 2개의 노드들 A(100) 및 B(101)에 대한 그러한 분류를 나타낸다. 참조부호들 12-15는 노드들에 대한 QoS의 진화의 상이한 시나리오들을 나타낸다. 시작부에서, 참조부호 10에 따르면, 노드들 A 및 B는, 정확하게 동일한 QoS를 갖지 않을지라도, 동일한 품질 버킷에 있다. t+1(참조부호 11)에서, QoS에서의 (추가로 논의될 바와 같이 x+d의) 상이한 변화들이 이들 노드들 중 적어도 하나에 대해 발생한다. 시나리오(12)에 따르면, 노드 A는, 노드 A가 노드 B와 동일한 QoS를 갖도록 QoS의 작은 변화를 경험한다. 하지만, 그 변화는 노드 A를 다른 품질 버킷으로 변화시키기에 충분하진 않으며; 그 변화는 버킷 바운드들 내부에 머무르고 어떠한 추가적인 액션도 착수되지 않는다, 즉, 어떠한 어노멀리도 검출되지 않는다. 하지만, 시나리오들(13 내지 15)에 따르면, 노드 A는, 다른 품질 버킷으로 진화하기에 충분한 QoS 변화를 경험한다. 그러나, 본 발명에 따르면, 어노멀리를 검출하기 위한 조건들 중 하나는 진화가 충분히 중대해야 한다는 것이고, 이는 시나리오(13)에 대한 경우는 아니고 시나리오들(14 및 15)에 대한 경우이다. 따라서, 시나리오(13)에 따르면, 어떠한 어노멀리도 검출되지 않는다. 시나리오들(14 및 15)에 대해, 그 진화는 충분히 중대하지만 분리된 어노멀리는 당해 노드의 진화가 분리된 경우인 경우에만 검출되어야 하며; 그렇지 않고 다수의 노드들이 동일한 진화를 경험한다면, 그 진화는, 분리되지 않으며, 오히려 네트워크에서 발생하는 변화에 기인하거나 또는 예를 들어 버기(buggy) 소프트웨어 업데이트와 같은 거대한 시스템 에러에 기인할 것이다. 그 경우, 충분한 디바이스들이 동일한 어노멀리를 경험하고 있어서, 네트워크 오퍼레이터가 다른 수단으로 문제를 평가할 수 있다고 가정할 수 있으며 또한 본 명세서에서 기술하는 세립성 메커니즘(fine grained mechanism)을 필요로 하지 않는다. 시나리오(14)에 따르면, 노드 A의 진화는 분리된 경우가 아닌데, 왜냐하면 노드 B가 동일한 진화를 조우하였기 때문이다. 따라서, 시나리오(14)에 대해, 어떠한 어노멀리도 검출되지 않는데, 왜냐하면 미리 결정된 수(여기서: 예로서 2개)보다 많은 노드가 동일한 진화를 조우하여 어노멀리가 분리된 것으로서 고려되지 않기 때문이다. 하지만, 시나리오(15)에 따르면, 오직 노드 A만이 QoS의 충분하게 중대한 진화를 조우하였다. 따라서, 어노멀리가 검출된다. '충분히 중대한'이라는 개념은 미리 정의된 임계치로서 구현된 특정 실시예에 따르며, 도 2와 함께 제공된 설명을 참조한다. 변형 실시예에 따르면, 홀트-윈터스 예측 방법(Holt-Winters forecasting method)이 사용된다. 홀트-윈터스 방법이 사용되면, QoS의 k개의 최종 값들의 리스트가 노드마다 기억된다. 이 리스트를 사용하여, 다음 값이 예측된다. 실제값이 예측값과 너무 떨어져 있으면, 어노멀리가 검출된다. 또다른 변형 실시예에 따르면, Cusum 방법이 사용된다. 홀트-윈터스와 유사하게, k개의 최종 QoS 값들의 리스트는 노드 마다 기억되지만, 홀트-윈터스는 이 리스트를 이용하여 다음 값을 예측하고, Cusum은 이들 값들에서의 경향성들을 검출하여 그 경향성이 전술된 노드 A와 유사한 QoS 값을 갖는 미리 정의된 수의 QoS 값들이 존재함을 나타내면 어노멀리가 검출된다. Cusum은 경향성들에 기초하지만 홀트-윈터스는 정시의 변화를 검출한다. 이것들은 오퍼레이터의 소망들에 따라 정의될 수 있는 예시적인 변형 실시예들이다.
도 2는 본 발명의 방법의 특정 실시예를 예시한다. 노드가 그 품질 버킷을 떠나고(21) t(또는 추가로 논의될 바와 같이 x)에서의 QoS와 t+1(또는 x+d)에서의 QoS 사이의 거리의 진화가 미리 결정된 임계치보다 높으면(22), 그리고 미리 결정된 수 미만의 노드들이 동일한 진화를 조우하였으면(23), 어노멀리가 검출된다(24). 대안적으로, 테스트 단계들(21 및 22)은 QoS 변화가 미리 결정된 임계치보다 높은지의 결정의 단일 테스트 단계로 결합된다.
디지털 데이터 프로세싱 기술들은 임계치들을 조우하기 위한 특이성을 가지며, 이 임계치들 미만에서, 데이터 프로세싱은 더 이상 가능하지 않다. 텔레비전 기술과 유사하게, 아날로그 TV 수신기의 사용자가 다량의 노이즈를 포함하는 아날로그 신호로부터 텔레비전 프로그램을 계속 시청하는 것은 여전히 가능하지만, 디지털 TV 수신기는 디지털 신호에서의 노이즈의 양이 중대하다면 이미지를 렌더링하는 것이 가능하지 않으며; 즉, 임계치가 존재하며, 그 임계치 미만에서, 디지털 신호 수신은 더 이상 가능하지 않다. 이러한 팩터는, QoS의 진화가 중대한지 여부를 결정할 때 고려될 수 있고 어노멀리를 검출할 수 있다. 예를 들어, 0.4의 QoS로도 (예를 들어, 에러 정정 방법의 적용을 통해) 수신기가 디지털 신호를 판독할 경우에 발생하는 에러를 정정하는 것이 여전히 가능하기 때문에, 0.6으로부터 0.4로의 QoS의 진화가 수용가능하다면, 0.4의 0.3으로의 진화는, 수신기가 0.4의 QoS 미만의 디지털 신호를 이용하는 것이 더 이상 가능하지 않기 때문에 수용가능하지 않을 것이다. 이러한 지식은 또한 품질 버킷들의 분포를 정의하는데 사용될 수 있다. 상기 예에 따르면, 단일의 품질 버킷은 0 내지 0.4의 QoS 범위에 대해 정의될 수 있고, 다른 품질 버킷은 0.4 내지 0.6의 QoS 범위에 대해 정의될 수 있다. 따라서, 품질 버킷들의 분포는 반드시 정규적인 것은 아니다. 따라서, 변형 실시예에 따르면, 그 방법은 부가적인 OR 조건이 부가되도록 적응되며: 노드가 그 품질 버킷을 떠나고 t(또는 x)에서의 QoS와 t+1(또는 x+d)에서의 QoS 사이의 거리의 진화가 미리 결정된 임계치보다 높거나 OR 노드가 그 품질 버킷을 떠나고 미리 결정된 임계치 미만인 QoS의 값을 나타내는 품질 버킷으로 진화하면, 그리고 미리 결정된 수 미만의 노드들이 동일한 진화를 조우하였으면, 어노멀리가 검출된다. 미리 결정된 임계치는, 그 미만에서는 무에러 수신이 더 이상 가능하지 않는 값으로, 또는 그 미만에서는 수신이 더 이상 가능하지 않는 값으로 설정될 수 있다.
도 1의 예에 따르면, 오직 하나의 서비스가 모니터링된다. 실제로, 1 초과의 서비스가 모니터링될 수 있다(예를 들어, 2 이상의 텔레비전 수신 서비스들; 텔레비전 수신 서비스 및 전화 서비스). (예를 들어, 평균을 계산하기 위한 평균 함수를 이용하여) 다중의 서비스들의 모니터링을 공통 결과로 컴파일링하기 보다는 ― 이는 정보의 손실을 초래할 것임 ―, 본 발명은 다차원 품질 버킷들로 기능하도록 허용한다. 그 방법의 동작의 원리가 변하지 않지만, D 디멘젼들에서의 품질 버킷은 단지 다중의(D개) 서비스들의 모니터링을 요구할 뿐이다.
데이터 프로세싱 시스템의 중앙집중형 어노멀리 검출 서버의 과부하를 회피하기 위해, 본 발명에 따른 데이터 프로세싱 디바이스들 또는 노드들은 그들 자신을, 국부적으로는, 그 QoS를 모니터링한다. 노드들은 그들 자신을 노드들의 그룹들로 구성하고, 이 그룹들은 유사한 QoS를 갖는다. 노드가 품질 버킷을 변하게 하는 QoS의 변화를 관측하고 그 변화가 충분히 중대한 것으로 결정되면, 노드는 그 현재 QoS 그룹으로부터 다른 QoS 그룹으로 변화한다. 어노멀리가 분리되는지 여부를 알기 위해, 노드는 그 이전의 QoS에 대해 '새로운' QoS 그룹에서의 다른 노드들과 접촉한다. 동일한 QoS를 가졌던 새로운 QoS 그룹에서의 노드들의 수가 미리 결정된 임계치 미만이면, 노드는, 조우된 어노멀리가 그 노드에 국부적임, 즉, 분리형임을 고려할 수 있고 오직 그 이후에만 알람 메시지를 중앙집중형 어노멀리 검출 서버로 송신한다. 따라서, 알람 메시지의 송신때까지, 중앙집중형 어노멀리 검출 서버는 접촉되지 않았었고, 분리된 어노멀리로 인한 메시지 송신의 어떠한 과부하도 존재하지 않는다. 더욱이, 어노멀리 검출은 사용자 개입없이 자동적으로 기능한다.
상기 나타낸 바와 같이, 본 발명의 방법에 따르면, 노드들은, 일 노드에서 발생하는 어노멀리가 분리되는지 여부를 알기 위해 중앙집중형 제어기 또는 서버의 개입없이 협력한다. 유리한 실시예에 따르면, 노드들은 피어-투-피어(P2P) 방식으로 구성된다. P2P 네트워크 토폴로지는, 노드들이 서로의 어드레스들을 찾고 서로와 통신하기 위해 중앙집중형 제어기 또는 서버의 서비스들을 이용하지 않고도 서로 간에 직접 통신할 수 있기 때문에 통신 병목들을 감소시키는 이점을 부가한다. 이는 본 발명의 스케일가능한 특성에 추가로 부가한다. 이러한 P2P 네트워크 토폴로지에, 본 발명은 2가지 타입들의 오버레이들, 즉, 노드들 간의 전역 통신을 허용하는 하나의 상부 레벨 오버레이(여기서 노드들은 D 다차원 공간에 배치됨), 및 유사한 QoS를 갖는 노드들을 접속시키는 것을 담당하는 하나 또는 다수의 저부 오버레이들 ― 단, 품질 버킷 당 많아야 하나 ― 을 부가한다.
서술된 바와 같이, 품질 버킷이 변하는 노드는 다른 품질 버킷으로 이동하였을 것이고, 그 후, 이 이동이 분리된 경우 ― 이 경우, 알람이 유발될 수 있음 ― 인지를 결정하기 위해 얼마나 많은 다른 노드들이 또한 동일한 이동을 행하였는지를 결정해야 한다. 따라서, 노드는, 얼마나 많은 다른 노드들이 또한 동일한 이동을 행했는지를 알기 위해, 노드 그룹(목적지 그룹)에 자신이 삽입해야 하는 정보를 획득하고, 그 후, 목적지 그룹 내의 특정 위치(노드)를 질의하도록 주변 노드들과 통신해야 한다. 이는 일부 구성을 요구한다. 직접적인 실시예는 각각의 노드가 접촉할 수 있고 요구된 정보를 어셈블리하는 중앙집중형 서버이다. 하지만, 그러한 솔루션은 대규모 데이터 프로세싱 시스템들로 매우 스케일가능하지는 않다. 더 우수한 솔루션은, 일부 노드들이 다른 노드들의 세트들에 대한 링크 노드들의 역할을 하는 오버레이 아키텍처를 사용하는 것이다. 노드들이 중앙집중형 서버의 사용을 필요로 하지 않고 노드 어드레스들을 용이하게 찾기 위해, 분산된 해시 테이블(DHT; Distributed Hash Table)이 사용된다. DHT는 해시 테이블과 유사한 룩업 서비스를 제공하는 탈집중화된 분산 시스템의 클래스이고; (키, 값) 쌍들이 DHT에 저장되고, 임의의 참가 노드가 소정의 키와 연관된 값을 효율적으로 검색할 수 있다. 키들로부터 값들로의 매핑을 유지하기 위한 책임이, 참가자들의 세트에서의 변화가 최소량의 혼란을 야기하는 그러한 방식으로 노드들 사이에서 분산된다. 이는 DHT로 하여금 극히 큰 수의 노드들로 스케일링하게 하고 또한 연속적인 노드 도달들 및 출발들을 핸들링하게 한다. 그러한 DHT는 기본 PUT 및 GET 동작들을 제공하여, 참가 노드들 사이에서 아이템들을 분산 방식으로 각각 저장 및 검색한다. DHT를 사용하는 본 발명의 특정 실시예에 따르면, 분산된 해시 테이블은 PUT 및 GET 동작들을 제공하는 기본 인터페이스를 익스포팅하여 시스템에 참가하는 노드들에 (키; 값) 쌍들을 매핑하도록 허용한다. 그 후, 노드들은 PUT 동작으로 DHT에 값들을 삽입하고, 키와 연관된 GET을 사용하여 값들을 검색할 수 있다. 키들은, DHT의 어드레스 공간 상에서 랜덤 어드레스를 획득하기 위해, 오브젝트의 콘텐츠(또는 네임)를 해싱함으로써 획득된다. 노드들 자체는, 키들이 (동일 공간에서 그 ID에 의존하여) DHT에서의 그 포지션에 기초하여 DHT의 어드레스 공간의 그 서브세트에 들어가는 오브젝트들을 저장하는 책임을 진다는 것에 주목한다.
노드들로 하여금 대규모 데이터 프로세싱 시스템에서 효율적으로 통신하게 하는 본 발명에 따른 특히 효율적인 오버레이 아키텍처는 서술된 2레벨 P2P 네트워크 토폴로지, 즉, 하나 또는 다수의 '저부' 및 정확히 하나의 '상부' 오버레이 구조들을 이용한다. 저부 오버레이 계층에서의 특정 오버레이 구조는 근접한 QoS 값들을 갖는 노드들로 하여금 스케일가능한 방식으로 밀접하게 접속되게 하고; 각각의 노드는 오직 그 소정 그룹에서의 다른 노드들의 서브세트만을 알아서, 통신이 모든 노드들로 전파되지 않는다. 본 발명의 특정 실시예에 따르면, 저부 오버레이는 하이퍼큐브로서 구현된다. 변형 실시예에 따르면, 저부 오버레이는 Chord 또는 Pastry를 갖는 것으로서의 Plaxton 트리 구현으로서 구현된다. 상부 오버레이는 노드 그룹들 간의 신속한 통신을 허용한다. 상부 오버레이에 있어서, 노드들 자체는 그 자신을 그 QoS 값들에 따라 품질 버킷들로 구성한다. 저부 오버레이는, 각각의 노드가 모든 다른 노드들과 통신하는 것을 회피시키는데 사용된다. 저부 오버레이에 있어서, 노드들 자체는 그 자신을 QoS 값들과는 독립적으로 구성한다. 품질 버킷 당 저부 오버레이가 존재하고, 품질 버킷들은 상부 오버레이를 통해 상호접속되고; 저부 오버레이는 하이퍼큐브, Plaxton 트리, 또는 기타 등등이다. 저부 오버레이에 대해, 동일한 서비스 품질 버킷에서의 노드들로 하여금 해시 값에 기초하여 서로의 어드레스들을 찾게 하고 또한 다수의 노드들을 통과하지 않고도 효율적으로 통신하게 하는 고전적인 DHT 함수가 사용된다. 하지만, 효율적인 '표준' DHT는 저부 오버레이들을 구조화하기 위한 것이고, 상부 레벨 오버레이에 대해, DHT의 특정 버전이 본 발명의 목적을 위해 더 잘 적합되며; D차원 메트릭을 핸들링할 수 있기 위해, 본 발명의 방법은 D개의 서비스들을 동시에 모니터링할 수 있다. '표준' DHT와, 상부 오버레이용으로 사용된 본 발명에 따른 특정 DHT 변형예 간의 주요 차이는, '표준' DHT에 따르면, 해시 값이 오버레이에서의 포지션에 연관된다는 점이다. 하지만, 해싱 동작은 노드들의 공간으로의 균일한 분포를 야기하고, 이는, 노드들이 그 QoS에 따라 공간으로 분포될 것을 요구하는 정보의 손실을 야기할 것이다. 따라서, 본 발명에 따르면, 노드들은 그 개별 QoS 값들에 대하여 근접한 노드들에 상호접속되고; 그 후, 시스템은 상부 레벨 오버레이에서의 노드들의 근접성을 고려할 경우에 오리지널 QoS 분포를 준수한다. 예를 들어, 노드가 다른 품질 버킷으로 이동할 필요가 있는 포인트에서 변화하기 위해 그 QoS 값을 관측할 경우, 그 모니터링된 서비스들의 D값들에 따라 라우팅될 메시지를 전송할 것이고; 이 메시지는 이 D값 좌표가 속한 품질 버킷에 결국 도달할 것이고, 그 후, 그 노드는, 메시지가 최종적으로 도달하였던 그 동떨어진 및 새로운 품질 버킷에서의 노드들과 상호작용함으로써, 오버레이에서의 그 과거의(소스) 포지션으로부터 이 새로운(목적지) 포지션으로의 이동을 실행할 수 있을 것이다.
따라서, 상부 오버레이는 노드 그룹들 간의 효율적인 짧은 경로 네비게이션('라우팅')을 허용하고 ― 이는 노드가 품질 버킷을 변화할 경우에 바람직함 ―, 따라서, 정확한 새로운 품질 버킷으로 라우팅해야 하며, 여기서, 그 새로운 QoS에 더 가까운 값들을 갖는 노드들의 그룹(즉, 저부 오버레이)을 찾는다. 따라서, 상부 오버레이에 있어서, 서술된 바와 같이, 노드들은 그 해시 값에 따르는 대신 그 품질 버킷에 따라 구성된다. 도 3 및 도 4는 이들 상이한 개념들의 더 우수한 이해를 허용하며; 도 3은 D개의 모니터링된 서비스들(도 3 및 도 4에서 D=2)에 대응하는 D차원 공간을 핸들링하는 CAN(콘텐츠 어드레스가능 네트워크)형 DHT를 나타낸다. CAN은 인터넷형 규모에 대해 해시 테이블 기능을 제공하는 분산된 탈집중화 P2P 인프라구조이다.
2차원 상부 오버레이 구조(D=2)의 예가 도 3에 의해 예시된다. D는 QoS: 즉, 수평적으로 서비스 x의 QoS(참조부호 35) 및 수직적으로 서비스 y의 QoS(34)의 설정을 위해 모니터링되는 서비스들의 수이다. D차원 공간은 품질 버킷들로 분할된다. 품질 버킷들은, 품질 버킷들을 특정 범위의 QoS로 그룹화하는 셀들(여기서, 1 내지 4, 참조부호들 30-33)로 그룹화된다. 각각의 셀은 많아야 하나의 시드(여기서, 흑색표시된 품질 버킷(38))를 갖는다. 노드들(흑색표시된 도트들, 참조부호 39)은 그 QoS에 따라 그리드에 배치된다. 시드(38)는, 미리 결정된 임계치 초과인, 다수의 노드들(39, 품질 버킷에서의 개별 노드를 예시함)을 포함하는 품질 버킷이다. 이 임계치는, 어노멀리가 분리되는지 여부의 결정을 위해 본 발명의 설명된 특정 실시예에서 사용되는 전술된 미리 결정된 임계치와 관련되지 않는다.
도 4는 상부 오버레이(40)와 하나 또는 다수의 저부 오버레이들(41)(여기서: 4개의 저부 오버레이들이 비한정적인 예로서 여기에 예시됨) 간의 계층구조를 예시한다. 상부 오버레이에 있어서, 노드들은 그리드에서의 그 좌표들에 따라 품질 버킷들로 구성된다. 저부 오버레이에 있어서, 동일 또는 유사한 서비스 품질을 갖는 노드들의 그룹들이 DHT에 의해 구성된다. 예시의 명확화를 위해, 단순 트리 구조가 4개의 저부 레벨 오버레이들 각각에 대해 묘화된다. 상부 오버레이와 저부 오버레이들 간의 링크는, 저부 오버레이와 상부 오버레이 간의 브릿지인 '루트' 노드를 예시한 라인(43)에 의해 나타내어지고, 루트 노드는 품질 버킷의 저부 오버레이에 대한 엔트리 포인트를 나타낸다.
노드가 품질 버킷을 변화할 경우, 즉, 다른 품질 버킷으로 '이동'할 경우, DHT를 이용하여 그 저부 오버레이에 있어서 루트 노드(참조부호 42)의 룩업을 행한다. ('이동' 노드는, 예를 들어, DHT에 있어서 ID 0에 대해 책임지고 있는 DHT 노드로 라우팅할 수 있다. 변형 실시예에 따르면, 로드 밸런싱 메커니즘(load balancing mechanism)이 이용된다). 루트 노드(42)를 찾았으면, 이동 노드는, 상부 오버레이에서의 룩업 동작을 통해 그 목적지 품질 버킷의 품질 버킷 좌표들에 따라 상부 오버레이에서의 루트 노드의 어드레스를 찾도록 루트 노드에게 요청한다. 그 후, 루트 노드를, 목적지 저부 오버레이의 토폴로지에 삽입될 부트스트랩 노드로서 사용한다. 일단 목적지 저부 오버레이에 삽입되면, 새롭게 조인된 노드는 고전적인 DHT 프리미티브(primitive)들을 통해 그 저부 오버레이에서의 노드들과 통신할 수 있다. 경보 메시지를 중앙 서버로 전송할지 여부를 판정하기 위해, 새롭게 조인된 노드는 동일한 이동을 행하였던 노드들의 수를 알 필요가 있다. 그렇게 하기 위해, 이동 노드는, 그 저부 오버레이에서 동일한 이동을 행하였던 노드들의 수의 카운터를 증가시킨다. 이 카운터는, 거의 동시에 동일한 품질 버킷(소스 버킷)으로부터 현재 품질 버킷(목적지 버킷)으로 유입하는 노드들의 수를 카운팅하는데 사용된다. 노드들은 공통 시간 클럭(t)을 공유하고, 이 공통 시간 클록으로부터, 미리 결정된 지속기간(d)을 갖는 공통 클록으로부터 도출된 시간 슬롯들을 정의하는 타임스탬프들이 생성되며, 여기서, d는 본 발명을 구현하는 데이터 프로세싱 시스템에 대해 정의된 파라미터이다. 시간슬롯(x)에서 품질 버킷의 변화를 결정하였던 노드는 시간(x+d)에서(x+d는 다음 시간 슬롯을 의미함) 이 카운터의 값을 체크한다. 카운터가 미리 결정된 임계 값 이하이면, 경보가 유발된다. 그렇지 않으면, 노드는 침묵을 유지한다. 예를 들어, 노드들 간에 공유된 공통 클록 및 시간 슬롯들의 미리 결정된 지속기간에 의해 공유될 수 있는 공통 시간 라인은, 동작들이 시간 슬롯 당 시간 라인 상에서 동기화됨을 보장하며, 이는, 추가로 논의될 해시 동작(hash(previous_location:time_of_move_relative_to_time_slot))을 계산하기 위해 중요하다.
각각의 저부 오버레이(즉, 카운터 값을 호스팅하는 것을 담당하는 특정 노드)에서의 카운터의 위치는, 이동 노드의 이전 위치 및 (예를 들어, 수 분의 미리 정의된 시간슬롯 지속기간(d)을 고려하여) 이동한 시간의 DHT 해싱에 의해 결정되도록 정의된다. 즉, 타입 hash(previous_location:time_of_move_relative_to_time_slot)의 동작은, 소정의 DHT에서의 카운터의 위치를 고유하게 식별하기 위해 이동 노드들에 의해 사용된 결정 값, 즉, 타임스탬프를 제공할 것이다. 이러한 방식으로, 새로운 위치가 각각의 저부 오버레이에 있어서 이동 시간 슬롯의 과거 위치/타임스탬프의 각각의 쌍에 대해 정의되며, 이는 저부 오버레이들을 구성하는 노드들에 걸쳐 로드 밸런싱을 제공한다.
도 5는 본 발명의 방법을 구현하는 시스템에서 사용될 수 있는 디바이스(500)를 도시한다. 디바이스는 디지털 데이터 및 어드레스 버스(50)에 의해 상호접속된 다음의 컴포넌트들을 포함한다:
- 프로세싱 유닛(53)(또는 중앙 프로세싱 유닛인 CPU);
- 메모리(55);
- 커넥션(51)을 통해 네트워크에 접속된 다른 디바이스들로의 디바이스(500)의 상호접속을 위한 네트워크 인터페이스(54).
프로세싱 유닛(53)은 마이크로프로세서, 커스텀 칩, 전용(마이크로) 제어기 등으로서 구현될 수 있다. 메모리(55)는 RAM(랜덤 액세스 메모리), 하드 디스크 드라이브, 비휘발성 랜덤 액세스 메모리, EPROM(소거가능한 프로그램가능 ROM) 등과 같은 임의의 형태의 휘발성 및/또는 비휘발성 메모리로 구현될 수 있다. 디바이스(500)는 본 발명의 방법에 따른 데이터 프로세싱 디바이스를 구현하는데 적합하다. 데이터 프로세싱 디바이스(500)는 데이터 프로세싱 디바이스에 의해 제공된 적어도 하나의 서비스에 관련된 동일한 제1 서비스 품질 값을 갖는 데이터 프로세싱 디바이스들의 제1 그룹으로의 삽입 수단(53, 54); 데이터 프로세싱 디바이스의 서비스 품질 값이 미리 결정된 임계치를 초과하는 제2 서비스 품질 값으로 진화하는지를 결정하는 서비스 품질 진화 결정 수단(52)과, 동일한 서비스 품질을 갖는 데이터 프로세싱 디바이스들의 제2 그룹으로의 삽입 수단(53, 54); 및 데이터 프로세싱 디바이스들의 제2 그룹이, 제1 값과 동일한 이전의 서비스 품질 값을 가졌던 다수의 데이터 프로세싱 디바이스들을 포함하고 그 수가 미리 결정된 값 미만인지를 결정하는 계산 수단(53)과, 분리된 어노멀리 검출을 표시하는 메시지의 송신 수단(54)을 갖는다.
특정 실시예에 따르면, 본 발명은, 예를 들어, 전용 컴포넌트로서(예를 들어, ASIC, FPGA 또는 VLSI로서)(각각 <<주문형 집적회로(Application Specific Integrated Circuit)>>, <<필드 프로그램가능 게이트 어레이(Field-Programmable Gate Array)>> 및 <<초대규모 집적회로(Very Large Scale Integration)>>) 또는 다른 변형 실시예에 따르면 디바이스에 통합된 별개의 전자 컴포넌트들로서의 하드웨어로, 또는 또다른 실시예에 따르면 하드웨어와 소프트웨어의 혼합의 형태로 완전히 구현된다.
도 6은 특정 실시예에 따른 본 발명의 방법을 플로우 차트의 형태로 예시한다. 초기화의 제1 단계(60)에 있어서, 그 방법의 실행을 위해 필요한 변수들이 메모리, 예를 들어, 디바이스(500)의 메모리(55)에서 초기화된다. 다음 단계(61)에 있어서, 디바이스는 그 자신을, 데이터 프로세싱 디바이스에 의해 렌더링된 적어도 하나의 서비스의 서비스 품질의 함수로서 품질 버킷('소스' 품질 버킷)에 삽입한다. 품질 버킷은, 적어도 하나의 서비스에 대한 서비스 품질의 미리 정의된 범위를 갖는 데이터 프로세싱 디바이스들의 그룹을 나타낸다. 그렇지 않으면, 디바이스는 그 자신을, 데이터 프로세싱 디바이스에 의해 렌더링된 적어도 하나의 서비스의 서비스 품질을 포함하는 서비스 품질의 범위를 갖는 품질 버킷에 삽입한다. 품질 버킷으로의 '삽입'은, 디바이스가 품질 버킷을 나타내는 그룹의 멤버가 되는 것을 의미한다. 특정 실시예에 따르면, 그러한 삽입은 디바이스를 나타내는 식별자를, 품질 버킷을 나타내는 디바이스들의 그룹의 리스트에 부가함으로써 수행된다. 변형 실시예에 따르면, 삽입은 품질 버킷을 나타내는 디바이스들의 세트로의 네트워크 접속을 생성함으로써 수행되고, 그 품질 버킷은 그 품질 버킷에 있는 디바이스들 사이의 네트워크 접속들에 의해 특징을 나타낸다. 판정 단계(62)에 있어서, 데이터 프로세싱 디바이스에 의해 렌더링된 서비스 품질이 삽입되는(멤버인) 품질 버킷의 미리 정의된 범위를 넘어서 진화하는지가 결정된다. 이는, 그 품질 버킷의 범위에 포함되었던 소정의 시간 순간에서의 서비스 품질과 더 나중의 시간 순간에서의 서비스 품질 사이에서, 후자가 그 품질 버킷의 범위의 더 내부에 있지 않으며, 즉, QoS의 진화는 품질 버킷의 변화 ― 즉, '소스' 품질 버킷으로부터 '목적지' 품질 버킷으로 ― 를 야기하도록 충분히 중대하다는 것을 의미한다. 따라서, 디바이스는, 데이터 프로세싱 디바이스에 의해 렌더링된 서비스 품질이 제1 품질 버킷의 미리 정의된 범위를 넘어서 진화한다면, 데이터 프로세싱 디바이스를 목적지 품질 버킷에 삽입하는 제2 삽입 단계(63)에 있어서 다른 품질 버킷에 삽입된다. 그 후, 품질 버킷의 변화가 분리된 경우였는지가 단계(64)에서 결정된다. 이에 대해, 소스 품질 버킷이 데이터 프로세싱 디바이스의 품질 버킷과 동일한 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스들의 총 수를 나타내는 카운터가 미리 결정된 값 미만인지가 결정된다. 그렇다면, 분리된 어노멀리가 검출되고, 디바이스는, 분리된 어노멀리 검출의 발생을 나타내는 메시지를 송신/전송한다. 특정 실시예에 따르면, 그 메시지는 디바이스의 식별자를 포함한다. 변형 실시예에 따르면, 그 메시지는 어노멀리 검출을 위한 이유를 포함하여, 오퍼레이터가 어노멀리 이유에 대해 디바이스에게 질의하지 않고도 개입할 수 있다.

Claims (14)

  1. 서비스를 렌더링(rendering)하는 데이터 프로세싱 디바이스에 있어서 분리된 어노멀리 검출(isolated anomaly detection)의 방법으로서,
    상기 데이터 프로세싱 디바이스에 의해 구현되는 다음의 단계들:
    상기 데이터 프로세싱 디바이스를 상기 데이터 프로세싱 디바이스에 의해 렌더링된 적어도 하나의 서비스의 서비스 품질의 함수로서 소스 품질 버킷(source quality bucket)에 제1 삽입하는 단계(61) ― 품질 버킷은 상기 적어도 하나의 서비스에 대한 서비스 품질의 미리 정의된 범위를 갖는 데이터 프로세싱 디바이스들의 그룹을 나타냄 ―;
    상기 데이터 프로세싱 디바이스에 의해 렌더링된 상기 서비스 품질이 제1 품질 버킷의 상기 미리 정의된 범위를 넘어 진화(evolve)하면 상기 데이터 프로세싱 디바이스를 목적지 품질 버킷(destination quality bucket)에 제2 삽입하는 단계(63); 및
    소스 품질 버킷이 상기 데이터 프로세싱 디바이스의 품질 버킷과 동일한 상기 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스들의 총 수를 나타내는 카운터가 미리 결정된 값 미만일 경우(64), 분리된 어노멀리 검출을 나타내는 메시지를 전송하는 단계(65)
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 방법은 상기 소스 품질 버킷에 대해 및 상기 제2 삽입의 타임스탬프에 대해 동작되는 해시 함수에 따라 상기 카운터를 저장하는 것을 담당하는 상기 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스의 어드레스를 결정하는 단계를 더 포함하고,
    상기 타임스탬프는 상기 데이터 프로세싱 디바이스들 사이에서 공유된 공통 클록으로부터 도출된 시간 슬롯을 나타내는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 데이터 프로세싱 디바이스는 품질 버킷에 대한 엔트리 포인트(entry point)를 나타내는 루트 데이터 프로세싱 디바이스(root data processing device)들을 포함하는 데이터 프로세싱 디바이스들의 네트워크에서 구성되고,
    상기 제2 삽입은 그 목적지 품질 버킷의 목적지 루트 데이터 프로세싱 디바이스의 어드레스를 획득하기 위해 그 소스 품질 버킷의 제1 루트 데이터 프로세싱 디바이스로 제1 요청을 송신하는 것을 더 포함하는, 방법.
  4. 제3항에 있어서,
    상기 방법은 상기 데이터 프로세싱 디바이스를 상기 목적지 품질 버킷에 삽입하기 위해 그 목적지 품질 버킷의 상기 목적지 루트 데이터 프로세싱 디바이스로 제2 요청을 송신하는 단계를 더 포함하는, 방법.
  5. 제3항 또는 제4항에 있어서,
    데이터 프로세싱 디바이스들의 상기 네트워크는 2레벨 오버레이 구조(two-level overlay structure)에 따라 구성되고, 상기 2레벨 오버레이 구조는 상기 루트 데이터 프로세싱 디바이스들 사이에 네트워크 접속들을 구성하는 하나의 상부 오버레이(top overlay), 및 동일한 품질 버킷의 데이터 프로세싱 디바이스들 사이에 네트워크 접속들을 구성하는 다중의 저부 오버레이들(multiple bottom overlays)을 포함하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 데이터 프로세싱 디바이스에 의해 렌더링된 서비스는 데이터 저장 서비스인, 방법.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 데이터 프로세싱 디바이스에 의해 렌더링된 서비스는 시청각 데이터 렌더링 서비스인, 방법.
  8. 서비스를 렌더링하는 데이터 프로세싱 디바이스에 대한 분리된 어노멀리 검출 장치로서,
    상기 데이터 프로세싱 디바이스를 상기 데이터 프로세싱 디바이스에 의해 렌더링된 적어도 하나의 서비스의 서비스 품질의 함수로서 소스 품질 버킷에 제1 삽입하는 수단 ― 품질 버킷은 상기 적어도 하나의 서비스에 대한 서비스 품질의 미리 정의된 범위를 갖는 데이터 프로세싱 디바이스들의 그룹을 나타냄 ―;
    상기 데이터 프로세싱 디바이스에 의해 렌더링된 상기 서비스 품질이 제1 품질 버킷의 상기 미리 정의된 범위를 넘어 진화하면 상기 데이터 프로세싱 디바이스를 목적지 품질 버킷에 제2 삽입하는 수단; 및
    소스 품질 버킷이 상기 데이터 프로세싱 디바이스의 품질 버킷과 동일한 상기 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스들의 총 수를 나타내는 카운터가 미리 결정된 값 미만일 경우, 분리된 어노멀리 검출을 나타내는 메시지를 전송하는 수단
    을 포함하는 것을 특징으로 하는 장치.
  9. 제8항에 있어서,
    상기 소스 품질 버킷에 대해 및 상기 제2 삽입의 타임스탬프에 대해 동작되는 해시 함수에 따라 상기 카운터를 저장하는 것을 담당하는 상기 목적지 품질 버킷에 있어서의 데이터 프로세싱 디바이스의 어드레스를 결정하는 수단을 더 포함하고,
    상기 타임스탬프는 상기 데이터 프로세싱 디바이스들 사이에서 공유된 공통 클록으로부터 도출된 시간 슬롯을 나타내는, 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 데이터 프로세싱 디바이스는 품질 버킷에 대한 엔트리 포인트를 나타내는 루트 데이터 프로세싱 디바이스들을 포함하는 데이터 프로세싱 디바이스들의 네트워크에서 구성되고,
    상기 제2 삽입은 그 목적지 품질 버킷의 목적지 루트 데이터 프로세싱 디바이스의 어드레스를 획득하기 위해 그 소스 품질 버킷의 제1 루트 데이터 프로세싱 디바이스로 제1 요청을 송신하는 수단을 더 포함하는, 장치.
  11. 제10항에 있어서,
    상기 데이터 프로세싱 디바이스를 상기 목적지 품질 버킷에 삽입하기 위해 그 목적지 품질 버킷의 상기 목적지 루트 데이터 프로세싱 디바이스로 제2 요청을 송신하는 수단을 더 포함하는, 장치.
  12. 제10항 또는 제11항에 있어서,
    데이터 프로세싱 디바이스들의 상기 네트워크는 2레벨 오버레이 구조에 따라 구성되고, 상기 2레벨 오버레이 구조는 상기 루트 데이터 프로세싱 디바이스들 사이에 네트워크 접속들을 구성하는 하나의 상부 오버레이, 및 동일한 품질 버킷의 데이터 프로세싱 디바이스들 사이에 네트워크 접속들을 구성하는 다중의 저부 오버레이들을 포함하는, 장치.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서,
    상기 데이터 프로세싱 디바이스에 의해 렌더링된 서비스는 데이터 저장 서비스인, 방법.
  14. 제8항 내지 제12항 중 어느 한 항에 있어서,
    상기 데이터 프로세싱 디바이스에 의해 렌더링된 서비스는 시청각 데이터 렌더링 서비스인, 방법.
KR20157003603A 2012-07-13 2013-07-08 대규모 데이터 프로세싱 시스템들에 있어서의 분리된 어노멀리 검출을 위한 방법 KR20150031470A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP12305851 2012-07-13
EP12305851.3 2012-07-13
EP12306237.4A EP2720406A1 (en) 2012-10-10 2012-10-10 Method for isolated anomaly detection in large-scale data processing systems
EP12306237.4 2012-10-10
PCT/EP2013/064405 WO2014009321A1 (en) 2012-07-13 2013-07-08 Method for isolated anomaly detection in large-scale data processing systems

Publications (1)

Publication Number Publication Date
KR20150031470A true KR20150031470A (ko) 2015-03-24

Family

ID=48790429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20157003603A KR20150031470A (ko) 2012-07-13 2013-07-08 대규모 데이터 프로세싱 시스템들에 있어서의 분리된 어노멀리 검출을 위한 방법

Country Status (6)

Country Link
US (1) US20150207711A1 (ko)
EP (1) EP2873194A1 (ko)
JP (1) JP2015529036A (ko)
KR (1) KR20150031470A (ko)
CN (1) CN104488227A (ko)
WO (1) WO2014009321A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500742B2 (en) 2018-01-08 2022-11-15 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL232254A0 (en) * 2014-04-24 2014-08-31 Gershon Paz Tal A travel planning platform for providing quality tourist information
US11386107B1 (en) * 2015-02-13 2022-07-12 Omnicom Media Group Holdings Inc. Variable data source dynamic and automatic ingestion and auditing platform apparatuses, methods and systems
US10489368B1 (en) * 2016-12-14 2019-11-26 Ascension Labs, Inc. Datapath graph with update detection using fingerprints
CN113778730B (zh) * 2021-01-28 2024-04-05 北京京东乾石科技有限公司 分布式系统的服务降级方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991264A (en) * 1996-11-26 1999-11-23 Mci Communications Corporation Method and apparatus for isolating network failures by applying alarms to failure spans
US6643260B1 (en) * 1998-12-18 2003-11-04 Cisco Technology, Inc. Method and apparatus for implementing a quality of service policy in a data communications network
US7058707B1 (en) * 2000-08-01 2006-06-06 Qwest Communications International, Inc. Performance modeling in a VDSL network
US8087025B1 (en) * 2004-06-30 2011-12-27 Hewlett-Packard Development Company, L.P. Workload placement among resource-on-demand systems
US8549180B2 (en) * 2004-10-22 2013-10-01 Microsoft Corporation Optimizing access to federation infrastructure-based resources
US20080046266A1 (en) * 2006-07-07 2008-02-21 Chandu Gudipalley Service level agreement management
WO2010063314A1 (en) * 2008-12-02 2010-06-10 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for influencing the selection of peer data sources in a p2p network
CN101626322B (zh) * 2009-08-17 2011-06-01 中国科学院计算技术研究所 网络行为异常检测方法及系统
US8423637B2 (en) * 2010-08-06 2013-04-16 Silver Spring Networks, Inc. System, method and program for detecting anomalous events in a utility network
US9069761B2 (en) * 2012-05-25 2015-06-30 Cisco Technology, Inc. Service-aware distributed hash table routing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500742B2 (en) 2018-01-08 2022-11-15 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Also Published As

Publication number Publication date
JP2015529036A (ja) 2015-10-01
US20150207711A1 (en) 2015-07-23
EP2873194A1 (en) 2015-05-20
CN104488227A (zh) 2015-04-01
WO2014009321A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
US11418404B2 (en) Predictive overlay network architecture
US9806983B2 (en) System and method for control flow management in software defined networks
EP2953318B1 (en) Bandwidth efficient processing and filtering across distributed databases
KR20150031470A (ko) 대규모 데이터 프로세싱 시스템들에 있어서의 분리된 어노멀리 검출을 위한 방법
US20170324585A1 (en) Methods and systems for prioritizing nameservers
EP3132567B1 (en) Event processing in a network management system
CN109787827B (zh) 一种cdn网络监控的方法及装置
EP2883334A1 (en) Techniques for flooding optimization for link state protocols in a network topology
US20230198860A1 (en) Systems and methods for the temporal monitoring and visualization of network health of direct interconnect networks
US8654682B2 (en) Method and apparatus for enabling services and media in a communication network
Graffi et al. Monitoring and management of structured peer-to-peer systems
JP2015529036A5 (ja) 大規模データ処理システムにおいて孤立した異常の検出を行うための方法
EP2720406A1 (en) Method for isolated anomaly detection in large-scale data processing systems
CN111294553B (zh) 处理视频监控业务信令的方法、装置、设备和存储介质
CN102986196A (zh) 分布于通信结构上的节点利用具有多准则选择的拓扑服务器访问网络
CN113890850A (zh) 路由容灾系统及方法
WO2016064303A1 (ru) Способ распределения нагрузки между серверами сети доставки контента (cdn)
EP2827535A1 (en) Method for isolated anomaly detection in large-scale audio/video/data processing systems
CN115442287B (zh) 基于权重的专线网关方法以及装置
CN116095180B (zh) 一种日志回传的选路方法、装置和存储介质
Stingl Decentralized Monitoring in Mobile Ad Hoc Networks-Provisioning of Accurate and Location-Aware Monitoring Information
US9571348B1 (en) System and method for inferring and adapting a network topology
Kulkarni et al. Deploying MIB data mining for proactive network management
Strufe et al. Towards the construction of attack resistant and efficient overlay streaming topologies
Abdeljaouad Self-Configuration and Monitoring of Service Specific Overlay Networks

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid