KR20040107394A - 네트워크 트래픽에 대한 분산된 모니터링 및 분석 시스템 - Google Patents

네트워크 트래픽에 대한 분산된 모니터링 및 분석 시스템 Download PDF

Info

Publication number
KR20040107394A
KR20040107394A KR1020040042838A KR20040042838A KR20040107394A KR 20040107394 A KR20040107394 A KR 20040107394A KR 1020040042838 A KR1020040042838 A KR 1020040042838A KR 20040042838 A KR20040042838 A KR 20040042838A KR 20040107394 A KR20040107394 A KR 20040107394A
Authority
KR
South Korea
Prior art keywords
endpoint
network
endpoint devices
communication
distributed
Prior art date
Application number
KR1020040042838A
Other languages
English (en)
Other versions
KR100898264B1 (ko
Inventor
아드히카리아크샤이
비안코스코트빈센트
덴비로레인
맬로우스콜린엘.
메로체진
라오발라지
설리반셰인엠.
바디예후다
Original Assignee
아바야 테크놀러지 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아바야 테크놀러지 코퍼레이션 filed Critical 아바야 테크놀러지 코퍼레이션
Publication of KR20040107394A publication Critical patent/KR20040107394A/ko
Application granted granted Critical
Publication of KR100898264B1 publication Critical patent/KR100898264B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H04L43/0835—One way packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0858—One way delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0864—Round trip delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/106—Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 네트워크 기반의 통신 시스템에서 VoIP 통신, 멀티미디어 통신,또는 다른 형태들의 네트워크 트래픽의 개선된 모니터링 및 분석을 위한 기술들을 제공하는 것이다. 본 발명의 한 특징에 따르면, 네트워크 기반의 통신 시스템의 엔드포인트 장치들은 집중화된 테스팅 서버 또는 집중화된 다른 컨트롤러를 필요로하지 않는 분산된 모니터링 및 분석 시스템을 집합적으로 구현하도록 구성된다. 상기 엔드포인트 장치들에 대응하는 분산된 테스트 유닛들은 분산된 모니터링 및 분석 시스템을 실현하는데 이용되고, 양호하게는 측정 데이터에 대한 액세스를 제공하는 웹 기반의 유저 인터페이스를 지원하도록 구성된다. 상기 엔드포인트 장치들은 양호하게는 복수의 존(zone)을 포함하는 계층으로 조직화되고, 상기 엔드포인트 장치들 각각은 적어도 하나의 존에 속한다. 각각의 존에 대해, 상기 엔드포인트 장치들 중의 하나는 상기 계층에서 상기 존의 서브 존에 속하는 선택된 엔드포인트 장치들 사이의 주기적인 통신의 생성을 제어하기 위한 존 리더(zone leader)로서 지정된다.

Description

네트워크 트래픽에 대한 분산된 모니터링 및 분석 시스템{Distributed monitoring and analysis system for network traffic}
본 명세서의 일부는 복제 방지를 위한 재료를 포함한다. 판권 소유자는 특허 문서나 특허 명세서의 누군가에 의해 복제된 사본을 복사하는데 있어서 이의를 제기하지 않는다. 그것은 특허 및 상표 오피스 특허 파일 또는 기록들에 나타나 있기 때문이지만, 그렇지 않은 경우, 무엇이든지 모든 판권 소유의 권리는 보존된다.
(기술분야)
본 출원은 미국 특허 출원 대리인 명부 번호 503015-B-01-US(아드히카리, Adhikari)와 관계되어 있다. 여기서 발명자들 이름, 아크샤이 아드히카리(A. Adhikari) 외 등과 함께 파일 처리되었고 "네트워크 접속 형태(Network Topology)의 결정 방법 및 장치"라는 제목으로 본 명세서에 참조적으로 통합되었다.
본 발명은 네트워크 모니터링 및 분석 시스템에 관한 것으로서, 특히 네트워크 기반의 통신 시스템에서 인터넷 프로토콜상의 음성(이하, VoIP이라고 함) 통신, 멀티미디어 통신 또는 다른 형태들의 네트워크 트래픽(traffic)을 모니터링하고 분석하는 기술에 관한 것이다.
(종래기술)
VoIP 네트워크의 모니터링 및 분석을 위해 본 분야에서는 많은 소프트웨어 기반의 시스템들이 공지되어 있다. 상기 소프트웨어 기반의 시스템들은 예로서, San Jose, CA소재의 NetIQ Corporation사로부터 상업적으로 입수 가능한 "ChariotTMVoIP Assessor Version 1.0", 및 Omegon Ltd.의 후신인 NJ소재의 Viola Networksof Somerset사로부터 상업적으로 입수가능한 NetAllyTMVoIP를 포함한다. 상기 시스템들은 일반적으로 지터(jitter), 로스(loss), 및 딜레이(delay) 등의 패킷 기반의 측정치들(measurements)을 사용하여 서비스의 품질(QoS)의 관점에서 또는 서비스 레벨 계약들(SLAs)에 따라 네트워크-레벨 VoIP 성능을 모니터링 및 분석한다.
상술한 바와 같은 종래의 모니터링 및 분석 시스템들은 상당히 많은 문제점들을 나타낸다. 하나의 문제점은 상기 종래의 문제점들은 종종 응용(applicaton) 관련 효과가, 주어진 측정치에 대해 네트워크의 실제의 기여를 잘못 규정하게 하도록 종종 구성된다는 점이다. 예컨대, 종래의 시스템에서 네트워크상에서 테스트 트래픽(test traffic)을 보내기 위한 실제 전송 시간은, 테스트 트래픽을 보내는데 사용된 엔드포인트 장치가 다른 처리 과제로 인해 폭주 상태라면, 그 표시된 전송 시간에 비해 상당히 지연될 것이고, 그에 따라 측정치를 부정확하게 만들 것이다.
다른 문제점은 클록 동기에 관한 것이다. 종래 기술들은 일반적으로 클록 동기 방법을 사용하고, 상기 방법에서 시스템은, 상기 장치들을 포함하는 어떠한 측정치들을 취하기 이전에, 테스트를 실행하는데 사용된 엔드포인트 장치의 클록들을 동기화하려 한다. 불행히도, 상기 방법은 클록 동기화는 과도한 시간이 걸리고, 따라서, 변화하는 네트워크 조건들에 대한 시스템의 반응성을 심각하게 제한한다는 점에서 문제가 있다. 더욱이, 클록 동기화는 동기화 프로세스가 실행되는 때의 네트워크 조건들에 의존하고 상기 조건들은 정확한 동기화에 불리할 수 있기 때문에 완전히 실패작이다. 주어진 네트워크의 세그먼트에서의 불량한 네트워크 조건들은 관련된 장치들의 정확한 동기화를 방해하고 그 결과 시스템은 상기 네트워크 세그먼트(segment)를 분석할 수 없다.
다른 공지의 네트워크 및 분석 시스템들은 네트워크상의 현제의 랜덤한 호출 트래픽(random call traffic)을 모니터링하는 것을 포함하는 소위 "패시브(passsive)" 방법을 이용한다. 상기 방법은, 특정 테스트 파마미터들에 따라 생성된 목적하는 트래픽 보다는 현재의 유저들에 의해 생성된 현재의 호출 트래픽에 의존한다는 점에서, 그 응응성이 매우 한정된다.
상술한 문제점들은 M.J. Bearden 외의 미국 특허 출원 10/261,431(2002. 9. 30)의 "Communication system Endpoint Device With Integrated Call Synthesis Capability"에 개시된 기술에 의해 최근에 제기되어 있다.
상술한 미국 특허 출원에 개시된 기술들에 의재 제공된 상당한 장점들에 불구하고, 네트워크 모니터링 및 분석 시스템의 더 개선할 점이 많이 남아 있다.
본 발명은 네트워크 기반의 통신 시스템에서 VoIP 통신, 멀티미디어 통신, 또는 다른 형태들의 네트워크 트래픽의 개선된 모니터링 및 분석을 위한 기술들을 제공하는 것이다.
본 발명의 한 특징에 따르면, 네트워크 기반의 통신 시스템의 복수의 엔드포인트 장치가 예시적인 실시예에서 집중화된 테스팅 서버 또는 다른 형태의 집중화된 컨트롤러를 필요치 않는 분산된 모니터링 및 분석 시스템을 제공하도록 구성된다.
상기 예시적인 실시예는 각각의 엔드포인트 장치들 내에 합체되고, 상기 각각의 엔드포인트 장치들에 결합되거나, 또는 그렇지 않으면 상기 각각의 엔드포인트 장치들과 결합된 분산된 테스트 장치들을 포함한다. 상기 분산된 테스트 장치들은 분산된 모니터링 및 분석 시스템을 실현하는데 시용되고, 양호하게는 다른 종래 기술의 웹 브라우저를 경유하여 상기 시스템에 의해 모아진 측정 데이터에 대한 유저 액세스를 제공하는 웹 기반의 유저 인터페이스를 지원하도록 구성된다. 상기 측정 데이터는 측정된 QoS 관련 통계의 처리에 기초한 분석 결과들을 포함할 수 있다.
본 발명의 다른 특징에 따르면, 엔드포인트 장치는 복수의 엔드포인트 장치 각각이 적어도 하나의 존(zone)에 속하게 복수의 존(zone)들로 구성된 계층(hierarchy)으로 조직화 될수 있다. 각각의 존에 대해, 엔드포인트 장치들 중의 하나는, 상기 계층의 존의 서브 존에 속하는 선택된 엔드포인트 장치들 사이의 통신의 주기적인 생성을 제어하기 위한 존 리더(zone leader)로서 지정된다.
양호하게는, 본 발명은 지터, 로스, 딜레이 및 다른 QoS 관련 통계의 정확한 측정이 집중화된 컨트롤러를 필요치 않고도 분산된 방법으로 결정되도록 한다.
도 1은 본 발명에 따른 예시적인 통신 시스템을 도시하는 도면.
도 2는 도 1의 시스템의 하나의 실시예의 엔드포인트 장치들 또는 다른 처리 요소를 도시하는 도면.
도 3은 본 발명의 타임스탬프(timestamp) 처리 특성을 도시하는 도면.
도 4는 본 발명의 타임스탬프 처리 특성을 도시하는 도면.
도 5는 본 발명에 따른 분산된 모니터링 빛 분석 시스템에서 엔드포인트 장치의 계층적인 배치의 예를 도시하는 도면.
도 6은 본 발명에 따른 RTP 패킷에 대한 예시적인 페이로드(payload) 포맷을 도시하는 도면.
*도면의 주요 부분에 대한 부호의 설명*
102: 엔드포인트 장치 104: 분산된 테스트 유닛
106: 네트워크 202: 프로세서
204: 메모리 206: 네트워크 인터페이스(들)
본 발명은 인터넷 전화 어플리케이션(applications)을 지원하는데 적합한 예시적인 통신 시스템과 관련하여 이하에서 설명될 것이다. 그러나, 본 발명은 어떤 특정한 형태의 통신 시스템의 사용 또는 엔드포인트 장치들의 구성 또는 다른 시스템 요소들에 한정되는 것이 아니다. 본 분야의 당업자들은, 개시된 기술은 네트워그 기반의 통신 시스템에서 인터넷 프로토콜(IP) 또는 다른 형태의 실시간 또는 비실시간 네트워크 트래픽의 개선된 모니터링 및 분석을 제공하는데 바람직한 어떠한 통신 어플리케이션에도 사용될 수 있다는 것을 알 수 있을 것이다.
더욱이, 본 발명은 VoIP 트래픽(VoIP traffic)의 모니터링 및 분석에서 사용하기에 특히 적합하지만, 또한 멀티미디어 트래픽 어플리케이션 또는 네트워크에 기인하는 엔드엔드 행동(end-to-end behavour)을 이해하는데 바람직한 다른 흐름에 기반을 둔(flow-based)실시간 어플리케이션에 상당한 유익함을 제공한다.
본 발명은 따라서 음성, 영상, 멀티미디어 또는 다른 형태의 네트워크 트래픽에 사용될 수 있다.
여기서 사용된 "패킷(packet)"이란 용어는 IP 패킷 뿐만아니라 다른 패킷 기반의 통신 시스템들에서 사용된 다른 형태의 패킷들을 포함하는 것으로 해석한다.
여기서 사용된 "음성(voice)"란 용어는 스피치, 및 다른 인간으로부터 생성된 음성 정보, 기계로부터 생성된 음성 정보, 또는 상기와 다른 형태의 음성 정보들의 조합을 포함하는 것으로 해석한다. 여기서, 본 발명은 음성 정보 어떠한 것에도 일반적으로 적용이 가능하다. 본 발명은 팩시밀리 신호들, 시그널링 톤들(signaling tones) 등을 포함하는 다른 형태의 신호들에 적용 가능하다. 상술한 바와 같이, 본 발명은 멀티미디어 트래픽 뿐만 아니라 네트워크 기반 시스템에서 다른 형태의 네트워크들에 적용된다.
여기서 사용된 "호출(call)"이란 용어는 인터넷 전화 통신, VoIP 커뮤니케이션, Session Initiation Protocol(SIP) 통신, 멀티미디어 통신, 또는 네트워크 기반의 통신 시스템에서 다른 형태들의 네트워크 트래픽을 포괄하도록 광범위하게 해석된다.
"엔드포인트(endpoint)" 및 "엔드포인트 장치(endpoint device)"라는 용어는 여기서 호환성 있게 사용되며, 주어진 VoIP 호출 또는 네트워크 기반의 통신 시스템에서 다른 형태들의 통신과 관련된 발신(origination) 또는 수신(destination) 장치를 포함하는 것으로 해석한다.
주어진 엔드포인트 장치는 시스템의 단말 장치일 필요가 없기 때문에, 예컨대 게이트웨이(gateway), 루터(router), 스위치, 또는 다른 형태의 비단말 네트워크 요소 등의 내부 네트워크 요소를 포함할 수 있다는 점을 인식해야 한다. 예시적인 실시예에서의 한 쌍의 주어진 엔드포인트 장치들은 특정 통신 패스(path)의 발신(source) 및 수신(destination) 노드를 포함하는 것으로 일반적으로 간주된다. 따라서, 엔드포인트 장치는 네트워크 노드의 어떤 것과도 대응하거나 포함하는 장치일 수도 있다.
여기서 사용된 용어 "측정 데이터(measuremetnt data)"란 지터(jitter), 로스(loss), 딜레이(delay), 다른 QoS 관련 통계, 또는 다른 형태들의 데이터 뿐만 아니라 그로부터 판정 가능한 대응하는 분석 결과들을 포함하는 것으로 해석한다.
도 1은 본 발명이 실시되는 네트워그 기반 통신 시스템(100)을 도시한다. 상기 시스템(100)은 임의의 M개의 엔드포인트 장치들(102-i,i=1, 2, ..., M)을 포함하고, 상기 엔드포인트 장치들 각각은 상응하는 분산된 테스트 유닛(104-i)을 포함하거나 그렇지 않으면 상기 유닛에 대응한다. 또한, 각각의 엔드포인트 장치들(102)은 네트워크(106)에 결합되거나 상기 네트워크(106)에 대응된다. 도면에서는 도시의 단순화를 위해 단말 엔드포인트 장치들로서 도시되어 있지만, 하나 이상의 엔드포인트 장치들(102)은 이전에 언급된 바와 같이, 네트워크(106)의 내부 노드를 포함하거나 상기 네트워크(106)의 내부 노드와 대응될 수 있다.
도 1의 네트워크 기반 통신 시스템(100)에서 실시된 바와 같은 본 발명의 예시적인 실시예는 엔드포인트 장치들(102)에 대응하는 분산된 테스트 유닛들(104)을 사용하여 구성되는 분산되고, 계층적이고, 실시간의 네트워크 모니터링 및 분석 시스템을 제공한다. 상기 시템은 VoIP 시스템 실현을 위한 사전 배치(pre-deployment) 또는 사후 배치(post-deployment), 블레임 귀속(blame attribuion), 승인 제어(admission control), 및 다이나믹 루팅(dynamic routing)을 포함하는 매우 다양한 상이한 모니터링 및 분석 어플리케이션들에 이용 가능하다.
예시적인 실시예에 있어서, 엔드포인트들(102)에는 바람직한 모니터링 및 분석 기능을 제공하기 위한 대응하는 분산된 테스트 유닛들(104)을 포함하는 소프트웨어, 펌 웨어, 및 하드웨어 요소들이 설치되어 있다.
분산된 테스트 유닛(104-1)이 도 1의 실시예에서 엔드포인트 장치(102-1)의 요소로서 도시되어 있지만, 이것은 단지 예지적인 것이다. 하나 이상의 분산된 테스트 유닛은 그들 각각의 엔드포인트 장치들에 결합된 외부 유닛들을 표현할 수 있거나, 또는 그들 각각의 엔드포인트 장치들에 대응한다는 점을 인식할 수 있을 것이다. 더욱이, 상이한 대응 구성들이 엔드포인트 장치들(102) 중의 상이한 하나와 그들 각각의 분산된 테스트 유닛들(104) 사이에 존재할 수 있을 것이다.
또한, 주어진 엔드포인트 장치(102)는 단지 분산된 테스트 유닛을 포함하고실질적으로 다른 기능을 제공하지 않는다. 따라서, 여기서 사용된 "엔드포인트 장치"는 예시로서 독립형(stand-alone) 분산 테스트 유닛을 포함하는 것으로 해석된다. 상기 구성에 있어서, 상기 독립형 분산 테스트 유닛은 엔드포인트 장치에 대응하는 것으로 언급된다.
더욱이, 주어진 분산된 테스트 유닛은 단말 엔드포인트를 제외한 네트워크 요소내에 합체되고, 상기 네트워크 요소에 결합되고, 또는 상기 네트워그 요소에 대응될 수 있다. 예컨대, 분산된 테스트 유닛은 게이트웨이, 루터 또는 네트워크의 다른 내부 요소를 포함하는 엔드포인트내에 합체되고, 상기 엔드포인트에 결합되고, 또는 상기 엔드포인트에 대응할 수 있다.
상술한 바와 같이, 엔드포인트 장치(102)는 분산된 테스트 유닛들(104)을 경유하여 예시적으로 구성되어 시스템(100)에서 분산된 네트워크 모니터링 및 분석 시스템을 집합적으로 제공한다. 양호하게는, 상기와 같은 방법은 테스팅 서버 또는 엔드포인트 장치들(102)을 제어하는 다른 집중화된 컨트롤러를 필요치 않게 하여, 시스템(100)에서 VoIP 모니터링 및 분석을 제공한다. 대신에, 엔드포인트 장치들 그 자체는 이하에서 상세히 설명되는 바와 같이 본 발명의 기술을 사용하여 분산된 네트워크 모니터링 및 분석 시스템을 실현하는데 사용된다.
추가로, 예시적인 실시예의 분산된 테스트 유닛들(104)의 적어도 하나의 부분집합(subset)은 양호하게는 웹 기반 인터페이스를 지원하도록 구성된다. 따라서, 소정의 유저는 분산된 시스템에 의해 획득된 측정 데이터를 획득하기 위해 상기 웹 기반의 유저 인터페이스를 경유하여 분산된 테스트 유닛들(104) 중의 하나에 액세스 할 수 있다. 다른 형태의 유저 인터페이스들은 대응된 분석 결과를 포함하는 측정 데이터를 획득하기 위해 또한 사용될 수 있다.
상기 시스템(100)의 엔드포인트 장치들(102)에 대응하는 분산된 테스트 유닛들(104)은 커널 타임스탬핑(kernel timestamping), 타임스탬프 사후 처리, 또는 위에서 인용된 미국 특허 출원(10/261,431)에 개시된 기술 중의 하나 이상을 이용하도록 구성될 수 있다.
또한, 엔드포인트 장치들(102)은 본 발명에 따른 분산된 모니터링 및 분석 시템을 지원하도록 구성되는 종래의 유선 또는 무선 IP 전화(IP "소프트폰(softphones)"으로 일반적으로 언급되는 장치들을 포함한다), PDA들, 모바일 전화들, PC들, 싱글 보드 컴퓨터(SBCs) 또는 다른 형태의 처리 장치들일 수 있다.
주목할 점은 엔드포인트 장치들(102)은 주어진 한 쌍의 엔드포인트들 사이에 설립된 양방향 VoIP 커뮤니케이션의 경우로서, 수신기 및 송신기 양쪽 전부로서 각각 동작하도록 일반적으로 구성된다는 점이다.
상기와 같은 엔드포인트 장치들의 특성은 본 분야에서 공지되어 있고 따라서 상세한 설명은 생략한다.
엔드포인트 장치들(102) 중의 하나 이상은 합성된 호출(synthesized call)의 형태로 테스트 통신을 발생하는 소위 "합성(synthetic)" 장치를 포함하지만, 실제 호출 신청에 사용하기 위해서는 구성되지 않는다. 또한 하나 이상의 엔드포인트 장치들은 실제 호출을 하는데 사용하는데 적합하고 또한 합성된 호출의 형태로 테스트 통신을 생성할 수 있는 장치들을 포함할 수 있다. 후자의 타입의 장치들에 대한 추가적인 상세는 위에서 인용한 미국 특허 출원(10/261,431)에서 발견될 수 있다.
설명의 단순화를 위해, 상기 시스템(100)에서의 엔드포인트 장치들(102) 각각에는 분산된 테스트 유닛(104)가 설치되어 있다고 가정한다. 엔드포인트들(102)에 대한 여기에서의 일련의 언급은 상기와 같이 설치된 에트포인트들에 대해 언급하는 것으로 이해되어야 한다. 그러나, 시스템(100)은 상기와 같이 설치되지 않았지만 그 대신에 완전히 종래의 방식으로 동작하는 수많은 다른 엔드포인트들을 물론 포함할 수 있다.
도 1에 도시되지 않은 추가적인 시스템 요소들은 엔드포인트들(102) 각각과 네트워크(106) 사이에서 결합될 수 있다.
네트워크(106)는 예컨대, 인터넷, 광역 네트워크, 대도시망, 로컬 영역 네트워크, 무선 셀룰러 네트워크, PSTN(public switched telephone network) 또는 위성 네트워크 등의 글로벌 통신 네트워크 뿐만 아니라, 상기 들의 조합 또는 다른 통신 네트워크들을 나타낼 수 있다.
네트워크(106)는 종래의 IP 루터, 게이트웨이, 스위치 또는 다른 패킷 처리 요소들을 포함할 수 있다. 예컨대, 상기 네트워크는 미국 뉴저지주 Basking Ridge 소재의 Avaya Inc.사로부터 입수 가능한 DEFINITY®Enterprise Communication Service(ECS) 통신 시스템 스위치를 포함할 수 있다. 본 발명과 관련하여 사용하기에 적합한 다른 예시적인 호출 처리 스위치는 상기 Avaya Inc.사로부터 또한 입수가능한 MultiVantageTM통신 시스템 스위치이다.
VoIP 커뮤니케이션에서 공통적으로 사용되는 표준 프로토콜들은 여기서 모두 레퍼런스로서 기재된, "Internet Engineering Task Force(IETF) Request for Comments(RFC) 768, "User Datagram Protocol, August 1980, http://www.ietf.org/rfc768.txt에 기술된 User Datagram Protocol(UDP)과, IETF RFC 1889, "RTP: Transport Protocol for Real-Time Applications," http://www.ietf.org/rfc768.txt에 기술된 Real-Time Transport Protocol(RTP)과, IETF RFC 3158, "RTP Teesting Strategies," August 2001에 기술된 RTP Control Protocol(RTCP)을 포함한다.
예시로서, VoIP 커뮤니케이션은 UDP를 사용하는 IP 네트워크상에 전송되는 RTP 음성 데이터 패킷들을 포함한다. 보다 상세하게는 RTP 패킷들은 그들 자체가 IP 패킷내에 요약되어 있는 UDP 패킷내에서 요약된다.
호출 준비(setup), 테어 다운(teardown) 및 다이얼 톤(tone) 등의 기능을 제공하는 시그널링 프로토콜은 'IETF RFC 3261, "SIP: Session Initiation Protocol",(June 2002) http://www.ietf.org/rfc/rfc3261.txt'에 개시된 Session Initiation Protocol(SIP)과, International Telecommunicaton Union-Telecommunication Standardization Sector(ITU-T) Recommmendation H.323, "Packet-based multimedia communication systems,"(November 2000), 및, ITU-T Recommendation H.225, "Call signaling protocols and media stream packetizaton for pcaket-based multimedia communication systems,"(November 2000)'을 포함하고, 상기 모두는 레퍼런스로 기재되어 있다.
본 발명의 문맥에서의 VoIP 커뮤니케이션은 본 분야의 당업자에게는 매우 자명하듯이 하나 이상의 상기 인용된 프로토콜들, 또는 다른 적합한 프로토콜들을 이용하여 실시될 수 있다.
도 1에 도시된 상기 시스템(100)의 단순화된 구성은 단지 예시적인 것이며 특정한 요소의 배치에 본 발명을 한정하지 않는다는 것이 강조된다. 예컨대, 상기시스템(100)은 다른 형태 및 구성으로 된 루팅(routing) 요소들, 스위칭 요소들 또는 다른 형태의 처리 요소들을 포함하는 추가적인 엔드포인트 장치들을 포함할 수 있다.
도 2는 도 1의 시스템의 소정의 처리 구성 요소(200)의 하나의 가능한 실시예를 도시한다. 처리 구성 요소(200)는 예시로서 내부 분산된 테스트 유닛(104)을 갖는 엔드포인트들(102) 중의 하나의 적어도 일부, 또는 엔드포인트 장치들(102)의 하나에 결합된 외부 분산된 테스트 유닛(104)의 적어도 일부, 아니면 상기 엔드포인트 장치들(102)의 하나와 대응하는 분산된 테스트 유닛(104)의 적어도 일부를 나타낼 수 있다.
도면에 도시된 처리 요소(200)는 메모리(204)에 결합된 프로세서(202) 및 하나 이상의 네트워크 인터페이스들(206)을 포함한다. 본 발명의 모니터링 및 분석 기술은 메모리(204)에서 저장 가능하고 프로세서(202)에 의해 실행 가능한 소프트웨어의 형태로 적어도 일부분 실시될 수 있다. 메모리(204)는 RAM, ROM, 광학 또는 자성 디스크 기반의 저장 장치, 또는 다른 저장 요소들 뿐만 아니라 상기 요소들의조합을 나타낸다.
본 분야의 당업자는 단지 설명을 위해 도시된 도 2의 각각의 요소들은 예컨대 마이크로 프로세서, 어플리케이션이 특정된 집적화된 회로(ASIC) , 컴퓨터 또는 다른 장치(들) 등의 하나 이상의 처리 장치들로 결합 또는 분산된다.
도 2의 구성은 설명을 위해 매우 단순화되어 있다. 예컨대, 전화 단말 엔드포인트 장치를 나타내는 것이라고 하면, 처리 요소(200)는 코텍(codecs) 및 다른 음성 신호 처리 하드웨어 또는 소프트웨어 요소들 등의 장치에 전형적으로 관련되는 종래의 요소들을 포함할 수 있다.
동작시에, 엔드포인트 장치들(102)의 적어도 제 1 및 제 2의 엔드포인트 장치들은 분산된 모니터링 및 분석 시스템을 집합적으로 구현하도록 그들 각각의 분산된 테스트 유닛들(104)을 경유하여 구성가능하다. 상기 분산된 모니터링 및 분석 시스템은 상기 제 1 및 제 2의 엔드포인트 장치들 사이에서 하나 이상의 통신을 송신하여 통신(들)에 기초하여 측정하도록 동작한다. 따라서, 분산된 테스트 유닛들(104)은 서로 인테페이싱이 가능하여 그들 각각이 엔드포인트 장치들 사이에서의 호출을 합성하여 지터, 로스, 딜레이 및 다른 QoS 관련 통계의 정확한 측정을 한다. 이러한 형태의 측정의 예는 위에 인용된 미국 특허 10/261,431에 개시되어 있다.
합성 호출을 생성하려고 하는 경우에, 발신(originating) 엔드포인트 장치는 전형적으로 호출 준비 프로세스를 실행하여 상기 호출을 특정한 수신 엔드포인트 장치에 준비하고, 그 후 미리 정해진 페이로드(payload)와 함께 RTA 패킷을 보내기시작한다. 상기 호출은 IP 전화 게이트웨이, 호출 컨트롤러 또는 네트워크내의 다른 스위치 또는 네트워크에 대응되는 스위치를 포함할 수 있다. 미리 정해진 페이로드는 실제 음성 기록으로부터 생성, 및 파생되거나 또는 실제 음성 데이터를 나타내는데 적합하도록 구성될 수 있다. 호출 중에, QoS 측정은 호출 트래픽을 위해 취합된다. 상기 측정량 취합은 RTCP에 따라 실행될 수 있다. 호출의 마지막에서, 또는 호출 중의 시간 간격에서, 측정 데이터는 각각의 분산된 테스트 유닛들(104)에 의해 지원되는 웹 기반의 유저 인터페이스을 통하여 유저에게 이용 가능해진다.
예시적인 실시예에서의 엔드포인트들(102)의 보다 특정한 구성이 보다 상세하게 이하에서 기술될 것이다. 본 실시예에 있어서, 분산된 테스트 유닛들(104)은 하드웨어, 펌웨어 및 소프트웨어 요소들을 이용하여 그들 각각의 엔드 포인트들로 합체되어 소요의 모니터링 및 분석 기능을 제공한다는 것이 가정된다. 이하에서 기술되는 특정 하드웨어, 펌웨어, 및 소프트웨어 요소들은 단지 예시적인 것이고 본 본야의 당업자들은 많은 변형예가 본 발명을 실시하는데 사용될 수 있다는 것을 인식할 수 있다는 것을 이해할 수 있을 것이다.
본 예시에서의 하드웨어 요소는 Axis Communications AB, Lund, Sweden으로부터 상업적으로 입수 가능하고, 네트워크(106)에 인터페이싱하는 네트워크 인터페이스를 포함하도록 구성되는 Developer Board LX 등의 싱글-보드 컴퓨터를 포함할 수 있다.
펌웨어 요소는 충분한 정확도를 갖는 타임스탬프를 생성하도록 구성되는 동작 시스템 커넬(kernel)의 형태일 수 잇다. 예컨대, 엔드포인트(A)에서엔드포인트(B)로 그리고 엔드포인트(A)로 다시 이동하는 주어진 패킷은 이하의 4개의 타임스탬프의 생성을 일반적으로 요구한다:
S i =A로부터 패킷(i)에 대한 출발 시간
T i =A에서 패킷(i)에 대한 도착 시간
U i =B에서 패킷(i)에 대한 도착 시간
V i =B로부터 패킷(i)에 대한 출발 시간
도 3은 η개의 패킷들의 집합에 대한 상기 타임스탬프들을 그래픽으로 묘사한다. 상기 타임스탬프들은 패킷 순회(round trip) 시간을 그 성분 딜레이들로 분할하도록 분석될 수 있다.
동작 시스템 커널(kernel)은 양호하게는 상이한 측정치(Ui-Si, Ti-Vi)의 전체가 엔드포인트 그 자체내의 요인보다는 네트워크 딜레이에 기인한다든 것을 보장하는데 충분한 정밀한 양의 타임스탬프를 생성하도록 구성될 수 있다. 예컨대, 주어진 엔드포인트상의 높은 활동 부하(activity load)는 상기 상이한 측정치에 영향을 미쳐서는 안된다. 또한, 일련의 패킷들에 대한 상이한 측정치의 분석은 그들 내부 클록들 사이의 오프셋(offset) 및 드리프트(drift) 양쪽 모두를 나타내고, 보다 더 이하와 같이 여기서 특별히 정의된다.
δ =A에 관한 엔드포인트(B)의 클록의 오프셋
ρ =A에 관한 엔드포인트(B)의 클록의 드리프트
엔드포인트(B)상에서 측정된 시간은 양호하게는 상술한 δ 및 ρ 파라미터를사용하여 선형(linear) 방법으로 변형되어, 엔드포인트(A)상의 시간과 동일한 스케일상에 있도록 변형되어야 한다. 즉,
여기서, δ 및 ρ는 알려지지 않은 프라이어리(priori)이고, 따라서 추정(estimating)될 필요가 있다. 상기 추정은 이하의 방법으로 실행될 수 있다. 해석에 의해 모든i에 대해,
또는, 등가로서,
이라는 것이 공지되어 있다.
상기는 또한 이하와 같이 표현될 수 있다.
삽입하면,
D에서의 지점들(points)의 어느것도 모든 4 × η 타임스탬프 전부(Si, Ui, Vi, Ti)가 취합된 차수(order)와 일치하는 엔드포인트(B)상의 선형 시간 조정에 대응한다는 것을 주목해야 한다. 또한,B상의 시간이A에 관한 시간에 관한 선형적으로 진행하면,D는 원소를 포함하지 않는다. 최종적으로,D는 볼록 집합(convex set)이고 (δ, ρ) ∈D이면,
이다.
따라서, 오프셋(offset) 또는 드리프트(drift)는
로 평가되고,
여기서,
그리고,
도 4는 볼록 집합(D) 및 본 실시예에 있어서 4 × 10 = 40개의 타임스탬프들에 대해 정의하는 20개의 라인들을 도시한다. 수평축은 ρ이고 수직축은 δ이다. 상기 집합(D)는 참조 번호 402로 나타내진 모든 10개의 라인들(δ〉Si - ρUi 1 ≤i ≤10)의 상부에, 그리고 참조 번호 404로 나타내진 모든 10개의 라인들(δ 〉Ti - ρVi 1 ≤i ≤10) 놓여야 한다. 도면에서 십자 표시(406)는 상술한 평가의의 위치를 표현한다.
이하의 부록 1은 일련의 타임 스탬프(Si, Ui, Vi, Ti)를 대응하는 일련의 타임 스템프로 변형하는 Python 프로그래밍 언어의 코드의 예시적인 집합을 도시하는 것으로서,Ui및Vi는 엔드포인트(A) 타임 스케일상에 놓여진다. 상기 코드는 단지 본 발명의 가능한 실시예의 하나의 특징을 설명하는 것이고, 본 발명의 범위를 한정하지 않는다.
예시적인 실시예에서의 엔드포인트들(102)의 예시적인 실시예의 소프트웨어는 이하에서 보다 상세하세 기술될 것이다. 상기 소프트웨어 요소는 일반적으로 지터, 로스, 딜레이, 및 다른 QoS 관련 통계의 측정치들을 얻기 위해 구성된다. 상술한 바와 같이, 상기 특정치는 VoIP 시스템 실시, 블레임 귀속, 승인 제어, 및 다이나믹 루팅에 대한 사전 전개 또는 사후 전개 테스팅 등의 어플리케이션들에서 이용될 수 있다.
충분한 레벨의 모니터링 및 분석이 주어진 어플리케이션에 대해 달성될 수 있도록 네트워크를 통해 어떤 사전 결정된 통계적인 위치에서 분산된 테스트 유닛들(104)을 갖는 엔드포인트들(102)을 배치하는 것은 바람직하다. 모니터링 및 분석 프로세스의 분석은 네트워크 토폴로지, 네트워크를 통하는 패스(path)들의 수, 및 엔드포인트들(102)의 갯수 및 위치 등의 요인에 의존한다.
동작시에, 엔드포인트들(102)은 합성 호출을 서로에 대해 신청하여 데이터 트래픽의 스트림이 생성되고 네트워크를 가로질러 보내진다. 예컨대, 주어진 합성 호출에 대응하는 트래픽은 엔드포인트(A)로부터 발생하고 그 후에 엔드포인트(B)에 보내지고 다시 엔드포인트(A)에 되 보내진다. 스트림의 패킷들이 이동함에 따라, 타임스탬프들은 취합되고 네트워크 QoS 관련 통계들이 유도된다.
엔드포인트들(102)은 어드레스 발견 프로세스를 구현하도록 구성될 수 있다. 예컨대, 엔드포인트들(102) 중의 주어진 하나는 Dynamic Host Configuration Protocol(DHCP)를 사용하여 부트 타임(boot time)에 어드레스를 탐색하도록 구성될 수 있다. 양자택일(alternative), IP 어드레스의 통계적 및 메뉴얼(manual) 구성은 엔드포인트들의 갯수가 증가함에 따라 다루기가 어렵게 되기 때문에 엔드 포인트들의 수가 많은 네트워크를 차지하는 것은 양호한 방법이다.
DHCP가 사용되는 경우에, 엔드포인트가 설치된 어드레스 범위(range)가 판정되고 그 후 소프트웨어 요소의 일부로서 구현된 디스커버리 프로그램이 사용되어 엔드포인트가 수신한 그 범위내의 특정 어드레스를 발견한다. 엔드포인트들 중의 주어진 하나에서의 상기 디스커버리 프로그램은 적어도 하나의 엔드포인트를 포함한다고 공지된 모든 어드레스 범위의 합집합(union)에서 UDP 포트를 조사함으로써 동알한 분산된 테스트 유닛 성능을 갖는 다른 엔드포인트들을 찾는다. 상기 디스커버리 프로그램은 일반적으로 모니터링 및 분석 어느 것이 상기 엔드포인트를 포함하는 장소를 차지하기 전에 주어진 엔드포인트에서 실행하여야 한다.
가능한 한 많은 어드레스가 조사될 필요가 있기 때문에, 어드레스 발견 작업은 양호하게는 이용가능한 엔드포인트들로 분할된다. 하나의 엔드포인트에서 시작하여, 나머지 서치 공간은 하나의 엔드포인트가 발견되자 마자 2개로 분할된다. 나머지 서치 공간의 상기와 같은 2진 분할은 새로운 엔드포인트가 발견될 때마다 사용되고, 발견됨에 따라 그 결과 이용 가능한 서치 리소스(resource)들을 최근접하게 이용할 수 있다. 최적 기구(scheme)는 엔드포인트가 피어링(peering)하기 전에 그 서치 과제의 끝에 도달하는 경우를 고려한다. 그러나, 이러한 최적의 경우가 나타내는 개선점은 주어진 어플리케이션에서 추가된 데이터 관리의 복잡성을 정당화하지 않을 것이다.
본 발명과 관련하여 이용가능한 네트워크 토폴로지 판정 기술의 추가의 상세는 위에서 인용된 미국 특허 출원 503015-B01-US(Adhikari)의 "Method andApparatus for Determination of Network Topology"에서 개시되어 있다.
일단, 엔드포인트들(102)이 발견되면, 그들은 양호하게는 계층(hierarchy)을 형성하는 존(zone)으로 조직화된다. 상기 계층은 지리, 토톨로지 또는 특정 어플리케이션에 유용한 다른 특성을 나타내도록 구성될 수 있다. 엔드포인트들(102)은 양호하게는 동시 발생 방법으로 다중 계층을 조정할 수 있도록 구성된다. 상기 계층은 수동으로 구성되거나 또는 엔드포인트들 그 자신에 의해 자동으로 생성될 수 있다. 예컨대, 시스템(100)은 Domain Name Service(DNS) 계층에서 시작할 수 있고 초기의 계층을 특정 어플리케이션의 필요성으로 변경할 수 있다. 많은 경우에, 관찰된 QoS로 데이터로부터 유래된 계층은 유익할 것이다.
주어진 계층에 있어서, 각각의 엔드포인트는 존(zone) 및 상기 존의 각각의 슈퍼 존(super zone)에 속한다. 상기 존의 할당은 어드레스 디스커버리 프로세스가 유저 구성 및/또는 관찰된 QoS 데이터에 기초하여 완료된 이후에 양호하게 이루어진다. 존 할당의 일부로서, 각각의 존은 존 QoS 모니터링, 레포팅 및 제어를 위해 그를 대표하는 "리더(leader)"로 할당된다. 일단 상기 존 할당이 되면, 엔드포인트들(102)은 존의 서브 존(subzone)이 주기적으로 서로를 호출하는 방법으로 동작을 시작하고, 이것은 합성 호출이 각각의 2개의 서브 존으로부터 선택된 엔드포인트들 사이에서 이루어진다는 것을 의미한다.
도 5는 본 발명에 따른 엔드포인트들의 계층의 예를 도시한다. 탑(top) 존은 트리의 루트(root)로서 정의되며 X 및 Y를 나타내는 서브 존을 포함하고, 상기 서브 존은 각각의 서브 존(X.1, X.2 및 Y.1, Y.2, Y.3)를 각각 포함한다. 각각의 상기 서브 존은 도면에서 도시된 바와 같이, E1 내지 E9를 나타내는 엔드포인트들의 집합에서 하나의 이상의 엔드포인트들에 대응된다. 물론, 특정한 번호의 존들, 서브 존들, 서브서브 존들, 존당 엔드포인트들(endpoint per zone))들, 계층 레벨의 수 및 다른 도 5의 계층의 특징들은 단지 예시적이고, 다른 많은 구성이 가능하다.
도 5의 예에서, 상기 계층은 호출들이 X 내지 Y까지, X.1 내지 X.2까지, Y.1 내지 Y.2까지, Y.1 내지 Y.3까지, Y.2 내지 Y.3까지 신청되는 것을 요구한다.
하나 이상의 엔드포인트는 호출을 2개의 서브 존 사이에 배치하는 과제를 위해 선택될 수 있고, 상기 커버리지(coverage)가 획득될 수 있는 많은 메커니즘이 존재한다. 예컨대, 엔드포인트가 호출을, 또는 랜덤한 방법으로 어디에 신청하였는지 여부를 결정하는 랜덤한 버텀업(buttom up) 방법이 사용될 수 있다. 도 5의 예에서, 엔드포인트(E1)는 랜덤하게 어디에 호출을 신청하였는지를 엔드포인트들(E2 내지 E9) 중의 하나를 주기적으로 선택할 수 있다.
다른 가능성 있는 방법은 존 리더(zone leader)가 순환적으로 존 리더들을 통해 존 계층을 내려가게 하여, 과도한 밴드폭의 사용을 방지하고 랜덤함 엔드포인트 선택 기구에서의 각각의 단계 또는 상태에서 네트워크 리소스들을 보호하는 한정된 랜덤한 탑 다운(limited random top down) 방법이다. 도 5의 예에서, 루트 노드(root node)는 존 리더(X, Y)에게 X 내지 Y를 테스트하는 엔드포인트포인트를 선택하라고 요구할 것이다. X 존 리더는 X.1 서브 존을 랜덤하게 또는 시스템 리소스들에 근거하여 선택하고 이를 선택 과제로 전송한다. 존 리더 X.1은 E2를 선택한다. 이와 유사하게, Y 존 리더는 선택된 E9를 갖을 것이고 결과적으로 엔드포인트쌍(E2, E9)는 X 내지 Y를 테스트하는데 사용된다.
다른 메커니즘이 서브 존 내지 서브 존 네트워크 QoS를 평가하는데 사용되는 엔드포인트들을 선택하는데 사용될 수 있다. 어플리케이션을 위해 선택딘 메커니즘은 환경에 의존할 것이다. 예컨대 랜덤한 버텀 업(buttom up) 방법은 실제적인 네트워크 조건들을 생성하는데 사용될 수 있고, 한정된 랜덤한 탑 다운(top down) 방법은 네트워그상에 주입된 테스트 데이터 트래픽의 양 및 위치를 완전히 제어하는데 사용될 수 있다.
이전에 언급된 바와 같이, 엔드포인트 포인트(A) 내지 엔드포인트 포인트(B)까지의 주어진 합성 호출은 일반적으로 A로부터 B로 가고 다시 A로 되돌아가는 일련의 패킷들을 포함한다. 패킷이 이동함에 따라, 패킷들은 네트워그에 의해 탈락될 수 있다. 예시적인 실시예에 있어서, A가 패킷(i)을 B에 보내는 경우에, A는 패킷 그 자체에 A로부터의 출발 시간(Si)을 기록한다. B가 상기 패킷을 수신하는 경우에, B는 패킷에 도작 시간(Ui)을 기록한다. B는 패킷에 B로부터의 출발 시간(Vi)을 기록하여 즉시 상기 패킷을 A로 되보낸다. A가 상기 패킷을 수신한 경우에, A는 도차 시간(Ti)을 패킷에 기록한다. 그 결과는 일방 딜레이 및 지터 측정법이 파생되는 4개의 타임스탬프(Si, Ui, Vi, Ti)이다.
2개의 엔드포인트들(A, B) 각각은 또한 양호하게는 패킷이 수신되었다는 것을 나타내는 비트 어레이를 저장한다. B의 비트 어레이는 패킷마다 A에 전송된다. 상기는 또한 패킷과 함께 이동하는 상술한 타임스탬프이다. 상기 비트 어레이는 B로부터 A까지 보내져서 A는 두 방향 각각으로 개별적으로 패킷의 로스(loss)의 패턴과 갯수를 판정할 수 있다. 엔드포인트(A)는 패킷(들)이 어느 방향에서 분실되었는지를 기술하는 한 쌍의 비트 어레이 뿐만 아니라 양 방향으로 상실된 패킷들에 대응하는 갭을 갖는 일련의 타임스탬프들로 종결된다.
상기 네트워크 QoS 데이터에 추가하여, 엔드포인트들은 IP 헤더(header)의 기록 루트 필드를 셋팅하여 각각의 패킷에 대해 Layer 3 루트 정보를 취합한다. 네트워크에서의 모든 루터는 상기 요구를 승낙하지 하지않고 기껏해야 9개의 Layer 3 hops에 대해 IP 헤더에서 충분한 공간이 있다. 엔드포인트(B)는 상기 기록된 루트 정보를 IP 헤더로부터 검색하고 이를 A로 되돌아가는 트립(trip)에 대한 패킷 페이로드(payload)에 저장한다. 따라서, A로 되돌아온 패킷들은 순(forward) 및 역(reverse) 루트 양쪽 모두를 특성화하는 정보를 포함한다.
예시적인 실시예가 VoIP 트래픽을 닯은 RTP 패킷 데이터 스트림들을 포함하는 테스트 통신을 생성하지만, 이는 단지 예시적일 뿐이다. 다른 실시예들은 접속 설치(establishments)에서 사용된 바와 같은 다른 제어 메커니즘을 사용하여 다른 타입들의 데이터 트래픽을 전송할 수 있다. 더욱이, 본 발명은 테스트 통신의 사용을 요구하지 않고, 실제의 호출 트래픽 또는 다른 타입들의 통신이 변형 실시예에서 사용될 수 있다.
모든 트래픽 생성 설비는 완전히 자동화될 수 있고, 테스팅 트래픽, 제어 또는 사용된 다른 파라미터를 기술하기 위해, XML 또는 다른 적합한 스크립핑 언어를 사용하여 스크립될 수 있다.
스크립핑(scripting)은 매우 유익할 수 있는 특정 테스트 구성을 미리 예측하는 것이 어떤 어플리케이션에서 어렵기 때문에 유용하다. 따라서, 본 발명의 스크립팅 특성은 엔드포인트들에 의해 실행된 스크립팅된 테스트 프로그램을 유저가 생성할 수 있는 환경을 제공한다. 상기 프로그램은 임의로 복잡하고 네트워크의 상이한 성능 특성의 어떠한 갯수도 특성화하는 측정 데이터를 생성하는데 사용될 수 있다. 하나의 예로서, 주어진 네트워크에 대해 메시지 파일의 File Transfer Protocol(FTP) 검색에서의 성능이 중대하게 고려된다고 가정하자. 본 발명의 기술을 사용하여 유저는 테스트 파라미터 및 소요의 측정 데이터를 지정하는 스크립팅된 테스트 프로그램을 생성할 수 있고, 상기 프로그램은 적절한 엔드포인트들에 제공될 수 있다. 상기 테스트는 그 후 필요하면 "on the fly"에 대해 실행될 수 있다. FTP 트랜잭션(transaction)에 대한 Send/Expect 스타일에서의 예시적인 스크립트 테스트 프로그램 의사 코드는 이하와 같다.
물론, 많은 다른 형태들의 스크립팅이 사용되어 여기서 기술된 분산된 모니터링 및 분석 시스템에 의해 실행 가능한 테스트 프로그램을 생성하도록 사용될 수 있다.
도 6은 예시적인 실시예의 테스트 통신에서 RTA 패킷에 대한 예시적인 페이로드 포맷을 도시한다.
"sessionid" 필드는 주어진 호출을 유일하게 식별하는 키이다.
"seq" 필드는 호출내에 있는 패킷의 시퀀스 번호를 식별한다.
"bitmap" 필드는 상술한 비트맵을 공급하고, 비트(i)의 값은 시컨스 번호(i)을 갖는 패킷이 엔드포인트(B)에 의해 로스트(0)되었는가 또는 수신되었는가(0)를 나타낸다.
필드(s, u, v)는 이전에 언급된 각각의Si, Ui, Vi타임스탬프들을 나타낸다.
"pathlen" 필드는 엔드포인트(A)로부터 엔드포인트(B)까지의 패스(path)상의, 패킷의 IP 헤더에서 그 IP 어드레스를 기록한 루터들(routers)의 번호를 나타낸다.
"thrupathlen" 필드는 엔드포인트(A)로부터 엔드포인트(B)까지의 패스의 실제 길이를 나타내고, 위의 pathlen에 의해 나타난 길이와 반대이다. 상기 실제 패스 길이는 패킷의 생존 시간(time to live : TTL) 필드에 기초하여 결정된다.
"path" 필드는 엔드포인트(A)로부터 엔드포인트(B)까지의 패스를 따른 일련의 IP 어드레스를 나타내고, 패킷의 IP 헤더에서 그 IP 어드레스를 기록하는 각각의 루터에 대한 것이다.
"other content" 필드는 예컨대, 음성 또는 영상 샘플 등의 전송되는 어떤 다른 데이터를 포함한다.
실시예의 예시적인 엔드포인트의 소프트웨어 요소는 또한 양호하게는 데이터 보고 및 경보(alarm) 특성을 제공하도록 구성된다. 일단, 엔드포인트 쌍 사이의 호출이 완료되면, 측정 결과를 요약하는 대응하는 네트워크 QoS 보고가 이전에 기술된 웹 기반의 유저 인터페이스를 경유하여 이용가능하게 이루어 질 수 있다. 상기 보고는 예컨대, 2방향의 로스, 2방향의 딜레이, 2방향의 지터, 2방향의 로스 버스트, 및 패킷당 Layer 3 패스 기록을 포함할 수 있다. 보고된 정보, 누구에게 보고되고 어떠한 조건하에서 보고되었는지는 완전히 변경가능하다. 예컨대, 모든 이용 가능한 측정 데이터를 갖는 전체 데이터는 존 리더(zone leader)에 전송될 수 있고 그 후 존 리더는 모든 상기와 같은 데이터를 종래의 웹 브라우저를 사옹하여 웹 기반의 유저 인터페이스를 통해 액세스 가능한 XML 또는 HTML 일람들(summeries)로 집적화한다.
추가 또는 변형으로, 데이터는 긴급한 조건들에 대해 검사되고 엔드포인트는 경고 메시지를 운영자 또는 자동화된 티켓팅 시스템에 전송할 수 있다.
엔드포인트는 또한 지정된 모니터링 관리자에 대해 동시 발생하는 RTCP 스트림을 보내는 것과 같은 표준 방식으로 QoS를 보고한다.
모든 보고 설비는 기록 조건을 기술하기 위해 XML 또는 다른 적합한 스크립팅 언어를 사용하여 완전히 자동회될 수 있고 스크립팅 될 수 있다.
기록은 본 발명의 실시간 시각화 특성에 따라 구현될 수 있다. 본 발명의 이러한 특징에 있어서, 네트워크 노드들 및 상기 노드들 사이의 엣지들(edges)을 포함하는 네트워크 토폴로지 정보가 표시될 수 있다. 네트워크 노드들은 엔드포인트 장치에 각각 대응할 수 있다. 상기 엣지들은 시각화(visualization) 소프트웨어 툴에 의해 생성된 출력 디스플레이에서 유색화되고, 사용 카운트 및 딜레이 등의 상이한 표준을 나타낸다. 또한, 주어진 통신에 의해 취해진 특정 패스는 대응하는 엣지(들)의 적절한 칼러링에 의해 디스플레이상에서 실시간으로 "flashed" 될 수 있다. 따라서, 상기 시스템은 네트워크를 통해 개별적인 패킷의 패시지의 실시간 표시를 제공할 수 있다.
예시적인 실시예에서 엔드포인트의 소프트웨어 요소에서 제공될 수 있는 다른 특성은 네비게이션 및 분석 특성이다. 예컨대, 네트워크 QoS 보고들을 수신하는 존 리더들은 그들은 이용하여 웹 브라우저를 사용하여 웹 기반의 유저 인터페이스를 통해 액세스 가능한 XML 또는 HTML 일람을 생성한다. 실제, 유저는 주어진 계층적인 트리에 대해 존 리더을 통해 네비게이팅하고 문제점이 발생함에 따라 문제들을 찾아낸다. 트리의 각각의 노드는 존의 서브 존들 사이의 실행을 나타내고, 각각의 서브 존, 및 그 자체 상위의 존에 대한 링크를 갖는다. XML 또는 HTML 일람은 QoS 데이터를 Layer 3 토폴로지 데이터가 취합하는 것이 무엇일지라도 함께 집적화하며 블레임(blame)을 네트워크의 특정 영역에 귀착시키기 위해 구성될 수 있다. 상기 XML 또는 HTML 일람의 보다 상세한 예는 로우들(rows)을 소스 서브 존에 대응시키고, 컬럼들(columns)을 수신 서브 존에 대응시켜서 여러 QoS 관련 통계에 대한중간수(median) 및 사분위 범위(interquartile range)를 도시하는 칼라 코딩 매트릭스를 포함할 수 있다.
본 발명의 네트워크 모니터링 및 분석 시스템은 상술한 계층의 각각의 존에 대한 실행 데이터를 자동적으로 취합하도록 구성될 수 있다. 예시로서, 네트워크 토폴로지 정보는 각각의 엣지에 대해 취합되고, 엣지들은 루터에 대응하고 루터에 대한 존의 서브 존들이다. 각각의 상기 요소(존, 서브 존의 쌍, 엣지)에 대해, 상기 시스템은 데이터를 취합하고 분석하여, 하나 이상의 웹 페이지들에서 사용 가능한 결과를 만든다. 상기 시스템은 한계를 벗어난 상태(out-of tolerance state)(적절한 스펙 값, 예컨대, 80 밀리초 일방(one-way) 딜레이), 제어를 벗어난 상태(out-of control state), 또는 다른 타입들이 상태를 인식하는데 사용된 Statistical Process Controm(SPC) 표의 취합(collection)을 유지할 수 있다. 각각의 요소의 상태는 상기 토폴로지 아키텍처의 엣지들을 위한 네트워크 시각화 툴을 통해, 또는 다른 보고 구성들을 사용하여 일람 웹 페이지상에 보고될 수 있다. 주목할 점은 상기 제어를 벗어난 상태는 반드시 부정적인 인디케이터(indicator) 일 필요는 없고, 대신에 단지 보통이 아닌 조건을 나타낸다는 점이다. 상기 상태 파라미터들은 시간에 따라 변화하여 하루 중의 시간 또는 주일 중의 하루 등의 자연적인 효과를 고려한다. 상기 범위들 및 상태들은 시스템에 의해 유지되고 보고되고, 경보 생성에 이용가능하다.
본 발명은 또한 인터페이스 리네이밍(renaming)을 구현하는 능력을 제공할 수 있다. 예컨대, 분산된 모니터링 및 분석 시스템이 네트워크 토폴로지 정보 및지리(geography)에 근거한 계층을 판정하면, 기능, 또는 다른 특성들, 루터 내외의 인터페이스들 또는 다른 네트워크 요소가 그에 따라 리레이밍될 수 있다. 지리적인 특성을 포함하는 보다 특정한 예는 이하와 같다. A부터 B방향으로 루터 A 및 B 사이의 엣지를 취한다. 상기 순서로 A 및 B를 통과한 모든 패킷의 지리적인 소스 및 수신을 고려한다. A부터 B까지의 인터페이스의 지리 특성은 상기 순서로 A로부터 B까지 보여진 모든 수신처 중의 최대 공분모(common denoninator)이다. 보다 상세하게는, 수신처들이 a.b.c, a.b.d, 및 a.b.c. e라면 특성은 a.b이다. 유사한 방법이 B부터 A까지의 역방향을 특성화하는 소스에 대해 사용될 수 있다. 본 예의 인터페이스 리네이밍은 그렇지 않다면 무엇이 IP 어드레스인가에 대한 지리적인 의미를 제공한다. 따라서, 시스템에 의해 제공된 토폴로지 아키텍처에 대한 실행 매트릭스는 IP 어드레스들과 지리적인 또는 인테페이스들의 다른 특성을 보여주도록 구성될 수 있다.
양호하게는, 상술한 예시적인 실시예의 본 발명은 지터, 로스, 딜레이, 및 다른 QoS 관련 통계의 정확한 측정이 집중화된 컨트롤러가 없이도 판정되도록 한다. 본 발명은 또한 QoS 데이터 일람들을 종래의 웹 브라우저를 사용하여 액세스 가능한 웹 기반의 유저 인터페이스를 통해 유저에 대해 이용 가능하도록 한다는 점에서 다른 장점을 제공한다.
주목할 점은 분산된 모니터링 및 분석 시스템은 네트워크상의 광범위한 테스트들을 실행하는데 사용될 수 있다는 점이다. 예시적인 실시예와 관련하여, A 및 B를 나타내는 한 쌍의 엔드포인트들을 포함하는 "2진" 테스트가 기술되었다. 상술한바와 같은 예시적인 2진 테스트는 상술한 계층에서 주어진 존의 2개의 서브 존의 선택을 포함하고, 하나의 엔드 포인트는 2진 테스트에 참여를 위해 서브 존 각각으로부터 랜덤하게 선택된다. 그러나, 본 발명은 1진법(unary) 테스트를 실행하는데 사용될 수 있는데, 즉, 싱글 엔드포인트만을 포함하는 테스트들 뿐만 아니라 2개의 엔드포인트들 이상을 포함하는 다른 형태들의 테스트들을 실행하는데 사용될 수 있다. 1진법 테스트들은 예시로서 상술한 계층에서 존 레벨에서 실행가능하다. 상기 구성에서, 주어진 존으로부터의 싱글 엔드포인트는 랜덤하게 선택되어 1진법 테스트를 실행하는데 사용될 수 있다. 1진법 테스트들의 더욱 상세한 예들은 선택된 엔드포인트가 DNS 서버에 의해 요구된 시간의 양을 측정하여 네임-IP 변환을 실행하는 DNS 테스팅과, 선택된 엔드포인트가 접속 시스템 호출로부터 복귀하는것이 필요한 시간을 측정하는 TCP 접속 설치 테스팅을 포함한다.
2진 테스트들, 1진 테스트들, 및 2개의 엔드포인트 이상을 포함하는 테스트들의 많은 상이한 조합된 형태들은 본 발명의 주어진 실시예에서 실행될 수 있다.
본 발명에 따른 분산된 모니터링 및 분석 시스템은 예컨대, IP 전화 시스템 또는 다른 형태의 네트워크 기반 통신 시스템을 테스트, 진단, 중재, 또는 설계하는데 사용되는 다른 네트워크 관리 시스템 어플리케이션 또는 종래의 VoIP 분석 툴과 관련하여 또는 일부로서 구현될 수 있다. 네트워크 관리 시스템 어플리케이션의 한 예는 미국 뉴저지, Basking Ridge의 VMON＠시스템이다.
상술한 바와 같이, 본 발명의 예시적인 실시예에 관련하여 위에서 언급된 하나 이상의 모니터링 및 분석 기능은 소프트웨어 이용 프로세서(202) 및 주어진 엔드 포인트 장치에 대응하는 메모리(204)에서 전체로서 또는 부분으로서 구현될 수 있다. 하드웨어, 펌웨어, 또는 소프트웨어의 다른 적합한 구성은 본 발명의 모니터링 및 분석 기능을 구현하는데 사용될 수 있다.
재차 강조하지만, 상술한 실시예는 단지 예시적이다. 예컨대, 변형예는 예시적인 실시예와는 상이한 엔드 포인트 장치, 하드웨어, 펌웨어, 또는 소프트웨어 구성, 호출을 합성하는 상이한 데이터 포맷, 상이한 타입들의 네트워크 트래픽, 및 상이한 통신 트로토콜들을 사용할 수 있다. 또한, 선택된 엔드포인트들의 쌍 사이의 테스트 통신이 상기 예와 관련하여 기술되었지만, 싱글 엔드포인트를 갖는 통신, 주어진 발신(originating) 엔드포인트와 다중 수신(destination) 엔드포인트들 사이의 통신 등의 다른 구성도 가능하다. 이하의 청구범위내의 상기 및 많은 다른 변형예는 본 분야의 당업자에게는 자명할 것이다.
부록 1
본 발명에 따르면, 네트워크 기반의 통신 시스템의 복수의 엔드포인트 장치가 예시적인 실시예에서 집중화된 테스팅 서버 또는 다른 형태의 집중화된 컨트롤러를 필요치 않는 분산된 모니터링 및 분석 시스템을 제공할 수 있다.

Claims (27)

  1. 네트워크 기반의 통신 시스템에서 사용하기 위한 장치에 있어서,
    적어도 제 2의 엔드포인트 장치로 동작하도록 구성된 제 1의 엔드포인트 장치를 포함하고,
    상기 제 1 및 2의 엔드포인트 장치들은 통신이 상기 엔드포인트 장치들 중의 적어도 하나에 송신되고 하나 이상의 측정들이 상기 통신에 기초하여 이루어지는 분산된 모니터링 및 분석 시스템을 집합적으로 구현하고,
    상기 분산된 모니터링 및 분석 시스템은 집중화된 컨트롤러를 필요로 하지 않는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  2. 제 1항에 있어서,
    상기 통신은 상기 제 1 및 제 2의 엔드포인트 장치들의 하나로부터 상기 제 1 및 제2의 엔드포인트 장치들의 다른 하나에 송신되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  3. 제 1항에 있어서,
    상기 제 1 및 제2의 엔드포인트 장치들 각각은 상응하는 분산 테스트 유닛과 결합되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  4. 제 3항에 있어서,
    상기 분산된 테스트 유닛들의 적어도 하나는 그 관련된 엔드포인트 장치내에서 구현되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  5. 제 3항에 있어서,
    상기 분산된 테스트 유닛들의 적어도 하나는 그 관련된 엔드포인트 장치에 결합된 외부 유닛으로서 구현되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  6. 제 3항에 있어서,
    상기 분산된 테스트 유닛들의 적어도 하나는 메모리에 결합된 프로세서를 포함하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  7. 제 3항에 있어서,
    상기 분산된 테스트 유닛들의 적어도 하나는 상기 하나 이상의 측정들과 관련된 측정 데이터에 대한 액세스를 제공하는 웹 기반의 유저 인터페이스를 지원하도록 구성되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  8. 제 1항에 있어서,
    상기 통신은 인터넷 프로토콜(IP) 패킷내에서 요약된 실시간 전송 프로토콜(RTP)을 포함하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  9. 제 2항에 있어서,
    상기 통신은 상기 제 1의 엔드포인트 장치로부터 상기 제 2의 엔드포인트 장치까지 전송되고, 상기 제 2의 엔드포인트 장치로부터 상기 제 1의 엔드포인트 장치로 귀환하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  10. 제 9항에 있어서,
    상기 제 1 및 2의 엔드포인트 장치들 각각은 상기 통신의 송신 및 수신과 대응하는 타임스탬프(timestamp) 정보를 기록하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  11. 제 10항에 있어서,
    상기 제 1 및 2의 엔드포인트 장치들 각각은 상기 엔드포인트 장치의 동작시스템 커널(kernal)의 제어하에서 상기 시스템의 네트워크에 대응하는 접속중에 상기 통신의 송신 및 수신 각각의 시간들에 실질적으로 대응하는 시간의 시점들에서 상기 통신의 송신 및 수신과 대응하는 상기 타임스탬프(timestamp) 정보를 기록하도록 구성되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  12. 제 10항에 있어서,
    상기 타임스탬프 정보는 상기 제 1 및 2의 엔드포인트 장치들에 대응하는 클록들의 동기화를 요구하지 않고, 일주(round trip) 시간 측정을 한 쌍의 일방(one-way) 측정들로 적절히 분리하는 것을 결정하는 사후 처리 동작을 받는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  13. 제 10항에 있어서,
    상기 스탬프 정보는 상기 제 1 및 2의 엔드포인트 장치들과 대응하는 내부 클록들 사이의 오프셋(offset) 및 드리프트(drift)의 추정치(estimates)를 생성하도록 유지되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  14. 제 13항에 있어서,
    상기 오프셋 및 드리프트의 추정치(estimates)는 상기 제 1 및 2의 엔드포인트 장치들의 다른 시간 스케일에 대한 상기 제 1 및 2의 엔드포인트 장치들의 어느 하나의 시간 스케일을 사용하여 생성된 선형 변형에 이용 가능한 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  15. 제 1항에 있어서,
    상기 엔드포인트 장치들 중의 적어도 주어진 하나는 상기 엔드포인트 장치가 상기 분산된 모니터링 및 분석 시스템에 참여하기 위해 구성된 다른 엔드포인트 장치들의 위치를 알아내도록 하는 어드레스 발견 프로세스를 구현하도록 동작하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  16. 제 15항에 있어서,
    상기 어드레스 발견 프로세스는, 상기 분산된 모니터링 및 분석 시스템에 참여하기 위해 구성된 추가의 엔드포인트 장치의 식별시에, 남은 서치 공간이 적어도 주어진 엔드포인트 장치 및 상기 추가의 엔드포인트 장치 중에서 분할되도록 동작하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  17. 제 16항에 있어서,
    상기 서치 공간 분할 동작은 상기 분산된 모니터링 및 분석 시스템에 참여하기 위해 구성된 추가의 엔드포인트 장치가 식별되는 각각의 시간마다 반복되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  18. 제 1항에 있어서,
    상기 제 1 및 2의 엔드포인트 장치들은 복수의 존(zone)을 포함하는 계층으로 조직화된 복수의 엔드포인트 장치의 일부이고, 상기 복수의 엔드포인트 장치 각각은 적어도 하나의 존에 속하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  19. 제 18항에 있어서,
    상기 존들 각각에 대해, 적어도 하나의 대응하는 엔드포인트 장치는 상기 계층에서 상기 존의 서브 존(sub zone)에 속하는 선택된 엔드포인트 장치들 사이의 주기적인 통신의 생성을 제어하기 위한 존 리더(zone leader)로서 지정되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  20. 제 19항에 있어서,
    상기 선택된 엔드포인트 장치들은 랜덤한 버텀 업 방법(random bottom up approach) 및 랜덤한 탑 다운 방법(random top down approach) 중의 하나를 시용하여 결정되는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  21. 제 1항에 있어서,
    지리, 성능(function), 또는 그에 대응하는 특성에 기초하여 하나 이상의 네트워크 인터페이스들을 리네이밍(renaming)하는 스텝을 더 포함하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  22. 제 1항에 있어서,
    상기 분산되 모니터링 및 분석 시스템은 유저 스크립트 테스트 프로그램(user-scripted test program)이 상기 엔드포인트 장치들에 의해 실행되게 하는 스크립트 특성(scripting feature)을 지원하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  23. 제 1항에 있어서,
    상기 하나 이상의 측정치들에 적어도 부분적으로 기초하여, 네트워크 토폴로지 정보의 실시간 시각화를 제공하는 디스플레이를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  24. 제 1항에 있어서,
    상기 엔드포인트 장치들 중의 적어도 하나는 네트워크의 단말 노드를 포함하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  25. 제 1항에 있어서,
    상기 엔드포인트 장치들 중의 적어도 하나는 네트워크의 내부 노드를 포함하는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 장치.
  26. 네트워크 기반의 통신 시스템에서 사용하기 위한 방법에 있어서,
    적어도 하나의 제 1 및 제 2 의 엔드포인트 장치들을 포함하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 방법으로서,
    상기 제 2 의 엔드포인트 장치와 동작하도록 상기 제 1 의 엔드포인트 장치를 구성하는 단계, 및
    통신이 상기 제 1 및 제 2 의 엔드포인트 장치들 중의 적어도 하나에 송신되고 하나 이상의 측정들이 상기 통신에 기초하여 이루어지는 분산된 모니터링 및 분석 시스템을, 상기 제 1 및 2 의 엔드포인트 장치들을 이용하여 구현하는 단계를 포함하고,
    상기 분산된 모니터링 및 분석 시스템은 집중화된 컨트롤러를 필요로 하지 않는 것을 특징으로 하는, 네트워크 기반의 통신 시스템에서 사용하기 위한 방법.
  27. 적어도 하나의 제 1 및 2의 엔드포인트 장치들을 포함하는 네트워크 기반의 통신 시스템에서 사용하기 위한 소프트웨어 코드를 포함하는 기계 판독 가능(machine-readable) 저장 매체를 포함하는 제조 물품(article of manufacture)에 있어서, 상기 소프트웨어 코드는 실행된 경우에,
    상기 제2의 엔드포인트 장치와 동작하도록 상기 제 1의 엔드포인트 장치를구성하는 단계와,
    통신이 상기 제 1 및 2의 엔드포인트 장치들 중의 적어도 하나에 송신되고 하나 이상의 측정들이 상기 통신에 기초하여 이루어지는 분산된 모니터링 및 분석 시스템을, 상기 제 1 및 2의 엔드포인트 장치들을 이용하여 구현하는 단계를 실현하고,
    상기 분산된 모니터링 및 분석 시스템은 집중화된 컨트롤러를 필요로 하지 않는 것을 특징으로 하는, 적어도 하나의 제 1 및 2의 엔드포인트 장치들을 포함하는 네트워크 기반의 통신 시스템에서 사용하기 위한 소프트웨어 코드를 포함하는 기계 판독 가능 저장 매체를 포함하는 제조 물품.
KR1020040042838A 2003-06-12 2004-06-11 네트워크 트래픽에 대한 분산된 모니터링 및 분석 시스템 KR100898264B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/459,948 2003-06-12
US10/459,948 US7031264B2 (en) 2003-06-12 2003-06-12 Distributed monitoring and analysis system for network traffic

Publications (2)

Publication Number Publication Date
KR20040107394A true KR20040107394A (ko) 2004-12-20
KR100898264B1 KR100898264B1 (ko) 2009-05-18

Family

ID=33299696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040042838A KR100898264B1 (ko) 2003-06-12 2004-06-11 네트워크 트래픽에 대한 분산된 모니터링 및 분석 시스템

Country Status (5)

Country Link
US (1) US7031264B2 (ko)
EP (1) EP1487152B1 (ko)
KR (1) KR100898264B1 (ko)
CA (1) CA2469394C (ko)
DE (1) DE602004005104T2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009134905A2 (en) * 2008-04-30 2009-11-05 Motion Picture Laboratories, Inc. Cooperative monitoring of peer-to-peer network activity
KR101010465B1 (ko) * 2006-12-29 2011-01-21 인텔 코오퍼레이션 엔드포인트 리소스를 사용하는 네트워크 보안 요소

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420072B2 (en) 2003-04-25 2016-08-16 Z124 Smartphone databoost
US7031264B2 (en) 2003-06-12 2006-04-18 Avaya Technology Corp. Distributed monitoring and analysis system for network traffic
US20070107034A1 (en) * 2003-10-31 2007-05-10 Gotwals Michael D Combination meter for evaluating video delivered via Internet protocol
US7729267B2 (en) * 2003-11-26 2010-06-01 Cisco Technology, Inc. Method and apparatus for analyzing a media path in a packet switched network
US7519006B1 (en) * 2003-11-26 2009-04-14 Cisco Technology, Inc. Method and apparatus for measuring one-way delay at arbitrary points in network
US7885198B2 (en) * 2004-01-05 2011-02-08 Jds Uniphase Corporation Systems and methods for characterizing packet-switching networks
US7809846B2 (en) * 2004-03-01 2010-10-05 Avaya Inc. Resilient application layer overlay framework for converged communication over Internet protocol networks
US8799478B2 (en) * 2004-03-01 2014-08-05 Avaya Inc. Web services and session initiation protocol endpoint for converged communication over internet protocol networks
US7821940B2 (en) * 2004-04-05 2010-10-26 Alcatel-Lucent Usa Inc. Transmission of maintenance information of an active packet connection through employment of packets communicated over the active packet connection
US20050287954A1 (en) * 2004-06-28 2005-12-29 Lim Chee B System and method for monitoring a communications network
US7768930B1 (en) * 2004-09-17 2010-08-03 Avaya Inc Method and apparatus for determining problems on digital systems using audible feedback
US7827307B2 (en) * 2004-09-29 2010-11-02 Cisco Technology, Inc. Method for fast switchover and recovery of a media gateway
US20090002156A1 (en) * 2004-12-28 2009-01-01 Marian Croak Method and apparatus for correlating non-critical alarms with potential service disrupting events
CN101138200A (zh) * 2005-02-04 2008-03-05 阿派伦特网络股份有限公司 评估分组网络上运行的实时应用的服务质量的方法及装置
WO2006099247A2 (en) * 2005-03-11 2006-09-21 Clarus Systems, Inc. Implementing a test regime for a network based telephony system
US7995557B2 (en) * 2005-03-11 2011-08-09 Genband Us Llc System and method for determining network quality for voIP calls
US8031696B2 (en) * 2005-03-11 2011-10-04 Genband Us Llc System and method for routing VoIP calls
US8077718B2 (en) * 2005-08-12 2011-12-13 Microsoft Corporation Distributed network management
CN100502324C (zh) * 2005-08-31 2009-06-17 华为技术有限公司 一种获取链路评价参数的方法
US7801054B2 (en) * 2005-09-30 2010-09-21 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for implementing network visualization services
US20070208619A1 (en) * 2005-09-30 2007-09-06 Bellsouth Intellectual Property Corporation Methods, systems, and computer program products for providing targeted advertising to communications devices
US7890552B2 (en) * 2005-09-30 2011-02-15 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for implementing media content analysis, distribution, and re-allocation services
US20070209065A1 (en) * 2005-09-30 2007-09-06 Bellsouth Intellectual Property Corporation Methods, systems, and computer program products for providing network convergence of applications and devices
US20070220553A1 (en) * 2005-09-30 2007-09-20 Bellsouth Intellectual Property Corporation Methods, systems, and computer program products for providing customized content
US20070209054A1 (en) * 2005-09-30 2007-09-06 Bellsouth Intellectual Property Corporation Methods, systems, and computer program products for providing communications services
US8223938B2 (en) * 2005-09-30 2012-07-17 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for providing caller identification services
US8804695B2 (en) * 2005-09-30 2014-08-12 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for providing alerts and notifications
US8484324B2 (en) * 2005-11-10 2013-07-09 Cisco Technology, Inc. Method and apparatus for dial plan debugging
US20070133428A1 (en) * 2005-12-13 2007-06-14 Carolyn Taylor System and method for providing dynamic QoS based upon group profiles
US7860918B1 (en) 2006-06-01 2010-12-28 Avaya Inc. Hierarchical fair scheduling algorithm in a distributed measurement system
US7724678B1 (en) * 2006-06-14 2010-05-25 Oracle America, Inc. Method and apparatus for testing a communication link
US8289965B2 (en) 2006-10-19 2012-10-16 Embarq Holdings Company, Llc System and method for establishing a communications session with an end-user based on the state of a network connection
US8488447B2 (en) 2006-06-30 2013-07-16 Centurylink Intellectual Property Llc System and method for adjusting code speed in a transmission path during call set-up due to reduced transmission performance
US8717911B2 (en) 2006-06-30 2014-05-06 Centurylink Intellectual Property Llc System and method for collecting network performance information
US8477614B2 (en) 2006-06-30 2013-07-02 Centurylink Intellectual Property Llc System and method for routing calls if potential call paths are impaired or congested
US9094257B2 (en) 2006-06-30 2015-07-28 Centurylink Intellectual Property Llc System and method for selecting a content delivery network
US7768929B2 (en) * 2006-07-31 2010-08-03 Avaya Inc. Determination of endpoint device location for efficient analysis of network performance
US8064391B2 (en) 2006-08-22 2011-11-22 Embarq Holdings Company, Llc System and method for monitoring and optimizing network performance to a wireless device
US8407765B2 (en) * 2006-08-22 2013-03-26 Centurylink Intellectual Property Llc System and method for restricting access to network performance information tables
US8526314B2 (en) * 2006-08-22 2013-09-03 At&T Intellectual Property I, Lp Methods and apparatus to provide service assurance for communication networks
US8223655B2 (en) 2006-08-22 2012-07-17 Embarq Holdings Company, Llc System and method for provisioning resources of a packet network based on collected network performance information
US8224255B2 (en) 2006-08-22 2012-07-17 Embarq Holdings Company, Llc System and method for managing radio frequency windows
US8199653B2 (en) 2006-08-22 2012-06-12 Embarq Holdings Company, Llc System and method for communicating network performance information over a packet network
US8619600B2 (en) 2006-08-22 2013-12-31 Centurylink Intellectual Property Llc System and method for establishing calls over a call path having best path metrics
US8576722B2 (en) 2006-08-22 2013-11-05 Centurylink Intellectual Property Llc System and method for modifying connectivity fault management packets
US9479341B2 (en) 2006-08-22 2016-10-25 Centurylink Intellectual Property Llc System and method for initiating diagnostics on a packet network node
US7843831B2 (en) 2006-08-22 2010-11-30 Embarq Holdings Company Llc System and method for routing data on a packet network
US8531954B2 (en) 2006-08-22 2013-09-10 Centurylink Intellectual Property Llc System and method for handling reservation requests with a connection admission control engine
US8015294B2 (en) 2006-08-22 2011-09-06 Embarq Holdings Company, LP Pin-hole firewall for communicating data packets on a packet network
US7684332B2 (en) 2006-08-22 2010-03-23 Embarq Holdings Company, Llc System and method for adjusting the window size of a TCP packet through network elements
US8743703B2 (en) 2006-08-22 2014-06-03 Centurylink Intellectual Property Llc System and method for tracking application resource usage
US8307065B2 (en) 2006-08-22 2012-11-06 Centurylink Intellectual Property Llc System and method for remotely controlling network operators
US8549405B2 (en) 2006-08-22 2013-10-01 Centurylink Intellectual Property Llc System and method for displaying a graphical representation of a network to identify nodes and node segments on the network that are not operating normally
US8274905B2 (en) 2006-08-22 2012-09-25 Embarq Holdings Company, Llc System and method for displaying a graph representative of network performance over a time period
US8130793B2 (en) 2006-08-22 2012-03-06 Embarq Holdings Company, Llc System and method for enabling reciprocal billing for different types of communications over a packet network
US8238253B2 (en) 2006-08-22 2012-08-07 Embarq Holdings Company, Llc System and method for monitoring interlayer devices and optimizing network performance
US8189468B2 (en) 2006-10-25 2012-05-29 Embarq Holdings, Company, LLC System and method for regulating messages between networks
US8537695B2 (en) 2006-08-22 2013-09-17 Centurylink Intellectual Property Llc System and method for establishing a call being received by a trunk on a packet network
US8750158B2 (en) 2006-08-22 2014-06-10 Centurylink Intellectual Property Llc System and method for differentiated billing
US8228791B2 (en) 2006-08-22 2012-07-24 Embarq Holdings Company, Llc System and method for routing communications between packet networks based on intercarrier agreements
US8144587B2 (en) 2006-08-22 2012-03-27 Embarq Holdings Company, Llc System and method for load balancing network resources using a connection admission control engine
US8824313B2 (en) * 2006-09-14 2014-09-02 Avaya Inc. Data compression in a distributed monitoring system
US7924733B2 (en) * 2006-09-28 2011-04-12 Avaya Inc. Root cause analysis of network performance based on exculpation or inculpation sets
US8717932B2 (en) * 2006-11-29 2014-05-06 Broadcom Corporation Method and system for determining and securing proximity information over a network
CN101197687B (zh) * 2006-12-04 2011-04-27 华为技术有限公司 一种网络流量统计的方法及系统
US7738383B2 (en) 2006-12-21 2010-06-15 Cisco Technology, Inc. Traceroute using address request messages
EP1936867B1 (en) 2006-12-22 2013-02-20 Corvil Limited Delay measurements in network traffic
US7706278B2 (en) 2007-01-24 2010-04-27 Cisco Technology, Inc. Triggering flow analysis at intermediary devices
US20080181123A1 (en) * 2007-01-31 2008-07-31 Alexander Lisheng Huang Methods and apparatus to manage network testing procedures
US8953496B2 (en) * 2007-02-26 2015-02-10 Avaya Inc. Detection of asymmetric network routes
EP2151128A4 (en) * 2007-04-25 2011-11-16 Miovision Technologies Inc METHOD AND SYSTEM FOR ANALYZING MULTIMEDIA CONTENT
US20090077156A1 (en) * 2007-09-14 2009-03-19 Srinivas Raghav Kashyap Efficient constraint monitoring using adaptive thresholds
US7688758B2 (en) * 2007-06-26 2010-03-30 Avaya Inc. Node merging process for network topology representation
US20090077539A1 (en) * 2007-09-14 2009-03-19 Inter-Tel (Delaware), Inc. System and method for endpoint device testing
US7876690B1 (en) 2007-09-26 2011-01-25 Avaya Inc. Distributed measurement system configurator tool
US8694622B2 (en) * 2007-10-04 2014-04-08 Microsoft Corporation Monitoring and controlling network communications
US8027267B2 (en) * 2007-11-06 2011-09-27 Avaya Inc Network condition capture and reproduction
US8527663B2 (en) * 2007-12-21 2013-09-03 At&T Intellectual Property I, L.P. Methods and apparatus for performing non-intrusive network layer performance measurement in communication networks
US8706862B2 (en) * 2007-12-21 2014-04-22 At&T Intellectual Property I, L.P. Methods and apparatus for performing non-intrusive data link layer performance measurement in communication networks
US7660267B2 (en) * 2008-01-16 2010-02-09 Alcatel-Lucent Usa Inc. Homing of user nodes to network nodes in a communication system
US8184546B2 (en) 2008-02-29 2012-05-22 Avaya Inc. Endpoint device configured to permit user reporting of quality problems in a communication network
US8068425B2 (en) 2008-04-09 2011-11-29 Embarq Holdings Company, Llc System and method for using network performance information to determine improved measures of path states
US8107388B2 (en) * 2008-04-24 2012-01-31 Avaya Inc. Route tracing program configured to detect particular network element making type of service modification
CN101729303B (zh) * 2008-10-25 2012-12-12 华为技术有限公司 测量网络性能参数的方法和装置
US7920467B2 (en) * 2008-10-27 2011-04-05 Lexmark International, Inc. System and method for monitoring a plurality of network devices
US20100142377A1 (en) * 2008-12-10 2010-06-10 Razvan Caciula SIP Information Extraction
US8369225B2 (en) * 2009-09-23 2013-02-05 Ixia Network testing providing for concurrent real-time ingress and egress viewing of network traffic data
US8121050B2 (en) * 2010-04-08 2012-02-21 Exelis Inc. Maintaining time of day synchronization
US8116433B2 (en) 2010-04-13 2012-02-14 Ixia Calls per second network testing
US8762939B1 (en) 2010-07-02 2014-06-24 Nuance Communications, Inc. System and method for displaying key performance indicators in an application design tool
US8396828B2 (en) * 2010-09-14 2013-03-12 Microsoft Corporation Providing lightweight multidimensional online data storage for web service usage reporting
US8751682B2 (en) 2010-09-27 2014-06-10 Z124 Data transfer using high speed connection, high integrity connection, and descriptor
US8788576B2 (en) * 2010-09-27 2014-07-22 Z124 High speed parallel data exchange with receiver side data handling
US8774010B2 (en) 2010-11-02 2014-07-08 Cisco Technology, Inc. System and method for providing proactive fault monitoring in a network environment
US8559341B2 (en) 2010-11-08 2013-10-15 Cisco Technology, Inc. System and method for providing a loop free topology in a network environment
US8379833B2 (en) 2010-12-17 2013-02-19 Nuance Communications, Inc. System, method, and computer program product for detecting redundancies in information provided by customers in a customer service system
EP2482492A1 (en) * 2011-01-25 2012-08-01 TeliaSonera AB Measuring service quality
WO2012114436A1 (ja) * 2011-02-21 2012-08-30 三菱電機株式会社 通信装置および通信方法
US8982733B2 (en) 2011-03-04 2015-03-17 Cisco Technology, Inc. System and method for managing topology changes in a network environment
US8670326B1 (en) 2011-03-31 2014-03-11 Cisco Technology, Inc. System and method for probing multiple paths in a network environment
US8724517B1 (en) 2011-06-02 2014-05-13 Cisco Technology, Inc. System and method for managing network traffic disruption
US8830875B1 (en) 2011-06-15 2014-09-09 Cisco Technology, Inc. System and method for providing a loop free topology in a network environment
US8499051B2 (en) 2011-07-21 2013-07-30 Z124 Multiple messaging communication optimization
US9495012B2 (en) 2011-09-27 2016-11-15 Z124 Secondary single screen mode activation through user interface activation
US9774721B2 (en) 2011-09-27 2017-09-26 Z124 LTE upgrade module
US8903712B1 (en) 2011-09-27 2014-12-02 Nuance Communications, Inc. Call steering data tagging interface with automatic semantic clustering
US20130081072A1 (en) * 2011-09-28 2013-03-28 Cello Partnership Preemptive video delivery to devices in a wireless network
US9531787B2 (en) * 2011-09-30 2016-12-27 Oracle International Corporation System and method for managing and monitoring information using endpoint pairs
US8761373B1 (en) 2011-10-03 2014-06-24 Nuance Communications, Inc. System and method for determining IVR application flow from customer-service call recordings
US9923787B2 (en) * 2012-04-27 2018-03-20 International Business Machines Corporation Network configuration predictive analytics engine
US8825866B2 (en) * 2012-05-02 2014-09-02 Nuance Communications, Inc. System and method for enabling demand-based pooling of endpoint resources in a multi-application environment
US9450846B1 (en) 2012-10-17 2016-09-20 Cisco Technology, Inc. System and method for tracking packets in a network environment
CN104052637A (zh) * 2014-06-27 2014-09-17 梧州学院 一种基于4g的定点网络监听装置
CN113543164B (zh) * 2020-04-17 2023-07-18 华为技术有限公司 一种网络性能数据的监控方法及相关设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4947390A (en) * 1989-03-22 1990-08-07 Hewlett-Packard Company Method for data transfer through a bridge to a network requiring source route information
US5450394A (en) * 1994-03-10 1995-09-12 Northern Telecom Limited Delay monitoring of telecommunication networks
DE19746904B4 (de) * 1997-10-23 2004-09-30 Telefonaktiebolaget L M Ericsson (Publ) Verkehrsdaten-Bewertungsgerät und zugeordnetes Verfahren für ein Netzwerk mit dynamischer Vermittlung
US6377574B1 (en) * 1997-10-24 2002-04-23 Hitachi, Ltd. Packet switch and method for relaying management cells and data cells in a form of IP packet
US6363065B1 (en) 1999-11-10 2002-03-26 Quintum Technologies, Inc. okApparatus for a voice over IP (voIP) telephony gateway and methods for use therein
US6728261B1 (en) * 2000-02-07 2004-04-27 Axerra Networks, Ltd. ATM over IP
US6937622B2 (en) 2001-09-10 2005-08-30 Intel Corporation Determining phase jitter and packet inter-arrival jitter between network end points
US7483379B2 (en) * 2002-05-17 2009-01-27 Alcatel Lucent Passive network monitoring system
US7372810B2 (en) 2002-06-14 2008-05-13 Siemens Communications, Inc. Self managing directory service for voice over IP networks
US7031264B2 (en) 2003-06-12 2006-04-18 Avaya Technology Corp. Distributed monitoring and analysis system for network traffic

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101010465B1 (ko) * 2006-12-29 2011-01-21 인텔 코오퍼레이션 엔드포인트 리소스를 사용하는 네트워크 보안 요소
WO2009134905A2 (en) * 2008-04-30 2009-11-05 Motion Picture Laboratories, Inc. Cooperative monitoring of peer-to-peer network activity
WO2009134905A3 (en) * 2008-04-30 2010-02-04 Motion Picture Laboratories, Inc. Cooperative monitoring of peer-to-peer network activity
US8015283B2 (en) 2008-04-30 2011-09-06 Motion Picture Laboratories, Inc. Cooperative monitoring of peer-to-peer network activity

Also Published As

Publication number Publication date
CA2469394C (en) 2008-03-04
EP1487152A1 (en) 2004-12-15
US7031264B2 (en) 2006-04-18
DE602004005104T2 (de) 2007-09-13
US20040252646A1 (en) 2004-12-16
DE602004005104D1 (de) 2007-04-19
CA2469394A1 (en) 2004-12-12
KR100898264B1 (ko) 2009-05-18
EP1487152B1 (en) 2007-03-07

Similar Documents

Publication Publication Date Title
KR100898264B1 (ko) 네트워크 트래픽에 대한 분산된 모니터링 및 분석 시스템
US7768929B2 (en) Determination of endpoint device location for efficient analysis of network performance
US7924733B2 (en) Root cause analysis of network performance based on exculpation or inculpation sets
Megyesi et al. Challenges and solution for measuring available bandwidth in software defined networks
US10250474B2 (en) Calculating latency in computer networks
US8543681B2 (en) Network topology discovery systems and methods
US8027267B2 (en) Network condition capture and reproduction
US7633942B2 (en) Network traffic generation and monitoring systems and methods for their use in testing frameworks for determining suitability of a network for target applications
US8868715B2 (en) Report generation and visualization systems and methods and their use in testing frameworks for determining suitability of a network for target applications
EP2374249B1 (en) Data rate control mechanism
US11388292B2 (en) Monitoring voice-over-IP performance over the internet
EP1508997A2 (en) Method and apparatus for automatic determination of performance problem locations in a network
US8107388B2 (en) Route tracing program configured to detect particular network element making type of service modification
US20140280904A1 (en) Session initiation protocol testing control
US8824313B2 (en) Data compression in a distributed monitoring system
US7936692B1 (en) Method and system for concatenation of delay percentiles
US20050174947A1 (en) Method and process for video over IP network management
US7525952B1 (en) Method and apparatus for determining the source of user-perceived voice quality degradation in a network telephony environment
Bearden et al. Assessing network readiness for IP telephony
Krähenbühl et al. GLIDS: A Global Latency Information Dissemination System
Shankar et al. An automated system for analyzing impact of faults in IP telephony networks
Olbrich et al. Measurements of path characteristics in PlanetLab
US8284676B1 (en) Using measurements from real calls to reduce the number of test calls for network testing
Zhang et al. QoEScope: Adaptive IP service management for heterogeneous enterprise networks
ISSUING INTERMON Deliverable 18 “Inter-domain QoS scenarios and trial evaluation”

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130419

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140422

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160408

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180504

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 11