KR20190094499A - apparatus for testing load capacity of ptp/ntp server - Google Patents

apparatus for testing load capacity of ptp/ntp server Download PDF

Info

Publication number
KR20190094499A
KR20190094499A KR1020180013727A KR20180013727A KR20190094499A KR 20190094499 A KR20190094499 A KR 20190094499A KR 1020180013727 A KR1020180013727 A KR 1020180013727A KR 20180013727 A KR20180013727 A KR 20180013727A KR 20190094499 A KR20190094499 A KR 20190094499A
Authority
KR
South Korea
Prior art keywords
ptp
ntp
time
ntp server
server
Prior art date
Application number
KR1020180013727A
Other languages
Korean (ko)
Inventor
이광호
Original Assignee
맥슨씨아이씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 맥슨씨아이씨 주식회사 filed Critical 맥슨씨아이씨 주식회사
Priority to KR1020180013727A priority Critical patent/KR20190094499A/en
Publication of KR20190094499A publication Critical patent/KR20190094499A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/106Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
    • H04L61/2007
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/50Address allocation
    • H04L61/5007Internet protocol [IP] addresses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00Arrangements for synchronising receiver with transmitter
    • H04L7/04Speed or phase control by synchronisation signals

Abstract

Disclosed is an apparatus for testing a load capacity of a precision time protocol (PTP) server. According to the present invention, an apparatus for testing a load capacity of a PTP/network time protocol (NTP) server comprises: a reference time information generating device for generating reference time information with higher precision than standard time information of the PTP/NTP server; a plurality of PTP/NTP simulators each having a different IP and accessing the PTP/NTP server to perform a time synchronization operation, applying a synchronization message having a time stamp based on the reference time information generated by the reference time information generating device to the PTP/NTP server during the time synchronization operation, and receiving a response message from the PTP/NTP server; and a load capacity measuring device for measuring load handling capacity of the PTP/NTP server with reference to the synchronization message sent from the plurality of PTP/NTP simulators and a corresponding response message.

Description

PTP/NTP 서버 부하 시험 장치 {apparatus for testing load capacity of ptp/ntp server}PTP / NTP server load test device {apparatus for testing load capacity of ptp / ntp server}

본 발명은 네트워크 장치들 중의 하나인 Precision Time Protocol(이하, PTP라 함)/Network Time Protocol(이하, NTP라 함) 서버의 부하 시험 장치에 관한 것으로서, 특히 PTP/NTP 서버가 운용되는 환경과 동일한 시험 조건을 제공함으로써 시험 비용을 절감하는 PTP/NTP 서버 부하 시험 장치에 관한 것이다.The present invention relates to a load test apparatus of a Precision Time Protocol (hereinafter referred to as PTP) / Network Time Protocol (hereinafter referred to as NTP) server, which is one of the network devices, in particular the same as the environment in which the PTP / NTP server operates. A PTP / NTP server load test apparatus that reduces test costs by providing test conditions.

PTP는 네트워크 간 정확한 동기화를 가능하게 하는 IEEE 1588 표준 시간 전송 프로토콜이다. 이 프로토콜은 이더넷 네트워크(Ethernet network) 상의 모든 장치에 대해 시간적인 동기화를 지원한다. 하드웨어에서 생성하는 타임 스탬프(time stamp)를 사용할 때 나노초(nano second) 단위의 정확도까지 보장해준다.PTP is an IEEE 1588 standard time transfer protocol that enables accurate synchronization between networks. This protocol supports time synchronization for all devices on an Ethernet network. When using hardware-generated time stamps, this guarantees nanosecond accuracy.

NTP도 네트워크로 연결되어 있는 컴퓨터들끼리 클록 시각을 동기화시키는 데 사용되는 프로토콜이다. NTP는 컴퓨터 클록 시간을 1/100초 이하까지 동기화시키기 위해 협정 세계 시각(UTC)를 사용하게 된다.NTP is also a protocol used to synchronize clock times between networked computers. NTP will use Coordinated Universal Time (UTC) to synchronize computer clock times to less than 1/100 second.

NTP(Network Time Protocol)와 비교할 때, PTP는 물리계층에 포함되므로 이더넷 네트워크 상의 모든 장치에 대한 정밀 시간 동기화를 실현하는 진정한 하드웨어 기반 타임 스탬핑(time stamping)이라고 할 수 있다. Compared with the Network Time Protocol (NTP), PTP is included in the physical layer, making it a true hardware-based time stamping that enables precise time synchronization for all devices on an Ethernet network.

어느 한 장치를 마스터 클럭을 발생하는 장치(즉, PTP/NTP 서버)로 선택하면, 이 PTP/NTP 서버는 모든 클라이언트에 시간 동기화 패킷을 전달한다. 시간 동기화 패킷이 네트워크로 전송되면서 동기화 프로세스가 시작된다. 모든 클라이언트는 자신의 로컬 타임(혹은 슬레이브 타임)과 PTP/NTP 서버의 시간(혹은 마스터 타임) 사이의 시간 차이(지연)를 계산하여 단계적으로 2μs 이내에 이 시간 차이에 적응한다. If one device is selected as the device generating the master clock (i.e. PTP / NTP server), this PTP / NTP server delivers time synchronization packets to all clients. The synchronization process begins as time synchronization packets are sent over the network. Every client calculates the time difference (delay) between its local time (or slave time) and the time (or master time) of the PTP / NTP server and adapts to this time difference step by step within 2μs.

예를 들어, PTP/NTP 서버가 시간 1:00:00 pm을 알리는 PTP 메시지를 보내고 또한 이 메시지가 클라이언트에 도달하기까지 1초가 걸렸다면, PTP 메시지를 수신한 클라이언트는 자신의 로컬 타임을 1:00:01 pm으로 설정하게 된다.For example, if a PTP / NTP server sends a PTP message announcing time 1:00:00 pm and also takes 1 second to reach the client, the client receiving the PTP message will set its local time to 1: 00:01 pm.

PTP/NTP 서버에는 다수의 클라이언트가 연결되며, 실제 현장에서 몇 대의 클라이언트가 수용가능한 것인지를 확인하는 것 즉, PTP/NTP 서버의 처리 능력을 확인하는 것은 매우 어렵다.PTP / NTP server is connected to a large number of clients, it is very difficult to determine how many clients in the actual site, that is, the processing capacity of the PTP / NTP server.

PTP/NTP 서버 부하 시험 장치는 이러한 PTP/NTP 서버의 처리 능력을 계측하기 위한 것으로서, 기본적으로 PTP/NTP 서버에 많은 부하를 인가하고 그 응답을 검사하여 응답 지연이 발생하는 지의 여부 등을 검사하는 것이다. 여기서, 부하를 인가한다는 것은 PTP/NTP 서버가 처리하여야 할 패킷을 인가한다는 것을 말한다.PTP / NTP server load tester is to measure the processing capacity of such PTP / NTP server. It basically applies a lot of load to PTP / NTP server and checks the response to check whether there is a response delay. will be. Here, applying the load means that the PTP / NTP server authorizes a packet to be processed.

종래의 PTP/NTP 서버의 부하 시험은 하나의 IP로 많은 부하를 전달하던지 아니면 각각이 고유의 IP를 가지는 다수의 부하 연동 장치들을 사용하는 것이었다.The load test of the conventional PTP / NTP server was to transfer a large load to one IP or to use a plurality of load interworking devices each having a unique IP.

여기서, 하나의 IP로 부하를 증가시키는 방법으로는 PTP/NTP 서버의 실제 처리 능력을 판단할 수는 있지만 PTP/NTP 서버가 운용되는 환경과 동일한 조건을 제공하지는 못한다.Here, the method of increasing the load with one IP may determine the actual processing capability of the PTP / NTP server, but may not provide the same conditions as the environment in which the PTP / NTP server operates.

한편, 다수의 부하 연동 장치를 사용하는 방법으로는 PTP/NTP 서버가 운용되는 환경과 동일한 조건을 제공할 수는 있지만 부하 연동 장치가 늘어날수록 시험 비용이 증가하게 된다.On the other hand, the method using a plurality of load interlocking device can provide the same conditions as the environment in which the PTP / NTP server is operated, but the test cost increases as the load interlocking device increases.

[특허문헌][Patent Documents]

KR 10-1009420 (2011.01.12 등록) ; 통합 네트워크에서 단말 시각 동기화 방법 및 장치KR 10-1009420 (registered Jan. 2011); Method and apparatus for synchronizing terminal time in integrated network

KR 10-1784408 (2017.09.27 등록) ; 시각 동기화 시스템KR 10-1784408 (registered Sep. 27, 2017); Visual synchronization system

본 발명은 종래의 문제점을 해결하기 위하여 고안된 것으로서, 단일의 PTP/NTP 서버 부하 시험 장치를 사용하되 이 부하 시험 장치가 다수의 IP를 자동으로 생성함으로써 다수의 서로 다른 부하 연동 장치를 사용하는 것과 동일한 효과를 얻을 수 있는 PTP/NTP 서버 부하 시험 장치를 제공하는 것을 그 목적으로 한다.The present invention is designed to solve the problems of the prior art, using a single PTP / NTP server load test device, but the load test device is the same as using a plurality of different load interlock device by automatically generating a plurality of IP It is an object of the present invention to provide a PTP / NTP server load test apparatus that can obtain the effect.

상기의 목적을 달성하기 위한 본 발명에 따른 PTP/NTP 서버 부하 시험 장치는PTP / NTP server load test apparatus according to the present invention for achieving the above object

네트워크 표준 시간 정보를 발생하는 PTP/NTP 서버의 부처 처리 능력을 시험하기 위한 PTP/NTP 서버 부하 시험 장치에 있어서,In the PTP / NTP server load test apparatus for testing the department processing capability of the PTP / NTP server generating network standard time information,

상기 PTP/NTP 서버의 표준 시간 정보보다 높은 정밀도의 기준 시간 정보를 발생하는 기준 시간 정보 발생 장치;A reference time information generator for generating reference time information with higher precision than standard time information of the PTP / NTP server;

각각에 서로 다른 IP가 할당되고 상기 PTP/NTP 서버에 액세스하여 시간 동기화 동작을 수행하며, 시간 동기화 동작시 상기 기준 시간 정보 발생 장치에서 발생하는 기준 시간 정보에 기반한 타임 스탬프를 가지는 동기화 메시지를 상기 PTP/NTP 서버에 인가하며, 상기 PTP 서버의 응답 메시지를 수신하는 복수의 PTP/NTP 시뮬레이터; 및A different IP is assigned to each PTP / NTP server to access the PTP / NTP server to perform a time synchronization operation, and during the time synchronization operation, the PTP receives a synchronization message having a time stamp based on reference time information generated by the reference time information generating device. A plurality of PTP / NTP simulators applied to / NTP servers and receiving response messages of the PTP server; And

상기 복수의 PTP/NTP 시뮬레이터에서 발신한 동기화 메시지 및 그에 상응하는 응답 메시지를 참조하여 상기 PTP/NTP 서버의 부하 처리 능력을 측정하는 부하 능력 측정 장치;A load capability measuring apparatus for measuring load handling capability of the PTP / NTP server with reference to a synchronization message sent from the plurality of PTP / NTP simulators and a corresponding response message;

를 포함한다.It includes.

여기서, 상기 기준 시간 정보 발생 장치는 Here, the reference time information generating device

상기 PTP/NTP 서버의 클럭보다 높은 정밀도의 기준 클럭을 발생하며, Generates a reference clock with a higher precision than the clock of the PTP / NTP server;

상기 PTP/NTP 시뮬레이터는 기준 클럭에 동기하여 동기화 메시지 및 응답 메시지를 송수신하는 것을 특징으로 한다.The PTP / NTP simulator may transmit and receive a synchronization message and a response message in synchronization with a reference clock.

여기서, 상기 부하 능력 측정 장치는 각 IP별로 수신한 메시지를 분석하여 PTP/NTP 서버와 PTP/NTP 서버 부하 시험 장치 간의 전달시간 및 시간 오차 산출한다. Here, the load capacity measuring device analyzes the received message for each IP and calculates a transfer time and time error between the PTP / NTP server and the PTP / NTP server load test device.

여기서, 상기 부하 능력 측정 장치는 각 IP별로 산출한 전달 시간 및 시간 오차를 참조하며 상기 PTP/NTP 서버의 부하 능력을 산출한다. Here, the load capacity measuring apparatus calculates the load capacity of the PTP / NTP server by referring to the propagation time and time error calculated for each IP.

여기서, 상기 부하 능력 측정 장치는 측정값을 국제 표준과 비교하여 적합성을 산출한다. Here, the load capacity measuring device calculates the suitability by comparing the measured value with the international standard.

여기서, 상기 PTP/NTP 시뮬레이터 각각은 송수신되는 메시지의 타임 스태프 정보를 검출하는 래치(latch)를 포함하는 것이 바람직하다. In this case, each of the PTP / NTP simulator preferably includes a latch for detecting the time stamp information of the transmitted and received messages.

본 발명에 따른 PTP/NTP 서버 부하 시험 장치는 다수의 IP를 자동으로 생성함으로써 다수의 서로 다른 부하 연동 장치를 사용하는 것과 동일한 효과를 얻을 수 있다. The PTP / NTP server load test apparatus according to the present invention can obtain the same effect as using a plurality of different load interworking apparatus by automatically generating a plurality of IP.

본 발명의 PTP/NTP 서버 부하 시험 장치는 PTP/NTP 서버로 동시 다발적으로 동기화 메시지를 전송하고 해당 동기화 메시지에 대한 응신을 분석하여 PTP/NTP 서버에서 어느 정도의 처리 지연이 발생되는 지를 판단함으로써, 단일의 부하 시험 장치로 PTP/NTP 서버의 실제 환경을 시뮬레이션하게 된다. The PTP / NTP server load test apparatus of the present invention transmits a synchronization message simultaneously to the PTP / NTP server and analyzes the response to the synchronization message to determine how much processing delay occurs in the PTP / NTP server. A single load tester simulates the actual environment of the PTP / NTP server.

도 1은 본 발명에 따른 PTP/NTP 서버 부하 시험 장치의 구성을 도시한다.
도 2는 PTP/NTP 서버와 PTP/NTP 시뮬레이터 사이의 시간 동기화 동작을 보이는 타이밍도이다.
도 3a 내지 3b는 부하 능력을 측정한 결과를 보이는 예이다.
도 4a 내지 4c는 시간 정확도를 측정한 결과를 보이는 화면의 예이다.
도 5는 네트워크 딜레이를 측정한 결과를 표시하는 화면의 예를 보인다.
1 shows a configuration of a PTP / NTP server load test apparatus according to the present invention.
2 is a timing diagram illustrating a time synchronization operation between a PTP / NTP server and a PTP / NTP simulator.
3A to 3B are examples showing the results of measuring load capacity.
4A to 4C are examples of screens showing the results of measuring time accuracy.
5 shows an example of a screen displaying a result of measuring network delay.

이하, 첨부된 도면을 참조하여 본 발명의 구성 및 동작을 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the configuration and operation of the present invention.

도 1은 본 발명에 따른 PTP/NTP 서버 부하 시험 장치의 구성을 도시한다.1 shows a configuration of a PTP / NTP server load test apparatus according to the present invention.

도 1을 참조하면, 본 발명에 따른 PTP/NTP 서버 부하 시험 장치(100)는 기준 시간 정보 발생 장치(102), 복수의 PTP/NTP 시뮬레이터(104-1 ~ 104-n) 부하 능력 측정 장치(106)를 포함한다.1, the PTP / NTP server load test apparatus 100 according to the present invention includes a reference time information generator 102 and a plurality of PTP / NTP simulators 104-1 to 104-n load capability measuring apparatuses ( 106).

기준 신호 발생 장치(102)는 측정하고자 하는 PTP/NTP 서버(200)에서 발생하는 표준 시간 정보보다 더욱 높은 정밀도의 기준 시간 정보를 발생한다.The reference signal generator 102 generates reference time information with higher precision than standard time information generated from the PTP / NTP server 200 to be measured.

기준 시간 정보는 기본적으로 내부 클럭에 의한 PLL 동작에 의해 기준 시간 정보를 발생한다. 이외에도 기준 신호 발생 장치(102)는 GPS 수신기(300)에서 입력되는 GPS 신호 혹은 세슘 발진기(400)에서 입력되는 세슘 클럭 신호를 이용하여 기준 시간 정보를 발생할 수 있다. The reference time information basically generates reference time information by a PLL operation by an internal clock. In addition, the reference signal generator 102 may generate reference time information using a GPS signal input from the GPS receiver 300 or a cesium clock signal input from the cesium oscillator 400.

고정밀의 특성 분석을 위해서, PTP/NTP 서버 부하 시험 장치(100)는 PTP/NTP 서버(200)의 표준 시간 정보보다 더욱 정밀도가 높은 기준 시간 정보를 가져야 한다. 또한 PTP/NTP 서버(200)의 마스터 클럭보다 높은 정밀도의 기준 클럭을 가지는 것이 바람직하다. For high precision characterization, the PTP / NTP server load test apparatus 100 should have more accurate reference time information than the standard time information of the PTP / NTP server 200. It is also desirable to have a reference clock with a higher precision than the master clock of the PTP / NTP server 200.

이를 위해, 기준 시간 정보 발생 장치(102)는 내부 클럭, GPS 수신기(300)에서 발생된 GPS 신호 혹은 세슘 발진기(400)에서 발생된 세슘 클럭을 이용하여 기준 시간 정보 및 기준 클럭을 발생한다. To this end, the reference time information generator 102 generates the reference time information and the reference clock using an internal clock, a GPS signal generated by the GPS receiver 300, or a cesium clock generated by the cesium oscillator 400.

잘 알려진 바와 같이 GPS 신호로부터 시간 정보와 클럭을 추출할 수 있다.As is well known, time information and clocks can be extracted from the GPS signal.

한편, 세슘 발진기(400)에서 발생되는 세슘 클럭은 < 1*10e-11 이상이다. 실제로 GPS 수신기(300)에도 세슘 발진기가 내장되어 있다.On the other hand, the cesium clock generated by the cesium oscillator 400 is <1 * 10e -11 or more. In fact, the GPS receiver 300 also has a cesium oscillator.

복수의 PTP/NTP 시뮬레이터(104-1 ~ 104-n) 각각은 서로 다른 IP를 가지는 동기화 메시지를 발생하여 PTP/NTP 서버(200)에 인가한다. 이 동기화 메시지는 시간 동기화를 위한 메시지를 말한다. 동기화 메시지는 기준 시간 정보 발생 장치(102)에서 발생된 기준 클럭에 동기되어 전송된다. 이때 이 동기화 메시지에는 기준 시간 정보 발생 장치(102)에서 발생된 기준 시간 정보를 가지는 타임 스탬프(time stamp)가 포함된다. 여기서, 동기화 메시지는 패킷(packet)에 담겨 전송된다. 패킷은 네트웍에서의 정보 전송 단위이다.Each of the plurality of PTP / NTP simulators 104-1 to 104-n generates a synchronization message having different IPs and applies them to the PTP / NTP server 200. This synchronization message refers to a message for time synchronization. The synchronization message is transmitted in synchronization with the reference clock generated by the reference time information generator 102. At this time, the synchronization message includes a time stamp having reference time information generated by the reference time information generating device 102. Here, the synchronization message is transmitted in a packet. A packet is a unit of information transmission in a network.

또한, 복수의 PTP/NTP 시뮬레이터(104-1 ~ 104-n) 각각은 PTP/NTP 서버(200)에서 회신되는 응답 메시지를 수신한다. 여기서, 응답 메시지 역시 패킷에 담겨 전송된다.In addition, each of the plurality of PTP / NTP simulators 104-1 to 104-n receives a response message returned from the PTP / NTP server 200. Here, the response message is also transmitted in a packet.

복수의 PTP/NTP 시뮬레이터(104-1 ~ 104-n)들 각각에는 서로 다른 IP가 부여되며, 이들 각각은 자신에게 할당된 IP를 가지는 동기화 메시지를 가지는 패킷을 발생하여 PTP/NTP 서버(200)로 전송한다.Each of the plurality of PTP / NTP simulators 104-1 to 104-n is given a different IP, and each of them generates a packet having a synchronization message having an IP assigned to the PTP / NTP server 200. To send.

정밀한 측정을 위해, 송수신되는 메시지의 타임 스태프 정보는 각 PTP/NTP 시뮬레이터(104-1 ~ 104-n)의 최종 입출력단에서 하드웨적으로 검출된다. 타임 스태프 정보를 검출하기 위하여 래치(latch)가 사용될 수 있다. For precise measurement, the time staff information of the transmitted and received messages is detected in hardware at the last input / output end of each PTP / NTP simulator 104-1 to 104-n. Latch may be used to detect time staff information.

PTP/NTP 서버(200)는 수신된 동기화 메시지에 대한 응답 메시지를 복수의 PTP/NTP 시뮬레이터(104-1 ~ 104-n) 각각에게 전송한다. The PTP / NTP server 200 transmits a response message to the received synchronization message to each of the plurality of PTP / NTP simulators 104-1 to 104-n.

도 2는 PTP/NTP 서버와 PTP/NTP 시뮬레이터 사이의 시간 동기화 동작을 보이는 타이밍도이다.2 is a timing diagram illustrating a time synchronization operation between a PTP / NTP server and a PTP / NTP simulator.

(1) PTP/NTP 서버(200)가 동기화 메시지를 전송한다. 동기화 메시지가 PTP/NTP 서버(200)를 출발한 시간에는 t1이라는 타임스탬프가 붙는다. (1) The PTP / NTP server 200 transmits a synchronization message. The time when the synchronization message leaves the PTP / NTP server 200 is tagged with a time stamp t1.

(2) PTP/NTP 시뮬레이터(104-1 ~ 104-n)가 동기화 메시지를 수신한다. 이 수신 시간이 t2이다.(2) The PTP / NTP simulators 104-1 to 104-n receive a synchronization message. This reception time is t2.

(3) PTP/NTP 시뮬레이터(104-1 ~ 104-n)는 Delay_Req 메시지를 전송한다. 이 메시지가 PTP/NTP 시뮬레이터(104-1 ~ 104-n)를 출발할 때의 시간이 t3, PTP/NTP 서버(200)가 이 메시지를 받을 때가 t4이다.(3) The PTP / NTP simulators 104-1 to 104-n transmit Delay_Req messages. The time when this message starts the PTP / NTP simulators 104-1 to 104-n is t3, and the time when the PTP / NTP server 200 receives this message is t4.

(4) PTP/NTP 서버(200)는 타임스탬프 t4가 포함된 Delay_Resp 메시지로 응답한다.(4) The PTP / NTP server 200 responds with a Delay_Resp message with a timestamp t4.

복수의 PTP/NTP 시뮬레이터(104-1 ~ 104-n)들 각각은 자신이 발생한 동기화 메시지 및 자신이 수신한 응답 메시지를 부하 능력 측정 장치(106)에게 전달한다.Each of the plurality of PTP / NTP simulators 104-1 to 104-n transmits a synchronization message generated by the PTP / NTP simulator 104-1 to the load capability measuring device 106.

부하 능력 측정 장치(106)는 복수의 PTP/NTP 시뮬레이터(104-1 ~ 104-n)로부터 수신된 메시지들을 분석하여 미리 선택된 측정 항목에 대한 측정값을 생성한다.The load capacity measuring apparatus 106 analyzes the messages received from the plurality of PTP / NTP simulators 104-1 to 104-n to generate a measurement value for a pre-selected measurement item.

대표적 측정 항목은 네트워크 딜레이(network delay), PTP/NTP 서버 시간의 정확도이다.Representative metrics include network delay and accuracy of PTP / NTP server time.

1. network delayNetwork delay

1.1 PTP/NTP 서버(200)에서 PTP/NTP 시뮬레이터(104-1 ~ 104n)로 오는 시간 (forward delay ; master to slave delay)1.1 Time from the PTP / NTP server 200 to the PTP / NTP simulators 104-1 to 104n (forward delay; master to slave delay)

PTP/NTP 서버(200)에서 송신한 시간과 PTP/NTP 시뮬레이터(104-1 ~ 104n)에서 수신한 시간의 차를 계산한다.The difference between the time transmitted from the PTP / NTP server 200 and the time received from the PTP / NTP simulators 104-1 to 104n is calculated.

1.2 PTP/NTP 시뮬레이터(104-1 ~ 104n)에서 PTP/NTP 서버(200)로 가는 시간 (backward delay ; slave to master delay) 1.2 Time from PTP / NTP simulator 104-1 to 104n to PTP / NTP server 200 (backward delay; slave to master delay)

PTP/NTP 시뮬레이터(104-1 ~ 104n)에서 패킷을 보낸 시간과 PTP/NTP 서버(200)에서 수신한 시간의 차를 계산한다.The difference between the time the packet is sent by the PTP / NTP simulators 104-1 to 104n and the time received by the PTP / NTP server 200 is calculated.

1.3 네트워크 딜레이 1.3 Network Delay

1.1 항목에서의 PTP/NTP 서버(200)에서 PTP/NTP 시뮬레이터(104-1 ~ 104n)로 오는 시간과 `1.2 항목에서의 PTP/NTP 시뮬레이터(104-1 ~ 104n)에서 PTP/NTP 서버(200)로 가는 시간과의 평균을 계산하여 네트워크 딜레이(network delay)로 한다.Time to come from PTP / NTP simulator 104-1 to 104n to PTP / NTP server 200 in item 1.1 and PTP / NTP server 200 to PTP / NTP simulator 104-1 to 104n in item 1.2. Calculate the average with the time to go to the network delay (network delay).

2. PTP/NTP 서버 시간의 정확도2. Accuracy of PTP / NTP Server Time

PTP/NTP 서버 부하 능력 시험 장치(100)는 PTP/NTP 서버(200)의 시간(표준 시간)과 자신의 시간(기준 시간)을 비교하여 PTP/NTP 서버(200)가 정확한 시간을 갖고 있는지, PTP/NTP 서버(200)가 가진 표준 시간의 정확도가 얼마인지를 파악한다.The PTP / NTP server load capability test apparatus 100 compares the time (standard time) of the PTP / NTP server 200 with its own time (reference time) to determine whether the PTP / NTP server 200 has the correct time. The accuracy of the standard time that the PTP / NTP server 200 has is determined.

PTP/NTP 서버(200)의 경우 요구되는 서버 시간의 정확도는 그에 접속되는 클라이언트의 종류에 따라 차이가 있다. In the case of the PTP / NTP server 200, the accuracy of the required server time varies depending on the type of client connected thereto.

일반 pc인 경우 < 500*10e-6 /sec<500 * 10e -6 / sec for normal pc

주파수만 동기하는 경우 < 100*10e-6 /secIf only frequency is synchronized <100 * 10e -6 / sec

위상 동기하는 경우 < 10 *10e-6 /sec<10 * 10e -6 / sec when out of phase synchronization

기존 통신장비와 연동의 경우 < 5 *10e-6 /secIn case of interworking with existing communication equipment <5 * 10e -6 / sec

한편, NTP의 경우 보통 < 10*10e-3 /sec 이면 된다.NTP, on the other hand, usually needs to be <10 * 10e -3 / sec.

부하 능력 측정 장치(106)는 측정값을 참조하여 측정 대상이 되는 PTP/NTP 서버(200)의 부하 처리 능력을 분석한다.The load capacity measuring device 106 analyzes the load processing capability of the PTP / NTP server 200 to be measured by referring to the measured value.

부하 능력 측정 장치(106)의 기능은 다음과 같다.The function of the load capability measuring apparatus 106 is as follows.

1. IP생성 수에 대한 기능 설정 및 평가1. Setup and evaluation of the number of IP generations

1.1 설정기능 : PTP/NTP 서버(200)가 몇 개의 클라이언트에게 시각 정보를 제공할 수 있는지를 평가하기 위한 기능1.1 Setup function: Function for evaluating how many clients the PTP / NTP server 200 can provide visual information to

예) 1개 ~ 1000개 , 1500개   Ex) 1 ~ 1000, 1500

설정된 수만큼의 PTP/NTP 시뮬레이터(104-1~104-n)를 이용하여 PTP/NTP 서버와 시간 동기화 동작을 수행한다.   A time synchronization operation is performed with the PTP / NTP server by using the set number of PTP / NTP simulators 104-1 to 104-n.

1.2 평가 : 측정 시간 동안 PTP/NTP 서버(200)로부터 모든 PTP/NTP 시뮬레이터(104-1~104-n)에 대한 시간 동기화 동작이 제대로 수행되는 지를 확인한다.1.2 Evaluation: Verify that the time synchronization operation for all PTP / NTP simulators 104-1 to 104-n is properly performed from the PTP / NTP server 200 during the measurement time.

예를 들어,     E.g,

100% 수신    100% received

95% 수신 등으로 표시     Mark as 95% receive

수신 패킷수 / 송신 패킷수 표시    Incoming Packets / Outgoing Packets

이와 같이 산출된 결과를 이용하여 PTP/NTP 서버(200)의 부하 능력을 판단할 수 있게 된다.The load capability of the PTP / NTP server 200 can be determined using the result calculated as described above.

도 3a 내지 3b는 부하 능력을 측정한 결과를 보이는 예이다.3A to 3B are examples showing the results of measuring load capacity.

PTP/NTP 서버(100)가 중 얼마나 많은 클라이언트를 수용가능한 지를 평가하는 것은 매우 중요하다. It is very important to evaluate how many clients the PTP / NTP server 100 can accommodate.

부하 능력 측정 장치(106)는 PTP/NTP(104-1 ~ 104-n)가 전달한 동기화 메시지에 대해 수신한 응답 메시지(혹은 패킷)를 모두 계수(count)한다. The load capacity measuring device 106 counts all the response messages (or packets) received for the synchronization messages delivered by the PTP / NTPs 104-1 to 104-n.

도 3a 그림을 참조하면, 100개의 IP로 동기화 메시지를 전달했을 때 RX/TX =600/600 = 100%로 모든 메시지(동기화 메시지 및 그에 대한 응답 메시지)가 정상적으로 송수신됨을 확인할 수 있다.Referring to FIG. 3A, when a synchronization message is transmitted to 100 IPs, it can be seen that all messages (synchronization message and response message) are normally transmitted and received at RX / TX = 600/600 = 100%.

한편, 도 3b 그림을 참조하면, 500개의 IP로 동기화 메시지를 전달했을 때 PTP/NTP서버(200)로부터의 응답률이 RX/TX = 1160/2505 = 46.3% 로 감소함을 나타낸다. Meanwhile, referring to FIG. 3B, the response rate from the PTP / NTP server 200 decreases to RX / TX = 1160/2505 = 46.3% when the synchronization message is transmitted to 500 IPs.

2. 측정대상이 되는 PTP/NTP 서버(200)의 시간이 정확한지 측정2. Measure whether the time of PTP / NTP server 200 to be measured is correct

2.1 부하가 증가함에 따라 PTP/NTP 서버(200)의 시간이 변화없이 정밀한 시간을 제공하는지 확인하는 시간 정확도 차트표시2.1 Display time accuracy chart to check whether the time of PTP / NTP server 200 provides precise time without change as load increases

먼저 PTP/NTP 서버(200)의 시간이 정확한지는 부하 IP를 하나만 적용하여 서버의 정확한 특성을 측정하여야 한다. 이렇게 함으로써 PTP/NTP 서버(200)가 가지고 있는 시간이 얼마나 정확한지 파악하고 이후 부하 IP(즉, PTP/NTP 시뮬레이터)를 증가함에 따라 얼마나 영향을 받는지 확인을 한다. 부하가 증가함에 따른 측정은 1.2(부하시 동기화 특성시험)와 동일하다.First, whether the time of the PTP / NTP server 200 is accurate should measure the exact characteristics of the server by applying only one load IP. By doing so, it is determined how accurate the time the PTP / NTP server 200 has and then how much is affected by increasing the load IP (ie, PTP / NTP simulator). As the load increases, the measurement is the same as 1.2 (Load synchronization characteristic test).

도 4a 내지 4c는 시간 정확도를 측정한 결과를 보이는 화면의 예이다.4A to 4C are examples of screens showing the results of measuring time accuracy.

정밀한 측정을 위해, 송수신되는 메시지의 타임 스태프 정보는 각 PTP/NTP 시뮬레이터(104-1 ~ 104-n)의 최종 입출력단에서 하드웨적으로 래치(latch)되는 것이 바람직하다. 소프트웨어적으로 검출할 경우 소프트웨어에 의해 처리되는 지연시간이 발생할 수 있다. 하드웨어에 의해 검출하면, 소프트웨어적으로 처리하면서 발생하는 지연시간을 제거할 수 있다.For precise measurement, the time staff information of the transmitted / received messages is preferably latched in hardware at the last input / output terminal of each PTP / NTP simulator 104-1 to 104-n. Detecting in software can result in delays processed by software. Detecting by hardware eliminates the delay time that occurs during software processing.

도 4a는 국제 표준 중의 K나인 ITU-T g.823을 선택한 예를 보인다.4A shows an example of selecting K, ITU-T g.823, from among international standards.

도 4a에서 MTE(Maximum Time Interval Error)는 관측 시간 동안 측정된 최대 시간 오차를 나타낸다. 측정값을 국제 표준과 비교하여 적합성을 표시하고 있음을 알 수 있다. In FIG. 4A, a maximum time interval error (MTE) represents a maximum time error measured during an observation time. It can be seen that the measured values are compared with international standards to indicate compliance.

도 4a를 참조하면, IP가 증가 함에 따라 측정하는 PTP/NTP서버의 시간 지연으로 인한 시간차의 증가가 보이고 있다. Referring to FIG. 4A, an increase in time difference due to time delay of a PTP / NTP server measured as IP increases.

이러한 결과로 도 4b에 보이는 바와 같이, ITU-T G.823를 기준으로 측정한결과 FAIL이 됨을 알수 있다. As a result, as shown in FIG. 4B, the measurement result based on ITU-T G.823 is FAIL.

여기서 중요한 것은 도 4c에 보이는 바와 같이, ITU-T G.8271 Table II.1 의 하나를 적용 시에는 적합함을 알 수 있다. It is important to note that it is suitable when one of the ITU-T G.8271 Table II.1 is applied as shown in FIG. 4C.

이러한 지표를 제공함으로써 PTP/NTP 서버(200)가 사용되는 환경에 적합한지를 보다 합리적으로 판단할 수 있다.By providing these indicators, it may be more reasonable to determine whether the PTP / NTP server 200 is suitable for the environment in which it is used.

3. 측정대상이 되는 PTP/NTP 서버(200) 및 네트위크 지연 계산 및 표시3. Calculation and display of PTP / NTP server 200 and network delay to be measured

3.1 부하가 증가함에 따라 서버의 응답시간의 저하가 없는지 확인3.1 Verify that there is no degradation in server response time as load increases

서버에서 -> 측정장치의 지연시간 차트 표시    Display latency charts from the server-> measuring devices

측정장치 -> 서버장치의 지연시간 차트 표시     Display latency chart of measuring device-> server device

다수의 클라이언트가 PTP/NTP 서버(200)로 동시 다발적으로 정보를 요청하게 되면 PTP/NTP 서버(200)에서 처리 시간의 지연이 발생하며 심한 경우 아예 응답을 못할 수도 있다.When multiple clients request information to the PTP / NTP server 200 at the same time, there is a delay in processing time in the PTP / NTP server 200 and may not respond at all.

본 발명의 PTP/NTP 서버 부하 시험 장치(100)는 PTP/NTP 서버(200)로 동시 다발적으로 동기화 메시지을 전송하고 해당 동기화 메시지에 대한 응신을 분석하여 PTP/NTP 서버(200)에서 어느 정도의 처리 지연이 발생하는 지를 판단함으로써, 단일의 부하 시험 장치(100)로 PTP/NTP 서버(200)의 실제 환경을 시뮬레이션하게 된다. The PTP / NTP server load test apparatus 100 of the present invention simultaneously transmits a synchronization message to the PTP / NTP server 200 and analyzes the response to the synchronization message to a certain extent in the PTP / NTP server 200. By determining whether a processing delay occurs, the single load test apparatus 100 simulates the actual environment of the PTP / NTP server 200.

도 5는 네트워크 딜레이를 측정한 결과를 표시하는 화면의 예를 보인다.5 shows an example of a screen displaying a result of measuring network delay.

도 5를 참조하면 0~6021 총 6022개의 PTP/NTP 시뮬레이터들 각각에 대한 네트워크 딜레이가 표시되고 있고, 네트워크 딜레이의 최대값/최소값이 표시되고 있음을 알 수 있다.Referring to FIG. 5, it can be seen that the network delays for each of the total of 6022 PTP / NTP simulators 0 to 6061 are displayed, and the maximum / minimum values of the network delays are displayed.

본 발명에 따른 PTP/NTP 서버 부하 시험 장치는 PTP 뿐만 아니라 NTP 에도 거의 동일하게 적용할 수 있다.PTP / NTP server load test apparatus according to the present invention can be applied almost the same to NTP as well as PTP.

PTP와 NTP가 동작하는 방식은 조금 다르다The way PTP and NTP work is slightly different

1.1.1 PTP의 경우 PTP/NTP 서버 부하 시험 장치가 PTP/NTP 서버와 상호 정보를 전달하여 연결한다. 이때 초당 시간을 몇 번을 보낼지 등을 결정한다.1.1.1 In the case of PTP, the PTP / NTP server load tester communicates with the PTP / NTP server by transmitting mutual information. You decide how many times per second you want to spend.

1.1.2 PTP/NTP 서버는 PTP/NTP 서버 부하 시험 장치로 시각 및 기타 정보를 전달한다. 1.1.2 The PTP / NTP Server sends time and other information to the PTP / NTP Server Load Tester.

1.1.3 PTP/NTP 서버 부하 시험 장치는 network delay를 요청하고 1.1.3 PTP / NTP server load tester requests network delay

1.1.4 PTP/NTP 서버가 응답하고 1.1.4 The PTP / NTP server responds

1.1.5 PTP/NTP 서버 부하 시험 장치는 시간을 계산하여 자기 시간을 맞춘다. (여기서 PTP/NTP 서버 부하 시험 장치는 서버의 시간과 자신의 시간을 비교분석하여 정보를 제공한다)1.1.5 The PTP / NTP server load tester calculates the time to set its own time. (The PTP / NTP server load tester compares the server's time with its own time and provides information.)

이에 비해, NTP 의 경우는 좀더 간단하다. In contrast, NTP is simpler.

1.2.1 NTP 의 경우 부하 시험 장치가 서버(NTP 서버)로 시간을 요청한다1.2.1 For NTP, the load tester requests time to the server (NTP server)

1.2.2 NTP 서버가 이에 응답을 하고1.2.2 The NTP server responds

1.2.3 부하 시험 장치는 NTP 서버에서 수신된 시간을 계산하여 자기시간을 맞춘다.1.2.3 The load tester calculates the time received from the NTP server and adjusts its time.

(여기서 부하 시험 장치는 NTP 서버의 시간과 자신의 시간을 비교분석하여 정보를 제공한다)(Here, the load tester compares the time of NTP server with its own time and provides information)

100...PTP/NTP 서버 부하 능력 시험 장치
102...기준 시간 정보 장치 104-1 ~ 104-n... PTP/NTP 시뮬레이터
106...부하 능력 측정 장치
100 ... PTP / NTP Server Load Capacity Test Device
Reference time information device 104-1 to 104-n ... PTP / NTP simulator
106 ... Load capacity measuring device

Claims (6)

네트워크 표준 시간 정보를 발생하는 PTP(Precision Time Protocol)/NTP(Network Time Protocol) 서버의 부처 처리 능력을 시험하기 위한 PTP/NTP 서버 부하 시험 장치에 있어서,
상기 PTP/NTP 서버의 표준 시간 정보보다 높은 정밀도의 기준 시간 정보를 발생하는 기준 시간 정보 발생 장치;
각각에 서로 다른 IP가 할당되고 상기 PTP/NTP 서버에 액세스하여 시간 동기화 동작을 수행하며, 시간 동기화 동작시 상기 기준 시간 정보 발생 장치에서 발생하는 기준 시간 정보에 기반한 타임 스탬프를 가지는 동기화 메시지를 상기 PTP/NTP 서버에 인가하며, 상기 PTP 서버의 응답 메시지를 수신하는 복수의 PTP/NTP 시뮬레이터; 및
상기 복수의 PTP/NTP 시뮬레이터에서 발신한 동기화 메시지 및 그에 상응하는 응답 메시지를 참조하여 상기 PTP/NTP 서버의 부하 처리 능력을 측정하는 부하 능력 측정 장치;
를 포함하는 PTP/NTP 서버 부하 시험 장치.
In the PTP / NTP server load test apparatus for testing the department processing capability of the Precision Time Protocol (PTP) / Network Time Protocol (NTP) server for generating network standard time information,
A reference time information generator for generating reference time information with higher precision than standard time information of the PTP / NTP server;
A different IP is assigned to each PTP / NTP server to access the PTP / NTP server to perform a time synchronization operation, and during the time synchronization operation, the PTP receives a synchronization message having a time stamp based on reference time information generated by the reference time information generating device. A plurality of PTP / NTP simulators applied to / NTP servers and receiving response messages of the PTP server; And
A load capability measuring apparatus for measuring load handling capability of the PTP / NTP server with reference to a synchronization message sent from the plurality of PTP / NTP simulators and a corresponding response message;
PTP / NTP server load test apparatus comprising a.
제1항에 있어서, 상기 기준 시간 정보 발생 장치는
상기 PTP/NTP 서버의 클럭보다 높은 정밀도의 기준 클럭을 발생하며,
상기 PTP/NTP 시뮬레이터는 기준 클럭에 동기하여 동기화 메시지 및 응답 메시지를 송수신하는 것을 특징으로 하는 PTP/NTP 서버 부하 시험 장치.
The apparatus of claim 1, wherein the reference time information generating device comprises:
Generates a reference clock with a higher precision than the clock of the PTP / NTP server;
And the PTP / NTP simulator is configured to transmit and receive a synchronization message and a response message in synchronization with a reference clock.
제2항에 있어서, 상기 부하 능력 측정 장치는 각 IP별로 수신한 메시지를 분석하여 상기 PTP/NTP 서버와 상기 PTP/NTP 서버 부하 시험 장치 간의 전달시간 및 시간 오차 산출하는 것을 특징으로 하는 PTP/NTP 서버 부하 시험 장치.
The PTP / NTP of claim 2, wherein the load capacity measuring device analyzes a message received for each IP to calculate a transmission time and a time error between the PTP / NTP server and the PTP / NTP server load test device. Server load test device.
제3항에 있어서, 상기 부하 능력 측정 장치는 각 IP별로 산출한 전달 시간 및 시간 오차를 참조하며 상기 PTP/NTP 서버의 부하 능력을 산출하는 것을 특징으로 하는 PTP/NTP 서버 부하 시험 장치.
The PTP / NTP server load test apparatus of claim 3, wherein the load capacity measuring apparatus calculates a load capability of the PTP / NTP server by referring to a transmission time and a time error calculated for each IP.
제4항에 있어서, 상기 부하 능력 측정 장치는 측정값을 국제 표준과 비교하여 국제 표준에의 적합성을 산출하는 것을 특징으로 하는 PTP/NTP 서버 부하 시험 장치.
The PTP / NTP server load test apparatus according to claim 4, wherein the load capacity measuring apparatus compares the measured value with an international standard to calculate compliance with the international standard.
제1항에 있어서, 상기 PTP/NTP 시뮬레이터 각각은 송수신되는 메시지의 타임 스태프 정보를 검출하는 래치(latch)를 포함하는 것을 특징으로 하는 PTP/NTP 서버 부하 시험 장치.

The apparatus of claim 1, wherein each of the PTP / NTP simulators includes a latch for detecting time staff information of a message to be transmitted and received.

KR1020180013727A 2018-02-05 2018-02-05 apparatus for testing load capacity of ptp/ntp server KR20190094499A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180013727A KR20190094499A (en) 2018-02-05 2018-02-05 apparatus for testing load capacity of ptp/ntp server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180013727A KR20190094499A (en) 2018-02-05 2018-02-05 apparatus for testing load capacity of ptp/ntp server

Publications (1)

Publication Number Publication Date
KR20190094499A true KR20190094499A (en) 2019-08-14

Family

ID=67622243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180013727A KR20190094499A (en) 2018-02-05 2018-02-05 apparatus for testing load capacity of ptp/ntp server

Country Status (1)

Country Link
KR (1) KR20190094499A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134750A (en) * 2020-09-02 2020-12-25 中国信息通信研究院 Network time protocol pressure test method and device
CN115208806A (en) * 2022-07-07 2022-10-18 电信科学技术第五研究所有限公司 Method and device for testing response capability of NTP (network time protocol) server

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134750A (en) * 2020-09-02 2020-12-25 中国信息通信研究院 Network time protocol pressure test method and device
CN112134750B (en) * 2020-09-02 2022-06-03 中国信息通信研究院 Network time protocol pressure test method and device
CN115208806A (en) * 2022-07-07 2022-10-18 电信科学技术第五研究所有限公司 Method and device for testing response capability of NTP (network time protocol) server

Similar Documents

Publication Publication Date Title
US9736804B2 (en) Methods, systems, and computer readable media for synchronizing timing among network interface cards (NICS) in a network equipment test device
De Vito et al. One-way delay measurement: State of the art
US9923656B2 (en) Methods, systems, and computer readable media for testing recovered clock quality
Han et al. A practical implementation of IEEE 1588-2008 transparent clock for distributed measurement and control systems
EP2725728A1 (en) Method and device for assessing the performance of one or more packet synchronization services in a packet data transmission network
WO2018006686A1 (en) Method, apparatus and device for optimizing time synchronization between communication network devices
CN101098219A (en) Correcting time synchronisation inaccuracy caused by asymmetric delay on a communication link
Ferrari et al. Experimental characterization of uncertainty sources in a software-only synchronization system
US20030158706A1 (en) Instrument timing using synchronized clocks
EP2736194B1 (en) Latency monitoring point
KR20190094499A (en) apparatus for testing load capacity of ptp/ntp server
CN105425899A (en) Multi-scope control and synchronization system
CN106487467A (en) A kind of time synchronized deviation detecting method and device
Levine An algorithm for synchronizing a clock when the data are received over a network with an unstable delay
CN106161121A (en) The measuring method of a kind of message Forwarding Delay, Apparatus and system
JP2010112947A (en) Testing measuring apparatus, measuring system and method
Breuer et al. Precise packet delay measurement in an Ethernet network
KR100581142B1 (en) A Distributed measurement system for the multipoint performance evaluation in the internet and method thereof
Levine Timing in telecommunications networks
CN105530139B (en) Self-checking method and device for 1588 equipment
Orgerie et al. Survey of network metrology platforms
KR20100048124A (en) Time synchronization method in bridged local area network
JP2001244932A (en) Method and system for measuring network delay
Barford et al. Fourier analysis from networked measurements using time synchronization
Sanz et al. IEEE 1588 clock distribution for FlexRIO devices in PXIe platforms

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right