KR100447041B1 - Method and system for making performance test scenarios and for testing, analyzing and motoring the performance of servers in multi-tier distributed computing environment. - Google Patents

Method and system for making performance test scenarios and for testing, analyzing and motoring the performance of servers in multi-tier distributed computing environment. Download PDF

Info

Publication number
KR100447041B1
KR100447041B1 KR20040003589A KR20040003589A KR100447041B1 KR 100447041 B1 KR100447041 B1 KR 100447041B1 KR 20040003589 A KR20040003589 A KR 20040003589A KR 20040003589 A KR20040003589 A KR 20040003589A KR 100447041 B1 KR100447041 B1 KR 100447041B1
Authority
KR
South Korea
Prior art keywords
server
performance
agent
request
tier
Prior art date
Application number
KR20040003589A
Other languages
Korean (ko)
Other versions
KR20040013058A (en
Inventor
박기복
Original Assignee
박기복
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박기복 filed Critical 박기복
Priority to KR20040003589A priority Critical patent/KR100447041B1/en
Publication of KR20040013058A publication Critical patent/KR20040013058A/en
Application granted granted Critical
Publication of KR100447041B1 publication Critical patent/KR100447041B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/22Tracking the activity of the user

Abstract

The present invention relates to the methods and system for recording clients' requests and for making tests, analyses and monitoring the performances of the requests and the performances of the servers in the multi-tiered, distributed computing environment. More specifically, running each agent for each server, each agent relaying its client's requests and its server's responses between the client and server to record clients' requests and for making automated tests, analyses and monitoring, with the recorded requests, the performances of the requests and the induced requests by the servers and the performances of the servers in the multi-tiered, distributed computing environment.

Description

멀티-티어(Tier) 분산 환경에서 티어별 서버의 성능측정을 위한 클라이언트의 요청 리소스(resource)의 수집과 티어별 서버의 성능과 요청 리소스들에 대한 성능정보를 측정,분석,모니터 하는 시스템 및 방법 {Method and system for making performance test scenarios and for testing, analyzing and motoring the performance of servers in multi-tier distributed computing environment.} Multi-system and how to measure, analyze, monitor performance information on the collection and tier-specific server of the requested resource (resource) of the client for measuring the performance of tier-specific server in tier (Tier) distributed performance and requested resource {Method and system for making performance test scenarios and for testing, analyzing and motoring the performance of servers in multi-tier distributed computing environment.}

본 발명은 멀티-티어(Tier) 분산 환경에서 티어별 서버의 성능측정을 위한 클라이언트의 요청 리소스(resource)의 수집과 티어별 서버의 성능과 요청 리소스들에 대한 성능을 측정,분석,모니터 하는 시스템 및 방법에 관한 것으로, 더욱 상세하게는 티어별 각 서버마다 서버와 통신연결을 담당하는 에이전트(Agent)서버를 이용하여 해당 서버의 성능을 테스트하기 위한 요청 리소스(resource)의 수집과 상기의 방법및 일반적인 방법으로 수집된 요청 리소스를 이용하여 각 티어별 서버의 성능을 측정, 분석하고 또한 요청된 개별 요청 리소스의 성능 그리고 상기 요청된 요청 리소스의 처리를 위해 참여한 다른 티어들의 서버들의 성능과 이 서버들에서 처리된 요청 리소스들의 성능을 측정, 분석, 모니터 하기 위한 시스템 및 방법에 관한 것이다. The present invention is a multi-tier (Tier) system for measuring, analyzing, and monitoring the acquisition performance and performance for the requested resources on the tier by a server of the requested resource (resource) of the client for measuring the performance of tier-specific server in a distributed environment, and to a method, and more particularly to a tier for each each server agent that is responsible for communicating with the server connection (agent) with the server collects and the methods of the requested resource (resource) for testing the performance of the server, and typical methods collected using a request resource measuring the performance of each tier-specific servers to, the analysis and also the performance and the performance and the server of the server of the other tiers involved for processing of the request, the requested resource for the requested individual requests resources It relates to the performance of the processing the requested resource from the measurement, analysis, and system and method for monitoring.

오늘날의 컴퓨팅 환경은 클라이언트와 애플리케이션, 데이터베이스, 미들웨어, ERP(Enterprise Resource Plan), CRM(Customer Relationship Management) 솔루션 등 각종 서비스를 담당하는 서버들의 멀티-티어 분산 환경으로 발전하였다. Today's computing environment, clients, applications, databases, middleware, ERP (Enterprise Resource Plan), CRM of multi-server that is responsible for the various services, such as (Customer Relationship Management) solutions were developed to tier distributed environment. 종전의 클라이언트-서버 방식의 2단계 컴퓨팅환경에서는 시스템의 성능관리가 비교적 용이하였지만, 현재는 웹을 이용한 수백, 수천의 동시 사용자의 부하가 비정규적으로 발생할 수 있으며, 다수의 서버들이 분산되어 단계별로 클라이언트의 요청을 처리하여 마지막으로 결과를 클라이언트에게 전달하는 복잡한 환경에서 프로세스가 이루어지기 때문에, 시스템의 성능관리가 더욱 어렵게 되었다. Previous client - In the second stage of the server method computing experience but is relatively easy performance management system, currently in stages hundreds and of thousands of concurrent user load can result in irregular, the number of servers distributed using the web since the process is conducted in a complex environment to handle requests from clients to finally deliver the results to the client, the performance management system was more difficult. 이렇게 복잡한 멀티-티어 분산 환경에서 각 계층별 서버의 성능에 대한 정확한 테스트와 측정과 분석을 제공하는 시스템 및 방법이 요구된다. This complex, multi-system that provides accurate test and measurement and analysis of the performance of each layer in the server tier distributed environments and methods are required.

이러한 멀티-티어 분산 환경에서 각 서버의 성능 관리는 주로 티어별 서버에서 에이전트를 구동하여, 해당 서버의 로그를 분석하여 성능정보를 측정하고 모니터하는 방식을 사용한다. This multi-management performance of each server in the distributed tier is mainly driving the agent from the specific tier server, it uses a method to analyze the log of the server which measures and monitors the performance information. 그러나 이러한 방식은 대상 서버의 로그 과정과 형식을 에이전트가 모두 알고 있어야 하며, 에이전트가 대상 서버와 동일한 시스템에서 실행될 수 있어야 하는 조건을 만족해야 한다. However, this approach should satisfy the condition that the log process and the format of the target server and agent must all know, the agent must be running on the same computer as the destination server. 최근에는 클라이언트의 요청 리소스의 처리를위한 분산된 서버들의 성능에 대한 측정을 서버측은 자바가상머신(Java Virtual Machine)을 이용하는 자바 어플리케이션 서버의 로그 기능을 이용하여 상기 자바어플리케이션 서버와 통신하는 서버들에 대한 성능을 측정하는 방식으로 이루어 지고 있고, 클라이언트 측은 웹브라우저 기반으로 이루어지고 있으나, 서버상의 어플리케이션이 CGI, PHP, Perl또는 데이터베이스 또는 다른 종류의 서버 솔루션이나 미들웨어로 구현된 시스템인 경우에 적용이 어려우며, 클라이언트측 또한 어플리케이션이 웹브라우저가 아닌 다른 어플리케이션일 경우에 대하여는 클라이언트가 요청한 리소스의 수집과 요청 리소스에 대한 단계별 서버의 성능에 대한 테스트와 측정과 분석이 어려운 실정이다. Recently, on the side of the measurement of their distributed server performance server using the logging capabilities of the Java application server using a Java Virtual Machine (Java Virtual Machine) The Java application server to communicate with a server for the processing of the request resources on the client and the for the performance made in a way to measure the client side, but made of a web browser based application on a server, CGI, PHP, Perl, or database, or difficult, it applies in the case of systems implemented in other types of server solutions and middleware a client-side application is also a difficult situation test and measurement and analysis of the performance of the server for the collection and step-by-step resource requested in the resource requested by the client with respect to one another if the application rather than a web browser. 또한 서버의 어플리케이션 프로그램의 소스(Source)에 약속한 API(Application Programming Interface)를 삽입하고, 삽입된 API에 의해 실행중 생성하는 로그정보를 분석하여 서버의 성능을 측정,분석하는 방법도 사용되고 있으나, 이러한 방법은 현실적으로 표준적인 방법이 없고, 프로그램의 소스를 수정하고, 재 컴파일해야 하는 여려움이 있게된다. In addition, it inserts a (Application Programming Interface) API commitment to the source (Source) of the application program in the server, but analyzes the log information generated in the execution by the embedded API to measure the performance of the server, the method of analysis is also used, these methods will enable a realistic yeoryeoum that there is no standard method, and fix the source of the program must be recompiled.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서,본 발명의 목적은 다수의 서버가 참여하는 멀티-티어(Tier) 분산 환경에서 각 티어별 서버와 통신 프로토콜로 연결된 에이전트(agent)서버들을 이용하여 각 티어별 서버의 성능 테스트를 위한 요청 리소스(resource)의 수집을 위한 시스템 및 방법을 제공하는 것이다. Using the tiers (Tier) agent connected to each tier server-specific communication protocol in a distributed environment (agent) server - The present invention been made in view of the above problems, an object of the present invention a plurality of the server to join a multi- and to provide a system and method for the collection of the requested resource (resource) for the performance test of each tier server-specific. 여기서 각 에이전트서버의 실행 시스템은 해당 서버와 동일하지 않아도 된다. The running system for each agent server does not have to be the same as the server.

또한, 본 발명의 다른 목적은 상기의 방법으로 요청 리소스들을 수집할 때, 관심있는 요청 리소스들을 하나의 집합으로 리파지터리 서버에 저장하여, 각 집합별 요청 리소스들의 성능 테스트 와 이 집합들의 조합을 이용한 새로운 요청 리소스 집합의 생성을 돕기 위한 시스템 및 방법을 제공하는 것이다. Another object of the present invention is a combination of the time to collect the requested resource in the above-described way, by storing the requested resource of interest to the repository server as a set, the performance test and the collection of each set by the requested resource used to provide a system and method to facilitate the creation of a new set of resources requested.

또한, 본 발명의 다른 목적은 임의의 방법으로 수집된 요청 리소스들을 이용하여 임의의 수의 가상사용자에 의하여 성능측정을 실시하여 상기 요청 리소스들의 성능 그리고 상기 요청 리소스들의 처리를 위해 참여한 다른 티어의 서버들의 성능과 다른 티어의 서버에서 처리된 요청 리소스들의 성능을 측정, 분석하기 위한 시스템 및 방법을 제공하는 것이다. In addition, the other object of the invention is any process for the requested resource of another tier by participants for performance by implementing the measurement performance of the requested resources and the processing of the resource requested by the virtual user of the random number using the server collects measuring the performance of the server and the performance of the requested resource in the processing of the other tiers, to provide a system and method for analysis.

또한, 본 발명의 다른 목적은 상기의 방법으로 테스트 및 측정된 각종 성능 정보를 리파지터리 서버에 저장하여 티어별 서버의 성능에 대한 다양한(일자별, 테스트 조건별) 정보를 조회하여 티어별 서버의 성능을 개선하는데 도움을 주는 시스템 및 방법을 제공하는 것이다. In addition, by storing various kinds of performance information, the further object is tested and measured by the method of the invention the repository server, query various (by date, by a test condition) information on the tier server-specific performance of tier-specific server to help improve performance is to provide a system and method.

또한, 본 발명의 다른 목적은 임의의 방법으로 수집된 요청 리소스 중에서 티어별 서버의 성능에 기준 역할을 하는 요청 리소스들을 리파지터리 서버로부터 검색하여 운영중인 시스템에 상시 성능측정을 하여 운영시스템의 성능을 선별된 요청 리소스들에 의한 샘플링 방식으로 실시간 모니터하기 위한 시스템 및 방법을 제공하는 것이다. It is another object of the present invention performance of the operating system by a constant measure of performance for the system operators to search for the requested resource to the reference part in the tier-specific server performance from the repository server from the requested resource collected by any method the sampling system by the selected resource request to provide a system and method for real-time monitoring.

상기의 목적들을 달성하기 위하여 본 발명은, 컨트롤러(Controller) 서버와 에이전트 서버와 리파지터리(Repository) 서버와 성능테스트 모니터와 사용자 인터페이스를 포함하는 것을 특징으로 한다. The present invention In order to achieve the above object of the is characterized in that it comprises a controller (Controller) server and the agent server and the repository (Repository) server and the performance test monitor and the user interface. 상세하게는, 컨트롤러 서버는 수집된 요청 리소스들을 이용하여 성능테스트를 관리하는 잡 스케쥴러(Job Scheduler)부와 요청 리소스에 대한 수집과 특정 요청 리소스에 대한 성능테스트를 담당하는 워크벤치(Workbench)부와 리파지터리 서버로부터 성능정보를 조회하여 분석하는 어넬라이저(Analyzer)부와 임의의 수의 가상 사용자를 발생시켜서 성능테스트를 수행하여 성능정보를 컨트롤러 서버에 전달하고, 리파지터리 서버에 저장하는 가상사용자(Vuser)부와 성능테스트 상태를 실시간으로 모니터링 하는 성능테스트 모니터부를 포함하며, 에이전트 서버는 담당하는 서버와 동일하지 않은 시스템에서 실행할 수 있으며 또한 상기 담당하는 서버와 통신연결하는 브릿지(Bridge)부와 처리된 요청 리소스의 성능정보를 수집하고 리파지터리에 전달하는 로그관리 Specifically, the controller server job scheduler that manages the performance tests using the collected requested resource (Job Scheduler) wealth and work are responsible for gathering and performance tests for specific requested resource for the requested resource Bench (Workbench) section and virtual causes an analyzing query the performance information from the repository server eonel riser (Analyzer) portion and any number of virtual user performing a performance test by passing the performance information to the controller server, and stored in the repository server, user (Vuser) portion and comprising a performance test conditions as part performance test monitor for monitoring in real time, the agent server can run on a system that is not equal to the charge server, and also bridge (Bridge) unit for the charge of communicating with the server to connect collecting performance information of the resources to the processing request, and log management for transmission in the repository 를 포함하며, 리파지터리 서버는 요청 리소스들과 잡(Job) 정보와 성능정보를 저장, 관리하는 데이터베이스부로 이루어진 것에 특징이 있다. To include, and repository server is characterized in comprising a database portion for storing, managing the resource request and the job (Job) information and performance information.

도 1은 본 발명에 따른 컨트롤러 서버, 에이전트 서버, 리파지터리 서버, 성능테스트 모니터, 사용자 인터페이스를 사용하여 요청 리소스를 수집, 관리하고 성능측정하고, 측정된 성능정보를 관리, 분석하는 시스템의 개괄적 구성을 도시한 블록도이다. Figure 1 is an overview of a system for collection, management, and performance measurement, management, and analysis of the measured performance information, the requested resource using the controller server, the agent server, the repository server, the performance test monitor, the user interface according to the invention a block diagram showing a configuration.

도2는 본 발명의 한 실시예에서 실행되는 데이터베이스 서버 계층에 대한 실행 환경을 도시한 블록도이다. 2 is a diagram showing an execution environment for the database server layer running on one embodiment of the present invention.

도3은 본 발명의 한 실시예에서 실행되는 3계층 서버 시스템에 대한 모니터 실행 환경을 도시한 블록도이다. 3 is a block diagram showing the monitor execution environment for a three-tier server system that is running on one embodiment of the present invention.

< 도면의 주요 부분에 대한 부호의 설명 > <Description of the Related Art>

10. 컨트롤러 서버 10. The controller server

11. 가상사용자 12. 워크벤치 13. 잡스케쥴러 14. 어넬라이저 11. Virtual User 12. 13. Workbench job scheduler 14. eonel riser

20. 리파지터리 20. repository

30. 성능테스트 모니터 30. Performance Test Monitor

40. 에이전트 40. Agents

41. 웹에이전트 42. 미들웨어 에이전트 43. 데이터베이스 에이전트 41. Web Agent 42. Agent 43. middleware database agents

50. 사용자 인터페이스 50. The user interface

60. 서버 60. Servers

61. 웹어플리케이션 서버 62. 미들웨어 서버 63. 데이터베이스 서버 61. 62. The web application server middleware server 63. Database Server

70. 클라이언트 어플리케이션 70. Client Applications

71. 웹 클라이언트 72. 미들웨어 클라이언트 73. 데이터베이스 클라이언트 71. 72. Web client middleware, database client 73. Client

본 발명의 바람직한 실시 예를 첨부 도면에 의거 상세히 설명하면 다음과 같다. If it described in detail based on the accompanying drawings preferred embodiments of the present invention. 첨부된 도면 도1은 본 발명에 따른 컨트롤러 서버(10), 리파지터리 서버(20), 성능테스트 모니터(30), 에이전트서버(41,42,43), 사용자 인터페이스(50)를 사용하여 성능테스트를 위한 클라이언트의 요청리소스의 수집과 관리 그리고 수집된 요청 리소스를 이용하여 성능측정 그리고 측정된 성능 정보를 관리, 분석, 모니터 하는 시스템의 개괄적 구성을 도시한 블록도이다. To the accompanying drawings, Figure 1 is the use of the controller server 10, the repository server 20, a performance test monitor 30, the agent server (41,42,43), the user interface 50 according to the present invention performance for using the collection and management of resources on the client request for a test, and the collected resource requests performance measurement and the measured performance information management, analysis, and a block diagram showing a general configuration of a monitor system block. 도1에 도시된 바와 같이, 본 발명에 의한 멀티-티어 분산 환경의 서버 성능 측정,분석,모니터 시스템의 전체 구성은 컨트롤러서버(10)와 리파지터리서버(20)와 성능테스트 모니터(30)와 에이전트서버(40)와사용자 인터페이스(50)로 이루어지며, 상기 컨트롤러서버(10)는 가상사용자(11)부와 워크벤치(12)부와 잡스케쥴러(13)부와 어넬라이저(14)부로 구성되며, 상기 가상사용자(11)부는 각 티어별 서버에 대한 클라이언트로서 통신 수단을 포함하며, 상기 리파지터리서버(20)는 표준 SQL을 지원하는 임의의 관계형 데이터베이스로 구성되며, 상기 성능테스트 모니터(30)는 윈도우 어플리케이션으로 구성되며, 상기 사용자 인터페이스(50)는 웹브라우저로 구성된다. The multi according to the present invention as shown in Figure 1 - the overall configuration of a server performance measurement, analysis and display system of tier distributed environment, the controller server 10 and the repository server 20 and the performance test monitor 30 parts and the agent server 40 and consists of a user interface 50, the controller server 10 is a virtual user (11) portion and the workbench (12) portion and a job scheduler (13) portion and eonel riser 14 configuration and the virtual users (11) unit includes a communication means as a client, the repository server 20 for each tier-specific server is composed of any relational database that supports standard SQL, the performance test monitor 30 is composed of a Windows application, the user interface 50 is configured with a Web browser. 또한 각 티어별 에이전트서버(41,42,43)들은 각각 연결하는 서버(61,62,63)들과 지원 프로토콜을 이용하여 연결하여, 상기 연결 서버와 동일한 시스템에서 실행하지 않아도 되며, 클라이언트로 부터 요청된 요청 리소스에 대한 성능 정보를 수집하여, 리파지터리서버(20)에 전달하는 것을 특징으로 한다. In addition, each tier-specific agent server (41,42,43) are connected by the protocol and support server (61,62,63) for connecting, respectively, and do not need to run on the same machine as the connection server, from the client It collects performance information for the requested resource request, characterized in that passed to the repository server 20. 이와 같은 구성을 갖는 본 발명의 시스템을 이용하면 사용자는 사용자 인터페이스(50)인 웹 브라우저와 각 티어별 서버(60)의 해당 클라이언트 어플리케이션(70)만으로 멀티-티어 분산 환경의 서버 성능을 측정,분석, 모니터 할 수 있다. Thus when using the system of the present invention having such a configuration, users user interface 50 web browser and only the client application 70 of the respective tier by the server 60, the multi-scale servers tier distributed environment, analysis It can be monitored.

<성능 측정용 요청 리소스 수집 및 관리> <Performance collection and management of resources requested for the measurement>

멀티-티어 분산 환경의 서버 시스템에 대한 성능 측정과 분석은 먼저, 성능 측정을 위한 요청 리소스를 수집해야 하는데, 측정 대상 시스템이 웹 클라이언트에서 접근할 수 있는 경우와 웹 클라이언트에서 접근할 수 없는 경우로 나누어 설명한다. Multi - if performance measurement and analysis of server systems for tier distributed environment, first, to have collected the requested resources for performance measurement, measurement target system can not be accessed from a Web client, if you can access the Web client divided will be described. 먼저, 대상 멀티-티어 분산 서버 시스템이 웹 클라이언트에서 접근할 수 있는 경우는 도1과 같은 경우에 해당하며, 이러한 경우에는 사용자는 사용자 인터페이스인 웹브라우저(50)와 워크벤치(12)를 이용하여 대상 웹어플리케이션서버(61)에 웹에이전트 서버(41)를 통하여 접속하여 측정 대상 업무를 수행(Navigate)하면, 상기 웹에이전트 서버(41)는 사용자의 요청 리소스들의 성능정보 즉, 요청URL, 각 URL 요청 사이의 간격 시간(Stay Time), 응답시간, 응답코드, 응답크기, HTTP 요청 해더, HTTP 응답 해더, 쿠키 등의 다양한 정보들을 리파지터리 서버(20)에 저장한다. First, the target multi-corresponds to the case-tier distributed server system such as the one may be able to access the Web client. In this case, the user using a user interface, a web browser (50) Workbench (12) target web application server 61 to perform the measurement target service by connecting via the Web agent server 41 to (Navigate) If the Web agent server 41 is capability information of the user requesting a resource that is, the request URL, each URL and stores the time intervals between the requests (Stay time), response time, and the response code, the response size, a variety of information, such as the HTTP request header, HTTP response header, in the cookie repository server 20. 다시 사용자는 사용자 인터페이스(50)와 워크벤치(12)를 이용하여 리파지터리 서버(20)에 저장된 URL들을 독출하여 다양한 성능 테스트를 위한 요청 리소스의 집합을 생성할 수 있게 된다. Again, the user can generate a set of resource requests for a variety of performance tests read out the URL stored in the user interface 50 and the workbench repository server 20 by using a 12. 또한, 웹에이전트 서버(41)와 연결된 웹어플리케이션 서버(61)는 요청된 URL들을 처리하기 위해서 미들웨어에이전트 서버(42)를 통하여 상기 미들웨어에이전트 서버(42)와 연결된 미들웨어 서버(62)에 RPC(Remote Procedure Call) 메소드(Method)를 요청하게 된다. In addition, RPC (Remote the Web Agent server 41 associated with the web application server 61 middleware agent server 42, the middleware agent server 42 and the associated middleware server 62 through to process the requested URL Procedure Call) will request a method (method). 이때 요청된 각 RPC 메소드들의 성능정보는 모두 미들웨어에이전트 서버(42)에 의해서 리파지터리 서버(20)에 저장된다. The performance information of each of the RPC method requested are all stored in the repository server 20 by the middleware agent server (42). 사용자는 다시 사용자인터페이스(50)와 워크벤치(12)를 이용하여 미들웨어 서버에 대한 성능측정에 사용할 요청 리소스(RPC 메소드)를 다양한 방법으로 독출하여 사용할 수 있다. The user can re-use the user interface (50) Workbench (12) used to read out the requested resource (RPC methods) used to measure the performance of the middleware server in a variety of ways. 또한, 미들웨어에이전트 서버(42)와 연결된 미들웨어서버(62)는 요청된 RPC 메소드들을 처리하기 위해서 데이터베이스에이전트 서버(43)를 통하여 이와 연결된 데이터베이스 서버(63)에 SQL을 요청하게 된다. In addition, the middleware server 62 connected to the middleware agent server 42 is requested to the SQL database server 63 connected to this database through the agent server 43 in order to process the request RPC method. 이때 요청된 각 SQL들의 성능정보는 모두 데이터베이스에이전트 서버(43)에 의해서 리파지터리서버(20)에 저장된다. The performance information of each of the SQL requests are all stored in the repository server 20 by the database server agent (43). 사용자는 다시 사용자 인터페이스(50)와 워크벤치(12)를 이용하여 데이터베이스 서버(63)의 성능측정에 사용할 요청 리소스(SQL)를 다양한 방법으로 독출하여 사용할 수있다. Users can use the re-read user interface (50) and a workbench request resources (SQL) used to measure the performance of the database server (63) using (12) in a variety of ways.

한편, 성능 측정 대상 멀티-티어 분산 시스템에 웹 클라이언트에서 접근할 수 없는 경우는 사용자는 접근 하고자 하는 티어의 서버에 대한 클라이언트 어플리케이션을 이용하여 대상 서버의 에이전트 서버를 통하여 해당 서버에 접근하여 테스트 하고자 하는 기능을 수행한다. On the other hand, the performance measurement target multi - If you are unable to access the Web client tier distributed systems using a client application on the tier server to the user access to tests to access the server through the target server agent server It performs a function. 도2와 같이 데이터베이스 티어만 존재하는 경우를 예로 들어 설명하면, 이러한 경우에는 데이터베이스 에이전트 서버(43)는 데이터베이스 클라이언트(73)의 요청 리소스인 SQL들과 각 SQL 요청 사이의 간격 시간(Stay Time), 응답시간, 응답코드, 응답크기 등의 다양한 성능정보들을 리파지터리 서버(20)에 저장한다. Interval time (Stay Time) between a case in which only the database tier exists, as shown in FIG. 2 as an example will be described. In this case, the database agent server 43 is the SQL requests resources of the database client 73 and each SQL request, and it stores a variety of performance information such as response time, and the response code, the response size repository server 20. 다시 사용자는 사용자 인터페이스(50)와 워크벤치(12)를 이용하여 리파지터리 서버(20)에 저장된 SQL들을 독출하여 성능 테스트를 위한 요청 리소스의 집합을 생성할 수 있게 된다. Again, the user can read out the SQL stored in the user interface 50 to the workbench 12. repository server 20 using to generate the set of requested resource for the performance test.

상기한한 방법으로 수집된 각 티어별 서버에 대한 각종 요청 리소스의 집합들은 리파지터리 서버(20)에 태스크(Task)라는 단위로 저장되며, 또한 각 요청 리소스들은 요청 서버의 IP주소, 실행횟수, 요청 리소스 사이 시간 간격 등의 측정 조건을 함께 저장한다. Set of various request resources for each tier-specific servers collected by the method above are stored in the repository server 20 in units of tasks (Task), In addition, each request resources are the IP address, the execution number of times of the request, the server It is stored with the measurement conditions such as the time interval between the requested resource. 이것을 HTTP 요청 리소스의 경우를 예로 들어 상세히 설명하면, URL, Query String, Cookie, Referer, User-Agent, Authorization, Content-Type 등의 HTTP 요청해더 값과 Iteration(반복횟수), Stay Time(요청간 사이시간) 등의 성능측정 조건에 sequence(from,to,increment), file('data.txt'), random(from,to) 의 함수를 적용하여 다양한 HTTP 요청 해더 값과 성능조건으로 성능측정을 가능하게 한다. When this will be described in detail for the case of an HTTP request resources for example, URL, Query String, Cookie, Referer, User-Agent, Authorization, Content-Type, etc. HTTP yocheonghae between the further values ​​and Iteration (repetition time), Stay Time (between requests time) sequence (from, to, increment) the measured performance criteria, such as, file ( 'data.txt'), applying the function of the random (from, to) to enable the performance measurements in a variety of HTTP request header value and performance conditions It makes. 상기 sequence(from,to,increment)함수는 이 함수가 위치한 문자열의 부분에 Iteration동안 반복하면서 from 값부터 to 값까지 increment값씩 증,감하면서 적용하는 것을 의미하며, 상기 file('data.txt')함수는 이 함수가 위치한 문자열의 부분에 인수로 전달되는 탭(tab)으로 구분되는 데이터 파일(data.txt)로 부터 데이터를 Iteration 동안 반복하면서 하나의 라인(line)씩 읽어서 적용하는 것을 의미하며, 상기 random(from,to)함수는 이 함수가 위치한 문자열의 부분에 Iteration동안 반복하면서 from 값부터 to 값 사이의 임의의 값으로 적용되면서 변하는 것을 의미한다. The sequence (from, to, increment) function means that the function is repeated while applying Iteration while sense increment gapssik increases, since up to the value from the value for the portion of the string is located, and the file ( 'data.txt') the function means that the function is repeated while the data from the data file (data.txt) that are separated in part by a tab (tab) is passed as an argument to the string in applying for iteration read by one line (line), and and the random (from, to) is a function changing means as applied to any value between the function is located from the part of the string, repeating for iteration from value to value. 잡스케쥴러(13)는 상기 태스크들을 조합하여 잡(Job)을 생성하여 성능테스트를 실시한다. The job scheduler 13 will conduct a performance test to create a job (Job) by combining the task. 태스크를 조합할 때 각 태스크에 실행횟수를 설정하여 다양한 성능 테스트를 가능하게 한다. When combining the task setting the execution frequency of each task allows for a variety of performance tests. 또한 상기의 방법으로 만들어진 태스크와 잡들은 모두 리파지터리 서버(20)에 저장되어 재사용되고, 공동 사용되고, 관리된다. Further tasks and jobs created by the above method are all stored in the repository server 20, re-use, the co-used, and are managed.

< 특정 서버에 대한 하나의 요청 리소스에 대하여 이 요청 리소스의 처리를 위하여 다른 서버들에서 처리되는 각각의 요청 리소스의 처리성능을 사용자 인터페이스를 이용하여 측정 및 분석> <Measurement and analysis using a user interface for each processing performance of the requested resource to be processed in different servers to one of the processing resource that the request for resources in the request for a particular server>

임의의 방법으로 수집된 티어별 서버의 요청 리소스들을 이용하여 사용자는 단일 사용자 환경에서 특정 요청 리소스의 성능과 상기 특정 요청 리소스를 처리하기 위해서 다른 티어들의 서버에서 처리된 요청 리소스들의 순서와 성능을 측정을 할 수 있다. Using any method requests resources in the tier-specific server collects the user measures the order and the performance of the process on the server of the other tier to process performance and the specific request resources for a particular requested resource in a single-user environment requested resource can do. 도1의 경우에 웹티어가 클라이언트로부터 접근하는 최초의 티어라고 가정하여 설명하면, 사용자는 수집된 요청 리소스(URL)중에서 관심 있는 요청 리소스(URL)를 선택하여 사용자 인터페이스(50)와 워크벤치(12)를 이용하여 성능측정을 실시하면 웹에이전트 서버(41)는 웹어플리케이션 서버(61)에서 처리된 요청리소스(URL)의 성능정보를 리파지터리 서버(20)에 전달하고, 미들웨어 에이전트 서버(42)는 웹어플리케이션 서버(61)에서 요청된 상기 리소스(URL)를 처리하기 위해서 미들웨어 서버(62)에 요청한 리소스(RPC 메소드)들의 성능정보를 리파지터리 서버(20)에 전달하고, 또한 데이터베이스 에이전트 서버(43)는 미들웨어 서버(62)에서 요청된 리소스(RPC 메소드)들을 처리하기 위해서 데이터베이스 서버(63)에 요청한 리소스(SQL)들의 성능정보를 리파지터리 서버(2) Referring to assume that even the first tier to the Web tier is accessed from the client in the case of the first, the user selects the requested resource (URL) of interest from the acquired requested resource (URL) to the user interface (50) Workbench ( 12) when subjected to performance measurement Web agent server 41 using the transmission capability information of the requested resource (URL) by the web application server 61 to the repository server 20, and the middleware agent server ( 42) is transmitted to the Web application server (61) said resource (middleware server (resource repository server (20 performance information of (RPC method) requested to 62)) to process the URL) request from, and also the database agent server (43) middleware server 62 resource database server (63) repository server (2) the performance information of the resources (SQL) requested to handle (RPC methods) request from 에 전달한다. It conveys the. 마지막으로 워크벤치(12)는 어넬라이저(14)를 이용하여 사용자가 상기 처음 요청한 리소스(URL)을 처리하기 위하여 상기 각 티어별 서버에서 실행된 요청 리소스(SQL, PRC메소드)들의 성능 정보(내용, 회수, 처리시간, 순서 등)를 독출하여 사용자 인터페이스(50)에 전달한다. Finally, the workbench 12 performance information of eonel riser (14) The requested resource (SQL, PRC method) executed in each tier by the server to the user and processing the first requested resource (URL) using the (information It reads out, recovered, and the treatment time, sequence, etc.) will be transmitted to the user interface 50. 이때, 워크벤치(12)와 각 에이전트 서버(41,42,43)들은 배타적 독점 사용권한을 설정하여 오직 한명에 의한 성능테스트가 실행되도록 보장하여 상기 처음 요청한 리소스(URL)가 다른 티어의 요청 리소스(RPC메소드,SQL)의 요청을 유도 할 때, 다른 사용자로 부터 리소스 요청이 들어와도 처리되지 못하게 한다. In this case, the workbench (12) and each agent server (41,42,43) are exclusively set exclusive permissions to ensure that only one person to run the performance tests by initially requested resource (URL) to request resources from the other tiers when induction of a request (RPC methods, SQL), and let not handle the resource request can come from other users. 한편, 사용자가 최초로 접근한 티어가 웹티어가 아니어도 상기한 방법과 유사한 과정을 거쳐서 티어별 성능 정보를 측정,분석할 수 있다. On the other hand, through a process similar to the way the user has the least one tier is not the access web tier by tier to the first measurement capability information can be analyzed.

<특정 서버에 대한 성능테스트를 이용하여, 각 티어별 서버들의 성능을 측정 및 분석> <Using the performance test for a particular server, measuring and analyzing the performance of the respective tier by the server>

임의의 방법으로 수집된 특정 서버에 대한 요청 리소스들과 사용자 인터페이스를 이용하여 사용자는 임의의 수의 가상사용자의 상기 특정 서버에 대한 클라이언트로서 통신할 수 있는 수단을 이용하여 상기 특정 서버의 성능측정을 실시하여 상기특정 서버의 성능과 상기 요청된 리소스들의 성능을 측정, 분석, 모니터 할 수 있다. Using the requested resource and the user interface for the specific server, is collected in any manner the user performance measures of the particular server, using a means to communicate as a client to the specific server of the virtual user of the random number carried out by measuring the performance of the requested resource and the capabilities of the particular server, it is possible to analyze, monitor. 이때, 상기 특정 서버에 상기 요청한 리소스들을 상기 특정 서버에서 처리하기 위하여 다른 티어의 서버들에게 리소스들을 요청하게 되면, 각 티어별 에이전트 서버들은 담당 서버에 요청된 리소스들의 성능 정보를 수집하여 리파지터리 서버에 전달하게 된다. In this case, the order to processing the requested resource to a specific server in the particular server when it requests the resources to the other tier server, and each tier-specific agent server may collect performance information of the resource request to the appropriate server repositories It is sent to the server. 이러한 방법으로 저장된 각 티어별 서버의 성능과 요청 리소스들의 성능정보는 사용자 인터페이스를 이용하여 독출할 수 있다. Performance and the performance information of the resources of each tier request by the server are stored in this way can be read out using a user interface. 상기와 같은 방법으로 사용자는 하나의 특정 서버에 대한 성능테스트를 실시하여 관련된 다른 티어의 서버들의 성능과 각 티어의 서버들에서 처리된 요청 리소스들의 성능도 함께 측정, 분석, 모니터 할 수 있다. In the same way as the user may also together of the requested resource in the processing of the other tier associated subjected to performance tests on a particular server, server performance and each tier server performance measurement, analysis and display.

이러한 경우의 바람직한 실시 예를 첨부 도면에 의거 상세히 설명하면 다음과 같다. If it described in detail based on the accompanying drawings a preferred embodiment of this case follows. 도1의 경우에, 상기의 특정 서버가 웹어플리케이션 서버(61)라고 가정하고, 웹어플리케이션 서버(61)에 대한 요청 리소스(URL)들의 집합이 리파지터리 서버(20)에 수집되어 있다고 가정하면, 사용자는 사용자인터페이스(50)와 잡스케쥴러(13)를 이용하여 가상사용자(11)에게 웹어플리케이션 서버(61)에 대한 성능테스트를 실시하도록 설정하여, 임의의 수의 가상사용자가 웹어플리케이션 서버(61)에게 리소스(URL)들을 요청하게 한다. In the case of Figure 1, assuming that the a specific server is collected on a web application server, assuming that 61, and a web application server, the repository server 20, the set of requested resource (URL) for 61 , the user is a user interface 50 and to a virtual user 11 using the job scheduler 13 is configured to conduct a performance test for the web application server 61, any number of virtual user and the Web application server ( 61) makes a request to the resource (URL). 이때, 웹어플이케이션 서버(61)는 요청된 상기의 리소스(URL)들을 처리하기 위하여 미들웨어 에이전트 서버(42)에 리소스(RPC메소드)들을 요청하게 되고, 미들웨어 에이전트 서버(42)는 요청된 리소스( RPC메소드)들을 담당 미들웨어 서버(62)에 전달하여 처리 되도록 하며, 처리가 된 후에 각 요청 리소스(RPC메소드)들에 대한 성능정보를 리파지터리 서버(20)에 전달하게되고, 또한 미들웨어 서버(62)는 요청된 리소스(RPC 메소드)들을 처리하기 위하여 데이터베이스 에이전트 서버(43)에 리소스(SQL)들을 요청 하게 되며, 데이터베이스 에이전트 서버(43)는 요청된 리소스(SQL)들을 담당 데이터베이스 서버(63)에 전달하여, 상기 데이터베이스 서버(63)에서 처리가 되도록 하여 처리가 완료되면, 상기 요청 리소스(SQL)들의 성능정보를 리파지터리 서버(20)에 전달하게 된다. At this time, the web application a revocation server 61 is the resource middleware agent server (42) to process the resource (URL) of the requested the (RPC method), and requests the middleware agent server (42) requests resources (RPC method) is transmitted to the the charge of the middleware server 62 repository server 20, the performance information for each of the requested resource (RPC method) after the to and to be processed, the process passes to, and the middleware server 62, is to request the resource (SQL) database agent server (43) for processing the requested resource (RPC method), the database agent server 43 is responsible for the database server (63 of the requested resource (SQL) ) by passing on, when the process has been completed to ensure that the processing by the database server 63, and delivers the performance information of the resource request (SQL) in the repository server 20. 한편, 가상사용자(11)는 각 요청 리소스(URL)들의 처리가 끝나면, 상기 요청한 각 리소스(URL)들의 성능정보를 리파지터리 서버(20)에 전달한다. On the other hand, the virtual user 11 has passed the end of the processing of each request resource (URL), the performance information of each resource (URL) request to the repository server 20. 이와 같은 방법으로 리파지터리 서버(20)에는 각 티어별 서버에서 처리된 요청 리소스(URL,RPC 메소드,SQL)들의 성능정보가 전달되어 저장되므로, 사용자는 사용자 인터페이스(50)와 어넬라이저(14)를 이용하여 리파지터리 서버(20)로 부터 상기 요청 리소스(URL, RPC 메소드, SQL)들의 성능 정보를 조회하여 분석하게 된다. In this way repository server 20, is stored is transmitted the performance information of the requested resource (URL, RPC method, SQL) processed in each tier-specific server, the user is a user interface 50 and eonel riser (14 ) from the repository server 20 using the analysis is to query the performance information of the requested resource (URL, RPC methods, SQL). 또한, 성능테스트 모니터(30)는 컨트롤러(10)와 통신하여, 각 에이전트 서버(40)와 테스트 서버(60)의 시스템으로부터 전달된 각 시스템의 성능정보와 가상사용자(11)로 부터 전달된 요청 리소스의 성능정보를 전달 받아서 사용자 인터페이스(50) 화면에 출력하여 모니터 하게 한다. Further, performance testing monitor 30 is the requested transmission from the controller 10 and the communication by each agent server 40 and the performance information and the virtual users (11) of each system transmitted from the system of the test server 60, It makes the monitor to receive the transmission of the resource performance information output to the user interface 50 screen.

<특정 서버에 대한 성능테스트를 이용하여, 각 티어별 서버들의 성능 및 각 티어별 서버에서 처리된 연관된 요청 리소스들의 성능을 측정 및 분석> <Using the performance test for a particular server, performance, and measuring and analyzing the performance of the requested resource associated with processing in each of the respective tier by tier server by server>

전술한 바와 같이, 단일 사용자 환경에서 특정 요청 리소스의 성능과 상기 특정 요청 리소스를 처리하기 위해서 다른 티어들의 서버에서 처리된 요청 리소스들의 순서와 성능을 측정을 할 수 있으며, 또한, 전술한 바와 같이, 사용자는 하나의 특정서버에 대한 성능테스트를 실시하여 관련된 다른 티어의 서버들의 성능과 각 티어의 서버들에서 처리된 요청 리소스들의 성능도 함께 측정, 분석, 모니터 할 수 있다. , It is possible to determine the sequence and the performance of the requested resource is processed by the server of the other tier to process performance and the specific request resources for a particular requested resource in a single-user environment, but also, as described above, as described above, the user may one performance of the requested resource is handled by the particular server in the server of the other tier and performance of each tier server associated to carry out the performance tests for the measurement with, analysis, monitoring. 이렇게 두 가지의 방법을 결합하여 측정하면, 즉, 임의의 방법으로 수집된 요청 리소스들을 이용하여, 임의의 가상사용자에 의한 특정 서버의 요청 리소스에 대한 성능과 이 요청 리소스의 처리를 위하여 다른 티어의 서버에서 처리된 요청 리소스들의 처리된 순서와 응답코드와 응답크기와 응답시간 등의 성능정보를 측정, 분석, 모니터 할 수 있다. This two ways combined measure of, that is, using the requested resource is collected by any method, the other tier for the performance and processing of the requested resource for the requested resource on a particular server according to any of the virtual user measuring the performance information, such as the processing procedure and the response code and the response magnitude and the response time of the requested resource is processed on the server, the analysis can be monitored.

이러한 경우의 바람직한 실시 예를 첨부 도면에 의거 상세히 설명하면 다음과 같다. If it described in detail based on the accompanying drawings a preferred embodiment of this case follows. 도1의 경우를 예로 들어 설명하면, 웹어플리케이션 서버(61)와 미들웨어 서버(62)와 데이터베이스 서버(63)가 존재하고 임의의 수의 가상사용자를 이용하여 웹어플리케이션 서버(61)에 대하여 성능테스트를 하는 경우에, 먼저, 가상사용자(11)는 단일 사용자 환경으로 워크벤치(12)를 이용하여 웹어플리케이션 서버(61)에 대한 각 요청 리소스(URL)의 성능측정을 실시하여 웹어플리케이션 서버(61)에서 특정 요청 리소스(URL)의 처리에 필요한 미들웨어 서버(62)에서 처리된 요청 리소스(RPC 메소드)들과 데이터베이스 서버(63)에서 처리된 요청 리소스(SQL)들의 순서와 내용을 리파지터리 서버(20)에 저장한다. When an explanatory view for the case of one example, performance tests with respect to the web application server 61 and the middleware server 62 and the database server (63) is present and by using the virtual user of any number of web application server 61 in the case that, at first, the virtual user 11 is subjected to measuring the performance of each request resource (URL) for the web application server 61 using the workbench 12 in a single-user environment, the web application server (61 ) a specific request for the requested resource processing in the middleware server 62 necessary for the processing of the resource (URL) (RPC methods) and database server (63), the repository server, the order and content of the requested resource (SQL) processing in stores (20). 이렇게, 가상 사용자(11)는 단일 사용자 환경에 대한 측정을 한 후에 임의의 수의 사용자 환경에 의한 성능측정을 실시한다. To do this, the virtual users (11) are subjected to performance measurement in accordance with any number of user environments after the measurement for a single user environment. 이때, 각 티어의 에이전트 서버(40)들은 요청된 리소스(URL, RPC메소드, SQL)들에 대한 성능정보를 리파지터리 서버(20)에 전달한다. In this case, the agent server (40) of each tier must pass the performance information on the requested resource (URL, RPC methods, SQL) to the repository server (20). 임의의 수의 사용자 환경에 의한 측정이 종료된 후에 사용자는 사용자 인터페이스(50)와 어넬라이저(14)를 이용하여 처음 단일 사용자 환경에서 실시한 성능테스트의 정보와 임의의 수의 사용자 환경에서 실시한 성능 테스트의 정보를 조합하여, 웹 어플리케이션 서버(61)에서 처리된 각 요청 리소스(URL)에 대하여 티어별 서버들에서 처리된 요청 리소스(RPC 메소드,SQL)들의 처리된 순서와 응답코드와 응답크기와 응답시간 등의 성능정보를 독출해낸다. After the measurements by any number of user experience of the end user a user interface 50 and the eonel riser 14 by performance tests conducted by the first single-user environment information conducted performance tests on the random number of the user environment of use and the information combination, the web application server (61) processed in tier-specific servers for each requested resource (URL) requests processed resource processing the order and the response code and the response size and response of the (RPC methods, SQL) at recall the read performance information of the time and the like.

<측정된 성능정보의 관리와 독출 및 분석> <Management and read out and analysis of the measured performance information>

상기의 방법으로 측정된 모든 성능정보는 리파지터리 서버(20)에 저장되어 있어서, 사용자는 사용자 인터페이스(50)와 어넬라이저(14)를 이용하여 다양한 성능정보를 조회할 수 있다. In all of the performance information measured by the above method it is stored in the repository server 20, a user using a user interface 50 and the eonel riser 14 can be found a variety of performance information. 이것을 자세히 설명하면, 단일 사용자 환경에서 워크벤치(12)를 이용하여 측정된 특정 요청 리소스의 성능정보는 시간, 일자, 월, 년 등의 시간대 별 성능 정보를 조회할 수 있으며, 또한 측정된 모든 요청 리소스들을 응답시간, 응답크기, 응답시간당 바이트 등의 성능 정보에 대하여 순서대로 정렬된 정보를 조회(Top- k Ranked Query)할 수 있고, 다중 사용자 환경에서 가상사용자(11)를 이용하여 성능 측정한 정보도 역시 리파지터리 서버(20)에 모두 저장되어 있어서, 측정된 모든 티어별 서버의 요청 리소스들의 성능정보를 응답시간, 응답크기, 응답시간당 바이트 등의 성능 정보에 대하여 순서대로 정렬된 정보를 조회(Top-k Ranked Query)할 수 있고, 성능테스트 조건별 성능정보 조회 및 성능정보 병합을 이용하여 측정 시간대별 성능정보, 가상 사용자 수의 변화 If this detail, can performance information of a specific request resources measured using the workbench (12) in a single user environment to query the zone-specific performance information on time, date, month, year, etc., and all requests measure the response time resources, response size, and in response lookup the ordered information to the performance information, such as per hour, bytes can (Top- Ranked query k), in a multi-user environment, using the virtual user 11 is a performance measurement information Fig also stored both in the repository server 20, an ordered sequence with respect to the performance information, such as performance information of the requested resource in all the measured tier server-specific response time, response size, response per byte information query (query Top Ranked-k) number, and changes in the performance test condition-specific performance information and performance information query merging the measurement time slot capability information using a virtual user can 성능정보, 요청 리소스 사이의 간격대별 성능정보, 영속성(Persistence)별 성능정보 를 조회할 수 있다. Performance information, performance gap classified information, the continuity between the requested resource (Persistence) can be found for specific performance information. 또한 상기의 방법으로 병합한 성능 정보들의 비교기능을 이용하여 서버의 성능을 비교하여분석할 수 있다. It may also be analyzed in relation to the performance of the server by using a comparison function of the performance information is merged by the above method.

<운영 시스템의 티어별 성능 모니터 및 분석> <Performance Monitor and analyze each tier of the operating system>

운영시스템의 각 티어별 서버(60)에 에이전트 서버(40)를 실행하여 리파지터리 서버(20)에 저장된 각 에이전트 서버(41,42,43)가 전달한 요청 리소스에 대한 성능 정보를 조회하여 각 서버(61,62,63)의 성능을 모니터하고 분석할 수 있다. The query performance information for the requested resource is delivered each agent server (41,42,43) stored on each tier server-specific repository server (20) to run the agent server (40) to (60) of each operating system you can monitor and analyze the performance of the server (61,62,63). 만약, 운영시스템을 위한 에이전트 서버(40)가 해당 서버(60)시스템의 성능에 저하를 가져올 경우, 에이전트 서버(40)를 사용하지 않는다. If the agent server (40) for the operating system to get a reduction on the performance of the server (60), the system does not use the agent server (40). 도3의 경우를 예로 들어 설명하면, 임의의 방법으로 수집한 요청 리소스들 중에서 각 서버(60)의 성능에 중요한 영향을 끼치는 요청 리소스들을 리파지터리 서버(20)로 부터 선택적으로 독출하여, 잡스케쥴러(13)와 가상사용자(11)를 이용하여 상시 성능측정을 실시한다. Will be described for the case of Fig. 3 as an example, from among the requested resource is collected by any method, each server performance repository server 20 requests resources damaging a significant effect on the 60 to selectively read out, the job using the scheduler 13 and the virtual users (11) subjected to constant performance measurements. 이때, 성능테스트 모니터(30)를 이용하여 실시간으로 대상 서버(60)의 성능을 선택한 요청 리소스에 대한 성능만으로 예측하는 샘플링(Sampling)방식으로 모니터 할 수 있으며, 또한 리파지터리 서버(20)에 실시간으로 저장되는 요청 리소스에 대한 성능정보를 어넬라이저(14)와 사용자 인터페이스(50)를 이용하여 조회 하여 더욱 상세한 운영시스템에 대한 성능 모니터를 할 수 있다. At this time, to monitor the performance of the test sample (Sampling) method that predicts only the performance of the selected performance in real time, the target server (60) requests a resource by using the monitor 30, and also the repository server 20 the performance information for the requested resource is stored in a real-time query by a eonel riser 14 and the user interface 50 may be a performance monitor for a more detailed operating system.

본 발명은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다. The invention can be implemented in various modifications within the technical idea of ​​the present invention is not restricted to the embodiment described above allows the range to. 에이전트 서버의 통신연결 서버들을 예로 들어 설명하면, HTTP(HTTPS)를 지원하는 XML데이터 베이스 서버, 웹서버, ERP 솔루션, CRM(Customer Relationship Management) 솔루션 또는 IIOP(Internet Inter-Object Protocol)을 지원하는 CORBA(Common Object Request BrokerArchitecture) 미들웨어 또는 RMI (Remote Method Invocation)를 지원하는 EJB(Enterprize Java Beans) 서버 또는 FTP(File Transfer Protocol), TELNET, SMTP(Simple Mail Transfer Protocol), POP3(Post Office Protocol 3), IMAP(Internet Message Access Protocol), NNTP(Network News Transfer Protocol), MMS(Microsoft Media Service), RTSP(Real Time Streaming Protocol), SOCKS(Firewall Protocol) 등의 임의의 프로토콜을 지원하는 각종 서버들이 존재하는 멀티-티어 분산 시스템에 대하여 적용 할 수 있다. If the description contains the communication connection server of the UAS for example, CORBA that supports HTTP (HTTPS) XML database servers, Web servers, ERP solutions, CRM (Customer Relationship Management) solutions or (Internet Inter-Object Protocol) IIOP to support (Common Object Request BrokerArchitecture) middleware or RMI (Remote Method Invocation) to support EJB (Enterprize Java Beans) server or an FTP (File Transfer Protocol), TELNET, SMTP (Simple Mail Transfer Protocol), POP3 (Post Office Protocol 3) that, (Internet Message Access protocol) IMAP, NNTP (Network News Transfer protocol), MMS (Microsoft Media Service), RTSP (Real Time Streaming protocol), multi-various servers exist to support any protocol such as SOCKS (Firewall protocol) - it can be applied to tier distributed systems.

이상에서 상술한 바와 같이 본 발명에 의하면, 다수의 서버들의 존재하는 복잡한 멀티-티어(tier) 분산 환경에서 각 티어별 서버들의 성능과 처리된 요청 리소스들의 성능을 테스트, 측정, 분석, 모니터 하여 상기 티어별 서버들의 성능 개선에 도움을 줄 수 있다. According to the present invention as described above above, existing of a plurality of server complex multi-tier (tier) to test the performance of the process and the performance of the respective tier by the server in a distributed environment requested resource, measure, analyze, and monitor the It can help improve the performance of each tier server. 또한, 각 티어별 서버들의 성능 정보를 수집하고 리파지터리 서버에 전달하는 에이전트 서버와 상기 티어별 서버들은 지원 프로토콜만 만족하면 연결되기 때문에, 특정 언어나 운영체제 또는 실행되는 하드웨어에 관계없이 각 서버의 성능과 요청 리소스들의 성능을 측정,분석,모니터 하여 상기 각 티어별 서버의 성능개선에 도움을 줄 수 있다. In addition, because collecting performance information of each tier specific servers and repositories agent server with the tier-specific servers that are passed to the server are you satisfied with only supported protocol connection for each server regardless of the particular language or operating system or hardware on which to run performance and the performance of requested resources can help to measure, analyze, improve the performance of specific monitors each tier server. 또한, 모든 요청 리소스들과 서버에 대한 성능측정 조건과 측정된 성능 정보는 리파지터리 서버에 모두 저장, 관리되어, 서버성능의 테스트, 측정, 분석에 도움을 줄 수 있다. In addition, all of the requested resource and performance measurement criteria and performance measurement information to the server are both on the repository server, storage, management, and test the performance of the server, it can help to measure and analyze. 또한, 각 서버의 성능에 중요한 영향을 미치는 요청 리소스들을 선택적으로 이용하여 성능테스트를 상기 서버의 운영시스템에 상시 실시하여, 상기 운영시스템에 대한 성능 모니터와 분석을 운영시스템에 큰 부하를 주지 않고 할 수 있다. In addition, at all times subjected to performance tests by selectively using the requested resource is a significant effect on the performance of each server in the operating system of the server, to be without a large load performance monitoring and analysis of the operating system, the operating system can.

Claims (5)

  1. 분산 멀티-티어 컴퓨팅 환경에서 서버들의 성능측정 또는 통신상황의 재연 등에 사용하는 클라이언트 및 각 티어별 서버들이 발생시켜서 처리된 요청리소스(URL, SQL, RPC메소드 등)들을 수집하는 방법에 있어서, A method for collecting multiple processed by in-tier computing environment, the client and server occur by each tier used for performance measurement, or replay of the communication state of the server request resource (URL, SQL, RPC method, etc.), - a distributed multi-
    상기 각 서버마다 통신을 매개하는 담당 에이전트를 각각 실행하는 단계와, And the step of executing the agent responsible for mediating the communication for each server respectively,
    상기 각 서버에서 실행되는 어플리케이션들은 다른 서버들과 통신하기 위하여, 다른 서버들의 통신 IP주소와 포트(port)번호 대신에 상기 담당 에이전트의 IP주소와 포트 번호를 이용하도록 설정하는 단계와, The method comprising the application to communicate with other servers are running on each server, and setting in place of communication IP address and port (port) number of other servers to use the IP address and port number of the responsible agent,
    사용자 인터페이스 또는 클라이언트 어플리케이션을 이용하여 특정 에이전트에 접속하여, 접속한 특정 에이전트가 담당하는 특정 서버에게 요청 리소스를 요청하는 단계와, Steps to connect to a particular agent using the user interface or client application requests a resource request to a specific server that is connected to a particular agent in charge and,
    상기 특정 에이전트가 요청된 요청리소스를 서버에게 전달하고, 응답을 받은 후에 리파지터리 서버에게 처리된 요청 리소스에 대한 정보를 저장하는 단계와, And storing information with respect to the specific agent to transfer the requested resource request to the server, and the process after receiving a response to the repository server, the requested resource,
    상기 특정 서버가 상기 특정 에이전트로부터 전달된 요청 리소스를 수행하기 위하여 또 다른 제2의 에이전트에게 또 다른 요청을 발생시켜서 제2의 에이전트가 담당하는 제2의 서버에게 또 다른 요청 리소스를 요청하는 단계와, And wherein a specific server or by the agent of the other second generation another request requesting to a second server to which the second agent is responsible for another requested resource to perform the requested resource is transmitted from the particular agent ,
    상기 제2의 에이전트가 상기 제2의 서버에게 매개한 요청 리소스에 대한 정보를 리파지터리 서버에게 전달하여 저장하는 단계와, The method comprising the agents of the second store to transfer to the repository server, the information on the requested resource is one parameter to a server in the second,
    이와 같은 방법으로, 상기 각 서버마다 담당 에이전트를 이용하여 해당 클라이언트 또는 다른 서버들로 부터 상기 각 서버들에게 요청된 요청 리소스들에 대한 정보를 리파지터리 서버에게 전달하여 저장하는 단계와, And such a method, the method comprising: each of the server using the charge of the agent to transfer to each repository server, the information on the requested resource request to each of the servers from the client to the server or other store,
    이와 같은 방법으로 분산 멀티-티어 컴퓨팅 환경에서 특정 클라이언트가 특정 서버에게 요청 리소스를 요청한 경우, 특정 서버에게 요청된 요청 리소스 뿐만 아니라, 상기 특정 서버가 상기 요청 리소스를 처리하기 위하여 또 다른 서버들에게, 그리고 서버들 간에 요청한 또 다른 요청 리소스들을 각 담당 에이전트를 이용하여 수집하여 리파지터리 서버에 저장하는 단계를 In this way a distributed multi-by-when a particular client from the tier computing environment requesting the requested resource to a server to another server to not only the requested resource request to a particular server, the particular server to process the requested resource, and requests between servers or to collect other resources requested by each agent in charge of storing a repository server
    포함하는 것을 특징으로 하는 분산 멀티-티어 컴퓨팅 환경에서 서버들에게 요청되고 처리된 요청 리소스의 수집방법 Collection method of the tiers in the computing environment to the server request is pending resource requests - in that it comprises a distributed multi characterized
  2. 분산 멀티-티어 컴퓨팅 환경에서 특정 클라이언트가 특정 서버에게 요청 리소스(URL등)를 요청하여 응답을 받을 때, 상기 특정 서버가 요청받은 요청 리소스(URL등)를 처리하기 위하여, 다른 제2의 서버에게 또 다른 요청 리소스를 요청하고, 또 상기 제2의 서버는 요청 받은 상기 요청 리소스들을 처리하기 위하여, 제3의 서버에게 또 다른 요청 리소스를 요청하는 등, 최초에 상기 특정 클라이언트가 상기 특정 서버에게 요청한 상기 요청 리소스(URL등)의 응답을 받기 위해서, 각 서버들에게 그리고 서버들 간에 연쇄적으로 요청되고 처리된 요청 리소스(URL, SQL, RPC메소드 등)들의 처리순서, 응답시간, 응답크기 등의 성능 정보를 알아내는 방법에 있어서, Distributed multi-order to process when a particular client from the tier computing environment, and request that the requested resource (URL, etc.) to a particular server, receive a response, the particular server is requested resources requested (URL, etc.), the server of the other second in order yet to request another request resources, and further processing the requested resource is received server request of the second, the first, such as to the third server requests another resource requested the particular requesting client to the specific server such as processing orders, response time, response size of the requested resource (URL, etc.) in order to receive a response (such as URL, SQL, RPC methods) for each of the servers and the cascading requests are processed between server resource requested a method to find out the performance information,
    상기 각 서버마다 통신을 매개하는 담당 에이전트를 각각 실행하는 단계와, And the step of executing the agent responsible for mediating the communication for each server respectively,
    상기 각 서버에서 실행되는 어플리케이션들은 다른 서버들과 통신하기 위하여, 다른 서버들의 통신 IP주소와 포트(port)번호 대신에 상기 담당 에이전트의 IP주소와 포트번호를 이용하도록 설정하는 단계와, The method comprising the application to communicate with other servers are running on each server, and setting in place of communication IP address and port (port) number of other servers to use the IP address and port number of the responsible agent,
    사용자 인터페이스를 이용하여 워크벤치에 접속하여, 워크벤치를 단일 사용자 상태로 만들고, 상기 워크벤치에 특정 요청 리소스(URL등)에 대한 성능 테스트를 수행할 것을 요청하는 단계와, Steps to connect to the workbench using the user interface, create a workbench to single-user state, a request to perform a performance test for the particular requested resource (URL, etc.) on the workbench, and
    상기 워크벤치는 상기 요청 리소스(URL등)를 해당 서버에게 요청하는 기능을 갖는 클라이언트 수단을 이용하여, 해당 서버와 통신매개를 담당하는 특정 에이전트에 접속하는 단계와, And said workbench comprising: a connection to a particular agent by using a client device having a function for requesting the requested resource (URL, etc.) to the server, and the server responsible for the communication parameters,
    상기 워크벤치는 상기 접속한 특정 에이전트를 이용하여, 상기 특정 서버에게 요청을 전달하는 단계와, A step of the work bench using a specific agent, the said connection, forwarding the request to the particular server,
    상기 특정 에이전트가 요청된 상기 요청 리소스(URL등)에 대한 응답을 받은 후, 성능 정보를 리파지터리 서버에게 전달하여 저장하는 단계와, Storing after receiving a response to the specific agent to the said request resource (URL, etc.) request, by passing the performance information to the repository server,
    상기 특정 서버가 상기 특정 에이전트로부터 전달된 상기 요청 리소스(URL등)를 수행하기 위하여 제2의 에이전트에게 또 다른 요청을 발생시켜서 제2의 에이전트가 담당하는 제2의 서버와 통신하는 단계와, And wherein a specific communication server of the second server and by which the agent of the second generation of another request is in charge of the second agent to carry out the requested resource (URL, etc.) transmitted from the specific agent,
    상기 제2의 에이전트가 상기 제2의 서버에게 매개한 요청 리소스에 대한 응답을 받은 후, 성능 정보를 리파지터리 서버에게 전달하여 저장하는 단계와, And after the agent of the second receiving a response to the requested resource is one parameter to a server in the second, storing and delivering performance information to the repository server,
    이와 같은 방법으로 상기 각 서버마다 담당 에이전트를 이용하여 해당 클라이언트 또는 다른 서버들로 부터 상기 각 서버들에게 요청되고 처리된 요청 리소스들(URL, SQL, RPC메소드 등)에 대한 성능 정보를 리파지터리 서버에게 전달하여 저장하는 단계와, In each server the same way by the responsible agent of a being requested for each server from the corresponding client or other server processes the requested resource (URL, SQL, RPC methods, etc.) the performance information repository for and storing and forwarding to the server,
    이와 같은 방법으로 리파지터리 서버에 저장된 각 티어별 서버에서 처리된 요청 리소스들의 성능정보를 독출하여, 각 티어별 서버에서 처리한 요청 리소스들의 처리순서, 응답시간, 응답크기 등의 성능정보를 분석하는 단계를 In this same manner the read performance information of the requested resource is processed by the respective tier by the server stored in the repository server, analyzes the performance information, such as the processing procedure, the response time, the response size of a requested resource is processed by the respective tier by the server the method comprising:
    포함하는 것을 특징으로 하는 분산 멀티-티어 컴퓨팅 환경에서 최초의 클라이언트의 요청에 대한 응답을 만들기 위하여, 각 티어별 서버에서 처리한 요청 리소스들의 처리순서, 응답시간, 응답크기 등의 성능정보를 분석하는 방법. Dispersion comprising a multi-analyzing performance information, such as in tier computing environment in order to make a response to the request from the first client, the process, the response time of a requested resource processed in each tier by the server, the response size Way.
  3. 분산 멀티-티어 컴퓨팅 환경에서 일반적으로 부하테스트 시나리오라고 부르는 요청 리소스(URL, SQL, RPC메소드 등)들의 집합과 가상 사용자, 사용자 인터페이스를 이용하여 평균 응답시간, TPS(Transactions per second), BPS(Bytes per second)등 서버의 성능과 각 서버에서 처리한 요청 리소스들에 대한 각각의 응답시간, 응답크기 등의 성능정보를 알아내는 방법에 있어서, Distributed multi-request calls is usually called a load test scenario tier computing resources (URL, SQL, RPC methods, etc.) virtual user, the user interface using the average response time, TPS (Transactions per second), BPS (Bytes per a set of a method to find out the performance information such as a second), such as the performance of the server and the individual response time for the requested resource is processed by each server, response size,
    상기 각 서버마다 통신을 매개하는 담당 에이전트를 각각 실행하는 단계와, And the step of executing the agent responsible for mediating the communication for each server respectively,
    상기 각 서버에서 실행되는 어플리케이션들은 다른 서버들과 통신하기 위하여, 다른 서버들의 통신IP주소와 포트(port)번호 대신에 상기 담당 에이전트의 IP주소와 포트번호를 이용하도록 설정하는 단계와, The method comprising the application to communicate with other servers are running on each server, and setting in place of communication IP address and port (port) number of other servers to use the IP address and port number of the responsible agent,
    사용자 인터페이스와 잡스케쥴러를 이용하여, 테스트 시나리오인 잡 ( Job ) 을 생성하고 스케쥴하여, 부하테스트를 준비하는 단계와, The method comprising using a user interface and a job scheduler, to generate a test scenario, the job (Job) and schedule, prepare the load test and,
    상기 가상 사용자는 잡 ( Job ) 에 설정된 시나리오에 따라서, 각 요청 리소스(URL, SQL, RPC 메소드 등)를 해당서버에게 요청하는 기능을 갖는 클라이언트 수단을 이용, 해당 특정 서버에세 요청을 전달, 부하를 생성하여 부하테스트를 실행하는 단계와, The virtual user passes the three requests the client device having the function of the job, depending on the scenario set in the (Job), each requested resource (URL, SQL, RPC methods, etc.), ask the server to use, that particular server load by generating and executing a load test,
    상기 특정 서버가 상기 가상 사용자로부터 요청된 상기 요청 리소스들을 수행하기 위하여, 다른 에이전트에게 또 다른 요청을 발생시켜서, 이 에이전트가 담당하는 제2의 서버와 통신하는 단계와, And wherein a specific server in order to perform the requested resource request from the virtual user, by another agent to generate a further request, the communication with the server of the second agent to the charge,
    상기 에이전트가 상기 제2의 서버에게 매개하여 처리하게 만든 요청 리소스들의 성능 정보를 수집하여 리파지터리 서버에게 전달하여 저장하는 단계와, And wherein said agent is delivered to the storage repository server by collecting the performance information of the first requested resource is made to a processing server of the second parameter,
    이와 같은 방법으로, 상기 가상 사용자로부터 최초의 요청을 받은 서버를 제외한 각 서버마다 담당 에이전트를 이용하여 해당 클라이언트 또는 다른 서버에 의해서 요청되고 처리된 요청 리소스들의 성능 정보를 리파지터리 서버에게 전달하여 저장하는 단계와, In this way, the first at each server other than the server that received the request by using a charge agent delivered to the repository server, the performance information of the request is pending resource requested by the client or on a different server from the virtual user storage the method comprising,
    상기 가상 사용자는 상기 특정 서버로부터 상기 요청 리소스들에 대한 응답을 전달 받고 이에 대한 성능 정보를 리파지터리 서버에게 전달하여 저장하는 단계와, And the virtual user comprising: receiving a response to the transmission of the resource request from the particular server to store the performance information delivered to the repository server for it,
    이와 같은 방법으로, 리파지터리 서버에 저장된 각 티어별 서버에서 처리된 요청 리소스들의 성능 정보를 독출하여, 각 티어별 서버의 평균응답시간, TPS, BPS등 각 서버의 성능과, 각 티어별 서버에서 처리한 요청 리소스들의 처리순서, 응답시간, 응답크기 등의 성능정보를 분석하는 단계를 In this way, reads the performance information of the requested resource is processed by the respective tier by the server stored in the repository server, the average response time in each tier server-specific, TPS, BPS, such as each server's performance and, each tier-specific server in a process procedure of processing a resource request from, the response time, and analyzing the performance information such as a response size
    포함하는 것을 특징으로하는 분산 멀티-티어 컴퓨팅 환경에서 티어별 서버의 성능 및 각 티어별 서버에서 처리된 요청 리소스(URL, SQL, RPC 메소드등 )들의 개별 성능을 측정, 분석하는 방법. Distributed multi comprising: - performance and resource requests processed by the server in each tier by tier in the tier computing environment, the server how to measure and analyze the performance of the individual (URL, SQL, RPC methods, etc.).
  4. 삭제 delete
  5. 컨트롤러 서버(10)와 에이전트 서버(40)와 리파지터리 서버(20)와 성능테스트 모니터(30)와 사용자 인터페이스(50)를 포함하고, A controller server 10 and the server agent 40 and the repository server 20 and the performance test monitor 30 and the user interface 50, and
    상기 컨트롤러 서버(10)는, The controller server 10,
    임의의 수의 가상사용자를 발생 시켜 각 티어별 서버와 통신하는 수단(11); It generates a virtual user for any number of means for communicating with each tier-specific server (11);
    각 티어별 서버의 상기 에이전트 서버(40)와 통신하여 배타적으로 독점하여 티어별 요청 리소스의 성능측정을 가능케 하는 수단(12); Means (12) by exclusively using the exclusive communication with the agent server 40 in the respective tier by the server that enables the performance measurement of tier-specific resource request;
    여러 가지 조건의 성능측정 시나리오 ( JOB ) 를 예약하여 실시 할 수 있게 하는 수단(13); Means which can be performed by scheduling the performance measurement scenario (JOB) of a number of conditions (13);
    상기 성능테스트 모니터(30)와 통신하여 각 서버의 성능 정보를 전달하는 수단; It means for transmitting the capability information of each server to communicate with the test performance monitor 30;
    상기 리파지터리 서버(20)에 저장된 요청 리소스들의 정보를 독출 하는 수단; Means for reading the information of the requested resource is stored in the repository server 20;
    각 티어별 서버에 대하여 수집된 요청 리소스들의 집합을 조합하여 새로운 요청 리소스집합을 생성 하는 수단(13); By combining a set of the acquisition request resources for each tier server by means for generating a new request a set of resources (13);
    상기 리파지터리 서버(20)와 연동하여 성능정보를 독출 하게 하는 수단(14);을 포함하고, Includes; means (14) that reads the performance data in association with the repository server 20
    상기 에이전트서버(40)는, The agent server 40,
    연결된 서버와 지원 프로토콜을 이용하여 연결하는 수단; It means for connecting with a server and associated protocol support;
    연결된 서버에 요청된 리소스의 성능정보를 수집하고, 상기 리파지터리 서버(20)로 전달하는 수단; Collecting performance information of the resource request to the connected server, and means for delivering to the repository server 20;
    배타적 독점 설정을 하여 단일 사용자 환경이 되도록 설정하는 수단;을 포함하고, And an exclusive monopoly setting means for setting so that the single-user environment; includes,
    상기 리파지터리 서버(20)는, The repository server 20,
    상기 컨트롤러 서버(10)와 통신하여 요청 리소스와 성능정보를 저장하는 수단; Means for storing a requested resource and capability information by communicating with the controller server (10);
    상기 에이전트 서버(40)와 통신하여 요청 리소스와 성능정보를 저장하는 수단;을 포함하고, Includes,, it means in communication with the agent server 40 to store the resource request and the performance information,
    상기 성능테스트 모니터(30)는, The performance test monitor 30,
    상기 컨트롤러 서버(10)와 통신하여 티어별 각 서버의 성능정보를 전달 받는 수단; In communication with the controller server 10, delivery means for receiving the performance information of each tier server;
    상기 컨트롤러 서버(10)와 통신하여 전달 받은 서버의 성능정보를 화면에 보여주는 수단;을 포함하고, It includes; means for showing the performance information of the server transmitted by communicating with the controller server 10, the screen
    상기 사용자 인터페이스(50)는, The user interface 50,
    상기 컨트롤러 서버(10)와, 상기 에이전트 서버(40)와, 상기 성능 테스트 모니터(30)와 사용자 사이의 정보전달 수단을 And the controller server 10, and the agent server 40, the information transmission means between the test performance monitor 30 and the user
    포함하는 것을 특징으로 하는 분산 멀티-티어 컴퓨팅 환경의 서버 성능측정, 분석, 모니터 시스템 Distributed Multi characterized in that it comprises - the measuring server performance tier computing environment, analysis and monitoring system
KR20040003589A 2004-01-17 2004-01-17 Method and system for making performance test scenarios and for testing, analyzing and motoring the performance of servers in multi-tier distributed computing environment. KR100447041B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20040003589A KR100447041B1 (en) 2004-01-17 2004-01-17 Method and system for making performance test scenarios and for testing, analyzing and motoring the performance of servers in multi-tier distributed computing environment.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20040003589A KR100447041B1 (en) 2004-01-17 2004-01-17 Method and system for making performance test scenarios and for testing, analyzing and motoring the performance of servers in multi-tier distributed computing environment.
PCT/KR2005/000151 WO2005071560A1 (en) 2004-01-17 2005-01-15 Method and system for application performance management

Publications (2)

Publication Number Publication Date
KR20040013058A KR20040013058A (en) 2004-02-11
KR100447041B1 true KR100447041B1 (en) 2004-09-07

Family

ID=34805994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040003589A KR100447041B1 (en) 2004-01-17 2004-01-17 Method and system for making performance test scenarios and for testing, analyzing and motoring the performance of servers in multi-tier distributed computing environment.

Country Status (2)

Country Link
KR (1) KR100447041B1 (en)
WO (1) WO2005071560A1 (en)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7685272B2 (en) 2006-01-13 2010-03-23 Microsoft Corporation Application server external resource monitor
KR100926362B1 (en) * 2007-08-27 2009-11-10 주식회사 케이티 Method and system for managing of server performance
US7962597B2 (en) 2008-03-31 2011-06-14 Amazon Technologies, Inc. Request routing based on class
US8447831B1 (en) 2008-03-31 2013-05-21 Amazon Technologies, Inc. Incentive driven content delivery
US8321568B2 (en) 2008-03-31 2012-11-27 Amazon Technologies, Inc. Content management
US8533293B1 (en) 2008-03-31 2013-09-10 Amazon Technologies, Inc. Client side cache management
US8156243B2 (en) 2008-03-31 2012-04-10 Amazon Technologies, Inc. Request routing
US8606996B2 (en) 2008-03-31 2013-12-10 Amazon Technologies, Inc. Cache optimization
US7970820B1 (en) 2008-03-31 2011-06-28 Amazon Technologies, Inc. Locality based content distribution
US8601090B1 (en) 2008-03-31 2013-12-03 Amazon Technologies, Inc. Network resource identification
KR100906440B1 (en) * 2008-05-07 2009-07-09 주식회사 엑셈 Apparatus for monitoring a performance of web applications by connecting was transaction with dbms session and method thereof
US7925782B2 (en) 2008-06-30 2011-04-12 Amazon Technologies, Inc. Request routing using network computing components
US9912740B2 (en) 2008-06-30 2018-03-06 Amazon Technologies, Inc. Latency measurement in resource requests
US8065417B1 (en) 2008-11-17 2011-11-22 Amazon Technologies, Inc. Service provider registration by a content broker
US8073940B1 (en) 2008-11-17 2011-12-06 Amazon Technologies, Inc. Managing content delivery network service providers
US7991910B2 (en) 2008-11-17 2011-08-02 Amazon Technologies, Inc. Updating routing information based on client location
US8521880B1 (en) 2008-11-17 2013-08-27 Amazon Technologies, Inc. Managing content delivery network service providers
US8028090B2 (en) 2008-11-17 2011-09-27 Amazon Technologies, Inc. Request routing utilizing client location information
US8060616B1 (en) 2008-11-17 2011-11-15 Amazon Technologies, Inc. Managing CDN registration by a storage provider
US8732309B1 (en) 2008-11-17 2014-05-20 Amazon Technologies, Inc. Request routing utilizing cost information
US8122098B1 (en) 2008-11-17 2012-02-21 Amazon Technologies, Inc. Managing content delivery network service providers by a content broker
US8688837B1 (en) 2009-03-27 2014-04-01 Amazon Technologies, Inc. Dynamically translating resource identifiers for request routing using popularity information
US8756341B1 (en) 2009-03-27 2014-06-17 Amazon Technologies, Inc. Request routing utilizing popularity information
US8412823B1 (en) 2009-03-27 2013-04-02 Amazon Technologies, Inc. Managing tracking information entries in resource cache components
US8397073B1 (en) 2009-09-04 2013-03-12 Amazon Technologies, Inc. Managing secure content in a content delivery network
US8433771B1 (en) 2009-10-02 2013-04-30 Amazon Technologies, Inc. Distribution network with forward resource propagation
US9495338B1 (en) 2010-01-28 2016-11-15 Amazon Technologies, Inc. Content distribution network
US9009676B2 (en) 2010-04-02 2015-04-14 International Business Machines Corporation Common recording and replaying performance test tool for a client-server environment
US8577992B1 (en) 2010-09-28 2013-11-05 Amazon Technologies, Inc. Request routing management based on network components
US9407681B1 (en) 2010-09-28 2016-08-02 Amazon Technologies, Inc. Latency measurement in resource requests
US8924528B1 (en) 2010-09-28 2014-12-30 Amazon Technologies, Inc. Latency measurement in resource requests
US9712484B1 (en) 2010-09-28 2017-07-18 Amazon Technologies, Inc. Managing request routing information utilizing client identifiers
US8468247B1 (en) 2010-09-28 2013-06-18 Amazon Technologies, Inc. Point of presence management in request routing
US8938526B1 (en) 2010-09-28 2015-01-20 Amazon Technologies, Inc. Request routing management based on network components
US9003035B1 (en) 2010-09-28 2015-04-07 Amazon Technologies, Inc. Point of presence management in request routing
US8819283B2 (en) 2010-09-28 2014-08-26 Amazon Technologies, Inc. Request routing in a networked environment
US8930513B1 (en) 2010-09-28 2015-01-06 Amazon Technologies, Inc. Latency measurement in resource requests
US10097398B1 (en) 2010-09-28 2018-10-09 Amazon Technologies, Inc. Point of presence management in request routing
US8452874B2 (en) 2010-11-22 2013-05-28 Amazon Technologies, Inc. Request routing processing
US9391949B1 (en) 2010-12-03 2016-07-12 Amazon Technologies, Inc. Request routing processing
US8904009B1 (en) 2012-02-10 2014-12-02 Amazon Technologies, Inc. Dynamic content delivery
US10021179B1 (en) 2012-02-21 2018-07-10 Amazon Technologies, Inc. Local resource delivery network
US9154551B1 (en) 2012-06-11 2015-10-06 Amazon Technologies, Inc. Processing DNS queries to identify pre-processing information
US9525659B1 (en) 2012-09-04 2016-12-20 Amazon Technologies, Inc. Request routing utilizing point of presence load information
US9323577B2 (en) 2012-09-20 2016-04-26 Amazon Technologies, Inc. Automated profiling of resource usage
US10205698B1 (en) 2012-12-19 2019-02-12 Amazon Technologies, Inc. Source-dependent address resolution
US9294391B1 (en) 2013-06-04 2016-03-22 Amazon Technologies, Inc. Managing network computing components utilizing request routing
US9792365B2 (en) 2013-12-31 2017-10-17 Clicktale Ltd. Method and system for tracking and gathering multivariate testing data
US10033627B1 (en) 2014-12-18 2018-07-24 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10097448B1 (en) 2014-12-18 2018-10-09 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10091096B1 (en) 2014-12-18 2018-10-02 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10225326B1 (en) 2015-03-23 2019-03-05 Amazon Technologies, Inc. Point of presence based data uploading
US9887931B1 (en) 2015-03-30 2018-02-06 Amazon Technologies, Inc. Traffic surge management for points of presence
US9887932B1 (en) 2015-03-30 2018-02-06 Amazon Technologies, Inc. Traffic surge management for points of presence
US9819567B1 (en) 2015-03-30 2017-11-14 Amazon Technologies, Inc. Traffic surge management for points of presence
US9832141B1 (en) 2015-05-13 2017-11-28 Amazon Technologies, Inc. Routing based request correlation
US10097566B1 (en) 2015-07-31 2018-10-09 Amazon Technologies, Inc. Identifying targets of network attacks
US9774619B1 (en) 2015-09-24 2017-09-26 Amazon Technologies, Inc. Mitigating network attacks
US9794281B1 (en) 2015-09-24 2017-10-17 Amazon Technologies, Inc. Identifying sources of network attacks
US9742795B1 (en) 2015-09-24 2017-08-22 Amazon Technologies, Inc. Mitigating network attacks
US10270878B1 (en) 2015-11-10 2019-04-23 Amazon Technologies, Inc. Routing for origin-facing points of presence
US10049051B1 (en) 2015-12-11 2018-08-14 Amazon Technologies, Inc. Reserved cache space in content delivery networks
US10257307B1 (en) 2015-12-11 2019-04-09 Amazon Technologies, Inc. Reserved cache space in content delivery networks
US10075551B1 (en) 2016-06-06 2018-09-11 Amazon Technologies, Inc. Request management for hierarchical cache
US10110694B1 (en) 2016-06-29 2018-10-23 Amazon Technologies, Inc. Adaptive transfer rate for retrieving content from a server
US9992086B1 (en) 2016-08-23 2018-06-05 Amazon Technologies, Inc. External health checking of virtual private cloud network environments
US10033691B1 (en) 2016-08-24 2018-07-24 Amazon Technologies, Inc. Adaptive resolution of domain name requests in virtual private cloud network environments

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011803A (en) * 1997-01-13 2000-01-04 Lucent Technologies Inc. Distributed-protocol server
US6581088B1 (en) * 1998-11-05 2003-06-17 Beas Systems, Inc. Smart stub or enterprise javaTM bean in a distributed processing system
CA2409920C (en) * 2000-06-22 2013-05-14 Microsoft Corporation Distributed computing services platform
KR100429558B1 (en) * 2002-03-04 2004-04-29 쉬프트정보통신 주식회사 ADE data set component of client computer for transmitting/receiving of data between web servers

Also Published As

Publication number Publication date
WO2005071560A1 (en) 2005-08-04
KR20040013058A (en) 2004-02-11

Similar Documents

Publication Publication Date Title
US6304904B1 (en) Method and apparatus for collecting page-level performance statistics from a network device
US6901442B1 (en) Methods, system and computer program products for dynamic filtering of network performance test results
US6502102B1 (en) System, method and article of manufacture for a table-driven automated scripting architecture
US6477483B1 (en) Service for load testing a transactional server over the internet
US6446120B1 (en) Configurable stresser for a web server
US7096459B2 (en) Methods and apparatus for root cause identification and problem determination in distributed systems
JP5208337B2 (en) Computer system and method for implementing a polling agent in client management tools
US6286030B1 (en) Systems and methods for recording and visually recreating sessions in a client-server environment
EP1264261B1 (en) Monitoring operation of and interaction with services provided over a network
US6018619A (en) Method, system and apparatus for client-side usage tracking of information server systems
US7177823B2 (en) In-queue jobs information monitoring and filtering
US20030033155A1 (en) Integration of data for user analysis according to departmental perspectives of a customer
US7685270B1 (en) Method and apparatus for measuring latency in web services
JP3167975B2 (en) World Wide Web of the end-user response time recording method
US7505872B2 (en) Methods and apparatus for impact analysis and problem determination
US20020103823A1 (en) Method and system for extending the performance of a web crawler
JP4800966B2 (en) Seamless discovery from extranet installed remote applications in the workstation
US20060095570A1 (en) Data collection with user identification
EP1341089A2 (en) On-line web traffic sampling
Liu et al. Design-level performance prediction of component-based applications
US6052730A (en) Method for monitoring and/or modifying web browsing sessions
US20030023715A1 (en) System and method for logical view analysis and visualization of user behavior in a distributed computer network
US6804709B2 (en) System uses test controller to match different combination configuration capabilities of servers and clients and assign test cases for implementing distributed testing
US8286036B2 (en) Objective assessment of application crashes from a customer environment
US7610186B2 (en) Load simulation tool for server resource capacity planning

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120824

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20130812

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140814

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150810

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160823

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180806

Year of fee payment: 15