KR100487725B1 - Method and system for doing tests to measure system’s performance under various configurations with automatic modifications of the system’s configurations. - Google Patents
Method and system for doing tests to measure system’s performance under various configurations with automatic modifications of the system’s configurations. Download PDFInfo
- Publication number
- KR100487725B1 KR100487725B1 KR1020040080437A KR20040080437A KR100487725B1 KR 100487725 B1 KR100487725 B1 KR 100487725B1 KR 1020040080437 A KR1020040080437 A KR 1020040080437A KR 20040080437 A KR20040080437 A KR 20040080437A KR 100487725 B1 KR100487725 B1 KR 100487725B1
- Authority
- KR
- South Korea
- Prior art keywords
- job
- measurement target
- action
- target system
- environment setting
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2294—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing by remote test
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2273—Test methods
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
본 발명은 시스템의 성능측정 작업을 수행 할 때, 각각의 성능측정을 수행할 때마다 측정대상 시스템의 환경설정의 변경이 필요한 경우, 측정대상 시스템의 환경설정 등을 자동으로 변경하면서 성능측정을 수행하기 위한 시스템 및 방법에 관한 것으로,In the present invention, when performance measurement of a system is performed, whenever the environment setting of the measurement target system needs to be changed each time performance measurement is performed, the performance measurement is performed while automatically changing the environment setting of the measurement target system And more particularly,
더욱 상세하게는 측정대상 시스템의 환경설정을 측정대상 시스템에서 특정 파일을 이용하여 설정하거나, 측정대상 시스템에서 특정 프로그램을 실행하여 설정하는 경우에, 자동으로 측정대상 시스템의 환경설정 파일을 수정하는 수단 또는 측정대상 시스템의 환경을 변경하는 프로그램을 실행하는 수단을 개발 하여, 자동으로 측정대상 시스템의 환경을 변경하면서, 시스템의 성능을 측정하여, 다양한 환경에서의 시스템성능을 시스템 관리자의 반복적인 개입 없이, 편리하게 측정할 수 있는 시스템 및 방법에 관한 것이다. 이를 위하여 본 발명은, 사용자 인터페이스(User Interface)와 리파지터리(Repository)와 컨트롤러(Controller)를 포함하는 것을 특징으로 한다. 상세하게는, 리파지터리는 수행할 성능측정 작업인 잡(Job)의 정보를 저장, 관리하고, 각 잡의 수행 이전과 이후에 필요한 이전-수행작업(pre-action)과 이후-수행작업(post-action) 들을 저장, 관리하는 데이터베이스를 포함하고, 컨트롤러는 리파지터리와 통신하여 잡을 저장, 관리하고 가상 클라이언트를 생성하여 잡을 수행하는 수단을 포함하고, 원격액션 매니저(Remote Action Manager)를 포함한다. 원격액션매니저는 각각의 성능측정 작업 이전과 이후에 수행할 이전-수행작업(pre-action)과 이후-수행작업(post-action)들을 측정대상 시스템에서 수행할 수 있는 수단을 포함하고, 사용자 인터페이스는 컨트롤러와 통신하여 잡의 정보와 각 잡에 대한 이전-수행작업과 이후-수행작업들의 정보를 리파지터리에 입력, 수정, 삭제, 조회할 수 있는 수단을 포함하는 것을 특징으로 한다.More particularly, the present invention relates to a system for automatically setting an environment setting file of a measurement target system in a case where an environmental setting of a measurement target system is set by using a specific file on a measurement target system, Or a program for changing the environment of the measurement target system is developed so that the performance of the system can be measured while automatically changing the environment of the measurement target system and the system performance in various environments can be measured without repeated intervention of the system administrator , And a system and method for conveniently measuring. To this end, the present invention is characterized by including a user interface, a repository, and a controller. In detail, the repository stores and manages job information, which is a performance measurement job to be performed, and performs pre-action and post-action (pre-action) operations before and after the execution of each job post-action), and the controller includes means for storing and managing the job by communicating with the repository, generating a virtual client to perform the job, and a remote action manager (including a remote action manager) do. The remote action manager includes means for performing pre-action and post-action to be performed before and after each performance measurement operation on the measurement target system, And means for inputting, modifying, deleting, and inquiring information of the job and the information of the pre-performing job and the post-performing job for each job in the repository by communicating with the controller.
Description
본 발명은 시스템의 성능측정 작업을 수행 할 때, 각각의 성능측정을 수행할 때마다 측정대상 시스템의 환경설정의 변경이 필요한 경우, 측정대상 시스템의 환경설정 등을 자동으로 변경하면서 성능측정을 수행하기 위한 시스템 및 방법에 관한 것으로,In the present invention, when performance measurement of a system is performed, whenever the environment setting of the measurement target system needs to be changed each time performance measurement is performed, the performance measurement is performed while automatically changing the environment setting of the measurement target system And more particularly,
더욱 상세하게는 측정대상 시스템의 환경설정을 측정대상 시스템에서 특정 파일을 이용하여 설정하거나, 측정대상 시스템에서 특정 프로그램을 실행하여 설정하는 경우에, 자동으로 측정대상 시스템의 환경설정 파일을 수정하는 수단 또는 측정대상 시스템의 환경을 변경하는 프로그램을 실행하는 수단을 개발 하여, 자동으로 측정대상 시스템의 환경을 변경하면서, 시스템의 성능을 측정하여, 다양한 환경에서의 시스템성능 측정작업을 시스템 관리자의 반복적인 개입 없이, 편리하게 수행할 수 있는 시스템 및 방법에 관한 것이다.More particularly, the present invention relates to a system for automatically setting an environment setting file of a measurement target system in a case where an environmental setting of a measurement target system is set by using a specific file on a measurement target system, Or a program for changing the environment of the measurement target system is developed so as to automatically measure the performance of the system while changing the environment of the measurement target system and perform the system performance measurement work in various environments in a repetitive manner And more particularly, to a system and method that can be conveniently performed without intervention.
최근의 컴퓨팅 환경은 클라이언트와 애플리케이션, 데이터베이스, 미들웨어, ERP(Enterprise Resource Plan) 솔루션 등 각종 서비스를 담당하는 서버들의 분산 멀티-티어 환경으로 발전하였으며, 최근에는 거의 모든 솔루션들이 웹-기반 시스템으로 변화하고 있다. 특히, 웹-기반 시스템의 경우에는 수백, 수천의 동시 사용자의 부하가 비정규적으로 발생할 수 있으며, 다수의 서버들이 분산되어 단계별로 클라이언트의 요청을 처리하여 마지막으로 결과를 클라이언트에게 전달하는 복잡한 환경에서 프로세스가 이루어지는 경우가 많다. 따라서, 각각의 시스템에 대한 보다 정확하고, 다양한 성능측정을 이용한 성능관리가 필요하며, 각 계층별 서버의 성능을 최적화 시키기 위한 다양한 성능측정을 보다 편리한 방법으로 수행할 수 있는 시스템과 방법이 요구된다.Recently, the computing environment has evolved into a distributed multi-tier environment for servers that are responsible for various services such as clients, applications, databases, middleware, ERP (Enterprise Resource Plan) solutions. In recent years, almost all solutions have changed to web-based systems have. In particular, in the case of a Web-based system, the load of hundreds or thousands of concurrent users may occur irregularly. In a complex environment where a large number of servers are distributed so that the client's request is processed step by step, Processes are often performed. Therefore, performance management using more accurate and various performance measurements is required for each system, and a system and a method capable of performing various performance measurements in a more convenient manner in order to optimize performance of each layer server are required .
일반적으로 부하테스트 또는 성능테스트를 수행하여 시스템의 성능을 측정하는 경우는, 다음과 같은 단계로 이루어진다. 부하테스트를 위한 시나리오를 생성하는 단계와, 생성된 시나리오에 대한 상세한 테스트 조건을 설정하는 단계와, 설정된 시나리오에 따라서 테스트를 수행하는 단계와, 테스트 결과를 분석하는 단계로 이루어진다. 특히, 테스트를 수행할 때는, 가상의 클라이언트를 생성하여 측정대상 시스템에 대한 부하를 생성하여, 대상 시스템의 성능을 측정하게 된다. 특히, 테스트 시간이 길거나, 반복적인 테스트인 경우에는, 예정된 시각에 테스트를 수행할 수 있는 스케쥴러를 이용하여 수행하는 경우가 많고, 스케쥴러에 등록된 시나리오에 따라서, 예정된 시각에 성능테스트를 수행하게 한다. 또한, 필요에 따라서 주기적으로 수행하기도 하거나 서로 다른 조건의 복수의 시나리오들을 연속적으로 수행하기도 한다.Generally, when the performance of the system is measured by performing a load test or a performance test, the following steps are performed. Generating a scenario for load testing, setting detailed test conditions for the generated scenario, performing a test according to the set scenario, and analyzing the test result. In particular, when performing a test, a virtual client is created to create a load on the measurement target system, and the performance of the target system is measured. In particular, when the test time is long or it is a repetitive test, it is often performed by using a scheduler capable of performing a test at a predetermined time, and a performance test is performed at a predetermined time according to a scenario registered in the scheduler . In addition, a plurality of scenarios of different conditions may be performed periodically or continuously as necessary.
그런데, 만약 측정대상 시스템의 최적의 성능을 나타내는 환경설정을 찾는다거나 또는 기타 다른 목적으로, 측정대상 시스템의 환경을 변경하면서 테스트를 수행해야 하는 경우에는, 각각의 성능측정을 수행할 때마다 측정대상 시스템의 환경을 수정하는 관리자의 수동적인 작업이 개별 측정작업 사이에 반복적으로 개입되어야 한다. 즉, 스케쥴러가 있더라도 각 테스트 사이에 시스템 관리자의 개입이 반드시 있어야, 테스트의 목적을 달성할 수 있게 되므로 스케쥴러의 장점을 최대한 이용할 수 없게 된다. 따라서, 다양한 시스템 환경에 대한 성능측정 작업에는 더 많은 시간과 인력이 필요하게 된다.However, if it is necessary to perform the test while changing the environment of the measurement target system, for example, to find an environment setting indicating the optimum performance of the measurement target system or for other purposes, The manual work of the administrator to modify the environment of the system must be repeatedly intervened between individual measurement tasks. In other words, even if there is a scheduler, intervention of the system administrator must exist between each test, and the purpose of the test can be achieved, so that the advantage of the scheduler can not be utilized to the utmost. Therefore, more time and manpower will be required to perform performance measurements on various system environments.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서,SUMMARY OF THE INVENTION The present invention has been made to solve the above problems,
본 발명의 목적은 시스템의 성능측정 작업을 수행 할 때, 각각의 성능측정 작업마다 측정대상 시스템의 환경설정의 변경이 필요한 경우, 측정대상 시스템의 환경설정 등을 자동으로 변경하면서 성능측정을 수행하기 위한 시스템 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a system and method for performing performance measurement of a system to be measured, And to provide a system and a method for the same.
또한, 본 발명의 다른 목적은 상기의 방법으로 시스템 관리자의 반복적인 개입 없이 측정대상 시스템의 다양한 환경에서의 성능측정이 필요한 경우, 하나의 측정작업을 반복적으로 수행하게 하고, 반복 횟수에 의존하는 함수를 사용하여 측정대상 시스템의 환경설정 값을 자동으로 변경하면서 성능측정을 수행하기 위한 시스템 및 방법을 제공하는 것이다.It is another object of the present invention to provide a method and apparatus for performing a measurement operation repeatedly when performance measurement in various environments of a measurement target system is required without repeated intervention of a system administrator, And to provide a system and method for performing performance measurement while automatically changing the environment setting value of the measurement target system using the measurement result.
상기의 목적들을 달성하기 위하여 본 발명은, 사용자 인터페이스(User Interface)와 리파지터리(Repository)와 컨트롤러(Controller)를 포함하는 것을 특징으로 한다.In order to achieve the above objects, the present invention is characterized by including a user interface, a repository, and a controller.
상세하게는, 리파지터리는 수행할 성능측정 작업인 잡(Job)의 정보를 저장, 관리하고, 각 잡의 수행 이전과 이후에 필요한 이전-수행작업(pre-action)과 이후-수행작업(post-action) 들을 저장, 관리하는 데이터베이스를 포함하고, 컨트롤러는 리파지터리와 통신하여 잡을 저장, 관리하고 가상 클라이언트를 생성하여 잡을 수행하는 수단을 포함하고, 원격액션 매니저(Remote Action Manager)를 포함한다. 원격액션매니저는 각각의 성능측정 작업 이전과 이후에 수행할 이전-수행작업(pre-action)과 이후-수행작업(post-action)들을 측정대상 시스템에서 수행할 수 있는 수단을 포함하고, 사용자 인터페이스는 컨트롤러와 통신하여 잡의 정보와 각 잡에 대한 이전-수행작업과 이후-수행작업들의 정보를 리파지터리에 입력, 수정, 삭제, 조회할 수 있는 수단을 포함하는 것을 특징으로 한다. In detail, the repository stores and manages job information, which is a performance measurement job to be performed, and performs pre-action and post-action (pre-action) operations before and after the execution of each job post-action), and the controller includes means for storing and managing the job by communicating with the repository, generating a virtual client to perform the job, and a remote action manager (including a remote action manager) do. The remote action manager includes means for performing pre-action and post-action to be performed before and after each performance measurement operation on the measurement target system, And means for inputting, modifying, deleting, and inquiring information of the job and the information of the pre-performing job and the post-performing job for each job in the repository by communicating with the controller.
본 발명의 바람직한 실시 예를 첨부 도면에 의거 상세히 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will now be described in detail with reference to the accompanying drawings.
첨부된 도1은 본 발명에 따른 사용자 인터페이스(10), 컨트롤러(20), 원격액션매니저(21), 리파지터리(30)를 이용하여 관리자의 반복적인 개입 없이 측정대상 시스템(40)의 환경설정을 자동으로 변경하면서, 성능측정 작업을 수행하기 위한 시스템의 개괄적 구성을 도시한 블록도이다.1 is a block diagram of an environment of a measurement subject system 40 without repeated intervention of an administrator by using a user interface 10, a controller 20, a remote action manager 21 and a repository 30 according to the present invention. FIG. 2 is a block diagram showing a general configuration of a system for performing a performance measurement task while automatically changing settings. FIG.
도1에 도시된 바와 같이, 본 발명에 의한 성능측정 시스템의 전체 구성은 사용자인터페이스(10)와 컨트롤러(20)와 리파지터리(30)로 이루어지며, 상기 사용자 인터페이스(10)는 웹브라우저로 이루어지며, 상기 컨트롤러(20)는 성능측정 작업, 즉 잡(Job)을 리파지터리와 통신하여 저장, 관리할 수 있는 수단과 잡의 내용에 따라서 가상클라이언트를 생성하여 측정대상 시스템(40)에 부하를 생성하는 수단을 포함하며, 원격액션매니저(Remote Action Manager)(21)를 포함한다. 상기 원격액션매니저(21)는 측정대상 시스템(40)의 환경설정파일(41)을 수정할 수 있는 수단과 측정대상 시스템(40)의 환경설정 프로그램(42)을 실행할 수 있는 수단과 측정대상 시스템(40)의 시스템 구동 프로그램(43)을 실행할 수 있는 수단을 포함하며, 상기 원격액션 매니저(21)가 상기 환경설정파일(41) 수정, 상기 환경 설정 프로그램(42) 실행, 상기 시스템 구동 프로그램(43) 실행 하는 방법은 측정대상 시스템(40)이 제공하는 Telnet서비스 등을 이용하여 수행한다. 상기 리파지터리(30)는 표준 SQL을 지원하는 임의의 관계형 데이터베이스로 구성되며, 잡(Job)을 포함한 시나리오 정보들을 저장, 관리하며, 또한 상기 원격액션 매니저(21)가 수행할 이전-수행작업과 이후-수행작업들의 정보를 저장, 관리한다. 상기 이전-수행작업은 상기 컨트롤러(20)가 특정 잡을 수행하기 직전에, 상기 원격액션매니저(21)를 이용하여 측정대상 시스템(40)에 대하여 수행할 작업들의 명세이고, 상기 이후-수행작업은 상기 컨트롤러(20)가 특정 잡을 수행한 직후에, 상기 원격액션매니저(21)를 이용하여 측정대상 시스템(40)에 대하여 수행할 작업들의 명세이다. 또한 이전-수행작업과 이후-수행작업의 명세에는 측정대상 시스템(40)의 Telnet서비스 등을 이용할 경우에는 해당 서비스의 사용권한을 가지고 있는 계정정보도 포함된다.1, the overall configuration of a performance measuring system according to the present invention comprises a user interface 10, a controller 20 and a repository 30, and the user interface 10 is a web browser And the controller 20 generates a virtual client according to the contents of the job and the means capable of storing and managing the performance measurement job, that is, the job, with the repository, And includes a remote action manager (21). The remote action manager 21 includes means for modifying the configuration file 41 of the measurement target system 40, means for executing the configuration program 42 of the measurement target system 40, 40), wherein the remote action manager (21) is configured to modify the environment setting file (41), execute the environment setting program (42), execute the system drive program ) Is performed using a telnet service or the like provided by the measurement target system 40. [ The repository 30 is constituted by an arbitrary relational database supporting standard SQL, and stores and manages scenario information including jobs. In addition, the repository 30 stores and manages scenario information including jobs, And post-execution tasks. The pre-execution task is a specification of tasks to be performed on the measurement target system 40 using the remote action manager 21 immediately before the controller 20 performs a specific job, and the post-execution task Is a specification of operations to be performed on the measurement target system 40 using the remote action manager 21 immediately after the controller 20 performs a specific job. Also, when the telnet service of the measurement target system 40 is used, the specification of the pre-execution task and the post-execution task includes the account information having the use right of the service.
측정대상 시스템(40)의 환경설정을 변경하는 방법은 두 가지로 나눌 수 있는데, 첫번째는 측정대상 시스템의 환경설정 파일을 수정하는 경우이고, 두 번째는 측정대상 시스템의 환경설정프로그램을 실행하는 경우이다.There are two methods for changing the environment setting of the measurement target system 40. The first is to modify the environment setting file of the measurement target system and the second is to execute the environment setting program of the measurement target system to be.
<측정대상 시스템의 환경설정파일의 변경을 이용하는 경우><When using the change of the configuration file of the measurement target system>
먼저, 환경설정 파일을 수정하여 측정대상 시스템(40)의 환경설정을 변경하는 경우를 자세히 설명하면, 성능측정을 수행하는 관리자는 성능측정을 위한 잡과 시나리오를 생성하면서, 해당 잡의 수행 이전과 이후에 필요한 이전-수행작업의 명세와 이후-수행작업의 명세를 작성한다. 컨트롤러(20)에 의해서 특정 잡이 수행될 경우에, 원격액션매니저(21)는 해당 잡이 수행되기 직전에 측정대상 시스템(40)의 환경설정파일(41)을 다른 이름으로 저장하고, 미리 준비된 환경설정파일로 변경한다. 이때, 일반적으로 환경설정파일의 수정이 측정대상 시스템에 적용되려면, 해당 프로세스를 멈추었다가 다시 구동하는 작업이 필요하다. 원격액션매니저(21)는 측정대상 시스템(40)의 프로세스를 멈추었다가 다시 살리는 명령을 시스템 구동 프로그램(43)을 이용하여 수행한다. 이전-수행작업의 내용이 모두 수행되면, 컨트롤러(20)는 해당 잡을 수행한다. 잡이 종료되면, 다시 원격액션 매니저(21)는 다른 이름으로 저장하였던 원래의 환경 설정파일로 복원시키고 해당 프로세스를 재구동 시키는 등의 이후-수행작업들을 수행한다. 이제, 연속적으로 또는 반복적으로 잡을 수행하는 경우에는 각각의 잡에 대한 이전-수행작업과 이후-수행작업을 순서대로 수행한다. 이와 같이 이전-수행작업의 명세에는 해당 잡의 수행 이전에 필요한 여러 가지 작업에 대한 정보가 포함되는데, 측정대상 시스템의 환경파일의 원본을 저장하는 작업, 측정대상 시스템의 수정된 환경설정파일의 내용, 측정대상 시스템의 환경파일을 미리 수정된 환경파일로 변경하는 작업, 측정대상 시스템의 해당 프로세스를 재구동 하는 작업과 기타 필요한 작업들이 포함된다. 그리고 이후-수행작업의 명세에는 해당 잡의 종료 이후에 필요한 여러 가지 작업에 대한 정보가 포함되는데, 측정대상 시스템의 환경설정파일을 원본으로 복원하는 작업, 측정 대상 시스템의 해당 프로세스를 재구동 하는 작업과 기타 필요한 작업들이 포함된다.First, a case where the environment setting of the measurement target system 40 is changed by modifying the environment setting file will be described in detail. The administrator performing the performance measurement generates a job and a scenario for performance measurement, Create a specification of the post-performance and post-performance tasks that will be needed later. The remote action manager 21 stores the environment setting file 41 of the measurement target system 40 under a different name immediately before the relevant job is performed and sets a predetermined environment setting Change to a file. At this time, in general, in order for the modification of the configuration file to be applied to the measurement target system, it is necessary to stop and restart the process. The remote action manager 21 executes a command for stopping and resuming the process of the measurement target system 40 using the system drive program 43. [ If all the contents of the pre-execution job are performed, the controller 20 performs the job. When the job is terminated, the remote action manager 21 performs a post-execution operation such as restoring the original configuration file stored under a different name and restarting the corresponding process. Now, if the job is continuously or repeatedly performed, the pre-execution job and the post-execution job for each job are performed in order. In this way, the specification of the pre-execution task includes information about various tasks required before the job is performed. The job of storing the environment file of the measurement target system, the contents of the modified configuration file of the measurement target system , Changing the environment file of the measurement target system into a modified environment file in advance, restarting the process of the measurement target system, and other necessary operations. In addition, the specification of the post-execution task includes information on various tasks required after the end of the job, such as restoring the configuration file of the measurement target system to the original, restarting the corresponding process of the measurement target system And other necessary tasks.
<측정대상 시스템의 환경설정 프로그램을 이용하는 경우><When using environment setting program of measurement target system>
두 번째는, 환경설정 프로그램을 실행하여 측정대상 시스템(40)의 환경설정을 변경하는 경우를 자세히 설명하면, 성능측정을 수행하는 관리자는 성능측정을 위한 잡과 시나리오를 생성하면서, 해당 잡의 수행 이전과 이후에 필요한 이전-수행작업의 명세와 이후-수행작업의 명세를 작성한다. 컨트롤러(20)에 의해서 특정 잡이 수행될 경우에, 원격액션매니저(21)는 해당 잡이 수행되기 직전에 측정대상 시스템(40)의 환경설정 프로그램(42)을 실행하여 원하는 환경으로 변경한다. 이때, 환경설정 프로그램의 실행이 측정대상 시스템에 적용되기 위하여 해당 프로세스의 재구동이 필요한 경우에, 원격액션매니저(21)는 측정대상 시스템(40)의 해당 프로세스를 멈추었다가 다시 살리는 명령을 시스템 구동 프로그램(43)을 이용하여 수행한다. 이전-수행작업의 내용이 모두 수행되면, 컨트롤러(20)는 해당 잡을 수행한다. 잡이 종료되면, 다시 원격액션 매니저(21)는 측정대상 시스템(40)의 환경설정 프로그램(42)을 실행하여 원래의 환경으로 복원하고, 환경설정 프로그램의 실행이 측정대상 시스템에 적용되기 위하여 해당 프로세스의 재구동이 필요한 경우에, 원격액션매니저(21)는 측정대상 시스템(40)의 해당 프로세스를 멈추었다가 다시 살리는 명령을 시스템 구동 프로그램(43)을 이용하여 수행하는 등 필요한 이후-수행작업들을 수행한다. 이제, 연속적으로 또는 반복적으로 잡을 수행하는 경우에는 각각의 잡에 대한 이전-수행작업과 이후-수행작업을 순서대로 수행한다. 이와 같이 이전-수행작업의 명세에는 해당 잡의 수행 이전에 필요한 여러 가지 작업에 대한 정보가 포함되는데, 측정대상 시스템의 환경설정 프로그램을 수행하는 작업, 측정대상 시스템의 해당 프로세스를 재구동 하는 작업과 기타 필요한 작업들이 포함된다. 그리고 이후-수행작업의 명세에는 해당 잡의 종료 이후에 필요한 여러 가지 작업에 대한 정보가 포함되는데, 측정대상 시스템의 환경설정 프로그램을 실행하여 원래 상태로 복원하는 작업, 측정 대상 시스템의 해당 프로세스를 재구동 하는 작업과 기타 필요한 작업들이 포함된다.Secondly, the case of changing the environment setting of the measurement target system 40 by executing the environment setting program will be described in detail. The administrator performing the performance measurement generates a job and a scenario for performance measurement, Create a specification of the pre-performance and post-performance tasks required before and after. When a specific job is performed by the controller 20, the remote action manager 21 executes the environment setting program 42 of the measurement target system 40 immediately before the job is executed and changes the environment to a desired environment. At this time, when the execution of the environment setting program needs to be restarted so as to be applied to the measurement target system, the remote action manager 21 instructs the system to stop the process of the measurement target system 40, The program 43 is used. If all the contents of the pre-execution job are performed, the controller 20 performs the job. When the job is terminated, the remote action manager 21 again executes the environment setting program 42 of the measurement target system 40 and restores the environment to the original environment. To execute the environment setting program, The remote action manager 21 performs necessary post-execution tasks such as stopping and restarting the process of the measurement target system 40 by using the system drive program 43 do. Now, if the job is continuously or repeatedly performed, the pre-execution job and the post-execution job for each job are performed in order. In this way, the specification of the pre-execution task includes information about various tasks required before the execution of the job, including a task of executing the environment setting program of the measurement target system, a task of restarting the corresponding process of the measurement target system, Other necessary tasks are included. In addition, the specification of the post-execution task includes information on various tasks required after the end of the job. The task of restoring the measurement target system to its original state by executing the environment setting program of the measurement target system, Driving and other necessary tasks.
<이전-수행작업과 이후-수행작업의 내용에 반복횟수에 의존하는 함수를 적용><Previous - Applying a function that depends on the number of iterations to the contents of the task -
상기의 방법으로 사용자 인터페이스(10), 컨트롤러(20), 원격액션매니저(21), 리파지터리(30)를 이용하여, 관리자의 반복적인 개입 없이 측정대상 시스템(40)의 환경설정을 자동으로 변경하면서, 성능측정 작업을 반복적으로 수행할 수 있다. 그런데, 환경설정을 변경할 때, 특정 환경변수의 값을 1부터 100 까지 순차적으로 변경하면서 성능측정을 연속적으로 수행하는 경우라던지, 또는 특정 환경변수의 값을 미리 선택된 불규칙적인 값들로 변경하면서, 성능 측정을 연속적으로 수행 하는 경우 등에 대하여, 각각의 성능 측정에 대한 이전-수행작업과 이후-수행작업과 잡을 모두 생성할 필요없이, 하나의 잡에 대한 반복기능과 이전-수행작업과 이후-수행작업의 내용에 반복횟수에 의존하는 함수를 적용하면, 하나의 잡만을 이용하여 다양한 환경에서의 성능측정을 효과적으로 수행할 수 있다.The environment setting of the measurement target system 40 is automatically performed by the user interface 10, the controller 20, the remote action manager 21 and the repository 30 without repeated intervention of the administrator The performance measurement task can be repeatedly performed while changing. However, when the environment setting is changed, performance measurement is successively performed while sequentially changing the value of a specific environment variable from 1 to 100, or by changing the value of a specific environment variable to preselected irregular values, Performing repetitive functions for a single job and performing a pre-performing and a post-performing operation on a single job without having to generate both a pre-performing job and a post-executing job and a job for each performance measurement, A function that depends on the number of iterations can be used to effectively perform performance measurement in various environments using only one job.
즉, &sequence(from, to, increment);의 함수는 숫자 from 값부터 숫자 to 값까지 반복횟수에 따라서, 숫자 increment씩 증가하는 함수이고, &file(‘data.txt’);의 함수는 CRLF(carriage-return, line-feed)를 레코드 분리자로, Tab을 컬럼 분리자로 설정된 data.txt의 파일로부터 반복횟수에 따라서 각 레코드를 읽어와서 사용하는 함수이고, &random(min,max);의 함수는 숫자 min 값부터 숫자 max값까지의 범위에서 무작위로 값을 선택하는 함수일 경우, 하나의 잡에 대한 반복 시나리오를 생성하고, 한 쌍의 이전-수행작업 또는 이후-수행작업의 내용 중에 상기의 함수들을 적용하여 수행함으로써, 하나의 잡을 이용하여 다양한 환경에서의 성능측정을 수행할 수 있다. 여기서, 함수를 구별하는 특수 문자인 “&”와 “;”는 사용자의 선택에 따라서 설정할 수 있다.That is, the function of & sequence (from, to, increment); is a function that increments by the number increment according to the iteration count from the number from value to the number to value, and the function of & file ('data.txt'); -return, line-feed) is a record separator, and Tab is a function that reads each record according to the number of iterations from a file of data.txt set as a column separator, and the function of & random (min, max) If a function selects a value randomly from a value to a number max value, it generates a recurrence scenario for one job and applies the above functions to the contents of a pair of pre-execution or post-execution tasks , Performance measurement in various environments can be performed using one job. Here, the special characters "&" and ";" that distinguish the functions can be set according to the user's selection.
본 발명은 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다.The present invention is not limited to the above-described embodiments, and various modifications may be made within the scope of the technical idea of the present invention.
예를 들면, 원격액션매니저를 사용한 측정대상 시스템의 환경설정 파일을 변경하는 방법으로, Telnet 서비스를 사용하지 않고, 측정 대상 시스템의 FTP 서비스 또는 HTTP 서비스 등을 이용하여 측정대상 시스템의 환경설정을 변경할 수 있으며, 반복횟수에 의존하는 함수의 경우 날짜를 나타내는 date(), 현재시각을 나타내는 now()등 다양한 용도의 함수를 대신 적용할 수 있으며, 컨트롤러에 예정된 시각에 잡을 수행하는 스케쥴러(scheduler)를 이용하여 수행 할 수도 있다.For example, by changing the configuration file of the measurement target system using the remote action manager, the environment setting of the measurement target system can be changed using the FTP service or the HTTP service of the measurement target system without using the Telnet service A function that depends on the number of iterations can be used instead of various functions such as date () representing the date, now () representing the current time, and a scheduler for performing the job at a predetermined time in the controller .
이상에서 상술한 바와 같이 본 발명에 의하면, 측정대상 시스템의 환경설정을 변경하면서 성능측정을 해야 하는 경우에, 측정대상 시스템의 환경 설정을 자동으로 변경하면서, 관리자의 반복적인 개입 없이 다양한 환경에서의 시스템 성능 측정을 편리하게 할 수 있다. 따라서, 보다 적은 시간과 인력을 이용한 다양한 성능측정과 분석이 가능하게 된다.As described above, according to the present invention, when the performance measurement is required while changing the environment setting of the measurement target system, the environment setting of the measurement target system is automatically changed, System performance measurement can be made convenient. Therefore, it is possible to perform various performance measurement and analysis using less time and manpower.
또한, 잡에 대한 반복설정 기능과 이전-수행작업과 이후-수행작업의 내용에 반복횟수에 의존하는 함수를 적용하여, 측정대상 시스템의 환경설정을 자동으로 변경하면서 반복적으로 성능 측정을 수행할 수 있게 하여, 하나의 잡을 이용하여 다양한 환경에서의 성능측정 작업을 가능하게 하여, 시간과 인력을 절약하는, 편리한 시스템 성능측정 방법과 시스템을 제공한다.It is also possible to repeatedly perform performance measurement by automatically changing the environment setting of the measurement target system by applying the iterative setting function of the job and the function which depends on the repetition frequency to the contents of the pre- And provides a convenient system performance measurement method and system that saves time and manpower by enabling performance measurement work in various environments by using one job.
도1은 본 발명에 따른 사용자 인터페이스, 컨트롤러, 원격액션매니저, 리파지터리를 사용하여, 자동으로 측정대상 시스템의 환경설정을 변경하면서 성능측정을 수행할 수 있는 시스템의 개괄적 구성을 도시한 블록도이다.1 is a block diagram showing a general configuration of a system capable of performing performance measurement while automatically changing the environment setting of a measurement target system using a user interface, a controller, a remote action manager, and a repository according to the present invention. to be.
<도면의 주요 부분에 대한 부호의 설명>Description of the Related Art
10. 사용자 인터페이스10. User Interface
20. 컨트롤러 21. 원격액션매니저20. Controller 21. Remote Action Manager
30. 리파지터리30. Rechargeable battery
40. 측정대상시스템 41. 환경설정파일 42. 환경설정프로그램 43. 시스템구동프로그램40. Measurement target system 41. Environment setting file 42. Environment setting program 43. System operation program
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040080437A KR100487725B1 (en) | 2004-10-08 | 2004-10-08 | Method and system for doing tests to measure system’s performance under various configurations with automatic modifications of the system’s configurations. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040080437A KR100487725B1 (en) | 2004-10-08 | 2004-10-08 | Method and system for doing tests to measure system’s performance under various configurations with automatic modifications of the system’s configurations. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100487725B1 true KR100487725B1 (en) | 2005-05-04 |
Family
ID=37302442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040080437A KR100487725B1 (en) | 2004-10-08 | 2004-10-08 | Method and system for doing tests to measure system’s performance under various configurations with automatic modifications of the system’s configurations. |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100487725B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190012080A (en) * | 2017-07-26 | 2019-02-08 | 한전케이디엔주식회사 | Application remote test device using data distribution service |
| KR102021466B1 (en) | 2019-02-13 | 2019-09-16 | 국방과학연구소 | Method and apparatus for configuring test environment of tactical data link software and computer readible storage medium therefor |
-
2004
- 2004-10-08 KR KR1020040080437A patent/KR100487725B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190012080A (en) * | 2017-07-26 | 2019-02-08 | 한전케이디엔주식회사 | Application remote test device using data distribution service |
| KR101992978B1 (en) * | 2017-07-26 | 2019-06-25 | 한전케이디엔 주식회사 | Application remote test device using data distribution service |
| KR102021466B1 (en) | 2019-02-13 | 2019-09-16 | 국방과학연구소 | Method and apparatus for configuring test environment of tactical data link software and computer readible storage medium therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7519527B2 (en) | Method for a database workload simulator | |
| US6810364B2 (en) | Automated testing of computer system components | |
| US8214631B2 (en) | Host build and rebuild system and method | |
| Scheuner et al. | Cloud work bench--infrastructure-as-code based cloud benchmarking | |
| US7426729B2 (en) | Distributed processing framework system | |
| US20030120776A1 (en) | System controller for use in a distributed processing framework system and methods for implementing the same | |
| US20140123114A1 (en) | Framework for integration and execution standardization (fiesta) | |
| US10243804B2 (en) | Continuous delivery of hierarchical products using executor for software configuration automation | |
| US10430232B2 (en) | Controllable workflow in software configuration automation | |
| CN110750453B (en) | HTML 5-based intelligent mobile terminal testing method, system, server and storage medium | |
| US10649808B2 (en) | Outcome-based job rescheduling in software configuration automation | |
| CN115576600A (en) | Code change-based difference processing method and device, terminal and storage medium | |
| US11726893B2 (en) | System for automatically evaluating a change in a large population of processing jobs | |
| KR100487725B1 (en) | Method and system for doing tests to measure system’s performance under various configurations with automatic modifications of the system’s configurations. | |
| CA2524835C (en) | Method and apparatus for a database workload simulator | |
| JP5967091B2 (en) | System parameter setting support system, data processing method of system parameter setting support device, and program | |
| JP3683216B2 (en) | Performance evaluation apparatus, information processing method, and program | |
| US10592227B2 (en) | Versioned intelligent offline execution of software configuration automation | |
| Fritz et al. | ASAP-DM: a framework for automatic selection of analytic platforms for data mining | |
| CN110737593A (en) | Intelligent capacity management method, device and storage medium | |
| KR20090066898A (en) | Financial terminal, method for business synchronizing thereof, and financial system | |
| JP2001306365A (en) | Load measurement system | |
| JP2023007172A (en) | Software migration support system and software migration support method | |
| JP2017097758A (en) | Load test system and load test method | |
| KR20230091748A (en) | Distributed workflow apparatus for executing and managing application tasks across multiple servers and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130509 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20140414 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20150417 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20160525 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20170325 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20180306 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20190425 Year of fee payment: 15 |