KR101639108B1 - 요금 시스템을 위한 자동 트래픽 생성부 - Google Patents
요금 시스템을 위한 자동 트래픽 생성부 Download PDFInfo
- Publication number
- KR101639108B1 KR101639108B1 KR1020137005607A KR20137005607A KR101639108B1 KR 101639108 B1 KR101639108 B1 KR 101639108B1 KR 1020137005607 A KR1020137005607 A KR 1020137005607A KR 20137005607 A KR20137005607 A KR 20137005607A KR 101639108 B1 KR101639108 B1 KR 101639108B1
- Authority
- KR
- South Korea
- Prior art keywords
- request
- rule
- modified
- rules
- traffic
- Prior art date
Links
- 238000004519 manufacturing process Methods 0.000 claims abstract description 41
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000007175 bidirectional communication Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 6
- 230000033228 biological regulation Effects 0.000 claims description 4
- 238000013506 data mapping Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 abstract description 3
- 238000012795 verification Methods 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000013459 approach Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000010006 flight Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 108010052919 Hydroxyethylthiazole kinase Proteins 0.000 description 1
- 108010027436 Hydroxymethylpyrimidine kinase Proteins 0.000 description 1
- 229920006465 Styrenic thermoplastic elastomer Polymers 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000009662 stress testing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 229920006348 thermoplastic styrenic block copolymer Polymers 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3414—Workload generation, e.g. scripts, playback
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/02—Reservations, e.g. for tickets, services or events
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0611—Request for offers or quotes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/865—Monitoring of software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/875—Monitoring of systems including the internet
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Devices For Checking Fares Or Tickets At Control Points (AREA)
- Traffic Control Systems (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
요금 시스템(10)은 적어도 하나의 요금 쇼핑 서버(14)를 구비하는 생산 시설(12), 적어도 하나의 요금 쇼핑 서버(18)를 구비하는 스테이징 시설(16), 및 고객과의 양방향 통신을 수행하기 위한 진입점(20)을 포함한다. 스테이징 시설은 변환 규칙을 저장하는 데이터베이스(26)와 트래픽 생성 서브시스템(24)을 더 포함하며, 상기 트래픽 생성 서브시스템(24)은 고객으로부터 진입점을 통해 거래를 수신하고, 상기 수신된 요청이 상기 스테이징 시스템의 요금 쇼핑 서버에 대해 시뮬레이션 데이터를 생성하는데 사용하기에 적합한 것인지 여부를 결정하고, 만약 그렇다면, 적어도 하나의 수정된 거래를 생성하기 위해 데이터베이스로부터 검색된 적어도 하나의 규칙에 따라 상기 수신된 거래를 수정하고, 적어도 하나의 수정된 거래를 처리를 위해 상기 스테이징 시설의 요금 쇼핑 서버로 송신하도록 구성된다. 스테이징 시설의 요금 쇼핑 서버는 요금 시스템의 잠재적인 새로운 또는 수정된 기능을 평가하기 위해 수정된 거래를 처리한다.
Description
본 발명의 예시적인 실시예는 일반적으로 요금(faring) 시스템에 관한 것이고, 보다 상세하게는 요금 시스템의 변경/개선을 평가하기 위한 의사 트래픽(pseudo-traffic){새도우 트래픽(shadow traffic)}을 생성하는 것에 관한 것이다. 여러 예시적인 실시예는 고객에 여행 관련 제품을 제공하는 온라인 시스템에서 사용될 수 있다.
아래에서 사용되는 여러 용어들은 다음과 같이 정의된다.
거래 요금 시스템(transactional faring system)
목적지를 문의하는 가장 값싼 요금 및 주어진 날짜 부근에 최상의 요금과 같은 고객이 요청하는 기준에 기초하여 요금 견적(fare quotes)을 계산하고 반환할 수 있는 시스템. 고객은 거래, 즉 질문(요금 견적에 대한 요청)과 이후 응답(계산된 요금 견적)에 의하여, 본 명세서에서 요금 시스템이라고도 언급되는, 거래 요금 시스템과 통신한다.
요금 쇼핑 서버(fare shopping server)
요금 쇼핑 서버는 요금 시스템에 의해 제공되는 제품을 구현하는 거래 서버이다. 이 서버는 고객이 입력한 문의사항에 대한 응답을 계산하는 일을 담당한다. 2개의 종류의 요금 쇼핑 서버, 즉 생산 전용 서버(production dedicated server), 스테이징 전용 서버(staging dedicated server)이다.
생산(production)
생산은 고객이 입력한 문의사항에 대한 응답을 반환하기 위하여 계산이 일어나는 동작 시설(컴퓨터 시스템)이다.
스테이징(staging)
스테이징은 고객에 공개적으로 이용가능하게 되기 전에 새로운 제품이 "확인"될 수 있는 요금 시스템의 상대적으로 작은 전용 부분이다.
동작 검증(Operational validation)
새로운 제품이 "기능적으로" 유효(valid)한 것으로 확인되었을 때, 이것은 또한 "동작가능하게" 유효하다는 것(즉, 전체 요금 시스템에서 제품의 영향이 평가된다)을 보장하기 위해 실제 생활 조건에서 일련의 테스트를 거친다. 이것은 동작 검증이라고 언급된다.
새도우 트래픽(shadow traffic)
트래픽의 일부(즉, 고객으로부터 요청)는 스테이징을 위한 트래픽의 소스로 기능하도록 요금 시스템에 의해 복제(duplicated)된다. 이 복제 트래픽(새도우 트래픽이라고 언급된다)에 대한 응답은 고객에 반환(returned)되지 않는다.
본 발명의 예시적인 실시예는 보다 구체적으로 고객이 요청하는 기준, 예를 들어 주어진 목적지에 대한 가장 값싼 운항(flights), 주어진 날짜 부근에서 최상의 운항 요금 등에 기초하여 최상의 요금 견적을 계산하고 반환하는 것을 목적으로 하는 거래 요금 시스템에 관한 것이다. 이들 서비스는 요금 쇼핑 서버를 통해 처리되고, 높은 비율(예를 들어, 하루에 9천만의 거래)로 액세스된다.
요금 시스템에서의 예상되는 변화(예를 들어, 새로운 제품, 새로운 볼륨, 새로운 고객)는 시스템이 기대되는 추가적인 자원 소비(예를 들어, CPU, 메모리, 데이터베이스, 네트워크 및 다른 자원)로 대처할 수 있는 것을 보장하기 위해 동작 검증이 앞선다.
동작 검증은 새도우 트래픽에 의하여 구현된다. 다시 말해, 들어오는 고객 트래픽의 일부는 고객의 인식 없이 생산 시설(production facility)로부터 복제된다. 이 복제된 새도우 트래픽은 요금 시스템에서 전개(evolutions)를 테스트하도록 의도된 스테이징 시설(staging facility)이라고 언급되는 팬텀 동작 시설(phantom operational facility)로 전달된다. 이 새도우 트래픽의 효과는 스테이징 시설에서 동작하고 이후 모니터링되고 분석되는 반면, 원래의 트래픽은 생산 시설에 의해 통상적인 방식으로 처리되고 통상적인 방식으로 반환된다.
이러한 생산 전개(예를 들어, 새로운 시장, 새로운 차원, 새로운 제품)를 도입할 때, 현존하는 트래픽이 동작 검증에 적합치 않은 경우가 발생할 수 있다. 이러한 경우, 검증을 수행하는 데 필요한 입력을 생성하기 위해 트래픽을 시뮬레이션하는 것이 필요하다.
동작 검증을 위해 관련 트래픽을 획득하는데 여러 기술이 구상될 수 있는 것이 주목된다.
예를 들어, 하나의 가능한 기술은 한번에 하나의 클라이언트에 대해 전개를 활성화하는 것이다. 이 가능한 접근 방식에서, 전개(예를 들어, 새로운 제품, 새로운 시장)는 요금 시스템에 의해 제공되고 제 1 단계에서 일부 클라이언트에 대해서만 사용가능하다. 새로운 서비스를 처리하는데 소비되는 총 자원은 전체 생산 시설에서 제한된 영향을 미칠 것으로 예상될 수 있으므로, 이에 정확한 용량 계획(capacity planning)을 생성하는데 그 비용이 정확히 분석될 수 있다.
그러나, 이 접근 방법은 클라이언트에 새로운 트래픽을 송신하기 시작할 것을 요청하는 것을 수반하여 어려움이 있을 수 있다. 심지어 일부 클라이언트에 의해서 생성된 트래픽은 기대되는 것보다 더 많은 자원을 소비하여 결과적으로 요금 시스템의 동작 안정성을 위태롭게 할 수 있는 위험이 있다. 또 다른 단점은 이 구성이 모든 클라이언트에 새로운 서비스를 동시에 개방하는 것이 필수 조건인 경우에는 적용가능하지 않다는 것이다.
다른 가능한 기술은 미리 기록된 현존하는 트래픽으로부터 트래픽을 생성하는 것이다. 즉, 주어진 시간 기간 동안 현존하는 고객 트래픽을 기록하고 이후에 새로운 제품을 타깃으로 하는 트래픽으로 보이도록 하기 위해 이 기록된 트래픽을 오프 라인(예를 들어, 디스크로부터)에서 변환할 수 있다. 미리 기록된 및 변환된 트래픽에 대해 새로운 서비스를 처리하는 것에 의해 소비되는 자원을 모니터링하면서 변환된 트래픽이 수동으로 재생(replayed)될 수 있다.
그러나, 특히 검증이 긴 시간 기간 동안 실행될 필요가 있는 때에는, 미리 생성된 트래픽을 재생하는 것이 충분한 다양성(diversity)을 제공하지 못한다. 또한, 실제 트래픽처럼 보이는 재생 속도를 모방하는 것이 매우 어렵다. 적어도 이들 두 개의 단점은 불완전한 벤치마킹을 초래하고 따라서 부정확한 용량 계획을 초래한다.
또 다른 가능한 기술은 들어오는 요청이 처리되기 전에 이 들어오는 요청의 내용을 변환하는 것이다. 예를 들어, 요금 시스템에 의해 제공되는 제품의 새로운 기능(즉, 새로운 옵션)을 가능하게 하기 위해, 들어오는 요청의 내용을 수정하기 위해 실제 서버의 앞에 컨버터 유닛이 배치될 수 있다. 오프라인 스토리지는 이 과정에서 수반될 필요가 없다.
그러나, 이 접근 방식은 그 동작이 생산 시설의 고객에게 영향을 미치므로 실제로는 실용적이지 않다. 예를 들어, 트래픽이 수정되는 클라이언트에게는 이들이 요청한 요청과는 다른 요청에 대한 응답이 제공될 수 있고 이는 고객에 혼란과 이들 고객을 소외시킬 가능성을 초래할 수 있다.
더 다른 접근 방식은 고객으로부터 들어오는 모든 요청을 복사하고 이를 인접한 서버에서 사용하는 것이다. 이런 방식으로, 고객을 귀찮게 하지 않고 실재 트래픽만이 사용된다.
그러나, 이 방법은, 특히 고객의 트래픽이 날짜와 요일, 특별 행사, 공휴일 등등에 따라 변하므로, 중요한 양의 데이터를 생성한다. 그래서 서버에는 실제로 많은 쓸모 없는 정보를 포함하여, 처리할 수 있는 것보다 훨씬 더 많은 트래픽으로 과부하가 걸릴 수 있다.
전술된 및 다른 문제는 본 발명의 실시예에 따라 극복되고 다른 잇점이 실현된다.
일 측면에서, 예시적인 실시예는 적어도 하나의 요금 쇼핑 서버를 구비하는 생산 시설, 적어도 하나의 요금 쇼핑 서버를 구비하는 스테이징 시설, 및 고객과 양방향 통신을 수행하기 위한 진입 점(entry point)을 포함하는 요금 시스템에 의해 수행되는 방법을 제공한다. 본 방법은, 고객으로부터 거래를 수신하는 것에 응답하여, 이 거래를 처리를 위해 생산 시설의 요금 쇼핑 서버로 그리고 또한 스테이징 시설의 일부를 형성하는 트래픽 생성 서브시스템으로 송신하는 단계; 적어도 하나의 수정된 거래를 생성하기 위해 적어도 하나의 규칙에 따라 수신된 거래를 트래픽 생성 서브시스템에서 선택적으로 수정하는 단계; 및 적어도 하나의 수정된 거래를 처리를 위해 스테이징 시설의 요금 쇼핑 서버로 송신하는 단계를 포함하는 것을 특징으로 한다.
다른 측면에서, 예시적인 실시예는 적어도 하나의 요금 쇼핑 서버를 구비하는 생산 시설, 적어도 하나의 요금 쇼핑 서버를 구비하는 스테이징 시설, 및 고객과 양방향 통신을 수행하기 위한 진입 점을 포함하는 요금 시스템을 제공한다. 요금 시스템은 변환 규칙을 저장하는 데이터베이스와 트래픽 생성 서브시스템을 더 포함하며, 상기 트래픽 생성 서브시스템은 고객으로부터 진입점을 통해 거래를 수신하고, 수신된 거래가 요금 쇼핑 서버에 대한 시뮬레이션 데이터를 생성하는데 사용하기에 적합한 것인지 여부를 결정하고, 만약 그렇다면, 적어도 하나의 수정된 거래를 생성하기 위해 데이터베이스로부터 검색된 적어도 하나의 규칙에 따라 수신된 거래를 수정하고, 적어도 하나의 수정된 거래를 처리를 위해 스테이징 시설의 요금 쇼핑 서버로 송신하도록 구성된 것을 특징으로 한다.
또 다른 측면에서, 예시적인 실시예는 적어도 하나의 요금 쇼핑 서버 수단을 구비하는 생산 시설 수단, 적어도 하나의 요금 쇼핑 서버 수단을 구비하는 스테이징 시설 수단, 및 고객과 양방향 통신을 수행하기 위한 진입점 수단을 포함하며, 고객으로부터 거래를 수신하는 동작과, 수신된 거래를, 처리를 위해 그리고 수신된 거래를 새도우 거래로서 상기 스테이징 시설 수단으로 송신하기 위해, 상기 생산 시설 수단의 상기 요금 쇼핑 서버 수단으로 송신하는 동작을 포함하는, 요금 시스템을 제공한다. 요금 시스템은 적어도 하나의 수정된 새도우 거래를 생성하기 위해 규칙 데이터베이스로부터 획득된 적어도 하나의 규칙에 따라 상기 진입 점 수단으로부터 수신된 새도우 거래를 스테이징 시설 수단에서 선택적으로 수정하기 위한 수단을 포함한다. 규칙 데이터베이스는 적어도 변환 규칙 세트 및 실행 규칙 세트를 포함한다. 요금 시스템은 요금 시스템의 잠재적인 새로운 또는 수정된 기능을 평가하기 위해 적어도 하나의 수정된 새도우 거래를 처리될 스테이징 시설 수단의 요금 쇼핑 서버 수단으로 송신하기 위한 수단을 포함하는 것을 더 특징으로 한다.
더 다른 측면에서, 예시적인 실시예는 적어도 하나의 요금 쇼핑 서버 수단을 구비하는 생산 시설 수단, 적어도 하나의 요금 쇼핑 서버 수단을 구비하는 스테이징 시설 수단, 및 고객과 양방향 통신을 수행하기 위한 진입점 수단을 포함하는 요금 시스템을 제공한다. 요금 시스템은, 수신된 고객 거래(요청)가 요금 쇼핑 서버 수단에 대한 시뮬레이션 데이터를 생성하는데 사용하기에 적합한 것인지 여부를 결정하는 수단; 적어도 하나의 수정된 거래를 생성하기 위해 규칙 데이터베이스로부터 획득된 적어도 하나의 규칙에 따라 상기 진입점 수단으로부터 수신된 적절한 고객 거래를 스테이징 시설 수단에서 수정하는 수단을 포함한다. 규칙 데이터베이스는 적어도 변환 규칙 세트 및 실행 규칙 세트를 포함한다. 요한 시스템은 적어도 하나의 수정된 거래를 처리될 스테이징 시설 수단의 요금 쇼핑 서버 수단으로 송신하기 위한 수단, 및 고객의 잠재적인 새로운 또는 수정된 기능을 평가하는데 고객에 의해 사용하기 위해 처리된 수정된 거래의 결과를 고객에게 송신하는 수단을 더 포함한다.
본 발명의 본 바람직한 실시예의 전술된 및 다른 측면은 첨부된 도면과 함께 판독될 때 이하 바람직한 실시예의 상세한 설명에서 보다 명백하게 될 것이다.
도 1은 트래픽 생성 서브시스템과 변환 규칙 데이터베이스를 포함하는 본 발명의 예시적인 실시예에 따라 구성되고 동작되는 요금 시스템을 도시하는 도면;
도 2는 주어진 TXNA을 적어도 하나의 TXNB로 변환할 때 도 1의 트래픽 생성 서브시스템의 동작을 보여주는 로직 흐름도;
도 3은 최대 개수의 추천으로 증가된 것을 도시하는 도면;
도 4는 새로운 (변환된) 새도우 트래픽의 생성 동안 도 1의 트래픽 생성 서브시스템에서 발생하는 여러 단계를 도시하는 도면;
도 5는 제 1 거래로부터 제 2 수정된 거래로 요청된 운항의 수의 증가를 도시하는 도면;
도 6은 도 5의 예에 따라 새로운 (변환된) 새도우 트래픽의 생성 동안 도 1의 트래픽 생성 서브시스템에서 발생하는 여러 단계를 도시하는 도면;
도 7은 새로운 제품을 특징으로 하는 정보를 클라이언트에 의해 사용하기 위해 클라이언트에 반환하도록 동작될 때 트래픽 생성 서브시스템과 변환 규칙 데이터베이스를 포함하는 본 발명의 예시적인 실시예에 따라 구성되고 동작되는 요금 시스템을 도시하는 도면.
도 1은 트래픽 생성 서브시스템과 변환 규칙 데이터베이스를 포함하는 본 발명의 예시적인 실시예에 따라 구성되고 동작되는 요금 시스템을 도시하는 도면;
도 2는 주어진 TXNA을 적어도 하나의 TXNB로 변환할 때 도 1의 트래픽 생성 서브시스템의 동작을 보여주는 로직 흐름도;
도 3은 최대 개수의 추천으로 증가된 것을 도시하는 도면;
도 4는 새로운 (변환된) 새도우 트래픽의 생성 동안 도 1의 트래픽 생성 서브시스템에서 발생하는 여러 단계를 도시하는 도면;
도 5는 제 1 거래로부터 제 2 수정된 거래로 요청된 운항의 수의 증가를 도시하는 도면;
도 6은 도 5의 예에 따라 새로운 (변환된) 새도우 트래픽의 생성 동안 도 1의 트래픽 생성 서브시스템에서 발생하는 여러 단계를 도시하는 도면;
도 7은 새로운 제품을 특징으로 하는 정보를 클라이언트에 의해 사용하기 위해 클라이언트에 반환하도록 동작될 때 트래픽 생성 서브시스템과 변환 규칙 데이터베이스를 포함하는 본 발명의 예시적인 실시예에 따라 구성되고 동작되는 요금 시스템을 도시하는 도면.
우선, 본 발명은 요금 시스템의 동작 시설로부터 오는 현존하는 트래픽으로부터 임의의 원하는 트래픽을 생성하기 위하여 거래 요금 시스템과 상호작용하는 신규한 시스템을 기술한다.
아래에 상세히 설명되는 바와 같이, 본 발명의 예시적인 실시예는 새로운 트래픽을 닮도록 들어오는 트래픽을 변환하고 이를 스테이징 시설 요금 쇼핑 서버에 송신하는 것을 목적으로 하는 일반적인 프레임워크에 기초하는 자율적인 시스템을 제공한다. 프레임워크는 들어오는 거래를 변환하는 방법과, 생성된 거래에 존재하는 새로운 필드(예를 들어, 필드의 가능한 평가, 필드 값들 사이의 상호 관계, 등)를 입력(populate)하는 방법을 결정하기 위해 전용 지식 데이터베이스에 의해 구동된다. 이 시스템은 수신하는 들어오는 새도우 거래에 따라 시장마다 변환을 적응시킨다. 이 시스템은 임시 변통 생성(ad-hoc generation)이 요구될 때 (예를 들어, 복잡하거나 도메인 지정된 데이터 조작) 비즈니스 변환을 위해 플러그인에 의존할 수 있다. 실시간 트래픽 변환은 시스템이 지속적으로 다양화된 거래를 생성하게 하여 이에 따라 동작 검증 동안 수행되는 자원 소비의 측정값에 대해 높은 레벨의 신뢰성을 제공할 수 있게 한다. 이 시스템은 들어오는 트래픽의 양이 얼마나 발생하든지 간에 필요한 만큼 많은 트래픽을 생성할 수 있는 능력을 구비한다. 시스템은 새도우 트래픽에 대해 동작하므로 생산 클라이언트 동작에 영향을 미치지 않아서, 고객이 직접 동작에 개입하는 일이 필요치 않다. 또한, 시스템은 동작 안정성을 위해(예를 들어, 스테이징 시설에 연결된 외부 생산 시스템을 보존하기 위해) 자동으로 트래픽 생성을 억제한다.
본 발명의 예시적인 실시예의 사용은 다수의 비즈니스 관련 장점을 더 제공한다. 예를 들어, 일반적인 변환 프레임워크는 광범위한 다양한 상황(예를 들어, 스트레스 테스트, 내구성, 견고성, 용량, 제한사항)을 시뮬레이션하기에 적합한 트래픽의 생성을 가능하게 한다. 생성된 트래픽은 새로운 제품의 제한사항 또는 새로운 제품의 코너 케이스, 실제 고객 트래픽으로 실제 달성될 수 없는 것을 테스트하는 데 사용될 수 있다. 또한, 생성된 트래픽의 정확도는 용량 계획의 정확도를 고려할 때 중요한 요소인 동작 검증 동안 수집된 메트릭에 자신감을 향상시킨다. 고객에 대한 감소된 의존도는 또한 요금 시스템에서 전개되는 새로운 제품에 대한 시장 출시 기간(time to market)을 향상시키는 것을 도와준다. 또한, 자동적으로 생성된 트래픽은 동작 검증을 수행할 때 드는 시간을 감소시켜 비용을 감소시킨다. 나아가, 본 발명의 예시적인 실시예의 사용은 요금 시스템에서 새로운 고객 또는 새로운 제품의 도입 동안 불안정성을 유발할 위험을 감소시키면서, 매일 동작 동안 생산 시설의 동작 품질을 유지하는 것을 도와준다. 본 발명의 예시적인 실시예의 사용은 또한 고객이 자체 동작 시설에 대한 새로운 제품의 영향을 모니터링하기 위해 자체 용량 계획을 수행하는 것을 가능하게 한다.
예를 들어, 본 발명의 예시적인 실시예는 수동 변환에 의존하지 않고 일반적인 트래픽 변환 방법을 사용할 수 있다. 즉, 시스템은 지식 데이터베이스에 저장된 비즈니스 변환 규칙에 따라 트래픽을 생성하고, 한번에 복수의 트래픽 변환을 수용할 수 있다. 이것은 광범위한 다양한 동작 검증에 적합한 다양한 트래픽 시뮬레이터를 제공한다. 이 시스템은 동작 검증이 수행되어야 할 때마다 새로운 트래픽 변환기를 수동으로 설계할 필요성을 경감하여, 수동으로 구동되는 손으로 기록된 트래픽 변환기를 유지하는 것에 비해 동작 검증의 비용을 감소시킨다.
예시적인 실시예는 동작 검증을 크게 개선시키는 실시간으로 정확한 트래픽 생성을 제공한다. 트래픽 생성은 라이브 트래픽에 대해 수행되며, 따라서 하루 종일 동작을 제공할 수 있다. 이 접근 방식은 초당 거래량의 변화뿐만 아니라, 하루 중 특정 시간대에서 거래 스트레스 피크와 같은 일반적으로 생산에서 볼 수 있는 트래픽 거동 전부를 재현하는 것을 가능하게 한다. 송신하는 페이스(pace)와 생성된 트래픽의 관련성은 새로운 제품을 광범위하게 테스트하는데(예를 들어, 제한 거동과 코너 케이스) 본 발명의 사용을 매우 효과적이게 한다. 예시적인 실시예의 사용은 요금 시스템이 광범위하고 현실적으로 스트레스 테스트될 수 있게 한다.
예시적인 실시예는 또한 거래가 생산 성능에 영향을 미치지 않고 새도우 트래픽으로부터 생성되므로 생산에 대하여 투명한 방식으로 동작하고 또 고객에게 투명하다. 본 발명의 시스템은 생산으로 데이터를 반환하지 않는다. 이 시스템은 또한 새도우 트래픽 및 스테이징 요금 쇼핑 서버들 간에 독립적인 삽입 서버(interposition server)로 동작할 때 스테이징 요금 쇼핑 서버에도 투명하다. 요금 쇼핑 서버가 생성된 트래픽을 수신하는 것을 알지 못하므로 수신된 트래픽을 처리하기 위해 수정될 필요가 없다.
또한 이 시스템은 너무 많은 생성된 트래픽을 스테이징 요금 쇼핑 서버에 송신하는 경우에 또는 생성된 트래픽이 일부 기술적인 문제를 초래하는 경우에 트래픽의 생성을 억제하거나 중지할 수 있다. 스테이징 요금 시스템이 외부 생산 시설(예를 들어, 고객 예약 운항 이용가능성 서버)과 접촉할 필요가 있는 경우에 너무 많이 생성된 트래픽의 효과를 완화시키는 것이 달성된다.
본 발명의 예시적인 실시예에 따라 구성되고 동작되는 요금 시스템(10)을 도시하는 도 1을 참조한다. 요금 시스템(10)은 요금 쇼핑 서버(14)를 구비하는 생산 시설 또는 시스템(12) 및 요금 쇼핑 서버(18)를 또한 구비하는 스테이징 시설 또는 시스템(16)을 포함한다. 생산 시설(12)과 스테이징 시설(16)은 진입 점(20)에 통신가능하게 연결되고, 이 진입점을 통해 고객(22)은 요금 시스템(10)에 액세스를 하고 이 진입점을 통해 고객은 문의사항에 대한 답변을 수신할 수 있다. 진입 점(20)은 고객(22)으로부터 수신된 실제 트래픽(TXNA)을 생산 시설(12)의 요금 쇼핑 서버(14)에 제공한다. 예시적인 응용 및 사용 사례에서 생산 시설(12)은 스테이징 시설(16)의 존재 및/또는 동작에 대한 지식이 없을 수 있다는 것이 주목된다.
예시적인 실시예에 따라 스테이징 시설(16)은 트래픽 생성 서브시스템(24)의 작동 동안 트래픽 생성 서브시스템(24)에 의해 사용되는 여러 비즈니스 변환 및 다른 정보를 저장하는 데이터베이스(26)와 연결된 트래픽 생성 서버 또는 서브시스템(24)을 더 포함한다.
본 발명의 예시적인 실시예는 일 측면에서 요금 시스템(10)에서 새로운 트래픽 생성 서브시스템(24)을 포함한다. 요금 시스템(10)은 요금 쇼핑 서버(14)에 의해 서비스되는 여러 제품을 제공한다. 요금 시스템(10)은 기본적으로 2개의 시설에서 복제된다. 제 1 시설은 고객(22)으로부터 오는 생산 요청을 처리하는 일을 담당하는 생산 시설(12)이다. 제 2 시설은 스테이징 시설(16)이고, 새로운 서비스, 새로운 시장, 등을 스테이징하기 위한 동작 검증 동안 사용되는 본질적으로 프라이빗 시설(private facility)이다.
도 1에서, 생산 요금 시설(12)은 TXNA를 발행하는 것에 의해 제품을 타깃으로 하는 고객(22)으로부터 요청에 서비스하는 것으로 도시된다. 특정 동작 검증은 생산 시설(12)에서 이용가능하게 만들어지게 될 새로운 제품(B)을 스테이징하기 위해 진행하는 것으로 가정된다. 이 서비스를 스테이징하기 위해, 일부 트래픽 TXNB는 스테이징 시설(16)의 요금 쇼핑 서버에 이용가능하여야 한다. 이 트래픽 TXNB는 트래픽 생성 서브시스템(24)에 의해 생성된다.
클라이언트(고객 22)가 요금 시스템(10)에 요청 TXNA을 할 때, 진입 점(20)은 이 요청의 복사본(새도우된 TXNA)을 만들고 이를 스테이징 시설(16)에 있는 트래픽 생성 서브시스템(24)으로 라우팅한다. 트래픽 생성 서브시스템(24)은 새로운 요청 TXNB를 생성하고 추가 모니터링을 위해 부차 거래(collateral transaction)를 (진입 점 20을 통해) 스테이징 요금 쇼핑 서버(18)로 송신한다. 한편, 고객(22)은 스테이징 시설(16)에 의해 수행되는 진행하는 동작 검증에 의해 영향을 받는 일이 없이, TXNA로부터 기대하는 응답을 수신한다.
본 발명을 구현하는 트래픽 생성 서브시스템(24)은 바람직하게는 요금 시스템(10)에서 한정된 임의의 종류의 거래를 청취하고 이에 응답하며 이에 따라 임의의 입력 트래픽을 수신할 수 있도록 구성된다.
또한 도 2를 참조하면, 트래픽 생성 서브시스템(24)은 주어진 TXNA를 하나 이상의 (적어도 하나의) TXNB으로 선택적으로 변환하도록 동작한다. 이 의사 트래픽의 생성은 전용 데이터베이스(26)에 저장된, 본 명세서에서 비즈니스 변환이라고도 언급되는, 변환에 의해 구동되는 기술을 따른다. 블록(2A)에서, 트래픽 생성 서브시스템(24)은 들어오는 TXNA가 진행하는 동작 검증을 위한 트래픽의 소스로서 사용될 수 있는지 여부를 입력 필터를 사용하여 체크한다. 그렇지 않은 경우, TXNA는 누락되고(무시되고) 이에 따라 적어도 하나의 TXNB로 변환되지 않는다. 들어오는 TXNA가 사용될 수 있는 것이라고 가정하면, 요금 쇼핑 요청 TXNA의 내용(예를 들어, 아웃 바운드 운항, 인바운드 운항, 동작 캐리어, 여행사, 등)에 따라 트래픽 생성 서브시스템(24)은 비즈니스 변환 데이터베이스(26)로부터 새로운 트래픽을 생성하기 위해 적용되어야 하는 변환 규칙(26A)의 리스트(list)을 가져온다. 변환 규칙(26A)은 비 제한적인 예로써, 값 규칙, 분배 규칙 및 관계 규칙을 포함할 수 있다. 적용할 변환 규칙을 발견하지 못하면 거래가 누락된다. 변환 규칙(26A)이 적용가능한 것으로 발견되었다고 가정하면, 블록(2C)에서 트래픽 생성 서브시스템(24)은 생성된 트래픽에 적용해야 하는 실행 규칙(26B)(예를 들어, 입력, 송신 페이스, 등으로부터 생성될 거래 횟수)을 체크한다. 도 2에 도시된 바와 같이, 실행 규칙(26B)은, 예를 들어, 억제 규칙 및 루프 규칙을 포함할 수 있다. 트래픽 생성 서브시스템(24)은 블록(2D)에서 하나의 TXNB를 생성하기 위해 적용가능한 변환 규칙(들)(26A)을 적용하고, 블록(2F)에서, 생성된 TXNB를 처리를 위해 (진입 점 20을 통해) 요금 쇼핑 서버(18)로 송신한다. 이 과정은 회귀적(recursive)일 수 있고, 실행 규칙(26B)에 의해 나타난 트래픽의 양에 도달될 때까지 반복될 수 있다는 것이 주목된다. 이 회귀는 블록(2E 및 2G)으로 도 2에 도시된다.
트래픽 생성 서브시스템(24)은 이에 따라 일련의 변환 규칙(26A) 및 실행 규칙(26B)을 적용하여 트래픽을 생성한다. 적용가능한 규칙(26A, 26B)은 전용 데이터베이스(26)에 저장된다. 일반적으로, 데이터베이스(26)는 수동으로 동작 검증의 필요에 따라 입력될 수 있다. 생성될 트래픽에 대해 데이터베이스(26)에 한정된 적어도 하나의 규칙을 가지는 것으로 충분하다. 결론적으로, 모든 유형의 규칙이 데이터베이스(26)에 존재할 필요가 있는 것은 아니다.
이제 규칙(26A, 26B)을 더 상세히 설명하면, 특정 변환 규칙(26A)은 새로운 출력(TXNB)을 생성하기 위하여 적용할 입력의 유형, 적용할 규칙 세트, 및 실행 규칙(26B)의 하나 이상의 이름(또는 일부 다른 유형의 언급)을 지정한다. 일부 규칙은 간단한 데이터 맵핑, 예를 들어, TXNA로부터 필드의 값이 TXNB의 필드에 복사되는 맵핑을 표현할 수 있다. 다른 규칙은 TXNB의 새로운 필드에 값을 제공하는 방법을 표현할 수 있다. 평가 규칙(valuation rules)이라고 언급될 수 있는 이들 규칙은 각 필드에 대해 생성될 수 있는 값의 리스트와 함께 생성된 요청에 삽입될 수 있는 필드(예를 들어, 캐리어, 시장, 도시, 등)의 리스트를 한정한다. 예를 들어, 평가 규칙은 가능한 값으로 NYC 또는 PAR을 가지는 도시 필드를 추가하는 것을 지정할 수 있다. 분배 규칙은 필드에 대해 값이 생성되는 빈도를 지정한다. 상기 예에 따라서, 하나의 예시적인 분배 규칙은 시간 중 값 PAR 60%, 및 시간 중 NYC 40%를 생성할 수 있다. 관계 규칙은 필드 평가가 다른 필드의 평가에 영향을 미치는 방법을 지정한다. 관계 규칙은 예를 들어 필드들 사이에 의미론적 종속성을 모델링하기 위해 또는 평가의 특정 조합을 블랙리스트에 등재(금지)시키기 위해 사용될 수 있다.
일반적인 접근 방식과 일치하지 않는 특성에 대해, 임시 변통 변환은 플러그인을 사용하여 수행될 수 있다. 이것은 생성 로직이 예를 들어, 일부 특정 복잡한 비즈니스 제약(예를 들어, 지리적 제약에 따라)에 의존할 때 유리할 수 있다.
실행 규칙(26B)은 입력 거래로부터 생성된 트래픽에 대해 루프 및 트래픽 조절(looping and traffic regulation)을 지정한다. 루프 규칙은 입력 TXN으로부터 얼마나 많은 거래를 생성할지를 지정한다. 이것은 실제 생산 트래픽이 동작 검증의 요구에 충분한 양으로 이용가능하지 않는 경우에 유리할 수 있다. 이 경우 이것은 단일 TXNA로부터 n개의 TXNB을 생성하기 위해 지정될 수 있고, 여기서 n은 1이거나 또는 1을 초과하는 것일 수 있다. 다른 유형의 실행 규칙(26B)은 생성된 트래픽을 송신하는 방법, 예를 들어, TPS(초당 거래수)로 송신하는 빈도를 한정하는 조절 규칙이다. 생성된 트래픽이 너무 많은 기술적인 에러(예를 들어, 너무 많은 거래 타임아웃이 생성되는)를 산출하는 경우 송신하는 기능은 더 적은 트래픽을 송신하도록 자동 조절된다.
여러 예시적인 사용 사례가 이제 본 발명의 동작과, 본 발명의 사용을 통해 얻어지는 혜택과 기술적 효과를 더 설명하기 위하여 설명된다.
제 1 사용 사례 예는 고객에게 반환되는 운항 추천의 개수를 증가시키는 것에 관한 것이다.
요금 시스템(10)에서 고객(22)은 주어진 날짜에 주어된 여행 일정(journey)(출발일 플러스 목적지)에 대해 그리고 주어진 캐리어에 의해 동작되는 최저 비용의 운항을 반환하는 제품(A)에 액세스하는 것으로 가정한다. 요금 시스템(10)은 고객 기준과 일치하는 최저 비용의 운항에 대한 추천을 반환한다.
고객은 최대 100개의 운항 추천을 요청하는 권리를 가지고 있고 또 추천의 최대 개수가 도 3에 도시된 바와 같이 더 큰 값(예를 들어, 250개의 운항 추천)으로 상승되는 경우 요금 시스템(10)이 거동하는 방법을 테스트하는 것이 요구되는 것으로 가정한다.
이 제품의 전개는 다음 제약을 고려하여 구현될 수 있다. 제일 먼저, 고객(22)에게는 요금 시스템(10)의 동작 안정성을 위태롭게 할 수 있는 더 많은 운항 추천을 요청하는 권리가 부여되지 않는다. 또한, 요금 시스템(10)에 의해 계산될 수 있는 운항 추천의 최대 개수는 알려져 있지 않아서, 미리 예측될 필요가 있다.
상기 제약을 고려하여, 트래픽 생성 서브시스템(24)은 다음과 같은 변환 규칙{데이터베이스(26)에 저장된}을 가지게 구성될 수 있다:
고객이 요청한 운항 추천 개수의 범위를 결정하는 하나의 평가 규칙;
추천 값이 랜덤하게 생성되는 것을 지정하는 하나의 분배 규칙; 및
입력 트래픽이 생성된 출력보다 더 많은 추천을 요청하는 경우, 최대 개수의 추천을 계속 유지하는 것을 지정하는 하나의 관계 규칙.
도 4에 도시된 시퀀스는 새로운 (변환된) 새도우 트래픽의 생성 동안 트래픽 생성 서브시스템(24)에서 발생하는 여러 단계를 도시한다.
블록(4A 및 4B)은 도 2의 블록(2A 및 2B)과 기본적으로 동일하다. 이 경우에, 생산 시설로부터 캡처된 트래픽은 트래픽 생성 서브시스템(24)으로 전달된다. 입력 필터(블록 4A)는 제품(A)과 관련된 트래픽만을 보유한다.
블록(4C 및 4D)에서, 동작 검증 동안 평가 규칙은 "최대 추천"에 대한 새로운 허용가능한 값이 결정될 때까지, 운항 추천 개수의 범위(제 1 [100, 300], 이후 [200, 400], 이후, [300, 500], 등)를 변경하도록 수동으로 업데이트된다. 이 증분적 접근 방식은 요금 시스템(10)의 제한, 실제 생산 트래픽의 사용에만 의존할 경우 달성하기 어렵거나 불가능한 것일 수 있는 것을 결정하는 것을 도와준다.
제 2 예시적인 사용 사례가 특정 캐리어에 대해 복잡한 여행 스케줄(complex itineraries)을 생성하는 것에 관한 것이다.
비 제한적인 예로써 현재 제품(B)을 사용하는 일본인 고객이 요금 시스템(10)에 의해 제공된 새로운 제품(B')을 곧 사용할 것이라고 가정한다. 고객(22)은 주어진 날짜 범위에 걸쳐 최소 4개의 운항(국내 또는 국제)을 포함한 여행 일정에 대해 최저 비용 요금과 같은 "복잡한 여행 스케줄"을 포함하는 여행 일정에 대한 요금 견적을 요청할 수 있다. 현재 고객 트래픽 타깃 제품(B)은 기껏 2개의 운항으로 구성된 국내 요청만을 포함한다고 더 가정한다.
동작 검증을 위해 관련 트래픽을 생성하기 위해 트래픽 생성 서브시스템(24)은 일본인 클라이언트로부터만 거래를 처리하도록 구성된다. 트래픽 생성 서브시스템(24)은 다음과 같은 규칙(도 5 및 도 6 참조)을 적용된다.
변환 규칙 :
하나의 평가 규칙: 새로운 국제 운항은 들어오는 요청에 삽입된다. 삽입된 도시는 하나의 직항으로 일본으로부터 모두 액세스할 수 있다.
하나의 분배 규칙: 국제 운항은 생성된 요청의 항공 구간에서 랜덤하게 삽입된다.
하나의 관계 규칙: 의미론적 관계는 모든 운항이 (도 5에 도시된 바와 같이) 운항 요청에서 연속적으로 유지되도록 삽입된 운항이 선택되어야 하는 것을 지정한다.
제 2 관계 규칙: 항공 구간의 수(1 또는 2)가 원래의 요청에 존재하든지 간에, 생성된 요청에는 4개의 항공 구간이 있어야 한다.
실행 규칙 :
하나의 조절 규칙: 새로운 거래는 계산 용량을 초과하지 않도록 10개를 초과하는 TPS의 빈도로 송신되어서는 아니한다.
전술한 예에서, 들어오는 TXNB에 대해 모두 3개의 제약(즉, 삽입된 도시는 하나의 직항에서 일본으로부터 모두 액세스할 수 있고, 삽입된 운항은 모든 운항이 운항 요청에서 연속적으로 유지되도록 선택되어야 하고, 생성된 요청에는 4개의 운항 구간이 있어야 한다)이 동시에 적용될 수 없는 것으로 가정한다. 이 경우, 입력 필터링 기능은 들어오는 TXNB을 단순히 누락시키고, 거래는 생성되지 않는다.
도 6은 생산 트래픽 TXNB로부터 새로운 트래픽(TXNB')의 생성 동안 트래픽 생성 서브시스템(24)에서 발생하는 여러 단계를 도시한다. 블록(6A, 6B 및 6C)은 도 2의 블록(2A, 2B 및 2C)과 실질적으로 각각 동일하다. 생산 시설(12)로 향하는 트래픽은 진입점(20)에 의해 캡처(즉, 복제)되고, 트래픽 생성 서브시스템(24)으로 전송되고, 제품(B)(TXNB)과 관련된 트래픽만이 유지된다. 즉, 일본인 클라이언트에 (및 제품 B에) 대응하지 않는 트래픽은 단순히 누락된다. 요청은 블록(6D)에서 평가 규칙에 따라 처리되며, 새로운 트래픽(TXNB')은 스테이징 시설 요금 쇼핑 서버(18)로 송신된다. 새로이 생성된 거래는 초당 생성된 트래픽의 양이 억제와 관련된 실행 규칙에 의해 부과된 제한(이 예에서 10개의 TPS)을 초과하는 경우 송신되기 전에 누락된다.
제 3 예시적인 사용 사례는 클라이언트 시설에서 동작 검증을 수행하는 것에 관한 것이다.
항공사{본 명세서에서 클라이언트(22')라고 언급된}가 웹 포털에 새로운 서비스를 전개하는 것으로 가정한다. 이 서비스는 요금 시스템(10)의 새로운 제품(X)을 이용한다. 이런 점에서, 도 1에 있는 여러 측면과 유사한 도 7을 참조한다.
생산을 개시하기 전에, 요금 시스템(10)에 의해 클라이언트 항공사로 반환되는 정보의 양은 정확히 알려져 있지 않다. 클라이언트의 웹 인프라가 요금 시스템(10)에 의해 반환되는 데이터의 양을 처리할 수 있는 것을 보장하기 위하여, 클라이언트는 생산에서 이를 개시하기 전에 {새로운 제품(X)에 대해} 자체 서비스를 테스트하기를 원한다. 또한, 클라이언트가 수동으로 동작 검증을 수행하기를 원치 않고, 새로운 트래픽을 시뮬레이션하고 클라이언트의 웹 인프라의 동작 안정성을 검증하기 위해 트래픽의 현존하는 소스를 요구하는 것으로 가정한다.
이 시나리오에서, 스테이징 시설(16)의 트래픽 생성 서브시스템(24)에 프라이빗 액세스(24)를 클라이언트(22')에 제공하는 것이 가능하다. 프라이빗 액세스를 달성하면, 클라이언트(22')는 트래픽 생성 서브시스템(24)으로 향하는 트래픽(TXNW){예를 들어, 무슨 수단에 의한 것이든 미리 기록된 트래픽 거래, 복제된 트래픽 및/또는 클라이언트(22)에 의해 획득된 트래픽}을 송신한다. 이 트래픽은 데이터베이스(26)에 저장된 비즈니스 변환에 따라 스테이징 시스템 요금 쇼핑 서버(18)에 공급되는 트래픽 TXNX으로 변환된다. 이 경우, 비즈니스 변환은 항공사 클라이언트(22')에 의해 출시(launched)되는 새로운 서비스와 관련된 거래 메시지를 구현하도록 선택된다. 요금 쇼핑 서버(18)의 출력은 이후 TXNX 트래픽으로서 항공사 클라이언트(22')로 반환되어, 요금 시스템(10)과 함께 새로운 서비스의 실제 출시 전에 클라이언트(22')가 그 웹 인프라를 테스트할 수 있게 한다. 즉, 트래픽 생성 서브시스템(24)은 관련 거래를 생성하고 이를 처리를 위해 스테이징 시스템 요금 쇼핑 서버(18)로 전달한다. 요금 쇼핑 서버(18)로부터 응답은 클라이언트(22')로 전달되고 이 클라이언트(22')는 데이터를 처리하고 자체 동작 검증을 수행할 수 있다.
도 2, 도 4, 및 도 6에 도시된 여러 블록은 비즈니스 변환 데이터베이스(26)에 저장된 지식 모델(변환 규칙, 실행 규칙)과 협력하여 트래픽 생성 서브시스템(24)의 일부를 형성하는 하나 이상의 데이터 프로세서에 의해 컴퓨터 프로그램 명령어의 실행에 대한 응답으로 수행되는 동작을 나타낼 수 있는 것임이 주목된다. 이들 컴퓨터 프로그램 명령어는 트래픽 생성 서브시스템(24)의 일부를 형성하는 고정된 또는 이동식 디스크 및/또는 고정된 또는 이동식 반도체 메모리 또는 메모리들과 같은 일부 적절한 컴퓨터 판독 가능한 매체에 또는 상에 저장되는 것으로 고려된다. 대안적으로, 도 2, 도 4, 및 도 6에 도시된 여러 블록은 비즈니스 변환 데이터베이스(26)에 저장된 지식 모델(변환 규칙, 실행 규칙)과 협력하여 지정된 기능을 수행하도록 구성된 상호연결된 하드웨어 요소로 볼 수 있다. 대안적으로, 도 2, 도 4, 및 도 6에 도시된 여러 블록은 컴퓨터 프로그램 명령어 및 상호연결된 하드웨어 요소의 조합인 것으로 볼 수 있다.
또한, 생산 시설(16), 스테이징 시설(16), 및 요금 쇼핑 서버(14, 18) 각각은 각각 컴퓨터 프로그램 코드를 실행하는 하나 또는 공동 위치된 또는 분배된 데이터 처리 플랫폼을 사용하여 구현될 수 있다. 일부 실시예에서, 이 기능들 모두는 단일 데이터 처리 플랫폼에서 구현될 수 있다.
전술한 설명은 본 발명의 예시적인 실시예의 충분하고 유익한 설명을 예시적이고 비 제한적인 예로써 제공한다. 그러나, 여러 변형과 변경은 첨부된 도면과 청구범위와 함께 상기 상세한 설명을 판독하면 이 기술 분야에서 통상의 지식을 가진 자에게는 명백하게 될 것이다. 단 하나의 예로써, 다른 유사하거나 균등한 요금 시스템 아키텍처의 사용은 이 기술 분야에서 통상의 지식을 가진 자에 의해 시도될 수 있다. 그러나, 본 발명의 개시 내용의 모든 이러한 및 유사한 변형은 본 발명의 실시예의 범위 내에 여전히 있는 것이다.
또한, 설명된 시스템 성분(예를 들어, 생산 시설, 스테이징 시설, 요금 쇼핑 서버(들), 트래픽 생성 서브시스템, 등)에 사용되는 여러 이름은 이러한 여러 시스템 성분이 임의의 적절한 이름으로 식별될 수 있으므로 임의의 측면에서 본 발명을 제한하는 것으로 의도된 것이 전혀 아니다. 예를 들어, 트래픽 생성 서브시스템(24)은 2개의 비 제한 예로써 트래픽 에뮬레이션 유닛 또는 새도우 트래픽 변환 시스템으로 일반성을 손실함이 없이 언급될 수 있다.
또한, 예시적인 실시예의 사용은 항공사 예약과 관련된 목적으로만 국한되는 것은 아니고, 다른 유형의 예약(예를 들어, 열차, 버스, 자동차, 호텔, 등)을 하는데에도 사용될 수 있는 것이 이해될 수 있을 것이다.
또한, 본 발명의 여러 비 제한적인 및 예시적인 실시예의 특징 중 일부는 다른 특징의 대응하는 사용 없이 잇점으로 사용될 수 있다. 그리하여, 전술된 상세한 설명은 본 발명의 원리, 개시 내용 및 예시적인 실시예를 단순히 예시하는 것일 뿐, 본 발명을 제한하는 것으로 해석되어서는 아니된다.
Claims (20)
- 요금(faring) 시스템에 의해 수행되는 방법에 있어서,
상기 요금 시스템은 제1 요금 쇼핑 서버를 포함하는 생산 시설과, 제2 요금 쇼핑 서버 및 트래픽 생성 서브시스템을 포함하는 스테이징(staging) 시설과, 고객과의 양방향 통신을 수행하기 위한 진입 점(entry point)을 포함하고,
상기 방법은,
상기 진입 점에서 상기 고객으로부터의 요청 - 상기 요청은 값을 각각 갖는 복수의 필드들을 포함함 - 을 수신하는 단계;
상기 요청의 수신에 응답해서, 상기 진입 점에 의해, 처리하기 위해 상기 제1 요금 쇼핑 서버에 상기 요청의 제1 복사본을, 그리고 상기 트래픽 생성 서브시스템에 상기 요청의 제2 복사본을 송신하는 단계;
상기 트래픽 생성 서브시스템에 의해, 상기 요청의 제2 복사본이, 입력 필터를 사용하는 상기 요금 시스템의 신규 또는 수정된 기능을 평가하기 위해 사용될 수 있는지 여부를 결정하는 단계;
상기 요청의 제2 복사본이 상기 신규 또는 수정된 기능을 평가하기 위해 사용될 수 있다는 결정에 응답해서, 상기 트래픽 생성 서브시스템에 의해 규칙 데이터베이스로부터 변환 규칙을 검색하는 단계로서, 상기 변환 규칙은, 데이터 매핑 규칙과 평가 규칙을 포함하는, 상기 요청을 변환하기 위한 규칙들의 집합을 지정하는 것인, 상기 검색 단계;
상기 트래픽 생성 서브시스템에 의해, 상기 데이터 매핑 규칙에 기초해서 상기 요청의 제2 복사본의 하나의 필드의 적어도 하나의 값을 상기 수정된 요청 내의 대응 필드에 복사하고, 상기 평가 규칙에 의해 정의된 필드들의 리스트로부터의 각 필드를 상기 수정된 요청 내로 삽입하고, 상기 필드들의 리스트로부터의 각 필드에 대해, 상기 필드를 위한 평가 규칙에 의해 정의된 값들의 리스트로부터 상기 필드 내에 생성될 하나의 값을 선택함으로써, 수정된 요청을 생성하도록 상기 규칙들의 집합에 따라 상기 요청의 제2 복사본을 수정하는 단계; 및
상기 트래픽 생성 서브시스템에 의해, 처리하기 위해 상기 수정된 요청을 상기 제2 요금 쇼핑 서버에 송신하는 단계
를 포함하는, 요금 시스템에 의해 수행되는 방법. - 제1항에 있어서, 상기 규칙들의 집합은 분배 규칙 또는 관계 규칙을 더 포함하는 것인, 요금 시스템에 의해 수행되는 방법.
- 제2항에 있어서, 상기 분배 규칙은, 상기 평가 규칙으로부터의 특정 값이 상기 수정된 요청을 생성할 때 사용되는 빈도를 지정하는 것인, 요금 시스템에 의해 수행되는 방법.
- 제3항에 있어서, 상기 분배 규칙을 포함하는 상기 규칙들의 집합에 응답해서, 상기 특정 값이 상기 수정된 요청을 생성할 때 사용되는 빈도를 조정하는 단계를 더 포함하는, 요금 시스템에 의해 수행되는 방법.
- 제2항에 있어서, 상기 관계 규칙은, 상기 수정된 요청 내의 필드의 하나의 값이 상기 수정된 요청 내의 적어도 하나의 다른 필드의 값에 대해 갖는 효과를 지정하는 것인, 요금 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 규칙 데이터베이스로부터 적어도 하나의 실행 규칙을 검색하는 단계를 더 포함하고, 상기 적어도 하나의 실행 규칙은 상기 규칙 데이터베이스에 저장된 실행 규칙들의 집합으로부터 선택되는 것인, 요금 시스템에 의해 수행되는 방법.
- 제6항에 있어서, 상기 실행 규칙들의 집합은 루핑(looping) 규칙 또는 조절(regulation) 규칙을 포함하는 것인, 요금 시스템에 의해 수행되는 방법.
- 제7항에 있어서, 상기 루핑 규칙은 상기 요청의 제2 복사본으로부터 생성될 수정된 요청들의 개수를 지정하는 것인, 요금 시스템에 의해 수행되는 방법.
- 제7항에 있어서, 상기 조절 규칙은 상기 제2 요금 쇼핑 서버에 송신될 단위 시간 당 수정된 요청들의 최대 개수를 지정하는 것인, 요금 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 제1 요금 쇼핑 서버에 상기 요청의 제1 복사본을 송신하는 단계, 상기 요청의 제2 복사본을 수정하는 단계, 및 상기 수정된 요청을 상기 제2 요금 쇼핑 서버에 송신하는 단계는 컴퓨터 소프트웨어 명령어들을 실행하는 적어도 하나의 데이터 프로세서에 의해 수행되는 것인, 요금 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 수신된 요청은 항공 여행 관련 정보 요청을 포함하는 것인, 요금 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 입력 필터는 하나 이상의 제약들을 포함하고, 상기 요청의 제2 복사본이 상기 요금 시스템의 신규 또는 수정된 기능을 평가하기 위해 사용될 수 있는지 여부를 결정하는 단계는, 상기 요청의 제2 복사본의 각 필드의 값에 기초해서 상기 하나 이상의 제약들이 동시에 강제(enforce)될 수 있는지 여부를 결정하는 단계를 포함하는 것인, 요금 시스템에 의해 수행되는 방법.
- 제1항에 있어서, 상기 변환 규칙은 또한, 수정될 요청의 유형과, 상기 수정된 요청을 위한 하나 이상의 실행 규칙들에 대한 참조를 지정하는 것인, 요금 시스템에 의해 수행되는 방법.
- 요금(faring) 시스템에 있어서,
제1 요금 쇼핑 서버를 포함하는 생산 시설;
제2 요금 쇼핑 서버, 트래픽 생성 서브시스템, 및 규칙 데이터베이스를 포함하는 스테이징 시설; 및
고객과의 양방향 통신을 수행하기 위해 상기 스테이징 시설과 상기 생산 시설에 연결된 진입 점
을 포함하고,
상기 진입 점은,
값을 각각 갖는 복수의 필드들을 포함하는 요청을 상기 고객으로부터 수신하도록,
상기 요청의 수신에 응답해서, 처리하기 위해 상기 제1 요금 쇼핑 서버에 상기 요청의 제1 복사본을 송신하도록,
상기 트래픽 생성 서브시스템에 상기 요청의 제2 복사본을 송신하도록
구성되고,
상기 트래픽 생성 서브시스템은,
상기 요청의 제2 복사본이, 입력 필터를 사용하는 상기 요금 시스템의 신규 또는 수정된 기능을 평가하기 위해 사용될 수 있는지 여부를 결정하도록;
상기 요청의 제2 복사본이 상기 신규 또는 수정된 기능을 평가하기 위해 사용될 수 있다는 결정에 응답해서, 상기 규칙 데이터베이스로부터 변환 규칙 - 상기 변환 규칙은, 데이터 매핑 규칙과 평가 규칙을 포함하는, 상기 요청을 변환하기 위한 규칙들의 집합을 지정함 - 을 검색하도록;
수정된 거래 요청을 생성하도록,
상기 데이터 매핑 규칙에 기초해서 상기 요청의 제2 복사본의 하나의 필드의 적어도 하나의 값을 상기 수정된 요청 내의 대응 필드에 복사하고,
상기 평가 규칙에 의해 정의된 필드들의 리스트로부터의 각 필드를 상기 수정된 요청 내로 삽입하고,
상기 필드들의 리스트로부터의 각 필드에 대해, 상기 필드를 위한 상기 평가 규칙에 의해 정의된 값들의 리스트로부터 상기 필드 내에 생성될 하나의 값을 선택함으로써,
상기 규칙 데이터베이스로부터 검색된 규칙들의 집합에 따라 상기 요청의 제2 복사본을 수정하도록; 그리고
처리하기 위해 상기 수정된 요청을 상기 제2 요금 쇼핑 서버에 송신하도록
구성된 것인, 요금 시스템. - 제14항에 있어서, 상기 규칙들의 집합은 분배 규칙 또는 관계 규칙을 더 포함하는 것인, 요금 시스템.
- 제15항에 있어서,
상기 분배 규칙은, 상기 평가 규칙으로부터의 특정 값이 상기 수정된 요청을 생성할 때 사용되는 빈도를 지정하고,
상기 관계 규칙은, 상기 수정된 요청 내의 필드의 하나의 값이 적어도 하나의 다른 필드의 값에 대해 갖는 효과를 지정하는 것인, 요금 시스템. - 제14항에 있어서, 상기 트래픽 생성 서브시스템은 또한, 상기 규칙 데이터베이스로부터 적어도 하나의 실행 규칙을 검색하도록 구성되고, 상기 적어도 하나의 실행 규칙은 상기 규칙 데이터베이스에 저장된 실행 규칙들의 집합으로부터 선택되는 것인, 요금 시스템.
- 제17항에 있어서, 상기 실행 규칙들의 집합은 루핑 규칙 또는 조절 규칙을 포함하는 것인, 요금 시스템.
- 제18항에 있어서, 상기 루핑 규칙은 하나의 수신된 요청으로부터 생성될 수정된 요청들의 개수를 지정하고, 상기 조절 규칙은 상기 제2 요금 쇼핑 서버에 송신될 단위 시간 당 수정된 요청들의 최대 개수를 지정하는 것인, 요금 시스템.
- 제14항에 있어서, 상기 고객으로부터 수신된 요청은 항공 여행 관련 정보 요청을 포함하는 것인, 요금 시스템.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP10305855.8 | 2010-08-02 | ||
EP10305855A EP2416284A1 (en) | 2010-08-02 | 2010-08-02 | Automatic traffic generation for a faring system |
US12/924,058 US9129051B2 (en) | 2010-08-02 | 2010-09-20 | Automatic traffic generation for a faring system |
US12/924,058 | 2010-09-20 | ||
PCT/EP2011/061459 WO2012016782A1 (en) | 2010-08-02 | 2011-07-07 | Automatic traffic generation for a faring system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130138190A KR20130138190A (ko) | 2013-12-18 |
KR101639108B1 true KR101639108B1 (ko) | 2016-07-12 |
Family
ID=42830272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020137005607A KR101639108B1 (ko) | 2010-08-02 | 2011-07-07 | 요금 시스템을 위한 자동 트래픽 생성부 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9129051B2 (ko) |
EP (1) | EP2416284A1 (ko) |
JP (2) | JP6005044B2 (ko) |
KR (1) | KR101639108B1 (ko) |
CN (1) | CN103119617B (ko) |
AU (1) | AU2011287868B2 (ko) |
BR (1) | BR112013002278A2 (ko) |
CA (1) | CA2807181C (ko) |
SG (1) | SG187645A1 (ko) |
WO (1) | WO2012016782A1 (ko) |
ZA (1) | ZA201300887B (ko) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10581756B2 (en) * | 2014-09-09 | 2020-03-03 | Microsoft Technology Licensing, Llc | Nonintrusive dynamically-scalable network load generation |
US20180077227A1 (en) * | 2016-08-24 | 2018-03-15 | Oleg Yeshaya RYABOY | High Volume Traffic Handling for Ordering High Demand Products |
JP6647725B2 (ja) * | 2017-01-31 | 2020-02-14 | 日本電信電話株式会社 | トラフィック生成装置及びトラフィック生成方法 |
EP3379429A1 (en) * | 2017-03-22 | 2018-09-26 | Siemens Aktiengesellschaft | A method for retrieving a recommendation from a knowledge database of a ticketing system |
CN108090784B (zh) * | 2017-11-28 | 2021-04-30 | 口碑(上海)信息技术有限公司 | 营销活动仿真验证方法及装置 |
US10901874B2 (en) * | 2018-05-18 | 2021-01-26 | Sony Interactive Entertainment LLC | Shadow testing |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2399196A (en) | 2003-02-28 | 2004-09-08 | Sun Microsystems Inc | Automating and recording Web applications |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6219803B1 (en) * | 1997-07-01 | 2001-04-17 | Progress Software Corporation | Testing and debugging tool for network applications |
US20020143587A1 (en) * | 2001-04-02 | 2002-10-03 | Microsoft Corporation | Optimized system and method for finding best fares |
JP4461777B2 (ja) * | 2003-11-14 | 2010-05-12 | 日本電気株式会社 | トランザクション処理システムおよび方法ならびにプログラム |
DE102004017309A1 (de) * | 2004-04-06 | 2005-11-10 | Francotyp-Postalia Ag & Co. Kg | Verfahren und Anordnung zur Durchführung von Transaktionen |
GB2417865A (en) * | 2004-09-03 | 2006-03-08 | Marconi Comm Ltd | Monitoring and modifying communications between end nodes at an intermediate node |
US8255281B2 (en) * | 2006-06-07 | 2012-08-28 | T-Mobile Usa, Inc. | Service management system that enables subscriber-driven changes to service plans |
KR20080001424A (ko) * | 2006-06-29 | 2008-01-03 | 주식회사 케이티 | 인터넷 무단 결제 방지 시스템 및 그 방법 |
US8126783B2 (en) * | 2006-10-06 | 2012-02-28 | Sabre Inc. | Rule-based shopping |
JP4860422B2 (ja) * | 2006-10-13 | 2012-01-25 | 新日本製鐵株式会社 | テスト支援装置、テスト支援方法、コンピュータプログラム及び記憶媒体 |
KR20080081597A (ko) * | 2007-03-06 | 2008-09-10 | 주식회사 케이티 | 웹투피 서비스 제공 시스템, 게이트웨이, 서버 및 방법 |
EP2079044A1 (en) * | 2008-01-14 | 2009-07-15 | Amadeus S.A.S. | Multi-travel aggregator |
WO2009105459A2 (en) | 2008-02-18 | 2009-08-27 | Ita Software, Inc. | Methods and systems to test airline information systems |
EP2172885A1 (en) * | 2008-09-30 | 2010-04-07 | Amadeus S.A.S. | Method and system for simulating and optimizing revenue from service fees in or relating to online service processes |
-
2010
- 2010-08-02 EP EP10305855A patent/EP2416284A1/en not_active Ceased
- 2010-09-20 US US12/924,058 patent/US9129051B2/en active Active
-
2011
- 2011-07-07 AU AU2011287868A patent/AU2011287868B2/en active Active
- 2011-07-07 JP JP2013522172A patent/JP6005044B2/ja active Active
- 2011-07-07 BR BR112013002278A patent/BR112013002278A2/pt not_active IP Right Cessation
- 2011-07-07 WO PCT/EP2011/061459 patent/WO2012016782A1/en active Application Filing
- 2011-07-07 SG SG2013007307A patent/SG187645A1/en unknown
- 2011-07-07 CN CN201180044925.0A patent/CN103119617B/zh active Active
- 2011-07-07 CA CA2807181A patent/CA2807181C/en active Active
- 2011-07-07 KR KR1020137005607A patent/KR101639108B1/ko active IP Right Grant
-
2013
- 2013-02-01 ZA ZA2013/00887A patent/ZA201300887B/en unknown
-
2016
- 2016-06-08 JP JP2016114449A patent/JP6200039B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2399196A (en) | 2003-02-28 | 2004-09-08 | Sun Microsystems Inc | Automating and recording Web applications |
Also Published As
Publication number | Publication date |
---|---|
JP2013534337A (ja) | 2013-09-02 |
AU2011287868B2 (en) | 2016-08-11 |
EP2416284A1 (en) | 2012-02-08 |
SG187645A1 (en) | 2013-03-28 |
JP6005044B2 (ja) | 2016-10-12 |
AU2011287868A1 (en) | 2013-02-14 |
BR112013002278A2 (pt) | 2016-05-24 |
CA2807181A1 (en) | 2012-02-09 |
US20120030057A1 (en) | 2012-02-02 |
CA2807181C (en) | 2018-03-27 |
JP6200039B2 (ja) | 2017-09-20 |
KR20130138190A (ko) | 2013-12-18 |
WO2012016782A1 (en) | 2012-02-09 |
ZA201300887B (en) | 2014-04-30 |
US9129051B2 (en) | 2015-09-08 |
CN103119617B (zh) | 2016-08-03 |
JP2016192219A (ja) | 2016-11-10 |
CN103119617A (zh) | 2013-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101639108B1 (ko) | 요금 시스템을 위한 자동 트래픽 생성부 | |
Kortum et al. | Free-floating carsharing: City-specific growth rates and success factors | |
Anvari et al. | Automated Box–Jenkins forecasting tool with an application for passenger demand in urban rail systems | |
US20160189066A1 (en) | Method and system for automatic evaluation of robustness and disruption management for commercial airline flight operations | |
CN105827706A (zh) | 消息推送装置及方法 | |
Cats et al. | Modelling public transport on‐board congestion: comparing schedule‐based and agent‐based assignment approaches and their implications | |
CN103136417A (zh) | 用于建模分析的基于互联网的托管系统和计算机可读介质 | |
CN116049019B (zh) | 一种基于测试芯片对软件进行测试的方法及系统 | |
RU2532714C2 (ru) | Способ получения данных при оценке ресурсов сети и устройство для осуществления способа | |
CN114138463B (zh) | 基于深度神经网络的现货系统应用层负载均衡预测方法 | |
CN110728389A (zh) | 一种跨预定系统的机票订单处理方法、装置及系统 | |
CN116974893A (zh) | 测试方法、装置、设备及存储介质 | |
Pfitzinger et al. | Analysis and evaluation of the German toll system using a holistic executable specification | |
CN111210312B (zh) | 一种应用于中介选取的分布式在线实时竞价装置及方法 | |
Nguyen et al. | Application of fuzzy theory for identifying the required availability of an autonomous localization unit in European Train Control System | |
JPWO2004061652A1 (ja) | 統合サービス提供サーバ | |
CN110322028A (zh) | 资源管理方法、装置及电子设备 | |
Abdul Ghani et al. | Analysis of MCLP, Q‐MALP, and MQ‐MALP with Travel Time Uncertainty Using Monte Carlo Simulation | |
Botea | Hedging the risk of delays in multimodal journey planning | |
US20220196413A1 (en) | Systems and methods for simulating transportation order bubbling behavior | |
Brummond et al. | Model Systems Engineering Documents for Central Traffic Signal Systems | |
Nian | Energy economy modeling of the electricity sector | |
JP2003044276A (ja) | ソフトウェア開発管理装置、ソフトウェア開発管理方法、ソフトウェア開発管理方法をコンピュータに実行させるためのプログラム及びソフトウェア開発管理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 | |
Pancham et al. | A validated model for operational monitoring of telecentres’ activities in a developing country | |
Ankkuri | Pienten asiantuntijayritysten ilmastovaikutukset: tapaustutkimus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |