KR20200018653A - Api 호출들의 프로세싱을 용이하게 하기 위한 가속 시스템 - Google Patents

Api 호출들의 프로세싱을 용이하게 하기 위한 가속 시스템 Download PDF

Info

Publication number
KR20200018653A
KR20200018653A KR1020207001352A KR20207001352A KR20200018653A KR 20200018653 A KR20200018653 A KR 20200018653A KR 1020207001352 A KR1020207001352 A KR 1020207001352A KR 20207001352 A KR20207001352 A KR 20207001352A KR 20200018653 A KR20200018653 A KR 20200018653A
Authority
KR
South Korea
Prior art keywords
api
client device
acceleration system
acceleration
client
Prior art date
Application number
KR1020207001352A
Other languages
English (en)
Other versions
KR102266759B1 (ko
Inventor
올리비어 진 포이트레이
Original Assignee
넷플릭스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넷플릭스, 인크. filed Critical 넷플릭스, 인크.
Publication of KR20200018653A publication Critical patent/KR20200018653A/ko
Application granted granted Critical
Publication of KR102266759B1 publication Critical patent/KR102266759B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17312—Routing techniques specific to parallel machines, e.g. wormhole, store and forward, shortest path problem congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline, look ahead using a plurality of independent parallel functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • H04L67/2809—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/549—Remote execution

Abstract

일 실시예는 API 호출 라운드 트립 레이턴시들을 감소시키기 위해 API 프로세싱 시스템과 클라이언트들 사이의 중재자들로서 동작하는 가속 시스템들을 포함한다. 가속 시스템들은 전세계에 걸쳐 분산되어 있는 상호접속된 시스템들의 네트워크이다. 주어진 가속 시스템은 주어진 클라이언트와 네트워크 접속을 확립하고 이 접속을 통해 API 호출을 프로세싱하기 위한 요청을 수신한다. API 호출과 연관된 프로그래밍 기능은 API 프로세싱 시스템에 구성되어 있다. 가속 시스템은 API 프로세싱 시스템과의 확립된 접속을 통해 API 호출의 프로세싱을 용이하게 한다.

Description

API 호출들의 프로세싱을 용이하게 하기 위한 가속 시스템
관련 출원들에 대한 상호 참조
본 출원은 2017년 6월 20일자로 출원된 미국 특허 출원 제15/628,509호의 이익을 주장하며, 이 미국 특허 출원은 이로써 참고로 본 명세서에 포함된다.
발명의 분야
본 발명은 일반적으로 클라우드 기반 컴퓨팅에 관한 것으로, 보다 구체적으로는 응용 프로그래밍 인터페이스(application programming interface)(API) 호출들의 프로세싱을 용이하게 하기 위한 가속 시스템에 관한 것이다.
많은 인터넷 기반 서비스들이 클라우드 기반 시스템들 상에서 호스팅된다. 클라우드 기반 시스템들은 전형적으로 지리적으로 분산된 서버들을 포함하며, 따라서 클라우드 기반 시스템 상에서 호스팅되는 서비스의 클라이언트는 클라우드 기반 시스템의 가장 가까운 서버로 라우팅된다. 일부 경우들에서, 클라우드 기반 시스템에서의 가장 가까운 서버조차도 클라이언트로부터 상당한 거리에 있다.
일반적으로, 클라이언트가 자신이 라우팅되는 서버로부터 멀수록, 서버와 클라이언트 사이의 통신 라운드 트립들(communication round-trips)이 느리고 통신 레이턴시가 높다. 게다가, 서버와의 통신 접속을 확립하기 위해, 클라이언트는, TCP(transfer control protocol) 핸드셰이크(handshake)와 같은, 몇 개의 통신 핸드셰이크를 수행해야 한다. 게다가, 클라이언트는 보안 통신 세션을 확립하기 위해 서버와의 TLS(transport layer security) 핸드셰이크에 참여한다. TLS 핸드셰이크는 전형적으로 클라이언트와 서버 사이에서의 두 번의 라운드 트립을 소요한다.
클라이언트가 자신이 라우팅되는 서버로부터 멀수록, 이러한 핸드셰이크들을 수행하고, 따라서 클라이언트와 서버 사이의 접속을 확립하는 데 걸리는 시간이 더 길다. 따라서, 클라이언트가 서버로부터 상당한 거리에 있는 경우들에서, 클라우드 기반 시스템을 통해 인터넷 기반 서비스의 기능에 액세스하는 것은 매우 느리며 바람직하지 않은 사용자 경험을 가져올 수 있다.
본 발명의 일 실시예는 클라이언트 디바이스를 적합한 API 에지 게이트웨이로 스티어링(steering)하기 위한 방법을 포함하는 방법을 제시한다. 이 방법은 응용 프로그래밍 인터페이스(API) 호출과 연관된 스티어링 요청을, 클라이언트 디바이스로부터, 수신하는 단계를 포함한다. 이 방법은, 스티어링 요청을 수신하는 것에 응답하여, 접근성 선택 기준(reachability selection criteria)에 기초하여, API 호출이 프로세싱될 수 있게 해주면서 클라이언트 디바이스와 API 프로세싱 시스템 사이의 중재자로서 동작하는 가속 시스템을 선택하는 단계, 및 클라이언트 디바이스를 가속 시스템으로 라우팅하는 단계를 또한 포함한다.
개시된 방법의 하나의 장점은 가속 시스템이 클라이언트 디바이스와 API 프로세싱 시스템 사이의 중재자로서 동작할 때 API 호출을 프로세싱하기 위한 라운드 트립 시간이 감소된다는 것이다. 특히, 클라이언트 디바이스와 가속 시스템 사이의 통신 접속을 확립하는 데 필요한 임의의 라운드 트립 시간들이 클라이언트 디바이스와 API 프로세싱 시스템 사이의 접속이 확립될 필요가 있는 경우에 비해 더 짧다.
도 1은 본 발명의 하나 이상의 양태를 구현하도록 구성된 시스템 환경을 예시한다.
도 2는 본 발명의 일 실시예에 따른, 도 1의 컴포넌트들 간의 상호작용들을 예시하는 상호작용 다이어그램이다.
도 3은 본 발명의 하나 이상의 양태를 구현하도록 구성된 스티어링 시스템 환경을 예시한다.
도 4는 본 발명의 일 실시예에 따른, 고유 식별자를 사용하는 도 3의 컴포넌트들 간의 상호작용들을 예시하는 상호작용 다이어그램이다.
도 5는 본 발명의 다른 실시예에 따른, 클라이언트를 API 액세스 엔드포인트로 스티어링하기 위한 방법 단계들의 흐름 다이어그램이다.
이하의 설명에서, 본 발명의 보다 철저한 이해를 제공하기 위해 수많은 특정 세부사항들이 제시된다. 그렇지만, 본 발명이 이 구체적인 상세들 중 하나 이상 없이 실시될 수 있다는 것이 본 기술분야의 통상의 기술자에게는 명백할 것이다. 다른 경우들에서, 본 발명을 불명료하게 하는 것을 피하기 위해 잘 알려진 특징들은 설명되지 않았다.
도 1은 본 발명의 하나 이상의 양태를 구현하도록 구성된 시스템 환경(100)을 예시한다. 도시된 바와 같이, 시스템 환경(100)은 API 프로세싱 시스템(102), 클라이언트들(104(0) 내지 104(N))(집합적으로 "클라이언트들(104)"이라고 지칭되고 개별적으로 "클라이언트(104)"라고 지칭됨), 가속 시스템들(106(0) 내지 106(N))(집합적으로 "가속 시스템들(106)"이라고 지칭되고 개별적으로 "가속 시스템(106)"이라고 지칭됨)을 포함한다.
API 프로세싱 시스템(102), 가속 시스템들(104), 및 클라이언트들(102)은 통신 네트워크(도시되지 않음)를 통해 통신한다. 통신 네트워크는 데이터 통신을 용이하게 하도록 구성된, 라우터들 및 스위치들과 같은, 복수의 네트워크 통신 시스템들을 포함한다. 본 기술분야의 통상의 기술자는 잘 알려진 인터넷 통신 네트워크를 설치하는 데 실시되는 기술들을 포함한, 통신 네트워크를 구축하기 위한 많은 기술적으로 실현가능한 기술들이 존재한다는 것을 인식할 것이다.
API 프로세싱 시스템(102)은 전세계에 걸쳐 분산되어 있고 시스템 환경(100)과 연관된 데이터를 수신, 전송, 프로세싱, 및/또는 저장하는 상호접속된 노드들의 네트워크를 포함한다. 상호접속된 노드들은 이러한 원하는 기능들을 수행하기 위해 소프트웨어, 펌웨어, 및 하드웨어의 임의의 적합한 조합을 포함할 수 있다. 특히, API 프로세싱 시스템(102)은 서로 공동 배치되거나(co-located) 물리적으로 분산될 수 있는 다수의 컴퓨팅 디바이스들을 포함한다. 예를 들어, 이러한 컴퓨팅 디바이스들은 하나 이상의 범용 PC, 매킨토시, 워크스테이션, Linux 기반 컴퓨터, 서버 컴퓨터, 하나 이상의 서버 풀, 또는 임의의 다른 적합한 디바이스들을 포함할 수 있다. 컴퓨팅 디바이스들은 대응하는 응용 프로그래밍 인터페이스(API)들을 통해 원격으로 액세스가능한 하나 이상의 프로그램을 저장 및 실행한다. 일부 실시예들에서, API 프로세싱 시스템(102)은 컴퓨팅 자원들을 외부 엔티티들에 유료로 제공한다. 그러한 엔티티는 API 프로세싱 시스템(102)의 부분들을 구성하고, 그 엔티티들의 클라이언트들은 엔티티와 연관된 동작들을 수행하기 위해 API 프로세싱 시스템(102)의 구성된 부분들에 액세스한다.
클라이언트들(104)은 하나 이상의 물리적 위치에 있는 하나 이상의 컴퓨터 시스템을 포함한다. 각각의 컴퓨터 시스템은 임의의 적절한 입력 디바이스들(예컨대, 키패드, 터치 스크린, 마우스, 또는 정보를 수용할 수 있는 다른 디바이스), 출력 디바이스들, 대용량 저장 매체들, 또는 데이터를 수신, 프로세싱, 저장, 및 통신하기 위한 다른 적합한 컴포넌트들을 포함할 수 있다. 입력 디바이스와 출력 디바이스 둘 다는 자기 컴퓨터 디스크, CD-ROM과 같은 고정식 또는 이동식 저장 매체들을 포함할 수 있다. 각각의 컴퓨터 시스템은 개인 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 키오스크, 무선 데이터 포트, 태블릿 컴퓨터, 이들 또는 다른 디바이스들 내의 하나 이상의 프로세서, 또는 임의의 다른 적합한 프로세싱 디바이스를 포함할 수 있다.
각각의 클라이언트(104)는 컴퓨터 시스템, 셋톱 박스, 모바일 폰과 같은 모바일 디바이스, 또는 네트워크 접속성을 갖는 임의의 다른 기술적으로 실현가능한 컴퓨팅 플랫폼을 포함할 수 있다. 일 실시예에서, 클라이언트(102)는, 제각기, 비디오 콘텐츠를 제시하고 음향 출력을 생성하기 위한 디스플레이 디바이스 및 스피커 디바이스에 커플링되거나 이들을 포함한다. 각각의 클라이언트(104)는 특정한 동작들을 위해 API 프로세싱 시스템(102)에 의존하는 컴퓨터 하드웨어 및/또는 컴퓨터 소프트웨어를 포함한다.
특히, 클라이언트(104)는 다양한 동작들을 수행하기 위해 통신 네트워크를 통해 API 프로세싱 시스템(102)과 통신하는 하나 이상의 클라우드 기반 애플리케이션을 실행한다. 일 실시예에서, 클라우드 기반 애플리케이션은 요청을 프로세싱하는 데 필요한 프로세싱 인프라스트럭처로 구성된 API 프로세싱 시스템(102)의 일 부분에게 요청들을 발행함으로써 동작한다. 요청을 수신하는 것에 응답하여, API 프로세싱 시스템(102)은 요청을 프로세싱하고 클라우드 기반 애플리케이션에게 다시 전송되는 출력 데이터를 생성한다. 클라이언트(104) 상에서 실행되는 클라우드 기반 애플리케이션과 원격 서버 사이의 이 라운드 트립은 API 호출 라운드 트립이라고 지칭된다. 일반적으로, 클라이언트(104)가 API 프로세싱 시스템(102)의 부분으로부터 멀수록, API 호출 라운드 트립의 레이턴시가 높다. 게다가, 요청을 프로세싱하는 API 프로세싱 시스템(102)의 부분 상에서 혼잡이 높을수록, API 호출 라운드 트립의 레이턴시가 높다.
가속 시스템들(106)은 API 호출 라운드 트립 레이턴시들을 감소시키기 위해 API 프로세싱 시스템(102)과 클라이언트들(104) 사이의 중재자로서 동작한다. 가속 시스템들(106)은 전세계에 걸쳐 분산되고 각각이 클라이언트들(104)과 API 프로세싱 시스템(102) 사이의 중재자로서 동작하는 상호접속된 시스템들의 네트워크를 포함한다. 주어진 가속 시스템(106)은 주어진 클라이언트(104)와 네트워크 접속을 확립하고 이 접속을 통해 API 호출을 프로세싱하기 위한 요청을 수신한다. API 호출과 연관된 프로그래밍 기능은 API 프로세싱 시스템(102)에 구성되어 있다. 가속 시스템(106)은 API 프로세싱 시스템(102)과의 접속을 통해 API 호출의 프로세싱을 용이하게 한다.
가속 시스템(106)이 API 프로세싱 시스템(102)과 클라이언트(104) 사이의 중재자로서 동작할 때, 적어도 두 가지 이유로 API 호출 라운드 트립 시간이 감소된다. 첫째로, 일부 실시예들에서, 가속 시스템(106)은 일반적으로 API 프로세싱 시스템(102)에 비해 클라이언트(104)에 물리적으로 더 가깝다. 따라서, 클라이언트(104)와 가속 시스템(106) 사이의 통신 접속을 확립하는 데 필요한 임의의 라운드 트립 시간들이 클라이언트(104)와 API 프로세싱 시스템(102) 사이의 접속이 확립될 필요가 있는 경우에 비해 더 짧다. 둘째로, 일부 실시예들에서, 가속 시스템(106)이 다수의 클라이언트들(104)로부터 유래하는 대량의 요청들을 갖는 것으로 인해, 가속 시스템(106)은 API 프로세싱 시스템(102)과 일관성 있고 확립된 접속을 갖는다. 따라서, 각각의 API 호출에 대해 API 프로세싱 시스템(102)과의 접속이 확립될 필요는 없다.
도 2는 본 발명의 일 실시예에 따른, 도 1의 컴포넌트들 간의 상호작용들을 예시하는 상호작용 다이어그램이다. 특히, 클라이언트(104) 및 가속 시스템(106)은 TCP(transmission control protocol) 핸드셰이크를 수행한다(202). TCP 핸드셰이크는 클라이언트(104)와 가속 시스템(106)이 서로 통신하기 위해 TCP 통신 세션을 협상하고 시작하는 메커니즘이다. 클라이언트(104) 및 가속 시스템(106)은 TLS(transport layer security) 핸드셰이크를 수행한다(204). TLS 핸드셰이크는 클라이언트(104)와 가속 시스템(106)이 보안 통신 세션을 확립하는 데 필요한 보안 키들을 교환하는 메커니즘이다.
보안 통신 세션이 확립되면, 클라이언트(104)는 주어진 API 호출을 프로세싱하는 것에 대한 HTTP(hypertext transfer protocol) 요청을 확립된 접속을 통해 전송한다(206). 가속 시스템(106)은 API 호출을 프로세싱하는 것에 대한 HTTP 요청을 API 프로세싱 시스템(102)으로 포워딩한다(208). 일 실시예에서, 가속 시스템(106)은 다수의 HTTP 요청들을 관리하며, 이 요청들은 차례로 API 프로세싱 시스템(102)으로 포워딩된다. 이 요청들의 전송 및/또는 순서화(ordering)를 관리하기 위해, 가속 시스템(106)은 HTTP/2를 사용하여 그 요청들을 다중화한다. API 프로세싱 시스템(102)은 API 호출을 프로세싱하고 프로세싱의 결과를 HTTP 응답에서 가속 시스템(106)에게 전송한다(210). 가속 시스템(106)는 HTTP 응답을 클라이언트(104)에게 포워딩한다(212).
TCP 핸드셰이크가 시작될 때와 HTTP 응답이 클라이언트(104)에 의해 수신될 때 사이의 지속기간이 API 호출 라운드 트립 시간이다. 일 실시예에서, 이 API 호출 라운드 트립 시간은 클라이언트(104)가 API 프로세싱 시스템(102)과 직접 통신하는 구현보다 낮다. 부분적으로 TCP 핸드셰이크 및 TLS 핸드셰이크를 수행할 때 클라이언트(104)와 가속 시스템(106) 사이의 통신의 낮은 레이턴시로 인해, API 호출 라운드 트립 시간이 보다 낮다.
도 3은 본 발명의 하나 이상의 양태를 구현하도록 구성된 스티어링 시스템 환경(300)을 예시한다. 시스템 환경(300)은 API 에지 게이트웨이들(302), 클라이언트(304), 측정 시스템(306), 및 클라이언트 스티어링 시스템(308)을 포함한다.
API 에지 게이트웨이들(302)은 주어진 API 호출을 프로세싱하기 위해 클라이언트(304)에 의해 액세스될 수 있는 상이한 시스템들을 포함한다. 예시된 실시예에서, API 에지 게이트웨이들(302)은 임베디드 가속 시스템들(320)(개별적으로 "가속 시스템(320)"이라고 지칭됨), 인터넷 교환(IX) 가속 시스템들(318)(개별적으로 "가속 시스템(322)"이라고 지칭됨), 및 도 1의 API 프로세싱 시스템(102)을 포함한다.
임베디드 가속 시스템들(320) 및 IX 가속 시스템들(322)은 가속 시스템(106)의 많은 지리적으로 분산된 인스턴스들을 포함하고 API 프로세싱 시스템(102)과 함께 API 호출들의 프로세싱을 용이하게 한다. 임베디드 가속 시스템들(320) 각각은 ISP와 연관된 네트워크 내에 임베딩된 가속 시스템(106)이다. 일 실시예에서, 가속 시스템(320)이 ISP 내부에 있기 때문에, 가속 시스템(320)은, ISP와 연관되고 그리고/또는 ISP에 가입한, 클라이언트들에 의해서만 액세스가능하다. IX 가속 시스템들(322) 각각은 인터넷 교환 지점 내에서 또는 인터넷 교환 지점과 관련하여 그리고 ISP와 독립적으로 동작하는 가속 시스템(106)이다. 인터넷 교환 지점은　ISP들 및 CDN들(content delivery networks)이　인터넷 트래픽을 교환하는 물리적 인프라스트럭처이다.
측정 시스템(306)은 상이한 클라이언트들 또는 클라이언트 그룹들과 상이한 API 에지 게이트웨이들(302) 사이의 레이턴시들을 측정하기 위해 클라이언트들, 예컨대, 클라이언트(304)와 API 에지 게이트웨이들(302) 사이의 상호작용들을 모니터링한다. 스티어링 시스템(308)은 측정 시스템에 의해 측정된 레이턴시들에 기초하여 API 호출들을 프로세싱하기 위해 클라이언트들, 예컨대, 클라이언트(304)를 API 에지 게이트웨이들(302) 중 하나(즉, 임베디드 가속 시스템들(320) 중 하나, IX 가속 시스템들(322) 중 하나, 또는 API 프로세싱 시스템(102))로 스티어링한다. 이러한 방식으로, 클라이언트로부터의 API 호출은, 과거의 레이턴시 측정들에 기초하여, 그 클라이언트에 대한 최저 레이턴시와 연관될 수 있는 API 에지 게이트웨이(302)에 의해 프로세싱된다.
이하의 논의는 측정 시스템(306)이 클라이언트(304)와 API 에지 게이트웨이들(302) 사이의 레이턴시들을 어떻게 측정하는지에 관한 세부사항들을 제공한다. 이 논의는 클라이언트 스티어링 시스템(308)이 클라이언트(304)를 적절한 API 에지 게이트웨이(302)로 스티어링하기 위해 측정된 레이턴시들을 어떻게 사용하는지에 관한 세부사항들을 또한 제공한다.
클라이언트(304)는 측정 시스템(306)이 클라이언트(304)와 API 에지 게이트웨이들(302) 사이의 상호작용들을 모니터링할 수 있게 해주는 프로브 모듈(310)을 포함한다. 프로브 모듈(310)은 모니터링될 상이한 API 에지 게이트웨이들(302)과 연관된 URL들(unique resource locators)의 리스트를 요청하기 위해 모니터링 API 엔드포인트에 질의한다. 리스트 내의 각각의 URL은 URL과 연관된 API 에지 게이트웨이(302)에 대응하는 주어진 이름을 갖는다. 모니터링 API 엔드포인트로부터의 응답은 URL들의 리스트는 물론 측정 프로세스를 제어하는 파라미터들의 세트를 포함한다. 이 파라미터들은 다른 측정 프로세스를 시작하기 위해 주어진 측정 프로세스를 완료한 후에 프로브 모듈(310)이 대기해야 하는 시간 길이를 지정하는 대기 파라미터를 포함한다. 이 파라미터들은, 측정 프로세스 동안, 각각의 제공된 URL에 대해 수행할 다수의 요청들을 지정하는 펄스 파라미터, 제공된 URL에 대한 각각의 요청 사이에 대기하는 시간 길이를 지정하는 펄스 간격 파라미터, 및 제공된 URL에 대한 요청이 완료될 때까지 대기하는 최대 시간 길이를 지정하는 펄스 타임아웃 파라미터를 또한 포함한다. 일 실시예에서, 프로브 모듈(310)에 반환되는 리스트에서 제공되는 URL은 만료와 연관된다.
측정 프로세스 동안, 프로브 모듈(310)은 모니터링 API 엔드포인트에 의해 제공되는 URL에 대한 각각의 요청과 연관된 측정 데이터의 세트를 수집한다. 측정 데이터는 요청의 총 지속기간, TCP 접속을 확립하는 데 걸리는 시간 길이, TLS 핸드셰이크를 수행하는 데 걸리는 시간 길이, URL과 연관된 호스트 이름을 분석(resolving)하기 위한 시간 길이, 첫 번째 바이트까지의 시간, 즉 요청의 시작과 요청에 응답하여 수신되는 첫 번째 바이트 사이의 시간, 요청에 대한 응답과 연관된 HTTP 상태 코드, 및 요청에 응답하여 수신되는 페이로드 크기를 포함하지만, 이들로 제한되지 않는다. 이 파라미터들에 부가하여, 프로브 모듈(310)은 URL과 연관된 API 엔드포인트와 클라이언트(304) 사이의 임의의 중재 시스템들을 수집한다. 이 중재 시스템들은 가속 시스템들(320 및 322) 또는 API 호스팅 서비스를 포함한다. 프로브 모듈(310)은 측정 프로세스 동안 발행되는 각각의 요청과 연관된 수집된 측정 데이터를 측정 시스템(306)에게 전송한다.
일 실시예에서, 클라이언트(304)는, 접속이 확립된 후에, 동일한 URL에 대한 후속 요청들이 이 접속을 재사용할 수 있도록 HTTP 킵 얼라이브(HTTP keep-alive)로 구성된다. 그러한 실시예에서, 후속 요청들에 대한 측정 파라미터들은 접속이 처음으로 확립되는 첫 번째 요청보다 길이가 더 짧을 수 있다. 일 실시예에서, 프로브 모듈(310)은 동일한 측정 프로세스 내의 상이한 요청들 사이에서 및/또는 2개의 측정 프로세스에 걸쳐 확립된 접속들을 리셋시킨다.
측정 시스템(306)은 매핑 엔진(312) 및 측정 스토어(314)를 포함한다. 측정 시스템(306)은, 클라이언트(304)를 포함한, 상이한 클라이언트들로부터 수신되는 측정 데이터를 추가 프로세싱을 위해 측정 스토어(314)에 저장한다. 매핑 엔진(312)은 클라이언트들의 세트와 API 에지 게이트웨이들(302) 중 하나(즉, 임베디드 가속 시스템들(320) 중 하나, IX 가속 시스템들(322) 중 하나, 또는 API 프로세싱 시스템(102)) 사이의 매핑을 생성한다. 주어진 API 에지 게이트웨이(302)는 레이턴시 기준 및 접근성 기준에 기초하여 클라이언트들의 세트에 의해 발행되는 API 호출들을 프로세싱하는 데 가장 적합하다.
레이턴시 기준과 관련하여, 매핑 엔진(312)은 측정 스토어(314)에 저장된 측정 데이터에 의해 캡처되는 API 호출 라운드 트립 시간들("레이턴시들"이라고도 지칭됨)을 고려한다. 일 실시예에서, 레이턴시는 측정 프로세스 동안 주어진 URL과 연관된 요청 또는 요청들의 세트를 완료하는 데 걸리는 총 시간을 표현한다. 표현된 시간은 URL과 연관된 API 에지 게이트웨이(302)와 클라이언트 사이의 접속이 개시되었을 때 시작되고 API 호출과 연관된 응답이 클라이언트에 의해 수신되었을 때 종료된다. 일 실시예에서, 주어진 클라이언트들의 세트에 대해, 매핑 엔진(312)은 측정 스토어(314)에 저장된 측정 데이터에 기초하여 API 에지 게이트웨이들(302)의 세트의 각각의 API 에지 게이트웨이를 스코어링한다. 주어진 API 에지 게이트웨이(302)의 스코어는 주어진 클라이언트 또는 주어진 클라이언트들의 세트에 의해 발행되는 API 호출들을 프로세싱하기 위한 중간 레이턴시(median latency)에 기초할 수 있다.
접근성 기준과 관련하여, 매핑 엔진(312)은 클라이언트들의 세트를 그 클라이언트들에 의해 액세스가능한 그 가속 시스템들(320 또는 322)에만 매핑한다. 위에서 논의된 바와 같이, 임베디드 가속 시스템(320)이 ISP 내부에 있기 때문에, 임베디드 가속 시스템(320)은, ISP와 연관되고 그리고/또는 ISP에 가입한, 클라이언트들에 의해서만 액세스가능하다. 따라서, 매핑 엔진(312)은, 클라이언트들의 세트가 그 임베디드 가속 시스템(320)이 임베딩되어 있는 ISP와 연관되고 그리고/또는 ISP에 가입할 때에만, 클라이언트들의 세트를 주어진 임베디드 가속 시스템(320)에 매핑한다. 이와 유사하게, IX 가속 시스템(322)이 인터넷 교환 지점 내부에 있기 때문에, IX 가속 시스템(322)은 그 인터넷 교환 지점에 액세스할 수 있는 클라이언트들에 의해서만 액세스가능하다. 따라서, 매핑 엔진(312)은, 클라이언트(304)가 그 IX 가속 시스템(322)을 포함하는 인터넷 교환 지점에 액세스할 수 있을 때에만, 클라이언트들의 세트를 주어진 IX 가속 시스템(322)에 매핑한다.
매핑 엔진(312)은 클라이언트들의 세트들과 그 클라이언트들의 세트들에 의해 발행되는 API 호출들을 프로세싱하는 데 가장 적합한 개별 API 에지 게이트웨이들(302) 사이의 결정된 매핑들에 기초하여 게이트웨이 맵을 생성한다. 매핑 엔진(312)은 클라이언트로부터의 스티어링 요청들에 응답하여 클라이언트 스티어링을 수행하기 위해 게이트웨이 맵을 클라이언트 스티어링 시스템(308)에게 전송한다. 게이트웨이 맵은 키-게이트웨이 페어링들(key-gateway pairings)을 저장하고, 여기서 키-게이트웨이 페어링에서의 키는 하나 이상의 클라이언트를 식별해주고, 키-게이트웨이 페어링에서의 게이트웨이는 그 클라이언트들의 세트에 의해 발행되는 API 호출들을 프로세싱하는 데 가장 적합한 API 에지 게이트웨이(302)를 식별해준다. 일 실시예에서, 키-게이트웨이 페어링에서의 키는 주어진 클라이언트와 연관된 IP 어드레스이다. 주어진 클라이언트와 연관된 IP 어드레스는 측정 스토어(314)에 저장된 측정 데이터에 기초하여 결정된다.
일부 경우들에서, 클라이언트 스티어링 시스템(308)에 의해 수신되는 스티어링 요청들은 클라이언트의 IP 어드레스를 포함하지 않고 그 대신에 클라이언트가 인터넷에 액세스하는 ISP와 연관된 리졸버(resolver)의 IP 어드레스를 포함한다. 그러한 경우들에서 클라이언트 스티어링 시스템(308)이 게이트웨이 맵을 사용할 수 있기 위해, 키-게이트웨이 페어링에서의 키는 리졸버와 연관된 ISP를 통해 인터넷에 액세스하는 클라이언트들의 그룹과 연관된 리졸버 IP여야 한다. 상이한 클라이언트들로부터 수신되는 측정 데이터가 리졸버 IP 어드레스가 아닌 클라이언트 IP 어드레스를 지정하기 때문에, 매핑 엔진(312)은 측정 데이터 및 그로부터 계산된 레이턴시들을 리졸버 IP 어드레스와 연관시키기 위해 상관 기술을 구현한다.
도 4는 본 발명의 일 실시예에 따른, 고유 식별자를 사용하는 도 3의 컴포넌트들 간의 상호작용들을 예시하는 상호작용 다이어그램이다. 특히, 클라이언트(304)는 클라이언트(304)와 연관된 호스트 이름 및 고유 식별자를 포함하는 분석 요청(resolution request)을 리졸버(400)에게 전송한다(402). 리졸버(400)는 클라이언트(304)가 인터넷에 액세스하는 ISP와 연관된다. 리졸버(400)는 호스트 이름을 분석하고, 결과적으로, 클라이언트(304)를 측정 시스템(306)으로 리디렉션한다(redirect)(404). 리디렉션(redirection) 프로세스에서, 측정 시스템(306)에 대한 요청은 리졸버의 IP 어드레스를 포함한다. 측정 시스템(306)은 리졸버 IP 어드레스와 고유 식별자 사이의 관계를 측정 스토어(314)에 로깅한다(406).
클라이언트(304)는 API 호출 요청을 API 에지 게이트웨이(302)에게 전송한다(412). API 호출 요청은 리졸버 IP 어드레스와 상이한 클라이언트(304)와 연관된 클라이언트 IP 어드레스 및 고유 식별자를 포함한다. API 에지 게이트웨이(302)는, 경우에 따라, API 호출을 프로세싱하거나 또는 API 호출의 프로세싱을 용이하게 하고, API 응답을 클라이언트(304)에게 전송한다(414). API 에지 게이트웨이(302)는 또한 API 호출의 프로세싱과 연관된 측정 데이터를 측정 스토어(314)에 로깅한다(416). 측정 데이터는 클라이언트 IP 어드레스 및 고유 ID를 지정한다.
위에서 논의된 바와 같이, 측정 엔진(312)은 수신된 측정 데이터를 프로세싱하여 API 호출을 프로세싱하는 것과 연관된 레이턴시를 계산한다. 게다가, 측정 엔진(312)은 리졸버 IP 어드레스와 연관되어 로깅된 고유 ID와 로깅된 측정 데이터에 의해 지정된 고유 ID를 매칭시키는 것에 의해 레이턴시가 리졸버 ID와 연관되어 있다고 결정한다. 이러한 방식으로, 측정 데이터가 클라이언트 IP 어드레스를 포함하지 않더라도, 클라이언트 IP 어드레스를 지정하는 측정 데이터에 기초하여 결정된 레이턴시가 리졸버 IP 어드레스와 연관될 수 있다.
도 3으로 돌아가서, 주어진 API 호출에 대해, 클라이언트 스티어링 시스템(308)은 API 호출의 프로세싱을 위해 클라이언트(304)를 API 에지 게이트웨이들(302) 중 하나(즉, 임베디드 가속 시스템들(320) 중 하나, IX 가속 시스템들(322) 중 하나, 또는 API 프로세싱 시스템(102))로 스티어링한다. 이 스티어링 기능을 수행하기 위해, 클라이언트 스티어링 시스템은 선택 엔진(316) 및 측정 시스템(306)으로부터 수신된 게이트웨이 맵(318)을 포함한다.
선택 엔진(316)은 API 호출들의 프로세싱을 위해 클라이언트(304)로부터 스티어링 요청들을 수신한다. 논의의 편의를 위해, 이하는 선택 엔진(316)이 클라이언트(304)로부터 수신되고 주어진 API 호출과 연관된 주어진 스티어링 요청을 어떻게 프로세싱하는지를 설명한다. 일 실시예에서, 스티어링 요청은 클라이언트 디바이스와 연관된 IP(Internet protocol) 어드레스를 포함한다. 대안의 실시예에서, 스티어링 요청은 클라이언트 디바이스가 인터넷에 액세스하는 ISP의 리졸버의 IP 어드레스를 포함한다.
클라이언트(304)로부터의 스티어링 요청에 응답하여, 선택 엔진(316)은 API 호출을 프로세싱하기 위한 API 에지 게이트웨이들(302) 중 하나를 선택한다. 특히, 선택 엔진(316)은 클라이언트(304)를 임베디드 가속 시스템들(320) 중 하나, IX 가속 시스템들(322) 중 하나, 또는 API 프로세싱 시스템(102)으로 라우팅한다. 선택 엔진(316)은 API 호출을 프로세싱하기 위한 임베디드 가속 시스템(320)들 및 IX 가속 시스템들(322)로부터의 적합한 가속 시스템을 식별하기 위해 게이트웨이 맵(318)을 이용한다. 특히, 선택 엔진(316)은 스티어링 요청에 포함된 IP 어드레스를 게이트웨이 맵(318) 내의 키-게이트웨이 쌍에서의 IP 어드레스와 매칭시킨다. 선택 엔진(316)은 키-게이트웨이 쌍에서 식별된 게이트웨이를 클라이언트(304)가 스티어링되는 API 에지 게이트웨이(302)로서 선택한다. 일 실시예에서, 선택 기준에 기초하여 적합한 가속 시스템이 식별될 수 없다면, 선택 엔진(316)은 클라이언트(304)를 API 호출을 프로세싱하기 위한 API 프로세싱 시스템(102)으로 직접 라우팅한다.
일 실시예에서, 게이트웨이 맵에 부가하여, 선택 엔진(316)은 가속 시스템 상의 현재 부하를 결정하기 위해 임베디드 가속 시스템들(320) 및 IX 가속 시스템들(322) 각각을 모니터링한다. 선택 엔진(316)은 가속 시스템(320 또는 322)의 상이한 양태들을 모니터링하여 그의 현재 부하를 결정한다. 이러한 양태들은 클라이언트와의 활성 세션들의 개수 및 API 프로세싱 시스템으로 용이하게 되는 API 호출들의 개수를, 제한 없이, 포함한다. 게다가, 선택 엔진(316)은 이용되고 있는 가속 시스템(320 또는 322)의 프로세싱 자원들의 양, 이용되고 있는 가속 시스템(320 또는 322)의 메모리 자원들의 양, 및 가속 시스템(320 또는 322)과 API 프로세싱 시스템(102) 사이의 통신 채널 상의 혼잡 레벨을 또한 모니터링할 수 있다.
위에서 논의된 바와 같이, 가속 시스템들(316 및 318) 각각은 많은 상이한 클라이언트들과 API 프로세싱 시스템(102) 사이의 중재자로서 동작한다. 따라서, 가속 시스템(320 또는 322) 상의 부하는 가속 시스템이 임의의 주어진 때에 용이하게 하는 API 호출들의 개수에 따라 변한다. 가속 시스템(320 또는 322) 상의 결정된 부하가 특정한 임계값을 초과할 때, 선택 엔진(316)은 부하가 임계값 아래로 떨어질 때까지 임의의 추가 API 호출들의 프로세싱을 용이하게 하기 위한 가속 시스템의 선택을 연기할 수 있다.
도 5는 본 발명의 다른 실시예에 따른, 클라이언트를 API 에지 게이트웨이로 스티어링하기 위한 방법 단계들의 흐름 다이어그램이다. 방법 단계들이 도 1 및 도 3의 시스템들과 관련하여 설명되지만, 본 기술분야의 통상의 기술자는 방법 단계들을, 임의의 순서로, 수행하도록 구성된 임의의 시스템이 본 발명의 범위 내에 있음을 이해할 것이다.
방법(500)은, 클라이언트 스티어링 시스템(308)이 API 호출을 프로세싱하기 위해 클라이언트(304)로부터 스티어링 요청을 수신하는, 단계(502)에서 시작한다. 스티어링 요청은 클라이언트와 연관된 인터넷 프로토콜 어드레스 또는 클라이언트가 인터넷에 액세스하는 ISP와 연관된 리졸버를 포함한다. 320 또는 322320 또는 322.
단계(504)에서, 스티어링 시스템(308)은 클라이언트에 의해 액세스가능한 가속 시스템들의 서브세트를 식별한다. 위에서 논의된 바와 같이, 일부 경우들에서, 특정한 가속 시스템들은 가속 시스템들이 임베딩되어 있는 ISP 또는 인터넷 교환 지점에 액세스할 수 있는 그 클라이언트들에 의해서만 액세스가능하다. 클라이언트(304)가 가속 시스템에 액세스할 수 있는 것이 클라이언트(304)와 API 프로세싱 시스템(102) 사이의 중재자로서 동작하는 가속 시스템의 필요한 양태이기 때문에, 스티어링 시스템(308)은 클라이언트(304)에 의해 액세스가능한 그 가속 시스템들만을 선택한다.
단계(506)에서, 스티어링 시스템(308)은 측정 시스템(306)으로부터 수신되는 게이트웨이 맵에 기초하여 클라이언트(304)와 연관된 측정 데이터를 결정한다. 측정 데이터는 클라이언트 또는 주어진 클라이언트와 함께 스티어링되어야 하는 하나 이상의 다른 클라이언트에 의해 이루어진 이전 API 호출들에 대한 API 호출 라운드 트립 시간들을 표현한다. 단계(508)에서, 스티어링 시스템(308)은 측정 데이터에 기초하여 단계(506)에서 식별된 서브세트로부터 가속 시스템을 선택한다. 스티어링 시스템(308)은 이전에 측정된 레이턴시에 기초하여 가속 시스템을 선택한다.
단계(510)에서, 스티어링 시스템(308)은 클라이언트(304)를 API 호출을 프로세싱하기 위한 선택된 가속 시스템으로 라우팅한다. 이에 응답하여, 클라이언트(304)는 API 호출을 프로세싱하기 위한 요청을 선택된 가속 시스템에게 전송하고, 가속 시스템은 API 프로세싱 시스템(102)을 사용하여 API 호출의 프로세싱을 용이하게 한다.
요약하면, 가속 시스템들은 API 호출 라운드 트립 레이턴시들을 감소시키기 위해 API 프로세싱 시스템과 클라이언트들 사이의 중재자들로서 동작한다. 가속 시스템들은 전세계에 걸쳐 분산되고 각각이 클라이언트들과 API 프로세싱 시스템 사이의 중재자로서 동작하는 상호접속된 시스템들의 네트워크를 포함한다. 주어진 클라이언트는 주어진 가속 시스템과 네트워크 접속을 확립하고 이 접속을 통해 API 호출을 프로세싱하기 위한 요청을 전송한다. API 호출과 연관된 프로그래밍 기능은 API 프로세싱 시스템에 구성되어 있다. 가속 시스템은 API 프로세싱 시스템과의 이전에 확립된 접속을 통해 API 호출의 프로세싱을 용이하게 한다.
유리하게도, 가속 시스템이 클라이언트 디바이스와 API 프로세싱 시스템 사이의 중재자로서 동작할 때 API 호출을 프로세싱하기 위한 라운드 트립 시간이 감소된다. 특히, 클라이언트 디바이스와 가속 시스템 사이의 통신 접속을 확립하는 데 필요한 임의의 라운드 트립 시간들이 클라이언트 디바이스와 API 프로세싱 시스템 사이의 접속이 확립될 필요가 있는 경우에 비해 더 짧다.
전술한 내용이 본 발명의 실시예들에 관한 것이지만, 본 발명의 다른 및 추가 실시예들이 본 발명의 기본적인 범위를 벗어나지 않고 고안될 수 있다. 예를 들어, 본 발명의 양태들은 하드웨어 또는 소프트웨어로 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 본 발명의 일 실시예는 컴퓨터 시스템에서 사용하기 위한 프로그램 제품으로서 구현될 수 있다. 프로그램 제품의 프로그램(들)은 (본 명세서에서 설명된 방법들을 포함하는) 실시예들의 기능들을 정의하고 다양한 컴퓨터 판독가능 저장 매체들 상에 포함될 수 있다. 예시적인 컴퓨터 판독가능 저장 매체들은: (i) 정보가 영구적으로 저장되는, 비-기입가능(non-writable) 저장 매체들(예컨대, CD-ROM 드라이브에 의해 판독가능한 CD-ROM 디스크들, 플래시 메모리, ROM 칩들 또는 임의의 유형의 솔리드 스테이트 비휘발성 반도체 메모리와 같은 컴퓨터 내의 판독 전용 메모리 디바이스들); 및 (ii) 변경가능한 정보가 저장되는 기입가능(writable) 저장 매체들(예컨대, 디스켓 드라이브 내의 플로피 디스크들 또는 하드 디스크 드라이브 또는 임의의 유형의 솔리드 스테이트 랜덤 액세스 반도체 메모리)을 포함하지만, 이들로 제한되지 않는다. 그러한 컴퓨터 판독가능 저장 매체들은, 본 발명의 기능들을 지시하는 컴퓨터 판독가능 명령어들을 운반할 때, 본 발명의 실시예들이다.
전술한 내용을 고려하여, 본 발명의 범위는 이하의 청구범위에 의해 결정된다.

Claims (21)

  1. 방법으로서,
    응용 프로그래밍 인터페이스(application programming interface)(API) 호출과 연관된 스티어링 요청을, 클라이언트 디바이스로부터, 수신하는 단계; 및
    상기 스티어링 요청을 수신하는 것에 응답하여,
    접근성 선택 기준(reachability selection criteria)에 기초하여, 상기 API 호출이 프로세싱될 수 있게 해주면서 상기 클라이언트 디바이스와 API 프로세싱 시스템 사이의 중재자로서 동작하는 가속 시스템을 선택하는 단계; 및
    상기 클라이언트 디바이스를 상기 가속 시스템으로 라우팅하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 접근성 선택 기준에 기초하여 상기 가속 시스템을 선택하는 단계는 상기 가속 시스템이 상기 클라이언트 디바이스에 의해 액세스가능하다고 결정하는 단계를 포함하는 방법.
  3. 제2항에 있어서, 상기 가속 시스템은 인터넷 서비스 제공자 내에 임베딩되고 상기 인터넷 서비스 제공자와 연관된 클라이언트 디바이스들에 의해서만 액세스가능한 방법.
  4. 제1항에 있어서, 상기 가속 시스템은 또한 이전 API 호출이 프로세싱될 수 있게 해주고, 상기 가속 시스템을 선택하는 단계는 상기 이전 API 호출을 프로세싱하는 것과 연관된 레이턴시에 추가로 기초하는 방법.
  5. 제1항에 있어서,
    제2 API 호출을 프로세싱하는 것과 연관되고 상기 클라이언트 디바이스와 연관된 고유 식별자를 지정하는 측정 데이터를 수신하는 단계;
    상기 측정 데이터에 기초하여, 상기 클라이언트 디바이스와 상기 가속 시스템 사이의 접속이 개시된 때부터 상기 제2 API 호출과 연관된 응답이 상기 클라이언트 디바이스에 의해 수신된 때까지의 총 시간을 표현하는 레이턴시를 계산하는 단계;
    리졸버 IP 어드레스 및 상기 고유 식별자를 포함하는 요청을 리졸버로부터 수신하는 단계; 및
    상기 레이턴시가 상기 리졸버 IP 어드레스와 연관된다고 결정하기 위해 상기 요청에 포함된 상기 고유 식별자를 상기 측정 데이터에 의해 지정된 상기 고유 식별자와 매칭시키는 단계
    를 추가로 포함하는 방법.
  6. 제5항에 있어서,
    제3 API 호출과 연관된 제2 스티어링 요청을, 상기 클라이언트 디바이스로부터, 수신하는 단계 - 상기 제2 스티어링 요청은 상기 리졸버 IP 어드레스를 포함함 -; 및
    상기 리졸버 IP 어드레스와 연관된 상기 레이턴시에 기초하여, 상기 제3 API 호출이 프로세싱될 수 있게 해주면서 상기 클라이언트 디바이스와 상기 API 프로세싱 시스템 사이의 상기 중재자로서 동작하는 상기 가속 시스템을 선택하는 단계
    를 추가로 포함하는 방법.
  7. 제6항에 있어서, 상기 리졸버 IP 어드레스는 상기 클라이언트 디바이스가 인터넷 서비스들에 액세스하는 인터넷 서비스 제공자(ISP)와 연관되고, 상기 리졸버 IP 어드레스는 상기 클라이언트 디바이스와 연관된 클라이언트 IP 어드레스와 상이한 방법.
  8. 제1항에 있어서, 상기 가속 시스템을 선택하는 단계는 상기 가속 시스템과 상기 API 프로세싱 시스템 사이의 통신 접속 내의 혼잡 레벨에 추가로 기초하는 방법.
  9. 제1항에 있어서, 상기 가속 시스템과 연관된 하나 이상의 측정 동작으로부터 생성되는 상기 클라이언트 디바이스로부터의 측정 데이터를, 상기 클라이언트 디바이스로부터, 수신하는 단계를 추가로 포함하는 방법.
  10. 명령어들을 저장하는 컴퓨터 판독가능 매체로서, 상기 명령어들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    응용 프로그래밍 인터페이스(API) 호출과 연관된 스티어링 요청을, 클라이언트 디바이스로부터, 수신하게 하고;
    상기 스티어링 요청을 수신하는 것에 응답하여,
    접근성 선택 기준에 기초하여, 상기 API 호출이 프로세싱될 수 있게 해주면서 상기 클라이언트 디바이스와 API 프로세싱 시스템 사이의 중재자로서 동작하는 가속 시스템을 선택하게 하며;
    상기 클라이언트 디바이스를 상기 가속 시스템으로 라우팅하게 하는 컴퓨터 판독가능 매체.
  11. 제10항에 있어서, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 추가로 상기 프로세서로 하여금 상기 가속 시스템이 상기 클라이언트 디바이스에 의해 액세스가능하다고 결정하는 것에 의해 상기 접근성 선택 기준에 기초하여 상기 가속 시스템을 선택하게 하는 컴퓨터 판독가능 매체.
  12. 제11항에 있어서, 상기 가속 시스템은 인터넷 서비스 제공자 내에 임베딩되고 상기 인터넷 서비스 제공자와 연관된 클라이언트 디바이스들에 의해서만 액세스가능한 컴퓨터 판독가능 매체.
  13. 제10항에 있어서, 상기 가속 시스템은 인터넷 교환 지점(internet exchange point) 내에 임베딩되고 상기 인터넷 교환 지점으로 라우팅될 수 있는 클라이언트 디바이스들에 의해서만 액세스가능한 컴퓨터 판독가능 매체.
  14. 제10항에 있어서, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 추가로 상기 프로세서로 하여금:
    제2 API 호출을 프로세싱하는 것과 연관되고 상기 클라이언트 디바이스와 연관된 고유 식별자를 지정하는 측정 데이터를 수신하게 하고;
    상기 측정 데이터에 기초하여, 상기 클라이언트 디바이스와 상기 가속 시스템 사이의 접속이 개시된 때부터 상기 제2 API 호출과 연관된 응답이 상기 클라이언트 디바이스에 의해 수신된 때까지의 총 시간을 표현하는 레이턴시를 계산하게 하며;
    리졸버 IP 어드레스 및 상기 고유 식별자를 포함하는 요청을 리졸버로부터 수신하게 하고;
    상기 레이턴시가 상기 리졸버 IP 어드레스와 연관된다고 결정하기 위해 상기 요청에 포함된 상기 고유 식별자를 상기 측정 데이터에 의해 지정된 상기 고유 식별자와 매칭시키게 하는 컴퓨터 판독가능 매체.
  15. 제14항에 있어서, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 추가로 상기 프로세서로 하여금:
    제3 API 호출과 연관된 제2 스티어링 요청을, 상기 클라이언트 디바이스로부터, 수신하게 하고 - 상기 제2 스티어링 요청은 상기 리졸버 IP 어드레스를 포함함 -;
    상기 리졸버 IP 어드레스와 연관된 상기 레이턴시에 기초하여, 상기 제3 API 호출이 프로세싱될 수 있게 해주면서 상기 클라이언트 디바이스와 상기 API 프로세싱 시스템 사이의 상기 중재자로서 동작하는 상기 가속 시스템을 선택하게 하는 컴퓨터 판독가능 매체.
  16. 제10항에 있어서, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 추가로 상기 프로세서로 하여금 레이턴시 기준에 기초하여 상기 가속 시스템을 선택하게 하는 컴퓨터 판독가능 매체.
  17. 제16항에 있어서, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 클라이언트 디바이스로부터 수신되고 상기 가속 시스템에 의해 프로세싱되는 하나 이상의 이전 API 호출과 연관된 레이턴시들을 결정하는 것에 의해 상기 레이턴시 기준에 기초하여 상기 가속 시스템을 선택하게 하는 컴퓨터 판독가능 매체.
  18. 제17항에 있어서, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 레이턴시들을 측정하기 위해 상기 클라이언트 디바이스로부터 수신되는 측정 데이터를 프로세싱하게 하는 컴퓨터 판독가능 매체.
  19. 컴퓨팅 환경으로서,
    각각이 응용 프로그래밍 인터페이스(API) 호출들이 프로세싱될 수 있게 해주면서 클라이언트 디바이스와 API 프로세싱 시스템 사이의 중재자로서 동작하는 복수의 가속 시스템들; 및
    선택 기준들의 세트에 기초하여 상기 클라이언트 디바이스를 상기 복수의 가속 시스템들 중 하나로 라우팅하도록 구성된 클라이언트 스티어링 시스템
    을 포함하고, 상기 클라이언트 스티어링 시스템은:
    API 호출과 연관된 스티어링 요청을, 상기 클라이언트 디바이스로부터, 수신하고,
    상기 스티어링 요청을 수신하는 것에 응답하여,
    접근성 선택 기준에 기초하여, 상기 API 호출이 프로세싱될 수 있게 해주기 위한 복수의 가속 시스템들로부터의 가속 시스템을 선택하며,
    상기 클라이언트 디바이스를 상기 가속 시스템으로 라우팅하도록
    구성된 선택 엔진을 포함하는 컴퓨팅 환경.
  20. 제18항에 있어서, 상기 가속 시스템으로 라우팅되는 것에 응답하여, 상기 클라이언트 디바이스는 상기 가속 시스템과의 전송 제어 프로토콜 핸드셰이크 및 전송 계층 보안 핸드셰이크를 수행하는 컴퓨팅 환경.
  21. 제19항에 있어서, 상기 TCP 및 TLS 핸드셰이크들에 후속하여, 상기 클라이언트 디바이스는 상기 API 호출을 상기 가속 시스템에게 전송하고, 상기 가속 시스템은 상기 API 호출을 상기 API 프로세싱 시스템으로 포워딩하는 컴퓨팅 환경.
KR1020207001352A 2017-06-20 2018-06-19 Api 호출들의 프로세싱을 용이하게 하기 위한 가속 시스템 KR102266759B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/628,509 US11048660B2 (en) 2017-06-20 2017-06-20 Acceleration system for facilitating processing of API calls
US15/628,509 2017-06-20
PCT/US2018/038176 WO2018236795A1 (en) 2017-06-20 2018-06-19 ACCELERATION SYSTEM FOR FACILITATING THE PROCESSING OF API CALLS

Publications (2)

Publication Number Publication Date
KR20200018653A true KR20200018653A (ko) 2020-02-19
KR102266759B1 KR102266759B1 (ko) 2021-06-21

Family

ID=62873600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207001352A KR102266759B1 (ko) 2017-06-20 2018-06-19 Api 호출들의 프로세싱을 용이하게 하기 위한 가속 시스템

Country Status (10)

Country Link
US (2) US11048660B2 (ko)
EP (1) EP3643045B1 (ko)
JP (1) JP6972182B2 (ko)
KR (1) KR102266759B1 (ko)
CN (1) CN110892697B (ko)
AU (2) AU2018289353B2 (ko)
BR (1) BR112019027523A2 (ko)
CA (1) CA3067056C (ko)
SG (1) SG11201912261RA (ko)
WO (1) WO2018236795A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068281B2 (en) * 2018-03-02 2021-07-20 Fastly, Inc. Isolating applications at the edge
EP4250676A3 (en) * 2018-03-21 2024-01-10 Huawei Cloud Computing Technologies Co., Ltd. Control method for application programming interface (api) gateway cluster, and api gateway cluster
US11212368B2 (en) * 2019-05-17 2021-12-28 Netflix, Inc. Fire-and-forget offload mechanism for network-based services
US20230103761A1 (en) * 2021-04-20 2023-04-06 Metafluent, Llc Component-aware rest api routing gateway

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163882A1 (en) * 2001-03-01 2002-11-07 Akamai Technologies, Inc. Optimal route selection in a content delivery network
US20090235283A1 (en) * 2008-03-12 2009-09-17 Microsoft Corporation Global api deployment and routing
KR20170059465A (ko) * 2014-09-25 2017-05-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 애플리케이션들에 대한 네트워크 분류

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721908A (en) 1995-06-07 1998-02-24 International Business Machines Corporation Computer network for WWW server data access over internet
US6185598B1 (en) 1998-02-10 2001-02-06 Digital Island, Inc. Optimized network resource location
US8151323B2 (en) * 2006-04-12 2012-04-03 Citrix Systems, Inc. Systems and methods for providing levels of access and action control via an SSL VPN appliance
US8161119B2 (en) * 2006-12-22 2012-04-17 Cisco Technology, Inc. Network device provided spam reporting button for instant messaging
US8782236B1 (en) * 2009-06-16 2014-07-15 Amazon Technologies, Inc. Managing resources using resource expiration data
US8543805B2 (en) * 2010-04-21 2013-09-24 Citrix Systems, Inc. Systems and methods for split proxying of SSL via WAN appliances
JP5477259B2 (ja) * 2010-11-08 2014-04-23 ブラザー工業株式会社 通信装置システム、中継装置、中継装置の制御プログラム、および中継装置の制御方法
CN102572954B (zh) * 2012-01-31 2015-05-20 中国移动（深圳）有限公司 一种漫游清算服务调度方法、中间件及系统
CN103581130B (zh) * 2012-07-30 2017-01-25 优视科技有限公司 数据压缩处理方法、系统及装置
US10148530B2 (en) * 2012-09-07 2018-12-04 Oracle International Corporation Rule based subscription cloning
CN104598257B (zh) * 2013-10-30 2019-01-18 华为技术有限公司 远程应用程序运行的方法和装置
US9967199B2 (en) * 2013-12-09 2018-05-08 Nicira, Inc. Inspecting operations of a machine to detect elephant flows
US9720626B2 (en) * 2014-09-19 2017-08-01 Netapp Inc. Cluster configuration information replication
KR102376431B1 (ko) 2015-07-06 2022-03-22 삼성디스플레이 주식회사 표시 장치
CN105872042A (zh) * 2016-03-29 2016-08-17 国家电网公司 基于http协议的双边加速系统
CN106657399B (zh) * 2017-02-20 2020-08-18 北京奇虎科技有限公司 基于中间件实现的后台服务器选择方法及装置
US10289525B2 (en) * 2017-08-21 2019-05-14 Amadeus S.A.S. Multi-layer design response time calculator

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163882A1 (en) * 2001-03-01 2002-11-07 Akamai Technologies, Inc. Optimal route selection in a content delivery network
US20090235283A1 (en) * 2008-03-12 2009-09-17 Microsoft Corporation Global api deployment and routing
KR20170059465A (ko) * 2014-09-25 2017-05-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 애플리케이션들에 대한 네트워크 분류

Also Published As

Publication number Publication date
WO2018236795A1 (en) 2018-12-27
KR102266759B1 (ko) 2021-06-21
AU2018289353A1 (en) 2020-01-16
EP3643045A1 (en) 2020-04-29
AU2018289353B2 (en) 2021-04-22
CA3067056C (en) 2022-07-12
CN110892697A (zh) 2020-03-17
US20180365190A1 (en) 2018-12-20
US20210326298A1 (en) 2021-10-21
AU2021206826A1 (en) 2021-08-12
US11048660B2 (en) 2021-06-29
US11640368B2 (en) 2023-05-02
EP3643045B1 (en) 2023-12-13
BR112019027523A2 (pt) 2020-07-07
CA3067056A1 (en) 2018-12-27
CN110892697B (zh) 2022-09-27
JP6972182B2 (ja) 2021-11-24
JP2020525899A (ja) 2020-08-27
SG11201912261RA (en) 2020-01-30

Similar Documents

Publication Publication Date Title
US11640368B2 (en) Acceleration system for facilitating processing of API calls
EP3968610A1 (en) Method, device, and system for selecting mobile edge computing node
US10904204B2 (en) Incompatible network gateway provisioned through DNS
US11316786B2 (en) Systems and methods for directly responding to distributed network traffic
JP6105151B2 (ja) ネットワーク・ノード機能にアクセスするためのクライアント・デバイスの第１ゲートウェイから第２ゲートウェイへのリダイレクト
US9319315B2 (en) Distributing transmission of requests across multiple IP addresses of a proxy server in a cloud-based proxy service
JP5739023B2 (ja) 割り当てられたネットワークアドレスを有するデバイスにアクセスするウェブプロキシサーバを使用したシステムおよび方法
US8838792B2 (en) Identity provider instance discovery
JP2017507575A (ja) プロキシサーバフェイルオーバおよびロードクラスタリング
EP2692095B1 (en) Method, apparatus and computer program product for updating load balancer configuration data
US9729652B2 (en) Dynamically affinitizing users to a version of a website
CN103401799A (zh) 负载均衡的实现方法和装置
JP2007219637A (ja) 負荷分散システムおよびそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant