KR102171891B1 - 분산형 고객 댁내 장비 - Google Patents

Abstract

여러 장치들을 포함하는 분산형 고객 댁내 장비(CPE)를 제공하기 위한 기술들이 개시된다. 분산형 CPE는 제 1 장치상에 실행하도록 구성된 제어 평면 서브시스템, 제 2 장치상에 실행하도록 구성된 제 1 데이터 평면 서브시스템, 및 제 3 장치상에 실행하도록 구성된 제 2 데이터 평면 서브시스템을 포함할 수 있다. 제 2 장치는 제 1 네트워크 기능을 실행할 수 있는 제 1 가상 기계를 실행하도록 또한 구성될 수 있다. 제 3 장치는 제 2 네트워크 기능을 실행할 수 있는 제 2 가상 기계를 실행하도록 또한 구성될 수 있다. 특정 실시예들에서, 제어 평면 서브시스템은 제 1 데이터 평면 서브시스템 및 제 2 데이터 평면 서브시스템의 포워딩 기능을 제어하고 제 1 네트워크 기능 및 제 2 네트워크 기능을 제어하도록 구성될 수 있다. 특정 실시예들에서, 제 1 장치 및 제 2 장치는 고객 댁내 장비(CPE) 장치들이다.

Description

분산형 고객 댁내 장비

관련 출원들에 대한 상호 참조들

본 특허 출원은 발명의 명칭이 "분산형 고객 댁내 장비"인 2016년 9월 9일에 출원된 미국 가특허출원 제 62/385,352 호 및 발명의 명칭이 "분산형 고객 댁내 장비"인 2016년 10월 28일에 출원된 미국 특허 출원 제 15/388,082 호에 대한 우선권을 주장한다. 미국 가출원 제 62/385,352 호 및 미국 특허 출원 제 15/388,082 호의 내용은 모든 목적을 위해 그 전체가 본원에 참조로 통합된다.

본 개시는 일반적으로 데이터 라우팅 및 포워딩에 관한 것이고, 보다 구체적으로는, 고객 댁내 장비(customer premises equipment; CPE)의 제어, 구성 및 관리를 중앙 집중화 및 개선하기 위한 기술들에 관한 것이다.

종래에, CPE는 고객에 대한 특정 네트워크 기반 서비스들을 가능하게 하기 위한 하드웨어 기반 솔루션들을 제공하는 장치들이다. CPE는 가입자의 댁내에 위치한 임의의 단말기/장치 및 연관된 장비일 수 있다. 일부 경우들에서, CPE는 네트워크 운영자 또는 캐리어의 통신 채널과 연결된다. 일부 경우들에서, CPE는 고객에게 그들의 서비스들을 제공하기 위해 네트워크 운영자에게 경계 지점("demarc")을 제공한다. 다시 말해, CPE는 고객 구내에 상주하는 네트워크 운영자의 연장의 역할을 하고, 네트워크 운영자에 의해 고객에게 제공된 서비스들을 가능하게 한다. demarc는 분배 기반 구조 또는 네트워크 운영자의 중앙 사무소에 위치한 장비로부터 고객 장비를 분리하기 위해 건물, 단지 또는 시스템에 확립된 지점이다.

CPE는 일반적으로 소비자가 통신 서비스 제공자들의 서비스들에 액세스할 수 있게 하고, LAN(Local Area Network), 디지털 가입자 회선(Digital Subscriber Line; DSL) 또는 다른 광대역 인터넷 라우터들, VoIP(Voice over Internet Protocol) 기지국들 또는 특정 서비스 공급자들에 의해 사용된 다른 시스템들을 통해 그들을 그들의 가정 또는 댁내 주위에 분배하게 하는 전화들, 라우터들, 스위치들, 가정용 게이트웨이들(RG), 셋톱 박스들, 고정식 모바일 컨버전스 제품들, 홈 네트워킹 어댑터들 및 인터넷 액세스 게이트웨이들과 같은 장치들을 의미할 수 있다. 또한, 주요 전화 시스템들 및 대부분의 사설 교환기(PBX; private branch exchange)들이 포함된다.

일반적으로, CPE가 고객의 댁내에 물리적으로 위치되면, CPE에 대한 임의의 변경들으로 인해 기술자가 고객을 방문하게 되어 더 높은 비용과 불편함을 초래하게 된다. 또한, CPE는 특정 기능이나 서비스가 CPE에 의해 지원되지 않는 경우 또는 CPE가 업그레이드를 필요로 하는 경우 교체되어야 해서 고객 또는 네트워크 운영자에게 추가 비용을 발생시킨다. 또한, CPE들은 단일 기능 장치들이고 고객은 동일한 CPE를 사용하여 다수의 서비스들 및 기능을 가능하게 할 수 없고 그를 사용하지 못하게 할 수 있다.

CPE가 명세서 전반에 걸쳐 논의되었지만, 몇몇 실시예들에서, CPE 대신에 라우터가 또한 여기에서 논의된 여러 실시예들을 수행하기 위해 사용될 수 있다. 또한, 어떤 경우들에는, CPE 자체가 네트워크 데이터 패킷들의 포워딩과 같은 라우터의 기능을 수행할 수 있다. 라우터는 그의 소스로부터 그의 의도된 목적지까지 데이터의 전달을 가능하게 하기 위해 네트워크들 사이에 데이터(예를 들면, 네트워크 데이터 패킷들)를 포워딩하도록 구성되는 특수 네트워크 장치이다. 라우터는 네트워크간 토폴로지를 통해 최적의 루트들 또는 데이터 경로들을 결정하고 이러한 최적 경로들을 사용하여 네트워크 데이터 패킷들을 전송하도록 구성된다. 라우터는 방화벽, QoS(Quality of Service) 등과 같은 다양한 다른 서비스들도 제공한다.

종래의 라우터는 일반적으로 네트워크 패킷들을 라우팅하고, 하나의 박스 또는 섀시 내에 모두 하우징되는 제어 평면 서브시스템 및 하나 이상의 데이터 평면 서브시스템들을 포함한다. 네트워크 패킷들은 네트워크 제어 패킷들 및 네트워크 데이터 패킷들을 포함할 수 있다. 네트워크 제어 패킷들은 일반적으로 네트워크 자체의 생성 및 동작을 위해 사용되는 라우터(예를 들면, 제어 평면 서버 컴퓨터) 생성 또는 수신된 패킷들을 말할 수 있다. 일 예에서, 네트워크 제어 패킷들은 데이터 평면 서브시스템을 업데이트 및/또는 구성할 수 있다. 네트워크 데이터 패킷들은 일반적으로 중개 네트워크 장치들에 의해 다른 단말 장치들(end devices)로 포워딩되는 단말 장치 사용자 애플리케이션 생성 패킷들을 말할 수 있다.

종래의 시스템들에서 회선 카드로서 구현될 수 있는 데이터 평면은 데이터 평면의 하나 이상의 포트들을 통해 네트워크 데이터 패킷들을 수신 및 포워딩하도록 구성된다. 포워딩은 데이터 평면에 의해 저장된 포워딩 정보에 기초하여 수행된다. 데이터 평면이 네트워크 데이터 패킷들을 포워딩하는 데 사용하는 포워딩 정보는 일반적으로 하나 이상의 관리 카드들을 포함할 수 있는 라우터의 제어 평면 서브시스템에 의해 프로그래밍된다. 제어 평면 서브시스템은, 예를 들면, 라우팅 정보(예를 들면, 라우팅 정보 테이블들)를 유지하는 것, 라우팅 정보에 기초하여 데이터 포워딩 평면 포워딩 정보를 프로그래밍하는 것, 다양한 네트워킹 제어 프로토콜들을 핸들링하는 것, 제어 평면에서 종결되는 패킷들(예를 들면, 제어 및/또는 데이터 패킷들)의 처리를 핸들링하는 것, 액세스 제어 리스트들(ACLs), 서비스 품질(QoS), 관리 기능들 등을 핸들링하는 것 등을 포함하는 라우터에 의해 수행된 네트워킹 관련 기능들을 제어하도록 구성된다.

전술한 바와 같이, 종래의 라우터에서, 라우터의 제어 평면 서브시스템 및 제어 평면 서브시스템에 의해 제어되는 데이터 평면들은 동일한 물리적 네트워크 장치 박스 또는 라우터의 섀시 내에 모두 물리적으로 함께 배치된다. 결과적으로, 제어 평면 서브시스템과 라우터의 데이터 평면 서브시스템 간에는 정적 관계가 있다. 이는 수만개의 이러한 라우터들를 포함할 수 있는 대형 네트워크(예를 들면, 인터넷)에서의 이러한 라우터들의 프로그래밍을 복잡하고 융통성 없게 만든다. 이러한 네트워크들에 대한 변경들(예를 들면, 데이터 경로들의 추가 또는 재구성들, 네트워크 장치의 추가 또는 제거)이 행해져야 할 때, 변경에 의해 영향을 받는 각각의 개별 라우터 박스는 개별적으로 프로그래밍되거나 다시 프로그래밍되어야 한다. 라우터 중심의 관리 요구 사항에 따라 이러한 네트워크들의 관리가 매우 복잡하고 시간 소모가 크다. 그 결과, 종래의 라우터들을 사용하는 네트워크들은 클라우드 컴퓨팅, 모바일 컴퓨팅, 실시간 및 주문형 비디오 트래픽 등과 같은 현재(및 미래) 네트워크 애플리케이션들에 의해 요구되는 유연성 및 동적 구성 가능성이 부족하다.

따라서, 종래의 CPE들, 특히 라우팅 기능들을 구현하는 CPE들의 네트워크를 유지하는 것은 비용이 많이 들고, 복잡하며, 융통성이 없고, 업그레이드 및 관리가 어렵다.

본 개시는 일반적으로 데이터 라우팅 및 포워딩에 관한 것으로, 보다 상세하게는 고객 댁내 장비(CPE)의 제어, 구성 및 관리를 중앙 집중화 및 개선하기 위한 기술들에 관한 것이다.

특정 실시예들에서, 신규한 분산형 CPE가 제공된다. 특정 실시예들에 따르면, 분산형 CPE는 중앙 집중식 제어 평면 서버 컴퓨터 및 소프트웨어 데이터 평면 서브시스템들을 본질적으로(즉, 가상화 없이) 실행하는 몇몇 CPE들을 포함한다. 제어 평면 서브시스템을 실행하는 제어 평면 서버 컴퓨터는 CPE들을 제어한다. 각 CPE는 각 가상 기계들에서 가상 기계들을 호스팅하고 가상 네트워크 기능들(VNFs)을 실행할 수도 있다.

특정 실시예들에서, 소프트웨어 데이터 평면 서브시스템들에 대한 오버레이 네트워크들과 함께 중앙 집중식 제어 평면 서브시스템을 갖는 것은 운영자에게 단일 대형 라우터와 유사한 뷰를 제공한다. 또한, 제어 평면과 데이터 평면 서브시스템들의 결합 해제는 패킷 포워딩을 위해 CPE에서 하드웨어 자원들의 필드 활용을 극대화하고 더 처리 집약적일 수 있지만 레이턴시에 민감하지 않은(또는 덜 민감한) 작업들일 수 있는 제어 평면 작업들을 원격 및 중앙 집중식 제어 평면 서브시스템에 푸시한다. 또한, 이러한 CPE 설계는 CPE가 가상 네트워크 기능들을 사용하여 특정 네트워크 기능들을 업그레이드 및/또는 증대시킬 수 있게 하면서 소프트웨어 데이터 평면 서브시스템에 의한 본래의 패킷 처리를 허용한다. 따라서, 개시된 기술들은 네트워크의 개선된 관리를 허용한다.

예시적인 분산형 고객 댁내 장비(CPE)는 제 1 위치에 위치한 제어 평면 서버 컴퓨터, 제 2 위치에 위치한 복수의 장치 중 제 1 장치, 및 제 3 위치에 위치한 복수의 장치들 중 제 2 장치를 포함할 수 있다. 복수의 장치들은 고객 댁내 장비(CPE) 장치들일 수 있다. 특정 실시예들에서, 제 1 위치는 데이터센터이고, 제 2 위치 및 제 3 위치는 고객 댁내들이다. 특정 실시예들에서, 제 1 위치에서의 제어 평면 서버 컴퓨터 및 제 2 위치에서의 제 1 장치는 네트워크 채널을 사용하여 접속될 수 있다. 특정 실시예들에서, 제어 평면 서버 컴퓨터와 제 1 장치 사이의 거리는 임계값 초과일 수 있다.

제어 평면 서버는 하나 이상의 프로세서들 및 하나 이상의 프로세서들에 의해 실행 가능한 명령들을 저장하는 메모리를 포함할 수 있고, 명령들은 실행될 때 제어 평면 서버 컴퓨터로 하여금 복수의 장치들상의 동작들을 제어하기 위한 하나 이상의 네트워크 인터페이스들을 사용하여 네트워크 제어 패킷들을 전송하는 제어 평면 서브시스템을 실행하게 한다.

제 1 장치는 하나 이상의 프로세서들, 하나 이상의 프로세서들에 의해 실행 가능한 명령들을 저장하는 메모리를 포함할 수 있고, 명령들은 실행될 때 제 1 장치가 네트워크 데이터 패킷들을 포워딩하도록 구성된 제 1 데이터 평면 서브시스템을 실행하게 하고, 네트워크 데이터 패킷들을 포워딩하는 것은 제어 평면 서버 컴퓨터로부터 수신된 네트워크 제어 패킷들 중 적어도 하나에 기초하고, 제 1 네트워크 기능을 실행할 수 있는 제 1 가상 기계를 인스턴스화한다. 특정 실시예들에서, 제 1 장치는 데이터 평면 서브시스템 및 제 1 가상 기계를 인스턴스화하는 하이퍼바이저를 포함하는 메모리에 저장된 호스트 소프트웨어 스택을 포함한다. 제 1 네트워크 기능은 가상 네트워크 기능(VNF)일 수 있다. 특정 실시예들에서, 제 1 네트워크 기능은 네트워크 방화벽, 네트워크 레벨 2 포워딩, 네트워크 레벨 3 포워딩, 가상 사설망(VPN), 액세스 제어 리스트(ACL), 또는 사설 교환기(PBX)이다.

특정 실시예들에서, 제 1 장치는 제어 평면 서버 컴퓨터의 제어 평면 서브시스템으로부터 하나 이상의 네트워크 제어 패킷들을 수신하거나, 제 1 장치에서 제 3 가상 기계를 인스턴스화하거나, 하나 이상의 네트워크 제어 패킷들을 수신하는 것에 기초하여 상기 제 1 장치에서의 상기 제 3 가상 기계 내부에 실행하는 제 3 네트워크 기능을 인스턴스화하도록 구성될 수 있다.

특정 실시예들에서, 제 1 가상 기계는 적어도 제어 평면 서버 컴퓨터로부터 네트워크 제어 패킷 중 하나를 수신하는 것에 기초하여 제 1 장치에 의해 인스턴스화된다. 특정 실시예들에서, 제 1 네트워크 기능은 적어도 제어 평면 서버 컴퓨터로부터의 네트워크 제어 패킷들로부터 적어도 하나의 네트워크 제어 패킷을 수신하는 것에 기초하여 구성된다.

제 2 장치는 하나 이상의 프로세서들, 하나 이상의 프로세서들에 의해 실행 가능한 명령들을 저장하는 메모리를 포함할 수 있고, 명령들은 실행될 때 제 2 장치가 네트워크 데이터 패킷들을 포워딩하도록 구성된 제 2 데이터 평면 서브시스템을 실행하게 하고, 네트워크 데이터 패킷들의 포워딩은 제어 평면 서버 컴퓨터로부터 수신된 네트워크 제어 패킷들 중 적어도 하나에 기초하고, 제 2 네트워크 기능을 실행할 수 있는 제 2 가상 기계를 인스턴스화한다.

또 다른 예시적인 분산형 고객 댁내 장비는 제 1 장치상에서 실행하도록 구성된 제어 평면 서브시스템, 제 2 장치상에서 실행하도록 구성된 제 1 데이터 평면 서브시스템으로서, 제 2 장치는 또한 제 1 네트워크 기능을 실행할 수 있는 제 1 가상 기계를 실행하도록 구성되는, 상기 제 1 데이터 평면 서브시스템, 제 3 장치상에 실행하도록 구성된 제 2 데이터 평면 서브시스템으로서, 제 3 장치는 또한 제 2 네트워크 기능을 실행할 수 있는 제 2 가상 기계를 실행하도록 구성되는, 상기 제 2 데이터 평면 서브시스템을 포함할 수 있고, 제어 평면 서브시스템은 제 1 데이터 평면 서브시스템 및 제 2 데이터 평면 서브시스템의 포워딩 기능을 제어하고, 제 1 네트워크 기능 및 제 2 네트워크 기능을 제어하도록 구성된다.

특정 실시예들에서, 제 1 장치 및 제 2 장치는 CPE(customer premises equipment) 장치들일 수 있다. 특정 실시예들에서, 제 1 네트워크 기능은 가상 네트워크 기능(VNF)일 수 있다. 특정 실시예들에서, 제 1 네트워크 기능은 네트워크 방화벽, 네트워크 레벨 2 포워딩, 네트워크 레벨 3 포워딩, 가상 사설망(VPN), 액세스 제어 리스트(ACL), 또는 사설 교환기(PBX) 중 하나 이상을 포함할 수 있다.

특정 실시예들에서, 제 1 장치는 제어 평면 서버 컴퓨터로부터 하나 이상의 네트워크 제어 패킷들을 수신하거나, 하나 이상의 네트워크 제어 패킷들을 수신하는 것에 기초하여 제 1 장치에서 제 3 가상 기계를 인스턴스화하고, 하나 이상의 네트워크 제어 패킷들을 수신하는 단계에 기초하여, 제 1 장치에서 제 3 가상 기계 내에서 실행하는 제 3 네트워크 기능을 인스턴스화하도록 구성된다.

특정 실시예들에서, 제 1 장치로부터, 제 2 장치상에서 실행하도록 구성된 데이터 평면 서브시스템의 기능을 포워딩하는 단계, 제 1 장치로부터, 제 2 장치상의 가상 기계의 인스턴스화를 제어하는 단계, 및 제 1 장치로부터, 가상 기계에서 네트워크 기능의 실행을 제어하는 단계에 대한 예시적인 방법이 개시된다. 방법은 제 1 장치로부터 포워딩 기능, 가상 기계의 인스턴스화, 및 네트워크 기능의 실행을 제어하기 위한 제어 평면 서브시스템을 실행하는 단계를 포함할 수 있다. 방법은 제 1 장치로부터, 제 3 장치상에서 실행하도록 구성된 제 2 데이터 평면 서브시스템의 포워딩 기능을 제어하는 단계, 제 1 장치로부터, 제 2 장치상의 제 2 가상 기계의 인스턴스화를 제어하는 단계, 및 제 1 장치로부터, 제 2 가상 기계에서 제 2 네트워크 기능의 실행을 제어하는 단계를 더 포함할 수 있다.

특정 실시예들에서, 네트워크 데이터 패킷들을 포워딩하기 위한 예시적인 방법은 제 1 장치에서, 제 1 장치에 대한 네트워크 데이터 패킷들의 포워딩 기능을 변경하기 위해 서버로부터 네트워크 제어 패킷을 수신하는 단계, 제 1 장치상의 호스트 소프트웨어 스택에서 실행하는 데이터 평면 서브시스템의 제 1 장치의 포워딩 기능을 변경하는 단계, 제 1 장치에서, 1 네트워크 데이터 패킷을 수신하는 단계, 데이터 평면 서브시스템을 사용하여 제 1 네트워크 데이터 패킷을 포워딩하는 단계, 제 1 장치에서, 제 2 네트워크 데이터 패킷을 수신하는 단계, 및 제 1 장치에서 가상 기계에서 실행하는 네트워크 기능을 사용하여 제 2 네트워크 데이터 패킷을 처리하는 단계를 포함할 수 있고, 호스트 소프트웨어 스택으로부터의 하이퍼바이저는 상기 가상 기계를 인스턴스화한다. 제 1 장치는 고객 댁내 장비(CPE)일 수 있다.

도 1은 본 발명의 일 실시예에 따른 분산형 고객 댁내 장비를 도시하는 간략화된 블록도.
도 2는 본 발명의 특정 실시예들에 따른, 소프트웨어 데이터 평면 서브시스템을 포함하는 물리적 장치를 도시하는 일 예시적인 블록도.
도 3은 본 발명의 특정 실시예들에 따른 소프트웨어 제어 평면 서브시스템을 포함하는 물리적 장치를 나타내는 일 예시적인 블록도.
도 4는 본 개시의 하나 이상의 예시적인 양태들에 따라 본 발명의 실시예들을 수행하는 방법을 도시하는 흐름도.
도 5는 본 개시의 하나 이상의 예시적인 양태들에 따라 본 발명의 실시예들을 수행하기 위한 방법을 도시하는 다른 흐름도.
도 6은 본 발명의 하나 이상의 양태들에 따라 분산형 라우터의 다양한 구성요소들을 실행하기 위해 사용될 수 있는 컴퓨팅 시스템 또는 장치의 간략화된 블록도.

이하의 설명에서, 설명의 목적을 위해, 본 발명의 실시예들에 대한 완전한 이해를 제공하기 위해 특정 세부 사항이 설명된다. 그러나, 다양한 실시예들이 이들 특정 세부 사항없이 실시될 수 있다는 것이 명백할 것이다. 도면들 및 설명은 제한하려는 것이 아니다. 본 명세서에서 "예시적인"이라는 단어는 "예, 경우 또는 예시의 역할을 하는 것"을 의미하는 것으로 사용된다. 본 명세서에서 "예시적인" 것으로 설명된 임의의 실시예 또는 설계는 다른 실시예들 또는 설계들보다 바람직하거나 유리한 것으로 반드시 해석되지는 않는다.

특정 실시예들에서, 신규한 분산형 CPE가 제공된다. 특정 실시예들에 따르면, 분산형 CPE는 중앙 집중식 제어 평면 서버 컴퓨터 및 소프트웨어 데이터 평면 서브시스템을 본질적으로(즉, 가상화 없이) 실행하는 몇몇 CPE들을 포함한다. 제어 평면 서브시스템을 실행하는 제어 평면 서버 컴퓨터는 CPE들을 제어한다. 각각의 CPE는 가상 기계들을 호스팅하고 각 가상 기계들에서 가상 네트워크 기능들(VNF)을 실행할 수도 있다.

특정 실시예들에서, 소프트웨어 데이터 평면 서브시스템들에 대한 오버레이 네트워크들과 함께 중앙 집중식 제어 평면 서브시스템을 갖는 것은 운영자에게 단일 대형 라우터와 유사한 뷰를 제공한다. 또한, 제어 평면과 데이터 평면 서브시스템의 결합 해제는 패킷 포워딩을 위해 CPE에서 하드웨어 자원들의 필드 활용을 극대화하고 더 처리 집약적이지만 레이턴시에 민감하지 않은(또는 덜 민감한) 제어 평면 작업들을 원격 및 중앙 집중식 제어 시스템에 대해 푸시한다. 또한, 이러한 CPE 설계는 CPE가 가상 네트워크 기능들을 사용하여 특정 네트워크 기능들을 업그레이드 및/또는 증대시킬 수 있게 하면서 소프트웨어 데이터 평면 서브시스템에 의한 원시 패킷 처리를 허용한다. 따라서, 개시된 기술들은 네트워크의 개선된 관리를 허용한다.

도 1은 본 발명의 일 실시예에 따른 분산형 고객 댁내 장비(CPE)(100)를 도시하는 간략화된 블록도이다. 도 1에 도시된 실시예는, 단지 예일 뿐이고 본 발명의 청구된 실시예들을 부당하게 제한하려는 것이 아니다. 당업자는 많은 변형들, 대안들, 및 수정들을 인식할 것이다. 예를 들면, 일부 다른 실시예들에서, 분산형 CPE(100)는 도 1에 도시된 것보다 많은 또는 더 적은 구성요소들을 가질 수 있거나, 두 개 이상의 구성요소들을 조합할 수 있거나, 상이한 구성 또는 구성요소들의 배열을 가질 수 있다. 예를 들면, 분산형 CPE(100)는 도 1에 개시된 것보다 소프트웨어 데이터 평면 서브시스템을 실행하는 더 많은 물리적 장치들을 가질 수 있고, 각 물리적 장치는 가상 네트워크 기능들을 실행하기 위해 하나 이상의 가상 기계들을 실행한다.

도 1에 도시된 분산형 CPE(100)는 각각의 장치가 하나 이상의 데이터 평면 서브시스템들을 포함하는 제어 평면층 또는 데이터 평면층을 포함하는 다수의 장치들(예를 들면, 102, 104, 106)을 포함한다. 도 1을 참조하여 개시된 물리적 장치들은, 도 6에 개시된 하나 이상의 구성요소들을 사용하여 구현될 수 있다. 분산형 CPE(100)는 (OSI 모델의) 계층 2 및 계층 3 라우팅 기능을 제공하도록 구성된다. 분산형 CPE(100)는 개방형 시스템 상호 접속(Open Systems Interconnection; OSI) 모델의 계층들 4-7에서 기능성을 제공할 수도 있다.

특정 실시예들에서, 물리적 장치(104) 및 물리적 장치(106)와 같은 소프트웨어 데이터 평면 서브시스템을 실행하는 장치들은 고객 댁내 장비(CPE), 고객 댁내 장비(CPE), 범용 CPE 또는 uCPE, 가상 CPE 또는 vCPE를 말할 수 있다. 특정 실시예들에서, 제어 평면 서브시스템(128)을 갖는 물리적 장치(102) 및 소프트웨어 데이터 평면 서브시스템들(108, 118)을 갖는 복수의 물리적 장치들(104, 106)을 포함하는 시스템은, 본 명세서에서, 집합적으로 분산형 CPE(100) 시스템이라고 지칭될 것이다.

특정 실시예들에서, 도 1에 도시된 바와 같이, 소프트웨어 제어 평면 서브시스템(128)은 상이한 물리적 장치들(104, 106) 상에 각각 상주하는 여러 소프트웨어 데이터 평면 서브시스템들(108, 118)과 통신하는 중앙 집중식 물리적 장치(102)에 상주한다. 도 1에 도시된 바와 같이, 소프트웨어 제어 평면 서브시스템(128)을 포함하는 물리적 장치(102)는 일대 다 관계로 각각 소프트웨어 데이터 평면 서브시스템들(108, 118)을 포함하는 다수의 물리적 장치들(104, 106)을 제어할 수 있다. 특정 실시예들에서, 제어 평면 서브시스템(128)에 의해 제어되는 데이터 평면 서브시스템은 소프트웨어 데이터 평면 서브시스템들(108, 118) 및/또는 하드웨어 데이터 평면 서브시스템들(도시되지 않음)을 포함하는 상이한 유형들일 수 있다. 제어 평면 서브시스템은 네트워크(134)를 통한 제어 채널(132)과 같은 네트워크 채널을 사용하여 병행하여 또는 동시에 다중 데이터 평면 서브시스템들과 통신할 수 있다.

특정 실시예들에서, 이들 물리적 장치들(102, 104, 106)은 지리적으로 분산될 수 있다. 예를 들면, 분산형 CPE(100)는 지리적 위치에 분산된 지국 배치를 허용하고, 소프트웨어 제어 평면 서브시스템(128)은 중앙 데이터 센터에 위치된 물리적 장치(102)에 상주할 수 있고 소프트웨어 데이터 평면 서브시스템들(예를 들면, 108, 118)은 다수의 상이한 위치들에서 다수의 상이한 사무실들에 걸쳐(즉, 고객 댁내) 지리적으로 분산된 개별적인 물리적 장치(예를 들면, 104, 106)상에 각각 상주할 수 있다. 특정 실시예들에서, 소프트웨어 제어 서브시스템(128)을 포함하는 물리적 장치(102)와 소프트웨어 데이터 평면 서브시스템(108, 118)을 포함하는 물리적 장치들(104, 106) 사이의 거리는 특정 임계값 이상일 수 있다. 물리적 장치들은 유선 또는 무선 통신 네트워크 채널을 사용하여 서로 접속될 수 있다. 특정 다른 실시예들에서, 제어 평면 서브시스템들 및 데이터 평면 서브시스템들을 호스팅하는 물리적 장치들은 단일 섀시 상에 제공되어 통합 다중 서비스 플랫폼을 제공할 수 있다.

이하에서 더 상세히 개시되는 바와 같이, 물리적 장치들(예를 들면, 104, 106)은 또한 가상 네트워크 기능들(VNF)을 호스팅할 수 있다. 특정 경우들에서, VNF는 또한 네트워크 기능 가상화(NFV)로 지칭될 수 있고, 개시의 범위를 벗어나지 않고 VNF와 교체 가능하게 사용될 수 있다. 특정 실시예들에서, VNF는 잘 정의되고 프로그램 가능한 패킷 처리 기능들을 수행하기 위해 하나 이상의 가상 기계들 또는 컨테이너들에서 실행하는 프로그램들의 집합을 지칭할 수 있다. 특정 구현들에서, 하부 하드웨어(예를 들면, 프로세서), 운영 시스템 및/또는 하이퍼바이저는 소프트웨어 데이터 평면 서브시스템들(예를 들면, 108, 118)과 함께 가상 네트워크 기능(VNF)을 호스팅을 위한 가상화 기술을 지원할 수 있다. 예를 들면, 물리적 장치(104)는 소프트웨어 데이터 평면 서브시스템(108), 운영 체계 커널(110) 및 하이퍼바이저(112)를 포함할 수 있다. 하이퍼바이저(112)는 가상 기계(VM A(114) 및 VM B(116))를 인스턴스화하고 가상 기계들에서 네트워크 기능들을 실행할 수 있다. 유사하게, 물리적 장치(106)는 소프트웨어 데이터 평면 서브시스템(118), 운영 체계 커널(120) 및 하이퍼바이저(122)를 포함할 수 있다. 하이퍼바이저(122)는 가상 기계(VM X(124) 및 VM Y(126))를 인스턴스화하고 가상 기계들에서 네트워크 기능들을 실행할 수 있다. 특정 실시예들에서, 분산형 CPE(100)는 가상화를 사용하여 새로운 기능을 추가하거나 기존 소프트웨어 데이터 평면 포워딩 기능을 증대시키는 유연성을 제공하면서 물리적 장치들(104, 106)에서 본래의(즉, 가상화하지 않은) 데이터 평면 포워딩 및/또는 라우팅 기능을 제공한다.

가상화 기술을 사용하여 VNF들을 지원하고 호스팅하는 것에 대해 상기에 개시되었지만, 특정 실시예들에서, VNF들은 가상화 하드웨어 지원이 없는 소프트웨어 컨테이너 또는 일부 경우들에서 심지어 하이퍼바이저를 사용하여 구현될 수 있다. 예를 들면, VNF들은 유닉스/리눅스 기반 커널에 의해 가능해진 유닉스/리눅스 기반 컨테이너들을 사용할 수 있다.

특정 실시예들에서, 제어기(도시되지 않음)는 NETCONF 및/또는 OpenFlow와 같은 프로토콜들을 사용하여 물리적 장치(102)에서 소프트웨어 제어 평면 서브시스템(128)을 구성할 수 있다.

소프트웨어 제어 평면 서브시스템(128)은 제어기로부터 수신된 네트워크 정책을 구현하도록 구성될 수 있다. 일 실시예에서, 제어 평면 서브시스템(128)은 정책을 소프트웨어 제어 평면 서브시스템(128)에 의해 제어된 데이터 평면 서브시스템들(108, 118)이 정책을 구현하기 위해 취하는 동작들의 세트로 변환시키도록 구성된다. 따라서, 소프트웨어 제어 평면 서브시스템(128)은 제어기로부터 수신된 네트워크 정책들을 취하고 이들을 소프트웨어 데이터 평면 서브시스템들(108, 118)에 대한 동작들로 변환시키는 역할을 한다. 소프트웨어 제어 평면 서브시스템(128)은 어느 소프트웨어 데이터 평면 서브시스템이 그것들이 자신의 초기화 단계 동안 소프트웨어 제어 평면 서브시스템(128)에 자신을 등록할 때를 제어하는지를 학습한다. 특정 실시예들에서, 제어 평면 서브시스템은 NETCONF 또는 OpenFlow와 같은 통신 프로토콜을 사용하여 외부적으로 프로그램 가능하고, REST API들을 사용하여 프로그래밍될 수 있다.

소프트웨어 제어 평면 서브시스템들(128)은 소프트웨어 데이터 평면 서브시스템들(108, 118)과 통신하기 위해 다양한 상이한 통신 기술들을 사용할 수 있다. 특정 실시예들에서, 도 1 도시된 바와 같이, 소프트웨어 제어 평면 서브시스템(128)은 제어 채널(132)을 사용하여 소프트웨어 데이터 평면 서브시스템들(108, 118) 모두와 통신한다. 일 실시예에서, 제어 채널(132)을 통한 메시징은 JSON(JavaScript Open Notation) 캡슐화를 갖는 ZeroMQ 전송 메커니즘을 사용할 수 있다. ZeroMQ(ØMQ 또는 0MQ 또는 ZMQ라고도 표기됨)는 확장 가능한 분산 또는 동시 애플리케이션들에서의 사용을 목표로 하는 고성능 비동기 메시징 라이브러리이다. 이는 전용 메시지 브로커 없이 구동할 수 있는 메시지 대기열을 제공한다. 라이브러리는 익숙한 소켓 스타일 API를 갖도록 설계된다. 이는 프로세스중, 프로세스간, TCP, 및 멀티캐스트와 같은 다양한 전송들을 통해 미세 메시지들을 전달하는 소켓들을 제공한다. 그의 비동기식 I/O 모델은 확장 가능한 멀티코어 애플리케이션들을 가능하게 한다. JSON은 분산형 네트워크 시스템의 계층적 보기를 제공하기 위한 메커니즘을 제공한다. 소프트웨어 제어 평면 서브시스템(128)의 관점으로부터, 소프트웨어 데이터 평면 서브시스템 또는 하드웨어 데이터 평면 서브시스템과 통신할 때 동일한 제어 채널(132) 및 동일한 통신 방식을 사용할 수 있다. 이러한 의미에서, 소프트웨어 제어 평면 서브시스템(128)은 소프트웨어 데이터 평면 또는 하드웨어 데이터 평면과의 통신 여부를 구별하지 않는다.

예를 들면, 소프트웨어 제어 평면 서브시스템(128)은 사용자에 의해 제어기로부터 구성된 방화벽 정책을 수신할 수 있다. 이에 응답하여, 소프트웨어 제어 평면 서브시스템(128)은 방화벽 정책에 대한 데이터 모델 표현을 생성하고 정책 관련 정보를 로컬 데이터 구조들에 저장할 수 있다. 이후, 소프트웨어 제어 평면 서브시스템(128)은 데이터 모델 표현을 JSON 표현으로 변환할 수 있고, 이는 ZeroMQ 메시지로 캡슐화되고 제어 채널(132)을 통해 ZeroMQ 버스를 사용하여 다양한 데이터 평면 서브시스템들에 전달된다.

소프트웨어 제어 평면 서브시스템(128)은 또한 제어 채널(132)을 통해 데이터 평면 서브시스템을 포함하는 하나 이상의 물리적 장치들로부터 메시지를 수신할 수 있다. 이들 메시지들은, 예를 들면, 데이터 평면 서브시스템들 및/또는 VNF들에 대한 상황 및 상태 정보를 제어 평면 서브시스템에 전달한다. 예를 들면, 데이터 평면 서브시스템에 변경 사항이 있는 경우(예를 들면, 인터페이스 상태 변경), 상기 정보는 데이터 평면 서브시스템에 의해 JSON 표현으로 캡슐화되고, JSON 표현은 차례로 ZeroMQ 메시지 버스로 캡슐화되고 제어 채널(132)을 사용하여 제어 평면 서브시스템(128)으로 전송된다. 제어 평면 서브시스템(128)은 이후 상태 변화(예를 들면, 상태 정보 변경, 경로들 변경 등)에 응답하기 위한 동작들을 취할 수 있다.

특정 실시예들에서, 물리적 장치(102)는 운영 체계 커널(130) 및 소프트웨어 제어 평면 서브시스템(128)을 포함한다. 운영 체계 커널(130) 및 소프트웨어 제어 평면 서브시스템(128)은 Intel® 또는 AMD® 또는 다른 프로세서들에 의해 제공되는 프로세서들과 같은 하나 이상의 처리 엔티티들에 의해 실행된 명령들의 세트(코드 또는 프로그램)로서 구현된다. 예를 들면, 소프트웨어 제어 평면 서브시스템(128)은 도 6에 도시되고 이하에 설명된 것과 같은 컴퓨팅 시스템에 의해 실행될 수 있다. 멀티코어 프로세서 환경에서, 제어 평면 서브시스템은 하나 이상의 프로세서들의 하나 이상의 코어들에 의해 실행될 수 있다. 하나 이상의 프로세서들에 의해 실행된 하나 이상의 가상 기계들을 포함하는 가상화된 환경에서, 제어 평면 서브시스템은 가상 기계에 의해 또는 심지어 하이퍼바이저(예를 들면, KVM 하이퍼바이저) 또는 네트워크 운영 체계 내에서 실행되거나 그에 의해 호스팅될 수 있다. 제어 평면 서브시스템은 나금속 상에, 가상 기계 등에 배치될 수 있다. 소프트웨어 제어 데이터 평면(128)이 여기에 개시되지만, 특정 구현들에서, 하드웨어 제어 데이터 평면은 본 개시의 범위를 벗어나지 않고 구현될 수 있다.

소프트웨어 제어 평면 서브시스템들(128)은 데이터 평면 서브시스템(108, 118) 및/또는 VNF들의 구성 및 관리를 담당한다. 예를 들면, 소프트웨어 제어 평면 서브시스템(128)은 분산 네트워크에 대한 라우팅 및 토폴로지 정보를 유지하도록 구성된다. 그 다음, 이러한 정보는 소프트웨어 제어 평면 서브시스템(128)에 의해 사용되어 하나 이상의 데이터 평면 서브시스템들 및/또는 VNF들을 프로그래밍하여 그들이 데이터 패킷들을 포워딩하는 것이 가능해져서 그들의 소스로부터 그들의 의도된 목적지로의 데이터 패킷들의 전달을 가능하게 한다. 특정 실시예들에서, 소프트웨어 제어 평면 서브시스템(128)은 소프트웨어 데이터 평면 서브시스템 및/또는 VNF에 포워딩 정보를 다운로드하도록 구성된다. 이후, 이러한 포워딩 정보는 소프트웨어 데이터 평면 서브시스템 및/또는 VNF에 의해 사용되어 소프트웨어 데이터 평면 서브시스템을 포함하는 물리적 장치에 의해 수신된 네트워크 데이터 패킷들을 포워딩한다. 소프트웨어 제어 평면 서브시스템(128)은 또한 다른 정책 관련(예를 들면, 방화벽 정책과 관련된) 정보를 데이터 평면 서브시스템에 다운로드할 수 있다.

제어 평면 서브시스템(128)이 네트워크 및 토폴로지 정보를 수신할 수 있는 다양한 방식들이 있다. 제어 평면 서브시스템(128)은 네트워크 장치들 사이에서 네트워크 및 토폴로지 정보를 교환하는 다양한 네트워킹 프로토콜들을 지원하기 위한 처리를 수행할 수 있다. 제어 평면 서브시스템(128)은 분산형 네트워크 시스템의 다른 구성요소들로 향하는 또는 그에 의해 발생되는 제어 평면 패킷들을 생성 및 처리할 수 있다. 예를 들면, 제어 평면 서브시스템(128)은 서로 또는 다른 네트워크 장치들 또는 시스템들과 토폴로지 정보를 교환하고, 라우팅 정보 프로토콜(RIP), 개방 최단 경로 우선(OSPF) 또는 경계 게이트웨이 프로토콜(BGP)과 같은 라우팅 프로토콜들을 사용하여 라우팅 테이블을 구성/유지할 수 있다.

물리적 장치(104) 및 물리적 장치(106) 각각에서 구현된 소프트웨어 데이터 평면 서브시스템들(108, 118)은 분산형 CPE(100)의 데이터 전달 계층을 나타낸다. 예를 들면, 분산형 CPE(100) 구현은 각각의 물리적 장치들(104, 106)상에서 실행되는 하나 이상의 소프트웨어 데이터 평면 서브시스템들(108, 118)을 가지고 하드웨어 데이터 평면 서브시스템들은 없을 수 있다.

물리적 장치들(104, 106)은 또한 가상 네트워크 기능들(VNF)과 같은 부가적인 네트워크 기능들을 지원하기 위해 소프트웨어 데이터 평면 서브시스템들(108, 118)과 함께 가상화 기술을 지원할 수 있다. 특정 경우들에서, VNF는 또한 네트워크 기능 가상화(NFV)로 지칭될 수 있고, 개시의 범위를 벗어나지 않고 VNF와 교체 가능하게 사용될 수 있다. 특정 실시예들에서, VNF는 잘 정의되고 프로그램 가능한 패킷 처리 기능들을 수행하기 위해 하나 이상의 가상 기계들 또는 컨테이너들에서 실행하는 프로그램들의 집합을 지칭할 수 있다. 특정 구현들에서, 하부 하드웨어(예를 들면, 프로세서), 운영 체계 및/또는 하이퍼바이저는 소프트웨어 데이터 평면 서브시스템들(예를 들면, 108, 118)과 함께 가상 네트워크 기능들(VNF)을 호스팅하기 위한 가상화 기술을 지원할 수 있다.

가상화 기술은 동일한 물리적 자원들을 공유하는 상이한 운영 환경들 사이의 격리를 제공한다. 즉, 가상화는 물리적 제약들로부터 컴퓨팅 자원들의 논리적 추상화를 제공한다. 하나의 공통적인 추상화는 가상 기계(게스트라고도 알려져 있음) 또는 VM이라고 하며, VM에서 실행되는 컨텐츠를 추상화를 유지하면서 실제 하드웨어에 대한 직접 인터페이스로 제공한다. 가상화 기술은 동일한 물리적 하드웨어에서 실행하는 다수의 VM들을 독립적으로 작동시키고 서로 격리되게 한다. 시스템상의 하나 이상의 VM들은 하이퍼바이저(가상화된 기계 모니터 또는 VMM이라고도 함)에 의해 관리된다. 하이퍼바이저는 가상 기계들의 호스팅 및 관리를 담당하는 소프트웨어 또는 펌웨어 계층이다. 하이퍼바이저는 시스템의 프로세서, 메모리를 관리하고 각 VM에 다른 자원들을 할당한다.

다시 도 1를 참조하면, 물리적 장치(104)는 소프트웨어 데이터 평면 서브시스템(108), 운영 체계 커널(110), 및 하이퍼바이저(112)를 포함할 수 있다. 하이퍼바이저(112)는 가상 기계(VM A(114) 및 VM B(116))를 인스턴스화하고, 가상 기계들에서 가상 네트워크 기능들을 실행할 수 있다. 가상 기계를 인스턴스화하는 것은 가상 기계에 대한 페이지 테이블들과 물리적 자원들을 설정하는 것, 가상 기계에 대한 이벤트 핸들링, 및 게스트 운영 체계와 같은 가상 기계 이미지를 가상 기계로 로딩시키는 것을 포함할 수 있다. 유사하게, 물리적 장치(106)는 소프트웨어 데이터 평면 서브시스템(118), 운영 체계 커널(120) 및 하이퍼바이저(122)를 포함할 수 있다. 하이퍼바이저(122)는 가상 기계들(VM X(124) 및 VM Y(126))을 인스턴스화하고 가상 기계들에서 가상 네트워크 기능들을 실행할 수 있다. 특정 실시예들에서, 분산형 CPE(100)는 가상화를 사용하여 새로운 기능을 추가하거나 가상 네트워크 기능(VNF)을 사용하여 기존 데이터 평면 포워딩 기능을 증대시키는 유연성을 제공하면서 물리적 장치들에 본래의 (즉, 가상화하지 않음) 데이터 평면 포워딩 및 라우팅 기능을 제공한다.

VNF들을 지원 및 호스팅하기 위한 가상화 기술을 사용하는 것이 상기에 개시되지만, 특정 실시예에서, VNF들은 가상화 하드웨어 지원이 없이 소프트웨어 컨테이너들 또는 심지어 일부 경우들에서 하이퍼바이저를 사용하여 구현될 수 있다. 예를 들면, VNF들은 unix/linux 커널에 의해 가능해진 unix/linux 기반 컨테이너들을 사용할 수 있다.

VNF는 하나 이상의 가상 기계들에서 구동하는 특정 네트워크 기능들을 처리하는 것을 담당할 수 있다. 개별 가상화 네트워크 기능들은 빌딩 블록 스타일 방식으로 함께 연결되거나 결합되어 향상된 네트워킹 기능을 전달할 수 있다. 하이퍼바이저는 물리적 장치들(104, 106)이 레벨 2(L2), 레벨 3(L3) 네트워킹 기능들, 방화벽, 가상 사설망(VPN) 종단, 액세스 제어 리스트들(ACLs) 등과 같은 가상 기계들의 고객 댁내에 대해 VNF들을 실행할 수 있게 한다. 예를 들면, 고객이 지역 전화 집계를 위해 고객 댁내에서 사설 교환기(Private Branch Exchange; PBX)를 실행하기로 선택한 경우, 고객은 데이터 평면을 또한 실행하는 호스트 소프트웨어 스택에서 실행하는 하이퍼바이저에 의해 호스팅되는 가상 기계에 VNF로서 PBX를 배치할 수 있다. 따라서, 소프트웨어 데이터 평면 서브시스템을 실행하는 물리적 장치(일명 CPE)는 본래의 데이터 평면 기능을 유지하면서 호스트된 VM들로서 새롭고 추가적인 기능을 호스트 및 실행할 수 있다. 유사하게, 어떤 다른 실시예들에서, 딥 패킷 검사(DPI) 기능, 네트워크 분석 기능, 네트워크 기계 학습 기능, 또는 다른 적절한 기능들과 같은 다른 네트워킹 또는 다른 기능들은 CPE의 호스트 소프트웨어 스택상의 가상 기계 내의 VNF로서 배치될 수 있다.

특정 경우들에서, 소프트웨어 제어 평면 서브시스템(128)은 명령들 또는 제어 메시지들을 각각의 물리적 장치에 제공함으로써 소프트웨어 데이터 평면 서브시스템 및 하이퍼바이저를 호스팅하는 물리적 장치에서 가상 기계의 인스턴스화를 제어한다. 또한, 소프트웨어 제어 평면 서브시스템(128)은 또한 가상 기계에서의 가상 네트워크 기능의 인스턴스화를 제어할 수 있고 제어 메시지를 각각의 물리적 장치에 제공함으로써 가상 네트워크 기능을 적절히 구성할 수 있다. 가상 네트워크 기능을 인스턴스화하는 단계는 가상 기계에서 네트워킹 동작들을 수행하기 위한 네트워크 기능에 대한 명령들을 로딩 및 실행하는 단계를 포함할 수 있다. 가상 네트워크 기능을 인스턴스화하는 단계는 또한 가상 네트워크 기능과 연관된 특정 파라미터들 및 기능들을 구성하는 단계를 포함할 수 있다.

집합적으로, 각각의 물리적 장치들상에서 실행하는 하이퍼바이저에 의해 호스팅되는 소프트웨어 데이터 평면 서브시스템들(108, 118) 및 VNF를 실행하는 물리적 장치들(104, 106)은 데이터 패킷들을 수신하고 소프트웨어 제어 평면 서브시스템들(128)로부터 수신된 포워딩 및 구성 정보에 기초하여 네트워크에서 다음 홉으로 데이터 패킷들을 포워딩하는 것을 담당한다. 소프트웨어 데이터 평면 서브시스템을 포함하는 각각의 물리적 장치는 소프트웨어 제어 평면 서브시스템들로부터 수신된 포워딩 정보로 프로그램된다. 소프트웨어 데이터 평면 서브시스템 및/또는 VNF들은 포워딩 정보를 사용하여 데이터 패킷들을 포워딩한다. 특정 구현들에서, 소프트웨어 데이터 평면 서브시스템 및/또는 VNF들은 계층 2 및 계층 3(OSI 모델의) 라우팅 기능을 지원한다. 특정 실시예들에서, 데이터 평면 서브시스템 및/또는 VNF는 또한 OSI 계층 4-7 기능을 제공할 수 있다. 소프트웨어 데이터 평면 서브시스템들 및/또는 VNF들은 또한 상태형 및 무상태 방화벽, 애플리케이션 흐름들, 애플리케이션 논리 게이트웨이들, 네트워크 액세스 장치(NAD) 기능과 같은 라우터 관련 기능들을 제공할 수 있고, 일부 경우들에서, 계층 4 라우팅의 부분 또는 전체 구현들 및 상위 레벨 데이터 패킷 검사 능력들, MPLS-관련 처리, 네트워크 어드레스 변환(NAT), 상태형 네트워크 결합 저장(Stateful Network Attached Storage; NAS), 계층적 QoS(Quality of Service), Q-in-Q, 인터넷 프로토콜 보안(IPsec)을 위한 지원, 일반 라우팅 캡슐화(Generic Routing Encapsulation; GRE), 가상 확장성 LAN(Virtual Extensible LAN; VXLAN), 데이터 흐름 분석 및 관리를 위한 다양한 툴들, 딥 패킷 검사(DPI), 최장 패킷 매칭(Longest Packet Match; LPM) 패킷 조회, 가상 사설망들(VPNs), 및 다른 기능들을 제공할 수 있다.

소프트웨어 데이터 평면 서브시스템(108, 118)은 물리적 장치(104, 106)의 포트를 통해 네트워크 데이터 패킷을 수신할 수 있다. 포트는 논리적 포트 또는 물리적 포트일 수 있다. 이후, 소프트웨어 데이터 평면 서브시스템(108, 118)은 수신된 네트워크 데이터 패킷이 어떻게 포워딩될지를 결정한다. 이러한 결정의 일부로서, 소프트웨어 데이터 평면 서브시스템(108, 118)은 수신된 데이터 패킷으로부터 정보를 추출할 수 있고(예를 들면, 헤더 정보를 추출), 추출된 정보로부터 네트워크 데이터 패킷에 대한 소스 및 목적지 정보를 결정할 수 있고, 이후 추출된 정보, 포워딩 정보 및 소프트웨어 제어 평면 서브시스템(128)으로부터 소프트웨어 데이터 평면 서브시스템에 의해 수신되고 소프트웨어 데이터 평면 서브시스템(108, 118)에 의해 저장된 다른 적용가능한 정책들에 기초하여 네트워크 데이터 패킷이 어떻게 포워딩될지를 결정할 수 있다. 특정 실시예들에서, 소프트웨어 데이터 평면 서브시스템들(108, 118)이 수신된 패킷이 어떻게 포워딩되어야 하는지를 결정할 수 없는 경우, 패킷은 드롭된다. 그렇지 않으면, 소프트웨어 데이터 평면 서브시스템(108, 118)은 그의 의도된 목적지로의 패킷의 통신을 가능하게 하기 위해 네트워크 데이터 패킷을 다음 홉으로 포워딩하기 위해 사용될 출력 포트를 결정한다. 소프트웨어 데이터 평면 서브시스템(108, 18)은 이후 결정된 출력 포트를 사용하여 네트워크 데이터 패킷을 포워딩한다.

가상 기계들에서 실행되는 소프트웨어 데이터 평면 서브시스템들(108, 118), 커널들(110, 120), 하이퍼바이저들(112, 122) 및 각각의 VNF들은 Intel®, AMD®, Power, ARM, 주문형 집적 회로(ASIC) 또는 필드 프로그램 가능 게이트 어레이들(FPGAs), 또는 네트워크 처리 유닛들(NPUs)에 의해 제공된 프로세서들과 같은 하나 이상의 프로세싱 엔티티들에 의해 실행된 명령들의 세트(또는 코드)로서 구현된다. 예를 들면, 도 1에 도시된 소프트웨어 데이터 평면 서브시스템들(108, 118)은 도 6에 도시되고 이하에 설명되는 것과 같은 컴퓨팅 시스템들에 의해 실행될 수 있다. 상이한 프로세서 아키텍처들상에 구동하는 상이한 소프트웨어 데이터 평면 서브시스템들은 동일한 소프트웨어 제어 평면 서브시스템(128)에 의해 제어될 수 있다.

전술한 바와 같이, 소프트웨어 데이터 평면 서브시스템(108, 118)은 또한 하나 이상의 NPU들에 의해 실행될 수 있다. NPU는 일반적으로 네트워크 관련 기능들을 처리하도록 특별히 설계되고 최적화된 프로그래밍 가능한 멀티코어 마이크로프로세서이다. 네트워크 프로세서들은 일반적으로 소프트웨어 프로그램 가능 장치들이고, 범용 중앙 처리 장치들과 유사한 일반 특성들을 가지고, 패턴 일치, 키 조회, 계산, 비트 조작, 버퍼들의 할당 및 관리 등과 같은 네트워킹 관련 기능들을 수행하기 위해 최적화된다.

소프트웨어 데이터 평면 서브시스템들(108, 118)은 고속 데이터 패킷 포워딩 기능들을 제공하도록 구성된다. 일 실시예에서, 소프트웨어 데이터 평면 서브시스템(108, 118)은 리눅스 기반 포워딩 파이프라인을 사용할 수 있다. 또 다른 실시예에서, 보다 빠른 프로세싱을 위해, 네트워크 데이터 패킷들이 고속으로 병렬로 처리 될 수 있게 하는 MCEE(Multi Core Execution Environment) 아키텍처가 사용된다. MCEE 모델을 사용하는 소프트웨어 데이터 평면 서브시스템은 수신된 네트워크 데이터 패킷들을 그의 네트워크 데이터 패킷들을 처리하는 것에 전용인 개별 코어들에 분사하도록 구성된다. 각 코어는 수신한 네트워크 데이터 패킷들을 처리하고 이후 네트워크 데이터 패킷들을 아웃바운드 포트로 포워딩한다. 패킷 처리는 네트워크 데이터 패킷들의 병렬 처리와 네트워크 데이터 패킷을 처리하는 많은 처리 자원들에 대한 네트워크 데이터 패킷들의 분배를 가능하게 하기 때문에 MCEE 아키텍처를 사용하여 상당히 빨라졌다.

이러한 분산형 CPE(100)에서, 고객 댁내들(즉, CPE 장치들)상에 배치된 물리적 장치들(104, 106)은 소프트웨어 데이터 평면 서브시스템(108, 118)과 하이퍼바이저(112, 122)를 호스트 소프트웨어 스택의 일부로서 실행하지만, 제어 평면 기능을 실행하지 않고 대신 제어 평면 서브시스템(128)을 호스팅하는 원격 및 중앙 집중식 물리적 장치(102)와 상호 작용한다. 특정 실시예들에서, 소프트웨어 데이터 평면 서브시스템(108, 118)을 실행하는 고객 댁내들(즉, CPE 장치들)상에 배치된 물리적 장치들(104, 106)은 제어 평면 서브시스템을 갖지 않는다. 다른 실시예들에서, 소프트웨어 데이터 평면 서브시스템(108,118)을 실행하는 고객 댁내들(즉, CPE 장치들) 상에 배치된 물리적 장치들(104, 106)은 제어 평면 소프트웨어를 가질 수 있지만, 그러한 기능을 디스에이블하거나 제어 평면 기능과 연관된 명령들을 실행하지 않을 수 있다.

특정 실시예들에서, 고객 댁내들에 배치된 물리적 장치들(104, 106)상의 제어 평면 서브시스템 및/또는 제어 평면 기능의 부재는 키 제어 평면 기능을 제공하거나 실행하지 않는 장치들(104, 106), 예컨대 라우팅 프로토콜, MPLS 등 및 도 3에 더 상세히 논의된 다른 키 제어 평면 서브시스템을 말할 수 있다. 특정 실시예들에서, 소프트웨어 데이터 평면 서브시스템을 포함하는 물리적 장치들(104, 106)은 임의의 키 제어 평면 서브시스템 기능을 수행하지 않고 분산형 CPE(100) 내의 원격 물리적 장치(102) 및 다른 원격 노드상에서 동작하는 제어 평면 서브시스템(128)에 접속성을 제공하는 소프트웨어 데이터 평면 서브시스템(108, 118)에 제어 평면 시스템 인터페이스를 여전히 노출시킬 수 있다.

특정 실시예들에서, 소프트웨어 데이터 평면 서브시스템들에 대한 오버레이 네트워크들과 함께 중앙 집중식 제어 평면 서브시스템(128)을 갖는 것은 운영자에게 단일 대형 라우터와 유사한 뷰를 제공한다. 또한, 제어 및 데이터 평면 서브시스템들의 이러한 결합 해제는 분산 장비의 하드웨어 자원들(즉, CPE)이 네트워크 데이터 패킷들을 포워딩하기 위한 하드웨어 자원들의 필드 활용을 최대화하게 하고 더 처리 집약적일 수 있지만 레이턴시에 민감하지 않은(또는 덜 민감한) 작업들일 수 있는 제어 평면 작업들을 원격 및 중앙 집중식 제어 평면 서브시스템에 푸시한다. 중앙 집중식 제어 평면 서브시스템은 다수의 CPE들에서 작동하는 다수의 소프트웨어 데이터 평면 서브시스템을 제어할 수 있다.

특정 실시예들에서, 개시된 특정 양태들은 또한 새로운 데이터 평면 서브시스템을 갖는 CPE와 같은 장치상의 본래의 소프트웨어 데이터 평면 서브시스템의 기능 증대를 지원할 수 있다. 예를 들면, 하이퍼바이저를 사용하는 호스트 소프트웨어 스택은 가상 기계에 새로운 데이터 평면 서브시스템을 설치하고, 본래의 데이터 평면 서브시스템을 사용하여 가상 기계의 새로운 데이터 평면과 물리적 네트워크 간의 서비스 체인 네트워크 데이터 패킷들을 설치할 수 있다. 특정 실시예들에서, 하이퍼바이저는 회선 카드에 있고, 그러한 몇몇 회선 카드들은 네트워크 전체에 분산된 기능들이다.

제어 평면 기능을 중앙 집중화하는 것은 또한 제어 평면 기능성의 통합/집합을 허용하면서 개별 CPE 장치들에서의 고속 포워딩을 위한 분산된 데이터 평면 기능을 계속 제공한다. 모든 이들 분산형 CPE 장치들에 대한 제어가 중앙 집중화되므로, 이는 또한 네트워크의 쉬운 구성 및 분산 장치들의 무리의 유지를 가능하게 한다. 소프트웨어 제어 평면 서브시스템의 단일 명령은 개별 CPE들에서 작동하는 모든 관련 소프트웨어 데이터 평면 서브시스템들에 대해 해석 및 배포될 수 있다.

특정 실시예들에서, 이는 관리자가 데이터 센터에서 하나의 제어 평면 서브시스템 인터페이스를 통해 끌어 당겨진 분산 라우터 인터페이스를 통해 로컬 서비스 기능 체인 이외에 상호 연결된 브랜치들 및 SP LAN 기능을 수행할 수 있는 서비스 모델로서의 소프트웨어를 가능하게 한다.

특정 실시예들에서, 오케스트레이션 계층(orchestration layer)은 분산된 기능을 갖는 하나의 라우터처럼 보이는 시스템의 단일 시각화를 제공할 수 있고, 상기 라우터에 대한 소프트웨어 제어 평면 서브시스템(128)은 데이터 센터에서 구동하고 있고, 이후 소프트웨어 데이터 평면 서브시스템들 및 가상 기계들 및 VNF 기능을 지원하는 하이퍼바이저들은 CPE와 같은 개별 장치들상에서 실행한다. 예를 들면, 관리자가 로그인하여 인터페이스를 살펴보면, 물리적인 eth 0 인터페이스가 Austin에 있고 eth 1 인터페이스가 Denver에 있을 수 있는 반면, 제어 평면 서브시스템 자체는 캘리포니아 새너제이에서 실행하고 있다.

도 2는 본 개시의 특정 양태들에 따른, 소프트웨어 데이터 평면 서브시스템을 포함하는 물리적 장치(200)를 나타내는 예시적인 블록도이다. 예를 들면, 물리적 장치(200)는 도 1의 예시적인 물리적 장치(104 또는 106)를 도시한다. 장치(200)는 분산형 CPE(100)의 예시적인 CPE 장치일 수 있다. 도 2에 도시된 바와 같이, 장치(200)는 메모리(230) 및 하드웨어 자원들(220)을 포함할 수 있다. 하드웨어 자원들(220)은 하나 이상의 프로세서들(222) 및 물리적 네트워크 인터페이스들(224)을 포함하지만 이에 한정되지는 않는다. 도 6에 관하여 개시된 여러 다른 구성 요소들이 구현하는 장치(200)에 채용될 수 있다. 물리적 네트워크 인터페이스들(224)은 장치(200)에서 네트워크 데이터 및 제어 패킷들을 송신 및 수신하기 위한 물리적 포트들을 제공할 수 있다. 다시 말해, 물리적 네트워크 인터페이스(224)는 장치(200) 및 사설 또는 공중 네트워크(예를 들면, 134) 사이에 상호 접속 지점이다. 예를 들면, 이더넷 포트는 물리적 네트워크 인터페이스일 수 있다. 하드웨어 자원들(220)로부터의 하나 이상의 프로세서들(222)은 네트워크 데이터 패킷 포워딩과 연관된 동작들을 수행하기 위해 저장 장치(625) 및/또는 네트워크로부터 호스트 소프트웨어 스택(226)을 메모리(230)에 로딩할 수 있다.

메모리(230)는 운영 체계 커널 공간(또는 커널)(204) 및 사용자 공간(208)을 포함하는 여러 영역들로 논리적으로 분할될 수 있다. 하나 이상의 프로세서들(222)에 로딩될 때 커널 공간으로부터 로딩된 명령들은 커널 모드에서 실행할 수 있다. 유사하게, 하나 이상의 프로세서들(222)에 로딩될 때 사용자 공간(208)으로부터 로딩된 명령들은 사용자 모드에서 실행될 수 있다. 커널 모드에서 커널(204)로부터 실행하는 명령들은 어떤 경우들에는 더 높은 특권을 가질 수 있고 프로세서와 연관된 특정 제어 레지스터들을 조작하는 것과 같은 특권 명령들을 실행할 수 있다.

특정 실시예들에서, 하이퍼바이저(206)는 이전에 논의된 바와 같이 가상화된 환경을 지원하기 위해 호스트 소프트웨어 스택(226)의 일부로서 커널(204)과 함께 구현, 추가 또는 구동될 수 있다. 이러한 환경에서, 커널(204), 하이퍼바이저(206) 및 사용자 공간(208)의 일부로서 실행하는 소프트웨어 구성요소들은 호스트 소프트웨어 스택(226)의 일부로 간주될 수 있다. 도 2에 도시된 바와 같이, 메모리(230)로부터 장치(200)상에서 실행하는 하이퍼바이저(206)는 VNF들을 호스팅하기 위한 VM I(228-1), VM2(228-2) 및 VM N(간략함을 위해, 집합적으로 VMs(228)이라고도 칭함)과 같은 수 개의 가상 기계들을 관리할 수 있다.

특정 실시예들에서, CPE(200)는 커널 기반 가상 기계(KVM) 및/또는 빠른 에뮬레이터(Qemu)를 사용하여 하드웨어 지원 가상화 환경 또는 소프트웨어 기반 가상화 환경(즉, 에뮬레이션)을 가질 수 있다. 예를 들면, KVM은 네임 공간들의 가상화와 프로세서 가상화에 의해 지원된 자원들의 가상화를 허용할 수 있다. 반면, Qemu는 프로세서/커널이 가상화하지 않는 자원들을 에뮬레이팅한다. 예를 들면, Qemu는 네트워킹 인터페이스 카드(NIC) 인터페이스들을 에뮬레이팅한다.

특정 실시예들에서, LibVirt(216)는 하이퍼바이저(206)와 VM들(228) 사이의 추가 계층으로서 사용된다. 특정 실시예들에서, LibVirt(216)는 Qemu에 애플리케이션 프로그래밍 가능 인터페이스들(APIs)을 제공할 수 있다. LibVirt(216)는 VM들을 시작, 중지 및 관리와 같은 가상화 기능들을 관리하기 위한 도구세트를 또한 제공한다. 또한, 특정 실시예들에서, 본 개시의 양태들에 따르면, LibVirt(216) 명령들은 VM들(228)이 소프트웨어 제어 평면 서브시스템(128)에 의해 원격 관리될 수 있도록 장치(200)에 의해 노출된다. 특정 경우들에서, 오픈 스택과 같은 프로토콜들은 LibVirt(216) API들을 통해 VM들(228)을 직접 관리하기 위해 소프트웨어 제어 평면 서브시스템(128)에 의해 사용될 수 있다.

커널에서 물리적 네트워크 인터페이스(224)에서 수신된 네트워크 데이터 패킷은 이더넷 드라이버에 의해 커널 공간에서 처리된다. 커널의 네트워킹 스택은 넷 필터링(net filtering), 라우팅을 수행하고, 이후 다른 물리적 네트워크 인터페이스를 통해 처리된 패킷을 전송할 수 있다. 그러나, 특정 구현들에서, 네트워킹 기반구조를 지원하는 장치(200)의 몇몇 양태들은 시스템의 응답성을 증가시키기 위해 사용자 공간(208)의 일부로서 구현될 수 있다. 예를 들면, 소프트웨어 데이터 평면 서브시스템(232)은 사용자 공간(208)의 호스트 소프트웨어 스택(226)에서 구현될 수 있다. 일 예시적인 구현에서, 소프트웨어 데이터 평면 서브시스템(232)은 예시 L2 패킷 처리 파이프라인(212) 및 L3 패킷 처리 파이프라인(214)을 구현할 수 있다. 커널(204)은 소프트웨어 데이터 평면 서브시스템(232)에 의해 제공된 기능들을 가능하게 할 수 있다. 예를 들면, 일 구현에서, 커널(204)은 커널(204)로부터 섀도우 인터페이스 드라이버들을 실행할 수 있다. 이들 섀도우 인터페이스 드라이버들은 패킷들을 취하여 이들을 소프트웨어 데이터 평면 서브시스템(232)에 대한 사용자 공간 패킷 파이프 라인(블록들(212 및 214))에 이동시킬 수 있지만, 커널 수행에 무시할 수 없는 비용을 초래한다. 소프트웨어 데이터 평면 서브시스템(232) 내의 사용자 공간(208)에서, 패킷은 프로세서 또는 처리 코어상에서 실행하는 실시간 스레드들을 사용하여 처리될 수 있다. 실시간 스레드는 다른 스레드들 또는 태스크들보다 높은 우선순위를 사용하여 실행될 수 있거나 전용 자원들이 할당될 수 있다. 특정 구현들에서, 네트워크 데이터 패킷을 처리하는 것과 같은 특정 태스크에 실시간 스레드를 할당하는 것은 물리적인 코어가 그 스레드의 처리에 할당되는 것을 초래하여, 네트워크 데이터 패킷의 비교적 지터가 없고 우선 순위가 높은 처리를 초래할 수 있다.

본 개시의 양태들에 따라, 특정한 네트워킹 기능들은 호스트 스택 소프트웨어(226)의 사용자 공간(208) 내의 소프트웨어 데이터 평면 서브시스템(232)에 의해 핸들링된다. 이러한 구현은 분산형 CPE(100)에 대한 유연성을 허용하고, 고객 댁내에 장치(200)의 배치 후, 장치(200)는 호스트 소프트웨어 스택(228) 내의 소프트웨어 데이터 평면 서브시스템(232)의 일부로서 구현된 본래의 라우팅 능력들을 사용하여 라우팅 기능을 제공할 수 있거나, VM들(228)에 라우팅 능력을 제공함으로써 네트워크 기능을 증대시키거나 교체할 수 있다.

특정 실시예들에서, 장치(200)는 분산형 CPE(100) 내의 다른 원격 노드들 및 원격 물리적 장치(102)에서 동작하는 제어 평면 서브시스템(128)에 접속성을 제공하는 네트워킹 스택(234)을 포함할 수 있다. 네트워킹 스택(234)은 동적 호스트 구성 프로토콜(DHCP)을 사용하여 할당된 어드레스들을 얻고, 데이터 평면 서브시스템 스타트업 프로세스를 원격으로 소싱하고, 장치(200)를 제어 평면 서브시스템을 포함하는 물리적 장치에 접속하는 것과 같이 장치(200)에 기본 네트워킹 기능을 제공한다. 네트워킹 스택(234)은 라우팅 프로토콜들, MPLS 등 및 도 3에 더 상세히 논의된 다른 키 제어 평면 서브시스템 기능을 수행하지 않고, 단순히 원격 시스템들에 접속을 제공한다.

특정 실시예들에서, 장치(200)는 명령 라인 인터페이스(CLI)를 직접 사용하거나 표현 상태 전송(REST) 및 NETCONF와 같은 프로토콜들을 사용하여 제어 평면 서브시스템(128)으로부터 원격으로 수신된 모든 새로운 명령들로부터 초래된 상태를 격리시킬 수 있는 로컬 시스템 데이터 모델(236)을 포함할 수 있다. 특정 실시예들에서, 로컬 시스템 데이터 모델(236)은 사용자 자격 증명(user credentials), ssh 서비스(노드로의 원격 액세스를 가능하게 하기 위해), 및 로컬 인터페이스들에 대한 구성과 같은 로컬 파라미터들 및 기능들을 관리/구성할 수 있다. 특정 실시예들에서, 로컬 시스템 데이터 모델(236)은 제어 평면 서브시스템을 포함하는 물리적 장치에 의해 관리되는 데이터 모델의 부분 뷰를 캐싱 또는 유지할 수 있다.

이러한 분산형 CPE(100)에서, 고객 댁내에 배치된 장치(200)는 소프트웨어 데이터 평면 서브시스템(232) 및 하이퍼바이저(206)를 호스트 소프트웨어 스택(226)의 일부로서 실행하지만, 제어 평면 기능을 실행하지 않고 대신 제어 평면 서브시스템(128)을 호스트하는 원격 및 중앙 집중식 물리적 장치(102)와 상호 작용한다는 것이 주의되어야 한다. 특정 실시예들에서, 소프트웨어 데이터 평면 서브시스템을 실행하는 고객 댁내에 배치된 장치(200)는 제어 평면 서브시스템을 갖지 않는다. 다른 실시예들에서, 소프트웨어 데이터 평면 서브시스템(232)을 실행하는 장치(200)는 제어 평면 소프트웨어를 가질 수 있지만, 그러한 기능을 디스에이블하거나 제어 평면 기능과 연관된 명령들을 실행하지 않을 수 있다.

특정 실시예에서, 전술한 바와 같이, 물리적 장치(200)상의 제어 평면 서브시스템 및/또는 제어 평면 기능의 부재는 라우팅 프로토콜들, MPLS 등 및 도 3에서 더 상세히 논의된 다른 키 제어 평면 서브시스템 기능과 같은 키 제어 평면 기능을 제공하거나 실행하지 않는 것을 말할 수 있다.

도 3은 본 개시의 특정 양태들에 따른, 소프트웨어 제어 평면 서브시스템을 포함하는 물리적 장치(300)를 도시하는 예시적인 블록도이다. 예를 들면, 물리적 장치(300)는 도 1의 예시적인 물리적 장치(102)를 도시한다. 도 3에 도시된 바와 같이, 장치(300)는 메모리(330) 및 하드웨어 자원들(320)을 포함할 수 있다. 하드웨어 자원들(320)은 하나 이상의 프로세서들(322) 및 물리적 네트워크 인터페이스들(324)을 포함할 수 있지만, 이에 한정되는 것은 아니다. 도 6과 관련하여 개시된 몇몇 다른 구성요소들은 구현하는 장치(300)에서 사용될 수 있다. 물리적 네트워크 인터페이스들(324)은 장치(300)에서 네트워크 제어 패킷들을 송신 및 수신하기 위한 물리적 포트들을 제공할 수 있다. 다시 말해서, 물리적 네트워크 인터페이스(324)는 장치(200)와 사설 또는 공중 네트워크(예를 들면, 314) 사이에 상호 접속 지점이다. 예를 들면, 이더넷 포트는 물리적 네트워크 인터페이스일 수 있다. 특정 실시예들에서, 하드웨어 자원들(320)로부터의 하나 이상의 프로세서들(322)은 네트워크 데이터 패킷 포워딩과 연관된 동작들을 수행하기 위해 저장 장치(625) 및/또는 네트워크로부터 커널(304), 데이터 모델(310) 및 소프트웨어 제어 평면 서브시스템(315)을 메모리(330)로 로딩할 수 있다. 특정 구현들에서, 데이터 모델(310) 및 소프트웨어 제어 평면 서브시스템(315)의 적어도 일부들은 사용자 공간(306)에서 구현될 수 있다.

특정 실시예들에서, 제어 평면 서버 컴퓨터로도 지칭되는 제어 평면을 실행하는 장치는 분산된 CPE와 같은 소프트웨어 데이터 평면 서브시스템들을 갖는 모든 물리적 장치들의 통합 및 중앙 뷰를 유지하기 위해 데이터 모델(310)을 구현할 수 있다. 데이터 모델(310)은 명령 라인 인터페이스(CLI)를 직접 사용하거나 표현 상태 전송(REST) 및 NETCONF와 같은 프로토콜들을 사용하는 제어기로부터 원격으로 상이한 명령 인터페이스들을 통해 수신된 모든 새로운 명령들의 결과인 상태를 격리시킬 수 있다. 이러한 동작 모드 명령들을 사용하여, 분산형 CPE(100)의 상태는 데이터 모델(310) 내의 제어 평면 서버 컴퓨터에서 유지될 수 있다.

일 구현에서, 데이터 모델(310)은 또 다른 차세대(YANG) 모델을 사용하여 구현될 수 있다. YANG은 NETCONF용 데이터 모델링 언어이다. YANG은 네트워크 요소들의 상태 데이터뿐만 아니라 구성 데이터를 모델링하기 위해 사용될 수 있다. 또한, YANG는 네트워크 요소들에 의해 방출된 이벤트 알림의 포맷을 정의하기 위해 사용될 수 있다. 따라서, YANG을 사용하여 구현된 데이터 모델(310)은 분산형 CPE(100)가 통합 모델을 사용하여 과도 상태 및 정적 상태를 유지하는 능력을 허용한다. 이러한 통합된 데이터 모델(310)의 구현은 시스템 내의 다양한 데이터 요소들의 더 양호한 동기화를 허용한다.

소프트웨어 제어 평면 서브시스템(315)은 데이터 모델(310)에 결합될 수 있고 제어기로부터 수신된 명령 또는 네트워크 정책을 구현하도록 구성될 수 있다. 일 실시예에서, 소프트웨어 제어 평면 서브시스템(315)은 제어기로부터 수신된 네트워크 정책들을 취하여 이를 데이터 평면 서브시스템들(108, 118)에 대한 동작들로 변환시키는 것을 담당할 수 있다. 소프트웨어 제어 평면 서브시스템(315)은 소프트웨어 데이터 평면 서브 시스템이 자신의 초기화시에 소프트웨어 제어 평면 서브시스템(315)에 등록할 때를 자신이 제어하는 소프트웨어 데이터 평면 서브시스템들을 학습한다.

소프트웨어 제어 평면 서브시스템들(315)은 데이터 평면 서브시스템들(108, 118)과 통신하기 위해 다양한 상이한 통신 기술들을 사용할 수 있다. 특정 실시예들에서, 도 1에 도시된 바와 같이, 소프트웨어 제어 평면 서브시스템(315)은 제어 채널(132)을 사용하여 소프트웨어 데이터 평면 서브시스템들(108, 118) 모두와 통신한다. 일 실시예에서, 제어 채널(132)을 통한 메시징은 JSON(JavaScript Open Notation) 캡슐화를 갖는 ZeroMQ 전송 메커니즘을 사용할 수 있다. ZeroMQ(ØMQ 또는 0MQ 또는 ZMQ라고도 표기함)는 확장 가능한 분산 또는 동시 애플리케이션에서의 사용을 목표로 하는 고성능 비동기 메시징 라이브러리이다. 이는 전용 메시지 브로커 없이 구동할 수 있는 메시지 대기열을 제공한다. 라이브러리는 익숙한 소켓 스타일의 API를 갖도록 설계된다. 이는 프로세스중, 프로세스 간, TCP, 및 멀티캐스트와 같은 다양한 전송들을 통해 미세 메시지들을 전달하는 소켓들을 제공한다. 그의 비동기식 I/O 모델은 확장 가능한 멀티코어 애플리케이션들을 가능하게 한다. JSON은 분산형 네트워크 시스템의 계층적 보기를 제공하기 위한 메커니즘을 제공한다.

예를 들면, 데이터 모델(310)은 제어기로부터 사용자에 의해 구성된 방화벽 정책을 수신하고, 방화벽 정책에 대한 데이터 모델 표현을 생성하고, 정책 모델 관련 정보를 데이터 모델(310)에 저장할 수 있다. 소프트웨어 제어 평면 서브시스템(315)은 이후 데이터 모델 표현을 JSON 표현으로 변환하고, 이는 ZeroMQ 메시지로 캡슐화되고 제어 채널(132)을 통해 ZeroMQ 버스를 사용하여 다양한 데이터 평면 서브시스템들에 전달된다.

소프트웨어 제어 평면 서브시스템(315)은 또한 제어 채널(132)을 통해 데이터 평면 서브시스템으로부터 메시지를 수신할 수 있다. 이들 메시지들은, 예를 들면, 데이터 평면 서브시스템들 및/또는 VNF들에 대한 상황 및 상태 정보를 소프트웨어 제어 평면 서브시스템(315)에 전달할 수 있다. 예를 들면, 소프트웨어 데이터 평면 서브시스템(예를 들면, 인터페이스 상태 변경)에 변화가 있는 경우, 상기 정보는 소프트웨어 데이터 평면 서브시스템에 의해 JSON 표현으로 캡슐화되고, 이는 차례로 ZeroMQ 메시지 버스로 캡슐화되고 제어 채널(132)을 사용하여 제어 평면 서브시스템(315)으로 전송된다. 제어 평면 서브시스템(315)은 이후 상태 변화(예를 들면, 데이터 모델(310)의 업데이트, 경로 변경 등)에 응답하기 위한 동작들을 취할 수 있다.

특정 실시예들에서, 제어 평면 서버 컴퓨터(300)는 운영 체계 커널(304), 데이터 모델(310)을 위한 로직, 및 소프트웨어 제어 평면 서브시스템(315)을 포함한다. 운영 체계 커널(304), 데이터 모델(310)을 위한 로직, 및 소프트웨어 제어 평면 서브시스템(315)은 Intel® 또는 AMD® 또는 다른 프로세서들에 의해 제공되는 프로세서들과 같은 하나 이상의 처리 엔티티들에 의해 실행된 명령들의 세트(코드 또는 프로그램)로서 구현된다. 예를 들면, 제어 평면 서브시스템(128)은 도 6에 도시되고 이하에 논의된 것과 같은 컴퓨팅 시스템에 의해 실행될 수 있다. 멀티코어 프로세서 환경에서, 제어 평면 서브시스템은 하나 이상의 프로세서들의 하나 이상의 코어들에 의해 실행될 수 있다. 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 가상 기계들을 포함하는 가상화된 환경에서, 소프트웨어 제어 평면 서브시스템(315)은 가상 기계 또는 심지어 하이퍼바이저(예를 들면, KVM 하이퍼바이저) 또는 네트워크 운영 시스템 내에서 실행되거나 그에 의해 호스트될 수 있다. 소프트웨어 제어 데이터 평면(315)이 여기에 개시되어 있지만, 특정 구현들에서, 하드웨어 제어 데이터 평면은 본 개시의 범위를 벗어나지 않고 구현될 수 있다.

소프트웨어 제어 평면 서브시스템(315)은 데이터 평면 서브시스템들(108, 118) 및 VNF들의 구성 및 관리를 담당한다. 예를 들면, 제어 평면 서브시스템(315)은 분산형 네트워크에 대한 라우팅 및 토폴로지 정보를 유지하도록 구성된다. 이러한 정보는 제어 평면 서브시스템에 의해 하나 이상의 데이터 평면 서브시스템들 및/또는 VNF들을 프로그래밍하기 위해 사용되어 그들이 데이터 패킷을 포워딩하여 그들의 소스로부터 그의 의도된 목적지로의 데이터 패킷들의 전달을 가능하게 한다. 특정 실시예들에서, 소프트웨어 제어 평면 서브시스템(315)은 포워딩 정보를 소프트웨어 데이터 평면 서브시스템 또는 VNF로 다운로드하도록 구성된다. 이러한 포워딩 정보는 이후 데이터 평면 서브시스템 및/또는 VNF에 의해 소프트웨어 데이터 평면 서브시스템을 포함하는 물리적 장치에 의해 수신된 데이터 패킷들을 포워딩하기 위해 사용된다. 소프트웨어 제어 평면 서브시스템(315)은 또한 다른 정책 관련(예를 들면, 방화벽 정책과 관련된) 정보를 데이터 평면 서브시스템에 다운로드할 수 있다.

소프트웨어 제어 평면 서브시스템(315)이 네트워크 및 토폴로지 정보를 수신할 수 있는 다양한 방식들이 있다. 소프트웨어 제어 평면 서브시스템(315)은 네트워크 장치들 사이에서 네트워크 및 토폴로지 정보를 교환하는 다양한 네트워킹 프로토콜들을 지원하기 위한 처리를 수행할 수 있다. 소프트웨어 제어 평면 서브시스템(315)은 분산형 네트워크 시스템의 다른 구성요소들로 보내지거나 그에 의해 시작된 제어 평면 패킷들을 생성 및 처리할 수 있다. 예를 들면, 제어 평면 서브시스템(315)은 서로 또는 다른 네트워크 장치들 또는 시스템들과 토폴로지 정보를 교환하고 라우팅 정보 프로토콜(RIP), 개방 최단 경로 우선(OSPF) 또는 경계 게이트웨이 프로토콜(BGP)과 같은 라우팅 프로토콜들을 사용하여 라우팅 테이블을 구성/유지할 수 있다.

데이터 모델(310) 및 소프트웨어 제어 평면 서브시스템(315) 및 소프트웨어 데이터 평면 서브시스템(232)의 분기를 사용하여 제어 평면 기능을 중앙 집중화하는 것은 또한 제어 평면 기능의 통합/집합을 가능하게 하면서 분산 데이터 평면 기능을 CPE들과 같은 개별 데이터 포워딩 장치들에 고속 포워딩을 위해 계속 제공한다. 이는 또한, 분산된 모든 장치에 대한 제어가 제어 평면 서버 컴퓨터에 중앙 집중화되므로, 이는 네트워크의 쉬운 구성을 가능하게 하고 분산 장치들을 유지할 수 있다. 제어 평면 서브시스템에서의 단일 명령은 해석되어 개별 CPE들에서 동작하는 모든 관련 데이터 평면 서브시스템들로 보급될 수 있다.

특정 실시예들에서, 이는 관리자가 데이터 센터에서 하나의 제어 평면 서브시스템 인터페이스를 통해 끌어 당겨진 분산형 라우터 인터페이스를 통해 로컬 서비스 기능 체인 이외에 상호 연결된 브랜치들 및 SP LAN 기능을 수행할 수 있는 서비스 모델로서의 소프트웨어를 가능하게 한다.

특정 실시예들에서, 제어 평면 서버 컴퓨터는 분산 기능을 가진 하나의 라우터처럼 보이는 시스템의 단일 시각화를 제공할 수 있는 오케스트레이션 계층(도시되지 않음)을 호스트할 수도 있고, 상기 라우터에 대한 소프트웨어 제어 평면 서브시스템은 데이터 센터에서 구동하고 이후 가상 기계들 및 VNF 기능을 지원하는 소프트웨어 데이터 평면 서브시스템들 및 하이퍼바이저들이 개별적으로 구동한다.

도 4는 본 개시의 하나 이상의 예시적인 양태들에 따라 본 발명의 실시예들을 수행하는 방법(400)을 나타내는 흐름도이다. 하나 이상의 양태들에 따라, 여기에 기술된 임의의 및/또는 모든 방법들 및/또는 방법 단계들은 물리적 장치(104)(또는 장치(106)), 장치(200) 또는 컴퓨터 시스템(600)에 의해 구현될 수 있다. 일 실시예에서, 도 4와 관련하여 이하에서 설명되는 하나 이상의 방법 단계들이 프로세서들(610) 또는 다른 프로세서와 같은 컴퓨팅 시스템(600)의 하나 이상의 프로세서들에 의해 구현된다. 추가로 또는 대안으로, 여기에 설명된 임의의 및/또는 모든 방법들 및/또는 방법 단계들은 메모리(635), 저장 장치(625) 또는 다른 컴퓨터 판독 가능 매체와 같은 컴퓨터 판독 가능 매체에 저장된 컴퓨터 판독 가능 명령들과 같은 컴퓨터 판독 가능 명령들로 구현될 수 있다.

블록(402)에서, 장치의 구성요소들은 제 1 장치에 대한 네트워크 데이터 패킷의 네트워크 데이터 패킷 포워딩을 변경하기 위한 제 1 네트워크 제어 패킷을 수신할 수 있다. 특정 실시예들에서, 장치는 고객 댁내에 배치될 수 있고, CPE 장치로 지칭될 수 있다. 네트워크 제어 패킷들은 일반적으로 네트워크 자체의 생성 및 동작에 사용되는 네트워크 장치(예를 들면, 제어 평면 서버 컴퓨터) 생성 또는 수신된 패킷을 지칭할 수 있다. 일 예에서, 네트워크 제어 패킷들은 데이터 평면 서브시스템 및/또는 장치상에서 실행중인 VNF를 업데이트 및/또는 구성할 수 있다. 네트워크 제어 패킷을 사용하는 프로토콜의 예들은 ARP, BGP, OSPF, 및 네트워크를 함께 제어하는 다른 프로토콜들을 포함하지만, 그로 한정되지 않는다.

블록(404)에서, 장치의 구성요소들은 제 1 장치상의 호스트 소프트웨어 스택에서 실행하는 데이터 평면 서브시스템에서 장치의 포워딩 기능을 변경할 수 있다.

블록(406)에서, 장치는 제 1 네트워크 데이터 패킷을 수신할 수 있다. 네트워크 데이터 패킷들은 일반적으로 중개 네트워크 장치들에 의해 다른 단말 장치들로 포워딩되는 단말 장치 사용자 애플리케이션 생성 패킷들을 말할 수 있다. 네트워크 장치의 관점에서, 네트워크 데이터 패킷들은 항상 목적지 인터넷 프로토콜(IP) 어드레스를 가지고 데이터 평면 서브시스템의 목적지 IP 어드레스 기반 포워딩 프로세스들을 사용하여 라우팅된다.

블록(408)에서, 장치는 데이터 평면 서브시스템을 사용하여 제 1 네트워크 데이터 패킷을 포워딩할 수 있다.

블록(410)에서, 장치는 제 2 네트워크 데이터 패킷을 수신할 수 있다. 블록(412)에서, 장치는 제 1 장치에서 가상 기계에서 실행중인 네트워크 기능을 사용하여 제 2 네트워크 데이터 패킷을 처리할 수 있고, 호스트 소프트웨어 스택으로부터의 하이퍼바이저가 가상 기계를 인스턴스화한다. 특정 구현들에서, 네트워크 기능을 구현하는 것은 네트워크 노드들 또는 기능을 구현하는 것을 포함할 수 있다.

도 4에 도시된 특정 단계들은, 본 발명의 일 실시예에 따른 동작의 모드들 사이에서 전환하는 특정 방법을 제공한다는 것이 이해되어야 한다. 대안적인 실시예들에서 단계들의 다른 시퀀스들이 또한 그에 따라 수행될 수 있다. 예를 들면, 본 발명의 대안적인 실시예들은 다른 순서로 상기에 약술된 단계들을 수행할 수 있다. 또한, 단계들에 대한 추가 단계들 또는 변형들이 특정 애플리케이션들에 따라 추가되거나 제거될 수 있다. 당업자는 프로세스의 많은 변형들, 수정들, 및 대안들을 인식하고 이해할 것이다.

도 5는 본 개시의 하나 이상의 예시적인 양태들에 따라 본 발명의 실시예들을 수행하는 방법(500)을 도시하는 흐름도이다. 하나 이상의 양태들에 따라, 여기에 기술된 임의의 및/또는 모든 방법들 및/또는 방법 단계들은 물리적 장치(102), 장치(300) 또는 컴퓨터 시스템(600)에 의해 및/또는 그 안에서 구현될 수 있다. 일 실시예에서, 도 5와 관련하여 이하에서 설명되는 하나 이상의 방법 단계들은 프로세서(610) 또는 다른 프로세서와 같은 컴퓨팅 시스템(600)의 하나 이상의 프로세서들에 의해 구현된다. 추가로 또는 대안적으로, 여기에 설명된 임의의 및/또는 모든 방법들 및/또는 방법 단계들은 메모리(635), 저장 장치(625)와 같은 컴퓨터 판독 가능 매체 또는 다른 컴퓨터 판독 가능한 매체상에 저장된 컴퓨터 판독 가능 명령들과 같은 컴퓨터 판독 가능 명령들로 구현될 수 있다.

블록(502)에서, 제어 평면 서버 컴퓨터와 같은 제 1 장치는 제어 평면 서브시스템을 실행할 수 있다. 특정 실시예들에서, 제어 평면 서브시스템은 메모리 내의 저장 장치로부터 로딩되고 하나 이상의 프로세서들상에서 실행되는 명령들을 갖는 소프트웨어 제어 평면 서브시스템일 수 있다. 제 1 장치는 제어 평면 서버 컴퓨터 및 CPE 장치와 같은 몇몇 다른 장치를 포함하는 오버레이 네트워크에 대한 인터페이스를 제공할 수 있다. 집합적으로, 모든 장치들은 분산형 CPE를 나타낼 수 있다.

블록(504)에서, 제 1 장치는 제 2 장치에서 실행하도록 구성된 제 1 소프트웨어 데이터 평면 서브시스템의 포워딩 기능을 제어할 수 있다. 일부 시나리오들에서, 제 2 장치가 고객 댁내에 배치되며 CPE라고 할 수 있다. 특정의 구현들에서, 제 1 장치는 네트워크 제어 패킷들을 제 2 장치에 전송함으로써 제 2 장치상의 데이터 평면 서브시스템을 제어하는 제 1 소프트웨어 제어 평면 서브시스템을 실행할 수 있다. 네트워크 제어 패킷들은 일반적으로 네트워크 자체의 생성 및 동작에 사용되는 네트워크 장치 생성 또는 수신 패킷들을 지칭할 수 있다. 네트워크 장치의 관점으로부터, 네트워크 제어 패킷들은 항상 수신 목적지 IP 어드레스를 가지고 네트워크 장치 경로 프로세서의 CPU에 의해 핸들링된다. 일 예에서, 네트워크 제어 패킷들은 장치상에서 실행중인 데이터 평면 서브시스템 및/또는 VNF를 업데이트 및/또는 구성할 수 있다. 네트워크 제어 패킷들을 사용하는 프로토콜들의 예들은 ARP, BGP, OSPF, 및 네트워크를 함께 제어하는 다른 프로토콜들을 포함하지만 이에 한정되지는 않는다.

블록(506)에서, 제 1 장치는 또한 제 2 장치상의 제 1 가상 기계의 인스턴스 화를 제어할 수 있다. 특정 실시예들에서, 제 1 장치의 구성 요소들은 가상화 기술을 지원한다. 예를 들면, 제 1 장치는 가상화를 지원하고 가상 기계의 인스턴스화 및 관리를 가능하게 하는 하이퍼바이저를 실행하는 프로세서를 포함할 수 있다. 가상 기계는 특정 기능들의 실행을 위해 격리된 환경을 제공할 수 있다.

블록(508)에서, 제 1 장치는 제 2 장치상에서 실행중인 제 1 가상 기계의 제 1 네트워크 기능의 실행을 제어할 수 있다. 네트워크 기능은 가상 네트워크 기능을 나타낼 수 있다. 가상 네트워크 기능은 제 2 장치의 네트워크 성능들을 향상시키거나 증대시키는 가상 기계들에서 실행된 임의의 네트워크 기능들을 포함할 수 있다. VNF들의 예들은 레벨 2(L2), 레벨 3(L3) 네트워킹 기능들, 방화벽, 가상 사설망(VPN) 종단, 액세스 제어 리스트들(ACLs), 딥 패킷 검사(DPI) 기능, 네트워크 분석 기능, 네트워크 기계 학습 기능 등을 포함할 수 있지만, 그로 한정되지 않는다.

블록(510)에서, 제 1 장치는 제 3 장치상에서 실행하도록 구성된 제 2 소프트웨어 데이터 평면 서브시스템의 포워딩 기능을 제어할 수 있다. 일부 시나리오들에서, 제 2 장치는 고객 댁내에 배치되고 CPE라고 불릴 수 있다.

블록(512)에서, 제 1 장치는 또한 제 3 장치상의 제 2 가상 기계의 인스턴스화를 제어할 수 있다. 특정 실시예들에서, 제 1 장치의 구성요소들은 가상화 기술을 지원한다. 예를 들면, 제 1 장치는 가상화를 지원하고 가상 기계의 인스턴스화 및 관리를 가능하게 하는 하이퍼바이저를 실행하는 프로세서를 포함할 수 있다.

블록(514)에서, 제 1 장치는 제 3 장치상에서 실행중인 가상 기계에서 제 2 네트워크 기능의 실행을 제어할 수 있다.

특정 실시예들에서, 제 1, 제 2, 및 제 3 장치는 함께 분산형 CPE 또는 분산 형 CPE 시스템으로 지칭될 수 있다. 제어 평면 서버 컴퓨터라고도 불리는 제 1 장치는 소프트웨어 제어 평면 서브시스템을 포함하고, 소프트웨어 데이터 평면 서브시스템들을 실행하는 네트워크 내의 다양한 장치들과 상호 작용하기 위해 통합 인터페이스 및 네트워크 오버레이를 제공할 수 있다. 소프트웨어 데이터 평면 서브시스템들을 실행하는 각각의 장치들은 또한 가상화를 지원하고 하이퍼바이저를 실행하여 가상 기계들을 인스턴스화할 수 있다. 장치들의 각각은 가상 기계들에서 VNF들을 실행할 수도 있다.

분산형 CPE는 네트워크의 중앙 집중식 모델링 및 제어를 가능하게 하는 고도로 통합되지만 확장 가능하고 유연한 네트워크 환경을 제공할 수 있으면서, 가상화를 사용하여 VNF들에서 연결함으로써 소프트웨어 데이터 평면 서브시스템을 포함하는 물리적 장치들(또는 CPE들)의 각각에서 데이터 평면 기능을 교체 및 증대시키기 위한 능력을 제공한다.

도 5에 도시된 특정 단계들은 본 발명의 일 실시예에 따른 동작의 모드들 사이에서 전환하는 특정 방법을 제공하는 것이 이해되어야 한다. 대안적인 실시예들에서 단계들의 다른 시퀀스들이 또한 그에 따라 수행될 수 있다. 예를 들면, 본 발명의 대안적인 실시예들은 다른 순서로 위에서 약술된 단계들을 수행할 수 있다. 또한, 단계들에 대한 추가 단계들 또는 변형들이 특정 애플리케이션들에 따라 추가되거나 제거될 수 있다. 당업자는 프로세스의 많은 변형들, 수정들, 및 대안들을 인식하고 이해할 것이다.

도 6은 본 발명의 일 실시예에 따른 분산형 라우터의 다양한 구성요소들 또는 서브시스템들을 실행하기 위해 사용될 수 있는 컴퓨팅 시스템 또는 장치(600)의 간략화된 블록도이다. 일부 실시예들에서, 컴퓨팅 시스템(600)은 전술한 방법들 중 임의의 것을 구현하도록 구성된다. 예를 들면, 컴퓨터 시스템(600)과 같은 하나 이상의 컴퓨터 시스템들은 제어기(102), 하나 이상의 제어 평면 서브시스템들(104), 및 하나 이상의 소프트웨어 데이터 평면 서브시스템들(108)과 같은 분산형 라우터의 하나 이상의 서브시스템들을 실행하기 위해 사용될 수 있다.

컴퓨터 시스템(600)은 개인용 컴퓨터, 휴대용 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 메인프레임, 키오스크, PDA, 휴대폰, 또는 임의의 다른 데이터 처리 시스템을 제한 없이 포함하는 다양한 형태들일 수 있다. 컴퓨터들 및 네트워크들의 끊임없이 변화하는 특성으로 인해, 도 6에 도시된 컴퓨터 시스템(600)의 설명은 컴퓨터 시스템의 바람직한 실시예를 예시하기 위해 구체적인 예로서만 의도된다. 도 6에 도시된 시스템보다 더 많은 또는 더 적은 구성 요소들을 갖는 많은 다른 구성들이 가능하다.

컴퓨터 시스템(600)은 버스(605)를 통해 전기적으로 결합된 하드웨어 요소들을 포함하는 것으로 도시된다. 하드웨어 요소들은 하나 이상의 프로세서들(610), 하나 이상의 입력 장치들(615), 하나 이상의 출력 장치들(620), 통신 서브시스템(630), 및 저장 서브시스템(640)을 포함할 수 있다. 버스 서브시스템(605)은 컴퓨터 시스템(600)의 다양한 구성요소들 및 서브시스템들이 의도된 바와 같이 서로 통신하게 하는 메커니즘을 제공한다. 버스 서브시스템(605)은 단일 버스로서 개략적으로 도시되지만, 버스 서브시스템의 다른 실시예들은 다수의 버스들을 이용할 수 있다.

프로세서(610)는 컴퓨터 시스템(600)의 처리 자원들을 나타내고, 하나 이상의 범용 프로세서들 및/또는 하나 이상의 특수 목적 프로세서들(예컨대 디지털 신호 처리 칩들, 그래픽 가속 프로세서들 등)을 제한 없이 포함할 수 있다. 프로세서들(610)은 하나 이상의 멀티코어 프로세서들을 포함할 수 있다.

입력 장치들(615)은 제한 없이 마우스, 키보드, 터치패드, 태블릿 등과 같은 컴퓨터 시스템(600)에 입력들을 제공하기 위한 하나 이상의 상이한 메커니즘들을 포함할 수 있다. 출력 장치들(620)은 제한 없이 디스플레이 장치, 프린터 등과 같은 컴퓨터 시스템(600)으로부터 정보를 출력하기 위한 하나 이상의 상이한 메커니즘들을 포함할 수 있다.

컴퓨터 시스템(600)은 컴퓨터 시스템(600)에 및 그로부터 통신들을 가능하게 하는 통신 서브시스템(630)을 또한 포함할 수 있다. 통신 서브시스템(630)은 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 장치, 무선 통신 장치, 및/또는 칩셋(예를 들면, 블루투스® 장치, 802.11 장치, WiFi 장치, WiMax 장치, 셀룰러 통신 설비들 등과 같은)을 제한 없이 포함할 수 있다. 통신 서브시스템(630)은 데이터가 네트워크, 다른 컴퓨터 시스템들, 및/또는 여기에 설명된 임의의 다른 장치들과 교환되는 것을 허용할 수 있다. 특정 실시예들에서, 통신 서브시스템(630)은 상기 교시에 따라 하드웨어 데이터 평면을 구현하기 위해 사용되는 포워딩 하드웨어를 포함할 수 있다.

저장 서브시스템(640)은 하나 이상의 프로세서들(610)에 의해 실행될 수 있는 정보 및 코드(명령들)를 저장하기 위한 비일시적인 매체를 제공한다. 예를 들면, 저장 서브시스템(640)은 본 발명의 실시예들의 기능을 제공하는 기본 프로그래밍 및 데이터 구성들을 저장하도록 구성될 수 있다. 본 발명의 일 실시예에 따르면, 본 발명의 기능을 구현하는 소프트웨어 코드 명령들 또는 모듈들이 저장 서브시스템(640)에 저장될 수 있다. 이들 소프트웨어 모듈들은 프로세서(들)(610)에 의해 실행될 수 있다. 저장 서브시스템(640)은 또한 본 발명에 따라 사용되는 데이터를 저장하기 위한 저장소를 제공할 수 있다. 저장 서브시스템(640)은 메모리 서브시스템(642) 및 파일/디스크 저장 서브시스템(644)을 포함할 수 있다.

메모리 서브시스템(642)은 프로그램 실행 동안 명령들 및 데이터의 저장을 위한 메인 랜덤 액세스 메모리(RAM), 고정 명령들이 저장된 판독 전용 메모리(ROM), 플래시 메모리 등과 같은 다수의 메모리들을 포함할 수 있다. 다수의 소프트웨어 요소들은 다양한 실시예들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수 있고, 및/또는 여기에 설명된 다른 실시예들에 의해 제공된 방법들을 구현하고 및/또는 시스템들을 구성하도록 설계될 수 있는 하나 이상의 애플리케이션 프로그램들(648)과 같은, 운영 시스템(646), 장치 드라이버들, 실행 가능 라이브러리들, 및/또는 다른 코드와 같이 시스템 메모리(642) 내에 위치될 수 있다.

파일 저장 서브시스템(644)은 프로그램 및 데이터 파일들을 위한 지속적인(비휘발성) 저장 장치를 제공하고, 하드 디스크 드라이브, 연관된 제거 가능한 매체와 함께 플로피 디스크 드라이브, 콤팩트 디스크 판독 전용 메모리(CD-ROM) 드라이브, 광 드라이브, 제거 가능한 매체 카트리지들, 로컬 및/또는 네트워크 액세스 가능 저장 장치, 및 다른 유사한 저장 매체를 포함할 수 있다.

본 명세서에서 사용된 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어들은 기계가 특정 방식으로 작동하게 하는 데이터 제공에 참여하는 비일시적 매체를 의미한다. 컴퓨터 시스템(600)을 사용하여 구현된 실시예에서, 다양한 컴퓨터 판독 가능 매체가 프로세서(들)(610)에 명령들/코드를 제공하는 것과 관련될 수 있고, 및/또는 이러한 명령들/코드를 저장하기 위해 사용될 수 있다. 컴퓨터 판독 가능 매체는 비휘발성 매체 및 휘발성 매체와 같은 많은 형태들을 취할 수 있다.

상기 논의된 방법들, 시스템들, 및 장치들은 예들이다. 다양한 실시예들은 적절하게 다양한 절차들 또는 구성요소들을 생략, 대체, 또는 추가할 수 있다. 예를 들면, 대안적인 구성들에서, 설명된 방법들은 설명된 것과 다른 순서로 수행될 수 있고 및/또는 다양한 단계들이 추가, 생략, 및/또는 조합될 수 있다. 실시예들의 상이한 양태들 및 요소들은 유사한 방식으로 조합될 수 있다. 기술이 진화하고, 따라서, 많은 요소들은 개시의 범위를 이들 특정 예들로 한정하지 않는 예이다.

실시예들에 대한 완전한 이해를 제공하기 위해 특정한 상세들이 설명에 제공된다. 그러나, 실시예들은 이들 특정한 상세들없이 실시될 수 있다. 예를 들면, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들은 실시예들을 모호하게 하는 것을 피하기 위해 불필요한 상세 없이 나타내었다. 이러한 설명은 단지 예시적인 실시예들을 제공하고, 본 발명의 범위, 적용 가능성, 또는 구성을 한정하도록 의도되지 않는다. 오히려, 실시예들의 선행 설명은 당업자에게 본 발명의 실시예들을 구현하기 위한 설명을 가능하게 할 것이다. 본 발명의 사상 및 범위를 벗어나지 않으면서 요소들의 기능 및 배열에 다양한 변경들이 행해질 수 있다.

본 발명의 특정 실시예들이 설명되었지만, 다양한 수정들, 변경들, 대안적인 구성들, 및 등가물들이 또한 본 발명의 범위 내에 포함된다. 본 발명의 실시예들은 특정 데이터 처리 환경들 내에서의 동작하도록 제한되지 않고, 복수의 데이터 처리 환경들 내에서 자유롭게 동작할 수 있다. 또한, 특정 실시예들이 특정한 일련의 트랜잭션들 및 단계들을 사용하여 설명되었지만, 본 발명의 범위는 설명된 일련의 트랜잭션들 및 단계들로 한정되지 않는다는 것이 당업자에게 명백할 것이다. 일부 플로차트들은 동작들을 순차 프로세스로 설명하지만, 많은 동작들은 병렬 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재정렬될 수 있다. 프로세스는 도면에 포함되지 않은 추가 단계들을 가질 수 있다.

또한, 하드웨어 및 소프트웨어의 특정 조합을 사용하여 특정 실시예들이 설명되었지만, 하드웨어 및 소프트웨어의 다른 조합도 본 발명의 범위 내에 있음이 인식되어야 한다. 본 발명의 특정 실시예들은 하드웨어에서만, 또는 소프트웨어(예를 들면, 코드 프로그램들, 펌웨어, 미들웨어, 마이크로코드 등)에서만, 또는 이들의 조합들을 사용하여 구현될 수 있다. 여기에 설명된 다양한 프로세스들은 임의의 조합으로 동일한 프로세서 또는 다른 프로세서상에서 구현될 수 있다. 따라서, 구성요소들 또는 모듈들이 특정 동작들을 수행하도록 구성된 것으로 설명되는 경우, 이러한 구성은 컴퓨터 명령 또는 코드, 또는 이들의 임의의 조합을 실행함으로써와 같이 동작을 수행하기 위해, 예를 들면, 동작을 수행하도록 전자 회로들을 설계함으로써, (마이크로프로세서들과 같은) 프로그램가능한 전자 회로들을 프로그래밍함으로써 달성될 수 있다. 프로세스들은 프로세스간 통신에 대한 기존 기술들을 포함하지만 그로 한정되지 않는 다양한 기술들을 사용하여 통신할 수 있고, 프로세스들의 상이한 쌍들이 상이한 기술들을 사용할 수 있거나, 프로세스들의 동일한 쌍이 다른 시간에 상이한 기술들을 사용할 수 있다.

따라서, 명세서 및 도면들은 제한적인 의미라기보다는 예시적인 것으로 간주될 것이다. 그러나, 청구 범위에 기재된 더 넓은 사상 및 범주를 벗어나지 않고 추가들, 감산들, 삭제들, 및 다른 수정들 및 변경들이 행해질 수 있음이 명백할 것이다. 따라서, 특정 발명의 실시예들이 설명되었지만, 이들은 한정하려는 것이 아니다. 다양한 변형들 및 등가물들이 다음의 청구 범위의 범주 내에 있다.

Claims (21)

1. 분산형 고객 댁내 장비(customer premises equipment; CPE)에 있어서,
   제 1 위치에 위치된 제어 평면 서버 컴퓨터로서,
   하나 이상의 프로세서들과;
   상기 하나 이상의 프로세서들에 의해 실행 가능한 명령들을 저장하는 메모리로서, 상기 명령들은, 실행될 때, 상기 제어 평면 서버 컴퓨터로 하여금,
   복수의 장치들에 대한 동작들을 제어하기 위해 하나 이상의 네트워크 인터페이스들을 사용하여 네트워크 제어 패킷들을 전송하는 제어 평면 서브시스템을 실행하게 하는, 상기 메모리를 포함하는, 상기 제어 평면 서버 컴퓨터;
   제 2 위치에 위치된 상기 복수의 장치들 중 제 1 장치로서:
   하나 이상의 프로세서들과;
   상기 하나 이상의 프로세서들에 의해 실행 가능한 명령들을 저장하는 메모리로서, 상기 명령들은, 실행될 때, 상기 제 1 장치로 하여금,
   네트워크 데이터 패킷들을 포워딩하도록 구성된 제 1 데이터 평면 서브시스템을 실행하게 하고, 상기 네트워크 데이터 패킷들의 포워딩은 상기 제어 평면 서버 컴퓨터로부터 수신된 상기 네트워크 제어 패킷들 중 적어도 하나에 기초하고,
   제 1 네트워크 기능을 실행할 수 있는 제 1 가상 기계를 인스턴스화하게 하는, 상기 메모리를 포함하는, 상기 제 1 장치; 및
   제 3 위치에 위치한 상기 복수의 장치들 중 제 2 장치로서,
   하나 이상의 프로세서들과;
   상기 하나 이상의 프로세서들에 의해 실행 가능한 명령들을 저장하는 메모리로서, 상기 명령은, 실행될 때, 상기 제 2 장치로 하여금:
   네트워크 데이터 패킷들을 포워딩하도록 구성된 제 2 데이터 평면 서브시스템을 실행하게 하고, 상기 네트워크 데이터 패킷들의 포워딩은 상기 제어 평면 서버 컴퓨터로부터 수신된 상기 네트워크 제어 패킷들 중 적어도 하나에 기초하고;
   제 2 네트워크 기능을 실행할 수 있는 제 2 가상 기계를 인스턴스화하게 하는, 상기 메모리를 포함하는, 상기 제 2 장치를 포함하는, 분산형 고객 댁내 장비.
2. 제 1 항에 있어서,
   상기 복수의 장치들은 고객 댁내 장비(CPE) 장치들인, 분산형 고객 댁내 장비.
3. 제 1 항에 있어서,
   상기 제 1 네트워크 기능은 가상 네트워크 기능(virtual network function; VNF)인, 분산형 고객 댁내 장비.
4. 제 1 항에 있어서,
   상기 제 1 네트워크 기능은 네트워크 방화벽, 네트워크 레벨 2 포워딩, 네트워크 레벨 3 포워딩, 가상 사설망(VPN), 액세스 제어 리스트(ACL), 또는 사설 교환기(PBX) 중 하나 이상인, 분산형 고객 댁내 장비.
5. 제 1 항에 있어서,
   상기 제 1 장치는:
   상기 제어 평면 서버 컴퓨터의 상기 제어 평면 서브시스템으로부터 하나 이상의 네트워크 제어 패킷들을 수신하고;
   상기 제 1 장치에서 제 3 가상 기계를 인스턴스화하고;
   상기 하나 이상의 네트워크 제어 패킷들을 수신하는 것에 기초하여, 상기 제 1 장치에서 상기 제 3 가상 기계 내에서 실행하는 제 3 네트워크 기능을 인스턴스화하도록 구성되는, 분산형 고객 댁내 장비.
6. 제 1 항에 있어서,
   상기 제 1 가상 기계는 적어도 상기 제어 평면 서버 컴퓨터로부터의 상기 네트워크 제어 패킷들 중 하나를 수신하는 것에 기초하여 상기 제 1 장치에 의해 인스턴스화되는, 분산형 고객 댁내 장비.
7. 제 1 항에 있어서,
   상기 제 1 네트워크 기능은 적어도 상기 제어 평면 서버 컴퓨터로부터의 상기 네트워크 제어 패킷들로부터 적어도 하나의 네트워크 제어 패킷을 수신하는 것에 기초하여 구성되는, 분산형 고객 댁내 장비.
8. 제 1 항에 있어서,
   상기 제 1 위치는 데이터센터이고, 상기 제 2 및 상기 제 3 위치는 고객 댁내인, 분산형 고객 댁내 장비.
9. 제 1 항에 있어서,
   상기 제 1 장치는 상기 데이터 평면 서브시스템과 상기 제 1 가상 기계를 인스턴스화하기 위한 하이퍼바이저를 포함하는 상기 메모리에 저장된 호스트 소프트웨어 스택을 포함하는, 분산형 고객 댁내 장비.
10. 제 1 항에 있어서,
    상기 제 1 위치의 상기 제어 평면 서버 컴퓨터 및 상기 제 2 위치의 상기 제 1 장치는 네트워크 채널을 사용하여 접속되는, 분산형 고객 댁내 장비.
11. 제 1 항에 있어서,
    상기 제어 평면 서버 컴퓨터와 상기 제 1 장치 사이의 거리는 임계값보다 큰, 분산형 고객 댁내 장비.
12. 분산형 고객 댁내 장비에 있어서:
    제 1 장치상에서 실행하도록 구성된 제어 평면 서브시스템;
    제 2 장치상에서 실행하도록 구성된 제 1 데이터 평면 서브시스템으로서, 상기 제 2 장치는 제 1 네트워크 기능을 실행할 수 있는 제 1 가상 기계를 실행하도록 또한 구성되는, 상기 제 1 데이터 평면 서브시스템; 및
    제 3 장치상에서 실행하도록 구성된 제 2 데이터 평면 서브시스템으로서, 상기 제 3 장치는 제 2 네트워크 기능을 실행할 수 있는 제 2 가상 기계를 실행하도록 또한 구성되는, 상기 제 2 데이터 평면 서브시스템을 포함하고,
    상기 제어 평면 서브시스템은 상기 제 1 데이터 평면 서브시스템 및 상기 제 2 데이터 평면 서브시스템의 포워딩 기능을 제어하고, 상기 제 1 네트워크 기능 및 상기 제 2 네트워크 기능을 제어하도록 구성되는, 분산형 고객 댁내 장비.
13. 제 12 항에 있어서,
    상기 제 1 장치 및 상기 제 2 장치는 고객 댁내 장비(CPE) 장치들인, 분산형 고객 댁내 장비.
14. 제 12 항에 있어서,
    상기 제 1 네트워크 기능은 가상 네트워크 기능(VNF)인, 분산형 고객 댁내 장비.
15. 제 12 항에 있어서,
    상기 제 1 네트워크 기능은 네트워크 방화벽, 네트워크 레벨 2 포워딩, 네트워크 레벨 3 포워딩, 가상 사설망(VPN), 액세스 제어 리스트(ACL), 또는 사설 교환기(PBX) 중 하나 이상인, 분산형 고객 댁내 장비.
16. 제 12 항에 있어서,
    상기 제 1 장치는:
    상기 제어 평면 서브시스템으로부터 하나 이상의 네트워크 제어 패킷들을 수신하고;
    상기 하나 이상의 네트워크 제어 패킷들을 수신하는 것에 기초하여, 상기 제 1 장치에서 제 3 가상 기계를 인스턴스화하고;
    상기 하나 이상의 네트워크 제어 패킷들을 수신하는 것에 기초하여, 상기 제 1 장치에서 상기 제 3 가상 기계 내에서 실행하는 제 3 네트워크 기능을 인스턴스화하도록 구성되는, 분산형 고객 댁내 장비.
17. 네트워크 패킷들을 라우팅하는 방법에 있어서,
    제 1 장치로부터, 제 2 장치상에서 실행하도록 구성된 데이터 평면 서브시스템의 포워딩 기능을 제어하는 단계;
    상기 제 1 장치로부터, 상기 제 2 장치상의 가상 기계의 인스턴스화를 제어하는 단계; 및
    상기 제 1 장치로부터, 상기 가상 기계에서 네트워크 기능의 실행을 제어하는 단계를 포함하는, 네트워크 패킷들을 라우팅하는 방법.
18. 제 17 항에 있어서,
    상기 방법은, 제 1 장치로부터, 상기 포워딩 기능, 상기 가상 기계의 인스턴스화 및 상기 네트워크 기능의 실행을 제어하기 위한 제어 평면 서브시스템을 실행하는 단계를 포함하는, 네트워크 패킷들을 라우팅하는 방법.
19. 제 17 항에 있어서,
    상기 제 1 장치로부터, 제 3 장치상에 실행하도록 구성된 제 2 데이터 평면 서브시스템의 포워딩 기능을 제어하는 단계;
    상기 제 1 장치로부터, 상기 제 2 장치상의 제 2 가상 기계의 인스턴스화를 제어하는 단계; 및
    상기 제 1 장치로부터, 상기 제 2 가상 기계에서의 제 2 네트워크 기능의 실행을 제어하는 단계를 더 포함하는, 네트워크 패킷들을 라우팅하는 방법.
20. 네트워크 데이터 패킷들을 포워딩하기 위한 방법에 있어서,
    제 1 장치에서, 상기 제 1 장치에 대한 상기 네트워크 데이터 패킷들의 포워딩 기능을 변경하기 위해 서버로부터 네트워크 제어 패킷을 수신하는 단계;
    상기 제 1 장치상의 호스트 소프트웨어 스택에서 실행하는 데이터 평면 서브시스템에서 상기 제 1 장치의 상기 포워딩 기능을 변경하는 단계;
    상기 제 1 장치에서, 제 1 네트워크 데이터 패킷을 수신하는 단계;
    상기 데이터 평면 서브시스템을 사용하여 상기 제 1 네트워크 데이터 패킷을 포워딩하는 단계;
    상기 제 1 장치에서, 제 2 네트워크 데이터 패킷을 수신하는 단계; 및
    상기 제 1 장치에서 가상 기계에서 실행하는 네트워크 기능을 사용하여 상기 제 2 네트워크 데이터 패킷을 처리하는 단계를 포함하고, 상기 호스트 소프트웨어 스택으로부터의 하이퍼바이저는 상기 가상 기계를 인스턴스화하는, 네트워크 데이터 패킷들을 포워딩하기 위한 방법.
21. 제 17 항에 있어서,
    상기 제 1 장치는 고객 댁내 장비(CPE)인, 네트워크 패킷들을 라우팅하는 방법.

Images