KR102265669B1

KR102265669B1 - 패브릭을 통한 멀티-모드 불휘발성 메모리 익스프레스 장치들을 위한 액티브 패스-쓰루 보드를 지원하는 시스템 아키텍처

Info

Publication number: KR102265669B1
Application number: KR1020170086591A
Authority: KR
Inventors: 솜퐁 폴 올라이그; 프레드 울리; 손 팜
Original assignee: 삼성전자주식회사
Priority date: 2016-07-26
Filing date: 2017-07-07
Publication date: 2021-06-17
Also published as: KR20180012201A; KR102358676B1; KR20210073504A; US20180032463A1; US10387353B2

Abstract

랙-장착 시스템(rack-mounted system)은 섀시(chassis), 섀시 내에 위치한 스위치리스 보드, 미드플레인, 및 복수의 장치 포트들을 포함한다. 스위치리스 보드는 기본보드 관리 제어기(BMC; baseboard management controller), 네트워크 신호들을 운반하도록 구성되는 네트워크 리피터, 및 PCIe 신호들을 운반하도록 구성되는 PCIe 스위치를 포함한다. 복수의 장치 포트들 각각은 스토리지 장치를 미드플레인에 연결하고, 네트워크 신호들 및 PCIe 신호들을 미드플레인을 통해 운반하도록 구성되고, 스토리지 장치는 섀시의 타입을 기반으로 복수의 스토리지 프로토콜 모드들 중 하나로 동작하도록 구성되고, 스위치리스 보드의 네트워크 리피터는 이더넷 스위치와 교환되어 동일한 미드플레인을 사용하는 섀시로의 스위칭 호환성을 제공한다. 스토리지 장치는 싱글-포트 및 듀얼-포트 구성들로 동작할 수 있다.

Description

패브릭을 통한 멀티-모드 불휘발성 메모리 익스프레스 장치들을 위한 액티브 패스-쓰루 보드를 지원하는 시스템 아키텍처{SYSTEM ARCHITECTURE FOR SUPPORTING ACTIVE PASS-THROUGH BOARD FOR MULTI-MODE NONVOLATILE MEMORY EXPRESS OVER FABRICS DEVICES}

본 발명은 일반적으로 네트워크-부착형 장치들(network-attached devices)에 관한 것으로, 좀 더 상세하게는, 패브릭 을 통한 멀티-모드 NVMe(NVMeoF; NVMe over Fabrics) 장치들을 위한 액티브 패스-쓰루를 지원하는 시스템 아키텍처에 관한 것이다.

NVMe(Non-Volatile Memory express)와 NVMeoF(NVMe over Fabrics)(또는 줄여서 NVMf)는 새롭게 대두되는 기술들이다. NVMe는, PCIe(Peripheral Component Interconnect express) 버스를 통해 불휘발성 메모리 서브 시스템(예를 들어, SSD(Solid-State Drive))과 통신하기 위한 호스트 소프트웨어에 대한 레지스터-레벨 인터페이스를 정의하는 표준이다.

NVMeoF는 광범위한 스토리지 네트워킹 패브릭들(fabrics)(예를 들어, 이더넷(Ethernet), 파이버 채널(Fibre Channel), InfiniBand, 그리고 다른 네트워크 패브릭들)을 통해 NVMe 블록 스토리지 프로토콜을 지원하는 공통 아키텍처를 정의한다. NVMeoF-기반의 시스템에 대해, 마더보드 상의 x86 기반 CPU(Central Processing Unit)는 개시자(initiator)(예를 들어, 호스트 소프트웨어)와 타겟 장치(예를 들어, NVMeoF 장치) 사이에서 더 이상 데이터를 이동할 필요가 없다. 왜냐하면 타겟 장치가 스스로 데이터를 이동시킬 수 있기 때문이다. 패브릭(fabrics)이라는 용어는 네트워크 노드들이 다양한 상호 연결 프로토콜들, 포트들, 그리고 스위치들을 통해 서로에게 데이터를 전달할 수 있는 네트워크 토폴로지를 지칭한다. 예를 들어, 이더넷-부착형 SSD들(Ethernet-attached SSDs)은 패브릭에 직접 부착될 수 있고, 이 경우 패브릭은 이더넷일 수 있다.

많은 수의 포트를 갖는 단일 스위치 제어기가 포트-당-평균 비용을 낮추기 때문에, 최근의 이더넷 스위치 보드들은 이더넷-부착형 SSD들이 많은 수의 포트들을 수용하도록 설계된다. 예를 들어, 이더넷 스위치는 25G 이더넷 스위칭을 위하여 보통 128개의 포트들을 포함할 수 있다. 전형적인 이더넷 SSD 랙 섀시(rack chassis)는 이더넷 스위치에 사용할 수 있는 128개의 포트들 중 24~48개의 포트들만 사용하고, 나머지 80~104개의 포트들은 사용하지 않는다. 더욱이, 사용 가능한 128개 포트들 모두를 설치하는 것은 이더넷 SSD 랙 섀시의 2U 패널의 공간적 제한으로 인하여 물리적으로 불가능하다. 이러한 경우들에서, 각 이더넷 SSD 랙 섀시에서 지나치게 많은 수의 포트들을 갖는 이더넷 스위치를 사용하는 것은 많은 비용이 들고, 낭비일 것이다. 128개 포트들을 섀시에 설치하는 것은 가능하나, 부착된 SSD들의 커넥터들 뿐만 아니라 섀시 및/또는 랙-부착형 시스템뿐을 포함하는 시스템 구조의 재설계 및 좀 더 많은 랙 공간이 필요하다는 점에서 그것이 실행 가능한 해결책은 아니다.

본 발명은 상술된 기술적 과제를 해결하기 위한 것으로써, 본 발명의 목적은 멀티-모드 NVMeoF 장치들에 대한 액티브 패스-쓰루 보드를 지원하는 시스템 아키텍처를 제공하는데 있다.

일 실시 예에 따르면, 랙-장착 시스템(rack-mounted system)은 섀시(chassis), 스위치리스 보드(switchless board), 미드플레인(midplane), 및 복수의 장치 포트들을 포함한다. 상기 스위치리스 보드는 상기 섀시 내에 위치하고, 기본보드 관리 제어기(BMC; baseboard management controller), 네트워크 신호들을 운반하도록 구성되는 네트워크 리피터, 및 PCIe 신호들을 운반하도록 구성되는 PCIe 스위치를 포함한다. 상기 복수의 장치 포트들 각각은 스토리지 장치를 상기 미드플레인에 연결하고, 상기 네트워크 신호들 및 상기 PCIe 신호들을 상기 미드플레인을 통해 운반하도록 구성된다. 상기 스토리지 장치는 상기 섀시의 타입을 기반으로 복수의 스토리지 프로토콜 모드들 중 하나로 동작하도록 구성된다. 상기 스위치리스 보드의 상기 네트워크 리피터는 이더넷 스위치와 교환되어 상기 동일한 미드플레인을 사용하는 상기 섀시로의 스위칭 호환성을 제공한다.

본 발명의 다른 실시 예에 따르면, 스위치리스 보드는 네트워크에 부착된 스토리지 장치들(network-attached storage devices)을 연결하도록 구성되는 복수의 장치 포트들; 기본보드 관리 제어기(BMC; baseboard management controller); 네트워크 신호들을 운반하도록 구성되는 네트워크 리피터; PCIe 신호들을 운반하도록 구성되는 PICE 스위치; 및 미드플레인을 포함한다. 상기 복수의 장치 포트들 각각은 상기 미드플레인을 통해 각각의 스토리지 장치를 상기 스위치보드와 연결하고, 상기 미드플레인을 통해 상기 네트워크 신호들 및 상기 PICE 신호들을 운반하도록 구성된다. 상기 네트워크에 부착된 스토리지 장치들은 섀시의 타입을 기반으로 복수의 스토리지 프로토콜 모드들 중 하나로 동작하도록 구성될 수 있다. 상기 스위치리스 보드의 상기 네트워크 리피터는 이더넷 스위치(Ethernet switch)와 교환되어 상기 동일한 미드플레인을 사용하는 상기 섀시로 스위칭 호환성(switching compatibility)을 제공한다. 상기 스위치리스 보드가 상기 네트워크 리피터로 구성된 경우, 상기 스위치리스 보드는 상기 네트워크 신호들을 능동적으로 통과(actively pass through)시키고, 상기 스위치리스 보드가 상기 이더넷 스위치로 구성된 경우, 상기 스위치리스 보드는 상기 네트워크 신호들의 스위칭을 제공한다.

구현 및 이벤트들의 조합의 다양한 신규 사항들을 포함하는 상술된 다른 바람직한 특징들은 첨부된 도면들을 참조하여 좀 더 상세하게 설명될 것이며, 특허청구범위에서 지적될 것이다. 본문에서 기재된 특정 시스템들 및 방법들이 단순히 예로서 도시되며, 이에 제한되지 않음이 잘 이해될 것이다. 당업자에 의해 이해될 수 있는 바와 같이, 본문에 기재된 이론들 및 특징들은 본 발명의 사상으로부터의 벗어남없이 다양한 실시 예들에서 사용될 수 있다.

본 발명은 멀티-모드 NVMeoF 장치들에 대한 액티브 패스-쓰루 보드를 지원하는 시스템 아키텍처를 제공할 수 있다. 따라서, 감소된 비용을 갖는 멀티-모드 NVMeoF 장치들에 대한 액티브 패스-쓰루 보드를 지원하는 시스템 아키텍처가 제공된다.

본 명세서의 일부로써 포함된 첨부된 도면들은 상술된 일반적인 설명과 함께 본 발명의 바람직한 실시 예들을 도시하고, 이하에서 설명되는 바람직한 실시 예들의 상세한 설명은 본문에서 설명되는 이론들을 교시하고 설명할 것이다.
도 1은 일 실시 예에 따른 예시적인 NVMeoF 장치의 블록도를 보여준다.
도 2는 일 실시 예에 따른 예시적인 스위치 마더보드의 블록도를 보여준다.
도 3은 다른 실시 예에 따른 예시적인 NVMeoF 장치의 블록도를 보여준다.
도 4는 일 실시 예에 따른 HA 모드에서 동작하는 NVMe 장치로서 구성되는 예시적인 NVMeoF 장치의 블록도를 보여준다.
도 5는 일 실시 예에 따른 2개의 스위치 마더보드들을 포함하는 예시적인 스위치의 블록도를 보여준다.
도 6은 일 실시 예에 따른, 듀얼 포트 구성에서(HA 모드에서)의 예시적인 액티브 패스-쓰루 스위치리스 보드(active pass-through switchless board)의 블록도를 보여준다.
도 7은 일 실시 예에 따른 싱글 포트 구성에서(비-HA 모드에서)의 예시적인 액티브 패스-쓰루 스위치리스 보드(active pass-through switchless board)의 블록도를 보여준다.
도면의 간결성을 위하여, 도면들은 반드시 축적대로 그려진 것이 아니며, 유사한 구조들 또는 기능들의 요소들 유사한 참조 번호들에 의해 일반적으로 표시된다. 도면들은 단순히 본문에 기재된 다양한 실시 예들의 설명을 용이하게 하기 위한 것이다. 도면들은 본문에 기재된 모든 사상들을 기술하지 않으며, 특허청구범위를 제한하지 않는다.

본 명세서에서 개시된 특징들 및 교시들 각각은 패브릭을 통한 멀티-모드 NVMe(NVMeoF) 장치들을 위한 액티브 패스-쓰루 보드(active pass-through board)를 지원하는 시스템 아키텍처를 제공하기 위한 다른 특징들 및 교시들과 함께 또는 분리되어 사용될 수 있다. 이러한 추가적인 특징들 및 교시들이 분리되거나 결합되어 이용되는 대표적인 예들은 첨부된 도면들을 참조하여 상세히 설명된다. 이러한 상세한 설명은 단지 본 교시들의 측면들을 실시하기 위한 기술 분야에서 상세한 지식을 가진 자를 교시하기 위한 것이고, 청구항들의 범위를 제한하지 않는다. 그러므로, 상세한 설명에 상술된 특징들의 조합들은 넓은 의미에서 교시를 실시할 필요가 없을 수도 있고, 대신에 본 교시들 특히 대표적인 실시 예들을 설명하기 위해 단지 교시된다.

아래의 설명에서, 설명의 목적으로만 특정 명칭이 본 발명의 완전한 이해를 제공하기 위해 설명된다. 그러나, 이러한 특정 세부 사항들은 본 발명의 사상을 실시하기 위해 필요하지 않는 것은 당업자에게 명백할 것이다.

상세한 설명의 몇몇 부분들은 알고리즘 및 컴퓨터 메모리 내 데이터 비트들에 대한 동작들의 심볼 표현의 측면에서 제공된다. 이들 알고리즘 설명들 및 표현들은 다른 분야의 당업자들에게 작업의 실체를 효과적으로 전달하기 위해, 데이터 처리 분야의 당업자들에 의해 사용된다. 여기에서 알고리즘은 일반적으로 소망하는 결과에 이르는 단계들에 대한 일관성 있는 순서일 수 있다. 단계들은 물리적 양의 물리적 조작이 필요한 것들이다. 일반적으로, 필수적이진 않지만, 이러한 양들은 저장, 전달, 결합, 비교, 그리고 다르게 조작될 수 있는 전기 또는 자기 신호의 형태를 취한다. 이러한 신호들을 비트들, 값들, 요소들, 심볼들, 특징들, 용어들, 숫자들 등으로 지칭하는 것이 주로 공통적인 사용의 이유로 때때로 편리하게 입증되었다.

그러나, 이들 및 유사한 용어들 모두는 적절한 물리량과 연관되며 단지 이러한 양에 적용되는 편리한 라벨이라는 것을 명심해야 한다. 구체적으로는 아래의 설명으로부터 명백한 바와 같이, 설명에서, 이러한 “처리”, “컴퓨팅”, “계산”, “결정”, “표시” 등과 같은 용어를 사용하는 논의는 컴퓨터 시스템 또는 컴퓨터 레지스터 및 메모리들 내에서 물리적(전기적) 양으로서 나타나는 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 정보 스토리지, 전송 또는 표시 장치들 내에서 물리적 양으로서 나타나는 유사한 다른 데이터로 조작 및 변형하는 유사한 전자 컴퓨팅 장치의 활동 및 과정을 나타내는 것으로 이해된다.

본 명세서에서 설명된 알고리즘은 본질적으로 임의의 특정 컴퓨터 또는 다른 장치들과 관련된 것이 아니다. 다양한 일반적인 목적의 시스템들, 컴퓨터 서버들, 또는 개인용 컴퓨터들은 본 명세서의 교시에 따른 프로그램과 함께 사용될 수 있거나 요구된 방법 단계들을 수행하기 위한 보다 특수화된 장치를 구성하는 것이 편리할 수 있다. 이러한 다양한 시스템을 위해 요구되는 구조는 이하의 설명에서 나타날 것이다. 다양한 프로그래밍 언어들이 본 명세서에서 기재된 바와 같이 발명의 교시를 구현하는데 사용될 수도 있는 것을 이해할 수 있을 것이다.

또한, 대표적인 예들에 대한 다양한 특징들 그리고 종속항들은 본 발명의 교시에 대한 유용한 추가적인 실시 예들을 제공하기 위해 명시적이지 않은 그리고 열거되지 않은 방식으로 결합될 수 있다. 또한 모든 값의 범위 또는 독립체들의 그룹들의 암시들은 모든 가능한 중간 값 또는 당해 발명을 제한하는 목적뿐만 아니라 본래의 개시 목적을 위한 중간 독립체들을 개시하는 것이 주목된다. 또한, 명시적 기준 및 도면에 도시된 구성 요소들의 형상은 본 명세서에서 실시되는 방식을 이해할 수 있도록 설계되지만, 치수 및 실시 예에 나타난 형상에 한정되지 않는 것을 유의한다.

본문에서 사용되는 바와 같이, 제어 플레인(control plane)은 제어 정보의 전송, 예를 들어, 발견, 라우팅, 경로 연산, 시그널링 등과 연관된 통신 프로토콜 스택들(communication protocol stacks)의 기능적인 계층을 지칭한다. 데이터 플레인(data plane)은 데이터의 전송과 연관된 통신 프로토콜 스택들의 다른 기능적인 계층을 지칭한다. 데이터 통신의 맥락에서, 통신 세션을 개시하는 요청은 제어 플레인을 통해 2개의 부분들(two parties) 사이에서 교환된다. 2개의 부분들 사이에서 통신 세션이 설정된 경우, 데이터 신호들이 데이터 플레인을 통해 2개의 부분들 사이에서 교환된다.

본 명세서는 NVMe 및 NVMeoF 프로토콜 모드들 모두 및 다양한 형태의 패브릭-부착형 SSD들(eSSDs)을 지원할 수 있는 시스템을 개시한다. 일부 실시 예들에서, eSSD는 NVMeoF 프로토콜들을 지원할 수 있는 SSD들을 지칭한다. NVMeoF 표준을 지원하도록 구성될 경우, 시스템은 이더넷 뿐만 아니라, 파이버 채널(Fibre Channel), InfiniBand, 또는 다른 네트워크 패브릭을 포함하는 다양한 패브릭들을 지원할 수 있다. 설명의 편의를 위하여, 이하의 예들 및 실시 예들은 이더넷-부착형 NVMeoF 장치들을 보여줄 수 있다. 그러나, 본 명세서의 사상으로부터의 벗어남 없이, 다른 형태의 NVMeoF 장치들이 사용될 수 있다.

본 발명의 시스템은 NVMe 및 NVMeoF 장치들 모두와 호환될 수 있는 단일 및 듀얼 경로 시스템들(single and dual pathing system) 모두를 지원할 수 있는 공통 빌딩 블록들 및 단일 플랫폼을 제공한다. 일 실시 예에 따르면, 단일 경로 및 듀얼 경로 NVMe 및 NVMeoF 장치들을 지원하는 공통 빌딩 블록들은 미드-플레인(mid-plane), 섀시, 및 팬 어셈블리(fan assembly)를 포함한다. 본 발명의 시스템은 좀 더 유사한 장치들 및/또는 섀시를 추가함으로써 선형적으로 확장할 수 있다. 본 발명의 시스템은 전-대역 및 반-대역 스위치 보드들(a full-width and a half-width switch boards), 및 X86 마더보드를 포함하는, 그러나 이에 한정되지 않는 다른 빌딩 블록들을 더 포함할 수 있다.

본문에 개시된 패브릭-부착형 SSD(eSSD)는 NVMe 및 NVMeoF 표준들과 호환될 수 있는 다양한 시스템들에서 사용될 수 있는 단일 공통 장치이다. 이런 의미에서, 패브릭-부착형 SSD는 멀티-모드 NVMeoF 장치로써 지칭된다. 본 발명의 시스템은 최소 하드웨어 변경으로 비-고 가용성(non-HA; non-high availability) 모드(즉, 단일-경로 입력/출력(I/O)) 또는 HA 모드(즉, 다중-경로 I/O)에서 다양한 형태의 NVMe 및 NVMeoF 장치들을 지원할 수 있는 플랫폼을 제공한다.

일 실시 예에 따르면, 멀티-모드 NVMeoF 장치는 알려진 영역으로부터 제품 정보(product information)를 검출함으로써 NVMe 또는 NVMeoF 표준 중 하나를 지원할 수 있다. 예를 들어, 자율 구성(self-configuration)을 위해 사용되는 제품 정보는 필수 제품 데이터(VPD; vital product data)의 형태로 섀시에 저장된다. 시작되는 동안, 멀티-모드 NVMeoF 장치는 섀시로부터 VPD를 회수(retrieve)할 수 있고, VPD를 기반으로 자체 구성할 수 있다. 그러나, 멀티-모드 NVMeoF 장치는 본 명세서의 사상으로부터의 벗어남 없이 다양한 방식으로 구성될 수 있다. 예를 들어, 멀티-모드 NVMeoF 장치는 멀티-모드 NVMeoF 장치와 연결된 스위치의 기본보드 관리 제어기(BMC; baseboard management controller)에 의해 발행된 PCIe 버스를 통한 제어 커맨드에 의해 구성될 수 있다.

일 실시 예에 따르면, 멀티-모드 NVMeoF 장치는 싱글 포트 NVMe 모드, 듀얼 포트 NVMe 모드, 싱글 포트 NVMeoF 모드, 및 듀얼 포트 NVMeoF 모드로 구성될 수 있다. 표 1은 멀티-모드 NVMeoF 장치의 구성에 따른 U.2 커넥터(U.2 connentor)의 예시적인 사용을 보여준다. NVMe 장치로써 구성될 경우, 멀티-모드 NVMeoF 장치는 싱글 포트 NVMe 모드 또는 듀얼 포트 NVMe 모드 중 하나로 구성될 수 있다. 싱글 포트 NVMe 모드에서, U.2 커넥터의 PCIe 레인들0~3은 PCIe 신호들을 운반하는데 사용된다. 듀얼 포트 NVMe 모드에서, PCIe 레인들은 2×2 레인들로 분리된다. PCIe 레인들 0 및 1은 제1 포트를 위하여 사용되고, PCIe 레인들 2 및 3은 제2 포트를 위하여 사용된다. NVMeoF 장치로써 구성된 경우, 멀티-모드 NVMeoF 장치는 싱글 포트 NVMeoF 모드 또는 듀얼 포트 NVMeoF 모드 중 하나로 구성될 수 있다. 싱글 포트 NVMeoF 모드에서, PCIe 레인들은 2×2 레인들로 분리된다. 그러나, PCIe 레인들 0 및 1만 PCIe 신호들을 운반하는데 사용되고, PCIe 레인들 2 및 3은 사용되지 않는다. 제1 페어의 SAS 포트 0은 제1 이더넷 포트(예를 들어, 이더넷 포트 A)를 위하여 사용되고, SAS 포트 1은 사용되지 않는다. 듀얼 포트 NVMeoF 모드에서, PCIe 레인들은 2×2 레인들로 분리되고, PCIe 레인들 0 및 1은 제1 이더넷 포트를 위한 제어 플레인으로서 사용되고, PCIe 레인들 2 및 3은 제2 이더넷 포트를 위한 제어 플레인으로서 사용된다. 제1 페어의 SAS 포트 0은 제1 이더넷 포트(예를 들어, 이더넷 포트 A)를 위하여 사용되고, SAS 포트 1은 제2 이더넷 포트(예를 들어, 이더넷 포트 B)를 위하여 사용된다.

Configuration	PCIe lanes 0 &1 of U.2 connector	PCIe lanes 2&3 of U.2 connector	PCIe lanes 0-3 of U.2 connector	SAS Port 0 and 1 of U.2 connector
Single port NVMe			Yes	Not used
Dual port NVMe	Yes - used as first port	Yes - used as second port	Split into 2 by 2 lanes	Not used
Single port NVMeoF	Yes - used as control plane for first Ethernet port	Not used	Split into 2 by 2 lanes	First pair of SAS port 0 used for first Ethernet port

제품 정보가 섀시에 저장된 경우, U.2 커넥터 상의 PCIe 버스의 2개의 레인들(싱글 포트 모드에서) 또는 4개의 레인들(듀얼 포트 모드에서)은 PCIe 엔진에 의해 구동된다. 이 경우, 멀티-모드 NVMeoF 장치는 이더넷 엔진들을 디스에이블(disable)시킬 수 있고, NVMe 프로토콜들 및 기능들이 지원되거나 또는 인에이블된다. 제품 정보가 NVMeoF 섀시에 저장된 경우, 이더넷 포트들은 멀티-포트 NVMeoF 장치의 설계에 따라 PCIe 레인들 2 및 3 또는 SAS(Serial Attached SCSI) 핀들만 사용한다.

본 발명의 멀티-모드 NVMeoF 장치는 2개의 구분되는 모드들, 일명, NVMe 모드 및 NVMeoF 모드로 동작할 수 있다. NVMe 모드에서, 멀티-모드 NVMeoF 장치는 NVMe 장치로써 동작한다. U.2 커넥터의 PCIe 핀들은 PCIe x4 모듈(111)로 연결될 수 있다. PCIe 버스는 데이터 및 제어 동작들을 위하여 사용될 수 있다.

일 실시 예에서, NVMeoF 모드에서, 멀티-모드 NVMeoF 장치는 싱글-경로 모드 또는 듀얼-경로 모드로 구성될 수 있다. 싱글 경로 모드에서, 하나의 PCIe x2는 제어 플레인을 위하여 사용될 수 있고, 하나의 마더보드와 연결된다. 듀얼-경로 모드에서, 2개의 PCIe x2는 제어 플레인들을 위하여 사용될 수 있고, 2개의 마더보드와 연결된다.

다른 실시 예에서, NVMeoF 장치는 NVMeoF 모드에서 이더넷 포트들을 위하여 SAS 핀들을 사용할 수 있다. 비-HA NVMeoF 모드에서, PCIe 버스의 2개의 레인들이 제어 플레인을 통한 표준 특징들(standard features)을 위하여 사용된다. 듀얼-포트 HA 모드에서, PCIe 버스의 4개의 레인들은 2개의 x2 레인들로 분리되고, 포트 A 및 포트 B를 위하여 각각 사용된다. 기존의 PCIe 소프트웨어 및 드라이버는 멀티-모드 NVMeoF 장치을 위하여 변형되지 않고 사용될 수 있다.

멀티-모드 NVMeoF 장치가 NVMe 및 NVMeoF 모드들 모두로 동작할 수 있기 때문에, 동일한 장치가 NVMe 모드 및 NVMeoF 모드로 사용될 수 있고, 이로 인하여, 장치들을 개발하고 배포하는 비용이 감소될 수 있다. 유사한 이유로, 멀티-모드 NVMeoF 장치는 시장 출시 시간을 단축할 수 있다. 멀티-모드 NVMeoF 장치는 다양한 제품들 및 섀시에서 사용될 수 있다. PCIe 버스의 2개의 레인들이 제어 플레인을 통한 표준 특징들을 위하여 지정된다. CPU, BMC 및 다른 장치들은 PCIe 버스의 2개의 레인들을 제어 플레인으로서 사용하여 추가 비용 없이 섀시 내의 NVMeoF 장치 각각과 통신할 수 있다. 기존의 NVMe 미드플레인이 변형되기 않고 사용될 수 있으며, 추가적인 새로운 핀으로 인한 NVMeoF 장치 상의 새로운 커넥터가 요구되지 않는다.

도 1은 일 실시 예에 따른 예시적인 NVMeoF 장치의 블록도를 보여준다. NVMeoF 장치(101)는 PCIe x4 모듈(111)(예를 들어, PCIe x4 Gen3 모듈), 및 다양한 하드웨어 및 프로토콜 스택(stack)들을 포함한다. 다양한 하드웨어 및 프로토콜 스택(stack)들은 이더넷 네트워크 인터페이스(112), TCP/IP 오프로드(offload) 엔진(113), RDMA 제어기(115), NVMeoF 프로토콜 스택(116)을 포함한다. 다만, 본 발명은 이에 제한되지 않는다. NVMeoF 장치(101)는, 동작 모드에 따라 미드 플레인(161)을 통해 스위치 마더 보드(미도시)에 연결되는, 두 개의 PCIe x2 버스(151, 152)들과 두 개의 이더넷 포트(153, 154)들 까지 지원할 수 있다. 두 개의 PCIe x2 버스(151, 152)들과 두 개의 이더넷 포트(153, 154)들은 NVMeoF 장치(101)의 U.2 커넥터(121)에 연결된다.

일 실시 예에 따르면, NVMeoF 장치(101)는 NVMe 장치로서 구성될 수 있다. NVMe 모드에서, PCIe 신호들을 운반하기 위해, 모드 셀렉터(mode selector, 160)는 (싱글 포트 모드에서) PCIe 버스의 네 개의 레인들 모두를 사용하거나 (듀얼 포트 모드에서) PCIe 버스의 네 개의 레인들 중 두 개의 레인들 만을 사용하도록 NVMeoF 장치(101)를 구성할 수 있다. PCI x4 버스는 미드 플레인에 연결되고, PCIe 버스는 데이터 및 제어 신호들 사이에 공유된다.

다른 실시 예에 따르면, NVMeoF 장치(101)는 NVMeoF 장치로서 구성될 수 있다. NVMeoF 모드에서, 모드 셀렉터(160)는 PCIe 신호들을 운반하기 위해 PCIe x2 버스(151)의 두 개의 레인들을 사용하도록 NVMeoF 장치(101)를 구성할 수 있다. NVMeoF 장치(101)의 동작 모드는 외부에서 설정되거나 자체적으로 구성될 수 있다. 예를 들어, NVMeoF 장치(101)는 물리 핀(예를 들어, 스위치 마더 보드의 섀시에 존재하는 핀)을 사용하거나 또는 스위치 마더 보드의 BMC(예를 들어, 도 2의 BMC(203))로부터의 인-밴드(in-band) 커맨드에 의해 자신의 동작 모드를 자체적으로 구성할 수 있다. 이더넷을 통해 회수되는(retrieved) 관리 정보는 “인-밴드” 정보라 지칭된다. 반면에, PCIe 버스를 통해 검색되는 관리 정보는 “아웃-오브-밴드(out-of-band)” 정보라 지칭된다.

NVMeoF 장치(101)는 U.2 커넥터를 통해 기존 PCI X2 버스를 사용하는 PCIe 포트들(151, 152)을 통해 데이터 이동을 포함하는 다양한 서비스들을 수행하고, 헬스 및 센서 상태를 제공할 수 있다. 푸시될 수 있는 예시적인 신호들은 NVMeoF 장치(101)의 헬스 상태 정보(health status information), FRU(field-replaceable unit) 정보, 및 센서 정보를 포함할 수 있으나, 이에 한정되지 않는다. PCIe 포트들을 통해 푸시될 수 있는 예시적인 서비스들은 스위치 보드에 위치하는 CPU 또는 BMC로의 탐색 서비스들(discovery services) 및 펌웨어 업그레이드를 수행하기 위한 새로운 NVMeoF 장치에 대한 다운로드 서비스들을 포함하나 이에 한정되지 않는다.

NVMeoF 장치(101)는 일부 장치-특정 정보(device-specific information)를 스위치 마더보드 및 NVMeoF 장치(101) 사이에 구성된 제어 플레인을 통해 PCI X2 버스(151)를 통해 스위치 마더보드의 BMC로 직접 제공할 수 있다. 제어 플레인을 통해 운반될 수 있는 이러한 장치-특정 정보의 예들은 NVMeoF 장치(101)의 FRU 정보 및 탐색 정보를 포함하나, 이에 한정되지 않는다. 이는 NVMeoF 장치(101)의 상태를 폴링하는 BMC의 버든(burden)을 감소시킬 수 있다. 장치-특정 정보는 새로운 장치 커맨드를 사용하여 NVMeoF 장치(101) 및 BMC 사이에서 통신될 수 있다. NVMeoF 장치(101)는 PCIe X2 버스의 2개의 PCIe 레인들(151, 152)만 구비한 고 가용성(HA; high availability) 다중경로 I/O를 지원할 수 있다.

도 2는 일 실시 예에 따른 예시적인 스위치 마더보드의 블록도를 보여준다. 스위치 마더보드(201)는 업링크 이더넷 포트들(211), 다운링크 이더넷 포트들(212), 로컬 CPU(202), BMC(203), 이더넷 스위치(204), 및 PCIe 스위치(205)를 포함한다. 다수의 eSSD들은 스위치 마더보드(201)와 연결될 수 있다. 일 실시 예에 따르면, eSSD는 동작 모드에 따라 NVMe 장치 또는 NVMeoF 장치로써 동작하도록 구성될 수 있는 NVMeoF 장치이다. eSSD들 각각은 도 1에 도시된 바와 같이 U.2 커넥터를 통해 스위치 마더보드(201)와 연결될 수 있고, 다수의 고속 Molex 커넥터들을 통해 스위치 마더보드(201)와 연결되도록 구성될 수 있다. 다수의 고속 Molex 커넥터들은 모든 PCIe X2 버스(213) 및 다운링크 이더넷 포트들(212) 및 SMBus, 리셋, 클럭 등과 같은 다른 비-고속 컨트롤 신호들을 총괄하여 운반한다. 스위치 마더보드(201)는 eSSD들 각각으로 다양한 신호들을 제공할 수 있고, 미드플레인(261)을 통해 다운링크 이더넷 포트들(212) 및/또는 PCIe X2 버스(213)를 통해 eSSD들 각각에 대해 다양한 서비스들을 수행할 수 있다. 예를 들어, 스위치 마더보드(201)는 eSSD들 각각으로부터 이더넷 포트(212)를 통해, eSSD의 헬스 상태 정보(health status information), FRU(field-replaceable unit) 정보, 및 센서 정보를 포함하나 이에 한정되지 않는 장치-특정 정보를 수신할 수 있다. 스위치 마더보드(201)는 이더넷 포트들(212)를 통해, BMC 또는 로컬 호스트 CPU로의 탐색 서비스들 및 펌웨어 업그레이드를 수행하기 위한 새로운 eSSD 펌웨어에 대한 다운로드 서비스들을 포함하나, 이에 한정되지 않는 다양한 서비스들을 더 수행할 수 있다.

도 3은 다른 실시 예에 따른 예시적인 NVMeoF 장치의 블록도를 보여준다. NVMeoF 장치(301)는 PCIe X4 모듈(311)(예를 들어, PCIe X4 Gen3 모듈) 및 다양한 하드웨어 및 프로토콜 스택들을 포함한다. 다양한 하드웨어 및 프로토콜 스택들은 이더넷 네트워크 인터페이스(312), TCP/IP 오프로드 엔진(313), RDMA 제어기(315), 및 NVMeoF 프로토콜 스택(316)을 포함하나, 이에 한정되지 않는다. NVMeoF 장치(301)는 미드플레인(361)을 통해 스위치 마더보드(미도시)와 연결되는 2개의 PCIe X2 버스들(351, 352) 및 2개의 이더넷 포트들(353, 354)을 지원할 수 있다. PCIe X2 버스들(351, 352) 및 2개의 이더넷 포트들(353, 354)은 NVMeoF 장치(301)의 U.2 커넥터(321)와 연결된다.

일 실시 예에 따르면, NVMeoF 장치(301)는 도 1에 도시된 바와 같이 PCIe 레인들(152, 154)을 사용하는 대신에, 이더넷 신호들을 위하여 U.2 커넥터(321)의 사용되지 않는 SAS 핀들을 사용할 수 있다. NVMeoF 장치(301)가 이더넷 포트들(353, 354)에 대하여 SAS 핀들을 사용하기 때문에, NVMeoF 장치(301)는 대역폭에 대한 문제없이 다중-경로 I/O들 및 복수의 프로토콜들을 지원할 수 있다.

도 4는 일 실시 예에 따른 HA 모드에서 동작하는 NVMe 장치로서 구성되는 예시적인 NVMeoF 장치의 블록도를 보여준다. 이러한 실시 예에서, NVMeoF 장치(401)는 NVMe 장치로써 구성되고 다중-경로 I/O들을 지원할 수 있다. HA 모드에는 2개의 스위치 보드들이 필요하다. 스위치 마더보드(406A) 및 스위치 마더보드(406B) 모두는 동일할 수 있다. 스위치 마더보드들(460A, 460B) 각각은 이더넷 스위치 제어기(미도시), PCIe 스위치, 및 BMC를 포함할 수 있다. NVMeoF 장치(401)는 미드플레인(461)을 통해 스위치 마더보드들(460A, 460B) 모두와 연결된다. 스위치 마더보드(460A)는 PCIe 버스의 2개의 레인들 및 이더넷 포트 A를 지원할 수 있고, 반면에 스위치 마더보드(460B)는 PCIe 버스의 나머지 2개의 레인들 및 이더넷 포트 B를 지원할 수 있다. NVMeoF 장치(401)는 2 레인 PCIe 버스 (451) 및 이더넷 포트 A(453)를 통해 스위치 마더보드(460A)와 연결될 수 있다. 또한, NVMeoF 장치(401)가 듀얼 포트 장치인 경우, NVMeoF 장치(401)는 2 레인 PCIe 버스 (452)과 이더넷 포트 B(454)를 통해 스위치 마더보드(460B)와 연결될 수 있다. 단일 포트 장치(single ported device)에 대하여, PCIe 버스(452) 및 이더넷 포트B는 사용되지 않는다.

도 5는 일 실시 예에 따른 2개의 스위치 마더보드들을 포함하는 예시적인 스위치의 블록도를 보여준다. 스위치(500)는 듀얼 포트 구성에서(HA 모드에서) 다중 I/O를 지원하는 2개의 스위치 마더보드들(501A, 501B)를 포함한다. 스위치 마더보드(501A)는 이더넷 스위치(504A) 및 PCIe 스위치(505A)를 포함하고, 스위치 마더보드(501B)는 이더넷 스위치(504B) 및 PCIe 스위치(505B)를 포함한다. 스위치 마더보드들(501A, 501B) 각각은 다른 구성들 및 모듈들, 예를 들어, 도 2의 예시적인 스위치 마더보드(201)에 도시된 바와 같이, 로컬 CPU, BMC, 업링크 이더넷 포트들, 다운링크 이더넷 포트들 등을 포함할 수 있다.

복수의 eSSD들은 스위치의 장치 포트들로 연결될 수 있다. 예를 들어, eSSD들 각각은 미드플레인(561) 상의 U.2 커넥터로 연결된다. 각 듀얼 포트 eSSD는 스위치 마더보드(501A) 및 스위치 마더보드(501B) 모두로 연결될 수 있다. 현재 실시 예에서, 스위치(500)로 연결된 eSSD들은 PCIe 버스 및 이더넷 포트들을 경유하여 미드플레인(561)을 통한 스위치(500)로의 연결성을 요구하는 NVMeoF 장치로써 구성된다.

일 실시 예에 따르면, 스위치(500) 및 eSSD들 사이의 이더넷 신호들은 스위치 마더보드(501A)로의 주요 이더넷 포트(553)를 위하여 SAS 핀들(S2, S3, S5, S6)을 사용할 수 있다. 이더넷 신호들은 스위치 마더보드(501B)로의 보조 이더넷 포트(554)를 위하여 SAS 핀들(S9, S10, S12, S13)을 더 사용할 수 있다. U.2 커넥터 각각의 E25 핀은 듀얼 포트 구성을 인에이블(enable)하도록 사용될 수 있다. E25 핀이 디스에이블된 경우, 보조 이더넷 및 PCIe가 사용되지 않는다. PCIe 신호들은 각각의 스위치 마더보드들(501A, 501B) 및 각 eSSD 사이에서 PCIe 버스들(551, 552)을 통해 운반될 수 있다. eSSD는 물리적 핀(예를 들어, 스위치의 섀시 상에 존재하는 핀)을 사용하거나 또는 스위치 마더보드의 BMC로부터의 인-밴드 커맨드에 의해 동작 모드를 자체 구성할 수 있다.

일 실시 예에 따르면, 스위치(500)는 100G 이더넷을 지원할 수 있고, 미드플레인(561)은 HA 모드 및 비-HA 모드 모두를 지원할 수 있는 공통 미드플레인이다. 시스템 구성에 따라, 공통 미드플레인561)이 구성들 모두를 지원할 수 있는지 확인하기 위하여 신호 신뢰성(signal integrity)이 테스트될 필요가 있을 수 있다. 신호 신뢰성이 충분하지 않은 경우, 시스템은 이더넷 포트들 및/또는 PCIe 버스들에 대하여 더 낮은 동작 속도로 동작할 수 있다.

본 발명은 액티브 패스-쓰루 스위치리스 보드(active pass-through switchless board)를 포함하는 이더넷 SSD 섀시를 설명한다. 일 실시 예에 따르면, 액티브 패스-쓰루 스위치리스 보드는 빌트-인 이더넷 스위치를 포함하지 않을 수 있으나, 리피터(repeater) 또는 핀아웃 자동 중계기(pinout translator)를 대신 포함할 수 있다. 이더넷 섀시는 탑-오브-랙(TOR; top of rack) 스위치 또는 스위치드 이더넷 SSD 섀시의 오픈 포트들로 연결되거나 또는 사용할 수 있다.

액티브 패스-쓰루 스위치리스 보드는 이더넷 스위치를 포함하지 않을 수 있으나, CPU, BMC, 및 스위치 보드의 다른 장치들에 의한 시스템 관리 능력, 제어 플레인을 제공하여 NVMeoF 모드 및 비-HA 모드로 동작할 수 있다. NVMeoF 모드 및 비-HA 모드에서, PCIe 신호들의 2개의 레인들은 제어 플레인을 통해 모든 표준 특징들에 대해 사용된다. HA 모드(듀얼 포트 모드)에서, PCIe 신호들의 4개의 레인들은 2개로 나누어지고, 각각 포트A 및 포트B에 대해 사용된다.

이더넷 스위치를 포함하지 않는 본 발명의 액티브 패스-쓰루 스위치리스 보드는 시스템의 비용을 낮추고, 랙 솔루션으로써 더 낮은 전체 소유 비용(TCO; total cost of ownership)를 제공할 수 있다. 섀시당 더 낮은 비용은 다양한 제품들 및 섀시에서 사용될 수 있는 다양한 다목적(versatile) NVMeoF 장치들을 구현하는데 이로울 수 있다. PCIe 신호들의 2개의 레인들은 제어 플레인을 통해 모든 표준 특징들에 대해 사용되어 추가 비용 없이 섀시에 부착된 NVMeoF 장치들과 통신할 수 있다.

본 발명의 액티브 패스-쓰루 스위치리스 보드는 NVMe 미드플레인의 재설계 또는 부착된 NVMeoF 장치에 대한 새로운 커넥터를 필요로 하지 않는다. 기존의 NVMe 미드플레인이 재설계없이 사용될 수 있기 때문에, 본 발명의 액티브 패스-쓰루 스위치리스 보드는 제어 플레인을 제공하면서, 상술된 바와 같은 이점들, 예를 들어, 낮은 비용, 단순한 설계를 제공하여 출시 시간을 단축시킬 수 있다.

본 발명의 액티브 패스-쓰루 스위치리스 보드는 랙-장착형 시스템 및 스토리지 장치들 사이의 패브릭 연결을 통해 구성된 다양한 모드들에 기반된 프로토콜에서 구성될 수 있는 스토리지 장치들을 지원할 수 있다. 마더보드의 네트워크 리피터는 이더넷 스위치와 교환되어 동일한 미드플레인을 사용하여 동일한 스토리지 장치들을 지원하는 스위치 마더보드로써 작동한다. 스토리지 장치들은 시스템 아키텍처(system architecture)를 바꾸지 않고, 단일-포트 및 듀얼-포트 구성들로 동작할 수 있다.

도 6은 일 실시 예에 따른 듀얼 포트 구성에서(HA 모드에서), 예시적인 액티브 패스-쓰루 스위치리스 보드의 블록도를 보여준다. 섀시(600)는 다중경로 I/O를 지원할 수 있는 2개의 액티브 패스-쓰루 스위치리스 보드들(601A, 601B)을 포함한다. 액티브 패스-쓰루 스위치리스 보드(601A)는 리피터(606A) 및 PCIe 스위치(605A)를 포함하고, 액티브 패스-쓰루 스위치리스 보드(601B)는 리피터(606B) 및 PCIe 스위치(605B)를 포함한다. 액티브 패스-쓰루 스위치리스 보드들(601A, 601B) 각각은 다른 구성들 및 모듈들, 예를 들어, CPU(602), BMC(603), 업링크 이더넷 포트들(611)을 포함할 수 있다.

다수의 eSSD들은 스위치의 장치 포트들에 장착될 수 있다. 예를 들어, 총 24개의 eSSD들은 U.2 커넥터를 사용하여 섀시(600)로 연결된다. 각각의 eSSD 는 액티브 패스-쓰루 스위치리스 보드(601A) 및 액티브 패스-쓰루 스위치리스 보드(601B) 모두와 연결될 수 있다. 이러한 실시 예에서, 섀시(600)에 장착된 eSSD들은 PCIe 버스 및 이더넷 포트들을 경유하여 미드플레인(661)을 통한 섀시(600)와의 연결성을 요구하는 NVMeoF 장치로써 구성된다.

일 실시 예에 따르면, 섀시(600)는 100G 이더넷을 지원할 수 있고, 미드플레인(661)은 HA 모드 및 비-HA 모드 모두를 지원할 수 있는 공통 미드플레인(common midplane)일 수 있다. 시스템의 구성에 따라, 공통 미드플레인(661)이 2가지 구성들 모두를 지원할 수 있는지 확인하기 위하여 신호 신뢰성이 테스트되어야 할 수 있다.

액티스 패스-쓰루 스위치리스 보드(601A)의 리피터(606A) 및 액티브 패스-쓰루 스위치리스 보드(601B)의 리피터(606B) 각각은 업링크 이더넷 포트(611) 및 다운링크 이더넷 포트들(612) 사이에서 이더넷 신호들의 액티브 패스-쓰루(active pass-through)를 제공한다. 예를 들어, 액티브 패스-쓰루 스위치리스 보드(601A)의 리피터(606A)는 액티브 패스-쓰루 스위치리스 보드(601A)에 부착된 eSSD들(1~12) 뿐만 아니라, 미드플레인(661)을 통해 액티브 패스-쓰루 스위치리스 보드(601B)에 부착된 eSSD들(13~24)에 대한 이더넷 신호들을 능동적으로(actively) (즉, 장거리 신호 전송을 위하여 신호들을 증폭함) 통과(pass through)시킬 수 있다. 유사하게, 액티브 패스-쓰루 스위치리스 보드(601B)의 리피터(606B)는 액티브 패스-쓰루 스위치리스 보드(601B)에 부착된 eSSD들(13~24) 뿐만 아니라, 미드플레인(661)을 통해 액티브 패스-쓰루 스위치리스 보드(601A)에 부착된 eSSD들(1~12)에 대한 이더넷 신호들을 능동적으로(즉, 장거리 신호 전송을 위하여 신호들을 증폭함) 통과시킬 수 있다.

HA 모드에서, 액티브 패스-쓰루 스위치리스 보드(601A)의 PCIe 스위치(605A)는 부착된 eSSD들의 U.2 커넥터의 2개의 PCIe 레인들 0 및 1을 제1 이더넷 포트의 제어 플레인으로서 사용할 수 있다. 제1 쌍의 SAS 포트0은 제1 이더넷 포트(예를 들어, 이더넷 포트A)에 대해 사용된다. 액티브 패스-쓰루 스위치리스 보드(601A)의 PCIe 스위치(605A)는 모든 eSSD들(1~24)의 PCIe 포트A와 통신할 수 있다.

유사하게, HA 모드에서, 액티브 패스-쓰루 스위치리스 보드(601B)의 PCIe 스위치(605B)는 부착된 eSSD들의 U.2 커넥터의 2개의 PCIe 레인들 2 및 3을 제2 이더넷 포트의 제어 플레인으로서 사용할 수 있다. 제2 쌍의 SAS 포트1은 제2 이더넷 포트(예를 들어, 이더넷 포트B)에 대해 사용된다. 액티브 패스-쓰루 스위치리스 보드(601B) 의 PCIe 스위치(605B)는 모든 eSSD들(1~24)의 PCIe 포트B와 통신할 수 있다.

부착된 eSSD들 각각은 PCIe 스위치(605) 및 eSSD 사이에서 구축된 제어 플레인을 통해 PCIe 스위치(605)를 경유하여 BMC(503)로 일부 장치-특정 정보(device-specific information)를 제공할 수 있다. 제어 플레인을 통해 운반될 수 있는 이러한 장치-특정 정보의 예들은 eSSD의 FRU 정보 및 탐색 정보를 포함하나, 이에 한정되지 않는다.

도 7은 일 실시 예에 따른 단일 포트 구성(비-HA 모드)에서의 예시적인 액티브 패스-쓰루 스위치리스 보드의 블록도를 보여준다. 섀시(700)는 단일 포트 I/O를 지원할 수 있는 액티브 패스-쓰루 스위치리스 보드(701)를 포함한다. 액티브 패스-쓰루 스위치리스 보드(701)는 CPU(702), BMC(703), 업링크 이더넷 포트들(711), 임베디드 다운링크 이더넷 포트들(712), 리피터(706), 및 PCIe 스위치(705)를 포함한다.

복수의 eSSD들이 섀시(700)에 연결될 수 있다. 예를 들어, 총 24개의 eSSD들이 드라이브 슬롯(drive slot) 당 U.2 커넥터를 사용하여 섀시(700)에 연결된다. 이러한 실시 예에서, 섀시(700)에 연결된 eSSD들은 PCIe 버스 및 이더넷 포트들을 경유하여 미드플레인을 통한 섀시(700)로의 연결성을 요구하는 NVMeoF 장치로서 구성된다.

일 실시 예에 따르면, 섀시(700)는 100G 이더넷을 지원할 수 있고, 미드플레인(761)은 HA 모드 및 비-HA 모드 모두를 지원할 수 있는 공통 미드플레인이다. 시스템의 구성에 따라, 공통 미드플레인(761)이 2가지 구성들을 모두 지원할 수 있는지 확인하기 위하여 신호 신뢰성이 테스트되어야 할 필요가 있을 수 있다. 신호 신뢰성이 충분하지 않은 경우, 시스템은 낮은 속도로 구동하거나 또는 리피터를 사용하여 정상 속도로 구동할 수 있다.

액티브 패스-쓰루 스위치리스 보드(701)의 리피터(706)는 업링크 이더넷 포트들(711) 및 다운링크 이더넷 포트들(712) 사이에서 이더넷 신호들의 액티브 패스-쓰루를 제공할 수 있다. 예를 들어, 액티브 패스-쓰루 스위치리스 보드(701)의 리피터(706)는 미드플레인(761)을 경유하여 액티브 패스-쓰루 스위치리스 보드(701)에 부착된 eSSD들(1~24)에 대한 이더넷 신호들을 능동적으로(actively)(즉, 장거리 신호 전송을 위하여 신호들을 증폭함.) 통과(pass through)시킬 수 있다.

비-HA 모드에서, 액티브 패스-쓰루 스위치리스 보드(701)의 PCIe 스위치(705)는 부착된 eSSD들의 U.2 커넥터의 2개의 PCIe 레인들 0 및 1을 제1 이더넷 포트의 제어 플레인으로서 사용할 수 있고, U.2 커넥터의 나머지 2개의 PCIe 레인들 2 및 3은 사용되지 않는다. 제1 쌍의 SAS 포트0은 제1 이더넷 포트(예를 들어, 이더넷 포트-A)를 위하여 사용되고, SAS 포트-1은 사용되지 않는다. 액티브 패스-쓰루 스위치리스 보드(701)의 PCIe 스위치(705)는 PCIe 버스를 경유하여 eSSD들(1~24)과 통신할 수 있다.

일 실시 예에 따르면, 본 발명의 액티브 패스-쓰루 스위치리스 보드(예를 들어, 도 6의 액티브 패스-쓰루 스위치리스 보드들(601A, 602B) 및 도 7의 액티브 패스-쓰루 스위치리스 보드(701))은 리피터(예를 들어, 도 6의 리피터들(606A, 606B) 및 도 7의 리피터(706))을 포함할 수 있다. 도 2 및 도 5의 실시 예들에 도시된 바와 같이, 마더보드가 이더넷 스위치 능력을 필요로 할 경우, 리피터는 이더넷 스위치(예를 들어, 도 2의 이더넷 스위치(204) 및 도 5의 이더넷 스위치들(504A, 504B))로 교체될 수 있다. 구성들에 따라, 마더보드는 이더넷 스위치 마더보드 또는 액티브 패스-쓰루 스위치리스 보드로서 기능하여 부착된 eSSD들에 대한 동일한 커넥터를 구비한 동일한 미드플레인과 호환될 수 있다. 본 발명의 액티브 패스-쓰루 스위치리스 보드는 CPU, BMC, 및 섀시에 집적된 다른 장치들이 PCIe 버스를 제어 플레인으로 사용하여 부착된 eSSD들과 통신하도록 한다. 기존의 NVMe 미드플레인은 NVMe 및 NVMeoF 표준들 모두를 지원하도록 변형없이 사용될 수 있다.

일 실시 예에 따르면, 랙-장착장착 시스템은 섀시, 섀시 내에 위치한 스위치리스 보드, 미드플레인, 및 복수의 장치 포트들을 포함한다. 스위치리스 보드는 기본보드 관리 제어기(BMC; baseboard management controller), 네트워크 신호들을 운반하도록 구성된 네트워크 리피터, 및 PCIe 신호들을 운반하도록 구성된 PCIe 스위치를 포함한다. 복수의 장치 포트들 각각은 스토리지 장치를 미드플레인으로 연결하고, 미드플레인을 통해 네트워크 신호들 및 PICE 신호들을 운반하도록 구성된다. 스토리지 장치는 섀시의 타입를 기반으로 복수의 스토리지 프로토콜 모드들 중 하나로 동작하도록 구성될 수 있다. 스위치리스 보드의 네트워크 리피터는 이더넷 스위치와 교환되어 동일한 미드플레인을 사용하는 섀시로 스위칭 호환성을 제공한다.

스토리지 장치는 스토리지 장치를 복수의 장치 포트들 중 하나로 연결하도록 구성되는 U.2 커넥터를 포함할 수 있다.

스토리지 장치는 불휘발성 메모리 익스프레스(NVMe; non-volatile memory express) 및 패브릭 상의 NVMe(NVMeoF; NVMe over fabrics) 프로토콜 모드들 모두를 지원할 수 있고, 섀시의 타입은 NVMe 프로토콜 모드 또는 NVMeoF 프로토콜 모드와 대응한다.

미드플레인은 고 가용성(HA; high availability) 모드 및 비-HA(non-HA) 모드 모두를 지원할 수 있다.

네트워크 신호들은 스토리지 장치의 헬스 상태 정보, 필드-교체 가능 유닛(FRU; field-replaceable unit) 정보, 및 센서 정보 중 하나 또는 그 이상을 포함하는 장치-특정 정보를 포함할 수 있고, 스토리지 장치는 복수의 스토리지 프로토콜 모드들 중 스토리지 프로토콜 모드를 기반으로 선택된 PCIe 레인들을 경유하여 미드플레인을 통해 장치-특정 정보를 BMC로 운반할 수 있다.

스토리지 장치는 HA 모드 또는 비-HA 모드로 동작하도록 구성될 수 있다.

랙-장착랙-장착 시스템은 제1 스위치리스 보드 및 제2 스위치리스 보드들을 포함하는 2개의 스위치리스 보드들을 더 포함할 수 있다. 제1 그룹의 스토리지 장치들은 제1 스위치리스 보드와 연결될 수 있고, 제2 그룹의 스토리지 장치들은 제2 스위치리스 보드와 연결될 수 있다.

제1 스위치리스 보드는 제1 그룹의 PCIe 레인들을 통해 PCIe 신호들을 제1 그룹의 스토리지 장치들로 운반하고, 제2 그룹의 PCIe 레인들을 통해 PCIe 신호들을 제2 그룹의 스토리지 장치들로 운반하도록 구성될 수 있다.

스위치리스 보드들 각각은 제1 그룹의 스토리지 장치들 및 제2 그룹의 스토리지 장치들의 네트워크 신호들의 액티브 패스-쓰루(active pass-through)를 제공할 수 있다.

네트워크 리피터는 네트워크 신호들을 능동적으로 통과(actively pass through)시키도록 구성될 수 있다.

다른 실시 예에 따르면, 스위치리스 보드는 네트워크에 부착된 스토리지 장치들을 연결하도록 구성되는 복수의 장치 포트들; 기본보드 관리 제어기(BMC; baseboard management controller); 네트워크 신호들을 운반하도록 구성되는 네트워크 리피터; PCIe 신호들을 운반하도록 구성되는 PCIe 스위치; 및 미드플레인을 포함한다. 복수의 장치 포트들 각각은 미드플레인을 통해 각각의 스토리지 장치를 스위치리스 보드로 연결하고, 미드플레인을 통해 네트워크 신호들 및 PCIe 신호들을 운반하도록 구성된다. 네트워크에 부착된 스토리지 장치들은 섀시의 타입을 기반으로 복수의 스토리지 프로토콜 모드들 중 하나로 동작하도록 구성될 수 있다. 스위치리스 보드의 네트워크 리피터는 이더넷 스위치와 교환되어 동일한 미드플레인을 사용하는 섀시로 스위칭 호환성을 제공할 수 있다. 스위치리스 보드가 네트워크 리피터로 구성된 경우, 스위치리스 보드는 네트워크 신호들을 능동적으로 통과(actively pass through)시킨다. 스위치리스 보드가 이더넷 스위치로 구성된 경우, 스위치리스 보드는 네트워크 신호들의 스위칭을 제공한다.

네트워크에 부착된 스토리지 장치들 각각은 복수의 장치 포트들 중 하나로 연결되도록 구성되는 U.2 커넥터를 포함할 수 있다.

네트워크에 부착된 스토리지 장치들은 불휘발성 메모리 익스프레스(NVMe; non-volatile memory express) 및 패브릭 상의 NVMe(NVMOEF; NVMe over fabrics) 프로토콜 모드들 모두를 지원할 수 있고, 섀시의 타입은 NVMe 프로토콜 모드 또는 NVMeoF 프로토콜 모드와 대응한다.

미드플레인은 고 가용성(HA; high availability) 모드 및 비-HA 모드 모두를 지원할 수 있다.

네트워크 신호들은 네트워트에 부착된 스토리지 장치의 헬스 상태 정보, 필드-교체 가능 유닛(FRU; field-replaceable unit) 정보, 및 센서 정보 중 하나 또는 그 이상을 포함하는 장치-특정 정보를 포함할 수 있고, 네트워크에 부착된 스토리지 장치들 각각은 복수의 스토리지 프로토콜 모드들 중 스토리지 프로토콜 모드를 기반으로 선택된 PCIe 레인들을 경유하여 미드 플레인을 통해 장치-특정 정보를 BMC로 운반할 수 있다.

네트워크에 부착된 스토리지 장치는 HA 모드 또는 비-HA 모드로 동작하도록 구성될 수 있다.

스위치리스 보드는 제1 스위치리스 보드 및 제2 스위치리스 보드를 포함하는 2개의 스위치리스 보드들을 포함하는 랙-장착랙-장착 시스템에 제공될 수 있다. 제1 그룹의 네트워크에 부착된 스토리지 장치들은 제1 스위치리스 보드에 연결될 수 있고, 제2 그룹의 네트워크에 부착된 스토리지 장치들은 제2 스위치리스 보드에 연결될 수 있다.

제1 스위치리스 보드는 제1 그룹의 PCIe 레인들을 통해 PCIe 신호들을 제1 그룹의 네트워크에 부착된 스토리지 장치들로 운반하고, 제2 그룹의 PCIe 레인들을 통해 PCIe 신호들을 제2 그룹의 네트워크에 부착된 스토리지 장치들로 운반하도록 구성될 수 있다.

스위치리스 보드들 각각은 제1 그룹의 네트워크에 부착된 스토리지 장치들 및 제2 그룹의 네트워크에 부착된 스토리지 장치들의 네트워크 신호들의 액티브 패스-쓰루(active pass-through)를 제공할 수 있다.

이상에서, 상술한 예시적인 실시 예들은 멀티-모드 NVMeoF 장치들에 대한 액티브 패스-쓰루 보드를 지원하는 시스템 아키텍처를 제공하기 위한 시스템 및 방법을 구현하기 위한 다양한 실시 예들을 설명하기 위해 기술되었다. 개시된 예시적인 실시 예들로부터의 다양한 변형들 및 이탈(departure)들은 본 기술 분야의 통상의 지식을 가진 자들에 의해 수행될 수 있다. 본 발명의 범위 내에 존재하도록 의도된 기술 구성은 다음의 청구범위에서 기술될 것이다.

Claims

랙-장착 시스템(rack-mounted system)에 있어서,
섀시;
상기 섀시 내에 위치하고, 기본보드 관리 제어기(BMC; baseboard management controller), 네트워크 신호들을 운반하도록 구성된 네트워크 리피터, 및 PCIe(peripheral component interconnect express) 신호들을 운반하도록 구성된 PCIe 스위치를 포함하는 패스-쓰루 마더보드;
미드플레인;
복수의 업링크 네트워크 포트들; 및
복수의 장치 포트들을 포함하고,
상기 복수의 장치 포트들 각각은 스토리지 장치를 상기 미드플레인에 연결하고, 상기 네트워크 신호들 및 상기 PCIe 신호들을 상기 미드플레인을 통해 운반하도록 구성되고,
상기 스토리지 장치는 상기 섀시의 타입을 기반으로 복수의 스토리지 프로토콜 모드들 중 하나로 동작하도록 구성되고,
상기 패스-쓰루 마더보드의 상기 네트워크 리피터는 상기 복수의 업링크 네트워크 포트들 및 상기 복수의 장치 포트들 사이에서 상기 네트워크 신호들을 통과(pass through)시키고,
상기 스토리지 장치는 NVMe(non-volatile memory express) 및 NVMeoF(NVMe over Fabric) 프로토콜 모드들 모두를 지원하는 랙-장착 시스템.
제 1 항에 있어서,
상기 스토리지 장치는 상기 복수의 장치 포트들 중 하나로 상기 스토리지 장치를 연결하도록 구성되는 U.2 커넥터를 포함하는 랙-장착 시스템.
제 1 항에 있어서,
상기 섀시의 상기 타입은 상기 NVMe 프로토콜 모드 또는 상기 NVMeoF 프로토콜 모드와 대응하는 랙-장착 시스템.
제 1 항에 있어서,
상기 미드플레인은 고 가용성(HA; high availability) 모드 및 비-HA 모드 모두를 지원하는 랙-장착 시스템.
제 1 항에 있어서,
상기 네트워크 신호들은 상기 스토리지 장치의 센서 정보, 필드-교환 가능 유닛(FRU; field-replaceable unit) 정보, 및 헬스 상태 정보 중 하나 또는 그 이상을 포함하는 장치-특정 정보(device-specific information)를 포함하고, 상기 스토리지 장치는 상기 복수의 스토리지 프로토콜 모드들 중 하나의 스토리지 프로토콜 모드를 기반으로 선택된 PCIe 레인들을 경유하여 상기 미드플레인을 통해 상기 장치-특정 정보를 상기 BMC로 운반하는 랙-장착 시스템.
제 1 항에 있어서,
상기 스토리지 장치는 고 가용성(HA; high availability) 모드 또는 비-HA 모드로 동작하도록 구성된 랙-장착 시스템.
제 1 항에 있어서,
제1 패스-쓰루 마더 보드 및 제2 패스-쓰루 마더 보드를 더 포함하고,
제1 그룹의 스토리지 장치들은 제1 패스-쓰루 마더보드와 연결되고,
제2 그룹의 스토리지 장치들은 제2 패스-쓰루 마더보드와 연결되는 랙-장착 시스템.
제 7 항에 있어서,
상기 제1 패스-쓰루 마더보드는 제1 그룹의 PCIe 레인들을 통해 상기 PCIe 신호들을 상기 제1 그룹의 스토리지 장치들로 운반하고,
상기 제2 패스-쓰루 마더보드는 제2 그룹의 PCIe 레인들을 통해 상기 PCIe 신호들을 상기 제2 그룹의 스토리지 장치들로 운반하는 랙-장착 시스템.
제 7 항에 있어서,
상기 제1 패스-쓰루 마더보드 및 상기 제2 패스-쓰루 마더보드 각각은 상기 제1 그룹의 스토리지 장치들 및 상기 제2 그룹의 스토리지 장치들의 상기 네트워크 신호들의 액티브 패스-쓰루(active pass-through)를 제공하는 랙-장착 시스템.
패스-쓰루 마더보드에 있어서,
복수의 업링크 네트워크 포트들;
네트워크-부착된 스토리지 장치들을 연결하는 복수의 장치 포트들;
기본보드 관리 컨트롤러(BMC; baseboard management controller);
네트워크 신호들을 전송하도록 구성된 네트워크 리피터;
PCIe(peripheral component interconnect express) 신호들을 운반하도록 구성된 PCIe 스위치; 및
미드플레인을 포함하고,
상기 복수의 장치 포트들 각각은 상기 미드플레인을 통해 상기 네트워크-부착된 스토리지 장치들 각각을 상기 패스-쓰루 마더보드로 연결하고, 상기 미드플레인을 통해 상기 네트워크 신호 및 상기 PCIe 신호들을 운반하도록 구성되고,
상기 네트워크-부착된 스토리지 장치들은 섀시의 타입을 기반으로 복수의 스토리지 프로토콜 모드들 중 하나로 동작하도록 구성되고,
상기 패스-쓰루 마더보드의 상기 네트워크 리피터는 상기 복수의 업링크 네트워크 포트들 및 상기 복수의 장치 포트들 사이에서 상기 네트워크 신호들을 통과(pass through)시키고,
상기 패스-쓰루 마더보드의 상기 네트워크 리피터는 이더넷 스위치(Ethernet switch)와 교환되어 상기 미드플레인을 사용하는 상기 섀시로 스위칭 호환성(switching compatibility)을 제공하고,
상기 네트워크-부착된 스토리지 장치들은 NVMe(non-volatile memory express) 및 NVMeoF(NVMe over Fabric) 프로토콜 모드들 모두를 지원하는 패스-쓰루 마더보드.