KR101895763B1 - 노드들 사이의 i/o 서비스 및 메모리 공유 - Google Patents

노드들 사이의 i/o 서비스 및 메모리 공유 Download PDF

Info

Publication number
KR101895763B1
KR101895763B1 KR1020167013908A KR20167013908A KR101895763B1 KR 101895763 B1 KR101895763 B1 KR 101895763B1 KR 1020167013908 A KR1020167013908 A KR 1020167013908A KR 20167013908 A KR20167013908 A KR 20167013908A KR 101895763 B1 KR101895763 B1 KR 101895763B1
Authority
KR
South Korea
Prior art keywords
data
protocol
memory
shared memory
interconnect
Prior art date
Application number
KR1020167013908A
Other languages
English (en)
Other versions
KR20160075730A (ko
Inventor
샤르마 디벤드라 다스
로버트 지 블랭켄쉽
수레쉬 에스 치토르
케네스 씨 크레타
발린트 플레이셔
미쉘 씨 젠
모한 제이 쿠마르
브라이언 에스 모리스
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160075730A publication Critical patent/KR20160075730A/ko
Application granted granted Critical
Publication of KR101895763B1 publication Critical patent/KR101895763B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605—Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • G06F13/1652—Handling requests for interconnection or transfer for access to memory bus based on arbitration in a multiprocessor architecture
    • G06F13/1663—Access to shared memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/14—Protection against unauthorised use of memory or access to memory
    • G06F12/1458—Protection against unauthorised use of memory or access to memory by checking the subject access rights
    • G06F12/1466—Key-lock mechanism
    • G06F12/1475—Key-lock mechanism in a virtual system, e.g. with translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1052—Security improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y02D10/14—
    • Y02D10/151—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multi Processors (AREA)
  • Information Transfer Systems (AREA)
  • Bus Control (AREA)

Abstract

공유 메모리 제어기는 데이터 링크를 통해 복수 개의 독립 노드로부터 공유 메모리로의 액세스를 제공하는 적재 및 저장 동작을 서비스한다. 복수 개의 독립 노드의 각각은 공유 메모리 자원의 각각의 부분에 액세스하는 것이 허용된다. 인터커넥트 프로토콜 데이터 및 메모리 액세스 프로토콜 데이터는 데이터 링크를 통해 전송되며 인터커넥트 프로토콜 데이터와 메모리 액세스 프로토콜 데이터 사이에서 천이가 정의되고 식별될 수 있다.

Description

노드들 사이의 I/O 서비스 및 메모리 공유{SHARING MEMORY AND I/O SERVICES BETWEEN NODES}
본 개시는 컴퓨팅 시스템에 관한 것으로, 특히 (배타적이지는 않으나) 컴퓨팅 시스템 내 컴포넌트들 간의 메모리 액세스에 관한 것이다.
반도체 처리 및 로직 설계의 발전으로 말미암아 집적 회로 디바이스 상에서 존재할 수 있는 로직의 양적 증가가 가능하게 되었다. 그 결과로서, 컴퓨터 시스템 구성은 한 시스템 내의 단일 또는 복수의 집적 회로에서부터 개개의 집적 회로상에 존재하는 다중 코어, 다중 하드웨어 쓰레드, 및 다중 논리 프로세서뿐만 아니라, 그러한 프로세서 내에서 집적된 다른 인터페이스에 이르기까지 진화하였다. 프로세서 또는 집적 회로는 전형적으로 단일의 물리적인 프로세서 다이를 포함하는데, 이 프로세서 다이는 임의의 개수의 코어, 하드웨어 쓰레드, 논리 프로세서, 인터페이스, 메모리 제어기 허브 등을 포함할 수 있다.
더 많은 처리 능력을 더 작은 패키지 내에 맞추어 넣으려는 역량이 더 커진 결과로서, 소형의 컴퓨팅 디바이스의 인기가 증가하고 있다. 스마트폰, 태블릿, 울트라신 노트북, 및 다른 사용자 장비가 기하급수적으로 증가하였다. 그러나 이렇게 소형의 디바이스는 데이터 저장 및 폼 팩터를 초과하는 복잡한 처리를 모두 서버에 의존하고 있다. 그 결과, 고성능 컴퓨팅 마켓(즉, 서버 공간)의 수요가 또한 증가하였다. 예를 들면, 현대의 서버에서는 컴퓨팅 능력을 높이기 위해 일반적으로 다중 코어를 가진 단일 프로세서뿐만 아니라, (다중 소켓이라고도 지칭하는) 다중 물리 프로세서가 존재한다. 그러나 컴퓨팅 시스템에서 장치의 개수와 함께 처리 능력이 증가함에 따라서, 소켓과 다른 장치 간의 통신이 더욱 중요해지고 있다.
실제로, 애초에 전기 통신을 취급하였던 전통적인 멀티-드롭 버스로부터 고속의 통신을 용이하게 해주는 완전히 발달한 인터커넥트 아키텍처에 이르기까지 인터커넥트 기술이 성장하였다. 불행하게도, 더욱 높은 속도로 소모해버리는 미래의 프로세서의 수요로서, 해당하는 수요는 기존의 인터커넥트 아키텍처의 역량에 집중되고 있다.
도 1은 인터커넥트 아키텍처를 포함하는 컴퓨팅 시스템의 실시예를 예시한다.
도 2는 계층화된 스택(layered stack)을 포함하는 인터커넥트 아키텍처의 실시예를 예시한다.
도 3은 인터커넥트 아키텍처 내부에서 생성되거나 수신되는 요청 또는 패킷의 실시예를 예시한다.
도 4는 인터커넥트 아키텍처의 송신기와 수신기 쌍의 실시예를 예시한다.
도 5a는 예시적인 노드의 실시예의 간략화한 블록도를 예시한다.
도 5b는 복수 개의 노드를 포함하는 예시적인 시스템의 실시예의 간략화한 블록도를 예시한다.
도 6은 예시적인 공유 메모리 링크에 따라서 송신된 데이터의 표현이다.
도 7a는 공유 메모리 링크의 다른 예에 따라서 송신된 데이터의 표현이다.
도 7b는 데이터 프레이밍 토큰(data framing token)의 예시적인 시작의 표현이다.
도 8은 공유 메모리 링크의 다른 예에 따라서 송신된 데이터의 표현이다.
도 9a 내지 도 9d는 메모리 액세스 메시징을 위한 예시적인 기술을 예시하는 플로우차트이다.
도 10은 멀티코어 프로세서를 포함하는 컴퓨팅 시스템의 블록도의 실시예를 도시한다.
도 11은 멀티코어 프로세서를 포함하는 컴퓨팅 시스템의 블록도의 다른 실시예를 예시한다.
도 12는 프로세서의 블록도의 실시예를 예시한다.
도 13은 프로세서를 포함하는 컴퓨팅 시스템의 블록도의 다른 실시예를 예시한다.
도 14는 다중 프로세서를 포함하는 컴퓨팅 시스템의 블록도의 실시예를 예시한다.
도 15는 시스템 온 칩(System on Chip, SoC)으로서 구현된 예시적인 시스템을 예시한다.
여러 도면에서 동일한 참조 부호 및 표시는 동일한 요소를 나타낸다.
하기 설명에서, 특정 형태의 프로세서 및 시스템 구성, 특정 하드웨어 구조, 특정 아키텍처적 및 마이크로 아키텍처적 세부사항, 특정 레지스터 구성, 특정 명령어 타입, 특정 시스템 컴포넌트, 특정 측정치/높이, 특정 프로세서 파이프라인 스테이지, 및 동작 등의 예와 같은 많은 특정한 세부 사항이 본 발명의 철저한 이해를 제공하기 위해 설명된다. 그러나 본 기술에서 통상의 지식을 가진 자들에게는 이러한 특정 세부사항이 본 발명의 주제를 실시하기 위해 반드시 이용될 필요가 있지 않다는 것이 자명할 것이다. 다른 사례에서, 본 발명을 불필요하게 모호하지 않도록 하기 위해, 특정하고 대안적인 프로세서 아키텍처, 설명된 알고리즘에 대한 특정 로직 회로/코드, 특정 펌웨어 코드, 특정 로직 구성, 특정 제조 기술 및 재료, 특정 컴파일러 구현, 코드 내 알고리즘의 특정 표현, 특정 파워다운 및 게이팅 기술/로직, 및 컴퓨터 시스템의 다른 특정 동작의 세부사항과 같은 널리 공지된 컴포넌트 또는 방법에 관해서는 자세하게 설명하지 않았다.
비록 다음과 같은 실시예가 컴퓨팅 플랫폼이나 마이크로프로세서와 같은 특정 집적 회로에서 에너지 보존 및 에너지 효율에 관하여 설명될 수 있을지라도, 다른 실시예는 다른 형태의 집적 회로 및 로직 디바이스에 적용 가능하다. 본 명세서에서 설명되는 실시예의 유사한 기술 및 가르침은 더 나은 에너지 효율 및 에너지 보전으로부터 또한 이득을 받을 수 있는 다른 형태의 회로 또는 반도체 디바이스에 적용될 수 있다. 예를 들면, 설명된 실시예는 데스크톱 컴퓨터 시스템 또는 울트라북TM으로 한정되지 않는다. 그리고 또한, 휴대형 디바이스, 태블릿, 다른 신(thin) 노트북, 시스템 온 칩(systems on a chip, SOC) 디바이스, 및 임베디드 애플리케이션과 같은 다른 디바이스에서도 사용될 수 있다. 휴대형 디바이스의 몇 가지 예는 셀룰러 폰, 인터넷 프로토콜 디바이스, 디지털 카메라, 개인 휴대정보 단말기(personal digital assistant, PDA), 및 휴대 PC를 포함한다. 임베디드 애플리케이션은 통상적으로 아래에서 교시된 기능 및 동작을 수행할 수 있는 마이크로컨트롤러, 디지털 신호 프로세서(digital signal processor, DSP), 시스템 온 칩, 네트워크 컴퓨터(network computer, NetPC), 셋톱 박스, 네트워크 허브, 광역 네트워크(wide area network, WAN) 스위치, 또는 임의의 다른 시스템을 포함한다. 더욱이, 본 명세서에서 설명된 장치, 방법 및 시스템은 물리적인 컴퓨팅 디바이스로 한정되지 않고, 에너지 보존 및 효율을 위해 소프트웨어를 최적화하는 것에도 관련될 수 있다. 아래의 설명에서 즉시 명백해지는 바와 같이, 본 명세서에서 설명된 방법, 장치 및 시스템의 실시예는 (하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합과 관련한 것이든 아니든) 성능 고려 사항과 장차 균형을 이루는 '녹색 기술'에 중요하게 고려될 수 있다.
컴퓨팅 시스템이 발달하면서, 컴퓨팅 시스템 내 컴포넌트들은 더욱 복잡해지고 있다. 그 결과 컴포넌트들 사이를 연결하고 통신하게 하는 인터커넥트 아키텍처 또한 최적한 컴포넌트 동작에 필요한 대역폭 요구가 충족되는 것을 보장하기 위해 복잡도가 증가되고 있다. 그뿐만 아니라, 다양한 세분된 시장은 시장의 요구에 맞는 인터커넥트 아키텍처의 다양한 양상을 요구하고 있다. 예를 들면, 서버는 고성능을 요구하는데 반해, 모바일 에코시스템은 때로는 절전을 위해 전체 성능을 희생할 수 있다. 그렇지만, 이것은 절전을 극대화하면서 최고로 가능한 성능을 제공하려는 대부분의 패브릭의 한 가지 목적이다. 아래에서, 본 명세서에서 설명된 본 발명의 양태로부터 잠재적으로 이득을 받게 될 복수의 인터커넥트가 논의된다.
하나의 인터커넥트 패브릭 아키텍처는 PCIe 아키텍처를 포함한다. PCIe의 기본적인 목표는 여러 세분 시장, 즉 클라이언트(데스크톱 및 모바일), 서버(표준 및 기업), 및 임베디드 및 통신 디바이스를 연결해주는 개방형 아키텍처에서 여러 벤더들의 컴포넌트 및 디바이스를 상호 동작할 수 있게 하는 것이다. PCI 익스프레스는 다양한 미래의 컴퓨팅 및 통신 플랫폼을 목적으로 정의된 고성능의 범용 I/O 인터커넥트이다. 그의 사용 모델, 적재-저장(load-store) 아키텍처, 및 소프트웨어 인터페이스와 같은 일부 PCI 속성은 개정을 통해 유지되어 온 반면, 이전의 병렬 버스 구현은 뛰어난 확장성의 완전 직렬 인터페이스로 대체되었다. PCI 익스프레스의 최신 버전은 새로운 레벨의 성능 및 특징을 넘겨주기 위해 최신의 포인트-투-포인트 인터커넥트, 스위치-기반 기술, 및 패킷화된 프로토콜을 활용한다. 전력 관리, 서비스 품질(Quality Of Service, QoS), 핫-플러그/핫-스왑 지원, 데이터 무결성, 및 오류 처리는 PCI 익스프레스에 의해 지원되는 최신의 특징들 중 일부이다.
도 1을 참조하면, 한 세트의 컴포넌트들을 상호접속하는 포인트-투-포인트 링크로 구성된 일 실시예가 도시된다. 시스템(100)은 제어기 허브(115)에 연결된 프로세서(105) 및 시스템 메모리(110)를 포함한다. 프로세서(105)는 마이크로프로세서, 호스트 프로세서, 임베디드 프로세서, 코-프로세서, 또는 여타 프로세서와 같은 임의의 프로세싱 요소를 포함할 수 있다. 프로세서(105)는 프론트-사이드 버스(front-side bus, FSB)(106)를 통해 제어기 허브(115)에 연결된다. 일 실시예에서, FSB(106)는 아래에서 설명되는 바와 같이 직렬의 포인트-투-포인트 인터커넥트이다. 다른 실시예에서, 링크(106)는 다양한 인터커넥트 표준을 준용하는 직렬의 차동 인터커넥트 아키텍처를 포함한다.
시스템 메모리(110)는 시스템(100) 내 디바이스에 의해 액세스 가능한 랜덤 액세스 메모리(random access memory, RAM), 비-휘발성(non-volatile, NV) 메모리, 또는 여타 메모리와 같은 임의의 메모리 디바이스를 포함한다. 시스템 메모리(110)는 메모리 인터페이스(116)를 통해 제어기 허브(115)에 연결된다. 메모리 인터페이스의 예는 더블-데이터 레이트(double-data rate, DDR) 메모리 인터페이스, 듀얼-채널 DDR 메모리 인터페이스, 및 다이나믹 RAM(dynamic RAM, DRAM) 메모리 인터페이스를 포함한다.
일 실시예에서, 제어기 허브(115)는 주변 컴포넌트 인터커넥트 익스프레스(Peripheral Component Interconnect Express, PCIe 또는 PCIE) 상호 접속 아키텍처 내 루트 허브, 루트 콤플렉스, 또는 루트 제어기다. 제어기 허브(115)의 예는 칩셋, 메모리 제어기 허브(memory controller hub, MCH), 노스브릿지, 인터커넥트 제어기 허브(interconnect controller hub, ICH), 사우스브릿지, 및 루트 제어기/허브를 포함한다. 종종 칩셋이라는 용어는 물리적으로 별개인 두 개의 제어기 허브, 즉 인터커넥트 제어기 허브(ICH)에 연결된 메모리 제어기 허브(MCH)를 말한다. 본 발명의 시스템은 종종 프로세서(105)와 함께 집적된 MCH를 포함하지만, 제어기(115)는 아래에서 설명되는 바와 유사한 방식으로 I/O 디바이스와 통신한다는 것을 주목하여야 한다. 일부 실시예에서, 옵션으로 피어-투-피어 라우팅이 루트 콤플렉스(115)를 통해 지원된다.
여기서, 제어기 허브(115)는 직렬 링크(119)를 통해 스위치/브릿지(120)에 연결된다. 인터페이스/포트(117 및 121)라고도 지칭될 수 있는 입력/출력 모듈(117 및 121)은 제어기 허브(115)와 스위치(120) 사이의 통신을 제공하는 계층화된 프로토콜 스택을 포함/구현할 수 있다. 일 실시예에서, 복수의 디바이스가 스위치(120)에 연결될 수 있다.
스위치/브릿지(120)는 패킷/메시지를 디바이스(125)로부터 업스트림으로, 즉 루트 콤플렉스를 향한 계층 위쪽의 제어기 허브(115)로 라우팅하며 다운스트림으로, 즉 루트 제어기로부터 계층 아래쪽으로, 프로세서(105) 또는 시스템 메모리(110)로부터 디바이스(125)로 라우팅한다. 일 실시예에서, 스위치(120)는 복수의 가상 PCI 간 브릿지 디바이스(virtual PCI-to-PCI bridge device)의 로직 어셈블리라고 지칭된다. 디바이스(125)는 I/O 디바이스, 네트워크 인터페이스 제어기(Network Interface Controller, NIC), 애드-인(add-in) 카드, 오디오 프로세서, 네트워크 프로세서, 하드-드라이브, 저장 디바이스, CD/DVD ROM, 모니터, 프린터, 마우스, 키보드, 라우터, 이동식 저장 디바이스, 파이어와이어 디바이스, 범용 직렬 버스(Universal Serial Bus, USB) 디바이스, 스캐너, 및 기타 입력/출력 디바이스와 같은 전자 시스템에 연결되는 임의의 내부 또는 외부 디바이스나 컴포넌트를 포함한다. 종종 PCIe에 대한 방언으로, 이를테면 디바이스는 엔드포인트라고 지칭된다. 비록 구체적으로 도시되지 않을지라도, 디바이스(125)는 레거시 또는 다른 버전의 PCI 디바이스를 지원하는 PCIe 대 PCI/PCI-X 브릿지를 포함할 수 있다. PCIe 내 엔드포인트 디바이스는 종종 레거시, PCIe, 또는 루트 콤플렉스 통합 엔드포인트라고 분류되기도 한다.
그래픽 가속기(130) 또한 직렬 링크(132)를 통해 제어기 허브(115)에 연결될 수 있다. 일 실시예에서, 그래픽 가속기(130)는 ICH에 연결된 MCH에 연결된다. 그러면 스위치(120) 및 이에 따른 I/O 디바이스(125)는 ICH에 연결된다. I/O 모듈(131 및 118) 또한 그래픽 가속기(130)와 제어기 허브(115) 사이에서 통신하는 계층화된 프로토콜 스택을 구현한다. 앞에서 MCH의 설명과 마찬가지로, 그래픽 제어기 또는 그래픽 가속기(130) 자체는 프로세서(105) 내에 통합될 수 있다.
도 2를 참조하면, 계층화된 프로토콜 스택의 실시예가 예시된다. 계층화된 프로토콜 스택(200)은 퀵 패스 인터커넥트(Quick Path Interconnect, QPI) 스택, PCIe 스택, 차세대 고성능 컴퓨팅 인터커넥트(next generation high performance computing interconnect, HPI) 스택, 또는 다른 계층화된 스택과 같은 임의 형태를 포함한다. 도 1 내지 도 4를 참조하여 바로 아래의 설명은 PCIe 스택과 관련될지라도, 다른 인터커넥트 스택에도 똑 같은 개념이 적용될 수 있다. 일 실시예에서, 프로토콜 스택(200)은 트랜잭션 계층(205), 링크 계층(210), 및 물리 계층(220)을 포함하는 PCIe 프로토콜 스택이다. 도 1에서 인터페이스(117, 118, 121, 122, 126, 및 131)와 같은 인터페이스는 통신 프로토콜 스택(200)으로서 대표될 수 있다. 통신 프로토콜 스택이라는 표현은 프로토콜 스택을 구현/포함하는 모듈 또는 인터페이스라고도 지칭될 수 있다.
PCI 익스프레스는 패킷을 사용하여 컴포넌트들 사이에서 정보를 전달한다. 패킷은 트랜잭션 계층(205) 및 데이터 링크 계층(210)에서 형성되어 정보를 송신 컴포넌트로부터 수신 컴포넌트로 전달한다. 송신된 패킷은 다른 계층을 통해 흐르므로, 패킷은 그러한 계층에서 패킷을 처리하는데 필요한 부가적인 정보로 확장된다. 수신 측에서, 역 처리가 수행되며 패킷은 이들의 물리 계층(220) 표현으로부터 데이터 링크 계층(210) 표현으로 변환되고 최종적으로 (트랜잭션 계층 패킷의 경우) 수신 디바이스의 트랜잭션 계층(205)에 의해 처리될 수 있는 형태로 변환된다.
트랜잭션 계층
일 실시예에서, 트랜잭션 계층(205)은 디바이스의 프로세싱 코어와 인터커넥트 아키텍처, 이를테면 데이터 링크 계층(210)과 물리 계층(220) 사이에서 인터페이스를 제공한다. 이와 관련하여, 트랜잭션 계층(205)의 주요 기능은 패킷(즉, 트랜잭션 계층 패킷(transaction layer packet) 또는 TLP)의 조립과 해체이다. 트랜잭션 계층(205)은 전형적으로 TLP에 대하여 신용 기반 흐름 제어(credit-based flow control)를 관리한다. PCIe는 스플릿 트랜잭션(split transaction), 즉 타겟 디바이스가 응답에 필요한 데이터를 수집하는 동안 링크로 하여금 다른 트래픽을 전달하게 해주는, 요청과 응답이 시간적으로 분리되어 있는 트랜잭션을 구현한다.
또한 PCIe는 신용 기반 흐름 제어를 활용한다. 이러한 체계에서, 디바이스는 트랜잭션 계층(205)에서 각각의 수신 버퍼마다 초기의 신용 수량을 광고한다. 도 1의 제어기 허브(115)와 같이, 링크의 반대편에 있는 외부 디바이스는 각각의 TLP에 의해 소비된 신용의 개수를 카운트한다. 트랜잭션은 만일 그 트랜잭션이 신용 한계치를 초과하지 않으면 송신될 수 있다. 응답을 수신하면, 크레딧 수량이 복원된다. 신용 체계의 장점은 신용 제한에 처하지 않으면, 신용 반환의 지연은 성능에 영향을 미치지 않는다는 것이다.
일 실시예에서, 네 개의 트랜잭션 어드레스 공간은 구성 어드레스 공간, 메모리 어드레스 공간, 입력/출력 어드레스 공간, 및 메시지 어드레스 공간을 포함한다. 메모리 공간 트랜잭션은 데이터를 메모리-매핑된 장소로/로부터 전달하는 읽기 요청 및 쓰기 요청 중 하나 이상을 포함한다. 일 실시예에서, 메모리 공간 트랜잭션은 두 가지 상이한 어드레스 포맷, 예를 들면, 32-비트 어드레스와 같이 짧은 어드레스 포맷, 또는 64-비트 어드레스와 같이 긴 어드레스 포맷을 사용할 수 있다. 구성 공간 트랜잭션은 PCIe 디바이스의 구성 공간에 액세스하는데 사용된다. 구성 공간으로의 트랜잭션은 읽기 요청 및 쓰기 요청을 포함한다. 메시지 공간 트랜잭션(또는 간단히 메시지)는 PCIe 에이전트들 간의 대역-내(in-band) 통신을 지원하기 위해 정의된다.
그러므로 일 실시예에서, 트랜잭션 계층(205)은 패킷 헤더/패이로드(206)를 조립한다. 현재 패킷 헤더/패이로드의 포맷은 PCIe 사양서 웹사이트에서 PCIe 사양서에서 찾아볼 수 있다.
이제 도 3을 참조하면, PCIe 트랜잭션 서술자가 예시된다. 일 실시예에서, 트랜잭션 서술자(300)는 트랜잭션 정보를 운반하는 메커니즘이다. 이와 관련하여, 트랜잭션 서술자(300)는 시스템에서 트랜잭션의 식별(identification)을 지원한다. 다른 잠재적인 사용례는 디폴트 트랜잭션 정렬 및 트랜잭션의 채널과의 연계의 추적 수정을 포함한다.
트랜잭션 서술자(300)는 글로벌 식별자 필드(302), 속성 필드(304) 및 채널 식별자 필드(306)를 포함한다. 예시된 예에서, 글로벌 식별자 필드(302)는 로컬 트랜잭션 식별자 필드(308) 및 소스 식별자 필드(310)를 포함하는 것으로 도시된다. 일 실시예에서, 글로벌 트랜잭션 식별자(302)는 모든 미해결 요청(outstanding request)에 고유하다.
일 구현예에 따르면, 로컬 트랜잭션 식별자 필드(308)는 요청 에이전트에 의해 생성되는 필드이며, 그 요청 에이전트에게 완료를 요구하는 모든 미처리 요청에 고유하다. 그뿐만 아니라, 이 예에서, 소스 식별자(310)는 PCIe 계층구조 내에서 요청자 에이전트를 고유하게 식별한다. 따라서, 소스 ID(310)와 함께, 로컬 트랜잭션 식별자(308) 필드는 계층 도메인 내에서 트랜잭션의 전역적인 식별을 제공한다.
속성 필드(304)는 트랜잭션의 특성 및 관계를 명시한다. 이와 관련하여, 속성 필드(304)는 트랜잭션의 디폴트 처리의 수정을 허용하는 부가 정보를 제공하기 위해 잠재적으로 사용된다. 일 실시예에서, 속성 필드(304)는 우선순위 필드(312), 예약 필드(314), 순서 필드(316), 및 노-스누프(no-snoop) 필드(318)를 포함한다. 여기서, 우선순위 서브필드(312)는 트랜잭션에 우선순위를 할당하는 개시자(initiator)에 의해 수정될 수 있다. 예약 속성 필드(314)는 미래를 위해 예약으로 남겨 놓거나 또는 벤더-정의(vendor-defined) 용도로 남겨 놓는다. 우선순위 또는 보안 속성을 이용하는 있음직한 사용례 모델은 예약 속성 필드를 이용하여 구현될 수 있다.
이 예에서, 순서 속성 필드(316)는 디폴트 정렬 규칙(default ordering rules)을 수정할 수 있는 정렬의 타입을 전달하는 옵션 정보를 공급하기 위해 사용될 수 있다. 일 예의 구현예에 따르면, "0"라는 정렬 속성은 디폴트 정렬 규칙을 적용한다는 것을 나타내며, "1"이라는 정렬 속성은 완화된 정렬(relaxed ordering)를 나타내는데, 쓰기(write)는 동일한 방향으로 쓰기를 진행할 수 있으며, 읽기 완료(read completion)는 동일한 방향으로 쓰기를 진행할 수 있다. 스누프 속성 필드(318)는 트랜잭션이 스누프되는지를 결정하기 위해 사용된다. 도시된 바와 같이, 채널 ID 필드 필드(306)는 트랜잭션이 연관되어 있는 채널을 식별한다.
링크 계층
데이터 링크 계층(210)이라고도 지칭되는 링크 계층(210)은 트랜잭션 계층(205)과 물리 계층(220) 사이의 중간 단계로서 작용한다. 일 실시예에서, 데이터 링크 계층(210)의 기능은 두 컴포넌트들 사이에서 트랜잭션 계층 패킷(Transaction Layer Packet, TLP)을 교환하기 위한 신뢰할 수 있는 메커니즘을 제공하는 것이다. 데이터 링크 계층(210)의 일 측은 트랜잭션 계층(205)에 의해 조립되는 TLP를 받아들이고, 패킷 시퀀스 식별자(211) 즉, 식별 번호 또는 패킷 번호를 적용하고, 오류 검출 코드, 즉 CRC(212)를 계산하여 적용하고, 수정된 TLP를 물리 계층(820)에 제공하여 물리 계층을 통해 외부 디바이스로 전송한다.
물리 계층
일 실시예에서, 물리 계층(220)은 패킷을 외부 디바이스에 물리적으로 송신하는 논리 서브블록(221) 및 전기 서브블록(222)을 포함한다. 여기서 논리 서브블록(221)은 물리 계층(221)의 "디지털" 기능에 필요한 역할을 수행한다. 이와 관련하여, 논리 서브블록은 물리 서브블록(222)에 의해 전송하기 위한 발송 정보를 준비하는 송신 섹션과, 수신된 정보를 링크 계층(210)에 전달하기 전에 수신된 정보를 식별하고 준비하는 수신 섹션을 포함한다.
물리 블록(222)은 송신기와 수신기를 포함한다. 송신기는 논리 서브블록(2821)에 의해, 송신기가 직렬화하여 외부 디바이스에 송신하는 심볼을 공급받는다. 수신기는 외부 디바이스로부터 직렬화된 심볼을 공급받고 수신된 신호를 비트스트림으로 변환한다. 비트스트림은 역직렬화되어 논리 서브블록(221)에 공급된다. 일 실시예에서, 8b/10b 송신 코드가 채용되고, 10-비트 심볼이 송신되고/수신된다. 여기서, 패킷을 프레임(223)으로 구성하기 위해 특수한 심볼이 사용된다. 또한 일 예에서, 수신기는 또한 입력되는 직렬 스트림으로부터 복구된 심볼 클록을 제공한다.
앞에서 설명된 바와 같이, 비록 트랜잭션 계층(205), 링크 계층(210) 및 물리 계층(2820)이 PCIe 프로토콜 스택의 특정 실시예에 관하여 설명되었지만, 계층화된 프로토콜 스택은 그렇게 제한되지 않는다. 실제로, 임의의 계층화된 프로토콜이 포함되고/구현될 수 있다. 일 예로서, 계층화된 프로토콜로서 표현되는 포트/인터페이스는, (1) 패킷을 조립하는 제 1 계층 즉, 트랜잭션 계층과, 패킷을 순차적으로 배열하는 제 2 계층 즉, 링크 계층과, 패킷을 송신하는 제 3 계층 즉, 물리 계층을 포함할 수 있다. 특정 예로서, 공통 표준 인터페이스(common standard interface, CSI) 계층화된 프로토콜이 활용된다.
다음으로 도 4를 참조하면, PCIe 직렬 포인트-투-포인트 패브릭의 실시예가 도시된다. PCIe 직렬 포인트-투-포인트 링크의 실시예가 예시되지만, 직렬 포인트-투-포인트는 직렬 데이터를 송신하기 위한 임의의 송신 경로를 포함하므로, 직렬 포인트-투-포인트 링크는 그렇게 한정되지 않는다. 도시된 실시예에서, 기본 PCIe 링크는 두 개의 저 전압의 차동 구동된 신호 쌍들, 즉 송신 쌍(406/411) 및 수신 쌍(412/407)을 포함할 수 있다. 따라서, 디바이스(405)는 데이터를 디바이스(410)로 송신하는 송신 로직(906) 및 데이터를 디바이스(410)로부터 수신하는 수신 로직(407)을 포함한다. 다시 말해서, 두 개의 송신 경로, 즉 경로(416 및 417), 및 두 개의 수신 경로, 즉 경로(418 및 419)가 PCIe 링크에 포함된다.
송신 경로는 송신 회선, 구리 회선, 광 회선, 무선 통신 채널, 적외선 통신 링크, 또는 다른 통신 경로와 같이 데이터를 송신하기 위한 임의의 경로를 말한다. 두 디바이스, 이를테면 디바이스(405)와 디바이스(410) 사이의 접속은 링크(415)와 같은 링크라고 지칭된다. 링크는 하나의 레인(lane)을 지원할 수 있고, 각각의 레인은 한 세트의 차동 신호 쌍(하나의 쌍은 송신용, 하나의 쌍은 수신용)을 나타낸다. 대역폭을 조정하기 위해, 링크는 xN으로 표기된 복수의 레인을 합친 것일 수 있으며, 여기서 N은 예를 들어 1, 2, 4, 8, 12, 16, 32, 64, 또는 그 보다 넓은 임의의 지원된 링크 폭이다.
차동 쌍은 레인(416 및 417)과 같이 차동 신호를 송신하는 두 개의 송신 경로를 말한다. 일 예로서, 회선(416)이 저전압 레벨에서 고전압 레벨로 토글할 때, 즉 상승 에지일 때, 회선(417)은 하이 로직 레벨에서 로우 로직 레벨로, 즉 하강 에지로 진행한다. 차동 신호는 잠재적으로 더 양호한 신호 무결성(signal integrity), 즉 크로스-커플링, 전압 오버슈트/언더슈트, 링잉 등과 같은 더 양호한 전기적 특성을 보여준다. 이것은 송신 주파수를 더 빠르게 해줄 수 있는 더 나은 타이밍 윈도우를 가능하게 해준다.
PCIe를 비롯하여 기존의 인터커넥트 및 통신 아키텍처의 물리 계층은 시스템 내에서 공유 메모리 및 I/O 서비스를 제공하기 위해 적극 활용될 수 있다. 전통적으로, 캐시 가능한 메모리는 전통적인 적재/저장(load/store, LD/ST) 메모리 시맨틱을 이용해서는 독립 시스템들 사이에서 공유될 수 없다. 독립 시스템 또는 "노드"는 단일의 논리 주체로서 기능한다는 점에서 독립적일 수 있고, 단일의 오퍼레이팅 시스템(및/또는 단일의 BIOS 또는 가상 머신 모니터(Virtual Machine Monitor, VMM)에 의해 제어되며, 및/또는 독립적인 결함 도메인을 갖는다. 단일의 노드는 하나 또는 복수 개의 프로세서 디바이스를 포함할 수 있고, 단일의 기판이나 복수 개의 기판상에서 구현될 수 있으며, LS/ST 시맨틱을 이용하여 동일 노드상의 디바이스들에 의해 액세스될 수 있다. 노드 내에서, 공유 메모리는 랜덤 액세스 메모리(random access memory, RAM)와 같이 노드 내 여러 상이한 프로세서(예를 들면, 중앙 처리 유닛(central processing unit, CPU)에 의해 액세스될 수 있는 하나 이상의 메모리 블록을 포함할 수 있다. 공유 메모리는 또한 노드의 프로세서 또는 여타 디바이스의 로컬 메모리를 포함할 수 있다. 노드 내에서 공유 메모리를 갖는 여러 디바이스는 공유 메모리 내 데이터의 한 가지 관점을 공유할 수 있다. 공유 메모리에 연루되는 I/O 통신은 지연이 매우 낮을 수 있으며 여러 프로세서에 의한 메모리로의 빠른 액세스를 가능하게 해줄 수 있다.
전통적으로, 상이한 노드들 사이에서 메모리 공유는 적재/저장의 전형적인 양식에 따라서 메모리 공유를 허용하지 않았다. 예를 들어, 일부 시스템에서, 여러 노드들 사이에서 메모리 공유는 분산된 메모리 아키텍처를 통해 가능하였다. 전통적인 해법에서, 계산 작업은 국부 데이터에 대해 수행하며, 만일 다른 노드의 데이터가 필요하면, (다른 CPU 노드에 의해 실행되는) 계산 작업은 예를 들어 이더넷, 인피니밴드(InfiniBand), 또는 다른 계층화된 프로토콜과 같은 통신 프로토콜 스택을 활용하는 통신 채널을 통해 다른 노드와 교신한다. 전통적인 멀티노드 시스템에서, 여러 노드의 프로세서는 데이터가 어디에 상주하는지 알아야 하는 것은 아니다. 전통적인 접근방법을 이용하여, 이를테면 프로토콜 스택을 통해 데이터를 공유하게 되면 적재/저장의 전형적인 양식을 이용하여 노드 내부에서 메모리 공유보다 지연이 상당히 높을 수 있다. 공유 메모리 내 데이터를 직접 어드레싱하고 연산하는 대신, 하나의 노드가 이더넷(또는 인피니밴드)과 같은 기존의 프로토콜 핸드셰이크를 이용하여 다른 노드로부터 데이터를 요청할 수 있으며, 소스 노드는 다른 예 중에서도, 데이터가 요청 노드에 의해 저장되고 연산될 수 있도록 데이터를 제공할 수 있다.
일부 구현예에서, 적재/저장(LD/ST) 메모리 시맨틱을 이용하여 전용의 또는 공유적 액세스를 위해 독립 노드들 사이에서 메모리가 공유되게 하는 공유 메모리 아키텍처가 제공될 수 있다. 일 예에서, (PCIe와 같은 프로토콜에 대한) I/O 시맨틱과 함께 메모리 시맨틱(및 적용 가능하다면, 디렉토리 정보)이 일련의 공통 핀 또는 별도 세트의 핀 중 어느 하나에서 익스포트될 수 있다. 그러한 시스템에서, 개선된 공유 메모리 아키텍처는 시스템 내 복수 개의 노드 각각이 그의 자체의 독립적 결함 도메인(및 로컬 메모리)을 유지할 수 있게 해주면서, LD/ST 시맨틱에 따라서 노드에 의해 공유 메모리 풀(shared memory pool)이 액세스될 수 있게 해주고 메모리를 사용하는 노드들 사이에서 낮은 지연의 메시지를 전달할 수 있게 해준다. 일부 구현예에서, 그러한 공유 메모리 풀은 동적으로(또는 정적으로) 여러 노드들 사이에서 할당될 수 있다. 따라서, 예를 들어, 수요가 늘어남에 따라, 공유 메모리 풀은 시스템의 여러 노드를 공유 메모리 인프라스트럭처를 활용하여 각종 작업에 대해 협력적이고 유연하게 협업하는 동적으로 변화하는 노드 그룹으로 구성할 수 있다.
도 5a를 참조하면, 복수 개의 독립 노드(510a-510n) 각각에 의해 적재/저장 기술을 이용하여 액세스될 수 있는 공유 메모리(505)를 포함하는 예시적인 시스템을 예시하는 간략화한 블록도(500a)가 도시된다. 예를 들어, 시스템의 여러 노드(510a-510n)의 적재/저장 액세스 요청을 받을 수 있는 공유 메모리 제어기(515)가 제공될 수 있다. 공유 메모리(505)는 다이나믹 랜덤 액세스 메모리(dynamic random access memory, SDRAM), 듀얼 인-라인 메모리(dual in-line memory module, DIMM), 및 여타 비휘발성 메모리(또는 휘발성 메모리)를 활용하여 구현될 수 있다.
각각의 노드는 자체적으로 하나 또는 복수 개의 CPU 소켓을 가질 수 있으며 또한 시스템 내 다른 노드에 의한 LD/ST와 격리된 채로 유지하는 로컬 메모리를 포함할 수 있다. 다른 예 중에서도, 노드는 PCIe, QPI, 이더넷을 비롯한 하나 이상의 프로토콜을 이용하여 시스템의 다른 디바이스(예를 들면, 공유 메모리 제어기(515), 네트워킹 제어기(520) 등)와 통신할 수 있다. 일부 구현예에서, 낮은 지연의 LD/ST 메모리 시맨틱이 지원될 수 있는 공유 메모리 링크(shared memory link, SML) 프로토콜이 제공될 수 있다. SML은 예를 들어, 시스템의 여러 노드(510a-510n)에 의해 (공유 메모리 제어기(515)를 통해) 공유 메모리(505)의 판독 및 기록 신호를 전달하는데 사용될 수 있다.
일 예에서, SML은 스케일러블 메모리 인터커넥트 3세대(Scalable Memory Interconnect (SMI) 3rd generation, SMI3)와 같은 메모리 액세스 프로토콜에 기초할 수 있다. 다른 예 중에서, 완전 버퍼링된(fully buffered DIMM, FB-DIMM), DDR 트랜잭셔널(DDR Transactional, DDR-T)과 같이 트랜잭셔널 메모리 액세스 프로토콜과 같은 다른 메모리 액세스 프로토콜이 대안으로 사용될 수 있다. 다른 예에서, SML은 추가적인 디렉토리가 확장된 본래의 PCIe 메모리 판독/기록 시맨틱에 기초할 수 있다. SML의 메모리-프로토콜 기반의 구현은 캐시 라인 메모리 액세스에 맞추어지기 때문에 대역폭 효율 장점을 제공될 수 있다. PCIe와 같은 고성능의 디바이스간 통신 프로토콜이 존재하지만, 그러한 프로토콜의 상위 계층(예를 들면, 트랜잭션 및 링크 계층)은 공유 메모리(505)에 수반되는 트랜잭션을 비롯한 LD/ST 메모리 트랜잭션에서 사용하기 위한 전체 프로토콜의 적용을 저하시키는 지연을 도입시킬 수 있다. SMI3과 같은 메모리 프로토콜은 이 프로토콜이 PCIe와 같은 다른 프로토콜 스택의 대부분을 바이패스할 수 있기 때문에 더 낮은 지연 액세스를 제공하는 잠재적이고 추가적인 장점이 가능할 수 있다. 따라서, SML의 구현은 PCIe상에서 구동하는 SMI3과 같이, 다른 프로토콜의 논리 및 물리 PHY에서 구동하는 SMI3 또는 다른 메모리 프로토콜을 활용할 수 있다.
전술한 바와 같이, 일부 구현예에서, 시스템 내 노드(510a-510n)의 적재/저장 요청을 처리하기 위한 로직을 포함하는 공유 메모리 제어기(shared memory controller, SMC)(515)가 제공될 수 있다. 적재/저장 요청은 SML을 활용하고 노드(510a-510n)를 SMC(515)에 접속하는 링크를 통해 SMC(515)에 의해 수신될 수 있다. 일부 구현예에서, SMC(515)는 노드(510a-510n)의 공유 메모리 자원에 대한 액세스 요청을 서비스하기 위한 로직을 포함하는 디바이스, 예를 들면 주문형 집적 회로(application specific integrated circuit, ASIC)로서 구현될 수 있다. 다른 사례에서, SMC(515)(뿐만 아니라 공유 메모리(505))는 노드(510a-510n) 중 하나 이상의 (또는 심지어 모든) 노드와 별개의 디바이스, 칩, 또는 기판상에 상주할 수 있다. SMC(515)는 또한 공유 메모리(505)에 연루되는 여러 노드의 트랜잭션을 조정하는 로직을 포함할 수 있다. 부가적으로, SMC는 각각의 캐시 라인과 같이, 공유 메모리(505)에 포함된 여러 데이터 자원에 액세스하는 것을 추적하는 디렉토리를 유지할 수 있다. 예를 들어, 다른 잠재적인 예 중에서도, 데이터 자원은 (예를 들면, 노드 내 복수 개의 처리 및/또는 I/O 디바이스에 의해 동시에 액세스(예를 들면, 적재 또는 판독)될 수 있는) 공유 액세스 상태, (예를 들면, 노드 내 단일의 처리 및/또는 I/O 디바이스에 의해(예를 들면, 저장 또는 판독 동작을 위해) 일시적은 아니지만, 배타적으로 보존되는) 전용 액세스 상태, 캐시되지 않은 상태(uncached state)에 있을 수 있다. 또한, 각각의 노드는 공유 메모리(505)의 하나 이상의 부분에 직접 액세스할 수 있지만, 제 1 노드에 의해 제 1 어드레스 값에 따라 (예를 들면, 어떤 명령어에서) 언급되고 그리고 제 2 노드가 제 2 어드레스 값에 의해 언급하는, 결과적으로 동일한 공유 메모리 데이터를 언급하는, 여러 어드레싱 체계 및 값이 여러 노드(예를 들면, 노드(510a-510n))에 의해 채용될 수 있다. SMC(515)는 SMC(515)가 여러 노드의 여러 액세스 요청을 해석할 수 있도록, 노드의 어드레스를 공유 메모리 자원에 맵핑하는 데이터 구조를 포함하는 로직을 포함할 수 있다.
또한, 일부 사례에서, 공유 메모리 중 일부분(예를 들면, 특정 파티션, 메모리 블록, 레코드, 파일 등)은 노드(510a-510n)의 일부에게만 해당하는 데이터에 액세스하기가 허용되도록 특정의 허가, 규칙, 및 할당을 받을 수 있다. 실제로, 각각의 공유 메모리 자원은 시스템의 노드(510a-510n)의 각각의 (그리고 일부 사례에서는 상이한) 서브셋에 할당될 수 있다. 이와 같은 할당은 동적일 수 있으며 SMC(515)는 공유 메모리(505)의 특정 부분에 적용 가능한 새로운 또는 변경된 규칙, 허가, 노드 할당, 및 소유권을 수용하기 위해 그러한 규칙 및 허가를 수정(예를 들면, 동적으로 온-디맨드 등)할 수 있다.
예시적인 SMC(515)는 또한 하나 이상의 공유 메모리 자원에 액세스하는 시스템 내 노드(예를 들면, 510a-510n)에 연루된 각종 트랜잭션을 추적할 수 있다. 예를 들어, SMC(515)는, 다른 트랜잭션 정보 중에서, 트랜잭션에 연루된 노드(들)의 정체, 트랜잭션의 진행(예를 들면, 트랜잭션이 완료되었는지)에 관한 정보를 추적할 수 있다. 이것은 전통적인 분산 메모리 아키텍처의 트랜잭션 지향 양태 중 일부가 본 명세서에서 설명된 개선된 다중-노드 공유 메모리 아키텍처에 적용되게 해줄 수 있다. 또한, (예를 들면, SMC에 의한) 트랜잭션 추적은 각각의 노드의 별개이면서 독립적인 결함 도메인을 유지하거나 강화하는데 지원하기 위해 사용될 수 있다. 예를 들어, SMC는 진행중인 각 트랜잭션마다 대응하는 노드 ID를 메모리 내에 유지하는 것을 비롯하여 그의 내부 데이터 구조에서 유지할 수 있으며, 그 정보를 액세스 권한을 강화하고 각 노드의 개개의 결함 도메인을 유지하는데 사용할 수 있다. 따라서, 노드 중 한 노드가 (예를 들면, 트리거된 복구 시퀀스, 또는 다른 결함이나 이벤트로 인해) 작동 중단될 때, 그 노드 및 공유 메모리(505)에 연루된 그 노드의 트랜잭션만이 중단(예를 들면, SMC에 의해 폐기)되며, 공유 메모리(505)에 연루된 나머지 노드의 트랜잭션은 다른 노드에서의 결함에 무관하게 계속된다.
시스템은 복수 개의 노드를 포함할 수 있다. 또한, 일부 예시적인 시스템은 복수 개의 SMC를 포함할 수 있다. 일부 사례에서, 노드는 노드가 직접 소속되어 있지 않은(즉, 노드의 로컬 SMC가 하나 이상의 여러 SML 링크 홉을 통해 원격 SMC에 접속하는) 원격 SMC에서 떨어져 있는 공유 메모리에 액세스할 수 있다. 원격 SMC는 동일한 기판 내에 있을 수 있고 또는 다른 기판 내에 있을 수도 있다. 일부 사례에서, 일부의 노드는 오프-시스템(off-system)(예를 들면, 오프-보드 또는 오프-칩)일 수 있지만, 그럼에도 공유 메모리(505)에 액세스할 수 있다. 예를 들어, 하나 이상의 오프-시스템 노드는, 다른 예 중에서도, SML 준용 링크를 이용하여 SMC에 직접 접속할 수 있다. 또한, 자체의 SMC 및 공유 메모리를 포함하는 다른 시스템 역시 SMC(510)와 접속하여 예를 들어, SML 링크를 통해 SMC에 접속된 다른 SMC와 인터페이싱하는 다른 기판상에 포함된 노드에 이르기까지 공유 메모리(505)의 공유를 확장할 수 있다. 다른 오프-보드 또는 오프-칩 노드에 이르기까지 액세스를 추가로 확장하기 위해 또 다른 네트워크 접속이 터널링될 수 있다. 예를 들어, 다른 예 중에서, SML은 마찬가지로 하나 이상의 다른 노드를 포함할 수 있고 이들 노드가 마찬가지로 SMC(515)에 액세스한 다음 공유 메모리(505)에 액세스할 수 있게 하는 다른 시스템과 도 5a의 예시적인 시스템을 통신으로 연결하는 (예를 들면, 네트워크 제어기(520)를 통해 제공된) 이더넷 접속을 통해 터널링할 수 있다.
다른 예로서, 도 5b의 간략화한 블록도(500b)에서 도시된 바와 같이, LD/ST 메모리 시맨틱에 따라서 여러 독립 노드에 의한 공유 액세스를 허용하는 개선된 공유 메모리 아키텍처는 각종의 상이한 멀티-노드 시스템 디자인을 융통성 있게 제공하게 해줄 수 있다. 여러 노드의 다양한 조합은 예시적인 시스템에서 제공된 하나 이상의 공유 메모리 블록의 부분을 공유하도록 지정될 수 있다. 예를 들어, 도 5b의 예에서 도시된 다른 예시적인 시스템은 예를 들어, 별도의 다이, 기판, 칩 등으로서 구현된 복수 개의 디바이스(550a-550d)를 포함할 수 있고, 각각의 디바이스는 하나 이상의 독립 CPU 노드(예를 들면, 510a-510h)를 포함한다. 각각의 노드는 자체의 로컬 메모리를 포함할 수 있다. 복수 개의 디바이스(550a-550d) 중 하나 이상의 디바이스는 또한 시스템의 노드(510a-510h) 중 둘 이상의 노드에 의해 액세스될 수 있는 공유 메모리를 포함할 수 있다.
도 5b에서 예시된 시스템은 본 명세서에서 도시되고 설명된 바와 같은 개선된 공유 메모리 아키텍처를 통해 실현될 수 있는 몇 가지 변형예를 예시하기 위해 제공된 예이다. 예를 들어, 디바이스 A(550a) 및 디바이스 C(550c)는 각기 각자의 공유 메모리 요소(예를 들면, 505a, 505b)를 포함할 수 있다. 따라서, 일부 구현예에서, 별개의 디바이스상의 각각의 공유 메모리 요소는 또한 각자의 공유 메모리 제어기(SMC)(515a, 515b)를 포함할 수 있다. 노드(510a-510h)의 다양한 조합은 각각의 SMC(예를 들면, 515a, 515b)에 통신으로 결합되어서, 노드들이 대응하는 공유 메모리(예를 들면, 505a, 505b)에 액세스할 수 있게 할 수 있다. 예로서, 디바이스 A(550a)의 SMC(515a)는 SML을 지원하는 직접 데이터 링크를 이용하여 디바이스 A상의 노드(510a, 510b)에 접속할 수 있다. 또한, 다른 디바이스(예를 들면, 디바이스 C(550c))상의 다른 노드(510c)도 마찬가지로 노드(510c)(및/또는 그의 디바이스(550c))로부터 SMC(515a)까지의 (SML을 지원하는) 직접적인 하드와이어드 접속에 의해 공유 메모리(505)에 액세스할 수 있다. 통상의 프로토콜 스택을 활용하여 SMC(515a)와 인터페이싱하는 원격 또는 오프-보드 디바이스(예를 들면, 디바이스 D(550d))의 노드(예를 들면, 510f-510h)가 마찬가지로 공유 메모리(505a)에 액세스할 수 있도록 하는 간접적인 네트워크 기반의 접속 또는 그러한 다른 접속이 또한 사용될 수 있다. 예를 들어, SML 터널(555)은 디바이스 A 및 디바이스 D를 연결하는 이더넷, 인피니밴드, 또는 다른 접속을 통해 설정될 수 있다. 터널을 설정하고 유지하면 약간의 추가적인 오버헤드 및 지연이 도입될 수 있지만, 더 적게 소프트웨어로 관리되는 다른 물리 접속에서 작동하는 SML과 비교하여 보면, SML 터널(555)은 설정되었을 때 다른 SML 채널처럼 동작할 수 있으며 SML 링크를 통해 SMC와 통신하는 임의의 다른 노드처럼 노드(510f-510h)가 SML을 통해 SMC(515a)와 인터페이싱할 수 있고 공유 메모리(505a)에 액세스할 수 있게 해준다. 예를 들어, SML 채널에서 패킷의 신뢰성 및 정렬은 시스템 내 네트워킹 컴포넌트에 의해 강화될 수 있거나 SMC들 사이에서 엔드-투-엔드로 강화될 수 있다.
또 다른 예에서, 공유 메모리(예를 들면, 505a)의 특정 부분을 호스팅하는 디바이스와 다른 디바이스 상의 노드(515d, 515e)는 (예를 들면, SMC(515a)를 이용하여) 연결되어 있는 다른 SMC(예를 들면, 515b)를 대응 SMC(예를 들면, 515a))에 직접 접속함으로써 대응 SMC(예를 들면, SMC(515a))에 간접 접속될 수 있다. 둘 이상의 SMC(예를 들면, 515a, 515b)를 링크 연결하면 시스템상의 노드(510a-510h)에게 이용 가능한 공유 메모리의 양을 효과적으로 확장할 수 있다. 예를 들면, 일부 구현예에서, 도 5b의 예에서 SMC(515a, 515b) 사이의 링크에 의해, SMC(515a)를 통해 공유 메모리(505a)에 액세스할 수 있는 노드(예를 들면, 510a-510c, 510f-510h) 중 임의의 노드는 또한 SMC(515a)와 SMC(515b) 사이의 접속에 의해 공유 가능한 메모리(505b)에 잠재적으로 액세스할 수 있다. 마찬가지로, 일부 구현예에서, 다른 잠재적인 예 중에서, SMC(515b)를 직접 액세스하는 각각의 노드 또한 SMC(515a)와 SMC(515b) 사이의 접속에 의해 공유 가능한 메모리(505a)에 액세스할 수 있다.
전술한 바와 같이, 개선된 공유 메모리 아키텍처는 SMI3과 같은 메모리 액세스 프로토콜에 기초하고 공유 메모리에 연루되는 적재/저장 요청을 용이하게 해주기 위해 제공되는 낮은 지연의 링크 프로토콜(즉, SML)을 포함할 수 있다. 전통적인 SMI3 및 다른 메모리 액세스 프로토콜은 단일 노드 내에서 메모리를 공유할 목적으로 구성될 수 있는데 반해, SML은 복수 개의 노드들이 복수 개의 노드들 사이에서 메모리를 공유할 수 있게 해주는 데까지 메모리 액세스 시맨틱을 확장할 수 있다. 또한, SML은 임의의 물리적 통신 링크에서 잠재적으로 활용될 수 있다. SML은 별개의 디바이스 (및 노드)를 상호접속하도록 적응된 물리 계층 (및 대응하는 물리 계층 로직) 위에 입혀진 LD/ST 메모리 시맨틱을 지원하는 메모리 액세스 프로토콜을 활용할 수 있다. 또한, SML의 물리 계층 로직은 다른 특징 중에서도, 어느 패킷도 빠뜨리지 않으며 오류 재전송 기능성을 제공할 수 있다.
일부 구현예에서, SML은 SMI3을 PCIe PHY에 덧씌움으로써 구현될 수 있다. SML 링크 계층은 흐름 제어 및 다른 특징을 포기하고 전통적인 CPU 메모리 액세스 아키텍처에서 그랬던 것처럼 더 낮은 지연의 메모리 액세스를 가능하게 하도록 (예를 들면, 전통적인 PCIe 링크 계층 대신에) 제공될 수 있다. 일 예에서, SML 링크 계층 로직은 공유 메모리 트랜잭션과 다른 트랜잭션 사이에서 멀티플렉싱할 수 있다. 예를 들어, SML 링크 계층 로직은 SMI3과 PCIe 트랜잭션 사이를 멀티플렉싱할 수 있다. 예를 들어, SMI3(또는 다른 메모리 프로토콜)은 PCIe(또는 다른 인터커넥트 프로토콜)에 덧씌워져서 링크가 SMI3과 PCIe 트랜잭션 사이에서 동적으로 스위칭할 수 있도록 한다. 이렇게 함으로써 일부 사례에서 전통의 PCIe 트래픽을 SML 트래픽과 동일한 링크에서 효과적으로 공존하도록 할 수 있다.
도 6을 참조하면, SML의 제 1 구현예를 예시하는 표현(600)이 도시된다. 예를 들어, SML은 PCIe PHY에 SMI3을 덧씌움으로써 구현될 수 있다. 물리 계층은 링크 훈련을 비롯한 모든 물리 계층 작동뿐만 아니라 PCIe 데이터 블록에 대해 표준 PCIe 128b/130b 인코딩을 사용할 수 있다. SML은 링크의 레인(예를 들면, 레인0 - 레인7)상의 트래픽이 PCIe 패킷과 SMI3 플릿 사이에서 멀티플렉싱되도록 할 수 있다. 예를 들면, 도 6에서 예시된 구현예에서, PCIe 128b/130b 인코딩의 싱크 헤더(sync header)는 수정될 수 있으며 SMI3 플릿이 PCIe 패킷 대신 링크의 레인을 통해 전송될 것이라고 표시하는데 사용될 수 있다. 전통의 PCIe 128b/130b 인코딩에서, 유효 싱크 헤더(예를 들면, 610)는 (블록의 패이로드의 타입이 PCIe 데이터 블록이라고 표시하기 위해) 링크의 모든 레인을 통해 10b 패턴 또는 (블록의 패이로드의 타입이 PCIe 정렬된 세트 블록(Ordered Set Block)이라고 표시하기 위해) 링크의 모든 레인을 통해 01b 패턴 중 어느 한 패턴을 전송하는 것을 포함할 수 있다. SML의 예에서, SMI3 플릿 트래픽을 PCIe 데이터 블록 및 정렬된 세트와 구별하기 위해 대안의 싱크 헤더가 정의될 수 있다. 도 6에서 예시된 일 예에서, PCIe 128b/130b 싱크 헤더(예를 들면, 605a, 605b)는 SMI3 플릿이 전송될 것임을 식별하기 위해 홀수/짝수 레인상에서 교번하는 01b, 10b 패턴으로 인코딩될 수 있다. 다른 대안의 구현예에서, SMI3 트래픽의 128b/130b 싱크 헤더 인코딩은 다른 예시적인 인코딩 중에서, 홀수/짝수 레인상에서 교번하는 10b, 01b 패턴에 의해 정의될 수 있다. 일부 사례에서, SMI3 플릿은 SMI3 싱크 헤더에 바로 뒤이어 비트별 단위로 송신될 수 있으며, 이때 PCIe와 SMI3 프로토콜 사이에서 천이는 블록 경계에서 일어난다.
도 6의 예에서 예시된 바와 같은 일부 구현예에서, 프로토콜들 사이에서 천이는 천이가 SMI3 플릿 또는 PCIe 경계에 대응하는지에 상관없이 블록 경계에서 일어나는 것으로 정의될 수 있다. 예를 들어, 블록은 미리 정의된 양의 데이터(예를 들면, 16 심볼, 128 바이트 등)를 포함하는 것으로 정의될 수 있다. 그러한 구현예에서, 블록 경계가 SMI3 플릿 경계 또는 PCIe 패킷 경계에 해당하지 않을 때, 전체 SMI3 플릿의 송신이 중단될 수 있다. 중단된 SMI3 플릿은 SMI3 표시용으로 인코딩된 다른 싱크 헤더의 전송에 의해 표시되는 다음 SMI3 블록에서 재개될 수 있다.
도 7a를 참조하면, SML의 예시적인 다른 구현예를 예시하는 표현(700)이 도시된다. 도 7a의 예에서, 메모리 액세스 프로토콜 트래픽과 인터커넥트 프로토콜 트래픽 사이의 천이를 신호하기 위해 특화된 싱크 헤더 인코딩을 사용하는 대신, 물리 계층 프레이밍 토큰(framing token)이 사용될 수 있다. 프레이밍 토큰(또는 "토큰")은 토큰과 연관된 데이터의 스트림에 포함될 심볼 개수를 명시하거나 암시하는 물리 계층 데이터 인캡슐레이션일 수 있다. 그 결과, 프레이밍 토큰은 스트림이 시작하고 있다는 것을 식별할 수 있을 뿐만 아니라 스트림이 끝날 것임을 암시할 수 있으며 그래서 다음 프레이밍 토큰의 위치를 식별하는데 사용될 수 있다. 데이터 스트림의 프레이밍 토큰은 데이터 스트림의 제 1 데이터 블록의 제 1 레인(예를 들면, 레인0)의 제 1 심볼(심볼0)에서 위치될 수 있다. PCIe의 예에서, TLP 시작(start of TLP, STP) 토큰, 데이터 스트림 종료(end of data stream, EDS) 토큰, 불량 종료(end bad, EDB) 토큰, DLLP 시작 부분(start of DLLP, SDP) 토큰, 및 논리 유휴(logical idle, IDL) 토큰을 포함하는 다섯 프레이밍 토큰이 정의될 수 있다.
도 7a의 예에서, SML은 SMI3 또는 PCIe상의 다른 데이터 액세스 프로토콜에 덧씌움으로써 구현될 수 있으며 표준 PCIe STP 토큰은 (TLP 트래픽 대신) SMI3이 링크의 레인상에서 시작하는 것을 식별하는 새로운 STP 토큰을 정의하기 위해 수정될 수 있다. 일부 예에서, 표준 PCIe STP 토큰의 예약 비트의 값은 SML에서 SMI3 STP 토큰을 정의하기 위해 수정될 수 있다. 또한, 도 7b에서 도시된 바와 같이, STP 토큰(705)은 뒤에 나오는 (플릿의 개수의 관점에서) SMI3 패이로드의 길이를 식별하는 필드(710)를 비롯한 여러 필드를 포함할 수 있다. 일부 구현예에서, TLP 데이터에 대해 하나 이상의 표준 패이로드 길이가 정의될 수 있다. 일부 구현예에서, SMI3 데이터는 일정 개수의 플릿을 포함하는 것으로 정의될 수 있거나, 다른 사례에서는 가변 가능한 개수의 플릿을 가질 수 있는데, 그 경우 SMI3 플릿의 개수에 대한 길이 필드는 무시될 수 있는 필드가 된다. 또한, SMI3 STP에 대한 길이 필드는 정의된 TLP 패이로드 길이들 중 하나의 TLP 패이로드 길이와는 다른 길이로서 정의될 수 있다. 따라서, SMI3 STP는 일 예로서 STP 길이 필드에서 제공되는 논-TLP 길이 값에 기초하여 식별될 수 있다. 예를 들면, 일 구현예에서, 11-비트 STP 길이 필드의 상위 3-비트는 (예를 들면, 사양을 준용하는 어느 PCIe TLP도 길이 필드의 3-비트가 1이 되는 길이를 가질 만큼 길 수 없다는 가정에 기초하여) SMI3 패킷을 표시하는 111b로 설정될 수 있다. 다른 구현예는 전통의 PCIe TLP 데이터 패이로드를 식별하는 PCIe STP 토큰을 SMI3 데이터가 TLP 데이터에서 캡슐화되어 있는 것을 식별하는 SMI3 STP 토큰과 구별하기 위해 STP 토큰의 다른 필드를 변경하거나 인코딩할 수 있다.
도 7a의 예를 다시 참조하면, 싱크 헤더는 전통의 PCIe 128b/130b 인코딩에 대해 명시된 인코딩을 준수할 수 있다. 예를 들어, (715a-715c)에서, 데이터 블록이 곧 들어온다고 표시하는 값 10b를 가진 싱크 헤더가 수신된다. PCIe STP(예를 들면, 720)이 수신될 때, PCIe TLP 패이로드가 올 것으로 기대되며 이에 따라서 데이터 스트림이 처리된다. PCIe STP(720)에서 식별된 패이로드 길이와 일치하여, PCIe TLP 패이로드는 할당된 전 패이로드 길이를 활용할 수 있다. 본질적으로 TLP 패이로드의 끝 부분에 뒤이어 나오는 데이터 블록 내에서 다른 STP 토큰이 언제라도 수신될 수 있다. 예를 들어, (725)에서, PCIe TLP 데이터에서 SMI3 플릿 데이터로의 천이를 신호하는 SMI3 STP가 수신될 수 있다. SMI3 STP는 예를 들어, PCIe 패킷 데이터의 끝 부분이 식별되자마자 전송될 수 있다.
계속 도 7a의 예를 참조하면, PCIe TLP 데이터와 마찬가지로, SMI3 STP(725)는 뒤에 나오는 SMI3 플릿 패이로드의 길이를 정의할 수 있다. 예를 들어, SMI3 데이터의 패이로드 길이는 DW의 관점에서 뒤에 나오는 SMI3 플릿의 개수에 대응할 수 있다. 이렇게 하여 패이로드 길이에 대응하는 (예를 들면, 레인 3의 심볼 15에서 끝나는) 윈도우가 오직 SMI3 데이터만이 그 윈도우 동안 전송되는 레인에서 정의될 수 있다. 윈도우가 끝날 때, 정렬된 세트 데이터와 같이, TLP 데이터 또는 다른 데이터의 전송을 개시하는 다른 PCIe STP와 같은 다른 데이터가 전송될 수 있다. 예를 들어, 도 7a의 예에서 도시된 바와 같이, SMI3 STP 토큰(725)에 의해 정의된 SMI3 데이터 윈도우의 종료 다음에 EDS 토큰이 전송된다. 도 7a의 예의 사례처럼, EDS 토큰은 데이터 스트림의 끝 부분을 신호해 줄 수 있으며 정렬된 세트 블록이 뒤에 나온다고 암시해줄 수 있다. 정렬된 세트 블록이 전송될 것이라고 표시하기 위해 01b로 인코딩된 싱크 헤더(740)가 전송된다. 본 사례에서는 PCIe SKP 정렬된 세트가 전송된다. 이와 같이 정렬된 세트는, 다른 예 중에서도, 비트 정렬 초기화, 심볼 정렬 초기화, PHY 파라미터 교환, 두 통신 포트마다 상이한 비트 레이트 보상을 비롯하여 각종 PHY 레벨의 작업 또는 조정이 수행될 수 있도록 설정된 간격 또는 윈도우에 따라서 또는 주기적으로 전송될 수 있다. 일부 사례에서, 정의된 윈도우 또는 대응하는 SMI3 STP 토큰에 의해 SMI3 플릿 데이터에 대해 명시된 데이터 블록을 중단시키기 위해 조절된 정렬된 세트가 전송될 수 있다.
도 7a의 예에서 명시적으로 도시되지 않았지만, STP 토큰은 또한 링크상의 SMI3 플릿 데이터에서 PCIe TLP 데이터로 천이하기 위해 사용될 수 있다. 예를 들어, 정의된 SMI3 윈도우의 종료에 뒤이어, 다음 윈도우가 명시된 양의 PCIe TLP 데이터의 전송을 위한 것임을 표시하기 위해 (예를 들면, 토큰(720))과 유사한) PCIe STP 토큰이 전송될 수 있다.
메모리 액세스 플릿(예를 들면, SMI3 플릿)은 일부 실시예에서 크기가 변할 수 있는데, 이는 우선순위와, 얼마나 많은 데이터를 메모리 액세스 패이로드에 대한 대응하는 STP 토큰(예를 들면, SMI3 STP 토큰)에서 보존해야 하는지를 예측하기 어렵게 한다. 예로서, 도 7에서 도시된 바와 같이, SMI3 STP(725)는 SMI3 STP(725)에 뒤이어 SMI3 데이터의 244 바이트가 나오기를 기대한다고 표시하는 길이 필드를 가질 수 있다. 그러나, 본 예에서, 10 플릿(예를 들면, SMI3 플릿 0-9)만이 윈도우 동안 전송될 준비가 되어 있고 이러한 10 플릿은 244 바이트 중 240을 활용할 뿐이다. 따라서, 네(4) 바이트의 비어 있는 대역폭이 남고, 이는 IDL 토큰으로 채워진다. 이렇게 하면 PCIe TLP 데이터가 대기행렬로 처리되어 SMI3 윈도우가 닫히기까지 기다릴 때 특히 차선책이 될 수 있다. 다른 사례에서, SMI3 플릿의 전송을 위해 제공된 윈도우는 레인에 대해 준비된 SMI3 데이터의 양을 전송하기에 불충분할 수 있다. 링크에서 공존하는 SMI3과 PCIe TLP 데이터 사이를 중재하는 방법을 결정하는 중재 기술이 채용될 수 있다. 또한, 일부 구현예에서, SMI3 윈도우의 길이는 링크의 더 효과적인 사용을 지원하기 위해 동적으로 수정될 수 있다. 예를 들어, 중재 또는 다른 로직은 정의된 SMI3 윈도우가 어떻게 활용되는지를 모니터링하여 정의된 윈도우 길이가 레인에 대해 기대되는 양의 SMI3 (및 경쟁하는 PCIe TLP 트래픽)에 더 최적화될 수 있는지를 결정할 수 있다. 따라서, 그러한 구현예에서, SMI3 STP 토큰의 길이 필드 값은, 다른 예 중에서도, SMI3 플릿 데이터가 (예를 들면, TLP, DLLP, 및 정렬된 세트 데이터를 비롯한 다른 PCIe 데이터와 관련하여) 할당되어야 하는 링크 대역폭의 양에 따라서 (예를 들면, 여러 값들 사이에서) 동적으로 조정될 수 있다.
도 8을 참조하면, SML의 예시적인 다른 구현예의 표현(800)이 예시된다. 이러한 대안의 실시예에서, SML은 수정된 PCIe 프레이밍 토큰을 통해 SMI3 및 PCIe 프로토콜을 인터레이싱하기 위해 제공할 수 있다. 전술한 바와 같이, EDS 토큰은 PCIe에서 데이터 스트림의 끝 부분을 표시하고 그리고 다음 블록이 정렬된 세트 블록일 것이라는 것을 표시하기 위해 사용될 수 있다. 도 8의 예에서, SML은 TLP 데이터 스트림의 끝 부분을 표시하고 SMI3 플릿의 송신으로 천이함을 표시하는 SMI3 EDS 토큰(예를 들면, 805)을 정의될 수 있다. SMI3 EDS(예를 들면, 805)는 SMI3 데이터가 뒤에 나온다고 표시하기 위해, PCIe EDS에 뒤이어 나오는 PCIe 정렬된 세트 또는 다른 데이터 대신, 전통의 EDS 토큰의 예약 비트 중 일부를 인코딩함으로써 정의될 수 있다. 전통의 EDS 토큰과 달리, SMI3 EDS는 본질적으로 PCIe 데이터 블록 내의 어디에서도 전송될 수 있다. 이것은 SMI3 데이터를 전송하고 이에 대응하는 낮은 지연의 공유 메모리 트랜잭션을 수용하는데 있어서 추가적인 융통성을 가능하게 해줄 수 있다. 예를 들어, PCIe에서 SMI3으로의 천이는 오버헤드의 단일의 2배 단어(double word, DW)로 달성될 수 있다. 또한, 전통적인 EDS 토큰과 마찬가지로, 예시적인 SMI3 EDS는 토큰에 뒤이어 나오는 SMI3 데이터와 연관된 길이를 명시하지 않을 수 있다. SMI3 EDS 다음에, PCIe TLP 데이터가 끝날 수 있고 SMI3 플릿은 링크를 통해 계속 진행된다. SMI3 트래픽은 SMI3 로직이 PCIe 로직으로 제어를 다시 넘길 때까지 계속 진행될 수 있다. 일부 구현예에서, SMI3 EDS가 전송되면 예를 들어 링크에서 접속된 디바이스들에게 제공된 제어가 PCIe 로직에서 SMI3 로직으로 넘어가게 된다.
일 예에서, SMI3 (또는 다른 프로토콜)은 링크 계층 제어를 수행하는데 사용하기 위한 자체의 링크 제어 시그널링을 정의될 수 있다. 예를 들면, 일 구현예에서, SML은 SMI3에서 다시 PCIe 프로토콜로의 천이를 표시하는 특화된 버전의 SMI3 링크 계층 제어(link layer control, LLCTRL) 플릿(예를 들면, 810)을 정의할 수 있다. SMI3 EDS와 마찬가지로, 정의된 LLCTRL 플릿(예를 들면, 810)은 제어가 SMI3 로직에서 다시 PCIe 로직으로 넘어가게 할 수 있다. 일부 사례에서, 도 8의 예에서 도시된 바와 같이, 정의된 LLCTRL 플릿(예를 들면, 810)은 PCIe로의 천이를 완료하기 전에 미리 정의된 개수의 LLCTRL 유효(LLCTRL-IDLE) 플릿(예를 들면, 815)으로 덧붙여질 수 있다. 예를 들어, SMI3 LLCTRL 플릿(810)에 덧붙여 전송될 LLCTRL-IDLE 플릿(815)의 개수는 천이를 신호하는 정의된 SMI3 LLCTRL 플릿(810)을 디코딩하는 지연에 좌우될 수 있다. 다시 PCIe로의 천이를 완료한 후, STP 패킷이 전송될 수 있고 PCIe의 제어 하에 TLP 패킷 데이터가 재시작할 수 있다.
본 명세서에서 설명된 구현예는 명세서에서 기술된 특정 원리 및 특징을 예시하는 예로서 제공된다는 것을 인식하여야 한다. (예에서 명확하게 논의된 것과 다른) 대안의 구성, 프로토콜, 및 아키텍처는 그러한 원리 및 특징을 활용하고 적용할 수 있다는 것을 인식하여야 한다. 하나의 대안의 예로서, 디렉토리 정보로 강화되는 PCIe 메모리 판독/기록이 (예를 들면, SMI3 프로토콜 대신) 사용될 수 있다. 디렉토리 정보는 PCIe 패킷의 예약 비트를 통해 구현될 수 있다. 다른 예에서, CPU 노드는, 잠재적인 다른 예 및 대안 중에서도, 예를 들어, 원격 어드레스 범위 검사에 기초하여 PCIe 링크를 통해 메모리 판독/길이 트랜잭션을 전송하기 위해 (예를 들면, 공유 메모리 제어기의 대안으로서) 캐시 제어기를 활용할 수 있다.
도 9a 내지 도 9d를 참조하면, MCPL을 이용하여 통신하기 위한 예시적인 기술을 예시하는 플로우차트(900a-d)가 도시된다. 예를 들어, 도 9a에서, 적재/저장 메모리 액세스 메시지가 제 1 노드로부터 수신(905)될 수 있는데, 메시지는 공유 메모리의 특정 데이터를 요청하는 메시지이다. 특정 데이터로의 액세스는 제 1 노드에게 제공(910)될 수 있다. 제 2의 적재/저장 메모리 액세스 메시지가 제 2의 독립 노드로부터 수신(915)될 수 있다. 제 2 메시지는 공유 메모리의 동일한 특정 데이터로의 액세스를 요청할 수 있으며 특정 데이터로의 액세스는 제 2 노드에게 제공(920)될 수 있다. 따라서 공유 메모리 내 데이터는 여러 상이한 독립 노드에 의해 공유되고 액세스될 수 있다.
도 9b의 예에서, (PCIe 싱크 헤더와 같은) 제 1 싱크 헤더가 제 1 인코딩과 함께 수신(925)될 수 있다. 인코딩은 인터커넥트 프로토콜에서 메모리 액세스 프로토콜로의 천이를 표시할 수 있으며 이러한 천이는 제 1 싱크 헤더로부터 식별(930)될 수 있다. 메모리 액세스 프로토콜의 데이터는 제 1 싱크 헤더 다음에 수신될 수 있으며 데이터는 (예를 들면, 메모리 액세스 프로토콜과 일관하여) 처리(935)될 수 있다. 일부 예에서, 메모리 액세스 프로토콜 데이터는 여러 독립 노드에 의해 공유된 공유 메모리에 연루된 트랜잭션을 포함할 수 있다. 인터커넥트 프로토콜로부터의 천이를 표시하는 제 2의 상이한 인코딩을 포함하는 제 2 싱크 헤더가 수신(940)될 수 있다. 메모리 액세스 프로토콜로부터 다시 인터커넥트 프로토콜로의 천이는 제 2 싱크 헤더로부터 식별(945)될 수 있다.
도 9c를 참조하면, 일부 사례에서, 인터커넥트 프로토콜에서 메모리 액세스 프로토콜로의 천이를 식별하도록 인코딩된 하나 이상의 값을 포함하는 데이터 토큰(예를 들면, 피시에 STP 토큰)의 제 1 시작 부분이 수신(950)될 수 있다. 메모리 액세스 프로토콜의 데이터는 데이터 토큰의 제 1 시작 부분에 뒤이어 도착할 수 있고 식별(955)될 수 있다. 메모리 액세스 프로토콜의 데이터가 처리(960)될 수 있다. 데이터가 인터커넥트 프로토콜 데이터로 다시 천이할 때를 표시하는 길이 필드는 데이터 토큰의 제 1 시작 부분에 포함될 수 있다. 실제로, 일부 구현예에서, 데이터 토큰의 시작 부분의 길이 필드는 메모리 액세스 프로토콜의 데이터에 대응하는 길이를 표시하도록 인코딩될 수 있다. 또한, 인터커넥트 프로토콜의 데이터의 도착에 대응하는 것으로 해석되는 데이터 프레이밍 토큰의 제 2의 상이한 시작 부분이 정의될 수 있다. 데이터 프레이밍 토큰의 각각의 제 1 및 제 2 시작 부분은, 다른 예 중에서도, 인터커넥트 프로토콜(예를 들면, PCIe)에 따라서 정의될 수 있다.
도 9d의 예에서, 메모리 액세스 프로토콜 데이터로의 천이를 표시하도록 인코딩된 스트림 토큰(예를 들면, 특화된 PCIe EDS 토큰)의 끝 부분이 수신(965)될 수 있다. 수신된 스트림 토큰의 끝 부분은 인터커넥트 프로토콜 데이터를 처리하기 위한 링크 계층 로직으로부터 메모리 액세스 프로토콜 데이터를 처리하기 위한 링크 계층 로직으로의 천이(970)를 일으킬 수 있다. 메모리 액세스 프로토콜의 데이터는 메모리 액세스 프로토콜의 링크 계층 로직을 이용하여 수신(975)되고 처리될 수 있다. 메모리 액세스 프로토콜의 링크 계층 제어 데이터가 (예를 들면 메모리 액세스 프로토콜의 데이터의 끝 부분에서) 수신(980)되어 인터커넥트 프로토콜의 데이터로의 천이를 표시할 수 있다. 링크 계층 제어 데이터가 수신(980)되면 메모리 액세스 프로토콜의 링크 계층 로직으로부터 인터커넥트 프로토콜의 링크 계층 로직으로의 천이(985)를 일으킬 수 있다. 인터커넥트 프로토콜의 데이터는, 다른 예 중에서, 링크 계층 제어 데이터에 뒤이어 수신될 수 있으며 트랜잭션(985) 다음에 인터커넥트 프로토콜의 링크 계층 로직에 의해 처리될 수 있다.
전술한 원리 및 예 중 많은 것이 PCIe 및 PCIe 사양의 특정 버전의 맥락에서 설명되었지만, 본 명세서에서 설명된 원리, 해법, 및 특징은 다른 프로토콜 및 시스템에 똑같이 적용할 수 있다는 것을 주목하여야 한다. 예를 들어, 유사한 레인 오류는 유사한 심볼, 데이터 스트림, 및 토큰에 기초한 다른 프로토콜뿐만 아니라, 다른 링크를 통해 송신된 데이터 내부에서 그러한 구조의 사용, 배치, 및 포맷팅에 대해 명시된 규칙을 사용하여 이러한 다른 링크에서 검출될 수 있다. 또한, (예를 들어, PCIe LES 레지스터 또는 SKP OS 이외에) 시스템 내에서 레인 오류 검출 및 보고 기능성을 제공하는 대안의 메커니즘 및 구조가 사용될 수 있다. 더욱이, 다른 예 중에서, 본 명세서에서 설명된 링크에 대한 논리적이고 물리적인 강화와 그의 대응하는 로직의 조합을 비롯한 전술한 해법들의 조합이 시스템 내에서 적용될 수 있다.
앞에서 설명된 장치, 방법 및 시스템은 전술한 바와 같은 임의의 전자 디바이스 또는 시스템에서 구현될 수 있다는 것을 주목하여야 한다. 특정의 예시로서, 첨부의 도면은 본 명세서에서 설명된 발명을 활용하기 위한 예시적인 시스템을 제공한다. 아래에서 시스템이 더 자세히 설명되므로, 다수의 여러 인터커넥트가 앞의 설명으로부터 개시되고, 설명되고, 다시 논의된다. 용이하게 자명해지는 것으로서, 앞에서 설명된 내용은 그와 같은 인터커넥트, 패브릭, 또는 아키텍처의 어느 것에도 적용될 수 있다.
도 10을 참조하면, 멀티코어 프로세서를 포함하는 컴퓨팅 시스템의 블록도의 실시예가 도시된다. 프로세서(1000)는 코드를 실행하는 마이크로프로세서, 임베디드 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 네트워크 프로세서, 휴대형 프로세서, 애플리케이션 프로세서, 코-프로세서, 시스템 온 칩(SOC), 또는 기타 장치와 같은 임의의 프로세서 또는 프로세싱 디바이스를 포함한다. 일 실시예에서, 프로세서(1000)는 적어도 두 개의 코어 - 코어(1001 및 1002)를 포함하며, 이들 코어는 비대칭 코어 또는 대칭 코어(예시된 실시예)를 포함할 수 있다. 그러나 프로세서(1000)는 대칭 또는 비대칭일 수 있는 임의의 개수의 프로세싱 요소를 포함할 수 있다.
일 실시예에서, 프로세싱 요소는 소프트웨어 스레드(software thread)를 지원하는 하드웨어 또는 로직을 말한다. 하드웨어 프로세싱 요소의 예는 실행 상태 또는 구조적 상태와 같은 프로세서의 상태를 보유할 수 있는 스레드 유닛, 스레드 슬롯, 스레드, 프로세스 유닛, 컨텍스트, 컨텍스트 유닛, 논리 프로세서, 하드웨어 스레드, 코어, 및/또는 임의의 다른 요소를 포함한다. 다시 말해서, 일 실시예에서, 프로세싱 요소는 소프트웨어 스레드, 오퍼레이팅 시스템, 어플리케이션, 또는 기타 코드와 같은, 코드와 독립적으로 연관될 수 있는 임의의 하드웨어를 말한다. 물리적 프로세서 (또는 프로세서 소켓)은 일반적으로 코어 또는 하드웨어 스레드와 같은 임의의 개수의 기타 프로세싱 요소를 잠재적으로 포함하는 집적 회로를 말한다.
코어는 종종 독립적인 아키텍처적인 상태를 유지할 수 있는 집적 회로에 배치된 로직을 말하며, 여기서 각각의 독립적으로 유지되는 아키텍처적인 상태는 적어도 일부의 전용된 실행 자원과 연관된다. 코어와 대조적으로, 하드웨어 스레드는 전형적으로 독립적인 아키텍처적 상태를 유지할 수 있는 집적 회로에 배치된 임의의 로직을 말하며, 여기서 독립적으로 유지되는 아키텍처적 상태는 실행 자원으로의 액세스를 공유한다. 알 수 있는 바와 같이, 어떤 자원이 공유되고 다른 자원이 아키텍처적 상태에 전용되고 있을 때, 하드웨어 스레드와 코어의 명칭 간의 경계가 겹친다. 그러나 종종, 코어와 하드웨어 스레드는 오퍼레이팅 시스템에 의해 개별적인 논리 프로세서라고 간주되는데, 이때 오퍼레이팅 시스템은 각 논리 프로세서의 동작을 개별적으로 스케줄링할 수 있다.
도 10에 도시된 바와 같이, 물리 프로세서(1000)는 두 개의 코어, 즉 코어(1001 및 1002)를 포함한다. 여기서, 코어(1001 및 1002)는 대칭 코어인 것으로, 즉, 코어는 동일한 구성, 기능 유닛, 및/또는 로직을 갖는 것으로 간주된다. 다른 실시예에서, 코어(1001)는 비순차적 프로세서 코어를 포함하는데 반해, 코어(1002)는 순차적 프로세서 코어를 포함한다. 그러나 코어(1001 및 1002)는 네이티브 코어, 소프트웨어 관리형 코어, 네이티브 명령어 집합 아키텍처(Instruction Set Architecture, ISA)를 실행하도록 적응된 코어, 번역된 명령어 집합 아키텍처(ISA)를 실행하도록 적응된 코어, 공통-설계된 코어, 또는 기타 공지된 코어와 같은 임의의 형태의 코어로부터 개별적으로 선택될 수 있다. 이기종 코어 환경(즉, 비대칭 코어)에서, 이진 변환과 같은 몇 가지 형태의 변환이 하나 또는 두 코어에서 코드를 스케줄 또는 실행하기 위해 활용될 수 있다. 추가적으로 설명하기 위하여, 코어(1002) 내 유닛은 도시된 실시예에서 유사한 방식으로 동작하므로, 코어(1001)에서 도시된 기능 유닛은 아래에서 더 상세히 설명된다.
도시된 바와 같이, 코어(1001)는 하드웨어 스레드 슬롯(1001a 및 1001b)이라고도 지칭될 수 있는 두 개의 하드웨어 스레드(1001a 및 1001b)를 포함한다. 그러므로 일 실시예에서, 오퍼레이팅 시스템과 같은 소프트웨어 엔티티는 프로세서(1000)를 잠재적으로 네 개의 소프트웨어 스레드를 동시에 실행할 수 있는 네 개의 개별 프로세서, 즉 논리 프로세서 또는 프로세싱 요소로서 프로세서(1000)라고 간주한다. 앞에서 언급한 바와 같이, 제 1 스레드는 아키텍처 상태 레지스터(1001a)와 연관되고, 제 2 스레드는 아키텍처 상태 레지스터(1001b)와 연관되고, 제 3 스레드는 아키텍처 상태 레지스터(1002a)와 연관될 수 있으며, 제 4 스레드는 아키텍처 상태 레지스터(1002b)와 연관될 수 있다. 여기서, 각각의 아키텍처 상태 레지스터(1001a, 1001b, 1002a, 및 1002b)는 앞에서 설명한 것처럼 프로세싱 요소, 스레드 슬롯, 또는 스레드 유닛이라고도 지칭될 수 있다. 예시된 바와 같이, 아키텍처 상태 레지스터(1001a)는 아키텍처 상태 레지스터(1001b) 내에 복제되며, 그래서 논리 프로세서(1001a) 및 논리 프로세서(1001b)에 대한 개개의 아키텍처 상태/컨텍스트가 저장될 수 있다. 코어(1001)에서, 스레드(1001a 및 1001b)에 대한 할당자 및 리네이머(renamer) 블록(1030) 내의 명령어 포인터 및 리네이밍 로직과 같은 다른 더 작은 자원들 또한 복제될 수 있다. 재정렬/리타이어먼트(reorder/retirement) 유닛(1035) 내 재정렬 버퍼, ILTB(1020), 적재/저장 버퍼, 및 큐와 같은 일부 자원은 파티셔닝을 통해 공유될 수 있다. 범용 내부 레지스터, 페이지-테이블 기반 레지스터(들), 저급 데이터-캐시 및 데이터-TLB(1015), 실행 유닛(들)(1040), 및 비순차적 유닛의 부분(1035)과 같은 기타 자원은 잠재적으로 완전히 공유된다.
프로세서(1000)는 종종 완전 공유될 수 있거나, 파티셔닝을 통해 공유될 수 있거나, 또는 프로세싱 요소에 의해/프로세싱 요소에 전용될 수 있는 기타 자원을 포함하기도 한다. 도 10에서, 프로세서의 예시적인 논리 유닛/자원을 가진 전적으로 예시적인 프로세서의 실시예가 도시된다. 프로세서는 이러한 기능적 유닛 중 임의의 기능적 유닛을 포함하거나 제외할 수 있을 뿐만 아니라, 도시되지 않은 임의의 다른 공지된 기능적 유닛, 로직, 또는 펌웨어를 포함할 수 있다는 것을 주목하자. 예시된 바와 같이, 코어(1001)는 간소화한 대표적인 비순차적(out-of-order, OOO) 프로세서 코어를 포함한다. 그러나 여러 실시예에서는 순차적 프로세서가 활용될 수 있다. OOO 코어는 실행될/취할 브랜치를 예측하는 브랜치 타겟 버퍼(1020) 및 명령어의 어드레스 변환 엔트리를 저장하는 명령어-변환 버퍼(instruction-translation buffer, I-TLB)(1020)를 포함한다.
코어(1001)는 또한 페치 유닛(1020)에 결합되어 페치된 요소를 디코딩하는 디코딩 모듈(1025)을 포함한다. 일 실시예에서, 페치 로직은 스레드 슬롯(1001a, 1001b)과 각기 연관된 개개의 시퀀서를 포함한다. 보통 코어(1001)는 프로세서(1000) 상에서 실행가능한 명령어를 정의/명시하는 제 1 ISA와 연관된다. 종종 제 1 ISA의 일부인 머신 코드 명령어는 수행될 명령어 또는 동작을 참조/명시하는 명령어(오피코드(opcode)라고도 지칭됨)의 일부분을 포함한다. 디코딩 로직(1025)은 이러한 명령어를 이들의 오피코드로부터 인식하고 디코딩된 명령어를 전달하여 파이프라인에서 제 1 ISA에 의해 정의된 바와 같이 처리하는 회로를 포함한다. 예를 들면, 아래에서 더 상세히 설명하는 바와 같이, 디코더(1025)는 일 실시예에서, 트랜잭션 명령어와 같은 특정 명령어를 인식하도록 설계 또는 적응된 로직을 포함한다. 디코더(1025)에 의한 인식의 결과로서, 아키텍처 또는 코어(1001)는 특정하고, 미리 정의된 조치를 취하여 적절한 명령어와 연관된 작업을 수행한다. 본 명세서에서 기술된 작업, 블록, 동작, 및 방법 중 임의의 것은 단일 또는 다중의 명령어에 응답하여 수행될 수 있는데, 그 명령어 중 일부는 신규 또는 이전의 명령어일 수 있다는 것을 주목하는 것이 중요하다. 일 실시예에서, 디코더(1026)는 동일한 ISA(또는 그의 서브세트)를 인식한다는 것을 주목하자. 대안으로, 이기종 코어 환경에서, 디코더(1026)는 제 2 ISA(제 1 ISA의 서브세트 또는 별도의 ISA)를 인식한다.
일 예에서, 할당자 및 리네이머 블록(1030)은 명령어 처리 결과를 저장하는 레지스터 파일과 같이, 자원을 보존하는 할당자를 포함한다. 그러나 스레드(1001a 및 1001b)는 잠재적으로 비순차적 순서로 실행할 수 있으며, 이 경우 할당자 및 리네이머 블록(1030)은 또한 명령어 결과를 추적하는 재정렬 버퍼와 같은 다른 자원을 갖고 있다. 유닛(1030)은 또한 프로그램/명령어 참조 레지스터를 프로세서(1000) 내부의 다른 레지스터로 리네임하는 레지스터 리네이머를 포함할 수 있다. 재정렬/리타이어먼트 유닛(1035)은 앞에서 언급한 재정렬 버퍼, 적재 버퍼, 및 저장 버퍼와 같이, 비순차적 실행을 지원하고 나중에 비순차적으로 실행된 명령어의 순차적 리타이어먼트를 지원하는 컴포넌트를 포함한다.
일 실시예에서, 스케줄러 및 실행 유닛(들)(1040)은 실행 유닛의 명령어/동작을 스케줄링하는 스케줄러 유닛을 포함한다. 예를 들면, 부동 소수점 명령어는 이용 가능한 부동 소수점 실행 유닛을 갖는 실행 유닛의 한 포트에서 스케줄된다. 실행 유닛과 연관된 레지스터 파일이 또한 정보 명령어 처리 결과를 저장하기 위해 포함된다. 예시적인 실행 유닛은 부동 소수점 실행 유닛, 정수 실행 유닛, 점프 실행 유닛, 적재 실행 유닛, 저장 실행 유닛, 및 기타 공지된 실행 유닛을 포함한다.
하위 레벨 데이터 캐시 및 데이터 변환 버퍼(D-TLB)(1050)는 실행 유닛(들)(1040)에 연결된다. 데이터 캐시는 잠재적으로 메모리 코히어런시 상태로 유지되는 데이터 오퍼랜드와 같이, 요소에서 최근에 사용된/동작된 것을 저장한다. D-TLB는 물리적 어드레스 변환에 대한 최신의 가상적/선형적인 것을 저장한다. 특정한 예로서, 프로세서는 물리 메모리를 복수 개의 가상 페이지로 나누는 페이지 테이블 구조를 포함할 수 있다.
여기서, 코어(1001 및 1002)는 온-칩 인터페이스(1010)와 연관된 제 2 레벨 캐시와 같은 상위-레벨 또는 그 이상 레벨의 캐시로의 액세스를 공유한다. 상위-레벨 또는 그 이상 레벨은 실행 유닛(들)로부터 증가하거나 더 멀어지는 캐시 레벨을 말한다는 것을 주목하자. 일 실시예에서, 상위-레벨 캐시는 제 2 또는 제 3 레벨 데이터 캐시와 같이, 프로세서(1000)의 메모리 계층에서 마지막 캐시인 라스트-레벨 데이터 캐시이다. 그러나 상위 레벨 캐시는 명령어 캐시와 연관될 수 있거나 명령어 캐시를 포함할 수 있으므로, 그렇게 제한되지 않는다. 트레이스 캐시 - 명령어 캐시의 한 형태임 - 는 그 대신에 최근에 디코딩된 트레이스를 저장하기 위해 디코더(1025) 뒤에 연결될 수 있다. 여기서, 명령어는 잠재적으로 복수의 마이크로 명령어(마이크로-동작)으로 디코딩될 수 있는 매크로-명령어(즉, 디코더에 의해 인식되는 일반 명령어)를 말한다.
도시된 구성에서, 프로세서(1000)는 또한 온-칩 인터페이스 모듈(1010)을 포함한다. 역사적으로, 아래에서 더 상세히 설명되는 메모리 제어기는 프로세서(1000) 외부의 컴퓨팅 시스템에 포함되었다. 이러한 시나리오에서, 온-칩 인터페이스(1010)는 시스템 메모리(1075), (종종 메모리 제어기 허브를 메모리(1075)에 접속하는 것 및 I/O 제어기 허브를 주변 장치에 접속하는 것을 포함하는) 칩셋, 메모리 제어기 허브, 노스브릿지, 또는 기타 집적 회로와 같이, 프로세서(1000) 외부의 디바이스와 통신한다. 그리고 이러한 시나리오에서, 버스(1005)는 멀티-드롭 버스, 포인트-투-포인트 인터커넥트, 직렬 인터커넥트, 병렬 버스, 코히어런트(예를 들면, 캐시 코히어런트) 버스, 계층화된 프로토콜 아키텍처, 차동 버스, 및 GTL 버스와 같은 임의의 공지된 인터커넥트를 포함할 수 있다.
메모리(1075)는 프로세서(1000)에 전용될 수 있거나 시스템 내 다른 디바이스와 공유될 수 있다. 메모리(1075) 타입의 공통적인 예는 DRAM, SRAM, 비휘발성(non-volatile) 메모리(NV 메모리), 및 기타 공지된 저장 디바이스를 포함한다. 디바이스(1080)는 그래픽 가속기, 메모리 제어기 허브에 연결된 프로세서 또는 카드, I/O 제어기 허브에 결합된 데이터 저장소, 무선 송수신기, 플래시 디바이스, 오디오 제어기, 네트워크 제어기, 또는 기타 공지된 디바이스를 포함할 수 있다는 것을 주목하자.
그러나 최근에 더 많은 로직 및 디바이스가 SOC와 같이 단일 다이 상에 통합되고 있으므로, 이들 디바이스는 각기 프로세서(1000) 상에 통합될 수 있다. 예를 들면, 일 실시예에서, 메모리 제어기 허브는 프로세서(1000)와 동일한 패키지 및/또는 다이 상에 존재한다. 여기서, 코어의 일부분(온-코어 부분)(1010)은 메모리(1075) 또는 그래픽 디바이스(1080)와 같은 다른 디바이스와 인터페이스하기 위한 하나 이상의 제어기(들)를 포함한다. 그러한 디바이스와 인터페이스하기 위한 인터커넥트 및 제어기를 포함하는 구성은 종종 온-코어(또는 언-코어(un-core) 구성)이라고 지칭하기도 한다. 일 예로서, 온-칩 인터페이스(1010)는 온-칩 통신을 위한 링 인터커넥트 및 오프-칩 통신을 위한 고속의 직렬 포인트-투-포인트 링크(1005)를 포함한다. 그렇지만, SOC 환경에서, 네트워크 인터페이스, 코-프로세서, 메모리(1075), 그래픽 프로세서(1080), 및 임의의 여타 공지된 컴퓨터 장치/인터페이스와 같은 더 많은 디바이스들이 단일의 다이 또는 집적된 회로 상에서 통합되어 고기능 및 저전력 소비가 가능한 작은 폼 팩터를 제공할 수 있다.
일 실시예에서, 프로세서(1000)는 애플리케이션 코드(1076)를 컴파일, 변환, 및/또는 최적화하는 컴파일러, 최적화, 및/또는 변환기 코드(1077)를 실행하여 본 명세서에서 기술된 장치 및 방법을 지원하거나 이들과 인터페이싱할 수 있다. 컴파일러는 종종 소스 텍스트/코드를 타겟 텍스트/코드로 변환하는 프로그램 또는 프로그램의 세트를 포함한다. 보통, 컴파일러를 이용한 프로그램/애플리케이션 코드의 컴파일은 복수의 국면에서 이루어지며 상위-레벨의 프로그래밍 코드를 하위-레벨의 머신 또는 어셈블리 언어 코드로 변환하기 위해 실행된다. 그렇지만, 싱글 패스 컴파일러는 여전히 간단한 컴파일을 위해 활용될 수 있다. 컴파일러는 임의의 공지된 컴파일 기술을 활용할 수 있으며 어휘 분석, 사전처리, 파싱, 시맨틱 분석, 코드 생성, 코드 변환, 및 코드 최적화와 같은 임의의 공지된 컴파일러 동작을 수행할 수 있다.
종종 더 큰 컴파일러가 복수의 국면을 포함하지만, 대부분의 이러한 국면은 종종 두 가지의 일반적인 단계, 즉 (1) 프론트-엔드, 즉 일반적으로 구문론적 처리, 의미론적 처리, 및 일부의 변환/최적화가 발생할 수 있는 프론트-엔드, 및 (2) 백-엔드, 즉 분석, 변환, 최적화, 및 코드 생성이 발생하는 백-엔드 내에 포함된다. 일부 컴파일러는 컴파일러의 프론트-엔드와 백-엔드 간의 서술의 흐릿함을 설명하는 미들을 말한다. 그 결과로서, 컴파일러의 삽입, 연관, 생성, 또는 기타 동작이라 하는 것은 전술한 국면이나 패스 중 임의의 것뿐만 아니라, 컴파일러의 임의의 다른 공지된 국면 또는 패스에서 발생할 수 있다. 예시적인 예로서, 컴파일러는 컴파일의 프론트-엔드 국면에서 호출/동작의 삽입 및 그런 다음 변환 국면 동안 호출/동작의 하위-레벨 코드로의 변환과 같이, 동작, 호출, 함수 등을 잠재적으로 컴파일의 하나 이상의 국면에 삽입한다. 동적 컴파일 동안, 컴파일러 코드 또는 동적 최적화 코드는 그러한 동작/호출을 삽입할 뿐만 아니라 런타임 동안 실행을 위한 코드를 최적화할 수 있다는 것을 주목하자. 특정의 예시적인 예로서, 이진 코드(이미 컴파일된 코드)는 런타임 동안 동적으로 최적화될 수 있다. 여기서, 프로그램 코드는 동적의 최적화 코드, 이진 코드, 또는 이들의 조합을 포함할 수 있다.
컴파일러와 유사한, 이진 변환기와 같은 변환기는 코드를 정적 또는 동적으로 변환하여 코드를 최적화 및/또는 변환한다. 그러므로 코드, 애플리케이션 코드, 프로그램 코드, 또는 기타 소프트웨어 환경의 실행이라는 것은 (1) 프로그램 코드를 컴파일하기 위해, 소프트웨어 구조를 유지하기 위해, 기타 동작을 수행하기 위해, 코드를 최적화하기 위해, 또는 코드를 변환하기 위해 동적 또는 정적으로 컴파일러 프로그램(들), 최적화 코드 최적화기, 또는 변환기의 실행, (2) 최적화된/컴파일된 애플리케이션 코드와 같은 동작/호출을 포함하는 메인 프로그램 코드의 실행, (3) 라이브러리와 같이, 기타 소프트웨어 관련된 동작을 수행하거나 코드를 최적화하기 위하여 소프트웨어 구조를 유지하는 메인 프로그램 코드와 연관된 기타 프로그램 코드의 실행, 또는 (4) 이들의 조합을 말할 수 있다.
이제 도 11을 참조하면, 멀티코어 프로세서의 실시예의 블록도가 도시된다. 도 11의 실시예에서 도시된 바와 같이, 프로세서(1100)는 여러 도메인을 포함한다. 구체적으로, 코어 도메인(1130)은 복수 개의 코어(1130A-1130N)를 포함하고, 그래픽 도메인(1160)은 미디어 엔진(1165)을 갖는 하나 이상의 그래픽 엔진을 포함한다.
다양한 실시예에서, 시스템 에이전트 도메인(1110)은 전력 제어 이벤트 및 전력 관리를 처리하여, 도메인(1130 및 1160)의 개개 유닛(예를 들면, 코어 및/또는 그래픽 엔진)가 특정 유닛에서 발생하는 활동(또는 비활동)을 감안하여 적절한 전력 모드/레벨(예를 들면, 활성, 터보, 슬립(sleep), 동면(hibernate), 딥 슬립(deep sleep), 또는 여타의 최신 구성 전력 인터페이스(Advanced Configuration Power Interface)와 같은 상태)에서 역학적으로 동작하도록 독립적으로 제어할 수 있도록 한다. 각각의 도메인(1130 및 1160)은 상이한 전압 및/또는 전력에서 동작할 수 있으며, 그뿐만 아니라 도메인 내에서 개개의 유닛은 각기 잠재적으로 독립적인 주파수 및 전압에서 동작한다. 세 개의 도메인만이 도시되어 있지만, 본 발명의 범위는 이러한 관점으로 한정되지 않으며 다른 실시예에서는 부가적인 도메인이 존재할 수 있다는 것을 이해해야 한다.
도시된 바와 같이, 각각의 코어(1130)는 다양한 실행 유닛 및 부가적인 처리 요소 이외에 하위 레벨의 캐시를 더 포함한다. 여기서, 각종 코어는 서로 연결되고 최종 레벨 캐시(last level cache, LLC)(1140A-1140N)의 복수의 유닛 또는 슬라이스로 형성된 공유 캐시 메모리에도 연결되며, 이러한 LLC는 종종 저장 및 캐시 제어기 기능성을 포함하고 코어들 사이에서 공유될 뿐만 아니라, 잠재적으로 그래픽 엔진들 사이에서도 공유된다.
도시된 바와 같이, 링 인터커넥트(1150)는 코어들을 함께 연결하고, 코어와 LLC 슬라이스 사이에서 연결되는 복수의 링 스톱(1152A-1152N)을 통해 코어 도메인(1130), 그래픽 도메인(1160) 및 시스템 에이전트 회로(1110) 사이에서 인터커넥트를 제공한다. 도 11에서 보는 바와 같이, 인터커넥트(1150)는 어드레스 정보, 데이터 정보, 확인응답 정보, 및 스누프/무효 정보를 비롯한 다양한 정보를 전달하기 위해 사용된다. 비록 링 인터커넥트가 예시되지만, 임의의 공지된 온-다이 인터커넥트 또는 패브릭이 활용될 수 있다. 예시적인 예로서, 앞에서 논의된 일부 패브릭(예를 들면, 다른 온-다이 인터커넥트, 온-칩 시스템 패브릭(On-chip System Fabric, OSF), 최신 마이크로제어기 버스 아키텍처(Advanced Microcontroller Bus Architecture, AMBA) 인터커넥트, 다차원 메시 패브릭, 또는 여타 공지된 인터커넥트 아키텍처)이 유사한 방식으로 활용될 수 있다.
또한, 도시된 바와 같이, 시스템 에이전트 도메인(1110)은 연관된 디스플레이의 제어 및 연관된 디스플레이와의 인터페이스를 제공하는 디스플레이 엔진(1112)을 포함한다. 시스템 에이전트 도메인(1110)은 다른 유닛, 이를테면 시스템 메모리(예를 들어, 여러 DIMM으로 구현된 DRAM)과의 인터페이스를 제공하는 통합된 메모리 제어기(1120) 및 메모리 코히어런스 동작을 수행하는 코히어런스 로직(1122)을 포함할 수 있다. 여러 인터페이스는 프로세서와 다른 회로 사이의 상호접속이 가능하도록 제공될 수 있다. 예를 들면, 일 실시예에서, 적어도 하나의 직접 미디어 인터페이스(direct media interface, DMI)(1116) 인터페이스뿐만 아니라 하나 이상의 PCIeTM 인터페이스(1114)가 제공된다. 디스플레이 엔진 및 이와 같은 인터페이스는 전형적으로 PCIeTM 브릿지(1118)를 통해 메모리에 연결된다. 또한, 부가적인 프로세서 또는 여타 회로와 같은 다른 에이전트들 사이의 통신을 제공하기 위해, 하나 이상의 다른 인터페이스가 제공될 수 있다.
이제 도 12를 참조하면, 대표적인 코어의 블록도, 구체적으로는 도 11의 코어(1130)와 같은 코어의 백-엔드의 논리 블록의 블록도가 도시된다. 일반적으로, 도 12에 도시된 구조는 입력 명령어를 페치하고, 다양한 처리(예를 들면, 캐싱, 디코딩, 브랜치 예측 등)를 수행하고, 명령어/동작을 비순차적(out-of-order, OOO) 엔진(1280)으로 전달하기 위해 사용되는 프론트 엔드 유닛(1270)을 갖는 비순차적 프로세서를 포함한다. OOO 엔진(1280)은 디코딩된 명령어에 대해 추가 처리를 수행한다.
구체적으로, 도 12의 실시예에서, 비순차적 엔진(1280)은 프론트 엔드 유닛(1270)으로부터 하나 이상의 마이크로-명령어 또는 uop(micro-instruction)의 형태일 수 있는 디코딩된 명령어를 수신하고, 이 명령어를 레지스터 등과 같은 적절한 자원에 할당하는 할당 유닛(1282)을 포함한다. 그 다음, 명령어는 자원을 예약하고 이 자원을 복수 개의 실행 유닛(1286A-1286N) 중 하나에서 실행하기 위해 스케줄링하는 예약 스테이션(1284)으로 제공된다. 예를 들면, 다른 것 중에서도, 산술 논리 유닛(arithmetic logic unit, ALU), 적재 및 저장 유닛, 벡터 프로세싱 유닛(vector processing unit, VPU), 부동 소수점 실행 유닛을 비롯한 다양한 형태의 실행 유닛이 제공될 수 있다. 이러한 여러 실행 유닛으로부터의 결과는 정렬되지 않은 결과를 받아 이를 올바른 프로그램 순서로 반환하는 재정렬 버퍼(reorder buffer, ROB)(1288)에 제공된다.
도 12를 계속 참조하면, 프론트 엔드 유닛(1270) 및 비순차적 엔진(1280)은 모두 메모리 계층 구조의 상이한 레벨에 연결된다는 것을 주목하자. 구체적으로, 명령어 레벨 캐시(1272)가 도시되고, 이 캐시는 차례로 중간 레벨 캐시(1276)에 연결되고, 이 캐시는 차례로 최종 레벨 캐시(1295)에 연결된다. 일 실시예에서, 최종 레벨 캐시(1295)는 온-칩(때로는 언코어(uncore)라고 지칭함) 유닛(1290)에서 구현된다. 일 예로서, 유닛(1290)은 도 11의 시스템 에이전트(1110)와 유사하다. 앞에서 논의된 바와 같이, 언코어(1290)는 예시된 실시예에서 ED RAM을 통해 구현되는 시스템 메모리(1299)와 통신한다. 비순차적 엔진(1280) 내 각종 실행 유닛(1286)은 중간 레벨 캐시(1276)와도 통신하는 제 1 레벨 캐시(1274)와 통신한다는 것 또한 주목하자. 부가적인 코어(1230N-2-1230N)는 LLC(1295)에 연결될 수 있다는 것도 주목하자. 도 12의 실시예에서 이와 같이 하이 레벨에서 도시되지만, 다양한 대안 및 추가적인 컴포넌트가 제시될 수 있다는 것을 이해해야 한다.
도 13를 참조하면, 명령어를 실행하는 실행 유닛을 포함하는 프로세서와 함께 구성된 예시적인 컴퓨터 시스템의 블록도가 도시되며, 이 블록도에서 본 발명의 일 실시예에 따라서 한가지 이상의 특징을 구현하는 인터커넥트 중 하나 이상의 인터커넥트가 예시된다. 시스템(1300)은 본 발명에 따라서, 본 명세서에서 설명된 실시예에서와 같이, 데이터를 처리하기 위한 알고리즘을 수행하는 로직을 포함하는 실행 유닛을 사용하는 프로세서(1302)와 같은 컴포넌트를 포함한다. 비록 (다른 마이크로프로세서, 엔지니어링 워크스테이션, 및 셋톱 박스 등을 갖는 PC를 비롯한) 다른 시스템이 또한 사용될 수 있을지라도, 시스템(1300)은 PENTIUM IIITM, PENTIUM 4TM, XeonTM, 아이타니엄(Itanium), XScale TM 및/또는 StrongARM TM 마이크로프로세서에 기반한 프로세싱 시스템을 나타낸다. 일 실시예에서, 비록 다른 오퍼레이팅 시스템(예를 들면, UNIX 및 리눅스), 임베디드 소프트웨어, 및/또는 그래픽 유저 인터페이스가 또한 사용될 수 있을지라도, 샘플 시스템(1300)은 워싱톤 레드몬드 소재의 마이크로소프트 코포레이션으로부터 구입 가능한 WINDOWSTM 오퍼레이팅 시스템의 버전을 실행한다. 그러므로 본 발명의 실시예는 하드웨어 회로와 소프트웨어의 임의의 특정한 조합으로 한정되지 않는다.
실시예는 컴퓨터 시스템으로 한정되지 않는다. 본 발명의 대안의 실시예는 휴대형 디바이스 및 임베디드 애플리케이션과 같은 다른 디바이스에서 사용될 수 있다. 휴대형 디바이스의 몇 가지 예는 셀룰러 폰, 인터넷 프로토콜 디바이스, 디지털 카메라, 개인 휴대 정보 단말(personal digital assistant, PDA), 및 휴대형 PC를 포함한다. 임베디드 애플리케이션은 적어도 일 실시예에 따라서 하나 이상의 명령어를 수행할 수 있는 마이크로 제어기, 디지털 신호 프로세서(digital signal processor, DSP), 시스템 온 칩, 네트워크 컴퓨터(NetPC), 셋톱 박스, 네트워크 허브, 광역 네트워크(wide area network, WAN) 스위치, 또는 임의의 다른 시스템을 포함할 수 있다.
이와 같이 예시된 실시예에서, 프로세서(1302)는 적어도 하나의 명령어를 수행하는 알고리즘을 구현하는 하나 이상의 실행 유닛(1308)을 포함한다. 일 실시예는 싱글 프로세서 데스크톱 또는 서버 시스템의 맥락에서 설명될 수 있지만, 대안의 실시예는 멀티프로세서 시스템에 포함될 수 있다. 시스템(1300)은 '허브' 시스템 아키텍처의 일 예이다. 컴퓨터 시스템(1300)은 데이터 신호를 처리하는 프로세서(1302)를 포함한다. 예시적인 일 예로서, 프로세서(1302)는 복잡 명령어 집합 컴퓨터(complex instruction set computer, CISC) 마이크로프로세서, 축소 명령어 집합 컴퓨팅(reduced instruction set computing, RISC) 마이크로프로세서, 아주 긴 명령어 워드(very long instruction word, VLIW) 마이크로프로세서, 명령어 집합들의 조합을 구현하는 프로세서, 또는 예를 들어 디지털 신호 프로세서와 같은 임의의 다른 프로세서 디바이스를 포함한다. 프로세서(1302)는 데이터 신호를 프로세서(1302)와 시스템(1300) 내 다른 컴포넌트 사이에서 전송하는 프로세서 버스(1310)에 연결된다. 시스템(1300)의 요소(예를 들면, 그래픽 가속기(1312), 메모리 제어기 허브(1316), 메모리(1320), I/O 제어기 허브(1324), 무선 송수신기(1326), 플래시 BIOS(1328), 네트워크 제어기(1334), 오디오 제어기(1336), 직렬 확장 포트(1338), I/O 제어기(1340) 등)는 본 기술에 친숙한 자들에게 널리 알려진 통상적인 기능을 수행한다.
일 실시예에서, 프로세서(1302)는 레벨 1(L1) 내부 캐시 메모리(1304)를 포함한다. 아키텍처에 따라서, 프로세서(1302)는 단일의 내부 캐시 또는 복수 레벨의 내부 캐시를 가질 수 있다. 다른 실시예는 특별한 구현 및 필요에 따라 내부와 외부 캐시들의 조합을 포함한다. 레지스터 파일(1306)은 정수 레지스터, 부동 소수점 레지스터, 벡터 레지스터, 뱅크형 레지스터, 셰도우 레지스터, 체크포인트 레지스터, 상태 레지스터, 및 명령어 포인터 레지스터를 포함하는 각종 레지스터 내에 상이한 형태의 데이터를 저장한다.
정수 및 부동 소수점 연산을 수행하는 로직을 포함하는 실행 유닛(1308) 또한 프로세서(1302) 내에 상주한다. 일 실시예에서, 프로세서(1302)는 실행될 때 소정의 마이크로명령어에 대한 알고리즘을 수행하거나 복잡한 시나리오를 처리하는 마이크로코드를 저장하는 마이크로코드(ucode) ROM을 포함한다. 여기서, 마이크로코드는 잠재적으로 프로세서(1302)의 로직 버그/픽스를 처리하기 위해 잠재적으로 갱신 가능하다. 일 실시예에서, 실행 유닛(1308)은 묶음 명령어 집합(1309)을 처리하는 로직을 포함한다. 묶음 명령어 집합(1309)을 명령어를 실행하기 위해 연관된 회로와 함께 범용 프로세서(1302)의 명령어 집합 내에 포함시킴으로써, 많은 멀티미디어 애플리케이션에 의해 사용되는 연산은 범용 프로세서(1302) 내 묶음 데이터를 이용하여 수행될 수 있다. 그러므로 많은 멀티미디어 애플리케이션은 묶음 데이터에 대해 연산을 수행하기 위한 프로세서의 데이터 버스의 전체 폭을 이용함으로써 더 효과적으로 가속되고 실행된다. 이것은 잠재적으로 프로세서의 데이터 버스 전체에 더 작은 단위의 데이터를 전달할 필요를 제거하여 하나 이상의 연산을 하나의 데이터 요소에서 한 번에 수행하게 된다.
실행 유닛(1308)의 대안의 실시예는 또한 마이크로 제어기, 임베디드 프로세서, 그래픽 디바이스, DSP, 및 다른 형태의 로직 회로에서도 사용될 수 있다. 시스템(1300)은 메모리(1320)를 포함한다. 메모리(1320)는 다이나믹 랜덤 액세스 메모리(dynamic random access memory, DRAM) 디바이스, 스태틱 랜덤 액세스 메모리(static random access memory, SRAM) 디바이스, 플래시 메모리 디바이스, 또는 기타 메모리 디바이스를 포함한다. 메모리(1320)는 프로세서(1302)에 의해 실행되는 데이터 신호로 표현된 명령어 및/또는 데이터를 저장한다.
본 발명의 전술한 임의의 특징이나 양태는 도 13에서 예시된 하나 이상의 인터커넥트에서 활용될 수 있다는 것을 주목하자. 예를 들면, 프로세서(1302)의 내부 유닛들을 연결하기 위한, 도시되지 않은 온-다이 인터커넥트(on-die interconnect, ODI)는 전술한 본 발명의 하나 이상의 양태를 구현한다. 또는 본 발명은 예시된 다른 컴포넌트들을 연결하기 위한 프로세서 버스(1310)(예를 들면, 다른 공지된 고성능 컴퓨팅 인터커넥트), 메모리(1320)와의 고 대역폭 메모리 경로(1318), 그래픽 가속기(1312)와의 포인트-투-포인트 링크(예를 들면, 주변 컴포넌트 인터커넥트 익스프레스(PCIe) 준용 패브릭), 제어기 허브 인터커넥트(1322), I/O 또는 기타 인터커넥트(예를 들면, USB, PCI, PCIe)와 연관된다. 그러한 컴포넌트들의 몇 가지 예는 오디오 제어기(1336), 펌웨어 허브(플래시 BIOS)(1328), 무선 송수신기(1326), 데이터 저장소(1324), 사용자 입력 및 키보드 인터페이스(1342)를 포함하는 레거시 I/O 제어기(1310), 범용 직렬 버스(Universal Serial Bus, USB)와 같은 직렬 확장 포트(1338), 및 네트워크 제어기(1334)를 포함한다. 데이터 저장 디바이스(1324)는 하드 디스크 드라이브, 플로피 디스크 드라이브, CD-ROM 드라이브, 플래시 메모리 장치, 또는 여타 대량 저장 디바이스를 포함할 수 있다.
이제 도 14를 참조하면, 본 발명의 실시예에 따라서 제 2 시스템(1400)의 블록도가 도시된다. 도 14에 도시된 바와 같이, 멀티프로세서 시스템(1400)은 포인트-투-포인트 인터커넥트 시스템이며, 포인트-투-포인트 인터커넥트(1450)를 통하여 결합된 제 1 프로세서(1470) 및 제 2 프로세서(1480)를 포함한다. 프로세서(1470 및 1480)는 각기 프로세서의 일부 버전일 수 있다. 일 실시예에서, (1452 및 1454)는 고성능 아키텍처와 같은, 직렬의 포인트-투-포인트 코히어런트 인터커넥트 패브릭의 일부이다. 결과적으로, 본 발명은 QPI 아키텍처 내에서 구현될 수 있다.
단지 두 프로세서들(1470, 1480)만이 도시되어 있지만, 본 발명의 범위는 이것으로 한정되지 않음은 물론이다. 다른 실시예에서, 하나 이상의 부가적인 프로세서들이 특정 프로세서에서 존재할 수 있다.
프로세서(1470, 1480)는 각기 통합된 메모리 제어기 유닛(1472 및 1482)을 포함하는 것으로 도시된다. 프로세서(1470)는 그의 버스 제어기 유닛의 일부로서 포인트-투-포인트(P-P) 인터페이스(1476 및 1478)를 포함하며, 마찬가지로 제 2 프로세서(1480)는 P-P 인터페이스(1486 및 1488)를 포함한다. 프로세서(1470, 1480)는 포인트-투-포인트(P-P) 인터페이스 회로(1478, 1488)를 이용하는 P-P 인터페이스(1450)를 통해 정보를 교환할 수 있다. 도 14에 도시된 바와 같이, IMC(1472 및 1482)는 프로세서를 각각의 메모리, 즉 각각의 프로세서에 국부적으로 소속되는 메인 메모리의 일부일 수 있는 메모리(1432) 및 메모리(1434)에 연결한다.
프로세서(1470, 1480)는 각기 포인트-투-포인트 인터페이스 회로(1476, 1494, 1486, 1498)를 이용하는 개개의 P-P 인터페이스(1452, 1454)를 통해 칩셋(1490)과 정보를 교환한다. 칩셋(1490)은 또한 고성능 그래픽 인터커넥트(1439)를 따라서 놓인 인터페이스 회로(1492)를 통해 고성능 그래픽 회로(1438)와 정보를 교환한다.
공유 캐시(도시되지 않음)는 프로세서 또는 두 프로세서 이외의 곳 중 어느 한 곳에 포함될 수 있지만, P-P 인터커넥트를 통해 프로세서와 접속되어, 만일 프로세서가 저전력 모드에 놓여있을 때 프로세서의 로컬 캐시 정보 중 어느 하나 또는 모두가 공유 캐시에 저장될 수 있게 한다.
칩셋(1490)은 인터페이스(1495)를 통해 제 1 버스(1416)에 연결될 수 있다. 일 실시예에서, 본 발명의 범위가 이것으로 한정되지 않지만, 제 1 버스(1416)는 주변 컴포넌트 인터커넥트(PCI) 버스, 또는 PCI 익스프레스나 다른 3 세대 I/O 인터커넥트 버스와 같은 버스일 수 있다.
도 14에 도시된 바와 같이, 각종 I/O 장치(1414)는 제 1 버스(1416)를 제 2 버스(1420)에 연결하는 버스 브릿지(1418)와 함께 제 1 버스(1416)에 연결된다. 일 실시예에서, 제 2 버스(1420)는 적은 핀 수(low pin count, LPC) 버스를 포함한다. 일 실시예에서, 예를 들면 키보드 및/또는 마우스(1422), 통신 디바이스(1427) 및 종종 명령어/코드 및 데이터(1430)를 포함하는 디스크 드라이브나 다른 대량 저장 디바이스와 같은 저장 유닛(1428)를 비롯한 각종 디바이스가 제 2 버스(1420)에 연결된다. 또한, 오디오 I/O(1424)는 제 2 버스(1420)에 연결된 것으로 도시된다. 포함된 컴포넌트 및 인터커넥트 아키텍처가 바뀐 다른 아키텍처가 가능하다는 것을 주목하자. 예를 들면, 도 14의 포인트-투-포인트 아키텍처 대신, 시스템은 멀티-드롭 버스 또는 다른 그러한 아키텍처를 구현할 수 있다.
이제 도 15를 참조하면, 본 발명에 따른 시스템 온-칩(SOC) 디자인의 실시예가 도시된다. 특정한 예시적인 예로서, SOC(1500)는 사용자 장비(UE)에 포함된다. 일 실시예에서, UE는 휴대폰, 스마트폰, 태블릿, 울트라-신 노트북, 광대역 어댑터를 갖춘 노트북, 또는 임의의 다른 유사 통신 디바이스와 같이 최종 사용자에 의해 사용되는 임의의 디바이스를 말한다. 종종 UE는 GSM 네트워크에서 잠재적으로 사실상 이동국(mobile station, MS)에 대응하는 기지국이나 노드에 접속한다.
여기서, SOC(1500)는 2 코어(1506 및 1507)를 포함한다. 앞에서 논의한 바와 유사하게, 코어(1506 및 1507)는 인텔® 아키텍처 코어TM-기반의 프로세서, 어드번스드 마이크로 디바이스 인코포레이티드(Advanced Micro Devices, Inc, AMD) 프로세서, MIPS-기반 프로세서, ARM-기반 프로세서 디자인, 또는 이들의 고객뿐만 아니라 이들의 실시권자 또는 사용자와 같은 명령어 집합 아키텍처를 준수할 수 있다. 코어(1506 및 1507)는 버스 인터페이스 유닛(1509) 및 L2 캐시(1511)와 연관된 캐시 제어(1508)에 연결되어 SOC(1500)의 다른 부품과 통신한다. 인터커넥트(1510)는 앞에서 논의한 바와 같이, 본 명세서에서 설명된 하나 이상의 양태를 잠재적으로 구현하는IOSF, AMBA, 또는 기타 인터커넥트와 같은 온-칩 인터커넥트를 포함한다.
인터커넥트(1510)는 SIM 카드와 인터페이싱하는 가입자 식별 모듈(Subscriber Identity Module, SIM)(1530), 코어(1506 및 1507)에 의한 실행을 위한 부팅 코드를 보유하여 SOC(1500)를 초기화하고 부팅하는 부팅 롬(1535), 외부 메모리(예를 들면, DRAM(1560))와 인터페이싱하는 SDRAM 제어기(1540), 비휘발성 메모리(예를 들면, 플래시(1565))와 인터페이싱하는 플래시 제어기(1545), 주변 장치와 인터페이싱하는 주변 장치 제어(1550)(예를 들면, 직렬 주변장치 인터페이스), 입력(예를 들면, 터치에 의한 입력)을 디스플레이하고 수신하는 비디오 코덱(1520) 및 비디오 인터페이스(1525), 그래픽 관련 계산을 수행하는 GPU(1515) 등과 같은 다른 컴포넌트에 통신 채널을 제공한다. 이러한 인터페이스 중 임의의 인터페이스는 본 명세서에서 설명된 본 발명의 양태를 포함할 수 있다.
또한, 시스템은 블루투스 모듈(1570), 3G 모뎀(1575), GPS(1585), 및 WiFi(1585)와 같은 통신을 위한 주변장치를 예시한다. 앞에서 언급한 바와 같이, UE는 통신을 위한 라디오를 포함한다는 것을 주목하자. 결과적으로, 이와 같은 주변장치 통신 모듈 모두가 필요한 것은 아니다. 그러나 UE의 일부 형태에서, 외부 통신을 위한 라디오가 포함될 것이다.
본 발명이 제한된 개수의 실시예에 대해 기술되었지만, 본 기술에서 통상의 지식을 가진 자들에게는 이로부터 다수의 수정과 변경이 인식될 것이다. 첨부의 청구범위는 그러한 모든 수정과 변경이 본 발명의 참 사상과 범위 내에 속하는 것으로 망라하고자 한다.
디자인은 모방에 이르는 창조에서부터 제조에 이르기까지 여러 단계를 거칠 수 있다. 디자인을 표현하는 데이터는 다수의 방식으로 디자인을 표현할 수 있다. 첫 번째로, 모방에서 유용한 것으로서, 하드웨어는 하드웨어 서술 언어 또는 다른 기능적 서술 언어를 이용하여 표현될 수 있다. 또한, 로직 및/또는 트랜지스터 게이트를 가진 회로 레벨 모델은 디자인 프로세서의 일부 단계에서 생성될 수 있다. 뿐만 아니라, 몇몇 단계에서, 대부분의 디자인은 하드웨어 모델로 각종 디바이스의 물리적인 배치를 표현하는 데이터의 레벨에 이른다. 통상의 반도체 제조 기술이 사용되는 경우, 하드웨어 모델을 표현하는 데이터는 집적 회로를 제조하는데 사용되는 마스크 용도의 여러 마스크 층 상에 각종 특징의 존재 또는 부재를 명시하는 데이터일 수 있다. 디자인의 임의의 표현에 있어서, 데이터는 임의의 형태의 머신 판독가능한 매체에 저장될 수 있다. 메모리 또는 디스크와 같은 자기 또는 광 저장소는 정보를 저장하기 위해 변조되거나 그렇지 않고 그러한 정보를 전송하기 위해 생성되는 광 또는 전기파를 통해 전송되는 정보를 저장하는 머신 판독가능한 매체일 수 있다. 코드나 디자인을 표시 또는 전달하는 전기 반송파가 전기 신호의 복사, 버퍼링, 또는 재전송이 수행되는 범위에 이르기까지 전송될 때, 새로운 복사가 이루어진다. 그러므로 통신 공급자 또는 네트워크 공급자는 유형의 머신-판독가능한 매체상에, 적어도 일시적으로, 본 발명의 실시예들의 기술을 구현하는 반송파로 인코딩된 정보와 같은 물품을 저장할 수 있다.
본 명세서에서 사용된 모듈은 하드웨어, 소프트웨어, 및/또는 펌웨어의 임의의 조합을 말한다. 예로서, 모듈은 마이크로제어기에 의해 실행되도록 적응된 코드를 저장하는 비일시적인 매체와 연관되는 마이크로제어기와 같은 하드웨어를 포함한다. 그러므로 일 실시예에서, 모듈이라고 언급하는 것은 비일시적 매체상에 보유되는 코드를 인식 및/또는 실행하도록 명시적으로 구성된 하드웨어를 말하는 것이다. 그뿐만 아니라, 다른 실시예에서, 모듈의 사용은 마이크로제어기에 의해 실행되어 미리 설정된 동작을 수행하도록 명시적으로 적응된 코드를 포함하는 비일시적 매체를 말한다. 또 다른 실시예에서 추론될 수 있는 것처럼, (이 예에서) 모듈이라는 용어는 마이크로제어기와 비일시적 매체의 조합을 말할 수 있다. 종종 떼어져 있는 것처럼 도시되는 모듈 경계는 일반적으로 변하기도 하며 잠재적으로 중첩한다. 예를 들면, 제 1 및 제 2 모듈은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 공유하면서, 잠재적으로 일부의 독립적인 하드웨어, 소프트웨어, 또는 펌웨어를 유지할 수 있다. 일 실시예에서, 로직이라는 용어의 사용은 트랜지스터, 레지스터와 같은 하드웨어, 또는 프로그래머블 로직 디바이스와 같은 다른 하드웨어를 포함한다.
일 실시예에서, '하도록 구성된'이라는 관용구의 사용은 지정되거나 결정된 작업을 수행하도록 장치, 하드웨어, 로직, 또는 소자를 배열, 조립, 제조, 판매 제안, 수입 및/또는 설계하는 것을 말한다. 이 예에서, 동작하지 않는 장치 또는 요소는 만일 이것이 지정된 작업을 수행하도록 설계되고, 결합되고, 및/또는 상호접속된다면 여전히 그 지정된 작업을 수행'하도록 구성'된다. 전적으로 예시적인 예로서, 로직 게이트는 동작 중에 0이나 1을 제공할 수 있다. 그러나 인에이블 신호를 클록에 제공'하도록 구성된' 로직 게이트라도 1이나 0을 제공할 수 있는 모든 잠재적인 로직 게이트를 포함하지는 않는다. 그 대신, 로직 게이트는 동작 중에 1이나 0의 출력이 발생하여 클럭을 인에이블하게 하는 몇 가지 방식으로 결합된 로직 게이트이다. 되풀이하면 '하도록 구성된'이라는 용어의 사용은 동작을 필요로 하지 않지만, 그 대신 장치, 하드웨어, 및/또는 소자의 잠재한 상태에 초점을 맞추는 것임을 주목하여야 하며, 이 경우 잠재적 상태에서 장치, 하드웨어, 및/또는 소자는 장치, 하드웨어, 및/또는 소자가 동작하고 있을 때 특별한 작업을 수행하도록 설계된다.
그뿐만 아니라, 일 실시예에서, '하도록', '할 수 있는', 및/또는 '동작 가능한'이라는 관용구의 사용은 장치, 로직, 하드웨어, 및/또는 소자를 명시된 방식으로 사용할 수 있게 하는 그런 방법으로 일부 장치, 로직, 하드웨어, 및/또는 소자가 설계된 것을 말한다. 일 실시예에서, 하도록, 할 수 있는, 또는 동작 가능한이라는 용어의 사용은 장치, 로직, 하드웨어, 및/또는 소자의 잠재한 상태를 말하며, 이 경우 장치, 로직, 하드웨어, 및/또는 소자는 동작하고 있지 않지만 명시된 방식으로 장치를 사용할 수 있게 하는 그러한 방식으로 설계되어 있다.
본 명세서에서 사용된 바와 같은 값은 개수, 상태, 논리 상태, 또는 이진 논리 상태의 임의의 공지된 표현을 포함한다. 종종, 논리 레벨, 논리 값, 또는 논리 값의 사용은 단순히 이진 논리 상태를 표현하는 1의 값 및 0의 값을 말하기도 한다. 예를 들면, 1은 하이 로직 레벨을 말하며 0은 로우 로직 레벨을 말한다. 일 실시예에서, 트랜지스터 또는 플래시 셀과 같은 저장 셀은 단일의 논리값이나 여러 논리 값을 보유할 수 있다. 그러나 컴퓨터 시스템에서 값의 다른 표현이 사용되고 있다. 예를 들면, 십진수 10은 1010이라는 이진값 및 16진 문자 A로서 표현될 수도 있다. 그러므로 값은 컴퓨터 시스템에서 보유될 수 있는 정보의 임의의 표현을 포함한다.
더욱이, 상태는 값 또는 값의 부분으로 표현될 수 있다. 예로서, 논리 1과 같은 제 1 값은 디폴트 또는 초기 상태를 표현할 수 있고, 반면 논리 0과 같은 제 2 값은 비-디폴트 상태를 표현할 수 있다. 또한, 일 실시예에서, 리셋 또는 셋이라는 용어는 각기 디폴트 및 갱신된 값이나 상태를 말한다. 예를 들면, 디폴트 값은 잠재적으로 하이 논리 값, 즉 리셋을 포함하며, 반면 갱신된 값은 잠재적으로 로우 논리 값, 즉 셋을 포함한다. 값들의 임의의 조합은 임의의 개수의 상태들을 표현하기 위해 활용될 수 있다.
전술한 방법, 하드웨어, 소프트웨어, 펌웨어 또는 코드 세트의 실시예들은 프로세싱 요소에 의해 실행 가능한 머신 액세스 가능한, 머신 판독가능한, 컴퓨터 액세스 가능한, 또는 컴퓨터 판독가능한 매체 상에 저장된 명령어 또는 코드를 통해 구현될 수 있다. 비일시적 머신 액세스 가능한/판독 가능한 매체는 컴퓨터 또는 전자 시스템과 같은 머신에 의해 판독가능한 형태의 정보를 제공(즉, 저장 및/또는 전송)하는 임의의 메커니즘을 포함한다. 예를 들면, 비일시적인 머신 액세스 가능한 매체는 스태틱 랜덤 액세스 메모리(static random-access memory, SRAM) 또는 다이나믹 RAM(dynamic random-access memory, DRAM)과 같은 랜덤 액세스 메모리(RAM); ROM; 자기 또는 광 저장 매체; 플래시 메모리 디바이스; 전기 저장 디바이스; 광 저장 디바이스; 음향 저장 디바이스; 일시적(전파된) 신호(예를 들면, 반송파, 적외선 신호, 디지털 신호)로부터 수신된 정보를 보유하기 위한 다른 형태의 저장 디바이스 등을 포함하며, 이들은 이들로부터 정보를 수신할 수 있는 비일시적 매체와 구별될 것이다.
본 발명의 실시예들을 수행하는 로직을 프로그래밍하는데 사용되는 명령어는 DRAM, 캐시, 플래시 메모리, 또는 여타 저장소와 같은 시스템 내 메모리 내에 저장될 수 있다. 그뿐만 아니라, 명령어는 네트워크를 통해 또는 다른 컴퓨터 판독가능한 매체에 의해 분산될 수 있다. 그래서 머신 판독가능한 매체는 머신(예를 들면, 컴퓨터)에 의해 판독가능한 형태로 정보를 저장 또는 전송하기 위한 임의의 메커니즘, 다만 이것으로 제한되지 않지만, 플로피 디스켓, 광 디스크, 컴팩트 디스크 판독 전용 메모리(Compact Disc, Read-Only Memory, CD-ROM), 및 광자기 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(RAM), 소거가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read-Only Memory, EPROM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 자기 또는 광 카드, 플래시 메모리, 또는 전기, 광, 음향이나 다른 형태의 전파 신호(예를 들면, 반송파, 적외선 신호, 디지털 신호 등)를 통해 인터넷을 거쳐 정보의 전송에 사용되는 유형의 머신 판독가능한 저장소를 포함할 수 있다. 따라서, 컴퓨터 판독가능한 매체는 전자 명령어 또는 정보를 머신(예를 들면, 컴퓨터)에 의해 판독가능한 형태로 저장 또는 전송하기에 적합한 임의의 형태의 유형의 머신 판독가능한 매체를 포함한다.
다음의 예는 본 명세서에 따른 실시예들과 관련된다. 하나 이상의 실시예는 복수 개의 독립 노드로부터의 적재 및 저장 동작을 서비스하여 공유 메모리로의 액세스를 제공하는 공유 메모리 제어기 - 복수 개의 독립 노드의 각각은 공유 메모리 자원의 각각의 부분에 액세스하는 것이 허용됨 - 를 제공하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 적재 및 저장 동작은 공유 메모리 링크 프로토콜을 이용하여 전달된다.
적어도 일 예에서, 공유 메모리 링크 프로토콜은 상이한 인터커넥트 프로토콜의 물리 계층 로직을 활용하는 메모리 액세스 프로토콜을 포함한다.
적어도 일 예에서, 공유 메모리 링크 프로토콜은 메모리 액세스 프로토콜 데이터의 데이터의 송신과 인터커넥트 프로토콜의 데이터의 송신 사이에서 멀티플렉싱하는 것을 제공한다.
적어도 일 예에서, 인터커넥트 프로토콜의 데이터는 링크 계층 데이터 및 트랜잭션 층 데이터 중 적어도 하나를 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜은 주변 컴포넌트 인터커넥트 익스프레스(Peripheral Component Interconnect (PCI) Express, PCIe)를 포함한다.
적어도 일 예에서, 인터커넥트 프로토콜 데이터와 메모리 액세스 프로토콜 데이터 사이에서 천이는 천이를 식별하도록 인코딩된 싱크 헤더에 의해 식별된다.
적어도 일 예에서, 인터커넥트 프로토콜 데이터와 메모리 액세스 프로토콜 데이터 사이에서 천이는 천이를 식별하도록 인코딩된 데이터 프레이밍 토큰의 시작 부분에 의해 식별된다.
적어도 일 예에서, 인터커넥트 프로토콜 데이터에서 메모리 액세스 프로토콜 데이터로의 천이는 천이를 식별하도록 인코딩된 인터커넥트 프로토콜의 데이터 스트림 프레이밍 토큰의 끝 부분에 의해 식별되며, 메모리 액세스 프로토콜 데이터에서 인터커넥트 프로토콜 데이터로의 천이는 메모리 액세스 프로토콜의 링크 계층 제어 플릿에 의해 식별된다.
적어도 일 예에서, 공유 메모리 링크 프로토콜은 네트워크 프로토콜 스택을 통해 터널링된다.
적어도 일 예에서, 네트워크 프로토콜 스택은 이더넷을 포함한다.
적어도 일 예에서, 복수 개의 CPU 노드 중 제 1 CPU 노드는 제 1 기판상에 있고 복수 개의 CPU 노드 중 제 2 CPU 노드는 제 1 기판과 별개의 제 2 기판상에 있다.
적어도 일 예에서, 복수 개의 CPU 노드 중 적어도 두 CPU 노드는 동일한 디바이스상에 있다.
적어도 일 예에서, 공유 메모리 제어기는 또한 적재/저장 동작에 연루되는 메모리 트랜잭션을 추적한다.
적어도 일 예에서, 공유 메모리 제어기는 복수 개의 CPU 노드 중 특정 CPU 노드가 결함이라고 식별하고, 특정 CPU 노드의 메모리 트랜잭션의 일부를 식별하고, 다른 모든 메모리 트랜잭션을 유지하면서 특정 CPU 노드의 메모리 트랜잭션의 일부를 빼버린다.
적어도 일 예에서, 공유 메모리 제어기는 또한 복수 개의 CPU 노드에 의한 공유 메모리 자원 내 데이터로의 액세스 허용을 관리한다.
적어도 일 예에서, 복수 개의 CPU 노드 중 적어도 특정 CPU 노드는 공유 메모리의 적어도 제 1 부분에 액세스하는 것이 차단되며 복수 개의 CPU 노드 중 제 2 CPU 노드는 제 1 부분에 액세스하는 것이 허용된다.
적어도 일 예에서, 공유 메모리 제어기는 또한 공유 메모리 자원 내 데이터에 대한 디렉토리 정보를 관리한다.
적어도 일 예에서, 디렉토리 정보는 공유 메모리 자원에 저장된 복수 개의 데이터 자원의 각각마다 식별하며, 각각의 데이터 자원으로의 액세스는 복수 개의 CPU 노드 중 한 CPU 노드에 전용이거나 복수 개의 CPU 노드 중 둘 이상의 CPU 노드들 사이에서 공유된다.
적어도 일 예에서, 공유 메모리 제어기는 또한 복수 개의 데이터 자원 중 특정 데이터 자원에 대한 액세스의 변경을 협상하며, 변경은 공유에서 전용으로의 액세스를 변경하는 것과 전용에서 공유로의 액세스를 변경하는 것 중 적어도 하나를 포함한다.
적어도 일 예에서, 공유 메모리 제어기는 적어도 하나의 다른 공유 메모리 자원을 관리하는 적어도 하나의 다른 공유 메모리 제어기에 연결되며 공유 메모리 제어기는 또한 적재/저장 동작을 다른 공유 메모리 제어기에 전달하여 복수 개의 CPU 노드가 다른 공유 메모리에 액세스하게 해준다.
적어도 일 예에서, 공유 메모리 제어기는 또한 적재 및 저장 동작에서 어드레스 정보를 공유 메모리 자원에 저장된 대응하는 데이터 자원에 맵핑한다.
하나 이상의 실시예는 메모리 액세스 요청을 공유 메모리 제어기로 전송 - 메모리 액세스 요청은 적재/저장 동작을 포함하고 공유 메모리 제어기에 대응하는 공유 메모리 자원에 포함될 데이터 자원의 어드레스를 식별하는 것이며, 복수 개의 독립 노드의 각각은 공유 메모리 자원의 각각의 부분에 액세스하는 것이 허용됨 - 하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 메모리 액세스 요청은 적재 요청을 포함하며 I/O 로직은 또한 적재 요청에 응답하여 데이터 자원에 대응하는 데이터를 수신한다.
적어도 일 예에서, 메모리 액세스 요청은 저장 요청을 포함한다.
적어도 일 예에서, 메모리 액세스 요청은 공유 메모리 링크 프로토콜을 이용하여 전송되며 공유 메모리 링크 프로토콜은 상이한 인터커넥트 프로토콜의 물리 계층 로직을 활용하는 메모리 액세스 프로토콜을 포함한다.
적어도 일 예에서, 공유 메모리 링크 프로토콜은 메모리 액세스 프로토콜 데이터의 데이터의 송신과 인터커넥트 프로토콜의 데이터의 송신 사이를 멀티플렉싱하는 것을 제공한다.
적어도 일 예에서, 인터커넥트 프로토콜 데이터와 메모리 액세스 프로토콜 데이터 사이에서 천이는 (a) 천이를 식별하도록 인코딩된 싱크 헤더, (b) 천이를 식별하도록 인코딩된 데이터 프레이밍 토큰의 시작 부분, (c) 천이를 식별하도록 인코딩된 데이터 스트림 프레이밍 토큰의 끝 부분 중 적어도 하나에 의해 식별된다.
적어도 일 예에서, 메모리 액세스 프로토콜은 SMI3을 포함하고 인터커넥트 프로토콜은 PCIe 기반 프로토콜을 포함한다.
적어도 일 예에서, 복수 개 노드 중 특정 노드는 여러 CPU 소켓 및 로컬 메모리를 포함한다. 적어도 일 예에서, 공유 메모리 자원은 특정 노드와 별개의 디바이스상에 있다.
하나 이상의 실시예는 제 1 독립 CPU 노드로부터 공유 메모리 내 특정 데이터를 식별하는 제 1 적재/저장 메시지를 수신하고, 제 1 적재/저장 메시지에 응답하여 특정 데이터로의 액세스를 제 1 CPU 노드로 제공하고, 제 2 독립 CPU 노드로부터 공유 메모리 내 특정 데이터를 식별하는 제 2 적재/저장 메시지를 수신하고, 제 2 적재/저장 메시지에 응답하여 특정 데이터로의 액세스를 제 2 CPU 노드로 제공하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 각각의 제 1 및 제 2 적재/저장 메시지는 공유 메모리 링크 프로토콜을 이용하여 데이터 링크를 통해 수신된다.
적어도 일부 실시예는 제 1 CPU 노드가 특정 데이터에 액세스하는 것이 허용되는 것을 식별하고 제 2 CPU 노드가 특정 데이터에 액세스하는 것이 허용되는 것을 식별하는 것을 제공할 수 있다.
적어도 일부 실시예는 각각의 제 1 및 제 2 CPU 노드마다 공유 메모리에 연루하는 트랜잭션을 추적하는 것을 제공할 수 있다.
적어도 일부 실시예는 특정 데이터의 디렉토리 정보를 식별하는 것을 제공할 수 있고, 디렉토리 정보는 특정 데이터가 공유 상태, 캐시되지 않은 상태, 또는 배타 상태에 있는지를 식별한다.
적어도 일 예에서, 제 1 적재/저장 메시지는 제 1 어드레스에 의해 특정 데이터를 식별하고 제 2 적재/저장 메시지는 제 2의 상이한 어드레스에 의해 특정 데이터를 식별한다.
적어도 일부 실시예는 제 1 어드레스를 특정 데이터에 맵핑하고 제 2 어드레스를 특정 데이터에 맵핑하는 것을 제공할 수 있다.
적어도 일부 실시예는 하나 이상의 프로세서 디바이스를 포함하는 제 1 노드와, 제 1 노드와 독립적이고 하나 이상의 프로세서 디바이스를 포함하는 제 2 노드와, 적재/저장 메모리 액세스 프로토콜을 통해 각각의 제 1 및 제 2 노드에게 액세스 가능한 공유 메모리를 포함하는 시스템을 제공할 수 있다.
적어도 일 예에서, 제 1 노드는 제 2 노드와 독립적인 결함 도메인을 갖는다.
적어도 일 예에서, 제 1 노드는 제 1 오퍼레이팅 시스템에 의해 제어되며 제 2 노드는 제 2 오퍼레이팅 시스템에 의해 제어된다.
적어도 일 예에서, 적재/저장 메모리 액세스 프로토콜은 공유 메모리 링크 프로토콜에 포함되고 공유 메모리 링크 프로토콜은 메모리 액세스 프로토콜과 상이한 인터커넥트 프로토콜 사이에서 토글링한다.
적어도 일 예에서, 공유 메모리 제어기는 제 1 및 제 2 노드로부터 적재/저장 동작을 서비스하고 공유 메모리로의 액세스를 제공할 수 있다.
하나 이상의 실시예는 데이터 링크의 레인을 통해 제 1 싱크 헤더를 전송 - 제 1 싱크 헤더는 인터커넥트 프로토콜의 데이터에서 메모리 액세스 프로토콜의 데이터로의 천이를 식별하도록 인코딩됨 - 하고, 데이터 링크의 레인을 통해 제 2 싱크 헤더를 전송 - 제 2 싱크 헤더는 메모리 액세스 프로토콜의 데이터에서 인터커넥트 프로토콜의 데이터로의 천이를 식별하도록 인코딩됨 - 하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 각각의 싱크 헤더는 싱크 헤더의 뒤에 오는 데이터 블록의 타입을 식별한다.
적어도 일 예에서, 각각의 데이터 블록은 미리 정의된 길이를 갖는다.
적어도 일 예에서, 메모리 액세스 프로토콜은 SMI3에 기초하는 프로토콜을 포함한다.
적어도 일 예에서, 인터커넥트 프로토콜은 PCIe 기반 프로토콜을 포함한다.
적어도 일 예에서, 각각의 싱크 헤더는 128b/130b 인코딩에 따라서 인코딩된다.
적어도 일 예에서, 제 2 싱크 헤더는 인터커넥트 프로토콜의 데이터 블록을 표시하고 제 3 싱크 헤더는 데이터 링크의 레인을 통해 전송되어 인터커넥트 프로토콜의 정렬된 세트 블록을 표시한다.
적어도 일 예에서, 제 1 싱크 헤더는 레인에서 교번하는 값으로 인코딩되고 제 2 싱크 헤더는 모든 레인에서 동일한 값으로 인코딩된다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 링크 계층 데이터를 포함하고 인터커넥트 프로토콜의 데이터는 트랜잭션 계층 및 데이터 링크 계층 패킷 중 하나를 포함한다.
적어도 일 예에서, 싱크 헤더는 인터커넥트 프로토콜에 따라서 정의된다.
적어도 일 예에서, 메모리 액세스 프로토콜은 적재/저장 메모리 액세스 메시징을 지원한다.
적어도 일 예에서, 메모리 액세스 프로토콜 데이터는 공유 메모리 자원에 액세스하기 위한 메모리 액세스 메시징을 포함하고, 복수 개의 독립 노드의 각각은 공유 메모리 자원의 각각의 부분에 액세스하는 것이 허용된다.
적어도 일 예에서, 복수 개의 독립 노드의 각각은 독립적인 결함 도메인을 갖는다.
적어도 일 예에서, 데이터 링크는 적어도 네 개의 레인을 포함한다.
하나 이상의 실시예는 데이터 링크의 레인을 통해 제 1 싱크 헤더를 수신 - 제 1 싱크 헤더는 제 1 인코딩으로 인코딩됨 - 하고, 제 1 싱크 헤더의 제 1 인코딩으로부터 인터커넥트 프로토콜의 데이터에서 메모리 액세스 프로토콜의 데이터로의 천이를 식별하고, 데이터 링크의 레인을 통해 제 2 싱크 헤더를 수신 - 제 2 싱크 헤더는 제 2 인코딩으로 인코딩됨 - 하고, 제 2 싱크 헤더의 제 2 인코딩으로부터 메모리 액세스 프로토콜의 데이터에서 인터커넥트 프로토콜의 데이터로의 천이를 식별하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 각각의 싱크 헤더는 싱크 헤더 뒤에 오는 데이터 블록의 타입을 식별한다.
적어도 일 예에서, 인터커넥트 프로토콜은 PCIe 기반 프로토콜을 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜은 SMI3에 기초한다.
적어도 일 예에서, 싱크 헤더는 128b/130b 인코딩에 따라서 인코딩된다.
적어도 일 예에서, 제 1 인코딩은 데이터 링크의 레인에서 01b와 10b가 교번하는 값을 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 적재/저장 메모리 액세스 메시지를 포함한다.
적어도 일 예에서, 메모리 액세스 메시지는 공유 메모리 자원에 액세스하라는 메시지를 포함하고 시스템 내 복수 개의 독립 노드의 각각은 공유 메모리 자원의 각각의 부분에 액세스하는 것이 허용된다.
하나 이상의 실시예는 데이터 링크의 레인을 통해 제 1 싱크 헤더를 수신 - 제 1 싱크 헤더는 제 1 인코딩으로 인코딩됨 - 하고, 제 1 싱크 헤더의 제 1 인코딩으로부터 인터커넥트 프로토콜의 데이터에서 메모리 액세스 프로토콜의 데이터로의 천이를 식별하고, 메모리 액세스 프로토콜의 데이터를 처리하고, 데이터 링크의 레인을 통해 제 2 싱크 헤더를 수신 - 제 2 싱크 헤더는 제 2 인코딩으로 인코딩됨 - 하고, 제 2 싱크 헤더의 제 2 인코딩으로부터 메모리 액세스 프로토콜의 데이터에서 인터커넥트 프로토콜의 데이터로의 천이를 식별하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 인터커넥트 프로토콜은 PCIe 기반 프로토콜이고 메모리 액세스 프로토콜은 SMI3에 기초한다.
적어도 일 예에서, 싱크 헤더는 PCIe에 따른다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 메모리 액세스 프로토콜의 데이터에 포함된 메모리 액세스 요청을 서비스하도록 처리된다.
적어도 일 예에서, 메모리 액세스 요청은 복수 개의 독립 CPU 노드들 사이에서 공유된 공유 메모리 자원의 요청이다.
적어도 일 예에서, 메모리 액세스 요청은 적재/저장 메시지를 포함한다.
하나 이상의 실시예는 데이터 링크의 레인을 통해 데이터 프레이밍 토큰의 제 1 시작 부분을 전송 - 데이터 프레이밍 토큰의 제 1 시작 부분은 인터커넥트 프로토콜의 데이터에서 메모리 액세스 프로토콜의 데이터로의 천이를 식별하도록 인코딩됨 - 하고, 데이터 링크의 레인을 통해 데이터 프레이밍 토큰의 제 2 시작 부분을 전송 - 데이터 프레이밍 토큰의 제 2 시작 부분은 메모리 액세스 프로토콜의 데이터에서 인터커넥트 프로토콜의 데이터로의 천이를 식별하도록 인코딩됨 - 하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 데이터 프레이밍 토큰의 제 1 시작 부분은 수정된 PCIe STP 프레이밍 토큰을 포함하고 데이터 프레이밍 토큰의 제 2 시작 부분은 수정된 PCIe STP 프레이밍 토큰을 포함한다.
적어도 일 예에서, 데이터 프레이밍 토큰의 각각의 시작 부분은 길이 필드를 포함한다.
적어도 일 예에서, 인터커넥트 프로토콜의 데이터에서 메모리 액세스 프로토콜의 데이터로의 천이는 데이터 프레이밍 토큰의 제 1 시작 부분에서 데이터 프레이밍 토큰의 제 1 시작 부분의 길이 필드 내 값으로 표시된다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 데이터 프레이밍 토큰의 제 1 시작 부분의 길이 필드에 의해 정의된 윈도우에서 전송된다.
적어도 일 예에서, 메모리 액세스 프로토콜은 SMI3에 기초한다.
적어도 일 예에서, 인터커넥트 프로토콜은 PCIe 기반 프로토콜을 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 링크 계층 데이터를 포함하고 인터커넥트 프로토콜의 데이터는 트랜잭션 계층 및 데이터 링크 계층 패킷 중 하나를 포함한다.
적어도 일 예에서, 물리 계층 로직은 또한 메모리 액세스 프로토콜의 데이터를 전송하며 메모리 액세스 프로토콜의 데이터는 적재/저장 메모리 액세스 메시지를 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜 데이터는 공유 메모리 자원에 액세스하라는 메모리 액세스 메시지를 포함하며, 복수 개의 독립 노드의 각각은 공유 메모리 자원의 각각의 부분에 액세스하는 것이 허용된다.
적어도 일 예에서, 복수 개의 독립 노드의 각각은 독립적인 결함 도메인을 갖는다.
적어도 일 예에서, 데이터 링크는 하나 이상의 레인을 포함한다.
하나 이상의 실시예는 데이터 링크의 레인을 통해 데이터 프레이밍 토큰의 제 1 시작 부분을 수신하고, 데이터 프레이밍 토큰의 제 1 시작 부분으로부터 메모리 액세스 프로토콜의 데이터의 도착을 식별하고, 데이터 링크의 레인을 통해 데이터 프레이밍 토큰의 제 2 시작 부분을 수신 - 데이터 프레이밍 토큰의 제 2 시작 부분은 데이터 프레이밍 토큰의 제 1 시작 부분과 상이함 - 하고, 데이터 프레이밍 토큰의 제 2 시작 부분으로부터 인터커넥트 프로토콜의 데이터의 도착을 식별하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 데이터 프레이밍 토큰의 제 1 시작 부분은 수정된 PCIe STP 프레이밍 토큰을 포함하고 데이터 프레이밍 토큰의 제 2 시작 부분은 PCIe STP 프레이밍 토큰을 포함한다.
적어도 일 예에서, 데이터 프레이밍 토큰의 각각의 시작 부분은 길이 필드를 포함한다.
적어도 일 예에서, 인터커넥트 프로토콜의 데이터에서 메모리 액세스 프로토콜의 데이터로의 천이는 데이터 프레이밍 토큰의 제 1 시작 부분에서 데이터 프레이밍 토큰의 제 1 시작 부분의 길이 필드 내 값으로 표시된다.
적어도 일 예에서, 메모리 액세스 프로토콜은 SMI3에 기초하고 인터커넥트 프로토콜은 PCIe 기반 프로토콜을 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터가 수신되고, 인터커넥트 프로토콜의 데이터가 수신된다.
하나 이상의 실시예는 데이터 링크의 레인을 통해 데이터 스트림 프레이밍 토큰의 제 1 끝 부분을 전송 - 데이터 스트림 프레이밍 토큰의 제 1 끝 부분은 인터커넥트 프로토콜에서 메모리 액세스 프로토콜로의 천이를 식별하도록 인코딩됨 - 하고, 메모리 액세스 프로토콜로의 천이 다음에 메모리 액세스 프로토콜 데이터를 전송하고, 메모리 액세스 프로토콜의 링크 계층 제어 데이터를 전송하여 메모리 액세스 프로토콜에서 인터커넥트 프로토콜로의 천이를 식별하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 메모리 액세스 프로토콜 데이터는 링크 계층 제어 데이터가 전송될 때까지 데이터 링크를 통해 전송된다.
적어도 일 예에서, 메모리 액세스 프로토콜로의 천이는 데이터 링크상의 데이터를 처리하는 인터커넥트 프로토콜 로직으로부터 데이터 링크상의 데이터를 처리하는 메모리 액세스 프로토콜 로직으로의 천이를 일으킨다.
적어도 일 예에서, 메모리 액세스 프로토콜은 SMI3에 기초한 프로토콜을 포함한다.
적어도 일 예에서, 인터커넥트 프로토콜은 PCIe 기반 프로토콜을 포함한다.
적어도 일 예에서, 데이터 스트림 프레이밍 토큰의 제 1 끝 부분은 수정된 PCIe EDS 프레이밍 토큰을 포함한다.
적어도 일 예에서, PCIe EDS 는 일련의 PCIe 트랜잭션 계층 패킷의 끝 부분과 PCIe 정렬된 세트 블록의 도착을 표시하도록 전송된다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 링크 계층 데이터를 포함하고 인터커넥트 프로토콜의 데이터는 트랜잭션 계층 및 데이터 링크 계층 패킷 중 하나를 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 전송되고 적재/저장 메모리 액세스 메시지를 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜 데이터는 공유 메모리 자원에 액세스하라는 메모리 액세스 메시지를 포함하며, 복수 개의 독립 노드의 각각은 공유 메모리 자원의 각각의 부분에 액세스하는 것이 허용된다.
적어도 일 예에서, 복수 개의 독립 노드의 각각은 독립적인 결함 도메인을 갖는다.
하나 이상의 실시예는 데이터 링크의 레인을 통해 인터커넥트 프로토콜에서 메모리 액세스 프로토콜로의 천이를 식별하도록 인코딩된 데이터 스트림 프레이밍 토큰의 제 1 끝 부분을 수신하고, 데이터 스트림 프레이밍 토큰의 제 1 끝 부분에 기초하여 메모리 액세스 프로토콜의 링크 계층 로직을 이용하여 메모리 액세스 프로토콜로 천이하고, 메모리 액세스 프로토콜 링크 계층 제어 데이터를 수신하고, 메모리 액세스 프로토콜의 링크 계층 제어 데이터를 수신하여 메모리 액세스 프로토콜에서 인터커넥트 프로토콜로의 천이를 식별하고, 링크 계층 제어 데이터에 기초하여 인터커넥트 프로토콜의 링크 계층 로직을 이용하여 인터커넥트 프로토콜로 천이하는 장치, 시스템, 머신 판독 가능한 저장소, 머신 판독 가능한 매체, 하드웨어 및/또는 소프트웨어 기반 로직, 및 방법을 제공할 수 있다.
적어도 일 예에서, 메모리 액세스 프로토콜은 SMI3에 기초한다.
적어도 일 예에서, 인터커넥트 프로토콜은 PCIe 기반 프로토콜을 포함한다.
적어도 일 예에서, 데이터 스트림 프레이밍 토큰의 제 1 끝 부분은 수정된 PCIe EDS 프레이밍 토큰을 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 링크 계층 데이터를 포함하고 인터커넥트 프로토콜의 데이터는 트랜잭션 계층 및 데이터 링크 계층 패킷 중 하나를 포함한다.
적어도 일 예에서, 메모리 액세스 프로토콜의 데이터는 전송되고 적재/저장 메모리 액세스 메시지를 포함한다.
본 명세서 전체에서 "일 실시예" 또는 실시예"라고 언급하는 것은 실시예와 관련하여 설명된 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다. 그래서, 본 명세서의 여러 곳에서 "일 실시예에서" 또는 "실시예에서"라는 문구가 출현한다 하여 반드시 동일한 실시예를 말하는 것은 아니다. 그뿐만 아니라, 특정한 특징, 구조, 또는 특성은 하나 이상의 실시예들에서 임의의 적절한 방식으로 조합될 수 있다.
전술한 명세서에서, 상세한 설명은 특정의 예시적인 실시예를 참조하여 제공되었다. 그러나 첨부의 청구범위에서 진술되는 바와 같이 본 발명의 폭넓은 사상과 범위를 일탈하지 않고도 다양한 수정 및 변경이 이루어질 수 있다는 것이 분명할 것이다. 따라서, 명세서와 도면은 제한적인 의미라기보다 오히려 예시적인 의미로 간주된다. 그뿐만 아니라, 실시예 및 다른 예시적인 언어의 전술한 사용은 필연적으로 동일한 실시예 또는 동일한 예를 말하는 것이 아니고, 상이하고 구별되는 실시예는 물론이고 잠재적으로 동일한 실시예를 말할 수 있다.

Claims (30)

  1. 장치로서,
    공유 메모리 제어기 - 상기 공유 메모리 제어기는 데이터 링크를 통해 복수 개의 독립 노드로부터 수신된 적재 및 저장 동작을 서비스하여 공유 메모리 자원으로의 액세스를 제공하고, 상기 복수 개의 독립 노드의 각각은 상기 공유 메모리 자원의 각 부분에 액세스하는 것이 허용됨 - 와,
    I/O 로직 - I/O 로직은 상기 데이터 링크를 통해 전송되는 인터커넥트 프로토콜 데이터와 메모리 액세스 프로토콜 데이터 사이에서의 천이를 식별함 - 을 포함하되,
    상기 적재 및 저장 동작은 공유 메모리 링크 프로토콜을 이용하여 전달되고, 상기 공유 메모리 링크 프로토콜은 상이한 인터커넥트 프로토콜의 물리 계층 로직을 활용하는 메모리 액세스 프로토콜을 포함하고, 상기 공유 메모리 링크 프로토콜은 상기 메모리 액세스 프로토콜 데이터의 데이터 송신과 상기 인터커넥트 프로토콜의 데이터의 송신 사이의 멀티플렉싱을 제공하는
    장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 공유 메모리 링크 프로토콜은 네트워크 프로토콜 스택을 통해 터널링되는
    장치.
  4. 제 3 항에 있어서,
    상기 네트워크 프로토콜 스택은 이더넷을 포함하는
    장치.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 인터커넥트 프로토콜의 상기 데이터는 링크 계층 데이터 및 트랜잭션 계층 데이터 중 적어도 하나를 포함하는
    장치.
  8. 제 1 항에 있어서,
    상기 메모리 액세스 프로토콜은 SMI3을 포함하며 상기 인터커넥트 프로토콜은 주변 컴포넌트 인터커넥트 익스프레스(Peripheral Component Interconnect (PCI) Express, PCIe)를 포함하는
    장치.
  9. 제 1 항에 있어서,
    상기 인터커넥트 프로토콜 데이터와 메모리 액세스 프로토콜 데이터 사이에서의 천이는 상기 천이를 식별하도록 인코딩된 싱크 헤더에 의해 식별되는
    장치.
  10. 제 1 항에 있어서,
    상기 인터커넥트 프로토콜 데이터와 메모리 액세스 프로토콜 데이터 사이에서의 천이는 상기 천이를 식별하도록 인코딩된 데이터 프레이밍 토큰의 시작 부분(start)에 의해 식별되는
    장치.
  11. 제 1 항에 있어서,
    인터커넥트 프로토콜 데이터에서 메모리 액세스 프로토콜 데이터로의 천이는 상기 천이를 식별하도록 인코딩된 상기 인터커넥트 프로토콜의 데이터 스트림 프레이밍 토큰의 끝 부분(end)에 의해 식별되며,
    메모리 액세스 프로토콜 데이터에서 인터커넥트 프로토콜 데이터로의 천이는 상기 메모리 액세스 프로토콜의 링크 계층 제어 플릿에 의해 식별되는
    장치.
  12. 제 1 항에 있어서,
    상기 공유 메모리 제어기는 또한 상기 적재 및 저장 동작에 연루되는 메모리 트랜잭션을 추적하는
    장치.
  13. 제 12 항에 있어서,
    상기 공유 메모리 제어기는 또한,
    상기 복수 개의 노드 중 특정 노드가 결함이 있는 것을 식별하고,
    상기 특정 노드의 상기 메모리 트랜잭션의 일부분을 식별하고,
    다른 모든 메모리 트랜잭션을 유지하면서 상기 특정 노드의 상기 메모리 트랜잭션의 상기 일부분을 드롭하는
    장치.
  14. 제 1 항에 있어서,
    상기 공유 메모리 제어기는 또한 상기 복수 개의 노드에 의한 상기 공유 메모리 자원 내 데이터로의 액세스 허가를 관리하는
    장치.
  15. 제 14 항에 있어서,
    상기 복수 개의 노드 중 적어도 특정 노드는 상기 공유 메모리의 적어도 제 1 부분에 액세스하는 것이 차단되며 상기 복수 개의 노드 중 제 2 노드는 상기 제 1 부분에 액세스하는 것이 허용되는
    장치.
  16. 제 1 항에 있어서,
    상기 공유 메모리 제어기는 또한 상기 공유 메모리 자원 내 데이터에 대한 디렉토리 정보를 관리하는
    장치.
  17. 제 16 항에 있어서,
    상기 디렉토리 정보는 상기 공유 메모리 자원에 저장된 복수 개의 데이터 자원의 각각마다 식별하며, 상기 각각의 데이터 자원으로의 액세스는 상기 복수 개의 노드 중 하나의 노드에 전용이거나 상기 복수 개의 노드 중 둘 이상의 노드들 사이에서 공유되는
    장치.
  18. 제 17 항에 있어서,
    상기 공유 메모리 제어기는 또한 상기 복수 개의 데이터 자원 중 특정 데이터 자원에 대한 액세스의 변경을 협상하며, 상기 변경은 공유에서 전용으로의 액세스를 변경하는 것과 전용에서 공유로의 액세스를 변경하는 것 중 적어도 하나를 포함하는
    장치.
  19. 제 1 항에 있어서,
    상기 공유 메모리 제어기는 적어도 하나의 다른 공유 메모리 자원을 관리하는 적어도 하나의 다른 공유 메모리 제어기에 연결되며 상기 공유 메모리 제어기는 또한 적재/저장 동작을 상기 다른 공유 메모리 제어기에 전달하여 상기 복수 개의 노드 중 적어도 일부 노드가 상기 다른 공유 메모리에 액세스하게 허용하는
    장치.
  20. 제 1 항에 있어서,
    상기 공유 메모리 제어기는 또한 상기 적재 및 저장 동작 내의 어드레스 정보를 상기 공유 메모리 자원에 저장된 대응하는 데이터 자원에 맵핑하는
    장치.
  21. 장치로서,
    메모리 액세스 요청을 공유 메모리 제어기로 전송하는 I/O 로직을 포함하며,
    상기 메모리 액세스 요청은 적재/저장 동작을 포함하고 상기 공유 메모리 제어기에 대응하는 공유 메모리 자원에 포함될 데이터 자원의 어드레스를 식별하는 것이며, 복수 개의 독립 노드의 각각은 상기 공유 메모리 자원의 각 부분에 액세스하는 것이 허용되며, 상기 메모리 액세스 요청은 공유 메모리 링크 프로토콜을 이용하여 전송되고, 상기 공유 메모리 링크 프로토콜은 상이한 인터커넥트 프로토콜의 물리 계층 로직을 활용하는 메모리 액세스 프로토콜을 포함하며, 상기 공유 메모리 링크 프로토콜은 상기 메모리 액세스 프로토콜 데이터의 데이터의 송신 및 상기 인터커넥트 프로토콜의 데이터의 송신 사이를 멀티플렉싱하는 것을 제공하는
    장치.
  22. 제 21 항에 있어서,
    상기 메모리 액세스 요청은 적재 요청을 포함하며, 상기 I/O 로직은 또한 상기 적재 요청에 응답하여 상기 데이터 자원에 대응하는 데이터를 수신하는
    장치.
  23. 제 21 항에 있어서,
    상기 메모리 액세스 요청은 저장 요청을 포함하는
    장치.
  24. 제 23 항에 있어서,
    인터커넥트 프로토콜 데이터와 메모리 액세스 프로토콜 데이터 사이에서의 천이는,
    (a) 상기 천이를 식별하도록 인코딩된 싱크 헤더,
    (b) 상기 천이를 식별하도록 인코딩된 데이터 프레이밍 토큰의 시작 부분,
    (c) 상기 천이를 식별하도록 인코딩된 데이터 스트림 프레이밍 토큰의 끝 부분
    중 적어도 하나에 의해 식별되는
    장치.
  25. 시스템으로서,
    하나 이상의 프로세서 디바이스를 포함하는 제 1 노드와,
    상기 제 1 노드와 독립적인 제 2 노드 - 상기 제 2 노드는 하나 이상의 프로세서 디바이스를 포함함 - 와,
    공유 메모리 - 상기 공유 메모리는 적재/저장 메모리 액세스 프로토콜을 통해 상기 제 1 노드 및 상기 제 2 노드 각각에서 액세스 가능하며, 상기 적재/저장 메모리 액세스 프로토콜은 공유 메모리 링크 프로토콜에 포함되고 상기 공유 메모리 링크 프로토콜은 상기 메모리 액세스 프로토콜 및 이와 상이한 인터커넥트 프로토콜 사이에서 토글링하고, 상기 메모리 액세스 프로토콜은 상기 상이한 인터커넥트 프로토콜의 물리 계층 로직을 활용하는
    시스템.
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020167013908A 2013-12-26 2013-12-26 노드들 사이의 i/o 서비스 및 메모리 공유 KR101895763B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/077785 WO2015099730A1 (en) 2013-12-26 2013-12-26 Sharing memory and i/o services between nodes

Publications (2)

Publication Number Publication Date
KR20160075730A KR20160075730A (ko) 2016-06-29
KR101895763B1 true KR101895763B1 (ko) 2018-09-07

Family

ID=53479394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167013908A KR101895763B1 (ko) 2013-12-26 2013-12-26 노드들 사이의 i/o 서비스 및 메모리 공유

Country Status (8)

Country Link
US (4) US10915468B2 (ko)
EP (1) EP3087493B1 (ko)
JP (1) JP6311174B2 (ko)
KR (1) KR101895763B1 (ko)
CN (1) CN105793830B (ko)
BR (1) BR112016011691B1 (ko)
DE (1) DE112013007724B4 (ko)
WO (1) WO2015099730A1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105793830B (zh) 2013-12-26 2019-12-24 英特尔公司 一种在节点之间共享存储器和i/o服务的装置、方法、系统
US11157200B2 (en) * 2014-10-29 2021-10-26 Hewlett-Packard Development Company, L.P. Communicating over portions of a communication medium
CN104360982B (zh) * 2014-11-21 2017-11-10 浪潮(北京)电子信息产业有限公司 一种基于可重构芯片技术的主机系统目录结构实现方法和系统
US9817787B2 (en) * 2015-03-26 2017-11-14 Intel Corporation Method, apparatus and system for encapsulating information in a communication
US9940287B2 (en) 2015-03-27 2018-04-10 Intel Corporation Pooled memory address translation
JP6503945B2 (ja) * 2015-07-13 2019-04-24 富士通株式会社 情報処理装置、並列計算機システム、ファイルサーバ通信プログラム及びファイルサーバ通信方法
US10034407B2 (en) * 2016-07-22 2018-07-24 Intel Corporation Storage sled for a data center
US10277677B2 (en) * 2016-09-12 2019-04-30 Intel Corporation Mechanism for disaggregated storage class memory over fabric
US10394604B2 (en) * 2017-03-15 2019-08-27 Samsung Electronics Co., Ltd. Method for using local BMC to allocate shared GPU resources inside NVMe over fabrics system
CN108733311B (zh) * 2017-04-17 2021-09-10 伊姆西Ip控股有限责任公司 用于管理存储系统的方法和设备
CN109426553A (zh) 2017-08-21 2019-03-05 上海寒武纪信息科技有限公司 任务切分装置及方法、任务处理装置及方法、多核处理器
CN109117415B (zh) * 2017-06-26 2024-05-14 上海寒武纪信息科技有限公司 数据共享系统及其数据共享方法
EP3637272A4 (en) 2017-06-26 2020-09-02 Shanghai Cambricon Information Technology Co., Ltd DATA-SHARING SYSTEM AND RELATED DATA-SHARING PROCESS
CN110413551B (zh) 2018-04-28 2021-12-10 上海寒武纪信息科技有限公司 信息处理装置、方法及设备
CN109214616B (zh) 2017-06-29 2023-04-07 上海寒武纪信息科技有限公司 一种信息处理装置、系统和方法
US10582636B2 (en) * 2017-08-07 2020-03-03 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Server having a dual-mode serial bus port enabling selective access to a baseboard management controller
US11263143B2 (en) * 2017-09-29 2022-03-01 Intel Corporation Coherent accelerator fabric controller
CN107886692B (zh) * 2017-10-30 2020-08-25 皖西学院 一种生物工程用传感器LoRa无线网络通讯系统
CN107797945A (zh) * 2017-10-31 2018-03-13 郑州云海信息技术有限公司 一种存储系统及其数据存储方法、装置、系统及设备
US10866753B2 (en) 2018-04-03 2020-12-15 Xilinx, Inc. Data processing engine arrangement in a device
US10606790B2 (en) * 2018-04-16 2020-03-31 Intel Corporation Precoding mechanism in PCI-express
KR101912872B1 (ko) * 2018-06-04 2018-10-30 주식회사 위더스플래닛 고밀집 네트워크 환경을 위한 WiFi 네트워크 시스템
CN112306409B (zh) * 2018-06-27 2022-09-09 华为技术有限公司 一种存储系统及盘片
CN109002352B (zh) * 2018-07-04 2019-12-03 北京捷旅易行科技有限公司 流量控制器系统
US11477049B2 (en) * 2018-08-02 2022-10-18 Xilinx, Inc. Logical transport over a fixed PCIE physical transport network
CN109309711B (zh) * 2018-08-30 2020-06-16 中国科学院声学研究所 一种虚拟缓存共享方法和系统
US11157437B2 (en) * 2018-09-26 2021-10-26 Micron Technology, Inc. Memory pooling between selected memory resources via a base station
US10771189B2 (en) * 2018-12-18 2020-09-08 Intel Corporation Forward error correction mechanism for data transmission across multi-lane links
CN113168389B (zh) * 2018-12-28 2023-03-31 华为技术有限公司 用于锁定具有非透明桥接的PCIe网络的装置和方法
JP6579255B1 (ja) * 2018-12-28 2019-09-25 富士通クライアントコンピューティング株式会社 情報処理システム、および中継装置
US11637657B2 (en) 2019-02-15 2023-04-25 Intel Corporation Low-latency forward error correction for high-speed serial links
US11249837B2 (en) 2019-03-01 2022-02-15 Intel Corporation Flit-based parallel-forward error correction and parity
US10817462B1 (en) 2019-04-26 2020-10-27 Xilinx, Inc. Machine learning model updates to ML accelerators
US11296994B2 (en) 2019-05-13 2022-04-05 Intel Corporation Ordered sets for high-speed interconnects
US11074208B1 (en) 2019-07-24 2021-07-27 Xilinx, Inc. Routing network using global address map with adaptive main memory expansion for a plurality of home agents
US11474871B1 (en) 2019-09-25 2022-10-18 Xilinx, Inc. Cache coherent acceleration function virtualization
US11740958B2 (en) 2019-11-27 2023-08-29 Intel Corporation Multi-protocol support on common physical layer
US11914903B2 (en) 2020-10-12 2024-02-27 Samsung Electronics Co., Ltd. Systems, methods, and devices for accelerators with virtualization and tiered memory
CN112395220B (zh) * 2020-11-18 2023-02-28 海光信息技术股份有限公司 共享存储控制器的处理方法、装置、系统及存储控制器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190552A1 (en) * 2005-02-24 2006-08-24 Henze Richard H Data retention system with a plurality of access protocols
JP2008020977A (ja) 2006-07-11 2008-01-31 Sony Computer Entertainment Inc ネットワークプロセッサシステムおよびネットワークプロトコル処理方法
US20120079156A1 (en) * 2010-09-24 2012-03-29 Safranek Robert J IMPLEMENTING QUICKPATH INTERCONNECT PROTOCOL OVER A PCIe INTERFACE

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3137970B2 (ja) * 1990-07-26 2001-02-26 富士通株式会社 共用記憶制御システム
JPH1078941A (ja) * 1996-09-04 1998-03-24 Fujitsu Ltd 並列計算機
WO1999012102A1 (en) * 1997-09-05 1999-03-11 Sun Microsystems, Inc. A multiprocessing system including cluster optimization mechanisms
US6226771B1 (en) * 1998-12-14 2001-05-01 Cisco Technology, Inc. Method and apparatus for generating error detection data for encapsulated frames
JP3959914B2 (ja) 1999-12-24 2007-08-15 株式会社日立製作所 主記憶共有型並列計算機及びそれに用いるノード制御装置
US7058750B1 (en) 2000-05-10 2006-06-06 Intel Corporation Scalable distributed memory and I/O multiprocessor system
US6738868B2 (en) 2000-06-10 2004-05-18 Hewlett-Packard Development Company, L.P. System for minimizing directory information in scalable multiprocessor systems with logically independent input/output nodes
US6944719B2 (en) * 2002-05-15 2005-09-13 Broadcom Corp. Scalable cache coherent distributed shared memory processing system
US7873700B2 (en) * 2002-08-09 2011-01-18 Netapp, Inc. Multi-protocol storage appliance that provides integrated support for file and block access protocols
GB2400265A (en) * 2003-03-31 2004-10-06 Sony Uk Ltd Routing data
US7653682B2 (en) * 2005-07-22 2010-01-26 Netapp, Inc. Client failure fencing mechanism for fencing network file system data in a host-cluster environment
US7782873B2 (en) * 2005-08-23 2010-08-24 Slt Logic, Llc Omni-protocol engine for reconfigurable bit-stream processing in high-speed networks
US20070220059A1 (en) * 2006-03-20 2007-09-20 Manyi Lu Data processing node
US7715433B2 (en) * 2006-07-14 2010-05-11 Boren Gary W Universal controller and signal monitor
JP2008046969A (ja) * 2006-08-18 2008-02-28 Fujitsu Ltd 共有メモリのアクセス監視方法及び装置
GB2442984B (en) 2006-10-17 2011-04-06 Advanced Risc Mach Ltd Handling of write access requests to shared memory in a data processing apparatus
US7941613B2 (en) 2007-05-31 2011-05-10 Broadcom Corporation Shared memory architecture
US8438578B2 (en) 2008-06-09 2013-05-07 International Business Machines Corporation Network on chip with an I/O accelerator
US8108631B2 (en) * 2008-07-18 2012-01-31 Oracle America, Inc. Transactional memory support for non-coherent shared memory systems using selective write through caches
JP5138525B2 (ja) 2008-09-26 2013-02-06 富士フイルム株式会社 像振れ補正装置及び像振れ補正方法
US8405529B2 (en) 2011-03-11 2013-03-26 Taiwan Semiconductor Manufacturing Company, Ltd. Using bus inversion to reduce simultaneous signal switching
US9208110B2 (en) * 2011-11-29 2015-12-08 Intel Corporation Raw memory transaction support
US9442879B2 (en) * 2011-12-07 2016-09-13 Intel Corporation Multiple transaction data flow control unit for high-speed interconnect
US8856420B2 (en) * 2011-12-27 2014-10-07 Intel Corporation Multi-protocol I/O interconnect flow control
US8825910B2 (en) 2012-04-06 2014-09-02 International Business Machines Corporation Pass-through converged network adaptor (CNA) using existing ethernet switching device
CN103180817B (zh) * 2012-07-02 2015-09-30 杭州华为数字技术有限公司 存储扩展装置及服务器
WO2014075255A1 (zh) 2012-11-15 2014-05-22 华为技术有限公司 一种基于PCIE Switch通信的方法、装置及系统
CN105793830B (zh) 2013-12-26 2019-12-24 英特尔公司 一种在节点之间共享存储器和i/o服务的装置、方法、系统
US9383932B2 (en) * 2013-12-27 2016-07-05 Intel Corporation Data coherency model and protocol at cluster level

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190552A1 (en) * 2005-02-24 2006-08-24 Henze Richard H Data retention system with a plurality of access protocols
JP2008020977A (ja) 2006-07-11 2008-01-31 Sony Computer Entertainment Inc ネットワークプロセッサシステムおよびネットワークプロトコル処理方法
US20120079156A1 (en) * 2010-09-24 2012-03-29 Safranek Robert J IMPLEMENTING QUICKPATH INTERCONNECT PROTOCOL OVER A PCIe INTERFACE

Also Published As

Publication number Publication date
US20220012189A1 (en) 2022-01-13
EP3087493A4 (en) 2017-08-23
KR20160075730A (ko) 2016-06-29
CN105793830A (zh) 2016-07-20
US20170004098A1 (en) 2017-01-05
BR112016011691B1 (pt) 2022-02-22
US20210303482A1 (en) 2021-09-30
WO2015099730A1 (en) 2015-07-02
BR112016011691A2 (ko) 2017-08-08
JP2017504089A (ja) 2017-02-02
DE112013007724B4 (de) 2024-01-11
DE112013007724T5 (de) 2016-09-15
CN105793830B (zh) 2019-12-24
EP3087493B1 (en) 2020-09-02
US20240160585A1 (en) 2024-05-16
US10915468B2 (en) 2021-02-09
JP6311174B2 (ja) 2018-04-18
EP3087493A1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
KR101895763B1 (ko) 노드들 사이의 i/o 서비스 및 메모리 공유
US11507528B2 (en) Pooled memory address translation
CN107430567B (zh) 共享缓冲存储器路由
JP6225154B2 (ja) 共有メモリリンクの低電力エントリ
KR101925694B1 (ko) 멀티칩 패키지 링크
EP3274861B1 (en) Reliability, availability, and serviceability in multi-node systems with disaggregated memory
KR101874726B1 (ko) Pci 익스프레스 강화
JP2017504089A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right