KR101575827B1 - 주변장치 상호연결에서 ｉ/ｏ 및 계산 오프로드 디바이스들을 위해 2-레벨 어드레스 변환을 사용하는 ｉｏｍｍｕ - Google Patents

주변장치 상호연결에서 ｉ/ｏ 및 계산 오프로드 디바이스들을 위해 2-레벨 어드레스 변환을 사용하는 ｉｏｍｍｕ Download PDF

Info

Publication number
KR101575827B1
KR101575827B1 KR1020127004961A KR20127004961A KR101575827B1 KR 101575827 B1 KR101575827 B1 KR 101575827B1 KR 1020127004961 A KR1020127004961 A KR 1020127004961A KR 20127004961 A KR20127004961 A KR 20127004961A KR 101575827 B1 KR101575827 B1 KR 101575827B1
Authority
KR
South Korea
Prior art keywords
guest
memory
request
control logic
address
Prior art date
Application number
KR1020127004961A
Other languages
English (en)
Other versions
KR20120044370A (ko
Inventor
앤드류 지. 케젤
마르크 디. 훔멜
스테펜 디. 글라서
Original Assignee
어드밴스드 마이크로 디바이시즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어드밴스드 마이크로 디바이시즈, 인코포레이티드 filed Critical 어드밴스드 마이크로 디바이시즈, 인코포레이티드
Publication of KR20120044370A publication Critical patent/KR20120044370A/ko
Application granted granted Critical
Publication of KR101575827B1 publication Critical patent/KR101575827B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1081—Address translation for peripheral access to main memory, e.g. direct memory access [DMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1009—Address translation using page tables, e.g. page table structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0615—Address space extension
    • G06F12/063—Address space extension for I/O modules, e.g. memory mapped I/O
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G06F12/0882—Page mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

컴퓨터 시스템의 시스템 메모리에 대한 I/O 디바이스의 요청들을 제어하는 IOMMU가 제공되며, 여기서 IOMMU는 제어 로직 및 캐시 메모리를 포함한다. 제어 로직은 I/O 디바이스로부터의 요청에서 수신된 어드레스를 변환할 수 있다. 만약 프로세스 어드레스 공간 식별자(PASID) 프리픽스를 갖는 트랜잭션 계층 프로토콜(TLP) 패킷이 요청에 포함되어 있다면, 제어 로직은 2-레벨 게스트 변환을 수행할 수 있다. 이에 따라, 제어 로직은 요청에서 수신된 어드레스를 변환하기 위해 게스트 페이지 테이블들의 세트에 액세스할 수 있다. 마지막 게스트 페이지 테이블에서의 포인터는 네스티드 페이지 테이블들의 세트에서의 제 1 테이블을 가리킨다. 제어 로직은, 네스티드 페이지 테이블들의 세트에 액세스하여 시스템 메모리에서의 물리적 페이지에 대응하는 시스템 물리적 어드레스(SPA)를 획득하기 위해 마지막 게스트 페이지 테이블에서의 포인터를 사용할 수 있다. 캐시 메모리는 완료된 변환들을 저장한다.

Description

주변장치 상호연결에서 Ｉ/Ｏ 및 계산 오프로드 디바이스들을 위해 2-레벨 어드레스 변환을 사용하는 ＩＯＭＭＵ{IOMMU USING TWO-LEVEL ADDRESS TRANSLATION FOR I/O AND COMPUTATION OFFLOAD DEVICES ON A PERIPHERAL INTERCONNECT}
본 발명은 컴퓨터 시스템 분야에 관한 것으로, 특히 입력/출력(I/O) 디바이스를 위한 메모리 관리 유닛에 관한 것이다.
개인용 컴퓨터(Personal Computer, PC)들, 워크스테이션들, 서버들, 다양한 개인 휴대 정보 단말(Personal Digital Assistant, PDA) 디바이스들, 등을 포함하는 다양한 타입의 컴퓨터 시스템들이 현대 사회에서 아주 흔하게 사용된다. 전부는 아니더라도 대부분의 이러한 컴퓨터 시스템들은 메모리에 대한 프로세서 액세스를 위해 메모리 관리 기능을 구현하고 있다. 일반적으로, 메모리 관리 기능은, 다양한 메모리 보호(예를 들어, 판독 전용, 판독/기입, 특권 레벨 요건들 등)와 함께, 어드레스들을 각각의 프로세스에 의해 사용되는 가상 어드레스 공간으로부터 실제 시스템 메모리에 걸쳐있는 물리적 어드레스 공간으로 변환하는 것을 포함하고 있다. 메모리 관리 기능은 다양한 용도를 가지고 있는 바, 예를 들면, 각각의 프로세스에 의해 사용되는 메모리를 다른 프로세스들에 의한 비인증 액세스로부터 보호하는 것, 그리고 물리적 메모리 시스템이 크지 않을지라도 프로세스들에 의해 사용될 가상 공간은 크게 할 수 있는 것, 그리고 프로세스의 참여 없이, 이용가능한 물리적 메모리에 대한 가상 어드레스들의 재배치 등이 있다.
프로세서 어드레스들은 빈번하게 변환되지만, 컴퓨터 시스템에서의 입력/출력(I/O) 디바이스들에 의해 사용되는 어드레스들은 일반적으로 변환되지 않는다. 즉, I/O 디바이스들은 메모리에 액세스하기 위해 물리적 어드레스들을 사용한다. 대부분의 PC들과 같은 단일 운영 체계(Operating System, OS) 컴퓨터 시스템에서, OS는 다른 프로세스들(애플리케이션들 및 OS 서비스들)에 의한 I/O 디바이스들로의 액세스를 제어한다. 이에 따라, OS는 어떤 프로세스가 어떤 소정의 시점에서 소정의 디바이스에 액세스하는 지를 제어할 수 있고, 그리고 디바이스에 의해 액세스되는 어드레스들을 적어도 어느 정도 제어할 수 있다. 그러나, 이러한 메커니즘은, 다수의 게스트 OS들이 가상 머신 모니터 상에서 실행될 수 있는 가상 머신 시스템에서 더 복잡하고 번거롭게 된다. 추가적으로, 디바이스가 물리적 어드레스들을 사용하는 것은, 악성 디바이스(혹은 악성 소프트웨어 에이전트에 의해 프로그래밍된 디바이스)가 자유롭게 메모리에 액세스할 수 있기 때문에, 시스템의 전체적 보안을 감소시킨다.
가상 시스템에서, 많은 애플리케이션들은 가상 메모리에서 실행될 수 있고, 반면 I/O 디바이스들은 물리적 메모리에 액세스한다. 일부 시스템들에서, 가상 머신 관리자는 I/O 디바이스에 의해 사용될 어드레스들을 인터셉트(intercept)하고 변환할 수 있다. 그러나, 이러한 방법은 번거로울 수 있으며 명령이 집중될 수 있어 시스템 성능을 저하시킬 수 있거나 혹은 계산 오프로드 엔진(computational offload engine)과 같은 I/O 디바이스를 사용함으로써 획득되는 어떤 혜택들을 적어도 감소시킬 수 있다.
2-레벨 변환을 사용하는 IOMMU(Input/Output Memory Management Unit)의 다양한 실시예들이 개시된다. 일 실시예에서, 컴퓨터 시스템의 시스템 메모리에 대한 I/O 디바이스의 요청들을 제어하는 IOMMU는 제어 로직(control logic) 및 캐시 메모리(cache memory)를 포함한다. 제어 로직은 I/O 디바이스로부터의 요청에서 수신된 어드레스를 변환하도록 구성될 수 있다. 만약 프로세스 어드레스 공간 식별자(Process Address Space IDentifier, PASID) 프리픽스(prefix)를 갖는 트랜잭션 계층 프로토콜(Transaction Layer Protocol, TLP) 패킷(packet)이 요청에 포함되어 있다면, 제어 로직은 2-레벨 게스트 변환(two-level guest translation)을 수행하도록 구성된다. 요청에 PASID 프리픽스가 존재한다는 것은 수신된 어드레스가 게스트 가상 어드레스(Guest Virtual Address, GVA)임을 표시한다. 이에 따라, 2-레벨 게스트 변환을 수행하기 위해, 제어 로직은, 요청에서 수신된 어드레스를 변환하기 위해 게스트 페이지 테이블(guest page table)들의 세트에 액세스하도록 구성될 수 있다. 마지막 게스트 페이지 테이블에서의 포인터(pointer)는 네스티드 페이지 테이블(nested page table)들의 세트에서의 제 1 테이블을 가리킨다. 제어 로직은, 네스티드 페이지 테이블들의 세트에 액세스하여 시스템 메모리에서의 물리적 페이지에 대응하는 시스템 물리적 어드레스(System Physical Address, SPA)를 획득하기 위해 마지막 게스트 페이지 테이블에서의 포인터를 사용하도록 구성된다. 캐시 메모리는 완료된 변환들을 저장하도록 구성될 수 있고, 완료된 변환들은 후속 변환을 위해 사용될 수 있다.
도 1은 컴퓨터 시스템의 일 실시예의 하이 레벨 뷰(hige level view)의 블록도이다.
도 2는 컴퓨터 시스템의 또 다른 실시예의 블록도이다.
도 3은 도 1의 I/O 변환 테이블들의 세트의 일 실시예를 나타낸 도면이다.
도 4는 도 3에 제시된 디바이스 테이블에 대한 디바이스 테이블 엔트리의 일 실시예를 나타낸 도면이다.
도 5는 게스트 가상 어드레스 변환 메커니즘의 보다 상세한 양상을 나타낸 도면이다.
도 6은 도 1 내지 도 5에 제시된 컴퓨터 시스템의 실시예들의 동작을 설명하는 흐름도이다.
도 7은 프로세스 어드레스 공간 식별자(PASID) 프리픽스의 일 실시예를 나타낸 도면이다.
도 8a는 PCIe 상호연결에서의 사용을 위한 트랜잭션 계층 프로토콜(TLP) 패킷의 일 실시예를 나타낸 도면이다.
도 8b는 PCIe 상호연결에서의 사용을 위한 TLP PASID 프리픽스의 일 실시예를 나타낸 도면이다.
본 발명은 다양하게 수정될 수 있고 대안적 형태를 가질 수 있으며, 그 특정 실시예들이 도면에서 예시적으로 제공됨과 아울러 본 명세서에서 상세히 설명된다. 그러나, 이러한 도면 및 이에 대한 상세한 설명은, 본 발명을 이렇게 개시되는 특정 형태로 한정시키려는 것이 아니며, 이와는 반대로, 첨부되는 특허청구범위에 의해 정의되는 바와 같이 본 발명의 사상 및 범위 내에 있는 모든 수정물, 등가물, 및 대안물을 포괄하도록 하려는 것임을 이해해야 한다. "할 수 있다"라는 어구는 본 명세서 전반에 걸쳐 허용적 의미(즉, 가능성을 갖는다, 가능하다)로 사용되는 것이지 강제적 의미(즉, 반드시 그래야만 한다)로 사용되는 것이 아님에 유의해야 한다.
이제 도 1을 참조하면, 컴퓨터 시스템(10)의 일 실시예의 간략화된 하이 레벨 뷰를 나타낸 블록도가 제시된다. 예시된 실시예에서, 시스템(10)은 하나 또는 그 이상의 프로세서들(12), (하나 또는 그 이상의 변환 룩어사이드 버퍼(Translation Lookaside Buffer, TLB)들(16)을 포함하는) 메모리 관리 유닛(Memory Management Unit, MMU)(14), 메모리 제어기(Memory Controller, MC)(18), 메모리(20), (하나 또는 그 이상의 I/O TLB(IOTLB)들(24)을 포함할 수 있는) 하나 또는 그 이상의 I/O 디바이스들(22), 그리고 (테이블 워커(table walker)(28), 캐시(cache)(30), 제어 레지스터(control register)들(32), 및 제어 로직(control logic)(34)을 포함할 수 있는) I/O MMU(IOMMU)(26)를 포함한다. 프로세서들(12)은 MMU(14)에 결합되고, MMU(14)는 메모리 제어기(18)에 결합된다. I/O 디바이스들(22)은 IOMMU(26)에 결합되고, IOMMU(26)는 메모리 제어기(18)에 결합된다. IOMMU(26) 내에는, 테이블 워커(28), 캐시(30), 제어 레지스터들(32), 및 제어 유닛(34)이 함께 결합되어 있다.
이후 더 설명되는 바와 같이, IOMMU(26)는 시스템(10)에서의 가상화를 간략하게 하기 위해 다양한 특징들을 포함할 수 있다. 아래에서 설명되는 것은, 가상 머신(virtual machine)들(이들은 기반이 되는 하드웨어 상에서 자신들의 실행을 스케쥴링함)을 관리하는 것, 다양한 시스템 리소스(system resource)들에 대한 액세스를 제어하는 것 등을 수행하는 가상 머신 모니터(Virtual Machine Monitor, VMM)에 관한 것이다. VMM들은 또한, 때때로 하이퍼바이저(hypervisor)들로 불리기도 함에 유의해야 한다. 예시된 실시예에서, 프로세서(들)(12)는 가상화된 환경에서 소프트웨어를 실행시킨다. 이에 따라, 세 개의 가상 머신들(100A, 100B, 및 100C)(예를 들어, VM 게스트 1 내지 3) 및 VMM(106)이 도시되어 있다. 소정의 실시예에서의 가상 머신들의 수는 달라질 수 있고, 그리고 가상 머신들이 사용자에 의해 개시 및 정지되는 그 사용 동안 동적으로 변할 수 있다. 예시된 실시예에서, 가상 머신(100A)은 하나 또는 그 이상의 게스트 애플리케이션들(102) 및 게스트 운영 체계(Operating System, OS)(104)를 포함한다. OS(104)는 "게스트(guest)" OS로 불리는 데, 왜냐하면 OS(104)가, 시스템(10)의 물리적 하드웨어가 아닌, VMM(106)에 의해 OS(104)용으로 생성된 가상 머신을 제어하기 때문이다. 유사하게, VM(100B)과 VM(100C) 각각도 또한, 하나 또는 그 이상의 게스트 애플리케이션들 및 게스트 OS를 포함할 수 있다.
일반적으로, 가상 머신들에서의 애플리케이션들은 게스트 가상 어드레스 공간을 사용하는바, 이에 따라 게스트 가상 어드레스(Guest Virtual Addresses, GVA)를 사용한다. 각각의 가상 머신에서의 게스트 OS는 가상 머신에서 GVA 대 GPA(Guest "Physical" Addresses, 게스트 "물리적" 어드레스) 맵핑(mapping)을 관리할 수 있다. 만약 게스트 OS가 VMM 없이 시스템(10) 하드웨어 상에서 직접 실행되고 있다면, 게스트 OS에 의해 발생된 물리적 어드레스는 실제로, 시스템(10)에서의 메모리 위치들의 시스템 물리적 어드레스(System Physical Addresses, SPA)일 것이다. 그러나, 가상 머신 환경에서, VMM(106)은 GPA로부터 SPA로의 맵핑을 관리할 수 있다. 따라서, 프로세서(12)가 메모리 요청들을 수행할 때, 게스트 OS(104)는 GVA 대 GPA 맵핑(이것은 VMM(106)에 의해 SPA로 더 맵핑될 수 있음)을 관리할 수 있다.
도 1에 예시된 바와 같이, I/O 디바이스들(22)로부터 메모리(20)로의 경로는 프로세서들(12)로부터 메모리(20)로의 경로로부터 적어도 부분적으로 분리되어 있다. 구체적으로, I/O 디바이스들(22)로부터 메모리(20)로의 경로는 MMU(14)을 통과하지 않으며, 대신에 IOMMU(26)를 통과한다. 이에 따라, MMU(14)는 I/O 디바이스들(22)로부터 나오는 메모리 요청들에 대해 메모리 관리를 제공할 수 없다. 일반적으로, 메모리 관리는 일 타입의 가상 어드레스(즉, 소프트웨어에 의해 사용될 수 있는 어드레스)를 물리적 어드레스(즉, 메모리 제어기에 의해 사용될 수 있는 어드레스)로 변환하는 어드레스 변환을 포함할 수 있다. 메모리 보호는, 특권 레벨 요건(privilege level requirements), 캐시가능성(cacheability) 및 캐시 제어(cache controls)(예를 들어, 라이트쓰루(writethrough) 혹은 라이트백(writeback)), 코히어런스(coherency) 등과 같은 다양한 다른 속성들과 함께, 어느 정도의 구분단위(예를 들어, 페이지)에서 메모리에 대한 판독 및/또는 기입 액세스를 제어할 수 있다. 임의 세트의 메모리 보호들은 다양한 실시예들에서 구현될 수 있다. 일부 실시예들에서, IOMMU(26)에 의해 구현되는 메모리 보호는 적어도 어떤 측면에 있어서, MMU(14)에 의해 구현되는 메모리 보호와는 다를 수 있다. 일 실시예에서, IOMMU(26)에 의해 구현되는 메모리 보호는, (비록 설명의 편의를 위해 도 1에서는 개별적으로 도시되었지만) IOMMU(26) 및 MMU(14)에 의해 사용되는 변환 데이터를 저장하는 변환 테이블들이 공유될 수 있도록, 정의될 수 있다. 아래에서 더 설명되는 바와 같이, 변환 테이블 정보를 공유하는 일부 실시예들에서, 특권이 변하는 경우와 같이 특정 페이지가 프롬프트(prompt)될 때, 현재 신뢰할 수 없는 변환 페이지 테이블들을 업데이트하기 위해 테이블 리워크(table re-walk)가 필요할 수 있다. 다른 실시예들은, 필요에 따라, IOMMU(26)와 MMU(14) 간에 변환 테이블들을 공유하지 않을 수 있다.
일반적으로, I/O 디바이스들(22)은 메모리(20)에서의 메모리 위치에 액세스하기 위해 메모리 요청들(예를 들어, 메모리 판독 및 기입 요청들)을 발행하도록 구성될 수 있고, 일부 경우에 있어서는 변환 요청들을 발행하도록 구성될 수 있다. 메모리 요청들은 예를 들어, 직접 메모리 액세스(Direct Memory Access, DMA) 판독 혹은 기입 동작의 일부일 수 있다. DMA 동작은, 이러한 DMA 동작의 수행을 위해 I/O 디바이스들(22)을 직접적으로 또는 간접적으로 프로그래밍하는, 프로세서들(12)에 의해 실행되는 소프트웨어로 개시될 수 있다. 프로세서 상에서 실행되는 소프트웨어가 실행되고 있는 어드레스 공간에 따라, I/O 디바이스들(22)에는 메모리(20)에 액세스하기 위한 그 어드레스 공간에 대응하는 어드레스들이 제공될 수 있다. 예를 들어, 프로세서(12) 상에서 실행되는 게스트 애플리케이션(예를 들어, App(102))은 I/O 디바이스(22)에 GVA들을 제공할 수 있고, 프로세서(12) 상에서 실행되는 게스트 OS(예를 들어, OS(104))는 I/O 디바이스들(22)에 GPA들을 제공할 수 있다. 어느 경우에나, I/O 디바이스(22)가 메모리 액세스를 요청할 때, 게스트 어드레스들은 메모리 액세스를 위해 IOMMU(26)에 의해 대응하는 시스템 물리적 어드레스들(SPA)로 변환될 수 있고, 그리고 시스템 물리적 어드레스들은 액세스를 위해 메모리 제어기(18)에 제공될 수 있다. 즉, IOMMU(26)는 SPA에 대한 요청에서의 그 수신된 어드레스를 변경(즉, 변환)하기 위해 I/O 디바이스들(22)로부터 나오는 메모리 요청들을 수정할 수 있고, 그리고 메모리 요청은 메모리(20) 액세스를 위해 메모리 제어기(18)에 전달될 수 있다.
다양한 실시예에서, IOMMU(26)는, I/O 디바이스로부터 수신한 어드레스의 타입에 따라, 1-레벨 변환, 2-레벨 변환, 혹은 무변환을 제공할 수 있다. 특히, IOMMU(26)는 1-레벨 네스티드 변환(one-level nested translations) 혹은 2-레벨 게스트 변환(two-level guest translations)을 수행할 수 있다. 다시 말하면, IOMMU(26)는 GPA 대 SPA 변환(1-레벨)과 GVA 대 SPA 변환(2-레벨) 양쪽 모두를 제공할 수 있다. 따라서, 앞에서 언급된 바와 같이, 게스트 애플리케이션은 메모리 액세스가 요청될 때 I/O 디바이스에 GVA 어드레스를 직접 제공할 수 있고, 이에 따라 종래의 VMM 인터셉션(interception) 및 변환은 불필요하게 된다. 이러한 기능은 계산 오프로드(compute offload), 사용자 레벨 I/O, 및 가속화된 I/O 디바이스들과 같은 고급 계산 아키텍처(advanced computation architecture)들이 가상화 시스템에서 더 심리스(seamless)하게 사용될 수 있게 할 수 있다. 비록 1-레벨 변환, 2-레벨 변환, 무변환이 설명되었지만, 다른 실시예들에서는 어드레스 공간의 추가적인 레벨들의 사용이 고려될 수 있음에 유의해야 한다. 이러한 실시예들에서, 추가적인 변환 레벨들(즉, 복수레벨 변환들)은 추가적인 어드레스 공간들을 수용하기 위해 IOMMU(26)에 의해 수행될 수 있다.
아래에서 더 상세히 설명되는 바와 같이, IOMMU(26)는 소정의 요청에서 어떤 타입의 어드레스를 수신하고 있는지를 인식하는 방법을 가지고 있어야 한다. 이에 따라, PCI 익스프레스(PCI express, PCIe) 상호연결들과 같은 표준 주변장치 버스(standard peripheral bus)들을 통해 I/O 디바이스들이 IOMMU(26)에 결합되는 실시예들에서, 예를 들어, 프로세스 어드레스 공간 식별자(PASID)가 트랜잭션 계층 프로토콜(TLP) 프리픽스를 사용하여 IOMMU(26)에 전송될 수 있다.
IOMMU(26)는, I/O 디바이스들(22)로부터의 변환 요청들 및 메모리의 어드레스들을 변환하기 위해, 메모리(20)에 저장된 I/O 변환 테이블들(36)의 하나 또는 그 이상의 세트들과 같은 다수의 데이터 구조들을 사용할 수 있다. 일반적으로, 변환 테이블들은 일 타입의 어드레스를 다른 타입의 어드레스로 변환하기 위해 사용될 수 있는 변환 데이터의 테이블들일 수 있다. 변환 테이블들은 임의의 방식으로 변환 데이터를 저장할 수 있다. 예를 들어, 일 실시예에서, I/O 변환 테이블들(36)은 x86 및 AMD64™ 명령 세트 아키텍처에서 정의된 것과 유사한 페이지 테이블들을 포함할 수 있다. 변환 레벨에 따라, 게스트 가상 어드레스 비트들 혹은 게스트 물리적 어드레스의 다양한 서브세트들이 테이블들의 레벨들을 인덱싱(indexing)하기 위해 사용될 수 있고, 그리고 각각의 레벨은 변환의 끝일 수 있거나(즉, 변환을 위해 실제 페이지 번호를 저장하는 것), 혹은 (어드레스 비트들의 또 다른 세트에 의해 인덱싱된) 또 다른 테이블을 가리킬 수 있다. 페이지는 변환의 단위일 수 있다(즉, 가상 페이지에서의 각각의 어드레스는 동일한 물리적 페이지로 변환됨). 페이지들은 4 킬로바이트(kilobytes)로부터 최대 메가바이트(Megabytes)까지 혹은 심지어 기가바이트(Gigabytes)까지 다양한 크기를 가질 수 있다.
추가적으로, I/O 변환 테이블들(36)은 I/O 디바이스들을 페이지 테이블들의 세트들로 (예를 들어, 디바이스 식별자들에 의해) 맵핑하는 (도 3에 도시된) 디바이스 테이블을 포함할 수 있다. 디바이스 식별자(ID)는 다양한 방식으로 정의될 수 있고, 그리고 디바이스가 부착된 주변장치 상호연결에 따라 달라질 수 있다. 예를 들어, PCI(Peripheral Component Interconnect) 디바이스들은 BDF(Bus number(버스 번호), Device number(디바이스 번호), 및 Function number(함수 번호))로부터 디바이스 ID를 형성할 수 있다. 하이퍼트랜스포트(HyperTransport™, HT) 디바이스들은 디바이스 ID를 형성하기 위해 버스 번호 및 유닛 ID를 사용할 수 있다. 아래에서 더 설명되는 바와 같이, 디바이스 테이블은 디바이스 ID에 의해 인덱싱된 복수의 엔트리들을 포함할 수 있고, 그리고 각각의 엔트리는, (대응하는 디바이스 ID를 갖는) 디바이스에 의해 사용되는 페이지 테이블들의 세트에 대한 포인터를 포함할 수 있다. 추가적으로, I/O 디바이스가 프로세스에 직접 할당되는 경우 혹은 사용자 프로세스와 동일한 어드레스 공간에서 계산을 실행할 수 있는 경우에, 프로세스 어드레스 공간은, 메모리 격리 보호(memory isolation protections)의 실시를 위해, 식별되어 IOMMU(26)에 제공된다. 일부 실시예들에서, 디바이스 테이블은 또한, 디바이스의 인터럽트(interrupt)들을 리맵핑(remapping)하기 위해 (도 3에 도시된) 인터럽트 리맵핑 테이블(interrupt remapping table)에 대한 포인터를 포함할 수 있다. 따라서, 일반적으로, GVA 혹은 GPA로부터 SPA로의 변환은 하나 또는 그 이상의 변환 테이블들에서의 하나 또는 그 이상의 엔트리들에 저장될 수 있고, 엔트리들의 일부는 다른 변환들과 공유될 수 있다. 엔트리로부터 엔트리로 테이블들을 트래버싱(traversing) 혹은 "워킹(walking)"하는 것은 가상 어드레스를 위한 변환을 식별하는 것의 일부일 수 있다. 일 실시예에서, 변환 테이블들(36)은 앞에서 언급된 인터럽트 리맵핑 테이블을 포함할 수 있다.
구체적으로 살펴보면, 도 1에 예시된 IOMMU(26)는 소정의 메모리 요청에 대한 변환을 위해 I/O 변환 테이블들(36)을 검색하기 위한 테이블 워커(table walker)(28)를 포함할 수 있다. 테이블 워커(28)는, 변환 테이블들(36)로부터 변환 데이터를 판독하기 위해 메모리 요청들(예를 들어, 판독 메모리 요청들)을 발생시킬 수 있다. 변환 테이블 판독은 도 1에서 점선으로 된 화살표(38 및 40)로 제시되어 있다.
보다 더 빠른 변환이 용이하도록, IOMMU(26)는 일부 변환 데이터를 캐시할 수 있다. 예를 들어, 캐시(30)는 TLB와 유사한 캐시 형태일 수 있는바, 이것은 이전 변환의 결과를 캐시하고, 게스트 가상 및 게스트 물리적 페이지 번호들을 시스템 물리적 페이지 번호들 및 대응하는 변환 데이터로 맵핑한다. 만약 소정의 메모리 요청에 대한 변환이 캐시(30)에서 발견되지 않는다면, 테이블 워커(28)가 호출될 수 있다. 다양한 실시예들에서, 테이블 워커(28)는 하드웨어에서 구현될 수 있거나, 또는 마이크로제어기 혹은 다른 프로세서에서 구현될 수 있으며, 그리고 (예를 들어, IOMMU(26)의 판독전용 메모리(Read-Only Memory, ROM)에서의) 대응하는 실행 코드로 구현될 수 있다. 추가적으로, 페이지 테이블들 혹은 그 일부 그리고/또는 디바이스 테이블들 혹은 그 일부를 캐시하기 위해 다른 캐시들이 캐시(30)의 일부로서 포함될 수 있다. 이에 따라, IOMMU(26)는, 메모리(20)에 저장된 변환 데이터로부터 판독되거나 얻어지는 변환 데이터를 저장하기 위해 하나 또는 그 이상의 메모리들을 포함할 수 있다.
제어 로직(34)은, 소정의 메모리 요청에 대한 변환의 히트(hit)/미스(miss)를 검출하기 위해 캐시(30)에 액세스하도록 구성될 수 있고, 그리고 테이블 워커(28)를 호출할 수 있다. 제어 로직(34)은 또한, I/O 디바이스로부터의 메모리 요청을 변환된 어드레스로 수정하도록 구성될 수 있고, 그리고 이 요청을 메모리 제어기(18)에 업스트림으로 전달하도록 구성될 수 있다. 추가적으로, 제어 로직(34)은 제어 레지스터들(32)에 프로그래밍된 대로, IOMMU(26)에서의 다양한 기능을 제어할 수 있다. 예를 들어, 제어 레지스터들(32)은, 본 실시예에서, IOMMU(26)에 제어 커맨드들을 전달하기 위해 메모리 관리 소프트웨어에 대한 커맨드 큐(command queue)(42)가 될 메모리의 영역을 정의할 수 있다. 제어 로직(34)은 커맨드 큐(42)로부터 제어 커맨드들을 판독하고 제어 커맨드들을 실행하도록 구성될 수 있다. 유사하게, 제어 레지스터들(32)은 이벤트 로그 버퍼(event log buffer)(44)가 될 메모리의 또 다른 영역을 정의할 수 있다. 제어 로직(34)은 다양한 이벤트들을 검출할 수 있고, 이들을 이벤트 로그 버퍼(44)에 기입할 수 있다. 이벤트들은 IOMMU(26)의 변환들 및/또는 다른 기능들에 관해 제어 로직(34)에 의해 검출된 다양한 에러들을 포함할 수 있다. 제어 로직(34)은 또한, IOMMU(26)의 다른 특징들을 구현할 수 있다.
I/O 디바이스들(22)은, 컴퓨터 시스템(10)과 다른 디바이스들 간의 통신을 수행하고, 컴퓨터 시스템(10)에 휴먼 인터페이스(human interface)를 제공하고, 저장소(예를 들어, 디스크 드라이브(disk drive)들, 콤팩트 디스크(Compact Disc, CD) 혹은 디지털 비디오 디스크(Digital Video Disc, DVD) 드라이브들, 솔리드 스테이브 스토리지(solid state storage) 등)를 제공하고, 그리고/또는 컴퓨터 시스템(10)에 증진된 기능을 제공하는, 임의의 디바이스들을 포함할 수 있다. 예를 들어, I/O 디바이스들(22)은, 네트워크 인터페이스 카드, 통합 네트워크 인터페이스 기능, 모뎀, 비디오 가속기, 오디오 카드 혹은 통합 오디오 하드웨어, 하드 혹은 플로피 디스크 드라이브, 또는 드라이브 제어기, (키보드, 마우스, 태블릿 등과 같은) 사용자 입력 디바이스에 인터페이싱하는 하드웨어, 비디오 디스플레이용 비디오 제어기, 프린터 인터페이스 하드웨어, (PCI, PCIe, PCI-X, USB, 파이어와이어(firewire), SCSI(Small Computer Systems Interface) 등과 같은) 하나 또는 그 이상의 주변장치 인터페이스에 대한 브리지(bridges), 사운드 카드, 그리고 (GPIB 혹은 필드 버스 인터페이스 카드(field bus interface cards) 등과 같은) 다양한 데이터 획득 카드 중 하나 혹은 그 이상을 포함할 수 있다. "주변 디바이스(peripheral device)"라는 용어는 또한, 어떤 I/O 디바이스들을 설명하는데 사용될 수 있다.
일부 경우에 있어서, I/O 디바이스들(22) 중 하나 혹은 그 이상은 IOTLB들(24)과 같은 IOTLB 및/또는 MMU(예를 들어, 도 2의 프라이빗(Private) MMU(23D))를 포함할 수 있다. 이러한 IOTLB들은, 이들이 IOMMU(26) 외부에 있기 때문에, "원격(remote) IOTLB들"로서 불릴 수 있다. 이러한 경우에, 이미 변환된 어드레스들은 특정 방식으로 마크(mark)될 수 있고, 이에 따라 IOMMU(26)는 메모리 요청을 다시 변환하려고 하지 않는다. 일 실시예에서, 변환된 어드레스들은 간단히 "사전변환된(pretranslated)" 것으로서 마크될 수 있다.
메모리 제어기(18)는 메모리(20)와 시스템(10)의 나머지 간의 인터페이싱을 위해 설계된 임의의 회로를 포함할 수 있다. 메모리(20)는 하나 또는 그 이상의 RAMBUS DRAM(RDRAM)들, 동기식 DRAM(Synchronous DRAM, SDRAM)들, DDR SDRAM, 스태틱(static) RAM 등과 같은 임의의 반도체 메모리를 포함할 수 있다. 메모리(20)는 시스템에 분산될 수 있고, 따라서 복수의 메모리 제어기들(18)이 존재할 수 있다.
MMU(14)는 프로세서(12)에서 나오는 메모리 요청들을 위해 메모리 관리 유닛을 포함할 수 있다. MMU는 테이블 워크 기능(table walk functionality)뿐만 아니라 TLB들(16)을 포함할 수 있다. MMU(14)에 의해 변환이 수행될 때, MMU(14)는 CPU 변환 테이블들(50)에 변환 메모리 요청들(예를 들어, 도 1에서 점선으로 된 화살표(46 및 48)로 도시됨)을 발생시킬 수 있다. CPU 변환 테이블들(50)은, 프로세서들(12)에 의해 구현되는 명령 세트 아키텍처에서 정의된 바와 같이, 변환 데이터를 저장할 수 있다.
프로세서들(12)은 임의의 원하는 명령 세트 아키텍처를 구현하는 임의의 프로세서 하드웨어를 포함할 수 있다. 일 실시예에서, 프로세서들(12)은 x86 아키텍처를 구현하며, 특히 AMD64™ 아키텍처를 구현한다. 다양한 실시예들이 슈퍼파이프라인(superpipeline)될 수 있고 그리고/또는 슈퍼스칼라(superscalar)일 수 있다. 하나 이상의 프로세서(12)를 포함하는 실시예들이 개별적으로 구현될 수 있거나, 혹은 칩 멀티프로세서(Chip MultiProcessors, CMP)로서 구현될 수 있고, 그리고/또는 칩 멀티쓰레드(Chip MultiThreaded, CMT)로서 구현될 수 있다.
시스템(10)은 시스템의 하이 레벨 기능을 예시하는바, 실제 물리적 구현은 많은 형태를 취할 수 있다. 예를 들어, MMU(14)는 각각의 프로세서(12)에 공통적으로 통합된다. 메모리(20)가 제시되는 경우, (메모리 어드레스 공간이, 물리적으로 개별의 메모리 제어기들에 결합된 복수의 물리적으로 개별의 메모리들로 맵핑되는) 일부 실시예들에서, 메모리 시스템은 분산형 메모리 시스템일 수 있다. IOMMU(26)는 I/O에서 나오는 메모리 요청들과 메모리(20) 간의 경로를 따라 어느 곳이든 위치할 수 있고, 하나 이상의 IOMMU가 존재할 수 있다. 또한, IOMMU들은 시스템의 서로 다른 부분에서 서로 다른 지점에 위치할 수 있다.
도 2는 프로세서 노드들 간에 하이퍼트랜스포트(HyperTransport™, HT) 코히어런트 링크들(61)을 사용하고 프로세서 노드들과 I/O 디바이스들 간에 HT I/O 링크들(예를 들어, 70A 및 70B)을 사용하는 시스템의 실시예의 일 예이다. 특히, 일 실시예에서, 다른 주변장치 상호연결들로의 브리지를 행하는 HT I/O 링크들(예를 들어, 71A)이 I/O 허브(hub)들과 I/O 디바이스들 간에 사용될 수 있다. 추가적으로, 임의의 다른 코히어런트 상호연결이 프로세서 노드들 간에 사용될 수 있고, 그리고/또는 임의의 다른 I/O 상호연결이 프로세서 노드들과 I/O 디바이스들 간에 사용될 수 있다. 예를 들어, I/O 링크들(71B, 71C 및 71D)은 다양한 실시예들에서 PCIe 링크들일 수 있다. 더욱이, 또 다른 예는 노스브리지(Northbridge)에 결합되는 프로세서들을 포함할 수 있는바, 이것은 종래 PC 설계에 있어서 메모리 및 하나 혹은 그 이상의 I/O 상호연결들에 또한 결합된다.
도 2에 도시된 실시예를 참조하면, 시스템(10a)은 프로세싱 노드들(60A-60B)을 포함하는바, 이들은 MMU들(14A-14B)을 또한 포함하는 프로세서들(12A-12B)을 각각 포함한다. 프로세서 노드들(60A-60B)은 또한 메모리 제어기들(18A-18B)을 포함한다. 프로세서들(12A-12B) 각각은 앞에서 언급된 바와 같이 프로세서(12)의 예일 수 있다. 유사하게, MMU들(14A-14B)과 메모리 제어기들(18A-18B) 각각은 도 1에 제시된 MMU(14)와 메모리 제어기(18)의 예들일 수 있다. 예시된 실시예에서, MMU 기능은 프로세서에 통합된다.
시스템(10a)은 메모리들(20A-20B)을 포함하는 분산형 메모리 시스템을 포함한다. 시스템 물리적 어드레스 공간은 메모리들(20A-20B)에 걸쳐 분산될 수 있다. 이에 따라, 소정의 어드레스를 특정하는 소정의 메모리 요청은 그 소정의 어드레스가 할당된 메모리(20A 혹은 20B)에 결합되는 메모리 제어기(18A 혹은 18B)에 라우팅된다.
I/O 디바이스들(예를 들어, 도 2에 예시된 바와 같이, I/O 허브들(62A-62B)에 결합된 I/O 디바이스들(22A-22D))로부터의 메모리 요청들은, 그 요청을 서비스할 메모리 제어기(18A-18B)에 도착하기 위해서 모두 동일한 경로를 취하지 않을 수 있다. 예를 들어, I/O 디바이스들(22A-22B)은 I/O 허브(62A)에 메모리 요청들을 전송할 수 있고, I/O 허브(62A)는 이 요청들을 프로세싱 노드(60A)에 전송한다. 만약 소정의 메모리 요청의 어드레스가 메모리(20B)에 할당된다면, 프로세싱 노드(60A)는 그 소정의 메모리 요청을 프로세싱 노드(60B)에 전송할 수 있고, 이에 따라 메모리 제어기(18B)는 이 요청을 수신하고 처리할 수 있다. I/O 디바이스들(22C-22D)은 메모리 요청을 I/O 허브(62B)에 전송할 수 있고, I/O 허브(62B)는 이 요청을 프로세싱 노드(60B)에 전송할 수 있다. 만약 소정의 메모리 요청의 어드레스가 메모리(20A)에 할당된다면, 프로세싱 노드(60B)는 소정의 메모리 요청을 프로세싱 노드(60A)에 전송할 수 있다.
IOMMU는 I/O에서 나오는 메모리 요청들과 메모리(20) 간의 경로를 따라 어느 곳이든 위치할 수 있다. 예시된 실시예에서, IOMMU들(26A-26B)은 I/O 허브들(62A-62B)에 포함된다. 따라서, 대응하는 허브에 결합된 I/O 디바이스에서 나오는 임의의 메모리 요청은 I/O 허브에서의 IOMMU에 의해 변환될 수 있다. 다른 실시예들에서 IOMMU는, I/O 디바이스들에서의 IOTLB들로부터 프로세싱 노드들(60A-60B) 내의 IOMMU들에 이르기까지, 혹은 심지어 메모리 제어기들(18A-18B)에서의 IOMMU들에 이르기까지, 상이한 장소에 위치할 수 있다. 또한, IOMMU들은 시스템의 상이한 부분에서 서로 다른 지점에 위치할 수 있다. 예를 들어, 일부 실시예들에서, I/O 디바이스들은 도시된 바와 같이 로컬 메모리(24D)를 포함할 수 있는 디바이스들일 수 있다. 따라서, I/O 디바이스(22D)는 또한, 로컬/프라이빗 MMU(23D)를 포함한다.
도 3을 참조하면, I/O 변환 테이블들(36)의 일 실시예를 나타낸 도면이 제시된다. 구체적으로, I/O 변환 테이블들(36)은 디바이스 테이블(36A), 인터럽트 리맵핑 테이블(36B), 및 I/O 페이지 테이블들의 두 세트(예를 들어, 36C 및 36D)를 포함할 수 있다. 도 3에는 또한, 제어 레지스터들(32) 중 하나(제어 레지스터(32A))가 도시된다. 제어 레지스터(32A)는 디바이스 테이블(36A)의 베이스 어드레스(base address)를 저장할 수 있다.
디바이스 테이블(36A)은 디바이스에 할당된 디바이스 ID에 의해 인덱싱된 복수의 엔트리들을 포함한다. 따라서, 소정의 디바이스는 디바이스 테이블(36A)에서의 엔트리들 중 하나에 대응한다(만약 디바이스가 복수의 디바이스 ID들을 갖지 않는다면, 혹은 디바이스가 브리지 디바이스에서 다른 것들과 함께 합쳐진 트래픽(traffic)을 갖지 않고 트래픽이 브리지의 디바이스 ID 하에서 전송되지 않는다면). 디바이스 테이블 엔트리는 다양한 데이터를 포함할 수 있다. 예시적인 디바이스 테이블 엔트리(325)의 일부가 도 4에 제시되고, 이하에서 상세히 설명된다.
소정의 디바이스 테이블 엔트리(325)는 I/O 페이지 테이블들(36C 및 36D)에 대한 포인터(이것은 화살표 301 및 302로 표시됨)를 포함할 수 있다. 이 포인터는 I/O 페이지 테이블들(36C 및 36D)에서의 변환 검색을 위한 시작 포인트인 페이지 테이블을 가리킬 수 있다. 도시된 바와 같이, 시작 페이지 테이블은, 앞에서 언급된 바와 같이, 계층적 방식으로, 다른 페이지 테이블들에 대한 포인터들을 포함할 수 있다. 이하에서 더 설명되는 바와 같이, 구현되는 변환 프로세스에 따라서, 일부 테이블들은 PASID에 의해 인덱싱될 수 있고, 다른 테이블들은 게스트 가상 어드레스 혹은 변환될 게스트 물리적 어드레스의 다양한 비트들을 사용하여 인덱싱될 수 있다.
디바이스 테이블 엔트리(325)는 또한, (화살표 304로 표시되는) 인터럽트 리맵핑 테이블(36B)에 대한 포인터를 포함할 수 있다. 인터럽트 리맵핑 데이터는, 인터럽트 요청이 디바이스에 의해 전송되는 경우 사용될 수 있고, 그리고 인터럽트 ID에 의해 인덱싱될 수 있다. 인터럽트 ID는, 요청된 인터럽트를 식별하는 데이터를 포함할 수 있고, 그리고 인터럽트 요청을 전송하기 위해 사용되는 메커니즘에 근거하여 변할 수 있다.
하나의 디바이스 테이블(36A)이 도시되었지만 복수의 디바이스 테이블들이 필요한 경우 유지될 수 있음에 유의해야 한다. 제어 레지스터(32A)에서의 디바이스 테이블 베이스 어드레스는 다른 디바이스 테이블들을 가리키기 위해 변경될 수 있다. 더욱이, 디바이스 테이블들은, 앞에서 설명된 페이지 테이블들과 유사하게, 필요한 경우, 계층구조일 수 있다. 유사하게, 하나의 인터럽트 리맵핑 테이블(36B)이도시되었지만, 복수의 인터럽트 맵핑 테이블들(예를 들어, 디바이스 테이블(36A)에서 엔트리당 최대 하나)이 존재할 수 있다. 또한, 페이지 테이블들의 복수의 세트들(예를 들어, 디바이스 테이블(36A)에서 엔트리당 최대 하나)이 존재할 수 있다. 비록 서로 독립적일지라도, 다른 실시예들은 인터럽트 리맵핑 기능 없이 I/O 변환 기능을 구현할 수 있음에 유의해야 한다.
예시된 실시예에서, I/O 변환 테이블들(36C 및 36D)은 1-레벨 및 2-레벨 게스트 변환들의 다양한 결합을 지원할 수 있다. 점선을 표시된 바와 같이, 변환이 게스트(즉, 2-레벨) 변환(점선으로 표시됨)인 경우, 화살표(301)로 시작하는 경로를 따른다. 그러나, 게스트 변환이 유효하지 않은 경우라면, 화살표(302)로 시작하는 실선 경로를 따른다.
특히, GVA를 포함하는 변환 요청 혹은 메모리 액세스 요청이 I/O 디바이스로부터 수신되는 경우, 이 요청의 디바이스 ID에 대응하는 디바이스 테이블 엔트리가 액세스된다. 특히, 정의상, GVA를 발행하는 I/O 디바이스는 PASID 프리픽스를 포함함으로써 그 GVA를 표시하고, GPA를 발행하는 I/O 디바이스는 PASID 프리픽스를 제외함으로써 그 GPA를 표시한다. 도 5의 설명과 함께 아래에서 더 상세히 설명되는 바와 같이, GCR3 테이블(307)의 베이스 어드레스에 대한 SPA 포인터(예를 들어, 301)가 사용되고, 그리고 PASID는 소정의 디바이스에서 실행되는 하나 혹은 그 이상의 프로세스들 간을 구분하기 위해 GCR3 테이블(307)에 대한 인덱싱을 위해 사용될 수 있다. GCR3 테이블(307) 내의 엔트리는 GCR3 페이지 테이블(311)의 베이스에 대한 GPA 포인터를 포함할 수 있다. 그러나, 테이블들에서의 이러한 GPA 및 모든 후속 GPA 포인터들은, 예를 들어, 메모리에서의 그 다음 페이지 테이블에 액세스하기 위해, 테이블들(333 및 335)과 같은 페이지 테이블들의 세트 및 변환 로직을 사용하여 SPA로 변환될 수 있다. 이러한 변환 메커니즘이 도 3에서 GPA/SPA 변환 유닛들(309A, 309B, 309C 및 309D)로 나타나 있다. 요청의 GVA의 비트들 중 일부는 GCR3 페이지 테이블(311)에 대한 인덱싱을 위해 사용될 수 있다. 일 실시예에서, 311에서의 대응하는 엔트리는 페이지 맵 레벨 4(Page Map Level four, PML4) 페이지 테이블(313)의 베이스에 대한 GPA 포인터를 포함할 수 있다. 네스티드 페이지 테이블들 각각에서의 후속하는 어드레스들은 또한, 그 다음 테이블의 베이스 어드레스를 가리키는 GPA들일 수 있고, 또는 마지막 테이블(예를 들어, 315)의 경우, 엔트리는 물리적 메모리 페이지에 대한 GPA 포인터를 포함할 수 있다. 이러한 테이블들(예를 들어, 313, 315) 각각은 또한, I/O 요청의 GVA에 의해 인덱싱될 수 있다. GVA의 일부(예를 들어, 마지막 몇 개의 비트들)와 메모리(317)에서의 물리적 페이지의 SPA를 연결(concatenate)시킴으로써 최종 변환(SPA)이 획득될 수 있다.
따라서, 게스트 변환 테이블과 네스티드 변환 테이블 양쪽 모두가 2-레벨 게스트 변환에서 사용될 수 있다. 그러나, 만약 GPA가 I/O 디바이스에 의해 제공된다면, 호스트 변환 페이지 테이블들(36D)의 베이스 어드레스를 제공하는 포인터(302)를 사용함으로써 1-레벨 변환이 수행될 수 있다. 특히, 디바이스 테이블 엔트리에서의 게스트 정보는 무시되고, 그리고 (도 4에 제시된) 엔트리 정보를 라우팅하는 다른 페이지 테이블은, 대응하는 호스트 변환 페이지 테이블들에 액세스하기 위해 사용될 수 있다. 변환의 다양한 레벨에서, GPA의 비트들의 서로 다른 서브세트들은 각각의 연속하는 페이지 테이블에 대한 인덱싱을 위해 사용될 수 있다. 구체적으로, 포인터(302)는 PML4 페이지 테이블(333)의 베이스에 대한 SPA 포인터일 수 있다. 게스트 테이블들(36C)과는 대조적으로, 호스트 페이지 테이블들(36D)에서의 각각의 포인터는 그 다음 테이블의 베이스를 가리키는 SPA일 수 있다. PML4 페이지 테이블(333) 내의 GPA에 의해 인덱싱된 엔트리는 PML3/2 페이지 테이블(335)의 베이스에 대한 SPA 포인터를 포함한다. 실제 페이지 테이블 레벨(즉, 3 또는 2)에 따라, 테이블(335)의 엔트리에서의 포인터는 그 다음 테이블에 대한 SPA 포인터일 수 있거나 물리적 메모리 페이지(337)의 SPA일 수 있다. 따라서, GPA의 일부(예를 들어, 마지막 몇 개의 비트들)와 메모리(337)에서의 물리적 페이지의 SPA를 연결시킴으로써 최종 변환(SPA)이 획득될 수 있다.
메모리 격리를 보존하기 위해, 일 실시예에서, 각각의 후속 페이지 테이블에 액세스하는 경우, 허가(permission)들이 점검될 수 있으며, 그리고 만약 허가 불일치가 존재한다면, 혹은 페이지가 존재하지 않는다면, IOMMU(26)는 변환 및/또는 검색(lookup)을 중단시킬 수 있고, 그리고 페이지 폴트(page fault)를 내부적으로 발행할 수 있으며 에러를 로그(log)할 수 있다. 다른 실시예들에 있어서, 각각의 스테이지에서, IOMMU는 간단히 임의의 에러들을 축적할 수 있고, 그리고 변환의 끝에서 변환을 버릴 수 있으며, 페이지 폴트를 발행할 수 있고, 에러를 로그할 수 있으며, 또는 이들의 어떤 결합을 수행할 수 있다.
도 4를 참조하면, 예시적인 디바이스 테이블 엔트리의 일 실시예를 나타낸 도면이 제시된다. 도 4의 실시예에 제시된 필드(field)들은 인터럽트 리맵핑 및/또는 어드레스 변환에 관한 것일 수 있고 다양한 실시예들에서 다른 필드들이 다른 목적을 위해 제공될 수 있음에 유의해야 한다. 예시된 실시예에서, 디바이스 테이블 엔트리(325)는 256 비트 엔트리이다. 그러나, 다른 실시예들은 이러한 필드들 및 다른 필드들의 슈퍼세트(superset)들, 이러한 필드들의 서브세트들, 또는 다른 필드들과 결합된 서브세트들을 구현할 수 있다. 결과적으로, 디바이스 테이블 엔트리(325)는, 필요에 따라서, 임의 개수의 비트들일 수 있다. 필드는 하나 혹은 그 이상의 비트들을 포함할 수 있고, 그 인코딩에는 IOMMU(26)에 의해 해석될 때 특정 의미가 할당된다. 만약 본 실시예에 있어서 필드가 단일 비트라면, 이것은 비트로서 불릴 수 있다. 그러나, 다른 실시예에서는 유사한 목적으로 복수 비트 필드들이 사용될 수 있다. 본 실시예에 있어서, 도 4에서의 비트 범위를 갖는 복수 비트 필드들이 제시된다.
어떤 특정 인터럽트가 차단되는지 아니면 수정 없이 통과되는지 여부를 제어하기 위해 예비 및 기타 필드에는 다양한 특정 인터럽트 제어 비트들이 제공될 수 있다. 게스트 고급 프로그래밍가능 인터럽트 제어기(Guest Advanced Programmable Interrupt Controller, GAPIC)에 대한 지원은, 디바이스에 대한 GAPIC 테이블의 베이스 어드레스의 SPA를 포함하는, GAPICTableRtPtr 필드에 의해 제공된다. 인터럽트 테이블 포인터 필드(IntTablePtr)는 앞에서 언급된 인터럽트 리맵핑 테이블의 베이스 어드레스를 저장할 수 있다. 인터럽트 테이블 길이(IntTableLen)는 인터럽트 테이블의 크기를 특정한다. 인터럽트 테이블 길이 필드는 몇몇 가능한 길이(예를 들어, 일 실시예에 있어서, 2의 거듭제곱인 1-2048 엔트리들)를 위해 인코딩될 수 있다. 만약 I/O 페이지 폴트가 인터럽트 메시지에 대해 검출된다면, IG 비트는 이벤트 로그 버퍼(44)에서의 이벤트 로그 엔트리들의 생성 여부를 표시하기 위해 사용될 수 있다. 인터럽트 유효(Interrupt Valid, IV) 비트는 인터럽트 관련 필드들의 유효 여부를 표시할 수 있다. 필드가 유효하지 않다면, IOMMU(26)는 모든 인터럽트들을 수정 없이 통과시킬 수 있다.
게스트 CR3(GCR3) 테이블 루트 포인터(GCR3TableRtPtr) 필드는 I/O 디바이스에 대한 게스트 CR3 테이블의 SPA를 포함할 수 있다. 주변장치 페이지 서비스 요청(Peripheral Page service Request, PPR) 비트는, 주변장치가 IOMMU로 하여금 주변장치 페이지 서비스 요청 로그 엔트리들로의 변환을 행하게 하는 주변장치 페이지 서비스 요청을 발행할 수 있는지 여부를 표시하거나 혹은 이 요청이 에러로서 처리되는지 여부를 표시한다. 비록 예시된 실시예에서 GCR3TableRtPtr이 다수의 필드들로 분할되어 있지만, 다른 실시예들에서 GCR3TableRtPtr는 하나의 연속된 필드일 수 있거나 또는 필요에 따라 서로 다르게 분할될 수 있음에 유의해야 한다.
SysMgt 필드는 시스템 관리 범위에서 통신의 후속 제어를 제공하기 위해 인코딩될 수 있다. 구체적으로 살펴보면, 일 실시예에서, SysMgt 필드는, 해당 범위에서 요청들을 차단하기 위해; 해당 범위 내의 요청들을 수정 없이 (기입 전용으로 포스팅시켜) 전달하기 위해; INTx 메시지들에 맵핑되는 요청들을 수정 없이 (기입 전용으로 포스팅시켜) 전달하기 위해; 또는 I/O 페이지 테이블들을 사용하여 요청들을 변환하기 위해, 인코딩될 수 있다. IoCtl 필드는 I/O 공간 범위에서의 통신의 후속 제어를 제공하기 위해 인코딩될 수 있다. 구체적으로 살펴보면, 일 실시예에서, IoCtl 필드는, 해당 범위에서 요청들을 차단하기 위해; 요청들을 수정 없이 전달하기 위해; 또는 I/O 페이지 테이블들을 사용하여 요청들을 변환하기 위해, 인코딩될 수 있다. 그러나, 일 실시예에서, 이러한 필드들(예를 들어, SysMgt, IoCtl)의 일부는 단지 GPA-SPA 변환에만 관련되고 GVA-SPA 변환에는 적용되지 않는다.
도메인 ID는, 서로 다른 디바이스들이 그들의 변환 데이터를 구분하도록 IOMMU(26)에서의 캐시(30) 엔트리들 및 임의의 다른 캐시 엔트리들에 태그(tag)를 붙일 때 사용된다. 만약 디바이스들이 변환 테이블들을 공유한다면, 이들은 캐시 엔트리들을 공유하기 위해 동일한 도메인 ID를 가질 수 있다. 도메인 ID는 전적으로 소프트웨어의 제어하에 있고, 따라서 변환 데이터를 공유하기 위해 I/O 디바이스들을 하나의 도메인으로 그룹화하거나 또는 디바이스들을 분리시키기 위해 소프트웨어(예를 들어, 가상 머신 모니터, 또는 비가상 머신 구현에서의 운영 체계)를 제어함에 있어서 유연성을 허용할 수 있다. 예를 들어, 소정의 가상 머신에 할당된 디바이스들은 동일한 도메인 ID를 가질 수 있고, 그리고 서로 다른 도메인 ID들이 서로 다른 가상 머신들을 위해 사용될 수 있다. 따라서, 분리된 디바이스들과 그룹화된 디바이스들의 어떤 결합이 또한 생성될 수 있다.
일 실시예에서, 게스트 CR3 레벨(GLX) 비트는, IOMMU에 의해 수행될, GCR3 검색의 타입(즉, 1-레벨 혹은 2-레벨 GCR3 테이블들)을 특정한다. 게스트 변환 유효(GV) 비트는, 2-레벨(즉, 네스티드 및 게스트 레벨) 변환이 수행되는지 아니면 1-레벨(예를 들어, 호스트) 변환이 수행되는지 여부를 결정한다. 일 실시예에서, GV 비트가 클리어(clear)될 때, GLX 비트 및 GCR3TableRtPtr 필드들은 무시된다.
페이지 테이블 포인터(PageTablePtr)는 호스트 변환 페이지 테이블들(36D)에 대한 포인터이다. 이러한 포인터는 I/O 디바이스들이 GPA를 제공할 때 사용될 수 있다. 모드 필드(mode field)(Mode)는 디바이스의 I/O 페이지 테이블들의 깊이를 표시하기 위해 그리고 변환이 전체적으로 디스에이블되었는지 여부를 표시하기 위해 코딩될 수 있다. 예를 들어, SPA를 제공함과 아울러 요청들을 사전변환된 것으로서 마크하는 디바이스들에 대해, 대응하는 디바이스 엔트리는, 변환을 디스에이블시키기 위해 이 필드가 인코딩되게 할 수 있다. 다른 인코딩들은, 이러한 엔트리에 맵핑되는 요청들을 위해 변환이 시작돼야 하는 페이지 테이블 계층구조에서의 레벨을 표시할 수 있다. TV 비트는 페이지 변환 데이터의 유효 여부를 표시하고, 그리고 V 비트는 엔트리(80)의 유효 여부를 표시한다.
도 5를 참조하면, 게스트 가상 어드레스 변환 메커니즘의 보다 상세한 양상을 나타낸 도면이 제시된다. 앞에서 설명된 바와 같이, 디바이스 테이블(36A)은 다수의 엔트리들(DTE)을 포함할 수 있고, 그 각각은 GCR3TableRtPtr 필드를 포함한다. 만약 해당 엔트리에 대한 게스트 변환이 유효하다면, 이 필드는 메모리에서의 게스트 CR3 테이블(501)에 대한 SPA 포인터를 포함할 것이다. 제시된 바와 같이, GCR3 테이블(501)은 디바이스의 요청과 관련된 PASID 값에 의해 인덱싱될 수 있다. 앞에서 언급된 바와 같이, 디바이스 PASID는 사용된 I/O 상호연결의 타입에 따라 다야한 방식으로 획득될 수 있다. 도 7에서, PASID 프리픽스의 일 실시예가 제시된다. 이러한 PASID 프리픽스는 프리픽스를 사용하는 다양한 표준 버스 아키텍처에서 사용될 수 있다. 도 8에서, PCIe 상호연결을 위한 TLP PASID 프리픽스가 제시된다. 이에 따라, 도 7의 PASID 프리픽스는 소정의 디바이스 내에서의 프로세스를 식별하기 위해 도 8의 실시예에서 사용될 수 있다.
제시된 바와 같이, GCR3 테이블(501)은 두 개의 엔트리들을 가지고 있는바, 각각은, 앞에서 설명된 바와 같이 게스트 페이지 테이블들(503 및 505)에 대한 GPA 포인터일 수 있는, GCR3 베이스 포인터를 포함한다. 예시된 실시예에서, 게스트 페이지 테이블들(503 및 505)은 I/O 요청의 GVA에 의해 인덱싱될 수 있다. 더욱이, 게스트 페이지 테이블들(503 및 505)에서의 각각의 유효 엔트리는 각각의 페이지 맵 레벨 4 테이블의 베이스 어드레스에 대한 GPA 포인터를 포함할 수 있다.
일 실시예에서, GCR3 테이블(501)은 메모리에서 연속이어야 한다. 따라서, 많은 수의 PASID들을 갖는 시스템에서, 메모리 관리는 번거로운 것일 수 있다. 이에 따라, 대안적 실시예에서, GCR3 테이블들은 계층적 방식으로 구현될 수 있다. 예를 들어, 하나 혹은 그 이상의 제 2 레벨 GCR3 테이블들(미도시)이 사용될 수 있다. 이러한 실시예에서, 제 1 레벨 GCR3 테이블은 GCR3 베이스 테이블일 수 있고, 그리고 PASID 비트들의 제 1 서브세트를 사용하여 인덱싱될 수 있다. 제 1 레벨 GCR3 테이블에서의 소정의 엔트리는 각각의 제 2 레벨 GCR3 테이블에 대한 GPA 포인터를 포함할 수 있다. 제 2 레벨 GCR3 테이블들은 PASID의 제 2 서브세트를 사용하여 인덱싱될 수 있다. 제 2 레벨 GCR3 테이블들의 각각의 엔트리는 테이블(503 또는 505)과 같은 게스트 페이지 테이블에 대한 GPA 포인터를 포함할 수 있다. 따라서, 1-레벨 GCR3 테이블을 구현할지 아니면 2-레벨 GCR3 테이블을 구현할지에 관한 선택은 사용중에 있는 PASID들의 수에 따라 달라질 수 있다. 다양한 실시예들에서, PASID 비트들의 서브세트들은, 필요한 경우, 오버랩(overlap)하지 않을 수 있거나 오버랩할 수 있음에 유의해야 한다.
도 6을 참조하면, 도 1 내지 도 5에 도시된 시스템의 실시예들의 동작 양상을 설명하는 흐름도가 제시된다. 도 1 내지 도 6을 모두 함께 고려하면, 도 6의 흐름도는 블록(601)에서 시작하며, 여기서 IOMMU(26)는 I/O 요청을 수신한다. 예를 들어, 요청은, 예를 들어, VM 애플리케이션들 중 하나(예를 들어, 102)에 대한, DMA 액세스와 같은 I/O 메모리 액세스 요청일 수 있다. 대안적으로, 요청은, 예를 들어, 원격 IOTLB를 갖는 I/O 디바이스에 의한, 예를 들어 ATS와 같은 변환 요청일 수 있다. 만약 요청이 메모리 요청이 아니라면, 동작은 블록(604)에 제시된 바와 같이 진행할 수 있다. 그러나, 만약 요청이 메모리 요청이라면, IOMMU(26)는 요청이 사전변환된 것으로 마크되었는지 여부를 결정할 수 있다(블록(602))(예를 들어, 온보드(onboard) MMU를 갖는 I/O 디바이스의 경우에서와 같이). 그러한 경우에, 어드레스는 SPA일 수 있고, 그리고 어떠한 변환도 필요 없다. 만약 요청이 사전변환된 것으로서 마크된다면, IOMMU(26)는 메모리 제어기(18)에 요청을 제공할 수 있다(블록(603)).
블록(602)을 다시 참조하면, 만약 요청이 사전변환된 것으로서 마크되지 않았다면 혹은 만약 요청이 변환 요청이라면, IOMMU(26)는 변환을 위해 캐시(30) 내에서 검색을 수행할 수 있다(블록(604)). 만약 변환이 존재한다면, IOMMU(26)는 요청자에게 변환을 제공할 수 있거나, 또는 그 요청과 함께 변환을 메모리 제어기(18)에 제공할 수 있다(블록(603)).
그러나, 만약 변환이 캐시(30)에 존재하지 않는다면(블록(604)), 제어 로직(34)과 함께 테이블 워커(28)는 I/O 변환 테이블들(36)에 액세스할 수 있다. 특히, 테이블 워커(28)는 메모리(20)에서의 디바이스 테이블 베이스 어드레스를 얻기 위해 디바이스 테이블 베이스 레지스터(32A)에 액세스할 수 있다. 테이블 워커(28)는 디바이스 테이블(36A)에 대한 인덱싱을 위해 디바이스 ID를 사용할 수 있다(블록(605)). 만약 요청에 PASID 값이 포함되어 있다면(블록(606)), 테이블 워커(28)는 2-레벨 게스트 변환을 수행할 수 있다. 특히, 일 실시예에서, 만약 I/O 요청이 TLP PASID 프리픽스를 포함한다면, 요청과 관련된 어드레스는 GVA이다. 따라서, 2-레벨 변환이 수행된다. 테이블 워커(28)는 디바이스 테이블 엔트리에서의 GCR3 제어 비트들 및 GCR3 TableRtPtr 어드레스를 사용하여 메모리에서 GCR3 테이블들을 찾을 수 있다(블록(607)).
앞에서 설명된 바와 같이, GCR3 TableRtPtr 어드레스는 일 실시예에서 SPA일 수 있다. 테이블 워커(28)는, GCR3 테이블들의 인덱싱을 위해, GPA 포인터들을 사용하여 대응하는 GCR3 및 게스트 테이블들 그리고 PASID의 위치를 지정할 수 있다. 블록(614)에 제시된 바와 같이, 그리고 앞에서 설명된 바와 같이, 각각의 GPA 포인터는 예를 들어, 호스트 변환 페이지 테이블들(36D)을 사용하여 IOMMU(26)에 의해 변환될 수 있다. 요청의 GVA 비트들의 일부 서브세트는 게스트 페이지 테이블(들)을 인덱싱하기 위해 사용될 수 있다. 마지막 게스트 페이지 테이블은 호스트 페이지 맵 레벨 4 테이블들의 베이스 어드레스에 대한 GPA 포인터를 포함할 수 있다. 일 실시예에서, 각각의 연속하는 게스트 테이블이 액세스됨에 따라, 허가들이 점검되고, 그리고 임의의 실패한 허가들은 페이지 폴트 혹은 다른 에러들을 발생시킬 수 있다(블록(608)).
그 다음에, 테이블 워커(28)는 각각의 이전 테이블의 각각의 엔트리 내의 GPA 포인터들을 사용하여 호스트 변환 테이블들(36D)을 연속적으로 찾을 수 있다. 페이지 테이블들의 다양한 레벨들에서, 요청의 GVA 비트들의 서로 다른 서브세트들은 각각의 호스트 변환 페이지 테이블에 대한 인덱싱을 위해 사용될 수 있다. 앞에서 설명된 바와 같이, 마지막 페이지 테이블이 액세스되면, 대응하는 엔트리는 메모리에서의 물리적 페이지의 GPA를 포함할 수 있다. 테이블 워커(28)는 GPA를 SPA로 변환할 수 있다(블록(609)). 그 다음에, 테이블 워커(28)는, 최종 변환 어드레스를 획득하기 위해, 물리적 메모리 페이지의 SPA를 GVA의 마지막 몇 개의 비트들과 연결할 수 있다(블록(610)). 테이블 워커(28)는, 만약 요청이 메모리 요청이라면, 요청과 함께 메모리 제어기(18)에 변환 어드레스를 제공할 수 있다. 대안적으로, 테이블 워커는, 만약 요청이 변환 요청이라면, 요청하는 I/O 디바이스에 변환을 제공할 수 있다. 테이블 워커(28)는 또한, 장래 변환 검색에서의 사용을 위해 캐시(30) 내에 변환을 저장할 수 있다(블록(611)).
블록(606)을 다시 참조하면, 만약 요청이 PASID를 포함하지 않는다면, 요청에서의 어드레스는 GPA이다. 이러한 경우에, 테이블 워커(28)는 메모리에서의 호스트 변환 페이지 테이블들(36D)을 찾기 위해 디바이스 테이블 엔트리에서의 PageTableRtPtr 어드레스를 사용하여 1-레벨 변환을 수행할 수 있다(블록(612)). 앞에서 설명된 것과 유사한 방식으로, 테이블 워커(28)는 I/O 디바이스에 대해 호스트 페이지 맵 레벨 4 테이블들의 베이스 어드레스에 대한 SPA 포인터를 사용할 수 있다. 그러나, 게스트 변환과 대조적으로, 호스트 변환 페이지 테이블들을 사용하여 1-레벨 변환을 수행할 때, 다음 페이지 테이블/메모리 물리적 페이지에 대한 각각의 포인터는 SPA이다. 따라서, 테이블 워커(28)는 각각의 이전 테이블의 각각의 엔트리 내의 SPA 포인터들을 사용하여 호스트 변환 테이블들을 연속적으로 찾을 수 있다. 호스트 페이지 테이블들의 각각의 레벨에서, 요청의 GPA 비트들의 서로 다른 서브세트들은 각각의 호스트 변환 페이지 테이블에 대한 인덱싱을 위해 사용될 수 있다. 앞에서 설명된 바와 같이, 마지막 페이지 테이블이 액세스되면, 대응하는 엔트리가 메모리에서의 물리적 페이지의 SPA를 포함할 수 있다(블록(613)). 테이블 워커(28)는, 최종 변환 어드레스를 획득하기 위해, 물리적 메모리 페이지의 SPA를 요청의 GPA의 마지막 몇 개의 비트들과 연결할 수 있다(블록(610)).
도 7을 참조하면, PASID 프리픽스 페이로드(PASOD prefix payload)의 일 실시예의 도면이 제시된다. 제시된 바와 같이, PASID 프리픽스 페이로드(701)는 24개의 비트들을 포함한다. 예시된 실시예에서, 비트들 [15:0]은 게스트 프로세스 어드레스 공간 ID이고, 비트들 [21:16]은 예비 비트이며, 비트 22는 실행/비실행 허가이고, 그리고 비트 23은 사용자/슈퍼바이저(supervisor) 표시이다. 다른 실시예들에서, 비트 위치 및 정의는 서로 다를 수 있음에 유의해야 한다. 다른 실시예들에서, 비트 위치와 정의는 서로 달라질 수 있음에 유의해야 한다. 다른 실시예들에서, 다른 비트들은 또한, 다른 속성들을 표시하기 위해 사용될 수 있음에 유의해야 한다. 예를 들어, 비트들은 캐시 코히어런스 및 특수한 보안 속성들을 표시할 수 있다.
일 실시예에서, 요청자/디바이스 ID와 결합되는 PASID 비트들은 트랜잭션과 관련된 어드레스 공간을 유일하게 식별한다. 실행/비실행 비트가 세팅되는 경우, 이 비트는 메모리의 표시된 범위가 요청 기능에 의해 실행될 수 있는 코드를 포함할 수 있음을 표시할 수 있고, 그리고 클리어되는 경우, 이 비트는 요청 기능에 의해 실행될 수 있는 코드는 없음을 표시할 수 있다. 사용자/슈퍼바이저 비트가 세팅되는 경우, 이 비트는 표시된 메모리 범위가 사용자 혹은 슈퍼바이저 모드에서 동작하는 엔트리들에 의해 액세스가능한 정보를 포함할 수 있음을 표시할 수 있다. 반면, 이 비트가 클리어되는 경우, 이 비트는 표시된 메모리 범위가 슈퍼바이저 모드에서만 동작하는 엔트리들에 의해 액세스가능한 정보를 포함할 수 있음을 표시할 수 있다.
앞에서 언급된 바와 같이, 많은 표준 주변장치 버스 아키텍처들이 프리픽스들을 허용한다. 이에 따라, PASID 프리픽스 페이로드(701)는 I/O 디바이스가 제어되는 프로세스의 프로세스 식별자를 전달하는데 사용될 수 있다. 도 8a 및 도 8b의 설명과 함께 아래에서 더 상세히 설명되는 바와 같이, 주변장치 버스/상호연결은 PCIe 상호연결일 수 있다. 이에 따라, PASID 프리픽스(701)는 PCIe 트랜잭션 계층 프로토콜 패킷 구조에서 사용될 수 있다.
도 8a를 참조하면, PCIe 사양에 따른 예시적인 TLP 패킷의 일 실시예의 도면이 제시된다. PCIe는 PCIe 링크를 통해 서로 통신하는 두 개의 디바이스들의 트랜잭션 계층들 간에 정보를 교환하기 위해 패킷 기반의 프로토콜을 사용한다. PCIe는 다음과 같은 기본적인 트랜잭션 타입, 즉 메모리(Memory), I/O, 구성(Configuration) 및 메시지(Messages)를 지원한다. 메모리 요청들을 위한 두 개의 어드레싱 포맷들(32 비트 및 64 비트)이 지원된다. 이에 따라, 도 8a에 제시된 바와 같이, TLP 패킷(801)은 하나 또는 그 이상의 선택적인 TLP 프리픽스들, TLP 헤더, (어떤 패킷 타입에 대한) 데이터 페이로드, 및 선택적인 TLP 다이제스트(digest)를 포함한다. 패킷 필드들 및 비트들의 정의에 관한 상세한 정보가 PCI-SIG로부터 이용가능한 PCI 익스프레스 사양의 최신 버전에서 발견될 수 있다. 그러나, TLP 프리픽스의 일 특정 실시예의 더 상세한 설명이 도 8에서 제시됨과 아울러 아래에서 설명된다.
도 8b를 참조하면, PCIe 사양에 따른 TLP PASID 프리픽스의 일 실시예의 도면이 제시된다. 도 7에 제시된 프리픽스와 유사하게, TLP 프리픽스(851)는, 앞에서 설명된 바와 같은 16 비트 PASID 필드, 6 비트 예비 필드, 앞에서 설명된 바와 같은 exe 비트, 앞에서 설명된 바와 같은 사용자 비트, 4 비트 타입 필드, 프리픽스가 엔드투엔드(end-to-end)임을 표시하는 1 비트 필드, 및 포맷 필드를 포함한다. 도시된 바와 같이, 포맷 필드는 TLP 프리픽스가 TLP 프리픽스임을 표시하기 위해 100b 인코딩으로 인코딩될 수 있다. 타입 필드는 프리픽스가 PASID 프리픽스임을 표시하기 위해 인코딩될 수 있다. 다른 실시예들에서, TLP 프리픽스는 다른 필드들을 포함할 수 있고 그리고 필드들에서 다른 수의 비트들을 포함할 수 있음에 유의해야 한다.
앞에서 언급된 바와 같이, 일 실시예에서, 캐시(30) 엔트리로부터 얻어지는 게스트 특권을 결과적으로 불충분하게 만드는 ATS(즉, 변환) 요청 혹은 메모리 참조는 오래된 정보에 근거할 수 있다. IOMMU(26)가 캐시된 게스트 변환 정보를 사용하여 액세스 위반(access violation)을 검출하는 경우, IOMMU(26)는, 캐시된 정보를 대체하거나 버리는 프로세스에서, 메모리로부터 판독되는 신선한 정보를 사용하여 액세스 허가를 다시 계산하기 위해 게스트 페이지 테이블들을 리워크해야만 한다. 네스티드 페이지 테이블들은 게스트 테이블 리워크(guest table rewalk)의 결과로서 판독될 수 있다. 만약 페치(fetch)된 정보가 액세스를 불허하는 허가 제어들을 포함한다면, IOMMU(26)는 액세스에 실패하고, 만약 그렇지 않다면 IOMMU(26)는 요청된 액세스를 허용할 수 있다. ATS 변환 요청은 계산된 액세스 특권을 언제나 반환한다. 리워크(rewalk)는 게스트 변환과 네스티드 변환 양쪽 모두의 전체 워크를 요구할 수 있다.
PCIe 디바이스들을 구현하는 실시예들에서 어드레스들을 변환할 때, IOMMU(26)는 내부 프로세서 시맨틱스(semantics)와 PCIe 시맨틱스 간의 변환을 행할 필요가 있을 수 있음에 유의해야 한다. 다양한 페이지 테이블들은 존재 비트(present bit)(P) 및 판독/기입 비트(read/write bit)(R/W)를 포함하고, ATS 요청들은 노-라이트 힌트(no-write hint)를 포함하고, 그리고 ATS 응답들은 개별적 판독(R) 및 기입(W) 허가 비트들을 요구한다. 일 실시예에서, IOMMU(26)는 특권 프로모션(privilege promotions)을 위해 프로세서 내부 긴 페이지 테이블 시맨틱스(processor internal long page table semantics)를 따르는 ATS 응답을 제공할 수 있다. 일반적으로, IOMMU(26)는 캐시(30)에서 발견된 값들에 근거하여 결과를 반환해야만 한다. ATS 요청에 대한 특별한 경우는, 비유효 커맨드를 IOMMU(26)에 발행함이 없이, 시스템 소프트웨어가 액세스 허가를 일으킬 수 있는 페이지들에 대한 것이다. 일 실시예에서, 시스템 소프트웨어는, 액세스 허가를 감소시키는 경우(P=0으로 페이지를 비존재로서 마크하는 것을 포함함), 비유효 커맨드를 발행하도록 요구받는다. 구체적으로 살펴보면, 소프트웨어는 기입을 제거한 이후에 비유효화를 행해야만 하거나, 또는 P를 존재로부터 비존재로 변경시킨 이후 혹은 U/S를 사용자로부터 슈퍼바이저로 변경시킨 이후에 허가를 실행해야만 한다.
앞서의 실시예들은 하드웨어로 혹은 소프트웨어로 혹은 이들 모두의 결합으로 구현될 수 있다. 추가적으로, 앞서의 하드웨어 컴포넌트들 중 다양한 컴포넌트들은 먼저, 하드웨어 정의 언어(hardware definition language)로 기입된 소프트웨어를 사용하여 설계될 수 있다. 이에 따라, 앞서의 실시예들을 구현하기 위해 사용된 명령들 중 임의의 명령어는 다양한 타입의 저장소에 저장될 수 있다. 따라서, 다양한 실시예들은 또한, 앞서의 설명에 따라 구현된 명령들 및/또는 데이터를 컴퓨터 판독가능 저장 매체 상에 저장하는 것을 포함할 수 있다. 일반적으로 말하면, 컴퓨터 판독가능 저장 매체는, 자기 혹은 광학 매체들(예를 들어, 디스크, CD-ROM, DVD), 휘발성 혹은 비휘발성 매체들(RAM(예를 들어, SDRAM, DDR SDRAM, RDRAM, SRAM 등), ROM과 같은 것), 등과 같은 저장 매체들 혹은 메모리 매체들을 포함할 수 있다.
비록 앞서의 실시예들이 매우 상세하게 설명되었지만, 본 발명의 기술분야에서 숙련된 자들에게는 이러한 앞서의 개시내용이 충분히 파악되는 경우 수많은 변형 및 수정이 가능하다는 것이 명백하게 될 것이다. 다음의 특허청구범위는 이러한 변형 및 수정 모두를 포괄하는 것으로 해석되도록 의도된 것이다.

Claims (21)

  1. 컴퓨터 시스템의 시스템 메모리에 대한 입출력(Input/Output, I/O) 디바이스의 요청들을 제어하는 입출력 메모리 관리 유닛(Input/Output Memory Management Unit, IOMMU)으로서,
    상기 I/O 디바이스로부터의 요청에서 수신된 어드레스를 변환하도록 되어 있는 제어 로직(control logic)과; 그리고
    상기 제어 로직에 결합되어 완료된 변환들을 저장하도록 되어 있는 캐시 메모리(cache memory)를 포함하여 구성되며,
    상기 제어 로직은, 상기 요청에서 프로세스 어드레스 공간 식별자(Process Address Space IDentifier, PASID) 프리픽스(prefix)를 포함하는 트랜잭션 계층 프로토콜(Transaction Layer Protocol, TLP) 패킷(packet)을 수신하는 것에 응답하여, 2-레벨 게스트 변환(two-level guest translation)을 수행하도록 되어 있고,
    상기 제어 로직은, 상기 요청에서 수신된 어드레스를 변환하기 위해 게스트 페이지 테이블(guest page table)들의 세트에 액세스(access)하도록 되어 있고, 여기서 마지막 게스트 페이지 테이블에서의 포인터(pointer)는 네스티드 페이지 테이블(nested page table)들의 세트에서의 제 1 테이블을 가리키며,
    상기 게스트 페이지 테이블들의 세트는 하나 이상의 엔트리(entry)들을 갖는 디바이스 테이블을 포함하며, 각각의 엔트리는 상기 게스트 페이지 테이블들의 세트의 제 1 게스트 변환 테이블에 대한 포인터를 저장하도록 되어 있고, 상기 포인터는 SPA를 포함하며, 상기 SPA는 상기 컴퓨터 시스템의 프로세서에서 실행되는 가상 메모리 모니터(Virtual Memory Monitor, VMM)에 의해 맵핑(mapping)되는 어드레스 공간(address space)에 대응하고,
    상기 제어 로직은, 상기 네스티드 페이지 테이블들의 세트에 액세스하여 상기 시스템 메모리에서의 물리적 페이지에 대응하는 시스템 물리적 어드레스(System Physical Address, SPA)를 획득하기 위해 상기 마지막 게스트 페이지 테이블에서의 포인터를 사용하도록 되어 있는 것을 특징으로 하는 입출력 메모리 관리 유닛.
  2. 제1항에 있어서,
    상기 네스티드 페이지 테이블들의 세트에서의 제 1 테이블에 대한 포인터는 게스트 물리적 어드레스(Guest Physical Address, GPA)를 포함하고, 상기 GPA는 상기 프로세서 상의 가상 머신(Virtual Machine, VM)에서 실행되는 게스트 운영 체계(guest operating system)에 의해 맵핑되는 어드레스 공간에 대응하는 것을 특징으로 하는 입출력 메모리 관리 유닛.
  3. 제1항에 있어서,
    상기 요청에서 수신된 어드레스는 게스트 가상 어드레스(Guest Virtual Address, GVA)를 포함하고, 상기 GVA는 상기 프로세서 상의 가상 머신(VM)에서 실행되는 게스트 애플리케이션(guest application)에 의해 맵핑되는 어드레스 공간에 대응하고, 상기 제어 로직은 상기 2-레벨 게스트 변환을 사용하여 상기 GVA를 SPA로 변환하도록 되어 있는 것을 특징으로 하는 입출력 메모리 관리 유닛.
  4. 제1항에 있어서,
    상기 TLP 패킷은 프리픽스 필드(prefix field), 헤더 필드(header field), 데이터 페이로드 필드(data payload field), 및 선택적인 다이제스트 필드(optional digest field)를 갖는 패킷을 포함하고, 상기 TLP 패킷은 PCI 익스프레스(Peripheral Component Interconnect express, PCIe) 링크(link)를 통해 상기 I/O 디바이스로부터 상기 IOMMU로 전달되는 것을 특징으로 하는 입출력 메모리 관리 유닛.
  5. 제1항에 있어서,
    상기 제어 로직은 또한, 최종 변환 어드레스를 제공하기 위해, I/O 요청에서 수신된 어드레스의 비트들의 서브세트를 상기 시스템 메모리에서의 물리적 페이지에 대응하는 SPA와 연결(concatenate)하도록 되어 있는 것을 특징으로 하는 입출력 메모리 관리 유닛.
  6. 제1항에 있어서,
    상기 TLP 패킷에 PASID 프리픽스를 갖지 않는 I/O 요청을 수신하는 것에 응답하여, 상기 제어 로직은 1-레벨 변환을 수행하도록 되어 있고, 여기서 상기 제어 로직은 소정의 요청에 대해 디바이스 테이블 엔트리에서의 또 다른 포인터에 액세스하도록 되어 있으며, 상기 또 다른 포인터는 호스트 변환 페이지 테이블들의 세트에 대한 포인터를 포함하는 것을 특징으로 하는 입출력 메모리 관리 유닛.
  7. 입출력 메모리 관리 유닛(IOMMU)을 사용하여 컴퓨터 시스템의 시스템 메모리에 대한 입출력(I/O) 요청들을 제어하는 시스템으로서,
    프로세서와;
    상기 프로세서에 결합되어 변환 데이터(translation data)를 저장하도록 되어 있는 시스템 메모리와;
    상기 시스템 메모리에 액세스하기 위한 요청을 발생시키도록 되어 있는 적어도 하나의 I/O 디바이스와; 그리고
    상기 I/O 디바이스 및 상기 시스템 메모리에 결합된 입출력 메모리 관리 유닛(IOMMU)을 포함하여 구성되며,
    상기 IOMMU는,
    상기 I/O 디바이스로부터의 상기 요청에서 수신된 어드레스를 변환하도록 되어 있는 제어 로직과; 그리고
    상기 제어 로직에 결합되어 완료된 변환들을 저장하도록 되어 있는 캐시 메모리를 포함하며,
    상기 제어 로직은, 상기 요청에서 프로세스 어드레스 공간 식별자(PASID) 프리픽스를 포함하는 트랜잭션 계층 프로토콜(TLP) 패킷을 수신하는 것에 응답하여, 2-레벨 게스트 변환을 수행하도록 되어 있고,
    상기 제어 로직은, 상기 요청에서 수신된 어드레스를 변환하기 위해 게스트 페이지 테이블들의 세트에 액세스하도록 되어 있고, 여기서 마지막 게스트 페이지 테이블에서의 포인터는 네스티드 페이지 테이블들의 세트에서의 제 1 테이블을 가리키며,
    상기 제어 로직은, 상기 네스티드 페이지 테이블들의 세트에 액세스하여 상기 시스템 메모리에서의 물리적 페이지에 대응하는 시스템 물리적 어드레스(SPA)를 획득하기 위해 상기 마지막 게스트 페이지 테이블에서의 포인터를 사용하도록 되어 있고,
    상기 제어 로직은, 변환들을 수행하기 전에, 변환을 위해 상기 캐시 메모리를 검색하도록 되어 있고, 그리고 상기 제어 로직은 또한, 페이지 레벨 특권(page level privilege)이 변경되었다는 결정에 응답하여, 최종 변환 어드레스를 획득하기 위해 변환을 수행하도록 되어 있는 것을 특징으로 하는 컴퓨터 시스템의 시스템 메모리에 대한 입출력 요청들을 제어하는 시스템.
  8. 입출력 메모리 관리 유닛(IOMMU)을 사용하여 컴퓨터 시스템의 시스템 메모리에 대한 입출력(I/O) 요청들을 제어하는 방법으로서,
    상기 컴퓨터 시스템의 시스템 메모리에 변환 데이터를 저장하는 단계와, 여기서 상기 변환 데이터는 게스트 페이지 테이블들의 세트 및 네스티드 페이지 테이블들의 세트를 포함하고;
    제어 로직이 I/O 디바이스로부터의 요청에서 수신된 어드레스를 변환하는 단계와, 여기서 상기 제어 로직은, 상기 요청에서 프로세스 어드레스 공간 식별자(PASID) 프리픽스를 포함하는 트랜잭션 계층 프로토콜(TLP) 패킷을 수신하는 것에 응답하여, 2-레벨 게스트 변환을 수행하도록 되어 있고;
    상기 제어 로직이, 상기 요청에서 수신된 어드레스를 변환하기 위해 상기 게스트 페이지 테이블들의 세트에 액세스하는 단계와, 여기서 마지막 게스트 페이지 테이블에서의 포인터는 상기 네스티드 페이지 테이블들의 세트에서의 제 1 테이블을 가리키고;
    상기 제어 로직이, 상기 네스티드 페이지 테이블들의 세트에 액세스하여 상기 시스템 메모리에서의 물리적 페이지에 대응하는 시스템 물리적 어드레스(SPA)를 획득하기 위해 상기 마지막 게스트 페이지 테이블에서의 포인터를 사용하는 단계와;
    상기 제어 로직이, TLP PASID 프리픽스를 갖는 TLP 패킷이 포함되지 않은 I/O 요청을 수신하는 것에 응답하여, 1-레벨 변환을 수행하는 단계와; 그리고
    상기 제어 로직이 캐시 메모리 내에 완료된 변환들을 저장하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 시스템의 시스템 메모리에 대한 입출력 요청들을 제어하는 방법.
  9. 제8항에 있어서,
    상기 TLP 패킷은 프리픽스 필드, 헤더 필드, 데이터 페이로드 필드, 및 선택적인 다이제스트 필드를 갖는 패킷을 포함하고, 상기 TLP 패킷은 PCI 익스프레스(PCIe) 링크를 통해 상기 I/O 디바이스로부터 상기 IOMMU로 전달되는 것을 특징으로 하는 컴퓨터 시스템의 시스템 메모리에 대한 입출력 요청들을 제어하는 방법.
  10. 제8항에 있어서,
    상기 I/O 요청에서 수신된 어드레스는 게스트 가상 어드레스(GVA)를 포함하고, 상기 GVA는 상기 컴퓨터 시스템의 프로세서 상의 가상 머신(VM)에서 실행되는 게스트 애플리케이션에 의해 맵핑되는 어드레스 공간에 대응하는 것을 특징으로 하는 컴퓨터 시스템의 시스템 메모리에 대한 입출력 요청들을 제어하는 방법.
  11. 제10항에 있어서,
    상기 TLP PASID 프리픽스를 갖는 TLP 패킷이 포함되지 않은 상기 I/O 요청에서 수신된 어드레스는 게스트 물리적 어드레스(GPA)를 포함하고, 상기 GPA는 상기 컴퓨터 시스템의 프로세서 상의 가상 머신(VM)에서 실행되는 게스트 운영 체계에 의해 맵핑되는 어드레스 공간에 대응하는 것을 특징으로 하는 컴퓨터 시스템의 시스템 메모리에 대한 입출력 요청들을 제어하는 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020127004961A 2009-07-24 2010-07-24 주변장치 상호연결에서 ｉ/ｏ 및 계산 오프로드 디바이스들을 위해 2-레벨 어드레스 변환을 사용하는 ｉｏｍｍｕ KR101575827B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/508,890 2009-07-24
US12/508,890 US9535849B2 (en) 2009-07-24 2009-07-24 IOMMU using two-level address translation for I/O and computation offload devices on a peripheral interconnect

Publications (2)

Publication Number Publication Date
KR20120044370A KR20120044370A (ko) 2012-05-07
KR101575827B1 true KR101575827B1 (ko) 2015-12-08

Family

ID=43013181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127004961A KR101575827B1 (ko) 2009-07-24 2010-07-24 주변장치 상호연결에서 ｉ/ｏ 및 계산 오프로드 디바이스들을 위해 2-레벨 어드레스 변환을 사용하는 ｉｏｍｍｕ

Country Status (7)

Country Link
US (1) US9535849B2 (ko)
EP (1) EP2457165B1 (ko)
JP (1) JP5680642B2 (ko)
KR (1) KR101575827B1 (ko)
CN (1) CN102498478B (ko)
IN (1) IN2012DN00935A (ko)
WO (1) WO2011011768A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018013267A1 (en) * 2016-07-11 2018-01-18 Intel Corporation Restricted address translation to protect against device-tlb vulnerabilities

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8386745B2 (en) * 2009-07-24 2013-02-26 Advanced Micro Devices, Inc. I/O memory management unit including multilevel address translation for I/O and computation offload
US8327055B2 (en) * 2010-04-12 2012-12-04 International Business Machines Corporation Translating a requester identifier to a chip identifier
US8341340B2 (en) * 2010-07-21 2012-12-25 Seagate Technology Llc Multi-tier address mapping in flash memory
US20120246381A1 (en) * 2010-12-14 2012-09-27 Andy Kegel Input Output Memory Management Unit (IOMMU) Two-Layer Addressing
US9606936B2 (en) * 2010-12-16 2017-03-28 Advanced Micro Devices, Inc. Generalized control registers
US9916257B2 (en) * 2011-07-26 2018-03-13 Intel Corporation Method and apparatus for TLB shoot-down in a heterogeneous computing system supporting shared virtual memory
JP6402034B2 (ja) * 2011-09-13 2018-10-10 フェイスブック，インク． コンピュータ内の情報を安全に保つシステム及び方法
US8719464B2 (en) * 2011-11-30 2014-05-06 Advanced Micro Device, Inc. Efficient memory and resource management
US20130262736A1 (en) * 2012-03-30 2013-10-03 Ati Technologies Ulc Memory types for caching policies
US9081706B2 (en) * 2012-05-10 2015-07-14 Oracle International Corporation Using a shared last-level TLB to reduce address-translation latency
WO2013177313A2 (en) 2012-05-22 2013-11-28 Xockets IP, LLC Processing structured and unstructured data using offload processors
US9286472B2 (en) 2012-05-22 2016-03-15 Xockets, Inc. Efficient packet handling, redirection, and inspection using offload processors
US20140052899A1 (en) * 2012-08-18 2014-02-20 Yen Chih Nan Memory address translation method for flash storage system
US9424199B2 (en) * 2012-08-29 2016-08-23 Advanced Micro Devices, Inc. Virtual input/output memory management unit within a guest virtual machine
US9069690B2 (en) * 2012-09-13 2015-06-30 Intel Corporation Concurrent page table walker control for TLB miss handling
KR101934519B1 (ko) 2012-11-26 2019-01-02 삼성전자주식회사 저장 장치 및 그것의 데이터 전송 방법
US9378161B1 (en) 2013-01-17 2016-06-28 Xockets, Inc. Full bandwidth packet handling with server systems including offload processors
US20140201408A1 (en) 2013-01-17 2014-07-17 Xockets IP, LLC Offload processor modules for connection to system memory, and corresponding methods and systems
US9396011B2 (en) * 2013-03-12 2016-07-19 Qualcomm Incorporated Algorithm and apparatus to deploy virtual machine monitor on demand
US9477603B2 (en) 2013-09-05 2016-10-25 Facebook, Inc. System and method for partitioning of memory units into non-conflicting sets
US9983894B2 (en) 2013-09-25 2018-05-29 Facebook, Inc. Method and system for providing secure system execution on hardware supporting secure application execution
US10049048B1 (en) 2013-10-01 2018-08-14 Facebook, Inc. Method and system for using processor enclaves and cache partitioning to assist a software cryptoprocessor
US9239804B2 (en) * 2013-10-03 2016-01-19 Advanced Micro Devices, Inc. Back-off mechanism for a peripheral page request log
US9747450B2 (en) 2014-02-10 2017-08-29 Facebook, Inc. Attestation using a combined measurement and its constituent measurements
US9734092B2 (en) 2014-03-19 2017-08-15 Facebook, Inc. Secure support for I/O in software cryptoprocessor
CN105765545B (zh) 2014-07-15 2018-10-12 华为技术有限公司 PCIe I/O设备共享方法及设备与互联系统
US20160077981A1 (en) * 2014-09-12 2016-03-17 Advanced Micro Devices, Inc. Method and Apparatus for Efficient User-Level IO in a Virtualized System
US9632948B2 (en) * 2014-09-23 2017-04-25 Intel Corporation Multi-source address translation service (ATS) with a single ATS resource
KR102320044B1 (ko) * 2014-10-02 2021-11-01 삼성전자주식회사 Pci 장치, 이를 포함하는 인터페이스 시스템, 및 컴퓨팅 시스템
US10013385B2 (en) * 2014-11-13 2018-07-03 Cavium, Inc. Programmable validation of transaction requests
JP6070732B2 (ja) * 2015-01-27 2017-02-01 日本電気株式会社 入出力制御装置、入出力制御システム、入出力制御方法、および、プログラム
US9495303B2 (en) * 2015-02-03 2016-11-15 Intel Corporation Fine grained address remapping for virtualization
CN104598298A (zh) * 2015-02-04 2015-05-06 上海交通大学 基于虚拟机当前工作性质以及任务负载的虚拟机调度算法
CN104698709A (zh) * 2015-04-01 2015-06-10 上海天马微电子有限公司 一种阵列基板和液晶显示面板
US10089275B2 (en) * 2015-06-22 2018-10-02 Qualcomm Incorporated Communicating transaction-specific attributes in a peripheral component interconnect express (PCIe) system
US10853277B2 (en) 2015-06-24 2020-12-01 Intel Corporation Systems and methods for isolating input/output computing resources
US10102116B2 (en) 2015-09-11 2018-10-16 Red Hat Israel, Ltd. Multi-level page data structure
US10310974B2 (en) 2015-09-25 2019-06-04 Intel Corporation Systems and methods for input/output computing resource control
US9852107B2 (en) * 2015-12-24 2017-12-26 Intel Corporation Techniques for scalable endpoint addressing for parallel applications
US10509729B2 (en) 2016-01-13 2019-12-17 Intel Corporation Address translation for scalable virtualization of input/output devices
US10055807B2 (en) 2016-03-02 2018-08-21 Samsung Electronics Co., Ltd. Hardware architecture for acceleration of computer vision and imaging processing
US10762030B2 (en) 2016-05-25 2020-09-01 Samsung Electronics Co., Ltd. Storage system, method, and apparatus for fast IO on PCIE devices
EP3338194B1 (en) 2016-05-31 2022-12-07 Avago Technologies International Sales Pte. Limited Multichannel input/output virtualization
US10241931B2 (en) * 2016-07-29 2019-03-26 Advanced Micro Devices, Inc. Controlling access to pages in a memory in a computing device
US20180088978A1 (en) * 2016-09-29 2018-03-29 Intel Corporation Techniques for Input/Output Access to Memory or Storage by a Virtual Machine or Container
US10157277B2 (en) * 2016-10-01 2018-12-18 Intel Corporation Technologies for object-oriented memory management with extended segmentation
US10417140B2 (en) * 2017-02-24 2019-09-17 Advanced Micro Devices, Inc. Streaming translation lookaside buffer
US10120813B2 (en) * 2017-03-08 2018-11-06 Arm Limited Address translation
US10380039B2 (en) 2017-04-07 2019-08-13 Intel Corporation Apparatus and method for memory management in a graphics processing environment
US10228981B2 (en) 2017-05-02 2019-03-12 Intel Corporation High-performance input-output devices supporting scalable virtualization
US10528474B2 (en) * 2017-09-06 2020-01-07 International Business Machines Corporation Pre-allocating cache resources for a range of tracks in anticipation of access requests to the range of tracks
CN109698845B (zh) * 2017-10-20 2020-10-09 华为技术有限公司 数据传输的方法、服务器、卸载卡及存储介质
WO2019132976A1 (en) * 2017-12-29 2019-07-04 Intel Corporation Unified address translation for virtualization of input/output devices
US20190227942A1 (en) * 2018-01-24 2019-07-25 Dell Products, Lp System and Method to Handle I/O Page Faults in an I/O Memory Management Unit
US10990436B2 (en) * 2018-01-24 2021-04-27 Dell Products L.P. System and method to handle I/O page faults in an I/O memory management unit
US11157635B2 (en) * 2018-04-08 2021-10-26 Qualcomm Incorporated Secure interface disablement
US11513924B2 (en) 2018-08-22 2022-11-29 Intel Corporation Flexible memory mapped input/output (I/O) space definition for a virtual device in a scalable I/O virtualization (S-IOV) architecture
JP7158493B2 (ja) 2018-11-01 2022-10-21 株式会社クラレ 照光繊維
US10929310B2 (en) * 2019-03-01 2021-02-23 Cisco Technology, Inc. Adaptive address translation caches
US11036649B2 (en) 2019-04-04 2021-06-15 Cisco Technology, Inc. Network interface card resource partitioning
US11494211B2 (en) * 2019-04-22 2022-11-08 Advanced Micro Devices, Inc. Domain identifier and device identifier translation by an input-output memory management unit
US10853263B1 (en) 2019-07-23 2020-12-01 Ati Technologies Ulc Unified kernel virtual address space for heterogeneous computing
CN111290829B (zh) * 2020-01-15 2023-05-02 海光信息技术股份有限公司 访问控制模组、虚拟机监视器及访问控制方法
US11422944B2 (en) * 2020-08-10 2022-08-23 Intel Corporation Address translation technologies
US11321238B2 (en) * 2020-08-11 2022-05-03 Micron Technology, Inc. User process identifier based address translation
US12086082B2 (en) * 2020-09-21 2024-09-10 Intel Corporation PASID based routing extension for scalable IOV systems
US11775210B2 (en) * 2020-10-14 2023-10-03 Western Digital Technologies, Inc. Storage system and method for device-determined, application-specific dynamic command clustering
CN112395220B (zh) * 2020-11-18 2023-02-28 海光信息技术股份有限公司 共享存储控制器的处理方法、装置、系统及存储控制器
US11860792B2 (en) 2021-05-04 2024-01-02 Red Hat, Inc. Memory access handling for peripheral component interconnect devices
US11900142B2 (en) 2021-06-16 2024-02-13 Red Hat, Inc. Improving memory access handling for nested virtual machines
US11797178B2 (en) * 2021-07-16 2023-10-24 Hewlett Packard Enterprise Development Lp System and method for facilitating efficient management of data structures stored in remote memory
CN114201269B (zh) * 2022-02-18 2022-08-26 阿里云计算有限公司 内存换页方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070168643A1 (en) 2006-01-17 2007-07-19 Hummel Mark D DMA Address Translation in an IOMMU
US20090187697A1 (en) 2008-01-22 2009-07-23 Serebrin Benjamin C Execute-Only Memory and Mechanism Enabling Execution From Execute-Only Memory for Minivisor

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04308953A (ja) * 1991-04-05 1992-10-30 Kyocera Corp 仮想アドレス計算機装置
US6856420B1 (en) * 2000-07-31 2005-02-15 Hewlett-Packard Development Company, L.P. System and method for transferring data within a printer
US8041878B2 (en) * 2003-03-19 2011-10-18 Samsung Electronics Co., Ltd. Flash file system
US7444493B2 (en) * 2004-09-30 2008-10-28 Intel Corporation Address translation for input/output devices using hierarchical translation tables
US7334107B2 (en) * 2004-09-30 2008-02-19 Intel Corporation Caching support for direct memory access address translation
US7225287B2 (en) * 2005-06-01 2007-05-29 Microsoft Corporation Scalable DMA remapping on a computer bus
US20060288130A1 (en) * 2005-06-21 2006-12-21 Rajesh Madukkarumukumana Address window support for direct memory access translation
US7793067B2 (en) * 2005-08-12 2010-09-07 Globalfoundries Inc. Translation data prefetch in an IOMMU
US7543131B2 (en) * 2005-08-12 2009-06-02 Advanced Micro Devices, Inc. Controlling an I/O MMU
US7426626B2 (en) * 2005-08-23 2008-09-16 Qualcomm Incorporated TLB lock indicator
US7548999B2 (en) * 2006-01-17 2009-06-16 Advanced Micro Devices, Inc. Chained hybrid input/output memory management unit
US7734842B2 (en) * 2006-03-28 2010-06-08 International Business Machines Corporation Computer-implemented method, apparatus, and computer program product for managing DMA write page faults using a pool of substitute pages
US7636800B2 (en) * 2006-06-27 2009-12-22 International Business Machines Corporation Method and system for memory address translation and pinning
US7849287B2 (en) * 2006-11-13 2010-12-07 Advanced Micro Devices, Inc. Efficiently controlling special memory mapped system accesses
US7873770B2 (en) * 2006-11-13 2011-01-18 Globalfoundries Inc. Filtering and remapping interrupts
US7707383B2 (en) * 2006-11-21 2010-04-27 Intel Corporation Address translation performance in virtualized environments
US8032897B2 (en) * 2007-07-31 2011-10-04 Globalfoundries Inc. Placing virtual machine monitor (VMM) code in guest context to speed memory mapped input/output virtualization
US8145876B2 (en) * 2007-08-06 2012-03-27 Advanced Micro Devices, Inc. Address translation with multiple translation look aside buffers
US8352705B2 (en) * 2008-01-15 2013-01-08 Vmware, Inc. Large-page optimization in virtual memory paging systems
US8055827B2 (en) * 2009-01-26 2011-11-08 Advanced Micro Devices, Inc. Guest interrupt controllers for each processor to aid interrupt virtualization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070168643A1 (en) 2006-01-17 2007-07-19 Hummel Mark D DMA Address Translation in an IOMMU
US20090187697A1 (en) 2008-01-22 2009-07-23 Serebrin Benjamin C Execute-Only Memory and Mechanism Enabling Execution From Execute-Only Memory for Minivisor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018013267A1 (en) * 2016-07-11 2018-01-18 Intel Corporation Restricted address translation to protect against device-tlb vulnerabilities
US10048881B2 (en) 2016-07-11 2018-08-14 Intel Corporation Restricted address translation to protect against device-TLB vulnerabilities

Also Published As

Publication number Publication date
JP2013500524A (ja) 2013-01-07
CN102498478A (zh) 2012-06-13
IN2012DN00935A (ko) 2015-04-03
JP5680642B2 (ja) 2015-03-04
WO2011011768A1 (en) 2011-01-27
US20110022818A1 (en) 2011-01-27
EP2457165A1 (en) 2012-05-30
KR20120044370A (ko) 2012-05-07
EP2457165B1 (en) 2018-07-04
US9535849B2 (en) 2017-01-03
CN102498478B (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
KR101575827B1 (ko) 주변장치 상호연결에서 ｉ/ｏ 및 계산 오프로드 디바이스들을 위해 2-레벨 어드레스 변환을 사용하는 ｉｏｍｍｕ
KR101614865B1 (ko) Ｉ/ｏ 및 계산 오프로드를 위해 복수레벨 어드레스 변환을 포함하는 ｉ/ｏ 메모리 관리 유닛
US7882330B2 (en) Virtualizing an IOMMU
US7673116B2 (en) Input/output memory management unit that implements memory attributes based on translation data
US7809923B2 (en) Direct memory access (DMA) address translation in an input/output memory management unit (IOMMU)
KR100871743B1 (ko) 직접 메모리 액세스 주소 변환을 위한 캐싱 지원
US7873770B2 (en) Filtering and remapping interrupts
US7849287B2 (en) Efficiently controlling special memory mapped system accesses
JP6067928B2 (ja) 属性フィールドのマルチコアページテーブルセット
US20070038839A1 (en) Controlling an I/O MMU
US20130080714A1 (en) I/o memory translation unit with support for legacy devices
US9720773B2 (en) Managing reuse information in caches
KR20080080594A (ko) 메모리 액세스 데이터 구조에 기초하는 직접 캐시 액세스트랜잭션의 수행
US20160259732A1 (en) Managing reuse information for memory pages
US10013360B2 (en) Managing reuse information with multiple translation stages
US9471509B2 (en) Managing address-independent page attributes
WO2023064590A1 (en) Software indirection level for address translation sharing

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 5