KR100634187B1 - 데이터 처리 시스템의 메모리 서브시스템에서 공급자 기반메모리 예측 방법 및 시스템 - Google Patents

데이터 처리 시스템의 메모리 서브시스템에서 공급자 기반메모리 예측 방법 및 시스템 Download PDF

Info

Publication number
KR100634187B1
KR100634187B1 KR1020040102857A KR20040102857A KR100634187B1 KR 100634187 B1 KR100634187 B1 KR 100634187B1 KR 1020040102857 A KR1020040102857 A KR 1020040102857A KR 20040102857 A KR20040102857 A KR 20040102857A KR 100634187 B1 KR100634187 B1 KR 100634187B1
Authority
KR
South Korea
Prior art keywords
memory
access
row
imc
memory controller
Prior art date
Application number
KR1020040102857A
Other languages
English (en)
Other versions
KR20050056873A (ko
Inventor
아리밀리라비쿠마르
가이산제브
마울레워렌에드워드
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20050056873A publication Critical patent/KR20050056873A/ko
Application granted granted Critical
Publication of KR100634187B1 publication Critical patent/KR100634187B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3824—Operand accessing
    • G06F9/383—Operand prefetching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0215—Addressing or allocation; Relocation with look ahead addressing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3824—Operand accessing
    • G06F9/383—Operand prefetching
    • G06F9/3832—Value prediction for operands; operand history buffers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Memory System (AREA)

Abstract

데이터 처리 시스템은 하나 이상의 처리 코어, 다수의 데이터 기억 행을 구비한 시스템 메모리, 및 상기 시스템 메모리에 대한 액세스를 제어하고 공급자 기반 메모리 예측(supplier-based memory speculation)을 수행하는 메모리 제어기를 포함한다. 메모리 제어기는 이전 메모리 액세스에 관한 이력 정보를 기억하는 메모리 예측 테이블(memory speculation table)을 포함한다. 메모리 액세스 요구에 응답하여, 메모리 제어기는 메모리 액세스 요구에 대하여 서비스하기 위해 시스템 메모리의 선택된 행에 대한 액세스를 지시한다. 메모리 제어기는 선택된 행이 메모리 예측 테이블의 이력 정보에 기초하여 액세스 다음에 계속적으로 여기되는 것을 예측적으로 지시(speculatively direct)하여, 곧바로 후속하는 메모리 액세스의 액세스 대기 시간이 감소되게 한다.

Description

데이터 처리 시스템의 메모리 서브시스템에서 공급자 기반 메모리 예측 방법 및 시스템 {METHOD AND SYSTEM FOR SUPPLIER-BASED MEMORY SPECULATION IN A MEMORY SUBSYSTEM OF A DATA PROCESSING SYSTEM}
도 1은 본 발명의 일 실시예에 따른 데이터 처리 시스템의 고레벨 블록도.
도 2는 도 1의 데이터 처리 시스템에서 사용할 수 있는 예시적인 듀얼 인라인 메모리 모듈(DIMM)의 고레벨 블록도.
도 3은 본 발명의 일 실시예에 따른 시스템 메모리 제어기의 메모리 예측 테이블(MST; memory speculation table)의 고레벨 블록도.
도 4는 도 3의 MST 내의 행 예측 필드의 예시적인 실시예의 보다 더 상세한 도면.
도 5a는 본 발명의 일 실시예에 따른 메모리 기반 타이밍 예측 처리의 고레벨 논리 흐름도.
도 5b는 본 발명의 일 실시예에 따른 메모리 기반 행 예측 처리의 고레벨 논리 흐름도.
도 6은 본 발명에 따른 메모리 기반 타이밍 및 행 예측을 설명하는 타이밍도.
도 7은 본 발명에 따른 다수의 메모리 예측 테이블을 가진 집적된 메모리 제 어기의 다른 실시예의 고레벨 블록도.
도 8은 본 발명의 일 실시예에 따른 예시적인 스누프 응답 포맷의 블록도.
도 9는 본 발명의 일 실시예에 따른 집적된 메모리 제어기(IMC)의 일 실시예의 더 상세한 블록도.
도 10은 도 9의 MST의 더 상세한 블록도.
도 11은 본 발명의 일 실시예에 따른 예시적인 행 액세스 선택(RAS) 상태 기계의 상태도.
도 12a 내지 도 12d는 도 9의 IMC의 중앙 상태 기계가 관련 시스템 메모리에 대한 메모리 액세스 대기 시간을 최적화하기 위해 메모리 기반 타이밍 및 행 예측을 함께 이용하는 처리의 고레벨 논리 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
8: 데이터 처리 시스템
10a-10n: 처리 유닛
12: 상호 접속부
14: 프로세서 코어
16: 캐시 계층
18: 집적된 메모리 제어기(IMC)
20: 메모리 예측 테이블(MST)
22a-22n: 시스템 메모리
24a-24d: 리드라이브 칩
26a-26h: 듀얼 인라인 메모리 모듈(DIMM)
30: 응답 로직
50: 메모리 어레이
60: 행 디코더
62: 감지 증폭기
64: 열 디코더
66: I/O 회로
68: 제어 회로
본 발명은 일반적으로 데이터 처리에 관한 것이고, 특히 데이터 처리 시스템, 데이터 처리 시스템의 개선된 메모리 서브시스템 및 메모리 제어기에 관한 것이다. 보다 구체적으로, 본 발명은 데이터 처리 시스템의 메모리 서브시스템의 스레드 기반 예측(thread-based speculation)의 방법 및 시스템에 관한 것이다.
대칭적 다중 처리 장치(SMP) 컴퓨터 시스템은 종래에 하나 이상의 DIMM(듀얼 인라인 메모리 모듈)에 대한 액세스를 제어하는 단일의 공통 메모리 제어기에 3 상태 버스에 의해 결합된 다수의 프로세서 칩으로 구현되었다. 이러한 종래 구성은 확장성(scalability)이 부족하고 액세스 대기 시간(access latency)이 높기 때문에, 보다 최근의 다중 처리 장치 컴퓨터 시스템은 다수의 처리 유닛이 스위치에 의해 함께 결합되고 각각의 처리 유닛 다이가 다수의 외부 DIMM에 결합된 하나의 레벨 또는 그 이상의 레벨의 캐시 메모리 및 집적된 메모리 제어기에 의해 지지되는 다수의 프로세서 코어를 포함하는 시스템 온 칩(SOC) 패러다임으로 이동하였다. 각각의 SOC 처리 유닛 다이는 그 자신의 집적된 메모리 제어기를 포함하기 때문에, 범위성은 이전의 SMP 구조보다도 개선된다. 그러나, 비록 절대적 메모리 대기 시간이 물리적으로 더 근접한 DIMM에 맵된 어드레스에 대한 메모리 액세스의 백분율(percentage)을 감소시키지만, 현재의 SOC 기반 시스템 설계의 평균 메모리 액세스 대기 시간에서의 개선은 증가하는 프로세서 클럭 주파수에 여전히 비례하지 못하고 있다.
전술한 메모리 서브시스템 설계 동향 외에도, 프로세서 코어가 메모리 액세스를 관리하는 방법을 개선함으로써 평균적인 명령어 당 사이클(cycles per instruction: CPI)을 감소시키기 위해 프로세서 코어 설계에 대한 개선이 또한 이루어지고 있다. 특히, 이들 개선은 고도의 비순차적(out-of-order) 명령어 실행, 다단계 브랜치 예측, 동시 다중 스레딩(SMT), 및 예측 데이터 및 명령어 프리페칭의 지원을 포함한다. 이들 특징들 각각의 목적은 메모리 서브시스템으로부터 데이터의 검색을 필요로 하기 전에 미리 개시함으로써 명백한 메모리 액세스 대기 시간을 마스크하기 위한 것이다. 이 개선점들은 모두 프로세서 코어에서 점증하는 로직의 양이 메모리 서브시스템에 대한 액세스 제어에 충당되는 공동 "소비자 제어" 설계 원리를 반영하여 프로세서 코어를 더 복잡하고 대형화시킨다.
프로세서 코어의 전술한 개선점들이 현재 및 가까운 장래의 메모리 및 프로세서 기술과 동작 주파수에 대하여 실질적인 성능적 잇점을 제공하지만, 본 발명은 프로세서 코어 설계의 추가적인 복잡성이 프로세서 코어 동작 주파수의 계획된 미래의 증가에 비례하는 평균적인 메모리 액세스 대기 시간의 개선을 가져올 것 같지 않다는 것을 인식한다. 따라서, 본 발명은 명백한 메모리 액세스 대기 시간을 더욱 감소시키기 위하여 메모리 서브시스템의 적어도 부분적인 "공급자 기반" 제어를 구현하는 혁신적인 방법, 메모리 제어기 및 데이터 처리 시스템을 제공한다.
일 실시예에 있어서, 데이터 처리 시스템은 하나 이상의 처리 코어, 다수의 데이터 기억 행을 구비한 시스템 메모리, 및 시스템 메모리에 대한 액세스를 제어하고 공급자 기반 메모리 예측(supplier-based memory speculation)을 구현하는 메모리 제어기를 포함한다. 메모리 제어기는 이전 메모리 액세스에 관한 이력 정보(historical information)를 기억하는 메모리 예측 테이블(memory speculation table)을 포함한다. 메모리 액세스 요구에 응답하여, 메모리 제어기는 메모리 액세스 요구에 대하여 서비스하기 위해 시스템 메모리의 선택된 행에 대한 액세스를 지시한다. 메모리 제어기는 메모리 예측 테이블의 이력 정보에 기초하여 액세스 다음의 상기 선택된 행에 행 선택 신호를 예측적으로 인가하여, 곧바로 후속하는 메모리 액세스의 액세스 대기 시간이 감소되게 한다.
본 발명의 모든 목적, 특징 및 장점들은 이하의 상세한 설명으로부터 명백하게 될 것이다.
본 발명의 신규의 특징이라고 믿어지는 특성은 청구 범위에 기재하였다. 그 러나, 본 발명 및 그 양호한 사용 모드는 첨부 도면과 함께 예시적인 실시예의 이하의 상세한 설명으로부터 최상으로 이해될 것이다.
이하 도면들을 참조하면, 도 1에는 본 발명의 일 실시예에 따라 메모리 액세스 대기 시간이 감소된 예시적인 데이터 처리 시스템(8)의 고레벨 블록도가 도시되어 있다. 도시된 바와 같이, 데이터 처리 시스템(8)은 상호 접속부(12)에 의해 통신을 행하도록 결합된 복수의 처리 유닛(10a-10n)을 포함한다. 상호 접속부(12)는 예를 들면 하나 이상의 어드레스, 데이터 및 제어 버스에 의해, 또는 스위칭 패브릭에 의해, 또는 버스, 스위치 및/또는 기타 통신 링크를 포함한 상호 접속 네트워크에 의해 구현될 수 있다. 이 기술 분야에서 공지된 바와 같이, 상호 접속부(12)는 도시하지 않은 추가 부품들, 예를 들면 브릿지 및 어댑터에 추가로 결합될 수 있고, 이들은 입력/출력(I/O) 포트를 통한 통신 및 주변 장치(예를 들면, 비휘발성 기억 장치)와 추가의 처리 노드의 부착을 지원한다.
각각의 처리 유닛(10)은 하나 이상의 프로그램 스레드를 독립적으로 및 동시에 각각 실행할 수 있는 하나 이상의 프로세서 코어(14)를 포함한다. 각각의 처리 유닛(10)은 또한 프로세서 코어(14)에 의해 액세스되는 데이터 및 명령어에 대한 낮은 대기 시간 기억을 제공하기 위하여 프로세서 코어(14)에 결합된 캐시 계층(cache hierarchy)(16)을 포함한다. 캐시 계층(16)은 예를 들면, 각각의 프로세서 코어(14)에 대하여 별도의 2 갈래로 나뉘어진 레벨 1(L1) 명령어 및 데이터 캐시와, 다수의 프로세서 코어(14)에 의해 공유되는 대형의 레벨 2(L2) 캐시와, 선택적 으로 하나 이상의 추가의 레벨의 인라인 또는 색인(lookaside) 캐시 메모리를 포함할 수 있다. 상기 각각의 캐시는 종래식(또는 비종래식) 캐시 어레이와 캐시 디렉토리와 캐시 제어기를 포함할 수 있다. 캐시 계층(16)은 캐시 데이터 및 명령어의 일관성(coherency) 상태를 추적하기 위해 그 캐시 디렉토리 내에서 공지의 수정된 배타적 공유 무효(Modified, Exclusive, Shared, Invalid: MESI) 캐시 일관성 프로토콜 또는 그 변체를 바람직하게 구현한다. 이 방법으로, 메모리 일관성은 데이터 처리 시스템(8) 내의 모든 캐시 계층(16)을 통하여 유지될 수 있다.
각 처리 유닛(10)의 캐시 계층(16) 및 프로세서 코어(14)는 고주파수, 고대역폭 메모리 버스(21)에 의해 처리 유닛(10)에 결합된 외부 시스템 메모리(22)에 대한 액세스를 제어하는 집적된 메모리 제어기(IMC)(18)에 또한 결합된다. 모든 처리 유닛(10)의 시스템 메모리(22a-22n)들은 집합적으로 데이터 처리 시스템(8) 내에서 최저 레벨의 휘발성 메모리를 형성하고, 이 메모리는 상호 접속부(12)에서 발행된 요구 트랜잭션을 거쳐 모든 처리 유닛(10)에 일반적으로 액세스 가능하다.
이 기술 분야에서 공지된 바와 같이, 메모리 일관성은 디렉토리 기반 또는 스누프(snoop) 기반 일관성 프로토콜을 통하여 데이터 처리 시스템(8)과 같은 컴퓨터 시스템에 공통으로 유지된다. 어떤 메모리 일관성 방법도 본 발명에 따라 이용될 수 있지만, 이하에서는 데이터 처리 시스템(8)이 스누프 기반 일관성 프로토콜을 이용하는 것으로 가정한다.
스누프 기반 프로토콜에 따르면, 각 처리 유닛(10)은 상호 접속부(12)에서 발행된 각각의 요구 트랜잭션(예를 들면, 판독 요구, 수정 목적 판독 요구, 무효화 요구, 캐시 플러시 요구 등)을 스누프한다. 요구 트랜잭션의 스누핑에 응답하여, 각 처리 유닛(10)은 요구 트랜잭션을 처리하는 능력(또는 무능력), 및 선택적으로, 요구 트랜잭션(예를 들면, 요구 데이터의 제공, 캐시 데이터의 무효화, 캐시 데이터의 플러시 등)에 응답하여 수행하도록 처리 유닛(10)이 제안하는 하나 이상의 데이터 동작을 나타내는 스누프 응답을 공급한다. 이 스누프 응답은, 그 다음에 응답 로직(30)에 의해 컴파일되어 결합 응답을 생성하고, 상기 결합 응답은 요구 트랜잭션에 대한 서비스를 지시하기 위하여 상호 접속부(12)에 결합된 모든 처리 유닛(10)(및 어떤 다른 에이전트)에 제공된다.
응답 로직(30)은, 비록 명확히 하기 위해 별도로 도시하였지만, 특수한 처리 유닛(10)(또는 다른 에이전트)에 집적되거나 또는 다수의 처리 유닛(10)(또는 다른 에이전트)들 사이에 분산될 수 있다. 응답 로직(30)이 분산 방식으로 구현되는 경우, 응답 로직(30)의 부분들은 스누프 응답으로부터 부분적인 결합 응답들을 발생할 수 있고, 상기 부분적인 결합 응답들은 그 다음에 결합되어 데이터 처리 시스템(8)의 전체적인 결합 응답을 형성한다.
시스템 메모리(22)에 대하여 좀더 구체적으로 살펴보면, 예시적인 실시예에서, 각 시스템 메모리(22)는 다수(이 예에서는 2개)의 동적 랜덤 액세스 메모리(DRAM) 듀얼 인라인 메모리 모듈(DIMM)(26)에 대한 어드레스 및 데이터 접속을 각각 제공하는 다수의 재구동(RD) 칩(24a-24d)으로 구현된다. 즉, RD 칩(24a)은 DIMM(26c, 26g)에 접속되고, RD 칩(24d)은 DIMM(26d, 26h)에 접속된다. 각각 시스템 메모리(22)를 구성하는 DIMM(26)은 각각의 RD 칩(24a-24d)에 접속된 하나의 DIMM(26)을 각각 내포하는 다수의 "랭크"(28a-28b)로 추가로 조직된다. 예컨대, 랭크(28a)는 DIMM(26a-26d)을 포함하고, 랭크(28b)는 DIMM(26e-26h)을 포함한다. 실제 메모리 어드레스는 전체 캐시 라인 메모리 액세스의 액세스 대기 시간이 감소되도록 각 랭크(28)를 구성하는 DIMM(26)을 통하여 "스트립"될 수 있다.
이제 도 2를 참조하면, 도 1의 데이터 처리 시스템(8) 내의 DIMM(26)의 예시적인 구현예의 더 상세한 블록도가 도시되어 있다. 도 2에 도시된 바와 같이, DIMM(26)은 다수의 행(52) 및 열(54)에 DRAM 메모리 셀을 내포하는 DRAM 메모리 어레이(50)를 포함하고, 각각의 행 및 열의 조합은 특정의 유일한 실제 메모리 어드레스에 대응한다. 도 2에 도시된 바와 같이, 예시적 실시예에서, 각 열(54)은 8 바이트(64 비트) 폭을 갖는데, 이것은 32 바이트 워드의 실제 어드레스를 지정하는 메모리 액세스가 관련 랭크(28) 내의 4 개의 DIMM(26)의 각각으로부터 1 열(8 바이트)의 데이터를 참조하여 서비스된다는 것을 의미한다. 증대된 액세스 대역폭을 제공하기 위해, 행(52)들은 m개의 행(52)으로 이루어진 다수(이 예에서는 32개)의 뱅크(56)(예를 들면, 56a, 56b)로 조직되고, 메모리 어레이(50)는 32 뱅크의 각각에서 하나의 행(52)에 대한 동시 액세스를 지원한다. 이하에서 명백히 알 수 있는 바와 같이, 메모리 열의 폭, 뱅크 및 랭크의 수, 및 여기에서 설명하는 구현 의존 파라메터는 발명의 실시예마다 다를 것이다.
DIMM(26)은 또한 RD 칩(24)을 통해 IMC(18)로부터 수신된 제어 신호 및 어드레스(기록 액세스인 경우에는 데이터)에 응답하여 메모리 어레이(50)에 대한 판독 및 기록 액세스를 수행하기 위해 이용되는 제어 회로(68), 행 디코더(60), 감지 증 폭기(62), 열 디코더(64) 및 I/O 회로(66)를 포함한다. IMC(18)는 판독/기록(R/W) 제어선을 어서트(assert) 또는 디어서트(deassert)하고 RD 칩(24)에 실제 어드레스를 공급함으로써 DIMM(26)에 대한 메모리 액세스를 개시하고, 상기 RD 칩(24)은 그 다음에 제어 신호 및 실제 어드레스를 DIMM(26)에 공급한다. DIMM(26) 내의 제어 회로(68)는 행 액세스 선택(RAS) 라인의 어서트에 응답하여 관련 RD 칩(24)에 의해 제공된 실제 어드레스의 적어도 행 부분을 래치한다. 이 때, 행 디코더(60)는 메모리 어레이(50) 내의 특정 행(52)을 판독하기 위해 실제 어드레스의 행 부분을 디코드한다. 만일 행 어드레스가 바로 이전의 메모리 어레이(50)가 아닌 다른 행에 귀착되면, 제어 회로(68)는 프리차지 기간(tRP) 동안 감지 증폭기(62)를 프리차지한다.
이와 유사하게, 제어 회로(68)는 행 신호를 결정할 수 있도록 대기 시간 기간(tRCD)만큼 RAS 라인을 어서트한 다음에, 열(column) 액세스 선택(CAS) 라인의 어서트에 응답하여 관심 대상 실제 어드레스의 열 부분을 래치한다. 실제 어드레스의 열 부분은 열 디코더(64)에 의해 디코드되고, 상기 열 디코더(64)는 감지 증폭기(62)와 I/O 회로(66) 사이에서 실제 메모리 어드레스와 관련된 8 바이트의 데이터를 전송한다. CAS의 어서트와 I/O 회로(66)의 출력 핀에서 정확한 데이터가 나타날 때까지 사이의 기간은 tCAC로 표시한다.
따라서, DIMM(26)(또는 임의의 종래 DRAM 메모리)의 최악의 경우의 내부 메모리 액세스 대기 시간(tINT)은 일반적으로 tRP, tRCD 및 tCAC의 합으로 특징지을 수 있다. 판독 트랜잭션을 발행하는 프로세서 코어의 시각(perspective)으로부터, 총 액세스 대기 시간은 상기와 같은 내부 메모리 액세스 대기 시간(tINT)뿐만 아니라 추가의 통신 대기 시간(tCOM)도 포함한다. 예를 들면, 종래의 다중 처리 장치 데이터 처리 시스템에서, 메모리 제어기는 판독 트랜잭션이 하위 대기 시간 캐시 메모리에 의해 서비스되지 않는다는 것을 나타내는 결합 응답이 수신될 때까지 시스템 메모리에 대한 액세스를 개시하지 않는다. 종래의 다중 처리 장치 데이터 처리 시스템이 전체적으로 수 백의 프로세서 클럭 사이클일 수 있는 이러한 통신 대기 시간을 발생하는 주요 이유는 예를 들면 하위 대기 시간 캐시 메모리, 스누퍼 재시도 등에 대한 액세스에 의해 불필요한 것으로 간주될 수 있는 메모리 액세스에 의해 발생되는 전력 소모를 피하기 위한 것이다.
본 발명은 DIMM(26)의 내부 메모리 액세스 대기 시간(tINT) 및 통신 대기 시간(tCOM)을 감소시키기 위해 메모리 예측을 이용하는 메모리 제어기(예를 들면, IMC(18))를 구현함으로써 처리 유닛(10)이 받는 총 액세스 대기 시간을 개선한다. 양호한 실시예에 있어서, 각 IMC(18)는 상기와 같은 메모리 예측을 메모리 예측 테이블(MST)(20)(도 1) 또는 이하에서 설명하는 바와 같이 이력 액세스 정보를 저장하기 위한 다른 메카니즘을 참조하여 독립적으로 수행한다.
이제, 도 3을 참조하면, 본 발명의 일 실시예에 따른 MST(20)의 대표적인 실시예의 블록도가 도시되어 있다. 도시된 실시예에 있어서, MST(20)는 다수의 행(80)들을 포함하고, 이 행들은 각각 소프트웨어 엔티티(예를 들면, 스레드, 처리 또는 기타 엔티티) 분류의 각각의 예와 관련된다. 이 예에서, MST(20)는 데이터 처리 시스템(8)의 운영 체계(예를 들면, AIX, 윈도즈 또는 리눅스)에 의해 지원되는 각각의 스레드에 대하여 하나씩 128행을 포함한다. 각각의 스레드는 각종 액티브 스레드의 액세스 패턴이 독립적이라는 일반적인 가정하에 MST(20)의 그 자신의 행(80)과 조화된다.
MST(20)의 각 행(80)은 DIMM(26) 내의 각 뱅크(56)에 각각 대응하는 다수의 엔트리(82)(예를 들면, 82a, 82b)를 내포한다. 각 엔트리(82)는 타이밍 예측 필드(84) 및 행 예측 필드(86)의 적어도 하나, 바람직하게는 이들 모두를 포함한다. 타이밍 예측 필드(84)는 IMC(18)가 메모리 액세스 사이클을 개시하기 전에 선택된 일관성 메시지(예를 들면, 스누프 응답, 부분 결합 응답, 또는 완전 결합 응답)를 기다려야 하는지 여부를 나타내는 정보를 내포한다. 뒤에서 더 상세히 설명하는 바와 같이, IMC(18)는 타이밍 예측 필드(84)에 내포된 정보를 이용하여, 선택된 일관성 메시지 이전에 요구 트랜잭션에 대하여 서비스하도록 메모리 액세스 사이클을 예측적으로 개시함으로써 통신 대기 시간(tCOM)을 감소시킨다. 행 예측 필드(86)는 예측적 메모리 액세스가 DIMM(26)의 동일 행에 대하여 맵할 수 있는지의 여부를 나타내는 정보를 내포한다. 뒤에서 설명하는 바와 같이, IMC(18)는 행 예측 필드(86)에 내포된 상태 정보를 이용하여, 동일 행(52)에 대한 메모리 액세스가 후속될 수 있는 메모리 액세스 다음에 RAS의 어서트를 예측적으로 계속함으로써 내부 메모리 액세스 대기 시간(tINT)을 감소시킨다. IMC(18)는 2가지 유형의 예측을 스레드마다 독 립적으로 또는 함께 선택적으로 이용할 수 있다.
비록 타이밍 예측 필드(84)가 다양한 방법으로(예를 들면, 카운터로서) 구현될 수 있지만, 일 실시예에서, 타이밍 예측 필드(84)는 다중 비트(예를 들면, 8 비트) 이력 필드로서 구현되고, 이 때, 각 비트는 관련 뱅크 번호(예를 들면, 뱅크 5)의 기억 위치에 대한 실제 어드레스 맵핑을 가진 IMC(18)에 의해 수신된 바로 이전의 요구 트랜잭션의 각 트랜잭션을 나타낸다. 제1 비트 상태(예를 들면, "1")는 관련 요구 트랜잭션이 DIMM(16) 중 관련 DIMM을 액세스함으로써 서비스되었음을 표시한다. 따라서, IMC(18)는 특정 스레드에 의한 특정 메모리 뱅크에 대한 후속 액세스가 시스템 메모리(22)를 액세스함으로써 서비스될 수 있는지 여부를 이력 정보에 기초하여 결정할 수 있다. 이 결정에 기초해서, IMC(18)는 전체적인 액세스 대기 시간의 통신 대기 시간(tCOM) 성분을 감소시키기 위해 요구 트랜잭션의 수신에 응답하여 예측적 메모리 액세스 사이클을 선택적으로 및 지능적으로 개시할 수 있다.
행 예측 필드(86)는 유사하게 다수의 다른 방식으로 구현될 수 있다. 도 4에 도시된 한가지 예시적인 구현예에 있어서, 각각의 행 예측 필드(86)는 이력 정보가 기록되는 뱅크(56) 내의 각 행(52)에 각각 대응하는 하나 이상의 세그멘트(90)를 내포한다. 각 세그멘트(90)는 대응하는 행(52)을 식별하는 행 식별자(ID)(92)(또는 행 어드레스) 및 대기 시간 시각으로부터, 이전 액세스 다음에 RAS의 어서트를 계속함으로써 식별된 행(52)을 "개방" 상태로 유지하는 것이 유리한지 여부를 나타내 는 이력 비트(94)를 내포한다. 이 기술 분야에서 공지되어 있는 바와 같이, 동일 행(52)에 대한 2개의 연속적인 액세스 사이에 행(52)을 개방 상태로 유지하면 제2 액세스를 위한 적어도 RAS 대 CAS 대기 시간(tRCD)을 유리하게 제거한다. 따라서, 행(52)을 개방 상태로 유지하는 것이 유리한 동일 행(52)에 대한 연속 액세스는 제1 논리 상태("1")로 표시할 수 있고, 뱅크(56)의 다른 행에 대한 연속 액세스는 제2 논리 상태("0")로 표시할 수 있다. IMC(18)는, 이 이력 정보에 기초해서, 주어진 뱅크(56) 내에서 액세스되는 다음 행(52)이 될 수 있는 행(52)을 예측적으로 및 선택적으로 개방 상태로 유지함으로써 내부 액세스 대기 시간(tINT)을 감소시킬 수 있다.
도 4에 도시된 바와 같이, 행 예측 필드(86)가 하나 이상의 세그멘트(90)를 내포하는 실시예에서, 하나의 세그멘트(90a)는 바람직하게 "1차" 세그멘트로서 지정되고, 제2 세그멘트(90b)는 바람직하게 "2차" 세그멘트로서 지정된다. 1차 세그멘트(90a)는 IMC(18)가 액세스 다음에 예측적으로 "개방" 상태로 유지할 수 있는 "1차" 행(52)에 관한 이력 정보를 기록한다. 2차 세그멘트(90b)는 하나 이상의 최근 액세스에 기인하여, "1차" 행(52)을 교체하기 위한 후보가 될 수 있는 동일 뱅크(56) 내의 다른 "2차" 행(52)에 관한 이력 정보를 기록한다.
각 IMC(18)는 1차 행을, 및 만일 구현되었다면 2차 행을 교체하기 위한 선택된(또는 프로그램 가능한) 교체 방법론을 구현한다. 예를 들어, 각 세그멘트(90)가 특정 메모리 뱅크(56)에 대한 이전의 8 액세스에 관한 이력 정보를 기록하기 위해 8 이력 비트(94)를 이용하는 실시예에서, IMC(18)는 1차 및 2차 행(52) 이외의 뱅크(56) 내의 행(52)들에 대한 2개의 연속 액세스에 응답하여 2차 행 세그멘트(90b)의 행 ID 필드(92b)에서 식별된 2차 행(52)을 교체할 수 있다. 유사하게, IMC(18)는 1차 행(52)을 예측적으로 개방 상태로 유지함으로써 유리하지 않은 뱅크(56)에 대한 적어도 4개의 액세스를 나타내는 이력 비트(94a)(즉, 이력 비트(94a)는 적어도 4개의 제로("0")를 포함한다)에 응답하여 현재의 2차 행(52)에 의해 행 ID 필드(92a)에서 식별된 1차 행(52)을 교체할 수 있다.
IMC(18)에서 이용하는 행 예측 알고리즘에 따라서, 행 예측 필드(86)는 표시된 뱅크(56)에 대한 메모리 액세스와 관련한 추가의 이력 정보를 포함할 수 있다. 예를 들면, 위에서 설명한 대기 시간 개선 표시 외에, IMC(18)는 뱅크(56)에 대한 특정 액세스를 위하여 예측적으로 개방 상태를 유지하였는지 여부 및 임의의 다른 행이 그 액세스를 위하여 개방 상태를 유지하였는지 여부를 추가로 기록할 수 있다.
이제 도 5a를 참조하면, 선택된 일관성 메시지(예를 들면, 스누프 응답, 부분 결합 응답 또는 결합 응답)의 수신에 앞서 메모리 액세스 사이클을 예측적으로 개시하였는지 여부를 결정하기 위해 IMC(18)가 요구 트랜잭션을 처리하는 예시적인 처리의 고레벨 논리 흐름도가 도시되어 있다. 논리 흐름도로서 도시된 단계들의 일부는 동시에 수행될 수도 있고 또는 도시된 것과 상이한 순서로 수행될 수도 있다.
도시되어 있는 바와 같이, 처리는 IMC(18)가 상호 접속부(12)로부터 또는 그 처리 유닛(10) 내의 관련된 프로세서 코어(14)로부터 요구 트랜잭션(예를 들면, 데 이터 판독)을 수신한 것에 응답하여 블록 100에서 시작한다. 비록 상이한 구현예에서 IMC(18)가 상호 접속부(12)에서 요구 트랜잭션의 발행과 상이한 시간대에 관련된 프로세서 코어(14)에 의해 발행된 요구 트랜잭션을 수신할 수 있지만, 여기에서는 간단히 하기 위해 IMC(18)가 요구 트랜잭션이 상호 접속부(12)에서 발행된 때(예를 들면, 논리적 캐시 계층(16)에서의 미스(miss) 다음에) 관련 프로세서 코어(14)로부터 요구 트랜잭션을 수신하는 것으로 가정한다. 요구 트랜잭션은 바람직하게 트랜잭션 유형(예를 들면, 판독, 수정 목적 판독, 플러시, 소멸 등), 요구 트랜잭션을 발생한 명령어의 스레드 ID, 및 요구 어드레스를 포함한다.
처리는 그 다음에 블록 100으로부터 블록 102로 진행하고, 블록 102에서 IMC(18)는 요구 트랜잭션에 의해 지정된 요구 어드레스가 부착된 시스템 메모리(22)의 기억 위치에 할당되었는지 여부를 결정한다. 이 결정은, 예를 들면, 메모리 맵을 참조해서 및/또는 요구 트랜잭션에 의해 지정된 요구 어드레스를 해싱함으로써 행하여질 수 있다. 블록 102에서 요구 어드레스가 부착된 시스템 메모리(22)에 대하여 맵하지 않았다고 결정되면, IMC(18)는 블록 104에 도시된 바와 같이 지정된 요구 어드레스가 부착된 시스템 메모리(22)에 대하여 맵하지 않았음을 나타내는 무효(NULL) 스누프 응답을 제공한다. 도 7 및 도 8을 참조하여 뒤에서 설명하는 바와 같이, IMC(18)는 이전에 스누프된 요구에 관한 이력 정보를 선택적으로 제공할 수 있다. 그 다음에, 처리는 연결자(A)를 통과하여 블록 136에서 종료된다.
그러나, 블록 102에서, 지정된 메모리 어드레스가 부착된 시스템 메모리(22)에 대하여 맵하였다고 IMC(18)가 결정하면, IMC(18)는, 블록 105에 표시된 바와 같 이, 그 부착된 시스템 메모리(22)가 지정 요구 어드레스를 내포하는 어드레스 범위의 현재 "홈" 기억 위치임을 표시하는 홈(HOME) 스누프 응답을 제공한다. 위에서 설명한 바와 같이, 응답 로직(30)은 이 스누프 응답을 캐시 계층(16) 및 기타 IMC(18)에서 제공한 스누프 응답과 결합하여 요구 트랜잭션에 대한 데이터 처리 시스템(8)의 전체 응답을 나타내는 결합 응답을 생성한다.
블록 106에 표시된 바와 같이, IMC(18)는 또한 지정된 요구 어드레스가 예를 들면 메모리 맵을 참조해서 또는 요구 어드레스를 해싱함으로써 맵을 행할 부착된 시스템 메모리(22) 내의 메모리 뱅크(56)를 결정한다. 이 뱅크 번호 및 요구 트랜잭션에 포함된 스레드 ID를 이용해서, IMC(18)는 MST(20) 내의 대응하는 타이밍 예측 필드(84)를 액세스한다. 블록 108에 도시된 바와 같이, IMC(18)는 그 다음에 통상적으로는 메모리 액세스가 개시되어야 한다는 것을 나타내는 일관성 메시지(예를 들면, 스누프 응답, 부분 결합 응답 또는 결합 응답)의 수신에 앞서 예측적 메모리 액세스를 개시할 것인지 여부를 결정하기 위해 타이밍 예측 필드(84)에 내포된 이력 정보에 선택된 타이밍 예측 알고리즘을 적용한다. 타이밍 예측 필드(84)의 컨텐츠에 대하여 IMC(18)에 의해 적용된 타이밍 예측 알고리즘은, 예를 들면, 타이밍 예측 필드(84) 내의 비트들을 앤드(AND) 연산하는 것 및 그 결과가 논리적 "1"(이것은 이 스레드에 의해 이 메모리 뱅크(56)에 대해 행하여진 이전의 8개의 요구 트랜잭션이 시스템 메모리(22)로부터 IMC(18)에 의해 서비스되었다는 것을 의미함)인 경우에 예측하기로 결정하는 것을 포함할 수 있다. 대안적으로, IMC(18)는 이전의 8개의 액세스 중 선택된 번호(예를 들면, 6)가 시스템 메모리(22)로부터 IMC(18)에 의해 서비스된 경우 예측적 메모리 액세스를 개시하도록 결정할 수 있다. 타이밍 예측 알고리즘은 IMC(18)가 예를 들면 과거 예측 성공, 국지적(local) 또는 전체적(global) 전력 낭비에 대한 바람직한 제한의 강화, 또는 액세스 유형(예를 들면, 프리페치, 예비품 로드(load-with-reserve), 등)에 관한 정보와 같은 다른 인자들을 추가로 고려하는 것과 같이 다른 인자들을 또한 고려할 수 있다. 블록 108에서 IMC(18)가 제공한 타이밍 예측 알고리즘이 시스템 성능 모니터링 또는 컴파일러가 생성한 힌트에 기초하여 동적으로 선택할 수 있는 것도 또한 예상될 것이다.
만일 IMC(18)가 블록 108에서 예측적 메모리 액세스를 개시하지 않기로 결정하면, 처리는 블록 108로부터 블록 110을 지나 블록 112로 진행하며, 블록 112에서 IMC(18)는 임의의 어떤 메모리 액세스를 개시하기 전에 선택된 일관성 메시지(예를 들면, 부분 결합 응답 또는 결합 응답)의 수신을 기다린다. 일관성 메시지를 수신하였을 때, IMC(18)는, 블록 114에 도시된 바와 같이, 만일 일관성 메시지에 의해 표시되었다면 시스템 메모리(22)에 대한 액세스를 개시한다. 위에서 설명한 바와 같이, IMC(18)는 어드레스 및 제어 신호를 메모리 버스(21)를 통해 관련 RD 칩(24)에 제공함으로써 메모리 액세스를 개시하고, 관련 RD 칩(24)은 그 다음에 적당한 DIMM(26)에 그 신호들을 보낸다. 만일 일관성 메시지에 의해 IMC(18)가 요구 트랜잭션에 대하여 서비스할 책임이 있다고 표시되면, IMC(18)는 예를 들면 시스템 메모리(22)로부터 검색된 데이터를 요구자에게 제공함으로써, 블록 132에 표시된 데이터 동작을 수행한다. 또한, IMC(18)는 IMC(18)가 시스템 메모리(22)를 액세스함으로써 요구 트랜잭션에 대하여 서비스하였는지 여부를 표시하기 위해 MST(20)를 업데이트한다. 그 다음에, 처리는 블록 136에서 종료한다.
블록 108로 돌아가서, 만일 시스템 메모리(22)에 대한 예측적 액세스가 타이밍 예측 알고리즘을 예측적 타이밍 필드(84)의 컨텐츠에 적용한 것에 기초하여 개시되어야 한다고 IMC(18)가 결정하면, IMC(18)는 IMC(18)가 요구 트랜잭션에 대한 서비스의 책임이 있는지 여부를 표시하는 일관성 메시지를 수신(블록 122)하기 전에 위에서 설명한 방식으로 시스템 메모리(22)에 대한 메모리 액세스를 예측적으로 개시한다(블록 120). 만일 IMC(18)가 요구 트랜잭션에 대하여 서비스할 책임이 있음을, 즉 예측이 정확한 것이었음을 일관성 메시지가 표시한다고 IMC(18)가 블록 124에서 결정하면, IMC(18)는 블록 132 및 블록 134에 표시된 바와 같이, 크게 감소된 대기 시간으로 표시된 데이터 동작을 수행하고 MST(20)를 업데이트한다. 그러나, 만일 예측이 부정확하다고, 즉 IMC(18)가 요구 트랜잭션에 대하여 서비스할 책임이 없다고 일관성 메시지가 표시하면, IMC(18)는 블록 130에 도시된 바와 같이 요구 트랜잭션과 관련된 임의의 오류 데이터를 버린다(또한 시스템 메모리(22)가 버리게 한다). 그 다음에, IMC(18)는 블록 134에 도시된 바와 같이 MST(20)의 타이밍 예측 필드(84)를 업데이트하고, 처리는 블록 136에서 종료한다.
도 5a에 도시된 처리에 따라 메모리 기반 타이밍 예측을 통하여 달성된 대기 시간 감소는 도 6에 도시된 판독 트랜잭션의 타이밍도를 참조하면 잘 이해할 수 있다. 도 6에 도시된 RAS 및 CAS의 상태는 시스템 메모리(22) 내에서 이 신호들의 내부 상태를 나타내고 IMC(18)와 관련 시스템 메모리(22) 사이의 인터페이스에서 신호들의 상태를 반드시 나타낼 필요가 없다(즉, 그 상태와 상이할 수 있다)는 것을 이해하여야 한다.
도시된 바와 같이, 각각의 IMC(18)는 시간 t0에서 판독 요구 트랜잭션의 요구 어드레스(220)를 수신한다. 만일 IMC(18)가 그 부착된 시스템 메모리(22)에 대한 액세스를 예측적으로 개시하기로 결정하면, IMC(18)는 그 부착된 시스템 메모리(22)에 지정된 요구 어드레스(220)(또는 적어도 행 부분)를 제공하고, 만일 액티브 로우(active-low) RAS 신호가 이후 설명하는 행 기반 예측에 따라 이미 예측적으로 어서트되지 않았으면, 참조 번호 222로 표시한 바와 같이, 시간 t1에서 액티브 로우 RAS 신호가 어서트되게 한다. 이어서, IMC(18)는 참조 번호 230으로 표시한 바와 같이 시간 t2에서 액티브 로우 CAS 신호가 어서트되게 한다. 이어서, 시스템 메모리(22)는 시간 t3에서 바람직한 데이터(240)를 IMC(18)에 제공한다.
상호 접속부(12)에 결합된 각각의 스누핑 에이전트는, 시스템 메모리(22)에 예측적 액세스와 비동기적으로, 시간 tA에서 스누프 응답(250)을 제공하고, 응답 로직(30)은 스누프 응답을 결합하여 시간 tB에서 모든 에이전트에 제공되는 결합 응답(252)을 생성한다. 예측이 없을 때, IMC(18)는, 만일 필요하다면, 결합 응답(252)의 수신에 응답하여 시스템 메모리(22)에 대한 액세스를 개시할 것이다. 따라서, 본 발명에 따른 성공적인 타이밍 예측은 적어도 시간 t1과 tB 사이의 기간의 대기 시간 감소를 가져오고, 이것은 최소치에서 {tRCD + (t3-t2)}와 같다.
이제 도 5b를 참조하면, 본 발명의 일 실시예에 따라 이력 정보를 참조하여 행 예측을 선택적으로 이용함으로써 IMC(18)가 메모리 액세스 대기 시간의 내부 성분(tINT)을 감소시키는 예시적인 처리의 고레벨 흐름도가 도시되어 있다. 도시되어 있는 바와 같이, 처리는 IMC(18)가 상호 접속부(12)로부터 또는 그 처리 유닛(10) 내의 관련 프로세서 코어(14)로부터 요구 트랜잭션을 수신한 것에 응답하여 블록 150에서 시작한다. 전술한 바와 같이, 요구 트랜잭션은 바람직하게는 트랜잭션 유형(예를 들면, 판독, 수정 목적 판독, 플러시, 소멸 등), 요구 트랜잭션을 발생한 명령어의 스레드 ID, 및 요구 어드레스를 포함한다.
처리는 그 다음에 블록 150으로부터 블록 152로 진행하고, 블록 152에서 IMC(18)는 요구 트랜잭션에 의해 지정된 요구 어드레스가 부착된 시스템 메모리(22)의 기억 위치에 할당되었는지 여부를 결정한다. 이 결정은, 예를 들면, 메모리 맵을 참조해서 및/또는 요구 트랜잭션에 의해 지정된 요구 어드레스를 해싱함으로써 행하여질 수 있다. 블록 152에서 요구 어드레스가 부착된 시스템 메모리(22)에 대하여 맵하지 않았다고 결정되면, IMC(18)는, 블록 154에서, 지정된 요구 어드레스가 부착된 시스템 메모리(22)에 대하여 맵하지 않았음을 나타내는 무효(NULL) 스누프 응답을 제공한다. 위에서 언급하였고 또한 도 7 및 도 8을 참조하여 뒤에서 설명하는 바와 같이, IMC(18)는 이전에 스누프된 요구에 관한 이력 정보를 또한 선택적으로 제공할 수 있다. 그 다음에, 처리는 연결자(B)를 통하여 블록 182에서 종료된다.
그러나, 블록 152에서, 지정된 메모리 어드레스가 부착된 시스템 메모리(22) 에 대하여 맵하였다고 IMC(18)가 결정하면, IMC(18)는, 블록 156에서, 그 부착된 시스템 메모리(22)가 지정된 요구 어드레스와 관련된 데이터의 "홈" 기억 위치임을 표시하는 홈(HOME) 스누프 응답을 제공한다. 위에서 설명한 바와 같이, 응답 로직(30)은 이 스누프 응답을 캐시 계층(16) 및 기타 IMC(18)에서 제공한 스누프 응답과 결합하여 요구 트랜잭션에 대한 데이터 처리 시스템(8)의 전체 응답을 나타내는 결합 응답을 생성한다.
블록 158에 표시된 바와 같이, IMC(18)는 또한 지정된 요구 어드레스가 예를 들면 메모리 맵을 참조해서 및/또는 요구 어드레스를 해싱함으로써 맵을 행할 부착된 시스템 메모리(22) 내의 메모리 뱅크(56)를 결정한다. 또한, 블록 160에서, IMC(18)는 요구 트랜잭션에 응답하여 부착된 시스템 메모리(22)에 대한 메모리 액세스를 개시할 것인지 여부를 결정한다. IMC(18)는 도 5a를 참조하여 위에서 설명한 바와 같이 MST(20)를 참조하여 블록 160에 표시된 결정을 예측적으로 행할 수 있고, 또는 요구 트랜잭션의 결합 응답(또는 다른 지정된 일관성 메시지)의 수신에 응답하여 상기 결정을 간단히 행할 수 있다.
어느 경우이든, 부착된 시스템 메모리(22)에 대한 메모리 액세스가 궁극적으로 필요하지 않으면(예를 들면, 요구 트랜잭션이 하위 대기 시간 캐시 계층(16)을 참조하여 서비스되면), 처리는 블록 160으로부터 블록 180으로 진행한다. 블록 180은 IMC(18)가 이 요구 트랜잭션에 대하여 1차 행을 개방 상태로 유지하는 것이 대기 시간을 감소시키지 않는다는 것을 나타내기 위해 MST(20) 내의 관련 행 예측 필드(86)의 이력 비트(94)를 업데이트하는 것을 나타낸다. 위에서 언급한 바와 같이, IMC(18)는 행 예측 이력이 기록될 1차 및/또는 2차 행을 교체함으로써 행 예측 필드(86)를 대안적으로 또는 추가적으로 업데이트한다. 그 다음에, 도 5b에 도시된 처리는 블록 182에서 종료한다.
다시 블록 160으로 돌아가서, IMC(18)가 메모리 액세스를 개시하기로 결정한 것에 응답하여, IMC(18)는 블록 170에 도시한 바와 같이, 부착된 시스템 메모리(22)에 대한 요구된 판독 또는 기록 액세스를 수행한다. 또한, 블록 172에 도시한 바와 같이, IMC(18)는 관련 행 예측 필드(84)의 컨텐츠에 선택된 행 예측 알고리즘을 적용함으로써, 액세스 다음에 요구 어드레스를 내포하는 행(52)을 개방 상태로 유지할 것인지 여부를 결정한다. 위에서 언급한 바와 같이, IMC(18)는 블록 172에 도시된 결정을 행하기 위하여 다양한 다른 행 예측 알고리즘 중의 임의의 알고리즘을 이용할 수 있다. 예를 들면, IMC(18)는 만일 1차 행 세그멘트(90a)의 이력 비트(94a)의 선택된 갯수(예를 들면, 8개 중 6개)가 "1"이면, 및/또는 만일 가장 최근의 이력 비트(94a)의 연속적인 갯수(예를 들면, 4개)가 "1"이면, 행을 예측적으로 개방 상태로 남겨둘 수 있다. IMC(18)는 과거 예측 성공, 국지적 전력 낭비에 대한 바람직한 한계의 강화(예를 들면, 한번에 개방 상태로 유지할 수 있는 행의 총 수를 캐핑함으로써), 전체적인 전력 낭비, 또는 액세스 유형(예를 들면, 프리페치, 예비품 로드 등)에 관한 정보와 같은 다른 인자들을 대안적으로 또는 추가적으로 생각할 수 있다.
만일 IMC(18)가 행(52)을 예측적으로 개방 상태로 유지하기로 결정하면, IMC(18)(및/또는 RD 칩(24))는, 블록 178에 도시된 바와 같이, 동일한 메모리 뱅크 (56)에 대하여 IMC(18)에 의한 후속 메모리 액세스가 있을 때까지 RAS 신호가 시스템 메모리(22) 내에서 계속적으로 어서트되게 한다. 반면에, 만일 IMC(18)가 행(52)을 개방 상태로 유지하지 않기로 결정하면, IMC(18)는, 블록 176에 도시한 바와 같이, 액티브 로우 RAS 신호의 어서트가 임의의 후속 액세스에 관계없이 액세스 다음에 중단되게 한다. 어느 경우이든 IMC(18)는 블록 180에 도시한 바와 같이, 완료된 메모리 액세스의 결과를 반영하도록 MST(20) 내의 관련 행 예측 필드(86)를 업데이트한다. 그 다음에, 처리는 블록 182에서 종료한다.
도 6에 도시된 타이밍도를 다시 참조하면, 도 5b에 도시된 처리에 따라 행 예측을 통해 달성된 대기 시간 감소를 볼 수 있다. 위에서 언급한 것처럼, IMC(18)는 시간 t1에서 액티브 로우 RAS 신호가 어서트되게 함으로써 요구 어드레스(220)의 수신에 응답하여 행(52)에 저장된 데이터(240)에 대한 액세스를 개시한다. 그 다음에, IMC(18)는 액티브 로우 CAS 신호가 시간 t2에서 어서트 되게 하고, 이것은 DIMM(26)이 시간 t3에서 바람직한 데이터(240)를 출력(또는 저장)하게 한다.
도 5b에 도시된 행 예측 방법론에 따르면, IMC(18)는 참조 번호 224a로 표시한 바와 같이, 행(52)을 종래 방식으로 "폐쇄"하고 RAS가 디어서트되게 함으로써 뱅크(56)의 리프레시를 개시할 수 있다. 대안적으로, 관련 행 예측 필드(86)에 행 예측 알고리즘을 적용함으로써 표시된 경우, IMC(18)는, 참조 번호 232로 표시한 바와 같이, 적어도 하나의 후속 요구 어드레스(221)가 수신되고, DIMM(26)에 송신되고, CAS의 리어서트에 응답하여 래치된 후까지 RAS가 계속적으로 어서트되게 함 으로써 행(52)을 예측적으로 개방 상태로 남겨둘 수 있다. 동일한 행(52)(또는 예측 오류)에 대한 하나 이상의 추가적인 메모리 액세스 후에, IMC(18)는, 참조 번호 224b로 표시한 바와 같이, 행을 폐쇄하고 리프레시 사이클을 개시할 것이다. 이 방식으로, 내부 메모리 대기 시간(tINT)의 2/3 이상의 크기를 가질 수 있는 RAS 대 CAS 대기 시간(tRCD)은 행 예측이 정확함을 입증하는 데이터(242)에 대한 후속 액세스에 대하여 유리하게 제거된다. 그러나, 예측 오류의 페널티가 추가적인 전력 낭비 및 적어도 tRP(즉, 뱅크(56)를 리프레시하기 위해 필요한 t4와 t5 사이의 시간)의 예측 오류 액세스에 대한 액세스 대기 시간의 증가를 모두 포함하기 때문에, 높은 성공률을 가진 행 예측 알고리즘을 구현하는 것이 중요하다는 것을 알 것이다.
이 기술에 숙련된 사람이라면 전술한 행 예측 방법론이 소위 "버스트" 액세스를 포함하는 종래의 메모리 액세스와 크게 상이하다는 것을 이해할 것이다. 종래의 버스트 액세스에 있어서, 메모리 제어기는, 버스트 코맨드에 응답하여, RAS의 어서트를 계속하면서 메모리의 동일 행 내에서 다수 열의 데이터를 연속적으로 액세스한다. 그러나, 그 경우 다중 액세스 동안 RAS의 계속된 어서트는 다중 액세스가 모두 버스트 코맨드에 의해 지정되기 때문에 예측적으로 되지 않는다. 더욱이, 버스트를 포함한 모든 액세스들이 버스트 코맨드에 의해 지정되기 때문에, 메모리 제어기는 다중 액세스 동안에 RAS를 어서트함으로써 행을 개방 상태로 유지할 것인지 여부를 결정하기 위해 이력 정보(예를 들면, MST(20)에 기록된 것)을 참고하지 않는다.
본 발명에 의해 도입된 메모리 기반 타이밍 예측 및 행 예측은 IMC(18)간에 이력 정보를 공유함으로써 더욱 강화될 수 있다. 예를 들면, 도 7은 도 1의 데이터 처리 시스템(8)의 처리 유닛(10) 내에서 IMC(18)의 다른 실시예를 도시한 것이다. 도시되어 있는 바와 같이, 이 다른 실시예에서, 각 IMC(18)는 그 부착된 시스템 메모리(22)에 대한 1차 MST(20a) 뿐만 아니라 데이터 처리 시스템(8) 내의 각각의 다른 IMC(18)에 대한 추가의 새도우 MST(20b-20n)를 포함한다. 각각의 새도우 MST(20b-20n)는 각각의 관련된 IMC(18)의 MST(20a)의 컨텐츠의 약하게 동기화된 새도우 카피를 저장한다. IMC(18) 중의 각종 1차 MST(20a)에 내포된 분산 이력 정보를 공유함으로써, 타이밍 및 행 예측 정확성이 개선될 수 있다.
각종 IMC(18) 사이에서 1차 MST(20a)에 내포된 이력 정보를 통신하기 위해 다수의 상이한 기술이 이용될 수 있다. 도 8에 도시된 하나의 양호한 실시예에 있어서, IMC(18)에 의해 발생된 각각의 스누프 응답(260)은 종래의 스누프 정보(262) 뿐만 아니라, 요구 트랜잭션에 의해 지정된 특수한 스레드 ID 및 요구 어드레스와 관련된 MST 엔트리(82)의 컨텐츠를 내포하는 MST 엔트리 필드(264)를 포함한다. 일부 또는 모든 스누프 응답이 각 IMC(18)에 대하여 가시적이라고 가정하면, 각 IMC(18)의 스누프 응답에서 1차 MST(20a)로부터 MST 엔트리(82)의 카피를 포함하는 것은 다른 IMC(18)가 그들의 새도우 MST(20)를 적절히 업데이트하게 할 수 있다.
IMC(18)에 의한 타이밍 및 행 예측의 정확성은 IMC(18)에 추가의 이력 정보를 제공하도록 캐시 계층(16)을 설계함으로써 더욱 강화될 수 있다. 만일 데이터 처리 시스템(8)의 메모리 시스템 및 프로세서 코어(14)에 의해 실행되는 소프트웨 어가 잘 설계되면, 프로세서 코어(14)에 의해 요구되는 데이터 액세스 동작의 높은 백분율이 캐시 계층(16)에 의해 서비스되고, IMC(18)를 임의의 요구 지식으로부터 효과적으로 "차폐"할 것이다. 따라서, IMC(18)에 이력 데이터 액세스 정보를 제공하는 캐시 계층(16)이 없으면, IMC(18)는 데이터 액세스 동작의 총 수의 작은 백분율만을 나타내는 이력 정보에 기초하여 타이밍 및/또는 행 예측을 수행할 것이다.
따라서, 일 실시예에 있어서, 캐시 계층(16)의 캐시 제어기는 캐시 계층(16)을 참조하여 서비스된 데이터 액세스 요구로부터 모아진 적어도 스레드마다의 이력 뱅크 액세스 정보를 수집하여 IMC(18)에 보낸다. 이력 뱅크 액세스 정보는 요구 트랜잭션과 함께 또는 비동기 특수 용도 메시지를 통하여 IMC(18)와 통신될 수 있다. 이러한 이력 뱅크 액세스 정보는 그 다음에 행을 예측적으로 개방 상태로 유지할 것인지 여부를 결정할 때 IMC(18)에 의해 참조될 수 있다.
이제, 도 9를 참조하면, 본 발명의 일 실시예에 따른 IMC(18)의 일 실시예의 더욱 구체적인 블록도가 도시되어 있다. 도시되어 있는 바와 같이, IMC(18)는 로컬 프로세서 코어(14)로부터 및 다른 처리 유닛(10) 내의 프로세서 코어(14)로부터의 각종 메모리 액세스 요구를 요구 버퍼(300)에서 수신한다. 요구 버퍼(300)는 요구가 버려지거나 또는 중앙 상태 기계(306)의 지시하에 메모리 제어기(MC) 대기 행렬(queue)(302) 중의 하나에 할당될 때까지 각각의 상기 요구를 유지한다.
뒤에서 자세히 설명하는 바와 같이, MC 대기 행렬(302)은 선택된 수의 대기 행렬이 메모리 액세스 요구를 서비스하기 위해 시스템 메모리(22)의 각 뱅크에 할당될 수 있는 한정된 자원이다. 즉, 일단 메모리 액세스 요구가 중앙 상태 기계 (306)에 의해 요구 버퍼(300)로부터 MC 대기 행렬(302)로 전송되면, 중앙 상태 기계(306)는 (중재 메시지 없이) RAS 상태 기계(SM)(304) 및 메모리 예측 테이블(MST)(310)에 의해 제공된 이력 액세스 정보 및 메모리 액세스 요구에 따라 시스템 메모리(22)에 대한 액세스를 지시할 것이다. MC 대기 행렬(302)은 불충분한 자원이기 때문에, 만일 중앙 상태 기계(306)가 메모리 액세스 요구에 기초하여 시스템 메모리(22)에 대한 액세스를 개시할 필요가 있는 가능성이 높으면, 중앙 상태 기계(306)는 바람직하게 요구 버퍼(300) 내의 메모리 액세스 요구에 대기 행렬(302)만을 할당한다.
이제 도 10을 참조하면, 도 9의 MST(310)의 더 구체적인 블록도가 도시되어 있다. 도시되어 있는 바와 같이, MST(310)는 다수의 행(312)을 포함하고, 각 행은 관련 프로세서 코어(14)에 의해 지지되는 128개의 동시 스레드의 각각과 관련된다. 각 행(312)은 관련 시스템 메모리(22) 내에서 32개의 뱅크 각각에 대한 엔트리(314)(예를 들면, 314a, 314b)를 내포한다.
도 10에 도시된 바와 같이, 시스템 메모리(22)의 특정 뱅크에 대한 모든 엔트리(314)는 본질적으로 각 스레드에 대하여 2개의 세그멘트(316, 318)를 내포하는 128 엔트리 캐시를 형성한다. 각 엔트리(314) 내의 1차 세그멘트(316) 및 2차 세그멘트(318)는 행 ID 필드(320)와 2개의 이력 비트 필드(322, 324)에 의해 동일하게 구성된다.
이력 비트 필드(322)는 바람직하게 다중 비트(예를 들면, 4 비트) 이력 필드로서 구현되고, 각 비트는 행 ID 필드(320) 내에 표시된 행 ID 및 관련 뱅크에 대 하여 맵핑하는 실제 어드레스를 가진 IMC(18)에 의해 수신된 바로 이전의 요구 트랜잭션 중의 하나를 각각 나타낸다. 제1 비트 상태(예를 들면, "1")는 대응하는 메모리 액세스 요구가 관련된 하나의 DIMM(26)을 액세스함으로써 서비스되었음을 나타내고, 제2 비트 상태(예를 들면, "0")는 메모리 액세스 요구가 시스템 메모리(22)의 관련 DIMM(26)을 액세스하지 않고(예를 들면, 캐시 메모리(16)로부터 요구된 데이터를 획득함으로써) 서비스되었음을 나타낸다.
이력 비트 필드(324) 내의 비트들은 행 ID 필드(320)에 의해 식별된 행 및 관련 뱅크에 대하여 맵핑하는 바로 이전의 요구 트랜잭션이 시스템 메모리(22)에 대한 액세스없이 서비스되었는지 여부를 역으로 나타낸다. 따라서, 제1 비트 상태(예를 들면, "1")는 관련된 메모리 액세스 요구가 시스템 메모리(22)에 대한 액세스없이 서비스되었음을 나타내고, 제2 비트 상태(예를 들면, "0")는 메모리 액세스 요구가 시스템 메모리(22)에 대한 액세스에 의해 서비스되었음을 나타낸다. 따라서, 만일 이력 비트 필드(322)가 모두 1을 포함하면, 이력 비트 필드(324)는 모두 0을 포함하고, 만일 이력 비트 필드(324)가 모두 1을 포함하면 이력 비트 필드(322)는 모두 0을 포함할 것이다. 도 3을 참조하여 위에서 설명한 바와 같이, IMC(18)의 중앙 상태 기계(306)는 특정 스레드에 의해 특정 메모리 뱅크에 대한 후속 액세스가 시스템 메모리(22)를 액세스함으로써 서비스될 것인지 여부를 결정하기 위해 이력 비트 필드(322, 324) 내의 이력 정보를 이용한다. 이 결정에 기초해서, IMC(18)는 액세스 대기 시간의 통신 대기 시간(tcom)을 감소시키기 위하여 어떤 일관성 응답 메시지(예를 들면, 스누프 응답, 부분 결합 응답 또는 결합 응답) 이전에 예측적 메모리 액세스를 선택적으로 및 지능적으로 개시할 수 있다.
도 10과 도 3을 비교하면 알 수 있는 바와 같이, MST(310)는 MST(310)가 메모리 기반 행 예측에서 이용되는 이력 정보를 저장하지 않는다는 점에서 도 3의 MST(20)와 상이하다. 도 9에 도시된 IMC(18)의 실시예에 따라서, 메모리 기반 행 예측을 제어하기 위해 이용되는 이력 정보는 각각의 RAS 상태 기계(304) 내의 시스템 메모리(22)의 각 뱅크에 대하여 개별적으로 대신 유지된다.
이제 도 11을 참조하면, 본 발명의 일 실시예에 따른 예시적인 RAS 상태 기계(304)의 상태도가 도시되어 있다. 도시된 실시예는 6개의 상태(P-U)를 포함하고, 각 상태는 관련된 RAS 상태를 갖는다. 예를 들면, 상태 P에서, 관련 메모리 뱅크(56)에는 메모리 기반 행 예측이 없고, 액티브 로우 RAS 신호에 대한 디폴트 상태는 높은 논리 상태(예를 들면, "1")이다. 반대로, RAS 상태 기계(304)가 상태 Q에 있을 때, 중앙 상태 기계(306)는 액티브 로우 RAS 신호를 선택된 행 어드레스에 대하여 낮은 논리 상태(예를 들면, "0")로 예측적으로 유지함으로써 시스템 메모리(22)의 관련 뱅크(56)에 대하여 메모리 기반 행 예측을 이용한다.
RAS 상태 기계(304)는 예를 들면 우선 순위 순서에 기초해서 MC 대기 행렬(302)로부터 중앙 상태 기계(306)에 의해 선택된 메모리 액세스 요구들을 입력으로서 수신한다. 선의 스타일을 상이하게 하여 도 11에 도시된 바와 같이, RAS 상태 기계(304)는 3가지 유형의 입력에 기초하여 그 현재 상태를 평가한다.
(1) 관련 뱅크(314)에서 엔트리의 행 ID 필드(320)에서 지정한 행 ID 중 하 나와 일치하는 어드레스를 지정하고 관련 시스템 메모리(22)에 대한 액세스에 의해 서비스된 메모리 액세스 요구;
(2) 관련 메모리 뱅크에 대하여 엔트리(314)의 행 ID 필드(320) 중 하나에 표시된 행 ID 중 하나와 일치하는 어드레스를 지정하지만, 관련 시스템 메모리(22)에 대한 액세스에 의해 서비스되지 않는 메모리 액세스 요구; 및
(3) 프리 페치 요구로서 표시된 메모리 액세스 요구 또는 관련 뱅크에 대하여 관련 엔트리 세트에 저장된 어떤 ID와도 일치하지 않는 요구 어드레스를 지정하는 메모리 액세스 요구.
상기 3가지 메모리 액세스 요구는 각각 도 11에서 두꺼운 점선, 실선, 및 가는 점선으로 표시되어 있다.
동작시에, RAS 상태 기계(304)는 액티브 로우 RAS 신호가 논리 하이의 디폴트 상태를 가진 상태, 즉 메모리 기반 행 예측이 관련 메모리 뱅크(56)에 대하여 수행되지 않음을 의미하는 상태 P로 초기화된다. 즉, 메모리 뱅크(56) 내에서 특정 행을 예측적으로 개방 상태로 유지함으로써 큰 대기 시간 감소가 달성될 수 있다는 것을 제안하는 메모리 액세스 동작의 이력이 컴파일되지 않는 한, 메모리 기반 행 예측이 수행되지 않아서 전력 소모가 감소된다. 화살표 330, 340, 350 및 360으로 표시한 바와 같이, 모두 특정 행 어드레스를 지정하고 모두 시스템 메모리에 대한 액세스에 의해 서비스되는 비차단 순서(unbroken sequence)의 메모리 액세스 요구의 수신에 응답하여, 상태 기계(304)는 상태 Q, R 및 S를 통하여 상태 T로 전이하고, 여기에서 메모리 기반 행 예측이 수행된다. 따라서, 만일 메모리 뱅크의 동일 행에 대한 4개의 순차적 메모리 액세스 요구가 수신되면, 관련 RAS 상태 기계(304)는, 시스템 메모리(22)가 그러한 요구에 대하여 서비스할 것이라는 통계적 가능성 때문에 액티브 로우 RAS 신호가 동일 메모리 행에 대한 연속적 액세스를 위해 논리적 로우 상태로 중앙 상태 기계(306)에 의해 유지되어야 한다는 것을 상태 T에 의해 표시한다.
화살표 332, 342, 352 및 362로 표시한 바와 같이, 만일 상태 P로부터 상태 T로 전이하는 동안의 임의의 시간에, 잠재적 목표인 동일 행 어드레스에 대하여 맵핑하는 메모리 요구가 시스템 메모리(22)에 대한 액세스없이 서비스되면, RAS 상태 기계(304)는 상태 P로 복귀할 것이다. 도 11은 RAS 상태 기계(304)가 관련 프로세서 코어(14)로부터의 프리페치 메모리 액세스 요구의 수신에 응답해서, 또는 지정된 메모리 어드레스가 관련 메모리 뱅크(56)에 대응하는 MST(310)의 행 ID 필드(320)에서 미스인 메모리 액세스 요구의 수신에 응답해서, 상태를 변경하지 않을 것임을 화살표 334, 344, 354, 364, 374 및 384에 의해 또한 도시하고 있다.
만일 메모리 기반 행 예측이, 상태 T에 진입하는 RAS 상태 기계(304)에 의해 표시된 바와 같이, 특정 행 어드레스에 대하여 확립되면, RAS 상태 기계(304)는, 각각의 후속 메모리 액세스 요구가 프리페치 요구이거나, MST(310)를 미스한 행 어드레스를 표시하거나, 또는 MST(310)에서 히트(hit)하고 시스템 메모리(22)를 참조하여 서비스된 행 어드레스를 표시하는 한, 상태 T에서 유지될 것이다. RAS 상태 기계(304)는, 만일 RAS 상태 기계(304)가 MST(310)에서 히트하고 시스템 메모리(22)를 참조하여 서비스되지 않은 행 어드레스를 지정하는 메모리 액세스 요구를 수신하면, 화살표 372로 표시한 바와 같이 상태 T로부터 상태 U로 전이할 것이다. 만일 RAS 상태 기계(304)가 상태 U에 있으면, 중앙 상태 기계(306)는 액티브 로우 RAS 신호를 논리적 로우 상태로 유지함으로써 선택된 행 어드레스에 대한 메모리 기반 행 예측을 여전히 수행한다. 만일 후속 메모리 액세스 요구가 MST(310)에서 히트하고 시스템 메모리(22)를 참조하여 서비스되면, RAS 상태 기계(304)는 상태 U로부터 상태 T로 복귀할 수 있다(화살표 380). 그러나, 만일 RAS 상태 기계(304)가 상태 U에 있고, MST(310)에서 히트하고 시스템 메모리(22)를 참조하여 서비스되지 않은 행 어드레스를 지정하는 메모리 액세스 요구를 수신하면, RAS 상태 기계(304)는 화살표 382로 표시한 바와 같이 상태 U로부터 상태 P로 전이한다.
요약하면, 도 11은 후속 액세스가 이전에 액세스한 행 내에 있을 가능성이 높다는 것을 시스템 메모리(22)의 특정 뱅크 내의 이력 액세스 패턴이 나타내는 경우 중앙 상태 기계(306)가 메모리 기반 행 예측을 지능적으로 수행하게 하는 예시적인 RAS 상태 기계(304)를 도시한다. 시스템 메모리(22)의 뱅크 내의 행 또는 행들을 메모리 액세스 사이에서 개방 상태로 유지함으로써 발생된 전력 낭비는 예측이 수행되는 메모리 액세스에 대한 메모리 대기 시간을 크게 감소시키는 높은 가능성을 갖는다.
이제 도 12a 내지 도 12d를 참조하면, 도 9의 IMC(18)의 중앙 상태 기계(306)가 관련 시스템 메모리(22)에 대한 메모리 액세스 대기 시간을 최적화하기 위해 메모리 기반 타이밍 및 행 예측을 함께 이용하는 처리의 고레벨 논리적 흐름도가 도시되어 있다. 먼저 도 12a를 참조하면, 처리는 IMC(18)가 상호 접속부(12)로 부터 또는 그 처리 유닛(10) 내의 관련 프로세서 코어(14)로부터 메모리 액세스 요구 트랜잭션(예를 들면, 데이터 판독)을 수신한 것에 응답하여 블록 400에서 시작한다. 위에서 설명한 바와 같이, 요구 트랜잭션은 바람직하게 트랜잭션 유형, 요구 트랜잭션을 발생한 명령어의 스레드 ID(예를 들면, 로드 또는 저장), 및 요구 어드레스를 포함한다. 이하, 트랜잭션 유형은 판독(READ)이라고 가정한다.
처리는 그 다음에 블록 400에서 블록 402로 진행하고, 블록 402에서 IMC(18)는 요구 트랜잭션에 의해 지정된 요구 어드레스가 부착된 시스템 메모리(22)의 기억 위치에 할당되는지 여부를 결정한다. 블록 402에서 요구 어드레스가 부착된 시스템 메모리(22)에 대하여 맵하지 않기로 결정되면, IMC(18)는 블록 404에서 지정된 요구 어드레스가 부착된 시스템 메모리(22)에 대하여 맵하지 않음을 표시하는 무효 스누프 응답을 제공한다. 또한, 도 7 및 도 8을 참조하여 위에서 설명한 바와 같이, IMC(18)는 이전에 스누프된 메모리 액세스 요구에 관한 이력 정보를 제공할 수 있다. 그 다음에, 처리는 블록 406에서 종료한다. 그러나, 블록 402에서, 지정된 메모리 어드레스가 부착된 시스템 메모리(22)에 대하여 맵한다고 결정되면, 블록 410에 표시된 바와 같이, IMC(18)는 그 부착된 시스템 메모리(22)가 지정된 요구 어드레스와 관련된 데이터의 "홈" 기억 위치임을 표시하는 홈(HOME) 스누프 응답을 제공한다. 위에서 설명한 바와 같이, 스누프 응답은 응답 로직(30)에 의해 다른 스누프 응답과 결합하여 요구 트랜잭션에 대한 종합 응답적 데이터 처리 시스템(8)을 나타내는 결합 응답을 발생한다.
블록 412에 도시한 바와 같이, IMC(18)는 또한 지정된 요구 어드레스가 맵할 부착된 시스템 메모리(22) 내의 메모리 뱅크(56)를 결정한다. 이 뱅크 번호 및 요구 트랜잭션에 포함된 스레드 ID를 이용하여, IMC(18)는 MST(310) 내의 대응하는 엔트리를 액세스한다. IMC(18)는 MST(310) 내의 정보에 기초해서, 도 12b, 도 12c 및 도 12d에 도시된 3가지 방법 중 하나의 방법으로 메모리 액세스 요구에 대하여 각각 서비스한다.
예를 들면, 블록 420에 도시한 바와 같이, 만일 IMC(18)가 MST(310) 및 메모리 액세스 요구를 참조하여 (1) 메모리 액세스 요구가 프리페치 요구가 아니고, (2) 요구 어드레스가 MST(310)에서 히트하며, (3) IMC(18)가 이 행 어드레스에 대한 이전의 n개(이 경우에는 4개)의 요구 각각에 대하여 서비스하였다고 결정하면, IMC(18)는 도 12b에 도시된 처리에 따라 타이밍 예측 및 가능하다면 행 예측을 이용하여 메모리 액세스 요구에 대하여 서비스한다. 반면에, 만일 IMC(18)가 (1) 메모리 액세스 요구가 프리페치 요구인 것, 또는 (2) 요구 어드레스가 MST(310)에서 히트하고 관련 이력 비트 필드(324)가 모두, IMC(18)가 이 행에 대한 이전의 n개(예를 들면, 4개)의 요구에 대하여 서비스하지 않았음을 나타내는 1로 세트되었다고 결정하면, IMC(18)는 도 12d에 도시된 처리에 따라 타이밍 또는 행 예측없이 메모리 액세스 요구에 대하여 서비스한다. 다른 메모리 액세스 요구, 즉, MST 미스를 발생하는 메모리 액세스 요구 또는 이력 비트 필드(322, 324)가 모두 1로 세트되지 않은 메모리 액세스 요구는 도 12c에 도시된 처리에 따라 행 또는 타이밍 예측없이 서비스된다. 따라서, IMC(18)는 자원의 동반 사용이 정당하다고 입증하는 것을 이력 액세스 패턴이 표시하는 선택된 메모리 액세스 요구에 대한 액세스 대기 시간을 감소시키기 위하여 타이밍 예측 및 행 예측을 이용하여 메모리 액세스 요구에 대하여 선택적으로 및 지능적으로 서비스한다.
이하 도 12b를 참조하면, 처리는 페이지 연결자(C) 다음에 블록 430에서 계속된다. 블록 430은 중앙 상태 기계(306)가 MC 대기 행렬(302)을 메모리 액세스 요구에 할당하는 것을 나타낸다. 즉, 중앙 상태 기계(306)는, MST(310)의 시험에 기초해서, 블록 440에 도시된 바와 같이 백분율 대기 시간(tRP) 또는 RAS 대 CAS 대기 시간(tRCD)을 발생하지 않고 어서트되는 부분 신호와 같이, 일관성 응답을 수신하기 전에 메모리 액세스 요구에 MC 대기 행렬(302)을 예측적으로 할당한다.
RAS 신호 및 CAS 신호의 어서트에 응답하여, 중앙 상태 기계(306)는 블록 442에 도시한 바와 같이 관련된 하나의 DIMM(26)으로부터 요구된 데이터를 수신한다. 블록 450에 도시한 바와 같이, IMC(18)는 선택된 일관성 메시지, 예를 들면, 부분 결합 응답 또는 완전 결합 응답이 수신될 때까지 수신된 데이터를 버퍼링한다.
중앙 상태 기계(306)는, 일관성 응답 메시지를 수신한 후에, 블록 452에 도시한 바와 같이, 행 예측을 위하여 현재 감시하고 있는 행에 대하여 선택된 RAS 상태를 재확립한다. 중앙 상태 기계(306)는 또한, 블록 454에서, 시스템 메모리(22)로부터 요구된 데이터를 얻기 위해 사용된 예측적 액세스가 정확한 것이라고 선택된 일관성 메시지가 표시하는지 여부를 결정한다. 만일 아니라고 결정되면, 중앙 상태 기계(306)는 IMC(18)가 시스템 메모리(22)로부터 검색한 데이터를 버리게 한 다. 그러나, 만일 예측적 액세스가 정확한 것이면, 즉 선택된 일관성 메시지가 IMC(18)를 요구된 데이터의 소스로서 표시하였으면, IMC(18)는 블록 460에 표시한 바와 같이 요구된 데이터를 요구자에게 공급한다. 블록 456 또는 블록 460 다음에, 중앙 상태 기계(306)는 MST(310) 내의 관련 엔트리의 이력 비트 필드(322, 324)를 업데이트한다. 그 다음에, 처리는 블록 464에서 종료한다.
이제 도 12c를 참조하면, 예시적인 처리는 IMC(18)가 MST 미스를 야기하는 메모리 액세스 요구에 대하여 서비스하는 것 또는 MST(310)의 관련 엔트리 내의 이력 비트 필드(322, 324)가 모두 1이 아닌 것을 표시한다. 도시된 바와 같이, 처리는 페이지 연결자(D)로부터 블록 470으로 계속된다. 블록 470은 중앙 상태 기계(306)가 MC 대기 행렬(302)을 메모리 액세스 요구에 예측적으로 할당하는 것을 나타낸다. 또한, 블록 472에 도시된 바와 같이, 중앙 상태 기계(306)는 만일 필요하다면 프리차지 사이클을 개시하기 위해 액티브 로우 RAS 신호를 디어서트하게 한다. 선택된 일관성 메시지(예를 들면, 결합 응답)를 수신하기 전에 RAS 신호를 디어서트함으로써, 중앙 상태 기계(306)는 메모리 액세스 요구에 대한 서비스와 관련된 프리차지 대기 시간(tRP)을 마스크한다. 그 다음에, 중앙 상태 기계(306)는 블록 474에 도시한 바와 같이 선택된 일관성 메시지(예를 들면, 부분 결합 응답 또는 완전 결합 응답)의 수신을 기다린다.
만일 IMC(18)가 요구된 데이터를 공급할 책임이 없다고 선택된 일관성 메시지가 표시하면, 처리는 블록 476으로부터 블록 488로 진행하는데, 블록 488은 메모 리 액세스 요구에 예측적으로 할당된 MC 대기 행렬(302)을 중앙 상태 기계가 할당 해제(de-allocate)하는 것을 나타낸다. 이 경우, 요구 버퍼(300)에 유지되어 있는 다른 메모리 액세스 요구는 궁극적으로 IMC(18)에 의해 서비스되지 않은 메모리 액세스 요구에 대한 MC 대기 행렬(302)의 예측적 할당에 기인하여 추가적인 액세스 대기 시간을 발생할 수 있다. 블록 488 다음에, 도 12c에 도시한 처리는 블록 490에서 종료한다.
블록 476으로 돌아가서, 만일 블록 474에서 수신된 선택된 일관성 메시지가 IMC(18)가 요구된 데이터를 공급해야 한다는 것을 표시하면, 처리는 블록 476으로부터 블록 478로 진행하는데, 블록 478은 중앙 상태 기계(306)가 요구 어드레스에 의해 지정된 행에 대하여 액티브 로우 RAS 신호를 어서트하는 것을 나타낸다. 다음에, tRCD의 지연 후에, 중앙 상태 기계(306)는 블록 480에 도시한 바와 같이 액티브 로우 CAS 신호가 어서트되게 한다. 다음에, 블록 482에 도시한 바와 같이, 중앙 상태 기계(306)는 행 예측을 위한 후보로서 선택한 행에 대하여, 선택된 RAS 상태를 재확립한다.
블록 484에 도시한 바와 같이 중앙 상태 기계(306)가 DIMM(26) 중의 하나로부터 요구된 데이터를 수신할 때, 중앙 상태 기계(306)는, 블록 486에 도시한 바와 같이, 요구된 데이터를 요구자에게 공급한다. 그 다음에, 블록 488에서, 중앙 상태 기계(306)는 메모리 액세스 요구에 대하여 할당된 MC 대기 행렬(302)을 할당 해제하고, 블록 490에서 메모리 요구의 처리를 종료한다. 따라서, 도 12c는 이력 정보 를 이용할 수 없거나 또는 이용할 수 있는 이력 정보가 불확실한 메모리 액세스 요구에 대하여 중앙 상태 기계(306)가 MC 대기 행렬(302)을 예측적으로 할당하는 IMC(18)의 실시예를 나타낸다. 그러나, 그러한 메모리 액세스 요구에 대하여, 중앙 상태 기계(306)의 상기 설명한 실시예는 전력을 보존하고 비예측(mispeculation)에 의해 발생되는 추가적 대기 시간을 회피하기 위해 타이밍 또는 행 예측을 수행하지 않는다.
이제 도 12d를 참조하면, IMC(18)의 예시적인 실시예가 프리페치 요구인 메모리 액세스 요구에 대하여 서비스하는 것 또는 이력 정보가 IMC(18)에 의해 서비스될 가능성이 낮은 것을 표시하는 처리가 도시되어 있다. 도시된 바와 같이, 처리는 도 12a로부터 페이지 연결자(E)를 통해 블록 500으로 진행한다. 블록 500은 중앙 상태 기계(306)가 메모리 액세스 요구에 대해 서비스하기 위해 어떤 동작을 취하기 전에 선택된 일관성 메시지(예를 들면, 부분 결합 응답 또는 완전 결합 응답)의 수신을 기다리는 것을 나타낸다. 따라서, 메모리 액세스 요구는 IMC(18)가 메모리 액세스 요구에 대하여 서비스할 책임이 있는지 여부를 중앙 상태 기계(306)가 선택된 일관성 메시지로부터 결정할 때까지 요구 버퍼(300) 내에 버퍼링된 채 유지된다.
중앙 상태 기계(306)는, 선택된 일관성 메시지의 수신에 응답하여, 메모리 액세스 요구가 프리페치 요구가 아닌 경우 MST(310)의 적당한 엔트리(314) 내의 이력 비트 필드(322, 324)를 업데이트한다. 즉, 그러한 요구는 예측성이 강하고 낮은 참조 위치를 나타낼 수 있으므로, 중앙 상태 기계(306)는 프리페치 요구에 관한 정 보에 의해 MST(310)를 "오염"(pollute)시키지 않는 것이 바람직하다.
블록 504에 도시한 바와 같이, 중앙 상태 기계(306)는 또한 블록 500에서 수신한 선택된 일관성 메시지가 IMC(18)가 메모리 요구에 대하여 서비스해야 한다는 것을 표시하는지 여부를 결정한다. 만일 아니면, 처리는 블록 506에서 단순히 종료한다. 그러나, 만일 IMC(18)가 요구된 데이터를 공급해야 한다고 선택된 일관성 메시지가 표시하면, 처리는 블록 510으로 진행하여, 중앙 상태 기계(306)가 MC 대기 행렬(302)을 메모리 액세스 요구에 할당한다. 중앙 상태 기계(306)는 IMC(18)가 궁극적으로 메모리 액세스 요구에 대하여 서비스 할 통계적 가능성이 낮기 때문에, 선택된 일관성 메시지를 수신하기 전에 메모리 액세스 요구에 MC 대기 행렬(302)을 할당하지 않는다. 이 방법으로, MC 대기 행렬(302)에 의해 표시된 한정된 자원은 IMC(18)에 의해 서비스될 가능성이 더 높은 다른 메모리 액세스 요구에 대하여 이용 가능하다.
도 12d에 도시한 처리는 블록 510으로부터 블록 512로 진행하여 중앙 상태 기계(306)가 요구 어드레스에 의해 지정된 메모리 행을 프리차지하기 위해, 만일 필요하다면, 액티브 로우 RAS 신호를 디어서트한다. 블록 512로부터 처리는 페이지 연결자(F)를 통해 도 12c의 블록 478로 진행하고, 위에서 설명한 바와 같이 그 이후 블록들의 처리가 수행된다.
위에서 설명한 바와 같이, 본 발명은 메모리 액세스 대기 시간이 선택적인 메모리 기반 타이밍 및/또는 행 예측을 통하여 유리하게 감소될 수 있는 메모리 액 세스의 개선된 방법 및 시스템을 제공한다. 메모리 액세스의 통신 대기 시간(tCOM) 및 내부 대기 시간(tINT) 성분 중 하나 또는 모두를 감소시킴으로써, 평균 메모리 액세스 시간이 감소되고, 시스템 성능이 감소된다.
지금까지 본 발명을 특정의 양호한 실시예를 참조하여 설명하였지만, 당업자라면 본 발명의 정신 및 범위로부터 벗어나지 않고 그 형태 및 상세한 설명에 있어서 여러 가지로 변화가 가능하다는 것을 이해할 것이다. 예를 들면, 본 발명은 DRAM을 이용하는 특정 실시예를 참조하여 설명되었지만, 본 발명은 NVRAM, EDRAM 등과 같은 다른 메모리 기술에도 동일하게 적용할 수 있다.
본 발명은 메모리 액세스 대기 시간이 선택적인 메모리 기반 타이밍 및/또는 행 예측을 통하여 유리하게 감소될 수 있는 메모리 액세스의 개선된 방법 및 시스템을 제공한다. 메모리 액세스의 통신 대기 시간(tCOM) 및 내부 대기 시간(tINT) 성분 중 하나 또는 모두를 감소시킴으로써, 평균 메모리 액세스 시간이 감소되고, 시스템 성능이 감소된다.

Claims (17)

  1. 데이터 처리 시스템에 있어서,
    하나 이상의 처리 코어와;
    상기 하나 이상의 처리 코어에 결합되고, 복수의 행을 내포한 제1 시스템 메모리에 대한 액세스를 제어하며, 이전 메모리 액세스에 관한 이력 정보를 기억하는 액세스 이력 메카니즘(access history mechanism)을 구비한 제1 메모리 제어기 - 상기 제1 메모리 제어기는 메모리 액세스 요구에 응답하여 상기 메모리 액세스 요구에 대해 서비스하기 위해 제1 시스템 메모리 내의 복수의 행 중에서 선택된 행에 대한 액세스를 지시하고 상기 액세스 이력 메카니즘에 의해 표시된 상기 이력 정보에 기초하여 상기 액세스 다음의 상기 선택된 행에 대한 RAS(row address selection) 신호를 상기 제1 시스템 메모리에 예측적으로(speculatively) 계속하여 인가함 - 와;
    제2 시스템 메모리에 대한 액세스를 제어하는 제2 메모리 제어기
    를 포함하고,
    상기 제1 메모리 제어기는 상기 제2 메모리 제어기에 의해 기록된 이력 정보에 기초하여 상기 선택된 행에 대한 RAS 신호를 예측적으로 계속하여 인가하는 것인 데이터 처리 시스템.
  2. 제1항에 있어서, 상기 제1 메모리 제어기 및 상기 하나 이상의 처리 코어는 동일한 집적 회로 칩에 집적된 것인 데이터 처리 시스템.
  3. 제1항에 있어서, 상기 액세스 이력 메카니즘은 상기 하나 이상의 처리 코어 내에서 실행하는 복수의 스레드 각각에 대한 각각의 메모리 액세스 이력을 기억하는 것인 데이터 처리 시스템.
  4. 제1항에 있어서, 상기 제1 시스템 메모리의 상기 복수의 행은 복수의 뱅크 내에 배열되고, 상기 액세스 이력 메카니즘은 뱅크마다 상기 이력 정보를 기억하는 것인 데이터 처리 시스템.
  5. 제1항에 있어서, 상기 복수의 행은 하나 이상의 뱅크 내에 조직되고, 상기 제1 메모리 제어기는 상기 선택된 행과 동일한 뱅크 내의 다른 행에 대한 다음 액세스까지 상기 선택된 행에 대한 상기 RAS 신호를 예측적으로 계속하여 인가하는 것인 데이터 처리 시스템.
  6. 삭제
  7. 데이터 처리 시스템에 있어서,
    하나 이상의 처리 코어와;
    상기 하나 이상의 처리 코어에 결합되고, 하나 이상의 뱅크 내에 조직된 복수의 행을 내포한 시스템 메모리에 대한 액세스를 제어하며, 이전 메모리 액세스에 관한 이력 정보를 기억하는 액세스 이력 메카니즘(access history mechanism)을 구비한 메모리 제어기 - 상기 메모리 제어기는 메모리 액세스 요구에 응답하여 상기 메모리 액세스 요구에 대해 서비스하기 위해 시스템 메모리 내의 복수의 행 중에서 선택된 행에 대한 액세스를 지시하고 상기 액세스 이력 메카니즘에 의해 표시된 상기 이력 정보에 기초하여 상기 액세스 다음의 상기 선택된 행에 대한 RAS(row address selection) 신호를 상기 시스템 메모리에 예측적으로(speculatively) 계속하여 인가함 - 와;
    상기 복수의 처리 코어와 상기 메모리 제어기에 결합되어 상기 시스템 메모리로부터 획득한 데이터를 저장하고 이력 뱅크 액세스 정보를 상기 메모리 제어기에 전달하는 하나 이상의 캐시 메모리의 계층 - 상기 메모리 제어기에 전달된 상기 이력 뱅크 액세스 정보는 상기 메모리 제어기보다는 상기 하나 이상의 캐시 메모리 계층에 의하여 서비스된 메모리 액세스 요구의 이력 뱅크 액세스 정보를 포함하는 것임 - 을 포함하는 데이터 처리 시스템.
  8. 다른 메모리 제어기를 구비하는 데이터 처리 시스템의 시스템 메모리 - 이 시스템 메모리는 복수의 행을 구비하는 것임 - 를 제어하기 위한 메모리 제어기에 있어서,
    이전 메모리 액세스에 관한 이력 정보를 기억하는 액세스 이력 메카니즘(access history mechanism)과;
    메모리 액세스 요구에 응답해서, 상기 메모리 액세스 요구에 대하여 서비스하기 위해 상기 시스템 메모리 내의 상기 복수의 행 중에서 선택된 행에 대한 액세스를 지시하고, 상기 액세스 이력 메카니즘에 의해 표시된 상기 이력 정보에 기초하여 상기 액세스 다음의 상기 선택된 행에 대한 RAS 신호를 상기 시스템 메모리에 예측적으로 계속하여 인가하는 상태 기계(state machine)
    를 포함하고,
    상기 메모리 제어기는 상기 다른 메모리 제어기에 의해 기록된 이력 정보에 기초하여 상기 선택된 행에 대한 상기 RAS 신호를 예측적으로 계속하여 인가하는 것인 메모리 제어기.
  9. 제8항에 있어서, 상기 액세스 이력 메카니즘은 상기 데이터 처리 시스템 내에서 실행하는 복수의 스레드의 각각에 대한 각각의 메모리 액세스 이력을 기억하는 것인 메모리 제어기.
  10. 제8항에 있어서, 상기 시스템 메모리의 상기 복수의 행은 복수의 뱅크 내에 배열되고, 상기 액세스 이력 메카니즘은 뱅크마다 상기 이력 정보를 기억하는 것인 메모리 제어기.
  11. 제8항에 있어서, 상기 복수의 행은 하나 이상의 뱅크 내에 조직되고, 상기 상태 기계는 상기 선택된 행과 동일한 뱅크 내의 다른 행에 대한 다음 액세스까지 상기 선택된 행에 대한 RAS 신호를 상기 시스템 메모리에 예측적으로 계속하여 인가하는 것인 메모리 제어기.
  12. 삭제
  13. 데이터 처리 시스템의 시스템 메모리 - 상기 시스템 메모리는 복수의 행을 구비하는 것임 - 의 메모리 제어기를 동작시키는 방법에 있어서,
    상기 메모리 제어기가 액세스 이력 메카니즘으로 이전 메모리 액세스에 관한 이력 정보를 기억하는 단계와;
    메모리 액세스 요구의 수신에 응답해서 메모리 액세스 요구에 대하여 서비스하기 위해 상기 시스템 메모리의 복수의 행 중에서 선택된 행에 대한 액세스를 지시하는 단계와;
    상기 액세스 이력 메카니즘에 의해 표시된 상기 이력 정보에 기초하여 상기 액세스 다음의 상기 선택된 행에 대한 RAS 신호를 상기 시스템 메모리에 예측적으로 계속하여 인가하도록 지시하는 단계
    를 포함하고,
    상기 선택된 행에 대한 RAS 신호를 예측적으로 계속하여 인가하는 단계는,
    다른 메모리 제어기에 의해 기록된 이력 정보에 기초하여 상기 선택된 행에 대한 RAS 신호를 예측적으로 계속하여 인가하는 단계를 포함하는 것인 메모리 제어기 동작 방법.
  14. 제13항에 있어서, 상기 이력 정보 기억 단계는 상기 데이터 처리 시스템 내에서 실행하는 복수의 스레드의 각각에 대한 각각의 메모리 액세스 이력을 기억하는 단계를 포함하는 것인 메모리 제어기 동작 방법.
  15. 제13항에 있어서, 상기 시스템 메모리의 상기 복수의 행은 복수의 뱅크 내에 배열되고, 상기 이력 정보 기억 단계는 뱅크마다 상기 액세스 이력 메카니즘의 상기 이력 정보를 기억하는 단계를 포함하는 것인 메모리 제어기 동작 방법.
  16. 제13항에 있어서, 상기 복수의 행은 하나 이상의 뱅크 내에 조직되고, 상기 선택된 행에 대한 RAS 신호를 예측적으로 계속하여 인가하는 단계는 상기 선택된 행과 동일한 뱅크 내의 다른 행에 대한 다음 액세스까지 상기 선택된 행에 대한 상기 RAS 신호를 예측적으로 계속하여 인가하는 단계를 포함하는 것인 메모리 제어기 동작 방법.
  17. 삭제
KR1020040102857A 2003-12-10 2004-12-08 데이터 처리 시스템의 메모리 서브시스템에서 공급자 기반메모리 예측 방법 및 시스템 KR100634187B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/733,948 US7130967B2 (en) 2003-12-10 2003-12-10 Method and system for supplier-based memory speculation in a memory subsystem of a data processing system
US10/733,948 2003-12-10

Publications (2)

Publication Number Publication Date
KR20050056873A KR20050056873A (ko) 2005-06-16
KR100634187B1 true KR100634187B1 (ko) 2006-10-16

Family

ID=34653257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040102857A KR100634187B1 (ko) 2003-12-10 2004-12-08 데이터 처리 시스템의 메모리 서브시스템에서 공급자 기반메모리 예측 방법 및 시스템

Country Status (4)

Country Link
US (1) US7130967B2 (ko)
JP (1) JP4119885B2 (ko)
KR (1) KR100634187B1 (ko)
CN (1) CN1292351C (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8892821B2 (en) * 2003-12-10 2014-11-18 International Business Machines Corporation Method and system for thread-based memory speculation in a memory subsystem of a data processing system
US7366829B1 (en) 2004-06-30 2008-04-29 Sun Microsystems, Inc. TLB tag parity checking without CAM read
US7571284B1 (en) 2004-06-30 2009-08-04 Sun Microsystems, Inc. Out-of-order memory transactions in a fine-grain multithreaded/multi-core processor
US7290116B1 (en) * 2004-06-30 2007-10-30 Sun Microsystems, Inc. Level 2 cache index hashing to avoid hot spots
US7483428B2 (en) * 2005-02-10 2009-01-27 International Business Machines Corporation Data processing system, method and interconnect fabric supporting a node-only broadcast
US20060259695A1 (en) * 2005-05-16 2006-11-16 Texas Instruments Incorporated Visualizing contents and states of hierarchical storage systems across multiple cores
US7543116B2 (en) * 2006-01-30 2009-06-02 International Business Machines Corporation Data processing system, cache system and method for handling a flush operation in a data processing system having multiple coherency domains
US7616470B2 (en) * 2006-06-16 2009-11-10 International Business Machines Corporation Method for achieving very high bandwidth between the levels of a cache hierarchy in 3-dimensional structures, and a 3-dimensional structure resulting therefrom
JP4974638B2 (ja) * 2006-10-16 2012-07-11 キヤノン株式会社 シミュレーション装置及びシミュレーション方法
JP5045163B2 (ja) * 2007-03-13 2012-10-10 富士通株式会社 演算処理装置および演算処理装置の制御方法
US7853759B2 (en) * 2007-04-23 2010-12-14 Microsoft Corporation Hints model for optimization of storage devices connected to host and write optimization schema for storage devices
US7761656B2 (en) * 2007-08-22 2010-07-20 Advanced Micro Devices, Inc. Detection of speculative precharge
US7949830B2 (en) * 2007-12-10 2011-05-24 International Business Machines Corporation System and method for handling data requests
US9053031B2 (en) * 2007-12-10 2015-06-09 International Business Machines Corporation System and method for handling data access
US7937533B2 (en) * 2007-12-10 2011-05-03 International Business Machines Corporation Structure for handling data requests
US8032713B2 (en) * 2007-12-10 2011-10-04 International Business Machines Corporation Structure for handling data access
KR100951845B1 (ko) * 2007-12-12 2010-04-12 한국전자통신연구원 캐시 미스를 줄일 수 있는 힙 메모리의 동적 할당 장치 및방법
CN102004702B (zh) * 2009-08-31 2015-09-09 国际商业机器公司 请求控制设备、请求控制方法及相关的处理器
US8307164B2 (en) 2009-12-15 2012-11-06 International Business Machines Corporation Automatic determination of read-ahead amount
CN102385558B (zh) * 2010-08-31 2015-08-19 国际商业机器公司 请求控制装置、请求控制方法及相关的处理器
US8793544B2 (en) * 2010-12-29 2014-07-29 International Business Machines Corporation Channel marking for chip mark overflow and calibration errors
US9170878B2 (en) * 2011-04-11 2015-10-27 Inphi Corporation Memory buffer with data scrambling and error correction
EP2722763A4 (en) * 2011-06-17 2014-12-31 Fujitsu Ltd ARITHMETIC PROCESSING UNIT, INFORMATION PROCESSING DEVICE AND CONTROL OF AN ARITHMETIC PROCESSING UNIT
JP5699854B2 (ja) 2011-08-15 2015-04-15 富士通株式会社 記憶制御システムおよび方法、置換方式および方法
US8850002B1 (en) * 2012-07-02 2014-09-30 Amazon Technologies, Inc. One-to many stateless load balancing
KR101814412B1 (ko) * 2013-03-15 2018-01-03 인텔 코포레이션 데이터 버퍼와 연관된 스누프 필터링의 제공
CN104111868B (zh) * 2013-04-22 2017-08-11 华为技术有限公司 一种推测多线程调度方法及装置
KR102453193B1 (ko) 2013-05-16 2022-10-11 어드밴스드 마이크로 디바이시즈, 인코포레이티드 영역-특정 메모리 액세스 스케줄링을 가진 메모리 시스템
WO2014193412A1 (en) 2013-05-31 2014-12-04 Hewlett-Packard Development Company, L.P. Memory error determination
CN109213694B (zh) * 2017-06-30 2023-04-25 伊姆西Ip控股有限责任公司 用于缓存管理的方法和设备
US10884637B2 (en) * 2018-04-03 2021-01-05 Elastic Flash Inc. Workload based storage optimization
CN109739806A (zh) * 2018-12-28 2019-05-10 安谋科技（中国）有限公司 内存访问方法、内存访问控制器和片上系统
US11042325B2 (en) 2019-08-05 2021-06-22 International Business Machines Corporation Speculative bank activate dynamic random access memory (DRAM) scheduler
US11169737B2 (en) 2019-08-13 2021-11-09 Micron Technology, Inc. Speculation in memory
US11829364B2 (en) 2021-06-30 2023-11-28 Amazon Technologies, Inc. Making decisions for placing data in a multi-tenant cache

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5392410A (en) 1992-04-30 1995-02-21 International Business Machines Corporation History table for prediction of virtual address translation for cache access
US6401180B1 (en) 1999-01-04 2002-06-04 Advanced Micro Devices, Inc. Bank history table for improved pre-charge scheduling of random access memory banks
US20020184430A1 (en) 1999-12-09 2002-12-05 Masaki Ukai Memory access device and method using address translation history table
JP2003005956A (ja) 2001-06-20 2003-01-10 Fujitsu Ltd 分岐予測装置、プロセッサ、及び分岐予測方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530955A (en) * 1991-04-01 1996-06-25 Matsushita Electric Industrial Co., Ltd. Page memory device capable of short cycle access of different pages by a plurality of data processors
US5860106A (en) * 1995-07-13 1999-01-12 Intel Corporation Method and apparatus for dynamically adjusting power/performance characteristics of a memory subsystem
US5854638A (en) * 1996-02-02 1998-12-29 Opti Inc. Unified memory architecture with parallel access by host and video controller
US5889714A (en) * 1997-11-03 1999-03-30 Digital Equipment Corporation Adaptive precharge management for synchronous DRAM
KR100572945B1 (ko) * 1998-02-04 2006-04-24 텍사스 인스트루먼츠 인코포레이티드 효율적으로 접속 가능한 하드웨어 보조 처리기를 구비하는디지탈 신호 처리기
US6041400A (en) * 1998-10-26 2000-03-21 Sony Corporation Distributed extensible processing architecture for digital signal processing applications
US6661794B1 (en) * 1999-12-29 2003-12-09 Intel Corporation Method and apparatus for gigabit packet assignment for multithreaded packet processing
US6622217B2 (en) * 2000-06-10 2003-09-16 Hewlett-Packard Development Company, L.P. Cache coherence protocol engine system and method for processing memory transaction in distinct address subsets during interleaved time periods in a multiprocessor system
US6748498B2 (en) * 2000-06-10 2004-06-08 Hewlett-Packard Development Company, L.P. Scalable multiprocessor system and cache coherence method implementing store-conditional memory transactions while an associated directory entry is encoded as a coarse bit vector
US6697919B2 (en) * 2000-06-10 2004-02-24 Hewlett-Packard Development Company, L.P. System and method for limited fanout daisy chaining of cache invalidation requests in a shared-memory multiprocessor system
DE60237433D1 (de) * 2001-02-24 2010-10-07 Ibm Neuartiger massivparalleler supercomputer
US20030023794A1 (en) * 2001-07-26 2003-01-30 Venkitakrishnan Padmanabha I. Cache coherent split transaction memory bus architecture and protocol for a multi processor chip device
US7360217B2 (en) * 2001-09-28 2008-04-15 Consentry Networks, Inc. Multi-threaded packet processing engine for stateful packet processing
US7558816B2 (en) * 2001-11-21 2009-07-07 Sun Microsystems, Inc. Methods and apparatus for performing pixel average operations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5392410A (en) 1992-04-30 1995-02-21 International Business Machines Corporation History table for prediction of virtual address translation for cache access
US6401180B1 (en) 1999-01-04 2002-06-04 Advanced Micro Devices, Inc. Bank history table for improved pre-charge scheduling of random access memory banks
US20020184430A1 (en) 1999-12-09 2002-12-05 Masaki Ukai Memory access device and method using address translation history table
JP2003005956A (ja) 2001-06-20 2003-01-10 Fujitsu Ltd 分岐予測装置、プロセッサ、及び分岐予測方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1019990072400 *
1020040102857 - 662307 *

Also Published As

Publication number Publication date
CN1627273A (zh) 2005-06-15
CN1292351C (zh) 2006-12-27
US20050132147A1 (en) 2005-06-16
JP2005174342A (ja) 2005-06-30
KR20050056873A (ko) 2005-06-16
JP4119885B2 (ja) 2008-07-16
US7130967B2 (en) 2006-10-31

Similar Documents

Publication Publication Date Title
KR100634187B1 (ko) 데이터 처리 시스템의 메모리 서브시스템에서 공급자 기반메모리 예측 방법 및 시스템
US8892821B2 (en) Method and system for thread-based memory speculation in a memory subsystem of a data processing system
US7502889B2 (en) Home node aware replacement policy for caches in a multiprocessor system
US5325504A (en) Method and apparatus for incorporating cache line replacement and cache write policy information into tag directories in a cache system
US8464009B2 (en) Method for memory interleave support with a ceiling mask
US9619390B2 (en) Proactive prefetch throttling
US7076609B2 (en) Cache sharing for a chip multiprocessor or multiprocessing system
US9251081B2 (en) Management of caches
US5561779A (en) Processor board having a second level writeback cache system and a third level writethrough cache system which stores exclusive state information for use in a multiprocessor computer system
US5692152A (en) Master-slave cache system with de-coupled data and tag pipelines and loop-back
US7257673B2 (en) Ternary CAM with software programmable cache policies
US7925840B2 (en) Data processing apparatus and method for managing snoop operations
US8250307B2 (en) Sourcing differing amounts of prefetch data in response to data prefetch requests
US20140156951A1 (en) Multicore, multibank, fully concurrent coherence controller
US20090006718A1 (en) System and method for programmable bank selection for banked memory subsystems
TW201140319A (en) Replacing cache lines in a cache memory
US11321248B2 (en) Multiple-requestor memory access pipeline and arbiter
US7380068B2 (en) System and method for contention-based cache performance optimization
US5829027A (en) Removable processor board having first, second and third level cache system for use in a multiprocessor computer system
KR100280862B1 (ko) 명령처리추적방법및장치
US6516391B1 (en) Multiprocessor system and methods for transmitting memory access transactions for the same
US7428615B2 (en) System and method for maintaining coherency and tracking validity in a cache hierarchy
JP2004199677A (ja) キャッシュを動作させるためのシステム及び方法
US6484237B1 (en) Unified multilevel memory system architecture which supports both cache and addressable SRAM
US6918021B2 (en) System of and method for flow control within a tag pipeline

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100824

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee