KR102350538B1 - Ddr 메모리 에러 복구 - Google Patents

Ddr 메모리 에러 복구 Download PDF

Info

Publication number
KR102350538B1
KR102350538B1 KR1020197003840A KR20197003840A KR102350538B1 KR 102350538 B1 KR102350538 B1 KR 102350538B1 KR 1020197003840 A KR1020197003840 A KR 1020197003840A KR 20197003840 A KR20197003840 A KR 20197003840A KR 102350538 B1 KR102350538 B1 KR 102350538B1
Authority
KR
South Korea
Prior art keywords
memory
command
error
queue
response
Prior art date
Application number
KR1020197003840A
Other languages
English (en)
Other versions
KR20190019209A (ko
Inventor
제임스 알. 마그로
루이후아 펭
안소니 아사로
케다나스 발라크리쉬난
스콧 피. 머피
유빈 야오
Original Assignee
어드밴스드 마이크로 디바이시즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어드밴스드 마이크로 디바이시즈, 인코포레이티드 filed Critical 어드밴스드 마이크로 디바이시즈, 인코포레이티드
Publication of KR20190019209A publication Critical patent/KR20190019209A/ko
Application granted granted Critical
Publication of KR102350538B1 publication Critical patent/KR102350538B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1012Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using codes or arrangements adapted for a specific type of error
    • G06F11/1016Error in accessing a memory location, i.e. addressing error
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • G06F13/161Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement
    • G06F13/1626Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement by reordering requests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4022Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G06F9/3855
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3854Instruction completion, e.g. retiring, committing or graduating
    • G06F9/3856Reordering of instructions, e.g. using queues or age tags

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Retry When Errors Occur (AREA)
  • Debugging And Monitoring (AREA)
  • Memory System (AREA)

Abstract

일 형태에서, 메모리 제어기는 커맨드 큐, 아비터 및 재생 큐를 포함한다. 상기 커맨드 큐는 메모리 액세스 요청을 수신하고 저장한다. 상기 아비터는 메모리 채널에 메모리 커맨드의 시퀀스를 제공하기 위해 상기 커맨드 큐에 결합된다. 상기 재생 큐는 상기 메모리 커맨드의 시퀀스를 상기 메모리 채널에 저장하고, 상기 메모리 채널로부터 응답을 아직 수신하지 않은 메모리 액세스 커맨드를 계속 저장한다. 응답이 임의의 에러 없이 대응하는 메모리 커맨드의 완료를 나타내면, 상기 재생 큐는 추가 조치를 취함이 없이 상기 대응하는 메모리 커맨드를 제거한다. 응답이 에러를 갖고 상기 대응하는 메모리 커맨드의 완료를 나타내면 상기 재생 큐는 적어도 상기 대응하는 메모리 커맨드를 재생한다. 다른 형태에서, 데이터 처리 시스템은 상기 메모리 제어기, 메모리 액세스 에이전트, 및 상기 메모리 제어기가 결합된 메모리 시스템을 포함한다.

Description

DDR 메모리 에러 복구
본 발명은 DDR 메모리 에러 복구에 관한 것이다.
컴퓨터 시스템은 통상적으로 주 메모리를 위한 저렴하고 고밀도의 동적 랜덤 액세스 메모리(DRAM) 칩을 사용한다. 현재 판매되는 대부분의 DRAM 칩은 JEDEC(Joint Electron Devices Engineering Council)에서 공표한 다양한 DDR(Double Data Rate) DRAM 표준과 호환된다. DDR 메모리 제어기는 발표된 DDR 표준에 따른 DDR DRAM과 다양한 메모리 액세스 에이전트(memory accessing agent) 간의 인터페이스를 관리하는 데 사용된다.
현대의 DDR 메모리 제어기는 계류 중인 메모리 액세스 요청을 저장하는 큐(queue)를 유지하여 효율을 높이기 위해 생성 또는 저장된 순서와 관련하여 계류 중인 메모리 액세스 요청을 비순차적으로 선택할 수 있다. 예를 들어, 메모리 제어기는 큐로부터 메모리의 주어진 랭크(rank)의 동일한 행(row)에 다수의 메모리 액세스 요청을 검색하고 이 메모리 액세스 요청을 메모리 시스템에 연속적으로 발행하여 현재 행을 프리차지(precharge)하고 다른 행을 활성화하는 오버헤드를 피할 수 있다.
DDR 메모리 시스템은 DDR DRAM에서 데이터에 따라 저장된 패리티 비트(parity bit), 순환 중복 코드(Cyclic Redundancy Code: CRC), 에러 검출 코드(Error Detection Code: EDC) 또는 다른 에러 정정 코드(error correcting code: ECC)와 같은 에러 검출 및 복구를 위한 다양한 메커니즘을 포함한다. 메모리 액세스를 수행할 때 DDR 메모리 제어기는 저장된 CRC 또는 ECC 비트를 메모리 액세스로 계산된 CRC 또는 ECC 비트와 비교한다. 에러를 검출한 것에 응답하여 DDR 메모리 제어기는 가능한 경우 에러를 정정하고 이 에러를 운영 시스템에 보고하고 운영 시스템은 취할 추가 정정 조치를 결정한다. 그러나 DRAM 버스는 2400 메가헤르츠(MHz)와 같이 상대적으로 높은 클록 속도에서 동작하고, 클록 사이클의 두 전이(transition) 시에 데이터를 전송한다. 데이터 속도가 높기 때문에 DDR 메모리 버스는 경우에 따라 메모리 버스에 랜덤한 에러 또는 "글리치(glitch)"를 받기 쉽다. 알려진 DDR 메모리 제어기는 이러한 에러를 감지하고 정정하는 메커니즘을 갖지만 메커니즘은 운영 시스템의 호출로 인한 오버헤드로 인해 시스템 성능을 크게 저하시킨다.
도 1은 일부 실시예에 따른 데이터 처리 시스템의 블록도;
도 2는 도 1의 데이터 처리 시스템에 사용하기에 적합한 가속 처리 유닛(accelerated processing unit: APU)의 블록도;
도 3은 일부 실시예에 따라 도 2의 APU에 사용하기에 적합한 메모리 제어기 및 관련 물리적 인터페이스(PHY)의 블록도;
도 4는 일부 실시예에 따라 도 2의 APU에 사용하기에 적합한 다른 메모리 제어기 및 관련 PHY의 블록도;
도 5는 일부 실시예에 따른 메모리 제어기의 블록도; 및
도 6은 도 5의 메모리 제어기의 유한 상태 머신(finite state machine)의 동작과 관련된 상태도(state diagram).
이하의 설명에서, 여러 도면에서 동일한 도면 부호는 유사하거나 동일한 항목을 나타내는데 사용된다. 달리 언급되지 않는 한, "결합된"이라는 단어 및 이와 관련된 동사 형태는 이 기술 분야에 알려진 수단에 의해 전기적으로 직접 연결되는 것과 간접 연결되는 것을 모두 포함하며, 달리 명시되지 않는 한, 직접 연결에 대한 임의의 설명은 적절한 형태로 전기적으로 간접 연결된 것을 사용하는 대안적인 실시예에도 적용된다.
일 형태에서, 메모리 제어기는 커맨드 큐(command queue), 아비터(arbiter) 및 재생 큐(replay queue)를 포함한다. 상기 커맨드 큐는 메모리 액세스 요청을 수신하고 저장한다. 상기 아비터는 메모리 채널에 메모리 커맨드의 시퀀스를 제공하기 위해 상기 커맨드 큐에 결합된다. 상기 재생 큐는 상기 메모리 커맨드의 시퀀스를 상기 메모리 채널에 저장하고, 상기 메모리 채널로부터 응답을 아직 수신하지 않은 메모리 액세스 커맨드를 계속 저장한다. 응답이 임의의 에러 없이 대응하는 메모리 커맨드의 완료를 나타내면, 상기 재생 큐는 추가 조치 없이 상기 대응하는 메모리 커맨드를 제거한다. 응답이 에러를 갖고 상기 대응하는 메모리 커맨드의 완료를 나타내면 상기 재생 큐는 적어도 상기 대응하는 메모리 커맨드를 재생한다.
다른 형태에서, 메모리 제어기는 커맨드 큐, 아비터, 메모리 인터페이스 큐 및 재생 큐를 포함한다. 상기 커맨드 큐는 메모리 액세스 요청을 수신하고 저장한다. 상기 아비터는 메모리 채널에 메모리 커맨드의 시퀀스를 제공하기 위해 상기 커맨드 큐에 결합된다. 상기 메모리 인터페이스 큐는 메모리 액세스 요청을 수신하고 저장하기 위해 상기 커맨드 큐에 결합된다. 상기 재생 큐는 상기 메모리 인터페이스 큐에 결합되고, 상기 메모리 커맨드의 시퀀스를 상기 메모리 채널에 저장하고, 상기 메모리 채널로부터 응답을 아직 수신하지 않은 메모리 액세스 커맨드를 계속 저장한다. 상기 메모리 제어기는 임의의 에러를 검출하지 않는 한, 정상 상태(normal state)로 유지되고, 상기 정상 상태에서 상기 메모리 인터페이스 큐는 상기 아비터에 의해 선택되는 상기 커맨드 큐로부터 커맨드를 계속 수신한다. 에러를 검출한 것에 응답하여, 상기 메모리 제어기는 복구 상태(recovery state)에 진입하고, 여기서 상기 재생 큐는 적어도 하나의 대응하는 메모리 커맨드를 상기 메모리 인터페이스 큐로 송신함으로써 상기 적어도 하나의 대응하는 메모리 커맨드를 재생한다.
또 다른 형태에서, 데이터 처리 시스템은 메모리 액세스 에이전트, 메모리 시스템 및 메모리 제어기를 포함한다. 상기 메모리 액세스 에이전트는 메모리 액세스 요청을 제공한다. 상기 메모리 제어기는 상기 메모리 액세스 에이전트 및 상기 메모리 시스템에 결합된다. 상기 메모리 제어기는 커맨드 큐, 아비터 및 재생 큐를 포함한다. 상기 커맨드 큐는 메모리 액세스 요청을 수신하고 저장한다. 상기 아비터는 상기 메모리 시스템에 메모리 커맨드의 시퀀스를 제공하기 위해 상기 커맨드 큐에 결합된다. 상기 재생 큐는 상기 메모리 커맨드의 시퀀스를 상기 메모리 채널에 저장하고, 상기 메모리 시스템으로부터 응답을 아직 수신하지 않은 메모리 액세스 커맨드를 계속 저장한다. 응답이 임의의 에러 없이 대응하는 메모리 커맨드의 완료를 나타내면, 상기 재생 큐는 추가 조치를 취함이 없이 상기 대응하는 메모리 커맨드를 제거한다. 응답이 에러를 갖고 상기 대응하는 메모리 커맨드의 완료를 나타내면 상기 재생 큐는 적어도 상기 대응하는 메모리 커맨드를 재생한다.
또 다른 형태에서, 방법은 메모리 액세스 요청을 수신 및 저장하는 단계를 포함한다. 메모리 커맨드의 시퀀스는 저장된 메모리 액세스 요청으로부터 메모리 채널에 제공되고, 상기 메모리 채널로부터 에러 없는 응답을 아직 수신하지 않은 메모리 커맨드는 계속 저장된다. 메모리 에러가 발생했는지 여부는 상기 메모리 채널로부터 수신된 응답에서 검출된다. 메모리 에러를 검출하지 않은 것에 응답하여, 메모리 제어기는 정상 상태로 유지되고, 상기 정상 상태에서는 저장된 메모리 액세스 요청들 중에서 커맨드가 계속 제공된다. 에러를 검출한 것에 응답하여, 복구 상태에 진입하고, 상기 복구 상태에 있는 동안, 저장된 메모리 커맨드는 에러가 발생한 대응하는 메모리 커맨드로부터 시작하여 재생된다.
도 1은 일부 실시예에 따른 데이터 처리 시스템(100)의 블록도를 도시한다. 데이터 처리 시스템(100)은 일반적으로 가속 처리 유닛(APU)의 형태의 데이터 프로세서(110), 메모리 시스템(120), 주변 장치 상호 연결 익스프레스(peripheral component interconnect express: PCIe) 시스템(150), 범용 직렬 버스(universal serial bus: USB) 시스템(160), 및 디스크 드라이브(170)를 포함한다. 데이터 프로세서(110)는 데이터 처리 시스템(100)의 중앙 처리 유닛(CPU)으로서 동작하며 현대 컴퓨터 시스템에 유용한 다양한 버스 및 인터페이스를 제공한다. 이 인터페이스는 두 개의 DDR(Double Data Rate)(DDRx) 메모리 채널, PCIe 링크에의 연결용 PCIe 루트 복합체(root complex), USB 네트워크에의 연결용 USB 제어기, 및 SATA(Serial Advanced Technology Attachment) 대용량 저장 장치에의 인터페이스를 포함한다.
메모리 시스템(120)은 메모리 채널(130) 및 메모리 채널(140)을 포함한다. 메모리 채널(130)은 이 예에서 별개의 랭크에 대응하는 대표적인 DIMM(dual inline memory module)(134, 136 및 138)을 포함하는, DDRx 버스(132)에 연결된 듀얼 인라인 메모리 모듈(DIMM) 세트를 포함한다. 마찬가지로, 메모리 채널(140)은 대표적인 DIMM(144, 146 및 148)을 포함하는, DDRx 버스(142)에 연결된 DIMM 세트를 포함한다.
PCIe 시스템(150)은 데이터 프로세서(110) 내의 PCIe 루트 복합체에 연결된 PCIe 스위치(152), PCIe 장치(154), PCIe 장치(156) 및 PCIe 장치(158)를 포함한다. PCIe 장치(156)는 시스템 기본 입력/출력 시스템(basic input/output system: BIOS) 메모리(157)에 연결된다. 시스템 BIOS 메모리(157)는 판독 전용 메모리(read-only memory: ROM), 플래시 전기적으로 소거 가능한 프로그래밍 가능한 ROM(flash electrically erasable programmable ROM)(플래시 EEPROM) 등과 같은 다양한 비 휘발성 메모리 유형 중 임의의 것일 수 있다.
USB 시스템(160)은 데이터 프로세서(110) 내의 USB 마스터에 연결된 USB 허브(hub)(162) 및 이 USB 허브(162)에 각각 연결된 대표적인 USB 장치(164, 166 및168)를 포함한다. USB 장치(164, 166 및 168)는 키보드, 마우스, 플래시 EEPROM 포트 등과 같은 장치일 수 있다.
디스크 드라이브(170)는 SATA 버스를 통해 데이터 프로세서(110)에 연결되고, 운영 시스템, 응용 프로그램, 응용 파일 등을 위한 대용량 저장매체를 제공한다.
데이터 처리 시스템(100)은 메모리 채널(130) 및 메모리 채널(140)을 제공함으로써 현대 컴퓨팅 애플리케이션에 사용하기에 적합하다. 메모리 채널(130 및 140)들 각각은 DDR 버전(DDR4), 저전력 DDR4(LPDDR4), 그래픽 DDR 버전 5(gDDR5) 및 고 대역폭 메모리(HBM)와 같은 최신 DDR 메모리에 연결될 수 있고, 향후 메모리 기술에 적응될 수 있다. 이러한 메모리는 높은 버스 대역폭과 고속 동작을 제공한다. 동시에 이러한 메모리는 랩탑 컴퓨터와 같은, 배터리 전력으로 구동되는 애플리케이션의 전력을 절약하기 위해 저전력 모드를 제공하고, 또한 내장식 열적 모니터링 기능을 제공한다.
도 2는 도 1의 데이터 처리 시스템(100)에 사용하기에 적합한 APU(200)의 블록도를 도시한다. APU(200)는 일반적으로 중앙 처리 유닛(CPU) 코어 복합체(210), 그래픽 코어(220), 디스플레이 엔진 세트(230), 메모리 관리 허브(240), 데이터 패브릭(data fabric)(250), 주변 제어기 세트(260), 주변 버스 제어기 세트(270), 시스템 관리 유닛(system management unit: SMU)(280), 및 메모리 제어기 세트(290)를 포함한다.
CPU 코어 복합체(210)는 CPU 코어(212)와 CPU 코어(214)를 포함한다. 이 예에서, CPU 코어 복합체(210)는 2개의 CPU 코어를 포함하지만, 다른 실시예에서는 CPU 코어 복합체는 임의의 수의 CPU 코어를 포함할 수 있다. 각각의 CPU 코어(212 및 214)는 제어 패브릭을 형성하는 시스템 관리 네트워크(system management network: SMN)에 및 데이터 패브릭(250)에 양방향으로 연결되고, 데이터 패브릭(250)에 메모리 액세스 요청을 제공할 수 있다. 각각의 CPU 코어(212 및 214)는 단일 코어일 수 있거나, 또는 나아가 캐시와 같은 특정 자원을 공유하는 둘 이상의 단일 코어를 갖는 코어 복합체일 수 있다.
그래픽 코어(220)는 고집적 및 병렬 방식으로 버텍스(vertex) 프로세싱, 프래그먼트(fragment) 프로세싱, 쉐이딩(shading), 텍스처 블렌딩(texture blending) 등과 같은 그래픽 동작을 수행할 수 있는 고성능 그래픽 처리 유닛(graphics processing unit: GPU)이다. 그래픽 코어(220)는 SMN에 및 데이터 패브릭(250)에 양방향으로 연결되고, 데이터 패브릭(250)에 메모리 액세스 요청을 제공할 수 있다. 이와 관련하여, APU(200)는 CPU 코어 복합체(210) 및 그래픽 코어(220)가 동일한 메모리 공간을 공유하는 통합 메모리 아키텍처를 지원하거나, 또는 CPU 코어 복합체(210) 및 그래픽 코어(220)가 메모리 공간의 일부를 공유하는 메모리 아키텍처를 지원할 수 있는 반면, 그래픽 코어(220)는 CPU 코어 복합체(210)에 의해 액세스할 수 없는 개인용 그래픽 메모리를 또한 사용한다.
디스플레이 엔진(230)은 모니터 상에 디스플레이하기 위해 그래픽 코어(220)에 의해 생성된 객체를 렌더링(rendering) 및 래스터화(rasterizing)한다. 그래픽 코어(220) 및 디스플레이 엔진(230)은 공통 메모리 관리 허브(240)에 양방향으로 연결되어 메모리 시스템(120) 내의 적절한 어드레스로의 균일한 변환을 행하고, 메모리 관리 허브(240)는 데이터 구조(250)에 양방향으로 연결되어 이러한 메모리 액세스를 생성하고 메모리 시스템으로부터 반환된 판독 데이터를 수신한다.
데이터 구조(250)는 임의의 메모리 액세스 에이전트 및 메모리 제어기(290) 사이에서 메모리 액세스 요청 및 메모리 응답을 라우팅하기 위한 크로스바(crossbar) 스위치를 포함한다. 이 데이터 구조는 시스템 구성(system configuration)에 기초하여 메모리 액세스의 목적지를 결정하기 위해 BIOS에 의해 정의된 시스템 메모리 맵(map) 및 각 가상 연결(virtual connection)을 위한 버퍼를 더 포함한다.
주변 제어기(260)는 USB 제어기(262) 및 SATA 인터페이스 제어기(264)를 포함하고 이들 각각은 시스템 허브(266)에 및 SMN 버스에 양방향으로 연결된다. 이들 2개의 제어기는 APU(200)에서 사용될 수 있는 주변 제어기의 단지 예시적인 것이다.
주변 버스 제어기(270)는 시스템 제어기 또는 "사우스브리지(Southbridge)"(SB)(272) 및 PCIe 제어기(274)를 포함하고 이들 각각은 입력/출력(I/O) 허브(276)에 및 SMN 버스에 양방향으로 각각 연결된다. I/O 허브(276)는 시스템 허브(266)에 및 데이터 패브릭(250)에 양방향으로 더 연결된다. 따라서, 예를 들어 CPU 코어는 데이터 구조(250)가 I/O 허브(276)를 통해 라우팅하는 액세스를 통해 USB 제어기(262), SATA 인터페이스 제어기(264), SB(272) 또는 PCIe 제어기(274)에 레지스터를 프로그래밍할 수 있다.
SMU(280)는, APU(200) 상의 자원의 동작을 제어하고 이들 사이의 통신을 동기화하는 로컬 제어기이다. SMU(280)는 APU(200) 상의 다양한 프로세서의 전력-업 시퀀싱(power-up sequencing)을 관리하고, 리셋 신호, 인에이블 신호 및 다른 신호를 통해 다수의 오프-칩 장치를 제어한다. SMU(280)는, APU(200)의 각 구성 요소에 클록 신호를 제공하기 위해 예를 들어 위상 동기 루프(phase locked loop: PLL)와 같은 도 2에 도시되지 않은 하나 이상의 클록 소스를 포함한다. SMU(280)는 또한 다양한 프로세서 및 다른 기능 블록에 대한 전력을 관리하고, 적절한 전력 상태를 결정하기 위해 CPU 코어(212 및 214) 및 그래픽 코어(220)로부터 측정된 전력 소비 값을 수신할 수 있다.
APU(200)는 또한 다양한 시스템 모니터링 및 전력 절감 기능을 구현한다. 특히 하나의 시스템 모니터링 기능은 열적 모니터링(thermal monitoring)이다. 예를 들어, APU(200)가 고온이 되면, SMU(280)는 CPU 코어(212 및 214) 및/또는 그래픽 코어(220)의 주파수 및 전압을 감소시킬 수 있다. APU(200)가 너무 고온이 되면, SMU는 완전히 셧다운(shutdown)될 수 있다. 열적 이벤트는 또한 SMN 버스를 통해 SMU(280)에 의해 외부 센서로부터 수신될 수 있고, SMU(280)는 이에 응답하여 클록 주파수 및/또는 전력 공급 전압을 감소시킬 수 있다.
도 3은 일부 실시예에 따라 도 2의 APU(200)에 사용하기에 적합한 메모리 제어기(300) 및 관련 물리적 인터페이스(PHY)(330)의 블록도를 도시한다. 메모리 제어기(300)는 메모리 채널(310) 및 전력 엔진(320)을 포함한다. 메모리 채널(310)은 호스트 인터페이스(312), 메모리 채널 제어기(314), 및 물리적 인터페이스(316)를 포함한다. 호스트 인터페이스(312)는 메모리 채널 제어기(314)를 스케일 러블 데이터 포트(scalable data port: SDP)를 통해 데이터 패브릭(250)에 양방향으로 연결한다. 물리적 인터페이스(316)는 DDR-PHY 인터페이스 사양(DFI)에 따르는 버스를 통해 메모리 채널 제어기(314)를 PHY(330)에 양방향으로 연결한다. 전력 엔진(320)은 SMN 버스를 통해 SMU(280)에 양방향으로 연결되고, 고급 주변 버스(Advanced Peripheral Bus: APB)를 통해 PHY(330)에 양방향으로 연결되고, 또한 메모리 채널 제어기(314)에 양방향으로 연결된다. PHY(330)는 도 1의 메모리 채널(130) 또는 메모리 채널(140)과 같은 메모리 채널과 양방향 연결을 갖는다. 메모리 제어기(300)는 단일 메모리 채널 제어기(314)를 사용하여 단일 메모리 채널에 대한 메모리 제어기의 예시(instantiation)이며, 이하에서 더 설명될 방식으로 메모리 채널 제어기(314)의 동작을 제어하기 위해 전력 엔진(320)을 갖는다.
도 4는 일부 실시예에 따라 도 2의 APU(200)에 사용하기에 적합한 다른 메모리 제어기(400) 및 관련 PHY(440 및 450)의 블록도를 도시한다. 메모리 제어기(400)는 메모리 채널(410 및 420) 및 전력 엔진(430)을 포함한다. 메모리 채널(410)은 호스트 인터페이스(412), 메모리 채널 제어기(414), 및 물리적 인터페이스(416)를 포함한다. 호스트 인터페이스(412)는 메모리 채널 제어기(414)를 SDP를 통해 데이터 구조(250)에 양방향으로 연결한다. 물리적 인터페이스(416)는 메모리 채널 제어기(414)를 PHY(440)에 양방향으로 연결하고, DFI 사양을 따른다. 메모리 채널(420)은 호스트 인터페이스(422), 메모리 채널 제어기(424) 및 물리적 인터페이스(426)를 포함한다. 호스트 인터페이스(422)는 메모리 채널 제어기(424)를 다른 SDP를 통해 데이터 구조(250)에 양방향으로 연결한다. 물리적 인터페이스(426)는 메모리 채널 제어기(424)를 PHY(450)에 양방향으로 연결하고, DFI 사양을 따른다. 전력 엔진(430)은 SMN 버스를 통해 SMU(280)에 양방향으로 연결되고, APB를 통해 PHY(440 및 450)에 양방향으로 연결되고, 또한 메모리 채널 제어기(414 및 424)에 양방향으로 연결된다. PHY(440)는 도 1의 메모리 채널(130)과 같은 메모리 채널과 양방향 연결을 갖는다. PHY(450)는 도 1의 메모리 채널(140)과 같은 메모리 채널과 양방향 연결을 갖는다. 메모리 제어기(400)는 2개의 메모리 채널 제어기를 갖는 메모리 제어기의 예시이고, 이하에서 더 설명될 방식으로 메모리 채널 제어기(414) 및 메모리 채널 제어기(424) 모두의 동작을 제어하기 위해 공유 전력 엔진(430)을 사용한다.
도 5는 일부 실시예에 따른 메모리 제어기(500)의 블록도를 도시한다. 메모리 제어기(500)는 일반적으로 메모리 채널 제어기(510) 및 전력 제어기(550)를 포함한다. 메모리 채널 제어기(510)는 일반적으로 인터페이스(512), 큐(514), 커맨드 큐(520), 어드레스 생성기(522), 컨텐츠 어드레싱 가능한 메모리(content addressable memory: CAM)(524), 재생 큐(530), 리프레시 로직(refresh logic) 블록(532), 타이밍 블록(534), 페이지 테이블(page table)(536), 아비터(538), 에러 정정 코드(ECC) 검사 블록(542), ECC 생성 블록(544) 및 데이터 버퍼(data buffer: DB)(546)를 포함한다.
인터페이스(512)는 외부 버스를 통해 데이터 패브릭(250)과 제1 양방향 연결을 갖고, 출력을 갖는다. 메모리 제어기(500)에서 이 외부 버스는 "AXI4"로 알려진 영국의 캠브리지(Cambridge)에 소재하는 ARM 홀딩스(Holdings) PLC사에 의해 지정된 고급 확장형 인터페이스 버전 4와 호환 가능하지만, 다른 실시예에서는 다른 유형의 인터페이스일 수 있다. 인터페이스(512)는 FCLK(또는 MEMCLK) 도메인으로 알려진 제1 클록 도메인으로부터 UCLK 도메인으로 알려진 메모리 제어기(500) 내부의 제2 클록 도메인으로 메모리 액세스 요청을 변환한다. 유사하게, 큐(514)는 UCLK 도메인으로부터 DFI 인터페이스와 연관된 DFICLK 도메인으로 메모리 액세스를 제공한다.
어드레스 생성기(522)는 AXI4 버스를 통해 데이터 패브릭(250)으로부터 수신된 메모리 액세스 요청의 어드레스를 디코딩한다. 메모리 액세스 요청은 정규화된 포맷으로 표현된 물리적 어드레스 공간 내의 액세스 어드레스를 포함한다. 어드레스 생성기(522)는 정규화된 어드레스를, 메모리 시스템(120) 내의 실제 메모리 장치를 어드레싱할 뿐만 아니라 관련 액세스를 효율적으로 스케줄링하는데 사용될 수 있는 포맷으로 변환한다. 이 포맷은 메모리 액세스 요청을 특정 랭크, 행 어드레스, 열(column) 어드레스, 뱅크(bank) 어드레스 및 뱅크 그룹과 관련시키는 구역 식별자를 포함한다. 시동 시, 시스템 BIOS는 메모리 시스템(120) 내의 메모리 장치에 질의하여 그 크기 및 구성을 결정하고, 어드레스 생성기(522)와 관련된 구성 레지스터(configuration register) 세트를 프로그래밍한다. 어드레스 생성기(522)는 구성 레지스터에 저장된 구성을 사용하여 정규화된 어드레스를 적절한 포맷으로 변환한다. 커맨드 큐(520)는 CPU 코어(212 및 214) 및 그래픽 코어(220)와 같은, 데이터 처리 시스템(100)의 메모리 액세스 에이전트로부터 수신된 메모리 액세스 요청의 큐이다. 커맨드 큐(520)는 어드레스 생성기(522)에 의해 디코딩된 어드레스 필드를 저장할 뿐만 아니라 아비터(538)가 액세스 유형 및 서비스 품질(quality of service: QoS) 식별자를 포함하여 메모리 액세스를 효율적으로 선택하게 하는 다른 어드레스 정보를 저장한다. CAM(524)은 기입 후 기입(write after write: WAW) 및 기입 후 판독(read after write: RAW) 정렬 규칙(ordering rule)과 같은 정렬 규칙을 구현하기 위한 정보를 포함한다.
재생 큐(530)는 어드레스 및 커맨드 패리티 응답, DDR4 DRAM에 대한 기입 순환 중복 검사(CRC) 응답, 또는 GDDR5 DRAM에 대한 기입 및 판독 CRC 응답과 같은 응답을 대기하는 아비터(538)에 의해 선택된 메모리 액세스를 저장하기 위한 임시 큐이다. 재생 큐(530)는 ECC 검사 블록(542)에 액세스하여 반환된 ECC가 올바른지 또는 에러를 나타내는지 여부를 결정한다. 재생 큐(530)는 이러한 사이클들 중 하나의 사이클의 패리티 또는 CRC 에러의 경우에 액세스가 재생될 수 있게 한다.
리프레시 로직(532)은 메모리 액세스 에이전트로부터 수신된 정상적인 판독 및 기입 메모리 액세스 요청과는 별도로 생성되는 다양한 전력다운(powerdown), 리프레시 및 종단 저항(ZQ) 교정 사이클을 위한 상태 머신을 포함한다. 예를 들어, 메모리 랭크가 프리차지 전력다운에 있으면 이 메모리 랭크는 리프레시 사이클을 실행하기 위해 주기적으로 깨어나야(awaken) 한다. 리프레시 로직(532)은 주기적으로 리프레시 커맨드를 생성하여 DRAM 칩 내의 메모리 셀의 저장 커패시터에서 전하를 누설시키는 것에 의해 야기되는 데이터 에러를 방지한다. 또한, 리프레시 로직(532)은 시스템의 열적 변화로 인한 다이 상의(on-die) 종단 저항의 불일치를 방지하기 위해 ZQ를 주기적으로 교정한다. 리프레시 로직(532)은 또한 DRAM 장치를 상이한 전력 다운 모드로 놓을 시기를 판정한다.
아비터(538)는 커맨드 큐(520)에 양방향으로 연결되고, 메모리 채널 제어기(510)의 핵심이다. 아비터는 메모리 버스의 사용을 향상시키기 위해 액세스를 지능적으로 스케줄링하는 것에 의해 효율을 향상시킨다. 아비터(538)는 타이밍 블록(534)을 사용하여, 커맨드 큐(520) 내의 특정 액세스가 DRAM 타이밍 파라미터에 기초하여 발행하기에 적합한지 여부를 결정함으로써 적절한 타이밍 관계를 구현한다. 예를 들어, 각 DRAM은 "tRC"로 알려진 동일한 뱅크에 대한 활성화 커맨드들 사이의 최소 지정된 시간을 갖는다. 타이밍 블록(534)은 JEDEC 사양에 지정된 이 타이밍 파라미터 및 다른 타이밍 파라미터에 기초하여 적합성(eligibility)을 결정하는 카운터 세트를 유지하며, 재생 큐(530)에 양방향으로 연결된다. 페이지 테이블(536)은 아비터(538)에 대한 메모리 채널의 각 뱅크 및 랭크 내의 활성 페이지에 관한 상태 정보를 유지하고, 재생 큐(530)에 양방향으로 연결된다.
ECC 생성 블록(544)은, 인터페이스(512)로부터 수신된 기입 메모리 액세스 요청에 응답하여, 기입 데이터에 따라 ECC를 연산한다. DB(546)는 수신된 메모리 액세스 요청에 대한 기입 데이터 및 ECC를 저장한다. 아비터(538)가 메모리 채널로의 디스패치(dispatch)를 위해 대응하는 기입 액세스를 취할 때, DB는 조합된 기입 데이터/ECC를 큐(514)에 출력한다.
전력 제어기(550)는 일반적으로 고급 확장 가능 인터페이스, 버전 1(AXI), APB 인터페이스(554), 및 전력 엔진(560)에 대한 인터페이스(552)를 포함한다. 인터페이스(552)는 SMN과 제1 양방향 연결을 갖고, 도 5에 별도로 도시된 "이벤트_n"으로 명명된 이벤트 신호를 수신하기 위한 입력, 및 출력을 포함한다. APB 인터페이스(554)는 인터페이스(552)의 출력에 연결된 입력 및 APB를 통해 PHY에 연결하기 위한 출력을 갖는다. 전력 엔진(560)은 인터페이스(552)의 출력에 연결된 입력 및 큐(514)의 입력에 연결된 출력을 갖는다. 전력 엔진(560)은 구성 레지스터(562)의 세트, 마이크로제어기(μC)(564), 자가 리프레시(self refresh) 제어기(SLFREF/PE)(566) 및 신뢰성 있는 판독/기입 트레이닝 엔진(RRW/TE)(568)을 포함한다. 구성 레지스터(562)는 AXI 버스를 통해 프로그래밍되고, 메모리 제어기(500) 내의 다양한 블록의 동작을 제어하기 위한 구성 정보를 저장한다. 따라서, 구성 레지스터(562)는 도 5에 상세히 도시되지 않은 이들 블록에 연결된 출력을 갖는다. 자가 리프레시 제어기(566)는 리프레시 로직(532)에 의해 리프레시를 자동으로 생성하는 것에 추가하여 리프레시를 수동으로 생성하는 것을 허용하는 엔진이다. 신뢰성 있는 판독/기입 트레이닝 엔진(568)은 DDR 인터페이스 판독 레이턴시 트레이닝 및 루프백(loopback) 테스트와 같은 목적을 위해 메모리 또는 I/O 장치에 연속적인 메모리 액세스 스트림을 제공한다.
메모리 채널 제어기(510)는 관련된 메모리 채널로의 디스패치를 위해 메모리 액세스를 선택하게 하는 회로를 포함한다. 원하는 중재 결정을 내리기 위해, 어드레스 생성기(522)는 어드레스 정보를, 메모리 시스템 내의 랭크, 행 어드레스, 열 어드레스, 뱅크 어드레스 및 뱅크 그룹을 포함하는 미리 디코딩된 정보로 디코딩하고, 커맨드 큐(520)는 미리 디코딩된 정보를 저장한다. 구성 레지스터(562)는 어드레스 생성기(522)가 수신된 어드레스 정보를 디코딩하는 방식을 결정하기 위한 구성 정보를 저장한다. 아비터(538)는 디코딩된 어드레스 정보, 타이밍 블록(534)에 의해 지시된 타이밍 적합성 정보, 및 페이지 테이블(536)에 의해 표시된 활성 페이지 정보를 사용하여 QoS 요구조건과 같은 다른 기준을 관찰하면서 메모리 액세스를 효율적으로 스케줄링한다. 예를 들어, 아비터(538)는 메모리 페이지를 변경하는 데 필요한 프리차지 및 활성화 커맨드의 오버헤드를 피하기 위해 페이지 개방 액세스를우선 구현하고, 메모리 페이지를 다른 뱅크에 대한 판독 및 기입 액세스로 인터리브(interleaving)함으로써 하나의 뱅크에 대한 오버헤드 액세스를 은닉한다. 특히 정상 동작 동안, 아비터(538)는 다른 페이지를 선택하기 전에 프리차지되어야 할 필요가 있을 때까지 다른 뱅크에서 페이지를 개방해 있는 것으로 판정할 수 있다.
아비터(538)는 타이밍 블록(534)을 사용하여 계류 중인 액세스에 대한 타이밍 적합성을 결정하고 나서, 효율성 및 공정성을 보장하는 일련의 기준에 기초하여 커맨드 큐(520)로부터 적합한 액세스를 선택한다. 아비터(538)는 효율성과 공정성을 보장하기 위해 두 가지 메커니즘을 지원한다. 먼저, 아비터(538)는 커맨드 큐(520)에 저장된 메모리 액세스 요청의 속성뿐만 아니라 기입이 진행하도록 허용되는 동안 판독이 진행되는 것이 허용되는 조건을 제어하는 프로그래밍 가능한 임계 값을 검사함으로써 효율성 및 공정성을 보장하기 위해 판독/기입 트랜잭션 관리를 수행한다. 둘째, 아비터(538)는 특정 유형의 액세스의 스트릭(streak)이 메모리 버스를 무기한 보유하는 것이 허용되지 않는 스트릭 카운터(streak counter)를 포함한다. 이 두 메커니즘은 이제 설명된다.
DDR 메모리 에러 복구
전술한 바와 같이, 재생 큐(530)는 어드레스 및 커맨드 패리티 응답, DDR4 DRAM에 대한 기입 순환 중복 검사(Cyclic Redundancy Check: CRC) 응답, 또는 GDDR5 DRAM에 대한 기입 및 판독 CRC 응답과 같은 응답을 대기하는 아비터(538)에 의해 선택된 메모리 액세스를 저장하기 위한 임시 큐이다. 재생 큐(530)는 ECC 검사 블록(542)에 액세스하여 반환된 ECC가 올바른지 또는 에러를 나타내는지를 결정한다. 재생 큐(530)는 이러한 사이클들 중 하나의 사이클의 패리티 또는 CRC 에러의 경우에 액세스가 재생될 수 있게 한다. 또한, 재생 큐(530)는 현재의 DDR DRAM에서 이용 가능한 에러 보고 메커니즘을 이용하여 재생에 관한 결정을 한다. 메모리 에러가 통상 임시적이며, 메모리 채널이 곧 복구된다고 가정함으로써, 재생 큐(530)는 장황하고 파괴적인 복구 시퀀스를 피하기 위한 우아한 백업 및 재생 메커니즘을 제공한다.
일부 장치는 전송 시 데이터 보호를 지원한다(예를 들어, 에러 검출 및 정정(EDC)을 갖는 GDDR5 판독 및 기입 데이터 전송; 기입 CRC로 보호되는 DDR4 기입 데이터 전송). GDDR5 장치는 CRC 데이터를 전송하기 위해 단방향 EDC 버스를 제공하여서, 요청이 판독인지 또는 기입인지 여부에 관계없이 EDC 값이 항상 장치로부터 제어기로 이동한다. GDDR5 판독 응답 데이터 전송 동안 EDC 번들(bundle)은 파라미터(tcrcrl)에 기초하여 응답 데이터와 함께 또는 응답 데이터 직후에 반환된다. 기입 데이터 전송 동안 EDC 번들은 GDDR5 장치가 기입 데이터를 수신한 후 (수신된 기입 데이터로부터 EDC 값을 계산할 때) 반환된다. 판독 시, 메모리 제어기(500)는 수신된 판독 데이터 응답으로부터 EDC 값을 계산하고, 이를 이 판독된 것으로부터 수신된 EDC 데이터와 비교한다. 기입 시, 메모리 제어기(500)는 예상된 EDC 값을 계산하고, 기입 데이터 사이클 후에 GDDR5 장치로부터 반환된 EDC 패킷과 나중에 비교하기 위해 이 값을 메모리 제어기(500)에 일시적으로 저장한다. 예상된 기입 데이터 EDC 값은 메모리 제어기(500) 내의 EDC 큐 로직(EDC Queue Logic)(EDCQ)에 저장된다.
메모리 제어기(500)는 레이턴시를 줄이기 위해 "조기 응답"을 지원하고, 재생 큐(530)는 EDC 응답이 반환되는 시간에 비해 "조기에" 조기 응답을 메모리 채널로 되 반환한다. 이 "조기 응답" 지원은 EDC가 "불량"으로 되돌아오는 경우 응답이 "취소"될 것을 요구한다. 메모리 제어기(500)는 "조기 응답" 패킷 및 EDC가 불량으로 되돌아오는 경우 "응답 취소"를 가지고 메모리 채널에 응답한다. EDC가 "양호"로 반환되면 더 이상의 조치는 요구되지 않는다. 판독 또는 기입 요청이 실패하면, 재생 큐(530)는 사이클 요청의 재 시도를 수행한다. 기입 요청은 발행될 때 발행될 때 메모리 채널에 되 수신확인 응답된다. 기입이 실패하면, 재생 큐(530)는 메모리 채널과 독립적으로 커맨드를 재 시도하고 기입 데이터 정렬을 유지한다.
DDR4 장치는 기입 커맨드에 대해서만 CRC 검사를 지원한다. CRC 정보는 마지막 2 비트 타임 동안 기입 데이터와 함께 송신된다. 그리하여 GDDR5 EDC와는 달리 DDR4 장치에서 CRC 정보가 검사되며 장치는 에러 검출 시 경고#(ALERT#) 신호를 선언(assert)한다. 경고# 신호가 개방된-드레인(open-drain)이고 DRAM MEMCLK 또는 임의의 내부 제어기 클록과 비동기로 간주되어 동기화를 요구하기 때문에 연속적인 버스트의 시퀀스에서 에러를 야기한 특정 기입 트랜잭션을 식별하는 메모리 제어기(500)의 능력은 제한되고, 메모리 제어기(500)는 이전에 발행된 기입 커맨드의 범위를 재생하여 실패한 기입의 재생을 보장한다. GDDR5 및 DDR4 메모리 모두에 대해, 재생 큐(530)는 기입 및 판독 트랜잭션을 재생하고, 실패한 사이클이 성공적으로 완료될 때까지 커맨드 큐(520)로부터 발행된 임의의 새로운 트랜잭션을 중지시킨다.
재생 큐(530)의 특정 구현 및 그 동작이 이제 설명될 것이다.
도 6은 도 5의 메모리 제어기(500)의 유한 상태 머신(600)의 동작과 관련된 상태도를 도시한다. 유한 상태 머신(600)은 정상(NORMAL) 상태(610), "ACK_대기"라고 명명된 수신확인 대기 상태(620), "CMD_REP"라고 명명된 커맨드 재생 상태(630), 및 "ERR_REC"라고 명명된 에러 복구 상태(640)로 한정된다. 메모리 제어기(500)는 DRAM 에러가 검출되지 않는 한, 정상 상태(610)로 유한된다. 이 상태 동안, 아비터(538)는 메모리 시스템에 대한 메모리 액세스 커맨드의 시퀀싱의 제어를 유지하고, 그 정상 우선순위 규칙에 따라 커맨드 큐(520)로부터 커맨드를 선택함으로써 정상 트래픽을 송신한다. 메모리 제어기(500)는 재생 큐(530)로부터 반환된 DRAM 에러를 검출할 때 정상 상태(610)를 떠나 일시적으로 ACK_대기 상태(620)에 진입한다. 그 다음, 큐(514)는 아비터(538)에 의해 선택된 커맨드를 수용하는 것을 중지하고, 선택된 복구 단계에서 재생 큐(530)로부터 커맨드를 수신하기 시작한다. 재생 큐(530)는 메모리 액세스 커맨드를 발행하는 제어를 취하고, DRAM 유입 및 에러 유입에 기초하여 복구 시퀀스를 수행한다. 예를 들어, DDR4 시스템에서 커맨드/어드레스 에러의 경우에, 메모리 제어기(500)는 ERR_REC 상태(640)에 진입하고, 재생 큐(530)가 최종 복구 커맨드를 송신한 후에 이 커맨드가 올바르게 제공되었다고 보장하는 대기 시간 때까지 이 상태에 유지한다. 이때, 메모리 제어기(500)는 CMD_REP 상태(630)로 전이한다. CMD_REP 상태(630)에서, 재생 큐(530)는 에러가 발생하였을 수 있는 커맨드 또는 커맨드들을 재생한다. CMD_REP 상태(630)는 재생 큐(530)가 에러가 발생하였을 수 있는 마지막 커맨드를 송신할 때 종료한다.
예를 들어, 전형적인 시퀀스는 다음과 같이 진행한다:
1) 부팅 시, 유한 상태 머신(600)은 정상 상태(610)에서 시작한다.
2) DDR4 시스템의 경우, 재생 큐(530)는 에러(경고_n=0)를 샘플링하거나, 또는 GDDR5 시스템에서, 재생 큐(530)가 큐(514)로부터 반환된 CRC 에러를 수신하면 재생 큐는 큐(514)로부터 제어를 요청하고, 유한 상태 머신(600)은 ACK_대기 상태(620)로 이동한다.
3) 아비터(538) 및 큐(514)는, 복구 요청을 수신확인 응답하기 전에 전력 다운 모드에서 임의의 DRAM을 깨우고, 재생 큐(530)가 제어하는 동안 동적 전력 다운을 디스에이블할 필요가 있다.
4) 큐(514)가 요청을 수신확인 응답하면 상태 머신(600)은 커맨드/어드레스 에러 복구 시퀀스를 수행하기 위해 ERR_REC 상태(640)로 이동하거나, 또는 직접 CMD_REP 상태(630)로 이동한다.
5) 커맨드/어드레스 에러 복구가 완료되면, 상태 머신(600)은 CMD_REP 상태(630)로 이동한다.
6) CMD_REP 상태(630)에서, 에러 트랜잭션이 재생되어 메모리 시스템으로 재송신된다. 추가 에러의 경우, 상태 머신(600)은 커맨드/어드레스 에러의 경우에 CMD_REP 상태(630)에 머무르거나, 또는 ERR_REC 상태(640)로 이동한다.
7) 재생이 완료되고 쿨다운(cool down) 시간이 경과하면, 재생 큐(530)는 아비터(538)에 대한 트랜잭션의 제어를 해제하고, 유한 상태 머신(600)은 정상 상태(610)로 복귀하고, 메모리 제어기(500)는 다시 정상 커맨드를 제공할 준비가 된다. 메모리 제어기(500)가 메모리 커맨드를 재생하고 미리 정해진 횟수만큼 에러를 수신하면, 이것은 시스템 에러를 나타낸다. 반복되는 에러의 발생률(incidence)은 메모리 버스의 임시 조건 대신 실제 시스템 에러를 나타내며, 이것은 운영 시스템에 의해 다른 정정 조치를 수행해야 한다.
도 5의 메모리 제어기는 하드웨어와 소프트웨어의 다양한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 회로는 우선순위 인코더, 유한 상태 머신, 프로그래밍 가능한 로직 어레이(programmable logic array: PLA) 등을 포함할 수 있다. 예를 들어, 아비터(538)는 계류 중인 커맨드의 상대적인 타이밍 적합성을 평가하기 위해 저장된 프로그램 명령을 실행하는 마이크로제어기로 구현될 수 있다. 이 경우, 명령의 일부는 마이크로제어기에 의해 실행되기 위해 비 일시적인 컴퓨터 메모리 또는 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 다양한 실시예에서, 비 일시적 컴퓨터 판독 가능 저장 매체는 자기 또는 광학 디스크 저장 장치, 플래시 메모리와 같은 솔리드-스테이트 저장 장치 또는 다른 비 휘발성 메모리 장치 또는 장치들을 포함한다. 비 일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 판독 가능 명령은 소스 코드, 조립체 언어 코드, 객체 코드, 또는 하나 이상의 프로세서에 의해 해석 및/또는 실행 가능한 다른 명령 포맷일 수 있다.
도 5의 메모리 제어기 또는 재생 큐(530)와 같은 임의의 일부는 프로그램에 의해 판독될 수 있고 집적 회로를 제조하기 위해 직접 또는 간접 사용될 수 있는 데이터베이스 또는 다른 데이터 구조의 형태로 컴퓨터 액세스 가능 데이터 구조에 의해 기술되거나 표현될 수 있다. 예를 들어, 이 데이터 구조는 베릴로그(Verilog) 또는 VHDL과 같은 하이 레벨 설계 언어(high level design language: HDL)의 하드웨어 기능에 대한 동작 레벨 설명 또는 레지스터 전송 수준(register-transfer level: RTL) 설명일 수 있다. 이 설명은 합성 라이브러리로부터 게이트의 리스트를 포함하는 네트리스트(netlist)를 생성하기 위해 이 설명을 합성할 수 있는 합성 툴에 의해 판독될 수 있다. 네트리스트는 집적 회로를 포함하는 하드웨어의 기능을 나타내는 게이트 세트를 포함한다. 그런 다음 네트리스트를 배치하고 라우팅하여 마스크에 적용할 기하학적 형상을 설명하는 데이터 세트를 생성할 수 있다. 마스크는 집적 회로를 생산하기 위해 다양한 반도체 제조 단계에서 사용된다. 대안적으로, 컴퓨터 액세스 가능 저장 매체 상의 데이터베이스는 네트리스트(합성 라이브러리가 있거나 없는) 또는 원하는 데이터 세트 또는 그래픽 데이터 시스템(GDS) II 데이터일 수 있다.
특정 실시예가 설명되었지만, 이들 실시예에 대한 다양한 변경이 이 기술 분야에 통상의 지식을 가진 자에게는 명백할 것이다. 예를 들어, 메모리 채널 제어기(510) 및/또는 전력 엔진(550)의 내부 아키텍처는 상이한 실시예에서 변할 수 있다. 메모리 제어기(500)는 고 대역폭 메모리(HBM), 램버스(RAMbus) DRAM(RDRAM) 등과 같은 DDRx 메모리 이외의 다른 유형의 메모리와 인터페이스할 수 있다. 도시된 실시예는 개별 DIMM에 대응하는 메모리의 각 랭크를 보여주었지만, 다른 실시예에서는 각 DIMM이 다수의 랭크를 지원할 수 있다.
따라서, 첨부된 청구 범위는 개시된 실시예의 범위 내에 있는 개시된 실시예의 모든 변형을 포함하는 것으로 의도된다.

Claims (15)

  1. 메모리 제어기(500)로서,
    메모리 액세스 요청을 수신하고 저장하기 위한 커맨드 큐(command queue)(520);
    상기 커맨드 큐에 결합되고 메모리 커맨드의 시퀀스를 메모리 채널(130/140)에 제공하기 위한 아비터(arbiter)(538); 및
    상기 메모리 커맨드의 시퀀스를 상기 메모리 채널(130/140)에 저장하고, 상기 메모리 채널(130/140)로부터 아직 응답을 수신하지 않은 메모리 액세스 커맨드를 계속 저장하기 위한 재생 큐(replay queue)(530)를 포함하되;
    응답이 임의의 에러 없이 대응하는 메모리 커맨드의 완료를 나타낼 때, 상기 재생 큐(530)는 추가적인 조치를 취하지 않고 상기 대응하는 메모리 커맨드를 제거하고;
    응답이 에러를 나타내고 그리고 상기 메모리 채널이 제1 타입의 메모리를 포함할 때, 상기 재생 큐(530)는 상기 에러가 발생한 상기 대응하는 메모리 커맨드를 재생하고, 그리고 상기 메모리가 제2 타입일 때, 상기 재생 큐는 상기 에러가 발생하였을 수 있는 연속적인 이전에 발생된 메모리 커맨드들의 시퀀스를 재생하는, 메모리 제어기(500).
  2. 제1항에 있어서,
    상기 재생 큐(530)에 결합되고, 상기 대응하는 메모리 커맨드의 ECC를 계산하고, 계산된 ECC를 상기 메모리 채널(130/140)로부터 반환된 ECC와 비교하기 위한 에러 정정 코드(error correcting code: ECC) 검사 블록(542)을 더 포함하는 메모리 제어기(500).
  3. 제1항에 있어서,
    상기 커맨드 큐(520)에 결합되고 메모리 액세스 요청을 수신 및 저장하는 메모리 인터페이스 큐(514)를 더 포함하되, 상기 메모리 인터페이스 큐(514)는 상기 재생 큐(530)에 더 결합되고, 상기 메모리 채널(130/140)로 디스패치된 커맨드 및 상기 커맨드에 응답하여 상기 메모리 채널(130/140)로부터 수신된 응답을 제공하는, 메모리 제어기(500).
  4. 제3항에 있어서,
    상기 메모리 인터페이스 큐(514)로부터 응답을 수신한 것에 응답하여, 상기 재생 큐(530)는 에러 정정 코드를 계산하고 상기 에러 정정 코드를 상기 메모리 채널(130/140)로부터 수신된 에러 정정 코드와 비교함으로써 상기 응답에 에러가 있었다고 결정하는, 메모리 제어기(500).
  5. 제3항에 있어서,
    에러를 갖고 상기 메모리 인터페이스 큐(514)로부터의 응답을 수신한 것에 응답하여, 상기 재생 큐(530)는 상기 대응하는 메모리 커맨드 후에 상기 메모리 인터페이스 큐(514)에 의해 상기 메모리 채널(130/140)에 제공된 상기 대응하는 메모리 커맨드 및 임의의 추가적인 커맨드를 재생하는, 메모리 제어기(500).
  6. 메모리 제어기(500)로서,
    메모리 액세스 요청을 수신하고 저장하기 위한 커맨드 큐(520); 및
    상기 커맨드 큐(520)에 결합되고 메모리 커맨드의 시퀀스를 메모리 채널(130/140)에 제공하기 위한 아비터(538);
    상기 커맨드 큐(520)에 결합되고 메모리 액세스 요청을 수신하고 저장하기 위한 메모리 인터페이스 큐(514); 및
    상기 메모리 인터페이스 큐(514)에 결합되고, 상기 메모리 커맨드의 시퀀스를 상기 메모리 채널(130/140)에 저장하고, 상기 메모리 채널(130/140)로부터 아직 응답을 수신하지 않은 메모리 액세스 커맨드를 계속 저장하기 위한 재생 큐(530)를 포함하되;
    상기 메모리 제어기(500)는, 임의의 에러를 검출하지 않는 한, 정상 상태로 유지되고, 상기 정상 상태에서 상기 메모리 인터페이스 큐(514)는 상기 아비터(538)에 의해 선택된 상기 커맨드 큐(520)로부터 커맨드를 계속 수신하고;
    에러를 검출한 것에 응답하여 그리고 상기 메모리 채널이 제1 타입의 메모리를 포함할 때, 상기 메모리 제어기(500)는, 상기 재생 큐(530)가 상기 에러가 발생한 대응하는 메모리 커맨드를 재생하는 복구 상태(630/640)에 진입하고, 그리고 상기 메모리가 제2 타입일 때, 상기 재생 큐는 상기 에러가 발생하였을 수 있는 연속적인 이전에 발생된 메모리 커맨드들의 시퀀스를 재생하는, 메모리 제어기(500).
  7. 제6항에 있어서, 상기 재생 큐(530)가 임의의 추가적인 에러 없이 메모리 에러를 발생시킨 모든 메모리 커맨드를 재생할 때까지 상기 메모리 제어기(500)는 상기 복구 상태(630/640)에 유지되는, 메모리 제어기(500).
  8. 제6항에 있어서,
    상기 메모리 제어기(500)는 커맨드 및 어드레스 에러에 응답하여 에러 복구 상태(640)로 전이하고, 데이터 에러에 응답하여 커맨드 재생 상태(630)로 전이하는, 메모리 제어기(500).
  9. 제8항에 있어서,
    상기 메모리 제어기(500)는 에러가 발생했을 수 있는 커맨드를 재생한 것에 응답하여 상기 에러 복구 상태(640)로부터 상기 커맨드 재생 상태(630)로 전이하고;
    상기 메모리 제어기(500)는 에러 없이 모든 재생된 커맨드에 대한 응답을 수신한 것에 응답하여 상기 커맨드 재생 상태(630)로부터 상기 정상 상태(610)로 전이하는, 메모리 제어기(500).
  10. 제8항에 있어서,
    상기 메모리 제어기(500)는 에러가 발생했을 수 있는 커맨드를 재생한 것에 응답하여 상기 에러 복구 상태(640)로부터 상기 커맨드 재생 상태(630)로 전이하고;
    추가적인 에러에 응답하여, 상기 메모리 제어기(500)는, 상기 추가적인 에러가 커맨드/어드레스 에러인 경우, 상기 에러 복구 상태(640)로 전이하고, 또는 그렇지 않은 경우 상기 커맨드 재생 상태(630)로 전이하는, 메모리 제어기(500).
  11. 제7항에 있어서,
    상기 메모리 제어기(500)는 상기 대응하는 메모리 커맨드를 재생하고 미리 결정된 횟수 동안 에러를 수신한 것에 응답하여 시스템 에러를 나타내는, 메모리 제어기(500).
  12. 데이터 처리 시스템(100)으로서,
    상기 메모리 액세스 요청을 제공하기 위한 메모리 액세스 에이전트(110/210/220);
    메모리 시스템(120); 및
    제1항 내지 제11항 중 어느 한 항의 메모리 제어기(290/500)를 포함하되, 상기 메모리 제어기(290/500)는 상기 메모리 액세스 에이전트(110/210/220) 및 상기 메모리 시스템(120)에 결합되는, 데이터 처리 시스템(100).
  13. 방법으로서,
    메모리 액세스 요청을 수신하고 저장하는 단계;
    저장된 메모리 액세스 요청으로부터 메모리 커맨드의 시퀀스를 메모리 채널(130/140)에 제공하는 단계;
    상기 메모리 채널(130/140)에 상기 메모리 커맨드의 시퀀스를 저장하고, 상기 메모리 채널(130/140)로부터 에러 없는 응답을 아직 수신하지 않은 메모리 커맨드를 계속 저장하는 단계;
    상기 메모리 채널(130/140)로부터 수신된 응답에서 에러가 발생했는지 여부를 검출하는 단계;
    메모리 에러가 검출되지 않은 것에 응답하여 정상 상태(610)로 유지하고, 상기 정상 상태(610)에 있는 동안, 저장된 메모리 액세스 요청들 중에서 커맨드를 계속 제공하는 단계; 및
    에러를 검출한 것에 응답하여 복구 상태(630/640)에 진입하고, 상기 복구 상태(630/640)에 있는 동안 상기 에러가 발생한 대응하는 메모리 커맨드로부터 시작하여 저장된 메모리 커맨드를 재생하는 단계를 포함하되,
    상기 재생하는 단계는, 상기 메모리 채널이 제1 타입의 메모리를 포함할 때 상기 에러가 발생하였을 수 있는 대응하는 메모리 커맨드를 재생하거나 또는 상기 메모리가 제2 타입일 때, 상기 에러가 발생하였을 수 있는 연속적인 이전에 발생된 메모리 커맨드들의 시퀀스를 재생하는 단계를 포함하는, 방법.
  14. 제13항에 있어서,
    적어도 하나의 메모리가 상기 복구 상태(630/640)에 진입하기 전에 전력 다운 상태로부터 깨어 있었다는 수신확인 응답을 대기하는 단계를 더 포함하는 방법.
  15. 제13항에 있어서,
    메모리 에러를 발생시킨 모든 메모리 커맨드가 임의의 추가 에러 없이 재생될 때까지 상기 복구 상태(630/640)에 유지되는 단계를 더 포함하는 방법.
KR1020197003840A 2016-07-15 2017-07-11 Ddr 메모리 에러 복구 KR102350538B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662363075P 2016-07-15 2016-07-15
US62/363,075 2016-07-15
US15/375,076 2016-12-09
US15/375,076 US11675659B2 (en) 2016-07-15 2016-12-09 DDR memory error recovery
PCT/US2017/041559 WO2018013584A1 (en) 2016-07-15 2017-07-11 Ddr memory error recovery

Publications (2)

Publication Number Publication Date
KR20190019209A KR20190019209A (ko) 2019-02-26
KR102350538B1 true KR102350538B1 (ko) 2022-01-14

Family

ID=57569922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197003840A KR102350538B1 (ko) 2016-07-15 2017-07-11 Ddr 메모리 에러 복구

Country Status (6)

Country Link
US (1) US11675659B2 (ko)
EP (1) EP3270290B1 (ko)
JP (1) JP7155103B2 (ko)
KR (1) KR102350538B1 (ko)
CN (1) CN109478158A (ko)
WO (1) WO2018013584A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11442813B2 (en) * 2017-10-11 2022-09-13 Hewlett-Packard Development Company, L.P. Memory devices including execution trace buffers
KR20190042970A (ko) * 2017-10-17 2019-04-25 에스케이하이닉스 주식회사 메모리 시스템 및 그의 동작방법
KR102485411B1 (ko) * 2018-03-02 2023-01-06 에스케이하이닉스 주식회사 메모리 시스템 및 그것의 동작 방법
CN110729006B (zh) * 2018-07-16 2022-07-05 超威半导体(上海)有限公司 存储器控制器中的刷新方案
US11200106B2 (en) 2019-08-12 2021-12-14 Advanced Micro Devices, Inc. Data integrity for persistent memory systems and the like
CN110727530B (zh) * 2019-09-12 2021-02-19 无锡江南计算技术研究所 基于窗口的错误访存请求重传系统及方法
US11768701B2 (en) * 2019-09-17 2023-09-26 Western Digital Technologies, Inc. Exception analysis for data storage devices
US11531601B2 (en) 2019-12-30 2022-12-20 Advanced Micro Devices, Inc. Error recovery for non-volatile memory modules
US11099786B2 (en) * 2019-12-30 2021-08-24 Advanced Micro Devices, Inc. Signaling for heterogeneous memory systems
US11137941B2 (en) * 2019-12-30 2021-10-05 Advanced Micro Devices, Inc. Command replay for non-volatile dual inline memory modules
US20210357336A1 (en) * 2020-05-14 2021-11-18 Advanced Micro Devices, Inc. Efficient memory bus management
US11561862B2 (en) 2020-05-29 2023-01-24 Advanced Micro Devices, Inc. Refresh management for DRAM
US11249839B1 (en) * 2020-08-14 2022-02-15 Rockwell Automation Technologies, Inc. Method and apparatus for memory error detection
TWI807919B (zh) * 2022-07-14 2023-07-01 群聯電子股份有限公司 資料重讀方法、記憶體儲存裝置及記憶體控制電路單元
CN116302659B (zh) * 2023-04-27 2023-08-08 摩尔线程智能科技(北京)有限责任公司 Gpu显存错误处理方法及装置、电子设备和存储介质
CN116701256A (zh) * 2023-06-05 2023-09-05 牛芯半导体(深圳)有限公司 多通道仲裁器电路、接口芯片及数据访问方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128747A (en) * 1997-01-28 2000-10-03 Hewlett Packard Company System for delaying propagation of wake-up signal to processor through the sleep control means until the memory is awakened
US20040153769A1 (en) * 1999-12-28 2004-08-05 Yung-Hsiang Lee Technique for synchronizing faults in a processor having a replay system
US20110040924A1 (en) * 2009-08-11 2011-02-17 Selinger Robert D Controller and Method for Detecting a Transmission Error Over a NAND Interface Using Error Detection Code

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3875749B2 (ja) * 1996-08-08 2007-01-31 富士通株式会社 マルチプロセッサ装置及びそのメモリアクセス方法
US6256745B1 (en) * 1998-06-05 2001-07-03 Intel Corporation Processor having execution core sections operating at different clock rates
US6772324B2 (en) * 1997-12-17 2004-08-03 Intel Corporation Processor having multiple program counters and trace buffers outside an execution pipeline
US6625756B1 (en) 1997-12-19 2003-09-23 Intel Corporation Replay mechanism for soft error recovery
US6952764B2 (en) * 2001-12-31 2005-10-04 Intel Corporation Stopping replay tornadoes
US7587625B2 (en) * 2006-02-16 2009-09-08 Intel Corporation Memory replay mechanism
US7852867B2 (en) * 2007-07-06 2010-12-14 Integrated Deoice Technology, Inc. Integrated memory for storing egressing packet data, replay data and to-be egressed data
US7770064B2 (en) * 2007-10-05 2010-08-03 International Business Machines Corporation Recovery of application faults in a mirrored application environment
US8132048B2 (en) * 2009-08-21 2012-03-06 International Business Machines Corporation Systems and methods to efficiently schedule commands at a memory controller
US8307270B2 (en) * 2009-09-03 2012-11-06 International Business Machines Corporation Advanced memory device having improved performance, reduced power and increased reliability
WO2011031260A1 (en) * 2009-09-10 2011-03-17 Hewlett-Packard Development Company, L.P. Memory subsystem having a first portion to store data with error correction code information and a second portion to store data without error correction code information
US8572311B1 (en) * 2010-01-11 2013-10-29 Apple Inc. Redundant data storage in multi-die memory systems
EP2378452B1 (en) * 2010-04-16 2012-12-19 Thomson Licensing Method, device and computer program support for verification of checksums for self-modified computer code
US8365015B1 (en) 2010-08-09 2013-01-29 Nvidia Corporation Memory-based error recovery
US8549383B2 (en) * 2011-08-24 2013-10-01 Oracle International Corporation Cache tag array with hard error proofing
US8549154B2 (en) * 2011-09-09 2013-10-01 Oracle International Corporation Recovering stateful read-only database sessions
US9202577B2 (en) * 2012-03-30 2015-12-01 Intel Corporation Solid state drive management in power loss recovery
US9575892B2 (en) 2013-03-15 2017-02-21 Nvidia Corporation Replaying memory transactions while resolving memory access faults
CN103258820B (zh) * 2013-04-09 2016-12-28 北京兆易创新科技股份有限公司 SPI接口的增强型Flash芯片及芯片封装方法
GB2513333A (en) * 2013-04-23 2014-10-29 Ibm Method and apparatus for testing a storage system
US9250995B2 (en) 2013-05-29 2016-02-02 Seagate Technology Llc Protection of data in memory
US9767044B2 (en) * 2013-09-24 2017-09-19 Intel Corporation Secure memory repartitioning
US10270705B1 (en) * 2013-12-18 2019-04-23 Violin Systems Llc Transmission of stateful data over a stateless communications channel
US9342402B1 (en) * 2014-01-28 2016-05-17 Altera Corporation Memory interface with hybrid error detection circuitry for modular designs
US9229885B2 (en) * 2014-05-21 2016-01-05 Freescale Semiconductor, Inc. Adaptive scheduling queue control for memory controllers based upon page hit distance determinations
JP6439363B2 (ja) * 2014-10-06 2018-12-19 富士通株式会社 記憶制御装置および記憶制御装置の制御方法
FR3027176B1 (fr) * 2014-10-13 2016-12-09 Oberthur Technologies Rejeu d'un batch de commandes securisees dans un canal securise
US20180081691A1 (en) * 2016-09-21 2018-03-22 Qualcomm Incorporated REPLAYING SPECULATIVELY DISPATCHED LOAD-DEPENDENT INSTRUCTIONS IN RESPONSE TO A CACHE MISS FOR A PRODUCING LOAD INSTRUCTION IN AN OUT-OF-ORDER PROCESSOR (OoP)
US10642536B2 (en) * 2018-03-06 2020-05-05 Western Digital Technologies, Inc. Non-volatile storage system with host side command injection
US10572185B2 (en) * 2018-06-01 2020-02-25 Western Digital Technologies, Inc. Non-volatile storage system with command replay
US20210382640A1 (en) * 2021-08-25 2021-12-09 Intel Corporation Deferred ecc (error checking and correction) memory initialization by memory scrub hardware

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128747A (en) * 1997-01-28 2000-10-03 Hewlett Packard Company System for delaying propagation of wake-up signal to processor through the sleep control means until the memory is awakened
US20040153769A1 (en) * 1999-12-28 2004-08-05 Yung-Hsiang Lee Technique for synchronizing faults in a processor having a replay system
US20110040924A1 (en) * 2009-08-11 2011-02-17 Selinger Robert D Controller and Method for Detecting a Transmission Error Over a NAND Interface Using Error Detection Code

Also Published As

Publication number Publication date
US20180018221A1 (en) 2018-01-18
JP7155103B2 (ja) 2022-10-18
WO2018013584A1 (en) 2018-01-18
JP2019527424A (ja) 2019-09-26
EP3270290B1 (en) 2021-03-24
KR20190019209A (ko) 2019-02-26
US11675659B2 (en) 2023-06-13
EP3270290A1 (en) 2018-01-17
CN109478158A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
KR102350538B1 (ko) Ddr 메모리 에러 복구
KR102460513B1 (ko) 통합 패키지 후 복구
KR102395745B1 (ko) 스트릭 및 판독/기입 트랜잭션 관리 기능을 갖는 메모리 제어기 아비터
JP7121875B1 (ja) パーシステントメモリシステム等のデータ完全性
CN114902198B (zh) 用于异构存储器系统的信令
JP2019536136A (ja) プラットフォームマージニング及びデバッグのためのソフトウェアモードレジスタアクセス
US11561862B2 (en) Refresh management for DRAM
US11531601B2 (en) Error recovery for non-volatile memory modules
KR20220113818A (ko) 비휘발성 듀얼 인라인 메모리 모듈에 대한 커맨드 리플레이
US11797369B2 (en) Error reporting for non-volatile memory modules
EP3553662A1 (en) Intergral post package repair
US20240220379A1 (en) Full dynamic post-package repair
WO2024145082A1 (en) Full dynamic post-package repair

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right