WO2014155593A1 - Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール - Google Patents

Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール Download PDF

Info

Publication number
WO2014155593A1
WO2014155593A1 PCT/JP2013/059155 JP2013059155W WO2014155593A1 WO 2014155593 A1 WO2014155593 A1 WO 2014155593A1 JP 2013059155 W JP2013059155 W JP 2013059155W WO 2014155593 A1 WO2014155593 A1 WO 2014155593A1
Authority
WO
WIPO (PCT)
Prior art keywords
memory
sdram
memory module
data
memory controller
Prior art date
Application number
PCT/JP2013/059155
Other languages
English (en)
French (fr)
Inventor
植松　裕
諭 村岡
大坂　英樹
正文 柴田
裕祐 福村
渡辺　聡
宏 柿田
昭男 出居
上野　仁
孝之 尾野
貴志 宮川
内藤　倫典
大志 隅倉
裕一 福田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US14/763,019 priority Critical patent/US9569144B2/en
Priority to JP2015507793A priority patent/JP5996781B2/ja
Priority to PCT/JP2013/059155 priority patent/WO2014155593A1/ja
Priority to CN201380069806.XA priority patent/CN105027092B/zh
Publication of WO2014155593A1 publication Critical patent/WO2014155593A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1694—Configuration of memory controller to different memory types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/04—Supports for storage elements, e.g. memory modules; Mounting or fixing of storage elements on such supports
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers

Definitions

  • the present disclosure relates to a memory module, and is applicable to, for example, a memory module in which a nonvolatile memory and a volatile memory are mixedly mounted.
  • the SAS is a DRAM and an auxiliary storage device SSD in (Serial Attached SCSI) connection (Solid State Drive), or HDD (Hard Disk Drive) and throughput (latency) there is a difference of about 10 6.
  • PCI-SSD Peripheral Component Interconnect Express
  • SAS-SSD SAS-SSD
  • Patent Document 1 was extracted as relevant.
  • flash memory and DRAM are mounted in separate DIMMs (Dual Inline Memory Modules), and they are connected in a serial transmission system daisy chain via the serial transmission buffer elements mounted in each module.
  • FBDIMM Full Buffered DIMM
  • the memory controller transmits the serialized control signal, address signal, and write data signal to the DIMM according to the FBDIMM signal transmission protocol, and receives the serialized read data signal from the DIMM.
  • Throughput PCI-SSD is said to be improved than the throughput of the SAS-SSD, the throughput of the DRAM and PCI-SSD is a difference of 10 3.
  • Data reading throughput is a bottleneck in the computing power of information processing devices such as servers that handle big data.
  • it was considered to install an inexpensive large-capacity memory on the CPU memory bus having the largest throughput bandwidth.
  • the present inventors have found that there are the following problems.
  • a plurality of memory controllers are arranged on the surface close to the DIMM socket terminal, and a plurality of high-speed memories are arranged on the back surface thereof.
  • the plurality of nonvolatile memories are arranged on the side far from the DIMM socket terminal.
  • the CPU memory bus throughput can be improved.
  • FIG. 3 is a block diagram of an address memory controller according to an embodiment.
  • FIG. 3 is a block diagram of a data memory controller according to an embodiment.
  • FIG. 3 is a block diagram of a data memory controller according to an embodiment.
  • FIG. 3 is a block diagram of an input / output buffer unit of the data memory controller according to the embodiment.
  • FIG. It is a block diagram which shows a part of mixed memory module which concerns on an Example. It is a figure which shows the address space of the embedded memory module which concerns on an Example. It is a figure which shows components arrangement
  • FIG. It is a block diagram which shows a part of mixed memory module which concerns on an Example. It is a figure which shows the address space of the embedded memory module which concerns on an Example. It is a figure which shows components arrangement
  • FIG. 10 is a diagram illustrating a component arrangement of a mixed memory module according to Modification Example 1; It is a figure which shows components arrangement
  • FIG. It is a figure which shows the components arrangement
  • FIG. It is a figure which shows the dimension of the memory module and memory which were examined prior to this indication. It is a figure which shows the structure of the memory module which concerns on embodiment.
  • DRAM is a memory used for a main storage device, and is a clock synchronous type such as SDRAM (Synchronous DRAM), DDR-SDRAM (Double Data Rate SDRAM), DDR2-SDRAM, DDR3-SDRAM, DDR4-SDRAM, and the like. It includes DRAM (hereinafter collectively referred to as SDRAM).
  • SDRAM Synchronous DRAM
  • DDR-SDRAM Double Data Rate SDRAM
  • DDR2-SDRAM DDR3-SDRAM
  • DDR4-SDRAM DDR4-SDRAM
  • the DIMM is a memory module having a plurality of packaged memories, and is used for a main storage device (primary storage device).
  • the function, size, pin arrangement, etc. comply with the JDEC standard.
  • the memory bus is a bus connecting the CPU and the main storage device, and the data bus width is relatively wide, for example, 64 bits.
  • the I / O bus is a bus that connects a CPU to an input / output device or an auxiliary storage device (secondary storage device), and has a data bus width that is relatively narrow, for example, 8 bits.
  • the CPU includes an arithmetic unit (CPU core), a cache controller, a memory controller that controls an external memory, and the like. 1. Technologies studied prior to the present disclosure The inventors examined the mounting of SDRAM, which is a high-speed memory, and a flash memory, which is a non-volatile memory that can be increased in capacity, at a lower speed than SDRAM. There is a size restriction on the DIMM mounted on the standard 1U server. As shown in FIG.
  • the DIMM has a width of 133.35 mm and a height of 31.25 mm.
  • the size of the 64 GB NAND flash memory is 14 mm ⁇ 18 mm.
  • the size of the SDRAM is 13 ⁇ 9.3 mm. All of at least nine flash memories, nine SDRAMs, and a memory controller that controls them must be mounted on the DIMM (this DIMM is referred to as a mixed memory DIMM). Also, the bus throughput of the embedded memory DIMM needs to be approximately the same as that of a conventional SDRAM DIMM.
  • FIG. 14 is a diagram illustrating a configuration of a memory module according to an embodiment.
  • the memory module 60 includes a substrate 61, socket terminals 62, a plurality of high-speed memories 63, a plurality of nonvolatile memories 64 that are large-capacity memories having a larger storage capacity than the high-speed memories, and a plurality of controllers 65.
  • a controller 65 is mounted on the socket terminal 62 side of the first surface of the substrate 61, and a high-speed memory 63 is mounted on the second surface of the substrate 61.
  • the nonvolatile memory 64 is mounted far from the socket terminal 62. In other words, the nonvolatile memory 64 is mounted on the opposite side of the socket terminal 62 with respect to the controller 65.
  • the nonvolatile memory 64 is mounted on the opposite side of the socket terminal 62 with respect to the high-speed memory 63.
  • a server will be described as an example of an information processing apparatus.
  • a memory module with ECC will be described as an example of the memory module, but the present invention can also be applied to a memory module without ECC.
  • an SDRAM DRAM
  • the high-speed memory may be an MRAM (Magnetic Random Access Memory), an STT (Spin Transfer Torque) -RAM, a phase change memory, or the like.
  • the SDRAM is also an example of a volatile semiconductor memory that cannot retain data when the power is cut off.
  • a flash memory will be described as an example of a non-volatile memory.
  • FIG. 1 is a diagram illustrating a configuration of a server according to the embodiment.
  • the server 10 includes two CPUs 11, 12, a plurality of memory modules 13, an IOH (Input Output Hub) 14, a PCI-SSD 15, a SAS (Serial Attached SCSI) bridge 16, and a SAS-SSD / HDD 17.
  • the CPUs 11 and 12 are connected to each other via two QPI buses (QuickPath Interconnect) 19Q.
  • the CPUs 11 and 12 are each connected to a 4-channel memory bus 19M.
  • the data width of the 1-channel memory bus 19M is 8B (bytes), and ECC data is assigned to 1B (bytes).
  • Three memory modules 13 can be connected to each one-channel memory bus 19M.
  • the CPUs 11 and 12 are connected to the IOH 15 and the QPI bus 19Q, respectively.
  • the IOH 15 is connected to the PCI-SSD 15 via the PCIe bus 19P.
  • the IOH 15 is connected to the SAS bridge 16 via the PCIe bus 19P.
  • the SAS bridge 16 is connected to the SAS-SSD / HDD 17 via the SAS bus 19S. Note that the CPU 12 and the memory module connected thereto may not be provided.
  • the memory module 13 includes a memory module (SDRAM memory module) 13D in which SDRAM is mounted, and a memory module (mixed memory module) 13FD in which flash memory and SDRAM are mounted.
  • SDRAM memory module SDRAM memory module
  • a memory module mixed memory module
  • eleven memory modules 13D and one memory module 13FD are connected to the memory buses 19M of the CPUs 11 and 12, respectively.
  • the memory module 13FD is connected to the memory bus 19M, a location closest to the CPUs 11 and 12 is preferable.
  • FIG. 2 is a diagram illustrating a partial configuration of the server according to the embodiment.
  • FIG. 2A is a side view of a substrate on which a CPU and a memory module are mounted.
  • the CPU 11 is mounted on a socket 27 attached on a substrate (motherboard) 26.
  • the memory modules 13D and 13FD are mounted on a socket 28 attached on the substrate 26.
  • the CPU 12 and the memory modules 13D and 13FD are similarly mounted.
  • the CPU 11 will be described, but the description is omitted because the same applies to the CPU 12 side.
  • FIG. 2B is a block diagram of the CPU and the embedded memory module.
  • the CPU 11 includes a memory controller 24 that controls the memory modules 13D and 13FD, and the memory controller 24 is controlled by the hypervisor 25.
  • the CPU 11 includes a cache memory (not shown), and data read from the memory modules 13D and 13FD by the memory controller 24 is stored in the cache memory.
  • the embedded memory module 13FD includes a memory controller (MC) 21, an SDRAM 22, and a flash memory (FLASH) 23.
  • the capacity of the SDRAM 22 is 8 GB, for example, and the capacity of the flash memory 23 is 1 TB.
  • the memory controller 21 interfaces the memory bus 19M with the SDRAM 22 and the flash memory 23. ⁇ Outline of operation> When reading data from the flash memory 23 of the embedded memory module 13FD, first, the memory controller 21 reads data from the flash memory 23 and writes it to the SDRAM 22, and then the memory controller 21 reads data from the SDRAM 22.
  • the memory controller 21 When writing data to the flash memory 23 of the embedded memory module 13FD, first, the memory controller 21 writes data to the SDRAM 22, and then the memory controller 21 reads data from the SDRAM 22 and writes it to the flash memory 23.
  • FIG. 3A is a diagram showing a configuration of the SDRAM memory module.
  • 3A (a) is a drawing showing the front surface
  • FIG. 3A (b) is a drawing showing the back surface.
  • FIG. 3B is a diagram showing a terminal arrangement on the surface of the SDRAM memory module.
  • FIG. 3C is a diagram showing a terminal arrangement on the back surface of the SDRAM memory module.
  • FIG. 3D is a diagram showing terminal functions and the like of the SDRAM memory module.
  • the SDRAM memory module 13D uses a 240-pin RDIMM (Registered DIMM) composed of DDR3-SDRAM conforming to the JEDEC standard.
  • the RDIMM is a DIMM that receives an address signal and a control signal by an IC (Integrated Circuit) called a Registered buffer ⁇ ⁇ on the DIMM substrate, shapes and amplifies the signal, and distributes the amplified signal to each SDRAM.
  • 18 SDRAMs 24, 1 registered buffer IC 43F, and 1 SPD (Serial Presence Detect) 44 are mounted on the surface of the substrate 41 of the SDRAM memory module 13D. Further, 18 SDRAMs 24 and one registered buffer IC 43R are mounted on the back surface of the substrate 41.
  • the two SDRAMs 24 on the front surface and the two SDRAMs 24 on the back surface are for ECC data.
  • the SDRAM memory module 13D is a 32 GB RDIMM with ECC.
  • the data is 4 Gb ⁇ 64 and the ECC is 4 Gb ⁇ 8.
  • the SDRAM 24 is an 8 Gb (1 Gb ⁇ 8) DDR3-SDRAM, and is configured by mounting two 4 Gb (1 Gb ⁇ 8) DDR3-SDRAM chips in a BGA package.
  • the memory module 13D may be an LRDIMM (Load-Reduced DIMM) in which data signals are also buffered.
  • the terminal arrangement and terminal functions of the LRDIMM are the same as the terminal arrangement and terminal functions of the RDIMM.
  • FIGS. 3B and 3C the terminals 42F and 42R each have 120 terminals.
  • the function of each terminal is as shown in FIG. 3D.
  • the lowercase “x” after the uppercase symbol indicates that there are a plurality of terminals having the same function
  • “x” is a number. ing.
  • “#” indicates an active low signal.
  • FIG. 4A is a diagram illustrating an overall configuration of the embedded memory module according to the embodiment.
  • FIG. 4B is a block diagram of the address memory controller.
  • FIG. 4C is a block diagram of the data memory controller.
  • FIG. 4D shows a flash memory input / output buffer circuit.
  • FIG. 4E is a block diagram illustrating a part of the memory module according to the embodiment.
  • the embedded memory module 13FD includes an address memory controller (MCA) 21A, a data memory controller (MCD) 21D, an SDRAM 22S, and a flash memory 23F.
  • the memory controller 21 is composed of the address memory controller 21A and the data memory controller 21D.
  • Data memory controllers 21D corresponding to the number of SDRAMs 22S to be mounted are mounted on the embedded memory module 13FD, and one address memory controller 21A is mounted on the embedded memory module 13FD.
  • the number of flash memories 23F that is twice the number of SDRAMs 22S is mounted on the memory module 13FD.
  • the mixed memory module 13FD 18 flash memories 23F having a capacity of 64 GB and 9 SDRAMs 22S having a capacity of 1 GB are mounted.
  • the capacity of the flash memory 23F is 64 times the capacity of the SDRAM 22S, and is 10 times or more and less than 100 times.
  • Two of the flash memories 23F and one of the SDRAMs 22S are for storing ECC data.
  • an 8 GB SDRAM 22 and a 1 TB flash memory 23 are configured.
  • the memory module 13FD is mounted with nine data memory controllers 21D and one address memory controller 21A. Each of the data memory controller 21D and the address memory controller 21A is formed of a semiconductor chip and mounted on a BGA type package.
  • the flash memory 23F having a capacity of 64 GB is formed by stacking eight 8 GB NAND flash memory chips (NAND Flash) in one BGA type package.
  • the flash memory 23F has an interface equivalent to DDR2 (ONFI (Open NAND Flash Interface) or Toggle DDR) and has a throughput of 400 Mbps.
  • DDR2 ONFI (Open NAND Flash Interface) or Toggle DDR
  • one data memory controller 21D controls one SDRAM 22S and two flash memories 23F.
  • As the SDRAM 22S one GB or more DDR3-SDRAM chips are mounted in one BGA type package.
  • the interface of the SDRAM 22S has a throughput of 1600 Mbps.
  • the SDRAM 22S may use a DDR4-SDRAM chip instead of the DDR3-SDRAM chip.
  • the read time of the flash memory 23F is longer than the read time of the SDRAM 22S.
  • the read time of the flash memory 23F is on the order of 10 ⁇ s.
  • the read time of the SDRAM 22S is on the order of 10 ns.
  • the read time is the time from the read request (issue of the read command) to the first data read.
  • the embedded memory module 13FD includes an SPD (Serial Presence Detect) 31 and a DC-DC converter 33.
  • Each of the SPD 31 and the SPD 44 is configured by an EEPROM, and stores information related to the memory module itself (for example, information such as the type and configuration of the memory chip, the memory capacity, ECC (error correction code), and the presence / absence of parity).
  • VDDFlash 1.8V
  • the reserve pin (NC pin) of the memory module can be assigned to the power supply terminal of VDDFlash, the DC-DC converter 33 is not necessary.
  • the embedded memory module 13FD has a socket terminal for connecting to the memory bus 19M.
  • the socket terminals have the same number of terminals, the same terminal arrangement, and the same functions as the terminals 42F and 42R of the SDRAM memory module 13D (see FIGS. 3B, 3C, and 3D).
  • a circle represents a socket terminal.
  • the socket terminal includes a clock signal (Clock), an address signal (ADDR), a control signal (CTRL), a data signal (DQ, CB), a data control signal (DQS, DQS #, DM), and a power supply (VDD, VSS, VDDQ). , VREFDQ, VREFCA, VDDSPD, VDDFlash), SPD signal and the like are applied.
  • the clock signal (Clock) includes clock signals (CK, CK #) for the SDRAM 22S.
  • the address signal (ADDR) includes an address signal (A15-A0) and a bank address signal (BA2-BA0) for the SDRAM 22S.
  • the control signal (CTRL) includes a command signal (RAS #, CAS #, WE #) and a control signal (CKE, S #).
  • RAS # is a row address strobe signal
  • CAS # is a column address strobe signal
  • WE # is a write enable signal.
  • the address memory controller 21A includes a PLL 3B1, a buffer register ABF, and a selector ASLT.
  • a clock signal (Clock) on the signal line ILS1 is input to the PLL (Phase Loop Lock) circuit 3B1 via the input buffer circuit IB1.
  • the PLL circuit 3B1 outputs the clock signal (CKF) for the flash memory 23F to the signal line OSL1 via the output buffer circuit OB1, and the clock signal (CKMD) for the data memory controller 21D via the output buffer circuit OB2.
  • the clock signal (CK, CK #) for the SDRAM 22S is output to the signal line ODL3 via the output buffer circuit OB3.
  • the clock signal (Clock), the clock signals (CK, CK #), and the clock signal (CKMD) are signals having the same frequency.
  • the clock signals (CKF, CKF #) are signals having a frequency 1 ⁇ 4 that of the clock signal (Clock), the clock signal (CK, CK #), and the clock signal (CKMD).
  • a clock signal having a frequency of 1/4 is generated by a frequency divider in the PLL 3B1.
  • the address signal (ADDR) and the control signal (CTRL) on the signal line ISL2 are input to the selector ASLT via the input buffer circuit IB2, and to the address signal (ADDR) for the SDRAM 22 via the output buffer circuit OB4.
  • a control signal (CTRL) is output to the signal line OSL4.
  • a part of the address signal (ADDR) and the control signal (CTRL) are output to the signal line OSL5 via the output buffer circuit OB5 and a control signal (FCRC) of the control register FMCR described later.
  • the address signal (ADDR) and control signal (CTRL) output from the flash memory control register FMCR on the signal line ISL3 are stored in the buffer register ABF via the input buffer circuit IB3.
  • the address signal (ADDR) and control signal (CTRL) stored in the buffer register ABF are input to the selector ASLT and output to the signal line OSL4 via the output buffer circuit OB4.
  • Power supplies (VDD, VDDQ, VREFDQ, VSS) on the power supply line PL are input.
  • a circle between the signal line and the input buffer circuit or the output buffer circuit represents an external terminal of the address memory controller 21A.
  • the external terminals have the same number as the signal lines connected thereto.
  • the data memory controller 21D includes selectors DSLT1, DSLT2, and DSLT3, and a control register FMCR.
  • Data system signals (DQ (7-0) / CB (7-0), DQS, DQS #, DM) to the SDRAM 22S pass through the signal line IOSL1, the input buffer circuit IOIB1, the selector DSLT1, and the output buffer circuit IOOB2. Are output to the signal line IOSL2.
  • the signal line IOSL2 is connected to the SDRAM 22S.
  • a data signal from the SDRAM 22S is output to the signal line IOSL1 via the signal line IOSL2, the input buffer circuit IOIB2, the signal line ODSL, the selector DSLT3, and the output buffer IOOB1.
  • Information necessary for the flash memory 23F is input from a signal line transmitting the DQ (7-0) signal in the signal line IOSL1, and stored in the buffer register DBF of the control register FMCR.
  • Information necessary for the flash memory 23S includes an operation code FMOPC of the flash memory, an address FMADDR of the flash memory, an address signal (ADDR) for accessing the SDRAM 22S, and a control signal (CTRL).
  • the control register FMCR is accessed by the memory interface of the SDRAM.
  • Each of the input / output buffer units (IOB) 3C1, 3C2, 3C3, 3C4 is connected to the flash memory 23F and the signal lines IOSL3, IOSL4, IOSL5, IOSL6.
  • Each of the signal lines IOSL3, IOSL4, IOSL5, IOSL6 has 35 sets of 8 addresses / data, 2 data strobes, and 1 data mask.
  • each of the IOBs 3C3, 3C4, 3C5, and 3C6 includes output buffer registers ODBCi and OBDDi, an input buffer register IDBFi, a selector FDSLTi, an output buffer circuit IOOBi, and an input buffer circuit IOIBi.
  • i 3 to 6.
  • the output buffer registers ODBCi and OBDDi are connected to signal lines OCSL and ODSL, respectively.
  • the signal line OCSL is connected to the data buffer register DBF.
  • the signal line ODSL is connected to the input buffer circuit IOIB2.
  • the address memory controller 21A is located near the center of the memory module 13FD. It is good to arrange.
  • a portion DSF in which one data memory controller 21D, one SDRAM 22S, and two flash memories 23F are surrounded by a broken line is shown only one above and below the address memory controller 21A in FIG. 4E. For example, five are arranged above and four below. (Operation)
  • the embedded memory module 13FD operates by a so-called SDRAM interface.
  • the address memory controller 21A selects the control register FMCR provided in the data memory controller 21D or the SDRAM 22S according to the value of the address signal (ADDR) input from the outside. Any access is performed by the SDRAM interface method. By accessing the control register FMCR and writing the operation code (FMOPC) and address (FMADDR), the data in the flash memory 23F can be loaded into the SDRAM 22S, or the data in the SDRAM 22S can be stored in the flash memory 23F.
  • (1) Reading from the embedded memory module (a) Reading from the flash memory
  • the memory controller 24 inputs an address for accessing the control register FMCR to the address signal (ADDR). In addition, a write command is input to the control signals (CKE, CS #, RAS #, CAS #, WE #).
  • a load instruction code as FMOPC an address to start loading from the flash memory 23F, and a write address for writing to the SDRAM 22S are input to the data signals (DQ7 to DQ0).
  • the address memory controller 21A inputs the control signal (FCRC) to the control register FMCR via the signal line OSL5 and the input buffer circuit IB5.
  • FCRC control signal
  • the load instruction code and the load start address are read out by a control circuit (not shown) and transmitted to the output buffer register OBCCI of the input / output buffer unit (IOB) via the signal line OCSL.
  • a load instruction code and a load start address are sent to the flash memory 23F together with control signals (AL, CL, E #, R, W, RP #, DQS) generated by a control circuit (not shown). Data is read out. The read data is stored in the input buffer register IDBFi of the input / output buffer unit (IOB).
  • B) Writing from the input buffer register to the SDRAM The SDRAM write address stored in the buffer register DBF and the control signal (CTRL) generated by the control circuit (not shown) pass through the output buffer circuit OB6 to the signal line.
  • the data is output to the ISL 3 and sent to the SDRAM 22S via the address memory controller 21A as described above.
  • the data stored in the input buffer register IDBFi is output to the signal line IOSL2 via the selector DSLT2, the selector DSLT1, and the output buffer circuit IOOB2.
  • the data read from the flash memory 23F is written into the SDRAM 22S.
  • C Reading from SDRAM
  • an address for the memory controller 24 to access the SDRAM 22S to the address signal (ADDR) (the same address as the SDRAM write address) Are input to the control signals (CKE, CS #, RAS #, CAS #, WE #).
  • the address memory controller 21A accesses the SDRAM 22S and reads the data.
  • Data read from the SDRAM 22S is sent to the signal line IOSL1 via the signal line IOSL2, the input buffer circuit IOIB1, the selector DSLT3, and the output buffer circuit IOOB1.
  • (2) Writing to Embedded Memory Module (a) Writing to SDRAM The memory controller 24 inputs an address for accessing the SDRAM 22S to the address signal (ADDR). In addition, a write command is input to the control signals (CKE, CS #, RAS #, CAS #, WE #). Further, data to be written to the data signals (DQ7 to DQ0) is input.
  • the address memory controller 21A accesses the SDRAM 22S, and writes the data input to the data memory controller 21D to the SDRAM 22S via the input buffer circuit IOIB1, the selector DSLT1, and the output buffer circuit IOOB1.
  • the memory controller 24 inputs an address for accessing the control register FMCR to the address signal (ADDR).
  • a write command is input to the control signals (CKE, CS #, RAS #, CAS #, WE #).
  • an erase instruction and an erase address, a store instruction code, an address for starting storage in the flash memory 23F, and a read address for reading from the SDRAM 22S are input to the data signals (DQ7 to DQ0).
  • the address memory controller 21A inputs the control signal (FCRC) to the control register FMCR via the signal line OSL5 and the input buffer circuit IB5. Then, the erase instruction, erase address, store instruction code, store start address, and SDRAM read address are written in control register FMCR.
  • FCRC control signal
  • the SDRAM read address stored in the buffer register DBF and the control signal (CTRL) generated by the control circuit (not shown) are output to the signal line ISL3 via the output buffer circuit OB6, and the address is as described above.
  • data is read from the SDRAM 22S and stored in the output buffer register OBDDi of the input / output buffer unit (IOB) via the signal line IOSL2 and the input buffer circuit IOIB1.
  • C Writing from the output buffer register to the flash memory After that, an erase instruction code and an erase address are read by a control circuit (not shown) and input / output buffer (IOB) via the signal line OCSL. Are transmitted to the output buffer register OBCi. An erase command code and an erase address are sent to the flash memory 23F together with control signals (AL, CL, E #, R, W, RP #, DQS) generated by a control circuit (not shown) and erased. Is done.
  • FIG. 5 is a diagram showing the address space of the server 10.
  • FIG. 5 shows an application process address, an operating system (OS) page table, a physical address of a virtual machine (VM), and an address space of the physical address.
  • the hypervisor operates directly on the hardware, and all OSs operate on the hypervisor.
  • the application runs on the OS.
  • the VM is realized by the hypervisor.
  • the buffer cache address reserved by the application is assigned to an arbitrary address by the OS.
  • the flash memory in the embedded memory module 13FD is in the I / O space. Therefore, it is necessary to assign the address of data read from the flash memory in the I / O space on the physical address in the memory address space. Therefore, the buffer cache address reserved by the application is allocated to the SDRAM in the embedded memory module (DIMM) by conversion by the hypervisor. As a result, only the data transmission inside the embedded memory module is achieved, and extra data transmission to the memory bus can be prevented.
  • DIMM embedded memory module
  • the memory controller 24 initializes the SDRAM 22S by setting it in the mode register of the SDRAM 22S in addition to the above control. Further, the following control is also performed.
  • the memory controller 24 reads data from the embedded memory module 13FD, it detects and corrects an error in the read data. Based on the data from the two flash memories 23F and one SDRAM 22S storing the ECC data, the error correction circuit in the memory controller 24 detects and corrects the error.
  • the memory controller 24 checks whether the data has been correctly written. If the data has not been correctly written, the data is written to an address different from the current address. A so-called substitution process (wear leveling) is performed. Address management is also performed in which the substitute processing is performed for the defective address and the defective address.
  • FIG. 6 is a diagram illustrating a component arrangement of the memory module according to the embodiment.
  • 6A shows the front surface of the memory module
  • FIG. 6B shows the back surface of the memory module.
  • FIG. 6C shows the external dimensions of the flash memory
  • FIG. 6D shows the external dimensions of the SDRAM.
  • the DIMM 50 which is one configuration example of the mixed memory module 13FD, includes a board 51, socket terminals 52 on both sides of the board 51, one address memory controller (MCA) 21A, and 18 data memory controllers (MCD) 21D.
  • the substrate 51 has a width of 133.35 mm and a height of 31.25 mm.
  • the address memory controller 21A is arranged vertically, the data memory controller 21D is arranged horizontally, the SDRAM 22S is arranged horizontally, and the flash memory 23F is arranged vertically.
  • the external dimensions of the flash memory 23F are 14 mm ⁇ 18 mm, and the external dimensions of the SDRAM 22S are 13 mm ⁇ 9.3 mm.
  • the external dimensions of the SDRAM vary depending on the semiconductor manufacturer (semiconductor chip size, etc.), and are 12 mm ⁇ 10.5 mm, 10.5 mm ⁇ 9.0 mm, 11 ⁇ 9.9 mm, 10.6 ⁇ 9.0 mm. There is something. However, the positions where the balls are arranged are the same.
  • the external dimensions of the data memory controller 21D are the same as those of the SDRAM 22S.
  • the data memory controller 21D is disposed on the front surface of the substrate 51 on the side close to the socket terminal 52, and the SDRAM 22S is disposed on the rear surface.
  • the flash memory 23F is arranged farther from the socket terminal 52 than the data memory controller 21D and the SDRAM 22S.
  • the data memory controller 21D is disposed on the surface of the substrate 51 and between the socket terminal 52 and the flash memory 23F.
  • the SDRAM 22S is disposed on the back surface of the substrate 51 and between the socket terminal 52 and the flash memory 23F.
  • the address memory controller 21A is disposed between the data memory controller 21D.
  • FIG. 6A four data memory controllers 21D are arranged on the right side of the address memory controller 21A, and five data memory controllers 21D are arranged on the left side.
  • FIG. 6B five SDRAMs 22S are arranged on the right side and four SDRAMs 22S are arranged on the left side with reference to the back side where the address memory controller 21A is arranged.
  • the SPD 31 is disposed near the right end of the back surface of the substrate 52.
  • the mounting positions of the data memory controller 21D and the SDRAM 22S should be overlapped on the front and back.
  • the data memory controller 21D and the SDRAM 22S can be connected at a short distance, and the socket terminal 52 and the data memory controller 21D can be connected at a short distance.
  • FIG. 7 is a diagram showing a ball arrangement of the memory controller package according to the embodiment.
  • FIG. 7 is a bottom (back) view.
  • the data memory controller 21D and the SDRAM 22S are mounted in the BGA type package.
  • External terminals (bump electrodes) of the BGA type package are formed of solder balls (balls).
  • the ball pitch of the data memory controller 21D is 1 ⁇ 2 of the ball pitch of the SDRAM 22S.
  • balls 61-1 and 61-2 represented by white circles (white circles) are arranged at the same positions as the balls of the SDRAM 22S.
  • Balls 62-1 and 62-2 represented by black circles (black circles) are for connection to external terminals of the flash memory 23F, and are arranged between the white circles.
  • Balls 63-1 and 63-2 represented by circles (gray circles) hatched inside are for connection to the socket terminal 52, and are arranged between the white circles.
  • the balls represented by the white circles of the data memory controller 21D are not necessarily connected to the balls of the SDRAM 22S, but may be connected to the external terminal or the socket terminal 52 of the flash memory 23F.
  • the ball connected to the external terminal of the flash memory 23F is arranged on the upper side, and the ball connected to the socket terminal 52 is arranged on the lower side.
  • FIG. 8A is a diagram showing the ball arrangement of the SDRAM package.
  • FIG. 8A is a top (surface) view.
  • the ball is located on the back side of the page.
  • Symbols attached to the bottom of the ball represented by a white broken line are abbreviations (symbols) such as signal names inputted to and outputted from the terminals of the SDRAM 22S, and there are 78 balls.
  • FIG. 8B is a diagram showing functions of terminals of the SDRAM.
  • the column labeled “Connection CNT” indicates whether the terminal of the SDRAM 22S is connected to the address memory controller (MCA) 21A or the data memory controller (MCD) 21D.
  • MCA address memory controller
  • MCD data memory controller
  • FIG. 8A 6 balls are arranged horizontally and 13 balls are arranged vertically. Between the three rows on the left and the three rows on the right, three rows of balls are not arranged at the pitch of the balls of the SDRAM 22S. If balls are also arranged between the balls of the SDRAM 22S including three vacant rows, 17 balls in the vertical direction and 25 balls in the horizontal direction can be arranged in FIG. Since the SDRAM 22S has 78 balls, 347 balls can be allocated to the connection of the external terminal of the flash memory 23F and the socket terminal 52. However, since all 78 balls of the SDRAM 22S do not need to be connected to the data memory controller 21D, more than 347 balls can be assigned to the connection of the external terminal and the socket terminal 52 of the flash memory 23F.
  • 49 socket terminals 52 can be allocated and 298 external terminals of the flash memory 23F can be allocated.
  • the number of terminals it is not necessary to assign all of them, and for example, the terminal near the center in FIG.
  • the ball When the surface of the data memory controller 21D and the surface of the SDRAM 22S are combined, the ball is disposed at the same position, and the ball at the same position serves as a signal terminal to be connected. They are a data signal (DQ [7: 0]) and a data control signal (DQS, DQS # (/ DQS), DM). If the mounting positions of the data memory controller 21D and the SDRAM 22S are overlapped with each other, they can be connected at a short distance.
  • FIG. 9 is a diagram illustrating a signal transmission path of the embedded memory module according to the embodiment.
  • FIG. 9 is a side view of the embedded memory module 13FD.
  • double-directional arrows represent signal paths.
  • the signal path 71 is a signal path between the socket terminal 52 and the data memory controller 21D.
  • the signal path 72 is a signal path between the data memory controller 21D and the SDRAM 22S.
  • the signal paths 71 and 72 each have a short distance.
  • the signal path 73 is a signal path between the data memory controller 21D and the flash memory 23F.
  • the signal path 73 does not require high-speed transmission as compared with the signal paths 71 and 72, but requires a large number of signal lines. Therefore, it is possible to route the inside of the substrate 51 constituted by about 10 layers of multilayer wiring to some extent.
  • FIG. 10 is a diagram illustrating a component arrangement of the embedded memory module according to the first modification.
  • FIG. 10A shows the front surface of the memory module
  • FIG. 10B shows the back surface of the embedded memory module.
  • a data memory controller (MCD) 21D and an SDRAM (DRAM) 22S are alternately arranged on the front and back of the substrate 51.
  • the arrangement of the address memory controller (MCA) 21A, the flash memory (Flash) 23F, the SPD 31 and the socket terminal 52 is the same as the arrangement of the memory module 50 according to the embodiment. Since there are many wirings between the data memory controller (MCD) 21D and the flash memory (Flash) 23F, a wiring margin is created by alternating the data memory controller (MCD) 21D and the SDRAM (DRAM) 22S. Can do.
  • FIG. 11 is a diagram illustrating the component arrangement of the embedded memory module according to the second modification.
  • FIG. 11A shows the front surface of the embedded memory module
  • FIG. 11B shows the back surface of the embedded memory module.
  • the DIMM 50B according to the second modification includes five data memory controllers (MCD) 21D on the left side of the address memory controller (MCA) 21A, and four SDRAMs (DRAM) on the right side of the address memory controller (MCA) 21A. 22S is arranged.
  • An SDRAM (DRAM) 22S is arranged on the back side of each of the five data memory controllers (MCD) 21D, and a data memory controller (MCD) 21D is arranged on the back side of each of the four SDRAM (DRAM) 22S.
  • the arrangement of the address memory controller (MCA) 21A, the flash memory (Flash) 23F, the SPD 31 and the socket terminal 52 is the same as the arrangement of the memory module 50 according to the embodiment.
  • the data memory controller (MCD) 21D is not prepared without changing the terminal position of the data memory controller (MCD) 21D. And the address memory controller (MCA) 21A can be easily wired.
  • FIG. 12 is a diagram illustrating a component arrangement of the embedded memory module according to the third modification. 12A shows the front surface of the embedded memory module, and FIG. 12B shows the back surface of the embedded memory module. The DIMM 50C according to the modification 3 halves the number of mounted flash memories 23F (the storage capacity of the flash memory) with respect to the embedded memory module 50 according to the embodiment.
  • the number of SDRAMs 22S mounted (SDRAM storage capacity) can be increased. Further, when the flash memory 23F is disposed only on the back side of the substrate 51, heat from the CPU, which is a source of high heat, can be reduced with respect to the flash memory 23F.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dram (AREA)

Abstract

　高速メモリであるＤＲＡＭとＤＲＡＭよりは低速であるが大容量化が可能な不揮発性メモリであるフラッシュメモリをＤＩＭＭに搭載する場合、ＣＰＵメモリバススループットを最大化するためには部品配置が問題である。そこで、本開示のメモリモジュール（ＤＩＭＭ）は、ソケット端子に近い側にメモリコントローラを、その裏面に高速メモリであるＤＲＡＭを配置する。大容量メモリであるフラッシュメモリはソケット端子から遠い側に配置する。

Description

[規則37.2に基づきISAが決定した発明の名称]　ＳＤＲＡＭインターフェイスを有するＤＲＡＭ、フラッシュメモリ混載メモリモジュール
　本開示は、メモリモジュールに関し、例えば、不揮発性メモリと揮発性メモリを混載したメモリモジュールに適用可能である。
　サーバ等の分野では、ビッグデータ時代に向け、データベース（ＤＢ）のように大容量データを高速にアクセスするニーズが増加している。ＤＲＡＭ（Dynamic Random Access Memory）で構成される主記憶装置の大容量化トレンドは、３次元メモリ実装技術（ＴＳＶ）の遅れもあり、上記ニーズに追随できていない。また、ＤＲＡＭと補助記憶装置であるＳＡＳ（Serial Attached SCSI）接続のＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）とのスループット（レイテンシ）には10６程度の差がある。
　そこで、ＤＲＡＭとＳＡＳ接続のＳＳＤ（ＳＡＳ－ＳＳＤ）との間の応答速度を有するＰＣＩ（Peripheral Component Interconnect Express）接続のＳＳＤ（ＰＣＩ－ＳＳＤ）が製品化され、その市場が増加すると予想されている。
　本発明がなされた後に先行技術調査を行った結果、関連するものとして特許文献１を抽出した。特許文献１には、フラッシュメモリとＤＲＡＭを別々のＤＩＭＭ（Dual Inline Memory Module）に搭載し、それらを各モジュールに搭載されたシリアル伝送用のバッファ素子を介してシリアル伝送系のデイジーチェーン様式で接続したＦＢＤＩＭＭ（Fully Buffered DIMM）が開示されている。メモリコントローラは、ＦＢＤＩＭＭ信号伝送プロトコルに従って、シリアル化された制御信号、アドレス信号および書き込みデータ信号をＤＩＭＭに送信し、シリアル化された読み出しデータ信号をＤＩＭＭから受信する。
特表２０１０－５２４０５９号公報
　ＰＣＩ－ＳＳＤのスループットはＳＡＳ－ＳＳＤのスループットより向上したとはいえ、ＤＲＡＭとＰＣＩ－ＳＳＤとのスループットには10３の差がある。ビッグデータを扱うサーバ等の情報処理装置の演算能力は、データの読み込みスループットがネックである。より性能を向上するには、最もスループット帯域が大きいＣＰＵメモリバスに、安価な大容量メモリを搭載することを検討した。その結果、本発明者らは以下の問題があることを見出した。
　すなわち、高速メモリであるＤＲＡＭとＤＲＡＭよりは低速であるが大容量メモリであるフラッシュメモリをＤＩＭＭに搭載する場合、ＣＰＵメモリバススループットを最大化するためには搭載部品の配置が問題である。
　本開示のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
　すなわち、メモリモジュールは、ＤＩＭＭ用ソケット端子に近い側の表面に複数のメモリコントローラを、その裏面に複数の高速メモリを配置する。複数の不揮発性メモリはＤＩＭＭ用ソケット端子に遠い側に配置する。
　上記メモリモジュールによれば、ＣＰＵメモリバススループットを向上することができる。
実施例に係るサーバの構成を示す図である。 実施例に係るメモリモジュールのブロック図である。 ＳＤＲＡＭメモリモジュールの構成を示す図である。 ＳＤＲＡＭメモリモジュールの表面の端子配置を示す図である。 ＳＤＲＡＭメモリモジュールの裏面の端子配置を示す図である。 ＳＤＲＡＭメモリモジュールの端子の機能等を示す図である。 実施例に係る混載メモリモジュールの詳細ブロック図である。 実施例に係るアドレス用メモリコントローラのブロック図である。 実施例に係るデータ用メモリコントローラのブロック図である。 実施例に係るデータ用メモリコントローラの入出力バッファ部のブロック図である。 実施例に係る混載メモリモジュールの一部を示すブロック図である。 実施例に係る混載メモリモジュールのアドレス空間を示す図である。 実施例に係る混載メモリモジュールの部品配置を示す図である。 実施例に係る混載メモリモジュールに搭載するメモリコントローラのボール配置を示す図である。 ＳＤＲＡＭの端子配置を示す図である。 ＳＤＲＡＭの端子の機能等を示す図である。 実施例に係る混載メモリモジュールの信号伝送経路を示す図である。 変形例１に係る混載メモリモジュールの部品配置を示す図である。 変形例２に係る混載メモリモジュールの部品配置を示す図である。 変形例３に係る混載メモリモジュールの部品配置を示す図である。 本開示に先立って検討したメモリモジュールおよびメモリの寸法を示す図である。 実施の形態に係るメモリモジュールの構成を示す図である。
　以下、図面を参照して実施の形態、実施例および変形例を説明する。なお、実施の形態、実施例および変形例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
　本開示において、ＤＲＡＭとは、主記憶装置に使用されるメモリで、ＳＤＲＡＭ（Synchronous DRAM）、ＤＤＲ－ＳＤＲＡＭ（Double Data Rate SDRAM）、ＤＤＲ２－ＳＤＲＡＭ、ＤＤＲ３－ＳＤＲＡＭ、ＤＤＲ４－ＳＤＲＡＭ等のクロック同期型ＤＲＡＭ（以下、ＳＤＲＡＭと総称する。）を含むものである。ＤＩＭＭとは、複数個のパッケージされたメモリを有するメモリモジュールであって、主記憶装置（１次記憶装置）に用いられるもので、機能・大きさ・ピン配置等がＪＤＥＣ規格に準拠したものをいう。メモリバスとは、ＣＰＵと主記憶装置を接続するバスで、データバス幅は、例えば６４ビットと比較的広いものをいう。なお、メモリバスにはＣＰＵと主記憶装置以外の装置は接続されていない。Ｉ／Ｏバスとは、ＣＰＵと入出力装置や補助記憶装置（２次記憶装置）を接続するバスで、データバス幅は、例えば８ビットと比較的狭いものをいう。ＣＰＵとは、演算装置（ＣＰＵコア）とキャッシュメモリと外部メモリを制御するメモリコントローラ等を含むものである。
１．本開示に先立って検討した技術
　高速メモリであるＳＤＲＡＭとＳＤＲＡＭよりは低速であるが大容量化が可能な不揮発性メモリであるフラッシュメモリをＤＩＭＭに搭載することを、発明者らは検討した。標準の１Ｕサーバに搭載するＤＩＭＭには大きさの制約がある。図１３（ａ）に示すように、ＤＩＭＭの大きさは、幅１３３．３５ｍｍ、高さ３１．２５ｍｍである。図１３（ｂ）に示すように、６４ＧＢのＮＡＮＤ型フラッシュメモリの大きさは１４ｍｍ×１８ｍｍである。図１３（ｃ）に示すように、ＳＤＲＡＭの大きさは１３×９．３ｍｍである。少なくとも９個のフラッシュメモリと９個のＳＤＲＡＭとそれらを制御するメモリコントローラとの全てをＤＩＭＭに搭載する必要がある（このＤＩＭＭを混載メモリＤＩＭＭという。）。また、混載メモリＤＩＭＭのバススループットは、従来のＳＤＲＡＭのＤＩＭＭと同程度にすることが必要である。
　すなわち、ＳＤＲＡＭのインタフェース（Ｉ／Ｆ）のスループットを最大に活用するためには、低速なフラッシュメモリのＩ／Ｆをインターリリーブにより帯域を確保する必要がある。したがって、フラッシュメモリを多数搭載する必要がある。また、ＳＤＲＡＭのＩ／Ｆの高速性を保つために、ＤＩＭＭのソケット端子とメモリコントローラとの間の配線長、メモリコントローラとＳＤＲＡＭとの間の配線長を極力短くする必要がある。
　ＲＤＩＭＭ（Registered DIMM）、ＦＢＤＩＭＭ(Fully Buffered DIMM)、ＬＲＤＩＭＭ（Load Reduced DIMM）のように、メモリモジュールの中央に１つのバッファＩＣや制御ＩＣを配置する方式では、ＩＣから離れた位置に配置されるＳＤＲＡＭとＩＣとの間のデータ線等の配線長が長くなってしまう。また、ＩＣと多数のフラッシュメモリとの間の多くの配線をＤＩＭＭ基板上引き回す必要があり配線レイアウトが困難である。
２．実施の形態
　図１４は実施の形態に係るメモリモジュールの構成を示す図である。メモリモジュール６０は、基板６１と、ソケット端子６２と、複数の高速メモリ６３と、高速メモリよりも記憶容量が大きい大容量メモリである複数の不揮発性メモリ６４と、複数のコントローラ６５とを有する。基板６１の第１面のソケット端子６２側にコントローラ６５を、基板６１の第２面に高速メモリ６３を搭載する。不揮発性メモリ６４は、ソケット端子６２から遠方に搭載する。言い換えると、不揮発性メモリ６４は、コントローラ６５に対して、ソケット端子６２とは反対側に搭載する。また、不揮発性メモリ６４は、高速メモリ６３に対して、ソケット端子６２とは反対側に搭載する。
　上記の構成により、高速伝送が必要なコントローラ６５と高速メモリ６３との間を短い距離で接続し、高速伝送が必要なソケット端子６２とコントローラ６５との間を短い距離で接続することが可能となる。
　本実施例においては、情報処理装置の一例としてサーバについて説明するが、サーバ以外の情報処理装置、例えばＰＣ（Personal Computer）にも適用できる。また、メモリモジュールの一例としてＥＣＣ付のメモリモジュールについて説明するが、ＥＣＣが付いていないメモリモジュールにも適用できる。また、高速メモリとしてＳＤＲＡＭ（ＤＲＡＭ）を例にとって説明するが、例えば、高速メモリは、ＭＲＡＭ(Magnetic Random Access Memory)、ＳＴＴ(Spin Transfer Torque)-ＲＡＭ、相変化メモリ等であってもよい。なお、ＳＤＲＡＭは、電源が遮断したときはデータが保持できない揮発性の半導体メモリの１例でもある。不揮発性メモリとしてフラッシュメモリを例にとって説明するが、それに限定されるものではなく、電源が遮断してもデータを保持することができ、高速メモリよりも大容量なデータを格納できる半導体メモリであればよい。
＜全体構成＞
　図１は実施例に係るサーバの構成を示す図である。サーバ１０は、２つのＣＰＵ１１、１２と、複数のメモリモジュール１３と、ＩＯＨ（Input Output Hub）１４と、ＰＣＩ－ＳＳＤ１５と、ＳＡＳ（Serial Attached SCSI）ブリッジ１６と、ＳＡＳ－ＳＳＤ／ＨＤＤ１７とを有する。ＣＰＵ１１、１２は、２つのＱＰＩバス（QuickPath Interconnect）１９Ｑを介してお互いに接続されている。ＣＰＵ１１，１２はそれぞれ４チャネルのメモリバス１９Ｍと接続されている。１チャネルのメモリバス１９Ｍのデータ幅は８Ｂ（バイト）で、それにＥＣＣデータが１Ｂ（バイト）付与されている。１チャネルのメモリバス１９Ｍは、それぞれ３個のメモリモジュール１３が接続可能とされている。ＣＰＵ１１，１２はそれぞれＩＯＨ１５とＱＰＩバス１９Ｑを介して接続されている。ＩＯＨ１５はＰＣＩeバス１９Ｐを介してＰＣＩ－ＳＳＤ１５と接続されている。また、ＩＯＨ１５はＰＣＩeバス１９Ｐを介しＳＡＳブリッジ１６と接続されている。ＳＡＳブリッジ１６はＳＡＳバス１９Ｓを介してＳＡＳ－ＳＳＤ／ＨＤＤ１７と接続されている。なお、ＣＰＵ１２およびそれに接続されるメモリモジュールはなくてもよい。
　メモリモジュール１３は、ＳＤＲＡＭが搭載されたメモリモジュール（ＳＤＲＡＭメモリモジュール）１３Ｄと、フラシュメモリとＳＤＲＡＭが搭載されたメモリモジュール（混載メモリモジュール）１３ＦＤとがある。例えば、ＣＰＵ１１、１２のそれぞれのメモリバス１９Ｍに１１個のメモリモジュール１３Ｄと１個のメモリモジュール１３ＦＤが接続されている。メモリモジュール１３ＦＤをメモリバス１９Ｍに接続するときは、ＣＰＵ１１，１２に一番近い箇所が好ましい。また、複数のメモリモジュール１３ＦＤをメモリバス１９Ｍに接続するときは、同じチャネルのメモリバス１９Ｍに接続しないで、お互いに異なるチャネルのメモリバス１９Ｍに接続するのが好ましい。なお、メモリモジュール１３Ｄおよびメモリモジュール１３ＦＤは、いずれもＣＰＵ１１，１２によってＳＤＲＡＭのメモリインタフェースでアクセスされる。
　図２は実施例に係るサーバの一部の構成を示す図である。図２（ａ）はＣＰＵとメモリモジュールが実装された基板の側面図である。ＣＰＵ１１は、基板（マザーボード）２６上に取り付けてあるソケット２７に実装されている。メモリモジュール１３Ｄ，１３ＦＤは、基板２６上に取り付けてあるソケット２８に実装されている。ＣＰＵ１２とメモリモジュール１３Ｄ，１３ＦＤも同様に実装されている。以下、ＣＰＵ１１について説明するが、ＣＰＵ１２側も同様であるので説明は省略する。
　図２（ｂ）はＣＰＵと混載メモリモジュールのブロック図である。ＣＰＵ１１には、メモリモジュール１３Ｄ，１３ＦＤを制御するメモリコントローラ２４が内蔵されており、ハイパーバイザ２５によってメモリコントローラ２４は制御されている。なお、ＣＰＵ１１には、図示していないキャッシュメモリが内蔵されており、メモリコントローラ２４によって、メモリモジュール１３Ｄ，１３ＦＤから読み出されたデータはキャッシュメモリに格納される。混載メモリモジュール１３ＦＤは、メモリコントローラ（ＭＣ）２１とＳＤＲＡＭ２２とフラッシュメモリ（ＦＬＡＳＨ）２３とを有する。ＳＤＲＡＭ２２の容量は例えば８ＧＢで、フラッシュメモリ２３の容量は１ＴＢである。メモリコントローラ２１は、メモリバス１９ＭとＳＤＲＡＭ２２およびフラッシュメモリ２３とのインタフェースを行う。
＜動作概略＞
　混載メモリモジュール１３ＦＤのフラッシュメモリ２３からデータを読み出す場合は、まず、メモリコントローラ２１がフラッシュメモリ２３からデータを読み出してＳＤＲＡＭ２２に書き込み、その後メモリコントローラ２１がＳＤＲＡＭ２２からデータを読み出す。
　混載メモリモジュール１３ＦＤのフラッシュメモリ２３にデータを書き込む場合は、まず、メモリコントローラ２１がＳＤＲＡＭ２２にデータを書き込み、その後メモリコントローラ２１がＳＤＲＡＭ２２からデータを読み出してフラッシュメモリ２３に書き込む。
　フラッシュメモリ２３からデータを読出してＳＤＲＡＭ２２に書込む経路（ｉ）を、メモリバス１９Ｍを介さず、ＳＤＲＡＭ２２からデータを読出す経路（ｉｉ）のみメモリバス１９Ｍを介することで、データスループットをメモリバスの限界まで最大化することができる。
＜ＳＤＲＡＭメモリモジュールの構成＞
　図３ＡはＳＤＲＡＭメモリモジュールの構成を示す図である。図３Ａ（ａ）は表面、図３Ａ（ｂ）は裏面を示す図面である。図３ＢはＳＤＲＡＭメモリモジュールの表面の端子配置を示す図である。図３ＣはＳＤＲＡＭメモリモジュールの裏面の端子配置を示す図である。図３ＤはＳＤＲＡＭメモリモジュールの端子機能等を示す図である。
　ＳＤＲＡＭメモリモジュール１３Ｄは、ＪＥＤＥＣ標準に準拠した、ＤＤＲ３－ＳＤＲＡＭで構成される２４０ピンのＲＤＩＭＭ（Registered DIMM）を使用している。ＲＤＩＭＭは、アドレス信号と制御信号を、ＤＩＭＭ基板上のレジスタード・バッファ (Registered buffer) と呼ばれるＩＣ（Integrated Circuit）で一旦受けて整形増幅してから、各ＳＤＲＡＭに分配するＤＩＭＭである。図３Ａに示すように、ＳＤＲＡＭメモリモジュール１３Ｄの基板４１の表面にＳＤＲＡＭ２４が１８個、レジスタード・バッファＩＣ４３Ｆが１個、ＳＰＤ（Serial Presence Detect）４４が１個搭載されている。また、基板４１の裏面にＳＤＲＡＭ２４が１８個、レジスタード・バッファＩＣ４３Ｒが１個搭載されている。そのうち、表面の２個のＳＤＲＡＭ２４および裏面の２個のＳＤＲＡＭ２４は、ＥＣＣデータ用である。すなわち、ＳＤＲＡＭメモリモジュール１３Ｄは、ＥＣＣ付の３２ＧＢのＲＤＩＭＭである。データは４Ｇｂ×６４、ＥＣＣは４Ｇｂ×８である。ＳＤＲＡＭ２４は、８Ｇｂ（１Ｇｂ×８）のＤＤＲ３－ＳＤＲＡＭであり、４Ｇｂ（１Ｇｂ×８）のＤＤＲ３－ＳＤＲＡＭのチップ２枚をＢＧＡパッケージに実装して構成されている。メモリモジュール１３Ｄは、データ信号もバッファされるＬＲＤＩＭＭ（Load-Reduced DIMM）であってもよい。この場合、ＬＲＤＩＭＭの端子配置および端子機能は、ＲＤＩＭＭの端子配置および端子機能と同じである。
　図３Ｂおよび図３Ｃに示すように、端子４２Ｆ、４２Ｒにはそれぞれ１２０個の端子がある。それぞれの端子の機能等は図３Ｄに示されるとおりである。ここで、図３Ｄにおいて、大文字の記号の後の小文字の「ｘ」は、同一の機能の端子が複数あることを示しており、図３Ｂおよび図３Ｃでは、「ｘ」には数字が記載されている。また、「＃」はアクティブローの信号であることを示している。
＜混載メモリモジュールの構成＞
（全体構成）
　図４Ａは実施例に係る混載メモリモジュールの全体構成を示す図である。図４Ｂはアドレス用メモリコントローラのブロック図である。図４Ｃはデータ用メモリコントローラのブロック図である。図４Ｄはフラシュメモリ入出力バッファ回路を示す図である。図４Ｅは実施例に係るメモリモジュールの一部を示すブロック図である。
　図４Ａに示すように混載メモリモジュール１３ＦＤは、アドレス用メモリコントローラ（ＭＣＡ）２１Ａとデータ用メモリコントローラ（ＭＣＤ）２１ＤとＳＤＲＡＭ２２Ｓとフラッシュメモリ２３Ｆとを有する。アドレス用メモリコントローラ２１Ａとデータ用メモリコントローラ２１Ｄとでメモリコントローラ２１を構成している。搭載するＳＤＲＡＭ２２Ｓの個数分のデータ用メモリコントローラ２１Ｄが混載メモリモジュール１３ＦＤに実装され、アドレス用メモリコントローラ２１Ａは混載メモリモジュール１３ＦＤに１つ実装される。ＳＤＲＡＭ２２Ｓの個数の２倍の個数のフラッシュメモリ２３Ｆがメモリモジュール１３ＦＤに実装される。
　より具体的には、混載メモリモジュール１３ＦＤには、６４ＧＢの容量のフラッシュメモリ２３Ｆが１８個と１ＧＢの容量のＳＤＲＡＭ２２Ｓが９個実装される。フラシュメモリ２３Ｆの容量はＳＤＲＡＭ２２Ｓの容量の６４倍であり、１０倍以上１００倍未満である。フラッシュメモリ２３Ｆの２個およびＳＤＲＡＭ２２Ｓの１個はＥＣＣ用のデータを格納するためのものである。これにより、８ＧＢのＳＤＲＡＭ２２と１ＴＢのフラッシュメモリ２３を構成している。また、メモリモジュール１３ＦＤには、データ用メモリコントローラ２１Ｄが９個、アドレス用メモリコントローラ２１Ａが１個実装される。データ用メモリコントローラ２１Ｄとアドレス用メモリコントローラ２１Ａのそれぞれは、半導体チップで形成され、ＢＧＡ型パッケージに実装されている。６４ＧＢの容量のフラッシュメモリ２３Ｆは８ＧＢのＮＡＮＤ型フラッシュメモリチップ（ＮＡＮＤ　Ｆｌａｓｈ）が８枚積層されて１つのＢＧＡ型パッケージに実装されている。フラッシュメモリ２３ＦはＤＤＲ２相当のインタフェース（ＯＮＦＩ（Open NAND Flash Interface）またはToggle DDR）で４００Ｍｂｐｓのスループットである。図４Ａおよび図４Ｅに示すように、１個のデータ用メモリコントローラ２１Ｄは、１個のＳＤＲＡＭ２２Ｓと２個のフラッシュメモリ２３Ｆを制御している。ＳＤＲＡＭ２２Ｓとしては、１ＧＢの１つまたは複数のＤＤＲ３－ＳＤＲＡＭチップが１つのＢＧＡ型パッケージに実装されている。ＳＤＲＡＭ２２Ｓのインタフェースは１６００Ｍｂｐｓのスループットである。ＳＤＲＡＭ２２Ｓは、ＤＤＲ３－ＳＤＲＡＭチップの替わりにＤＤＲ４－ＳＤＲＡＭチップを用いてもよい。なお、フラッシュメモリ２３Ｆの読み出し時間は、ＳＤＲＡＭ２２Ｓの読み出し時間よりも大きい。フラッシュメモリ２３Ｆの読み出し時間は１０μｓのオーダーである。一方、ＳＤＲＡＭ２２Ｓの読み出し時間は１０ｎｓのオーダーである。ここで、読み出し時間とは、読み出し要求（リードコマンドを発行して）から最初のデータが読み出されまでの時間である。
　また、混載メモリモジュール１３ＦＤは、ＳＰＤ（Serial Presence Detect）３１とＤＣ－ＤＣコンバータ３３とを有する。ＳＰＤ３１およびＳＰＤ４４は、ＥＥＰＲＯＭで構成されており、メモリモジュール自身に関する情報（例えば、メモリチップの種類や構成、メモリ容量、ＥＣＣ（誤り訂正符号）やパリティの有無などの情報）が格納されている。メモリモジュールを取り付けて電源を入れると、自動的にＳＰＤ３１、４４内の情報を読み出して、メモリモジュールを利用するための設定が行われる。ＤＣ－ＤＣコンバータ３２はＳＰＤ３１用の電源電圧（ＶＤＤＳＰＤ＝３.３Ｖ）からフラッシュメモリ２３Ｆ用の電源線圧（ＶＤＤＦｌａｓｈ＝１.８Ｖ）を生成する。ただし、メモリモジュールのリザーブピン（ＮＣピン）をＶＤＤＦｌａｓｈの電源端子にアサインできるときはＤＣ－ＤＣコンバータ３３は不要となる。
　また、混載メモリモジュール１３ＦＤは、メモリバス１９Ｍと接続するためのソケット端子を有する。ソケット端子は、ＳＤＲＡＭメモリモジュール１３Ｄの端子４２Ｆ、４２Ｒと同じ端子数、同じ端子配置、同じ機能である（図３Ｂ、３Ｃ、３Ｄ参照）。図４Ａにおいて○印がソケット端子を表している。ソケット端子には、クロック信号（Ｃｌｏｃｋ）、アドレス信号（ＡＤＤＲ）、制御信号（ＣＴＲＬ）、データ信号（ＤＱ、ＣＢ）、データ制御信号（ＤＱＳ、ＤＱＳ＃、ＤＭ）、電源（ＶＤＤ、ＶＳＳ、ＶＤＤＱ，ＶＲＥＦＤＱ、ＶＲＥＦＣＡ、ＶＤＤＳＰＤ、ＶＤＤＦｌａｓｈ）、ＳＰＤ信号等が印加される。クロック信号（Ｃｌｏｃｋ）には、ＳＤＲＡＭ２２Ｓ用のクロック信号（ＣＫ、ＣＫ＃）が含まれている。アドレス信号（ＡＤＤＲ）には、ＳＤＲＡＭ２２Ｓ用のアドレス信号（Ａ１５―Ａ０）およびバンクアドレス信号（ＢＡ２－ＢＡ０）が含まれている。制御信号（ＣＴＲＬ）には、コマンド信号（ＲＡＳ＃、ＣＡＳ＃、ＷＥ＃）および制御信号（ＣＫＥ、Ｓ＃）が含まれている。ここで、ＲＡＳ＃はロウアドレスストローブ信号、ＣＡＳ＃はカラムアドレスストローブ信号、ＷＥ＃はライトイネーブル信号である。ソケット端子からのＳＤＲＡＭ２２Ｓおよびフラッシュメモリ２３Ｆのアクセスに必要な信号は、一旦アドレス用メモリコントローラ２１Ａまたはデータ用メモリコントローラ２１Ｄに入力される。
（アドレス用メモリコントローラ）
　図４Ｂに示すように、アドレス用メモリコントローラ２１Ａには、ＰＬＬ３Ｂ１とバッファレジスタＡＢＦとセレクタＡＳＬＴとを有する。信号線ＩＬＳ１上のクロック信号（Ｃｌｏｃｋ）が入力バッファ回路ＩＢ１を経由してＰＬＬ（Phase Loop Lock）回路３Ｂ１に入力される。ＰＬＬ回路３Ｂ１は、出力バッファ回路ＯＢ１を経由してフラッシュメモリ２３Ｆ用のクロック信号（ＣＫＦ）を信号線ＯＳＬ１に出力し、出力バッファ回路ＯＢ２を経由してデータ用メモリコントローラ２１Ｄ用のクロック信号（ＣＫＭＤ）を信号線ＯＳＬ２に出力し、出力バッファ回路ＯＢ３を経由してＳＤＲＡＭ２２Ｓ用のクロック信号（ＣＫ、ＣＫ＃）を信号線ＯＤＬ３に出力する。クロック信号（Ｃｌｏｃｋ）とクロック信号（ＣＫ，ＣＫ＃）とクロック信号（ＣＫＭＤ）とは同じ周波数の信号である。クロック信号（ＣＫＦ，ＣＫＦ＃）は、クロック信号（Ｃｌｏｃｋ）、クロック信号（ＣＫ，ＣＫ＃）およびクロック信号（ＣＫＭＤ）の１／４の周波数の信号である。１／４の周波数のクロック信号は、ＰＬＬ３Ｂ１内の分周器によって生成される。
　信号線ＩＳＬ２上のアドレス信号（ＡＤＤＲ）および制御信号（ＣＴＲＬ）は入力バッファ回路ＩＢ２を経由して、セレクタＡＳＬＴに入力され、出力バッファ回路ＯＢ４を経由して、ＳＤＲＡＭ２２用のアドレス信号（ＡＤＤＲ）および制御信号（ＣＴＲＬ）を信号線ＯＳＬ４に出力する。また、アドレス信号（ＡＤＤＲ）および制御信号（ＣＴＲＬ）の一部の信号は出力バッファ回路ＯＢ５を経由して、後述する制御レジスタＦＭＣＲの制御信号（ＦＣＲＣ）を信号線ＯＳＬ５に出力する。信号線ＩＳＬ３上のフラッシュメモリ制御レジスタＦＭＣＲから出力されたアドレス信号（ＡＤＤＲ）および制御信号（ＣＴＲＬ）が入力バッファ回路ＩＢ３を経由して、バッファレジスタＡＢＦに格納される。フラッシュメモリ２３ＦのデータをＳＤＲＡＭ２２Ｓに書き込む場合やＳＤＲＡＭ２２Ｓのデータをフラッシュメモリ２３Ｆに書き込む場合に使用される。バッファレジスタＡＢＦに格納されたアドレス信号（ＡＤＤＲ）および制御信号（ＣＴＲＬ）は、セレクタＡＳＬＴに入力され、出力バッファ回路ＯＢ４を経由して、信号線ＯＳＬ４に出力される。
　電源線ＰＬ上の電源（ＶＤＤ、ＶＤＤＱ、ＶＲＥＦＤＱ、ＶＳＳ）が入力される。なお、図４Ｂにおいて、信号線と入力バッファ回路または出力バッファ回路との間の○印はアドレス用メモリコントローラ２１Ａの外部端子を表している。外部端子はこれに接続される信号線と同じ個数を有している。
（データ用メモリコントローラ）
　図４Ｃに示すように、データ用メモリコントローラ２１Ｄは、セレクタＤＳＬＴ１，ＤＳＬＴ２，ＤＳＬＴ３と制御レジスタＦＭＣＲとを有する。ＳＤＲＡＭ２２Ｓへのデータ系の信号（ＤＱ（７－０）／ＣＢ（７－０）、ＤＱＳ、ＤＱＳ＃、ＤＭ）は信号線ＩＯＳＬ１、入力バッファ回路ＩＯＩＢ１、セレクタＤＳＬＴ１、出力バッファ回路ＩＯＯＢ２を経由して、信号線ＩＯＳＬ２に出力される。信号線ＩＯＳＬ２はＳＤＲＡＭ２２Ｓに接続されている。ＳＤＲＡＭ２２Ｓからのデータ系の信号は信号線ＩＯＳＬ２、入力バッファ回路ＩＯＩＢ２、信号線ＯＤＳＬ、セレクタＤＳＬＴ３、出力バッファＩＯＯＢ１を経由して、信号線ＩＯＳＬ１に出力される。
　フラッシュメモリ２３Ｆに必要な情報は信号線ＩＯＳＬ１のうちＤＱ（７－０）信号を伝達する信号線から入力されて、制御レジスタＦＭＣＲのバッファレジスタＤＢＦに格納される。フラッシュメモリ２３Ｓに必要な情報には、フラッシュメモリのオペレーションコードＦＭＯＰＣ、フラッシュメモリのアドレスＦＭＡＤＤＲ、ＳＤＲＡＭ２２Ｓにアクセスするためのアドレス信号（ＡＤＤＲ）および制御信号（ＣＴＲＬ）が含まれる。制御レジスタＦＭＣＲはＳＤＲＡＭのメモリインタフェースでアクセスされる。
　入出力バッファ部（ＩＯＢ）３Ｃ１，３Ｃ２，３Ｃ３，３Ｃ４のそれぞれは、フラッシュメモリ２３Ｆと信号線ＩＯＳＬ３，ＩＯＳＬ４，ＩＯＳＬ５，ＩＯＳＬ６と接続される。信号線ＩＯＳＬ３，ＩＯＳＬ４，ＩＯＳＬ５，ＩＯＳＬ６それぞれは、８本のアドレス／データが４組と、データストローブが２本と、データマスクが１本の計３５本ある。図４Ｄに示すように、ＩＯＢ３Ｃ３，３Ｃ４，３Ｃ５，３Ｃ６のそれぞれは、出力バッファレジスタＯＤＢＣｉ、ＯＤＢＤｉと入力バッファレジスタＩＤＢＦｉとセレクタＦＤＳＬＴｉと出力バッファ回路ＩＯＯＢｉと入力バッファ回路ＩＯＩＢｉを有する。ここで、ｉ＝３～６であれる。出力バッファレジスタＯＤＢＣｉ、ＯＤＢＤｉはそれぞれ信号線ＯＣＳＬ，ＯＤＳＬと接続されている。信号線ＯＣＳＬはデータバッファレジスタＤＢＦに接続されている。信号線ＯＤＳＬは入力バッファ回路ＩＯＩＢ２に接続されている。
　ＤＩＭＭでは中央付近にアドレス信号（ＡＤＤＲ）、制御信号（ＣＴＲＬ）およびクロック信号（Ｃｌｏｃｋ）のソケット端子があるので、図４Ｅに示すように、アドレス用メモリコントローラ２１Ａは、メモリモジュール１３ＦＤの中央付近に配置するのがよい。１個のデータ用メモリコントローラ２１Ｄと１個のＳＤＲＡＭ２２Ｓと２個のフラッシュメモリ２３Ｆを破線で囲った部分ＤＳＦは、図４Ｅでは、アドレス用メモリコントローラ２１Ａの上下に１つずつしか示していないが、例えば、上に５つ、下に４つ配置される。
（動作）
　混載メモリモジュール１３ＦＤは、いわゆるＳＤＲＡＭインタフェースによって動作する。アドレス用メモリコントローラ２１Ａは、外部から入力されたアドレス信号（ＡＤＤＲ）の値によって、データ用メモリコントローラ２１Ｄに設けられた制御レジスタＦＭＣＲか、ＳＤＲＡＭ２２Ｓかを選択する。いずれのアクセスもＳＤＲＡＭインタフェース方式によって行われる。制御レジスタＦＭＣＲにアクセスしオペレーションコード（ＦＭＯＰＣ）およびアドレス（ＦＭＡＤＤＲ）を書き込むことで、フラッシュメモリ２３ＦのデータをＳＤＲＡＭ２２Ｓにロードしたり、ＳＤＲＡＭ２２Ｓ内のデータをフラッシュメモリ２３Ｆにストアしたりすることができる。
（１）混載メモリモジュールからの読み出し
（ａ）フラッシュメモリからの読み出し
　メモリコントローラ２４は、アドレス信号（ＡＤＤＲ）に制御レジスタＦＭＣＲにアクセスするためのアドレスを入力する。また、制御信号（ＣＫＥ、ＣＳ＃、ＲＡＳ＃、ＣＡＳ＃、ＷＥ＃）にライト命令を入力する。さらに、データ信号（ＤＱ７－ＤＱ０）に、ＦＭＯＰＣとしてロード命令コードと、フラッシュメモリ２３Ｆからロードを開始するアドレスと、ＳＤＲＡＭ２２Ｓに書き込むためのライトアドレスとを入力する。そうすると、アドレス用メモリコントローラ２１Ａが制御信号（ＦＣＲＣ）を信号線ＯＳＬ５、入力バッファ回路ＩＢ５を経由して、制御レジスタＦＭＣＲに入力する。そうすると、制御レジスタＦＭＣＲにはロード命令コードとロード開始アドレスとＳＤＲＡＭライトアドレスが書き込まれる。
　その後、図示していない制御回路によって、ロード命令コードとロード開始アドレスとが読み出されて、信号線ＯＣＳＬを経由して、入出力バッファ部（ＩＯＢ）の出力バッファレジスタＯＤＢＣｉに伝達される。図示していない制御回路によって発生されたフラッシュメモリ２３Ｆの制御信号（ＡＬ，ＣＬ，Ｅ＃、Ｒ，Ｗ，ＲＰ＃、ＤＱＳ）と共にロード命令コードとロード開始アドレスとがフラッシュメモリ２３Ｆに送られてデータが読み出される。読み出されたデータは入出力バッファ部（ＩＯＢ）の入力バッファレジスタＩＤＢＦｉに格納される。
（ｂ）入力バッファレジスタからＳＤＲＡＭへの書き込み
　バッファレジスタＤＢＦに格納されているＳＤＲＡＭライトアドレスおよび図示していない制御回路で発生された制御信号（ＣＴＲＬ）が出力バッファ回路ＯＢ６を経由して、信号線ＩＳＬ３に出力され、前述のとおりアドレス用メモリコントローラ２１Ａを経由してＳＤＲＡＭ２２Ｓに送られる。また、入力バッファレジスタＩＤＢＦｉに格納されているデータがセレクタＤＳＬＴ２，セレクタＤＳＬＴ１および出力バッファ回路ＩＯＯＢ２を経由して信号線ＩＯＳＬ２に出力される。これによって、ＳＤＲＡＭ２２Ｓにフラッシュメモリ２３Ｆから読み出されたデータが書き込まれる。
（ｃ）ＳＤＲＡＭからの読み出し
　ＳＤＲＡＭ２２Ｓに格納された、フラッシュメモリ２３Ｆからのデータにアクセスする場合は、メモリコントローラ２４がアドレス信号（ＡＤＤＲ）にＳＤＲＡＭ２２Ｓをアクセスするためのアドレス（ＳＤＲＡＭライトアドレスと同じアドレス）を、制御信号（ＣＫＥ、ＣＳ＃、ＲＡＳ＃、ＣＡＳ＃、ＷＥ＃）にリード命令を入力する。そうすると、アドレス用メモリコントローラ２１Ａは、ＳＤＲＡＭ２２Ｓへアクセスし、データを読み出す。ＳＤＲＡＭ２２Ｓから読み出されたデータは信号線ＩＯＳＬ２、入力バッファ回路ＩＯＩＢ１、セレクタＤＳＬＴ３、出力バッファ回路ＩＯＯＢ１を経由して信号線ＩＯＳＬ１に送られる。
（２）混載メモリモジュールへの書き込み
（ａ）ＳＤＲＡＭへの書き込み
　メモリコントローラ２４は、アドレス信号（ＡＤＤＲ）にＳＤＲＡＭ２２Ｓをアクセスするためのアドレスを入力する。また、制御信号（ＣＫＥ、ＣＳ＃、ＲＡＳ＃、ＣＡＳ＃、ＷＥ＃）にライト命令を入力する。さらに、データ信号（ＤＱ７－ＤＱ０）に書き込むデータを入力する。そうすると、アドレス用メモリコントローラ２１Ａは、ＳＤＲＡＭ２２Ｓへアクセスし、データ用メモリコントローラ２１Ｄに入力されたデータを入力バッファ回路ＩＯＩＢ１、セレクタＤＳＬＴ１、出力バッファ回路ＩＯＯＢ１を経由してＳＤＲＡＭ２２Ｓに書き込む。
（ｂ）ＳＤＲＡＭからの読み出し
　メモリコントローラ２４は、アドレス信号（ＡＤＤＲ）に制御レジスタＦＭＣＲにアクセスするためのアドレスを入力する。また、制御信号（ＣＫＥ、ＣＳ＃、ＲＡＳ＃、ＣＡＳ＃、ＷＥ＃）にライト命令を入力する。さらに、データ信号（ＤＱ７－ＤＱ０）に、ＦＭＯＰＣとして消去命令および消去アドレスと、ストア命令コードおよびフラッシュメモリ２３Ｆへストアを開始するアドレスと、ＳＤＲＡＭ２２Ｓから読み出すためのリードアドレスとを入力する。そうすると、アドレス用メモリコントローラ２１Ａが制御信号（ＦＣＲＣ）を信号線ＯＳＬ５、入力バッファ回路ＩＢ５を経由して、制御レジスタＦＭＣＲに入力する。そうすると、制御レジスタＦＭＣＲには、消去命令および消去アドレスと、ストア命令コードおよびストア開始アドレスと、ＳＤＲＡＭリードアドレスが書き込まれる。
　その後、バッファレジスタＤＢＦに格納されているＳＤＲＡＭリードアドレスおよび図示していない制御回路で発生された制御信号（ＣＴＲＬ）が出力バッファ回路ＯＢ６を経由して、信号線ＩＳＬ３に出力され、前述のとおりアドレス用メモリコントローラ２１Ａを経由してＳＤＲＡＭ２２Ｓに送られる。そうすると、ＳＤＲＡＭ２２Ｓからデータが読み出され、信号線ＩＯＳＬ２、入力バッファ回路ＩＯＩＢ１を経由して、入出力バッファ部（ＩＯＢ）の出力バッファレジスタＯＤＢＤｉに格納される。
（ｃ）出力バッファレジスタからフラッシュメモリへの書き込み
　その後、図示していない制御回路によって、消去命令コードと消去アドレスとが読み出されて、信号線ＯＣＳＬを経由して、入出力バッファ部（ＩＯＢ）の出力バッファレジスタＯＤＢＣｉに伝達される。図示していない制御回路によって発生されたフラッシュメモリ２３Ｆの制御信号（ＡＬ，ＣＬ，Ｅ＃、Ｒ，Ｗ，ＲＰ＃、ＤＱＳ）と共に消去命令コードと消去アドレスとがフラッシュメモリ２３Ｆに送られて消去される。
　その後、図示していない制御回路によって、ストア命令コードとストア開始アドレスとが読み出されて、信号線ＯＣＳＬを経由して、入出力バッファ部（ＩＯＢ）の出力バッファレジスタＯＤＢＣｉに伝達される。図示していない制御回路によって発生されたフラッシュメモリ２３Ｆの制御信号（ＡＬ，ＣＬ，Ｅ＃、Ｒ，Ｗ，ＲＰ＃、ＤＱＳ）と共にストア命令コードとストア開始アドレスと出力バッファレジスタＯＤＢＤｉに格納されているデータがフラッシュメモリ２３Ｆに送られてデータが書き込まれる。
＜ＣＰＵによる制御＞
　図５は、サーバ１０のアドレス空間を示した図である。アプリケーションプロセスアドレス、オペレーティングシステム（ＯＳ）ページテーブル（Page Table）、仮想機械（ＶＭ）の物理アドレス、物理アドレスのアドレス空間が図５に示されている。ハイパーバイザはハードウェア上で直接動作し、すべてのＯＳはそのハイパーバイザ上で動作する。アプリケーションはＯＳ上で動作する。ハイパーバイザによってＶＭが実現される。アプリケーションが確保するバッファキャッシュのアドレスは、ＯＳにより任意のアドレスに割り当てられる。
　混載メモリモジュール１３ＦＤ内のフラッシュメモリはＩ／Ｏ空間にある。したがって、Ｉ／Ｏ空間にあるフラッシュメモリから読み出すデータのアドレスをメモリアドレス空間の物理アドレス上に割り当てる必要がある。そこで、ハイパーバイザによる変換によって、アプリケーションが確保するバッファキャッシュのアドレスを、混載メモリモジュール（ＤＩＭＭ）内部のＳＤＲＡＭに割り付ける。これによって、混載メモリモジュール内部のデータ伝送のみとなり、メモリバスへの余分なデータ伝送を防止することができる。
　メモリコントローラ２４は、上記の制御の他にＳＤＲＡＭ２２Ｓのモードレジスタに設定することによるＳＤＲＡＭ２２Ｓの初期化を行う。さらに、以下の制御も行う。
　フラッシュメモリ２３Ｆは、書き換えを繰り返すことによって、信頼性が低下し、書き換え時に書いたデータが、読み出し時には異なるデータとなったり、書き換え時にデータが書き込まれなかったりすることが稀にある。メモリコントローラ２４は混載メモリモジュール１３ＦＤからデータを読み出す時，読み出しデータのエラーを検出・訂正を行う。ＥＣＣデータを格納している２個のフラッシュメモリ２３Ｆおよび１個のＳＤＲＡＭ２２Ｓからのデータに基づいて、メモリコントローラ２４内のエラー訂正回路でエラーの検出・訂正を行う。
　フラッシュメモリ２３Ｆへのデータの書き換え時には、メモリコントローラ２４は正しく書き込まれたかをチェックし、正しく書き込まれなかった場合は、現在のアドレスとは異なるアドレスに書き込みを行う。いわゆる、代替え処理（ウエアレベリング）を行う。不良アドレスと、不良アドレスに対して、どのアドレスに代替え処理を行ったというアドレス管理も行う。
　ＣＰＵ１１が混載メモリモジュール３ＦＤ内のメモリ管理を行っているので、メモリコントローラ２１での遅延を最小限にすることができる。
＜メモリモジュールの部品配置＞
　図６は実施例に係るメモリモジュールの部品配置を示す図である。図６（ａ）はメモリモジュールの表面を、図６（ｂ）はメモリモジュールの裏面を示している。図６（ｃ）はフラッシュメモリの外形寸法、図６（ｄ）はＳＤＲＡＭの外形寸法を示している。混載メモリモジュール１３ＦＤの一構成例であるＤＩＭＭ５０は、基板５１と基板５１の両面にあるソケット端子５２と１個のアドレス用メモリコントローラ（ＭＣＡ）２１Ａと１８個のデータ用メモリコントローラ（ＭＣＤ）２１Ｄと１８個のＳＤＲＡＭ（ＤＲＡＭ）２２Ｓと１８個のフラシュメモリ（Ｆｌａｓｈ）２３Ｆと１個のＳＰＤ３１とを有する。メモリモジュール１３ＦＤがソケット２８に挿入されたとき、ＣＰＵ１１に近い側（面している側）を表面、遠い側（反対側）を裏面とする（以下、同じ）。ただし、表面と裏面が逆であってよい。なお、基板５１の大きさは、幅１３３．３５ｍｍ、高さ３１．２５ｍｍである。
　アドレス用メモリコントローラ２１Ａは縦長に、データ用メモリコントローラ２１Ｄは横長に、ＳＤＲＡＭ２２Ｓは横長に、フラッシュメモリ２３Ｆは縦長に配置されている。なお、図６（ｃ）（ｄ）に示すとおり、フラッシュメモリ２３Ｆの外形寸法は１４ｍｍ×１８ｍｍ、ＳＤＲＡＭ２２Ｓの外形寸法は１３ｍｍ×９．３ｍｍである。なお、ＳＤＲＡＭの外形寸法は、半導体メーカ（半導体チップのサイズ等）によって異なっており、１２ｍｍ×１０．５ｍｍ、１０．５ｍｍ×９．０ｍｍ、１１×９．９ｍｍ、１０．６×９．０ｍｍのものがある。ただし、ボールが配置される位置は同じである。データ用メモリコントローラ２１Ｄの外形寸法はＳＤＲＡＭ２２Ｓと同じである。
　ソケット端子５２に近い側の基板５１の表面にデータ用メモリコントローラ２１Ｄを、裏面にＳＤＲＡＭ２２Ｓを配置している。フラシュメモリ２３Ｆは、データ用メモリコントローラ２１ＤおよびＳＤＲＡＭ２２Ｓよりもソケット端子５２から遠方に配置している。言い換えると、データ用メモリコントローラ２１Ｄは、基板５１の表面であって、ソケット端子５２とフラッシュメモリ２３Ｆとの間に配置されている。また、ＳＤＲＡＭ２２Ｓは、基板５１の裏面であって、ソケット端子５２とフラッシュメモリ２３Ｆとの間に配置されている。アドレス用メモリコントローラ２１Ａはデータ用メモリコントローラ２１Ｄの間に配置される。
　図６（ａ）に示すように、アドレス用メモリコントローラ２１Ａの右側には４個のデータ用メモリコントローラ２１Ｄが、左側には５個のデータ用メモリコントローラ２１Ｄが配置されている。図６（ｂ）に示すように、アドレス用メモリコントローラ２１Ａが配置されている箇所の裏面側を基準として、右側には５個のＳＤＲＡＭ２２Ｓが、左側には４個のＳＤＲＡＭ２２Ｓが配置されている。また、ＳＰＤ３１は基板５２の裏面の右側端付近に配置されている。
　好ましくは、データ用メモリコントローラ２１ＤとＳＤＲＡＭ２２Ｓの実装位置は表裏で重ねるのがよい。
　上記の構成により、データ用メモリコントローラ２１ＤとＳＤＲＡＭ２２Ｓとの間を短い距離で接続し、ソケット端子５２とデータ用メモリコントローラ２１Ｄとの間を短い距離で接続することが可能となる。
　図７は実施例に係るメモリコントローラのパッケージのボール配置を示す図である。図７は下面（裏面）図である。前述したように、データ用メモリコントローラ２１ＤおよびＳＤＲＡＭ２２ＳはＢＧＡ型パッケージに実装されている。ＢＧＡ型パッケージの外部端子（バンプ電極）は半田ボール（ボール）で形成されている。データ用メモリコントローラ２１ＤのボールピッチはＳＤＲＡＭ２２Ｓのボールピッチの１／２である。図７において中が白色の丸（白丸）で表されたボール６１－１、６１－２は、ＳＤＲＡＭ２２Ｓのボールと同じ位置に配置されている。また、中が黒色の丸（黒丸）で表されたボール６２－１、６２－２は、フラシュメモリ２３Ｆの外部端子と接続するためのものであり、白丸のボールの間に配置されている。中がハッチングされている丸（灰丸）で表されたボール６３－１，６３－２はソケット端子５２と接続するためのものであり、白丸のボールの間に配置されている。なお、データ用メモリコントローラ２１Ｄの白丸で表されたボールは、必ずしもＳＤＲＡＭ２２Ｓのボールと接続されず、フラシュメモリ２３Ｆの外部端子またはソケット端子５２と接続されるものもある。図７において、上側にフラシュメモリ２３Ｆの外部端子と接続するボールを、下側にソケット端子５２と接続するボールを配置している。
　図８ＡはＳＤＲＡＭのパッケージのボール配置を示す図である。図８Ａは上面（表面）図である。図８Ａにおいては、ボールは紙面の裏側に位置している。白丸破線で表されたボールの下に付された記号は、ＳＤＲＡＭ２２Ｓの端子に入出力される信号名等の略号（記号）であり、ボールは７８個ある。図８ＢはＳＤＲＡＭの端子の機能等を示す図である。「接続ＣＮＴ」と記された欄は、ＳＤＲＡＭ２２Ｓの端子がアドレス用メモリコントローラ（ＭＣＡ）２１Ａとデータ用メモリコントローラ（ＭＣＤ）２１Ｄのいずれが接続されるかを示している。
　図８Ａにおいて、横に６個、縦に１３個のボールが配置されている。左の３列と右の３列の間には、ＳＤＲＡＭ２２Ｓのボールのピッチで３列のボールが配置されていない。空いている３列を含めてＳＤＲＡＭ２２Ｓのボールの間にもボールを配置すると、図７において、縦に１７個、横に２５個、合計４２５個のボールを配置することができる。ＳＤＲＡＭ２２Ｓのボールは７８個であるので、３４７個のボールをフラシュメモリ２３Ｆの外部端子およびソケット端子５２の接続に割り当てることができる。ただし、ＳＤＲＡＭ２２Ｓの７８個のボールすべてが、データ用メモリコントローラ２１Ｄと接続する必要がないので、３４７個よりも多くのボールをフラシュメモリ２３Ｆの外部端子およびソケット端子５２の接続に割り当てることができる。例えば、図７に示すように、ソケット端子５２用に４９個、フラシュメモリ２３Ｆの外部端子用に２９８個、割り当てることができる。ただし、端子数によっては、すべて割り当てる必要がなく、例えば、図７において中央付近の端子を配置しなくしてもよい。
　データ用メモリコントローラ２１Ｄのボールがある面とＳＤＲＡＭ２２Ｓのボールがある面とを合わせると同じ位置にボールが配置されており、同じ位置のボールは接続されるべき信号端子となっているものがある。それらはデータ信号（ＤＱ[７：０]）およびデータ制御信号（ＤＱＳ、ＤＱＳ＃（／ＤＱＳ）、ＤＭ）である。データ用メモリコントローラ２１ＤとＳＤＲＡＭ２２Ｓの実装位置は表裏で重ねると、短い距離で接続することが可能である。
　図９は実施例に係る混載メモリモジュールの信号伝送経路を示す図である。図９は混載メモリモジュール１３ＦＤの側面図である。図９において両方向矢印は信号経路を表している。信号経路７１はソケット端子５２とデータ用メモリコントローラ２１Ｄとの間の信号経路である。信号経路７２はデータ用メモリコントローラ２１ＤとＳＤＲＡＭ２２Ｓとの間の信号経路である。信号経路７１、７２はそれぞれ短い距離となっている。
　また、信号経路７３はデータ用メモリコントローラ２１Ｄとフラシュメモリ２３Ｆとの間の信号経路である。信号経路７３は、信号経路７１、７２に比べて高速伝送が必要でないが信号線が多数必要である。したがって、１０層程度の多層配線で構成されている基板５１内をある程度引き回すことが可能である。
＜変形例１＞
　図１０は変形例１に係る混載メモリモジュールの部品配置を示す図である。図１０（ａ）はメモリモジュールの表面を、図１０（ｂ）は混載メモリモジュールの裏面を示している。変形例１に係るＤＩＭＭ５０Ａは、データ用メモリコントローラ（ＭＣＤ）２１ＤとＳＤＲＡＭ（ＤＲＡＭ）２２Ｓとを交互に基板５１の表と裏に配置している。アドレス用メモリコントローラ（ＭＣＡ）２１Ａとフラッシュメモリ（Ｆｌａｓｈ）２３ＦとＳＰＤ３１とソケット端子５２の配置は、実施例に係るメモリモジュール５０の配置と同じである。データ用メモリコントローラ（ＭＣＤ）２１Ｄとフラッシュメモリ（Ｆｌａｓｈ）２３Ｆとの間の配線が多いので、データ用メモリコントローラ（ＭＣＤ）２１ＤとＳＤＲＡＭ（ＤＲＡＭ）２２Ｓとを交互にすることによって配線余裕を生むことができる。
　なお、図１０では、基板の表面に５個のデータ用メモリコントローラ（ＭＣＤ）２１Ｄと４個のＳＤＲＡＭ（ＤＲＡＭ）２２Ｓが配置されているが、基板の表面に４個のデータ用メモリコントローラ（ＭＣＤ）２１Ｄと５個のＳＤＲＡＭ（ＤＲＡＭ）２２Ｓが配置されるようにしてもよい。
＜変形例２＞
　図１１は変形例２に係る混載メモリモジュールの部品配置を示す図である。図１１（ａ）は混載メモリモジュールの表面を、図１１（ｂ）は混載メモリモジュールの裏面を示している。変形例２に係るＤＩＭＭ５０Ｂは、アドレス用メモリコントローラ（ＭＣＡ）２１Ａの左側に５個のデータ用メモリコントローラ（ＭＣＤ）２１Ｄを、アドレス用メモリコントローラ（ＭＣＡ）２１Ａの右側に４個のＳＤＲＡＭ（ＤＲＡＭ）２２Ｓを配置している。５個のデータ用メモリコントローラ（ＭＣＤ）２１Ｄのそれぞれの裏側にはＳＤＲＡＭ（ＤＲＡＭ）２２Ｓが、４個のＳＤＲＡＭ（ＤＲＡＭ）２２Ｓのそれぞれの裏側にデータ用メモリコントローラ（ＭＣＤ）２１Ｄが配置されている。アドレス用メモリコントローラ（ＭＣＡ）２１Ａとフラッシュメモリ（Ｆｌａｓｈ）２３ＦとＳＰＤ３１とソケット端子５２の配置は、実施例に係るメモリモジュール５０の配置と同じである。データ用メモリコントローラ（ＭＣＤ）２１Ｄのアドレス端子が右側または左側に偏在しても、データ用メモリコントローラ（ＭＣＤ）２１Ｄの端子位置を変更したものを用意することなく、データ用メモリコントローラ（ＭＣＤ）２１Ｄとアドレス用メモリコントローラ（ＭＣＡ）２１Ａとの間を容易に配線することができる。
　なお、図１１では、基板の表面に５個のデータ用メモリコントローラ（ＭＣＤ）２１Ｄと４個のＳＤＲＡＭ（ＤＲＡＭ）２２Ｓが配置されているが、基板の表面に４個のデータ用メモリコントローラ（ＭＣＤ）２１Ｄと５個のＳＤＲＡＭ（ＤＲＡＭ）２２Ｓが配置されるようにしてもよい。
＜変形例３＞
　図１２は変形例３に係る混載メモリモジュールの部品配置を示す図である。図１２（ａ）は混載メモリモジュールの表面を、図１２（ｂ）は混載メモリモジュールの裏面を示している。変形例３に係るＤＩＭＭ５０Ｃは実施例に係る混載メモリモジュール５０に対してフラッシュメモリ２３Ｆの搭載個数（フラッシュメモリの記憶容量）を半分にしている。フラッシュメモリの搭載個数を半分にすることによりＳＤＲＡＭ２２Ｓの搭載個数（ＳＤＲＡＭの記憶容量）を増やすことができる。また、フラシュメモリ２３Ｆを基板５１の裏側にのみ配置したときは、フラシュメモリ２３Ｆに対して、高熱の発生源であるＣＰＵからの熱を軽減することができる。
　以上、本発明者によってなされた発明を実施の形態、実施例および変形例に基づき具体的に説明したが、本発明は、上記実施の形態、実施例および変形例に限定されるものではなく、種々変更可能であることはいうまでもない。
６０…メモリモジュール
６１…基板
６２…ソケット端子
６３…高速メモリ
６４…不揮発性メモリ
６５…コントローラ

Claims (15)

  1. 　第１辺と第１辺に対向する第２辺とを有する基板と、
    　前記基板の前記第１辺側の表面および裏面に配置される複数の外部端子と、
    　第１のメモリコントローラと、
    　高速メモリと、
    　不揮発性メモリと、
    を有し、
    　前記第１のコントローラと前記高速メモリとは、前記基板に対してそれぞれ反対側に配置され、
    　前記不揮発性メモリは、前記第１のメモリコントローラまたは前記高速メモリよりも前記第２辺に近い位置に配置されるメモリモジュール。
  2. 　請求項１のメモリモジュールにおいて、
    　前記第１のメモリコントローラの真裏に前記高速メモリが配置される。
  3. 　請求項２のメモリモジュールにおいて、
    　前記第１のメモリコントローラと前記高速メモリとのそれぞれの裏面に複数の端子を有し、前記第１のメモリコントローラの裏面と前記高速メモリの裏面とを合わせると同じ位置に前記複数の端子が配置されており、同じ位置の端子は同じ機能の端子となっているものがある。
  4. 　請求項３のメモリモジュールにおいて、
    　前記第１のメモリコントローラの端子ピッチは前記高速メモリの端子ピッチの半分になっている。
  5. 　請求項４のメモリモジュールにおいて、
    　前記複数の端子のそれぞれはボールである。
  6. 　請求項５のメモリモジュールにおいて、
    　前記不揮発性メモリは、前記基板の両面に配置されている。
  7. 　請求項１のメモリモジュールにおいて、
    　前記第１のメモリコントローラと前記高速メモリと前記不揮発性メモリとは、それぞれ複数有し、前記第１のメモリコントローラの個数と前記高速メモリの個数とは同じである。
  8. 　請求項７のメモリモジュールにおいて、
    　前記高速メモリおよび前記第１のコントローラの個数はそれぞれ９個である。
  9. 　請求項８のメモリモジュールは、さらに
    　第２のメモリコントローラを有し、
    　前記第１のコントローラの５個が前記第１の辺に沿って配置される第１群と、前記第１のコントローラの４個が前記第１の辺に沿って配置される第２群とを有し、
    前記第２のメモリコントローラは前記第１群と前記第２群との間に配置される。
  10. 請求項９のメモリモジュールにおいて、
    　前記不揮発性メモリは、前記基板の両面に配置されている。
  11. 　第１面と第１面とは反対の面である第２面とを有する基板と、
    　前記基板の一端に配置され、前記基板の前記第１面および第２面に配置される外部接続端子と、
    　前記基板の前記第１面に配置される複数の第１のメモリコントローラと、
    　前記基板の前記第２面に配置される複数の高速メモリと、
    　複数の不揮発性メモリと、
    を有し、
    　前記複数の不揮発性メモリは、前記端子に対し前記複数の第１のメモリコントローラまたは前記複数の高速メモリよりも遠い位置に配置されるメモリモジュール。
  12. 　請求項１１のメモリモジュールにおいて、
    　前記複数の第１のメモリコントローラの真裏に前記複数の高速メモリが配置される。
  13. 　請求項１２のメモリモジュールにおいて、
    　前記第１のメモリコントローラと前記高速メモリとのそれぞれの裏面に複数の端子を有し、前記第１のメモリコントローラの裏面と前記高速メモリの裏面とを合わせると同じ位置に前記複数の端子が配置されており、同じ位置の端子は同じ機能の端子となっているものがある。
  14. 　請求項１３のメモリモジュールにおいて、
    　前記第１のメモリコントローラの端子ピッチは前記高速メモリの端子ピッチの半分になっている。
  15. 　請求項１４のメモリモジュールにおいて、
    　前記不揮発性メモリは、前記基板の両面に配置されている。
PCT/JP2013/059155 2013-03-27 2013-03-27 Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール WO2014155593A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/763,019 US9569144B2 (en) 2013-03-27 2013-03-27 DRAM with SDRAM interface, and hybrid flash memory module
JP2015507793A JP5996781B2 (ja) 2013-03-27 2013-03-27 Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール
PCT/JP2013/059155 WO2014155593A1 (ja) 2013-03-27 2013-03-27 Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール
CN201380069806.XA CN105027092B (zh) 2013-03-27 2013-03-27 具有sdram接口的dram、混合闪存存储器模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/059155 WO2014155593A1 (ja) 2013-03-27 2013-03-27 Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール

Publications (1)

Publication Number Publication Date
WO2014155593A1 true WO2014155593A1 (ja) 2014-10-02

Family

ID=51622669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059155 WO2014155593A1 (ja) 2013-03-27 2013-03-27 Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール

Country Status (4)

Country Link
US (1) US9569144B2 (ja)
JP (1) JP5996781B2 (ja)
CN (1) CN105027092B (ja)
WO (1) WO2014155593A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170696A (ja) * 2015-03-13 2016-09-23 株式会社東芝 メモリコントローラ、記憶装置、データ転送システム、データ転送方法、及びデータ転送プログラム
JP2017157217A (ja) * 2016-03-03 2017-09-07 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． メモリモジュール、メモリシステム、及びその方法
JP2017220237A (ja) * 2016-06-08 2017-12-14 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． メモリモジュール、これを含むシステム及びその動作方法
JP2019153118A (ja) * 2018-03-05 2019-09-12 東芝情報システム株式会社 評価解析対象メモリ装置及びメモリ評価解析システム
US11294571B2 (en) 2016-03-03 2022-04-05 Samsung Electronics Co., Ltd. Coordinated in-module RAS features for synchronous DDR compatible memory
JP2023505990A (ja) * 2019-12-10 2023-02-14 マイクロン テクノロジー，インク． メモリサブシステムのアクティブ入力／出力エキシパンダ
US12032828B2 (en) 2022-04-04 2024-07-09 Samsung Electronics Co., Ltd. Coordinated in-module RAS features for synchronous DDR compatible memory

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261446A1 (en) * 2014-03-12 2015-09-17 Futurewei Technologies, Inc. Ddr4-onfi ssd 1-to-n bus adaptation and expansion controller
US9832876B2 (en) * 2014-12-18 2017-11-28 Intel Corporation CPU package substrates with removable memory mechanical interfaces
US9904490B2 (en) * 2015-06-26 2018-02-27 Toshiba Memory Corporation Solid-state mass storage device and method for persisting volatile data to non-volatile media
JP6543129B2 (ja) * 2015-07-29 2019-07-10 ルネサスエレクトロニクス株式会社 電子装置
KR102430561B1 (ko) * 2015-09-11 2022-08-09 삼성전자주식회사 듀얼 포트 디램을 포함하는 메모리 모듈
KR20180078512A (ko) * 2016-12-30 2018-07-10 삼성전자주식회사 반도체 장치
US10949117B2 (en) * 2018-09-24 2021-03-16 Micron Technology, Inc. Direct data transfer in memory and between devices of a memory module
CN116030856A (zh) 2018-11-30 2023-04-28 合肥睿科微电子有限公司 双精度模拟存储器单元及阵列
CN109634785A (zh) * 2018-12-29 2019-04-16 西安紫光国芯半导体有限公司 一种兼容nvdimm-p的nvdimm-n装置和方法
US11983059B2 (en) * 2020-12-03 2024-05-14 Micron Technology, Inc. Memory expansion card

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366429A (ja) * 2001-06-11 2002-12-20 Hitachi Ltd 半導体記憶装置
JP2009526323A (ja) * 2006-02-09 2009-07-16 メタラム インコーポレイテッド メモリ回路システム及び方法
JP2009540431A (ja) * 2006-06-07 2009-11-19 マイクロソフト コーポレーション １つのインターフェースを有するハイブリッド・メモリ・デバイス
US20100095048A1 (en) * 2008-10-10 2010-04-15 Andreas Bechtolsheim Self-contained densely packed solid-state storage subsystem
US20100142243A1 (en) * 2008-12-08 2010-06-10 Xilinx, Inc. Data storage system with removable memory module having parallel channels of dram memory and flash memory

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006041A (ja) * 2001-06-20 2003-01-10 Hitachi Ltd 半導体装置
JP2005322109A (ja) * 2004-05-11 2005-11-17 Renesas Technology Corp Ｉｃカードモジュール
US20060294295A1 (en) * 2005-06-24 2006-12-28 Yukio Fukuzo DRAM chip device well-communicated with flash memory chip and multi-chip package comprising such a device
US8089795B2 (en) 2006-02-09 2012-01-03 Google Inc. Memory module with memory stack and interface with enhanced capabilities
US9195602B2 (en) 2007-03-30 2015-11-24 Rambus Inc. System including hierarchical memory modules having different types of integrated circuit memory devices
KR20100105147A (ko) * 2009-03-20 2010-09-29 삼성전자주식회사 멀티 칩 패키지 및 관련된 장치
CN102053886A (zh) * 2009-10-30 2011-05-11 英业达股份有限公司 非统一存储器存取环境下的存储器检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366429A (ja) * 2001-06-11 2002-12-20 Hitachi Ltd 半導体記憶装置
JP2009526323A (ja) * 2006-02-09 2009-07-16 メタラム インコーポレイテッド メモリ回路システム及び方法
JP2009540431A (ja) * 2006-06-07 2009-11-19 マイクロソフト コーポレーション １つのインターフェースを有するハイブリッド・メモリ・デバイス
US20100095048A1 (en) * 2008-10-10 2010-04-15 Andreas Bechtolsheim Self-contained densely packed solid-state storage subsystem
US20100142243A1 (en) * 2008-12-08 2010-06-10 Xilinx, Inc. Data storage system with removable memory module having parallel channels of dram memory and flash memory

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170696A (ja) * 2015-03-13 2016-09-23 株式会社東芝 メモリコントローラ、記憶装置、データ転送システム、データ転送方法、及びデータ転送プログラム
JP2017157217A (ja) * 2016-03-03 2017-09-07 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． メモリモジュール、メモリシステム、及びその方法
US11294571B2 (en) 2016-03-03 2022-04-05 Samsung Electronics Co., Ltd. Coordinated in-module RAS features for synchronous DDR compatible memory
US11397698B2 (en) 2016-03-03 2022-07-26 Samsung Electronics Co., Ltd. Asynchronous communication protocol compatible with synchronous DDR protocol
JP2017220237A (ja) * 2016-06-08 2017-12-14 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． メモリモジュール、これを含むシステム及びその動作方法
JP2019153118A (ja) * 2018-03-05 2019-09-12 東芝情報システム株式会社 評価解析対象メモリ装置及びメモリ評価解析システム
JP2023505990A (ja) * 2019-12-10 2023-02-14 マイクロン テクノロジー，インク． メモリサブシステムのアクティブ入力／出力エキシパンダ
US12032828B2 (en) 2022-04-04 2024-07-09 Samsung Electronics Co., Ltd. Coordinated in-module RAS features for synchronous DDR compatible memory

Also Published As

Publication number Publication date
JP5996781B2 (ja) 2016-09-21
CN105027092A (zh) 2015-11-04
CN105027092B (zh) 2018-01-30
JPWO2014155593A1 (ja) 2017-02-16
US9569144B2 (en) 2017-02-14
US20150355846A1 (en) 2015-12-10

Similar Documents

Publication Publication Date Title
JP5996781B2 (ja) Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール
US12014078B2 (en) Apparatus and architecture of non-volatile memory module in parallel configuration
US8566556B2 (en) Memory module with memory stack and interface with enhanced capabilities
JP5205280B2 (ja) メモリ回路システム及び方法
US8335894B1 (en) Configurable memory system with interface circuit
US10592445B2 (en) Techniques to access or operate a dual in-line memory module via multiple data channels
TWI557562B (zh) 積體電路記憶體裝置
US9858181B2 (en) Memory module having different types of memory mounted together thereon, and information processing device having memory module mounted therein
US20100321973A1 (en) Memory module, system and method of making same
US20060129755A1 (en) Memory rank decoder for a Multi-Rank Dual Inline Memory Module (DIMM)
US20180285252A1 (en) Optimized memory access bandwidth devices, systems, and methods for processing low spatial locality data
JP5430880B2 (ja) メモリモジュール及びその使用方法、並びにメモリシステム
JP2011081883A (ja) 半導体装置及びこれを備える情報処理システム
WO2014155592A1 (ja) Ｓｄｒａｍインターフェイスを有するｄｒａｍ、フラッシュメモリ混載メモリモジュール
US11928363B2 (en) Operating method of host device and storage device and storage device
JP2018120589A (ja) 揮発性メモリキャッシュのデータを代替する方法及びそのためのキャッシュ管理部
US9336834B2 (en) Offsetting clock package pins in a clamshell topology to improve signal integrity
US20170147230A1 (en) Memory device and memory system having heterogeneous memories
US20220012126A1 (en) Translation cache and configurable ecc memory for reducing ecc memory overhead
CN114610665A (zh) 存储器扩展卡
KR20210089804A (ko) 메모리 모듈 및 이를 포함하는 메모리 시스템
JP2010123203A (ja) 半導体装置及びモジュールデバイス
US20230215493A1 (en) Cross dram dimm sub-channel pairing
US20230013181A1 (en) Method to implement half width modes in dram and doubling of bank resources

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380069806.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880664

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015507793

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14763019

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13880664

Country of ref document: EP

Kind code of ref document: A1