KR20080067328A - 3ｄｍｃ 아키텍처 - Google Patents

3ｄｍｃ 아키텍처 Download PDF

Info

Publication number
KR20080067328A
KR20080067328A KR1020087008311A KR20087008311A KR20080067328A KR 20080067328 A KR20080067328 A KR 20080067328A KR 1020087008311 A KR1020087008311 A KR 1020087008311A KR 20087008311 A KR20087008311 A KR 20087008311A KR 20080067328 A KR20080067328 A KR 20080067328A
Authority
KR
South Korea
Prior art keywords
layer
3dmc
cpu
stacked
memory
Prior art date
Application number
KR1020087008311A
Other languages
English (en)
Inventor
아비브 소퍼
Original Assignee
비욘드 블라데스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비욘드 블라데스 리미티드 filed Critical 비욘드 블라데스 리미티드
Publication of KR20080067328A publication Critical patent/KR20080067328A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F28—HEAT EXCHANGE IN GENERAL
    • F28D—HEAT-EXCHANGE APPARATUS, NOT PROVIDED FOR IN ANOTHER SUBCLASS, IN WHICH THE HEAT-EXCHANGE MEDIA DO NOT COME INTO DIRECT CONTACT
    • F28D15/00—Heat-exchange apparatus with the intermediate heat-transfer medium in closed tubes passing into or through the conduit walls ; Heat-exchange apparatus employing intermediate heat-transfer medium or bodies
    • F28D15/02—Heat-exchange apparatus with the intermediate heat-transfer medium in closed tubes passing into or through the conduit walls ; Heat-exchange apparatus employing intermediate heat-transfer medium or bodies in which the medium condenses and evaporates, e.g. heat pipes
    • F28D15/0266—Heat-exchange apparatus with the intermediate heat-transfer medium in closed tubes passing into or through the conduit walls ; Heat-exchange apparatus employing intermediate heat-transfer medium or bodies in which the medium condenses and evaporates, e.g. heat pipes with separate evaporating and condensing chambers connected by at least one conduit; Loop-type heat pipes; with multiple or common evaporating or condensing chambers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F28—HEAT EXCHANGE IN GENERAL
    • F28D—HEAT-EXCHANGE APPARATUS, NOT PROVIDED FOR IN ANOTHER SUBCLASS, IN WHICH THE HEAT-EXCHANGE MEDIA DO NOT COME INTO DIRECT CONTACT
    • F28D15/00—Heat-exchange apparatus with the intermediate heat-transfer medium in closed tubes passing into or through the conduit walls ; Heat-exchange apparatus employing intermediate heat-transfer medium or bodies
    • F28D15/02—Heat-exchange apparatus with the intermediate heat-transfer medium in closed tubes passing into or through the conduit walls ; Heat-exchange apparatus employing intermediate heat-transfer medium or bodies in which the medium condenses and evaporates, e.g. heat pipes
    • F28D15/0275—Arrangements for coupling heat-pipes together or with other structures, e.g. with base blocks; Heat pipe cores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/18—Packaging or power distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00—Printed circuits
    • H05K1/02—Details
    • H05K1/0284—Details of three-dimensional rigid printed circuit boards
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00—Printed circuits
    • H05K1/18—Printed circuits structurally associated with non-printed electric components
    • H05K1/182—Printed circuits structurally associated with non-printed electric components associated with components mounted in the printed circuit board, e.g. insert mounted components [IMC]
    • H05K1/185—Components encapsulated in the insulating substrate of the printed circuit or incorporated in internal layers of a multilayer circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1635—Stackable modules
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16151—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/16221—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/16225—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/26—Layer connectors, e.g. plate connectors, solder or adhesive layers; Manufacturing methods related thereto
    • H01L2224/31—Structure, shape, material or disposition of the layer connectors after the connecting process
    • H01L2224/32—Structure, shape, material or disposition of the layer connectors after the connecting process of an individual layer connector
    • H01L2224/321—Disposition
    • H01L2224/32151—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/32221—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/32225—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/73—Means for bonding being of different types provided for in two or more of groups H01L2224/10, H01L2224/18, H01L2224/26, H01L2224/34, H01L2224/42, H01L2224/50, H01L2224/63, H01L2224/71
    • H01L2224/732—Location after the connecting process
    • H01L2224/73201—Location after the connecting process on the same surface
    • H01L2224/73203—Bump and layer connectors
    • H01L2224/73204—Bump and layer connectors the bump connector being embedded into the layer connector
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/19—Details of hybrid assemblies other than the semiconductor or other solid state devices to be connected
    • H01L2924/191—Disposition
    • H01L2924/19101—Disposition of discrete passive components
    • H01L2924/19105—Disposition of discrete passive components in a side-by-side arrangement on a common die mounting substrate
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K2201/00—Indexing scheme relating to printed circuits covered by H05K1/00
    • H05K2201/04—Assemblies of printed circuits
    • H05K2201/041—Stacked PCBs, i.e. having neither an empty space nor mounted components in between
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/2039—Modifications to facilitate cooling, ventilating, or heating characterised by the heat transfer by conduction from the heat generating element to a dissipating body
    • H05K7/205—Heat-dissipating body thermally connected to heat generating element via thermal paths through printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

본 발명은 기존의 2차원 PCB 대신 3차원 레이어구조를 이용해 컴퓨터의 질량, 체적 및 전력 밀도를 크게 개선하는 컴퓨터 아키텍처에 관한 것으로, 휴대용 컴퓨터, 데스크탑 PC, 수퍼컴퓨터의 서버를 포함한 많은 분야에 유용하다. 본 발명에 의해 병렬 레이어들이 적층된 3DMC 장치는, 각종 데이터처리를 행하는 CPU; 상기 CPU의 동작에 필요한 데이터를 임시로 저장하는 휘발성 메모리; 통신을 위한 I/O 인터페이스; 관리수단; 및 다른 부분들에 전력을 공급하는 전원;을 포함하고, 병렬 레이어들이 전기적으로 연결되어 컴퓨팅 장치를 생성한다.

Description

3ＤＭＣ 아키텍처{3-DIMENSIONAL MULTI-LAYERED MODULAR COMPUTER ARCHITECTURE}
본 발명은 기존의 2차원 PCB 대신 3차원 레이어구조를 이용해 컴퓨터의 질량, 체적 및 전력 밀도를 크게 개선하는 컴퓨터 아키텍처에 관한 것으로, 휴대용 컴퓨터, 데스크탑 PC, 수퍼컴퓨터의 서버를 포함한 많은 분야에 유용하다.
컴퓨팅파워(연산능력)은 문명에 필요한 자원인 전기나 물과 마찬가지로 필요한 자원이다. 컴퓨팅파워는 날로 증가하는 비즈니스 데이터와 엔지니어링/과학적 문제를 처리하는데는 물론, 대부분의 인간의 생활에 영향을 미치는 포함한 많은 분야에서 디지털 멀티미디어와 엔터테인먼트 경험을 개선하는데 필요하다. 컴퓨터가 먼저 보급된 이래로 컴퓨팅파워의 필요성이 점차 증대하고 있다. 컴퓨터 판매상은 컴퓨팅파워를 더 높이라는 요구를 받고 있다. 매년 새로운 소프트웨어 애플리케이션이 배출되고 컴퓨팅 리소스의 필요성은 점점 더 증가하고 있다. 매년 컴퓨터 판매상은 성능향상, 그래픽파워 증가, 메모리 향상을 위해 제품을 업그레이드해야 한다. 이렇게 경쟁이 심한 시장에서 경쟁력을 유지하려면 최고속 고밀도 프로세서와칩셋을 계속해서 채택해야만 한다. 더 빠른 컴퓨팅파워에 대한 요구는 성능과 용량을 높이되 가격은 낮추는 쪽으로 공급자들을 내몰고 있다. 이런 추세는 서버 분야 에서 더 강력한데, 이는 컴퓨팅파워에 대한 증대하는 요구를 만족시키는데 더 강력한 서버가 필요하기 때문이다.
현재의 컴퓨터와 서버에서 순수히 실리콘이 차지하는 질량과 체적은 저밀도이다. 계산과 기억 기능을 하는 플랫폼 "페이로드"가 실리콘이므로, 컴퓨터의 나머지 부분은 연결, 냉각, 케이스, 파워 기능을 하는 부분으로 "오버헤드"라 할 수 있다. 이런 저밀도는 머더보드를 이루는 PCB와 같은 2차원 구조에 기인한다. 일반적인 데스크탑 컴퓨터에서, 컴퓨터의 질량과 체적의 1% 미만이 실리콘 페이로드이고, 나머지 99%가 오버헤드이다. 칩의 연결, PCB, 기타 연결과 배선이 2차원이기 때문에 저효율적이다. 보드를 수직으로 배치하면 밀도는 개선되겠지만, 여전히 체적효율과 질량효율은 낮을 것이다.
당 분야에 알려진 기술로, 다수의 병렬 모듈(블레이드)와 이들 블레이드를 관리모듈, 전원 및 네트웍 스위치에 연결하는 수직 뒷면판을 수용하는 랙을 이용하는 블레이드 서버가 있다. 이 기술은 장치의 체적과 질량 효율은 높이지만, 냉각과 표준화에 문제가 있고 가격이 높다. 블레이드 칩과 전력 소자에서 생기는 열을 방출하는데 필요한 공기량을 감안하면 넓은 공기통로가 필요학 강한 소음이 생긴다. 또다른 문제점은 표준화를 하기가 어려워, 칩, 보드, 모듈을 동일 판매자의 다른 모델과 교환할 수 없다. 블레이드 서버의 밀도가 증가할수록 방열문제도 증가한다. 소자밀도가 높으면 공기 유속이 빨라야 하지만 공기통로는 좁아진다. 이때문에 모듈과 랙을 결합한 디자인은 시스템의 성능과 신뢰성에 큰 악영향을 미친다.
체적효율이 중요한 분야는 데이터센터이다. 데이터센터는 랙의 단위공간당 비용이 아주 높다. 랙의 단위공간 성능이나 용량이 높을수록 비용을 절감할 수 있다. 데이터센터의 서버코어의 수를 늘이려는 것은, 랙에서 U(1.75인치에 상당하는 표준 상하길이)의 성능을 높이는 기술분야에서 항상 추구하는 것이다.
연결버스, 메모리, CPU, 저장장치의 급속한 발달은 플랫폼 소자들을 표준화할 가능성을 저해한다. 3년 전만해도 최고의 기술적 산물이었던 플랫폼이 오늘날에는 진부한 것으로 여겨지고 있다. 매년 대량의 컴퓨터 장비가 폐기되고 있으며, 이는 중대한 환경문제가 되고 있다. 컴퓨터 장비에는 많은 유독하고 해로운 재료가 함유되어 있고, 이런 장비의 짧은 수명은 대량의 폐기물을 양산하고 있다. 컴퓨터장비의 수명을 늘이면서 체적과 질량을 줄이면 폐기물을 획기적으로 감소시킬 수 있어, 환경친화적이 될 것이다. 폐전자제품에 관한 법률과 규정은 오염과 폐기물을 줄이는 쪽으로 진행되었다. 전자제품은 전세계적인 오염원이 되고 있으므로, 그 부피를 줄이는 혁명이 유럽공동체와 다른 국가에서 시도되고 있다.
현재의 2차원 컴퓨터와 서버의 다른 중요한 단점은 신호선로의 길이에 있다. 머더보드에 있는 소자들을 연결하려면, 더 기다란 PCB 선로가 필요하다. 선로가 길어지면 버스의 속도가 제한되어, 지연이 커지고, 결국 신호 사이에 누화가 생기고, 잡음이 커지며, 기생 커패시턴스와 기생 인덕턴스로 인해 신호 형상이 나빠지며, 주근의 다른 장치에 영향을 주는 전자기 잡음을 일으킨다.
2D 컴퓨터와 서버의 다른 문제점은 저밀도 연결에 있다. 머더보드의 다른 모듈이나 소자를 연결해야 할 경우, 많은 사용되거나 사용되지 않은 저밀도 커넥터가 필요하다. 이런 커넥터는 PCB 모듈에 설치되어 있으므로, 각 변에서 최대 피치는 0.5mm 정도이다. 오늘날의 64비트 버스와 128비트 버스라면, 이 경우 커넥터가 길어진다. 커넥터가 미사용상태일 경우 문제는 더 심각해진다. 이 경우, 고속 신호가 적절한 종료 없이 노출되어 있을 수 있다.
당 분야에서 알려진 고성능 고밀도 컴퓨터를 구축하는 다른 방법은 MPP(Massively Parallel Processing) 시스템이다. 수백, 수천개의 PE(Processing Element)로 이루어진 컴퓨터 시스템에서, PE는 공통의 고속 통신망으로 연결되어 있다. PE를 3D 구조로 하면 PE 사이의 연결이 좋아져 성능을 높일 수 있다. 이런 예로 Cray XT3 병렬처리 수퍼컴퓨터가 있는데, 여기서는 AMD Opteron 상용 64비트 프로세서와 Cray의 SeaStar 3D 연결기술을 채택한다. 이런 구조는 고밀도의 3D 코어 연결체계를 제공하지만, 여전히 기존의 서버에 비해 높은 가격과 제한된 밀도개선 문제를 겪는다. 현대기술의 MPP는 대개 머더보드 레벨에서 3D 망구조로 구축되고, PE로 사용되고 있는 각각의 코어는 여전히 기존의 PCB와 같은 2D(2차원) 구조이다. 이상 설명한 디자인 문제와, 현재의 2D 컴퓨터 디자인에 특유한 다른 많은 문제로 인해 버스와 연결 성능이 제한되고, 그 결과 시스템의 전체 성능도 제한되며, 신뢰성도 저하한다.
참고 특허
1. US Patent 4647959 - Integrated circuit package, and method of forming an integrated circuit package, Smith; Kenneth R.
2. US Patent 5801924 - Method and Apparatus for cooling daughter card module, Richard B. Salmonson.
3. US Patent 5583990 - System for allocating messages between virtual channels to avoid deadlock and to optimize the amount of message traffic on each type of virtual channel, Birrittella et al.
4. US Patent 5864738 - Massively parallel processing system using two data paths: one connecting router circuit to the interconnect network and the other connecting router circuit to I/O controller, Kessler et al.
5. US Patent 5920714 - System and method for distributed multiprocessor communications, Schiffleger; Alan J.
6. US Patent 6055157 - Large area, multi-device heat pipe for stacked MCM-based systems, Bartilson; Bradley W.
7. US Patent 6230252 - Hybrid hypercube/torus architecture, Passint et al.
8. United States Patent 6580609 - Method and apparatus for cooling electronic components, Pautsch; Gregory W.
9. United States Patent 6680915 - Distributed computing system using virtual buses and data communication method for the same, Park et al.
10. United States Patent 6835070 - Cooling arrangement for electronic systems, Law; Randall A. 11. United States Patent 6909183 - Substrate for an electric component and method for the production thereof, Feiertag et al.
12. United States Patent 6900074 - Method of manufacturing a semiconductor device having plural semiconductor chips, wherein electrodes of the semiconductor chips are electrically connected together via wiring substrate of the semiconductor chips, Miyamoto et al.
13. United States Patent 6,219,695 - Circuits, systems, and methods for communicating computer video output to a remote location, Guttag, et al.
14. United States Patent 6,825,846 - Systems and methods for capturing screen displays from a host computing system for display at a remote terminal, Mondal
15. United States Patent 6,894,906 - Housing for in-line video, keyboard and mouse remote management unit, Sivertsen 16. United States Patent 6,906,721 - Systems, methods, and computer program products for managing the display of information output by a computer program, Burrell.
기타 참고자료
1. AMD Specification - "Open Platform Management Architecture Specification", AMD Publication # 32200, Revision: 1.02, Issue Date: May 2005
2. White Paper - Portals 3.3 on the Sandia/Cray Red Storm System, Ron Brightwell et al. Sandia National Laboratories, PO Box 5800, Albuquerque, NM 87185- 1110, May 18, 2005
3. Data Sheet - AMD-8131TM HyperTransport™ PCI-X Tunnel, AMD 24637 Rev 3.02 - August 10, 2004.
4. Data Sheet - AMD-8111TM HyperTransport™ I/O Hub, AMD Publication # 24674 Revision: 3.03, Issue Date: July 2004
5. HyperTransport™ I/O Link Specification Revision 1.03, HyperTransport™Technology Consortium, 10/10/2001 6. HyperTransport™ I/O Link Specification Revision 2.00b, HyperTransport™ Technology Consortium Document * HTC20031217-0036-0009, 4/27/2005
7. Broadcom BCM5703 Product Brief, Broadcom 5703-PB03-R, 1/5/05
8. Presentation - The New Generation of Cray Tools to Support Sustained Performance, Luiz DeRose, Sr. Principal Engineer Tools Manager, SC'2004 APART Workshop, November 12, 2004
9. Cray XT3 Datasheet - Cray Inc., May 2005
10. Cray XD1 Datasheet - Cray Inc., June 2005
11. Research paper - "Developing Custom Firmware for the Red Storm SeaStar Network", Kevin T. Pedretti, Scalable Computing Systems Department, Sandia National Laboratories Interface and Trammell Hudson OS Research, May 16,
2005
12. Research paper - "Portals 3.3 on the Sandia/Cray Red Storm System" Ron Brightwell et al. Sandia National Laboratories for United States Department of
Energy's, National Nuclear Security Administration under contract DE-AC04- 94AL85000.
13. AMD Technical document - "Builder's Guide for AMD Opteron™ Processor- Based Servers and Workstations", AMD Publication # 30925, Revision: 3.04, Issue Date: February 2004
14. AMD Technical document - "BIOS and Kernel Developer's Guide for AMD Athlon 64 and AMD Opteron Processors", AMD Publication # 26094 Revision: 3.24, Issue Date: January 2005
15. AMD Technical document - "AMD Opteron™ Processor Power and Thermal Data Sheet", AMD Publication # 30417 Revision: 3.05, Issue Date: May 2004
16. AMD Opteron™ Product Data Sheet, Publication # 23932 Revision: 3.11 , Issue Date: June 2004
17. AMD Functional Data Sheet, 940 Pin Package, Publication # 31412 Revision: 3.05, Issue Date: June 2004 18. AMD Brochure - AMD Opteron™ Processor with Direct Connect Architecture 4- Socket Server Comparison, AMD Publication # 31342B, Issue Date: June 2004
19. Celestica product data-sheet - A8440 4U 4 Processor SCSI System
20. International Rectifier data-sheet - Data Sheet No. PD94710, IR3082 - XPHASE™ AMD OPTERON™/ATHLON 64™ Control IC, 17/12/2004 21. Linear Technology design note - 3-Phase LTC3733 Provides High Performance Power Solutions for AMD Opteron™ and Athlon™ 64 Processors - Design Note 326, Henry J. Zhang and Wei Chen
22. Silicon Laboratories - Advanced Information - Si8250/1/2 Digital Power Controller, Preliminary Rev. 0.2 4/05 23. Intersil data-sheet - , HIP6301 - Microprocessor CORE Voltage Regulator
24. Multi-Phase Buck PWM Controller, December 27, 2004 FN4765.6
25. Presentation - Red Storm, by Robert Alverso, Red Storm Hardware Architect, March 2003, Cray Computers Inc.
26. Specification - HyperTransport Cave IP - GDA Technologies, Inc, June 2002, version 1.0
27. Specification - HyperTransport Host IP - GDA Technologies, Inc, June 2002, version 1.0
28. Specification - HyperTransport Bridge IP - GDA Technologies, Inc, June 2002, version 1.0.
발명의 요약
본 발명은 전술한 종래 기술의 문제점드을 해결하는 컴퓨팅 플랫폼을 제공하는 방법과 장치에 관한 것이다.
본 발명은 또한 고밀도 컴퓨팅 플랫폼을 제공하는 방법과 장치에 관한 것이다.
본 발명은 또, 다수의 CPU와 메모리 모듈들을 조립해 서로 연결하는 방법과 장치를 제공한다.
본 발명은 또한 판매상이나 사용자라도 여러가지 CPU 메모리와 I/O 레이어들을 쉽게 조립할 수 있는 모듈형 컴퓨터로 작용하는 방법과 장치를 제공한다.
또, 본 발명은 대형이고 신뢰성이 없는 PCB와 배선이 불필요하고 고밀도 수직 신호연결을 제공하는 방법과 장치에 관한 것이다.
본 발명은 신호경로가 짧은 모듈형 전자시스템과 이런 시스템을 구축하는 방법을 제공한다.
본 발명은 또, 2개의 칩 사이, 2개의 기판 사이 또는 칩과 기판 사이에 용량결합을 통해 신호의 통신이 일어나는 모듈형 전자시스템을 제공한다.
본 발명은 또, 2개의 칩 사이, 2개의 기판 사이, 또는 칩과 기판 사이에 자기결합을 통해 신호의 통신이 일어나는 모듈형 전자시스템을 제공한다.
본 발명은 또, 모듈 사이에 용량적이면서 도전적으로 결합이 일어나는 모듈형 전자시스템을 제공한다.
본 발명은 또, 모듈 사이에 자기적이면서 도전적으로 결합이 일어나는 모듈형 전자시스템을 제공한다.
본 발명은 또, 물리적으로 호환되지 못하는 인근 모듈들 사이에 용량수단이나 자기수단을 통해 신호결합이 일어나는 모듈형 전자시스템에 이들 모듈을 집적하는 방법과 장치를 제공한다.
따라서, 본 발명의 바람직한 실시예에 의하면, 병렬 레이어들이 적층된 3DMC 장치는,
각종 데이터처리를 행하는 CPU;
상기 CPU의 동작에 필요한 데이터를 임시로 저장하는 휘발성 메모리;
통신을 위한 I/O 인터페이스;'
관리수단; 및
다른 부분들에 전력을 공급하는 전원;을 포함하고,
병렬 레이어들이 전기적으로 연결되어 컴퓨팅 장치를 생성한다.
이하, 첨부 도면들을 참조하여 각각의 레이어의 구성은 물론 냉각시스템에 대해 자세히 설명한다.
도 1은 외부 인터페이스를 갖는 본 발명에 따른 3DMC의 측단면도이다.
도 2는 본 발명의 다른 3DMC의 측단면도이다.
도 2a는 본 발명의 또다른 3DMC의 측단면도이다.
도 2b는 바닥레이어 밑의 랙에 4개의 열전도봉이 설치되어 있는 본 발명의 다른 3DMC의 측단면도이다.
도 3은 레이어두께를 보여주는 본 발명의 3DMC의 단면도이다.
도 4는 일반적인 3DMC 바닥레이어의 블록도이다.
도 5는 본 발명에 따른 3DMC 층의 평면도로서, 층의 표면구조를 보여준다.
도 6은 본 발명의 연결레이어의 측단면도로서, 이런 연결레이어는 유연한 도전층이나 전기접점 형태로서, 그 종류와 구조는 어떤 것도 가능하다.
도 7은 3DMC 연결레이어의 상세평면도로, 편의상 한쪽 모서리만 나타냈다.
도 8a는 본 발명에 따라 와이어본딩 된 레이어의 측단면도이다.
도 8b는 도 8a와는 비슷하지만 플립칩 기술을 이용해 칩을 연결한 본 발명의 다른 레이어의 측단면도이다.
도 8c는 칩, 본딩와이어 및 비아가 노출된 3DMC 레이어의 평면도이다.
도 8d는 2개의 칩과 비아가 노출된 3DMC 레이어의 평면도이다.
도 9는 본 발명에 따라 칩이 플립칩 결합된 3DMC 레이어를 생산하는 방법을 여러 단계와 위치에서 본 단면도이다.
도 10a는 바닥층에 부착된 열파이프 구조의 TCR과 주변 레이어의 단면도이다.
도 10b는 내부에 냉매가 흐르는 TCR을 보여주는 부분단면도이다.
도 10c는 인입 파이프를 통해 TCR에 들어간 냉매가 파이프를 지나가는 3DMC의 단면도이다.
도 11a는 바닥층에 전원을 설치한 3DMC의 단면도이다.
도 11b는 교환식 전원층을 바닥층으로 사용하는 3DMC의 단면도이다.
도 11c는 교환식 전원층을 상단층으로 사용한 3DMC 장치의 단면도이다.
도 12는 상단층이나 하단층의 전원의 블록도이다.
도 13은 바닥층 냉각시스템의 블록도이다.
도 14는 본 발명의 싱글 CPU 레이어의 상세 블록도이다.
도 15는 본 발명의 싱글 메모리층의 블록도이다.
도 16은 싱글 CPU 구조 3DMC의 각종 요소를 보여주는 전개단면도이다.
도 17은 싱글 CPU 3DMC 플랫폼의 적층구조를 보여주는 개략도로서, 가능한 단순하게 CPU층과 메모리층과 커버층을 위주로 보여준다.
도 18은 3개의 비슷한 메모리층을 갖는 1웨이 싱글 CPU 코어 3DMC 플랫폼의 개략도로서, 도 17과 비슷하지만 CPU 코어층 위에 메모리층이 3개인 점이 다르다.
도 19는 2개의 CPU 층을 구축한 2-CPU 코어 3DMC 플랫폼의 개략도이다. 여기서는 CPU층이 메모리층에 각각 연결된다.
도 20은 본 발명에 따라 CPU층이 4개인 4-CPU 코어 3DMC 플랫폼의 구성도로서, 도 20a는 코어의 구조도이고 도 20b는 논리도이다.
도 21은 듀얼 CPU를 기반으로 본 발명을 구현하는 주요 구성요소의 단면도이다.
도 22는 본 발명에 따른 프로세서간 연결관계를 보여주는 블록도로서, 도 22a는 표준모드의 크로스 메모리층을, 도 22b는 크로스 모드의 크로스 메모리층을 보여준다.
도 23은 2개의 메모리 모듈의 단면도로서, 본 발명의 일례에 따른 듀얼 CPU 소자에 사용하기 위해 크로스모드로 구성된다.
도 24는 CPU층과 메모리층이 각각 하나인 듀얼 프로세서(2웨이) 구조의 단면도이다.
도 25는 도 24와 비슷하지만 3개의 메모리층을 듀얼 CPU층 위에 적층한 구조를 보여준다. 이 구조에서는 메모리 확장을 통해 규모를 키울 수 있다.
도 26은 본 발명의 다른 3DMC 구조를 보여주는데, 4개의 CPU(4웨이)가 2개의 듀얼 CPU층에 배열되어 있고, CPU 끼리의 연결은 CPU층 위아래에 있는 메모리층의 루프백을 통해 이루어지는데, 도 26a는 측면도이고 26b는 논리도이다.
도 27은 8개의 CPU(8웨이)가 4개의 듀얼 CPU층에 배열되어 있고, 각각의 듀얼 CPU층은 하나의 듀얼 메모리층에 연결되며, 두번째 메모리층은 크로스 메모리모드로 스위칭되어 적절한 CPU 연결 레이아웃을 실현하는 구조를 보여주는데; 도 27a는 측면도이고 27b는 논리도이다.
도 28은 3DMC MPP(Massively Parallel Processing) 처리요소의 3D 인터페이스층의 단면도이다.
도 29는 3DMC MPP PE 3D 노드 인터페이스의 평면도로서, 3DMC 표면에 고정되기 전의 6개의 유연한 3D PCB를 보여준다.
도 30은 인터페이스가 3DMC 스택에 조립되어 있는 MPP PE 3D 노드를 보여준다.
도 31은 3D 노드 패드에 의해 인근 PE에 연결된 다수의 3DMC 노드를 이용한 3DMC 기반 MPP계 3D 네트웍을 보여준다.
도32는 듀얼 PCI-X I/O 층의 하이퍼트랜스포트의 블록도이다. 도시된 것은 비교적 간단한 층으로서, 도 16~2O, 24~27에 도시된 레이어 스택의 싱글이나 듀얼 CPU와 연결될 수 있다.
도 33은 본 발명의 다른 실시예에 따른 3DMC PCI-X I/O 허브와 듀얼 LAN층의 블록도이다.
도 34는 18개 코어와 빌트인 리던던트 냉각파워와 LAN 스위치 모듈들이 구비된 3DMC 3U 랙 설치 서버를 보여준다.
도 35는 주크박스처럼 구성된 다른 3DMC 4U 랙 설치 서버를 보여준다.
도 36a~c는 고장난 3DMC를 자동으로 제거하는 예를 보여주는 측면도이다.
도 37은 3DMC 냉각시스템의 개략도이다.
도 38은 2개의 3DMC를 지원하는 다른 냉각시스템의 개략도이다.
도 39는 2개의 3DMC(500c~d)를 냉각하기 위해 2개 냉매 사이클을 채택하는 다른 냉각시스템의 개략도이다.
도 40은 도 37의 냉각시스템과 비슷하지만 냉매회로가 2개인 냉각시스템의 개략도이다.
도 41은 3DMC 적층과정의 순서도이다.
이하의 설명에서는 필요에 따라 레이어(layer)를 "층"으로 표시하기도 한다.
도 1은 외부 인터페이스를 갖는 본 발명에 따른 3DMC(500)의 측단면도이다. 여기서 3DMC의 ASH(Available Stacking Height)를 차지하는 레이어(504) 수는 6개이다. 바닥 레이어(302)는 전체 3DMC 시스템의 바닥면 역할을 한다. 장착플랜지(514)를 통해 새시나 케이스에 대한 연결이 이루어진다. 이런 플랜지는 체결구를 이용해 3DMC를 착탈 가능하게 케이스나 새시(도시 안됨)에 고정한다. 착탈 전기 커넥터와 같은 외부 인터페이스(501)에 의해 바닥레이어가 신속간단하게 연결될 수 있다.
3DMC의 외부 입출력 단자는 분해조립을 쉽게하기 위해 바닥레이어(302)의 밑면에 집중된다. 이런 접속부는 프라이머리 LAN 인터페이스(506), 매니지먼트 LAN 인터페이스(505), 스토리지 인터페이스(507), DC 피워 입력단자(510) 및 냉매 입출력단자(512)를 포함한다. 레거시 인터페이스나 다른 필요한 기능을 지원하는 인터페이스도 추가할 수 있다.
더 구체적으로, LAN 인터페이스(505)는 표준 100 BaseT, 기가 LAN 또는 고속 LAN 프로트콜, 동선이나 광섬유나 다른 적당한 매체의 하이퍼트랜스포트(HT; HyperTransport)나 인피니밴드(Infiniband)를 이용해 구현될 수 있다.
파워, 리셋, 복귀 스위치(515)는 시스템 온오프 기능, 시스템하드 리셋기능, 및 관리컴퓨터와 연결되지 않은 경우 초기상태로 시스템을 복귀시키는 기능을 발휘한다. 이런 스위치는 사용자가 윗쪽에서 접근하기 쉽도록 상단레이어(306)에 설치된다.
스토리지 인터페이스(507)는 SCSI, 병렬 ATA, 직렬 ATA(SATA), 파이버채널, 하이퍼트랜스포ㅌ, 인피니밴드, 기타 다른 스토리지 접속 프로토콜과 같은 표준 인터페이스일 수 있다.
냉매 입출력단자(512)는 분해조립이 신속한 연결피팅(513)으로 구현된다. 연결피팅(513) 안에는 내부 냉각시스템의 오염을 막는 필터가 들어있다.
도 2는 본 발명의 3DMC(300)의 측단면도이다. 바닥레이어(302)는 전체 구조의 바닥면을 이룬다. 4개의 열전도봉중 2개(304a~b)가 도면에 도시되었다. 열전도 부하는 적층된 레이어들을 통과해 상단레이어(306)까지 전달되고, 상단레이어는 적 층된 레이어의 압력면 역할을 한다. 도면에는 4개의 압력너트중 2개(308)만 도시되었다. 너트(308)를 조여 적층물에 적당한 압력을 균일하게 가한다. 압력너트(308)와 상단레이어(306) 사이에 균일한 압력을 가하고 열팽창에 대비해 스프링(도시 안됨)을 배치할 수도 있다. 이런 스프링은 압력너트나 상단레이어의 일부분일 수도 있다.
압력너트(308)는 손이나, 드라이버나 렌치나 자동공구를 사용해 분해조립할 수 있도록 헤드 모양이 다를 수 있다.
상단레이어는 버스선을 루프백하거나 마무리하는데 사용되기도 한다. 모든 레이어는 위에 새로운 레이어를 놓을 수 있다는 가정하에 설계하는 것이 좋다. 이런 관점에서 상단레이어에서 루프백과 마무리를 하는 것이 좋다.
또, 상단레이어는 그 밑의 레이어의 냉각을 위해 효율적인 1차나 2차 열경로를 제공하기도 한다. 시험장치나 프로그래밍 장치와 같은 외부장치와의 커넥터와 접점이 상단레이어에 있을 수도 있다. 상단레이어는 스위치나 점퍼를 갖출 수도 있다.
한편, 장치의 상태, 예컨대 전원 온/오프, 작동모드, 고장, 온도, 컴퓨터 부하 등과 같은 장치의 상태를 표시하는 LED나 LCD를 상단레이어에 설치할 수도 있다.
본 실시예의 적층체는 2개의 I/O 레이어(310a~b)와 그 윗쪽의 4개의 코어 ㄹ레이어(320)로 이루어진다. 4개 코어 연결 레이어(322a~d)는 각각의 코어레이어(320) 위에 위치하면서 그 윗층과의 전기적 연결을 이룬다. 코어레이어(320)는 CPU 레이어과 메모리레이어를 적절히 조합한 것이면 어떤 것도 된다.
I/O 레이어란 입출력층으로서, 보통 1차 LAN, 디스크 스토리지 인터페이스와 부트 스토리지를 갖는다. 3개의 I/O 연결 레이어(312a~c)는 각각 I/O 레이어들을 연결한다. 상부 I/O 연결레이어(312a)는 윗쪽의 I/O 레이어(310a)와 최하단 코어레이어(320d)를 연결한다. 중간 I/O 연결레이어(312b)는 윗쪽의 I/O 레이어(310a)와 아래쪽 I/O 레이어(310b)를 연결한다. 하부 I/O 연결레이어(312c)는 최하단 I/O 레이어(310b)와 바닥레이어(302)를 연결한다. 도 2와 같이, 이들 레이어는 각각 두께가 다르다. 그러나, ASH가 이런 레이어로 완전히 채워진다. ASH를 채울만큼 층수가 충분하지 않을 경우, 필요에 따라 상단레이어(306) 위에나 밑에 빈 공간층을 조립할 수 있다.
3DMC에 다른 종류의 레이어를 추가하거나 대체하여, 통신, 라우팅, AD변환, DA변환, 비디오처리, 신호처리 등의 여러 기능을 추가할 수도 있다.
도 2a는 본 발명의 3DMC(314)의 측단면도이다. 여기서는 전원 기능이 바닥레이어(302)이 아닌 바로 위의 첫번째 레이어에 부여된다. 바닥레이어(302)과 전원레이어(311)을 연결하는 핀(313)을 통해 전원레이어(311)에 DC 전력이 공급된다. 이때문에 확장성과 유지보수성이 쉬운 모듈 형식의 전원을 구현할 수 있다. 전원레이어(311)의 전력은 4개의 열전도봉을 통해 각 레이어의 소비처에 전력이 공급된다.
1개 이상의 전원레이어를 조립해 다른 인접레이어에 필요한 전력을 공급하는 분산 전원체계를 구현할 수도 있다. 이런 경우 전원레이어의 출력전압을 전용 접점, 동축 열전도봉, 기타 고전류 연결수단을 이용해 인접 레이어들에 전달할 수 있 다.
도 2b는 바닥레이어(302) 밑의 랙에 4개의 열전도봉이 설치되어 있는 본 발명의 다른 3DMC(317)의 측단면도이다. 냉매 입구(315)와 출구(316)를 통해 4개의 열전도봉 둘레에 냉각수가 흐른다. 이런 구조에서는, 냉매가 바닥레이어에 들어가지 않아, 전술한 바닥레이어에 열전도봉이 고정된 구조에 비해 누설의 위험이 크게 줄어든다는 장점이 있다.
도 3은 레이어두께를 보여주는 본 발명의 3DMC(301)의 단면도이다. 도 3의 구조는 코어레이어가 5개(320a~e)이다. 코어레이어 밑에 2개의 I/O 레이어(310a~b)이 있다.
바닥레이어(302)에서 상단레이어(306) 밑면까지의 거리를 ASH(Available Stacking Height)라 한다. 이 높이는 임의로 나누기도 하지만 대개 SH라 하는 표준높이로 나눈다. 여기서는 ASH가 7*SH이고, 1SH의 I/O레이어(310b) 하나, 2SH의 I/O레이어(310a) 하나, 1/2*SH의 코어레이어(320a~b) 2개, 1SH의 코어레이어(320c~e) 3개가 공간을 차지한다. 이런 레이어가 모두 모여 7SH의 ASH를 이룬다.
이런 높이 표준화는 여러 종류의 레이어를 다양하게 적층하여 고정된 3DMC 사이즈를 유지하는 다양한 방법을 구현할 수 있다. 이는 표준 높이가 1.75인치인 1U 또는 2U를 갖는 표준 랙장착 장비와 비슷하다.
판매자는 칩과 부품 세트에 맞는 적당한 높이를 1/2*SH 내지 3SH에서 선택할 수 있다. 마찬가지로 3DMC 판매자도 예컨대 ASH가 3SH에서 12SH까지인 여러 종류의 3DMC를 제시할 수 있다. 판매자가 레이어 제조과정과 냉각기술을 개선하면, 같은 ASH라도 층수를 더 많이 취할 수 있다.
활성레이어 사이사이나 맨 위에 "빈 레이어"을 추가해 전체 높이와 구성을 제대로 할 수 있다. 이 경우 열을 제거하는데에도 도움이 된다.
한편, 낮은 높이를 고착하기 위해 너트 밑에 브러싱이나 스프링을 추가할 수도 있다. 또는, 다양한 구성에 대비해 여러 사이즈의 봉을 준비할 수도 있다.
일반적은 치수는 1U 랙장치 서버로서 전체 높이는 4.44㎝이다. 순높이 3.44㎝중에서, 바닥레이어는 1.00㎝이고, 상단레이어는 0.44㎝이며, 나머지 2㎝는 4SH의 ASH일 수 있다. 물론 1SH=5mm이다. 1U 구조는 일반적으로 높이가 제한되어 3DMC에 최적이지 않다. 앞으로는 레이어 높이가 낮아질 것이므로, 3DMC를 1U보다 낮은 랙에 맞출 수 있다.
다른 예로 3U 랙장치 서버가 있는데 총 높이는 13.335㎝로, 순높이 12.0㎝중에서 바닥레이어 높이는 5.00㎝, 상단레이어 높이는 1.0㎝, 나머지 6㎝가 12SH의 ASH이다. 여기서 1SH=5mm이다. 이런 구조에서는 4개의 듀얼프로세서 코어를 적층할 수 있고, 각 코어마다 메모리층이 하나 이상이다. 따라서, 싱글-코어 프로세서를 갖는 8-웨이나 듀얼-코어 프로세서를 갖는 16-웨이의 서버코어를 구현할 수 있다.
5x5㎝짜리 코어 8개인 8*3DMC는 폭 40㎝로서 표준 19인치 랙장치 케이스에 설치될 수 있다. 깊이 56㎝(27.5인치)의 케이스에는 3DMC 8라인이 수용된다. 따라서, 총 8*8=64 DMC 코어를 설치하면서도 전원, 냉각, LAN 스위치에 적당한 간격을 확보할 수 있다. 이렇게 되면 싱글코어 프로세서는 64x8(512)개의 코어, 듀얼코어 프로세서는 64x16(1024)개의 코어를 갖는 3U 서버를 구축할 수 있다.
높이 표준화는 공업표준을 마련하는데 유리하다. SH, 1/2*SH, 1/4*SH와 같이 SH의 배수로 높이를 구현하면서 형상과 사이즈를 3DMC 표준에 맞추면 치수를 표준화할 수 있다. 어느 경우에도, 빈층을 적절히 끼우면 미래의 시스템 성장에 맞는 스택을 구현할 수 있다.
열전도율이 떨어지는 실리콘 고무로 된 연결층에서 생긴 열은 강제로 열전도봉으로 흘러 바닥층을 향해 아래로 흐른다. 이런 상하방향 열전도는 덜 중요하므로, 기판의 열전도 디자인을 개선하고 단순화할 수 있다.
도 4는 일반적인 3DMC 바닥레이어의 블록도(800)이다. 3DMC 바닥레이어의 주요 구성요소는 컨트롤, 모니터링, 원격관리, 로깅, 열관리, 전력관리를 위한 SMC(System Management Computer)(338)와 전원(850,853,854)이 있는데, 전원의 수는 3개가 아닌 임의의 갯수로 할 수 있다. 한편, 전술한 바와 같이 전원 기능을 다른 레이어에 부여할 수도 있다.
전원(850,853,854)은 다른층에 있는 전력소비 소자에 적절히 전력을 공급한다. 전원의 기능은 전력 상태, 타이밍, 스위칭 상태에 따라 변할 수 있고 필요에 따라 DC-DC, AC-DC로 바뀔 수 있다. 대개 전원은 3DMC로 입력되는 AC나 DC 전력을 다른 층에 필요한 전압으로 낮추는데, SMC(338)는 작동변수를 설정하고 그 활동을 감시하고, 냉각펌프인 밸브(859)는 전력소비와 측정온도를 기반으로 냉매 유량을 조절한다. 이런 밸브나 펌프는 SMC(338)가 제어하는데, SMC는 바닥층에 조립되지 않는 외부 펌프나 밸브를 제어하기도 한다. 이런 구조는 바닥층에 움직이는 부품을 없애는데 좋다.
열전도봉(304a~d)은 바닥층 윗면부터 뻗는데, 어떤 경우에는 바닥층 밑면에서 바닥층을 뚫고 뻗기도 한다. 이런 열전도봉의 3가지 기능은:
a. 전력 전달기능 - 적층된 층에 전력 전달;
b. 열전도 기능 - 각 층의 열을 열전도봉을 통해 3DMC의 하부로 옮김;
c. 모든 층에 동일한 압력을 가하고 나란히 정확히 정렬시키는 기계적 구조체 기능.
열전도봉은 각각의 전원(850,853,854)에 전기적으로 연결되어 3가지 전압을 전달한다. 또, 상단층 위의 잠금너트(308)와 스택의 열팽창으로 인한 스트레인을 측정하기 위한 스트레인 게이지를 열전도봉에 설치하거나, 입출력 단자를 바닥층의 외부 인터페이스(501)에 연결하거나, 바닥층 윗쪽의 접속부(820)를 통해 바닥층 위에 쌓인 층에 연결할 수 있다.
현대의 컴퓨터장치는 저전압 고전류를 요하고 (예를 들어 64비트 프로세서를 채택한 AMD는 100A-1.3V임), 이때문에 전력을 전달하는 열전도봉과 같은 도체를 사용하면 기생저항과 인덕턴스를 낮출 수 있어 좋다. 열전도봉(304a~d)을 열전도와 전력전달 양쪽에 이용하면 공간이 절감된다.
본 실시예에서, 플라스틱이나 세라믹과 같은 절연재로 열전도봉이 바닥층에서 절연된다. 부식, 누설, 전해 문제를 피하기 위해 냉매도 절연시킨다. 한편, 전기는 층 내부의 도체나 주변의 케이스를 통해 전달된다.
이어서, 바닥층에 있는 SMC 기능에 대해 자세히 설명한다. SMC(338)은 보통 리눅스, PSOS, VxWorks, Windows CE와 같은 운용시스템을 채택하여 웹기반 포털이 나 기타 원격관리를 한다.
SMC는 원격 모니터링, 원격구성, 자산관리, SNMP(Simple Network Management Protocol)과 같은 표준 관리 프로토콜이나 비표준 프로토콜을 통한 제어와 같은 원격 관리기능도 한다.
프로세서(801)는 호스트 CPU가 작동하지 않을 때에도 계속 작동하고, MIPS 코어, ARM 또는 PowerPC와 같은 저전력 RISC 프로세서로서, 비휘발성 메모리(805)에 설치된 펌웨어 프로그램을 기반으로 모든 I/O 연산을 한다. 비휘발성 메모리로는 3DMS가 고장났을 때 펌웨어 패치와 업그레이드를 할 수 있는 플래시메모리가 일반적이고, 적당한 층의 드라이버에 설치된다. 사용자나 관리자는 네트웍(852)을 통해 컴퓨터에 새로운 펌웨어를 업그레이드할 수 있다.
메모리 브리지(802)를 통해 프로세서(801)에 연결된 휘발성 메모리(804)는 I/O 동작을 처리하는데 필요한 데이터를 임시로 저장하는 것으로, SDRAM이나 DDR 타입 메모리 등이 있다.
내부 버스(810)는 브리지(802)를 통해 인터페이스와 주변회로를 프로세서(801)에 연결하는 것으로, 16비트나 32비트의 PCI 버스가 적당하다.
버스(810)에 연결된 LAN 컨트롤러(835)는 SMC(338)에 대한 네트웍 인터페이스를 하는바, 시스템구성, 업그레이드, 모니터링, 원격 리셋, KVM(키보드, 비디오, 마우스 기능을 이용한 원격작동)과 같은 모든 관리동작을 원격 실행할 수 있다. LAN 컨트롤러로는 표준 네트웍 인터페이스 기능을 하는 10/100 Mbps의 이더넷이 일반적이다. 컴퓨터 펌웨어와 운용시스템은 정적이거나 동적인 IP, DNS, 심지어는 통 신보안을 위한 VPN을 포함한 모든 표준 네트웍 동작을 지원할 수 있다. LAN 컨트롤러와 외부 인터페이스(501)에 연결된 LAN 트랜시버(836)는 LAN 프로토콜의 레이어를 취급한다. 네트웍(852)은 표준 CAT5나 그 이상의 케이블과 연결되는 여러개의 꼬인 전선으로 이루어진 LAN 인터페이스로서, 무선 LAN이나 광섬유 LAN으로 구현되어 특정 동작을 수행한다.
실시간 시계(RTC; Real-Time Clock, 838)는 정확한 시간을 알려주고 관리시스템의 시간과 날짜를 알려준다. 로깅을 위한 SSL과 같은 보안 프로토콜, 이벤트 공지, 호스트 업데이트를 하려면 시간과 날짜가 필수적이다. 컴퓨터의 시간은 LAN을 통해 연결된 타임서버나 다른 정확한 외부시계를 이용해 외부에서 재조정할 수 있다. 전원이 꺼진 상태에서도 시간과 날짜를 유지하려면 독립된 전원이 필요하다. 이를 위해 소형 전원(840)을 RTC에 연결하는데, 구체적으로는 1차전지, 충전전지, 수퍼커패시터 등의 전원이 바람직하다.
냉각시스템 인터페이스 회로(845)는 버스(810)과 바닥층내 냉각요소(859) 사이의 인터페이스 기능을 한다. 냉각요소(859)에는 냉각수용 DC 펌프, 밸브, 레귤레이터는 물론 열센서와 유량센서 등이 있다. 냉각시스템을 위해서는 DC 펌프와, 바닥층의 냉각수 입출구에 있는 여러 온도센서용의 디지털/아날로그 입력단을 위한 펄스폭 변조제어가 필요하다. 유량센서는 물론 냉각수 유량을 측정하는데 사용된다. 비휘발성 메모리(805)에 설치된 펌웨어를 통해 정상상태와 비정상상태에서의 플랫폼의 열특성을 관리한다. 이런 열관리는 아래와 같이 플랫폼을 제어하여 이루어진다:
a. 시계 주기, 코어전압 등의 CPU 변수를 변화시킴.
b. 코어에서 계산임무를 배제하거나 추가.
c. 열손상을 완전히 피하기 위해 고온 코어의 동작정지.
d. 열손상을 피하기 위해 전체 3DMC를 동작정지. 지원시스템 측으로부터 SMC는 아래 변수에 영향을 줄 수 있음:
e. 냉각수 유속 변화.
f. 2차 냉각시스템 유량의 증감.
g. 비정상 상태에서 싱글 냉각시스템을 이용해 시스템 작동.
SMB 인터페이스(821)는 바닥층 윗면의 연결패드(820)와 내부 버스(810) 사이를 연결한다. SMB 인터페이스는 3DMC의 초기화와 동작에 많은 중요한 역할을 담당한다. 3DMC 호스트컴퓨터를 작동하기 전에, 컴퓨터가 SMB를 통해 다른 층들과 연계되어 층의 종류와 모델을 감지하고, 공급전압, 소비전력, 호환층 리스트, 스택내 위치, 임계온도, 시간변수 등의 주요 작동변수들을 받는다. 동작중에 SMB는 실시간 작동변수들을 전달하여 열변수, 전력, 상태 및 기능 정보를 보고한다. SMB는 모든 적층된 층들을 통과해 각 층에 위치한 직렬 SMB 인터페이스들과 병렬로 연결된다. SMB의 다른 기능은 층들마다의 다른 기능들을 스위칭하는 것이다. 이런 스위칭은 층마다 다른 칩을 선택하거나 어드레스 범위를 프로그램하여 적절한 적층구조를 채택하는데 필요하다.
프로그래머블 시계와 PLL(822; Phase Locked Loop) 역시 내부버스(810)와 바닥층 윗면의 연결패드(820) 사이를 연결한다. 이 모듈의 목적은 필요한 클럭신호를 각각의 층에 생성하는데 있다. 일반적으로 컴퓨터로 8개 이상의 클럭신호를 프로그램하여 각각의 층에 있는 회로를 구동할 수 있다. SMC는 생성된 주파수뿐만 아니라 각각의 클럭출력들 사이의 위상차와 시작선수, 개별 클럭전압, 듀티사이클을 프로그램할 수 있다. EMI(Electromagnetic Interference Emission)를 줄이기 위해 분산 스펙트럼 기능을 추가할 수 있다. 층 내부 분주기와 PLL을 통해 층의 특정 회로를 통해 추가 주파수들을 유도할 수도 있다.
프로세서를 추가하려면 동기화된 다른 시계가 필요하므로, 바닥층으로부터 다른 모든 층을 관통해 CPU 층으로 클록신호를 라우팅하는 것은 비실용적이고, 따라서 CPU층의 로컬 프로그래머블 클록 발생기가 이 기능을 담당한다. 이런 분산 클럭 발생기를 제어하는 것도 SMC의 담당이다.
BIOS(Built-In Operating System) 및 RTC(Real-Time Clock) 에뮬레이터(823)도 버스(810)와 연결패드(820) 사이에 연결된다. 이 회로의 기능은 호스트측의 레거시 레지스터와 관리컴퓨터측의 웹관리 구성을 이용해 레거시 x86 BIOS와 RTC를 에뮬레이션하는데 있고, x86 레거시 호환이 불필요하면 이 회로도 불필요하다. 에뮬레이터(823)와 I/O층이나 CPU층 사이의 인터페이스는 LPC(Low Pin Count) 인터페이스나 FWH(Firmware Hub) 인터페이스(인텔 스펙 rev1.1)나기타 표준이나 비표준 인터페이스와 같은 표준 PC BIOS 인터페이스를 이용해 바닥층 윗면의 연결패드(820)를 통해 구현된다. BIOS는 초기 세팅값을 저장함은 물론 일반적으로 연산시스템을 로드하기 전에 호스트를 부팅하는 부트로더(boot loader)로 사용된다. 부트코드는 관리컴퓨터의 비휘발성 메모리(805)에 저장되거나 LAN 네트웍(852)을 통해 원격 로딩되어 부팅과정을 원격으로 제어할 수도 있다. 적층된 층과 선택된 3DMC 구조에 대한 부팅과 세팅을 채택하는데 컴퓨터가 BIOS 세그먼트를 이용할 수 있다.
스트레인 게이지 AD 인터페이스(826)는 열전도봉(304a~d) 바닥에 위치한 4개 이상의 스트레인게이지와 내부버스(810) 사이를 연결한다. 컴퓨터가 스트레인게이지를 감시하면서 3DMC를 조립하고 작동시키는 도중에 층간 압력을 적절히 유지한다.
레거시 비디오, USB 컨트롤러 에뮬레이터(828)는 바닥층 윗면의 연결패드(820)와 내부버스(810) 사이에 연결된다. 이 회로의 기능은 레거시 x86 비디오컨트롤러와 USB 호스트 컨트롤러를 에뮬레이션하여 빌트인 KVM(Keyboard Video Mouse)를 통해 사용자 인터페이스를 원격제어하는데 있다. 비디오컨트롤러와 USB 호스트 둘다 I/O층에서 로컬 비디오를 생성하고 USB 주변기기를 작동시킨다. 일반적인 서버 3DMC에서는, IP를 통해 KVM 기능을 구현하여 3DMC 비디오를 원격으로 보여주고 USB 주변기기를 원격제어한다. 로컬 플로피나 CD 에뮬레이션을 이용해 플로피나 CD를 원격으로 연결하기도 한다.
BIT(Built-In-Test) 인터페이스(830)도 내부버스(810)와 연결패드(820) 사이를 연결하고, 그 기능은 호스트가 꺼졌을 때도 테스트 동작을 하여 적절한 연결과 층 기능을 확보하는데 있으며, 일반적으로 NAND 트리, JTAG 및 온칩 테스트 리포트를 지원한다.
전원 인터페이스(832)는 내부버스(810)와 바닥층 1차전원(850,853,854) 사이의 인터페이스로서, 시작순서, 전압, 전압안정도, 전류한계와 같은 전원 변수들을 제어하며, 리플레벨(ripple level), 실제전류, 전류용량, 입력전압, 온도 등의 실시간 측정도 가능하다.
1차 DC 전력은 링크(844)를 통해 바닥층의 외부 인터페이스(501)를 거쳐 바닥층의 전원으로 공급된다.
직접 인터페이스(842)는 바닥층 윗면의 연결패드(820)를 바닥층의 외부 인터페이스(501)에 연결해 외부기기를 직접 연결할 수 있다. 이런 직접 인터페이스는 1차 LAN에 사용되는 것은 물론, IDE, SATA, SCSI, 직병렬, USB, 아날로그 비디오, DVI, Fire-Wire, 파이버 채널, 기타 표준, 비표준 인터페이스를 통해 외부기기를 연결하는데 사용된다.
관리컴퓨터 전원(846)은 항상 켜져 있도록 대개 별도의 전원에 의해 작동된다. 이 전원은 컴퓨터 회로만 작동시키고, 이런 회로에 필요한 저전압을 생성한다. 이런 전원을 항상 작동되는 전원으로서 LAN을 통해 구동하는데 POE(Power Over Ethernet) 회로를 사용한다.
도 5는 본 발명에 따른 3DMC 층(330)의 평면도로서, 층의 표면구조를 보여준다. 레이어의 윗면은 접속부의 수, 냉각조건, 전원조건, 칩크기와 같은 설계사양에 맞는 I/O 조건을 채택할 수 있다. 3DMC 레이어 판매자들은 기본적인 레이어의 기능적, 기계적, 열적, 전기적 특성들을 고집하는 한 제시된 플랫폼에 맞게 레이어 인터페이스 표준을 개발하지 않는 것이 일반적이다.
레이어 윗면(332)는 세라믹이나 유리나 플라스틱으로 이루어지고, 수백개의 금도금 패드가 레이어 PIA(Primary Interconnect Area; 338)에 배치된다. SIA(Services Interconnect Area; 337)라 하는 추가 연결부에는 시스템 관리 버스와 클록이나 파워라인 같은 다른 서비스도 있다. PIA와 SIA의 차이점은, PIA는 레이어마다 다르지만 SIA는 모든 레이어에서 같다는 것이다. 다른 차이점은, 호스트가 동작할 때만 PIA도 동작하는데 반해 SIA는 항상 동작한다는 것이다.
PIA의 신호는 신호 특성에 따라 다양한 포맷으로 배열되는바: 예를 들면,
a. 버스는 매트릭스나 직선 열로 배열될 수 있고,
b. 아날로그 신호는 다른 아날로그 신호나 디지털신호와 분리되고 접지패드로 둘러싸이며,
c. 차동신호는 접지패드로 둘러싸인 2개의 인접 패드에 배열되고,
d. 직경이 더 큰 패드나 작은 직경 여러개로 전력이 실현된다.
모서리에 있는 4개의 구멍(334)은 열전도봉을 끼우기 위한 것으로, 레이어에 대한 열전도율을 높이기 위해 금속링 형태의 부싱으로 둘러싼다.
적어도 한 구멍에는 키홈(335)이 형성되어 있어, 레이어의 부적절한 회전이나 뒤집힘을 방지한다. 키홈은 모든 레이어를 지난다. 전기적 측면에서 레이어들이 정렬되도록 하는 키홈(336)도 있다. 전기적 인터페이스의 차이로 인해 이들 키홈이 레이어의 윗면과 아랫면에서 다를 수도 있다. 이런 키홈으로 인해 정렬되지 않은 인터페이스들은 위아래로 겹쳐지지 않아 적층되지 적층되지 않는다.
한편, 조립하는 동안 레이어의 배향(회전)이나 역전(뒤집어짐)을 위해 열전도봉의 위치나 사이즈를 불규칙하게 할 수도 있다. 또, 호환성을 점검하는 전자수단을 사용하기도 한다. 또, 여러개의 핀이나 구멍을 동시에 사용할 수도 있다. 레 이어를 끼우는 순서나 호환성 확보를 위해 구멍의 버전을 정할 수도 있다. 예컨대, 전압이나 통신프로토콜이 다른 레이어에는 특정한 구멍/핀 조합을 채택할 수 있다.
레이어의 사이드패널(339)에 컬러코드를 표시하여 레이어의 종류를 확인토록 한다. 예를 들어 메모리 레이어와 CPU 레이어를 구분하기 위해 각각 다른 컬러로 표시하는 규정을 채택할 수도 있다. 제조업자와 모델번호를 바코드로 표시하기도 한다.
도 6은 본 발명의 연결레이어(350)의 측단면도로서, 이런 연결레이어는 유연한 도전층이나 전기접점 형태로서, 그 종류와 구조는 어떤 것도 가능하다.
상부 레이어(352)와 하부 레이어(355)가 연결레이어(358)에 의해 연결된다. 바람직하게 금 패드(354)가 매트릭스 형태로 상부 레이어 윗면에 인쇄되어 있고, 동일한 패드(360)가 아랫면에도 인쇄되어 있다. 하부 레이어(355)의 윗면에는 패드(360)와 거울상의 패드(354)가 정렬되어 있다.
부도체인 실리콘러버로 된 얇은 층이 연결레이어(358)를 이루고, 도체 기둥형 아일랜드(362)가 연결레이어 내부에 매트릭스 배열로 직립해있다. 각각의 도전 아일랜드는 상부층의 패드와 하부층의 패드를 전기적으로 연결한다. 레이어를 적층하면서 레이어에 작용하는 압력에 의해 유연한 연결레이어들이 눌려진다. 이 압력은 각각의 열전도봉을 둘러싼 금속 부싱에 의해 조절되고 제한된다. 하부 부싱(359)이 상부 부싱(353)에 맞닿으면, 레이어 이동과 연결레이어 압축과정이 중단된다. 레이어 연결간격을 조절하고 연결레이어에 작용하는 압력을 조절하기 위한 부싱이 레이어마다 갖추어져 있다.
수명을 늘리기 위해 도전실리콘을 패드에 씌운다. 이런 도전실리콘은 오늘날 많이 응용되고 있다. 실리콘의 자체밀봉성이 수분 오염을 방지한다. 또, 인듐과 같은 연성 금속을 사용하기도 하는데, 이 경우 연결레이어(350)를 재사용할 수 없다. 한편, 연결레이어(358) 표면 전체에 비정질 도전 기둥을 분산시킬 수도 있다. 이 경우 측면 포지셔닝과 압력을 정확히 할 필요는 없지만 전기적 특성이 떨어진다.
도 7은 3DMC 연결레이어(370)의 상세평면도로, 편의상 한쪽 모서리만 나타냈다. 연결레이어(358a)는 유연한 부도체로 된 얇은 층으로, 실리콘이나 플루로실리콘(flurosilicone)을 재료로 사용하는 이유는 시간이 지나도 화학적으로 안정되고 개스켓과 같은 밀봉성을 보여 접촉부를 보호하기 때문이다. 도전성 소형 원형 아일랜드(362)가 PIA와 SIA에 매트릭스 형태로 배열된다. 보통 PIA는 이런 아일랜드 수백개가 배열되어 인접 레이어의 연결패드들을 연결한다. 도전 아일랜드는 보통 은, 알루미늄, 카본, 동과 같은 도전재의 미세분말을 기제 재료와 혼합한 것으로 이루어지는데, 구체적으로는 CONSIL-C(실리콘 기제)와 은-동 분말을 혼합한 것, CONSIL-CF(플루로실리콘 기제)와 은-동 분말, CONSIL-A(실리콘 기제)와 은-알루미늄 분말, SC-CONSIL(실리콘 기제)와 카본분말, CONSIL-RHT(실리콘 기제)와 순수 은 분말을 혼합한 것이 있다. 마지막 재료는 고온 저항성을 가져 3DMC 연결레이어에 적절하다.
비슷한 기제 재료를 사용하면 아일랜드와 매트릭스 사이의 결합력이 좋고, 장단기 기계적/열적 안정도가 개선된다. 레이어의 작동 온도범위가 넓기 때문에 레이어와 같은 CTE(Coefficient of Thermal Expansion; 열팽창계수)를 보이는 비슷한 재료를 사용하는 것이 역시 바람직하다.
연결레이어에 뚫린 4개의 구멍(372)은 열전도봉의 부싱(353,359)을 끼워맞춤하기 위한 것이다. 이들 구멍은 모서리마다 있으며 다른 핀과 소켓과 함께 유연한 연결레이어를 레이어에 대해 제자리에 고정하는데 사용된다. 연결레이어가 압력을 받아 옆으로 움직이지 못하도록 하는데 기계식 핀을 사용하기도 한다.
연결레이어는 적층과정을 돕기 위해 레이어의 윗면이나 밑면에 부착된다. 연결레이어의 가격이 레이어 자체의 가격보다 훨씬 저렴하므로, 현장이나 실험실에서 레이어가 아닌 연결레이어를 교체하는 것이 바람직하다. 교체작업을 간단히 하면서도 정확한 레이어 부착을 위해 특수한 인서트나 플러그를 사용할 수 있다.
압력이 지나치면 실리콘기제 매트릭스가 압축성 유체처럼 거동하여 아일랜드가 짧아지면서 넓어지는 경향이 있다. 허용 변형량은 5% 이상 25% 이하이다. 압력이 적거나 비압축성 레이어를 사용하면 높은 접촉저항, 낮은 전류용량, 과열 및 회로개방을 초래할 수 있다.
연결레이어의 두께는 1mm 정도로, 이 두께에서는 도전 아일랜드가 50mA 이상의 전류를 전달하고 저항은 보통 5mΩ 이하이다.
제조과정에서는 도전 아일랜드가 달린 균질한 튜브를 압출하기 위해 정밀 사출노즐을 사용하고, 이어서 아일랜드의 파손이나 손상 없이 레이저나 나이프로 적절한 크기로 절단한다. 한편, 적당한 두께의 대형 실리콘 시트를 만들어 레이저 드릴링이나 펀칭으로 도전 아일랜드를 형성하는 방법도 있다. 이어서, 정압상태나 진공상태에서 도전재를 유체상태로 확산시켜 시트의 모든 구멍을 채운다. 도전재가 경화되면, 시트를 닦아서 테스트 및 사용할 준비를 한다. 이어서, 개별 시트 크기로 절단한다. 그러나, 본 발명의 범위내에서 이런 방법과는 다른 방법도 있을 수 있을 것이다.
도전 아일랜드의 수는 레이어 구조에 좌우된다. 첫번째, 싱글 CPU 레이어의 코어연결의 경우, 메모리버스 하나(240 신호)와 HT(하이퍼트랜스포트) 버스(80신호)가 최대 3개 있다. 이는 PIA에서 생기는 신호가 480개이고 제어신호가 대략 100개이며 기타 다른 신호도 있음을 의미한다. 피치 1mm일 경우 580㎟의 면적이 필요하다. 피치를 0.5mm까지 줄이면 마진이 커진다.
두번째, 듀얼 CPU 레이어의 코어연결의 경우, 메모리버스 둘(480 신호)와 HT 버스(80신호)가 최대 4개 있다. 이는 PIA에서 생기는 신호가 480개이고 제어신호가 대략 200개이며 기타 다른 신호도 있음을 의미한다. 피치 1mm일 경우 1000㎟의 면적이 필요하다. 피치를 0.5mm까지 줄이면 마진이 커진다.
열을 거의 내지 않는 레이어, 예컨대 비휘발성 플래시메모리같은 저속 전자소자가 들어있는 레이어나 수동소자가 들어있는 레이어는 설계가 간단하고 발열구조가 얇아지거나 생략될 수 있다. 마찬가지로 전원이 거의 또는 전혀 불필요한 레이어는 절연될 수 있고, 심지어는 금속부싱이 불필요할 수도 있다.
레이어 사이의 연결을 하는 다른 기술도 본 발명의 범위내에서 충분히 예상할 수 있다.
도 8a는 본 발명에 따라 와이어본딩 된 본 발명의 레이어의 측단면도이다. TCR 구멍(602)이 레이어(600)의 모서리마다 하나씩 4개 형성되는데, 도면에는 2개 만 도시되었다. TCR은 바닥층에 대한 열전도 기능과, 전원에서 각 레이어의 전기부하(칩)까지 고전류 저전압을 전달하는 도체 기능을 한다.
부싱(353,359)은 레이어의 열과 전기저항을 낮추는 외에도, 인접 레이어 사이의 간격을 적당히 조절하여 연결레이어에 균일한 압력이 걸리도록 한다.
상단레이어(601)는 기계적 지지구조 역할을 하고, 보통 세라믹, 유리-세라믹, 플라스틱, 에폭시와 같은 유전체로 이루어지며, 신호를 전달하기 위해 얇은 금속 도전판(611)이 있는 얇은 하부 레이어들에 결합된다. 도전판은 비아(618)을 통해 레이어들 사이를 수직으로 연결한다. 레이어의 재료로는 고성능 유리-세라믹(HPGC; high-performance glass-ceramic)이 좋지만, 듀퐁사의 LTCC(low temperature Co-fire ceramic) 951이나 943, HTCC(high temperature Co-fire ceramic)도 괜찮다. 정밀 도체와 비아는 물론, 레이어 내부에 비아와 전자소자를 매립하는 다른 기술도 이용할 수 있다. 다른 방법으로는 ALOX가 있는데, 이 경우 내부도전판(611)을 동이 아닌 알루미늄으로 만들어 기존의 MCM(Multi Chip Module) 기술에 비해 제조비를 낮출 수 있다. 기존의 레이어 두께는 1.5~10 mil이다. 칩에서 열판으로의 내부 열전달을 더 개선할 수 있는 열 비아를 채택하는 기판도 있다.
작동중에 레이어 온도가 상승할 것이므로, 실리콘 칩과 레이어소자의 열팽창을 일치시켜 열응력을 피하려면 CTE가 같은 재료를 사용해야 한다. 레이어 내부의 연결패드들을 연결하려면, MLC(Multi-Layer Ceramic) 기술을 이용한다.
단단하거나 유연한 PCB를 레이어의 밑면이나 윗면의 어느 한쪽이나 양쪽에 붙일 수도 있다. 원하는 가격과 물성을 맞추기 위해 다른 재료를 사용할 수도 있 다.
레이어 윗면을 연결패드(354)로 덮어 그 위에 적층된 레이어와 연결한다. 마찬가지로, 레이어 밑면도 연결패드(360)로 덮어 그 밑의 레이어와 연결한다. 레이어를 관통한 관통비아(620)나 내부에 매립된 매립비아(618)를 통해 신호를 전달할 수 있다.
금속판(604)은 좌측 열전도봉의 부싱(353,359)과 열적으로 전기적으로 결합되어 있는데, 보통 두꺼운 동판으로 이루어지고 중앙까지 뻗어서 실리콘 칩과 다른 전기소자의 지지판 역할을 한다. 다른쪽의 부싱에는 다른 전압이 흐르므로, 4군데 모서리까지 이어진 열판은 금속판과의 단락방지를 위해 간격을 두고 띄워놓는다. 좌측으로 뻗는 판(604)과 우측으로 뻗는 판(605) 사이를 분리하는 유전체 판(608)도 특징이다. 적당한 두께와 재료의 유전체를 사용해 강력한 대형 커패시터를 만들면 전기공급의 안정을 도모하고 전압변동을 낮출 수 있다. ESR을 더 줄이기 위해 레이어에 다른 종류의 커패시터, 예컨대 세라믹이나 전해질형 커패시터를 설치할 수도 있다.
일반적인 레이어 구조에서, 상부 레이어는 칩(612)을 직접 연결하는 접지층이고, 두번째 레이어는 상부 레이어에 대한 적절한 디커플링 커패시턴스를 가능케 하는 Vcore 공급층이다. 4개의 레이어에 형성된 구멍은 표면 연결패드와 내외부 패드 사이에 신호를 보내기 위한 비아이다.
열-전기 전도성 접착제를 사용해 칩을 상부레이어(601)에 고정하는데, 보통 전기-열 전도도가 좋은 Ablebond 2100A를 사용하지만, 절연성이 좋은 Ablestik ABLEFLEX 5206을 사용하기도 한다. 넓은 온도범위, 응력용량, 낮은 수분흡수도를 보이는 기계적 강도가 좋은 재료가 접착제로 바람직하다. 칩(612)은 하나나 여러개 있을 수 있고, 원하는 레이어 기능을 실행하는데 다른 소자를 사용할 수도 있다. 칩을 여러개 적층하면 레이어의 칩밀도를 높이고 칩간 접착길이를 줄일 수 있다.
다른 칩 연결기술을 채택할 수도 있다. 본 발명의 레이어에 대한 설명을 돕기 위해 2가지 기술을 예로 든다. 첫번째 기술은 도 8a에 도시된 기존의 금속와이어 본딩기술로서, 고속고밀도 칩에는 효율이 떨어지지만 상하 칩적층과 내부 배선구성에는 아직 사용되고 있다. 본딩와이어(624)에 의해 칩(612)의 패드를 적당한 판(604)에 연결한다. 판의 노출부는 하나 이상의 칩에 많은 와이어를 본딩하는데 이용된다. 본딩 와이어로는 금, 알루미늄 또는 동을 이용하되 그 두께는 0.9mil이다.
칩의 신호패드(613)도 본딩와이어(614)를 통해 기판의 신호패드(615)에 연결되고, 비아(618)를 통해 상부나 하부의 패드로 신호가 전달된다. 레이어 내부의 본딩과 도전레이어를 통해 칩 사이의 신호전달을 이룰 수 있다.
레이어 제조과정중에 조립이 끝난 뒤 칩을 보호하기 위해, 칩과 칩을 캡슐화 물질(624)로 완전히 밀봉하는데, 적절한 물질은 에폭시를 포함한 수지이다. 많은 공격적인 전기화확적 과정을 거쳐야 하기때문에 조립된 칩을 완벽히 밀봉해야 한다. 칩을 적절히 밀봉하면 칩 내부를 손상시키지 않고 과정을 완료할 수 있다.
도 8b는 도 8a와는 비슷하지만 플립칩 기술을 이용해 칩을 연결한 본 발명의 다른 레이어의 측단면도이다. 여기서는 와이어 대신 범프(bump)라 불리우는 작은 금속돌기(616)를 기판 표면에서 돌출시켜 기판표면의 금속패드와 칩(622) 밑쪽의 패드를 연결한다. 플립칩 기술은 아래와 같이 구현된다:
a. 범프 솔더링 : 범프를 칩의 패드 위에 놓고 스퍼터링, 도금 등의 방법으로 절연알루미늄 산화층을 대체하고 납땜 영역을 설정한다. 증착, 전기도금, 납땜 등의 방법으로 땜납을 범프 위에 붙인 다음 웨이퍼를 칩에 맞게 재단한다. 범프가 붙은 칩을 기판의 패드위에 놓고 전체를 가열하여 납땜 연결을 한다.
b. 범프 도금 : 화학적 방법으로 알루미늄 산화물을 제거하고 도전금속 범프를 패드 위에 둔다. 이어서 원하는 두께로 범프를 니켈로 도금한 다음, 금으로 더 도금한 다음, 칩에 맞게 웨이퍼를 재단한다. 접합은 땜납이나 접착제를 범프나 기판 패드에 발라서 한다.
c. 스터드 범프 플립칩 : 금 선을 녹여 금으로 된 볼을 만들고, 이 볼을 칩 패드에 붙인다. 이 볼은 알루미늄 산화물을 통해 그 밑의 금속과 영구연결을 이룬다. 이 과정은 각각의 칩나 웨이퍼에 쉽게 붙일 수 있는 기술이다.
본 실시예에서는 아래쪽으로 연결을 해야 하므로, 칩(622)을 아래를 향해 조립한다. 칩(622) 밑의 범프들 사이에 충전재(619)를 채워 칩과 기판(610)을 연결한다. 칩과 기판의 열팽창계수(CTE) 차이로 인한 오정렬은 이런 충전재에 흡수된다. 충전재는 칩을 수분, 이온 오염물, 방사선, 충격, 진동과 같은 환경으로부터 보호하기도 한다. 기판(610)의 재료는 세라믹이나 유기재료이다.
도 8c는 칩(612), 본딩와이어(614) 및 비아(620)가 노출된 3DMC 레이어(630)의 평면도이다. 레이어(601)의 두께 절반을 잘라내 칩(612) 등을 노출시킨 것이다. (도시 안된) 밑면의 연결패드는 칩(612) 둘레의 신호패드(615)에 연결되거나 비아(620)를 통해 상부 패드에 연결된다. 비아(620)는 열전도 판(604)이 없는 부분에서 레이어(630)를 관통한다.
4군데 모서리에 있는 4개의 하부 부싱(359)은 모서리에서 중심을 향해 뻗어있는 4개의 열전도판(604)에 열결합된다. 열전도판은 절연상태로서 층마다 다른 전압을 공급할 수 있다.
칩(612)은 특수 접착제로 열전도판(604)에 고정된다. 상단 판은 접지된다. 다른 열전도판의 노출부에 있는 패드는 전력패드(632)로서 본딩와이어(614)에 연결되어 칩의 패드(622)에 전력을 공급한다.
도 8d는 2개의 칩(622)과 비아(620)가 노출된 3DMC 레이어(649)의 평면도이다. 도면에 도시된 레이어(601)는 마찬가지로 두께 절반을 잘라내 칩(622)을 노출시킨 것이다. 밑면의 연결패드(도시 안됨)는 칩(622) 밑에 배열된 플립칩 패드(604; 도면에 사각형으로 표시)에 연결되고, 비아(620)는 열전도판(604)이 없는 부분에서 레이어(630)를 관통한다. 전압을 저장하고 잡음을 걸러내기 위해 레이어에 여러개의 전해질 커패시터(637)와 세라믹 커패시터(638)를 설치하는데, 전해질 커패시터로는 탄탈륨, 알루미늄 등의 유전체를 사용하고, X7R, NPO, X5R 등이 사용된다.
4군데 모서리에 있는 4개의 하부 부싱(359)는 모서리에서 중심을 향해 뻗은 4개의 열전도판(604)에 열결합되고, 이들 열전도판은 전기절연되어 층마다 다른 전압을 공급할 수 있다.
도 9a는 레이어(623)의 측단면도이다. 세라믹, 실리카 또는 알루미나로 된 하부 레이어(620)는 유전체나 기판 역할을 한다. 도전금속을 하부레이어에 인쇄하여 필요한 회로를 형성하고, 하부 패드(360)는 감광성 코팅이나 에칭법을 이용해 금으로 된 층에 인쇄된다. 하부 레이어들을 정렬상태로 고정하는데는 지그(666)를 사용한다.
4개의 TCR 구멍(602)에 안내핀(667)을 끼워 적층된 레이어들을 정렬시킨다. 정렬을 더 보강하려고 소형 핀을 사용할 수도 있다. 또, 제조과정에서 레이어를 취급하는데 지그(666)도 도움을 준다.
하부레이어 제조과정에 높은 온도와 부식처리에 노출되므로, 레이어를 보호하기 위해 보호코팅을 할 필요가 있다.
레이어(623)를 제작할 때 몇개 금속판(605)을 적층한다. 이들 금속판은 대개 TCR 구멍까지 뻗어있으므로, 구멍의 열전도 부싱에 적절히 열결합된다.
도 9b는 칩(612a)의 측면도이다. 칩을 조립하려면 먼저, 모든 I/O 패드에 UBM(Under Bump Metallization)을 형성해 칩 표면을 준비한다. 대부분의 I/O 패드의 최종 금속층은 알루미늄으로서, 기존의 와이어 본딩에는 적합하지만 대부분의 도전 범프의 본딩에는 부적절하다. 알루미늄은 공기에 노출되자마자 산화막을 형성하고, 산화막은 절연막을 이룬다. 범프를 형성하기 위한 첫 단계는 산화막을 적절한 도전재인 UBM으로 바꾸는 것이다. UBM을 형성하려면 접착층, 확산방지층, 납땜층, 산화방지층과 같은 여러 층이 필요하다.
일반적인 멀티레이어 UBM을 형성하려면 아래 단계를 거친다:
1. 칩 표면의 산화물을 스퍼터링 에칭하여 산화물을 제거하고 알루미늄을 노출.
2. 100nm의 Ti/Cr/Ar을 접착층으로서 증착.
3. 80nm의 Cr:Cu를 확산방지층으로서 증착.
4. 300nm Cu/Ni:V를 납땜층으로서 증착.
5. 50nm Au를 산화방지층으로서 증착.
UBM을 칩 표면에 형성한 뒤, 범핑과정을 위해 웨이퍼를 가져오는데, 칩 패드마다 소형 범프(616)를 추가한다. 범프 납땜 성분으로는 무연과정을 위해 대개 63Sn/37Pb, 95Pb/5Sn 또는 97.5Sn/2.5Ag를 사용한다. 집적회로를 만들 때와 비슷하게 얇은 금속막을 증착하거나 전기도금하거나 에칭하여 범프를 형성한다. 다른 방법은 구리로 범프를 만드는 수동법을 이용해 필요한 범프를 만들 수 있다. 이렇게 형성된 범프에 폴리이미드, Dow CYCLOTENE (BCB)와 같은 유기성분을 씌운다.
범핑과정을 끝낸 뒤, 웨이퍼를 조심스럽게 재단하여 칩으로 만든다. 이어서, 플립칩을 레이어(623)에 조립할 준비를 한다.
도 9c는 칩(612a)의 조립을 준비한 레이어(623)의 측단면도이다. 이 단계에서는 모든 하부레이어들을 형성하고 연결이 적절하다는 것을 테스트했다. 납땜 플럭스를 패드에 발라 결합력을 높인다.
도 9d는 칩(612a)을 레이어(610)에 놓는 상태의 측단면도이다. 열음향 헤드를 이용해 열음파 압력을 가한다. 또, 패드에 범프를 적절히 접합하여 연결하기도 한다. 동일 레이어에 여러개의 칩을 조립할 수 있다. 또, 다수의 와이어본드 칩을 차례로 적층하여 원하는 기능을 얻기도 한다. 또, 전해질이나 세라믹 커패시터와 같은 수동소자를 칩 둘레에 조립할 수도 있다.
도 9e는 마지막 과정으로서 범프(616)를 기판의 패드에 녹여 칩과 기판을 전기적으로 연결한다. 대형 칩에는 범프 수가 수백개여서 적절한 전기접속을 보장한다. 마찬가지로 비슷한 표면실장기술을 이용해 세라믹 커패시터(638)와 같은 수동소자를 실장한다.
대개 이 단계에서는 칩이 내장된 하반부 레이어를 다시 테스트하여, 집적부가 적절한 전기회로를 형성하도록 한다. 테스트가 끝나면 칩을 캡슐화한다.
테스트가 실패하면, 이 단계에서 표준 칩 형성과정을 반복할 수 있어, 전체 조립과정을 절감하거나 칩을 복구할 수 있다.
도 9f는 충전재(619)를 채어 범프(616)를 보호하고 칩을 기판(610)에 고정하는 단계를 보여주는 측단면도이다. 충전재는 칩(612a)의 가장자리를 따라 주사기로 분배되면서, 모세관 현상으로 칩 밑의 틈새로 스며들고 열경화되면서 영구결합을 이룬다. 경화가 끝나면, 칩(612a)이 기판(610)에 단단히 고착된다.
도 9g는 다음 단계로서 캡슐화 물질(621)을 발라 칩(612a)을 주변에 대해 밀봉하는 과정을 보여주는 측단면도이다. 테스트와 검사를 마친 뒤, 레이어의 상부 절반(623)을 결합할 준비를 한다. 하부 절분부에 여러개의 칩과 각종 전기소자를 실장해 필요한 기능을 얻는 것은 당연하여 언급할 필요도 없다.
도 9h는 상부 절반(668)을 제작하는 과정을 보여주는 측단면도이다. 이 과정은 하부 절반의 제작과정과 아주 비슷하다. 하부 절반(623)과 상부 절반(668) 사이 의 전기연결을 위해 상부절반의 바닥에 하부절반의 패드와 일치하는 패드를 인쇄한다. 소형 범프나 납땜 볼(611)을 형성해 2쪽의 절반들을 결합한다.
도 9i는 양쪽 절반(627,668)을 결합하는 과정을 보여주는 측단면도이다. 부착과정은 칩의 BGA와 비슷하게 이루어진다. 2개의 절반은 서로 정확하게 정렬된 다음 오븐을 통과하면서 범프나 볼을 납땜한다. 납땜이 끝나면, 조립된 부분을 테스트한다. 문제가 감지되면 필요한 재작업을 하여 그 부분을 복구한다.
도 9j는 최종 과정을 보여주는 측단면도이다. 전기 테스트를 모두 마친 뒤, 충전재(631)를 위아래 반쪽 사이의 틈새로 주입한다. 충전재(631)가 경화되면서 틈새가 밀봉되고 전체 레이어가 단단히 형성된다. 4개의 상부 금속부싱(353)을 최종 레이어의 TCR 구멍에 압입한 다음 하부 부싱(359)를 압입한다. 최종 레이어를 다시 검사한 다음 선적을 위해 포장한다.
2가지 본딩기술(예; 플립칩, 와이어본딩)을 같은 레이어에 함께 할 수도 있다. "상부", "하부"란 반드시 상하 관계를 의미하는 것은 아니다. 실제, 전기소자를 상하부 반쪽 양쪽에 본딩할 수도 있다. 일반적으로, 레이어는 다수(보통 2개 이상)의 소자 지지면을 갖는다.
도 10a는 바닥층에 부착된 열파이프 구조의 TCR과 주변 레이어의 단면도이다. 이 도면은 레이어에 실장된 칩에서 바닥층의 냉매까지의 열전달 경로를 보여준다.
TCR은 열전도율이 극히 높은 열파이프로 작용하여 적층된 레이어에서 바닥층(302)의 열겨환기까지 열을 전달한다. TCR(304)은 바닥층 밑의 구조물에 고정되 어 간단한 멀티플 3DMC 매트릭수 구조를 실현한다. TCR(304)은 원통형으로서, 내벽면(644)은 모세관 구조로 작동액으로 포화된다. TCR을 비운 뒤 밀봉하기 전에 작동액으로 채우므로, 작동액의 압력이 작용한다. 작동액으로는 물, 메탄올, 리튬, 세슘, 포타슘, 소디움 용액을 사용한다. TCR은 보통 동으로 이루어지고, 내벽면은 스크린윅(screen wick)이나 분말금속 윅(wick)으로 마감되어 펌핑효과를 개선한다.
실리콘칩(612)과 다른 소자에서 생긴 열은 레이어(610)를 통해 열전도판(604)에 전달된다. 물론, 다른 3개 열전도판에도 열이 전달되어 4 모서리로 열을 보낸다. 모서리마다 TCR 부싱(353,359)이 열전도판(604)에 열결합되어 있으므로, 부싱을 통해 TCR로 열이 전달된다.
TCR의 내부공간(650)으로 열이 전달되면서 작동액이 증발되어, 내벽면에 압력구배가 생긴다. 이런 압력구배에 의해 TCR을 따라 바닥의 냉각구간(646)까지 증기가 흐르고, 냉각구간에서 증기가 응축되면서 잠열을 내놓는다. 작동액은 모세관 구조의 내벽면(644)에서 생긴 흡력에 의해 648 부분으로 상승한다. TCR의 내부에서는 모세관 현상에 의해 작동액에 힘이 작용한다. 벽면에 금속분말을 소결시키거나 축방향으로 일련의 홈을 나란히 형성하면 좋지만, 원칙적으로 모든 물질은 냉매를 흡수할 수 있다.
TCR은 우물과 같은 기능을 하도록 설계된다. TCR의 특성을 관리컴퓨터에 등록하여 효율적인 열관리를 하도록 프로그램한다. 일반적으로 TCR은 열전달에 있어 한계가 있다. 이런 열전달 한계는 TCR의 작동온도의 함수로서, 점도, 음파, 모세관현상, 범람 및 비등을 포함한다. 이런 한계를 컴퓨터 펌웨어에 프로그램하여 열사 이클을 효과적이고 신뢰성 있게 관리할 수 있다. TCR의 열전달 조절을 실패하면 열이 폭주하여 3DMC가 정지하고, 영구적인 열손상을 받을 수도 있다.
TCR의 응축부(646)에 냉각휜(645)을 설치하여 열교환실(647)에서 냉매와의 접촉면적을 증가시킨다. 냉매는 입구(643)를 통해 열교환실(647)로 들어가 냉각휜(645) 둘레를 순환하면서 열을 흡수한 다음, 고온 상태로 출구(642)로 나간다. TCR 상단의 나사(652)에 너트(308)를 결합한다.
이상의 설명에서 전체 적층구조를 반대로 조립할 수도 있음을 냉각시스템에서 알 수 있다. 이런 반대 설치는 TCR 내부에서 열이 윗쪽으로 흐를 때 유리하다. 조립하는 동안의 중력 때문에 바닥층은 가장 밑에 배치한다. 마찬가지로, 필요하다면 3DMC를 옆으로 조립하는 것도 가능하다.
열을 제거하고 전기를 전달하기 위해 두꺼운 열전도봉을 사용하기도 한다. 이 경우, 열전도 요소는 레이어의 주변에 배치된다.
도 10b는 냉매가 내부에 흐르는 TCR(1640)을 보여주는 부분단면도이다. 냉매가 흐르는 TCR(1640)에는 2개의 파이프가 있는데, 냉수(1643)가 들어가는 파이프(1641)와 열수(1644)가 나가는 파이프(1642)가 그것이다. 여기서는 파이프(1642,1641)가 동심으로서 유동방향이 반대이지만, 파이프들을 나란히 배치할 수도 있다. 이런 구성에서는 냉매가 TCR 내부에서 고속으로 순환하기 때문에 다른 구조에 비해 열전달속도가 빠르다.
도 10c는 인입 파이프(1651)를 통해 TCR(1652)에 들어간 냉매가 파이프(1655)를 지나가는 3DMC(1650)의 단면도이다. 냉매는 구멍(1653)을 통해 반대쪽 TCR(1654)으로 들어가서 흘러내린 다음 배출파이프(1656)를 나간다. 구체적으로, 찬 액체가 바닥쪽에서 양쪽 TCR에 들어간 다음 다른 따뜻해져서 2개 TCR을 통해 바닥층까지 흘러내리는 것이다. 한편, 냉매가 3DMC의 한쪽(예, 바닥)으로 들어가 반대쪽(예; 상단층)으로 나가는 구조도 가능하다.
한편, 층간 통로나 층내 통로를 사용해 TCR 순환루프를 폐쇄형으로 하는 것도 가능하다. 또는 냉매를 강제로 순환시킬 수도 있다.
도 11a는 바닥층에 전원을 설치한 3DMC(660)의 단면도이다. DC 전원(510)은 착탈식 커넥터(501)와 링크(844)를 통해 바닥층(302)에 연결되는 5V 전원이다. 전원(850)은 관리컴퓨터의 프로그램에 의해 또는 VRM을 이용한 CPU의 직접 명령에 의해 입력 전력을 저전압으로 변환한다. 전원(850)의 음극은 새시를 통해 TCR(304a)에 연결되고, 양극은 커넥터(851)를 통해 TCR(304b)에 연결된다. 이런 연결은 두툼한 금속판을 통해 이루어지므로, 전원에서 레이어까지의 저항과 인덕턴스가 rkat된다. TCR이 아주 양호한 전도체 기능을 하기 때문에, 좌측 TCR(304a)은 접지기능을 하고 우측 TCR(304b)은 전기전도 기능을 한다.
2개의 별도의 DC 전원에서 착탈식 커넥터(501)를 통해 전기를 공급하는 구조도 가능하다. 이 경우, 1차 전원이 고장날 경우 3DMC가 자동으로 2차 전원에 연결한다.
또, 전원(850)을 2개의 별도의 DC 전원으로 구성할 수도 있다. 이 경우, 한쪽 전원이 고장나도 3DMC의 동작에 영향을 주지 않을 것이다.
상단 레이어(320)는 하부 부싱(359a~b)과 상부부싱(353a~b)를통해 TCR에 전 기적으로 연결된다. 좌측 TCR(304a)는 열전도판(604)에 연결되고, 이 열전도판은 칩(612)까지 이어지는 접지면 역할을 한다. 마찬가지로, 우측에서는 Vcore 열전도판(605)가 우측 TCR(304b)에 연결되어 칩(612)에 가까운 전력판의 양극측에 연결된다. 본딩와이어(614)는 칩의 파워패드에 기판을 연결한다. 622a는 칩의 접지패드이고, 622b는 칩의 Vcore 패드이다. TCR과 레이어의 전압강하를 보상하기 위해, 칩에서 전압을 검사할 수 있다. 이런 아날로그나 디지털 신호는 도 2a의 바닥층(302)이나 전원층(311)으로 돌아갈 수 있다.
도 11b는 교환식 전원층(1660)을 바닥층으로 사용하는 3DMC의 단면도이다. 설명의 편의상 전원층은 하나이고 상단층의 칩에 전력을 공급한다고 하자. 추가 전원층과 전력 분배법은 기본적으로 동일하다. 바닥 전원층(1660)에 전원(1850)이 위치한다. 파워라인(1851a~b)은 전원(1850)에서 부싱(1304a~b)까지 이어진다. 커넥터(1844)에 의해 전원(1510)이 전원층(1660)에 연결된다. 접지단자(2859)은 TCR에 연결된다. 이 구성의 장점은 필요한 전력에 맞게 전원을 교환할 수 있고, 고장난 전원도 쉽게 교체할 수 있다는 것이다.
도 11c는 교환식 전원층을 상단층으로 사용한 3DMC 장치의 단면도이다. 전원(2850)은 상단층(2662)에 위치한다. 전원층(2662) 윗면의 커넥터(2844)에 외부 DC 전원(2510)이 연결된다. 접지단자(2858)은 TCR에 연결된다. 전원(2850)에서 생긴 열은 전력판과 전원층(2662)내 다른 요소를 통해 TCR로 향한다. 냉각휜(2100)은 전원층(2662)의 열을 제거하는데 도움을 준다.
신호커넥터(2102)는 전원층(2662)을 하부 레이어에 연결한다. 이 커넥터는 전원층이 커버 기능도 하도록 단자나 루프커넥터이기도 하다. 한편, 단자나 루프커넥터가 달린 레이어를 상단층(2660) 밑에 배치하기도 한다.
이런 구성의 장점은 필요한 전력에 맞게 전원 교체가 가능하고, 고장난 전원을 쉽게 교체함과 동시에 상단 전원층에서 열을 제거하기가 쉽다는 것이다.
도 12는 상단층이나 하단층의 전원(849)의 블록도이다. 3개의 전원블록은 모두 DC 전원선(844)에서 전력을 공급받는다. 3개의 전원의 출력단은 TCR에 연결된다. Vcore 전원(850)의 출력단은 파워라인(851)을 통해 TCR(304d)에 연결되는데, 이 파워라인은 기생저항을 줄이기 위해 가능한 짧고 굵어야 한다. Vio 전원(852)의 출력단은 파워라인(853)을 통해 TCR(304c)에 연결되고, Vmem 전원(854)의 출력단은 파워라인(855)을 통해 TCR(304b)에 연결되며, 3개 전원 모두의 복귀(접지) 출력단(339)은 4번째 TCR(304a)에 연결된다.
이들 3개 전원의 제어와 모니터링은 아날로그나 디지털 연결링크(340)를 통해 컴퓨터(338)에서 한다. 전압 피드백, 온도와 같이 레이어에서 측정한 중요한 실시간 변수를 SIA(Service Interconnect Area; 337)를 통해 컴퓨터(338)로 전달하거나 직접 전원에 전달한다.
필요하다면, 추가 전압을 공급하거나 전원이중화를 위해 전원을 추가할 수 있다. 전압전달면의 갯수가 TCR보다 많으면, 전달면이 추가로 필요하다. 이 경우, 외벽면이나 SIA(337)을 통해 전력이 전달될 수 있다.
전원을 소형화하고 평평한 고전류 인덕터를 개발하면, 레이어에 전원을 추가하는 설계를 할 수 있다. 이렇게 되면 레이어내의 1차 전원에서 추가 전력을 생산 할 수 있다. 전압원이 하나나 두개만 필요하면, 동일한 전압원을 2개의 TCR에 연결하여 기생저항을 줄이도록 한다.
도 13은 바닥층 냉각시스템의 블록도이다. 냉각시스템 하나로도 충분히 전체 3DMC를 냉각할 수 있지만, 2개의 냉각시스템을 이중으로 채택하는 것이 바람직하다. 한쪽 시스템이 고장나면 다른쪽 시스템이 작동하여 3DMC를 정상 작동온도로 유지한다. 이런 이중 시스템을 위해, 4개의 TCR을 2개 그룹으로 나눠, TCR(302a,c)은 A 시스템으로 냉각하고, TCR(302b,d)은 B 시스템으로 냉각한다. 도면은 설명의 편의상 A 시스템만 도시하였고, B 시스템은 동일한 것으로 생략했다.
냉매는 바닥층(634)의 피팅(fitting)을 통해 3DMC로 들어간다. 피팅은 냉매에 섞여 들어오는 입자로 인한 오염방지를 위해 미세필터를 포함한다. 이 필터는 3DMC 외부에서 수리할 수 있도록 설계되는 것이 좋다.
냉매는 바닥층에 들어간 뒤 2개의 덕트로 나뉘는데, 한쪽 덕트(636a)는 TCR(302a) 둘레의 열교환실(647a)로 연결되고, 다른쪽 덕트(636c)는 TCR(302c) 둘레의 열교환실(647c)로 연결된다. 입구(643a,c)를통해 열교환실로 들어간 냉매는 TCR의 냉각휜(645)을 거치면서 열을 흡수하여 따뜻해진 다음, 출구(642a,c)를 통해 열교환실을 나간다. 복귀덕트(635a,c)를 통해 따뜻한 냉매가 전기펌프(850a)로 들어가고, 펌프는 컴퓨터로 제어되어 열 제거조건에 맞는 유량을 설정한다. 펌프(850a)는 유량조절기나 밸브로 교체될 수 있고, 열교환실 앞에 설치되어 정압을 가할 수도 있다. 바닥층 바깥에 펌프를 설치하여 유지관리를 쉽게 하는 것이 좋다. 이 경우, 바닥층의 냉각시스템은 외부 펌프에 의해 냉매가 순환된다. 온도조절식 밸브나 바이패스 밸브를 사용해 바닥층의 유량을 조절할 수도 있다.
따뜻해진 냉매는 피팅(633)을 나갈 때 재차 필터를 통과한다. 입출구 피팅은 입출력단자(512)에 연결된다. 피팅(633) 안에 필터가 있어 수리가 용이하다.
열효율과 열상태를 감시하기 위해 열교환실 입구(643a)의 열센서(331)로 냉매 온도를 측정한다. 다른 센서(333)는 두번째 열교환실 출구(642c)에서 냉매의 출구온도를 측정한다. 필요하다면 추가로 온도센서나 유량센서를 설치할 수 있다. 냉매 덕트는 전류누설과 TCR의 전기화학적 부식을 피하기 위해 부도체로 만들어야 한다. 레이어 내부에 열센서를 설치해 냉각시스템을 감시하거나 조절할 수 있다.
조절밸브를 레이어 내부에 설치하여 열과 온도를 조절할 수도 있다.
프로세서가 8개인 고성능 ADM 기반 3DMC는 아무리 나빠도 400~600W 정도의 전력소모를 하고, 이 경우 온도를 유지하려면 유속을 빨리 하고 높은 온도차가 있어야 한다. 한쪽 시스템의 어떤 이상이나 고장도 바로 컴퓨터가 감지하고, 이를 다른 시스템 용량을 늘려서 보상해야 한다. 용량에 여유가 있거나 두번째 시스템에 영향이 있으면, 컴퓨터가 3DMC 작동주파수를 바꿔 전력소모를 줄일 수 있다. 이래도 도움이 되지 않으면, 바로 3DMC의 작동울 중지하여 과열로 인한 영구적 손상을 피해야 한다.
한편, 펌프로 일정 온도의 냉매를 여러 3DMC에 공급할 수 있는데, 이 경우 대형 용량의 에어컨이나 열교환기와 같은 쿨러를 이용해 시스템을 냉각하는 것이 바람직하다.
도 14는 본 발명의 싱글 CPU 레이어(40)의 상세 블록도이다. 여기서는 CPU(401)가 3DMC 데이터처리를 담당한다. AMD Opteron과 같은 64비트 프로세서나 인텔 Xeon과 같은 x86 호환 프로세서가 많이 사용된다. 본 발명에서는 편의상 AMD Opteron 프로세서를 사용하는 것을 기본으로 설명하겠지만, 다른 프로세서를 사용할 수도 있음은 당연하다. CPU(401)는 L1 캐시(402)에 연결되고, 이 캐시는 표준메모리에 비해 고속 메모리에서 쓸수 있는 명령어들을 저장하여 프로세서의 성능을 개선한다. 이 캐시는 64kB 이상의 2웨이 구조로 제작된다. 신뢰성 개선을 위해 L1 캐시와 CPU가 ECC(Error Correction Code) 보호기능을 발휘한다. 이 기능은 서버에서 필요하다.
L2 캐시(403)은 CPU에 연결되어 고속저장과 명령어 추적을 행한다. L2 데이터와 태그는 저장되어 ECC로 보호될 수 있다. ECC 비트는 프로세서 성능개선을 위해 프리디코드(predecode) 예측정보를 저장하는데 이용된다.
메모리 컨트롤러(405)는 CPU와 메모리뱅크 사이를 연결한다. 일반 메모리 컨트롤러는 ECC 보호기능을 갖춘 128비트 버스 DDR2 SDRAM을 지원한다. 메모리컨트롤러(405)는 윗면의 접속부(141)를 통해 외부 메모리에 연결된다. CPU 레이어에 다른 메모리가 내장될 수 있다.
레이어 밑면의 메모리버스 접속부(147)에 메모리버스가 연결되고, 이 버스는 종료블록(413)에 의해 능동적으로나 수동적으로 종료된다. 메모리층의 논리에 의해 메모리버스를 종료시키고 커버층에서의 종료는 완벽히 피하는 것이 중요하다. 이 경우 버스신호 부하용량, 인덕턴스 및 신뢰성의 관점에서는 유리하지만, 비용이 추가되고 복잡해진다는 문제가 있다. 비-능동적 HT 버스를 종료시킬 수 없고 대신 트 랜시버를 불능화시킬 수 있으므로, 커버층이 완전히 (종료 없이) 수동적인 플랫폼을 구축할 수 있다.
노스브리지(410)는 I/O 기능을 수행한다. 본 실시예에 AMD Opteron 코어를 사용한 경우, 프로세서간 통신과 I/O 통신 모두 HT 링크를 통해 이루어진다. 하이퍼트랜스포트는 3DMC와 같은 오픈구조 시스템에 이상적인 저지연 고속 칩 연결기술로, 현재 최대 22.4 기가바이트/초 CPU를 제공하고 기존의 복잡한 멀티레벨 버스를 대체하고 있다. 높은 대역폭, 주파수 안정성, 낮은 비용을 구현하는 외에도, 하이퍼트랜스포트 기술은 레거시 PCI(Peripheral Component Interconnect), PCI-X 및 급부상중인 PCI Express 기술에 호환적인 소프트웨어이다. 하이퍼트랜스포트 기술은 LCDS(Low Voltage Differential Signaling) 링크에 의해 높은 대역폭과 낮은 지연을 제공하고, 데이터수율이 높으면서도 신호누화와 EMI는 최소화한다. 이 기술에서는 패킷형 데이터 프로토콜을 채택하여 많은 사이드밴드 신호들을 없애고 비대칭 가변폭 데이터경로를 지원할 수 있다.
소자 401,402,403,405,410,414,415를 총칭하여 컴퓨터 코어(142)로 표시하기도 한다.
CPU층의 기능이나 상업적 이유로 판매자는 하나의 프로세서 플랫폼에 1개의 링크, 듀얼 프로세서에 2개 링크, 멀티플 프로세서에 3개 링크를 사용할 수 있다. 링크 전체나 일부는 효율적인 프로세서간 캐시 공유를 위해 고유 캐시동작을 지원할 수 있다.
HT 트랜시버 #0(414)는 CPU나 I/O와 같은 하부 레이어에 HT 링크를 할 수 있 고, 이 링크는 레이어 밑면(144)에서 HT 접속부를 통해 연결된다.
두번재 HT 트랜시버 #1(415)는 CPU층 위에 있는 다른 프로세서나 I/O 레이어에 HT 링크를 하고, 이 링크는 레이어 윗면(143)에서 HT 접속부를 통해 연결된다.
세번째 HT 트랜시버 #2(419)는 CPU층 밑에 있는 I/O층이나 추가 프로세서에 대한 HT 링크를 하고, 이 링크는 레이어 밑면(149)에서 HT 접속부를 통해 연결된다.
HT 링크는 원래의 소스에서 해당 레이어를 통해 다른 목적지로 패킷데이터를 옮길 수 있는 터널로 작동한다.
1~3개의 HT 링크 외에, HT 버스(430)도 있다. 이 버스는 다른 레이어로부터 해당 레이어를 통과하고, 레이어 밑면(145)과 윗면(146) 사이의 레이어 내부에 연결된다.
PLL(Phase Locked Loop)-클록 블록(425)은 로컬 결정계 주파수 발생기나 바닥층에서 전달된 중앙 클럭을 이용해 필요한 클록주파수와 위상을 생성한다. 중앙 주파수는 필요에 따라 바닥층의 관리컴퓨터(338)에서 오는 외부명령어에 의해 곱해지거나 나누어진다.
SMB(System Management Bus; 422)는 바닥층에서 커버층까지 전층을 관통한다. SMB는 바닥면의 SMB 접속부(423)와 윗면의 SMB 접속부(424)에 의해 CPU 레이어에 연결된다. CPU 레이어 내부에서 SMB는 ID 메모리(420)에 연결된다. 이 메모리는 기본적인 ID와 공급전압, 전류, 아키텍처, 프로세서 종류, 냉각조건, 임계온도 등의 작동변수를 제공한다. SMB는 내부적으로 JTAG 디버그 포트(426)에도 연결되어 중앙집중식 테스트와 수리를 할 수 있다. SMB는 전력-열 관리모듈(428)에도 연결되고, 이곳에서 칩의 작동온도를 감시하며 컴퓨터(338)에 실시간으로 정보를 전송한다.
4개의 TCR(440)을 통해 레이어의 열과 전력을 전달할 수 있다. 모든 레이어의 칩과 소자가 이들 4개 TCR에 열결합되어 바닥층으로 효과적인 열전달을 하는 것이 바람직하다. 이들 4개 TCR에 연결된 다른 모든 레이어 회로에 필요한 전력도 내부에서 소비된다. 세라믹이나 전해질 커패시터를 기판에 설치하여 라인 ESR과 리플전압을 줄일 수 있다.
이 블록도는 각종 소자의 실제 위치나 크기를 보여주기 위한 것이 아니라 연결관계만 보여주기 위한 것이다.
도 15는 본 발명의 싱글 메모리층(30)의 블록도이다. CPU나 메모리층의 메모리버스는 레이어 밑면의 메모리버스(135)를 통해 하부 레이어와 연결된다. 메모리 인터페이스 버스는 플랫폼 구조에 따라 다를 수 있다. 메모리버스는 수직 도체(452)에 의해 레이어를 관통해 윗면의 메모리 접속부(132)에 연결되는 한편, 메모리 어레이(131)에도 연결된다. 메모리어레이(131)는 DDR SDRAM, RAMBUS, 기타 다른 휘발성메모리일 수 있다. 대부분 메모리층마다 프로세서층에 연결되어 있다. 수동 세팅이나 구성 없이 동일한 메모리층을 이용해 이 기능을 하려면, 뱅크선택 로직(455)을 메모리층에 구현하여, 바닥층에 있는 관리컴퓨터(338)이 소정 구성을 미리 정적으로 조절토록 한다. 일반적으로 메모리칩 선택신호를 메모리층마다 스위칭하여 싱글 DIMM을 모방하도록 한다. 더 복잡한 뱅크선택 로직이라면 연결된 메모리 층의 갯수와 지원되는 종류의 관점에서 더 큰 융통성을 발휘할 수 있다. 뱅크선택 로직(455)은 SMB(456)와 관통 메모리버스(452)에 의해 제어된다.
SMB(456)은 밑면의 접속부(457)에서 메모리층을 지나 윗면의 접속부(459)까지 이어진다. 메모리층 내부에서 SMB는 테스트와 고장수리를 담당하는 JTAG & 테스팅 모듈(460)과 ID & Config 메모리모듈(462)에 연결되고, 미 모듈(462)은 모델번호, 속도, 전압, 파워세팅, 타이밍, 열 변수와 같은 기본 정보를 저장한다.
CPU 연결버스는 메모리층을 통과하여 프로세서들을 적절히 연결한다. 도시된 실시예에서는 하나의 연결버스(138)가 밑면 접속부(469)에서 레이어를 통해 윗면 접속부(470)에 연결된다. 두번째 연결버스(105)는 밑면 접속부(476)에서 레이어를 통해 윗면 접속부(477)에 연결된다.
비슷한 소자구성을 채택하여 도시된 것과 같은 싱글레이어에 듀얼 CPU를 구축할 수 있다.
도 16은 싱글 CPU 구조 3DMC의 각종 요소를 보여주는 전개단면도이다. 커버층(20)은 상단층으로서, 각종 연결된 활성버스(도시된 실시예에서는 메모리버스)의 수동/능동 단자(121)를 구비한다. 밑면의 101로 들어가 102로 나오는 루프백 HT 버스를 통해 후술하는 바와 같은 멀티플 CPU 코어 구성을 구축할 수 있다.
메모리층(30)은 싱글 프로세서 호환메모리의 일례로서, CPU 코어(142)에 연결되는 RAM 뱅크(131)를 갖춘다. 메모리뱅크는 DDR SDRAM이나 RAMBUS와 같은 모든 휘발성메모리가 가능하다.
64비트나 128비트 메모리버스나 다른 종류의 메모리버스가 밑면의 접속 부(135)에서 메모리층을 통해 윗면의 접속부(132)에 연결된다. 밑면의 접속부는 항상 CPU에서 연결을 시작하고 윗면의 접속부는 항상 단자로 끝난다. 이런 단자로는 커버층 단자(121)나 CPU 단자(147)가 있다. 싱글 CPU층(40) 위에 메모리층(30)을 하나 이상 적층하여 안정성을 높일 수도 있다. 좌측 HT 버스(138)는 메모리층 위에 있는 프로세서까지 플랫폼을 확장할 수 있다. 메모리 모듈 중심의 다른 HT 버스(105)는 멀티프로세서용의 토러스형 HT 버스 토폴로지를 구현할 수 있다.
CPU 코어(142)는 AMD Opteron과 같은 CPU, 메모리에 연결되는 메모리컨트롤러, I/O와 연결되는 고속버스링크 및 다른 CPU를 포함한다. 고속버스링크는 보통 하이퍼트랜스포트로서, 저속 메모리뱅크에 접속하기 전에 다른 CPU에 연결되어 이 CPU의 최신 데이터를 검색하도록 한다. CPU층 윗면의 접속부(141)는 CPU 코어(142)와 메모리층을 연결한다.
CPU 코어(142)는 HT 버스(143)를 통해서는 상부의 다른 프로세서에 연결되고, HT 버스(144)를 통해서는 하부의 다른 프로세서나 I/O 소자에 연결된다. 이런 HT 링크의 조합으로 프로세서간 코히어런트 동작이 가능한 고효율 저지연 멀티프로세서 구조를 만들 수 있다.
다른 측면 HT 버스(149)에 의해 효과적인 멀티프로세서를 구현할 수 있다. 판매자라면 상업적이나 기술적 이유로 이런 연결을 끊어 모델을 다르게 할 수도 있을 것이다.
HT 버스가 상단 CPU층에서 메모리층(30)과 버스(105)와 윗면 접속부(146)에서 CPU층을 통해 밑면 접속부(145)로 연결된다.
IO 층(50)은 참고로 도시된 것으로 코어 스택의 일부분이 아니다. 윗면의 HT 루프백 접속부(153)는 좌측의 HT와 중앙의 HT를 연결한다. I/O HT 접속부(151)는 대개 코어스택 밑에 있는 HT에 연결된다.
일반적으로 토러스 토폴로지는 체인구조의 2개 노드 사이를 가장 빨리 연결하기 위한 것이다. 따라서, 최종 노드와 첫번째 노드가 이것에 의해 연결되는 것이 일반적이다.
메모리층마다 단자를 추가하면 커버층에 단자가 생기는 것을 피할수 있지만, 모듈 방식을 위해서는 현재 실시예가 바람직하다. 한편, 커버층(20)의 기능을 최종층, 예컨대 메모리층(30)에 집적하기도 한다.
도 17은 싱글 CPU 3DMC 플랫폼의 적층구조를 보여주는 개략도로서, 가능한 단순하게 CPU층(40)과 메모리층(30)과 커버층(20)을 위주로 보여준다. 이런 구성에서는 2개의 I/O 체인을 코어에 연결하되 첫번째 체인(151)은 바로 CPU 코어(142)에 연결되고, 두번째 체인(153)은 커버층(20)을 통해 루프백 버스에 연결된다.
우측의 도 17b는 등가 논리도로서 CPU 코어(142)와 메모리블록(131)을 간단히 보여준다.
도 18은 3개의 비슷한 메모리층을 갖는 1웨이 싱글 CPU 코어 3DMC 플랫폼의 개략도로서, 도 17과 비슷하지만 CPU 코어층(40) 위에 메모리층(30a~c)이 3개인 점이 다르다. 메모리층(30a~c)은 메모리버스에 연결되고 상단층(20)까지 이어진다. 도 18b는 CPU 코어(142) 위로 3개의 메모리블록(131a~c)이 연결된 상태를 간단히 보여준다 I/O 버스(151)와 루프백 버스(153)를 통해 I/O 층에 다양한 I/O 연결을 할 수 있다.
당업자라면 알 수 있겠지만, 본 실시예와 같은 구조에서도 메모리층의 수는 다를 수 있어, 예컨대 도 17과 같이 1개, 2개, 도 18과 같이 3개, 또는 4개 이상을 사용할 수 있다.
메모리층마다 단자를 추가하면 커버층에 단자가 생기는 것을 피할수 있지만, 모듈 방식을 위해서는 현재 실시예가 바람직하다. 한편, 커버층(20)의 기능을 최종층, 예컨대 메모리층(30c)에 집적하기도 한다.
도 19는 2개의 CPU 층을 구축한 2-CPU 코어 3DMC 플랫폼의 개략도이다. 여기서는 CPU층(40a~b)이 메모리층(30a~b)에 각각 연결된다. I/O 버스(151)는 하부 CPU 코어(142a)에 바로 연결되고, I/O 버스(153)는 커버층(20)을 통해 루프백으로 연결된다. 하부 CPU 코어 메모리버스는 상부 CPU 코어의 단자(121b)로 이어진다.
세번째 HT 버스는 연결되지 않지만 필요하다면 I/O 층에 사용할 수 있다.
여기서 각각의 CPU는 하나 이상의 전용 메모리층을 갖는다. 따라서, 실제로는 CPU층마다 메모리층이 하나 이상이다.
도 20은 본 발명에 따라 CPU층이 4개인 4-CPU 코어 3DMC 플랫폼의 구성도로서, 도 20a는 코어의 구조도이고 도 20b는 논리도이다. CPU 코어층(40a~d)은 각각 메모리층(30a~d)에 연결된다. 최적의 연결을 위해, 상부 CPU 코어(142d)는 하부 CPU(142a)의 버스에 루프백된다. 수직 토러스라 하는 이런 토폴로지에서는 지연이 최저이지만, 상업적이나 기술적 이유로 다른 토폴로지를 이용할 수도 있다. 이런 토폴로지를 위해, 상단 I/O 층(51)에 특수 루프백(52)을 구축한다. 이런 구성에서 는 버스(151)에 대한 연결이 가능하다. I/O 연결을 추가할 필요가 있으면, 하부 CPU 코어(142a)나 임의의 상부 CPU 코어를 측면 버스에 연결하면 된다.
메모리층마다 단자를 추가하면 커버층에 단자가 생기는 것을 피할수 있지만, 모듈 방식을 위해서는 현재 실시예가 바람직하다. 한편, 커버층(20)의 기능을 최종층, 예컨대 메모리층(30d)에 집적하기도 한다.
도 21은 듀얼 CPU를 기반으로 본 발명을 구현하는 주요 구성요소의 단면도이다.
도 21에서 커버층(120)은 상단층으로, 2개 HT 버스와 2개 메모리버스와 같은 각종 버스의 단자를 구비한다. 메모리층(130)은 듀얼프로세서 호환메모리로서, 2개의 RAM을 갖는데, 좌측 RAM(131a)은 CPU A에 연결되고 우측 RAM(131b)은 CPU B에 연결된다. 64비트나 128비트의 메모리버스는 바닥면 접속부(135b)에서 메모리층을 통해 윗면 접속부(132b)에 연결된다. 좌측에 거울상 메모리버스가 구현된다.
좌측의 HT 코히어런트 버스(138a)와 우측의 버스(138b)는 프로세서간 연결버스 역할을 하고, 하부층의 CPU A와 상부층의 CPU A를 연결하며, 마찬가지로 CPU B도 연결한다. 메모리층 밑면의 HT 버스(136)는 하부 CPU층의 HT 버스신호를 되돌리도록 설계된다. 마찬가지로, 메모리층 윗면의 HT 버스(137)는 메모리층 윗면의 CPU층의 HT 버스신호를 되돌리도록 설계된다.
CPU층(140)은 좌측의 CPU A(142a), 우측의 CPU B(142b)를 구비하는데, CPU로는 AMD Opteron, 메모리를 연결하는 메모리컨트롤러, 입출력단자들을 연결하는 고속버스 링크 등이 있다. 고속버스링크는 보통 하이퍼트랜스포트로서, 저속 메모리 뱅크에 접속하기 전에 다른 CPU에 연결되어 이 CPU의 최신 데이터를 검색하도록 한다. CPU층 윗면의 접속부(141a~b)는 CPU 코어(142a~b)와 메모리층을 연결한다. HT 상부 접속부(143a~b)는 상부 CPU층들을 2개의 CPU에 연결한다. 하부 HT 접속부(144a~b)도 마찬가지로 2개의 CPU에 하부 CPU층들을 연결한다. 단자(147a~b)는 하부 메모리층의 메모리버스들이 이어지는 단자이다. 상부 HT 연결버스(148)는 CPU A와 B를 연결한다. 우측의 HT 연결버스(149)도 마찬가지로 다른층의 루프백을 통해 CPU A와 B를 연결한다.
IO 층(150)은 참고로 도시한 것일 뿐이고 코어스택의 일부가 아니다. 윗면의 HT 루프백 접속부(152)는 좌측 HT와 중앙 HT를 연결한다. 2개의 I/O 접속부(151a~b)는 I/O 층 밑에 있는 HT에 연결된다.
SMB는 대역외 관리버스로서, 층의 입출력단자와의 간섭 없이 레이어 동작을 제어한다. SMB는 다른 모든 3DMC 전원이 꺼졌을 때 작동하여 검사나 테스트 작업을 하도록 한다.
도 22는 본 발명에 따른 프로세서간 연결관계를 보여주는 블록도로서, 도 22a는 표준모드의 크로스 메모리층을, 도 22b는 크로스 모드의 크로스 메모리층을 보여준다. 이런 형태의 연결은 듀얼 CPU층이 3개 이상인 컴퓨터/서버에 필요하다. 크로스 측면연결은 프로세서간 링크가 가능한한 가장 짧게하는데 필요하다. 짧은 링크는 캐시 코히어런시와 I/O 동작에서 지연을 낮추는데 필요하다.
도 22a의 크로스 메모리모듈(160b)의 2개 버스스위치(136s,137s)는 크로스모드가 아닌 정상모드에 있다. 이때, 하부스위치(136s)는 우측 버스(136r)를 중앙버 스(136c)에 연결하는 위치에 있다. 상부스위치(137s)는 상부 좌측버스(137l)를 상부 중앙버스(137c)에 연결하는 위치에 있다.
도 22b의 크로스 메모리모듈(160f)의 2개 메모리(131a~b)는 각각 메모리버스(135a~132a)와 메모리버스(135b~132b)에 연결된다. 하부 우측 버스(136r)는 상부 좌측버스(137l)에 크로스되고, 하부 중앙 버스(136c)는 상부 중앙버스(137c)에 연결된다.
이런 종류의 레이어는 간단하지만, 표준 메모리로 사용할 수 없다. 고유 크로싱 기능때문에 스택내 다른 메모리와의 호환성이 없다. 이 문제를 해결하기 위해, 호환성을 가능케 하는 버스스위치를 채택한다. 버스스위치는 전파지연이 거의 없는 CMOS 스위치를 이용해 구현할 수 있다.
버스스위치에 의해 다수의 메모리층을 CPU층 위에 적층하면서도 크로스 버스 구성은 유지할 수 있다. 레이어 스위치는 관리컴퓨터(338)에 의해 정적으로 관리되고 사후 시스템 셋업 도중에 적절하게 구성된다.
도 23은 2개의 메모리 모듈(160c~d)의 단면도로서, 본 발명의 일례에 따른 듀얼 CPU 소자에 사용하기 위해 크로스모드로 구성된다.
도 24는 CPU층(140)과 메모리층(130)이 각각 하나인 듀얼 프로세서(2웨이) 구조(200)의 단면도이다. 프로세서간의 측면 연결은 하부의 I/O 층(150)과 상부의 메모리층(130)을 통해 이루어진다. I/O 층(150)에는 2개의 I/O 버스를 이용할 수 있다.
이런 듀얼 프로세서 구조는 고도로 표준화되고 규모있는 해결책을 제시한다. 같은 CPU층과 메모리층을 사용해 다양하게 컴퓨터/서버를 조합할 수 있다. 2웨이에서 12웨이까지 모든 조립에 같은 층을 이용할 수 있고, CPU층 하나마다 동일한 메모리층은 하나 이상 있다. 이들을 강력 64비트 프로세서 및 고속 HT 코히어런트 버스와 결합하면 강력한 컴퓨터코어가 생긴다.
도 25는 도 24와 비슷하지만 3개의 메모리층(130a~c)을 듀얼 CPU층(140) 위에 적층한 구조(201)를 보여준다. 이 구조에서는 메모리 확장을 통해 규모를 키울 수 있다.
도 26은 본 발명의 다른 3DMC 구조(202)를 보여주는데, 4개의 CPU(4웨이)가 2개의 듀얼 CPU층에 배열되어 있고, CPU 끼리의 연결은 CPU층 위아래에 있는 메모리층의 루프백을 통해 이루어지는데, 도 26a는 측면도이고 26b는 논리도이다.
여기서는 4개의 CPU가 2개의 듀얼 CPU층(140a~b)에 배열되어 있고, CPU 끼리의 연결은 CPU층 위아래에 있는 메모리층의 루프백을 통해 이루어지며, 2개의 I/O 버스가 I/O 층(150)에 있다.
도 27은 8개의 CPU(8웨이)가 4개의 듀얼 CPU층에 배열되어 있고, 각각의 듀얼 CPU층은 하나의 듀얼 메모리층에 연결되며, 두번째 메모리층은 크로스 메모리모드로 스위칭되어 적절한 CPU 연결 레이아웃을 실현하는 구조를 보여주는데; 도 27a는 측면도이고 27b는 논리도이다.
이 구성은 대형 구조(203)에 적합하다. 구체적으로 8개의 CPU가 4개의 듀얼 CPU층(140a~d)에 배열되어 있고, 각각의 CPU층은 듀얼 메모리층(130a~c)에 연결된다. 두번째 메모리층(160)은 크로스모드로 스위칭되어 적절한 CPU 연결을 한다. 크 로스된 구성에서 CPU층(140b)의 CPU A(142c)는 CPU층(140c)의 CPU B(142f)와 연결되고, 마찬가지로 CPU 코어(142d)는 CPU 코어(142e)와 연결된다. 이런 3DMC도 하부 I/O 층(150)에 2개의 I/O 버스가 있다.
도 28은 3DMC MPP(Massively Parallel Processing) 처리요소의 3D 인터페이스층의 단면도이다. 이 층을 코어스택과 I/O 스택 사이에 추가하여 3DMC를 MPP 시스템의 PE(Processing Element)로 기능하도록 할 수 있다. 3DMC는 고밀도의 3D를 쉽게 구현할 수 있어 이상적인 MPP이므로, 이 모델은 멀티프로세서와 멀티컴퓨터 구조에 아주 효율적이다.
이어서, 첫번째 위상의 MPP(massively parallel processing) 시스템에서 PE 노드처럼 사용되는 3DMC의 구조와 기능에 대해 설명한다. 풀 MPP 시스템은 통상 수백개나 수천개의 마이크로프로세서를 구비한다. 이런 시스템은 2가지 MPP 프로그래밍인 데이터 병렬 프로그램과 메시지전달(message passing) 프로그램을 지원하도록 설계된다. HPF(High Performance Fortran)과 같은 데이터병렬 프로그램은 프로그래머가 사용하기 쉬우면서도 이론적 최고 성능의 상당한 비율을 활용한다. PVM(parallel virtual machine)과 같은 메시지전달 프로그램은 성능이 더 높다. 3DMC는 3D 메시토폴로지에서 메시지를 전송하는데 적당하다. 거울상 변화만 주면 데이터 병렬모드로 기능하는데도 적당하다.
멀티컴퓨터 MPP에서 각각의 PE는 자체 중앙프로세서, 로컬메모리 및 관련 제어로직을 갖춘 독립 컴퓨터로 간주된다. 각각의 PE는 자체 로컬메모리만 접속할 수 있다. 즉, 다른 PE와 연계된 로컬메모리의 데이터를 직접 읽거나 기입할 수는 없 고, 메모리의 데이터를 포맷해서 되돌려 보내라고 요청하는 표적 PE에 I/O 패킷으로 메시지를 전송하여 다른 PE의 메모리의 데이터를 읽어야만 하거나, 반대로 기입해야 한다. 따라서, 멀티컴퓨터 시스템에서는, 표적 PE에 관련된 I/O 동작이 기준이 된다. 이런 종류의 프로세서간 통신을 "메시지전달"이라 한다. 메시지전달은 멀티컴퓨터가 상대적으로 구축하기 쉽기 때문에 잘 알려지고 널리 퍼진 MPP 프로그래밍 모델이다. (마이크로프로세서 설계자가 고안한 하드웨어와 소프트웨어인) "자연 서식지"를 아주 닮은 환경, 즉 소형 컴퓨터 네트웍에서 마이크로프로세서를 사용하면 멀티컴퓨터 MPP의 구축이 쉽다. 3DMC 구조에서 메시지전달 인터페이스를 구축하기 위해, 3DMC 코어 스택에 특수한 인터페이스 레이어(180)를 추가할 수 있다.
인터페이스 레이어는 CPU 코어와 메시지전달 네트웍을 연결하는 HT 케이브(183)을 포함한다. HT 케이브(183)은 2개의 DMA(Direct Memory Access)를 통해 데이터를 전달하는데, 한쪽 DMA(184)는 송신용이고 다른 한쪽 DMA(185)는 수신용이다. DMA 엔진은 네트웍과 메모리 사이의 데이터전송을 지원하고, 네트웍에 필요한 메시지 패킷화를 지원함은 물론, 엔드투엔드 32비트 CRC 점검과 같은 기능의 하드웨어 지원도 한다. 각각의 링크에서 실행되는 16비트 CRC 점검에 의해 극히 높은 신뢰성을 얻을 수 있다.
네트웍을 최적화하기 위해, 트래픽 성분과 신뢰성 데이터를 임시로 저장하는 고속 SRAM 어레이(187)에 소형 마이크로프로세서(186)를 결합한다. 마이크로프로세서(186)는 MIPS, ARM, PowerPC와 같은 RISC 구조를 가질 수 있다. 이런 마이크로프로세서는 호스트 프로세서의 오프-로딩을 취급하고 고속 패킷 헤더를 가질 수 있 다. 또, 마이크로프로세서(186)는 신뢰성, 효용성 및 편리성(RAS)과 부팅서비스에 필요한 기능을 지원하는 3DMC PE를 담당한다.
2개의 DMA 엔진(184,185)에 연결된 라우터(188)는 6개의 하류포트를 가져 3D 네트웍을 할 수 있다. 출력 패킷데이터는 3D 매핑을 이용해 최적의 방향을 거쳐 PE 노드로 라우팅된다. PE용으로 의도된 입력 패킷데이터는 DMA 엔진(184,185)로 보내져 더 처리된다. 3D 토폴로지내의 물리적 링크는 각 방향으로 최대 2.5 GB/s의 데이터 페이로드를 지원한다. 이는 라우터에 사용되는 64바이트 패킷과 개별 링크의 프로토콜 둘다의 오버헤드를 고려한 것이다. Opteron에 대한 인터페이스는 통상 800 MHz의 하이퍼트랜스포트를 이용하고, 이것은 이론적으로 최대 3.2GB/s의 데이터를 각 방향으로 제공하며, 최대 페이로드는 프로토콜 오버헤드 뒤에 2.8GB/s이지만 실제로는 이보다 약간 낮을 것이다. 라우터는 유연한 PCB(190)를통해 인근 PE 노드에 연결되는데, 이때 +X, -X, +Y, -Y, +Z, -Z 포트를 이용한다. 라우터의 6방향 포트가 바닥층을 통해 라우팅될 수는 있어도, 본 실시예의 방향성 라우팅은 중간층의 유연한 PCB 배선을 통해 이루어지며, 이 배선은 후술하는 바와 같이 3DMC의 6면에 부착된다.
다른 HT 통과버스(191)는 필요할 때 그 밑의 다른 표준 I/O 층들의 연결을 가능케 한다.
도 28a는 본 발명의 3개의 8웨이 3DMC MPP PE(140)를이용한 2D 토러스(156)의 블록도이다. 3개의 PE를 접속부(175)에서 X축 방향으로 연결한다. PE(140a)와 PE(140c)는 수평 케이블(177)을 이용해 연결된다.
수직면과 수평면 양쪽으로 이런 단순 구조를 연장하여 대형 3D MPP PE망을 3D 토러스 형태로 구축할 수 있다. 여러대의 CPU를 밀집 연결해 각각의 PE를 구축하므로, 통합시스템은 2D이다. 이 구조는 적절한 연산제어 시스템과 특수 컴파일러를 이용한 집약적 병렬처리에 아주 적절하다.
도 29는 3DMC MPP PE 3D 노드 인터페이스(180)의 평면도로서, 3DMC 표면에 고정되기 전의 6개의 유연한 3D PCB를 보여준다. PCB(190a)와 단단한 연결 PCB 패드(195a)는 인터페이스(180)의 밖으로 +X축을 따라 뻗고, PCB(190b)와 PCB 패드(195b)는 인터페이스(180)의 밖으로 -X축을 따라 뻗으며, PCB(190c)와 PCB 패드(195c)는 인터페이스(180)의 밖으로 -Y축을 따라 뻗는다. PCB(190c)는 바닥층 밑의 3DCM 밑면에 닿을 정도의 길이를 갖는다. PCB(190d)와 PCB 패드(195d)는 인터페이스(180)의 밖으로 +Y축을 따라 뻗는데, PCB(190d)는 3DMC 윗면에 닿을 정도의 길이를 갖는다. PCB(190e)와 PCB 패드(195e)는 인터페이스(180)의 밖으로 +Z축을 따라 뻗으며, PCB(190f)와 PCB 패드(195f)는 인터페이스(180)의 밖으로 -Z축을 따라 뻗는다. 6개의 PCB와 패드는 3DMC 표면에 느슨하게 부착될 수 있다. 각각의 패드에 있는 2개 이상의 가이드소켓(198)으로 인해 인근 3DMC와 정확하게 정렬될 수 있다.
도 30은 인터페이스(199)가 3DMC 스택에 조립되어 있는 MPP PE 3D 노드(140)를 보여준다. MPP PE 3D 노드 인터페이스(180)의 유연한 PCB는 3DMC의 6면에 부착되어 6방향으로 뻗는다. PCB(190a,b,e,f)는 아래로 휘어져 3DMC 표면에 닿아 패드(195a,b,e,f)에 연결된다. 2개의 기다란 PCB(190c~d)는 위로 휘어졌다 다시 아래로 휘어져 3DMC의 윗면과 아랫면에 위치한 단단한 부위에 연결된다. 이런 단단한 부위는 3DMC 표면에 가이드핀에 의해 착탈 가능하게 고정된다.
도 31은 3D 노드 패드(195)에 의해 인근 PE에 연결된 다수의 3DMC 노드(140)를 이용한 3DMC 기반 MPP계 3D 네트웍(178)을 보여준다. 우측 하단의 3DMC 기반 MPP PE 3D 노드(140)는 PCB 패드(195b)와 PE 연결층(175)와 인근 3DMC 노드(140)의 좌측 PCB 패드(195b)를 통해 중앙하단 3DMC MPP PE 3D 노드(140)에 연결된다. 마찬가지로, 3DMC MPP PE 3D 노드(140)는 PCB 패드(195c), PE 연결층(175) 및 하단의 PCB 패드(195a)를통해 하단의 3DMC MPP PE 3D 노드(140)에 연결된다. 이렇게 각각의 3DMC MPP PE 3D 노드(140)가 2차원적인 X, Y 방향으로 인근 노드에 연결된다. 도면에 도시되지는 않았지만, 3DMC MPP PE 3D 노드(140)는 Z축 방향으로도 확장된다. 토러스 토폴로지 구축을 위해, 행렬 방향의 외측 노드들이 반대쪽 단부에 연결된다. 예를 들어, 우측상단 노드(140)는 아랫쪽의 PCB 패드(195c), 수직 토러스 연결케이블(176) 및 우측하단 노드의 윗쪽 PCB 패드(195d)를 통해 우측하단 노드에 연결된다. 이런 식으로 수평 토러스 연결케이블(177)에 의해 윗쪽의 노드가 아래쪽 노드에 연결된다.
도32는 듀얼 PCI-X I/O 층의 하이퍼트랜스포트의 블록도이다. 도시된 것은 비교적 간단한 층으로서, 도 16~2O, 24~27에 도시된 레이어 스택의 싱글이나 듀얼 CPU와 연결될 수 있다.
레이어(155)는 윗면의 호스트 HT 버스 연결패드(157)를 통해 코어 스택과 인터페이스하는 상부 I/O 층으로 설계된 것이다. HT 버스(151)는 대개 16비트 입출력 버스로서 최대 6.4 GBps의 대역폭을 갖는다. 호스트 HT버스(151)는 내부적으로 HT 터널(159)에 연결된다. 이 터널은 하이퍼트랜스포트에서 PCI-X 버스까지의 2개 브리지인 브리지 A, B를 제공한다. PCI-X측 브리지는 밑면에 있는 PCI-X 버스 연결패드에 연결되는데 A는 164에 B는 163에 각각 연결된다. 이들 PCI-X 버스는 하부 I/O 층에서 네트웍과 저장을 위한 각종 I/O 인터페이스에 사용된다.
HT 터널(159)의 타단부는 HT버스(165)를 통해 밑면의 HT버스 연결패드(166)에 연결된다. 이 버스는 8비트로 제한되어 최대 3.2GBps의 대역폭을 제공한다. 이 버스는 하부 I/O 층에서 다른 HT 터널이나 케이브에 사용된다.
멀티프로세서 3DMC 스택에 필요한 하류측 PCI-X 버스들을 추가로 제공하기 위해 HT 호스트 인터페이스의 채널을 하나 이상 둘 수 있다.
SMB 버스(456)는 도 15의 메모리층과 비슷한 층을 통과한다. 연결된 모듈은 레이어의 ID와 열상태, 필요전력, 테스트 조건 등의 변수를 제공할 수 있다.
루프백 HT버스(52)를 코어스택에서 프로세서에 연결하도록 할 수 있다.
본 실시예의 I/O 층에서 설명한 HT 터널과 듀얼 PCI-X 브리지(169)는 AMD 8131과 같은 표준 칩셋에서 볼 수 있다.
도 33은 본 발명의 다른 실시예에 따른 3DMC PCI-X I/O 허브와 듀얼 LAN층의 블록도이다. 도 33은 I/O층의 두번째 예로서, 이 층(220)을 이전 도면에서 제시한 층(470) 밑에 적층할 수 있다. 이 층에 대한 1차 입력단은 I/O 터널층의 I/O HT버스와 이 층의 PCI-X로 제한된다. 설명의 편의상 SMB 버스와 연결모듈은 생략했다.
IO HT 버스는 윗면의 연결패드(221)에 연결된다. HT버스(223)는 보통 8비트 입출력 버스이다. 연결된 레거시 I/O 허브(224)는 주로 내부적으로 PCI/LPC 브리지 에 연결된 HT 케이브이다. 이 허브는 AMD 8111이나 다른 표준 칩셋과 비슷할 수 있다. 이 허브는 AC97형인터페이스를 통해 KVM230용의 오디오코덱이나 코덱 에뮬레이터에 연결된다. 코덱(231)의 오디오 입출력단자는 밑면의 레거시포트 연결패드(240)에 연결된다. 이런 포트는 통상 바닥층에 연결되지만 필요하다면 I/O층을 관통할 수도 있다.
IO 허브(224)에 연결된 추가 모듈이 비디오컨트롤러(232)이다. 이 컨트롤러의 비디오메모리 RAM(233)에 디스플레이 페이지를 저장한다. 비디오컨트롤러 출력단(234)는 LCD 디지털 비디오인 LVDS나 아날로그 비디오인 DVI이다. 로컬 비디오출력이 필요하지 않으면, 바닥층에서 KVM 기능에 대한 인터페이스를 단순화하도록 비디오컨트롤러를 에뮬레이션할 수도 있다. 비디오출력은 레거시포트(240)를 통해 바닥층으로 보내진다. 강력한 비디오성능이 필요할수록, I/O 허브에 부착된 PCI 버스 대신 PCI-X 버스에서 비디오컨트롤러를 구현한다. 이런 종류의 구조에서는 비디오컨트롤러에서 호스트 메모리까지 더 좋은 그래픽 대역폭을 보장할 수 있다.
IO 허브(224)에 연결된 또다른 모듈은 USB 호스트컨트롤러(235)이다. 이 컨트롤러(235)는 키보드나 마우스와 같은 로컬이나 원격 USB 장치의 연결을 구현한다. 지원되는 USB 프로토콜(236)은 USB 1.1, 표준 USB 2.0 등이 있다. USB 포트도 레거시포트(240)에 연결되어 바닥층에 연결된다.
IO 허브(224)에 연결된 다른 모듈은 IDE 인터페이스(237)로서, 레거시포트(240)에 연결된다. 이 포트는 내부적으로 OS 부팅에 512MB 내지 10GB가 필요하다.
IO 허브(224)의 하류측 2개 버스인 PIN 카운트(LPC) 버스(227)과 PCI 버스(225) 역시 밑면의 연결패드(228,226)를 통해 연결된다.
PCI-X 버스(241,239)는 윗면의 연결패드(240,245)에서 레이어(220)를 통해 밑면의 연결패드(224,248)에 연결된다. 이런 64비트 버스는 일반적으로 133, 100, 66 MHz 전송주파수를 지원한다.
첫번째 버스(241)는 LAN 인터페이스 A(242)에 연결되고, LAN 인터페이스는 기가 LAN, MAC, RAM, 기타 물리적 레이어모듈인 것이 일반적이다. 필요하다면, 2차 LAN 인터페이스 B(246)를 추가할 수도 있다. 2개의 LAN 포트는 레이어 밑면의 연결패드(243,247)를 통해 바닥층의 LAN 케이블에 연결될 수 있다. I/O 층 내부의 고전력 절연모듈을 피하려면 바닥층에 LAN 필터링과 마그네틱 기능을 둔다.
스토리지 인터페이스 모듈(250)을 SATA, FC(Fiber Channel), 인피니밴드 또는 SCSI 원격디스크에 연결할 수도 있다. 스토리지 인터페이스 모듈(250)은 버퍼와 펌웨어 스토리지 지원을 위해 SRAM(249)을 구비할 수 있다.
이런 레이어 구조로 인해, 그 밑에 적층된 모든 레이어에 레거시포트, LAN, 스토리지, LPC, PCI, PCI-X 버스들이 통과해야 한다.
도 34는 18개 코어와 빌트인 리던던트 냉각파워와 LAN 스위치 모듈들이 구비된 3DMC 3U 랙 설치 서버(700)를 보여준다. 이 서버는 최대 128개 AMD Opteron 코어를 표준 19" 3U 랙 케이스에 설치하여 고집적 3DMC 기술을 선보인다.
각종 서버 부품들을 수용하는 금속케이스(704)가 정면패널(702)에 부착된다. 정면패널(702)과 서버케이스(704)는 표준 설치공(703)과 핸들(701)에 의해 표준 19" 랙에 설치된다. 레일 위에 18개의 3DMC(500)를 3열로 배열하고, 버스를 이용해 케이스(704) 뒷면의 모듈에 이들 3DMC를 연결한 다음, 착탈식 체결구를 이용해 추후 유지관리와 업그레이드가 쉽게 금속케이스에 고정한다.
4개의 볼트(308)를풀고 커버를 열면 필요한 3DMC를 정지시킨 다음 분리할 수 있다. 이를 설명하기 위해 도면에서는 임의의 3DMC(500a)의 레이어를 분리한 상태로 도시하였다.
유지관리와 업그레이드에 필요하다면, 서버내 일부 3DMC가 아직 동작중이라도 이를 정지시킨 다음 케이스(704)에 고정된 3DMC 바닥층의 플랜지(514)의 나사를 드라이버로 풀어 전체 3DMC를 분리할 수도 있다. 이 목적으로 내부구조를 노출시킨 3DMC의 위치(714)가 도면에 도시되어 있는바, 이곳에서 4개의 나사구멍(717)과 2개의 냉각파이프(715,716)와 인터페이스 버스(718)를 볼 수 있다. 냉매 피팅은 냉매누설을 최소화하기 위해 신속 분해결합 피팅을 사용한다.
케이스(704) 뒷면에 있는 여러개의 서비스모듈은 18개의 3DMC를 지원하기 위해 착탈식으로 부착되어있다. 전원(705)은 커넥터(712)를 통해 3DMC에 필요한 DC 전력을 공급하는데, 외부의 AC 전원으로 교체할 수도 있다. 냉각시스템 A 모듈(708)은 냉매를 모든 3DCM에 공급하는 채널을 제공한다. 두번째 냉각시스템 B 모듈(709)은 모든 3DMC에 냉매를 공급하는 두번째 채널을 제공한다. 이런 디자인이 고장극복 구조로서, 한쪽 채널이 고장나도 다른쪽 채널에서 냉매를 18개 3DMC에 공급할 수 있다.
24포트 1차 LAN 스위치(710)는 18개의 3DMC LAN을 외부에 연결할 수 있음은 물론, 첫번째 24 포트와 별도로나 함께 두번째 1차 LAN 접속을 지원할 2차 20개 포트를 제공할 수도 있다. 또, LAN 스위치는 3DMC의 관리 LAN의 추가 20개 포트를 지원하기도 한다. 이 기능은 파이버채널 스위칭을 지원하여 3DMC를 외부의 원격 저장장치에 연결할 수 있다. 분명한 것은 이런 기능들이 별도의 이중화 모듈에 의해 실행되어 시스템의 신뢰성과 성능을 향상시킨다는 것이다.
도 35는 주크박스처럼 구성된 다른 3DMC 4U 랙 설치 서버(750)를 보여준다. 이 서버는 40개의 코어와, 빌트인 리던던트 냉각파워와 LAN 스위치 모듈을 갖는다. 이 서버는 최대 320개 AMD Opteron 코어를 표준 19" 4U 랙 케이스에 설치하여 고집적 3DMC 기술을 선보이는데, 주크박스 구조에 설치되어 로봇헤드에 의해 반자동이나 전자동으로 고장난 레이어를 교체할 수 있다.
서버는 금속케이스(704), 표준 4U 치수를 갖는 금속패널(702), 설치공(703) 및 핸들(701)에 의해 표준 랙에 설치된다.
40개의 3DMC 모듈(500)이 한열에 8개씩 5열로 배열되고, 슬라이딩 브리지(734)에 설치된 로봇헤드(740)가 윗쪽에서 각각의 3DMC에 접근할 수 있다. 슬라이딩 브리지는 스테핑모터(723), 스크루(724) 및 슬라이딩 베어링(730,732)에 의해 Y축 방향으로 움직인다. 슬라이딩 베어링 때문에 슬라이딩 브리지는 2개의 좌측 레일(735)와 우측레일(737)을 따라 Y축 방향으로 자유롭게 움직인다. 슬라이딩 레일은 케이스(704)에 고정된다. 슬라이딩 브리지는 스테핑모터에 의해 움직이면서 각각의 3DMC 위에 위치한다. 브리지의 Y방향 이동은 스테핑모터(723)를 제어하는 컨트롤러(722)이 명령에 의한다. 스테핑모터는 스크루(724)를 회전시키고, 이 회전에 의해 브리지가 베어링을 통해 움직인다. 정확히 감지한 브리지의 위치를 2개 스테핑모터(723,725)를 제어하는 컨트롤러(722)에 보내 항상 적절한 위치를 피드백한다.
로봇헤드(740)의 움직임도 X축 스크루(726)를 회전시키는 스테핑모터(725)와 X축 스크루베어링(744)에 의해 비슷하게 이루어진다. 로봇헤드는 슬라이딩 브리지(734)의 레일을 따라 미끄러지면서 자유롭게 X축 방향으로 움직인다. 이런 움직임은 X축 스크루(726)를 회전시키는 스테핑모터(725)를 제어하는 컨트롤러(722)에 의한다. 슬라이딩 스크루(744)는 로봇헤드를 X축 방향으로 움직인다.
로봇헤드는 선택한 3DMC 위에 정확히 위치한다. 4개의 나사회전기(741)가 3DMC의 TCR 볼트(308)를 조이거나 푼다. 컨트롤러(722)의 명령에 의해, 로봇헤드가 유지관리나 업그레이드를 위해 3DMC 스택을 분해조립한다. 헤드가 우측으로 움직이면 스택 엘리베이터(742)를 사용해 스택을 언로드한다. 정면패널(702)에 고정된 레이어 슬롯(745)을 통해 레이어를 넣거나 뺄 수 있다. 고장난 레이어의 자동교체를 위해 스택 엘리베이터(742)에 스페어 레이어를 보관할 수 있다.
정면패널(702)에 부착된 인간-머신 인터페이스(743)는 모니터링을 하면서 특정 행위를 자동으로나 반자동으로 행한다.
도 35는 완벽한 서버의 평면도이고, 도 36a~c는 고장난 3DMC를 자동으로 제거하는 예를 보여주는 측면도이다. 먼저 원격으로 고장 3DMC의 작동을 멈추고, 스크루(726,724)로 로봇헤드(740)를 움직여 도 36a의 고장난 3DMC(775) 위에 위치시킨 다음, 2개의 스테핑모터(762)와 수직 스크루(765)를 이용해 헤드를 하강시켜 커 버를 벗겨낸다. 4개의 나사회전기(741)의 너트컵(741a)을 돌려 볼트(308)를 푼다.
도 36b를 보면, 2개의 수직 선형 액튜에이터(767)로 2개의 핀셋(766)을 내리면서 상황을 감시한다. 고장난 레이어의 수직 위치를 컴퓨터에서 계산한 다음, 액튜에이터(767)로 2개의 핀셋을 고장난 레이어(772) 밑으로 집어넣는다.
도 36b를 보면, 핀셋(766)을 적절히 움직인 다음, 스테핑모터(762)와 스크루(765)에 의해 로봇헤드가 상승하면서 스택을 TCR 위로 올린 뒤, 헤드가 옆으로 움직이면서 스택을 레이어 슬롯에 갖다놓고, 이곳에서 과정을 거꾸로 진행하되 고장난 최하단 레이어(772)는 놔둔다. 마찬가지 과정으로, 스택을 양호한 레이어 위에 놓고 레이어를 추가할 수 있다.
헤드와 2개 레이어 뱅크를 이용해, 모든 종류의 레이어를 자동으로 교환, 업그레이드 및 유지관리하는데 이 시스템을 이용할 수 있다.
원치않는 레이어를 빼낸 스택을 엘리베이터(742a)에 보관하고 고장난 레이어는 슬롯(745)을 통해 빼낸다. 사용자가 교환할 레이어를 슬롯에 넣기를 기다려 반대 과정으로 진행하면서 스택을 재조립한다.
헤드 컨트롤러에 자동 동작을 프로그램하여 고장이 발견된 경우 로봇헤드로 고장난 레이어를 자동으로 교환할 수 있다. 이런 특징은 서버의 자동 자체수리가 가능하다. 이런 특징은 원격으로 데이터센터를 관리하는데 바람직하다.
도 37은 3DMC 냉각시스템(900)의 개략도이다. 본 발명에서는 설계상 예비구성이 전혀 없는 단독시스템을 기본으로 한다.
냉각수를 포함한 냉매(512a)가 신속분리 피팅(513)을 통해 3DMC(500)에 들어 가면, TCR로 전달된 열에 의해 바닥층 내부나 바로 밑에서 냉매 온도가 상승한다. 더워진 냉매(516)는 동일 피팅(513)을 통해 3DMC를 나가 파이프를 거쳐 라디에이터(905)로 들어가고, 이곳에서 전기모터(907)에 연결된 송풍기(910)에 의해 찬 공기(912)와 만난다. 공기(912)는 냉매에서 열을 빼앗아 온도가 상승한다. 라디에이터(905)를 나간 찬 냉매는 용기(903)를 지나는데, 이곳에서 시스템내 냉매 레벨과 압력이 일정하게 유지된다. 용기는 기포가 생길 위험을 줄이기도 한다. 전기펌프(915)를 통과하면서 고압저온으로 된 냉매(512)가 다시 3DMC로 들어가, 완전한 폐쇄사이클을 형성한다.
워터사이클과 히트파이프를 이용해 열을 제거하는 냉각시스템의 사양은 아래와 같다:
사이클 전 수온: 12℃
사이클 뒤 수온: 18℃
수압손실 : 0.5바
수량: 0.01 리터/초
입구 수압 : 6바
도 38은 2개의 3DMC를 지원하는 다른 냉각시스템(514)의 개략도이다. 여기서도 도 37의 실시예와 마찬가지로 싱글 사이클을 기반으로 하되 입구 매니폴드(922)와 출구 매니폴드(920)를 추가했다. 매니폴드를 추가함으로써 3DMC를 한개 이상 병렬로 연결할 수 있다.
레이어에 미치는 열응력을 피하려면, 3DMC 각각에나 CPU층 각각에 조절밸브 를 추가하는 것이 좋다. 조절밸브는 냉매 유량을 조절하여 열 흡수량에 변화를 준다.
도 39는 2개의 3DMC(500c~d)를 냉각하기 위해 2개 냉매 사이클(514a~b)을 채택하는 다른 냉각시스템의 개략도이다. 좌측 3DMC(500d)는 피팅(518d)을 통해 하부 냉각시스템(514b)으로부터 냉매를 받으면서, 다른 피팅(513d)을 통해서는 다른 냉매시스템(514a)에서 냉매를 받는다. 우측 3DMC(500c)는 피팅(518c)을 통해 하부 냉각시스템(514b)으로부터 냉매를 받으면서, 다른 피팅(513c)을 통해서는 다른 냉매시스템(514a)에서 냉매를 받는다.
이 시스템은 2개의 3DMC의 동작을 한개의 냉각시스템만으로도 충분히 냉각할 수 있도록 설계되었다. 송풍기와 전기모터(907a~b)를 통과하는 공기(912a~b)의 유속을 변화시켜 냉각용량을 조절할 수 있다. 펌프(915a~b)의 속도로 냉각용량을 조절할 수도 있다.
도 40은 도 37의 냉각시스템(900)과 비슷하지만 냉매회로가 2개(921,919)인 냉각시스템(918)의 개략도이다.
냉매는 파이프(512s)와 피팅(513)을 통해 3DMC(500)에 들어간다. TCR에서 열을 흡수해 더워진 냉매는 동일 피팅(513)을 통해 3DMC를 나가 2차 고온파이프(516s)에 들어간 다음, 열교환기(517)로 들어가 1차 냉각회로의 냉매에 열을 방출한다. 1차 냉각회로에서는 더 차가운 냉매를 열교환기(517)에 보내고, 이 냉매는 1차 냉각회로의 고온파이프(516p)를 통과하면서 따뜻해져 열교환기(905p)로 들어간다. 이곳에서 주변 공기(912p)에 열을 방출한 냉매는 1차 냉각회로의 냉각펌 프(915p)에 의해 다시 열교환기(517)로 펌핑된다. 1, 2차 냉각회로의 냉매는 보통 물이다. 물에 부동액을 30%까지 섞을 수 있다.
냉각회로를 2개로 별도로 운용하면 3DMC 랙을 표준 빌딩냉각회로에 연결할 수 있다. 1차 빌딩 냉각회로(921; 보통 냉각수를 사용하고 외부 열교환기에 연결됨)와 3DMC(500)에 연결된 2차 냉각회로를 열교환기(517)로 연결하면, 양쪽 냉각회로의 압력, 유량, 온도, 냉매를 각각 별도로 운용할 수 있다. 이런 별도의 회로운용은 아래와 같은 이유로 바람직하다:
- 빌딩의 에어컨 시스템과 같은 기존의 냉각체계를 이용
- 고장대비 냉각시스템
- 3DMC의 작동변수 제어 용이
- 공기-물 냉각법에 비해 효율이 훨씬 높음
- 회로 분리로 인해 오염우려 감소
- 2차회로의 온도와 유량제어로 인해 냉각측의 응축 우려 감소
- 1차회로의 대형화로 인해 열흡수성 개선.
도 41은 3DMC 적층과정의 순서도이다. 사용자가 3DMC 스택에서 커버층을 벗겨내는 것으로 시작한다(1002). 이어서, 첫번째 I/O 층을 추가한다(1004). 경우에 따라서는 I/O층을 추가하기 전에 먼저 바닥층이나 전원층을 추가할 수도 있다. 다음, 첫번째 CPU층을 추가하고(1007), 이어서 메모리층을 추가하며(1008), 최종 메모리층을 추가한다(1010). 마지막 3단계를 반복하면서 여러개의 CPU층 스택을 조립한다. 다음, 필요하다면 빈 레이어를 추가하여 커버층까지 채운다(1012).
다음, 커버층을 추가하고(1014), 시동전력을 인가한다(1016). 이어서, 4개의 TCR 볼트를 조인다(1018). 스택을 제대로 고정한 뒤, 원격관리시스템을 통해 스택의 내용, 레이어 호환성, 전력특성, 레이어 연결상태, 자체 테스트 상태와 같은 상세정보를 받는다(1022).
과정이 성공적으로 완료되면, 조립이 승인되었고 전체 3DMC 시동과정을 개시했음을 관리시스템에서 사용자에게 통보한다(1025).
시동이 성공되었으면, 이를 사용자에게 통보하고 3DMC가 작동한다.

Claims (191)

  1. 레이어들이 병렬로 적층된 3DMC(3-dimensional multi-layered modular computer) 장치에 있어서:
    각종 데이터처리를 행하는 CPU;
    상기 CPU의 동작에 필요한 데이터를 임시로 저장하는 휘발성 메모리;
    통신을 위한 I/O 인터페이스;
    관리수단; 및
    다른 부분들에 전력을 공급하는 전원;을 포함하고,
    상기 병렬 레이어들이 전기적으로 연결되어 컴퓨팅 장치를 생성하는 것을 특징으로 하는 3DMC 장치.
  2. 제1항에 있어서, 상기 CPU가 CPU층에 제공되는 것을 특징으로 하는 3DMC 장치.
  3. 제2항에 있어서, 상기 메모리가 CPU층에 집적되는 것을 특징으로 하는 3DMC 장치.
  4. 제1항에 있어서, 상기 메모리가 별도의 메모리층에 제공되는 것을 특징으로 하는 3DMC 장치.
  5. 제1항에 있어서, 다른 층들을 구조적으로 지지하는 바닥층을 더 포함하는 것을 특징으로 하는 3DMC 장치.
  6. 제5항에 있어서, 상기 바닥층이 상기 관리수단을 포함하는 것을 특징으로 하는 3DMC 장치.
  7. 제5항에 있어서, 상기 바닥층이 상기 전원을 포함하는 것을 특징으로 하는 3DMC 장치.
  8. 제1항에 있어서, 상기 전원이 별도의 층에 배열되는 것을 특징으로 하는 3DMC 장치.
  9. 제1항에 있어서, 레이어의 양쪽 표면에 배열된 전기접속부를 통해 버스와 레이어들을 서로 연결해 레이어들을 적층하는 것을 특징으로 하는 3DMC 장치.
  10. 제1항에 있어서, 싱글 프로세서 컴퓨팅 장치, 하나 이상의 CPU가 CPU층에 포함되어 있는 멀티프로세서 컴퓨팅장치 또는 CPU층이 하나 이상인 멀티프로세서 컴퓨팅장치와 같은 컴퓨팅장치로 작동하는 것을 특징으로 하는 3DMC 장치.
  11. 제1항에 있어서, 상기 I/O 인터페이스가 CPU와 외부저장시스템 사이를 인터페이스하는 것을 특징으로 하는 3DMC 장치.
  12. 제1항에 있어서, 상기 I/O 인터페이스가 CPU층과 외부 네트웍 리소스 사이를 인터페이스하는 것을 특징으로 하는 3DMC 장치.
  13. 제1항에 있어서, 상기 I/O 인터페이스가 CPU층과 외부 CPU 사이를 인터페이스하는 것을 특징으로 하는 3DMC 장치.
  14. 제1항에 있어서, 레이어에서 냉각시스템으로 열을 분산시키는 요소를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  15. 제14항에 있어서, 상기 요소가 TCR(Thermal Conductive Rod)이고, TCR은 레이어에 생긴 열을 냉각시스템에 보내도록 레이어에 열결합되는 것을 특징으로 하는 3DMC 장치.
  16. 제15항에 있어서, 상기 TCR이 레이어 표면에 수직으로 레이어 소자들과 접촉해 레이어에 열결합되는 것을 특징으로 하는 3DMC 장치.
  17. 제16항에 있어서, 상기 TCR이 레이어 구조를 관통하여 레이어에 열결합되는 것을 특징으로 하는 3DMC 장치.
  18. 제5항 또는 제16항에 있어서, 상기 TCR이 바닥층에 열적으로 및 기계적으로 결합되는 것을 특징으로 하는 3DMC 장치.
  19. 제16항에 있어서, 상기 TCR이 외부 구조물에 열적으로 및 기계적으로 결합되는 것을 특징으로 하는 3DMC 장치.
  20. 제15항에 있어서, 상기 TCR이 적층된 레이어에 DC 전력을 공급하는 것을 특징으로 하는 3DMC 장치.
  21. 제15항에 있어서, 상기 TCR이 레이어에서 생긴 열을 냉각시스템에 보내도록 내부에 열전도 유체나 고체가 있도록 구성되는 것을 특징으로 하는 3DMC 장치.
  22. 제15항에 있어서, 상기 TCR이 내부에 양방향으로 유체가 흐르도록 동축 열전도 배관을 갖도록 구성되는 것을 특징으로 하는 3DMC 장치.
  23. 제15항에 있어서, 상기 TCR이 레이어의 찬 쪽에서부터 레이어를 통과하여 레이어의 따뜻한 쪽으로 유체를 순환시키도록 구성된 것을 특징으로 하는 3DMC 장치.
  24. 제15항에 있어서, 상기 TCR이 스테인리스스틸이나 동으로 된 중공 파이프이고, 중공 파이프 안에 물, 암모니아, 메탄올, 리튬, 세슘, 포타슘, 소디움과 같은 단열 열전도 유체의 냉매가 흐르는 것을 특징으로 하는 3DMC 장치.
  25. 제15항에 있어서, 상기 TCR의 내벽면이 액상 냉매에 모세관 현상을 가하는 윅(wick) 표면을 갖고, 상기 윅 구조가 홈, 스크린, 케이블/섬유 또는 소결분말금속으로 된 것을 특징으로 하는 3DMC 장치.
  26. 제15항에 있어서, 레이어 4 모서리에 하나씩 총 4개의 TCR을 갖는 것을 특징으로 하는 3DMC 장치.
  27. 제15항에 있어서, 상기 TCR에 접촉하여 레이어와 칩으로부터 TCR로의 열전도를 개선하는 열전도 슬리이브가 레이어에 형성된 것을 특징으로 하는 3DMC 장치.
  28. 제27항에 있어서, 상기 레이어에 분산된 열을 열전도 슬리이브를 통해 TCR에 보내도록 열결합된 표면이 레이어 내부에 있는 것을 특징으로 하는 3DMC 장치.
  29. 제15항에 있어서, TCR의 크기나 형상이 레이어의 호전을 방지하는 기계적 보호구 역할을 하는 것을 특징으로 하는 3DMC 장치.
  30. 제1항에 있어서, 로컬부팅, 운용시스템의 로딩 또는 로컬 데이터저장을 위한 비휘발성 메모리를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  31. 제30항에 있어서, 상기 비휘발성 메모리가 플래시메모리, 하드디스크, 전기광학 저장장치 또는 ROM인 것을 특징으로 하는 3DMC 장치.
  32. 제1항에 있어서, 로컬부팅, 운용시스템의 로딩 또는 로컬 데이터저장을 위한 비휘발성 메모리를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  33. 제32항에 있어서, 상기 비휘발성 메모리가 플래시메모리, 하드디스크, 전기광학 저장장치 또는 ROM인 것을 특징으로 하는 3DMC 장치.
  34. 제1항에 있어서, 모든 적층 레이어에 구조적 압력을 가하는 커버층을 더 포함하는 것을 특징으로 하는 3DMC 장치.
  35. 제34항에 있어서, 상기 커버층이 수동이나 능동 신호단자를 갖는 것을 특징으로 하는 3DMC 장치.
  36. 제34항에 있어서, 상기 커버층이 신호와 버스를 루프백하는 버스 연결부를 갖는 것을 특징으로 하는 3DMC 장치.
  37. 제34항에 있어서, 상기 커버층이 장치의 구조에 커버층을 고정하기 위한 체결구를 통해 레이어에 균일한 압력을 가하는 것을 특징으로 하는 3DMC 장치.
  38. 제34항에 있어서, 상기 커버층이 커버층을 다른 층에 고정하기 위한 체결볼트나 나사를 포함하는 것을 특징으로 하는 3DMC 장치.
  39. 제34항에 있어서, 상기 커버층이 장치의 잘못된 분리를 표시하는 표시부를 포함하는 것을 특징으로 하는 3DMC 장치.
  40. 제34항에 있어서, 상기 커버층이 적층하는 동안 커버층이 다른 모든 레이어에 균일한 압력을 가하도록 하는 수단을 포함하는 것을 특징으로 하는 3DMC 장치.
  41. 제40항에 있어서, 상기 수단이 체결구를 동시에 회전시키는 나사휠을 포함하는 것을 특징으로 하는 3DMC 장치.
  42. 제34항에 있어서, 상기 커버층이 장치에 생긴 열을 주변 공기로 전달하는 열분산 수단을 포함하는 것을 특징으로 하는 3DMC 장치.
  43. 제1항에 있어서, 레이어에 정확한 클록주파수 신호를 제공하는 클록발생기를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  44. 제43항에 있어서, 상기 클록발생기를 관리수단으로 프로그램하는 것을 특징으로 하는 3DMC 장치.
  45. 제43항에 있어서, 상기 클록발생기의 클록지연이나 위상시프트를 조절하여 레이어의 스택내 위치와 길이를 지정하는 것을 특징으로 하는 3DMC 장치.
  46. 제1항에 있어서, 클록발생기, PLL(Phase Locked Loop) 또는 특정 레이어의 클록신호를 국부적으로 구동하는 클록 디바이더를 갖는 레이어를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  47. 제1항에 있어서, 상기 관리수단이 아래 기능을 실행하는 관리컴퓨터를 포함하는 것을 특징으로 하는 3DMC 장치.
    - 시스템 레이어 편집;
    - 초기 구성;
    - 시스템 빌트인 테스트;
    - 시스템 파워업;
    - 시스템 부팅;
    - 시스템 리부팅; 및
    - 파워다운.
  48. 제47항에 있어서, 관리컴퓨터와 다른 층의 회로 사이의 데이터교환이 연결층을 통해 라우팅되는 전용 SMB(System Management Bus)를 통해 이루어지는 것을 특징으로 하는 3DMC 장치.
  49. 제47항에 있어서, 상기 관리컴퓨터가 PXE나 NETBIOS와 같은 프로토콜을 사용해 원격으로 시스템을 부팅하는 것을 특징으로 하는 3DMC 장치.
  50. 제47항에 있어서, 상기 관리컴퓨터, 관리네트웍 인터페이스, 연결된 SMB 및연결된 센서가 별도로 독립 전원의 전력공급을 받고, 이 전원은 1차 전원이 꺼졌을 때에도 작동하는 것을 특징으로 하는 3DMC 장치.
  51. 제47항에 있어서, 다수의 레이어구조와 새로운 레이어에 맞게 상기 관리컴퓨터가의 펌웨어를 개조할 수 있는 것을 특징으로 하는 3DMC 장치.
  52. 제47항에 있어서, 상기 관리컴퓨터가 동작의 안정성 개선을 위한 감시기능을 수행하는 것을 특징으로 하는 3DMC 장치.
  53. 제47항에 있어서, 상기 관리네트웍을 통해 원격으로 관리컴퓨터에 펌웨어를 설치, 관리 및 로딩하는 것을 특징으로 하는 3DMC 장치.
  54. 제47항에 있어서, 상기 관리컴퓨터가 로컬 부팅디스크나 휘발성메모리에 원격으로 소프트웨어를 로딩할 수 있도록 로컬 플로피디스크, CD 또는 DVD를 에뮬레이션하는 것을 특징으로 하는 3DMC 장치.
  55. 제47항에 있어서, 상기 관리컴퓨터가 3DMC 시스템 BIOS로 기능하는 ROM 에뮬레이터를 포함하는 것을 특징으로 하는 3DMC 장치.
  56. 제47항에 있어서, 상기 관리컴퓨터가 3DMC 장치에 정확한 시간과 날짜 정보를 제공하는 RTC(Real Time Clock) 회로를 갖는 것을 특징으로 하는 3DMC 장치.
  57. 제56항에 있어서, 상기 RTC가 뱉리나 수퍼커패시터와 같은 내부 전원장치로 작동되는 것을 특징으로 하는 3DMC 장치.
  58. 제47항에 있어서, 상기 CPU와 외부 비디오 디스플레이 사이의 인터페이스를 담당하는 비디오컨트롤러를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  59. 제58항에 있어서, 상기 비디오컨트롤러가 3DMC 장치에 대해 원격관리를 하도록 KVM과 인터페이스하는 것을 특징으로 하는 3DMC 장치.
  60. 제58항에 있어서, 상기 비디오컨트롤러가 3DMC 장치에 대해 원격관리를 하도록 KVM과 통합되는 것을 특징으로 하는 3DMC 장치.
  61. 제1항에 있어서, TCP/IP를 통해 원격으로 비디오 디스플레이 영상을 압축캡처하고 관리하는 비디오컨트롤러 에뮬레이터를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  62. 제1항에 있어서, 외부 키보드 연결을 위한 키보드 컨트롤러를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  63. 제1항에 있어서, 레거시 x86 컨트롤러를 에뮬레이션하고 KVM 기능을 통해 원격으로 키보드를 관리하는 키보드컨트롤러 에뮬레이터를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  64. 제1항에 있어서, 외부 키보드 마우스 또는 다른 호환성 주변기기의 연결을 하거나 내외부 KVM과 함께 사용되는 USB(Universal Serial Bus) 호스트 컨트롤러를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  65. 제5항에 있어서, 상기 전원을 바닥층에 내장하는 것을 특징으로 하는 3DMC 장치.
  66. 제1항에 있어서, 상기 전원을 전용 전원층에 내장하는 것을 특징으로 하는 3DMC 장치.
  67. 제1항에 있어서, 상기 전원을 다른 층에 내장하는 것을 특징으로 하는 3DMC 장치.
  68. 제1항에 있어서, 상기 전원이 VID(Voltage Identification Definition) 코드나 VRM과 같은 표준 CPU 인터페이스나 다른 동의된 인터페이스를 이용해 DA(digital to analog) 컨버터를 통해 CPU 레이어에 의해 제어되는 프로그래머블 CPU 전원을 더 포함하는 것을 특징으로 하는 3DMC 장치.
  69. 제68항에 있어서, 상기 프로그래머블 CPU 전원이 관리컴퓨터로부터 전압설정값과 같은 초기 설정값과 변수를 받는 것을 특징으로 하는 3DMC 장치.
  70. 제68항에 있어서, 상기 프로그래머블 CPU 전원이 다수의 VID 테이블을 갖는데, 이 테이블은 내부 DA 변환을 이용하는 다수의 프로세서를 위해 원격으로 로딩되는 것을 특징으로 하는 3DMC 장치.
  71. 제1항에 있어서, 상기 전원이 DC 전압을 필요로 하는 다른 소자에 전력을 공급하는 고정식 프로그래머블 전원을 더 포함하는 것을 특징으로 하는 3DMC 장치.
  72. 제1항에 있어서, 상기 전원이 아날로그나 디지털 PWM 컨트롤러로 2개 이상의 동기 위상을 제어하는 멀티위상 컨버터를 더 포함하는 것을 특징으로 하는 3DMC 장치.
  73. 제1항에 있어서, 국부적으로나 원격으로 열변수와 전력변수를 리포트하고 로깅하도록 상기 관리수단이 전원을 감시하는 것을 특징으로 하는 3DMC 장치.
  74. 제15항에 있어서, 상기 TCR중의 하나를 전력복귀 도체로 사용하고 나머지 3개 TCR은 3개의 프로그래머블 전원에 각각 연결되는 전력도체로 사용해 레이어마다 다른 DC 전압을 공급하도록 하는 것을 특징으로 하는 3DMC 장치.
  75. 제15항에 있어서, 모든 레이어에 동일한 압력을 가하도록 장력을 감지하는 스트레인게이지를 상기 관리컴퓨터에 연결하는 것을 특징으로 하는 3DMC 장치.
  76. 3DMC 장치;
    전원;
    냉각시스템;
    관리수단;을 포함하는 것을 특징으로 하는 3DMC 기반 서버.
  77. 제76항에 있어서, 바닥면에 착탈 가능하게 3DMC가 여러 열로 배열된 것을 특징으로 하는 3DMC 기반 서버.
  78. 제77항에 있어서, 상기 바닥면이 3DMC의 TCR(Thermal Conductive Rod)에 열적으로 기계적으로 결합된 것을 특징으로 하는 3DMC 기반 서버.
  79. 제76항에 있어서, 3DMC LAN 인터페이스에 LAN 스위치가 연결된 것을 특징으로 하는 3DMC 기반 서버.
  80. 제76항에 있어서, 예비 냉각시스템을 더 포함하는 것을 특징으로 하는 3DMC 기반 서버.
  81. 제76항에 있어서, 3DMC를 자동으로 적층했다가 분해할 수 있는 제어 헤드가 서버의 케이스에 설치되는 것을 특징으로 하는 3DMC 기반 서버.
  82. 3DMC에 사용할 수 있고, 양쪽 대형 표면을 갖는 적층형 레이어에 있어서:
    캡슐화된 칩;
    레이어의 한쪽 표면에 있는 전기접점; 및
    레이어의 다른쪽 표면에 있는 전기접점;을 포함하고,
    상기 칩과 양쪽 표면이 평행한 것을 특징으로 하는 적층형 레이어.
  83. 제82항에 있어서, 상기 칩을 금속 본딩와이어를 사용해 기판에 전기적으로 연결하는 것을 특징으로 하는 적층형 레이어.
  84. 제82항에 있어서, 기판에 있는 소형 금속범프(bump)를 칩 표면의 패드에 일치되게 결합하는 플립칩(flip-chip 기술)을 이용해 칩을 기판에 전기적으로 연결하는 것을 특징으로 하는 적층형 레이어.
  85. 제82항에 있어서, 것을 특징으로 하는 적층형 레이어.
  86. 제82항에 있어서, 상기 칩 외에 능동이나 수동 소자를 더 포함하는 것을 특징으로 하는 적층형 레이어.
  87. 제82항에 있어서, 전력 잡음을 여과하고 공급전력을 저장하는 전해질 커패시터나 세라믹 커패시터를 더 포함하는 것을 특징으로 하는 적층형 레이어.
  88. 제82항에 있어서, 상기 칩이 밀봉수지에 의해 캡슐화되어 제조과정중에 보호되는 것을 특징으로 하는 적층형 레이어.
  89. 제82항에 있어서, 세라믹, 알루미나, 플라스틱과 같은 절연재로 이루어지는 것을 특징으로 하는 적층형 레이어.
  90. 제82항에 있어서, 칩, 레이어 소자 및 연결패드를 연결하기 위한 전도체와 비아를 갖는 하부 레이어들을 더 포함하는 것을 특징으로 하는 적층형 레이어.
  91. 제82항에 있어서, 레이어의 종류와 작동변수들을 읽도록 메모리가 회로에 연결되어 있는 것을 특징으로 하는 적층형 레이어.
  92. 제82항에 있어서, 레이어 소자의 작동온도를 감지하는 열센서를 더 포함하는 것을 특징으로 하는 적층형 레이어.
  93. 제92항에 있어서, 상기 열센서가 온다이(on-die) 열다이오드(thermal diode)인 것을 특징으로 하는 적층형 레이어.
  94. 제82항에 있어서, 과열상태에서 레이어를 보호하는 열트립(thermal trip)을 더 포함하는 것을 특징으로 하는 적층형 레이어.
  95. 제82항에 있어서, 동작하는 도중이나 동작 전에 데이터를 테스트하는 자가테 스트 기능을 갖는 것을 특징으로 하는 적층형 레이어.
  96. 제95항에 있어서, 상기 자가테스트 기능이 특정 칩 기능과 I/O 연결상태 테스트를 지원하고 경계스캔, NAND 트리 및 JTAG와 같은 방법으로 실행되는 것을 특징으로 하는 적층형 레이어.
  97. 제82항에 있어서, 빛에 관한 통신을 할 수 있는 광로를 더 포함하는 것을 특징으로 하는 적층형 레이어.
  98. 제82항에 있어서, 섬유, 광파이프를 통해 다른 레이어나 외부장치와 통신하는 광 송신기와 수신기를 더 포함하는 것을 특징으로 하는 적층형 레이어.
  99. 제82항에 있어서, 레이어를 적층하는 동안 레이어의 부적절한 회전을 방지하는 기계적 수단을 갖는 것을 특징으로 하는 적층형 레이어.
  100. 제82항에 있어서, 레이어의 적층상태가 뒤집히는 것을 방지하는 수단을 더 갖는 것을 특징으로 하는 적층형 레이어.
  101. 제82항에 있어서, 레이어의 종류를 확인하고 적층상태를 눈으로 확인하는데 레이어 컬러코드를 사용하는 것을 특징으로 하는 적층형 레이어.
  102. 제82항에 있어서, 레이어의 높이가 표준높이 H를 2H, 4H 등의 정수배와 1/2H, 1/4H 등의 분수로 표시할 수 있는 것을 특징으로 하는 적층형 레이어.
  103. 제82항에 있어서, 인접 레이어 사이의 전기접점이 서로 결합하는 핀과 소켓 쌍으로 이루어지는 것을 특징으로 하는 적층형 레이어.
  104. 제82항에 있어서, 인접 레이어 사이의 전기접점이 한쪽층의 금속패드와 다른쪽 층의 탄성 금속접점으로 이루어지는 것을 특징으로 하는 적층형 레이어.
  105. 제82항에 있어서, 바닥층과 커버층을 제외한 레이어의 양쪽 표면에 레이어를 서로 연결하기 위한 전기접점 어레이가 있는 것을 특징으로 하는 적층형 레이어.
  106. 제82항에 있어서, 레이어 표면에 금, 니켈 또는 주석으로 코팅된 패드가 있어 장기간의 접촉 신뢰성을 확보하는 것을 특징으로 하는 적층형 레이어.
  107. 제82항에 있어서, 아래와 같은 단계를 통해 제작되는 것을 특징으로 하는 적층형 레이어.
    - 하부레이어에 금속선, 패드 및 비아를 형성하는 단계;
    - 플립칩 와이어본딩 기술로 레이어에 칩을 조립;
    - 범프를 이용해 2층의 레이어를 연결하는 단계; 및
    - 레이어를 테스트하는 단계.
  108. 3DMC에 사용할 수 있는 적층형 메모리층에 있어서:
    캡슐화된 칩;
    제어수단;
    메모리층의 한쪽 표면에 있는 전기접점; 및
    메모리층의 다른쪽 표면에 있는 전기접점;을 포함하고,
    상기 칩과 양쪽 표면이 평행한 것을 특징으로 하는 적층형 메모리층.
  109. 제108항에 있어서, 상기 제어수단이 적층된 메모리층들을 적절히 구성케하는 메모리기능을 수행하는 것을 특징으로 하는 적층형 메모리층.
  110. 제108항에 있어서, 내부 메모리 제어신호가 자동으로 다른 레이어를 감지하여 적절한 메모리값을 설정하는 것을 특징으로 하는 적층형 메모리층.
  111. 제108항에 있어서, CPU/IO 버스와 같은 고속버스를 더 포함하는 것을 특징으로 하는 적층형 메모리층.
  112. 제108항에 있어서, 것을 특징으로 하는 적층형 메모리층.
  113. 제108항에 있어서, 데이터 보전도 개선을 위해 올바른 신호나 비트에러를 검출하는 ECC(Error Correction Code) 기능을 지원하는 것을 특징으로 하는 적층형 메모리층.
  114. 제108항에 있어서, 데이터 보전도 개선을 위해 스크러빙(scrubbing) 기능을 지원하는 것을 특징으로 하는 적층형 메모리층.
  115. 제108항에 있어서, 데이터 보전도 개선을 위해 칩킬(Chip Kill) 기능을 지원하는 것을 특징으로 하는 적층형 메모리층.
  116. 제108항에 있어서, CPU를 다수기 지원하기 위해 다수의 메모리뱅크를 더 포함하는 것을 특징으로 하는 적층형 메모리층.
  117. 제108항에 있어서, 메모리층이 인쇄회로기판에 적층되는 것을 특징으로 하는 적층형 메모리층.
  118. 3DMC에 사용할 수 있는 적층형 CPU층에 있어서:
    캡슐화된 CPU 코어칩;
    CPU층 한쪽 표면의 전기접점; 및
    CPU층의 다른쪽 표면의 전기접점;을 포함하고,
    상기 CPU 코어칩과 양쪽 표면이 평행한 것을 특징으로 하는 적층형 CPU층.
  119. 제118항에 있어서, CPU 코어가 하나의 다이에 위치하는 것을 특징으로 하는 적층형 CPU층.
  120. 제118항에 있어서, 서로 연결된 다이에 CPU 코어가 위치하는 것을 특징으로 하는 적층형 CPU층.
  121. 제118항에 있어서, CPU 코어와 외부메모리 사이를 인터페이스하는 메모리컨트롤러를 더 포함하는 것을 특징으로 하는 적층형 CPU층.
  122. 제119항, 제120항 또는 제121항에 있어서, 상기 CPU 코어가 CPU층에 집적된 전용 메모리컨트롤러에 연결된 것을 특징으로 하는 적층형 CPU층.
  123. 제118항에 있어서, 다른 CPU 코어에 연결되는 고속 CPU-CPU 연결버스를 더 포함하는 것을 특징으로 하는 적층형 CPU층.
  124. 제118항에 있어서, I/O 리소스에 연결되는 고속 CPU-IO 연결버스를 더 포함하는 것을 특징으로 하는 적층형 CPU층.
  125. 제123항 또는 제124항에 있어서, 상기 연결버스가 저지연 고속 LVDS(Low-Voltage Differential Signaling) 기술을 이용하는 것을 특징으로 하는 적층형 CPU층.
  126. 제125항에 있어서, 상기 연결버스가 HT(HyperTransport) 기술을 이용하는 것을 특징으로 하는 적층형 CPU층.
  127. 제126항에 있어서, 다른 CPU 코어와 I/O 리소스에 효과적으로 연결되는 HT 브리지를 더 포함하는 것을 특징으로 하는 적층형 CPU층.
  128. 제118항에 있어서, 공유 FSB(Front Side Bus) CPU-CPU 연결버스를 더 포함하는 것을 특징으로 하는 적층형 CPU층.
  129. 제127항 또는 제128항에 있어서, 상기 연결버스가 인피니밴드(InfiniBand) 기술을 이용하는 것을 특징으로 하는 적층형 CPU층.
  130. 제118항에 있어서, 캐시(cache)를 더 포함하는 것을 특징으로 하는 적층형 CPU층.
  131. 제130항에 있어서, 상기 캐시가 L1 타입 캐시인 것을 특징으로 하는 적층형 CPU층.
  132. 제130항에 있어서, 상기 캐시가 L2 타입 캐시인 것을 특징으로 하는 적층형 CPU층.
  133. 제130항, 제131항 또는 제132항에 있어서, 상기 캐시가 플랫폼 동작의 신뢰도와 데이터 보전도 개선을 위해 패리티검사(parity check) 기능을 갖는 것을 특징으로 하는 적층형 CPU층.
  134. 제130항, 제131항 또는 제132항에 있어서, 상기 캐시가 플랫폼 동작의 신뢰도와 데이터 보전도 개선을 위해 ECC(Error Correction Code) 기능을 갖는 것을 특징으로 하는 적층형 CPU층.
  135. 제118항에 있어서, CPU층이 레거시 32비트 x86 CPU 코어구조를 기반으로 하는 것을 특징으로 하는 적층형 CPU층.
  136. 제118항에 있어서, CPU층이 64비트 CPU 구조를 기반으로 하는 것을 특징으로 하는 적층형 CPU층.
  137. 제136항에 있어서, 상기 64비트 CPU 구조가 레거시 32비트도 운용할 수 있는 것을 특징으로 하는 적층형 CPU층.
  138. 제118항에 있어서, 공급된 코어전압을 적절한 레벨로 맞추기 위해 CPU VID(Voltage Identification Definition) 회로를 더 포함하는 것을 특징으로 하는 적층형 CPU층.
  139. 제118항에 있어서, 전원이 승인한 성능과 정확도를 내기 위해 CPU 다이전압 피드백 신호를 생성하는 것을 특징으로 하는 적층형 CPU층.
  140. 3DMC에 사용할 수 있는 적층형 I/O층에 있어서:
    캡슐화된 I/O 칩;
    IO층 한쪽 표면의 전기접점; 및
    IO층의 다른쪽 표면의 전기접점;을 포함하고,
    상기 I/O 칩과 양쪽 표면이 평행한 것을 특징으로 하는 적층형 I/O층.
  141. 제140항에 있어서, PCI, PCI-X, 고속버스, 인피니밴드와 같은 다른 버스와의 연결을 위한 HT 터널을 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  142. 제141항에 있어서, 외부 네트웍과의 통신을 위해 이더넷 LAN 컨트롤러에 연 결되는 PCI-X 버스나 고속버스를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  143. 제141항에 있어서, 외부 네트웍이나 저장장치와의 통신을 위해 광섬유 네트웍 컨트롤러에 연결되는 PCI-X 버스나 고속버스를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  144. 제141항에 있어서, 외부 SCSI 디스크와의 통신을 위해 SCSI 디스크 컨트롤러에 연결되는 PCI-X 버스나 고속버스를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  145. 제141항에 있어서, 외부 IDE 디스크와의 통신을 위해 IDE 디스크 컨트롤러에 연결되는 PCI-X 버스나 고속버스를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  146. 제141항에 있어서, 외부 SATA 디스크와의 통신을 위해 SATA 디스크 컨트롤러에 연결되는 PCI-X 버스나 고속버스를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  147. 제141항에 있어서, 외부의 예비 디스크어레이와의 통신을 위해 RAID 디스크 컨트롤러에 연결되는 PCI-X 버스나 고속버스를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  148. 제141항에 있어서, 외부 저장장치와의 연결을 위해 파이버 채널(Fiber Channel) 컨트롤러에 연결되는 PCI-X 버스나 고속버스를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  149. 제140항에 있어서, PCI, LPC, AC-97, USB, ISA 버스와 같은 레거시버스와 인터페이스하는 HT 케이브를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  150. 제140항에 있어서, 외부 USB 장치를 연결하거나 KVM 기능을 통해 원격으로 조정하도록 PCI USB 호스트 컨트롤러를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  151. 제140항에 있어서, 외부 오디오장치를 연결하거나 KVM 기능을 통해 원격으로 조정하도록 PCI 오디오 코덱을 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  152. 제140항에 있어서, 다른 리소스와의 무선통신을 위해 무선 LAN을 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  153. 제140항에 있어서, 타이머, 인터럽트 컨트롤러, DMA 컨트롤러, RTC(Real Time Clock), BIOS(Built In Operating System)과 같은 레거시 x86 기능을 지원하 는 LCP(Low Pin Count) 인터페이스를 더 포함하는 것을 특징으로 하는 적층형 I/O층.
  154. 3DMC에 사용할 수 있는 적층형 연결층에 있어서:
    탄성 유전체 기판;
    연결층 한쪽 표면의 전기접점; 및
    연결층 다른쪽 표면의 전기접점;을 포함하고,
    연결층 양쪽 표면의 전기접점 사이에 직접적인 전기연결이 이루어지는 것을 특징으로 하는 적층형 연결층.
  155. 제154항에 있어서, 상기 접점들이 도전탄성재 아일랜드인 것을 특징으로 하는 적층형 연결층.
  156. 제154항에 있어서, 상기 탄성 유전체 기판이 수직 열팽창과 충격과 진동으로 인한 레이어 스트레스를 완화하기 위해 팽창틈새 충전재로 기능하는 것을 특징으로 하는 적층형 연결층.
  157. 제155항에 있어서, 상기 아일랜드가 2개의 레이어 사이의 전기접점 사이의 연결저항은 낮추되 서로 떨어진 전기접점들 사이의 임피던스와 전기누설저항은 아주 높이도록 위치하는 것을 특징으로 하는 적층형 연결층.
  158. 제155항에 있어서, 상기 탄성 유전체 기판이 실리콘으로 이루어지고, 상기 아일랜드는 흑연이나 구리 분말과 같은 미세 도체분말과 실리콘의 혼합물을 돌출시켜 형성한 것을 특징으로 하는 적층형 연결층.
  159. 제155항에 있어서, 상기 탄성 유전체 기판이 실리콘으로 이루어지고, 상기 아일랜드는 인청동과 같은 도전성 금속와이어로 이루어져 레이어 표면에 수직으로 위치하여 레이어를 관통하고, 금속와이어 끝은 금과 같은 금속캡을 씌워 접촉 신뢰성을 높이는 것을 특징으로 하는 적층형 연결층.
  160. 제155항에 있어서, 상기 탄성 유전체 기판이 실리콘으로 이루어지고, 상기 아일랜드는 레이어 양쪽 표면의 접점들 사이의 전기적 브리지 역할을 하기 위해 소형 금속코일, 스프링 또는 금속 단추와 같은 형상을 갖는 것을 특징으로 하는 적층형 연결층.
  161. 제154항에 있어서, 상기 탄성 유전체 기판이 전기접점들을 습도와 오염으로부터 보호하기 위해 주변에 대한 밀봉 기능을 하는 것을 특징으로 하는 적층형 연결층.
  162. 제154항에 있어서, 신뢰성 개선을 위해 전기접점들 사이의 연결이나 분리가 절절한지 여부를 표시하고 또한 습도, 압력, 정렬상태, 파손상태가 연결층과 신호 보전도에 악영향을 줄 경우 이를 경고하기 위해 연결층의 저항을 측정하기 위한 수단을 더 포함하는 것을 특징으로 하는 적층형 연결층.
  163. 제154항에 있어서, 연결층을 통해 3DMC의 레이어들 사이를 광학적으로 연결하기 위한 공기간극, 구멍 또는 광파이프를 더 포함하는 것을 특징으로 하는 적층형 연결층.
  164. 3DMC에 사용할 수 있는 액체 냉각시스템에 있어서:
    3DMC의 레이어에서 생긴 열을 전달하는 TCR(Thermal Conductive Rod);
    상기 TCR과 냉매 사이에 열교환을 하기 위한 열교환기; 및
    상기 열교환기를 포함하여, 액체-공기 열교환기와 펌프를 더 포함하는 냉각회로;를 포함하고,
    TCR, 열교환기 및 냉각회로가 협력하여 3DMC의 열을 주변 공기로 배출하는 것을 특징으로 하는 액체 냉각시스템.
  165. 제164항에 있어서, 상기 TCR이 냉각된 3DMC 레이어를 관통하는 것을 특징으로 하는 액체 냉각시스템.
  166. 제164항에 있어서, 상기 TCR이 단열효과를 이용한 열파이프로 기능하는 것을 특징으로 하는 액체 냉각시스템.
  167. 제164항에 있어서, 상기 TCR이 내부에 냉매가 일방향으로 흐르는 냉매파이프 기능을 하는 것을 특징으로 하는 액체 냉각시스템.
  168. 제164항에 있어서, 상기 TCR이 내부에 냉매가 양방향으로 흐르는 2개의 동축 냉매파이프 기능을 하는 것을 특징으로 하는 액체 냉각시스템.
  169. 제164항에 있어서, 상기 냉각회로가 라디에이터를 통해 외부에서 열을 방출하는 것을 특징으로 하는 액체 냉각시스템.
  170. 제164항에 있어서, 상기 냉각회로가 주변 실내공기에 열을 방출하는 것을 특징으로 하는 액체 냉각시스템.
  171. 제164항에 있어서, 상기 냉각회로의 수가 2개로서, 1차 냉각회로는 열을 주변 공기에 방출하고, 2차 냉각회로는 레이어나 TCR로부터 열을 흡수한 다음 액체-액체 열교환기를 통해 1차 냉각회로에 열을 방출하는 것을 특징으로 하는 액체 냉각시스템.
  172. 제171항에 있어서, 상기 2차 냉각회로의 유량을 관리컴퓨터로 조절하여 3DMC 내 냉각용량은 물론 냉매 입구온도, 압력, 유량과 같은 1차 냉각회로 변수를 조절하는 것을 특징으로 하는 액체 냉각시스템.
  173. 제171항에 있어서, 상기 1차 냉각회로가 냉각수를 사용하는 에어컨디셔닝 회로를 이용하는 것을 특징으로 하는 액체 냉각시스템.
  174. 제164항에 있어서, 상기 열교환기가 3DMC 장치를 독립적으로 냉각할만큼 충분한 용량을 갖는 하나 이상의 냉매사이클에 의해 TCR에서 액체로의 열교환을 행함을써, 시스템 신뢰도와 예비도를 높이는 것을 특징으로 하는 액체 냉각시스템.
  175. 제164항에 있어서, 상기 냉각회로가 자연대류나 인공대류에 의해 주변 공기에 열을 방출하는 것을 특징으로 하는 액체 냉각시스템.
  176. 제164항에 있어서, 상기 열교환기를 순환하는 액체의 입구온도, 출구온도, 입구압력, 출구압력, 유량을 관리컴퓨터로 측정하고 감시하는 것을 특징으로 하는 액체 냉각시스템.
  177. 제164항에 있어서, 조절밸브나 변속펌프를 이용해 상기 열교환기를 흐르는 냉매의 유량을 관리컴퓨터로 조절하여 3DMC 장치의 온도를 조절하는 것을 특징으로 하는 액체 냉각시스템.
  178. 제164항에 있어서, 관리컴퓨터가 감시하는 전류센서를 이용해 3DMC 장치의 냉각조건들을 예상함으로써, 효과적인 온도조절을 하고 3DMC 장치의 급격한 방열량 변동에 대한 냉각시스템의 응답시간을 개선하는 것을 특징으로 하는 액체 냉각시스템.
  179. 제164항에 있어서, 관리컴퓨터가 3DMC의 레이어의 비휘발성 메모리에 저장된 정상방열, 비정상방열, 온도와 같은 데이터를 이용해 악조건의 냉각수요를 계산하고 각 레이어마다의 정상-비정상 온도한계를 설정하는 것을 특징으로 하는 액체 냉각시스템.
  180. 컴퓨터 노드로 작용하는 3DMC;
    3D 고속 연결망;
    전원시스템; 및
    냉각시스템;을 포함하는 것을 특징으로 하는 MMP(Massive Parallel Processing) 장치.
  181. 제180항에 있어서, 상기 DMC가 6개 축방향으로 메시지를 보내 3D 고속 연결망을 형성하는 라우터와 3D 네트웍을 포함하는 것을 특징으로 하는 MMP 장치.
  182. 제181항에 있어서, 상기 네트웍과 라우터의 기능이 HT 케이브, 수신 DMA 엔진, 송신 DMA 엔진 및 메시지 라우터를 이용해 구현되는 것을 특징으로 하는 MMP 장치.
  183. 제181항에 있어서, 메시지를 보내는 라우터가 링크 프로토콜, 에러교정 및 재전송 기능을 지원하는 것을 특징으로 하는 MMP 장치.
  184. 제181항에 있어서, 상기 네트웍과 라우터가 메시지 전송/라우팅 활동을 관리할 관리 프로세서와, 프로세서의 펌웨어와 데이터를 임시로 저장할 휘발성 메모리를 포함하는 것을 특징으로 하는 MMP 장치.
  185. 제181항에 있어서, 상기 네트웍과 라우터가 전용 MPP 3DMC 3D 라우팅 레이어에 내장되는 것을 특징으로 하는 MMP 장치.
  186. 제181항에 있어서, 상기 네트웍과 라우터가 비-코히어런트 HT 링크를 통해 3DMC CPU 코어에 연결되는 것을 특징으로 하는 MMP 장치.
  187. 제181항에 있어서, 3DMC 컴퓨터노드의 부하를 관리하고 조절하며 균형을 맞추기 위한 관리컴퓨터를 더 포함하는 것을 특징으로 하는 MMP 장치.
  188. 제181항에 있어서, 3DMC 레이어의 밖으로 뻗어 인접 4개의 3DMC 스택에 연결되는 4개의 유연한 PCB에 상기 라우터가 연결되는 것을 특징으로 하는 MMP 장치.
  189. 제181항에 있어서, 3DMC의 메시지 전송층에서, 상기 라우터가 3DMC의 구조와 같은 3차원 망에 인터페이스할 비-코히어런트 HT 링크를 6개 이상 갖는 것을 특징으로 하는 MMP 장치.
  190. 제181항에 있어서, 3DMC 레이어의 밖으로 뻗어 인접 4개의 3DMC 스택에 연결되는 4개의 유연한 PCB를 더 포함하고, 2개의 더 기다란 PCB중의 하나는 레이어 밖으로 뻗되 커버층 윗면까지 이어져 상부에 위치한 인접 3DMC와 인터페이스하고, 나머지 하나는 바닥층 밑면으로 이어져 바로 밑의 인접 3DMC와 인터페이스하는 것을 특징으로 하는 MMP 장치.
  191. 제181항에 있어서, 인접 3DMC 스택들 사이를 연결하는 광 트랜시버를 더 포함하는 것을 특징으로 하는 MMP 장치.
KR1020087008311A 2005-09-06 2006-09-06 3ｄｍｃ 아키텍처 KR20080067328A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US71468105P 2005-09-06 2005-09-06
US60/714,681 2005-09-06

Publications (1)

Publication Number Publication Date
KR20080067328A true KR20080067328A (ko) 2008-07-18

Family

ID=37836259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087008311A KR20080067328A (ko) 2005-09-06 2006-09-06 3ｄｍｃ 아키텍처

Country Status (6)

Country Link
US (4) US8274792B2 (ko)
EP (1) EP1934668B1 (ko)
KR (1) KR20080067328A (ko)
CN (1) CN101507379A (ko)
CA (1) CA2621505C (ko)
WO (1) WO2007029253A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101109562B1 (ko) * 2009-01-05 2012-01-31 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 초고대역폭 메모리 다이 스택
KR101144159B1 (ko) * 2010-12-07 2012-05-14 전남대학교산학협력단 온도관리 플로어플랜이 적용된 3차원 멀티코어 프로세서
KR20130018812A (ko) * 2010-03-30 2013-02-25 마이크론 테크놀로지, 인크. 인터페이스 다이와 복수의 다이스 스택들 사이에서 동시 통신을 가능하게 하는 장치들, 스태킹된 장치들에서의 인터리빙된 도전성 경로들, 및 이를 형성 및 동작하는 방법들
KR101254180B1 (ko) * 2012-08-16 2013-04-18 주식회사 세미콘테스트 반도체 검사용 테스트 소켓
US9802321B2 (en) 2013-02-28 2017-10-31 Hanwha Land Systems Co., Ltd. Mini integrated control device

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10221425A1 (de) * 2002-05-14 2003-12-04 Siemens Ag Datennetzschnittstelle und Kommunikationseinrichtungen mit Datennetzschnittstelle
US20120173732A1 (en) * 2002-10-22 2012-07-05 Sullivan Jason A Systems and methods for providing resources and interactivity in computer systems
BR0315624A (pt) 2002-10-22 2005-08-23 Jason A Sullivan Sistema de processamento em computador personalizável robusto
US7521950B2 (en) * 2005-10-07 2009-04-21 International Business Machines Corporation Wafer level I/O test and repair enabled by I/O layer
US7713782B2 (en) * 2006-09-22 2010-05-11 Stats Chippac, Inc. Fusible I/O interconnection systems and methods for flip-chip packaging involving substrate-mounted stud-bumps
US9847309B2 (en) 2006-09-22 2017-12-19 STATS ChipPAC Pte. Ltd. Semiconductor device and method of forming vertical interconnect structure between semiconductor die and substrate
US7656031B2 (en) * 2007-02-05 2010-02-02 Bridge Semiconductor Corporation Stackable semiconductor package having metal pin within through hole of package
KR101366856B1 (ko) * 2007-03-29 2014-02-21 삼성전자주식회사 다양한 포트를 통해 입력되는 영상을 디스플레이하는디스플레이 장치
US8140719B2 (en) * 2007-06-21 2012-03-20 Sea Micro, Inc. Dis-aggregated and distributed data-center architecture using a direct interconnect fabric
US7623365B2 (en) 2007-08-29 2009-11-24 Micron Technology, Inc. Memory device interface methods, apparatus, and systems
US7999388B2 (en) * 2007-09-24 2011-08-16 Research Triangle Institute Preventing breakage of long metal signal conductors on semiconductor substrates
US7709966B2 (en) * 2007-09-25 2010-05-04 Sixis, Inc. Large substrate structural vias
US8787060B2 (en) 2010-11-03 2014-07-22 Netlist, Inc. Method and apparatus for optimizing driver load in a memory package
US20090267183A1 (en) * 2008-04-28 2009-10-29 Research Triangle Institute Through-substrate power-conducting via with embedded capacitance
US8918657B2 (en) 2008-09-08 2014-12-23 Virginia Tech Intellectual Properties Systems, devices, and/or methods for managing energy usage
US8106520B2 (en) 2008-09-11 2012-01-31 Micron Technology, Inc. Signal delivery in stacked device
CN101741408B (zh) * 2008-11-26 2013-04-03 智邦科技股份有限公司 无线收发模块
US8129834B2 (en) * 2009-01-26 2012-03-06 Research Triangle Institute Integral metal structure with conductive post portions
US8097956B2 (en) 2009-03-12 2012-01-17 Apple Inc. Flexible packaging for chip-on-chip and package-on-package technologies
GB0905871D0 (en) * 2009-04-03 2009-05-20 Eaton Williams Group Ltd Cooling distribution unit
US8174841B2 (en) * 2009-04-27 2012-05-08 International Business Machines Corporation Adaptive interconnect structure
US8311683B2 (en) 2009-04-29 2012-11-13 International Business Machines Corporation Processor cooling management
US8983631B2 (en) * 2009-06-30 2015-03-17 Lam Research Corporation Arrangement for identifying uncontrolled events at the process module level and methods thereof
JP5420671B2 (ja) 2009-09-14 2014-02-19 株式会社日立製作所 半導体装置
US10918298B2 (en) * 2009-12-16 2021-02-16 The Board Of Trustees Of The University Of Illinois High-speed, high-resolution electrophysiology in-vivo using conformal electronics
US10441185B2 (en) * 2009-12-16 2019-10-15 The Board Of Trustees Of The University Of Illinois Flexible and stretchable electronic systems for epidermal electronics
JP5381723B2 (ja) * 2010-01-08 2014-01-08 日本電気株式会社 並列計算機
US9219023B2 (en) * 2010-01-19 2015-12-22 Globalfoundries Inc. 3D chip stack having encapsulated chip-in-chip
US9546826B1 (en) 2010-01-21 2017-01-17 Hrl Laboratories, Llc Microtruss based thermal heat spreading structures
US8921702B1 (en) * 2010-01-21 2014-12-30 Hrl Laboratories, Llc Microtruss based thermal plane structures and microelectronics and printed wiring board embodiments
US8644997B2 (en) * 2010-05-10 2014-02-04 Hamilton Sundstrand Corporation Load sharing architecture for redundant channel controllers
US8677613B2 (en) * 2010-05-20 2014-03-25 International Business Machines Corporation Enhanced modularity in heterogeneous 3D stacks
US8279597B2 (en) 2010-05-27 2012-10-02 International Business Machines Corporation Heatsink allowing in-situ maintenance in a stackable module
US8174826B2 (en) 2010-05-27 2012-05-08 International Business Machines Corporation Liquid cooling system for stackable modules in energy-efficient computing systems
US8179674B2 (en) 2010-05-28 2012-05-15 International Business Machines Corporation Scalable space-optimized and energy-efficient computing system
US8358503B2 (en) 2010-05-28 2013-01-22 International Business Machines Corporation Stackable module for energy-efficient computing systems
US8560137B2 (en) * 2010-06-04 2013-10-15 Alcatel Lucent High-voltage step-charge control for use in network-powered applications
CN101888414B (zh) * 2010-07-02 2013-02-13 武汉大学 移动多任务并行处理系统
CN101976067A (zh) * 2010-09-19 2011-02-16 合肥工业大学 柔性装配线管理控制实验平台及管理控制实验方法
EP2625590B1 (en) * 2010-10-04 2018-12-26 Avocent Huntsville, LLC Digital rack interface pod system and method
US9720874B2 (en) * 2010-11-01 2017-08-01 Invensense, Inc. Auto-detection and mode switching for digital interface
US8762668B2 (en) * 2010-11-18 2014-06-24 Hitachi, Ltd. Multipath switching over multiple storage systems
WO2012161712A1 (en) * 2011-05-25 2012-11-29 Hewlett-Packard Development Company, L.P. Blade computer system
US8992787B2 (en) * 2011-07-29 2015-03-31 Pacesetter, Inc. Anode foils for electrolytic capacitors and methods for making same
TWM419141U (en) * 2011-08-11 2011-12-21 Quanta Comp Inc Server system
WO2014141162A1 (en) * 2013-03-15 2014-09-18 Coolit Systems, Inc. Sensors, multiplexed communication techniques, and related systems
US10365667B2 (en) 2011-08-11 2019-07-30 Coolit Systems, Inc. Flow-path controllers and related systems
US9547575B2 (en) * 2011-08-30 2017-01-17 Amazon Technologies, Inc. Managing host computing devices
EP3382556A1 (en) * 2011-09-30 2018-10-03 INTEL Corporation Memory channel that supports near memory and far memory access
US20130088827A1 (en) * 2011-10-07 2013-04-11 Frontier Electronic Systems Corp. Multi-Purpose Display Platform
WO2013095561A1 (en) * 2011-12-22 2013-06-27 Intel Corporation Interconnection of a packaged chip to a die in a package utilizing on-package input/output interfaces
US8987066B2 (en) 2012-01-03 2015-03-24 Honeywell International Inc. Processing unit comprising integrated circuits including a common configuration of electrical interconnects
US9268738B2 (en) 2012-02-24 2016-02-23 International Business Machines Corporation Three-dimensional permute unit for a single-instruction multiple-data processor
US9658629B2 (en) * 2012-03-22 2017-05-23 Seagate Technology Llc Method and apparatus for controlling the temperature of components
CN103378026A (zh) * 2012-04-16 2013-10-30 北京大学 一种具有散热功能的三维封装方法
KR101988014B1 (ko) 2012-04-18 2019-06-13 삼성디스플레이 주식회사 어레이 기판의 제조 방법 및 이에 사용되는 제조 장치
US9189037B2 (en) 2012-06-12 2015-11-17 Globalfoundries Inc. Optimizing heat transfer in 3-D chip-stacks
US8804313B2 (en) 2012-06-22 2014-08-12 Microsoft Corporation Enclosure power distribution architectures
WO2014055064A1 (en) * 2012-10-02 2014-04-10 Hewlett-Packard Development Company, L.P. Security shield assembly
US9030017B2 (en) * 2012-11-13 2015-05-12 Invensas Corporation Z-connection using electroless plating
US9258191B2 (en) * 2012-12-13 2016-02-09 Microsoft Technology Licensing, Llc Direct network having plural distributed connections to each resource
US9202772B2 (en) * 2013-02-28 2015-12-01 Altera Corporation Heat pipe in overmolded flip chip package
US9144178B2 (en) * 2013-03-01 2015-09-22 International Business Machines Corporation Selective clamping of electronics card to coolant-cooled structure
KR102056867B1 (ko) 2013-03-04 2020-01-22 삼성전자주식회사 반도체 소자 및 그 제조방법
US9405067B2 (en) 2013-03-13 2016-08-02 Hrl Laboratories, Llc Micro-truss materials having in-plane material property variations
US9052252B2 (en) 2013-03-15 2015-06-09 Coolit Systems, Inc. Sensors, communication techniques, and related systems
US9538687B2 (en) 2013-06-12 2017-01-03 Menara Network, Inc. High-density rack unit systems and methods
US9007221B2 (en) * 2013-08-16 2015-04-14 Cisco Technology, Inc. Liquid cooling of rack-mounted electronic equipment
CA2921751C (en) 2013-08-29 2017-03-28 Dan Oprea Method and apparatus to manage the direct interconnect switch wiring and growth in computer networks
TWI506824B (zh) * 2013-10-28 2015-11-01 Lextar Electronics Corp 發光二極體封裝結構及其製造方法
US9523522B2 (en) 2013-11-27 2016-12-20 Tokitae Llc Refrigeration devices including temperature-controlled container systems
US9726418B2 (en) 2013-11-27 2017-08-08 Tokitae Llc Refrigeration devices including temperature-controlled container systems
US9366483B2 (en) * 2013-11-27 2016-06-14 Tokitac LLC Temperature-controlled container systems for use within a refrigeration device
LU92378B1 (en) * 2014-02-17 2015-08-18 Iee Internat Electronics & Enigineering Sa Occupant sensor and seat with such an occupant sensor
TR201910873T4 (tr) * 2014-02-24 2019-08-21 Weidmueller Interface Gmbh & Co Kg Bir alçak gerilim sisteminde akım dağıtımı için yerleşim.
US9603280B2 (en) * 2014-05-30 2017-03-21 EMC IP Holding Company LLC Flash module
JP6206359B2 (ja) * 2014-08-28 2017-10-04 トヨタ自動車株式会社 半導体装置
JP6135623B2 (ja) * 2014-09-02 2017-05-31 トヨタ自動車株式会社 半導体装置及びその製造方法
WO2016068843A1 (en) * 2014-10-27 2016-05-06 Hewlett Packard Enterprise Development Lp Modular apparatuses and system for backplane connections
DE102015101023A1 (de) * 2015-01-23 2016-07-28 Pilz Gmbh & Co. Kg Elektronisches Sicherheitsschaltgerät
KR102367586B1 (ko) * 2015-04-10 2022-02-28 삼성전자주식회사 전자 장치
CN106288893A (zh) * 2015-06-03 2017-01-04 丹佛斯微通道换热器（嘉兴）有限公司 换热器系统
US20170034214A1 (en) * 2015-07-30 2017-02-02 Northrop Grumman Systems Corporation Apparatus and method for cross enclave information control
DE102015113324A1 (de) 2015-08-12 2017-02-16 Schweizer Electronic Ag Leiterstrukturelement mit einlaminiertem Innenlagensubstrat und Verfahren zu dessen Herstellung
US10729040B2 (en) * 2015-09-14 2020-07-28 Mitsubishi Electric Corporation Cooler, power conversion apparatus, and cooling system
US9622379B1 (en) 2015-10-29 2017-04-11 International Business Machines Corporation Drawer-level immersion-cooling with hinged, liquid-cooled heat sink
CN105552046B (zh) * 2015-12-04 2019-01-22 成都锐华光电技术有限责任公司 一种新型封装内芯片散热组件及散热系统
US10072349B2 (en) 2016-01-05 2018-09-11 Pacesetter, Inc. Etch solutions having bis(perfluoroalkylsulfonyl)imides, and use thereof to form anode foils with increased capacitance
US20170325327A1 (en) * 2016-04-07 2017-11-09 Massachusetts Institute Of Technology Printed circuit board for high power components
CN107305861B (zh) * 2016-04-25 2019-09-03 晟碟信息科技（上海）有限公司 半导体装置及其制造方法
WO2017219564A1 (zh) * 2016-06-21 2017-12-28 杭州鸿雁电器有限公司 家庭控制端
CN106024068B (zh) * 2016-06-23 2019-04-05 合肥工业大学 一种相邻层冗余共享三维存储器的存储裸片选择方法
DE102016010304A1 (de) 2016-08-25 2018-03-01 Daimler Ag Leiterplatte mit zumindest einem elektrischen Bauelement und einer ersten Kühlvorrichtung
CN107816940B (zh) * 2016-09-14 2020-01-21 西安航通测控技术有限责任公司 一种用于激光平面扫描网络空间定位系统的全范围光电传感器
US10309033B2 (en) 2016-12-02 2019-06-04 Pacesetter, Inc. Process additives to reduce etch resist undercutting in the manufacture of anode foils
US10422050B2 (en) 2016-12-02 2019-09-24 Pacesetter, Inc. Process for using persulfate in a low pH etch solution to increase aluminum foil capacitance
US10240249B2 (en) 2016-12-02 2019-03-26 Pacesetter, Inc. Use of nonafluorobutanesulfonic acid in a low pH etch solution to increase aluminum foil capacitance
US11178750B2 (en) * 2017-04-17 2021-11-16 Fujikura Ltd. Multilayer substrate, multilayer substrate array, and transmission/ reception module
US10516291B2 (en) 2017-04-26 2019-12-24 Vertiv It Systems, Inc. Dongle having rechargeable, supercapacitor based power supply
BE1025251B1 (nl) * 2017-05-22 2018-12-18 Soleras Advanced Coatings Bvba Feedback systeem
CN107291278B (zh) * 2017-06-07 2020-12-04 国网江苏省电力公司常熟市供电公司 调度监控台kvm交换机系统
US10849253B2 (en) * 2017-09-28 2020-11-24 Hewlett Packard Enterprise Development Lp Interconnected modular server and cooling means
JP2019066453A (ja) * 2017-09-29 2019-04-25 ミネベアミツミ株式会社 ひずみゲージ
JP6793103B2 (ja) 2017-09-29 2020-12-02 ミネベアミツミ株式会社 ひずみゲージ
JP2019066454A (ja) 2017-09-29 2019-04-25 ミネベアミツミ株式会社 ひずみゲージ、センサモジュール
JP2019066312A (ja) 2017-09-29 2019-04-25 ミネベアミツミ株式会社 ひずみゲージ
US11452243B2 (en) 2017-10-12 2022-09-20 Coolit Systems, Inc. Cooling system, controllers and methods
JP2019113411A (ja) 2017-12-22 2019-07-11 ミネベアミツミ株式会社 ひずみゲージ、センサモジュール
CN108419412B (zh) * 2018-02-08 2020-01-14 惠州汉旭五金塑胶科技有限公司 一种具有杂质过滤功能的水冷排
GB201804875D0 (en) * 2018-03-27 2018-05-09 Sec Dep For Foreign And Commonwealth Affairs A power distribution assembly
JP2019184344A (ja) 2018-04-05 2019-10-24 ミネベアミツミ株式会社 ひずみゲージ及びその製造方法
CN108838280B (zh) * 2018-06-05 2020-03-27 太仓海嘉车辆配件有限公司 一种电子放大器安装于散热壳体内的方法
CN110660747A (zh) 2018-06-28 2020-01-07 晟碟信息科技（上海）有限公司 包含加固角部支撑件的半导体装置
CN109269690B (zh) * 2018-09-18 2019-10-18 清华大学 应激传感系统及应用应激传感系统的机器人
WO2020069727A1 (en) * 2018-10-02 2020-04-09 Telefonaktiebolaget Lm Ericsson (Publ) A carrier substrate, an electronic assembly and an apparatus for wireless communication
CN112955724B (zh) 2018-10-23 2022-10-14 美蓓亚三美株式会社 加速踏板、转向系、车门、车门开闭系统
CN109687185A (zh) * 2018-11-27 2019-04-26 珠海欧比特电子有限公司 一种器件三维立体封装方法
US11662037B2 (en) 2019-01-18 2023-05-30 Coolit Systems, Inc. Fluid flow control valve for fluid flow systems, and methods
US10665581B1 (en) 2019-01-23 2020-05-26 Sandisk Technologies Llc Three-dimensional semiconductor chip containing memory die bonded to both sides of a support die and methods of making the same
US10879260B2 (en) 2019-02-28 2020-12-29 Sandisk Technologies Llc Bonded assembly of a support die and plural memory dies containing laterally shifted vertical interconnections and methods for making the same
PL3702740T3 (pl) 2019-02-28 2021-09-20 Ovh Urządzenie do wykrywania przepływu, układ chłodzący dla urządzenia elektronicznego i szafa mieszcząca wiele urządzeń elektronicznych
IL265789A (en) 2019-04-01 2020-10-28 Fibernet Ltd Device for secure video streaming
IL266118B2 (en) 2019-04-17 2023-08-01 Fibernet Ltd Device for secure streaming of audio
US11473860B2 (en) 2019-04-25 2022-10-18 Coolit Systems, Inc. Cooling module with leak detector and related systems
US10691182B2 (en) * 2019-05-20 2020-06-23 Intel Corporation Layered super-reticle computing: architectures and methods
US11269791B1 (en) * 2019-07-19 2022-03-08 Mac Panel Company Universal receiver
CN110350063B (zh) * 2019-07-22 2020-08-11 京东方科技集团股份有限公司 发光二极管、显示基板和转移方法
US10989735B2 (en) 2019-08-21 2021-04-27 Facebook Technologies, Llc Atomic force microscopy tips for interconnection
CN110708884B (zh) * 2019-10-14 2020-12-15 业成科技（成都）有限公司 可适性压头结构
US11374167B2 (en) 2020-03-05 2022-06-28 International Business Machines Corporation Reducing parasitic bottom electrode resistance of embedded MRAM
US10966338B1 (en) * 2020-03-11 2021-03-30 Peter C. Salmon Densely packed electronic systems
US11546991B2 (en) 2020-03-11 2023-01-03 Peter C. Salmon Densely packed electronic systems
US11393807B2 (en) 2020-03-11 2022-07-19 Peter C. Salmon Densely packed electronic systems
US11176049B2 (en) * 2020-03-17 2021-11-16 Silicon Motion, Inc. Flash memory controller mechanism capable of generating host-based cache information or flash-memory-based cache information to build and optimize binary tree with fewer nodes when cache stores data from host
EP4150216A4 (en) 2020-05-11 2023-11-01 Coolit Systems, Inc. LIQUID PUMPING UNITS, AND ASSOCIATED SYSTEMS AND METHODS
US11233679B2 (en) * 2020-06-01 2022-01-25 Hewlett Packard Enterprise Development Lp Phase adjustments for computer nodes
US11139639B1 (en) 2020-07-09 2021-10-05 Ge Aviation Systems Limited Modular power distribution assembly and method of assembly thereof
US11464135B2 (en) * 2020-12-04 2022-10-04 Schneider Electric It Corporation Liquid cooling enclosure for circuit components
CN113063804B (zh) * 2021-03-16 2022-07-15 太原科技大学 一种基于图像处理的热切机视觉系统自动定位方法
CN113688593B (zh) * 2021-08-11 2023-10-13 上海交通大学 一种三维集成电路片间混合键合布局布线优化方法
TWI792543B (zh) * 2021-09-07 2023-02-11 瑞昱半導體股份有限公司 電路的漏電檢測方法與其處理系統
US11839054B1 (en) * 2021-09-22 2023-12-05 Meta Platforms Technologies, Llc Stack-PCB design and midplane architecture
US11445640B1 (en) 2022-02-25 2022-09-13 Peter C. Salmon Water cooled server
US11523543B1 (en) 2022-02-25 2022-12-06 Peter C. Salmon Water cooled server
CN117389401B (zh) * 2023-12-11 2024-02-23 西昌学院 一种计算机内置断电保护系统

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3648113A (en) * 1970-10-22 1972-03-07 Singer Co Electronic assembly having cooling means for stacked modules
US4647959A (en) 1985-05-20 1987-03-03 Tektronix, Inc. Integrated circuit package, and method of forming an integrated circuit package
US4868712A (en) * 1987-02-04 1989-09-19 Woodman John K Three dimensional integrated circuit package
US5079619A (en) * 1990-07-13 1992-01-07 Sun Microsystems, Inc. Apparatus for cooling compact arrays of electronic circuitry
US5434970A (en) 1991-02-14 1995-07-18 Cray Research, Inc. System for distributed multiprocessor communication
US5181167A (en) * 1991-12-02 1993-01-19 Sun Microsystems, Inc. Stacking heatpipe for three dimensional electronic packaging
JP3201868B2 (ja) * 1992-03-20 2001-08-27 アジレント・テクノロジーズ・インク 導電性熱インターフェース及びその方法
EP0658140B1 (en) * 1992-09-01 1996-04-24 W.L. Gore & Associates, Inc. Electrically conductive thermal shield materials
JP3354937B2 (ja) * 1993-04-23 2002-12-09 イルビン センサーズ コーポレーション それぞれが積層体表面に固定されたｉｃチップと相互作用するｉｃチップの積層体を含んだ電子モジュール
US5583990A (en) 1993-12-10 1996-12-10 Cray Research, Inc. System for allocating messages between virtual channels to avoid deadlock and to optimize the amount of message traffic on each type of virtual channel
JP3512225B2 (ja) * 1994-02-28 2004-03-29 株式会社日立製作所 多層配線基板の製造方法
KR0147259B1 (ko) * 1994-10-27 1998-08-01 김광호 적층형 패키지 및 그 제조방법
MY114912A (en) * 1994-12-22 2003-02-28 Ibm Removable electronic subassembly with a compressible shock absorbing device
US5801924A (en) 1996-02-22 1998-09-01 Cray Research, Inc. Method and apparatus for cooling daughter card modules
US5864738A (en) 1996-03-13 1999-01-26 Cray Research, Inc. Massively parallel processing system using two data paths: one connecting router circuit to the interconnect network and the other connecting router circuit to I/O controller
US5748452A (en) * 1996-07-23 1998-05-05 International Business Machines Corporation Multi-electronic device package
US6492719B2 (en) 1999-07-30 2002-12-10 Hitachi, Ltd. Semiconductor device
SE511425C2 (sv) * 1996-12-19 1999-09-27 Ericsson Telefon Ab L M Packningsanordning för integrerade kretsar
US5909357A (en) 1997-04-24 1999-06-01 Orr; Tom Vertically stacked computer modules shaped to indicate compatibility with vertical cooling shaft extending throughout
US6219695B1 (en) 1997-09-16 2001-04-17 Texas Instruments Incorporated Circuits, systems, and methods for communicating computer video output to a remote location
US6206705B1 (en) * 1997-10-03 2001-03-27 California Institute Of Technology Three-dimensional modular electronic interconnection system
US6230252B1 (en) 1997-11-17 2001-05-08 Silicon Graphics, Inc. Hybrid hypercube/torus architecture
JP2000208698A (ja) * 1999-01-18 2000-07-28 Toshiba Corp 半導体装置
US6754207B1 (en) * 1998-01-20 2004-06-22 Interactic Holdings, Llc Multiple-path wormhole interconnect
NO308149B1 (no) * 1998-06-02 2000-07-31 Thin Film Electronics Asa Skalerbar, integrert databehandlingsinnretning
US6055157A (en) 1998-04-06 2000-04-25 Cray Research, Inc. Large area, multi-device heat pipe for stacked MCM-based systems
KR100277167B1 (ko) 1998-06-05 2001-01-15 윤덕용 가상버스들을사용한연결망을갖는분산컴퓨팅시스템및데이터통신방법
US6297960B1 (en) * 1998-06-30 2001-10-02 Micron Technology, Inc. Heat sink with alignment and retaining features
US6664969B1 (en) * 1999-11-12 2003-12-16 Hewlett-Packard Development Company, L.P. Operating system independent method and apparatus for graphical remote access
JP4251421B2 (ja) * 2000-01-13 2009-04-08 新光電気工業株式会社 半導体装置の製造方法
US6528870B2 (en) * 2000-01-28 2003-03-04 Kabushiki Kaisha Toshiba Semiconductor device having a plurality of stacked wiring boards
JP2002009236A (ja) * 2000-06-21 2002-01-11 Shinko Electric Ind Co Ltd 多層半導体装置及びその製造方法
US6906721B1 (en) 2000-07-07 2005-06-14 American Megatrends, Inc. Systems, methods, and computer program products for managing the display of information output by a computer program
US6678182B2 (en) * 2000-11-07 2004-01-13 United Defense Lp Electrical bus with associated porous metal heat sink and method of manufacturing same
JP4608763B2 (ja) * 2000-11-09 2011-01-12 日本電気株式会社 半導体装置
JP3798620B2 (ja) * 2000-12-04 2006-07-19 富士通株式会社 半導体装置の製造方法
JP4586273B2 (ja) * 2001-01-15 2010-11-24 ソニー株式会社 半導体装置構造
DE10104574A1 (de) 2001-02-01 2002-08-08 Epcos Ag Substrat für ein elektrisches Bauelement und Verfahren zur Herstellung
SG108245A1 (en) * 2001-03-30 2005-01-28 Micron Technology Inc Ball grid array interposer, packages and methods
US6627980B2 (en) * 2001-04-12 2003-09-30 Formfactor, Inc. Stacked semiconductor device assembly with microelectronic spring contacts
US6646879B2 (en) 2001-05-16 2003-11-11 Cray Inc. Spray evaporative cooling system and method
US7102691B2 (en) * 2001-08-08 2006-09-05 Matsushita Electric Industrial Co., Ltd. Method and apparatus for remote use of personal computer
JP3591497B2 (ja) * 2001-08-16 2004-11-17 ソニー株式会社 強誘電体型不揮発性半導体メモリ
US6825846B2 (en) 2001-12-10 2004-11-30 American Megatrends, Inc. Systems and methods for capturing screen displays from a host computing system for display at a remote terminal
US7260624B2 (en) * 2002-09-20 2007-08-21 American Megatrends, Inc. Systems and methods for establishing interaction between a local computer and a remote computer
FR2845821B1 (fr) * 2002-10-11 2005-12-02 Thales Sa Substrat electronique d'un module electronique a trois dimensions a fort pouvoir de dissipation thermique et module electronique
KR100480437B1 (ko) * 2002-10-24 2005-04-07 삼성전자주식회사 반도체 칩 패키지 적층 모듈
US6819562B2 (en) * 2003-01-31 2004-11-16 Hewlett-Packard Development Company, L.P. Cooling apparatus for stacked components
US7030486B1 (en) * 2003-05-29 2006-04-18 Marshall Paul N High density integrated circuit package architecture
US6835070B1 (en) 2003-11-14 2004-12-28 Cray Canada Inc. Cooling arrangement for electronic systems
US7390739B2 (en) * 2005-05-18 2008-06-24 Lazovsky David E Formation of a masking layer on a dielectric region to facilitate formation of a capping layer on electrically conductive regions separated by the dielectric region
US7289328B2 (en) * 2004-12-21 2007-10-30 Hewlett-Packard Development Company, L.P. Multi-chip module with power system and pass-thru holes
US7369412B2 (en) * 2006-05-02 2008-05-06 Fu Zhun Precision Industry (Shen Zhen) Co., Ltd. Heat dissipation device
US8395191B2 (en) * 2009-10-12 2013-03-12 Monolithic 3D Inc. Semiconductor device and structure
KR101696644B1 (ko) * 2010-09-15 2017-01-16 삼성전자주식회사 3차원 수직 배선을 이용한 ｒｆ 적층 모듈 및 이의 배치 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101109562B1 (ko) * 2009-01-05 2012-01-31 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 초고대역폭 메모리 다이 스택
KR20130018812A (ko) * 2010-03-30 2013-02-25 마이크론 테크놀로지, 인크. 인터페이스 다이와 복수의 다이스 스택들 사이에서 동시 통신을 가능하게 하는 장치들, 스태킹된 장치들에서의 인터리빙된 도전성 경로들, 및 이를 형성 및 동작하는 방법들
KR101144159B1 (ko) * 2010-12-07 2012-05-14 전남대학교산학협력단 온도관리 플로어플랜이 적용된 3차원 멀티코어 프로세서
KR101254180B1 (ko) * 2012-08-16 2013-04-18 주식회사 세미콘테스트 반도체 검사용 테스트 소켓
US9802321B2 (en) 2013-02-28 2017-10-31 Hanwha Land Systems Co., Ltd. Mini integrated control device

Also Published As

Publication number Publication date
US20170308133A1 (en) 2017-10-26
US20160044779A1 (en) 2016-02-11
US10067539B2 (en) 2018-09-04
EP1934668A4 (en) 2013-01-16
CA2621505A1 (en) 2007-03-15
CA2621505C (en) 2015-06-30
US8274792B2 (en) 2012-09-25
WO2007029253A2 (en) 2007-03-15
US20130063854A1 (en) 2013-03-14
US9164555B2 (en) 2015-10-20
WO2007029253A3 (en) 2009-04-30
EP1934668B1 (en) 2016-03-16
CN101507379A (zh) 2009-08-12
US20080253085A1 (en) 2008-10-16
EP1934668A2 (en) 2008-06-25

Similar Documents

Publication Publication Date Title
US10067539B2 (en) 3-dimensional multi-layered modular computer architecture
US10021806B2 (en) System and method for flexible storage and networking provisioning in large scalable processor installations
CN100527396C (zh) 可拆卸的封装上电压调节模块
KR20020041281A (ko) 네트워크 스위치가 내장된 고밀도 멀티 서버 시스템
CN104503556A (zh) 基于风冷及液冷结合的冗余备份服务器散热体系
US20210385971A1 (en) System device aggregation in a liquid cooling environment
TWI655547B (zh) 多硬碟儲存裝置
US20210400813A1 (en) Removable and low insertion force connector system
US20230197660A1 (en) Solder interconnect hierarchy for heterogeneous electronic device packaging
US11523543B1 (en) Water cooled server
US11445640B1 (en) Water cooled server
US20180285311A1 (en) Server having ip miniature computing unit
CN117234310B (zh) 一种针对晶上处理器的辅助系统
US20220361328A1 (en) Power conversion module using cmt connector
US11924959B2 (en) Heatsink based power delivery for CPUs
US11963289B2 (en) PCB for heatsink based power delivery
US20230276600A1 (en) Water cooled server
US20230337360A1 (en) Cpu for heatsink based power delivery
US20230022058A1 (en) Back plates to support integrated circuit packages in sockets on printed circuit boards and associated methods
Parrilla et al. Packaging the IBM eServer z990 central electronic complex
Torok et al. Packaging design of the IBM System z10 Enterprise Class platform central electronic complex
CN102253701B (zh) 一种散热系统
CN115268581A (zh) 一种高性能计算力的ai边缘服务器系统架构
Winkel et al. Packaging design challenges of the IBM System z10 Enterprise Class server

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid