JP7270234B2 - Ａｉチップ - Google Patents

Ａｉチップ Download PDF

Info

Publication number
JP7270234B2
JP7270234B2 JP2022527567A JP2022527567A JP7270234B2 JP 7270234 B2 JP7270234 B2 JP 7270234B2 JP 2022527567 A JP2022527567 A JP 2022527567A JP 2022527567 A JP2022527567 A JP 2022527567A JP 7270234 B2 JP7270234 B2 JP 7270234B2
Authority
JP
Japan
Prior art keywords
die
dies
memory
computing
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022527567A
Other languages
English (en)
Other versions
JPWO2021241048A1 (ja
Inventor
昌一 後藤
幸嗣 小畑
勝 笹子
雅通 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2021241048A1 publication Critical patent/JPWO2021241048A1/ja
Application granted granted Critical
Publication of JP7270234B2 publication Critical patent/JP7270234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/04—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body
    • H01L27/06—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including a plurality of individual components in a non-repetitive configuration
    • H01L27/0688—Integrated circuits having a three-dimensional layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7839—Architectures of general purpose stored program computers comprising a single central processing unit with memory
    • G06F15/7864—Architectures of general purpose stored program computers comprising a single central processing unit with memory on more than one IC chip
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/52—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/538—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames the interconnection structure between a plurality of semiconductor chips being formed on, or in, insulating substrates
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H01L25/065—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L25/0652—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00 the devices being arranged next and on each other, i.e. mixed assemblies
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H01L25/065—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L25/0657—Stacked arrangements of devices
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/18—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different subgroups of the same main group of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/0203—Particular design considerations for integrated circuits
    • H01L27/0207—Geometrical layout of the components, e.g. computer aided design; custom LSI, semi-custom LSI, standard cell technique
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B80/00—Assemblies of multiple devices comprising at least one memory device covered by this subclass
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06513—Bump or bump-like direct electrical connections between devices, e.g. flip-chip connection, solder bumps
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06517—Bump or bump-like direct electrical connections from device to substrate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06527—Special adaptation of electrical connections, e.g. rewiring, engineering changes, pressure contacts, layout
    • H01L2225/06531—Non-galvanic coupling, e.g. capacitive coupling
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06541—Conductive via connections through the device, e.g. vertical interconnects, through silicon via [TSV]

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Semiconductor Integrated Circuits (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)

Description

本開示は、ＡＩチップに関する。
特許文献１には、論理マクロを複数備えるシステムオンチップと、各論理マクロがアクセスするメモリ領域を有するメモリチップとが積層された半導体集積回路装置が開示されている。複数のメモリチップが積層可能であり、メモリ容量を増やすことができる。
国際公開第２０１０／０２１４１０号
近年、人工知能（ＡＩ）を用いた様々な演算処理（以下、ＡＩ処理と記載する）を高速に行うことが期待されている。特許文献１に開示されるような構成の半導体集積回路をＡＩ処理に応用できたとしても、メモリ容量を増やすことができるものの、演算処理自体が高速化される訳ではない。処理能力を向上させるためには、チップ自体の再設計などが必要になり、簡単に処理能力を向上させることが難しい。
そこで、本開示は、処理能力を簡単に向上させることができるＡＩチップを提供することを目的とする。
本開示の一態様に係るＡＩチップは、データを記憶する複数のメモリダイと、ＡＩ処理に含まれる演算を行う複数の演算ダイと、前記複数のメモリダイ及び前記複数の演算ダイを制御するシステムチップとを備え、前記複数のメモリダイの各々は、第１レイアウトパターンを有し、前記複数の演算ダイの各々は、第２レイアウトパターンを有し、前記複数のメモリダイの１つである第２メモリダイは、前記複数のメモリダイの１つである第１メモリダイの前記第１レイアウトパターンの上方に積層され、前記複数の演算ダイの１つである第２演算ダイは、前記複数の演算ダイの１つである第１演算ダイの前記第２レイアウトパターンの上方に積層されている。
本開示に係るＡＩチップによれば、処理能力を簡単に向上させることができる。
図１は、実施の形態に係るＡＩチップを示す模式的な斜視図である。 図２は、実施の形態に係るＡＩチップが備えるシステムチップの構成を示すブロック図である。 図３は、図２に示されるブロック図と図１に示される斜視図との関係を模式的に示す図である。 図４は、実施の形態に係るメモリダイの平面レイアウトの一例を示す平面図である。 図５は、実施の形態に係る演算ダイの平面レイアウトの一例を示す平面図である。 図６は、実施の形態に係る演算ダイが備えるＡＩ処理ブロックの構成を示すブロック図である。 図７は、実施の形態に係る複数のメモリダイ及び複数の演算ダイの接続にＴＳＶが用いられる例を示す断面図である。 図８は、実施の形態に係る複数のメモリダイ及び複数の演算ダイの接続に無線通信が用いられる例を示す断面図である。 図９は、実施の形態の変形例１に係るＡＩチップを示す模式的な斜視図である。 図１０は、実施の形態の変形例２に係るＡＩチップの第１例を示す模式的な斜視図である。 図１１は、実施の形態の変形例２に係るＡＩチップの第２例を示す模式的な斜視図である。 図１２は、実施の形態の変形例２に係るＡＩチップの第３例を示す模式的な斜視図である。 図１３は、実施の形態の変形例２に係るＡＩチップの第４例を示す模式的な斜視図である。
（本開示の概要）
本開示の一態様に係るＡＩチップは、データを記憶する複数のメモリダイと、ＡＩ処理に含まれる演算を行う複数の演算ダイと、前記複数のメモリダイ及び前記複数の演算ダイを制御するシステムチップとを備え、前記複数のメモリダイの各々は、第１レイアウトパターンを有し、前記複数の演算ダイの各々は、第２レイアウトパターンを有し、前記複数のメモリダイの１つである第２メモリダイは、前記複数のメモリダイの１つである第１メモリダイの前記第１レイアウトパターンの上方に積層され、前記複数の演算ダイの１つである第２演算ダイは、前記複数の演算ダイの１つである第１演算ダイの前記第２レイアウトパターンの上方に積層されている。
これにより、メモリ容量が必要な場合にはメモリダイを、演算能力が必要な場合には演算ダイを、それぞれに必要な個数積層することができる。つまり、ＡＩチップの性能を簡単にスケーラブルに変更することができる。このため、ＡＩチップの処理能力を簡単に向上させることができる。
また、例えば、前記システムチップは、前記第１メモリダイと前記第１演算ダイとを備えてもよい。
これにより、インターポーザを利用しなくてよいので、ＡＩチップの低コスト化を実現することができる。
また、例えば、前記システムチップは、インターポーザを備え、前記第１メモリダイ及び前記第１演算ダイの少なくとも一方は、前記インターポーザ上に積層されていてもよい。
これにより、インターポーザを利用することで、メモリダイ及び演算ダイのみを再設計することで、システムチップ全体の再設計を行うことなく、ＡＩチップの処理能力を向上させることができる。
また、例えば、前記第１メモリダイ及び前記第１演算ダイは、前記インターポーザ上に積層されていてもよい。
これにより、メモリダイ及び演算ダイの配置の自由度を高めることができる。
また、例えば、前記システムチップは、平面視において、互いに重複しない第１領域及び第２領域を有し、前記複数のメモリダイは、前記第１領域に積層され、前記複数の演算ダイは、前記第２領域に積層されていてもよい。
これにより、メモリダイと演算ダイとが別々に積層されるので、メモリダイのレイアウトパターンと演算ダイのレイアウトパターンとが全く異なっていてもよい。メモリダイと演算ダイとで、レイアウトパターンをそれぞれに最適化することができる。
また、例えば、前記第１メモリダイ及び前記第１演算ダイの一方は、前記第１メモリダイ及び前記第１演算ダイの他方の上方に積層されていてもよい。
これにより、メモリダイと演算ダイとを同じ領域に積層することができるので、システムチップの小面積化を実現することができる。
また、例えば、前記複数の演算ダイの各々は、書き換え可能回路を有し、前記書き換え可能回路は、前記ＡＩ処理用のアクセラレータ回路を含んでもよい。
これにより、回路の書き換えが可能でありながら、ＡＩ処理を高速化することができる。
また、例えば、前記書き換え可能回路は、論理ブロック及びスイッチブロックを含んでもよい。
これにより、ＡＩ処理の高速化だけでなく、その他の論理演算を高速に処理することができる。
また、例えば、前記ＡＩ処理に含まれる演算は、畳み込み演算、行列演算及びプーリング演算の少なくとも１つを含んでもよい。
これにより、ＡＩ処理を高速化することができる。
また、例えば、前記畳み込み演算は、対数領域で行う演算を含んでもよい。
これにより、乗算を使わずに加算だけで演算が可能になるので、ＡＩ処理を高速化することができる。また、演算ダイの小面積化が実現できる。
また、例えば、前記ＡＩ処理は、ディザを用いた誤差拡散手法を含んでもよい。
これにより、ディザを使うことで、低ビット数でも精度劣化を抑制することができる。
また、例えば、前記システムチップは、制御ブロックと、前記制御ブロックと前記複数のメモリダイ及び前記複数の演算ダイとを電気的に接続するバスとを含んでもよい。
これにより、ＡＩチップのみで複雑な処理を実行することができる。
また、例えば、複数の前記第１レイアウトパターンは、互いに貫通導体を介して接続されていてもよい。
これにより、メモリダイ間の導通を容易に確保することができ、データ及び信号の送受信が可能になる。
また、例えば、複数の前記第１レイアウトパターンは、互いに無線で接続されていてもよい。
これにより、無線通信によってメモリダイ間のデータ及び信号の送受信を簡単に行うことができる。また、ＡＩチップの低コスト化も実現することができる。
また、例えば、複数の前記第２レイアウトパターンは、互いに貫通導体を介して接続されていてもよい。
これにより、演算ダイ間の導通を容易に確保することができ、データ及び信号の送受信が可能になる。
また、例えば、複数の前記第２レイアウトパターンは、互いに無線で接続されていてもよい。
これにより、無線通信によって演算ダイ間のデータ及び信号の送受信を簡単に行うことができる。また、ＡＩチップの低コスト化も実現することができる。
以下では、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
また、本明細書において、「上方」及び「下方」という用語は、絶対的な空間認識における上方向（鉛直上方）及び下方向（鉛直下方）を指すものではなく、積層構成における積層順を基に相対的な位置関係により規定される用語として用いる。また、「上方」及び「下方」という用語は、２つの構成要素が互いに間隔を空けて配置されて２つの構成要素の間に別の構成要素が存在する場合のみならず、２つの構成要素が互いに密着して配置されて２つの構成要素が接する場合にも適用される。
（実施の形態）
［１．概要］
まず、実施の形態に係るＡＩチップの概要について、図１を用いて説明する。図１は、本実施の形態に係るＡＩチップ１を示す模式的な斜視図である。
図１に示されるＡＩチップ１は、ＡＩ処理を実行する半導体チップである。ＡＩ処理は、人工知能を利用するための各種演算処理であり、例えば、自然言語処理、音声認識処理、画像認識処理及びレコメンデーション、並びに、各種機器の制御処理などに利用される。ＡＩ処理には、例えば機械学習又はディープラーニングなどが含まれる。
図１に示されるように、ＡＩチップ１は、システムチップ１００と、パッケージ基板１０１と、データを記憶する複数のメモリダイ２０１と、ＡＩ処理に含まれる演算を行う複数の演算ダイ３０１とを備える。システムチップ１００は、パッケージ基板１０１に実装されている。複数のメモリダイ２０１及び複数の演算ダイ３０１は、システムチップ１００に実装されている。複数のメモリダイ２０１及び複数の演算ダイ３０１はそれぞれが、ベアチップである。
本実施の形態では、システムチップ１００は、データを記憶するメモリダイ２００と、ＡＩ処理に含まれる演算を行う演算ダイ３００とを備える。このため、システムチップ１００は、単独で（すなわち、メモリダイ２０１及び演算ダイ３０１が積層されていなくても）ＡＩ処理を実行することができる。ＡＩ処理を高速化するために、メモリダイ２０１及び演算ダイ３０１が追加的に設けられる。メモリダイ２０１及び演算ダイ３０１はそれぞれ、メモリ容量及び演算能力を向上させるために必要な個数設けられる。
複数のメモリダイ２０１は、メモリダイ２００の上方に積層される。メモリダイ２０１の個数を増やす程、ＡＩ処理に利用可能なメモリ容量を増やすことができる。メモリダイ２０１の個数は、ＡＩチップ１に要求されるメモリ容量に応じて決定される。ＡＩチップ１は、少なくとも１つのメモリダイ２０１を備える。メモリ容量は、メモリダイの個数に比例して向上する。
複数の演算ダイ３０１は、演算ダイ３００の上方に積層される。演算ダイ３０１の個数を増やす程、ＡＩ処理に利用できる演算能力を増やすことができる。演算ダイ３０１の個数は、ＡＩチップ１に要求される演算能力に応じて決定される。ＡＩチップ１は、少なくとも１つの演算ダイ３０１を備える。
演算能力は、例えば、単位時間当たりに実行可能な命令数（ＴＯＰＳ：Ｔｅｒａ Ｏｐｅｒａｔｉｏｎｓ Ｐｅｒ Ｓｅｃｏｎｄ）である。例えば、１つの演算ダイ３０１は、１Ｗの消費電力で４０ＴＯＰＳの命令実行能力を有する。図１に示されるように、演算ダイ３００を含めて合計７つの演算ダイが積層されているので、ＡＩチップ１は、７Ｗの消費電力で２８０ＴＯＰＳの命令実行能力を有する。このように、ＡＩチップ１の処理能力は、演算ダイの個数に比例して向上する。
本実施の形態では、メモリダイと演算ダイとは、別々に積層されている。つまり、複数のメモリダイと複数の演算ダイとは、システムチップ１００の平面視における互いに異なる領域に配置されている。
具体的には、システムチップ１００は、図１に示されるように、第１領域１０２と第２領域１０３とを有する。第１領域１０２は、平面視において第２領域１０３とは異なる領域である。
メモリダイ２００及び複数のメモリダイ２０１は、第１領域１０２に配置されている。具体的には、第１領域１０２に配置されたメモリダイ２００の上に全てのメモリダイ２０１が積層されている。メモリダイ２００と全てのメモリダイ２０１とは、平面視において互いに重複している。１つのメモリダイ２００又は２０１の上には１つのメモリダイ２０１が積層されている。
演算ダイ３００及び複数の演算ダイ３０１は、第２領域１０３に配置されている。具体的には、第２領域１０３に配置された演算ダイ３００の上に全ての演算ダイ３０１が積層されている。演算ダイ３００と全ての演算ダイ３０１とは、平面視において互いに重複している。１つの演算ダイ３００又は３０１の上には１つの演算ダイ３０１が積層されている。
以上のように、ＡＩチップ１では、メモリダイ及び演算ダイがそれぞれ、必要に応じた個数を積層可能に構成されている。つまり、メモリ容量が必要な場合は、メモリダイ２０１を必要な個数積層することができる。演算能力が必要な場合は、演算ダイ３０１を必要な個数積層することができる。メモリ容量及び演算能力の両方が必要な場合は、メモリダイ２０１及び演算ダイ３０１をそれぞれ必要な個数積層することができる。このように、ＡＩチップ１の性能を簡単にスケーラブルに変更することができる。このため、ＡＩチップ１の処理能力を簡単に向上させることができる。
［２．構成］
続いて、ＡＩチップ１の各構成要素の具体的な構成について説明する。
［２－１．システムチップ］
まず、システムチップ１００の構成について、図２を用いて説明する。図２は、本実施の形態に係るＡＩチップ１が備えるシステムチップ１００の構成を示すブロック図である。
システムチップ１００は、ＡＩチップ１の全体を制御する。具体的には、システムチップ１００は、複数のメモリダイ２００及び２０１並びに複数の演算ダイ３００及び３０１を制御する。
図２に示されるように、システムチップ１００は、マイクロコントローラ１１０と、システムバス１２０と、外部インタフェース１３０と、画像処理エンジン１４０と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）コントローラ１５０と、ＡＩアクセラレータ１６０とを備える。
マイクロコントローラ１１０は、システムチップ１００全体の制御を行う制御ブロックの一例である。マイクロコントローラ１１０は、システムバス１２０を介して、外部インタフェース１３０、画像処理エンジン１４０、ＤＲＡＭコントローラ１５０及びＡＩアクセラレータ１６０の各々との間でデータ及び情報の送受信を行い、演算及び命令を実行する。図２に示されるように、マイクロコントローラ１１０は、複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、Ｌ２キャッシュ１１２とを備える。なお、マイクロコントローラ１１０が備えるＣＰＵ１１１の個数は、１個のみでもよい。また、マイクロコントローラ１１０は、Ｌ２キャッシュ１１２を備えていなくてもよい。
マイクロコントローラ１１０は、メモリダイ２００及び複数のメモリダイ２０１の中から選択した任意のメモリダイに、ＡＩ処理に必要なデータを記憶させる。つまり、一のメモリダイ２００又は２０１に記憶可能なデータは、他のメモリダイ２００又は２０１にも記憶することができる。マイクロコントローラ１１０は、積層された全てのメモリダイ２０１を有効なメモリ領域として利用する。新たにメモリダイ２０１が積層された場合、マイクロコントローラ１１０は、新たなメモリダイ２０１を既存のメモリダイ２００又は２０１と同等に制御することができる。
また、マイクロコントローラ１１０は、演算ダイ３００及び複数の演算ダイ３０１の中から選択した任意の演算ダイに、ＡＩ処理に含まれる演算を実行させる。つまり、一の演算ダイ３００又は３０１が実行可能な命令は、他の演算ダイ３００又は３０１が実行することもできる。マイクロコントローラ１１０は、積層された全ての演算ダイ３０１を有効な演算回路として利用する。新たに演算ダイ３０１が積層された場合、マイクロコントローラ１１０は、新たな演算ダイ３０１を既存の演算ダイ３００又は３０１と同等に制御することができる。
システムバス１２０は、データ及び信号などの送受信に利用される配線である。システムバス１２０には、マイクロコントローラ１１０、外部インタフェース１３０、画像処理エンジン１４０、ＤＲＡＭコントローラ１５０及びＡＩアクセラレータ１６０が電気的に接続され、互いに通信可能である。
外部インタフェース１３０は、ＡＩチップ１とは異なる外部装置とのデータ及び信号の送受信を行うためのインタフェースである。
画像処理エンジン１４０は、画像信号又は映像信号を処理する信号処理回路である。例えば、画像処理エンジン１４０は、画質調整処理などを実行する。
ＤＲＡＭコントローラ１５０は、ＡＩチップ１とは異なる外部メモリに対するデータの読み出し及び書き込みなどを行うメモリコントローラである。
ＡＩアクセラレータ１６０は、ＡＩ処理を高速に行う信号処理回路である。図２に示されるように、ＡＩアクセラレータ１６０は、内部バス１６１と、メモリダイ２００と、演算ダイ３００と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）４００とを備える。
内部バス１６１は、ＡＩアクセラレータ１６０内でのデータ及び信号などの送受信に利用される配線である。内部バス１６１には、メモリダイ２００、演算ダイ３００及びＤＳＰ４００が電気的に接続され、互いに通信可能である。内部バス１６１は、複数のメモリダイ２０１及び複数の演算ダイ３０１に対するデータ及び信号などの送受信にも利用される。内部バス１６１とシステムバス１２０とは、マイクロコントローラ１１０と、複数のメモリダイ２００及び２０１並びに複数の演算ダイ３００及び３０１とを電気的に接続するバスを構成している。
メモリダイ２００は、ＡＩチップ１が備える複数のメモリダイの１つである第１メモリダイの一例である。図３に示されるように、メモリダイ２００が有するレイアウトパターン（第１レイアウトパターン）の上方に複数のメモリダイ２０１が積層されている。ここで、図３は、図２に示されるブロック図と図１に示される斜視図との関係を模式的に示す図である。複数のメモリダイ２０１の各々は、第１メモリダイが有する第１レイアウトパターンの上方に積層された第２メモリダイの一例である。
演算ダイ３００は、ＡＩチップ１が備える複数の演算ダイの１つである第１演算ダイの一例である。図３に示されるように、演算ダイ３００が有するレイアウトパターン（第２レイアウトパターン）の上方に複数の演算ダイ３０１が積層されている。複数の演算ダイ３０１の各々は、第１演算ダイが有する第２レイアウトパターンの上方に積層された第２演算ダイの一例である。
ＤＳＰ４００は、ＡＩ処理に関わるデジタル信号処理を行うプロセッサである。
なお、システムチップ１００の構成は、図２に示される例に限定されない。例えば、システムチップ１００は、画像処理エンジン１４０を備えなくてもよい。システムチップ１００は、所定の処理に専用の信号処理回路などを備えてもよい。
［２－２．メモリダイ］
次に、メモリダイ２００及び２０１の構成について、図４を用いて説明する。図４は、本実施の形態に係るＡＩチップ１が備えるメモリダイ２００及び２０１の平面レイアウトの一例を示す平面図である。
メモリダイ２００と複数のメモリダイ２０１の各々とは、同じレイアウトパターンを有する。具体的には、メモリダイ２００と複数のメモリダイ２０１の各々とは、同一の構成を有し、各々のメモリ容量が同じである。以下では、メモリダイ２０１の構成を中心に説明する。
メモリダイ２０１は、例えば、ＤＲＡＭ又はＳＲＡＭなどの揮発性メモリである。メモリダイ２０１は、ＮＡＮＤ型フラッシュメモリなどの不揮発性メモリであってもよい。図４に示されるように、メモリダイ２００は、一つ以上のメモリブロック２１０と、一つ以上の入出力ポート２４０と、一つ以上の配線２６０とを備える。一つ以上のメモリブロック２１０と、一つ以上の入出力ポート２４０と、一つ以上の配線２６０とはそれぞれ、メモリダイ２０１を構成するシリコン基板の表面又は内部に形成されている。メモリダイ２０１のレイアウトパターンは、メモリブロック２１０、入出力ポート２４０及び配線２６０の各々の大きさ、形状、個数及び配置によって表される。
一つ以上のメモリブロック２１０はそれぞれ、一つ以上のメモリセルを含み、データを記憶する記憶回路である。図４に示される例では、一つ以上のメモリブロック２１０には、面積（メモリ容量）が異なるものが含まれているが、全てのメモリブロック２１０が同じ面積であってもよい。
一つ以上の入出力ポート２４０はそれぞれ、メモリダイ２０１に対するデータ及び信号の入出力を行う端子である。メモリダイ２０１は、入出力ポート２４０を介して、上下に積層されたメモリダイ２００又は２０１と電気的に接続される。メモリダイ２０１は、メモリダイ２００と電気的に接続されており、メモリダイ２００を介して内部バス１６１及びシステムバス１２０に電気的に接続される。図４に示される例では、一つ以上の入出力ポート２４０がメモリダイ２０１の外周に沿って環状に配置されているが、これに限らない。例えば、一つ以上の入出力ポート２４０は、メモリダイ２０１の中央に設けられていてもよい。
一つ以上の配線２６０は、入出力ポート２４０とメモリブロック２１０とを接続する電気配線であり、データの送受信に用いられる。一つ以上の配線２６０は、例えばビット線及びワード線を含んでいる。図４に示される例では、一つ以上の配線２６０は、格子状に設けられているが、ストライプ状であってもよい。
図４では、メモリダイ２００及び２０１の構成の一例を模式的に簡略化して示したが、メモリダイ２００及び２０１の構成は、レイアウトパターンが同じであれば、特に限定されない。
［２－３．演算ダイ］
次に、演算ダイ３００及び３０１の構成について、図５を用いて説明する。図５は、本実施の形態に係るＡＩチップ１が備える演算ダイ３００及び３０１の平面レイアウトの一例を示す図である。
演算ダイ３００と複数の演算ダイ３０１の各々とは、同じレイアウトパターンを有する。具体的には、演算ダイ３００と複数の演算ダイ３０１の各々とは、同一の構成を有し、各々の演算能力が同じである。以下では、演算ダイ３０１の構成を中心に説明する。
演算ダイ３０１は、書き換え可能回路を有する。具体的には、演算ダイ３０１は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。図５に示されるように、演算ダイ３０１は、一つ以上のＡＩ処理ブロック３１０と、一つ以上の論理ブロック３２０と、一つ以上のスイッチブロック３３０と、一つ以上の入出力ポート３４０と、一つ以上の接続ブロック３５０と、一つ以上の配線３６０とを備える。一つ以上のＡＩ処理ブロック３１０と、一つ以上の論理ブロック３２０と、一つ以上のスイッチブロック３３０と、一つ以上の入出力ポート３４０と、一つ以上の接続ブロック３５０と、一つ以上の配線３６０とは、演算ダイ３０１を構成するシリコン基板の表面又は内部に形成されている。演算ダイ３０１のレイアウトパターンは、ＡＩ処理ブロック３１０、論理ブロック３２０、スイッチブロック３３０、入出力ポート３４０、接続ブロック３５０及び配線３６０の各々の大きさ、形状、個数及び配置によって表される。
一つ以上のＡＩ処理ブロック３１０はそれぞれ、ＡＩ処理用のアクセラレータ回路である。ＡＩ処理ブロック３１０の具体的な構成については、図６を用いて後で説明する。
一つ以上の論理ブロック３２０はそれぞれ、論理演算を行う演算回路である。一つ以上のＡＩ処理ブロック３１０と一つ以上の論理ブロック３２０とは、行列状に並んで配置されている。例えば、図５に示される例では、一つ以上のＡＩ処理ブロック３１０と一つ以上の論理ブロック３２０とは、３行×３列に並んで配置されており、各ブロックは、スイッチブロック３３０及び接続ブロック３５０を介して配線３６０によって電気的に接続されている。なお、ＡＩ処理ブロック３１０の個数は、１個のみでもよく、特に限定されない。また、一つ以上のＡＩ処理ブロック３１０と一つ以上の論理ブロック３２０の配置は行列上に限定されることはなく、ストライプ状であってもよい。
一つ以上のスイッチブロック３３０はそれぞれ、スイッチブロック３３０の隣に位置する２つ～４つの接続ブロック３５０の接続関係を切り替える切替回路である。
一つ以上の入出力ポート３４０はそれぞれ、演算ダイ３０１に対するデータ及び信号の入出力を行う端子である。演算ダイ３０１は、入出力ポート３４０を介して、上下に積層された演算ダイ３００又は３０１と接続される。演算ダイ３０１は、演算ダイ３００と接続されており、演算ダイ３００を介して内部バス１６１及びシステムバス１２０に接続される。図５に示される例では、一つ以上の入出力ポート３４０が演算ダイ３０１の外周に沿って環状に配置されているが、これに限らない。例えば、一つ以上の入出力ポート３４０は、演算ダイ３０１の中央に設けられていてもよい。
一つ以上の接続ブロック３５０はそれぞれ、接続ブロック３５０の隣に位置するＡＩ処理ブロック３１０、論理ブロック３２０及びスイッチブロック３３０と接続するための回路である。
一つ以上の配線３６０は、入出力ポート３４０とＡＩ処理ブロック３１０及び論理ブロック３２０などとを接続する電気配線であり、データの送受信に用いられる。図５に示される例では、一つ以上の配線３６０は、格子状に設けられているが、ストライプ状であってもよい。
演算ダイ３０１は、スイッチブロック３３０及び接続ブロック３５０において、入出力ポート３４０、ＡＩ処理ブロック３１０及び論理ブロック３２０の接続関係が切り替えられることにより、特定の演算処理を行うことができる。スイッチブロック３３０及び接続ブロック３５０の切り替えは、例えば、図示されないメモリに記憶された構成情報（コンフィギュレーションデータ）を用いて行われる。
次に、ＡＩ処理ブロック３１０の具体的な構成について、図６を用いて説明する。図６は、本実施の形態に係る演算ダイ３００及び３０１が備えるＡＩ処理ブロック３１０の構成を示すブロック図である。
ＡＩ処理ブロック３１０は、ＡＩ処理に含まれる演算を行う。具体的には、ＡＩ処理ブロック３１０は、畳み込み演算、行列演算及びプーリング演算の少なくとも１つを行う。例えば、ＡＩ処理ブロック３１０は、図６に示されるように、対数処理回路３１１を含む。対数処理回路３１１は、対数量子化された入力データに対して演算を行う。具体的には、対数処理回路３１１は、対数量子化された入力データの畳み込み演算を行う。畳み込み演算に含まれる乗算処理は、演算対象のデータが対数領域に変換されることにより、加算処理で実行可能である。これにより、ＡＩ処理の高速化が実現される。
また、ＡＩ処理ブロック３１０が行うＡＩ処理は、ディザを用いた誤差拡散手法を含んでもよい。具体的には、ＡＩ処理ブロック３１０は、ディザ回路３１２を含む。ディザ回路３１２は、誤差拡散手法を用いた演算を行う。これにより、少ないビット数でも演算の精度の劣化を抑制することができる。
図５では、演算ダイ３００及び３０１の構成の一例を模式的に簡略化して示したが、演算ダイ３００及び３０１の構成は、レイアウトパターンが同じであれば、特に限定されない。
［３．積層されたダイ同士の接続］
続いて、積層されたダイ同士の接続について説明する。ダイ同士の接続には、ＴＳＶ（Ｔｈｒｏｕｇｈ Ｓｉｌｉｃｏｎ Ｖｉａ）を用いる場合と、無線を用いる場合とがある。
［３－１．ＴＳＶ］
図７は、本実施の形態に係る複数のメモリダイ２０１及び複数の演算ダイ３０１の接続にＴＳＶが用いられる例を示す断面図である。図７には、システムチップ１００がバンプ電極１８０を介してパッケージ基板１０１に実装されている様子が図示されている。なお、メモリダイ２００及び演算ダイ３００はシステムチップ１００内で一体的に形成されているが、図７では破線及び網掛けによって模式的にメモリダイ２００及び演算ダイ３００が設けられた領域を表している。これは、図８においても同様である。
図７に示されるように、複数のメモリダイ２０１の各々には、ＴＳＶ２７０が設けられている。ＴＳＶ２７０は、メモリダイ２０１を貫通する貫通導体の一例である。ＴＳＶ２７０は、例えば、銅（Ｃｕ）などの金属材料を用いて形成されている。具体的には、メモリダイ２０１を厚み方向に貫通する貫通孔を形成した後、貫通孔の内壁を絶縁膜で覆い、その後、電解めっき法などによって金属材料で貫通孔を充填することによってＴＳＶ２７０を形成することができる。
図７では、ＴＳＶ２７０の少なくとも一方の端部には、銅などの金属材料を用いてバンプ電極２８０が形成され、積層方向に隣り合うメモリダイ２０１のＴＳＶ２７０同士を電気的に接続している。なお、バンプ電極２８０を使用せずに積層方向に隣り合うメモリダイ２０１を接続してもよい。
ＴＳＶ２７０及びバンプ電極２８０は、平面視において、図４に示される入出力ポート２４０に重複する位置に設けられる。本実施の形態では、メモリダイ２００及び複数のメモリダイ２０１が同一のレイアウトパターンを有するので、それぞれを積層した場合に、入出力ポート２４０の位置が平面視において一致する。このため、メモリダイ２０１を厚み方向に貫通するＴＳＶ２７０によって、メモリダイ２０１同士を簡単に電気的に接続することができる。
メモリダイ２０１と同様に、複数の演算ダイ３０１の各々には、ＴＳＶ３７０が設けられている。ＴＳＶ３７０は、演算ダイ３０１を貫通する貫通導体の一例である。ＴＳＶ３７０の材料及び形成方法は、ＴＳＶ２７０と同じである。
図７では、ＴＳＶ３７０の少なくとも一方の端部には、銅などの金属材料を用いてバンプ電極３８０が形成され、積層方向に隣り合う演算ダイ３０１のＴＳＶ３７０同士を電気的に接続している。なお、バンプ電極３８０を使用せずに積層方向に隣り合う演算ダイ３０１を接続してもよい。
ＴＳＶ３７０及びバンプ電極３８０は、平面視において、図５に示される入出力ポート３４０に重複する位置に設けられる。本実施の形態では、演算ダイ３００及び複数の演算ダイ３０１が同一のレイアウトパターンを有するので、それぞれを積層した場合に、入出力ポート３４０の位置が平面視において一致する。このため、演算ダイ３０１を厚み方向に貫通するＴＳＶ３７０によって、演算ダイ３０１同士を簡単に電気的に接続することができる。
なお、最上層のメモリダイ２０１を最下層のメモリダイ２００に電気的に接続するためには、最上層のメモリダイ２０１を除く全てのメモリダイ２０１の各々にＴＳＶ２７０が設けられている。同様に、上から２番目のメモリダイ２０１をメモリダイ２００に電気的に接続するためには、最上層及び上から２番目のメモリダイ２０１を除く残り全てのメモリダイ２０１の各々にＴＳＶ２７０が設けられている。このとき、最上層のメモリダイ２０１の接続に用いられるＴＳＶ２７０と、上から２番目のメモリダイ２０１の接続に用いられるＴＳＶ２７０とは、同じＴＳＶであって共用されていてもよく、異なるＴＳＶであって共用されていなくてもよい。演算ダイ３０１についても同様である。
［３－２．無線］
図８は、本実施の形態に係る複数のメモリダイ２０１及び複数の演算ダイ３０１の接続に無線が用いられる例を示す断面図である。無線を用いた接続は、ワイヤレスＴＳＶ技術とも称される。
図８に示されるように、複数のメモリダイ２０１の各々には、無線通信回路２９０が設けられている。無線通信回路２９０は、通信範囲が数十μｍ程度の超近距離無線通信を行う。具体的には、無線通信回路２９０は、微小なコイルを有し、コイル間の磁界結合を利用して通信を行う。
メモリダイ２０１と同様に、複数の演算ダイ３０１の各々には、無線通信回路３９０が設けられている。無線通信回路３９０は、通信範囲が数十μｍ程度の超近距離無線通信を行う。具体的には、無線通信回路３９０は、微小なコイルを有し、コイル間の磁界結合を利用して通信を行う。
図８では、無線通信回路２９０及び３９０がそれぞれ、基板内に埋め込まれている例を示しているが、これに限らない。無線通信回路２９０及び３９０は、基板の上面及び下面の少なくとも一方に設けられていてもよい。
なお、メモリダイ２０１の接続には、ＴＳＶが用いられ、演算ダイ３０１の接続には、無線が用いられてもよい。あるいは、メモリダイ２０１の接続には、無線が用いられ、演算ダイ３０１の接続には、ＴＳＶが用いられてもよい。また、メモリダイ２０１の接続には、ＴＳＶと無線との両方が用いられてもよい。同様に、演算ダイ３０１の接続には、ＴＳＶと無線との両方が用いられてもよい。
［４．変形例］
続いて、実施の形態に係るＡＩチップ１の変形例について説明する。以下では、上述した実施の形態との相違点を中心に説明を行い、共通点の説明を省略又は簡略化する。
［４－１．変形例１］
まず、変形例１に係るＡＩチップについて説明する。変形例１では、メモリダイ及び演算ダイの少なくとも一方の積層にインターポーザが用いられる。
図９は、変形例１に係るＡＩチップ２を示す模式的な斜視図である。図９に示されるように、ＡＩチップ２では、システムチップ１００がインターポーザ５００を備える。システムチップ１００は、メモリダイ２００及び演算ダイ３００を備えない。
インターポーザ５００は、チップと基板との電気的な接続を中継する中継部品である。本変形例では、複数のメモリダイ２０１の１つと、複数の演算ダイ３０１の１つとがそれぞれ、インターポーザ５００上に積層されている。残りのメモリダイ２０１は、インターポーザ５００上に積層されたメモリダイ２０１の上方に積層されている。残りの演算ダイ３０１は、インターポーザ５００上に積層された演算ダイ３０１の上方に積層されている。
なお、本変形例において、システムチップ１００は、メモリダイ２００及び演算ダイ３００の一方を備えてもよい。言い換えると、メモリダイと演算ダイとのいずれか一方のみがインターポーザ５００上に積層されていてもよい。
例えば、ＡＩチップ２は、システムチップ１００が備えるメモリダイ２００の上方に積層された１つ以上のメモリダイ２０１と、インターポーザ５００上に積層された複数の演算ダイ３０１とを備えてもよい。あるいは、ＡＩチップ２は、システムチップ１００が備える演算ダイ３００の上方に積層された１つ以上の演算ダイ３０１と、インターポーザ５００上に積層された複数のメモリダイ２０１とを備えてもよい。
［４－２．変形例２］
次に、変形例２に係るＡＩチップについて説明する。変形例２では、メモリダイと演算ダイとが混在して積層される。
図１０～図１３はそれぞれ、変形例２に係るＡＩチップ３～６を示す模式的な斜視図である。
図１０に示されるＡＩチップ３では、システムチップ１００は、メモリダイ２００を備え、演算ダイ３００を備えない。メモリダイ２００の上方に、複数のメモリダイ２０１と複数の演算ダイ３０１とがこの順で積層されている。つまり、複数のメモリダイ２０１のうちの最上層のメモリダイ２０１上に、複数の演算ダイ３０１のうちの最下層の演算ダイ３０１が積層されている。
なお、図１１に示されるＡＩチップ４のように、複数の演算ダイ３０１の上方に複数のメモリダイ２０１が積層されていてもよい。ＡＩチップ４では、システムチップ１００は、演算ダイ３００を備え、メモリダイ２００を備えない。演算ダイ３００の上方に、複数の演算ダイ３０１と複数のメモリダイ２０１とがこの順で積層されている。つまり、複数の演算ダイ３０１のうちの最上層の演算ダイ３０１上に、複数のメモリダイ２０１のうちの最下層のメモリダイ２０１が積層されている。
あるいは、図１２に示されるＡＩチップ５のように、メモリダイ２０１と演算ダイ３０１とが交互に積層されていてもよい。ＡＩチップ５では、システムチップ１００がメモリダイ２００を備え、演算ダイ３００を備えない。メモリダイ２００上に、演算ダイ３０１とメモリダイ２０１とが１つずつ交互に積層される。なお、ＡＩチップ５では、システムチップ１００が演算ダイ３００を備え、メモリダイ２００を備えなくてもよい。演算ダイ３００上に、メモリダイ２０１と演算ダイ３０１とが１つずつ交互に積層されてもよい。また、ＡＩチップ５では、システムチップ１００がメモリダイ２００と演算ダイ３００とを備えてもよい。メモリダイ２００と演算ダイ３００との各々の上方に、メモリダイ２０１と演算ダイ３０１とが交互に１つずつ積層されてもよい。また、メモリダイ２０１及び演算ダイ３０１の少なくとも一方は、複数個ずつ積層されてもよい。
また、図１３に示されるＡＩチップ６のように、インターポーザ５００上にメモリダイ２０１と演算ダイ３０１とが積層されてもよい。ＡＩチップ６では、システムチップ１００は、メモリダイ２００及び演算ダイ３００のいずれも備えず、インターポーザ５００を備える。インターポーザ５００上には、複数の演算ダイ３０１のうちの１つが積層されている。インターポーザ５００上に積層された演算ダイ３０１の上方に、残りの演算ダイ３０１及びメモリダイ２０１が積層されている。なお、インターポーザ５００上には、メモリダイ２０１が積層されていてもよい。また、インターポーザ５００の上方に積層されるメモリダイ２０１と演算ダイ３０１とは１つずつ交互に積層されてもよいし、複数個ずつ積層されてもよい。
このように、メモリダイと演算ダイとの積層方法は特に限定されず、設計変更の自由度が高いＡＩチップが実現される。
（他の実施の形態）
以上、１つ又は複数の態様に係るＡＩチップについて、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
例えば、図１２に示されるＡＩチップ５のように、１つのメモリダイは、他のメモリダイの第１レイアウトパターン上に直接積層されていなくてもよい。つまり、上層に位置するメモリダイは、下層に位置するメモリダイのレイアウトパターンの上方に積層されていればよく、間に演算ダイが介在していてもよい。同様に、１つの演算ダイは、他の演算ダイの第２レイアウトパターン上に直接積層されていなくてもよい。つまり、上層に位置する演算ダイは、下層に位置する演算ダイのレイアウトパターンの上方に積層されていればよく、間にメモリダイが介在していてもよい。なお、メモリダイ同士、演算ダイ同士、又は、メモリダイと演算ダイとは、インターポーザを介さずに積層されている。
また、演算ダイ３００及び３０１は、書き換え不可能な回路であってもよい。演算ダイ３００及び３０１は、少なくとも１つのＡＩ処理ブロック３１０を備えればよく、論理ブロック３２０、スイッチブロック３３０及び接続ブロック３５０を備えなくてもよい。
また、上記の各実施の形態は、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、処理能力を簡単に向上させることができるＡＩチップとして利用でき、例えば、各種電化製品及びコンピュータ機器などに利用することができる。
１、２、３、４、５、６ ＡＩチップ
１００ システムチップ
１０１ パッケージ基板
１０２ 第１領域
１０３ 第２領域
１１０ マイクロコントローラ
１１１ ＣＰＵ
１１２ Ｌ２キャッシュ
１２０ システムバス
１３０ 外部インタフェース
１４０ 画像処理エンジン
１５０ ＤＲＡＭコントローラ
１６０ ＡＩアクセラレータ
１６１ 内部バス
１８０、２８０、３８０ バンプ電極
２００、２０１ メモリダイ
２１０ メモリブロック
２４０、３４０ 入出力ポート
２６０、３６０ 配線
２７０、３７０ ＴＳＶ
２９０、３９０ 無線通信回路
３００、３０１ 演算ダイ
３１０ ＡＩ処理ブロック
３１１ 対数処理回路
３１２ ディザ回路
３２０ 論理ブロック
３３０ スイッチブロック
３５０ 接続ブロック
４００ ＤＳＰ（デジタルシグナルプロセッサ）
５００ インターポーザ

Claims (16)

  1. データを記憶する複数のメモリダイと、
    ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）処理に含まれる演算を行う複数の演算ダイと、
    前記複数のメモリダイ及び前記複数の演算ダイを制御するシステムチップとを備え、
    前記複数のメモリダイの各々は、第１レイアウトパターンを有し、
    前記複数の演算ダイの各々は、第２レイアウトパターンを有し、
    前記複数のメモリダイの１つである第２メモリダイは、前記複数のメモリダイの１つである第１メモリダイの前記第１レイアウトパターンの上方に積層され、
    前記複数の演算ダイの１つである第２演算ダイは、前記複数の演算ダイの１つである第１演算ダイの前記第２レイアウトパターンの上方に積層されている、
    ＡＩチップ。
  2. 前記システムチップは、前記第１メモリダイと前記第１演算ダイとを備える、
    請求項１に記載のＡＩチップ。
  3. 前記システムチップは、インターポーザを備え、
    前記第１メモリダイ及び前記第１演算ダイの少なくとも一方は、前記インターポーザ上に積層されている、
    請求項１に記載のＡＩチップ。
  4. 前記第１メモリダイ及び前記第１演算ダイは、前記インターポーザ上に積層されている、
    請求項３に記載のＡＩチップ。
  5. 前記システムチップは、平面視において、互いに重複しない第１領域及び第２領域を有し、
    前記複数のメモリダイは、前記第１領域に積層され、
    前記複数の演算ダイは、前記第２領域に積層されている、
    請求項１～４のいずれか１項に記載のＡＩチップ。
  6. 前記第１メモリダイ及び前記第１演算ダイの一方は、前記第１メモリダイ及び前記第１演算ダイの他方の上方に積層されている、
    請求項１～３のいずれか１項に記載のＡＩチップ。
  7. 前記複数の演算ダイの各々は、書き換え可能回路を有し、
    前記書き換え可能回路は、前記ＡＩ処理用のアクセラレータ回路を含む、
    請求項１～６のいずれか１項に記載のＡＩチップ。
  8. 前記書き換え可能回路は、論理ブロック及びスイッチブロックを含む、
    請求項７に記載のＡＩチップ。
  9. 前記ＡＩ処理に含まれる演算は、畳み込み演算、行列演算及びプーリング演算の少なくとも１つを含む、
    請求項１～８のいずれか１項に記載のＡＩチップ。
  10. 前記畳み込み演算は、対数領域で行う演算を含む、
    請求項９に記載のＡＩチップ。
  11. 前記ＡＩ処理は、ディザを用いた誤差拡散手法を含む、
    請求項１～１０のいずれか１項に記載のＡＩチップ。
  12. 前記システムチップは、
    制御ブロックと、
    前記制御ブロックと、前記複数のメモリダイ及び前記複数の演算ダイとを電気的に接続するバスとを含む、
    請求項１～１１のいずれか１項に記載のＡＩチップ。
  13. 複数の前記第１レイアウトパターンは、互いに貫通導体を介して接続されている、
    請求項１～１２のいずれか１項に記載のＡＩチップ。
  14. 複数の前記第１レイアウトパターンは、互いに無線で接続されている、
    請求項１～１２のいずれか１項に記載のＡＩチップ。
  15. 複数の前記第２レイアウトパターンは、互いに貫通導体を介して接続されている、
    請求項１～１４のいずれか１項に記載のＡＩチップ。
  16. 複数の前記第２レイアウトパターンは、互いに無線で接続されている、
    請求項１～１４のいずれか１項に記載のＡＩチップ。
JP2022527567A 2020-05-28 2021-04-14 Ａｉチップ Active JP7270234B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020093022 2020-05-28
JP2020093022 2020-05-28
PCT/JP2021/015475 WO2021241048A1 (ja) 2020-05-28 2021-04-14 Ａｉチップ

Publications (2)

Publication Number Publication Date
JPWO2021241048A1 JPWO2021241048A1 (ja) 2021-12-02
JP7270234B2 true JP7270234B2 (ja) 2023-05-10

Family

ID=78744363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022527567A Active JP7270234B2 (ja) 2020-05-28 2021-04-14 Ａｉチップ

Country Status (4)

Country Link
US (1) US20230197711A1 (ja)
JP (1) JP7270234B2 (ja)
CN (1) CN115516628A (ja)
WO (1) WO2021241048A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117915670B (zh) * 2024-03-14 2024-07-05 上海芯高峰微电子有限公司 一种存算一体的芯片结构

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015502664A (ja) 2011-12-02 2015-01-22 インテル・コーポレーション デバイス相互接続の変化を可能にする積層メモリ
US20190073585A1 (en) 2017-09-01 2019-03-07 Qualcomm Incorporated Ultra-low power neuromorphic artificial intelligence computing accelerator
US20200135719A1 (en) 2018-10-24 2020-04-30 Micron Technology, Inc. Functional Blocks Implemented by 3D Stacked Integrated Circuit
US20200161230A1 (en) 2018-11-18 2020-05-21 International Business Machines Corporation Thinned die stack
US20200168527A1 (en) 2018-11-28 2020-05-28 Taiwan Semiconductor Manfacturing Co., Ltd. Soic chip architecture
US20200303344A1 (en) 2019-03-18 2020-09-24 Kepler Computing Inc. Artificial intelligence processor with three-dimensional stacked memory

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100193B2 (en) * 2018-12-07 2021-08-24 Samsung Electronics Co., Ltd. Dataflow accelerator architecture for general matrix-matrix multiplication and tensor computation in deep learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015502664A (ja) 2011-12-02 2015-01-22 インテル・コーポレーション デバイス相互接続の変化を可能にする積層メモリ
US20190073585A1 (en) 2017-09-01 2019-03-07 Qualcomm Incorporated Ultra-low power neuromorphic artificial intelligence computing accelerator
US20200135719A1 (en) 2018-10-24 2020-04-30 Micron Technology, Inc. Functional Blocks Implemented by 3D Stacked Integrated Circuit
US20200161230A1 (en) 2018-11-18 2020-05-21 International Business Machines Corporation Thinned die stack
US20200168527A1 (en) 2018-11-28 2020-05-28 Taiwan Semiconductor Manfacturing Co., Ltd. Soic chip architecture
US20200303344A1 (en) 2019-03-18 2020-09-24 Kepler Computing Inc. Artificial intelligence processor with three-dimensional stacked memory

Also Published As

Publication number Publication date
US20230197711A1 (en) 2023-06-22
WO2021241048A1 (ja) 2021-12-02
JPWO2021241048A1 (ja) 2021-12-02
CN115516628A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN110875296B (zh) 包括桥式晶片的层叠封装
US20170179078A1 (en) Semiconductor packages and methods of manufacturing the same
US9318477B2 (en) Semiconductor device having dummy cell array
KR101709675B1 (ko) 인터페이스 다이와 복수의 다이 스택들 사이에서 동시 통신을 가능하게 하는 장치들, 스태킹된 장치들에서의 인터리빙된 도전성 경로들, 및 이를 형성 및 동작하는 방법들
US9748201B2 (en) Semiconductor packages including an interposer
TW201637166A (zh) 具有中介層的半導體封裝及其製造方法
JP2010251762A (ja) パッケージされた集積回路装置及びその動作方法とこれを有するメモリ保存装置及び電子システム
US11201140B2 (en) Semiconductor packages including stacked sub-packages with interposing bridges
US9275688B2 (en) Semiconductor device and semiconductor package
US20200402959A1 (en) Stacked semiconductor package having an interposer
US9922965B2 (en) Manufacturing methods semiconductor packages including through mold connectors
KR20110006482A (ko) 메모리 링크 아키텍쳐를 갖는 멀티 프로세서 시스템에 적합한 멀티 칩 패키지 구조
JP7270234B2 (ja) Ａｉチップ
CN112786565A (zh) 具有中介层桥的层叠封装
US20120049361A1 (en) Semiconductor integrated circuit
US10998294B2 (en) Semiconductor packages having stacked chip structure
CN111883489A (zh) 包括扇出子封装件的层叠封装件
CN103915430A (zh) 一种三维芯片堆栈结构
CN113257787A (zh) 包括层叠在基础模块上的芯片的半导体封装
JP6207228B2 (ja) 集積回路装置およびその構成方法
WO2022029825A1 (ja) 演算回路及びａｉ処理モジュール
US11322475B2 (en) Stack semiconductor packages having wire-bonding connection structure
CN113299638B (zh) 包括具有插入桥和半导体晶片的堆叠模块的半导体封装
WO2022172609A1 (ja) Ａｉモジュール
KR20100112490A (ko) 데이터 라인 레이아웃

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7270234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151