JPH08161282A - 多重命令語の多重データ型の神経網専用のディジタルアレイプロセッサーおよびこれを利用して構成されたシステム - Google Patents
多重命令語の多重データ型の神経網専用のディジタルアレイプロセッサーおよびこれを利用して構成されたシステムInfo
- Publication number
- JPH08161282A JPH08161282A JP7247447A JP24744795A JPH08161282A JP H08161282 A JPH08161282 A JP H08161282A JP 7247447 A JP7247447 A JP 7247447A JP 24744795 A JP24744795 A JP 24744795A JP H08161282 A JPH08161282 A JP H08161282A
- Authority
- JP
- Japan
- Prior art keywords
- data
- memory
- neural network
- array processor
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000015654 memory Effects 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 239000000872 buffer Substances 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 2
- 230000003252 repetitive effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/50—Adding; Subtracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/52—Multiplying; Dividing
- G06F7/523—Multiplying only
- G06F7/53—Multiplying only in parallel-parallel fashion, i.e. both operands being entered in parallel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Optimization (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Neurology (AREA)
- Multi Processors (AREA)
- Advance Control (AREA)
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】 VLSIの技術を利用したディジタルプロセッサ
ー設計において、神経網専用のプロセッサーの具現また
は神経網専用の並列プロセッサーの具現に関するもので
ある。 【解決手段】 本発明は演算のパイプライン動作のため
に分離されたメモリー構成（WM,XM）をもつメモリーお
よび汎用レジスターブロック10、プログラムメモリーお
よび制御ブロック11、各種の演算を遂行する演算器ブロ
ック12およびプロセッサー間の通信のための通信ブロッ
ク13の４個のブロック、そしてプログラム用のバス14と
データ用のバス15に分離された形態のバス（BUS）から
構成されることを特徴として、現在のディジタル方式の
VLSI技術を利用して神経網モデルをシミュレーションす
るためのハードウェア（チップ）を安定的に製作するこ
とができる効果がある。
ー設計において、神経網専用のプロセッサーの具現また
は神経網専用の並列プロセッサーの具現に関するもので
ある。 【解決手段】 本発明は演算のパイプライン動作のため
に分離されたメモリー構成（WM,XM）をもつメモリーお
よび汎用レジスターブロック10、プログラムメモリーお
よび制御ブロック11、各種の演算を遂行する演算器ブロ
ック12およびプロセッサー間の通信のための通信ブロッ
ク13の４個のブロック、そしてプログラム用のバス14と
データ用のバス15に分離された形態のバス（BUS）から
構成されることを特徴として、現在のディジタル方式の
VLSI技術を利用して神経網モデルをシミュレーションす
るためのハードウェア（チップ）を安定的に製作するこ
とができる効果がある。
Description
【０００１】
【発明の属する技術分野】本発明は、VLSI（Very Large
Scale Integration）の技術を利用したディジタルプロ
セッサー設計において、多重命令語の多重データ型すな
わちMIMD（Multiple Insruction stream,Multiple Data
stream）型の神経網専用のプロセッサーまたは神経網
専用の並列プロセッサーの具現に関するものである。
Scale Integration）の技術を利用したディジタルプロ
セッサー設計において、多重命令語の多重データ型すな
わちMIMD（Multiple Insruction stream,Multiple Data
stream）型の神経網専用のプロセッサーまたは神経網
専用の並列プロセッサーの具現に関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】神経網
（ニューラルネットワーク）の研究において追及されて
いることは、生物体における認識方法と類似なモデルを
探すことである。
（ニューラルネットワーク）の研究において追及されて
いることは、生物体における認識方法と類似なモデルを
探すことである。
【０００３】このため、生物学的な研究の外に、生物学
的な分析を利用した数学的なモデリングとこのシミュレ
ーションを通じた研究が実施されている。
的な分析を利用した数学的なモデリングとこのシミュレ
ーションを通じた研究が実施されている。
【０００４】しかし、シミュレーションを遂行するため
には高速のコンピューターが必要である。
には高速のコンピューターが必要である。
【０００５】既存のコンピューターを利用したシミュレ
ーションは長時間が消費されてしまうので所期の結果を
得るためには相当の忍耐力が必要である。
ーションは長時間が消費されてしまうので所期の結果を
得るためには相当の忍耐力が必要である。
【０００６】それで、神経網モデルを専門的にシミュレ
ーションすることができるハードウェアの研究が進行し
ている。
ーションすることができるハードウェアの研究が進行し
ている。
【０００７】これは実験室の段階であるばかりでなく、
実際に常用されているシステムもある。
実際に常用されているシステムもある。
【０００８】私達はこのような具現方法の中で、現段階
で適用可能なディジタルのVLSI技術を利用してハードウ
ェアを具現する。
で適用可能なディジタルのVLSI技術を利用してハードウ
ェアを具現する。
【０００９】図６は現在かなり使用されている神経モデ
ルの中の誤差逆伝播モデルの構造図である。
ルの中の誤差逆伝播モデルの構造図である。
【００１０】このモデルは順方向の経路演算と逆方向の
経路演算からなっている。
経路演算からなっている。
【００１１】順方向経路の基本動作は一つの神経細胞と
呼ばれる第２層のM1において、第１層から来る入力値
（NK）と加重値（WK1）が乗算され、その結果を合わせ
たものが神経細胞M1に入って来ると非線形の函数をへて
再び第３層の入力値として出力される。
呼ばれる第２層のM1において、第１層から来る入力値
（NK）と加重値（WK1）が乗算され、その結果を合わせ
たものが神経細胞M1に入って来ると非線形の函数をへて
再び第３層の入力値として出力される。
【００１２】第３層でも同じ動作をし、出力として結果
が出て来る。
が出て来る。
【００１３】逆方向経路の動作も前のものと類似であ
る。
る。
【００１４】関連の書として、”Parallel Distributed
Processing, Vol.l, David E Rumelhart, et al, A Br
adford Book Company”がある。
Processing, Vol.l, David E Rumelhart, et al, A Br
adford Book Company”がある。
【００１５】このモデルの特徴をみると、並列演算のモ
デルであるということと、処理しなければならないデー
タ（入力値と加重値の乗算およびこれらの合わせの演
算）が多いということである。
デルであるということと、処理しなければならないデー
タ（入力値と加重値の乗算およびこれらの合わせの演
算）が多いということである。
【００１６】それで、並列演算を行なうことができるシ
ステムをもつと効果的に神経網モデルをシミュレーショ
ンすることができる。
ステムをもつと効果的に神経網モデルをシミュレーショ
ンすることができる。
【００１７】神経網のシステムを具現する方法の中で電
子的な方法を利用した具現方法にはディジタル方法とア
ナログ方法がある。
子的な方法を利用した具現方法にはディジタル方法とア
ナログ方法がある。
【００１８】しかし、現在の技術を利用してアナログ方
法として具現すると、集積度は良好であるが、システム
が安定化されておらず、学習させる方法が難しくなる。
法として具現すると、集積度は良好であるが、システム
が安定化されておらず、学習させる方法が難しくなる。
【００１９】ディジタル方法を利用した具現は、集積度
が低いが、その外の問題点が相当に解決される。
が低いが、その外の問題点が相当に解決される。
【００２０】それで、現在の技術としては、ディジタル
方法を利用した具現が実際の問題から適用することが容
易である。
方法を利用した具現が実際の問題から適用することが容
易である。
【００２１】このために、多様な方法が提案されている
が、それなりの問題点がある。
が、それなりの問題点がある。
【００２２】したがって本発明は、相当のデータ処理を
必要とする神経網モデルを効果的に迅速にシミュレーシ
ョンすることができる構造をもつMIMID型の神経網専用
のディジタルアレイプロセッサーをVLSIチップ上に形成
したものを提供することを目的とする。
必要とする神経網モデルを効果的に迅速にシミュレーシ
ョンすることができる構造をもつMIMID型の神経網専用
のディジタルアレイプロセッサーをVLSIチップ上に形成
したものを提供することを目的とする。
【００２３】また、前記プロセッサーから構成され、最
適の構造をもつシステムを提供することにその目的があ
る。
適の構造をもつシステムを提供することにその目的があ
る。
【００２４】
【課題を解決するための手段】本発明は、従来技術の特
定部分の性能を向上させたものではなく、独自の構造を
もつVLSIチップを設計したものである。
定部分の性能を向上させたものではなく、独自の構造を
もつVLSIチップを設計したものである。
【００２５】プロセッサーは汎用のマイクロプロセッサ
ーの構造を逸脱して神経網モデルを遂行することを目的
として設計されている。
ーの構造を逸脱して神経網モデルを遂行することを目的
として設計されている。
【００２６】プロセッサー内部にはメモリーがあり、メ
モリー構造は神経網モデルのシミュレーションを容易に
行なうことができるようになっている。
モリー構造は神経網モデルのシミュレーションを容易に
行なうことができるようになっている。
【００２７】演算器の構造と内部のデータ経路もやはり
シミュレーションを容易に行なうことができるようにな
っている。
シミュレーションを容易に行なうことができるようにな
っている。
【００２８】並列プロセッサーのプロセッサー間の通信
は、既存のハンドシェーキング方法を改善することによ
って、神経網モデルをシミュレーションすることが容易
になっている。
は、既存のハンドシェーキング方法を改善することによ
って、神経網モデルをシミュレーションすることが容易
になっている。
【００２９】
【発明の実施の形態】以下、添付の図面を参照して本発
明の実施形態を詳細に説明する。
明の実施形態を詳細に説明する。
【００３０】図１は、本発明の一実施形態であるアレイ
プロセッサーの全体の構造図であって、メモリーおよび
汎用レジスターブロック10、プログラムメモリーおよび
制御ブロック11、演算器ブロック12および通信ブロック
13の４個のブロックから構成されている。
プロセッサーの全体の構造図であって、メモリーおよび
汎用レジスターブロック10、プログラムメモリーおよび
制御ブロック11、演算器ブロック12および通信ブロック
13の４個のブロックから構成されている。
【００３１】そしてバス（BUS）は、プログラム用14と
データ用15とに分離されている。
データ用15とに分離されている。
【００３２】プロセッサーの動作は、プログラムメモリ
ーに設定されている命令語のとおり遂行される。
ーに設定されている命令語のとおり遂行される。
【００３３】命令語（command）は、神経網モデルを容
易にシミュレーションできるようなものとなっており、
命令語の構成がプロセッサーのハードウェア構造を決定
する。
易にシミュレーションできるようなものとなっており、
命令語の構成がプロセッサーのハードウェア構造を決定
する。
【００３４】図２は、本発明の一実施形態であるアレイ
プロセッサーを構成する演算器の構造図である。
プロセッサーを構成する演算器の構造図である。
【００３５】符号WMは加重値メモリーから来るデータ、
XMは入力メモリーから来るデータ、ACCは累算器の出
力、rfoは汎用レジスターの出力、そしてIOは４方向の
通信ポートから来るデータの中の一つである。
XMは入力メモリーから来るデータ、ACCは累算器の出
力、rfoは汎用レジスターの出力、そしてIOは４方向の
通信ポートから来るデータの中の一つである。
【００３６】AC,AVはそれぞれキャリとオーバフローフ
ラグであり、AN/AZ/APは累積器の値が負数／ゼロ／正数
を示すフラグである。
ラグであり、AN/AZ/APは累積器の値が負数／ゼロ／正数
を示すフラグである。
【００３７】図２と関連して、演算器は、２段階パイプ
ライン並列−並列乗算器20、並列加算器／減算器21、論
理器22、そして累算器23とフラグレジスター24から構成
されている。
ライン並列−並列乗算器20、並列加算器／減算器21、論
理器22、そして累算器23とフラグレジスター24から構成
されている。
【００３８】また、データ臨時貯蔵用のレジスター25と
データ選択用のMUXを包含している。
データ選択用のMUXを包含している。
【００３９】前記演算器の特徴は、パイプライン動作を
するものであり、このために二つの面を考慮した。
するものであり、このために二つの面を考慮した。
【００４０】その第一は、ハードウェア構造の側面であ
る。
る。
【００４１】乗算器は２段階パイプライン動作をしてお
り、そして加算器／減算器と直列に連結されて３段階パ
イプライン動作をする。
り、そして加算器／減算器と直列に連結されて３段階パ
イプライン動作をする。
【００４２】その第二は、パイプライン動作のためのデ
ータの供給である。
ータの供給である。
【００４３】連続的なデータ供給のために二つの分離さ
れたメモリーを使用する。
れたメモリーを使用する。
【００４４】神経網モデルに重要な加重値をもっている
メモリー（WM）30と入力値をもっているメモリー（XM）
31とを分離している。
メモリー（WM）30と入力値をもっているメモリー（XM）
31とを分離している。
【００４５】加重値は、神経網モデルの演算が行なわれ
る学習と認識段階の冒頭からプロセッサーがもっている
と有利である。
る学習と認識段階の冒頭からプロセッサーがもっている
と有利である。
【００４６】しかし、入力値は、認識過程からは外部か
ら継続的に入らなければならないので、プロセッサーが
もっている必要はないが、学習のときにはプロセッサー
がもっていることが有利である。
ら継続的に入らなければならないので、プロセッサーが
もっている必要はないが、学習のときにはプロセッサー
がもっていることが有利である。
【００４７】データ経路は、動作速度を考慮して可能な
限り最短の経路を選択し、プロセッサー内から流れるデ
ータの経路を均等にした。
限り最短の経路を選択し、プロセッサー内から流れるデ
ータの経路を均等にした。
【００４８】このために、論理回路を累算器の外に置い
て、そして外部から来るIO値は可能な限り短い経路のみ
を流れて行くようにする。
て、そして外部から来るIO値は可能な限り短い経路のみ
を流れて行くようにする。
【００４９】図３は、メモリーブロックを示している。
【００５０】二つの独立したメモリーがあり、汎用レジ
スターは図１にのみ表示されている。
スターは図１にのみ表示されている。
【００５１】汎用レジスターは、神経網をシミュレーシ
ョンすることにおいて大変重要な部分である。
ョンすることにおいて大変重要な部分である。
【００５２】神経網は単純な演算モデルを使用している
が、実際にプログラムを作成すると特定の変数の反復的
な使用が必要である。
が、実際にプログラムを作成すると特定の変数の反復的
な使用が必要である。
【００５３】このような変数の反復的な使用のために汎
用レジスターを使用するとプロセッサーの性能を向上さ
せることができる。
用レジスターを使用するとプロセッサーの性能を向上さ
せることができる。
【００５４】加重値メモリー30には、８個のメモリーポ
インターレジスターがある。
インターレジスターがある。
【００５５】神経網モデルをシミュレーションすると、
メモリーの連続的な使用というよりは、幾つかの連続す
るメモリーアドレスがグループを成しており、このよう
なグループが反復して使用される。
メモリーの連続的な使用というよりは、幾つかの連続す
るメモリーアドレスがグループを成しており、このよう
なグループが反復して使用される。
【００５６】それで、加重値メモリー30には、多数個の
ポインターレジスター32は必ず必要である。
ポインターレジスター32は必ず必要である。
【００５７】そして、アドレスを計算するための演算器
34も必要である。
34も必要である。
【００５８】入力値をもっているメモリー31は、加重値
より小さい個数のアドレスポインター33を有していてよ
いが、やはり多数個のアドレスポインターが必要であ
る。
より小さい個数のアドレスポインター33を有していてよ
いが、やはり多数個のアドレスポインターが必要であ
る。
【００５９】そしてアドレスを計算するための増加器35
があるだけで効果的にメモリーを使用することができ
る。
があるだけで効果的にメモリーを使用することができ
る。
【００６０】メモリーの分離された構成（WM,XM）は、
演算のパイプライン動作のために必要である。
演算のパイプライン動作のために必要である。
【００６１】そして、並列プロセッサーの性能を決定す
る通信の瓶の首の現象を解決するためには、可能なら大
きい容量の内部メモリーが効果的である。
る通信の瓶の首の現象を解決するためには、可能なら大
きい容量の内部メモリーが効果的である。
【００６２】レジスター37は、アドレスを臨時に貯蔵
し、アドレスバス38は、アレイプロセッサーの外部から
データをアップ／ダウンローディングするために使用さ
れる。
し、アドレスバス38は、アレイプロセッサーの外部から
データをアップ／ダウンローディングするために使用さ
れる。
【００６３】図４は、本発明による通信ポートの構造図
であって、入力ポートブロック40、出力ポートブロック
41およびデータを入出力するためのポートを予め指定す
るレジスター46から構成されている。
であって、入力ポートブロック40、出力ポートブロック
41およびデータを入出力するためのポートを予め指定す
るレジスター46から構成されている。
【００６４】前記入力ポートブロック40は、入力のため
に状態を表示するフラグ（IRS）47、データ貯蔵のため
のバッファー42およびデータ入力時に四つのデータの中
の一つからデータを選択して受け入れるMUX44から構成
されている。
に状態を表示するフラグ（IRS）47、データ貯蔵のため
のバッファー42およびデータ入力時に四つのデータの中
の一つからデータを選択して受け入れるMUX44から構成
されている。
【００６５】前記出力ポートブロック41は、出力のため
に状態を表示するフラグ（ORS）48、データ貯蔵のため
のバッファー43およびデータ出力時に四つのデータバッ
ファーの中の一つのバッファーにデータを送るためにデ
ータを選択するDEMUX45から構成されている。
に状態を表示するフラグ（ORS）48、データ貯蔵のため
のバッファー43およびデータ出力時に四つのデータバッ
ファーの中の一つのバッファーにデータを送るためにデ
ータを選択するDEMUX45から構成されている。
【００６６】本発明の実施形態においては、ハンドシェ
ーキング方法を利用して通信する。
ーキング方法を利用して通信する。
【００６７】プロセッサーは、４方向に通信しており、
４方向の中で一度に一つの方向に通信が行なわれる。
４方向の中で一度に一つの方向に通信が行なわれる。
【００６８】本発明の実施形態においては、このような
通信方向を予めレジスター46に定めて使用するので、迅
速な通信が行なわれ得るようになっている。
通信方向を予めレジスター46に定めて使用するので、迅
速な通信が行なわれ得るようになっている。
【００６９】図５は、設計したプロセッサーを使用して
構成することができるシステムの一つの例である。
構成することができるシステムの一つの例である。
【００７０】プロセッサーが４方向の通信をしているの
で、最適の構造は２次元（2-Dimension）の形態であ
る。
で、最適の構造は２次元（2-Dimension）の形態であ
る。
【００７１】他の形態の並列システムの構造をもつこと
もできる。
もできる。
【００７２】そして、必要なら接続回路52を置いている
ので、外部メモリー34をもつことができる。
ので、外部メモリー34をもつことができる。
【００７３】ホストコンピューター53に連結するため
に、接続回路51を必要とする。
に、接続回路51を必要とする。
【００７４】アドレスバス56は、単方向であるので、ホ
ストコンピューター53から単方向にアドレスを送ってお
り、データバス55は双方向のバスであるので、双方向の
データ交換が可能である。
ストコンピューター53から単方向にアドレスを送ってお
り、データバス55は双方向のバスであるので、双方向の
データ交換が可能である。
【００７５】前記のように構成されて動作する本発明の
実施形態によって、現在のディジタル方式のVLSI技術を
利用して神経網モデルをシミュレーションするためのハ
ードウェア（チップ）を安定的に製作することができる
効果がある。
実施形態によって、現在のディジタル方式のVLSI技術を
利用して神経網モデルをシミュレーションするためのハ
ードウェア（チップ）を安定的に製作することができる
効果がある。
【００７６】また、プログラムが可能なディジタル方式
を利用して多様な神経網モデルをシミュレーションする
ことができる。
を利用して多様な神経網モデルをシミュレーションする
ことができる。
【００７７】また、設計されたチップは、並列システム
にプロセッシングエレメントとして採択することができ
て数個乃至数百個のチップを連結した大規模の並列シス
テムとしての具現が可能であり、また数個のチップを連
結して特定の目的の専用システムにも使用することがで
きる。
にプロセッシングエレメントとして採択することができ
て数個乃至数百個のチップを連結した大規模の並列シス
テムとしての具現が可能であり、また数個のチップを連
結して特定の目的の専用システムにも使用することがで
きる。
【００７８】
【発明の効果】前記チップは神経網モデルに適合した独
創的な演算器、メモリー、通信ポートおよびプログラム
メモリーの構造をもっているので、効果的に神経網モデ
ルをシミュレーションすることができる。
創的な演算器、メモリー、通信ポートおよびプログラム
メモリーの構造をもっているので、効果的に神経網モデ
ルをシミュレーションすることができる。
【図面の簡単な説明】
【図１】 アレイプロセッサーの構造図である。
【図２】 アレイプロセッサー演算器の構造図である。
【図３】 アレイプロセッサーメモリー部の構造図であ
る。
る。
【図４】 アレイプロセッサー通信部の構造図である。
【図５】 アレイプロセッサーを利用したシステム設計
の例示図である。
の例示図である。
【図６】 ハードウェア設計に重要に使用される神経網
モデルの構造図である。
モデルの構造図である。
１０ 汎用レジスターとメモリーブロック １１ プログラムと制御のためのブロック １２ 演算器ブロック １３ 通信ブロック ２０ ２段階パイプライン並列−並列乗算器 ２１ 並列加算器／減算器 ２２ 論理器 ２３ 累算器 ２４ 状態フラグレジスター ２５ データ貯蔵用レジスター ２６ MUX ３２，３３，３７ レジスター ３８ アドレスバス（BUS） ４０ 入力ポートブロック ４１ 出力ポートブロック ４２ データ入力のためのレジスターバッファー ４３ データ出力のためのレジスターバッファー ４４ MUX ４５ DEMUX ４６ レジスター ５０ アレイプロセッサー ５１ データダウン／アップローディング回路 ５３ コンピューターまたはシステム ５５，５６ バス
Claims (9)
- 【請求項１】 VLSI技術を利用した神経網専用のディジ
タルアレイプロセッサーにおいて、 演算のパイプライン動作のために分離されたメモリー構
成（WM,XM）をもつメモリーおよび汎用レジスターブロ
ック（10）、プログラムメモリーおよび制御ブロック
（11）、２段階パイプライン並列−並列乗算器（20）と
並列加算器／減算器（21）と論理器（22）と累算器（2
3）とを備えて構成されて必要な各種の演算を遂行する
演算器ブロック（12）、およびプロセッサー間の通信の
ための通信ブロック（13）の４個のブロック、そしてプ
ログラムをアップ／ダウンローディングするためのプロ
グラム用バス（14）とデータを伝達するためのデータ用
バス（15）に分離された形態のバス（BUS）を備えて構
成されることを特徴とするMIMD型の神経網専用のディジ
タルアレイプロセッサー。 - 【請求項２】 前記演算器ブロック（12）は、乗算の演
算を行なう２段階パイプライン並列−並列乗算器（2
0）、加算と減算の演算を行なう並列加算器／減算器（2
1）、論理演算およびこれと関連する演算を行なう論理
器（22）、演算の結果を再び貯蔵する累算器（23）、キ
ャリフラグ（AC）とオーバフローフラグ（AV）と累算器
の値が負数／ゼロ／正数を示すフラグ（AN/AZ/AP）とを
貯蔵するためのフラグレジスター（24）、データを臨時
に貯蔵するためのレジスター（25）およびデータ選択用
MUX（26）を備えていることを特徴とする請求項１記載
のMIMD型の神経網専用のディジタルアレイプロセッサ
ー。 - 【請求項３】 前記演算器ブロック（12）は、その乗算
器（20）が２段階パイプライン動作し、加算器／減算器
と直列に連結されて３段階のパイプライン動作を行なう
ことを特徴とする請求項１記載のMIMD型の神経網専用の
ディジタルアレイプロセッサー。 - 【請求項４】 前記演算器ブロック（12）は、連続的な
データ供給のために、神経網モデルに重要な加重値をも
っているメモリー（WM）（30）と入力値をもっているメ
モリー（XM）（31）とを分離した構造のメモリーをもつ
ことを特徴とする請求項３記載のMIMD型の神経網専用の
ディジタルアレイプロセッサー。 - 【請求項５】 前記演算器ブロック（12）のデータ経路
は、可能な限り最短の経路を選択しプロセッサー内から
流れて行くデータの経路を均等にするために、論理器
（22）を累算器（23）の外に置いて外部から来るIO値は
可能な限り短い経路のみを流れて行くように構成される
ことを特徴とする請求項４記載のMIMD型の神経網専用の
ディジタルアレイプロセッサー。 - 【請求項６】 前記メモリーおよび汎用レジスターブロ
ック（10）は、 変数の反復的な使用のために使用されてプロセッサーの
性能を向上させる汎用レジスター、 加重値を貯蔵するためのsRAM（30）、連続するメモリー
アドレスのグループを指定するための多数個のポインタ
ーレジスター（32）、住所を計算するための加算器（3
4）、および住所を臨時に貯蔵するためのレジスター（3
7）を備えて構成される加重値メモリー（WM）、 入力値を貯蔵するためのsRAM（31）、連続するメモリー
アドレスのグループを指定するための多数個のポインタ
ーレジスター（33）、アドレスを計算するための増加器
（35）、およびアドレスを臨時に貯蔵するためのレジス
ター（37）を備えて構成される入力値メモリー（XM）、
およびアレイプロセッサーの外部からデータをアップ／
ダウンローディングするためのアドレスバス（38）を備
えていることを特徴とする請求項１記載のMIMD型の神経
網専用のディジタルアレイプロセッサー。 - 【請求項７】 前記通信ブロック（13）は、 入力のために状態を表示するフラグ（IRS）（47）、 データ貯蔵のためのバッファー（42）およびデータ入力
時に四つのデータの中で一つのデータを選択して受け入
れるMUX（44）を含む入力ポートブロック（40）、 出力のために状態を表示するフラグ（ORS）（48）、デ
ータ貯蔵のためのバッファー（43）およびデータ出力時
に四つのデータバッファーの中で一つのバッファーにデ
ータを送るために選択するDEMUX（45）を含む出力ポー
トブロック（41）、およびデータを入出力するためのポ
ートを予め指定するレジスター（46）を備えていること
を特徴とする請求項１記載のMIMD型の神経網専用のディ
ジタルアレイプロセッサー。 - 【請求項８】 前記プロセッサーは、４方向に通信し、
４方向の中で通信方向を予めレジスター（46）に定めて
使用するので、迅速な通信が可能なことを特徴とする請
求項１記載のMIMD型の神経網専用のディジタルアレイプ
ロセッサー。 - 【請求項９】 神経網専用のディジタルアレイプロセッ
サーを備えてなるシステムにおいて、 ２次元形態に配列された請求項１乃至請求項８のいずれ
か記載の前記プロセッサー（50）、ホストコンピュータ
ー（53）に連結するための接続回路（51）、外部のメモ
リー（54）を接続するための接続回路（52）、双方向の
データ交換が可能なデータバス（55）およびホストコン
ピューター（53）から単方向にアドレスを送るためのア
ドレスバス（56）を備えて構成されることを特徴とする
MIMD型の神経網専用のディジタルアレイプロセッサーを
利用したシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR94-32940 | 1994-12-06 | ||
| KR1019940032940A KR0138859B1 (ko) | 1994-12-06 | 1994-12-06 | 다중 명령어 다중 데이타형 신경망 전용 디지탈 어레이 프로세서 및 이를 이용해 구성된 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08161282A true JPH08161282A (ja) | 1996-06-21 |
Family
ID=19400443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7247447A Withdrawn JPH08161282A (ja) | 1994-12-06 | 1995-09-26 | 多重命令語の多重データ型の神経網専用のディジタルアレイプロセッサーおよびこれを利用して構成されたシステム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPH08161282A (ja) |
| KR (1) | KR0138859B1 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008502029A (ja) * | 2004-03-16 | 2008-01-24 | テクノロジー プロパティーズ リミテッド | コンピュータ・プロセッサ・アレイ |
| US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
| JP2021527864A (ja) * | 2018-06-19 | 2021-10-14 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 実行時再構成可能なニューラル・ネットワーク・プロセッサ・コア |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
| US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
| US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3709553B2 (ja) * | 2000-12-19 | 2005-10-26 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 演算回路および演算方法 |
-
1994
- 1994-12-06 KR KR1019940032940A patent/KR0138859B1/ko not_active IP Right Cessation
-
1995
- 1995-09-26 JP JP7247447A patent/JPH08161282A/ja not_active Withdrawn
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008502029A (ja) * | 2004-03-16 | 2008-01-24 | テクノロジー プロパティーズ リミテッド | コンピュータ・プロセッサ・アレイ |
| JP4856053B2 (ja) * | 2004-03-16 | 2012-01-18 | ブイエヌエス ポートフォリオ エルエルシー | コンピュータ・プロセッサ・アレイ |
| US11461615B2 (en) | 2017-04-04 | 2022-10-04 | Hailo Technologies Ltd. | System and method of memory access of multi-dimensional data |
| US11263512B2 (en) | 2017-04-04 | 2022-03-01 | Hailo Technologies Ltd. | Neural network processor incorporating separate control and data fabric |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
| US11238331B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method for augmenting an existing artificial neural network |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
| US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
| US11514291B2 (en) | 2017-04-04 | 2022-11-29 | Hailo Technologies Ltd. | Neural network processing element incorporating compute and local memory elements |
| US11461614B2 (en) | 2017-04-04 | 2022-10-04 | Hailo Technologies Ltd. | Data driven quantization optimization of weights and input data in an artificial neural network |
| US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
| JP2021527864A (ja) * | 2018-06-19 | 2021-10-14 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 実行時再構成可能なニューラル・ネットワーク・プロセッサ・コア |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR960024997A (ko) | 1996-07-20 |
| KR0138859B1 (ko) | 1998-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543832B (zh) | 一种计算装置及板卡 | |
| CN109104876B (zh) | 一种运算装置及相关产品 | |
| CN107563497B (zh) | 用于稀疏人工神经网络的计算装置和运算方法 | |
| CN109522052B (zh) | 一种计算装置及板卡 | |
| CA1184661A (en) | Information processing system | |
| US7447720B2 (en) | Method for finding global extrema of a set of bytes distributed across an array of parallel processing elements | |
| CN108470009B (zh) | 处理电路及其神经网络运算方法 | |
| US5081573A (en) | Parallel processing system | |
| CN109685201B (zh) | 运算方法、装置及相关产品 | |
| US4839851A (en) | Programmable data path device | |
| CN109472356A (zh) | 一种可重构神经网络算法的加速装置及方法 | |
| JPH08161282A (ja) | 多重命令語の多重データ型の神経網専用のディジタルアレイプロセッサーおよびこれを利用して構成されたシステム | |
| CN209231976U (zh) | 一种可重构神经网络算法的加速装置 | |
| Fu | Special computer architecture for pattern recognition and image processing-An overview | |
| CN112801276B (zh) | 数据处理方法、处理器及电子设备 | |
| CN115081603A (zh) | 执行Winograd卷积的计算装置、集成电路装置及板卡 | |
| CN109102074B (zh) | 一种训练装置 | |
| Ngo | FPGA hardware acceleration of inception style parameter reduced convolution neural networks | |
| CN111382848A (zh) | 一种计算装置及相关产品 | |
| Fiske et al. | The reconfigurable arithmetic processor | |
| JPH04364525A (ja) | 並列演算装置 | |
| CN115081605A (zh) | 暂存Winograd卷积中的神经元数据的缓存、装置与板卡 | |
| Arif et al. | A neural network accelerator using matrix memory with broadcast bus | |
| WO2001088691A2 (en) | Method and apparatus of dsp resource allocation and use | |
| CN115600657A (zh) | 一种处理装置、设备、方法及其相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20021203 |