TWI703496B - 處理器及其操作之方法，以及電腦程式產品 - Google Patents

處理器及其操作之方法，以及電腦程式產品 Download PDF

Info

Publication number
TWI703496B
TWI703496B TW107136460A TW107136460A TWI703496B TW I703496 B TWI703496 B TW I703496B TW 107136460 A TW107136460 A TW 107136460A TW 107136460 A TW107136460 A TW 107136460A TW I703496 B TWI703496 B TW I703496B
Authority
TW
Taiwan
Prior art keywords
micro
exit
thread
processor
synchronization
Prior art date
Application number
TW107136460A
Other languages
English (en)
Other versions
TW201923562A (zh
Inventor
賽門 克里斯汀 諾爾斯
Original Assignee
英商葛夫科有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英商葛夫科有限公司 filed Critical 英商葛夫科有限公司
Publication of TW201923562A publication Critical patent/TW201923562A/zh
Application granted granted Critical
Publication of TWI703496B publication Critical patent/TWI703496B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
    • G06F9/30079—Pipeline control instructions, e.g. multicycle NOP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17325—Synchronisation; Hardware support therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
    • G06F9/30087—Synchronisation or serialisation instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
    • G06F9/3009—Thread control instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/30101—Special purpose registers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3012—Organisation of register space, e.g. banked or distributed register file
    • G06F9/30123—Organisation of register space, e.g. banked or distributed register file according to context, e.g. thread buffers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3802—Instruction prefetching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3818—Decoding for concurrent execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/461—Saving or restoring of program or task context
    • G06F9/462—Saving or restoring of program or task context with multiple register sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G06F9/4887—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G06F9/522—Barrier synchronisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Advance Control (AREA)
  • Executing Machine-Instructions (AREA)

Abstract

本發明揭示一種處理器，其包括：一執行單元；多個內文暫存器組、一排程器，其經配置以控制該執行單元以提供時間上交錯之時槽之一重複序列，藉此使至少一各自工作者執行緒能夠經分配以在一些或所有該等時槽之每一各自者中執行，其中在該等內文暫存器組之一各自者中維持當前執行於各時槽中之該各自工作者執行緒之一程式狀態；及一退出狀態暫存器，其經配置以儲存該等工作者執行緒之一經彙總退出狀態。指令集包括包含於各工作者執行緒中之一退出指令，該退出狀態指令將該各自執行緒之一個別退出狀態視作一運算元。該退出指令終止該各自工作者且亦引起該運算元中指定之該個別退出狀態促成該經彙總退出狀態。

Description

處理器及其操作之方法，以及電腦程式產品
本發明係關於一種具有用於以一交錯方式執行多個執行緒之硬體支援之多執行緒處理器。特定言之，本發明係關於彙總藉由此等執行緒在完成之後輸出之狀態，(例如)以表示一機器智慧演算法中之一圖表之複數個節點之經彙總狀態。
一個多執行緒處理器係能夠同時執行多個程式執行緒之一處理器。該處理器可包括為多個不同執行緒所共有之某一硬體(例如，一共同指令記憶體、資料記憶體及/或執行單元)；但支援多執行緒，該處理器亦包括特定於各執行緒之某一專用硬體。
該專用硬體至少包括用於可同時執行之許多執行緒之各者之一各自內文暫存器檔案。一「內文」在談論多執行緒處理器時係指同時執行之執行緒之一各自者之程式狀態(例如，程式計數器值、狀態及當前運算元值)。該內文暫存器檔案係指用於表示該各自執行緒之此程式狀態之暫存器之各自集合。一暫存器檔案中之暫存器與通用記憶體相異之處在於，暫存器位址係固定為指令字中之位元，而記憶體位址可藉由執行指令而運算。一給定內文之暫存器通常包括用於各自執行緒之一各自程式計數 器，及用於在藉由該執行緒執行之運算期間暫時保存作用於該各自執行緒且藉由該各自執行緒輸出之資料之一各自運算元暫存器組。各內文亦可具有用於儲存各自執行緒之一狀態(例如，該各自執行緒是否暫停或運行)之一各自狀態暫存器。因此，當前運行執行緒之各者具有其自身單獨程式計數器，及視需要運算元暫存器及(若干)狀態暫存器。
多執行緒之一個可能形式係平行性。即，提供多個執行管線以及多個內文：即，用於將並行執行之指令之各串流之一單獨執行管線。然而，此需要在硬體方面進行大量複製。
因此代替性地，多執行緒處理器之另一形式採用並行性而非平行性，藉此執行緒共用一共同執行管線(或一管線之至少一共同部分)且不同執行緒透過此相同、共用執行管線交錯。由於增加隱藏管線延時之機會，所以相較於無並行性或平行性，仍可改良多執行緒處理器之效能。又，此方法並不需要與具有多個執行管線之一完全平行處理器一樣多的專用於各執行緒之額外硬體，且因此不會引發如此多的額外矽。
平行性之一個形式可藉助於一處理器達成，該處理器包括相同晶片(即，相同晶粒)上之多個微磚之一配置，各微磚包括其自身單獨各自處理單元及記憶體(包含程式記憶體及資料記憶體)。因此，程式碼之單獨部分可在該等微磚之不同者上並行運行。該等微磚經由一晶片上互連件連接在一起，該晶片上互連件使程式碼能夠在不同微磚上運行以在微磚之間通信。在一些情況中，各微磚上之處理單元可自身運行微磚上之多個並行執行緒，各微磚具有如上文所描述之其自身各自組之內文及對應管線以便支援相同微磚上之多個執行緒透過相同管線交錯。
在機器智慧中找到多執行緒及/或多微磚處理之一例示性使 用。如熟習機器智慧技術者將熟知，一機器智慧演算法係基於對可藉由多個互連節點之一圖表表示之一「知識模型」執行迭代更新。各節點表示其輸入之一函數。一些節點接收至該圖表之輸入且一些自一或多個其他節點接收輸入，而一些節點之輸出形成其他節點之輸入，且一些節點之輸出提供圖表之輸出(且在一些情況中，一給定節點可甚至具有所有此等以下者：至圖表之輸入、來自圖表之輸出及至其他節點之連接)。此外，各節點處之函數係藉由一或多個各自參數(例如，權重)參數化。在一學習階段期間，目的係基於一組經驗輸入資料找到用於各種參數之值使得圖表作為一整體將針對一系列可能輸入產生一所要輸出。此項技術中已知用於完成此之各種演算法，諸如基於隨機梯度下降法之一反向傳播演算法。在基於輸入資料之多次迭代中，逐步調諧參數以減少其等錯誤，且因此圖表收斂於一解。在一後續階段中，可接著使用經學習模型以在給定一組指定輸入之情況下對輸出進行預測或在給定一組指定輸出之情況下進行關於輸入(原因)之推斷。
各節點之實施方案將涉及資料之處理，且圖表之互連對應於將在節點之間交換之資料。通常，各節點之至少一些處理可獨立於圖表中之節點之一些或所有其他者執行，且因此大圖表為並行性及/或平行性提供巨大機會。
下文描述具有經開發以解決機器智慧應用中所涉及之運算中所出現之問題之一架構之一處理器之組件。本文中所描述之處理器可用作一工作加速器，即，其自運行於一主機電腦上之一應用程式接收一工作負載，該工作負載通常呈待處理之非常大資料集之形式(諸如藉由一機器 智慧演算法用於學習一知識模型之大經驗資料集，或使用一先前學習之知識模型自其執行一預測或推斷之資料)。本文中所提出之架構之一目的係高效地處理此等非常大量之資料。該處理器架構已經開發以用於處理機器智慧中所涉及之工作負載。但是，將明白，所揭示架構亦可適用於共用類似特性之其他工作負載。
當透過一多執行緒處理單元執行多個執行緒時，可需要在全部所要執行緒已完成其等各自任務或若干任務之後判定程式作為一整體之一狀態，例如，判定是否應向主機報告一異常，或作出一分支決策以判定是否分支至程式之下一部分或繼續反覆當前部分。例如，若複數個執行緒之各者表示一機器智慧圖表或子圖表中之一各自節點，則對於程式之一監督部分可需要判定其全部工作者執行緒是否各自滿足指示圖表收斂於一解之一特定條件。使用現有技術進行此一判定需要使用通用指令程式化之許多步驟。
本文中應認知，將需要針對大規模多執行緒應用(諸如機器學習)定製一處理器之指令集。根據本發明，此係藉由提供一專用機器碼指令而達成，一工作者執行緒藉由該專用機器碼指令終止自身且同時引起該執行緒之一退出狀態促成用於多個執行緒之一總體退出狀態，因此提供以減少之運算負載、較快執行時間及較低程式碼密度來判定多個執行緒之一總體結果之能力。
根據本文中所揭示之一態樣，提供一種處理器，其包括：一執行管線，其包含用於執行機器碼指令之一執行單元，各機器碼指令為該處理器之一指令集中之一組預定義指令類型之一例項，該指令集中之各指令類型藉由一對應操作碼及用於獲取零個或多個運算元之零個或 多個運算元欄位所定義；多個內文暫存器組；一排程器，其經配置以控制該執行管線以提供時間上交錯之時槽之一重複序列，藉此使至少一各自工作者執行緒能夠經分配以在一些或所有該等時槽之每一各自者中執行，其中在該等內文暫存器組之一各自者中維持當前執行於各時槽中之該各自工作者執行緒之一程式狀態；及一退出狀態暫存器，其經配置以儲存該等工作者執行緒之一經彙總退出狀態；其中該指令集包括包含於該等工作者執行緒之各者中之一退出指令，該退出指令採用該各自執行緒之至少一個別退出狀態作為一運算元；且其中該執行單元包括專用硬體邏輯，該專用硬體邏輯經組態以便回應於該退出指令之該操作碼終止該各自工作者執行緒執行於其各自時槽中，且亦引起該運算元中指定之該個別退出狀態促成該退出狀態暫存器中之該經彙總退出狀態。
在實施例中，該退出指令可僅包括獲取呈該個別退出狀態之形式之一單個運算元之一單個運算元欄位。
在實施例中，該等個別退出狀態及該等經彙總退出狀態之各者可僅為一單位元。
在實施例中，彙總可由該等個別退出狀態之一布林(Boolean)AND或該等個別退出狀態之一布林OR組成。
在實施例中，該經彙總退出狀態可包括表示一個三元值之至少兩個位元，從而指示個別二元退出狀態是否全部為1、全部為0或混 合。
在實施例中，處理器可在該時槽序列之至少一些重複期間在該等時槽之一或多者中進一步經組態以執行將工作者執行緒分配給各自執行槽之一監督器執行緒。
在實施例中，多個內文暫存器組可包括：多個工作者內文暫存器組，各工作者內文暫存器組經配置以在執行各自工作者執行緒時維持當前執行於各自時槽中之各自工作者執行緒之程式狀態；及一額外監督器內文暫存器組，其包括經配置以儲存監督器執行緒之一程式狀態之額外暫存器。
在實施例中，監督器執行緒可藉由在該複數個時槽之各者中運行而開始，且接著將一些或所有該等時槽轉交給各自工作者執行緒；且退出指令可引起監督器執行緒繼續在執行該退出指令之工作者執行緒之各自時槽中執行。
在實施例中，指令集可進一步包括一轉交指令且執行級可經組態以回應於藉由監督器執行緒在經轉交之各自時槽中執行之轉交指令之操作碼而執行各自執行槽之該轉交。
在實施例中，處理器可包括一微磚群組，各微磚包括執行級、多個內文、排程器及退出狀態暫存器之一例項；且處理器可進一步包括用於在該等微磚之間通信之一互連件。
在實施例中，該互連件可包括專用硬體邏輯，其經組態以將來自該微磚群組之經彙總退出狀態自動彙總成一全域彙總，且使該全域彙總可用於該等微磚之各者上之執行緒之至少一者。
在實施例中，該至少一執行緒包括監督器執行緒。
在實施例中，微磚之各者可進一步包括經配置以可藉由該微磚上之至少一執行緒讀取之一全域彙總暫存器；且互連件中之邏輯可經組態以藉由將全域彙總自動儲存於各微磚上之全域彙總暫存器中而自動使全域彙總可用於各微磚上之至少一執行緒。
在實施例中，互連件可包括一同步化控制器，該同步化控制器可操作以將一整體同步平行交換方案應用於微磚之間的通信，藉此在該等微磚之各者經程式化以執行一微磚間交換階段及一微磚上運算階段時，則a)推遲該交換階段直至群組中之所有微磚上之所有工作者執行緒已完成該運算階段，或b)推遲該運算階段直至群組中之所有微磚已完成該交換階段。
在實施例中，指令集可進一步包括包含於分別在(a)運算階段或(b)交換階段之後之微磚之各者中之執行緒之一者中之一屏障同步化指令；在微磚之各者上，執行級可經組態以便在執行該屏障同步化指令之後將一同步化請求發送至互連件中之同步化控制器；且該同步化控制器可經組態以回應於自所有微磚接收同步化請求信號之一例項而將一同步化確認信號傳回至微磚之各者，該同步化確認信號相應地釋放下一(a)交換階段或(b)運算階段。
在實施例中，交換階段可經配置以藉由監督器執行緒執行。
在實施例中，處理器可經程式化以執行一機器智慧演算法，其中一圖表中之各節點具有一或多個各自輸入邊緣及一或多個各自輸出邊緣，其中該等節點之至少一些節點之輸入邊緣係該等節點之至少一些 其他節點之輸出邊緣，各節點包括使其輸出邊緣與其輸入邊緣有關之一各自函數，其中每一各自函數藉由一或多個各自參數參數化，且該等各自參數之各者具有一相關聯錯誤，使得該圖表在一些或所有該等參數中之錯誤減少時收斂於一解；其中工作者執行緒之各者可模型化圖表中之節點之一各自者，且個別退出狀態之各者可用於指示該各自節點之該一或多個參數中之該等錯誤是否已滿足一預定條件。
根據本文中所揭示之另一態樣，提供一種操作一處理器之方法，該處理器包括一執行管線及多個內文暫存器組，該執行管線包含用於執行機器碼指令之一執行單元，各機器碼指令係該處理器之一指令集中之一組預定義指令類型之一例項，該指令集中之各指令類型藉由一對應操作碼及用於獲取零個或多個運算元之零個或多個運算元欄位所定義；其中該方法包括：為該執行管線排程以提供時間上交錯之時槽之一重複序列，藉此使至少一各自工作者執行緒能夠經分配以在一些或所該等時槽之每一各自者中執行，其中在該等內文暫存器組之一各自者中維持當前執行於各時槽中之各自工作者執行緒之一程式狀態；及至少暫時將該等工作者執行緒之一經彙總退出狀態維持於該處理器之一退出狀態暫存器中；其中該指令集包括包含於該等工作者執行緒之各者中之一退出指令，該退出指令採用該各自執行緒之至少一個別退出狀態作為一運算元；且該方法包括在執行之後回應於該退出指令之該操作碼而觸發該處理器之專用硬體邏輯以終止該各自工作者執行緒執行於其各自時槽中，且引 起該運算元中指定之該個別退出狀態促成該退出狀態暫存器中之該經彙總退出狀態。
根據本文中所揭示之另一態樣，提供一種電腦程式產品，該電腦程式產品體現於一電腦可讀媒體上且包括經組態以執行於本文中所揭示之任何實施例之處理器上之程式碼，該程式碼包括在各工作者執行緒中包含退出指令之該等工作者執行緒。
2:單晶片處理器/晶片/發送晶片
2I:晶片/第一晶片
2II:晶片/第二晶片
2III:晶片/第三晶片
2IV:晶片
4:處理器模組/處理器微磚/微磚
4i至4N:微磚群組
6:陣列/多微磚陣列/多微磚配置
8:外部鏈路/晶片至晶片鏈路/介面
10:多執行緒處理器單元/處理單元/桶形執行緒處理單元
11:本端記憶體/記憶體
12:指令記憶體/記憶體/共用指令記憶體/程式記憶體
13:執行管線/管線
14:提取級
16:解碼級
18:執行級/執行單元
22:資料記憶體/共用資料記憶體
24:排程器
26:內文暫存器檔案/硬體內文/暫存器組
28:控制暫存器
30:屏障同步化/內部屏障同步化
32:運算元暫存器(OP)
34:晶片上互連件/交換組構/互連件/硬體互連件/內部互連件
36:同步化控制器/同步化邏輯
37:AND閘/彙總電路/彙總邏輯
38:暫存器/局部共識暫存器
Figure 107136460-A0305-02-0052-5
LC/局部退出狀態暫存器
Figure 107136460-A0305-02-0052-6
LC/退出狀態暫存器
39:專用同步化邏輯/微磚上同步化邏輯/同步化邏輯/同步化邏輯
40i至40N:雙輸入AND閘
42i至42N:退出狀態暫存器/全域共識暫存器(
Figure 107136460-A0305-02-0052-7
GC)/暫存器
50:交換階段/內部交換階段/空值交換階段/內部交換
50’:外部交換/外部交換階段
52:運算階段/運算/運算循環
72:外部互連件/外部交換週邊設備/互連件/外部系統
76:同步化邏輯/同步化控制邏輯
80:外部屏障/外部屏障同步化
91A:區帶/同步化群組
91B:區帶/同步化群組
92:同步化群組/群組
95:同步化區塊
96:同步化導線/導線
96_0:第一導線對
96_1:第二導線對
102:互連節點/節點
104:邊緣
CX0至CX3:工作者內文暫存器檔案
CXS:監督器內文暫存器檔案
為幫助理解本發明及展示可如何實施實施例，藉由實例參考隨附圖式，其中：圖1係多執行緒處理單元之一示意性方塊圖，圖2係複數個執行緒內文之一示意性方塊圖，圖3示意性地繪示交錯之執行時槽之一方案，圖4示意性地繪示一監督器執行緒及複數個工作者執行緒，圖5係用於彙總多個執行緒之退出狀態之邏輯之一示意圖，圖6示意性地繪示相同微磚上之工作者執行緒中之同步化，圖7係包括多個微磚之一處理器晶片之一示意性方塊圖，圖8係一整體同步平行(BSP)運算模型之一示意性圖解，圖9係一BSP模型之另一示意性圖解，圖10係多執行緒處理單元之間的BSP之一示意性圖解，圖11係一互連系統之一示意性方塊圖，圖12係多個互連處理器晶片之系統之一示意性圖解，圖13係多層BSP方案之一示意性圖解，圖14係多個處理器晶片之一系統之另一示意性圖解， 圖15係一機器智慧演算法中所使用之一圖表之一示意性圖解，及圖16繪示用於在晶片之間同步化之例示性佈線。
下文描述在其指令集中包含一專用指令之一處理器架構，該專用指令用於終止其中執行該指令之執行緒且同時將終止之後之該執行緒之一狀態併入至透過(例如，相同微磚上之)相同管線執行之多個執行緒之一經彙總退出狀態中。在實施例中，一全域經彙總退出狀態暫存器亦存在於多個微磚之每一者中，且含有已經彙總之用於每個微磚之相同結果。然而，首先參考圖1至圖4描述其中可併入此之一例示性處理器。
圖1繪示根據本發明之實施例之一處理器模組4之一實例。例如，處理器模組4可為一相同晶片上之類處理器微磚之一陣列之一個微磚，或可實施為其自身晶片上之一獨立處理器。處理器模組4包括呈一桶形執行緒處理單元之形式之一多執行緒處理單元10，及一本端記憶體11(即，在一多微磚陣列之情況中在相同微磚上，或在一單處理器晶片之情況中在相同晶片上)。一桶形執行緒處理單元係其中管線之執行時間被劃分成交錯時槽之一重複序列(各交錯時槽可由一給定執行緒所擁有)之多執行緒處理單元之一類型。稍後將對此進行更詳細論述。記憶體11包括一指令記憶體12及一資料記憶體22(其等可實施於不同可定址記憶體單元或相同可定址記憶體單元之不同區域中)。指令記憶體12儲存待藉由處理單元10執行之機器碼，而資料記憶體22儲存待藉由該經執行程式碼操作之資料及(例如，作為此等操作之結果)藉由該經執行程式碼輸出之資料兩者。
記憶體12儲存一程式之各種不同執行緒，各執行緒包括用於執行一或若干特定任務之指令之一各自序列。應注意，如本文中引用之 一指令意謂一機器碼指令，即，由一單個操作碼及零個或多個運算元組成之處理器之指令集之基本指令之一者之一例項。
本文中所描述之程式包括複數個工作者執行緒，及可結構化為一或多個監督器執行緒之一監督器子程式。稍後將對此等進行更詳細論述。在實施例中，一些或所有該等工作者執行緒之各者採用一各自「標碼串(codelet)」之形式。標碼串係一特定類型之執行緒，有時亦被稱為「原子」執行緒。其具有其從執行緒開始(從經啟動之時間)執行所需之所有輸入資訊，即，其在經啟動之後不會自程式之任何其他部分或自記憶體獲取任何輸入。此外，程式之其他部分不會使用執行緒之任何輸出(結果)直至該執行緒已終止(完成)。除非其遇到一錯誤，否則將保證完成。應注意，一些文獻亦將一標碼串定義為無狀態的，即，若運行兩次，則其不可自其第一次運行繼承任何資訊，但在此處不採用該額外定義。亦應注意，並非所有工作者執行緒需要為標碼串(原子)，且在實施例中，一些或所有工作者可代替性地能夠彼此通信。
在處理單元10內，來自指令記憶體12之執行緒之多個不同者可透過一單個執行管線13交錯(但通常僅儲存於指令記憶體中之總執行緒之一子集可在整體程式中之任何給定點處交錯)。多執行緒處理單元10包括：複數個內文暫存器檔案26，其等各經配置以表示將同時執行之執行緒之一不同各自者之狀態(內文)；一共用執行管線13，其為該等同時執行之執行緒所共有；及一排程器24，其用於為該等並行執行緒排程以依一交錯方式(較佳依一循環方式)透過該共用管線執行。處理單元10連接至為複數個執行緒所共有之一共用指令記憶體12及亦為複數個執行緒所共有之一共用資料記憶體22。
執行管線13包括一提取級14、一解碼級16及一執行級18，執行級18包括可執行如藉由指令集架構定義之算術及邏輯運算、位址計算、載入及儲存操作及其他操作之一執行單元。該等內文暫存器檔案26之各者包括用於表示一各自執行緒之程式狀態之一組各自暫存器。
在圖2中示意性地繪示組成內文暫存器檔案26之各者之暫存器之一實例。內文暫存器檔案26之各者包括各自一或多個控制暫存器28，一或多個控制暫存器28包括用於各自執行緒之至少一程式計數器(PC)(用於追蹤當前執行執行緒之指令位址)，且在實施例中亦包括記錄各自執行緒之一當前狀態(諸如該執行緒當前是否正運行或(例如)因為其遇到一錯誤而暫停)之一組一或多個狀態暫存器(SR)。內文暫存器檔案26之各者亦包括用於暫時保存藉由各自執行緒執行之指令之運算元(即，藉由在執行時各自執行緒之指令之操作碼所操作或由該等操作碼所定義之操作所引起之值)之一組各自運算元暫存器(OP)32。將瞭解，內文暫存器檔案26之各者可視需要包括各自一或多個其他類型之暫存器(未展示)。亦應注意，雖然術語「暫存器檔案」有時用於指代一共同位址空間中之一暫存器群組，然在本發明中未必如此且硬體內文26之各者(暫存器組26之各者表示各內文)可更一般地包括一或多個此等暫存器檔案。
如稍後將更詳細論述，所揭示之配置具有用於可同時執行之數目M個(在所繪示之實例中M=3，但此並不具限制性)執行緒之各者之一個工作者內文暫存器檔案CX0、...、CX(M-1)，及一個額外監督器內文暫存器檔案CXS。該等工作者內文暫存器檔案經保留以用於儲存工作者執行緒之內文，且該監督器內文暫存器檔案經保留以用於儲存一監督器執行緒之內文。應注意，在實施例中，監督器內文係專用的，因為其具有與 工作者之各者不同之數目個暫存器。工作者內文之各者較佳具有彼此相同數目個狀態暫存器及運算元暫存器。在實施例中，監督器內文可具有少於工作者之各者之運算元暫存器。工作者內文可具有而監督器不具有之運算元暫存器之實例包含：浮點暫存器、累積暫存器及/或專用權重暫存器(用於保存一神經網路之權重)。在實施例中，監督器亦可具有不同數目個狀態暫存器。此外，在實施例中，處理器模組4之指令集架構可經組態使得工作者執行緒及(若干)監督器執行緒執行一些不同類型之指令但亦共用一些指令類型。
提取級14經連接以便在排程器24之控制下自指令記憶體12提取待執行之指令。排程器24經組態以控制提取級14在時槽之一重複序列中自一組同時執行之執行緒之各者依序提取一指令，從而將管線13之資源劃分至複數個時間上交錯之時槽中，如稍後將更詳細論述。例如，排程方案可循環或加權循環的。以此一方式操作之一處理器之另一術語係一桶形執行緒處理器。
在一些實施例中，排程器24可存取各執行緒之狀態暫存器SR之一者以指示該執行緒是否暫停，使得排程器24實際上控制提取級14以僅提取當前在作用中之該等執行緒之指令。在實施例中，較佳的是，各時槽(及對應內文暫存器檔案)始終由一執行緒或另一執行緒所擁有，即，各時槽始終由某一執行緒佔用，且各時槽始終包含於排程器24之序列中；但佔用任何給定時槽之執行緒可能恰好在該時間暫停，在此情況中在序列到達該時槽時，忽略針對各自執行緒之指令提取。替代性地，例如，不排除在替代較不佳實施方案中，一些時槽可暫時空置且自經排程序列排除。在引用執行單元可操作以交錯之時槽之數目或此類似者之情況下，此係指 執行單元能夠同時執行之時槽之最大數目，即，執行單元之硬體支援之並行時槽之數目。
提取級14存取內文之各者之程式計數器(PC)。對於每一各自執行緒，提取級14自程式記憶體12中之下一位址提取該執行緒之下一指令，如藉由程式計數器指示。程式計數器遞增各執行循環，除非藉由一分支指令分支。提取級14接著將經提取指令傳遞至解碼級16以待解碼，且解碼級16接著將經解碼指令之一指示連同該指令中所指定之任何運算元暫存器32之經解碼位址一起傳遞至執行單元18，以執行該指令。執行單元18存取運算元暫存器32及控制暫存器28，其可在執行指令時基於經解碼之暫存器位址使用運算元暫存器32及控制暫存器28，諸如在一算術指令之情況中(例如，藉由使兩個運算元暫存器中之值相加、相乘、相減或相除且將結果輸出至各自執行緒之另一運算元暫存器)。或若指令定義一記憶體存取(載入或儲存)，則執行單元18之載入/儲存邏輯根據該指令將來自資料記憶體之一值載入至各自執行緒之一運算元暫存器中，或將來自各自執行緒之一運算元暫存器之一值儲存至資料記憶體22中。或若指令定義一分支或一狀態改變，則執行單元相應地改變程式計數器PC或狀態暫存器SR之一者中之值。應注意，在藉由執行單元18執行一個執行緒之指令時，可藉由解碼級16解碼來自交錯序列中之下一時槽中之執行緒之一指令；及/或在藉由解碼級16解碼一個指令時，可藉由提取級14提取來自此後之下一時槽中之執行緒之指令(但一般而言，本發明之範疇並不限於每時槽一個指令，例如，在替代案例中，可每時槽自一給定執行緒發出一批兩個或兩個以上指令)。因此，根據已知桶形執行緒處理技術，交錯有利地隱藏管線13中之延時。
在圖3中繪示藉由排程器24實施之交錯方案之一實例。此處並行執行緒係根據一循環方案交錯，藉此在該方案之各遍次內，該遍次被劃分成各用於執行一各自執行緒之一時槽序列S0、S1、S2、…。通常各時槽係一個處理器循環長且不同時槽之大小係均勻的，但在所有可能實施例中不一定如此，例如，一加權循環方案亦可行，藉此一些執行緒在每執行遍次獲得比其他執行緒更多之循環。一般而言，桶形執行緒可採用一均勻循環或一加權循環排程，其中在加權循環排程情況中，加權可為固定或適應性的。
無論每執行遍次之序列如何，此型樣接著重複，各遍次包括時槽之各者之一各自例項。因此應注意，如本文中所引用之一時槽意謂序列中之重複分配位置，而非序列之一給定重複中之時槽之一特定例項。換言之，排程器24將管線13之執行循環分派至複數個時間上交錯(分時多工化)之執行通道中，其中各執行通道包括時槽之一重複序列中之一各自時槽之一復現。在所繪示之實施例中，存在四個時槽，但此僅用於闡釋性目的且其他數目亦可行。例如，在一項較佳實施例中，實際上存在六個時槽。
無論循環方案被劃分成之時槽之數目如何，根據本發明，處理單元10包括比所存在之時槽多一個之內文暫存器檔案26，即，其支援比其能夠桶形執行緒之交錯時槽之數目多一個之內文。
此係藉由實例繪示於圖2中：若如圖3中所展示存在四個時槽S0、…、S3，則存在此處標記為CX0、CX1、CX2、CX3及CXS之五個內文暫存器檔案。即，儘管在桶形執行緒方案中僅存在四個執行時槽S0、…、S3且因此僅可同時執行四個執行緒，然本文中揭示添加一第五 內文暫存器檔案CXS，其包括一第五程式計數器(PC)、一第五組運算元暫存器32且在實施例中亦包括一第五組一或多個狀態暫存器(SR)。雖然應注意，如所提及在實施例中監督器內文可不同於其他內文CX0、…、CX3，且監督器執行緒可支援用於操作執行管線13之一不同指令集。
前四個內文CX0、…、CX3之各者係用於表示當前指派給四個執行時槽S0、…、S3之一者以用於執行程式設計員所需之任何特定應用運算任務之複數個「工作者執行緒」(應再次注意，此僅可為如儲存於指令記憶體12中之程式之工作者執行緒之總數目之子集)之一各自者之狀態。然而，第五內文CXS經保留以用於一特殊功能，以表示「監督器執行緒」(SV)之狀態，SV之作用係協調工作者執行緒之執行(至少在整個程式中之哪一點處指派將在時槽S0、S1、S2、…之哪一者中執行工作者執行緒W之哪一者之意義上)。視需要，監督器執行緒可具有其他「督導程式(overseer)」或協調責任。例如，監督器執行緒可負責執行屏障同步化以確保一特定執行順序。例如，在其中一或多個第二執行緒取決於待藉由運行於相同處理器模組4上之一或多個第一執行緒輸出之資料之情況下，監督器可執行一屏障同步化以確保直至第一執行緒完成才開始第二執行緒。及/或，監督器可執行一屏障同步化以確保直至一特定外部資料源(諸如另一微磚或處理器晶片)已完成使該資料可用所需之處理才開始處理器模組4上之一或多個執行緒。監督器執行緒亦可用於執行與多個工作者執行緒有關之其他功能性。例如，監督器執行緒可負責將外部資料傳達至處理器模組4(以接收待藉由該等執行緒之一或多者所作用之外部資料，及/或傳輸藉由工作者執行緒之一或多者輸出之資料)。一般而言，監督器執行緒可用於提供程式設計員所需之任何種類之督導或協調功能。例如，作 為另一實例，監督器可督導微磚本端記憶體12與(陣列6外部之)更廣泛系統(諸如一儲存磁碟或網路卡)中之一或多個資源之間的傳送。
當然應注意，四個時槽僅為一實例，且通常在其他實施例中可存在其他數目，使得若每遍次存在最大M個時槽0、…、M-1，則處理器模組4包括M+1個內文CX、…、CX(M-1)& CXS(即，一個內文用於可在任何給定時間交錯之各工作者執行緒)及用於監督器之一額外內文。例如，在一個例示性實施方案中存在六個時槽及七個內文。
參考圖4，在經交錯時槽之方案中，監督器執行緒SV本身不具有其自身時槽。工作者亦不具有其自身時槽，因為可靈活定義時槽至工作者執行緒之分配。實情係，各時槽具有用於儲存工作者內文之其自身專用內文暫存器檔案(CX0、…、CXM-1)，該工作者內文在時槽分配給工作者時藉由工作者使用，但在時槽分配給監督器時不使用。當一給定時槽分配給監督器時，該時槽代替性地使用監督器之內文暫存器檔案CXS。應注意，監督器始終存取其自身內文且工作者無法佔用監督器內文暫存器檔案CXS。
監督器執行緒SV具有在時槽S0、…、S3(或更一般而言S0、…、SM-1)之任一者及所有者中運行之能力。排程器24經組態以便在程式作為一整體開始時，藉由將監督器執行緒分配給所有時槽而開始，即，因此監督器SV開始在S0、…、S3之所有者中運行。然而，監督器執行緒具有用於在某一後續時間點(立即或在執行一或多個監督器任務之後)將運行該監督器執行緒之時槽之各者暫時轉交給工作者執行緒(例如，最初在圖4中所展示之實例中之工作者W0、…、W3)之一各自者之一機制。此係藉由監督器執行緒執行一轉交指令(在本文中藉由實例被稱為 「RUN」)而達成。在實施例中，此指令採用兩個運算元：指令記憶體12中之一工作者執行緒之一位址及資料記憶體22中之用於該工作者執行緒之一些資料之一位址：RUN task_addr、data_addr
工作者執行緒係可彼此同時運行之程式碼之部分，各部分表示待執行之一或多個各自運算任務。資料位址可指定待藉由工作者執行緒作用之一些資料。替代性地，轉交指令可僅採用指定工作者執行緒之位址之一單個運算元，且資料位址可包含於工作者執行緒之程式碼中；或在另一實例中，該單個運算元可指向指定工作者執行緒及資料之位址之一資料結構。如所提及，在實施例中，至少一些工作者可採用標碼串之形式，即，可同時執行之程式碼之原子單元。替代性地或此外，一些工作者不需要為標碼串且可代替性地能夠彼此通信。
轉交指令(「RUN」)作用於排程器24以便將其中執行此指令自身之當前時槽轉交給藉由運算元指定之工作者執行緒。應注意，在轉交指令中暗示正轉交其中執行此指令之時槽(在機器碼指令之內文中隱式意謂不需要一運算元來指定此，應自操作碼本身隱式地理解)。因此被分送之時槽係其中監督器執行轉交指令之時槽。或換言之，監督器在其分送之相同空間中執行。監督器說「在此位置處運行此段程式碼」，且接著自該時起由相關工作者執行緒(暫時)擁有復現時槽。
監督器執行緒SV在時槽之一或多個其他者之各者中執行一類似操作，以將一些或所有其時槽分送給工作者執行緒W0、…、W3(選自指令記憶體12中之一較大集合W0、…、wj)之不同各自者。一旦其針對最後時槽如此做，便中止監督器(接著稍後將在一工作者W交還時槽之 一者時其停止之處繼續)。
監督器執行緒SV因此能夠將各執行一或多個任務之不同工作者執行緒分配給交錯執行時槽S0、…、S3之不同者。當監督器執行緒判定是時候運行一工作者執行緒時，其使用轉交指令(「RUN」)以將此工作者分配給其中執行該RUN指令之時槽。
在一些實施例中，指令集亦包括運行指令之一變體RUNALL(「運行全部」)。此指令係用於一起啟動全部執行相同程式碼之一組一個以上工作者。在實施例中，此在處理單元之時槽S0、…、S3(或更一般而言S0、…、S(M-1))之每一者中啟動一工作者。
此外，在一些實施例中，RUN及/或RUNALL指令在執行時亦將來自監督器狀態暫存器CXS(SR)之一或多者之一些狀態自動複製至藉由RUN或RUNALL啟動之(若干)工作者執行緒之一或多個對應狀態暫存器。例如，該經複製狀態可包括一或多個模式，諸如一浮點捨入模式(例如，四捨五入到最近或四捨五入到零)及/或一溢出模式(例如，飽和或使用表示無窮大之一單獨值)。經複製狀態或模式接著控制討論中之工作者以根據經複製狀態或模式操作。在實施例中，工作者可稍後將此覆寫於其自身狀態暫存器中(但不能改變監督器之狀態)。在進一步替代或額外實施例中，工作者可選擇自監督器之一或多個狀態暫存器讀取一些狀態(且又可稍後改變其等自身狀態)。例如，又，此可採用來自監督器狀態暫存器之一模式，諸如一浮點模式或一捨入模式。然而，在實施例中，監督器無法讀取工作者之內文暫存器CX0、…之任一者。
一旦經啟動，當前分配之工作者執行緒W0、…、W3之各者進行以執行藉由各自轉交指令中指定之程式碼中所定義之一或多個運算 任務。在此結束時，各自工作者執行緒接著將其中運行該工作者執行緒之時槽交還給監督器執行緒。此係藉由執行一退出指令(「EXIT」)達成。
EXIT指令採用至少一運算元且較佳僅採用一單個運算元exit_state(例如，二元值)，以用於程式設計員所需之任何目的以指示在結束之後各自標碼串之一狀態(例如，指示是否滿足一特定條件)：EXIT exit_state
EXIT指令作用於排程器24使得其中執行該指令之時槽返回至監督器執行緒。監督器執行緒可接著執行一或多個後續監督器任務(例如，屏障同步化及/或與外部資源(諸如其他微磚)交換資料)，及/或繼續執行另一轉交指令以將一新的工作者執行緒(W4等)分配給討論中之時槽。因此又應注意，指令記憶體12中之執行緒之總數目可大於桶形執行緒處理單元10在任一時間可交錯之數目。監督器執行緒SV之作用係排程來自指令記憶體12之工作者執行緒W0、…、Wj之哪些工作者在整個程式中之哪一階段將被指派給排程器24之循環排程中之交錯時槽S0、…、SM之哪些時槽。
此外，EXIT指令被賦予一進一步特殊功能，即，引起EXIT指令之運算元中所指定之退出狀態與透過相同處理器模組4(例如，相同微磚)之相同管線13運行之複數個其他工作者執行緒之退出狀態自動彙總(藉由專用硬體邏輯)。因此，在指令中包含用於終止一工作者執行緒之一額外隱式功能。
在圖5中展示用於達成此之一例示性電路。在此實例中，個別執行緒之退出狀態及經彙總退出狀態各採用一單位元(即，0或1)之形式。處理器模組4包括用於儲存該處理器模組4之經彙總退出狀態之一暫存 器38。此暫存器在本文中可被稱為「局部共識」暫存器
Figure 107136460-A0305-02-0023-8
LC(相對於稍後將更詳細論述之在處理器模組4作為類似處理器微磚之一陣列之一者被包含時之全域共識)。在實施例中，此局部共識暫存器
Figure 107136460-A0305-02-0023-9
LC 38係監督器之內文暫存器檔案CXS中之監督器之狀態暫存器之一者。用於執行彙總之邏輯包括一AND閘37，AND閘37經配置以執行(A)EXIT指令之運算元中所指定之退出狀態及(B)局部共識暫存器(
Figure 107136460-A0305-02-0023-10
LC)38中之當前值之一邏輯AND，且將結果(Q)作為局部彙總之一新值輸出回至局部共識暫存器
Figure 107136460-A0305-02-0023-11
LC 38中。
在程式中之一合適同步化點處，儲存於局部共識暫存器(
Figure 107136460-A0305-02-0023-12
LC)38中之值最初經重設至一值1。即，在此點之後退出之任何執行緒將促成局部彙總之退出狀態
Figure 107136460-A0305-02-0023-13
LC直至下一重設。若兩個輸入(A、B)係1，則AND閘37之輸出(Q)係1，但若輸入(A、B)之任一者係0，則輸出Q為0。每當執行一EXIT指令時，其退出狀態即與之前已過去(自上次重設之後)之退出狀態彙總。因此藉由圖5中所展示之配置，邏輯保持自上次重設局部共識暫存器(
Figure 107136460-A0305-02-0023-14
LC)38起藉由一EXIT指令終止之任何工作者執行緒之退出狀態之一運行彙總。在此實例中，該運行彙總係指到目前為止之所有執行緒是否已退出真：來自工作者執行緒之任一者之任何退出狀態0將意謂暫存器38中之彙總變為鎖存至0直至下一重設。在實施例中，監督器SV可在任何時候藉由自局部共識暫存器(
Figure 107136460-A0305-02-0023-15
LC)38獲取當前值而讀取運行彙總(不需要等待一微磚上同步化來如此做)。
局部共識暫存器(
Figure 107136460-A0305-02-0023-16
LC)38中之彙總之重設可藉由監督器SV使用一或多個通用指令對局部共識暫存器(
Figure 107136460-A0305-02-0023-17
LC)38之暫存器位址執行一PUT(在此實例中將一值1放置於暫存器38)而執行。替代性地，不排除重 設可藉由一自動化機制執行(例如，藉由執行本文中稍後所描述之SYNC指令而觸發)。
彙總電路37(在此情況中AND閘)係使用用於形成一布林AND之功能性之電子組件之任何合適組合實施於執行級18之執行單元中之專用硬體電路中。專用電路或硬體意謂具有一硬接線功能之電路，而非使用通用程式碼程式化於軟體中之電路。局部退出狀態之更新係藉由執行特殊EXIT指令而觸發，此特殊EXIT指令係處理器模組4之指令集中之基本機器碼指令之一者，具有彙總退出狀態之固有功能性。又，局部彙總係儲存於一控制暫存器38中，意謂其值可藉由運行於管線上之程式碼存取但不可藉由載入儲存單元(LSU)用於儲存任何通用資料之一專用儲存件(在實施例中，一單個儲存位元)。代替性地，保存於一控制暫存器中之資料之功能在此情況中固定於儲存局部彙總之退出狀態之功能。較佳地，局部共識暫存器(
Figure 107136460-A0305-02-0024-18
LC)38形成處理器模組4上(例如，微磚上)之控制暫存器之一者(監督器可藉由執行一GET指令而存取該控制暫存器之值且可藉由執行一PUT指令而設定該值)。
應注意，圖5中所展示之電路僅為一實例。一等效電路將用一OR閘取代AND閘37且反轉軟體中之退出狀態0及1之解譯，即，0→真，1→假(其中暫存器38在各同步化點重設為0而非1)。等效地，若用一OR閘取代AND閘但不反轉退出狀態之解譯，亦不反轉重設值，則
Figure 107136460-A0305-02-0024-19
LC中之經彙總狀態將記錄任何(而非所有)工作者狀態是否以狀態1退出。在其他實施例中，退出狀態不需要為單位元。例如，各個別工作者之退出狀態可為一單位元，但經彙總退出狀態
Figure 107136460-A0305-02-0024-3
LC可包括表示如下之一三元狀態之兩個位元：所有工作者以狀態1退出，所有工作者以狀態0退出，或工作者之 退出狀態係混合的。作為用於實施此之邏輯之一實例，編碼該三元值之該兩個位元之一者可為個別退出狀態之一布林AND(或OR)，且三元值之另一位元可為個別退出狀態之一布林OR。指示工作者之退出狀態係混合之第三經編碼情況可接著形成為此兩個位元之XOR。
退出狀態可用於表示程式設計員想要之任何內容，但一個特別設想之實例係使用一退出狀態1以指示各自工作者執行緒已在一「成功」或「真」狀態中退出，而一退出狀態0指示各自工作者執行緒在一「不成功」或「假」狀態中退出(或反之亦然，若彙總電路37執行一OR而非一AND且暫存器
Figure 107136460-A0305-02-0025-20
LC 38最初重設至0)。例如，考量其中各工作者執行緒執行具有一相關聯條件(諸如指示一機器智慧演算法之圖表中之一各自節點之一或多個參數中之(若干)錯誤是否落在根據一預定度量之一可接受位準內之一條件)之一運算之一應用。在此情況中，一邏輯位準(例如，1)之一個別退出狀態可用於指示滿足條件(例如，節點之一或多個參數中之錯誤或若干錯誤係在根據某一度量之一可接受位準內)；而相反邏輯位準(例如，0)之一個別退出狀態可用於指示未滿足條件(例如，錯誤或若干錯誤不在根據討論中之度量之一可接受位準內)。例如，條件可為放置於一單個參數或各參數上之一錯誤臨限值，或可為與藉由工作者執行緒執行之各自運算相關聯之複數個參數之一更複雜函數。
作為另一更複雜實例，工作者之個別退出狀態及經彙總退出狀態可各包括可用於(例如)表示工作者執行緒之結果中之一置信度之兩個或兩個以上位元。例如，各個別工作者執行緒之退出狀態可表示在該各自工作者執行緒之一結果中之置信度之一概率量測，且彙總邏輯37可用用於執行硬體中之個別置信度位準之一概率彙總之更複雜電路取代。
無論程式設計員賦予退出狀態之含義為何，監督器執行緒SV可接著自局部共識暫存器(
Figure 107136460-A0305-02-0026-21
LC)38獲取經彙總值以判定自上次重設起(例如，在最後同步化點)退出之所有工作者執行緒之經彙總退出狀態，例如，以判定是否所有工作者在一成功或真狀態中退出。取決於此經彙總值，監督器執行緒可接著根據程式設計員之設計作出一決策。程式設計員可選擇任意使用他或她想要之局部彙總之退出狀態。例如，監督器執行緒可咨詢局部彙總之退出狀態以便判定由工作者執行緒之一特定子集組成之程式之一特定部分是否已如預期或視需要完成。若否(例如，工作者執行緒之至少一者在一不成功或假狀態中退出)，則可向一主機處理器報告，或可執行包括相同工作者執行緒之程式之部分之另一反覆；但若是(例如，所有工作者執行緒在一成功或真狀態中退出)，則可代替性地分支至包括一或多個新工作者之程式之另一部分。
較佳地，監督器執行緒不應存取局部共識暫存器(
Figure 107136460-A0305-02-0026-22
LC)38中之值直至討論中之所有工作者執行緒已退出，使得儲存於局部共識暫存器(
Figure 107136460-A0305-02-0026-23
LC)38中之值表示全部所要執行緒之正確、最新彙總狀態。等待此可藉由憑藉監督器執行緒執行之一屏障同步化強制執行以等待所有當前運行之局部工作者執行緒(即，相同處理器模組4上之透過相同管線13運行之局部工作者執行緒)退出。即，監督器執行緒重設局部共識暫存器(
Figure 107136460-A0305-02-0026-24
LC)38，啟動複數個工作者執行緒，且接著在容許監督器繼續自局部共識暫存器(
Figure 107136460-A0305-02-0026-25
LC)38獲取經彙總退出狀態之前起始一本端屏障同步化(在處理模組4本端、在一微磚本端)以便等待所有未處理工作者執行緒退出。
參考圖6，在實施例中，在處理器之指令集中提供一SYNC(同步化)指令。該SYNC指令具有引起監督器執行緒SV等待直至所有當前 執行工作者W已藉助於一EXIT指令退出之效應。在實施例中，SYNC指令採用一模式作為一運算元(在實施例中其唯一運算元)，該模式指定SYNC是否僅在本端僅相對於在本端運行於與作為其上執行SYNC之部分之監督器相同之處理器模組4(例如，相同微磚)上之該等工作者執行緒(即，僅透過相同桶形執行緒處理單元10之相同管線13之執行緒)起作用；或代替性地其是否應跨多個微磚或甚至跨多個晶片應用。
SYNC模式//mode
Figure 107136460-A0305-02-0027-26
{tile,chip,zone_1,zone_2}
此將在稍後更詳細論述但出於圖6之目的將假定一本端SYNC(「SYNC微磚」，即，一單個微磚內之一同步化)。
工作者不需要經識別為SYNC指令之運算元，因為暗示接著引起監督器SV自動等待直至一工作者不佔用桶形執行緒處理單元10之時槽S0、S1…。如圖6中所展示，一旦一當前批次之工作者WLn之各者已全部藉由監督器啟動，監督器便可執行一SYNC指令。若監督器SV在桶形執行緒處理單元10之所有時槽S0、…、S3(在所繪示之實例中全部四個時槽，但此僅為一個例示性實施方案)中啟動工作者W，則一旦該當前批次之工作者執行緒WLn之第一者退出，SYNC即將藉由監督器執行，因此將對至少一時槽之控制交還給該監督器SV。否則若工作者未佔據所有時槽，則SYNC將僅緊接在已啟動當前批次WLn之最後執行緒之後執行。無論如何，在監督器可繼續進行之前，SYNC引起監督器SV等待當前批次之工作者WLn-1之所有其他者執行一EXIT。僅在此之後監督器執行一GET指令以獲取局部共識暫存器(
Figure 107136460-A0305-02-0027-4
LC)38之內容。一旦已執行SYNC，便可在硬體中施加藉由監督器執行緒之此等待。即，回應於SYNC指令之操作碼，執行級18之執行單元(EXU)中之邏輯引起提取級14及排程器24暫停發 出監督器執行緒之指令直至所有未處理工作者執行緒已執行一EXIT指令。在獲取局部共識暫存器(
Figure 107136460-A0305-02-0028-27
LC)38(視需要在其間具有某一其他監督器程式碼)之值之後之某一點，監督器執行一PUT指令以重設局部共識暫存器(
Figure 107136460-A0305-02-0028-28
LC)38(在所繪示之實例中重設至1)。
又如圖6中所繪示，SYNC指令亦可用於在工作者執行緒之不同相依層WL1、WL2、WL3、…之間放置同步化屏障，其中各連續層中之一或多個執行緒取決於藉由其前一層中之一或多個工作者執行緒輸出之資料。藉由監督器執行緒執行之本端SYNC確保直至前一層WLn中之所有工作者執行緒已退出(藉由執行一EXIT指令)才執行下一層WLn+1中之工作者執行緒。
如所提及，在實施例中，處理器模組4可實施為形成一個多微磚處理器之一互連微磚陣列之一者，其中微磚之各者可如上文關於圖1至圖6所描述般組態。
此在展示一單晶片處理器2(即，一單晶粒)之圖7中進一步繪示，單晶片處理器2包括多個處理器微磚4之一陣列6及在微磚4之間連接之一晶片上互連件34。晶片2可單獨實施於其自身單晶片積體電路封裝上，或實施為封裝於相同IC封裝中之多個晶粒之一者。該晶片上互連件在本文中亦可被稱為「交換組構(fabric)」34，因為其使微磚4能夠彼此交換資料。各微磚4包括各如上文關於圖1至圖6所描述般配置之桶形執行緒處理單元10及記憶體11之一各自例項。例如，藉由圖解，晶片2可包括大約數百個微磚4或甚至超過一千個。為完整性，亦應注意，如本文中所引用之一「陣列」並不一定意味微磚4之任何特定數目個尺寸或實體佈局。
在實施例中，各晶片2亦包括使晶片2能夠連接至不同晶片 (例如，相同晶片2之一或多個其他例項)上之一或多個其他、外部處理器之一或多個外部鏈路8。此等外部鏈路8可包括以下之任一或多者：用於將晶片2連接至一主機處理器之一或多個晶片至主機鏈路，及/或用於使相同IC封裝或卡上或不同卡上之晶片2之一或多個其他例項連接在一起之一或多個晶片至晶片鏈路。在一個例示性配置中，晶片2自經由晶片至主機鏈路之一者連接至該晶片之一主機處理器(未展示)接收呈待藉由晶片2處理之輸入資料之形式之工作者。晶片2之多個例項可藉由晶片至晶片鏈路一起連接至卡中。因此，取決於主機應用所需之工作負載，一主機可存取架構為一單晶片處理器2或可能配置於多個互連卡上之多個單晶片處理器2之一電腦。
互連件34經組態以使陣列6中之不同處理器微磚4能夠在晶片2上彼此通信。然而，除相同微磚4上之執行緒之間可能存在相依性之外，在運行於陣列6中之不同微磚4上之程式之部分之間亦可存在相依性。因此需要一種防止一個微磚4上之一段程式碼在其所取決於之可藉由另一微磚4上之另一段程式碼獲得之資料前面運行之技術。
在實施例中，此係藉由實施一整體同步平行(BSP)交換方案而達成，如圖8及圖9中示意性地繪示。
根據BSP之一版本，各微磚4在一交替循環中執行藉由微磚之間的一屏障同步化30彼此分離之一運算階段52及一交換階段50。在所繪示之情況中，一屏障同步化係放置於各運算階段52與隨後交換階段50之間。在運算階段52期間，各微磚4在微磚上本端執行一或多個運算任務，但不會將此等運算之任何結果與微磚4之任何其他者通信。在交換階段50中，容許各微磚4將來自先前運算階段之運算之一或多個結果交換至 群組中之微磚之一或多個其他者及/或自群組中之微磚之一或多個其他者交換，但並不執行任何新運算直至其已自其他微磚4接收任何資料，其(若干)任務對該資料具有相依性。各微磚4也不會將任何資料(惟先前運算階段中運算之資料除外)發送至任何其他微磚。不排除可在交換階段中執行其他操作(諸如內部控制相關操作)。在實施例中，交換階段50並不包含任何非時間確定性運算，但在交換階段50期間可視需要容許少數時間確定性運算。亦應注意，可在運算階段52期間容許執行運算之一微磚4與在經同步化之微磚4之陣列外部之其他外部系統資源(例如，一網路卡、磁碟機或場可程式化閘陣列(FPGA))通信，只要此並不涉及與群組內之經同步化之其他微磚4之通信。在微磚群組外部之通信可視需要利用BSP機制，但替代性地可不利用BSP機制且可代替性地使用其自身之一些其他同步化機制。
根據BSP原理，將一屏障同步化30放置於自運算階段52過渡至交換階段50之接點，或自交換階段50過渡至運算階段52之接點，或兩者處。即，以下任一者：(a)需要所有微磚4在容許群組中之任一者進行至下一交換階段50之前完成其等各自運算階段52；或(b)需要群組中之所有微磚4在容許群組中之任何微磚進行至下一運算階段52之前完成其等各自交換階段50；或(c)強制執行此等條件之兩者。在全部三個變體中，個別處理器在階段之間交替，且整個總成同步化。交換階段及運算階段之序列可接著在多次重複期間重複。在BSP術語學中，交換階段及運算階段之各重複有時被稱為一「超步驟(superstep)」(但應注意，在文獻中術語學並不總是一致地使用：有時各個別交換階段及運算階段個別地被稱為一超步驟，而在別處，如本文中所採用之術語學中，交換階段及運算階段一起 被稱為一超步驟)。
亦應注意，不排除相同晶片2或不同晶片上之微磚4之多個不同獨立群組可各形成彼此非同步操作之一單獨各自BSP群組，其中僅在各給定群組內施加運算、同步化及交換之BSP循環，但各群組獨立於其他群組而施加。即，一多微磚陣列6可能包含各相對於其他此等群組獨立地且非同步地操作之多個內部同步化群組(稍後更詳細論述)。在一些實施例中，存在同步化及交換之一階層式分組，如稍後將更詳細論述。
圖9繪示如在陣列6中之一些或所有微磚之一群組4i、4ii、4iii中實施之BSP原理，在此情況中該BSP原理施加：(a)自運算階段52至交換階段50之一屏障同步化(參見上文)。應注意，在此配置中，容許一些微磚4開始運算52而一些其他微磚4仍在交換。
根據本文中所揭示之實施例，可藉由將額外、特殊、專用功能性併入至一機器碼指令中以用於執行屏障同步化(即，SYNC指令)而促進此類型之BSP。
在實施例中，SYNC函數在藉由作為一運算元之一微磚間模式(例如，晶片上模式：SYNC晶片)限定時採用此功能性。
此係示意性地繪示於圖10中。在其中各微磚4包括一多執行緒處理單元10之情況中，各微磚之運算階段52可實際上包括藉由相同微磚4上之多個工作者執行緒W執行之任務(且一給定微磚4上之一給定運算階段52可包括工作者執行緒之一或多個層WL，在多個層之情況中該一或多個層WL可使用具有作為一運算元之本端微磚上模式之SYNC指令藉由內部屏障同步化而分離，如先前所描述)。一旦一給定微磚4上之監督器執行緒SV在當前BSP超步驟中啟動最後工作者執行緒，該微磚4上之監督 器便可執行具有設定為運算元之微磚間模式(SYNC晶片)之一SYNC指令。若監督器將在其各自處理單元10之所有時槽中啟動(運行)工作者執行緒，則一旦將不再需要在當前BSP超步驟中RUN更多工作者之第一時槽交還給監督器，便執行「SYNC晶片」。例如，此可在第一執行緒在最後層WL中退出之後或僅在第一工作者執行緒退出之後(若僅存在一單個層)發生。另外若非所有時槽用於在當前BSP超步驟中運行工作者，則一旦已啟動需要在當前BSP超步驟中運行之最後工作者，便可執行「SYNC晶片」。此可在已運行最後層中之所有工作者時或僅在已運行所有工作者執行緒(若僅存在一個層)時發生。
執行級18之執行單元(EXU)經組態以便回應於SYNC指令之操作碼，在藉由晶片上(微磚間)運算元限定時，引起其中執行「SYNC晶片」之監督器執行緒暫停直至陣列6中之所有微磚4已完成運行工作者。此可用於對下一BSP超步驟實施一屏障。即，在晶片2上之所有微磚4通過已該屏障之後，跨微磚程式作為一整體可進展至下一交換階段50。
圖11給出繪示根據本文中所揭示之實施例之藉由一「SYNC晶片」觸發之邏輯之一示意圖。
一旦監督器已在當前運算循環52中啟動(運行)其預期之所有執行緒，其便可執行具有晶片上、微磚間運算元(SYNC晶片)之一SYNC指令。此觸發將在微磚4上之專用同步化邏輯39中及在實施於硬體互連件34中之一同步化控制器36中觸發之以下功能性。微磚上同步化邏輯39及互連件34中之同步化控制器36兩者之此功能性經實施於專用硬體電路中，使得一旦執行SYNC晶片，該功能性之其餘部分便在未執行進一步指令以如此做之情況下繼續進行。
首先，微磚上同步化邏輯39引起針對討論中之微磚4上之監督器之指令發出以自動暫停(引起提取級14及排程器24中止發出監督器之指令)。一旦本端微磚4上之所有未處理工作者執行緒執行一退出(EXIT)，同步化邏輯39便可將一同步化請求「sync_req」自動發送至互連件34中之同步化控制器36。本端微磚4接著繼續在監督器指令發出暫停之情況下等待。一類似程序亦實施在陣列6中之其他微磚4之各者(各包括其自身之同步化邏輯39之例項)上。因此在某一時間點，一旦當前運算階段52中之所有最後工作者已在陣列6中之所有微磚4上退出，同步化控制器36便將自陣列6中之所有微磚4接收一各自同步化請求(sync_req)。僅在那時，回應於自相同晶片2上之陣列6中之每個微磚4接收sync_req，同步化控制器36將一同步化確認信號「sync_ack」發送回至微磚4之各者上之同步化邏輯39。直至此時，微磚4之各者使其監督器指令發出暫停以等待該同步化確認信號(sync_ack)。在接收sync_ack信號之後，微磚4中之同步化邏輯39自動取消暫停針對該微磚4上之各自監督器執行緒之監督器指令發出。監督器接著在一後續交換階段50中經由互連件34自由地與其他微磚4繼續交換資料。
較佳地，sync_req信號及sync_ack信號係分別經由將各微磚4連接至互連件34中之同步化控制器36之一或多個專用同步化導線傳輸至同步化控制器及自同步化控制器接收。
此外，根據本文中所揭示之實施例，在SYNC指令中包含一額外功能性。即，至少在一微磚間模式(例如，SYNC晶片)中執行時，SYNC指令亦引起經同步化微磚4之各者之局部退出狀態
Figure 107136460-A0305-02-0033-29
LC自動彙總於互連件34中之進一步專用硬體40中。在所展示之實施例中，此邏輯採用 (例如)由一串雙輸入AND閘40i、40ii、…形成之一多輸入AND閘(用於陣列6中之各微磚4之一個輸入)之形式，如藉由圖11中之實例所展示。此微磚間彙總邏輯40自陣列中之各微磚4接收局部退出狀態暫存器(局部共識暫存器)
Figure 107136460-A0305-02-0034-30
LC 38中之值，在實施例中，各值為一單位元，且將其等彙總成一單個值(例如，所有局部彙總之退出狀態之一AND)。因此，邏輯跨陣列6中之所有微磚4上之所有執行緒形成一全域彙總之退出狀態。
微磚4之各者包括經配置以接收及儲存來自互連件34中之全域彙總邏輯40之全域退出狀態之一全域共識暫存器(
Figure 107136460-A0305-02-0034-31
GC)42之一各自例項。在實施例中，此係監督器之內文暫存器檔案CXS中之狀態暫存器之另一者。回應於自陣列6中之所有微磚4接收之同步化請求(sync_req)，同步化控制器36引起彙總邏輯40之輸出(例如，AND之輸出)儲存於各微磚4上之全域共識暫存器(
Figure 107136460-A0305-02-0034-32
GC)42中(將瞭解，圖11中所展示之「切換」係功能性之一示意性表示且實際上可藉由任何合適數位邏輯實施更新)。一旦繼續監督器指令發出，此暫存器(
Figure 107136460-A0305-02-0034-33
GC)42便可藉由各自微磚4上之監督器執行緒SV存取。在實施例中，全域共識暫存器
Figure 107136460-A0305-02-0034-34
GC係實施為控制暫存器檔案中之一控制暫存器使得監督器執行緒可藉由一GET指令獲取全域共識暫存器(
Figure 107136460-A0305-02-0034-35
GC)42中之值。應注意，在更新全域共識暫存器(
Figure 107136460-A0305-02-0034-36
GC)42之任一者中之值之前，同步化邏輯36等待直至自所有微磚4接收sync_req，否則可使尚未完成其運算階段52之部分且因此仍運行之一微磚上之一監督器執行緒存取一錯誤值。
全域彙總之退出狀態
Figure 107136460-A0305-02-0034-37
GC使程式能夠判定運行於多個不同微磚4上之程式之部分之一總結果而無需個別地檢查各個別微磚上之各個別工作者執行緒之狀態。其可出於程式設計員所要之任何目的而使用。例 如，在其中全域彙總係一布林AND之圖11中所展示之實例中，此意謂任何輸入為0導致一彙總0，但若所有輸入係1，則彙總係1。即，若使用1來表示一真或成功結果，此意謂若微磚4之任一者之局部退出狀態之任一者為假或不成功，則全域彙總狀態亦將為假或表示一不成功結果。例如，此可用於判定運行於所有微磚上之程式碼之部分是否已全部滿足一預定條件。因此，程式可查詢一單個暫存器(在實施例中，一單位元)以詢問「是否出錯？是或否？」或「圖表中之所有節點是否達到一可接受錯誤位準？是或否？」，而非必須檢查各個別微磚上之個別工作者執行緒之個別狀態(且又，在實施例中，監督器實際上無法查詢工作者之狀態，惟透過退出狀態暫存器38、42除外)。換言之，EXIT及SYNC指令各將多個個別退出狀態縮減為一單個組合狀態。
在一個例示性使用情況中，微磚之一或多者上之監督器可向一主機處理器報告全域彙總是否指示一假或不成功結果。作為另一實例，程式可取決於全域退出狀態執行一分支決策。例如，程式檢查全域彙總退出狀態
Figure 107136460-A0305-02-0035-38
GC且基於此判定是否繼續迴圈或是否在別處分支。若全域退出狀態
Figure 107136460-A0305-02-0035-39
GC仍為假或不成功，則程式繼續反覆程式之相同、第一部分，但一旦全域退出狀態
Figure 107136460-A0305-02-0035-40
GC為真或成功，程式便可分支至程式之一第二、不同部分。該分支決策可在各監督器執行緒中個別地實施，或藉由擔任主控監督器之角色且指示其他微磚上之其他從屬監督器之監督器之一者實施(主控監督器角色經組態在軟體中)。
應注意，圖11中所展示之彙總邏輯40僅為一實例。在另一等效實例中，AND可用OR取代，且0與1之解譯可反轉(0→真，1→假)。等效地，若用OR閘取代AND閘但不反轉退出狀態之解譯，亦不反轉重設 值，則
Figure 107136460-A0305-02-0036-41
GC中之經彙總狀態將記錄任何(而非所有)微磚是否以局部彙總之狀態1退出。在其他實例中，全域退出狀態
Figure 107136460-A0305-02-0036-42
GC可包括表示如下三元狀態之兩個位元：所有微磚之局部彙總之退出狀態
Figure 107136460-A0305-02-0036-43
LC係狀態1，所有微磚之局部彙總之退出狀態
Figure 107136460-A0305-02-0036-44
LC係狀態0，或微磚之局部彙總之退出狀態
Figure 107136460-A0305-02-0036-45
LC係混合的。作為另一更複雜實例，微磚4之局部退出狀態及全域彙總之退出狀態可各包括可用於(例如)表示微磚4之結果中之一置信度之兩個或兩個以上位元。例如，各個別微磚之局部彙總之退出狀態
Figure 107136460-A0305-02-0036-46
LC可表示在各自微磚4之一結果中之置信度之一統計、概率量測，且全域彙總邏輯40可用用於執行硬體中之個別置信度位準之一統計彙總之更複雜電路取代。
如先前所提及，在實施例中，晶片2之多個例項可連接在一起以形成跨越多個晶片2之微磚4之一更大陣列。此係繪示於圖12中。一些或所有晶片2可實施於相同IC封裝上或一些或所有晶片2可實施於不同IC封裝上。晶片2藉由一外部互連件72(經由圖7中所展示之外部鏈路8)連接在一起。除提供用於在不同晶片上之微磚4之間交換資料之一導管之外，外部交換週邊設備72亦提供用於執行不同晶片2上之微磚4之間之屏障同步化及彙總不同晶片2上之微磚4之局部退出狀態之硬體支援。
在實施例中，SYNC指令可採用其模式運算元之至少一進一步可能值以指定一外部(即，晶片間)同步化：SYNC zone_n，其中zone_n表示一外部同步化區帶。外部互連件72包括類似於關於圖11所描述之硬體邏輯但在一外部晶片間級之硬體邏輯。當SYNC指令係用其運算元中所指定之兩個或兩個以上晶片2之一外部同步化區帶執行時，此引起外部互連件72中之邏輯以類似於關於內部互連件34所描述之方式之一方式但跨該所指定同步化區帶中之多個不同晶片2上之微磚4操作。
即，回應於一外部SYNC，暫停監督器指令發出直至外部同步化區帶中之所有晶片2上之所有微磚4已完成其等運算階段52且提交一同步化請求。此外，外部互連件72中之邏輯彙總跨討論中之區帶中之多個晶片2之所有此等微磚4之局部退出狀態。一旦外部同步化區帶中之所有微磚4已作出同步化請求，外部互連件72便可將一同步化確認傳訊回至微磚4且將跨晶片全域彙總退出狀態儲存至討論中之所有微磚4之全域共識暫存器(
Figure 107136460-A0305-02-0037-47
GC)42中。回應於該同步化確認，區帶中之所有晶片2上之微磚4繼續針對監督器之指令發出。
在實施例中，互連件72之功能性可實施於晶片2中，即，邏輯可分佈於晶片2中使得僅需要晶片之間的有線連接(圖11及圖12係示意性的)。
所提及之同步化區帶內之所有微磚4經由其等各自SYNC指令之模式運算元程式化以指示相同同步化區帶。在實施例中，外部互連件72週邊設備中之同步化邏輯經組態使得，若歸因於一程式化錯誤或其他錯誤(諸如一記憶體同位錯誤)而使情況並非如此，則一些或所有微磚4不會接收一確認，且因此系統將在下一外部屏障處停止，從而容許一管理外部CPU(例如，主機)干預除錯或系統恢復。在其他實施例中，在其中同步化區帶並不匹配之情況中引發一錯誤。然而較佳地，編譯器經組態以確保相同區帶中之微磚在相關時間全部指示相同、正確同步化區帶。
圖13繪示涉及內部(晶片上)同步化及外部(晶片間)同步化兩者之一例示性BSP程式流程。如所展示，較佳保持(相同晶片2上之微磚4之間的資料之)內部交換50與(不同晶片2上之微磚4之間的資料之)外部交換50’分離。此之一原因在於，與僅針對一晶片上同步化及交換相比，藉 由全域同步化進行劃界之跨多個晶片之一全域交換可在延時及負載平衡複雜性方面更「昂貴」。另一可能原因在於，經由內部(晶片上)互連件34交換資料可為時間確定性的，而在實施例中經由外部互連件72交換資料可為非時間確定性的。在此等案例中，使內部交換與外部交換分離可為有用的，使得外部同步化及交換程序不會「污染」內部同步化及交換。
因此，為達成此分離，在實施例中，程式經配置以執行包括以下順序之同步化、交換階段及運算階段之一序列：(i)一第一運算階段，接著(ii)一內部屏障同步化30，接著(iii)一內部交換階段50，接著(iv)一外部屏障同步化80，接著(v)一外部交換階段50’。參見圖13中之晶片2II。在內部交換階段50之後施加外部屏障80，使得程式僅在內部交換50之後進行至外部交換50’。亦應注意，如關於圖12中之晶片2I所展示，視需要可在內部交換(iii)與外部屏障(iv)之間包含一運算階段。整個序列係藉由程式強制執行(例如，藉由編譯器如此產生)，且內部同步化及交換並不擴展至另一晶片2上之任何微磚或其他實體。序列(i)至(v)(其中iii與iv之間具有上述選用運算階段)可在一系列整體反覆中重複。每反覆在外部同步化及交換之前可存在內部運算、同步化及交換(i)至(iii)之多個例項。
應注意，在一外部交換50期間，通信並不僅限於外部：一些微磚可僅執行內部交換，一些可僅執行外部交換，且一些可執行一混合交換。亦應注意，如圖13中所展示，一般而言在任何給定BSP超步驟中可具有一空值運算階段52或一空值交換階段50。
在一些實施例中，亦如圖13中所展示，一些微磚4可在一運算階段期間執行本端輸入/輸出，例如，其等可與一主機交換資料。
如圖14中所繪示，在實施例中，SYNC指令之模式可用於 指定多個不同可能外部同步化區帶之一者(例如，zone_1或zone_2)。在實施例中，此等對應於不同階層層級。即，各較高階層層級92(例如，區帶2)包含至少一較低階層層級之兩個或兩個以上區帶91A、91B。在實施例中，僅存在兩個階層層級，但不排除較高數目個巢狀層級。若SYNC指令之運算元係設定至外部同步化區帶(SYNC zone_1)之較低階層層級，則相對於僅在與其上執行SYNC之微磚相同之較低層級外部同步化區帶中之晶片2上之微磚4執行上述同步化及彙總操作。另一方面，若SYNC指令之運算元係設定至外部同步化區帶(SYNC zone_2)之較高階層層級，則相對於僅在與其上執行SYNC之微磚相同之較高層級外部同步化區帶中之所有晶片2上之所有微磚自動執行上述同步化及彙總操作。在實施例中，同步化區帶之最高階層層級包含所有晶片，即，其用於執行一全域同步化。當使用多個較低層級區帶時，BSP可在內部施加於各區帶內之(若干)晶片2上之微磚4群組中，但各區帶可相對於彼此非同步操作直至執行一全域同步化。
應注意，在其他實施例中，可藉由SYNC指令之模式指定之同步化區帶並不限於在本質上為階層式的。一般而言，一SYNC指令可具有對應於任何種類之分組之模式。例如，該等模式可實現自僅非階層式群組中或階層式分組及一或多個非階層式群組之一混合中選擇(其中至少一群組未完全巢套在另一群組內)。此有利地實現程式設計員或編譯器以最小標碼串密度在相對於彼此非同步之內部同步化群組之不同佈局之間選擇之靈活性。
在圖16中繪示用於在選定同步化群組91、92中實施同步化之一例示性機制。如所繪示，外部互連件72中之外部同步化邏輯76包括 與每一各自晶片2相關聯之一各自同步化區塊95。各同步化區塊95包括各自閘控邏輯及一各自同步化彙總器。該閘控邏輯包括硬體電路，該硬體電路出於同步化及退出狀態彙總之目的而以一菊鏈拓撲將晶片2連接在一起，且根據下文傳播同步化及退出狀態資訊。該同步化彙總器包括經組態以根據下文彙總同步化請求(sync_req)及退出狀態之硬體電路。
與各晶片2相關聯之各自同步化區塊95經連接至其各自晶片2，使得其可偵測藉由該晶片2提出之同步化請求(Sync_req)及該晶片2之退出狀態，且使得其可將同步化確認(Sync_ack)及全域退出狀態傳回至各自晶片2。與各晶片2相關聯之各自同步化區塊95亦經由包括四個同步化導線96之一集束(其等之細節稍後將更詳細論述)之一外部同步化介面連接至晶片2之至少另一者之同步化區塊95。此可為晶片至晶片鏈路8之一者之部分。在不同卡上之晶片2之間的一鏈路之情況下，介面8可(例如)包括一PCI介面且四個同步化導線96可藉由重新使用該PCI介面之四個導線而實施。晶片之一些同步化區塊95經連接至兩個相鄰晶片2之同步化區塊95，各連接經由四個同步化導線96之一各自例項。以此方式，晶片2可經由其等同步化區塊95連接於一或多個菊鏈中。此使同步化請求、同步化確認、退出狀態之運行彙總及全域退出狀態能夠沿著該鏈上下傳播。
在操作中，對於各同步化群組91、92，將與該群組中之晶片2之一者相關聯之同步化區塊95設定為用於同步化及退出狀態彙總目的之主控裝置，該群組中之其餘部分係用於此目的之從屬裝置。從屬同步化區塊95之各者係按其需要傳播用於各同步化群組91、92之同步化請求、同步化確認及退出狀態之方向(例如，左或右)組態(即，該方向朝向主控裝置)。在實施例中，此等設定可藉由軟體(例如)在一初始組態階段(在此 之後組態在系統之整個後續操作期間保持固定)中組態。例如，此可藉由主機處理器組態。替代性地，不排除組態可經硬接線。無論哪種方式，不同同步化群組91、92可具有不同主控裝置且一般而言可使一給定晶片2(或確切地說其同步化區塊95)成為一個群組而非其係一成員之另一群組之主控裝置，或成為多個群組之主控裝置。
例如，藉由圖解考量圖16之例示性案例。舉例說明，晶片2IV之同步化區塊95係設定為一給定同步化群組91A之主控裝置。現考量經由其等同步化區塊95及導線96最終連接至晶片2IV之晶片2之鏈中之第一晶片2I。當第一晶片2I上之當前運算階段之所有工作者執行緒已執行一EXIT指令且所有(參與)微磚4上之監督器全部已執行指定同步化群組91A之一SYNC指令時，第一晶片2I接著將其同步化準備就緒傳訊回至其各自相關聯同步化區塊95。晶片2I亦將其晶片級經彙總退出狀態(各自晶片2I上之所有參與微磚上之所有退出工作者之彙總)輸出至其各自同步化區塊95。作為回應，第一晶片2I之同步化區塊95將一同步化請求(Sync_req)傳播至鏈中之下一晶片2II之同步化區塊95。其亦將第一晶片2I之退出狀態傳播至此下一晶片2II之同步化區塊95。此第二晶片2II之同步化區塊95等待直至其自身(參與)微磚4之監督器全部已執行指定同步化群組91A之一SYNC指令，從而引起第二晶片2II傳訊同步準備就緒。僅在那時，第二晶片之同步化區塊95將一同步化請求傳播至鏈中之下一(第三)晶片2III之同步化區塊95，且亦傳播第一晶片2I之退出狀態與第二2II之退出狀態之一運行彙總。若第二晶片2II在第一晶片2I之前已變為同步化準備就緒，則第二晶片2II之同步化區塊95應等待第一晶片2I在將一同步化請求傳播至第三晶片2III之同步化區塊95之前傳訊該同步化請求。第三晶片2III之同 步化區塊95以一類似方式表現，此次彙總來自第二晶片2II之運行彙總退出狀態以獲得下一運行彙總以向前傳遞等。此繼續針對主控同步化區塊(在此實例中晶片2IV之主控同步化區塊)。
主控裝置之同步化區塊95接著基於其接收之運行彙總及其自身晶片2IV之退出狀態判定所有退出狀態之一全域彙總。其沿著鏈將此全域彙總連同同步化確認(Sync_ack)傳播回出至所有晶片2。
若主控裝置部分沿著一鏈(相對於如上文實例中之一端處)，則同步化及退出狀態資訊沿著相反方向在主控裝置之任一側、兩側朝向主控裝置傳播。在此情況中，一旦已接收來自兩側之同步化請求，主控裝置僅發出同步化確認及全域退出狀態。例如，考量其中晶片2III係群組92之主控裝置之情況。此外，在實施例中，一些晶片2之同步化區塊95可連接至三個或三個以上其他晶片2之同步化區塊95，從而產生朝向主控裝置之多個鏈分支。各鏈接著如上文所描述般表現，且一旦已接收來自所有鏈之同步化請求，主控裝置便僅發出同步化確認及全域退出狀態。及/或，晶片2之一或多者可連接至一外部資源(諸如主機處理器、一網路卡、一儲存裝置或一FPGA)。
在實施例中，如下般實施同步化及退出狀態資訊之傳訊。各對晶片2之間的四個同步化導線96之集束包括兩對導線(一第一對96_0及一第二對96_1)。各對包括一同步化請求導線之一例項及一同步化確認導線之一例項。為傳訊值0之一運行彙總退出狀態，發送晶片2之同步化區塊95在傳訊同步化請求(sync_req)時使用第一導線對96_0之同步化請求導線，或為傳訊值1之一運行彙總，同步化區塊95在傳訊同步化請求時使用第二導線對96_1之同步化請求導線。為傳訊值0之一全域彙總退出狀態， 發送晶片2之同步化區塊95在傳訊同步化確認(sync_ack)時使用第一導線對96_0之同步化確認導線，或為傳訊值1之一全域彙總，同步化區塊95在傳訊同步化確認時使用第二導線對96_1之同步化請求導線。
應注意，上文僅為用於傳播同步化及退出狀態資訊之機制。實際資料(內容)係藉由(例如)如稍後參考圖16所論述之另一通道傳輸。此外，將瞭解，此僅為一例示性實施方案，且熟習技術者將能夠建置用於實施所揭示之同步化及彙總功能性之其他電路(一旦給定本文中所揭示之該功能性之規範)。例如，同步化邏輯(圖18中之95)可代替性地使用經由作為專用佈線之替代之互連件34、72攜載之封包。例如，sync_req及/或sync_ack可各以一或多個封包之形式傳輸。
不同可能模式中之SYNC指令之功能性係在下文概述。
SYNC微磚(執行局部、微磚上屏障同步化)
●監督器運行模式自執行轉變至等待工作者退出
●中止用於監督器執行緒之指令發出直至所有工作者執行緒處於非作用中
●當所有工作者執行緒處於非作用中時，可經由局部共識暫存器(
Figure 107136460-A0305-02-0043-48
LC)38獲得經彙總工作者退出狀態。
SYNC晶片(執行一內部、晶片上屏障同步化)
●監督器運行模式自執行轉變至等待工作者退出
●中止用於監督器執行緒之指令發出直至所有工作者執行緒處於非作用中
●當所有工作者執行緒處於非作用中時：
- 可經由局部共識暫存器(
Figure 107136460-A0305-02-0044-49
LC)38獲得經彙總局部工作者退出狀態
- 將內部同步化參與傳訊至交換組構34
- 監督器保持非作用中直至微磚4自交換組構34接收內部同步化確認
- 在全域共識暫存器(
Figure 107136460-A0305-02-0044-50
GC)42中更新全系統退出狀態。
SYNC zone_n(執行跨區帶n之一外部屏障同步化)
●監督器運行模式自執行轉變至等待工作者退出
●中止用於監督器執行緒之指令發出直至所有工作者執行緒處於非作用中
●當所有工作者執行緒處於非作用中時：
- 可經由局部共識暫存器(
Figure 107136460-A0305-02-0044-51
LC)38獲得彙總局部工作者退出狀態
- 將外部同步化參與傳訊至外部系統(例如，上述外部互連件72中之同步化邏輯)
- 監督器保持中止直至微磚4自外部系統72接收外部同步化確認
- 在全域共識暫存器(
Figure 107136460-A0305-02-0044-52
GC)42中更新全系統退出狀態。
圖15繪示本文中所揭示之處理器架構之一例示性應用，即，機器智慧之一應用。
如熟習機器智慧技術者將熟知，機器智慧以其中機器智慧演算法學習一知識模型之一學習階段開始。該模型包括互連節點(即，頂點)102及邊緣(即，鏈路)104之一圖表。該圖表中之各節點102具有一或多個輸入邊緣及一或多個輸出邊緣。一些節點102之一些輸入邊緣係一些其他節點之輸出邊緣，藉此將該等節點連接在一起以形成圖表。此外，節點102之一或多者之輸入邊緣之一或多者作為一整體形成圖表之輸入，且節點102之一或多者之輸出邊緣之一或多者作為一整體形成圖表之輸出。 有時一給定節點可甚至具有以下所有此等：圖表之輸入、來自圖表之輸出及至其他節點之連接。各邊緣104傳送一值或更通常一張量(n維矩陣)，此等形成分別在節點102之輸入及輸出邊緣上提供至節點102及自節點102提供之輸入及輸出。
各節點102表示如在其(若干)輸入邊緣上接收之其一或多個輸入之一函數，其中此函數之結果係提供於(若干)輸出邊緣上之(若干)輸出。各函數係藉由一或多個各自參數(有時被稱為權重，但其等不一定為乘法權重)參數化。一般而言，藉由不同節點102表示之函數可為不同形式之函數及/或可藉由不同參數參數化。
此外，各節點之函數之一或多個參數之各者藉由一各自錯誤值特性化。此外，一各自條件可與各節點102之該(等)參數中之該(等)錯誤相關聯。對於表示藉由一單個參數參數化之一函數之一節點102，該條件可為一簡單臨限值，即，若錯誤在該指定臨限值內則滿足條件，但若錯誤超出該臨限值則不滿足條件。對於藉由一個以上各自參數參數化之一節點102，節點102已達到一可接受錯誤位準之條件可更複雜。例如，僅在該節點102之參數之各者落在各自臨限值內時可滿足條件。作為另一實例，可定義組合用於相同節點102之不同參數中之錯誤之一組合度量，且在該組合度量之值落在一指定臨限值內之條件下可滿足條件，但在其他方面若該組合度量之值超出該臨限值，則不滿足條件(或反之亦然，取決於該度量之定義)。無論條件如何，此給予節點之(若干)參數中之錯誤是否降至低於一特定可接受位準或度之一度量。一般而言，可使用任何合適度量。條件或度量針對所有節點可相同，或針對節點之不同各自者可不同。
在學習階段中，演算法接收經驗資料，即，表示圖表之輸 入之不同可能組合之多個資料點。隨著接收愈來愈多之經驗資料，演算法基於經驗資料逐步調諧圖表中之各種節點102之參數以便試圖最小化參數中之錯誤。目標係找出參數之值使得圖表之輸出儘可能接近用於一給定輸入之一所要輸出。在圖表作為一整體傾向於此一狀態時，圖表被稱作收斂。在一合適收斂度之後，圖表可接著用於執行預測或或推斷，即，預測某一給定輸入之一結果或推斷某一給定輸出之一原因。
學習階段可採用許多不同可能形式。例如，在一監督方法中，輸入經驗資料採用訓練資料(即，對應於已知輸出之輸入)之形式。運用各資料點，演算法可調諧參數使得輸出緊密匹配用於給定輸入之已知輸出。在後續預測階段中，圖表可接著用於將一輸入查詢映射至一近似經預測輸出(或若進行一推斷則反之亦然)。其他方法亦係可行的。例如，在一非監督方法中，每輸入基準不存在一參考結果之概念，且代替性地由機器智慧演算法來識別輸出資料中之其自身結構。或在一強化方法中，演算法針對輸入經驗資料中之各資料點嘗試至少一個可能輸出，且被告知此輸出是否為正或負(及可能其為正或負之一程度)，例如，贏或輸、或獎勵或懲罰，或此類似者。在多次試驗中，演算法可逐步調諧圖表之參數以能夠預測將導致一正結果之輸入。熟習機器學習技術者將知道用於學習一圖表之各種方法及演算法。
根據本文中所揭示之技術之一例示性應用，各工作者執行緒經程式化以執行與一機器智慧圖表中之節點102之一各自個別者相關聯之運算。在此情況中，節點102之間的至少一些邊緣104對應於執行緒之間的資料交換，且一些邊緣104可涉及微磚之間的交換。此外，工作者執行緒之個別退出狀態係由程式設計員用於表示各自節點102是否已滿足其 用於收斂該節點之(若干)參數之各自條件，即，是否具有落在錯誤空間中之可接受位準或區域內之(若干)參數中之錯誤。例如，此係實施例之一個例示性使用，其中個別退出狀態之各者係一個別位元且經彙總退出狀態係該等個別退出狀態之一AND(或等效地若將0視為正，則為一OR)；或其中經彙總退出狀態係表示個別退出狀態是否全部真、全部假或混合之一個三元值。因此，藉由檢查退出狀態暫存器38中之一單個暫存器值，程式可判定圖表整體或圖表之至少一子區域是否已收斂於一可接受程度。
作為此之另一變體，可使用其中彙總採用個別置信度值之一統計彙總之形式之實施例。在此情況中，各個別退出狀態表示藉由各自執行緒表示之節點之參數已達到一可接受錯誤程度之一置信度(例如，作為一百分比)。經彙總退出狀態可接著用於判定關於圖表或圖表之一子區域是否已收斂於一可接受程度之一整體置信度。
在一多微磚配置6之情況中，各微磚運行圖表之一子圖表。各子圖表包括一監督器子程式，該監督器子程式包括一或多個監督器執行緒及其中一些或所有工作者可採用標碼串之形式之一組工作者執行緒。
在此等應用，或實際上其中各工作者執行緒用於表示一圖表中之一各自節點之任何基於圖表之應用中，各工作者所包括之「標碼串」可定義為在持久狀態及一個頂點之輸入及/或輸出上操作之一軟體程序，其中標碼串：●在一個工作者執行緒暫存器內文上啟動，以藉由執行一「運行」指令之監督器執行緒而在一桶形時槽中運行；●運行以在無需與其他標碼串或監督器通信之情況下完成(惟在標碼 串退出時返回至監督器除外)；●經由藉由該「運行」指令提供之一記憶體指標存取一頂點之持久狀態，及存取記憶體中為該桶形時槽私有之一非持久性工作區；及●執行「EXIT」作為其最後指令，因此將其使用之桶形時槽返回至監督器，且將藉由該退出指令指定之退出狀態與監督器可見之微磚之局部退出狀態彙總。
更新一圖表(或子圖表)意謂以與由邊緣定義之因果關係一致之任何順序更新各構成頂點一次。更新一頂點意謂在頂點狀態上運行一標碼串。一標碼串係用於頂點之一更新程序，一個標碼串通常與許多頂點相關聯。監督器每頂點執行一個RUN指令，各此指令指定一頂點狀態位址及一標碼串位址。
將瞭解，僅藉由實例描述上文實施例。
例如，退出狀態彙總機制之適用性並不限於其中對監督器執行緒提供一獨立內文或其中監督器執行緒在一時槽中運行且接著將其時槽轉交給一工作者之上述架構。例如，在另一配置中，監督器可在其自身專用時槽中運行。
此外，術語「監督器」及「工作者」並不暗示任何特定責任(惟另有明確說明除外)，且尤其其等自身並不一定限於其中一監督器執行緒將其時槽轉交給一工作者之上述方案等等。一般而言，工作者執行緒可係指某一運算任務所分配至之任何執行緒。監督器可表示負責諸如以下各者之行動之任何種類之督導或協調執行緒：將工作者指派給桶形時槽，及/或在多個執行緒之間執行屏障同步化，及/或取決於一個以上執行緒之結果執行任何控制流操作(諸如一分支)。
在其中引用交錯時槽之一序列或類似者之情況下，此並不一定暗示所引用之序列組成任何可能或可用時槽。例如，討論中之序列可為所有可能時槽或僅當前在作用中之時槽。並不一定排除可存在當前不包含於經排程序列中之其他潛在時槽。
如本文中所使用之術語微磚並不一定限於任何特定拓撲或類似者，且一般而言可係指在一類似模組陣列(通常至少一些模組在相同晶片(即，相同晶粒)上)中包括一處理單元10及對應記憶體11之處理資源之任何模組化單元。
此外，本發明之範疇並不限於一時間確定性內部互連或一非時間確定性外部互連。本文中所揭示之同步化及彙總機制亦可用於一完全時間確定性配置或一完全非時間確定性配置中。
此外，在本文中引用在一微磚群組或複數個微磚或類似者之間執行一同步化或一彙總之情況下，此未必指代晶片上之所有微磚或系統中之所有微磚，除非明確說明。例如，SYNC及EXIT指令可經組態以僅相對於一給定晶片上之微磚4之一特定子集及/或僅一給定系統中之晶片2之一子集執行同步化及彙總；而一給定晶片上之一些其他微磚4及/或一給定系統中之一些其他晶片可不涉及於一給定BSP群組中，且可甚至用於與藉由可用群組執行之運算無關之某組完全獨立任務。
又，雖然上文已描述SYNC指令之特定模式，但更一般而言本發明之範疇並不限於此等模式。例如，上文給定之模式清單並不一定詳盡。或在其他實施例中，SYNC指令可具有較少模式，例如，SYNC不需要支援外部同步化之不同階層層級，或不需要在晶片上同步化與晶片間同步化之間進行區分(即，在一微磚間模式中，無關於是否晶片上或晶片 外始終相對於所有微磚起作用)。在又進一步替代實施例中，SYNC指令完全不需要採用一模式作為一運算元。例如，在實施例中，可對同步化及退出狀態彙總之不同層級提供SYNC指令之獨立版本(不同操作碼)(諸如不同SYNC指令用於微磚上同步化及微磚間、晶片上同步化)。或在其他實施例中，可僅對微磚間同步化提供一專用SYNC指令(視需要在通用軟體中執行執行緒之間的微磚上同步化)。
此外，同步化區帶並不限於階層式(即，在彼此中進行巢套)，且在其他實施例中可選擇同步化區帶可由一或多個非階層式群組組成或包含一或多個非階層式群組(該群組之所有微磚未在一單個其他可選擇群組內進行巢套)。
此外，上述同步化方案並不排除在實施例中涉及除多微磚處理器以外之外部資源，例如，一CPU處理器(諸如主機處理器)，或甚至並非處理器之一或多個組件(諸如一或多個網路卡、儲存裝置及/或FPGA)。例如，一些微磚可選擇參與與一外部系統之資料傳送，其中此等傳送形成該微磚之運算負擔。在此情況中，該等傳送應在下一屏障之前完成。在一些情況中，微磚之退出狀態可取決於與外部資源之通信之一結果，且此資源可替代地影響退出狀態。替代性地或此外，除多微磚處理器以外之資源(例如，主機或一或多個FPGA)可併入至同步化網路自身中。即，需要來自此/此等額外資源之一同步化信號(諸如Sync_req)以便滿足屏障同步化且使微磚進行至下一交換階段。此外，在實施例中，經彙總之全域退出狀態可在彙總中包含(例如)來自一FPGA之外部資源之一退出狀態。
一旦給定本文中之揭示內容，熟習此項技術者便可明白所 揭示技術之其他應用及變體。本發明之範疇並不受限於所描述實施例而僅受限於隨附發明申請專利範圍。
37:AND閘/彙總電路/彙總邏輯
38:暫存器/局部共識暫存器
Figure 107136460-A0305-02-0002-1
LC/局部退出狀態暫存器
Figure 107136460-A0305-02-0002-2
LC/退出狀態暫存器

Claims (19)

  1. 一種處理器，其包括：一執行管線，其包含用於執行機器碼指令之一執行單元，各機器碼指令係該處理器之一指令集中之一組預定義指令類型之一例項，該指令集中之各指令類型藉由一對應操作碼及用於獲取零個或多個運算元之零個或多個運算元欄位所定義；多個內文暫存器組；一排程器，其經配置以控制該執行管線以提供一重複序列之時間上交錯之時槽，藉此使至少一各自工作者執行緒能夠經分配以在一些或所有該等時槽之每一各自者中執行，其中當前在各時槽中執行之該各自工作者執行緒之一程式狀態係維持於該等內文暫存器組之一各自者中；及一退出狀態暫存器，其經配置以儲存該等工作者執行緒之一經彙總退出狀態；其中該指令集包括包含於該等工作者執行緒之各者中之一退出指令，該退出指令採用該各自執行緒之至少一個別退出狀態作為一運算元；且其中該執行單元包括專用硬體邏輯，該專用硬體邏輯經組態以便回應於該退出指令之該操作碼使該各自工作者執行緒終止執行於其各自時槽中，且亦引起該運算元中指定之該個別退出狀態促成該退出狀態暫存器中之該經彙總退出狀態。
  2. 如請求項1之處理器，其中該退出指令僅包括獲取呈該個別退出狀態 之形式之一單個運算元之一單個運算元欄位。
  3. 如請求項1或2之處理器，其中該等個別退出狀態及該等經彙總退出狀態之各者僅為一單位元。
  4. 如請求項3之處理器，其中該彙總退出狀態係由該等個別退出狀態之一布林AND或該等個別退出狀態之一布林OR組成。
  5. 如請求項1或2之處理器，其中該經彙總退出狀態至少包括表示一個三元值之兩個位元，從而指示該等個別二元退出狀態是否全部為1、全部為0或混合。
  6. 如請求項1之處理器，其在該重複序列之時間上交錯之時槽之至少一些重複期間在該等時槽之一或多者中進一步經組態以執行將該等工作者執行緒分配給該等各自執行槽之一監督器執行緒。
  7. 如請求項6之處理器，其中該多個內文暫存器組包括：多個工作者內文暫存器組，各工作者內文暫存器組經配置以維持在執行該各自工作者執行緒時當前執行於該各自時槽中之該各自工作者執行緒之該程式狀態；及一額外監督器內文暫存器組，其包括經配置以儲存該監督器執行緒之一程式狀態之額外暫存器。
  8. 如請求項6或7之處理器，其中該監督器執行緒藉由在該複數個時槽 之各者中運行而開始，且接著將一些或所有該等時槽轉交給該等各自工作者執行緒；且其中該退出指令引起該監督器執行緒繼續在執行該退出指令之該工作者執行緒之該各自時槽中執行。
  9. 如請求項8之處理器，其中該指令集進一步包括一轉交指令且執行級經組態以回應於藉由該監督器執行緒在經轉交之該各自時槽中執行之該轉交指令之該操作碼而執行該各自執行槽之該轉交。
  10. 如請求項1之處理器，其中該處理器包括一微磚群組，各微磚包括該執行級、該多個內文暫存器組、該排程器及該退出狀態暫存器之一例項；且其中該處理器進一步包括用於在該等微磚之間通信之一互連件。
  11. 如請求項10之處理器，其中該互連件包括專用硬體邏輯，其經組態以將來自該微磚群組之該等經彙總退出狀態自動彙總成一全域彙總及使該全域彙總可用於該等微磚之各者上之該等執行緒之至少一者。
  12. 如請求項11之處理器，其在該重複序列之時間上交錯之時槽之至少一些重複期間在該等時槽之一或多者中進一步經組態以執行將該等工作者執行緒分配給該等各自執行槽之一監督器執行緒；其中該至少一執行緒包括該監督器執行緒。
  13. 如請求項11之處理器，其中該等微磚之各者進一步包括經配置以可藉由該微磚上之該至少一執行緒讀取之一全域彙總暫存器；且其中該互連 件中之該邏輯經組態以藉由將該全域彙總自動儲存於各微磚上之該全域彙總暫存器中而自動使該全域彙總可用於各微磚上之該至少一執行緒。
  14. 如請求項10之處理器，其中該互連件包括一同步化控制器，該同步化控制器可操作以將一整體同步平行交換方案應用於微磚之間的該通信，藉此在該等微磚之各者經程式化以執行一微磚間交換階段及一微磚上運算階段時，則a)阻止該交換階段直至該群組中之所有該等微磚上之所有該等工作者執行緒已完成該運算階段，或b)阻止該運算階段直至該群組中之所有該等微磚已完成該交換階段。
  15. 如請求項14之處理器，其中：該指令集進一步包括包含於分別在該(a)運算階段或(b)交換階段之後之該等微磚之各者中之該等執行緒之一者中之一屏障同步化指令；在該等微磚之各者上，該執行級經組態以便在執行該屏障同步化指令之後將一同步化請求信號發送至該互連件中之該同步化控制器；及該同步化控制器經組態以回應於自所有該等微磚接收該同步化請求信號之一例項而將一同步化確認信號傳回至該等微磚之各者，該同步化確認信號相應地釋放下一(a)交換階段或(b)運算階段。
  16. 如請求項14或15之處理器，其在該重複序列之時間上交錯之時槽之至少一些重複期間在該等時槽之一或多者中進一步經組態以執行將該等工作者執行緒分配給該等各自執行槽之一監督器執行緒；其中該交換階段經配置以藉由該監督器執行緒執行。
  17. 如請求項1、2、6、7、10、11、12、13、14或15之處理器，其經程式化以執行一機器智慧演算法，其中一圖表中之各節點具有一或多個各自輸入邊緣及一或多個各自輸出邊緣，其中至少一些該等節點之該等輸入邊緣係該等節點之至少一些其他節點之該等輸出邊緣，各節點包括使其輸出邊緣與其輸入邊緣有關之一各自函數，其中每一各自函數藉由一或多個各自參數參數化，且該等各自參數之各者具有一相關聯錯誤，使得該圖表在一些或所有該等參數中之該等錯誤減少時收斂於一解；其中該等工作者執行緒之各者模型化該圖表中之該等節點之一各自者，且該等個別退出狀態之各者係用於指示該各自節點之該一或多個參數中之該等錯誤是否已滿足一預定條件。
  18. 一種操作一處理器之方法，該處理器包括一執行管線及多個內文暫存器組，該執行管線包含用於執行機器碼指令之一執行單元，各機器碼指令係該處理器之一指令集中之一組預定義指令類型之一例項，該指令集中之各指令類型藉由一對應操作碼及用於獲取零個或多個運算元之零個或多個運算元欄位所定義；其中該方法包括：排程該執行管線以提供時間上交錯之時槽之一重複序列，藉此使至少一各自工作者執行緒能夠經分配以在一些或所有該等時槽之每一各自者中執行，其中在該等內文暫存器組之一各自者中維持當前執行於各時槽中之該各自工作者執行緒之一程式狀態；及至少暫時將該等工作者執行緒之一經彙總退出狀態維持於該處理器之一退出狀態暫存器中； 其中該指令集包括包含於該等工作者執行緒之各者中之一退出指令，該退出指令採用該各自執行緒之至少一個別退出狀態作為一運算元；且該方法包括在執行之後回應於該退出指令之該操作碼而觸發該處理器之專用硬體邏輯以終止該各自工作者執行緒執行於其各自時槽中，且引起該運算元中指定之該個別退出狀態促成該退出狀態暫存器中之該經彙總退出狀態。
  19. 一種電腦程式產品，其體現於電腦可讀儲存器上且包括經組態以執行於如請求項1至17中任一項之處理器之程式碼，該程式碼包括在各工作者執行緒中包含該退出指令之該等工作者執行緒。
TW107136460A 2017-10-20 2018-10-17 處理器及其操作之方法，以及電腦程式產品 TWI703496B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1717300.6 2017-10-20
??1717300.6 2017-10-20
GB1717300.6A GB2569098B (en) 2017-10-20 2017-10-20 Combining states of multiple threads in a multi-threaded processor

Publications (2)

Publication Number Publication Date
TW201923562A TW201923562A (zh) 2019-06-16
TWI703496B true TWI703496B (zh) 2020-09-01

Family

ID=60481649

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107136460A TWI703496B (zh) 2017-10-20 2018-10-17 處理器及其操作之方法，以及電腦程式產品

Country Status (10)

Country Link
US (2) US10452396B2 (zh)
JP (1) JP6698784B2 (zh)
KR (1) KR102253628B1 (zh)
CN (1) CN110121702B (zh)
CA (1) CA3021407C (zh)
DE (1) DE102018126003A1 (zh)
FR (1) FR3072799B1 (zh)
GB (1) GB2569098B (zh)
TW (1) TWI703496B (zh)
WO (1) WO2019076713A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474458B2 (en) 2017-04-28 2019-11-12 Intel Corporation Instructions and logic to perform floating-point and integer operations for machine learning
GB2569098B (en) * 2017-10-20 2020-01-08 Graphcore Ltd Combining states of multiple threads in a multi-threaded processor
US20190319933A1 (en) * 2018-04-12 2019-10-17 Alibaba Group Holding Limited Cooperative tls acceleration
US11062680B2 (en) * 2018-12-20 2021-07-13 Advanced Micro Devices, Inc. Raster order view
GB2580165B (en) 2018-12-21 2021-02-24 Graphcore Ltd Data exchange in a computer with predetermined delay
US11934342B2 (en) 2019-03-15 2024-03-19 Intel Corporation Assistance for hardware prefetch in cache access
EP4024223A1 (en) 2019-03-15 2022-07-06 Intel Corporation Systems and methods for cache optimization
AU2020241262A1 (en) 2019-03-15 2021-11-04 Intel Corporation Sparse optimizations for a matrix accelerator architecture
US12013808B2 (en) 2019-03-15 2024-06-18 Intel Corporation Multi-tile architecture for graphics operations
CN112486663A (zh) * 2019-09-12 2021-03-12 阿里巴巴集团控股有限公司 资源使用状态的评估方法和装置、电子设备以及计算机可读存储介质
US11126439B2 (en) * 2019-11-15 2021-09-21 Apple Inc. SIMD operand permutation with selection from among multiple registers
GB2596872B (en) * 2020-07-10 2022-12-14 Graphcore Ltd Handling injected instructions in a processor
GB202010839D0 (en) * 2020-07-14 2020-08-26 Graphcore Ltd Variable allocation
GB2608180B (en) * 2021-06-25 2024-06-26 Graphcore Ltd Control of data send from a multi-processor device
US20230315460A1 (en) * 2022-04-02 2023-10-05 Intel Corporation Synchronous microthreading

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101821712A (zh) * 2007-09-06 2010-09-01 高通股份有限公司 在多级数据处理管线中执行指令的系统和方法
CN102067088A (zh) * 2008-06-19 2011-05-18 松下电器产业株式会社 多处理器
TW201203111A (en) * 2010-05-12 2012-01-16 Ibm Hardware assist thread for increasing code parallelism
CN102411512A (zh) * 2010-09-20 2012-04-11 国际商业机器公司 对多个辅助硬件线程进行可缩放状态跟踪的方法和系统
TW201616342A (zh) * 2014-10-28 2016-05-01 萬國商業機器公司 於多執行緒處理器中控制執行緒之執行
US20170060762A1 (en) * 2015-08-28 2017-03-02 International Business Machines Corporation Expedited servicing of store operations in a data processing system

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06139220A (ja) * 1992-10-30 1994-05-20 Hitachi Ltd ニューロコンピュータ
DE69429204T2 (de) * 1993-03-26 2002-07-25 Cabletron Systems Inc Ablaufssteuerungsverfahren und -gerät für ein Kommunikationsnetzwerk
GB2296534B (en) 1993-07-20 1996-12-04 Graco Inc A two-stage air valve actuator for a double-diaphragm pump
JP3169779B2 (ja) * 1994-12-19 2001-05-28 日本電気株式会社 マルチスレッドプロセッサ
CN100351782C (zh) * 1999-05-13 2007-11-28 Arc国际美国控股公司 用于设计数字处理器的方法以及装置
US20030126416A1 (en) * 2001-12-31 2003-07-03 Marr Deborah T. Suspending execution of a thread in a multi-threaded processor
CN1842770A (zh) * 2003-08-28 2006-10-04 美普思科技有限公司 一种在处理器中挂起和释放执行过程中计算线程的整体机制
US20060136919A1 (en) * 2004-12-17 2006-06-22 Sun Microsystems, Inc. System and method for controlling thread suspension in a multithreaded processor
US7810083B2 (en) * 2004-12-30 2010-10-05 Intel Corporation Mechanism to emulate user-level multithreading on an OS-sequestered sequencer
US20060146864A1 (en) * 2004-12-30 2006-07-06 Rosenbluth Mark B Flexible use of compute allocation in a multi-threaded compute engines
KR100728899B1 (ko) * 2005-10-27 2007-06-15 한국과학기술원 복수의 레지스터 집합과 하드웨어 작업 관리자를 가진고성능 멀티쓰레드 임베디드 프로세서
US8194690B1 (en) 2006-05-24 2012-06-05 Tilera Corporation Packet processing in a parallel processing environment
US20090171379A1 (en) * 2007-12-27 2009-07-02 Ethicon Endo-Surgery, Inc. Fluid logic for regulating restriction devices
DE102008020782B4 (de) * 2008-04-25 2010-08-12 Fujitsu Siemens Computers Gmbh Verfahren zur parallelen Verarbeitung von Programmen sowie zur Durchführung des Verfahrens geeigneter Prozessor
JP2010176403A (ja) * 2009-01-29 2010-08-12 Toyota Motor Corp マルチスレッドプロセッサ装置
US8607247B2 (en) * 2011-11-03 2013-12-10 Advanced Micro Devices, Inc. Method and system for workitem synchronization
TWI569205B (zh) * 2012-08-31 2017-02-01 威盛電子股份有限公司 一種微處理器及其操作方法
TW201423402A (zh) * 2012-12-12 2014-06-16 Paneve Llc 通用目的數位資料處理器、系統及方法
JP5981352B2 (ja) * 2013-01-04 2016-08-31 日本電信電話株式会社 半導体装置の製造方法
JP6007430B2 (ja) 2015-05-20 2016-10-12 大澤　昇平 機械学習モデル設計支援装置、機械学習モデル設計支援方法、機械学習モデル設計支援装置用プログラム
US10832120B2 (en) * 2015-12-11 2020-11-10 Baidu Usa Llc Systems and methods for a multi-core optimized recurrent neural network
GB2569271B (en) * 2017-10-20 2020-05-13 Graphcore Ltd Synchronization with a host processor
GB2569273B (en) * 2017-10-20 2020-01-01 Graphcore Ltd Synchronization in a multi-tile processing arrangement
GB2569274B (en) * 2017-10-20 2020-07-15 Graphcore Ltd Synchronization amongst processor tiles
GB2569269B (en) * 2017-10-20 2020-07-15 Graphcore Ltd Synchronization in a multi-tile processing arrangement
GB2569098B (en) 2017-10-20 2020-01-08 Graphcore Ltd Combining states of multiple threads in a multi-threaded processor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101821712A (zh) * 2007-09-06 2010-09-01 高通股份有限公司 在多级数据处理管线中执行指令的系统和方法
CN102067088A (zh) * 2008-06-19 2011-05-18 松下电器产业株式会社 多处理器
TW201203111A (en) * 2010-05-12 2012-01-16 Ibm Hardware assist thread for increasing code parallelism
CN102411512A (zh) * 2010-09-20 2012-04-11 国际商业机器公司 对多个辅助硬件线程进行可缩放状态跟踪的方法和系统
TW201616342A (zh) * 2014-10-28 2016-05-01 萬國商業機器公司 於多執行緒處理器中控制執行緒之執行
US20170060762A1 (en) * 2015-08-28 2017-03-02 International Business Machines Corporation Expedited servicing of store operations in a data processing system

Also Published As

Publication number Publication date
US10452396B2 (en) 2019-10-22
US20190354370A1 (en) 2019-11-21
CA3021407C (en) 2020-12-29
WO2019076713A1 (en) 2019-04-25
FR3072799A1 (fr) 2019-04-26
CN110121702B (zh) 2023-07-21
KR102253628B1 (ko) 2021-05-18
US11113060B2 (en) 2021-09-07
KR20190044569A (ko) 2019-04-30
CA3021407A1 (en) 2019-04-20
TW201923562A (zh) 2019-06-16
GB2569098A (en) 2019-06-12
GB2569098B (en) 2020-01-08
FR3072799B1 (fr) 2022-06-03
GB201717300D0 (en) 2017-12-06
CN110121702A (zh) 2019-08-13
JP2019079527A (ja) 2019-05-23
JP6698784B2 (ja) 2020-05-27
DE102018126003A1 (de) 2019-04-25
US20190121638A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
TWI703496B (zh) 處理器及其操作之方法，以及電腦程式產品
TWI700634B (zh) 具有在多微磚處理配置中之同步的處理系統、操作處理系統之方法、以及相關電腦程式產品
TWI691900B (zh) 用於處理器微磚中之同步化之處理器系統及方法
TWI673649B (zh) 多微磚、多晶片處理配置中之同步化
TWI687865B (zh) 用於同步之處理系統與方法及相關電腦可讀儲存器
TWI685788B (zh) 用於多微磚處理配置中之同步化之處理系統、方法及電腦程式產品