JPWO2016181648A1 - アクセラレータ制御装置、アクセラレータ制御方法および記録媒体 - Google Patents

アクセラレータ制御装置、アクセラレータ制御方法および記録媒体 Download PDF

Info

Publication number
JPWO2016181648A1
JPWO2016181648A1 JP2017517613A JP2017517613A JPWO2016181648A1 JP WO2016181648 A1 JPWO2016181648 A1 JP WO2016181648A1 JP 2017517613 A JP2017517613 A JP 2017517613A JP 2017517613 A JP2017517613 A JP 2017517613A JP WO2016181648 A1 JPWO2016181648 A1 JP WO2016181648A1
Authority
JP
Japan
Prior art keywords
data
accelerator
processing
dag
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017517613A
Other languages
English (en)
Other versions
JP6724908B2 (ja
Inventor
鈴木 順
順 鈴木
真樹 菅
真樹 菅
佑樹 林
佑樹 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016181648A1 publication Critical patent/JPWO2016181648A1/ja
Application granted granted Critical
Publication of JP6724908B2 publication Critical patent/JP6724908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Advance Control (AREA)

Abstract

アクセラレータを用いた計算を高速に実行する。アクセラレータ制御装置は、データに付した名前と当該データをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けて保持するデータ管理テーブルと、前記名前を付したデータを入力データとする第1の処理を受け付けると、前記データ管理テーブルを参照して前記データをローカルメモリ上に保持するアクセラレータを判別するデータ管理部と、前記判別したアクセラレータに前記第1の処理を実行させるタスク処理部と、を備えている。

Description

本発明はアクセラレータ制御装置、アクセラレータ制御方法およびプログラムに関し、特にアクセラレータを用いた計算を制御するアクセラレータ制御装置、アクセラレータ制御方法およびプログラムに関する。
特許文献1には、アクセラレータ制御装置の一例が記載されている。図10に示すように、特許文献1に記載されたアクセラレータ制御装置は、情報処理装置8によって構成される。情報処理装置8は、共有メモリ81と、共有メモリ81に接続する複数のアクセラレータ821〜823とを備えている。
共有メモリ81は、アクセラレータ821〜823が処理するデータを保持する。アクセラレータ821〜823は、共有メモリ81からアクセラレータ821〜823に移動されたデータに対して処理を行う。アクセラレータ821〜823は、処理を完了したデータを再び共有メモリ81に移動する。これらのデータの移動と処理は、所望の処理が完了するまで繰り返して行われる。
特開2013−025392号公報
上記特許文献の全開示内容は、本書に引用をもって繰り込み記載されているものとする。以下の分析は、本発明者によってなされたものである。
特許文献1に記載された技術では、アクセラレータにデータを移動するのに時間を要するため、アクセラレータを用いた計算が高速に行えないおそれがある。また、同じ理由により、かかる技術によると、複数のアクセラレータを用いて計算を行う場合、用いるアクセラレータの数に応じた全体の計算時間の短縮が実現されないおそれもある。
そこで、アクセラレータを用いた計算が高速に行えるようにすることが課題となる。本発明の目的は、かかる課題解決に寄与するアクセラレータ制御装置、アクセラレータ制御方法およびプログラムを提供することにある。なお、本発明のその他の課題ないし目的は、後述の発明を実施するための形態の説明において明らかとなる。
本発明の第1の態様に係るアクセラレータ制御装置は、データに付した名前と当該データをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けて保持するデータ管理テーブルと、前記名前を付したデータを入力データとする第1の処理を受け付けると、前記データ管理テーブルを参照して前記データをローカルメモリ上に保持するアクセラレータを判別するデータ管理部と、前記判別したアクセラレータに前記第1の処理を実行させるタスク処理部と、を備えている。
本発明の第2の態様に係るアクセラレータ制御方法は、データに付した名前と当該データをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けてデータ管理テーブルに保持し、前記名前を付したデータを入力データとする第1の処理を受け付けると、前記データ管理テーブルを参照して前記データをローカルメモリ上に保持するアクセラレータを判別し、前記判別したアクセラレータに前記第1の処理を実行させる。
本発明の第3の態様に係るプログラムは、データに付した名前と当該データをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けてデータ管理テーブルに保持する処理と、前記名前を付したデータを入力データとする第1の処理を受け付ける処理と、前記データ管理テーブルを参照して前記データをローカルメモリ上に保持するアクセラレータを判別する処理と、前記判別したアクセラレータに前記第1の処理を実行させる処理と、をコンピュータに実行させる。なお、プログラムは、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)に記録されたプログラム製品として提供することもできる。
本発明に係るアクセラレータ制御装置、アクセラレータ制御方法およびプログラムによると、アクセラレータを用いた計算を高速に行うことができる。
図1は、一実施形態に係るアクセラレータ制御装置の構成を例示するブロック図である。 図2は、第1の実施形態に係るアクセラレータ制御装置の構成を例示するブロック図である。 図3は、第1の実施形態に係るアクセラレータ制御装置における予約APIおよび実行APIを例示する図である。 図4は、第1の実施形態に係るアクセラレータ制御装置におけるDAG(Directed Acyclic Graph)の構成を例示する図である。 図5は、第1の実施形態に係るアクセラレータ制御装置におけるデータおよび処理の分割について説明するための図である。 図6は、第1の実施形態に係るアクセラレータ制御装置におけるデータおよび処理の分割について説明するための図である。 図7は、第1の実施形態に係るアクセラレータ制御装置におけるメモリ管理テーブルの構成を例示する図である。 図8は、第1の実施形態に係るアクセラレータ制御装置におけるデータ管理テーブルの構成を例示する図である。 図9Aは、第1の実施形態に係るアクセラレータ制御装置の動作を例示するフロー図(1/2)である。 図9Bは、第1の実施形態に係るアクセラレータ制御装置の動作を例示するフロー図(2/2)である。 図10は、特許文献1に記載された関連技術を説明するための図である。
はじめに、一実施形態の概要について説明する。なお、この概要に付記する図面参照符号は、専ら理解を助けるための例示であり、本発明を図示の態様に限定することを意図するものではない。
図1は、一実施形態に係るアクセラレータ制御装置1の構成を例示するブロック図である。図1を参照すると、アクセラレータ制御装置1は、データ管理テーブル34、データ管理部33、および、タスク処理部32を備えている。
データ管理テーブル34は、データに付した名前(例えば、図8のオブジェクト名)と当該データをローカルメモリ上に保持するアクセラレータを識別する識別子(例えば、図8のアクセレレータ番号、ページ番号)とを関連付けて保持する。データ管理部33は、名前を付したデータを入力データとする第1の処理(例えば、図4に示すDAGに含まれる処理)を受け付けると、データ管理テーブル34を参照して当該データをローカルメモリ上に保持するアクセラレータを判別する。タスク処理部32は、判別したアクセラレータに第1の処理を実行させる。
かかる構成によると、処理に使用するデータをアクセラレータのメモリ上に予め保持することで、処理の際にアクセラレータのメモリにデータをロードする必要がなくなるため、アクセラレータを用いた計算を高速化することが可能となる。
また、データ管理部33は、第1の処理の出力データを出力するためのメモリ領域を、判別したアクセラレータのローカルメモリ上に確保するようにしてもよい。
これにより、アクセラレータの処理によって生じる出力データをアクセラレータ上のローカルメモリに保持することができる。したがって、アクセラレータ上で処理を実行する際に、アクセラレータ上のローカルメモリと外部のメモリ(例えば、図2のメインメモリ4)との間における入出力データのやりとりが不要となる。よって、アクセラレータを用いた計算をさらに高速化することが可能となる。
さらに、データ管理部33は、データを生成したプログラムの完了を超えてアクセラレータのローカルメモリ上にデータを蓄積する第2の処理(例えば、後述するstoreObject)を受け付けると、蓄積するデータに付される名前と、蓄積するデータをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けてデータ管理テーブル34に登録する。
これにより、ユーザプログラムの完了を超えてアクセラレータのローカルメモリに保持すべきデータを、予めアクセラレータのローカルメモリに蓄積することが可能となる。
さらに、他の実施形態によると、アクセラレータ制御装置1は、ユーザプログラムの完了を超えてアクセラレータのメモリにデータを保持させるデータ管理部33と、アクセラレータ上のメモリに管理されるデータの名前からデータを保持するアクセラレータとアクセラレータのメモリのアドレスを対応付けるデータ管理テーブル34と、アクセラレータのメモリが保持するデータに対し、ユーザが指定する処理をアクセラレータに行わせるタスク処理部32とを備える。
かかる構成により、ユーザプログラムの完了を超えてアクセラレータ上にデータを保持し、ユーザプログラムの依頼によりアクセラレータに保持するデータに対しユーザプログラムから依頼された処理を行わせるよう動作する。また、ユーザプログラムからの依頼により、ユーザプログラムの完了を超えてアクセラレータのメモリ上にデータを保持する。
かかる構成を採用し、ユーザプログラムの実行の度にアクセラレータのメモリにデータをロードする必要性をなくすことにより、アクセラレータを用いた計算を高速に行うことが可能となる。
さらに、複数のアクセラレータのメモリ上に計算に使用するデータを分割して保持し、ユーザから依頼された処理をデータの分割を保持するそれぞれのアクセラレータに対して行わせるようにしてもよい。
かかる構成によると、計算の度にアクセラレータのメモリにデータをロードする必要がなくなる。したがって、複数のアクセラレータを用いて計算を行う場合に、使用するアクセラレータの数に従って全体の計算時間を短縮することが可能となる。
<実施形態1>
次に、第1の実施形態に係るアクセラレータ制御装置について、図面を参照して詳細に説明する。
[構成]
図2を参照すると、本実施形態に係るアクセラレータ制御装置1は、アクセラレータ51〜53、メインメモリ4、アクセラレータ制御部3、ユーザプログラム21、および、DAG(Directed Acyclic Graph)作成部22を備えている。アクセラレータ制御装置1は、一例として、ホストコンピュータによって実現される。なお、ユーザプログラム21は、アクセラレータ制御装置1の外部の構成としてもよい。
アクセラレータ51〜53は、計算処理を実行する。
メインメモリ4は、アクセラレータ51〜53のメモリリソースの不足により保持できなくなったデータを退避するためのメモリである。
アクセラレータ制御部3は、アクセラレータ51〜53を制御する。
DAG作成部22は、ユーザプログラム21のAPI(Application Programming Interface)呼び出しにより、ユーザプログラム21の処理を示すDAG(Directed Acyclic Graph)を作成してアクセラレータ制御部3に送信する。
図2において、アクセラレータの数は説明の都合上3つとしている。ただし、アクセラレータの数は1つ以上であればよく、図示の態様に限定されない。アクセラレータとは、特に限定されないが、例えばNVIDIA社のGPU(Graphical Processing Unit)、Intel社のXeon Phi等である。アクセラレータはコンピュータのCPU(Central Processing Unit)のコプロセッサであり、一例として、コンピュータのI/O(Input/Output)スロットに挿入する形で実装される。
以下では、複数のアクセラレータ51〜53についての説明が重複する場合、アクセラレータ51についてのみ説明する。アクセラレータ52、53については、同様の説明があてはまる。
アクセラレータ51は、データを処理するプロセッサ511と、データを格納するアクセラレータメモリ521を備えている。ここでは、アクセラレータが有するローカルメモリを「アクセラレータメモリ」ともいう。
ユーザプログラム21は、アクセラレータ51〜53を用いるプログラマであるユーザが作成するアプリケーションプログラム、または、ユーザによって実行されるアプリケーションプログラムである。ユーザプログラム21は、一例として、DAG作成部22によって提供されるAPIを用いて実装される。DAG作成部22によって提供されるAPIには、例えば、図3に示すように予約APIおよび実行APIの2種類のAPIが含まれる。
予約APIは、図4に示すDAGの処理の1つに対応する。ユーザプログラム21から予約APIが呼び出されると、DAG作成部22は、DAGに対して1つの処理と、その処理が生成するデータとを追加する。例えば、図4において、データ61に対して予約APIを用いて処理71が呼ばれた場合、DAG作成部22は処理71とその出力データであるデータ62をDAGに付加する。なお、予約APIは、処理を予約するためのAPIである。すなわち、予約APIが呼び出された直後には、アクセラレータ51〜53での処理は実行されず、DAGが生成されるにすぎない。
一方、実行APIが呼び出された場合、新たな処理とその処理が生成するデータがDAGに付加される場合とされない場合とがある。また、実行APIの呼び出しは、それまでに生成されたDAGの処理の実行をトリガする。実行APIに属する処理は、ユーザプログラム21内でDAGが処理された後のデータが必要となる場合や、計算結果のデータをアクセラレータメモリにデータオブジェクトとして保持するstoreObjectの場合等である。
予約APIや実行APIは、図3に示すように1つまたは複数の引数α、β、γ、…を持つ場合がある。これらの引数のうちの1つは、カーネル関数である場合がある。ここで、カーネル関数とは、ユーザプログラム21がデータに対し実行する処理を示す関数である。APIが引数として関数をとるか否かは、予約APIや実行APIの種類に依存する。予約APIや実行APIはデータに対し行われる処理のパターンを示し、実際の具体的な処理はユーザプログラム内で予約APIと実行APIの引数として与えられるカーネル関数によって行われる。
カーネル関数を引数とするAPIの一例は、mapである。mapでは、入力データを構成するすべての要素に対してカーネル関数が適用される。DAGの入力データは、例えば、画像やデータベースのテーブルである。これらのデータにmapが適用された場合、カーネル関数は画像の各画素や、データベースの各エントリに対して個別に適用される。
一方、カーネル関数を必要としないAPIとして、例えば、storeObject,appendObject,readがある。storeObjectは、計算結果をアクセラレータメモリ521〜523にデータオブジェクトとして保持するAPIである。storeObjectによると、アクセラレータメモリ521〜523にデータオブジェクトとして保持するデータに名前付けを行うことが可能となる。このとき、storeObjectの引数としてオブジェクトの名前を渡す。また、appendObjectは、すでに存在するオブジェクトの末尾にデータを付加する場合に用いられるAPIである。さらに、readは、アクセラレータ51〜53上に存在するデータオブジェクトの内容をユーザ空間に取得するAPIである。
また、DAGが示す処理の入力データとして、アクセラレータメモリ521〜523が保持するデータオブジェクトを指定することが可能である。この場合、予約APIや実行APIで行う処理の入力データとして、アクセラレータ51〜53が保持するオブジェクトの名前を指定する。この名前は、storeObjectを呼び出したプログラムが付けたものである。
ここで、DAGの各データは、図5に示すように2つ以上の分割から構成されてもよい。図5は、図4のDAGのデータ61、処理71、データ62、処理72、および、データ63において、データを2つの分割で構成した例である。この場合、例えば、処理71を、データ61分割1とデータ61分割2の両方に適用すれば、データ61を分割しない場合の処理と同一の結果が得られる。これは、並列計算ではデータパラレルという処理形態に属し、本発明の属する技術分野における技術者の間で一般的に知られている処理である。図5では、データ61分割1に対する処理を処理71分割1等と記しているが、処理71分割1の処理内容は図4における処理71と同一である。また、複数の分割に対する処理を、異なるアクセラレータが分散して実行するようにしてもよい。
図6は、データ61がデータ61分割1と、データ61分割2と、データ61分割3と、データ61分割4に分割されている場合を示す。ここで、データ61分割1とデータ61分割2は、アクセラレータ51で処理される。一方、データ61分割3とデータ61分割4は、アクセラレータ52で処理される。この場合、4つすべてのデータ分割を1つのアクセラレータで処理する場合と比較して、理想的なケースでは2倍の計算性能が得られる。
なお、以下の説明では、誤解のおそれがない場合、データや処理を分割する場合について説明し、データや処理を分割しない場合についての説明を省略する。したがって、データを分割しない場合、以下の説明におけるデータ分割はすべてのデータを意味し、データ分割に対する処理はすべてのデータに対する処理を意味する。
DAG作成部22は、ユーザプログラム21が予約APIと実行APIを呼び出す度にDAGを生成する。予約APIが呼ばれた場合、DAG作成部22はDAGに対応する処理と出力データを付加する。一方、実行APIが呼ばれた場合、DAG作成部22はDAG処理と出力データの追加が必要であれば追加し、それまで生成したDAGをアクセラレータ制御部3に通知する。
なお、DAG作成部22が作成するDAGは、ユーザプログラム21が呼び出した予約APIや実行APIの種類、各APIに与えられたカーネル関数を含む。また、DAG作成部22は、DAGを通知する際、ユーザプログラム21の識別子を送信する。また、DAG作成部22は、ユーザプログラム21が終了する場合、アクセラレータ制御部3にユーザプログラム21の識別子を送信し、ユーザプログラム21が生成したデータのうちのstoreObjectで保持が指定された以外の中間データを消去するように要求する。
図2を参照すると、アクセラレータ制御部3は、プログラム解析部31、タスク処理部32、データ管理部33、データ管理テーブル34、および、メモリ管理テーブル35を備えている。プログラム解析部31は、DAG作成部22から受信したユーザプログラム21の処理を示すDAGを解析する。タスク処理部32は、DAGの処理を実行する。データ管理部33は、DAGの処理に必要なデータの管理や準備を行う。メモリ管理テーブル35は、アクセラレータのメモリを管理する。データ管理テーブル34は、アクセラレータのメモリ上のデータを管理する。以下、これらの各構成について詳述する。
メモリ管理テーブル35は、アクセラレータメモリ521〜523を管理するテーブルである。アクセラレータメモリ521〜523は、一定サイズのページに分割して管理される。ページサイズは、例えば、4KBや64KBである。メモリ管理テーブル35は、図7に示すように、各ページに関する情報をエントリとして保持する。各ページの情報は、そのページが属するアクセラレータ番号と、ページ番号と、そのページが使用中であることを示す使用中フラグと、そのページが使用中である場合、ページが保持するデータの識別子を示すデータ番号と、そのページが保持するデータはデータのどの分割かを示す分割番号と、そのページが計算に使用中であり解放することが禁止されていることを示すロックフラグとを保持する。使用中フラグとロックフラグは、ブール値である。データの識別子は、DAGのデータに割り当てられる。
ここでは、一例として、使用中フラグは、ページが使用中である場合「1」とし、それ以外の場合「0」とする。また、ロックフラグは、ページの解放が禁止される場合「1」とし、それ以外の場合「0」とする。
例えば、図7に示すメモリ管理テーブル35の最初のエントリは、アクセラレータ51のページ1は、データ62の分割1によって使用され、このページは現在計算に使用されているためロック中であることを示す。なお、ロック中のページが保持するデータは、メインメモリ4に退避させることができない。
データ管理テーブル34は、アクセラレータメモリ521〜523上のデータを管理する。データ管理テーブル34は、図8に示すように、ユーザプログラム21から送信されたDAG内のデータに関する情報を保持する。各エントリは、データ番号と、各データの分割番号と、そのデータが計算済みか否かを示す計算済フラグと、そのデータがメインメモリ4に退避されていることを示すスワップフラグと、そのデータを保持するアクセラレータ番号を示すアクセラレータ番号と、データを保持するアクセラレータのページ番号と、そのデータを生成したユーザプログラム21の識別子であるプロセス番号と、そのデータがユーザプログラム21の完了を超えてアクセラレータのメモリに保持されるデータオブジェクトであることを示すオブジェクトフラグと、オブジェクトフラグがセットされている場合にオブジェクトの名前を示すオブジェクト名と、を保持する。計算済フラグ、スワップフラグ、および、オブジェクトフラグは、ブール値である。
ここでは、一例として、計算済フラグは、計算済である場合「1」とし、それ以外の場合「0」とする。また、スワップフラグは、データがメインメモリ4に退避されている場合「1」とし、それ以外の場合「0」とする。さらに、オブジェクトフラグは、ユーザプログラム21の完了を超えてアクセラレータのメモリに保持されるデータオブジェクトの場合「1」とし、それ以外の場合「0」とする。
例えば、図8に示すデータ管理テーブル34の最初のエントリは、データ番号が62であるデータの分割1はすでに計算済みであり、アクセラレータ51のページ1に保持されていることを示す。また、このデータはユーザプログラム21の完了を超えてアクセラレータのメモリに保持されるデータオブジェクトであり、オブジェクト名が「pic」であることを示す。データ管理テーブル34のエントリが保持するアクセラレータ番号とページ番号より、メモリ管理テーブル35の該当エントリを参照し、各データが使用するページの情報を検索したり、計算に使用する場合にページをロックしたりすることが可能となる。
プログラム解析部31は、DAG作成部22から受信したユーザの処理を示すDAGを解析し、データと処理に分割する。プログラム解析部31は、DAG内のデータについて、データ管理テーブル34にエントリを作成する。ここで、プログラム解析部31は、データ分割数に応じた数のエントリを作成する。なお、データのエントリ作成時点では、まだ各データ分割の計算が行われていないため、データ管理テーブル34における計算済フラグは「0」となる。
一方、DAGの入力データとしてユーザプログラム21の今回より前のDAGが出力したデータや、ユーザプログラム21とは別のユーザプログラムが以前に作成し、アクセラレータ上のメモリにストアしたデータオブジェクトのデータについては、エントリがすでに存在している。したがって、プログラム解析部31は、これらのデータのエントリを新たに作成する必要はない。また、これらのエントリの計算済フラグは、データ管理テーブル34において「1」にセットされている。
プログラム解析部31は、DAGの「処理」の単位に分割した処理を実行するようにタスク処理部32に要求する。プログラム解析部31は、DAGの処理1つにつき、データ分割数に応じて処理の要求を行う。また、プログラム解析部31は、ユーザプログラム21の完了通知をDAG作成部22から受信し、ユーザプログラム21がDAGの実行により生成したデータのうち、プログラムの完了を超えて保持されるデータオブジェクト以外のデータの分割のエントリをデータ管理テーブル34から消去する。さらに、プログラム解析部31は、消去したエントリが使用していたページのメモリ管理テーブル35の使用中フラグを解除する(例えば、使用中フラグを「1」から「0」に変更する)ことで、アクセラレータメモリ521〜523を解放する。
データ管理部33は、データスケジューラ331とデータ移動部332を備えている。
データスケジューラ331は、アクセラレータメモリ521〜523が保持するデータの管理や、メモリの確保を指示する。データ移動部332は、アクセラレータ51〜53にデータをロードし、アクセラレータメモリ521〜523の確保を行う。
データスケジューラ331は、メモリ管理テーブル35を参照して、アクセラレータ51のアクセラレータメモリ521を管理する。また、データスケジューラ331は、他のアクセラレータ52、53についても、同様に管理する。さらに、データスケジューラ331は、タスク処理部32から処理の実行に必要な入力データと出力データの要求を受ける。
実行する処理がDAGの最初の処理である場合、入力データとしてアクセラレータメモリが保持するデータオブジェクトの識別子が指定されている。また、実行する処理が最初以外の処理である場合、DAGにおける前段の処理が完了していれば、その処理の出力データがすでに計算されている。いずれの場合も、データ管理テーブル34の対応するエントリのスワップフラグが「0」であれば、それらのデータの分割がメインメモリ4に退避されていないため、アクセラレータメモリ上において準備が完了している。
一方、スワップフラグが「1」の場合、データスケジューラ331はその分割をアクセラレータメモリ上に用意する。データスケジューラ331は、メモリ管理テーブル35を参照し、退避されたデータ分割をロードするために十分な空きページがいずれかのアクセラレータ51〜53に存在するか否かを確認する。十分な空きページが存在する場合、データスケジューラ331は退避されたデータをその空きページにロードするようにデータ移動部332に要求する。一方、空きページが十分でない場合、データスケジューラ331はデータ管理テーブル34およびメモリ管理テーブル35を参照し、ロックされていないページが保持するデータの分割を選択し、その分割をメインメモリ4に退避するようにデータ移動部332に要求する。ここで、データスケジューラ331は、データの分割を単位として退避の要求を行う。これにより、入力データをロードするためのメモリが確保できるため、データスケジューラ331はデータ移動部332に入力データの分割をロードするよう通知する。
データスケジューラ331は、処理の出力データに関しては、メモリ管理テーブル35を参照し、タスク処理部32が要求する処理の出力データに必要なページ数が空きページから確保可能であれば、メモリを確保するようデータ移動部332に要求する。このとき、データスケジューラ331はページを確保するアクセラレータも指定する。
一方、空きページから確保可能でない場合、データスケジューラ331は、退避された入力データをロードするためにメモリを確保する上述の場合と同様の動作を行う。すなわち、データスケジューラ331は、まず、アクセラレータメモリ上でロックされていないページが保持するデータの分割をメインメモリ4に退避するようするようにデータ移動部332に通知した後、データ移動部332に出力データを出力するためのページ数を確保させる。
また、データスケジューラ331は、入力データと出力データのメモリ領域をロックするようにデータ移動部332に要求する。さらに、データスケジューラ331は、タスク処理部32から処理の完了通知を受信し、データ移動部332にロック中のページのロックを解除し、データ管理テーブル34における出力データの計算済フラグを「1」にセットするように通知する。
なお、タスクスケジューラ321が実行を要求する処理の種類によっては、入力データと出力メモリ領域の一方のみを準備すればよい場合がある。例えば、データオブジェクトの内容を取得するreadの実行要求では、出力メモリ領域を用意する必要はない。
また、タスクスケジューラ321からの要求が入力データと出力メモリ領域の用意ではなく、すでに存在しているデータをユーザプログラム21の完了を超えて保持するstoreObjectである場合、データスケジューラ331はデータ移動部332に該当するデータのデータ管理テーブル34のエントリのオブジェクトフラグをセットし、要求内に指定されたオブジェクト名を登録するよう要求する。
データ移動部332は、データスケジューラ331からの指示を受け、アクセラレータのメモリの確保や、アクセラレータに対するデータの移動を行う。
データ移動部332は、データスケジューラ331からの指示を受け、アクセラレータのメモリの確保を行い、メモリ管理テーブル35に確保したメモリのページのエントリを登録する。また、データ移動部332は、データ管理テーブル34のデータの分割のエントリに、確保したメモリに該当するアクセラレータ番号とページ番号を登録する。
データ移動部332は、データスケジューラ331からの指示を受け、計算に使用中のページのロックフラグを「1」にセットする。また、データ移動部332は、計算が完了したページのロックフラグを「1」から「0」に解除する。さらに、データ移動部332は、データ管理テーブル34において出力データの計算済フラグを「1」にセットする。
データ移動部332は、データスケジューラ331からの指示を受け、データ分割をメインメモリ4に退避する。この場合、データ移動部332は、退避したデータ分割のデータ管理テーブル34のエントリのスワップフラグをセットする。また、データ移動部332は、退避したデータ分割が使用していたページのメモリ管理テーブル35のエントリの使用中フラグを解除する。
データ移動部332は、データスケジューラ331からの指示を受け、ユーザプログラム21の完了を超えてアクセラレータのメモリに保持するデータのデータ管理テーブル34のエントリのオブジェクトフラグをセットし、オブジェクト名を登録する。
タスク処理部32は、タスクスケジューラ321と、タスク実行部322を備えている。タスクスケジューラ321は、処理の実行に必要な入力データと出力データのメモリ領域を要求し、また、処理の実行を要求する。また、タスク実行部322は、アクセラレータ51〜53に処理を行わせる。
タスクスケジューラ321は、プログラム解析部31からDAGが含む処理の実行要求を受信する。タスクスケジューラ321は、データ分割に対する処理実行の単位で要求を受信する。タスクスケジューラ321は、受信した要求の処理のうち、DAGの上流から順番に処理を実行する。図4で示したDAGでは、処理71や処理73が上流の処理である。DAGにおいて、上流の処理が完了しなければ、下流の(次段の)処理を行うことができない。タスクスケジューラ321は、実行する各処理に必要な入力データと出力データのメモリ領域をデータスケジューラ331に要求する。タスクスケジューラ321は、データスケジューラ331から要求した処理に対するデータとメモリ領域の確保完了を受信後、タスク実行部322に該当する処理を実行するために必要なアクセラレータ番号、入力データのアドレス、出力データを書き込むアドレス、または、これらの情報を知るために必要なデータ管理テーブル34とメモリ管理テーブル35のエントリ情報を通知し、タスク実行部322に処理を行わせる。この処理は、データ分割の単位で行われる。
要求する処理が、アクセラレータが保持するデータオブジェクトにデータを追記するappendObjectである場合、タスクスケジューラ321は追記する情報をタスク実行部322に渡す。このデータは、プログラム解析部31がユーザプログラム21のDAGを受信する中に含まれている。
タスクスケジューラ321は、タスク実行部322から処理の完了通知を受信し、処理が完了したため入力データと出力データのロックを解除するようにデータスケジューラ331に通知する。
さらに、タスクスケジューラ321は、タスク実行部322に要求した処理がアクセラレータのメモリが保持するデータオブジェクトの内容を取得するreadである場合、readを実行したタスク実行部322からデータを取得し、取得したデータを、プログラム解析部31を介してユーザプログラム21に伝える。
また、タスクスケジューラ321は、プログラム解析部31から要求された処理がstoreObjectである場合、すでに計算済みのデータをデータオブジェクトとしてユーザプログラム21の完了を超えて保持するようにデータスケジューラ331に要求する。
タスク実行部322は、タスクスケジューラ321からの指示を受け、タスクスケジューラ321から受信したユーザプログラム21のカーネル関数を用いて指定されたアクセラレータの指定された入力アドレスと出力アドレスに対して処理を行う。また、タスク実行部322は、処理完了をタスクスケジューラ321に通知する。要求された処理がappendObjectである場合、タスク実行部322は指定されたデータオブジェクトに対してデータを追記する。一方、要求された処理がデータオブジェクトの内容を取得するreadである場合、タスク実行部322は指定されたデータオブジェクトの該当番地から情報を取得してタスクスケジューラ321に通知する。
[動作]
次に、本実施形態の動作について、図2と、図9A及び図9Bと、を参照して詳細に説明する。図9A及び図9Bは、本実施形態に係るアクセラレータ制御装置1の動作を例示するフロー図である。なお、図9Aに示す”A”に続く処理は、図9Bに示す”A”から続行される。また、図9Bに示す”B”に続く処理は、図9Aに示す”B”から続行される。
まず、予約APIと実行APIを用いて作成されたユーザプログラム21が実行される(ステップA1)。
ユーザプログラム21が実行APIを呼び出すと(ステップA2のYes)、DAG作成部12は、それまでに生成したDAGを通知する処理に移行する。
一方、実行API呼び出しでない場合(ステップA2のNo)、DAG作成部22は予約API呼び出しか否かを確認する(ステップA3)。
予約API呼び出しである場合(ステップA3のYes)、DAG作成部22は予約APIで指定された処理とデータをそれまで生成したDAGに追加する(ステップA4)。
次に、ユーザプログラム21が終了する場合(ステップA5のYes)、DAG作成部22はアクセラレータ制御部3にユーザプログラム21の完了を通知する(ステップA6)。
プログラム解析部31は、この通知により、ユーザプログラム21が生成したデータのうちの、ユーザプログラム21の完了を超えて保持されるデータオブジェクト以外のデータを削除する(ステップA7)。具体的には、プログラム解析部31は、データ管理テーブル34において、ユーザプログラム21の識別子がプロセス番号に記載されたデータであり、かつ、オブジェクトフラグがアサートされていないデータの分割を消去する。データの消去を完了後、ユーザプログラム21の実行は完了する。
また、ユーザプログラムが終了しない場合(ステップA5のNo)、ステップA1に戻り、ユーザプログラムの実行が継続される。
実行APIが呼び出された場合(ステップA2のYes)、DAG作成部22は、必要であればDAGに最後の処理とデータを追加し、DAGをプログラム解析部31に通知する(ステップA8)。
プログラム解析部31は、DAGを受信し、DAGを構成する処理を個別に分解する。
次に、プログラム解析部31は、各処理の実行をタスク処理部32に要求する(ステップA9)。要求された処理の実行は、データ分割の単位で行う。例えば、図5に示す処理71では、処理71が処理71分割1と処理71分割2の2つから構成されるため、2個の個別の処理がプログラム解析部31により生成され、タスク処理部32に要求される。以下では、個別のデータ分割に対する処理を単に「処理」と呼ぶ。
タスクスケジューラ321は、プログラム解析部31から受信した処理の要求の中で、DAGの上流に位置する処理から順番に実行する。
まず、処理の内容がユーザプログラム21の完了を超えてユーザのデータをアクセラレータメモリのデータオブジェクトとして保持するstoreObjectである場合(ステップA10のYes)、タスクスケジューラ321はデータ管理部33にユーザプログラム21のストアを要求する(ステップA22)。
データスケジューラ331はstoreObjectの要求を受け、データ管理テーブル34を参照し、該当エントリのオブジェクトフラグをセットし、プロセス番号を消去するようにデータ移動部332に要求し、データ移動部332は指定された処理を行う。また、storeObjectの要求の中に、データオブジェクトの名前が指定されているため、データスケジューラ331はオブジェクト名をデータ移動部332に登録させる(ステップA23)。
一方、処理の要求がstoreObjectでない場合(ステップA10のNo)、タスクスケジューラ321は、次の処理の実行に必要な入力データと出力データのメモリ領域をデータ管理部33に要求する(ステップA11)。
データスケジューラ331は、データ管理テーブル34を参照し、要求されたデータのスワップフラグが「1」にセットされていなければ、データが準備完了であると判断する(ステップA12のYes)。そして、データスケジューラ331は入力データが使用するメモリページのメモリ管理テーブル35の該当するエントリのロックフラグをセットするようにデータ移動部332に要求する。
一方、要求されたデータのスワップフラグが「1」にセットされている場合(ステップA12のNo)、タスクスケジューラ321は、メモリ管理テーブル35を参照し、メインメモリ4に退避されたデータを収容するために十分なメモリ空き領域を保持するアクセラレータが存在するとき、そのアクセラレータに入力データをロードするようにデータ移動部332に要求する。データ移動部332は、指定されたアクセラレータに入力データをロードし、データ管理テーブル34の該当するデータのスワップフラグ、アクセラレータ番号、ページ番号を更新する(ステップA13)。また、データスケジューラ331は、メモリ管理テーブル35において、ロードしたデータが使用するページについて、使用中フラグ、データ番号、および、分割番号を更新する。また、データスケジューラ331は、メモリ管理テーブル35においてロックフラグを「1」にセットする。
一方、メインメモリ4に退避されたデータを収容するために十分なメモリ空き領域を保持するアクセラレータが存在しない場合、データスケジューラ331はメモリ管理テーブル35を参照し、ロックフラグがセットされていなページを使用しているデータを選択し、メインメモリ4に退避するようにデータ移動部332に要求する。データ移動部332は指定されたデータを退避し、データ管理テーブル34におけるスワップフラグとアクセラレータ番号とページ番号を更新する。データがメインメモリ4に退避されると、そのデータのアクセラレータ番号とページ番号は無効となる。データスケジューラ331は、入力データをアクセラレータにロードするために必要なメモリ領域が空くまで、データ退避の要求を継続する。入力データをロードするためのメモリが空きになると、その後のデータをロードする処理は、メインメモリ4に退避されたデータを収容するために十分なメモリ空き領域を保持するアクセラレータが存在する場合のデータのロードの処理と同様である。
次に、データスケジューラ331は、要求された処理の出力メモリ領域が処理の入力データを保持するアクセラレータに確保可能か否かを確認する(ステップA14)。ここで、空きメモリ領域が十分である場合、確保可能と判断する(ステップA14のYes)。
一方、空きメモリ領域が十分でない場合(ステップA14のNo)、データスケジューラ331は、メモリ管理テーブル35を参照し、ロックフラグがセットされていないページを使用するデータを退避するようデータ移動部332に要求する。データ移動部332が指定されたデータを退避する動作(ステップA15)は、ステップA13においてデータを退避する場合の動作と同様である。
アクセラレータに出力データを収容するために十分なメモリ領域が空くと、データスケジューラ331は、データ移動部332に出力データのメモリを確保するように要求する(ステップA16)。
データ移動部332はメモリを確保し、出力データの該当するデータ管理テーブル34のエントリにおいてアクセラレータ番号とページ番号を記載する。また、使用しているページのメモリ管理テーブル35のロックフラグをセットする。データスケジューラ331は、入力データと出力データのメモリ領域がアクセラレータ上に用意されると、タスク処理部32にデータの用意完了を通知する(ステップA17)。
タスクスケジューラ321は、データ用意完了通知を受け、タスク実行部322に処理の実行を要求する(ステップA18)。
実行する処理の要求がユーザプログラム21により与えられたカーネル関数の実行である場合、タスク実行部322はデータを保持するアクセラレータを用いて入力データに対しカーネル関数を実行させ、出力メモリ領域に結果を出力させる。一方、実行する処理の要求がデータのreadである場合、タスク実行部322はデータを保持するアクセラレータからデータを読み、タスクスケジューラ321に通知する。また、実行する処理の要求がデータを付加するappendである場合、タスク実行部322はデータを保持するアクセラレータのメモリ領域に与えられたデータを書き込む。タスクスケジューラ321は、タスク実行部322による処理が完了すると、データ管理部33に処理完了を通知する(ステップA19)。
タスクスケジューラ321は、処理が完了した入力データと出力データについて、メモリ管理テーブル35におけるロックフラグを解除するとともに、出力データについてデータ管理テーブル34における該当エントリの計算済フラグをセットするように、データ移動部332に要求する(ステップA20)。データ移動部332は、要求された処理を行う。
タスクスケジューラ321は、プログラム解析部31から要求されたDAGのすべての処理が完了するまで(ステップA21のNo)、処理のデータの要求と処理の実行を継続する。
一方、DAGの処理が完了すると(ステップA21のYes)、ステップA1に戻る。
以上のように、本実施形態のアクセラレータ制御装置1では、プログラム解析部31はDAG作成部22からユーザプログラム21の処理を示すDAGを受信し、DAGを構成する処理に分割し、タスクスケジューラ321に処理の実行を要求する。タスクスケジューラ321は処理に必要な入力データと計算結果を出力するために必要なメモリ領域をデータスケジューラ331に要求する。データスケジューラ331はデータ管理テーブル34を参照し、名前により指定された入力データがアクセラレータメモリ上に存在することを確認しロックするとともに、さらに、出力メモリ領域を確保しロックする。タスクスケジューラ321は入力データと出力メモリの準備完了の通知を受け、タスク実行部322にデータを保持するアクセラレータでの処理の実行を要求する。
本実施形態のアクセラレータ制御装置1では、かかる構成および動作により、アクセラレータのメモリにユーザプログラム21の完了を超えてデータを保持する。これにより、ユーザプログラム21が開始してからアクセラレータにデータをロードする必要がなく、アクセラレータが保持するデータに対し計算を行える。これによりデータロードコストを削減し、アクセラレータを用いた計算を高速化することができる。また、本実施形態では、1つのデータを複数のアクセラレータに分割して保持し、ユーザプログラムの処理を分割し、各データの分割を保持するアクセラレータに処理を分配して行わせることで、アクセラレータへのデータロードコストを削減し、用いるアクセラレータ数に応じて処理時間を削減することが可能となる。
<実施形態2>
次に、第2の実施形態について説明する。本実施形態では、CPU(Central Processing Unit)とメモリを備えたコンピュータに対して、第1の実施形態に係るアクセラレータ制御装置の動作を行わせる。特に、CPUに対して、ユーザプログラム21、DAG作成部22、プログラム解析部31、タスクスケジューラ321、タスク実行部322、データスケジューラ331、および、データ移動部332の機能を行わせる。一方、コンピュータのメモリを、データ管理テーブル34、メモリ管理テーブル35、および、メインメモリ4として使用する。ここで、メモリとは、広義の記憶手段であり、半導体メモリおよび一般に二次記憶と呼ばれるハードディスクやフラッシュディスクを含む。また、アクセラレータはコンピュータのI/Oスロットに挿入する。あるいは、I/Oデバイス用のインターコネクションを用いてアクセラレータとコンピュータを接続することも可能である。
本発明によれば、1つ以上のアクセラレータを含む計算装置の処理高速化といった用途に適用できる。
なお、本発明において、下記の形態が可能である。
[形態1]
上記第1の態様に係るアクセラレータ制御装置のとおりである。
[形態2]
前記データ管理部は、前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保する、
形態1に記載のアクセラレータ制御装置。
[形態3]
前記データ管理部は、データを生成したプログラムの完了を超えてアクセラレータのローカルメモリ上にデータを蓄積する第2の処理を受け付けると、前記蓄積するデータに付される名前と、前記蓄積するデータをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けて前記データ管理テーブルに登録する、
形態1または2に記載のアクセラレータ制御装置。
[形態4]
ユーザプログラムからの処理要求をDAG(Directed Acyclic Graph)として受け付け、前記DAGに含まれる処理の実行を前記タスク処理部に要求するプログラム解析部を備え、
前記データ管理部は、前記DAGに含まれる処理の入力データをローカルメモリ上に保持するアクセラレータを判別し、
前記タスク処理部は、前記DAGに含まれる処理の入力データをローカルメモリ上に保持すると判別されたアクセラレータに、前記DAGに含まれる処理を実行させる、
形態1ないし3のいずれか一に記載のアクセラレータ制御装置。
[形態5]
前記DAGに含まれる処理の入力データは、複数のアクセラレータの複数のローカルメモリ上に分割して保持され、
前記データ管理部は、前記DAGに含まれる処理の入力データをローカルメモリ上に保持する複数のアクセラレータを判別し、
前記タスク処理部は、前記判別された複数のアクセラレータのそれぞれに、前記DAGに含まれる処理を実行させる、
形態4に記載のアクセラレータ制御装置。
[形態6]
前記データ管理部は、前記第1の処理の入力データがアクセラレータの外部に退避されている場合、退避されたデータをアクセラレータにロードし、アクセラレータのローカルメモリに十分な空き領域がないときには、他のデータをアクセラレータの外部に退避した後、前記第1の処理の入力データをロードする、
形態1ないし5のいずれか一に記載のアクセラレータ制御装置。
[形態7]
前記データ管理部は、前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保するための十分な空き領域がない場合、他のデータを前記判別したアクセラレータの外部に退避させた後、前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保する、
形態1ないし6のいずれか一に記載のアクセラレータ制御装置。
[形態8]
上記第2の態様に係るアクセラレータ制御方法のとおりである。
[形態9]
前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保するステップを含む、
形態8に記載のアクセラレータ制御方法。
[形態10]
データを生成したプログラムの完了を超えてアクセラレータのローカルメモリ上にデータを蓄積する第2の処理を受け付けるステップと、
前記蓄積するデータに付される名前と、前記蓄積するデータをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けて前記データ管理テーブルに登録するステップと、を含む、
形態8または9に記載のアクセラレータ制御方法。
[形態11]
ユーザプログラムからの処理要求をDAG(Directed Acyclic Graph)として受け付けるステップと、
前記DAGに含まれる処理の入力データをローカルメモリ上に保持するアクセラレータを判別するステップと、
前記DAGに含まれる処理の入力データをローカルメモリ上に保持すると判別されたアクセラレータに、前記DAGに含まれる処理を実行させるステップと、を含む、
形態8ないし10のいずれか一に記載のアクセラレータ制御方法。
[形態12]
前記DAGに含まれる処理の入力データを、複数のアクセラレータの複数のローカルメモリ上に分割して保持するステップと、
前記DAGに含まれる処理の入力データをローカルメモリ上に保持する複数のアクセラレータを判別するステップと、
前記判別された複数のアクセラレータのそれぞれに、前記DAGに含まれる処理を実行させるステップと、を含む、
形態11に記載のアクセラレータ制御方法。
[形態13]
上記第3の態様に係るプログラムのとおりである。
[形態14]
前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保する処理を、前記コンピュータに実行させる、
形態13に記載のプログラム。
[形態15]
データを生成したプログラムの完了を超えてアクセラレータのローカルメモリ上にデータを蓄積する第2の処理を受け付ける処理と、
前記蓄積するデータに付される名前と、前記蓄積するデータをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けて前記データ管理テーブルに登録する処理と、を前記コンピュータに実行させる、
形態13または14に記載のプログラム。
[形態16]
ユーザプログラムからの処理要求をDAG(Directed Acyclic Graph)として受け付ける処理と、
前記DAGに含まれる処理の入力データをローカルメモリ上に保持するアクセラレータを判別する処理と、
前記DAGに含まれる処理の入力データをローカルメモリ上に保持すると判別されたアクセラレータに、前記DAGに含まれる処理を実行させる処理と、をコンピュータに実行させる、
形態13ないし15のいずれか一に記載のプログラム。
[形態17]
前記DAGに含まれる処理の入力データを、複数のアクセラレータの複数のローカルメモリ上に分割して保持する処理と、
前記DAGに含まれる処理の入力データをローカルメモリ上に保持する複数のアクセラレータを判別する処理と、
前記判別された複数のアクセラレータのそれぞれに、前記DAGに含まれる処理を実行させる処理と、を前記コンピュータに実行させる、
形態16に記載のプログラム。
なお、上記特許文献の全開示内容は、本書に引用をもって繰り込み記載されているものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2015年5月12日に出願された日本出願特願2015−097033を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 アクセラレータ制御装置
3 アクセラレータ制御部
4 メインメモリ
8 情報処理装置
21 ユーザプログラム
22 DAG作成部
31 プログラム解析部
32 タスク処理部
33 データ管理部
34 データ管理テーブル
35 メモリ管理テーブル
51〜53 アクセラレータ
61〜66 データ
71〜74 処理
81 共有メモリ
321 タスクスケジューラ
322 タスク実行部
331 データスケジューラ
332 データ移動部
511〜513 プロセッサ
521〜523 アクセラレータメモリ
821〜823 アクセラレータ

Claims (10)

  1. データに付した名前と当該データをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けて保持するデータ管理テーブルと、
    前記名前を付したデータを入力データとする第1の処理を受け付けると、前記データ管理テーブルを参照して前記データをローカルメモリ上に保持するアクセラレータを判別するデータ管理手段と、
    前記判別したアクセラレータに前記第1の処理を実行させるタスク処理手段と、を備える、
    アクセラレータ制御装置。
  2. 前記データ管理手段は、前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保する、
    請求項1に記載のアクセラレータ制御装置。
  3. 前記データ管理手段は、データを生成したプログラムの完了を超えてアクセラレータのローカルメモリ上にデータを蓄積する第2の処理を受け付けると、前記蓄積するデータに付される名前と、前記蓄積するデータをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けて前記データ管理テーブルに登録する、
    請求項1または2に記載のアクセラレータ制御装置。
  4. ユーザプログラムからの処理要求をDAG(Directed Acyclic Graph)として受け付け、前記DAGに含まれる処理の実行を前記タスク処理手段に要求するプログラム解析手段を備え、
    前記データ管理手段は、前記DAGに含まれる処理の入力データをローカルメモリ上に保持するアクセラレータを判別し、
    前記タスク処理手段は、前記DAGに含まれる処理の入力データをローカルメモリ上に保持すると判別されたアクセラレータに、前記DAGに含まれる処理を実行させる、
    請求項1ないし3のいずれか1項に記載のアクセラレータ制御装置。
  5. 前記DAGに含まれる処理の入力データは、複数のアクセラレータの複数のローカルメモリ上に分割して保持され、
    前記データ管理手段は、前記DAGに含まれる処理の入力データをローカルメモリ上に保持する複数のアクセラレータを判別し、
    前記タスク処理手段は、前記判別された複数のアクセラレータのそれぞれに、前記DAGに含まれる処理を実行させる、
    請求項4に記載のアクセラレータ制御装置。
  6. 前記データ管理手段は、前記第1の処理の入力データがアクセラレータの外部に退避されている場合、退避されたデータをアクセラレータにロードし、アクセラレータのローカルメモリに十分な空き領域がないときには、他のデータをアクセラレータの外部に退避した後、前記第1の処理の入力データをロードする、
    請求項1ないし5のいずれか1項に記載のアクセラレータ制御装置。
  7. 前記データ管理手段は、前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保するための十分な空き領域がない場合、他のデータを前記判別したアクセラレータの外部に退避させた後、前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保する
    請求項1ないし6のいずれか1項に記載のアクセラレータ制御装置。
  8. データに付した名前と当該データをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けてデータ管理テーブルに保持し、
    前記名前を付したデータを入力データとする第1の処理を受け付けると、前記データ管理テーブルを参照して前記データをローカルメモリ上に保持するアクセラレータを判別し、
    前記判別したアクセラレータに前記第1の処理を実行させる、
    アクセラレータ制御方法。
  9. 前記第1の処理の出力データを出力するためのメモリ領域を、前記判別したアクセラレータのローカルメモリ上に確保する、
    請求項8に記載のアクセラレータ制御方法。
  10. データに付した名前と当該データをローカルメモリ上に保持するアクセラレータを識別する識別子とを関連付けてデータ管理テーブルに保持する処理と、
    前記名前を付したデータを入力データとする第1の処理を受け付ける処理と、
    前記データ管理テーブルを参照して前記データをローカルメモリ上に保持するアクセラレータを判別する処理と、
    前記判別したアクセラレータに前記第1の処理を実行させる処理と、をコンピュータに実行させる、
    プログラムが記録された記録媒体。
JP2017517613A 2015-05-12 2016-05-10 アクセラレータ制御装置、アクセラレータ制御方法およびプログラム Active JP6724908B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015097033 2015-05-12
JP2015097033 2015-05-12
PCT/JP2016/002287 WO2016181648A1 (ja) 2015-05-12 2016-05-10 アクセラレータ制御装置、アクセラレータ制御方法および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2016181648A1 true JPWO2016181648A1 (ja) 2018-03-01
JP6724908B2 JP6724908B2 (ja) 2020-07-15

Family

ID=57247974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517613A Active JP6724908B2 (ja) 2015-05-12 2016-05-10 アクセラレータ制御装置、アクセラレータ制御方法およびプログラム

Country Status (3)

Country Link
US (1) US10606635B2 (ja)
JP (1) JP6724908B2 (ja)
WO (1) WO2016181648A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6927301B2 (ja) * 2017-06-13 2021-08-25 日本電気株式会社 アクセラレータ制御装置、アクセラレータ制御方法、及び、アクセラレータ制御プログラム
US11030012B2 (en) * 2018-09-28 2021-06-08 Intel Corporation Methods and apparatus for allocating a workload to an accelerator using machine learning
US10848585B2 (en) 2018-12-03 2020-11-24 Walmart Apollo, Llc Using a sharded distributed cache as a pipeline integration buffer
WO2021245758A1 (ja) * 2020-06-01 2021-12-09 日本電気株式会社 情報処理装置、情報処理方法およびプログラム
US11436135B2 (en) * 2020-10-08 2022-09-06 Arista Networks, Inc. Polymorphic allocators in an operating system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216943A (ja) * 2002-01-22 2003-07-31 Toshiba Corp 画像処理装置、この装置に用いられるコンパイラおよび画像処理方法
JP2011065650A (ja) * 2009-09-18 2011-03-31 Intel Corp ローカル物理メモリとリモート物理メモリとの間で共有されるバーチャルメモリのためのハードウェアサポートの提供
JP2011118744A (ja) * 2009-12-04 2011-06-16 Hitachi Ltd 情報処理装置
WO2011078162A1 (ja) * 2009-12-24 2011-06-30 日本電気株式会社 スケジューリング装置、スケジューリング方法及びプログラム
JP2013025392A (ja) * 2011-07-15 2013-02-04 Nec Corp 情報処理装置、データ配置方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822593A (en) * 1996-12-06 1998-10-13 Xerox Corporation High-level loop fusion
US8631013B2 (en) * 2003-04-16 2014-01-14 The Mathworks, Inc. Non-intrusive data logging
US7926046B2 (en) * 2005-12-13 2011-04-12 Soorgoli Ashok Halambi Compiler method for extracting and accelerator template program
US8271433B2 (en) * 2009-12-30 2012-09-18 Nokia Corporation Method and apparatus for providing automatic controlled value expansion of information
US9122523B2 (en) * 2012-05-03 2015-09-01 Nec Laboratories America, Inc. Automatic pipelining framework for heterogeneous parallel computing systems
US11288277B2 (en) * 2012-09-28 2022-03-29 Oracle International Corporation Operator sharing for continuous queries over archived relations
US9210054B2 (en) * 2012-11-14 2015-12-08 International Business Machines Corporation Secure metering and accounting for cloud services
US10061577B2 (en) * 2014-10-14 2018-08-28 Electric Cloud, Inc. System and method for optimizing job scheduling within program builds
US10009438B2 (en) * 2015-05-20 2018-06-26 Sandisk Technologies Llc Transaction log acceleration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216943A (ja) * 2002-01-22 2003-07-31 Toshiba Corp 画像処理装置、この装置に用いられるコンパイラおよび画像処理方法
JP2011065650A (ja) * 2009-09-18 2011-03-31 Intel Corp ローカル物理メモリとリモート物理メモリとの間で共有されるバーチャルメモリのためのハードウェアサポートの提供
JP2011118744A (ja) * 2009-12-04 2011-06-16 Hitachi Ltd 情報処理装置
WO2011078162A1 (ja) * 2009-12-24 2011-06-30 日本電気株式会社 スケジューリング装置、スケジューリング方法及びプログラム
JP2013025392A (ja) * 2011-07-15 2013-02-04 Nec Corp 情報処理装置、データ配置方法及びプログラム

Also Published As

Publication number Publication date
WO2016181648A1 (ja) 2016-11-17
US20180107506A1 (en) 2018-04-19
US10606635B2 (en) 2020-03-31
JP6724908B2 (ja) 2020-07-15

Similar Documents

Publication Publication Date Title
JP6897574B2 (ja) アクセラレータ制御装置、アクセラレータ制御方法およびプログラム
WO2016181648A1 (ja) アクセラレータ制御装置、アクセラレータ制御方法および記録媒体
CA3048739C (en) Blockchain-based data processing method and equipment
JP7087029B2 (ja) 中央処理装置(cpu)と補助プロセッサとの間の改善した関数コールバック機構
EP3407182B1 (en) Vector computing device
US9678806B2 (en) Method and apparatus for distributing processing core workloads among processing cores
US20170344398A1 (en) Accelerator control device, accelerator control method, and program storage medium
US20100153957A1 (en) System and method for managing thread use in a thread pool
KR100902977B1 (ko) 하드웨어 공유 시스템 및 방법
US9164799B2 (en) Multiprocessor system
JP2018537800A (ja) メモリアクセスコマンドの転送記述子
US9152509B2 (en) Transactional memory conflict management
US10360079B2 (en) Architecture and services supporting reconfigurable synchronization in a multiprocessing system
US20150324240A1 (en) Operation of software modules in parallel
KR102130813B1 (ko) 재구성 가능 프로세서 및 재구성 가능 프로세서를 동작하는 방법
WO2016208178A1 (ja) アクセラレータ制御装置、アクセラレータ制御方法および記憶媒体
US10768902B2 (en) Actor model programming
US9418175B2 (en) Enumeration of a concurrent data structure
US20130239113A1 (en) Information processing apparatus, computer product, and information processing method
JP2021060707A (ja) 同期制御システムおよび同期制御方法
CN116303135B (zh) 任务数据的装载方法、装置和计算机设备
JP2019008437A (ja) データアクセス装置及びアクセスエラーの通知方法
JP7151439B2 (ja) 演算処理装置および演算処理装置の制御方法
WO2017019054A1 (en) Systems and methods facilitating multi-word atomic operation support for system on chip environments
JP2011257973A (ja) メモリ管理方法及びメモリ管理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R150 Certificate of patent or registration of utility model

Ref document number: 6724908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150