JP5450297B2 - デジタルデータ処理操作を分散実行するためのデバイスおよび方法 - Google Patents
デジタルデータ処理操作を分散実行するためのデバイスおよび方法 Download PDFInfo
- Publication number
- JP5450297B2 JP5450297B2 JP2010157177A JP2010157177A JP5450297B2 JP 5450297 B2 JP5450297 B2 JP 5450297B2 JP 2010157177 A JP2010157177 A JP 2010157177A JP 2010157177 A JP2010157177 A JP 2010157177A JP 5450297 B2 JP5450297 B2 JP 5450297B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- chunk
- nodes
- link
- processing operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Description
したがって、集中式ではないが、マルチグラフをサブ部分に分割することから生じるチャンクそれぞれにおいて独立した同期を考慮することによって、複数の処理操作の同期の問題が、使用されるバッファメモリノードによって区切られる全体のシステムのサブ部分に制限されることからリソースの荷重が改善される。処理操作は、所与のチャンク全体にわたって同期化され、これに関して、とりわけ既知の通信プロトコルに従ってセッションの順序付けを確定することができる。次いでそれぞれ異なる処理操作の調整が全体的に分散されかつ局地的に集中化されているとみなすことができる。
−処理操作のこの部分を開始するとすぐに、それが、そのチャンク内の少なくとも1つの他の所定のノードに、この処理操作に関するグラフの少なくとも1つの有向リンクを介して処理操作のこの部分を開始するための少なくとも1つの情報メッセージを送信することができるように構成される。
−複数の異なる処理グラフを結合することによって形成される値付きの有向マルチグラフから、チャンクと呼ばれる複数の値付きの有向サブマルチグラフにこのマルチグラフを分割するステップであって、各チャンクの入力および出力ノードがバッファメモリノードであるステップと、
−各チャンクに関する調整モジュールを特定するステップと、
−対応する調整モジュールによって、各チャンク内で行われるように決められた処理操作の部分を他のチャンク内で行われように決められた処理操作の部分の同期から独立して同期させるステップとを含む方法である。
−「ソース一価セット」と称される第1のサブセットが、チャンクの全ての入力ノードと、多価ノードからではなく入力ノードから到達することができるその他の一価ノード全てを含み、「シンク一価セット」と称される第2のサブセットが、チャンクの出力ノード全てと、多価ノードではなくその出力ノードに到達することができる他の全ての一価ノードとを含み、「多価セット」と称される第3のサブセットが、第1のサブセットや第2のサブセットのいずれにも属さないチャンクの全てのノードを含む3つのばらばらのサブセットにチャンクをさらに分割するサブステップと、
−所定の判断基準に従ってソース一価セットから来るデータ転送有向リンクの宛先である多価セットの計算ノードのうちの1つから調整モジュールを選択するサブステップとを含んでよい。
−ソース一価セットから来る有向リンクの他の宛先ノードに向かって離れていく大半のリンクを呈示するソース一価セットからの有向リンクの宛先計算ノードと、
−ソース一価セットのノードからの大半の入力リンクを受ける、ソース一価セットからの有向リンクの宛先計算ノードとで構成されるセットから選択される1つの要因である。
−同一の処理操作に関して、この移行リンクの始まりであるノードと調整モジュールとの間に1つのリンクまたはリンクのセットがそれまで存在していない場合、この移行リンクの始まりであるノードと調整モジュールとの間に新たな仮想リンクが形成されるサブステップと、
−同一の処理操作に関して、調整モジュールと移行リンクが向かうノードとの間にリンクまたはリンクのセットがそれまで存在していない場合、調整モジュールと移行リンクが向かうノードとの間に新たな仮想リンクが形成されるサブステップとを含む。
−このリンクは、二次リンク(細い実線)として再定義され、
−二次リンクとして再定義されたリンクの始まりとなるノ−ドと調整モジュールとの間に、同一の処理操作に関して1つの一次実リンク(太い実線)または一次実リンクのセットがそれまでに存在していない場合、二次リンクとして再定義されたリンクの始まりとなるノ−ドと調整モジュールとの間に新たな一次仮想リンク(太い破線)が形成され、
−調整モジュールと二次リンクとして再定義されたリンクが向かうノードとの間に同一の処理操作に関して1つの一次実リンク(太い実線)または一次リンクのセットがそれまでに存在していない場合、調整モジュールと二次リンクとして再定義されたリンクに向かうノ−ドとの間に新たな一次仮想リンク(太い破線)が形成される。
さらに各計算ノード62は、所定のパラメータのテーブルに関する記憶手段(すなわちローカルメモリ)を含む。一定のこれらのテーブルは静的であり、いわゆる構成テーブルと呼ばれ、それらが含むデータは、所与の処理操作に関するしかじかの動作を行う前に、ノード62が送受信する必要がある情報メッセージを明確にするのに使用される。他のテーブルは動的であり、いわゆる作用テーブルと呼ばれ、それらが含みかつ動的に変化するデータは、所与の処理操作に関していかなる時もノード62が送受信する情報メッセージを特定するのに使用される。想定される実施形態において、計算ノード62は処理操作ごとに6つのテーブルのセットを含む。実際にはそれは、それが行うことが可能なそこに存在する処理操作と同じ数だけこのようなテーブルのセットを含むが、図5には単に簡素化する目的で1つのテーブルのセットが示されている。
−チャンク多価セットに進入する全ての入力リンクを調整モジュールに向け直す一次仮想リンクと、
−各処理操作に対してチャンクの多価セットに関する最小のスパニングツリーの選択リーフからやって来る、調整モジュールへの二次仮想リンクとが形成されることから、その一般的なチャンク同期機能を満たすだけである。
Claims (9)
- デバイス上で行われるように決められた各データ処理操作が、計算ノードと、バッファメモリノードと、これらのノード間で少なくとも1つの入力バッファメモリノード(14,42)から少なくとも1つの出力バッファメモリノード (40,52)へデータを転送する有向リンクと、によって構成される有向グラフによってモデル化され、前記データフロー処理モデルでは、2つの異なる処理操作が少なくとも1つの共通の計算ノード(16,20,26,28,30,34,36,38)を含むことができるデータフロー処理モデルを使用する、複数の計算ノード(16,18,20,24,26,28,30,34,36,38,44,48)に対する複数のデータ処理操作(T1,T2)の分散実行を使用して、詳細には電子チップ式のシステムのデジタルデータを処理するためのデバイスにおいて、前記デバイスが、その入力ノードおよび出力ノードが前記値付きの有向マルチグラフのバッファメモリノードであるチャンクと呼ばれる、複数の値付きの有向サブマルチグラフ(54,56,58)に分割された複数の異なる処理グラフが結合することによって形成される値付きの有向マルチグラフから、各チャンクに関する調整モジュール(16,26,34)を特定するための手段(12;60)を含み、前記特定されたそれぞれの調整モジュールが、前記特定されたそれぞれの調整モジュールが関連する前記チャンク内で実行されるように決められた各処理操作の部分を、他のチャンク内で実行されるように決められた各処理操作の部分から独立して、互いに同期させるように設計されることを特徴とするデバイス。
- 各調整モジュール(16,26,34)が、それが関連する前記チャンクの計算ノードの1つである、請求項1に記載のデジタルデータを処理するためのデバイス。
- 前記チャンクのいずれか1つの前記調整モジュールの前記特定手段が、前記データ転送リンク以外に前記調整モジュールと前記チャンク内の他のノードとの間に確立される、処理されるべき前記データを転送せずに、情報メッセージを転送するための「仮想」リンクと称される有向リンク(60)を形成する手段を含む、請求項2に記載のデジタルデータを処理するためのデバイス。
- 前記チャンクのいずれか1つの計算ノード(16,18,20,24,26,28,30,34,36,38,44,48)が、それぞれ、
−前記計算ノードが、それが属するチャンク内の少なくとも1つの他の所定のノードから前記処理操作に関する前記グラフの少なくとも1つの有向リンクを介して届く、前記処理操作の前記部分を開始するための少なくとも1つの情報メッセージをひとたび受信すると、前記処理操作の前記部分のみを開始させることが可能であり、
−前記処理操作の前記部分を開始するとすぐに、前記計算ノードが、それが属するチャンク内の少なくとも1つの他の所定のノードに、前記処理操作に関する前記グラフの少なくとも1つの有向リンクを介して前記処理操作の前記部分を開始するための少なくとも1つの情報メッセージを送信することができるように構成される、請求項3に記載のデジタルデータを処理するためのデバイス。 - デバイス上で行われるように決められた各データ処理操作が、計算ノードと、バッファメモリノードと、これらのノード間で少なくとも1つの入力バッファメモリノード(14,42)から少なくとも1つの出力バッファメモリノード(40,52)へデータを転送する有向リンクと、によって構成される有向グラフによってモデル化され、前記モデル化されたモデルでは、2つの異なる処理操作が少なくとも1つの共通の計算ノード(16,20,26,28,30,34,36,38)を含むことができるデータフロー処理モデルを使用する、詳細には電子チップ上のシステムのデジタルデータを処理するためのデバイス(10)の複数の計算ノード(16,18,20,24,26,28,30,34,36,38,44,48)に対して、複数のデータ処理操作(T1,T2)を分散して実行する方法であって、以下のステップ、即ち、
−複数の異なる処理グラフを結合することによって形成される値付きの有向マルチグラフから、チャンクと呼ばれる複数の値付きの有向サブマルチグラフに前記有向マルチグラフを分割するステップであって、各チャンクの入力および出力ノードがバッファメモリノードであるステップ(100)と、
−各チャンクに関する調整モジュールを特定するステップと、
−対応する調整モジュールによって、各チャンク内で行われるように決められた処理操作の部分を他のチャンク内で行われように決められた処理操作の部分の同期から独立して同期させるステップ(108(1),...,108(i),...108(N))と、を含むことを特徴とする方法。 - 各チャンクに関する前記調整モジュールを自動的に選択するステップ(102(1),...,102(i),...102(N))を含む、請求項5に記載の複数の処理操作に対して分散実行する方法。
- チャンクに関する前記調整モジュールを自動的に選択するステップ(102(1),...,102(i),...102(N))が、以下のステップ、即ち、
−「ソース一価セット」と称される第1のサブセット(E1)が、前記チャンクの全ての入力ノードと、多価ノードからではなく前記入力ノードから到達することができるその他の一価ノード全てを含み、「シンク一価セット」と称される第2のサブセット(E2)が、前記チャンクの出力ノード全てと、多価ノードではなく前記出力ノードに到達することができる他の全ての一価ノードと、を含み、「多価セット」(E3)と称される第3のサブセットが、前記第1のサブセットや第2のサブセットのいずれにも属さない前記チャンクの全てのノードを含む3つのばらばらのサブセットに前記チャンクをさらに分割するサブステップ(200(1),...200(i),...200(N))と、
−所定の判断基準に従って前記ソース一価セットから来るデータ転送有向リンクの宛先である前記多価セットの前記計算ノードのうちの1つから前記調整モジュールを選択するサブステップ(202(1),...202(i),...202(N))と、を含む、請求項6に記載の複数の処理操作に対して分散実行する方法。 - 各チャンクの前記調整モジュールを特定するためのステップが、前記データ転送リンク以外に、前記調整モジュールと前記チャンクの他のノードとの間に、処理されるべきデータを転送せずに情報メッセージを転送する「仮想」リンクと称される有向リンクを確立するステップを含む、請求項5から7のいずれかに記載の複数の処理操作に対して分散実行する方法。
- 各チャンクに関して前記調整モジュールを特定するステップが、前記ソース一価セットからやって来て前記多価セットの方に向かう移行リンクと称される有向データ転送リンクそれぞれに対して以下のサブステップ(300(1),...,300(i),...300(N))、即ち、
−同一の処理操作に関して、この移行リンクの始まりであるノードと前記調整モジュールとの間に1つのリンクまたはリンクのセットがそれまで存在していない場合、前記移行リンクの始まりであるノードと前記調整モジュールとの間に新たな仮想リンク(60)が形成されるサブステップと、
−同一の処理操作に関して、前記調整モジュールと前記移行リンクが向かうノードとの間にリンクまたはリンクのセットがそれまで存在していない場合、前記調整モジュールと前記移行リンクが向かうノードとの間に新たな仮想リンク(60)が形成されるサブステップとを含む、請求項8に記載の複数の処理操作に対して分散実行する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0954903A FR2948206B1 (fr) | 2009-07-15 | 2009-07-15 | Dispositif et procede pour l'execution distribuee de traitements de donnees numeriques |
FR0954903 | 2009-07-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011023003A JP2011023003A (ja) | 2011-02-03 |
JP5450297B2 true JP5450297B2 (ja) | 2014-03-26 |
Family
ID=42110336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010157177A Expired - Fee Related JP5450297B2 (ja) | 2009-07-15 | 2010-07-09 | デジタルデータ処理操作を分散実行するためのデバイスおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9569272B2 (ja) |
EP (1) | EP2278466A1 (ja) |
JP (1) | JP5450297B2 (ja) |
FR (1) | FR2948206B1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130173777A1 (en) * | 2011-12-28 | 2013-07-04 | Microsoft Corporation | Mining Execution Pattern For System Performance Diagnostics |
US9185156B2 (en) * | 2012-11-13 | 2015-11-10 | Google Inc. | Network-independent programming model for online processing in distributed systems |
US10089043B2 (en) * | 2013-03-15 | 2018-10-02 | Micron Technology, Inc. | Apparatus and methods for a distributed memory system including memory nodes |
CN114429051B (zh) * | 2022-04-01 | 2022-07-01 | 深圳鲲云信息科技有限公司 | 数据流芯片的建模方法、装置、设备及介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164504A (ja) * | 2005-12-14 | 2007-06-28 | Fuji Heavy Ind Ltd | ストリームデータ処理方法およびストリームデータ処理装置 |
US9081609B2 (en) * | 2005-12-21 | 2015-07-14 | Xerox Corporation | Image processing system and method employing a threaded scheduler |
FR2898753B1 (fr) * | 2006-03-16 | 2008-04-18 | Commissariat Energie Atomique | Systeme sur puce a controle semi-distribue |
JP4936517B2 (ja) * | 2006-06-06 | 2012-05-23 | 学校法人早稲田大学 | ヘテロジニアス・マルチプロセッサシステムの制御方法及びマルチグレイン並列化コンパイラ |
GB2443277B (en) * | 2006-10-24 | 2011-05-18 | Advanced Risc Mach Ltd | Performing diagnostics operations upon an asymmetric multiprocessor apparatus |
US9996394B2 (en) * | 2012-03-01 | 2018-06-12 | Microsoft Technology Licensing, Llc | Scheduling accelerator tasks on accelerators using graphs |
-
2009
- 2009-07-15 FR FR0954903A patent/FR2948206B1/fr not_active Expired - Fee Related
-
2010
- 2010-06-29 EP EP10167630A patent/EP2278466A1/fr not_active Withdrawn
- 2010-07-09 US US12/833,418 patent/US9569272B2/en not_active Expired - Fee Related
- 2010-07-09 JP JP2010157177A patent/JP5450297B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9569272B2 (en) | 2017-02-14 |
FR2948206B1 (fr) | 2011-08-05 |
EP2278466A1 (fr) | 2011-01-26 |
US20110016293A1 (en) | 2011-01-20 |
JP2011023003A (ja) | 2011-02-03 |
FR2948206A1 (fr) | 2011-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5304194B2 (ja) | バリア同期装置、バリア同期システム及びバリア同期装置の制御方法 | |
JP4808513B2 (ja) | システムオンチップの大域的非同期通信アーキテクチャ | |
JP4763405B2 (ja) | データ・フロー・アプリケーションのためのネットワーク・オン・チップ半自動通信アーキテクチャ | |
US8572615B2 (en) | Parallel computing system, synchronization device, and control method of parallel computing system | |
US10193705B2 (en) | Method, communication network, and control unit for the cyclical transmission of data | |
JP5450297B2 (ja) | デジタルデータ処理操作を分散実行するためのデバイスおよび方法 | |
US7310803B2 (en) | Method and system for executing multiple tasks in a task set | |
CN110419204A (zh) | 传输通信信号帧的方法、实体和程序 | |
US20170366286A1 (en) | Master/slave negotiation associated with a synchronous ethernet network | |
CN111752887A (zh) | 人工智能芯片和基于人工智能芯片的数据处理方法 | |
Mariño et al. | Loopback strategy for TSN-compliant traffic queueing and shaping in automotive gateways | |
CN104247350A (zh) | 实现转换协议,其中用于在第一时间段期间路由由一组交换机接收到的分组的第一规则集被更新到第二规则集 | |
KR102518390B1 (ko) | 소프트웨어 정의 네트워크 기반 서비스 기능 체인의 백업 서비스 기능 선택 장치 및 방법 | |
CN111490902A (zh) | 664网络消息构建算法 | |
US11907725B2 (en) | Communication in a computer having multiple processors | |
US11625357B2 (en) | Control of data transfer between processors | |
CN113138831B (zh) | 一种网络重置方法及基于此的加速分布式训练方法和系统 | |
US20220198249A1 (en) | Execution of neural networks | |
CN107852374A (zh) | 用于在中央网络管理实体内管理网络的端到端连接的设备和方法 | |
De Marco et al. | A Distributed Message-Optimal Assignment on Rings | |
CN116527573A (zh) | 一种时间敏感网络中的数据流调度方法、装置及介质 | |
CN117472844A (zh) | 一种多芯片模组以及数据处理方法 | |
JP2845737B2 (ja) | ノード演算パイプライン | |
WO2009118659A2 (en) | Method and apparatus for control in reconfigurable architecture | |
JPH07235966A (ja) | Osiネットワーク管理システム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101117 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121228 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130108 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130201 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130827 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131225 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |