JP5831679B2 - データ処理スケジューリング装置、方法及びプログラム - Google Patents
データ処理スケジューリング装置、方法及びプログラム Download PDFInfo
- Publication number
- JP5831679B2 JP5831679B2 JP2011052360A JP2011052360A JP5831679B2 JP 5831679 B2 JP5831679 B2 JP 5831679B2 JP 2011052360 A JP2011052360 A JP 2011052360A JP 2011052360 A JP2011052360 A JP 2011052360A JP 5831679 B2 JP5831679 B2 JP 5831679B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- chunk
- time
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
Ware House)内部で行われる処理等を含む。
State Drive)等を含む。
コ・プロセッサにデータを転送して処理させるデータ処理スケジュールリング装置であって、
処理対象のデータを複数のチャンクに分割する分割手段と、
各チャンクのデータ転送時間とデータ処理時間を取得する時間取得手段と、
各チャンクのデータ転送時間とデータ処理時間の大小関係に基づいて、前記各チャンクを前記コ・プロセッサに処理させる順番を決定する順番決定手段と、
を備えることを特徴とするデータ処理スケジュールリング装置。
前記順番決定手段は、前記各チャンクを、データ転送時間とデータ処理時間の大小関係に基づいて分別し、データ転送時間の方が小さいチャンクのグループをデータ転送時間の小さい順に処理した後にデータ転送時間の方が大きいチャンクのグループをデータ処理時間の大きい順に処理するように、各チャンクの順番を決定する、
ことを特徴とする付記1に記載のデータ処理スケジュールリング装置。
前記順番決定手段は、データ転送時間の方が小さいチャンクのグループをデータ転送時間の小さい順にソートし、データ転送時間の方が大きいチャンクのグループをデータ処理時間の大きい順にソートし、データ転送時間の方が小さいチャンクのグループが先になるように前記2つのグループのソート結果を結合して、チャンクの処理の順番のスケジュールリストを生成する、
ことを特徴とする請求項2に記載のデータ処理スケジュールリング装置。
前記時間取得手段は、各チャンクのデータ転送時間とデータ処理時間を計測して取得し、
前記順番決定手段は、前記計測された各チャンクのデータ転送時間とデータ処理時間に基づいて、各チャンクを前記コ・プロセッサに処理させる順番を決定する
ことを特徴とする請求項1から3のいずれか1項に記載のデータ処理スケジュールリング装置。
ホストからコ・プロセッサにデータを転送して処理させるデータ処理スケジュールリング方法あって、
処理対象のデータを複数のチャンクに分割し、
各チャンクのデータ転送時間とデータ処理時間を取得し、
各チャンクのデータ転送時間とデータ処理時間の大小関係に基づいて、前記各チャンクを前記コ・プロセッサに処理させる順番を決定する、
ことを特徴とするデータ処理スケジュールリング方法。
各チャンクを前記コ・プロセッサに処理させる順番を決定するときに、前記各チャンクを、データ転送時間とデータ処理時間の大小関係に基づいて分別し、データ転送時間の方が小さいチャンクのグループをデータ転送時間の小さい順に処理した後にデータ転送時間の方が大きいチャンクのグループをデータ処理時間の大きい順に処理するように、各チャンクの順番を決定する、
ことを特徴とする請求項5に記載のデータ処理スケジュールリング方法。
各チャンクを前記コ・プロセッサに処理させる順番を決定するときに、データ転送時間の方が小さいチャンクのグループをデータ転送時間の小さい順にソートし、データ転送時間の方が大きいチャンクのグループをデータ処理時間の大きい順にソートし、データ転送時間の方が小さいチャンクのグループが先になるように前記2つのグループのソート結果を結合して、チャンクの処理の順番のスケジュールリストを生成する、
ことを特徴とする請求項6に記載のデータ処理スケジュールリング方法。
各チャンクのデータ転送時間とデータ処理時間を計測して取得し、
各チャンクを前記コ・プロセッサに処理させる順番を決定するときに、前記計測された各チャンクのデータ転送時間とデータ処理時間に基づいて、各チャンクを前記コ・プロセッサに処理させる順番を決定する
ことを特徴とする請求項5から7のいずれか1項に記載のデータ処理スケジュールリング方法。
コンピュータに、
処理対象のデータを複数のチャンクに分割する分割処理、
各チャンクのデータ転送時間とデータ処理時間を取得する時間取得処理、
各チャンクのデータ転送時間とデータ処理時間の大小関係に基づいて、前記各チャンクを前記コ・プロセッサに処理させる順番を決定する順番決定処理、
を実行させることを特徴とするプログラム。
前記順番決定処理は、前記各チャンクを、データ転送時間とデータ処理時間の大小関係に基づいて分別し、データ転送時間の方が小さいチャンクのグループをデータ転送時間の小さい順に処理した後にデータ転送時間の方が大きいチャンクのグループをデータ処理時間の大きい順に処理するように、各チャンクの順番を決定する、
ことを特徴とする請求項9に記載のプログラム。
前記順番決定処理は、データ転送時間の方が小さいチャンクのグループをデータ転送時間の小さい順にソートし、データ転送時間の方が大きいチャンクのグループをデータ処理時間の大きい順にソートし、データ転送時間の方が小さいチャンクのグループが先になるように前記2つのグループのソート結果を結合して、チャンクの処理の順番のスケジュールリストを生成する、
ことを特徴とする請求項10に記載のプログラム。
前記時間取得処理は、各チャンクのデータ転送時間とデータ処理時間を計測して取得し、
前記順番決定処理は、前記計測された各チャンクのデータ転送時間とデータ処理時間に基づいて、各チャンクを前記コ・プロセッサに処理させる順番を決定する
ことを特徴とする請求項9から11のいずれか1項に記載のプログラム。
2 データ蓄積部
3 順番決定部
4 処理指示部
5 データ蓄積部
6 演算実行部
7 データバス
10 ホストコンピュータ
11 データ分割部
12 データ圧縮部
13 時間取得部
20 コ・プロセッサ
Claims (3)
- コ・プロセッサにデータを転送して処理させるデータ処理スケジュールリング装置であって、
処理対象のデータを複数のチャンクに分割する分割手段と、
各チャンクのデータ転送時間とデータ処理時間を取得する時間取得手段と、
各チャンクのデータ転送時間とデータ処理時間の大小関係に基づいて、前記各チャンクを前記コ・プロセッサに処理させる順番を決定する順番決定手段と、
を備え、
前記時間取得手段は、各チャンクのデータ転送時間とデータ処理時間の少なくとも一方を実測により取得し、
前記順番決定手段は、前記各チャンクを、データ転送時間とデータ処理時間の大小関係に基づいて分別し、データ転送時間の方が小さいチャンクのグループをデータ転送時間の小さい順に処理した後にデータ転送時間の方が大きいチャンクのグループをデータ処理時間の大きい順に処理するように、各チャンクの順番を決定する
ことを特徴とするデータ処理スケジュールリング装置。 - 前記順番決定手段は、データ転送時間の方が小さいチャンクのグループをデータ転送時間の小さい順にソートし、データ転送時間の方が大きいチャンクのグループをデータ処理時間の大きい順にソートし、データ転送時間の方が小さいチャンクのグループが先になるように前記2つのグループのソート結果を結合して、チャンクの処理の順番のスケジュールリストを生成する、
ことを特徴とする請求項1に記載のデータ処理スケジュールリング装置。 - 前記時間取得手段は、各チャンクのデータ転送時間とデータ処理時間を計測して取得し、
前記順番決定手段は、前記計測された各チャンクのデータ転送時間とデータ処理時間に基づいて、各チャンクを前記コ・プロセッサに処理させる順番を決定する
ことを特徴とする請求項1又は請求項2に記載のデータ処理スケジュールリング装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011052360A JP5831679B2 (ja) | 2011-03-10 | 2011-03-10 | データ処理スケジューリング装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011052360A JP5831679B2 (ja) | 2011-03-10 | 2011-03-10 | データ処理スケジューリング装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012190206A JP2012190206A (ja) | 2012-10-04 |
JP5831679B2 true JP5831679B2 (ja) | 2015-12-09 |
Family
ID=47083299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011052360A Expired - Fee Related JP5831679B2 (ja) | 2011-03-10 | 2011-03-10 | データ処理スケジューリング装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5831679B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1043352A (ja) * | 1996-07-31 | 1998-02-17 | K S K Kk | 野球用グラブ |
JP6260373B2 (ja) * | 2014-03-14 | 2018-01-17 | 富士通株式会社 | データ転送方法及びデータ転送制御装置 |
JP6940771B2 (ja) * | 2017-12-27 | 2021-09-29 | 富士通株式会社 | データ送信プログラム、データ送信装置、及びデータ送信方法 |
WO2020255239A1 (ja) * | 2019-06-18 | 2020-12-24 | 日本電信電話株式会社 | データ処理装置、データ処理方法及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6591287B1 (en) * | 1999-09-08 | 2003-07-08 | Lucent Technologies Inc. | Method to increase the efficiency of job sequencing from sequential storage |
JP2003208414A (ja) * | 2002-01-11 | 2003-07-25 | Hitachi Ltd | 負荷分散機能付きサーバおよびクライアント |
-
2011
- 2011-03-10 JP JP2011052360A patent/JP5831679B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012190206A (ja) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11429852B2 (en) | Convolution acceleration and computing processing method and apparatus, electronic device, and storage medium | |
Tang et al. | Accelerating millions of short reads mapping on a heterogeneous architecture with FPGA accelerator | |
US9529590B2 (en) | Processor for large graph algorithm computations and matrix operations | |
JP5831679B2 (ja) | データ処理スケジューリング装置、方法及びプログラム | |
Hu et al. | Fast and accurate streaming CNN inference via communication compression on the edge | |
CN102436438B (zh) | 基于gpu的稀疏矩阵数据存储方法 | |
US9990412B2 (en) | Data driven parallel sorting system and method | |
WO2023236365A1 (zh) | 数据处理方法、装置、ai芯片、电子设备及存储介质 | |
Li et al. | BLASTP-ACC: Parallel architecture and hardware accelerator design for BLAST-based protein sequence alignment | |
CN105573843B (zh) | 一种数据处理方法和系统 | |
CN106575220A (zh) | 多个经集群极长指令字处理核心 | |
Soto et al. | JACC-FPGA: A hardware accelerator for Jaccard similarity estimation using FPGAs in the cloud | |
CN110738317A (zh) | 基于fpga的可变形卷积网络运算方法、装置和系统 | |
CN114237911A (zh) | 基于cuda的基因数据处理方法、装置和cuda构架 | |
US20150149746A1 (en) | Arithmetic processing device, information processing device, and a method of controlling the information processing device | |
WO2024012180A1 (zh) | 一种矩阵计算方法及装置 | |
Peng et al. | Adaptive runtime exploiting sparsity in tensor of deep learning neural network on heterogeneous systems | |
Soto et al. | Hardware acceleration of k-mer clustering using locality-sensitive hashing | |
CN113238711B (zh) | 一种电子数据取证领域中高效的哈希计算方法 | |
TWI775151B (zh) | 圖形處理器及其矩陣運算的加速方法 | |
WO2015143708A1 (zh) | 后缀数组的构造方法及装置 | |
WO2020082224A1 (zh) | 基于fpga的重测序分析方法和装置 | |
Cheng | Fast virus signature matching based on the high performance computing of GPU | |
Honbo et al. | Efficient Pairwise Statistical Significance Estimation using FPGAs. | |
CN113822003B (zh) | 一种基于fpga的静态时序分析延迟计算加速系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141022 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5831679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |