JPWO2019059135A1 - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JPWO2019059135A1 JPWO2019059135A1 JP2019543621A JP2019543621A JPWO2019059135A1 JP WO2019059135 A1 JPWO2019059135 A1 JP WO2019059135A1 JP 2019543621 A JP2019543621 A JP 2019543621A JP 2019543621 A JP2019543621 A JP 2019543621A JP WO2019059135 A1 JPWO2019059135 A1 JP WO2019059135A1
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- processing time
- information processing
- task
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1は、第1実施形態に係る分析システムの全体構成を示すブロック図である。本実施形態に係る分析システムは、いわゆるビッグデータ分析を行うための情報処理システムである。以下、クラウド上のリソースを利用して、大量の分析処理をバッチ処理により毎日実行する例を説明する。分析システムは、分析クライアント100、キュー110、ワーカインスタンス120、分析結果DB(Database)130、リソース最適化装置140を備える。リソース最適化装置140は、本発明による情報処理装置の一実施形態である。
図10は、第2実施形態に係る情報処理装置の概略構成図である。情報処理装置1000は、算出部1001、予測部1002を備える。算出部1001は、複数の属性情報を含む分析データにおいて属性情報間の特徴量を算出する。予測部1002は、所定のリソースを用いて分析データに対する分析タスクを実行する際の処理時間を特徴量から予測する。
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、特徴量と処理時間との関係性を表す式は、上述の式(1)に限られない。該関係性を、処理時間が属性間の相関係数の絶対値に反比例する式として表すことも可能である。また、特徴量として異なる属性間についての複数種類の共分散を組み合せて用いることも可能である。
複数の属性情報を含む分析データにおいて前記属性情報間の特徴量を算出する算出部と、
所定のリソースを用いて前記分析データに対する分析タスクを実行する際の処理時間を、前記特徴量から予測する予測部とを備えることを特徴とする情報処理装置。
所定の周期毎に、前記分析データが更新されるとともに前記分析タスクが実行され、
前記予測部は、過去の周期における前記特徴量と前記処理時間との関係性に基づいて、現在の周期における前記処理時間を予測することを特徴とする付記1に記載の情報処理装置。
前記周期毎に、異なる複数の前記分析タスクが順次実行され、
前記予測部は、現在の周期において、実行済の前記分析タスクの処理時間に基づいて未実行の前記分析タスクの処理時間を予測することを特徴とする付記2に記載の情報処理装置。
前記特徴量は共分散であり、前記処理時間は共分散に比例することを特徴とする付記3に記載の情報処理装置。
前記分析タスクは、前記属性情報を用いた予測モデルを構築するための機械学習であることを特徴とする付記1乃至4のいずれかに記載の情報処理装置。
予測された前記処理時間に基づいて、前記分析タスクを実行するためのリソースの量を制御する制御部を備えることを特徴とする付記1乃至5のいずれかに記載の情報処理装置。
前記リソースは、ネットワーク上に配置された仮想インスタンスであることを特徴とする付記6に記載の情報処理装置。
付記6または7に記載の情報処理装置と、
前記分析データを取得するとともに、前記リソースを用いて前記分析タスクを実行させる端末装置とを備えることを特徴とする情報処理システム。
複数の属性情報を含む分析データにおいて前記属性情報間の特徴量を算出するステップと、
所定のリソースを用いて前記分析データに対する分析タスクを実行する際の処理時間を、前記特徴量から予測するステップとを備えることを特徴とする情報処理方法。
コンピュータに、
複数の属性情報を含む分析データにおいて前記属性情報間の特徴量を算出するステップと、
所定のリソースを用いて前記分析データに対する分析タスクを実行する際の処理時間を、前記特徴量から予測するステップとを実行させることを特徴とするプログラムが記録された記録媒体。
Claims (10)
- 複数の属性情報を含む分析データにおいて前記属性情報間の特徴量を算出する算出部と、
所定のリソースを用いて前記分析データに対する分析タスクを実行する際の処理時間を、前記特徴量から予測する予測部とを備えることを特徴とする情報処理装置。 - 所定の周期毎に、前記分析データが更新されるとともに前記分析タスクが実行され、
前記予測部は、過去の周期における前記特徴量と前記処理時間との関係性に基づいて、現在の周期における前記処理時間を予測することを特徴とする請求項1に記載の情報処理装置。 - 前記周期毎に、異なる複数の前記分析タスクが順次実行され、
前記予測部は、現在の周期において、実行済の前記分析タスクの前記処理時間に基づいて未実行の前記分析タスクの前記処理時間を予測することを特徴とする請求項2に記載の情報処理装置。 - 前記特徴量は共分散であり、前記処理時間は共分散に比例することを特徴とする請求項3に記載の情報処理装置。
- 前記分析タスクは、前記属性情報を用いた予測モデルを構築するための機械学習であることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 予測された前記処理時間に基づいて、前記分析タスクを実行するためのリソースの量を制御する制御部を備えることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記リソースは、ネットワーク上に配置された仮想インスタンスであることを特徴とする請求項6に記載の情報処理装置。
- 請求項6または7に記載の情報処理装置と、
前記分析データを取得するとともに、前記リソースを用いて前記分析タスクを実行させる端末装置とを備えることを特徴とする情報処理システム。 - 複数の属性情報を含む分析データにおいて前記属性情報間の特徴量を算出するステップと、
所定のリソースを用いて前記分析データに対する分析タスクを実行する際の処理時間を、前記特徴量から予測するステップとを備えることを特徴とする情報処理方法。 - コンピュータに、
複数の属性情報を含む分析データにおいて前記属性情報間の特徴量を算出するステップと、
所定のリソースを用いて前記分析データに対する分析タスクを実行する際の処理時間を、前記特徴量から予測するステップとを実行させることを特徴とするプログラムが記録された記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017179960 | 2017-09-20 | ||
JP2017179960 | 2017-09-20 | ||
PCT/JP2018/034287 WO2019059135A1 (ja) | 2017-09-20 | 2018-09-14 | 情報処理装置、情報処理システム、情報処理方法および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019059135A1 true JPWO2019059135A1 (ja) | 2020-04-16 |
JP6777242B2 JP6777242B2 (ja) | 2020-10-28 |
Family
ID=65809833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019543621A Active JP6777242B2 (ja) | 2017-09-20 | 2018-09-14 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200234149A1 (ja) |
JP (1) | JP6777242B2 (ja) |
WO (1) | WO2019059135A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112052082B (zh) * | 2020-09-01 | 2024-04-19 | 深圳市卡数科技有限公司 | 任务属性优化方法、装置、服务器及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1049504A (ja) * | 1996-08-02 | 1998-02-20 | Mitsubishi Electric Corp | 負荷分散バッチシステム |
JP2015005191A (ja) * | 2013-06-21 | 2015-01-08 | 株式会社日立製作所 | バッチ性能予測及び対策支援方法及びシステム |
JP2015014847A (ja) * | 2013-07-03 | 2015-01-22 | 株式会社日立システムズ | 設計支援システム、設計支援方法、およびプログラム |
JP2015184879A (ja) * | 2014-03-24 | 2015-10-22 | 株式会社野村総合研究所 | 基盤運用管理システムおよび基盤運用管理方法 |
JP2017162059A (ja) * | 2016-03-08 | 2017-09-14 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、プログラム |
-
2018
- 2018-09-14 US US16/647,575 patent/US20200234149A1/en not_active Abandoned
- 2018-09-14 JP JP2019543621A patent/JP6777242B2/ja active Active
- 2018-09-14 WO PCT/JP2018/034287 patent/WO2019059135A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1049504A (ja) * | 1996-08-02 | 1998-02-20 | Mitsubishi Electric Corp | 負荷分散バッチシステム |
JP2015005191A (ja) * | 2013-06-21 | 2015-01-08 | 株式会社日立製作所 | バッチ性能予測及び対策支援方法及びシステム |
JP2015014847A (ja) * | 2013-07-03 | 2015-01-22 | 株式会社日立システムズ | 設計支援システム、設計支援方法、およびプログラム |
JP2015184879A (ja) * | 2014-03-24 | 2015-10-22 | 株式会社野村総合研究所 | 基盤運用管理システムおよび基盤運用管理方法 |
JP2017162059A (ja) * | 2016-03-08 | 2017-09-14 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6777242B2 (ja) | 2020-10-28 |
WO2019059135A1 (ja) | 2019-03-28 |
US20200234149A1 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8909644B2 (en) | Real-time adaptive binning | |
JP5471400B2 (ja) | ジョブ分析プログラム及び方法、並びにジョブ分析装置 | |
JP2001527235A (ja) | 並列処理システムの機能を解析する方法 | |
US10248618B1 (en) | Scheduling snapshots | |
CN113537850A (zh) | 仓储优化方法、装置、计算机设备和存储介质 | |
US10313261B1 (en) | Tenant assignment system | |
JP6777242B2 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
JP6983115B2 (ja) | 物流予測システム及び予測方法 | |
Park et al. | Queue congestion prediction for large-scale high performance computing systems using a hidden Markov model | |
US10817401B1 (en) | System and method for job-to-queue performance ranking and resource matching | |
JP5793259B1 (ja) | 情報処理装置、流量制御パラメータ算出方法、およびプログラム | |
JP6697082B2 (ja) | 需要予測方法、需要予測システム及びそのプログラム | |
EP4113313A1 (en) | Control method, information processing device, and control program | |
JP5515117B2 (ja) | データ処理装置 | |
JP2015108877A (ja) | 予測時間分布生成装置、制御方法、及びプログラム | |
JP6753521B2 (ja) | 計算資源管理装置、計算資源管理方法、及びプログラム | |
Rumi et al. | Optimization techniques within the hadoop eco-system: A survey | |
JP2015106164A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
Salih et al. | Model-based resource utilization and performance risk prediction using machine learning Techniques | |
JP7119484B2 (ja) | 情報集約装置、情報集約方法、及び、プログラム | |
JP6679445B2 (ja) | 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法 | |
US20180239640A1 (en) | Distributed data processing system, and distributed data processing method | |
JP7302439B2 (ja) | システム分析方法、およびシステム分析プログラム | |
Nabeshima et al. | Coverage-based clause reduction heuristics for cdcl solvers | |
US20220366462A1 (en) | Recommendation system, and product recommendation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191211 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6777242 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |