JPWO2018097058A1 - 解析ノード、リソース管理方法およびプログラム記録媒体 - Google Patents
解析ノード、リソース管理方法およびプログラム記録媒体 Download PDFInfo
- Publication number
- JPWO2018097058A1 JPWO2018097058A1 JP2018552544A JP2018552544A JPWO2018097058A1 JP WO2018097058 A1 JPWO2018097058 A1 JP WO2018097058A1 JP 2018552544 A JP2018552544 A JP 2018552544A JP 2018552544 A JP2018552544 A JP 2018552544A JP WO2018097058 A1 JPWO2018097058 A1 JP WO2018097058A1
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- unit
- load
- node
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5019—Workload prediction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
[第1の実施形態の構成]
本発明の第1の実施形態について図を参照して詳細に説明する。図1は、本実施形態の解析ノードの構成の概要を示したものである。本実施形態の解析ノードは、解析実行手段1と、内容変動観測手段2と、資源割当手段3を備えている。解析実行手段1は、前段工程および後段工程を少なくとも含む複数の工程からなる解析処理を、工程にそれぞれ割り当てられた計算資源によって実行する。内容変動観測手段2は、前段工程における処理対象データの内容変化を内容変動観測情報として観測する。資源割当手段3は、内容変動観測情報を基に後段工程の処理負荷の変動を予測して、後段工程に割り当てられている計算資源を変更する。
本実施形態の解析ノードは、内容変動観測手段2において、前段工程の内容変化を内容変動観測情報として観測している。また、本実施形態の解析ノードは、資源割当手段3において内容変動観測情報を基に後段工程の負荷の変動を予測して、予測結果を基に後段工程に割り当てられている計算資源を変更している。このように、前段工程の変化を基に、後段工程の負荷を予測して、後段工程への計算資源の割り当てを変更することで、負荷が変動した際にスループットを低下させることなく、解析処理を行うことができる。また、本実施形態の解析ノードは、解析処理を行っている際に前段工程の変化を基に、後段工程への計算資源の割り当てを動的に変更することができるので、計算資源の割り当ての変更を行う際に解析処理の停止を必要としない。その結果、本実施形態の解析ノードを用いることで、負荷変動に対応して計算資源を適切に管理し、高スループットで解析処理を継続的に行うことができる。
[第2の実施形態の構成]
本発明の第2の実施形態について図を参照して詳細に説明する。図2は、本実施形態の解析システムの構成を示したものである、本実施形態の解析システムは、解析ノード10と、データ取得部20を備えている。
本実施形態の解析システムの動作について説明する。始めに解析システムの起動時の動作について説明する。図6は、本実施形態の解析システムにおけるシステム起動動作を示したものである。
本実施形態の解析システムでは、資源割当部500が前段解析部110の内容変動観測データを基に、後段解析部120の負荷を予測している。また、資源割当部500は、負荷の予測を基に、後段解析部120の解析ワーカの数だけを増減させている。そのため、本実施形態の解析システムは、計算資源の割り当てを変更する際に、解析ノード10を停止させることなく、計算資源の割り当てを最適化することができる。
[第3の実施形態の構成]
本発明の第3の実施形態について図を参照して詳細に説明する。図11は、本実施形態の解析システムの構成を示したものである、本実施形態の解析システムは、第1の解析ノード30と、第2の解析ノード40と、データ取得部20を備えている。データ取得部20の構成は、第2の実施形態と同様である。
本実施形態の解析システムの動作について説明する。図13は、本実施形態の解析システムにおいて、解析処理の一部を分散処理によって行う際の動作フローを示したものである。
本実施形態の解析システムでは、資源割当計画部702は、第1の解析ノード30の解析ワーカ121の増減に加えて、第2の解析ノード40にタスクを送信するためのタスク送信部630を生成している。本実施形態の解析システムでは、タスク送信部630が、第2の解析ノード40に、自装置で処理できない解析タスクを分散することで、負荷が自装置の処理の能力を超えて増大した場合にも解析システム全体のスループットを維持することができる。
2 内容変動観測手段
3 資源割当手段
10 解析ノード
20 データ取得部
30 第1の解析ノード
40 第2の解析ノード
100 解析実行部
110 前段解析部
111 解析ワーカ
120 後段解析部
121 解析ワーカ
200 負荷観測部
300 内容変動観測部
400 観測データ記憶部
500 資源割当部
501 負荷変動予測部
502 資源割当計画部
600 解析実行部
620 後段解析部
630 タスク送信部
700 資源割当部
702 資源割当計画部
801 通路
802 顔
803 顔
Claims (10)
- 前段工程および後段工程を少なくとも含む複数の工程からなる解析処理を、前記工程にそれぞれ割り当てられた計算資源によって実行する解析実行手段と、
前記前段工程における処理対象データの内容変化を内容変動観測情報として観測する内容変動観測手段と、
前記内容変動観測情報を基に前記後段工程の処理負荷の変動を予測して、前記後段工程に割り当てられている前記計算資源を変更する資源割当手段と、
を備えることを特徴とする解析ノード。 - 前記内容変動観測手段は、前記前段工程における解析処理の結果のうち、前記前段工程が前記後段工程へ出力する解析結果と、前記前段工程が内部的に保持する内部情報とを観測し、
前記資源割当手段は、前記解析結果と前記内部情報を基に前記後段工程の処理負荷の変動を予測することを特徴とする請求項1に記載の解析ノード。 - 前記内容変動観測情報は、解析対象の映像中に映っている対象物の数を基にした情報であり、
前記解析結果は、品質基準を満たした対象物であり、前記内部情報は、前記品質基準を満たさない対象物であることを特徴とする請求項2に記載の解析ノード。 - 前記後段工程の前記解析実行手段は、複数の解析手段を備え、
前記資源割当手段は、前記解析手段の数を増減することで、前記後段工程への前記計算資源の割り当てを変更することを特徴とする請求項1から3いずれかに記載の解析ノード。 - 前記解析実行手段が解析処理を実行している際の負荷を負荷観測情報として観測する負荷観測手段をさらに備え、
前記資源割当手段は、前記内容変動観測情報と、前記負荷観測情報とを基に、前記後段工程の処理負荷の変動を予測することを特徴とする請求項1から4いずれかに記載の解析ノード。 - 前記負荷観測情報は、前記解析実行手段における前記計算資源の消費量として観測されることを特徴とする請求項5に記載の解析ノード。
- 前記解析実行手段は、解析処理を他の解析ノードに要求するタスク送信手段をさらに備え、
前記資源割当手段は、前記計算資源の不足を検出した場合に、前記タスク送信手段を介して他の解析ノードへ前記後段工程の解析処理の要求を送信することを特徴とする請求項1から6いずれかに記載の解析ノード。 - 請求項7に記載の解析ノードからなる第1のノードと
入力されたデータの解析処理を行う第2のノードと、
を備え、
前記第1のノードの前記資源割当手段は、前記計算資源の不足を検出した場合に、前記タスク送信手段を介して前記第2のノードに前記後段工程の解析処理の要求を送信し、
前記第2のノードは、前記第1のノードから要求された前記後段工程の解析処理を実行することを特徴とする解析システム。 - 前段工程および後段工程を少なくとも含む複数の工程からなる解析処理を、前記工程にそれぞれ割り当てられた計算資源によって実行する際に、
前記前段工程における処理対象データの内容変化を内容変動観測情報として観測し、
前記内容変動観測情報を基に前記後段工程の処理負荷の変動を予測して前記後段工程に割り当てられている前記計算資源を変更することを特徴とするリソース管理方法。 - 前段工程および後段工程を少なくとも含む複数の工程からなる解析処理を、前記工程にそれぞれ割り当てられた計算資源によって実行する際に、
前記前段工程の解析処理から対象データの内容変動を内容変動観測情報として観測する内容変動観測処理と、
前記内容変動観測情報を基に前記後段工程の処理負荷の変動を予測して前記後段工程に割り当てられている前記計算資源を変更する資源割当処理と、
をコンピュータに実行させることを特徴とするリソース管理プログラムを記録したコンピュータ読み取り可能なプログラム記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016226465 | 2016-11-22 | ||
JP2016226465 | 2016-11-22 | ||
PCT/JP2017/041476 WO2018097058A1 (ja) | 2016-11-22 | 2017-11-17 | 解析ノード、リソース管理方法およびプログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018097058A1 true JPWO2018097058A1 (ja) | 2019-10-17 |
JP6981427B2 JP6981427B2 (ja) | 2021-12-15 |
Family
ID=62195191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018552544A Active JP6981427B2 (ja) | 2016-11-22 | 2017-11-17 | 解析ノード、リソース管理方法およびリソース管理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200192709A1 (ja) |
JP (1) | JP6981427B2 (ja) |
WO (1) | WO2018097058A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220365819A1 (en) * | 2019-11-06 | 2022-11-17 | Nec Corporation | Load balancing system, load balancing device, load balancing method, and computer-readable medium |
WO2022070427A1 (ja) * | 2020-10-02 | 2022-04-07 | 日本電気株式会社 | 画像処理装置、画像処理方法及びコンピュータ可読媒体 |
WO2023105670A1 (ja) * | 2021-12-08 | 2023-06-15 | 日本電信電話株式会社 | リソース管理装置及びプログラム |
CN114968715B (zh) * | 2022-05-23 | 2022-11-25 | 重庆伏特猫科技有限公司 | 一种基于互联网的综合能源管理系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012099062A (ja) * | 2010-11-05 | 2012-05-24 | Hitachi Ltd | サービス連携システムおよび情報処理システム |
WO2013145530A1 (ja) * | 2012-03-28 | 2013-10-03 | 日本電気株式会社 | 解析システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004084085A1 (ja) * | 2003-03-18 | 2004-09-30 | Fujitsu Limited | サイト間連携による負荷分散システム |
-
2017
- 2017-11-17 JP JP2018552544A patent/JP6981427B2/ja active Active
- 2017-11-17 WO PCT/JP2017/041476 patent/WO2018097058A1/ja active Application Filing
- 2017-11-17 US US16/349,320 patent/US20200192709A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012099062A (ja) * | 2010-11-05 | 2012-05-24 | Hitachi Ltd | サービス連携システムおよび情報処理システム |
WO2013145530A1 (ja) * | 2012-03-28 | 2013-10-03 | 日本電気株式会社 | 解析システム |
Also Published As
Publication number | Publication date |
---|---|
US20200192709A1 (en) | 2020-06-18 |
JP6981427B2 (ja) | 2021-12-15 |
WO2018097058A1 (ja) | 2018-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102300984B1 (ko) | 작업 서버를 사용한 대규모 분산형 시스템의 기계 학습 모델의 훈련 | |
CN110297711B (zh) | 批量数据处理方法、装置、计算机设备及存储介质 | |
EP3129880B1 (en) | Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system | |
WO2018097058A1 (ja) | 解析ノード、リソース管理方法およびプログラム記録媒体 | |
CN108845884B (zh) | 物理资源分配方法、装置、计算机设备和存储介质 | |
US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
US9286123B2 (en) | Apparatus and method for managing stream processing tasks | |
US9870269B1 (en) | Job allocation in a clustered environment | |
CN102667724A (zh) | 利用加速器的、目标指向的工作负载性能管理 | |
CN106557369A (zh) | 一种多线程的管理方法及系统 | |
WO2023011157A1 (zh) | 业务处理方法、装置、服务器、存储介质和计算机程序产品 | |
CN106095940A (zh) | 一种基于任务负载的数据迁移方法 | |
KR101471749B1 (ko) | 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법 | |
US11294736B2 (en) | Distributed processing system, distributed processing method, and recording medium | |
CN109739627B (zh) | 任务的调度方法、电子设备及介质 | |
Maruf et al. | Extending resources for avoiding overloads of mixed‐criticality tasks in cyber‐physical systems | |
CN115576534A (zh) | 原子服务的编排方法、装置、电子设备及存储介质 | |
US20120066470A1 (en) | Method and system for allocating memory to a pipeline | |
CN110968422A (zh) | 用于集成场景的负载分发 | |
JP2007241667A (ja) | 業務フロー制御システム、業務フロー制御方法および制御用プログラム | |
WO2016084327A1 (ja) | 資源予測装置、資源予測方法、資源予測プログラムおよび分散処理システム | |
JP2015108877A (ja) | 予測時間分布生成装置、制御方法、及びプログラム | |
US20200042354A1 (en) | Analysis node, method for managing resources, and program recording medium | |
CN115082911A (zh) | 一种视频分析方法、装置及视频处理设备 | |
CN116701126B (zh) | pod容量控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6981427 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |