TH17652C3 - High performance computer resource management system - Google Patents

High performance computer resource management system

Info

Publication number
TH17652C3
TH17652C3 TH1803002249U TH1803002249U TH17652C3 TH 17652 C3 TH17652 C3 TH 17652C3 TH 1803002249 U TH1803002249 U TH 1803002249U TH 1803002249 U TH1803002249 U TH 1803002249U TH 17652 C3 TH17652 C3 TH 17652C3
Authority
TH
Thailand
Prior art keywords
queue
user
job
resources
processor
Prior art date
Application number
TH1803002249U
Other languages
Thai (th)
Other versions
TH17652A3 (en
Inventor
นางสาวณัฐสุดากสิโสภา
นายขจรศักดิ์ปิยังกร
นายชาลีวรกุลพิพัฒน์
นายพิทักษ์แท่นแก้ว
Original Assignee
สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ
Filing date
Publication date
Application filed by สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ filed Critical สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ
Publication of TH17652C3 publication Critical patent/TH17652C3/en
Publication of TH17652A3 publication Critical patent/TH17652A3/en

Links

Abstract

บทสรุปการประดิษฐ์ซึ่งจะปรากฏบนหน้าประกาศโฆษณาReadFile:หน้าที่1ของจำนวน1หน้าบทสรุปการประดิษฐ์การประดิษฐ์นี้เกี่ยวข้องกับระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงที่ประกอบด้วยหน่วยจัดการคิวหน่วยจัดการทรัพยากรและหน่วยประมวลผลโดยที่ประกอบเพิ่มเติมด้วยหน่วยรับงานที่ซึ่งทำหน้าที่รับงานทั้งหมดของผู้ใช้งานที่เข้ามายังระบบพร้อมบันทึกข้อมูลการร้องขอทรัพยากรจากผู้ใช้งานก่อนส่งต่อไปยังหน่วยจัดการคิวด้วยการกำหนดรูปแบบคิวเพื่อจัดลำดับคิวงานให้สอดคล้องกับงานที่จะประมวลผลจากนั้นหน่วยจัดการคิวทำการส่งงานที่รออยู่ในคิวไปยังหน่วยจัดการทรัพยากรหากระบบมีทรัพยากรประมวลผลเพียงพอจะดำเนินการส่งงานไปประมวลผลต่อยังหน่วยประมวลผลซึ่งขณะทำการประมวลผลหน่วยตรวจสอบงานซึ่งทำหน้าที่เฝ้าติตดามและตรวจสอบสถานะทรัพยากรคำนวณโดยอิงกับค่าภาระงานของหน่วยประมวลผลและตามที่ผู้ใช้งานร้องขอว่าตรงกันกับที่มีการใช้งานจริงอยู่หรือไม่จากเกณฑ์ที่กำหนดโดยระบบทำการตรวจสอบสถานะงานที่ผู้ใช้งานส่งเข้ามาประมวลผลในระบบว่าไปอยู่ในหน่วยประมวลผลโหนดใดเพื่อประเมินประสิทธิภาพการใช้ทรัพยากรของระบบซึ่งระบบทำการกำจัดงานที่ร้องขอทรัพยากรคำนวณไม่ตรงกับที่ใช้งานจริงพร้อมแจ้งเตือนให้ผู้ดูแลระบบทราบส่งผลให้งานที่รออยู่ในคิวสามารถเข้ามาประมวลผลในระบบได้เร็วขึ้นและงานที่มีการใช้ทรัพยากรอย่างน้อยสองโหนดขึ้นไปมีโอกาสที่จะประมวลผลในระบบได้มากขึ้นทำให้ระบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงได้อย่างมีประสิทธิภาพ The Invention Summary, which appears on the ReadFile: 1 page of 1 page Invention Summary. This invention relates to a high-performance computing resource management system that consists of a queue manager, resource manager and processor. In addition, there is a work unit that handles all the work of the incoming user to the system and records the resource requests from the user before passing them to the queue manager. Sequence the job queue according to the job to be processed. The queue manager then sends the queued job to the resource manager. If the system has enough compute resources, it sends the job to the processor. which, while executing the task monitoring unit, which monitors and checks the status of compute resources based on the processor load value and, according to the user's request, matches the actual usage. Based on the criteria set by the system, it checks the status of the tasks submitted by the user to process the system in which processor node is in order to assess the efficiency of the system's resource utilization. The system eliminates the tasks that request compute resources. It does not match production and alerts the system administrator, resulting in queued jobs being processed faster on the system and jobs that use two or more resource nodes have a chance. Will process more in the system, making the system manages high-performance computer resources efficiently.

Claims (9)

ข้อถือสิทธฺ์(ทั้งหมด)ซึ่งจะไม่ปรากฏบนหน้าประกาศโฆษณา:แก้ไข08/11/2561ข้อถือสิทธิไม่มี ---------------------------------------------------------------------------------------------------- หน้าที่1ของจำนวน3หน้า ข้อถือสิทธิClaims (all) which will not appear on the classifieds page:Edit 08/11/2018 Claims have none. ---------------------------------------------------- ---------------------------------------------------- Page 1 of 3 pages Claims 1.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงที่ประกอบด้วย -หน่วยจัดการคิว(106)ซึ่งทำหน้าที่จัดคิวและคำนวณงาน(103,105)ที่ได้รับมาจากการร้องขอจากผู้ใช้งาน(102,104) -หน่วยจัดการทรัพยากร(105,107)ซึ่งทำหน้าที่คำนวณทรัพยากรที่มีเหลืออยู่ในปัจจุบันเพื่อรับงาน(103,105)ที่มาจากหน่วยจัดการคิว(106) -หน่วยประมวลผล(108,109)ซึ่งทำหน้าที่ประมวลผลข้อมูลที่ได้รับมาจากหน่วยจัดการทรัพยากร(105,107)ที่มีลักษณะเฉพาะคือประกอบเพิ่มเติมด้วยหน่วยรับงาน(202)ที่ซึ่งทำหน้าที่รับงาน(103,105)ทั้งหมดของผู้ใช้งาน(102,104)ที่เข้ามายังระบบพร้อมบันทึกข้อมูลการร้องขอทรัพยากรจากผู้ใช้งานก่อนส่งต่อไปยังหน่วยจัดการคิว(106)ด้วยการกำหนดรูปแบบคิวเพื่อจัดลำดับคิวงานให้สอดคล้องกับงาน(103,105)ที่จะประมวลผลจากนั้นหน่วยจัดการคิว(106)ทำการส่งงานที่รออยู่ในคิวไปยังหน่วยจัดการทรัพยากร(105,107)หากระบบมีทรัพยากรประมวลผลเพียงพอจะดำเนินการส่งงานไปประมวลผลต่อยังหน่วยประมวลผล(108,109)ซึ่งขณะทำการประมวลผลหน่วยตรวจสอบงาน(203)ซึ่งทำหน้าที่เฝ้าติตดามและตรวจสอบสถานะทรัพยากรคำนวณโดยอิงกับค่าภาระงานของหน่วยประมวลผล(108,109)และตามที่ผู้ใช้งานร้องขอว่าตรงกันกับที่มีการใช้งานจริงอยู่หรือไม่จากเกณฑ์ที่กำหนดโดยระบบทำการตรวจสอบสถานะงานที่ผู้ใช้งาน(102,104)ส่งเข้ามาประมวลผลในระบบว่าไปอยู่ในหน่วยประมวลผล(108,109)โหนดใดเพื่อประเมินประสิทธิภาพการใช้ทรัพยากรของระบบซึ่งระบบทำการกำจัดงานที่ร้องขอทรัพยากรคำนวณไม่ตรงกับที่ใช้งานจริงพร้อมแจ้งเตือนให้ผู้ดูแลระบบทราบส่งผลให้งานที่รออยู่ในคิวสามารถเข้ามาประมวลผลในระบบได้เร็วขึ้นและงานที่มีการใช้ทรัพยากรอย่างน้อยสองโหนดขึ้นไปมีโอกาสที่จะประมวลผลในระบบได้มากขึ้นทำให้ระบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงได้อย่างมีประสิทธิภาพ1. High-performance computer resource management system that consists of Queue Manager (106), which queues and calculates jobs (1003,105) received from user requests (102,104), and Resource Manager (105,107), which calculates the resources that are currently available. to receive jobs (1003,105) from queue management unit (106) -processor (108,109) which processes information received from resource management unit (105,107). (202), which accepts all (103,105) jobs of users (102,104) that come into the system and saves resource requests from users before forwarding them to the queue manager (106) by configuring the form. Queue to queue jobs corresponding to jobs (10,105) to be processed, then queue manager (106) sends queued jobs to resource manager (10,107). If the system has enough compute resources, it will do so. Processing tasks to the processor (108,109), while processing the job monitoring unit (203), which monitors and monitors the status of compute resources based on the processor's workload value. 108,109) and according to the user's request whether it meets the actual use or not from the criteria set by The system checks the status of the tasks sent by the user (102,104) to which processor node (108,109) is in the system to evaluate the efficiency of the system's resource utilization. The system eliminates the tasks that request compute resources. It does not match production and notifies the administrator, resulting in queued jobs being processed faster on the system and jobs that are consuming two or more nodes of resources. There is an opportunity to process more in the system, allowing the system to efficiently manage high-performance computing resources. 2.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1ที่ซึ่งหน่วยรับงาน(202)ทำการตรวจสอบงานที่ส่งเข้ามาประมวลผลทั้งหมดในระบบได้ถูกกระจายไปประมวลผลอยู่บนหน่วยประมวลผลใดบ้างอย่างน้อยจากข้อมูลซื่อหน่วยประมวลผล(401)ลำดับของงานที่ถูกส่งเข้ามาประมวลผล(402)หมายเลขอ้างอิงงานที่กำลังประมวลผล(403)จำนวนทรัพยากรคำนวณที่ผู้ใช้งานร้องขอ(404)คิวที่ผู้ใช้งานร้องขอ(405)ชื่อบัญชีผู้ใช้งาน(406)และชื่อจริงผู้ใช้งาน(407)2. A high-performance computing resource management system based on Claim 1, where the task unit (202) monitors how all incoming work in the system is distributed and processed on which processor. Less from data from processor (401) Order of incoming jobs (402) Processing job reference (403) Number of compute resources requested by user (404) User-requested queue (405) User Account Name (406) and User Name (407) 3.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1หรือ2ที่ซึ่งระบบกำหนดรูปแบบคิวเพื่อจัดลำดับคิวงานให้สอดคล้องกับงาน(103,105)ด้วยเงื่อนไขที่อย่างน้อยประกอบด้วยคิวสั้นร้องขอ หน้าที่2ของจำนวน3หน้าทรัพยากรได้มากแต่ประมวลได้เพียงหนึ่งวันหรือคิวกลางร้องขอทรัพยากรได้ครึ่งหนึ่งของหน่วยประมวลผลและประมวลผลได้สามวันหรือคิวยาวร้องขอทรัพยากรได้น้อยแต่ประมวลผลได้นานถึงเจ็ดวันอย่างใดอย่างหนึ่ง3. A high-performance computing resource management system based on claims 1 or 2, where the system defines a queue format to queue job queues according to jobs (1003105) with conditions that at least contain a short request queue. The second page of the three pages has a lot of resources but only processes one day, or the central queue requests half of the processor's resources and can process three days, or the long queue requests few resources but can process up to seven days. either 4.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1ถึง3ข้อใดข้อหนึ่งที่ซึ่งหากผู้ใช้งานไม่กำหนดรูปแบบของคิวหรือไม่ทราบระยะเวลาประมวลผลของงาน(103,105)ระบบประกอบเพิ่มเติมด้วยวิถีทางการส่งงาน(103,105)ไปรันที่คิวทดสอบก่อนเพื่อทราบระยะเวลาประมวลผลโดยประมาณหรือระบบเลือกคิวสั้นร้องขอทรัพยากรได้มากแต่ประมวลได้เพียงหนึ่งวันให้กับผู้ใช้งาน(102,104)โดยอัตโนมัติซึ่งระบบมีความยืดหยุ่นด้วยวิถีทางการกำหนดรูปแบบคิวให้กับผู้ใช้งานโดยอัตโนมัติหรือผู้ใช้งานเลือกกำหนดรูปแบบคิวได้ด้วยตนเองหรือระบบทำการตรวจสอบงาน(103,105)ที่ประมวลผลอยู่บนหน่วยรับงาน(202)โดยตรงที่ไม่ผ่านระบบคิว4. High-performance computer resource management system based on one of the 1 to 3 claims, where if the user does not specify a queue format or does not know the processing time of the job (1003105), the system is additionally equipped with a trajectory. The system sends the job (103,105) to the test queue first to know the estimated processing time, or the system chooses a short queue, requests a lot of resources, but only processes one day (102,104) to the user automatically, which the system is flexible. With a way of automatically assigning the queue format to the user or the user can set the queue format manually or the system does not pass the job verification (10105) processed directly on the receiving unit (202). queue system 5.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1ถึง4ข้อใดข้อหนึ่งที่ซึ่งหากผู้ใช้งาน(102,104)เลือกรูปแบบคิวด้วยตนเองแต่ประมวลผลงาน(103,105)ไม่เสร็จตามกำหนดตามรูปแบบคิวที่ได้เลือกไว้ระบบจะทำการตัดงานนั้นออกจากการประมวลผลทันทีพร้อมทำการแจ้งเตือนให้ผู้ใช้งาน(102,104)ทราบว่างาน(103,105)ที่ประมวลผลอยู่ใช้ทรัพยากรไม่เต็มประสิทธิภาพ5. High-performance computer resource management system based on claims 1 to 4, where if the user (102,104) manually selects the queue format but processes the job (103,105) does not finish as scheduled according to the model. The selected queue will immediately remove the job from processing and notify the user (102,104) that the job (103,105) being processed is not maximizing resources. 6.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1ที่ซึ่งหน่วยตรวจสอบงาน(203)ทำการตรวจสอบสถานะทรัพยากรคำนวณจากภาระงานที่กำลังประมวลผลอยู่ในระบบจากระยะเวลาการประมวลผลอย่างน้อย5นาที6. A high-performance computing resource management system based on Claim 1, where the Task Monitor (203) monitors the resource status based on the workloads currently being processed in the system from a minimum of 5 minutes processing time. 7.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1ถึง6ข้อใดข้อหนึ่งที่ซึ่งหน่วยตรวจสอบงาน(203)ตรวจสอบสถานะทรัพยากรคำนวณที่มีเหลือในปัจจุบัน(301)จากข้อมูลซื่อหน่วยประมวลผล(302)จำนวนหน่วยประมวลผลกลางที่ใช้ไปกับที่เหลืออยู่แต่ละโหนด(303)ขนาดหน่วยความจำที่ใช้ไปกับที่เหลืออยู่(304)ขนาดหน่วยเก็บข้อมูลที่ใช้ไปแต่ละโหนด(305)ค่าภาระงานที่หน่วยประมวลผลกำลังใช้เพื่อประมวลผลงานในปัจจุบัน(306)และสถานะของหน่วยประมวลผลในปัจจุบัน(307)7. A high-performance computing resource management system based on Claims 1 to 6 wherein the Monitoring Unit (203) checks the status of the currently available compute resource (301) from the processor data ( 302) Number of processors used with each remaining node (303) Size of memory used with remaining (304) Storage size used by each node (305) Workload value at unit The processor is using to process the current job(306) and the current processor state(307). 8.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1ถึง7ข้อใดข้อหนึ่งที่ซึ่งหน่วยตรวจสอบงาน(203)ใช้เกณฑ์การตรวจสอบที่อย่างน้อยประกอบด้วยการร้องขอทรัพยากรคำนวณแบบร้องขอทรัพยากรน้อยกว่าที่ใช้งานจริงระบบทำการแจ้งเตือนไปยังผู้ใช้หรือตัดการประมวลผลโดยอัตโนมัติหรือการร้องขอทรัพยากรน้อยกว่าที่ใช้งานจริงระบบทำการแจ้งเตือนไปยังผู้ใช้งานเท่านั้นไม่ทำการตัดการประมวลผลหากตรงกับเกณฑ์การตรวจสอบดังกล่าวอย่างใดอย่างหนึ่งหรือทั้งสองอย่างหน่วยตรวจสอบงาน(203)จะทำการแสดงผลให้ผู้ดูแลระบบทราบว่างานที่กำลังประมวลผลในระบบไม่มีประสิทธิภาพหรือการร้องขอทรัพยากรได้เต็มประสิทธิภาพ หน้าที่3ของจำนวน3หน้า8. A high-performance computing resource management system based on one of Claims 1 to 7 in which the Task Force (203) uses a review criterion that at least consists of requests for computational resources that request less resources. Actual work, the system automatically notifies the user or cuts the processing, or the request for resources is less than the actual use. The system alerts the user only, does not cut the processing if it matches. Either or both of these audit criteria, the Task Monitor (203) will show the administrator that the tasks being processed in the system are not performing well or the resource requests are performing well. Page 3 of 3 pages 9.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1ถึง8ข้อใดข้อหนึ่งที่ซึ่งระบบแสดงผลสถานะการตรวจสอบจากหน่วยตรวจสอบงาน(203)ในรูปแบบของJob-exclusiveและFreeโดยระบบใช้กับการใช้งาบระบบคลัสเตอร์แบบสาธารณะ19. A high-performance computer resource management system based on claims 1 to 8, where the system displays the status of the monitoring unit (203) in the form of Job-exclusive and Free by the system. with a public cluster system swipe1 0.ระบบบริหารจัดการทรัพยากรเครื่องคอมพิวเตอร์สมรรถนะสูงตามข้อถือสิทธิ1ที่ซึ่งระบบกำหนดค่าความคลาดเคลื่อนเพื่อประเมินประสิทธิภาพการใช้ทรัพยากรของระบบ(Utilization)อยู่ในช่วง(สัญลักษณ์)20%0. High-performance computing resource management system according to claim 1 where the system determines the utilization discrepancy in the (symbol) range of 20%.
TH1803002249U 2018-09-28 High performance computer resource management system TH17652A3 (en)

Publications (2)

Publication Number Publication Date
TH17652C3 true TH17652C3 (en) 2021-04-30
TH17652A3 TH17652A3 (en) 2021-04-30

Family

ID=

Similar Documents

Publication Publication Date Title
JP6114829B2 (en) Real-time optimization of computing infrastructure in virtual environment
CN103309738B (en) User job dispatching method and device
US20170031622A1 (en) Methods for allocating storage cluster hardware resources and devices thereof
WO2017167025A1 (en) Method and device for realizing task scheduling, and computer storage medium
CN104915253B (en) A kind of method and job processor of job scheduling
US20200174844A1 (en) System and method for resource partitioning in distributed computing
Xu et al. Adaptive task scheduling strategy based on dynamic workload adjustment for heterogeneous Hadoop clusters
CN109564528B (en) System and method for computing resource allocation in distributed computing
US20190303308A1 (en) Distributed storage system and method for managing storage access bandwidth for multiple clients
Ivanisenko et al. Survey of major load balancing algorithms in distributed system
JP2020531967A (en) Distributed system Resource allocation methods, equipment, and systems
JP4912927B2 (en) Task allocation apparatus and task allocation method
Cheng et al. Mitigating the negative impact of preemption on heterogeneous mapreduce workloads
CN104102548A (en) Task resource scheduling processing method and task resource scheduling processing system
CN107430526B (en) Method and node for scheduling data processing
CN110727508A (en) Task scheduling system and scheduling method
CN114780253B (en) Big data intelligent analysis system
Stavrinides et al. Task group scheduling in distributed systems
Stavrinides et al. Orchestrating bag-of-tasks applications with dynamically spawned tasks in a distributed environment
CA2631255A1 (en) Scalable scheduling of tasks in heterogeneous systems
Lin et al. {RingLeader}: efficiently Offloading {Intra-Server} Orchestration to {NICs}
Sakthivelmurugan et al. Enhanced load balancing technique in public cloud
CN109189581B (en) Job scheduling method and device
TH17652C3 (en) High performance computer resource management system
Stavrinides et al. Scheduling a time-varying workload of multiple types of jobs on distributed resources