KR101171543B1 - 배치 처리 다중화 방법 - Google Patents

배치 처리 다중화 방법 Download PDF

Info

Publication number
KR101171543B1
KR101171543B1 KR1020100071372A KR20100071372A KR101171543B1 KR 101171543 B1 KR101171543 B1 KR 101171543B1 KR 1020100071372 A KR1020100071372 A KR 1020100071372A KR 20100071372 A KR20100071372 A KR 20100071372A KR 101171543 B1 KR101171543 B1 KR 101171543B1
Authority
KR
South Korea
Prior art keywords
multiplicity
job
temporary
multiplier
execution
Prior art date
Application number
KR1020100071372A
Other languages
English (en)
Other versions
KR20110010577A (ko
Inventor
데쯔후미 쯔까모또
히데유끼 가또
히데끼 이시아이
유끼 다떼이시
다까히로 규마
요조 이또
다께시 후지사와
마사아끼 호소우찌
가즈히꼬 와따나베
Original Assignee
가부시키가이샤 히타치세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히타치세이사쿠쇼 filed Critical 가부시키가이샤 히타치세이사쿠쇼
Publication of KR20110010577A publication Critical patent/KR20110010577A/ko
Application granted granted Critical
Publication of KR101171543B1 publication Critical patent/KR101171543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

복수의 노드에서 병행 처리 등의 다중화 처리를 실행하는 시스템에 있어서, 배치 처리에서의 돌발적인 처리 데이터량의 증가에 대응하는 것, 즉, 이와 같이 데이터량이 증가하게 되면, 미리 정한 다중도(수)에서는, 그 변화에 대응할 수 없다. 이 때문에, 증권 거래 등에서, 특정일에 갑자기 거래 건수가 증가하여, 데이터 처리량이 증가하는 경우에 다 대응할 수 없었다. 전술한 문제를 해결하기 위해서, 본 발명에서는, 배치 잡을 복수의 노드에서 실행할 때에, 그 병행 처리를 포함하는 처리의 다중도를 동적으로 설정하는 것이다. 이에 의해, 보다 상세하게는, 노드의 상황(노드의 성능 및 부하 상황)이나 배치 잡의 입력 파일의 상황에 기초하여 다중도를 설정하는 것이다.

Description

배치 처리 다중화 방법{BATCH PROCESS MULTIPLEXING METHOD}
본 발명은, 소위 배치 처리를 효율적으로 행하는 기술에 관한 것이다. 그 중에서도 특히, 계좌 배치 등의 대량 데이터에 대한 배치 처리를 고속으로 실행하기 위해서, 복수의 노드를 이용하여 배치 잡을 병렬 실행할 때의 최적의 처리의 다중도를 결정하는 기술에 관한 것이다.
종래, 배치 잡의 실행에 대해서는, 특허 문헌 1에 개시되는 기술이 제안되어 있다. 특허 문헌 1에서는, 잡의 실행 순서가 정의된 잡넷에 관한 스크립트 데이터의 입력을 접수하고, 상기 스크립트 데이터에 기초하여, 상기 잡넷의 실행에 이용하는 자원 노드의 할당 요구를 상기 잡넷마다 행함으로써, 그 할당 요구에 따라서 할당된 자원 노드를 상기 잡넷마다 배정하는 것이 기재되어 있다.
[특허 문헌 1] 일본 특개 2008-226181호 공보
배치 처리에서는, 돌발적으로 처리해야 할 데이터량이 증가하는 경우가 존재한다. 예를 들면, 증권업계의 시스템의 과제로서, 투자 신탁의 월말 재투자 처리에서 특정일에 전체 계좌의 처리가 필요로 되거나, 경제 상황에 의해 어느날 갑자기 주식 매매 건수가 증가하거나, IPO(신규 주식 공개)의 집중에 의해 매매 건수가 증가한다고 하는 것에 의해 배치 처리 시간이 증가하는 등의 과제가 있고, 그 결과, 날마다의 배치 처리량의 격심한 변동에 수반되는 배치 처리의 장시간화에 의한 다음날 온라인 개시 시간의 지연에 의해, 고객에 대한 온라인 서비스 제공 시간의 축소로 이어지는 것이나, 장시간화한 배치 처리와 동일 노드 내에서 동시 실행하고 있는 타업무의 배치 처리 등의 처리 시간에도 영향을 주고, 그 결과, 타업무의 온라인 개시도 지연되는 것 등의 과제가 있기 때문에, 날마다의 변동이 발생해도 배치 처리 시간을 균일하게 마치는 것이 필요로 된다.
전술한 문제를 해결하기 위해서, 본 발명에서는, 배치 잡을 복수의 노드에서 실행할 때에, 그 병행 처리를 포함하는 처리의 다중도를 동적으로 설정하는 것이다. 이에 의해, 본 발명에서는, 실행 다중도 및 실행 노드를 유연하게 설정하고, 리소스를 유효 활용함으로써 배치 처리 시간을 단축하는 구조를 제공한다. 특정일 등에서의 배치 처리 건수의 증가 시에 있어서도, 배치 처리를 스케일 아웃하여 처리를 행함으로써, 처리 건수의 변동에 상관없이 처리 시간을 균일하게 하는(비슷하게 하는) 것이 가능하게 된다. 이에 의해, 특정일의 대량 데이터의 배치 처리에 의한 배치 처리 시간의 장시간화에 의한 다음날 온라인 개시 지연 등의 걱정을 미리 제거하는 것이 가능하게 된다.
또한, 배치 처리에서는, 각각 처리의 특성이 있어, CPU 리소스를 필요로 하는 배치 처리, 디스크 리소스를 필요로 하는 배치 처리가 있기 때문에, 본 발명에서는 이용자가 잡 그룹마다 파라미터를 설정함으로써, 실행 다중도의 결정 방식을 2종류로부터 선택할 수 있어, 실행하는 잡의 종류나 입력 데이터의 배치에 따라서 최적의 방식으로 잡의 실행 다중도를 결정하는 것을 가능하게 하고, 보다 배치 시간의 단축을 가능하게 하는 구조를 제공한다.
본 발명에 따르면, 보다 효율적으로 배치 처리를 실행하는 것이 가능하게 된다.
도 1은 본 발명의 일 실시 형태에서의 구성 기기의 전체 구성을 도시한 도면.
도 2는 잡 관리 노드 상의 노드 관리 테이블의 내용을 도시한 도면.
도 3은 잡 관리 노드 상의 서브 잡 관리 테이블의 내용을 도시한 도면.
도 4는 잡 관리 노드 상의 잡 관리 테이블의 내용을 도시한 도면.
도 5는 잡 관리 노드 상의 데이터 배치 정보 테이블의 내용을 도시한 도면.
도 6은 잡 관리 노드 상의 잡 그룹 실행 조건 테이블의 내용을 도시한 도면.
도 7은 잡 관리 노드 상의 잡 그룹 실행 노드 그룹 테이블의 내용을 도시한 도면.
도 8은 본 발명의 일 실시 형태에서의 잡 실행의 플로우를 도시한 도면.
도 9는 서브 잡 동기 방식을 이용한 경우의 다중도 결정의 플로우를 도시한 도면의 전반.
도 10은 서브 잡 동기 방식을 이용한 경우의 다중도 결정의 플로우를 도시한 도면의 후반.
도 11은 서브 잡 병렬 방식을 이용한 경우의 다중도 결정의 플로우를 도시한 도면.
첨부 도면을 참조하여, 본 발명을 실시하기 위한 형태에 대하여 상세하게 설명한다. 이하의 실시 형태는 예시이고, 본 발명은, 하기의 구성에 한정되지 않는다.
또한, 본 설명에서는, 편의상, 배치 처리 프로세스 1개에 대하여, CPU 코어수(204)를 1개 할당하는 설정으로 기술하지만, 물리적인 CPU 코어수에 의존하는 것이 아니라, 노드(201)에 대한 처리 다중도수(CPU 코어수(201))를 임의로 설정하는 것이 가능하다. 멀티 쓰레드 등과 같이 복수 쓰레드로 되는 경우나, 하이퍼 쓰레드를 사용하는 경우에서도 상황에 따라서 임의로 설정 가능하게 된다.
도 1에, 본 발명의 일 실시 형태에서의 시스템 전체의 구성을 도시한다. 본 발명의 실시에서의 시스템은, 클라이언트 노드(101), 잡 관리 노드(102), 잡 실행 노드(103-105)에 의해 구성된다. 이들 구성 기기는 서로 소통이 가능한 상태로 접속되어 있다. 이용자는 이들 구성 기기 중 클라이언트 노드(101)를 통하여, 시스템에 대한 설정을 행하는 것이 가능하다. 구체적으로는, 잡 그룹 실행 조건 테이블(110)의 최소 다중도(242), 최대 다중도(243), 처리 대상 데이터의 개시 키(244), 종료 키(245), 실행 옵션(246)의 지정을 이용자가 행하는 것이 가능하다. 이 경우, 이용자에 의한 클라이언트 노드(101)를 통한 설정의 수단은 불문한다.
다음으로 플로우차트(도 8～도 11)를 참조하여, 본 발명의 실시에서의 처리의 흐름을 설명한다.
우선, 잡 실행 개시 전의 단계에서, 잡 관리 노드(102) 상의 노드 관리 테이블(109), 잡 관리 테이블(108), 데이터 배치 정보 테이블(114), 잡 그룹 실행 조건 테이블(110), 잡 그룹 실행 노드 그룹 테이블(114)의 각 파라미터에는 값이 설정되어 있다. 여기서, 파라미터의 형식, 설정 방법 및 배치 장소는 불문한다.
시각 기동 등 잡 그룹의 개시 조건이 만족되면, 잡 관리 노드(102) 상에서 잡 관리부(106)가 잡 그룹을 기동 개시한다(스텝 301). 이 때의 잡 그룹의 개시 조건은 종래의 잡의 개시 조건과 마찬가지이고, 그 종류로서 시각 기동, 로그ㆍ이벤트 감시, 선행 잡, 파일 작성, 수동 기능 등이 있다. 본 실시 형태에서는, 개시 조건의 종류는 불문한다.
어느 하나의 개시 조건에 의해 잡의 기동이 개시되면, 잡 관리 노드(102) 상의 잡 관리부(106)가 잡 그룹 실행 조건 테이블(110)로부터, 잡 그룹의 최소 다중도(242)ㆍ최대 다중도(243)와 처리 대상 데이터의 개시 키(244), 종료 키(245), 실행 옵션(246)을 취득한다(스텝 302).
다음으로, 잡 관리부(106)가 잡 그룹 실행 노드 그룹 테이블(114)로부터, 개시한 잡 그룹(251)에 대응하는 노드 그룹(252)의 정보를 취득한다(스텝 303).
다음으로, 잡 관리부(106)가 노드 다중도 계산부(107)에 잡 그룹의 최소 다중도(242), 최대 다중도(243), 처리 대상 데이터의 개시 키(244), 종료 키(245), 실행하는 노드 그룹(252)의 정보를 건네주고, 잡 다중도 계산부(107)가 잡 실행 시의 다중도의 계산을 행한다(스텝 304). 노드 다중도 계산부(107)는, 잡 관리부(106)로부터 건네받은 실행 옵션(246)에 의해, 잡 그룹의 다중도의 결정 방식이 서브 잡 동기 방식과 서브 잡 병렬 방식 중 어느 쪽인지를 결정한다(스텝 305).
계속해서, 서브 잡 동기 방식과 서브 잡 병렬 방식 각각에서의, 잡 실행 다중도의 결정 방식에 대하여 설명한다.
우선, 서브 잡 동기 방식에서의 다중도 결정의 처리에 대하여 설명한다. 서브 잡 동기 방식은, 각 잡 실행 노드(103-105)의 CPU 부하 상황에 따라서 처리 다중도를 결정함으로써, 최적의 다중도로 잡을 실행하는 방식이다. 서브 잡 동기 방식에서 우선 임시 다중도가 결정되고, 임시 다중도에 기초하여, 최종적인 다중도가 결정된다. 임시 다중도는 잡 그룹 실행 조건 테이블(110)의 최소 다중도(242)와 최대 다중도(243)의 범위 중에서, 빈 코어수 중 가장 많은 코어수를 점유(이용)하는 다중도이다. 임시 다중도를 기초로 산출하는 다중도는, 각각의 잡 실행 노드(103-105)의 성능을 고려한 후에 산출하는, CPU 리소스를 가장 효율적으로 사용하기 위한 최종적인 다중도이다. 다중도 결정 전에 일단 임시 다중도를 결정함으로써, 각 다중도에서의 처리 성능을 산출하지 않고 최적의 다중도를 구하는 것이 가능하게 되어, 다중도 산출 처리의 단축화가 실현된다.
잡 관리 노드(102)의 노드 다중도 계산부(107)가 계산을 개시하면(스텝 313), 잡 그룹 실행 조건 테이블(110)의 최대 다중도(243)와, 노드 관리 테이블(109)의 빈 코어수(206)의 합계를 비교한다(스텝 315). 비교의 결과, 빈 코어수(206)의 합계가 최대 다중도(243) 이상인 경우, 노드 관리 테이블(109)의 성능비가 높은 노드가 우선적으로 최대 다중도분 빈 코어를 점유한다. 이 경우, 빈 코어수(206)의 합계가 임시 다중도로 된다(스텝 316).
빈 코어수(206)의 합계보다도 최대 다중도(243)쪽이 큰 경우, 잡 그룹 실행 조건 테이블(110)의 최소 다중도(242)와 노드 관리 테이블(109)의 빈 코어수(206)의 합계를 비교한다(스텝 318). 이 비교의 결과, 최소 다중도(242)가 빈 코어수(206)의 합계 이하인 경우, 빈 코어분을 각각 점유하고, 빈 코어수(206)가 임시 다중도로 된다(스텝 317). 최소 다중도(242)가 빈 코어수(206)의 합계보다도 큰 경우, 비어 있는 코어를 점유하고, 노드 관리 테이블(201)의 성능비가 큰 노드를 우선적으로, 최소 다중도분 1노드에 대하여 1다중도씩 할당한다(스텝 320). 이 경우, 임시 다중도는 최소 다중도와 동일한 값으로 된다.
빈 코어수가 0인 경우에는, 노드 다중도 계산부(107)가 노드 관리 테이블(201)의 CPU 할당 방법을 참조하여, 각 노드에 설정되어 있는 할당 방법에 따라서 CPU의 할당을 행한다(스텝 321). CPU 할당 방법이 「타노드」인 경우에는, 타노드에 할당을 행한다(스텝 321). CPU 할당 방법이 「대기」인 경우에는, 빈 코어수가 1 이상으로 될 때까지 대기한다(스텝 320). 이 경우, 그 시점에서 CPU를 점유하고 있는 잡의 실행에는 영향을 주지 않고, 선행 잡이 CPU를 개방하여 빈 코어가 발생할 때까지 대기한다.
이 시점에서, 노드 다중도 계산부(107)는 임시 다중도를 결정한다(스텝 322). 임시 다중도를 결정하면, 노드 다중도 계산부(107)는 임시 다중도에 기초하여 다중도를 결정하기 위한 처리를 개시한다.
우선, 임시 다중도가 최대 다중도(243)와 일치하는지의 여부의 판단을 행한다(스텝 323). 임시 다중도가 최대 다중도(243)와 일치하지 않는 경우, 임시 다중도+1의 다중도로 처리량을 계산한다(스텝 325). 이 처리량이란, 노드 관리 테이블(201) 상의 성능비(203)와 CPU 코어수(204)의 수치로부터 산출되는, 각 노드의 처리 성능을 나타내는 지수이다. 동일한 잡을 처리하는 경우, 처리량이 큰 노드에서 처리를 행하는 쪽이, 처리 시간은 단축된다.
빈 코어수가 마이너스인 경우, 즉 빈 코어수의 합계가 잡의 수를 하회하는 경우에는, (빈 코어수/잡수)라고 하는 계산을 행하고, 계산의 결과를 처리량으로 한다(스텝 324).
처리량을 산출한 후, 임시 다중도의 처리량과 임시 다중도+1의 처리량을 비교한다(스텝 326). 임시 다중도+1의 처리량쪽이 큰 경우에는, 임시 다중도에 +1하고, 다시 임시 다중도가 최대 다중도와 일치하는지의 여부의 판단을 행한다(스텝 325). 이와 같은 처리를 행함으로써, 임시 다중도의 값을 최대 다중도 이하의 범위에서 어디까지 증가시킬지를 결정한다.
마찬가지의 알고리즘을 이용하여, 임시 다중도의 수치를 최소 다중도 이상의 범위에서 어디까지 저하시킬지의 판단을 행한다. 이 때, 임시 다중도와 임시 다중도-1의 처리량을 비교하고(스텝 330), 임시 다중도-1의 처리량이 상회한 경우에는, 임시 다중도에 -1(임시 다중도로부터 1 마이너스함)을 한다(스텝 329).
상기의 알고리즘에 따라서 임시 다중도의 수치를 조정함으로써, 가장 많은 처리량을 처리할 수 있는 다중도를 산출하고, (최종적인) 다중도로서 결정한다(스텝 331). 또한, 여기서의 다중도로서는, 가장 많이가 아니라, 2번째로 많은 것 등으로 하여도 무방하다.
이상의 방법에 의해 다중도를 결정한 후, 노드 다중도 계산부(107)는 잡 관리부(106)에 다중도의 정보를 보낸다.
서브 잡 동기 방식에서는, 각 잡 실행 노드(103-105)의 CPU 사용 상황에 따라서 처리 다중도를 산출함으로써, 최적의 다중도로 잡을 실행하는 방식을 제공한다.
다음으로, 서브 잡 병렬 방식에서의 다중도 결정의 처리에 대하여 설명한다. 서브 잡 병렬 방식은, 잡의 입력 파일이 배치되어 있는 노드를 인식하고, 파일이 배치되어 있는 노드에서 잡을 실행함으로써, 극력 통신 부하가 적은 상태에서 잡을 실행하는 방식을 제공한다. 또한, 여기서 입력 파일의 배치 형식 및 배치 장소는 불문한다.
노드 다중도 계산부(107)가 서브 잡 병렬 방식으로 다중도 계산을 개시하면, 데이터 배치 정보 테이블(112)을 참조하여, 실행하는 잡의 입력 파일의 분할수를 취득한다(스텝 332). 이 분할수가, 잡 실행의 다중도로 된다(스텝 333). 이 때, 각 잡을 실행하는 노드는 처리 대상의 데이터가 배치되어 있는 노드와 일치시킨다. 예를 들면, 키 #1부터 #100의 파일이 배치되어 있는 노드에서는, 키 #1부터 #100의 파일을 대상으로 처리를 행하는 잡을 실행한다.
서브 잡 병렬 방식에서는, 처리 대상의 파일이 배치되어 있는 노드 상에서, 그 파일에 대하여 처리를 행하는 잡을 실행한다. 이에 의해, 다른 노드의 파일에 대하여 처리를 행할 필요가 없게 되어, 잡 실행 시의 통신 부하를 경감하는 것이 가능하게 된다.
다중도를 결정하면, 잡 관리부(106)가 노드 다중도 계산부(107)로부터 각 서브 잡의 실행 정보를 취득하고, 서브 잡 관리 테이블(113)을 작성한다(스텝 308).
잡 관리 노드(102)의 잡 실행 지시부(111)가, 서브 잡 관리 테이블(202)에 기초하여, 각 잡 실행 노드(103-105)에 대하여 잡 실행의 지시를 행한다(스텝 309). 실행의 지시를 받은 각 잡 실행 노드(103-105)는, 건네받은 잡 실행 지시에 기초하여 잡을 실행한다(스텝 310).
잡의 실행이 종료되면, 잡 관리부(106)가 서브 잡 관리 테이블(202) 상의 각 서브 잡의 실행 스테이터스를 갱신한다(스텝 311).
101 : 클라이언트 노드
101, 102 : 잡 관리 노드
102, 103～105 : 잡 실행 노드

Claims (6)

  1. 분산 배치된 복수의 노드를 이용한 배치 잡의 실행에서의 잡의 실행 다중도 결정을, 상기 복수의 노드와 접속된 잡 관리 장치에 의해 행하는 배치 처리 다중화 방법에 있어서,
    상기 배치 잡을 구성하는 잡 그룹마다 실행하는 노드 그룹의 선택을 이용자로부터 접수하고,
    선택된 노드 그룹을 구성하는 상기 노드의 성능 및 부하 상황인 노드의 상황 혹은 상기 배치 잡의 입력 파일 상황을 검지하고,
    상기 이용자에 의해 선택된 실행 다중도 결정 방식인 (1) 서브 잡 동기 방식 내지 (2) 서브 잡 병행 방식 중 어느 하나를 이용하고, 상기 검지된 상기 노드의 상황 혹은 상기 배치 잡의 입력 파일 상황을 이용하여, 상기 배치 잡을 처리하는 상기 노드 그룹을 구성하는 노드의 수를 나타내는 실행 다중도수를 결정하고,
    그 실행 다중도수의 결정을, (1) 상기 서브 잡 동기 방식을 이용할 경우, 미리 정해진 최소 다중도수와 최대 다중도수의 범위 중에서 빈 코어수 중 가장 많은 코어수를 이용하는 다중도수인 임시 다중도수를 가정하고, 가정된 상기 임시 다중도수에 기초하여 상기 실행 다중도수를 결정하고, (2) 상기 서브 잡 병행 방식을 이용할 경우, 상기 실행 다중도수를 입력 파일의 분할수와 같은 값으로 하고,
    결정된 상기 실행 다중도수에 따른 수의 노드를, 상기 노드 그룹으로부터 선택하고,
    선택된 상기 노드에서 상기 배치 잡을 다중화 처리하는 것을 특징으로 하는 배치 처리 다중화 방법.
  2. 제1항에 있어서,
    상기 실행 다중도수의 결정에서는, 상기 서브 잡 동기 방식을 이용할 경우, 상기 임시 다중도수와 상기 최대 다중도수를 비교하고, 그 비교의 결과 일치하지 않을 경우, 상기 임시 다중도수에서의 상기 복수의 노드 각각의 처리 성능인 제1 처리량과 상기 임시 다중도수에 1 가한 다중도수에서의 상기 복수의 노드 각각의 처리 성능인 제2 처리량을 비교하고, 상기 제2 처리량이 큰 경우에는, 상기 임시 다중도수에 1 가한 다중도수와 상기 최대 다중도수를 비교함으로써 임시 다중도수를 상기 최대 다중도수 이하의 범위에서 어디까지 증가시킬지를 결정하는 것을 특징으로 하는 배치 처리 다중화 방법.
  3. 제2항에 있어서,
    상기 실행 다중도수의 결정에서는, 상기 최대 다중도수 이하의 범위에서 어디까지 증가시킬지 결정된 임시 다중도수에 대해서, 그 결정된 임시 다중도수와 상기 최소 다중도수를 비교하고, 그 비교의 결과 일치하지 않을 경우, 상기 결정된 임시 다중도수에서의 상기 복수의 노드 각각의 처리 성능인 제3 처리량과 상기 결정된 임시 다중도수로부터 1 감한 다중도수에서의 상기 복수의 노드 각각의 처리 성능인 제4 처리량을 비교하고, 상기 제4 처리량이 큰 경우에는, 상기 임시 다중도수로부터 1 감한 다중도수와 상기 최소 다중도수를 비교함으로써 임시 다중도수를 상기 최소 다중도수 이상의 범위에서 어디까지 감소시킬지를 결정하는 것을 특징으로 하는 배치 처리 다중화 방법.
  4. 분산 배치된 복수의 노드를 이용한 배치 잡의 실행에서의 잡의 실행 다중도 결정을 행하는 잡 관리 장치로서, 상기 복수의 노드와 접속된 잡 관리 장치에 있어서,
    상기 배치 잡을 구성하는 잡 그룹마다 실행하는 노드 그룹의 선택을 이용자로부터 접수하는 수단과,
    선택된 노드 그룹을 구성하는 상기 노드의 성능 및 부하 상황인 노드의 상황 혹은 상기 배치 잡의 입력 파일 상황을 검지하는 수단과,
    상기 이용자에 의해 선택된 실행 다중도 결정 방식인 (1) 서브 잡 동기 방식 내지 (2) 서브 잡 병행 방식 중 어느 하나를 이용하고, 상기 검지된 상기 노드의 상황 혹은 상기 배치 잡의 입력 파일 상황을 이용하여, 상기 배치 잡을 처리하는 상기 노드 그룹을 구성하는 노드의 수를 나타내는 실행 다중도수를 결정하는 수단과,
    결정된 상기 실행 다중도수에 따른 수의 노드를, 상기 노드 그룹으로부터 선택하는 수단과,
    선택된 상기 노드에서 상기 배치 잡을 다중화 처리하는 수단
    을 포함하고,
    상기 실행 다중도수를 결정하는 수단은, (1) 상기 서브 잡 동기 방식을 이용할 경우, 미리 정해진 최소 다중도수와 최대 다중도수의 범위 중에서 빈 코어수 중 가장 많은 코어수를 이용하는 다중도수인 임시 다중도수를 가정하고, 가정된 상기임시 다중도수에 기초하여 상기 실행 다중도수를 결정하고, (2) 상기 서브 잡 병행 방식을 이용할 경우, 상기 실행 다중도수를 입력 파일의 분할수와 같은 값으로 하는 것을 특징으로 하는 잡 관리 장치.
  5. 제4항에 있어서,
    상기 실행 다중도수를 결정하는 수단은, 상기 서브 잡 동기 방식을 이용할 경우, 상기 임시 다중도수와 상기 최대 다중도수를 비교하고, 그 비교의 결과 일치하지 않을 경우, 상기 임시 다중도수에서의 상기 복수의 노드 각각의 처리 성능인 제1 처리량과 상기 임시 다중도수에 1 가한 다중도수에서의 상기 복수의 노드 각각의 처리 성능인 제2 처리량을 비교하고, 상기 제2 처리량이 큰 경우에는, 상기임시 다중도수에 1 가한 다중도수와 상기 최대 다중도수를 비교함으로써 임시 다중도수를 상기 최대 다중도수 이하의 범위에서 어디까지 증가시킬지를 결정하는 것을 특징으로 하는 잡 관리 장치.
  6. 제5항에 있어서,
    상기 실행 다중도수를 결정하는 수단은, 상기 최대 다중도수 이하의 범위에서 어디까지 증가시킬지 결정된 임시 다중도수에 대해서, 그 결정된 임시 다중도수와 상기 최소 다중도수를 비교하고, 그 비교의 결과 일치하지 않을 경우, 상기 결정된 임시 다중도수에서의 상기 복수의 노드 각각의 처리 성능인 제3 처리량과 상기 결정된 임시 다중도수로부터 1 감한 다중도수에서의 상기 복수의 노드 각각의 처리 성능인 제4 처리량을 비교하고, 상기 제4 처리량이 큰 경우에는, 상기 임시 다중도수로부터 1 감한 다중도수와 상기 최소 다중도수를 비교함으로써 임시 다중도수를 상기 최소 다중도수 이상의 범위에서 어디까지 감소시킬지를 결정하는 것을 특징으로 하는 잡 관리 장치.
KR1020100071372A 2009-07-24 2010-07-23 배치 처리 다중화 방법 KR101171543B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-172674 2009-07-24
JP2009172674A JP4797095B2 (ja) 2009-07-24 2009-07-24 バッチ処理多重化方法

Publications (2)

Publication Number Publication Date
KR20110010577A KR20110010577A (ko) 2011-02-01
KR101171543B1 true KR101171543B1 (ko) 2012-08-06

Family

ID=43516802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100071372A KR101171543B1 (ko) 2009-07-24 2010-07-23 배치 처리 다중화 방법

Country Status (4)

Country Link
US (1) US20110131579A1 (ko)
JP (1) JP4797095B2 (ko)
KR (1) KR101171543B1 (ko)
CN (1) CN101963923A (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5388134B2 (ja) * 2010-08-06 2014-01-15 株式会社日立製作所 計算機システム、及び、移動データ決定方法
US8640137B1 (en) * 2010-08-30 2014-01-28 Adobe Systems Incorporated Methods and apparatus for resource management in cluster computing
CN102497415A (zh) * 2011-03-22 2012-06-13 苏州阔地网络科技有限公司 一种文件批量处理的传输控制方法及系统
CN102226890B (zh) * 2011-06-10 2013-03-20 中国工商银行股份有限公司 一种主机批量作业数据监控方法及装置
JP2013047892A (ja) * 2011-08-29 2013-03-07 Fujitsu Ltd 情報処理装置、スケジューリング方法およびプログラム
WO2013076775A1 (ja) 2011-11-24 2013-05-30 株式会社日立製作所 計算機システム、分割ジョブ処理方法及びプログラム
US10296380B1 (en) * 2016-09-19 2019-05-21 Amazon Technologies, Inc. Distributed computing with adaptive parallelization
CN109766168B (zh) * 2017-11-09 2023-01-17 阿里巴巴集团控股有限公司 任务调度方法和装置、存储介质以及计算设备
JP6996341B2 (ja) * 2018-02-27 2022-01-17 日本電信電話株式会社 見積り装置および見積り方法
US11347564B2 (en) * 2019-04-24 2022-05-31 Red Hat, Inc. Synchronizing batch job status across nodes on a clustered system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165862A (ja) 1997-08-14 1999-03-09 Nec Corp マルチプロセッサ資源分割管理方式
JP2004038226A (ja) 2002-06-28 2004-02-05 Hitachi Ltd Ｐｃクラスタおよびその中間ソフトウエア
JP2006252163A (ja) 2005-03-10 2006-09-21 Fujitsu Ltd 負荷制御装置および負荷制御プログラム
JP2007249445A (ja) 2006-03-15 2007-09-27 Hitachi Ltd クラスタシステムの負荷分散制御方法およびその装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2967999B2 (ja) * 1989-07-06 1999-10-25 富士通株式会社 プロセスの実行多重度制御処理装置
JP3541212B2 (ja) * 1993-12-28 2004-07-07 富士通株式会社 プロセッサ割当て装置
US6393455B1 (en) * 1997-03-28 2002-05-21 International Business Machines Corp. Workload management method to enhance shared resource access in a multisystem environment
JP2973973B2 (ja) * 1997-05-27 1999-11-08 日本電気株式会社 並列計算における動的負荷分散方法、動的負荷分散装置及び動的負荷分散プログラムを記録した記録媒体
JPH1153325A (ja) * 1997-07-31 1999-02-26 Hitachi Ltd 負荷分散方法
US6609131B1 (en) * 1999-09-27 2003-08-19 Oracle International Corporation Parallel partition-wise joins
JP2001160040A (ja) * 1999-12-01 2001-06-12 Nec Corp サーバ多重度制御装置、サーバ多重度制御方法およびサーバ多重度制御プログラムを記録した記録媒体
JP2002014829A (ja) * 2000-06-30 2002-01-18 Japan Research Institute Ltd 並列処理制御システム，方法および並列処理制御のためのプログラムを格納した媒体
JP4197303B2 (ja) * 2004-02-17 2008-12-17 株式会社日立製作所 計算機リソース管理方法及び実施装置並びに処理プログラム
US8335909B2 (en) * 2004-04-15 2012-12-18 Raytheon Company Coupling processors to each other for high performance computing (HPC)
JP2006209165A (ja) * 2005-01-25 2006-08-10 Hitachi Ltd 同時実行多重度調整システム及び方法
JP2006236123A (ja) * 2005-02-25 2006-09-07 Fujitsu Ltd ジョブ分散プログラム、ジョブ分散方法およびジョブ分散装置
JP2007249491A (ja) * 2006-03-15 2007-09-27 Fujitsu Ltd マルチサーバ環境においてバッチジョブを分散させるプログラム、装置、および方法
JP2008226181A (ja) * 2007-03-15 2008-09-25 Fujitsu Ltd 並列実行プログラム、該プログラムを記録した記録媒体、並列実行装置および並列実行方法
US8990820B2 (en) * 2008-12-19 2015-03-24 Microsoft Corporation Runtime task with inherited dependencies for batch processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165862A (ja) 1997-08-14 1999-03-09 Nec Corp マルチプロセッサ資源分割管理方式
JP2004038226A (ja) 2002-06-28 2004-02-05 Hitachi Ltd Ｐｃクラスタおよびその中間ソフトウエア
JP2006252163A (ja) 2005-03-10 2006-09-21 Fujitsu Ltd 負荷制御装置および負荷制御プログラム
JP2007249445A (ja) 2006-03-15 2007-09-27 Hitachi Ltd クラスタシステムの負荷分散制御方法およびその装置

Also Published As

Publication number Publication date
JP4797095B2 (ja) 2011-10-19
CN101963923A (zh) 2011-02-02
KR20110010577A (ko) 2011-02-01
US20110131579A1 (en) 2011-06-02
JP2011028464A (ja) 2011-02-10

Similar Documents

Publication Publication Date Title
KR101171543B1 (ko) 배치 처리 다중화 방법
US8250574B2 (en) Virtual machine management via use of table in which virtual machine information is registered on a time basis
US10031774B2 (en) Scheduling multi-phase computing jobs
EP2309388B1 (en) Network distributed system including an allocation control server and one or more clients carrying out parallel task processing by means of multicore processors.
CN112162865A (zh) 服务器的调度方法、装置和服务器
US20050081208A1 (en) Framework for pluggable schedulers
US20050283786A1 (en) Optimizing workflow execution against a heterogeneous grid computing topology
US9218210B2 (en) Distributed processing system
JP7081514B2 (ja) オートスケール型性能保証システム及びオートスケール型性能保証方法
US11438271B2 (en) Method, electronic device and computer program product of load balancing
CN109960575B (zh) 一种计算能力共享方法、系统及相关设备
JP2012118669A (ja) 負荷分散処理システム及び負荷分散処理方法
JP6778130B2 (ja) 仮想計算機システムおよびそのリソース割当て方法
CN103268247A (zh) 任务执行及调整线程池中保留线程的数量的方法和装置
CN111026519A (zh) 基于分布式的任务优先级调度方法和系统及存储介质
CN114900525A (zh) 一种偏斜数据流的本发明实施例提供的方法及系统
JP2007310749A (ja) サーバリソース提供システム及びサーバリソース提供方法
CN111240824A (zh) 一种cpu资源调度方法及电子设备
CN112000469A (zh) 保证关键微服务性能质量和降低机器功耗的方法及系统
US20110093859A1 (en) Multiprocessor system, multiple threads processing method and program
CN112181498A (zh) 并发控制方法、装置和设备
CN109189581B (zh) 一种作业调度方法和装置
CN111143063A (zh) 任务的资源预约方法及装置
US11275621B2 (en) Device and method for selecting tasks and/or processor cores to execute processing jobs that run a machine
CN115168014A (zh) 一种作业调度方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 8