KR102162872B1 - 멀티 타스크 스케줄링 방법, 시스템, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체 - Google Patents

멀티 타스크 스케줄링 방법, 시스템, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체 Download PDF

Info

Publication number
KR102162872B1
KR102162872B1 KR1020187024858A KR20187024858A KR102162872B1 KR 102162872 B1 KR102162872 B1 KR 102162872B1 KR 1020187024858 A KR1020187024858 A KR 1020187024858A KR 20187024858 A KR20187024858 A KR 20187024858A KR 102162872 B1 KR102162872 B1 KR 102162872B1
Authority
KR
South Korea
Prior art keywords
task
data
synchronization
source
scheduling
Prior art date
Application number
KR1020187024858A
Other languages
English (en)
Other versions
KR20190038750A (ko
Inventor
쥔 푸
Original Assignee
핑안 테크놀로지 (션젼) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 핑안 테크놀로지 (션젼) 컴퍼니 리미티드 filed Critical 핑안 테크놀로지 (션젼) 컴퍼니 리미티드
Publication of KR20190038750A publication Critical patent/KR20190038750A/ko
Application granted granted Critical
Publication of KR102162872B1 publication Critical patent/KR102162872B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

멀티 타스크 스케줄링 방법, 시스템, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체에 관한 것으로, 이 방법은 하나의 데이터 플랫폼과 적어도 하나의 데이터 소스의 제1연결을 구축하며, 이 상기 데이터 플랫폼과 이 애플리케이션 서버의 제2연결을 구축하는 단계와, 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형을 수신하고 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 생성하고,이를 미리 설정된 워크플로 스케줄링 엔진에 릴리즈하는 단계와, 사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신하는 단계와, 상기 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행하는 단계를 포함하고, 본 발명은 API 인터페이스의 스케줄링을 파라미터화하여 데이터 동기화 시 동기화 파라미터를 전송하면 동기화 타스크를 완성한다

Description

멀티 타스크 스케줄링 방법, 시스템, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체
본 발명은 컴퓨터 정보 기술 분야에 관한 것으로, 특히 멀티 타스크 스케줄링 방법, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체에 관한 것이다.
기존의 타스크 스케줄링 인터페이스(예를 들어, oozie web service API)의 설계는 서로 다른 지정된 파일(예를 들어, 런　스크립트, 스케줄링 스크립트 등)을 Hadoop 분산 파일 시스템(Hadoop Distributed File System，HDFS)에 차례대로 배치시켜야 하고, 이런 설계방식은 배치 절차를 거쳐야 하여 편리하지 않다. 따라서, 기존 기술의 타스크 스케줄링 인터페이스의 설계가 불합리하여 개선을 요구한다.
이점을 고려하여, 본 발명은 멀티 타스크 스케줄링 방법, 시스템, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체를 개시하고, API 인터페이스의 스케줄링을 파라미터화하여 데이터 동기화 시 동기화 파라미터를 전송하면 절차 배치 필요 없이 동기화 타스크를 완성한다.
먼저, 상기 목적을 달성하기 위해, 본 발명은 애플리케이션 서버를 개시하고 상기 애플리케이션 서버는 저장장치, 프로세서를 포함하고, 상기 저장 장치에 상기 프로세서 상에서 실행될 수 있는 멀티 타스크 스케줄링 시스템이 저장되고, 상기 멀티 타스크 스케줄링 시스템은 상기 프로세서에 의해 실행되어, 다음과 같은 단계를 구현한다.
하나의 데이터 플랫폼과 적어도 하나의 데이터 소스의 제1연결을 구축하며, 이 상기 데이터 플랫폼과 이 애플리케이션 서버의 제2연결을 구축한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진에 릴리즈한다.
사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신한다.
각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행한다.
또한, 상기 목적을 달성하기 위해, 본 발명은 멀티 타스크 스케줄링 방법을 개시하고, 이 방법은 애플리케이션 서버에 적용되고 상기 방법은 다음과 같은 단계를 포함한다.
하나의 데이터 플랫폼과 적어도 하나의 데이터 소스의 제1연결을 구축하며, 이 상기 데이터 플랫폼과 이 애플리케이션 서버의 제2연결을 구축한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진에 릴리즈한다.
사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신한다.
각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행한다.
상기 타스크 스케줄링 인터페이스 템플릿은 파라미터　구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트를 포함하는 것이 바람직하고, 상기 파라미터　구성 스크립트는 상기 워크플로 스케줄링 엔진에 의해 전송된 동기화 파라미터를 수신하고, 상기 타스크 실행 스크립트는 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화　타스크를 실행하고, 상기 타스크 스케줄링 스크립트는 각 데이터 소스와 대응되는 데이터 동기화 타스크의 실행 순서를 관리한다.
또한, 상기 목적을 달성하기 위해, 본 발명은 컴퓨터 판독 가능한 저장매체를 개시한다. 상기 컴퓨터 판독 가능한 저장매체는 멀티 타스크 스케줄링 시스템이 저장되고 상기 멀티 타스크 스케줄링 시스템은 적어도 하나의 프로세서에 의해 실행되어 다은과 같은 단계를 구현한다.
하나의 데이터 플랫폼과 적어도 하나의 데이터 소스의 제1연결을 구축하며, 이 상기 데이터 플랫폼과 이 애플리케이션 서버의 제2연결을 구축한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진에 릴리즈한다.
사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신한다.
각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행한다.
또한, 상기 목적을 달성하기 위해 본 발명은 멀티 타스크 스케줄링 시스템을 개시하고 상기 멀티 타스크 스케줄링 시스템은 다음과 같은 모듈을 포함한다.
연결모듈, 하나의 데이터 플랫폼과 적어도 하나의 데이터 소스의 제1연결을 구축하며, 이 상기 데이터 플랫폼과 이 애플리케이션 서버의 제2연결을 구축한다.
타스크 릴리즈 모듈, 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진에 릴리즈한다.
스케줄링 모듈, 사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신한다.
실행모듈, 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행한다.
기존의 기술과 비교해 보면, 본 발명에 따른 멀티 타스크 스케줄링 방법, 시스템 및 컴퓨터 판독 가능한 저장매체는 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 자동적으로 생성하며, 동시에 상이한 지정된 파일(예를 들어 파라미터　구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트)을 한꺼번에 하나의 타스크 스케줄링 인터페이스 템플릿에 배치하여 데이터 동기화를 수행할 때, 직접적으로 이 타스크 스케줄링 인터페이스 템플릿을 스케줄링하고 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 템플릿에 송신하여 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 자동적으로 실행하며, 공정의 배분이 없고 멀티 데이터 소스의 데이터 동기화의 자동화가 구현되고, API 인터페이스의 스케줄링을 파라미터화시켜 데이터 동기화 시 동기화 파라미터를 전송하면 동기화 타스크를 완성한다.
도1은 본 발명의 각 실시예에 따른 일 선택적인 어플리케이션 환경의 도면이다.
도2는 도1에서의 애플리케이션 서버의 일 선택적인 하드웨어 아키텍처의 도면이다.
도3은 애플리케이션 서버에서의 멀티 타스크 스케줄링 시스템의 일 실시예의 기능 모듈의 도면이다.
도4는 본 발명에 따른 멀티 타스크 스케줄링 방법의 일 실시예의 실시 절차의 도면이다.
본 발명의 목적 실현, 기능 특점 및 장점에 대해 실시예를 통해 도면을 참조하여 설명하기로 한다.
본 발명의 목적, 기술방안 및 장점을 더욱 명확하게 나타내기 위해 도면을 참조하여 본 발명에 대해 하기와 같이 진일보로 설명하기로 한다. 여기서서 설명하는 구체적인 실시예는 본 발명을 설명하기 위한 것일 뿐 본 발명을 한정하기 위한 것이 아니다. 본 발명의 실시예에 따라 본 영역의 통상의 기술자라면 창조적인 노동이 없는 전제하에 획득된 모든 기타 실시예가 본 발명의 보호범위 안에 포함되는 것은 자명한 것이다.
본 발명에서 언급한 ‘제1’, ‘제2’ 등의 용어는 설명하기 위한 것이고 명시적이나 암시적으로 그의 상대적 중요성을 표현하거나 지시한 기술특징의 수량을 묵시적 명시하는 것으로 이해하면 안된다. 따라서 ‘제1’, ‘제2’ 가 한정된 특징은 적어도 하나의 특징을 포함하는 것을 명시적이나 묵시적으로 표현한다. 한편, 각 실시예 사이의 기술 방안은 서로 결합될 수 있지만, 본 영역의 보통 기술자들은 실현할 수 있는 것을 기초로하며, 기술방안은 결합이 서로 모순하거나 실현할 수 없으면 이런 기술 방안의 결합이 존재하지 않고 본 발명의 포호 범위 안에 포함되지 않다고 판단하게 된다.
본 명세서에 있어서, 용어 "포함하다", "구성하다" 또는 이의 임의 기타 변형은 비 배타성의 포함을 뜻하여 일련의 요소를 포함하는 과정, 방법, 물품 또는 장치는 그런 요소를 포함할 뿐만 아니라 명확하게 열거하지 않은 기타 요소도 포함하거나 이런 과정, 방법, 물품 또는 장치가 고유한 요소를 포함한다. 더 많은 한정이 없는 한 문구 "하나의 ...... 포함한다"에 의해 한정된 요소는 이 요소의 과정, 방법, 물품 또는 장치에는 다른 동일한 요소가 존재한다는 것을 배제하지 않다.
도1을 참조하면, 도1은 본 발명의 각 실시예에 따른 일 선택적인 어플리케이션 환경의 도면이다.
본 실시예에 있어서, 본 발명은 애플리케이션 서버(2), 네트워크(3), 데이터 플랫폼(4), 데이터 소스(5)를 포함하나 이에 한정하지 않은 어플리케이션 환경에 적용된다. 그 중, 상기 애플리케이션 서버(2)는 랙-탑재 서버, 블레이드 서버, 타워형 서버 또는 캐비넷 타입 서버 등 컴퓨터 장치일 수 있고 이 애플리케이션 서버(2)는 독립적인 서버일 수도 있고, 다수의 서버로 구성된 클러스터 서버일 수도 있다. 상기 네트워크(3)는 인트라넷(Intranet), 인터넷(Internet), 이동통신 글로벌 시스템(Global System of Mobile communication，GSM), 광대역 부호 다중 분할 접속(Wideband Code Division Multiple Access，WCDMA), 4G 네트워크, 5G 네트워크, 불루투스(Bluetooth), Wi-Fi 등의 무선 또는 유선 네트워크일 수 있다.
그 중, 상기 애플리케이션 서버(2)는 네트워크(3)를 통해 데이터 플랫폼(4)와 통신연결되고, 상기 데이터 플랫폼(4)은 네트워크(3)를 통해 각 데이터 소스(5)와 각각 통신연결된다. 상기 데이터 플랫폼(4)과 각 데이터 소스(5) 사이에 제1연결(혹은 제1유형 연결이라고 한다)이 구축되어 상기 데이터 플랫폼(4)이 상기 제1연결을 통해 각 데이터 소스(5)과의 데이터 전송 및 상호 작용을 수행한다. 상기 데이터 플랫폼(4)과 애플리케이션 서버(2) 사이에 제2연결(혹은 제2유형 연결이라고 한다)이 구축되어 상기 데이터 플랫폼(4)이 상기 제2연결을 통해 애플리케이션 서버(2)와의 데이터 전송 및 상호 작용을 수행한다.
도2를 참조하면, 도2는 도1에서의 애플리케이션 서버(2)의 일 선택적인 하드웨어 아키텍처의 도면이다. 본 실시예에 있어서, 상기 애플리케이션 서버(2)는 버스 시스템에 의해 서로 통신 연결된 저장장치(21), 프로세서(22), 네트워크 인터페이스(23)를 포함할 수 있으나 이들에 한정하지 않다. 도2에는 모듈(11-13)을 가지는 애플리케이션 서버(2)만 도시하나 모든 도시된 모듈을 실시하는 것을 요구하지 않고 더 많거나 적은 모듈으로 대체하여 실시할 수 있다는 것을 이해하여야 한다.
그 중, 상기 저장장치(21)는 한 종류의 판독 가능한 저장매체를 적어도 포함한다. 상기 판독 가능한 저장매체는 플래시　메모리, 하드 디스크, 멀티미디어 카드, 카드 타입 메모리(예를 들어, SD 또는 DX 메모리 등), 랜덤 액세스 메모리(RAM)，정적 램(SRAM), 판독-전용 기억장치(ROM), 전기적 소거 및 프로그램 가능 읽기 전용 기억 장치(EEPROM), 프로그램 가능 읽기용 기억 장치(PROM), 자기 메모리, 자기 디스크, 시디롬 등을 포함한다. 일부 실시예에 있어서, 상기 저장장치(21)는 상기 애플리케이션 서버(2)의 내부　저장　유닛일 수 있고, 예를 들어, 이 애플리케이션 서버(2)의 하드 디스크 또는 내부 메모리일 수 있다. 다른 일부 실시예에 있어서, 이 저장장치(21)는 상기 애플리케이션 서버(2)의 외부　저장　유닛일 수도 있고, 예를 들어, 이 애플리케이션 서버(2)에 설치된 플러그인형 하드디스크, 스마트 미디어 카드(Smart Media Card, SMC), 시큐어 디지털(Secure Digital, SD) 카드, 플래시 카드(Flash Card)등과 같다. 몰론, 상기 저장장치(21)는 상기 애플리케이션 서버(2)의 내부 저장 유닛을 포함할 뿐만 아니라 외부 저장장치도 포함할 수 있다. 본 실시예에 있어서, 상기 저장장치(21)는 상기 애플리케이션 서버(2)에 설치된 운영　체제 및 다양한 유형의 응용 소프트웨어, 예를 들어, 상기 멀티 타스크 스케줄링 시스템(20)의 프로그램의 코드 등을 저장한다. 또한, 상기 저장장치(11)는 출력되거나 출력될 각 종류의 데이터를 잠시 저장할 수도 있다.
일부 실시예에 있어서, 상기 프로세서(22)는 중앙 처리 장치(Central Processing Unit，CPU), 컨트롤러, 마이크로컨트롤러, 마이크로프로세서, 또는 기타 데이터 처리 칩일 수 있다. 이 프로세서(22)는 상기 애플리케이션 서버(2)의 총체적인 조작을 제어하고, 예를 들어, 상기 애플리케이션 서버(2)와의 데이터 상호 작용 또는 통신과 관련된 제어 및 처리를 수행한다. 본 실시예에 있어서, 상기 프로세서(22)는 저장장치(11)에 저장된 프로그램 코드 또는 처리 데이터를 실행하고, 예를 들어, 상기 멀티 타스크 스케줄링 시스템(20) 등을 실행한다.
상기 네트워크　인터페이스(23)는 무선 네트워크 인터페이스 또는 유선 네트워크 인터페이스를 포함할 수 있고, 이 네트워크　인터페이스(13)는 통상적으로 상기 애플리케이션 서버(2)와 다른 전자 장비 사이에서 통신 연결을 구축한다. 본 실시예에 있어서, 상기 네트워크　인터페이스(23)는 주로 상기 네트워크(3)를 통해 상기 애플리케이션 서버(2)와 상기 데이터 플랫폼(4)을 연결하고 상기 애플리케이션 서버(2)와 상기 데이터 플랫폼(4) 사이에서 데이터 전송로와 통신연결을 구축한다.
여기까지 본 발명의 각 실시예에 따른 어플리케이션 환경과 관련 장비의 하드웨어 구성과 가능을 상세하게 설명하였다. 이하, 어플리케이션 환경과 관련 장비에 기초하여 본 발명의 각 실시예를 설명한다.
먼저, 본 발명은 멀티 타스크 스케줄링 시스템(20)을 개시한다.
도3을 참조하면, 도3은 애플리케이션 서버(2)에서의 멀티 타스크 스케줄링 시스템(20)의 일 실시예의 기능 모듈의 도면이다. 본 실시예에 있어서, 상기 멀티 타스크 스케줄링 시스템(20)은 하나 또는 다수의 모듈로 분할될 수 있는데, 상기 하나 또는 다수의 모듈은 상기 저장장치(21)에 저장되고 하나 또는 다수의 프로세서(본 실시예는 프로세서(22)이다)에 의해 실행되어 본 발명을 구현하도록 한다. 예를 들어, 도3에서 상기 멀티 타스크 스케줄링 시스템(20)은 연결모듈(201), 타스크 릴리즈 모듈(202), 스케줄링 모듈(203), 실행모듈(204)로 분할될 수 있다. 본 발명에서 언급한 기능 모듈은 특정 기능을 수행할 수 있는 일련의 컴퓨터 프로그램 명령 세그먼트를 뜻하고, 상기 멀티 타스크 스케줄링 시스템(20)이 상기 애플리케이션 서버(2)에서의 실행과정을 설명하는 것을 프로그램보다 더 적절한다. 이하, 각 기능 모듈(201-204)의 기능을 상세히 설명하기로 한다.
상기 연결모듈(201)은 하나의 데이터 플랫폼(4)과 적어도 하나의 데이터 소스(5)의 제1연결(혹은 제1유형 연결이라고 한다)을 구축하며, 이 상기 데이터 플랫폼(4)과 애플리케이션 서버(2)(예를 들어, 해석서버)의 제2연결(혹은 제2유형 연결이라고 한다)을 구축한다.
본 실시예에 있어서, 상기 데이터 플랫폼(4)은 Hadoop 데이터 플랫폼을 사용하는 것이 바람직하고, 이 데이터 플랫폼(4)에서의 데이터 전송툴을 통해 이 데이터 플랫폼(4)와 각 데이터 소스(5)의 제1연결을 구축한다. 예를 들어, 상기 데이터 전송장치는 Hadoop에 설치된 Sqoop툴이다. 본 영역의 기술자라면 다른 실시예에서 상기 데이터 플랫폼과 데이터 전송툴이 다른 유형을 채용할 수 있다는 점을 이해하여야 한다.
상기 타스크 릴리즈 모듈(202)은 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블(일부 또는 전부)과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크(혹은 데이터 추출 타스크라고 한다)를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진(예를 들어, oozie 스케줄링 엔진)에 릴리즈한다.
본 실시예에 있어서, 상기 데이터 소스 유형은 제1유형 데이터 소스(예를 들어, MS SQL Server 데이터 소스), 제2유형 데이터 소스(예를 들어, Oracle 데이터 소스), 제3유형 데이터 소스(예를 들어, MySQL 데이터 소스) 등을 포함하나 이에 한정하지 않는 것이 바람직하다. 본 영역의 기술자라면 다른 실시예에서 상기 데이터 소스 유형의 개수는 상이한 데이터 플랫폼의 요구에 따라 추가하거나 감소할 수 있다는 점을 이해하여야 한다. 예를 들어, 사용자가 제1유형 데이터 소스에서의 일부 소스 테이블을 동기화하는 것을 선택할 수 있다.
본 실시예에 있어서, 상기 데이터 소스의 소스 테이블 구성은 각 데이터 소스의 데이터 유형과 포함된 필드 정보 등을 포함하나 이에 한정하지 않는 것이 바람직하다.
본 실시예에 있어서, 상기 애플리케이션 서버(2)에 각 데이터 소스(5)와 대응되는 해석 스크립트 파일이 설치되고 병렬 스케줄링 메커니즘을 통해 상기 데이터 플랫폼(4)에서의 데이터 전송툴을 제어하여 각 해석 스크립트 파일에서의 소스 테이블 구성의 해석 타스크를 병열 실행하도록 하여, 각 데이터 소스의 소스 테이블 구성을 해석하고 상기 제2연결을 통해 해석된 각 데이터 소스의 소스 테이블 구성을 상기 애플리케이션 서버로 리턴한다.
본 실시예에 있어서, 상기 각 데이터 소스와 대응되는 테이블을　생성하는 타스크는 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블(일부 또는 전부)과 각 소스 테이블의 유형에 따라 이 선택된 소스 테이블의 유형과 대응되는 목표 테이블을 생성하는 것을 포함한다. 본 실시예에 있어서, 상기 소스 테이블의 유형은 제1유형 디멘젼테이블(즉, 데이터 양이 작고 관련 배분 시 사용되는 소스 테이블), 제2유형 타스크 테이블(즉, 테이블에서의 데이터는 지속적으로 갱신 및 증가되고 당일에 당일을 제외한 이력 데이터를 갱신한다), 제3유형 명세테이블(즉, 테이블에서의 데이터가 지속적으로 증가되고 당일에 당일을 제외한 이력 데이터를 갱신한지 않다)을 포함하나 이에 한정하지 않은 것이 바람직하다.
구체적으로는, 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제1유형 디멘젼테이블(즉, 데이터 양이 작고 관련 배분 시 사용되는 소스 테이블)이면, 상기 제1유형 디멘젼테이블의 소스 테이블 구성과 대응되는 제1유형 목표테이블을 생성하고, 그 중, 상기 제1유형 목표테이블의 개수는 상기 사용자에 의해 선택된 동기화될 필요가 있는 제1유형 소스 테이블의 개수에 의해 결정된다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제2유형 타스크 테이블(즉, 테이블에서의 데이터는 지속적으로 갱신 및 증가되고 당일에 당일을 제외한 이력 데이터를 갱신한다)이면, 상기 제2유형 타스크 테이블의 소스 테이블 구성과 대응되는 제2유형 목표테이블을 생성하고, 그 중, 상기 제2유형 목표테이블의 개수는 상기 사용자에 의해 선택된 동기화될 필요가 있는 제2유형 소스 테이블의 개수에 의해 결정된다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제3유형 명세테이블(즉, 테이블에서의 데이터가 지속적으로 증가되고 당일에 당일을 제외한 이력 데이터를 갱신한지 않다)이면, 상기 제3유형 명세테이블의 소스 테이블 구성과 대응되는 제3유형 목표테이블을 생성하고, 그 중, 상기 제3유형 목표테이블의 개수는 상기 사용자에 의해 선택된 동기화될 필요가 있는 제3유형 소스 테이블의 개수에 의해 결정된다.
본 실시예에 있어서, 상기 각 데이터 소스와 대응되는 데이터를 생성하는 데이터 동기화 타스크는,
사용자에 의해 선택된 동기화될 필요가 있는 시작 시간과 마감 시간에 따라 각 소스 테이블에서 데이터의 추출을 시작하는 시간 및 데이터의 추출을 정지하는 시간을 결정한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블의 개수 및 동기화된 목표 사용자에 따라 각 타스크에 대한 데이터 동기화 시 필요한 자원배분(예를 들어, CPU, 내부 메모리, 자기　디스크　등)과 자원 관리 노드를 결정하고, 그 중, 상기 자원배분은 테이블의 방식으로 구현될 수 있고 상기 자원 관리 노드는 Hadoop 자원표현모델과 자원 배분 모델에 의해 구현될 수 있다.
상기 동기화될 필요가 있는 소스 테이블과 대응되는 필드와 상기 생성된 각 목표테이블과 대응하는 필드의 대응 관계를 구축하며 소스 테이블과 목표테이블의 해당 필드의 대응 관계에 따라 각 소스 테이블과 대응되는 데이터 추출 타스크를 생성한다.
구체적으로는, 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제1유형 디멘젼테이블이면, 상기 동기화될 필요가 있는 제1유형 디멘젼테이블의 대응 필드와 상기 생성된 각 제1유형 목표테이블의 대응 필드의 대응 관계를 구축하며 제1유형 디멘젼테이블과 제1유형 목표테이블의 대응 필드의 대응 관계에 따라 각 제1유형 디멘젼테이블과 대응되는 데이터 추출 타스크를 생성한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제2유형 타스크 테이블이면, 상기 동기화될 필요가 있는 제2유형 타스크 테이블의 대응 필드와 상기 생성된 각 제2유형 목표테이블의 대응 필드의 대응 관계를 구축하며 제2유형 타스크 테이블과 제2유형 목표테이블의 대응 필드의 대응 관계에 따라 각 제2유형 타스크 테이블과 대응되는 데이터 추출 타스크를 생성한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제3유형 명세테이블이면, 상기 동기화될 필요가 있는 제3유형 명세테이블의 대응 필드와 상기 생성된 각 제3유형 목표테이블의 대응 필드의 대응 관계를 구축하며 제3유형 명세테이블과 제3유형 목표테이블의 대응 필드의 대응 관계에 따라 각 제3유형 명세테이블과 대응되는 데이터 추출 타스크를 생성한다.
상기 스케줄링 모듈(203)은, 사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신한다. 본 실시방식 에 있어서, 상기 지정된 파일 시스템은 Hadoop분산 파일 시스템(Hadoop Distributed File System，HDFS)과 같은 분산 파일 시스템이고, 상기 타스크 스케줄링 인터페이스 템플릿은 oozie web service API(Application Programming Interface, 응용 프로그램 인터페이스)템플릿이다. 그 중, 상기 타스크 스케줄링 인터페이스 템플릿은 상기 지정되 파일 시스템에 미리 배분되다.
본 실시예에 있어서, 상기 동기화 파라미터는 각 타스크에 필요한 자원배분과 자원　관리　노드, 파라미터 동기화의 시작 시간과 마감 시간, 이 동기화 파라미터를 선택하는 사용자이름 등 정보를 포함하나 이에 한정하지 않은 것이 바람직하다.
본 실시예에 있어서, 상기 타스크 스케줄링 인터페이스 템플릿은 파라미터　구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트를 포함하나 이에 한정하지 않은 것이 바람직하다. 그 중, 상기 파라미터　구성 스크립트는 shell스크립트이고 상기 워크플로 스케줄링 엔진에 의해 전송된 동기화 파라미터를 수신한다. 상기 타스크 실행 스크립트는 XML(Extensible Markup Language, 확장성 생성 언어) 스크립트이고 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화　타스크를 실행한다. 상기 타스크 스케줄링 스크립트는 XML 스크립트이고 각 데이터 소스와 대응되는 데이터 동기화 타스크의 실행 순서를 관리한다.
본 발명에 있어서, 상기 타스크 스케줄링 스크립트는 제1유형 디멘젼테이블에서 데이터를 추출하는 제1실행 스크립트와, 제2유형 타스크 테이블에서 데이터를 추출하는 제2실행 스크립트와, 제3유형 명세테이블에서 데이터를 추출하는 제3실행 스크립트를 포함하나 이에 한정하지 않은 것이 바람직하다.
상기 실행모듈(204)은, 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행한다.
본 실시예에 있어서, 상기 데이터 동기화 타스크를 실행하는 것은 다음과 같다.
상기 타스크 스케줄링 인터페이스 템플릿에서 각 데이터 소스와 대응되는 타스크 실행 스크립트를 스케줄링하여 데이터 동기화의 각 타스크에 필요한 자원배분를 회득하고 각 소스 테이블에서 대응 필드와 대응되는 데이터(메타데이터 정보)를 각각 추출하고 추출된 데이터를 각 목표 테이블의 대응 필드에 저장한다.
구체적으로는, 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제1유형 디멘젼테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제1실행 스크립트를 스케줄링하고 각 제1유형 디멘젼테이블에서 대응 필드와 대응되는 제1데이터를 각각 추출하고 추출된 제1데이터를 각 제1유형 목표 테이블의 대응 필드에 각각 저장한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제2유형 타스크테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제2실행 스크립트를 스케줄링하고 각 제2유형 타스크테이블에서 대응 필드와 대응되는 제2데이터를 각각 추출하고 추출된 제2데이터를 각 제2유형 목표 테이블의 대응 필드에 각각 저장한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제3유형 명세테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제3실행 스크립트를 스케줄링하고 각 제3유형 명세테이블에서 대응 필드와 대응되는 제3데이터를 각각 추출하고 추출된 제3데이터를 각 제3유형 목표 테이블의 대응 필드에 각각 저장한다.
다른 실시예에서, 상기 멀티 타스크 스케줄링 시스템(20)은 상기 프로세서(22)에 의해 실행될 때, 다음과 같은 단계를 구현한다.
병렬　스케줄링　메커니즘에 의해 상기 타스크 스케줄링 인터페이스 템플릿에서의 타스크 실행 스크립트를 스케줄링하고 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 실행하며 각 소스 테이블에서 대응 필드와 대응되는 데이터를 각각 추출하고 상기 추출된 데이터를 각 목표 테이블의 대응 필드에 각각 저장한다.
상기 기능 모듈(201-204)에 의해, 본 발명에 따른 멀티 타스크 스케줄링 시스템(20)은 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 자동적으로 생성하며, 동시에 상이한 지정된 파일(예를 들어 파라미터　구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트)을 한꺼번에 하나의 타스크 스케줄링 인터페이스 템플릿에 배분하여 데이터 동기화를 수행할 때, 직접적으로 이 타스크 스케줄링 인터페이스 템플릿을 스케줄링하고 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 템플릿에 송신하여 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 자동적으로 실행하며, 공정의 배분이 없고 멀티 데이터 소스의 데이터 동기화의 자동화가 구현되고, API 인터페이스의 스케줄링을 파라미터화시켜 데이터 동기화 시 동기화 파라미터를 전송하면 동기화 타스크를 완성한다.
또한, 본 발명은 멀티 타스크 스케줄링 방법을 더 개시한다.
도4를 참조하면, 도4는 본 발명에 따른 멀티 타스크 스케줄링 방법의 일 실시예의 실시 절차의 도면이다. 본 실시예에 있어서, 요구에 따라 도4에 도시된 흐름도에서의 단계의 실행 순서가 변화할 수 있고, 어느 단계를 생략할 수 있다.
단계(S41)는 하나의 데이터 플랫폼(4)과 적어도 하나의 데이터 소스(5)의 제1연결(혹은 제1유형 연결이라고 한다)을 구축하며, 이 데이터 플랫폼(4)과 애플리케이션 서버(2)(예를 들어, 해석서버)의 제2연결(혹은 제2유형 연결이라고 한다)을 구축한다.
본 실시예에 있어서, 상기 데이터 플랫폼(4)은 Hadoop 데이터 플랫폼을 사용하는 것이 바람직하고, 이 데이터 플랫폼(4)에서의 데이터 전송툴을 통해 이 데이터 플랫폼(4)와 각 데이터 소스(5)의 제1연결을 구축한다. 예를 들어, 상기 데이터 전송장치는 Hadoop에 설치된 Sqoop툴이다. 본 영역의 기술자라면 다른 실시예에서 상기 데이터 플랫폼과 데이터 전송툴이 다른 유형을 채용할 수 있다는 점을 이해하여야 한다.
단계(S42), 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블(일부 또는 전부)과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크(혹은 데이터 추출 타스크라고 한다)를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진(예를 들어, oozie 스케줄링 엔진)에 릴리즈한다.
본 실시예에 있어서, 상기 데이터 소스 유형은 제1유형 데이터 소스(예를 들어, MS SQL Server 데이터 소스), 제2유형 데이터 소스(예를 들어, Oracle 데이터 소스), 제3유형 데이터 소스(예를 들어, MySQL 데이터 소스) 등을 포함하나 이에 한정하지 않는 것이 바람직하다. 본 영역의 기술자라면 다른 실시예에서 상기 데이터 소스 유형의 개수는 상이한 데이터 플랫폼의 요구에 따라 추가하거나 감소할 수 있다는 점을 이해하여야 한다. 예를 들어, 사용자가 제1유형 데이터 소스에서의 일부 소스 테이블을 동기화하는 것을 선택할 수 있다.
본 실시예에 있어서, 상기 데이터 소스의 소스 테이블 구성은 각 데이터 소스의 데이터 유형과 포함된 필드 정보 등을 포함하나 이에 한정하지 않는 것이 바람직하다.
본 실시예에 있어서, 상기 애플리케이션 서버(2)에 각 데이터 소스(5)와 대응되는 해석 스크립트 파일이 설치되고 병렬 스케줄링 메커니즘을 통해 상기 데이터 플랫폼(4)에서의 데이터 전송툴을 제어하여 각 해석 스크립트 파일에서의 소스 테이블 구성의 해석 타스크를 병열 실행하도록 하여, 각 데이터 소스의 소스 테이블 구성을 해석하고 상기 제2연결을 통해 해석된 각 데이터 소스의 소스 테이블 구성을 상기 애플리케이션 서버로 리턴한다.
본 실시예에 있어서, 상기 각 데이터 소스와 대응되는 테이블을　생성하는 타스크는 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블(일부 또는 전부)과 각 소스 테이블의 유형에 따라 이 선택된 소스 테이블의 유형과 대응되는 목표 테이블을 생성하는 것을 포함한다. 본 실시예에 있어서, 상기 소스 테이블의 유형은 제1유형 디멘젼테이블(즉, 데이터 양이 작고 관련 배분 시 사용되는 소스 테이블), 제2유형 타스크 테이블(즉, 테이블에서의 데이터는 지속적으로 갱신 및 증가되고 당일에 당일을 제외한 이력 데이터를 갱신한다), 제3유형 명세테이블(즉, 테이블에서의 데이터가 지속적으로 증가되고 당일에 당일을 제외한 이력 데이터를 갱신한지 않다)을 포함하나 이에 한정하지 않은 것이 바람직하다.
구체적으로는, 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제1유형 디멘젼테이블(즉, 데이터 양이 작고 관련 배분 시 사용되는 소스 테이블)이면, 상기 제1유형 디멘젼테이블의 소스 테이블 구성과 대응되는 제1유형 목표테이블을 생성하고, 그 중, 상기 제1유형 목표테이블의 개수는 상기 사용자에 의해 선택된 동기화될 필요가 있는 제1유형 소스 테이블의 개수에 의해 결정된다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제2유형 타스크 테이블(즉, 테이블에서의 데이터는 지속적으로 갱신 및 증가되고 당일에 당일을 제외한 이력 데이터를 갱신한다)이면, 상기 제2유형 타스크 테이블의 소스 테이블 구성과 대응되는 제2유형 목표테이블을 생성하고, 그 중, 상기 제2유형 목표테이블의 개수는 상기 사용자에 의해 선택된 동기화될 필요가 있는 제2유형 소스 테이블의 개수에 의해 결정된다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제3유형 명세테이블(즉, 테이블에서의 데이터가 지속적으로 증가되고 당일에 당일을 제외한 이력 데이터를 갱신한지 않다)이면, 상기 제3유형 명세테이블의 소스 테이블 구성과 대응되는 제3유형 목표테이블을 생성하고, 그 중, 상기 제3유형 목표테이블의 개수는 상기 사용자에 의해 선택된 동기화될 필요가 있는 제3유형 소스 테이블의 개수에 의해 결정된다.
본 실시예에 있어서, 상기 각 데이터 소스와 대응되는 데이터를 생선하는 데이터 동기화 타스크는,
사용자에 의해 선택된 동기화될 필요가 있는 시작 시간과 마감 시간에 따라 각 소스 테이블에서 데이터의 추출을 시작하는 시간 및 데이터의 추출을 정지하는 시간을 결정한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블의 개수 및 동기화된 목표 사용자에 따라 각 타스크에 대한 데이터 동기화 시 필요한 자원배분(예를 들어, CPU, 내부 메모리, 자기　디스크　등)과 자원 관리 노드를 결정하고, 그 중, 상기 자원배분은 테이블의 방식으로 구현될 수 있고 상기 자원 관리 노드는 Hadoop 자원표현모델과 자원 배분 모델에 의해 구현될 수 있다.
상기 동기화될 필요가 있는 소스 테이블과 대응되는 필드와 상기 생성된 각 목표테이블과 대응하는 필드의 대응 관계를 구축하며 소스 테이블과 목표테이블의 해당 필드의 대응 관계에 따라 각 소스 테이블과 대응되는 데이터 추출 타스크를 생성한다.
구체적으로는, 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제1유형 디멘젼테이블이면, 상기 동기화될 필요가 있는 제1유형 디멘젼테이블의 대응 필드와 상기 생성된 각 제1유형 목표테이블의 대응 필드의 대응 관계를 구축하며 제1유형 디멘젼테이블과 제1유형 목표테이블의 대응 필드의 대응 관계에 따라 각 제1유형 디멘젼테이블과 대응되는 데이터 추출 타스크를 생성한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제2유형 타스크 테이블이면, 상기 동기화될 필요가 있는 제2유형 타스크 테이블의 대응 필드와 상기 생성된 각 제2유형 목표테이블의 대응 필드의 대응 관계를 구축하며 제2유형 타스크 테이블과 제2유형 목표테이블의 대응 필드의 대응 관계에 따라 각 제2유형 타스크 테이블과 대응되는 데이터 추출 타스크를 생성한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제3유형 명세테이블이면, 상기 동기화될 필요가 있는 제3유형 명세테이블의 대응 필드와 상기 생성된 각 제3유형 목표테이블의 대응 필드의 대응 관계를 구축하며 제3유형 명세테이블과 제3유형 목표테이블의 대응 필드의 대응 관계에 따라 각 제3유형 명세테이블과 대응되는 데이터 추출 타스크를 생성한다.
단계(S43), 사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신한다. 본 실시방식 에 있어서, 상기 지정된 파일 시스템은 Hadoop분산 파일 시스템(Hadoop Distributed File System，HDFS)과 같은 분산 파일 시스템이고, 상기 타스크 스케줄링 인터페이스 템플릿은 oozie web service API(Application Programming Interface, 응용 프로그램 인터페이스)템플릿이다. 그 중, 상기 타스크 스케줄링 인터페이스 템플릿은 상기 지정되 파일 시스템에 미리 배분되다.
본 실시예에 있어서, 상기 동기화 파라미터는 각 타스크에 필요한 자원배분과 자원　관리　노드, 파라미터 동기화의 시작 시간과 마감 시간, 이 동기화 파라미터를 선택하는 사용자이름 등 정보를 포함하나 이에 한정하지 않은 것이 바람직하다.
본 실시예에 있어서, 상기 타스크 스케줄링 인터페이스 템플릿은 파라미터　구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트를 포함하나 이에 한정하지 않은 것이 바람직하다. 그 중, 상기 파라미터　구성 스크립트는 shell스크립트이고 상기 워크플로 스케줄링 엔진에 의해 전송된 동기화 파라미터를 수신한다. 상기 타스크 실행 스크립트는 XML(Extensible Markup Language, 확장성 생성 언어) 스크립트이고 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 각 데이터 소스와 대응되는 테이블　생성 타스크와 데이터 동기화　타스크를 실행한다. 상기 타스크 스케줄링 스크립트는 XML 스크립트이고 각 데이터 소스와 대응되는 데이터 동기화 타스크의 실행 순서를 관리한다.
본 발명에 있어서, 상기 타스크 스케줄링 스크립트는 제1유형 디멘젼테이블에서 데이터를 추출하는 제1실행 스크립트와, 제2유형 타스크 테이블에서 데이터를 추출하는 제2실행 스크립트와, 제3유형 명세테이블에서 데이터를 추출하는 제3실행 스크립트를 포함하나 이에 한정하지 않은 것이 바람직하다.
단계(S44), 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행한다.
본 실시예에 있어서, 상기 데이터 동기화 타스크를 실행하는 것은 다음과 같다.
상기 타스크 스케줄링 인터페이스 템플릿에서 각 데이터 소스와 대응되는 타스크 실행 스크립트를 스케줄링하여 데이터 동기화의 각 타스크에 필요한 자원배분를 회득하고 각 소스 테이블에서 대응 필드와 대응되는 데이터(메타데이터 정보)를 각각 추출하고 추출된 데이터를 각 목표 테이블의 대응 필드에 저장한다.
구체적으로는, 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제1유형 디멘젼테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제1실행 스크립트를 스케줄링하고 각 제1유형 디멘젼테이블에서 대응 필드와 대응되는 제1데이터를 각각 추출하고 추출된 제1데이터를 각 제1유형 목표 테이블의 대응 필드에 각각 저장한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제2유형 타스크테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제2실행 스크립트를 스케줄링하고 각 제2유형 타스크테이블에서 대응 필드와 대응되는 제2데이터를 각각 추출하고 추출된 제2데이터를 각 제2유형 목표 테이블의 대응 필드에 각각 저장한다.
사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형은 제3유형 명세테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제3실행 스크립트를 스케줄링하고 각 제3유형 명세테이블에서 대응 필드와 대응되는 제3데이터를 각각 추출하고 추출된 제3데이터를 각 제3유형 목표 테이블의 대응 필드에 각각 저장한다.
다른 실시예에서, 상기 방법은 다음과 같은 단계를 더 포함한다.
병렬　스케줄링　메커니즘에 의해 상기 타스크 스케줄링 인터페이스 템플릿에서의 타스크 실행 스크립트를 스케줄링하고 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 실행하며 각 소스 테이블에서 대응 필드와 대응되는 데이터를 각각 추출하고 상기 추출된 데이터를 각 목표 테이블의 대응 필드에 각각 저장한다.
상기 기능 단계S41-S44에 의해, 본 발명에 따른 멀티 타스크 스케줄링 시스템(20)은 사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 자동적으로 생성하며, 동시에 상이한 지정된 파일(예를 들어 파라미터　구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트)을 한꺼번에 하나의 타스크 스케줄링 인터페이스 템플릿에 배분하여 데이터 동기화를 수행할 때, 직접적으로 이 타스크 스케줄링 인터페이스 템플릿을 스케줄링하고 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 템플릿에 송신하여 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 자동적으로 실행하며, 공정의 배분이 없고 멀티 데이터 소스의 데이터 동기화의 자동화가 구현되고, API 인터페이스의 스케줄링을 파라미터화시켜 데이터 동기화 시 동기화 파라미터를 전송하면 동기화 타스크를 완성한다.
또한, 상기 목적을 달성하기 위해, 본 발명은 컴퓨터 판독 가능한 저장매체(예를 들어, ROM/RAM, 디스크, 광 디스크)를 더 개시하고, 상기 컴퓨터 판독 가능한 저장매체는 멀티 타스크 스케줄링 시스템(20)이 저장되고 상기 멀티 타스크 스케줄링 시스템(20)은 적어도 하나의 프로세서(22)에 의해 실행되어 적어도 하나의 프로세서(22)가 상기 멀티 타스크 스케줄링 방법의 당계를 실행한다.
본 기술분야의 당업자에게 있어서 상기와 같은 실시방식에 대한 설명을 통해 상기 실시예 방법이 소프트웨어와 필요하고 통용한 하드웨어 플랫폼으로 구현될 수 있으며 몰론 하드웨어를 통해 구현될 수 있지만 대부분의 경우에서 전자가 바람직한 실시방식임은 자명한 것이다. 이런 이해에 기초하여 본 발명의 기술방안 본질적으로 또는 종래 기술에 공헌할 부분은 소프트웨어 상품으로 구현될 수 있고 이 컴퓨터 소프트웨어 상품은 허나의 저장매체(예를 들어, ROM/RAM, 자기 디스크, 광 디스크)에 저장되고 여러 명령을 포함하여 하나의 단말기장치(휴대폰, 컴퓨터, 서버, 에어컨, 네트워크 장비 등)를 통해 본 발명에 따른 각각의 실시예의 방법을 수행한다.
상기와 같은 실시예는 본 발명의 바람직한 실시예로서 본 발명에 대해 한정하고자 하는 것이 아니다. 상기와 같은 본 발명에 따른 실시예의 순번은 설명하기 위한 것일 뿐 실시예의 우열을 가리기 위한 것이 아니다. 또한, 흐름도에서 논리 순서를 나타내지만 어떤 경우에서 여기의 순서와 다르게 상기 도시되거나 설명된 단계를 수행한다.
본 영역의 기술자들은 본 발명의 범위와 실질을 벗지 않고 여러 가지의 변형방안으로 본 발명을 이룰 수 있으며, 예를 들어, 한 실시예의 특징으로서 다른 실시예에 적용되어 또 다른 실시예를 얻을 수 있다. 본 발명의 기술사상에서 임의 수정, 등가치환, 개진은 모두 본 발명의 특허보호범위내에 포함된다.

Claims (20)

  1. 애플리케이션 서버에 있어서, 상기 애플리케이션 서버는 저장장치, 프로세서를 포함하고, 상기 저장 장치에 상기 프로세서 상에서 실행될 수 있는 멀티 타스크 스케줄링 프로그램이 저장되고, 상기 멀티 타스크 스케줄링 프로그램은 상기 프로세서에 의해 실행되어,
    하나의 데이터 플랫폼과 적어도 하나의 데이터 소스의 제1연결을 구축하며, 이 상기 데이터 플랫폼과 이 애플리케이션 서버의 제2연결을 구축하는 단계와,
    사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진에 릴리즈하는 단계와,
    사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신하는 단계와,
    각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행하는 단계를 구현하되,
    상기 타스크 스케줄링 인터페이스 템플릿은 파라미터 구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트를 포함하고, 상기 파라미터 구성 스크립트는 상기 워크플로 스케줄링 엔진에 의해 전송된 동기화 파라미터를 수신하고, 상기 타스크 실행 스크립트는 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 실행하고, 상기 타스크 스케줄링 스크립트는 각 데이터 소스와 대응되는 데이터 동기화 타스크의 실행 순서를 관리하는 것을 특징으로 하는 애플리케이션 서버.
  2. 삭제
  3. 제1항에 있어서,
    상기 타스크 스케줄링 스크립트는 제1유형 디멘젼테이블에서 데이터를 추출하는 제1실행 스크립트와, 제2유형 타스크 테이블에서 데이터를 추출하는 제2실행 스크립트와, 제3유형 명세테이블에서 데이터를 추출하는 제3실행 스크립트를 포함하는 것을 특징으로 하는 애플리케이션 서버.
  4. 제1항 또는 제3항에 있어서,
    상기 데이터 동기화 타스크를 실행하는 단계는,
    상기 타스크 스케줄링 인터페이스 템플릿에서 각 데이터 소스와 대응되는 타스크 실행 스크립트를 스케줄링하여 데이터 동기화의 각 타스크에 필요한 자원배분을 획득하고 각 소스 테이블에서 대응 필드와 대응되는 데이터를 각각 추출하고 추출된 데이터를 각 목표 테이블의 대응 필드에 저장하는 단계를 포함하는 것을 특징으로 하는 애플리케이션 서버.
  5. 제4항에 있어서,
    상기 데이터 동기화 타스크를 실행하는 단계는,
    사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제1유형 디멘젼테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제1실행 스크립트를 스케줄링하고 각 제1유형 디멘젼테이블에서 대응 필드와 대응되는 제1데이터를 각각 추출하고 추출된 제1데이터를 각 제1유형 목표 테이블의 대응 필드에 각각 저장하는 것과,
    사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제2유형 타스크테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제2실행 스크립트를 스케줄링하고 각 제2유형 타스크테이블에서 대응 필드와 대응되는 제2데이터를 각각 추출하고 추출된 제2데이터를 각 제2유형 목표 테이블의 대응 필드에 각각 저장하는 것과,
    사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블 유형이 제3유형 명세테이블이면 상기 타스크 스케줄링 인터페이스 템플릿에서의 제3실행 스크립트를 스케줄링하고 각 제3유형 명세테이블에서 대응 필드와 대응되는 제3데이터를 각각 추출하고 추출된 제3데이터를 각 제3유형 목표 테이블의 대응 필드에 각각 저장하는 것을 포함하는 것을 특징으로 하는 애플리케이션 서버.
  6. 애플리케이션 서버에서 멀티 타스크를 스케줄링하는 방법에 있어서,
    하나의 데이터 플랫폼과 적어도 하나의 데이터 소스의 제1연결을 구축하며, 이 상기 데이터 플랫폼과 이 애플리케이션 서버의 제2연결을 구축하는 단계와,
    사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진에 릴리즈하는 단계와,
    사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신하는 단계와,
    각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행하는 단계를 구현하되,
    상기 타스크 스케줄링 인터페이스 템플릿은 파라미터 구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트를 포함하고, 상기 파라미터 구성 스크립트는 상기 워크플로 스케줄링 엔진에 의해 전송된 동기화 파라미터를 수신하고, 상기 타스크 실행 스크립트는 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 실행하고, 상기 타스크 스케줄링 스크립트는 각 데이터 소스와 대응되는 데이터 동기화 타스크의 실행 순서를 관리하는 것을 특징으로 하는 멀티 타스크 스케줄링 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 타스크 스케줄링 스크립트는 제1유형 디멘젼테이블에서 데이터를 추출하는 제1실행 스크립트와, 제2유형 타스크 테이블에서 데이터를 추출하는 제2실행 스크립트와, 제3유형 명세테이블에서 데이터를 추출하는 제3실행 스크립트를 포함하는 것을 특징으로 하는 멀티 타스크 스케줄링 방법.
  9. 제6항 또는 제8항에 있어서,
    상기 데이터 동기화 타스크를 실행하는 단계는,
    상기 타스크 스케줄링 인터페이스 템플릿에서 각 데이터 소스와 대응되는 타스크 실행 스크립트를 스케줄링하여 데이터 동기화의 각 타스크에 필요한 자원배분을 획득하고 각 소스 테이블에서 대응 필드와 대응되는 데이터를 각각 추출하고 추출된 데이터를 각 목표 테이블의 대응 필드에 저장하는 단계를 포함하는 것을 특징으로 하는 멀티 타스크 스케줄링 방법.
  10. 삭제
  11. 컴퓨터 판독 가능한 저장매체에 있어서, 상기 컴퓨터 판독 가능한 저장매체는 멀티 타스크 스케줄링 프로그램이 저장되고 상기 멀티 타스크 스케줄링 프로그램은 적어도 하나의 프로세서에 의해 실행되어,
    하나의 데이터 플랫폼과 적어도 하나의 데이터 소스의 제1연결을 구축하며, 이 상기 데이터 플랫폼과 이 애플리케이션 서버의 제2연결을 구축하는 단계와,
    사용자에 의해 선택된 동기화될 필요가 있는 소스 테이블과 데이터 소스 유형을 수신하고 미리 해석된 각 데이터 소스의 소스 테이블 구성에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 생성하고, 상기 생성된 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 미리 설정된 워크플로 스케줄링 엔진에 릴리즈하는 단계와,
    사용자에 의해 선택된 동기화 시작 시간이 될 때 이 미리 설정된 워크플로 스케줄링 엔진에 의해 지정된 파일 시스템에서 미리 설치된 타스크 스케줄링 인터페이스 템플릿을 스케줄링하며, 이 미리 설정된 워크플로 스케줄링 엔진에 의해 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터를 상기 타스크 스케줄링 인터페이스 모듈에 송신하는 단계와,
    각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 상기 타스크 스케줄링 인터페이스 템플릿에서의 대응되는 타스크 실행 스크립트를 스케줄링하여 각 데이터 소스와 대응되는 테이블 생성 및 데이터 동기화 타스크를 실행하는 단계를 구현하되,
    상기 타스크 스케줄링 인터페이스 템플릿은 파라미터 구성 스크립트, 타스크 실행 스크립트, 타스크 스케줄링 스크립트를 포함하고, 상기 파라미터 구성 스크립트는 상기 워크플로 스케줄링 엔진에 의해 전송된 동기화 파라미터를 수신하고, 상기 타스크 실행 스크립트는 각 데이터 소스와 대응되는 데이터 동기화 타스크의 동기화 파라미터에 따라 각 데이터 소스와 대응되는 테이블 생성 타스크와 데이터 동기화 타스크를 실행하고, 상기 타스크 스케줄링 스크립트는 각 데이터 소스와 대응되는 데이터 동기화 타스크의 실행 순서를 관리하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020187024858A 2017-06-25 2017-08-31 멀티 타스크 스케줄링 방법, 시스템, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체 KR102162872B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710490454.5A CN107766132B (zh) 2017-06-25 2017-06-25 多任务调度方法、应用服务器及计算机可读存储介质
CN201710490454.5 2017-06-25
PCT/CN2017/100052 WO2019000630A1 (zh) 2017-06-25 2017-08-31 多任务调度方法、系统、应用服务器及计算机可读存储介质

Publications (2)

Publication Number Publication Date
KR20190038750A KR20190038750A (ko) 2019-04-09
KR102162872B1 true KR102162872B1 (ko) 2020-10-08

Family

ID=61264944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187024858A KR102162872B1 (ko) 2017-06-25 2017-08-31 멀티 타스크 스케줄링 방법, 시스템, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체

Country Status (7)

Country Link
US (1) US11061925B2 (ko)
EP (1) EP3454209A4 (ko)
JP (1) JP6695984B2 (ko)
KR (1) KR102162872B1 (ko)
CN (1) CN107766132B (ko)
AU (1) AU2017409830B2 (ko)
WO (1) WO2019000630A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763341B (zh) * 2018-05-14 2023-07-25 中国平安人寿保险股份有限公司 电子装置、自动化建表方法及存储介质
CN110866062B (zh) * 2018-08-09 2023-11-24 菜鸟智能物流控股有限公司 基于分布式集群的数据同步方法以及装置
CN109684053B (zh) * 2018-11-05 2023-08-01 广东岭南通股份有限公司 大数据的任务调度方法和系统
CN109614446A (zh) * 2018-11-23 2019-04-12 金色熊猫有限公司 数据同步方法、装置、电子设备及存储介质
CN109542920B (zh) * 2018-11-23 2021-11-19 泰康保险集团股份有限公司 一种数据传输方法、装置、介质和电子设备
CN110209652B (zh) * 2019-05-20 2024-02-02 平安科技（深圳）有限公司 数据表迁移方法、装置、计算机设备和存储介质
CN110780937B (zh) * 2019-09-16 2023-12-08 腾讯大地通途（北京）科技有限公司 任务发布方法、装置、计算机可读存储介质及设备
CN110716987B (zh) * 2019-10-18 2023-06-20 浪潮软件股份有限公司 一种同步任务异步执行的方法和调度系统
CN111708750A (zh) * 2019-12-27 2020-09-25 山东鲁能软件技术有限公司 一种基于大数据平台存储适配方法，系统，设备及可读存储介质
CN111177247B (zh) * 2019-12-30 2023-10-20 腾讯科技（深圳）有限公司 一种数据转换的方法、装置及存储介质
CN111324434B (zh) * 2020-02-04 2023-03-21 支付宝(杭州)信息技术有限公司 计算任务的配置方法、装置及执行系统
CN111258742B (zh) * 2020-02-17 2023-08-04 杭州依图医疗技术有限公司 一种数据同步的方法、系统、计算设备及存储介质
KR102298342B1 (ko) * 2020-05-11 2021-09-06 주식회사제이앤케이씨 정보 연동 시스템 및 정보 연동 방법
CN111625331B (zh) * 2020-05-20 2023-06-16 拉扎斯网络科技（上海）有限公司 任务调度方法、装置、平台、服务器及存储介质
US11113105B1 (en) * 2020-06-09 2021-09-07 Infosys Limited Computer implemented system and method for generating platform agnostic digital worker
CN111913791B (zh) * 2020-07-02 2023-10-13 北京和瑞精湛医学检验实验室有限公司 任务调度方法、装置、设备和计算机可读存储介质
CN113760240B (zh) * 2020-09-02 2024-06-14 北京沃东天骏信息技术有限公司 一种生成数据模型的方法和装置
CN112487090A (zh) * 2020-11-30 2021-03-12 乐刷科技有限公司 数据同步方法、数据展示平台及计算机可读存储介质
CN112597242B (zh) * 2020-12-16 2023-06-06 四川新网银行股份有限公司 一种基于涉及批量任务的应用系统数据切片的抽取方法
CN112905339B (zh) * 2021-02-08 2024-02-13 中国工商银行股份有限公司 任务调度执行方法、装置及系统
CN112925622A (zh) * 2021-02-26 2021-06-08 北信源系统集成有限公司 系统定时任务处理方法、装置、电子设备及存储介质
CN113238846A (zh) * 2021-05-20 2021-08-10 浙江网商银行股份有限公司 任务调度的方法以及装置
KR102566983B1 (ko) * 2021-06-01 2023-08-14 성균관대학교산학협력단 스케줄러 기반의 워크플로우 프로세스 자동화 모델 장치
CN113220694A (zh) * 2021-06-02 2021-08-06 中国农业银行股份有限公司 数据表的处理方法、装置、服务器及存储介质
CN113296915B (zh) * 2021-06-18 2023-07-18 瀚云科技有限公司 一种基于工业互联网平台的任务生成方法及系统
CN113449035B (zh) * 2021-06-29 2024-06-04 平安健康保险股份有限公司 数据同步方法、装置、计算机设备及可读存储介质
CN113918636B (zh) * 2021-10-21 2024-04-19 中通服公众信息产业股份有限公司 一种基于etl的数据处理量分析方法
WO2023101610A2 (en) * 2021-12-01 2023-06-08 Shopee IP Singapore Private Limited Device and method for synchronizing data between data sources
CN115834605B (zh) * 2023-02-20 2023-05-12 塔比星信息技术(深圳)有限公司 数据采集方法、装置、设备及存储介质
CN116860227B (zh) * 2023-07-12 2024-02-09 北京东方金信科技股份有限公司 一种基于大数据etl脚本编排的数据开发系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999052047A1 (en) 1998-04-07 1999-10-14 Sage Implementations, L.L.C. Method and system for migrating data
KR100491541B1 (ko) 2003-08-01 2005-05-25 니트젠테크놀러지스 주식회사 네트웍 환경에서의 컨텐츠 동기화 시스템 및 동기화 방법
US20120265726A1 (en) 2011-04-18 2012-10-18 Infosys Limited Automated data warehouse migration
US20130318497A1 (en) 2001-09-28 2013-11-28 Oracle International Corporation Infrastructure for the automation of the assembly of schema maintenance scripts
US20150019478A1 (en) * 2013-07-09 2015-01-15 Oracle International Corporation Dynamic migration script management

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865574B1 (en) * 2003-10-09 2011-01-04 Sprint Communications Company L.P. System for processing data retrieved from an information service layer
EP2341431A1 (en) * 2004-03-13 2011-07-06 Adaptive Computing Enterprises, Inc. System and method of providing a self-optimizing reservation in space of compute resources
CN102460428A (zh) * 2009-06-05 2012-05-16 惠普开发有限公司 用于表示与web服务的用户交互的系统和方法
JP4959774B2 (ja) * 2009-11-30 2012-06-27 インターナショナル・ビジネス・マシーンズ・コーポレーション アプリケーション生成システム、方法及びプログラム
CN102339323B (zh) * 2011-11-11 2015-12-16 江苏鸿信系统集成有限公司 一种针对db2数据仓库进行数据抽取、调度及展现的方法
WO2014043416A1 (en) * 2012-09-12 2014-03-20 Genesys Telecommunications Laboratories, Inc. System and method for dynamic configuration of contact centers via templates
JP2014106907A (ja) * 2012-11-29 2014-06-09 Ricoh Co Ltd 情報処理装置およびプログラム
US9607020B1 (en) * 2013-09-17 2017-03-28 Amazon Technologies, Inc. Data migration system
CN105095327A (zh) * 2014-05-23 2015-11-25 深圳市珍爱网信息技术有限公司 一种分布式etl系统及调度方法
CN104317843B (zh) * 2014-10-11 2017-08-25 上海瀚之友信息技术服务有限公司 一种数据同步etl系统
CN104410875B (zh) * 2014-11-25 2018-08-24 上海赛特斯信息科技股份有限公司 实现iptv盒端业务零配置自动开通的系统及方法
CN106156165A (zh) * 2015-04-16 2016-11-23 阿里巴巴集团控股有限公司 异构数据源之间的数据同步方法和装置
CN105045602B (zh) * 2015-08-24 2019-07-23 北京金山安全软件有限公司 一种构建Hadoop应用开发框架的方法、装置及电子装置
CN106528070B (zh) * 2015-09-15 2019-09-03 阿里巴巴集团控股有限公司 一种数据表生成方法及设备
US20170098180A1 (en) * 2015-10-05 2017-04-06 Yahoo! Inc. Method and system for automatically generating and completing a task
US10620974B2 (en) * 2017-02-13 2020-04-14 Microsoft Technology Licensing, Llc Gallery control with dynamically determined control template replica sizes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999052047A1 (en) 1998-04-07 1999-10-14 Sage Implementations, L.L.C. Method and system for migrating data
US20130318497A1 (en) 2001-09-28 2013-11-28 Oracle International Corporation Infrastructure for the automation of the assembly of schema maintenance scripts
KR100491541B1 (ko) 2003-08-01 2005-05-25 니트젠테크놀러지스 주식회사 네트웍 환경에서의 컨텐츠 동기화 시스템 및 동기화 방법
US20120265726A1 (en) 2011-04-18 2012-10-18 Infosys Limited Automated data warehouse migration
US20150019478A1 (en) * 2013-07-09 2015-01-15 Oracle International Corporation Dynamic migration script management

Also Published As

Publication number Publication date
WO2019000630A1 (zh) 2019-01-03
KR20190038750A (ko) 2019-04-09
CN107766132B (zh) 2019-03-15
AU2017409830B2 (en) 2019-10-03
EP3454209A1 (en) 2019-03-13
JP6695984B2 (ja) 2020-05-20
AU2017409830A1 (en) 2019-01-17
US20210124757A1 (en) 2021-04-29
CN107766132A (zh) 2018-03-06
JP2019523462A (ja) 2019-08-22
EP3454209A4 (en) 2020-01-01
US11061925B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
KR102162872B1 (ko) 멀티 타스크 스케줄링 방법, 시스템, 애플리케이션 서버 및 컴퓨터 판독 가능한 저장매체
CN110768833B (zh) 基于kubernetes的应用编排部署方法及装置
CN107689982B (zh) 多数据源数据同步方法、应用服务器及计算机可读存储介质
CN108229686B (zh) 模型训练、预测方法、装置、电子设备及机器学习平台
WO2018161799A1 (zh) 一种云应用部署方法和系统
CN103412768A (zh) 一种基于脚本程序自动化部署Zookeeper集群的方法
WO2020015191A1 (zh) 业务规则的发布管理方法、电子装置及可读存储介质
CN104216785A (zh) 通用策略任务系统及其实现方法
CN103679401A (zh) 一种流程控制方法、服务器、客户端及系统
US9921882B2 (en) Information processing system, deployment method, processing device, and deployment device
CN109992278A (zh) 一种基于容器的应用程序发布方法及装置
CN108897575A (zh) 电子设备的配置方法以及配置系统
CN112286664B (zh) 任务调度方法、装置、计算机设备及可读存储介质
CN112905337A (zh) 软硬件混合部署的MySQL集群调度方法及装置
CN103595707A (zh) 一种基于svn的文件自动网络同步方法
CN106484452B (zh) 一种软件平台的统一配置管理方法和装置
CN108399095B (zh) 支持动态管理定时任务的方法、系统、设备和存储介质
CN110109684B (zh) 区块链节点管理代理服务安装方法、电子装置及存储介质
CN113467922A (zh) 资源管理方法、装置、设备及存储介质
CN106815270B (zh) 一种服务动态管理的方法及装置
CN114546588A (zh) 任务的部署方法、装置、存储介质及电子装置
CN113377346B (zh) 集成环境搭建方法、装置、电子设备及存储介质
CN105468379B (zh) 一种脚本文件执行方法及装置
US11360961B2 (en) Single script solution for multiple environments
KR102156656B1 (ko) 가상머신 스택 생성 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant