KR20130100261A

KR20130100261A - 동적으로 로딩하는 그래프 기반 계산

Info

Publication number: KR20130100261A
Application number: KR1020137001038A
Authority: KR
Inventors: 매튜 달시 애터버리; 에이치. 마크 브롬리; 웨인 메쟈드; 아르카디 포포브; 스티븐 슈미트; 크레이그 더블유. 스탠필; 3 요셉 스케핑튼 홀리
Original assignee: 아브 이니티오 테크놀로지 엘엘시
Priority date: 2010-06-15
Filing date: 2011-06-15
Publication date: 2013-09-10
Also published as: US20150106818A1; WO2011159759A4; CN107066241B; CN107066241A; CN103069385A; US8875145B2; KR20150042297A; JP2013528884A; CA2801573A1; HK1249218A1; JP6116721B2; EP2583168B1; US9753751B2; AU2011268459B2; US20110307897A1; EP3287896A1; EP2583168A1; JP5898188B2; EP3287896B1; JP2016129059A

Abstract

데이터의 처리는, 하나 이상의 작업 요소를 각각 포함하는 다수의 작업 단위를 수신하는 것과, 제1 작업 단위의 수신에 의해 데이터 처리 시스템(100)에 로딩된 컴파일된 제1 데이터플로우 그래프(160)를 사용하여 제1 작업 단위를 처리하는 것을 포함한다. 이러한 처리는, 제1 작업 단위의 특징을 판정하기 위해 해석하는 것과,
판정된 특징을 갖는 작업 단위를 처리하기 위해 컴파일된 적어도 몇몇을 포함하는 데이터 기억 시스템(107) 내에 기억된 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 것과, 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 컴파일된 제1 데이터플로우 그래프(160)로서 데이터 처리 시스템(100)에 로딩하는 것과, 제1 작업 단위 내에서 하나 이상의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 것을 포함한다.

Description

동적으로 로딩하는 그래프 기반 계산{DYNAMICALLY LOADING GRAPH-BASED COMPUTATIONS}

본 개시는 동적으로 로딩하는 그래프 기반 계산에 관한 것이다.

복잡한 계산은 방향성 그래프(directed graph)(이하, "데이터플로우 그래프"라고 함)를 통한 데이터 흐름(data flow)으로 표현할 수 있는데, 여기서 계산의 각 성분(component)은 그래프의 정점(vertex)과 연관되며, 성분 간의 데이터 흐름은 그래프의 링크(아크, 에지)에 대응한다. 성분은 하나 이상의 입력 포트에서 데이터를 수신하고, 그 데이터를 처리하며, 하나 이상의 출력 포트로부터 해당 데이터를 제공하는 데이터 처리 성분과, 데이터 흐름의 소스 또는 싱크로서 작용하는 데이터세트 성분을 포함할 수 있다. 이러한 그래프 기반의 계산을 구현하는 시스템은 "EXECUTING COMPUTATIONS EXPRESSED AS GRAPHS"란 명칭의 미국특허 5,966,072호에 개시되어 있다.

일반적인 관점으로서, 데이터 기억 시스템에 기억된 컴파일된 데이터플로우 그래프(compiled dataflow graph)를 사용하여 데이터 처리 시스템에서 데이터를 처리하는 방법은, 하나 이상의 작업 요소(work element)를 각각 포함하는 다수의 작업 단위를 수신하는 단계와, 제1 작업 단위의 수신에 의해 데이터 처리 시스템에 로딩된 컴파일된 제1 데이터플로우 그래프를 사용하여 제1 작업 단위를 처리하는 단계를 포함한다. 컴파일된 제1 데이터플로우 그래프는 데이터 처리 성분(data processign component) 사이에서 작업 요소의 흐름을 나타내는 링크에 의해 연결된 데이터 처리 성분을 나타내는 노드를 포함하는 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일된다. 상기 작업 단위를 처리하는 단계는, 제1 작업 단위를 해석(analyze)하여, 제1 작업 단위의 특징을 판정하는 단계; 제1 작업 단위가 수신되기 전에, 적어도 컴파일이 이루어진 몇몇 컴파일된 데이터플로우 그래프를 포함하는 데이터 기억 시스템에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별해서, 제1 작업 단위의 정해진 특징을 갖는 작업 단위를 처리하는 단계; 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하는 단계; 및 제1 데이터플로우 그래프를 사용하여 제1 작업 단위 내의 적어도 하나의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 단계를 포함한다.

관점은 이하의 특징들 중 하나 이상을 포함할 수 있다.

다수의 작업 단위는 수신된 작업 요소의 흐름 내에의 하나 이상의 작업 요소로 이루어진 여러 상이한 인접한 세트에 대응한다.

다수의 작업 단위는 상이한 각각의 수신된 파일 내의 하나 이상의 작업 요소로 된 상이한 배치(batch)에 대응한다.

상기 로딩은, 컴파일된 제1 데이터플로우 그래프로부터 제1 데이터플로우 그래프를 나타내는 데이터 구조를 검색하고, 검색된 데이터 구조를 제2 데이터플로우 그래프에 로딩하는 단계를 더 포함한다.

제2 데이터플로우 그래프는 상기 제1 작업 단위가 수신되기 전에 실행되고 있었던 것이다.

검색된 데이터 구조를 제2 데이터플로우 그래프에 로딩하는 단계는, 제1 데이터플로우 그래프 내에서 데이터 처리 성분을 실행하는 제1 프로세스를 제공하도록 구성된 제2 데이터플로우 그래프의 내포 성분(containing component) 내에 제1 데이터플로우 그래프를 삽입(embed)하는 단계를 포함한다.

제2 데이터플로우 그래프의 내포 성분은 제1 데이터플로우 그래프 내에서 데이터 처리 성분의 실행을 모니터링하는 제2 프로세스를 제공하도록 구성된다.

제2 프로세스는, 소정의 작업 요소를 정확하게 처리하기 위해 제1 데이터플로우 그래프 내의 하나 이상의 데이터 처리 성분의 실패(failure)를 검출하면, 제2 데이터플로우 그래프의 실행을 중단하지 않고, 제1 데이터플로우 그래프의 실행을 중단한다.

제2 프로세스는, 제1 작업 요소의 처리에서 제1 데이터플로우 그래프 내에서 하나 이상의 데이터 처리 성분의 지연을 검출하게 되면, 제2 데이터플로우 그래프의 실행을 중단하지 않고 제1 데이터플로우 그래프의 실행을 연기(suspend)하고, 제1 작업 단위 이후에 수신된 제2 작업 단위를 처리하기 위해 제2 데이터플로우 그래프의 내포 성분 내에 제3 데이터플로우 그래프를 삽입한다.

제2 데이터플로우 그래프의 내포 성분은, 제1 프로세스가 사용하는 제1 애플리케이션 프로그래밍 인터페이스를 제공하여, 제1 원격 데이터베이스에 대한 라이브러리에 액세스하는 제2 프로세스와 통신하도록 구성된다.

제2 데이터플로우 그래프의 내포 성분은 제1 프로세스가 사용되는 제2 애플리케이션 프로그래밍 인터페이스를 제공하여, 제1 원격 데이터베이스에 대한 라이브러리와 상이한 제2 원격 데이터베이스에 대한 라이브러리에 액세스하는 제3 프로세스와 통신하도록 구성된다.

제2 데이터플로우 그래프의 내포 성분은 제2 데이터플로우 그래프의 다수의 성분과 호환가능한 제3 애플리케이션 프로그래밍 인터페이스를 제공하도록 구성된다.

제2 데이터플로우 그래프의 내포 성분은, 제3 애플리케이션 프로그래밍 인터페이스를 사용하는 애플리케이션 호출을, 제1 원격 데이터베이스 및 제2 원격 데이터베이스 중의 어느 것이 액세스되는지에 따라, 제1 애플리케이션 프로그래밍 인터페이스 및 제2 애플리케이션 프로그래밍 인터페이스 중의 선택된 하나를 사용하는 애플리케이션 호출로 해석하도록 구성된다.

검색된 데이터 구조를 제2 데이터플로우 그래프로 로딩하는 단계는, 제2 데이터플로우 그래프의 내포 성분 내에 제1 데이터플로우 그래프를 삽입하는 단계를 포함하며, 데이터플로우 그래프를 삽입하는 단계는, 내포 성분의 입력에 연결된 링크로부터 수신된 제1 입력 작업 요소를 제1 데이터플로우 그래프의 입력에 연결하는 단계; 및 생성된 하나 이상의 출력 작업 요소를, 내포 성분의 출력에 연결된 링크에 연결하는 단계를 포함한다.

제1 데이터플로우 그래프는, 제2 성분의 입력에 연결된 하나 이상의 출력 링크를 포함하는 제1 성분, 제1 데이터플로우 그래프가 내포 성분에 삽입될 때에 입력 작업 요소를 제2 성분에 제공하도록 하는 명령어(instructions), 및 제1 데이터플로우 그래프가 내포 성분 내에 삽입되지 않은 때에 기억 위치로부터의 작업 요소를 제2 성분에 제공하도록 하는 명령어를 포함한다.

제1 데이터플로우 그래프는, 제4 성분의 출력에 연결된 하나 이상의 입력 링크를 포함하는 제3 성분, 제1 데이터플로우 그래프가 내포 성분에 삽입될 때에 제4 성분의 출력으로부터의 생성된 하나 이상의 출력 작업 요소를 내포 성분의 출력에 제공하도록 하는 명령어, 및 제1 데이터플로우 그래프가 내포 성분 내에 삽입되지 않은 때에 제4 성분의 출력으로부터의 생성된 하나 이상의 출력 작업 요소를 기억 위치에 제공하도록 하는 명령어를 포함한다.

제1 데이터플로우 그래프는, 제1 데이터플로우 그래프가 내포 성분 내에 삽입될 때에, 제1 데이터플로우 그래프와 내포 성분 사이에서 작업 요소를 전송하기 위한 명령어와, 제1 데이터플로우 그래프가 내포 성분 내에 삽입되지 않을 때에 제1 데이터플로우 그래프와 기억 위치 사이에서 작업 요소를 전송하기 위한 명령어를 각각 포함하는 다수의 인터페이스 성분을 포함한다.

인터페이스 성분의 각각은, 제1 데이터플로우 그래프가 내포 성분 내에 삽입될 때에 제1 데이터플로우 그래프가 연결되는 내포 성분의 대응하는 여러 입력 또는 출력 포트를 식별한다.

본 방법은, 하나 이상의 출력 작업 요소를 생성한 후에, 제2 데이터플로우 그래프로부터 제1 데이터플로우 그래프를 나타내는 검색된 데이터 구조를 언로딩(unload)하는 단계를 더 포함한다.

본 방법은, 제1 작업 단위가 도달한 후에 그리고 제1 데이터플로우 그래프를 나타내는 검색된 데이터 구조의 언로딩 이전에 도달하는 작업 단위인 작업 요소를 버퍼링하는 단계를 더 포함한다.

본 방법은, 데이터 처리 시스템에 컴파일된 제2 데이터플로우 그래프를 로딩하는 단계를 더 포함하며, 컴파일된 제2 데이터플로우 그래프는 제2 데이터플로우 그래프를 나타내는 데이터 구조에 컴파일된다.

식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하는 단계는, 제1 데이터플로우 그래프를 제3 데이터플로우 그래프의 제1 내포 성분 내에 삽입하는 단계를 포함하며, 컴파일된 제2 데이터플로우 그래프를 데이터 처리 시스템에 로딩하는 단계는, 제3 데이터플로우 그래프의 제2 내포 성분 내에 제2 데이터플로우 그래프를 삽입하는 단계를 포함한다.

컴파일된 제2 데이터플로우 그래프는 제1 작업 단위를 수신하게 되면 데이터 처리 시스템에 로딩된다.

컴파일된 제2 데이터플로우 그래프는 제1 작업 단위 이후에 제2 작업 단위를 수신하게 되면, 데이터 처리 시스템에 로딩된다.

본 방법은, 제1 작업 단위의 처리 이후에 제2 작업 단위를 처리하는 단계로서, 제2 작업 단위를 수신하게 되면 데이터 처리 시스템에 로딩되는 컴파일된 제2 데이터플로우 그래프를 이용하는 단계를 더 포함하며, 컴파일된 제2 데이터플로우 그래프는 제2 데이터플로우 그래프를 나타내는 데이터 구조에 컴파일되며, 작업 단위를 처리하는 단계는, 제2 작업 단위의 특징을 판정하기 위해 제2 작업 단위를 해석하는 단계; 제2 작업 단위가 수신되기 전에 컴파일되었던, 데이터 기억 시스템 내에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별하고, 제2 작업 단위의 판정된 특징을 갖는 작업 단위를 처리하는 단계; 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나를, 컴파일된 제2 데이터플로우 그래프로서 데이터 처리 시스템에 로딩하는 단계; 및 제2 데이터플로우 그래프를 사용하여 제2 작업 단위 내에서 하나 이상의 작업 요소로부터 하나 이상의 작업 요소를 생성하는 단계를 포함한다.

식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나를 컴파일된 제1 데이터플로우 그래프로서 데이터 처리 시스템에 로딩하는 단계는, 제1 데이터플로우 그래프를 제3 데이터플로우 그래프의 내포 성분 내에 삽입하는 단계를 포함하며, 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나를 컴파일된 제2 데이터플로우 그래프로서 데이터 처리 시스템에 로딩하는 단계는, 제2 데이터플로우 그래프를 제3 데이터플로우 그래프의 내포 성분 내에 삽입하는 단계를 포함한다.

제1 작업 단위를 해석하는 단계는, 제1 작업 단위의 작업 요소 내에 포함된 컴파일된 데이터플로우 그래프에 대한 식별자를 판독하는 단계를 포함한다.

하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 단계는, 식별자를 상기 하나 이상의 컴파일된 데이터플로우 그래프와 연관된 식별자와 매칭하는 단계를 포함한다.

제1 작업 단위를 해석하는 단계는, 제1 작업 단위의 작업 요소를 특징화하는 다수의 미리 정해진 타입 중의 하나를 식별하는 단계를 포함한다.

하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 단계는, 하나 이상의 컴파일된 데이터플로우 그래프에 대응하는 데이터플로우 그래프가 식별된 타입에 의해 특징화된 작업 요소를 처리하도록 구성되어 있는지를 판정하는 단계를 포함한다.

제1 작업 단위를 해석하는 단계는, 제1 작업 단위의 작업 요소 내에 포함된 콘텐츠의 특성을 식별하는 단계를 포함한다.

하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 단계는, 하나 이상의 컴파일된 데이터플로우 그래프에 대응하는 데이터플로우 그래프가 식별된 특성을 갖는 콘텐츠를 포함하는 작업 요소를 처리하도록 구성되어 있는지를 판정하는 단계를 포함한다.

제1 작업 단위를 해석하는 단계는, 제1 작업 단위와 연관된 하나 이상의 값이 제1 데이터플로우 그래프의 하나 이상의 파라미터로 이루어진 제1 세트에 대한 값으로서 지정되어 있는지를 판정하는 단계를 포함한다.

하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 단계는, 식별된 하나 이상의 컴파일된 데이터플로우 그래프가 제1 작업 단위와 연관된 판정된 하나 이상의 값과 매칭되는 각각의 값에 결합된 하나 이상의 파라미터로 된 제1 세트를 가진 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일되어 있는지를 판정하는 단계를 포함한다.

식별된 하나 이상의 컴파일된 데이터플로우 그래프를 컴파일된 제1 데이터플로우 그래프로서 데이터 처리 시스템에 로딩하는 단계는, 하나 이상의 파라미터로 이루어진 제2 세트를, 제1 작업 단위에 적어도 부분적으로 기초하여 판정된 각각의 값에 결합하는 단계를 포함한다.

하나 이상의 파라미터로 된 제2 세트는, 입력 작업 요소를 제공하기 위한 입력 소스 또는 출력 작업 요소를 수신하기 위한 출력 소스의 이름을 포함하는 값을 갖는 하나 이상의 파라미터를 포함한다.

하나 이상의 파라미터로 된 제1 세트는, 데이터 구조가 컴파일된 제1 데이터플로우 그래프로 컴파일될 때에, 하나 이상의 성분이 제1 데이터플로우 그래프를 나타내는 데이터 구조 내에 포함되어야 하는지 여부를 판정하는 값을 갖는 하나 이상의 파라미터를 포함한다.

하나 이상의 파라미터로 된 제1 세트는, 데이터 구조가 컴파일된 제1 데이터플로우 그래프로 컴파일될 때에 제1 데이터플로우 그래프를 나타내는 데이터 구조 내에 포함되는 성분에 의해 처리되는 작업 요소에 적용될 변환을 판정하는 값을 갖는 하나 이상의 파라미터를 포함한다.

본 방법은, 제1 작업 단위가 수신되기 전에, 제1 데이터플로우 그래프를 나타내는 데이터 구조로부터 컴파일된 제1 데이터플로우 그래프를 각각의 값에 결합된 하나 이상의 파라미터로 된 제1 세트로 컴파일하는 단계를 더 포함한다.

본 방법은, 컴파일된 제1 데이터플로우 그래프를 데이터 기억 시스템에 기억시키고, 기억된 컴파일된 제1 데이터플로우 그래프를 하나 이상의 파라미터로 된 제1 세트에 결합된 각각의 값을 나타내는 정보와 연관시키는 단계를 더 포함한다.

다른 관점으로서, 일반적으로, 데이터 기억 시스템에 기억된 컴파일된 데이터플로우 그래프를 사용하여 데이터를 처리하기 위한 데이터 처리 시스템은, 하나 이상의 작업 요소를 각각 포함하는 다수의 작업 단위를 수신하도록 구성된 입력 장치 또는 포트와, 제1 작업 단위를 수신하면, 데이터 처리 시스템에 로딩된 컴파일된 제1 데이터플로우 그래프를 사용하여 제1 작업 단위를 처리하도록 구성된 하나 이상의 프로세서를 포함한다. 컴파일된 제1 데이터플로우 그래프는 데이터 처리 성분 사이에서 작업 요소의 흐름을 나타내는 링크에 의해 연결된 데이터 처리 성분을 나타내는 노드를 포함하는 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일된다. 작업 단위의 처리는, 제1 작업 단위를 해석하여, 제1 작업 단위의 특징을 판정하고; 제1 작업 단위가 수신되기 전에, 적어도 컴파일이 이루어진 몇몇 컴파일된 데이터플로우 그래프를 포함하는 데이터 기억 시스템에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별해서, 제1 작업 단위의 정해진 특징을 갖는 작업 단위를 처리하며; 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하고; 및 제1 데이터플로우 그래프를 사용하여 제1 작업 단위 내의 적어도 하나의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 것을 포함한다.

하나의 관점으로서, 일반적으로, 데이터 기억 시스템 내에 기억된 컴파일된 데이터플로우 그래프를 사용하여 데이터를 처리하기 위한 데이터 처리 시스템은, 하나 이상의 작업 요소를 각각 포함하는 다수의 작업 단위를 수신하는 수단; 및 제1 작업 단위를 수신하면, 데이터 처리 시스템에 로딩된 컴파일된 제1 데이터플로우 그래프를 사용하여 상기 제1 작업 단위를 처리하는 수단을 포함한다. 컴파일된 제1 데이터플로우 그래프는 데이터 처리 성분 사이에서 작업 요소의 흐름을 나타내는 링크에 의해 연결된 데이터 처리 성분을 나타내는 노드를 포함하는 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일된다. 작업 단위의 처리는, 제1 작업 단위를 해석하여, 제1 작업 단위의 특징을 판정하고; 제1 작업 단위가 수신되기 전에, 적어도 컴파일이 이루어진 몇몇 컴파일된 데이터플로우 그래프를 포함하는 데이터 기억 시스템에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별해서, 제1 작업 단위의 정해진 특징을 갖는 작업 단위를 처리하며; 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하고; 및 제1 데이터플로우 그래프를 사용하여 제1 작업 단위 내의 적어도 하나의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 것을 포함한다.

다른 관점으로서, 일반적으로, 컴퓨터로 판독가능한 매체는 데이터 기억 시스템에 기억된 컴파일된 데이터플로우 그래프를 사용하여 데이터를 처리하기 위한 컴퓨터 프로그램을 기억한다. 컴퓨터 프로그램은, 컴퓨터로 하여금, 하나 이상의 작업 요소를 각각 포함하는 다수의 작업 단위를 수신하고, 제1 작업 단위를 수신하면, 데이터 처리 시스템에 로딩된 컴파일된 제1 데이터플로우 그래프를 사용하여 제1 작업 단위를 처리하도록 하기 위한 명령어를 포함한다. 컴파일된 제1 데이터플로우 그래프는 데이터 처리 성분 사이에서 작업 요소의 흐름을 나타내는 링크에 의해 연결된 데이터 처리 성분을 나타내는 노드를 포함하는 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일된다. 작업 단위의 처리는, 제1 작업 단위를 해석하여, 상기 제1 작업 단위의 특징을 판정하고; 제1 작업 단위가 수신되기 전에, 적어도 컴파일이 이루어진 몇몇 컴파일된 데이터플로우 그래프를 포함하는 데이터 기억 시스템에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별해서, 제1 작업 단위의 정해진 특징을 갖는 작업 단위를 처리하며; 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하고; 및 제1 데이터플로우 그래프를 사용하여 제1 작업 단위 내의 적어도 하나의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 것을 포함한다.

본 발명의 관점은 이하의 장점들 중 하나 이상을 포함할 수 있다.

데이터플로우 그래프를 사용하는 데이터 처리 시스템은 각각의 작업 요소로 이루어진 데이터의 입력 흐름을 처리하는 여러 방법으로 구성될 수 있다. 각각의 작업 요소는 별개의 작업 단위를 나타낼 수 있으며, 또는 일련의 다수의 작업 요소가 작업 단위를 나타낼 수 있다. 본원에 개시된 기술은 이러한 시스템의 다양한 구성에 사용될 수 있다. 일부 구성은 소정의 특징을 갖는 데이터 흐름 내의 작업 단위에 더 적절할 수 있다. 일례로, 작업 단위 내의 하나 이상의 작업 요소는, 배치(예를 들어, 동일한 입력 파일 내의 레코드로 구성된 작업 요소의 배치)로서 처리하기 위한 데이터플로우 그래프에 제공되며, 데이터플로우 그래프는 작업 요소의 데이터 흐름을 하나 이상의 입력 포트로부터 하나 이상의 출력 포트로 한번에 단일의 배치로 전달한다. 다운스트림 성분의 출력 포트로부터 제공되는(또는 데이터세트 성분에 기억된) 일련의 "출력 작업 요소"는 입력 포트에 제공되는 일련의 "입력 작업 요소"를 처리한 결과를 나타낸다. 배치 처리의 일례로서, 데이터플로우 그래프는, 배치의 제1 입력 작업 요소가 준비가 되면 개시하고, 마지막 출력 작업 요소가 제공된 후에 종료한다. 배치 처리의 다른 예로서, 데이터플로우 그래프는, 다음 배치로부터의 입력 작업 요소가 제1 입력 작업이 처리되기 전에, 이전 매치로부터의 마지막 출력 작업 요소가 출력되는 것을 보장하면서 하나의 배치로부터 다음 배치로의 실행을 계속한다. 상기 배치 처리에서, 배치를 나타내는 하나 이상의 작업 요소로 구성되는 작업 단위로 분할된 작업 요소의 연속하는 스트림이 존재할 수 있다. 본원에 개시된 기술 중의 일부는 수신된 작업 단위와 연관된 미리 정해진 특징을 검출하는 것에 의해 소정의 데이터플로우 그래프를 동적으로 로딩하는 방법을 나타낸다. 일례로, 이 특징은 작업 단위의 콘텐츠(예를 들어, 파일 포맷)에 기초하고, 일부의 예에서는, 특징은 작업 단위와 연관된 파라미터 값(예를 들어, 특정의 조건부 성분이 포함되어야 하는지 여부를 판정하는 파라미터)에 기초하는데, 이에 대해서는 나중에 자세히 설명한다.

일부 구성에서, 데이터 처리 시스템은, 데이터플로우 그래프가 비교적 짧은 기간(예를 들어, 초 단위) 동안 실행되어 소정의 데이터 배치를 처리하도록, 데이터플로우 그래프를 실행하여, 데이터의 배치를 처리할 수 있다. 많은 작은 배치가 선택된 데이터플로우 그래프에 의해 처리되면(예를 들어, 데이터플로우 그래프의 집합으로부터 선택), 선택된 데이터플로우 그래프의 실행 시간이 "기동 시간"(startup time)(그래프를 로딩하는 데에 필요한 시간, 그래프의 개시부터 데이터의 배치의 처리를 시작하기 위해 준비하는 시간)에 의해 제한을 받지 않는 경우에 특히 성능이 향상될 수 있다. 예를 들어, 데이터플로우 그래프의 기동 시간이 대략 5초이고, 데이터의 배치를 처리하기 위해 대략 5초가 걸린다고 하면, 실행 시간 중의 절반만이 유용한 데이터 처리에 사용되는 것이다. 일례로, 이처럼 실행 시간에 대한 처리 시간의 낮은 비율은 배치가 빈번하게 도달하지 않는 경우에(예를 들어, 본 예에서는 5분마다), 전체 효율에 영향을 미치지 않을 것이다. 그러나, 배치가 비교적 빈번하게(예를 들어, 본 예에서는 5초마다) 도달하는 경우에는, 기동 시간은 전체 효율에 큰 영향을 미칠 수 있다. 본원에 설명하는 바와 같이, 기동 시간 동안 수행되어야 하는 작업의 일부를 초기 컴파일 단계로 이동시킴으로써, 성능이 향상될 수 있다.

일부 구성에서, 데이터 처리 시스템은, 데이터플로우 그래프가 데이터의 흐름에서 일련의 작업 요소를 연속해서 처리하는 방식으로 데이터의 연속하는 흐름을 처리하도록 데이터플로우 그래프를 실행할 수 있다. 작업 요소는 하나 이상이 작업 요소로 이루어지는 작업 단위로 분할될 수 있으며, 각각의 작업 단위는 배치로서 상이한 데이터플로우 그래프에 의해 처리되지 않아도 된다.

상이한 데이터플로우 그래프가 실행되는 컨테이너 그래프에 필요에 따라 동적으로 로딩되는 경우에 성능이 크게 향상될 수 있다(예를 들어, 상이한 데이터플로우 그래프 모두를 독립적으로 실행되도록 하거나, 이들을 단일의 더 큰 데이터플로우 그래프에 조합하는 것과 비교해서). 예를 들어, 작업 단위는 소정 타입의 단일 메시지로 이루어질 수 있다. 일부 타입의 메시지는 다른 것보다 더 많을 수 있다. 그래서, 소정 타입의 메시지를 처리하기 위해 적절한 데이터플로우 그래프를 로딩함으로써(여러 타입의 메시지 모두에 대하여 모든 데이터플로우 그래프를 동시에 실행하는 대신에), 더 드물게 사용되는 데이터플로우 그래프가 실행되도록 하는 데에 사용되는 리소스가 다른 목적에도 제공될 수 있다. 또한, 데이터플로우 그래프를 더 큰 데이터플로우 그래프에 조합하지 않고 분리된 상태를 유지하는 것은, 여러 타입의 메시지에 대한 주문형(custom) 데이터플로우 그래프의 설계를 더 용이하게 할 수 있으며, 개발자가 컨테이너 그래프를 검사할 때에 전체 시스템을 더 용이하게 이해할 수 있도록 하는 모듈성(modularity)을 제공한다. 개발자는 대응하는 데이터플로우 그래프를 변경함으로써 일부 타입의 메시지가 취급되는 방법을 용이하게 변경할 수 있으며, 메시지 타입이 추가되거나 제거됨에 따라 데이터플로우 그래프를 용이하게 추가 또는 제거할 수 있다.

본원에 개시된 기술은 수신된 데이터 배치를 처리하기 위한 적절한 파라미터 값으로 실행 시간에 동적으로 로딩될 수 있는 여러 상이한 주문형의 데이터플로우 그래프 버전을 컴파일하는 데에 사용될 수 있다. 일례로, 컴파일된 데이터플로우 그래프는 내포하는 데이터플로우 그래프(containing dataflow graph)가 실행되는 동안, 내포하는 데이터플로우 그래프에 동적으로 로딩되거나 내포하는 데이터플로우 그래프로부터 동적으로 언로딩될 수 있는 "마이크로그래프"(micrograph)로서 사용될 수 있다. 마이크로그래프는, 데이터의 연속하는 흐름이 데이터플로우 그래프에 의해 처리되는 동안, 데이터의 연속하는 흐름 내에서 여러 상이한 작업 단위를 배치로서 처리하는 효율적인 방법을 제공한다. 일례로, 마이크로그래프는 마이크로그래프를 로딩하기 위한 특화 성분(specialized component)을 사용하여 내포하는 데이터플로우 그래프 내에 서브그래프로서 로딩되는데, 이에 대해서는 나중에 더 상세하게 설명한다. 데이터플로우 그래프(마이크로그래프를 포함)를 컴파일하는 기술에 의하면, 기동 과정 중의 일부가 미리 수행될 수 있으며, 수신된 데이터의 배치(데이터의 흐름 내에서의 작업 단위를 포함)에 의해 데이터플로우 그래프의 여러 상이한 컴파일된 버전 중에서 선택함으로써 실행 시간에서 유연성을 제공한다.

이상 설명한 것 외의 본 발명의 다른 특징이나 장점은 이하의 상세한 설명과 청구범위로부터 명백하게 알 수 있을 것이다.

도 1은 데이터플로우 그래프가 실행되는 시스템의 구성예를 나타내는 블록도이다.
도 2는 마이크로그래프를 포함하는 데이터플로우 그래프의 예를 나타낸다.
도 3a는 특화 성분의 예를 나타낸다.
도 3b는 마이크로그래프의 예를 나타낸다.
도 4는 메모리에 다수의 마이크로그래프를 가진 특화 성분의 예를 나타낸다.
도 5a는 다수의 마이크로그래프 처리 데이터 흐름을 가진 특화 성분의 예를 나타낸다.
도 5b는 다수의 특화 성분을 가진 데이터플로우 그래프의 예를 나타낸다.
도 6은 사전처리 및 후처리 성분을 포함하는 특화 성분의 예를 나타내는 블록도이다.
도 7은 단일 데이터베이스와 상호작용하는 다수의 데이터 흐름 성분의 예를 나타낸다.
도 8은 다수의 데이터베이스와 상호작용하는 데이터 흐름 성분의 예를 나타낸다.
도 9a는 다수의 데이터베이스와 상호작용하는 데이터 흐름 성분의 예를 나타낸다.
도 9b는 공통 프로토콜 층을 사용하여 다수의 데이터베이스와 상호작용하는 데이터 흐름 성분의 예를 나타낸다.
도 10은 데이터플로우 그래프가 실행 시간에 앞서 컴파일되는 시스템의 구성 예를 나타내는 블록도이다.

1. 개요

도 1은 동적 로딩 기술이 사용될 수 있는 데이터 처리 시스템(100)의 예를 나타낸다. 데이터 처리 시스템(100)은 다양한 기억 포맷(예를 들어, 데이터베이스 테이블, 스프레드시트 파일, 플랫 텍스트 파일 또는 메인프레임에 의해 사용되는 네이티브 포맷 등) 중의 임의의 형태로 데이터를 기억시킬 수 있는 기억 장치 또는 온라인 데이터 스트림에의 기억 장치 또는 접속 등의 하나 이상의 데이터 소스를 포함할 수 있는 데이터 소스(101)를 구비한다. 실행 환경(execution environment)(104)은 사전실행 모듈(pre-execution module)(105) 및 실행 모듈(106)을 포함한다. 실행 환경(104)은 UNIX 운영체제 등의 적당한 운영체제의 제어하에서 하나 이상의 범용 컴퓨터 상에 호스트될 수 있다. 예를 들어, 실행 환경(104)은 로컬(예를 들어, SMP 컴퓨터 등의 다중 프로세서 시스템) 또는 로컬 분산된(예를 들어, 클러스터 또는 MPP로서 연결된 다중 프로세서), 또는 원격이나 원격 분산된(예를 들어, 근거리 통신망(LAN) 및/또는 원거리 통신망(WAN)에 의해 연결된 다중 프로세서), 또는 이들이 임의로 조합된 다수의 중앙처리장치(CPU)를 이용하는 컴퓨터 시스템의 구성을 포함하는 다중 노드 병렬 컴퓨팅 환경을 포함할 수 있다.

사전실행 모듈(105)은 데이터플로우 그래프 등의 실행가능한 프로그램을 실행하기 위해 준비하는 다양한 작업을 수행하도록 구성되는데, 그 예로는, 데이터플로우 그래프를 컴파일하고, 컴파일된 데이터플로우 그래프를 실행 환경(104)에 액세스가능한 데이터 기억 시스템(107)에 기억시키거나 로딩하며, 파라미터 값을 분해(resolve)하고, 분해한 값을 파라미터에 결합하는 것 등이 있다. 어떤 경우에, 사전실행 모듈(105)은 데이터 소스(101)로부터의 데이터에 따라 작업(예를 들어, 컴파일된 데이터플로우 그래프를 로딩하는 것)을 수행한다. 데이터 소스(101)를 제공하는 기억 장치는, 실행 환경(104)을 실행하는 컴퓨터에 접속된 기억 매체(예를 들어, 하드 드라이브(102))에 기억되는 실행 환경(104)에 대하여 로컬이 되거나, 원격 접속을 통해 실행 환경을 실행하는 컴퓨터와 통신에 의해 원격 시스템(예를 들어, 메인프레임(103))에 호스트되는, 실행 환경(104) 대하여 원격이 될 수도 있다.

실행 모듈(106)은 사전실행 모듈(105)에 의해 생성된 컴파일된 데이터플로우 그래프를 사용하여 출력 데이터를 생성할 수 있는데, 이 출력 데이터는 데이터 소스(101)에 다시 제공되거나 데이터 기억 시스템(107)에 기억될 수 있다. 데이터 기억 시스템(107)은 개발 환경(development environment)(108)에 액세스 가능하며, 개발 환경의 개발자(109)는 데이터플로우 그래프를 설계할 수 있다. 데이터플로우 그래프를 나타내는 데이터 구조는 직렬화되어 데이터 기억 시스템(107) 내에 기억될 수 있다.

실행 모듈(106)은 여러 유형의 데이터베이스 시스템 등의 데이터 소스(101)의 다양한 타입의 시스템으로부터 데이터를 수신할 수 있다. 데이터는 널(null) 값 등과 같이 각각의 필드에 대한 값("속성" 또는 "컬럼"이라고도 함)을 갖는 레코드로서 구성될 수 있다. 데이터 소스로부터 데이터를 판독하는 경우, 실행되는 데이터플로우 그래프는 해당 데이터 소스 내의 레코드와 관련된 초기 포맷 정보를 취급하는 성분을 포함할 수 있다. 어떤 경우에, 데이터 소스의 레코드 구조는 처음에는 알지 못할 수 있으며, 대신에 데이터 소스의 분석 이후에 정해질 수 있다. 레코드 관련 초기 정보는 개별 값을 나타내는 비트의 수, 레코드 내의 필드의 순서, 및 비트로 나타내는 값의 타입(예를 들어, 문자열, 부호있는 정수, 부호없는 정수)를 포함할 수 있다.

도 2를 참조하면, 실행 모듈(106)에 의해 실행되는 데이터플로우 그래프(155)에 의해 입력 데이터 소스(110)로부터의 데이터가 이산적인 작업 요소의 흐름으로서 판독 및 처리될 수 있는 예를 나타내고 있다. 작업 요소를 처리하는 것과 관련된 여러 계산 부분이 그래프의 정점(또는 노드)으로서 나타낸 성분(120, 130)에서 수행되고, 성분 간의 데이터 흐름은 그래프의 링크(아크, 에지)로 나타내고 있고, 그 예로는 성분(120)과 성분(130)을 연결하는 링크(125)가 있다. 이러한 그래프 기반의 계산을 구현하는 시스템이 "EXECUTING COMPUTATIONS EXPRESSED AS GRAPHS"란 명칭의 미국특허 5,966,072호에 개시되어 있는데, 본원에서 참조에 의해 원용한다. 이 시스템에 의해 이루어진 데이터플로우 그래프는 그래프 성분에 의해 나타낸 개별 프로세스에 대해 정보를 취득하고, 프로세스 사이에서 정보를 이동시키며, 프로세스에 대한 실행 순서를 정하는 방법을 제공한다. 본 시스템은 프로세스간 통신 방법(interprocess communication method)(예를 들어, 그래프의 링크에 따른 통신 경로는 TCP/IP 또는 UNIX 도메인 소켓을 이용하거나, 프로세스 사이에서 데이터를 전달하기 위해 공유 메모리를 사용할 수 있음)을 선택하는 알고리즘을 포함한다.

실행을 위한 컴파일되지 않은 데이터플로우 그래프를 준비하는 프로세스는 다양한 단계를 포함한다. 컴파일되지 않은 데이터플로우 그래프의 표시는 컴파일 프로세서에서 사용되는 값을 제공하는 데이터플로우 그래프와 연관된 임의의 파라미터와 함께 검색된다. 정적 파라미터 분해(static parameter resolution) 단계 동안, 정적 파라미터(실행 시간 이전의 분해를 위해 설계된 값을 가짐)가 분해되고, 분해된 값이 정적 파라미터에 결합된다. 일례로, 정적 파라미터의 값을 분해하기 위해, 소정의 값(예를 들어, 본원에 참조에 의해 원용되는 "Managing Metadata for Graph-based Computations"란 명칭의 미국출원 공개번호 2006/0294150에 개시된 것과 같은 메타데이터 값)을 유도하기 위한 계산이 수행된다. 일부 파라미터는 나중에 또는 실행 시간 직전에 분해할 타겟으로서 아직 분해되지 않은 동적 파라미터로서 설계될 수 있다. 조건부 성분(conditional component)으로서 설계된 성분이 그래프로부터 제거(예를 들어, 데이터플로우 링크로 대체하는 것에 의해)되는데, 예를 들어 정적 파라미터 값에 기초하여 제거되며, 소정의 조건을 만족하는 경우(만족하지 않는 경우에) 제거된다. 컴파일 단계 동안, 데이터플로우 그래프를 나타내는 데이터 구조는 그 성분 및 링크를 포함하며, 실행이 생성되는 동안 사용될 것이다. 컴파일에는 스크립트 언어로 삽입된 스크립트를 바이트코드 또는 기계어 코드로 컴파일하는 과정이 포함될 수 있다. 실행 시간에, 데이터플로우 그래프와 연관된 임의의 동적 파라미터는 분해된 값과 결합되고, 컴파일된 데이터플로우 그래프의 데이터 구조는 하나 이상의 프로세스를 개시하고, 임의의 필요한 파일(예를 들어, 동적 파라미터에 의해 식별된 파일)을 링크하고, 및/또는 임의의 동적 라이브러리에 링크함으로써 시작된다. 이 프로세스는 링크에 의해 표시된 데이터 흐름을 설정(예를 들어, 공유 메모리의 할당, TCP/IP 스트림의 개방)하기 위한 작업도 수행한다. 일례로, 데이터 구조는, 본원에서 참조에 의해 원용하는 "MANAGING COMPUTING RESOURCES IN GRAPH-BASED COMPUTATIONS"란 명칭의 미국출원 공개번호 US2007/0271381호에 개시된 것과 같이, 단일 프로세스 내에서 다수의 성분을 실행하도록 구성된다.

데이터플로우 그래프는 다양한 레벨의 추출(abstraction)에 의해 특정될 수 있다. 성분 및 링크를 포함하는 데이터플로우 그래프인 "서브그래프"(subgraph)는 단일의 성분으로서 다른 타겟 데이터플로우 그래프 내에 표현될 수 있는 것으로서, 타겟 데이터플로우 그래프에 서브그래프를 연결하는 링크만 도시하고 있다. 일례로, 서브그래프는 개발 환경(108) 내에 포함된 데이터플로우 그래프의 성분 및 링크를 은닉(hide)하는 데에 사용되지만, 성분 및 링크를 나타내는 데이터는 타겟 데이터플로우 그래프 내에 이미 통합되어 있다. 일례로, 서브그래프는 초기에는 타겟 데이터플로우 그래프 내에 포함되어 있지 않지만, 나중에 "마이크로그래프"(micrograph)로부터 유도되는데, 이 마이크로그래프는 타겟 데이터플로우 그래프에 로딩할 성분 및 링크를 나타내는 데이터 구조를 포함하는 컴파일된 데이터플로우 그래프로서 시작한다. 이에 대해서는, 나중에 상세하게 설명한다.

도 2를 참조하면, 데이터플로우 그래프(155)는, 본 예에서는 데이터세트 성분(110)에 의해 표현되는, 데이터 소스로부터의 입력 데이터의 연속 흐름을 수신할 수 있다. 데이터의 흐름은, 데이터플로우 그래프(155)의 동작 동안 많아지거나 적어진다고 해도, 데이터의 흐름, 예를 들어 엔트리 시스템에 수신된 신용카드 거래 또는 주문의 흐름이 반드시 구분가능한 시작 또는 종료를 가질 필요가 없는 것의 관점에서는 연속적이다. 또한, 데이터플로우 그래프(155)는, 본 예에서는 데이터세트 성분(140)으로 나타내는 출력 데이터 레포지토리에 대한 출력 데이터의 연속 흐름을 제공할 수 있다. 일부 데이터플로우 그래프는 무기한의 기간 동안 데이터의 연속 흐름을 처리하는 연속 데이터플로우 그래프로서 실행하도록 설계되고, 일부 데이터플로우 그래프는 이산적인 데이터 배치를 처리하기 위해 실행을 시작하는 배치 데이터플로우 그래프(batch dataflow graph)로서 실행하고 배치가 처리된 후에 실행을 종료하도록 설계된다. 데이터플로우 그래프의 데이터 처리 성분(120, 130)은 일련의 명령, 서브그래프, 또는 이들의 임의의 조합을 포함할 수 있다.

일례로, 특화 성분(specialized component)(130)은, 타겟 데이터플로우 그래프 내에 포함되고 동적으로 검색되도록 구성된 특화의 서브그래프인 마이크로그래프(micrograph)(160)를 로딩할 수 있다. 마이크로그래프는 특화 성분(130) 등의 타겟 데이터플로우 그래프의 타겟 성분으로 동적으로 삽입될 수 있다. 일례로, 마이크로그래프(160)는 컴파일되어 데이터 기억 시스템(107)에 기억된 데이터플로우 그래프로부터 유도된다. 일례로, 마이크로그래프(160)는 데이터 기억 시스템(107)으로부터 로딩될 때에는 컴파일되지 않은 형태를 유지한다. 예를 들어, 컴파일된 데이터플로우 그래프를 로딩하는 대신에, 특화 성분(130)은 특화 성분(130)을 포함하는 데이터플로우 그래프가 사용 직전에 컴파일되었던 마이크로그래프를 실행할 수 있도록, 그래프 컴파일 절차를 개시할 수 있다. 그래프 컴파일 절차는 특화 성분(130)의 외부에서 수행되거나 그 내부에서 실행될 수 있다. 일례로, 마이크로그래프(160)는 데이터 기억 시스템(107)에 기억되기 전에 직렬화(serialize)된다. 일반적으로, 직렬화는 컴파일된 또는 컴파일되지 않은 표현에서의 데이터플로우 그래프가 0과 1의 이진 스트림으로 변환되어, 데이터플로우 그래프가 지속 메모리 또는 메모리 버퍼 내에 용이하게 기억될 수 있는 형태가 되는 프로세스이다. 마이크로그래프의 고속 로딩이 요구되는 예에 있어서, 통상적으로 데이터플로우 그래프는 데이터 구조를 가진 컴파일된 표현으로 직렬화되어, 데이터 기억 시스템(107) 내에 기억되고, 이에 의해 직렬화된 컴파일된 데이터플로우 그래프는 용이하게 검색될 수 있으며, 데이터 구조가 비직렬화(de-serialize)되고 실행 시간에 동적으로 로딩된다. 컴파일은 데이터플로우 그래프로서 표현된 프로그램을 포함하는 컴퓨터 프로그램이 컴퓨터에 의한 실행을 위해 준비되는 프로세스이다. 컴파일은 컴퓨터에서 바로 실행될 수 있는 머신 코드 또는 명령어, 또는 자바 바이트 코드(Java byte code) 등과 같이 컴퓨터에서 실행되는 가상 머신에 의해 실행되는 중간 코드를 생성할 수 있다. 데이터플로우 그래프의 경우, 컴파일은 데이터플로우 그래프의 성분 및 링크를 컴퓨터에서 바로 실행될 수 있는 형태로 표현하는 데이터 구조의 생성을 포함한다.

특화 성분(130)의 인커밍 링크(incoming link)(125)에 따른 데이터플로우 그래프(155)를 통한 데이터 흐름은, 특화 성분(130)이 마이크로그래프(160)를 로딩하고 마이크로그래프(160)를 데이터플로우 그래프(155)에 통합하는 동안 버퍼 내에 일시적으로 기억된다. 마찬가지로, 데이터 흐름에 의해, 마이크로그래프가 데이터플로우 그래프(155)로부터 분리되어 언로딩되는 동안 버퍼에 축적될 수 있다. 일례로, 분리된 마이크로그래프는 나중에 액세스할 메모리 내에 로딩된 상태를 유지(예를 들어, 캐시 저장 메커니즘을 이용하여)할 수 있다.

버퍼링은 작업 요소의 입력 흐름을 성분에 제공하는 링크에 대한 입력 큐(input queue)를 사용하여 구현되는 흐름 제어 메커니즘을 사용하도록 구성될 수 있다. 이러한 흐름 제어 메커니즘에 의해, 통상적으로 대형이지만 속도는 느린 디스크 드라이브 등의 비휘발성 로컬 기억장치에 반드시 기입할 필요없이, 데이터플로우 그래프의 성분들 사이에서 데이터가 전달될 수 있도록 한다. 입력 큐는 통상 비휘발성 메모리보다 소형이고 속도가 빠른 휘발성 메모리 내에 작업 요소를 유지하기에 충분히 소형으로 될 수 있다. 매우 큰 데이터세트인 경우에도 기억 공간과 시간이 절약된다. 성분은 입력 큐 대신에 또는 이에 추가로 출력 버퍼를 사용할 수 있다. 2개의 성분이 흐름에 의해 연결되면, 다운스트림 성분이 작업 요소를 계속해서 소비하는 동안, 업스크림 성분은 작업 요소를 다운스트림 성분에 전송한다. 다운스트림 성분이 뒤처지면, 업스트림 성분은 다운스트림 성분의 입력 큐를 채우고 입력 큐가 다시 클리어될 때까지 작업을 중단한다.

일례로, 마이크로그래프(160)는 배치 데이터플로우 그래프의 일부로서 또는 커맨드 라인으로부터 스케줄링 프로세스에 의한 스케줄에 기초하여 실행되고, 반드시 타겟 데이터플로우 그래프의 특화 성분에 로딩할 필요는 없다. 대안으로서, 스케줄러는 큐로부터의 메시지에 응답하여 적절한 마이크로그래프를 로딩할 특화 성분을 포함하는, 실행중인 데이터플로우 그래프에 연속 메시지 흐름을 제공하는 큐에 메시지를 전송함으로써 배치 처리를 위한 마이크로그래프를 개시하도록 특화 성분을 사용할 수 있다.

2. 특화 성분

도 3a를 참조하면, 일례로, 특화 성분(200)은 다수의 입력(205, 210, 215)을 받고 다수의 출력(220, 225, 230, 235)을 전달하도록 구성된다. 입력은 데이터 입력(205, 210), 및 제어 입력(215)을 포함한다. 출력은, 데이터 출력(220. 225, 230) 및 상태 출력(235)을 포함한다. 제어 입력(215)은 실행할 마이크로그래프(240)의 식별자(예를 들어, 수신된 제어 요소 내에서), 및 선택적으로 마이크로그래프(240)를 실행하기 위해 사용된 일련의 파라미터를 받아들인다. 일반적으로, 특화 성분(200)은 데이터 입력(205, 210) 등의 각각의 데이터 입력 포트를 통해 입력 작업 요소의 제로 또는 그 이상의 흐름을 받아들일 수 있다. 상태 출력(235)은 마이크로그래프(240)의 실행으로부터 출구 상태 및 추적 정보를 포함하는 상태 레코드(status record)를 생성한다. 또한, 특화 성분은 데이터 출력(220, 225, 230) 등의 각각의 데이터 출력 포트를 통해 출력 작업 요소의 제로 또는 그 이상의 흐름을 생성한다. 일례로, 특화 성분(200)은 정상적인 실행 동안 하나의 상태 레코드를 생성하고 하나의 제어 레코드를 받아들인다.

제어 입력(215)은 로딩할 대응하는 마이크로그래프를 각각 식별하는 일련의 다수의 제어 요소를 수신할 수 있다. 각각의 제어 입력 요소는 식별된 마이크로그래프에 의해 처리될 작업 단위를 나타내는 데이터 입력을 통해 수신된 작업 요소의 흐름에서 작업 요소의 여러 서브세트와 연관된다. 일례로, 마이크로그래프를 식별하는 제어 요소는 해당 작업 단위를 처리하기에 적절한 마이크로그래프를 선택하기 위해 작업 단위로 하나 이상의 작업 요소를 해석하는 것에 기초하여 생성된다. 일례로, 마이크로그래프를 식별하는 제어 요소와 식별된 마이크로그래프에 의해 처리될 작업 단위를 나타내는 작업 요소는 독립적으로 수신되며, 여러 기술 중의 임의의 것을 사용하여 서로 매칭된다. 예를 들어, 마이크로그래프를 식별하는 제어 요소가 먼저 수신되고, 식별된 마이크로그래프에 의해 처리될 작업 단위를 나타내는 작업 요소가, 작업 단위 중의 하나 이상의 작업 요소를 나타내는 핵심 값(key value)을 대응하는 제어 요소(예를 들어, 작업 단위 내의 제1 작업 요소, 또는 작업 단위 중의 모든 작업 요소)에 매칭함으로써 결정된다. 이와 달리, "구분문자 작업 요소"(delimiter work element)라고 하는 작업 요소는 동일 작업 단위에 속하는 작업 요소의 상이한 시퀀스를 구분하는 구분문자로서 기능할 수 있다. 이와 달리, 특화 성분(200)은 각각의 제어 요소와 연관되는 연속하는 작업 단위에 속하도록 미리 정해진 개수의 작업 요소를 수신하도록 구성된다.

마이크로그래프(240)는 특화 성분(200)과 호환가능하도록 설계된 마이크로그래프의 집합 중에서 선택될 수 있다. 예를 들어, 마이크로그래프(240)의 입력 포트 및 출력 포트의 수는 특화 성분(200)의 입력 포트 및 출력 포트의 수와 매칭될 수 있다. 본 예에서, 마이크로그래프(240)는 2개의 입력 포트와 3개의 출력 포트를 가지며, 이들은 입력 흐름을 수신하도록 구성된 마이크로그래프(240)의 2개의 상이한 성분과 출력 흐름을 제공하도록 구성된 마이크로그래프(240)의 3개의 상이한 성분에 위치될 수 있다. 이와 달리, 마이크로그래프(240)의 다수의 입력 또는 출력 포트는 동일한 성분에 위치될 수 있다.

일례로, 특화 성분(200)은 미리 정해진 조건에 대하여 마이크로그래프(240)를 모니터링하고, 이들 조건에 응답할 수 있다. 예를 들어, 특화 성분(200)은 마이크로그래프(240)의 실행 동안의 대기 시간, 즉 레이턴시(latency)가 최대 임계값을 초과했는지 또는 타임아웃 동안인지를 판정하기 위해 개별의 프로세스를 사용해서 마이크로그래프(240)의 성분을 실행하는 프로세스를 모니터링할 수 있다. 이에 따라, 특화 성분(200)은, 예를 들어 마이크로그래프(240)의 제2 인스턴스를 로딩함으로써 조건에 응답할 수 있다. 마찬가지로, 에러 조건이 모니터링된다. 에러 조건을 검출하는 것에 따라, 특화 성분(200)은 에러를 로그할 수 있으며, 에러 조건에 기초하여 작업 단위를 리다이렉트하고, 필요하다면, 마이크로그래프(240)를 다시 시작하고, 에러를 상태 출력(235)을 통해 보고할 수 있다. 마이크로그래프(240)의 재시작은 특화 성분(200)이 포함되는 내포 데이터플로우 그래프의 임의의 다른 성분을 중단시키지 않아도 된다.

일례로, 특화 성분(200)은 실행할 마이크로그래프(240)를 판정하기 전에 입력 포트의 데이터 흐름을 해석한다. 일례로, 실행할 마이크로그래프(240)의 이름 등의 식별 정보가 데이터 흐름의 일부로서 특화 성분(200)에 제공되다. 또 다른 예로서, 마이크로그래프(240)를 식별하는 정보가 특화 성분(200)의 제어 입력(215)을 통해 제공된다.

특화 성분(200)은 데이터 기억 시스템(107)으로부터 마이크로그래프(240)를 로딩하고, 마이크로그래프(240)를 특화 성분(200)을 포함하는 데이터플로우 그래프에 삽입하는데, 이에 대해서는 나중에 더 구체적으로 설명하고, 이에 의해 마이크로그래프(240)가 데이터 흐름을 처리할 수 있게 된다.

동작이 완료되면, 특화 성분(200)은 마이크로그래프(240)를 제거한다. 일례로, 특화 성분(200)은 나중에 액세스하기 위해 데이터 기억 시스템(107)으로부터 상대적으로 더 용이하게 액세스 가능한 저장 위치에 기억되는 마이크로그래프 캐시 내에 마이크로그래프(240)를 기억시킬 수 있다.

3. 마이크로그래프 구조

도 3b를 참조하면, 마이크로그래프(240)의 예는, 업스트림 성분에 링크된 하나 이상의 입력 포트에 도달하는 데이터 흐름에서의 입력 작업 요소에 대한 동작을 수행하고, 다운스트림 성분에 링크된 하나 이상의 출력 포트를 떠나는 데이터 흐름에서의 출력 작업 요소를 생성하는, 데이터 처리 성분(305, 310, 315, 320)을 포함한다. 마이크로그래프(240)는 "인터페이스 성분"(interface component)이라고 하는, 특화 성분(200)에 마이크로그래프(240)를 삽입하는 프로세스가 가능하도록 구성된 성분(300A, 300B, 302A, 302B, 302C)을 포함한다. 인터페이스 성분은 마이크로그래프가 실행할 특화 성분에 삽입될 필요가 없는 독립된 데이터플로우 그래프로서 실행되도록 한다.

인터페이스 성분은 내포 특화 성분의 포트에 마이크로그래프를 연결하는 데에 사용된다. 마이크로그래프를 특화 성분에 삽입하는 것은, 각 인터페이스 성분을 특화 성분의 정확한 포트와 어떻게 짝을 지을 것인가를 판정하는 과정을 포함한다. 입력 인터페이스 성분(300A, 300B)은 출력 포트를 가지며, 출력 인터페이스 성분(302A, 302B, 302C)은 입력 포트를 가진다. 입력 인터페이스 성분이 특화 성분의 입력 포트와 짝을 이루면, 데이터플로우 링크가, 입력 인터페이스 성분의 출력 포트가 링크되는 포트와 해당 입력 포트 사이에 생성된다. 마찬가지로, 출력 인터페이스 성분이 특화 성분의 출력 포트와 짝을 이루면, 데이터플로우 링크가, 해당 출력 포트와 출력 인터페이스 성분의 입력 포트가 링크되는 포트 사이에 생성된다. 인터페이스 성분과 이들 각각의 특화 성분의 입력 및 출력 포트의 정확한 짝을 이룸은 다음과 같이 정해질 수 있다. 인터페이스 성분 및 특화 성분의 포트에는 식별자가 표시될 수 있다. 특화 성분의 입력/출력 포트에 할당된 식별자와 입력/출력 인터페이스 성분에 할당된 식별자 사이에 매칭이 있으면, 해당 포트와 해당 인터페이스 성분이 짝을 이룬 것이다. 식별자들 사이의 매칭은 정확할 수도 있고 정확하지 않을 수도 있다(예를 들어, 식별자의 일부 프리픽스 또는 포스트픽스 사이의 매칭을 찾는 것). 하나의 짝을 이룸 과정에서, 정확한 매칭이 정해지면, 수치적 서픽스(numeric suffix)가 붙은 인터페이스 성분이 대응하는 수치적 서픽스가 붙은 포트와 매칭된다(예를 들어, 특화 성분의 "out1" 포트는 인터페이스 성분 "Micrograph Output-1"과 짝을 이룰 것이다).

마이크로그래프가 특화 성분의 외부에서 실행되는 경우(예를 들어, 테스트를 위해 개발 환경(108)으로부터의 커맨드에 따라), 인터페이스 성분은 데이터세트 성분의 기능성을 제공하고, 인터페이스 성분의 출력 또는 입력 포트에 접속된 링크를 통해 데이터 흐름으로 작업 요소의 소스 또는 싱크를 제공한다. 적절한 기능성은 마이크로그래프가 특화 성분 내에 삽입되었는지 여부에 기초하여 정해진다. 인터페이스 성분은, 마이크로그래프가 특화 성분 내에 삽입될 때에 특화 성분과 마이크로그래프 사이에서 작업 요소를 전송하기 위한 명령, 및 마이크로그래프가 특화 성분 내에 삽입되지 않은 경우에 마이크로그래프와 저장 위치 사이에서 작업 요소를 전송하기 위한 명령을 각각 포함한다. 저장 위치는 입력 작업 요소를 제공하기 위해 판독되거나 출력 작업 요소를 수신하기 위해 기입되는 파일이 될 수 있다.

일례로, 마이크로그래프(240)는 마이크로그래프 내에 포함될 수 있는 데이터 처리 성분(예를 들어, 성분(305, 310, 315, 320))의 기능성에 제한을 가하는 것으로 구성된다. 예를 들어, 일례로, 마이크로그래프(240)의 데이터 처리 성분(305, 310, 315, 320)은 단일의 프로세스에서 실행될 수 있는 것이 요구될 수 있다(예를 들어, 본원에서 참조에 의해 원용하는 미국출원 공개번호 2007/0271381에 상세하게 개시된 것과 같이, 단일의 프로세서에서 중복시키는 것에 의해). 일례로, 마이크로그래프는 가입된 소스(예를 들어, 큐)로부터 데이터를 수신하는 가입자 성분(subscriber component)을 지원하지 않는다. 일례로, 마이크로그래프는 배치 데이터플로우 그래프로서 구성될 것이 요구될 수 있다. 일례로, 마이크로그래프(240)에 의해 실행되는 임의의 트랜잭션 동작이 단일 트랜잭션과 부합하여야 한다. 다른 예로서, 마이크로그래프(240)의 트랜잭션 특징, 예를 들어 체크포인트, 트랜잭션 콘텍스트, 다상 코미트(multi-phase commit)가 제어 입력(215)을 통해 제어된다.

데이터플로우 그래프 처리에서, 데이터의 연속 흐름은 통상적인 트랜잭션 시멘틱스에 영향을 줄 수 있다. 체크포인트 동작에는, 데이터 흐름 중의 임의의 시점에서, 데이터플로우 그래프가 데이터 흐름 중의 상기 시점으로부터 재시작할 수 있도록 충분한 상태 정보를 기억하는 과정이 포함된다. 체크포인트는 너무 빈번하게 행하면, 성능이 열화한다. 체크포인트를 너무 드물게 행하면, 트랜잭션이 실패한 경우의 회복 과정이 복잡해지고 리소스가 집중된다. 트랜잭션 콘텍스트는 그 동작이 더 큰 트랜잭션의 일부가 된다는 것을 마이크로그래프에게 알리는 데에 사용될 수 있다. 이러한 트랜잭션은 단일의 데이터 소스에 대하여 작용하는 다수의 성분을 포함하는 더 큰 트랜잭션이 되거나, 다수의 데이터 소스에 걸쳐, 예를 들어 2상 코미트 동작에서 트랜잭션을 조정하기 위해 필요한 정보를 포함할 수 있다.

4. 마이크로그래프 관리

도 4를 참조하면, 일례로, 특화 성분(405)은 특화 성분에 액세스 가능한 캐시에 일시에 로딩된(예를 들어, 로컬 메모리에 기억된) 하나 이상의 마이크로그래프를 가질 수 있다. 본 예에서, 하나의 마이크로그래프(430)는 특화 성분(405)을 포함하는 데이터플로우 그래프에 연결된다. 특화 성분(405)의 입력(440)은 마이크로그래프(430)의 입력(445)에 링크에 의해 연결되고, 마이크로그래프(430)의 출력(450)은 특화 성분(405)의 출력(455)에 링크에 의해 연결된다. 마이크로그래프(430)의 입력(440) 및 출력(450)은 입력 및 출력 인터페이스 성분, 또는 마이크로그래프를 특화 성분에 삽입하기 위한 임의의 다른 메커니즘을 나타낸다.

다른 마이크로그래프(410, 415, 420, 425)를 기억하는 캐시는 연결된 마이크로그래프(430)를 기억하는 동일 메모리에 위치될 수 있다. 일례로, 마이크로그래프(410, 415, 420, 425, 430)는, 특화 성분(405)을 수행하는 동일 프로세스 내에서 쓰레드로서, 또는 해당 프로세스의 자식 프로세스(child process)로서 실행될 수 있다. 이와 달리, 마이크로그래프(410, 415, 420, 425, 430)는 해당 프로세서의 동일한 메인 쓰레드 내에서 실행될 수 있다. 일례로, 특화 성분(405)은 마이크로그래프(410, 415, 420, 425, 430)의 다수의 복제를 수행한다. 일례로, 특화 성분(405)은 데이터 기억 시스템(107)에 기억된 원본 마이크로그래프를 액세스하기 전에 캐시에 기억된 선택된 마이크로그래프의 복제물을 사용하는데, 해당 복제물이 "부정한 것"(dirty)(원본 마이크로그래프에 변경이 있었다는 것을 나타냄)으로 표시되지 않는 한, 복제물을 사용한다. 선택된 마이크로그래프의 복제물이 캐시 내에 없으면, 특화 성분(405)은 데이터 기억 시스템(107)으로부터 마이크로그래프를 로딩한다. 일례로, 선택된 마이크로그래프가 "오프라인" 상태, 즉 선택된 마이크로그래프가 현재 이용할 수 없다(예를 들어, 마이크로그래프가 개발자에 의해 수정되는 과정에 있다)는 것을 나타내는 상태로 되는 것을 나타낼 수 있다(예를 들어, 캐시 내의 엔트리에 의해). 이에 따라, 특화 성분은 선택된 마이크로그래프를 로딩하는 데에 에러가 있다는 것을 나타낼 수 있으며, 또는 대체 마이크로그래프(예를 들어, 유사한 성능을 가진 상이한 마이크로그래프)를 로딩할 수 있다.

도 5a를 참조하면, 단일의 특화 성분(505)이 데이터 흐름에 동일 시간에 통합된 다수의 마이크로그래프(510, 515, 520)를 갖는 경우가 있다. 특화 성분(505)의 입력 포트(525)는 입력 데이터 흐름으로부터의 작업 요소를 다수의 데이터 흐름으로 분할하는 분할 성분(partition component)(557)을 사용하여 마이크로그래프(520, 515, 510)의 입력(530, 545, 555)에 연결된다. 마이크로그래프의 출력(535, 550, 560)은 다수의 데이터 흐름으로부터 작업 요소를 수집하고, 이들을 단일의 출력 데이터 흐름에 병합하는 성분(562)("수집 성분"이라고 함)을 사용하여, 특화 성분(505)의 출력(540) 포트에 연결된다. 이러한 구성에서, 특화 성분(505)은 인커밍 데이터의 마이크로그래프(510, 515, 520)로의 경로설정을 할 수 있다. 예를 들어, 성분이 동일한 마이크로그래프의 개별 복제물인 경우, 특화 성분(505)은 분할을 수행할 때에, 부하 균형 알고리즘(load balancing algorithm)(예를 들어, 라운드 로빈, 최소 사용 등)을 사용할 수 있다.

도 5b를 참조하면, 데이터플로우 그래프(565)는 커스터마이즈 성능이 높이 컨테이너 데이터플로우 그래프 내에 배치할 마이크로그래프의 유연한 조합을 가능하게 하는, 다수의 특화 성분을 포함하는 경우가 있다. 본 예에서, 데이터세트 성분(570)으로부터의 작업 요소(입력 데이터의 연속 스트림 또는 입력 데이터의 배치를 표현할 수 있음)가 데이터 처리 성분(572)에 의해 먼저 처리되고(예를 들어, 작업 요소를 리포맷함), 이어서 링크(574)를 통해 제1 특화 성분(576)에 전송된다. 특정 타입의 작업 요소를 검출하는 것에 의해, 성분(576)은 검출된 타입의 작업 요소를 처리하도록 구성된 마이크로그래프를 로딩한다. 제1 특화 성분(576)으로부터의 처리된 출력 작업 요소는 마이크로그래프(582)를 로딩하는 제2 특화 성분(580)에 전송된다. 본 구성에서, 제2 특화 성분(580)으로의 로딩을 위해 선택되는 마이크로그래프(582)는 선택된 제1 마이크로그래프(578)의 결과에 따라 달라질 수 있다. 작업 요소의 결과 출력은 데이터세트 성분(584)에 전송된다. 상이한 마이크로그래프의 많은 조합이 데이터플로우 그래프 내의 전략적 위치 내의 특화된 성분을 사용하여 동적으로 로딩될 수 있다. 이러한 간단한 예에서, 특화된 제1 성분(576)에 로딩될 수 있는 10개의 여러 가능한 마이크로그래프가 있고, 특화된 제2 성분(580)에 로딩될 수 있는 10개의 여러 가능한 마이크로그래프가 있다면, 데이터 흐름이 처리되는 동안 필요에 따라 동적으로 구성될 수 있는 100개의 상이한 데이터플로우 그래프가 존재하며, 데이터플로우를 100개의 상이한 실행하는 데이터플로우 그래프를 분할하는 것에 비해 필요한 리소스의 수가 훨씬 적어지며, 각 작업 단위에 대한 100개의 상이한 데이터플로우 그래프 중의 하나를 개시하는 것에 비해 대기시간이 훨씬 짧아지게 된다.

5. 전처리 및 후처리

특화 성분은 로딩된 마이크로그래프 내의 성분에 추가로 다른 성분을 포함할 수 있다. 도 6을 참조하면, 예를 들어, 특화 성분(605)은 마이크로그래프가 실행되기 전의 전처리와 마이크로그래프가 실행된 이후의 후처리를 포함한다(도면에서는, 마이크로그래프(615) 주변의 전처리 성분(610) 및 후처리 성분(620)으로 표현됨). 전처리 및 후처리 동작은, 예를 들어 트랜잭션 관리에 관련될 수 있다. 일례로, 각각의 마이크로그래프(615)는 전처리가 트랜잭션을 시작하고 후처리가 트랜잭션을 종료할 수 있는 경우의 별개의 트랜잭션을 나타낸다. 다른 예에서, 마이크로그래프(615)는 더 긴 트랜잭션에서 체크포인트를 나타낼 수 있다. 예를 들어, 마이크로그래프(615)는 2상 코미트 프로토콜을 사용하여 더 긴 트랜잭션의 일부가 될 수 있다. 이러한 트랜잭션은, 예를 들어 동일한 마이크로그래프의 다수의 실행이나 다수의 상이한 마이크로그래프를 사용하여 처리될 수 있다.

전처리 성분(610)은 데이터 기억부(도시 안 됨)로부터 마이크로그래프(615)를 로딩하고, 로딩한 마이크로그래프를 데이터 캐시에 저장할 수 있는데, 이는 나중에 액세스하거나 메모리 캐시(도시 안 됨)로부터 마이크로그래프의 로딩한 버전을 액세스하기 위한 것이며, 특화 성분(605)에 통합시킬 수 있다. 후처리 성분(620)은 특화 성분(605)의 데이터 흐름과의 통합으로부터 로딩된 마이크로그래프(615)를 제거할 수 있다. 다양한 다른 전처리 및 후처리 기능이 수행될 수 있는데, 마이크로그래프(615)에 의한 처리를 위한 데이터 흐름 내에 레코드를 준비하는 것에 의한 전처리(예를 들어, 레코드의 재포맷), 및 특화 성분(605)의 출력에 연결된 성분에 의한 처리를 위한 마이크로그래프(615)로부터 수신된 레코드를 준비하는 것에 의한 후처리를 포함한다.

6. 데이터베이스 연결 관리

도 7을 참조하면, 상이한 성분이 여러 타입의 데이터베이스를 액세스 가능하도록 하는 것이 요구되는 경우가 있다. 예를 들어, 성분(702)은 어느 판매자에 의해 제공되는 데이터베이스(706)를 액세스할 수 있어야 하고, 다른 성분(704)은 다른 판매자에 의해 제공되는 데이터베이스(704)를 액세스할 수 있어야 한다. 일반적으로, 성분(702)은 해당 성분에 통합된 라이브러리(710), 예를 들어, 데이터베이스(706)의 판매자에 의해 공급되는 라이브러리를 액세스함으로써, 데이터베이스(706)를 액세스할 것이다. 마찬가지로, 성분(704)은 해당 성분에 통합된 다른 라이브러리(712), 예를 들어, 데이터베이스(708)에 의해 제공되는 라이브러리를 액세스함으로써 데이터베이스(708)를 액세스할 것이다. 라이브러리는 특정 성분에 컴파일되거나, 특정 성분에 동적으로 연계될 수 있다.

도 8을 참조하면, 특화 성분(802)은 다수의 상이한 마이크로그래프(804, 806, 808)를 포함할 수 있다. 일례로, 마이크로그래프(808)는 특화 성분(802) 내에 삽입되며, 마이크로그래프(804, 806)는 필요에 따라 동적으로 삽입될 액세스 가능한 캐시에 로딩된다. 마이크로그래프 중의 일부는 하나의 데이터베이스(706)를 액세스할 수 있고, 나머지 마이크로그래프는 다른 데이터베이스(708)를 액세스할 수 있다. 통상적으로, 2개의 데이터베이스를 액세스하기 위해서는, 제1 데이터베이스(706)를 지원하는 라이브러리(710)와 특화 성분(802)과 통합될 다른 데이터베이스(708)를 지원할 다른 라이브러리(712)를 필요로 할 수 있다. 다수의 여러 데이터베이스 라이브러리를 통합하는 것에 의해, 특화 성분(802)과 연관된 바이너리의 크기가 증가하고, 하나의 판매자에 의해 공급되는 어느 라이브러리(710)가 다른 판매자에 의해 공급되는 다른 라이브러리(712)와 호환가능한 경우에는 동작을 예측할 수 있다. 예를 들어, 부호 이름이 충돌하거나 컴파일 모델이 달라질 수 있다.

이러한 비호환을 피하고 및/또는 바이너리의 크기를 감소시키는 한가지 방법은 특화 성분으로부터 라이브러리를 제거하고, 대신에 특화 성분을 실행하는 프로세스로부터 별개의 컴퓨터 프로세스에 의해 액세스되도록 하는 것이다. 도 9a를 참조하면, 데이터베이스 라이브러리(710, 712)는 특화 성분(902)으로부터 제거된다(예를 들어, 컴파일되지 않거나 성분((02)에 동적으로 연계되지 않음). 마이크로그래프 성분(904, 906, 908)은 클라이언트/서버 인터페이스를 통해 라이브러리(710, 712)를 액세스함으로써 데이터베이스(706, 708)를 액세스한다. 라이브러리(710, 712)를 액세스하기 위해, 특화 성분(902)은 프로세스간 통신을 사용하여 외부 처리에서 실행되는 쌍을 이루는 서버 스터브(server stub)(912)와 통신하는 통합된 클라이언트 스터브(910)를 사용한다. 예를 들어, 외부 프로세스 및 특화 성분(902)은 공유 메모리 세그먼트를 액세스함으로써 데이터를 교환해도 된다. 마찬가지로, 서버 스터브(920)를 실행하는 외부 프로세스를 액세스하기 위해, 특화 성분(902)은 프로세스간 통신을 사용하여 외부 프로세스에서 구동되는 서버 스터브(920)와 통신하는 다른 통합된 클라이언트 스터브(918)를 사용한다.

서버 스터브(912)는 데이터베이스(706)에 대한 액세스를 제공하기 위해 데이터베이스 라이브러리(710)와 통합한다. 마찬가지로, 서버 스터브(920)는 데이터베이스(708)에 대한 액세스를 제공하기 위해 데이터베이스 라이브러리(712)와 통합한다. 일반적으로, 클라이언트 스터브(910, 918)는 데이터베이스 라이브러리(710, 712)보다 작은 메모리 풋프린트(memory footprint)를 가지며, 따라서 특화 성분이 메모리 리소스를 덜 사용하게 된다. 또한, 데이터베이스 라이브러리는 특화 성분(902)으로부터 제거되었기 때문에, 데이터베이스 라이브러리(710, 712) 사이의 비호환성(incompatibility)의 위험이 없다.

도 9b를 참조하면, 일례로, 클라이언트 스터브(client stub)(910, 918) 및 서버 스터브(912, 920)는 데이터베이스 라이브러리(710, 712)의 각각의 애플리케이션 프로그래밍 인터페이스(API)를 밀접하게 반영하도록 구성된다. 마이크로그래프(904, 906, 908)를 라이브러리 API의 차이로부터 분리시키기 위해, 추출 층(930)이 특화 성분(902)에 통합된다. 추출 층(930)은 여러 데이터베이스에 대한 데이터베이스 라이브러리들 사이의 차이에 상관없이 표준 데이터베이스 작용을 수행하는 단일의 API를, 여러 데이터베이스에 액세스하기 위해 필요할 수 있는 마이크로그래프 내의 다수의 상이한 성분에 제공한다. 일례로, 추출 층(930)은 마이크로그래프의 성분으로부터의 요청을, 클라이언트 스터브(910, 918)의 라이브러리 특정 API 전용 호출로 변환한다. 일례로, 추출 층(930)은 마이크로그래프 성분으로부터의 요청을 일반 호출로서 전달하고, 각각의 클라이언트 스터브를 일반 호출로부터 각각의 서브 스터브의 API에 대한 라이브러리 특정 호출로의 변환을 수행하도록 구성된다.

7. 컴파일 및 파라미터

도 10을 참조하면, 일례로, 데이터플로우 그래프 컴파일 및 실행 시스템(1000)은 데이터플로우 그래프 컴파일러(1015), 파라미터 해석기(1030), 데이터플로우 그래프 로더(1035), 및 데이터플로우 그래프 실행 엔진(1040)을 포함한다. 컴파일러(1015)는 파라미터 세트 데이터 기억부(1005)로부터 파라미터 세트 중의 파라미터에 기초하여, 컴파일되지 않은(un-compiled) 데이터플로우 그래프 데이터 기억부(1010)로부터, 마이크로그래프를 포함하는 컴파일되지 않은 데이터플로우 그래프를 처리한다. 소정의 파라미터와 연관된 값은 데이터플로우 그래프의 다양한 특징을 판정할 수 있다. 컴파일러(1015)는 파라미터 세트로부터의 값을 사용하여 데이터플로우 그래프를 컴파일하여 컴파일된 데이터플로우 그래프를 생성한다. 컴파일된 데이터플로우 그래프는 컴파일된 데이터플로우 그래프 데이터 기억부(1020)에 기억된다. 데이터 기억부(1010, 1020)는, 예를 들어 데이터 기억 시스템(107) 내에서 호스트될 수 있다. 컴파일러(1015), 파라미터 해석기(1030), 및 로더(1035)는, 예를 들어 사전실행 모듈(105)의 일부로서 구현될 수 있다. 실행 엔진(1040)은 실행 모듈(106)의 일부로서 구현될 수 있다.

파라미터 세트 데이터 기억부(1005)는 파라미터 세트를 포함하며, 각각의 파라미터 세트는 데이터플로우 그래프와 연관될 수 있다. 파라미터 세트는 파라미터 요소 그룹을 포함한다. 이들 요소는 파라미터 및 표현식(expression)을 포함하는데, 표현식은 평가될 때(예를 들어, 계산을 수행함으로써, 일부의 경우에는, 다른 기준 파라미터의 값을 구해서) 파라미터에 대한 한계가 되는 값으로 분해된다. 각각의 컴파일되지 않은 파일 데이터플로우 그래프는 하나 이상의 파라미터 세트와 연관될 수 있다. 일부 파라미터는 컴파일 프로세스에 영향을 미칠 수 있다. 예를 들어, 일부 파라미터는 소정의 조건부 성분이 데이터플로우 그래프의 컴파일된 버전에 포함되는지 여부에 영향을 줄 수 있다. 일부 파라미터는 컴파일된 데이터플로우 그래프의 로딩 및 런칭에 영향을 줄 수 있다. 예를 들어, 파라미터의 값은 컴퓨터에 기억된 파일, 또는 입력 데이터를 포함하거나 출력 데이터에 대한 타겟이 되는 데이터세트 성분과 연관된 기억 위치(예를 들어, 데이터베이스 내의 테이블을 나타내는 기억 위치)의 이름에 대한 경로가 될 수 있다. 파라미터의 값은 소정의 성분과 병렬로 얼마나 많은 방법을 구동시킬 필요가 있는지를 판정할 수 있다. 파라미터의 값은 성분들 간의 링크의 데이터 흐름이, 연계된 성분을 실행하는 여러 컴퓨터 및/또는 프로세서 사이의 경계를 가로지르는지 여부를 판정하여, 공유 메모리 흐름이 아니라 TCP/IP 흐름이 할당될 수 있다. 파라미터의 값은 다른 파라미터에 의존하는 경우도 있다. 예를 들어, 현재 변환 조사 파일의 이름은 날짜를 특정하는 파라미터에 의존할 수 있다.

일반적으로, 파라미터는 콘텍스트에 기초하여 파라미터 검사(parameter scoping)에 의한 값에 결합된다. 소정의 파라미터는 제1 콘텍스트 내의 하나의 값과 다른 콘텍스트 내의 상이한 값을 가질 수 있다. 파라미터는 컴파일이 행해지는 동안의 값(예를 들어, 파라미터가 컴파일 프로세스에 영향을 줄 수 있는 경우에, 컴파일러(1015)에 의해), 실행 시간 중에(예를 들어, 로더(1035)가 컴파일된 데이터플로우 그래프 데이터 구조를 실행 엔진(1040)을 위한 메모리에 로딩하는 경우), 데이터플로우 그래프가 실행되는 동안(예를 들어, 파일이 판독 또는 기입되기 직전까지 분해되는 파일 이름을 제공하는 파라미터를 지연시키는 경우), 또는 일부의 경우에, 여러 시간의 조합에 결합될 수 있다. 파라미터의 값은, 예를 들어 데이터 소스 내에 포함된 파일로부터 정의된, 또는 파라미터가 다른 파라미터와 "동일한" 관계를 갖도록 설정함으로써, 동일 콘텍스트 또는 상이한 콘텍스트 내의 다른 파라미터와 관련해서 정의된, 사용자 인터페이스를 통해 사용자에 의해(예를 들어, 프롬프트에 응답하여) 정의될 수 있다.

데이터플로우 그래프용의 파라미터는 컴파일 동안(예를 들어, 컴파일러(1015)에 의해) 등과 같이 임의의 입력 데이터가 수신되기 전에 결합될 수 있다. 데이터플로우 그래프의 컴파일 이전 또는 동안에 결합되는 이러한 파라미터를 "정적 파라미터"(static parameter)라고 한다. 데이터플로우 그래프용의 파라미터는 실행 직전(예를 들어, 새로운 데이터 배치 또는 데이터 흐름 내의 초기 작업 단위의 수신에 응답하여 로더(1035)에 의해), 또는 실행 시간 동안(예를 들어, 데이터 흐름 내의 새로운 작업 단위를 취급하도록 데이터의 새로운 배치를 취급하도록 새로운 마이크로그래프를 로딩하는 것에 응답하여 실행 엔진(1040)에 의해) 등의 새로운 입력 데이터를 수신하는 것에 따라 결합될 수 있다. 데이터플로우 그래프의 컴파일 이후 및 실행 시간에 근접하는 것에 결합되는 이러한 파라미터를 "동적 파라미터"라고 한다. 어떤 경우, 동적 파라미터는 데이터 흐름 내의 작업 단위 또는 데이터의 새로운 배치에 대해 재평가를 할 필요는 없다. 정적 파라미터는 그래프가 컴파일되는 동안에 평가되는 것이 일반적이며, 컴파일된 데이터플로우 그래프에 영향을 줄 수 있다. 그러나, 정적 파라미터는 예를 들어 컴파일이 실행 시간까지 이루어지지 않은 경우에 실행 시간에 평가될 수 있다. 동적 파라미터는 실행 시간에 평가되고 데이터플로우 그래프를 개시하는 전체 레이턴시에 기여할 수 있기 때문에, 동적 파리머터 평가는, 일부의 경우에, 동적 파라미터의 성능을 제한하는 것에 의해 최적화될 수 있다. 예를 들어, 동적 파라미터는 특정 데이터 타입(예를 들어, 문자열)에 결합될 수 있으며, 소정의 표현식 내에서 참조되지 않을 수 있으며, 더 제한된 결합(예를 들어, "동일한" 결합에 의해 직접적으로 또는 간접적으로 참조되지 않는)을 가질 수 있다. 그러나, 다른 예에서는, 동적 파라미터가 이들의 기능이 제한되지 않을 수 있으며, 마치 다른 파라미터처럼 사용된다.

컴파일러(1015)를 컴파일 프로세스 동안 정적 파라미터와 동적 파라미터를 구분하도록 하는 방법이 많이 있다. 그중 하나는, 동적 파라미터가 결합되지 않은 상태를 가져야 하는 컴파일러에 신호를 보내는, 파라미터 세트 내의 동적 파라미터를 위한 플래그 또는 특별한 신택스를 사용하는 것이다. 다른 방법은, 파라미터 세트의 정적 및 동적 파라미터를 여러 상이한 서브세트로 분리하고, 컴파일러(1015)에 정적 파라미터 서브세트만을 제공하는 것이다. 동적 파라미터의 서브세트는 실행 시간에 로더(135)에 제공된다. 컴파일러(1015)가 동적 파라미터를 분해된 값에 결합하지 않아도, 컴파일러(1015)는 컴파일 동안 동적 파라미터를 체크(예를 들어, 타당하지 않은 신택스 또는 다른 오류를 발견하기 위해)하도록 구성될 수 있다. 소정의 표현식은 정적 및 동적 파라미터 참조를 모두 포함할 수 있다. 예를 들어, 정적 디렉토리 이름 파라미터는 컴파일러(1015)에 의해 분해될 수 있지만, 동적 파일 이름 파라미터는 분해되지 않을 수 있으며, 컴파일러(1015)는 컴파일 프로세스 동안 분해되지 않은 동적 파라미터 참조를 보존할 수 있는데, 동적 파라미터로서 인식되기 때문이다.

파라미터의 존재 또는 값은 데이터플로우 그래프 내의 성분의 토폴로지 및/또는 접속성에 영향을 줄 수 있다. 파라미터는 하나 이상의 성분에 의해 수행되는 동작이 그래프의 특정 실행 동안 실행되지 않는 것을 나타낼 수 있다. 이것은 특히 동일한 데이터플로우 그래프가 2개의 상이한 데이터 소스에서 사용되는 경우와 관련될 수 있다. 예를 들어, 하나의 데이터 소스가 제1 포맷(예를 들어, UTF-8)이고, 다른 소스가 적어도 일부 문자를 위한 상이한 인코딩을 사용하는 제2 포맷의 텍스트를 포함할 수 있다. 이들 데이터 소스를 처리하는 데이터플로우 그래프는 제2 포맷 내의 텍스트를 UTF-8 포맷으로 변환할 필요가 있을 수 있다. 그러나, UTF-8 데이터 소스에 액세스할 때에, 변환은 필요하지 않을 것이다. 파라미터는 데이터플로우 그래프에, 데이터가 이미 UTF-8 포맷으로 되어 있고 변환 성분이 바이패스될 수 있다는 것을 통보하는 데에 사용될 수 있다. 일례로, 파라미터 값에 기초한 조건부 성분의 배제에 의해 조건부 성분이 제거되고 컴파일된 데이터플로우 그래프 내의 데이터플로우와 교체된다. 조건부 성분에 대한 추가의 설명은, 본원에서 참조에 의해 원용하는 미국특허 7,164,422에 개시되어 있다.

도 10을 다시 참조하면, 컴파일러(1015)는 컴파일되지 않은 데이터플로우 그래프 데이터 기억부(1010)로부터 컴파일되지 않은 데이터플로우 그래프를 취득한다. 컴파일러(1015)는 파라미터 세트 데이터 기억부(1005)로부터 데이터플로우 그래프를 컴파일하는 데에 사용되는 파라미터 세트를 취득한다. 일례로, 다수의 상이한 파라미터 세트는 소정의 데이터플로우 그래프, 각각의 파라미터 세트에 사용될 수 있으며, 그래프 컴파일러(1015)는 컴파일되지 않은 데이터플로우 그래프의 대응하는 버전을 컴파일할 수 있다. 데이터플로우 그래프의 각각의 컴파일된 버전은 파라미터 세트 내의 파라미터의 값에 기초하여 일부 성분 또는 다른 실행가능한 문(executable statement)을 포함하거나 배제할 수 있다. 컴파일된 데이터플로우 그래프는, 예를 들어, 컴파일된 데이터플로우 그래프가 직렬화된 경우에, 컴파일된 데이터플로우 그래프를 생성하기 위해 사용된 파라미터 세트로부터 결합된 파라미터 값과 연관될 수 있다. 컴파일된 데이터플로우 그래프는 다수의 상이한 메커니즘(예를 들어, 조사 테이블, 데이터베이스 내의 외래 키와 주요 키의 관계 등)을 사용하여 연관된 파라미터 세트로부터 파라미터 값과 연관된다. 컴파일된 데이터플로우 그래프 데이터 기억부(1020)는, 예를 들어 판독 및 기입 동작을 할 수 있는 임의의 파일 시스템 또는 데이터베이스를 사용하여 구현될 수 있다.

데이터플로우 그래프 실행 동안("실행 시간"에), 데이터는 입력 데이터 소스(1025)로부터 시스템에 입력된다. 입력 데이터 소스(1025)는 고유의 기억 포맷과 인터페이스(예를 들어, 데이터베이스 테이블, 스프레드시트 파일, 플랫 텍스트 파일, 또는 메인프레임에 의해 사용되는 네이티브 포맷)를 가질 수 있는 다양한 개별의 데이터 소스를 포함할 수 있다. 각각의 데이터 소스는 동일 컴퓨터 시스템(예를 들어, 파일)에 호스트되는 시스템(1000)에 대해 로컬이 되거나, 근거리 또는 광대역 데이터 네트워크를 통해 액세스되는 원격 컴퓨터에 호스트되는 시스템(1000)에 대해 원격이 될 수 있다.

파라미터 해석기(1030) 및 로더(1035)는 데이터플로우 그래프가 기억된 컴파일된 데이터플로우 그래프로부터 신속하게 로딩되도록 하고, 부담이 되는 컴파일 프로세스를 피하도록 하며, 수신된 입력 데이터에 따라 데이터플로우 그래프의 여러 컴파일된 버전 중에서 선택하는 것에 의해 실행 시간에 유연성을 허용하도록 한다. 파라미터 해석기(1030)는, 입력 데이터 소스(1025)로부터 수신하는 입력 데이터에 따라, 해당 입력 데이터와 실행 시간까지 알지 못한 다른 값을 해석하여, 타겟 데이터플로우 그래프와 함께 사용될 하나 이상의 파라미터(정적 파라미터 및 동적 파라미터를 포함)에 대한 값을 정한다. 타겟 데이터플로우 그래프는 상이한 각각의 파라미터 세트를 사용하여 컴파일된 데이터플로우 그래프 데이터 기억부(1020) 내에 기억된 여러 버전으로 컴파일되었던 컴파일되지 않은 데이터플로우 그래프이다. 로더(1035)는 파라미터 해석기(1030)에 의해 제공되는 정적 파라미터의 임의의 값을 매칭을 구하기 위해 타겟 데이터플로우 그래프의 컴파일된 버전 중의 임의의 것을 생성하는 데에 사용될 수 있었던 이들 동일 파라미터의 임의의 값과 비교한다. 로더(1035)가 정적 파라미터 내에 매칭을 찾는다면, 로더(1035)는 동적 파라미터를 분해 및 결합할 수 있으며, 실행 엔진(1040)에 의해 런칭될 데이터플로우 그래프를 로딩할 수 있다. 로더(1035)가 정적 파라미터에서 매칭을 찾지 못하면, 로더(1035)는 입력 데이터를 에러 프로세스(도시 안 됨)로 보내거나, 여러 상이한 파라미터 값을 최적화되지 않은 디폴트로서 취급할 수 있는 이용가능한 타겟 데이터플로우 그래프의 버전을 가질 수 있다. 이와 달리, 로더는 새로운 버전의 타겟 데이터플로우 그래프를 적절한 정적 파라미터 값과 비교하도록 컴파일러(1015)를 개시할 수 있다. 이들 경우에, 컴파일은 필요에 따라 행해질 수 있다. 타겟 데이터플로우 그래프가 실행되는 경우, 컴파일은 실행 시간에 행해지며, 결합된 정적 파라미터를 갖는 결과의 컴파일된 데이터플로우 그래프가 보존된다. 이어서, 타겟 데이터플로우 그래프가 실행되는 경우, 바람직한 정적 파라미터 값을 갖는 컴파일된 버전이 발견되지 않은 경우에는 다시 컴파일한다.

예를 들어, 파라미터 A, B, C(A와 B는 정적 파라미터, C는 동적 파라미터)를 포함하는 파라미터 세트의 경우, A=True, B=False를 사용하여 컴파일한 타겟 데이터플로우 그래프의 컴파일된 제1 버전과, A=True, B=True를 사용하여 컴파일한 동일 타겟 데이터플로우 그래프의 컴파일된 제2 버전을 고려한다. 파라미터 해석기(1030)에 의해, 수신된 작업 단위는 A=True, B=True, 및 C=True를 가진 타겟 데이터플로우 그래프를 사용하여 처리되어야 한다고 판정하면, 컴파일된 제2 버전이 로딩될 수 있으며, 동적 파라미터 C가 로더(1035)에 의해 결합된다. 파라미터 해석기(1030)에 의해 A=False, B=True, 및 C=True를 가진 타겟 데이터플로우 그래프를 사용해서 수신된 작업된 단위가 처리되어야 한다고 판정되면, 새로운 버전의 타겟 데이터플로우 그래프가 A=False 및 B=True를 가진 컴파일러(1015)에 의해 컴파일되고, 동적 파라미터 C는 로더(1035)에 의해 결합된다. 새롭게 컴파일된 버전은 나중에 사용하기 위해 컴파일된 데이터플로우 그래프 데이터 기억부(1020)에 기억시켜도 된다.

로더(1035)는 입력 데이터 소스(1025)로부터 입력 데이터의 흐름을 처리하기 위해 실행될 그래프 실행 엔진(1040)에 액세스 가능한 메모리에, 선택된 컴파일된 데이터플로우 그래프를 로딩한다. 일례로, 로더(1035)의 기능은 실행되는 데이터플로우 그래프 내의 특화 성분에 의해 수행되며, 로딩된 데이터플로우 그래프는 특화 성분 내에 삽입된 마이크로그래프이다. 로더(1035)는 컴파일된 데이터플로우 그래프 데이터 기억부(1020)를 반드시 액세스하지 않고도, 메모리 내에 캐시 저장된(적절한 정적 파라미터 값이 사용되었다고 판정된 후) 선택된 컴파일된 데이터플로우 그래프의 사전 로딩된 버전에 액세스할 수 있다. 로딩된 데이터플로우 그래프는 실행 엔진(1040)에 의해 실행된다. 입력 데이터가 타겟 데이터플로우 그래프에 의해 처리되면, 데이터플로우 그래프는 시스템으로부터 언로딩되거나, 나중에 액세스하기 위해 캐시 저장될 수 있다.

일반적으로, 데이터플로우 그래프의 컴파일은 그래프가 실행가능한 포맷으로 변환되는 프로세스이다. 실행가능 포맷은 플랫폼 특정 형식(예를 들어, 머신 코드) 또는 중간 형식(예를 들어, 바이트 코드)이 될 수 있다. 예를 들어, 컴파일러(1015)는 정적 파라미터를 분해하고, 데이터플로우 그래프를 횡단하며, 이것을 실행할 준비가 된 일련의 데이터 구조로 감축한다. 정점과 링크로서 표현되는 데이터플로우 그래프로부터 머신 코드로의 변환은 다수의 단계를 포함할 수 있다. 이들 단계 중 하나는 데이터플로우 그래프가 3세대 프로그래밍 언어(예를 들어, C, C#, C++, Java)로 변환되는 동적 코드 생성을 포함할 수 있다. 3세대 언어로부터, 기계로 판독가능한 코드 또는 바이트 코드는 표준 컴파일러를 사용해서 생성될 수 있다.

일례로, 파라미터가 정적 파라미터로서 처리되는지 동적 파라미터로서 처리되는지 여부는 컴파일까지 정해지지 않는다. 평가되는 파라미터 및 이들의 값은 정적 파라미터로서 처리되는 컴파일된 데이터플로우 그래프로 하드 코딩된다. 반면에, 동적 파라미터는 일반적으로 컴파일할 때에는 평가되지 않고, 그래프를 로딩하거나 실행할 때에 평가된다. 앞서 설명한 바와 같이, 파라미터 세트에 의해 정해지는 값은 실행 시간에 신속한 로딩 및 실행을 위해 여러 컴파일된 버전의 데이터플로우 그래프를 제시하기 위해 사용된다. 파라미터 세트로부터 파라미터 값이 컴파일된 그래프에 대해 유효한 값만을 확정적으로 정의하는 경우에, 해당 값은 컴파일된 데이터플로우 그래프로 부호화되며, 파라미터는 정적 파라미터로서 취급된다. 다른 경우로서, 파라미터 세트로부터의 파라미터 값이 가능한 값의 범위에 있으면, 파라미터는 정적 파라미터로서 컴파일할 때에 평가되지 않고, 로딩할 때나 실행 시간에 동적 파라미터로서 평가될 수 있다.

컴파일 프로세스 동안, 컴파일러는, 예를 들어 불필요한 실행가능 문을 제거함으로써, 데이터플로우 그래프를 최적화할 수 있다. 예를 들어, 데이터플로우 그래프는 조건부 성분을 포함할 수 있다. 조건부 성분은 하나 이상의 파라미터의 값에 따라 컴파일된 데이터플로우 그래프로에 포함되거나 이로부터 배제되는 일련의 실행가능 문을 포함할 수 있다. 조건부 성분은 그래프 최적화 또는 특화 등의 다양한 목적에 사용될 수 있다. 그래프 최적화에 대하여, 애플리케이션은 이들로부터의 값이 사용되지 않는 경우에 데이터세트의 생성 또는 프로세스를 생략함으로써, 그래프가 더 효율적으로 실행되도록 한다. 그래프 특화의 경우, 애플리케이션은 구체적인 원하는 레벨에 따라 여러 상이한 출력 데이터세트의 생성을 조건화하거나 그래프의 몇 가지 선택적인 부분 중의 하나를 실행할 수 있다.

상기 설명한 방법들은 컴퓨터에서 소프트웨어에 의해 구현될 수 있다. 예를 들어, 소프트웨어는 하나 이상의 프로세서, 하나 이상의 데이터 기억 시스템(휘발성, 비휘발성, 비일시적 메모리 및/또는 기억 요소를 포함), 하나 이상의 입력 장치 또는 포트, 및 하나 이상의 출력 장치 또는 포트를 포함하는, 하나 이상의 프로그램된 또는 프로그램가능한 컴퓨터 시스템(분산, 클라이언트/서버, 또는 그리드 등의 다양한 구조를 가짐)에서 실행되는 하나 이상의 컴퓨터 프로그램의 절차를 구성한다. 소프트웨어는 계산 그래프의 설계 및 구성에 관련된 다른 서비스를 제공하는 더 큰 프로그램의 하나 이상의 모듈을 형성할 수 있다. 그래프의 노드 및 요소는 컴퓨터로 판독가능한 매체에 기억된 데이터 구조 또는 데이터 레포지토리 내에 기억된 데이터 모델에 부합하는 다른 조직화된 데이터로서 구현될 수 있다.

소프트에어는 범용 또는 전용의 프로그램가능한 컴퓨터로 판독가능한 CD-ROM과 같은 기억 매체에 제공되거나, 네트워크와 같은 통신 매체를 통해 실행가능한 컴퓨터로 전달(전파 신호로 부호화되는)될 수 있다. 모든 기능은, 전용의 컴퓨터상에서, 또는 코프로세서와 같은 전용의 하드웨어를 사용해서 수행될 수 있다. 소프트웨어는, 해당 소프트웨어에 의해 특정된 연산의 상이한 부분이 여러 컴퓨터에서 수행되는 분산 방식으로 구현되어도 된다. 이러한 각각의 컴퓨터 프로그램은, 본 명세서에서 설명하는 절차를 수행하도록 기억 매체 또는 디바이스가 컴퓨터 시스템에 의해 판독될 때에 컴퓨터를 구성 및 운영하기 위한, 범용 또는 전용의 프로그램가능한 컴퓨터에 의해 판독가능한 기억 매체 또는 디바이스(예를 들어, 고체 메모리 또는 매체, 자기 또는 광학 매체)에 기억되거나 다운로드되도록 하는 것이 바람직하다. 본 발명의 시스템은 컴퓨터 프로그램에 맞게 구성된, 컴퓨터로 판독가능한 기억 매체로서 구현될 수도 있는데, 이러한 기억 매체는 컴퓨터 시스템으로 하여금, 본 명세서에서 설명한 기능의 수행을 위해 특정되고 미리 정해진 방식으로 동작할 수 있도록 구성된다.

본 발명에 대하여 많은 실시예를 설명하였다. 그렇지만, 본 발명의 범위를 벗어남이 없이 다양한 변형이 가능하다는 것을 알 수 있을 것이다. 예를 들어, 상기 설명한 단계들 중 몇몇은 반드시 그 순서대로 수행되지 않아도 되며, 설명된 것과 다른 순서대로 수행되어도 된다.

이상의 설명은 청구범위에 의해 정해지는 본 발명의 범위를 제한하기 위한 것이 아니라 예시일 뿐이다. 예를 들어, 앞서 설명한 많은 기능적 단계들은 전체적인 과정에 실질적인 영향을 미치지 않으면서, 다른 순서로 수행되어도 된다. 다른 실시예는 이하의 청구범위에 포함된다.

본 출원은 2010년 6월 15일에 제출된 미국출원 61/355,129호에 대하여 우선권을 주장하며, 그 내용을 본원에 참조에 의해 원용한다.

Claims

데이터 기억 시스템에 기억된 컴파일된 데이터플로우 그래프(compiled dataflow graph)를 사용하여 데이터 처리 시스템에서 데이터를 처리하는 방법으로서,
하나 이상의 작업 요소(work element)를 각각 포함하는 다수의 작업 단위를 수신하는 단계; 및
제1 작업 단위의 수신에 의해 상기 데이터 처리 시스템에 로딩된 컴파일된 제1 데이터플로우 그래프를 사용하여 상기 제1 작업 단위를 처리하는 단계
를 포함하며,
상기 컴파일된 제1 데이터플로우 그래프는 데이터 처리 성분(data processign component) 사이에서 작업 요소의 흐름을 나타내는 링크에 의해 연결된 데이터 처리 성분을 나타내는 노드를 포함하는 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일되고,
상기 작업 단위를 처리하는 단계는,
상기 제1 작업 단위를 해석(analyze)하여, 상기 제1 작업 단위의 특징을 판정하는 단계;
상기 제1 작업 단위가 수신되기 전에, 적어도 컴파일이 이루어진 몇몇 컴파일된 데이터플로우 그래프를 포함하는 상기 데이터 기억 시스템에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별해서, 상기 제1 작업 단위의 정해진 특징을 갖는 작업 단위를 처리하는 단계;
식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하는 단계; 및
제1 데이터플로우 그래프를 사용하여 제1 작업 단위 내의 적어도 하나의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다수의 작업 단위는 수신된 작업 요소의 흐름 내에의 하나 이상의 작업 요소로 이루어진 여러 상이한 인접한 세트에 대응하는, 방법.
제1항에 있어서,
상기 다수의 작업 단위는 상이한 각각의 수신된 파일 내의 하나 이상의 작업 요소로 된 상이한 배치(batch)에 대응하는, 방법.
제1항에 있어서,
상기 로딩하는 단계는, 상기 컴파일된 제1 데이터플로우 그래프로부터 제1 데이터플로우 그래프를 나타내는 데이터 구조를 검색하고, 검색된 데이터 구조를 제2 데이터플로우 그래프에 로딩하는 단계를 더 포함하는, 방법.
제4항에 있어서,
상기 제2 데이터플로우 그래프는 상기 제1 작업 단위가 수신되기 전에 실행되고 있었던 것인, 방법.
제4항에 있어서,
상기 검색된 데이터 구조를 제2 데이터플로우 그래프에 로딩하는 단계는, 상기 제1 데이터플로우 그래프 내에서 데이터 처리 성분을 실행하는 제1 프로세스를 제공하도록 구성된 제2 데이터플로우 그래프의 내포 성분(containing component) 내에 제1 데이터플로우 그래프를 삽입(embed)하는 단계를 포함하는, 방법.
제6항에 있어서,
상기 제2 데이터플로우 그래프의 내포 성분은 상기 제1 데이터플로우 그래프 내에서 데이터 처리 성분의 실행을 모니터링하는 제2 프로세스를 제공하도록 구성된, 방법.
제7항에 있어서,
상기 제2 프로세스는, 소정의 작업 요소를 정확하게 처리하기 위해 상기 제1 데이터플로우 그래프 내의 하나 이상의 데이터 처리 성분의 실패(failure)를 검출하면, 상기 제2 데이터플로우 그래프의 실행을 중단하지 않고, 상기 제1 데이터플로우 그래프의 실행을 중단하는, 방법.
제7항에 있어서,
상기 제2 프로세스는, 상기 제1 작업 요소의 처리에서 제1 데이터플로우 그래프 내에서 하나 이상의 데이터 처리 성분의 지연을 검출하게 되면, 상기 제2 데이터플로우 그래프의 실행을 중단하지 않고 제1 데이터플로우 그래프의 실행을 연기(suspend)하고, 상기 제1 작업 단위 이후에 수신된 제2 작업 단위를 처리하기 위해 제2 데이터플로우 그래프의 내포 성분 내에 제3 데이터플로우 그래프를 삽입하는, 방법.
제6항에 있어서,
상기 제2 데이터플로우 그래프의 내포 성분은, 상기 제1 프로세스가 사용하는 제1 애플리케이션 프로그래밍 인터페이스를 제공하여, 제1 원격 데이터베이스에 대한 라이브러리에 액세스하는 제2 프로세스와 통신하도록 구성된 것인, 방법.
제10항에 있어서,
상기 제2 데이터플로우 그래프의 내포 성분은 상기 제1 프로세스가 사용되는 제2 애플리케이션 프로그래밍 인터페이스를 제공하여, 상기 제1 원격 데이터베이스에 대한 라이브러리와 상이한 제2 원격 데이터베이스에 대한 라이브러리에 액세스하는 제3 프로세스와 통신하도록 구성된 것인, 방법.
제11항에 있어서,
상기 제2 데이터플로우 그래프의 내포 성분은 상기 제2 데이터플로우 그래프의 다수의 성분과 호환가능한 제3 애플리케이션 프로그래밍 인터페이스를 제공하도록 구성된 것인, 방법.
제12항에 있어서,
상기 제2 데이터플로우 그래프의 내포 성분은, 제3 애플리케이션 프로그래밍 인터페이스를 사용하는 애플리케이션 호출을, 상기 제1 원격 데이터베이스 및 제2 원격 데이터베이스 중의 어느 것이 액세스되는지에 따라, 상기 제1 애플리케이션 프로그래밍 인터페이스 및 제2 애플리케이션 프로그래밍 인터페이스 중의 선택된 하나를 사용하는 애플리케이션 호출로 해석하도록 구성된, 방법.
제4항에 있어서,
상기 검색된 데이터 구조를 제2 데이터플로우 그래프로 로딩하는 단계는, 상기 제2 데이터플로우 그래프의 내포 성분 내에 제1 데이터플로우 그래프를 삽입하는 단계를 포함하며,
상기 데이터플로우 그래프를 삽입하는 단계는,
상기 내포 성분의 입력에 연결된 링크로부터 수신된 입력 작업 요소의 흐름을 상기 제1 데이터플로우 그래프의 입력에 연결하는 단계; 및
상기 생성된 하나 이상의 출력 작업 요소를, 상기 내포 성분의 출력에 연결된 링크에 연결하는 단계를 포함하는, 방법.
제14항에 있어서,
상기 제1 데이터플로우 그래프는, 제2 성분의 입력에 연결된 하나 이상의 출력 링크를 포함하는 제1 성분, 상기 제1 데이터플로우 그래프가 상기 내포 성분에 삽입될 때에 입력 작업 요소를 제2 성분에 제공하도록 하는 명령어(instructions), 및 상기 제1 데이터플로우 그래프가 상기 내포 성분 내에 삽입되지 않은 때에 기억 위치로부터의 작업 요소를 상기 제2 성분에 제공하도록 하는 명령어를 포함하는 것인, 방법.
제15항에 있어서,
상기 제1 데이터플로우 그래프는, 제4 성분의 출력에 연결된 하나 이상의 입력 링크를 포함하는 제3 성분, 상기 제1 데이터플로우 그래프가 상기 내포 성분에 삽입될 때에 제4 성분의 출력으로부터의 생성된 하나 이상의 출력 작업 요소를 상기 내포 성분의 출력에 제공하도록 하는 명령어, 및 상기 제1 데이터플로우 그래프가 상기 내포 성분 내에 삽입되지 않은 때에 상기 제4 성분의 출력으로부터의 생성된 하나 이상의 출력 작업 요소를 기억 위치에 제공하도록 하는 명령어를 포함하는 것인, 방법.
제14항에 있어서,
상기 제1 데이터플로우 그래프는, 상기 제1 데이터플로우 그래프가 상기 내포 성분 내에 삽입될 때에, 상기 제1 데이터플로우 그래프와 상기 내포 성분 사이에서 작업 요소를 전송하기 위한 명령어와, 상기 제1 데이터플로우 그래프가 상기 내포 성분 내에 삽입되지 않을 때에 상기 제1 데이터플로우 그래프와 기억 위치 사이에서 작업 요소를 전송하기 위한 명령어를 각각 포함하는 다수의 인터페이스 성분을 포함하는, 방법.
제17항에 있어서,
상기 인터페이스 성분의 각각은, 상기 제1 데이터플로우 그래프가 상기 내포 성분 내에 삽입될 때에 상기 제1 데이터플로우 그래프가 연결되는 상기 내포 성분의 대응하는 여러 입력 또는 출력 포트를 식별하는, 방법.
제4항에 있어서,
상기 하나 이상의 출력 작업 요소를 생성한 후에, 상기 제2 데이터플로우 그래프로부터 상기 제1 데이터플로우 그래프를 나타내는 상기 검색된 데이터 구조를 언로딩(unload)하는 단계를 더 포함하는 방법.
제19항에 있어서,
상기 제1 작업 단위가 도달한 후에 그리고 상기 제1 데이터플로우 그래프를 나타내는 상기 검색된 데이터 구조의 언로딩 이전에 도달하는 작업 단위인 작업 요소를 버퍼링하는 단계를 더 포함하는 방법.
제1항에 있어서,
상기 데이터 처리 시스템에 컴파일된 제2 데이터플로우 그래프를 로딩하는 단계를 더 포함하며,
상기 컴파일된 제2 데이터플로우 그래프는 제2 데이터플로우 그래프를 나타내는 데이터 구조에 컴파일되는 것인, 방법.
제21항에 있어서,
상기 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나를 상기 데이터 처리 시스템에, 컴파일된 제1 데이터플로우 그래프로서 로딩하는 단계는, 상기 제1 데이터플로우 그래프를 제3 데이터플로우 그래프의 제1 내포 성분 내에 삽입하는 단계를 포함하며,
상기 컴파일된 제2 데이터플로우 그래프를 상기 데이터 처리 시스템에 로딩하는 단계는, 상기 제3 데이터플로우 그래프의 제2 내포 성분 내에 제2 데이터플로우 그래프를 삽입하는 단계를 포함하는, 방법.
제22항에 있어서,
상기 컴파일된 제2 데이터플로우 그래프는 상기 제1 작업 단위를 수신하게 되면 상기 데이터 처리 시스템에 로딩되는 것인, 방법.
제22항에 있어서,
상기 컴파일된 제2 데이터플로우 그래프는 상기 제1 작업 단위 이후에 제2 작업 단위를 수신하게 되면, 상기 데이터 처리 시스템에 로딩되는 것인, 방법.
제1항에 있어서,
상기 제1 작업 단위의 처리 이후에 제2 작업 단위를 처리하는 단계로서, 상기 제2 작업 단위를 수신하게 되면 상기 데이터 처리 시스템에 로딩되는 컴파일된 제2 데이터플로우 그래프를 이용하는 단계를 더 포함하며, 상기 컴파일된 제2 데이터플로우 그래프는 제2 데이터플로우 그래프를 나타내는 데이터 구조에 컴파일되며,
상기 작업 단위를 처리하는 단계는,
상기 제2 작업 단위의 특징을 판정하기 위해 상기 제2 작업 단위를 해석하는 단계;
상기 제2 작업 단위가 수신되기 전에 컴파일되었던, 상기 데이터 기억 시스템 내에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별하고, 상기 제2 작업 단위의 판정된 특징을 갖는 작업 단위를 처리하는 단계;
상기 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나를, 컴파일된 제2 데이터플로우 그래프로서 상기 데이터 처리 시스템에 로딩하는 단계; 및
상기 제2 데이터플로우 그래프를 사용하여 상기 제2 작업 단위 내에서 하나 이상의 작업 요소로부터 하나 이상의 작업 요소를 생성하는 단계를 포함하는, 방법.
제25항에 있어서,
상기 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나를 컴파일된 제1 데이터플로우 그래프로서 상기 데이터 처리 시스템에 로딩하는 단계는, 상기 제1 데이터플로우 그래프를 제3 데이터플로우 그래프의 내포 성분 내에 삽입하는 단계를 포함하며,
상기 식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나를, 컴파일된 제2 데이터플로우 그래프로서 상기 데이터 처리 시스템에 로딩하는 단계는, 상기 제2 데이터플로우 그래프를 상기 제3 데이터플로우 그래프의 내포 성분 내에 삽입하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 제1 작업 단위를 해석하는 단계는, 상기 제1 작업 단위의 작업 요소 내에 포함된 컴파일된 데이터플로우 그래프에 대한 식별자를 판독하는 단계를 포함하는, 방법.
제26항에 있어서,
상기 하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 단계는, 상기 식별자를 상기 하나 이상의 컴파일된 데이터플로우 그래프와 연관된 식별자와 매칭하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 제1 작업 단위를 해석하는 단계는, 상기 제1 작업 단위의 작업 요소를 특징화하는 다수의 미리 정해진 타입 중의 하나를 식별하는 단계를 포함하는, 방법.
제29항에 있어서,
상기 하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 단계는, 상기 하나 이상의 컴파일된 데이터플로우 그래프에 대응하는 데이터플로우 그래프가 상기 식별된 타입에 의해 특징화된 작업 요소를 처리하도록 구성되어 있는지를 판정하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 제1 작업 단위를 해석하는 단계는, 상기 제1 작업 단위의 작업 요소 내에 포함된 콘텐츠의 특성을 식별하는 단계를 포함하는, 방법.
제31항에 있어서,
상기 하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 단계는, 상기 하나 이상의 컴파일된 데이터플로우 그래프에 대응하는 데이터플로우 그래프가 상기 식별된 특성을 갖는 콘텐츠를 포함하는 작업 요소를 처리하도록 구성되어 있는지를 판정하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 제1 작업 단위를 해석하는 단계는, 상기 제1 작업 단위와 연관된 하나 이상의 값이 상기 제1 데이터플로우 그래프의 하나 이상의 파라미터로 이루어진 제1 세트에 대한 값으로서 지정되어 있는지를 판정하는 단계를 포함하는, 방법.
제33항에 있어서,
상기 하나 이상의 컴파일된 데이터플로우 그래프를 식별하는 단계는, 상기 식별된 하나 이상의 컴파일된 데이터플로우 그래프가 상기 제1 작업 단위와 연관된 판정된 하나 이상의 값과 매칭되는 각각의 값에 결합된 하나 이상의 파라미터로 된 제1 세트를 가진 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일되어 있는지를 판정하는 단계를 포함하는, 방법.
제34항에 있어서,
상기 식별된 하나 이상의 컴파일된 데이터플로우 그래프를 컴파일된 제1 데이터플로우 그래프로서 데이터 처리 시스템에 로딩하는 단계는, 하나 이상의 파라미터로 이루어진 제2 세트를, 상기 제1 작업 단위에 적어도 부분적으로 기초하여 판정된 각각의 값에 결합하는 단계를 포함하는, 방법.
제35항에 있어서,
상기 하나 이상의 파라미터로 된 제2 세트는, 입력 작업 요소를 제공하기 위한 입력 소스 또는 출력 작업 요소를 수신하기 위한 출력 소스의 이름을 포함하는 값을 갖는 하나 이상의 파라미터를 포함하는, 방법.
제34항에 있어서,
상기 하나 이상의 파라미터로 된 제1 세트는, 상기 데이터 구조가 상기 컴파일된 제1 데이터플로우 그래프로 컴파일될 때에, 하나 이상의 성분이 상기 제1 데이터플로우 그래프를 나타내는 데이터 구조 내에 포함되어야 하는지 여부를 판정하는 값을 갖는 하나 이상의 파라미터를 포함하는, 방법.
제34항에 있어서,
상기 하나 이상의 파라미터로 된 제1 세트는
상기 데이터 구조가 상기 컴파일된 제1 데이터플로우 그래프로 컴파일될 때에 상기 제1 데이터플로우 그래프를 나타내는 데이터 구조 내에 포함되는 성분에 의해 처리되는 작업 요소에 적용될 변환을 판정하는 값을 갖는 하나 이상의 파라미터를 포함하는, 방법.
제33항에 있어서,
상기 제1 작업 단위가 수신되기 전에, 상기 제1 데이터플로우 그래프를 나타내는 데이터 구조로부터 컴파일된 제1 데이터플로우 그래프를 각각의 값에 결합된 하나 이상의 파라미터로 된 제1 세트로 컴파일하는 단계를 더 포함하는 방법.
제39항에 있어서,
상기 컴파일된 제1 데이터플로우 그래프를 상기 데이터 기억 시스템에 기억시키고, 상기 기억된 컴파일된 제1 데이터플로우 그래프를 상기 하나 이상의 파라미터로 된 제1 세트에 결합된 각각의 값을 나타내는 정보와 연관시키는 단계를 더 포함하는 방법.
데이터 기억 시스템에 기억된 컴파일된 데이터플로우 그래프를 사용하여 데이터를 처리하기 위한 데이터 처리 시스템으로서,
하나 이상의 작업 요소를 각각 포함하는 다수의 작업 단위를 수신하도록 구성된 입력 장치 또는 포트; 및
제1 작업 단위를 수신하면, 상기 데이터 처리 시스템에 로딩된 컴파일된 제1 데이터플로우 그래프를 사용하여 상기 제1 작업 단위를 처리하도록 구성된 하나 이상의 프로세서
를 포함하며,
상기 컴파일된 제1 데이터플로우 그래프는 데이터 처리 성분(data processign component) 사이에서 작업 요소의 흐름을 나타내는 링크에 의해 연결된 데이터 처리 성분을 나타내는 노드를 포함하는 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일되고,
상기 작업 단위의 처리는,
상기 제1 작업 단위를 해석(analyze)하여, 상기 제1 작업 단위의 특징을 판정하고;
상기 제1 작업 단위가 수신되기 전에, 적어도 컴파일이 이루어진 몇몇 컴파일된 데이터플로우 그래프를 포함하는 상기 데이터 기억 시스템에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별해서, 상기 제1 작업 단위의 정해진 특징을 갖는 작업 단위를 처리하며;
식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하고; 및
제1 데이터플로우 그래프를 사용하여 제1 작업 단위 내의 적어도 하나의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 것을 포함하는 것을 특징으로 하는 데이터 처리 시스템.
데이터 기억 시스템 내에 기억된 컴파일된 데이터플로우 그래프를 사용하여 데이터를 처리하기 위한 데이터 처리 시스템으로서,
하나 이상의 작업 요소를 각각 포함하는 다수의 작업 단위를 수신하는 수단; 및
제1 작업 단위를 수신하면, 상기 데이터 처리 시스템에 로딩된 컴파일된 제1 데이터플로우 그래프를 사용하여 상기 제1 작업 단위를 처리하는 수단
을 포함하며,
상기 컴파일된 제1 데이터플로우 그래프는 데이터 처리 성분(data processign component) 사이에서 작업 요소의 흐름을 나타내는 링크에 의해 연결된 데이터 처리 성분을 나타내는 노드를 포함하는 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일되고,
상기 작업 단위의 처리는,
상기 제1 작업 단위를 해석(analyze)하여, 상기 제1 작업 단위의 특징을 판정하고;
상기 제1 작업 단위가 수신되기 전에, 적어도 컴파일이 이루어진 몇몇 컴파일된 데이터플로우 그래프를 포함하는 상기 데이터 기억 시스템에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별해서, 상기 제1 작업 단위의 정해진 특징을 갖는 작업 단위를 처리하며;
식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하고; 및
제1 데이터플로우 그래프를 사용하여 제1 작업 단위 내의 적어도 하나의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 것을 포함하는 것을 특징으로 하는 데이터 처리 시스템.
데이터 기억 시스템에 기억된 컴파일된 데이터플로우 그래프를 사용하여 데이터를 처리하기 위한 컴퓨터 프로그램을 기억하는, 컴퓨터로 판독가능한 매체로서,
상기 컴퓨터 프로그램은, 컴퓨터로 하여금,
하나 이상의 작업 요소를 각각 포함하는 다수의 작업 단위를 수신하고,
제1 작업 단위를 수신하면, 상기 데이터 처리 시스템에 로딩된 컴파일된 제1 데이터플로우 그래프를 사용하여 상기 제1 작업 단위를 처리하도록 하기 위한 명령어를 포함하며,
상기 컴파일된 제1 데이터플로우 그래프는 데이터 처리 성분 사이에서 작업 요소의 흐름을 나타내는 링크에 의해 연결된 데이터 처리 성분을 나타내는 노드를 포함하는 제1 데이터플로우 그래프를 나타내는 데이터 구조로 컴파일되고,
상기 작업 단위의 처리는,
상기 제1 작업 단위를 해석하여, 상기 제1 작업 단위의 특징을 판정하고;
상기 제1 작업 단위가 수신되기 전에, 적어도 컴파일이 이루어진 몇몇 컴파일된 데이터플로우 그래프를 포함하는 상기 데이터 기억 시스템에 기억된 다수의 컴파일된 데이터플로우 그래프로부터 하나 이상의 컴파일된 데이터플로우 그래프를 식별해서, 상기 제1 작업 단위의 정해진 특징을 갖는 작업 단위를 처리하며;
식별된 하나 이상의 컴파일된 데이터플로우 그래프 중의 하나의 그래프를 데이터 처리 시스템에 컴파일된 제1 데이터플로우 그래프로서 로딩하고; 및
제1 데이터플로우 그래프를 사용하여 제1 작업 단위 내의 적어도 하나의 작업 요소로부터 하나 이상의 출력 작업 요소를 생성하는 것을 포함하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.