JP5863762B2 - コンピュータ支援による計算グラフの並列化 - Google Patents

Description

関連出願の相互参照
本出願は、２００３年６月２５日出願の米国特許仮出願第６０／４８２，３９１号の優先権を主張し、当該仮出願は引用により本明細書に組み込む。

本発明は、データの並列処理に関し、より詳細には、コンピュータ支援による並列計算グラフの仕様に関する。

発明の背景
複雑な計算は、多くの場合、計算のコンポーネントをグラフの頂点と関連付け、コンポーネント間のデータフローをグラフのリンク（枝、辺）に対応させ、有向グラフによってデータフローとして表すことが可能である。このようなグラフベースの計算を実施するシステムは、米国特許第５，９６６，０７２号「グラフとして表される計算の実行」に記載されている。

図１Ａを参照すると、計算グラフ１００の例には、入力ファイル１１０および出力ファイル１４０が含まれる。入力ファイル１１０は、トランザクション処理システムにおける別々のトランザクションとそれぞれ関連付けられたデータ記録等の、一連のワーク要素のソースである。各ワーク要素は、最初にコンポーネントＡ１２０により処理され、直列リンク１２５を通過し、次いでコンポーネントＢ１３０により処理される。コンポーネントＢの出力は、出力ファイル１４０に格納される。

計算グラフは、個々のコンポーネントの多数のインスタンスを用いて実施するのが望ましい。例えば、コンポーネントの各インスタンスを異なるプロセッサでホストすることにより、粗い並列処理を達成して全体の計算能力を増大できる。図１Ｂを参照すると、並列化した計算グラフ１０１の仕様には、直列計算グラフ１００と同様の入力ファイル１１０および出力ファイル１４０が含まれる。並列コンポーネントＡ１２１は、並列に編成されたコンポーネントＡ１２０のｍ個のインスタンスを表し、並列コンポーネントＢ１３１は、並列に表されたコンポーネントＢ１３０のｍ個のインスタンスを表す。並列リンク１２６は、並列コンポーネントＡ１２１と並列コンポーネントＢ１３１とを接続する。図１Ｂのような並列計算グラフの表現では、並列コンポーネントは太線で示され、コンポーネントに隣接する並列処理次数（例えば、図１Ｂの「ｍ」）のインジケータを任意で用いて示される。

図１Ｃを参照すると、並列化した計算グラフ１０１は、コンポーネントＡ１２０のｍ個のインスタンス（Ａ１からＡｍまでラベルを付す）を並列に編成して、明示的に直列形で表される。入力ファイル１１０からワーク要素を分配するために、１：ｍ分岐要素１１５を、入力ファイル１１０と、コンポーネントＡ１２０のｍ個のインスタンスを含む並列コンポーネントＡ１２１を構成するコンポーネントＡのｍ個のインスタンスとの間に挿入する。分岐要素１１５は、ワーク要素を１つの入力で受け、各入力をｍ出力の内の１つに、例えばラウンドロビン方式で送る。ｍ：１の合流要素１３５は、ｍ個のコンポーネントＢ１２０の出力をｍ本の入力ライン上で受け、その入力を、例えば到着時間に従ってマージして、出力ファイル１４０に出力する。並列リンク１２６は、本例では、コンポーネントＡおよびコンポーネントＢの対応するインスタンスを接続する直列リンクの並列組合せとして表される。

概要
一態様では、本発明は、一般に、並列計算グラフを自動的に規定するための方法を特徴とする。第１計算グラフの仕様を受け入れる。グラフは、リンク要素により接続されるデータ処理要素を有し、各リンク要素は、上流データ処理要素および下流データ処理要素に関連付けられる。１つ以上のリンク要素のそれぞれに対して、リンク要素のデータ処理特性が、リンク要素と関連する上流および／または下流データ処理要素の特性に従って決定される。

各データ処理要素は、頂点として表され、各リンク要素は、計算グラフの枝として表すことができる。

別の態様では、本発明は、一般に、１つ以上の並列コンポーネントを持つ計算グラフを規定する自動化した手法を特徴とする。その手法には、下流並列コンポーネントのデータフローに対する入力要件を特徴付けるメタデータを用いるステップと、データフローを処理するための少なくとも１つの機能要素を規定して、下流並列コンポーネントの入力要件を満たすステップとが含まれる。

機能要素には、分岐要素を含めることができる。分岐要素には、例えば、ハッシュ分岐要素、ラウンドロビン分岐要素、または一斉伝達要素を含めることができる。

機能要素には、ソート要素も含み得る合流要素を含めることができる。

相互接続ネットワークは、機能要素をリンクできる。

本手法には、コンポーネントの出力データフローの特性を、コンポーネントについてのメタデータに基づいて決定するステップを含めることもできる。同様に、または追加して、これらの特性は、コンポーネントに対する１つ以上の入力フローの特性に基づくことができる。出力フローの特性を決定するステップには、１つ以上の規則を適用するステップを含めることができ、および／または１つ以上の手順命令を実行するステップを含めることができる。

別の態様では、本発明は、一般に、計算グラフを並列化するための方法を特徴とする。計算グラフの仕様を受け入れる。計算グラフには、リンクにより結合された第１コンポーネントおよび第２コンポーネントが含まれる。第１コンポーネントおよび／または第２コンポーネントの並列処理次数の仕様も受け入れる。直列リンクと対応するコンポーネント間リンクは、少なくとも規定した並列処理次数に基づく並列特性を有するように形成される。

別の態様では、本発明は、一般に、直列計算グラフを並列化するためのコンピュータ実装方法を特徴とする。本方法には、（ａ）前記並列化グラフのコンポーネントへの入力フローの特性を、そのコンポーネントの１つ以上の出力フローの特性にマッピングするステップと、（ｂ）２つのコンポーネント間のリンクを実装する機能要素についての特性を、そのリンクからデータを受け入れるコンポーネントの要求入力特性に基づいて決定するステップと、（ｃ）コンポーネントの入力フローの前記特性を、別のコンポーネントからの出力フローの特性、および、かかる別のコンポーネントと前記コンポーネントとを接続するリンクに対する機能要素の決定された特性に基づいて決定するステップとを含む各ステップの繰り返し適用を含む。

別の態様では、本発明は、一般に、ソート順序に従ってソートするデータフローを実施する手法を特徴とし、ソート順序に関する１つ以上のインジケータをソートデータに加えてフロー上を通過させる。インジケータの内の少なくとも幾つかが、データについてのソート順序における順位をそれぞれ識別し、それにより、フロー上の後続データが、ソート順序における識別した順位より早く発生しないようにする。

本発明の態様は、次の利点の内の１つ以上を有することができる：

直列計算グラフは、ユーザからの入力なしで、または限られたユーザからの入力で並列化でき、それにより、並列化した計算グラフを設計する処理を簡略化できる。

自動化した手順は、ユーザに頼って入力要件を満たすのではなく、自動化したシステムが、グラフ内のコンポーネントの入力要件が満たされていることを検証できるので、エラーが少なくなる傾向がある。

本発明の態様は、最初の直列（または並列）計算グラフと、並列計算グラフとの機能的等価性を保証することに関する技術的考察に関わる。技術的効果は、直列計算グラフにより規定される計算が、幾つかの別々のプロセッサ上で並列実行されるよう分配でき、それにより、直列実行と比較して並列実行のスループットが増大するということである。

本発明の他の特徴および利点は、以下の説明および請求項から明らかである。

図１Ａは、直列計算グラフである。 図１Ｂは、並列化した計算グラフである。 図１Ｃは、図１Ｂに示す並列化した計算グラフの直列表示である。 図２Ａは、並列化した計算グラフの一部である。 図２Ｂは、コンポーネント間リンク上に表される要素を持つ並列化した計算グラフの一部である。 図２Ｃは、図２Ｂに示す並列化した計算グラフの一部の直列表示である。 図３は、自動並列化手順のフロー図である。

説明
図１Ａ〜図１Ｃを参照すると、図１Ａに示す直列計算グラフ１００は、簡単な計算グラフの一例であり、状況によっては、図１Ｂ〜図１Ｃに示す並列計算グラフ１０１として実施できる。例えば、入力ファイル１１０からの各ワーク要素を他の全てのワーク要素と独立して処理できる場合、並列計算グラフ１０１は、直列計算グラフ１００と同一の計算を実行することになる。注意すべきは、同一の計算を実行するとはいえ、直列グラフ１００の場合に出力ファイル１４０が受け取るワーク要素の順序は、並列グラフ１０１の場合と同一であるとは限らない、ということである。この例では、出力ワーク要素の順序は、計算ネットワークの機能に対して重要ではない。

コンポーネントＡ１２０の特性に依存して、入力要素を分割してコンポーネントＡの各種インスタンスで処理するために、特定種類の分岐要素１１５が必要なこともある。例えば、計算グラフ１００が、特定アカウントにそれぞれ関連付けられたトランザクション記録を処理するためのものである場合、並列計算グラフが直列グラフと機能的に等価であるために、いずれの特定アカウントについての全ての記録も、コンポーネントＡ１２０の共通のインスタンスにより処理するよう要求してもよい。直列グラフ１００では、コンポーネントＡ１２０のインスタンスが１つしかないので、このような要件が満たされる。並列グラフ１０１では、特定アカウントについての全ての記録がコンポーネントＡの共通のインスタンスに送られるという要件は、例えばラウンドロビン分岐要素等、幾つかの１：ｍ分岐要素１１５の形式ついては保証されない。この例では、適切な分岐要素１１５がハッシュ関数に従って、各記録におけるアカウントフィールドの値を、分岐要素１１５の出力の１つとそれぞれ関連付けられたｍ個の異なる値にマッピングする。いかなる特定ハッシュ値を生み出す記録も、全て同一出力に送られるので、並列グラフ１０１においてコンポーネントＡ１２０の共通のインスタンスにより処理される。このような１：ｍ分岐要素１１５は、ハッシュ分岐要素と呼ばれる。ハッシュ関数は、分岐要素１１５の出力のそれぞれに送られる各記録が、平均して数の偏りがないように設計される。

直列計算グラフ１００に基づいて並列計算グラフ１０１の仕様を決定するユーザは、直列グラフの仕様を変換して直列グラフの所望の機能を保存する。例えば、図１Ａに示す直列グラフについて、ユーザは、並列処理次数（ｍ）をコンポーネントＡ１２０およびＢ１２０について規定し（本例ではともに同一の並列処理次数を有する）、分岐要素１１５および合流要素１３５をグラフに追加し、そして追加した要素の特性を規定することができる。例えば、コンポーネントＡ１２０がアカウント番号に従って分岐された記録を要求する場合、ユーザは、コンポーネントＡ１２０の要件を認識し、手動で分岐要素１１５を構成して、アカウント番号のハッシュ値に従って記録を分割する。

一般に、コンポーネントＡ１２０の特性に依存して、分岐要素１１５を規定するユーザは、各種の分岐要素から選択できる。これらの分岐要素の種類には以下が含まれるが、必ずしもこれらに限定されない：
・ワーク要素を分岐する基準となる各ワーク要素内の１つ、または複数のキーにより規定されるハッシュ分岐要素；
・ワーク要素のキー値とは無関係にワーク要素を分割するラウンドロビン分岐要素、普通は異なる出力間を巡回する；および、
・各入力ワーク要素の複製が出力のそれぞれに送られる一斉伝達分岐要素。

また、並列処理グラフ１０１を規定するユーザは、合流要素１３５の特性を規定しなければならないこともある。例えば、入力ワーク要素は、トランザクション記録にあるアカウント番号等の、ワーク要素のキー値に従ってソートされている場合がある。直列グラフ１００では、その順序は保存されよう。しかしながら、並列グラフ１０１では、異なる分岐が僅かに異なるレートでその出力を処理するだけでも、その順序が乱れることがある。従って、結果的に得られる出力ファイル１４０の順序が直列グラフ１００を用いて拘束されるものと一致すべき場合、合流要素１３５は様々な分岐から受け取るワーク要素内の特定キー、例えばアカウント番号に従って、その入力をソートすべきであるとユーザは規定できる。

出力合流要素１３５の所望の特性、および合流要素への入力についてなし得る仮定に依存して、並列グラフを規定するユーザは、合流要素の種類を選択する。合流要素の利用可能な種類には、以下が含まれるが、限定はされない：
・ワーク要素を入力から出力へ任意の順序で、例えば合流要素に到着した時間に従って通過させる任意の合流要素；および、
・キーに従って入力をソートしてから出力へ通過させるソート合流要素。

図１Ａに戻って参照すると、入力ファイル１１０からのワーク要素を、コンポーネントＡ１２０およびコンポーネントＢ１３０の両方に適するように分岐できない状況もあり得る。例えば、トランザクション記録の場合、コンポーネントＡについてはアカウント番号により、コンポーネントＢについては受取人により、ワーク要素を分岐する必要があるかもしれない。このような場合、図１Ｃに示すようなコンポーネントＡおよびコンポーネントＢの対応するインスタンス間の直接リンクは、一般に許容されない。このような直接リンクが不可能なもう１つの状況は、コンポーネントＢとは異なる並列処理次数がコンポーネントＡに望ましい場合である。例えば、コンポーネントＡがコンポーネントＢの２倍のリソースを要求する場合、コンポーネントＡには２倍の数のインスタンスが規定可能で、それにより、コンポーネントＡおよびＢの異なる対応インスタンス間の直接リンクが不可能になる。

図２Ａ〜図２Ｃを参照すると、より一般的な例で、直列グラフと機能的に等価な並列計算グラフの規定が、幾つかのステップで実行される。図２Ａは、コンポーネント間リンク（ＩＣＬ）２０５によりリンクされた並列コンポーネントＡ２１０およびＢ２４０を含む、並列グラフ２００の一部を示す。図２Ａのグラフ表現では、ＩＣＬ２０５の並列特性は明示的でない。これらの特性は、この手法では、並列グラフ２００で実行される計算が、コンポーネントＡおよびＢが次数１を有する直列グラフと等価となるように決定される。図２Ａでは、コンポーネントＡは並列次数ｍを有し、コンポーネントＢは並列次数ｎを有すると示され、ここで、ｍは必ずしもｎと等しくない。ＩＣＬ２０５の特性は、並列コンポーネントＢ２４０の直列インスタンスの入力の要件（例えば、分岐または順序要件）、および／または並列コンポーネントＡ２１０の直列インスタンスの出力の特性（例えば、分岐またはソート特性）を含む因子に依存する。

図２Ｂを参照すると、第２並列グラフ２０１は、相互に接続された要素のネットワークとしてＩＣＬ２０５を表す。このネットワークは、並列コンポーネントＡ１２１と並列コンポーネントＢ１３１との間のリンクを提供し、グラフの全体機能が正しくなるように並列コンポーネントを構成する直列コンポーネント間でワーク要素を適切に「シャッフル」する。ＩＣＬ２０５のネットワーク表現は、並列コンポーネントＡ１２１の出力を取り込む並列分岐要素２２１、相互接続ネットワーク２２５、および出力が並列コンポーネントＢ１３１への入力を提供する並列合流要素２３１を用いて、このシャッフルを実行する。

この例では、並列コンポーネントＡ２１０は並列処理次数ｍを有し、一方、並列コンポーネントＢ２４０は並列処理次数ｎを有し、これは必ずしもｍと同一ではない。並列コンポーネントＡ２１０と、並列分岐要素２２１との間の並列リンクは、ｍ本の直列リンクを表す。並列分岐要素２２１の出力は、ｍｎ（ｍ×ｎ）本の直列リンクを表す。相互接続ネットワーク２２５は、ｍｎ本の入力およびｍｎ本の出力を有する。並列合流要素２３１は、ｍｎ本の入力およびｎ本の出力を有する。

図２Ｃを参照すると、図２Ｂに示す並列計算グラフ２０１の一部の直列表現で、並列分岐要素２２１は、分岐要素２２０のｍ個のインスタンスにより実施される。これらの分岐要素のそれぞれは、図１Ｂ〜図１Ｃに示す分岐要素１１５と類似した１：ｎの分岐要素である。並列合流要素２３１は、合流要素２３０のｎ個のインスタンスにより実施される。これらの合流要素のそれぞれは、図１Ｂ〜図１Ｃの合流要素１３５と類似のｍ：１合流要素である。相互接続ネットワーク２２５は、分岐要素２２０の全てのインスタンスが、合流要素２３０の全てのインスタンスに接続された直列リンクのクロス接続として実施される。並列グラフの代替表現の幾つかでは、単一のシンボルまたはアイコンを用いて分岐要素２２１と相互接続ネットワーク２２５との組合せを表し、この組合せもまた「分岐要素」と呼ぶ。

このように、図２Ｂに示すように並列コンポーネントＡ２１０と、並列コンポーネントＢ２４０とをリンクするＩＣＬ２０５のネットワーク表現を規定するユーザは、（コンポーネント間リンク（ＩＣＬ）２０５を形成する相互接続ネットワーク２２５と併せて）並列分岐要素２２１および並列合流要素２３１の特性を規定する。ユーザは、下流コンポーネントＢ１３０の認識要件と、上流の並列コンポーネントＡ１２１を構成するコンポーネントＡ１２０のインスタンスの出力特性についてユーザが為し得る何らかの仮定とに基づいて、これらの特性を選択する。

コンポーネント間リンク２０５の特性を規定する例として、コンポーネントＡ２１０は、ワーク要素がアカウント番号に従って分岐されるよう要求し、一方、コンポーネントＢ２４０は、出力が郵便番号に従って分岐されるよう要求すると想定する。コンポーネントＡへの入力が適切に分岐されたと仮定すると、コンポーネントＡの出力もまた同様に分岐されることになる。すなわち、この例では、図２ＢのコンポーネントＡ２１０の出力は、アカウント番号に従って分岐されることになる。コンポーネント間リンクの１：ｎ分岐要素２２０のそれぞれは、各ワード要素内の郵便番号キーを用いて、どの出力にワーク要素を渡すかを決定するハッシュ分岐要素である。同一の郵便番号をもつワーク要素は、コンポーネントＡ２１０の別々のインスタンスにより処理されているのが一般的であり、従って、１：ｎハッシュ要素２２０の別々のインスタンスを通過することになる。同一のハッシュ値と対応する各１：ｎハッシュ分岐要素２２０からの出力は、コンポーネント間リンクの共通の合流要素２３０に渡される。この例では、コンポーネントＢに提示されるワーク要素の順序は重要ではないので、合流要素２３０のそれぞれは、ワーク要素を到着順で対応するコンポーネントに渡す。

自動化した、またはコンピュータ支援による、直列グラフを並列化するための手法は、ＩＣＬ２０５のネットワーク表現、およびネットワーク表現の全体のリンクおよび要素（例えば、分岐要素）の特性を決定する。ユーザは、図２Ｂに示すようなＩＣＬ２０５のネットワーク構造を必ずしも考慮せずに、図２Ａに示すようなグラフ表現を用いる。その手法は、コンポーネント間リンクのネットワーク表現の分岐、相互接続、および合流要素を明示的に挿入するようユーザに要求することなく、コンポーネント間リンクの要素を追加して、上記手法と基本的に同一の結果を達成する。

この自動化した、またはコンピュータ支援による手法の一態様は、計算グラフ内のコンポーネントの幾つか、または全ての入力要件を特性化する情報の使用、およびコンポーネントの幾つか、または全ての出力特性を決定する方法に関する。このために必要な情報は、コンポーネントと関連付けたメタデータとして格納される。このメタデータは自動化した並列化手順により用いられる。

直列グラフ（例えば、グラフ２００）内の１つ以上のコンポーネントはそれぞれ、コンポーネントが要求する各入力特性に関するメタデータを含む。例えば、コンポーネントの特定の入力を特定の方法で分岐するよう要求する場合、その入力に対する入力メタデータには、どのキーまたはフィールドに従ってワーク要素を分岐しなければならないかのインジケータを含むことができる。コンポーネントが多数の入力を有する場合、各入力は、それと関連付けられた別々のメタデータを有する。例えば、ある入力は、全てのワーク要素の複製が入力に配分されなければならないことを示す一方、別の入力は、ワーク要素が各ワーク要素のアカウント番号により分岐されなければならないことを示す場合がある。

コンポーネントへの入力についてのメタデータ特性には、以下の１つ以上を含めることができる：
・分岐する場合、１つまたは複数の特定キーに基づいて入力を分岐しなければならないことを示すインジケータ；
・コンポーネントの各インスタンスが、全てのワーク要素の複製を入力で受け取らなければならないことを示すインジケータ；および、
・入力をソートしなければならないことを示すインジケータ、およびソート順序を定義する１つまたは複数のキー。

１つ以上のコンポーネントの別の特性化は、コンポーネントの入力フロー特性、およびコンポーネント自体の特性に基づく各出力フロー特性に関する。このような特性化の一例は、入力フローで順に受け取る各ワーク要素を処理するコンポーネントについてのものである。このようなコンポーネントについて、入力ワーク要素が特定キーに基づいてソートされる場合、コンポーネント内で順序変更がないので、出力ワーク要素もまた、その同一キーに従ってソートされる。同様に、特定キーに従って分岐されたワーク要素をコンポーネントが受け取る場合、そのキーの値をコンポーネントが修正しない場合、出力ワーク要素は、そのキーに基づいて分岐したままとなる。（注意すべきは、コンポーネントがキーの値を修正する場合、出力がもはやキーの修正値に従って分岐されるとは限らない、ということである）。

この特性化は、一般に、コンポーネントの各入力フロー特性を受け入れ、各出力フローについての特性を作り出す、コンポーネントに特有のマッピング機能を定義する。

フローの特性化は、コンポーネントに対する入力要件の特性化と類似している。特に、フローの特性化には、以下を含めることができる：
・フローがワーク要素の分岐サブセットだけを含むことを示すインジケータ、分岐する場合は、フローを分岐する基準となった１つまたは複数の特定キー；および、
・フローがソートされていることを示すインジケータ、およびソート順序を定義する１つまたは複数のキー。

コンポーネントについての入力特性から出力特性へのマッピングをコード化する幾つかの代替法を用いることができる。例えば、マッピングは、コンポーネントと関連付けられた手順命令内で明示的にコード化できる。マッピングをコード化する別の方法は、コンポーネントがワーク要素内のどのキー値を修正すると、ソート順序または分岐が乱れる可能性があるかのインジケータ、およびそのコンポーネントが明示的に実施するソート、順序変更、または分岐に関する明示的なインジケータに基づく。マッピングは、入力特性およびこれらの表示に基づき、例えば、一般的な、またはコンポーネントに特有の一組の規則を用いる。このようなマッピング規則の例には以下が含まれる：
・１入力および１出力を持ち、キーｋｅｙ１の値の修正を示さないコンポーネントについては、ｋｅｙ１に従って分岐された入力は、ｋｅｙ１に従って分岐されたままの出力を生じる；
・１入力および１出力を持ち、キーｋｅｙ２の値の修正を示さないコンポーネントについては、ｋｅｙ１、続いてＫｅｙ２に従ってソートされた入力は、ｋｅｙ１だけに従ってソートされた出力を生じる；
・入力ワーク要素の順序変更を示すコンポーネント。ソートされた入力は、それ以上ソートされないことを示す出力を生じる。なぜなら、そのコンポーネントはソート順序を乱しているかもしれないからである；および、
・キーｋｅｙ１の値に従ってソートを明示的に実施するコンポーネントは、入力のソート順序とは無関連にｋｅｙ１に従って出力がソートされることを示す。

コンポーネントには、ワーク要素内のフィールド名を変更するものもある。このようなコンポーネントについてのメタデータは、このような名称変更を識別し、出力特性は新規に命名した変数により表される。例えば、入力が「アカウント」キーにより分岐され、かつ「アカウント」フィールドが「顧客」フィールドとして名称変更される場合、出力は、「顧客」フィールドに従って分岐されるとして特性化される。

図３を参照すると、直列計算グラフから並列計算グラフを規定するための自動化した手順３００は、並列化すべき直列グラフの仕様を受け入れるステップで開始する（ステップ３１０）。この仕様には、各コンポーネントのどの出力がフローにより別のコンポーネントの各入力に接続されるかを規定するグラフのトポロジとも呼ばれるグラフの構造の仕様が含まれる。仕様には、上記各コンポーネントについてのメタデータ、すなわち、もしあれば、１つ以上のコンポーネントの各入力についての入力要件、およびコンポーネントについての入力特性と出力特性との間のマッピング、またはコンポーネント出力の他の特性化も含まれる。注意すべきは、このメタデータは、あるコンポーネントはいかなる入力要件も規定せず、また、あるコンポーネントは出力フローの特性を生み出すマッピングを提供しないという点で、任意であるということである。コンポーネントがいかなる入力特性も規定しない場合、手順は、入力フローについての何らかの特定の特性を必ずしも強化するとは限らない。コンポーネントが、その出力フローの特性を生み出すマッピングを提供しない場合、手順は、これらの特性に関する何らかの仮定を行うとは限らない。

本手順でユーザは、計算グラフの各コンポーネントに対して所望の並列処理次数を規定する。本手順の応用の一例として、図１Ａに示す単純な直列計算グラフ１００を検討する。コンポーネントＡ１２０がｍ＝３個の並列インスタンスを有し、およびコンポーネントＢ１３０がｎ＝５個の並列インスタンスを有することをユーザが規定すると仮定する。この例では、入力ファイル１１０および出力ファイル１４０は、物理ファイルを表す並列次数１を有し、直列アクセスをサポートする。

最初の直列グラフの各リンクに対して、手順は、コンポーネント間リンク（すなわち、分岐要素、相互接続ネットワーク、および合流要素）の特性を決定して、並列計算グラフの直列リンクを実施する。手順は、次の４段階を繰り返す：
（ａ）１つ以上のコンポーネントの入力から出力へのリンク特性をマッピングするステップ（ステップ３２０）；
（ｂ）上流コンポーネントの出力特性が既知である各コンポーネント間リンクに対して、下流の入力の既知の要件のいずれかに基づいて、コンポーネント間リンクの分岐要素、相互接続ネットワーク、および合流要素を含む、コンポーネント間リンクの特性を決定するステップ（ステップ３３０）；
（ｃ）ステップ（ｂ）で処理されたコンポーネント間リンクのそれぞれについて、コンポーネント間リンクの出力と関連付けられた下流コンポーネントの結果的に得られる入力フロー特性を決定するステップ（ステップ３４０）；および、
（ｄ）コンポーネント間リンクのネットワーク表現のコンポーネントを、並列グラフの対応するコンポーネント間に挿入するステップ（ステップ３５０）。

全ての並列リンクが処理されると（ステップ３６０）、並列コンポーネントのそれぞれを展開することにより、等価な直列計算グラフが形成される。

手順のマッピング段階（ステップ３２０）では、通常全てではないコンポーネントからの１つ以上の出力フロー特性が計算される。例えば、最初の繰り返しで、入力がないコンポーネントからのフロー特性が計算できる。続く繰り返しでは、全ての入力フローについて入力特性を計算した任意のコンポーネントについてのマッピングを用いて、そのコンポーネントの出力フロー特性を決定する。

次の段階（ステップ３３０）で、１つ以上のコンポーネント間リンクの分岐および合流要素の特性が、そのリンクの上流コンポーネントの並列処理次数（ｍ）、および下流コンポーネントの並列処理次数（ｎ）、上流コンポーネントからの出力フローの特性、および下流コンポーネントの入力フローの要件に基づいて決定される。以下は直接取り扱うことができる幾つかの事例である：
（Ｐ１）ｍ＝ｎで、かつ下流コンポーネントへの入力フローを、いずれかの特定キーに基づいて分岐、またはソートする必要がなく、入力フローが各ワーク要素の複製を必要としない場合、上流および下流コンポーネントの対応するインスタンスは、図１Ｂの例に示すように、直接接続される。注意すべきは、これは、基本的に分岐および合流要素の退化した形式に相当する、ということである。
（Ｐ２）ｍ≠ｎで、かつ下流コンポーネントへの入力フローを、いずれかの特定キーに基づいて分岐する必要がなく、入力フローが各ワーク要素の複製を必要としない場合、コンポーネント間リンクの分岐要素は、ラウンドロビン分配を実行するよう定義する。
（Ｐ３）下流コンポーネントへの入力フローが、上流コンポーネントの出力フローの分岐と異なる一組のキーに従ってワーク要素を分岐することを要求する場合、分岐要素は、要求されたキー値に従ってハッシュ分岐を実行する。
（Ｐ４）入力フローが各ワーク要素の複製を要求する場合、コンポーネント間リンクの分岐要素は、一斉伝達機能を実行するよう定義する。

事例（Ｐ２）〜（Ｐ４）のそれぞれについて、下流コンポーネントの入力フロー特性に適合させるためのコンポーネント間リンクの合流要素に関する幾つかの特別な場合がある：
（Ｇ１）下流コンポーネントの入力フローが、入力が特定組のキーに従ってソートされることを要求し、かつ上流コンポーネントの出力がこれらと同じキーに従ってソートされる場合、合流要素はソート合流を実行する。ソート合流では、合流要素は、入力のそれぞれのワーク要素がソートされると仮定し、ソートキーに従って次にどの入力を出力として選択するかを選択し、出力の正しいソート順序を達成する。
（Ｇ２）下流コンポーネントの入力フローが、入力が特定組のキー（ｋｅｙ１、．．．、ｋｅｙＪ）に従ってソートされることを要求し、かつ上流コンポーネントの出力が一組のキー（ｋｅｙ１、．．．、ｋｅｙＪ、．．．、ｋｅｙＫ）に従ってソートされる場合、分岐要素は、ソート化合流を実行する。Ｊ＝Ｋの場合、特別な場合（Ｇ１）に帰着する。
（Ｇ３）入力フローが、入力が特定組のキーに基づいてソートされることを要求し、かつ上流コンポーネントの出力が互換性のある組のキーに従ってソートされない場合、合流要素はソートを実行する。

他の形式の分岐および合流要素を用いることもできる。例えば、ｍ＝ｎで、かつ下流コンポーネントが、いずれの特定の分岐も要求しないが、特定キーに従うソートを要求する場合、対応する上流および下流コンポーネントは、要求されるソートを実行する１入力／１出力の「合流」要素だけを有するコンポーネント間リンクにより接続できる。注意すべきは、コンポーネント間リンクへの入力は分岐を維持し、コンポーネント間リンクはソートされた特性を追加するということである。

サイクルの次の段階（ステップ３４０）では、下流コンポーネントの入力フロー特性は、上流コンポーネントの出力フロー特性、および中間のコンポーネント間リンクの特性から決定される。注意すべきは、一般に、少なくとも入力に対する要求特性は、これらのフロー上に存在するということである。コンポーネントの出力フローの特性に反映させられる追加の特性も存在し得る。例えば、フローがあるキーに従って分岐され、かつ下流コンポーネントが、入力が別のキーでソートされることを要求する場合、ソートだけが要求されているにもかかわらず、結果的に得られるフローは、分岐およびソートの両方が行われる。

サイクルの最後の段階（ステップ３５０）では、コンポーネント間リンクのネットワーク表現の要素がグラフに追加される。

サイクルの各繰り返し（ステップ３２０〜３５０）の最後に、コンポーネントへの追加入力フローの特性が計算される。最初の計算グラフが非循環の場合、最初のグラフの全てのリンクが処理された時に本手順は終了する。

全てのリンクが処理されなかった場合、例えば、上流コンポーネントの出力フローの特性が計算されなかった場合、手順を再開する手法は、コンポーネント間リンクの特性を決定する際に、フロー特性に関する仮定を行わないことである。このような再スタートは、非循環でない計算グラフで、または幾つかのコンポーネントについてメタデータが利用可能でないグラフで要求されることがある。例えば、フローが実際には既に分岐されていたとしても、冗長な分岐要素をコンポーネント間リンクに挿入できる。効率的ではない可能性もあるが、並列グラフの正しい機能は依然として保たれよう。

上記の自動化した手順では、ユーザにコンポーネント間リンクのコンポーネントの挿入を明示的に指示できる。代替として、ユーザは、元の直列計算グラフのリンクのそれぞれに導入されるコンポーネント間リンクの性質を意識しなくてもよい。ユーザインターフェースは、これらの分岐および合流要素を隠すか、またはデフォルトでコンポーネント間リンクのネットワーク表現を表示するのではなく、ユーザが操作するこれら要素のオプション表示を提供できる。

コンピュータ支援（例えば、部分的に自動化した）モードでは、分岐および合流要素の幾つかを明示的に導入することにより、ユーザがその手順を導く。例えば、ユーザは、自動化した手順が適用される前に、特定の分岐および合流要素、または他の形式の要素を並列リンク上で用いるよう規定でき、それにより、そのリンクに対する自動化した手順をオーバーライドできる。コンピュータ支援モードの別の態様では、ユーザは自動化した処理の結果を調査し、コンポーネント間リンクの分岐および合流要素を修正できる。注意すべきは、ユーザがリンクを修正した後、自動化した処理はオプションとして、そのリンクから下流にフロー特性を伝搬する。下流の変化は、下流のコンポーネント間リンクの新仕様をもたらすことになる。

別のコンピュータ支援モードでは、自動化した手順は、各コンポーネントの入力要件が満たされていることを検証し、満たされていない場合、ユーザに通知する。次いで、ユーザは、入力要件を満たす要素を導入でき、次に、システムは改良した設計を自動的に再チェックできる。このモードの変形として、システムは、入力要件を満たすためにグラフの修正（例えば、コンポーネント間リンク上への分岐または合流要素の可能な挿入）を提案してもよく、ユーザは提案された修正を用いることを確認するか、または代替の修正（例えば、異なる要素の挿入、または挿入した要素の異なる特性の規定）を提供する。

上記の並列処理手法では、ユーザは、コンポーネントのそれぞれについて特定の並列処理次数を選択してから、自動手順を適用する。代替の手法では、ユーザは、どのコンポーネントが並列処理されるか、またはそれらの並列処理次数と関連付けられた変数の識別だけを行うが、所望する並列処理の次数を必ずしも規定するとは限らない。その結果は、各コンポーネント間リンクの特性が決定される「一般的な」並列計算グラフとなるが、並列コンポーネントと同様に、コンポーネント間リンクのネットワーク表現における並列要素の特定の実現は、まだ決定されていない。コンポーネントについての所望の並列処理次数の特定の値を用いることを規定する場合（例えば、グラフの実行時間に）、一般的なグラフは、特定の並列化した形式で実現される。

上記の並列化手法では、フロー特性は、基本的に「あふれる」手法で伝搬される。すなわち、データフロー特性は、データフロー自体と同一の方向で「下流に」伝搬する。代替の手法を用いてもよい。例えば、上流への伝搬を用いることができる。このような上流伝搬の単純な実施例を、一連の２つのコンポーネントＡおよびＢがある場合に用いることができる。ＡおよびＢがともに同一の並列処理次数を有し、Ｂがキーに従う分岐を要求し、Ａがいずれの特定の分岐も要求しない場合、分岐要件を上流に伝搬して、それによりＡがＢと同一の分岐を要求することもできる。こうして、ＡとＢとの間の明示的な分岐および合流要素を導入することなく、ＡおよびＢの対応するインスタンス間の直接リンクを用いることが可能になる。

直列グラフのコンポーネントは、直列サブネットワークの全体を表すこともできる。自動並列化手法の一手法は、直列サブネットワークがそのホストグラフ内で完全に展開されるかのように、サブネットワークを並列化することである。

代替の手法では、直列サブネットワークは、それをホストするネットワークと独立して並列化される。サブネットワークを通じたフロー特性の全体マッピングを含む、全体としてのサブネットワークの特性化を行うメタデータは、ホストネットワークの並列化手順中に用いるために、サブグラフ内のコンポーネントについてのメタデータに基づいて計算される。

上記並列化した計算グラフで用いることができる要素の一種は、ソートマージ要素である。上で注記したように、ソートマージ要素が仮定するのは、その入力のそれぞれのワーク要素が特定のソート順序に従ってソートされ、ソートマージ要素は、同一のソート順序に従って全体のマージ出力を生成しなければならないということである。このようなソートマージ要素が後続する場合の基本手順は、その入力のそれぞれで保留されている各ワーク要素を考慮し、ソート順序に従って、次のワーク要素を出力として通過させることである。

しかしながら、どの入力にも保留中のワーク要素がない場合、ソートマージは、その入力に後から到着するワーク要素が既に保留となっている入力より早いソート順序で発生するかどうか判らないので、どのワーク要素も通過させない。次いで、ワーク要素は、フロー終了のインジケータがリンクに到着するまで保持され、到着した時点で、ソートマージ要素は、それ以上のワーク要素がそのフローに到着しないと見なすことができる。

このような阻止挙動が並列化したグラフに発生する状況もある。例えば、ｍ個のインスタンスのそれぞれ、またはコンポーネントＡの出力が、キーｋｅｙ１に従ってソートされ、下流コンポーネントＢが、入力がキーｋｅｙ２に従ってソートされ、キーｋｅｙ１に従って分岐されるよう要求すると想定する。ｋｅｙ１に従うＡの出力の分岐がメタデータにより規定されない場合、並列化手法は、ｋｅｙ１に従って分岐するコンポーネント間リンク内のハッシュ分岐要素、続いてｋｅｙ２に従ってソートするソート合流を用いる。しかしながら、コンポーネントＡの出力が既にハッシュ分岐されている場合、各ハッシュ分岐要素に対して、１出力だけが何らかのワーク要素を受け入れる。同様に、結果として、ソートマージ要素で、各ソートマージ要素に対して１入力だけが入力を受け入れる。これは、フロー終了インジケータがハッシュ分岐要素からソートマージ要素に渡されるまで、全体のフローを不必要に妨げる。

この状況を避ける方法は、ソートされた入力を受け取るハッシュ分岐要素が、その出力リンクのそれぞれについてソート値インジケータを繰り返し送って、その出力の内の少なくとも１つが到達したソート順序の値を示すことである。このソート値インジケータは、ソート順序で早い値をもつワーク要素が、このリンクを介して提供されないことを下流コンポーネントに合図する。このようなソート値インジケータを受け取るソートマージ要素は、インジケータを用いて、例えば、受け取ったソート値インジケータの値に先行するソート値を有するという理由で、別の入力から保留になっているワーク要素を渡すことができるかどうかを決定する。

ソート値インジケータは、コンポーネントを通じてワーク要素のフローに基づいてできるだけ頻繁に、または少ない頻度で、例えば、処理されるワーク要素の数に従って、もしくは時間に従って、周期的に送ることができる。ソート値インジケータは、分岐され得る任意のソートされたフロー上で送ることができ、このようなインジケータは、インジケータを受け取る分岐要素の出力上で一斉伝達される。

下流のソートマージ要素を妨げる問題に対する別の解決法は、上流のハッシュ分岐要素の入力をスクランブルすることであり、それにより、一般に、少なくとも幾つかのワーク要素がハッシュ分岐要素の各出力に渡される。

上記自動手法はコンピュータ上で実行するためのソフトウエアを用いて実装できる。例えば、ソフトウエアは、少なくとも１個のプロセッサ、少なくとも１台のデータ格納システム（揮発性または不揮発性メモリ、および／または格納素子を含む）、少なくとも１台の入力装置またはポート、および少なくとも１台の出力装置またはポートを含む、１台以上のプログラムされた、またはプログラム可能なコンピュータシステム（分散、クライアント／サーバ、またはグリッド等の各種アーキテクチャのものでよい）上で実行される１つ以上のコンピュータプログラムで手順を形成する。ソフトウエアは、例えば計算グラフの設計および構成に関する他のサービスを提供する、より大きなプログラムの１つ以上のモジュールを形成してもよい。

ソフトウエアは、汎用もしくは専用のプログラム可能なコンピュータにより可読のＣＤ−ＲＯＭ等の媒体で提供するか、または実行されるコンピュータにネットワークを介して配信（伝搬される信号でコード化して）できる。全ての機能は、専用のコンピュータ上で、またはコプロセッサ等の専用のハードウエアを用いて、実行できる。ソフトウエアは、ソフトウエアが規定する計算の異なる部分を異なるコンピュータで実行する分散式で実装してもよい。このようなコンピュータプログラムはそれぞれ、汎用もしくは専用のプログラム可能なコンピュータにより可読の格納媒体もしくは装置（例えば、固体メモリもしくは媒体、または磁気式もしくは光学式媒体）に格納またはダウンロードして、格納媒体もしくは装置をコンピュータシステムが読み取って、本明細書で説明する手順で実行する際、コンピュータを構成し、動作させるのが好ましい。本発明のシステムは、コンピュータプログラムを伴って構成したコンピュータ可読の格納媒体として実装することも考えられ、そのように構成された格納媒体は、コンピュータシステムを特定の、および所定の方法で動作させて、本明細書で説明した機能を実行する。

言うまでもなく、先に述べた説明は、説明を意図としたものであり、付帯の請求の範囲が定義する本発明の範囲を制限するものではない。他の実施の形態は、以下の請求の範囲内にある。

Claims (27)

1. コンピュータシステム内のプロセッサ及びメモリを用いてデータを処理する方法であって、
   前記方法は、前記プロセッサによって実行される、
   第１のコンポーネントの複数のインスタンスと、コンポーネント間リンクと、第２のコンポーネントの複数のインスタンスとを用いてデータを処理するステップであって、前記コンポーネント間リンクは、前記第１のコンポーネントの前記複数のインスタンスから複数の出力を受信し、前記第２のコンポーネントの前記複数のインスタンスの複数の入力に提供される複数の出力を生成する、ステップを含み、
   前記コンポーネント間リンクは、前記第１のコンポーネントの前記複数のインスタンスから前記複数の出力を受信する複数の分岐要素と、前記第２のコンポーネントの前記複数のインスタンスの前記複数の入力に提供される前記複数の出力を生成する複数の合流要素とを含み、
   前記ステップは、
   各分岐要素で、前記第１のコンポーネントの前記複数のインスタンスの１つから、ソート順序に従ってソートされたデータを受信するステップと、
   前記ソートされたデータを前記複数の分岐要素から前記複数の合流要素に通過させるステップと、
   各分岐要素の複数の出力上でソート値インジケータを送信し、前記分岐要素の前記複数の出力の少なくとも１つによって到達された前記ソート順序の値を示すステップと、
   前記複数の合流要素で、データを合流及びソートするステップと、
   ソートされたデータを前記複数の合流要素から前記第２のコンポーネントの前記複数のインスタンスに通過させるステップであって、前記ソートされたデータを前記第２のコンポーネントの前記複数のインスタンスに通過させることは、前記ソート値インジケータに基づく、ステップと、
   前記第２のコンポーネントの前記複数のインスタンスを用いて前記複数の合流要素から受信された前記データを処理するステップと、
   を含む、方法。
2. 前記第１のコンポーネントの前記複数のインスタンスから前記ソートされたデータを受信するステップは、第１のキーに従ってソートされた複数のワーク要素を受信するステップを含む、請求項１に記載の方法。
3. 前記第２のコンポーネントは、その複数の入力で受信されたデータが第２のキーに従ってソートされ、前記第１のキーに従って分岐されることを要求する、請求項２に記載の方法。
4. 前記分岐要素は、前記第１のキーに従って前記データを分岐させる、請求項３に記載の方法。
5. 前記複数の合流要素は、前記第２のキーに従って前記データをソートする、請求項４に記載の方法。
6. 前記ソート値インジケータを送信するステップは、前記分岐要素の前記複数の出力の各々の上で前記ソート値インジケータを送信し、前記複数の出力の少なくとも１つの上でワーク要素によって到達された前記ソート順序の値を示すステップを含む、請求項２に記載の方法。
7. 前記ソート値インジケータは、前記ソート値インジケータが送信された前記出力から、前記ソート順序においてより早い値を有するワーク要素が提供されないことを、前記第２のコンポーネントに合図する、請求項６に記載の方法。
8. 前記ソート値インジケータは、処理されるワーク要素の数に従って繰り返し送信される、請求項６に記載の方法。
9. 前記ソート値インジケータは、時間に従って繰り返し送信される、請求項６に記載の方法。
10. コンピュータ可読媒体に格納されたコンピュータプログラムであって、前記コンピュータプログラムは、プロセッサ及びデータ格納システムを含むコンピュータシステムに、
    第１のコンポーネントの複数のインスタンスと、コンポーネント間リンクと、第２のコンポーネントの複数のインスタンスとを用いてデータを処理するステップであって、前記コンポーネント間リンクは、前記第１のコンポーネントの前記複数のインスタンスから複数の出力を受信し、前記第２のコンポーネントの前記複数のインスタンスの複数の入力に提供される複数の出力を生成する、ステップを実行させるための命令を含み、
    前記コンポーネント間リンクは、前記第１のコンポーネントの前記複数のインスタンスから前記複数の出力を受信する複数の分岐要素と、前記第２のコンポーネントの前記複数のインスタンスの前記複数の入力に提供される前記複数の出力を生成する複数の合流要素とを含み、
    前記ステップは、
    各分岐要素で、前記第１のコンポーネントの前記複数のインスタンスの１つから、ソート順序に従ってソートされたデータを受信するステップと、
    前記ソートされたデータを前記複数の分岐要素から前記複数の合流要素に通過させるステップと、
    各分岐要素の複数の出力上でソート値インジケータを送信し、前記分岐要素の前記複数の出力の少なくとも１つによって到達された前記ソート順序の値を示すステップと、
    前記複数の合流要素で、データを合流及びソートするステップと、
    ソートされたデータを前記複数の合流要素から前記第２のコンポーネントの前記複数のインスタンスに通過させるステップであって、前記ソートされたデータを前記第２のコンポーネントの前記複数のインスタンスに通過させることは、前記ソート値インジケータに基づく、ステップと、
    前記第２のコンポーネントの前記複数のインスタンスを用いて前記複数の合流要素から受信された前記データを処理するステップと、
    を含む、コンピュータプログラム。
11. 前記第１のコンポーネントの前記複数のインスタンスから前記ソートされたデータを受信するステップは、第１のキーに従ってソートされた複数のワーク要素を受信するステップを含む、請求項１０に記載のコンピュータプログラム。
12. 前記第２のコンポーネントは、その複数の入力で受信されたデータが第２のキーに従ってソートされ、前記第１のキーに従って分岐されることを要求する、請求項１１に記載のコンピュータプログラム。
13. 前記分岐要素は、前記第１のキーに従って前記データを分岐させる、請求項１２に記載のコンピュータプログラム。
14. 前記複数の合流要素は、前記第２のキーに従って前記データをソートする、請求項１３に記載のコンピュータプログラム。
15. 前記ソート値インジケータを送信するステップは、前記分岐要素の前記複数の出力の各々の上で前記ソート値インジケータを送信し、前記複数の出力の少なくとも１つの上でワーク要素によって到達された前記ソート順序の値を示すステップを含む、請求項１１に記載のコンピュータプログラム。
16. 前記ソート値インジケータは、前記ソート値インジケータが送信された前記出力から、前記ソート順序においてより早い値を有するワーク要素が提供されないことを、前記第２のコンポーネントに合図する、請求項１５に記載のコンピュータプログラム。
17. 前記ソート値インジケータは、処理されるワーク要素の数に従って繰り返し送信される、請求項１５に記載のコンピュータプログラム。
18. 前記ソート値インジケータは、時間に従って繰り返し送信される、請求項１５に記載のコンピュータプログラム。
19. プロセッサ及びデータ格納システムを含むコンピュータシステムであって、
    前記コンピュータシステムは、
    第１のコンポーネントの複数のインスタンスと、コンポーネント間リンクと、第２のコンポーネントの複数のインスタンスとを用いてデータを処理する手段であって、前記コンポーネント間リンクは、前記第１のコンポーネントの前記複数のインスタンスから複数の出力を受信し、前記第２のコンポーネントの前記複数のインスタンスの複数の入力に提供される複数の出力を生成する、手段を含み、
    前記コンポーネント間リンクは、前記第１のコンポーネントの前記複数のインスタンスから前記複数の出力を受信する複数の分岐要素と、前記第２のコンポーネントの前記複数のインスタンスの前記複数の入力に提供される前記複数の出力を生成する複数の合流要素とを含み、
    前記手段は、
    各分岐要素で、前記第１のコンポーネントの前記複数のインスタンスの１つから、ソート順序に従ってソートされたデータを受信する手段と、
    前記ソートされたデータを前記複数の分岐要素から前記複数の合流要素に通過させる手段と、
    各分岐要素の複数の出力上でソート値インジケータを送信し、前記分岐要素の前記複数の出力の少なくとも１つによって到達された前記ソート順序の値を示す手段と、
    前記複数の合流要素で、データを合流及びソートする手段と、
    ソートされたデータを前記複数の合流要素から前記第２のコンポーネントの前記複数のインスタンスに通過させる手段であって、前記ソートされたデータを前記第２のコンポーネントの前記複数のインスタンスに通過させることは、前記ソート値インジケータに基づく、手段と、
    前記第２のコンポーネントの前記複数のインスタンスを用いて前記複数の合流要素から受信された前記データを処理する手段と、
    を含む、コンピュータシステム。
20. 前記第１のコンポーネントの前記複数のインスタンスから前記ソートされたデータを受信することは、第１のキーに従ってソートされた複数のワーク要素を受信することを含む、請求項１９に記載のコンピュータシステム。
21. 前記第２のコンポーネントは、その複数の入力で受信されたデータが第２のキーに従ってソートされ、前記第１のキーに従って分岐されることを要求する、請求項２０に記載のコンピュータシステム。
22. 前記分岐要素は、前記第１のキーに従って前記データを分岐させる、請求項２１に記載のコンピュータシステム。
23. 前記複数の合流要素は、前記第２のキーに従って前記データをソートする、請求項２２に記載のコンピュータシステム。
24. 前記ソート値インジケータを送信することは、前記分岐要素の前記複数の出力の各々の上で前記ソート値インジケータを送信し、前記複数の出力の少なくとも１つの上でワーク要素によって到達された前記ソート順序の値を示すことを含む、請求項２０に記載のコンピュータシステム。
25. 前記ソート値インジケータは、前記ソート値インジケータが送信された前記出力から、前記ソート順序においてより早い値を有するワーク要素が提供されないことを、前記第２のコンポーネントに合図する、請求項２４に記載のコンピュータシステム。
26. 前記ソート値インジケータは、処理されるワーク要素の数に従って繰り返し送信される、請求項２４に記載のコンピュータシステム。
27. 前記ソート値インジケータは、時間に従って繰り返し送信される、請求項２４に記載のコンピュータシステム。
    
    

Images