JP7170094B2 - オペレーター併合方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム - Google Patents

Description

本開示は、コンピュータ応用技術に関し、特に、深層学習、人工知能、ナレッジグラフの分野でのオペレーター併合方法、装置、電子デバイス、記憶媒体及びコンピュータプログラムに関している。

現在、深層学習技術は、ますます広く応用されており、例えば音声、画像、自然言語処理などの分野で広く応用されている。

深層学習モデルのボリュームの継続的な増加とトレーニングデータの大幅な増加により、深層学習の計算ニーズが満足されることができず、速度の最適化は常に深層学習で解決すべき問題である。

本願は、オペレーター併合方法、装置、電子デバイス、記憶媒体及びコンピュータプログラムを提供している。

処理待ちオペレーターグラフに応じて、併合待ちオペレーターの組み合わせを決定し、いずれか１つのオペレーターの組み合わせが、オペレーターグラフ中の少なくとも２つのオペレーターをそれぞれ含むことと、
いずれか１つのオペレーターの組み合わせについて、前記オペレーターの組み合わせに対応する併合オペレーターをそれぞれ取得することと、
いずれか１つの併合オペレーターについて、前記オペレーターグラフ中の対応オペレーターを前記併合オペレーターにそれぞれ置き換え、前記対応オペレーターの従属エッジを全て前記併合オペレーターに接続し、前記対応オペレーターが、この併合オペレーターに対応オペレーターの組み合わせ中のオペレーターであることと、を含む
オペレーター併合方法。

処理待ちオペレーターグラフに応じて、併合待ちオペレーターの組み合わせを決定し、いずれか１つのオペレーターの組み合わせは、オペレーターグラフ中の少なくとも２つのオペレーターをそれぞれ含む組み合わせ取得モジュールと、
いずれか１つのオペレーターの組み合わせについて、前記オペレーターの組み合わせに対応する併合オペレーターをそれぞれ取得するオペレーター併合モジュールと、
いずれか１つの併合オペレーターについて、前記オペレーターグラフ中の対応オペレーターを前記併合オペレーターにそれぞれ置き換え、前記対応オペレーターの従属エッジを全て前記併合オペレーターに接続し、前記対応オペレーターが、この併合オペレーターに対応オペレーターの組み合わせ中のオペレーターであるオペレーター置き換えモジュールと、を含む
オペレーター併合装置。

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに前記の方法を実行させる前記少なくとも１つのプロセッサが実行される命令を記憶する
電子デバイス。

コンピュータに前記方法を実行させるコンピュータ命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体。

プロセッサによって実行される際に、前記の方法を実現するコンピュータプログラム。

上記の出願における実施例は、以下の利点または有益な効果を有する。複数のオペレーターの併合オペレーターを生成し、対応オペレーターを置換することにより、オペレーターの併合を実現し、それにより計算効率と深層学習モデルのトレーニング速度を向上させる深層学習のための横方向オペレーターの自動併合方法が提案された。

本部分に記載されている内容は、本開示の実施例の肝心な特徴または重要な特徴を限定することを意図するものではなく、また、本開示の範囲を限定することを意図するものでもないことを理解すべきである。本開示の他の特徴は、以下の明細書によって容易に理解されるであろう。

添付の図面は、本案をよりよく理解するために使用されており、本開示を制限するものではない。

図１は、本願に記載されたオペレーター併合方法の実施例のフローチャートである。 図２は、本願に記載されたオペレーター併合装置の実施例２０の構成構造の概略図である。 図３は、本願の実施例に記載の方法による電子デバイスのブロック図である。

以下は、理解を容易にするために本開示の実施例の様々な詳細を含んで添付の図面を参照して本開示の例示的な実施例を説明し、それらが単なる例示と見なされるべきである。したがって、当業者は、本開示の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を行うことができる。同様に、明確と簡潔のために、公知機能と構造に対する説明は、以下の説明では省略されている。

また、本明細書の「および／または」という用語は、関連するオブジェクトを説明する関連関係にすぎず、３つの関係があることを意味し、例えば、Ａおよび／またはＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという３つの場合があることを示すことができる。さらに、本明細書の文字「／」は、一般に、前後の関連オブジェクトが「または」の関係であることを示す。

図１は、本願に記載されたオペレーター併合方法の実施例のフローチャートである。図１に示すように、次の具体的な実現形態が含まれている。

ステップ１０１では、処理待ちオペレーターグラフに応じて、併合待ちオペレーターの組み合わせを決定し、いずれか１つのオペレーターの組み合わせは、オペレーターグラフ中の少なくとも２つのオペレーターをそれぞれ含む。

ステップ１０２では、いずれか１つのオペレーターの組み合わせについて、このオペレーターの組み合わせに対応する併合オペレーターをそれぞれ取得する。

ステップ１０３では、いずれか１つの併合オペレーターについて、オペレーターグラフ中の対応オペレーターを併合オペレーターにそれぞれ置き換え、対応オペレーターの従属エッジをこの併合オペレーターに接続し、対応オペレーターは、この併合オペレーターに対応オペレーターの組み合わせ中のオペレーターである。

上記の実施例では、深層学習向けの横方向オペレーターの自動併合方法を提出し、複数のオペレーターの併合オペレーターを生成し、対応オペレーターを置換することにより、オペレーターの併合を実現し、計算効率と深層学習モデルのトレーニング速度を向上させる。

ステップ１０１で説明したように、処理待ちオペレーターグラフに応じて、併合待ちオペレーターの組み合わせを決定することができる。オペレーターグラフは、ネットワーク内のオペレーターの組織形態の一つである。その各ノードは、ネットワーク内の異なるオペレーターに対応する。オペレーターは、論理的な意味を持つ最小の計算粒度であり、オペレーターの生産者－消費者の関係に基づいて、オペレーターの依存図（またはオペレーターグラフとも呼ぶ）を作成することができ、すなわち、オペレーター間のデータ伝送関係などに応じて対応ノードをエッジ（従属エッジ）を介して接続することができる。

好ましい実現形態として、併合待ちオペレーターの組み合わせを決定するために、オペレーターグラフについて次の第１の処理を実行できる：オペレーターグラフ内のオペレーターをトラバースし、トラバースされたいずれか一つのオペレーターについて、いずれか一つの他のオペレーターとトラバースされたオペレーターとの間に依存関係がないと決定すると、この他のオペレーターとトラバースされたオペレーターをオペレーターペアに形成し、このオペレーターペアを新しいオペレーターとして使用し、この新しいオペレーターでこの他のオペレーターとトラバースされたオペレーターを置換し、即ちこの新しいオペレーターで元の２つのオペレーターを置換し、置換後、オペレーターの数は１つ減り、この他のオペレーターとトラバースされたオペレーターの従属エッジは、すべてこの新しいオペレーターに接続される。終了条件が満たされていると決定すると、オペレーターグラフ中の少なくとも２つのオペレーターで構成されるオペレーターを、併合待ちオペレーターの組み合わせとし、それ以外の場合は、前記第１の処理が繰り返される。

本願では、オペレーターグラフにおけるオペレーターのトラバース方法に制限はなく、実際のニーズに応じて決定することができ、例えば、幅優先のトラバーサル方式を採用することができる。

例えばオペレーターａというトラバースされたいずれか１つのオペレーターについて、例えばオペレーターｂといういずれか１つの他のオペレーターとオペレーターａとの間に依存関係がないと決定された場合、オペレーターｂとオペレーターａをオペレーターペアに形成できる。オペレーターｂとオペレーターａとの間に依存関係がないことが、オペレーターｂとオペレーターａはエッジによって直接的または間接的に接続されていないことを意味している。さらに、オペレーターａとオペレーターｂからなるオペレーターペアについて、このオペレーターペアを新しいオペレーターとして、オペレーターグラフにおけるオペレーターａおよびオペレーターｂを置換し、オペレーターａとオペレーターｂとの従属エッジをすべてこの新しいオペレーターに接続することができる。

オペレーターａとオペレーターｂで構成されるオペレーターペアが新しいオペレーターとしてオペレーターグラフに追加された後、当該新しいオペレーターがオペレーターａｂであると仮定すると、オペレーターａｂは他のオペレーターとともにオペレーターペアを形成することができ、例えばオペレーターｃとともにオペレーターペアを形成して、これにより、オペレーターａ、オペレーターｂ、オペレーターｃからなるオペレーターペアを取得する。相応的に、このオペレーターペアは、新しいオペレーターとしてオペレーターグラフに追加されることもできる。この新しいオペレーターをオペレーターａｂｃとすれば、オペレーターａｂｃでオペレーターグラフにおけるオペレーターａｂとオペレーターｃを置換でき、オペレーターａｂとオペレーターｃとの従属エッジをオペレーターａｂｃに接続することができる。

上記のプロセスは、終了条件が満たされるまで連続して繰り返すことができる。終了条件を満たす場合、オペレーターグラフの少なくとも２つのオペレーターからなるオペレーターを、それぞれ併合待ちオペレーターの組み合わせとして使用することができる。終了条件を満たしていると仮定し、上記のオペレーターａｂｃが他のオペレーターとともにオペレーターペアを形成しない場合、オペレーターａｂｃは、オペレーターａ、オペレーターｂ、オペレーターｃの３つのオペレーターを含む一つの併合待ちオペレーターの組み合わせとすることができる。

実際の応用では、オペレーターには独自の属性があり、併合するかどうかは属性の１つであり、併合できないオペレーターについて、通常、本願で説明する方法で処理することができない。

このため、前記第１の処理を実行する前に、オペレーターグラフのオペレーターから併合可能なオペレーターを選択し、選択されたオペレーターを使用して第１のオペレーターセットを形成することもできる。このように、トラバースしたいずれか１つのオペレーターについて、いずれか１つの他のオペレーターとトラバースされたオペレーターとの間に依存関係がないと決定された場合、まず、この他のオペレーターおよびトラバースされたオペレーターが共に第１のオペレーターセットにあるかどうかを決定することができる。そうである場合、この他のオペレーターとトラバースされたオペレーターをオペレーターペアに形成でき、相応的に後続の処理を完了することができ、つまり、この他のオペレーターとトラバースされたオペレーターが共に第１のオペレーターセットにある場合のみ、オペレーターペアを生成し、後続の処理を実行する。

終了条件を満たすことは、新しいオペレーターペアを生成できないことを意味するか、あるいは、新しいオペレーターペアが生成された場合、その中のオペレーターの数が所定の閾値よりも多いことを意味している。このうち、前者の場合は、引き続き併合できるオペレーターがないことを意味している。後者の場合は、新しいオペレーターペアを生成できるが、新しいオペレーターペアが生成されると、新しいオペレーターペアに含まれるオペレーターの数が所定の閾値よりも多いことを意味している。

前記所定の閾値の具体的な値は、実際の必要に応じて決定することができる。例えば、予め設定された併合幅にＬを制約することができ、Ｌは１より大きい正の整数である。

Ｌの値が３であると仮定すると、オペレーターペアが最も多くて３つのオペレーターしか含めることができないことを示す。新しいオペレーターペアが生成されると４つのオペレーターを含むと仮定すれば、新しいオペレーターペアに含まれるオペレーターの数は閾値３より多くなることを示し、終了条件を満たしていると考えられる。なお、前記閾値の値は整数である必要はなく、ここでは一例に過ぎない。

以上の処理により、併合待ちオペレーターの組み合わせをできるだけ多く見つけることができ、後続の処理について良い基礎となり、得られた併合待ちオペレーターの組み合わせの正確性を確保することができる。

ステップ１０２で説明したように、いずれか１つのオペレーターの組み合わせについて、このオペレーターの組み合わせに対応する併合オペレーターをそれぞれ取得でき、例えば、オンラインコンパイルによるオペレーター生成方法を使用して、複数の依存関係なしのオペレーターを１つのオペレーターに併合することができ、つまり、併合オペレーターが取得される。

好ましい実現形態として、いずれか１つのオペレーターの組み合わせについて、まず、このオペレーターの組み合わせに対応する併合コードを取得し、として、併合コードに対応するバイナリコードをコンパイルして生成することにより、併合オペレーターを取得することができる。

ここで、いずれか１つのオペレーターの組み合わせｓ_ｉについて、このオペレーターの組み合わせに対応する併合コードを取得する方法は、
１）オペレーターの組み合わせｓ_ｉの各オペレーターｖ_ｉ（ｖ_ｉ∈ｓ_ｉ）について、そのソースコードｋ_ｉとスレッドスペースｂ_ｉをそれぞれ取得すること、
２）取得されたスレッドスペースを併合し、すなわち、Ｂ＝Σｂ_ｉとすることと、
３）併合されたスレッドスペースＢに従って、併合コードのスレッドスペースを宣言すること、
４）スレッドのサブスペースを割り当てｋ_ｉの計算プロセスを完了すること、
５）併合コードのパラメータリストを構築し、併合コードのパラメータリストは、ｋ_ｉのすべてのパラメータリストの並列セットであることと、を含むことができる。

オペレーターの組み合わせｓ_ｉに２つのオペレーターが含まれていると仮定すると、各オペレーターは独自のソースコードなどに対応し、これらの２つのオペレーターに基づいて新しいオペレーターを生成する必要があり、この新しいオペレーターで元の２つのオペレーターの操作を完成させることができ、相応的に、以前には存在しなかった新しいコードを生成する必要がある。

その後、併合コードに対応するバイナリコードをコンパイルして生成でき、具体的に、
１）ｎｖｒｔｃＣｒｅａｔｅＰｒｏｇｒａｍを使用してｎｖｒｔｃＰｒｏｇｒａｍオブジェクトを作成する。つまり、ｎｖｒｔｃＣｒｅａｔｅＰｒｏｇｒａｍによって、ソースコード（併合コード）をｎｖｒｔｃＰｒｏｇｒａｍオブジェクトにパッケージすることと、
２）ｃｕｄａＤｅｖｉｃｅＧｅｔＡｔｔｒｉｂｕｔｅによって、現在のグラフィック処理ユニット（ＧＰＵ、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のアーキテクチャパラメータを取得し、コンパイルオプションを設定することと、
３）前記ｎｖｒｔｃＰｒｏｇｒａｍオブジェクトに従って、ｎｖｒｔｃＣｏｍｐｉｌｅＰｒｏｇｒａｍよって並列スレッド実行（ＰＴＸ、Ｐａｒａｌｌｅｌ Ｔｈｒｅａｄ Ｘｅｃｕｔｉｏｎ）中間コードをコンパイルして生成し、文字配列に保存することと、
４）前記中間コードに従って、ｃｕＭｏｄｕｌｅＬｏａｄＤａｔａＥｘによってｃＵｍｏｄｕｌｅ オブジェクトを生成することと、
５）前記ＣＵｍｏｄｕｌｅオブジェクトに従って、ｃｕＭｏｄｕｌｅＧｅｔＦｕｎｃｔｉｏｎによって、コンパイルされたバイナリコードを取得することと、を含むことができる。

また、ｃｕＬａｕｎｃｈＫｅｒｎｅｌによって、バイナリコードの呼び出しを開始することもできる。

前述の動的に生成された併合コードをオンラインで実行するために、コードをオンラインでコンパイルして管理する方法が必要である。統合コンピューティングデバイスアーキテクチャ（ＣＵＤＡ、Ｃｏｍｐｕｔｅ Ｕｎｉｆｉｅｄ Ｄｅｖｉｃｅａｒｃｈｉｔｅｃｔｕｒｅ）インターフェースは、ランタイムコンパイル（ＮＶＲＴＣ、Ｒｕｎｔｉｍｅｃｏｍｐｉｌａｔｉｏｎ）インターフェースを提供し、オンラインでソースコードをコンパイルして、ＧＰＵで実行されるバイナリコードを生成でき、コンパイルおよび実行プロセスは、上記１）－５）のとおりである。

ステップ１０３で説明したように、いずれか１つの併合オペレーターについて、オペレーターグラフ中の対応オペレーターをこの併合オペレーターで置き換えることができ、対応オペレーターの従属エッジは全てこの併合オペレーターに接続され、対応オペレーターはこの併合オペレーターに対応するオペレーターの組み合わせ中のオペレーターである。

例えば、ある併合オペレーターがオペレーターａ、オペレーターｂおよびオペレーターｃで構成されている場合、この併合オペレーターを使用して、オペレーターグラフのオペレーターａ、オペレーターｂおよびオペレーターｃを置き換えることができ、３つのオペレーターを１つのオペレーターに併合し、さらに、オペレーターａ、オペレーターｂ、オペレーターｃの従属エッジを全てこの併合オペレーターに接続して、オペレーターグラフ中の依存関係が変更されないように保証することができる。

なお、前述の方法の実施例については、説明を簡単にするために、一連の動作の組み合わせとして表現されている、当業者は、本願が、記載された動作の順序によって限定されないことを理解すべきである。本願によれば、いくつかのステップは、他の順序で、または同時に実行することができる。次に、当業者は、明細書に記載された実施例がいずれも好ましい実施例に属し、関連する動作およびモジュールが本願によって必ずしも必要とされるわけではないことも理解すべきである。

上記は、方法の実施例に対する説明であり、以下、装置実施例によって、本願に記載される方案をさらに説明する。

図２は、本願に記載のオペレーター併合装置の実施例２０の構成構造の概略図である。図２に示すように、組み合わせ取得モジュール２０１、オペレーター併合モジュール２０２およびオペレーター置換モジュール２０３を含むことができる。

組合せ取得モジュール２０１は、処理待ちオペレーターグラフに応じて、併合待ちオペレーターの組み合わせを決定し、いずれか１つのオペレーターの組み合わせは、オペレーターグラフの少なくとも２つのオペレーターをそれぞれ含む。

オペレーター併合モジュール２０２は、いずれか１つのオペレーターの組み合わせについて、このオペレーターの組み合わせに対応する併合オペレーターをそれぞれ取得する。

オペレーター置換モジュール２０３は、いずれか１つの併合オペレーターについて、オペレーターグラフ中の対応オペレーターをこの併合オペレーターで置換し、対応オペレーターの従属エッジを全て併合オペレーターに接続し、対応オペレーターは、この併合オペレーターに対応するオペレーターの組み合わせ中のオペレーターである。

好ましい実現形態として、併合待ちオペレーターの組み合わせを決定するために、組合せ取得モジュール２０１は、オペレーターグラフに対して次の第１の処理を実行することができる：オペレーターグラフ内のオペレーターをトラバースし、トラバースされたいずれか１つのオペレーターについて、いずれか１つの他のオペレーターとトラバースされたオペレーターとの間に依存関係がないと決定すると、この他のオペレーターとトラバースされたオペレーターをオペレーターペアに形成し、このオペレーターペアを新しいオペレーターとして使用し、この新しいオペレーターでこの他のオペレーターとトラバースされたオペレーターを置換し、この他のオペレーターとトラバースされたオペレーターの従属エッジはすべてこの新しいオペレーターに接続される。終了条件が満たされていると決定すると、オペレーターグラフ中の少なくとも２つのオペレーターで構成されるオペレーターを、併合待ちオペレーターの組み合わせとし、それ以外の場合は、上記の第１の処理が繰り返される。

実際の応用では、オペレーターには独自の属性があり、併合できるかどうかは属性の１つであり、併合できないオペレーターについて、通常、本願で説明する方法で処理することができない。

このため、前記第１の処理を実行する前に、組合せ取得モジュール２０１は、オペレーターグラフのオペレーターから併合可能なオペレーターを選択し、選択されたオペレーターを使用して第１のオペレーターセットを形成することもできる。このように、トラバースされたいずれか１つのオペレーターについて、いずれか１つの他のオペレーターとトラバースされたオペレーターとの間に依存関係がないと決定された場合、まず、この他のオペレーターおよびトラバースされたオペレーターが共に第１のオペレーターセットにあるかどうかを決定することができる。そうである場合、この他のオペレーターとトラバースされたオペレーターをオペレーターペアに形成でき、相応的に後続の処理を完了することができる。つまり、この他のオペレーターとトラバースされたオペレーターが共に第１のオペレーターセットにある場合のみ、オペレーターペアが生成され、後続の処理が実行される。

終了条件を満たすことは、新しいオペレーターペアを生成できないことを意味するか、あるいは、新しいオペレーターペアが生成された場合、その中のオペレーターの数が所定の閾値よりも多いことを意味している。このうち、前者の場合は、引き続き併合できるオペレーターがないことを意味している。後者の場合は、新しいオペレーターペアを生成できるが、新しいオペレーターペアが生成されると、新しいオペレーターペアに含まれるオペレーターの数が所定の閾値よりも多いことを意味している。

前記所定の閾値の具体的な値は、実際の必要に応じて決定することができる。例えば、予め設定された併合幅にＬを制約することができ、Ｌは１より大きい正の整数である。

オペレーター併合モジュール２０２は、いずれか１つのオペレーターの組み合わせについて、このオペレーターの組み合わせに対応する併合オペレーターをそれぞれ取得でき、例えば、オンラインコンパイルによるオペレーター生成方法を使用して、複数の依存関係なしのオペレーターを１つのオペレーターに併合することができ、つまり、併合オペレーターが取得される。

好ましい実現形態として、いずれか１つのオペレーターの組み合わせについて、オペレーター併合モジュール２０２は、まず、このオペレーターの組み合わせに対応する併合コードを取得し、として、併合コードに対応するバイナリコードをコンパイルして生成することにより、併合オペレーターを取得することができる。

ここで、いずれか１つのオペレーターの組み合わせｓ_ｉについて、このオペレーターの組み合わせに対応する併合コードを取得する方法は、
１）オペレーターの組み合わせｓ_ｉの各オペレーターｖ_ｉ（ｖ_ｉ∈ｓ_ｉ）について、そのソースコードｋ_ｉとスレッドスペースｂ_ｉをそれぞれ取得すること、
２）取得されたスレッドスペースを併合し、すなわち、Ｂ＝Σｂ_ｉとすることと、
３）併合されたスレッドスペースＢに従って、併合コードのスレッドスペースを宣言すること、
４）スレッドのサブスペースを割り当てｋ_ｉの計算プロセスを完了すること、
５）併合コードのパラメータリストを構築し、併合コードのパラメータリストは、ｋ_ｉのすべてのパラメータリストの並列セットであることと、を含むことができる。

その後、併合コードに対応するバイナリコードをコンパイルして生成でき、具体的に、
１）ｎｖｒｔｃＣｒｅａｔｅＰｒｏｇｒａｍを使用してｎｖｒｔｃＰｒｏｇｒａｍオブジェクトを作成する。つまり、ｎｖｒｔｃＣｒｅａｔｅＰｒｏｇｒａｍによって、ソースコード（併合コード）をｎｖｒｔｃＰｒｏｇｒａｍオブジェクトにパッケージすることと、
２）ｃｕｄａＤｅｖｉｃｅＧｅｔＡｔｔｒｉｂｕｔｅによって、現在のグラフィック処理ユニット（ＧＰＵ、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のアーキテクチャパラメータを取得し、コンパイルオプションを設定することと、
３）前記ｎｖｒｔｃＰｒｏｇｒａｍオブジェクトに従って、ｎｖｒｔｃＣｏｍｐｉｌｅＰｒｏｇｒａｍよって並列スレッド実行（ＰＴＸ、Ｐａｒａｌｌｅｌ Ｔｈｒｅａｄ Ｘｅｃｕｔｉｏｎ）中間コードをコンパイルして生成し、文字配列に保存することと、
４）前記中間コードに従って、ｃｕＭｏｄｕｌｅＬｏａｄＤａｔａＥｘによってｃＵｍｏｄｕｌｅ オブジェクトを生成することと、
５）前記ＣＵｍｏｄｕｌｅオブジェクトに従って、ｃｕＭｏｄｕｌｅＧｅｔＦｕｎｃｔｉｏｎによって、コンパイルされたバイナリコードを取得することと、を含むことができる。

また、ｃｕＬａｕｎｃｈＫｅｒｎｅｌによって、バイナリコードの呼び出しを開始することもできる。

いずれか１つの併合オペレーターについて、オペレーター置換モジュール２０３は、オペレーターグラフ中の対応オペレーターをこの併合オペレーターで置き換えることができ、対応オペレーターの従属エッジは全てこの併合オペレーターに接続され、対応オペレーターはこの併合オペレーターに対応するオペレーターの組み合わせ中のオペレーターである。

図２に示す装置実施例の具体的な作業プロセスについては、前述の方法実施例の関連説明を参照し、ここでは繰り返さない。

つまり、本願の装置実施例の前記技術案を使用すると、横方向オペレーターの自動併合を実現でき、コンパイルによる方法を採用し、実行時に新しいオペレーターを生成して元のオペレーターを置き換えることができ、それにより、計算効率と深層学習モデルのトレーニング速度などを向上させることができ、且つ固定モードに制限されず、より広い応用シナリオと最適化の余地がある。

本願の実施例によれば、本願は、電子デバイスおよび読み取り可能な記憶媒体をさらに提供する。

図３に示すように、本願の実施例による前記方法による電子デバイスのブロック図である。電子デバイスは、ラップトップコンピューター、デスクトップコンピューター、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレームコンピューター、その他の適切なコンピューターなど、各種の形式のデジタルコンピューターを表すことを目的としている。電子デバイスは、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、およびその他の同様のコンピューティングデバイスなどの各種の形式のモバイルデバイスを表すこともできる。本明細書に示される部品、それらの接続および関係、ならびにそれらの機能は単なる例であり、本明細書に記載および／または要求とされる本願の実現を制限することを意図するものではない。

図３に示すように、当該電子デバイスは、１つまたは複数のプロセッサＹ０１、メモリＹ０２、および高速インターフェースおよび低速インターフェースを含む様々な部品を接続するためのインターフェースを含む。各部品は、異なるバスを使用して相互に接続されており、共通のマザーボードにインストールすることも、必要に応じて他の方法でインストールすることもできる。プロセッサは、外部入力／出力デバイス（インターフェースに結合された表示デバイスなど）にＧＵＩのグラフィック情報を表示するための、メモリ内またはメモリ上に格納された命令を含む、電子デバイスで実行される命令を処理することができる。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスを、複数のメモリおよび複数のメモリとともに使用することができる。同様に、複数の電子デバイスを接続することができ、各デバイスは一部の必要な操作を提供する（例えば、サーバーアレイ、ブレードサーバーのグループ、またはマルチプロセッサシステムとして）。図３では、一つのプロセッサＹ０１が例として取り上げられている。

メモリＹ０２は、この出願によって提供される非一時的なコンピュータ可読記憶媒体である。ここで、少なくとも１つのプロセッサは、この出願で提供される方法を実行するように、メモリは、少なくとも１つのプロセッサによって実行可能な命令を格納する。本願の非一時的なコンピュータ可読記憶媒体は、コンピュータ命令を格納し、当該コンピュータ命令は、本願によって提供される方法をコンピュータに実行させるために使用される。

非一時的なコンピュータ可読記憶媒体とするメモリＹ０２は、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能プログラムとモジュール、および本願実施例中の方法に対応するプログラム命令／モジュールを格納するために使用することができる。プロセッサＹ０１は、メモリＹ０２に格納された非一時的なソフトウェアプログラム、命令、およびモジュールを実行することによって、サーバの様々な機能的アプリケーションおよびデータ処理を行なう。すなわち、前述の方法の実施例中の方法を実現する。

メモリＹ０２は、オペレーティングシステムと少なくとも１つの機能によって必要とされるアプリケーションプログラムを記憶するプログラム領域および電子デバイスの使用により作成されたデータを記憶する記憶データ領域を含み得る。また、メモリＹ０２は、少なくとも１つの磁気ディスク記憶装置、フラッシュ記憶装置、または他の非一時的ソリッドステート記憶装置などの高速ランダムアクセスメモリを含み得る。いくつかの実施例では、メモリＹ０２は、任意選択で、プロセッサＹ０１に対して遠隔的に設置されるメモリを選択的に含み、これらの遠隔メモリは、ネットワークを介して電子デバイスに接続され得る。前述のネットワークの例には、インターネット、企業イントラネット、ブロックチェーンネットワーク、ローカルエリアネットワーク、モバイル通信ネットワーク、およびそれらの組み合わせが含まれるが、これらに限定されない。

電子デバイスは、入力デバイスＹ０３および出力デバイスＹ０４をさらに含み得る。プロセッサＹ０１、メモリＹ０２、入力デバイスＹ０３、および出力デバイスＹ０４は、バスによって、または他の方法で接続することができる。図３には、バスによる接続ことを例とする。

入力デバイスＹ０３は、入力データまたは文字情報を受信し、タッチスクリーン、キーパッド、マウス、トラックパッドなどのこの電子デバイスのユーザー設定および機能制御に関連するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、１つ以上のマウスボタン、トラックボール、ジョイスティックなどの入力デバイスである。出力装置Ｙ０４は、表示デバイス、補助照明装置、触覚フィードバック装置（例えば、振動モーター）などを含み得る。この表示装置は、液晶ディスプレイ、発光ダイオードディスプレイ、およびプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施例では、ディスプレイデバイスは、タッチスクリーンであり得る。

本明細書に記載のシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実施形態は、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行および／または解釈される１つまたは複数のコンピュータプログラムに実施されることを含み得る。当該プログラム可能なプロセッサは、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、データおよび命令をこのストレージシステム、少なくとも１つの出力デバイス及び少なくとも１つの入力デバイスに送信することができる専用または一般的なプログラマブルプロセッサであり得る。

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）には、プログラム可能なプロセッサの機器命令が含まれ、高水準プロセスおよび／または対象指向プログラミング言語、および／またはアセンブリ／機器言語を利用してこれらの計算プログラムを実施する。本明細書で使用される場合、「機器可読媒体」および「コンピュータ可読媒体」という用語は、プログラム可能なプロセッサの任意のコンピュータプログラム製品、デバイス、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック装置）に機器命令および／またはデータを提供するために使用されることを指し、機器可読信号としての機器命令を受信する機器可読メディアを含む。「機器可読信号」という用語は、プログラム可能なプロセッサに機器命令および／またはデータを提供するために使用される任意の信号を指す。

ユーザーとのインタラクティブを提供するために、ここで説明するシステムおよび技術は、ユーザーに情報を表示するための表示装置（例えば、陰極線管または液晶ディスプレイモニター））、及びユーザーがコンピューターに入力を提供できるキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を備えたコンピューターに実施することができる。他のタイプの装置は、ユーザーとのインタラクティブを提供することに用いられる。例えば、ユーザーに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であり、任意の形式（音響入力、音声入力、または触覚入力を含む）を用いてユーザーからの入力を受信する。

本明細書に記載のシステムおよび技術は、バックエンド部品を含むコンピューティングシステム（例えば、データサーバーとして）、またはミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバー）、またはフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザーインターフェイス又はＷｅｂブラウザーを備えたユーザーコンピューターであり、ユーザーがこのグラフィカルユーザーインターフェイス又はこのＷｅｂブラウザーによりここで説明するシステムとテクノロジーの実施形態とインタラクティブすることができる）、またはそのようなバックグラウンド部品を含む、ミドルウェア部品、またはフロントエンド部品の任意組み合わせのコンピューティングシステム内に実施させる。システムの部品は、デジタルデータ通信の任意の形式または媒体（例えば、通信ネットワーク）を介して相互に接続できる。通信ネットワークの例には、ローカルエリアネットワーク、ワイドエリアネットワーク、ブロックチェーンネットワークおよびインターネットが含まれる。

コンピュータシステムには、クライアントとサーバーを含めることができる。クライアントとサーバーは通常、互いに遠く離れており、通常は通信ネットワークを介してインタラクティブする。クライアントとサーバーの関係は、相応的なコンピューター上で実行され、相互にクライアント－サーバー関係を持つコンピュータープログラムによって生成される。従来の物理ホストおよびＶＰＳサービスの困難な管理と弱いビジネススケーラビリティを解決するために、サーバーは、クラウドコンピューティングサーバーまたはクラウドホストとも呼ばれるクラウドサーバーであり、クラウドコンピューティングサービスシステムのホスト製品である。

上記の各種の形式のプロセス、再並べ替え、追加、または削除のステップを使用することができると理解すべきである。例えば、本願に記載されている各ステップは、並行して、順次に、または異なる順序で実行することができるが、本願に開示されている技術案の所望の結果が達成できる限り、本明細書にはこれに限定されない。

上記の具体的な実施形態は、本願の保護範囲を制限するものを構成していない。当業者は、様々な修正、組み合わせ、サブ組み合わせおよび置換が、設計要件および他の要因に従って行うことができることを理解する必要がある。本願の精神と原則の範囲内で行われた変更、同等の交換、および改善は、本願の保護範囲に含まれすべきである。

Claims (11)

1. プロセッサにより実行されるオペレーター併合方法であって、
   処理待ちオペレーターグラフに応じて、併合待ちオペレーターの組み合わせを決定し、いずれか１つのオペレーターの組み合わせが、オペレーターグラフ中の少なくとも２つのオペレーターをそれぞれ含むことと、
   いずれか１つのオペレーターの組み合わせについて、前記オペレーターの組み合わせに対応する併合オペレーターをそれぞれ取得することと、
   いずれか１つの併合オペレーターについて、前記オペレーターグラフ中の対応オペレーターを前記併合オペレーターにそれぞれ置き換え、前記対応オペレーターの従属エッジを全て前記併合オペレーターに接続し、前記対応オペレーターが、この併合オペレーターに対応オペレーターの組み合わせ中のオペレーターであることと、を含み、
   前記オペレーターの組み合わせに対応する併合オペレーターを取得することは、
   前記オペレーターの組み合わせに対応する併合コードを取得することと、
   前記併合コードに対応するバイナリコードをコンパイルして生成し、前記併合オペレーターを取得することと、を含む
   オペレーター併合方法。
2. 前記処理待ちオペレーターグラフに応じて、併合待ちオペレーターの組み合わせを決定することは、
   前記オペレーターグラフについて次の第１の処理を実行し、
   前記オペレーターグラフ内のオペレーターをトラバースし、トラバースされたいずれか１つのオペレーターについて、いずれか１つの他のオペレーターとトラバースされたオペレーターとの間に依存関係がないと決定すると、前記他のオペレーターと前記トラバースされたオペレーターをオペレーターペアに形成し、前記オペレーターペアを新しいオペレーターとして、前記他のオペレーターとトラバースされたオペレーターを置換し、前記他のオペレーターと前記トラバースされたオペレーターの従属エッジをすべて前記新しいオペレーターに接続し、
   終了条件が満たされていると決定すると、前記オペレーターグラフ中の少なくとも２つのオペレーターで構成されるオペレーターを、前記併合待ちオペレーターの組み合わせとし、それ以外の場合は、前記第１の処理が繰り返される
   請求項１に記載の方法。
3. 前記オペレーターグラフのオペレーターから併合可能なオペレーターを選択し、選択されたオペレーターを使用して第１のオペレーターセットを形成することと、
   前記他のオペレーターおよび前記トラバースしたオペレーターが共に前記第１のオペレーターセットにあると決定すると、前記他のオペレーターと前記トラバースされたオペレーターをオペレーターペアに形成することと、をさらに含む
   請求項２に記載の方法。
4. 前記終了条件が満たされていることは、
   新しいオペレーターペアを生成できず、又は、新しいオペレーターペアが生成された場合、そのオペレーターの数が所定の閾値よりも大きくなること、を含む
   請求項２に記載の方法。
5. 処理待ちオペレーターグラフに応じて、併合待ちオペレーターの組み合わせを決定し、いずれか１つのオペレーターの組み合わせは、オペレーターグラフ中の少なくとも２つのオペレーターをそれぞれ含む組み合わせ取得モジュールと、
   いずれか１つのオペレーターの組み合わせについて、前記オペレーターの組み合わせに対応する併合オペレーターをそれぞれ取得するオペレーター併合モジュールと、
   いずれか１つの併合オペレーターについて、前記オペレーターグラフ中の対応オペレーターを前記併合オペレーターにそれぞれ置き換え、前記対応オペレーターの従属エッジを全て前記併合オペレーターに接続し、前記対応オペレーターが、この併合オペレーターに対応オペレーターの組み合わせ中のオペレーターであるオペレーター置き換えモジュールと、を含み、
   前記オペレーター併合モジュールは、いずれか１つのオペレーターの組み合わせに対して、
   前記オペレーターの組み合わせに対応する併合コードを取得し、前記併合コードに対応するバイナリコードをコンパイルして生成し、前記併合オペレーターを取得する
   オペレーター併合装置。
6. 前記組み合わせ取得モジュールは、前記オペレーターグラフについて次の第１の処理を実行し、
   前記オペレーターグラフ内のオペレーターをトラバースし、トラバースされたいずれか１つのオペレーターについて、いずれか１つの他のオペレーターとトラバースされたオペレーターとの間に依存関係がないと決定すると、前記他のオペレーターと前記トラバースされたオペレーターをオペレーターペアに形成し、前記オペレーターペアを新しいオペレーターとして、前記他のオペレーターとトラバースされたオペレーターを置換し、前記他のオペレーターと前記トラバースされたオペレーターの従属エッジをすべて前記新しいオペレーターに接続し、
   終了条件が満たされていると決定すると、前記オペレーターグラフ中の少なくとも２つのオペレーターで構成されるオペレーターを、前記併合待ちオペレーターの組み合わせとし、それ以外の場合は、前記第１の処理が繰り返される
   請求項５に記載の装置。
7. 前記組み合わせ取得モジュールは、さらに、
   前記オペレーターグラフのオペレーターから併合可能なオペレーターを選択し、選択されたオペレーターを使用して第１のオペレーターセットを形成し、前記他のオペレーターおよび前記トラバースしたオペレーターが共に前記第１のオペレーターセットにあると決定すると、前記他のオペレーターと前記トラバースされたオペレーターをオペレーターペアに形成する
   請求項６に記載の装置。
8. 前記終了条件が満たされていることは、
   新しいオペレーターペアを生成できず、又は新しいオペレーターペアが生成された場合、そのオペレーターの数が所定の閾値よりも大きくなること、を含む
   請求項６に記載の装置。
9. 少なくとも１つのプロセッサと、
   前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを含み、
   前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～４のいずれか一項に記載の方法を実行させる前記少なくとも１つのプロセッサが実行される命令を記憶する
   電子デバイス。
10. コンピュータに請求項１～４のいずれか一項に記載の方法を実行させるコンピュータ命令を記憶する
    非一時的なコンピュータ読み取り可能な記憶媒体。
11. プロセッサによって実行される際に、請求項１～４のいずれか一項に記載の方法を実現するコンピュータプログラム。

Images