JP7467802B2

JP7467802B2 - Ｗｅｂブラウザ環境内で機械学習モデルを処理するための方法および装置

Info

Publication number: JP7467802B2
Application number: JP2022502289A
Authority: JP
Inventors: リ、ジアンフイ; フ、ニンシン; リ、イーシアン; ウー、ヨン; ルオ、ユアンケ
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2024-04-16
Anticipated expiration: 2039-09-27
Also published as: EP4035089A1; US20220253488A1; JP2023502296A; CN114514538A; WO2021056389A1; EP4035089A4

Description

本開示は概して機械学習に関し、より具体的には、Ｗｅｂブラウザ環境内で機械学習モデルを処理するための方法および装置に関する。

コンピューティング業界においては、機械学習（ＭＬ）ワークロード、とりわけディープラーニング（ＤＬ）モデルを、サーバデバイスではなくエンドユーザエッジデバイスに展開する傾向がある。より最近になって、機械学習ワークロードが、Ｗｅｂブラウザ環境内のエンドユーザエッジデバイスに提供されている。場合によっては、中央処理装置（ＣＰＵ）からグラフィックプロセッシングユニット（ＧＰＵ）または他の回路に計算をオフロードすることによって、ＤＬ計算が当該エッジデバイスにおいて達成される。

Ｗｅｂブラウザ環境内で機械学習タスクを実行するための例示的なアーキテクチャを示す。

テンソルデータにアクセスするための処理を実行する例示的なＷｅｂＮＮ実装のタイムラインである。

動的実行パスを含む例示的な動的計算グラフを示す。

例示的な遅延された実行戦略を示す。

図１のＷｅｂＮＮコントローラの例示的な実装を表わすブロック図である。

図５の例示的なグラフ実行器を実装すべく実行されてよい例示的な機械可読命令を表わすフローチャートである。

図５の例示的なテンソルマネージャを実装すべく実行されてよい例示的な機械可読命令を表わすフローチャートである。

凝縮されたグラフの投機的実行を提供すべく実装されてよい例示的な機械可読命令を表わすフローチャートである。

キャッシュされたグラフを実行すべく実装されてよい例示的な機械可読命令を表わすフローチャートである。

グラフの入力テンソル、隠れテンソルおよび出力テンソルを表わすブロック図である。

テンソル、処理およびグラフのライフサイクルを追跡するためのカウンタ値を表わすテーブルである。

凝縮されたグラフの入力テンソルおよび出力テンソルを表わすブロック図である。

図１および／または図５のＷｅｂＮＮコントローラを実装するための図６、７、８および／または９の命令を実行するよう構造化された例示的なプロセッサプラットフォームのブロック図である。

図面は縮尺通りではない。概して、同一の部材または類似の部材を参照すべく、図面および添付の記述された説明を通して同一の参照番号が用いられる。

本明細書において、別個に参照されてよい複数の要素またはコンポーネントを識別するとき、「第１」、「第２」、「第３」等の記述子が用いられる。別途の指定がない限り、あるいは、これらの用いられる文脈に基づき別途理解されない限り、かかる説明は、優先順位、リスト内の物理的順序若しくは配置、または時間における順序の意味に帰属される意図はなく、開示される例を理解しやすいように、複数の要素またはコンポーネントを別個に参照するためのラベルとして用いられるに過ぎない。いくつかの例において、「第１」という記述子は、詳細な説明においてある要素を言及するために用いられてよい一方、同一の要素が、特許請求の範囲において、「第２」または「第３」等の異なる記述子を用いて言及されてよい。このような例においては、かかる記述子は、複数の要素またはコンポーネントを言及しやすくするために用いられているに過ぎないことを理解されたい。

ＤＬ（ディープラーニング）アプリケーションが、イメージ認識、自然言語処理および戦略ゲームアプリケーションにおいてますます重要となり、広く適用されている。そのグローバルリーチ、規模の経済およびクロスプラットフォームの性質のおかげで、Ｗｅｂプラットフォームは、多くのウェブ開発者にとって最大規模アプリケーション開発プラットフォームとなっている。Ｗｅｂブラウザ内でＤＬアプリケーションを展開するという増大しつつあるニーズに対処すべく、ＴｅｎｓｏｒＦｌｏｗ．ｊｓおよびＯＮＮＸ．ｊｓ等のＪａｖａＳｃｒｉｐｔ（登録商標）（ＪＳ）ベースのＤＬフレームワークが出現しており、新しいＷｅｂ規格であるＷｅｂニューラルネットワークＡＰＩ（ＷｅｂＮＮ）が、すべての主要なブラウザベンダからのサポートにより、ＷｅｂコミュニティグループのＷ３Ｃ機械学習に生み出されつつある。

図１は、Ｗｅｂブラウザ環境内で機械学習タスクを実行するための例示的なアーキテクチャの図である。ＪａｖａＳｃｒｉｐｔ（登録商標）ベースのディープラーニングフレームワーク（例えば、ＴｅｎｓｏｒＦｌｏｗ．ｊｓを含む）は一般に、使いやすさおよび柔軟性の両方を提供すべく階層化設計を用いる。図１に図示の通り、レイヤアプリケーションプログラミングインタフェース（ＡＰＩ）１１５は、開発者がディープニューラルネットワーク（ＤＮＮ）処理の静的計算グラフを表わすＪａｖａＳｃｒｉｐｔ（登録商標）命令１１０を記述できるようにする。静的計算グラフは、事前定義された処理を編成する。さらに下のレベルのオペレーションＡＰＩ（ＯｐｓＡＰＩ）１２０は、コアデータ構造体（例えば、テンソル）および当該データ構造体に対し実行されるべき計算（例えば、畳み込み演算）を表わすＤＮＮ処理のセットを提供する。レイヤＡＰＩ１１５によって構築された静的計算グラフはす処理ＡＰＩ１２０を用いて、各レイヤの処理を実行することにより、当該計算を遂行する。処理ＡＰＩ１２０は、Ｅａｇｅｒモードで処理を実行する。Ｅａｇｅｒモードでは、ある処理が呼び出されたとき、機械学習処理の計算（例えば、実行）が即座に行われる。その下で、処理ＡＰＩ１２０が、異なるｗｅｂＡＰＩ実装をサポートする１または複数の異なるコントローラを用いるように構造化される。バックエンド１２２（例えば、コントローラおよび／またはそれらの各インタフェースのうちの１または複数）は、処理ＡＰＩ１２０の命令で処理を実行する。図１に示される例において、処理ＡＰＩ１２０は、ＷｅｂＧＬ／ＷｅｂＧＰＵインタフェース１２５、ＷｅｂＡｓｓｅｍｂｌｙインタフェース１２７およびＷｅｂＮＮインタフェース１３０を用いて、それぞれＷｅｂＧＬ／ＷｅｂＧＰＵコントローラ１３５、ＷｅｂＡｓｓｅｍｂｌｙコントローラ１３７およびＷｅｂＮＮコントローラ１４０とのやり取りを可能にする。

いくつかの例において、異なるコントローラが異なる目的のために、および／または、異なるハードウェア上での実行のために構造化される。ＷｅｂＡｓｓｅｍｂｌｙコントローラ１３７は、Ｗｅｂブラウザ内で直接実行されるＣ／Ｃ＋＋コンパイル済みバイトコードをサポートする。例示的なＷｅｂＧＬ／ＷｅｂＧＰＵコントローラ１３５は、ＧＰＵの並列実行ユニットへのシェーディング言語アクセスを提供する。このようにして、例示的なＷｅｂＡｓｓｅｍｂｌｙコントローラ１３７および例示的なＷｅｂＧＬ／ＷｅｂＧＰＵコントローラ１３５は、特定のハードウェアデバイス（例えば、モバイルデバイス、デスクトップコンピュータ、タブレットコンピュータ等）のために汎用コンピューティングプリミティブを呈する。ＪａｖａＳｃｒｉｐｔ（登録商標）ベースのフレームワークのＷｅｂＡｓｓｅｍｂｌｙまたはＷｅｂＧＬ／ＷｅｂＧＰＵのバックエンドが用いられる場合、Ｗｅｂブラウザ（例えば、ユーザアプリケーション）は、機械学習処理の知識を有しない。

コントローラ１２７および１３７はＥａｇｅｒモードで動作するので、従って、機械学習処理の実行結果を実行しおよび戻すことにより、当該機械学習処理の実行のあらゆるリクエストに即座に応答することを試みる。上記の通り、グラフは、実行されるべき処理の順序付けられたセットを形成する複数の異なる機械学習処理を伴ってよい。第１の機械学習処理からの出力（例えば、テンソル）は通常、第２の機械学習処理への入力として提供される。しかしながら、前のアーキテクチャにおいては、処理ＡＰＩが実行されるべき次の処理を判定できるように、第１の処理からの出力はコントローラ１２７、１３７によって処理ＡＰＩまで戻され、その出力（例えば、テンソル）は次にコントローラ１２７、１３７へと戻され、後続の処理への入力として用いられる。このような態様における出力（例えば、テンソル）データを行きつ戻りつ渡すことには、大きな通信オーバヘッドが含まれる。

本明細書に開示する通り、ＷｅｂＮＮコントローラ１４０が、遅延された態様での機械学習処理の実行を可能にする。遅延された態様で処理される場合、ＷｅｂＮＮコントローラ１４０は、入力および／または出力の構造を認識できるようになり、ある処理から次の処理へと内部的に機械学習処理の結果（例えば、テンソル）を渡すことができ、その際、ＷｅｂＮＮコントローラ１４０は、最終処理が完了するおよび／または最終テンソルがリクエストされるまで、かかる結果をＷｅｂＮＮコントローラ１４０の外部へ提供する必要はない。また、リクエストされると、このような内部テンソルデータを提供できる応力も提供される。

本明細書に開示される例において、例示的なＷｅｂＮＮコントローラ１４０は、テンソル、畳み込み、プーリング、全結合、活性化等といった機械学習プリミティブを呈示する。このようにして、ＷｅｂＮＮコントローラ１４０は、処理の実行時に機械学習プリミティブを呼び出し可能である。Ｗｅｂブラウザ内での素朴な（ナイーブ）ＷｅｂＮＮ実装は故にＷｅｂＮＮＤＮＮプリミティブを、ネイティブＤＮＮプリミティブにマッピングしてよく、即座にネイティブ実行を呼び出してよい。以下に、ＷｅｂＮＮコントローラ１４０を実装する例示的なアプローチが、図５に関しさらに詳細に開示される。

図２は、図１のＷｅｂＮＮコントローラ１４０によって計算されるテンソルデータにアクセスするための処理を実行する例示的なＷｅｂＮＮ実装のタイムライン２００である。図２の例示的なタイムライン２００は、ＪａｖａＳｃｒｉｐｔ（登録商標）スレッド２０５およびＷｅｂＮＮスレッド２１０を表わす。例示的なＪａｖａＳｃｒｉｐｔ（登録商標）スレッド２０５は、単一のスレッドとして実装される。その結果、ＪａｖａＳｃｒｉｐｔ（登録商標）スレッドは、ページレイアウトおよびイベント処理等の、Ｗｅｂブラウザによって実行されるべき他のタスクと共有される。結果的に、ＪａｖａＳｃｒｉｐｔ（登録商標）機能を長時間実行することで、ページングの低速化またはユーザイベント処理の遅延を引き起こす可能性がある。向上されたユーザインタフェースおよび／またはユーザ体験を提供すべく、本明細書に開示されるＪａｖａＳｃｒｉｐｔ（登録商標）ベースのＤＬフレームワークは、一部の処理をＷｅｂＮＮスレッド２１０に渡すことで、処理の非同期的実行を実行する。例示的なＪａｖａＳｃｒｉｐｔ（登録商標）スレッド２０５は、二次元畳み込み（Ｃｏｎｖ２Ｄ）処理２１０、事前ベイジアンネットワーク（Ｐｒｅ‐ＢＮ）処理２２０、正規化線形ユニット（ＲＥＬＵ）処理２３０、アイドル時間２４０およびＴｅｎｓｏｒ．ｄａｔａデータ取得処理２５０を含む。例示的なＷｅｂＮＮスレッド２１０は、Ｃｏｎｖ２Ｄ処理２１２、事前ＢＮ処理２２２、ＲｅＬＵ処理２３２およびＴｅｎｓｏｒ．ｄａｔａデータ取得処理２５２を含む。

Ｃｏｎｖ２Ｄ２１２等の処理は意図的に非同期であり、そのデータがまだ計算されていない可能性のあるテンソルを戻す。当該処理は、ＷｅｂＮＮコントローラ１４０により非同期的に実行されるべく、処理ＡＰＩ１２０によってＷｅｂＮＮスレッド２１０にディスパッチされる。このようにして、例示的なＷｅｂＮＮスレッド２１０は、ＪａｖａＳｃｒｉｐｔスレッド２０５を実行するハードウェアとは別個のハードウェアによって実行されてよい（例えば、別のＣＰＵコア、別個のＧＰＵ、別個のアクセラレータ等）。その結果、ＪａｖａＳｃｒｉｐｔ（登録商標）スレッド２０５は、他のタスクを処理すべく解放される。その後、ユーザコード（例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）命令１１０）がテンソルを支援するデータを取得する（例えば、Ｔｅｎｓｏｒ．ｄａｔａ２５０を取得する）必要がある場合、ＪａｖａＳｃｒｉｐｔ（登録商標）ベースのスレッド２０５は、ＷｅｂＮＮスレッド２１０に対し（例えば、ＷｅｂＮＮコントローラ１４０に対し）当該データをリクエストする。ＪａｖａＳｃｒｉｐｔ（登録商標）ベースのスレッド２０５は、実行の完了を待機してよく、当該データをユーザコード（例えば、ブラウザ内に表示されるＷｅｂページ）に戻してよい。

図３は、動的実行パスを含む例示的な動的計算グラフ３００を示す。図３の例示的なグラフ３００は、第１のノード３０５、第２のノード３１０、第３のノード３１２、第４のノード３２０、第５のノード３２２、第６のノード３２４および第７のノード３２６を含む。本明細書に開示される例において、１つのノードは、実行されるべき機械学習処理を表わす。例示的な実行パス３３０は、第１のノード３０５、第３のノード３１２および第６のノード３２４を含む実行のパスを示す。既存の直接実行アプローチでは、各ノードはシーケンスで実行され、前のノードの処理の完了後にパス内の次のノードが選択される。しかしながら、このようなアプローチでは、動的計算グラフの性能を改善する機会を逸する。例えば、動的計算グラフのためのクロス反復の変更（例えば、ある反復から次の反復の間にグラフ内の異なるパスが選択される可能性）は、重要でない可能性がある。しばしば、グラフを通る選択されたパスは、経時的に変更されない。故に、グラフの少なくとも一部が動的に凝縮され、重複機能／命令を再度実行することなく、凝縮の結果が将来の反復で再利用される場合、グラフの実行の性能が改善されてよい。

図４は、例示的な遅延実行戦略４００を示す。第１のフェーズ４１０において、動的実行パス３３０沿いのノードが識別される（例えば、第１のノード３０５、第３のノード３１２および第６のノード３２４）。第２のフェーズ４２０において、ノード４２２、４２４、４２６、４２８の可能な組み合わせが識別される。凝縮（例えば、最適化）のために、動的実行パス３３０を表わすノードの組み合わせ（例えば、組み合わせ４２６）が選択される。第３のフェーズ４３０において、選択されたノード４２６の組み合わせの凝縮されたバージョン４３２が実行される。

このように、遅延された評価および動的最適化技術が組み合わされる。遅延された評価は、凝縮（例えば、最適化）の機会を可能にする。というのは、遅延された実行は、遅延された実行がトリガされる前に、機械学習処理の蓄積およびそれらへの凝縮（例えば、最適化）の適用を可能にするからである。動的最適化は、グラフを動的に構築および凝縮し、将来の利用のために凝縮された（例えば最適化された）グラフをキャッシュする。本明細書に開示される例示的なアプローチは、ディスパッチされた機械学習処理を受信し、且つ、実行を凝縮する（例えば、最適化する）ＷｅｂＮＮ処理実行インタフェースにおいて動作する。

図５は、図１のＷｅｂＮＮコントローラ１４０の例示的な実装を表わすブロック図である。図５に示された例の例示的なＷｅｂＮＮコントローラ１４０は、テンソルマネージャ５１０、テンソルメモリ５１５、グラフ実行器５２０、グラフビルダ５３０、グラフ凝縮器５４０、グラフキャッシュマネージャ５５０およびグラフキャッシュ５５５を含む。

例示的なテンソルマネージャ５１０は、テンソルへのアクセス、テンソルの作成およびテンソルデータにアクセスすべく、ユーザによるテンソルの解放（および／またはユーザのリクエスト時に実行されるアプリケーション）を可能にするアプリケーションプログラミングインタフェース（ＡＰＩ）を実装する。例示的なテンソルマネージャ５１０は、テンソルのライフサイクルを維持し（例えば、テンソルデータの格納を管理する）、テンソルを遅延された機械学習処理に関連付ける。

いくつかの例において、テンソルマネージャ５１０は、テンソルを管理する手段を実装する。図５に示された例の例示的なテンソルマネージャ５１０は、例えばハードウェアプロセッサ等のロジック回路によって実装される。しかしながら、追加的にまたは代替的に、任意の他のタイプの回路が用いられてテンソルマネージャ５１０を実装してよく、例えば、１または複数のアナログ若しくはデジタル回路、ロジック回路、プログラマブルプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルロジックデバイス（ＦＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、粗視化低精度アーキテクチャ（ＣＧＲＡ）、イメージ信号プロセッサ（ＩＳＰ）等が挙げられる。

図５に示された例の例示的なテンソルメモリ５１５は、テンソルマネージャ５１０の命令で、テンソルデータおよび／またはオブジェクトを格納する。本明細書で用いられるテンソルとは、データおよび当該データの説明を含むデータオブジェクトである。テンソルの説明には、形状および／またはテンソルデータを記述する他のメタデータ等の情報が含まれる。テンソルは、メモリ（例えば、テンソルメモリ５１５）によって支援される。本明細書に開示される例において、テンソルデータは、テンソルマネージャ５１０を介してのみアクセス可能である。いくつかの例において、テンソルオブジェクトは、第２の処理の出力テンソルとして再利用されて、テンソルを支援するメモリリソースの再利用を可能にしてよい。このようないくつかの例においては、例示的なテンソルマネージャ５１０は、元のテンソルを解放し、再利用されるテンソルのために新しいテンソルを作成する。

図５に示された例の例示的なテンソルメモリ５１５は、データを格納するための任意のメモリ、記憶デバイス、および／または、記憶ディスクにより実装され、例えばフラッシュメモリ、磁気媒体、光学媒体、ソリッドステートメモリ、ハードドライブ、サムドライブ等である。さらに、例示的なテンソルメモリ５１５内に格納されるデータは、例えば、バイナリデータ、カンマ区切りデータ、タブ区切りデータ、構造化クエリ言語（ＳＱＬ）構造体等の任意のデータフォーマットであってよい。示される例においては、テンソルメモリ５１５は単一のデバイスとして示される一方で、本明細書で説明される例示的なテンソルメモリ５１５および／または任意の他のデータ記憶デバイスは、任意の数および／またはタイプのメモリで実装されてよい。

例示的なグラフ実行器５２０は、テンソル入力および出力を持つ１または複数の機械学習処理を受け取り、実行する。このような機械学習処理は、機械学習処理を実行するためのリクエストに関連付けられた情報に基づき、直接実行モードで、または、遅延された実行モードで実行されてよい。例示的なグラフ実行器５２０は、機械学習処理が、直接実行モードまたは遅延された実行モードのどちらで実行されるかを判定する。直接実行モード下での実行時、例示的なグラフ実行器５２０は、提供された機械学習処理を直接に実行する。いくつかの例において、機械学習処理を実行するための受信されたリクエストは、複数の機械学習処理を参照してよい。遅延された評価モード下での実行時、グラフ実行器５２０は、機械学習処理を即座に実行する代わりに、グラフを構築するために機械学習処理を例示的なグラフビルダ５３０に送信する。例示的なグラフビルダ５３０は、機械学習処理を蓄積して、シーケンス（グラフで表される）を形成する。

当該シーケンスの実行は、後でトリガされてよい。例示的なグラフ実行器５２０は、グラフの処理（例えば、ＷｅｂＮＮインタフェース１３０を介してリクエストされるような）またはグラフの凝縮された（例えば最適化された）バージョン（例えば、グラフビルダ５３０によって構築されるような、および／または、グラフ凝縮器５４０によって修正されるような）を実行する。

いくつかの例において、グラフ実行器５２０は、機械学習処理を実行する手段を実装する。図５に示された例の例示的なグラフ実行器５２０は、例えばハードウェアプロセッサ等のロジック回路によって実装される。しかしながら、追加的にまたは代替的に、例えば、１または複数のアナログ若しくはデジタル回路、ロジック回路、プログラマブルプロセッサ、ＡＳＩＣ、ＰＬＤ、ＦＰＬＤ、プログラマブルコントローラ、ＧＰＵ、ＤＳＰ、ＣＧＲＡ、ＩＳＰ等の任意の他のタイプの回路が用いられてよい。

例示的なグラフビルダ５３０は、リクエストされた機械学習（ＭＬ）処理を表わすグラフを構築し、当該グラフのライフサイクルを維持する。本明細書に開示される例において、グラフは有向非巡回グラフ（ＤＡＧ）である。しかしながら、追加的または代替的に、任意の他のタイプのグラフが用いられてよい。本明細書で用いられるグラフは、概念的に、複数の機械学習処理ノードを単一のエンティティに凝縮させる。グラフ機械学習処理の入力テンソルの集まりは、グラフの入力テンソルであるとみなされる。出力テンソルである機械学習処理の集まりは、グラフの出力テンソルであるとみなされる。グラフまたは対応する凝縮された（例えば、最適化された）グラフが実行されるべきときに、出力テンソルが具現化されるであろう。例示的なグラフビルダ５３０は、構築ポリシーに従い、処理シーケンスからのグラフの構築の仕方を決定する。

例示的なグラフビルダ５３０によって実装される単純な例示的な構築ポリシーは、２、３の処理で構成される１シーケンスにおける融合パターンを探してよく、当該シーケンス内の処理が融合パターンにマッチングしない場合、例示的なグラフビルダ５３０は当該シーケンス内の第１の処理を退避させ、凝縮／最適化を続行すべく新しい処理を受け付ける。退避処理は、実行のために即座にディスパッチされる。いくつかの例において、高度な構築ポリシーが用いられて、シーケンス内のいくつかの処理を即時実行する必要があるまで、閾値（例えば、最大）量の処理を保持する。いくつかの例において、ユーザコードはテンソルの内部データへのアクセスをリクエストし、アクセスは当該リクエストを遂行すべく即座に計算される必要がある。いくつかの他の例においては、処理シーケンスがサイズ制限（例えば、処理閾値）まで増大する。トポロジ実行の２つの反復の間、例示的なグラフ実行器５２０は同一の処理シーケンスを確認する可能性が最も高く、グラフポリシーはグラフを構築すべく同一の処理サブシーケンスを選択する。

いくつかの例において、グラフビルダ５３０は、蓄積の手段を実装する。図５に示された例の例示的なグラフビルダ５３０は、例えばハードウェアプロセッサ等のロジック回路によって実装される。しかしながら、追加的にまたは代替的に、例えば、１または複数のアナログ若しくはデジタル回路、ロジック回路、プログラマブルプロセッサ、ＡＳＩＣ、ＰＬＤ、ＦＰＬＤ、プログラマブルコントローラ、ＧＰＵ、ＤＳＰ、ＣＧＲＡ、ＩＳＰ等の任意の他のタイプの回路が用いられてよい。

例示的なグラフ凝縮器５４０は、グラフ内のいくつかの機械学習処理を融合する、および、修正された（例えば最適化された）グラフの作成といった最適化を実行する。いくつかの例において、グラフ凝縮器５４０は機械学習処理をコンパイルして、バイナリ（例えば、最適化されたバイナリ実行可能ファイル）を生成する。グラフ凝縮器５４０は、例示的なグラフキャッシュマネージャ５５０を介して、グラフキャッシュ５５５内に凝縮されたグラフを格納する。

いくつかの例において、グラフ凝縮器５４０は、凝縮の手段を実装する。図５に示された例の例示的なグラフ凝縮器５４０は、例えばハードウェアプロセッサ等のロジック回路によって実装される。しかしながら、追加的にまたは代替的に、例えば、１または複数のアナログ若しくはデジタル回路、ロジック回路、プログラマブルプロセッサ、ＡＳＩＣ、ＰＬＤ、ＦＰＬＤ、プログラマブルコントローラ、ＧＰＵ、ＤＳＰ、ＣＧＲＡ、ＩＳＰ等の任意の他のタイプの回路が用いられてよい。

例示的なグラフキャッシュマネージャ５５０は、凝縮されたグラフをキャッシュし、凝縮された（例えば最適化された）グラフのライフサイクルを管理する。例示的なグラフキャッシュマネージャ５５０は、グラフキャッシュ５５５において、次の反復で実行されるグラフのためのグラフ凝縮作業を節約する。典型的な訓練または推論プロセスにおいて、機械学習フレームワークはグラフを反復し、あらゆるノードを多数の反復において実行する。その結果、多くの場合にグラフ全体は同一のままである。グラフが入力データにより動的に変更される場合であっても、当該変更は、多数の反復において繰り返し実行される一定の動的パターンに従う。異なる動的実行パターンは、異なる凝縮されたグラフを生じさせてよい。ひとたび凝縮された（例えば最適化された）グラフが作成されると、凝縮されたグラフはキャッシュされ（例えば、グラフキャッシュ５５５内に）、ワークロードの最後まで再利用される。グラフキャッシュ５５５のサイズが制限値に到達した場合、グラフキャッシュマネージャ５５０キャッシュは、１または複数のグラフ（例えば、最も頻度が低く用いられるグラフ）を削除すべく、ガーベジコレクションを実行してよい。いくつかの例において、グラフキャッシュ５５５のサイズは、ここに格納されているグラフ（例えば、凝縮されていない、および／または、凝縮されたグラフ）の数で測定される。しかしながら、追加的にまたは代替的に、グラフキャッシュ５５５のサイズを表わすための任意の他のアプローチが用いられてよい。

いくつかの例において、凝縮されたグラフの全体再利用率が閾値率より低い場合、例示的なグラフキャッシュマネージャ５５０は、例示的なグラフ実行器５２０に直接実行モードに戻るように通知してよい。

いくつかの例において、グラフキャッシュマネージャ５５０は、グラフキャッシュを管理する手段を実装する。図５に示された例の例示的なグラフキャッシュマネージャ５５０は、例えばハードウェアプロセッサ等のロジック回路によって実装される。しかしながら、追加的にまたは代替的に、例えば、１または複数のアナログ若しくはデジタル回路、ロジック回路、プログラマブルプロセッサ、ＡＳＩＣ、ＰＬＤ、ＦＰＬＤ、プログラマブルコントローラ、ＧＰＵ、ＤＳＰ、ＣＧＲＡ、ＩＳＰ等の任意の他のタイプの回路が用いられてよい。

上記の通り、例示的なグラフキャッシュ５５５は、グラフ実行器５２０によって実行されるためのグラフ（例えば、凝縮されていないグラフおよび／または凝縮されたグラフ）を格納する。故に、各グラフにつき、グラフキャッシュ５５５内にキャッシュされた対応する凝縮された（例えば最適化された）グラフが存在してよい。本明細書に開示される例において、グラフキャッシュ５５５はハッシュテーブルとして編成され、各グラフ自体が、グラフの凝縮された（例えば最適化された）バージョンを取得するためのキーである。取得速度を上げるために、機械学習処理のメタデータおよび各グラフの入力／出力テンソルからハッシュコードが計算される。凝縮されたグラフのグラフキャッシュ５５５への保存時に、ハッシュコードがショートカットキーとして用いられ、グラフも完全キーとして保存される。この結果、完全キーは、凝縮されたグラフを一意に識別する。同一のグラフが次の反復で実行されるとき、そのハッシュコードが用いられて、対応するハッシュバケットを探す。その後、凝縮されたグラフを取得する前に、グラフが保存されたグラフと比較するために用いられる。このようにして、グラフ実行器５２０は、入力テンソルおよび出力テンソルをバインドした後、グラフを完全キーとして用いて、凝縮された（例えば、最適化された）グラフを取得し、実行してよい。

図５に示された例の例示的なグラフキャッシュ５５５は、データを格納するための任意のメモリ、記憶デバイス、および／または、記憶ディスクにより実装され、例えばフラッシュメモリ、磁気媒体、光学媒体、ソリッドステートメモリ、ハードドライブ、サムドライブ等である。さらに、例示的なグラフキャッシュ５５５内に格納されるデータは、例えば、バイナリデータ、カンマ区切りデータ、タブ区切りデータ、構造化クエリ言語（ＳＱＬ）構造体等の任意のデータフォーマットであってよい。示される例においては、グラフキャッシュ５５５は単一のデバイスとして示される一方で、本明細書で説明される例示的なグラフキャッシュ５５５および／または任意の他のデータ記憶デバイスは、任意の数および／またはタイプのメモリで実装されてよい。

図１の例示的なＷｅｂＮＮコントローラ１４０を実装する例示的な態様が図５に図示されている一方で、図４に図示された要素、プロセスおよび／またはデバイスのうちの１または複数が、任意の他のやり方で組み合わせられ、分割され、再配置され、省略され、除去され、および／または実装されてよい。さらに、例示的なテンソルマネージャ５１０、例示的なグラフ実行器５２０、例示的なグラフビルダ５３０、例示的なグラフ凝縮器５４０、例示的なグラフキャッシュマネージャ５５０および／または、より一般的には図５の例示的なＷｅｂＮＮコントローラ１４０は、ハードウェア、ソフトウェア、ファームウェア、並びに／または、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の組み合わせで実装されてよい。故に、例えば、任意の例示的なテンソルマネージャ５１０、例示的なグラフ実行器５２０、例示的なグラフビルダ５３０、例示的なグラフ凝縮器５４０、例示的なグラフキャッシュマネージャ５５０、および／または、より一般的には図５の例示的なＷｅｂＮＮコントローラ１４０は、１または複数のアナログ若しくはデジタル回路、ロジック回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィックプロセッシングユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、および／または、フィールドプログラマブルロジックデバイス（ＦＰＬＤ）で実装されることができる。純粋にソフトウェアおよび／またはファームウェアの実装をカバーする本特許の装置クレームまたはシステムクレームを読むとき、例示的なテンソルマネージャ５１０、例示的なグラフ実行器５２０、例示的なグラフビルダ５３０、例示的なグラフ凝縮器５４０、例示的なグラフキャッシュマネージャ５５０、および／または、より一般的には図５の例示的なＷｅｂＮＮコントローラ１４０のうちの少なくとも１つは、ソフトウェアおよび／またはファームウェアを含め、メモリ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、ブルーレイディスク等のような非一時的コンピュータ可読記憶デバイスまたは記憶ディスクを含むように本明細書で明示的に定義される。さらにまた、図１の例示的なＷｅｂＮＮコントローラ１４０は、図５に示されるものに加えてまたは代えて、１または複数の要素、プロセスおよび／またはデバイスを含んでよく、並びに／または、図示された要素、プロセスおよびデバイスのうち任意のものまたは全部のうちの１つより多いものを含んでよい。本明細書で用いられる、「通信して（ｉｎｃｏｍｍｕｎｉｃａｔｉｏｎ）」という文言はその変形例を含め、直接的な通信および／または１または複数の介在コンポーネントを通した間接的な通信を包含し、且つ、直接的な物理的（例えば、配線）通信および／または絶え間ない通信を必要とせず、むしろ追加的に定期的な間隔、スケジューリングされた間隔、非周期的間隔、および／または、ワンタイムイベントにおける選択的通信を含む。

図５の例示的なＷｅｂＮＮコントローラ１４０を実装するための例示的なハードウェアロジック、機械可読命令、ハードウェア実装されたステートマシン、および／または、任意のこれらの組み合わせを表わすフローチャートが図６、７、８および／または９に図示されている。機械可読命令は、図１３に関連して後述される例示的なプロセッサプラットフォーム１３００に図示されたプロセッサ１３１２等のコンピュータプロセッサにより実行されるための１または複数の実行可能プログラムまたは実行可能プログラムの部分であってよい。プログラムは、ＣＤ－ＲＯＭ、フロッピーディスク、ハードドライブ、ＤＶＤ、ブルーレイディスク、またはプロセッサ１３１２に関連付けられたメモリ等の非一時的コンピュータ可読記憶媒体上に格納されたソフトウェアで具現化されてよいが、代替的に、プログラム全体および／またはプログラムの一部がプロセッサ１３１２以外のデバイスによって実行されてよく、および／または、ファームウェアまたは専用ハードウェアで具現化されてよい。さらに、例示的なプログラムが図６、７、８および／または９に図示されたフローチャートに関して説明されているが、代替的に、例示的なＷｅｂＮＮコントローラ１４０を実装する多くの他の方法が用いられてよい。例えば、ブロックの実行順序は変更されてよく、および／または、説明されたブロックの一部は変更され、除去され、または組み合わされてよい。追加的にまたは代替的に、ブロックのいずれかまたは全部が、ソフトウェアまたはファームウェアを実行せずに、対応する処理を実行するよう構造化された１または複数のハードウェア回路（例えば、ディスクリート回路並びに／または集積されたアナログおよび／またはデジタル回路、ＦＰＧＡ、ＡＳＩＣ、比較器、演算増幅器（ｏｐアンプ）、ロジック回路等）によって実装されてよい。

本明細書に説明された機械可読命令は、圧縮フォーマット、暗号化フォーマット、フラグメンテーションフォーマット、コンパイルフォーマット、実行可能なフォーマット、パッケージフォーマット等のうちの１または複数で格納されてよい。本明細書に説明された機械可読命令は、機械実行可能命令を作成、製造および／または生成するよう用いられてよいデータ（例えば、命令の一部、コード、コード表現等）として格納されてよい。例えば、機械可読命令は、フラグメンテーションされ、１または複数の記憶デバイスおよび／またはコンピューティングデバイス（例えば、サーバ）に格納されてよい。機械可読命令は、機械可読命令をコンピューティングデバイスおよび／または他の機械によって直接読み取り可能、解釈可能および／または実行可能にすべく、インストール、修正、適合、更新、結合、補足、構成、復号化、圧縮解除、解凍、分散、再割り当て、コンパイル等のうちの１または複数を必要としてよい。例えば、機械可読命令は、複数の部分に格納されてよく、当該部分は別個のコンピューティングデバイス上に個々に圧縮され、暗号化されおよび格納され、当該部分は復号化、圧縮解除および結合されると、本明細書で説明されるようなプログラムを実装する実行可能命令のセットを形成する。

別の例においては、機械可読命令は、機械可読命令がコンピュータに読み取られてよいが、特定のコンピューティングデバイスまたは他のデバイス上で命令を実行すべく、ライブラリ、（例えばダイナミックリンクライブラリ（ＤＬＬ））、ソフトウェア開発キット（ＳＤＫ）、アプリケーションプログラミングインタフェース（ＡＰＩ）等の追加を必要とする状態で格納されてよい。別の例においては、機械可読命令および／または対応するプログラムが全体的にまたは部分的に実行可能になる前に、機械可読命令は構成（例えば、格納された設定、データ入力、記録されたネットワークアドレス等）される必要があってよい。故に、開示される機械可読命令および／または対応するプログラムは、機械可読命令および／またはプログラムの格納時または静止時若しくは移動時の特定のフォーマットまたは状態に関わらず、このような機械可読命令および／またはプログラムを包含する意図である。

本明細書に説明された機械可読命令は、任意の過去、現在または将来の命令言語、スクリプト言語、プログラミング言語等により表されてよい。例えば、機械可読命令は、以下の言語、すなわち、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｃ＃、Ｐｅｒｌ、Ｐｙｔｈｏｎ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ハイパーテキストマークアップ言語（ＨＴＭＬ）、構造化クエリ言語（ＳＱＬ）、Ｓｗｉｆｔ等のうちのいずれかを用いて表されてよい。

上記の通り、図６、７、８および／または９の例示的なプロセスは、ハードディスクドライブ、フラッシュメモリ、リードオンリメモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、および／または、情報が任意の期間（例えば、延長された期間、永続的、短い間、一時的なバッファリングの間、および／または情報のキャッシュの間）格納される任意の他の記憶デバイス若しくは記憶ディスク等の非一時的コンピュータおよび／または機械可読媒体上に格納された実行可能命令（例えば、コンピュータおよび／または機械可読命令）を用いて実装されてよい。本明細書で用いられる非一時的コンピュータ可読媒体という用語は、任意のタイプのコンピュータ可読記憶デバイスおよび／または記憶ディスクを含め、および、伝搬信号を除外し、および、送信媒体を除外するよう明示的に定義される。

「含む（ｉｎｃｌｕｄｉｎｇ）」および「備える（ｃｏｍｐｒｉｓｉｎｇ）」（およびそれらのすべての形態および時制）は本明細書においてオープンエンド用語として用いられる。故に、請求項が「含む（ｉｎｃｌｕｄｅ）」または「備える（ｃｏｍｐｒｉｓｅ）」（例えば、ｃｏｍｐｒｉｓｅｓ、ｉｎｃｌｕｄｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｉｎｇ、ｈａｖｉｎｇ等）の任意の形態を、プレアンブルとして、またはあらゆる種類の請求項の記載内で用いるときは常に、対応する請求項または記載の範囲外とならずに、追加の要素、用語等が存在し得ることを理解されたい。本明細書で「少なくとも（ａｔｌｅａｓｔ）」という文言が、例えば請求項のプレアンブルにおいて移行句として用いられる場合、「備える（ｃｏｍｐｒｉｓｉｎｇ）」および「含む（ｉｎｃｌｕｄｉｎｇ）という用語がオープンエンドであるのと同様にこれはオープンエンドである。「および／または（ａｎｄ／ｏｒ）」という用語が例えば、Ａ、Ｂ、および／またはＣ等の形態で用いられる場合、例えば、（１）Ａのみ、（２）Ｂのみ、（３）Ｃのみ、（４）ＡとＢ、（５）ＡとＣ、（６）ＢとＣ、および（７）ＡとＢとＣといったように、Ａ、Ｂ、Ｃの任意の組み合わせまたはサブセットを指す。本明細書で「ＡおよびＢのうちの少なくとも１つ（ａｔｌｅａｓｔｏｎｅｏｆＡａｎｄＢ）」という文言が構造、コンポーネント、項目、オブジェクトおよび／または物を説明する文脈で用いられる場合、（１）少なくとも１つのＡ、（２）少なくとも１つのＢ、および（３）少なくとも１つのＡおよび少なくとも１つのＢのうちの任意のものを含む実装を指す意図である。同様に、本明細書で「ＡまたはＢのうちの少なくとも１つ（ａｔｌｅａｓｔｏｎｅｏｆＡｏｒＢ）」という文言が構造、コンポーネント、項目、オブジェクトおよび／または物を説明する文脈で用いられる場合、（１）少なくとも１つのＡ、（２）少なくとも１つのＢ、および（３）少なくとも１つのＡおよび少なくとも１つのＢのうちの任意のものを含む実装を指す意図である。本明細書で「ＡおよびＢのうちの少なくとも１つ（ａｔｌｅａｓｔｏｎｅｏｆＡａｎｄＢ）」という文言が、プロセス、命令、アクション、アクティビティおよび／またはステップの実施または実行を説明する文脈で用いられる場合、（１）少なくとも１つのＡ、（２）少なくとも１つのＢ、および（３）少なくとも１つのＡおよび少なくとも１つのＢのうちの任意のものを含む実装を指す意図である。同様に、本明細書で「ＡまたはＢのうちの少なくとも１つ（ａｔｌｅａｓｔｏｎｅｏｆＡｏｒＢ）」という文言がプロセス、命令、アクション、アクティビティおよび／またはステップの実施または実行を説明する文脈で用いられる場合、（１）少なくとも１つのＡ、（２）少なくとも１つのＢ、および（３）少なくとも１つのＡおよび少なくとも１つのＢのうちの任意のものを含む実装を指す意図である。

本明細書で用いられる、単一の言及（例えば、「１つの（ａ）」、「１つの（ａｎ）」、「第１（ｆｉｒｓｔ）」、第２（ｓｅｃｏｎｄ）」等）は、複数を除外しない。本明細書で用いられる「１つの（ａ）」または「１つの（ａｎ）」という用語は、そのエンティティの１または複数を指す。本明細書において「１つの（ａ）」（または「１つの（ａｎ）」、「１または複数（ｏｎｅｏｒｍｏｒｅ）」および「少なくとも１つ（ａｔｌｅａｓｔｏｎｅ）」という用語は交換可能に用いられてよい。さらに、個々に列挙されているが、複数の手段、要素または方法アクションは、例えば単一のユニットまたはプロセッサによって実装されてよい。追加的に、異なる実施例または異なる請求項内に個々の特徴が含まれてよいものの、これらは可能性として組み合わされて、異なる実施例または異なる請求項内にこれらが含まれることは、特徴の組み合わせが実現可能ではない、および／または、有利ではないことを示唆するものではない。

図６は、図５の例示的なグラフ実行器５２０を実装すべく実行されてよい例示的な機械可読命令６００を表わすフローチャートである。上記の通り、例示的なグラフ実行器５２０は、実行ＡＰＩを供給し、遅延された評価をオーケストレーションする中核コンポーネントである。グラフ実行器５２０が機械学習処理を実行するためのリクエストを受信したとき、図５の例示的なプロセス５００が開始する。（ブロック６１０）例示的なグラフ実行器５２０は、機械学習処理が直接実行モードまたは遅延された実行モードのどちらで実行されるべきかを判定する。（ブロック６２０）直接実行モード下で実行される（例えば、ブロック６２０がＤＩＲＥＣＴの結果を戻す）場合、例示的なグラフ実行器５２０は、一度に１つの機械学習処理を取得し、それを直接実行する。（ブロック６３０）いくつかの例において、機械学習処理を実行するための受信されたリクエストは、複数の機械学習処理を参照してよい。遅延された評価モード下で実行（例えば、ブロック６２０がＤＥＬＡＹＥＤの結果を戻す）される場合、機械学習処理を実行する代わりに、グラフ実行器５２０は、グラフを構築するために、機械学習処理を例示的なグラフビルダ５３０に送信する。例示的なグラフビルダ５３０は、機械学習処理を蓄積して、シーケンスを形成する。（ブロック６４０）

その後、図６の例示的なプロセス６００は終了する。以下に、図７、８および／または９に関して説明される通り、ユーザが例示的なテンソルマネージャ５１０ＡＰＩを介してテンソルデータにアクセスするとき、遅延された実行がトリガされて、グラフの構築および／または凝縮を生じさせる。

図７は、例示的なテンソルマネージャ５１０を実装するために実行されてよい例示的な機械可読命令７００を表わすフローチャートである。上記の通り、例示的なテンソルマネージャ５１０は、テンソルのライフサイクルを管理する。本明細書に開示される例において、各テンソルは、テンソルメモリ５１５内のテンソルと関連付けて格納された参照カウンタに関連付けられる。テンソルが作成される（例えば、メモリがテンソルメモリ５１５内のテンソルに割り当てられる）とき、テンソルに関連付けられた参照カウンタが１に初期化される（ブロック７２０を参照）。テンソルが機械学習処理の入力テンソルとして用いられるとき（例えば、グラフの実行中、ブロック７４０を参照）、ＭＬ処理はその参照を保持し、故に、テンソルに関連付けられた参照カウンタを１だけ増大させる。

テンソルマネージャ５１０がテンソル処理リクエストを受信したとき、図７の示された例の例示的なプロセス７００が開始する。（ブロック７０５）。本明細書に開示される例において、テンソル処理リクエストは、テンソルが作成されること（ブロック７１０）、テンソルがアクセスされること（ブロック７２５）、またはテンソルが解放されること（ブロック７６０）をリクエストしてよい。

リクエストされた処理がテンソルを作成することである（例えば、ブロック７１０がＹＥＳの結果を戻す）場合、例示的なテンソルマネージャ５１０は、テンソルメモリ５１５内にテンソルを作成する。（ブロック７１５）。例示的なテンソルマネージャ５１０は、テンソルに関連付けられたカウンタを値１に初期化する。（ブロック７２０）。いくつかの例において、テンソルに関連付けられたカウンタは、１以外の値（例えば、ゼロ）に初期化されてよい。

その後、例示的なテンソルマネージャ５１０は、テンソルメモリ管理処理を実行する。（ブロック７８０）。本明細書に開示される例において、テンソルに関連付けられたカウンタが閾値（例えばゼロ）以下である場合、テンソルによって用いられるメモリはクリアされ、他のテンソルおよび／またはデータに対し利用可能にされる。いくつかの例において、テンソルオブジェクトは、第２の処理の出力テンソルとして再利用されてよい。このようなアプローチは、テンソルを支援するメモリリソースの再利用を可能にする。このような例においては、例示的なテンソルマネージャ５１０は元のテンソルを解放し、再利用されるテンソルのための新しいテンソルを作成する。

リクエストされた処理が、テンソルにアクセスすることである（例えば、ブロック７２５がＹＥＳの結果を戻す）場合、例示的なテンソルマネージャ７３０は、リクエストされたテンソルが利用可能かどうかを判定する。（ブロック７３０）テンソルが利用可能でない（例えば、ブロック７３０がＮＯの結果を戻す）場合、例示的なテンソルマネージャ５１０は、テンソルに関連付けられたグラフを識別する。（ブロック７３５）。例示的なテンソルマネージャ７４０は、グラフをグラフ実行器７４０に実行のために渡す。（ブロック７４０）。グラフ処理を実行するための例示的なアプローチについては、以下に図８に関して説明される。リクエストされたテンソルを生成すべくグラフを実行すると、例示的なテンソルマネージャ５１０はテンソル値を戻す。（ブロック７４５）。

ブロック７３０に戻り、いくつかの例においては、遅延された実行の結果（例えば、ブロック７３０がＹＥＳの結果を戻す場合）、テンソルは既に計算済みであってよい。これに該当する場合、例示的なテンソルマネージャ５１０は、テンソル値を戻す。（ブロック７４５）。その後、例示的なテンソルマネージャ５１０は、テンソルに関連付けられた参照カウンタをデクリメントする。（ブロック７５０）。その後、例示的なテンソルマネージャ５１０は、テンソルメモリ管理を実行する。（ブロック７８０）。上記の通り、本明細書に開示される例において、テンソルに関連付けられたカウンタが閾値（例えばゼロ）以下である場合に、テンソルによって用いられるメモリがクリアされ、他のテンソルおよび／またはデータに対し利用可能にされる。

図５に関し上記された通り、いくつかの例において、直接実行モードで機械学習モデルを実行すべく、機械学習処理がグラフ実行器５２０に提供されてよい。このような例においては、ＭＬ処理がグラフ実行器５２０によって即座に実行され、ＭＬ処理は入力テンソルへの参照を解放する（例えば、テンソルに関連付けられたカウンタをデクリメントする）。その結果、テンソルは直接実行モード下で迅速に解放される。対照的に、本明細書で遅延された処理と称される評価が遅延されるＭＬ処理については、テンソルマネージャ５１０は、入力テンソルへの参照をはるかにより長い間保持し（例えば、その出力テンソルが具現化されるまで）、これは本明細書で成熟された処理と称される。

リクエストされた処理がテンソルを作成することである（例えば、ブロック７６０がＹＥＳの結果を戻す）場合、例示的なテンソルマネージャ５１０は、テンソルに関連付けられたカウンタをデクリメントする。（ブロック７６５）。テンソルが解放され、且つ遅延された処理により参照されない場合にのみ、テンソルは安全に削除され得る。その出力テンソルが削除されたとき、処理は古くなってよい。テンソルが解放される場合において、例示的なグラフ実行器５２０が遅延された評価モード下で実行されているときは、テンソルは削除されなくてよい。カウンタをデクリメントした後、例示的なテンソルマネージャ５１０は次に、テンソルメモリ管理を実行する。（ブロック７８０）上記の通り、本明細書に開示される例において、テンソルに関連付けられたカウンタが閾値（例えばゼロ）以下である場合、テンソルによって用いられるメモリはクリアされ、他のテンソルおよび／またはデータに対し利用可能にされる。その後、図７の例示的なプロセス７００は終了するが、後続のテンソル処理リクエストを受信すると、繰り返されてよい。

図８は、凝縮されたグラフの投機的実行を提供すべく実装されてよい例示的な機械可読命令８００を表わすフローチャートである。いくつかの例において、例示的なグラフ実行器５２０は、複数の反復にわたり同一の凝縮されたグラフを実行する。図８は、凝縮されたグラフの投機的実行を用いる例示的な実装を表わす。グラフから別のテンソルが後で必要となる場合に、投機的実行を実行することは、完全なグラフが実行されることを可能にし、そのテンソルをより迅速に提供できるようにする。例示的なテンソルマネージャ５１０は、リクエストされた処理がキャッシュされたグラフに関連付けられているか否かを判定する。（ブロック８０５）。処理がキャッシュされたグラフに関連付けられていない場合、この投機的実行モードを用いて、例示的なグラフビルダ５３０は、前の実行反復によって構築されたグラフをキャッシュする。例示的なグラフ実行器５２０が例示的なグラフビルダ５３０に新しい処理を送信すると（例えば、グラフを構築する前に）、例示的なグラフビルダ５３０は、当該処理をキャッシュされたグラフに対し検査し、処理がキャッシュされたグラフにヒットするか（例えば、そこに含まれるか）を判定する。（ブロック８１０）。

例示的なグラフビルダ５３０が、キャッシュされたグラフがヒットしたと判定した（例えば、ブロック８１５がＹＥＳの結果を戻す）場合、例示的なグラフビルダは、入力された処理のすべてがヒットしたか否かを判定する。（ブロック８２５）。例示的なグラフビルダ５３０が、キャッシュされたグラフの入力された処理のすべてがヒットした（例えば、実行されるべき）ことを検出した（例えば、ブロック８２５がＹＥＳの結果を戻す）場合、例示的なグラフビルダ５３０は、例示的なグラフ実行器５２０をトリガして、キャッシュされたグラフを完全キーとして用いて、凝縮された（例えば、最適化された）グラフを実行させる。（ブロック８３０）。これは、ターゲットテンソルへのアクセス時に、例示的なテンソルマネージャ５１０によってトリガされるものに先行して、凝縮された（例えば、最適化された）グラフの実行をトリガする。例示的なグラフ実行器５２０は、別のＣＰＵコアまたはＧＰＵ等のｏｆｆ‐ＣＰＵデバイスを活用することにより、凝縮されたグラフを非同期的に実行する。凝縮されたグラフの実行の完了を待機することなく、例示的なグラフ実行器５２０は、新しい処理を受け入れること、および、例示的なグラフビルダ５３０への送信を続けることができる。その後、例示的なグラフ実行器５２０は、グラフの構築（ブロック８０７）をトリガして、追加的に受信した機械学習処理に基づき、グラフが再構築されることを可能にする。

例示的なグラフビルダ５３０は、その構築ポリシーに従い、処理シーケンスからのグラフをどのように構築（例えば、有向非巡回グラフ、これはＤＡＧと称されることもある）するかを決定する。例示的な構築ポリシーは、２、３の処理で構成されるシーケンス内の融合パターンを探してよい。例えば、シーケンス内の処理が融合パターンにマッチングしない場合、例示的なグラフビルダ５３０は、シーケンス内の第１の処理を再試行してよく、新しい処理を受け入れてピープホール最適化を継続してよい。その後、退避処理が実行のために即座にディスパッチされてよい。いくつかの例において、高度な構築ポリシーは、シーケンス内のいくつかの処理を即時に実行する必要があるまで、最大量の処理を保持し得る。いくつかの例において、ユーザコードはテンソルの内部データへのアクセスをリクエストしてよく、テンソルがその後、即座に計算される必要がある。いくつかの他の例において、処理シーケンスは閾値サイズ制限まで増大する。トポロジ実行の２つの反復の間、例示的なグラフ実行器５２０は同一の処理シーケンスを確認する可能性が最も高く、グラフポリシーはグラフを構築すべく同一の処理サブシーケンスを選択した。

処理がキャッシュされたグラフにミスする（例えば、ブロック８１５がＮＯの結果を戻す）場合、例示的なグラフビルダ５３０は、キャッシュされたグラフを削除する（ブロック８４０）。例示的なグラフビルダ５３０は、キャッシュされたグラフの実行がトリガされたか否かを判定する。（ブロック８４５）。実行がトリガされていた（例えば、ブロック８４５がＹＥＳの結果を戻す）場合、例示的なグラフビルダ５３０は、例示的なグラフ実行器５２０に対し、凝縮された（例えば、最適化された）グラフの非同期的実行をキャンセルするよう通知する。（ブロック８５０）。そうでない場合（例えば、ブロック８４５がＮＯの結果を戻す場合）、例示的なグラフビルダ５３０は、例示的なテンソルマネージャ５１０がターゲットテンソルアクセス時に最終的にグラフをフェッチするまで、例示的なグラフ実行器５２０により送信された新しい処理を検査し続ける。例示的なテンソルマネージャ５１０は、例示的なグラフ実行器５２０をトリガしてグラフを実行させる。例示的なグラフ実行器５２０は、例示的なグラフビルダ５３０によりトリガされた非同期的グラフ実行とグラフをチェックする。それらが同一である場合、例示的なグラフ実行器５２０は、前の非同期的グラフ実行の完了を待機する。

図９は、キャッシュされたグラフを実行するよう実装されてよい例示的な機械可読命令９００を表わすフローチャートである。図９の例示的なプロセス９００は、例示的なグラフ実行器キャッシュマネージャ５５０が、グラフキャッシュ５５５から、実行のためのグラフをフェッチするとき開始する。（ブロック９１０）。

例示的なテンソルマネージャ５１０は、グラフの任意の入力テンソルのカウンタをインクリメントする。（ブロック９２０）。例示的なグラフ実行器５２０はグラフを調査して、動的情報を収集し（ブロック９３０）、その後グラフの凝縮されたバージョンが利用可能か否かの判定を試行する。（ブロック９４０）。本明細書に開示される例において、グラフを完全キーとして用いて、グラフの凝縮されたバージョンが利用可能か否かの判定を試行する。取得が成功しない場合（例えば、ブロック９４０がＮＯの結果を戻す）、例示的なグラフ凝縮器５４０は、凝縮された（例えば、最適化された）グラフを生成する。（ブロック９５０）。凝縮されたグラフを生成すべく、例示的なグラフ凝縮器５４０は、より効率的な計算を用いるべく、複数の処理を１つに融合させる、処理を並べ替える、および／または、機械学習処理を変換するのうち少なくとも１つを行う。いくつかの例において、例示的なグラフ凝縮器５４０は、機械学習処理をコンパイルし、バイナリ（例えば、最適化されたバイナリ）を生成する。例示的なグラフ実行器５２０は、初期のプロファイリングステージを凝縮された実行ステージへ切り替えるときを決定する。例示的なグラフキャッシュマネージャ５５０は、グラフキャッシュ５５５内に例示的な凝縮されたグラフを格納する。（ブロック９６０）。

ブロック９４０に戻り、凝縮されたグラフが利用可能な場合（例えば、ブロック９４０がＹＥＳの結果を戻す）、例示的なグラフキャッシュマネージャ５５０は凝縮されたグラフをフェッチする。（ブロック９７０）。その後、例示的なグラフ実行器５２０は、凝縮されたグラフを実行し、それらの戻された値で出力テンソルを具現化する。（ブロック９８０）。その後、図９の例示的なプロセス９００は終了するが、キャッシュされたグラフを実行すべく繰り返されてよい。

図１０は、グラフの入力テンソル、隠れテンソル、および出力テンソルを表わすブロック図１０００である。図１０の示される例において、グラフ１０１０は、第１の処理１０５０、第２の処理１０６０、第３の処理１０７０、および第４の処理１０８０を含む。処理１０５０、１０６０、１０７０、１０８０は、例えばドロップアウト処理、畳み込み処理、バッチ正規化処理、正規化線形ユニット活性化関数（ＲｅＬｕ）等を含む様々な機械学習処理を表わす。

いくつかの例において、ある処理からもたらされるテンソルの一部が、ユーザコードに提供（例えば、具現化）される。いくつかの他の例において、このようなテンソルは、ユーザコードに提供される必要はない。いくつかのこのような例において、不要なテンソルの具現化は、大きな計算コストを伴う。故に、グラフの外部で（例えば、ユーザコードによって）用いられない出力テンソルについては、グラフは、テンソルデータをオンザフライで生成および使用すべく凝縮され得るが、それらを具現化することは決してない（例えば、決してこれらのテンソルをユーザコードに提供しない）。本明細書に開示される例において、このような中間テンソルは、隠れテンソルと称される。例示的なグラフ実行器５２０は、出力テンソルの使用率を追跡し、その初期プロファイル実行において隠れテンソルを認識する。グラフが実行された後、出力テンソルが使用前に解放される場合、テンソルは隠れテンソルとしてマークされる。この初期の動的情報を用いて、グラフのいくつかのテンソルは削除される。

本明細書に開示される例において、グラフは遅延された機械学習処理の動的実行パスを表わすので、そのグラフは一時的である。しかしながら、対応する凝縮されたグラフが構築された後、グラフは即座に解放できない。というのは、隠れテンソルが任意の後の時点でアクセスされ得るからである。実装に応じ、隠れテンソルは、即座に、または、各反復の終了時に解放されてよいが、隠れテンソルはメモリリークを回避すべく最終的に解放される必要がある。すべてのその隠れテンソルが解放されるとき、すべての処理は、成熟となるまたは古くなるのいずれかであり、グラフは入力テンソルへの参照を保持していない。このとき、グラフおよび任意の隠れテンソルは、削除しても安全である（図７のブロック７８０で実行されるテンソル管理の一部として削除される）。

図１１は、テンソル、処理およびグラフのライフサイクルを追跡するためのカウンタ値を表わすテーブル１１００である。例示的なテーブル１１００は、グラフの実行に関連して生じてよい異なるイベント１１３０、１１３５、１１４０、１１４５を表わすイベント列１１０１を含む。テーブル１１００は、入力テンソル１１０２、１１０４、１１０６、１１０８、出力テンソル１１１０、隠れテンソル１１１２、１１１４、１１１６、処理１１１８、１１２０、１１２２、１１２４およびグラフ１１２６を参照する列を含む。

図１１の第１の入力テンソル列１１０２は、図１０のテンソルＩＮ＃１１０１５のカウンタ値に対応する。図１１の第２の入力テンソル列１１０４は、図１０のテンソルＩＮ＃２１０２０のカウンタ値に対応する。図１１の第３の入力テンソル列１１０６は、図１０のテンソルＩＮ＃３１０２５のカウンタ値に対応する。図１１の第４の入力テンソル列１１０８は、図１０のテンソルＩＮ＃４１０３０のカウンタ値に対応する。図１１の出力テンソル列１１１０は、図１０の出力テンソルＯＵＴ＃１１０４０のカウンタ値に対応する。図１１の第１の隠れテンソル列１１１２は、図１０の隠れテンソルＨＩＤ＃１１０５５のカウンタ値に対応する。図１１の第２の隠れテンソル列１１１４は、図１０の隠れテンソルＨＩＤ＃２１０６５のカウンタ値に対応する。図１１の第３の隠れテンソル列１１１６は、図１０の隠れテンソルＨＩＤ＃３１０７５のカウンタ値に対応する。図１１の第１の処理列１１１８は、図１０の第１の処理１０５０のカウンタ値に対応する。図１１の第２の処理列１１２０は、図１０の第２の処理１０６０のカウンタ値に対応する。図１１の第３の処理列１１２２は、図１０の第３の処理１０７０のカウンタ値に対応する。図１１の第４の処理列１１２４は、図１０の第４の処理１０８０のカウンタ値に対応する。図１１のグラフ列１１２６は、図１０のグラフ１０１０のカウンタ値に対応する。

図１１の示される例において、グラフ１１２６が最初に作成されるとき（イベント１１３０）、すべての処理は遅延され、すべての処理は、入力テンソルおよび隠れテンソルへの参照を保持する。評価がトリガされるとき（イベント１１３５）、処理４１１２４は成熟となり、ＨＩＤ＃３１１１６への参照を解放する。ＨＩＤ＃３１１１６が解放されるとき（イベント１１４０）、ＨＩＤ＃３１１１６の参照カウントはゼロに下げられ、故に削除され得る。故に、第３の処理１１２２は古くなり、第３の処理１１２２はＨＩＤ＃２１１１４への参照を解放する。ＨＩＤ＃１１１１２が解放されるとき（イベント１１４５）、第２の処理１１２０が依然としてＨＩＤ＃１１１１２を使用しているので、ＨＩＤ＃１１１１２は生存（ａｌｉｖｅ）のまま保持されるため、その参照カウントは依然として１である。ＨＩＤ＃２１１１４が解放されるとき（イベント１１５０）、ＨＩＤ＃２１１１４の削除が処理２１１２０を作成し、ＨＩＤ＃１１１１２への参照がゼロにされる。ＨＩＤ＃１１１１２の削除により第１の処理１１１８が古くなり、従って、最終的にグラフ１１２６におけるいかなる処理も遅延された処理ではなくなり、グラフ１１２６の削除は安全である。

いくつかの例において、初期においては隠れテンソルはグラフ内でのみアクセスされるが、グラフの動的性質に起因して隠れテンソルはグラフの外部でアクセスされる。このような一例において、グラフ実行器５２０はグラフを解析して、隠れテンソルを具現化するために必要とされるすべての処理を識別し、且つ、それらを実行する。その後、隠れテンソルはグラフの出力テンソルの集まりの中に含められる。その後、新しいグラフが再凝縮され（例えば、再最適化され）て、隠れテンソルを含む出力テンソルを生成する。

図１２は、凝縮されたグラフのための入力テンソルおよび出力テンソルを表わすブロック図１２００である。図１２の示される例において、凝縮されたグラフ１２１０は、第１の処理１２５０および第２の処理１２５５を含む。本明細書に開示される例において、第１の処理１２５０は、図１０の第１の処理１０５０に対応する。図１２の第２の処理１２５５は、図１０の第２の処理１０６０、第３の処理１０７０および第４の処理１０８０の凝縮されたバージョンに対応する。例示的な凝縮されたグラフ１２１０は、第１の入力テンソル１２１５、第２の入力テンソル１２２０、第３の入力テンソル１２２５および第４の入力テンソル１２３０を受信する。第２の処理１２５５は、出力テンソル１２４０を出力する。上記の通り、例示的なグラフ凝縮器５４０は、グラフ（例えば、図１０のグラフ１０１０）をコンパイルおよび／または凝縮（例えば、最適化）して、凝縮されたグラフ（例えば、図１２の凝縮されたグラフ１２１０）を生成する。例示的なグラフ凝縮器５４０は、より効率的な計算を用いるべく、複数の計算を１つに融合し、計算を並べ替え、および／または、機械学習処理を変換してよい。また、例示的なグラフ凝縮器は機械学習処理をコンパイルしてよく、および凝縮された（例えば、最適化された）バイナリを生成してよい。本明細書に開示される例において、例示的なグラフ実行器５２０は、初期のプロファイリングステージを凝縮された実行ステージへ切り替えるときを決定する。

図１３は、図１および／または図５のＷｅｂＮＮコントローラ１４０を実装するための図６、７、８および／または９の命令を実行するように構造化された例示的なプロセッサプラットフォーム１３００のブロック図である。プロセッサプラットフォーム１３００は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、自己学習機械（例えば、ニューラルネットワーク）、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）等のタブレット）、携帯情報端末（ＰＤＡ）、インターネット家電、ＤＶＤプレーヤ、ＣＤプレーヤ、デジタルビデオレコーダ、ブルーレイプレーヤ、ゲームコンソール、パーソナルビデオレコーダ、セットトップボックス、ヘッドセット若しくは他のウェアラブルデバイス、または任意の他のタイプのコンピューティングデバイスであってよい。

示された例のプロセッサプラットフォーム１３００は、プロセッサ１３１２を含む。示された例のプロセッサ１３１２は、ハードウェアである。例えば、プロセッサ１３１２は、１または複数の集積回路、ロジック回路、マイクロプロセッサ、ＧＰＵ、ＤＳＰ、または任意の所望のファミリー若しくは製造者からのコントローラで実装されてよい。ハードウェアプロセッサは、半導体ベース（例えば、シリコンベース）のデバイスであってよい。この例において、プロセッサは、例示的なテンソルマネージャ５１０、例示的なグラフ実行器５２０、例示的なグラフビルダ５３０、例示的なグラフ凝縮器５４０および例示的なグラフキャッシュマネージャ５５０を実装する。

示された例のプロセッサ１３１２は、ローカルメモリ１３１３（例えば、キャッシュ）を含む。示された例のプロセッサ１３１２は、バス１３１８を介して、揮発性メモリ１３１４および不揮発性メモリ１３１６を含むメインメモリと通信する。揮発性メモリ１３１４は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ＲＡＭＢＵＳ（登録商標）ダイナミックランダムアクセスメモリ（ＲＤＲＡＭ（登録商標））および／または任意の他のタイプのランダムアクセスメモリデバイスで実装されてよい。不揮発性メモリ１３１６は、フラッシュメモリおよび／または任意の他の所望のタイプのメモリデバイスで実装されてよい。メインメモリ１３１４、１３１６へのアクセスは、メモリコントローラにより制御される。

示された例のプロセッサプラットフォーム１３００はまた、インタフェース回路１３２０も含む。インタフェース回路１３２０は、イーサネット（登録商標）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース、近距離通信（ＮＦＣ）インタフェースおよび／またはＰＣＩエクスプレスインタフェース等の任意のタイプのインタフェース規格で実装されてよい。

示される例において、１または複数の入力デバイス１３２２は、インタフェース回路１３２０に接続される。入力デバイス１３２２は、ユーザがデータおよび／またはコマンドをプロセッサ１３１２に入力することを許容する。入力デバイスは、例えば、オーディオセンサ、マイク、カメラ（スチルまたはビデオ）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、等電点および／または音声認識システムで実装されてよい。

１または複数の出力デバイス１３２４もまた、示された例のインタフェース回路１３２０に接続される。出力デバイス１３２４は、例えば、ディスプレイデバイス（例えば、発光ダイオード（ＬＥＤ））、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、ブラウン管ディスプレイ（ＣＲＴ）、インプレーススイッチング（ｉｎ‐ｐｌａｃｅｓｗｉｔｃｈｉｎｇ：ＩＰＳ）ディスプレイ、タッチスクリーン等）、触覚出力デバイス、プリンタおよび／またはスピーカで実装されてよい。故に、示された例のインタフェース回路１３２０は通常、グラフィックドライバカード、グラフィックドライバチップおよび／またはグラフィックドライバプロセッサを含む。

示された例のインタフェース回路１３２０はまた、送信機、受信機、トランシーバ、モデム、住居用ゲートウェイ、無線アクセスポイント、および／または、ネットワーク１３２６を介した外部マシン（例えば、任意の種類のコンピューティングデバイス）とのデータ交換を容易にするためのネットワークインタフェース等の通信デバイスも含む。通信は、例えば、イーサネット（登録商標）接続、デジタル加入者線（ＤＳＬ）接続、電話回線接続、同軸ケーブルシステム、衛星システム、見通し内無線システム、セルラ電話システム等を介したものであってよい。

示された例のプロセッサプラットフォーム１３００はまた、ソフトウェアおよび／またはデータを格納するための１または複数の大容量記憶デバイス１３２８も含む。このような大容量記憶デバイス１３２８の例には、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、リダンダントアレイオブインディペンデントディスク（ＲＡＩＤ）システム、およびデジタル多用途ディスク（ＤＶＤ）ドライブが含まれる。

図６、７、８および／または９の機械実行可能命令１３３２は大容量記憶デバイス１３２８内に、揮発性メモリ１３１４内に、不揮発性メモリ１３１６内に、および／または、ＣＤ若しくはＤＶＤ等の除去可能な非一時的コンピュータ可読記憶媒体に格納されてよい。図１３の示される例において、大容量記憶デバイス１３２８は、例示的なグラフキャッシュ５５５および例示的なテンソルメモリ５１５を実装する。

上記の内容から、ブラウザ内で機械学習ワークロードが凝縮された態様で実行されることを可能にすることにより、コンピューティングデバイスの使用効率を改善する例示的な方法、装置および製品が開示されていることが理解されよう。

パーソナルコンピュータ（ＰＣ）コンシューマのＷｅｂベースアクティビティは、ＰＣ使用シナリオの大部分を形成する。本明細書に開示された例示的なアプローチは、Ｗｅｂベース環境内での機械学習ワークロードの、よりリソース効率の良い態様での実行を可能にする。本明細書で開示されるように、機械学習ワークロードにより提供される内部テンソルへの完全なアクセス可能性を依然として可能にしつつ、機械学習ワークロードはより迅速に実行され得る。従って開示された方法、装置および製品は、コンピュータの機能における１または複数の改善を対象とする。

例が本明細書において開示される。Ｗｅｂブラウザ環境内での機械学習モデルを処理するためのさらなる例示的な方法、装置、システムおよび製品は以下を含む。

例１は、Ｗｅｂブラウザ内で機械学習モデルを処理するための装置であって、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積するためのグラフビルダと、まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別するためのテンソルマネージャと、前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定するためのグラフキャッシュマネージャと、前記グラフキャッシュマネージャが前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成するためのグラフ凝縮器と、前記凝縮されたグラフを実行して前記テンソルを生成するためのグラフ実行器であって、前記テンソルマネージャは前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する、グラフ実行器とを備える装置を含む。

例２は、前記グラフ実行器は、前記グラフキャッシュマネージャが前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする、例１に係る装置を含む。

例３は、前記グラフキャッシュマネージャは、前記識別されたグラフのハッシュに基づきルックアップを実行して、前記凝縮されたグラフが利用可能であるか否かを判定する、例１に係る装置を含む。

例４は、前記グラフ実行器は、前記機械学習処理が直接実行モードを用いて実行されるべきであるという判定に応答して、前記機械学習処理を実行する、例１の装置を含む。

例５は、前記テンソルマネージャは、前記テンソルに関連付けられたカウンタを初期化し、前記テンソルを前記応答として前記提供することに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、例１の装置を含む。

例６は、前記テンソルマネージャは、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、例５の装置を含む。

例７は、前記テンソルマネージャは、前記凝縮されたグラフを実行して前記テンソルを生成することに応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする、例５の装置を含む。

例８は、命令を備える少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令が実行されると、前記命令は少なくとも１つのプロセッサに、少なくとも、機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積する手順と、まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別する手順と、前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する手順と、前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成する手順と、前記凝縮されたグラフを実行して前記テンソルを生成する手順と、前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する手順と、を実行させる、少なくとも１つの非一時的コンピュータ可読媒体を含む。

例９は、前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする手順を実行させる、例８の少なくとも１つのコンピュータ可読媒体を含む。

例１０は、前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記識別されたグラフのハッシュに基づきルックアップを実行して、前記凝縮されたグラフが利用可能であるか否かを判定する手順を実行させる、例８の少なくとも１つのコンピュータ可読媒体を含む。

例１１は、前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記機械学習処理が直接実行モードを用いて実行されるべきであるという判定に応答して、前記機械学習処理を実行する手順を実行させる、例８の少なくとも１つのコンピュータ可読媒体を含む。

例１２は、前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記テンソルに関連付けられたカウンタを初期化する手順と、前記テンソルを前記応答として前記提供することに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする手順と、を実行させる、例８の少なくとも１つのコンピュータ可読媒体を含む。

例１３は、前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする手順を実行させる、例１２に記載の少なくとも１つのコンピュータ可読媒体を含む。

例１４は、前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記凝縮されたグラフを実行して前記テンソルを生成することに応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする手順を実行させる、例１２に記載の少なくとも１つのコンピュータ可読媒体を含む。

例１５は、Ｗｅｂブラウザ環境内で機械学習モデルを処理するための装置であって、機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積する手段と、まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別するための管理手段と、前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する手段と、前記判定する手段が、前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成するための凝縮手段と、前記テンソルを生成すべく前記凝縮されたグラフを実行する手段であって、前記管理手段は前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する、手段と、を備える、装置を含む。

例１６は、前記判定する手段が、前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする、例１５の装置を含む。

例１７は、前記判定する手段が、前記識別されたグラフのハッシュに基づきルックアップを実行することにより、前記凝縮されたグラフが利用可能であるか否かを判定する、例１５の装置を含む。

例１８は、前記実行する手段は、前記判定する手段が前記機械学習処理は直接実行モードを用いて実行されるべきであると判定することに応答して、前記機械学習処理を実行する、例１５の装置を含む。

例１９は、前記管理する手段は、さらに、前記テンソルに関連付けられたカウンタを初期化し、前記テンソルを前記応答として前記提供することに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、例１５の装置を含む。

例２０は、前記管理する手段は、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、例１９の装置を含む。

例２１は、前記管理する手段は、前記実行する手段が前記凝縮されたグラフを実行して前記テンソルを生成することに応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする、例１９の装置を含む。

例２２は、Ｗｅｂブラウザ環境内で機械学習モデルを処理する方法であって、機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積する段階と、まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別する段階と、前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する段階と、前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成する段階と、前記テンソルを生成すべく前記凝縮されたグラフを実行する段階と、前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する段階と、を備える、方法を含む。

例２３は、前記凝縮されたグラフが利用可能であると判定することに応答して、前記グラフの前記凝縮されたバージョンをフェッチする段階をさらに備える、例２２の方法を含む。

例２４は、前記識別された凝縮されたグラフが利用可能であるか否かを判定する前記段階が、前記識別されたグラフのハッシュに基づきルックアップを実行する段階を含む、例２２の方法を含む。

例２５は、前記機械学習処理が直接実行モードを用いて実行されるべきであると判定することに応答して、前記機械学習処理を実行する段階をさらに備える、例２２の方法を含む。

例２６は、前記テンソルに関連付けられたカウンタを初期化する段階と、前記テンソルを前記応答として提供する前記段階に応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする段階と、をさらに備える、例２２の方法を含む。

例２７は、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする段階をさらに備える、例２６の方法を含む。

例２８は、前記テンソルを生成すべく前記凝縮されたグラフを実行する前記段階に応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする段階をさらに備える、例２６の方法を含む。

具体的な例示的方法、装置および製品が本明細書において開示されたが、この特許の及ぶ範囲はこのように限定されることはない。むしろ逆に、この特許は、この特許に係る特許請求の範囲に公平に属するすべての方法、装置および製品に及ぶ。

以下の特許請求の範囲は、ここでこの参照によりこの詳細な説明に組み込まれ、各請求項は本開示の別個の実施形態として独立している。
［他の可能性のある請求項］
［項目１］
Ｗｅｂブラウザ内で機械学習モデルを処理するための装置であって、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積するためのグラフビルダと、
まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別するためのテンソルマネージャと、
前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定するためのグラフキャッシュマネージャと、
前記グラフキャッシュマネージャが前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成するためのグラフ凝縮器と、
前記凝縮されたグラフを実行して前記テンソルを生成するためのグラフ実行器であって、前記テンソルマネージャは前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する、グラフ実行器とを備える、装置。
［項目２］
前記グラフ実行器は、前記グラフキャッシュマネージャが前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする、項目１に記載の装置。
［項目３］
前記グラフキャッシュマネージャは、前記識別されたグラフのハッシュに基づきルックアップを実行して、前記凝縮されたグラフが利用可能であるか否かを判定する、項目１に記載の装置。
［項目４］
前記グラフ実行器は、前記機械学習処理が直接実行モードを用いて実行されるべきであるという判定に応答して、前記機械学習処理を実行する、項目１に記載の装置。
［項目５］
前記テンソルマネージャは、前記テンソルに関連付けられたカウンタを初期化し、前記テンソルを前記応答として前記提供することに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、項目１に記載の装置。
［項目６］
前記テンソルマネージャは、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、項目５に記載の装置。
［項目７］
前記テンソルマネージャは、前記凝縮されたグラフを実行して前記テンソルを生成することに応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする、項目５に記載の装置。
［項目８］
命令を備える少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令が実行されると、前記命令は少なくとも１つのプロセッサに、少なくとも、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積する手順と、
まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別する手順と、
前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する手順と、
前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成する手順と、
前記凝縮されたグラフを実行して前記テンソルを生成する手順と、
前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する手順と、を実行させる、少なくとも１つの非一時的コンピュータ可読媒体。
［項目９］
前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする手順を実行させる、項目８に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目１０］
前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記識別されたグラフのハッシュに基づきルックアップを実行して、前記凝縮されたグラフが利用可能であるか否かを判定する手順を実行させる、項目８に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目１１］
前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記機械学習処理が直接実行モードを用いて実行されるべきであるという判定に応答して、前記機械学習処理を実行する手順を実行させる、項目８に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目１２］
前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記テンソルに関連付けられたカウンタを初期化する手順と、
前記テンソルを前記応答として前記提供することに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする手順と、を実行させる、項目８に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目１３］
前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする手順を実行させる、項目１２に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目１４］
前記命令が実行されると、前記命令は前記少なくとも１つのプロセッサに、前記凝縮されたグラフを実行して前記テンソルを生成することに応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする手順を実行させる、項目１２に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目１５］
Ｗｅｂブラウザ環境内で機械学習モデルを処理するための装置であって、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積する手段と、
まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別するための管理手段と、
前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する手段と、
前記判定する手段が、前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成するための凝縮手段と、
前記テンソルを生成すべく前記凝縮されたグラフを実行する手段であって、前記管理手段は前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する、手段と、を備える、装置。
［項目１６］
前記判定する手段が、前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする、項目１５に記載の装置。
［項目１７］
前記判定する手段が、前記識別されたグラフのハッシュに基づきルックアップを実行することにより、前記凝縮されたグラフが利用可能であるか否かを判定する、項目１５に記載の装置。
［項目１８］
前記実行する手段は、前記判定する手段が前記機械学習処理は直接実行モードを用いて実行されるべきであると判定することに応答して、前記機械学習処理を実行する、項目１５に記載の装置。
［項目１９］
前記管理する手段は、さらに、前記テンソルに関連付けられたカウンタを初期化し、前記テンソルを前記応答として前記提供することに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、項目１５に記載の装置。
［項目２０］
前記管理する手段は、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、項目１９に記載の装置。
［項目２１］
前記管理する手段は、前記実行する手段が前記凝縮されたグラフを実行して前記テンソルを生成することに応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする、項目１９に記載の装置。
［項目２２］
Ｗｅｂブラウザ環境内で機械学習モデルを処理する方法であって、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積する段階と、
まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別する段階と、
前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する段階と、
前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成する段階と、
前記テンソルを生成すべく前記凝縮されたグラフを実行する段階と、
前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する段階と、を備える、方法。
［項目２３］
前記凝縮されたグラフが利用可能であると判定することに応答して、前記グラフの前記凝縮されたバージョンをフェッチする段階をさらに備える、項目２２に記載の方法。
［項目２４］
前記識別された凝縮されたグラフが利用可能であるか否かを判定する前記段階が、前記識別されたグラフのハッシュに基づきルックアップを実行する段階を含む、項目２２に記載の方法。
［項目２５］
前記機械学習処理が直接実行モードを用いて実行されるべきであると判定することに応答して、前記機械学習処理を実行する段階をさらに備える、項目２２に記載の方法。
［項目２６］
前記テンソルに関連付けられたカウンタを初期化する段階と、
前記テンソルを前記応答として提供する前記段階に応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする段階と、をさらに備える、項目２２に記載の方法。
［項目２７］
前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする段階をさらに備える、項目２６に記載の方法。
［項目２８］
前記テンソルを生成すべく前記凝縮されたグラフを実行する前記段階に応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする段階をさらに備える、項目２６に記載の方法。

Claims

Ｗｅｂブラウザ内で動作する、機械学習モデルを処理するための装置であって、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積するためのグラフビルダと、
まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別するためのテンソルマネージャと、
前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定するためのグラフキャッシュマネージャと、
前記グラフキャッシュマネージャが前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成するためのグラフ凝縮器と、
前記凝縮されたグラフを実行して前記テンソルを生成するためのグラフ実行器であって、前記テンソルマネージャは前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する、グラフ実行器とを備え、
前記グラフ実行器は、前記リクエストに関連付けられた情報に基づき、前記機械学習処理が直接実行モードまたは前記遅延された実行モードのどちらで実行されるべきかを判定し、
前記機械学習処理が前記直接実行モードを用いて実行されるべきという判定に応答して、前記グラフ実行器は、前記機械学習処理を実行し、
前記機械学習処理が前記遅延された実行モードを用いて実行されるべきという判定に応答して、前記グラフ実行器は、前記機械学習処理を前記グラフビルダに送信し、前記グラフビルダは、前記グラフ実行器から受信した前記機械学習処理を蓄積して前記グラフを構築し、前記グラフ凝縮器は、前記グラフビルダが構築した前記グラフから前記凝縮されたグラフを生成し、前記凝縮されたグラフをキャッシュする、装置。
前記グラフビルダは、構築ポリシーに従って前記グラフを構築し、前記構築ポリシーに合致しない機械学習処理を退避させ、前記退避させた機械学習処理を実行のために即座にディスパッチする、請求項１に記載の装置。
前記凝縮されたグラフの再利用率が閾値より低い場合、前記グラフキャッシュマネージャは、前記グラフ実行器に前記直接実行モードに戻るように通知する、請求項１または２に記載の装置。
前記グラフ実行器は、前記グラフキャッシュマネージャが前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする、請求項１から３のいずれか一項に記載の装置。
前記グラフキャッシュマネージャは、前記識別されたグラフのハッシュに基づきルックアップを実行して、前記凝縮されたグラフが利用可能であるか否かを判定する、請求項１から４のいずれか一項に記載の装置。
前記テンソルマネージャは、前記テンソルに関連付けられたカウンタを初期化し、前記テンソルを前記応答として前記提供することに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、請求項１から５のいずれか一項に記載の装置。
前記テンソルマネージャは、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする、請求項６に記載の装置。
前記テンソルマネージャは、前記凝縮されたグラフを実行して前記テンソルを生成することに応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする、請求項６に記載の装置。
Ｗｅｂブラウザ内で動作する少なくとも１つのプロセッサに、少なくとも、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積する手順と、
まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別する手順と、
前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する手順と、
前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成する手順と、
前記凝縮されたグラフを実行して前記テンソルを生成する手順と、
前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する手順と、を実行させるための、プログラムであって、
前記少なくとも１つのプロセッサに、
前記リクエストに関連付けられた情報に基づき、前記機械学習処理が直接実行モードまたは前記遅延された実行モードのどちらで実行されるべきかを判定する手順と、
前記機械学習処理が前記直接実行モードを用いて実行されるべきという判定に応答して、前記機械学習処理を実行する手順と、
前記機械学習処理が前記遅延された実行モードを用いて実行されるべきという判定に応答して、前記機械学習処理を蓄積して前記グラフを構築し、前記グラフから前記凝縮されたグラフを生成し、前記凝縮されたグラフをキャッシュする手順と、を実行させるための、プログラム。
前記少なくとも１つのプロセッサに、構築ポリシーに従って前記グラフを構築し、前記構築ポリシーに合致しない機械学習処理を退避させ、前記退避させた機械学習処理を実行のために即座にディスパッチする手順を実行させるための、請求項９に記載のプログラム。
前記少なくとも１つのプロセッサに、前記凝縮されたグラフの再利用率が閾値より低い場合、前記直接実行モードに戻る手順を実行させるための、請求項９または１０に記載のプログラム。
前記少なくとも１つのプロセッサに、前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする手順を実行させるための、請求項９から１１のいずれか一項に記載のプログラム。
前記少なくとも１つのプロセッサに、前記識別されたグラフのハッシュに基づきルックアップを実行して、前記凝縮されたグラフが利用可能であるか否かを判定する手順を実行させるための、請求項９から１２のいずれか一項に記載のプログラム。
前記少なくとも１つのプロセッサに、前記テンソルに関連付けられたカウンタを初期化する手順と、
前記テンソルを前記応答として前記提供することに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする手順と、を実行させるための、請求項９から１３のいずれか一項に記載のプログラム。
前記少なくとも１つのプロセッサに、前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする手順を実行させるための、請求項１４に記載のプログラム。
前記少なくとも１つのプロセッサに、前記凝縮されたグラフを実行して前記テンソルを生成することに応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする手順を実行させるための、請求項１４に記載のプログラム。
Ｗｅｂブラウザ環境内で動作する、機械学習モデルを処理するための装置であって、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積するグラフ構築手段と、
まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別するための管理手段と、
前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する手段と、
前記判定する手段が、前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成するための凝縮手段と、
前記テンソルを生成すべく前記凝縮されたグラフを実行するグラフ実行手段と、を備え、
前記管理手段は前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供し、
前記グラフ実行手段は、前記リクエストに関連付けられた情報に基づき、前記機械学習処理が直接実行モードまたは前記遅延された実行モードのどちらで実行されるべきかを判定し、
前記機械学習処理が前記直接実行モードを用いて実行されるべきという判定に応答して、前記グラフ実行手段は、前記機械学習処理を実行し、
前記機械学習処理が前記遅延された実行モードを用いて実行されるべきという判定に応答して、前記グラフ実行手段は、前記機械学習処理を、前記グラフ構築手段に送信し、前記グラフ構築手段は、前記グラフ実行手段から受信した前記機械学習処理を蓄積して前記グラフを構築し、前記凝縮手段は、前記グラフ構築手段が構築した前記グラフから前記凝縮されたグラフを生成し、前記凝縮されたグラフをキャッシュする、装置。
前記グラフ構築手段は、構築ポリシーに従って前記グラフを構築し、前記構築ポリシーに合致しない機械学習処理を退避させ、前記退避させた機械学習処理を実行のために即座にディスパッチする、請求項１７に記載の装置。
前記凝縮されたグラフの再利用率が閾値より低い場合、前記判定する手段は、前記グラフ実行手段に前記直接実行モードに戻るように通知する、請求項１７または１８に記載の装置。
前記判定する手段が、前記凝縮されたグラフが利用可能であると判定することに応答して、前記凝縮されたグラフをフェッチする、請求項１７から１９のいずれか一項に記載の装置。
前記判定する手段が、前記識別されたグラフのハッシュに基づきルックアップを実行することにより、前記凝縮されたグラフが利用可能であるか否かを判定する、請求項１７から２０のいずれか一項に記載の装置。
前記グラフ実行手段は、前記判定する手段が前記機械学習処理は直接実行モードを用いて実行されるべきであると判定することに応答して、前記機械学習処理を実行する、請求項１７から２１のいずれか一項に記載の装置。
Ｗｅｂブラウザ環境内で機械学習モデルを処理する方法であって、
機械学習処理が遅延された実行モードを用いて実行されるべき場合に、前記機械学習処理をグラフとして蓄積する段階と、
まだ利用可能でなく且つ前記機械学習処理に関連付けられていないテンソルにアクセスするためのリクエストに応答して、前記テンソルに基づき前記グラフを識別する段階と、
前記識別されたグラフに対応する凝縮されたグラフが利用可能であるか否かを判定する段階と、
前記凝縮されたグラフが利用可能ではないと判定することに応答して、前記凝縮されたグラフを生成する段階と、
前記テンソルを生成すべく前記凝縮されたグラフを実行する段階と、
前記テンソルを、前記テンソルにアクセスするための前記リクエストに対する応答として提供する段階と、を備え、
前記リクエストに関連付けられた情報に基づき、前記機械学習処理が直接実行モードまたは前記遅延された実行モードのどちらで実行されるべきかを判定する段階と、
前記機械学習処理が前記直接実行モードを用いて実行されるべきという判定に応答して、前記機械学習処理を実行する段階と、
前記機械学習処理が前記遅延された実行モードを用いて実行されるべきという判定に応答して、前記機械学習処理を蓄積して前記グラフを構築し、前記グラフから前記凝縮されたグラフを生成し、前記凝縮されたグラフをキャッシュする段階と、をさらに備える、方法。
構築ポリシーに従って前記グラフを構築し、前記構築ポリシーに合致しない機械学習処理を退避させ、前記退避させた機械学習処理を実行のために即座にディスパッチする段階をさらに備える、請求項２３に記載の方法。
前記凝縮されたグラフの再利用率が閾値より低い場合、前記直接実行モードに戻る、請求項２３または２４に記載の方法。
前記凝縮されたグラフが利用可能であると判定することに応答して、前記グラフの前記凝縮されたバージョンをフェッチする段階をさらに備える、請求項２３から２５のいずれか一項に記載の方法。
前記識別された凝縮されたグラフが利用可能であるか否かを判定する前記段階が、前記識別されたグラフのハッシュに基づきルックアップを実行する段階を含む、請求項２３から２６のいずれか一項に記載の方法。
前記テンソルに関連付けられたカウンタを初期化する段階と、
前記テンソルを前記応答として提供する前記段階に応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする段階と、をさらに備える、請求項２３から２７のいずれか一項に記載の方法。
前記テンソルを解放するためのリクエストに応答して、前記テンソルに関連付けられた前記カウンタをデクリメントする段階をさらに備える、請求項２８に記載の方法。
前記テンソルを生成すべく前記凝縮されたグラフを実行する前記段階に応答して、前記テンソルに関連付けられた前記カウンタをインクリメントする段階をさらに備える、請求項２８に記載の方法。
請求項９から１６のいずれか一項に記載のプログラムを記憶した非一時的コンピュータ可読記憶媒体。