JP2023520425A - 制約に基づくハイパーパラメータチューニングのための方法およびシステム - Google Patents

Abstract

モデルのハイパーパラメータをチューニングするための技術が開示される。モデルをトレーニングするためにデータセットを取得し、モデルの性能を評価するためにメトリックを選択する。各メトリックには、モデルの性能に対する重要度を指定する重みが割り当てられる。重み付けされたメトリックに基づいて性能を測定する関数が作成される。ハイパーパラメータが、モデル性能を最適化するようチューニングされる。ハイパーパラメータをチューニングすることは、（ｉ）ハイパーパラメータの現在値に基づいて構成されたモデルをトレーニングすることと、（ｉｉ）関数を用いてモデルの性能を評価することと、（ｉｉｉ）モデルがメトリックについて最適化されるかどうかを判断することと、（ｉｖ）モデルが最適化されていないことに応答して、ハイパーパラメータの新たな値を探索し、モデルを新たな値で再構成し、再構成されたモデルを使用してステップ（ｉ）～（ｉｉｉ）を繰り返すことと、（ｖ）モデルがメトリックについて最適化されることに応答して、トレーニングされたモデルを提供することとを含む。

Description

関連出願への相互参照
本出願は、（１）２０２０年３月３０日に提出された米国仮出願第６３／００２，１５９号、（２）２０２０年１１月３０日に提出された米国仮出願第６３／１１９，５７７号、（３）２０２１年３月２９日に提出された米国非仮出願第１７／２１６，４９６号、および（４）２０２１年３月２９日に提出された米国非仮出願第１７／２１６，４９８号に対する優先権の利益を主張する。上記で参照した出願は、あらゆる目的のためにその全体が参照によりここに組み込まれる。

発明の分野
本開示は、概してチャットボットシステムに関し、より詳細には、チャットボットシステムで使用される機械学習モデルのハイパーパラメータをチューニングする技術に関する。

背景
世界中の多くのユーザは、即時反応を得るためにインスタントメッセージングまたはチャットプラットフォーム上にいる。組織は、しばしば、これらのインスタントメッセージングまたはチャットプラットフォームを用いて、顧客（またはエンドユーザ）とライブ会話に携わる。しかしながら、顧客またはエンドユーザとのライブ通信に携わるためにサービス人員を雇用することは、組織にとって非常に費用がかかり得る。チャットボットまたはボットは、特にインターネット上で、エンドユーザとの会話をシミュレートするために開発され始めた。エンドユーザは、エンドユーザが既にインストールし使用しているメッセージングアプリを介してボットと通信することができる。一般に人工知能（ＡＩ）によって駆動されるインテリジェントなボットは、ライブ会話において、より知的にかつ文脈に沿って通信することができ、したがって、改善された会話体験のために、ボットとエンドユーザとの間の、より自然な会話を可能にすることができる。ボットが応答の仕方を知っているキーワードまたはコマンドの固定セットをエンドユーザが学習する代わりに、インテリジェントなボットは、自然言語でのエンドユーザ発話に基づいてエンドユーザの意図を理解し、それに応じて応答することができる。

典型的には、個々のボットは、分類器としてトレーニングされ、クラスまたはカテゴリのセットから入力のクラスまたはカテゴリを予測または推論するモデルを採用する。機械学習モデルを作成する一方で、モデルのアーキテクチャを定義する、モデルのパラメータを決定しなければならない。そのようなパラメータは、モデルのハイパーパラメータと呼ばれる。ハイパーパラメータの理想的な設定、すなわちモデルの各ハイパーパラメータに割り当てられるべき値を決定するプロセスは、ハイパーパラメータチューニングと呼ばれる。

標準的なハイパーパラメータチューニングアルゴリズムは、単一の目標（例えば、モデル正解率）が考慮中の状態で、ハイパーパラメータのチューニング動作を実行する。この目標を達成するために、ハイパーパラメータチューニングアルゴリズムは、単一の目標を最適化する最良のハイパーパラメータ設定を探索する。したがって、モデルは、単一の目標を最適化するように調整される。異なる目標に対しては、異なるモデルをトレーニングしなければならず、それらの各々は、対応する目標を最適化するように調整される。

ここに記載される実施形態は、これらおよび他の問題を個々におよび集合的に対処する。

概要
チャットボットシステムで使用される機械学習モデルのハイパーパラメータをチューニングするための技術（たとえば、方法、システム、１つ以上のプロセッサによって実行可能なコードまたは命令を記憶する非一時的コンピュータ可読媒体）が提供される。ここでは、方法、システム、１つ以上のプロセッサによって実行可能なプログラム、コード、または命令を記憶する非一時的コンピュータ可読記憶媒体などを含む様々な実施形態について説明する。

本開示の一局面によって、チャットボットシステムで使用される機械学習モデルのハイパーパラメータのセットをチューニングするための方法が提供される。本方法は、機械学習モデルをトレーニングするための１つ以上のデータセットを取得し、１つ以上のデータセットに対する機械学習モデルの性能を評価するための複数のメトリック（または目標）を選択する。第１の重みが、複数のメトリックの各メトリックに割り当てられる。第１の重みは、機械学習モデルの性能に対する各メトリックの重要度を指定する。複数のメトリックおよび複数のメトリックの各々に割り当てられた第１の重みに基づいて機械学習モデルの性能を測定するコスト関数または損失関数が作成される。機械学習モデルに関連付けられるハイパーパラメータのセットが、複数のメトリックについて機械学習モデルを最適化するためにチューニングされる。ハイパーパラメータのセットをチューニングするプロセスは、（ｉ）１つ以上のデータセット上で、ハイパーパラメータのセットの現在の値のセットに基づいて構成される機械学習モデルをトレーニングすることと、（ｉｉ）コスト関数または損失関数を使用して、１つ以上のデータセットに対する機械学習モデルの性能を評価することと、（ｉｉｉ）評価に基づいて、機械学習モデルが複数のメトリックについて最適化されるかどうかを判断することと、（ｉｖ）機械学習モデルが複数のメトリックについて最適化されていないことに応答して、チューニングプロセスは、ハイパーパラメータのセットに対する新たな値のセットを探索し、新たな値のセットで機械学習モデルを再構成し、再構成された機械学習モデルを使用してステップ（ｉ）～（ｉｉｉ）を繰り返すことと、（ｖ）機械学習モデルが複数のメトリックについて最適化されることに応答して、機械学習モデルを、トレーニングされた機械学習モデルとして提供することとを含む。

本開示の一局面によって、１つ以上のデータプロセッサと、命令を含む非一時的なコンピュータ可読記憶媒体とを備えるシステムが提供される。命令は、実行されると、１つ以上のデータプロセッサに、ここで説明する１つ以上の方法の一部またはすべてを実行させる。

本開示の別の局面によって、ここで説明する１つ以上の方法のすべてまたは一部を１つ以上のデータプロセッサに実行させるよう構成される命令を含む、非一時的機械可読記憶媒体において有形に具現化されるコンピュータプログラム製品が提供される。

前述は、他の特徴および実施形態とともに、以下の明細書、請求項、および添付の図面を参照すると、より明白となるであろう。

例示的な実施形態を組み込んだ分散環境の簡略ブロック図である。 様々な実施形態によるハイパーパラメータの例示的なタイプを示す図である。 様々な実施形態による例示的なタイプのメトリックを示す図である。 様々な実施形態によるハイパーパラメータチューニングシステムを示す図である。 様々な実施形態による、メトリックに関連付けられる例示的な仕様セットを示す図である。 様々な実施形態によるハイパーパラメータチューニングシステムによって実行されるトレーニングプロセスを示すフローチャートである。 様々な実施形態によるハイパーパラメータチューニングシステムによって実行される検証プロセスを示すフローチャートである。 様々な実施形態を実現するための分散システムの簡略図を示す。 様々な実施形態による、実施形態のシステムの１つ以上のコンポーネントによって提供されるサービスがクラウドサービスとして提供され得る、システム環境の１つ以上のコンポーネントの簡略ブロック図である。 様々な実施形態を実現するために用いられ得る例示的なコンピュータシステムを示す。

詳細な説明
以下の説明では、説明の目的のために、特定の詳細が、特定の発明の実施形態の完全な理解を促すために記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施されてもよいことは明らかであろう。図および記載は、限定することを意図したものではない。「例示的」という文言は、ここでは、「例、事例、または例示として供される」ことを意味するために用いられる。「例示的」としてここに記載される任意の実施形態または設計は、必ずしも、他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。

序
デジタルアシスタントは、ユーザが自然言語会話において様々なタスクを達成するのを助ける人工知能駆動型インターフェイスである。各デジタルアシスタントについて、顧客は、１つ以上のスキルをアセンブルすることができる。スキル（ここでは、チャットボット、ボット、またはスキルボットとしても記載される）は、在庫の追跡、タイムカードの提出、および経費報告の作成など、特定の種類のタスクに焦点を当てる個々のボットである。エンドユーザがデジタルアシスタントに携わると、デジタルアシスタントは、エンドユーザ入力を評価し、適切なチャットボットに会話をルーティングし、適切なチャットから会話をルーティングする。デジタルアシスタントは、FACEBOOK（登録商標）メッセンジャー、SKYPE MOBILE（登録商標）メッセンジャー、またはショートメッセージサービス（ＳＭＳ）などの様々なチャネルを介してエンドユーザに利用可能にすることができる。チャネルは、様々なメッセージングプラットフォーム上でエンドユーザからデジタルアシスタントおよびその様々なチャットボットへチャットを行き来させる。チャネルはまた、ユーザエージェント漸増、イベント起動型会話、およびテストをサポートしてもよい。

インテントにより、チャットボットは、ユーザがチャットボットに何をして欲しいかを理解することができる。インテントは、発話（例えば、口座残高を入手する、購入を行うなど）とも称される、典型的なユーザ要求およびステートメントの順列から構成される。ここで用いられる場合、発話またはメッセージは、チャットボットとの会話の間に交換される単語のセット（たとえば、１つ以上の文）を指し得る。インテントは、何らかのユーザアクション（例えば、ピザを注文する）を示す名前を提供し、そのアクションをトリガすることに一般に関連付けられる実生活ユーザステートメントまたは発話のセットをコンパイルすることによって、作成されてもよい。チャットボットの認知は、これらのインテントから導き出されるので、各インテントは、ロバストな（１から二十数個の発話）であるデータセットから作成され、チャットボットがあいまいなユーザ入力を解釈できるように、変動してもよい。豊富な発話のセットは、チャットボットが、「この注文は無視して」または「配達は取りやめて！」のような、同じものを意味するが異なって表現されるメッセージを受信したときに、ユーザが何を望むかを理解することを可能にする。集合的に、インテントおよびそれらに属する発話は、チャット用のトレーニングコーパスを構成する。コーパスを用いて機械学習モデルをトレーニングすることによって、顧客は、その機械学習モデル（以下、単に「モデル」と称される）を、本質的に、エンドユーザ入力を単一のインテントに解決するための参照ツールに変換することができる。顧客は、インテントテストおよびインテントトレーニングの循環を通じてチャットの認知の鋭敏さを改善することができる。

しかしながら、ユーザ発話に基づいてエンドユーザのインテントを判断することができるチャットボットを構築することは、部分的には、自然言語の微妙さおよび曖昧さ、ならびに入力空間の次元（例えば、可能性のあるユーザ発話）および出力空間のサイズ（インテントの数）のため、困難なタスクである。したがって、チャットボットの性能およびチャットボットによるユーザ体験を改善するために、チャットボットを設計、トレーニング、監視、デバッグ、および再トレーニングする必要がある場合がある。従来のシステムでは、モデルアーキテクチャを設計および改善し、口語理解（ＳＬＵ）および自然言語処理（ＮＬＰ）におけるデジタルアシスタントまたはチャットボットのモデルをトレーニングおよび再トレーニングするために、設計およびトレーニングシステムが提供される。

いくつかの例では、モデルは、分類器としてトレーニングされ、所与の入力（例えば、発話）に対して、ターゲットクラスまたはカテゴリのセットから、その入力に対するクラスまたはカテゴリを予測または推論するよう構成される。そのような分類器は、典型的には、ターゲットクラスのセットに対する確率の分布を生成するようにトレーニングされ、確率は、分類器によって、セット内の各ターゲットクラスに対して生成され、生成された確率は、合計で１（または、パーセンテージとして表される場合、１００％）である。ニューラルネットワークなどの分類器では、ニューラルネットワークの出力層は、クラスのセットについて確率スコアの分布を生成するために、softmax関数をその活性化関数として使用してもよい。これらの確率は、信頼度スコアとも呼ばれる。最も高い関連付けられる信頼度スコアを伴うクラスは、入力に対する回答として出力されてもよい。

モデルのトレーニングは、トレーニングデータ（ラベル付きデータと呼ばれることもある）を使用して実行され、入力およびそれらの入力に関連付けられるラベル（グラウンドトゥルース）は既知である。例えば、トレーニングデータは、入力ｘ（ｉ）と、各入力ｘ（ｉ）について、その入力についてのターゲット値または正解（グラウンドトゥルースとも呼ばれる）ｙ（ｉ）とを含んでもよい。（ｘ（ｉ），ｙ（ｉ））のペアはトレーニングサンプルと呼ばれ、トレーニングデータは多くのそのようなトレーニングサンプルを含んでもよい。例えば、チャットボットのためにモデルをトレーニングするために使用されるトレーニングデータは、発話のセットと、そのセット内の各発話について、その発話についての既知の（グラウンドトゥルース）クラスとを含んでもよい。トレーニングデータにおけるすべての入力ｘ（ｉ）の空間をＸで表し、すべての対応するターゲットｙ（ｉ）の空間をＹで表してもよい。ニューラルネットワークをトレーニングする目標は、ｈ（ｘ）がｙの対応する値の良好な予測子となるようにトレーニング入力空間Ｘをターゲット値空間Ｙにマッピングする仮説関数「ｈ（）」を学習することである。いくつかの実現例では、仮説関数を導出することの一部として、入力に対するグラウンドトゥルース値とモデルによってその入力に対して予測される値との間の差を測定するコスト関数または損失関数が定義される。このコスト関数または損失関数は、トレーニングの一部として最小化される。ニューラルネットワークによって提供される出力に関連付けられる損失関数を最小限に抑えるよう目標を伴うニューラルネットワークにおいてパーセプトロンへの入力に関連付けられる重みを反復的に変更／操作する、ニューラルネットワークとともに使用される逆伝搬トレーニング技術などのトレーニング技術が使用されてもよい。

前述のように、標準的なハイパーパラメータチューニングアルゴリズムは、単一の目標（例えば、モデル正解率）が考慮中の状態で、ハイパーパラメータのチューニング動作を実行する。そのような標準的なハイパーパラメータチューニングアルゴリズムの欠点は、最適化プロセスを実行する間に他の重要な目標（例えば、回帰誤差）を無視することである。さらに、標準的なハイパーパラメータチューニング機構は、機械学習モデルをトレーニング／評価するために単一のデータセットのみを考慮する。いくつかのハイパーパラメータチューニングアルゴリズムは、モデルを評価しながら複数のデータセットを考慮するが、データセットの各々は、機械学習モデルのトレーニングにおいて同じレベルの重要度を有するよう考慮される。

したがって、これらの問題に対処するために異なるアプローチが必要とされる。本開示は、複数のメトリックを同時に考慮しながら機能を最適化する、すなわち、多目的最適化を実行する、ハイパーパラメータチューニングシステムおよび技術を提供する。メトリックの各々には、機械学習モデルの性能に対するメトリックの重要度のレベルを示す重みが割り当てられる。ハイパーパラメータチューニングシステムおよび技術はまた、様々な重要度レベルの異なるデータセットを考慮しながら、ハイパーパラメータのチューニングを提供する。具体的には、各データセットに重みが割り当てられ、機械学習モデルのトレーニングにおけるデータセットの重要度を指定する。加えて、ハイパーパラメータチューニングシステムおよび技術は、トレーニングされている機械学習モデルに対する１つ以上の制約を可能にする。トレーニングインフラストラクチャ（ここではハイパーパラメータチューニングシステムとも呼ばれる）は、トレーニングされたモデルがそのモデルに対して指定された制約に準拠し、それを満たすように、モデルをトレーニングするためにハイパーパラメータを自動的に識別し、設定し、チューニングするために、様々な自動化された技術を使用する。このようにして、本開示のハイパーパラメータチューニングシステムは、異なるデータセットおよび異なるメトリックにわたって機能する単一の機械学習モデルを提供する。

ボットシステム
ボット（スキル、チャットボット、チャターボット、またはトークボットとも称される）は、エンドユーザとの会話を実行することができるコンピュータプログラムである。ボットは一般に、自然言語メッセージを用いるメッセージングアプリケーションを通じて自然言語メッセージ（例えば質問またはコメント）に応答することができる。企業は、１つ以上のボットシステムを用いて、メッセージングアプリケーションを通じてエンドユーザと通信し得る。メッセージングアプリケーションは、チャネルと呼ばれることもあり、エンドユーザが既にインストールし、慣れ親しんでいる、エンドユーザの好みのメッセージングアプリケーションであってもよい。したがって、エンドユーザは、ボットシステムとチャットするために新たなアプリケーションをダウンロードおよびインストールする必要がない。メッセージングアプリケーションは、例えば、オーバーザトップ（ＯＴＴ）メッセージングチャネル（例えば、Facebook Messenger, Facebook WhatsApp, WeChat, Line, Kik, Telegram, Talk, Skype, Slack,またはSMS）、バーチャルプライベートアシスタント（例えば、Amazon Dot, Echo,またはShow, Google（登録商標） Home, Apple HomePodなど）、チャット機能を有するネイティブもしくはハイブリッド／応答モバイルアプリもしくはウェブアプリケーションを拡張するモバイルおよびウェブアプリ拡張、または音声ベースの入力（例えば、Siri, Cortana, Google Voice、または対話のための他の音声入力を用いるインターフェイスを有するデバイスもしくはアプリ）を含むことができる。

図１は、特定の実施形態によるチャットボットシステムを組み込んだ環境１００の簡略ブロック図である。環境１００は、デジタルアシスタントビルダプラットフォーム（ＤＡＢＰ）１０２を含み、ＤＡＢＰ１０２のユーザがデジタルアシスタントまたはチャットボットシステムを作成および展開することを可能にする。ＤＡＢＰ１０２は、１つ以上のデジタルアシスタント（またはＤＡ）またはチャットボットシステムを作成するために使用することができる。例えば、図１に示すように、特定の企業を表すユーザ１０４は、ＤＡＢＰ１０２を使用して、特定の企業のユーザ用のデジタルアシスタント１０６を作成および展開することができる。例えば、銀行が、ＤＡＢＰ１０２を使用して、銀行の顧客による使用のために１つ以上のデジタルアシスタントを作成することができる。複数の企業が、同じＤＡＢＰ１０２プラットフォームを使用して、デジタルアシスタントを作成することができる。別の例として、レストラン（例えば、ピザショップ）の所有者は、ＤＡＢＰ１０２を用いて、レストランの顧客が食べ物を注文すること（例えば、ピザを注文すること）を可能にするデジタルアシスタントを作成および展開することができる。

図１は、特定の実施形態によるチャットボットシステムを組み込んだ環境１００の簡略ブロック図である。環境１００は、デジタルアシスタントビルダプラットフォーム（ＤＡＢＰ）１０２を含み、ＤＡＢＰ１０２のユーザがデジタルアシスタントまたはチャットボットシステムを作成および展開することを可能にする。ＤＡＢＰ１０２は、１つ以上のデジタルアシスタント（またはＤＡ）またはチャットボットシステムを作成するために使用することができる。例えば、図１に示すように、特定の企業を表すユーザ１０４は、ＤＡＢＰ１０２を使用して、特定の企業のユーザ用のデジタルアシスタント１０６を作成および展開することができる。例えば、銀行が、ＤＡＢＰ１０２を使用して、銀行の顧客による使用のために１つ以上のデジタルアシスタントを作成することができる。複数の企業が、同じＤＡＢＰ１０２プラットフォームを使用して、デジタルアシスタントを作成することができる。別の例として、レストラン（例えば、ピザショップ）の所有者は、ＤＡＢＰ１０２を用いて、レストランの顧客が食べ物を注文すること（例えば、ピザを注文すること）を可能にするデジタルアシスタントを作成および展開することができる。

ＤＡＢＰ１０２を使用して構築されるデジタルアシスタント１０６等のデジタルアシスタントは、デジタルアシスタントとそのユーザ１０８との間の自然言語ベースの会話を介して、種々のタスクを行うために使用されることができる。会話の一部として、ユーザは、１つ以上のユーザ入力１１０をデジタルアシスタント１０６に提供し、デジタルアシスタント１０６から応答１１２を得てもよい。会話は、入力１１０および応答１１２のうちの１つ以上を含むことができる。これらの会話を介して、ユーザは、１つ以上のタスクがデジタルアシスタント１０６によって実行されるよう要求することができ、それに応答して、デジタルアシスタント１０６は、ユーザ要求タスクを実行し、ユーザに適切な応答で応答するよう構成される。

ユーザ入力１１０は、概して自然言語形式であり、発話と呼ばれる。ユーザ発話１１０は、ユーザが文、質問、テキスト片、または単一の単語でさえタイプし、テキストを入力としてデジタルアシスタント１０６に提供するときなどの、テキスト形式であり得る。いくつかの実施形態では、ユーザ発話１１０は、ユーザがデジタルアシスタント１０６に入力として提供される何かを言うかまたは話すときなどの、音声入力または発話形式であり得る。発話は、典型的には、ユーザ１０８によって話される言語である。たとえば、発話は、英語または何らかの他の言語であってもよい。発話が音声形式である場合、音声入力はその特定の言語のテキスト形式の発話に変換され、次いで、テキスト発話はデジタルアシスタント１０６によって処理される。様々な音声－テキスト処理技術を用いて、音声または聴覚的入力をテキスト発話に変換してもよく、テキスト発話は、その後、デジタルアシスタント１０６によって処理される。いくつかの実施形態では、音声からテキストへの変換は、デジタルアシスタント１０６自体によって行われてもよい。

テキスト発話または音声発話であってもよい発話は、断章、文、複数の文、１つ以上の単語、１つ以上の質問、前述のタイプの組合せなどであってもよい。デジタルアシスタント１０６は、ユーザ入力の意味を理解するために発話に自然言語理解（ＮＬＵ）技術を適用するよう構成される。発話に対するＮＬＵ処理の一部として、デジタルアシスタント１０６は、発話の意味を理解するための処理を実行するように構成され、これは、発話に対応する１つ以上のインテントおよび１つ以上のエンティティを識別することを伴う。発話の意味を理解すると、デジタルアシスタント１０６は、理解された意味またはインテントに応答して１つ以上のアクションまたは動作を実行することができる。本開示の目的のために、発話は、デジタルアシスタント１０６のユーザ１０８によって直接提供されるテキスト発話であるか、または入力音声発話のテキスト形式への変換の結果であると仮定する。しかしながら、これは、いかなる態様においても限定的または制限的であることを意図するものではない。

例えば、ユーザ入力１０８は、「私はピザを注文したい」等の発話を提供することによって、ピザが注文されることを要求してもよい。そのような発話を受信すると、デジタルアシスタント１０６は、発話の意味を理解し、適切なアクションを取るよう構成される。適切なアクションは、例えば、ユーザが注文したいピザのタイプ、ピザのサイズ、ピザの任意のトッピングなどに関する、ユーザ入力を要求する質問で、ユーザに応答することを含んでもよい。デジタルアシスタント１０６によって提供される応答はまた、自然言語形式であってもよく、典型的には入力発話と同じ言語であってもよい。これらの応答を生成することの一部として、デジタルアシスタント１０６は、自然言語生成（ＮＬＧ）を実行してもよい。ユーザがピザを注文するために、ユーザとデジタルアシスタント１０６との間の会話を介して、デジタルアシスタントは、ピザを注文するためのすべての必要な情報を提供するようにユーザを誘導してもよく、次いで、会話の終わりに、ピザを注文させてもよい。デジタルアシスタント１０６は、ピザが注文されたことを示す情報をユーザに出力することによって、会話を終了してもよい。

概念レベルでは、デジタルアシスタント１０６は、ユーザから受信された発話に応答して、種々の処理を実行する。いくつかの実施形態では、この処理は、例えば、（ＮＬＵを用いて）入力発話の意味を理解すること、発話に応答して実行されるべきアクションを決定すること、適切な場合にはアクションが実行されることを引き起こすこと、ユーザ発話に応答してユーザに出力されるべき応答を生成すること、応答をユーザに出力することなどを含む、一連の処理ステップまたは処理ステップのパイプラインを伴う。ＮＬＵ処理は、受信した入力発話を構文解析して発話の構造および意味を理解することと、発話を精緻化および再構成して、発話について、よりよく理解可能な形式（例えば、論理形式）または構造を展開することとを含むことができる。応答を生成することは、自然言語生成（ＮＬＧ技術）を使用することを含んでもよい。したがって、デジタルアシスタントによって実行される自然言語処理（ＮＬＰ）は、ＮＬＵおよびＮＬＧ処理の組み合わせを含み得る。デジタルアシスタント１０６などのデジタルアシスタントによって実行されるＮＬＵ処理は、文解析（例えば、トークン化、並べ換え、文に対する品詞タグの識別、文における固有表現の識別、文構造を表すための依存関係ツリーの生成、文の節への分割、個々の節の分析、照応形の解決、チャンク化の実行など）などの様々なＮＬＵ関連処理を含み得る。ある実施形態では、ＮＬＵ処理またはその一部は、デジタルアシスタント１０６自体によって実行される。いくつかの他の実施形態では、デジタルアシスタント１０６は、他のリソースを用いて、ＮＬＵ処理の一部を実行することができる。例えば、入力発話文の構文および構造は、構文解析、品詞タグ付け、および／または固有表現認識を用いて文を処理することによって識別されてもよい。一実現例では、英語の場合、文構造および構文を解析するために、Stanford NLP Groupによって提供されるもののような、構文解析、品詞タグ付け、および固有表現認識が用いられる。これらは、Stanford CoreNLPツールキットの一部として提供される。

本開示で提供される様々な例は英語の発話を示すが、これは単なる例として意味される。特定の実施形態では、デジタルアシスタント１０６は、英語以外の言語で発話を処理することもできる。デジタルアシスタント１０６は、異なる言語に対する処理を実行するよう構成されるサブシステム（例えば、ＮＬＵ機能を実現するコンポーネント）を提供してもよい。これらのサブシステムは、ＮＬＵコアサーバからのサービスコールを用いて呼び出され得るプラグ可能ユニットとして実現されてもよい。これは、ＮＬＵ処理を、異なる順序の処理を可能にすることを含めて、各言語に対して柔軟かつ拡張可能にする。言語パックは、個々の言語に対して提供されてもよく、言語パックは、ＮＬＵコアサーバからサービス提供され得るサブシステムのリストを登録することができる。

図１に示されるデジタルアシスタント１０６等のデジタルアシスタントは、限定ではないが、あるアプリケーションを介して、ソーシャルメディアプラットフォームを介して、種々のメッセージングサービスおよびアプリケーション（たとえば、インスタントメッセージングアプリケーション）を介して、ならびに他のアプリケーションまたはチャネル等の種々の異なるチャネルを介して、そのユーザ１０８に利用可能またはアクセス可能にされることができる。単一のデジタルアシスタントは、それのためにいくつかのチャネルを構成することができるので、異なるサービス上で同時に実行され、異なるサービスによって同時にアクセスされることができる。

デジタルアシスタントまたはチャットボットシステムは、一般に、１つ以上のスキルを含むか、または１つ以上のスキルに関連付けられる。ある実施形態では、これらのスキルは、ユーザと対話し、在庫の追跡、タイムカードの提出、経費報告の作成、食品の注文、銀行口座の確認、予約の作成、ウィジェットの購入などの特定の種類のタスクを満たすように構成された個々のチャットボット（スキルボットと呼ばれる）である。例えば、図１に示される実施形態では、デジタルアシスタントまたはチャットボットシステム１０６は、スキル１１６－１、１１６－２等を含む。本開示の目的のために、「スキル」という語は、「スキルボット」という語と同義的に用いられる。

デジタルアシスタントに関連付けられる各スキルは、ユーザとの会話を通じて、デジタルアシスタントのユーザがタスクを完了するのを助け、会話は、ユーザによって提供されるテキストまたは聴覚的入力と、スキルボットによって提供される応答との組み合わせを含むことができる。これらの応答は、ユーザへのテキストメッセージもしくは聴覚メッセージの形態であってもよく、および／またはユーザが選択を行うようユーザに提示される単純なユーザインターフェイス要素（たとえば、選択リスト）を用いて与えられてもよい。

スキルまたはスキルボットをデジタルアシスタントに関連付けるかまたは追加することができる様々な方法がある。ある例では、スキルボットは企業によって開発され、次いでＤＡＢＰ１０２を用いて、たとえば、ＤＡＢＰ１０２によって与えられるユーザインターフェイスを介して、スキルボットをデジタルアシスタントに登録するために、デジタルアシスタントに追加され得る。他の例では、スキルボットは、ＤＡＢＰ１０２を用いて開発および作成され、次いで、ＤＡＢＰ１０２を用いて作成されたデジタルアシスタントに追加され得る。さらに他の例では、ＤＡＢＰ１０２は、広範囲のタスクに向けられた複数のスキルを提供するオンラインデジタルストア（「スキルストア」と呼ばれる）を提供する。スキルストアを通じて提供されるスキルも、様々なクラウドサービスを公開してもよい。ＤＡＢＰ１０２を使用して生成されるデジタルアシスタントにスキルを追加するために、ＤＡＢＰ１０２のユーザは、ＤＡＢＰ１０２を介してスキルストアにアクセスし、所望のスキルを選択し、選択されたスキルがＤＡＢＰ１０２を使用して作成されるデジタルアシスタントに追加されることを示すことができる。スキルストアからのスキルは、そのまま、または修正された形態で、デジタルアシスタントに追加することができる（例えば、ＤＡＢＰ１０２のユーザは、スキルストアによって提供される特定のスキルボットを選択してクローニングし、選択されたスキルボットをカスタマイズまたは修正し、次いで、修正されたスキルボットを、ＤＡＢＰ１０２を用いて作成されたデジタルアシスタントに追加してもよい）。

デジタルアシスタントまたはチャットボットシステムを実現するために、様々な異なるアーキテクチャが使用されてもよい。例えば、ある実施形態では、ＤＡＢＰ１０２を用いて作成および展開されるデジタルアシスタントは、マスタボット／子（もしくはサブ）ボットパラダイムまたはアーキテクチャを用いて実現されてもよい。このパラダイムによれば、デジタルアシスタントは、スキルボットである１つ以上の子ボットと対話するマスタボットとして実現される。例えば、図１に示す実施形態では、デジタルアシスタント１０６は、マスタボット１１４と、マスタボット１１４の子ボットであるスキルボット１１６－１、１１６－２などとを含む。特定の実施形態では、デジタルアシスタント１０６自体がマスタボットとして動作すると考えられる。

マスタ・子ボットアーキテクチャに従って実現されるデジタルアシスタントは、デジタルアシスタントのユーザが、統合されたユーザインターフェイスを介して、すなわちマスタボットを介して、複数のスキルと対話することを可能にする。ユーザがデジタルアシスタントに関与すると、ユーザ入力はマスタボットによって受信される。次いで、マスタボットは、ユーザ入力発話の意味を判定するための処理を実行する。次いで、マスタボットは、発話においてユーザによって要求されたタスクがマスタボット自体によって処理され得るかどうかを判定し、そうでなければ、マスタボットは、ユーザ要求を処理するために適切なスキルボットを選択し、会話を選択されたスキルボットにルーティングする。これにより、ユーザは共通の単一のインターフェイスを介してデジタルアシスタントと会話することができ、特定のタスクを実行するよう構成されるいくつかのスキルボットを使用する能力を依然として提供することができる。例えば、企業用に開発されたデジタルアシスタントの場合、デジタルアシスタントのマスタボットは、顧客関係管理（ＣＲＭ）に関連する機能を実行するためのＣＲＭボット、企業資源計画（ＥＲＰ）に関連する機能を実行するためのＥＲＰボット、人的資本管理（ＨＣＭ）に関連する機能を実行するためのＨＣＭボットなどの特定の機能を有するスキルボットとインターフェイスすることができる。このように、デジタルアシスタントのエンドユーザまたは消費者は、共通のマスタボットインターフェイスを介してデジタルアシスタントにアクセスする方法を知るだけでよく、背後には、複数のスキルボットがユーザ要求を処理するために提供される。

ある実施形態では、マスタボット／子ボットインフラストラクチャにおいて、マスタボットは、スキルボットの利用可能なリストを認識するよう構成される。マスタボットは、様々な利用可能なスキルボット、および各スキルボットについて、各スキルボットによって実行され得るタスクを含む各スキルボットの能力を識別するメタデータへのアクセスを有してもよい。ユーザ要求を発話の形態で受信すると、マスタボットは、複数の利用可能なスキルボットから、ユーザ要求に最も良く対応できるかもしくはユーザ要求をもっとも良く処理することができる特定のスキルボットを識別または予測するよう構成される。次いで、マスタボットは、その発話（またはその発話の一部分）を、さらなる処理のために、その特定のスキルボットにルーティングする。従って、制御はマスタボットからスキルボットに流れる。マスタボットは、複数の入力および出力チャネルをサポートすることができる。いくつかの実施形態では、ルーティングは、１つ以上の利用可能なスキルボットによって実行される処理の助けを借りて実行されてもよい。例えば、以下に論じられるように、スキルボットは、発話のインテントを推論し、推論されたインテントが、スキルボットが構成されるインテントに合致するかどうかを判定するように、トレーニングされることができる。したがって、マスタボットによって実行されるルーティングは、スキルボットが発話を処理するのに適したインテントとともに構成されているかどうかの指示を、スキルボットがマスタボットに通信することを含むことができる。

図１の実施形態は、マスタボット１１４ならびにスキルボット１１６－１、１１６－２、および１１６－３を備えるデジタルアシスタント１０６を示すが、これは限定を意図するものではない。デジタルアシスタントは、デジタルアシスタントの機能を提供する様々な他のコンポーネント（例えば、他のシステムおよびサブシステム）を含むことができる。これらのシステムおよびサブシステムは、ソフトウェア（例えば、コンピュータ可読媒体上に記憶され、１つ以上のプロセッサによって実行可能なコード、命令）のみ、ハードウェアのみ、またはソフトウェアとハードウェアとの組み合わせを用いる実現例において実現されてもよい。

ＤＡＢＰ１０２は、ＤＡＢＰ１０２のユーザが、デジタルアシスタントに関連付けられる１つ以上のスキルボットを含むデジタルアシスタントを作成することを可能にする、インフラストラクチャならびに種々のサービスおよび特徴を提供する。場合によっては、スキルボットは、既存のスキルボットをクローニングすることによって、例えば、スキルストアによって提供されるスキルボットをクローニングすることによって、作成することができる。前述のように、ＤＡＢＰ１０２は、様々なタスクを実行するための複数のスキルボットを提供するスキルストアまたはスキルカタログを提供し得る。ＤＡＢＰ１０２のユーザは、スキルストアからスキルボットをクローニングすることができる。必要に応じて、クローニングされたスキルボットに修正またはカスタマイズを行ってもよい。いくつかの他の事例では、ＤＡＢＰ１０２のユーザは、ＤＡＢＰ１０２によって提供されるツールおよびサービスを使用して、スキルボットをゼロから作成する。

特定の実施形態では、ある高次レベルにおいて、スキルボットを作成またはカスタマイズすることは、以下のステップを含む：
（１）新たなスキルボットに対する設定を設定する
（２）スキルボットに対して１つ以上のインテントを設定する
（３）１つ以上のインテントに対して１つ以上のエンティティを設定する
（４）スキルボットをトレーニングする
（５）スキルボットのためのダイアログフローを作成する
（６）必要に応じてカスタムコンポーネントをスキルボットに追加する
（７）スキルボットをテストおよび展開する。
以下、各工程について簡単に説明する。

（１）新たなスキルボットに対する設定を設定する－様々な設定がスキルボットのために設定されてもよい。例えば、スキルボット設計者は、作成されているスキルボットの１つ以上の呼出し名を指定することができる。これらの呼出し名は、スキルボットのための識別子として働き、次いで、スキルボットを明示的に呼び出すためにデジタルアシスタントのユーザによって使用されることができる。例えば、ユーザは、ユーザの発話に呼出し名を含ませて、対応するスキルボットを明示的に呼び出すことができる。

（２）スキルボットに対して１つ以上のインテントおよび関連付けられる例示的な発話を設定する－スキルボット設計者は、作成されているスキルボットに対して１つ以上のインテント（ボットインテントとも呼ばれる）を指定する。次いで、スキルボットは、これらの指定されたインテントに基づいてトレーニングされる。これらのインテントは、スキルボットが入力発話について推論するようにトレーニングされるカテゴリまたはクラスを表す。発話を受信すると、トレーニングされたスキルボットは、発話のインテントを推論し、推論されるインテントは、スキルボットをトレーニングするために使用されたインテントの事前定義されたセットから選択される。次いで、スキルボットは、発話に対して推論されたインテントに基づいて、その発話に応答する適切なアクションを取る。場合によっては、スキルボットのためのインテントは、スキルボットがデジタルアシスタントのユーザに対して実行することができるタスクを表す。各インテントには、インテント識別子またはインテント名が与えられる。例えば、銀行に対してトレーニングされたスキルボットの場合、そのスキルボットに対して指定されたインテントは、「CheckBalance（残高照会）」、「TransferMoney（送金）」、「DepositCheck（小切手を預け入れる）」などを含んでもよい。

スキルボットに対して定義される各インテントについて、スキルボット設計者はまた、そのインテントを代表し示す１つ以上の例示的な発話も提供してもよい。これらの例示的な発話は、ユーザがそのインテントのためにスキルボットに入力してもよい発話を表すよう意味される。例えば、残高照会のインテントについては、例示的な発話は、「What's my savings account balance?（私の普通預金口座の残高は？）」、「How much is in my checking account?（私の当座預金口座にはいくらありますか？）」、「How much money do I have in my account（私の口座にはいくらのお金がありますか？）」などを含んでもよい。したがって、典型的なユーザ発話の様々な順列が、インテントのための発話例として指定されてもよい。

インテントおよびそれらの関連付けられる例示的発話は、スキルボットをトレーニングするためのトレーニングデータとして使用される。様々な異なるトレーニング技術が使用されてもよい。このトレーニングの結果として、予測モデルが生成され、それは、発話を入力として取り込み、予測モデルによって発話について推論されたインテントを出力するよう構成される。いくつかの事例では、入力発話は、トレーニングされたモデルを使用して入力発話に対するインテントを予測または推測するよう構成される、インテント分析エンジン（例えば、スキルボットによって実行される、ルールベースまたは機械学習ベースまたは機械学習の分類器）に提供される。次いで、スキルボットは、推論されたインテントに基づいて１つ以上のアクションを取ってもよい。

（３）１つ以上のインテントに対して１つ以上のエンティティを設定する－いくつかの例では、スキルボットがユーザ発話に適切に応答することを可能にするために追加のコンテキストが必要とされてもよい。例えば、ユーザ入力発話が、スキルボットにおいて同じインテントに解決する状況があり得る。例えば、上記の例では、発話「What's my savings account balance?（私の普通預金口座の残高は？）」および「How much is in my checking account?（私の当座預金口座にはいくらありますか？）」は両方とも、同じ残高照会のインテントに解決しているが、これらの発話は、異なることを望む異なる要求である。そのような要求を明確にするために、１つ以上のエンティティがインテントに追加され得る。銀行業務スキルボットの例を用いると、「checking（当座）」および「saving（普通）」と呼ばれる値を定義するAccountType（口座種類）と呼ばれるエンティティは、スキルボットがユーザ要求を解析し、適切に応答することを可能にしてもよい。上記の例では、発話は同じインテントに解決するが、AccountTypeエンティティに関連付けられる値は、２つの発話について異なる。これにより、スキルボットは、２つの発話が同じインテントに解決するにもかかわらず、２つの発話に対して場合によっては異なるアクションを実行することができる。１つ以上のエンティティは、スキルボットに対して設定された特定のインテントのために指定され得る。したがって、エンティティは、コンテキストをインテント自体に追加するために用いられる。エンティティは、インテントをより充分に記述するのに役立ち、スキルボットがユーザ要求を完了できるようにする。

ある実施形態では、２つのタイプのエンティティ、すなわち、（ａ）ＤＡＢＰ１０２によって提供される組込みエンティティ、および（２）スキルボット設計者によって指定され得るカスタムエンティティがある。組込みエンティティは、多種多様なボットとともに用いることができる汎用エンティティである。組込みエンティティの例は、限定はしないが、時間、日付、アドレス、番号、電子メールアドレス、持続時間、循環期間、通貨、電話番号、ＵＲＬなどに関連するエンティティを含む。カスタムエンティティは、よりカスタマイズされた用途に用いられる。例えば、銀行業務スキルについては、AccountTypeエンティティは、スキルボット設計者によって、当座、普通およびクレジットカードなどのようなキーワードについてユーザ入力をチェックすることによって様々な銀行取引を可能にするよう定義されてもよい。

（４）スキルボットをトレーニングする－スキルボットは、ユーザ入力を発話の形態で受信し、受信した入力を解析またはその他の方法で処理し、受信したユーザ入力に関連するインテントを識別または選択するように構成される。上述のように、スキルボットは、このためにトレーニングされなければならない。ある実施形態では、スキルボットは、そのスキルボットに対して設定されたインテント、およびそのインテントに関連付けられる例示的な発話（集合的にトレーニングデータ）に基づいてトレーニングされ、それにより、スキルボットは、ユーザ入力発話を、スキルボットの設定されたインテントの１つに解決することができる。特定の実施形態では、スキルボットは、トレーニングデータを用いてトレーニングされ、ユーザが何を言っているか（または場合によっては、何を言おうとしているか）をスキルボットが識別することを可能にする予測モデルを使用する。ＤＡＢＰ１０２は、様々な機械学習ベースのトレーニング技術、ルールベースのトレーニング技術、および／またはそれらの組み合わせを含む、スキルボットをトレーニングするためにスキルボット設計者によって用いられ得る様々な異なるトレーニング技術を提供する。ある実施形態では、トレーニングデータの一部分（例えば８０％）は、スキルボットモデルをトレーニングするために用いられ、別の部分（例えば残りの２０％）は、モデルをテストまたは検証するために用いられる。トレーニングされると、トレーニングされたモデル（トレーニングされたスキルボットと呼ばれることもある）は、次いで、ユーザ発話を処理し、それに応答するよう使用されることができる。ある場合には、ユーザの発話は、単一の回答だけを必要とし、さらなる会話を必要としない質問であり得る。このような状況に対処するために、スキルボットに対してＱ＆Ａ（質疑応答）インテントを定義してもよい。Ｑ＆Ａインテントは、通常のインテントと同様に生成される。Ｑ＆Ａインテントについてのダイアログフローは、通常のインテントについてのダイアログフローとは異なり得る。例えば、通常のインテントとは異なり、Ｑ＆Ａインテントのためのダイアログフローは、ユーザから追加の情報（例えば、特定のエンティティのための値）を請うためのプロンプトを必要としなくてもよい。

（５）スキルボットのためにダイアログフローを作成する－スキルボットに対して指定されるダイアログフローは、受信されたユーザ入力に応答してスキルボットに対する異なるインテントが解決される際にスキルボットがどのように反応するかを記述する。ダイアログフローは、例えば、スキルボットがどのようにユーザ発話に応答するか、スキルボットがどのようにユーザに入力を促すか、およびスキルボットがどのようにデータを返すかといった、スキルボットがとる動作またはアクションを定義する。ダイアログフローは、スキルボットが辿るフローチャートのようなものである。スキルボット設計者は、マークダウン言語などの言語を用いてダイアログフローを指定する。ある実施形態では、ＯＢｏｔＭＬと呼ばれるＹＡＭＬのバージョンを用いて、スキルボットのためのダイアログフローを指定することができる。スキルボットのためのダイアログフロー定義は、スキルボット設計者に、スキルボットとスキルボットが対応するユーザとの間の対話のコレオグラフィを行わせる、会話自体のモデルとして働く。

ある実施形態では、スキルボットのダイアログフロー定義は、３つのセクションを含む：
（ａ）コンテキストセクション
（ｂ）デフォルト遷移セクション
（ｃ）状態セクション。

コンテキストセクション－スキルボット設計者は、コンテキストセクションにおいて、会話フローで用いられる変数を定義することができる。コンテキストセクションで指名され得る他の変数は、限定されないが、エラー処理のための変数、組込みエンティティまたはカスタムエンティティのための変数、スキルボットがユーザ選好を認識および持続することを可能にするユーザ変数などを含む。

デフォルト遷移セクション－スキルボットのための遷移は、ダイアログフロー状態セクションまたはデフォルト遷移セクションで定義することができる。デフォルト遷移セクションで定義される遷移は、フォールバックとして作用し、状態内に定義される適用可能な遷移がない場合または状態遷移をトリガするために必要な条件を満たせない場合にトリガされる。デフォルト遷移セクションは、スキルボットが予想外のユーザアクションをそつなく処理することを可能にするルーティングを定義するために用いられ得る。

状態セクション－ダイアログフローおよびその関連動作は、ダイアログフロー内の論理を管理する一連の一時的な状態として定義される。ダイアログフロー定義内の各状態ノードは、ダイアログのその点において必要とされる機能を提供するコンポーネントを指名する。このようにして、コンポーネントの周囲に状態を構築する。状態は、コンポーネント固有の特性を含み、コンポーネントが実行された後にトリガされる他の状態への遷移を定義する。

特別なケースのシナリオは、状態セクションを用いて取り扱うことができる。例えば、ユーザが取りかかっている第１のスキルを一時的に出て、デジタルアシスタント内で第２のスキルにおいて何かを行うというオプションを、ユーザに与えることが望ましい場合があるかもしれない。例えば、ユーザがショッピングスキルとの会話に関わっている（例えば、ユーザは、購入のために何らかの選択を行った）場合、ユーザは、銀行業務スキルにジャンプし（例えば、ユーザは、その購入に十分な金額を有することを確かめたい場合がある）、その後、ユーザの注文を完了するためにショッピングスキルに戻ることを望む場合がある。これに対処するために、第１のスキルのダイアログフロー定義における状態セクションは、同じデジタルアシスタントにおいて第２の異なるスキルとの対話を開始し、次いで元のダイアログフローに戻るように構成されることができる。

（６）カスタムコンポーネントをスキルボットに追加する－上述のように、スキルボットのためにダイアログフローにおいて指定される状態は、その状態に対応する必要な機能を提供するコンポーネントを指名する。コンポーネントは、スキルボットが機能を実行することを可能にする。ある実施形態では、ＤＡＢＰ１０２は、広範囲の機能を実行するための事前設定されたコンポーネントのセットを提供する。スキルボット設計者は、これらの事前設定されたコンポーネントのうちの１つ以上を選択し、それらをスキルボットのためのダイアログフロー内の状態と関連付けることができる。スキルボット設計者はまた、ＤＡＢＰ１０２によって提供されるツールを用いてカスタムまたは新たなコンポーネントを作成し、カスタムコンポーネントをスキルボットのためのダイアログフロー内の１つ以上の状態と関連付けることができる。

（７）スキルボットをテストおよび展開する－ＤＡＢＰ１０２は、スキルボット設計者が開発中のスキルボットをテストすることを可能にするいくつかの特徴を提供する。次いで、スキルボットは、デジタルアシスタントにおいて展開され、それに含めることができる。

上記の説明は、スキルボットをどのように作成するかについて説明しているが、同様の技術を用いて、デジタルアシスタント（またはマスタボット）を作成することもできる。マスタボットまたはデジタルアシスタントレベルでは、デジタルアシスタントのために組込みシステムインテントを設定することができる。これらの組込みシステムインテントは、デジタルアシスタント自体（すなわち、マスタボット）が、デジタルアシスタントに関連付けられるスキルボットを呼び出すことなく取り扱うことができる一般的なタスクを識別するために用いられる。マスタボットに対して定義されるシステムインテントの例は、以下を含む：（１）退出：ユーザがデジタルアシスタントにおいて現在の会話またはコンテキストを終了したい旨を知らせる場合に当てはまる；（２）ヘルプ：ユーザがヘルプまたは方向付けを求める場合に当てはまる；（３）未解決のインテント：退出インテントおよびヘルプインテントとうまく一致しないユーザ入力に当てはまる。デジタルアシスタントはまた、デジタルアシスタントに関連付けられる１つ以上のスキルボットに関する情報を記憶する。この情報は、マスタボットが、発話を処理するために、特定のスキルボットを選択することを可能にする。

マスタボットまたはデジタルアシスタントレベルでは、ユーザがデジタルアシスタントに句または発話を入力すると、デジタルアシスタントは、発話および関連する会話をどのようにルーティングするかを判断する処理を行うように構成される。デジタルアシスタントは、ルールベース、ＡＩベース、またはそれらの組み合わせとすることができるルーティングモデルを用いて、これを判断する。デジタルアシスタントは、ルーティングモデルを用いて、ユーザ入力発話に対応する会話が、処理のために特定のスキルにルーティングされるべきか、組込みシステムインテントに従ってデジタルアシスタントまたはマスタボット自体によって処理されるべきか、または現在の会話フローにおいて異なる状態として処理されるべきかを判断する。

特定の実施形態では、この処理の一部として、デジタルアシスタントは、ユーザ入力発話が、スキルボットを、その呼出し名を用いて明示的に識別するかどうかを判断する。呼出し名がユーザ入力に存在する場合、それは、呼出し名に対応するスキルボットの明示的な呼出しとして扱われる。そのようなシナリオでは、デジタルアシスタントは、ユーザ入力を、さらなる処理のために、明示的に呼び出されたスキルボットにルーティングすることができる。特定の、または明示的な呼出しがない場合、ある実施形態では、デジタルアシスタントは、受信されたユーザ入力発話を評価し、デジタルアシスタントに関連付けられるシステムインテントおよびスキルボットについて信頼度スコアを計算する。スキルボットまたはシステムインテントについて計算されるスコアは、ユーザ入力が、スキルボットが実行するように構成されるタスクを表すかまたはシステムインテントを表す可能性を表す。関連付けられる計算された信頼度スコアが閾値（例えば、Confidence Threshold（信頼度閾値）ルーティングパラメータ）を超えるシステムインテントまたはスキルボットは、さらなる評価の候補として選択される。次いで、デジタルアシスタントは、識別された候補から、ユーザ入力発話のさらなる処理のために、特定のシステムインテントまたはスキルボットを選択する。特定の実施形態では、１つ以上のスキルボットが候補として識別された後、それらの候補スキルに関連付けられるインテントが（各スキルに対するトレーニングされたモデルを用いて）評価され、信頼度スコアが各インテントについて判断される。一般に、閾値（例えば７０％）を超える信頼度スコアを有するインテントは、候補インテントとして扱われる。特定のスキルボットが選択された場合、ユーザ発話は、さらなる処理のために、そのスキルボットにルーティングされる。システムインテントが選択された場合、選択されたシステムインテントに従って、マスタボット自体によって、１つ以上のアクションが実行される。

制約およびターゲットベースのハイパーパラメータチューニング
前述のように、チャットボットは、様々な機能を実行するために１つ以上の機械学習モデルを使用してもよい。例えば、チャットボットは、発話を入力として取り、各発話のインテントを推論または予測するよう構成される、機械学習モデルを使用してもよい。モデルによって発話について推論されるインテントは、次いで、その発話にどのように応答するかを決定するために、チャットボットによって使用されてもよい。チャットボットにおける機械学習モデル（モデルとも呼ばれる）の実現は、通常、２つの段階、すなわち、（１）トレーニングデータを１つ以上のアルゴリズム上で実行して、トレーニングされたモデルを作成するトレーニング段階、および（２）トレーニングされたモデルを使用して、新たなデータに基づいて予測を行う推論段階、で行われる。トレーニングインフラストラクチャは、概して、モデルをトレーニングするようトレーニング段階を実現するために提供される。トレーニングインフラストラクチャは、トレーニングを実行するために使用されるツールもしくはアプリケーション、またはソフトウェアによって提供されてもよい。トレーニングインフラストラクチャは、トレーニングデータを１つ以上のアルゴリズム上で実行して、アルゴリズムをトレーニングまたは学習させ、モデルを作成するよう構成される。トレーニングインフラストラクチャは、概して、このトレーニングプロセスを管理するハイパーパラメータを提供する。これらのハイパーパラメータに対する値のセットは、アルゴリズムのためのネットワーク構造（例えば、入力層の数、隠れ層の数、活性化関数など）およびアルゴリズムがどのようにトレーニングされるか（例えば、学習率、エポック数等）を決定する。

図２は、様々な実施形態によるハイパーパラメータの例示的なタイプを示す図である。ハイパーパラメータは、モデル内の層の数、モデルをトレーニングするために使用される学習アルゴリズムのタイプ、学習率、トレーニングエポックの数、各層内の隠れユニットの数、および幅、すなわち各隠れ層内のユニットの数を含んでもよい。典型的には、トレーニングインフラストラクチャを使用しているユーザは、ハイパーパラメータの値を手動で設定する。しかしながら、これは、トレーニングプロセスの非常に深い知識を必要とする非常に困難なタスクであり得る。図４を参照して次に説明するように、様々な実施形態によるハイパーパラメータチューニングシステムが提供され、これは、自動化された方法で、多目的最適化を実行する、すなわち、複数のメトリックの関数（例えば、損失関数）を最適化するよう構成される。図３に示されるように、メトリックは、安定性メトリック、回帰誤差メトリック、信頼度スコアメトリック、モデルサイズメトリック、トレーニング時間もしくは実行時間メトリック、正解率メトリック、またはそれらの任意の組合せを含んでもよい。

安定性メトリックは、トレーニングプロセスが安定していること、すなわち、トレーニングデータにわずかな変更が行われたとき（例えば、１つのトレーニング例が追加または除去されたとき）に、モデルによって行われる予測が根本的に変化しないことを保証する。回帰誤差メトリックは、モデルの回帰の数を最小限にし、すなわち、回帰誤差は、あるモデルがある入力を誤って分類することに対応するが、そのモデルの以前のバージョンはその入力を正しく分類した。信頼度スコアメトリックは、モデルが特定の例を高い信頼度で予測することを確実にする（すなわち、モデルは正しい予測を行うだけでなく、それを高い信頼度で行う）。モデルサイズメトリックは、ユーザ定義閾値、例えば、１００メガバイト内にあるべき、トレーニングされたモデルのサイズに対応し、トレーニング時間メトリックは、モデルをトレーニングする際に利用される時間量に対応する。正解率メトリックは、トレーニングされたモデルが、あるユーザ定義の正解率レベル、例えば、ある検証データセットに対する９５％正解率を達成することを確実にする。言い換えれば、機械学習モデルが特定のトレーニングデータセット上でトレーニングされるとき、特定の検証データセットに対して特定のターゲット正解率が達成される。トレーニングおよび検証データセットは、チャットボットのユースケースの全範囲にわたるように、すなわち、サイズがアプリケーションの範囲にわたって非常に小さいデータセットから非常に大きいデータセットまで及ぶデータセットが選択され得ることが理解される。

本開示のハイパーパラメータチューニングシステムは、複数のデータセット（例えば、トレーニングデータセット）に関して機械学習モデルをトレーニングし、複数のメトリックに関して機械学習モデルの性能を評価するよう構成される。いくつかの実施形態によれば、機械学習モデルをトレーニングする際に使用されるデータセットの各々には、機械学習モデルをトレーニングする際にデータセットの重要度を示す重みが割り当てられる。言い換えれば、データセットに割り当てられる重みは、データセットが機械学習モデルのトレーニングに及ぼす影響のレベルに対応する。

さらに、ハイパーパラメータチューニングシステムは、多目的最適化において利用される各メトリックに重みを割り当てるよう構成される。具体的には、メトリックに割り当てられる重みは、機械学習モデルの性能に対するメトリックの重要度を示す。以下で詳細に説明するように、メトリックおよび異なるデータセットへの重みの割り当ては、ハイパーパラメータチューニングシステムを管理する１つ以上のポリシーに従って実行される。

さらに、ハイパーパラメータチューニングシステムは、機械学習モデルをトレーニングする際に１つ以上の制約を指定することを可能にする。制約は、機械学習モデルに課される要件、すなわち、トレーニングされたモデルにおいてユーザが達成することを所望する品質または特性であってもよい。制約は、トレーニングプロセス自体に関連してもよい。制約は、モデルのトレーニングを開始する前に指定されてもよい。したがって、所与の制約のセットに対して、トレーニングインフラストラクチャは、トレーニングされた機械学習モデルが制約のセットに準拠し、それを満たすように、機械学習モデルをトレーニングするために、自動的にハイパーパラメータを識別し、ハイパーパラメータの値を設定し、ハイパーパラメータ値をチューニングするために、様々な自動化技術を使用する。

いくつかの実施形態では、ハイパーパラメータチューニングシステムは、広範囲の検証／テストデータセット上で機械学習モデルを検証することを提供する。ハイパーパラメータチューニングシステムは、特定のターゲット値を、機械学習モデルの性能を評価するために使用される１つ以上のメトリックに関連付ける。ハイパーパラメータ目的関数（例えば損失関数）が、複数のメトリックのターゲット値に基づいて構築される。加えて、図４を参照して以下で詳細に説明されるように、ハイパーパラメータチューニングシステムは、機械学習モデルを検証する際に異なるメトリックに重みを割り当てるために、非対称損失機構（すなわち、ターゲットを満たさない場合は、ターゲットを満たしたことまたは上回ることに報酬を与える場合に比べて、ペナルティが大きい）を採用する。

図４を参照すると、様々な実施形態によるハイパーパラメータチューニングシステムが示される。ハイパーパラメータチューニングシステム４００は、データセット重み割当ユニット４１０と、メトリック選択および重み割当ユニット４２０と、制約確立ユニット４３０と、ハイパーパラメータチューナ４５０とを含む。ハイパーパラメータチューナ４５０は、オプティマイザ４５１（ここではチューニングユニットとも呼ばれる）と、ハイパーパラメータのセット４５５とを含む。

ハイパーパラメータチューニングシステム４００は、機械学習モデル（例えば、チャットボットに関連付けられるモデル）を複数のデータセット（すなわち、トレーニングデータセット）に関してトレーニングし、複数のメトリックに基づいて機械学習モデルの性能を評価するよう構成される。データセット重み割当ユニット４１０は、１つ以上のデータセット、たとえば、データセット１ ４０５Ａ、データセット２ ４０５Ｂ、およびデータセットＫ ４０５Ｃを取得し、いくつかのポリシー４１５に従って各データセットに重みを割り当てる。データセットに割り当てられる重みは、機械学習モデルのトレーニングにおけるデータセットの重要度に対応する。異なる重みを異なるデータセットに割り当てることは、データセットが機械学習モデルのトレーニングに適切な影響を（すなわち、それぞれの重みに従って）有することを提供する。

例として、ポリシー４１５のうちの１つのポリシーは、機械学習モデルが低回帰を達成することを必要としてもよい。したがって、データセット重み割当ユニット４１０は、回帰データセット（たとえば、データセット１ ４０５Ａ）に、別のタイプのデータセットよりも高い重みを割り当てる。別の例として、データセット１ ４０５Ａは、ハイパーパラメータチューニングシステム４００の第１のクライアントから取得されたデータセットに対応してもよく、データセット２ ４０５Ｂは、第１のクライアントとは異なる第２のクライアントから取得されたデータセットに対応してもよい。データセット１およびデータセット２に含まれるトレーニングデータは、コンテキストに関して（それぞれのクライアントによって提供される）異なるタイプのユーザ発話に対応してもよい。ポリシー４１５のうちの１つが、第１のクライアントは第２のクライアントよりも重要である（例えば、第１のクライアントは、ハイパーパラメータチューニングシステム４００と、より高いサービスレベル合意（ＳＬＡ）を有する）ことを示す、と仮定すると、第１のクライアントに対応するデータセット、すなわち、データセット１ ４０５Ａは、データセット２ ４０５Ｂよりも高い重みを割り当てられる。さらに、ハイパーパラメータチューニングシステム４００のシステム管理者は機械学習モデルのトレーニングの前にポリシー４１５を判断することが理解される。重み付けされたデータセット４０５は、ハイパーパラメータチューナ４５０への第１の入力として提供される。

メトリック選択および重み割当てユニット４２０は、１つ以上のデータセット４０５に関する機械学習モデルの性能を評価するために、複数のメトリック４４０、たとえばメトリック１ ４４０Ａ、メトリック２ ４４０Ｂ、およびメトリックＭ ４４０Ｃを選択する。メトリック４４０は、図３に関して示され説明されるように、安定性、正解率、モデルサイズ、回帰誤差等のメトリックに対応することに留意されたい。一実施形態では、メトリック選択および重み割当ユニット４２０は、ある基準に基づいて、利用可能なメトリックのセット４４０から複数のメトリック、たとえばメトリック１ ４４０Ａ、メトリック２ ４４０Ｂなどを選択する。例えば、ハイパーパラメータチューニングシステム４００の第１のクライアントは、機械学習モデルに正解率パラメータを強調するよう所望してもよく、ハイパーパラメータチューニングシステム４００の別のクライアントは、機械学習モデルに別のメトリック、例えば回帰誤差メトリックを強調するよう所望してもよい。異なるクライアントの要件は、ポリシー４１５のうちの１つとして記憶され得、それに基づいて、メトリック選択および重み割当ユニット４２０は、機械学習モデルの性能を評価するための複数のメトリックを選択する。

メトリック選択および重み割当ユニット４２０は、さらに、選択されたメトリックの各々に重みを割り当てるように構成される。特定のメトリックに割り当てられた重みは、機械学習モデルの性能に対するメトリックの重要度を示す。一実施形態では、メトリック選択および重み割当ユニット４２０は、ハイパーパラメータチューニングシステム４００のクライアントの重要度のレベルに基づいて、メトリックに重みを割り当てる。例えば、第１のクライアントが第２のクライアントよりも重要である（すなわち、第１のクライアントは、第２のクライアントよりも高いＳＬＡを有する）場合、第１のクライアントによって要求されるメトリックには、第２のクライアントによって要求されるメトリックよりも高い重みが割り当てられる。別の例として、ドメイン検出のためにトレーニングされる機械学習モデルを考える。そのような場合、２つのメトリック、すなわち、機械学習モデルの性能を評価するために使用されるドメイン内再現率およびドメイン外再現率がある。そのようなドメイン検出モデルでは、モデルが、ドメイン外検出と比較して、ドメイン内検出に関して良好に、すなわち、ある閾値レベルを上回って機能することがしばしば所望される。この場合、重み割当ユニット４２０は、ドメイン外再現率メトリックと比較して、より高い重みをドメイン内再現率メトリックに割り当てる。複数の重み付けされたメトリックは、ハイパーパラメータチューナ４５０への第２の入力として提供される。

メトリック４４０の各々は、対応する仕様セットに関連付けられる。仕様セットは、メトリックを定義または特徴付ける複数の仕様パラメータを含む。図４に示すように、メトリック１ ４４０Ａは仕様セット１ ４４２Ａに関連付けられ、メトリック２ ４４０Ｂは仕様セット２ ４４２Ｂに関連付けられ、メトリックＭ ４４０Ｃは仕様セットＭ ４４２Ｃに関連付けられる。特定のメトリックに関連付けられる仕様セットは、他のメトリックに関連付けられる仕様セットに対して独立して設定され得ることを諒解されたい。図５を参照すると、メトリックの仕様セットは、（１）トレーニングデータセット、（２）検証データセット、（３）モデルがデータセット、例えばトレーニングデータセットおよび検証データセットに対するターゲット目標をどの程度良好に満たすかに関する尺度を定義するメトリック定義、（４）メトリックのターゲットスコア（すなわち、モデルが満たすと期待されるメトリックのスコア）、（５）メトリックについてのペナルティ係数、および（６）メトリックについてのボーナス係数を含む。

いくつかの実施形態によれば、メトリックは、トレーニングデータセットおよび／または検証データセットを共有することが許されてもよい。しかしながら、機械学習モデルは、異なるメトリック間にトレーニングデータセットおよび検証データセットの多様性がある場合に、よりロバストな結果を生成することが期待される。仕様セット４４２Ａ、４４２Ｂ、および４４２Ｃの各々の仕様パラメータは、所望の結果を達成するために特定の値に設定され得る。例えば、回帰誤差のメトリックに関して、対応する仕様セットは、以下のように設定することができる：
１．トレーニングデータセットは、特定のセットの顧客、例えば重要な顧客に基づいてモデル化される。検証データセットは、以前の機械学習モデルが正しく分類し、顧客によって広く使用されることが期待される例を含む。
２．回帰誤差のメトリック定義は正解率に設定される。
３．ターゲットスコアは９５％に設定され、すなわち、機械学習モデルの古いバージョンが正しくラベル付けした例の少なくとも９５％が機械学習モデルの新しいバージョンでも正しくラベル付けされるよう達成することが期待される。
４．ペナルティ係数は１００に設定され、ボーナス係数は１に設定される。そうする際に、９５％を下回る各パーセンテージ点は、９５％を上回るパーセンテージ点より１００倍多くペナルティを課される。

一実施形態では、安定性のメトリックに関して、対応する仕様セットを以下のように設定することができる：
１．小さなデータセットは、より高い不安定性を引き起こすと予想されるので、トレーニングデータセットは、サイズが小さなデータセットであるよう設定される。検証データセットは、トレーニングデータセットよりもサイズが妥当に大きくなるよう設定されてもよい。
２．安定性のメトリック定義は、例えば、機械学習モデルが１０回トレーニングされるとき、検証データセット上の機械学習モデルの正解率スコアにおいて標準偏差であるよう設定される。
３．ターゲットスコアは５％に設定され、すなわち、機械学習モデルの正解率スコアの変動が最大で５％であることが望まれる。
４．ペナルティ係数は１０に設定され、ボーナス係数は１に設定される。そうする際に、ターゲットスコアを満たさない各パーセンテージ点は、ターゲットスコアを超えるパーセンテージ点改善よりも１０倍大きい損失を被る。

一実施形態では、信頼度スコアのメトリックに関して、対応する仕様セットは以下のように設定することができる：
１．トレーニングデータセットは、サイズが小さいものから大きいものまでの範囲にわたり得、ドメインによって異なり得る。検証データセットは、それらのインテントクラスラベルに属するドメイン内例を含んでもよい。
２．信頼度スコアメトリックのメトリック定義は、モデルの信頼度閾値が２５％より大きい文の何分の一かに設定される（すなわち、予測は正確であり、他の予測よりも少なくとも２５％多く信頼できる）。
３．ターゲットスコアは８５％に設定され、すなわち、例の少なくとも８５％が確信的にラベル付けされるよう望まれる。
４．ペナルティ係数は１０に設定され、ボーナス係数は１に設定される。

上記に述べた仕様セットの設定は、例示的であり、非限定的であることが意図されることが理解される。システム管理者は、仕様セットの各々を、異なる要件に基づいて任意の他の態様で設定してもよい。さらに、機械学習モデルを検証する際の異なる仕様セットの利用は、ハイパーパラメータチューナ４５０を参照して以下で説明される。

いくつかの実施形態によれば、ハイパーパラメータチューニングシステム４００は、ユーザ（例えば、システム管理者）が、機械学習モデルのハイパーパラメータチューニングのために１つ以上の制約を指定することを可能にする。１つ以上の制約は、制約確立ユニット４３０を介して指定される。１つ以上の制約は、ハイパーパラメータチューナ４５０に第３の入力として提供される。各制約は、機械学習モデルのハイパーパラメータチューニングに課される要件であり、すなわち、各制約は、トレーニングされた機械学習モデルによって満たされるべき要件である。１つ以上の制約が与えられると、ハイパーパラメータチューナ４５０は、各制約に影響を及ぼすハイパーパラメータのセットを識別し、識別されたハイパーパラメータのために値を指定し、トレーニングされた機械学習モデルが以下で説明するように１つ以上の制約の各々を満たすまでハイパーパラメータを反復的にチューニングするよう構成される。

一実施形態では、１つ以上の制約の各々について、ハイパーパラメータチューナ４５０は、ハイパーパラメータのセット４５５から、各制約に影響を及ぼす１つ以上のハイパーパラメータを識別する。ハイパーパラメータチューナ４５０は、ハイパーパラメータの値を変化させ、ハイパーパラメータの値の変化が制約に関連付けられる値に影響を与えるかどうかを判定することによって、制約に影響を与える１つ以上のハイパーパラメータを識別する。さらに、第１の制約に影響を及ぼすハイパーパラメータの第１のセットは、第２の制約に影響を及ぼすハイパーパラメータの第２のセットとは異なり得ることを諒解されたい。

各制約に影響を及ぼす１つ以上のハイパーパラメータを識別すると、ハイパーパラメータチューナ４５０は、ハイパーパラメータのセット４５５の値を指定し、制約の各々が満たされるまでハイパーパラメータを反復的にチューニングする。例として、ハイパーパラメータのセット４５５が５つのハイパーパラメータ：Ｈ＝［ｈ１，ｈ２，ｈ３，ｈ４，ｈ５］を含むと考える。さらに、説明のため、ユーザが２つの制約Ｃ１およびＣ２を指定し、ハイパーパラメータチューナ４５０が、ハイパーパラメータｈ１およびｈ３は制約Ｃ１に影響を及ぼし、ハイパーパラメータｈ２、ｈ３、およびｈ５は制約Ｃ２に影響を及ぼす、と識別した、と考える。

ハイパーパラメータチューナ４５０のオプティマイザ４５１（ここではチューニングユニットとも呼ばれる）は、ハイパーパラメータＨのセットのための値、すなわち、ここではハイパーパラメータの設定と呼ばれるＶ（Ｈ）＝［ｖ（ｈ１）、ｖ（ｈ２）、ｖ（ｈ３）、ｖ（ｈ４）、ｖ（ｈ５）］を指定する。なお、オプティマイザ４５１は、ハイパーパラメータの初期設定をランダムな態様で割り当てる。さらに、制約Ｃ１に関して、オプティマイザは、制約Ｃ１が満たされるまで、（ハイパーパラメータｈ２、ｈ４およびｈ５の値を維持しながら）ハイパーパラメータｈ１および／またはｈ３の値を反復的に変更する。制約に影響するハイパーパラメータの値が、制約によって課される要件を満たすと、その制約は満たされることに留意されたい。制約Ｃ２に関して、オプティマイザ４５１は、制約Ｃ２が満たされるまで、（ハイパーパラメータｈ１およびｈ３の値を維持しながら）ハイパーパラメータｈ２、ｈ４、および／またはｈ５の値を反復的に変更／修正する。オプティマイザは、１つ以上のデータセットに関して機械学習モデルをトレーニングしながら上述の反復を実行することに留意されたい。具体的には、次に説明するように、オプティマイザ４５１は、複数のメトリックについて機械学習モデルの目的関数（例えばコストまたは損失関数）を最適化しながら、各制約を満たすハイパーパラメータの最適な設定を決定する。一実施形態では、ユーザ指定の制約の例は、以下のような制約を含む：
－所与のバッチについての推論待ち時間は、特定の閾値未満であるべきであり、例えば、待ち時間は、１のバッチサイズについて５０ミリ秒未満であるべきである。
－トレーニングされたモデルの最大サイズは、なんらかの特定の閾値（例えば、１０ＭＢ）を下回る必要がある。
－モデルのトレーニング時間は、何らかのユーザ固有の時間閾値未満であるべきであり、例えば、トレーニング時間は、５分以下であるべきである。

さらに、いくつかの実施形態では、ユーザによって指定された複数の制約が優先される。例えば、各制約には、その制約の履行を反映する重要度レベルが割り当てられる。いくつかの実施形態では、制約は、トレーニングされた機械学習モデルは必然的にいくつかの制約を満たさなければならないが、他の制約の履行は所望されるが随意であるように、指定されてもよい。

ハイパーパラメータチューナ４５０のオプティマイザ４５１は、目的関数を、最適化されるよう構築／定式化する。目的関数は、１つ以上のトレーニング／検証データセットを用いて機械学習モデルをトレーニング／検証する性能指標として供される損失関数またはコスト関数である。一実施形態では、目的関数の引数は、オプティマイザ４５１によって最適化される、機械学習モデルに関連付けられるハイパーパラメータのセットである。目的関数の値は、各メトリックの実際の値と各メトリックに対して設定されたターゲット値との間の差の重み付けされた組み合わせである。重み付けされた組み合わせにおける各メトリックの重みは、そのメトリックがターゲット値を超えるかまたは超えないかに依存する。具体的には、（ターゲット値を超えるよりも）ターゲット値を達成できないことに関連付けられる、より高い重みが、メトリックに割り当てられる、非対称損失技術が利用される。

例えば、一実施形態によれば、目的関数は以下のように定式化することができる：ｖがハイパーパラメータ値のベクトルであり、ｍ_ｉ（ｖ）がｖ上のｉ番目のメトリックの値として示され、ｔ_ｉがｉ番目のメトリックのターゲット値として示され、ｐ_ｉおよびｂ_ｉがｉ番目のメトリックのペナルティ係数およびボーナス係数としてそれぞれ示される場合、目的関数または損失関数（Ｌ（ｖ））は以下のように定式化することができる：

オプティマイザ４５１は、複数のメトリックにわたって目的関数を最適化する（例えば、損失関数の最小値を得る）ために、機械学習モデルに関連付けられるハイパーパラメータのセット４５５を調整する。オプティマイザは、グリッドに基づく方法、勾配探索法、およびベイジアン法のうちの１つを利用して、ハイパーパラメータのセットをチューニングしてもよい。次に、図５および図６を参照して、ハイパーパラメータのチューニングに関する詳細を説明する。このようにして、ハイパーパラメータチューナ４５０は、ハイパーパラメータのセットをチューニングすることによって機械学習モデルをトレーニング／検証して、１つ以上の制約の各々が満たされることを確実にしながら、異なる重み付けされたメトリックに関して最適な性能を達成する。言い換えれば、ハイパーパラメータチューニングシステム４００は、１つ以上のユーザ指定の制約をサポートしながら、異なる重み付きデータセット上で機械学習モデルをトレーニングすることによって、複数の重み付きメトリックの最適化を実行する。複数のメトリックについて機械学習モデルを最適化すると、ハイパーパラメータチューニングシステム４００は、トレーニング／検証されたＭＬモデルを、１つ以上の制約を満たすだけでなく目的関数を最適化するハイパーパラメータの設定とともに、出力する。上述した実施形態では、オプティマイザ４５１は、目的関数を構築し、最適化する。なお、上述したハイパーパラメータチューナ４５０の構成は、本開示の範囲を限定するものではない。例えば、ハイパーパラメータチューナ４５０は、オプティマイザ４５１によって最適化される目的関数を定式化する目的関数定式化ユニット（図示せず）を含んでもよい。

図６は、いくつかの実施形態によるハイパーパラメータチューニングシステムによって実行されるトレーニングプロセスを示す簡略化されたフローチャート６００を示す。図６に示される処理は、それぞれのシステムの１つ以上の処理ユニット（たとえば、プロセッサ、コア）によって実行されるソフトウェア（たとえば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせで実現されてもよい。ソフトウェアは、非一時的記憶媒体上に（たとえば、メモリデバイス上に）記憶されてもよい。図６に提示され、以下に説明される方法は、例示的かつ非限定的であることを意図している。図６は、特定のシーケンスまたは順序で生じる様々な処理ステップを示すが、これは限定することを意図するものではない。特定の代替実施形態では、それらのステップはなんらかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。

ステップ６１０において、機械学習モデルをトレーニングするためのデータセットが取得される。ステップ６２０において、ハイパーパラメータチューニングシステムは、ポリシーに従って、取得されたデータセットの各々に重みを割り当てる。異なる重みを異なるデータセットに割り当てることは、データセットが機械学習モデルのトレーニングに適切な影響を（すなわち、それらのそれぞれの重みに従って）有することを可能にすることに留意されたい。

ステップ６３０において、取得されたデータセットに対する機械学習モデルの性能を評価するために複数のメトリックが選択される。例えば、図３に示すような１つ以上のメトリックが、機械学習モデルの性能を評価するためにユーザ（例えば、システム管理者）によって選択される。選択された各メトリックについて、機械学習モデルの性能に対するメトリックの重要度を示すために、別のポリシーに従ってメトリックに重みが割り当てられる（ステップ６４０）。ステップ６５０において、ユーザは、１つ以上の制約を確立する。各制約は、トレーニングされた機械学習モデルにおいてユーザが達成することを望む品質または特性である。言い換えれば、各制約は、機械学習モデルに課される要件である。

ステップ６６０において、プロセスは、入力された重み付きメトリックおよびハイパーパラメータのセット４５５に基づいて関数（すなわち、目的関数）を定式化／構築する。一実施形態では、目的関数は、１つ以上のデータセットを用いて機械学習モデルをトレーニングする性能指標として供される損失関数またはコスト関数である。

ステップ６７０において、プロセスは、複数のメトリックについて機械学習モデルを最適化（例えば、目的関数の最適値を得る）するために、機械学習モデルに関連付けられるハイパーパラメータのセットを反復的にチューニングする。例えば、重み付けされたデータセット上で機械学習モデルをトレーニングする際に、１つ以上の制約および／または関数に影響を及ぼす１つ以上のハイパーパラメータが、ハイパーパラメータの値を変動させること、およびハイパーパラメータの値の変動が制約および／または関数に関連付けられる値に影響を及ぼすかどうかを判定することによって、識別される。

一実施形態では、ハイパーパラメータをチューニングするプロセスは、ハイパーパラメータの現在の設定（すなわち、ハイパーパラメータの値）、関数の値を評価し、現在の設定が１つ以上の制約の各々を満たすかどうかを判断する。制約のうちの少なくとも１つに違反し、および／または関数の値が最適でない場合、チューニングプロセスは、１つ以上のハイパーパラメータの値を修正してハイパーパラメータの新たな設定を取得し、新たな設定に基づいて機械学習モデルをトレーニングし続ける。現在の設定が特定の制約に違反するかどうかの判断は、制約に影響を及ぼす１つ以上のハイパーパラメータの値が制約によって課される要件を満たすかどうかを判断することによって実行されることに留意されたい。さらに、（現在の設定に対する機械学習モデルの性能を示す）関数の値が最適であるかどうかの判断は、関数の値を、ハイパーパラメータの異なる設定を介して得られる関数の新たな値と比較することによって、行われる。

このようにして、チューニングプロセスは、関数の最適値をもたらす（およびいかなる制約にも違反しない）設定が達成されるまで、ハイパーパラメータ値の空間を通して反復する。さらに、ハイパーパラメータをチューニングするプロセスは、ランダムな態様で割り当てられるハイパーパラメータの初期設定で開始できることが理解される。さらに、チューニングプロセスは、新たなハイパーパラメータ設定を得るためにハイパーパラメータ値の空間を探索する際に、ランダム検索法、ベイジアン検索法、分枝限定法、グリッド検索法、遺伝的アルゴリズムなどのうちの１つを実施することができる。機械学習モデルが最適化されると、機械学習モデルは、（最適化された機械学習モデルを達成するハイパーパラメータの値とともに、）トレーニングされた機械学習モデルとしてユーザに出力される。

図７は、ある実施形態による、ハイパーパラメータチューニングシステムによって実行される検証プロセスを示す、簡略化されたフローチャート７００を示す。図７に示される処理は、それぞれのシステムの１つ以上の処理ユニット（たとえば、プロセッサ、コア）によって実行されるソフトウェア（たとえば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせで実現されてもよい。ソフトウェアは、非一時的記憶媒体上に（たとえば、メモリデバイス上に）記憶されてもよい。図７に提示され、以下に説明される方法は、例示的かつ非限定的であることを意図している。図７は、特定のシーケンスまたは順序で生じる様々な処理ステップを示すが、これは限定することを意図するものではない。特定の代替実施形態では、それらのステップはなんらかの異なる順序で実行されてもよく、またはいくつかのステップが並行して実行されてもよい。

ステップ７１０において、機械学習モデルの性能を評価するために、および機械学習モデルのどのハイパーパラメータがチューニングされるべきかに関して、複数のメトリックが選択される。ステップ７２０において、各選択されたメトリックに関連付けられる仕様セットが、ある基準に従って設定される。具体的には、基準に基づいて、仕様セットに含まれる仕様パラメータに値が割り当てられる。例えば、回帰誤差を低減することが望ましい場合、回帰誤差メトリックに関連付けられる仕様セットは、以下のように設定される：ターゲットスコアには低い値が設定され、回帰誤差メトリックに対応するペナルティ係数には高い値が設定される。例として、ターゲットスコアは９０％に設定されてもよく、すなわち、以前に正しくラベル付けされたトレーニング例の少なくとも９０％が、機械学習モデルの現在のバージョンによっても正しくラベル付けされることが期待される。さらに、高いペナルティ係数、例えば、１００のペナルティ係数を設定することは、９０％を下回る各パーセンテージ点（すなわち、機械学習モデルの性能）が、９０％を上回るパーセンテージ点より１００倍多くペナルティを課されることを意味する。このように回帰誤差メトリックの仕様セットを設定する際、回帰誤差は目的関数（すなわち損失関数）を支配し、図４のハイパーパラメータチューナは、回帰誤差を最小化するハイパーパラメータのチューニングを実行する。

ステップ７３０において、各メトリックについてメトリックスコアが計算される。具体的には、選択されたメトリックは検証データセット上で評価され、各メトリックに対するメトリックスコアを生成する。各メトリックについて計算されたメトリックスコアは、ステップ７４０において、そのメトリックについての対応するターゲットスコアと比較される。一実施形態では、メトリックスコアとメトリックのターゲットスコアとの間の差が計算される。メトリックスコアがターゲットスコアよりも高い場合、その差は、そのメトリックに関連付けられるボーナス係数で乗算される。しかしながら、メトリックスコアがターゲットスコアよりも低い場合、その差はペナルティ係数で乗算される。ステップ７５０において、目的関数、例えば損失関数が、ステップ７４０において実行された処理に基づいて定式化される。具体的には、損失関数は、（メトリックスコアとターゲットスコアとの間の）差の合計に、対応するボーナス係数またはペナルティ係数のいずれかを乗じたものであると判断される。その後、プロセスはステップ７６０に進み、定式化された目的関数を最適化する。

ステップ７６０において、ハイパーパラメータチューナは、ステップ７５０において定式化された重み付き損失関数を最適化する（例えば、損失関数の最小値を取得する）ために、機械学習モデルに関連付けられるハイパーパラメータを反復的に調整する。一実施形態では、ハイパーパラメータをチューニングする際に、ハイパーパラメータチューナは、現在の設定（すなわち、ハイパーパラメータの値）について損失関数の値を評価する。ハイパーパラメータチューナはさらに、損失関数の値を、ハイパーパラメータの異なる設定を介して得られる損失関数の新たな値と比較することによって、損失関数の値が最適であるかどうかを判断する。

このようにして、チューニングプロセスは、損失関数の最適値をもたらす設定が達成されるまで、ハイパーパラメータ値の空間を通して反復する。さらに、ハイパーパラメータをチューニングするプロセスは、ランダムな態様で割り当てられるハイパーパラメータの初期設定で開始できる。さらに、チューニングプロセスは、新たなハイパーパラメータ設定を取得するために、ハイパーパラメータ空間を探索するための検索アルゴリズムを実現することができる。ハイパーパラメータチューナは、ハイパーパラメータ空間の探索において、ランダム検索法、ベイジアン検索法、分枝限定法等のいずれかを利用することができる。損失関数が最適化される（すなわち、損失関数の最小値が取得される）と、ハイパーパラメータチューナは、出力として、検証された機械学習モデルを、最適化された損失関数を達成するハイパーパラメータの値とともに、ユーザに提供する。

例示的なシステム
図８は、分散型システム８００の簡略図を示す。図示される例において、分散型システム８００は、１つ以上の通信ネットワーク８１０を介してサーバ８１２に結合された１つ以上のクライアントコンピューティングデバイス８０２、８０４、８０６、および８０８を含む。クライアントコンピューティングデバイス８０２、８０４、８０６、および８０８は、１つ以上のアプリケーションを実行するように構成され得る。

さまざまな例において、サーバ８１２は、本開示に記載される１つ以上の実施形態を可能にする１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合され得る。ある例では、サーバ８１２はまた、非仮想環境および仮想環境を含み得る他のサービスまたはソフトウェアアプリケーションを提供し得る。いくつかの例では、これらのサービスは、クライアントコンピューティングデバイス８０２、８０４、８０６および／または８０８のユーザに対して、サービスとしてのソフトウェア（Software as a Service：ＳａａＳ）モデル下のように、ウェブベースのサービスまたはクラウドサービスとして提供され得る。クライアントコンピューティングデバイス８０２、８０４、８０６および／または８０８を操作するユーザは、１つ以上のクライアントアプリケーションを利用してサーバ８１２とやり取りすることで、これらのコンポーネントによって提供されるサービスを利用し得る。

図８に示される構成では、サーバ８１２は、サーバ８１２によって実行される機能を実現する１つ以上のコンポーネント８１８、８２０および８２２を含み得る。これらのコンポーネントは、１つ以上のプロセッサ、ハードウェアコンポーネント、またはそれらの組合わせによって実行され得るソフトウェアコンポーネントを含み得る。分散型システム８００とは異なり得る多種多様なシステム構成が可能であることが認識されるはずである。したがって、図８に示される例は、例のシステムを実現するための分散型システムの一例であり、限定するよう意図されたものではない。

ユーザは、クライアントコンピューティングデバイス８０２、８０４、８０６および／または８０８を用いて、１つ以上のアプリケーション、モデルまたはチャットボットを実行し、それは、１つ以上のイベントまたはモデルを生成してもよく、それは次いで本開示の教示に従って実現または処理されてもよい。クライアントデバイスは、当該クライアントデバイスのユーザが当該クライアントデバイスと対話することを可能にするインターフェイスを提供し得る。クライアントデバイスはまた、このインターフェイスを介してユーザに情報を出力してもよい。図８は４つのクライアントコンピューティングデバイスだけを示しているが、任意の数のクライアントコンピューティングデバイスがサポートされ得る。

クライアントデバイスは、ポータブルハンドヘルドデバイス、パーソナルコンピュータおよびラップトップのような汎用コンピュータ、ワークステーションコンピュータ、ウェアラブルデバイス、ゲームシステム、シンクライアント、各種メッセージングデバイス、センサまたはその他のセンシングデバイスなどの、さまざまな種類のコンピューティングシステムを含み得る。これらのコンピューティングデバイスは、さまざまな種類およびバージョンのソフトウェアアプリケーションおよびオペレーティングシステム（たとえばMicrosoft Windows(登録商標)、Apple Macintosh（登録商標）、UNIX（登録商標）またはUNIX系オペレーティングシステム、Linux（登録商標）またはLinux系オペレーティングシステム、たとえば、各種モバイルオペレーティングシステム（たとえばMicrosoft Windows Mobile（登録商標）、iOS（登録商標）、Windows Phone（登録商標）、Android（登録商標）、BlackBerry(登録商標)、Palm OS(登録商標))を含むGoogle Chrome(登録商標)OS)を含み得る。ポータブルハンドヘルドデバイスは、セルラーフォン、スマートフォン(たとえばiPhone(登録商標))、タブレット(たとえばiPad(登録商標))、携帯情報端末(ＰＤＡ)などを含み得る。ウェアラブルデバイスは、Google Glass(登録商標)ヘッドマウントディスプレイおよびその他のデバイスを含み得る。ゲームシステムは、各種ハンドヘルドゲームデバイス、インターネット接続可能なゲームデバイス（たとえばKinect（登録商標）ジェスチャ入力デバイス付き／無しのMicrosoft Xbox（登録商標）ゲーム機、Sony PlayStation（登録商標）システム、Nintendo（登録商標）が提供する各種ゲームシステムなど）を含み得る。クライアントデバイスは、各種インターネット関連アプリケーション、通信アプリケーション（たとえばＥメールアプリケーション、ショートメッセージサービス（ＳＭＳ）アプリケーション）のような多種多様なアプリケーションを実行可能であってもよく、各種通信プロトコルを使用してもよい。

ネットワーク８１０は、利用可能な多様なプロトコルのうちのいずれかを用いてデータ通信をサポートできる、当該技術の当業者には周知のいずれかの種類のネットワークであればよく、上記プロトコルは、ＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル）、ＳＮＡ（システムネットワークアーキテクチャ）、ＩＰＸ（インターネットパケット交換）、AppleTalk（登録商標）などを含むがこれらに限定されない。単に一例として、ネットワーク８１０は、ローカルエリアネットワーク（ＬＡＮ）、Ethernet（登録商標）に基づくネットワーク、トークンリング、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（たとえば電気電子学会（ＩＥＥＥ）８０２．１１プロトコルスイートのいずれかの下で動作する無線ネットワーク、Bluetooth（登録商標）および／または任意の他の無線プロトコル）、および／またはこれらおよび／または他のネットワークの任意の組み合わせを含み得る。

サーバ８１２は、１つ以上の汎用コンピュータ、専用サーバコンピュータ（一例としてＰＣ（パーソナルコンピュータ）サーバ、UNIX（登録商標）サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウント型サーバなどを含む）、サーバファーム、サーバクラスタ、またはその他の適切な構成および／または組み合わせで構成されてもよい。サーバ８１２は、仮想オペレーティングシステムを実行する１つ以上の仮想マシン、または仮想化を伴う他のコンピューティングアーキテクチャを含み得る。これはたとえば、サーバに対して仮想記憶装置を維持するように仮想化できる論理記憶装置の１つ以上のフレキシブルプールなどである。様々な例において、サーバ８１２を、上記開示に記載の機能を提供する１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合させてもよい。

サーバ８１２内のコンピューティングシステムは、上記オペレーティングシステムのうちのいずれかを含む１つ以上のオペレーティングシステム、および、市販されているサーバオペレーティングシステムを実行し得る。また、サーバ８１２は、ＨＴＴＰ（ハイパーテキスト転送プロトコル）サーバ、ＦＴＰ（ファイル転送プロトコル）サーバ、ＣＧＩ（コモンゲートウェイインターフェイス）サーバ、JAVA（登録商標）サーバ、データベースサーバなどを含むさまざまなさらに他のサーバアプリケーションおよび／または中間層アプリケーションのうちのいずれかを実行し得る。例示的なデータベースサーバは、Oracle（登録商標）、Microsoft（登録商標）、Sybase（登録商標）、IBM（登録商標）（International Business Machines）などから市販されているものを含むが、それらに限定されない。

いくつかの実現例において、サーバ８１２は、クライアントコンピューティングデバイス８０２、８０４、８０６および８０８のユーザから受信したデータフィードおよび／またはイベントアップデートを解析および整理統合するための１つ以上のアプリケーションを含み得る。一例として、データフィードおよび／またはイベントアップデートは、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール（たとえば、ネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム解析ツール、自動車交通モニタリングなどに関連するリアルタイムのイベントを含んでもよい、１つ以上の第三者情報源および連続データストリームから受信される、Ｔｗｉｔｔｅｒ（登録商標）フィード、Facebook（登録商標）アップデートまたはリアルタイムのアップデートを含み得るが、それらに限定されない。サーバ８１２は、データフィードおよび／またはリアルタイムのイベントをクライアントコンピューティングデバイス８０２、８０４、８０６および８０８の１つ以上の表示デバイスを介して表示するための１つ以上のアプリケーションも含み得る。

分散型システム８００はまた、１つ以上のデータリポジトリ８１４、８１６を含み得る。特定の例において、これらのデータリポジトリを用いてデータおよびその他の情報を格納することができる。たとえば、データリポジトリ８１４、８１６のうちの１つ以上を用いて、様々な実施形態による様々な機能を実行するときにチャットボット性能またはサーバ８１２によって使用されるチャットボットによる使用のための生成されたモデルに関連する情報のような情報を格納することができる。データリポジトリ８１４、８１６は、さまざまな場所に存在し得る。たとえば、サーバ８１２が使用するデータリポジトリは、サーバ８１２のローカル位置にあってもよく、またはサーバ８１２から遠隔の位置にあってもよく、ネットワークベースの接続または専用接続を介してサーバ８１２と通信する。データリポジトリ８１４、８１６は、異なる種類であってもよい。特定の例において、サーバ８１２が使用するデータリポジトリは、データベース、たとえば、Oracle Corporation（登録商標）および他の製造業者が提供するデータベースのようなリレーショナルデータベースであってもよい。これらのデータベースのうちの１つ以上を、ＳＱＬフォーマットのコマンドに応じて、データの格納、アップデート、およびデータベースとの間での取り出しを可能にするように適合させてもよい。

特定の例では、データリポジトリ８１４、８１６のうちの１つ以上は、アプリケーションデータを格納するためにアプリケーションによって用いられてもよい。アプリケーションが使用するデータリポジトリは、たとえば、キー値ストアリポジトリ、オブジェクトストアリポジトリ、またはファイルシステムがサポートする汎用ストレージリポジトリのようなさまざまな種類のものであってもよい。

特定の例において、本開示に記載される機能は、クラウド環境を介してサービスとして提供され得る。図９は、特定の例に係る、各種サービスをクラウドサービスとして提供し得るクラウドベースのシステム環境の簡略化されたブロック図である。図９に示される例において、クラウドインフラストラクチャシステム９０２は、ユーザが１つ以上のクライアントコンピューティングデバイス９０４、９０６および９０８を用いて要求し得る１つ以上のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム９０２は、サーバ８１２に関して先に述べたものを含み得る１つ以上のコンピュータおよび／またはサーバを含み得る。クラウドインフラストラクチャシステム９０２内のコンピュータは、汎用コンピュータ、専用サーバコンピュータ、サーバファーム、サーバクラスタ、またはその他任意の適切な配置および／または組み合わせとして編成され得る。

ネットワーク９１０は、クライアント９０４、９０６、および９０８と、クラウドインフラストラクチャシステム９０２との間におけるデータの通信および交換を容易にし得る。ネットワーク９１０は、１つ以上のネットワークを含み得る。ネットワークは同じ種類であっても異なる種類であってもよい。ネットワーク９１０は、通信を容易にするために、有線および／または無線プロトコルを含む、１つ以上の通信プロトコルをサポートし得る。

図９に示される例は、クラウドインフラストラクチャシステムの一例にすぎず、限定を意図したものではない。なお、その他いくつかの例において、クラウドインフラストラクチャシステム９０２が、図９に示されるものよりも多くのコンポーネントもしくは少ないコンポーネントを有していてもよく、２つ以上のコンポーネントを組み合わせてもよく、または、異なる構成または配置のコンポーネントを有していてもよいことが、理解されるはずである。たとえば、図９は３つのクライアントコンピューティングデバイスを示しているが、代替例においては、任意の数のクライアントコンピューティングデバイスがサポートされ得る。

クラウドサービスという用語は一般に、サービスプロバイダのシステム（たとえばクラウドインフラストラクチャシステム９０２）により、インターネット等の通信ネットワークを介してオンデマンドでユーザにとって利用可能にされるサービスを指すのに使用される。典型的に、パブリッククラウド環境では、クラウドサービスプロバイダのシステムを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムとは異なる。クラウドサービスプロバイダのシステムは、クラウドサービスプロバイダによって管理される。よって、顧客は、別途ライセンス、サポート、またはハードウェアおよびソフトウェアリソースをサービスのために購入しなくても、クラウドサービスプロバイダが提供するクラウドサービスを利用できる。たとえば、クラウドサービスプロバイダのシステムはアプリケーションをホストし得るとともに、ユーザは、アプリケーションを実行するためにインフラストラクチャリソースを購入しなくても、インターネットを介してオンデマンドでアプリケーションをオーダーして使用し得る。クラウドサービスは、アプリケーション、リソースおよびサービスに対する容易でスケーラブルなアクセスを提供するように設計される。いくつかのプロバイダがクラウドサービスを提供する。たとえば、ミドルウェアサービス、データベースサービス、Java（登録商標）クラウドサービスなどのいくつかのクラウドサービスが、カリフォルニア州レッドウッド・ショアーズのOracle Corporation（登録商標）から提供される。

特定の例において、クラウドインフラストラクチャシステム９０２は、ハイブリッドサービスモデルを含む、サービスとしてのソフトウェア（ＳａａＳ）モデル、サービスとしてのプラットフォーム（ＰａａＳ）モデル、サービスとしてのインフラストラクチャ（ＩａａＳ）モデルなどのさまざまなモデルを使用して、１つ以上のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム９０２は、各種クラウドサービスのプロビジョンを可能にする、アプリケーション、ミドルウェア、データベース、およびその他のリソースのスイートを含み得る。

ＳａａＳモデルは、アプリケーションまたはソフトウェアを、インターネットのような通信ネットワークを通して、顧客が基本となるアプリケーションのためのハードウェアまたはソフトウェアを購入しなくても、サービスとして顧客に配信することを可能にする。たとえば、ＳａａＳモデルを用いることにより、クラウドインフラストラクチャシステム９０２がホストするオンデマンドアプリケーションに顧客がアクセスできるようにし得る。Oracle Corporation（登録商標）が提供するＳａａＳサービスの例は、人的資源／資本管理のための各種サービス、カスタマー・リレーションシップ・マネジメント（ＣＲＭ）、エンタープライズ・リソース・プランニング（ＥＲＰ）、サプライチェーン・マネジメント（ＳＣＭ）、エンタープライズ・パフォーマンス・マネジメント（ＥＰＭ）、解析サービス、ソーシャルアプリケーションなどを含むがこれらに限定されない。

ＩａａＳモデルは一般に、インフラストラクチャリソース（たとえばサーバ、ストレージ、ハードウェアおよびネットワーキングリソース）を、クラウドサービスとして顧客に提供することにより、柔軟な計算およびストレージ機能を提供するために使用される。各種ＩａａＳサービスがOracle Corporation（登録商標）から提供される。

ＰａａＳモデルは一般に、顧客が、環境リソースを調達、構築、または管理しなくても、アプリケーションおよびサービスを開発、実行、および管理することを可能にするプラットフォームおよび環境リソースをサービスとして提供するために使用される。Oracle Corporation（登録商標）が提供するＰａａＳサービスの例は、Oracle Java Cloud Service（ＪＣＳ）、Oracle Database Cloud Service（ＤＢＣＳ）、データ管理クラウドサービス、各種アプリケーション開発ソリューションサービスなどを含むがこれらに限定されない。

クラウドサービスは一般に、オンデマンドのセルフサービスベースで、サブスクリプションベースで、柔軟にスケーラブルで、信頼性が高く、可用性が高い、安全なやり方で提供される。たとえば、顧客は、サブスクリプションオーダーを介し、クラウドインフラストラクチャシステム９０２が提供する１つ以上のサービスをオーダーしてもよい。次いで、クラウドインフラストラクチャシステム９０２は、処理を実行することにより、顧客のサブスクリプションオーダーで要求されたサービスを提供する。例えば、ユーザは、発話を用いて、クラウドインフラストラクチャシステムに、上記のように特定のアクション（例えばインテント）をとらせ、および／または本明細書で説明するようにチャットボットシステムのためのサービスを提供させるように要求することができる。クラウドインフラストラクチャシステム９０２を、１つのクラウドサービスまたは複数のクラウドサービスであっても提供するように構成してもよい。

クラウドインフラストラクチャシステム９０２は、さまざまなデプロイメントモデルを介してクラウドサービスを提供し得る。パブリッククラウドモデルにおいて、クラウドインフラストラクチャシステム９０２は、第三者クラウドサービスプロバイダによって所有されていてもよく、クラウドサービスは一般のパブリックカスタマーに提供される。このカスタマーは個人または企業であってもよい。ある他の例では、プライベートクラウドモデル下において、クラウドインフラストラクチャシステム９０２がある組織内で（たとえば企業組織内で）機能してもよく、サービスはこの組織内の顧客に提供される。たとえば、この顧客は、人事部、給与部などの企業のさまざまな部署であってもよく、企業内の個人であってもよい。ある他の例では、コミュニティクラウドモデル下において、クラウドインフラストラクチャシステム９０２および提供されるサービスは、関連コミュニティ内のさまざまな組織で共有されてもよい。上記モデルの混成モデルなどのその他各種モデルが用いられてもよい。

クライアントコンピューティングデバイス９０４、９０６、および９０８は、異なるタイプであってもよく（たとえば図８に示されるクライアントコンピューティングデバイス８０２、８０４、８０６および８０８）、１つ以上のクライアントアプリケーションを操作可能であってもよい。ユーザは、クライアントデバイスを用いることにより、クラウドインフラストラクチャシステム９０２が提供するサービスを要求することなど、クラウドインフラストラクチャシステム９０２とのやり取りを行い得る。例えば、ユーザは、本開示に記載されているように、クライアントデバイスを使用してチャットボットから情報またはアクションを要求することができる。

いくつかの例において、クラウドインフラストラクチャシステム９０２が、サービスを提供するために実行する処理は、モデルトレーニングおよび展開を含み得る。この解析は、データセットを使用し、解析し、処理することにより、１つ以上のモデルをトレーニングおよび展開することを含み得る。この解析は、１つ以上のプロセッサが、場合によっては、データを並列に処理し、データを用いてシミュレーションを実行するなどして、実行してもよい。たとえば、チャットボットシステムのために１つ以上のモデルを生成およびトレーニングするために、ビッグデータ解析がクラウドインフラストラクチャシステム９０２によって実行されてもよい。この解析に使用されるデータは、構造化データ（たとえばデータベースに格納されたデータもしくは構造化モデルに従って構造化されたデータ）および／または非構造化データ（たとえばデータブロブ（blob）（binary large object：バイナリ・ラージ・オブジェクト））を含み得る。

図９の例に示されるように、クラウドインフラストラクチャシステム９０２は、クラウドインフラストラクチャシステム９０２が提供する各種クラウドサービスのプロビジョンを容易にするために利用されるインフラストラクチャリソース９３０を含み得る。インフラストラクチャリソース９３０は、たとえば、処理リソース、ストレージまたはメモリリソース、ネットワーキングリソースなどを含み得る。特定の例では、アプリケーションから要求されたストレージを処理するために利用可能なストレージ仮想マシンは、クラウドインフラストラクチャシステム９０２の一部である場合がある。他の例では、ストレージ仮想マシンは、異なるシステムの一部である場合がある。

特定の例において、異なる顧客に対しクラウドインフラストラクチャシステム９０２が提供する各種クラウドサービスをサポートするためのこれらのリソースを効率的にプロビジョニングし易くするために、リソースを、リソースのセットまたはリソースモジュール（「ポッド」とも処される）にまとめてもよい。各リソースモジュールまたはポッドは、１種類以上のリソースを予め一体化し最適化した組み合わせを含み得る。特定の例において、異なるポッドを異なる種類のクラウドサービスに対して予めプロビジョニングしてもよい。たとえば、第１のポッドセットをデータベースサービスのためにプロビジョニングしてもよく、第１のポッドセット内のポッドと異なるリソースの組み合わせを含み得る第２のポッドセットをJavaサービスなどのためにプロビジョニングしてもよい。いくつかのサービスについて、これらのサービスをプロビジョニングするために割り当てられたリソースをサービス間で共有してもよい。

クラウドインフラストラクチャシステム９０２自体が、クラウドインフラストラクチャシステム９０２の異なるコンポーネントによって共有されるとともにクラウドインフラストラクチャシステム９０２によるサービスのプロビジョニングを容易にするサービス９３２を、内部で使用してもよい。これらの内部共有サービスは、セキュリティ・アイデンティティサービス、統合サービス、エンタープライズリポジトリサービス、エンタープライズマネージャサービス、ウィルススキャン・ホワイトリストサービス、高可用性、バックアップリカバリサービス、クラウドサポートを可能にするサービス、Ｅメールサービス、通知サービス、ファイル転送サービスなどを含み得るが、これらに限定されない。

クラウドインフラストラクチャシステム９０２は複数のサブシステムを含み得る。これらのサブシステムは、ソフトウェア、またはハードウェア、またはそれらの組み合わせで実現され得る。図９に示されるように、サブシステムは、クラウドインフラストラクチャシステム９０２のユーザまたは顧客がクラウドインフラストラクチャシステム９０２とやり取りすることを可能にするユーザインターフェイスサブシステム９１２を含み得る。ユーザインターフェイスサブシステム９１２は、ウェブインターフェイス９１４、クラウドインフラストラクチャシステム９０２が提供するクラウドサービスが宣伝広告され消費者による購入が可能なオンラインストアインターフェイス９１６、およびその他のインターフェイス９１８などの、各種異なるインターフェイスを含み得る。たとえば、顧客は、クライアントデバイスを用いて、クラウドインフラストラクチャシステム９０２がインターフェイス９１４、９１６、および９１８のうちの１つ以上を用いて提供する１つ以上のサービスを要求（サービス要求９３４）してもよい。たとえば、顧客は、オンラインストアにアクセスし、クラウドインフラストラクチャシステム９０２が提供するクラウドサービスをブラウズし、クラウドインフラストラクチャシステム９０２が提供するとともに顧客が申し込むことを所望する１つ以上のサービスについてサブスクリプションオーダーを行い得る。このサービス要求は、顧客と、顧客が申しむことを所望する１つ以上のサービスを識別する情報を含んでいてもよい。たとえば、顧客は、クラウドインフラストラクチャシステム９０２によって提供されるサービスの申し込み注文を出すことができる。注文の一部として、顧客は、サービスが提供されるチャットボットシステムを識別する情報と、任意選択でチャットボットシステムの１つ以上の資格情報を提供することができる。

図９に示される例のような特定の例において、クラウドインフラストラクチャシステム９０２は、新しいオーダーを処理するように構成されたオーダー管理サブシステム（order management subsystem：ＯＭＳ）９２０を含み得る。この処理の一部として、ＯＭＳ９２０は、既に作成されていなければ顧客のアカウントを作成し、要求されたサービスを顧客に提供するために顧客に対して課金するのに使用する課金および／またはアカウント情報を顧客から受け、顧客情報を検証し、検証後、顧客のためにこのオーダーを予約し、各種ワークフローを調整することにより、プロビジョニングのためにオーダーを準備するように、構成されてもよい。

適切に妥当性確認がなされると、ＯＭＳ９２０は、処理、メモリ、およびネットワーキングリソースを含む、このオーダーのためのリソースをプロビジョニングするように構成されたオーダープロビジョニングサブシステム（ＯＰＳ）９２４を呼び出し得る。プロビジョニングは、オーダーのためのリソースを割り当てることと、顧客オーダーが要求するサービスを容易にするようにリソースを構成することとを含み得る。オーダーのためにリソースをプロビジョニングするやり方およびプロビジョニングされるリソースのタイプは、顧客がオーダーしたクラウドサービスのタイプに依存し得る。たとえば、あるワークフローに従うと、ＯＰＳ９２４を、要求されている特定のクラウドサービスを判断し、この特定のクラウドサービスのために予め構成されたであろうポッドの数を特定するように構成されてもよい。あるオーダーのために割り当てられるポッドの数は、要求されたサービスのサイズ／量／レベル／範囲に依存し得る。たとえば、割り当てるポッドの数は、サービスがサポートすべきユーザの数、サービスが要求されている期間などに基づいて決定してもよい。次に、割り当てられたポッドを、要求されたサービスを提供するために、要求している特定の顧客に合わせてカスタマイズしてもよい。

特定の例では、セットアップ段階処理は、上記のように、クラウドインフラストラクチャシステム９０２によって、プロビジョニングプロセスの一部として実行され得る。クラウドインフラシステム９０２は、アプリケーションＩＤを生成し、クラウドインフラシステム９０２自体によって提供されるストレージ仮想マシンの中から、またはクラウドインフラシステム９０２以外の他のシステムによって提供されるストレージ仮想マシンから、アプリケーション用のストレージ仮想マシンを選択することができる。

クラウドインフラストラクチャシステム９０２は、要求されたサービスがいつ使用できるようになるかを示すために、応答または通知９４４を、要求している顧客に送ってもよい。いくつかの例において、顧客が、要求したサービスの利益の使用および利用を開始できるようにする情報（たとえばリンク）を顧客に送信してもよい。特定の例では、サービスを要求する顧客に対して、応答は、クラウドインフラストラクチャシステム９０２によって生成されたチャットボットシステムＩＤ、およびチャットボットシステムＩＤに対応するチャットボットシステムのためにクラウドインフラストラクチャシステム９０２によって選択されたチャットボットシステムを識別する情報を含み得る。

クラウドインフラストラクチャシステム９０２はサービスを複数の顧客に提供し得る。各顧客ごとに、クラウドインフラストラクチャシステム９０２は、顧客から受けた１つ以上のサブスクリプションオーダーに関連する情報を管理し、オーダーに関連する顧客データを維持し、要求されたサービスを顧客に提供する役割を果たす。また、クラウドインフラストラクチャシステム９０２は、申し込まれたサービスの顧客による使用に関する使用統計を収集してもよい。たとえば、統計は、使用されたストレージの量、転送されたデータの量、ユーザの数、ならびにシステムアップタイムおよびシステムダウンタイムの量などについて、収集されてもよい。この使用情報を用いて顧客に課金してもよい。課金はたとえば月ごとに行ってもよい。

クラウドインフラストラクチャシステム９０２は、サービスを複数の顧客に並列に提供してもよい。クラウドインフラストラクチャシステム９０２は、場合によっては著作権情報を含む、これらの顧客についての情報を格納してもよい。特定の例において、クラウドインフラストラクチャシステム９０２は、顧客の情報を管理するとともに管理される情報を分離することで、ある顧客に関する情報が別の顧客に関する情報からアクセスされないようにするように構成された、アイデンティティ管理サブシステム（ＩＭＳ）９２８を含む。ＩＭＳ９２８は、情報アクセス管理などのアイデンティティサービス、認証および許可サービス、顧客のアイデンティティおよび役割ならびに関連する能力などを管理するためのサービスなどの、各種セキュリティ関連サービスを提供するように構成されてもよい。

図１０は、コンピュータシステム１０００の例を示す。いくつかの例では、コンピュータシステム１０００は、分散環境内の任意のデジタルアシスタントまたはチャットボットシステムのいずれか、ならびに上記の様々なサーバおよびコンピュータシステムを実現するために用いられ得る。図１０に示されるように、コンピュータシステム１０００は、バスサブシステム１００２を介して他のいくつかのサブシステムと通信する処理サブシステム１００４を含むさまざまなサブシステムを含む。これらの他のサブシステムは、処理加速ユニット１００６、Ｉ／Ｏサブシステム１００８、ストレージサブシステム１０１８、および通信サブシステム１０２４を含み得る。ストレージサブシステム１０１８は、記憶媒体１０２２およびシステムメモリ１０１０を含む非一時的なコンピュータ可読記憶媒体を含み得る。

バスサブシステム１００２は、コンピュータシステム１０００のさまざまなコンポーネントおよびサブシステムに意図されるように互いに通信させるための機構を提供する。バスサブシステム１００２は単一のバスとして概略的に示されているが、バスサブシステムの代替例は複数のバスを利用してもよい。バスサブシステム１００２は、さまざまなバスアーキテクチャのうちのいずれかを用いる、メモリバスまたはメモリコントローラ、周辺バス、ローカルバスなどを含むいくつかのタイプのバス構造のうちのいずれかであってもよい。たとえば、このようなアーキテクチャは、業界標準アーキテクチャ（Industry Standard Architecture：ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Micro Channel Architecture：ＭＣＡ）バス、エンハンストＩＳＡ（Enhanced ISA：ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（Video Electronics Standards Association：ＶＥＳＡ）ローカルバス、およびＩＥＥＥ Ｐ１３８６．１規格に従って製造されるメザニンバスとして実現され得る周辺コンポーネントインターコネクト（Peripheral Component Interconnect：ＰＣＩ）バスなどを含み得る。

処理サブシステム１００４は、コンピュータシステム１０００の動作を制御し、１つ以上のプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み得る。プロセッサは、シングルコアまたはマルチコアプロセッサを含み得る。コンピュータシステム１０００の処理リソースを、１つ以上の処理ユニット１０３２、１０３４などに組織することができる。処理ユニットは、１つ以上のプロセッサ、同一のまたは異なるプロセッサからの１つ以上のコア、コアとプロセッサとの組み合わせ、またはコアとプロセッサとのその他の組み合わせを含み得る。いくつかの例において、処理サブシステム１００４は、グラフィックスプロセッサ、デジタル信号プロセッサ（ＤＳＰ）などのような１つ以上の専用コプロセッサを含み得る。いくつかの例では、処理サブシステム１００４の処理ユニットの一部または全部は、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのカスタマイズされた回路を使用し得る。

いくつかの例において、処理サブシステム１００４内の処理ユニットは、システムメモリ１０１０またはコンピュータ可読記憶媒体１０２２に格納された命令を実行し得る。さまざまな例において、処理ユニットはさまざまなプログラムまたはコード命令を実行するとともに、同時に実行する複数のプログラムまたはプロセスを維持し得る。任意の所定の時点で、実行されるべきプログラムコードの一部または全部は、システムメモリ１０１０および／または潜在的に１つ以上の記憶装置を含むコンピュータ可読記憶媒体１０２２に常駐していてもよい。適切なプログラミングを介して、処理サブシステム１００４は、上述のさまざまな機能を提供し得る。コンピュータシステム１０００が１つ以上の仮想マシンを実行している例において、１つ以上の処理ユニットが各仮想マシンに割り当ててもよい。

特定の例において、コンピュータシステム１０００によって実行される全体的な処理を加速するように、カスタマイズされた処理を実行するために、または処理サブシステム１００４によって実行される処理の一部をオフロードするために、処理加速ユニット１００６を任意に設けることができる。

Ｉ／Ｏサブシステム１００８は、コンピュータシステム１０００に情報を入力するための、および／またはコンピュータシステム１０００から、もしくはコンピュータシステム１０００を介して、情報を出力するための、デバイスおよび機構を含むことができる。一般に、「入力デバイス」という語の使用は、コンピュータシステム１０００に情報を入力するためのすべての考えられ得るタイプのデバイスおよび機構を含むよう意図される。ユーザインターフェイス入力デバイスは、たとえば、キーボード、マウスまたはトラックボールなどのポインティングデバイス、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを伴う音声入力デバイス、マイクロフォン、および他のタイプの入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、ユーザが入力デバイスを制御しそれと対話することを可能にするMicrosoft Kinect（登録商標）モーションセンサ、Microsoft Xbox（登録商標）３６０ゲームコントローラ、ジェスチャおよび音声コマンドを用いる入力を受信するためのインターフェイスを提供するデバイスなど、モーションセンシングおよび／またはジェスチャ認識デバイスも含んでもよい。ユーザインターフェイス入力デバイスは、ユーザから目の動き（たとえば、写真を撮っている間および／またはメニュー選択を行っている間の「まばたき」）を検出し、アイジェスチャを入力デバイス（たとえばGoogle Glass（登録商標））への入力として変換するGoogle Glass（登録商標）瞬き検出器などのアイジェスチャ認識デバイスも含んでもよい。また、ユーザインターフェイス入力デバイスは、ユーザが音声コマンドを介して音声認識システム（たとえばSiri（登録商標）ナビゲータ）と対話することを可能にする音声認識感知デバイスを含んでもよい。

ユーザインターフェイス入力デバイスの他の例は、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびにスピーカ、デジタルカメラ、デジタルカムコーダ、ポータブルメディアプレーヤ、ウェブカム、画像スキャナ、指紋スキャナ、バーコードリーダ３Ｄスキャナ、３Ｄプリンタ、レーザレンジファインダ、および視線追跡デバイスなどの聴覚／視覚デバイスも含んでもよいが、それらに限定されない。また、ユーザインターフェイス入力デバイスは、たとえば、コンピュータ断層撮影、磁気共鳴撮像、ポジションエミッショントモグラフィー、および医療用超音波検査デバイスなどの医療用画像化入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、たとえば、ＭＩＤＩキーボード、デジタル楽器などの音声入力デバイスも含んでもよい。

一般に、出力デバイスという語の使用は、コンピュータシステム１０００からユーザまたは他のコンピュータに情報を出力するための考えられるすべてのタイプのデバイスおよび機構を含むことを意図している。ユーザインターフェイス出力デバイスは、ディスプレイサブシステム、インジケータライト、または音声出力デバイスなどのような非ビジュアルディスプレイなどを含んでもよい。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使うものなどのフラットパネルデバイス、計画デバイス、タッチスクリーンなどであってもよい。たとえば、ユーザインターフェイス出力デバイスは、モニタ、プリンタ、スピーカ、ヘッドフォン、自動車ナビゲーションシステム、プロッタ、音声出力デバイスおよびモデムなどの、テキスト、グラフィックスおよび音声／映像情報を視覚的に伝えるさまざまな表示デバイスを含んでもよいが、それらに限定されない。

ストレージサブシステム１０１８は、コンピュータシステム１０００によって使用される情報およびデータを格納するためのリポジトリまたはデータストアを提供する。ストレージサブシステム１０１８は、いくつかの例の機能を提供する基本的なプログラミングおよびデータ構成を格納するための有形の非一時的なコンピュータ可読記憶媒体を提供する。処理サブシステム１００４によって実行されると上述の機能を提供するソフトウェア（たとえばプログラム、コードモジュール、命令）が、ストレージサブシステム１０１８に格納されてもよい。ソフトウェアは、処理サブシステム１００４の１つ以上の処理ユニットによって実行されてもよい。ストレージサブシステム１０１８はまた、本開示の教示に従って認証を提供してもよい。

ストレージサブシステム１０１８は、揮発性および不揮発性メモリデバイスを含む１つ以上の非一時的メモリデバイスを含み得る。図１０に示すように、ストレージサブシステム１０１８は、システムメモリ１０１０およびコンピュータ可読記憶媒体１０２２を含む。システムメモリ１０１０は、プログラム実行中に命令およびデータを格納するための揮発性主ランダムアクセスメモリ（ＲＡＭ）と、固定命令が格納される不揮発性読取り専用メモリ（ＲＯＭ）またはフラッシュメモリとを含む、いくつかのメモリを含み得る。いくつかの実現例において、起動中などにコンピュータシステム１０００内の要素間における情報の転送を助ける基本的なルーチンを含むベーシックインプット／アウトプットシステム（basic input/output system：ＢＩＯＳ）は、典型的には、ＲＯＭに格納されてもよい。典型的に、ＲＡＭは、処理サブシステム１００４によって現在操作および実行されているデータおよび／またはプログラムモジュールを含む。いくつかの実現例において、システムメモリ１０１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などのような複数の異なるタイプのメモリを含み得る。

一例として、限定を伴うことなく、図１０に示されるように、システムメモリ１０１０は、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などのような各種アプリケーションを含み得る、実行中のアプリケーションプログラム１０１２、プログラムデータ１０１４、およびオペレーティングシステム１０１６を、ロードしてもよい。一例として、オペレーティングシステム１０１６は、Microsoft Windows（登録商標）、Apple Macintosh（登録商標）および／またはLinuxオペレーティングシステム、市販されているさまざまなUNIX（登録商標）またはUNIX系オペレーティングシステム（さまざまなGNU/Linuxオペレーティングシステム、Google Chrome（登録商標）ＯＳなどを含むがそれらに限定されない）、および／または、iOS（登録商標）、Windows Phone、Android（登録商標）ＯＳ、BlackBerry（登録商標）ＯＳ、Palm（登録商標）ＯＳオペレーティングシステムのようなさまざまなバージョンのモバイルオペレーティングシステムなどを、含み得る。

コンピュータ可読記憶媒体１０２２は、いくつかの例の機能を提供するプログラミングおよびデータ構成を格納することができる。コンピュータ可読記憶媒体１０２２は、コンピュータシステム１０００のための、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータのストレージを提供することができる。処理サブシステム１００４によって実行されると上記機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、ストレージサブシステム１０１８に格納されてもよい。一例として、コンピュータ可読記憶媒体１０２２は、ハードディスクドライブ、磁気ディスクドライブ、ＣＤ ＲＯＭ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）ディスクなどの光ディスクドライブ、またはその他の光学媒体のような不揮発性メモリを含み得る。コンピュータ可読記憶媒体１０２２は、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどを含んでもよいが、それらに限定されない。コンピュータ可読記憶媒体１０２２は、フラッシュメモリベースのＳＳＤ、エンタープライズフラッシュドライブ、ソリッドステートＲＯＭなどのような不揮発性メモリに基づくソリッドステートドライブ（ＳＳＤ）、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭのような揮発性メモリに基づくＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤとの組み合わせを使用するハイブリッドＳＳＤも含み得る。

特定の例において、ストレージサブシステム１０１８は、コンピュータ可読記憶媒体１０２２にさらに接続可能なコンピュータ可読記憶媒体リーダ１０２０も含み得る。リーダ１０２０は、ディスク、フラッシュドライブなどのようなメモリデバイスからデータを受け、読取るように構成されてもよい。

特定の例において、コンピュータシステム１０００は、処理およびメモリリソースの仮想化を含むがこれに限定されない仮想化技術をサポートし得る。たとえば、コンピュータシステム１０００は、１つ以上の仮想マシンを実行するためのサポートを提供し得る。特定の例において、コンピュータシステム１０００は、仮想マシンの構成および管理を容易にするハイパーバイザなどのプログラムを実行し得る。各仮想マシンには、メモリ、演算（たとえばプロセッサ、コア）、Ｉ／Ｏ、およびネットワーキングリソースを割り当てられてもよい。各仮想マシンは通常、他の仮想マシンから独立して実行される。仮想マシンは、典型的には、コンピュータシステム１０００によって実行される他の仮想マシンによって実行されるオペレーティングシステムと同じであり得るかまたは異なり得るそれ自体のオペレーティングシステムを実行する。したがって、潜在的に複数のオペレーティングシステムがコンピュータシステム１０００によって同時に実行され得る。

通信サブシステム１０２４は、他のコンピュータシステムおよびネットワークに対するインターフェイスを提供する。通信サブシステム１０２４は、他のシステムとコンピュータシステム１０００との間のデータの送受のためのインターフェイスとして機能する。たとえば、通信サブシステム１０２４は、コンピュータシステム１０００が、１つ以上のクライアントデバイスとの間で情報を送受信するために、インターネットを介して１つ以上のクライアントデバイスへの通信チャネルを確立することを可能にし得る。例えば、コンピュータシステム１０００が、図１に示されるボットシステム１２０を実現するために使用される場合、通信サブシステムは、アプリケーション用に選択されたチャットボットシステムと通信するために使用され得る。

通信サブシステム１０２４は、有線および／または無線通信プロトコルの両方をサポートし得る。ある例において、通信サブシステム１０２４は、（たとえば、セルラー電話技術、３Ｇ、４ＧもしくはＥＤＧＥ（グローバル進化のための高速データレート）などの先進データネットワーク技術、ＷｉＦｉ（ＩＥＥＥ８０２．ＸＸファミリー規格、もしくは他のモバイル通信技術、またはそれらのいずれかの組み合わせを用いて）無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ）送受信機コンポーネント、グローバルポジショニングシステム（ＧＰＳ）受信機コンポーネント、および／または他のコンポーネントを含み得る。いくつかの例において、通信サブシステム１０２４は、無線インターフェイスに加えてまたはその代わりに、有線ネットワーク接続（たとえばEthernet（登録商標））を提供し得る。

通信サブシステム１０２４は、さまざまな形式でデータを受信および送信し得る。いくつかの例において、通信サブシステム１０２４は、他の形式に加えて、構造化データフィードおよび／または非構造化データフィード１０２６、イベントストリーム１０２８、イベントアップデート１０３０などの形式で入力通信を受信してもよい。たとえば、通信サブシステム１０２４は、ソーシャルメディアネットワークおよび／またはTwitter（登録商標）フィード、Facebook（登録商標）アップデート、Rich Site Summary（ＲＳＳ）フィードなどのウェブフィード、および／または１つ以上の第三者情報源からのリアルタイムアップデートなどのような他の通信サービスのユーザから、リアルタイムでデータフィード１０２６を受信（または送信）するように構成されてもよい。

特定の例において、通信サブシステム１０２４は、連続データストリームの形式でデータを受信するように構成されてもよく、当該連続データストリームは、明確な終端を持たない、本来は連続的または無限であり得るリアルタイムイベントのイベントストリーム１０２８および／またはイベントアップデート１０３０を含んでもよい。連続データを生成するアプリケーションの例としては、たとえば、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール（たとえばネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム解析ツール、自動車交通モニタリングなどを挙げることができる。

通信サブシステム１０２４は、コンピュータシステム１０００からのデータを他のコンピュータシステムまたはネットワークに伝えるように構成されてもよい。このデータは、構造化および／または非構造化データフィード１０２６、イベントストリーム１０２８、イベントアップデート１０３０などのような各種異なる形式で、コンピュータシステム１０００に結合された１つ以上のストリーミングデータソースコンピュータと通信し得る１つ以上のデータベースに、伝えられてもよい。

コンピュータシステム１０００は、ハンドヘルドポータブルデバイス（たとえばiPhone（登録商標）セルラーフォン、iPad（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブルデバイス（たとえばGoogle Glass（登録商標）ヘッドマウントディスプレイ）、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムを含む、さまざまなタイプのうちの１つであればよい。コンピュータおよびネットワークの性質が常に変化しているため、図１０に示されるコンピュータシステム１０００の記載は、具体的な例として意図されているに過ぎない。図１０に示されるシステムよりも多くのコンポーネントまたは少ないコンポーネントを有するその他多くの構成が可能である。本明細書における開示および教示に基づいて、さまざまな例を実現するための他の態様および／または方法があることが認識されるはずである。

特定の例について説明したが、さまざまな変形、変更、代替構成、および均等物が可能である。例は、特定のデータ処理環境内の動作に限定されず、複数のデータ処理環境内で自由に動作させることができる。さらに、例を特定の一連のトランザクションおよびステップを使用して説明したが、これが限定を意図しているのではないことは当業者には明らかであるはずである。いくつかのフローチャートは動作を逐次的プロセスとして説明しているが、これらの動作のうちの多くは並列または同時に実行されてもよい。加えて、動作の順序を再指定してもよい。プロセスは図に含まれない追加のステップを有し得る。上記の例の各種特徴および局面は、個別に使用されてもよく、またはともに使用されてもよい。

さらに、特定の例をハードウェアとソフトウェアとの特定の組み合わせを用いて説明してきたが、ハードウェアとソフトウェアとの他の組み合わせも可能であることが理解されるはずである。特定の例は、ハードウェアでのみ、またはソフトウェアでのみ、またはそれらの組み合わせを用いて実現されてもよい。本明細書に記載されたさまざまなプロセスは、同じプロセッサまたは任意の組み合わせの異なるプロセッサ上で実現されてもよい。

デバイス、システム、コンポーネントまたはモジュールが特定の動作または機能を実行するように構成されると記載されている場合、そのような構成は、たとえば、動作を実行するように電子回路を設計することにより、動作を実行するようにプログラミング可能な電子回路（マイクロプロセッサなど）をプログラミングすることにより、たとえば、非一時的なメモリ媒体に格納されたコードもしくは命令またはそれらの任意の組み合わせを実行するようにプログラミングされたコンピュータ命令もしくはコード、またはプロセッサもしくはコアを実行するなどにより、達成され得る。プロセスは、プロセス間通信のための従来の技術を含むがこれに限定されないさまざまな技術を使用して通信することができ、異なる対のプロセスは異なる技術を使用してもよく、同じ対のプロセスは異なる時間に異なる技術を使用してもよい。

本開示では具体的な詳細を示すことにより例が十分に理解されるようにしている。しかしながら、例はこれらの具体的な詳細がなくとも実施し得るものである。たとえば、周知の回路、プロセス、アルゴリズム、構造、および技術は、例が曖昧にならないようにするために不必要な詳細事項なしで示している。本明細書は例示的な例のみを提供し、他の例の範囲、適用可能性、または構成を限定するよう意図されたものではない。むしろ、例の上記説明は、各種例を実現することを可能にする説明を当業者に提供する。要素の機能および構成の範囲内でさまざまな変更が可能である。

したがって、明細書および図面は、限定的な意味ではなく例示的なものとみなされるべきである。しかしながら、請求項に記載されているより広範な精神および範囲から逸脱することなく、追加、削減、削除、ならびに他の修正および変更がこれらになされ得ることは明らかであろう。このように、具体的な例を説明してきたが、これらは限定を意図するものではない。さまざまな変形例および同等例は添付の特許請求の範囲内にある。

上記の明細書では、本開示の局面についてその具体的な例を参照して説明しているが、本開示はそれに限定されるものではないということを当業者は認識するであろう。上記の開示のさまざまな特徴および局面は、個々にまたは一緒に用いられてもよい。さらに、例は、明細書のさらに広い精神および範囲から逸脱することなく、本明細書に記載されているものを超えて、さまざまな環境および用途で利用することができる。したがって、明細書および図面は、限定的ではなく例示的であると見なされるべきである。

上記の説明では、例示の目的で、方法を特定の順序で記載した。代替の例では、方法は記載された順序とは異なる順序で実行されてもよいことを理解されたい。また、上記の方法は、ハードウェアコンポーネントによって実行されてもよいし、マシン実行可能命令であって、用いられると、そのような命令でプログラムされた汎用もしくは専用のプロセッサまたは論理回路などのマシンに方法を実行させてもよいマシン実行可能命令のシーケンスで具体化されてもよいことも理解されたい。これらのマシン実行可能命令は、ＣＤ－ＲＯＭもしくは他の種類の光ディスク、フロッピー（登録商標）ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光学カード、フラッシュメモリのような、１つ以上の機械可読媒体、または電子命令を記憶するのに適した他の種類の機械可読媒体に保存できる。代替的に、これらの方法は、ハードウェアとソフトウェアとの組み合わせによって実行されてもよい。

構成要素が特定の動作を実行するように構成されるとして記載されている場合、そのような構成は、たとえば、特定の動作を実行するよう電子回路もしくは他のハードウェアを設計すること、特定の動作を実行するようプログラミング可能な電子回路（たとえばマイクロプロセッサもしくは他の好適な電子回路）をプログラミングすること、またはそれらの任意の組み合わせによって達成されてもよい。

本願の説明のための例をここに詳細に記載したが、本発明の概念は、他の態様で様々に具現化および採用され得ること、および特許請求の範囲は、先行技術によって制限される場合を除き、そのような変形を含むように解釈されるよう意図されることを理解されたい。

Claims (18)

1. 方法であって、
   機械学習モデルをトレーニングするために１つ以上のデータセットを取得することと、
   前記１つ以上のデータセットに対する前記機械学習モデルの性能を評価するために複数のメトリックを選択することと、
   前記複数のメトリックの各メトリックに第１の重みを割り当てることとを含み、前記第１の重みは、前記機械学習モデルの前記性能に対する各メトリックの重要度を指定し、前記方法はさらに、
   前記複数のメトリックおよび前記複数のメトリックの各々に割り当てられた前記第１の重みに基づいて、前記機械学習モデルの前記性能を測定するコスト関数または損失関数を作成することと、
   前記複数のメトリックについて前記機械学習モデルを最適化するために、前記機械学習モデルに関連付けられるハイパーパラメータのセットをチューニングすることとを含み、前記チューニングすることは、
   （ｉ）前記機械学習モデルを前記１つ以上のデータセットでトレーニングすることを含み、前記機械学習モデルは、前記ハイパーパラメータのセットの現在の値のセットに基づいて構成され、前記チューニングすることはさらに、
   （ｉｉ）前記コスト関数または損失関数を使用して、前記１つ以上のデータセットに対する前記機械学習モデルの性能を評価することと、
   （ｉｉｉ）前記評価に基づいて、前記機械学習モデルが前記複数のメトリックについて最適化されるかどうかを判断することと、
   （ｉｖ）前記機械学習モデルが前記複数のメトリックについて最適化されていないことに応答して、前記ハイパーパラメータのセットに対する新たな値のセットを探索することと、前記新たな値のセットで前記機械学習モデルを再構成することと、前記再構成された機械学習モデルを使用してステップ（ｉ）～（ｉｉｉ）を繰り返すことと、
   （ｖ）前記機械学習モデルが前記複数のメトリックについて最適化されることに応答して、前記機械学習モデルを、トレーニングされた機械学習モデルとして提供することとを含む、方法。
2. 前記複数のメトリックは、少なくとも、前記機械学習モデルのサイズ、前記機械学習モデルのトレーニング時間、前記機械学習モデルの正解率、前記機械学習モデルの安定性、前記機械学習モデルの回帰誤差、および前記機械学習モデルの信頼度スコアを含む、請求項１に記載の方法。
3. 前記１つ以上のデータセットの各データセットに第２の重みを割り当てることをさらに含み、前記第２の重みは、前記機械学習モデルをトレーニングする際の各データセットの重要度を指定する、請求項１に記載の方法。
4. 前記ハイパーパラメータのセットのうちの１つ以上のハイパーパラメータに基づいて１つ以上の制約を確立することをさらに含み、最適化された機械学習モデルは前記１つ以上の制約の各々を満たす、請求項１に記載の方法。
5. 前記１つ以上の制約のうちの第１の制約は、前記機械学習モデルのモデルサイズが閾値モデルサイズ未満であることを必要とすること、または前記機械学習モデルのトレーニング時間が閾値時間制限未満であることを必要とすることに対応する、請求項４に記載の方法。
6. 前記機械学習モデルはニューラルネットワークモデルであり、前記ハイパーパラメータのセットは、少なくとも、前記機械学習モデルの層の数、前記機械学習モデルの学習率、前記機械学習モデルの各層内の隠れユニットの数、前記機械学習モデルをトレーニングするために利用される学習アルゴリズムを含む、請求項１に記載の方法。
7. コンピューティングデバイスであって、
   プロセッサと、
   命令を含むメモリとを備え、前記命令は、前記プロセッサによって実行されると、前記コンピューティングデバイスに、少なくとも、
   機械学習モデルをトレーニングするために１つ以上のデータセットを取得させ、
   前記１つ以上のデータセットに対する前記機械学習モデルの性能を評価するために複数のメトリックを選択させ、
   前記複数のメトリックの各メトリックに第１の重みを割り当てさせ、前記第１の重みは、前記機械学習モデルの前記性能に対する各メトリックの重要度を指定し、前記命令は、さらに、前記プロセッサによって実行されると、前記コンピューティングデバイスに、少なくとも、
   前記複数のメトリックおよび前記複数のメトリックの各々に割り当てられた前記第１の重みに基づいて、前記機械学習モデルの前記性能を測定するコスト関数または損失関数を作成させ、
   前記複数のメトリックについて前記機械学習モデルを最適化するために、前記機械学習モデルに関連付けられるハイパーパラメータのセットをチューニングさせ、前記ハイパーパラメータのセットをチューニングすることは、
   （ｉ）前記機械学習モデルを前記１つ以上のデータセットでトレーニングすることを含み、前記機械学習モデルは、前記ハイパーパラメータのセットの現在の値のセットに基づいて構成され、前記ハイパーパラメータのセットをチューニングすることはさらに、
   （ｉｉ）前記コスト関数または損失関数を使用して、前記１つ以上のデータセットに対する前記機械学習モデルの性能を評価することと、
   （ｉｉｉ）前記評価に基づいて、前記機械学習モデルが前記複数のメトリックについて最適化されるかどうかを判断することと、
   （ｉｖ）前記機械学習モデルが前記複数のメトリックについて最適化されていないことに応答して、前記ハイパーパラメータのセットに対する新たな値のセットを探索することと、前記新たな値のセットで前記機械学習モデルを再構成することと、前記再構成された機械学習モデルを使用してステップ（ｉ）～（ｉｉｉ）を繰り返すことと、
   （ｖ）前記機械学習モデルが前記複数のメトリックについて最適化されることに応答して、前記機械学習モデルを、トレーニングされた機械学習モデルとして提供することとを含む、コンピューティングデバイス。
8. 前記複数のメトリックは、少なくとも、前記機械学習モデルのサイズ、前記機械学習モデルのトレーニング時間、前記機械学習モデルの正解率、前記機械学習モデルの安定性、前記機械学習モデルの回帰誤差、および前記機械学習モデルの信頼度スコアを含む、請求項７に記載のコンピューティングデバイス。
9. 前記プロセッサは、さらに、前記１つ以上のデータセットの各データセットに第２の重みを割り当てるよう構成され、前記第２の重みは、前記機械学習モデルをトレーニングする際の各データセットの重要度を指定する、請求項７に記載のコンピューティングデバイス。
10. 前記プロセッサは、さらに、前記ハイパーパラメータのセットのうちの１つ以上のハイパーパラメータに基づいて１つ以上の制約を確立するよう構成され、最適化された機械学習モデルは前記１つ以上の制約の各々を満たす、請求項７に記載のコンピューティングデバイス。
11. 前記１つ以上の制約のうちの第１の制約は、前記機械学習モデルのモデルサイズが閾値モデルサイズ未満であることを必要とすること、または前記機械学習モデルのトレーニング時間が閾値時間制限未満であることを必要とすることに対応する、請求項７に記載のコンピューティングデバイス。
12. 前記機械学習モデルはニューラルネットワークモデルであり、前記ハイパーパラメータのセットは、少なくとも、前記機械学習モデルの層の数、前記機械学習モデルの学習率、前記機械学習モデルの各層内の隠れユニットの数、前記機械学習モデルをトレーニングするために利用される学習アルゴリズムを含む、請求項７に記載のコンピューティングデバイス。
13. 特定のコンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、コンピュータシステムに、少なくとも、
    機械学習モデルをトレーニングするために１つ以上のデータセットを取得させ、
    前記１つ以上のデータセットに対する前記機械学習モデルの性能を評価するために複数のメトリックを選択させ、
    前記複数のメトリックの各メトリックに第１の重みを割り当てさせ、前記第１の重みは、前記機械学習モデルの前記性能に対する各メトリックの重要度を指定し、前記命令は、さらに、前記プロセッサによって実行されると、前記コンピュータシステムに、少なくとも、
    前記複数のメトリックおよび前記複数のメトリックの各々に割り当てられた前記第１の重みに基づいて、前記機械学習モデルの前記性能を測定するコスト関数または損失関数を作成させ、
    前記複数のメトリックについて前記機械学習モデルを最適化するために、前記機械学習モデルに関連付けられるハイパーパラメータのセットをチューニングさせ、前記ハイパーパラメータのセットをチューニングすることは、
    （ｉ）前記機械学習モデルを前記１つ以上のデータセットでトレーニングすることを含み、前記機械学習モデルは、前記ハイパーパラメータのセットの現在の値のセットに基づいて構成され、前記ハイパーパラメータのセットをチューニングすることはさらに、
    （ｉｉ）前記コスト関数または損失関数を使用して、前記１つ以上のデータセットに対する前記機械学習モデルの性能を評価することと、
    （ｉｉｉ）前記評価に基づいて、前記機械学習モデルが前記複数のメトリックについて最適化されるかどうかを判断することと、
    （ｉｖ）前記機械学習モデルが前記複数のメトリックについて最適化されていないことに応答して、前記ハイパーパラメータのセットに対する新たな値のセットを探索することと、前記新たな値のセットで前記機械学習モデルを再構成することと、前記再構成された機械学習モデルを使用してステップ（ｉ）～（ｉｉｉ）を繰り返すことと、
    （ｖ）前記機械学習モデルが前記複数のメトリックについて最適化されることに応答して、前記機械学習モデルを、トレーニングされた機械学習モデルとして提供することとを含む、非一時的コンピュータ可読媒体。
14. 前記複数のメトリックは、少なくとも、前記機械学習モデルのサイズ、前記機械学習モデルのトレーニング時間、前記機械学習モデルの正解率、前記機械学習モデルの安定性、前記機械学習モデルの回帰誤差、および前記機械学習モデルの信頼度スコアを含む、請求項１３に記載の非一時的コンピュータ可読媒体。
15. 前記コンピュータシステムは、さらに、前記１つ以上のデータセットの各データセットに第２の重みを割り当てるよう構成され、前記第２の重みは、前記機械学習モデルをトレーニングする際の各データセットの重要度を指定する、請求項１３に記載の非一時的コンピュータ可読媒体。
16. 前記コンピュータシステムは、さらに、前記ハイパーパラメータのセットのうちの１つ以上のハイパーパラメータに基づいて１つ以上の制約を確立するよう構成され、最適化された機械学習モデルは前記１つ以上の制約の各々を満たす、請求項１３に記載の非一時的コンピュータ可読媒体。
17. 前記１つ以上の制約のうちの第１の制約は、前記機械学習モデルのモデルサイズが閾値モデルサイズ未満であることを必要とすること、または前記機械学習モデルのトレーニング時間が閾値時間制限未満であることを必要とすることに対応する、請求項１３に記載の非一時的コンピュータ可読媒体。
18. 前記機械学習モデルはニューラルネットワークモデルであり、前記ハイパーパラメータのセットは、少なくとも、前記機械学習モデルの層の数、前記機械学習モデルの学習率、前記機械学習モデルの各層内の隠れユニットの数、前記機械学習モデルをトレーニングするために利用される学習アルゴリズムを含む、請求項１３に記載の非一時的コンピュータ可読媒体。

Images