JP7640539B2 - 対話型機械学習 - Google Patents

Description

本開示は、一般に、機械学習に基づく予測を対象とし、より詳細には、機械学習予測とのユーザ対話のためのシステム及び方法を対象とする。

様々な産業に機械学習を適用する現在の試みはエンド・ユーザによる直接関与をめったに使用しない。さらに、機械学習モデルの予測は、機械学習がトレーニングされるデータの品質に大きく依存する。しかしながら、たいていのユーザは、そのようなモデルを、ユーザが理解もせず、直観的に信頼もしない「ブラック・ボックス」とみなす。さらに、ユーザは、機械学習モデルの予測された成果にどのように直接影響を及ぼすかを知る機会を有しない。

ユーザ対話が、入力データを変更すること、又はモデルを再トレーニングすることのいずれかによって機械学習結果に影響を及ぼすことを可能にするシステム及び方法を本明細書で本開示する。言い換えれば、サプライ・チェーン情報に関する予測の正確さを改善するために、モデルを再トレーニングするために人間フィードバックが使用される。

ユーザが機械学習モデルへの直観的信頼を築くことを可能にするために、本開示は、ユーザがユーザ対話に基づいてモデル自体に影響を及ぼすことを可能にする方法及びシステムを提供する。そのような影響は、１）予測するために使用される情報を変更すること、２）モデル自体を再トレーニングすることの２つの方法で行うことができる。

一態様では、システムは、プロセッサと、命令を記憶するメモリとを備え、命令は、プロセッサによって実行されたとき、機械学習モジュールによって、データを前処理することと、機械学習モジュールによって、前処理されたデータを用いて複数の機械学習モデルをトレーニングすることと、機械学習モジュールによって、複数の機械学習モデルからトレーニングされた機械学習モデルを選択することと、機械学習モジュールによって、トレーニングされた機械学習モデルに基づいて結果を予測することと、機械学習モジュールによって、ユーザのための予測をユーザ・インターフェースに出力することと、補正された予測を与えるために、ユーザによって、ユーザ・インターフェースを介して予測を補正することと、機械学習モジュールによって、補正された予測に関連付けられたデータを前処理することと、機械学習モジュールによって、補正された予測とトレーニングされた機械学習モデルとに関連付けられたデータに基づいて新しい結果を予測することとを行うようにシステムを構成する。

いくつかの実施例では、ユーザ・インターフェースはグラフィカル・ユーザ・インターフェースであり得る。いくつかの実施例では、結果はデバイスに出力され得、ユーザは、デバイスのスクリーン上の１つ又は複数のオブジェクトを移動することによって予測を補正し得る。

いくつかの実施例では、ユーザは、予測に関連付けられたデータ・ファイルを補正することによって予測を補正し得る。

いくつかの実施例では、機械学習モデルは、最近傍（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、単純ベイズ（Ｎａｉｖｅ Ｂａｙｅｓ）、デシジョン・ツリー、線形回帰、サポート・ベクター・マシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）、ニューラル・ネットワーク及びそれらの任意の組合せからなるグループから選択され得る。

いくつかの実施例では、命令は、さらに、トレーニングされた機械学習モデルに基づいて結果を予測した後に、機械学習モジュールによって、データに関連付けられた１つ又は複数の特徴に対して結果を最適化するようにシステムを構成することができ、予測を補正することは、データの１つ又は複数の特徴のサブセットを制約することを含む。

別の態様では、対話型機械学習のコンピュータ実装方法であって、方法は、機械学習モジュールによって、データを前処理することと、機械学習モジュールによって、前処理されたデータを用いて複数の機械学習モデルをトレーニングすることと、機械学習モジュールによって、複数の機械学習モデルからトレーニングされた機械学習モデルを選択することと、機械学習モジュールによって、トレーニングされた機械学習モデルに基づいて結果を予測することと、機械学習モジュールによって、ユーザのための予測をユーザ・インターフェースに出力することと、補正された予測を与えるために、ユーザによって、ユーザ・インターフェースを介して予測を補正することと、機械学習モジュールによって、補正された予測に関連付けられたデータを前処理することと、機械学習モジュールによって、補正された予測とトレーニングされた機械学習モデルとに関連付けられたデータに基づいて新しい結果を予測することとを含む。

いくつかの実施例では、ユーザ・インターフェースはグラフィカル・ユーザ・インターフェースであり得る。いくつかの実施例では、結果はデバイスに出力され得、ユーザは、デバイスのスクリーン上の１つ又は複数のオブジェクトを移動することによって予測を補正し得る。

いくつかの実施例では、ユーザは、予測に関連付けられたデータ・ファイルを補正することによって予測を補正し得る。

いくつかの実施例では、機械学習モデルは、最近傍、単純ベイズ、デシジョン・ツリー、線形回帰、サポート・ベクター・マシン（ＳＶＭ）、ニューラル・ネットワーク及びそれらの任意の組合せからなるグループから選択され得る。

いくつかの実施例では、方法は、トレーニングされた機械学習モデルに基づいて結果を予測した後に、機械学習モジュールによって、データに関連付けられた１つ又は複数の特徴に対して結果を最適化することをさらに含み得、予測を補正することは、データの１つ又は複数の特徴のサブセットを制約することを含む。

別の態様では、非一時的コンピュータ可読記憶媒体であって、コンピュータ可読記憶媒体は、コンピュータによって実行されたとき、コンピュータに、機械学習モジュールによって、データを前処理することと、機械学習モジュールによって、前処理されたデータを用いて複数の機械学習モデルをトレーニングすることと、機械学習モジュールによって、複数の機械学習モデルからトレーニングされた機械学習モデルを選択することと、機械学習モジュールによって、トレーニングされた機械学習モデルに基づいて結果を予測することと、機械学習モジュールによって、ユーザのための予測をユーザ・インターフェースに出力することと、補正された予測を与えるために、ユーザによって、ユーザ・インターフェースを介して予測を補正することと、機械学習モジュールによって、補正された予測に関連付けられたデータを前処理することと、機械学習モジュールによって、補正された予測とトレーニングされた機械学習モデルとに関連付けられたデータに基づいて新しい結果を予測することとを行わせる命令を含む。

いくつかの実施例では、ユーザ・インターフェースはグラフィカル・ユーザ・インターフェースであり得る。いくつかの実施例では、結果はデバイスに出力され得、ユーザは、デバイスのスクリーン上の１つ又は複数のオブジェクトを移動することによって予測を補正し得る。

いくつかの実施例では、ユーザは、予測に関連付けられたデータ・ファイルを補正することによって予測を補正し得る。

いくつかの実施例では、機械学習モデルは、最近傍、単純ベイズ、デシジョン・ツリー、線形回帰、サポート・ベクター・マシン（ＳＶＭ）、ニューラル・ネットワーク及びそれらの任意の組合せからなるグループから選択され得る。

いくつかの実施例では、命令は、さらに、トレーニングされた機械学習モデルに基づいて結果を予測した後に、機械学習モジュールによって、データに関連付けられた１つ又は複数の特徴に対して結果を最適化するようにコンピュータを構成し得、予測を補正することはデータの１つ又は複数の特徴のサブセットを制約することを含む。

この明細書の主題の１つ又は複数の実施例の詳細は添付の図面及び以下の説明に記載されている。本主題の他の特徴、態様及び利点は、説明、図面及び特許請求の範囲から明らかになろう。

様々な図面における同様の参照番号及び指定は同様の要素を示す。

任意の特定の要素又は行為の説明を容易に識別するために、参照番号中の最上位の１つ又は複数の数字は、その要素が最初に導入された図番号を指す。

対話型機械学習の一実施例による概観を示す図である。 対話型機械学習の一実施例による概観を示す図である。 対話型機械学習の一実施例によるブロック図を示す図である。 対話型機械学習の一実施例によるフローチャートを示す図である。 対話型機械学習の一実施例によるフローチャートを示す図である。 対話型機械学習の一実施例によるブロック図を示す図である。 対話型機械学習の一実施例によるフローチャートを示す図である。 対話型機械学習の一実施例による、プロモーション最適化のフェーズ１を示す図である。 図３に示された実施例による、最適化された予測８００を示す図である。 図８に示された実施例による、プロモーションの対話型フェーズを示す図である。 図９に示された実施例による、プロモーション最適化の最後のフェーズを示す図である。 対話型機械学習の一実施例によるブロック図を示す図である。 対話型機械学習の一実施例による、クラスタ・グルーピングのダイヤグラムを示す図である。 一要素を移動した後の図１２のクラスタ・グルーピングのダイヤグラムを示す図である。 新しい要素を追加した後の図１３のクラスタ・グルーピングのダイヤグラムを示す図である。 対話型機械学習の一実施例による、一要素を追加、移動、及び追加した後のクラスタ・グルーピングの一連のダイヤグラムを示す図である。 対話型機械学習の一実施例によるフローチャートを示す図である。 対話型機械学習の一実施例によるフローチャートを示す図である。 対話型機械学習の一実施例によるシステムを示す図である。

本文書では、実例、インスタンス又は説明として役に立つ、本明細書で説明する本主題の任意の実施例又は実装形態は、必ずしも、他の実施例に対して好ましい又は有利であると解釈されるべきであるとは限らない。

本開示は様々な変更及び代替形態の余地があるが、それの特定の実施例は、例として図面に示されており、それについて以下で詳細に説明する。しかしながら、それは、本開示を開示した特定の形態に限定するものではなく、反対に、本開示は、本開示の範囲内に入るすべての改変、等価物及び代替をカバーするものであることが理解されるべきである。

「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語、又はそれの任意の他の変形は、構成要素若しくはステップのリストを含むセットアップ、デバイス又は方法が、それらの構成要素又はステップのみを含むのではなく、明確に記載されない、又はそのようなセットアップ若しくはデバイス若しくは方法に固有の他の構成要素又はステップを含み得るように、非排他的に包含をカバーするものである。言い換えれば、「を備える」に先行するシステム又は装置中の１つ又は複数の要素は、さらなる制約なしに、システム又は装置中の他の要素又は追加の要素の存在を排除しない。

本開示の実施例の以下の詳細な説明では、本出願の一部を形成し、本開示がそこにおいて実施され得る特定の実施例が説明として示されている添付の図面を参照する。これらの実施例について、当業者が本開示を実施することを可能にするために十分詳細に説明するが、本開示の範囲から逸脱することなく、他の実施例が利用され得、変更が行われ得ることを理解されたい。以下の説明は、したがって、限定的な意味で取られるべきではない。

図１Ａ及び図１Ｂは、対話型機械学習の一実施例による概観１００を示す。

図１Ａにおいて、従来のプロセス１１０は、機械学習モデル１０４をトレーニングするためにデータ・ベース１０２が与えられた、従来の機械学習の簡単な概観を示し、トレーニングされたモデルは予測１０６を与える。

図１Ｂにおいて、対話型機械学習１１２の概観は、データ・ベース１０２と機械学習モデル１０４との送信の間のユーザ対話１０８の挿入を示す。すなわち、ユーザは、機械学習モデルによるデータの使用の前に、データを操作するために直接介入する。

図２は、対話型機械学習の一実施例によるブロック図２００を示す。

生データが最初にステップ２０４において機械学習モジュールに送信される。データはステップ２０６において前処理され、その後に、データは、ステップ２０８において１つ又は複数の機械学習モデルをトレーニングするために送られる。各トレーニングされたモデルは評価され、予測を行うために、ステップ２１０においてトレーニングされたモデルが選択される。トレーニングされたモデルは、ステップ２１２において結果を予測するために使用される。この際、結果は、ステップ２１８において予測された結果を補正するオプションを有するユーザに提示される。補正された結果は、次いで、新しい又は更新されたデータとして使用される。

機械学習モデルが回帰分析を与える場合、補正された結果は、ステップ２２２において前処理されたデータとして扱われる。その後、ステップ２２４において、前処理されたデータは、ステップ２１２において予測を行うために、ステップ２１０において選択されたトレーニングされたモデルによって使用される。ユーザは、新しい予測をもう一度調べ、結果を保持する（その時点において、ステップ２１６においてプロセスは終了する）べきか、ループ２３０を継続するべきかを決定することができる。このループは、ユーザが結果に満足するまで必要に応じて何回も実行され得、プロセスはステップ２１６において終了する。

機械学習モデルが回帰分析（たとえば、クラスタリング分析）を与えない場合、補正された結果は、ステップ２０６において前処理されるべきデータとして扱われ、ステップ２０８～ステップ２１２が再実行される。ユーザが新しい予測に満足した場合、プロセスはステップ２１６において終了する。他の場合、ループ２２８は、ユーザが結果に満足するまで必要に応じて何回も実行され得、プロセスはステップ２１６において終了する。

図３は、対話型機械学習の一実施例によるフローチャート３００を示す。

図３において、ユーザ３０４はサーバ３０６に結果を要求３１０する。この初期要求に基づいて、サーバ３０６は、要求された結果のために必要とされるものを計算することができる。サーバ３０６は、データストア３０８にクエリを送るか、又はデータを要求３１２し、データストア３０８は、次いで、機械学習モジュールをホストするサーバ３０６にデータの送信３１４を与える。このモジュールは、予測を行い、結果の送信３１６をユーザ３０４に与える機械学習モデルに供給されるデータを前処理し、ユーザ３０４は、次いで、ユーザ補正３０２を介して結果を修正することができる。

データの前処理は、データの変換、検証、修正又はそれらの任意の組合せを含み得る。

データの検証は、単に、入来データに潜在的なエラーがあるかどうかを決定することを意味する。たとえば、検証は、消失したデータ、ヌル・データ、行数の相違、及びデータ不一致の識別を含むことができる。いくつかの実施例では、データ検証モジュールは、異常データ値を識別するためにｚスコアしきい値とともに機械学習アルゴリズムを使用し得る。

データ修正は、エラーを示すデータの修正又は再計算を伴う。たとえば、消失した値又は誤った値は、１つ又は複数の既存の値、既存のデータの算術平均、又は既存のデータの平均から補間されるデータを使用して交換され得る。いくつかの実施例では、データの修正は、エラーを示すデータを交換するために予測モデルを使用することができる。

ユーザ３０４からサーバ３０６への補正された結果／データの送信３１８が行われる。この時点で、データの前処理３２６が行われる。たとえば、補正されたデータは（図２におけるステップ２０６又はステップ２２２の場合と同様に）前処理される。機械学習モデルが回帰タイプ分析を与える場合、データの前処理３２６は、（図２のループ２３０の場合と同様に）新しい又は更新された予測を行うためのトレーニングされたモデルの再適用を含む。機械学習モデルが回帰分析（たとえばクラスタリング分析）を伴わない場合、再トレーニング３２８は、新しい又は更新された予測を行うために、図２のループ２２８中のステップを含むことができる。

更新された予測は、更新された結果の送信３２２によってユーザ３０４に与えられる。この時点で、ユーザ３０４は、更新された結果を承認するか、又は、随意のループ３２４を介して結果を補正することを求めることができ、データ３２６の前処理とともに、サーバ３０６への補正された結果／データの送信３１８がもう一度行われ、新しい予測のさらなる計算と更新された結果の送信３２２とがユーザ３０４に戻る。随意のループ３２４は、ユーザ３０４が結果に満足するまで継続する。最後の補正されたデータセットは、補正されたデータの送信３２０を介して記憶のためにデータストア３０８に送られる。

いくつかの実施例では、ユーザ補正３０２は以下のように行われ得る。ユーザ３０４に送信された予測は、（たとえば、スプレッドシートに又はＪＳＯＮドキュメント中のデータセットとして）予測されたデータを含む任意のフォーマットであり得る。ユーザ３０４は予測を購入することができる。その場合、ユーザ３０４は、品目の１つのグループについて予測が多少間違っていることを決定し、予測されたデータセットを含んでいるファイルを補正することによって（たとえば、補正された予測を用いてスプレッドシート又はＪＳＯＮドキュメントを補正することによって）予測を補正する。ユーザ３０４は、補正されたデータ・ファイルを（たとえば、スプレッドシート又はＪＳＯＮドキュメントをＨＴＴＰ要求によって）サーバ３０６に送信し、サーバ３０６はそれを承認する。サーバ３０６は、データの前処理３２６において補正されたデータセットを用いて前処理されたデータセットを補正する。

図４は、対話型機械学習の一実施例によるフローチャート４００を示す。

図４において、ユーザはサーバ３０６に結果を要求３１０する。この初期要求に基づいて、サーバ３０６は、要求された結果のために必要とされるものを計算することができる。サーバ３０６は、データストア３０８にクエリを送るか、又はデータを要求３１２し、データストア３０８は、次いで、機械学習モジュールをホストするサーバ３０６にデータの送信３１４を行う。このモジュールは、データを前処理し、データは機械学習モデルに供給され、機械学習モデルは、予測を行い、ユーザ３０４に結果の送信３１６を行い、ユーザ３０４は、次いで、ユーザ補正３０２を介して結果を修正することができる。

ユーザ３０４からサーバ３０６への補正された結果／データの送信３１８が行われる。この時点で、データの前処理３２６が行われる。たとえば、補正されたデータは（図２におけるステップ２０６又はステップ２２２の場合と同様に）前処理される。機械学習モデルが回帰分析を含む場合、データの前処理３２６は、（図２のループ２３０の場合と同様に）新しい又は更新された予測を行うためのトレーニングされたモデルの再適用を含む。機械学習モデルが回帰分析（たとえばクラスタリング分析）を与えない場合、再トレーニング３２８は、新しい又は更新された予測を行うために、図２のループ２２８中のステップを含むことができる。

更新された予測は、更新された結果の送信３２２によってユーザ３０４に与えられる。この時点で、ユーザ３０４は、更新された結果を承認するか、又は、随意のループ３２４を介して結果を補正することを求めることができ、データの前処理３２６とともに、サーバ３０６への補正された結果／データの送信３１８がもう一度行われ、新しい予測のさらなる計算と更新された結果の送信３２２とがユーザ３０４に戻る。随意のループ３２４は、ユーザ３０４が結果に満足するまで継続する。最後の補正されたデータセットは、補正されたデータの送信３２０を介して記憶のためにデータストア３０８に送られる。

図４において、予測されたデータを含んでいるファイルを直接補正するのではなく、データを補正するためにユーザ３０４によってユーザ・インターフェース４０２が使用される。ユーザ・インターフェース４０２は、ユーザが予測された結果を取得し、補正し、ユーザ３０４に送り返すことを可能にする任意のタイプのインターフェースであり得る。いくつかの実施例では、ユーザ・インターフェース４０２は、結果がＧＵＩによって解析され、それによって、ユーザ３０４が結果を補正／制約／確定することを可能にするグラフィカル・ユーザ・インターフェース（ＧＵＩ）であり、結果は、次いで、サーバ３０６に送り返され、その後、新しい予測の送信の前に、データのさらなる前処理３２６が行われる。

図５は、対話型機械学習の一実施例によるブロック図５００を示す。

生データが最初にステップ５０４において機械学習モジュールに送信される。データはステップ５０６において前処理され、その後に、データは、ステップ５０８において１つ又は複数の機械学習モデルをトレーニングするために送られる。各トレーニングされたモデルは評価され、予測を行うために、ステップ５１０において１つのトレーニングされたモデルが選択される。トレーニングされたモデルは、ステップ５１２において結果を予測するために使用される。この際、結果は、ステップ５１８において予測された結果を補正するオプションを有するユーザに提示される。補正された結果は、次いで、新しい又は更新されたデータとして使用される。

補正された結果は、ステップ５２０において前処理されたデータとして扱われる。その後、ステップ５２２において、前処理されたデータは、ステップ５１２において予測を行うために、ステップ５１０において選択されたトレーニングされたモデルによって使用される。ユーザは、新しい予測をもう一度調べ、結果を保持する（その時点において、プロセスはステップ５１６において終了する）べきか、又は、もう一度、ループ５２４を継続するべきかを決定することができ、ループ５２４は、ユーザが結果に満足するまで必要に応じて何回も実行され得、プロセスはステップ５１６において終了する。

実施例：ユーザベースの制約を用いた機械学習
図６は、対話型機械学習の一実施例によるフローチャート６００を示す。図６において、対話型機械学習は、機械学習モデルにおけるユーザベースの制約を用いた最適化のために使用されている。

第１のステップは、前にトレーニングされ、選択された機械学習モデルを使用して出力の予測が行われるステップ６０４である。出力は、次いで、ステップ６０６において（最適化アルゴリズムを使用して）データの１つ又は複数のサブセットに対して最適化され得る。ステップ６０８において、ユーザは１つ又は複数のサブセット中に制約を導入し、その結果、元のデータ・セットに１つ又は複数の制約が課される。この補正された結果は新しいデータ・セットとして扱われ、それは、次いで、ステップ６１２において新しい予測を行うために（ステップ６０４において）同じトレーニングされたモデルによって処理される前に、ステップ６１０において前処理され、それにより、ステップ６１２において新しい機械学習モデル予測が得られる。この段階で、ユーザは結果を承認し、したがって（ステップ６１６において）プログラムを終了するか、又は、さらなる制約を導入し、ステップ６１６において満足な結果が得られるまでループ６１８をもう一度実行することを決定し得る。

フローチャート６００を使用した実施例が図７～図１０に示されている。

実施例：プロモーション最適化における対話型機械学習
プロモーション最適化は多くの産業並びにサプライ・チェーン管理及び需要予測における極めて大きい問題である。

機械学習は、製品の販売高を最大にするようにプロモーションの日付を最適化するために使用され得る。単一の実行において、アルゴリズムは複数回（たとえば数百回、数千回など）の最適化反復を行う。各反復において、プロモーション日付は異なる日付に移動され、予測が実行され、得られた販売高が記録される。最終的に、販売高の最大値に達し、プロモーション日付が戻される。元の結果と最適化された結果とは、次いで、ユーザに表示される。ユーザは、プロモーションを移動し、将来の実行のためにそれらを「アンカー」する選択肢を有する。プロモーションが「アンカー」されると、それは移動又は最適化されない。これは、実業界において制約をシミュレートするためである。たとえば、企業は、すでにある日付にプロモーションをあらかじめスケジュールしており、それを移動することができない。この例は、ユーザ・フィードバックがアルゴリズムの将来の実行に影響を及ぼすことを可能にすることによって対話型機械学習を証明する。

そのような実施例では、機械学習モデルは最適化のためのモジュールとユーザ・フィードバックのためのユーザ・インターフェースとともに使用される。実例は、ＬｉｇｈｔＧＢＭ（予報／予測アルゴリズム）、ＤｉｓｃｒｅｔｅＯｎｅＰｌｕｓＯｎｅ（最適化のためのフェイスブックのＮｅｖｅｒｇｒａｄライブラリにある一般的アルゴリズム）、（ユーザ・インターフェースのための）Ｐｌｏｔｌｙ Ｄａｓｈを含む。

実験詳細（プロモーション最適化）
第１のフェーズでは、適切な最適化アルゴリズムを使用してプロモーションを最適化することによって販売高を増加させることが可能である。製品の選択されたサブセットについてできる限り多くのアルゴリズムを実験することによって、最適なモデルが見つけられ得る。

最初に、公開されているデータ・セットを使用した。第２に、データに基づいて予測を与えるために機械学習モデルを構築した。次いで、フェイスブックのＮｅｖｅｒｇｒａｄライブラリにある多数の最適化アルゴリズムについて全数探索を行った。最適モデル・ハイパーパラメータのセット並びに最良の最適化アルゴリズムが見つかった。これにより、販売高がかなりの金額（単一の最適化に対して５～１５％の間）をブーストされた。

最初に、データセットに適合させるためにＬｉｇｈｔＧＢＭと呼ばれる予報／予測モデルを選択した。ＬｉｇｈｔＧＢＭは他のデータに適合させるために極めてうまく機能したので、過去の経験に基づいてＬｉｇｈｔＧＢＭを選定した。プロモーションの日付をモデルの特徴（入力）として扱った。目標は、販売高を最大限ブーストするであろう日付にプロモーションを移動する（すなわち、最適プロモーション日付を見つける）ことであった。

取引金額が多く、モデルのための良好な適合を有するデータセット中の製品を選択した。モデルが最初からうまく適合しない場合、いかなる最適化試みも不正確になり得るので、これは重要である。次に、フェイスブックＡＩのＮｅｖｅｒｇｒａｄライブラリにおいて最良のアルゴリズムの全数探索を実行した。Ｎｅｖｅｒｇｒａｄライブラリはオープン・ソースの勾配のない最適化プラットフォームである。すなわち、探索の総数は（Ｎｅｖｅｒｇｒａｄ中のアルゴリズムの数）×（選択された製品の数）になり、ここで、ライブラリ中の各アルゴリズムを製品ごとにテストし、平均化した。最も良く機能したアルゴリズムを選択した。この実施例では、ＤｉｓｃｒｅｔｅＯｎｅＰｌｕｓＯｎｅが、最良の結果を与えたモデルであった。モデル上で最適化を１回実行した後に、プロモーションを新しい日付にシャッフルし、販売高は製品によって約５～１５％ブーストされた。

第２のフェーズはいくつかのプロモーションのアンカリングであった。すなわち、これらのプロモーションは最適化されなかった。これは、人間の意思決定が関与したかのように状況を模倣するためであった（人間がプロモーション日付についていくつかの要件を与え、アルゴリズムは、それらの要件を念頭において最適化しなければならない）。ユーザ・インターフェースのためにＰｌｏｔｌｙ Ｄａｓｈを使用してアンカリングを実施した。

さらに、インストア・ディスプレイ、フライヤー、及び値引きなど、異なるタイプのプロモーションについても実験を行った。総じて、我々の手法は、我々の仮説をテストするためのシステマティックな調査と分析とを必要とした。

図７は、対話型機械学習の一実施例によるプロモーション最適化７００のフェーズ１を示す。図７において、機械学習モデルは、異なるプロモーションがスケジュールされた、プレッツェル７１４の販売高を予測するために使用されている。

図７において、第１のタイプのプロモーション７０４（すなわちディスプレイ・プロモーション）と、第２のタイプのプロモーション７０６（すなわち特徴プロモーション）と、第３のタイプのプロモーション７０８（すなわち値引きプロモーション）との３つのタイプのプロモーションがあり、各プロモーションは図示のようにスケジュールされている。２０１７年７月１３日に、第３のタイプのプロモーション７０８の１つのインスタンスがある。２０１１年７月２０日に、第１のタイプのプロモーション７０４の１つのインスタンスと第２のタイプのプロモーション７０６の１つのインスタンスとがある。２０１１年７月２７日に、第１のタイプのプロモーション７０４の１つのインスタンスと第２のタイプのプロモーション７０６の１つのインスタンスとがある。２０１１年１１月２日には、第１のタイプのプロモーション７０４の１つのインスタンスと第２のタイプのプロモーション７０６の１つのインスタンスとがある。２０１１年１２月７日に、第２のタイプのプロモーション７０６の１つのインスタンスがある。２０１１年１２月１４日に、第２のタイプのプロモーション７０６の１つのインスタンスがある。すべてにおいて、第１のタイプのプロモーション７０４の３つのインスタンスと、第２のタイプのプロモーション７０６の５つのインスタンスと、第３のタイプのプロモーション７０８の１つのインスタンスとがある。予測７１２は、２４７４単位が販売されるであろうと予測する。

図８は、図７に示された実施例による最適化された予測８００を示す。

図８において、プロモーションは、予測を最適化するように移動される。（プロモーションが最適化されなかった）図７から予測された販売高７０２に対する最適化された予測合計８０２が示されている。

結果として、最適化された予測８０６が販売高における２７７８単位への急増、予測７１２からの３０４単位又は１２．３％の急増を予測するように、３つのタイプのプロモーションが移動されている。

第１のタイプのプロモーション７０４の３つのインスタンスうちの２つは（元の日付の２０１１年７月２７日と２０１１年１１月２日とから）２０１１年６月８日と２０１１年６月２９日とに移動している。第１のタイプのプロモーション７０４の１つのインスタンスのみが２０１１年７月２０日のままである。

第２のタイプのプロモーション７０６の５つのインスタンスのうちの４つは、（元の日付の２０１１年７月２０日と、２０１１年７月２７日と、２０１１年１１月２日と、２０１１年１２月７日とから）２０１１年１１月９日と、２０１１年１１月２３日と、２０１１年１２月２１日と、２０１２年１月４日とに移動している。第２のタイプのプロモーション７０６の１つのインスタンスのみが２０１１年１２月１４日のままである。一方、第３のタイプのプロモーション７０８の唯一のインスタンスは、それの元の日付の２０１１年７月１３日から２０１１年７月２７日に移動している。

図９は、図８に示された実施例によるプロモーション９００の対話型フェーズを示す。図９において、ユーザは、ユーザ・インターフェースを通して、プロモーション日のうちの１つ又は複数を固定することによって機械学習モデルと対話する。この実施例では、ユーザ・インターフェースはグラフィカル・ユーザ・インターフェースであり、ユーザはそれによってスクリーン上でプロモーションを移動することができる。図９において、ユーザは、第２のタイプのプロモーション７０６の２つのインスタンス、すなわち、それぞれ黒点によって示された固定されたプロモーション９０２と固定されたプロモーション９０４とを固定している。すなわち、ユーザは、十分に最適化された結果の（図８に示された）結果を使用しないことを選び、代わりに、２０１１年９月７日には１つのプロモーションが、２０１１年９月１４日には別のプロモーションがなければならないことを決定した。ユーザは、しかしながら、残っているプロモーションに制約を課していない。

図１０は、図９に示された実施例によるプロモーション最適化１０００の最後のフェーズを示す。

２つの固定されたプロモーション（固定されたプロモーション９０２及び固定されたプロモーション９０４）を伴う、図１０において、機械学習モデルは、残っているプロモーションのために再最適化される。結果は新しい対話型の最適化された予測対話型の最適化された予想の合計１００２である。予測された合計単位は２７３４単位であり、２４７４単位の元の予測７１２と比較すると、それは１０．５％増である。（プロモーションのための固定された日付なしの）最適化された予測合計８０２は２７７８単位である。

新しい最適化されたプロモーション日付（固定されたプロモーション９０２及び固定されたプロモーション９０４を除いて）は以下の通りである。第１のタイプのプロモーション７０４は、ここでは、２０１１年６月１５日と、２０１１年７月６日と、２０１１年７月２０日とに予定されている。第２のタイプのプロモーション７０６は、ここでは、２つの固定された日付の２０１１年９月７日と、２０１１年９月１４日とに加えて、２０１１年１０月５日と、２０１１年１１月２日と、２０１１年１１月３０日とに予定されている。

この段階において、ユーザは、（プロモーション制約なしの２７７８単位から、２つの固定されたプロモーション日付を使用する２７３４単位への）予測された販売高のわずかな低下が許容できるかどうかを決定することができる。ユーザは、戻って、他の固定された日付を検討（すなわち、固定された日付の前後に移動）し、機械学習モデルがユーザの要件に基づいて販売高をどのように予測するかを見ることができる。

実施例：機械学習（クラスタリング）
図１１は、対話型機械学習の一実施例によるブロック図１１００を示す。

生データが最初にステップ１１０４において機械学習モジュールに送信される。データはステップ１１０６において前処理され、その後に、データは、ステップ１１０８において１つ又は複数の機械学習モデルをトレーニングするために送られる。各トレーニングされたモデルは評価され、予測を行うために、ステップ１１１０において１つのトレーニングされたモデルが選択される。トレーニングされたモデルは、ステップ１１１２において結果を予測するために使用される。

この際、結果は、ステップ１１１６において予測された結果を補正するオプションを有するユーザに提示される。補正された結果は、次いで、新しい又は更新されたデータとして使用され、（ステップ１１０６、ステップ１１０８、ステップ１１１０、ステップ１１１２から構成される）ループ１１２０を実行する。ループ１１２０は、ユーザが結果に満足するまで必要に応じて何回も実行され得、プロセスはステップ１１１８において終了する。

代替的に、ステップ１１０６においてデータを前処理した後に、ループ１１２２が使用され得る。ループ１１２２は、機械学習モデルをトレーニングし、評価する（ステップ１１０８及びステップ１１１０）のではなく、単に、選択されたモデルを再トレーニングする。再トレーニングされたモデルは、ステップ１１１２において新しい結果を予測するために使用される。

実施例：新製品導入における対話型機械学習
新製品導入は多くの産業並びにサプライ・チェーン管理及び需要予測における極めて大きい問題である。この問題は、製品の販売又は購買に取り組むいずれの団体にも広く当てはまる。

いくつかの実施例では、既存の品目は、最初に、教師なしの機械学習手法を使用して意味の相似性に基づいてグループ化される。新しい品目が導入される際、新しい品目は、自動的に、１）最も相似しているクラスタに追加されるか、又は２）それが既存の品目のいずれとも完全に異なるとき、機械学習モデルは新しい品目から別個のクラスタを作成する。品目のクラスタリングから取得されるこれらの区分の問題は、それらがユーザの選好からかけ離れ得ることである。本開示は、ユーザが、それの後に追加されるすべての品目のポジションに影響を及ぼす所望の品目を移動することを可能にするシステム及び方法を提供する。そのようなシナリオを実装するために、モデルは、ユーザ・フィードバックをキャプチャし、モデルがフィードバックから学習することを可能にするために、各ユーザ対話の後に再トレーニングされ得る。

いくつかの実施例では、これは、最初に、品目の説明／名前を複数の次元（いくつかの実施例では、３００次元）の単語ベクトルに変換することによって達成され得る。これらの品目は、それらを２Ｄ平面上に投影することによってユーザ・インターフェース上で（いくつかの実施例では、ユーザ・インターフェースはＧＵＩである）ユーザに示され得る。ニューラル・ネットワークは、単語ベクトルとそれらの予測された２Ｄ座標とでトレーニングされ得、その後、これを使用して、ユーザ・インターフェース上に示された品目のロケーションを予測する。ユーザ・インターフェース上に示されている予測された結果に変更が行われたときはいつでも、ニューラル・ネットワークはフィードバックで再トレーニングされ、次いで、ユーザに許容できる結果を生成する。

実験詳細（新製品導入）
どのモデル又はアルゴリズムが、（システム制約を与えられた）既存の品目をクラスタリングすることと、グラフ上で既存の品目の座標を変更することなしにユーザ入力でモデルを再トレーニングすることの両方を可能にすることができるかを決定するために、探索を行った。これは、ｔ分布型確率的近傍埋め込み法（ｔ－ＳＮＥ：ｔ－Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｂｏｒ Ｅｍｂｅｄｄｉｎｇ）及び主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、Ｋ平均法、ファジーＫ平均法及びＤｅｎｃｌｕｅのようなクラスタリング・アルゴリズム、スピアマンの順位、ピアソン相関係数及びクラメールのＶ統計のような相関アルゴリズムなど、次元削減のための異なるタイプの技法に関するいくつかの実験を必要とした。別の不確定性は、１つ又は複数の品目を移動することが、望ましい結果を生成するためにモデルを有意味に再トレーニングするために十分な情報を生成するかどうかであった。

多くの手法及び仮説を評価した。第１に、アルゴリズムの適切なセットを用いて既存の品目をクラスタリングすることが可能であるということを仮定した。モデルがユーザ・フィードバックから学習することを可能にするために、機械学習モデルの意味のある再トレーニングを可能にするために、いくつかのアルゴリズムを作成し、テストした。

実験を行うために、公開されているデータ・セットを使用した。第２に、製品の相似性予測のためにモデルを構築した。次いで、製品を移動する（座標を変更する）及び新製品を追加するなど、ユーザ対話から学習することが可能であるクラスタリングされた製品を可視化することを可能にするために、より高い次元から２次元スクリーンへの製品の投影のために、別のモデルを構築した。モデル・ハイパーパラメータの最適なセット、並びに、ユーザ・フィードバックをキャプチャし、ユーザ・フィードバックから学習するための最良のアルゴリズムが見つかった。これにより、製品をより良く分類するためにラベルなしユーザ・フィードバックから効果的に学習することができるモデルの作成が可能になった。

最初に、データセットから製品の相似行列を作成するために、英語における単語の相似性を学習するために、Ｗｏｒｄ２Ｖｅｃを選択した。次いで、多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）リグレッサーと呼ばれるニューラル・ネットワークを、単語ベクトルと、ｔ－ＳＮＥからの２Ｄ投影出力とに適合させた。製品の説明／名前をモデルの特徴（入力）として扱った。目標は、製品の意味論的意味によって製品を正しく分類し、モデルがそれから学習する方法でユーザがこの予測にオーバーライドすることを可能にすることである。

データセットからすべての製品を選択した。すべての製品説明の単語ベクトルを見つけ出すために、すべての製品説明に対して事前トレーニングされたＷｏｒｄ２Ｖｅｃモデルを実行した。ｔ－ＳＮＥを使用してこれらの単語ベクトルを２Ｄ平面上に投影した。この予測は、製品が異なるロケーションに移動されるか、又はユーザによって新製品が追加されたときはいつでも再トレーニングするために使用されるニューラル・ネットワークを使用して学習された。したがって、ニューラル・ネットワークは、人間対話から学習し、時間とともにより良い予測を行う。

図１２は、対話型機械学習の一実施例によるクラスタ・グルーピング１２００のダイヤグラムを示す。

図１２において、（単語又はフレーズを特徴とする）一連の品目は、機械学習プログラムによってほぼ４つのクラスタにグループ化されている。クラスタ１ １２０２は口腔衛生製品に対応し、クラスタ２ １２０４はプレッツェル関係の製品に対応し、クラスタ３ １２０６はピザ関係の製品に対応し、クラスタ４ １２０８はシリアル関係の製品に対応する。ユーザは、「編組型ハニー・ウィート・プレッツェル」（品目１２１０）が機械学習プログラムによってクラスタ４ １２０８とグループ化されていることに留意する。ユーザは、これは不正確な配置であると考える。

図１３は、品目１２１０（「編組ハニー・ウィート・プレッツェル」）をクラスタ４ １２０８（シリアル関係製品）からクラスタ２ １２０４（プレッツェル関係製品）に移動した後の図１２のクラスタ・グルーピングのダイヤグラム１２００を示す。そうする際、使用は、編組ハニー・ウィート・プレッツェルがプレッツェル関係グループと分類され、シリアル関係グループと分類されていない修正されたデータ・セットで機械学習モデルを再トレーニングした。

図１３は、したがって、機械学習モデルを再トレーニングするために使用される対話型機械学習を示す。

図１４は、いくつかの新しい要素を追加した後の図１３のクラスタ・グルーピング１２００のダイヤグラムを示す。

たとえば、「電動歯ブラシ」（品目１４０４）という新しい用語が機械学習プログラムによってクラスタ１ １２０２（口腔衛生関係製品）に追加されている。「エンチラーダ（ｅｎｃｈｉｌａｄａ）」（品目１４０６）という新しい用語が機械学習プログラムによってクラスタ３ １２０６（ピザ関係製品）に追加されている。しかしながら、「芝刈り機（ｌａｗｎ ｍｏｗｅｒ）」（品目１４０８）と「グラス・トリマー（ｇｒａｓｓ ｔｒｉｍｍｅｒ）」（品目１４１０）という２つの用語は機械学習モデルによって新しいクラスタ５ １４０２に入れられている。対話型機械学習における新しい品目の追加は、実際に、ユーザによる機械学習プロセスにいかなる影響をも及ぼさない。

図１５は、対話型機械学習の一実施例による、一要素を追加、移動、及び追加した後のクラスタ・グルーピングの一連のダイヤグラムを示す。

図１５は、以下のように説明される、一連の変化を経る、図１２のクラスタの３ １２０６（ピザ関係製品）のクローズアップを与える。

スナップショット１５０２において、新しい品目１５１２（「サワードウ・パン」）が機械学習モデルに入力され、機械学習モデルは、それを、スナップショット１５０４に示されているようにクラスタ３ １２０６に入れる。ユーザは、品目１５１４（「サワードウ・ニブラ」）は品目１５１２（「サワードウ・パン」）に密接に関係していることに留意し、これらの２つの品目は、それら自体の別個のグループを形成するべきであることを決定する。すなわち、ユーザは、スナップショット１５０４に示されているように機械学習分類をオーバーライドすることを望む。

そうするために、ユーザは、スナップショット１５０６に示されているように、新たに追加された品目１５１２（「サワードウ・パン」）を削除する。ユーザは、次いで、スナップショット１５０８に示されているように、品目１５１４（「サワードウ・ニブラ」）を元のクラスタ３ １２０６（ピザ関係製品）からそれ自体のクラスタ６ １５１８に移動する。この際、ユーザ対話は、新しいクラスタ６ １５１８を作成するように機械学習モデルを再トレーニングする。

ユーザは、次いで、スナップショット１５１０に示されているように、そのときに機械学習モデルによって配置された品目１５１２（「サワードウ・パン」）を品目１５１６（「サワードウ・ニブラ」）と一緒にクラスタ６ １５１８（サワードウ関係製品）に追加する。

したがって、図１５は対話型機械学習を示す。

図１６Ａ及び図１６Ｂは、対話型機械学習の一実施例によるフローチャート１６００を示す。

図１６Ａ及び図１６Ｂに示された実施例は、図１２～図１５に示されたユーザ対話を用いたクラスタリングの実例において使用されたフローチャート１６００を示す。

特に、ブロック１６０２は、機械学習モデルがトレーニングされ、クラスタの結果を与え、次いで、ユーザが、１つのクラスタ中の１つのエンティティを異なる又は完全に新しいクラスタに移動することによって結果と対話するケースを示す。このプロセスは以下のステップを含む。履歴データ１６０６は前処理１６０８を受け、次いで、機械学習モデルをトレーニングする１６１０ために使用される。トレーニングされたモデルは、予測を行い１６１２、クラスタの結果１６１４をユーザに与える。これは、たとえば、図１２に示された、グループのクラスタを取得するために使用されるプロセスについて説明することができる。

この時点で、ユーザは、機械学習モデルによって与えられた品目のクラスタリングに同意しないことがあり、１つ又は複数の品目を異なるクラスタに「移動」する（すなわち再分類する）か、又は新しいクラスタを開始することができる。１つの品目が再分類を受ける１６１６とき、ユーザによる対話により、トレーニングされたモデルは、「移動」された品目の新しい分類を反映するために再トレーニングされる（矢印１６２２）。

ブロック１６０２は、たとえば、図１２に示された分類から図１３に示された分類までの進行中の移行を説明する。両方の図において、同じ数の品目が分類されている。図１２において、結果（すなわち結果１６１４）は、品目１２１０（「編組型ハニー・ウィート・プレッツェル」）が、はちみつ関係品目を一緒にグルーピングするクラスタ４ １２０８に入れられることを示す。しかしながら、品目１２１０の配置に満足しないユーザは、品目１２１０を、プレッツェル関係品目をグルーピングするクラスタ２ １２０４に入れたほうが良いと決定する。ユーザは、図１３に示されているように、品目１２１０（「編組ハニー・ウィート・プレッツェル」）をクラスタ２ １２０４に移動する。品目１２１０のこの再分類は、機械学習モデルの次の実行の前に機械学習モデルを再トレーニングする。これは、再分類１６１６として矢印１６２２によってブロック１６０２に示されている。

ブロック１６０４は、機械学習モデルがトレーニングされ、分類結果を与えるケースを示す。その後、１つ又は複数の新しい品目が追加され、それらの分類はトレーニングされたモデルに基づく。新しい品目は、トレーニングされたモデルによって、先在するクラスタに追加され得るか、又は、新たに定義されたクラスタの一部になり得る。トレーニングされたモデルによって新しい品目が追加され、クラスタに入れられると、ユーザは、１つのクラスタ中の１つの品目を異なる又は完全に新しいクラスタに移動することによって結果と対話し得る。

ブロック１６０４中のプロセスは以下のステップを含む。履歴データ１６０６は前処理１６０８を受け、次いで、機械学習モデルをトレーニングする１６１０ために使用される。トレーニングされたモデルは、予測を行い１６１２、クラスタの結果１６１４をユーザに与える。ユーザは、次いで、新しい品目１６１８を追加し、それの配置は、結果１６１４に示された予測１６１２によって与えられる。この時点で、ユーザは結果１６１４に同意しないことがあり、１つの品目を異なるクラスタに、又は完全に新しいクラスタに移動することを選択し得る。この時点で、再分類１６２０が行われ（矢印１６２２）、モデルは再トレーニングされる。

たとえば、図１４に示された状況はブロック１６０４のステップによって説明され得る。（図１２に示された）グループの初期クラスタリングの後に、続いて（図１３における）品目の１２１０のクラスタ２ １２０４への移動が行われる。この移動、又は対話は品目１２１０の再分類を与え、それはモデルを再トレーニングする。図１４において、新しい品目１４０６が追加され、１回再トレーニングされたモデルによってクラスタ３ １２０６に入れられる。次に、品目１４０４が追加され、１回再トレーニングされたモデルによってクラスタ１ １２０２に入れられる。その後、新しい品目１４０８が追加され、１回再トレーニングされたモデルによって新しいクラスタ５１４０２に入れられる。最後に、新しい品目１４１０が追加され、１回再トレーニングされたモデルによって新しいクラスタ５ １４０２に入れられる。イベントのシーケンスはユーザによる品目の任意の移動（又は再分類）を伴わない。図１４に示された状況は、トレーニングされたモデルに基づく新しい品目の分類の簡単な予測、すなわち、新しい品目１６１８を追加すること、新しい品目１６１８の予測１６１２、その後の結果１６１４のシーケンスである。

ブロック１６０４に戻り、新しい品目の分類が予測される（予測１６１２）と、ユーザは新しい品目の配置の後の分類結果に同意しないことがある。ブロック１６０２と同様に、ユーザは１つ又は複数の品目を異なるクラスタに「移動」する（すなわち再分類する）か、又は新しいクラスタを開始することができる。いくつかの実施例では、ユーザは、新しい品目を異なるクラスタ、すでに存在し得るクラスタに移動するか、又は完全に新しいクラスタ・グルーピングを作成することを選択し得る。いくつかの実施例では、ユーザは、新たに分類された品目の分類を維持しながら、前に分類された（すなわち、新しい品目ではない）１つの品目を移動する（又は再分類する）ことを選択し得る。品目が再分類１６２０を受けるとき、ユーザによる対話により、トレーニングされたモデルは、「移動」された品目の新しい分類を反映するように再トレーニングされる（矢印１６２２）。

ブロック１６０４は、たとえば、図１５に示された移行を説明する。スナップショット１５０２において、新しい品目１５１２（「サワードウ・パン」）が機械学習モデルに入力され、機械学習モデルは、スナップショット１５０４に示されているように新しい品目１５１２（「サワードウ・パン」）をクラスタ３ １２０６に入れる。これは、新しい品目１６１８が入力された後のトレーニングされたモデルによる簡単な予測（予測１６１２）である。ユーザは、品目１５１４（「サワードウ・ニブラ」）が品目１５１２（「サワードウ・パン」）に密接に関係していることに留意し、これらの２つの品目は、それら自体の別個のグループを形成するべきであることを決定する。すなわち、ユーザは、スナップショット１５０４に示されているように機械学習分類をオーバーライドすることを望む。

そうするために、ユーザは、スナップショット１５０６に示されているように、新たに追加された品目１５１２（「サワードウ・パン」）を削除する。ユーザは、次いで、スナップショット１５０８に示されているように、品目１５１４（「サワードウ・ニブラ」）を元のクラスタ３ １２０６（ピザ関係製品）からそれ自体のクラスタ６ １５１８に移動する。この際、ユーザ対話は、新しいクラスタ６ １５１８を作成するように機械学習モデルを再トレーニングする。すなわち、ユーザは（ブロック１６０４中の再分類１６２０に対応する）品目１５１４を再分類し、したがって、モデルの再トレーニングにつながる（矢印１６２２）。

ユーザは、次いで、品目１５１２（「サワードウ・パン」）を挿入し、品目１５１２（「サワードウ・パン」）は、次いで、スナップショット１５１０に示されているように、再トレーニングされた機械学習モデルによって品目１５１６（「サワードウ・ニブラ」）と一緒にクラスタ６ １５１８（サワードウ関係製品）に入れられる。ユーザによって満足であると考えられたこの結果１６１４はそのままである（すなわち、この配置は再分類１６２０を受けない）。

図１７は対話型機械学習の一実施例によるシステム１７００を示す。

システム１７００は、システム・サーバ１７０４と、機械学習ストレージ１７１２と、クライアント・データ・ソース１７２２と、１つ又は複数のデバイス１７０６、１７１０及び１７０８とを含む。システム・サーバ１７０４は、メモリ１７１６と、ディスク１７１８と、プロセッサ１７１４と、ネットワーク・インターフェース１７２０とを含むことができる。１つのプロセッサ１７１４が示されているが、システム・サーバ１７０４は１つ又は複数のプロセッサを備えることができる。いくつかの実施例では、不揮発性メモリであり得るディスク１７１８と比較して、メモリ１７１６は揮発性メモリであり得る。いくつかの実施例では、システム・サーバ１７０４は、ネットワーク１７０２を介して、機械学習ストレージ１７１２と、クライアント・データ・ソース１７２２と、１つ又は複数の外部デバイス１７１０、１７０６及び１７０８と通信することができる。機械学習ストレージ１７１２はシステム・サーバ１７０４とは別個として示されているが、機械学習ストレージ１７１２はまた、システム・サーバ１７０４内の別個の構成要素か、又はメモリ１７１６とディスク１７１８とのうちの少なくとも１つの一部のいずれかとしてシステム・サーバ１７０４に一体化され得る。

システム１７００はまた、追加の特徴及び／又は機能を含むことができる。たとえば、システム１７００は、限定はしないが、磁気又は光ディスク又はテープを含む（リムーバブル及び／又は非リムーバブル）追加のストレージも含むことができる。そのような追加のストレージはメモリ１７１６とディスク１７１８とによって図１７に示されている。記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール又は他のデータなどの情報の記憶のために任意の方法又は技術において実装される、揮発性媒体及び不揮発性媒体、リムーバブル媒体及び非リムーバブル媒体を含むことができる。メモリ１７１６及びディスク１７１８は非一時的コンピュータ可読記憶媒体の実例である。非一時的コンピュータ可読媒体はまた、限定はしないが、所望の情報を記憶するために使用され得、システム１７００によってアクセスされ得る、ランダム・アクセス・メモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュ・メモリ及び／又は他のメモリ技術、コンパクト・ディスク読取り専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃｓ）、及び／又は他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、及び／又は任意の他の媒体を含む。任意のそのような非一時的コンピュータ可読記憶媒体はシステム１７００の一部であり得る。

ネットワーク１７０２を介したシステム・サーバ１７０４と機械学習ストレージ１７１２と１つ又は複数の外部デバイス１７１０、１７０６及び１７０８との間の通信は様々なネットワーク・タイプを介して行われ得る。いくつかの実施例では、プロセッサ１７１４はネットワーク・インターフェース１７２０を介したネットワーク１７０２との通信中に配設され得る。ネットワーク・インターフェース１７２０はネットワーク１７０２と通信し得る。ネットワーク・インターフェース１７２０は、限定はしないが、直接接続、イーサネット（登録商標）（たとえば、ツイストペア１０／４０／４００ Ｂａｓｅ Ｔ）、伝送制御プロトコル／インターネット・プロトコル（ＴＣＰ：ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ／ＩＰ：ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ）、トークン・リング、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ｘなどを含む接続プロトコルを採用し得る。非限定的な例示的ネットワーク・タイプは、ファイバー・チャネル、小型コンピュータ・システム・インターフェース（ＳＣＳＩ：ｓｍａｌｌ ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ ｉｎｔｅｒｆａｃｅ）、Ｂｌｕｅｔｏｏｔｈ、イーサネット（登録商標）、Ｗｉ－ｆｉ、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ローカル・エリア・ネットワーク（ＬＡＮ：Ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋｓ）、ワイヤレス・ローカル・エリア・ネットワーク（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋｓ）、インターネット、シリアル、及びユニバーサル・シリアル・バス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）などワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋｓ）を含むことができる。一般に、システム１７００の様々な構成要素間の通信は、ハードワイヤード、セルラー、Ｗｉ－Ｆｉ又はＢｌｕｅｔｏｏｔｈネットワーク化構成要素などを介して行われ得る。いくつかの実施例では、システム１７００の１つ又は複数の電子デバイスはクラウドベース・メモリ・ストレージなど、クラウドベース機能を含み得る。

機械学習ストレージ１７１２は、揮発性（たとえば、非ディスクベース）ストレージ（たとえば、ランダム・アクセス・メモリ）がキャッシュ・メモリのためと動作中に全データ・ベースを記憶するための両方に使用され、永続ストレージ（たとえば、１つ又は複数の固定されたディスク）がオフライン持続とデータベース・スナップショットの保守とのために使用される「メモリ内」データ・ベースを実装し得る。代替的に、永続ストレージは全データ・ベースを記憶するが、最近使用されたデータを記憶するためのキャッシュ・メモリとして揮発性ストレージが使用され得る。

機械学習ストレージ１７１２は、データの構造と関係と意味とに関するメタデータを記憶し得る。この情報は、データ内に記憶されるデータベース・テーブルのスキーマを定義するデータを含み得る。データベース・テーブル・スキーマは、データベース・テーブルの名前と、データベース・テーブルの列と、各列に関連付けられたデータ・タイプと、データベース・テーブルに関連付けられた他の情報とを指定し得る。機械学習ストレージ１７１２はまた、又は代替的に、プログラム的に互いに分離された複数の論理データベース・システムを与えることによってマルチテナンシー（ｍｕｌｔｉ－ｔｅｎａｎｃｙ）をサポートし得る。その上、データは、それの速い探索と取出しとを可能にするためにインデックス付けされ及び／又はインデックス中で選択的に複製され得る。さらに、機械学習ストレージ１７１２は、システム・サーバ１７０４によってアクセスされる機械学習モデルの数を記憶することができる。いくつかのＭＬモデルが使用され得る。

機械学習が使用されるいくつかの実施例では、勾配ブースト・ツリーと、ツリーのアンサンブルと、サポート・ベクター回帰とが使用され得る。機械学習のいくつかの実施例では、１つ又は複数のクラスタリング・アルゴリズムが使用され得る。非限定的な実例は、クラスタリング構造を識別するための階層クラスタリングと、ｋ平均と、混合モデルと、密度準拠クラスタリング（ｄｅｎｓｉｔｙ－ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）と、発注点（ｏｒｄｅｒｉｎｇ ｐｏｉｎｔ）とを含む。

機械学習のいくつかの実施例では、１つ又は複数の異常検出アルゴリズムが使用され得る。非限定的な実例は局所外れ値因子法（ｌｏｃａｌ ｏｕｔｌｉｅｒ ｆａｃｔｏｒ）を含む。

機械学習のいくつかの実施例では、ニューラル・ネットワークが使用され得る。

クライアント・データ・ソース１７２２は、限定はしないが、すべてのロケーションにおけるクライアントの全製品の販売高記録を示すポイント・オブ・セールス・データと、すべてのロケーションにおけるクライアントの全製品のインベントリ履歴と、全ロケーションにおける全製品のための販売促進キャンペーン詳細と、すべてのロケーションにおけるクライアントの製品の販売高のための重要な／関連があるイベントとを含む、ユーザからの様々な生データを与え得る。

ネットワーク・インターフェース１７２０とネットワーク１７０２とを使用して、システム・サーバ１７０４は１つ又は複数のデバイス１７１０、１７０６及び１７０８と通信し得る。これらのデバイス１７１０、１７０６及び１７０８は、限定はしないが、１つ又は複数のパーソナル・コンピュータ、１つ又は複数のサーバ、セルラー電話、（たとえば、アップルｉＰｈｏｎｅ（登録商標）、ブラックベリー、アンドロイド（登録商標）ベース・フォンなど）スマートフォン、タブレット・コンピュータ、（アマゾンＫｉｎｄｌｅ、Ｎｏｏｋなど）電子ブック・リーダー、ラップトップ・コンピュータ、ノートブック、（マイクロソフトＸｂｏｘ、任天堂ＤＳ、ソニーＰｌａｙＳｔａｔｉｏｎなど）ゲーミング・コンソールなど、様々なモバイル・デバイスなどを含み得る。

ネットワーク１７０２を使用して、システム・サーバ１７０４は機械学習ストレージ１７１２とクライアント・データ・ソース１７２２とからデータを取り出すことができる。取り出されたデータはメモリ１７１６又は１７０８に保存され得る。いくつかの実施例では、システム・サーバ１７０４はまた、ウェブ・サーバを備え、リソースをウェブ・ブラウザ上に表示されるために好適なフォーマットにフォーマッティングすることができる。

仮の機械学習結果が１つ又は複数のデバイスのいずれかに与えられると、ユーザは結果を補正することができ、結果は、さらなる実行のために機械学習ストレージ１７１２に再送される。結果は、次いで１７１４に送られる１つ又は複数のデータ・ファイルとの対話によって、或いは１つ又は複数のデバイス１７１０、１７０６及び１７０８におけるユーザ・インターフェースを通して補正され得る。たとえば、１７２０において、ユーザは、グラフィカル・ユーザ・インターフェースを使用して結果を補正することができる。

上記で説明したアルゴリズムは、上記のフロー・チャートに関して別個に説明したアルゴリズムを含むが、本明細書で開示した任意の２つ又はそれ以上のアルゴリズムが任意の組合せで組み合わせられ得ることを理解されたい。本明細書で説明した方法、モジュール、アルゴリズム、実装形態、又はプロシージャのいずれも、（ａ）プロセッサ、（ｂ）コントローラ、及び／又は（ｃ）任意の他の好適な処理デバイスによる実行のための機械可読命令を含むことができる。本明細書で開示した任意のアルゴリズム、ソフトウェア、又は方法は、たとえば、フラッシュ・メモリ、ＣＤ－ＲＯＭ、フロッピー（登録商標）・ディスク、ハード・ドライブ、デジタル多用途ディスク（ＤＶＤ）、又は他のメモリ・デバイスなど、非一時的有形媒体上に記憶されるソフトウェアにおいて実施され得るが、アルゴリズムの全体及び／又はそれの一部は、代替的に、コントローラ以外のデバイスによって実行され、及び／又はよく知られている様式のファームウェア又は専用のハードウェアにおいて実装され得る（たとえば、それは、特定用途向け集積回路（ＡＳＩＣ： ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、プログラマブル論理デバイス（ＰＬＤ： ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、フィールド・プログラマブル論理デバイス（ＦＰＬＤ： ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ディスクリート論理などによって実施され得る）ことを当業者は容易に諒解するであろう。さらに、本明細書で示したフローチャートを参照しながら特定のアルゴリズムについて説明したが、例示的な機械可読命令を実装する多くの他の方法が代替的に使用され得ることを当業者は容易に諒解するであろう。たとえば、ブロックの実行の順序は変更され得、及び／又は説明されたブロックのうちのいくつかは、変更され、なくされ、又は組み合わせられ得る。

様々なモジュールを有するとして本明細書で示し、説明したアルゴリズムは、特定の機能を実行し、互いに対話することに留意されたい。これらのモジュールは、説明のためにそれらの機能に基づいて分離されているにすぎず、コンピュータ・ハードウェア、及び／又は適切な計算ハードウェア上での実行のためにコンピュータ可読媒体上に記憶された実行可能なソフトウェア・コードを表すことを理解されたい。異なるモジュール及びユニットの様々な機能は、任意の様式でモジュールとして上記のようにハードウェアとして、及び／又は非一時的コンピュータ可読媒体上に記憶されたソフトウェアとして組み合わせられるか又は分離され得、別個に又は組み合わせて使用され得る。

主題の特定の実施例について説明した。他の実施例は以下の特許請求の範囲の範囲内に入る。たとえば、特許請求の範囲に記載されている行為は、異なる順序で実行され、依然として望ましい結果を達成することができる。一例として、添付図に示されているプロセスは、望ましい結果を達成するために、必ずしも示されている特定の順序、又は逐次順次を必要としない。いくつかの実装形態では、マルチタスキング及び並列処理が有利であり得る。

Claims (15)

1. プロセッサと、
   前記プロセッサと通信するディスプレイと、
   命令を記憶するメモリと
   を備えるシステムであって、前記命令が、前記プロセッサによって実行されたとき、
   機械学習モジュールによって、データを前処理し、
   前記機械学習モジュールによって、前記前処理されたデータを用いて複数の機械学習モデルをトレーニングし、
   前記機械学習モジュールによって、前記複数の機械学習モデルからトレーニングされた機械学習モデルを選択し、
   前記機械学習モジュールによって、選択された前記トレーニングされた機械学習モデルに基づいて結果を予測し、
   前記プロセッサによって、前記前処理されたデータに関連付けられた１つ又は複数の特徴に対して前記結果を最適化し、
   前記ディスプレイによって、前記最適化された結果を出力し、
   ループであって、
   グラフィカル・ユーザ・インターフェースを介して受信される入力に応答して、前記データの前記１つ又は複数の特徴のサブセットを制約し、新しいデータ・セットとするステップと、
   前記機械学習モジュールによって、前記新しいデータ・セットを前処理するステップと、
   選択された前記トレーニングされた機械学習モデルによって、前記前処理された新しいデータ・セットに基づいて新しい結果を予測するステップと、
   前記ディスプレイによって、前記グラフィカル・ユーザ・インターフェース上に、前記最適化された結果及び前記新しい結果を同時に出力するステップと、
   前記新しい結果が承認されるか又は拒否されるかを示すユーザ入力を受信するステップと
   を含むループを開始し、
   選択された前記トレーニングされた機械学習モデルを使用して、前記新しい結果が承認されるまで前記ループを再実行する、システム。
2. 前記１つ又は複数の特徴の前記サブセットを制約するために前記グラフィカル・ユーザ・インターフェースを介して受信される前記入力は、前記ディスプレイ上の１つ又は複数のオブジェクトの移動を含む、請求項１に記載のシステム。
3. 前記１つ又は複数の特徴の前記サブセットを制約するために受信される前記入力は、前記最適化された結果に関連付けられたデータ・ファイルにおける前記サブセットの選択を含む、請求項１に記載のシステム。
4. 前記機械学習モデルが、最近傍、単純ベイズ、デシジョン・ツリー、線形回帰、サポート・ベクター・マシン（ＳＶＭ）、ニューラル・ネットワーク及びそれらの任意の組合せからなるグループから選択される、請求項１に記載のシステム。
5. 前記１つ又は複数の特徴は、プロモーション・タイプ及びプロモーション日付を含み、前記結果は、売上金額である、請求項１に記載のシステム。
6. 対話型機械学習のコンピュータ実装方法であって、前記方法は、
   機械学習モジュールによって、データを前処理するステップと、
   前記機械学習モジュールによって、前記前処理されたデータを用いて複数の機械学習モデルをトレーニングするステップと、
   前記機械学習モジュールによって、前記複数の機械学習モデルからトレーニングされた機械学習モデルを選択するステップと、
   前記機械学習モジュールによって、選択された前記トレーニングされた機械学習モデルに基づいて結果を予測するステップと、
   プロセッサによって、前記前処理されたデータに関連付けられた１つ又は複数の特徴に対して前記結果を最適化するステップと、
   ループであって、
   グラフィカル・ユーザ・インターフェースを介して受信される入力に応答して、前記データの前記１つ又は複数の特徴のサブセットを制約し、新しいデータ・セットとするステップと、
   前記機械学習モデルによって、前記新しいデータ・セットを前処理するステップと、
   選択された前記トレーニングされた機械学習モデルによって、前記前処理された新しいデータ・セットに基づいて新しい結果を予測するステップと、
   前記ディスプレイによって、前記グラフィカル・ユーザ・インターフェース上に、前記最適化された結果及び前記新しい結果を同時に出力するステップと、
   前記新しい結果が承認されるか又は拒否されるかを示すユーザ入力を受信するステップと
   を含むループを開始するステップと、
   選択された前記トレーニングされた機械学習モデルを使用して、前記新しい結果が承認されるまで前記ループを再実行するステップと
   を含む、方法。
7. 前記１つ又は複数の特徴の前記サブセットを制約するために前記グラフィカル・ユーザ・インターフェースを介して受信される前記入力は、前記ディスプレイ上の１つ又は複数のオブジェクトの移動を含む、請求項６に記載のコンピュータ実装方法。
8. 前記１つ又は複数の特徴の前記サブセットを制約するために受信される前記入力は、前記最適化された結果に関連付けられたデータ・ファイルにおける前記サブセットの選択を含む、請求項６に記載のコンピュータ実装方法。
9. 前記機械学習モデルが、最近傍、単純ベイズ、デシジョン・ツリー、線形回帰、サポート・ベクター・マシン（ＳＶＭ）、ニューラル・ネットワーク及びそれらの任意の組合せからなるグループから選択される、請求項６に記載のコンピュータ実装方法。
10. 前記１つ又は複数の特徴は、プロモーション・タイプ及びプロモーション日付を含み、前記結果は、売上金額である、請求項６に記載のコンピュータ実装方法。
11. 非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、コンピュータによって実行されたとき、前記コンピュータに、
    機械学習モジュールによって、データを前処理させ、
    前記機械学習モジュールによって、前記前処理されたデータを用いて複数の機械学習モデルをトレーニングさせ、
    前記機械学習モジュールによって、前記複数の機械学習モデルからトレーニングされた機械学習モデルを選択させ、
    前記機械学習モジュールによって、選択された前記トレーニングされた機械学習モデルに基づいて結果を予測させ、
    プロセッサによって、前記前処理されたデータに関連付けられた１つ又は複数の特徴に対して前記結果を最適化し、
    ディスプレイによって、前記最適化された結果を出力し、
    ループであって、
    グラフィカル・ユーザ・インターフェースを介して受信される入力に応答して、前記データの前記１つ又は複数の特徴のサブセットを制約し、新しいデータ・セットとするステップと、
    前記機械学習モジュールによって、前記新しいデータ・セットを前処理するステップと、
    選択された前記トレーニングされた機械学習モデルによって、前記前処理された新しいデータ・セットに基づいて新しい結果を予測するステップと、
    前記ディスプレイによって、前記グラフィカル・ユーザ・インターフェース上に、前記最適化された結果及び前記新しい結果を同時に出力するステップと、
    前記新しい結果が承認されるか又は拒否されるかを示すユーザ入力を受信するステップと
    を含むループを開始し、
    選択された前記トレーニングされた機械学習モデルを使用して、前記新しい結果が承認されるまで前記ループを再実行する
    命令を含む、非一時的コンピュータ可読記憶媒体。
12. 前記１つ又は複数の特徴の前記サブセットを制約するために前記グラフィカル・ユーザ・インターフェースを介して受信される前記入力は、前記ディスプレイ上の１つ又は複数のオブジェクトの移動を含む、請求項１１に記載のコンピュータ可読記憶媒体。
13. 前記１つ又は複数の特徴の前記サブセットを制約するために受信される前記入力は、前記最適化された結果に関連付けられたデータ・ファイルにおける前記サブセットの選択を含む、請求項１１に記載のコンピュータ可読記憶媒体。
14. 前記機械学習モデルが、最近傍、単純ベイズ、デシジョン・ツリー、線形回帰、サポート・ベクター・マシン（ＳＶＭ）、ニューラル・ネットワーク及びそれらの任意の組合せからなるグループから選択される、請求項１１に記載のコンピュータ可読記憶媒体。
15. 前記１つ又は複数の特徴は、プロモーション・タイプ及びプロモーション日付を含み、前記結果は、売上金額である、請求項１１に記載のコンピュータ可読記憶媒体。