JP5620933B2 - エンタープライズウェブマイニングシステム及び方法 - Google Patents

Description

関連出願のクロスリファレンス
２０００年９月２８日に出願した仮出願第６０／２３５９２６号の３５Ｕ．Ｓ．Ｃ（米国特許法）第１１９条（ｅ）下の利益は、本明細書の請求項に示されている。

本発明の分野
本発明は、オンライン予測及びリコメンデーションを生成するエンタープライズウェブマイニングシステムに関するものである。

本発明の背景
データマイニングは、データ群から隠れたパターンを検出することが可能な技術である。真のデータマイニングは、提示されているデータをそこで変更することでなく、そのデータ間での未知の関係を前もって発見することである。データマイニングは、通常、データベースシステム内のソフトウェアとして、あるいはデータベースシステム関連ソフトウェアとして実現される。データマイニングソフトウェアの有効性を改善する場合には、２つの主要な分野がある。１つ目は、データマイニングソフトウェアがデータ間の関係を発見することで、特定技術及び処理を改善することができる。このような改善には、演算速度、より精度の高い関係の決定、及びデータ間の新たなタイプの関係の発見がある。２つ目は、有効なデータマイニング技術及び処理を与えることで、より多くのデータを取得してデータマイニング結果を改善することである。付加的なデータを様々な方法で取得することができ、新規のソースのデータを取得しても良く、既存のソースのデータから付加的なタイプのデータを取得しても良く、既存のソースから、既存のタイプの付加的なデータを取得しても良い。

典型的な企業は、膨大な量のソースデータと、膨大な様々なタイプのデータを有している。例えば、企業は、製品の在庫レベルに関するデータを含む在庫制御システム、製品を説明するデータを含むカタログシステム、製品の消費者による注文に関するデータを含む注文システム、製品の製造及び出荷の費用に関するデータを含む会計システム等を持つことができる。加えて、いくつかのソースのデータは専用データネットワークに接続することができる一方で、別のソースのデータはインターネットのような公衆データネットワークに接続し、かつアクセス可能とすることができる。

データマイニングを個別のソースのデータに適用することは有効となっているが、エンタープライズワイドのデータマイニングにはそれほど有効となっていない。エンタープライズデータマイニングを実行するための従来の技術は、マニュアル操作によるいくつかのデータ統合、前処理、マイニング及び解析ツールを含んでいる。この従来処理は費用がかかり、かつ時間を浪費するので、多くの企業にとっては、たいていは適したものとになっていない。ワールドワイドウェブトランザクション及び行動に関連するデータを含むインターネットベースのデータソースの到来は、この問題を悪化させている。特に、インターネットベースのデータソースを含むエンタープライズワイドのデータマイニングを自動的にかつ経済的な方法で実行する技術の必要性が生じている。

本発明の要約
本発明は、エンタープライズ−ワイドウェブデータマイニングシステム、コンピュータプログラム製品、及びその動作の方法であり、これは、インターネットベースのデータソースを使用し、また、自動化かつコスト的に有効な方法で動作する。

本発明に従えば、エンタープライズウェブマイニングを行う方法は、複数のデータソースからデータを収集する工程と、収集データを統合する工程と、収集データを使用して、複数のデータマイニングモデルを生成する工程と、リコメンデーションあるいは予測に対する受信リクエストに応答して、予測あるいはリコメンデーションを生成する工程とを備える。

本発明の構成では、収集する工程は、複数のデータソースからデータを取得する工程と、取得データから所望の出力に関連するデータを選択する工程と、選択データを前処理する工程と、前処理選択データから複数のデータベーステーブルを構築する工程を備える。複数のデータソースは、専用アカウントあるいはユーザベースデータと、補完外部データと、ウェブサーバデータと、ウェブトランザクションデータとを備える。ウェブサーバデータは、転送制御プロトコル／インターネットプロトコルパケットスニッフィングによって取得されるウェブトラフィックデータ、ウェブサーバのアプリケーションプログラムインタフェースから取得されるウェブトラフィックデータ及びウェブサーバのログファイルの少なくとも１つを備える。

本発明の別の構成では、取得データは、複数種類のデータからなり、統合する工程は、コヒーレントフォーマットの収集データからなる統合化データベースを形成する工程を備える。モデルを生成する工程は、モデルを生成するために使用されるアルゴリズムを選択する工程と、選択アルゴリズムと統合化データベースに含まれるデータを使用して少なくとも１つのモデルを生成する工程と、少なくとも１つのモデルを配置する工程とを備える。少なくとも１つのモデルを配置する工程は、モデルを実現するプログラムコードを生成する工程を備える。オンライン予測あるいはリコメンデーションを生成する工程は、予測あるいはリコメンデーションに対するリクエストを受信する工程と、統合化データベースに含まれるデータを使用してモデルのスコアリングを行う工程と、生成されたスコアに基づいて予測あるいはリコメンデーションを生成する工程と、予測あるいはリコメンデーションを送信する工程とを備える。

一実施形態では、選択データを前処理する工程は、データクリーニング、来訪者識別、セッション再構築、ウェブページのナビゲーションとコンテンツページへの分類、経路確立及びファイル名のページタイトルへの変換の少なくとも１つで、選択データに対して実行する工程とを備える。別の実施形態では、選択データを前処理する工程は、ウェブサーバによって処理されたデータの所定要素を収集する工程とを備える。

本発明に従えば、エンタープライズウェブマイニングシステムは、複数のデータソースと接続されているデータベースと、そのデータベースはデータソースから収集されるデータを記憶するために動作可能であり、ウェブサーバとデータベースに接続されているデータマイニングエンジンと、そのデータマイニングエンジンは収集データを使用して複数のデータマイニングモデルを生成するために動作可能であり、ネットワークに接続されているサーバと、そのサーバは、ネットワークを介して予測あるいはリコメンデーションに対するリクエストを受信し、データマイニングモデルを使用して予測あるいはリコメンデーションを生成し、生成された予測あるいはリコメンデーションを送信するために動作可能である。

本発明の別の構成では、データベースは、収集データから構築される複数のデータベーステーブルからなる。複数のデータソースは、専用アカウントあるいはユーザベースデータと、補完外部データと、ウェブサーバデータと、ウェブトランザクションデータとを備える。ウェブサーバデータは、転送制御プロトコル／インターネットプロトコルパケットスニッフィングによって取得されるウェブトラフィックデータ、ウェブサーバのアプリケーションプログラムインタフェースから取得されるウェブトラフィックデータ及びウェブサーバのログファイルの少なくとも１つである。

本発明の別の構成では、複数のデータベーステーブルは、コヒーレントフォーマットの収集データからなる統合化データベースを形成する。データマイニングエンジンは、更に、モデルを生成するために使用されるアルゴリズムを選択し、選択アルゴリズムと統合化データベースに含まれるデータを使用して少なくとも１つのモデルを生成し、少なくとも１つのモデルを配置するために動作可能である。配置モデルは、モデルを実現するプログラムコードからなる。サーバは、統合化データベースに含まれるデータを使用してモデルのスコアリングを行い、生成されたスコアに基づいて予測あるいはリコメンデーションを生成することによって、予測あるいはリコメンデーションを生成するために動作可能である。

本発明の別の構成では、システムは、選択データを前処理するデータ前処理エンジンを更に備える。データベースは、前処理選択データから構築される複数のデータベーステーブルを備える。複数のデータソースは、専用アカウントあるいはユーザベースデータと、補完外部データと、ウェブサーバデータと、ウェブトランザクションデータとを備える。ウェブサーバデータは、転送制御プロトコル／インターネットプロトコルパケットスニッフィングによって取得されるウェブトラフィックデータ、ウェブサーバのアプリケーションプログラムインタフェースから取得されるウェブトラフィックデータ及びウェブサーバのログファイルの少なくとも１つである。複数のデータベーステーブルは、コヒーレントフォーマットの収集データからなる統合化データベースを形成する。データマイニングエンジンは、更に、モデルを生成するために使用されるアルゴリズムを選択し、選択アルゴリズムと統合化データベースに含まれるデータを使用して少なくとも１つのモデルを生成し、少なくとも１つのモデルを配置するために動作可能である。配置モデルは、モデルを実現するプログラムコードからなる。サーバは、統合化データベースに含まれるデータを使用してモデルのスコアリングを行い、生成されたスコアに基づいて予測あるいはリコメンデーションを生成することによって、予測あるいはリコメンデーションを生成するために動作可能である。データ前処理エンジンは、データクリーニング、来訪者識別、セッション再構築、ウェブページのナビゲーションとコンテンツページへの分類、経路確立及びファイル名のページタイトルへの変換の少なくとも１つを、選択データに対して実行することによって選択データを前処理する。データ前処理エンジンは、ウェブサーバによって処理される所定要素のデータを収集することによって選択データを処理する。

本発明を組み込むシステム例のブロック図である。 本発明を組み込むシステム例のブロック図である。 本発明に従う、エンタープライズウェブマイニングシステムの一実施形態のブロック図である。 本発明に従う、エンタープライズウェブマイニングシステムの一実施形態のブロック図である。 図３に示されるデータマイニングサーバのブロック図である。 図４に示されるデータベース管理システムのブロック図である。 ウェブ、電子商取引及びエンタープライズビジネスによって使用されるデータ範囲を示す図である。 本発明の情報フローを示す図である。 本発明に従う、エンタープライズウェブマイニングシステムの一実施形態のブロック図である。 図９に示されるシステムで実現される方法及び技術的な構成のブロック図である。 図１０に示される構成で実現されるエンタープライズウェブマイニングの処理のフロー図である。 図１１に示されるモデル生成工程のフロー図である。 図１１に示されるモデルスコアリング工程及び予測／リコメンデーション生成工程のデータフロー図である。 データ、演繹及び帰納モデル間の関係を示す図である。 本発明で使用される訓練テーブルのフォーマット例を示す図である。 図１５に示される訓練テーブルのエントリー群のフォーマット例を示す図である。 ナイーブ ベイズ アルゴリズム及び判断ツリーの少なくとも一方を使用して生成される帰納モデル例を示す図である。 クラスタリング及び関連付けアルゴリズムを使用して生成される帰納モデル例を示す図である。

本発明の詳細説明
本発明は、特に、インターネットベースのデータソースを含むエンタープライズワイドのデータマイニングを自動的にかつ経済的な方法で実行する技術である。インターネットベースのデータソースを含むエンタープライズデータマイニングを含むこの技術は、エンタープライズウェブマイニングと称することもできる。エンタープライズウェブマイニングは、企業、倉庫及びウェブトランザクションコンポーネントを有する複数のデータ集中データソース及びリポジトリ（集積所）（ｒｅｐｏｓｉｔｏｒｉｅｓ）を含んでいる。本発明の方法及びフレームワークは、機械学習モデルのようなデータマイニング帰納モデルを構築するために適している方法にこれらのデータソースを組み込み、ウェブ及び汎用リレーショナルデータベース管理システムの機能の範囲で、様々なタイプの予測及びリコメンデーション問題を解決するための機能を提供する。予測及びリコメンデーション機能とは別に、本発明は、クリックストリームと他のウェブ生成データと、汎用データベースとの間でのパターンと重要な関係を発見する機能を提供する。本発明は、予測精度を改善し、複雑な行動を取り込み、かつ説明する機能を提供し、様々なビジネス上の問題において、価値の高い予測及びリコメンデーションを行う機能を提供する。

定義
ウェブマイニング − ウェブデータに含まれる関係を自動的に検討しパターンを発見する方法及びデータマイニングアルゴリズムを使用すること、このパターンは、実行可能なビジネスの決定を行い、かつパーソナライゼーション（人格化）及び１対１のビジネス情報をサポートするために使用することができる。

リコメンデーション − 個人のプリファレンスを考慮し、かつ特定の人格化動作をできる限り可能にする予測を行うリアルタイムリコメンデーション。顕在リコメンデーションは、クロスセル（ｃｒｏｓｓ−ｓｅｌｌ）あるいはアップセル（ｕｐ−ｓｅｌｌ）要素（ｉｔｅｍ）に対して使用することができる。潜在リコメンデーションは、ウェブサイトコンテンツ、ナビゲーション及び他のタイプの間接的な広告に対して使用することができる。

エンタープライズウェブマイニング（ＥＷＭ） − 企業、倉庫及びウェブトランザクションコンポーネントを有する複数のデータ集中データソース及び集積所の集合を組み込むデータマイニング
潜在データ − ウェブ利用者の動作、例えば、クリック、購入及びオーディオトラックの聴取時間のような動作から取得される。

顕在データ − ウェブ利用者の質問に対する回答、例えば、Ａｍａｚｏｎ．ｃｏｍの本の格付けのような回答から取得される。

システム
本発明を組み込むシステム１００のブロック図の一例を図１に示す。システム１００は、複数のユーザシステム１０２を含み、これは、例えば、インターネット１０４のようなデータ通信ネットワークを通信可能に接続されている、ユーザによって操作されるパーソナルコンピュータシステムである。ユーザシステム１０２は、情報に対するリクエストを生成し、インターネット１０４を介してウェブサーバ１０６へ送信する。典型的には、この情報のリクエストは、ユーザからの入力に応答して、ユーザシステム１０２上で動作するブラウザソフトウェアによって生成される。この情報のリクエストは、ウェブサーバ１０６によって受信され、処理され、通常は、そのリクエスト情報にを含む応答がウェブサーバ１０６からユーザシステムへ送信される。データマイニング／データ処理システム１０８は、ウェブサーバ１０６と通信可能に接続されており、ユーザシステム１０２からウェブサーバ１０６によって受信される情報のリクエストに関連する情報を受信する。システム１０８によって受信される情報には、実際のリクエスト自身が含まれ、これには、ウェブサーバ１０６によって処理あるいは生成されているリクエストに関連する他の情報を含むことができる、あるいはウェブサーバ１０６自身によって生成される情報に対するリクエストを含むことができる。システム１０８は、その受信情報を処理し、適切な応答を行う。例えば、受信情報がユーザシステム１０２からのリクエスト、あるいはこれらのリクエストに関連する情報である場合、システム１０８はデータベースにその情報を記憶する、かつ／あるいは適切な情報を抽出するためにデータベースのデータマイニングを実行する。同様に、受信情報がシステム１０６で生成された情報に対するリクエストである場合、システム１０８は、典型的には、そのリクエストに対する応答となる情報を抽出するためにデータベースのデータマイニングを実行する。

従来からのデータマイニングは、利用者データ及びトランザクションが完全に構築され、かつ適切に定義されているデータベースを組み込むために適用される。インターネットは、新規でかつ複雑な環境の発生に伴うすべての事象を変更し、この新規でかつ複雑な環境は、ウェブポータル及びサーチエンジンからの動的なクリックストリームデータから、たえず成長しているＥコマース（電子商取引）（Ｅ−ｃｏｍｍｅｒｃｅ）サイトまで、はては従来の企業の倉庫までの範囲のエンタープライズデータを含んでいる。本発明は、新規な環境にけるビジネスの問題を適切に扱うデータマイニングに対して拡張されている方法を使用している。この目的を達成するために、本発明は、貧弱なウェブＥコマースから、図２に示されるような、伝統的な企業及びビジネスまでのデータマイニング要求のすべての範囲に及んでいる。図２に示されるように、本発明は、様々なデータのソースに接続されているデータマイニング／データ処理システム２０２を含んでいる。例えば、システム２０２は、システム２０４Ａ〜２０４Ｎのような複数の内部あるいは専用データソースに接続することができる。システム２０４Ａ〜２０４Ｎは、公にはアクセスすることができないものを含む、任意のタイプのデータソース、倉庫あるいは集積所であり得る。このようなシステムの例には、在庫管理システム、会計システム、スケジュール管理システム等が含まれる。システム２０２は、様々な方法でインターネット２０８を介してアクセス可能な複数の専用データソースに接続することもできる。このようなシステムは、図２に示されるシステム２０６Ａ〜２０６Ｎを含んでいる。システム２０６Ａ〜２０６Ｎは、インターネット２０８を介して公的にアクセスすることができ、これは、暗号化通信技術を使用して専用的にアクセスすることが可能である、あるいは公的にかつ専用的にアクセスすることができる。システム２０２は、インターネット２０８を介して他のシステムと接続することもできる。例えば、システム２１０は、暗号化通信を使用してインターネット２０８を介してシステム２０２へ専用的にアクセスすることが可能であり、一方で、システム２１２は、インターネット２０８を介して公的にアクセスすることが可能である。

システム２０２に接続されているシステムに対する共通スレッドは、接続されているシステムのすべてが、システム２０２に対するデータの潜在的なソースとなっている。これに含まれるデータは、任意のオリジナルソースからの任意のタプで、かつ任意のフォーマットであり得る。システム２０２は、利用可能なデータすべてを利用する機能を有している。

エンタープライズウェブマイニングシステム１０８の一実施形態を図３に示す。図３に示される実施形態では、データマイニングサーバ３０２は、データベース管理システム３０４から分離されている。データベース管理システム３０４は、図１に示される専用及び公開データソースのようなデータソース３０６と接続されている。データベース管理システムは、データ３０８と、データベース管理システム（ＤＢＭＳ）エンジン３１０の２つの主要構成要素を含んでいる。データ３０８は、典型的には、複数のデータテーブルで構成されているデータに加えて、そのデータへのアクセスを容易にするインデックス及び他の構造を含んでいる。ＤＢＭＳエンジン３１０は、典型的には、データベースのクエリーを受信し、処理するソフトウェアを含み、そのクエリーを満足するデータを取得し、かつそのクエリーに対する応答を生成して送信する。好ましくは、ＤＢＭＳエンジン３１０は、構造化クエリー言語（ＳＱＬ）記述の形式でクエリーを受信する。データマイニングサーバ３０２は、ユーザ３０８のような１人以上のユーザからデータマイニング処理データに対するリクエストを受信し、そのデータに対するリクエストを処理し、データベースクエリーを生成してデータベース管理システム３０４へ送信し、そのクエリーに対する応答を受信し、そのクエリーを処理して、かつそのユーザへ応答を送信する。

エンタープライズウェブマイニングシステム１０８の別の実施形態を図４に示す。図４に示される実施形態では、データマイニング機能は、データベース管理システム４０２に含まれている。データベース管理システム４０２は、図１に示される専用及び公開データデータソースのようなデータソース４０４に接続されている。データベース管理システムは、データ４０６とデータベース管理システム（ＤＢＭＳ）エンジン４０８の２つの主要構成要素を含んでいる。データ４０６は、典型的には、複数のデータテーブルで構成されているデータに加えて、そのデータへのアクセスを容易にするインデックス及び他の構造を含んでいる。ＤＢＭＳエンジン４０８は、典型的には、データベースのクエリーを受信し、処理するソフトウェアを含み、そのクエリーを満足するデータを取得し、かつそのクエリーに対する応答を生成して送信する。ＤＢＭＳエンジン４０８は、データマイニング部４１０を含み、これは、ユーザ４１２のような１人以上のユーザからのデータマイニング処理データに対するリクエストのために、データを取得し、そのデータのデータマイニング処理を実行する機能を有するＤＢＭＳエンジン４０８を提供する。

図３に示されるデータマイニングサーバ３０２のブロック図の一例を図５に示す。データマイニングサーバ３０２は、典型的には、パーソナルコンピュータ、ワークステーション、サーバシステム及びミニコンピュータあるいはメインフレームコンピュータのようなプログラム化汎用コンピュータシステムである。データマイニングサーバ３０２は、プロセッサ（ＣＰＵ）５０２、入力／出力回路５０４、ネットワークアダプタ５０６及びメモリ５０８を含んでいる。ＣＰＵ５０２は、本発明の機能を実行するためのプログラム命令群を実行する。典型的には、ＣＰＵ５０２は、インテル ペンティアム（登録商標）プロセッサのようなマイクロプロセッサであるが、ミニコンピュータあるいはメインフレームコンピュータプロセッサであっても良い。入力／出力回路５０４は、データマイニングサーバ３０２に対するデータの入出力を行う機能を提供する。例えば、入力／出力回路は、キーボード、マウス、タッチパッド、トラックボール、スキャナ等のような入力デバイスを含むことができ、ビデオアダプタ、モニタ、プリンタ等のような出力デバイスを含むことができ、かつモデム等のような入力／出力デバイスを含むことができる。ネットワークアダプタ５０６は、ネットワーク５１０とデータマイニングサーバ３０２とを接続する。ネットワーク５１０は、イーサネット（登録商標）、トークンリング、インターネットあるいは専用あるいは公衆ＬＡＮ／ＷＡＮのような標準的なローカルエリアネットワーク（ＬＡＮ）あるいはワイドエリアネットワーク（ＷＡＮ）であっても良い。

メモリ５０８は、本発明のデータマイニング機能を実行するための、ＣＰＵ５０２によって実行されるプログラム命令群を記憶し、かつＣＰＵ５０２によって使用されかつ処理されるデータを記憶する。メモリ５０８は、電気的メモリデバイスを含むことができ、これには、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ等があり、また、電気機械式メモリを含むことができ、これには、磁気ディスクドライブ、テープドライブ、光ディスクドライブ等があり、これらの電気機械式メモリは、例えば、統合化トライブエレクトロニクス（ＩＤＥ）インタフェース、あるいはその変形あるいは拡張である拡張ＩＤＥ（ＥＩＤＥ）あるいはウルトラダイレクトメモリアクセス（ＵＤＭＡ）、あるいはスモールコンピュータシステムインタフェース（ＳＣＳＩ）規格インタフェース、あるいはその変形あるいは拡張であるファストＳＣＳＩ、ワイドＳＣＳＩ、ファストアンドワイドＳＣＳＩ等、あるいはファイバチャネル調停ループ（ＦＣ−ＡＬ）インタフェースを使用することができる。

メモリ５０８は、データ５１２、処理ルーチン５１４及びオペレーティングシステム５１６を含んでいる。データ５１２は、図３に示されるデータベース管理システム３０４から検索され、かつデータマイニング機能に対して使用されるデータを含んでいる。処理ルーチン５１４は、本発明によって実行されるデータマイニング処理を実現するソフトウェアルーチンである。オペレーティングシステム５２０は、システム全体の機能を提供する。

図４に示されるデータベース管理システム４０２のブロック図の一例を図６に示す。データベース管理システム４０２は、典型的には、パーソナルコンピュータ、ワークステーション、サーバシステム及びミニコンピュータあるいはメインフレームコンピュータのようなプログラム化汎用コンピュータシステムである。データベース管理システム４０２は、プロセッサ（ＣＰＵ）６０２、入力／出力回路６０４、ネットワークアダプタ６０６及びメモリ６０８を含んでいる。ＣＰＵ６０２は、本発明の機能を実行するためのプログラム命令群を実行する。典型的には、ＣＰＵ６０２は、インテル ペンティアム（登録商標）プロセッサのようなマイクロプロセッサであるが、ミニコンピュータあるいはメインフレームコンピュータプロセッサであっても良い。入力／出力回路６０４は、データベース管理システム４０２に対するデータの入出力を行う機能を提供する。例えば、入力／出力回路は、キーボード、マウス、タッチパッド、トラックボール、スキャナ等のような入力デバイスを含むことができ、ビデオアダプタ、モニタ、プリンタ等のような出力デバイスを含むことができ、かつモデム等のような入力／出力デバイスを含むことができる。ネットワークアダプタ６０６は、ネットワーク６１０とデータマイニングサーバ２０２とを接続する。ネットワーク６１０は、イーサネット（登録商標）、トークンリング、インターネットあるいは専用あるいは公衆ＬＡＮ／ＷＡＮのような標準的なローカルエリアネットワーク（ＬＡＮ）あるいはワイドエリアネットワーク（ＷＡＮ）であっても良い。

メモリ６０８は、データベース管理システム４０２の機能を実行するための、ＣＰＵ６０２によって実行されるプログラム命令群を記憶し、かつＣＰＵ６０２によって使用されかつ処理されるデータを記憶する。メモリ６０８は、電気的メモリデバイスを含むことができ、これには、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ等があり、また、電気機械式メモリを含むことができ、これには、磁気ディスクドライブ、テープドライブ、光ディスクドライブ等があり、これらの電気機械式メモリは、例えば、統合化トライブエレクトロニクス（ＩＤＥ）インタフェース、あるいはその変形あるいは拡張である拡張ＩＤＥ（ＥＩＤＥ）あるいはウルトラダイレクトメモリアクセス（ＵＤＭＡ）、あるいはスモールコンピュータシステムインタフェース（ＳＣＳＩ）規格インタフェース、あるいはその変形あるいは拡張であるファストＳＣＳＩ、ワイドＳＣＳＩ、ファストアンドワイドＳＣＳＩ等、あるいはファイバチャネル調停ループ（ＦＣ−ＡＬ）インタフェースを使用することができる。

メモリ６０８は、データ４０６、データベース管理処理ルーチン６１２、データマイニング処理ルーチン６１４及びオペレーティングシステム６１６を含んでいる。データ４０６は、典型的には、複数のデータテーブルで構成されているデータに加えて、そのデータへのアクセスを容易にするインデックス及び他の構造を含んでいる。データベース管理処理ルーチン６１２は、データベースクエリー処理のようなデータベース管理機能を提供するソフトウェアルーチンである。データマイニング処理ルーチン６１４は、本発明によって実行されるデータマイニング処理を実現するソフトウェアルーチンである。好ましくは、このデータマイニング処理は、データベース管理処理に統合される。例えば、データマイニング処理は、標準ＳＱＬあるいは拡張ＳＱＬ記述のどちらかの形式のデータベースクエリーを受信することによって初期化されても良い。オペレーティングシステム６２０は、システム全体の機能を提供する。

ウェブ、ｅコマース及びエンタープライズビジネスによって使用されるデータ範囲の例を図７に示す。伝統的な従来型の企業（ｂｒｉｃｋ ａｎｄ ｍｏｒｔａｒ ｅｎｔｅｒｐｒｉｓｅｓ）７０２は、典型的には、大量の企業管理（ｗａｒｅｈｏｕｓｉｎｇ）データを使用しており、そのデータベースにはウェブデータはわずかあるいは全く持っていない。一方、真のウェブベースのビジネスの領域、例えば、ウェブポータルあるいはサーチエンジンは、主要なウェブトランザクションを記憶し、かつ企業データについてはわずかにあるいは全く持つことがない。多くの企業は、過度ではなく、むしろウェブと企業ビジネスの混合型７０６に属しており、そのため、企業管理データとウェブトランザクションデータの両タイプのデータを持っている。

ウェブエンタープライズあるいはｅコマースサイトが従来よりのデータマイニングにもたらす条件や変更を視覚的に示す方法としては、ウェブサイトが「仮想百貨店」であることを想定する方法がある。これは、従来の百貨店と、以下の３点が異なる。

ｉ）ユーザを識別でき、かついくつかの場合にはタグ付けすることができる。
ｉｉ）正確な閲覧あるいは購入経路を記録することができる
ｉｉｉ）店舗の構成（仮想百貨店、セールスエージェントの特徴等）を動的に変更して、各顧客毎にカスタマイズすることができる。

本発明の情報フロー図の一例を図８に示す。情報は、ウェブ、個々のユーザの行動と情報に対する特定リクエスト、加えて、他のソースから収集される。例えば、ウェブ８０２から収集される情報は、クリックストリーム及びウェブオグラフィック（ｗｅｂｏｇｒａｐｈｉｃｓ）情報８０４、調査及びサーチリクエスト８０６、登録情報８０８、企業データベース管理システム情報及びデモグラフィック情報８１０及び、取引貨幣、金融情報等の会計情報８１２を含んでいる。この情報は統合され、エンタープライズウェブマイニングシステム８１４に送信される。エンタープライズウェブマイニングシステム８１４は、ウェブサーバ８１６でその統合データを受信し、そのデータを適宜、ウェブ倉庫８１８及び内部データベース８２０の少なくとも一方に記憶する。データマイニングエンジン８２２及びオンライン解析処理（ＯＬＡＰ）機能８２４は、ウェブ倉庫８１８及び内部データベース８２０に記憶されているデータを取得して解析し、消費者８２８あるいは他のユーザへの送信対象となる、カスタム化かつ／あるいはパーソナライズ化情報８２６を生成する。データマイニングエンジン８２２は、データに隠されているパターンを発見する一方で、ＯＬＡＰ機能８２４はデータの多次元解析を提供する。生成されるカスタム化かつパーソナライズ化情報のタイプの例には、選択されたウェブページのコンテンツ、ページ間のナビゲーション、広告、消費者サービス情報、検索結果、クロスセリング情報、リンク、ショートカット、製品、プロモーション、メーリング及びコールセンター情報が含まれる。

多くのデータマイニングの問題には、３つのパラダイム、つまり、管理学習、関連解析及びクラスタリングの１つに従って説明される。これらのパラダイムは、リスクアセスメント、消耗（ａｔｔｒｉｔｉｏｎ）及び保有モデリング、キャンペーンマーケティング、不正検出、消費者プロファイリング、利益及びクロスセリングのような、企業とデータベースマイニングにおける様々な問題に適用されている。これらの適用問題は、通常、アカウントあるいはユーザ中心の観点から検討される。各ユーザのすべての関連情報はマージされ、１つのレコードにまとめられる。入力データセットは、通常は、大量の専用２次元テーブルのようになっており、このテーブルの列には、属性（固有パラメータ）が対応付けられている。管理学習方法においては、ある特定列を、データマイニングモデルの従属パラメータとして使用される「ターゲット」を提供する。関連モデリングは、小規模構成方法（即ち、特定ターゲットフィールドとは別に）で、関係、つまり、共通パターン及び傾向の発見を試行する。これらの関係は、データセットの異なる属性間の統計的相互関係によって支援され、独立、補助及び信頼閾値を与えることによって抽出される。関連解析は、典型的には、トランザクションあるいはマーケットバスケットデータに適用される。この場合、データセットは、個々の売上に対応する要素のバスケットあるいはグループのリストとなっているトランザクションデータを構成する。ここでも、データセットは、２次元テーブルであるが、この場合は、潜在的にかなり散在している状態である。クラスタリングは、データ削減及びクラス発見のために使用される。これは、グループを類似グループに記録する一般相関関係構造発見するための方法である。クラスタリングは、アカウントあるいはトランザクションベースのデータセットの両方に適用される。多くのデータマイニングツールセットは、これらのパラダイムのインスタンス（例証）を提供するアルゴリズムをサポートしているが、１つの問題に３つのパラダイムが共通してかかわることはない。

多くの一般的に実用化されているエンタープライズウェブマイニング（ＥＷＭ）は、集中データソースと、企業、倉庫及びウェブトランザクションコンポーネントを有する保管場所の集合を含んでいる。この異種混交状態にある結果、本発明は、３つの学習パラダイムをサポートし、図３に示されるウェブエンタープライズの範囲に従う様々なタイプのマイニング問題をシステムが解決することを可能にするのに適している方法で、これらのデータソースを合体しなければならない。本発明の範囲の一側面は、アカウント中心ウェブデータによって増大されている企業ＲＤＢＭＳ上で伝統的なデータマイニングモデリングを実行する機能を提供することにある。本発明の範囲の別側面は、サーチエンジンのようなサイトで必要とされるである、真のトランザクショナル関連解析を実行する機能を提供することにある。多くのウェブサイトと企業活動は、どこでも中心となっている。

つまり、本発明は、以下の機能を提供する。
・ウェブサーバデータからセッション情報の抽出
・ウェブサイトの来訪者の行動をその来訪者のプリファレンスについてのデータに変換
・ウェブトランザクション及び閲覧行動データを消費者情報とデモグラフィックに統合
・入力ウェブ及び企業データとして使用する様々なマイニング問題（例えば、クロスセリング、アップセリング、マーケットセグメンテーション、消費者確保及び利益）のサポート
・興味深く、かつ関連のあるパターン、クラスタ、トランザクション及びユーザ消費者データでの関係の発見の支援
本発明で実行される重要な機能は、コヒーレントな方法で、多くの既存情報の集合体、記憶及び決定要素を統合することである。これを実行するために、統合処理手順とユーザインタフェースが定義されなければならない。

これは、３種類のウェブマイニングを区別するのに有効である。ウェブに展開されている汎用のデータマイニングからなるウェブマイニングは、広告、クロスセリング等に対するセグメンテーションモデルの結果を使用するためのウェブページ機能を提供する。クリックストリームデータのデータマイニングからなるウェブマイニングは、統計的利用明細、オンラインパーソナライズ化リコメンデーション及びオンラインパーソナライズ化ナビゲーション及び汎用コンテンツを生成する機能を提供する。本発明によって提供される、完全自立エンタープライズウェブマイニングは、取得、クロスセリング及び保有を含む企業／ウェブ消費者のライフサイクル全体を網羅するクリックストリーム及び概念的なクラスと、伝統的なマイニングを統合する機能を提供する。加えて、人工的なインテリジェンスセールスエージェントで動的なパーソナライズ仮想ストアを実現する機能を提供する。

本発明の別の重要な構成は、パーソナライゼーションアプリケーションがある。パーソナライゼーションアプリケーションは統合ソフトウェアアプリケーションであり、これは、ウェブサイトに対し、ウェブサイト来訪者及び消費者に提供するリコメンデーションをカスタマイズあるいはパーソナライズする方法を提供する。

リコメンデーションは、ウェブサイトへの各来訪者毎にパーソナライズ化される。これは、広範囲で、一般的な市場区分にリコメンデーションを適応させるという固有の効果を有している。リコメンデーションは、ナビゲーション動作、格付け、購入、加えて、デモグラフィックデータのような来訪者のデータ及び行動に基づいている。

パーソナライゼーションアプリケーションはデータを収集して、それを使用して予測モデルを構築する、この予測モデルは、「リンクｘとｙをクリックし、かつａとｂのデモグラフィック特性を有している操作者はｚを購入する傾向がある」といような形式のパーソナライズ化リコメンデーションをサポートする。

パーソナライゼーションアプリケーションは、ウェブへの来訪者のセッション中は、リアルタイムで来訪者の行動をそのリコメンデーションに組み込む。例えば、パーソナライゼーションアプリケーションは、クリックされているリンクはない等の、ウェブサイトを介する来訪者のナビゲーションを記録する。これらはすべて、その来訪者用として記憶される。来訪者は、例えば、書籍あるいは映画の類の格付けを行うためのウェブサイトのリクエストに応答することができ、この格付けは、その来訪者に対して記憶されるデータの一部となる。来訪者に対するウェブベースの行動のすべては、データベースに保存される、このデータベースは、パーソナライゼーションアプリケーションがその行動を使用して予測モデルを構築するために使用するデータベースである。このデータは、予測精度が向上することによって、次のセッションで収集されるデータとともに更新することができる。

パーソナライゼーションアプリケーションは、既存のウェブアプリケーションと協働して動作する。ウェブアプリケーションは、パーソナライゼーションアプリケーションに要求して、ある行動を記憶し、そのデータはパーソナライゼーションアプリケーションによってスキーマに保存される。ウェブアプリケーションは、パーソナライゼーションアプリケーションに要求して、ウェブサイトの来訪者によって購入されそうな製品のリストと、来訪者の現在の行動と、ウェブアプリケーションに処理される別のスキーマに従うリコメンデーションのリストとを生成する。

第３のスキーマは、管理スケジュールと行動を保持する。
パーソナライゼーションアプリケーションは、以下の４種類のデータを収集する。

・ナビゲーション的行動
・格付け
・購入
・デモグラフィックデータ
これらによって、ナビゲーション的行動は、かなりの柔軟性を持たすことができる。ウェブアプリケーションがヒット（ページの閲覧、リンク／要素（アイテム）（ｉｔｅｍ）等のクリック操作）を検討したいということを表現することができる。

ウェブサイトへの来訪者には２種類あり、登録来訪者（消費者）と未登録来訪者（ビジター）がある。消費者に対しては、パーソナライゼーションアプリケーションは、その消費者に対して時系列に収集された履歴データ及び現在のセッションのデータの両方に対してと、デモグラフィックデータを有している。ビジターに対しては、履歴データは存在しない、そのため、リコメンデーションは、可能である場合には、現在のセッションの行動とデモグラフィックに基づいている。

好ましくは、パーソナライゼーションアプリケーションは、ＲＥＡＰＩ（リコメンデーションエンジンアプリケーションプログラミングインタフェース）によって提供されるＪａｖａ（登録商標）コールを使用してデータを収集する。これらのコールは、セッションＩＤによって識別される特定セッションに対するリコメンデーションエンジンキャッシュに情報を追加する。リコメンデーションエンジンは、ＲＥＡＰＩコールで処理される以下の論証の１つを参照することによって、正しいセッションＩＤを発見する、このＲＥＡＰＩコールには、ａｐｐＳｅｓｓｉｏｎＩＤ−−セッションフル（ｓｅｓｓｉｏｎｆｕｌ）ウェブアプリケーション（つまり、各セッションに対して識別子を記憶するアプリケーション）によって使用される、ｃｕｓｔｏｍｅｒＩＤ−−セッションレス（ｓｅｓｓｉｏｎｌｅｓｓ）ウェブアプリケーション（つまり、各セッションに対して識別子を記憶しないアプリケーション）によって使用される、がある。より詳細には、収集されたデータは、ＪＳｅｒｖ（Ｊａｖａ（登録商標）サーバ）のデュアルバッファキャッシュに一時的に記憶される。定期的に、ＪＳｅｒｖバッファは更新され、データは適切なリコメンデーションエンジンスキーマに送信される。次に、セッションデータが使用され、履歴データと組み合わされて、リコメンデーションを生成する。そして、リコメンデーションエンジンインスタンスは、定期的に、終了しているあるいはタイムアウトしているセッションに対するマイニングテーブルリポジトリ（ｒｅｐｏｓｉｔｏｒｙ）（ＭＴＲ）にデータを更新する。リコメンデーションエンジンは、そのコンフィギュレーションパラメータによって特定されるタイプのデータソースとともにデータのみをＭＴＲに更新する。ＭＴＲ内のデータは、次に、将来配置する予測モデルを構築するために使用される。

いくつかのウェブアプリケーションはセッションフルである、即ち、それらはウェブサイトへ来訪する各ユーザに対するセッションを生成する。それ以外はセッションレス（ステートレス（ｓｔａｔｅｌｅｓｓ））である、即ち、それらはセッションを生成しない。コールしているウェブアプリケーションがセッションフルあるいはセッションレスであろうとをなかろうと、パーソナライゼーションアプリケーションは常にセッションフルであり、パーソナライゼーションアプリケーションは常に内部にセッションを生成し、ウェブサイトが存在する場合には、そのセッションをウェブサイトのセッションへ割り当てる。パーソナライゼーションアプリケーションセッション中には、ウェブアプリケーションは、データ及びリクエストリコメンデーションの少なくとも一方を収集することができる。

パーソナライゼーションアプリケーションは、そのデータを使用してデータマイニングモデルを構築する。このモデルは、ウェブサイトの来訪者が興味を持っているかあるいは購入しようとしているかを予測する。この予測は、ウェブサイトの来訪者の直前のセッション、現在のセッション及びデモグラフィック情報に対して収集されたデータに基づいている。パーソナライゼーションアプリケーションアプリケーションの管理者は、モデルあるいはモデル群を構築するために必要な情報と、加えて、データベース接続に関する情報を含むパッケージを定義する。パーソナライゼーションの管理者は、そのパッケージを構築し、かつそのパッケージをリコメンデーションを生成するリコメンデーションエンジン群（ＲＥ群）に配置するためのスケジュールを生成し、管理する。いくつかのパッケージを有するリコメンデーションエンジンは、リコメンデーションエンジンフレーム（ＲＥフレーム）群にグループ化される。これらとその関連する用語は、次のセクションでより完全に定義する。

パーソナライゼーションアプリケーションは、ウェブアプリケーションによって要求されるリコメンデーションのタイプに依存する、様々なデータマイニングアルゴリズムを使用する。特に有効な２つのアルゴリズムは、状態可能性に関連するベイズ（Ｂａｙｅｓ）理論に基づいている。これらのアルゴリズムを以下に説明する。

本発明に従う、エンタープライズウェブマイニングシステム９００の一実施形態のブロック図の例を図９に示す。図９は、物理的及び論理的構成要素の例であり、これは、本発明のエンタープライズウェブマイニングシステムを構成するように組み合わされている。システム９００は、複数のデータソース９０２、データ処理エンジン９０３、ウェブ倉庫あるいはウェブデータ保管庫９０４、ウェブサーバ９０６、データマイニングエンジン９０８、報告エンジン９１０及びウェブポータルページ９１２を含んでいる。データソース９０２は、企業データ９１４、外部データ９１６、ウェブトランザクションデータ９１８及びウェブサーバデータ９１９を含んでいる。企業データ９１４は、伝統的な専用の企業データベースあるいはアカウントあるいはユーザベースのレコードを記憶するデータ保管庫を含んでいる。例えば、名前、年齢、購入されたサービスあるいは商品の量、初期製造からの経過時間等がある。外部データ９１６は、外部デモグラフィックのような相補データと、外部ソースから取得される他のデータを含んでいる。ウェブトランザクションデータ９１８は、ウェブを介して完了している購入、情報要求等のトランザクションに関するデータを含んでいる。ウェブデータ９１９は、ＴＣＰ／ＩＰパケットスニッフィング（ｓｎｉｆｆｉｎｇ）（実データ収集）によるウェブトラフィックデータ、ウェブサーバのＡＰＩへ直接アクセスすることによって取得されるデータ及びウェブサーバログファイルを含んでいる。

ウェブ倉庫９０４は、ＯＲＡＣＬＥ８Ｉ（登録商標）のような任意の標準大規模リレーショナルデータベースシステムを使用して構築される。特別に設計されているスキーマは、マイニング処理とウェブサイト動作の有効な報告をサポートする。ウェブ倉庫は、データマイニングデータを記憶し、これは、通常、データマイニングモデルを構築するために使用されるデータテーブルで構成される。ウェブサーバ９０６は、ＡＰＡＣＨＥ（登録商標）、ＮＡＳＰＩ（登録商標）及び、ＩＳＡＰＩ（登録商標）のような任意の標準ウェブサーバに基づいていても良い。ウェブサーバ９０６は、ウェブアプリケーション９２０、アプリケーションプログラムインタフェース９２２及びリアルタイムリコメンデーションエンジン９２４を含むように拡張されている。ウェブアプリケーション９２０は、ＡＰＩ９２２を使用してデータを収集し、リアルタイムリコメンデーションエンジン９２４からリコメンデーションを要求することができる任意のアプリケーションを含んでいても良い。ＡＰＩ９２２は、ウェブアプリケーション９２０によって使用されるルーチン、プロトコル及びツールのセットである。ＡＰＩの機能は、データ収集及び前処理と、リアルタイムリコメンデーションの２つのグループに分けることができる。リアルタイムリコメンデーションエンジン９２４は、データマイニングエンジン９０８によって、オフラインで構築されたモデルを使用して、リアルタイムリコメンデーション（予測）を提供する。また、リアルタイムリコメンデーションエンジン９２４は、ウェブアプリケーション９２０からリアルタイムデータを収集する機能を提供する。ウェブアプリケーション９２０は、ＡＰＩ９２２を介して、リアルタイムリコメンデーションエンジン９２４と通信する。

データ処理エンジン９０３は、抽出及び変換コンポーネントを提供する、これは、ウェブログと他の企業情報ソースからデータを抽出し、それをデータマイニングモデル構造に適している形式に変換する。データ処理エンジン９０３には、いくつかのメインサブコンポーネントが存在する。マッピング及び選択コンポーネントは、企業データソース９１４から得られる企業データベーステーブルを読み出し、特定フィールドをアカウントベースのマイニングテーブルに割り当てる。ウェブデータ変換コンポーネントは、実際のログファイルを読み出し、任意に、外部データソース９１６からトランザクションサマリーを読み出し、それらを本発明によって使用されるトランザクションベースマイニングスキーマ（ＴＢＭＳ）へ変換する。また、ウェブデータ変換コンポーネントは、言語解析と、オリジナルと変換されたウェブデータ上のキーワード抽出を実行して、概念テーブル、概念ベースのマイニングスキーマ（ＣＢＭＳ）を実行する。

データマイニングエンジン９０８は、ＯＲＡＣＬＥ ＤＲＡＷＩＮ４．０（登録商標）のような任意の標準データマイニング技術に基づいていても良い。データマイニングエンジン９０８は、いくつかの機械学習技術を使用してデータマイニングモデルを生成する。各機械学習技術は、各モードに対して適切なモデル構築機能を提供する１つ以上のモジュールで実施される。好ましくは、サポートされている機械学習技術は、ナイーブ ベイズ（Ｎａｉｖｅ Ｂａｙｅｓ）モデリング、関連ルール及び帰納モデルの生成用の判断ツリーモデルを含んでいる。ナイーブ ベイズ モデルは、高速インクリメンタル学習機能を提供する。分類及び回帰ツリー（ＣＡＲＴ）のタイプの判断ツリーは、トランスペアレントで、かつ強力なオンラインルールを提供し、バッチによって処理されても良い。加えて、自己構築マップクラスタリングモジュールは、セグメンテーションとプロファイリングを行うための機能を提供する。サポートされているウェブマイニング方法は、広範囲のエンドユーザ機能を実行するための機能を提供する。例えば、本発明は、オンライン消費者のライフサイクルをサポートすることができ、これは、消費者獲得、消費者成長、消費者確保及びライフタイム有益性のような要素を含んでいる。付加的な例としては、最適化あるいはウェブサイト構築を介するクリックが含まれる。

報告エンジン９１０は、サイト統計、時間単位での、ブラウザから購入者への切替、時間単位でのリコメンデーション有効性、時間単位での多くのクロスセリング製品、製品単位でのクロスセリング用の製品のような様々な報告及び結果のサマリーを提供する。

ウェブポータルページ９１２は、システムのコンポーネントのすべてにアクセスするための、主要なグラフィカルユーザインタフェース（ＧＵＩ）を提供する。ウェブポータルページ９１２は、ポートレットの集合として構築され、これは、主要なコンポーネントへのエントリーポイントとして機能する。逆に、各コンポーネントは、主要な操作とパラメータがウェブページコンテンツの一部として提供されるメインページを有している。これらのコンポーネントページにおいては、例えば、「チェックボックス」の選択によって、カスタマイズが可能である。ウェブサイトのパーソナライゼーション処理の構成は、ポータルページ９１２を介して管理され、これは、ＧＵＩと他の主要なコンポーネントを有するインタフェースで実現される。

フレームワーク
図９、１０及び１１は、本発明の様々な構成を示しており、また、最良の組み合わせを示している。図９は、本発明のエンタープライズウェブマイニングシステムを形成するように組み合わされている物理的及び論理的構成要素の例である。図１０は、本発明のエンタープライズウェブマイニングシステムのデータフローの例である。つまり、図９は、エンタープライズウェブマイニングシステムを構成する物理的及び論理的構成要素を表現しており、一方、図１０は、図９に示される物理的及び論理的構成要素によって生成され、記憶されるデータと、また、実行される処理を表現している。図１１は、図９に示される物理的及び論理的構成要素によって実行される処理のフロー図である。この処理は、図１０でも示される。

図９に示されるシステムで実現されるエンタープライズウェブマイニングシステム１０００の方法及び技術的フレームワークのデータフロー図の例である図１０によれば、システム１０００は、複数のデータソースを含み、これには、企業データベース９１４によって通常提供される企業消費者データ１００２、外部データベース９１６によって通常提供される補助あるいは外部消費者データ１００４、ウェブデータベース９１９によって通常提供されるウェブサーバデータ１００６、ウェブトランザクションデータベース９１８によって通常提供されるウェブトランザクション及び来訪者データ１００８がある。システム１０００は、複数のデータ処理部を含んでおり、これには、特徴選択・マッピング部１０１０及び１０１２、ウェブデータ処理部１０１３があり、これらは、通常、データ処理エンジン９０３で実現される。システム１０００は、複数のデータテーブルを含んでおり、これには、アカウントベースのテーブル１０１４、トランザクションベースのテーブル１０１６、トランザクションサマリーテーブル１０１８があり、これらはウェブ倉庫９０４に通常記憶されている。システム１０００は、複数の未訓練データマイニングモデルを含んでおり、これには、管理学習モデル１０２２、クラスタリングモデル１０２４、関連モデル１０２６及び統計解析モデル１０２８があり、これらは、データマイニングエンジン９０８によって通常処理（訓練）される。システム１０００は、複数の訓練化データマイニングモデルを含んでおり、これには、統計サマリー１０３０、関連ルール１０３２、クラスタ／セグメント１０３４、スコアリングモデル＆ルール１０３６、加えて、ブロック１０４０に含まれている、レポート、視覚化、スコア及び配置モデルがある。訓練化データマイニングモデルはデータマイニングエンジン９０８によって通常処理され、これは、ブロック１０４０の配置モデルを生成する。配置モデルは、リアルタイムリコメンデーションエンジン９２４によって使用され、動的ウェブページ、予測及びリコメンデーション１０４２を生成する。ブロック１０４０のレポートは、報告エンジン９１０によって通常生成される。その他のオンライン処理は、オンライン解析処理（ＯＬＡＰ）エンジン１０３８によって実行される。

ここで、図１０に示されるフレームワークで実現されるエンタープライズウェブマイニングに対する処理１０００のフロー図の例である図１１を参照する。処理１１００の４つのメインステップは、データ収集１１０２、データ統合１１０４、モデル生成１１０６、オンラインリコメンデーション１１０８である。図１０及び図１１を一緒に説明し、これは最良の組み合わせである。図９の物理的及び論理的構成要素も参照する。処理１１００はステップ１１０２で開始し、ここでは、データが収集され、処理１１００の残りのステップで使用可能な形式のデータを生成するために処理される。ステップ１１０２は、複数のステップを含んでいる。ステップ１１０２は、ステップ１１０２−１で開始し、ここでは、図９に示されるデータソース９０２のような、システム１０００が操作するデータソースからデータが取得される。データソースには、企業消費者データ１００２を提供する企業データベース９１４、補完消費者データ１００４を提供する外部データベース９１６、ウェブトランザクション・来訪者データ１００８を提供するウェブトランザクションデータベース９１８、ウェブサーバデータ１００６を提供するウェブサーバデータベース９１９がある。データソースから取得されるデータは、システム１０００のブロック１００２、１００４、１００６及び１００８として示されている。ステップ１１０２−２では、システムからの指定データに関連するデータが、取得されているデータ群から選択される。ステップ１１０２−３では、選択データは、データが使用可能で、適切な形式にする等のことを満足するために、前処理がなされる。ステップ１１０２−２及び１１０２−３で実行された処理は、システム１０００のブロック１０１０、１０１２及び１０１３で示され、これは、データ前処理エンジン９０３によって通常実行される。ステップ１１０２−４では、システム１０００のテーブル１０１４、１０１６及び１０１８のような、システムによって使用れるデータテーブルが構築され、これは、通常、ウェブ倉庫９０４に記憶される。

処理１０００のステップ１１０４は、様々なタイプのデータの統合を含み、これらのデータは、コヒーレントフォーマットで集約されたデータのすべてを含む統合データベースを形成するために収集されたものである。例えば、ウェブベースのデータは、各ユーザに対するアカウントベースのデータとともに統合されても良い。同様に、様々な量で、かつ異なるタイプのデータを有する様々なタイプのユーザに対するデータが統合されても良い。形成された統合データは、アカウントベースのテーブル１０１４、トランザクションベースのテーブル１０１６及びトランザクションサマリー１０１８を含んでいる。このデータは、ウェブ倉庫９０４に通常記憶される。

処理１１００のステップ１１０６は、モデルの生成及び配置を含んでおり、このモデルは、オンラインリコメンデーション及び予測を実行するために使用される。ステップ１１０６の処理は、データマイニングエンジン９０８によって通常実行される。ステップ１１０６は、複数のステップを含んでいる。ステップ１１０６は、モデルセットアップステップ１１０６−１で開始し、ここでは、モデルを生成するために使用されるアルゴリズムが選択され、セットアップされる。アルゴリズムと対応するデータ構造が一旦選択され、セットアップされると、これらは、モデル１０２２、１０２４、１０２６及び１０２８のような未訓練モデルと見なされる。ステップ１１０６−２では、モデルのロジック、状態及び決定を定義する情報のような訓練モデルを形成する表現が、訓練データを使用して生成される。これらの訓練モデルは、統計的サマリー１０３０、関連ルール１０３２、クラスタ／セグメント１０３４及びスコアリングモデル＆ルール１０３６を含んでいても良い。ステップ１１０６−３では、システム１０００のブロック１０３０、１０３２、１０３４及び１０３６のような生成モデルの表現が評価され、かつそのモデルの品質を改善するために改良される。ステップ１１０６−４では、評価モデルが適切なフォーマットに符号化され、例えば、ブロック１０４０で使用するために配置される。

処理１１００のステップ１１０８は、オンラインユーザの動作に応答するオンラインリコメンデーションの生成を含んでいる。ステップ１１０８の処理は、リアルタイムリコメンデーションエンジン９２４によって通常実行される。ステップ１１０８は、後述する複数のステップを含んでいる。

ステップ１１０２、１００４、１００６及び１１０８を詳細に説明する。
データ収集
処理１１００のデータ収集ステップ１１０２は、取得１１０２−１、選択１１０２−２、データのプレデータマイニング処理１１０２−３及びデータテーブルの構築１１０２−４を含み、これらは、システム１０００で実現されるウェブマイニング処理で使用される。利用されるデータソースには、企業消費者データ１００２、補完あるいは外部データ１００４、ウェブサーバデータ１００６、ウェブトランザクション・来訪者データ１００８がある。企業消費者データ１００２は、伝統的な企業データベースあるいはデータ保管庫を含んでおり、これは、アカウントあるいはユーザベースのレコードを記憶している。例えば、名前、年齢、サービスあるいは商品の購入量、初期生成からの経過時間等がある。補完データ１００４は、外部デモグラフィックス及び外部ソースから取得される他のデータのような補完データを含んでいる。

ウェブサーバデータ１００６は、ＴＣＰ／ＩＰパケットスニッフィング（ｓｎｉｆｆｉｎｇ）（生データ収集）からのウェブトラフィックデータ、ウェブサーバのＡＰＩへのダイレクトアクセスによって取得されるデータ及びウェブサーバログファイルを含んでいる。ＴＣＰ／ＩＰパケットスニッフィングは、ウェブサーバに対するＴＣＰ／ＩＰパケットの送受信を監視することによる実際のデータ収集を提供する。この技術は、従来よりのログファイル以上の、いくつかの利点を有している。例えば、パケットスニッフィングは、リアルタイムデータ収集を提供することができ、これは、「ＰＯＳＴ」変数、「ＨＯＳＴ」ヘッダ等のようなログファイルで検出されない情報を取得することができ、また、これは、ログファイルフォーマットと、使用しているオペレーティングシステムとは独立しているので、任意のウェブサーバをサポートすることができる。ウェブサーバのＡＰＩへのダイレクトアクセスは、ＳＳＬ暗号化を使用するサイトに対して必要である。この場合のＴＣＰ／ＩＰパケットスニッフィングは、パケットが暗号化されていないので、有効ではない。ウェブサーバログファイルは、多くのウェブサーバによって保持される基本情報がほとんどである。ウェブサーバログファイルは、通常は、テキストファイル（ＡＳＣＩＩ）であり、この各行には、どのコンピュータがサーバへのリクエストを行い、どのファイルが要求されたかについての情報を含んでいる。ログファイルには様々なフィールドが含んでおり、例えば、インターネットプロバイダＩＰアドレス、識別フィールド、保護エリアへのアクセスを行うために来訪者が必要となる認証ユーザ名、トランザクションのグリニッジ標準時（ＧＭＴ）での日時、トランザクションに含まれるファイル名に続く「ＧＥＴ」、「ＰＯＳＴ」あるいは「ＨＥＡＤ」のようなトランザクション方法、ウェブサーバからのステータスあるいはエラーコード、リクエスト中にクライアントへ転送されるバイト数、リクエストを行った時の来訪者が閲覧しているページ及びサイト、リクエストを行うために使用されるブラウザ及びオペレーティングシステムを識別するコード、ブラウザからの任意のクッキー情報がある。様々なウェブサーバが、異なる形態でこれらの情報を記憶している。ＡＰＡＣＨＥ（登録商標）、ＬＯＴＵＳ ＤＯＭＩＮＯ（登録商標）、ＭＩＣＲＯＳＯＦＴ ＩＮＴＥＲＮＥＴ ＳＥＲＶＥＲ（ＩＩＳ）（登録商標）、ＮＥＴＳＣＡＰＥ ＳＵＩＴＥＳＰＯＴ（登録商標）及びＯ’ＲＥＩＬＬＹ ＷＥＢＳＩＴＥ（登録商標）を含むいくつかの汎用的なサーバは、本発明を組み込むことができる。

ウェブトランザクションデータ１００８は、ウェブサイトセッションと来訪者からのトランザクションデータを含んでいる。

特徴選択及びマッピング部１０１０及び１０１２は、企業データベーステーブルに存在する汎用属性と特定特徴間の基本マッピングを実行する。企業データベーステーブルの特徴は、指定された出力に対する関係及び条件の少なくとも一方に基づいて選択される。データベースの特徴の選択は直接的なものであり、あるいは、ナイーブ ベイズのような機会学習アルゴリズムあるいはロジスティックリグレッション（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ）のような統計的解析を、多くの関連特徴を選択するために使用しても良い。特定関連特徴の選択は、データマイニング処理で使用されるデータベースの次元数を削減するためにかなり重要である。基本企業ＲＤＢ１００２と補完ＲＤＢ１００４の両方に対する特徴選択のアプリケーションは、類似している。

データ収集処理によって構築されるデータマイニングテーブルの例には、アカウントベーステーブル１０１４、トランザクションベーステーブル１０１６及びトランザクションサマリーテーブル１０１８がある。これらのテーブルの構造は、以下で説明する。ウェブデータに基づいているマイニングテーブルを構築する２つの基本処理が存在し、それは、ウェブデータ前処理と所定データ収集である。ウェブデータ前処理は、ウェブデータ前処理部１０１３によって実行される。ウェブマイニングと他のデータマイニング動作を区別するキー要素の１つは、来訪者トランザクションと経路確立を識別するために使用される方法である。その結果、システムの重要な要素はウェブサーバアクセスログからの前処理及びトランザクションレコードの導出である。ウェブアクセスデータはトランザクションベースである必要がなく、極端に大きく、かつかなり粗く（極微に）することができる。ブロック１０１８によって実行されるウェブデータ前処理は、データクリーニング、来訪者識別、セッションの再構築、ウェブページのナビゲーションとコンテンツページへの分類、経路確立及びファイル名のページタイトルへの変換を含んでいる。

データクリーニングは、たいてはかなり冗長であるウェブサーバログファイルから、冗長なあるいは無関係な情報を除去する。データクリーニングは、ログファイルから有益な情報を取得する前に必要である。

ウェブサイトへの来訪者の識別である来訪者識別は、通常は、コンピュータＩＰアドレスを使用して実行する、これは、ウェブサーバへのすべてのリクエストがこの情報を含んでいるからである。これは完全な技術ではない、なぜなら、複数の来訪者が同一のＩＰアドレスを共有することができ、大組織及び多くのインターネットサービスプロバイダによって使用される慣行であるからである。より正確な来訪者識別は、クッキーと認証ユーザ名から取得することができる。

セッションは、短時間の来訪者によって行われるＵＲＬリクエストのセットをコンパイルすることによって再構築されても良い。

経路確立は、あるセッションでの来訪者に続く特定経路を再構築する処理である。これは、セッションのログファイルエントリへのリンクと、時間単位でのエントリの記憶を実行する。サイト全体の経路解析は、最頻経由経路及びナビゲーション問題のような有益な識見を提供することができる。ファイル名は、前処理段階でページタイトルに変換しても良い。要求されたページのファイル名は、たいていは、関連するページタイトルに変換される、これは、主要なウェブサイトが、各ページに対して（ＨＴＭＬ ＜ＴＩＴＬＥ＞タグを使用する）タイトルを含んでいるからである。同様に、ＩＰアドレスは、ドメインネームに変換することができる。ウェブサーバログファイルの各エントリは、ビジターのＩＰアドレスを含んでいる。このＩＰアドレス自身の番号は、さほどの情報を提供するものではない。しかしながら、来訪者のＩＰアドレスは、ドメインネームシステム（ＤＮＳ）を使用する固有のドメインネームに変換することができる。そして、これは、来訪者のドメインネームの拡張子を解析することによって来訪者が存在する場所を推定することができる。いくつかの拡張子としては、．ａｕ（オーストラリア）、．ｂｒ（ブラジル）及び．ｕｋ（英国）がある。

既存ウェブログファイルと、マイニングテーブルを生成する他のクリックストリームレコードは、前処理というよりも、データ収集ＡＰＩの一部としてウェブサーバページによって処理される所定要素として収集されても良い。この方法では、与えられる要素（ＵＲＬ、バナー、製品広告等）が、その要素がユーザによって前もって定義されている場合にのみモデルに現れる。このモデルでは、前処理はかなり簡略される、なぜなら、ほとんどの処理を行うことなく、システムは、情報を収集し、マイニングテーブルを更新することができるからである。対象となるウェブ要素の事前定義と、ユーザセッションのオンライントラッキング、データ収集ＡＰＩへの主要なイベント（関連要素のクリック）の処理が、ユーザに強いられることである。ユーザに必要とされる余計な作業は、ＡＰＩリコメンデーションの結果オブジェクトが適切に構築されるかどうかを最小に維持することである。例えば、リコメンデーションリクエストに対する結果オブジェクトの属性の１つは、データ収集ＡＰＩコールに対して必要とされるパラメータとすることができる。この方法の利点は、システムがほとんどの任意のウェブサーバソフトウェアと一緒に動作することであり、このウェブサーバソフトウェアは、動的ウェブページ（スクリプト）をサポートし、ウェブ解析パッケージに依存しない。欠点は、ユーザがより多くの情報を提供し、収集しなければならないことと、履歴データがシステムによって容易に使用できないことである。データの適切な前処理がコンサルティングサービスを介して実現される場合は、履歴クリックストリームデータを使用することも可能である。

データ統合
処理１０００のステップ１１０２でのデータ統合は、収集された様々なタイプのデータの統合を含んでおり、コヒーレントフォーマットで収集されているデータのすべてを含む統合データベースを形成する。この目的の１つは、分類法あるいは統計的分類の生成であり、これは、データテーブル形式で属性毎にグループ化する。このグループ化は、データマイニングモデルの分析力を向上する。データ統合の別の目的は、プロファイルの生成である。例えば、ウェブサイトへの来訪者には、主要な２種類のタイプが存在し、これは、未登録来訪者、いわゆる閲覧者と、登録来訪者ー、いわゆる消費者が存在する。ウェブサイトは、登録来訪者に対しては、利用可能なデモグラフィックと閲覧データを有している一方で、未登録来訪者に対しては閲覧データのみを有している。その結果、２種類のタイプの来訪者は、消費者アカウントとのデータ統合には異なるレベルを必要とする。未登録消費者は、自身の閲覧行動、例えば、使用したキーワード、使用時間、選択したリンク等に基づいて「プロファイル」することができる。この行動は、複数のセッションと、リンクされている外部デモグラフィックを介して記録することができ、かつ同様の登録消費者からの情報を生成することができる。一方、登録消費者からの情報は、閲覧行動に付加されている外部デモグラフィックでより容易に補足することができる。

モデル生成
処理１１００のステップ１１０６でのモデル生成は、オンラインリコメンデーションと予測を実行するために使用されるモデルの生成を含んでいる。モデル生成ステップ１１０６のデータフロー図を、図１２に示す。コンフィグレーション（ｃｏｎｆｉｇｕｒａｔｉｏｎ）１２０２は、要素（アイテム）、製品、属性等の情報を定義し、これらは、特定地域のユーザに関係するものである。スキーマ１２０４は、特定状況で構築されるモデルのタイプを定義する。コンフィグレーション１２０２とスキーマ１２０４はモデルセットアップステップ１１０６−１に入力され、これは、訓練ｎ用のモデルをセットアップする。特に、モデルセットアップステップ１１０６−１は、訓練対象の未訓練モデル１２０８を選択する。未訓練モデル１２０８は、アルゴリズム１２１０を含んでおり、これは、実際のモデルを構築するために訓練データを処理する。例えば、アルゴリズム１２１０は、ナイーブ ベイズ アルゴリズム１２１２、再帰分類ツリーアルゴリズム（ＣＡＲＴ）１２１４、及び関連ルール１２１６を含んでいても良い。モデルを構築するために使用されるアルゴリズムは、スキーマ１２０４の定義に基づいてモデルセットアップステップ１１０６−１で選択される。このようなスキーマの例を、テーブルＡに示す。

[テーブルＡ]

加えて、モデルセットアップステップ１１０６−１は、訓練パラメータ１２１８を生成し、設定する。訓練パラメータ１２１８は、アルゴリズムがどのようにしてモデルを構築するかを制御するために、アルゴリズムに入力されるパラメータである。訓練データ１２２０は、実際のモデルを構築するために使用されるアルゴリズムに入力されるデータである。訓練パラメータ１２１８、モデルセットアップステップ１１０６−１で選択されたアルゴリズム１２１０を含む未訓練モデル１２０８及びデータ１２２０は、訓練ステップ１１０６−２に入力される。

訓練ステップ１１０６−２は、選択されたアルゴリズム１２１０を起動し、訓練パラメータ１２１８を使用してこれらを初期化し、そのアルゴリズムで訓練データ１２２０を処理し、訓練モデル１２２４を生成する。訓練モデル１２２４は、動作モデルを構成するロジック、状態及び決定を実現する表現である。訓練モデル１２２４は、評価ステップ１１０６−３に入力され、ここで、モデルの品質を改善するために、モデルを評価し、改良する。この改良モデルは、ステップ１１０６−４で配置される出力２３０となる。

ステップ１１０６−４で、出力モデル１２３０が適切なフォーマットで符号化され、予測あるいはリコメンデーションを行うために配置される。

本実施形態では、２つのレベルモデル構築設定がサポートされており、それは関数とアルゴリズムである。関数レベル設定が特定アルゴリズム設定を特定しない場合、適切なアルゴリズムが選択され、関連パラメータ用のデフォルトを提供する。一般的には、関数レベルでのモデル構築は、ユーザに対しトランスペアレントなデータマイニングの多くの技術的な詳細を作成する。モデルは、データマイニングサーバ（ＤＭＳ）で構築される。モデルが構築された後でも、それはＤＭＳに存在し、そのユーザ特定固有名でアクセスすることができる。モデル構築用の典型的なステップは以下のようになっている。

１．入力データの生成（既存データ、例えば、テーブルあるいはファイルとマイニングデータオブジェクトとの関連付けによる）
２．関数設定オブジェクトの生成
３．ロジカルデータ仕様の生成、及び関数設定との関連付け
４．データ使用仕様の生成、及び関数設定との関連付け
５．アルゴリズム設定の生成（オプション）
６．構築モデルの起動
モデルテストは、モデルの精度の評価を行う。ナイーブ ベイズ アルゴリズムによって生成されるような分類モデルをテストすることができる。モデルが構築された後、モデルテストは、モデルが新規のデータセットに適用される場合のモデルの予測の精度を演算する。テスト結果は、マイニングテスト結果オブジェクトに記憶される。分類テスト結果には、データマイナーに、モデルによって生成される分類エラーのタイプと度合いを理解させることを可能にする混同（ｃｏｎｆｕｓｉｏｎ）マトリクスを含んでいる。テスト演算は、モデルをテストするために既に構築されているモデルとデータの名前を入力する。テストデータは、モデルを構築するために使用されるロジカルデータ仕様に従わせなければならない。

オンラインリコメンデーション
データへのデータマイニングモデルの適用は、関連性のスコアあるいは予測を出力する。ナイーブ ベイズ アルゴリズムによって生成される分類モデルのスコアを出力することができる。スコアをつけるデータは、訓練データと互換性のある属性を持たなければならない、つまり、同一名の各データタイプの属性のスーパーセットあるいは適切なマッピングを持たなければならない。演算の適用結果は、ユーザによって特定されるスキーマに配置される。ユーザは、結果として得られる内容を特定する。例えば、ユーザは、スコアと関連性に従って、マイニングデータで提供される各レコード用のテーブルに出力する消費者識別属性を要求することができる。

スコアリング処理中に計算されるある有益な量は、ナイーブ ベイズアルゴリズム（これは、ターゲット属性は、２つの値を確実に取得する）によって生成される、バイナリ分類モデルに対するリフトとなる。指定されたポジティブ・ネガティブ値が与えられると、それらの値がポジティプなインスタンスとしてどの程度信頼して予測されるかに従って、テストケースが記憶される（最も信頼のあるポジティブが最初に現れ、最も信頼のあるネガティブが最後に現れる）。この順序付けに基づいて、これらは、四分位数（ｑｕａｎｔｉｌｅｓ）に分けられる。そして、以下の統計値が計算される。

・ある四分位数の目標密度は、その四分位数の全インスタンス数で分割される四分位数内のポジティブインスタンスの実際の数である。

・累積目標密度は、第ｎ四分位数を介して計算される目標密度である。
・四分位数リフトは、全テストデータの目標密度と、四分位数に対する目標密度との比である。

・四分位数に対するレコードの累積割合は、第ｎ四分位数によって表現されるすべてのテストケースの割合であり、これは、最も信頼性のあるポジティブの端部から、その四分位数を含むところの部分である。

・四分位数の目標累積数は、（上述のように定義される）第ｎ四分位数内のポジティプインスタンスの実際の数である。

・非目標累積数は、（上述のように定義される）第ｎ四分位数のネガティブインスタンスの実際の数である。

・四分位数の累積リフトは、全テストデータの目標密度と、累積目標密度との比である。

処理１１００のステップ１１０８は、オンラインユーザの動作に応答するオンラインリコメンデーションの生成を含んでいる。ステップ１１０８は、複数のステップを含んでおり、これは、アプリケーションに依存してかなり変化する場合がある。オンラインリコメンデーション処理の例は、図１１のステップ１１０８として示される。ステップ１１０８の処理は、ステップ１１０８−１で開始し、ここでは、ウェブ消費者はリコメンデーションに使用することができる潜在あるいは顕在データを入力する。ステップ１１０８−２では、ウェブアプリケーションからデータが送信され、ＡＰＩを介してリコメンデーションエンジンで受信される。ステップ１１０８−３では、現在の消費者あるいは将来の消費者についての予測を行うために、そのデータが記憶される。ステップ１１０８−４では、ウェブアプリケーションは、ＡＰＩを使用して、１つ以上の予測及びリコメンデーションの少なくとも一方に対する質問をリコメンデーションエンジンに行う。例えば、予測／リコメンデーションは、ウェブ消費者が何を好み、かつ彼あるいは彼女がどの程度それを好んでいるかについてを取得することができる。予測／リコメンデーションは、製品、コンテンツ、サイト構造等とすることができる。ステップ１１０８−５では、リコメンデーションエンジンは、適切なモデルをコールし、それらのモデルを使用するデータのスコアリングを行うことによって、予測／リコメンデーションに対するＡＰＩリクエストを処理する。ステップ１１０８−６では、リコメンデーションエンジンは、スコアがつけられたデータに基づいて、予測／リコメンデーションを生成する。ステップ１１０８−７では、リコメンデーションエンジンは、ウェブアプリケーションに対する予測／リコメンデーションに復帰する。ステップ１１０８−８では、ウェブアプリケーションは、予測／リコメンデーションを使用してｈｔｍｌコードを動的に生成し、かつそれをウェブクライアントへ返信する。

リコメンデーションに質問を行うウェブアプリケーションは、様々な技術、例えば、ＪＡＶＡ ＳＥＲＶＥＲ ＰＡＧＥＳ（登録商標）（ＪＳＰ）、ＳＥＶＥＲＬＥＴＳ（登録商標）及びＣＯＬＤＦＵＳＩＯＮ（登録商標）で実現することができる。ＪＳＰ（登録商標）及びＳＥＲＶＬＥＴＳ（登録商標）は、ＳＥＲＶＬＥＴＳ（登録商標）及びＪＳＰ（登録商標）を処理することができるウェブサーバが必要となる。ＣＯＬＤＦＵＳＩＯＮ（登録商標）アプリケーションは、ＣＯＬＤＦＵＳＩＯＮ ＷＥＢ ＡＰＰＬＩＣＡＴＩＯＮ ＳＥＲＶＥＲ（登録商標）上で動作する。

処理１１００のステップ１１０８−５と１１０８−６のデータフロー図を、図１３に示す。ユーザデータ１３０２及び指定結果データ１３０４は、予測セットアップステップ１１０８−５−１に入力される。ユーザデータ１３０２は、ユーザによって指定される予測／リコメンデーションのタイプに関連するデータ、ユーザによって指定される予測／リコメンデーションにおける制約に関連するデータ、あるいはウェブサイトを閲覧中のユーザが現在行っている特定動作に関連するデータを含んでいても良い。指定結果データ１３０４は、予測及びリコメンデーションのタイプの定義を含み、かつエンタープライズウェブマイニングシステムのオペレータによって指定される予測及びリコメンデーションにおける制約を含んでいる。例えば、ユーザデータ１３０２は、ユーザが購入している要素に関連する情報を含んでおり、また、指定結果データ１３０４は、指定結果がユーザの購入から示唆される別の製品のリコメンデーションとなることを示しても良い。

予測セットアップステップＳ１１０８−５−１は、ルール１３０８を含む訓練化モデル１３０６を選択し、また、予測パラメータ１３１０を選択して生成し、更に、スコアリングデータ１３１２を生成するために、入力ユーザデータ１３０２と指定結果データ１３０４を使用する。訓練モデル１３０６は、処理１１００のモデル生成ステップ１１０６で生成される。各モデルは、図１２に示されるように、モデル生成ステップ１２３０から出力され、処理１１００のステップ１１０６−４で予測あるいはリコメンデーションを行うために適切なフォーマットに符号化され、配置されている。予測セットアップステップ１１０８−５−１は、ユーザデータ１３０２と指定結果データ１３０４に基づいて、スコアリングステップ１１０８−５−２で使用するために配置モデル１３１４を選択する。予測パラメータ１３１０は、スコアリングデータ１３１２に対する配置モデルのスコアリングを制御するために、スコアリング処理１１０８−５に入力され、かつスコア化ルールの選択と予測及びリコメンデーションの生成を制御するために、選択及び予測／リコメンデーション処理１１０８−６に入力されるパラメータである。予測セットアップステップ１１０８−５−１は、ユーザデータ１３０２と指定結果データ１３０４に基づいて、スコアリングステップ１１０８−５−２で使用するための予測パラメータ１３１０を選択し、生成する。予測セットアップステップ１１０８−５−１は、入力ユーザデータ１３０２と指定結果データ１３０４に基づいて、スコアリングデータ１３１２を生成する。

選択された配置モデル１３１４、予測パラメータ１３１０及びスコアリングデータ１３１２は、スコアリングステップ１１０８−５−２に入力される。スコアリングステップ１１０８−５−２では、スコアリングデータ１３１２が、予測パラメータ１３１０による制御によって、選択された配置モデル１３１４に従って処理され、スコアリングデータ１３１２のデータセットにおける各行データに対する１以上のスコアを生成する。各行のスコアリングデータに対するスコアは、スコアリングデータの行がモデルの特徴とどの程度一致するか、その一致でどの程度信頼が置けるか、ルールからの出力予測／リコメンデーションがどの程度真実に近いかを示す指標であり、かつそれ以外の統計的指標となる。スコア化データ１３１６は、対応するスコア１３２０と各スコア化行のデータに対する他の情報に従って、スコアリングステップ１１０８−５−２から出力される。

スコア化データ１３１６は、選択及び予測／リコメンデーション生成ステップに入力され、このステップは、行データに関連するスコア１３２０を評価し、行データの少なくとも一部を選択する。選択された行データは、選択基準を満足するスコアを有している。選択基準は、指定結果データ１３０４によって定義されても良く、かつ／あるいは選択／生成ステップ１１０８−６に含まれる所定あるいはデフォルト基準によって定義されても良い。加えて、選択基準は、選択対象となる予測／リコメンデーション数に制限を設けても良く、あるいは関連するスコアに基づいて、予測／リコメンデーションがソート対象であることを示しても良い。選択された行データは、処理１１００のステップ１１０８−７の送信に対し、ステップ１１０８−６から予測／リコメンデーションとして出力される。

計算モデル
本発明は、ほとんどの汎用概念のエンタープライズウェブマイニングをサポートするために、管理及び未管理データマイニング機能及びアルゴリズムを組み込む総合コンピュータモデルを使用し、かつデータ抽出、モデル構築及びモデル配置処理での主要コンポーネントを識別する、方法及びテクニカルフレームワークを使用する。システムモデル全体は、１つ以上のモデリングアルゴリズムを使用して構築される複数の独立モデルを含んでいる。

本発明によって、生成され、かつ使用されるモデルのタイプは、いくつかの一般クラスにカテゴライズされる。これらのクラスには、帰納モデル、管理学習モデル、関連及び一時パターン解析を使用するモデル、クラスタリング解析を使用するモデルがある。

帰納モデルは、データの関係、相関及び傾向を取得する真の一般概念及び高レベル表現を提供する。データ間の関係、演繹及び帰納モデルは図１３に示される。帰納モデルは、任意の予想化仮定は想定せず、かつデータに対し排他的に動作しない。これらは、オンラインリコメンデーションを予測し、かつ行うための、最も強力な技術である。

管理化学習モデリングは、消費者アカウントベースのデータに適用する伝統的な管理化学習方法に基づいている。これには、従属変数としてモデルが使用するモデルである明確に定義されたターゲットフィールドが存在する。このタイプのモデルは、既存の企業あるいはウェブセッションレコード上に構築するモデルを使用する一般分類に対してかなり有用である。一旦訓練されたこれらのモデルは、既存レコードあるいは新規レコードの予測（スコアリング／リコメンデーション）のプロファイリング及びセグメンテーションを提供する。

本発明によって使用される管理化学習アルゴリズムは、分類及び回帰ツリー（ＣＡＲＴ）タイプとナイーブ ベイズの判断ツリーを含んでいる。ＣＡＲＴは、かなり強力な非パラメータ型分類及び回帰方法であり、これは、正確で、かつ容易に解釈可能なモデルを生成する。これは、判断ツリールールベースの方法の好適な大きな分類表現である。判断ツリーの良い特徴は、モデルがトランスペアレントであり、かつ平易な英語、ＰＬ／ＳＱＬ、Ｊａｖａ（登録商標）あるいは記憶手順のルールのセットとして表現できることである。これは、モデルを、エンタープライズ−ワイドのビジネスアプリケーション、解析ツールに基づくクエリー及び一般的なｅコマースに対する理想的なモデルとなる。

典型的には、管理化学習モデルは、オフラインで構築され、その後、この生成されたモデルが、バッチスコアリングあるいはオンライン予測に対して使用される。このパラダイム下では、システムは、３種類の機能をサポートする。１つ目は、モデルを改良するために、デフォルトパラメータを使用して、あるいは修正パラメータを使用してモデルを構築できることである。これは、ＣＡＲＴあるいはナイーブ ベイズを使用して実行される。２つ目は、新規のレコードのテーブルに、伝統的なデータマイニングスコアリング技術を使用してスコアをつけることができることである。３つ目は、モデルを配置できることである。これは、独立スタンドアローンＪａｖａ（登録商標）形式のモデルをエクスポートし、かつウェブサーバに統合することによって実行され、そうすることで、オンザフライで新規のレコードのスコアを付けるために、あるいはウェブページの行動を変更するために、オンラインで使用することができる。特に、モデルは、ナビゲーションパスを変更、例えば、リンクを変更することで、ターゲットフィールドに対するポジティブ結果を最大化する、あるいはモデルは、コンテンツの変更、例えば、広告及びリコメンデーションを示すことで、ターゲットフィールドのポジティブ結果を最大化にする。このスキームをユーザに容易にアクセス可能にするために、基本手順を実現する適切なユーザインタフェースが利用可能である。

この管理学習スキームに対する潜在的な改良には、オンライン学習の導入がある。この場合、モデルは、データストリームの先頭に順に構築される。モデル構築処理は常に動作しているので、更新モデルがオンラインで使用するために常に利用可能となる。これは、モデルを、最近傾向及びデータストリームの変更状態により適切に適合させることが可能である。この場合、データストリームは、ウェブサーバを生成するクリックストリームとすることができる。

ナイーブ ベイズは、一般予測あるいは特徴選択に対する概算化モデルを提供する高速アルゴリズムである。これは、このモデルが各入力フィールドとターゲット間の相関関係だけを考慮するために、「ナイーブ」と呼ばれる。予測は、各ターゲット値に対する状態可能性の相対比率に基づいて実行される。

関連及び一時パターン解析を使用して構築するモデルは、ウェブトランザクションベースのテーブルに適用されるマーケットバスケット解析の伝統的な関連ルールを使用する。このようなモデルは、トランザクション中に頻繁に現れる要素の組み合わせを検出し、これらをフォームのルールとして表現する、つまり、要素Ａ及び要素Ｂである場合、要素Ｃというように表現する。各ルールは、サポートレベル（即ち、ルールに従うレコード数）と信頼レベル（即ち、他のルールがどれくらい前例の事項を共有しているか）パラメータによって特徴付けられる。一時パターン解析は、要素の特定の組み合わせの発生を考慮するだけでなく、時系列でのその組み合わせの特定シーケンスを考慮する。ウェブトランザクションベースのテーブルの厳密なフォーマットは、特定データマイニングタスクに依存する。例えば、マイニング関連ルールは、一時情報は必要ではない、そのため、時間情報はフィルタアウトすることができる。一方、マイニング一時パターンは、トランザクション時間に従うトランザクションの順序づけを必要とする。ウェブデータの量及び大量の特徴空間は、疎状態を考慮するために特別なデータ表現を必要とする。

クラスタリング解析は、一般的には、クラス発見の内容で実行され、不明なグループあるいはクラスの検出を実行する、このグループあるいはクラスは、手近なレコードに対する分類法あるいは少数の適切な表現（重心）を検出することによるデータ削減に対する分類法を定義する。本発明では、クラスタリング解析アルゴリズムは、基本クラスタリングを提供するために、ｋ手段（ｋ−ｍｅａｎｓ）及び自己組織化マップ（ＳＯＭ）を含んでいる。このアルゴリズムに加えて、クラスタ有効化及び解析（視覚化）に対する方法は、処理結果の使用及び評価を容易にする。クラスタリングに対する重要なアプリケーションのほとんどは、アカウントベースのテーブルのコンテキストに存在するが、トランザクションベースのテーブルでもクラスタ化することができる。クラスタリングは、データセット中の十分にサポートされている構造を示し、そして、目的のターゲットクラスとの相関をとるために使用することもできる。これは、統合クラス開発及び解釈方法に等価である。

パーソナライゼーションアプリケーションは、モデルを生成するために、関連ルール及びベイジアン（Ｂａｙｅｓｉａｎ）アルゴリズムの特定例を使用する、これは、パーソナライズ化リコメンデーションを生成するために使用される。２つのアルゴリズムとして、
・予測関連ルール
・トランザクション ナイーブ ベイズ
がある。

予測関連ルール
最もなじみのある関連ルールには、「マーケットバスケット解析」として知られているものがある、即ち、この関連ルールとは、「ビールを購入する人の８０パーセントは、ポテトチップも購入する」といような買い物かごに入るものがどのようなものと一緒であるかについてのルールである。関連ルールアルゴリズムは、トランザクションで頻繁に発生する要素の組み合わせを検出し、それらの要素を、Ａが先行し、Ｂがそれに続く関係にある「Ａならば、Ｂである」といような「ならば〜である」というルールとして表現する。（尚、この命題の前後に１つ以上の要素を配置することができ、例えば、「Ａ，Ｂならば、Ｃで、Ｄ及びＥ」といようにすることができる。予測関連ルールに対しては、後ろには１つ要素だけが存在する。）
このようなルールをたくさん検出できるという結果になる、−−、この試行は、意味のある、あるいは興味深いルール、及び実行可能なビジネス判断を導き出すルールを検出することである。この例には、「ビールとプリッツを購入する人の８０パーセントは、チョコレートも購入する」がある。この組み合わせは、自明ではなく、配置レイアウトの変更、例えば、ビールが販売されている場所の近くにチョコレートの配置を移動することで導き出せるものである。

一方、「絵の具を購入する人の８０パーセントは絵筆も購入する」といようなルールは、自明なことであるのであまり有用でなく、店内でこれらの商品配置を変更することで導き出せるものでもない、つまり、これらの商品はおそらく近い場所に予め配置されているからである。同様に、「歯磨き粉とティッシュを購入する人の８０パーセントはトマトを購入する」は自明ではないが、任意の実行可能なビジネス判断を導くのにはおそらく有用とならないからである。

有用あるいは興味深いルールを識別するために、３つの尺度、サポート、信頼及びリフトが導入されている。

サポートは、まず、どのルールが強力なサポートを有するか、即ち、データベース中の多くの例に基づいているルールを判断する。サポートは、ルール、即ち、Ａ及びＢの両方を含むバスケットに従うレコードの比率である。

信頼は、次に、どのルールが信頼が高いか、即ち、Ａのすべてのインスタンスの比率とするルール（Ａ及びＢの両方を含む）に従うインスタンスを判断する。例えば、Ａのインスタンスを１０個有しており、Ｂのインスタンスを８個有していると仮定すると、残りの２個のインスタンスはＢを有していない。信頼は、１０の内の８、あるいは８０パーセントとなる。

リフトは、Ａが与えられているＢを有する機会と、任意のバスケット内でＢを有する機会とを比較する。これらの３つの内、リフトは最も有用である、なぜなら、これは、予測性を改善するからである。

トランザクショナル ナイーブ ベイズ
ナイーブ ベイズは、管理学習モジュールのタイプであり、これは、学習を試行するモデルの入力ターゲットマッピングの例を含んでいる。このようなモデルは、従前のデータの評価に基づいて、新規なデータについての予測を行う。様々なタイプのモデルが、従前のデータからの学習への様々な内在方法を有している。ナイーブ ベイズ アルゴリズムは、自身が予測を行うベイズ理論の計算を使用する。

ベイズ理論は、状態確率に関するものである。これは、インスタンスに現象が与えられると、特定予測イベントの確率は以下の３種類の数以外の数で計算されることが言える、つまり、特定事象を無視（これは、従前確率と呼ばれる）する、一般的な類似状況での予測の確率の数と、特定予測が正しいことが与えられていて現象を参照する確率を計測する数と、その予測（即ち、可能性のある予測が与えられている現在の現象を参照する確率を計測する、一般的な予測の確率）に対する類似製品の各可能性のある予測（提示される１つを含む）に対する総和によって分割される数以外の数で計算される。

簡略化する仮定（「ナイーブ」部分）は、予測が与えられている現象の部分の組み合わせの確率であり、これは、単に、予測が与えられている現象の個々の部分の確率の製品となる。この仮定は、相互の干渉なしで、ある現象の部分が別の部分と独立して動作している場合に真となる。それ以外の場合では、仮定は、真の値を単に概算する。実際でも、概算は、モデルの予測精度を大幅に落とすことは通常なく、コンピュータで実行可能なアルゴリズムと処理しにくいアルゴリズム間での違いが生じるだけである。

他の管理化学習モジュールと比較すると、ナイーブ ベイズは、簡略性と速度の面で有利である。また、それ自身で、増分学習及び分散学習をサポートする拡張性を持っている。

「トランザクショナル ナイーブ ベイズ」は、同一のアルゴリズムで、入力がフォーマットされる過程を参照する。以下のテーブルは、伝統的なデータフォーマットの例を示していろい、このテーブルは、要素（消費者、リンゴ、オレンジ、梨及びバナナ）列と、消費者（ジョー、ジム、ジェフ）の行を有し、各テーブルのセルには０あるいは１が入っている、この値は、例えば、ジョーがリンゴ（なし）、オレンジ（なし）、梨（なし）、あるいはバナナ（あり）を購入しているかどうかを示すものである。

[テーブル]

伝統的なデータレイアウトは、通常、すべての値がゼロとなるまばらな行列を生成する、このレイアウトは、データベースの空間をより多く必要とし、より多くの計算回数を必要とする。トランザクションベースのフォーマットは、基本的には、２つの列を有し、これは、消費者と「ヒット（照合）」である。ジョーに対しては、テーブルのセルは「バナナ」を含み、
ジョー バナナ
ジム リンゴ、バナナ
ジェフ オレンジ
となる。

トランザクショナルフォーマットは、チェックリストというよりもむしろ「買い物かご」の類と見なされ、消費者が商品の派生物を購入する場合により適している。トランザクショナルフォーマットは、この主の問題に対して、データベースにデータが記憶される過程となる利点を有している。

データマイニングオブジェクト
訓練テーブル
モデルは、選択されたモデリングアルゴリズムを訓練データを用いて訓練することによって生成される。一回訓練されると、モデルは、予測及びリコメンデーションの少なくとも一方を行うために使用することができる。訓練テーブルをより有用に理解するために、いくつかの単語を定義する。「セッション」は、ユーザのウェブセッションを特徴づける要素と及び製品のリストである。セッションは、登録あるいは未登録消費者によって、来訪された、クリックされた、タイプされた、あるいは購入されたトランザクション要素を含んでいる。また、これには、サーチエンジンあるいはウェブフォーム上で使用されるキーワードも含まれる。セッションは、サイトを介して消費者が製品をナビゲートする、ブラウズするあるいは購入するような要素のクリックストリーム要素のセットを生成する。

「要素（ｉｔｅｍ）」は、ウェブセッション中のクリックストリーム要素である。例えば、特定ウェブページ、ＵＲＬリンク、フォーム等である。主要なタイプは、
要素（ｉｔｅｍ）は、
単純ウェブ要素（ＵＲＬ、図画等）
製品
キーワード
要素クラス（分類法）
である。

「属性」は、消費者に関する情報、例えば、年齢、入力デモグラフィックのような情報を表現するアカウントテーブルの列である。

「製品」は、典型的に提案される関心要素及びそれに関連するリコメンデーションである。製品は、セッション要素とアカウントベースの要素の両方である。

「消費者」は、ウェブサイトへの来訪者、あるいは登録され、かつ既にアカウントが存在する既存の消費者である。登録されている消費者、あるいは企業データベースに既に情報が取り込まれている消費者は「アカウント」がとられており、かつアカウントＩＤとこれに関連するアカウントテーブルエントリを有している。ウェブサイトをナビゲートする消費者は登録によっては識別されない、あるいは他の手段がアカウントエントリではなくセッションエントリを生成する。

一般的には、訓練データは、図１５に示されるテーブルの３種類に統合される。第１のタイプのテーブルは、伝統的な企業マイニングテーブル１５０２であり、ここでは、例えば、各行は消費者に対応し、各列は、年齢、アカウントタイプ、支払状況等の属性である。例えば、テーブル１５０２では、行１５０４−１は消費者１に対応し、行１５０４−Ｎは消費者Ｎに対応し、列１５０６Ａは属性Ａに対応し、列１５０６Ｂは属性Ｂに対応し、列１５０６Ｃは属性Ｃに対応する。

アカウント属性の例には、以下の
アカウントＩＤ（消費者アカウントの固有識別子）
消費者名
消費者所在地
ＩＰ（消費者のインターネットアドレス）
ｅメール（消費者のｅメールアドレス）
年齢（消費者の年齢）
＜ａｔｔｒｉｂｕｔｅ ｘ＞デモグラフィックあるいは他のアカウント情報
＜ａｔｔｒｉｂｕｔｅ ｙ＞デモグラフィックあるいは他のアカウント情報
アカウント開始日（アカウントが生成された日）
アカウント終了日（アカウントが終了された日）
アカウントタイプ（消費者のタイプ、例えば、個人、法人等）
製品リスト（消費者が過去に購入した製品のリスト）
が含まれる。

第２のタイプのテーブル、例えば、テーブル１５０８は、ウェブセッションによって生成されたエントリ、好ましくは、細かい量レベルでのエントリを表現しており、これには、特定ウェブページに来訪された場合等を示すためのフラグを含んでいる。つまり、テーブル１５０８では、行１５１０−１はセッション１に対応し、列１５１０−ＮはセッションＮに対応する。各セッションは、典型的には、セッションを初期化する及びセッションに参加するの少なくとも一方を行う特定ユーザあるいは消費者に関連付けられている。同様に、列１５１２Ｘはウェブページに対応し、列１５１２ＹはウェブページＹに対応し、及び列１５１２ＺはウェブページＺに対応する。２種類のサブテーブルが存在し、これは、ウェブセッションについてのデータを含んでいる。１つ目のサブテーブルはセッションマイニングテーブルであり、これは、特定セッションについての情報を記憶している。セッションマイニングテーブルのデータの例は、以下の、
セッション（ウェブセッションである場合の固有識別子）
アカウント（既存消費者に関連付けられているアカウントが利用可能な場合）
要素リスト（要素、キーワード、あるいはセッション中に来訪された、クリックされたあるいは購入された製品のリスト）
要素クラス（要素及びキーワードリストに関連付けられている分類法）
を含んでいる。

２つ目のサブテーブルはセッションサマリーマイニングテーブルであり、これは、複数のウェブセッションを抜粋しているデータを記憶している。セッションサマリーマイニングテーブルのデータの例は、以下の、
アカウント（消費者アカウントの固有識別子）
要素リスト（全消費者セッション中の要素を抜粋するリスト）
要素クラス（全消費者セッションの分類法を抜粋するリスト）
セッションのリスト（このアカウントに関連付けられているセッションのリスト）
を含んでいる。

第３のタイプのテーブル、例えば、テーブル１５１４は概念テーブルであり、ここでは、テーブル１５０８のセッション情報をより高いレベルで意味分類が模倣している。例えば、テーブル１５１４は、一般クラス、例えば、「玩具＝真」でのメンバーシップを表現する一般分類のキーワードを含んでいる、これは、あるセッションで、玩具製品を導くいくつかのハイパーリンクがクリックされたこと、あるいは単語「玩具」がウェブサーバのサーチエンジンで使用されたことを表現している。つまり、テーブル１５１４では、行１５１６−１はキーワード１に対応し、行１５１６−ＮはキーワードＮに対応し、列１５１８は対応する。

図１６は、図１５に示される訓練テーブルのエントリーフォーマットの例である。
図１５に示されるテーブルは、モデル構築処理に入力される情報を統合する。本システムは、エンタープライズに渡って様々なタイプのデータ上で動作するとすぐに、適切なマッピングがそのデータに対して構築される。ベイズアルゴリズム及び判断ツリーの少なくとも一方を使用する帰納モデルの例が、図１７に示される。図１５のテーブル１５０２のユーザ及びアカウントデータ、例えば、電話使用データ１７０２及びユーザ年齢データ１７０４は、モデルからの出力を生成するために使用され、これは、ｃｈｕｒｎ１７０６に対するターゲットである。同様に、図１５のテーブル１５０２のユーザ及びアカウントデータ、例えば、ユーザ年齢データ１７０４、テーブル１５０８のセッションデータ、例えば、ユーザが再帰ユーザであるかどうかのデータ１７０８及びユーザがマップページに来訪したかどうかのデータ１７１０、図１５のテーブル１５１４のキーワードデータ、例えば、キーワード「ホテル」によるサーチ１７１２が、モデルからの出力を生成するために使用され、これは、ｅトラベルリンク１７１４を示すターゲット動作となる。

クラスタリング及び関連を使用する帰納モデルの例を、図１８に示す。クラスタリングの例としては、図１５のテーブル１５０２のユーザ及びアカウントデータ、例えば、電話使用データ１８０２、ユーザ年齢データ１８０４及び発呼カード使用データ１８０６は、モデル化されるクラスタのデータを配置するために解析される。関連の例としては、図１５のテーブル１５０８のセッションデータ、例えば、モデムリンクでユーザがクリックしたかどうかのデータ１８０８及びユーザが製品ページに来訪したかどうかのデータ、及び図１５のテーブル１５１４のキーワードデータ、例えば、キーワード「コンピュータ」１８１２によるサーチ１８１２が、モデル化されるデータ間の関連を判定するために解析される。

物理的データ記述
物理的データ記述オブジェクトは、マイニング、例えば、データがトランザクショナフォーマットであり、かつ様々なデータ列の役割を演じるかどうかに対して使用される物理的なデータの特徴を特定する。物理的データ記述オブジェクトによって参照されるデータは、いくつかの方法で使用することができ、これには、モデル構築、スコアリング、リフト計算、統計的解析等がある。データマイニング物理的データは、２つのフォーマット、
・トランザクショナル
・非トランザクショナル
の内の１つであることが好ましい。

これらのフォーマットは、与えられているデータベーステーブルに記憶されている各ケースをどのように解釈するかを記述する。

トランザクショナルデータフォーマット：トランザクショナルデータフォーマットでは、各ケースは、スキーマロールシーケンスＩＤ、属性名及び値とともにテーブルに複数のレコードとして記憶される。シーケンスＩＤは、トランザクショナルテーブル中の複数レコードに関連する整数である。属性名は、属性名を含むストリングである。値は、属性値の表現する整数である。データマイニングシステムは、モデル構築を容易にするために、データの離散化（バイナリ化）をサポートしている。データマイニングシステムの離散化は、データマイニングアルゴリズムによって必要とされるデータをバイナリ化するために使用することができる。

非トランザクショナルフォーマット：非トランザクショナルフォーマットでは、各ケースは、テーブルに１つのレコード（行）として記憶される。非トランザクショナルデータは、各レコードを固有に識別するキー列を提供する必要はない。しかしながら、キーは、管理化学習用のスコアを与えるケースを関連付けるために、リコメンデーションされる。データマイニング動作（構築、適用、テスト及びリフトの計算）は、非トランザクショナルデータを離散化（バイナリ化）することが必要である。データマイニングシステムの離散化は、データをバイナリ化するために使用することができる。詳細な説明については、このチャプターの以下の「離散化」を参照されたい。データマイニングアルゴリズムは、モデルを構築する前に、すべての非トランザクショナルデータをトランザクショナルデータに自動的に変換する。

マイニングモデル
マイニングモデルオブジェクトは、マイニング設定記述に基づいているモデルの構築結果である。モデルの表現は、ユーザによって特定されるアルゴリズムあるいは配下のＤＭＳによって選択されるアルゴリズムに依存する。モデルは、例えば、関連ルールから生成されるルールを試験するための、あるいは分類モデルのデータのスコアを付けるための、直接検査用に使用することができる。データマイニングシステムは、ＤＭＳ中の独立して名前が付けられたエンティティとして、マイニングモデルの持続性をサポートする。マイニングモデルは、それを構築するために使用されるＭＦＳのコピーを含んでいる。

マイニング結果
マイニング結果オブジェクトは、以下のマイニング動作、適用、テストあるいはリフトの計算の１つの最終生成物を含んでいる。データマイニングシステムは、ＤＭＳで独立して名前が付けられているエンティティとして、マイニング結果の持続性をサポートする。マイニング結果オブジェクトは、開始時間及び終了時間、使用されるモデル名、入力データ位置及びデータマイニング動作用の（任意の）出力データ位置を含んでいる。適用結果は、結果に対する宛先テーブル（スキーマ及びテーブル空間）の名前を付ける。ソーステーブルは、スコアリング用の適用機能に入力されるテーブルである。分類テスト結果は、精度があり、かつ乱雑マトリクスを参照するテーブルである。

ユーザ及びアプリケーションビュー
有効なエンタープライズデータマイニングシステムは、動的なオンライン予測及びリコメンデーションを提供する必要がある。これらは、「入力」あるいは「ターゲット」として様々なウェブページ要素を分類するより多くのあるいはより少ない一般的な方法で提供することができる。入力は、多くの共通要素、例えば、特定クリック、リンク、サーチウインドウ等を表現し、これは、帰納モデルへの潜在的な入力として使用される。これらの要素は、実際のモデル入力となる前に、相当の前処理が必要となるが、これはその前処理の基本入力となる。ターゲットは、モデルによって取得された従前の行動に基づくモデル、予測あるいはリコメンドを要求する要素である。この両者に向けられる製品は、非専門ユーザに対する利益を最大にするためには有用であるが、より多くの特定問題あるいはアプリケーション指向定義の追加の概念レイヤーが必要となる。このレイヤーは、条件リストで示される消費者ライフサイクルＣＲＭオリエンテーションに対応する。この持続性によって、いくつかのアプリケーション指向方法及びユーザインタフェースが、伝統的なＣＲＭビジネス及びマーケティング概念の周辺で構築することができる。

クロスセリング
クロスセリングは、おそらく、既存消費者に対する広告及び製品リコメンデーションをもっとも直接的に使用するものである。技術的には、これは、少なくとも３つのケースで解釈される。

・最新物のようなバスケットを購入する場合に、消費者が通常が購入する製品の確認
・消費者の購入と、消費者の現在のバスケットに対する類似購入パターンとに基づいて製品を提案
・類似購入パターンだけではなく、類似デモグラフィック及びブラウジングパターンに基づいて製品を提案
後半の２つのケースは、新規な要素（消費者によって決して購入されていなかった要素）の提案を可能にする。最初の２つのケースは、トランザクションテーブル中のデータの使用を可能にするだけである。最後のケースは、３つのテーブルのすべてのデータを使用する。

製品リコメンデーションは、いくつかの方法を介して取得することができる。
・明快な判断ツリーあるいは関連ルール
・Ｋ−最近傍の近隣：類似購入パターンを有する消費者のクエリーあるいは類似サーチ
判断ツリー及び関連ルールは、ショッピングカート履歴、あるいは前もって構築されている企業レコードの要約（モデル）に基づいてリコメンデーションに復帰する。Ｋ−最近傍の近隣は、各消費者の総計トランザクションのテーブルに対する現在のショッピングカートのスコアを付ける。各可能なリコメンドされた製品に対する信頼測定は、３つの方法のすべてに対して構築することができる。これらの信頼測定は、ビジネスルールから導出される重み付けで補完されるべきである。例えば、製品ＡはＢよりもより購入されやすいが、製品Ｂによる利益のほうが高く、販売者の観点からは製品Ｂをより販売対象とする製品にすることが好ましい。キーとなる測定は、リコメンデーションによって期待される利益であり、つまり、（購入となるリコメンデーションの確率（信頼度））ｘ利益である。これが、なぜアプリケーション指向レイヤーが必要であるかの明快な例となる。様々なテーブルの全てが使用される上述の第３のケースでは、２段階処理がおそらく好ましい。まず、消費者プロファイルが、消費者をデモグラフィック及びブラウジング行動クラスタに割り当てることによって再現される。次に、リコメンデーションが、同一のプロファイルに属する消費者から生成されるトランザクションだけを考慮して計算される。これに関連することは、例えば、類似のデモグラフィックを用いて、消費者間の類似のバスケットを参照すべきことである。

アップセリング（Ｕｐ−Ｓｅｌｌｉｎｇ）
アップセリングは、クロスセリング方法に極めて類似しているが、このアップセリングは、従前の登録履歴を持たない新規の消費者を主要に扱う。

セグメンテーション
セグメンテーションは、プロファイリングクラスタあるいは未クラスタ化消費者データを使用して実行することができる。これは高速で、かつ様々な種類の事例を高速に実行することができる。未クラスタ化消費者データのケースではより遅くなるが、より精度が高くなる。セグメンテーションのケースでは、測定結果が選択される必要がある。例えば、ドルでの購入は、消費者（あるいはクラスタ）を不良、平均、良好消費者のいずれかに分類するために使用することができる。

消費者確保／チューン（ｃｈｕｒｎ）
消費者確保あるいは回転（チューン）を判定するために、システムは、消費者履歴の測定結果の移動平均に対する適切なメトリック、例えば、ドルでの購入、来訪回数の変動の情報を取得し続ける。測定結果が下がる場合、消費者がおそらく「チューニング」している状態にある。測定結果が向上している場合、デモグラフィックの変動の兆候が現れている可能性がある。消費者のデータをより多く取得することができる、ユーザが感謝する提案は、良好な消費者を確保する／良好な消費者に特典を与えるために使用することができ、かつその消費者を新規のセグメントに再割当するための新規データを取得するために使用することができる。

利益
利益は、セグメンテーションと、消費者のセグメントの測定結果の平均に対するメトリック（例えば、ドルでの購入、来訪回数）の変動の追跡の維持を必要とする。消費者が所定閾値（平均）を下まわる場合、システムは販売の促進を行う。

オフラインウェブマーケットバスケット解析
オフラインウェブマーケットバスケット解析は、伝統的なマーケットバスケット解析を、「仮想スーパーマーケット」として見立てたウェブサイトへ拡張したものである。システムは、ウェブクリックストリーム中の共通の傾向及び相関を検出し、モデルを構築し、そしてバッチリポートを生成する。この単純な機能は、多くの既存のクリックストリーム解析製品には依然として含まれていない。

本発明はデータ処理システムの全機能のコンテキスト（ｃｏｎｔｅｘｔ）で説明しているが、本発明の処理が命令群と様々な形態からなるコンピュータ可読媒体の形式で分散することができ、かつ本発明が分散を実行するために実際に使用される信号搬送媒体の形式に関係なく平等に適用することが当業者には明らかであることに注意することが重要である。コンピュータ可読媒体の例には、例えば、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＲＡＭ及びＣＤ−ＲＯＭのような記録可能形式の媒体に加えて、例えば、デジタル及びアナログ通信リンクのような伝送形式の媒体が含まれる。

本発明の特定の実施形態が説明されているが、上述の実施形態と同等の他の実施形態が存在することが当業者によって理解されるであろう。従って、本発明は特定の実施形態に限定されるものではなく、添付の請求項の範囲によって限定されるものであることが理解されるであろう。

Claims (9)

1. コンピュータで実行される、エンタープライズウェブマイニングを行う方法であって、
   前記コンピュータの少なくとも１つのプロセッサが、前記コンピュータに接続されている複数のデータソースから複数種類のデータを収集するステップと、
   前記少なくとも１つのプロセッサが、前記収集された複数種類のデータから後続の処理で使用可能な形式のデータを生成して、属性毎にグループ化し、ユーザ毎のデータに統合することによりデータベースを形成するステップと、
   前記少なくとも１つのプロセッサが、モデルのタイプを規定するスキーマに基づいてアルゴリズムを選択するステップとを含み、前記スキーマは、データのタイプと要素数とに応じたアルゴリズムを規定しており、
   前記少なくとも１つのプロセッサが、当該アルゴリズムと、当該アルゴリズムがどのようにしてモデルを構築するかを制御するために当該アルゴリズムに入力されるパラメータと、前記形成されたデータベースに含まれるデータとに基づいて、データマイニングモデルを生成するステップと、
   前記少なくとも１つのプロセッサが、ウェブサイトのユーザから、前記コンピュータの通信インターフェイスを介して、リコメンデーションあるいは予測に使用するために入力されるユーザデータを受信するステップとを含み、前記ユーザデータは、予測あるいはリコメンデーションのタイプに関連するデータ、および、予測あるいはリコメンデーションにおける制約に関するデータを含み、
   前記少なくとも１つのプロセッサが、前記ユーザデータと指定結果データとに基づいてデータマイニングモデルをコールするステップとを含み、前記指定結果データは、予測あるいはリコメンデーションのタイプの定義と、予測およびリコメンデーションにおける制約とを含み、
   前記少なくとも１つのプロセッサが、前記データマイニングモデルを使用するデータをスコアリングするステップと、
   前記少なくとも１つのプロセッサが、前記スコアリングされたデータに基づいて予測あるいはリコメンデーションを生成するステップとを含み、
   前記予測あるいはリコメンデーションを生成するステップは、前記ユーザデータと前記指定結果データとに基づいて、予測あるいはリコメンデーションの選択のために用いられる予測パラメータを選択するステップを含む、方法。
2. 前記スコアリングするステップは、前記形成されたデータベースにおける各行データに対する１以上のスコアを生成することを含む、請求項１に記載の方法。
3. 前記予測あるいはリコメンデーションを生成するステップは、前記形成されたデータベースにおける行データに関連するスコアを評価して、行データの少なくとも一部を選択することを含む、請求項１または２に記載の方法。
4. 前記複数種類のデータを収集するステップは、データを前処理することを含み、
   前記前処理は、ウェブサイトへの来訪者の識別である来訪者識別と、あるセッションでの来訪者に続く特定経路を再構築する処理とを含み、
   前記特定経路を再構築する処理は、当該セッションのログファイルエントリへのリンク付けと、時間で各エントリを並べ替えることとを含む、請求項１〜３のいずれか１項に記載の方法。
5. データマイニングシステムであって、
   メモリと、
   前記メモリに結合されて複数の命令を実行するためのプロセッサとを備え、
   前記複数の命令は、
   前記コンピュータに接続されている複数のデータソースから複数種類のデータを収集することと、
   前記収集された複数種類のデータから後続の処理で使用可能な形式のデータを生成して、属性毎にグループ化し、ユーザ毎のデータに統合することによりデータベースを形成することと、
   モデルのタイプを規定するスキーマに基づいてアルゴリズムを選択することとを含み、前記スキーマは、データのタイプと要素数とに応じたアルゴリズムを規定しており、
   当該アルゴリズムと、当該アルゴリズムがどのようにしてモデルを構築するかを制御するために当該アルゴリズムに入力されるパラメータと、前記形成されたデータベースに含まれるデータとに基づいて、データマイニングモデルを生成することと、
   ウェブサイトのユーザから、前記コンピュータの通信インターフェイスを介して、リコメンデーションあるいは予測に使用するために入力されるユーザデータを受信することとを含み、前記ユーザデータは、予測あるいはリコメンデーションのタイプに関連するデータ、および、予測あるいはリコメンデーションにおける制約に関するデータを含み、
   前記ユーザデータと指定結果データとに基づいてデータマイニングモデルをコールすることを含み、前記指定結果データは、予測あるいはリコメンデーションのタイプの定義と、予測およびリコメンデーションにおける制約とを含み、
   前記データマイニングモデルを使用するデータをスコアリングすることと、
   前記スコアリングされたデータに基づいて、予測あるいはリコメンデーションを生成することとを含み、
   前記予測あるいはリコメンデーションを生成することは、前記ユーザデータと前記指定結果データとに基づいて、予測あるいはリコメンデーションの選択のために用いられる予測パラメータを選択することを含む、データマイニングシステム。
6. 前記スコアリングすることは、前記形成されたデータベースにおける各行データに対する１以上のスコアを生成することを含む、請求項５に記載のデータマイニングシステム。
7. 前記予測あるいはリコメンデーションを生成することは、前記形成されたデータベースにおける行データに関連するスコアを評価して、行データの少なくとも一部を選択することを含む、請求項５または６に記載のデータマイニングシステム。
8. 前記複数種類のデータを収集することは、データを前処理することを含み、
   前記前処理は、ウェブサイトへの来訪者の識別である来訪者識別と、あるセッションでの来訪者に続く特定経路を再構築する処理とを含み、
   前記特定経路を再構築する処理は、当該セッションのログファイルエントリへのリンク付けと、時間で各エントリを並べ替えることとを含む、請求項５〜７のいずれか１項に記載のデータマイニングシステム。
9. 請求項１〜４のいずれかに記載の方法をコンピュータに実現させるためのプログラムを格納したコンピュータ読み取り可能なデータ記録媒体。