JP2023533453A - データ抽出のためのマルチステージデータスニッファ - Google Patents

Abstract

マルチステージデータスニッファインスタンスは、所与のファイルの選択されたフォーマットに関する設定ファイルに基づいて、所与のファイルを一組のデータフィールドに関してスキャンする第１ステージを含むことができる。マルチステージデータスニッファインスタンスはまた、選択されたフォーマットに関する一組のデータフィールド内の各データフィールド内の値を評価して、一組のデータフィールド内の値の有効性を判定する第２ステージも含むことができる。マルチステージデータスニッファインスタンスは、所与のファイルの複数のフィールド内のデータを抽出し、設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合し、統合されたデータを特徴付けるデータマートデータベースにデータを出力する第３ステージをさらに含むことができる。

Description

本開示は、データ抽出（ｄａｔａ ｅｘｔｒａｃｔｉｏｎ）に関する。より詳細には、本開示は、データを抽出するマルチステージデータスニッファ（ｍｕｌｔｉｓｔａｇｅ ｄａｔａ ｓｎｉｆｆｅｒ）に関する。

データ抽出は、さらなるデータ処理またはデータ保存（データ移行）のために、（通常は、非構造化または不十分な構造化）データソースからデータを取り出す操作またはプロセスである。従って、中間抽出システムへのインポートの後には、通常、データワークフローの別ステージにエクスポートされる前に、データ変換および場合によってはメタデータの追加が続く。データ抽出という用語は、（実験）データが、測定デバイスまたは記録デバイスのような一次ソースからコンピュータに最初にインポートされるときに適用することができる。

非構造化データソースは、ウェブページ、電子メール、文書、ＰＤＦ、スキャンされたテキスト、メインフレームレポート、スプールファイル、クラシファイド（ｃｌａｓｓｉｆｉｅｄｓ）などを含み、これらはさらにセールスリードまたはマーケティングリードに使用される。これらの非構造化ソースからデータを抽出することは、かなりの技術的課題に発展したが、従来からデータ抽出は、物理的ハードウェアフォーマットの変化に対処する必要があり、現在のデータ抽出は、これらの非構造化データソースから、および異なるソフトウェアフォーマットからデータを抽出することが大半を占めている。

一例は、マルチステージデータスニッファインスタンスを備える機械実行可能命令を有する非一時的機械可読媒体に関する。マルチステージデータスニッファインスタンスは、所与のファイルの選択されたフォーマットに関する設定ファイルに基づいて、所与のファイルを一組のデータフィールドに関してスキャンする第１ステージを含むことができる。また、マルチステージデータスニッファインスタンスは、選択されたフォーマットに関する一組のデータフィールド内の各データフィールド内の値を評価して、一組のデータフィールド内の値の有効性を判定する第２ステージも含むことができる。マルチステージデータスニッファインスタンスは、所与のファイルの複数のフィールド内のデータを抽出し、設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合し（ａｇｇｒｅｇａｔｅｓ）、統合されたデータを特徴付けるデータマートデータベースにデータを出力する第３ステージをさらに含むことができる。

別の例は、データを抽出するためのシステムに関する。システムは、機械実行可能命令を有する非一時的メモリと、メモリにアクセスし、機械実行可能命令を実行するための処理ユニットとを含むことができる。機械実行可能命令は、複数のマルチステージデータスニッファインスタンスを並列に実行するマルチステージデータスニッファを含むことができる。各マルチステージデータスニッファインスタンスは、所定の場所から抽出された所与のファイルを、所与のファイルの選択されたフォーマットを定義する設定ファイルに基づいて、一組のデータフィールド内の必要なデータフィールドおよび任意選択のデータフィールドに関してスキャンする第１ステージを含むことができる。各マルチステージデータスニッファインスタンスは、選択されたフォーマットに関する一組のデータフィールド内の各データフィールド内の値を評価して、一組のデータフィールド内の値の有効性を判定する第２ステージも含むことができる。各マルチステージデータスニッファインスタンスは、所与のファイルの複数のフィールド内のデータを抽出し、設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合し、統合されたデータを特徴付けるデータマートデータベースにデータを出力する第３ステージをさらに含むことができる。

さらに別の例は、データを抽出するための方法に関する。本方法は、コンピューティングプラットフォーム上で実行されるマルチステージデータスニッファが、複数のマルチステージデータスニッファインスタンスを並列に実行することを含むことができ、各マルチステージデータスニッファインスタンスは、サブメソッド（ｓｕｂ－ｍｅｔｈｏｄ）を実行する。サブメソッドは、所定の場所から抽出された所与のファイルを、所与のファイルの選択されたフォーマットを定義する設定ファイルに基づいて、一組のデータフィールド内の必要なデータフィールドおよび任意選択のデータフィールドに関してスキャンすることを含むことができる。サブメソッドは、選択されたフォーマットに関する一組のデータフィールド内の各データフィールド内の値を検証して、一組のデータフィールド内の値の有効性を判定することも含むことができる。サブメソッドは、所与のファイルの複数のフィールド内のデータを抽出し、設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合することをさらに含むことができる。サブメソッドは、統合されたデータを特徴付けるデータマートデータベースにデータを出力することをさらに含むことができる。

複数のソースからデータを抽出するためのシステムの一例を示す図である。 抽出データに基づいて生成されたダッシュボードの一例を示す図である。 ファイルからデータを抽出するための例示的な方法のタイミング図である。 データベースからデータを抽出するための例示的な方法の別のタイミング図である。 データを抽出するための例示的な方法のフローチャートである。 データを抽出するための例示的なサブメソッドのフローチャートである。

本開示は、コンピューティングプラットフォーム上で実行して、ファイルおよび／またはデータベースなどの複数のソースからデータを抽出するマルチステージデータスニッファに関する。マルチステージデータスニッファは、並列に動作する複数のマルチステージデータスニッファインスタンスをインスタンス化する（ｉｎｓｔａｎｔｉａｔｅ）ことができる。そのようなマルチステージデータスニッファインスタンスの各々は、所与のファイルの選択されたフォーマットに対応する設定に基づいて、所定の場所から抽出された所与のファイルを、一組のデータフィールド内の必要なデータフィールドおよび任意選択のデータフィールドに関してスキャンする第１ステージを含むことができる。選択されたフォーマットは、例えば、所与のファイルのファイル名に基づくことができる。第１ステージは、所与のファイルのコンテンツをステージングデータベースに書き込むことができる。

各マルチステージデータスニッファインスタンスは、ステージングデータベースから所与のファイルのコンテンツを取り出し、選択されたフォーマットに関する一組のデータフィールド内の各データフィールド内の値を評価して、一組のデータフィールド内の値の有効性を判定する第２ステージも含むことができる。検証済みのコンテンツ（例えば、検証済みのデータ値）は、データウェアハウスデータベースに書き込まれ得る。各マルチステージデータスニッファインスタンスは、検証済みのデータ（またはそのいくつかの一部）を抽出し、設定ファイルにおいて定義された所定の一組のルールに基づいて抽出データを統合する第３ステージも含むことができる。第３ステージは、統合されたデータを特徴付けるデータマートデータベースにデータを出力することができる。

加えて、マルチステージデータスニッファは、ソースデータベースから抽出されたデータを用いてデータマートデータベースを拡張するバルクデータスニッファインスタンスをインスタンス化することができる。バルクデータスニッファインスタンスは、複数のマルチステージデータスニッファインスタンスと並列に動作することができる。さらに、統合されたデータは、グラフィカルユーザインタフェース（ＧＵＩ）ジェネレータが使用して、データマートデータベース内のデータのグラフィカル表現を生成することができる。ソースから抽出されるマルチステージデータは、設定ファイルにおいて識別された既知のフォーマットおよび例外的なフォーマットに準拠する。加えて、マルチステージデータスニッファは、データ抽出の並列処理を可能にし、遅い順次処理の必要性を回避する。

図１は、自動データ抽出のためのシステム１００の一例を示す。システム１００は、機械可読命令およびデータを格納するためのメモリ１０６と、メモリ１０６にアクセスして、機械可読命令を実行するための処理ユニット１０８とを含むことができるサーバ１０２（例えば、コンピューティングプラットフォーム）を含むことができる。メモリ１０６は、ランダムアクセスメモリ（ＲＡＭ）、ソリッドステートドライブ、ハードディスクドライブ、またはそれらの組み合わせなどの非一時的機械可読メモリ（または他の媒体）に相当する。処理ユニット１０８は、１つまたは複数のプロセッサコアとして実施され得る。サーバ１０２は、パブリックネットワーク（例えば、インターネット）、プライベートネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ））、またはそれらの組合せ（例えば、仮想プライベートネットワーク）などのネットワーク１１４を介して他のコンピューティングプラットフォームと通信するように構成されたネットワークインタフェース１１０（例えば、ネットワークインタフェースカード）を含むことができる。

サーバ１０２は、コンピューティングクラウドにおいて実施され得る。そのような状況では、処理ユニット１０８、ネットワークインタフェース１１０、およびメモリ１０６等のサーバ１０２の機能は、ハードウェア（例えば、コンピュータ、ルータ、メモリ、プロセッサ、またはそれらの組み合わせ）の複数のインスタンスにわたって実行する（即ち、分散される）アプリケーションを用いるハードウェアの単一インスタンスまたはハードウェアの複数のインスタンスを表すことができる。代替的に、サーバ１０２は、単一の専用サーバまたはワークステーション上で実施され得る。

メモリ１０６は、マルチステージデータスニッファ１２０を含むことができる。マルチステージデータスニッファ１２０は、Ｋ個のマルチステージデータスニッファインスタンス１２４を実行することができ、Ｋは、１以上の整数である。Ｋ個のマルチステージデータスニッファインスタンス１２４は、データ抽出を迅速にするために並列に動作することができる。図１は、第１のマルチステージデータスニッファインスタンス１２４（マルチステージデータスニッファ１）の詳細を示すが、第２から第Ｋのマルチステージデータスニッファインスタンス１２４も同様に動作できることが理解される。

マルチステージデータスニッファ１２０は、メモリ１０６に格納された設定ファイル１２８にアクセスすることができる。設定ファイル１２８は、データ抽出のためのパラメータを定義することができる。特に、設定ファイル１２８は、データストレージ１３４に格納された選択されたフォルダ１３０（例えば、ディレクトリ）または複数の選択されたフォルダを識別することができる。マルチステージデータスニッファ１２０は、選択されたフォルダ１３０内の所与のファイル１３６に対する変更を検出するように構成／プログラムされる。例えば、マルチステージデータスニッファ１２０は、選択されたフォルダ１３０内のファイルに対する変更に関して、選択されたフォルダ１３０に定期的に（例えば、１０分ごとまたは１０分未満ごとに）および／または非同期的に問い合わせるように構成することができる。所与のファイル１３６に対する変更は、例えば、所与のファイル１３６が選択されたフォルダ１３０内に作成されたことの表示、所与のファイル名の変更、および／または所与のファイルのコンテンツに対する修正であり得る。

一例として、コンピューティングプラットフォーム１４０は、所与のファイル１３６を変更するためにエンドユーザによって使用され得る。コンピューティングプラットフォーム１４０は、ネットワーク１１４上で通信することができる。コンピューティングプラットフォーム１４０は、例えば、デスクトップコンピュータ（例えば、ワークステーション）、ラップトップコンピュータ、またはモバイルコンピューティングデバイス（例えば、タブレットコンピュータまたはスマートフォン）として実施され得る。コンピューティングプラットフォーム１４０は、機械実行可能命令を格納するための非一時的メモリと、コンピューティングプラットフォーム１４０のメモリにアクセスし、機械可読命令を実行するための処理ユニット（例えば、１つまたは複数のプロセッサコア）とを含むことができる。

コンピューティングプラットフォーム１４０は、所与のファイル１３６を生成および／または修正するために使用可能なアプリケーションソフトウェア１４４（例えば、アプリ）を含むことができる。いくつかの例として、アプリケーションソフトウェア１４４は、スプレッドシートプログラム、ワードプロセッサ、プレゼンテーションプログラム、デスクトップパブリッシングアプリケーション、または消費型コンテンツを生成および／または修正するために使用可能な任意のアプリケーションとして実施することができる。アプリケーションソフトウェア１４４は、データストレージ１３４の選択されたフォルダ１３０にアクセスして、データストレージ１３４に格納された所与のファイル１３６を生成および／または修正するために使用することができる。

所与のファイル１３６に対する変更の検出に応答して、マルチステージデータスニッファ１２０は、フォルダのファイル名を調べて、ファイル名が、選択されたフォーマットとして参照することができる設定ファイル１２８内の複数のフォーマットのうちの１つのフォーマットに対して定義された文字列と一致する文字列を含むかどうかを判定することができる。より詳細には、設定ファイル１２８は、複数の文字列を含むことができ、各文字列がフォーマットに対応している。いくつかの例として、設定ファイルは、販売スプレッドシート、売掛金チャート、ホワイトペーパー、広告などに対応する文字列を含むことができる。ある所与の例（以下、「所与の例という」）では、設定ファイル１２８内の文字列は、販売チャートに対応する「販売」とすることができ、所与のファイル１３６は、スプレッドシートを表す。所与のファイル１３６が、設定ファイル１２８において識別された文字列と一致する文字列を含んでいない場合、所与のファイル１３６は無視され得る。加えて、所与のファイル１３６に対する変更（例えば、所与のファイル名の変更）を検出すると、マルチステージデータスニッファ１２０は、選択されたフォーマットを識別する試みにおいて、所与のファイル１３６のファイル名を再検査することができる。

所与のファイル１３６に対して選択されたフォーマットを識別することに応答して、マルチステージデータスニッファ１２０は、マルチステージデータスニッファインスタンス１２４をインスタンス化することができる。本例では、マルチステージデータスニッファ１２０は、所与のファイル１３６からデータを抽出するために第１のマルチステージデータスニッファインスタンス１２４をインスタンス化することが想定されるが、他の例では、Ｋ個のマルチステージデータスニッファインスタンス１２４のいずれも、所与のファイル１３６からデータを抽出することができる。

第１のマルチステージデータスニッファインスタンス１２４の第１ステージ１５０は、データフィールド検証処理を実行して、設定ファイル１２８において定義された、選択されたフォーマットに対する一組のデータフィールドの存在を検証することができる。データフィールド検証処理中に、第１ステージ１５０は、選択されたフォーマットに対して設定ファイル１２８において定義された一組のデータフィールド内の必要なデータフィールド（および、いくつかの例では任意選択のデータフィールド）に関して所与のファイル１３６をスキャンすることができる。データフィールドは、選択されたフォーマットの種類に基づいて変化し得る。例えば、所与の例を続けると、１つのフィールドを「週間売上」として実施することができ、別のフィールドを「販売された機器」とすることができる。所与の例におけるさらに別のフィールドは、「販売員名」であり得る。さらに、一組のデータフィールドは、必要なデータフィールドおよび任意選択のデータフィールドを含むことができる。任意選択のデータフィールドは、所与のファイル１３６内に存在しても、または存在しなくてもよいデータフィールドとすることができ、必要なデータフィールドは、所与のファイル１３６内に存在しなければならないデータフィールドとすることができる。所与の例では、必要なデータフィールドは、例えば、「販売員名」フィールドとすることができ、任意選択のフィールドは「費用」とすることができる。

第１ステージ１５０のデータフィールド検証処理は、選択されたフォーマットの一組のデータフィールド内の必要なデータフィールドが所与のファイル１３６内に存在するかどうかを判定する。第１ステージ１５０が、必要とされるデータフィールドのうちの１つまたは複数が欠落していることを検出した場合、第１ステージ１５０は、設定ファイル１２８において識別された受信者に対する通知において提供されるエラーメッセージを生成することができる。受信者は、例えば、所与のファイル１３６を生成するために採用されたコンピューティングプラットフォーム１４０に関連付けられたユーザおよび／または異なるユーザであり得る。エラーメッセージは、欠落している必要なデータフィールドまたは複数の欠落している必要なデータフィールドを識別することができる。エラーメッセージを含む通知は、電子メールメッセージ、プッシュ通知、および／または受信者宛のショートメッセージサービス（ＳＭＳ）メッセージとして提供することができる。通知を提供することに応答して、第１ステージ１５０は、所与のファイル１３６に対する変更を検出することに応答して、マルチステージデータスニッファ１２０によって再インスタンス化され得るマルチステージデータスニッファインスタンス１２４を終了させることができる（例えば、所与のファイル１３６は、必要なデータフィールドを含むように修正される）。

さらに、いくつかの例では、第１ステージ１５０が、選択されたフォーマットに関する一組のデータフィールドの任意選択のデータフィールドが欠落していることを検出した場合、第１ステージ１５０は、警告メッセージを生成することができる。警告メッセージは、欠落している任意選択のデータフィールドを識別する受信者への通知において提供され得る。しかしながら、欠落している任意選択のデータフィールドを検出したことに応答して、第１ステージ１５０は、第１のマルチステージデータスニッファインスタンス１２４を終了させない。

選択されたフォーマットの一組のデータフィールドの必要なフィールドが存在する場合、第１のマルチステージデータスニッファインスタンス１２４の第１ステージ１５０は、所与のファイル１３６のコンテンツをステージングデータベース１５４内の１つのレコード（または複数のレコード）に書き込む。いくつかの例では、ステージングデータベース１５４は、例えば、ネットワーク１１４を介してアクセス可能な検索およびクエリ言語（ＳＱＬ：ｓｅａｒｃｈ ａｎｄ ｑｕｅｒｙ ｌａｎｇｕａｇｅ）データベースとして実施され得る。他の例では、ステージングデータベース１５４は、サーバ１０２にローカルなデータベースとすることができる。さらに、いくつかの例では、第１ステージ１５０は、データフィールド検証処理の結果をログファイルに書き込むことができる。

いくつかの例では、第１のマルチステージデータスニッファインスタンス１２４の第２ステージ１６０は、周期的に（例えば、１０分または１０分未満ごとに）および／または非同期的に、ステージングデータベース１５４にアクセスするとともに、所与のファイル１３６に関連付けられたレコードにアクセスすることができる。他の例では、第１ステージ１５０は、コンテンツがステージングデータベース１５４に書き込まれないように、所与のファイル１３６のコンテンツを第２ステージ１６０に渡す。いずれの状況においても、所与のファイル１３６のコンテンツを受信することに応答して、第２ステージ１６０は、データ値検証処理を実行することができる。データ値検証処理中に、第２ステージは、一組のデータフィールド内の値に関して所与のファイル１３６のコンテンツをスキャンして、値が（例えば、許容可能な形態で）有効であるかどうかを判定する。

各データフィールドに対する有効性は、個々のデータフィールドのタイプに基づいて変化させることができ、有効性は、設定ファイル１２８によって定義することができる。例えば、特定のデータフィールドが数値である場合、特定のデータフィールドの有効性は、値の範囲によって定義することができる。所与の例では、「週間売上」に対する値は、０以上の範囲であり得る。逆に、特定のデータフィールドが文字列である場合、有効な形式であることは、文字のみが許容されることを示し得る。例えば、所与の例では、「販売員名」に対する値の有効な形式は、文字およびスペースのみを許可することができる（例えば、句読点または数字は許可されない）。

第２ステージ１６０が、一組のデータフィールドのデータ値（または複数のデータ値）が有効な形式ではないことを検出した場合、第２ステージ１６０は、設定ファイル１２８において識別された受信者に対する通知において提供されるエラーメッセージを生成することができる。エラーメッセージを含む通知は、電子メールメッセージ、プッシュ通知、および／または受信者宛のＳＭＳメッセージとして提供することができる。そのような状況では、エラーメッセージは、データ値の欠陥（例えば、無関係な文字および／または範囲外）を示すことができる。通知を提供することに応答して、第２ステージ１６０は、所与のファイル１３６に対する変更を検出することに応答してマルチステージデータスニッファ１２０によって再インスタンス化され得る第１のマルチステージデータスニッファインスタンス１２４を終了させることができる（例えば、所与のファイル１３６は、有効な形式ではないデータフィールドの値を改訂するように修正される）。

一組のデータフィールド内の値が有効な形式である場合、第１のマルチステージデータスニッファインスタンス１２４の第２ステージ１６０は、所与のファイル１３６の検証済みのコンテンツ（例えば、検証済みのデータ値）をデータウェアハウスデータベース１６４内のレコード（または複数のレコード）に書き込む。いくつかの例では、データウェアハウスデータベース１６４は、例えば、ネットワーク１１４を介してアクセス可能なＳＱＬデータベースとして実施され得る。他の例では、データウェアハウスデータベース１６４は、サーバ１０２にローカルなデータベースとすることができる。さらに、いくつかの例では、第１ステージ１５０は、データフィールド検証処理の結果をログファイルに書き込むことができる。さらに他の例では、第２ステージ１６０は、所与のファイル１３６のコンテンツを第１のマルチステージデータスニッファインスタンス１２４の第３ステージ１６８に渡すことができる。

いくつかの例では、第１のマルチステージデータスニッファインスタンス１２４の第３ステージ１６８は、周期的に（例えば、１０分または１０分未満ごとに）および／または非同期的に、データウェアハウスデータベース１６４にアクセスするとともに、所与のファイル１３６に関連付けられたレコードにアクセスすることができる。より具体的には、第３ステージ１６８は、データウェアハウスデータベース１６４にアクセスするとともに、抽出データと呼ぶことができる一部の検証済みのコンテンツを抽出することができる。抽出データは、データマートデータベース１７０に書き込むことができる。いくつかの例では、データマートデータベース１７０は、ネットワーク１１４を介してアクセス可能なＳＱＬデータベースであり得る。他の例では、データマートデータベース１７０は、メモリ１０６に格納され得る。

さらに、第３ステージ１６８は、抽出データを、他のファイルおよび／またはデータベースなどの他のソースから抽出データと統合することができる。いくつかのそのような例では、抽出データは、同じファイル（例えば、所与のファイル１３６）内の異なるフィールドの値、および／または異なるソースからのフィールドの値と統合され得る。所与の例を続けると、抽出データは、「週間売上」の複数のインスタンスを表すことができ、これを統合して、「月間売上」に関する値を生成することができる。追加的に、または代替的に、所与の例では、フィールド「週間売上」を他の販売員の売上レポートと統合して、複数の販売員に関する「週間売上合計」の値を生成することができる。

いくつかの例では、大量のデータ（例えば、バルクデータ）が、マルチステージデータスニッファ１２０によって処理され得る。例えば、ソースデータベース１７２（例えば、ＳＱＬデータベース）は、データマートデータベース１７０へのインポートおよび／または統合のためのコンテンツを有するレコードを含むことができる。所与の例では、ソースデータベース１７２のレコードは、アーカイブされたレコードからの販売レポートを有する履歴データを含むことができる。そのような状況では、マルチステージデータスニッファ１２０は、バルクデータスニッファインスタンス１７６を起動して、ソースデータベース１７２内のデータをデータマートデータベース１７０にインポートおよび／または統合することができる。さらに、マルチステージデータスニッファ１２０は、インポートおよび／または統合を特徴付けるログエントリを書き込むことができる。

より具体的には、バルクデータスニッファインスタンス１７６は、ソースデータベース１７２からデータを引き出し、引き出したデータをステージングデータベース１５４に転送するようにプログラムすることができるＳＱＬサーバ統合サービス（ＳＳＩＳ：ＳＱＬ Ｓｅｒｖｅｒ Ｉｎｔｅｇｒａｔｉｏｎ Ｓｅｒｖｉｃｅｓ）エージェント１７８（または別のタイプのエージェント）を含むことができる。さらに、ＳＳＩＳエージェント１７８は、転送の詳細をログファイルに書き込むことができる。また、バルクデータスニッファインスタンス１７６は、各マルチステージデータスニッファインスタンス１２４の第２ステージ１６０および第３ステージ１６８と同様に実施することができる第２ステージ１８０および第３ステージ１８２を含むことができる。即ち、バルクデータスニッファインスタンス１７６の第２ステージ１８０は、ソースデータベース１７２からステージングデータベース１５４に転送されるデータに対してデータ値検証処理を実行し、検証済みのコンテンツをデータウェアハウスデータベース１６４に書き込むことができる。さらに、第３ステージ１８２は、データウェアハウスデータベース１６４から一部の検証済みのコンテンツを抽出し、抽出データをデータマートデータベース１７０に書き込みおよび／または統合し、処理を特徴付けるログエントリを生成することができる。

時間の経過とともに、複数のソースから（例えば、選択されたフォルダ１３０内の複数のファイルおよび／またはソースデータベース１７２から）、より多くのデータをデータマートデータベース１７０に統合することができる。データが大きくなるにつれて、視覚フォーマットでデータを編成することが有用になる。従って、グラフィカルユーザインタフェース（ＧＵＩ）ジェネレータ１８４は、データマートデータベース１７０にアクセスし、統合された抽出データのグラフィカル表現を生成することができる。いくつかの例では、ＧＵＩジェネレータ１８４は、ウェブページジェネレータおよび／またはウェブサーバとして実施することができる。そのような状況では、統合された抽出データのグラフィカル表現は、グラフィカルチャート、ダッシュボードなどであり得る。さらに、ＧＵＩジェネレータ１８４は、抽出データのグラフィカル表現を、コンピューティングプラットフォーム１４０上で実行される（または異なるコンピューティングプラットフォーム上で実行される）ウェブブラウザ１８８などの要求元デバイスに提供することができる。

図２は、図１のＧＵＩジェネレータ１８４によって生成された抽出データのグラフィカル表現として実施され得るダッシュボード２００の一例を示す。ダッシュボード２００は、複数のソースから統合された値を表す、特定のプロジェクトに関するプロジェクトコストを含む。さらに、ダッシュボード２００は、データを視覚的に表すことができる複数の方法を示す複数のチャートを含む。使用されるチャートのタイプおよび数は、様々なソースから抽出されるデータのタイプに基づいて変化する。

図１に戻って参照すると、システム１００を使用することによって、複数のソースからデータを抽出および統合して、グラフィカル形式で編成することができる。さらに、上述したように、Ｋ個のマルチステージデータスニッファインスタンス１２４の各々は、並列に動作することができる。従って、Ｋ個のマルチステージデータスニッファインスタンス１２４（またはそのいくつかの一部）の各々は、ファイルに対する更新に応答して、所与のファイル１３６などのファイルから独立してデータを同時に抽出することができる。このため、ファイルを順次処理する必要がない。さらに、Ｋ個のマルチステージデータスニッファインスタンス１２４の各々は、第１ステージ１５０、第２ステージ１６０、および第３ステージ１６８のインスタンスを含む。従って、第１ステージ１５０、第２ステージ１６０、および第３ステージ１６８の処理を連携させることにより、３つの別個の手動制御プロセスの必要性を回避することができる。加えて、Ｋ個のマルチステージデータスニッファインスタンス１２４の第１ステージ１５０によって実行されるデータフィールド検証処理および第２ステージ１６０によって実行されるデータ値検証処理は、データが一貫したフォーマットで提供されること、およびデータが完全であることを保証する。

図３は、自動データ抽出のための方法４００を実行するためのシステム３００による処理のタイミングの一例を示すタイミング図を示す。システム３００は、図１のシステム１００を実施するために使用することができる。従って、システム３００は、ファイルにアクセスして更新するためのアプリケーションソフトウェアを有するコンピューティングプラットフォーム３０４（例えば、エンドユーザデバイス）を含むことができる。

４０５において、コンピューティングプラットフォーム３０４上で実行されるアプリケーションソフトウェアを使用して、ファイルを変更して、更新されたファイルを生成または修正することができる。所与のファイル１３６に対する変更は、例えば、ファイルのコンテンツおよび／またはファイル名に対する変更、または新たなファイルの生成であり得る。４１０において、更新されたファイルは、ネットワーク（例えば、プライベートネットワークおよび／またはインターネットなどのパブリックネットワーク）を介してデータストレージ３１０内の選択されたフォルダ３０８に書き込まれる。

４１５において、マルチステージデータスニッファ１２０は、選択されたフォルダ３０８内の更新されたファイルを検出するために、選択されたフォルダ３０８に周期的および／または非同期的に問い合わせるように構成／プログラムされる。更新されたファイルが、設定ファイル内の選択されたフォーマットの識別子に対応する文字列を含む場合、４２０において、マルチステージデータスニッファ３１６は、マルチステージデータスニッファインスタンス３２０をインスタンス化することができる。４２５において、マルチステージデータスニッファインスタンス３２０の第１ステージ３２４は、選択されたフォルダ３０８から更新されたファイルのコピーを取り出す。

４３０において、マルチステージデータスニッファインスタンス３２０の第１ステージ３２４は、更新されたファイルに対してデータフィールド検証処理を実行することができる。データフィールド検証処理は、更新されたファイルが、選択されたフォーマットに関する一組のデータフィールドにおける各必要なデータフィールドを含んでいるかを検証することができる。取り出されたファイルが、１つまたは複数の必要とされるデータフィールドを欠落している場合、マルチステージデータスニッファインスタンス３２０の第１ステージ３２４は、欠落を記述する（設定ファイルにおいて識別される）受信者に対する通知を（例えば、エラーメッセージとして）生成し、マルチステージデータスニッファインスタンス３２０を終了させて、方法４００は、ノード「Ａ」に戻る。逆に、データフィールド検証処理が、更新されたファイルが選択されたフォーマットに関する一組のデータフィールドにおける各必要なフィールドを含んでいることを示す場合、４３５において、第１ステージ３２４は、更新されたファイルのコンテンツをステージングデータベース３２８に書き込む。

４４０において、マルチステージデータスニッファインスタンス３２０の第２ステージ３３４は、ステージングデータベース３２８から新たに書き込まれたコンテンツを周期的および／または非同期的に取り出すことができる。４４５において、マルチステージデータスニッファインスタンス３２０の第２ステージ３３４は、取り出されたコンテンツに対してデータ値検証処理を実行することができる。データ値検証処理は、取り出されたコンテンツのデータフィールド内の値が有効な形式（例えば、有効な数値範囲、文字列内の適切な文字など）であるかどうかを判定することができる。１つまたは複数のデータ値が有効な形式でない場合、マルチステージデータスニッファインスタンス３２０の第２ステージ３３４は、更新されたファイルの欠陥を示す通知を受信者に対して生成することができる。そのような状況では、第２ステージ３３４は、マルチステージデータスニッファインスタンス３２０を終了することができ、方法４００は、ノード「Ａ」に戻ることができる。取り出されたコンテンツ内の値が有効な形式である場合、４５０において、第２ステージ３３４は、検証済みのコンテンツをデータウェアハウスデータベース３３８に書き込むことができる。

４５５において、マルチステージデータスニッファインスタンス３２０の第３ステージ３４２は、データウェアハウスデータベース３３８から新たに書き込まれた検証済みのコンテンツからコンテンツを周期的および／または非同期的に抽出することができる。抽出されるコンテンツは、例えば、データウェアハウスデータベース３３８に書き込まれた一部の検証済みのコンテンツとすることができる。

４６０において、マルチステージデータスニッファインスタンス３２０の第３ステージ３４２は、抽出されたコンテンツをデータマートデータベース３４８内の他のコンテンツと統合することができ、４６２において、データがデータマートデータベース３４８に書き込まれる（例えば、データマートデータベース内のコンテンツを拡張する）。４６５において、データマートデータベース３４８からのコンテンツは、ＧＵＩジェネレータ３５０によって提供および／または取り出され得る。４７０において、ＧＵＩジェネレータ３５０は、統合されたデータのグラフィカル表現を生成することができる。４７５において、統合されたデータのグラフィカル表現（例えば、ダッシュボードおよび／またはチャート）は、ディスプレイ上に出力するために、ネットワークを介して（例えば、ウェブページとして）コンピューティングプラットフォーム３０４または異なるコンピューティングプラットフォームに提供され得る。

図４は、自動データ抽出のための方法５００を実行するための図３のシステム３００による処理のタイミングの一例を示す別のタイミング図を示す。説明を簡単にするために、図３および図４では、同じ構成または処理を示すのに同じ参照番号を使用する。さらに、説明を簡単にするために、いくつかの参照番号は再導入されない。方法５００は、データベースからのバルクデータ抽出処理を実施するために使用することができる。方法５００は、図３の方法４００と同時に動作することができる。

５０５において、周期的および／または非同期的に、マルチステージデータスニッファ３１６は、更新された（例えば、新たなまたは修正された）コンテンツに関してソースデータベース３６０に問い合わせることができる。更新されたコンテンツを検出することに応答して、５１０において、マルチステージデータスニッファ３１６は、バルクデータスニッファインスタンス３６４をインスタンス化することができる。５１５において、バルクデータスニッファインスタンス３６４のＳＳＩＳエージェント３６８は、ソースデータベース３６０からコンテンツを取り出すことができる。５２０において、バルクデータスニッファインスタンス３６４のＳＳＩＳエージェント３６８は、ステージングデータベース３２８にコンテンツを書き込むことができる。

また、バルクデータスニッファインスタンス３６４は、図３に関して説明した方法で動作する第２ステージ３３４および第３ステージ３４２のインスタンスを含む。説明を簡単にするために、これらの処理は繰り返さない。

図３および図４に示すように、システム３００は、方法４００および５００により異なるソースからデータを自動的に抽出するために使用することができる。さらに、方法４００および方法５００の複数のインスタンスは、並列に実行することができる。従って、システム３００によって、データを抽出するために遅いシリアル化された処理を実施する必要性が回避される。

上述の構造的及び機能的特徴を考慮して、例示的な方法は、図５及び図６を参照することによって、より良く理解されるであろう。説明を簡単にするために、図５および図６の例示的な方法は、連続して実行されるものとして示され、説明されているが、他の例においていくつかの動作が、本明細書において示され、かつ説明されているものとは異なる順序で、および／または同時に行われ得るため、本例は、図示されている順序によって制限されないことを理解および認識されたい。さらに、方法を実施するために全ての説明された動作が実行される必要はない。図５および図６の例示的な方法は、非一時的機械可読媒体に格納された命令として実施され得る。命令は、処理ユニットによってアクセスされ、本明細書で開示される方法を実行するために実行され得る。

図５は、データを抽出するための例示的な方法６００のフローチャートを示す。方法５００は、例えば、図１のサーバ１０２上で実行されるマルチステージデータスニッファ１２０など、コンピューティングプラットフォーム上で実行されるマルチステージデータスニッファによって実施することができる。６１０において、マルチステージデータスニッファは、複数のマルチステージデータスニッファインスタンス（例えば、図１のＫ個のマルチステージデータスニッファインスタンス１２４）を並列に実行することができる。各マルチステージデータスニッファインスタンスは、所与のファイルからデータを抽出するためのサブメソッドを実行することができる。６２０において、マルチステージデータスニッファは、複数のマルチステージデータスニッファインスタンスと並行してバルクデータスニッファインスタンス（例えば、図１のバルクデータスニッファインスタンス１７６）を実行することができる。バルクデータスニッファインスタンスは、ソースデータベースから抽出されたデータによりデータマートデータベースを拡張することができる。

図６は、所与のファイルからデータを抽出するための例示的なサブメソッド７００のフローチャートを示す。サブメソッド７００は、図５の方法６００に関して説明した複数のマルチステージデータスニッファインスタンスのうちの対応するマルチステージデータスニッファインスタンスによって実行されるサブメソッドを表すことができる。従って、並行して動作するサブメソッド７００の複数のインスタンスが存在し得る。

７０５において、マルチステージデータスニッファインスタンスの第１ステージ（例えば、図１の第１ステージ１５０）は、データフィールド検証処理中に、所与のファイルの選択されたフォーマットを定義する設定ファイルに基づいて、一組のデータフィールド内の必要なデータフィールドおよび任意選択のデータフィールドに関して、所定の場所から抽出された所与のファイル（例えば、所与のファイル１３６）をスキャンすることができる。７１０において、マルチステージデータスニッファインスタンスの第２ステージ（例えば、図１の第２ステージ１６０）は、データ値検証処理を実行して、選択されたフォーマットに関する一組のデータフィールドにおける各データフィールド内の値を検証して、一組のデータフィールド内の値の有効性を判定することができる。７１５において、マルチステージデータスニッファインスタンスの第３ステージ（例えば、図１の第３ステージ１６８）は、所与のファイルの複数のフィールド内のデータを抽出することができる。７２０において、第３ステージは、設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合することができる。７２５において、第３ステージは、統合されたデータを特徴付けるデータマートデータベースにデータを出力することができる。データマートデータベースからのコンテンツは、例えば、ＧＵＩジェネレータ（例えば、図１のＧＵＩジェネレータ１８４）によって用いられて、（例えば、ブラウザまたはアプリケーションソフトウェアを介して）リモートコンピューティングプラットフォーム上に出力され得るデータマートデータベース内のコンテンツ（例えば、データ）をグラフィカルに表すダッシュボードおよび／またはチャートを生成することができる。

上記した説明は一例である。もちろん、構成要素または方法の考えられる全ての組み合わせを説明することは不可能であるが、当業者は、さらに多くの組み合わせおよび置換が可能であることを認識するであろう。従って、本開示は、添付の特許請求の範囲を含む本出願の範囲内にあるそのような全ての変更、修正、および変形を包含することを意図している。本明細書で使用される場合、「含む」という用語は、限定することなく含むことを意味する。「に基づく」という用語は、少なくとも部分的に基づくことを意味する。さらに、開示または請求項が「１つの」、「第１の」、または「別の」要素、またはそれらの同等物を記載する場合、１つまたは複数のそのような要素を含むと解釈されるべきであり、２つ以上のそのような要素の要求も除外もされない。

上記した説明は一例である。もちろん、構成要素または方法の考えられる全ての組み合わせを説明することは不可能であるが、当業者は、さらに多くの組み合わせおよび置換が可能であることを認識するであろう。従って、本開示は、添付の特許請求の範囲を含む本出願の範囲内にあるそのような全ての変更、修正、および変形を包含することを意図している。本明細書で使用される場合、「含む」という用語は、限定することなく含むことを意味する。「に基づく」という用語は、少なくとも部分的に基づくことを意味する。さらに、開示または請求項が「１つの」、「第１の」、または「別の」要素、またはそれらの同等物を記載する場合、１つまたは複数のそのような要素を含むと解釈されるべきであり、２つ以上のそのような要素の要求も除外もされない。
以下に、上記実施形態から把握できる技術思想を付記として記載する。
［付記１]
マルチステージデータスニッファインスタンスを備える機械実行可能命令を有する非一時的機械可読媒体であって、前記マルチステージデータスニッファインスタンスは、
所与のファイルの選択されたフォーマットに関する設定ファイルに基づいて、前記所与のファイルを一組のデータフィールドに関してスキャンする第１ステージと、
前記選択されたフォーマットに関する前記一組のデータフィールド内の各データフィールド内の値を評価して、前記一組のデータフィールド内の値の有効性を判定する第２ステージと、
前記所与のファイルの前記一組のデータフィールド内のデータを抽出し、前記設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合し、統合されたデータを特徴付けるデータマートデータベースにデータを出力する第３ステージと、を含む、非一時的機械可読媒体。
［付記２]
前記データマートデータベース内のコンテンツに基づいてダッシュボードおよび／またはチャートを生成するグラフィカルユーザインタフェース（ＧＵＩ）ジェネレータをさらに備える、付記１に記載の非一時的機械可読媒体。
［付記３]
前記マルチステージデータスニッファインスタンスの前記第２ステージは、前記一組のデータフィールド内の少なくとも１つのデータフィールドが欠落していることを検出したことに応答してエラーメッセージを生成する、付記１に記載の非一時的機械可読媒体。
［付記４]
前記エラーメッセージは、電子メール、プッシュ通知、およびショートメッセージサービス（ＳＭＳ）メッセージのうちの１つまたは複数を介した連絡先への通知において提供される、付記３に記載の非一時的機械可読媒体。
［付記５]
前記マルチステージデータスニッファインスタンスは、前記所与のファイルのファイル名に基づいて、所定の場所における前記所与のファイルに関する前記選択されたフォーマットを識別するマルチステージデータスニッファのコンポーネントである、付記１に記載の非一時的機械可読媒体。
［付記６]
前記所定の場所は、前記設定ファイルに基づく、付記５に記載の非一時的機械可読媒体。
［付記７]
前記選択されたフォーマットは、前記設定ファイルにおいて定義された複数のフォーマットから選択される、付記５に記載の非一時的機械可読媒体。
［付記８]
前記マルチステージデータスニッファインスタンスは、バルクデータスニッファインスタンスをインスタンス化するマルチステージデータスニッファのコンポーネントであり、前記バルクデータスニッファインスタンスは、ソースデータベースからデータを抽出し、前記設定ファイルにおいて定義された前記所定の一組のルールに基づいて抽出データを統合するエージェントを含む、付記１に記載の非一時的機械可読媒体。
［付記９]
データを抽出するためのシステムであって、
機械実行可能命令を有する非一時的メモリと、
前記非一時的メモリにアクセスし、前記機械実行可能命令を実行するための処理ユニットと、を備え、前記機械実行可能命令は、複数のマルチステージデータスニッファインスタンスを並列に実行するマルチステージデータスニッファを備え、各マルチステージデータスニッファインスタンスは、
所定の場所から抽出された所与のファイルを、前記所与のファイルの選択されたフォーマットを定義する設定ファイルに基づいて、一組のデータフィールド内の必要なデータフィールドおよび任意選択のデータフィールドに関してスキャンする第１ステージと、
前記選択されたフォーマットに関する前記一組のデータフィールド内の各データフィールド内の値を評価して、前記一組のデータフィールド内の値の有効性を判定する第２ステージと、
前記所与のファイルの複数のフィールド内のデータを抽出し、前記設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合し、統合されたデータを特徴付けるデータマートデータベースにデータを出力する第３ステージと、を含む、システム。
［付記１０]
前記データマートデータベース内のコンテンツに基づいてダッシュボードおよび／またはチャートを生成するグラフィカルユーザインタフェース（ＧＵＩ）ジェネレータをさらに備える、付記９に記載のシステム。
［付記１１]
各マルチステージデータスニッファインスタンスの前記第２ステージは、前記一組のデータフィールド内の少なくとも１つのデータフィールドが欠落していることを検出したことに応答してエラーメッセージを生成する、付記９に記載のシステム。
［付記１２]
前記エラーメッセージは、電子メール、プッシュ通知、およびショートメッセージサービス（ＳＭＳ）メッセージのうちの１つまたは複数を介して連絡先への通知において提供される、付記１１に記載のシステム。
［付記１３]
前記マルチステージデータスニッファは、前記所与のファイルのファイル名に基づいて、所定の場所における前記所与のファイルに関する前記選択されたフォーマットを識別する、付記９に記載のシステム。
［付記１４]
前記所定の場所は、前記設定ファイルに基づく、付記１３に記載のシステム。
［付記１５]
前記選択されたフォーマットは、前記設定ファイルにおいて定義された複数のフォーマットから選択される、付記１４に記載のシステム。
［付記１６]
前記マルチステージデータスニッファは、ソースデータベースからデータを抽出するとともに、前記設定ファイルにおいて定義された前記所定の一組のルールに基づいて抽出データを統合するエージェントを含むバルクデータスニッファインスタンスをインスタンス化する、付記９に記載のシステム。
［付記１７]
データを抽出するための方法であって、
コンピューティングプラットフォーム上で実行されるマルチステージデータスニッファが、複数のマルチステージデータスニッファインスタンスを並列に実行するステップを含み、各マルチステージデータスニッファインスタンスは、
所定の場所から抽出された所与のファイルを、前記所与のファイルの選択されたフォーマットを定義する設定ファイルに基づいて、一組のデータフィールド内の必要なデータフィールドおよび任意選択のデータフィールドに関してスキャンするステップと、
前記選択されたフォーマットに関する前記一組のデータフィールド内の各データフィールド内の値を検証して、前記一組のデータフィールド内の値の有効性を判定するステップと、
前記所与のファイルの複数のフィールド内のデータを抽出するステップと、
前記設定ファイルにおいて定義された所定の一組のルールに基づいて前記データを統合するステップと、
統合されたデータを特徴付けるデータマートデータベースにデータを出力するステップと、を含むサブメソッドを実行する、方法。
［付記１８]
前記データマートデータベースのコンテンツに基づいて、ダッシュボードおよび／またはチャートを生成するステップをさらに含む、付記１７に記載の方法。
［付記１９]
前記複数のマルチステージデータスニッファインスタンスと並列に、ソースデータベースから抽出されたデータを用いて前記データマートデータベースを拡張するバルクデータスニッファインスタンスを実行するステップをさらに含む、付記１７に記載の方法。
［付記２０]
各サブメソッドに関して前記選択されたフォーマットが、個々の所与のファイルのファイル名に基づいて選択される、付記１７に記載の方法。

Claims (20)

1. マルチステージデータスニッファインスタンスを備える機械実行可能命令を有する非一時的機械可読媒体であって、前記マルチステージデータスニッファインスタンスは、
   所与のファイルの選択されたフォーマットに関する設定ファイルに基づいて、前記所与のファイルを一組のデータフィールドに関してスキャンする第１ステージと、
   前記選択されたフォーマットに関する前記一組のデータフィールド内の各データフィールド内の値を評価して、前記一組のデータフィールド内の値の有効性を判定する第２ステージと、
   前記所与のファイルの前記一組のデータフィールド内のデータを抽出し、前記設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合し、統合されたデータを特徴付けるデータマートデータベースにデータを出力する第３ステージと、を含む、非一時的機械可読媒体。
2. 前記データマートデータベース内のコンテンツに基づいてダッシュボードおよび／またはチャートを生成するグラフィカルユーザインタフェース（ＧＵＩ）ジェネレータをさらに備える、請求項１に記載の非一時的機械可読媒体。
3. 前記マルチステージデータスニッファインスタンスの前記第２ステージは、前記一組のデータフィールド内の少なくとも１つのデータフィールドが欠落していることを検出したことに応答してエラーメッセージを生成する、請求項１に記載の非一時的機械可読媒体。
4. 前記エラーメッセージは、電子メール、プッシュ通知、およびショートメッセージサービス（ＳＭＳ）メッセージのうちの１つまたは複数を介した連絡先への通知において提供される、請求項３に記載の非一時的機械可読媒体。
5. 前記マルチステージデータスニッファインスタンスは、前記所与のファイルのファイル名に基づいて、所定の場所における前記所与のファイルに関する前記選択されたフォーマットを識別するマルチステージデータスニッファのコンポーネントである、請求項１に記載の非一時的機械可読媒体。
6. 前記所定の場所は、前記設定ファイルに基づく、請求項５に記載の非一時的機械可読媒体。
7. 前記選択されたフォーマットは、前記設定ファイルにおいて定義された複数のフォーマットから選択される、請求項５に記載の非一時的機械可読媒体。
8. 前記マルチステージデータスニッファインスタンスは、バルクデータスニッファインスタンスをインスタンス化するマルチステージデータスニッファのコンポーネントであり、前記バルクデータスニッファインスタンスは、ソースデータベースからデータを抽出し、前記設定ファイルにおいて定義された前記所定の一組のルールに基づいて抽出データを統合するエージェントを含む、請求項１に記載の非一時的機械可読媒体。
9. データを抽出するためのシステムであって、
   機械実行可能命令を有する非一時的メモリと、
   前記非一時的メモリにアクセスし、前記機械実行可能命令を実行するための処理ユニットと、を備え、前記機械実行可能命令は、複数のマルチステージデータスニッファインスタンスを並列に実行するマルチステージデータスニッファを備え、各マルチステージデータスニッファインスタンスは、
   所定の場所から抽出された所与のファイルを、前記所与のファイルの選択されたフォーマットを定義する設定ファイルに基づいて、一組のデータフィールド内の必要なデータフィールドおよび任意選択のデータフィールドに関してスキャンする第１ステージと、
   前記選択されたフォーマットに関する前記一組のデータフィールド内の各データフィールド内の値を評価して、前記一組のデータフィールド内の値の有効性を判定する第２ステージと、
   前記所与のファイルの複数のフィールド内のデータを抽出し、前記設定ファイルにおいて定義された所定の一組のルールに基づいてデータを統合し、統合されたデータを特徴付けるデータマートデータベースにデータを出力する第３ステージと、を含む、システム。
10. 前記データマートデータベース内のコンテンツに基づいてダッシュボードおよび／またはチャートを生成するグラフィカルユーザインタフェース（ＧＵＩ）ジェネレータをさらに備える、請求項９に記載のシステム。
11. 各マルチステージデータスニッファインスタンスの前記第２ステージは、前記一組のデータフィールド内の少なくとも１つのデータフィールドが欠落していることを検出したことに応答してエラーメッセージを生成する、請求項９に記載のシステム。
12. 前記エラーメッセージは、電子メール、プッシュ通知、およびショートメッセージサービス（ＳＭＳ）メッセージのうちの１つまたは複数を介して連絡先への通知において提供される、請求項１１に記載のシステム。
13. 前記マルチステージデータスニッファは、前記所与のファイルのファイル名に基づいて、所定の場所における前記所与のファイルに関する前記選択されたフォーマットを識別する、請求項９に記載のシステム。
14. 前記所定の場所は、前記設定ファイルに基づく、請求項１３に記載のシステム。
15. 前記選択されたフォーマットは、前記設定ファイルにおいて定義された複数のフォーマットから選択される、請求項１４に記載のシステム。
16. 前記マルチステージデータスニッファは、ソースデータベースからデータを抽出するとともに、前記設定ファイルにおいて定義された前記所定の一組のルールに基づいて抽出データを統合するエージェントを含むバルクデータスニッファインスタンスをインスタンス化する、請求項９に記載のシステム。
17. データを抽出するための方法であって、
    コンピューティングプラットフォーム上で実行されるマルチステージデータスニッファが、複数のマルチステージデータスニッファインスタンスを並列に実行するステップを含み、各マルチステージデータスニッファインスタンスは、
    所定の場所から抽出された所与のファイルを、前記所与のファイルの選択されたフォーマットを定義する設定ファイルに基づいて、一組のデータフィールド内の必要なデータフィールドおよび任意選択のデータフィールドに関してスキャンするステップと、
    前記選択されたフォーマットに関する前記一組のデータフィールド内の各データフィールド内の値を検証して、前記一組のデータフィールド内の値の有効性を判定するステップと、
    前記所与のファイルの複数のフィールド内のデータを抽出するステップと、
    前記設定ファイルにおいて定義された所定の一組のルールに基づいて前記データを統合するステップと、
    統合されたデータを特徴付けるデータマートデータベースにデータを出力するステップと、を含むサブメソッドを実行する、方法。
18. 前記データマートデータベースのコンテンツに基づいて、ダッシュボードおよび／またはチャートを生成するステップをさらに含む、請求項１７に記載の方法。
19. 前記複数のマルチステージデータスニッファインスタンスと並列に、ソースデータベースから抽出されたデータを用いて前記データマートデータベースを拡張するバルクデータスニッファインスタンスを実行するステップをさらに含む、請求項１７に記載の方法。
20. 各サブメソッドに関して前記選択されたフォーマットが、個々の所与のファイルのファイル名に基づいて選択される、請求項１７に記載の方法。

Images