JP7051108B2 - データソースシステムに不可知のファクトカテゴリパーティション化情報リポジトリ及び情報リポジトリを用いてデータを挿入及び検索するための方法 - Google Patents

データソースシステムに不可知のファクトカテゴリパーティション化情報リポジトリ及び情報リポジトリを用いてデータを挿入及び検索するための方法 Download PDF

Info

Publication number
JP7051108B2
JP7051108B2 JP2018544361A JP2018544361A JP7051108B2 JP 7051108 B2 JP7051108 B2 JP 7051108B2 JP 2018544361 A JP2018544361 A JP 2018544361A JP 2018544361 A JP2018544361 A JP 2018544361A JP 7051108 B2 JP7051108 B2 JP 7051108B2
Authority
JP
Japan
Prior art keywords
data
fact
partition
storing
dimensions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018544361A
Other languages
English (en)
Other versions
JP2019506685A (ja
Inventor
ノートナーゲル,ヴォーン
Original Assignee
クリスプ インテリジェンス プロプライエタリ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2016900704A external-priority patent/AU2016900704A0/en
Application filed by クリスプ インテリジェンス プロプライエタリ リミテッド filed Critical クリスプ インテリジェンス プロプライエタリ リミテッド
Publication of JP2019506685A publication Critical patent/JP2019506685A/ja
Application granted granted Critical
Publication of JP7051108B2 publication Critical patent/JP7051108B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Small-Scale Networks (AREA)

Description

本発明は、一般に、データウェアハウジングに関し、特に、データソースシステムに不可知の(agnostic)ファクトカテゴリパーティション化情報リポジトリ及び情報リポジトリを用いてデータを挿入及び検索するための関連する方法に関する。
データがソースシステムに固有であり、データウェアハウスがデータを同様の構造的コンテキストに格納するという点で、従来のデータウェアハウジング技術に伴う問題が存在する。
例えば、データウェアハウジングのための主な手法は、ディメンション手法及び正規化手法を含む。
ディメンション手法(Ralph Kimballにより提案されている)では、データは、普通はサブジェクトエリアにより編成される「ファクト」と、ファクトにコンテキストを与える参照情報である「ディメンション」へパーティション化される。
ディメンション手法を用いるこのような従来技術のデータウェアハウスが図1に示される。
図から分かるように、各ソースシステム21に関して、従来技術のデータディメンション・データウェアハウス26は、関連するサブジェクトエリア27を備える。
例えば、ポイント・オブ・セールシステム21のサブジェクトエリア27に関して、販売トランザクションは、注文された製品の数及び製品の支払われた価格などのファクト28へ、及び、注文日、顧客名、製品番号、注文の送り先及び請求先の位置、及び注文の受注を担当する販売員などのディメンション29へ分解することができる。
ディメンション手法の重要な利点は、データウェアハウスがユーザにとって理解及び使用するのがより容易であるという点である。また、データウェアハウスからのデータの検索は、非常に速く動作する傾向がある。ディメンション構造は、該構造が測定値/ファクトとコンテキスト/ディメンションへ分割されるので、ビジネスユーザにとって理解するのが容易である。ファクトは、組織のビジネスプロセス及び運用システムに関係しており、一方、それらの周囲のディメンションは、コンテキストを提供する。ディメンションモデルによって与えられる別の利点は、リレーショナルデータベースクエリを常には必要としないことである。したがって、このタイプのモデリング技術は、エンドユーザクエリに非常に有用である。
しかしながら、ディメンション手法の欠点は、ファクトとディメンションとの一体性を維持するためにデータウェアハウスに異なる運用システムからのデータをロードするのは複雑である点である。すべてではないがほとんどの場合に、データウェアハウスに構築及び格納されるファクトは、オペレーショナルトランザクション又はプロセスに固有であり、「サブジェクトエリア」ファクトと呼ばれる。これらのファクトは、それらのサブジェクトエリアに厳密に制約され、したがって、広範なデコンストラクションなしにはリレーショナル分析に適さない。同様に、定義されたサブジェクトエリアにわたる時間コンテキストは、しばしば異種であり、ディメンションとしての時間は、範囲が拘束(range bound)される必要があり、すべてのファクトにわたる時間の瞬間(instant in time)を容易に表さない場合があることを示す。
さらに、ディメンション手法を用いると、ディメンション手法を採用する組織がビジネスプロセスを変える場合に、「サブジェクトエリア」が新しいビジネスに合うように変化し、古いデータが陳腐化されるので、データウェアハウス構造を修正するのが難しい。加えて、データウェアハウス内の組織の複数のサブジェクトエリアを記述するのに必要とされるディメンションの数は、多くのしばしば重複したディメンションを伴って急速に拡大する複雑なスキーマ又は設計につながる。
さらに、従来技術のディメンション・データウェアハウス26の種々の異種のサブジェクトエリア27からのデータの抽出は、例えば、販売スタッフの成績の分析などの種々の目的で種々のデータを選択的に選択し関係付けるデータ「キューブ」30の生成を必要とする。キューブのセットアップ及び使用は、面倒なだけでなく、結果的に望まないデータ重複も生じることがある。
正規化手法(Bill Inmonにより提案されている)では、データウェアハウスにおけるデータは、データベース正規化ルールにある程度従って格納される。テーブルは、一般的なデータカテゴリ(例えば、顧客データ、製品データ、財務データなど)を反映するサブジェクトエリアによって一緒にグループ化される。正規化構造は、データをエンティティへ分割し、これはリレーショナルデータベースにいくつかのテーブルを作成する。
大企業に適用されるとき、正規化手法は、結果的に結合のウェブ(a web of joins)により一緒にリンクされる多くのテーブルを生じる。さらに、作成されたエンティティのそれぞれは、データベースが実装されるときに別個の物理テーブルへ変換される。
正規化手法の主な利点は、データベースへ情報を追加するのが簡単である点である。この手法の欠点は、関係するテーブルの数により、異なるソースからのデータを意味のある情報へ結合(join)することと、データのソースの及びデータウェアハウスのデータ構造の正確な理解なしに情報にアクセスすることはユーザにとって難しい場合があるという点である。
本発明は、従来技術の欠点のすべてではないが少なくともいくつかを克服する又は実質的に改善することになる静的な構成可能なデータウェアハウス構造を提供しようとする又は少なくとも持続可能な代替を提供しようとするものである。
したがって、本発明は、トランザクションデータとデータソースシステムに不可知との両方であるデータリポジトリに関する。
具体的には、図2に示されるように、本発明のデータリポジトリ8は、特定のファクトパーティション16(サブジェクトエリアではなくデータのタイプ又はカテゴリによってカテゴライズされる)と、ファクトパーティション16に関連して格納される特定のカスタマイズ可能なディメンションへ分割される。
さらに、異なるデータソースシステムから受信したデータを特定のファクトパーティション及び関連するディメンション内に格納するのに適したフォーマットへマップ/翻訳するべくデータソース固有のマッピング/プラグイン19が使用される。
このようにして、本発明のデータリポジトリは、基礎をなすファクトパーティション、既存の報告、分析プロセス、及びディメンションへの修正なしに、異なる運用システム及び他のソースシステムからのデータを受信及び共有するために用いることができる。
加えて、ビジネス固有のカスタマイゼーションが必要とされるならば、該当する共有ディメンションの1つ又は複数のデータベーステーブルにカラムを追加することにより、追加のコンテキスト情報が本発明のデータリポジトリ内に格納されてよい。
上記に定義されたリポジトリを用いると、データは、追加のファクトテーブルの包含を必要とせずに、複数のデータソースシステム(人的資源、給与支払い名簿、電子商取引、小売り、生産倉庫、在庫管理、及び他のタイプの運用システムなど)から受信されてよい。次いで、各異なる運用システムから受信したデータを、基礎をなすファクトパーティション及びディメンションに関する共通のリポジトリフォーマットへマップ/分解/パーティション化するのに、ソースシステム固有のマッピングが用いられてよい。
同様に、検索のために、データは、リポジトリ内にあるままで用いられてよく、又は代替的に、基礎をなすファクトパーティション及びディメンション内に格納されたデータを各運用システムに適したデータへマップするべく該当するソースシステム固有のマッピングを用いて「逆マップ」又は「再構築」されてよい。
したがって、本発明の実施形態は、ビジネストランザクション時のデータ転送の実行を可能にするべく、プル方法の代わりにパブリッシュ/プッシュ方法を用いることができる。
さらに、本発明のファクトパーティション化リポジトリ8は、スキーマの再設計なしにすべての新しいデータストリームを受け入れることができる。
さらに、本発明のファクトパーティション化リポジトリ8は、新しいビジネス構造が追加されるときに新しいファクトタイプを追加する必要をなくす。
さらに、本発明の方法論は、新しいデータストリームの迅速な受け入れを容易にする標準化されたロードプロセスを可能にする。
さらに、本発明のファクトパーティション化リポジトリ構造は、静的ロードプロセスを可能にし、これは、リポジトリからのデータ抽出だけが構成することを必要とし、これにより、データ入力中のステージングを回避し得ることを意味し、この場合、レコードはソースでクリーンにされる。
さらに、本発明のファクトパーティション化リポジトリは、詳細な、デコンストラクトされた、信頼性のある(ソースから直接の)データを提供し、これにより、データマート/キューブの必要をなくす。データが、PTLプロセス中にその「信頼できる情報源(source of truth)」から直接に、該当するファクトパーティション及び関連するディメンションへデコンストラクトされる際に、本発明のリポジトリ自体がそのデータマート又はキューブとなるという点で、リポジトリと分析ツールとの間にデータマート又はキューブに関する要件は存在しない。データの粒度も、「同一条件での(apples to apples)」比較を容易にし、一貫性及び信頼性をもたらす。
さらに、本発明の方法論は、リポジトリへの入力の前のソースでの汚れたレコードの拒否を可能にし、これにより、一体性の問題を除去する。
従来技術と比較して、US2010/0070421 A1(FAZAL他)(以下「D1」)は、組織の成績を管理するためのデータウェアハウスシステムを開示する。D1のデータウェアハウスシステムは、データモデルが特定の組織を表すように、複数の組織に適用可能なディメンション及び測度を表すデータを格納するためのデータモデルと、プレースホルダを設定するための構成ユニットとを備える。これは、多くの組織にわたって同じコンテキストで用いられる、ファクト構造のマルチカテゴリコレクションではない、単一のファクト定義を構成する。
しかしながら、D1は、オペレーショナルパフォーマンスを記録するための特定のデータベース構造を提供することに向けられており、したがって、報告又は分析の目的でデータの運用システムに不可知のストレージを提供する問題に向けられていない。データウェアハウスレコードは、データタイプ又はカテゴリではなく基礎にあるビジネス機能又は「サブジェクトエリア」(例えば、「販売分析」)によって明瞭に編成される。
US2009/0271345 A1(RICH他)(以下「D2」)は、トランザクションデータベースのデータの関係性を再構築することなくトランザクションデータベースのリレーショナルマッピングを用いて構築されるデータウェアハウスを開示する。最初に、アプリケーションプログラマが、オブジェクトモデルのオブジェクト、属性、及びパスを用いてファクト及びディメンションを記述するためにオブジェクトモデルを分析する。ディメンションのそれぞれは、トランザクションデータベースにおけるアイテムをデータウェアハウスにおけるディメンションレコードと相関させる識別子を有する。ファクト及びディメンションの記述は、記述ファイルに保存される。次に、データウェアハウスエンジン(DWE)が、記述ファイルにアクセスし、オブジェクトモデル、ファクト及びディメンションの記述、及びオブジェクト-リレーショナルマッピングを用いてトランザクションデータをデータウェアハウスにマップする。これは、特異のデータウェアハウジングの保持及び分析に関する単一のファクトカテゴリ定義を構成する。
しかしながら、D2は、現在のオブジェクトタイプを超える範囲を有さず、そしてまたオブジェクト定義は静的であることからトランザクションデータコンテキストの融通性をもたらすどのような能力もない単一のトランザクションタイプに関連する事実上特異の「サブジェクトエリア」であるオブジェクト定義によるソーストランザクションの特異のマッピングを挙げている。
US2010/0106747 A1(HONZAL他)(以下「D3」)は、関係する資産の組に関するファクト情報及び関連情報を含むデータリポジトリの組からのディメンションデータモデルにデータマートをポピュレートすることを開示する。各資産に関するファクト及び関連を処理するべく中間データウェアハウスが生成される。中間ウェアハウスを用いて、各資産に関して入手可能な情報を十分にモデル化するべく1つ以上のデータマートがファクトテーブル、ディメンション、及び階層と共に生成される。
しかしながら、D3は、データウェアハウスリポジトリ又は同様のもの(D3で「中間データウェアハウス」として具体的に言及される)に既にあるデータに適用可能な「ステージング」リレーショナルデータベースを示す。このようなステージングは、キューブ化された形態を入力する前に起こり、1つの情報タイプにのみ関係した現在のデータウェアハウスの静的ディメンションを明瞭に表現するのに役立つ。
US2003/0233297 A1(CAMPBELL)(以下「D4」)は、税の支払いを容易にするべくファクトの詳細を生成するための税に関係するデータのトランザクションに関係するディメンションを開示する。最初に、税に関係するデータのトランザクションに関係するディメンションが、トランザクションに関係するディメンションに関する複数の属性と共に提供される。このような属性は、トランザクション識別子、トランザクションタイプ、税タイプ、顧客アカウント識別子、販売先の地理的コード、送り先の地理的コード、契約番号、購入注文番号、ベンダーアカウント識別子、及びベンダー郵便番号に基づいて決定されるトランザクションラインアイテムを含む。次に、トランザクションに関係するディメンションの属性と関連付けられる複数のエントリが受信される。次いで、トランザクションに関係するディメンションの属性の所定の組のエントリを用いて複数のファクトの詳細が生成される。その後、ファクトの詳細が出力される。
しかしながら、D4は、単一のビジネスタイプ又はサブジェクトエリア(課税)を表し、他のビジネスタイプ(例えば、マイニング及び製造)からのトランザクションを格納するための関連する能力を有さず、また、このようなアイテムの抵当又はクレジット契約はこのモデルに相応しくないので金融サービスでの単一の課税モデルを超えるコンテキスト能力はない。
US2008/0120129 A1(SEUBERT他)(以下「D5」)は、インターフェースを生成するのに用いられる、所与のビジネストランザクション中に用いられるデータを反映する、ビジネスオブジェクトモデルを開示する。このビジネスオブジェクトモデルは、産業、ビジネス、及びビジネストランザクション中のビジネス内の異なる部局にわたる使用に適する一貫したインターフェースを提供することにより商取引を容易にする。
しかしながら、D5のトランザクションは、サブジェクトエリアに固有であり、互いに関連を保持せず、したがって、固有のデコンストラクションなしに分析に関する内部能力を提供しない。
US2007/0239711 A1(UNNEBRINK他)(以下「D6」)は、トランザクションデータモデルと、トランザクションデータモデルにおけるオブジェクトをそれぞれ参照するビューフィールドのコレクションを含むビューとを受信することと、コレクションにおける複数のビューフィールドのうちの1つ以上を複数のデータウェアハウスオブジェクトのうちの1つ以上にマップすることと、マップされたデータウェアハウスオブジェクトを報告データモデルへグループ化することを含む、トランザクションデータモデルの報告データモデルへのマッピングを開示する。
しかしながら、D6は、(データのカテゴライゼーションではなく)そのサブジェクトエリア固有のデータのユーザの観点が、どのトランザクション分解とも対照的にビューでの再定義によってより有効にされる、正規のデータウェアハウスをはっきりと説明する。
上記から分かるように、挙げた引用文献のいずれも、データソースシステムに不可知の情報リポジトリを提供する問題に向けられていない。
さらに、挙げた引用文献のいずれも、特定のファクトパーティションタイプ(生成的なサブジェクトエリアではなくデータのカテゴリである)に従ってパーティション化され、種々の共有ディメンションに関連して格納されるファクトパーティションを備えるリポジトリ構造を含む本発明の実施形態の特徴を教示又は提案していない。
さらに、挙げた引用文献のいずれも、複数のデータソースシステムからのデータを特定のファクトパーティション及び関連する共有ディメンションのデータ構造に関して適用可能な共通のフォーマットへ翻訳することができるようにするべくデータソースシステム固有のデータマッピングに従って受信したデータを翻訳/マップ/パーティション化するためのデータマッパーの使用を教示又は開示していない。
次の説明から明らかとなるように、本発明の実施形態のデータソースシステムに不可知の情報リポジトリは、前述の従来技術のディメンション手法及び正規化手法とは異なる。
具体的には、本発明の実施形態のデータソースシステムに不可知の情報リポジトリは、正規化手法よりも従来技術のディメンション手法により関係していると考えられ得るが、本発明の実施形態に係るファクトは、サブジェクトエリアではなくデータカテゴリ又はタイプに従ってパーティション化されるという点で、本発明の実施形態のデータソースシステムに不可知の情報リポジトリは従来技術のディメンション手法とは本来異なる。上記の背景の項目で言及したように、従来技術のディメンションファクトは、普通は、データタイプ又はカテゴリではなくサブジェクトエリアにより編成される。
本明細書で開示される固有のデータカテゴリは、物理的世界又は論理的世界のすべてではないがほとんどの可能性のあるシナリオに関係するトランザクションデータ及び他のデータを格納することができる「普遍的に記述的な(universally descriptive)」データソースシステムに不可知の情報リポジトリを可能にし、これにより、ディメンション手法を採用する組織がビジネスプロセスを変える又は追加のデータソースシステムからのデータを導入することを望む場合にデータソースシステムに不可知の情報リポジトリを修正することが難しい従来のディメンション手法の構成の問題を克服する。
データソースシステムに不可知の情報リポジトリは、データソースシステムに不可知の情報リポジトリ内に格納されたデータの簡易化された効率的な検索におけるさらなる技術的利点をさらに与える。
さらに、オペレーティングシステムにわたるデータ構造の共通性は、クロス運用システムデータ遍在を可能にし、これにより、異なるソース及びサブジェクトエリアからのデータを意味のある情報へ結合することと、データのソースの及びデータソースシステムに不可知の情報リポジトリのデータ構造の正確な理解なしに情報にアクセスすることはユーザにとって難しい場合がある正規化手法の問題を克服する。
さらに、後述するように、データソースシステムに不可知の情報リポジトリは、固有のディメンションタイプを使用し、データソースシステムに不可知の情報リポジトリを簡易化し、結果的に簡易化された効率的なクエリの挿入及び選択などをもたらすことにより、パーティション化されたデータカテゴリ間のディメンションの共通性を備える。
したがって、上記のことを念頭に置いて、一態様によれば、データソースシステムに不可知のファクトパーティション化データ情報リポジトリシステムであって、複数のファクトパーティションと、ファクトパーティションに関連して格納された複数のディメンションであって、その複数のディメンションは、ファクトパーティションのそれぞれによって共有される、複数のディメンションと、を備える、データリポジトリと、複数のデータソースシステム固有のデータマッピングと、複数のデータソースシステムからデータを受信するためのデータレシーバと、複数のデータソースシステム固有のデータマッピングを用いてデータを複数のファクトパーティションへパーティション化するためのデータマッパーと、を備えるシステムが提供される。
複数のファクトパーティションは、イベント発生を格納するためのイベント・ファクトパーティションを含んでよい。
複数のファクトパーティションは、数量を格納するための数量ファクトパーティションを含んでよい。
複数のファクトパーティションは、マネー量を格納するためのマネー・ファクトパーティションを含んでよい。
複数のファクトパーティションは、GIS位置を格納するためのGISファクトパーティションを含んでよい。
複数のファクトパーティションは、パーセンタイル値を格納するためのパーセンタイル・ファクトパーティションを含んでよい。
複数のファクトパーティションは、参照値を格納するための参照ファクトパーティションを含んでよい。
複数のファクトパーティションは、データウェアハウス内か又は異なる位置のいずれかに格納された構造化されていないデータへのリンクを格納するための構造化されていないファクトパーティションを含んでよい。
少なくとも1つのファクトパーティション・データタイプは、少なくとも2つのファクトパーティション・データカテゴリであってよく、少なくとも2つのファクトパーティション・データタイプを格納することは、少なくとも2つのファクトパーティション・データタイプを、それぞれタイムスタンプ値を含む状態でファクトパーティションのうちの少なくとも2つに格納することを含んでよく、データをリポジトリから検索することは、ソーストランザクションを再構築するためにタイムスタンプ値を用いることにより少なくとも2つのファクトパーティション・データタイプを結合することを含んでよい。
複数のディメンションは、製品に関係するデータを格納することができる製品ディメンションを含んでよい。
複数のディメンションは、資産に関係するデータを格納することができる資産ディメンションを含んでよい。
複数のディメンションは、位置に関係するデータを格納することができる位置ディメンションを含んでよい。
複数のディメンションは、物理位置か又は論理位置のいずれかに関係するデータのうちの少なくとも1つを含んでよい。
複数のディメンションは、エンティティに関係するデータを格納することができるエンティティ・ディメンションを含んでよい。
別の態様によれば、データソースシステムに不可知のファクトカテゴリパーティション化データ情報リポジトリシステムであって、イベントを格納するためのイベント・ファクトパーティションと、数量を格納するための数量ファクトパーティションと、マネー量を格納するためのマネー・ファクトパーティションと、GIS位置を格納するためのGISファクトパーティションと、パーセンタイル値を格納するためのパーセンタイル・ファクトパーティションと、参照値を格納するための参照ファクトパーティションと、を含む、複数のファクトパーティションと、ファクトパーティションに関連して格納された複数のディメンションであって、その複数のディメンションは、ファクトパーティションのそれぞれによって共有され、その複数のディメンションは、製品に関係するデータを格納することができる製品ディメンションと、資産に関係するデータを格納することができる資産ディメンションと、位置に関係するデータを格納することができる位置ディメンションと、エンティティに関係するデータを格納することができるエンティティ・ディメンションとを含む、複数のディメンションと、複数のデータソースシステム固有のデータマッピングと、複数のデータソースシステムからデータを受信するためのデータレシーバと、複数のデータソースシステム固有のデータマッピングを用いてデータを複数のファクトパーティションへパーティション化するためのデータマッパーと、を備えるデータリポジトリを備えるシステムが提供される。
別の態様によれば、データをデータソースシステムに不可知の情報リポジトリシステム内に格納するための方法であって、前記システムは、前記データリポジトリは、ファクトパーティション・データタイプによってパーティション化される、複数のファクトパーティションと、ファクトパーティションに関連して格納された複数のディメンションであって、その複数のディメンションは、ファクトパーティションのそれぞれによって共有される、複数のディメンションと、を備えるデータリポジトリを備え、前記方法が、データを受信することと、データを少なくとも1つのファクトパーティション・データタイプへパーティション化することと、少なくとも1つのファクトパーティション・データタイプを複数のファクトパーティションのうちの少なくとも1つに格納することと、ディメンションデータを生成することと、ディメンションデータを複数のファクトパーティションのうちの少なくとも1つに関連して複数のディメンションのうちの少なくとも1つに格納することとを含む、方法が提供される。
データは、少なくとも2つのデータソースから受信されてよく、パーティション化することは、データソースによってデータをパーティション化することを含んでよい。
本発明の他の態様も開示される。
何らかの従来技術の情報が本明細書で言及される場合、このような言及は、その情報が国内の当該技術分野での共通の一般知識の一部をなすことの自認を構成するものではないことが理解される。
本発明の範囲内に入り得るあらゆる他の形態があるにもかかわらず、本開示の好ましい実施形態がここで単なる例として添付図を参照しながら説明される。
従来技術のディメンション手法のデータウェアハウスを示す図である。 一実施形態に係るデータソースシステムに不可知のリポジトリを示す図である。 一実施形態に係るデータソースシステムに不可知の情報リポジトリをさらに示す図である。 図3のデータソースシステムに不可知の情報リポジトリが製品購入イベントトランザクションに適用される例示的なシナリオを示す図である。 図3のデータソースシステムに不可知の情報リポジトリが配達トラック移動イベントトランザクションに適用される例示的なシナリオを示す図である。 一実施形態に係るデータソースシステムに不可知の情報リポジトリに関する例示的なエンティティの関係性のダイヤグラムを示す図である。
本開示に係る原理の理解を促進する目的で、ここで図面に示された実施形態への言及を行い、同じものを説明するために特定の言葉が用いられる。それにもかかわらず、開示の範囲を限定することは意図されないことは理解されるであろう。当該技術分野の当業者は本開示を入手すると通常想到するであろう本明細書で例示される発明的な特徴のどの変更及びさらなる修正、並びに本明細書で例示される開示の原理のどのさらなる用途も、本開示の範囲内にあると考えられるものとする。
データソースシステムに不可知の、ファクトタイプ、又はカテゴリパーティション化リポジトリに関係する構造、システム、及び関連する方法が開示及び説明される前に、本開示は、そのように若干変化し得るものであるから、本明細書で開示された特定のディメンション構成、プロセスステップ、及び材料に限定されないことが理解される。開示の範囲は請求項及びその均等物によってのみ制限されるので、本明細書で使用される用語は、特定の実施形態を単に説明する目的で用いられ、限定するものとなることを意図されないことも理解される。
本開示の主題を説明し、特許請求するにあたり、以下に記載の定義に従って以下の用語が用いられる。
本明細書及び付属の請求項で用いられる場合の単数形(「一」、「一つ」、及び「その」)は、文脈上他の意味に明白に規定される場合を除き複数の指示対象を含むことに留意しなければならない。
本明細書で用いられる場合の「備える」、「含む」、「包含する」、「によって特徴づけられる」という用語、及びその文法上の均等物は、さらなる挙げられていない要素又は方法ステップを除外しない包括的な又は制限のない用語である。
以下の説明では、異なる実施形態における同様の又は同じ参照番号は同じ又は類似の特徴を表すことに留意されたい。
ここで図3に移ると、データソースシステムに不可知の情報リポジトリ8を備えるシステム1が示されている。
リポジトリ8は、複数の特定のファクト-カテゴリパーティション16を備える。ファクトパーティション16は、さらに詳細に後述するように、パーティションデータタイプ(イベント、数量、マネー、パーセンタイル、位置、参照、及び構造化されていないデータリンクデータタイプなど)によってパーティション化される。
図2によりよく例示されるように、各ファクトパーティションは、ファクトカテゴリ及び関連するファクト定義/記述を備える。
さらに、リポジトリ8は、ファクトパーティション16に関連して格納される複数の共有ディメンション9を備える。
各パーティション16は、ディメンションの共通性を有してよい。言い換えれば、共有ディメンション9のそれぞれは、パーティション化されたデータタイプのそれぞれによって概して一様に共有される。
上記で言及したように、ディメンションの共通性は、リポジトリ8が有限数のテーブルにより実装され得るという点でリポジトリ8の構造を簡易化し、これにより、クエリの挿入及び選択を簡易化する。さらに、ビジネスプロセスのカスタマイゼーションが必要とされる場合、正規化手法の場合のように新しいテーブルを必要とする代わりに、追加のカラムがディメンションテーブル内で使用されてよい。
複数の共有ディメンションに関連して格納される複数の特定のファクトパーティション(種々のファクトパーティション・データカテゴリによってパーティション化される)は、システム1が本質的にソースシステムに不可知となることを可能にする。
ここで、データをリポジトリ8内に格納することは、システム1がソースシステム21からデータ20を受信することを含む。
例えば、ソースシステム21は、エンタープライズ・リソース・プランニング(ERP)、ポイント・オブ・セール(PoS)、在庫管理、ロジスティックス、又はHR、業務、会計などの異なる運用システムに属する顧客関係管理(CRM)タイプのシステムであり得る。
データをリポジトリ8内で検索及び格納する目的で、システム1は、データを検索及び処理するための種々のプラグイン19(例えば、FTPファイル、統合ミドルウェアトランザクション、又はデータファイルなど)と共に構成されてよい。
データレシーバモジュール18
プラグイン19は、種々のソースデータシステム21からデータをフェッチするように構成されたデータレシーバモジュール18を含んでよい。例えば、プラグイン19は、SAPプラントメンテナンス(SAP PM)ソースERPモジュールへのプラグインであり得る。
データレシーバモジュール18は、トランザクションイベントを実質的にリアルタイムでリスニングするエンタープライズ・サービス・バス(ESB)レシーバであり得る。代替的な実施形態では、データレシーバモジュール18は、データを定期的な間隔でフェッチ又は受信してよい。
データマッピングモジュール24及びデータソースシステム固有のデータマッピング17
プラグイン19は、受信したデータを固有のデータソースシステム21に従って種々のファクトパーティション16(及びいくつかの実施形態では共有ディメンション9)へマップするように構成された、データマッピングモジュール24をさらに含んでよい。
データマッピングモジュール24は、異なるタイプのデータソースシステム21に関して固有のファクトカテゴリ毎にデータをマップするための複数のデータソースシステム固有のデータマッピング17を使用してよい。
このようにして、異なるデータソースシステム21からのデータが、パーティション16及びディメンション9内の適切な格納のために適切なマッピング17によってそれぞれマップされる。
データマッピングは、ロードプロセスがデータベース構造9及び16に密接に結合され、ソースシステムトランザクション20との直接結合を保持せず、これにより、リポジトリをデータソースに不可知にするという点で、普通のデータウェアハウジング手法とは異なる。同様に、データソースシステムは、データウェアハウスがどのような形態にも変化することを必要とせずに、発生データの生成のために変化することができる。このリポジトリの静的な性質は、ビジネスが変化する場合であっても構造の頑健性が維持され、データが決して陳腐化されないことを保証する。この「ロード」プロセスに関するマッピングは、クライアントの情報の必要性に関してクライアントに一意のコンポーネントである。
ファクトパーティション・データカテゴリ
上記で言及したように、リポジトリ8は、固有のパーティション化データカテゴリによってパーティション化されるファクトパーティション16を使用する。
固有のファクトパーティション・データカテゴリは、潜在的にあらゆる数のデータソースシステム21からのすべてではないがほとんどの考えられるシナリオに関連してデータを格納することができるという点で、リポジトリ8に「普遍的なタイプ記述子能力」を与える。
好ましい実施形態では、ファクトパーティション16は、図3に示される場合のファクトパーティションのタイプのすべてを含む。しかしながら、或る実施形態では、リポジトリ8内に格納され得る異なるタイプのトランザクションへの制限がある可能性があるにもかかわらずである(これは固有のデータソースシステム及び関連するトランザクションにとって問題ではない場合があり得る)。
例えば、マネー・ファクトパーティション12は、マネーベースのトランザクションを取り扱わないデータソースシステム21に関して省略されてよい。
データのカテゴライゼーションは、それらの組み合わされた効果が公知のあらゆるタイプのプロセス、ビジネス活動、イベント、及びデータのタイプからほとんどなんでも参照する能力を具体化することから明確に選択される。モデルは、電子装置から世界的規模での物体の物理的位置への詳細な読取値を保持することができ、現在のタイプの拡張をもたらすことになるいくつかの要件にほとんど又は全くならない(我々の現在の知識によれば)と想像される。この選択は、すべての点で完全であるが、任意の1つのクライアントに関するファクトの異なる命名を制約せず、むしろこれはファクトパーティション16において表される情報タイプの例示となる。
ファクトパーティション16は、イベント・ファクトパーティション10を含んでよい。
イベント・ファクトパーティション10は、購入イベント、配達イベント、従業員の雇用イベント、車両の修理イベント、子供の誕生イベント、及びそれらの表現において本来特異的な他のタイプのイベントなどのイベントタイプを格納してよい。
いくつかの実施形態では、イベントデータカテゴリは、計数データカテゴリを含んでよい。
ファクトパーティション16は、数量を格納することができる数量ファクトパーティション11をさらに含んでよい。これに関して、数量ファクトパーティション11は、数値を含んでよい。
例えば、数量は、販売されたユニットの数を表してよく、したがって、整数データタイプを含む。代替的に、数量は、受け取った商品の重量を表してよく、したがって、浮動小数点データタイプを含む。
ファクトパーティション16は、マネー量を格納することができるマネー・ファクトパーティション12をさらに含んでよい。これに関して、マネー・ファクトパーティション12は、数値を含んでよい。
例えば、マネー量は、製品が$8.25で買い付けられ、$10.59で売られたことであり得る。したがって、マネーファクト・データカテゴリは、マネー量を少なくとも2桁の小数位及び潜在的にはそれ以上で格納することができる浮動小数点データタイプなどであり得る。
ファクトパーティション16は、GIS位置を格納することができるGISファクトパーティション13をさらに含んでよい。例えば、GISファクトパーティション13は、資産が現在特定の位置に存在するというファクトを格納してよい。
いくつかの実施形態では、GISファクトパーティション17データカテゴリは、緯度及び経度を表すことができるように2つの浮動小数点データタイプを含む構造データタイプを含んでよい。
ファクトパーティション16は、パーセンタイル値を格納することができるパーセンタイル・ファクトパーティション14をさらに含んでよい。
例えば、パーセンタイル・ファクトパーティション14は、付加価値税(VAT)パーセンタイル値を格納してよい。これに関して、パーセンタイル・ファクトパーティション14は、整数、浮動小数点値などの数値データタイプを格納してよい。
ファクトパーティション16は、参照値を格納することができる参照ファクトパーティション15をさらに含んでよい。
参照ファクトパーティション15は、送り状番号、部品番号などの参照を格納するために用いられる。このように、参照ファクトパーティション15は、例えば、文字列データ値と数値データ値との両方を格納することができるVarcharデータタイプを使用してよい。
ファクトパーティション16は、構造化されていないデータへのリンクを格納するために使用され得る構造化されていないデータファクト15をさらに含んでよい。例えば、法律事務所組織によって使用されるとき、構造化されていないデータは、特定の法律文書の位置を突き止めるURL又は他のリソースロケータを表してよい。
共有ディメンション9
共有ディメンション9は、ファクトパーティション16に関するコンテキストを提供するためにリポジトリ8によって使用される。
上記でさらに言及したように、共有ディメンション9は、特定のファクトカテゴリがディメンションの1つ1つとの関連を必要としない場合があるにもかかわらず、ファクトパーティション16のそれぞれに共通である。
例えば、以下でさらに詳しく説明される製品ディメンション3に関して、製品ディメンション3は、ファクトパーティション16のそれぞれによって共有されてよい。
このように、リポジトリ8は、1)1つの製品タイプが売られたこと、2)3つの製品が売られたこと、3)3つの製品が$10.59で売られたこと、4)3つの製品が特定の位置において$10.59で売られたこと、5)3つの製品が特定の位置において$10.59で(10%のVATを除いて)売られたこと、6)販売参照「SAL-13262」と共に3つの製品が特定の位置において$10.59で(10%のVATを除いて)売られたこと、及び7)特定のURLを用いてアクセス可能なPDF領収書を有する販売参照「SAL-13262」と共に3つの製品が特定の位置において$10.59(10%のVATを除いて)売られたことのいずれかを記録してよい。
また、好ましい実施形態では、データソースシステムに不可知の情報リポジトリ8は、図3に示すように共有ディメンション9のすべてを備える。しかしながら、いくつかの実施形態では、リポジトリ8に格納され得る異なるタイプのトランザクションへの制限がおそらくあるにもかかわらず、リポジトリ8のサブセットコンテキスト記述能力である、共有ディメンション9のサブセットが採用され得る(これは、或るタイプのトランザクションにおいてのみ取り扱う或るタイプのデータソースシステム21にとって問題ではない場合があり得る)。
共有ディメンション9は、製品ディメンション3を含んでよい。製品ディメンション3は、商業製品(及びサービス)に関係する情報、例えば、鉄鉱石の品位、建築要素のタイプ(コンクリート、補強筋など)、銀行勘定タイプ、小売りアイテム、車、学校、医療処置、又はファクトパーティションのいずれかに関する任意の集合的なグループの関連付けを格納してよい。
共有ディメンション9は、種々の資産、例えば、ロジスティックスシステムからの車両、クレーン、クラッシャ、X線マシン、腕時計、携帯電話、プロジェクタ、又はラップトップ、本質において、関連する事業価値又は個人的価値を有する又は有さない場合がある任意の有形アイテムに関係するデータ、を格納するように構成された資産ディメンション3をさらに含んでよい。
共有ディメンション9は、物理的情報又は論理的情報などの位置情報を格納するための位置ディメンション23をさらに含んでよい。
共有ディメンション9は、種々のエンティティに関連して情報を格納するためのエンティティ・ディメンション5をさらに含んでよい。エンティティ・ディメンション5は、人及び会社に固有の情報を格納するための人及び会社情報(図示せず)をさらに含んでよい。
共有ディメンション9は、さらなる未だ明示されていないディメンションタイプを格納するための追加のディメンション6及び7をさらに含んでよい。これらは、組織の必要性ごとに固有となり、特定の要件に関するモデルの一意の拡張を可能にするべく設計に含まれる。
一意のタイムスタンプデータ
ここで、一実施形態では、種々のデータが、一意のタイムスタンプを用いてファクトパーティション16において関係付けられる。
したがって、ファクトパーティション16における各エントリに関して、一意のタイムスタンプデータも格納される。
したがって、その後、ファクトパーティション16からデータを検索するために、もし必要とされるときには該当するデータを再び組み立てるのに一意のタイムスタンプデータを用いる結合選択クエリが採用される。
リポジトリ8が実装されるならば、各ファクトパーティション16内の特定のタイムスタンプデータカラムは、一意のものとして構成されてよい。
追加の組織固有のディメンション
ここで、ビジネス固有のカスタマイゼーションのために追加のサブジェクト固有のテーブルが追加される従来技術の正規化されたデータベース手法とは対照的に、該当する共有ディメンション9のデータベーステーブルにカラム/属性を追加することにより追加のコンテキスト情報がリポジトリ8内に格納されてよい。
実施例1-製品の販売
ここで図4に移ると、製品購入イベントトランザクションを格納するためのリポジトリ8の例示的な用途が示されている。
製品購入イベントトランザクションは、データレシーバ18を用いて他の電子商取引トランザクションデータ内で定期的な間隔で検索され得る電子商取引データソースシステム21によって最初に記録されてよい。
その後、データマッピング24が、受信したトランザクションデータ20を該当するファクトパーティション16へマップし、これを、データソースシステム固有のデータマッピング17を使用して共有ディメンション9にリンクする。
提供される例示的な実施形態では、ファクトパーティション・データカテゴリへのデータのパーティション化が実線で示される。
一意のカテゴリディメンションが破線で示され、追加の組織固有のディメンションが点線で示される。
具体的には、ウィジェットを買う顧客は、ソースシステム21により購入イベントトランザクションへ振り分けられ(resolved)、次いで、購入イベントを表すイベントパーティションテーブル10へマップされ、ウィジェットを識別する製品共有ディメンションテーブル3へリンクされてよい。
その後、注文数量が数量ファクトパーティション11内に格納されてよく、単価がマネー・ファクトパーティション12に格納されてよく、10%の税がパーセンタイル・ファクトパーティション14に格納されてよい。
図から分かるように、データ自体から得られる又は例えばシステムクロックから生成される場合がある一意のタイムスタンプが、結合選択文を使用してそこからその後に検索することを可能にするべく、各ファクトパーティション内に格納される。
したがって、イベント・ファクトパーティション10内に格納される特定の購入イベントに関して、関連する注文数量、単価、及び課税額が、同じタイムスタンプを使用する数量ファクトパーティション11、マネー・ファクトパーティション12、及びパーセンタイル・ファクトパーティション14から検索され得る。
実施例2-移動するトラック
ここで図5に移ると、配達トラック移動イベントを格納するためのリポジトリ8のまたさらに例示的な用途が示されている。
具体的には、例示的な用途では、配達トラックが、第1の時間での第1の位置(緯度座標及び経度座標を含む)から第2の時間での第2の位置に移動する。
図から分かるように、データは、イベント・ファクトパーティション10及びGISファクトパーティション13へパーティション化されてよい。
さらに、車両ID、荷物番号、及び顧客番号が、外部キーによってイベント・ファクトパーティション10及びGISファクトパーティション13にリンクされる共有ディメンション9のテーブルにおいて追加のカラムを構成することにより、追加の組織固有のコンテキストとして格納されてよい。
一意のタイムスタンプデータが、イベント・ファクトパーティション10及びGISファクトパーティション10に対応するテーブル内に格納されることに加えて、第1及び第2の位置に対応する第1及び第2のタイムスタンプも、GISファクトパーティション13内に格納される。
上記の2つの例から分かるように、製品購入イベントトランザクションと移動イベントトランザクションとの両方を記録するのに同じファクトパーティション16が使用され、組織固有のカスタマイゼーションが必要とされる場合、ファクトパーティション16及び共有ディメンション9の基礎をなすテーブル構造を操作する必要性を回避するべく、共有ディメンション9のテーブルに追加のカラムが追加されてよい。
例示的なエンティティの関係性のダイヤグラム
図6に移ると、リポジトリ8の例示的なエンティティの関係性のダイヤグラムが示されており、表されるエンティティの関係性に関して、1は、単一のレコードを表し、0..1は、ゼロ又は1つのレコードを表し、1..1は、1対1の関係性を表し、1..は、一対多の関係性を表す。
さらに、カテゴライズされたファクトパーティションカテゴリが、それぞれの関連するトランザクションを有する丸みのある角部をもつ実線矩形/記述的ファクトを有する角張った角部をもつ破線矩形で示される。
角張った角部をもつ点線矩形で関連するトランザクションファクト16に関連して示される共有ディメンション9も示されている。
さらに、ディメンションの強化版(enrichment)が、角張った縁部をもつ実線矩形で示され、例えば、エンティティ・ディメンション5は、潜在的に人エンティティ又は会社エンティティを表す関連するエンティティタイプを有するものとして示される。
さらに、結ぶラインは、外部キーの関係性を表し、矢印付きの隣接するラインは、親と子の関係性を表す。
例示的な技術的シナリオ
特定の実施形態に係るデータソースシステムに不可知のデータリポジトリの特徴及び機能をさらに例示するための例示的な技術的シナリオがここで提供される。
以下に提供される特定の実施形態は、主として例証する目的で提供され、したがって、固有の技術的実装の詳細を含むことに留意されたい。
しかしながら、本発明の実施形態は、これらの特定の技術的実装の詳細に限定されるものではなく、本発明の目的に適った範囲及び精神内でこれに修正がなされ得る。
以下の例示的な技術的シナリオは、Microsoft .Netプログラミング言語及びXML構造を用いてMicrosoft SQL(登録商標)2016データベース上で実装される。これは、任意のリレーショナルデータベース(例えば、Oracle、DB2、MySql)又はColumnarデータベース(例えば、NoSQL、MongoDB)、任意のプログラミング言語(例えば、Python、Java(登録商標)など)及び任意のメッセージ構造技術(例えば、Html、JSONなど)を用いて実装され得る。
例示的な技術的シナリオ-開発努力1
最初に、ビジネスユーザ「X」は、ポイント・オブ・セールデータをビジネス分析フレキシブルリポジトリに包含することを望む。技術的には、ポイント・オブ・セールソリューションは、価格、製品、数量、及びいくつかの場合には報酬に基づく顧客の顧客情報への固有のトランザクション参照を有するOracleベースのトランザクションソリューションである。SQLデータベーステーブルは、ディメンション9を表すように設計及び構築される。
例示的な技術的シナリオ-開発努力1-クライアントフレームワークの開発
製品は、製品ディメンションテーブルに合わせた明示的に設計されたXML構造からのProduct load.Netプログラムを介してロードされる。製品マスターソースは、スプレッドシートにおけるクライアントに関する製品の完全なリストを提供し、これは、開始される製品XML構造及び製品ディメンションロードへパースされる。
位置は、位置ディメンションテーブルに合わせた明示的に設計されたXML構造からのLocation load.Netプログラムを介してロードされる。位置マスターソースは、クライアントスプレッドシートにおけるクライアントとの関連性のある論理的と物理的との両方の位置の完全なリスト(店(Outlet)、課(Division)、部(Department)、建物(Building))を提供し、これは、開始される位置XML及び位置ディメンションロードへパースされる。
エンティティは、エンティティ・ディメンションテーブルに合わせた明示的に設計されたXML構造からのEntity load.Netプログラムを介してロードされる。エンティティマスターソースは、クライアントスプレッドシートにおける報酬プログラムファイルからのクライアントとの関連性のある顧客の完全なリストを提供し、これは、開始されるエンティティXML及びエンティティ・ディメンションロードへパースされる。
ファクトパーティションテーブルは、ロードされる場合の作成されたファクトカテゴリとディメンションとの間の外部キー制約を通じて参照の一体性をもって定義される。
例示的な技術的シナリオ-開発努力1-一次成果物の開発
ソースデータベースは、オペレーショナルデータベースにおける300を超えるテーブルを有する第3正規形に正規化されたデータベースである。データベーストリガは、カスタムビルトの格納された手順を開始するべく一次トランザクションテーブル上でOracleデータベースへ構築される。カスタムの格納された手順19は、以下のようにユーザの文書化された要件に基づいて複数のXMLレコードを作成する:
a.製品(製品ディメンション3)、販売トランザクション顧客(エンティティ・ディメンション5)、トランザクションの日時(タイムスタンプ)、及び小売店を表す位置レコード(位置ディメンション23)へのフルキー値ペア参照を有するXMLフォーマットの「販売」イベント・パーティション・ファクト、
b.製品(製品ディメンション3)、販売トランザクションにおける製品の数量(数量ファクト11)、トランザクションの日時(タイムスタンプ)、販売トランザクション顧客(製品ディメンション3)、及び小売店を表す位置レコード(位置ディメンション23)へのフルキー値ペア参照を有するXMLフォーマットの「販売」数量パーティションファクト、
c.製品(製品ディメンション3)、販売トランザクションにおける製品(すなわち、ラインアイテム)を表すトランザクションのマネー値(マネーファクト12)、トランザクションの日時(タイムスタンプ)、販売トランザクション顧客(エンティティ・ディメンション5)、及び小売店を表す位置レコード(位置ディメンション23)へのフルキー値ペア参照を有するXMLフォーマットの「販売」マネーパーティションファクト。
上記のレコードは、ディメンションテーブル「イベントタイプ」、「数量タイプ」、及び「マネータイプ」におけるファクトタイプビジネスキーを示すべく「販売」の特定の命名標準を有し、このビジネスキーは、それらのそれぞれのファクトカテゴリ内のウェアハウスにレコードを適正にタイプするべくロードプロセスによって用いられる。
作成されると、これらのレコードは、指定されたディレクトリ位置へ「パブリッシュされ」、そこでファイルリスナは、受信したレコードごとに設計されたロードプロセス16のうちの1つを開始することになる。これらのロードプロセスは、作成されたXMLファイルを使用し、コンテキスト(すなわち、製品、顧客、位置など)のSQL一意IDを取得し、ディメンションテーブル9から検索される一意のキーを用いてSQL挿入文の対象となるファクトレコードを構築する.Netプログラムである。「販売」タイプに関する定義された最低限必要なディメンション関連付けが欠落している又はそのディメンションキーがまだロードされていない任意のレコードがデータベースにおけるパーキングロットテーブルに入れられ、不成功のレコードのサポートスタッフに警告するべく通知が送出される。これらは、レコードの不成功及び理由ごとに特定の顧客により定義されたプロセスによって対処される。
挿入されると、クライアントは、レポート又はダッシュボード/グラフィカルフォーマットのいずれかの格納されるデータを表面化するのにMicroStrategy Business Intelligenceマイニングツールを用いる。
例示的な技術的シナリオ-開発努力2
ビジネスユーザ「X」は、次いで、フレキシブルリポジトリに「製品のコスト」を作製するべく会計ソースシステムからのデータを追加することに決定する。レコードの金融システムは、レコードのシステムからの金融トランザクション及び他の詳細の抽出のためのWebサービスAPIインターフェースを有するクラウドベースのMYOBソリューションである。
クラウドベースのデータベースへの直接のアクセスは存在しないので、「調達」情報の検索のためのWebサービスAPIは、.Netで書かれたスケジュールされたプログラムから呼び出される。プログラムは、毎時に実行し、最後の呼び出しのタイムスタンプをもつMYOBクラウドにおける対象APIを非同期的に呼び出し、次いで、APIは、このクライアントに関するこの目的のためにタイムスタンプパラメータが事前に定義されたディレクトリ位置にJSONフォーマットで提供されるので、金融システムに記録されたすべての購入を戻す。
ファイルリスナは、この例では出力ファイルの到着によりトリガされ(他で見つかる何らかのレコードが存在する場合は何もトリガされない)、これは次に、以下のように「購入」情報を複数のレコードへマップする「調達マッピング」.Netプログラムを開始する:
a.製品(製品ディメンション3)、購入トランザクション供給者(エンティティ・ディメンション5)、トランザクションの日時、及び小売店を表す位置レコード(位置ディメンション23)へのフルキー値ペア参照を有するXMLフォーマットの「購入」イベント・パーティション・ファクト-注:このXML構造は、上記の開発努力1で開発された「販売」イベントパーティションと同じであり、
b.製品(製品ディメンション3)、購入トランザクションにおける製品の数量(数量ファクト11)、トランザクションの日時(タイムスタンプ)、購入トランザクション供給者(ディメンション5)、及び小売店を表す位置レコード(位置ディメンション23)へのフルキー値ペア参照を有するXMLフォーマットの「購入」数量パーティションファクト-注:このXML構造は、上記の開発努力1で開発された「販売」数量パーティションと同じであり、
c.製品(製品ディメンション3)、製品を表す購入トランザクションのマネー値(マネーファクト12)、及び購入トランザクション供給者(エンティティ・ディメンション5)、トランザクションの日時(タイムスタンプ)、及び小売店を表す位置レコード(位置ディメンション23)へのフルキー値ペア参照を有するXMLフォーマットの「購入」マネーパーティションファクト-注:このXML構造は、上記の開発努力1で開発された「販売」マネーパーティションと同じである。
上記のレコードは、ディメンションテーブル「イベントタイプ」、「数量タイプ」、及び「マネータイプ」におけるファクトタイプビジネスキーを示すべく「購入」の特定の命名標準を有する。このビジネスキーは、それらのそれぞれのカテゴリ内のウェアハウスにレコードを適正にタイプするべくロードプロセスによって用いられることになる。
作成されると、これらのレコードは、指定されたディレクトリ位置へ「パブリッシュされ」、そこでファイルリスナは、受信したレコードごとに設計されたロードプロセス16のうちの1つを開始することになる。これらのロードプロセスは、上記の開発努力1の一部として設計及び構築された同じ.Netロードモジュールであり、したがって正確に同じく動作する。
挿入されると、クライアントは、レポート又はダッシュボード/グラフィカルフォーマットのいずれかの格納されるデータを表面化するのにMicroStrategy Business Intelligenceマイニングツールを用いる。ここで、より大きい分析及び報告の汎用性を可能にする同じ構造へロードされる2つのトランザクションタイプが存在することに注目されたい。
例示的な技術的シナリオ-開発努力3
ビジネスユーザ「X」は、次いで、フレキシブルリポジトリで入手可能な職員の詳細を作製するべく人的資源(「HR」)ソースシステムからのデータを追加することに決定する。レコードのHRシステムは、Windows(登録商標)Formsアプリケーションフロントエンドの背後にあるSQLサーバデータベース技術を用いるオンプレミスのインストールされたソリューションである。ソースシステムにおける最後に更新されたタイムスタンプに基づいてシステムからの各人に関する出力レコードを作成するべくカスタムHRソースシステムの格納された手順が構築される。プログラムは、人的資源データを抽出し、これを既存の組織エンティティ・ディメンションXML構造へマップするSQLのスケジュールされたタスクとして毎時に実行する。所与の名前、姓、及び生年月日上の.Netマッチングプログラムが、重複が不注意で作成されないことを保証するべく既存のEntity dimension load.Netプログラムに追加される。修正されたエンティティXML構造(最初のフレームワーク定義に従業員IDが追加された)における抽出されたデータがXML構造へマップされ、「挿入」SQL命令上の重複をチェックした後で、追加された更新チェックに従ってレコードが「作成」、「更新」又は「削除」される(論理レコードは無効化のみ)。
開発努力1での「販売」プロセスに関する.Netプログラム及びXMLが従業員に関連する「スタッフナンバー」をもつように更新され、抽出する格納された手順は、販売員の従業員IDを提供する。以下の更新が行われる:
a.該当する「販売」パーティションファクトが、1つ1つのファクトタイプパーティションに関するエンティティへの第2の接続を可能にするべく「販売員」識別子をもつように強化される。
例示的な技術的シナリオ-開発努力4
ビジネスユーザ「X」は、次いで、フレキシブルリポジトリに分析のために利用可能な「職員の生産性」を作製するべく人的資源ソースシステムからの出勤データを追加することに決定する。カスタムHRソースシステムの格納された手順が、パラメータが提供されるときに日々の各従業員からの各タイムシートエントリに関する出力レコードを作成するべくタイムシートインジケータパラメータをもつように強化される。プログラムは、人的資源タイムシートデータを抽出し、これを指定されたファイル位置における各シフトの開始及びシフトの終了に関する既存の組織エンティティ・ディメンションXML構造へマップするSQLのスケジュールされたタスクとして日々実行する。ファイルリスナは、この例では出力ファイルの到着によりトリガされる(他で見つかる何らかのレコードが存在する場合は日曜日に何もトリガされない)、これは次に、以下のように「タイムシート」情報を複数のレコードへマップする「タイムシートマッピング」.Netプログラムを開始する:
a.従業員エンティティ(エンティティ・ディメンション5)、トランザクションの日時(タイムスタンプ)、及び小売店を表す位置レコード(位置ディメンション23)へのフルキー値ペア参照を有するXMLフォーマットの「ShiftStart」イベント・パーティション・ファクト-注:同じく、このXML構造は、上記の開発努力1で開発されたイベントパーティションと同じであり、
b.従業員エンティティ(エンティティ・ディメンション5)、トランザクションの日時(タイムスタンプ)、及び小売店を表す位置レコード(位置ディメンション23)へのフルキー値ペア参照を有するXMLフォーマットの「ShiftEnd」イベント・パーティション・ファクト-注:同じく、このXML構造は、上記の開発努力1で開発されたイベントパーティションと同じである。
上記のレコードは、ディメンションテーブル「イベントタイプ」におけるファクトタイプビジネスキーを示すべく「ShiftStart」及び「ShiftEnd」の特定の命名標準を有し、このビジネスキーは、イベント・パーティション・ファクトカテゴリ内のウェアハウスにレコードを適正にタイプするべくロードプロセスによって用いられることになる。作成されると、これらのレコードは、指定されたディレクトリ位置へ「パブリッシュされ」、そこでファイルリスナは、受信したレコードごとに単一のイベントロードプロセス10を開始することになる。これらのロードプロセスは、上記の開発努力1の一部として設計及び構築された同じ.Netロードモジュールであり、したがって、正確に同じく動作する。
挿入されると、クライアントは、レポート又はダッシュボード/グラフィカルフォーマットのいずれかの格納されるデータを表面化するのにMicroStrategy Business Intelligenceマイニングツールを用いる。ここで、より大きい分析及び報告の汎用性を可能にする同じリポジトリ構造にロードされる4つのタイプが存在することに注目されたい。
解釈
実施形態:
本明細書の全体を通して、「1つの実施形態」又は「一実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造体、又は特色が本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書の全体にわたる種々の場所での「一実施形態では「1つの実施形態では」又は「一実施形態では」という文言の出現は、必ずしも同じ実施形態に言及するものではないが、同じ実施形態に言及する場合もある。さらに、特定の特徴、構造体、又は特色は、本開示から当業者には分かるように任意の適切な方法で1つ以上の実施形態において組み合わされてもよい。
同様に、本発明の例示的な実施形態の上記の説明では、本発明の種々の特徴は、開示を合理化し、種々の発明的な態様のうちの1つ以上の理解を助ける目的で、時には、単一の実施形態、図面、又はその説明において一緒にグループ化されることが理解されるであろう。この開示の方法は、しかしながら、特許請求される発明が各請求項で明確に列挙されるよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、以下の請求項が反映する場合の発明的な態様は、単一の上記の開示された実施形態のすべてよりも少ない特徴にある。したがって、「発明を実施するための形態」に後続する請求項は、この「発明を実施するための形態」にここで明確に組み込まれており、各請求項は、この発明の別個の実施形態としてそれ自身で独立している。
さらに、本明細書に記載のいくつかの実施形態は、いくつかの、しかし他の実施形態に含まれる他の特徴ではない特徴を含むが、当業者によって理解されるように、異なる実施形態の特徴の組み合わせが本発明の範囲内にあって、異なる実施形態を形成することを意図される。例えば、以下の請求項では、特許請求される実施形態のいずれかを任意の組み合わせで用いることができる。
対象の異なる事例
本明細書で用いられる場合の、他に規定されない限り、共通の対象を説明するための序数詞「第1の」、「第2の」、「第3の」などの使用は、同様の対象の異なる事例に言及することを単に表しており、そのように説明される対象が、一時的、空間的、格付け、又は任意の他の様態のいずれかの所与の順序でなければならないことを表すことは意図されない。
具体的な詳細
本明細書で提供される説明では、多くの具体的な詳細が記載される。しかしながら、本発明の実施形態はこれらの具体的な詳細なしに実施されてもよいことが理解される。他の場合には、周知の方法、構造体、及び技術は、この説明の理解を妨げないようにするために詳細に示されていない。
用語
図面に例示される本発明の好ましい実施形態を説明するにあたり、明瞭にするために具体的な用語が使用されることになる。しかしながら、本発明は、そのように選択された特定の用語に限定されることを意図されず、それぞれの具体的な用語は、同様の技術的目的を達成するために同様の様態で動作するすべての技術的均等物を含むことが理解される。「前方」、「後方」、「半径方向に」、「周方向に」、「上方に」、「下方に」などの用語は、基準点を提供するのに便利な言葉として用いられ、限定する用語として解釈されるべきではない。
備える及び含む
以下の請求項では、及び本発明の上記の説明では、表現言語又は必要な含意に起因して文脈が他を必要とする場合を除いて、「備え」という用語、若しくは「備えて」又は「備える」などの変形は、包括的な意味で、すなわち提示される特徴の存在を明記するが本発明の種々の実施形態でのさらなる特徴の存在又は追加を除外しないように用いられる。
本明細書で用いられる場合の、含む又は含み又は含んでという用語のいずれも開放型用語であり、これはまた、その用語に従う少なくともいくつかの要素/特徴を含むが他の特徴を除外しないことを意味する。したがって、含むは、備えると同じ意味である。
発明の範囲
したがって、本発明の好ましい実施形態と考えられるものが説明されているが、本発明の精神から逸脱することなく他の及びさらなる修正がなされてもよく、本発明の範囲内に入るすべてのこうした変化及び修正を特許請求することが意図されることを当業者は認識するであろう。例えば、上記で与えられるどのような方式も、用いられ得る手順の単なる代表である。機能は、ブロック図から追加又は削除されてもよく、動作は、機能ブロック間で置き換えられてもよい。ステップは、本発明の範囲内で説明される方法に追加又は削除されてもよい。
本発明は具体例を参照して説明されているが、本発明は多くの他の形態で具体化されてもよいことが当業者には分かるであろう。
説明した構成は、データウェアハウジング産業に利用可能であることが上記から明らかである。

Claims (20)

  1. ァクトパーティション化データ情報リポジトリシステムであって、
    データリポジトリであって、
    複数のファクトパーティションと、
    前記ファクトパーティションに関連して格納された複数のディメンションであって、前記複数のディメンションは、前記ファクトパーティションのうちの1つ以上によって共有される、複数のディメンションと、
    を備える、データリポジトリと、
    複数のデータソースシステム固有のデータマッピングと、
    前記複数のデータソースシステムからデータを受信するためのデータレシーバと、
    前記複数のデータソースシステム固有のデータマッピングを用いてデータをデータカテゴリ又はタイプに従って複数のファクトパーティションへパーティション化するためのデータマッパーと、
    を備える、システム。
  2. 前記複数のファクトパーティションが、イベント発生を格納するためのイベント・ファクトパーティションを含む、請求項1に記載のシステム。
  3. 前記複数のファクトパーティションが、数量を格納するための数量ファクトパーティションを含む、請求項1又は2に記載のシステム。
  4. 前記複数のファクトパーティションが、マネー量を格納するためのマネー・ファクトパーティションを含む、請求項1乃至3のいずれか一項に記載のシステム。
  5. 前記複数のファクトパーティションが、GIS位置を格納するためのGISファクトパーティションを含む、請求項1乃至4のいずれか一項に記載のシステム。
  6. 前記複数のファクトパーティションが、パーセンタイル値を格納するためのパーセンタイル・ファクトパーティションを含む、請求項1乃至5のいずれか一項に記載のシステム。
  7. 前記複数のファクトパーティションが、参照値を格納するための参照ファクトパーティションを含む、請求項1乃至6のいずれか一項に記載のシステム。
  8. 前記複数のファクトパーティションが、データウェアハウス内か又は異なる位置のいずれかに格納された構造化されていないデータへのリンクを格納するための構造化されていないファクトパーティションを含む、請求項1乃至7のいずれか一項に記載のシステム。
  9. 前記複数のファクトパーティションの少なくとも1つのファクトパーティション・データタイプが、少なくとも2つのファクトパーティション・データタイプであり、前記少なくとも2つのファクトパーティション・データタイプを格納することが、前記少なくとも2つのファクトパーティション・データタイプを、それぞれタイムスタンプ値を含む状態で前記ファクトパーティションのうちの少なくとも2つに格納することを含み、前記データをリポジトリから検索することが、ソーストランザクションを再構築するためにタイムスタンプ値を用いることにより前記少なくとも2つのファクトパーティション・データタイプを結合することを含む、請求項1乃至8のいずれか一項に記載のシステム。
  10. 前記複数のディメンションが、製品に関係するデータを格納することができる製品ディメンションを含む、請求項1乃至9のいずれか一項に記載のシステム。
  11. 前記複数のディメンションが、資産に関係するデータを格納することができる資産ディメンションを含む、請求項1乃至10のいずれか一項に記載のシステム。
  12. 前記複数のディメンションが、位置に関係するデータを格納することができる位置ディメンションを含む、請求項1乃至11のいずれか一項に記載のシステム。
  13. 前記位置に関係するデータが、物理位置か又は論理位置のいずれかに関係するデータのうちの少なくとも1つを含む、請求項12に記載のシステム。
  14. 前記複数のディメンションが、エンティティに関係するデータを格納することができるエンティティ・ディメンションを含む、請求項1乃至13のいずれか一項に記載のシステム。
  15. ァクトカテゴリパーティション化データ情報リポジトリシステムであって、
    データリポジトリであって、
    複数のファクトパーティションであって、
    イベントを格納するためのイベント・ファクトパーティションと、
    数量を格納するための数量ファクトパーティションと、
    マネー量を格納するためのマネー・ファクトパーティションと、
    GIS位置を格納するためのGISファクトパーティションと、
    パーセンタイル値を格納するためのパーセンタイル・ファクトパーティションと、
    参照値を格納するための参照ファクトパーティションと、
    を含む、複数のファクトパーティションと、
    前記ファクトパーティションに関連して格納された複数のディメンションであって、前記複数のディメンションは、前記ファクトパーティションのそれぞれによって共有され、前記複数のディメンションは、
    製品に関係するデータを格納することができる製品ディメンションと、
    資産に関係するデータを格納することができる資産ディメンションと、
    位置に関係するデータを格納することができる位置ディメンションと、
    エンティティに関係するデータを格納することができるエンティティ・ディメンションと、
    を含む、複数のディメンションと、
    複数のデータソースシステム固有のデータマッピングと、
    複数のデータソースシステムからデータを受信するためのデータレシーバと、
    複数のデータソースシステム固有のデータマッピングを用いてデータをデータカテゴリ又はタイプに従って複数のファクトパーティションへパーティション化するためのデータマッパーと、
    を備える、データリポジトリ
    を備える、システム。
  16. 前記ファクトパーティションが、構造化されていないデータ要素位置へのリンクを格納するための構造化されていないファクトパーティションをさらに含む、請求項15に記載のシステム。
  17. データをファクトパーティション化データ情報リポジトリシステム内に格納するための方法であって、前記システムが、コンピュータソフトウェアによって指令され、前記方法が、前記システムによって自動的に行われ、
    前記システム
    ファクトパーティション・データカテゴリによってパーティション化される、複数のファクトパーティションと、
    前記ファクトパーティションに関連して格納された複数のディメンションであって、前記複数のディメンションは、前記ファクトパーティションのそれぞれによって共有される、複数のディメンションと、
    を備えるデータリポジトリを備え、
    前記方法が、
    データを受信することと、
    前記データをデータカテゴリ又はタイプに従って少なくとも1つのファクトパーティション・データカテゴリへパーティション化することと、
    前記少なくとも1つのファクトパーティション・データカテゴリを前記複数のファクトパーティションのうちの少なくとも1つに格納することと、
    ディメンションデータを生成することと、
    前記ディメンションデータを前記複数のファクトパーティションのうちの少なくとも1つに関連して前記複数のディメンションのうちの少なくとも1つに格納することと、
    を含む、方法。
  18. 前記データが、少なくとも2つのデータソースから受信され、前記パーティション化することが、前記データをデータカテゴリ又はタイプに従ってデータソースによってパーティション化することを含む、請求項17に記載の方法。
  19. 前記複数のファクトパーティションが、
    イベントを格納するためのイベント・ファクトパーティションと、
    数量を格納するための数量ファクトパーティションと、
    マネー量を格納するためのマネー・ファクトパーティションと、
    GIS位置を格納するためのGISファクトパーティションと、
    パーセンタイル値を格納するためのパーセンタイル・ファクトパーティションと、
    参照値を格納するための参照ファクトパーティションと、
    構造化されていないデータ要素位置へのリンクを格納するための構造化されていないファクトパーティションと、
    のうちの少なくとも2つを含む、請求項17に記載の方法。
  20. 前記複数のディメンションが、
    製品に関係するデータを格納することができる製品ディメンションと、
    資産に関係するデータを格納することができる資産ディメンションと、
    位置に関係するデータを格納することができる位置ディメンションと、
    エンティティに関係するデータを格納することができるエンティティ・ディメンションと、
    のうちの少なくとも1つを含む、請求項17に記載の方法。
JP2018544361A 2016-02-26 2017-02-24 データソースシステムに不可知のファクトカテゴリパーティション化情報リポジトリ及び情報リポジトリを用いてデータを挿入及び検索するための方法 Active JP7051108B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2016900704A AU2016900704A0 (en) 2016-02-26 A subject agnostic fact data type partitioned data warehouse structure and methods for the insertion and retrieval of data using the data warehouse structure
AU2016900704 2016-02-26
PCT/AU2017/050166 WO2017143405A1 (en) 2016-02-26 2017-02-24 A data source system agnostic fact category partitioned information repository and methods for the insertion and retrieval of data using the information repository

Publications (2)

Publication Number Publication Date
JP2019506685A JP2019506685A (ja) 2019-03-07
JP7051108B2 true JP7051108B2 (ja) 2022-04-11

Family

ID=59684681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018544361A Active JP7051108B2 (ja) 2016-02-26 2017-02-24 データソースシステムに不可知のファクトカテゴリパーティション化情報リポジトリ及び情報リポジトリを用いてデータを挿入及び検索するための方法

Country Status (8)

Country Link
US (1) US11372880B2 (ja)
EP (1) EP3403200A4 (ja)
JP (1) JP7051108B2 (ja)
CN (1) CN108701154B (ja)
AU (1) AU2017224831B2 (ja)
HK (1) HK1255050A1 (ja)
SG (1) SG11201806825RA (ja)
WO (1) WO2017143405A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163742B2 (en) * 2019-01-10 2021-11-02 Microsoft Technology Licensing, Llc System and method for generating in-memory tabular model databases
CN110674130A (zh) * 2019-08-30 2020-01-10 深圳鸿智云创科技有限公司 数据传输方法
CN111241121A (zh) * 2019-12-30 2020-06-05 航天信息(山东)科技有限公司 一种基于elasticsearch父子关系的海量发票数据查询方法及系统
CN111680506A (zh) * 2020-04-28 2020-09-18 北京三快在线科技有限公司 数据库表的外键映射方法、装置、电子设备和存储介质
CN112256745A (zh) * 2020-10-27 2021-01-22 武汉市钱鲸科技有限公司 一种零售数据分析方法
CN112328551A (zh) * 2020-11-09 2021-02-05 医渡云(北京)技术有限公司 医疗数据解析方法、装置、介质及电子设备
CN113297333A (zh) * 2021-03-17 2021-08-24 无锡极数宝大数据科技有限公司 数据处理方法、装置、服务器及存储介质
CN113350884B (zh) * 2021-06-04 2022-04-15 浙江斯普智能科技股份有限公司 二次精密过滤器
US12056143B2 (en) 2022-03-31 2024-08-06 Insight Direct Usa, Inc. Data processing with integrated metadata generation and storage
US12056159B2 (en) 2022-03-31 2024-08-06 Insight Direct Usa, Inc. Dimension and fact table creation using templates

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271345A1 (en) 2008-04-25 2009-10-29 Lawrence Scott Rich Method and Apparatus for Declarative Data Warehouse Definition for Object-Relational Mapped Objects
US20130117217A1 (en) 2011-11-09 2013-05-09 International Business Machines Corporation Star and snowflake schemas in extract, transform, load processes
US20130151491A1 (en) 2011-12-09 2013-06-13 Telduraogevin Sp/f Systems and methods for improving database performance
WO2014186058A1 (en) 2013-05-17 2014-11-20 Oracle International Corporation Use of projector and selector component types for etl map design
WO2016022019A1 (en) 2014-08-05 2016-02-11 Mimos Berhad Method for data input into a database

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001016850A2 (en) 1999-08-31 2001-03-08 Accenture Llp A system, method and article of manufacture for organizing and managing transaction-related tax information
US20020099563A1 (en) 2001-01-19 2002-07-25 Michael Adendorff Data warehouse system
CA2355959A1 (en) * 2001-06-27 2002-12-27 Mapfusion Corp. Spatial business intelligence system
US20050033726A1 (en) * 2003-05-19 2005-02-10 Ju Wu Apparatus and method for accessing diverse native data sources through a metadata interface
US7809678B2 (en) * 2004-07-09 2010-10-05 Microsoft Corporation Fact dimensions in multidimensional databases
US7720803B2 (en) 2006-03-28 2010-05-18 Sap Ag Mapping of a transactional data model to a reporting data model
US8924269B2 (en) 2006-05-13 2014-12-30 Sap Ag Consistent set of interfaces derived from a business object model
CA2551199A1 (en) 2006-06-23 2007-12-23 Cognos Incorporated System and method of member unique names
EP2041676A4 (en) * 2006-06-26 2012-05-16 Nielsen Co Us Llc METHOD AND DEVICES FOR IMPROVING THE DATA WAREHOUSE EFFICIENCY
US8296336B2 (en) * 2008-05-02 2012-10-23 Oracle International Corp. Techniques for efficient dataloads into partitioned tables using swap tables
US7970728B2 (en) 2008-10-23 2011-06-28 International Business Machines Corporation Dynamically building and populating data marts with data stored in repositories
US8904381B2 (en) * 2009-01-23 2014-12-02 Hewlett-Packard Development Company, L.P. User defined data partitioning (UDP)—grouping of data based on computation model
US20110295795A1 (en) * 2010-05-28 2011-12-01 Oracle International Corporation System and method for enabling extract transform and load processes in a business intelligence server
US9081875B2 (en) * 2011-12-30 2015-07-14 General Electric Company Systems and methods for organizing clinical data using models and frames
US9026562B2 (en) * 2012-10-05 2015-05-05 Hazeltree Fund Services, Inc. Methods and systems for agnostic data storage
US20140279658A1 (en) * 2013-03-12 2014-09-18 United Parcel Service Of America, Inc. Systems and methods of suggesting attended delivery/pickup locations
US20140278834A1 (en) * 2013-03-14 2014-09-18 Armchair Sports Productions Inc. Voting on actions for an event
WO2014144889A2 (en) * 2013-03-15 2014-09-18 Amazon Technologies, Inc. Scalable analysis platform for semi-structured data
US9519695B2 (en) * 2013-04-16 2016-12-13 Cognizant Technology Solutions India Pvt. Ltd. System and method for automating data warehousing processes
US9244978B2 (en) * 2014-06-11 2016-01-26 Oracle International Corporation Custom partitioning of a data stream
US10877995B2 (en) * 2014-08-14 2020-12-29 Intellicus Technologies Pvt. Ltd. Building a distributed dwarf cube using mapreduce technique
CN104462430B (zh) * 2014-12-12 2017-12-22 北京国双科技有限公司 关系型数据库的数据处理方法及装置
US9965514B2 (en) * 2014-12-19 2018-05-08 Software Ag Usa, Inc. Techniques for real-time generation of temporal comparative and superlative analytics in natural language for real-time dynamic data analytics
US10360231B2 (en) * 2015-07-06 2019-07-23 Oracle International Corporation Dynamically switching between data sources
US20170017683A1 (en) * 2015-07-13 2017-01-19 28msec Systems And Methods For Storing And Interacting With Data From Heterogeneous Data Sources
US10354188B2 (en) * 2016-08-02 2019-07-16 Microsoft Technology Licensing, Llc Extracting facts from unstructured information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271345A1 (en) 2008-04-25 2009-10-29 Lawrence Scott Rich Method and Apparatus for Declarative Data Warehouse Definition for Object-Relational Mapped Objects
US20130117217A1 (en) 2011-11-09 2013-05-09 International Business Machines Corporation Star and snowflake schemas in extract, transform, load processes
US20130151491A1 (en) 2011-12-09 2013-06-13 Telduraogevin Sp/f Systems and methods for improving database performance
WO2014186058A1 (en) 2013-05-17 2014-11-20 Oracle International Corporation Use of projector and selector component types for etl map design
WO2016022019A1 (en) 2014-08-05 2016-02-11 Mimos Berhad Method for data input into a database

Also Published As

Publication number Publication date
HK1255050A1 (zh) 2019-08-02
CN108701154A (zh) 2018-10-23
US11372880B2 (en) 2022-06-28
SG11201806825RA (en) 2018-09-27
AU2017224831B2 (en) 2023-01-05
WO2017143405A1 (en) 2017-08-31
CN108701154B (zh) 2022-05-03
EP3403200A1 (en) 2018-11-21
EP3403200A4 (en) 2019-12-25
JP2019506685A (ja) 2019-03-07
US20190050464A1 (en) 2019-02-14
AU2017224831A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
JP7051108B2 (ja) データソースシステムに不可知のファクトカテゴリパーティション化情報リポジトリ及び情報リポジトリを用いてデータを挿入及び検索するための方法
US8041760B2 (en) Service oriented architecture for a loading function in a data integration platform
US7814470B2 (en) Multiple service bindings for a real time data integration service
US7814142B2 (en) User interface service for a services oriented architecture in a data integration platform
US8060553B2 (en) Service oriented architecture for a transformation function in a data integration platform
US20050232046A1 (en) Location-based real time data integration services
US20050228808A1 (en) Real time data integration services for health care information data integration
US20060069717A1 (en) Security service for a services oriented architecture in a data integration platform
US20050262189A1 (en) Server-side application programming interface for a real time data integration service
US20050234969A1 (en) Services oriented architecture for handling metadata in a data integration platform
US20050262190A1 (en) Client side interface for real time data integration jobs
US20050240354A1 (en) Service oriented architecture for an extract function in a data integration platform
US20050235274A1 (en) Real time data integration for inventory management
US20050240592A1 (en) Real time data integration for supply chain management
US20050222931A1 (en) Real time data integration services for financial information data integration
US20050223109A1 (en) Data integration through a services oriented architecture
US20050262193A1 (en) Logging service for a services oriented architecture in a data integration platform
US20060010195A1 (en) Service oriented architecture for a message broker in a data integration platform
WO2006026673A2 (en) Architecture for enterprise data integration systems
US11886395B2 (en) Processes and systems for onboarding data for a digital duplicate
JP2008511928A (ja) メタデータの管理
US20160259831A1 (en) Methodology supported business intelligence (BI) software and system
US20230385248A1 (en) System, Method, and Computer Program Products for Modeling Complex Hierarchical Metadata with Multi-Generational Terms
Marques PRESENTING BUSINESS INSIGHTS ON ADVANCED PRICING AGREEMENTS USING A BUSINESS INTELLIGENCE FRAMEWORK
Dombrovskaya et al. Design Matters

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7051108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150