JP5826831B2 - データマート自動化 - Google Patents
データマート自動化 Download PDFInfo
- Publication number
- JP5826831B2 JP5826831B2 JP2013512642A JP2013512642A JP5826831B2 JP 5826831 B2 JP5826831 B2 JP 5826831B2 JP 2013512642 A JP2013512642 A JP 2013512642A JP 2013512642 A JP2013512642 A JP 2013512642A JP 5826831 B2 JP5826831 B2 JP 5826831B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- business intelligence
- intelligence server
- levels
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Description
本特許文献の開示の一部は、著作権保護の対象となる内容を含む。本著作権所有者は、特許文献または特許開示について、特許商標庁の特許ファイルまたは記録に記載されたとおりのものが複製されることに対して異議を唱えないが、他の点では何であれすべての著作権を保持するものとする。
本発明は一般にビジネスインテリジェンスに関し、特に集計を用いることによりデータを効率的にアクセスすることに関する。
近年、ビジネスインテリジェンスツールは大企業やその他の組織によってますます用いられてきている。ビジネスインテリジェンスは、組織の内部的構造データおよび事業プロセスを分析することにより、事業運営の現在のおよび過去の見識を提供する。これは、よりよい事業上の意思決定を支援するために、将来のモデルおよび予測を作成するためにしばしば用いられている。こうして、ビジネスインテリジェンスツールは多くの企業にとってコストの削減ならびに効率、生産性および利益の向上をもたらすことができる。
多様な異なるデータソースを越えてデータマートを構築および維持するためのシステムおよび方法が記載される。集計はリレーショナルデータベースおよび多次元データベースを含む複数の異なるデータソースにわたって作成および維持される。これによりサイト管理者は、リレーショナルデータベース、多次元データベース管理システム(MDBMS)、オンライン分析処理(OLAP)ツールなどを含むがこれらに限定されない多様なデータソースおよび作業拡張技術を越えて、データマートを容易に構築および維持することができる。
本発明は例示的に示され、同様の参照符号が同様のエレメントを示す添付の図面の中の値に限定されるものではない。本明細書での実施例への言及は必ずしも同じ実施例のものではなく、このような言及は少なくとも1つの実施例を意味する。特定の実施が説明されるが、これは例示的目的のためにのみなされたものである。当該技術分野において当業者は、本発明の範囲および精神から逸脱することなく他のコンポーネントおよび構成を用いることができることを認識するであろう。
a) 前に定義された集計を作成する;
b) 古い集計を取除き、新たなものに置き換える;または
c) 新しい集計を既存のものに付ける。
・各レベルに対して1つの集計テーブル(BIサーバの物理層内およびデータベース内の両方)を作成する。
・各ファクトテーブルに対して一つの集計テーブル(BIサーバおよびデータベース)を作成する。
○ 集計列は、指定されたレベルにおけるプライマリキーからの列を含む。これらは外部キーとして設定される(対応するレベルテーブルにおいてプライマリキーと結合される)。
・作成された集計テーブルの各々に対して、対応する論理テーブルソースを作成および加える。
・新たに作成されたメタデータオブジェクトをチェックインする。
Claims (11)
- ビジネスインテリジェンスサーバ環境においてデータマートを生成するための方法であって、前記方法は、
複数のデータソースにデータを保持することを備え、前記複数のデータソースは少なくともリレーショナルデータベースおよび多次元データベースを含み、さらに、
ビジネスインテリジェンスサーバが前記複数のデータソースのすべてを組込んだデータの集合体を準備することと、
ビジネスインテリジェンスサーバが、前記データの集合体において、前記複数のデータソースのうち2つ以上のデータソースにわたってデータを集計するための複数のレベル、および、前記集計されたデータを格納するために前記データソースの選択を受取ることとを含み、前記レベルは、前記2つ以上のデータソースについてのクエリーの実行時間を解析することによって特定され、さらに
前記レベルを含む集計マトリックスを生成することを含み、前記集計マトリックスは、
前記レベルの各々について、前記レベルの各々における列と、ディメンション階層において上位レベルの列とを含む単一の集計テーブルを、前記データソース内に生成すること、および
ファクトテーブルの各々について、前記レベルの各々におけるプライマリーキーに対応する列を含む単一の集計テーブルを生成することにより、データ集計を実行するようになっており、さらに
ビジネスインテリジェンスサーバが、前記集計テーブルにおける前記集計されたデータを含む多次元キューブを生成し、前記データソースに、前記多次元キューブを記憶することを備える、方法。 - 前記ビジネスインテリジェンスサーバが、前記データソースのディメンションおよびキューブのためのメタデータのセットを生成することをさらに備える、請求項1に記載の方法。
- 前記ビジネスインテリジェンスサーバが、レベル属性用のリレーショナルディメンションのセットを生成することをさらに備える、請求項1または2に記載の方法。
- 前記ビジネスインテリジェンスサーバが、前記リレーショナルディメンションからのキーに基づき、前記データソース用のディメンションのセットを生成することをさらに備える、請求項3に記載の方法。
- 前記ビジネスインテリジェンスサーバが、前記リレーショナルディメンションからのキーに基づき、前記多次元キューブを生成することをさらに備える、請求項3に記載の方法。
- 前記複数のデータソースは、Oracle(登録商標)データベース、Oracle Essbaseデータベース、およびOracle Analytic Workspaceのうちの少なくとも1つをさらに含む、請求項1〜5のいずれか1項に記載の方法。
- 前記ビジネスインテリジェンスサーバが、メタデータを前記データソース内に構成するために、前記データソースのJava(登録商標)アプリケーションプログラミングインターフェイス(API)を呼び出すことをさらに備える、請求項1〜6のいずれか1項に記載の方法。
- ディメンションのセットは、前記集計マトリックスのための前記キューブ内に記憶される、請求項1〜7のいずれか1項に記載の方法。
- 前記ビジネスインテリジェンスサーバの物理的メタデータ層内において、前記キューブと前記集計マトリックスとの間で複雑な結合を生成することをさらに備える、請求項1〜8のいずれか1項に記載の方法。
- ビジネスインテリジェンスサーバ環境においてデータマートを生成するためのシステムであって、前記システムは、
企業内においてデータを保持する複数のデータソースを備え、前記複数のデータソースは少なくともリレーショナルデータベースおよび多次元データベースを含み、さらに、
前記複数のデータソースのすべてを統合したデータの集合体を準備するビジネスインテリジェンスサーバを備え、
前記ビジネスインテリジェンスサーバは、データの集合体を用いることにより、データを集計するための複数のレベルの指定を受け、前記複数のレベルは、前記複数のデータソースのうちの2つ以上のデータソース、および、集計されたデータを格納するために前記データソースの選択にわたるものであり、前記レベルは、前記2つ以上のデータソースについてのクエリーの実行時間を解析することによって特定され、
前記ビジネスインテリジェンスサーバは、前記レベルを含む集計マトリックスを生成し、前記集計マトリックスは、
前記レベルの各々について、前記レベルの各々における列と、ディメンション階層において上位レベルの列とを含む単一の集計テーブルを、前記データソース内に生成すること、および
ファクトテーブルの各々について、前記レベルの各々におけるプライマリーキーに対応する列を含む単一の集計テーブルを生成することにより、データ集計を実行するようになっており、さらに
前記ビジネスインテリジェンスサーバは、前記集計テーブルにおける前記集計されたデータを含む多次元キューブを生成し、前記データソースに、前記多次元キューブを記憶する、システム。 - 請求項1〜9のいずれか1項に記載の方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US34913610P | 2010-05-27 | 2010-05-27 | |
US61/349,136 | 2010-05-27 | ||
US13/100,264 US9218408B2 (en) | 2010-05-27 | 2011-05-03 | Method for automatically creating a data mart by aggregated data extracted from a business intelligence server |
US13/100,264 | 2011-05-03 | ||
PCT/US2011/036037 WO2011149666A2 (en) | 2010-05-27 | 2011-05-11 | Data mart automation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013531844A JP2013531844A (ja) | 2013-08-08 |
JP2013531844A5 JP2013531844A5 (ja) | 2014-04-17 |
JP5826831B2 true JP5826831B2 (ja) | 2015-12-02 |
Family
ID=44121205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013512642A Active JP5826831B2 (ja) | 2010-05-27 | 2011-05-11 | データマート自動化 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9218408B2 (ja) |
EP (1) | EP2577507B1 (ja) |
JP (1) | JP5826831B2 (ja) |
CN (1) | CN102918530B (ja) |
WO (1) | WO2011149666A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101769848B1 (ko) * | 2015-12-30 | 2017-08-22 | (주)비아이매트릭스 | 상용 인터프리터를 이용한 스크립트 기반 데이터 처리 시스템 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10671628B2 (en) * | 2010-07-09 | 2020-06-02 | State Street Bank And Trust Company | Systems and methods for data warehousing |
US10235439B2 (en) * | 2010-07-09 | 2019-03-19 | State Street Corporation | Systems and methods for data warehousing in private cloud environment |
US10216814B2 (en) | 2013-05-17 | 2019-02-26 | Oracle International Corporation | Supporting combination of flow based ETL and entity relationship based ETL |
US9507838B2 (en) * | 2013-05-17 | 2016-11-29 | Oracle International Corporation | Use of projector and selector component types for ETL map design |
EP3126957A4 (en) * | 2014-03-31 | 2017-09-13 | Kofax, Inc. | Scalable business process intelligence and predictive analytics for distributed architectures |
US9633058B2 (en) | 2014-06-16 | 2017-04-25 | International Business Machines Corporation | Predictive placement of columns during creation of a large database |
US9846567B2 (en) | 2014-06-16 | 2017-12-19 | International Business Machines Corporation | Flash optimized columnar data layout and data access algorithms for big data query engines |
US9922104B1 (en) * | 2014-08-13 | 2018-03-20 | Numerify, Inc. | Metadata driven code-generated external data feeds |
CN104331401B (zh) * | 2014-11-25 | 2017-05-31 | 中国农业银行股份有限公司 | 一种翻译方法及系统 |
US9684699B2 (en) * | 2014-12-03 | 2017-06-20 | Sas Institute Inc. | System to convert semantic layer metadata to support database conversion |
US9773003B2 (en) * | 2014-12-09 | 2017-09-26 | Xurmo Technologies Pvt. Ltd. | Computer implemented system and method for investigative data analytics |
CN104657476A (zh) * | 2015-02-16 | 2015-05-27 | 百度在线网络技术(北京)有限公司 | 联机分析处理的方法及系统 |
JP5847344B1 (ja) * | 2015-03-24 | 2016-01-20 | 株式会社ギックス | データ処理システム、データ処理方法、プログラム及びコンピュータ記憶媒体 |
US9952808B2 (en) | 2015-03-26 | 2018-04-24 | International Business Machines Corporation | File system block-level tiering and co-allocation |
CN105512198A (zh) * | 2015-11-27 | 2016-04-20 | Tcl集团股份有限公司 | 一种中央服务器的数据转移存储实现方法及系统 |
US11042569B2 (en) | 2017-09-29 | 2021-06-22 | Oracle International Corporation | System and method for load, aggregate and batch calculation in one scan in a multidimensional database environment |
CN108763282B (zh) * | 2018-04-12 | 2023-04-18 | 深圳市拓保软件有限公司 | 基于数据立方体的bi筛选改进算法 |
CN108804241B (zh) * | 2018-05-21 | 2023-06-02 | 平安科技(深圳)有限公司 | 跨平台任务调度方法、系统、计算机设备和存储介质 |
US20210049192A1 (en) * | 2019-08-12 | 2021-02-18 | Rockwell Automation Technologies, Inc. | Industrial analytics data query |
CN112579563B (zh) * | 2020-11-18 | 2022-01-21 | 广东电网有限责任公司佛山供电局 | 一种基于电网大数据的数仓可视化建模系统及方法 |
CN113191708A (zh) * | 2021-04-16 | 2021-07-30 | 上海东普信息科技有限公司 | 物流配送监控方法、装置、设备及存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5024A (en) * | 1847-03-20 | Steam-cylindee | ||
JPH113354A (ja) | 1997-06-13 | 1999-01-06 | Nec Software Ltd | データキューブ制御方式 |
US6178418B1 (en) * | 1998-07-28 | 2001-01-23 | Noetix Corporation | Distributed data warehouse query and resource management system |
US6282544B1 (en) | 1999-05-24 | 2001-08-28 | Computer Associates Think, Inc. | Method and apparatus for populating multiple data marts in a single aggregation process |
US6438537B1 (en) * | 1999-06-22 | 2002-08-20 | Microsoft Corporation | Usage based aggregation optimization |
US6477536B1 (en) * | 1999-06-22 | 2002-11-05 | Microsoft Corporation | Virtual cubes |
US6877006B1 (en) * | 2000-07-19 | 2005-04-05 | Vasudevan Software, Inc. | Multimedia inspection database system (MIDaS) for dynamic run-time data evaluation |
US9684703B2 (en) * | 2004-04-29 | 2017-06-20 | Precisionpoint Software Limited | Method and apparatus for automatically creating a data warehouse and OLAP cube |
US7444342B1 (en) | 2004-08-06 | 2008-10-28 | Unisys Corporation | System for accessing and transforming data, information and data relational rules in a multi-dimensional database |
US7593955B2 (en) * | 2004-11-30 | 2009-09-22 | International Business Machines Corporation | Generation of aggregatable dimension information within a multidimensional enterprise software system |
US8510329B2 (en) | 2005-05-25 | 2013-08-13 | Experian Marketing Solutions, Inc. | Distributed and interactive database architecture for parallel and asynchronous data processing of complex data and for real-time query processing |
US7571192B2 (en) * | 2005-06-15 | 2009-08-04 | Oracle International Corporation | Methods and apparatus for maintaining consistency during analysis of large data sets |
US7580944B2 (en) | 2006-07-27 | 2009-08-25 | Yahoo! Inc. | Business intelligent architecture system and method |
CN101566981A (zh) * | 2008-04-24 | 2009-10-28 | 长沙创智天马财务软件有限公司 | 分析处理系统中建立动态虚拟数据仓库的方法 |
US8943087B2 (en) | 2008-07-25 | 2015-01-27 | International Business Machines Corporation | Processing data from diverse databases |
US7970728B2 (en) * | 2008-10-23 | 2011-06-28 | International Business Machines Corporation | Dynamically building and populating data marts with data stored in repositories |
-
2011
- 2011-05-03 US US13/100,264 patent/US9218408B2/en active Active
- 2011-05-11 WO PCT/US2011/036037 patent/WO2011149666A2/en active Application Filing
- 2011-05-11 EP EP11722658.9A patent/EP2577507B1/en active Active
- 2011-05-11 JP JP2013512642A patent/JP5826831B2/ja active Active
- 2011-05-11 CN CN201180026123.7A patent/CN102918530B/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101769848B1 (ko) * | 2015-12-30 | 2017-08-22 | (주)비아이매트릭스 | 상용 인터프리터를 이용한 스크립트 기반 데이터 처리 시스템 |
Also Published As
Publication number | Publication date |
---|---|
US9218408B2 (en) | 2015-12-22 |
CN102918530B (zh) | 2016-06-01 |
US20110295792A1 (en) | 2011-12-01 |
EP2577507A2 (en) | 2013-04-10 |
WO2011149666A3 (en) | 2012-01-19 |
WO2011149666A2 (en) | 2011-12-01 |
EP2577507A4 (en) | 2017-03-22 |
JP2013531844A (ja) | 2013-08-08 |
EP2577507B1 (en) | 2019-07-03 |
CN102918530A (zh) | 2013-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5826831B2 (ja) | データマート自動化 | |
US10545992B2 (en) | Accelerator based data integration | |
US10740396B2 (en) | Representing enterprise data in a knowledge graph | |
US8671084B2 (en) | Updating a data warehouse schema based on changes in an observation model | |
US8655861B2 (en) | Query metadata engine | |
US8712972B2 (en) | Query optimization with awareness of limited resource usage | |
US10565201B2 (en) | Query processing management in a database management system | |
US20140351241A1 (en) | Identifying and invoking applications based on data in a knowledge graph | |
US20140214753A1 (en) | Systems and methods for multi-source data-warehousing | |
CA2896160A1 (en) | Systems and methods for multi-source data-warehousing | |
US11354313B2 (en) | Transforming a user-defined table function to a derived table in a database management system | |
Kuhn et al. | Expert Indexing in Oracle Database 11g: Maximum Performance for your Database | |
US20050102271A1 (en) | Indexes with embedded data | |
TW200419388A (en) | System and method for automatically comparing and recoding difference between bills of material (BOM) | |
US8316013B2 (en) | Programmatic retrieval of tabular data within a cell of a query result | |
Madhikerrni et al. | Data discovery method for Extract-Transform-Load | |
Bog et al. | Normalization in a mixed OLTP and OLAP workload scenario | |
Scholtz et al. | The ATDM methodology to support the design and implementation of an enterprise data warehouse | |
CN117609362A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
Tan | A database optimization model for java web architecture | |
Prathima et al. | Analyzing The Hive Performance on Large Data | |
Mirković et al. | Data mart design for managing IT department in a telecommunications company | |
Kowal et al. | Implementation of data warehouse sap BW in the production company | |
Wei | The Development of Database Technology | |
Jennings | Query Analysis of the Data Warehouse Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150210 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5826831 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |