JP6928677B2 - オンライン分析処理を行うためのデータ処理方法及び装置 - Google Patents
オンライン分析処理を行うためのデータ処理方法及び装置 Download PDFInfo
- Publication number
- JP6928677B2 JP6928677B2 JP2019566813A JP2019566813A JP6928677B2 JP 6928677 B2 JP6928677 B2 JP 6928677B2 JP 2019566813 A JP2019566813 A JP 2019566813A JP 2019566813 A JP2019566813 A JP 2019566813A JP 6928677 B2 JP6928677 B2 JP 6928677B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- partition
- incremental
- partitions
- existing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 81
- 238000004458 analytical method Methods 0.000 title claims description 53
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000005192 partition Methods 0.000 claims description 211
- 238000000034 method Methods 0.000 claims description 44
- 238000000638 solvent extraction Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
Description
選定されたパーティションフィールドによって、オンライン分析処理システムにおける増分データに対してパーティション分割を行って、複数の増分データパーティションを取得するステップと、
前記パーティションフィールドによって、前記オンライン分析処理システムにおける既存データに対してパーティション分割を行って、複数の既存データパーティションを取得するステップと、
同一のパーティションラベルを有する前記増分データパーティションにおけるデータと前記既存データパーティションにおけるデータとを集計するステップと、を含む。
各前記増分データパーティションにおけるデータと、それに対応する前記既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行うステップを含む。
前記複数の既存データパーティションのデータインデックスを構築するステップと、前記複数の既存データパーティションのデータインデックスに基づいて、各前記増分データパーティションにおけるデータと、対応する前記既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行うステップと、を更に含む。
二分木又はハッシュテーブルによって前記データインデックスを構築するステップを含む。
各前記増分データパーティションにおけるデータに対して、前記データインデックスに基づいて、各前記増分データパーティションに対応する前記既存データパーティションにおいてクエリを行うステップと、
クエリが成功した場合、当該増分データパーティションにおけるデータと、当該データに関連する前記既存データパーティションにおけるデータに対してユニオン操作を行うステップと、を含む。
各前記増分データパーティションにおけるデータに対して、前記データインデックスに基づいて、各前記増分データパーティションに対応する前記既存データパーティションにおいてクエリを行うステップと、
クエリが失敗した場合、当該増分データパーティションにおけるデータと、当該データに関連する前記既存データパーティションにおけるデータに対して、マージ操作を行うステップと、を含む。
変換及びロードを行うことによって、集計されたデータを所定位置にアウトプットして、前記オンライン分析処理システムによるデータ分析を行うステップ、及び/又は、
データ更新済みを示す提示情報を下流のデータ処理ユニットに出力するステップを含む。
選定されたパーティションフィールドによってオンライン分析処理システムにおける増分データに対してパーティション分割を行って、複数の増分データパーティションを取得するとともに、前記パーティションフィールドによって前記オンライン分析処理システムにおける既存データに対してパーティション分割を行って、複数の既存データパーティションを取得するパーティション分割モジュールと、
同一のパーティションラベルを有する前記増分データパーティションにおけるデータと前記既存データパーティションにおけるデータとを集計するデータ処理モジュールと、を備える。
各前記増分データパーティションにおけるデータに対して、前記データインデックスに基づいて、各前記増分データパーティションに対応する前記既存データパーティションにおいてクエリを行うクエリサブモジュールと、
前記クエリサブモジュールによるクエリが成功した場合、前記増分データパーティションにおけるデータと、当該データに関連する前記既存データパーティションにおけるデータとに対して、ユニオン操作を行うユニオン操作サブモジュールと、を備える。
前記クエリサブモジュールによるクエリが失敗した場合、当該増分データパーティションにおけるデータと、当該データに関連する前記既存データパーティションにおけるデータとに対して、マージ操作を行うマージ操作サブモジュールを更に備える。
変換及びロードを行うことによって、集計されたデータを所定位置に導出して、前記オンライン分析処理システムによるデータ分析を行うデータ導出モジュールを更に備える。
集計が終了した後、データの更新済みを示す提示情報を下流のデータ処理ユニットに出力する情報出力モジュールを更に備える。
オンライン分析処理システムに新規入力される増分データに対して、データのクリーニング、変換を含むETL処理を行うことによって、増分データをオンライン分析処理に相応しい記憶形式に変換するステップと、
データが形成された後に変化が発生しないフィールドをパーティションフィールドとして選定し、ETL処理された増分データに対してパーティションフィールドによってパーティション分割を行って、複数の互いに異なる増分データパーティションを取得するステップと、を含んでもよい。
変換及びロードを行うことによって、ユニオン操作及び/又はマージ操作が行われた後のデータを所定位置に導出して、前記オンライン分析処理システムによるデータ分析を行うステップと、及び/又は、
データ更新済みを示す提示情報を下流のデータ処理ユニットに出力するステップと、を更に含む。
選定されたパーティションフィールドによってオンライン分析処理システムにおける増分データに対してパーティション分割を行って、複数の増分データパーティションを取得するとともに、パーティションフィールドによってオンライン分析処理システムにおける既存データに対してパーティション分割を行って、複数の既存データパーティションを取得するパーティション分割モジュール31と、
複数の既存データパーティションのデータインデックスを構築するデータインデックス構築モジュール32と、
同一のパーティションラベルの有無によって、複数の増分データパーティションと複数の既存データパーティションとの対応関係を確立する対応関係確立モジュール33と、
複数の既存データパーティションのデータインデックスに基づいて、各増分データパーティションにおけるデータと、対応する既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行うデータ処理モジュール34と、を備える。
各増分データパーティションにおけるデータに対して、データインデックスに基づいて、各増分データパーティションに対応する既存データパーティションにおいてクエリを行うクエリサブモジュール341と、
クエリサブモジュール341によるクエリが成功した場合、増分データと、増分データに関連する既存データとに対してユニオン操作を行うユニオン操作サブモジュール342と、
クエリサブモジュール342によるクエリが失敗した場合、増分データに対してマージ操作を行うマージ操作サブモジュール343と、を備える。
変換及びロードを行うことによって、ユニオン操作及び/又はマージ操作が行われた後のデータを所定位置に導出して、オンライン分析処理システムによるデータ分析を行うデータ導出モジュール35と、
データ更新済みを示す提示情報を下流のデータ処理ユニットに出力する情報出力モジュール36と、を更に備える。
Claims (10)
- オンライン分析処理を行うためのデータ処理方法であって、
選定された少なくとも2つのパーティションフィールドによって、オンライン分析処理システムにおける増分データに対してパーティション分割を行って、複数の増分データパーティションを取得するステップと、
前記少なくとも2つのパーティションフィールドによって、前記オンライン分析処理システムにおける既存データに対してパーティション分割を行って、複数の既存データパーティションを取得するステップと、
同一のパーティションラベルを有する前記増分データパーティションにおけるデータと前記既存データパーティションにおけるデータとを集計するステップと、を含み、
前記少なくとも2つのパーティションフィールドは、時間フィールド、業務フィールド及びカスタマイズフィールドのうちの少なくとも2つを含む
ことを特徴とするオンライン分析処理を行うためのデータ処理方法。 - 同一のパーティションラベルを有する前記増分データパーティションにおけるデータと前記既存データパーティションにおけるデータとを集計する前記ステップは、
各前記増分データパーティションにおけるデータと、それに対応する前記既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行うステップを含む
ことを特徴とする請求項1に記載の方法。 - 前記複数の既存データパーティションのデータインデックスを構築するステップと、
前記複数の既存データパーティションのデータインデックスに基づいて、各前記増分データパーティションにおけるデータと、対応する前記既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行うステップと、を更に含む
ことを特徴とする請求項2に記載の方法。 - 前記複数の既存データパーティションのデータインデックスに基づいて、各前記増分データパーティションにおけるデータと、対応する前記既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行う前記ステップは、
各前記増分データパーティションにおけるデータに対して、前記データインデックスに基づいて、各前記増分データパーティションに対応する前記既存データパーティションにおいてクエリを行うステップと、
クエリが成功した場合、当該増分データパーティションにおけるデータと、当該データに関連する前記既存データパーティションにおけるデータとに対してユニオン操作を行うステップと、を含む
ことを特徴とする請求項3に記載の方法。 - 前記複数の既存データパーティションのデータインデックスに基づいて、各前記増分データパーティションにおけるデータと、対応する前記既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行う前記ステップは、
各前記増分データパーティションにおけるデータに対して、前記データインデックスに基づいて、各前記増分データパーティションに対応する前記既存データパーティションにおいてクエリを行うステップと、
クエリが失敗した場合、当該増分データパーティションにおけるデータと、当該データに関連する前記既存データパーティションにおけるデータとに対してマージ操作を行うステップと、を含む
ことを特徴とする請求項3又は4に記載の方法。 - オンライン分析処理を行うためのデータ処理装置であって、
選定された少なくとも2つのパーティションフィールドによってオンライン分析処理システムにおける増分データに対してパーティション分割を行って、複数の増分データパーティションを取得するとともに、前記少なくとも2つのパーティションフィールドによって前記オンライン分析処理システムにおける既存データに対してパーティション分割を行って、複数の既存データパーティションを取得するパーティション分割モジュールと、
同一のパーティションラベルを有する前記増分データパーティションにおけるデータと前記既存データパーティションにおけるデータとを集計するデータ処理モジュールと、を備え、
前記少なくとも2つのパーティションフィールドは、時間フィールド、業務フィールド及びカスタマイズフィールドのうちの少なくとも2つを含む
ことを特徴とするオンライン分析処理を行うためのデータ処理装置。 - 前記データ処理モジュールはさらに、
各前記増分データパーティションにおけるデータと、それに対応する前記既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行う
ことを特徴とする請求項6に記載の装置。 - 前記複数の既存データパーティションのデータインデックスを構築するデータインデックス構築モジュールを更に備え、
前記データ処理モジュールはさらに、前記複数の既存データパーティションのデータインデックスに基づいて、各前記増分データパーティションにおけるデータと、対応する前記既存データパーティションにおけるデータとに対して、ユニオン操作及び/又はマージ操作を行う
ことを特徴とする請求項7に記載の装置。 - 前記データ処理モジュールは、
各前記増分データパーティションにおけるデータに対して、前記データインデックスに基づいて、各前記増分データパーティションに対応する前記既存データパーティションにおいてクエリを行うクエリサブモジュールと、
前記クエリサブモジュールによるクエリが成功した場合、当該増分データパーティションにおけるデータと、当該データに関連する前記既存データパーティションにおけるデータとに対して、ユニオン操作を行うユニオン操作サブモジュールと、を備える
ことを特徴とする請求項8に記載の装置。 - 前記データ処理モジュールは、
前記クエリサブモジュールによるクエリが失敗した場合、当該増分データパーティションにおけるデータと、当該データに関連する前記既存データパーティションにおけるデータとに対して、マージ操作を行うマージ操作サブモジュールを更に備える
ことを特徴とする請求項9に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810160009.7A CN108376169A (zh) | 2018-02-26 | 2018-02-26 | 一种用于联机分析处理的数据处理方法和装置 |
CN201810160009.7 | 2018-02-26 | ||
PCT/CN2018/112991 WO2019161679A1 (zh) | 2018-02-26 | 2018-10-31 | 一种用于联机分析处理的数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020522814A JP2020522814A (ja) | 2020-07-30 |
JP6928677B2 true JP6928677B2 (ja) | 2021-09-01 |
Family
ID=63018080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019566813A Active JP6928677B2 (ja) | 2018-02-26 | 2018-10-31 | オンライン分析処理を行うためのデータ処理方法及び装置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6928677B2 (ja) |
CN (1) | CN108376169A (ja) |
SG (1) | SG11201909253QA (ja) |
WO (1) | WO2019161679A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108376169A (zh) * | 2018-02-26 | 2018-08-07 | 众安信息技术服务有限公司 | 一种用于联机分析处理的数据处理方法和装置 |
CN109299088A (zh) * | 2018-08-22 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 海量数据存储方法、装置、存储介质及电子设备 |
CN110109905A (zh) * | 2019-04-26 | 2019-08-09 | 深圳前海微众银行股份有限公司 | 风险名单数据生成方法、装置、设备及计算机存储介质 |
CN110688412A (zh) * | 2019-09-27 | 2020-01-14 | 杭州有赞科技有限公司 | 一种基于es的海量数据统计方法及海量数据统计系统 |
CN111090645B (zh) * | 2019-10-12 | 2024-03-01 | 平安科技(深圳)有限公司 | 基于云存储的数据传输方法、装置及计算机设备 |
CN112203122B (zh) * | 2020-10-10 | 2024-01-26 | 腾讯科技(深圳)有限公司 | 基于人工智能的相似视频处理方法、装置及电子设备 |
CN113204602B (zh) * | 2021-05-07 | 2023-08-01 | 星环信息科技(上海)股份有限公司 | 数据处理方法、装置、设备及存储介质 |
CN113468187B (zh) * | 2021-09-02 | 2021-11-23 | 太平金融科技服务(上海)有限公司深圳分公司 | 多方数据整合方法、装置、计算机设备和存储介质 |
CN117421297B (zh) * | 2023-10-10 | 2024-08-20 | 北京偶数科技有限公司 | 一种分布式数据库动态分区表统计信息收集方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101018121B (zh) * | 2007-03-15 | 2011-03-09 | 杭州华三通信技术有限公司 | 日志的聚合处理方法及聚合处理装置 |
CN102043789A (zh) * | 2009-10-21 | 2011-05-04 | 阿里巴巴集团控股有限公司 | 一种更新数据表的方法和装置 |
GB2480599A (en) * | 2010-05-17 | 2011-11-30 | Tech Universit T Muenchen | Hybrid OLTP and OLAP database |
CN103577454B (zh) * | 2012-08-01 | 2019-03-01 | 华为技术有限公司 | 一种文件合并方法和装置 |
CN103678392A (zh) * | 2012-09-20 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 一种数据增量合并的方法及其装置 |
US9552817B2 (en) * | 2014-03-19 | 2017-01-24 | Microsoft Technology Licensing, Llc | Incremental utterance decoder combination for efficient and accurate decoding |
CN106649403B (zh) * | 2015-11-04 | 2020-07-28 | 深圳市腾讯计算机系统有限公司 | 文件存储中的索引实现方法和系统 |
CN106250389A (zh) * | 2016-07-15 | 2016-12-21 | 西安测绘研究所 | 一种面向动态增量更新的地理空间数据版本管理方法 |
CN108376169A (zh) * | 2018-02-26 | 2018-08-07 | 众安信息技术服务有限公司 | 一种用于联机分析处理的数据处理方法和装置 |
-
2018
- 2018-02-26 CN CN201810160009.7A patent/CN108376169A/zh active Pending
- 2018-10-31 WO PCT/CN2018/112991 patent/WO2019161679A1/zh active Application Filing
- 2018-10-31 SG SG11201909253Q patent/SG11201909253QA/en unknown
- 2018-10-31 JP JP2019566813A patent/JP6928677B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019161679A1 (zh) | 2019-08-29 |
CN108376169A (zh) | 2018-08-07 |
SG11201909253QA (en) | 2019-11-28 |
JP2020522814A (ja) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6928677B2 (ja) | オンライン分析処理を行うためのデータ処理方法及び装置 | |
US11995124B2 (en) | Query language interoperability in a graph database | |
US11461356B2 (en) | Large scale unstructured database systems | |
US11068439B2 (en) | Unsupervised method for enriching RDF data sources from denormalized data | |
US10346432B2 (en) | Compaction policy | |
US20190303382A1 (en) | Distributed database systems and methods with pluggable storage engines | |
US9870382B2 (en) | Data encoding and corresponding data structure | |
Bugiotti et al. | Invisible glue: scalable self-tuning multi-stores | |
US20160012118A1 (en) | System and methods for mapping and searching objects in multidimensional space | |
US20150006509A1 (en) | Incremental maintenance of range-partitioned statistics for query optimization | |
CN103561133A (zh) | 一种ip地址归属信息索引方法及快速查询方法 | |
US11868328B2 (en) | Multi-record index structure for key-value stores | |
CN110851663B (zh) | 管理元数据的方法和装置 | |
US8015195B2 (en) | Modifying entry names in directory server | |
US20130031050A1 (en) | System, Method, and Computer Program Product for Accessing Manipulating Remote Datasets | |
CN111382155A (zh) | 一种数据仓库的数据处理方法、电子设备及介质 | |
KR101955376B1 (ko) | 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
Arputhamary et al. | A review on big data integration | |
CN108241624B (zh) | 一种查询脚本的生成方法及装置 | |
US7043491B1 (en) | Partition exchange technique for operating a data warehousing system | |
CN114153987A (zh) | 分布式知识图谱查询方法、装置及存储介质 | |
US11157500B2 (en) | Determination of query operator execution location | |
Qiao et al. | Computing weight constraint reachability in large networks | |
Zollmann | Nosql databases | |
Abawajy et al. | A framework for scalable distributed provenance storage system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6928677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |