JP5926321B2 - 大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 - Google Patents
大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 Download PDFInfo
- Publication number
- JP5926321B2 JP5926321B2 JP2014112536A JP2014112536A JP5926321B2 JP 5926321 B2 JP5926321 B2 JP 5926321B2 JP 2014112536 A JP2014112536 A JP 2014112536A JP 2014112536 A JP2014112536 A JP 2014112536A JP 5926321 B2 JP5926321 B2 JP 5926321B2
- Authority
- JP
- Japan
- Prior art keywords
- query
- basic
- data
- result
- analysis processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
:(subquery_factoring_clause)?
SELECT(((DISTINCT|UNIQUE)|ALL)?)select_list
FROM(table_reference|join_clause) (COMMA(table_reference|join_clause))*
where_clause?
hierarchical_query_clause?
group_by_clause?
order_by_clause?
| query_block ((UNION ALL?) | (INTERSECT|S_MINUS)) query_block
| LPAREN query_block RPAREN
select t1.customer
from matirx_demo t1
select m.customer
from matrix_demo m
select t.id
from matrix_demo1 t
select t.id
from matrix_demo2 t
select t1. customer C9A59FD7B
from matirx_demo t1
select m.customer C9A59FD7B
from matrix_demo m
select t.customer, sum(t.h_val)
from matrix_demo t
where t.yyyy = '2013'
group by t.cusomer
SELECT MATRIX_DEMO.CUSTOMER C9A59FD7B, MATRIX_DEMO.YYYY CEB41FFF7, MATRIX_DEMO.H_VAL CB165E5C5
FROM MATRIX.MATRIX_DEMO
WHERE MATRIX_DEMO.YYYY = '2013'
SELECT MHC.C9A59FD7B, SUM(MHC.CB165E5C5) AS"CB165E5C5"
FROM ( {@ORIGINAL_SQL@} ) MHC
WHERE MHC.CEB41FFF7 = '2013'
GROUP BY
MHC.C9A59FD7B
20:クライアント
30:分析処理サーバ
40:サーバキャッシュ
41:キャッシュメモリ
42:キャッシュディスク
50:BIサーバ
60:データベース
Claims (9)
- クライアントが要請するデータベースに対する要請クエリーを処理する分析処理サーバのSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法において、
(a)前記要請クエリーをパーシングして、前記要請クエリーに含まれているカラム名を抽出するステップと、
(b)抽出されたカラム名を参照項目として、前記要請クエリーが参照するテーブルと同じテーブルを参照するクエリー(以下、基礎クエリー)と、前記基礎クエリーの結果データを参照して、前記要請クエリーが要請する結果データを取り込む拡張クエリーを生成するステップと、
(c)前記基礎クエリーの結果データを前記分析処理サーバのサーバキャッシュから検索するステップと、
(d)前記サーバキャッシュに基礎クエリーの結果データがなければ、前記基礎クエリーで前記データベースにデータを要請し、受信した基礎クエリーの結果データを前記サーバキャッシュに格納するステップと、
(e)前記拡張クエリーを前記基礎クエリーの結果データに適用して前記拡張クエリーの結果データを取得し、取得された結果データを前記クライアントに転送するステップと、
を含むことを特徴とするSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。 - クライアントが要請するデータベースに対する要請クエリーを処理する分析処理サーバのSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法において、
(a)前記要請クエリーをパーシングして、前記要請クエリーに含まれているカラム名を抽出するステップと、
(b)抽出されたカラム名を参照項目として、前記要請クエリーが参照するテーブルと同じテーブルを参照するクエリー(以下、基礎クエリー)と、前記基礎クエリーの結果データを参照して、前記要請クエリーが要請する結果データを取り込む拡張クエリーを生成するステップと、
(c)前記基礎クエリーの結果データを前記分析処理サーバのサーバキャッシュから検索するステップと、
(d)前記サーバキャッシュに基礎クエリーの結果データがなければ、前記要請クエリーで前記データベースにデータを要請し、受信した要請クエリーの結果データを前記クライアントに転送するステップと、
(e)前記基礎クエリーで前記データベースにデータを要請し、受信した基礎クエリーの結果データを前記サーバキャッシュに格納するステップと、
を含むことを特徴とするSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。 - 前記分析処理サーバは、前記拡張クエリーの結果データをキャッシュファイルとして前記サーバキャッシュに格納し、
前記方法は、
(f)前記ステップ(b)後に、前記拡張クエリーのキャッシュファイルが前記サーバキャッシュから検索される場合、検索されたキャッシュファイルをクライアントに転送するステップをさらに含むことを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。 - 前記ステップ(a)において、前記カラム名が識別可能な固有キーを生成し、
前記ステップ(b)において、前記基礎クエリーの参照項目節で前記カラム名に対して前記固有キーでエイリアスを定義し、前記拡張クエリーは、前記エイリアスを用いてカラムを参照することを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。 - 前記固有キーは、当該カラム名のデータベースの名前、参照テーブルの名前及びカラム名をハッシュして得ることを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
- 前記ステップ(b)において、前記基礎クエリーは、参照項目節、テーブル参照節及び条件節から構成され、前記基礎クエリーのテーブル参照節及び条件節は、前記要請クエリーのテーブル参照節及び条件節と同じ構造を有することを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
- 前記ステップ(b)において、前記拡張クエリーは、テーブル参照節で前記基礎クエリーまたは前記基礎クエリーの結果データを参照し、前記テーブル参照節以外の節が前記要請クエリーの節と同じ構造を有するように生成されることを特徴とする請求項6に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
- 前記ステップ(b)において、前記要請クエリーでテーブルに対するエイリアスが定義された場合、前記テーブルのエイリアスを削除し、前記テーブルのエイリアスを前記テーブルの名前に置き換えて前記拡張クエリーを生成することを特徴とする請求項7に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
- 前記サーバキャッシュは、インメモリストレージとキャッシュディスクとから構成され、
前記基礎クエリーの結果データを前記インメモリストレージに格納することを特徴とする請求項1または2に記載のSQLパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0039470 | 2014-04-02 | ||
KR1020140039470A KR101544560B1 (ko) | 2014-04-02 | 2014-04-02 | 대용량 데이터를 처리하기 위하여 sql 파싱에 의한 2단계 쿼리 및 결과 캐싱을 이용한 온라인 분석 프로세싱 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015197909A JP2015197909A (ja) | 2015-11-09 |
JP5926321B2 true JP5926321B2 (ja) | 2016-05-25 |
Family
ID=54061078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014112536A Active JP5926321B2 (ja) | 2014-04-02 | 2014-05-30 | 大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5926321B2 (ja) |
KR (1) | KR101544560B1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016208779A1 (ko) * | 2015-06-22 | 2016-12-29 | (주) 비아이매트릭스 | 대용량 데이터를 처리하기 위한 2단계 쿼리 기반 온라인 분석 프로세싱 방법 |
KR101820108B1 (ko) * | 2016-08-29 | 2018-01-19 | (주)비아이매트릭스 | 캐시 테이블 통합 기반 2단계 쿼리 처리 시스템 |
JP7006013B2 (ja) | 2017-08-22 | 2022-01-24 | 富士通株式会社 | データ提供プロラム、データ提供方法、及びデータ提供装置 |
CN111143352B (zh) * | 2019-11-28 | 2024-04-12 | 泰康保险集团股份有限公司 | 一种数据处理的方法及装置、电子设备、存储介质 |
KR102346289B1 (ko) | 2020-02-19 | 2022-01-03 | 심상택 | 오픈 소스 빅데이터 시스템에서 구조화된 언어로 통계 및 원본 데이터를 검색하는 방법 및 시스템 |
CN112989250B (zh) * | 2021-03-11 | 2024-01-12 | 北京百度网讯科技有限公司 | 一种Web服务响应方法、装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8478775B2 (en) * | 2008-10-05 | 2013-07-02 | Microsoft Corporation | Efficient large-scale filtering and/or sorting for querying of column based data encoded structures |
JP5374444B2 (ja) * | 2010-06-01 | 2013-12-25 | 日本電信電話株式会社 | 検索装置、検索方法及び検索プログラム |
-
2014
- 2014-04-02 KR KR1020140039470A patent/KR101544560B1/ko active IP Right Grant
- 2014-05-30 JP JP2014112536A patent/JP5926321B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR101544560B1 (ko) | 2015-08-17 |
JP2015197909A (ja) | 2015-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5926321B2 (ja) | 大容量データを処理するための、sqlパーシングによる2レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 | |
US10725987B2 (en) | Forced ordering of a dictionary storing row identifier values | |
US9965504B2 (en) | Transient and persistent representation of a unified table metadata graph | |
US9792318B2 (en) | Supporting cursor snapshot semantics | |
EP3026578B1 (en) | N-bit compressed versioned column data array for in-memory columnar stores | |
US10474648B2 (en) | Migration of unified table metadata graph nodes | |
US9639542B2 (en) | Dynamic mapping of extensible datasets to relational database schemas | |
US8924373B2 (en) | Query plans with parameter markers in place of object identifiers | |
US9569477B1 (en) | Managing scanning of databases in data storage systems | |
US9734178B2 (en) | Searching entity-key associations using in-memory objects | |
US11429658B1 (en) | Systems and methods for content-aware image storage | |
US10685031B2 (en) | Dynamic hash partitioning for large-scale database management systems | |
KR20200103543A (ko) | 지식-구동 연합 빅 데이터 쿼리 및 분석 플랫폼 | |
KR20200103542A (ko) | 지식-구동 연합 빅 데이터 쿼리 및 분석 플랫폼 | |
US9122755B2 (en) | Instantaneous incremental search user interface | |
KR101892067B1 (ko) | 관계형 데이터베이스 기반의 텍스트 로그데이터 저장 및 검색 방법 | |
US20150100553A1 (en) | Archival of Objects and Dynamic Search | |
US20120303608A1 (en) | Method and system for caching lexical mappings for rdf data | |
US8200673B2 (en) | System and method for on-demand indexing | |
JP6199513B1 (ja) | キャッシュテーブルの統合基盤の2段階クエリ処理システム | |
CN112685572B (zh) | 一种异构数据融合方法及装置 | |
US11055266B2 (en) | Efficient key data store entry traversal and result generation | |
Chakraborty et al. | Materialized queries with incremental updates | |
US8666972B2 (en) | System and method for content management and determination of search conditions | |
US10817570B2 (en) | Hybrid connectivity for reporting application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5926321 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |