JPWO2021178665A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021178665A5
JPWO2021178665A5 JP2022553152A JP2022553152A JPWO2021178665A5 JP WO2021178665 A5 JPWO2021178665 A5 JP WO2021178665A5 JP 2022553152 A JP2022553152 A JP 2022553152A JP 2022553152 A JP2022553152 A JP 2022553152A JP WO2021178665 A5 JPWO2021178665 A5 JP WO2021178665A5
Authority
JP
Japan
Prior art keywords
attributes
data
datasets
data sets
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022553152A
Other languages
Japanese (ja)
Other versions
JP2023517310A (en
JP7505014B2 (en
Publication date
Priority claimed from US17/025,751 external-priority patent/US11210285B2/en
Application filed filed Critical
Publication of JP2023517310A publication Critical patent/JP2023517310A/en
Publication of JPWO2021178665A5 publication Critical patent/JPWO2021178665A5/ja
Priority to JP2024094169A priority Critical patent/JP2024133060A/en
Application granted granted Critical
Publication of JP7505014B2 publication Critical patent/JP7505014B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (21)

1つ又は複数のインターフェースを提供するためのデータ処理システムと、1つ又は複数の属性を有するデータセットを記憶する記憶装置とによって実装される方法であって、前記1つ又は複数のインターフェースが前記データセットの前記又は複数の属性へのアクセスを提供し、前記方法が、
スキーマにアクセスするステップであって、前記スキーマが、前記スキーマにおいて表されるデータセット間の関係、前記データセットのうちの1つ又は複数に対する1つ又は複数の計算、又は前記データセットのうちの1つ又は複数の1つ又は複数の変換を指定する、アクセスするステップと、
前記データセットの中からデータセットを選択することと、
前記選択されたデータセットに関連する1つ又は複数の他のデータセットを前記スキーマから識別することと
によって、記憶装置における複数の前記データセットを前記データセットの間から識別するステップと、
前記複数の前記データセットの属性を識別するステップと、
前記複数の前記データセットの識別された属性を表し、前記属性間の1つ又は複数の関係を更に表す論理データを生成するステップと、
1つ又は複数のインターフェースを通じて、前記複数の前記データセットの識別された前記属性を表す前記論理データのうちの1つ又は複数の部分へのアクセスを提供するステップと、
前記1つ又は複数のインターフェースから、動作を実行するときに、識別された前記属性のうちの少なくとも1つを指定する仕様を受信するステップと、
前記仕様と、前記論理データによって表される識別された前記属性間の前記1つ又は複数の関係とに基づいて、複数からの少なくとも1つのデータセットに記憶装置からアクセスすることによって前記動作を実行するように構成されているコンピュータプログラムを生成するステップであって、アクセスされた前記少なくとも1つのデータセットが、前記仕様において指定された前記属性のうちの少なくとも1つを有する、生成するステップと、を含む、方法。 A method implemented by a data processing system for providing one or more interfaces and a storage device for storing a data set having one or more attributes, the one or more interfaces comprising: providing access to the or more attributes of the data set, the method comprising:
accessing a schema, the schema comprising relationships between datasets represented in the schema, one or more calculations on one or more of the datasets, or the datasets; specifying and accessing one or more transformations of one or more of ;
selecting a dataset from among the datasets;
identifying one or more other datasets related to the selected dataset from the schema;
identifying a plurality of said data sets in a storage device among said data sets by;
identifying attributes of the plurality of data sets;
generating logical data representing the identified attributes of the plurality of data sets and further representing one or more relationships between the attributes;
providing access through one or more interfaces to one or more portions of the logical data representing the identified attributes of the plurality of data sets;
receiving from the one or more interfaces a specification specifying at least one of the identified attributes when performing an operation;
by accessing at least one data set from a plurality from a storage device based on the specification and the one or more relationships between the identified attributes represented by the logical data; generating a computer program configured to perform said operations, wherein said at least one data set accessed has at least one of said attributes specified in said specification; A method comprising the steps of : 前記1つ又は複数のインターフェースが、前記複数のデータセットに記憶装置からアクセスすることなく、前記論理データのうちの前記1つ又は複数の部分へのアクセスを提供する、請求項1に記載の方法。 2. The one or more interfaces provide access to the one or more portions of the logical data without accessing the plurality of data sets from a storage device. the method of. 前記仕様において指定された前記属性のうちの前記少なくとも1つを含む前記複数のデータセットからのデータセットを識別するステップと、
識別された前記データセットに記憶装置からアクセスするステップと、を含む、請求項1に記載の方法。 identifying a dataset from the plurality of datasets that includes the at least one of the attributes specified in the specification;
2. The method of claim 1 , comprising: accessing the identified data set from a storage device. 記憶装置からアクセスされた前記少なくとも1つのデータセットを使用して前記コンピュータプログラムを実行するステップを含む、請求項1に記載の方法。 2. The method of claim 1 , comprising executing the computer program using the at least one data set accessed from a storage device. 前記仕様において指定された前記属性のうちの前記少なくとも1つを有する前記複数のデータセット内のデータセットのみに記憶装置からアクセスすることによって前記動作を実行するように構成されている最適化されたコンピュータプログラムを作成するように、前記コンピュータプログラムを最適化するステップを含む、請求項1に記載の方法。 an optimization configured to perform the operation by accessing from storage only datasets in the plurality of datasets that have the at least one of the attributes specified in the specification; 2. The method of claim 1 , comprising optimizing the computer program to create a computer program that is performed. 前記1つ又は複数の属性が、前記複数の前記データセットのフィールド名を含む、請求項1に記載の方法。 2. The method of claim 1 , wherein the one or more attributes include field names of the plurality of data sets. 前記1つ又は複数の属性が、記憶装置内の前記複数の前記データセットにアクセスするための情報を含む、請求項1に記載の方法。 2. The method of claim 1 , wherein the one or more attributes include information for accessing the plurality of data sets in a storage device. 前記スキーマから、選択された前記データセットと前記1つ又は複数の他のデータセットとを結合するための1つ又は複数のパラメータを識別するステップを含む、請求項1に記載の方法。 2. The method of claim 1 , comprising identifying from the schema one or more parameters for joining the selected dataset and the one or more other datasets. 前記1つ又は複数のパラメータが、選択された前記データセットと前記1つ又は複数の他のデータセットのうちの少なくとも1つとを結合するためのキーを含む、請求項8に記載の方法。 9. The one or more parameters include a key for combining the selected data set with at least one of the one or more other data sets. the method of. クライアントデバイスから、選択された前記データセットを指定する選択データを受信するステップを含む、請求項1に記載の方法。 2. The method of claim 1 , comprising receiving selection data from a client device specifying the selected data set. 選択された前記データセットが、前記論理データのルートノードを含み、前記1つ又は複数の他のデータセットのうちの少なくとも1つが、選択された前記データセットに結合される、請求項1に記載の方法。 The selected data set includes a root node of the logical data, and at least one of the one or more other data sets is coupled to the selected data set. The method described in Section 1 . 前記データセットのうちの1つ又は複数に対する前記1つ又は複数の計算、又は前記データセットのうちの1つ又は複数の1つ又は複数の変換が、前記複数の前記データセットのうちの少なくとも1つの仮想フィールドを定義する、請求項1に記載の方法。 the one or more calculations on one or more of the data sets or the one or more transformations of the one or more of the data sets on one or more of the data sets 2. The method of claim 1, defining at least one virtual field. 前記仕様と、前記論理データによって表される識別された前記属性間の前記1つ又は複数の関係とに基づいて前記動作を実行するように構成されている実行可能なデータフローグラフを生成するステップを含み、前記実行可能なデータフローグラフが、前記1つ又は複数の属性のうちの少なくとも1つを入力として含む、請求項1に記載の方法。 generating an executable data flow graph configured to perform the operation based on the specification and the one or more relationships between the identified attributes represented by the logical data; 2. The method of claim 1 , wherein the executable data flow graph includes at least one of the one or more attributes as input. 前記仕様において指定された前記属性のうちの前記少なくとも1つを含まない前記複数の前記データセット内の少なくとも1つのデータセットに記憶装置からアクセスする動作を前記コンピュータプログラムから排除するステップを含む、請求項1に記載の方法。 eliminating from the computer program an operation of accessing from a storage device at least one data set in the plurality of data sets that does not include the at least one of the attributes specified in the specification; 2. The method of claim 1 , comprising the step of : 前記コンピュータプログラムが、選択ステートメントによる複数からの少なくともいくつかのデータに記憶装置からアクセスするように構成され、前記選択ステートメントが、前記仕様において指定された前記属性のうちの前記少なくとも1つのみを選択するように最小化される、請求項1に記載の方法。 The computer program is configured to access at least some data from a storage device by a selection statement, wherein the selection statement selects the at least one of the attributes specified in the specification. 2. The method of claim 1 , wherein the method is minimized to select only one . 前記論理データはデータソースとして読み取られる、請求項1に記載の方法。 2. The method of claim 1 , wherein the logical data is read as a data source. 前記複数の前記データセットの識別された前記属性を表す前記論理データの前記1つ又は複数の部分を表示するための、また、さらに、前記動作を実行する際に、識別された前記属性の少なくとも1つを指定する前記仕様を定義するための1つ又は複数のグラフィカルユーザインターフェースを含む開発環境を提供するステップをさらに含む displaying the one or more portions of the logical data representing the identified attributes of the plurality of data sets; further comprising providing a development environment including one or more graphical user interfaces for defining said specification specifying one.
請求項1に記載の方法。 The method according to claim 1. 1つ又は複数のインターフェースと、1つ又は複数の属性を有するデータセットを記憶する記憶装置とを提供するためのシステムであって、前記1つ又は複数のインターフェースが前記データセットの前記1つ又は複数の属性へのアクセスを提供し、前記システムが、
1つ又は複数のプロセッサと、前記1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに動作を実行させるように動作可能な命令を記憶する1つ又は複数の記憶デバイスであって、前記動作が、
スキーマにアクセスすることであって、前記スキーマが、前記スキーマにおいて表されるデータセット間の関係、前記データセットのうちの1つ又は複数に対する1つ又は複数の計算、又は前記データセットのうちの1つ又は複数の1つ又は複数の変換を指定する、アクセスすることと、
前記データセットの中からデータセットを選択することと、
前記選択されたデータセットに関連する1つ又は複数の他のデータセットを前記スキーマから識別することと
によって、記憶装置における複数の前記データセットを前記データセットの間から識別することと、
前記複数の前記データセットの属性を識別することと、
前記複数の前記データセットの識別された属性を表し、前記属性間の1つ又は複数の関係を更に表す論理データを生成することと、
前記1つ又は複数のインターフェースを通じて、前記複数の前記データセットの識別された前記属性を表す前記論理データのうちの1つ又は複数の部分へのアクセスを提供することと、
前記1つ又は複数のインターフェースから、動作を実行するときに、識別された前記属性のうちの少なくとも１つを指定する仕様を受信することと、
前記仕様と、前記論理データによって表される識別された前記属性間の前記1つ又は複数の関係とに基づいて、複数からの少なくとも１つのデータセットに記憶装置からアクセスすることによって前記動作を実行するように構成されているコンピュータプログラムを生成することであって、アクセスされた前記少なくとも１つのデータセットが、前記仕様において指定された前記属性のうちの少なくとも１つを有する、生成することと、を含む、システム。 A system for providing one or more interfaces and a storage device for storing a data set having one or more attributes , the one or more interfaces having one or more attributes of the data set . providing access to one or more attributes;
one or more processors and one or more instructions storing instructions operable, when executed by the one or more processors, to cause the one or more processors to perform operations; A storage device, the operation comprising:
accessing a schema, the schema determining the relationship between datasets represented in the schema, one or more calculations on one or more of the datasets, or one or more calculations on one or more of the datasets; specifying or accessing one or more transformations;
selecting a dataset from among the datasets;
identifying one or more other datasets related to the selected dataset from the schema;
identifying a plurality of said data sets in a storage device from among said data sets;
identifying attributes of the plurality of data sets;
generating logical data representing identified attributes of the plurality of data sets and further representing one or more relationships between the attributes;
providing access through the one or more interfaces to one or more portions of the logical data representing the identified attributes of the plurality of data sets;
receiving from the one or more interfaces a specification specifying at least one of the identified attributes when performing an operation;
performing the operation by accessing at least one data set from a plurality from a storage device based on the specification and the one or more relationships between the identified attributes represented by the logical data; generating a computer program configured to: wherein the at least one data set accessed has at least one of the attributes specified in the specification; system , including . 前記コンピュータプログラムが、前記仕様において指定された前記属性のうちの前記少なくとも１つを有するデータセットのみに記憶装置からアクセスするように構成されている、請求項18に記載のシステム。 19. The system of claim 18 , wherein the computer program is configured to access from storage only those datasets that have the at least one of the attributes specified in the specification. 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、コンピューティングシステムに、
スキーマにアクセスすることであって、前記スキーマが、前記スキーマにおいて表されるデータセット間の関係、前記データセットのうちの1つ又は複数に対する1つ又は複数の計算、又は前記データセットのうちの1つ又は複数の1つ又は複数の変換を指定する、アクセスすることと、
前記データセットの中からデータセットを選択することと、
前記選択されたデータセットに関連する1つ又は複数の他のデータセットを前記スキーマから識別することと
によって、記憶装置における複数の前記データセットを前記データセットの間から識別することと、
前記複数の前記データセットの属性を識別することと、
前記複数の前記データセットの識別された属性を表し、前記属性間の1つ又は複数の関係を更に表す論理データを生成することと、
前記1つ又は複数のインターフェースを通じて、前記複数の前記データセットの識別された前記属性を表す前記論理データのうちの1つ又は複数の部分へのアクセスを提供することと、
前記1つ又は複数のインターフェースから、動作を実行するときに、識別された前記属性のうちの少なくとも１つを指定する仕様を受信することと、
前記仕様と、前記論理データによって表される識別された前記属性間の前記1つ又は複数の関係とに基づいて、複数からの少なくとも１つのデータセットに記憶装置からアクセスすることによって前記動作を実行するように構成されているコンピュータプログラムを生成するステップであって、アクセスされた前記少なくとも１つのデータセットが、前記仕様において指定された前記属性のうちの少なくとも１つを有する、生成することと、を行わせる、非一時的コンピュータ可読記憶媒体。 a non-transitory computer-readable storage medium storing instructions, the instructions being readable to a computing system;
accessing a schema, the schema determining the relationship between datasets represented in the schema, one or more calculations on one or more of the datasets, or one or more calculations on one or more of the datasets; specifying or accessing one or more transformations;
selecting a dataset from among the datasets;
identifying one or more other datasets related to the selected dataset from the schema;
identifying a plurality of said data sets in a storage device from among said data sets;
identifying attributes of the plurality of data sets;
generating logical data representing identified attributes of the plurality of data sets and further representing one or more relationships between the attributes;
providing access through the one or more interfaces to one or more portions of the logical data representing the identified attributes of the plurality of data sets;
receiving from the one or more interfaces a specification specifying at least one of the identified attributes when performing an operation;
performing the operation by accessing at least one data set from a plurality from a storage device based on the specification and the one or more relationships between the identified attributes represented by the logical data; generating a computer program configured to: generate the at least one data set accessed having at least one of the attributes specified in the specification; , a non-transitory computer-readable storage medium. 前記コンピュータプログラムが、前記仕様において指定された前記属性のうちの前記少なくとも1つを有するデータセットのみに記憶装置からアクセスするように構成されている、請求項20に記載の非一時的コンピュータ可読記憶媒体。 21. The non-transitory computer of claim 20 , wherein the computer program is configured to access from a storage device only datasets having the at least one of the attributes specified in the specification. Readable storage medium.
JP2022553152A 2020-03-06 2021-03-04 Generate optimized logic from your schema Active JP7505014B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024094169A JP2024133060A (en) 2020-03-06 2024-06-11 Generate optimized logic from your schema

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062986374P 2020-03-06 2020-03-06
US62/986,374 2020-03-06
US17/025,751 US11210285B2 (en) 2020-03-06 2020-09-18 Generation of optimized logic from a schema
US17/025,751 2020-09-18
PCT/US2021/020871 WO2021178665A1 (en) 2020-03-06 2021-03-04 Generation of optimized logic from a schema

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024094169A Division JP2024133060A (en) 2020-03-06 2024-06-11 Generate optimized logic from your schema

Publications (3)

Publication Number Publication Date
JP2023517310A JP2023517310A (en) 2023-04-25
JPWO2021178665A5 true JPWO2021178665A5 (en) 2024-03-19
JP7505014B2 JP7505014B2 (en) 2024-06-24

Family

ID=77555716

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022553152A Active JP7505014B2 (en) 2020-03-06 2021-03-04 Generate optimized logic from your schema
JP2024094169A Pending JP2024133060A (en) 2020-03-06 2024-06-11 Generate optimized logic from your schema

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024094169A Pending JP2024133060A (en) 2020-03-06 2024-06-11 Generate optimized logic from your schema

Country Status (9)

Country Link
US (3) US11210285B2 (en)
EP (1) EP4115301A1 (en)
JP (2) JP7505014B2 (en)
CN (2) CN115516443B (en)
AU (1) AU2021230348A1 (en)
BR (1) BR112022017705A2 (en)
CA (1) CA3170453A1 (en)
MX (1) MX2022011037A (en)
WO (1) WO2021178665A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210285B2 (en) * 2020-03-06 2021-12-28 Ab Initio Technology Llc Generation of optimized logic from a schema
US11663203B2 (en) * 2020-10-01 2023-05-30 Sigma Computing, Inc. Optimizing database statements using a query compiler
US11436237B2 (en) * 2020-12-17 2022-09-06 International Business Machines Corporation Ranking datasets based on data attributes
US11841872B2 (en) * 2021-07-26 2023-12-12 Salesforce, Inc. Interactively building previews of extract, transform, load (ETL) graphs using cached previews of subgraphs
US20240078237A1 (en) * 2022-09-07 2024-03-07 Google Llc Database Join Operations With Early Filtering
WO2024168203A1 (en) * 2023-02-09 2024-08-15 Ramp Business Corporation Subroutine objects for workflow implementation
WO2024197264A1 (en) 2023-03-23 2024-09-26 Ab Initio Technology Llc Logical access for previewing expanded view datasets

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2575117A (en) 1950-02-25 1951-11-13 Naken William Sanding device
US5966072A (en) 1996-07-02 1999-10-12 Ab Initio Software Corporation Executing computations expressed as graphs
US6681383B1 (en) * 2000-04-04 2004-01-20 Sosy, Inc. Automatic software production system
US6859217B2 (en) * 2000-07-19 2005-02-22 Microsoft Corporation System and method to display and manage data within hierarchies and polyarchies of information
US6944626B2 (en) * 2001-11-26 2005-09-13 Microsoft Corp. Dynamically generated schema representing multiple hierarchies of inter-object relationships
EP1798672A1 (en) * 2005-11-23 2007-06-20 Ubs Ag Computer-implemented system for creating, processing and managing structured data sets
JP4814935B2 (en) * 2006-02-28 2011-11-16 富士通株式会社 Business management program, business management apparatus, and business management method
US8069129B2 (en) 2007-04-10 2011-11-29 Ab Initio Technology Llc Editing and compiling business rules
EP2633398B1 (en) 2010-10-25 2020-05-27 Ab Initio Technology LLC Managing data set objects in a dataflow graph that represents a computer program
US10754877B2 (en) * 2013-01-15 2020-08-25 Datorama Technologies, Ltd. System and method for providing big data analytics on dynamically-changing data models
US10176234B2 (en) * 2014-11-05 2019-01-08 Ab Initio Technology Llc Impact analysis
JP7034924B2 (en) * 2016-08-22 2022-03-14 オラクル・インターナショナル・コーポレイション Systems and methods for dynamic lineage tracking, reconfiguration, and lifecycle management
US11423083B2 (en) 2017-10-27 2022-08-23 Ab Initio Technology Llc Transforming a specification into a persistent computer program
US12032631B2 (en) 2018-05-30 2024-07-09 Ab Initio Technology Llc Systems and methods for dataflow graph optimization
US11210285B2 (en) * 2020-03-06 2021-12-28 Ab Initio Technology Llc Generation of optimized logic from a schema

Similar Documents

Publication Publication Date Title
JP6850907B2 (en) Generate and execute query plans in a relational database management system with a temporal-relational database
US20190303406A1 (en) Systems and Methods for Optimizing Performance of Graph Operations
US20210049163A1 (en) Data preparation context navigation
CA3064561A1 (en) Automated dependency analyzer for heterogeneously programmed data processing system
US11288290B2 (en) Building reports
EP3584704B1 (en) Shared cache used to provide zero copy memory mapped database
CN108628608A (en) A kind of method and device of data visualization
Im et al. VisReduce: Fast and responsive incremental information visualization of large datasets
KR101213798B1 (en) Complex data access
US7720831B2 (en) Handling multi-dimensional data including writeback data
JP2012515972A (en) Web-based diagram visual extensibility
US9280361B2 (en) Methods and systems for a real time transformation of declarative model and layout into interactive, digital, multi device forms
CN112667598B (en) Data model rapid construction system based on business demand change
CN112970011A (en) Recording pedigrees in query optimization
JPWO2021178665A5 (en)
EP3086244B1 (en) Database system and method of operation thereof
US20220043818A1 (en) Separate Runtime Data From Metadata
JP2023528166A (en) synthesizing programs in a spreadsheet programming language
CN113742346A (en) Asset big data platform architecture optimization method
US9594811B2 (en) Method and system for limiting database access results
CN106687999B (en) Generating a set of instructions implementing rules designed to update objects specified according to an application data model
US11966394B2 (en) Bill of materials traversal to handle logical units of work for in-memory databases
US20240320224A1 (en) Logical Access for Previewing Expanded View Datasets
US12045562B1 (en) Dynamically generating shared spreadsheets according to user references in spreadsheet data
US11693826B2 (en) Lightweight extension of core data services