JP6216423B2 - データクエリの管理 - Google Patents

データクエリの管理 Download PDF

Info

Publication number
JP6216423B2
JP6216423B2 JP2016167897A JP2016167897A JP6216423B2 JP 6216423 B2 JP6216423 B2 JP 6216423B2 JP 2016167897 A JP2016167897 A JP 2016167897A JP 2016167897 A JP2016167897 A JP 2016167897A JP 6216423 B2 JP6216423 B2 JP 6216423B2
Authority
JP
Japan
Prior art keywords
data
query
node
flow graph
data source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016167897A
Other languages
English (en)
Other versions
JP2017016677A (ja
Inventor
シェヒター,イアン
アリン,グレン,ジョン
サード ホーリー,ジョセフ,スケフィントン,ザ
サード ホーリー,ジョセフ,スケフィントン,ザ
Original Assignee
アビニシオ テクノロジー エルエルシー
アビニシオ テクノロジー エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アビニシオ テクノロジー エルエルシー, アビニシオ テクノロジー エルエルシー filed Critical アビニシオ テクノロジー エルエルシー
Publication of JP2017016677A publication Critical patent/JP2017016677A/ja
Application granted granted Critical
Publication of JP6216423B2 publication Critical patent/JP6216423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24534Query rewriting; Transformation
    • G06F16/24542Plan optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2425Iterative querying; Query formulation based on the results of a preceding query
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • G06F16/244Grouping and aggregation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • G06F16/24522Translation of natural language queries to structured queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3325Reformulation based on results of preceding query
    • G06F16/3326Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G06F16/3328Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages using graphical result space presentation or visualisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7343Query language or query format

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本記載は、データクエリの管理に関する。
データは、データベースに記憶され、データベーステーブルなどの様々な形態で構成され得る。また、データベーステーブルは、共通するテーマや目的を持ったデータの集合を含み得る。データベーステーブルの構成は、データベーススキームによって定義され、複数(multiple)のデータベーステーブルは、類似した又は同一の構成を有し得る。さらに、データベース及びその関連するデータベーステーブルの内容は、データが調整され、付加され、又は削除されることに伴い、時間とともに変化し得る。様々な技術は、データベースとデータをやり取りし、データベース内のデータを操作するために、用いられ得る。
一態様において、概して、データ管理システムによる使用のためのデータベースクエリを用意する方法は、データベースクエリを受信することと、データ記憶からの(データ要素が投入されたデータベーステーブルなどの)データソースに関する情報を受信することと、前記データベーステーブルを反映したフォーマット済みデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現を作成すること(producing)と、前記構造表現及び前記データベースクエリを、前記データベーステーブルの前記データベースクエリを実行するための操作(operations)を表すクエリプランを作成することのできるプランジェネレータに、提供すること、を含む。
各態様は、1つ又は複数の以下の特徴を含み得る。
前記データベースクエリは、SQLクエリを含む。
前記データベーステーブルの前記構造表現を作成することは、データベーステーブルのデータ構造からデータ型を決定することと、前記データ型を前記構造表現の対応するデータ構造に割り当てることを含む。
前記データベーステーブルの前記構造表現を作成することは、前記データベーステーブルの前記データ要素のデータ記憶サイズを決定することと、前記算出されたデータ記憶サイズを前記構造表現に割り当てることを含む。
前記データベーステーブルに関する情報を受信することは、データソースレジストリに基づいて前記データベーステーブルを識別することを含む。
前記データソースレジストリは、データフォーマット、キー、及びデータソースのインデックスを含む。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成する方法は、プランジェネレータから、データベーステーブルのデータベースクエリを実行する操作を表すクエリプランを受信することと、前記クエリプランからデータフローグラフを作成することと、を含み、前記データフローグラフは、前記クエリプランが表す少なくとも1つの操作を表している少なくとも1つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも1つのデータフローを表している少なくとも1つのリンクを含む。
各態様は、1つ又は複数の以下の特徴を含み得る。
前記データベースクエリは、SQLクエリを含む。
前記データフローグラフは、少なくとも一つの入力データセットからデータの流れを受信する少なくとも1つのノードと、少なくとも1つの出力データセットにデータの流れを提供する少なくとも一つのノードとを含む。
前記方法は、さらに、前記データベーステーブルを前記データフローグラフに提供することと、前記データフローグラフを実行することを含む。
前記方法は、さらに、前記データフローグラフから前記データベースクエリの出力を受信することを含む。
前記プランジェネレータは、クエリオプティマイザを含む。
データフローグラフの仕様を生成することは、前記クエリプランのクエリ操作を前記データフローグラフの各コンポーネントにマッピングすることを含む。
前記クエリプランは、前記データベースクエリのパラメータのデータ型を含む。
前記データベースクエリは実行可能な機能への参照を含み、データフローグラフの前記仕様は、前記実行可能な機能を表すコンポーネントを含む。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成する方法は、SQLクエリを受信することと、データ記憶から、データ要素が投入されたデータベーステーブルに関する情報を受信することと、前記データベーステーブルを反映したフォーマット済みデータ編成を含みかつ前記データベーステーブルの前記データを含まない、前記データベーステーブルの構造表現を作成することと、前記構造表現及び前記SQLクエリを、前記データベーステーブルの前記SQLクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供することと、前記プランジェネレータからクエリプランを受信することと、前記クエリプランからデータフローグラフを作成することとを含み、前記データフローグラフは、前記クエリプランが示す少なくとも1つの操作を表している少なくとも1つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも1つのデータフローを表している少なくとも1つのリンクを含む。
一態様によれば、概して、データ管理システムによる使用のためのデータベースクエリを用意するシステムは、データ要素が投入された前記データベーステーブルに関する情報を収容するデータストレージと、コンピュータシステムとを含み、前記コンピュータシステムは、データベースクエリを受信し、前記データベーステーブルを反映したフォーマットされたデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現を作成し、前記構造表現及びデータベースクエリを、前記データベーステーブルの前記データベースクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供するように構成されている。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成するシステムは、コンピュータシステムを含み、前記コンピュータシステムは、プランジェネレータから、データベーステーブルのデータベースクエリを実行する操作を表すクエリプランを受信し、前記クエリプランからデータフローグラフを作成するように構成され、前記データフローグラフは、前記クエリプランが表す少なくとも1つの操作を表している少なくとも1つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも1つのデータフローを表している少なくとも1つのリンクを含む。
一態様によれば、概して、データ管理システムによる使用のためのデータベースクエリを用意するシステムは、データ要素が投入されたデータベーステーブルに関する情報を記憶する手段と、データベースクエリを処理する手段とを含み、前記処理は、データベースクエリを受信することと、前記データベーステーブルを反映したフォーマットされたデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現を作成することと、前記構造表現及び前記データベースクエリを、前記データベーステーブルの前記データベースクエリを実行するための操作を表すクエリプランを作成できるプランジェネレータに、提供することを含む。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成するシステムは、クエリプランを処理する手段を含み、前記処理は、プランジェネレータから、データベーステーブルのデータベースクエリを実行する操作を表すクエリプランを受信することと、前記クエリプランからデータフローグラフを作成することと、を含み、前記データフローグラフは、前記クエリプランが表す少なくとも1つの操作を表している少なくとも1つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも1つのデータフローを表している少なくとも1つのリンクを含む。
一態様によれば、概して、データ管理システムによる使用のためのデータベースクエリを用意するコンピュータプログラムを記憶するコンピュータ可読媒体は、コンピュータに、データベースクエリを受信させ、データ記憶から、データ要素が投入されたデータベーステーブルに関する情報を受信させ、前記データベーステーブルを反映したフォーマットされたデータ編成を含み前記データベーステーブルの前記データ要素を含まない、前記データベーステーブルの構造表現を作成させ、前記構造表現及び前記データベースクエリを、前記データベーステーブルの前記データベースクエリ実行のための操作を表すクエリプランを作成できるプランジェネレータに、提供させるための命令を含む。
一態様によれば、概して、データベースクエリを表すデータフローグラフを生成するコンピュータプログラムを記憶するコンピュータ可読媒体は、コンピュータに、プランジェネレータから、データベーステーブルのデータベースクエリを実行する操作を表すクエリプランを受信させ、前記クエリプランからデータフローグラフを作成させるための命令を含み、前記データフローグラフは、前記クエリプランが表す少なくとも1つの操作を表している少なくとも1つのノードを含み、かつ、前記クエリプランに関連付けられた少なくとも1つのデータフローを表している少なくとも1つのリンクを含むことを特徴とする。
図1は、データフローグラフのブロック図である。 図2は、データベースクエリ及びデータフローグラフを示す図である。 図3は、データベースシステム及び関連するコンポーネントの概要を示す図である。 図4は、データフローグラフの実行を示す図である。 図5は、データベーステーブル及びデータベーステーブルの構造表現を示す図である。 図6は、実行可能な機能をそれぞれ含む、データベースクエリ及びデータフローグラフを示す図である。 図7は、データベースシステムの操作を示すフローチャートである。 図8は、データベースシステムの操作を示すフローチャートである。
1.データベース、クエリ、グラフ
データ管理システムは、1つ又は複数のデータソースに記憶されたデータを取り扱う。このようなデータソースは、データベーステーブルなどの1つ又は複数の形態をとることができ、これらの形態は、行及び列といったデータ構造に編成されたデータの集まりであり得る。ある構成では、各行がデータの記録を表し、各列が各行内のフィールドを表している。
データベースに含まれる情報は、データベースクエリを使用して、アクセスされ、処理(例えば、修正)され得る。データベースクエリとは、データベースの内容の部分集合と、その部分集合のデータに対してとる処置について記述した命令の集合である。例えば、幾つかのデータベースシステムは、構造化照会言語(SQL)のような専用のデータベースクエリ言語で記述されたデータベースクエリを実行する。これらのデータベースシステムでは、SQLクエリが、データベースの内容を操作するための主要な道具となる。
幾つかの実装では、データベースクエリ及び他の計算が、グラフ表示上、データベース管理システムに関連付けられている。例えば、データは、データフローとして呼ばれる、操作の集まりを通して、表現され得る。ある構成において、データフローは、グラフの各頂点に関連付けられた計算の成分を持つ、有向グラフによって提供され、コンポーネント間のデータフローはグラフのリンク(円弧、接線)に対応している。グラフは、モジュールエンティティであり、他のモジュールグラフに接続され又は組み合わされ得る。各グラフは、1つ又は複数の他のグラフで構成され、特定のグラフはさらに大きなグラフのコンポーネントであり得る。グラフィカルな開発環境(GDE)は、実行可能なグラフを指定してグラフコンポーネントのパラメータを定義するためのユーザインタフェースを提供する。このようなグラフに基づく計算を実施するシステムが、米国特許第5966072号の「EXECUTING COMPUTATIONS EXPRESSED AS GRAPHS(グラフとして表された計算の実行)」に記載されており、その全体を参照により本明細書に援用する。
図1を参照すると、データフローグラフ101の一例は、データフローグラフ101の実行可能なコンポーネント104a〜104jによって処理されるべきデータの集まりを提供する入力コンポーネント102を含む。ある例では、入力コンポーネント102は、データベースシステムに関連付けられたデータレコード又はトランザクション処理システムに関連付けられたトランザクションを備え得るデータソースである。このデータレコードは、例えば、データベーステーブルなどの様々な形式で記憶され得る。各実行可能コンポーネント104a〜104jは、データフローグラフ101全体で定義される計算の一部に関連付けられている。ワーク要素(例えば、データの集まり又はデータベーステーブルからの個々のデータレコード)は、あるコンポーネントの1つ又は複数の入力ポートに入り、出力ワーク要素(場合によっては、入力ワーク要素又は処理済みの入力ワーク要素)は、典型的には、コンポーネントの1つ又は複数の出力ポートから出る。データフローグラフ101において、コンポーネント104e、104g、及び104jからの出力ワーク要素は、出力データコンポーネント102a〜102cに記憶される。
幾つかのグラフベースデータベースシステムは、データベースクエリを処理するために使用され得る。例えば、あるデータベースクエリは、例えば、データフローにおける処理のために、データベーステーブルの内容のうち識別された部分集合を抽出するように、1つ又は複数のデータベーステーブルに対して適用され得る。幾つかの実装では、グラフベースデータベースシステムは、データフローグラフの形式でで、データベースクエリを受け取り実行する。他のデータベースシステムは、他のタイプのデータベースクエリを使用してもよい。
幾つかのケースでは、1つ又は複数のデータベーステーブルは、SQLを使用する別の種類のデータベースシステムからグラフベースデータベースシステムへ移動され得る。他方のデータベースシステムは、既に記述され、グラフベースデータベースシステムと互換性を持たないSQLクエリを、多数有していてもよい。幾つかの実装では、これらのSQLクエリは、グラフベースデータベースシステムと互換性のあるデータベースクエリに変換され得る。
図2は、SQLで記述されたデータベースクエリ200の一例を示している。例示されたデータベースクエリ200は、グラフベースデータベース管理システムによって管理されるデータベーステーブル202及び204に対して動作することを意図して作られている。このグラフベースデータベース管理システムは、データベーステーブル202及び204のデータを認識し得るが、これは、各データベーステーブルが、グラフベースデータベース管理システム固有のフォーマットで記述されているためである。このデータベーステーブル202及び204は、他のデータベーステーブル、例えば、SQLクエリを認識しデータフローグラフを使用しないデータベースシステムを起源にしたデータベーステーブル、から得られたデータを含んでいてもよい。
しかしながら、グラフベースデータベース管理システムは、SQLクエリを処理する内蔵型の機能性を有せず、従って、グラフベースデータベースクエリは、SQLデータベースクエリ200をエミュレートするようにs作成され得る。グラフベースデータベースクエリは、グラフベースデータベースシステムにより認識可能である。例えば、データベースクエリ200は、SQLクエリからデータフローグラフ208に変換され得る(206)。データフローグラフ208は、データベーステーブル202及び204を入力として受け付けることにより、データベーステーブル202及び204に対して動作し、データベースクエリ200の実行結果を出力として提供する。
2.クエリプラン
幾つかのデータベースシステムは、クエリプラン(エクスプレインプランと呼ばれることもある)に基づくSQLクエリのようなデータベースクエリを遂行する。クエリプランとは、データベースクエリが実行される場合に行われるデータベース操作を記述したものである。クエリプランは、これらデータベース操作の他の構成や異なる操作の集合が同じ結果を成し遂げる場合であったら、データベース操作のある一つの可能な構成を記述したものでも良い。
このようなクエリプランを提供するために、データベースシステムは、クエリプランジェネレータ(クエリプランナーと呼ばれることもある)を含み得る。例えば、クエリプランジェネレータは、データベースクエリの実行中に、クエリプランを作成(produce)し得るし、クエリプランジェネレータは、クエリの実行に関する決定が下される前に、クエリプランを生成(generate)し得る。
幾つかの構成では、データベース操作は、等価な出力がなお提供されている間に、様々な順番で実行され得る。そのため、クエリプランジェネレータは、最適なクエリプランを確定する機能性を有していてもよい。例えば、最適なクエリプランとして、最小の時間でデータベースクエリを実行したり、データ記憶空間のような最小量のデータベースリソースを使用し、又は、データベースシステムによって識別された制約内で、データベースクエリを実現するための、データベース操作の構成を記述したクエリプランが考えられる。最適なクエリプランを確定するクエリプランジェネレータの機能性は、想定可能な多数のクエリプランを採点したりランク付けする機能性を含んで良く、さらに、想定可能なクエリプランを、最適あるいは効率的な構成に再編成する機能性が含まれていても良い。
単一のデータベースクエリは、複数回実行され、各実行は、最適な固有のクエリプランを有し得る。例えば、あるデータベーステーブル内のデータは、あるデータベースクエリの二つの実行の間で変化し得る。本例では、データベースクエリの第1の実行用に生成されたクエリプランに記述された操作は、データベースクエリの第1の実行中よりも、第2の実行中の方が、幾分、実行時間を必要とする。この場合、操作の別の構成は、データベースクエリの第2の実行に一層適したものかも知れない。例えば、同じ操作から成る異なる構成や、異なる操作から成るある構成にすることが挙げられる。データベースクエリの第2の実行用に最適化されたクエリプランは、データベーステーブルの一時的な状態を考慮しながら、その実行のために生成され得る。
3.システム概要
クエリプランジェネレータは、SQLクエリのような別の種類のデータベースクエリをエミュレートする、グラフベースデータベースクエリを作成する際に使用され得る。図3は、データベース管理コンピュータシステム304上で実行するためのデータベースクエリ302を用意するデータベースクエリ管理システム300を示している。図示されているデータベース管理コンピュータシステム304は、データフローグラフとして実装されたデータベース操作を取り扱うグラフ実行エンジン306を含む。データベースクエリ管理システム300はまた、データフローグラフにより行われるべき操作の記述からデータフローグラフ312を構築できるグラフ生成エンジン310を有するグラフ生成コンピュータシステム308を含む。例えば、操作の記述は、クエリプラン314であり得る。
データベースクエリ管理システム300はまた、クエリプランジェネレータ318を実行するクエリプランニングコンピュータシステム316を含む。クエリプランジェネレータ318は、データベースクエリからクエリプランを作成する任意のクエリプランジェネレータであってもよく、データフローグラフやグラフ生成に関連した任意の機能を有するように設計される必要はない。さらに、データベースクエリ管理システム300はまた、データストレージ(例えば、ハードドライブ、光ディスク等)にデータベース322を有し、さらに単一又は複数のデータベーステーブル324a、324b、324cを含む、データベースコンピュータシステム320も含む。
データベース管理コンピュータシステム304、グラフ生成コンピュータシステム308、クエリプランニングコンピュータシステム316、及び、データベースコンピュータシステム320に対して、別々のコンピュータシステムが示されているが、これらのコンピュータシステムのうち2台以上のコンピュータシステムは、同一のコンピュータシステムであっても良く、あるいは、同一のコンピュータシステムのコンポーネントであっても良い。これらのコンピュータシステムは、いずれも、各実行可能コンポーネントを実行するための少なくとも1つのプロセッサと少なくとも1つのデータ記憶システムを有している。各コンピュータシステムは、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、インターネットのようなネットワーク、又は、別の種類のコンピュータネットワーク等のコンピュータネットワークを用いて、相互に接続することができる。
1つ又は複数のデータベースクエリ302からのデータフローグラフ312の作成を示すために、データフローグラフの実行前に、データベースクエリ及びデータベーステーブル326は、グラフ生成コンピュータシステム308によって受信及び処理される。グラフ生成コンピュータシステム308は、データベースコンピュータシステム320から、データベーステーブル326を受信する。
データベーステーブル326は、任意の形態を幾つも取り得る。例えば、データベーステーブル326は、リレーショナルデータベーステーブル、部分データベーステーブル、フラットファイル、別の種類のデータファイル、又は、データファイルの集まりであるかも知れない。幾つかの例では、データベーステーブル326は、例えば、データベーステーブルに関するメタデータなどのデータベーステーブルに関する情報や、データベーステーブルの記述の形で受信され得る。
幾つかの実装では、データベーステーブル326は、データベースコンピュータシステム320に関連付けられ、さもなければ、グラフ生成コンピュータシステム308へアクセス可能なデータレジストリによって識別され得る。データレジストリは、ルックアップファイルカタログの形式でもよく、その場合、例えば、データベーステーブル326に関連付けられたデータファイルの場所や、データベーステーブルに関連付けられたプライマリーキー及びインデックス情報を含んでいてもよい。データレジストリはまた、それぞれ異なる種類のデータベーステーブルに対する各データフォーマットの情報を提供し得る。さらに、データレジストリはまた、データフローグラフ312がどのようにしてデータベーステーブルにアクセスできるのかという情報を提供し得る。
グラフ生成コンピュータシステム308はまた、データベーステーブル326に適用されるデータベースクエリ302を受信する。例えば、データベースクエリは、SQLクエリであることも考えられる。データベースクエリ302は、任意数の想定されるソースから受信され得る。例えば、データベースクエリ302は、ユーザ330がデータベースクエリを入力したユーザインタフェース328から受信されても良い。幾つかの例では、データベースクエリ302は、データ記憶から受信されたり、データベースクエリは、インターネットのようなコンピュータネットワークから受信されたり、あるいは、データベースクエリは、別の予め受信されたデータベースクエリに基づいて生成される。
幾つかの実装では、グラフ生成コンピュータシステム308は、(矢印332で示すように、)データベーステーブル326の情報から作成された、データベーステーブル326のあるバージョンを、クエリプランニングコンピュータシステム316に提供する。例えば、クエリプランニングコンピュータシステム316に提供される上記データベーステーブル326のバージョンは、該データベーステーブルよりもサイズが小さくそのため処理を行う計算資源が少なくてすむデータベーステーブルの構造表現334であり得る。データベーステーブル326の構造表現334は、データベーステーブルに関する情報を含んでいるが、データベーステーブルのデータの一部又は全部を含んでいない。例えば、データベーステーブル326の構造表現334は、データベーステーブルの列、行、又はフィールドのような、データベーステーブルのフォーマットを反映したフォーマットを含み得る。データベーステーブル326の構造表現334はまた、データベーステーブルの各要素のデータ記憶サイズや、データベーステーブルの各要素のデータ型といった、データに関する情報を含み得る。
グラフ生成コンピュータシステムは、(矢印332で示すように)データベースクエリ302及びデータベーステーブル326の構造表現334を、クエリプランニングコンピュータシステム316に提供する。クエリプランニングコンピュータシステム316は、データベーステーブル326上でのデータベースクエリ302の実行に最適化されたクエリプランを作成する、クエリプランジェネレータ318を実行する。データベーステーブル326の構造表現334は、データベーステーブル326自身によって供給されるような、クエリプランジェネレータ318によって使用される同じ情報、例えば、データサイズ、データ型等の、データベーステーブルに含まれるデータに関する情報を供給する。幾つかの実装では、データベーステーブル326の構造表現334は、データルックアップ及び検索を最適化するために用いられるデータ要素のインデックスを含む。クエリプランジェネレータ318は、このインデックスを用いて、インデックス付きのデータベーステーブル326からデータ要素を識別し検索する速度を算出することができる。
グラフ生成コンピュータシステム308は、クエリプランニングコンピュータシステム316からクエリプラン314を受信する。クエリプラン314は、データベーステーブル326上でのデータベースクエリ302の実行に使用可能なデータベース操作の構成を記述する。例えば、クエリプラン314における操作は、データフローグラフ312のノードに対応し得る。クエリプラン314はまた、クエリプランにおける操作で用いられるデータ型に関する情報を含み得る。例えば、クエリプランにおける操作は、パラメータを持ち得るし、パラメータのデータ型が、クエリプランに記述され得る。
クエリプラン314が作成されると、クエリプラン314は、グラフ生成エンジン310によるデータフローグラフ312の作成のために、グラフ生成コンピュータシステム308に提供される。グラフ生成エンジン310は、クエリプラン314に対応するデータフローグラフ312を出力する。幾つかの実装では、データフローグラフ312は、クエリプランに記述されている操作を表すノードと、操作間のデータの流れを表すノードリンクとを有している。データフローグラフ312は、実行用にデータベースクエリを用意する各インスタンスに対して生成され得るので、グラフ生成エンジン310は、データベースクエリを実行するためのリアルタイム要求に迅速に応答するように、データフローグラフを生成することができる。幾つかの実装では、グラフ生成エンジン310は、1秒未満で、クエリプランからデータフローグラフを生成することができる。
グラフ生成コンピュータシステム308は、(矢印336で示すように)グラフ生成エンジン316によって生成されたデータフローグラフ312を、データベース管理コンピュータシステム304に提供する。幾つかの実装では、グラフ生成コンピュータシステム308はまた、データベース管理コンピュータシステムによる使用のためのデータベーステーブル326を用意するとともに、用意されたデータベーステーブル338を提供する。例えば、グラフ生成コンピュータシステム308は、データベーステーブル326を、グラフ生成コンピュータシステム308によって使用されるフォーマットから、データベース管理コンピュータシステム304によって使用されるフォーマットに変換するかも知れない。
データフローグラフ312がデータベース管理コンピュータシステム304に提供されると、実行に向けてデータフローグラフ312が用意される。図4に示すように、データベース管理コンピュータシステム304は、データフローグラフ312の操作を実行し、データベースクエリの結果402を作成するために、データベーステーブル326を使用し得る。データベース管理コンピュータシステム304は、データベーステーブル326を、データフローグラフ312の1つ又は複数のノード404a、404b、404cに提供し、グラフ実行エンジン306を用いてデータフローグラフを実行する。グラフ実行エンジン306は、基本的なデータベースクエリを実行するためのデータベース操作に対応する、データフローグラフ312のノード404a、404b、404cによって表される操作を行う。さらに、各ノード間のリンク408a、408b、408cは、データベーステーブルの処理に伴う各データベース操作間のデータの流れを表す。データフローグラフ312は、データベースクエリの結果402を出力する。
4.構造表現
図5は、データベーステーブル500及びデータベーステーブルの構造表現502(データベーステーブルからのデータを全く含まない)の一例を示している。データベーステーブル500は、類似した又は異なるタイプのデータを含み得る列504a〜504iを有している。データベーステーブル500はまた、それぞれ、各列に対応するフィールドを含む行508a〜508eも有している。行の各フィールドは、対応する列のデータ型(例えば、文字列、整数、浮動小数点数等)のデータ要素510a、510b、510cを含んでいる。さらに、各行508a〜508eは、固有のデータ記憶サイズ512a〜512eを有する。例えば、データ記憶サイズ512a〜512eは、行がメモリのようなデータストレージに存在している場合に、その行のデータ要素によって使用される記憶領域量であっても良い。
(図3に示すように、グラフ生成コンピュータシステム308によって作成される)データベーステーブル500の構造表現502は、元の列504a〜504iと同じデータ型を含みつつ、データベーステーブルと同一の列514a〜514iを有している。データベーステーブル500の構造表現502はまた、データベーステーブルの行508a〜508eに対応する行518a〜518を有している。しかしながら、行518a〜518eは、データベーステーブル500からのデータ要素510a、510b、510cを含んでいない。各行518a〜518eは、データ記憶サイズ値520a〜520eに関連付けられている。データベーステーブル500のある行のデータ記憶サイズ512a〜512eは、個々のデータ要素510a、510b、510cのデータ記憶サイズから算出することができる一方で、各行518a〜518eのデータ記憶サイズ値520a〜520e自体は、データベーステーブルの構造表現502の各行と供に記憶されるデータ要素であり得る。データベーステーブル500の構造表現502の総データ記憶サイズは、データベーステーブルの総データ記憶サイズに占める割合がごくわずかになることもあるが、それは、データベーステーブルの構造表現のフィールド522a、522b、522cには、データベーステーブルのフィールドからのデータ要素510a、510b、510cがないからである。幾つかの実装では、データベーステーブル500の構造表現502が、データベーステーブルからのデータ要素の一部を保持することもあり、例えば、データベーステーブルの構造表現は、キー値524及び526に対応するデータ要素や、データベーステーブルの構造、編成、又はフォーマットに使用される他のデータ要素を保持し得る。幾つかの実装では、データベーステーブル500の構造表現502は、データ検索に用いられる情報を提供するインデックス又は別のデータ構造を含み得る。幾つかの実装では、データベーステーブル500の構造表現502は、データベーステーブルに含まれるデータに関する他の統計を含み得る。
5.機能呼び出し
図6に示すように、幾つかの実装では、カスタムグラフ機能602は、データベースクエリ604に埋め込まれうる。例えば、カスタムグラフ機能602は、データフローグラフの実行中にデータフローグラフ606を行える操作を表すかも知れない。カスタムグラフ機能602は、データベースクエリ604のコンテキストの中で、任意の機能性を持たないかも知れないし、生成されたデータフローグラフ606に渡されるようにデータベースクエリに配置される。例えば、カスタムグラフ機能602は、データフローグラフへの変換のためであるが既存のデータベースクエリの一部を入れ替え又は増補(augment)のために用意するように、データベースクエリ604に追加されるかも知れない。さらに、クエリプランジェネレータは、カスタムグラフ機能602の機能性に関する情報を有しないかも知れない。カスタムグラフ機能602は、データベースクエリ604の言語において、等価機能を持たない機能であり得る。幾つかの実装では、クエリプランジェネレータは、カスタムグラフ機能602に対する入力データ型又は出力データ型を認識する。データフローグラフ606の生成608される場合、カスタムグラフ機能602は、データフローグラフのノード610として振る舞い得る。
幾つかの実装では、カスタムグラフ機能602は、特別な又はカスタマイズされたフォーマットのデータにアクセスするために用いられる機能であっても良く、また、カスタムグラフ機能は、正規表現やパターンマッチング式を実行するために用いられる機能であってもよく、又は、カスタムグラフ機能は、ユーザ、例えば、データベース管理コンピュータシステムのユーザによって実施される機能であっても良い。
6.操作の流れ
図7は、(図3に示す)グラフ生成コンピュータシステム308の操作の例を示したフローチャート700である。ステップ702において、グラフ生成コンピュータシステムは、例えば、ユーザインタフェースから又はデータ記憶からデータベースクエリを、受信する。ステップ704では、グラフ生成コンピュータシステムは、データベースシステムのデータベースから、データベーステーブルに関する情報を受信する。例えば、グラフ生成コンピュータシステムは、データ記憶からデータベーステーブル自体を受信しても良く、グラフ生成コンピュータシステムは、データベーステーブルに関するメタデータを受信しても良く、又は、グラフ生成コンピュータシステムは、ユーザインタフェースのユーザによって入力されたようなデータベーステーブルに関する情報を受信しても良い。ステップ706では、グラフ生成コンピュータシステムは、データベーステーブルを反映したフォーマット済みデータ編成を含みデータベーステーブルのデータがない、データベーステーブルの構造表現を生成する。ステップ708では、グラフ生成コンピュータシステムは、データベーステーブルの構造表現及びデータベースクエリを、クエリプランジェネレータによる使用のためにクエリプランニングコンピュータシステムに提供する。ステップ710では、グラフ生成コンピュータシステムは、クエリプランジェネレータによって作成されたクエリプランを、クエリプランニングコンピュータシステムから受信する。ステップ712では、グラフ生成コンピュータシステムは、クエリプランに記述されている操作に基づくクエリプランからデータフローグラフを生成するために、グラフ生成エンジンを使用する。ステップ714では、グラフ生成コンピュータシステムは、(例えば、データ管理システムのグラフ実行エンジンによる)実行のためにデータフローグラフを提供する。
図8は、(図3に示す)グラフ生成コンピュータシステム308の操作の例を示したフローチャート800である。ステップ802において、グラフ生成コンピュータシステムは、データベーステーブルに関する情報を受信する。例えば、グラフ生成コンピュータシステムは、ユーザインタフェースから又はデータ記憶から、予め受信したデータベーステーブルを受信しても良く、データベーステーブルを表すメタデータを受信しても良い。ステップ804では、グラフ生成コンピュータシステムは、受信したデータベーステーブルの同じ列及び行のフォーマットを有する新規のデータベーステーブルを生成する。ステップ806では、グラフ生成コンピュータシステムは、データベーステーブルの各列からデータ型を抽出することにより、受信したデータベーステーブルに関連付けられたデータ型を識別する。ステップ808では、グラフ生成コンピュータシステムは、識別されたデータ型を、新規データベーステーブルの列に割り当てる。ステップ810では、グラフ生成コンピュータシステムは、受信したデータベーステーブルに関するデータ統計、例えば、受信したデータベーステーブルの各行のデータ要素のデータ記憶サイズを算出する。ステップ812では、グラフ生成コンピュータシステムは、算出されたデータ統計を、受信したデータベーステーブルの構造表現となる新規のデータベーステーブルに割り当てる。
上記のデータベースクエリ管理法は、コンピュータ上で実行されるソフトウェアを使用して実現され得る。具体的には、ソフトウェアは、1つ又は複数のプログラムされた又はプログラム可能なコンピュータシステム(分散型、クライアント/サーバー型、グリッド型など、様々なアーキテクチャに基づくもの)上で実行される1つ又は複数のコンピュータプログラムにおいて手順を形成する。上記コンピュータシステムのそれぞれは、少なくとも1つのプロセッサ、少なくとも1つのデータ記憶システム(揮発性及び不揮発性メモリ、及び/又は、記憶素子を含む)、少なくとも1つの入力装置又はポート、並びに、少なくとも1つの出力装置又はポートを含んでいる。上記ソフトウェアは、例えば、計算グラフの設計と構成とに関連する他のサービスを提供する、より大規模なプログラムの1つ又は複数のモジュールを形成していても良い。グラフのノード及び要素は、コンピュータ可読媒体に記憶されたデータ構造として、又は、データレジストリに記憶されたデータモデルに適合する他の編成データとして、実装することができる。
ソフトウェアは、汎用又は専用プログラム可能コンピュータによって読み取り可能なCD−ROMなどの記憶媒体で提供されても良いし、又は、ソフトウェアが実行されるコンピュータに対してネットワークの通信媒体を経由して配布されても良い(伝播信号にコード化される)。その機能のすべては、専用コンピュータ上か、又はコプロセッサのように、専用ハードウェアを使用して実行される。ソフトウェアは、ソフトウェアによって指定される計算の異なる部分が異なるコンピュータによって実施されるような分散された方法で実装してもよい。記憶媒体又は装置をコンピュータシステムが読み込んで、本明細書に記載された手順を実行するとき、コンピュータを構成し操作するために、そのような各コンピュータプログラムは、好ましくは、汎用又は専用プログラム可能コンピュータで読取り可能な記憶媒体又は装置に記憶又はダウンロードされる(例えば、ソリッドステートメモリもしくは媒体、又は磁気もしくは光媒体)。本発明のシステムは、コンピュータプログラムによって構成され、コンピュータ読取り可能記憶媒体として実装するものと考えてよい。そのように構成された記憶媒体によって、コンピュータシステムを特定かつ所定の方法で動作させて本明細書に記載する機能を実現する。
本発明の多くの実施の形態について説明した。しかしながら、本発明の趣旨と範囲から逸脱することなくさまざまな改変を行えることは言うまでもない。例えば、上記ステップの幾つかは、独立した順序であってもよく、したがって説明とは異なる順序で実施することができる。
上記説明は、付帯する特許請求の範囲によって規定される本発明の範囲を示すことを意図しており、その範囲を制限するものではない。例えば、上記の多くの機能ステップは、全体の処理に実質的に影響を及ぼすことなく、異なる順序で実施してもよい。その他の実施の形態は、後述する特許請求の範囲内にある。

Claims (57)

  1. コンピュータによって実施される、データソースからのデータに対する動作方法であって、前記データは前記データソースの有形かつ非一過性のコンピュータ可読媒体に格納され、前記動作はリレーショナルデータベースに適用可能なクエリ言語に従って表現されたクエリに基づくものであり、前記動作は、
    クエリを受信することと、
    前記クエリに基づいてデータソースを識別することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の要求システムを識別することと、
    前記要求システムによって、クエリプランナーに対するリクエストを前記クエリに基づいて生成することと、
    前記要求システムによって、前記リクエストを前記クエリプランナーに提供することと、
    前記リクエストに基づいて前記クエリプランナーによって生成されたクエリプランを受信することであって、前記クエリプランは、リレーショナルデータベースを管理するシステムによって行われるべき1つまたは複数のステップの記述を含むことと、
    データフローグラフをインスタンス化するデータ構造を生成することであって、前記データフローグラフは、
    実行すべき少なくとも1つの操作を表す第1のノードであって、
    前記第1のノードは、実行可能なプログラムコードを呼び出して前記少なくとも1つの操作を行うために実行システムが使用することのできる情報と関連付けられ、
    前記第1のノードは、データを前記プログラムコードに対して使用可能とするために実行システムが使用することのできる情報と関連付けられ、かつ
    前記少なくとも1つの操作は、前記クエリプランによって記述されたステップに基づいて選択される、第1のノードと、
    前記第1のノードの操作の出力データを表す少なくとも1つのリンクであって、前記第1のノードの操作の前記出力データは、前記データフローグラフの第2のノードの操作に対する入力データとして提供される、少なくとも1つのリンクと、を含むことと、
    前記データソースからデータを受信することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の実行システムを識別することと、
    前記識別された実行システム上で、前記データフローグラフに基づいてプログラムコードを実行することと、を含む、
    方法。
  2. 前記データフローグラフは、前記クエリプランによって記述されたいずれかのステップに基づいて選択された操作以外の実行すべき操作を表す第3のノードを含む、請求項1に記載の方法。
  3. 前記データフローグラフに基づいて前記プログラムコードを実行することは、前記データフローグラフのノードと第2のデータフローグラフのノードとの間のリンクをインスタンス化することを含み、前記第2のデータフローグラフは、前記クエリプランによって記述されたいずれかのステップに基づいて選択された操作以外の実行すべき操作を表す少なくとも1つのノードを含む、請求項1に記載の方法。
  4. 前記データソースは、リレーショナルデータベーステーブルを含む、請求項1に記載の方法。
  5. 前記データソースは、リレーショナルデータベーステーブル以外のデータ部分を含む、請求項1に記載の方法。
  6. 前記データソースは、フラットファイルを含む、請求項1に記載の方法。
  7. 前記クエリは、SQLクエリを含む、請求項1に記載の方法。
  8. 前記データフローグラフに基づく前記プログラムコードから、前記クエリの結果を受信することを含む、請求項1に記載の方法。
  9. 前記クエリプランのジェネレータは、クエリオプティマイザを含む、請求項1に記載の方法。
  10. 前記クエリプランは、前記クエリにおけるパラメータのデータ型を含む、請求項1に記載の方法。
  11. 前記クエリは、実行可能な機能への参照を含み、前記データフローグラフは、前記実行可能な機能を表すノードを含む、請求項1に記載の方法。
  12. 前記クエリに基づいてクエリプランナーに対するリクエストを生成することは、
    前記データソースを反映したフォーマットされたデータ編成を含み、かつ前記データソースのデータを含まない、前記データソースの構造表現を作成することと、
    前記クエリプランナーに対する前記リクエストに、前記構造表現を含めることと、を含む、請求項1に記載の方法。
  13. 前記データ構造は、前記識別された実行システムによって生成される、請求項1に記載の方法。
  14. 前記データ構造は、前記識別された実行システム以外のシステムによって生成される、請求項1に記載の方法。
  15. 1つまたは複数のプロセッサを含む、データソースからのデータに対する動作システムであって、前記データは前記データソースの有形かつ非一過性のコンピュータ可読媒体に格納され、前記動作はリレーショナルデータベースに適用可能なクエリ言語に従って表現されたクエリに基づくものであり、前記システムは、
    コンピュータシステムであって、
    クエリを受信することと、
    前記クエリに基づいてデータソースを識別することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の要求システムを識別することと、
    前記要求システムによって、クエリプランナーに対するリクエストを前記クエリに基づいて生成することと、
    前記要求システムによって、前記リクエストを前記クエリプランナーに提供することと、
    前記リクエストに基づいて前記クエリプランナーによって生成されたクエリプランを受信することであって、前記クエリプランは、リレーショナルデータベースを管理するシステムによって行われるべき1つまたは複数のステップの記述を含むことと、
    データフローグラフをインスタンス化するデータ構造を生成することであって、前記データフローグラフは、
    実行すべき少なくとも1つの操作を表す第1のノードであって、
    前記第1のノードは、実行可能なプログラムコードを呼び出して前記少なくとも1つの操作を行うために実行システムが使用することのできる情報と関連付けられ、
    前記第1のノードは、データを前記プログラムコードに対して使用可能とするために実行システムが使用することのできる情報と関連付けられ、かつ
    前記少なくとも1つの操作は、前記クエリプランによって記述されたステップに基づいて選択される、第1のノードと、
    前記第1のノードの操作の出力データを表す少なくとも1つのリンクであって、前記第1のノードの操作の出力データは、前記データフローグラフの第2のノードの操作に対する入力データとして提供される、少なくとも1つのリンクと、を含むことと、
    前記データソースからデータを受信することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の実行システムを識別することと、
    前記識別された実行システムに対し、前記データフローグラフに基づく前記プログラムコードを提供することと、
    を行うように構成されたコンピュータシステムと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の要求システムであって、前記リクエストを生成し、かつ前記リクエストを前記クエリプランナーに提供するように構成された要求システムと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の実行システムであって、前記プログラムコードを受信し、かつ前記プログラムコードを実行するように構成された実行システムと、を含む、
    システム。
  16. データソースからのデータに対する動作をコンピュータに行わせるための命令を含むコンピュータプログラムを格納したコンピュータ可読記憶デバイスであって、前記データは前記データソースの有形かつ非一過性のコンピュータ可読媒体に格納され、前記動作はリレーショナルデータベースに適用可能なクエリ言語に従って表現されたクエリに基づくものであり、前記動作は、
    クエリを受信することと、
    前記クエリに基づいてデータソースを識別することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の要求システムを識別することと、
    前記要求システムによって、クエリプランナーに対するリクエストを前記クエリに基づいて生成することと、
    前記要求システムによって、前記リクエストを前記クエリプランナーに提供することと、
    前記リクエストに基づいて前記クエリプランナーによって生成されたクエリプランを受信することであって、前記クエリプランは、リレーショナルデータベースを管理するシステムによって行われるべき1つまたは複数のステップの記述を含むことと、
    データフローグラフをインスタンス化するデータ構造を生成することであって、前記データフローグラフは、
    実行すべき少なくとも1つの操作を表す第1のノードであって、
    前記第1のノードは、実行可能なプログラムコードを呼び出して前記少なくとも1つの操作を行うために実行システムが使用することのできる情報と関連付けられ、
    前記第1のノードは、データを前記プログラムコードに対して使用可能とするために実行システムが使用することのできる情報と関連付けられ、かつ
    前記少なくとも1つの操作は、前記クエリプランによって記述されたステップに基づいて選択される、第1のノードと、
    前記第1のノードの操作の出力データを表す少なくとも1つのリンクであって、前記第1のノードの操作の出力データは、前記データフローグラフの第2のノードの操作に対する入力データとして提供される、少なくとも1つのリンクと、を含むことと、
    前記データソースからデータを受信することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の実行システムを識別することと、
    前記識別された実行システムに対し、前記データフローグラフに基づく前記プログラムコードを提供することと、を含む、
    コンピュータ可読記憶デバイス。
  17. 1つまたは複数のプロセッサを含む、データソースからのデータに対する動作システムであって、前記データは前記データソースの有形かつ非一過性のコンピュータ可読媒体に格納され、前記動作はリレーショナルデータベースに適用可能なクエリ言語に従って表現されたクエリに基づくものであり、前記システムは、
    クエリを受信することと、
    前記クエリに基づいてデータソースを識別することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の要求システムを識別することと、
    前記要求システムによって、クエリプランナーに対するリクエストを前記クエリに基づいて生成することと、
    前記要求システムによって、前記リクエストを前記クエリプランナーに提供することと、
    前記リクエストに基づいて前記クエリプランナーによって生成されたクエリプランを受信することであって、前記クエリプランは、リレーショナルデータベースを管理するシステムによって行われるべき1つまたは複数のステップの記述を含むことと、
    データフローグラフをインスタンス化するデータ構造を生成することであって、前記データフローグラフは、
    実行すべき少なくとも1つの操作を表す第1のノードであって、
    前記第1のノードは、実行可能なプログラムコードを呼び出して前記少なくとも1つの操作を行うために実行システムが使用することのできる情報と関連付けられ、
    前記第1のノードは、データを前記プログラムコードに対して使用可能とするために実行システムが使用することのできる情報と関連付けられ、かつ
    前記少なくとも1つの操作は、前記クエリプランによって記述されたステップに基づいて選択される、第1のノードと、
    前記第1のノードの操作の出力データを表す少なくとも1つのリンクであって、前記第1のノードの操作の出力データは、前記データフローグラフの第2のノードの操作に対する入力データとして提供される、少なくとも1つのリンクと、を含むことと、
    前記データソースからデータを受信することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の実行システムを識別することと、
    前記識別された実行システムに対し、前記データフローグラフに基づく前記プログラムコードを提供することと、
    を行う手段と、
    前記プログラムコードを受信し、かつ前記プログラムコードを実行する手段と、を含む、
    システム。
  18. 前記データフローグラフは、前記クエリプランによって記述されたいずれかのステップに基づいて選択された操作以外の実行すべき操作を表す第3のノードを含む、請求項15に記載のシステム。
  19. 前記データフローグラフに基づいて前記プログラムコードを実行することは、前記データフローグラフのノードと第2のデータフローグラフのノードとの間のリンクをインスタンス化することを含み、前記第2のデータフローグラフは、前記クエリプランによって記述されたいずれかのステップに基づいて選択された操作以外の実行すべき操作を表す少なくとも1つのノードを含む、請求項15に記載のシステム。
  20. 前記データソースは、リレーショナルデータベーステーブルを含む、請求項15に記載のシステム。
  21. 前記データソースは、リレーショナルデータベーステーブル以外のデータ部分を含む、請求項15に記載のシステム。
  22. 前記データソースは、フラットファイルを含む、請求項15に記載のシステム。
  23. 前記クエリは、SQLクエリを含む、請求項15に記載のシステム。
  24. 前記コンピュータシステムは、前記データフローグラフに基づく前記プログラムコードから、前記クエリの結果を受信するように構成される、請求項15に記載のシステム。
  25. 前記クエリプランのジェネレータは、クエリオプティマイザを含む、請求項15に記載のシステム。
  26. 前記クエリプランは、前記クエリにおけるパラメータのデータ型を含む、請求項15に記載のシステム。
  27. 前記クエリは、実行可能な機能への参照を含み、前記データフローグラフは、前記実行可能な機能を表すノードを含む、請求項15に記載のシステム。
  28. 前記クエリに基づいてクエリプランナーに対するリクエストを生成することは、
    前記データソースを反映したフォーマットされたデータ編成を含み、かつ前記データソースのデータを含まない、前記データソースの構造表現を作成することと、
    前記クエリプランナーに対する前記リクエストに、前記構造表現を含めることと、を含む、請求項15に記載のシステム。
  29. 前記データ構造は、前記識別された実行システムによって生成される、請求項15に記載のシステム。
  30. 前記データ構造は、前記識別された実行システム以外のシステムによって生成される、請求項15に記載のシステム。
  31. 前記データフローグラフは、前記クエリプランによって記述されたいずれかのステップに基づいて選択された操作以外の実行すべき操作を表す第3のノードを含む、請求項16に記載のコンピュータ可読記憶デバイス。
  32. 前記データフローグラフに基づいて前記プログラムコードを実行することは、前記データフローグラフのノードと第2のデータフローグラフのノードとの間のリンクをインスタンス化することを含み、前記第2のデータフローグラフは、前記クエリプランによって記述されたいずれかのステップに基づいて選択された操作以外の実行すべき操作を表す少なくとも1つのノードを含む、請求項16に記載のコンピュータ可読記憶デバイス。
  33. 前記データソースは、リレーショナルデータベーステーブルを含む、請求項16に記載のコンピュータ可読記憶デバイス。
  34. 前記データソースは、リレーショナルデータベーステーブル以外のデータ部分を含む、請求項16に記載のコンピュータ可読記憶デバイス。
  35. 前記データソースは、フラットファイルを含む、請求項16に記載のコンピュータ可読記憶デバイス。
  36. 前記クエリは、SQLクエリを含む、請求項16に記載のコンピュータ可読記憶デバイス。
  37. 前記実行することは、前記データフローグラフに基づく前記プログラムコードから、前記クエリの結果を受信することを含む、請求項16に記載のコンピュータ可読記憶デバイス。
  38. 前記クエリプランのジェネレータは、クエリオプティマイザを含む、請求項16に記載のコンピュータ可読記憶デバイス。
  39. 前記クエリプランは、前記クエリにおけるパラメータのデータ型を含む、請求項16に記載のコンピュータ可読記憶デバイス。
  40. 前記クエリは、実行可能な機能への参照を含み、前記データフローグラフは、前記実行可能な機能を表すノードを含む、請求項16に記載のコンピュータ可読記憶デバイス。
  41. 前記クエリに基づいてクエリプランナーに対するリクエストを生成することは、
    前記データソースを反映したフォーマットされたデータ編成を含み、かつ前記データソースのデータを含まない、前記データソースの構造表現を作成することと、
    前記クエリプランナーに対する前記リクエストに、前記構造表現を含めることと、を含む、請求項16に記載のコンピュータ可読記憶デバイス。
  42. 前記データ構造は、前記識別された実行システムによって生成される、請求項16に記載のコンピュータ可読記憶デバイス。
  43. 前記データ構造は、前記識別された実行システム以外のシステムによって生成される、請求項16に記載のコンピュータ可読記憶デバイス。
  44. 前記実行システムと前記要求システムとは同じシステムである、請求項1に記載の方法。
  45. 前記実行システムと前記要求システムとは異なるシステムである、請求項1に記載の方法。
  46. 前記実行システムと前記要求システムとは同じシステムである、請求項15に記載のシステム。
  47. 前記実行システムと前記要求システムとは異なるシステムである、請求項15に記載のシステム。
  48. 前記実行システムと前記要求システムとは同じシステムである、請求項16に記載のコンピュータ可読記憶デバイス。
  49. 前記実行システムと前記要求システムとは異なるシステムである、請求項16に記載のコンピュータ可読記憶デバイス。
  50. データソースからのデータに対する動作方法であって、前記データは前記データソースの有形かつ非一過性のコンピュータ可読媒体に格納され、前記動作はリレーショナルデータベースに適用可能なクエリ言語に従って表現されたクエリに基づくものであり、前記動作は
    クエリを受信することと、
    前記クエリに基づいてデータソースを識別することと、
    前記データソースのデータを格納したリレーショナルデータベースを管理するシステム以外の実行システムを識別することと、
    前記データソースのデータの構造表現を作成することであって、前記構造表現は、前記データソースを反映したフォーマットされたデータ編成を含み、かつ前記データソースの前記データのうちの少なくともいくつかを含まないことと、
    前記クエリに基づいてクエリプランナーに対するリクエストを生成することであって、前記リクエストは、前記クエリに基づいてクエリプランを生成するよう前記クエリプランナーに指示し、かつ前記クエリの作用を受けるデータとして前記構造表現を提供することと、
    前記リクエストを前記クエリプランナーに提供することと、
    前記リクエストに基づいて前記クエリプランナーによって生成されたクエリプランを受信することであって、前記クエリプランは、リレーショナルデータベースを管理するシステムによって行われるべき1つまたは複数のステップの記述を含むことと、
    データフローグラフをインスタンス化するデータ構造を生成することであって、前記データフローグラフは、
    実行すべき少なくとも1つの操作を表す第1のノードであって、
    前記第1のノードは、実行可能なプログラムコードを呼び出して前記少なくとも1つの操作を行うために実行システムが使用することのできる情報と関連付けられ、
    前記第1のノードは、データを前記プログラムコードに対して使用可能とするために実行システムが使用することのできる情報と関連付けられ、かつ
    前記少なくとも1つの操作は、前記クエリプランによって記述されたステップに基づいて選択される、第1のノードと、
    前記第1のノードの操作の出力データを表す少なくとも1つのリンクであって、前記第1のノードの操作の前記出力データは、前記データフローグラフの第2のノードの操作に対する入力データとして提供される、少なくとも1つのリンクと、を含むことと、
    前記データソースからデータを受信することと、
    前記識別された実行システム上で、前記データフローグラフに基づいてプログラムコードを実行することと、を含む、
    方法。
  51. 前記データソースは、リレーショナルデータベーステーブルを含む、請求項50に記載の方法。
  52. 前記データソースは、リレーショナルデータベーステーブル以外のデータ部分を含む、請求項50に記載の方法。
  53. 前記データソースは、フラットファイルを含む、請求項50に記載の方法。
  54. 前記データ構造は、前記識別された実行システムによって生成される、請求項50に記載の方法。
  55. 前記データ構造は、前記識別された実行システム以外のシステムによって生成される、請求項50に記載の方法。
  56. 前記実行システムと前記要求システムとは同じシステムである、請求項50に記載の方法。
  57. 前記実行システムと前記要求システムとは異なるシステムである、請求項50に記載の方法。
JP2016167897A 2010-01-15 2016-08-30 データクエリの管理 Active JP6216423B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/688,316 2010-01-15
US12/688,316 US9665620B2 (en) 2010-01-15 2010-01-15 Managing data queries

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015137280A Division JP6000415B2 (ja) 2010-01-15 2015-07-08 データクエリの管理

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017182015A Division JP6578333B2 (ja) 2010-01-15 2017-09-22 データクエリの管理

Publications (2)

Publication Number Publication Date
JP2017016677A JP2017016677A (ja) 2017-01-19
JP6216423B2 true JP6216423B2 (ja) 2017-10-18

Family

ID=43755268

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2012549105A Pending JP2013517574A (ja) 2010-01-15 2011-01-14 データクエリの管理
JP2015137280A Active JP6000415B2 (ja) 2010-01-15 2015-07-08 データクエリの管理
JP2016167897A Active JP6216423B2 (ja) 2010-01-15 2016-08-30 データクエリの管理
JP2017182015A Active JP6578333B2 (ja) 2010-01-15 2017-09-22 データクエリの管理

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2012549105A Pending JP2013517574A (ja) 2010-01-15 2011-01-14 データクエリの管理
JP2015137280A Active JP6000415B2 (ja) 2010-01-15 2015-07-08 データクエリの管理

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017182015A Active JP6578333B2 (ja) 2010-01-15 2017-09-22 データクエリの管理

Country Status (9)

Country Link
US (2) US9665620B2 (ja)
EP (2) EP3324311A1 (ja)
JP (4) JP2013517574A (ja)
KR (2) KR101877481B1 (ja)
CN (2) CN106055584B (ja)
AU (3) AU2011205787B2 (ja)
CA (1) CA2786042C (ja)
HK (1) HK1255489A1 (ja)
WO (1) WO2011088293A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665620B2 (en) 2010-01-15 2017-05-30 Ab Initio Technology Llc Managing data queries
JP6338579B2 (ja) * 2012-07-24 2018-06-06 アビニシオ テクノロジー エルエルシー データモデルにおけるエンティティのマッピング
US10180821B2 (en) 2013-12-05 2019-01-15 Ab Initio Technology Llc Managing interfaces for sub-graphs
CA2929716C (en) 2013-12-06 2021-08-31 Ab Initio Technology Llc Source code translation
CN103729471B (zh) * 2014-01-21 2017-03-08 华为软件技术有限公司 数据库查询方法和装置
KR102371811B1 (ko) 2014-03-14 2022-03-07 아브 이니티오 테크놀로지 엘엘시 키드 엔티티들의 속성 매핑
US10437819B2 (en) 2014-11-14 2019-10-08 Ab Initio Technology Llc Processing queries containing a union-type operation
US10417281B2 (en) * 2015-02-18 2019-09-17 Ab Initio Technology Llc Querying a data source on a network
CN106156162A (zh) * 2015-04-15 2016-11-23 阿里巴巴集团控股有限公司 数据库查询量统计方法和设备
US10210236B2 (en) 2015-11-23 2019-02-19 Ab Initio Technology Llc Storing and retrieving data of a data cube
US10671669B2 (en) 2015-12-21 2020-06-02 Ab Initio Technology Llc Sub-graph interface generation
WO2017223464A1 (en) 2016-06-23 2017-12-28 Schneider Electric USA, Inc. Contextual-characteristic data driven sequential federated query methods for distributed systems
CN106446170A (zh) * 2016-09-27 2017-02-22 努比亚技术有限公司 数据查询方法及装置
US11016973B2 (en) * 2016-11-29 2021-05-25 Sap Se Query plan execution engine
KR102549994B1 (ko) * 2017-03-29 2023-06-29 아브 이니티오 테크놀로지 엘엘시 가변 레벨 병렬화를 사용하여 데이터 처리 동작을 수행하기 위한 시스템 및 방법
US11354348B2 (en) * 2017-06-29 2022-06-07 Microsoft Technology Licensing, Llc Optimized record placement in graph database
CN107480287A (zh) * 2017-08-25 2017-12-15 成都优力德新能源有限公司 基于云计算的数据集成装置
CN110471888A (zh) * 2018-05-09 2019-11-19 株式会社日立制作所 一种自动收集数据的方法、装置、介质、设备及系统
US12032631B2 (en) 2018-05-30 2024-07-09 Ab Initio Technology Llc Systems and methods for dataflow graph optimization
US12013856B2 (en) * 2018-08-13 2024-06-18 Amazon Technologies, Inc. Burst performance of database queries according to query size
CN109299094A (zh) * 2018-09-18 2019-02-01 深圳壹账通智能科技有限公司 数据表处理方法、装置、计算机设备和存储介质
CN109614400A (zh) * 2018-11-30 2019-04-12 深圳前海微众银行股份有限公司 失败任务的影响及溯源分析方法、装置、设备及存储介质
US11327970B1 (en) 2019-03-25 2022-05-10 Amazon Technologies, Inc. Context dependent execution time prediction for redirecting queries
US11308100B2 (en) 2019-06-25 2022-04-19 Amazon Technologies, Inc. Dynamically assigning queries to secondary query processing resources
US11093223B2 (en) 2019-07-18 2021-08-17 Ab Initio Technology Llc Automatically converting a program written in a procedural programming language into a dataflow graph and related systems and methods
CN110472068B (zh) * 2019-08-20 2020-04-24 星环信息科技(上海)有限公司 基于异构分布式知识图谱的大数据处理方法、设备及介质
CN111143397B (zh) * 2019-12-10 2021-04-13 跬云(上海)信息科技有限公司 混合数据查询方法及装置、存储介质
CN111209309B (zh) * 2020-01-13 2023-03-10 腾讯科技(深圳)有限公司 数据流图处理结果确定方法、装置、设备及存储介质

Family Cites Families (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4586137A (en) 1982-10-18 1986-04-29 Dresser Industries, Inc. Method for generating variable well logging data composites
JPH01108638A (ja) 1987-10-21 1989-04-25 Hitachi Ltd 並列化コンパイル方式
JP2738692B2 (ja) 1988-01-29 1998-04-08 株式会社日立製作所 並列化コンパイル方法
JPH0267682A (ja) 1988-09-02 1990-03-07 Hitachi Ltd データベースシステム
US5072371A (en) 1989-03-01 1991-12-10 The United States Of America As Represented By The United States Department Of Energy Method for simultaneous overlapped communications between neighboring processors in a multiple
US5121494A (en) 1989-10-05 1992-06-09 Ibm Corporation Joining two database relations on a common field in a parallel relational database field
US5367619A (en) 1990-04-27 1994-11-22 Eaton Corporation Electronic data entry system employing an expert system to facilitate generation of electronic data forms with complex interrelationships between fields and subforms
US5347639A (en) 1991-07-15 1994-09-13 International Business Machines Corporation Self-parallelizing computer system and method
US5632022A (en) 1991-11-13 1997-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Encyclopedia of software components
US5313584A (en) 1991-11-25 1994-05-17 Unisys Corporation Multiple I/O processor system
FR2696853B1 (fr) 1992-10-12 1994-12-23 Bull Sa Procédé d'aide à l'optimisation d'une requête d'un système de gestion, de base de données relationnel et procédé d'analyse syntaxique en résultant.
JPH05257709A (ja) 1992-03-16 1993-10-08 Hitachi Ltd 並列化判別方法およびそれを用いた並列化支援方法
US5412806A (en) 1992-08-20 1995-05-02 Hewlett-Packard Company Calibration of logical cost formulae for queries in a heterogeneous DBMS using synthetic database
US5432940A (en) 1992-11-02 1995-07-11 Borland International, Inc. System and methods for improved computer-based training
US5574898A (en) 1993-01-08 1996-11-12 Atria Software, Inc. Dynamic software version auditor which monitors a process to provide a list of objects that are accessed
US5446915A (en) 1993-05-25 1995-08-29 Intel Corporation Parallel processing system virtual connection method and apparatus with protection and flow control
US5475842A (en) 1993-08-11 1995-12-12 Xerox Corporation Method of compilation optimization using an N-dimensional template for relocated and replicated alignment of arrays in data-parallel programs for reduced data communication during execution
JPH0765032A (ja) 1993-08-27 1995-03-10 Toshiba Corp データベース言語変換機能を持つ情報処理システム
US5600833A (en) 1993-09-17 1997-02-04 Digital Equipment Corp. Attribute portion based document retrieval system with system query language interface
JP4050339B2 (ja) 1994-04-28 2008-02-20 株式会社東芝 並行プログラム作成支援装置及び並行プログラム作成方法並びに並行プログラム実行装置
US5588150A (en) 1994-09-29 1996-12-24 International Business Machines Corporation Push down optimization in a distributed, multi-database system
US5768564A (en) 1994-10-07 1998-06-16 Tandem Computers Incorporated Method and apparatus for translating source code from one high-level computer language to another
FI98690C (fi) 1994-10-18 1997-07-25 Nokia Telecommunications Oy Menetelmä alueryhmäpuhelun muodostamiseksi matkaviestinjärjestelmässä ja matkaviestinjärjestelmä
US5734886A (en) 1994-11-16 1998-03-31 Lucent Technologies Inc. Database dependency resolution method and system for identifying related data files
FI98973C (fi) 1994-11-22 1997-09-10 Nokia Telecommunications Oy Menetelmä ryhmätietojen ylläpitämiseksi matkaviestinjärjestelmässä ja matkaviestinjärjestelmä
US5546576A (en) * 1995-02-17 1996-08-13 International Business Machines Corporation Query optimizer system that detects and prevents mutating table violations of database integrity in a query before execution plan generation
US5619692A (en) 1995-02-17 1997-04-08 International Business Machines Corporation Semantic optimization of query order requirements using order detection by normalization in a query compiler system
FI100215B (fi) 1995-03-17 1997-10-15 Nokia Telecommunications Oy Matkaviestijärjestelmän tilaajatietojen päivittäminen
US5706509A (en) 1995-04-28 1998-01-06 Intel Corporation Application independent record level synchronization
US5678044A (en) 1995-06-02 1997-10-14 Electronic Data Systems Corporation System and method for improved rehosting of software systems
US5682537A (en) 1995-08-31 1997-10-28 Unisys Corporation Object lock management system with improved local lock management and global deadlock detection in a parallel data processing system
US5712971A (en) 1995-12-11 1998-01-27 Ab Initio Software Corporation Methods and systems for reconstructing the state of a computation
US5819021A (en) 1995-12-11 1998-10-06 Ab Initio Software Corporation Overpartitioning system and method for increasing checkpoints in component-based parallel applications
US5909681A (en) 1996-03-25 1999-06-01 Torrent Systems, Inc. Computer system and computerized method for partitioning data for parallel processing
US6311265B1 (en) 1996-03-25 2001-10-30 Torrent Systems, Inc. Apparatuses and methods for programming parallel computers
JPH09319757A (ja) 1996-05-29 1997-12-12 N T T Data Tsushin Kk 情報検索システム
US5799149A (en) 1996-06-17 1998-08-25 International Business Machines Corporation System partitioning for massively parallel processors
US5870743A (en) 1996-06-24 1999-02-09 Oracle Corporation Method and apparatus for parallelizing operations that create a table
US5966072A (en) 1996-07-02 1999-10-12 Ab Initio Software Corporation Executing computations expressed as graphs
JP4533974B2 (ja) 1996-08-01 2010-09-01 康 清木 異種データベース統合システム
JPH1091494A (ja) 1996-09-19 1998-04-10 Hitachi Ltd データベース操作プログラムの変換方法および変換装置
JPH10232875A (ja) 1997-02-19 1998-09-02 Hitachi Ltd データベース管理方法および並列データベース管理システム
US6330008B1 (en) 1997-02-24 2001-12-11 Torrent Systems, Inc. Apparatuses and methods for monitoring performance of parallel computing
US5999729A (en) 1997-03-06 1999-12-07 Continuum Software, Inc. System and method for developing computer programs for execution on parallel processing systems
US5956074A (en) 1997-03-11 1999-09-21 Sclafani; Peter J. Cable television return display unit
JP3155991B2 (ja) 1997-04-09 2001-04-16 日本アイ・ビー・エム株式会社 集約演算実行方法及びコンピュータ・システム
US5956704A (en) * 1997-06-05 1999-09-21 Oracle Corporation Method and apparatus for parallelizing operations that insert data into an existing data container
US6092062A (en) * 1997-06-30 2000-07-18 International Business Machines Corporation Relational database query optimization to perform query evaluation plan, pruning based on the partition properties
US6077313A (en) 1997-10-22 2000-06-20 Microsoft Corporation Type partitioned dataflow analyses
US6295518B1 (en) 1997-12-09 2001-09-25 Mci Communications Corporation System and method for emulating telecommunications network devices
US6266804B1 (en) 1997-12-23 2001-07-24 Ab Initio Software Corporation Method for analyzing capacity of parallel processing systems
US6625593B1 (en) * 1998-06-29 2003-09-23 International Business Machines Corporation Parallel query optimization strategies for replicated and partitioned tables
US6205465B1 (en) 1998-07-22 2001-03-20 Cisco Technology, Inc. Component extensible parallel execution of multiple threads assembled from program components specified with partial inter-component sequence information
US6453464B1 (en) 1998-09-03 2002-09-17 Legacyj. Corp., Inc. Method and apparatus for converting COBOL to Java
US6339769B1 (en) 1998-09-14 2002-01-15 International Business Machines Corporation Query optimization by transparently altering properties of relational tables using materialized views
US6378126B2 (en) 1998-09-29 2002-04-23 International Business Machines Corporation Compilation of embedded language statements in a source code program
IL140805A0 (en) * 1998-10-02 2002-02-10 Ibm Structure skeletons for efficient voice navigation through generic hierarchical objects
JP2000148699A (ja) 1998-11-06 2000-05-30 Nec Corp ネットワークマネージメントシステム
JP4406944B2 (ja) * 1998-11-11 2010-02-03 株式会社日立製作所 計算機システム及び問合せに対する処理分散システム
US7047232B1 (en) 1999-01-13 2006-05-16 Ab Initio Software Corporation Parallelizing applications of script-driven tools
JP4794709B2 (ja) * 1999-03-01 2011-10-19 新日鉄ソリューションズ株式会社 データ管理システム及びコンピュータ読み取り可能な記録媒体
US7080062B1 (en) * 1999-05-18 2006-07-18 International Business Machines Corporation Optimizing database queries using query execution plans derived from automatic summary table determining cost based queries
US6560593B1 (en) 1999-07-20 2003-05-06 Computer Associates Think, Inc. Method and apparatus for viewing the effect of changes to an index for a database table on an optimization plan for a database query
JP4552242B2 (ja) 1999-10-06 2010-09-29 株式会社日立製作所 仮想表インタフェースと該インタフェースを用いた問合せ処理システム及び方法
US6615203B1 (en) 1999-12-17 2003-09-02 International Business Machines Corporation Method, computer program product, and system for pushdown analysis during query plan generation
JP3795289B2 (ja) 2000-02-07 2006-07-12 日本電信電話株式会社 データベースの実行制御装置
US6947934B1 (en) * 2000-02-16 2005-09-20 International Business Machines Corporation Aggregate predicates and search in a database management system
JP4483034B2 (ja) 2000-06-06 2010-06-16 株式会社日立製作所 異種データソース統合アクセス方法
US7164422B1 (en) 2000-07-28 2007-01-16 Ab Initio Software Corporation Parameterized graphs with conditional components
US6785668B1 (en) 2000-11-28 2004-08-31 Sas Institute Inc. System and method for data flow analysis of complex data filters
JP4543563B2 (ja) * 2001-02-28 2010-09-15 株式会社日立製作所 統合データベースシステムにおける問合せ最適化方法
US7418441B2 (en) 2001-02-28 2008-08-26 International Business Machines Corporation Data loading from a remote data source record by record
US8412746B2 (en) 2001-05-25 2013-04-02 International Business Machines Corporation Method and system for federated querying of data sources
US6877000B2 (en) 2001-08-22 2005-04-05 International Business Machines Corporation Tool for converting SQL queries into portable ODBC
US6725212B2 (en) * 2001-08-31 2004-04-20 International Business Machines Corporation Platform-independent method and system for graphically presenting the evaluation of a query in a database management system
JP2003099441A (ja) 2001-09-21 2003-04-04 Hitachi Ltd データ検索手順探索方法
US6915290B2 (en) 2001-12-11 2005-07-05 International Business Machines Corporation Database query optimization apparatus and method that represents queries as graphs
US7409474B2 (en) 2002-06-27 2008-08-05 Broadcom Corporation Method and system for rate adaptation
US7167850B2 (en) 2002-10-10 2007-01-23 Ab Initio Software Corporation Startup and control of graph-based computation
US7953891B2 (en) * 2003-03-18 2011-05-31 Microsoft Corporation Systems and methods for scheduling data flow execution based on an arbitrary graph describing the desired data flow
CA2429910A1 (en) 2003-05-27 2004-11-27 Cognos Incorporated System and method of query transformation
US7249120B2 (en) * 2003-06-27 2007-07-24 Microsoft Corporation Method and apparatus for selecting candidate statistics to estimate the selectivity value of the conditional selectivity expression in optimize queries based on a set of predicates that each reference a set of relational database tables
US20050038788A1 (en) 2003-08-14 2005-02-17 International Business Machines Corporation Annotation security to prevent the divulgence of sensitive information
US20050177557A1 (en) * 2003-09-06 2005-08-11 Oracle International Corporation Automatic prevention of run-away query execution
WO2005028627A2 (en) * 2003-09-19 2005-03-31 Netezza Corporation Performing sequence analysis as a relational join
US7165063B2 (en) * 2003-11-19 2007-01-16 International Business Machines Corporation Context quantifier transformation in XML query rewrite
US7133861B2 (en) * 2003-12-04 2006-11-07 International Business Machines Corporation Query access plan rebuilds
US7310637B2 (en) 2004-05-05 2007-12-18 International Business Machines Corporation Dynamic database access via standard query language and abstraction technology
US7930432B2 (en) * 2004-05-24 2011-04-19 Microsoft Corporation Systems and methods for distributing a workplan for data flow execution based on an arbitrary graph describing the desired data flow
US20060047696A1 (en) 2004-08-24 2006-03-02 Microsoft Corporation Partially materialized views
CN100518079C (zh) 2004-09-30 2009-07-22 北京航空航天大学 分布式性能数据采集方法
US7899833B2 (en) 2004-11-02 2011-03-01 Ab Initio Technology Llc Managing related data objects
US7461052B2 (en) 2004-12-06 2008-12-02 International Business Machines Corporation Abstract query plan
US7890532B2 (en) 2004-12-15 2011-02-15 Microsoft Corporation Complex data access
US7359922B2 (en) * 2004-12-22 2008-04-15 Ianywhere Solutions, Inc. Database system and methodology for generalized order optimization
US20060265362A1 (en) 2005-05-18 2006-11-23 Content Analyst Company, Llc Federated queries and combined text and relational data
US7856523B2 (en) 2005-06-01 2010-12-21 Microsoft Corporation Random Access Memory (RAM) based Content Addressable Memory (CAM) management
US8935273B2 (en) 2005-06-23 2015-01-13 International Business Machines Corporation Method of processing and decomposing a multidimensional query against a relational data source
CA2519604C (en) 2005-06-23 2011-07-12 Cognos Incorporated Master-detail provider and method of providing master-detail functionality
US7716630B2 (en) 2005-06-27 2010-05-11 Ab Initio Technology Llc Managing parameters for graph-based computations
US7584205B2 (en) * 2005-06-27 2009-09-01 Ab Initio Technology Llc Aggregating data with complex operations
US7877350B2 (en) 2005-06-27 2011-01-25 Ab Initio Technology Llc Managing metadata for graph-based computations
WO2007006143A1 (en) 2005-07-13 2007-01-18 The Hospital For Sick Children Compositions and methods for detecting transformed cells
CA2519001A1 (en) 2005-09-13 2007-03-13 Cognos Incorporated System and method of data agnostic business intelligence query
CA2519010A1 (en) 2005-09-13 2007-03-13 Cognos Incorporated Query framework system and method
US20070067274A1 (en) 2005-09-16 2007-03-22 International Business Machines Corporation Hybrid push-down/pull-up of unions with expensive operations in a federated query processor
US7464084B2 (en) 2006-01-30 2008-12-09 International Business Machines Corporation Method for performing an inexact query transformation in a heterogeneous environment
US7945562B2 (en) 2006-03-15 2011-05-17 Oracle International Corporation Join predicate push-down optimizations
US7870556B2 (en) 2006-05-16 2011-01-11 Ab Initio Technology Llc Managing computing resources in graph-based computations
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
DE502006007802D1 (de) * 2006-06-01 2010-10-14 Mediareif Moestl & Reif Kommun Verfahren zum steuern eines relationalen datenbanksystems
AU2007286155B2 (en) 2006-08-10 2013-12-12 Ab Initio Technology Llc. Distributing services in graph-based computations
JP4872529B2 (ja) 2006-08-22 2012-02-08 株式会社日立製作所 リバースエンジニアリング支援方法
US7979453B2 (en) 2006-08-23 2011-07-12 Innovative Solutions, Inc. Efficient search result update mechanism
TWI348139B (en) 2006-08-24 2011-09-01 Wintek Corp A lcd scan lines driving method
JP2008084028A (ja) 2006-09-27 2008-04-10 Toshiba Corp データベース検索システムおよびデータベース検索方法
JP2008158664A (ja) 2006-12-21 2008-07-10 Sony Corp 通信システム、サーバ、通信端末及び通信方法
US8069129B2 (en) 2007-04-10 2011-11-29 Ab Initio Technology Llc Editing and compiling business rules
US8122088B2 (en) 2007-06-28 2012-02-21 International Business Machines Corporation Adding personal note capabilities to text exchange clients
EP2026479A1 (de) 2007-08-17 2009-02-18 Leica Geosystems AG Transimpedanzverstärkerschaltung für einen Photodetektor
US9424315B2 (en) 2007-08-27 2016-08-23 Teradata Us, Inc. Methods and systems for run-time scheduling database operations that are executed in hardware
US20100005077A1 (en) * 2008-07-07 2010-01-07 Kickfire, Inc. Methods and systems for generating query plans that are compatible for execution in hardware
JP5453273B2 (ja) 2007-09-20 2014-03-26 アビニシオ テクノロジー エルエルシー グラフベース計算におけるデータフロー管理
US7673065B2 (en) 2007-10-20 2010-03-02 Oracle International Corporation Support for sharing computation between aggregations in a data stream management system
US8527976B2 (en) 2007-11-14 2013-09-03 Nec Laboratories America, Inc. System and method for generating error traces for concurrency bugs
CN101436192B (zh) 2007-11-16 2011-03-16 国际商业机器公司 用于优化针对垂直存储式数据库的查询的方法和设备
US9165032B2 (en) 2007-11-21 2015-10-20 Hewlett-Packard Development Company, L.P. Allocation of resources for concurrent query execution via adaptive segmentation
US8429601B2 (en) * 2007-11-29 2013-04-23 Red Hat, Inc. Code completion for object relational mapping query language (OQL) queries
US20090198703A1 (en) 2008-01-31 2009-08-06 Hewlett-Packard Development Company, L.P. Intelligent data storage system
KR101517460B1 (ko) 2008-02-26 2015-05-15 아브 이니티오 테크놀로지 엘엘시 데이터 관계의 그래픽 표현
US7933916B2 (en) * 2008-02-28 2011-04-26 Microsoft Corporation Querying nonSQL data stores with a SQL-style language
US8537160B2 (en) * 2008-03-05 2013-09-17 Microsoft Corporation Generating distributed dataflow graphs
JP2009217405A (ja) 2008-03-07 2009-09-24 Nec Corp ジョブネットワーク自動生成方式及びプログラム
US8538985B2 (en) 2008-03-11 2013-09-17 International Business Machines Corporation Efficient processing of queries in federated database systems
US20100295833A1 (en) 2008-04-11 2010-11-25 Masaaki Nishio Display device and method of driving display device
US7974967B2 (en) 2008-04-15 2011-07-05 Sap Ag Hybrid database system using runtime reconfigurable hardware
JP5349581B2 (ja) 2008-04-16 2013-11-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 照会処理視覚化システム、照会処理を視覚化する方法及びコンピュータ・プログラム
US20100057695A1 (en) * 2008-08-28 2010-03-04 Microsoft Corporation Post-processing search results on a client computer
US7917463B2 (en) 2008-10-10 2011-03-29 Business.Com, Inc. System and method for data warehousing and analytics on a distributed file system
US7962500B2 (en) * 2008-10-24 2011-06-14 Yahoo! Inc. Digital image retrieval by aggregating search results based on visual annotations
US20100121868A1 (en) 2008-11-07 2010-05-13 Yann Le Biannic Converting a database query to a multi-dimensional expression query
US8489622B2 (en) * 2008-12-12 2013-07-16 Sas Institute Inc. Computer-implemented systems and methods for providing paginated search results from a database
US9218209B2 (en) 2008-12-31 2015-12-22 Pivotal Software, Inc. Apparatus and method for parallel processing of a query
US8666966B2 (en) 2009-01-30 2014-03-04 Hewlett-Packard Development Company, L.P. Providing parallel result streams for database queries
JP4659888B2 (ja) 2009-02-13 2011-03-30 株式会社日立製作所 データベース処理システム、計算機及びデータベース処理方法
CN105843684B (zh) 2009-02-13 2020-03-03 起元技术有限责任公司 管理任务执行
US20100241893A1 (en) 2009-03-18 2010-09-23 Eric Friedman Interpretation and execution of a customizable database request using an extensible computer process and an available computing environment
US8392398B2 (en) * 2009-07-29 2013-03-05 International Business Machines Corporation Query optimization over graph data streams
US9477778B2 (en) 2009-08-21 2016-10-25 Oracle International Corporation XML query optimization with order analysis of XML schema
US9064047B2 (en) 2009-09-24 2015-06-23 International Business Machines Corporation Parallel processing of ETL jobs involving extensible markup language documents
US8620903B2 (en) 2009-11-04 2013-12-31 Nec Laboratories America, Inc. Database distribution system and methods for scale-out applications
US8326797B2 (en) 2009-11-11 2012-12-04 International Business Machines Corporation Supporting set-level slice and dice in data warehouses
US8688683B2 (en) 2009-11-30 2014-04-01 Business Objects Software Ltd. Query plan reformulation
KR101302563B1 (ko) * 2009-12-15 2013-09-02 한국전자통신연구원 개체명 사전 구축 시스템 및 구축 방법
US9665620B2 (en) 2010-01-15 2017-05-30 Ab Initio Technology Llc Managing data queries
US8204903B2 (en) 2010-02-16 2012-06-19 Microsoft Corporation Expressing and executing semantic queries within a relational database
US9286370B2 (en) 2010-02-24 2016-03-15 International Business Machines Corporation Viewing a dimensional cube as a virtual data source
US8555265B2 (en) 2010-05-04 2013-10-08 Google Inc. Parallel processing of data
US9495427B2 (en) 2010-06-04 2016-11-15 Yale University Processing of data using a database system in communication with a data processing framework
CN107066241B (zh) 2010-06-15 2021-03-09 起元技术有限责任公司 用于动态加载基于图的计算的系统和方法
KR101009924B1 (ko) * 2010-06-25 2011-01-20 한국과학기술정보연구원 온톨로지 스키마와 결합된 개체명 사전 및 마이닝 규칙을 이용한 개체명 사전 또는 마이닝 규칙 데이터베이스 갱신 장치 및 방법
JP5536568B2 (ja) 2010-07-01 2014-07-02 インターナショナル・ビジネス・マシーンズ・コーポレーション トランザクションを集約して処理する方法、システム、およびプログラム
JP5199317B2 (ja) 2010-08-25 2013-05-15 株式会社日立製作所 データベース処理方法、データベース処理システム及びデータベースサーバ
US8326821B2 (en) 2010-08-25 2012-12-04 International Business Machines Corporation Transforming relational queries into stream processing
US9128983B2 (en) 2010-10-13 2015-09-08 Aol Inc. Systems and methods for query optimization
US8850574B1 (en) 2011-02-28 2014-09-30 Google Inc. Safe self-modifying code
US20120246158A1 (en) 2011-03-25 2012-09-27 Microsoft Corporation Co-range partition for query plan optimization and data-parallel programming model
US9116955B2 (en) 2011-05-02 2015-08-25 Ab Initio Technology Llc Managing data queries
US8782081B2 (en) 2011-05-11 2014-07-15 Google Inc. Query template definition and transformation
US8898145B2 (en) 2011-06-15 2014-11-25 Microsoft Corporation Query optimization techniques for business intelligence systems
US8635206B2 (en) 2011-06-30 2014-01-21 International Business Machines Corporation Database query optimization
US9449030B2 (en) 2011-06-30 2016-09-20 International Business Machines Corporation Method for native program to inherit same transaction content when invoked by primary program running in separate environment
JP5357286B2 (ja) 2011-09-21 2013-12-04 前田建設工業株式会社 情報処理装置、情報処理方法、およびプログラム
US9177022B2 (en) 2011-11-02 2015-11-03 Microsoft Technology Licensing, Llc User pipeline configuration for rule-based query transformation, generation and result display
KR101255957B1 (ko) * 2011-12-09 2013-04-24 포항공과대학교 산학협력단 개체명 태깅 방법 및 장치
US9317551B1 (en) 2012-03-23 2016-04-19 The Mathworks, Inc. Transforming a search query into a format understood by a technical computing environment (TCE)-based search engine
JP5835084B2 (ja) 2012-05-02 2015-12-24 富士通株式会社 クエリ統合方法、クエリ統合プログラム、および統合コンポーネント生成装置
US9182957B2 (en) 2012-07-10 2015-11-10 Loring Craymer Method and system for automated improvement of parallelism in program compilation
JP6338579B2 (ja) 2012-07-24 2018-06-06 アビニシオ テクノロジー エルエルシー データモデルにおけるエンティティのマッピング
US9342557B2 (en) 2013-03-13 2016-05-17 Cloudera, Inc. Low latency query engine for Apache Hadoop
US9135301B2 (en) 2013-03-14 2015-09-15 Oracle International Corporation Pushdown of sorting and set operations (union, intersection, minus) to a large number of low-power cores in a heterogeneous system
US9633104B2 (en) 2013-05-03 2017-04-25 Sas Institute Inc. Methods and systems to operate on group-by sets with high cardinality
US10417281B2 (en) 2015-02-18 2019-09-17 Ab Initio Technology Llc Querying a data source on a network

Also Published As

Publication number Publication date
KR20170121272A (ko) 2017-11-01
JP2017016677A (ja) 2017-01-19
AU2016202098B2 (en) 2017-02-23
AU2016202098A1 (en) 2016-04-28
EP3324311A1 (en) 2018-05-23
US20110179014A1 (en) 2011-07-21
JP2017220268A (ja) 2017-12-14
KR101877481B1 (ko) 2018-07-11
US20170228426A1 (en) 2017-08-10
CA2786042A1 (en) 2011-07-21
AU2011205787B2 (en) 2016-02-18
CA2786042C (en) 2019-03-19
JP2015212968A (ja) 2015-11-26
CN106055584B (zh) 2019-07-16
JP6000415B2 (ja) 2016-09-28
CN102822819B (zh) 2016-05-11
AU2017202501B2 (en) 2018-11-22
KR101784785B1 (ko) 2017-10-12
JP2013517574A (ja) 2013-05-16
EP2524328A1 (en) 2012-11-21
WO2011088293A1 (en) 2011-07-21
US11593369B2 (en) 2023-02-28
CN102822819A (zh) 2012-12-12
AU2017202501A1 (en) 2017-05-04
CN106055584A (zh) 2016-10-26
KR20120106827A (ko) 2012-09-26
JP6578333B2 (ja) 2019-09-18
US9665620B2 (en) 2017-05-30
AU2011205787A1 (en) 2012-07-12
HK1255489A1 (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
JP6578333B2 (ja) データクエリの管理
JP6364107B2 (ja) データクエリの管理
AU2017202899B2 (en) Managing data queries

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170922

R150 Certificate of patent or registration of utility model

Ref document number: 6216423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250