JP6688407B2 - データ系統図のフィルタリング - Google Patents
データ系統図のフィルタリング Download PDFInfo
- Publication number
- JP6688407B2 JP6688407B2 JP2019000222A JP2019000222A JP6688407B2 JP 6688407 B2 JP6688407 B2 JP 6688407B2 JP 2019000222 A JP2019000222 A JP 2019000222A JP 2019000222 A JP2019000222 A JP 2019000222A JP 6688407 B2 JP6688407 B2 JP 6688407B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- data
- tag
- nodes
- lineage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title description 22
- 238000000034 method Methods 0.000 claims description 70
- 238000012545 processing Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 13
- 230000009897 systematic effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 description 67
- 238000010586 diagram Methods 0.000 description 56
- 238000013501 data transformation Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 11
- 238000011144 upstream manufacturing Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 230000007717 exclusion Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本出願は、2015年2月11日に出願した米国特許出願第62/114,691号の優先権を主張するものである。
グ(lineage tags)に関する。
動的に提示することができる。一部の例において、特定のアイテムから上流の系統のパス(a lineage path upstream)は、そのアイテムに関する「ディペンデンシー系統」(dependency lineage)と呼ばれることがあり、特定のアイテムから下流の系統のパスは、その
アイテムに関する「インパクト系統」(impact lineage)と呼ばれることがある。その他の例において、特定のアイテムから上流の系統のパスは、「系統」(lineage)又は「ディ
ペンデンシー」(dependency)と呼ばれ、特定のアイテムから下流の系統のパスは、「インパクト」(impact)又は「インパクト分析」(impact analysis)と呼ばれる。本明細書にお
いて使用されるとき、「データ系統図」は、任意の所与のアイテムに関連する上流ディペンデンシー系統及び/又は下流インパクト系統を含む可能性がある。データ系統図を生じさせ、表示することができる一部のシステムは、ユーザがデータ系統図内のアイテムの論理的及び/又は物理的グループを単一の要素にまとめることを可能にする。データ系統図を生じさせ、表示することができる一部のシステムは、データ品質の採点などの充実したデータ情報によってデータ系統図を改善することができる。
は計算によって生成されるデータ要素(data elements)を表す複数のノード、及び計算と
データ要素との間の系統の関係を表すノード間の有向リンク(directed links)を含む有向グラフ(directed graph)の仕様をデータストレージシステム(data storage system)に記
憶するステップと、データ系統の表現を求める要求を処理するための情報にノードを関連付けるために仕様を少なくとも1つのプロセッサを使用して処理するステップとを含む。前記処理するステップは、データストア(data store)に記憶されているデータ要素を正規化すること(normalizing)及びデータストアから取り出されているデータ要素を非正規化
すること(de-normalizing)に対応する有向グラフの1又は2以上のノードの第1の組(set)を特定することであって、データ要素を正規化することが、複数のデータ要素に対応す
るレコードを少なくとも1つのフィールドに関して共通のフォーマットを有する複数のレコードに変換することを含み、データ要素を非正規化することが、少なくとも1つのフィールドに関して共通のフォーマットを有する複数のレコードを複数のデータ要素に対応する単一のレコードに変換することを含む、前記特定することと、第1の系統の関係を表す第1の有向リンクによって1又は2以上のノードの第1の組に接続された第1の複数のノード及び第2の系統の関係を表す第2の有向リンクによって1又は2以上のノードの第1の組に接続された第2の複数のノードを複数の可能なタグ値(tag values)を有する少なくとも1つのタグ識別子(tag identifier)に関連付けることであって、可能なタグ値の数が、少なくとも、正規化されているデータ要素の数と同じだけ大きく、非正規化されたレコード内の異なるデータ要素を表すノードが、タグ識別子の異なる値に関連付けられる、前記関連付けることとを含む。
スする(traverse)ことであって、データ系統を決定することが、それぞれのトラバースされるノードに関して、トラバースされるノードに関連付けられたいずれかのタグ識別子又はタグ値に少なくとも部分的に基づいて、データ系統にトラバースされるノードを追加すべきか又はデータ系統からトラバースされるノードを除外すべきかを決定することを含む、前記トラバースすることとを含む、前記処理するステップをさらに含む。
のノードに関連するタグ識別子及びタグ値のタグ識別子に関連するサブセットを上回る優先度を与えられる。
に関連付けられる、前記関連付けることとを含む。
ルタリングするために、系統タグが使用される。
用され得る。例えば、一部の系統図の複雑性の1つの原因は、正規化及び非正規化動作を実行するノードであり、系統タグの使用は、本明細書においてより詳細に説明されるように、そのような系統図の複雑性を減らすのに役立つ可能性がある。
タグをユーザが定義することを可能にすることによって選択性を実現する。それぞれの種類のタグは、独自の独立したフィルタリングの次元として働く。また、タグは、正規化及び非正規化を実行するノードなどに関する系統図の構成に基づいて自動的に定義され得る。
の望ましくないメンバーの上流又は下流にあるノードの極めて正確な削除を可能にする。有利なことに、この選択性は、単純なフィルタリング又は系統要約(例えば、データ若しくは過剰に詰め込まれたオブジェクト(overloaded object)の正規化/非正規化)によ
って解決され得ない問題を解決する能力を提供する。
オンラインデータストリーム(online data streams)への接続などのデータの1又は2以
上のソースを含み得るデータソース12を含み、それらの1又は2以上のソースのそれぞれは、さまざまなフォーマット(例えば、データベーステーブル(database tables)、ス
プレッドシートファイル(spreadsheet files)、フラットテキストファイル(flat text files)、又はメインフレーム(mainframe)によって使用されるネイティブフォーマット(native format))のいずれかでデータを記憶又は提供し得る。実行環境14は、実行モジュール13を含む。実行環境14は、例えば、UNIXオペレーティングシステムのバージョンなどの好適なオペレーティングシステムの制御下の1又は2以上の多目的コンピュータ(general-purpose computers)上でホストされる可能性がある。例えば、実行環境14は
、ローカルの(例えば、対称型マルチプロセッシング(SMP,symmetric multi-processing)コンピュータなどのマルチプロセッサシステム)又はローカルに分散された(例えば、クラスタ若しくは超並列処理(MPP,massively parallel processing)システム
として接続された複数のプロセッサか、或いは遠隔の又は遠隔に分散された(例えば、ローカルエリアネットワーク(LAN,local area network)及び/若しくは広域ネットワーク(WAN,wide-area network)を介して接続された複数のプロセッサ)か、或いは
これらの任意の組合せかのいずれかの複数の中央演算処理装置(CPU,central processing unit)或いはプロセッサコアを用いるコンピュータシステムの構成を含むマルチノ
ード並列コンピューティング環境(multi-node parallel computing environment)を含む
可能性がある。
ブセットに関連付けられ、サブセットは、1又は2以上の系統タグの可能なタグ値のうちの少なくとも1つ且つ全数未満を含む。
一部の例において、図2aのエンドツーエンドのデータ系統図100は、フィルタリングされたデータ系統図を生じさせるためにデータ系統モジュール25によって処理される。図2bを参照すると、フィルタリングされたデータ系統図201の一例は、「Region」系統タグ及び「US」系統タグ値に従ってフィルタリングされるエンドツーエンドのデータ系統図100のバージョンである。図に見られるように、フィルタリングされたデータ系統図201は、「Region」系統タグ識別子に関連付けられ、「CA」のみ
又は「MEX」のみを含む系統タグ値を有するノードがデータ系統から除外されるので図2aのエンドツーエンドのデータ系統図100に比べて大幅に簡素化される。
フィルタリングされたデータ系統図に含めるためにマークされる。
終了され、訪問先ノードは、フィルタリングされたデータ系統に含められない。
ドを含まない系統のパスが、フィルタリングされたデータ系統に含められる。
に延びる第3の系統のパスが、データ系統モジュール25によってトラバースされる。やはり、第1のデータノード136と第10のデータ変換ノード128との間の有向リンク108は既にトラバースされたので、データ系統モジュール25は、第10のデータ変換ノード128と第6のデータ変換ノード120との間の有向リンク108をトラバースすることによってそのデータ系統モジュール25のトラバーサルを始める。
4は、第1のコンテナノード140に入れ子にされる第4のコンテナノード146に含まれることに留意されたい。第1のコンテナノード140及び第4のコンテナノード146のどちらも、いかなる系統タグ識別子にも関連付けられず、したがって、どちらも、ブラックリストに含まれない。第5の系統のパスは第1のコンテナノード140及び第4のコンテナノード146の境界をトラバースし、どちらのコンテナノードもブラックリスト内にないので、第1のコンテナノード140と第4のコンテナノード146との両方が、フィルタリングされたデータ系統に含めるためにマークされる。
図13を参照すると、コンピュータプログラム27の単純で例示的なエンドツーエンドのデータ系統図1300が、入力フォーム1360、正規化データ変換ノード1362、データノード1364、非正規化データ変換ノード1366、及びレポートフォーム1368を含む。入力フォーム1360及びレポートフォーム1368は、より高いレベルのデータ要素内に入れ子にされた異なるデータ要素に対応する複数のデータノードをそれぞれがそれ自体の中に含むデータノードである。この例において、入れ子にされたデータ要素は、各フォームのレコード内の異なるフィールドを表す。
6、データノード1364、正規化データ変換ノード1362、及び入力フォーム1368の第1のフィールド1370を含む。
ルタリングされたデータ系統に含められ、フィルタリングされたデータ系統から除外されるのかを決定する。図に見られるように、「Work」及び「Home」系統タグ値のみによってタグ付けされたフィールドは、データ系統モジュール25によってフィルタリングされたデータ系統から除外するためにマークされ、一方、「Mobile」系統タグ値のみによってタグ付けされたフィールドは、フィルタリングされたデータ系統に含めるためにマークされる。
上の系統タグに基づくフィルタリングの例のデータ系統図のノードは特定の順序でトラバースされるが、トラバーサルの多くの異なる順序が使用され得ることに留意すべきである。例えば、トラバーサルの幅優先順序又はトラバーサルの深さ優先順序が、使用され得る。
上述のデータ系統生成手法は、好適なソフトウェアを実行するコンピューティングシステムを用いて履行され得る。例えば、ソフトウェアは、それぞれが少なくとも1つのプロセッサ、(揮発性及び/又は不揮発性メモリ及び/又はストレージ要素を含む)少なくとも1つのデータストレージシステム、(少なくとも1つの入力デバイス又はポートを用いて入力を受け取るため、及び少なくとも1つの出力デバイス又はポートを用いて出力を与えるための)少なくとも1つのユーザインターフェースを含む(分散、クライアント/サーバ、又はグリッドなどのさまざまなアーキテクチャである可能性がある)1又は2以上のプログラミングされた又はプログラミング可能なコンピューティングシステム上で実行される1又は2以上のコンピュータプログラムのプロシージャを含み得る。ソフトウェアは、例えば、データフローグラフの設計、構成、及び実行に関連するサービスを提供するより大きなプログラムの1又は2以上のモジュールを含む可能性がある。プログラムのモジュール(例えば、データフローグラフの要素)は、データリポジトリに記憶されたデータモデルに準拠するデータ構造又はその他の編成されたデータとして履行され得る。
SIC,application-specific integrated circuit)などの専用のハードウェアを使用
して実施される可能性がある。処理は、ソフトウェアによって規定された計算の異なる部分が異なるコンピューティング要素によって実施される分散された方法で履行される可能性がある。それぞれのそのようなコンピュータプログラムは、本明細書において説明された処理を実施するためにストレージデバイスの媒体がコンピュータによって読み取られるときにコンピュータを構成し、動作させるために、多目的又は専用のプログラミング可能なコンピュータによってアクセスされ得るストレージデバイスのコンピュータ可読ストレージ媒体(例えば、ソリッドステートメモリ若しくは媒体、又は磁気式若しくは光学式媒体)に記憶されるか又はダウンロードされることが好ましい。本発明のシステムは、コンピュータプログラムで構成された有形の非一時的媒体として履行されると考えられる可能性もあり、そのように構成された媒体は、本明細書において説明された1又は2以上処理ステップを実施するために特定の予め定義された方法でコンピュータを動作させる。
Claims (26)
- 計算を表すノード、データ要素を表すノード、及び計算とデータ要素との間の系統の関係を表すリンクを含む有向グラフに関連付けられた系統情報を管理することを含み、コンピューティングシステムのプロセッサによって実行される方法であって、前記系統情報を管理することが、
正規化ノード及び非正規化ノードを含むノード集合を定義することであって、前記正規化ノードが、複数のデータ要素に対応するレコードを共通のフォーマットを共有するフィールドを含む複数のレコードに変換するように構成され、前記非正規化ノードが、複数のレコードを複数のデータ要素に対応する非正規化されたレコードに変換するように構成される、前記定義することと、
前記有向グラフのノードを、少なくとも正規化されているデータ要素が存在する数と同じ数の可能なタグ値から選択された値を有するタグ識別子に関連付けることとを含み、
前記ノードが、
前記有向グラフから第1の有向リンクによって前記ノード集合内のノードに接続される前記有向グラフのノードを含む第1の複数のタグ付けされたノードであって、前記第1の有向リンクが、第1の系統の関係を表す、前記第1の複数のタグ付けされたノード、及び
前記有向グラフから第2の系統の関係を表す第2の有向リンクによって前記ノード集合内のノードに接続される前記有向グラフのノードを含む第2の複数のタグ付けされたノードを含む、前記方法。 - ノード集合からのノードに第1のレコード及び第2のレコードを受け取らせることであって、前記第1のレコードが、第1の種類の第1の値を記憶する第1のフィールドを含み、前記第2のレコードが、前記第1の種類の第2の値を記憶する第2のフィールドを含み、前記第1のフィールドが、前記ノード集合からの第1のノードに関連付けられ、前記第2のフィールドが、前記ノード集合からの第2のノードに関連付けられる、前記受け取らせることと、
前記ノードに前記第1のレコード及び前記第2のレコードに少なくとも部分的に基づいて正規化されたレコードを生じさせることであって、前記正規化されたレコードが、前記第1のフィールド及び前記第2のフィールドからの値を記憶する第3のフィールド、並びに第1のフィールド又は前記第2のフィールドのどちらかを特定する値を記憶する第4のフィールドを含む、前記生じさせることとをさらに含む、請求項1に記載の方法。 - ノードに、第4のフィールドに少なくとも部分的に基づいて、第2の複数のタグ付けされたノードからの第3のノードに関連付けられ、第3のフィールドからの第1の種類の値を記憶する第5のフィールドを含む第1の非正規化されたレコードと、前記第2の複数のタグ付けされたノードからの第4のノードに関連付けられ、前記第3のフィールドからの前記第1の種類の値を記憶する第6のフィールドを含む第2の非正規化されたレコードとを生じさせることをさらに含む、請求項2に記載の方法。
- ノード集合が、
正規化されたレコードを生じさせるために実行される計算の一部を表すノードと、
前記正規化されたレコードを含むデータストアに記憶されたデータ要素を表すノードと、
第1の非正規化されたレコード及び第2の非正規化されたレコードを生じさせるために実行される前記計算の一部を表すノードとを含む、請求項3に記載の方法。 - 第1の複数のタグ付けされたノードが第1のノード及び第2のノードを含み、第2の複数のタグ付けされたノードが第3のノード及び第4のノードを含むような前記第1のノード、前記第2のノード、前記第3のノード、及び前記第4のノードが存在し、
有向グラフのノードをタグ識別子に関連付けることが、
前記第1のノード及び前記第3のノードを前記タグ識別子の第1の値に関連付けることと、
前記第2のノード及び前記第4のノードを前記タグ識別子の第2の値に関連付けることとを含む、請求項2に記載の方法。 - 第3のノードに関するデータ系統の表現の要求を処理することをさらに含み、前記要求を処理することが、
前記第3のノードとタグ識別子との間の関連付けを決定することと、
前記タグ識別子に関する可能なタグ値の適切なサブセットを決定することであって、前記適切なサブセットが、前記タグ識別子の第1の値を含む、前記決定することと、
前記第3のノードから第1の系統のパスに沿ってノードをトラバースすることであって、第1のトラバースされるノードをトラバースすることを含み、前記第1の系統のパスが、有向リンクのパスである、前記トラバースすることとを含み、
前記第3のノードに関する前記データ系統を決定することが、前記第1のトラバースされるノードに関連付けられるタグ識別子又は前記第1のトラバースされるノードに関連付けられるタグ値のどちらかに少なくとも部分的に基づいて、前記第1のトラバースされるノードを前記データ系統に追加すべきか又は前記第1のトラバースされるノードを前記データ系統から除外すべきかを決定することを含む、請求項5に記載の方法。 - 第3のノードに関するデータ系統の表現の要求を処理することをさらに含み、前記要求を処理することが、
前記第3のノードとタグ識別子との間の関連付けを決定することと、
前記タグ識別子に関する可能なタグ値の適切なサブセットを決定することと、
前記第3のノードから第1の系統のパスに沿ってノードをトラバースし、それによって、第1のトラバースされるノードをトラバースすることと、
前記第3のノードから第2の系統のパスに沿ってノードをトラバースし、それによって、第2のトラバースされるノードをトラバースすることと、
前記第1のトラバースされるノードが前記タグ識別子に関連付けられ、前記タグ識別子の第1の値に関連付けられると決定することと、
前記第2のトラバースされるノードが前記タグ識別子に関連付けられるが、前記適切なサブセット内のいかなるタグ識別子とも関連付けられないと決定することと、
前記第1のトラバースされるノードを前記第3のノードのデータ系統に追加することと、
前記第2のトラバースされるノードを前記データ系統から除外することとを含み、
前記第1の系統のパス及び前記第2の系統のパスが、両方とも前記第3のノードから延伸し、前記第1の系統のパス及び前記第2の系統のパスが、両方とも有向リンクのパスであり、前記適切なサブセットが、前記タグ識別子の前記第1の値を含む、請求項5に記載の方法。 - ノード集合をトラバースすることと、前記ノード集合がタグ識別子に関連付けられないと決定し、前記ノード集合をデータ系統に追加することとをさらに含む、請求項7に記載の方法。
- 第1のトラバースされるノードがタグ識別子に関連付けられないと決定することと、前記第1のトラバースされるノードをデータ系統に追加することとをさらに含む、請求項6に記載の方法。
- 第1のトラバースされるノードがタグ識別子及び適切なサブセットからのタグ値に関連付けられると決定することと、前記第1のトラバースされるノードをデータ系統に追加することとをさらに含む、請求項6に記載の方法。
- 第1のトラバースされるノードがいかなるタグ識別子にも関連付けられず、適切なサブセット内のいかなるタグ値にも関連付けられないと決定することと、前記第1のトラバースされるノードをデータ系統から除外することとをさらに含む、請求項6に記載の方法。
- 第1の系統のパスのトラバースを終了することをさらに含む、請求項11に記載の方法。
- 第1の系統のパスに沿ったノードが、特定のノードを含み、前記特定のノードが、タグ識別子に関連付けられ、前記特定のノードが、適切なサブセット内のいかなるタグ値とも
関連付けられず、方法が、前記特定のノードを特定することをさらに含み、前記特定のノードを特定することが、第1のパスに沿って前記ノードをトラバースする前に実行される、請求項6に記載の方法。 - 第1のトラバースされるノードに関連付けられるタグ識別子か又は前記第1のトラバースされるノードに関連付けられるタグ値かのどちらかに少なくとも部分的に基づいて、前記第1のトラバースされるノードをデータ系統に追加すべきか又は前記第1のトラバースされるノードを前記データ系統から除外すべきかを決定することが、前記トラバースされるノードが前記タグ識別子に関連付けられ、しかも、適切なサブセット内のいかなるタグ値にも関連付けられないかどうかを決定することを含む、請求項6に記載の方法。
- トラバースされるノードが適切なサブセット内にあるタグ値に関連付けられない場合に前記トラバースされるノードをデータ系統に追加することと、前記トラバースされるノードが前記適切なサブセット内にあるタグ値に関連付けられる場合に前記トラバースされるノードを前記データ系統から除外することとをさらに含む、請求項6に記載の方法。
- 有向グラフの1又は2以上のノードを前記有向グラフの1又は2以上のその他のノードの中に入れ子にさせ、それによって、ノードの入れ子にされた階層を定義することをさらに含む、請求項1に記載の方法。
- 入れ子にされた階層のより低いレベルのノードに関連付けられたタグ識別子及びタグ値の前記タグ識別子に関連するサブセットに、前記入れ子にされた階層のより高いレベルのノードに関連付けられたタグ識別子及びタグ値の前記タグ識別子に関連するサブセットを上回る優先度を割り振ることをさらに含む、請求項16に記載の方法。
- 第3のノードから第1の系統のパスに沿ってノードをトラバースすることが、有向リンクの方向と反対である方向に進むことを含む、請求項6に記載の方法。
- 計算を表す複数のノード、及び前記計算の実行中に受け取られるか又は計算によって生成されるデータ要素を表す複数のノード、及び計算とデータ要素との間の系統の関係を表すノード間の有向リンクを含む有向グラフの仕様を生じさせることをさらに含む、請求項1に記載の方法。
- 有向グラフのノードの間に、第1のノード及びノードのグループ分けが存在し、系統情報を管理することが、前記第1のノードに前記グループ分けを示させることをさらに含む、請求項1に記載の方法。
- 適切なサブセットが、第3のノードに関連付けられるタグ値を含む、請求項6に記載の方法。
- 適切なサブセットが、ユーザ入力から受け取られたタグ値を含む、請求項6に記載の方法。
- 第3のノードから有向リンクの複数の系統のパスに沿ってノードをトラバースすることと、前記第3のノードのデータ系統を決定することとをさらに含み、前記データ系統を決定することが、それぞれのトラバースされるノードに関して、前記トラバースされるノードに関連付けられたタグ識別子又はタグ値に少なくとも部分的に基づいて、前記トラバースされるノードを前記データ系統に追加すべきか又は前記トラバースされるノードを前記データ系統から除外すべきかを決定することを含み、トラバースされるノードが、前記第3のノードにおいて始まる有向リンクの系統のパスに沿ってトラバースされるノードである、請求項5に記載の方法。
- デフォルトで第3のノードをデータ系統に追加することをさらに含む、請求項6に記載の方法。
- プロセッサに請求項1〜24のいずれかに記載の方法を実施させるための命令を含むコンピュータ可読媒体に記憶されたソフトウェア。
- 請求項1〜24のいずれかに記載の方法を実施するように構成されたプロセッサを含むコンピューティングシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562114691P | 2015-02-11 | 2015-02-11 | |
US62/114,691 | 2015-02-11 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017541595A Division JP6463845B2 (ja) | 2015-02-11 | 2016-02-10 | データ系統図のフィルタリング |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019079556A JP2019079556A (ja) | 2019-05-23 |
JP2019079556A5 JP2019079556A5 (ja) | 2020-01-09 |
JP6688407B2 true JP6688407B2 (ja) | 2020-04-28 |
Family
ID=55487093
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017541595A Active JP6463845B2 (ja) | 2015-02-11 | 2016-02-10 | データ系統図のフィルタリング |
JP2019000222A Active JP6688407B2 (ja) | 2015-02-11 | 2019-01-04 | データ系統図のフィルタリング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017541595A Active JP6463845B2 (ja) | 2015-02-11 | 2016-02-10 | データ系統図のフィルタリング |
Country Status (9)
Country | Link |
---|---|
US (1) | US10521460B2 (ja) |
JP (2) | JP6463845B2 (ja) |
KR (1) | KR102054568B1 (ja) |
CN (1) | CN107430611B (ja) |
AU (2) | AU2016219432A1 (ja) |
CA (1) | CA2983080C (ja) |
HK (1) | HK1246895A1 (ja) |
SG (1) | SG11201706228UA (ja) |
WO (1) | WO2016130626A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10956422B2 (en) | 2012-12-05 | 2021-03-23 | Oracle International Corporation | Integrating event processing with map-reduce |
CN106716342B (zh) | 2014-07-24 | 2020-02-28 | 起元科技有限公司 | 管理数据沿袭信息的方法和系统及存储介质 |
KR102054568B1 (ko) | 2015-02-11 | 2020-01-22 | 아브 이니티오 테크놀로지 엘엘시 | 필터링 데이터 계통 다이어그램 |
AU2016219421B2 (en) | 2015-02-11 | 2019-04-18 | Ab Initio Technology Llc | Filtering data lineage diagrams |
EP3513321B1 (en) | 2016-09-15 | 2021-07-21 | Oracle International Corporation | Complex event processing for micro-batch streaming |
US11573965B2 (en) | 2016-09-15 | 2023-02-07 | Oracle International Corporation | Data partitioning and parallelism in a distributed event processing system |
US11960498B2 (en) * | 2016-09-29 | 2024-04-16 | Microsoft Technology Licensing, Llc | Systems and methods for dynamically rendering data lineage |
WO2018089633A1 (en) | 2016-11-09 | 2018-05-17 | Ab Initio Technology Llc | Systems and methods for determining relationships among data elements |
WO2018169430A1 (en) | 2017-03-17 | 2018-09-20 | Oracle International Corporation | Integrating logic in micro batch based event processing systems |
WO2018169429A1 (en) | 2017-03-17 | 2018-09-20 | Oracle International Corporation | Framework for the deployment of event-based applications |
US11657063B2 (en) * | 2017-03-31 | 2023-05-23 | Bmc Software, Inc. | Behavioral analytics in information technology infrasturcture incident management systems |
US10379825B2 (en) | 2017-05-22 | 2019-08-13 | Ab Initio Technology Llc | Automated dependency analyzer for heterogeneously programmed data processing system |
US11423060B2 (en) * | 2018-10-04 | 2022-08-23 | Oracle International Corporation | Storing and versioning hierarchical data in a binary format |
US11803565B2 (en) * | 2018-11-15 | 2023-10-31 | Royal Bank Of Canada | System and method for verifying software data lineage |
US20220188721A1 (en) * | 2019-01-07 | 2022-06-16 | Mitchell Swan | Method and system for valuing the movement and flow of data |
US11349957B2 (en) | 2020-05-14 | 2022-05-31 | Bank Of America Corporation | Automatic knowledge management for data lineage tracking |
US11520801B2 (en) | 2020-11-10 | 2022-12-06 | Bank Of America Corporation | System and method for automatically obtaining data lineage in real time |
Family Cites Families (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5966072A (en) | 1996-07-02 | 1999-10-12 | Ab Initio Software Corporation | Executing computations expressed as graphs |
US6584581B1 (en) | 1999-12-06 | 2003-06-24 | Ab Initio Software Corporation | Continuous flow checkpointing data processing |
US7974875B1 (en) * | 2000-03-21 | 2011-07-05 | Aol Inc. | System and method for using voice over a telephone to access, process, and carry out transactions over the internet |
US7164422B1 (en) | 2000-07-28 | 2007-01-16 | Ab Initio Software Corporation | Parameterized graphs with conditional components |
JP2002099561A (ja) * | 2000-09-21 | 2002-04-05 | Toshiba Corp | データ変換方法およびデータ変換システム並びに記憶媒体 |
US6978271B1 (en) * | 2000-10-31 | 2005-12-20 | Unisys Corporation | Mechanism for continuable calls to partially traverse a dynamic general tree |
WO2002097727A1 (en) * | 2001-05-28 | 2002-12-05 | Zenya Koono | Automatic knowledge creating method, automatic knowledge creating system, automatic knowledge creating program, automatic designing method and automatic designing system |
AU2003214975A1 (en) * | 2002-02-01 | 2003-09-02 | John Fairweather | System and method for navigating data |
US20040010752A1 (en) * | 2002-07-09 | 2004-01-15 | Lucent Technologies Inc. | System and method for filtering XML documents with XPath expressions |
KR101033446B1 (ko) * | 2004-08-31 | 2011-05-09 | 인터내셔널 비지네스 머신즈 코포레이션 | 데이터 통합 시스템의 사용자 인터페이스 |
US20070011271A1 (en) * | 2005-05-20 | 2007-01-11 | Baker David V | Multi-source data retrieval system |
US7734619B2 (en) | 2005-05-27 | 2010-06-08 | International Business Machines Corporation | Method of presenting lineage diagrams representing query plans |
US7716630B2 (en) | 2005-06-27 | 2010-05-11 | Ab Initio Technology Llc | Managing parameters for graph-based computations |
US7877350B2 (en) * | 2005-06-27 | 2011-01-25 | Ab Initio Technology Llc | Managing metadata for graph-based computations |
US7493570B2 (en) | 2005-09-12 | 2009-02-17 | International Business Machines Corporation | User interface options of a data lineage tool |
WO2008089362A1 (en) | 2007-01-17 | 2008-07-24 | Weidner David P | Point of reference directions |
US20100174692A1 (en) * | 2007-03-15 | 2010-07-08 | Scott Meyer | Graph store |
US8230108B2 (en) | 2007-04-13 | 2012-07-24 | Hart Communication Foundation | Routing packets on a network using directed graphs |
AU2008302144B2 (en) | 2007-09-20 | 2014-09-11 | Ab Initio Technology Llc | Managing data flows in graph-based computations |
CN101971165B (zh) * | 2008-02-26 | 2013-07-17 | 起元技术有限责任公司 | 数据关系的图形表示 |
CN101321190B (zh) * | 2008-07-04 | 2013-01-30 | 清华大学 | 一种异构网络中的推荐方法及推荐系统 |
WO2010065623A1 (en) | 2008-12-02 | 2010-06-10 | Ab Initio Software Llc | Visualizing relationships between data elements and graphical representations of data element attributes |
KR101631978B1 (ko) * | 2009-09-16 | 2016-06-20 | 아브 이니티오 테크놀로지 엘엘시 | 데이터세트 요소의 매핑 |
US8819010B2 (en) | 2010-06-28 | 2014-08-26 | International Business Machines Corporation | Efficient representation of data lineage information |
WO2012061109A1 (en) | 2010-10-25 | 2012-05-10 | Ab Initio Technology Llc | Managing data set objects in a dataflow graph that represents a computer program |
WO2012092576A1 (en) * | 2010-12-30 | 2012-07-05 | Coral Networks, Inc. | System and method for creating, deploying, integrating, and distributing nodes in a grid of distributed graph databases |
WO2012094496A1 (en) | 2011-01-07 | 2012-07-12 | Ab Initio Technology Llc | Flow analysis instrumentation |
US8782614B2 (en) | 2011-04-08 | 2014-07-15 | Ca, Inc. | Visualization of JVM and cross-JVM call stacks |
US9202185B2 (en) * | 2011-04-08 | 2015-12-01 | Ca, Inc. | Transaction model with structural and behavioral description of complex transactions |
US8874525B2 (en) | 2011-04-19 | 2014-10-28 | Autodesk, Inc. | Hierarchical display and navigation of document revision histories |
US9430583B1 (en) * | 2011-06-10 | 2016-08-30 | Salesforce.Com, Inc. | Extracting a portion of a document, such as a web page |
US8849824B2 (en) | 2011-10-07 | 2014-09-30 | Kabushiki Kaisha Square Enix | Database visualization system |
US9721039B2 (en) | 2011-12-16 | 2017-08-01 | Palo Alto Research Center Incorporated | Generating a relationship visualization for nonhomogeneous entities |
JP5542289B2 (ja) * | 2012-01-23 | 2014-07-09 | トヨタ自動車株式会社 | オイル添加物およびオイルフィルター |
US9753926B2 (en) * | 2012-04-30 | 2017-09-05 | Salesforce.Com, Inc. | Extracting a portion of a document, such as a web page |
US10089335B2 (en) | 2012-07-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Data lineage across multiple marketplaces |
US9063998B2 (en) | 2012-10-18 | 2015-06-23 | Oracle International Corporation | Associated information propagation system |
EP2972770A4 (en) * | 2013-03-15 | 2016-11-16 | Ab Initio Technology Llc | SYSTEM FOR MANAGING METADATA |
US20150012477A1 (en) * | 2013-07-02 | 2015-01-08 | Bank Of America Corporation | Data lineage notification tools |
US9256656B2 (en) * | 2013-08-20 | 2016-02-09 | International Business Machines Corporation | Determining reliability of data reports |
EP3047371A4 (en) * | 2013-09-16 | 2017-05-17 | Metanautix Inc. | Data flow exploration |
CN103678635B (zh) * | 2013-12-19 | 2017-01-04 | 中国传媒大学 | 基于标签有向图的网络音乐聚合推荐方法 |
CN106716342B (zh) | 2014-07-24 | 2020-02-28 | 起元科技有限公司 | 管理数据沿袭信息的方法和系统及存储介质 |
US10025878B1 (en) * | 2014-11-11 | 2018-07-17 | Google Llc | Data lineage analysis |
KR102054568B1 (ko) | 2015-02-11 | 2020-01-22 | 아브 이니티오 테크놀로지 엘엘시 | 필터링 데이터 계통 다이어그램 |
AU2016219421B2 (en) | 2015-02-11 | 2019-04-18 | Ab Initio Technology Llc | Filtering data lineage diagrams |
US9712554B2 (en) | 2015-04-09 | 2017-07-18 | Accenture Global Services Limited | Event correlation across heterogeneous operations |
US10382566B2 (en) | 2015-04-16 | 2019-08-13 | Entit Software Llc | Business service discovery |
US10120923B2 (en) | 2015-11-30 | 2018-11-06 | Bank Of America Corporation | Data discovery and analysis tool |
-
2016
- 2016-02-10 KR KR1020177025572A patent/KR102054568B1/ko active IP Right Grant
- 2016-02-10 WO PCT/US2016/017263 patent/WO2016130626A1/en active Application Filing
- 2016-02-10 JP JP2017541595A patent/JP6463845B2/ja active Active
- 2016-02-10 AU AU2016219432A patent/AU2016219432A1/en not_active Abandoned
- 2016-02-10 CN CN201680009992.1A patent/CN107430611B/zh active Active
- 2016-02-10 SG SG11201706228UA patent/SG11201706228UA/en unknown
- 2016-02-10 US US15/040,162 patent/US10521460B2/en active Active
- 2016-02-10 CA CA2983080A patent/CA2983080C/en active Active
-
2018
- 2018-05-11 HK HK18106167.4A patent/HK1246895A1/zh unknown
-
2019
- 2019-01-04 JP JP2019000222A patent/JP6688407B2/ja active Active
- 2019-08-05 AU AU2019213302A patent/AU2019213302B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
AU2016219432A1 (en) | 2017-08-24 |
JP2018511106A (ja) | 2018-04-19 |
CN107430611A (zh) | 2017-12-01 |
KR102054568B1 (ko) | 2020-01-22 |
US10521460B2 (en) | 2019-12-31 |
AU2019213302A1 (en) | 2019-08-22 |
CA2983080A1 (en) | 2016-08-18 |
AU2019213302B2 (en) | 2020-09-24 |
US20160232230A1 (en) | 2016-08-11 |
SG11201706228UA (en) | 2017-08-30 |
JP6463845B2 (ja) | 2019-02-06 |
JP2019079556A (ja) | 2019-05-23 |
KR20170128297A (ko) | 2017-11-22 |
CA2983080C (en) | 2021-01-19 |
CN107430611B (zh) | 2021-12-31 |
HK1246895A1 (zh) | 2018-09-14 |
WO2016130626A1 (en) | 2016-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6688407B2 (ja) | データ系統図のフィルタリング | |
JP6469878B2 (ja) | データ系統図のフィルタリング | |
US11281596B2 (en) | Mapping attributes of keyed entities | |
JP6594950B2 (ja) | データ系統の要約 | |
JP5902185B2 (ja) | コンピュータプログラムを表すデータフローグラフ内のデータセットオブジェクトの管理 | |
JP6584672B2 (ja) | サブグラフインターフェースの生成 | |
US11144549B2 (en) | Dynamic generation of join statements for database operations | |
US20230119724A1 (en) | Derivation Graph Querying Using Deferred Join Processing | |
US20230118040A1 (en) | Query Generation Using Derived Data Relationships | |
Varghese et al. | Persistence with MongoDB |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200309 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6688407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |