KR20190076047A - 데이터 요소 간의 관계를 결정하기 위한 시스템 및 방법 - Google Patents
데이터 요소 간의 관계를 결정하기 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20190076047A KR20190076047A KR1020197016457A KR20197016457A KR20190076047A KR 20190076047 A KR20190076047 A KR 20190076047A KR 1020197016457 A KR1020197016457 A KR 1020197016457A KR 20197016457 A KR20197016457 A KR 20197016457A KR 20190076047 A KR20190076047 A KR 20190076047A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- lineage
- business
- physical
- elements
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 123
- 238000004590 computer program Methods 0.000 claims abstract description 116
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000012800 visualization Methods 0.000 claims description 18
- 230000001052 transient effect Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 36
- 230000009466 transformation Effects 0.000 description 31
- 230000008569 process Effects 0.000 description 28
- 238000011144 upstream manufacturing Methods 0.000 description 16
- 238000000844 transformation Methods 0.000 description 15
- 238000007726 management method Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000007363 regulatory process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3604—Analysis of software for verifying properties of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
도 1은 본원에 설명된 기술의 일부 구현예가 작동할 수 있는, 예시적인 컴퓨팅 환경의 블록도이다.
도 2는 본원에 설명된 기술의 일부 구현예에 따른, 예시적 파생 데이터 계보의 예시적인 그래픽 표현이다.
도 3a는 본원에 설명된 기술의 일부 구현예에 따른, 사용자 지정 계보와 파생 데이터 계보 사이의 연관을 나타내는 다이어그램이다.
도 3b는 본원에 설명된 기술의 일부 구현예에 따른, 사용자 지정 계보와 파생 데이터 계보 사이의 연관을 나타내는 다른 다이어그램이다.
도 3c는 본원에 설명된 기술의 일부 구현예에 따라, 사용자 지정 계보와 파생 데이터 계보 사이의 연관을 나타내는 다른 다이어그램이다.
도 3d는 본원에 설명된 기술의 일부 구현예에 따른, 사용자 지정 계보와 파생 데이터 계보 사이의 연관을 도시하는 다른 다이어그램이다.
도 4a는 본원에 설명된 기술의 일부 구현예에 따른, 비즈니스 데이터 요소가 물리적 데이터 요소와 연관될 수 있는 그래픽 인터페이스를 나타내는 다이어그램이다.
도 4b는 본원에 설명된 기술의 일부 구현예에 따른, 물리적 데이터 요소가 비즈니스 데이터 요소와 연관될 수 있는 다른 그래픽 인터페이스를 나타내는 다이어그램이다.
도 5는 본원에 설명된 기술의 일부 구현예에 따른, 사용자 지정 데이터 계보와 파생 데이터 계보 사이의 연관을 획득하고 사용자 지정 데이터 계보, 파생 데이터 계보, 및 이들 사이의 연관 사이에 불일치가 존재하는지 결정하기 위해 획득된 연관을 사용하는 예시적인 프로세스의 흐름도이다.
도 6a 내지 도 6b는 본원에 설명된 기술의 일부 구현예에 따른, 비즈니스 데이터 요소 "신용 점수"에 관한 정보를 도시하는 예시적인 그래픽 인터페이스의 다이어그램이다.
도 6c는 본원에 설명된 기술의 일부 구현예에 따른, 비즈니스 데이터 요소 "신용 점수"에 대한 파생 데이터 계보를 제시하는 예시적인 사용자 인터페이스의 다이어그램이다.
도 6d는 본원에 설명된 기술의 일부 구현예에 따른, 비즈니스 데이터 요소 "신용 점수"에 대한 사용자 지정 데이터 계보를 제시하는 예시적인 사용자 인터페이스의 다이어그램이다.
도 6e는 본원에 설명된 기술의 일부 구현예에 따른, 비즈니스 데이터 요소 "신용 점수"에 대한 사용자 지정 및 파생 계보 사이의 불일치의 존재를 나타내는 예시적인 사용자 인터페이스의 다이어그램이다.
도 7은 본원에 설명된 기술의 일부 구현예를 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 시스템 환경의 블록도이다.
도 8a는 본원에 설명된 기술의 일부 구현예에 따른, 사용자 지정 데이터 계보를 제시하는 예시적인 사용자 인터페이스의 다이어그램이다.
도 8b는 본원에 설명된 기술의 일부 구현예에 따른, 도 8a의 사용자 지정 데이터 계보 내의 2개의 비즈니스 데이터 요소 사이의 의존관계에 관한 세부사항을 제공하는 예시적인 사용자 인터페이스의 다이어그램이다.
도 8c는 본원에 설명된 기술의 일부 구현예에 따른, 도 8a의 사용자 지정 데이터 계보의 일부분에 대응하는 파생 데이터 계보를 제시하는 예시적인 사용자 인터페이스의 다이어그램이다.
도 8d는 본원에 설명된 기술의 일부 구현예에 따른, 도 8a의 사용자 지정 데이터 계보 내의 노드에 관한 정보를 제시하는 예시적인 사용자 인터페이스의 다이어그램이다.
도 8e는 도 8a의 사용자 지정 데이터 계보 내의 비즈니스 데이터 요소와 연관된 물리적 데이터 요소에 관한 정보를 제시하는 예시적인 사용자 인터페이스의 다이어그램이다.
도 8f는 본원에 설명된 기술의 일부 구현예에 따른, 도 8a의 사용자 지정 데이터 계보 내의 2개의 다른 비즈니스 데이터 요소 사이의 의존관계에 대한 세부사항을 제공하는 예시적인 사용자 인터페이스의 다이어그램이다.
Claims (31)
- 데이터 처리 시스템으로서,
적어도 하나의 컴퓨터 하드웨어 프로세서; 및
프로세서 실행 가능 명령을 저장하는 적어도 하나의 비-일시적 컴퓨터 판독 가능 저장 매체로서, 비-일시적 컴퓨터 판독 가능 저장 매체는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서가,
다수의 물리적 데이터 요소 사이의 관계를 나타내는 제1 데이터 계보를 획득하도록 하되, 제1 데이터 계보는 (a) 다수의 물리적 데이터 요소 중 적어도 일부에 액세스하도록 구성된 적어도 하나의 컴퓨터 프로그램의 소스 코드를 분석하는 것; 및 (b) 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보를 분석하는 것 중 적어도 하나를 수행함으로써 적어도 부분적으로 생성되고;
사용자 입력에 적어도 부분적으로 기초하여, 다수의 비즈니스 데이터 요소 사이의 관계를 나타내는 제2 데이터 계보를 획득하도록 하고;
제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하도록 하며;
다수의 물리적 데이터 요소와 다수의 비즈니스 데이터 요소 사이의 연관에 기초하여, 제1 데이터 계보와 제2 데이터 계보 사이의 일치 또는 불일치의 표시를 생성하도록 하는 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 데이터 처리 시스템. - 제1항에 있어서, 일치 또는 불일치의 표시를 생성하는 것은:
일치 또는 불일치의 표시를 나타내는 제2 데이터 계보의 시각화를 디스플레이하는 것을 포함하는, 데이터 처리 시스템. - 제2항에 있어서, 제2 데이터 계보는 2개의 비즈니스 데이터 요소 사이의 제1 의존관계를 나타내는 제1 링크를 포함하며, 제2 데이터 계보의 시각화를 표시하는 것은 제1 의존관계에 대응하는 제1 데이터 계보에 의존관계가 존재할 때 일 방식으로 링크를 디스플레이하고 제1 의존관계에 대응하는 제1 데이터 계보에 의존관계가 존재하지 않을 때 다른 방식으로 링크를 디스플레이하는 것을 포함하는, 데이터 처리 시스템.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 일치 또는 불일치의 표시를 생성하는 것은:
다수의 물리적 데이터 요소와 다수의 비즈니스 데이터 요소 사이의 연관에 기초하여, 제1 데이터 계보, 제2 데이터 계보, 및 획득된 연관 사이에 하나 이상의 불일치가 존재하는지 여부를 결정하는 것을 포함하는, 데이터 처리 시스템. - 제1항 내지 제4항 중 어느 한 항에 있어서, 제1 데이터 계보를 획득하는 것은 적어도 하나의 컴퓨터 프로그램의 소스 코드를 분석하는 것 및 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보를 분석하는 것 중 적어도 하나를 수행함으로써 적어도 부분적으로 제1 데이터 계보를 생성하는 것을 포함하는, 데이터 처리 시스템.
- 제2항 내지 제5항 중 어느 한 항에 있어서, 제1 데이터 계보를 획득하는 것은 적어도 하나의 컴퓨터 프로그램의 소스 코드를 분석하는 것을 포함하는, 데이터 처리 시스템.
- 제2항 내지 제6항 중 어느 한 항에 있어서, 제1 데이터 계보를 획득하는 것은 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보를 분석하는 것을 포함하는, 데이터 처리 시스템.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 적어도 하나의 컴퓨터 프로그램은 데이터플로우 그래프로서 구현된 컴퓨터 프로그램을 포함하는, 데이터 처리 시스템.
- 제1항 내지 제8항 중 어느 한 항에 있어서, 제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하는 것은 그래픽 사용자 인터페이스를 통해 제공된 사용자 입력에 기초하여 연관을 생성하는 것을 포함하는, 데이터 처리 시스템.
- 제4항 내지 제9항 중 어느 한 항에 있어서,
다수의 물리적 데이터 요소는 제1 물리적 데이터 요소를 포함하고,
다수의 비즈니스 데이터 요소는 제1 비즈니스 데이터 요소를 포함하고,
연관은 제1 물리적 데이터 요소, 및 제1 비즈니스 데이터 요소가 연관되어 있음을 나타내며,
결정하는 것은 제1 데이터 계보에서 제1 물리적 데이터 요소를 획득하는 데 사용되는 것으로 식별된 하나 이상의 데이터 소스의 제1 세트가 제2 데이터 계보에서 제1 비즈니스 데이터 요소를 획득하는 데 사용되는 것으로 식별된 하나 이상의 데이터 소스의 제2 세트와 상이한지를 결정하는 것을 포함하는, 데이터 처리 시스템. - 제4항 내지 제10항 중 어느 한 항에 있어서, 제1 데이터 계보를 획득하고 불일치가 존재하는지 여부를 결정하는 동작은 지정된 스케줄에 따라 반복적으로 수행되는, 데이터 처리 시스템.
- 제1항 내지 제11항 중 어느 한 항에 있어서, 연관은 다수의 물리적 데이터 요소의 제1 물리적 데이터 요소와 다수의 비즈니스 데이터 요소의 제1 비즈니스 데이터 요소 사이의 연관을 포함하며,
적어도 하나의 컴퓨터 하드웨어 프로세서는:
제1 데이터 요소와 제1 비즈니스 데이터 요소 사이의 연관에 적어도 부분적으로 기초하여, 제1 비즈니스 데이터 요소에 대한 데이터 품질의 측정치 결정을 수행하도록 추가로 구성되는, 데이터 처리 시스템. - 제12항에 있어서, 제1 비즈니스 데이터 요소에 대한 데이터 품질의 측정치 결정은:
제1 물리적 데이터 요소의 데이터와 연관된 하나 이상의 데이터 품질 규칙에 적어도 부분적으로 기초하여 제1 물리적 데이터 요소에 있는 데이터의 데이터 품질 분석을 수행하는 것을 포함하는, 데이터 처리 시스템. - 제12항 내지 제13항 중 어느 한 항에 있어서, 제1 비즈니스 요소에 대한 데이터 품질 측정치는 정확성, 완전성, 및 유효성 중 하나 이상의 측정치를 포함하는, 데이터 처리 시스템.
- 방법으로서,
적어도 하나의 컴퓨터 하드웨어 프로세서를 사용하여:
다수의 물리적 데이터 요소 사이의 관계를 나타내는 제1 데이터 계보를 획득하는 단계로서, 제1 데이터 계보는 (a) 다수의 물리적 데이터 요소 중 적어도 일부에 액세스하도록 구성된 적어도 하나의 컴퓨터 프로그램의 소스 코드 분석; 및 (b) 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보 분석 중 적어도 하나를 수행함으로써 적어도 부분적으로 생성되는, 제1 데이터 계보를 획득하는 단계;
사용자 입력에 적어도 부분적으로 기초하여, 다수의 비즈니스 데이터 요소 사이의 관계를 나타내는 제2 데이터 계보를 획득하는 단계;
제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하는 단계; 및
다수의 물리적 데이터 요소와 다수의 비즈니스 데이터 요소 사이의 연관에 기초하여, 제1 데이터 계보와 제2 데이터 계보 사이의 일치 또는 불일치의 표시를 생성하는 단계를 수행하는 것을 포함하는, 방법. - 프로세서 실행 가능 명령을 저장하는 적어도 하나의 비-일시적 컴퓨터 판독 가능 저장 매체로서, 비-일시적 컴퓨터 판독 가능 저장 매체는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서가,
다수의 물리적 데이터 요소 사이의 관계를 나타내는 제1 데이터 계보를 획득하도록 하고, 제1 데이터 계보는 (a) 다수의 물리적 데이터 요소 중 적어도 일부에 액세스하도록 구성된 적어도 하나의 컴퓨터 프로그램의 소스 코드를 분석하는 것; 및 (b) 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보를 분석하는 것 중 적어도 하나를 수행함으로써 적어도 부분적으로 생성되고;
사용자 입력에 적어도 부분적으로 기초하여, 다수의 비즈니스 데이터 요소 사이의 관계를 나타내는 제2 데이터 계보를 획득하도록 하고;
제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하도록 하며;
다수의 물리적 데이터 요소와 다수의 비즈니스 데이터 요소 사이의 연관에 기초하여, 제1 데이터 계보와 제2 데이터 계보 사이의 일치 또는 불일치의 표시를 생성하도록 하는, 비-일시적 컴퓨터 판독 가능 저장 매체. - 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행하기 위한 프로세서 실행 가능 명령을 저장하는 적어도 하나의 비-일시적 컴퓨터 판독 가능 저장 매체로서, 프로세서 실행 가능 명령은,
다수의 물리적 데이터 요소 사이의 관계를 나타내는 제1 데이터 계보를 획득하기 위한 수단으로서, 제1 데이터 계보는 (a) 다수의 물리적 데이터 요소 중 적어도 일부에 액세스하도록 구성된 적어도 하나의 컴퓨터 프로그램의 소스 코드를 분석하는 것; 및 (b) 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보를 분석하는 것 중 적어도 하나를 수행함으로써 적어도 부분적으로 생성되는, 제1 데이터 계보를 획득하기 위한 수단;
사용자 입력에 적어도 부분적으로 기초하여, 다수의 비즈니스 데이터 요소 사이의 관계를 나타내는 제2 데이터 계보를 획득하기 위한 수단;
제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하기 위한 수단; 및
다수의 물리적 데이터 요소와 다수의 비즈니스 데이터 요소 사이의 연관에 기초하여, 제1 데이터 계보와 제2 데이터 계보 사이의 일치 또는 불일치의 표시를 생성하기 위한 수단을 포함하는, 비-일시적 컴퓨터 판독 가능 저장 매체. - 하나 이상의 비즈니스 데이터 요소에 대한 데이터 품질의 측정치를 결정하기 위한 데이터 처리 시스템으로서, 시스템은:
적어도 하나의 컴퓨터 하드웨어 프로세서; 및
프로세서 실행 가능 명령을 저장하는 적어도 하나의 비-일시적 컴퓨터 판독 가능 저장 매체로서, 비-일시적 컴퓨터 판독 가능 저장 매체는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서가,
다수의 물리적 데이터 요소 사이의 관계를 나타내는 제1 데이터 계보를 획득하도록 하고, 제1 데이터 계보는 다수의 물리적 데이터 요소 중 적어도 일부에 액세스하도록 구성된 적어도 하나의 컴퓨터 프로그램의 소스 코드 분석, 및 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보 분석 중 적어도 하나를 수행함으로써 적어도 부분적으로 생성되고;
사용자 입력에 적어도 부분적으로 기초하여, 다수의 비즈니스 데이터 요소 사이의 관계를 나타내는 제2 데이터 계보를 획득하도록 하고;
제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하도록 하고, 연관은 다수의 물리적 데이터 요소 중 제1 물리적 데이터 요소와 다수의 비즈니스 데이터 요소 중 제1 비즈니스 데이터 요소 사이의 연관을 포함하며;
제1 물리적 데이터 요소와 연관된 적어도 하나의 데이터 품질 측정치, 및 제1 물리적 데이터 요소와 제1 비즈니스 데이터 요소 사이의 연관에 적어도 부분적으로 기초하여 제1 비지니스 데이터 요소에 대한 데이터 품질의 측정치를 결정하도록 하는, 데이터 처리 시스템. - 제18항에 있어서, 제1 비즈니스 데이터 요소에 대한 데이터 품질의 측정치를 결정하는 것은:
제1 물리적 데이터 요소와 연관된 적어도 하나 이상의 데이터 품질 측정치를 획득하기 위해 제1 물리적 데이터 요소의 데이터와 연관된 하나 이상의 데이터 품질 규칙에 적어도 부분적으로 기초하여 제1 물리적 데이터 요소에 있는 데이터의 데이터 품질 분석을 수행하는 것을 포함하는, 데이터 처리 시스템. - 제18항 내지 제19항 중 어느 한 항에 있어서, 제1 비즈니스 요소에 대한 데이터 품질 측정치는 정확성, 완전성, 및 유효성 중 하나 이상의 측정치를 포함하는, 데이터 처리 시스템.
- 제18항 내지 제20항 중 어느 한 항에 있어서, 제1 데이터 계보를 획득하는 것은 제1 데이터 계보가 생성된 후에 제1 데이터 계보를 수신하는 것을 포함하는, 데이터 처리 시스템.
- 제18항 내지 제21항 중 어느 한 항에 있어서, 제1 데이터 계보를 획득하는 것은 제1 데이터 계보를 생성하는 것을 포함하는, 데이터 처리 시스템.
- 제22항에 있어서, 제1 데이터 계보를 생성하는 것은 적어도 하나의 컴퓨터 프로그램의 소스 코드를 분석하는 것을 포함하는, 데이터 처리 시스템.
- 제22항 내지 제23항 중 어느 한 항에 있어서, 제1 데이터 계보를 생성하는 것은 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보를 포함하고 분석하는 것인, 데이터 처리 시스템.
- 제18항 내지 제24항 중 어느 한 항에 있어서, 적어도 하나의 컴퓨터 프로그램은 데이터플로우 그래프로서 구현되는 컴퓨터 프로그램을 포함하는, 데이터 처리 시스템.
- 제18항 내지 제25항 중 어느 한 항에 있어서, 제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하는 것은 제1 물리적 데이터 요소와 제1 비즈니스 데이터 요소를 연관시키는 사용자 입력에 기초하여 수행되는 제1 물리적 데이터 요소와 제1 비즈니스 데이터 요소 사이의 연관을 생성하는 것을 포함하는, 데이터 처리 시스템.
- 제18항 내지 제26항 중 어느 한 항에 있어서, 다수의 물리적 데이터 요소와 다수의 비즈니스 데이터 요소 사이의 연관에 기초하여, 제1 데이터 계보와 제2 데이터 계보 사이에 불일치가 존재하는지 여부를 결정하는 것을 더 포함하는, 데이터 처리 시스템.
- 제18항 내지 제27항 중 어느 한 항에 있어서, 제1 데이터 계보를 획득하고 데이터 품질의 측정치를 결정하는 것은 지정된 스케줄에 따라 반복적으로 수행되는, 데이터 처리 시스템.
- 방법으로서,
적어도 하나의 컴퓨터 하드웨어 프로세서를 사용하여:
다수의 물리적 데이터 요소 사이의 관계를 나타내는 제1 데이터 계보를 획득하는 단계로서, 제1 데이터 계보는 다수의 물리적 데이터 요소 중 적어도 일부에 액세스하도록 구성된 적어도 하나의 컴퓨터 프로그램의 소스 코드 분석 및 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보 분석 중 적어도 하나를 수행함으로써 적어도 부분적으로 생성되는, 제1 데이터 계보를 획득하는 단계;
사용자 입력에 적어도 부분적으로 기초하여, 다수의 비즈니스 데이터 요소 사이의 관계를 나타내는 제2 데이터 계보를 획득하는 단계;
제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하고, 연관은 다수의 물리적 데이터 요소 중 제1 물리적 데이터 요소와 다수의 비즈니스 데이터 요소 중 제1 비즈니스 데이터 요소 사이의 연관을 포함하는 단계; 및
제1 물리적 데이터 요소와 연관된 적어도 하나의 데이터 품질 측정치 및 제1 물리적 데이터 계보 요소와 제1 비즈니스 데이터 요소 사이의 연관에 적어도 부분적으로 기초하여 제1 비즈니스 데이터 요소에 대한 데이터 품질의 측정치를 결정하는 단계를 수행하는, 방법. - 프로세서 실행 가능 명령을 저장하는 적어도 하나의 비-일시적 컴퓨터 판독 가능 저장 매체로서, 비-일시적 컴퓨터 판독 가능 저장 매체는, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서가,
다수의 물리적 데이터 요소 사이의 관계를 나타내는 제1 데이터 계보를 획득하도록 하고, 제1 데이터 계보는 다수의 물리적 데이터 요소 중 적어도 일부에 액세스하도록 구성된 적어도 하나의 컴퓨터 프로그램의 소스 코드를 분석하는 것 및 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보를 분석하는 것 중 적어도 하나를 수행함으로써 적어도 부분적으로 생성되고;
사용자 입력에 적어도 부분적으로 기초하여, 다수의 비즈니스 데이터 요소 사이의 관계를 나타내는 제2 데이터 계보를 획득하도록 하고;
제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하도록 하고, 연관은 다수의 물리적 데이터 요소의 제1 물리적 데이터 요소와 다수의 비즈니스 데이터 요소의 제1 비즈니스 데이터 요소 사이의 연관을 포함하며;
제1 물리적 데이터 요소와 연관된 적어도 하나의 데이터 품질 측정치 및 제1 물리적 데이터 요소와 제1 비즈니스 데이터 요소 사이의 연관에 적어도 부분적으로 기초하여 제1 비즈니스 데이터 요소에 대한 데이터 품질의 측정치를 결정하도록 하는, 비-일시적 컴퓨터 판독 가능 저장 매체. - 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행하기 위한 프로세서 실행 가능 명령을 저장하는 적어도 하나의 비-일시적 컴퓨터 판독 가능 저장 매체로서, 프로세서 실행 가능 명령은:
다수의 물리적 데이터 요소 사이의 관계를 나타내는 제1 데이터 계보를 획득하기 위한 수단으로서, 제1 데이터 계보는 다수의 물리적 데이터 요소 중 적어도 일부에 액세스하도록 구성된 적어도 하나의 컴퓨터 프로그램의 소스 코드를 분석하는 것 및 적어도 하나의 컴퓨터 프로그램의 런타임 동안 획득된 정보를 분석하는 것 중 적어도 하나를 수행함으로써 적어도 부분적으로 생성되는 제1 데이터 계보를 획득하기 위한 수단;
사용자 입력에 적어도 부분적으로 기초하여, 다수의 비즈니스 데이터 요소 사이의 관계를 나타내는 제2 데이터 계보를 획득하기 위한 수단;
제1 데이터 계보의 다수의 물리적 데이터 요소 중 적어도 일부와 제2 데이터 계보의 다수의 비즈니스 데이터 요소 중 적어도 일부 사이의 연관을 획득하기 위한 수단으로서, 연관은 다수의 물리적 데이터 요소의 제1 물리적 데이터 요소와 다수의 비즈니스 데이터 요소의 제1 비즈니스 데이터 요소 사이의 연관을 포함하는 연관을 획득하기 위한 수단; 및
제1 물리적 데이터 요소와 연관된 적어도 하나의 데이터 품질 측정치 및 제1 물리적 데이터 요소와 제1 비즈니스 데이터 요소 사이의 연관에 적어도 부분적으로 기초하여 제1 비즈니스 데이터 요소에 대한 데이터 품질의 측정치를 결정하기 위한 수단을 포함하는, 비-일시적 컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662419826P | 2016-11-09 | 2016-11-09 | |
US62/419,826 | 2016-11-09 | ||
PCT/US2017/060860 WO2018089633A1 (en) | 2016-11-09 | 2017-11-09 | Systems and methods for determining relationships among data elements |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190076047A true KR20190076047A (ko) | 2019-07-01 |
KR102432104B1 KR102432104B1 (ko) | 2022-08-11 |
Family
ID=60473651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020197016457A KR102432104B1 (ko) | 2016-11-09 | 2017-11-09 | 데이터 요소 간의 관계를 결정하기 위한 시스템 및 방법 |
Country Status (9)
Country | Link |
---|---|
US (3) | US10489384B2 (ko) |
EP (2) | EP3913502A1 (ko) |
JP (2) | JP7132918B2 (ko) |
KR (1) | KR102432104B1 (ko) |
CN (1) | CN110140118B (ko) |
AU (2) | AU2017359472B2 (ko) |
CA (1) | CA3043586A1 (ko) |
DE (1) | DE112017005638T5 (ko) |
WO (1) | WO2018089633A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102415001B1 (ko) * | 2021-05-13 | 2022-07-01 | 지티원 주식회사 | 데이터 리니지 관리 방법 및 그 시스템 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018089633A1 (en) | 2016-11-09 | 2018-05-17 | Ab Initio Technology Llc | Systems and methods for determining relationships among data elements |
US10331660B1 (en) * | 2017-12-22 | 2019-06-25 | Capital One Services, Llc | Generating a data lineage record to facilitate source system and destination system mapping |
US11296863B2 (en) * | 2018-01-04 | 2022-04-05 | Bank Of America Corporation | Blockchain enterprise data management |
KR101976167B1 (ko) * | 2018-10-08 | 2019-05-08 | 지티원 주식회사 | 프로그램 소스 및 db 스키마의 누락 연관 관계 검증 방법 및 그 장치 |
CN110008201A (zh) * | 2019-04-09 | 2019-07-12 | 浩鲸云计算科技股份有限公司 | 一种面向大数据的数据质量稽核监控方法 |
CN110825725B (zh) * | 2019-10-12 | 2022-08-19 | 国网安徽省电力有限公司 | 基于双螺旋管理的数据质量校验方法及系统 |
CN112749158A (zh) * | 2019-10-30 | 2021-05-04 | 北京国双科技有限公司 | 能源系统数据处理方法和装置 |
US11349957B2 (en) | 2020-05-14 | 2022-05-31 | Bank Of America Corporation | Automatic knowledge management for data lineage tracking |
US11366735B2 (en) | 2020-08-20 | 2022-06-21 | Bank Of America Corporation | Dynamic data storage management |
US11520801B2 (en) | 2020-11-10 | 2022-12-06 | Bank Of America Corporation | System and method for automatically obtaining data lineage in real time |
JPWO2022137526A1 (ko) * | 2020-12-25 | 2022-06-30 | ||
AU2022212038A1 (en) | 2021-01-31 | 2023-06-29 | Ab Initio Technology Llc | Techniques for managing data in a data processing system using data entities and inheritance |
US11921710B2 (en) | 2021-01-31 | 2024-03-05 | Ab Initio Technology Llc | Systems and methods for accessing data entities managed by a data processing system |
AU2022226637A1 (en) | 2021-02-24 | 2023-09-07 | Ab Initio Technology Llc | Systems and methods for managing privileges in a data processing system |
CN113553205B (zh) * | 2021-09-17 | 2021-12-07 | 统信软件技术有限公司 | 一种用于QT和Web端通信协议的执行方法和执行器 |
CN115994194B (zh) * | 2023-03-23 | 2023-06-02 | 河北东软软件有限公司 | 政务大数据的数据质量检查方法、系统、设备及介质 |
US20240402990A1 (en) * | 2023-05-31 | 2024-12-05 | Intuit Inc. | Maintaining streaming parity in large-scale pipelines |
WO2025029579A1 (en) | 2023-07-28 | 2025-02-06 | Ab Initio Technology Llc | Machine learning techniques for discovering keys in relational datasets |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140041546A (ko) * | 2011-06-14 | 2014-04-04 | 마이크로소프트 코포레이션 | 데이터 보강 제안 기법 |
US20140279979A1 (en) * | 2013-03-15 | 2014-09-18 | Ab Initio Technology Llc | System for metadata management |
US20150012478A1 (en) * | 2013-07-02 | 2015-01-08 | Bank Of America Corporation | Data lineage transformation analysis |
US20150310055A1 (en) * | 2014-04-29 | 2015-10-29 | Microsoft Corporation | Using lineage to infer data quality issues |
US20160019057A1 (en) * | 2014-07-18 | 2016-01-21 | Ab lnitio Technology LLC | Managing parameter sets |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5966072A (en) | 1996-07-02 | 1999-10-12 | Ab Initio Software Corporation | Executing computations expressed as graphs |
US7725433B1 (en) * | 1998-01-26 | 2010-05-25 | International Business Machines Corporation | Data navigation system and method employing data transformation lineage model |
US6343295B1 (en) * | 1998-12-16 | 2002-01-29 | Microsoft Corporation | Data lineage |
US6434558B1 (en) * | 1998-12-16 | 2002-08-13 | Microsoft Corporation | Data lineage data type |
US7117219B1 (en) * | 2000-05-05 | 2006-10-03 | Group 1 Software, Inc. | Method and apparatus for creating a lineage of a data field in a data flow system |
AU2001281111A1 (en) * | 2000-08-04 | 2002-02-18 | Infoglide Corporation | System and method for comparing heterogeneous data sources |
US20060064666A1 (en) * | 2001-05-25 | 2006-03-23 | Amaru Ruth M | Business rules for configurable metamodels and enterprise impact analysis |
US7716630B2 (en) | 2005-06-27 | 2010-05-11 | Ab Initio Technology Llc | Managing parameters for graph-based computations |
US7493570B2 (en) * | 2005-09-12 | 2009-02-17 | International Business Machines Corporation | User interface options of a data lineage tool |
KR101644418B1 (ko) * | 2008-12-02 | 2016-08-01 | 아브 이니티오 테크놀로지 엘엘시 | 데이터 요소 간의 관계의 시각화 및 데이터 요소 속성의 그래픽 표현 |
US9063988B2 (en) * | 2009-03-23 | 2015-06-23 | The Boeing Company | Database methods and apparatus |
US8819010B2 (en) * | 2010-06-28 | 2014-08-26 | International Business Machines Corporation | Efficient representation of data lineage information |
US8706684B2 (en) * | 2011-11-30 | 2014-04-22 | Tata Consultancy Services Limited | System and method for managing enterprise data |
US9659042B2 (en) * | 2012-06-12 | 2017-05-23 | Accenture Global Services Limited | Data lineage tracking |
US10089335B2 (en) * | 2012-07-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Data lineage across multiple marketplaces |
US10489360B2 (en) | 2012-10-17 | 2019-11-26 | Ab Initio Technology Llc | Specifying and applying rules to data |
US9075860B2 (en) * | 2012-10-18 | 2015-07-07 | Oracle International Corporation | Data lineage system |
US9811573B1 (en) * | 2013-09-27 | 2017-11-07 | EMC IP Holding Company LLC | Lineage information management in data analytics |
US10110415B2 (en) | 2014-07-24 | 2018-10-23 | Ab Initio Technology Llc | Data lineage summarization |
US10025878B1 (en) * | 2014-11-11 | 2018-07-17 | Google Llc | Data lineage analysis |
EP3051475A1 (en) * | 2015-01-27 | 2016-08-03 | Tata Consultancy Services Limited | Data analysis system and method to enable integrated view of customer information |
KR102054568B1 (ko) | 2015-02-11 | 2020-01-22 | 아브 이니티오 테크놀로지 엘엘시 | 필터링 데이터 계통 다이어그램 |
US20170124154A1 (en) * | 2015-11-02 | 2017-05-04 | International Business Machines Corporation | Establishing governance rules over data assets |
US10037329B2 (en) * | 2015-11-18 | 2018-07-31 | American Express Travel Related Services Company, Inc. | System and method for automatically capturing and recording lineage data for big data records |
US10120923B2 (en) * | 2015-11-30 | 2018-11-06 | Bank Of America Corporation | Data discovery and analysis tool |
US11086751B2 (en) * | 2016-03-16 | 2021-08-10 | Asg Technologies Group, Inc. | Intelligent metadata management and data lineage tracing |
US10452625B2 (en) * | 2016-06-30 | 2019-10-22 | Global Ids, Inc. | Data lineage analysis |
CN108713205B (zh) * | 2016-08-22 | 2022-11-11 | 甲骨文国际公司 | 用于自动映射与数据流环境一起使用的数据类型的系统和方法 |
WO2018089633A1 (en) | 2016-11-09 | 2018-05-17 | Ab Initio Technology Llc | Systems and methods for determining relationships among data elements |
-
2017
- 2017-11-09 WO PCT/US2017/060860 patent/WO2018089633A1/en unknown
- 2017-11-09 CA CA3043586A patent/CA3043586A1/en active Pending
- 2017-11-09 KR KR1020197016457A patent/KR102432104B1/ko active IP Right Grant
- 2017-11-09 DE DE112017005638.1T patent/DE112017005638T5/de active Pending
- 2017-11-09 CN CN201780082371.0A patent/CN110140118B/zh active Active
- 2017-11-09 AU AU2017359472A patent/AU2017359472B2/en active Active
- 2017-11-09 US US15/807,897 patent/US10489384B2/en active Active
- 2017-11-09 EP EP21185719.8A patent/EP3913502A1/en active Pending
- 2017-11-09 EP EP17804747.8A patent/EP3539022B1/en active Active
- 2017-11-09 JP JP2019524086A patent/JP7132918B2/ja active Active
-
2019
- 2019-10-17 US US16/655,968 patent/US11226957B2/en active Active
-
2022
- 2022-01-14 US US17/576,572 patent/US20220374413A1/en not_active Abandoned
- 2022-04-17 AU AU2022202530A patent/AU2022202530B2/en active Active
- 2022-08-26 JP JP2022134920A patent/JP7469406B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140041546A (ko) * | 2011-06-14 | 2014-04-04 | 마이크로소프트 코포레이션 | 데이터 보강 제안 기법 |
US20140279979A1 (en) * | 2013-03-15 | 2014-09-18 | Ab Initio Technology Llc | System for metadata management |
US20150012478A1 (en) * | 2013-07-02 | 2015-01-08 | Bank Of America Corporation | Data lineage transformation analysis |
US20150310055A1 (en) * | 2014-04-29 | 2015-10-29 | Microsoft Corporation | Using lineage to infer data quality issues |
US20160019057A1 (en) * | 2014-07-18 | 2016-01-21 | Ab lnitio Technology LLC | Managing parameter sets |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102415001B1 (ko) * | 2021-05-13 | 2022-07-01 | 지티원 주식회사 | 데이터 리니지 관리 방법 및 그 시스템 |
Also Published As
Publication number | Publication date |
---|---|
AU2022202530A1 (en) | 2022-05-12 |
EP3539022B1 (en) | 2021-09-29 |
CA3043586A1 (en) | 2018-05-17 |
AU2017359472A1 (en) | 2019-06-06 |
US11226957B2 (en) | 2022-01-18 |
JP2020500369A (ja) | 2020-01-09 |
CN110140118A (zh) | 2019-08-16 |
JP7469406B2 (ja) | 2024-04-16 |
JP7132918B2 (ja) | 2022-09-07 |
AU2017359472B2 (en) | 2022-05-26 |
US20220374413A1 (en) | 2022-11-24 |
WO2018089633A1 (en) | 2018-05-17 |
EP3539022A1 (en) | 2019-09-18 |
US20180129699A1 (en) | 2018-05-10 |
DE112017005638T5 (de) | 2019-07-25 |
US10489384B2 (en) | 2019-11-26 |
AU2022202530B2 (en) | 2023-05-11 |
CN110140118B (zh) | 2024-02-02 |
JP2022171690A (ja) | 2022-11-11 |
EP3913502A1 (en) | 2021-11-24 |
KR102432104B1 (ko) | 2022-08-11 |
US20200050598A1 (en) | 2020-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022202530B2 (en) | Systems and methods for determining relationships among data elements | |
US10817271B2 (en) | Automated dependency analyzer for heterogeneously programmed data processing system | |
US10546001B1 (en) | Natural language queries based on user defined attributes | |
US11341116B2 (en) | Techniques for automated data analysis | |
US10810009B2 (en) | Visualizations of software project and contributor activity | |
US11222174B2 (en) | Systems and methods for generating logical documents for a document evaluation system | |
US9910924B2 (en) | Disambiguation of online social mentions | |
EP4510001A1 (en) | Data set evaluation based on data lineage analysis | |
CN118964399A (zh) | 一种财政票据与非税收缴智能数据分析平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0105 | International application |
Patent event date: 20190607 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PG1501 | Laying open of application | ||
A201 | Request for examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20200914 Comment text: Request for Examination of Application |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220125 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220527 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20220809 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20220809 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration |