PL423219A1

PL423219A1 - Method for extraction and transformation of stream-oriented measuring data, using the parallel computing

Info

Publication number: PL423219A1
Application number: PL423219A
Authority: PL
Inventors: Marcin Gorawski; Anna Gorawska; Krzysztof Pasterak; Michał Gorawski
Original assignee: Politechnika Slaska Im Wincent
Priority date: 2017-10-20
Filing date: 2017-10-20
Publication date: 2019-04-23
Also published as: PL233157B1

Abstract

Sposób ekstrakcji i transformacji strumieniowych danych pomiarowych wykorzystujący obliczenia równoległe polega na tym, że w module formowania bloków (2) formuje się wejściowe dane pomiarowe (1) w bloki danych (3), następnie poddaje się je operacji wyznaczania statystyk wstępnych w module statystyk wstępnych (4) i otrzymuje się: tablicę liczebności (5), tablicę pozycji (6) oraz tablicę indeksów (7), z których korzysta moduł grupowania (8) wykorzystujący blok danych (3), w wyniku jego działania powstaje pogrupowany blok danych (9), który jest przekazywany na wejście modułu transpozycji (10), który produkuje transponowany blok pogrupowanych danych (11) stanowiący wejście dla modułu różnicy (12), w wyniku którego powstaje blok różnic (13) wykorzystywany przez moduł generowania maski ID (14) oraz moduł generowania maski czasu (15), na których wyjściach powstają odpowiednio: blok maski ID (16) oraz blok maski czasu (17), które są podawane na wejście modułu iloczynu (18), który produkuje blok maski(19) wykorzystywany przez moduł nakładania maski (20), wykorzystujący dodatkowo blok różnic (13) do wytworzenia bloku podzielonych danych (21), który stanowi wejście dla modułu sumującego (22), w wyniku działania którego powstaje blok przedziałów (23), wykorzystywany przez moduł rekoncyliacji (24), produkujący blok przedziałów rekoncyliacji (25) stanowiący wejście dla modułu filtracji (26), na którego wyjściu powstaje blok przefiltrowanych danych (27) wykorzystywany przez moduł wykrywania trendów (28), produkujący blok trendów (29), który podawany jest na wejście modułu zapisu (30), po czym zapisuje dane do bazy danych (31).The method of extraction and transformation of streaming measurement data using parallel calculations is that in the block forming module (2) the input measurement data (1) is formed into data blocks (3), then it is subjected to the operation of determining preliminary statistics in the module of preliminary statistics ( 4) and the following is obtained: number table (5), position table (6) and index table (7) used by the grouping module (8) using a data block (3), as a result of its operation a grouped data block is created (9) , which is passed to the input of the transposition module (10), which produces the transposed block of grouped data (11) constituting the input for the difference module (12), resulting in a block of differences (13) used by the ID mask generation module (14) and the module generating a time mask (15), on which outputs respectively the ID mask block (16) and the time mask block (17), which are fed to the input the product module (18) that produces the mask block (19) used by the mask overlay module (20), which additionally uses the difference block (13) to create the split data block (21), which is the input for the summation module (22) as a result the action which creates a block of compartments (23), used by the reconciliation module (24), producing a block of reconciliation compartments (25) constituting the input for the filtration module (26), at the output of which a block of filtered data (27) is created, used by the trend detection module (28) ), producing a trend block (29), which is fed to the input of the write module (30), and then writes the data to the database (31).