RU2013155910A - Эффективное логическое слияние физически расходящихся потоков - Google Patents
Эффективное логическое слияние физически расходящихся потоков Download PDFInfo
- Publication number
- RU2013155910A RU2013155910A RU2013155910/08A RU2013155910A RU2013155910A RU 2013155910 A RU2013155910 A RU 2013155910A RU 2013155910/08 A RU2013155910/08 A RU 2013155910/08A RU 2013155910 A RU2013155910 A RU 2013155910A RU 2013155910 A RU2013155910 A RU 2013155910A
- Authority
- RU
- Russia
- Prior art keywords
- output
- output stream
- logical
- stream
- module
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
- Error Detection And Correction (AREA)
- Amplifiers (AREA)
- Stereophonic System (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Design And Manufacture Of Integrated Circuits (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
1. Способ, реализуемый физическими и материальными вычислительными функциональными средствами и предназначенный для объединения потоков данных, содержащий этапы, на которых:принимают несколько физически расходящихся входных потоков из соответствующих источников; ииспользуют модуль логического слияния, чтобы сформировать выходной поток, который является логически совместимым с каждым из входных потоков.2. Способ по п. 1, дополнительно содержащий, для каждого элемента в каждом входном потоке, этапы, на которых:оценивают тип элемента;определяют выходное действие, которое следует предпринять в ответ на элемент, причем выходное действие выбирают среди следующих действий:обеспечение нулевого вклада в выходной поток,обеспечение новой выходной информации в выходной поток,корректировка предыдущей выходной информации в выходном потоке ипредоставление информации маркера хода работы в выходной поток, икорректируют состояние, соответствующее модулю логического слияния.3. Способ по п. 2, в котором модуль логического слияния применяет алгоритм, выбранный среди множества алгоритмов, для выполнения упомянутого определения и упомянутой корректировки, причем эти алгоритмы ассоциированы с изменением уровней ограничений, связанных с упомянутым множеством входных потоков.4. Способ по п. 1, в котором входные потоки берут начало из нескольких соответствующих блоков, причем блоки реализуют один и тот же непрерывный запрос.5. Способ по п. 4, в котором упомянутые несколько соответствующих блоков исполняют непрерывный запрос с использованием разных соответствующих планов выполнения запросов.6. Способ по п. 4, дополнительно с�
Claims (10)
1. Способ, реализуемый физическими и материальными вычислительными функциональными средствами и предназначенный для объединения потоков данных, содержащий этапы, на которых:
принимают несколько физически расходящихся входных потоков из соответствующих источников; и
используют модуль логического слияния, чтобы сформировать выходной поток, который является логически совместимым с каждым из входных потоков.
2. Способ по п. 1, дополнительно содержащий, для каждого элемента в каждом входном потоке, этапы, на которых:
оценивают тип элемента;
определяют выходное действие, которое следует предпринять в ответ на элемент, причем выходное действие выбирают среди следующих действий:
обеспечение нулевого вклада в выходной поток,
обеспечение новой выходной информации в выходной поток,
корректировка предыдущей выходной информации в выходном потоке и
предоставление информации маркера хода работы в выходной поток, и
корректируют состояние, соответствующее модулю логического слияния.
3. Способ по п. 2, в котором модуль логического слияния применяет алгоритм, выбранный среди множества алгоритмов, для выполнения упомянутого определения и упомянутой корректировки, причем эти алгоритмы ассоциированы с изменением уровней ограничений, связанных с упомянутым множеством входных потоков.
4. Способ по п. 1, в котором входные потоки берут начало из нескольких соответствующих блоков, причем блоки реализуют один и тот же непрерывный запрос.
5. Способ по п. 4, в котором упомянутые несколько соответствующих блоков исполняют непрерывный запрос с использованием разных соответствующих планов выполнения запросов.
6. Способ по п. 4, дополнительно содержащий этап, на котором отправляют информацию обратной связи по меньшей мере одному из упомянутых нескольких блоков, чтобы обеспечить возможность для упомянутого по меньшей мере одного из нескольких блоков продвинуть вперед ход своей работы.
7. Способ по п. 1, в котором выходной поток формируется модулем логического слияния посредством выбора из по меньшей мере одного не потерявшего работоспособности входного потока в любой момент времени для обеспечения высокой доступности.
8. Способ по п. 1, в котором выходной поток формируется модулем логического слияния посредством выбора из по меньшей мере одного своевременного входного потока в любой момент времени для обеспечения быстрой доступности.
9. Модуль логического слияния, реализованный физическими и материальными вычислительными функциональными средствами и предназначенный для обработки потоков, содержащий:
модуль синтаксического анализа элементов для выявления, посредством синтаксического анализа, элементов в нескольких физически расходящихся входных потоках;
модуль определения типа элемента для оценки типа каждого элемента, идентифицированного модулем синтаксического анализа элементов;
модуль обработки элементов для определения выходного действия, которое следует предпринять в ответ на каждый элемент, который был идентифицирован, чтобы сформировать выходной поток, причем выходное действие выбирается среди следующих действий:
обеспечение нулевого вклада в выходной поток,
обеспечение новой выходной информации в выходной поток,
корректировка предыдущей выходной информации в выходном потоке и
предоставление информации маркера хода работы в выходной поток; и
модуль управления состоянием для корректирования состояния, соответствующего модулю логического слияния,
при этом выходной поток, сформированный модулем обработки элементов, является логически совместимым с каждым из упомянутых нескольких входных потоков.
10. Машиночитаемый носитель для хранения машиночитаемых команд, причем машиночитаемые команды при их исполнении одним или более устройствами обработки данных обеспечивают модуль логического слияния, при этом машиночитаемые команды содержат:
логические средства для приема нескольких физически расходящиеся входных потоков из соответствующих источников, которые исполняют один и тот же непрерывный запрос; и
логические средства для использованием оператора логического слияния для формирования выходного потока, который имеет представление временной базы данных (TDB), логически эквивалентное представлениям TDB каждого из входных потоков.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/162,973 | 2011-06-17 | ||
US13/162,973 US9965520B2 (en) | 2011-06-17 | 2011-06-17 | Efficient logical merging over physically divergent streams |
PCT/US2012/042105 WO2012174023A2 (en) | 2011-06-17 | 2012-06-13 | Efficient logical merging over physically divergent streams |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2013155910A true RU2013155910A (ru) | 2015-06-27 |
RU2608474C2 RU2608474C2 (ru) | 2017-01-18 |
Family
ID=47354822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2013155910A RU2608474C2 (ru) | 2011-06-17 | 2012-06-13 | Эффективное логическое слияние физически расходящихся потоков |
Country Status (11)
Country | Link |
---|---|
US (1) | US9965520B2 (ru) |
EP (1) | EP2721511A4 (ru) |
JP (1) | JP6096182B2 (ru) |
KR (1) | KR101960985B1 (ru) |
CN (1) | CN103620584B (ru) |
AU (1) | AU2012271776B2 (ru) |
BR (1) | BR112013032186A2 (ru) |
CA (1) | CA2838966C (ru) |
MX (1) | MX2013015009A (ru) |
RU (1) | RU2608474C2 (ru) |
WO (1) | WO2012174023A2 (ru) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9305238B2 (en) | 2008-08-29 | 2016-04-05 | Oracle International Corporation | Framework for supporting regular expression-based pattern matching in data streams |
US9305057B2 (en) | 2009-12-28 | 2016-04-05 | Oracle International Corporation | Extensible indexing framework using data cartridges |
US9430494B2 (en) | 2009-12-28 | 2016-08-30 | Oracle International Corporation | Spatial data cartridge for event processing systems |
US8782434B1 (en) | 2010-07-15 | 2014-07-15 | The Research Foundation For The State University Of New York | System and method for validating program execution at run-time |
US8713049B2 (en) | 2010-09-17 | 2014-04-29 | Oracle International Corporation | Support for a parameterized query/view in complex event processing |
US9189280B2 (en) | 2010-11-18 | 2015-11-17 | Oracle International Corporation | Tracking large numbers of moving objects in an event processing system |
US8990416B2 (en) | 2011-05-06 | 2015-03-24 | Oracle International Corporation | Support for a new insert stream (ISTREAM) operation in complex event processing (CEP) |
US9329975B2 (en) | 2011-07-07 | 2016-05-03 | Oracle International Corporation | Continuous query language (CQL) debugger in complex event processing (CEP) |
US8990452B2 (en) | 2011-07-26 | 2015-03-24 | International Business Machines Corporation | Dynamic reduction of stream backpressure |
US9148495B2 (en) | 2011-07-26 | 2015-09-29 | International Business Machines Corporation | Dynamic runtime choosing of processing communication methods |
US9405553B2 (en) | 2012-01-30 | 2016-08-02 | International Business Machines Corporation | Processing element management in a streaming data system |
US9146775B2 (en) | 2012-04-26 | 2015-09-29 | International Business Machines Corporation | Operator graph changes in response to dynamic connections in stream computing applications |
US9063721B2 (en) | 2012-09-14 | 2015-06-23 | The Research Foundation For The State University Of New York | Continuous run-time validation of program execution: a practical approach |
US9563663B2 (en) | 2012-09-28 | 2017-02-07 | Oracle International Corporation | Fast path evaluation of Boolean predicates |
US9361308B2 (en) | 2012-09-28 | 2016-06-07 | Oracle International Corporation | State initialization algorithm for continuous queries over archived relations |
US9069782B2 (en) | 2012-10-01 | 2015-06-30 | The Research Foundation For The State University Of New York | System and method for security and privacy aware virtual machine checkpointing |
US9930081B2 (en) | 2012-11-13 | 2018-03-27 | International Business Machines Corporation | Streams optional execution paths depending upon data rates |
US10956422B2 (en) | 2012-12-05 | 2021-03-23 | Oracle International Corporation | Integrating event processing with map-reduce |
US10298444B2 (en) | 2013-01-15 | 2019-05-21 | Oracle International Corporation | Variable duration windows on continuous data streams |
US9098587B2 (en) | 2013-01-15 | 2015-08-04 | Oracle International Corporation | Variable duration non-event pattern matching |
US9047249B2 (en) | 2013-02-19 | 2015-06-02 | Oracle International Corporation | Handling faults in a continuous event processing (CEP) system |
US9390135B2 (en) | 2013-02-19 | 2016-07-12 | Oracle International Corporation | Executing continuous event processing (CEP) queries in parallel |
JP6201417B2 (ja) * | 2013-05-17 | 2017-09-27 | 富士通株式会社 | データ抽出プログラム、データ抽出方法およびデータ抽出装置 |
US9418113B2 (en) | 2013-05-30 | 2016-08-16 | Oracle International Corporation | Value based windows on relations in continuous data streams |
US9130831B2 (en) * | 2013-11-07 | 2015-09-08 | International Business Machines Corporation | Streaming state data for cloud management |
US9934279B2 (en) * | 2013-12-05 | 2018-04-03 | Oracle International Corporation | Pattern matching across multiple input data streams |
US9244978B2 (en) | 2014-06-11 | 2016-01-26 | Oracle International Corporation | Custom partitioning of a data stream |
US9712645B2 (en) | 2014-06-26 | 2017-07-18 | Oracle International Corporation | Embedded event processing |
US10120907B2 (en) | 2014-09-24 | 2018-11-06 | Oracle International Corporation | Scaling event processing using distributed flows and map-reduce operations |
US9886486B2 (en) | 2014-09-24 | 2018-02-06 | Oracle International Corporation | Enriching events with dynamically typed big data for event processing |
US9734038B2 (en) * | 2014-09-30 | 2017-08-15 | International Business Machines Corporation | Path-specific break points for stream computing |
US9632846B2 (en) | 2015-04-02 | 2017-04-25 | Microsoft Technology Licensing, Llc | Complex event processor for historic/live/replayed data |
WO2017018901A1 (en) | 2015-07-24 | 2017-02-02 | Oracle International Corporation | Visually exploring and analyzing event streams |
WO2017135838A1 (en) | 2016-02-01 | 2017-08-10 | Oracle International Corporation | Level of detail control for geostreaming |
WO2017135837A1 (en) | 2016-02-01 | 2017-08-10 | Oracle International Corporation | Pattern based automated test data generation |
US10178161B2 (en) * | 2016-05-11 | 2019-01-08 | Microsoft Technology Licensing, Llc | Digital signal processing over data streams |
US10616316B2 (en) * | 2016-09-15 | 2020-04-07 | International Business Machines Corporation | Processing element host management in a stream computing environment |
US10341189B2 (en) * | 2016-09-22 | 2019-07-02 | International Business Machines Corporation | Operator fusion management in a stream computing environment |
US10666703B2 (en) * | 2017-05-09 | 2020-05-26 | EMC IP Holding Company LLC | De-multiplexing streaming data from a fast write ahead durable log into segments |
US11196834B2 (en) | 2017-09-29 | 2021-12-07 | Arista Networks, Inc. | System and a method for distributing information |
EP3915021A1 (en) * | 2019-02-15 | 2021-12-01 | Huawei Technologies Co., Ltd. | A system for embedding stream processing execution in a database |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5539749A (en) | 1993-09-13 | 1996-07-23 | Siemens Aktiengesellschaft | Method for merging data streams |
US5745906A (en) | 1995-11-14 | 1998-04-28 | Deltatech Research, Inc. | Method and apparatus for merging delta streams to reconstruct a computer file |
US6029239A (en) * | 1997-12-01 | 2000-02-22 | Advanced Micro Devices, Inc. | Configuring a communications system with a configurable data transfer architecture |
FI112271B (fi) | 2000-02-04 | 2003-11-14 | Sandvik Tamrock Oy | Menetelmä ja sovitelma pölyhaittojen vähentämiseksi kallionporauksessa |
US20030002474A1 (en) * | 2001-03-21 | 2003-01-02 | Thomas Alexander | Multi-stream merge network for data width conversion and multiplexing |
WO2002084957A2 (en) * | 2001-04-13 | 2002-10-24 | Motorola, Inc., A Corporation Of The State Of Delaware | Manipulating data streams in data stream processors |
US7117278B2 (en) | 2001-07-12 | 2006-10-03 | Sun Micro Systems, Inc. | Method for merging a plurality of data streams into a single data stream |
EP1654819B1 (en) | 2003-08-15 | 2013-05-15 | Napatech A/S | A data merge unit, a method of producing an interleaved data stream, a network analyser and a method of analysing a network |
US7668856B2 (en) | 2004-09-30 | 2010-02-23 | Alcatel-Lucent Usa Inc. | Method for distinct count estimation over joins of continuous update stream |
US9182228B2 (en) | 2006-02-13 | 2015-11-10 | Sony Corporation | Multi-lens array system and method |
US20070226362A1 (en) | 2006-03-21 | 2007-09-27 | At&T Corp. | Monitoring regular expressions on out-of-order streams |
US8457214B2 (en) | 2007-09-10 | 2013-06-04 | Cisco Technology, Inc. | Video compositing of an arbitrary number of source streams using flexible macroblock ordering |
JP5337447B2 (ja) * | 2008-10-28 | 2013-11-06 | 株式会社日立製作所 | ストリームデータ処理方法、及びシステム |
FR2940487A1 (fr) | 2008-12-19 | 2010-06-25 | Thales Sa | Procede et systeme pour la fusion de donnees ou d'informations |
RU2413277C1 (ru) | 2009-09-17 | 2011-02-27 | Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации | Устройство перепаковки потоков для вывода данных |
-
2011
- 2011-06-17 US US13/162,973 patent/US9965520B2/en active Active
-
2012
- 2012-06-13 BR BR112013032186A patent/BR112013032186A2/pt not_active Application Discontinuation
- 2012-06-13 KR KR1020137033393A patent/KR101960985B1/ko active IP Right Grant
- 2012-06-13 EP EP12799866.4A patent/EP2721511A4/en not_active Ceased
- 2012-06-13 JP JP2014515928A patent/JP6096182B2/ja active Active
- 2012-06-13 RU RU2013155910A patent/RU2608474C2/ru active
- 2012-06-13 MX MX2013015009A patent/MX2013015009A/es unknown
- 2012-06-13 CN CN201280029593.3A patent/CN103620584B/zh active Active
- 2012-06-13 WO PCT/US2012/042105 patent/WO2012174023A2/en active Application Filing
- 2012-06-13 AU AU2012271776A patent/AU2012271776B2/en active Active
- 2012-06-13 CA CA2838966A patent/CA2838966C/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2012174023A2 (en) | 2012-12-20 |
CN103620584A (zh) | 2014-03-05 |
CA2838966A1 (en) | 2012-12-20 |
AU2012271776B2 (en) | 2016-09-29 |
KR101960985B1 (ko) | 2019-03-21 |
KR20140038462A (ko) | 2014-03-28 |
RU2608474C2 (ru) | 2017-01-18 |
EP2721511A4 (en) | 2014-12-24 |
WO2012174023A3 (en) | 2013-07-11 |
US9965520B2 (en) | 2018-05-08 |
CA2838966C (en) | 2019-09-03 |
MX2013015009A (es) | 2014-01-24 |
JP6096182B2 (ja) | 2017-03-15 |
EP2721511A2 (en) | 2014-04-23 |
BR112013032186A2 (pt) | 2016-12-20 |
US20120324453A1 (en) | 2012-12-20 |
JP2014524175A (ja) | 2014-09-18 |
CN103620584B (zh) | 2018-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2013155910A (ru) | Эффективное логическое слияние физически расходящихся потоков | |
JP2014524175A5 (ru) | ||
AR122765A2 (es) | Selección de sitios de muestreo para tratamientos agrícolas | |
US20150052530A1 (en) | Task-based modeling for parallel data integration | |
RU2012112466A (ru) | Устройство обработки информации, способ обработки информации и считываемый компьютером носитель информации | |
JP2016001502A5 (ru) | ||
AR108929A1 (es) | Delimitación de zonas de gestión en base a mapas de rendimiento histórico | |
JP2017535869A5 (ru) | ||
RU2012146969A (ru) | Многопоточная настройка ширины столбцов и высоты строк | |
EP3614267A3 (en) | Recoverable stream processing | |
GB2571686A (en) | System and method for analyzing and associating elements of a computer system by shared characteristics | |
JP2016510442A5 (ru) | ||
KR101276340B1 (ko) | 병렬 처리 시스템 및 그 방법 | |
JP2020522781A5 (ru) | ||
JP2013114626A (ja) | 配置装置、配置プログラムおよび配置方法 | |
JP2013225184A (ja) | 生産シミュレーション装置、生産シミュレーション方法及び、生産シミュレーションプログラム | |
Qi et al. | Real-time data stream processing and key techniques oriented to large-scale sensor data | |
MENG | Dynamic information spreading model based on online social network | |
Yang et al. | Design and Implement of a Flexible Workflow Model Based on UML Modeling Technology | |
Caleb et al. | Enhancing Fault Tolerance in Wireless Mesh Networks through Adaptive and Resilient Routing Protocols | |
CN108614736A (zh) | 实现资源索引替换的装置及处理器 | |
Oliveira et al. | A hybrid metaheuristic for routing on multicast networks | |
El-Hinnawi | The intergovernmental panel on climate change and developing countries | |
Xiang et al. | Service selection using service clusters | |
Moon et al. | Designing Index for Assessing Structural Vulnerability of Supply Chain considering Risk Propagation |