RU2018135235A - Traffic classification system - Google Patents

Traffic classification system Download PDF

Info

Publication number
RU2018135235A
RU2018135235A RU2018135235A RU2018135235A RU2018135235A RU 2018135235 A RU2018135235 A RU 2018135235A RU 2018135235 A RU2018135235 A RU 2018135235A RU 2018135235 A RU2018135235 A RU 2018135235A RU 2018135235 A RU2018135235 A RU 2018135235A
Authority
RU
Russia
Prior art keywords
message
module
neural network
analysis
informal
Prior art date
Application number
RU2018135235A
Other languages
Russian (ru)
Other versions
RU2018135235A3 (en
RU2697648C2 (en
Inventor
Мария Давидовна Горькова
Original Assignee
Общество с ограниченной ответственностью "Алгоритм"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Алгоритм" filed Critical Общество с ограниченной ответственностью "Алгоритм"
Priority to RU2018135235A priority Critical patent/RU2697648C2/en
Publication of RU2018135235A publication Critical patent/RU2018135235A/en
Publication of RU2018135235A3 publication Critical patent/RU2018135235A3/ru
Application granted granted Critical
Publication of RU2697648C2 publication Critical patent/RU2697648C2/en
Priority to EA201900470A priority patent/EA201900470A3/en
Priority to PCT/RU2019/000715 priority patent/WO2020071962A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • H04L63/126Applying verification of the received information the source of the received data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • H04W4/14Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Claims (8)

1. Способ классификации трафика, в соответствии с которым принимают сообщение естественного языка, определяют схему сообщения, делят сообщение на значащие синтаксические (семантические) поля, предоставляют множество узлов для анализа значащих полей сообщения, к которым применяют правила анализа текста в зависимости от прикладного протокола сообщения, отличающийся тем, что для классификации сообщения по определенным категориям определяют неформальный шаблон-строку неформального языка поиска и обработки подстроки в строке и вероятностный коэффициент отнесения сообщения к определенной категории, преобразуют неформальный шаблон-строку в регулярное выражение стандартного языка поиска и обработки подстроки в строке, преобразуют регулярное выражение стандартного языка в программный модуль конфигурации правил анализа текста содержащий данные и методы обработки строк, динамически создают множество программных модулей конфигурации правил анализа и распределяют их по множеству узлов для анализа значащих полей сообщения, применяют конфигурацию правил анализа к значащим полям сообщения, подают сообщение на вход нейронной сети, причем результат классификации сообщения нейронной сетью корректируют в соответствии с определенным вероятностным коэффициентом отнесения сообщения к определенной категории.1. The method of traffic classification, according to which a natural language message is received, a message scheme is determined, the message is divided into meaningful syntactic (semantic) fields, a plurality of nodes are provided for the analysis of meaningful message fields to which text analysis rules are applied depending on the application message protocol characterized in that for classifying messages into certain categories, an informal template is determined as a string of an informal language for searching and processing a substring in a string and the coefficient of assigning a message to a certain category, they convert an informal template-string into a regular expression of a standard language for searching and processing substrings in a string, convert a regular expression of a standard language into a program module for analyzing text analysis rules containing data and methods for processing strings, dynamically create many configuration program modules analysis rules and distribute them across many nodes to analyze significant message fields, apply the configuration of analysis rules to m fields of the message, a message is supplied to the input of the neural network, the result message classification neural network is adjusted in accordance with the determined probability assignment ratio messages to a particular category. 2. Система классификации траффика, включающая координирующий модуль, модуль определения правил анализа, модуль машинного обучения, по крайней мере один модуль применения правил анализа к значащим полям сообщения, отличающаяся тем, что интерфейс администратора (пользователя) системы выполнен с возможностью определения категорий классификации сообщения, неформальных шаблонов-строк применяемых к анализу сообщения, вероятностных коэффициентов отнесения сообщения к определенной категории и дополнительно включает модуль компилятора правил анализа выполненный с возможностью создания программного модуля конфигурации правил анализа и состоящий из модуля языка регулярных выражений и модуля машинного обучения, причем модуль языка регулярных выражений содержит в памяти и выполняет алгоритмы неформального языка регулярных выражений и по крайней мере одного формального языка регулярных выражений и выполнен с возможностью получения неформальной шаблона-строки и преобразования ее в регулярное выражение формального языка регулярных выражений, а модуль нейросети выполнен с возможностью получения вероятностного коэффициента отнесения сообщения к определенной категории и корректировки на его основе результата работы нейросети, а координирующий модуль выполнен с возможностью получения программного модуля конфигурации правил анализа, создания множества программных модулей конфигураций правил анализа и распределения их по множеству модулей применения правил анализа к значащим полям сообщения.2. A traffic classification system, including a coordinating module, an analysis rule definition module, a machine learning module, at least one analysis rule application module for significant message fields, characterized in that the system administrator (user) interface is configured to determine message classification categories, informal string patterns applied to the analysis of messages, probabilistic coefficients for classifying a message into a certain category and additionally includes a right compiler module analysis module, configured to create a software module for analyzing the analysis rules and consisting of a regular expression language module and a machine learning module, the regular expression language module containing and executing algorithms of the informal regular expression language and at least one formal regular expression language and executed with the possibility of obtaining an informal string template and converting it into a regular expression of a formal regular expression language, and the neural network module is executed the possibility of obtaining a probabilistic coefficient of assigning a message to a certain category and adjusting the result of the operation of the neural network based on it, and the coordinating module is configured to obtain a software module for analyzing the configuration of analysis rules, creating many software modules for analyzing configurations and distributing them across many modules for applying analysis rules to significant fields messages. 3. Способ классификации трафика по п. 1, отличающийся тем, что определение неформального шаблона-строки неформального языка поиска и обработки подстроки в строке и вероятностного коэффициента отнесения сообщения к определенной категории производят в процессе обработки сообщения.3. The method of traffic classification according to claim 1, characterized in that the determination of the informal template-string of the informal language for searching and processing the substring in the string and the probabilistic coefficient of assigning a message to a certain category is carried out in the process of processing the message. 4. Способ классификации трафика по п. 1, отличающийся тем, что множество программных модулей конфигурации правил анализа генерируют и распределяют по множеству узлов для анализа значащих полей сообщения пропорционально сетевой нагрузке, обусловленной количеством анализируемых сообщений.4. The method of traffic classification according to claim 1, characterized in that a plurality of software modules for configuration of the analysis rules are generated and distributed across a plurality of nodes for analysis of significant message fields in proportion to the network load due to the number of messages being analyzed. 5. Способ классификации трафика по п. 1, отличающийся тем, что результат классификации нейронной сети корректируют в соответствии с определенным вероятностным коэффициентом отнесения сообщения к определенной категории, трансформацией пороговой величины классификации нейросети.5. The method of classifying traffic according to claim 1, characterized in that the result of the classification of the neural network is adjusted in accordance with a certain probabilistic coefficient of classifying the message to a certain category, the transformation of the threshold value for classifying the neural network. 6. Способ классификации трафика по п. 1, отличающийся тем, что результат классификации нейронной сети, корректируют в соответствии с определенным вероятностным коэффициентом отнесения сообщения к определенной категории, установлением границы достоверности выходных элементов нейросети.6. The method of classifying traffic according to claim 1, characterized in that the result of the classification of the neural network is adjusted in accordance with a certain probabilistic coefficient of classifying the message to a certain category, setting the confidence level of the output elements of the neural network. 7. Система классификации траффика по п. 2, отличающаяся тем, что модуль машинного обучения содержит в памяти и выполняет алгоритм трансформации пороговой величины нейросети в соответствии с полученным коэффициентом вероятности отнесения сообщения к определенной категории.7. The traffic classification system according to claim 2, characterized in that the machine learning module contains and executes an algorithm for transforming a threshold value of a neural network in accordance with the obtained probability coefficient for assigning a message to a certain category. 8. Система классификации траффика по п. 2, отличающаяся тем, что модуль машинного обучения содержит в памяти и выполняет алгоритм установления границы достоверности выходных элементов нейросети в соответствии с полученным коэффициентом отнесения сообщения к определенной категории.8. The traffic classification system according to claim 2, characterized in that the machine learning module contains in memory and executes an algorithm for establishing the boundary of the reliability of the output elements of the neural network in accordance with the obtained coefficient of assigning a message to a certain category.
RU2018135235A 2018-10-05 2018-10-05 Traffic classification system RU2697648C2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2018135235A RU2697648C2 (en) 2018-10-05 2018-10-05 Traffic classification system
EA201900470A EA201900470A3 (en) 2018-10-05 2019-10-07 TRAFFIC CLASSIFICATION SYSTEM
PCT/RU2019/000715 WO2020071962A1 (en) 2018-10-05 2019-10-07 System for classifying traffic

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018135235A RU2697648C2 (en) 2018-10-05 2018-10-05 Traffic classification system

Publications (3)

Publication Number Publication Date
RU2018135235A true RU2018135235A (en) 2018-11-19
RU2018135235A3 RU2018135235A3 (en) 2019-05-22
RU2697648C2 RU2697648C2 (en) 2019-08-15

Family

ID=64317094

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018135235A RU2697648C2 (en) 2018-10-05 2018-10-05 Traffic classification system

Country Status (3)

Country Link
EA (1) EA201900470A3 (en)
RU (1) RU2697648C2 (en)
WO (1) WO2020071962A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489102A (en) * 2019-07-29 2019-11-22 东北大学 A method of Python code is automatically generated from natural language
CN110781950A (en) * 2019-10-23 2020-02-11 新华三信息安全技术有限公司 Message processing method and device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113872918A (en) * 2020-06-30 2021-12-31 苏州三六零智能安全科技有限公司 Network traffic classification method, equipment, storage medium and device
WO2023033684A1 (en) * 2021-09-04 2023-03-09 Акционерное Общество "Квантум А Рус" Method for the mobile messaging of mobile subscribers

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7096498B2 (en) * 2002-03-08 2006-08-22 Cipher Trust, Inc. Systems and methods for message threat management
US20050060295A1 (en) * 2003-09-12 2005-03-17 Sensory Networks, Inc. Statistical classification of high-speed network data through content inspection
US7694287B2 (en) * 2005-06-29 2010-04-06 Visa U.S.A. Schema-based dynamic parse/build engine for parsing multi-format messages
US8364766B2 (en) * 2008-12-04 2013-01-29 Yahoo! Inc. Spam filtering based on statistics and token frequency modeling
US10848448B2 (en) * 2016-09-21 2020-11-24 King Fahd University Of Petroleum And Minerals Spam filtering in multimodal mobile communication

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489102A (en) * 2019-07-29 2019-11-22 东北大学 A method of Python code is automatically generated from natural language
CN110781950A (en) * 2019-10-23 2020-02-11 新华三信息安全技术有限公司 Message processing method and device
CN110781950B (en) * 2019-10-23 2023-06-30 新华三信息安全技术有限公司 Message processing method and device

Also Published As

Publication number Publication date
WO2020071962A1 (en) 2020-04-09
EA201900470A2 (en) 2020-06-30
RU2018135235A3 (en) 2019-05-22
RU2697648C2 (en) 2019-08-15
EA201900470A3 (en) 2020-10-30

Similar Documents

Publication Publication Date Title
RU2018135235A (en) Traffic classification system
US7730007B2 (en) IT event data classifier configured to label messages if message identifiers map directly to classification categories or parse for feature extraction if message identifiers do not map directly to classification categories
CN109726120B (en) Software defect confirmation method based on machine learning
CN107220096A (en) A kind of json data analysis methods and device
CN108984155B (en) Data processing flow setting method and device
JP2019133621A (en) Collection of api documentation
JP6733809B2 (en) Information processing system, information processing apparatus, information processing method, and information processing program
US20190066675A1 (en) Artificial intelligence based method and apparatus for classifying voice-recognized text
Wurzenberger et al. Aecid-pg: A tree-based log parser generator to enable log analysis
US20230089227A1 (en) Program generation apparatus, program generation method and program
KR20060089862A (en) Pre-compiling device
CN113692591A (en) Node disambiguation
CN112446205A (en) Sentence distinguishing method, device, equipment and storage medium
Velázquez-Rodríguez et al. Mutama: An automated multi-label tagging approach for software libraries on maven
CN111352820A (en) Method, equipment and device for predicting and monitoring running state of high-performance application
CN116483314A (en) Automatic intelligent activity diagram generation method
CN114662109A (en) Webshell detection method and device
CN111562943B (en) Code clone detection method and device based on event embedded tree and GAT network
JP2015170224A (en) Document summarizing device, method and program
CN111897932A (en) Query processing method and system for text big data
JP2016051367A (en) Data analysis device, data analysis method, and program
WO2023162002A1 (en) Log analysis device, log analysis method and program
KR20200101735A (en) Embedding based causality detection System and Method and Computer Readable Recording Medium on which program therefor is recorded
Dolvin et al. Web Saturation with Libraries of Machin Learning Modules
CN117609870B (en) Structure recognition model training, model structure recognition method, device and medium

Legal Events

Date Code Title Description
QB4A Licence on use of patent

Free format text: LICENCE FORMERLY AGREED ON 20200429

Effective date: 20200429

QB4A Licence on use of patent

Free format text: LICENCE FORMERLY AGREED ON 20220209

Effective date: 20220209