RU2659741C1 - Methods of detecting the anomalous elements of web pages on basis of statistical significance - Google Patents
Methods of detecting the anomalous elements of web pages on basis of statistical significance Download PDFInfo
- Publication number
- RU2659741C1 RU2659741C1 RU2017133845A RU2017133845A RU2659741C1 RU 2659741 C1 RU2659741 C1 RU 2659741C1 RU 2017133845 A RU2017133845 A RU 2017133845A RU 2017133845 A RU2017133845 A RU 2017133845A RU 2659741 C1 RU2659741 C1 RU 2659741C1
- Authority
- RU
- Russia
- Prior art keywords
- elements
- web
- cluster
- web page
- clusters
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/44—Program or device authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
- G06F21/54—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by adding security routines or objects to programs
Abstract
Description
Область техникиTechnical field
Изобретение относится к способам обнаружения аномальных элементов веб-страницы.The invention relates to methods for detecting abnormal elements of a web page.
Уровень техникиState of the art
В последнее время банки и другие финансовые организации активно внедряют в процесс банковского обслуживания системы веб-банкинга (интернет банкинга). Веб-банкинг - это общее название технологий дистанционного банковского обслуживания, а также доступа к счетам и операциям (по ним), предоставляющийся в любое время и с любого компьютера, имеющего доступ в Интернет. Для выполнения операций используется веб-клиент (например, браузер).Recently, banks and other financial organizations have been actively introducing web banking (Internet banking) systems in the banking process. Web banking is the common name for remote banking technologies, as well as access to accounts and transactions (through them), provided at any time and from any computer with Internet access. A web client (such as a browser) is used to perform operations.
Широкое применение указанных технологий закономерно привлекает злоумышленников, которые заинтересованы в хищении средств со счетов пользователей систем дистанционного обслуживания. Одной из популярных атак на пользователя веб-банкинга является атака, при которой вредоносным программным обеспечением (далее ПО) подменяется содержимое вебстраницы, отображаемой пользователю. Вредоносное ПО производит внедрение HTML-кода в веб-страницу. Часто эту атаку называют «человек в браузере» (англ. main in the browser) или «внедрение веб-кода» (англ. web injection). Атака может начинаться с использования, например, троянского приложения, устанавливающего в браузер жертвы вредоносное расширение, запускающееся при перезапуске браузера. После происходит перехват трафика пользователя, направляемого на определенный веб-сайт (чаще всего банковский). Далее происходит изменение веб-страницы (на этапе загрузки или открытия), отображаемой пользователю, что позволяет модифицировать внешний вид того или иного элемента веб-страницы, похищать вводимые аутентификационные данные жертвы или перенаправлять переводимые пользователем средства на сторонний счет.The widespread use of these technologies naturally attracts attackers who are interested in stealing funds from accounts of users of remote service systems. One of the most popular attacks against a web banking user is an attack in which malicious software (hereinafter referred to as software) replaces the contents of the web page displayed to the user. Malicious software embeds HTML code in a web page. Often this attack is called a “man in the browser” (English main in the browser) or “web code injection” (English web injection). An attack can begin with the use, for example, of a Trojan application that installs a malicious extension in the victim’s browser that starts when the browser restarts. After that, the user’s traffic is directed to a specific website (most often banking). Next, the web page (at the stage of loading or opening) is changed that is displayed to the user, which allows you to modify the appearance of a particular element of the web page, steal the victim’s entered authentication data or redirect the funds transferred by the user to a third-party account.
В настоящее время существуют решения, направленные на повышение безопасности работы пользователя в сети с учетом атак, внедряющих сторонний код в веб-страницу.Currently, there are solutions aimed at improving the security of a user’s network experience, taking into account attacks that introduce third-party code into a web page.
Так, публикация ЕР 2199940 описывает способ определения атаки «тап in the browser» с помощью «отпечатка» (англ. fingerprint) транзакции, ассоциированного с веб-сайтом. Отпечатком в частном случае может являться количество ожидаемых транзакций вывода-вывода. Если есть отклонение, транзакция прерывается.So, publication EP 2199940 describes a method for determining a “tap in the browser” attack using the “fingerprint” of a transaction associated with a website. A fingerprint in a particular case may be the number of expected I / O transactions. If there is a deviation, the transaction is aborted.
Публикация ЕР 2529304 описывает систему, которая сравнивает поведение пользователя в текущей сессии с усредненным поведением. Поддерживается определение атаки «man in the browser». Во время данной атаки выделяются атрибуты пользователя (например, логин и IP-адрес), и по ним в дальнейшем анализируется поведение пользователя.EP 2529304 describes a system that compares user behavior in the current session with averaged behavior. The definition of the “man in the browser” attack is supported. During this attack, user attributes (for example, username and IP address) are highlighted, and user behavior is further analyzed by them.
Однако в настоящий момент уровень техники не содержит решений, которые могли бы эффективно определить, была ли изменена веб-страница вредоносным ПО, и отыскать аномальные элементы в версии веб-страницы на стороне пользователя без установки дополнительного программного обеспечения. В тоже время дополнительное программное обеспечение, такое как различные клиенты безопасности, тонкие клиенты (англ. light agent) и другие антивирусные средства, не всегда возможно установить на стороне пользователя, что в результате приводит к ошибкам первого и второго рода в работе антивирусного приложения. Так, например, ошибкой первого рода является пропуск атаки типа «man in the browser» на вычислительную систему (компьютера) с целью захвата канал передачи данных и получения доступа ко всей передаваемой информации, а ошибкой второго рода является ошибочное определение легального изменения веб-страницы на стороне пользователя, как аномальное.However, at the moment, the prior art does not contain solutions that could effectively determine whether a web page has been modified by malware, and find anomalous elements in the version of the web page on the user side without installing additional software. At the same time, additional software, such as various security clients, thin clients (light agent) and other anti-virus tools, is not always possible to install on the user side, which leads to errors of the first and second kind in the operation of the anti-virus application. So, for example, a mistake of the first kind is a missed attack of the “man in the browser” type on a computer system (computer) in order to capture a data channel and gain access to all transmitted information, and a mistake of the second kind is an erroneous determination of a legal change of a web page to user side as abnormal.
Раскрытие изобретенияDisclosure of invention
Настоящее изобретение предназначено для обнаружения аномальных элементов веб-страницы, возникших на клиентской стороне, без установки дополнительного (помимо уже установленного веб-клиента) программного обеспечения на стороне клиента.The present invention is intended to detect anomalous elements of a web page that occurred on the client side, without installing additional (in addition to the already installed web client) software on the client side.
Технический результат заключается в обеспечении обнаружения аномальных элементов веб-страницы, возникших на стороне пользователя, без установки дополнительного программного обеспечения. Технический результат достигается путем определения статистической значимости кластеров, содержащих N-мерные вектора элементов веб-страниц. При этом сведения о содержимом элементов, преобразуемые в N-мерные векторы, которые впоследствии кластеризуются, также собираются скриптом на стороне веб-клиента, содержащимся непосредственно на веб-странице, сведения о содержимом элементов которой собираются.The technical result consists in providing detection of abnormal elements of a web page that arose on the user side, without installing additional software. The technical result is achieved by determining the statistical significance of clusters containing N-dimensional vector elements of web pages. At the same time, information about the contents of elements that are converted to N-dimensional vectors, which are subsequently clustered, is also collected by a script on the web client side, which is contained directly on the web page, information about the contents of elements of which are collected.
Объектом настоящего изобретения является способ - способ обнаружения аномальных элементов веб-страниц, в котором получают веб-клиентами, реализованными на компьютерных устройствах пользователей, веб-страницы от веб-сервера, при этом каждая веб-страница содержат скрипт, который при выполнении собирает сведения о содержимом, по меньшей мере, одного элемента соответствующей веб-страницы на стороне веб-клиента и оправляет собранные сведения с компьютерного устройства пользователя на сервер управления. Собирают с помощью вышеуказанного скрипта на каждом веб-клиенте сведения о содержимом, по меньшей мере, одного элемента вебстраницы на стороне веб-клиента и отправляют собранные сведения с каждого компьютерного устройства пользователей, веб-клиенты которых получили веб-страницу. Преобразуют с помощью сервера управления полученные сведения с каждого компьютерного устройства в по крайней мере один N-мерный вектор, где N-мерный вектор характеризует содержимое, по меньшей мере одного элемента веб-страницы, далее кластеризуют с помощью сервера управления полученные N-мерные векторы и определяют статистическую значимость полученных кластеров, где статистическая значимость определяется как отношение числа N-мерных векторов в кластере к числу вебстраниц, с которых собраны и отправлены сведения о содержимом элементов. На основании рассчитанной статистической значимости обнаруживают аномальные элементы веб-страниц, где аномальными элементами признаются элементы, N-мерные векторы которых образуют кластер, статистическая значимость которого меньше пороговой.An object of the present invention is a method - a method for detecting anomalous elements of web pages, in which web pages from users’ computer devices receive web pages from a web server, each web page containing a script that collects information about the content of at least one element of the corresponding web page on the web client side and sends the collected information from the user's computer device to the management server. Using the above script, they collect information about the contents of at least one element of the web page on the web client side on each web client and send the collected information from each computer device to users whose web clients received the web page. Using the management server, the information obtained from each computer device is converted into at least one N-dimensional vector, where the N-dimensional vector characterizes the contents of at least one element of the web page, then the obtained N-dimensional vectors are clustered using the management server and determine the statistical significance of the resulting clusters, where the statistical significance is defined as the ratio of the number of N-dimensional vectors in the cluster to the number of web pages from which information about the contents of the elements is collected and sent. Based on the calculated statistical significance, anomalous elements of web pages are detected, where anomalous elements are elements whose N-dimensional vectors form a cluster whose statistical significance is less than the threshold.
В частном случае получаемая веб-страница при построении статистической модели веб-страницы заведомо не содержит аномальных элементов.In a particular case, the resulting web page, when constructing the statistical model of the web page, obviously does not contain anomalous elements.
Элементами веб-страницы, о содержимом которых собирают сведения, являются элементы, по меньшей мере, следующих видов:Elements of a web page about the contents of which information is collected are elements of at least the following types:
• объекты:• objects:
• апплеты;• applets;
• скрипты;• scripts;
• машинный код {англ. native code);• machine code native code);
• формы.• forms.
В частном случае сведения собираются о содержимом, по меньшей мере, двух элементах веб-страницы, при этом элементы относятся к разным видам элементов или элементы относятся к одному виду элементов.In the particular case, information is collected about the contents of at least two elements of the web page, while the elements relate to different types of elements or the elements relate to the same type of elements.
Для создания кластеров могут использоваться иерархические методы, например, кластер создают агломеративным методом, в котором наиболее близкие (по расстоянию) N-мерные векторы элементов выделяются в кластеры или наиболее близкие (по расстоянию) кластеры объединяют в один кластер. При применение этого метода используется расстояние: линейное или евклидово или обобщенное степенное Минковского или Чебышева или Манхэттенское. А наиболее близкими признаются векторы, имеющие наименьшее взаимное расстояние, и кластер могут выделять до тех пор, пока радиус кластера максимально не приблизится к пороговому значению радиуса, где максимальным приближенным является радиус, который при следующем акте выделения кластера превысит пороговое значение радиуса. В другом случае выделяют кластер до тех пор, пока не останется кластеров или векторов с допустимой мерой близости, где допустимой мерой близости считается мера, не превышающая установленное пороговое значение. Наиболее близкими признаются кластеры, имеющие наименьшее расстояние между центрами.Hierarchical methods can be used to create clusters, for example, a cluster is created by the agglomerative method in which the closest (by distance) N-dimensional element vectors are separated into clusters or the closest (by distance) clusters are combined into one cluster. When applying this method, the distance is used: linear or Euclidean or generalized Minkowski or Chebyshev or Manhattan. And the vectors having the smallest mutual distance are recognized as the closest, and the cluster can be isolated until the cluster radius is as close as possible to the threshold radius, where the maximum approximate is the radius, which, in the next act of cluster isolation, will exceed the threshold radius. In another case, a cluster is isolated until there are no clusters or vectors with an acceptable proximity measure, where a measure that does not exceed the set threshold value is considered an acceptable proximity measure. The closest are the clusters having the smallest distance between the centers.
В другом частном случае кластеры создают дивизимным методом, где кластер образуют векторы, взаимное расстояние которых меньше предельно допустимого расстояния, при этом предельная допустимость расстояния определяется пороговым значением, а кластеры отделяют, например, до тех пор, пока радиус кластера не станет равным или меньше порогового значения радиуса.In another particular case, the clusters are created by the divisible method, where the cluster is formed by vectors whose mutual distance is less than the maximum permissible distance, while the maximum permissible distance is determined by the threshold value, and the clusters are separated, for example, until the cluster radius becomes equal to or less than the threshold radius values.
Для создания кластера могут использоваться и неиерархические методы. Аномальным может признаваться элемент или группа элементов, N-мерный вектор которых, не соответствует построенной статистической модели вебстраницы, а именно не принадлежит ни одному из кластеров модели.Non-hierarchical methods can also be used to create a cluster. An element or group of elements can be recognized as abnormal, the N-dimensional vector of which does not correspond to the constructed statistical model of the web page, namely, it does not belong to any of the model clusters.
Краткое описание чертежейBrief Description of the Drawings
Сопровождающие чертежи включены для обеспечения дополнительного понимания изобретения и составляют часть этого описания, показывают варианты осуществления изобретения и совместно с описанием служат для объяснения принципов изобретения.The accompanying drawings are included to provide a further understanding of the invention and form part of this description, show embodiments of the invention, and together with the description serve to explain the principles of the invention.
Заявленное изобретение поясняется чертежами, где на:The claimed invention is illustrated by drawings, where:
Фиг. 1 изображена система обнаружения аномалий, предназначенная для построения статистических моделей веб-страниц 100 и для обнаружения аномальных элементов веб-страницы;FIG. 1 shows an anomaly detection system for constructing statistical models of
Фиг. 2 изображен пример N-мерного пространства со статистическими моделями и метриками кластера;FIG. 2 shows an example of an N-dimensional space with statistical models and cluster metrics;
Фиг. 3 изображены способы, осуществляемые системой обнаружения аномалий;FIG. 3 shows methods implemented by an anomaly detection system;
Фиг. 4 изображены визуализации статистических моделей;FIG. 4 depicts visualizations of statistical models;
Фиг. 5 изображена компьютерная система общего назначения.FIG. 5 shows a general-purpose computer system.
Хотя изобретение может иметь различные модификации и альтернативные формы, характерные признаки, показанные в качестве примера на чертежах, будут описаны подробно. Следует понимать, однако, что цель описания заключается не в ограничении изобретения конкретным его воплощением. Наоборот, целью описания является охват всех изменений, модификаций, входящих в рамки данного изобретения, как это определено приложенной формуле.Although the invention may have various modifications and alternative forms, the characteristic features shown by way of example in the drawings will be described in detail. It should be understood, however, that the purpose of the description is not to limit the invention to its specific embodiment. On the contrary, the purpose of the description is to cover all changes, modifications that are included in the scope of this invention, as defined by the attached formula.
Осуществление изобретенияThe implementation of the invention
Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Приведенное описание предназначено для помощи специалисту в области техники для исчерпывающего понимания изобретения, которое определяется только в объеме приложенной формулы.The objects and features of the present invention, methods for achieving these objects and features will become apparent by reference to exemplary embodiments. However, the present invention is not limited to the exemplary embodiments disclosed below, it can be embodied in various forms. The above description is intended to help a person skilled in the art for a comprehensive understanding of the invention, which is defined only in the scope of the attached claims.
Веб-страница - данные (код), созданные веб-сервером для обработки веб-клиентом (браузером) и организованные с применением языков гипертекстовой разметки (HTML, XHTML, XML, WML, VML, PGML, SVG, XBRL и др.) и сценарных языков (JScript, JavaScript, ActionScript, Tcl, Lua, Perl, PHP, Python, REBOL, Ruby и др.).Web page - data (code) created by a web server for processing by a web client (browser) and organized using hypertext markup languages (HTML, XHTML, XML, WML, VML, PGML, SVG, XBRL, etc.) and script languages (JScript, JavaScript, ActionScript, Tcl, Lua, Perl, PHP, Python, REBOL, Ruby, etc.).
Контент - содержимое веб-страницы.Content is the content of the web page.
Скрипт (сценарий) - исполняемая процедура, написанная на сценарном языке, которая запускается на исполнение на стороны сервера или клиента по запросу, поступившему при отображении строго определенной веб-страницы.A script (script) is an executable procedure written in a scripting language that is launched for execution on the server or client side upon request received when a strictly defined web page is displayed.
Встроенный скрипт (inline скрипт) - скрипт, исполняемый код которого (тело) является частью контента веб-страницы. В частном случае располагается между тегами <script></script>.Built-in script (inline script) - a script whose executable code (body) is part of the content of a web page. In the particular case, it is located between the <script> </script> tags.
Тег (метка) - специальная конструкция языка разметки гипертекста. Представляет собой текст, заключенный в угловые скобки <имя_тега>. Каждый тег несет определенную команду браузеру, как его (тег) и последующее содержимое отобразить. Теги в частном случае имеют атрибуты, которые уточняют тег, расширяют возможности тега и позволяют более гибко управлять, например, содержимым тега-контейнера. Например, <script src="URL">…</script>. Атрибут src указывает на расположение тела скрипта.Tag (label) is a special construction of hypertext markup language. Represents text enclosed in angle brackets <tag_name>. Each tag carries a specific command to the browser how to display it (tag) and subsequent content. Tags in a particular case have attributes that refine the tag, expand the capabilities of the tag and allow more flexibility to manage, for example, the contents of the container tag. For example, <script src = "URL"> ... </script>. The src attribute indicates the location of the script body.
Тег-контейнер - парный тег, имеет открывающий и закрывающий теги. Может содержать как текст, так и другие элементы гипертекстового языка.A container tag is a paired tag that has opening and closing tags. It may contain both text and other elements of the hypertext language.
Элемент веб-страницы (элемент языка разметки) - комбинация начального тега, конечного тега (в некоторых случаях, начальный и конечные теги совпадают, например, в случае тега <br>) и содержимого между тегами. Совокупность элементов веб-страницы образуют содержимое веб-страницы. Существуют, по меньшей мере, следующие виды элементов, которые отличаются именами соответствующих тегов:Web page element (markup language element) - a combination of the start tag, the end tag (in some cases, the start and end tags are the same, for example, in the case of the <br> tag) and the content between the tags. A collection of web page elements form the contents of a web page. There are at least the following types of elements that differ in the names of the corresponding tags:
• гиперссылки;• hyperlinks;
• текстовые блоки;• text blocks;
• форматирование текста;• text formatting;
• списки;• lists;
• объекты:• objects:
медиа файлы; media files;
апплеты; applets
скрипты; scripts;
машинный код {англ. native code); machine code native code);
и др; and etc;
• изображения;• Images;
• карта изображений;• image map;
• таблицы;• tables;
• формы;• forms;
• символы.• characters.
N-мерный вектор элемента - упорядоченный набор из n действительных чисел, где числа есть координаты вектора. Количество координат вектора называется размерностью вектора. Координаты определяют положение соответствующего элемента (например, скрипта) или группы элементов одного вида (например, элементов форм) веб-страницы в N-мерном пространстве (на Фиг. 2 приведен пример двумерного пространства). Вектор получают преобразованием сведений о содержимом элемента или группы элементов. Вектор отражает некоторую информацию о содержимом элемента или группы элементов. В частном случае каждая координата отражает одну из характеристик содержимого элемента, например, одна координата характеризует число операторов в скрипте, другая число операторов eval. Также числа могут отражать лексикографический порядок строковых параметров содержания элементов или расстояние Левенштейна между строковыми параметрами разных элементов. Например, на Фиг. 2 изображены примеры векторов, в частности двумерные векторы с координатами (1666, 1889) и (1686, 1789)An N-dimensional element vector is an ordered set of n real numbers, where numbers are the coordinates of the vector. The number of coordinates of a vector is called the dimension of the vector. The coordinates determine the position of the corresponding element (for example, a script) or a group of elements of the same type (for example, form elements) of a web page in an N-dimensional space (Fig. 2 shows an example of two-dimensional space). A vector is obtained by converting information about the contents of an element or group of elements. A vector reflects some information about the contents of an element or group of elements. In the particular case, each coordinate reflects one of the characteristics of the content of the element, for example, one coordinate characterizes the number of statements in the script, and the other number of eval statements. Also, numbers can reflect the lexicographic order of the string parameters of the content of elements or the Levenshtein distance between the string parameters of different elements. For example, in FIG. 2 shows examples of vectors, in particular two-dimensional vectors with coordinates (1666, 1889) and (1686, 1789)
Кластер - совокупность допустимых значений координат векторов для строго определенного элемента или группы элементов в N-мерном пространстве. Рассматриваемый элемент или группа элементов относится к некоторому кластеру, если расстояние от N-мерного вектора элемента до центра данного кластера меньше радиуса кластера в направлении N-мерного вектора. На Фиг. 2 показан пример кластера 210'. В частном случае элемент относится к некоторому кластеру, если значение расстояния (на Фиг. 2 «d’») от N мерного вектора элемента до ближайшего N-мерного вектора элемента данного кластера меньше предельно допустимого (порогового значения расстояния [d’]) или если значение расстояния (на Фиг. 2 «d») от N-мерного вектора элемента до центра данного кластера меньше радиуса этого кластера. Например, расстояние от вектора (1666, 1889) до центра кластера меньше радиуса кластера, следовательно, элемент или группа элементов, содержание которых отражает вектор принадлежат данному кластеру и напротив - расстояние от вектора (1686, 1789) до центра кластера больше и радиуса кластера, и расстояния до ближайшего N-мерного вектора больше порогового значения, следовательно, элемент или группа элементов, содержание которых отражает вектор не принадлежат данному кластеру. Варианты расстояний для оценки близости:A cluster is a set of permissible values of the coordinates of vectors for a strictly defined element or group of elements in N-dimensional space. An element or group of elements under consideration refers to a cluster if the distance from the N-dimensional vector of the element to the center of the cluster is less than the radius of the cluster in the direction of the N-dimensional vector. In FIG. 2 shows an example of a cluster 210 '. In a particular case, an element belongs to a certain cluster if the distance value (in Fig. 2 “d '”) from the N dimensional element vector to the nearest N-dimensional element vector of this cluster is less than the maximum permissible (threshold distance value [d']) or the value of the distance (in Fig. 2 "d") from the N-dimensional vector of the element to the center of this cluster is less than the radius of this cluster. For example, the distance from the vector (1666, 1889) to the center of the cluster is less than the radius of the cluster, therefore, the element or group of elements whose contents reflect the vector belong to this cluster and, on the contrary, the distance from the vector (1686, 1789) to the center of the cluster is larger and the radius of the cluster, and the distance to the nearest N-dimensional vector is greater than the threshold value, therefore, the element or group of elements whose contents reflect the vector do not belong to this cluster. Distance options for proximity assessment:
• линейное расстояние;• linear distance;
• евклидово расстояние;• Euclidean distance;
• квадрат евклидова расстояния;• squared Euclidean distance;
• обобщенное степенное расстояние Минковского;• generalized Minkowski power distance;
• расстояние Чебышева;• Chebyshev distance;
• Манхэттенское расстояние.• Manhattan distance.
Мера близости (степень сходства, коэффициент сходства) - безразмерный показатель для определения сходства элементов веб-страницы. Для определения меры близости используются меры:A measure of proximity (degree of similarity, coefficient of similarity) is a dimensionless indicator for determining the similarity of elements of a web page. To determine the proximity measure, the following measures are used:
• Охаи;• Ohai;
• Жаккара;• Jacquard;
• Сокала-Снита;• Sokala-Snita;
• Кульчинского;• Kulchinsky;
• симметричная Дайса.• symmetric dyce.
Центр кластера (центроид) - это среднее геометрическое место N мерных векторов в N мерном пространстве. Для кластеров, состоящих из одного вектора, данный вектор будет являться центром кластера.The center of the cluster (centroid) is the geometric mean of N dimensional vectors in N dimensional space. For clusters consisting of one vector, this vector will be the center of the cluster.
Радиус кластера (на Фиг. 2 «R») - максимальное расстояние N-мерных векторов, входящих в кластер, от центра кластера.The radius of the cluster (in Fig. 2 "R") is the maximum distance of the N-dimensional vectors included in the cluster from the center of the cluster.
Для кластеризации используют различные известные алгоритмы и подходы, в том числе иерархические (агломеративные и дивизивные) и неиерархические.For clustering, various well-known algorithms and approaches are used, including hierarchical (agglomerative and divisive) and non-hierarchical ones.
Статистическая модель элементов веб-страницы (модель элементов вебстраницы) - совокупность кластеров 210 для элементов одного вида или групп элементов одного вида. Например, статистическая модель скриптов веб страницы, статистическая модель форм веб-страницы. На Фиг. 2 статистические модели элементов веб-страницы обозначены 220. Для моделей, состоящих из одного кластера, данный кластер будет являться моделью элементов.Statistical model of elements of a web page (model of elements of a web page) - a set of
Статистическая модель веб-страницы (модель веб-страницы) - совокупность кластеров элементов веб-страницы всех видов и/или групп элементов (в том числе групп элементов, содержащих элементы разных видов). Например, статистическая модель страницы авторизации. Иными словами, статистическая модель веб-страницы 230 есть совокупность моделей элементов веб-страницы 220. По аналогии статистической моделью веб-сайта будет совокупность кластеров элементов веб-страницы всех видов и/или групп элементов всех веб-страниц веб-сайта. Иными словами, статистическая модель веб-сайта (на фигурах не указана) есть совокупность моделей вебстраниц 230.Web page statistical model (web page model) - a set of clusters of web page elements of all types and / or groups of elements (including groups of elements containing elements of different types). For example, a statistical model of the authorization page. In other words, the statistical model of a
Аномальный элемент веб-страницы - элемент веб-страницы, вектор которого не относится ни к одному из кластеров статистической модели, построенной для элементов данного типа или имеет статистическую значимость ниже пороговой.An abnormal element of a web page is a web page element whose vector does not belong to any of the clusters of the statistical model constructed for elements of this type or has statistical significance below the threshold.
Статистическая значимость элемента - значение отношения числа встречаемости оцениваемого элемента в контенте веб-страниц к общему числу полученных для построения модели веб-страниц или к числу полученных для построения модели веб-страниц на некотором участке (участке оценивания), где длина участка определяется числом полученных для построения модели веб-страниц с некоторого момента, например, момента начала наблюдения за элементом. Например, если получено 100 страниц и оцениваемый элемент встретился 30 раз, то статистическая значимость составит 30%.The statistical significance of an element is the value of the ratio of the number of occurrences of the estimated element in the content of web pages to the total number obtained for building a model of web pages or to the number received for building a model of web pages in a certain section (evaluation section), where the length of the section is determined by the number received for building a model of web pages from some point, for example, the moment the observation of an element begins. For example, if 100 pages were received and the item being evaluated met 30 times, then the statistical significance would be 30%.
Статистическая значимость кластера - значение отношения количества элементов, вектора которых образуют оцениваемый кластер, в контенте вебстраницы к общему числу полученных для построения модели веб-страниц; или к числу полученных для построения модели веб-страниц на некотором участке, где длина участка определяется числом полученных для построения модели веб-страниц с некоторого момента, например, момента начала наблюдения за кластером.The statistical significance of the cluster is the value of the ratio of the number of elements whose vectors form the estimated cluster in the content of the web page to the total number received to build the model of web pages; or to the number received for building a model of web pages in a certain section, where the length of the section is determined by the number received for building a model of web pages from a certain moment, for example, when the cluster began to be observed.
Пороговое значение статистической значимости - значение статистической значимости элемента или кластера, при превышение которого элемент или кластер (и элементы кластера) признается статистически значимым, в том случае, если значение статистической значимости элемента кластера ниже установленного порогового значения, то элемент или кластер считаются аномальными.The threshold value of statistical significance is the value of the statistical significance of an element or cluster, upon exceeding which an element or cluster (and cluster elements) is considered statistically significant, if the value of the statistical significance of a cluster element is lower than the established threshold value, then the element or cluster is considered anomalous.
Для создания кластеров могут использоваться иерархические методы, например, кластер создают агломеративным методом, в котором наиболее близкие (по расстоянию) N-мерные векторы элементов выделяются в кластеры или наиболее близкие (по расстоянию) кластеры объединяют в один кластер. При применение этого метода используется расстояние: линейное или евклидово или обобщенное степенное Минковского или Чебышева или Манхэттенское. А наиболее близкими признаются векторы, имеющие наименьшее взаимное расстояние, и кластер могут выделять до тех пор, пока радиус кластера максимально не приблизится к пороговому значению радиуса, где максимальным приближенным является радиус, который при следующем акте выделения кластера превысит пороговое значение радиуса. В другом случае выделяют кластер до тех пор, пока не останется кластеров или векторов с допустимой мерой близости, где допустимой мерой близости считается мера, не превышающая установленное пороговое значение. Наиболее близкими признаются кластеры, имеющие наименьшее расстояние между центрами.Hierarchical methods can be used to create clusters, for example, a cluster is created by the agglomerative method in which the closest (by distance) N-dimensional element vectors are separated into clusters or the closest (by distance) clusters are combined into one cluster. When applying this method, the distance is used: linear or Euclidean or generalized Minkowski or Chebyshev or Manhattan. And the vectors having the smallest mutual distance are recognized as the closest, and the cluster can be isolated until the cluster radius is as close as possible to the threshold radius, where the maximum approximate is the radius, which, in the next act of cluster isolation, will exceed the threshold radius. In another case, a cluster is isolated until there are no clusters or vectors with an acceptable proximity measure, where a measure that does not exceed the set threshold value is considered an acceptable proximity measure. The closest are the clusters having the smallest distance between the centers.
В другом частном случае кластеры создают дивизимным методом, где кластер образуют векторы, взаимное расстояние которых меньше предельно допустимого расстояния, при этом предельная допустимость расстояния определяется пороговым значением, а кластеры отделяют, например, до тех пор, пока радиус кластера не станет равным или меньше порогового значения радиуса.In another particular case, the clusters are created by the divisible method, where the cluster is formed by vectors whose mutual distance is less than the maximum permissible distance, while the maximum permissible distance is determined by the threshold value, and the clusters are separated, for example, until the cluster radius becomes equal to or less than the threshold radius values.
На Фиг. 1 изображена система обнаружения аномалий, предназначенная для построения статистических моделей веб-страниц 100 и для обнаружения аномальных элементов веб-страницы. Система включает в себя: устройство пользователя 120, с установленным на нем веб-клиентом 110; веб-сервер 130; сервер управления 150 и базу данных 160.In FIG. 1 shows an anomaly detection system for constructing statistical models of
На устройстве пользователя 120 реализован веб-клиент 110, в частном случае это браузер. Веб-клиент 110 предназначен для запроса, обработки, манипулирования и отображения содержания веб-сайтов, где веб-сайт является совокупностью логически связанных между собой веб-страниц 100. Веб-клиент 110 отправляет запросы на получение ресурсов, обозначенных, например, URL (uniform resource locator) адресами веб-серверу 130 и получает ответы, как правило, вместе с веб-страницей 100 или элементом веб-страницы от веб-сервера 130. Веб-сервер 130 по запросу от веб-клиента 110 выдает готовую веб-страницу 100 или формирует страницу динамически, в описываемом изобретении веб-сервером 130 к каждой веб-странице 100, отправляемой клиенту, дополнительно к обычному содержанию добавляется скрипт 140. Назначение скрипта 140, по меньшей мере, собирать на стороне веб-клиента 110 данные веб-страницы 100 (сведения об элементах или группе элементов веб-страницы, сведения об элементе в частном случае содержимое элемента), которая данный скрипт 140 содержит. В частном случае сведением об элементе веб-страницы 100 является содержимое данного элемента. Как упоминалось в уровне техники, элементы веб-страницы 100 и содержимое этих элементов веб-страницы 100 на стороне веб-клиента 100, могут отличаться от элементов и содержимого этих элементов той же версии вебстраницы 100 на стороне веб-сервера 130, по причине динамического обновления веб-страницы на стороне веб-клиента 110 или в результате атаки «man in the browser».On the device of the
Сервер управления 150 получает собранные скриптом сведения об элементах или группе элементов веб-страницы. При этом скрипт может отправлять собранные данные как в «сыром» (англ. "raw"), так и в преобразованном виде, формат отправляемых данных определяется функциональностью скрипта 140, который добавлен веб-сервером 130 на вебстраницу 100, а именно:
• скрипт в процессе выполнения отправляет строго определенные сведения об элементах веб-страницы 100 в строго заданном виде, которые заданы функционалом скрипта; или• the script in the process of sending sends strictly defined information about the elements of the
• скрипт отправляет данные веб-серверу 130 или серверу управления о своем успешном запуске на стороне клиента 110 и получает в ответ команду о том, о каких элементах веб-страницы 100 и в каком виде нужно собрать и отправить сведения приемнику (веб-серверу 130 или непосредственно серверу управления 150).• the script sends data to the
Основными способами трансформирования (преобразования) данных являются:The main methods of transforming (transforming) data are:
• квантование;• quantization;
• сортировка;• sorting;
• слияние (склеивание);• merging (gluing);
• группировка;• grouping;
• настройка набора данных;• setup of a data set;
• табличная подстановка значений;• tabular substitution of values;
• вычисляемые значения;• calculated values;
• кодирование данных;• data encoding;
• нормализация (масштабирование).• normalization (scaling).
В частном случае в результате преобразования данных, данные приобретают свойства информации.In a particular case, as a result of data conversion, data acquires information properties.
Одним из способов преобразования скриптов является построение абстрактного синтаксического дерева и передача приемнику (веб-серверу 130 или непосредственно серверу управления 150) только значимых операторов и конструкций, которые заранее предопределяются настройками скрипта 140 или командами от приемника.One way to convert scripts is to build an abstract syntax tree and transfer to the receiver (
Все собранные скриптом 140 данные передаются, в итоге, серверу управления 150. Сервер управления 150 может получать данные напрямую от веб-клиентов 110, либо через веб-сервер 130. В частном случае сервер управления 150 может находится в одной сети с веб-сервером 130. Собранные данные сервером управления 150 используются для построения статистической модели веб-страницы 230 и обнаружения аномальных элементов веб-страниц. На сервере управления 150 реализован ряд средств (на фигурах не указаны). Средство обработки, реализованное на сервере управления 150, преобразует собранные скриптами 140 данные в N-мерные векторы, полученные векторы хранятся в базе данных 160.All the data collected by the
Средство анализа, реализованное на сервере управления 150, предназначено для формирования кластеров 210 из полученных векторов и обнаружения аномальных элементов или групп элементов, содержимое которых отражают полученные векторы, данное назначение реализуется за счет взаимного сравнения N-мерных векторов и сформированных кластеров 210 в N-мерном пространстве.The analysis tool implemented on the
База данных 160 хранит построенные модели и векторы.
Описанная система осуществляет несколько способов: способ построения статистической модели веб-страницы 230 и способ обнаружения аномальных элементов веб-страницы 100 с помощью построенной модели вебстраницы 230, изображенные на Фиг. 3.The described system implements several methods: a method for constructing a statistical model of a
Способ построения статистической модели веб-страницы 230 осуществляется следующим образом. На этапе 300 пользователь со своего устройства получает доступ к веб-сайту, где веб-клиент 110 по запросу к вебсерверу 130, получает от веб-сервера 130 веб-страницу 100 сайта, на вебстраницу 100 веб-сервером 130 при этом добавляется скрипт 140. На этапе 310 скрипт выполняется на стороне веб-клиента 110, собирая данные, содержащиеся в веб-странице 100. Данные, собираемые скриптом 140 могут содержать различные сведения, в частном случае скрипт 140 собирает содержимое, по меньшей мере, одного элемента веб-страницы (скрипта, формы и т.д.). Данные собранные скриптом 140 при необходимости трансформируются, данные трансформируются либо самим скриптом 140, либо средством обработки на сервере управления 150 и на этапе 320 собранные данные преобразуются в, по меньшей мере, один N-мерный вектор, который сохраняется на этапе 330. Из по меньшей мере одного вектора, на этапе 350 создают, по меньшей мере один, кластер 210. На основании по меньшей мере одного созданного кластера 210 строят на этапе 360 статистическую модель веб-страницы 230.A method of constructing a statistical model of a
В частном случае, после сохранения полученного N-мерного вектора, на этапе 300' получают веб-страницу 100 другим веб-клиентом 110 и на основании собранных данных с этой веб страницы получают дополнительно на этапе 320 N-мерные векторы, только после этого создают кластеры.In the particular case, after saving the obtained N-dimensional vector, at step 300 ', a
В другом частном случае после создания кластеров 210 и построения модели 230 на этапе 300'' получают веб-страницу 100 другим веб-клиентом 110 и на основании собранных данных скриптом 140 с этой веб-страницы получают N-мерные векторы, и на основании полученных N-мерных векторов корректируют (обновляют) ранее созданные кластеры 210 (изменяют радиус, центр/центроид) или создают новые кластеры 210, тем самым уточняя (скорректированными кластерами 210) и дополняя (вновь созданными кластерами 210) статистическую модель веб-страницы 230. При этом данные собираемые скриптом 140 могут отличаться от данных собираемых скриптом 140 на предыдущей итерации, например, собираются сведения о других элементах веб-страницы 100.In another particular case, after creating
Способ обнаружения аномальных элементов на основании статистической модели веб-страницы 230. На этапе 300 пользователь со своего устройства получает доступ к веб-сайту, где веб-клиент 110 по запросу к вебсерверу 130, получает от веб-севера 130 веб-страницу 100 сайта, на вебстраницу 100 веб-сервером 130 при этом добавляется скрипт 140. На этапе 310 скрипт выполняется на стороне веб-клиента, собирая данные, содержащиеся в веб-странице 100. Данные собираемые скриптом 140 могут содержать различные сведения, в частном случае скрипт собирает содержимое, по меньшей мере, одного элемента веб-страницы (скрипта, формы и т.д.). Данные собранные скриптом 140 при необходимости трансформируются, при этом данные трансформируются либо самим скриптом 140, либо средством обработки сервера управления 150 и на этапе 320 собранные данные преобразуются в, по меньшей мере, один N-мерный вектор, который сохраняется на этапе 330. Полученный вектор на этапе 370 сравнивается (путем определения взаимного расстояния, например, между полученным вектором и центром кластера) с кластерами построенной статистической модели веб-страницы 230 и/или N-мерными векторами данной модели 230. На этапе 370 в результате сравнения анализируемый элемент признается аномальным, элемент признается аномальным, когда:A method for detecting anomalous elements based on the statistical model of the
- расстояние, между N-мерным вектором элемента и центрами всех кластеров модели, в N-мерном пространстве, больше радиусов этих кластеров; или- the distance between the N-dimensional vector of the element and the centers of all clusters of the model, in the N-dimensional space, is greater than the radii of these clusters; or
- мера близости между N-мерным вектором элемента и центрами всех кластеров модели, в N-мерном пространстве, больше порогового значения; или- a measure of proximity between the N-dimensional vector of the element and the centers of all clusters of the model, in the N-dimensional space, is greater than the threshold value; or
- мера близости между N-мерным вектором элемента и наиболее удаленными от центра кластеров N-мерными векторами кластеров модели, в N-мерном пространстве, больше порогового значения.- a measure of proximity between the N-dimensional vector of the element and the N-dimensional vectors of the model clusters farthest from the center of the clusters, in the N-dimensional space, is greater than the threshold value.
В частном случае, если элемент не признан аномальным, на этапе 350' N-мерный вектор данного элемента добавляется к статистической модели вебстраницы 230.In the particular case, if the element is not recognized as abnormal, at step 350 'the N-dimensional vector of this element is added to the statistical model of the
В частном случае при обнаружении аномального элемента веб-страницы 100 веб-сервер 130 разрывает соединение с веб-клиентом 110 и устройством пользователя 120 или соединение сохраняется, но веб-сервер 130 перестает отвечать на запросы клиента 110 (передача данных по соединению приостанавливается). В момент приостановки передачи данных обнаруженный аномальный элемент веб-страницы проверяется антивирусными средствами (на фигурах не указаны) сервера управления 150 на наличие вредоносного функционала (опасности) или производят наблюдение за данным элементом и, если вокруг него сформируется кластер с статистической значимостью выше пороговой, то обнаруженный аномальный элемент признается безопасным и соединение размораживается, и сессия продолжается.In the particular case, when an abnormal element of the
В частном случае, когда модель строится на основании веб-страниц, о которых заведомо неизвестно содержат они аномальные элементы или нет возможна коллизия: N-мерный вектор элемента не попадает ни в один из кластеров модели и возникает дилемма - создавать новый кластер на базе данного вектора или признавать элемент, содержимое которого отражает данный вектор, аномальным. Коллизия может быть разрешена на основании оценки статистической значимости элемента или кластера, который возможно создать на основании элементов подобных (близких) оцениваемому на участке оценивания. А именно на основании отношения числа веб-страниц, содержащих оцениваемый элемент (или близкие элементы, элементы расстояние между N-мерными векторами которых в N-мерном пространстве меньше некоторого порогового значения) к общему числу веб-страниц, используемых при построении модели на оцениваемом участке, где длина участка измеряется в количестве страниц или итераций. Если значение статистической значимости оцениваемого элемента веб-страницы на участке оценки близко (близость определяется пороговым значением) значению статистической значимости других элементов (или среднему значению статистической значимости других элементов) на данном участке или превышает некоторое пороговое значение, например, в 20%, то элемент признается статистически значимым, иначе (если не превышает) - аномальным. Например, на этапе построения модели, появился некоторый элемент веб-страницы 100, вектор которого не попадает ни в один из ранее созданных кластеров 210, необходимо определить является ли данный элемент аномальным. Для этого определим его статистическую значимость на участке, где длина участка составляет 200 веб-страниц 100. При этом пороговое значение статистической значимости для данного вида элемента равно 20%. При проверке выясняют, что на данной длине элементы, близкие оцениваемому, встретились 4 раза, что соответствует значению статистической значимости в 2%, что ниже порогового значения, следовательно, оцениваемый элемент и близкие ему (кластер который образуется вокруг оцениваемого элемента) являются аномальными. Пороговое значение статистической значимости, в частном случае, определяется как минимальное значение статистической значимости кластера для элемента того же вида. Например, модель содержит кластеры скриптов со значениями статистической значимости, 25%, 32%, 47%, 95%, следовательно, пороговое значение для данного вида элементов устанавливается равным 25%.In the particular case, when the model is built on the basis of web pages about which they obviously do not contain abnormal elements or not, a collision is possible: the N-dimensional vector of the element does not fall into any of the cluster of the model and the dilemma arises - to create a new cluster based on this vector or recognize the element whose contents reflect the given vector as abnormal. The collision can be resolved on the basis of assessing the statistical significance of the element or cluster, which can be created on the basis of elements similar (close) to the estimated in the evaluation area. Namely, based on the ratio of the number of web pages containing the element being evaluated (or close elements, elements the distance between the N-dimensional vectors of which in the N-dimensional space is less than a certain threshold value) to the total number of web pages used in constructing the model on the estimated site where the length of the plot is measured in the number of pages or iterations. If the value of the statistical significance of the estimated element of the web page in the evaluation section is close (proximity is determined by the threshold value) to the value of the statistical significance of other elements (or the average value of the statistical significance of other elements) in this section or exceeds a certain threshold value, for example, by 20%, then the element recognized as statistically significant, otherwise (if not exceeding) - anomalous. For example, at the stage of building the model, a certain element of the
Статистическая значимость может использоваться также при обнаружении аномальных элементов. Это, например, используется, когда статистическая модель не построена или решается дилемма, описанная выше. На первом этапе получают веб-клиентам 110 и, реализованными на устройствах пользователей 120 веб-страницы 100 от веб-сервера 130, при этом веб-страницы 100 содержат скрипт 140, который при выполнении собирает сведения о содержимом, по меньшей мере, одного элемента веб-страницы 100 на стороне веб-клиента 110 и оправляет собранные сведения с устройства пользователя 120. Далее выполняют вышеуказанный скрипт с помощью веб-клиента 110 для сбора сведений о содержимом, по меньшей мере, одного элемента веб-страницы 100 на стороне веб-клиента 110 и отправки собранных сведений с устройств пользователей 120, веб-клиенты 110 которых получили веб-страницу 100. На стороне сервера управления 150 преобразуют сведения о содержимом полученные с устройств 120 в N-мерные векторы элементов, затем кластеризуют полученные N-мерные векторы любым известным из уровня техники способом. N-мерные векторы могут формироваться для каждого элемента веб-страницы, для группы элементов, при этом для группы элементов как одного вида, так и в группу могут входить элементы разных видов. После того как кластеры 210 сформированы, при этом кластер 210 может включать, по меньшей мере, один вектор, определяют статистическую значимость полученных кластеров 210, где статистическая значимость определяется как отношение числа N-мерных векторов в кластере 210 к числу веб-страниц 100 с которых собраны и отправлены сведения о содержимом их элементов серверу управления 150 или веб-серверу 130. В результате аномальными элементами признаются элементы N-мерные векторы которых образуют кластер со статистической значимостью меньше пороговой. Пороговая значимость задается способами, описанными выше, а также может зависеть от видов элементов, способов кластеризации, длины участка оценивания и т.д.Statistical significance can also be used to detect abnormal elements. This, for example, is used when the statistical model is not built or the dilemma described above is solved. At the first stage,
Приведем пример работы описанного выше изобретения. Пользователь запрашивает веб-страницу сайта веб-банка - https://my.KasperskyBank.ru/. На запрошенную веб-страницу добавляется скрипт 140, и страница 100 отправляется веб-клиенту 110, реализованному на устройстве пользователя 120. Скрипт 140 на стороне пользователя собирает имеющиеся на веб-странице элементы <script>:Here is an example of the operation of the invention described above. The user requests the web page of the web bank website - https://my.KasperskyBank.ru/. A
Для элементов <script>, имеющих атрибут src, выполняется загрузка и нормализация тела скрипта, для inline-скриптов - только нормализация. Например, для приведенных выше inline-скриптов, нормализованная форма может быть следующей (сохранены только значимые конструкции языка и стандартные объекты/методы, литералы «обезличены»):For <script> elements that have the src attribute, the script body is loaded and normalized, for inline scripts, only normalization is performed. For example, for the above inline scripts, the normalized form can be as follows (only significant language constructs and standard objects / methods are saved, literals are “depersonalized”):
Далее скрипт 140 собирает имеющиеся на странице элементы <input>:Next, the
Скрипт 140 преобразует собранные данные элементов <input>, выполняя нормализацию, например, так (атрибуты сортируются по алфавиту, имя тэга вырезается, пробелы в значениях атрибутов вырезаются, атрибуты перечисляются через «;»):The
Скрипт 140 отправляет собранные данные на сервер управления 150. Сервер управления 150 обрабатывает собранные данные элементов <script> в контексте соответствующей модели (единой для всех элементов script - статистическая модель элементов 220 вида скрипт), следующим образом:The
• для каждого скрипта получают числовой вектор (для простоты в примере считаем, что вектор двумерный), где вектор рассчитывается из кодов символов строк (для получения кодов символов может использоваться любая известная кодировка, например, ASCII), составляющих собранные данные (для inline-скриптов эти данные - содержимое нормализованного скрипта, для остальных - содержание атрибута src). Тогда для элементов <script>, содержащихся в полученной веб-странице 100 могут быть получены следующие векторы:• a numerical vector is obtained for each script (for simplicity, in the example, we assume that the vector is two-dimensional), where the vector is calculated from the character codes of the strings (any known encoding, for example, ASCII, can be used to compose the characters), which compose the collected data (for inline scripts this data is the content of the normalized script, for the rest, the content of the src attribute). Then, for the <script> elements contained in the obtained
16314,10816 16314,10816
2254,2598 2254.2598
16084,15036 16084,15036
356,822 356,822
20010,51838 20010,51838
• каждый вектор сохраняется в двумерном пространстве модели 230, в данном случае аномалии отсутствуют, все векторы попадают в сложившиеся ранее кластеры (т.е. совпадают с данными, поступившими от скрипта 140 с тех версий веб-страниц ранее). Для наглядности на Фиг. 4а приведена визуализация модели, где точками изображены анализируемые элементы <script>, закрашенными областями - созданные ранее кластеры 210 модели 220, как части модели 230:• each vector is stored in the two-dimensional space of
Сервер управления 150 обрабатывает собранные данные элементов <input> аналогичным образом, в результате визуализация имеет вид, представленный на Фиг. 4б. Поскольку аномальных элементов не выявлено, обработка на этом завершается.The
Теперь предположим, что у кого-то из пользователей на той же самой странице - https://mv.KasperskyBank.ru/ появился вредоносный инжект (англ. inject) в виде дополнительного элемента <script>:Now suppose that one of the users on the same page - https://mv.KasperskyBank.ru/ has a malicious injection (English inject) in the form of an additional <script> element:
И для него вектор, рассчитанный способом, описанным выше, равен (4560,3192) и модель приобретает вид, представленный на Фиг. 4в (красным отмечен текущий вектор, отражающий содержание инжекта, это аномалия). Обнаруженный аномальный элемент будет обработан антивирусными средствами сервера управления 150, а само соединение будет заморожено, параллельно за элементом в пространстве модели будет осуществляется наблюдение для определения его статистической значимости.And for him, the vector calculated by the method described above is (4560.3192) and the model takes on the form shown in FIG. 4c (the current vector reflecting the contents of the injection is marked in red; this is an anomaly). The detected anomalous element will be processed by the anti-virus tools of the
Под веб-сервером, веб-клиентом, базой данных, сервером управления с реализованными на нем средством анализа и средством обработки в настоящем изобретении понимаются реальные устройства, системы, компоненты, группы компонентов, реализованные с использованием аппаратных средств, таких как интегральные микросхемы (англ. application-specific integrated circuit, ASIC) или программируемые вентильные матрицы (англ. field-programmable gate array, FPGA) или, например, в виде комбинации программных и аппаратных средств, таких как микропроцессорная система и набор программных инструкций, а также на нейроморфных чипах (англ. neurosynaptic chips) Функциональность указанных элементов системы может быть реализована исключительно аппаратными средствами, а также в виде комбинации, где часть функциональности элементов системы реализована программными средствами, а часть аппаратными. В некоторых вариантах реализации часть элементов, или все элементы, могут быть исполнены на процессоре компьютера общего назначения (например, который изображен на Фиг. 5).By the web server, web client, database, management server with analysis means and processing means implemented in the present invention, real devices, systems, components, groups of components implemented using hardware, such as integrated circuits, are understood. application-specific integrated circuit (ASIC) or field-programmable gate arrays (FPGAs) or, for example, as a combination of software and hardware, such as a microprocessor system and a set of software instructions functions, as well as on neuromorphic chips (English neurosynaptic chips). The functionality of these elements of the system can be implemented exclusively in hardware, as well as in the form of a combination, where part of the functionality of the elements of the system is implemented in software and part in hardware. In some embodiments, part of the elements, or all elements, can be executed on the processor of a general-purpose computer (for example, which is shown in Fig. 5).
Фиг. 5 представляет пример компьютерной системы общего назначения, персональный компьютер или сервер 20, содержащий центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами персонального компьютера 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.FIG. 5 is an example of a general purpose computer system, a personal computer or
Персональный компьютер 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 28 для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных персонального компьютера 20.The
Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флеш карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.The present description discloses an implementation of a system that uses a
Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканнер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например, при помощи параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например, колонками, принтером и т.п.
Персональный компьютер 20 способен работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа персонального компьютера 20, представленного на Фиг. 5. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.The
Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях персональный компьютер 20 подключен к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать точную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.Network connections can form a local area network (LAN) 50 and a wide area network (WAN). Such networks are used in corporate computer networks, internal networks of companies and, as a rule, have access to the Internet. In LAN or WAN networks, the
В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего изобретения, согласующиеся с сущностью и объемом настоящего изобретения.In conclusion, it should be noted that the information provided in the description are examples that do not limit the scope of the present invention defined by the claims. One skilled in the art will recognize that there may be other embodiments of the present invention consistent with the spirit and scope of the present invention.
Claims (28)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2017133845A RU2659741C1 (en) | 2017-09-29 | 2017-09-29 | Methods of detecting the anomalous elements of web pages on basis of statistical significance |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2017133845A RU2659741C1 (en) | 2017-09-29 | 2017-09-29 | Methods of detecting the anomalous elements of web pages on basis of statistical significance |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2659741C1 true RU2659741C1 (en) | 2018-07-03 |
Family
ID=62815783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017133845A RU2659741C1 (en) | 2017-09-29 | 2017-09-29 | Methods of detecting the anomalous elements of web pages on basis of statistical significance |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2659741C1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113742622A (en) * | 2021-08-06 | 2021-12-03 | 广州坚和网络科技有限公司 | Webpage anomaly detection method and device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2446459C1 (en) * | 2010-07-23 | 2012-03-27 | Закрытое акционерное общество "Лаборатория Касперского" | System and method for checking web resources for presence of malicious components |
US8364811B1 (en) * | 2010-06-30 | 2013-01-29 | Amazon Technologies, Inc. | Detecting malware |
US9021583B2 (en) * | 2010-01-26 | 2015-04-28 | Emc Corporation | System and method for network security including detection of man-in-the-browser attacks |
RU2571594C2 (en) * | 2010-08-25 | 2015-12-20 | Лукаут, Инк. | Server-coupled malware protection method and system |
-
2017
- 2017-09-29 RU RU2017133845A patent/RU2659741C1/en active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9021583B2 (en) * | 2010-01-26 | 2015-04-28 | Emc Corporation | System and method for network security including detection of man-in-the-browser attacks |
US8364811B1 (en) * | 2010-06-30 | 2013-01-29 | Amazon Technologies, Inc. | Detecting malware |
RU2446459C1 (en) * | 2010-07-23 | 2012-03-27 | Закрытое акционерное общество "Лаборатория Касперского" | System and method for checking web resources for presence of malicious components |
RU2571594C2 (en) * | 2010-08-25 | 2015-12-20 | Лукаут, Инк. | Server-coupled malware protection method and system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113742622A (en) * | 2021-08-06 | 2021-12-03 | 广州坚和网络科技有限公司 | Webpage anomaly detection method and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2638710C1 (en) | Methods of detecting malicious elements of web pages | |
RU2652451C2 (en) | Methods for anomalous elements detection on web pages | |
RU2610254C2 (en) | System and method of determining modified web pages | |
KR101724307B1 (en) | Method and system for detecting a malicious code | |
RU2637477C1 (en) | System and method for detecting phishing web pages | |
CN109768992B (en) | Webpage malicious scanning processing method and device, terminal device and readable storage medium | |
US11212297B2 (en) | Access classification device, access classification method, and recording medium | |
CN112242984B (en) | Method, electronic device and computer program product for detecting abnormal network request | |
JP6708794B2 (en) | Judgment device, judgment method, and judgment program | |
US20230353585A1 (en) | Malicious traffic identification method and related apparatus | |
JP6691240B2 (en) | Judgment device, judgment method, and judgment program | |
CN112291258A (en) | Gateway risk control method and device | |
JP2012088803A (en) | Malignant web code determination system, malignant web code determination method, and program for malignant web code determination | |
CN109492403B (en) | Vulnerability detection method and device | |
RU2659741C1 (en) | Methods of detecting the anomalous elements of web pages on basis of statistical significance | |
EP3306511B1 (en) | System and methods of detecting malicious elements of web pages | |
EP3293661A1 (en) | System and method for detecting anomalous elements of web pages | |
CN117294510A (en) | WEB injection attack classification detection method and detection system | |
JP2020109611A (en) | System and method for detecting source of malicious activity in computer system | |
RU2813242C1 (en) | Method for detecting phishing sites and system that implements it | |
RU2811375C1 (en) | System and method for generating classifier for detecting phishing sites using dom object hashes | |
CN115065540B (en) | Method and device for detecting web vulnerability attack and electronic equipment | |
JP7420247B2 (en) | Metric learning device, metric learning method, metric learning program, and search device | |
CN115514539A (en) | Network attack protection method and device, storage medium and electronic equipment | |
CN117792720A (en) | Network attack identification method, device and equipment |