RU2740856C1 - Способ и система для идентификации кластеров аффилированных веб-сайтов - Google Patents

Способ и система для идентификации кластеров аффилированных веб-сайтов Download PDF

Info

Publication number
RU2740856C1
RU2740856C1 RU2020127038A RU2020127038A RU2740856C1 RU 2740856 C1 RU2740856 C1 RU 2740856C1 RU 2020127038 A RU2020127038 A RU 2020127038A RU 2020127038 A RU2020127038 A RU 2020127038A RU 2740856 C1 RU2740856 C1 RU 2740856C1
Authority
RU
Russia
Prior art keywords
web
clusters
resources
web resource
web resources
Prior art date
Application number
RU2020127038A
Other languages
English (en)
Inventor
Илья Олегович Рожнов
Original Assignee
Групп-Ай Би Глобал Прайвет Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Групп-Ай Би Глобал Прайвет Лимитед filed Critical Групп-Ай Би Глобал Прайвет Лимитед
Application granted granted Critical
Publication of RU2740856C1 publication Critical patent/RU2740856C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1483—Countermeasures against malicious traffic service impersonation, e.g. phishing, pharming or web spoofing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

Изобретение относится к способу и системе определения принадлежности веб-ресурса к кластерам аффилированных веб-ресурсов. Технический результат заключается в определении принадлежности веб-ресурса. В способе на этапе обучения сканируют сети связи для обнаружения множества веб-ресурсов; производят поиск информации, связанной с каждым из множества веб-ресурсов; генерируют соответствующие паттерны каждого из множества веб-ресурсов; производят группировку множества веб-ресурсов во множество кластеров, причем группировка основана на аффилированности множества паттернов веб-ресурсов; сохраняют множества кластеров веб-ресурсов в памяти; на рабочем этапе получают URL ссылку на ранее не исследованный веб-ресурс; производят поиск информации о данном веб-ресурсе; генерируют новый паттерн данного веб-ресурса; анализируют аффилированность нового паттерна с паттернами, связанными с множеством кластеров веб-ресурсов; вычисляют коэффициент аффилированности паттерна данного веб-ресурса с каждым из множества кластеров; в ответ на превышение коэффициентом аффилированности паттерна с одним из множества кластеров заранее заданного порогового значения, связывают данный веб-ресурс с одним конкретным кластером; обновляют множество кластеров, хранящихся в базе данных, на основе аффилированности данного веб-ресурса. 2 н. и 8 з.п. ф-лы, 8 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее техническое решение относится к области информационной безопасности, в частности, к способу и системе для определения кластеров аффилированных веб-ресурсов.
УРОВЕНЬ ТЕХНИКИ
[0002] Самым простым и популярным способом совершения киберпреступления является мошенничество в сети. Например, по данным статистики Group-IB средний ущерб только от фишинговой атаки составляет около 20 тыс. $. Стоит отметить, что кроме такого значительного материального ущерба компании также несут и репутационные потери.
[0003] Можно выделить две категории целей фишинговых атак: отдельно взятые пользователи и компании.   Как правило, в первом случае атакой часто занимаются киберпреступники поодиночке, так как это достаточно просто и не требует каких-либо специальных знаний. Распространению данного типа фишинговой атаки способствуют программы “phishing kits”, которые можно приобрести в даркнете (нелегально).
[0004] Атаки на вторую категорию целей, а именно компании и их бренды, устроены по-другому. Так на практике для совершения успешной фишинговой атаки, например, на банк, киберпреступникам необходимо обладать знаниями как минимум в области программирования и социальной инженерии для произведения первичных разведок по жертвам, что приводит преступников к необходимости создания группировок.
[0005] Например, по подсчетам компании Group-IB только в России действует порядка 15 преступных группировок, занимающихся фишингом, и это число продолжает постоянно расти. Каждая из группировок может одновременно владеть несколькими сотнями фишинговых страниц, направленных как на один бренд, так и на разные бренды компаний.
[0006] Стоит также отметить, что многие фишинговые страницы создаются “по шаблону”, т.е.  и существуют непродолжительный период времени, а потом заменяются новыми точно такими же, но, например, на другом хостинге, с другой электронной почтой и т.д. При появлении каждой новой фишинговой страницы счет идет на минуты, чтобы предотвратить серьезные финансовые ущербы. 
[0007] Именно поэтому существует необходимость в способе определения кластеров веб-ресурсов, которые каким-либо образом связаны, а именно были созданы одним и тем же владельцем/группой лиц или принадлежат одному владельцу/группе лиц, целью которых является своевременное определение связанных фишинговых страниц, построение стратегии защиты и оценки убытков.  
[0008] Из уровня техники известен патент RU 2681699 C1 (MILESHIN et al., Способ и сервер для поиска связанных сетевых ресурсов,  опубл. 12.03.2019, кл. G06F 15/00), целью которого является повышение точности поиска связанных сетевых ресурсов. Данный способ предполагает: - сканирование сети с целью поиска сетевых ресурсов; причем на этапе сканирования сети находят первый сетевой ресурс и второй сетевой ресурс; - извлечение информации о найденных ресурсах, включающей параметр первого сетевого ресурса и параметр второго сетевого ресурса; - в ответ на то, что указанный по меньшей мере один параметр первого сетевого ресурса совпадает с указанным по меньшей мере одним параметром второго сетевого ресурса, построение связи между первым сетевым ресурсом и вторым сетевым ресурсом. Однако такой подход является ограниченным для целей кластеризации аффилированных веб-ресурсов нацеленных на бренды компаний.
[0009] Также из уровня техники известно решение WO 2019/010182 A1 (CLEVELAND et al., Способ и система обнаружения фишинга, кл. H04L 29/06, опубликован 10.01.2019), которое предполагает: получение изображение визуального контента,  визуализацию связей с источником,  и идентификацию домена источника; выполнение обнаружения объекта с использованием сверточной нейронной сети обнаружения объекта (CNN) на одном или нескольких логотипах торговых марок, расположенных в визуальном контенте, для обнаружения экземпляров одного или нескольких целевых торговых марок; определение на основании обнаружения объекта, что, по меньшей мере, часть визуального контента напоминает контент бренда-кандидата; сравнение домена источника с одним или несколькими авторизованными доменами потенциального бренда; и объявление фишингового события, когда сравнение указывает, что домен источника не является одним из авторизованных доменов бренда-кандидата.
[0010] Из уровня техники также известен документ US 2016/0055490 A1 (Yoav Keren et al., кл. G06Q 30/00, опубликован 25.02.2016), в котором  описан метод защиты торговой марки владельца бренда, включающий: (a) обход глобальной сети связи для выявления и сбора данных о веб-сайтах, которые могут злоупотреблять торговой маркой; (b) для каждого веб-сайта, который, возможно, злоупотребляет торговой маркой, анализ, использует ли веб-сайт торговую марку или нет, причем происходит анализ, по крайней мере, одного из: (i) содержимого указанного веб-сайта; и (ii) данные о владельце указанного веб-сайта. Кроме того описанный метод также раскрывает возможность на основе данных, собранных в ROA, находить доменные имена, которые имеют одинаковые (или похожие) контактные данные, или аналогичные или повторяющиеся данные в WHOIS, или аналогичные или те же номера телефонов, DNS-серверы, DNS записи, IP-адреса веб-сайтов и / или DNS-серверов, а также процесс может проверять: записи A, записи MX, c-name, SOA, может искать домены или веб-сайты, на которых один и тот же поставщик услуг хостинга находится в той же ферме хостинга; тот же регистратор (например, обычно большой дешевый регистратор); время регистрации; похожие веб-сайты: похожая структура страниц с различным содержанием; проверять, какие доменные имена зарегистрированы в том же ccTLD; проверять, может ли владелец нарушающих доменных имен использовать прокси, то есть скрывать, кто действительно владеет доменными именами. Процесс может группировать доменные имена с такими сходствами. Для дальнейшего выявления подозрительных подсказок соберите статистику по странам. Регистраторы. Хостинг расходных материалов и / или DNS-серверов.
[0011] Недостатком описанного выше уровня техники является громоздкость решения и задействование большого числа ресурсов. Кроме того в описанных решениях происходит создание кластеров, основанных только на одном конкретном параметре, например DNS адресе, что в дальнейшем не может служить для быстрого и точного реагирования на  инцидент безопасности информационной системы, а также их предотвращения.
[0012] Настоящие изобретение создано для решения части выявленных при анализе выше проблем предшествующего уровня техники.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0013] Задача предполагаемого изобретения заключается в разработке системы и способа определения кластеров аффилированных веб-ресурсов.
[0014] Техническим результатом заявленной группы изобретений заключается в обеспечении определения кластеров аффилированных веб-ресурсов.
[0015] Данный технический результат достигается за счет предложенного способа определения принадлежности к кластерам аффилированных веб-ресурсов выполняющийся на вычислительном устройстве, имеющим по меньшей мере, процессор и память, которая хранит исполняемые инструкции, которые при выполнении:
на этапе обучения:
сканируют сети связи для обнаружения множества веб-ресурсов;
производят поиск информации, связанной с множеством веб-ресурсов;
на основе информации, связанной с каждым из множества веб-ресурсов, генерируют соответствующий паттерн;
на основе сгенерированного паттерна производят группировку множества веб-ресурсов во множество кластеров, причем группировка основана на аффилированности множества паттернов веб-ресурсов;
сохраняют указанные множества кластеров веб-ресурсов в памяти;
на рабочем этапе:
получают URL ссылку на веб-ресурс;
производят поиск информации о данном веб-ресурсе;
генерируют новый паттерн данного веб-ресурса;
анализируют аффилированность нового паттерна с паттернами, связанными с множеством кластеров веб-ресурсов;
вычисление отношения присоединения к конкретному из множества кластеров;
в ответ на коэффициент аффилированности паттерна к конкретному из множества кластеров, превышающий заранее заданное пороговое значение, связывают данный веб-ресурс с конкретным кластером из множества кластеров веб ресурсов;
обновляют множество кластеров, хранящихся в базе данных, на основе данного веб ресурса.
[0016] Дополнительно в одном частном варианте заявленного изобретения, в котором соответствующий паттерн содержит матрицу отличительных признаков, связанных с соответствующим одним из множества веб-ресурсов, идентифицированных с помощью анализа информации, связанной с множеством веб-ресурсов.
[0017] Дополнительно в одном частном варианте заявленного изобретения, в котором отличительные признаки связаны с соответствующим одним из множества веб-ресурсов и содержат по меньшей мере одно из: размер по меньшей мере одного блока страницы в пределах по меньшей мере одной страницы, связанной с соответствующим один из множества веб-ресурсов; положение, по меньшей мере, одного блока страницы на, по меньшей мере, одной странице; заголовок, связанный по меньшей мере с одним блоком страницы; параметры области, связанные по меньшей мере с одной страницей; по меньшей мере один целевой домен, связанный по меньшей мере с одной страницей, причем дополнительно определяют по меньшей мере одно из: ссылки, размещенные как минимум на одной странице и ведущие на целевой домен, и связанные с ними типы переходов, причем тип перехода может быть по меньшей одним из: напрямую или через перенаправление; контактную информацию; шаблоны путей к соответствующим структурным элементам по меньшей мере одной страницы и стилям, связанный с ними; и названия структурных элементов.
[0018] Дополнительно в одном частном варианте заявленного изобретения, в котором информация, связанная с множеством веб-ресурсов, включает в себя для данного веб-ресурса, по меньшей мере, одно из: URL данного веб-ресурса; HTML-код, связанный с данным веб-ресурсом; скриншот хотя бы одной веб-страницы, связанной с данной страницей веб-ресурса и ее хеш-значение; дата обнаружения данного веб-ресурса; и данные регистрации домена, связанные с данным веб-ресурсом, в том числе: дату регистрации, регистратора, имя владельца и контактные данные; IP-адрес; NS сервер; хостинг-провайдер; последняя дата активности.
[0019] Дополнительно в одном частном варианте заявленного изобретения, в котором матрица отличительных признаков содержит, по меньшей мере, один отличительный признак, связанный с соответствующим одним из множества веб-ресурсов.
[0020] Дополнительно в одном частном варианте заявленного изобретения, в котором каждый из отличительных признаков был выбран на основе предварительно определенного параметра характерности R, причем предварительно определенный параметр характерности указывает на максимальное пороговое значение степени характерности данного отличительного признака для его использования.
[0021] Дополнительно в одном частном варианте заявленного изобретения, в котором отличительность выбранного характерного признака определяется на основе следующего неравенства p i <R, где p показывает число ресурсов во множестве веб-ресурсов, связанных данным характерным признаком.
[0022] Дополнительно в одном частном варианте заявленного изобретения, в котором вычисление коэффициента аффилированности дополнительно содержит вычисление количества отличительных характерных признаков, связанных с данным веб-ресурсом, которые похожи на те, которые связаны с одним из множества кластеров.
[0023] Дополнительно в одном частном варианте заявленного изобретения, в котором анализ аффилированности нового паттерна с паттернами, связанными с множеством кластеров, дополнительно содержит применение метода перекрестной корреляции.
[0024] Дополнительно в одном частном варианте заявленного изобретения технический результат обеспечивается за счет системы для определения принадлежности веб-ресурса к множеству кластеров веб ресурсов, причем система, содержит вычислительное устройство, которое дополнительно включает:
процессор;
постоянный машиночитаемый носитель, содержащий инструкции;
причем процессор после выполнения инструкций сконфигурирован для:
на этапе обучения:
сканируют сети связи для обнаружения множества веб-ресурсов;
производят поиск информации, связанной с множеством веб-ресурсов;
на основе информации, связанной с каждым из множества веб-ресурсов, генерируют соответствующий паттерн;
на основе сгенерированного паттерна производят группировку множества веб-ресурсов во множество кластеров, причем группировка основана на аффилированности множества паттернов веб-ресурсов;
сохраняют указанные множества кластеров веб-ресурсов в памяти;
на рабочем этапе:
получают URL ссылку на веб-ресурс;
производят поиск информации о данном веб-ресурсе;
генерируют новый паттерн данного веб-ресурса;
анализируют аффилированность нового паттерна с паттернами, связанными с множеством кластеров веб-ресурсов;
вычисление отношения присоединения к конкретному из множества кластеров;
в ответ на коэффициент аффилированности паттерна к конкретному из множества кластеров, превышающий заранее заданное пороговое значение, связывают данный веб-ресурс с конкретным кластером из множества кластеров веб ресурсов;
обновляют множество кластеров, хранящихся в базе данных, на основе данного веб ресурса.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0025] Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:
[0026] Фиг. 1 иллюстрирует примерный вариант реализации системы определения кластеров аффилированных веб-ресурсов.
[0027] Фиг. 2 иллюстрирует примерный вариант осуществления подготовительного этапа выполнения способа определения кластеров аффилированных веб-ресурсов.
[0028] Фиг. 3 иллюстрирует примерный вариант созданного паттерна веб-ресурса, сохраняемого во внутренней базе данных системой
[0029] Фиг. 4А-4С иллюстрируют пример шаблонов аффилированных веб-сайтов.
[0030] Фиг. 5 иллюстрирует примерный вариант осуществления рабочего этапа выполнения способа определения кластеров аффилированных веб-ресурсов.
[0031] Фиг. 6 иллюстрирует пример общей схемы вычислительного устройства, необходимого для выполнения способа определения кластеров аффилированных веб-ресурсов.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0032] Следующее далее подробное описание представлено, чтобы дать возможность любому специалисту в данной области для осуществления и использования настоящего изобретения. Для целей описания конкретные детали приводятся, чтобы дать глубокое понимание настоящего изобретения. Однако специалисту в данной области будет ясно, что эти конкретные детали не являются необходимыми для осуществления настоящего изобретения. Описания конкретных применений приводятся только как репрезентативные примеры. Различные модификации предпочтительных вариантов осуществления будут очевидны специалистам в данной области, и общие принципы, определенные в настоящем документе, могут применяться к другим вариантам осуществления и применениям без отклонения от рамок настоящего изобретения.
[0033] Описанное в данном документе решение, как предполагается, не является ограниченным указанными вариантами осуществления, но должно соответствовать самым широким возможным рамкам, совместимым с принципами и признаками, описанными в настоящем документе.
[0034] Настоящее изобретение направлено на обеспечение системы и способа определения кластеров аффилированных веб-ресурсов.
[0035] На фиг. 1 представлен один из возможных вариантов осуществления системы определения кластеров аффилированных веб-ресурсов (100).
[0036] В некоторых вариантах осуществления система 100 содержит модуль сбора данных 110, который может быть коммуникативно связан с сетью 120.
[0037] В некоторых неограничивающих вариантах осуществления настоящей технологии сеть 120 является сетью Интернет и / или Интранет. Кроме того, можно предусмотреть несколько вариантов осуществления сети 120, что станет очевидным для специалиста в данной области техники. Далее, реализация линии связи между системой 100 и сетью 120 будет зависеть, в частности, от того, как реализована система 100, и при этом может включать в себя, но не ограничиваться, основной канал связи и/или канал беспроводной связи (такой как канал сетевой связи Wi-Fi, канал сетевой связи 3G / 4G и т.п.).
[0038] В некоторых неограничивающих вариантах осуществления настоящей технологии, модуль сбора данных 110 может сканировать сеть 120 для получения соответствующих URL-ссылок на множество веб-ресурсов и сохранять их во внутренней базе данных (не показана), коммуникативно связанной с модулем сбора данных 110.
[0039] В альтернативных неограничивающих вариантах осуществления настоящей технологии, модуль сбора данных 110 может быть сконфигурирован для связи с внешним хранилищем данных (не изображенным) для получения соответствующих URL-ссылок на множество веб-ресурсов для дальнейшего анализа.
[0040] Со ссылкой на фиг. 2 представлена блок-схема способа 200 для определения кластеров веб-ресурсов в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии. Так, способ 200 может быть выполнен с помощью вычислительного устройства 600.
ШАГ 210: СКАНИРОВАНИЕ СЕТИ СВЯЗИ ДЛЯ ОБНАРУЖЕНИЯ МНОЖЕСТВА ВЕБ-РЕСУРСОВ.
[0041] Способ 200 начинается на этапе 210, на котором вычислительное устройство 600 сконфигурировано для сканирования сети 120.
[0042] На данном этапе идентифицируют множество веб-ресурсов для дальнейшего анализа. Причем стоит отметить, как вычислительное устройство 600 сконфигурировано для сканирования сети 120, не ограничено, и в некоторых неограничивающих вариантах осуществления настоящей технологии, может быть выполнено с использованием любого известного специального программного обеспечения для сканирования сети связи.
[0043] В альтернативных неограничивающих вариантах осуществления настоящей технологии веб-ресурсы могут быть получены вычислительным устройством 600 из базы данных веб-ресурсов, которая может быть, например, размещена внутри вычислительного устройства 600 или коммуникативно подключена к нему через сеть 120.
[0044] Следовательно, способ 200 переходит на этап 220.
ШАГ 220: ПОЛУЧЕНИЕ ИНФОРМАЦИИ, СВЯЗАННОЙ С МНОЖЕСТВОМ ВЕБ-РЕСУРСОВ.
[0045] На этапе 220 согласно определенному неограничивающему варианту осуществления настоящей технологии после получения URL-ссылки на данный веб-ресурс также может быть получена информация, связанная с ним.
[0046] В некоторых неограничивающих вариантах осуществления настоящей технологии вычислительное устройство 600 может быть выполнено с возможностью извлечения информации, связанной с данным веб-ресурсом, включая по крайней мере одно из:
URL-адрес данного веб-ресурса;
HTML код по меньшей мере одной страницы, связанной с данным веб-ресурсом;
скриншот по меньшей одной страницы, связанной с данным веб-ресурсом, и ее хэш сумма;
дата обнаружения данного веб-ресурса; и
регистрационные данные домена, связанные с данным веб-ресурсом, дополнительно включающие по меньшей мере:
дату регистрации и регистратора, имя владельца и контактные данные; IP-адрес; NS сервер; хостинг-провайдер; дату последней активности.
[0047] Кроме того, в некоторых неограничивающих вариантах осуществления настоящей технологии вычислительное устройство 600 может быть сконфигурировано для хранения информации, связанной с данным веб-ресурсом в базе данных веб-ресурсов.
[0048] Согласно некоторым неограничивающим вариантам осуществления настоящей технологии, вычислительное устройство 600 может быть дополнительно сконфигурировано для анализа HTML-кода, по меньшей мере, одной страницы, связанной с данным веб-ресурсом для выявления отличительных признаков, связанных с данный веб-ресурсом.
[0049] В некоторых неограничивающих вариантах осуществления настоящей технологии вычислительное устройство 600 может быть сконфигурировано для проведения анализа HTML-кода с предоставлением страниц веб-ресурса автоматически, например, с использованием специализированного программного обеспечения, которое может обнаружить отличительные признаки, связанные с данным веб-ресурсом
[0050] В дополнительных неограничивающих вариантах осуществления настоящей технологии анализ вычислительным устройством 600 HTML-кода, связанного с веб-ресурсом, может быть выполнен для определения отличительных признаков страниц, связанных с данным веб-ресурсом, которые в дальнейшем могут быть использованы для анализа сходства их паттернов.
[0051] Согласно некоторым неограничивающим вариантам осуществления настоящей технологии, отличительные признаки, выявленные путем анализа HTML-кода, связанного с данной страницей веб-ресурса, могут включать в себя по меньшей мере одно из:
размер по меньшей мере одного блока страницы в пределах по меньшей мере одной страницы, связанной с соответствующим один из множества веб-ресурсов;
положение по меньшей мере одного блока страницы на по меньшей мере одной странице;
заголовок, связанный по меньшей мере с одним блоком страницы;
региональные параметры, связанные как минимум с одной страницей;
по меньшей мере один целевой домен, связанный по меньшей мере с одной страницей веб-ресурса, включая по меньшей мере одно из:
ссылки, размещенные как минимум на одной странице, и связанные с ними типы переходов, при этом типы переходов дополнительно включают в себя, по меньшей мере, одно из: прямой переход и переход с перенаправлением;
контактные данные - например, контактные данные, связанные с регистратором по меньшей мере одной страницы, связанной с указанными веб-ресурсами, или размещенная на них;
паттерны путей к соответствующим структурным элементам по меньшей мере одной страницы и стилей связанный ней; и
название каждого из соответствующих структурных элементов.
[0052] В некоторых неограничивающих вариантах осуществления настоящей технологии каждый из вышеупомянутых отличительных признаков может быть представлен соответствующей последовательностью байтов в HTML-коде по меньшей мере одной страницы или может содержать последовательность байтов, указывающих на один из брендов и/или фишинговую цель данного веб-ресурса.
[0053] В некоторых неограниченных вариантах осуществления настоящей технологии вычислительное устройство 600 может быть сконфигурировано для хранения в базе данных веб-ресурсов хэш-значения по меньшей мере одной страницы, связанной с данным веб-ресурсом
[0054] Следует четко понимать, что в соответствии с неограничивающими вариантами осуществления в настоящей технологии значение хеш-функции может быть получено с использованием любого подходящего алгоритма хеширования, например, такого как универсальная хеш-функция, некриптографическая хеш-функция, криптографическая хеш-функция с ключом и тому подобное.
[0055] В контексте настоящего описания, снимок экрана (или скриншот) данной веб-страницы означает графическое представление (например, изображение) содержимого данной веб-страницы. Такое графическое представление может быть сохранено в виде файла в базах данных веб-ресурсов, связанных с вычислительным устройством 600. Кроме того, данные, указывающие на снимок экрана, вместе со связанными значениями хеш-функции, могут использоваться для определения коэффициента аффилированности, связанного с этими параметрами. Снимки экрана можно сравнивать как побитово, так и на основе значений хеш-функций связанных страниц.
[0056] В некоторых неограниченных вариантах осуществления настоящей технологии, вычислительное устройство 600 может быть дополнительно сконфигурировано для определения регистрационных данных домена, включающих, по меньшей мере, одно из: дату регистрации, регистратора, владельца (например, имя и контактные данные).
[0057] Следует отметить, что способы определения регистрационных данных домена не ограниченны; тем не менее, в конкретных неограничивающих вариантах осуществления настоящей технологии, для определения регистрационных данных домена вычислительное устройство 600 может быть выполнено с возможностью доступа через сеть 120 к службе поиска доменов WHOIS. Как правило, служба поиска доменов WHOIS может быть настроена на предоставление в ответ на соответствующий запрос WHOIS подробной информации о домене данного веб-ресурса, включая, но не являясь ограничением: дату и время регистрации, дату и время истечения срока домена, текущий DNS-сервер домена, его статусы, а также информацию о регистраторе, который владеет доменным именем, причем если доменное имя не существует, в ответ на соответствующий запрос WHOIS может указываться, что доменное имя не было найдено. В определенных сценариях, если доменная зона не предоставляет информацию о имени владельце домена, в ответе на соответствующий запрос WHOIS, служба поиска доменов WHOIS может быть настроена на запрос этой информации у регистратора домена.
[0058] Следовательно, способ 200 переходит к этапу 230.
ШАГ 230: НА ОСНОВЕ ИНФОРМАЦИИ, ДЛЯ КАЖДОГО ИЗ МНОЖЕСТВА ВЕБ-РЕСУРСОВ, ГЕНЕРАЦИЯ СООТВЕТСТВУЮЕГО ПАТТЕРНА.
[0059] На этапе 230, после извлечения необходимой информации, связанной с данным веб-ресурсом, вычислительное устройство 600 может дополнительно быть настроено для генерации соответствующего паттерна для данного веб-ресурса.
[0060] В некоторых неограничивающих вариантах осуществления настоящей технологии соответствующий паттерн для заданных веб-ресурсов может содержать матрицу отличительных признаков, связанных с данным веб-ресурсом.
[0061] Со ссылкой на фиг.3 изображена принципиальная схема паттерна 302, сгенерированного вычислительным устройством 600 для данного веб-ресурса, в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии.
[0062] Как можно понять, паттерн 302 был сгенерирован вычислительным устройством 600 на основе полученной информации во время анализа данного веб-ресурса, учитывая выявленные отличительные признаки, связанные с этим.
[0063] Как упоминалось ранее, в некоторых неограничивающих вариантах осуществления настоящей технологии, информация, связанная с данным веб-ресурсом, может включать в себя: положение и размер по меньшей мере одного блока страницы в пределах по меньшей мере одной веб страницы, связанной с данным веб-ресурсом.
[0064] Ниже приведен пример выдержки из HTML-кода по меньшей мере одной страницы, связанной с данным веб-ресурсом относительно позиции «block_1»:
#block_1 { 
top: 82px; /* Расстояние от верхнего края */
left: 170px; /* Расстояние от левого края */ 
right: 73px /* Расстояние от правого края */ 
bottom: 0/* Расстояние снизу */
 height: 80px; /* Высота*/
width: 150px; /*Ширина*/
}
[0065] В приведенном примере показано позиционирование блока_1 (block_1) на странице веб-ресурса, а именно он расположен на расстоянии 82 пикселя от верхнего края, 170 пикселей от левого края, 73 пикселя от правого края и 0 пикселей внизу страницы веб-ресурса, а также имеющий ширину 150 пикселей и высоту 80.
[0066] Кроме того, в некоторых неограничивающих вариантах осуществления настоящей технологии информация, связанная с данным веб-ресурсом может включать дату создания веб-ресурса и регистратора домена, связанного с данным веб-ресурсом.
[0067] Например, после запроса WHOIS, сделанного на этапе 220 способа (результаты приведены ниже в таблице 1) можно узнать что домен GROUP-IB.RU был зарегистрирован 14.06.2007, а регистратором данного домена является REGRU-RU
Табл. 1
Домен GROUP-IB.RU
Сервер DNS
Сервер DNS
Регистратор REGRU-RU
Дата регистрации 2007-06-14T20:00:00Z
Дата окончания регистрации 2020-06-14T21:00:00Z
[0068] Как упоминалось ранее, в других неограничивающих вариантах осуществления настоящей технологии, вычислительное устройство 600 может быть дополнительно сконфигурировано для извлечения ссылок, размещенных на как минимум одной странице, и типы переходов, связанные с ней, причем типы переходов могут включать по меньшей мере одно из следующего: тип прямого перехода и переход с перенаправлением; и контактные данные, связанные по крайней мере с одной веб-страницей.
[0069] Кроме того, в некоторых неограничивающих вариантах осуществления настоящей технологии соответствующий паттерн может быть сгенерирован на основе любой комбинации отличительных признаков, определенных в шаге 220.
[0070] Поэтому в некоторых неограничивающих вариантах осуществления настоящей технологии паттерн 302, связанный с данными веб-ресурсами, включает в себя, по меньшей мере, один отличительный признак, который должен использоваться для дальнейшего анализа.
[0072] Со ссылкой на фиг. 4А-4В, схематически изображен паттерн аффилированности между двумя аффилированными веб-ресурсами соответственно, причем представлен пример аффилированности первой веб страницы 402 (изображенной на фиг. 4А) и второй веб страницы 404 (изображенной на фиг. 4В), в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии
[0073] Кроме того, со ссылкой на фиг. 4С изображен общий паттерн 406, который сгенерирован вычислительным устройством 600 для первой веб страницы 402 и второй веб страницы 404, изображенных на фиг.4А и 4В, соответственно, на основе анализа их аффилированности в соответствии с определенным неограничивающими вариантами осуществления настоящей технологии.
[0074] В соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии первая страница 402 и вторая страница 404 могут иметь аналогичные соответствующие паттерны (помечены), однако настоящая технология подразумевает, что паттерны сравниваемых страниц могут отличаться в пределах определенного доверительного интервала. В связи с этим на основе анализа аффилированности паттерна, описанное здесь ниже в отношении этапа 240 способа 200, подразумевает что вычислительное устройство 600 может быть дополнительно сконфигурировано для генерации общего шаблона 406 для первой веб страницы 402, и второй веб страницы 404, тем самым предопределяя связь между ними. В некоторых неограничивающих вариантах осуществления настоящей технологии, общий шаблон 406 может быть дополнительно изменен и обновлен, если это необходимо, например, при идентификации новых отличительных атрибутов, связанных с первой веб страницей и второй веб страницей, в качестве примера, как будет описано ниже.
[0075] Таким образом, способ 200 далее переходит к этапу 240.
ШАГ 240: ОСНОВЫВАЯСЬ НА СООТВЕТСТВУЮЩЕМ ПАТТЕРНЕ, ГРУППИРУЮТ МНОЖЕСТВО ВЕБ-РЕСУРСОВ ВО МНОЖЕСТВО КЛАСТЕРОВ, ОСНОВЫВАЯСЬ НА АФИЛИРОВАННОСТИ ИХ ПАТТЕРНОВ;
[0076] На этапе 240 множество веб-ресурсов, полученных на этапе 220 способа 200, дополнительно группируются (или иным образом кластеризуются) на основе заранее определенного параметра, указывающего на аффилированность соответствующих им паттернов.
[0077] С этой целью вычислительное устройство 600 может быть выполнено с возможностью определения для множества веб ресурсов, набора отличительных параметров, которые должны быть включены в соответствующий паттерн.
[0078] В соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии, вычислительное устройство 600 может быть выполнено с возможностью определения набора отличительных признаков на основе связанной с ними степени характерности для данного ресурса.
[0079] В некоторых неограничивающих вариантах осуществления настоящей технологии для определения степени характерности каждого из отличительных признаков, связанных с данным веб-ресурсом, может использоваться заданный параметр R. В этих вариантах осуществления предварительно заданный параметр характерности R может быть определен посредством экспериментальных способов с использованием тестовых выборок в целях определения отличительных признаков для предопределенных кластеров веб-ресурсов как можно точнее. В некоторых не ограничивающих вариантах осуществления настоящей технологии заданный параметр характерности R может определяется алгоритмом машинного обучения, обученным на основе тестовых выборок.
[0080] В соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии, заданный параметр характерности R может быть выбран так, чтобы превышать максимальный размер группы веб-ресурсов. Например, значение заданного параметра характерности R также может быть рассчитано по следующей формуле:
R = 0,7 ∙ V, (1)
где V — это объем базы данных веб-ресурсов, связанных с вычислительным устройством 600.
[0081] Кроме того, следует отметить, что другие коэффициенты, например, такие как 0,3, 0,5, 0,8 или 1,2 также могут использоваться для определения значения заранее определенного параметра характерности R в зависимости от конкретной реализации настоящей технологии.
[0082] Кроме того, для каждого отличительного признака вычислительное устройство 600 может быть сконфигурировано для определения соответствующего значения p, которое показывает сколько ресурсов из сохраненных в базе данных веб ресурсов связаны этим признаком.
[0083] Кроме того, соответствующее значение p может быть выбрано таким образом, чтобы оно не превышало значение заранее определенного параметра характерности R, который соответствует предполагаемому максимальному размеру данной группы веб-ресурсов, то есть соответствующее значение p может удовлетворять следующему неравенству:
p i <R (2).
[0084] Кроме того, эти отличительные признаки, связанные с соответствующими значениями р, которые меньше значения R могут считаться (достаточно) отличительными для данного ресурса и, таким образом, будут выбраны в наборе отличительных признаков для генерации соответствующего паттерна.
[0085] Таким образом, в некоторых неограничивающих вариантах осуществления настоящей технологии, соответствующий паттерн в том числе может содержать матрицу отличительных признаков, связанных с данным веб-ресурсом. Таким образом, вычислительное устройство 600 может быть сконфигурировано для генерации соответствующей матрицы для каждого из множества веб-ресурсов, определенных на этапе 220 способа 200 как описано выше.
[0086] Кроме того, в некоторых неограничивающих вариантах осуществления настоящей технологии вычислительное устройство 600 может быть сконфигурировано для анализа соответствующих матриц, связанных между собой множества веб-ресурсов. В итоге, в некоторых неограничивающих вариантах осуществления настоящей технологии анализ может содержать по меньшей мере сравнение соответствующих матриц между собой, причем сравнение матриц друг с другом происходит с помощью методов взаимной корреляции.
[0087] В контексте настоящего описания термин «метод взаимной корреляции» относится к области теории вероятности и статистики, а именно относится к методу определения сходства между записями двух наборов данных, таких как отличительные признаки соответствующих матриц связанных с двумя веб-ресурсами - например, путем построения функции взаимной корреляции, описывающей сходство между двумя наборами данных.
[0088] Таким образом, в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии, вычислительное устройство 600 может быть выполнено с возможностью определения пропорции соответствия отличительных признаков между двумя данными веб-ресурсами, тем самым определяя отношения аффилированности между ними, т. о. доля совпадающих признаков принимается за коэффициент аффилированности ресурсов.
[0089] Как правило, соответствующие матрицы могут быть разных размеров. В данной ситуации коэффициент аффилированности может быть рассчитан как соотношение между количеством совпадающих отличительных признаков, связанных с данным веб ресурсом и количеством отличительных признаков, связанных с одним из множества веб-ресурсов в наименьшем паттерне, т.е в данном случае коэффициент аффилированности считается как отношение количества совпадающих признаков к количеству признаков в наименьшем паттерне.
[0090] В некоторых неограничивающих вариантах осуществления настоящей технологии вычислительное устройство 600 может быть выполнено с возможностью применять метод взаимной корреляции одновременно для, по меньшей мере, нескольких из множества веб-ресурсов. В других не ограничивающих вариантах осуществления настоящей технологии вычислительное устройство 600 может быть выполнено с возможностью применять метод взаимной корреляции поэтапно к каждой паре множества веб-ресурсов.
[0091] Таким образом, посредством этого, согласно некоторым неограничивающим вариантам осуществления настоящей технологии, вычислительное устройство 600 может быть сконфигурировано для генерации множества кластеров для группировки в нем множества веб-ресурсов.
[0092] Следовательно, способ 200 переходит к этапу 250.
[0093] Наконец, согласно некоторым неограничивающим вариантам осуществления настоящей технологии на этапе 250 вычислительное устройство 600 может быть настроено для хранения множества кластеров веб-ресурсов в одной из баз данных веб-ресурсов, связанной с вычислительным устройством 600, и/или внутренней базы данных системы 100.
[0094] Этап обучения способа 200, следовательно, заканчивается.
[0095] Согласно некоторым неограничивающим вариантам осуществления настоящей технологии, сгенерированное множество кластеров для множества веб-ресурсов хранится на вычислительном устройстве 600, которое может быть дополнительно сконфигурировано для определения принадлежности нового веб-ресурса к такому уже идентифицированному множеству кластеров. С этой целью вычислительное устройство 600 может быть сконфигурировано для выполнения рабочего этапа способа 300, блок-схема которого изображена на фиг.5.
ШАГ 310: ПОЛУЧЕНИЕ ССЫЛКИ URL-АДРЕСА ВЕБ- РЕСУРСА.
[0096] На этапе 310 вычислительное устройство может быть сконфигурировано для приема нового URL-адреса, связанного с новым веб-ресурсом, который будет проанализирован на предмет принадлежности к множеству кластеров веб-ресурсов. Вычислительное устройство 600 может быть сконфигурировано для приема нового URL адреса как описано выше в отношении реализации этапа 210 подготовительного этапа способа 200.
ШАГ 320: ИЗВЛЕЧЕНИЕ ИНФОРМАЦИИ О ЗАДАННОМ ВЕБ-РЕСУРСЕ.
[0097] Далее, на шаге 320, извлекается информация о новом веб-ресурсе. Основываясь на этой информации, вычислительное устройство 600 может быть сконфигурировано таким образом, чтобы идентифицировать отличительные признаки, связанные с новым веб-ресурсом аналогично тому, что описано выше в отношении этапа 220 подготовительного этапа способа 200.
ШАГ 330: ГЕНЕРАЦИЯ НОВОГО ШАБЛОНА ЗАДАННОГО ВЕБ-РЕСУРСА.
[0098] На основе полученной информации на этапе 330 вычислительное устройство 600 может быть дополнительно сконфигурировано для генерации нового шаблона, связанного с новым заданным веб-ресурсом, расположенным по адресу новой URL-ссылки, полученной на этапе 310 рабочего этапа способа 300.
ШАГ 340: АНАЛИЗ АФФИЛИРОВАННОСТИ НОВОГО ПАТТЕРНА С ПАТТЕРНАМИ, СВЯЗАННЫМИ С МНОЖЕСТВОМ КЛАСТЕРОВ ВЕБ-РЕСУРСОВ.
[0099] Таким образом, на этапе 340 вычислительное устройство 600 может быть сконфигурировано для анализа нового паттерна по сравнению с каждым из соответствующих паттернов, связанных со множеством кластеров веб-ресурсов, хранящихся в базе данных веб-ресурсов, связанной с вычислительным устройством 600, и будучи идентифицированными посредством выполнения этапа обучения способа 200.
350 ШАГ: РАСЧЕТ КОЭФФИЦИЕНТА АФФИЛИРОВАННОСТИ ПАТТЕРНА ВЕБ РЕСУРСА С ПАТТЕРНОМ КАЖДОГО ИЗ МНОЖЕСТВА КЛАСТЕРОВ
[0100] На этапе 350 вычислительное устройство 600 может быть сконфигурировано для расчёта соответствующего коэффициента аффилированности между новым шаблоном страницы веб ресурса и теми, которые связаны с множеством кластеров.
ШАГ 360: В ОТВЕТ НА КОЭФФИЦИЕНТ АФФИЛИРОВАННОСТИ, ПРЕВЫШАЮЩИЙ ЗАРАНЕЕ ЗАДАННОЕ ПОРОГОВОЕ ЗНАЧЕНИЕ, ОПРЕДЕЛЯЮТ ПРИНАДЛЕЖНОСТЬ ПАТТЕРНА ВЕБ РЕСУРСА К ОДНОМУ КОНКРЕТНОМУ ИЗ МНОЖЕСТВА КЛАСТЕРОВ.
[0101] Далее, на этапе 360, в ответ на рассчитанный коэффициент аффилированности между новым паттерном и каждым из паттернов конкретных кластеров, который превышает заранее заданное пороговое значение, вычислительное устройство 600 может быть выполнено с возможностью определения нового паттерна нового веб ресурса, как связанного с конкретным одним из множества кластеров. И наоборот, если соответствующий коэффициент аффилированности не превышает предварительно определенного порогового значения, новый шаблон может быть идентифицирован как не связанный ни с одним из множества кластеров.
ШАГ 370: ОБНОВЛЕНИЕ МНОЖЕСТВА КЛАСТЕРОВ, ХРАНЯЩИХСЯ В БАЗЕ ДАННЫХ НА ОСНОВЕ ЗАДАННОГО ВЕБ-РЕСУРСА
[0102] Наконец, на этапе 370 вычислительное устройство 600 может быть сконфигурировано для обновления конкретного из множества кластеров и соответствующего шаблона, связанного с ним, например, на основе отличительных признаков, связанных с новым веб-ресурсом.
[0103] В дополнительных неограниченных вариантах осуществления настоящей технологии вычислительное устройство 600 может быть сконфигурировано для формирования подробного аналитического отчета, включающего данные, свидетельствующие о принадлежности нового веб-ресурса относительно каждого из множества кластеров.
[0104] Следовательно, рабочий этап способа 300 завершается.
[0105] Со ссылкой на Фиг.6 изображен пример функциональной схемы вычислительного устройства 600, конфигурируемого для реализации определенных неограничивающих вариантов осуществления вычислительного устройства (600) на основе современных технологий.
[0106] В общем случае устройство (600) содержит такие компоненты, как: один или более процессоров (601), по меньшей мере одну память (602), средство хранения данных (603), интерфейсы ввода/вывода (604), средство В/В (605), средства сетевого взаимодействия (606).
[0107] Процессор (601) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (600) или функциональности одного или более его компонентов. Процессор (601) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (602).
[0108] Память (602), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.
[0109] Средство хранения данных (603) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (603) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых документов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.
[0110] Интерфейсы (604) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.
[0111] Выбор интерфейсов (604) зависит от конкретного исполнения устройства (600), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
[0112] В качестве средств В/В данных (605) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
[0113] Средства сетевого взаимодействия (606) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (606) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
[0114] Компоненты устройства (600) сопряжены посредством общей шины передачи данных (610).
[0115] В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Claims (46)

1. Способ определения принадлежности веб-ресурса к кластерам аффилированных веб-ресурсов, выполняющийся на вычислительном устройстве, имеющем, по меньшей мере, процессор и память, которая хранит исполняемые инструкции, способ, в котором:
на этапе обучения:
сканируют сети связи для обнаружения множества веб-ресурсов;
производят поиск информации, связанной с каждым из множества веб-ресурсов;
на основе информации, связанной с каждым из множества веб-ресурсов, генерируют соответствующие паттерны каждого из множества веб-ресурсов;
на основе сгенерированных паттернов производят группировку множества веб-ресурсов во множество кластеров, причем группировка основана на аффилированности множества паттернов веб-ресурсов;
сохраняют указанные множества кластеров веб-ресурсов в памяти;
на рабочем этапе:
получают URL ссылку на ранее не исследованный веб-ресурс;
производят поиск информации о данном ранее не исследованном веб-ресурсе;
генерируют новый паттерн данного ранее не исследованного веб-ресурса;
анализируют аффилированность нового паттерна с паттернами, связанными с множеством кластеров веб-ресурсов;
вычисляют коэффициент аффилированности паттерна данного ранее не исследованного веб-ресурса с каждым из множества кластеров;
в ответ на превышение коэффициентом аффилированности паттерна с одним из множества кластеров заранее заданного порогового значения связывают данный ранее не исследованный веб-ресурс с одним конкретным кластером из множества кластеров веб-ресурсов;
обновляют множество кластеров, хранящихся в базе данных, на основе аффилированности данного веб-ресурса.
2. Способ по п. 1, в котором соответствующий паттерн содержит матрицу отличительных признаков, связанных с соответствующим одним из множества веб-ресурсов, идентифицированных с помощью анализа информации, связанной с множеством веб-ресурсов.
3. Способ по п. 2, в котором отличительные признаки связаны с соответствующим одним из множества веб-ресурсов и содержат по меньшей мере одно из:
размер по меньшей мере одного блока страницы в пределах по меньшей мере одной страницы, связанной с соответствующим один из множества веб-ресурсов;
положение по меньшей мере одного блока страницы на по меньшей мере одной странице;
заголовок, связанный по меньшей мере с одним блоком страницы; параметры области, связанные по меньшей мере с одной страницей;
по меньшей мере один целевой домен, связанный по меньшей мере с одной страницей, причем дополнительно определяют по меньшей мере одно из: ссылки, размещенные как минимум на одной странице и ведущие на целевой домен, и связанные с ними типы переходов, причем тип перехода может быть по меньшей одним из: напрямую или через перенаправление;
контактную информацию;
шаблоны путей к соответствующим структурным элементам по меньшей мере одной страницы и стилям, связанный с ними; и названия структурных элементов.
4. Способ по п. 2, в котором информация, связанная с множеством веб-ресурсов, включает в себя для данного веб-ресурса по меньшей мере одно из: URL данного веб-ресурса; HTML-код, связанный с данным веб-ресурсом; скриншот хотя бы одной веб-страницы, связанной с данной страницей веб-ресурса, и ее хеш-значение; дата обнаружения данного веб-ресурса и данные регистрации домена, связанные с данным веб-ресурсом, в том числе: дату регистрации, регистратора, имя владельца и контактные данные; IP-адрес; NS сервер; хостинг-провайдер; последняя дата активности.
5. Способ по п. 2, в котором матрица отличительных признаков содержит по меньшей мере один отличительный признак, связанный с соответствующим одним из множества веб-ресурсов.
6. Способ по п. 2, в котором каждый из отличительных признаков был выбран на основе предварительно определенного параметра характерности R, причем предварительно определенный параметр характерности указывает на максимальное пороговое значение степени характерности данного отличительного признака для его использования.
7. Способ по п. 6, в котором отличительность выбранного характерного признака определяется на основе следующего неравенства pi<R, где p показывает число ресурсов во множестве веб-ресурсов, связанных данным характерным признаком.
8. Способ по п. 1, в котором вычисление коэффициента аффилированности дополнительно содержит вычисление количества отличительных характерных признаков, связанных с данным веб-ресурсом, которые похожи на те, которые связаны с одним из множества кластеров.
9. Способ по п. 1, в котором анализ аффилированности нового паттерна с паттернами, связанными с множеством кластеров, дополнительно содержит применение метода перекрестной корреляции.
10. Система для определения принадлежности веб-ресурса к множеству кластеров аффилированных веб-ресурсов, причем система содержит вычислительное устройство, которое дополнительно включает:
процессор;
постоянный машиночитаемый носитель, который хранит инструкции, при исполнении которых процессор выполнен с возможностью осуществлять:
на этапе обучения:
сканирование сети связи для обнаружения множества веб-ресурсов;
поиск информации, связанной с каждым из множества веб-ресурсов;
генерацию соответствующих паттернов каждого из множества веб-ресурсов на основе информации, связанной с каждым из множества веб-ресурсов;
группировку множества веб-ресурсов во множество кластеров на основе сгенерированных паттернов веб-ресурсов, причем группировка основана на аффилированности паттернов множества веб-ресурсов;
сохранение указанного множества кластеров веб-ресурсов в памяти;
на рабочем этапе:
получение URL ссылки на ранее не исследованный веб-ресурс;
поиск информации о данном ранее не исследованном веб-ресурсе;
генерацию нового паттерна данного ранее не исследованного веб-ресурса;
анализ аффилированности нового паттерна ранее не исследованного веб-ресурса с паттернами, связанными с множеством кластеров веб-ресурсов;
вычисление коэффициента аффилированности паттерна данного ранее не исследованного веб-ресурса с каждым из множества кластеров веб-ресурсов;
в ответ на превышение коэффициентом аффилированности паттерна с одним из множества кластеров заранее заданного порогового значения, связывание данного ранее не исследованного веб-ресурса с одним конкретным кластером из множества кластеров веб-ресурсов;
обновление множества кластеров, хранящихся в базе данных, на основе аффилированности данного веб-ресурса.
RU2020127038A 2020-07-15 2020-08-12 Способ и система для идентификации кластеров аффилированных веб-сайтов RU2740856C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10202006752V 2020-07-15
SG10202006752V 2020-07-15

Publications (1)

Publication Number Publication Date
RU2740856C1 true RU2740856C1 (ru) 2021-01-21

Family

ID=73498229

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020127038A RU2740856C1 (ru) 2020-07-15 2020-08-12 Способ и система для идентификации кластеров аффилированных веб-сайтов

Country Status (3)

Country Link
US (1) US11475090B2 (ru)
NL (1) NL2026283B1 (ru)
RU (1) RU2740856C1 (ru)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8521667B2 (en) * 2010-12-15 2013-08-27 Microsoft Corporation Detection and categorization of malicious URLs
CN103986731A (zh) * 2014-05-30 2014-08-13 北京奇虎科技有限公司 通过图片匹配来检测钓鱼网页的方法及装置
US20160055490A1 (en) * 2013-04-11 2016-02-25 Brandshield Ltd. Device, system, and method of protecting brand names and domain names
CN108737423A (zh) * 2018-05-24 2018-11-02 国家计算机网络与信息安全管理中心 基于网页关键内容相似性分析的钓鱼网站发现方法及系统
RU2676247C1 (ru) * 2018-01-17 2018-12-26 Общество С Ограниченной Ответственностью "Группа Айби" Способ и компьютерное устройство для кластеризации веб-ресурсов
WO2019010182A1 (en) * 2017-07-06 2019-01-10 Pixm METHOD AND SYSTEM FOR DETECTING HOOKING
RU2701040C1 (ru) * 2018-12-28 2019-09-24 Общество с ограниченной ответственностью "Траст" Способ и вычислительное устройство для информирования о вредоносных веб-ресурсах

Family Cites Families (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7389351B2 (en) 2001-03-15 2008-06-17 Microsoft Corporation System and method for identifying and establishing preferred modalities or channels for communications based on participants' preferences and contexts
US7565692B1 (en) 2000-05-30 2009-07-21 At&T Wireless Services, Inc. Floating intrusion detection platforms
EP1338130B1 (en) 2000-11-30 2006-11-02 Lancope, Inc. Flow-based detection of network intrusions
US7325252B2 (en) 2001-05-18 2008-01-29 Achilles Guard Inc. Network security testing
US20090138342A1 (en) 2001-11-14 2009-05-28 Retaildna, Llc Method and system for providing an employee award using artificial intelligence
US7225343B1 (en) 2002-01-25 2007-05-29 The Trustees Of Columbia University In The City Of New York System and methods for adaptive model generation for detecting intrusions in computer systems
US8132250B2 (en) 2002-03-08 2012-03-06 Mcafee, Inc. Message profiling systems and methods
EP1349081A1 (en) 2002-03-28 2003-10-01 LION Bioscience AG Method and apparatus for querying relational databases
US7496628B2 (en) 2003-02-25 2009-02-24 Susquehanna International Group, Llp Electronic message filter
US20040221171A1 (en) 2003-05-02 2004-11-04 Ahmed Ahmed Awad E. Intrusion detector based on mouse dynamics analysis
US7457725B1 (en) 2003-06-24 2008-11-25 Cisco Technology Inc. Electronic component reliability determination system and method
US8984640B1 (en) 2003-12-11 2015-03-17 Radix Holdings, Llc Anti-phishing
US7392278B2 (en) 2004-01-23 2008-06-24 Microsoft Corporation Building and using subwebs for focused search
US8539582B1 (en) 2004-04-01 2013-09-17 Fireeye, Inc. Malware containment and security analysis on connection
US8561177B1 (en) 2004-04-01 2013-10-15 Fireeye, Inc. Systems and methods for detecting communication channels of bots
US8528086B1 (en) 2004-04-01 2013-09-03 Fireeye, Inc. System and method of detecting computer worms
US7953814B1 (en) 2005-02-28 2011-05-31 Mcafee, Inc. Stopping and remediating outbound messaging abuse
US8255532B2 (en) 2004-09-13 2012-08-28 Cisco Technology, Inc. Metric-based monitoring and control of a limited resource
US7540025B2 (en) 2004-11-18 2009-05-26 Cisco Technology, Inc. Mitigating network attacks using automatic signature generation
US20060253582A1 (en) 2005-05-03 2006-11-09 Dixon Christopher J Indicating website reputations within search results
CA2606998C (en) 2005-05-05 2014-09-09 Ironport Systems, Inc. Detecting unwanted electronic mail messages based on probabilistic analysis of referenced resources
US7609625B2 (en) 2005-07-06 2009-10-27 Fortinet, Inc. Systems and methods for detecting and preventing flooding attacks in a network environment
US7730040B2 (en) 2005-07-27 2010-06-01 Microsoft Corporation Feedback-driven malware detector
US7707284B2 (en) 2005-08-03 2010-04-27 Novell, Inc. System and method of searching for classifying user activity performed on a computer system
US8650080B2 (en) 2006-04-10 2014-02-11 International Business Machines Corporation User-browser interaction-based fraud detection system
EP2005698B1 (en) 2006-04-13 2012-01-04 Art of Defence GmbH Method for providing web application security
US7984500B1 (en) 2006-10-05 2011-07-19 Amazon Technologies, Inc. Detecting fraudulent activity by analysis of information requests
US7865953B1 (en) 2007-05-31 2011-01-04 Trend Micro Inc. Methods and arrangement for active malicious web pages discovery
US8238669B2 (en) 2007-08-22 2012-08-07 Google Inc. Detection and classification of matches between time-based media
US7958555B1 (en) 2007-09-28 2011-06-07 Trend Micro Incorporated Protecting computer users from online frauds
US9779403B2 (en) 2007-12-07 2017-10-03 Jpmorgan Chase Bank, N.A. Mobile fraud prevention system and method
JP2011520162A (ja) 2008-02-28 2011-07-14 アイファロ メディア ゲーエムベーハー マルチメディアストリームにおけるフレームシーケンス比較の方法
US8082187B2 (en) 2008-05-07 2011-12-20 AcademixDirect, Inc. Method of generating a referral website URL using website listings in a cookie
US8856937B1 (en) 2008-06-27 2014-10-07 Symantec Corporation Methods and systems for identifying fraudulent websites
US10027688B2 (en) 2008-08-11 2018-07-17 Damballa, Inc. Method and system for detecting malicious and/or botnet-related domain names
US8086480B2 (en) 2008-09-25 2011-12-27 Ebay Inc. Methods and systems for activity-based recommendations
US8850571B2 (en) 2008-11-03 2014-09-30 Fireeye, Inc. Systems and methods for detecting malicious network content
US8108406B2 (en) * 2008-12-30 2012-01-31 Expanse Networks, Inc. Pangenetic web user behavior prediction system
US8285830B1 (en) 2009-01-06 2012-10-09 Citizenhawk, Inc. System and method for combating cybersquatting
US8448245B2 (en) 2009-01-17 2013-05-21 Stopthehacker.com, Jaal LLC Automated identification of phishing, phony and malicious web sites
US8695091B2 (en) 2009-02-11 2014-04-08 Sophos Limited Systems and methods for enforcing policies for proxy website detection using advertising account ID
US20100228636A1 (en) 2009-03-04 2010-09-09 Google Inc. Risk premiums for conversion-based online advertisement bidding
WO2010105184A2 (en) 2009-03-13 2010-09-16 Breach Security , Inc. A method and apparatus for phishing and leeching vulnerability detection
US8229219B1 (en) 2009-08-06 2012-07-24 Google Inc. Full-length video fingerprinting
US8600993B1 (en) 2009-08-26 2013-12-03 Google Inc. Determining resource attributes from site address attributes
US8396857B2 (en) 2009-08-31 2013-03-12 Accenture Global Services Limited System to modify websites for organic search optimization
EP2323046A1 (en) 2009-10-16 2011-05-18 Telefónica, S.A. Method for detecting audio and video copy in multimedia streams
US8625033B1 (en) 2010-02-01 2014-01-07 Google Inc. Large-scale matching of audio and video
US9501644B2 (en) 2010-03-15 2016-11-22 F-Secure Oyj Malware protection
US8612463B2 (en) 2010-06-03 2013-12-17 Palo Alto Research Center Incorporated Identifying activities using a hybrid user-activity model
US8260914B1 (en) 2010-06-22 2012-09-04 Narus, Inc. Detecting DNS fast-flux anomalies
RU2446459C1 (ru) 2010-07-23 2012-03-27 Закрытое акционерное общество "Лаборатория Касперского" Система и способ проверки веб-ресурсов на наличие вредоносных компонент
CN102959557A (zh) 2010-07-26 2013-03-06 金基容 黑客病毒安全综合管理设备
US8924488B2 (en) 2010-07-27 2014-12-30 At&T Intellectual Property I, L.P. Employing report ratios for intelligent mobile messaging classification and anti-spam defense
JP6019484B2 (ja) 2010-08-25 2016-11-02 ルックアウト、アイエヌシー． サーバで結合されたマルウェア防止のためのシステムと方法
EP2609537A1 (en) 2010-08-26 2013-07-03 Verisign, Inc. Method and system for automatic detection and analysis of malware
US8837769B2 (en) 2010-10-06 2014-09-16 Futurewei Technologies, Inc. Video signature based on image hashing and shot detection
US9626677B2 (en) 2010-11-29 2017-04-18 Biocatch Ltd. Identification of computerized bots, and identification of automated cyber-attack modules
CN102082792A (zh) 2010-12-31 2011-06-01 成都市华为赛门铁克科技有限公司 钓鱼网页检测方法及设备
US8972412B1 (en) 2011-01-31 2015-03-03 Go Daddy Operating Company, LLC Predicting improvement in website search engine rankings based upon website linking relationships
US8726376B2 (en) 2011-03-11 2014-05-13 Openet Telecom Ltd. Methods, systems and devices for the detection and prevention of malware within a network
US8402543B1 (en) 2011-03-25 2013-03-19 Narus, Inc. Machine learning based botnet detection with dynamic adaptation
US9363278B2 (en) 2011-05-11 2016-06-07 At&T Mobility Ii Llc Dynamic and selective response to cyber attack for telecommunications carrier networks
US8151341B1 (en) 2011-05-23 2012-04-03 Kaspersky Lab Zao System and method for reducing false positives during detection of network attacks
US8555388B1 (en) 2011-05-24 2013-10-08 Palo Alto Networks, Inc. Heuristic botnet detection
CA2840992C (en) 2011-07-08 2017-03-14 Brad WARDMAN Syntactical fingerprinting
JP5867875B2 (ja) 2011-07-11 2016-02-24 武 水沼 署名検証プログラム
GB2493514B (en) 2011-08-02 2015-04-08 Qatar Foundation Copy detection
US8677472B1 (en) 2011-09-27 2014-03-18 Emc Corporation Multi-point collection of behavioral data relating to a virtualized browsing session with a secure server
US8645355B2 (en) 2011-10-21 2014-02-04 Google Inc. Mapping Uniform Resource Locators of different indexes
US8584235B2 (en) 2011-11-02 2013-11-12 Bitdefender IPR Management Ltd. Fuzzy whitelisting anti-malware systems and methods
US9519781B2 (en) 2011-11-03 2016-12-13 Cyphort Inc. Systems and methods for virtualization and emulation assisted malware detection
RU2487406C1 (ru) 2011-11-24 2013-07-10 Закрытое акционерное общество "Лаборатория Касперского" Система и способ обнаружения вредоносных объектов, распространяемых через пиринговые сети
US8660296B1 (en) 2012-01-10 2014-02-25 Google Inc. Systems and methods for facilitating video fingerprinting using local descriptors
US9111090B2 (en) 2012-04-02 2015-08-18 Trusteer, Ltd. Detection of phishing attempts
RU2523114C2 (ru) 2012-04-06 2014-07-20 Закрытое акционерное общество "Лаборатория Касперского" Способ анализа вредоносной активности в сети интернет, выявления вредоносных узлов сети и ближайших узлов-посредников
US10304036B2 (en) 2012-05-07 2019-05-28 Nasdaq, Inc. Social media profiling for one or more authors using one or more social media platforms
RU2488880C1 (ru) 2012-05-11 2013-07-27 Закрытое акционерное общество "Лаборатория Касперского" Система и способ адаптивной оптимизации проверки потока данных, передающихся по сети, на наличие угроз
US9154517B2 (en) 2012-06-19 2015-10-06 AO Kaspersky Lab System and method for preventing spread of malware in peer-to-peer network
WO2014018630A1 (en) 2012-07-24 2014-01-30 Webroot Inc. System and method to provide automatic classification of phishing sites
RU2495486C1 (ru) 2012-08-10 2013-10-10 Закрытое акционерное общество "Лаборатория Касперского" Способ анализа и выявления вредоносных промежуточных узлов в сети
CN103685174B (zh) 2012-09-07 2016-12-21 中国科学院计算机网络信息中心 一种不依赖样本的钓鱼网站检测方法
US9386030B2 (en) 2012-09-18 2016-07-05 Vencore Labs, Inc. System and method for correlating historical attacks with diverse indicators to generate indicator profiles for detecting and predicting future network attacks
US9215239B1 (en) 2012-09-28 2015-12-15 Palo Alto Networks, Inc. Malware detection based on traffic analysis
US10965775B2 (en) 2012-11-20 2021-03-30 Airbnb, Inc. Discovering signature of electronic social networks
RU2536664C2 (ru) 2012-12-25 2014-12-27 Закрытое акционерное общество "Лаборатория Касперского" Система и способ автоматической модификации антивирусной базы данных
RU2530210C2 (ru) 2012-12-25 2014-10-10 Закрытое акционерное общество "Лаборатория Касперского" Система и способ выявления вредоносных программ, препятствующих штатному взаимодействию пользователя с интерфейсом операционной системы
US20160127402A1 (en) 2014-11-04 2016-05-05 Patternex, Inc. Method and apparatus for identifying and detecting threats to an enterprise or e-commerce system
US10425429B2 (en) 2013-04-10 2019-09-24 Gabriel Bassett System and method for cyber security analysis and human behavior prediction
GB201306628D0 (en) 2013-04-11 2013-05-29 F Secure Oyj Detecting and marking client devices
EP2901665A4 (en) 2013-05-13 2015-10-21 Yandex Europe Ag METHOD AND SYSTEM FOR PROVIDING A CLIENT DEVICE WITH AUTOMATICALLY UPDATING AN IP ADDRESS RELATED TO A DOMAIN NAME
US9357469B2 (en) 2013-05-29 2016-05-31 Rivada Networks, Llc Methods and system for dynamic spectrum arbitrage with mobility management
US9443075B2 (en) 2013-06-27 2016-09-13 The Mitre Corporation Interception and policy application for malicious communications
CN103368958A (zh) 2013-07-05 2013-10-23 腾讯科技（深圳）有限公司 一种网页检测方法、装置和系统
RU2538292C1 (ru) 2013-07-24 2015-01-10 Открытое Акционерное Общество "Информационные Технологии И Коммуникационные Системы" Способ обнаружения компьютерных атак на сетевую компьютерную систему
KR102120823B1 (ko) 2013-08-14 2020-06-09 삼성전자주식회사 비휘발성 메모리 장치의 독출 시퀀스 제어 방법 및 이를 수행하는 메모리 시스템
US9330258B1 (en) 2013-09-30 2016-05-03 Symantec Corporation Systems and methods for identifying uniform resource locators that link to potentially malicious resources
JP6321153B2 (ja) 2013-10-21 2018-05-09 マイクロソフト テクノロジー ライセンシング，エルエルシー モバイルビデオ検索
GB2520987B (en) * 2013-12-06 2016-06-01 Cyberlytic Ltd Using fuzzy logic to assign a risk level profile to a potential cyber threat
IN2013CH05744A (ru) 2013-12-12 2015-06-19 Infosys Ltd
US20150363791A1 (en) 2014-01-10 2015-12-17 Hybrid Application Security Ltd. Business action based fraud detection system and method
US9060018B1 (en) 2014-02-05 2015-06-16 Pivotal Software, Inc. Finding command and control center computers by communication link tracking
US9262635B2 (en) 2014-02-05 2016-02-16 Fireeye, Inc. Detection efficacy of virtual machine-based analysis with application specific events
RU2543564C1 (ru) 2014-03-20 2015-03-10 Закрытое акционерное общество "Научно-производственное предприятие "Информационные технологии в бизнесе" Система обнаружения и предотвращения вторжений на основе контроля доступа к ресурсам
US9853997B2 (en) 2014-04-14 2017-12-26 Drexel University Multi-channel change-point malware detection
US9332022B1 (en) 2014-07-07 2016-05-03 Symantec Corporation Systems and methods for detecting suspicious internet addresses
US20160036837A1 (en) 2014-08-04 2016-02-04 Microsoft Corporation Detecting attacks on data centers
US9800592B2 (en) 2014-08-04 2017-10-24 Microsoft Technology Licensing, Llc Data center architecture that supports attack detection and mitigation
US9942250B2 (en) 2014-08-06 2018-04-10 Norse Networks, Inc. Network appliance for dynamic protection from risky network activities
KR101587161B1 (ko) 2014-09-03 2016-01-20 한국전자통신연구원 실시간 네트워크 안티바이러스 수행 장치 및 방법
RU2589310C2 (ru) 2014-09-30 2016-07-10 Закрытое акционерное общество "Лаборатория Касперского" Система и способ расчета интервала повторного определения категорий сетевого ресурса
US20160110819A1 (en) 2014-10-21 2016-04-21 Marc Lauren Abramowitz Dynamic security rating for cyber insurance products
EP3222024A1 (en) 2014-11-21 2017-09-27 Bluvector, Inc. System and method for network data characterization
US10574675B2 (en) 2014-12-05 2020-02-25 T-Mobile Usa, Inc. Similarity search for discovering multiple vector attacks
US9367872B1 (en) 2014-12-22 2016-06-14 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive investigation of bad actor behavior based on automatic clustering of related data in various data structures
US9934376B1 (en) 2014-12-29 2018-04-03 Fireeye, Inc. Malware detection appliance architecture
US10230526B2 (en) 2014-12-31 2019-03-12 William Manning Out-of-band validation of domain name system records
US9712549B2 (en) 2015-01-08 2017-07-18 Imam Abdulrahman Bin Faisal University System, apparatus, and method for detecting home anomalies
US11328307B2 (en) 2015-02-24 2022-05-10 OpSec Online, Ltd. Brand abuse monitoring system with infringement detection engine and graphical user interface
EP3065076A1 (en) 2015-03-04 2016-09-07 Secure-Nok AS System and method for responding to a cyber-attack-related incident against an industrial control system
US9253208B1 (en) 2015-03-05 2016-02-02 AO Kaspersky Lab System and method for automated phishing detection rule evolution
US9769201B2 (en) 2015-03-06 2017-09-19 Radware, Ltd. System and method thereof for multi-tiered mitigation of cyber-attacks
US9712553B2 (en) 2015-03-27 2017-07-18 The Boeing Company System and method for developing a cyber-attack scenario
US10382484B2 (en) 2015-06-08 2019-08-13 Illusive Networks Ltd. Detecting attackers who target containerized clusters
US9917852B1 (en) 2015-06-29 2018-03-13 Palo Alto Networks, Inc. DGA behavior detection
EP3125147B1 (en) 2015-07-27 2020-06-03 Swisscom AG System and method for identifying a phishing website
US9456000B1 (en) 2015-08-06 2016-09-27 Palantir Technologies Inc. Systems, methods, user interfaces, and computer-readable media for investigating potential malicious communications
WO2017049045A1 (en) 2015-09-16 2017-03-23 RiskIQ, Inc. Using hash signatures of dom objects to identify website similarity
US10200382B2 (en) 2015-11-05 2019-02-05 Radware, Ltd. System and method for detecting abnormal traffic behavior using infinite decaying clusters
US9894036B2 (en) 2015-11-17 2018-02-13 Cyber Adapt, Inc. Cyber threat attenuation using multi-source threat data analysis
RU2622870C2 (ru) 2015-11-17 2017-06-20 Общество с ограниченной ответственностью "САЙТСЕКЬЮР" Система и способ оценки опасности веб-сайтов
CN106709777A (zh) 2015-11-18 2017-05-24 阿里巴巴集团控股有限公司 一种订单聚类方法及装置，以及反恶意信息的方法及装置
RU2613535C1 (ru) 2015-11-20 2017-03-16 Илья Самуилович Рабинович Способ обнаружения вредоносных программ и элементов
US10594710B2 (en) 2015-11-20 2020-03-17 Webroot Inc. Statistical analysis of network behavior using event vectors to identify behavioral anomalies using a composite score
EP3373179B1 (en) 2015-12-14 2019-08-07 Mitsubishi Electric Corporation Information processing device, information processing method, and information processing program
US9723344B1 (en) 2015-12-29 2017-08-01 Google Inc. Early detection of policy violating media
US11069370B2 (en) 2016-01-11 2021-07-20 University Of Tennessee Research Foundation Tampering detection and location identification of digital audio recordings
RU2628192C2 (ru) 2016-01-27 2017-08-15 Акционерное общество "Творческо-производственное объединение "Центральная киностудия детских и юношеских фильмов им. М. Горького" Устройство для семантической классификации и поиска в архивах оцифрованных киноматериалов
US9900338B2 (en) 2016-02-09 2018-02-20 International Business Machines Corporation Forecasting and classifying cyber-attacks using neural embeddings based on pattern of life data
WO2017147696A1 (en) 2016-02-29 2017-09-08 Troy Jacob Ronda Systems and methods for distributed identity verification
US10063572B2 (en) 2016-03-28 2018-08-28 Accenture Global Solutions Limited Antivirus signature distribution with distributed ledger
US10313382B2 (en) 2016-03-29 2019-06-04 The Mitre Corporation System and method for visualizing and analyzing cyber-attacks using a graph model
US10212145B2 (en) 2016-04-06 2019-02-19 Avaya Inc. Methods and systems for creating and exchanging a device specific blockchain for device authentication
US10178107B2 (en) 2016-04-06 2019-01-08 Cisco Technology, Inc. Detection of malicious domains using recurring patterns in domain names
RU2625050C1 (ru) 2016-04-25 2017-07-11 Акционерное общество "Лаборатория Касперского" Система и способ признания транзакций доверенными
US11223598B2 (en) 2016-05-03 2022-01-11 Nokia Of America Corporation Internet security
US10445393B2 (en) * 2016-05-31 2019-10-15 Bootstrap Collective LLC System and method of creating and processing semantic URL
RU2634211C1 (ru) 2016-07-06 2017-10-24 Общество с ограниченной ответственностью "Траст" Способ и система анализа протоколов взаимодействия вредоносных программ с центрами управления и выявления компьютерных атак
RU2636702C1 (ru) 2016-07-07 2017-11-27 Общество С Ограниченной Ответственностью "Яндекс" Способ и устройство для выбора сетевого ресурса в качестве источника содержимого для системы рекомендаций
US20180012144A1 (en) 2016-07-11 2018-01-11 Qualcomm Innovation Center, Inc. Incremental and speculative analysis of javascripts based on a multi-instance model for web security
CN106131016B (zh) 2016-07-13 2019-05-03 北京知道创宇信息技术有限公司 恶意url检测干预方法、系统及装置
US10212133B2 (en) * 2016-07-29 2019-02-19 ShieldX Networks, Inc. Accelerated pattern matching using pattern functions
WO2018025157A1 (en) 2016-07-31 2018-02-08 Cymmetria, Inc. Deploying deception campaigns using communication breadcrumbs
US10498761B2 (en) 2016-08-23 2019-12-03 Duo Security, Inc. Method for identifying phishing websites and hindering associated activity
US10313352B2 (en) 2016-10-26 2019-06-04 International Business Machines Corporation Phishing detection with machine learning
US10320810B1 (en) * 2016-10-31 2019-06-11 Palo Alto Networks, Inc. Mitigating communication and control attempts
WO2018095192A1 (zh) 2016-11-23 2018-05-31 腾讯科技（深圳）有限公司 网站攻击的检测和防护方法及系统
CN107135092B (zh) * 2017-03-15 2019-11-05 浙江工业大学 一种面向全局社交服务网的Web服务聚类方法
US10699207B2 (en) * 2017-05-18 2020-06-30 Sas Institute Inc. Analytic system based on multiple task learning with incomplete data
RU2670906C9 (ru) 2017-12-28 2018-12-12 Общество С Ограниченной Ответственностью "Центр Разработки И Внедрения Инновационных Технологий" Самонастраивающаяся интерактивная система, способ обмена сообщениями и/или звонками между пользователями различных веб-сайтов с использованием технологии клиент-сервер и считываемый компьютером носитель
RU2681699C1 (ru) 2018-02-13 2019-03-12 Общество с ограниченной ответственностью "Траст" Способ и сервер для поиска связанных сетевых ресурсов
RU2697925C1 (ru) 2018-07-12 2019-08-21 Акционерное Общество "Ремпаро" Гибридная автоматическая система управления доступом пользователей к информационным ресурсам в публичных компьютерных сетях
CN110532784A (zh) * 2019-09-04 2019-12-03 杭州安恒信息技术股份有限公司 一种暗链检测方法、装置、设备及计算机可读存储介质
CN111163053B (zh) * 2019-11-29 2022-05-03 深圳市任子行科技开发有限公司 一种恶意url检测方法及系统
BR102020003104A2 (pt) * 2020-02-13 2021-08-24 Samsung Eletrônica da Amazônia Ltda. Método para identificação e classificação de ponto de acesso baseado em http usando aprendizagem de máquina

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8521667B2 (en) * 2010-12-15 2013-08-27 Microsoft Corporation Detection and categorization of malicious URLs
US20160055490A1 (en) * 2013-04-11 2016-02-25 Brandshield Ltd. Device, system, and method of protecting brand names and domain names
CN103986731A (zh) * 2014-05-30 2014-08-13 北京奇虎科技有限公司 通过图片匹配来检测钓鱼网页的方法及装置
WO2019010182A1 (en) * 2017-07-06 2019-01-10 Pixm METHOD AND SYSTEM FOR DETECTING HOOKING
RU2676247C1 (ru) * 2018-01-17 2018-12-26 Общество С Ограниченной Ответственностью "Группа Айби" Способ и компьютерное устройство для кластеризации веб-ресурсов
CN108737423A (zh) * 2018-05-24 2018-11-02 国家计算机网络与信息安全管理中心 基于网页关键内容相似性分析的钓鱼网站发现方法及系统
RU2701040C1 (ru) * 2018-12-28 2019-09-24 Общество с ограниченной ответственностью "Траст" Способ и вычислительное устройство для информирования о вредоносных веб-ресурсах

Also Published As

Publication number Publication date
US20220019630A1 (en) 2022-01-20
US11475090B2 (en) 2022-10-18
NL2026283B1 (en) 2022-03-21

Similar Documents

Publication Publication Date Title
Ramesh et al. An efficacious method for detecting phishing webpages through target domain identification
US11799823B2 (en) Domain name classification systems and methods
CN110808968B (zh) 网络攻击检测方法、装置、电子设备和可读存储介质
US11956272B2 (en) Identifying legitimate websites to remove false positives from domain discovery analysis
CN103559235B (zh) 一种在线社交网络恶意网页检测识别方法
US10404731B2 (en) Method and device for detecting website attack
CN110602029B (zh) 一种用于识别网络攻击的方法和系统
US20150207811A1 (en) Vulnerability vector information analysis
RU2722693C1 (ru) Способ и система выявления инфраструктуры вредоносной программы или киберзлоумышленника
WO2021258838A1 (zh) 钓鱼网站的检测方法、装置、设备、计算机可读存储介质
CN105827594A (zh) 一种基于域名可读性及域名解析行为的可疑性检测方法
CN111104579A (zh) 一种公网资产的识别方法、装置及存储介质
NL2024002B1 (en) Method and computing device for informing about malicious web resources
Jain et al. Detection of phishing attacks in financial and e-banking websites using link and visual similarity relation
US10805377B2 (en) Client device tracking
Khan Detection of phishing websites using deep learning techniques
TK et al. Identifying sensitive data items within hadoop
RU2740856C1 (ru) Способ и система для идентификации кластеров аффилированных веб-сайтов
CN115001724A (zh) 网络威胁情报管理方法、装置、计算设备及计算机可读存储介质
Uwagbole et al. Applied web traffic analysis for numerical encoding of SQL injection attack features
Kent et al. Web adoption: an attempt toward classifying risky Internet web browsing behavior
KR102623432B1 (ko) 악성코드 메타 정보 수집 장치 및 방법
CN113486383B (zh) 一种前端元素的权限控制方法、装置、存储介质和设备
Vyawhare et al. Machine Learning System for Malicious Website Detection using Concept Drift Detection
Xu et al. Darknet Web URL Detection without URL Content Leakage