RU2786363C1 - Устройство безопасности, способ и система для непрерывной аутентификации - Google Patents

Abstract

Изобретение относится к вычислительному устройству безопасности для непрерывной аутентификации пользователя для доступа к контенту через второе вычислительное устройство. Техническим результатом является повышение безопасности непрерывной аутентификации за счет использования алгоритмов машинного обучения. Технический результат достигается тем, что вычислительное устройство безопасности для непрерывной аутентификации пользователя для доступа к контенту через второе вычислительное устройство выполнено с возможностью приема изображений экрана дисплея и периодических изображений пользователя со второго вычислительного устройства; осуществления семантической сегментации изображения пользователя с помощью полносверточной нейронной сети архитектуры U-Net; определения на изображении, полученном на предыдущем шаге, пользователя посредством использования искусственной сверточной нейронной сети; осуществления классификации полученного пользователя на изображении с использованием искусственной сверточной нейронной сети resnet-50; мониторинга цифровой и физической активности пользователя; выполнения непрерывной аутентификации пользователя на основе периодических изображений пользователя, экрана дисплея и вводимых пользователем данных. 6 з.п. ф-лы, 24 ил.

Description

ОБЛАСТЬ ТЕХНИКИ

[001] Настоящие варианты данного изобретения в общем относятся к устройствам, способам, системам для повышения безопасности и, в частности, к устройствам, способам, системам для повышения безопасности с использованием непрерывной аутентификации пользователя.

УРОВЕНЬ ТЕХНИКИ

[002] В настоящее время быстрое развитие технологий и массовое внедрение дешевых устройств, таких как планшеты и электронные считыватели с дисплеями высокой четкости, цифровые камеры, 3D-принтеры, 3D-сканеры, карты флэш-памяти большой емкости со встроенным Wi-Fi и т.д., а также широкая доступность Интернет-услуг поставили перед компаниями и отдельными лицами задачи по защите, сохранению и приумножению своей интеллектуальной собственности и интеллектуальных активов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[003] Технической задачей или технической проблемой, решаемой в данном техническом решении, является осуществление системы непрерывной аутентификации пользователя.

[004] Технической задачей, достигаемой при решении вышеуказанной технической проблемы, является повышение безопасности непрерывной аутентификации за счет использования алгоритмов машинного обучения.

[005] Указанный технический результат достигается благодаря осуществлению вычислительного устройства безопасности для непрерывной аутентификации, содержащего процессор; память; и соединитель для подключения вычислительного устройства безопасности ко второму вычислительному устройству, при этом второе вычислительное устройство сконфигурировано для периодического приема изображений пользователя с устройства захвата изображений, подключенного ко второму вычислительному устройству, и изображений экрана дисплея, связанного со вторым вычислительным устройством, причем процессор выполнен с возможностью выполнения инструкций, полученных из памяти вычислительного устройства безопасности, для обеспечения связи между вычислительным устройством безопасности и вторым вычислительным устройством; аутентификации пользователя для доступа к контенту через второе вычислительное устройство; приема изображений экрана дисплея и периодических изображений пользователя со второго вычислительного устройства, которое пользователь использует для доступа к контенту; осуществления семантической сегментации по меньшей мере одного изображения пользователя, полученного на предыдущем шаге, посредством отделения фона от исследуемого объекта с предполагаемым пользователем с помощью методов машинного обучения; определения на по меньшей мере одном изображении, полученном на предыдущем шаге, по меньшей мере одного пользователя посредством использования искусственной сверточной нейронной сети; осуществления классификации полученного по меньшей мере одного пользователя на по меньшей мере одном изображении посредством использования методов машинного обучения; получения после аутентификации пользователя от второго вычислительного устройства пользовательского ввода, вводимого с клавиатуры второго вычислительного устройства, пользовательского ввода, вводимого при доступе к контенту, изображениям и пользовательским вводам, используемым для мониторинга цифровой и физической активности пользователя и установки связи между цифровой и физической активностью пользователя; выполнения операций непрерывной аутентификации для подтверждения идентификации пользователя на основе периодических изображений пользователя, изображений экрана дисплея и вводимых пользователем данных; передачи пользовательского ввода с принятыми периодическими изображениями на сервер безопасности с использованием внеполосного канала для создания данных аудита цифровой и физической активности пользователя при доступе ко второму вычислительному устройству; причем когда аутентификация пользователя или любая из операций непрерывной аутентификации для проверки подлинности идентификации пользователя завершается неудачно, отправки сообщения от вычислительного устройства безопасности на второе вычислительное устройство, чтобы запретить пользователю использовать второе вычислительное устройство.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[006] Варианты осуществления можно лучше всего понять, обратившись к нижеследующему описанию вместе с прилагаемыми чертежами.

[007] Фиг. 1 иллюстрирует обеспечение безопасности доступа к компьютеру согласно одному варианту осуществления.

[008] Фиг. 2 иллюстрирует способ обеспечения безопасности, который включает в себя непрерывный мониторинг и аутентификацию пользователя, согласно одному варианту осуществления.

[009] Фиг. 3 иллюстрирует упрощенную архитектуру для реализации описанных здесь вариантов осуществления.

[0010] Фиг. 4А-4Б иллюстрируют примерную архитектуру безопасности, которая включает в себя внешнее устройство управления безопасностью, согласно одному варианту осуществления.

[0011] Фиг. 5 иллюстрирует работу внешнего устройства управления безопасностью согласно одному варианту осуществления.

[0012] Фиг. 6А-6Б иллюстрируют архитектуру для непрерывного мониторинга безопасности и обнаружения нарушений модели согласно одному варианту осуществления.

[0013] Фиг. 7 иллюстрирует процесс сбора, агрегирования и анализа данных согласно одному варианту осуществления.

[0014] Фиг. 8А-8С иллюстрируют непрерывную аутентификацию с использованием устройства доступа к сети согласно одному варианту осуществления.

[0015] Фиг. 9 иллюстрирует режим конфиденциальности согласно одному варианту осуществления.

[0016] Фиг. 10А-10С иллюстрируют интерфейсы, предоставляемые системой безопасности непрерывного мониторинга, согласно одному варианту осуществления.

[0017] Фиг. 11 иллюстрирует примерную архитектуру системы для обеспечения безопасности с использованием защищенного дисплея согласно одному варианту осуществления.

[0018] На Фиг. 12 показано компьютерное устройство безопасности согласно одному варианту осуществления.

[0019] На Фиг. 13 показан образец архитектуры внешнего устройства управления безопасностью согласно одному варианту осуществления.

[0020] Фиг. 14 иллюстрирует примерную архитектуру сервера безопасности согласно одному варианту осуществления.

[0021] На Фиг. 15А показана блок-схема, иллюстрирующая алгоритм защиты компьютерного устройства в соответствии с одним вариантом осуществления.

[0022] На Фиг. 15Б показана блок-схема, иллюстрирующая алгоритм защиты компьютерного устройства в соответствии с одним вариантом осуществления.

[0023] На Фиг. 15С показана блок-схема, иллюстрирующая алгоритм защиты доступа к сети в соответствии с одним вариантом осуществления.

[0024] На Фиг. 16 показана упрощенная схематическая диаграмма компьютерной системы для реализации вариантов осуществления настоящего раскрытия.

ПОДРОБНОЕ ОПИСАНИЕ

[0025] Описанные ниже варианты осуществления описывают устройства, способы, системы для защиты компьютерного устройства. В одном варианте осуществления внешнее устройство безопасности подключено к вычислительному устройству, чтобы защитить компьютерное устройство с использованием непрерывной аутентификации пользователя.

[0026] Будет очевидно, что настоящие варианты осуществления могут быть реализованы на практике без некоторых конкретных деталей. В других случаях хорошо известные технологические нюансы не были описаны подробно, чтобы излишне не затруднять понимание настоящих вариантов осуществления.

[0027] Фиг. 1 иллюстрирует обеспечение безопасности доступа к компьютеру согласно одному варианту осуществления. Во многих современных решениях безопасности пользователь проходит одну проверку 104 аутентификации, чтобы получить доступ 108 ко всем ресурсам компьютера, к которым пользователю разрешен доступ. Проверка аутентификации может состоять из одного или нескольких способов: ввести имя пользователя, пароль, использовать токен, ввести биометрические данные, такие как отпечаток пальца, распознавание лица или радужной оболочки глаза и т.д.

[0028] В одном варианте осуществления, если у пользователя есть имя или идентификатор входа в систему, но пользователь забыл или потерял свой пароль, также возможна операция 106 восстановления пароля, которая может включать отправку пользователю пароля по электронной почте, предоставление поддержки по телефону или некоторые другие методы аутентификации того, что пользователь является тем, кем он себя называет. Как только пользователь выходит из системы 110, доступ к ресурсам компьютера отменяется.

[0029] Проблема с этим подходом состоит в том, что после аутентификации пользователя больше не выполняется никаких проверок. Например, если пользователь входит в компьютерное устройство и оставляет компьютерное устройство без присмотра, другой пользователь может получить доступ к защищенным компьютерным ресурсам.

[0030] Фиг. 2 иллюстрирует способ обеспечения безопасности, который включает в себя непрерывный мониторинг и аутентификацию пользователя, согласно одному варианту осуществления. В одном варианте решения проблемы безопасности с единственной аутентификацией является добавление непрерывного мониторинга пользователя с биометрической аутентификацией.

[0031] Это означает, что после того, как пользователь входит в систему 204 и получает доступ 206, к процессу безопасного доступа добавляется новая операция 208. На этапе 208 периодически или непрерывно выполняется проверка, чтобы убедиться, что пользователь по-прежнему обращается к ресурсам компьютера и что этот пользователь является пользователем, которому был предоставлен доступ, а не кем-либо еще.

[0032] Если какая-либо из операций 210 непрерывного мониторинга завершается неудачно, то доступ к компьютеру прекращается 202, и пользователь должен войти в систему (например, снова пройти аутентификацию), прежде чем доступ будет предоставлен снова. Например, если пользователь отходит от компьютерного терминала, камера, подключенная к компьютерному терминалу, обнаруживает, что пользователь находится вдали от компьютерного терминала, и система безопасности отключает компьютерный терминал до тех пор, пока пользователь не вернется. Кроме того, если обнаружен другой пользователь, смотрящий на терминал, процесс безопасного доступа может отключить доступ компьютерного терминала, если второй пользователь не авторизован для доступа к ресурсам компьютера.

[0033] Однако непрерывный мониторинг с биометрической аутентификацией может быть сложной операцией, потому что некоторые пользователи очень мобильны и используют множество различных компьютерных устройств для получения доступа к компьютерным ресурсам через множество сетей. Например, пользователь может использовать настольный компьютер, ноутбук, планшет, смартфон, телевизор, кабельную приставку и т.д. Кроме того, по мере роста количества приложений места, где они находятся, постоянно меняются (например, из центра обработки данных компании в облако).

[0034] Кроме того, некоторые пользователи крадут данные, потому что они уверены, что их не поймают. Например, сотрудники, покидающие компанию, часто собирают как можно больше информации из этой компании, чтобы пользователи могли использовать эту информацию в новой компании. Однако, если пользователь знает, что его действия на компьютере записываются (например, к каким файлам осуществляется доступ, к какому количеству данных обращается сотрудник, операция сохранения данных на внешнем накопителе и т.д.), сотрудник неохотно выполняет злонамеренные операции или не выполняет их вовсе.

[0035] Кроме того, если данные украдены и контрольный журнал приводит к сотруднику, сотрудник может сказать, что его логин или идентификационные данные были украдены. Однако сотрудник не может использовать это оправдание, если делаются снимки, когда сотрудник выполняет несанкционированные операции.

[0036] Непрерывный мониторинг с контрольным журналом также может использоваться для регистрации открытий и способов создания интеллектуальной собственности в компании. Например, если у пользователя есть хорошая идея, контрольный журнал покажет, когда идея была задумана. Если пользователь покидает компанию и решает использовать эту идею для себя, у компании есть контрольный журнал, который можно использовать, чтобы доказать, что идея является интеллектуальной собственностью компании.

[0037] В одном варианте осуществления непрерывный мониторинг требует ввода биометрических данных, чтобы гарантировать, что пользователь является пользователем, которому предоставлен доступ. Представленные здесь варианты осуществления могут использовать различные биометрические сигналы, такие как распознавание лица, распознавание отпечатков пальцев, распознавание радужной оболочки, тенденции ввода с клавиатуры, распознавание образов кожи (например, с использованием браслета) и т.д. В одном варианте осуществления может быть использовано несколько биометрических показателей.

[0038] В другом варианте осуществления биометрический сигнал также может быть привязан к пользовательскому вводу или к пользовательской транзакции. Например, каждый раз, когда пользователь открывает файл, создается изображение пользователя и добавляется в журнал, который определяет, когда файл был открыт. Это служит контрольным журналом для действий пользователя.

[0039] Фиг. 3 иллюстрирует упрощенную архитектуру для реализации описанных здесь вариантов осуществления. Один вариант осуществления аналогичен «регистратору полетных данных черного ящика» в самолете. Система аутентификации имеет возможность идентифицировать компонент дисплея и монитор компьютера как доверенное устройство. Затем данное доверие объединяется с пользователем, который находится перед устройством отображения, путем физической идентификации и аутентификации пользователя. Для физической аутентификации пользователя могут использоваться различные биометрические датчики, такие как камеры для распознавания лиц, распознавания IRIS, отпечатков пальцев, датчик температуры, датчик веса, сигнал электроэнцефалографии (ЭЭГ) через мозговой компьютерный интерфейс и ДНК и т.д. В одном варианте осуществления данные датчиков постоянно передается и проверяется через интерфейс побочного канала (SCI), который взаимодействует с центрально расположенным реестром аутентификации. В другом варианте осуществления данные датчика передаются через заранее определенные интервалы или периоды времени.

[0040] В одном варианте осуществления биометрическая идентификация пользователя связана с централизованно доступной системой аутентификации, которая использует имя пользователя и пароль или любые другие дополнительные данные, такие как информация о физическом местоположении, время и дата и т.д. При аутентификации используется несколько частей информации, для установления физического присутствия пользователя, интегрированного с доверенным дисплеем и компьютером. Доверенное (например, защищенное) устройство отображения является как первой, так и последней точкой интерфейса для пользователя, и любая защищенная информация и услуги защищены и доступны для использования авторизованным пользователем.

[0041] В одном варианте осуществления пользователь постоянно аутентифицируется на протяжении всего сеанса на основе физического присутствия и использования сигналов данных от множества датчиков, интегрированных с дисплеем, таких как камеры, микрофоны, динамики, ИК-детекторы, термометры, датчики приближения. В одном варианте осуществления используются дополнительные входные данные от других внешних датчиков, таких как датчики давления, датчики веса, камеры наблюдения в непосредственной близости от защищенного монитора перед пользователем, IP-адреса, МАС-адреса, данные физического местоположения и т.д., чтобы повысить точность системы.

[0042] Фиг. 4А иллюстрирует примерную архитектуру безопасности для реализации вариантов осуществления, представленных в данном документе, согласно одному варианту осуществления. Варианты осуществления раскрытия обращаются к человеческому фактору, связанному с проблемами управления IPR, чтобы обеспечить непрерывную систему аутентификации и мониторинга. Варианты реализации исключают «возможность», сводят на нет «рационализацию» и создают отрицательную рентабельность инвестиций для «стимула / давления», чтобы поощрять и формировать «привычку» к хорошему поведению граждан.

[0043] Помимо управления защитой IPR, представленные здесь варианты осуществления безопасности могут использоваться для приложений в отслеживании и оптимизации рабочего процесса, производстве, тестировании, обеспечении качества, платежных системах и приложениях DRM. Варианты осуществления предотвращают копирование или неправомерное использование информации, отображаемой на любом мониторе, за счет использования технологии непрерывной контекстно-зависимой интеллектуальной обработки действий. В одном варианте осуществления каждый пользователь в зоне видимости монитора постоянно контролируется и аутентифицируется.

[0044] В примерном варианте осуществления защищенный дисплейный монитор 302 включает в себя интегральную схему (IC) 402 управления безопасностью, которая взаимодействует с другими модулями в пределах дисплея 302. Дисплей дополнительно включает в себя панель дисплея (например, ЖК-дисплей) IC 404, которая приводит в действие панель дисплея 410, буферная память 406 дисплея для хранения данных пикселей, которые должны отображаться на ЖК-дисплее 404, сетевой интерфейс 408 боковой полосы и один или несколько датчиков 416.

[0045] Интегральная схема 402 управления безопасностью совместно использует канал связи с главным компьютером с ИС панели дисплея. Эта ссылка обеспечивает данные, которые должны отображаться на мониторе, и может использовать один или несколько различных протоколов, таких как HDMI, DVI, DP и т.Д. Кроме того, ИС 402 управления безопасностью использует сетевой интерфейс 408 боковой полосы для связи с удаленной системой безопасности, сервер, не полагаясь на сетевые ресурсы хоста. Сетевой интерфейс 408 боковой полосы может использовать один или несколько протоколов связи, выбранных из группы, состоящей из USB, последовательного порта, Ethernet, WiFi, Bluetooth, GPRS, любого протокола мобильной связи и т.Д.

[0046] Датчики 416, интегрированные в дисплей, могут включать в себя один или несколько из инфракрасного датчика, датчика изображения, датчика приближения, биометрического датчика (например, отпечатка пальца, распознавания глаз и т.д.), мозгового компьютерного интерфейса (BCI) со встроенным NFC, RFID, магнитного устройства считывания карт, микрофона, динамика и т.д. В одном варианте осуществления датчики 416 отслеживают связь рядом с монитором, такую как связь с использованием мобильного телефона 412 или смарт-карты 414, используемой пользователем 302.

[0047] Следует отметить, что варианты осуществления, показанные на Фиг. 4А являются примерными. В других вариантах осуществления могут использоваться различные датчики, дополнительные модули или объединить функциональные возможности двух или более модулей в один модуль. Варианты осуществления, показанные на Фиг. 4А, следовательно, не следует интерпретировать как исключительную или ограничивающую, а скорее как иллюстративную реализацию.

[0048] Фиг. 4В иллюстрирует примерную архитектуру безопасности, которая включает в себя внешнее устройство управления безопасностью, согласно одному варианту осуществления. В одном варианте осуществления внешнее устройство 430 управления безопасностью (SCED) предоставляется для выполнения операций безопасности. SCED 430 подключается к устройству безопасности, чтобы обеспечить выполнение процедур безопасности для доступа к ресурсам компьютера. SCED 430 может быть связан с любым вычислительным устройством, таким как персональный компьютер, дисплей, портативный компьютер, терминал, мобильный телефон, планшет и т.д. В одном варианте осуществления SCED представляет собой небольшое устройство, которое может переноситься пользователем, а затем подключаться к компьютеру, когда требуется защищенный доступ к компьютеру.

[0049] В одном варианте осуществления SCED подключается к вычислительному устройству через проводное соединение, такое как USB, последовательное соединение, параллельное соединение, телефонный интерфейс, порт HDMI, видеопорт, аудиопорт и т.д. В другом варианте осуществления SCED подключается к вычислительному устройству через беспроводное соединение, такое как Bluetooth, RFID, 802.11 WiFi, NFC и т.д. В другом варианте осуществления SCED может быть подключен либо через проводное, либо через беспроводное соединение.

[0050] В еще одном варианте осуществления SCED может быть виртуализирован и выполняться удаленно в сети. Например, SCED может быть реализован виртуальной машиной, работающей на гипервизоре.

[0051] В одном варианте осуществления, где для наблюдения за пользователем используется распознавание лиц, SCED взаимодействует с камерой в компьютерном устройстве для получения изображений пользователя, чтобы обеспечить требуемый непрерывный мониторинг. В другом варианте осуществления SCED включает камеру, которая может использоваться для распознавания лиц. Например, SCED может быть подключен к USB-разъему на дисплее, чтобы делать изображения пользователя, взаимодействующего с дисплеем. В этом варианте осуществления SCED включает в себя логику, гарантирующую, что используемый порт USB является портом USB, предусмотренным на дисплее, чтобы избежать вмешательства в систему, когда злоумышленник может подключить SCED к другому порту USB, чтобы подделать личность пользователя, взаимодействующего с дисплеем.

[0052] Также отмечается, что SCED может взаимодействовать не только с камерой и компьютерным устройством, но и с любым другим типом биометрического устройства ввода, таким как распознавание кожи, распознавание радужной оболочки, мониторинг сердцебиения, мониторинг походки и т.д.

[0053] Следует отметить, что варианты осуществления, показанные на Фиг. 4А-4В являются примерными. Другие варианты осуществления могут использовать другие компоненты или опускать некоторые компоненты, объединять функциональные возможности нескольких компонентов и т.д. Варианты осуществления, проиллюстрированные на Фиг. 4А-4В поэтому не следует интерпретировать как исключительные или ограничивающие, а скорее как иллюстративные варианты реализации.

[0054] Фиг. 5 иллюстрирует работу внешнего устройства управления безопасностью согласно одному варианту осуществления. SCED 430 - портативное устройство, обеспечивающее непрерывную аутентификацию. В одном варианте осуществления SCED измеряет и отслеживает все действия пользователя при доступе к защищенным компьютерным устройствам. В одном варианте осуществления SCED включает в себя постоянное хранилище и хранит все или некоторые данные безопасности на SCED. Кроме того, SCED может также передавать данные безопасности в удаленную безопасную службу для хранения.

[0055] SCED, обеспечивающий непрерывную аутентификацию, является сдерживающим фактором для злонамеренных действий, а собранная информация о безопасности обеспечивает контрольный журнал для дальнейшего использования, в дополнение к генерации мгновенных предупреждений и производительности аналитики собранных данных.

[0056] В одном варианте осуществления SCED обеспечивает канал связи побочного канала для защищенного сервера. SCED измеряет и отслеживает цифровую и физическую активность (например, присутствие, движения и т.д.) И устанавливает связь между цифровой и физической активностью пользователя. В другом варианте осуществления SCED использует тот же сетевой канал связи, что и компьютерное устройство.

[0057] В одном варианте SCED используется для разделения личной и «корпоративной» деятельности. Когда пользователь использует компьютерное устройство без SCED, пользователь может выполнять частные действия без какого-либо риска быть контролируемым. Кроме того, пока пользователь работает без SCED, защищенные ресурсы компании недоступны для пользователя.

[0058] В одном варианте осуществления SCED имеет собственный источник питания, который позволяет SCED осуществлять беспроводную связь с компьютерным устройством без необходимости подключения SCED к компьютерному устройству. Однако это может вызвать проблемы со сроком службы батареи SCED, и пользователь должен будет убедиться, что SCED всегда заряжен, чтобы быть готовым к работе. Когда SCED подключен к USB, SCED может получать питание через USB-соединение, и проблема с временем автономной работы устраняется.

[0059] В одном варианте осуществления SCED включает в себя дисплей, который может быть сенсорным или обычным дисплеем без чувствительности к касанию. В другом варианте SCED не включает дисплей.

[0060] Сенсорный экран позволяет пользователю вводить данные в SCED. Например, пользователь может ввести пароль для разблокировки SCED или для отправки в удаленное место для аутентификации. В этом случае на сенсорном экране может быть представлена клавиатура, позволяющая пользователю вводить буквенно-цифровые символы.

[0061] Сенсорный экран также может использоваться для входа в безопасный режим, используемый администраторами для установки и настройки SCED. В одном варианте осуществления дисплей также используется для предоставления пользователю информации об использовании. Например, SCED может предоставлять информацию о количестве времени, в течение которого пользователь имел защищенный аутентифицированный доступ, количестве времени, в течение которого пользователь находился в режиме частного доступа, статистике о количестве времени, отработанном пользователем, и т.д.

[0062] Следует отметить, что варианты осуществления, показанные на Фиг. 5 являются образцовыми. В других вариантах осуществления могут использоваться другие устройства, конфигурации, соединения и т.д.

[0063] Фиг. 6А-6В иллюстрируют архитектуру для непрерывного мониторинга безопасности и обнаружения нарушений модели согласно одному варианту осуществления. Фиг. 6А определяет процесс обеспечения безопасности на высоком уровне. На этапе 602 администратор определяет предупреждения и сигналы, которые будут захвачены для реализации безопасности.

[0064] В одном варианте осуществления сигнал определяется как любое событие, которое обозначает действие, которое генерирует новые данные или указание некоторой активности пользователя. В данном контексте сигнал также может называться событием. Например, сигнал может генерироваться, когда пользователь копирует данные на запоминающее устройство, подключенное к USB-порту.

[0065] Из определенных предупреждений и сигналов определяется 604 политика безопасности, которая включает параметры для реализации процессов безопасности, такие как методы аутентификации, частота аутентификации, действия, разрешенные для каждого пользователя, режимы доступа, разрешенные для каждого пользователя и т.д.

[0066] После определения политики безопасности создаются правила 606 для реализации политики безопасности. Правила могут быть реализованы на защищенном сервере, а также на удаленном вычислительном устройстве. Например, правило для пользователя может определять, что изображения пользователя должны сниматься каждые пять секунд вместе со снимками экрана дисплея.

[0067] Данные 610 могут быть захвачены для любой цифровой или физической активности пользователя, такой как вводы мыши, аудиовходы, обновления дисплея, снимки экрана, используемое внешнее устройство (например, подключение флэш-накопителя), биометрические сигналы пользователя, (лицо, радужная оболочка, отпечатки пальцев, сердцебиение, температура, вес, шаблоны инструкций и т.д.), местоположение пользователя (например, данные GPS), временные метки и т.д.

[0068] Данные хранятся в базе данных 608, которая доступна для поиска 612 администратором безопасности. В одном варианте пользователю также предоставляется ограниченная возможность поиска. Например, пользователь, возможно, потерял некоторые данные и может вернуться во времени и найти данные в защищенной базе данных.

[0069] Кроме того, данные также могут использоваться для выполнения аналитики 614 для обнаружения определенных условий безопасности, которые могут создавать предупреждения. Аналитика может выполняться «на лету» в режиме реального времени или на основе исторических данных. Например, после обнаружения нарушения безопасности администратор может вернуться и выполнить поиск в то время, которое связано с нарушением безопасности.

[0070] Фиг. 6В иллюстрирует примерную архитектуру системы безопасности согласно одному варианту осуществления. Менеджер 630 концентратора предупреждений предоставляет интерфейсы для создания и уточнения политики безопасности и предупреждений безопасности. Например, диспетчер предупреждений может включать в себя настраиваемый рабочий процесс, поиск по графу, текстовый поиск, категоризацию данных, классификацию данных и т.Д.

[0071] Хранилище 632 данных включает в себя несколько типов данных, таких как необработанные данные, относящиеся к использованию компьютера (например, изображения, входные данные, снимки экрана и т.д.), «очищенные» данные (например, данные, полученные в результате фильтрации необработанных данных в соответствии с некоторыми критерии), схему предупреждений (например, события, определенные в политике безопасности, которые создают предупреждения для администратора) и результаты моделирования после применения модели к данным. Схема предупреждений может идентифицировать потенциальные угрозы безопасности, такие как доступ пользователя к конфиденциальным документам, которые включают такие слова, как «проприетарный» или «конфиденциальный».

[0072] Пользовательские данные 636 (например, данные, созданные или доступные пользователю) сохраняются в необработанном хранилище 644. Необработанные данные анализируются посредством процесса извлечения / преобразования / загрузки (ETL) для нормализации наборов данных и сохранения нормализованных данных, как очищенные данные 646. Нормализация означает применение правил к данным для сохранения данных в стандартном формате. В одном варианте осуществления процесс ETL извлекает информацию из необработанных данных, например, путем выполнения оптического распознавания символов (OCR) на снимке экрана. Кроме того, данные могут быть помечены тегами, добавляя теги, относящиеся к содержанию данных. Например, часть данных может быть помечена как «открытый файл», когда пользователь выполняет любую операцию на компьютерном устройстве, которая требует открытия нового файла данных. В одном варианте осуществления метки времени включаются в тегированные данные.

[0073] После того, как данные были нормализованы (например, «очищены»), модуль 640 выполнения и обнаружения предупреждений создает схему 648 предупреждений, применяя правила безопасности, определенные в политике безопасности, к очищенным данным. Например, схема предупреждений может обнаруживать, что пользователь получил доступ к защищенным данным в нерабочее время, что может или не может генерировать предупреждение, в зависимости от функции пользователя и типа доступа к данным.

[0074] После того, как схемы предупреждений были созданы, модель безопасности применяется к данным и схеме для генерации результатов 650 модели. В одном варианте осуществления результаты 650 модели идентифицируют поведение пользователя, которое отклоняется от нормы, что определяется путем применения правил безопасности и совершенствования правил безопасности с течением времени. Например, модуль 642 выполнения модели и оценки может обнаруживать, что пользователь получил доступ за одну неделю, в 50 раз превышающий объем данных, к которым пользователь регулярно обращается в течение периода тестирования (например, один год). Это может быть признаком того, что пользователь готов покинуть компанию и украсть как можно больше данных компании.

[0075] Многие сигналы могут быть извлечены из данных, и выполнение модели позволяет системе идентифицировать критические с точки зрения безопасности события среди всех собранных данных. В одном варианте осуществления самообучающийся машинный алгоритм используется для уточнения модели безопасности и политик безопасности. Например, после наблюдения за действиями пользователя в течение шести месяцев модель определяет, каковы «нормальные» рабочие параметры пользователя, такие как часы работы, количество файлов, к которым осуществляется доступ в день, доступ к каталогам, количество страниц, распечатываемых в неделю и т.д. Идентифицируя обычную процедуру пользователя, механизм модели может обнаруживать, когда действия пользователя выходят за рамки модели, что может вызвать дополнительную проверку активности пользователя.

[0076] В одном варианте осуществления данные в хранилище 632 данных могут использоваться для нотариально заверенных действий пользователя и компании. Например, компания может доказать, что пользователь приобрел какое-то оборудование или когда пользователь отправил критическое по дате электронное письмо в другую компанию и т.д., предоставив подробную информацию, которая включает изображения пользователя, временную метку, снимки экрана и т.д., при необходимости компания может подтвердить действия, совершенные пользователем.

[0077] Фиг. 7 иллюстрирует процесс сбора, агрегирования и анализа данных согласно одному варианту осуществления. Фиг. 7 показывает поток информации при применении модели безопасности. Данные 702 взаимодействия с пользователем предоставляются в базу данных 710, в которой хранятся данные, и также используются механизмом 704 ETL. Как обсуждалось выше, механизм 704 ETL выполняет агрегирование данных, консолидацию и определение отношений (например, графиков) для данных.

[0078] На этапе 706 семантическое извлечение (например, извлечение значения) выполняется путем анализа действий пользователя, вводимых данных, слов, событий, операций (например, сохранения на USB-накопитель, вырезания и вставки данных, электронной почты и файла) и т.д.

[0079] На этапе 708 генерация схемы создает теги, идентифицирует критически важные для безопасности данные и т.д., а также генерирует предупреждения на основе модели безопасности. Механизм построения графиков, поиска, аналитики и отчетов предоставляет данные о безопасности для администратора. Например, система безопасности может идентифицировать пользовательские шаблоны и поведение, а также время, когда поведение выходит за рамки модели безопасности. В этом случае для администратора создается предупреждение, указывающее на необычное или небезопасное поведение.

[0080] В одном варианте осуществления также могут быть созданы графики и диаграммы. Например, можно создать гистограмму активности пользователя, которая показывает пики активности, выходящие за рамки модели. Механизм безопасности также определяет, где пользователь выпал за пределы модели, включая связанные данные, такие как изображения пользователя, снимки экрана, доступ к данным, объем доступа к данным и т.д.

[0081] В одном варианте осуществления информация может быть скомпилирована в отчет, представляемый администратору, но также возможны другие формы уведомления. Например, система может отправить электронное письмо, текстовое сообщение, голосовое сообщение, изображение, страницу, открыть окно на консоли администратора и т.Д.

[0082] В одном варианте осуществления пользователь также может быть уведомлен о том, что пользователь активировал предупреждение системы безопасности, например, когда пользователь обращается к конфиденциальному файлу. Как только пользователь будет уведомлен, он может связаться с администратором, чтобы объяснить идентифицированное предупреждение безопасности.

[0083] Создание правил и политики безопасности также позволяет создавать исключения для одного или нескольких пользователей. Например, для пользователей, которые собирают ежемесячные данные, может быть создано исключение, которое относится к большому объему доступа к данным в начале или в конце данного месяца. Другое исключение может быть связано с изменением задания пользователем, что будет означать, что пользователь будет обращаться к различным типам файлов, а также увеличить активность по сравнению с нормой, определенной моделью, из-за нового задания.

[0084] Следует отметить, что варианты осуществления, показанные на Фиг. 7 являются образцовыми. В других вариантах осуществления могут использоваться другие элементы, разные операции, разные способы поиска или анализа данных и т.д.

[0085] Фиг. 8А-8С иллюстрируют непрерывную аутентификацию с использованием устройства доступа к сети согласно одному варианту осуществления. В одном варианте осуществления компьютерное устройство получает доступ к защищенным ресурсам через устройство 808 доступа к сети. Устройство 808 доступа к сети обеспечивает дополнительный уровень управления доступом пользователя, поскольку устройство доступа к сети позволяет системе отключать доступ, запрещая пользователю использовать устройство 808 доступа к сети.

[0086] В одном варианте осуществления доступ пользователя к защищенным ресурсам выполняется за 2 операции. В первой операции пользователь входит в систему (например, проходит аутентификацию) для использования защищенных ресурсов. В одном варианте осуществления система 804 безопасности доступа пользователей, которая обеспечивает требуемую аутентификацию с использованием вычислительного устройства 802 и присоединенного SCED 430, как описано ранее.

[0087] После того, как пользователь прошел аутентификацию, пользователь затем входит в систему, чтобы получить разрешение на доступ к устройству 808 доступа к сети. Устройство доступа к сети действует как шлюз для доступа к защищенным ресурсам. Если в любой момент происходит нарушение безопасности, устройство доступа к сети может отключить доступ к защищенным ресурсам. Например, если непрерывный мониторинг и аутентификация терпят неудачу в определенный момент времени, сервер 806 предприятия может дать команду устройству 808 доступа к сети отключить доступ для пользователя.

[0088] Используемый здесь термин «непрерывный мониторинг» относится к многократному тестированию и проверке аутентификации пользователя. Например, непрерывный мониторинг может относиться к взятию периодических образцов (например, каждые полсекунды) изображения пользователя или может относиться к фактическому выполнению непрерывных измерений, таких как частота сердечных сокращений пользователя. Иногда частота выборки данных может варьироваться, но это все равно считается непрерывным мониторингом, если не указано иное. Кроме того, как здесь используется, компьютерное устройство имеет «привязку» к удаленным защищенным ресурсам до тех пор, пока компьютерное устройство и пользователь, использующий его, аутентифицируются защищенной системой. Когда пользователь теряет аутентификацию, считается, что привязка разорвана.

[0089] Изображения могут быть представлены в виде изображения (jpg, png, tiff и другие графические форматы), видео (avi, mpg, mov, mkv и другие видеоформаты), 3D фото, 3D видео, 3D моделей (obj, max, dwg и т.д.). Описанные выше форматы отражают какое минимум программное обеспечение, предназначенное для работы с упомянутыми выше данными (создание, модификация и т.д.).

[0090] В одном из вариантов реализации данные одного типа могут быть конвертированы в данные другого вида (видео - в совокупность изображений и наоборот, 3D объект - в изображение проекций упомянутого объекта и наоборот, и т.д.).

[0091] Камера(-ы) может(-ут) быть предоставлена(-ы) в виде цифровой камеры, сконфигурированной для получения неподвижных изображений и движущихся изображений (например, видео). Камера может включать в себя объектив и один или более датчиков изображения, сконфигурированных для захвата и преобразования света в электрические сигналы. Исключительно в порядке примера, датчик изображения может включать в себя датчик изображения на основе КМОП (например, датчик с активными пикселями (APS) на основе КМОП) или датчик на основе ПЗС (прибор с зарядовой связью). В общем случае, датчик изображения в камере включает в себя интегральную схему, имеющую матрицу пикселей, в которой каждый пиксель включает в себя фотодетектор, улавливающий свет. Специалистам в данной области техники очевидно, что фотодетекторы в пикселях формирования изображения, в общем случае, регистрируют интенсивность света, улавливаемого через линзы камеры. Однако фотодетекторы, сами по себе, в общем случае, не способны регистрировать длину волны захваченного света и, таким образом, не способны определять информацию цвета.

[0092] Искомое изображение кодируется, например, в base64 представление и отправляется на backend-сервер, где попадает в процесс предобработки. В некоторых вариантах реализации может осуществляться стабилизация изображения, шумоподавление, улучшение цвета и удаление не влияющих на модель артефактов на коже (родинки, татуировки и т.д.).

[0093] Под обработкой изображения могут пониматься различные этапы обработки изображений, например, операции обнаружения/коррекции дефектных пикселей, коррекции затенения объектива, демозаики и повышения резкости изображения, шумопонижения, гамма-коррекции, улучшения изображения, преобразования цветового пространства, сжатия изображения, цветовой субдискретизации и масштабирования изображение, и т.д. В некоторых вариантах осуществления может использоваться "конвейер" обработки изображений для осуществления каждого из различных этапов обработки изображений. Данный конвейер может состоять из набора компонент, согласно каждому необходимому этапу, причем компоненты можно реализовать с использованием оборудования (например, процессоров цифрового сигнала или ASIC) или программного обеспечения, или посредством комбинации аппаратных и программных компонентов.

[0094] Прежде чем продолжить, следует отметить, что хотя различные варианты осуществления различных методов обработки изображений, рассмотренных ниже, могут использовать байесовскую CFA, описанное здесь изобретение не подлежит ограничению, в связи с этим. Действительно, специалистам в данной области техники очевидно, что представленные здесь методы обработки изображений можно применять к любому типу матрицы цветовых фильтров, включающих в себя фильтры RGBW, фильтры CYGM и т.д.

[0095] В других вариантах реализации могут использоваться бинарные изображения. Одно изображение может иметь засветы, шумы и т.д., в результате искусственной нейронной сети трудно правильно определить есть ли пользователь на изображении или нет. В связи с этим в некоторых вариантах реализации направляют набор изображений, например, в виде видеопоследовательности. Видеоряд позволяет выбрать наиболее подходящее для диагностики изображение. В некоторых вариантах реализации для выбора изображений может использоваться способ "key-frame detection" (ключевые кадры). При раскадровке видео на множество изображений, определяются локальные минимумы движения камеры, и этот кадр будет использоваться для классификации пользователя и определения пользователя на изображении.

[0096] Затем осуществляют семантическую сегментацию по меньшей мере одного изображения предполагаемого пользователя, полученного на предыдущем шаге, посредством отделения фона от исследуемого объекта с помощью искусственной нейронной сети.

[0097] На данном шаге изображение попадает в процесс семантической сегментации, в котором осуществляется отделение фона от исследуемого объекта (например, ноги) с помощью искусственной нейронной сети. Семантическая сегментация изображения означает присвоение каждому пикселю определенной метки. В этом заключается главное отличие от классификации, где всему изображению ставится в соответствие только одна метка. Сегментация работает со множеством объектов одного класса как с единым целым. На данном этапе отделяют фон в искомом изображении, (вместо фона оставляют, например, белую область), оставляют только сам объект исследования, и это изображение используют для классификации и детекции пользователя. Сам пользователь помещается в отдельную ограничивающую рамку. Удаление фона осуществляется посредством использования искусственной нейронной сети по алгоритмам, известным из уровня техники. В качестве примера реализации могут использоваться, не ограничиваясь, следующие модели: FCN, Unet и Tiramisu, который представляют из себя глубокие архитектуры типа «кодировщик-декодер». Удаление фона на изображениииспользуется для уменьшения отвлекающих факторов для моделей машинного обучения на последующих этапах работы технического решения, и как следствие, увеличения точности определения.

[0098] В конкретном примере реализации используется полносверточная сеть(англ. «Fully Convolutional Network)), сокр. FCN). FCN может использоваться для первоначального преобразования входного изображения для отделения фона через серию сверток. Такой набор сверточных операций обычно называется кодировщик. Затем выход декодируется или через билинейную интерполяцию, или через серию транспонированных сверток, который носит название декодер.

[0099] В то же время архитектура U-Net представляет из себя улучшение простой FCN архитектуры. Сеть skip-связи между выходами с блоков свертки и соответствующими им входами блока транспонированной свертки на том же уровне. Skip-связи позволяют градиентам лучше распространяться и предоставлять информацию с различных масштабов размера изображения. Информация с больших масштабов (верхние слои) может помочь модели лучше классифицировать. В то время как информация с меньших масштабов (глубокие слои) помогает модели лучше сегментировать.

[00100] Результатом семантической сегментации, является выделенный исследуемый объект тела человека с белой областью вместо фона. Если модель семантической сегментации не может отделить объект от фона, используется искомое изображение с фоном для последующего использования в процессе обработки вместо изображения без фона. Если модель не смогла определить и удалить фон, чтобы не возвращать пользователю результат с ошибкой, для последующих этапов работы технического решения используется исходное изображение. В этом случае, точность определения незначительно снижается, но пользователь все равно получает итоговый результат.

[00101] На следующем этапе шаги технического решения могут выполняться асинхронно.

[00102] Далее определяет на по меньшей мере одном изображении, полученном на предыдущем шаге, по меньшей мере одного пользователя посредством использования искусственной сверточной нейронной сети.

[00103] После выполненной предобработки изображение без фона попадает в процесс классификации, который определяет класс пользователя на изображении и возвращает результат в строковом представлении.

[00104] Затем изображение без фона попадает в модуль обнаружения конкретных участков пользователя на объекте. Результатом работы данного модуля являются координаты охватывающих рамок, выделяющих участки с пользователем на объекте. На финальном изображении формируются не все рамки, а те, у которых вероятность выше, чем пороговое значение (которое в конкретном варианте реализации равно 0.15). В различных вариантах реализации выделение рамкой может иметь квадратную, круглую, прямоугольную и так далее форму. Пример координаты может быть показан в следующем виде:

[00105] "boundingBox":{"probability":0.013799238,"tagName":"user1234",",boundingBox":{"left":0.573702335,"top":0.107970059,"width":0.426287651,"height":0.33 5159123}}

[00106] Формирование рамки, охватывающей пользователя, осуществляется следующим образом. Искусственная нейронная сеть возвращает список ограничивающих параллелепипедов (англ. Bounding Box, сокр. ВВох), которые потом накладываются на изображение с пользователем. У каждого ограничивающего параллелепипеда есть вероятность и пороговое значение, например, равное 0.15. Вероятностью считается уверенность искусственной нейронной сети в том, что она действительно верно определила пользователя на изображении. Если данная вероятность выше порогового значения, то отрисовывают охватывающую рамку на изображении. В конечном итоге формируют только те рамки, вероятность которых выше порогового значения. В конкретном варианте реализации используют для обучения те же изображения, что и для классификации.

[00107] Затем осуществляют классификацию полученного по меньшей мере одной пользователя на по меньшей мере одном изображении посредством использования искусственной нейронной сети.

[00108] В некоторых вариантах реализации отмечают прямо на изображении имя или характеристики пользователя. Для решения задачи классификации в конкретном варианте реализации используется искусственная сверточная нейронная сеть (сокр. CNN) resnet-50 с использованием фреймворка fast.ai. В других вариантах реализации могут использоваться нейронные сети AlexNet или VGG16. Для обучения модели искусственной нейронной сети в конкретном примере реализации использовали 32000 изображений пользователей, различного класса.

[00109] Для обучения искусственной нейронной сети в конкретном варианте реализации использовали изображения разрешением 448×448 пикселей.

[00110] Результат классификации может быть отображен на данном шаге в следующем виде: {

[00111] "predictionld": "9c25940f-519a-4da9-8346-344baa216e2c",

[00112] "created": "2020-02-23T09:14:47.582Z",

[00113] "predictions":

[00114] "probability": 0.94449383,

[00115] "tagName": "C1"

[00116] "probability": 0.05550565,

[00117] "tagName": "C2-C3"

[00118] "image": "<Base64 image>", где

[00119] [0069] "predictions" - результат классификации;

[00120] [0070] "image" - результат определения пользователя, т.е. исходное изображение с наложенными на него охватывающими рамками;

[00121] [0071] predictionld - уникальный идентификатор операции;

[00122] [0072] created - дата создания операции;

[00123] [0073] tagName - имя класса;

[00124] probability - вероятность, что на изображении находится пользователь класса tagName.

[00125] В конкретном примере реализации набор данных был размечен инженерами с помощью программного обеспечения Azure Cognitive Services. В некоторых вариантах реализации для решения данной задачи может использоваться сверточная нейронная сеть с архитектурой под названием YOLOv3.

[00126] Фиг. 8В иллюстрирует архитектуру для доступа к защищенным ресурсам с помощью устройства 808 доступа к сети согласно одному варианту осуществления. Пользователь, желающий получить доступ через вычислительное устройство к серверам 822 в интрасети 824 компании, подключает SCED 430 к вычислительному устройству 802, а затем выполняет аутентификацию / вход на сервер 804 безопасности. Пользователь подключается к устройству 808 доступа к сети через Интернет 820 или через другую сеть. Например, пользователь может получить доступ к устройству 808 доступа к сети через телефонную сеть передачи данных.

[00127] В одном варианте осуществления, если аутентификация успешна, сервер 804 безопасности отправляет сообщение устройству 808 доступа к сети, чтобы разрешить доступ пользователю через устройство 808 доступа к сети.

[00128] В другом варианте осуществления после того, как пользователь аутентифицирован сервером 804 безопасности, вычислительное устройство 802 регистрируется в устройстве 808 доступа к сети. Затем устройство доступа к сети обменивается данными с сервером 804 безопасности, чтобы подтвердить доступ пользователя. Если сервер 804 безопасности предоставляет доступ, то на устройство доступа к сети отправляется сообщение, чтобы уведомить устройство доступа к сети, что пользователь авторизован. В другом варианте осуществления устройство доступа к сети взаимодействует с внешним устройством 430 управления безопасностью.

[00129] Как обсуждалось ранее, система безопасности, включая SCED 430, обеспечивает непрерывную аутентификацию и мониторинг активности пользователя. Если аутентификация не удалась в любой момент времени (например, пользователь уходит от терминала), то устройство 808 доступа к сети уведомляется сервером 804 безопасности или SCED 430, что доступ больше не разрешен. В этом случае устройство доступа к сети отключит любой доступ к интрасети 824 для вычислительного устройства 802. На этом этапе пользователь все еще может получить доступ к личным данным или Интернету в «общедоступном» режиме. «Частный или безопасный» режим - это когда пользователь аутентифицирован и привязан, а мониторинг активен. Пользователь также может переключаться между режимами.

[00130] Если позже пользователь будет повторно аутентифицирован, устройство доступа к сети может быть повторно активировано, чтобы разрешить доступ пользователю. В одном варианте осуществления после того, как сервер 804 безопасности предоставляет начальный доступ, SCED 430 обменивается сообщениями с устройством 808 доступа к сети на основе статуса аутентификации пользователя. Это означает, что во время нормальной работы SCED 430 может управлять устройством доступа к сети, чтобы включать или выключать доступ, без необходимости обеспечивать непрерывный вход на сервер 804 безопасности.

[00131] Фиг. 8С - это блок-схема способа обеспечения безопасного доступа к устройству доступа к сети согласно одному варианту осуществления. Хотя различные операции в этой блок-схеме представлены и описаны последовательно, специалисту с обычной квалификацией будет понятно, что некоторые или все операции могут выполняться в другом порядке, объединяться, пропускаться или выполняться параллельно.

[00132] На этапе 852 пользователь входит на защищенный сервер. От операции 852 способ переходит к операции 854, где выполняется проверка, чтобы определить, была ли операция 852 входа в систему успешной.

[00133] Если операция 852 входа в систему не удалась, способ возвращается к операции 852; и к операции 856, если вход в систему был успешным. На этапе 856 отправляется запрос на доступ через устройство доступа к сети. В одном варианте осуществления запрос отправляется на сервер безопасности, а в другом варианте осуществления запрос отправляется непосредственно на устройство доступа к сети.

[00134] От операции 856 способ переходит к операции 858, где выполняется проверка, чтобы определить, был ли предоставлен доступ через устройство доступа к сети. Если доступ был предоставлен, метод переходит к операции 860; и операции 852 в противном случае.

[00135] На этапе 860 доступ предоставляется пользователю через устройство доступа к сети. От операции 860 метод переходит к операции 862, где выполняется непрерывная аутентификация и мониторинг действий пользователя. В операции 864 выполняется проверка, чтобы определить, не удается ли аутентификация в любой момент времени. Если пользователь продолжает аутентифицироваться, метод возвращается к операции 862, но, если аутентификация терпит неудачу в любой момент, метод переходит к операции 866.

[00136] В операции 866 доступ к устройству доступа к сети запрещен из-за сбоя аутентификации, и из операции 866 метод возвращается к операции 852. В других вариантах осуществления (не показаны) после сбоя аутентификации в способе используется другой цикл для выполнения непрерывной аутентификации при отключенном доступе, и, если аутентификация восстанавливается, способ возвращается к операции 860 для получения доступа к устройству доступа к сети.

[00137] Фиг. 9 иллюстрирует режим конфиденциальности согласно одному варианту осуществления. В одном варианте осуществления пользователю предоставляется режим конфиденциальности, также называемый персональным режимом, в котором пользователь не контролируется системой безопасности. В одном варианте осуществления пользователю отказано в доступе к защищенным ресурсам в режиме конфиденциальности, но пользователь может получить доступ к личным данным и приложениям, таким как чтение электронной почты, доступ к социальной сети, использование Интернет-браузера, чтение новостей и т.д.

[00138] В одном варианте осуществления пользователь не аутентифицируется в режиме конфиденциальности, а в другом варианте осуществления пользователь все еще аутентифицируется в режиме конфиденциальности. Хотя пользователь может получить доступ к личной информации, вычислительное устройство по-прежнему аутентифицирует, что пользователь является лицом, уполномоченным использовать компьютерное устройство. Например, в режиме конфиденциальности пользователь может иметь доступ к личной электронной почте в офисе, но, если другой пользователь попытается использовать компьютер авторизованного пользователя, система безопасности заблокирует доступ неавторизованному пользователю.

[00139] В режиме конфиденциальности действия пользователя не записываются. В одном варианте осуществления предусмотрен индикатор 902, чтобы пользователь знал, когда пользователь находится в частном или безопасном режиме. В одном варианте осуществления индикатор представляет собой источник света вокруг дисплея. В другом варианте индикатор отображается на дисплее (например, в поле с сообщением «частный режим»). В одном варианте осуществления, когда пользователь переключается между безопасным и частным режимами, журналы безопасности системы покажут, сколько времени потрачено на каждый режим.

[00140] Фиг. 10А-10С иллюстрируют интерфейсы, предоставляемые системой безопасности непрерывного мониторинга, согласно одному варианту осуществления. На Фиг. 10A показаны некоторые интерфейсы, обеспечиваемые системой безопасности. Представленные варианты осуществления обеспечивают решение сложной проблемы - поисковой системы по графам для цифровой деятельности.

[00141] В одном варианте осуществления непрерывный мониторинг позволяет периодически делать снимки пользователя вместе со снимками экрана 152. Например, каждые 5 секунд, хотя возможны и другие интервалы. Кроме того, мониторинг может измениться после обнаружения особого события (например, запись ввода с клавиатуры за пять секунд до и через одну минуту после нажатия пользователем Ctrl-C). Кроме того, в ответ на особые события можно добавить частоту снимков экрана и мониторинга.

[00142] Консоль безопасности дополнительно предоставляет интерфейс 154 для выполнения операций поиска. В другом варианте осуществления в окне 156 отображается изображение, предоставленное камерой слежения. Кроме того, может быть создан социальный граф пользователя, как более подробно описано ниже со ссылкой на Фиг. 10Б.

[00143] Учитывая универсальность записи данных, интерфейс поиска также является универсальным, позволяя выбирать один или несколько факторов для поиска. Критерии поиска могут включать в себя идентификатор пользователя, тип события, теги данных, период времени, устройство доступа, местоположение пользователя, сгенерированный сигнал тревоги и т.д. Кроме того, любой из критериев этого типа может быть объединен с использованием логики. Например, администратор поиска может искать действия двух пользователей, когда оба пользователя были подключены к системе безопасности, и сравнивать действия, выполненные этими двумя пользователями, чтобы определить, например, сотрудничали ли пользователи в какой-либо злонамеренной активности.

[00144] Кроме того, система безопасности позволяет администратору добавлять новые критерии поиска. Например, администратор может добавить в систему мониторинга, что каждый раз, когда на дисплее отображается слово «конфиденциально», записывается тег с именем «конфиденциально». Может быть создан новый критерий использования времени «конфиденциально». Таким образом, администратор может позже легко найти конфиденциальный тег.

[00145] Фиг. 10Б - интерфейс для доступа к консоли безопасности согласно одному варианту осуществления. Поскольку система безопасности записывает большой объем цифровых данных, включая операции, выполняемые пользователем при доступе к ресурсам компьютера, система безопасности способна идентифицировать отношения между пользователями. Например, система безопасности и мониторинга может сопоставлять электронные письма, которыми обмениваются пользователи, чтобы идентифицировать график 160 отношений.

[00146] Кроме того, система мониторинга может отслеживать все действия, выполняемые во время наблюдения за пользователем, такие как отправка текстовых сообщений, проведение видеоконференции с другим пользователем, назначение встречи с другим пользователем и т.д. Информация может быть соотнесена с созданным графиком. В одном варианте осуществления связи, установленные между пользователями, также могут иметь значение «силы», пропорциональное количеству взаимодействия между двумя пользователями. Например, если два пользователя принадлежат к одной рабочей группе и обмениваются электронными письмами почти ежедневно, связь между ними будет сильнее, чем между пользователями, которые обмениваются электронными письмами раз в месяц.

[00147] Кроме того, в примерном варианте осуществления по Фиг. 10Б, два пользователя смотрят на дисплей. В одном варианте осуществления, как только система мониторинга обнаруживает второго пользователя, дисплей блокируется, скрывая отображаемую информацию. В другом варианте осуществления дисплей не блокируется, но регистрируется событие, связанное с одновременным просмотром дисплея пользователями. В одном варианте осуществления после того, как неавторизованный пользователь уходит, дисплей разблокируется.

[00148] Фиг. 10С иллюстрирует интерфейс для доступа к записанным данным согласно одному варианту осуществления. Сетевой администратор может просмотреть конкретное событие, записанное в базе данных. Например, было сгенерировано предупреждение, описывающее факт, что два пользователя одновременно просматривают вывод на дисплей. Администратор пользователя может выбрать одно из событий из цепочки изображений, похожих на фильм, отображаемых внизу. В результате экран 164, который просматривали пользователи, представляется администратору безопасности. Затем администратор может принять решение, чтобы определить, является ли эта информация конфиденциальной или требуются дальнейшие действия.

[00149] Фиг. 11 иллюстрирует примерную архитектуру системы для обеспечения безопасности с использованием защищенного дисплея согласно одному варианту осуществления. Защищенный дисплей 1106 включает в себя ЖК-панель 1102, которая приводится в действие схемой 1104 ЖК-дисплея, те же компоненты, которые обычно присутствуют в незащищенном дисплее. Вычислительное устройство 1110 связано с защищенным дисплеем 1106 через видеоинтерфейс 1112. Кроме того, внешнее устройство 1114 управления безопасностью (SCED) связано с вычислительным устройством 1110 через внешний соединитель. В другом варианте осуществления SCED 1114 подключен к вычислительному устройству 1110 через беспроводную связь (например, Bluetooth, WiFi и т.Д.).

[00150] SCED 1114 также включает в себя внеполосную связь с сервером 1120 безопасности. Внеполосная связь может быть через проводную или беспроводную среду. Компьютерное устройство 1110 подключено через сеть 1118 к удаленному серверу 1120 безопасности.

[00151] SCED 1114 получает изображения с камеры 1108 и анализирует изображения пользовательской области перед дисплеем для обнаружения потенциальных нарушений безопасности и передает информацию о безопасности и использовании по внеполосному каналу на сервер безопасности 1120. База данных 1122 безопасности, подключенная к серверу 1120 безопасности, используется для хранения данных безопасности с защищенного дисплея и с других дисплеев безопасности, использующих услугу.

[00152] В одном варианте осуществления предоставляется только программное решение, и SCED не требуется для обеспечения безопасного доступа к компьютеру. Например, в некоторых средах с меньшими требованиями к безопасности, таких как школа, на компьютерном устройстве предусмотрена программа для получения безопасного доступа. Программное обеспечение может выполнять текущую аутентификацию и мониторинг пользователей, когда они используют компьютерные устройства. Это может быть полезно, чтобы избежать неправомерного использования школьных вычислительных устройств, среды малого бизнеса, небольших групп или любой записи, необходимой для обслуживания данных.

[00153] Этот тип безопасного доступа также может быть ценным в областях контроля и «непрерывной проверки и аутентификации» учащихся, проходящих тесты, чтобы предотвратить мошенничество, копирование, плагиат и т.д. Непрерывный мониторинг обеспечивает требуемый уровень безопасности для онлайн-обучения и тестирования, обучения и т.д. Соответственно, каждая из операций, выполняемых с использованием SCED, может быть воплощена в программном обеспечении или в комбинации аппаратного, программного обеспечения и встроенного программного обеспечения.

[00154] На Фиг. 12 показано защищенное компьютерное устройство согласно одному варианту осуществления. Вычислительное устройство включает в себя шину, которая соединяет различные модули внутри вычислительного устройства. Кроме того, внешнее устройство 1114 контроля безопасности подключено к USB-порту вычислительного устройства. Другие варианты осуществления могут включать в себя соединение между SCED 1114 и компьютерным устройством, которое является проводным, кроме порта USB, или беспроводным.

[00155] В одном варианте осуществления к шине подключена схема безопасности, которая управляет выводом на ЖК-дисплей, взаимодействуя со схемой, которая управляет ЖК-дисплеем (например, процессором и памятью пикселей). Кроме того, SCED 1114 отправляет данные безопасности на сервер безопасности и принимает команды безопасности и конфигурации от сервера безопасности. В одном варианте осуществления сервер безопасности отправляет в SCED информацию об авторизованном пользователе, касающуюся пользователей, которым разрешено использовать вычислительное устройство, правил политики для реализации безопасности в вычислительном устройстве, параметров входа в систему, аутентифицированных устройств, которые могут быть связаны с вычислительным устройством, и т.д.

[00156] В одном варианте осуществления SCED управляет аутентификацией вычислительного устройства через модуль аутентификации, встроенный в SCED. В одном варианте осуществления используется аутентификация доверенного платформенного модуля (ТРМ), но возможны и другие методы аутентификации. ТРМ - это и название опубликованной спецификации, в которой подробно описан защищенный криптопроцессор, который может хранить криптографические ключи, защищающие информацию, а также общее название реализации этой спецификации, часто называемой «микросхемой ТРМ» или «устройством безопасности ТРМ».

[00157] Модуль Trusted Platform Module предлагает средства для безопасного создания криптографических ключей и ограничения их использования в дополнение к аппаратному генератору псевдослучайных чисел. Он также включает такие возможности, как удаленная аттестация и запечатанное хранилище. «Удаленная аттестация» создает почти неповторимую сводку по хеш-ключу аппаратной и программной конфигурации. Программа, шифрующая данные, определяет объем сводной информации о программном обеспечении. Это позволяет третьей стороне убедиться, что программное обеспечение не было изменено. «Связывание» шифрует данные с использованием ключа подтверждения ТРМ, уникального ключа RSA, записанного в чип во время его производства, или другого доверенного ключа, полученного от него. «Запечатывание» шифрует данные аналогично связыванию, но дополнительно указывает состояние, в котором должен находиться ТРМ, чтобы данные были расшифрованы (распечатаны). Программное обеспечение может использовать доверенный платформенный модуль для аутентификации аппаратных устройств. Поскольку каждый чип ТРМ имеет уникальный и секретный ключ RSA, записанный при его создании, он может выполнять аутентификацию платформы. Например, его можно использовать для проверки того, что система, ищущая доступ, является ожидаемой системой. Как правило, снижение уровня безопасности до аппаратного уровня в сочетании с программным обеспечением обеспечивает большую защиту, чем только программное решение.

[00158] Фиг. 13 - образец архитектуры внешнего устройства управления безопасностью согласно одному варианту осуществления. В одном варианте осуществления SCED включает в себя память, процессор, устройство захвата звука, сенсорный экран, USB-разъем, беспроводной модуль и сетевой разъем (например, NIC).

[00159] Память может включать в себя компьютерную программу, которая обеспечивает постоянный мониторинг пользователя, и память может также хранить биометрические данные (например, пиксели изображения), захваченные устройствами безопасности.

[00160] В одном варианте осуществления SCED питается от порта USB, поэтому внутренний источник питания не требуется. В других вариантах осуществления SCED включает в себя внутренний источник питания (например, аккумуляторную батарею).

[00161] В другом варианте осуществления SCED также включает камеру, которая позволяет осуществлять постоянный мониторинг пользователей. В этом случае SCED подключается к USB-порту на дисплее, чтобы захватывать изображения перед областью отображения.

[00162] В одном варианте осуществления после того, как SCED подключен к вычислительному устройству, SCED вставляет программу, которая должна быть выполнена в вычислительном устройстве. Эта программа выполняет необходимые операции мониторинга, как описано ранее (например, делает снимки экрана и изображения пользователя). В одном варианте осуществления программа должна быть сначала установлена на вычислительном устройстве, чтобы SCED мог работать.

[00163] Программа, вставленная в вычислительное устройство, также может захватывать информацию о компьютерном устройстве, такую как операционная система, IP-адрес, версия программы, размер памяти и т.д.

[00164] Фиг. 14 иллюстрирует примерную архитектуру сервера безопасности согласно одному варианту осуществления. Сервер безопасности включает в себя модуль 350 связи, модуль 352 администрирования, графический интерфейс 354 администрирования, модуль 356 удаленного принуждения, модуль 358 политики, память 360 и процессор 364. Кроме того, база данных 366 безопасности и база данных 368 правил политики находятся на связи с сервером 912.

[00165] Коммуникационный модуль 350 управляет обменом данными с удаленными защищенными компьютерными устройствами, а также другими сетевыми коммуникациями, касающимися управления и администрирования защищенной серверной архитектуры. Модуль 352 администрирования предоставляет опции, пользовательские интерфейсы, справку и т.д. относительно администрирования безопасной среды. Графический пользовательский интерфейс 354 администрирования предоставляет пользовательский интерфейс для аутентификации доступа одного или нескольких администраторов и для установки параметров администрирования, необходимых для настройки, обновления, удаления, обслуживания и т.д. Службы архитектуры безопасности.

[00166] Модуль 356 удаленного принуждения обменивается сообщениями управления и контроля с защищенными компьютерными устройствами, а более конкретно со схемой защиты в защищенных терминалах или с SCED. Например, модуль 356 удаленного принуждения может отправлять команды на дисплей безопасности в отношении правил политики, которые должны быть реализованы на защищенном терминале, пользователей, аутентифицированных для использования защищенного дисплея, хост-компьютеров, аутентифицированных для взаимодействия с защищенным дисплеем, ключей аутентификации, инструкций по отключению или включение удаленного отображения и т.д. Модуль 356 удаленного принуждения управляет данными, хранящимися в защищенной базе 366 данных, включая всю информацию, полученную от защищенных дисплеев.

[00167] Модуль 358 политики управляет политикой безопасности и правилами, составляющими политику безопасности, в отношении авторизованного использования защищенных дисплеев. Правила политики безопасности могут быть сконфигурированы через графический интерфейс 354 администрирования. Правила политики безопасности хранятся в базе данных 368 правил.

[00168] Следует отметить, что вариант осуществления, показанный на Фиг. 14 является образцовым. Другие варианты осуществления могут использовать разные модули, меньшее количество модулей, дополнительные модули или объединять функциональные возможности двух или более модулей в один модуль. Кроме того, функциональные возможности удаленного защищенного сервера могут быть распределены по множеству серверов защиты.

[00169] Фиг. 15А - блок-схема, иллюстрирующая алгоритм защиты компьютерного устройства в соответствии с одним вариантом осуществления. Хотя различные операции в этой блок-схеме представлены и описаны последовательно, специалисту с обычной квалификацией будет понятно, что некоторые или все операции могут выполняться в другом порядке, объединяться, пропускаться или выполняться параллельно.

[00170] На этапе 1502 данные взаимодействия захватываются для пользователя, взаимодействующего с компьютерным устройством, причем данные взаимодействия, включая ввод с клавиатуры и снимки экрана, выполняются периодически. От операции 1502 способ переходит к операции 1504, где семантическое значение извлекается из данных взаимодействия. В другом варианте осуществления данные взаимодействия дополнительно включают в себя ввод с клавиатуры, пользовательские жесты, звук и данные, сгенерированные компьютерным устройством, такие как данные из операционной системы, браузера, других приложений и т.Д.

[00171] От операции 1504 способ переходит к операции 1506 для создания схемы на основе извлеченного семантического значения для создания значимых тегов для данных взаимодействия. От операции 1506 способ переходит к операции 1508, где схема анализируется на основе модели для идентификации угроз безопасности. От операции 1508 способ переходит к операции 1510, где создается аварийный сигнал при обнаружении несоответствующего поведения модели. В одном варианте осуществления операции способа по Фиг. 15А выполняются процессором.

[00172] В другом варианте осуществления предоставляется интерфейс для приема параметров, связанных с моделью, причем параметры идентифицируют несоответствующее поведение модели. В другой операции модель уточняется путем анализа использования компьютера в течение заранее определенного периода времени.

[00173] В еще одном варианте осуществления интерфейс включает в себя определение исключений для создания сигналов тревоги для одного или нескольких исключительных режимов. В одном варианте осуществления несоответствующее поведение идентифицируется на основе модели и времени несоответствующего поведения.

[00174] В одном варианте осуществления предоставляется интерфейс поиска для просмотра данных взаимодействия и идентификации несоответствующего поведения. В другом варианте осуществления семантическое значение отвлекается путем выполнения оптического распознавания символов (OCR) на снимках экрана для идентификации текста, отображаемого на экране. В еще одном варианте налоги создаются на основе идентифицированного текста.

[00175] В одном варианте осуществления данные взаимодействия дополнительно включают в себя одно или несколько из ввода с помощью мыши, аудиовхода, биометрического сигнала для пользователя, географического местоположения пользователя, имени активного приложения, с которым взаимодействует пользователь, операции по сохранению данные на внешнее устройство или операцию для печати. В еще одном варианте осуществления снимки экрана выполняются периодически с интервалом от 1 до 10 секунд, хотя возможны и другие интервалы.

[00176] В одном варианте осуществления непрерывная аутентификация пользователя выполняется на основе изображений, сделанных пользователем во время взаимодействия с компьютерным устройством.

[00177] Фиг. 15В - блок-схема, иллюстрирующая алгоритм защиты компьютерного устройства в соответствии с одним вариантом осуществления. На этапе 1520 разъем в защищенном вычислительном устройстве обнаруживается как подключенный ко второму вычислительному устройству. От операции 1520 способ переходит к операции 1522, где определяется пользователь, связанный с вычислительным устройством безопасности.

[00178] От операции 1522 способ переходит к операции 1524, на которой периодические изображения принимаются от устройства захвата изображений, подключенного ко второму вычислительному устройству. От операции 1524 способ переходит к операции 1526, где выполняются периодические операции аутентификации для проверки подлинности идентификации пользователя на основе периодических изображений. Пользователь не может использовать второе вычислительное устройство после сбоя операции аутентификации.

[00179] В одном варианте осуществления вычислительное устройство безопасности включает в себя энергонезависимое хранилище, где вычислительное устройство безопасности сохраняет периодические изображения в энергонезависимом хранилище с снимками экрана, связанными с периодическими изображениями.

[00180] В другом варианте осуществления вычислительное устройство безопасности передает периодические изображения со снимками экрана, связанными с периодическими изображениями, на сервер безопасности. Кроме того, периодические изображения захватываются устройством захвата изображений, подключенным ко второму вычислительному устройству.

[00181] В еще одном варианте осуществления вычислительное устройство безопасности также включает в себя устройство захвата изображения для захвата периодических изображений. В одном варианте осуществления защитное вычислительное устройство включает в себя сенсорный дисплей, в котором компьютерная программа определена для приема пароля от пользователя через сенсорный дисплей.

[00182] В одном варианте осуществления разъем в защитном вычислительном устройстве представляет собой разъем универсальной последовательной шины (USB). В другом варианте осуществления соединитель является беспроводным соединителем, причем соединитель подключается ко второму вычислительному устройству, когда устанавливается беспроводное соединение. В одном варианте осуществления соединение представляет собой соединение Bluetooth.

[00183] В другом варианте осуществления, когда второй пользователь обнаруживается в одном из периодических изображений, второе вычислительное устройство отключается.

[00184] В другом варианте осуществления, когда система обнаруживает, что пользователь смотрит в сторону от дисплея, подключенного ко второму вычислительному устройству, вычислительное устройство отключается в ответ на обнаружение того, что пользователь смотрит в сторону.

[00185] В еще одном варианте осуществления охранная тревога создается, когда обнаруживается операция по сохранению данных на внешнем энергонезависимом запоминающем устройстве.

[00186] Фиг. 15С - это блок-схема, иллюстрирующая алгоритм защиты доступа к сети в соответствии с одним вариантом осуществления. На этапе 1540 пользователю предоставляется доступ к ресурсам удаленного компьютера после аутентификации запроса на вход от пользователя, отправленного с защищенного компьютерного устройства. От операции 1540 способ переходит к операции 1542, где от устройства доступа к сети принимается запрос доступа к сети, чтобы позволить пользователю получить доступ к ресурсам удаленного компьютера через устройство доступа к сети.

[00187] От операции 1542 способ переходит к операции 1544, где доступ к сети, предоставленный пользователю, отправляется устройству доступа к сети, когда пользователю в настоящее время предоставлен доступ к ресурсам удаленного компьютера. Защищенное компьютерное устройство выполняет периодические операции аутентификации для подтверждения идентификации пользователя на основе биометрических данных, полученных от пользователя.

[00188] От операции 1544 способ переходит к операции 1546, где от компьютерного устройства безопасности принимается уведомление о том, что одна из операций аутентификации не удалась. От операции 1546 способ переходит к операции 1548, где пользователю запрещен доступ к сети, который отправляется устройству доступа к сети в ответ на уведомление.

[00189] В одном варианте осуществления операция аутентификации включает в себя выполнение распознавания лица изображений пользователя. В другом варианте осуществления устройство доступа к сети разрешает сетевую связь для запроса входа в систему перед получением предоставленного доступа к сети.

[00190] В одном варианте осуществления действия пользователей классифицируются на основе обнаруженных событий, и разрабатываются сигналы и предупреждения для предоставления уведомлений администратора. Сигналы и предупреждения, которые мы помещаем в схему, и аналитические модели выполняются в схеме для выявления угроз безопасности.

[00191] В еще одном варианте осуществления устройство доступа к сети управляет доступом к интрасети.

[00192] В одном варианте осуществления запрос входа в систему, введенный в защищенное компьютерное устройство, дополнительно включает в себя выполнение распознавания лица на изображении пользователя для подтверждения личности пользователя. В другом варианте осуществления второй предоставленный доступ к сети отправляется после успешной операции аутентификации, выполненной после отправки сообщения об отказе в доступе к сети.

[00193] В другом варианте осуществления первая операция аутентификации завершается неудачно, когда пользователь смотрит в сторону от монитора, подключенного к защищенному компьютерному устройству, а вторая операция аутентификации считается успешной, когда пользователь снова смотрит на монитор.

[00194] В одном варианте осуществления третья операция аутентификации завершается ошибкой, когда обнаруживается, что второй пользователь смотрит на монитор. В другом варианте осуществления периодические операции аутентификации выполняются с интервалом в диапазоне от 2 до 120 секунд, хотя возможны и другие периоды.

[00195] В еще одном варианте осуществления изображения пользователя, сделанные во время работы пользователя с защищенным компьютерным устройством, принимаются вместе со снимками экрана дисплея, подключенного к защищенному компьютерному устройству.

[00196] Фиг. 16 - упрощенная схематическая диаграмма компьютерной системы для реализации вариантов осуществления настоящего раскрытия. Следует понимать, что описанные здесь способы могут выполняться с помощью системы цифровой обработки, такой как обычная компьютерная система общего назначения. В качестве альтернативы могут использоваться компьютеры специального назначения, которые разработаны или запрограммированы для выполнения только одной функции. Компьютерная система включает в себя центральный процессор (ЦП) 2304, который через шину 2310 соединен с оперативной памятью (RAM) 2306, постоянным запоминающим устройством (ROM) 2312 и запоминающим устройством 2314. Компьютерная программа 2308 для обеспечения безопасности дисплей находится в оперативной памяти (RAM) 2306, но также может находиться в запоминающем устройстве 2314 большой емкости.

[00197] Запоминающее устройство 2314 большой емкости представляет собой устройство постоянного хранения данных, такое как дисковод гибких дисков или фиксированный дисковод, которое может быть локальным или удаленным. Сетевой интерфейс 2330 обеспечивает соединения через сеть 2332, обеспечивая связь с другими устройствами. Следует понимать, что ЦП 2304 может быть воплощен в процессоре общего назначения, в процессоре специального назначения или в специально запрограммированном логическом устройстве. Интерфейс ввода / вывода (I / О) обеспечивает связь с различными периферийными устройствами и связан с CPU 2304, RAM 2306, ROM 2312 и запоминающим устройством 2314 через шину 2310. Примеры периферийных устройств включают дисплей 2318, клавиатуру 2322, управление курсором 2324, съемный носитель 2334 и т.д.

[00198] Дисплей 2318 сконфигурирован для отображения описанных здесь пользовательских интерфейсов. Клавиатура 2322, элемент управления 2324 курсора, съемный носитель 2334 и другие периферийные устройства подключены к интерфейсу 2320 ввода / вывода для передачи информации о выборе команд в ЦП 2304. Следует понимать, что данные на внешние устройства и от них могут передаваться через Интерфейс ввода-вывода 2320. Варианты осуществления также могут быть реализованы в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны через проводную или беспроводную сеть.

[00199] Варианты осуществления настоящего раскрытия могут быть реализованы на практике с различными конфигурациями компьютерных систем, включая портативные устройства, микропроцессорные системы, микропроцессорную или программируемую бытовую электронику, миникомпьютеры, универсальные компьютеры и т.п. Варианты осуществления также могут быть реализованы в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны через сеть.

[00200] Принимая во внимание вышеупомянутые варианты осуществления, следует понимать, что варианты осуществления могут использовать различные операции, реализуемые компьютером, включая данные, хранящиеся в компьютерных системах. Эти операции требуют физических манипуляций с физическими величинами. Любые из описанных здесь операций являются полезными машинными операциями. Устройство может быть специально сконструировано для требуемой цели, например, компьютер специального назначения. Определенный как компьютер специального назначения, компьютер также может выполнять другую обработку, выполнение программ или подпрограммы, которые не являются частью специального назначения, при этом оставаясь способным работать для специального назначения. В качестве альтернативы, операции могут обрабатываться компьютером общего назначения, выборочно активируемым или конфигурируемым одной или несколькими компьютерными программами, хранящимися в памяти компьютера, кэше или полученными по сети. Когда данные получены по сети, данные могут обрабатываться другими компьютерами в сети, например облаком вычислительных ресурсов.

[00201] Один или несколько вариантов осуществления также могут быть изготовлены в виде машиночитаемого кода на энергонезависимом машиночитаемом носителе данных. Энергонезависимый машиночитаемый носитель данных представляет собой любое энергонезависимое устройство хранения данных, которое может хранить данные, которые впоследствии могут быть прочитаны компьютерной системой. Примеры энергонезависимого машиночитаемого носителя данных включают жесткие диски, сетевое хранилище (NAS), постоянное запоминающее устройство, оперативное запоминающее устройство, компакт-диски, компакт-диски, компакт-диски, магнитные ленты и другие оптические и нестандартные устройства. -оптические устройства хранения данных. Энергонезависимый машиночитаемый носитель данных может включать в себя машиночитаемый носитель данных, распределенный по сетевой компьютерной системе, так что машиночитаемый код сохраняется и выполняется распределенным образом.

[00202] Хотя операции метода были описаны в определенном порядке, следует понимать, что другие служебные операции могут выполняться между операциями, или операции могут быть скорректированы так, чтобы они происходили в несколько иное время, или могут быть распределены в системе, которая позволяет возникновение операций обработки с различными интервалами, связанными с обработкой, при условии, что обработка операций наложения выполняется желаемым образом.

[00203] Хотя вышеупомянутые варианты осуществления были описаны довольно подробно с целью ясности понимания, будет очевидно, что определенные изменения и модификации могут быть осуществлены на практике в пределах объема прилагаемой формулы изобретения. Соответственно, настоящие варианты осуществления следует рассматривать как иллюстративные, а не ограничительные, и варианты осуществления не должны ограничиваться деталями, приведенными в данном документе, но могут быть изменены в пределах объема и эквивалентов прилагаемой формулы изобретения.

Claims (22)

1. Вычислительное устройство безопасности для непрерывной аутентификации пользователя для доступа к контенту через второе вычислительное устройство, содержащее:

процессор;

память; и

соединитель для подключения вычислительного устройства безопасности ко второму вычислительному устройству, при этом второе вычислительное устройство сконфигурировано для периодического приема изображений пользователя с устройства захвата изображений, подключенного ко второму вычислительному устройству, и изображений экрана дисплея, связанного со вторым вычислительным устройством, причем процессор выполнен с возможностью выполнения инструкций, полученных из памяти вычислительного устройства безопасности, для:

обеспечения связи между вычислительным устройством безопасности и вторым вычислительным устройством;

аутентификации пользователя для доступа к контенту через второе вычислительное устройство;

приема изображений экрана дисплея и периодических изображений пользователя со второго вычислительного устройства, которое пользователь использует для доступа к контенту;

осуществления семантической сегментации по меньшей мере одного изображения пользователя, полученного на предыдущем шаге, посредством отделения фона от исследуемого объекта с предполагаемым пользователем с помощью полносверточной нейронной сети архитектуры U-Net, которая

осуществляет первоначальное преобразование входного изображения для отделения фона через серию сверток;

декодирует выход через серию транспонированных сверток;

определения на по меньшей мере одном изображении, полученном на предыдущем шаге, по меньшей мере одного пользователя посредством использования искусственной сверточной нейронной сети;

осуществления классификации полученного по меньшей мере одного пользователя на по меньшей мере одном изображении посредством определения класса пользователя на изображении и возвращения результата в строковом представлении с использованием искусственной сверточной нейронной сети resnet-50;

получения после аутентификации пользователя от второго вычислительного устройства пользовательского ввода, вводимого с клавиатуры второго вычислительного устройства, пользовательского ввода, вводимого при доступе к контенту, изображениям и пользовательским вводам, используемым для мониторинга цифровой и физической активности пользователя и установки связи между цифровой и физической активностью пользователя;

выполнения операций непрерывной аутентификации для подтверждения идентификации пользователя на основе периодических изображений пользователя, изображений экрана дисплея и вводимых пользователем данных;

передачи пользовательского ввода с принятыми периодическими изображениями на сервер безопасности с использованием внеполосного канала для создания данных аудита цифровой и физической активности пользователя при доступе ко второму вычислительному устройству; причем

когда аутентификация пользователя или любая из операций непрерывной аутентификации для проверки подлинности идентификации пользователя завершается неудачно, отправки сообщения от вычислительного устройства безопасности на второе вычислительное устройство, чтобы запретить пользователю использовать второе вычислительное устройство.

2. Вычислительное устройство безопасности по п.1, дополнительно содержащее энергонезависимое хранилище для использования вычислительным устройством безопасности для хранения снимков экрана, связанных с периодическими изображениями и пользовательским вводом до передачи на сервер безопасности.

3. Вычислительное устройство безопасности по п.1, в котором данные аудита связывают вводимые пользователем данные, изображения пользователя и изображения экрана дисплея.

4. Вычислительное устройство безопасности по п.1, дополнительно содержащее сенсорный дисплей, в котором процессор определен для приема пароля от пользователя через сенсорный дисплей.

5. Вычислительное устройство безопасности по п.1, в котором соединитель представляет собой разъем универсальной последовательной шины (USB).

6. Вычислительное устройство безопасности по п.1, в котором пользовательские вводы, изображения экрана дисплея и периодические изображения пользователя коррелированы на основе времени захвата пользовательских вводов, изображений экрана дисплея и периодических изображений пользователя.

7. Вычислительное устройство безопасности по п.1, в котором данные аудита связаны с нарушениями политики пользователя, при этом каждое нарушение политики пользователя доступно для поиска, чтобы обеспечить возможность обзора физических и цифровых действий пользователя и предпринятых действий, которые привели к каждому нарушению политики.

Images