UA141318U - Автоматизований спосіб верифікації ознайомлення із електронним документом - Google Patents

Автоматизований спосіб верифікації ознайомлення із електронним документом Download PDF

Info

Publication number
UA141318U
UA141318U UAU201904742U UAU201904742U UA141318U UA 141318 U UA141318 U UA 141318U UA U201904742 U UAU201904742 U UA U201904742U UA U201904742 U UAU201904742 U UA U201904742U UA 141318 U UA141318 U UA 141318U
Authority
UA
Ukraine
Prior art keywords
subject
data
information
document
multimedia information
Prior art date
Application number
UAU201904742U
Other languages
English (en)
Inventor
Сергій Анатолійович Данилов
Original Assignee
Сергій Анатолійович Данилов
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сергій Анатолійович Данилов filed Critical Сергій Анатолійович Данилов
Priority to UAU201904742U priority Critical patent/UA141318U/uk
Publication of UA141318U publication Critical patent/UA141318U/uk

Links

Landscapes

  • Image Analysis (AREA)

Abstract

Автоматизований спосіб верифікації ознайомлення суб'єкта із електронним документом, включає попереднє встановлення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа, що достатній для формування сертифікату підписання електронного документа верифікованим суб'єктом, верифікацію особи суб'єкта на підставі попередньо введених у апаратно-програмний комплекс (АПК) візуальних даних про суб'єкта на початку сеансу надання суб'єкту електронного документа та протягом кожного наступного сеансу надання того ж самого документа тому ж самому суб'єкту, автоматизоване визначення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа верифікованим суб'єктом при наданні електронного документа за всіма сеансами надання одного й того ж документа у системі АПК з використанням технології стеження за очима та із застосуванням штучної нейронної мережі, й у разі, якщо суб'єкт підтверджує завершення сеансу/сеансів ознайомлення із документом та погоджує підписання й якщо визначений обсяг розпізнаної верифікованим суб'єктом інформації, зокрема обсяг прочитаного документа, дорівнює або більший за попередньо встановлений обсяг формують сертифікат підписання документа.

Description

Корисна модель належить до технологій, що залучають засоби й методи стеження за рухом очей суб'єктів і стосується автоматизованого способу верифікації ознайомлення суб'єктом із електронним документом. Дана корисна модель дозволяє встановити, чи був суб'єкт ознайомлений із представленою йому візуальною інформацію, зокрема текстовою інформацією та/або образною інформацією, у якому обсязі, та чи був цей обсяг достатній для підтвердження ознайомлення суб'єкта із змістом текстових фрагментів наданої мультимедійної інформації, чи прочитав суб'єкт представлену інформацію, зокрема чи прочитав суб'єкт текстову інформацію, зокрема інформацію електронного документа.
Корисна модель дозволяє об'єктивно встановити чи прочитав визначений суб'єкт текстову інформацію та у якому обсязі, та чи відповідає це визначеному обсягу, що встановлений як достатній для сприйняття суб'єктом змісту представлених текстових фрагментів у наданій мультимедійній інформації.
Крім цього, корисна модель стосується способу верифікації ознайомлення із електронним документа, зокрема із залученням способу та/або системи автоматизованого визначення обсягу читання або розпізнавання суб'єктом визначених ділянок при наданні мультимедійної інформації.
Технології стеження за очима (окулографія, айтрекінг)уу включають визначення певних характеристик руху очей, зокрема визначення точки, на яку спрямований погляд, або координат точки перетинання оптичної осі ока (очного яблука) із площиною визначеного об'єкта, зокрема площиною пристрою, на якому надається/пред'являється певний зоровий подразник.
Застосування систем стеження за очима (айтрекінг або окулографія) у різних галузях й зокрема для визначення читання суб'єктом відомі.
У (5 2012/0237084 А1, 20.09.2012 описано спосіб та система для ідентифікації тексту та його положення у візуальному медіа-контенті, наприклад документа, що відображається на моніторі комп'ютера або іншому пристрої відображення, що дозволяють визначити, чи суб'єкт взаємодіяв із текстом, рівень взаємодії суб'єкт із текстом, наприклад, чи розглядав суб'єкт текст, чи читав суб'єкт текст, чи сприйняв суб'єкт текст і зрозумів його або інші види взаємодії суб'єкта із текстом. Визначення здійснюється на основі даних, що отримані з пристрою відстеження ока, при цьому окремо або разом може застосовуватися система визначення емоційної відповіді. У способі передбачено ідентифікацію частини візуального медіа-контенту, що складає текст, визначення положення ідентифікованого тексту візуального медіа-контенту, збирання даних з очей суб'єкта під час перегляду візуального медіа-контенту, щодо розмірів зіниці, мигання та координат погляду, генерування патернів погляду суб'єкта на основі зібраних даних очей, визначення того, чи взаємодіє суб'єкт з ідентифікованим текстом на підставі щонайменше визначеного положення ідентифікованого тексту і генерованого шаблону погляду, визначення рівня взаємодії суб'єкта з ідентифікованим текстом, зокрема визначення того, чи прочитав або ознайомився суб'єкт із ідентифікованим текстом, і визначення емоційної реакції суб'єкта на ідентифікований текст.
Відомий спосіб підтвердження читання електронного повідомлення користувачем (із застосуванням технології відстеження положення очей під час читання користувачем на електронному пристрої електронного повідомлення, що містить безліч рядків, у якому за ознаками положення очей, зокрема визначення координат положення очей, визначають кількість переглянутих користувачем рядків повідомлення й визначають чи прочитав користувач повідомлення шляхом порівняння кількості рядків, що переглянуті очима, із пороговою кількістю рядків, що базується на множині рядків електронного повідомлення. Крім цього, визначають чи користувач був здивований під час перегляду електронного повідомлення, шляхом порівняння тривалості часу, витраченого оком при перегляді електронного повідомлення, із очікуваною тривалістю часу для відображення наданого електронного повідомлення (05 2016/0094705 А1, 31.03.2016).
Відомі способи включають застосування спеціалізованого обладнання для відстеження руху очей, що не завжди може бути забезпечене поза лабораторними умовами та дослідницькими установами, й особливо у повсякденному житті. При дослідженні рухів очей навіть із залученням спеціально прилаштованої для цього апаратури існує питання вибору даних для подальшої обробки та інтерпретації. Наприклад, у випадку прихованої уваги, що спостерігається на записах руху очей, коли слід погляду та точки фіксації проходять повз реальний об'єкт уваги лише із незначним часом фіксації, виникають труднощі у встановленні однозначного зв'язку між результатами дослідження руху очей та когнітивним процесом конкретного суб'єкта.
Хоча відомі різноманітні системи стеження за очима та їх застосування, однак все ще бо існують певні проблеми, з якими люди стикаються під час читання, і кожен вирішує ці проблеми унікальним способом: перечитування складних частин тексту, пошук невідомих слів, записування деталей для запам'ятовування тощо. Автоматизація цих процесів із залученням загальнодоступного та загально використовуваного обладнання, наприклад, щоб відстежувати людське читання, оцінювати швидкість, розрізняти рухи очей та поведінкові реакції при читанні від інших видів діяльності, коментувати фрагменти тексту, що важко читаються або зміст яких не був розпізнаний і т.і., це функції, які можуть бути надзвичайно корисними для людей, яким доводиться опрацьовувати величезні обсяги тексту щодня.
На даний час відсутні рішення для стандартизованої перевірки та підтвердження процесу обробки візуальної інформації а зокрема читання, із високою точністю на основі не спеціалізованих апаратних засобів, а будь-яких відеопристроїв або веб-камер із залученням принципу відстеження рухів очей.
Проблема, яка вирішена у межах даної корисної моделі, лежить у сферах, де прийняття рішень суттєво залежить від того, чи справді суб'єкт (людина) ознайомився із представленою інформацією, зокрема прочитав певний документ. Представлена корисна модель дозволяє застосовувати його у таких галузях як освіта, юридично-правова практика, державні сектори тощо.
Метою цієї корисної моделі було надання можливості автоматизованого способу верифікації ознайомлення суб'єкта із електронним документом, та оцінки обсягу розпізнавання суб'єктом інформації та обсягу читання із високою точністю при перегляді мультимедійної інформації на різноманітних пристроях, як наприклад персональний комп'ютер або ноутбук, планшет, смартфон, віртуальний екран або будь-який інший відповідний пристрій або засіб відображення.
Корисна модель дозволяє у режимі реального часу проводити перевірку ознайомлення суб'єкта із представленою інформацією, визначати її обсяг, визначати розпізнавання суб'єктом текстових ділянок, таблиць, зображень та іншого при наданні мультимедійної інформації, та обсягу інформації, зміст якої був розпізнаний суб'єктом, зокрема перевіряти читання текстових частин у представленій мультимедійній інформації або читання будь-якого електронного документа.
В основу корисної моделі поставлено задачу забезпечити автоматизований спосіб верифікації ознайомлення суб'єкта із електронним документом із високою точністю обсягу
Зо розпізнавання інформації суб'єктом при наданні мультимедійної інформації, зокрема обсягу придатної до читання інформації, ще краще визначення обсягу прочитаної інформації, за допомогою широко розповсюджених електронних пристроїв, придатних для відображення мультимедійної інформації, відеофіксації, обробки, зберігання та передачі даних, а також забезпечити автоматизований спосіб підписання електронних документів при встановленні, що саме верифікований суб'єкт прочитав визначений обсяг визначеного документу.
В першому аспекті корисна модель стосується автоматизованого способу верифікації ознайомлення суб'єкта із електронним документом, який включає попереднє встановлення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа, що достатній для формування сертифікату підписання електронного документа верифікованим суб'єктом, верифікацію особи суб'єкта на підставі попередньо введених у апаратно-програмний комплекс (АПК) візуальних даних про суб'єкта на початку сеансу надання суб'єкту електронного документа та протягом кожного наступного сеансу надання того ж самого документа тому ж самому суб'єкту, визначення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа верифікованим суб'єктом при наданні електронного документа за всіма сеансами надання одного й того ж документа за допомогою технології стеження за очима на АПК й із застосуванням штучної нейронної мережі, й у разі, якщо суб'єкт підтверджує завершення сеансу/сеансів ознайомлення із документом та погоджує підписання й якщо визначений обсяг розпізнаної верифікованим суб'єктом інформації, зокрема обсяг прочитаного документа, дорівнює або більший за попередньо встановлений обсяг формують сертифікат підписання документа.
Визначення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа верифікованим суб'єктом у способі підписання електронного документа може бути здійснене за допомогою автоматизованого способу визначення обсягу розпізнавання інформації, при цьому спосіб здійснюють за допомогою системи, що включає: - апаратно-програмний комплекс користувача (АПК-К), у якому поєднані або інтегровані відеопристрій, модуль відображення мультимедійної інформації, модуль прийому та передачі даних, модуль запису з відеопристрою даних відеопотоку, модуль збереження даних, модуль обробки даних, та - віддалений апаратно-програмний комплекс взаємодії із користувачем (АПК-ВК), у якому бо поєднані або інтегровані модуль відображення мультимедійної інформації, модуль прийому та передачі даних, модуль збереження даних, модуль верифікації суб'єкта-користувача, модуль обробки даних, що придатний для роботи та навчання штучної нейронної мережі, а спосіб включає наступні етапи: - у АПК-К проводять калібрування з врахуванням індивідуальних анатомічних параметрів очей при наданні суб'єкту рухливих візуальних стимулів та завдання на стеження; - завантажують мультимедійну інформацію на віддалений АПК-ВК, класифікують фрагменти на структурні елементи за ознаками - текст, зображення, таблиця та інше, передають класифіковану інформацію з віддаленого АПК-ВК до АПК-К та пред'являють її користувачу; - за даними відеопотоку з відеопристрою на АПК-К записують дані руху очей та/або погляду та з врахуванням поведінкових реакцій у вигляді щонайменше мигання очей та/або рухів голови, та/або змін координат попередньо маркованих точок на обличчі, визначають окремі точки погляду у кожний момент часу у координатах площини модулю відображення мультимедійної інформації АПК-К під час надання інформації, та передають отриману інформацію на віддалений АПК-ВК у якому: - встановлюють відповідність між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації, - їз застосуванням штучної нейронної мережі формують дані множини поглядів та встановлюють вірогідність відношення кожного окремого погляду суб'єкта до читання; - агрегують данні множини поглядів у координатну систему класифікованих структурних елементів наданої мультимедійної інформації; - розраховують за кількістю у кожному структурному елементі щільність всіх поглядів й щільність поглядів визначених як читання, та встановлюють відповідні порогові значення для розрахованих щільностей, що відмежовують статистичний шум; - розраховують відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, й встановлюють обсяг розпізнаної інформації суб'єктом, за яким визначають інформацію як прочитану.
У ще одному аспекті корисної моделі у способі підписання електронного документа
Зо визначення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа верифікованим суб'єктом, здійснюють за допомогою автоматизованої системи визначення обсягу розпізнавання інформації, яка включає: а) апаратно-програмний комплекс (АПК) користувача (АПК-К), у якому поєднані або у який інтегровані: ї) пристрій відеофіксації, ії) модуль відображення мультимедійної інформації, ії) модуль прийому та передачі даних, що придатний для прийому та передачі отриманої інформації на віддалений АПК взаємодії із користувачем (АПК-ВК), їм) модуль запису з пристрою відеофіксації даних відеопотоку, що стосуються руху очей та/або погляду, та поведінкових реакцій у вигляді щонайменше мигання очей та/або рухів голови, та/або змін координат попередньо маркованих точок на обличчі, м) модуль збереження даних, мі) модуль обробки даних, що включає: - блок обробки даних відеопотоку з пристрою відеофіксації АПК-К, - блок калібрування параметрів очей при наданні мультимедійної інформації, - блок визначення окремих точок погляду у кожний момент часу у координатах площини модулю відображення мультимедійної інформації під час надання інформації, та б) віддалений АПК взаємодії із користувачем (АПК-ВК), у якому поєднані або у який інтегровані: ї) модуль відображення мультимедійної інформації, і) модуль прийому та передачі даних, що придатний для прийому та передачі отриманої й обробленої інформації на АПК-К, ії) модуль збереження даних, їм) модуль верифікації особи суб'єкта-користувача, м) модуль обробки даних, що придатний для роботи та навчання штучної нейронної мережі, що включає: - блок роботи та навчання штучної нейронної мережі, - блок класифікації фрагментів мультимедійної інформації на структурні елементи за 60 ознаками тексту, зображення, таблиці та інше,
- блок обробки даних відеопотоку з пристрою відеофіксації АПК-К, - блок встановлення відповідності між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації; - блок встановлення вірогідності відношення кожного окремого погляду суб'єкта до читання, - блок формування даних множини поглядів та агрегування даних множини поглядів у координатну систему класифікованих структурних елементів наданої мультимедійної інформації, - блок розрахунку за кількістю у кожному структурному елементі щільності даних всіх поглядів й щільності даних поглядів визначених як читання, та встановлення відповідних порогових значень для розрахованих щільностей, що відмежовують статистичний шум, - блок розрахунку відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, - блок встановлення обсягу розпізнаної суб'єктом інформації, - блок встановлення обсягу прочитаної суб'єктом текстової інформації - блок надання статистичної інформації та формування звітів.
Перелік фігур
Фіг. 1 - Автоматизована система визначення обсягу розпізнавання інформації, де (1) АПК-К, (10) пристрій відеофіксації, (20) модуль відображення мультимедійної інформації, (30) модуль прийому та передачі даних, (50) модуль запису з пристрою відеофіксації даних відеопотоку, (40) модуль збереження даних, (70) модуль обробки даних, (80) блок обробки даних відеопотоку з пристрою відеофіксації АПК-К, (90) блок калібрування параметрів очей, (100) блок визначення окремих точок погляду у кожний момент часу у координатах площини модулю відображення мультимедійної інформації; (2) АПК-ВК, (21) модуль відображення мультимедійної інформації, (31) модуль прийому та передачі даних, (41) модуль збереження даних, (61) модуль верифікації особи суб'єкта-користувача, (71) модуль обробки даних, придатний для роботи та навчання штучної нейронної мережі, (81) блок роботи та навчання штучної нейронної мережі, (91) блок класифікації фрагментів мультимедійної інформації на структурні елементи, (101) блок обробки даних відеопотоку з пристрою відеофіксації АПК-К,
Зо (111) блок встановлення відповідності між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації, (121) блок встановлення вірогідності відношення кожного окремого погляду суб'єкта до читання, (131) блок формування даних множини поглядів та агрегування даних множини поглядів у координатну систему класифікованих структурних елементів наданої мультимедійної інформації, (141) блок розрахунку за кількістю у кожному структурному елементі щільності даних всіх поглядів й щільності даних поглядів визначених як читання, та встановлення відповідних порогових значень для розрахованих щільностей, (151) блок розрахунку відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, (161) блок встановлення обсягу розпізнаної суб'єктом інформації, (171) блок встановлення обсягу прочитаної суб'єктом текстової інформації, (181) блок надання статистичної інформації та формування звітів.
Фіг. 2 - Показники у часових серіях.
Фіг. З - Фільтрування за допомогою ВРОСУ, ЕРОСМУ.
Фіг. 4 - Фільтрування тільки рухів погляду на екрані.
Фіг. 5 - Згорткова нейронна мережа, архітектура з 113,006 навчальними параметрами.
Фіг. 6 - Класифікація кожної групи фіксацій (спостереження, згруповані за ЕРОСІВ).
Наявні способи та системи стеження за рухом очей для різноманітних цілей передбачають застосування спеціалізованих відеопристроїв - айтрекерів. Як правило, увага концентрується на визначенні точних координатних положень найменших структурних елементів тексту, зокрема слова, ще краще літери, та на відстеженні траєкторій та основних патернів руху. Існують певні обмеження застосування айтрекерів залежно від методу, на якому базується система, зокрема темної зіниці або світлої зіниці, та суттєвого впливу на отримані дані певних поведінкових реакцій.
Відомі методи не пропонують способів дистанційної обробки даних стеження за рухом очей отриманих від неспеціалізованих для відстеження руху очей пристроїв, зокрема, за допомогою стандартної веб-камери, що можуть бути визначені наприклад як веб-трекінг, або будь-якого відеопристрою, що приєднаний або інтегрований у будь-який електронний пристрій персонального використання, що придатний для отримання, обробки, передачі та,
необов'язково збереження даних, де такий спосіб має високу точність визначення та легкодоступну користувачу.
Для цілей визначення обсягу розпізнаної та/або прочитаної інформації суб'єктом без залучення спеціалізованого обладнання у цій корисній моделі пропонується поєднати автоматизовану систему налаштованих на виконання певних функцій програмно-апаратних засобів, застосування штучної нейронної мережі (за допомогою навчання якої на первинному етапі створено шаблонні моделі визначення щільності погляду у визначених структурних елементах мультимедійної інформації, зокрема електронного документу, що у подальшому дозволило досягти 96 95 точності у визначенні обсягу розпізнавання наданої мультимедійної інформації та визначенні обсягу прочитаної інформації), та певної послідовності їх застосування, що разом надало інструмент для верифікації ознайомлення суб'єкта із електронним документом.
Крім цього, у процесі ознайомлення із електронним документом суб'єкт має можливість відстежувати і зберігати всі матеріали для читання і пов'язані з ними метадані зчитування, здійснювати пошук і фільтрацію вмісту шляхом зчитування параметрів шаблону (наприклад, час і швидкість фіксації дозволяють виділити окремо область інтересу всередині тексту); отримувати після обробки різні аналітичні анотації, отримувати опції допомоги в режимі реального часу під час ознайомлення із вмістом мультимедійної інформації, зокрема читання (наприклад, автоматизований переклад). Система автоматично відстежує рух очей та співставляє їх з інформацією, наприклад текстом на екрані, що дозволяє обробляти шаблони зчитування в реальному часі і зберігати всі метадані для подальшого аналізу.
Для вирішення проблеми перевірки читання за допомогою комп'ютерних технологій у заявленій корисній моделі потрібно було перетворити звичайний стандартний відеопристрій, зокрема веб-камеру на пристрій відстеження очей. Для цих потреб було застосовано машинне навчання для побудови системи відстеження погляду очей та розпізнавання специфічних рухів очей під час читання, що разом із введенням нових елементів та вдосконалення відомих, а також за рахунок нових зав'язків та визначеної послідовності дій дозволило ефективно вирішити проблему перевірки читання.
Здійснення корисної моделі включає застосування звичайних відеопристроїв, зокрема
Зо підключених, вбудованих або інтегрованих у будь-які електронні пристрої, наприклад планшет, смартфон, ноутбук, персональний комп'ютер або інший відповідний, що вимагає створення пристосованого апаратно-програмного комплексу (АПК), де важливим також є вибір даних для відеофіксації, способу відеофіксації, спосіб їх обробки, передачі та вибір критеріїв для інтерпретації.
На початку була проведена робота щодо аналізу візуальної активності суб'єкта, де за даними погляду класифікували читання/нечитання, виявляли регресії, міжрядкові переходи (5меєр5) та саккади, картували множину окремих поглядів на структурних елементах мультимедійної інформації/документа. Як придатний засіб для цього було використано програму (зокрема як описано, Вопота; В. Спаиб5 М., МеіІпуспик У. Маспіпе І єатіпд
Тесппіднез іп Веадіпу ТгасКіпд. Меєї усиг (ІЗТОВМІ ООК)І / АВ. Вопйота?, М. Снацв, У. МеІпусник. -
Веепімеогї Асадету апа АвОіаре рапйпегей ом/йй ОайаНКоої їар5. - Осі 19, 2018 порз//теаіййт.сот/ФВеепімеогагоМир/таспіпе-Ієагтіпд-Іесппідпез-іп-геадіпа-ігасКіпд-тееї-уоиг- аіогуісок-бас7ббавазЗа), для створення якої застосували переважно бібліотеки з відкритим кодом.
Відомості всіх патентів, опублікованих заявок та посилань, цитованих у цьому описі, включені як посилання що охоплюють всю їх повноту.
Збір даних
При зборі даних для відстеження людської діяльності використовували трекер, наприклад
СаеРоїіпі еує, що дозволило отримати координати погляду з кутом похибки не більше 1-1,5 градусів після калібрування. Під час кожного сеансу програма СаеРоїпі Апаїузів записує відео та зображення на екрані разом з табличними даними про рух погляду.
Весь набір даних складався з 2 частин: 51 часової серії читання та 85 - "нечитання". Кожен учасник дослідження повинний був виконати наступні дії: читати 2-хвилинний текст; знайти конкретну інформацію та речі на зображеннях, дивитися 3-хвилинне відео.
Отримані часові серії складаються з декількох стовпців (Фіг. 2): - ЕРОСХ, ЕРОУ - координати екрана, відносно роздільної здатності екрана, алгоритм А - ВРОСХ, ВРОСХУ - координати екрана, відносно роздільної здатності екрана, алгоритм В - ЕРОСІбВ - ідентифікатор фіксації - ФПОГД - тривалість фіксації очей бо - БПОГВ, ФПОГВ - обгрунтованість інформації
- ВКІО - ідентифікатор блимання
Попередня обробка даних і вибір функцій
У ході нашого дослідження ми виявили, що відстежені координати не можуть бути ідеальними. Мигання, переміщення голови, змінне освітлення - всі ці чинники переривають або псують потік даних. Отже було зроблено додаткові кроки, що могли полегшити ситуацію, було прийнято згладжування руху погляду як основний варіант, хоча значення цього підходу має межі. Згладжування виключає одну важливу особливість - мікросакади. Саккади є швидким, одночасним рухом обох очей між двома точками кріплення. Мікросаккади - це рух в межах однієї фіксації, що дає відповідь на те, як користувачі фіксують свій погляд. Хоча згладжування не є ідеальним вибором, коли мова йде про саккади, воно допомагає апроксимувати виявлення слів.
Ось що означало фільтрування для цих дослідницьких цілей (Фіг. 3, 4): - фільтрування за допомогою ВРОСМ, ЕРОСМУ, - фільтрування тільки рухів погляду на екрані.
Щоб легко маніпулювати набором даних і моделями тренувань/гестів було обрано вікно обробки часової послідовності шириною у 100 значень (що приблизно відповідає середньому часу для читання однієї площині на папері формату А4). Це призвело до розщеплення всіх наборів даних на 24 568 серій читання і 14 288 серій "нечитання" багатьох часових серій з довжиною у 100 значень, з врахуванням 90 95 перекриття.
Класифікація читання/нечитання.
Далі було використано три основні методи класифікації часових рядів. Було створено три групи функцій: виявлення лінійного тренда для ЕРОСХ, сезонність та загальні характеристики, однак вибрані функції виявилися не інформативними та не описували добре дані.
Наступною була застосована згорткова нейронна мережа. Використовувалися функції ах, ау. Після деякого налаштування було знайдено оптимальну архітектуру з 113,006 навчальними параметрами, див. Фіг. 5. Ця модель давала 96 95 точність на підгрупі тестів і згодом була вибрана як базова модель для подальших досліджень.
Читання моделей кластеризації
Головне завдання полягало у класифікуванні кожної групи фіксацій (спостереження, згруповані за ЕРОСІЮ) як одної з трьох основних патернів: саккади, міжрядкові переходи, регресії (Фіг. 6).
Основна перешкода, що виявилася на даному етапі, була маркування набору даних, оскільки дані з частотою 60 Гц по суті важко маркувати. Це також виявилося проблемою для кластеризації. Деякі з незначних проблем, які були вирішені, це висока подібність між регресіями та міжрядковими переходами, а також фіксаціями під час скролінгу (5сгоїІїпо), які виявилися викидами. Для виключення фіксацій під час скролінгу використали алгоритм класифікації читання.
Весь набір даних був відфільтрований лише від точок до саккад. Щоб отримати дані саккад, згрупували точки за ідентифікатором фіксацій (ЕРОСІЮ) і відібрали тільки останнє спостереження з кожної групи. В результаті, всі ідентифіковані саккади були розділені на мінімальні/максимальні значення з наївним алгоритмом уздовж горизонтальної осі, а мінімальні саккади були розділені на групи міжрядкових переходів та регресій. Для досягнення необхідних результатів використали кластеризацію із застосуванням методу К-середніх на трьох основних функціях саккад: проекція міжрядкових переходів по горизонтальній осі, кут міжрядкових переходів по горизонтальній осі та відмінність від попередньої саккади.
Одним з прикладів автоматизованої обробки мультимедійної інформації є створення цілісного текстового документа з відео у наступній послідовності: ідентифікація статичних кадрів на відео (з пороговим відхиленням між знімками), відокремлення листів (текстових фрагментів) з рамки, наступне об'єднаннняаркушів в єдиному "панорамному" зображенні, відокремлення тексту у відображений документ, виявлення точок інтересу.
У результаті вдалося отримати модель машинного навчання, здатну з точністю до 97 95 прогнозувати, чи читав/не читав користувач текст протягом 1,6 секунд запису.
Деякі основні висновки дослідження свідчать, що алгоритм, який спирається на передбачення попередньої моделі машинного навчання (МІ), може враховувати рух погляду (регресії, міжрядкові переходи (змеерз) та саккади) і обчислювати відносну швидкість читання; алгоритм, який надає інформацію про цікавість читача, забезпечує ваговий коефіцієнт для даного слова, що може бути важливим для читача.
Вчені, які досліджують таку поведінку людини, як відстеження погляду, можуть виявити раніше заблоковані області в техніці здоров'я і бізнесу. Як обгрунтовано даним алгоритмом, бо можна зробити прогнози в режимі реального часу, засновані на технологіях спостереження за поглядами, і, можливо, вийти за межі цього з більш науковим застосуванням, яке ніхто не вважав можливим раніше.
Визначення загальних параметрів читання без чіткого відокремлення тієї частини текстової інформація, що дійсно була прочитана, не дозволяє із високою точністю спрогнозувати або встановити обсяг розпізнаного змісту текстової інформації серед всієї мультимедійної або всієї текстової інформації, важкість її засвоєння, відокремлення особливо важливих за змістом фрагментів тощо.
Із залученням описаного вище було створено автоматизовану систему для кращого здійснення визначення обсягу розпізнавання інформації суб'єктом при наданні мультимедійної інформації, зокрема визначення обсягу прочитування суб'єктом структурних елементів мультимедійної інформації або електронного документа, визначеного, як текст. Вибрані параметри для цільового навчання штучної нейронної мережі дозволяють проводити наступне визначення вірогідності відношення кожного окремого погляду суб'єкта до читання. При цьому, за даними просторових та часових характеристик руху очей з врахуванням поведінкових реакцій можливо розподілити ділянки текстових фрагментів мультимедійної інформації на групи "уважне читання", "оглядове або ознайомлювальне читання", "сканувальне читання" та "скролінг" та відокремити для подальшого аналізу ділянки текстових фрагментів, що виділені як "уважне читання" або власне читання.
Автоматизований спосіб визначення обсягу розпізнавання інформації суб'єктом здійснюють наступним чином.
За допомогою блока калібрування очей (90) у АПК-К (1) проводять калібрування параметрів очей з врахуванням індивідуальних анатомічних параметрів очей при наданні суб'єкту рухливих візуальних стимулів та завдання на стеження. Калібрування може проводитись як одноразово так й кілька- або багаторазово за потребою, зокрема із певною періодичністю або перед кожним сеансом надання суб'єкту мультимедійної інформації.
Зв'язок взаємодії суб'єкта із мультимедійною інформацією підтверджують шляхом верифікації особи суб'єкта у модулі (61), що здійснюють перед наданням суб'єкту мультимедійної інформації на підставі візуальних даних про суб'єкта, які вводять у віддалений
АПК-ВК, одноразово або кілька- або багаторазово, наприклад із певною періодичністю або
Зо перед кожним наступним наданням суб'єкту мультимедійної інформації, або після переривання сеансу перегляду на заздалегідь установлений час перед кожним сеансом надання мультимедійної інформації після такого переривання.
Ідентифікація/верифікація особи суб'єкта може відбуватися за рахунок внесення даних про суб'єкта у базу даних модулю збереження даних відповідного пристрою заздалегідь або при першому зверненні суб'єкта до АПК-К.О У подальших сеансах звернення суб'єкта до мультимедійної інформації щодо якої передбачено визначення обсягу розпізнавання та/або прочитання у будь-якому визначеному режимі порівнюють параметри суб'єкта із наявними у базі даних протягом всього періоду сеансу або сеансів обробки інформації суб'єктом. При авторизації у системі при першому зверненні для спрощення механізму ідентифікації/верифікації та скорочення часу на ідентифікацію може бути застосована система входу у систему за допомогою наявних акаунтів, зокрема акаунтів соціальних мереж тощо, що включають аудіо- та або фото- та/або відеофіксовані дані суб'єкта, зокрема його зовнішності, наприклад рис обличчя, тощо.
Після калібрування або до нього, або під час калібрування за допомогою модулю прийому та передачі даних, що придатний для прийому та передачі інформації (31) завантажують мультимедійну інформацію на віддалений АПК-ВК (2) та за допомогою блоку класифікації фрагментів (91) класифікують її фрагменти на структурні елементи за ознаками - текст, зображення, таблиця та інше (уся інша інформація, відмінна від тексту, зображень або таблиць).
Далі передають класифіковану інформацію з віддаленого АПК-ВК (2) на АПК-К (1) та надають її суб'єкту на модулі відображення мультимедійної інформації (20).
Відображення мультимедійної інформації може відбуватися на будь-якому придатному засобі відображення, наприклад екран телевізора, монітор комп'ютера або ноутбука, дисплей смартфона, дисплей планшета тощо.
За допомогою пристрою відеофіксації (10) відеопотоку, у модулі запису (50) АПК-К (1) записують дані руху очей та/або погляду з врахуванням поведінкових реакцій у вигляді щонайменше мигання очей та/або рухів голови, та/або змін координат попередньо маркованих точок на обличчі, та у блоку обробки даних відеопотоку (80) модуля обробки даних (70) за допомогою блока визначення окремих точок (100) визначають окремі точки погляду у кожний момент часу у координатах площини модулю відображення мультимедійної інформації (20)
АПК-К (1) під час надання мультимедійної інформації.
Важливим є те, що як пристрій відеофіксації застосовують будь-який відеопристрій, що виконаний з можливістю прийняття та передачі відеоданих, зокрема веб-камера або відеокамера, що підключена або інтегрована у АПК-К (1), зокрема може бути застосована підключена до персонального електронного пристрою (персональний комп'ютер, телефон, смартфон, планшет або інший) фото та/або відеокамера або наявна, вбудована у зазначений пристрій, або інше.
Отриману інформацію у будь-який відомий спосіб (дротовий або бездротовий) із застосуванням модулів прийому та передачі даних (30) та (31) передають на віддалений АПК-
ВК (2) та далі у модуль обробки даних (71).
Із застосування блока роботи та навчання штучної нейронної мережі (81) та блока встановлення відповідності (111) виявляють відповідність між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації, далі із застосуванням штучної нейронної мережі блоку (81) формують дані множини поглядів та за допомогою блока встановлення вірогідності (121) визначають вірогідність відношення кожного окремого погляду суб'єкта до читання.
Зазначені дані множини поглядів агрегують у координатну систему класифікованих структурних елементів наданої мультимедійної інформації у блоку формування та агрегування множини даних погляду (131).
Далі у модулі обробки даних (71) розраховують у блоку розрахунку (151) за кількістю у кожному структурному елементі щільність даних всіх поглядів й щільність даних поглядів визначених як читання, та встановлюють відповідні порогові значення для розрахованих щільностей, що відмежовують статистичний шум.
Додатково у модулі обробки даних (71), необов'язково у окремому блоці, що пов'язаний із блоками (81)-(181), визначають кількість переходів від визначеного тексту до супутніх матеріалів, зокрема таблиць та/або зображень та час, що витрачається на такі переходи, що враховують при визначенні поведінкових реакцій при читанні та "не читанні".
Потім у блоці розрахунку відношення площі перекриття області (151) визначають відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, й встановлюють обсяг розпізнаної інформації суб'єктом за допомогою блока (161) встановлення обсягу розпізнаної суб'єктом інформації, після чого за допомогою блока (171) встановлення обсягу прочитаної суб'єктом текстової інформації визначають прочитану інформацію.
Мультимедійна інформація, яка підлягає обробці суб'єктом, являє собою будь який вид інформації, що придатний для відображення на різноманітних пристроях, й може містити текст або його фрагменти (зокрема наприклад написи, числа), таблиці, зображення, текстові фрагменти без зображень та/або таблиць або із зображеннями та/або таблицями у відомих форматах представлення електронних документів, наприклад являє собою електронний документ, електронну книгу (наприклад, виробничий документ, навчальний матеріал, електронний тестувальний матеріал, розважальний матеріал тощо) та/або відеоінформацію, що містить текстові фрагменти та/або зображення та/або таблиці. Після обробки у блоку (91) завантаженої у АПК-ВК мультимедійної інформації проводять її класифікацію шляхом відділення від всього обсягу контенту фрагментів, що містять ознаки тексту, що являють собою текстові фрагменти, таблиці (із текстовими елементами та числами) та зображення, зокрема, що пов'язані із текстовими та/або табличними фрагментами.
Суб'єкту мультимедійна інформація надається у звичайному форматі, але попередня класифікація дозволяє сконцентруватися на поведінкових реакціях та рухах очей у взаємозв'язку із цільовими частинами мультимедійної інформації.
Віддалений АПК-ВК також забезпечує можливість представлення результатів обробки даних стосовно обсягу розпізнавання та/або прочитання мультимедійної інформації на пристрої відображення (20) користувача у різноманітний спосіб. Обсяг та вид надання цих даних можуть визначатися оператором віддаленого АПК-ВК та/або володільцем цієї мультимедійної інформації та/або користувачем або іншим чином.
Зокрема, у блоку надання статистичної інформації (181) формують дані щодо поведінки суб'єкта під час читання, зокрема об'єму прочитаної інформації, швидкості читання, складності сприйняття інформації, дані щодо різних аспектів руху очей, та у подальшому на підставі цих даних формують звіт, зокрема сертифікат перевірки читання, зокрема як електронний документ,
по завершенню кожного сеансу або серії сеансів надання мультимедійної інформації або її фрагмента.
Зокрема, на модулі відображення мультимедійної інформації (20) та/або (21) надають сформований звіт та/або карту у будь-якій візуально прийнятній формі, та/або діаграму, та/або графік або інше, щільності поглядів та/або щільності даних поглядів, визначених як читання, та/або площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, та/або розрахований відсоток переглянутих структурних елементів від загальної кількості структурних елементів при наданні мультимедійної інформації, у яких погляд не був визначений як читання, та/або розрахований відсоток структурних елементів, у яких дані погляду були визначені як читання, від загальної кількості структурних елементів при наданні мультимедійної інформації, та/або розраховане відношення обсягу переглянутих структурних елементів, у яких погляд не був визначений як читання, до обсягу структурних елементів, у яких дані погляду були визначені як читання, при наданні мультимедійної інформації тощо.
Така візуалізація результатів розпізнавання та/або читання мультимедійної інформації та швидкості цих процесів, може відбуватись як по завершенні сеансу надання мультимедійної інформації, так й протягом сеансу по завершенню перегляду певних визначених фрагментів мультимедійної інформації у режимі реального часу. Це є додатковим інструментом контролю процесу розпізнавання та/"або читання для користувача та/або володільця мультимедійної інформації та/або оператора відділеного АПК-ВК та розвивається у ряд додаткових можливостей описаного тут способу та системи.
Застосування підходу машинного навчання робить заявлений спосіб перевірки ознайомлення із мультимедійною інформацією та перевірки читання легко застосовним та стандартним на безлічі пристроїв. Завдяки заявленому способу та системі у режимі реального часу із застосуванням будь-якого засобу відеофіксації можна виявити з 97 95 точністю, чи людина читає в даний момент та розрахувати обсяг дійсно прочитаної інформації.
Отримані у такій спосіб данні щодо обсягу та/або швидкості розпізнавання та прочитання інформації дозволяють розширити можливості застосування описаних тут способів та/або систем, що базуються на технології стеження за рухом очей, для різних цілей.
Зо Так, з урахуванням можливості чіткої ідентифікації/верифікації особи суб'єкта у зв'язку із конкретною мультимедійною інформацією, наприклад електронним документом, що він переглядає, розпізнає та прочитує, виникає можливість незалежного автоматизованого підтвердження ознайомлення цією особою із документом та підтвердження обсягу прочитаної інформації, що дозволяє із високим ступенем вірогідності стверджувати про глибину когнітивної обробки інформації конкретним суб'єктом. Це є корисним при різноманітних навчальних процесах, при оцінці певних професійних навичок, оцінці дистанційної взаємодії між персоналом всередині одного підприємства або між різними структурами, зокрема державного сектора, у юридичній практиці, тощо. Зв'язок між особою суб'єкта, конкретним електронним документом, із яким він ознайомився, та обсягом прочитаного у цьому документі контенту дозволяє здійснити автоматизовану та легкодоступну сертифікацію щодо прочитаного документа, зокрема шляхом створення сертифікату підписування документу, що може бути застосовано у безлічі галузей.
Обмін даними між АПК-К та АПК-ВК здійснюється за допомогою дротової або бездротової передачі, при цьому налаштування АПК-ВК дозволяє розширити систему та здійснювати такий обмін даними з множиною АПК-К, а також забезпечує зменшення функціонально-програмного навантаження на АПК-К, всі отримані дані суб'єкта зберігають у модулі збереження даних (41)
АПК-ВК та необов'язково частину даних, зокрема звіти та/або карти та/або сертифікати - у АПК-
К.
Хоча описані втілення базувалися на переважних варіантах, фахівцям в даній галузі техніки буде зрозуміло, що можуть бути внесені різні зміни у формі і деталях без відхилення від обсягу втілень, охоплених формулою корисної моделі, що додається.

Claims (2)

ФОРМУЛА КОРИСНОЇ МОДЕЛІ
1. Автоматизований спосіб верифікації ознайомлення суб'єкта із електронним документом, який відрізняється тим, що включає попереднє встановлення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа, що достатній для формування сертифікату підписання електронного документа верифікованим суб'єктом, верифікацію особи суб'єкта на підставі попередньо введених у апаратно-програмний комплекс (АПК) візуальних даних про суб'єкта на початку сеансу надання суб'єкту електронного документа та протягом кожного наступного 60 сеансу надання того ж самого документа тому ж самому суб'єкту, автоматизоване визначення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа верифікованим суб'єктом при наданні електронного документа за всіма сеансами надання одного й того ж документа у системі АПК з використанням технології стеження за очима та із застосуванням штучної нейронної мережі, й у разі, якщо суб'єкт підтверджує завершення сеансу/сеансів ознайомлення із документом та погоджує підписання й якщо визначений обсяг розпізнаної верифікованим суб'єктом інформації, зокрема обсяг прочитаного документа, що дорівнює або більший за попередньо встановлений обсяг, формують сертифікат підписання документа.
2. Спосіб за п. 1, який відрізняється тим, що визначення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа верифікованим суб'єктом здійснюють за допомогою способу, у якому застосовують систему, що включає: апаратно-програмний комплекс користувача (АПК-К), у якому поєднані або інтегровані пристрій відеофіксації, модуль відображення мультимедійної інформації, модуль прийому та передачі даних, модуль запису з пристрою відеофіксації даних відеопотоку, модуль збереження даних, модуль автоматизованої обробки даних, та віддалений апаратно-програмний комплекс взаємодії із користувачем (АПК-ВК), у якому поєднані або інтегровані модуль візуального надання мультимедійної інформації, модуль прийому та передачі даних, модуль збереження даних, модуль верифікації суб'єкта- користувача, модуль обробки даних, що придатний для роботи та навчання штучної нейронної мережі, й спосіб включає наступні етапи: у АПК-К проводять калібрування параметрів очей при наданні суб'єкту тестової інформації у вигляді рухливих візуальних стимулів; завантажують мультимедійну інформацію на віддалений АПК-ВК та класифікують її фрагменти на структурні елементи за ознаками - текст, зображення, таблиця та інше; передають класифіковану інформацію з віддаленого АПК-ВК на АПК-К та надають її суб'єкту; отримують за допомогою пристрою відеофіксації відеопоток, за даними якого у модулі запису АПК-К записують дані руху очей та/або погляду з врахуванням поведінкових реакцій у вигляді щонайменше мигання очей та/або рухів голови, та/або змін координат попередньо маркованих точок на обличчі, визначають окремі точки погляду у кожний момент часу у координатах площини модулю відображення мультимедійної інформації АПК-К під час надання Зо мультимедійної інформації; передають отриману інформацію на віддалений АПК-ВК, у якому: встановлюють відповідність між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації; із застосуванням штучної нейронної мережі формують дані множини поглядів та встановлюють вірогідність відношення кожного окремого погляду суб'єкта до читання; агрегують зазначені дані множини поглядів у координатну систему класифікованих структурних елементів наданої мультимедійної інформації; розраховують за кількістю у кожному структурному елементі щільність даних всіх поглядів й щільність даних поглядів, визначених як читання, та встановлюють відповідні порогові значення для розрахованих щільностей, що відмежовують статистичний шум; розраховують відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, й встановлюють обсяг розпізнаної інформації суб'єктом, за яким визначають інформацію як прочитану.
З. Спосіб за п. 2 або 3, який відрізняється тим, що визначення обсягу розпізнавання інформації, зокрема обсягу прочитаного документа верифікованим суб'єктом, здійснюють за допомогою системи, що включає: а) апаратно-програмний комплекс (АПК) користувача (АПК-К), у якому поєднані або у який інтегровані: ї) пристрій відеофіксації, ії) модуль відображення мультимедійної інформації, ії) модуль прийому та передачі даних, що придатний для прийому та передачі отриманої інформації на віддалений АПК взаємодії із користувачем (АПК-ВК), їм) модуль запису з пристрою відеофіксації даних відеопотоку, що стосуються руху очей та/або погляду, та поведінкових реакцій у вигляді щонайменше мигання очей та/або рухів голови, та/або змін координат попередньо маркованих точок на обличчі, м) модуль збереження даних, мі) модуль обробки даних, що включає: 60 блок обробки даних відеопотоку з пристрою відеофіксації АПК-К,
блок калібрування параметрів очей при наданні мультимедійної інформації, блок визначення окремих точок погляду у кожний момент часу у координатах площини модулю відображення мультимедійної інформації під час надання інформації, та б) віддалений АПК взаємодії із користувачем (АПК-ВК), у якому поєднані або у який інтегровані: ї) модуль відображення мультимедійної інформації, і) модуль прийому та передачі даних, що придатний для прийому та передачі отриманої й обробленої інформації на АПК-К, ії) модуль збереження даних, їм) модуль верифікації особи суб'єкта-користувача, м) модуль обробки даних, що придатний для роботи та навчання штучної нейронної мережі, що включає: блок роботи та навчання штучної нейронної мережі, блок класифікації фрагментів мультимедійної інформації на структурні елементи за ознаками тексту, зображення, таблиці та інше, блок обробки даних відеопотоку з пристрою відеофіксації АПК-К, блок встановлення відповідності між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації; блок встановлення вірогідності відношення кожного окремого погляду суб'єкта до читання, блок формування даних множини поглядів та агрегування даних множини поглядів у координатну систему класифікованих структурних елементів наданої мультимедійної інформації, блок розрахунку за кількістю у кожному структурному елементі щільності даних всіх поглядів й щільності даних поглядів визначених як читання, та встановлення відповідних порогових значень для розрахованих щільностей, що відмежовують статистичний шум, блок розрахунку відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, блок встановлення обсягу розпізнаної суб'єктом інформації, Зо блок встановлення обсягу прочитаної суб'єктом текстової інформації, блок надання статистичної інформації та формування звітів. АПК їж АпК-Ви С МН я вк шен кі 3) ЩІ ! Мережа ! п і І і ін | ще Голов) Іво 90) І | , Е | ! і ! ! ! | і 1 Е
Фіг. 1
ТМЕСОТТМ ЕН НІНКОФЯЯ БРОБХ РОВУ ОБРОБ БРОБО РРО РОБ ВРОСХ ВРОСУ ВРОСУ ВК ВКОШК ВКРММ фот в об біс небез ро Нюв 6 в в З нлаю омаб оо Зб 0360 2 ї боб о398 1 а що 2 2 нав омав ою нео 06 та 1 ою 1 й що 20 З лю о омею ЗК ОБ 28 о ази Не 1 в 50 Ру й ЗО ог ОЗ МОБ ОБ а о 363 Б 1 8 во Ки я ВРОЦХ, ЕРОСГУ - координати екрану, відносно роздільної здатності скраці влгопим А х ВРОПХ, ВРОЄТУ - координати екраву. віднеєно роздільної златності скрана, алгоритм В 6 БРОНІ - ідевтифікатор фікеації я ФПОГД - зрижалієть фіксації очей 8 БЛОГИ, ФІГ - обуруптованить інформації - ВЖИ - іде афихатор вливаних Фіг. 2 Рухм чий надова чна ма дисплеї : зеюк фруд дякИХх п З Ї З і, «а т ЕВ "й | тет Відфільтоовані даві щи КАК НЕННЯ ШІ ЕК НЕ В ЖЕК; ЕК а У ЕВКВ ща ОБУ У МУ МОВО МЕ ІВ ро. 5 БОМ КК ОХ М ТЕ УЖ КК: 358 КН КВ З зе 5 Я НН ЕНН з ох і. КЗ 3 О З З І У БВ З Е ЕЕ КН НК Її 1 і Я вз Но НАШІ Ех - ши щи - пута пк пах пив дів Мас
Фіг. З Тривалість часзвих серій де МОМ Читання 0лдо3а . Ж Не чизання 000030 В. . А ЩА ї оо0025 в: | С с. х УМХ ЩЕ Кх. АХ оз 5 ШІ ШК щова2о ОЗ ШК . З а Я о. ОО о. г ЖЕЛЖШЕНИИНИМЕИН МИХ КЕ у;
і п.ооото ! о о. ; вовюра -0 ОН й 2000 4900 8000 БО 10000 32005
Фіг. 4
В З ї забої ВаІ 1 ер З) бМевде, 198, 3) сопХіЯ ГО СОДИ. зеннннкнреанехналнннккадннкнакннучнх ошщробє р (Мене 10.) Й іони. і Море, МК З ми: роси з. МаХКООВИВІ р-н - -- М ом: р бМапе, 50. КО (Мене, 50, З свисій Мчч О и ее ЗТ су й шен: | (Крве, хО, Т і нах рообвеїй 5 Махрові - - і т (Мане, 35,7) о вра ої Мене 37 сов сою ре пиво зам і Очовпе, 25, 445) пом ДИН І рик) йхове, 3. АХ раси ж ДРОВ ень - іона ) опе, 15. БЕ Й 0 раб фіМеове М НИ УМ Я СОМИ : свіч З (Мене. 13 2 І І і ожрн у Моне. 33. 2553 тах росій г махроонняТО - - РОБ у (Моле, в, 255) о о пл т жлютвтютютють м'я м м'яячня іриб | (Мове, 5. 288) Дай 1: ДВК рення втттнтннтннетннннтя ий ро (Мове 172) нама: Море 1725) форс г доро мих почав 7 свемнй: З КМене, 3728) І шриб Моне, 173) ска ГК пепхе одне пи романи Щ орі. іЗоле. 2
Фіг. 5
4е корегувальна саккада : після зворотного 74 міжрядкового переходу /Міжрядкові переходи 3 т й 1 і пнВамічний . - ; дивамічнии Ффіксаці / пет Ї переліт рон: і пиши І рон З зв | Ї з 7 регресійна . З їх У и в а я шо прогресійна саккала Шк я- дуже короткі (50 ме) фіксації сакхада Ш-- т- ! ви і І , ж шк ї Е і : І -У,
ла. 0с Основні характеристики рухів очей при читанні, відомі з чисів /ауа!
Фіг. 6
UAU201904742U 2019-05-03 2019-05-03 Автоматизований спосіб верифікації ознайомлення із електронним документом UA141318U (uk)

Priority Applications (1)

Application Number Priority Date Filing Date Title
UAU201904742U UA141318U (uk) 2019-05-03 2019-05-03 Автоматизований спосіб верифікації ознайомлення із електронним документом

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
UAU201904742U UA141318U (uk) 2019-05-03 2019-05-03 Автоматизований спосіб верифікації ознайомлення із електронним документом

Publications (1)

Publication Number Publication Date
UA141318U true UA141318U (uk) 2020-04-10

Family

ID=71118087

Family Applications (1)

Application Number Title Priority Date Filing Date
UAU201904742U UA141318U (uk) 2019-05-03 2019-05-03 Автоматизований спосіб верифікації ознайомлення із електронним документом

Country Status (1)

Country Link
UA (1) UA141318U (uk)

Similar Documents

Publication Publication Date Title
Dewan et al. Engagement detection in online learning: a review
Escalante et al. Modeling, recognizing, and explaining apparent personality from videos
Sanchez-Cortes et al. Emergent leaders through looking and speaking: from audio-visual data to multimodal recognition
Nguyen et al. Hirability in the wild: Analysis of online conversational video resumes
Asteriadis et al. Estimation of behavioral user state based on eye gaze and head pose—application in an e-learning environment
Mack et al. Object co-occurrence serves as a contextual cue to guide and facilitate visual search in a natural viewing environment
Megreya et al. The other-race effect does not rely on memory: Evidence from a matching task
US8600100B2 (en) Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions
Davis et al. Identification from CCTV: Assessing police super‐recogniser ability to spot faces in a crowd and susceptibility to change blindness
Sharma et al. Automatic group level affect and cohesion prediction in videos
Burgoon et al. Patterns of nonverbal behavior associated with truth and deception: Illustrations from three experiments
Chan et al. Multimodal learning analytics in a laboratory classroom
Heaton et al. Reduced visual exploration when viewing photographic scenes in individuals with autism spectrum disorder.
Wang et al. Automated student engagement monitoring and evaluation during learning in the wild
WO2023041940A1 (en) Gaze-based behavioural monitoring system
Bosch et al. Can computers outperform humans in detecting user zone-outs? Implications for intelligent interfaces
van Driel et al. Capturing and characterizing teachers’ noticing as basis for their classroom management in different career stages: a data paper
Qu-Lee et al. The relationship between visual confirmation bias, belief consistency, and belief polarization
Pozzulo et al. Familiarity and conviction in the criminal justice system: Definitions, theory, and eyewitness research
Hirt et al. Measuring emotions during learning: lack of coherence between automated facial emotion recognition and emotional experience
Ward et al. Protocols for the investigation of information processing in human assessment of fundamental movement skills
US20230105077A1 (en) Method and system for evaluating and monitoring compliance, interactive and adaptive learning, and neurocognitive disorder diagnosis using pupillary response, face tracking emotion detection
UA141318U (uk) Автоматизований спосіб верифікації ознайомлення із електронним документом
Lu et al. Recognition of students’ abnormal behaviors in English learning and analysis of psychological stress based on deep learning
JP2022135476A (ja) 情報処理装置、及びプログラム