UA141317U - Автоматизований спосіб визначення обсягу розпізнавання інформації - Google Patents

Автоматизований спосіб визначення обсягу розпізнавання інформації Download PDF

Info

Publication number
UA141317U
UA141317U UAU201904741U UAU201904741U UA141317U UA 141317 U UA141317 U UA 141317U UA U201904741 U UAU201904741 U UA U201904741U UA U201904741 U UAU201904741 U UA U201904741U UA 141317 U UA141317 U UA 141317U
Authority
UA
Ukraine
Prior art keywords
data
multimedia information
subject
reading
information
Prior art date
Application number
UAU201904741U
Other languages
English (en)
Inventor
Сергій Анатолійович Данилов
Original Assignee
Сергій Анатолійович Данилов
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сергій Анатолійович Данилов filed Critical Сергій Анатолійович Данилов
Priority to UAU201904741U priority Critical patent/UA141317U/uk
Publication of UA141317U publication Critical patent/UA141317U/uk

Links

Landscapes

  • Image Analysis (AREA)

Abstract

Автоматизований спосіб визначення обсягу розпізнавання інформації суб'єктом при наданні мультимедійної інформації включає надання мультимедійної інформації, фіксацію та обробку даних щодо руху очей суб'єкта із застосуванням пристрою відеофіксації та із застосуванням штучної нейронної мережі визначення обсягу розпізнавання суб'єктом наданої мультимедійної інформації.

Description

Корисна модель належить до технологій, що залучають засоби й методи стеження за рухом очей суб'єктів і стосується автоматизованого способу визначення обсягу читання або розпізнавання суб'єктом визначених ділянок при наданні мультимедійної інформації. Корисна модель дозволяє встановити, чи був суб'єкт ознайомлений із представленою йому візуальною інформацію, зокрема текстовою інформацією та/або образною інформацією, у якому обсязі, та чи був цей обсяг достатній для підтвердження ознайомлення суб'єкта із змістом текстових фрагментів наданої мультимедійної інформації, чи прочитав суб'єкт представлену інформацію, зокрема чи прочитав суб'єкт текстову інформацію.
Корисна модель дозволяє об'єктивно встановити чи прочитав визначений суб'єкт текстову інформацію та у якому обсязі, та чи відповідає це визначеному обсягу, що встановлений як достатній для сприйняття суб'єктом змісту представлених текстових фрагментів у наданій мультимедійній інформації.
Технології стеження за очима (окулографія, айтрекінг) передбачають визначення певних характеристик руху очей, зокрема визначення точки, на яку спрямований погляд, або координат точки перетинання оптичної осі ока (очного яблука) із площиною визначеного об'єкта, зокрема площиною пристрою, на якому надається/пред'являється певний зоровий подразник.
Застосування систем стеження за очима (айтрекінг або окулографія) у різних галузях й зокрема для визначення читання суб'єктом відомі.
Відомий спосіб підтвердження читання електронного повідомлення користувачем із застосуванням технології відстеження положення очей під час читання користувачем на електронному пристрої електронного повідомлення, що містить безліч рядків, у якому за ознаками положення очей, зокрема визначення координат положення очей, визначають кількість переглянутих користувачем рядків повідомлення й визначають чи прочитав користувач повідомлення шляхом порівняння кількості рядків, що переглянуті очима, із пороговою кількістю рядків, що базується на множині рядків електронного повідомлення. Крім того, визначають чи користувач був здивований під час перегляду електронного повідомлення, шляхом порівняння тривалості часу, витраченого оком при перегляді електронного повідомлення, із очікуваною тривалістю часу для відображення наданого електронного повідомлення (05 2016/0094705 АТ, 31.03.2016).
Відомий спосіб та система для тестування знань мови користувачем, що дозволяє автоматично визначати рівень володіння мовою із застосуванням технології відстеження погляду користувача під час читання зразку тексту, за допомогою камери (або трекера) для очей, що з'єднана з процесором і виконана з можливістю запису часу фіксації очей для кожного слова зразку тексту, який пред'являють користувачу, і подальшого запису сакадного часу для кожної пари слів, по яких пересувається погляд користувача між фіксаціями, з наступним порівнянням параметрів погляду користувача з параметрами моделі погляду щонайменше одного читача, що має певний відомий рівень володіння мовою, і наступним генеруванням оцінки володіння мовою користувачем на основі результатів порівняння (05 2019/0080623 А! 14.03.2019).
У 05 2012/0237084 АТ, 20.09.2012) описані спосіб та система для ідентифікації тексту та його положення у візуальному медіа-контенті, наприклад, документа, що відображається на моніторі комп'ютера або іншому пристрої відображення, що дозволяють визначити, чи суб'єкт взаємодіяв із текстом, рівень взаємодії суб'єкт із текстом, наприклад, чи розглядав суб'єкт текст, чи читав суб'єкт текст, чи сприйняв суб'єкт текст і зрозумів його або інші види взаємодії суб'єкта із текстом. Визначення здійснюється на основі даних, що отримані з пристрою відстеження ока, при цьому окремо або разом може застосовуватися система визначення емоційної відповіді. У способі передбачено ідентифікацію частини візуального медіа-контенту, що складає текст, визначення положення ідентифікованого тексту візуального медіа-контенту, збирання даних з очей суб'єкта під час перегляду візуального медіа-контенту, щодо розмірів зіниці, мигання та координат погляду, генерування патернів погляду суб'єкта на основі зібраних даних очей, визначення того, чи взаємодіє суб'єкт з ідентифікованим текстом на підставі щонайменше визначеного положення ідентифікованого тексту і генерованого шаблону погляду, визначення рівня взаємодії суб'єкта з ідентифікованим текстом, зокрема визначення того, чи прочитав або ознайомився суб'єкт із ідентифікованим текстом, і визначення емоційної реакції суб'єкта на ідентифікований текст.
Відомі способи та системи передбачають застосування спеціалізованого обладнання для відстеження руху очей, що не завжди може бути забезпечене поза лабораторними умовами та дослідницькими установами, й особливо у повсякденному житті. При дослідженні рухів очей навіть із залученням спеціально прилаштованої для цього апаратури існує питання вибору бо даних для подальшої обробки та інтерпретації. Наприклад, у випадку прихованої уваги, що спостерігається на записах руху очей, коли слід погляду та точки фіксації проходять повз реальний об'єкт уваги лише із незначним часом фіксації, виникають труднощі у встановленні однозначного зв'язку між результатами дослідження руху очей та когнітивним процесом конкретного суб'єкта.
Хоча відомі різноманітні системи стеження за очима та їх застосування, однак все ще існують певні проблеми, з якими люди стикаються під час читання, і кожен вирішує ці проблеми унікальним способом: перечитування складних частин тексту, пошук невідомих слів, записування деталей для запам'ятовування тощо. Автоматизація цих процесів із залученням загальнодоступного та загально використовуваного обладнання, наприклад, щоб відстежувати людське читання, оцінювати швидкість, розрізняти рухи очей та поведінкові реакції при читанні від інших видів діяльності, коментувати фрагменти тексту, що важко читаються або зміст яких не був розпізнаний і т.і., це функції, які можуть бути надзвичайно корисними для людей, яким доводиться опрацьовувати величезні обсяги тексту щодня.
На даний час відсутні рішення для стандартизованої перевірки та підтвердження процесу обробки візуальної інформації, а зокрема читання, із високою точністю на основі не спеціалізованих апаратних засобів, а будь-яких відеопристроїв або веб-камер із залученням принципу від стеження рухів очей.
Проблема, яка вирішена у межах даної корисної моделі, лежить у сферах, де прийняття рішень суттєво залежить від того, чи справді суб'єкт (людина) ознайомився із представленою інформацією, зокрема прочитав певний документ. Корисна модель може застосовуватись у таких галузях як освіта, юридично-правова практика, державні сектори тощо.
Задачею корисної моделі було надання можливості автоматизованого визначення та оцінки обсягу розпізнавання суб'єктом інформації та обсягу читання із високою точністю при перегляді мультимедійної інформації на різноманітних пристроях, як наприклад персональний комп'ютер або ноутбук, планшет, смартфон, віртуальний екран або будь-який інший відповідний пристрій або засіб відображення. Корисна модель дозволяє у режимі реального часу проводити перевірку ознайомлення суб'єкта із представленою інформацією, визначення її обсягу, визначення розпізнавання суб'єктом текстових ділянок, таблиць, зображень та іншого при наданні мультимедійної інформації та обсягу інформації, зміст якої був розпізнаний суб'єктом,
Зо зокрема перевірку читання текстових частин у представленій мультимедійній інформації або читання будь-якого електронного документа.
В основу корисної моделі поставлено задачу забезпечити автоматизований спосіб визначення із високою точністю обсягу розпізнавання інформації суб'єктом при наданні мультимедійної інформації, зокрема обсягу придатної до читання інформації, ще краще визначення обсягу прочитаної інформації, за допомогою широко розповсюджених електронних пристроїв, придатних для відображення мультимедійної інформації, відеофіксації, обробки, зберігання та передачі даних.
Поставлена задача вирішується тим, що автоматизованого способу визначення обсягу розпізнавання інформації суб'єктом при наданні мультимедійної інформації, що передбачає надання мультимедійної інформації, фіксацію та обробку даних щодо руху очей суб'єкта із застосуванням відеопристрою та визначення обсягу розпізнавання суб'єктом наданої мультимедійної інформації, згідно з корисною моделлю, спосіб здійснюють за допомогою системи, що включає: - апаратно- програмний комплекс користувача (АПК-К), у якому поєднані або інтегровані відеопристрій, модуль відображення мультимедійної інформації, модуль прийому та передачі даних, модуль запису з відеопристрою даних відеопотоку, модуль збереження даних, модуль обробки даних, та - віддалений апаратно-програмний комплекс взаємодії із користувачем (АПК-ВК), у якому поєднані або інтегровані модуль відображення мультимедійної інформації, модуль прийому та передачі даних, модуль збереження даних, модуль верифікації суб'єкта-користувача, модуль обробки даних, що придатний для роботи та навчання штучної нейронної мережі, а спосіб включає наступні етапи: - у АПК-К проводять калібрування з врахуванням індивідуальних анатомічних параметрів очей при наданні суб'єкту рухливих візуальних стимулів та завдання на стеження; завантажують мультимедійну інформацію на віддалений АПК-ВК, класифікують фрагменти на структурні елементи за ознаками - текст, зображення, таблиця та інше, передають класифіковану інформацію з віддаленого АПК-ВК до АПК-К та пред'являють її користувачу; - за даними відеопотоку з відеопристрою на АПК-К записують дані руху очей та/або погляду та з врахуванням поведінкових реакцій у вигляді щонайменше мигання очей та/або рухів 60 голови, та/або змін координат попередньо маркованих точок на обличчі, визначають окремі точки погляду у кожний момент часу у координатах площини модуля відображення мультимедійної інформації АПК-К під час надання інформації, та передають отриману інформацію на віддалений АПК-ВК у якому: - встановлюють відповідність між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації, - їз застосуванням штучної нейронної мережі формують дані множини поглядів та встановлюють вірогідність відношення кожного окремого погляду суб'єкта до читання; - агрегують дані множини поглядів у координатну систему класифікованих структурних елементів наданої мультимедійної інформації; - розраховують за кількістю у кожному структурному елементі щільність всіх поглядів й щільність поглядів визначених як читання, та встановлюють відповідні порогові значення для розрахованих щільностей, що відмежовують статистичний шум; - розраховують відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, й встановлюють обсяг розпізнаної інформації суб'єктом за яким визначають інформацію як прочитану.
У наступному аспекті корисної моделі мультимедійна інформація, яку пред'являють суб'єкту, являє собою текстові фрагменти без зображень та/або таблиць або із зображеннями та/або таблицями у відомих форматах представлення електронних документів або відеоінформацію, що містить текстові фрагменти та/або зображення, та/або таблиці.
У ще одному аспекті корисної моделі спосіб включає додатковий етап, на якому перед наданням суб'єкту мультимедійної інформації верифікують особу суб'єкта на підставі візуальних даних про суб'єкта, які вводять у віддалений АПК-ВК.
У ще одному аспекті корисної моделі спосіб включає верифікацію особи суб'єкта, яку здійснюють перед кожним наступним етапом наданням суб'єкту мультимедійної інформації або електронного документа.
У ще одному аспекті корисної моделі спосіб передбачає калібрування параметрів очей за визначеними поведінковими реакціями перед кожним етапом наданням суб'єкту мультимедійної
Зо інформації або електронного документа.
У наступному аспекті корисної моделі пристроєм відображення мультимедійної інформації або, наприклад, електронного документа є, зокрема, телевізор, монітор комп'ютера, дисплей смартфона, дисплей планшета або будь-який інший пристрій, що виконаний з можливістю відображення мультимедійної інформації.
У ще одному аспекті корисної моделі пристроєм відофіксації, що застосовують, є зокрема, веб-камера або відеокамера, що підключена або інтегрована у АПК-К, зокрема у комп'ютер, смартфон, планшет, або будь-який відеопристрій, що виконаний з можливістю прийняття та передачі відеоданих.
У наступному аспекті корисної моделі визначають кількість переходів від визначеного тексту до супутніх матеріалів, зокрема таблиць та зображень, та час, витрачений на такі переходи, при наданні мультимедійної інформації, та необов'язково пред'являють на модулі відображення мультимедійної інформації.
У ще одному аспекті корисної моделі формують карту щільності даних поглядів та/або щільності даних поглядів, визначених як читання, та/або площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, та необов'язково пред'являють на модулі відображення мультимедійної інформації.
У ще одному аспекті корисної моделі розраховують відсоток переглянутих структурних елементів від загальної кількості структурних елементів при наданні мультимедійної інформації, у яких погляд не був визначений як читання, та необов'язково пред'являють на модулі відображення мультимедійної інформації.
У ще одному аспекті корисної моделі розраховують відсоток структурних елементів, у яких погляд був визначений як читання, від загальної кількості структурних елементів при наданні мультимедійної інформації, та необов'язково пред'являють на модулі відображення мультимедійної інформації.
У наступному аспекті корисної моделі розраховують відношення обсягу переглянутих структурних елементів, у яких погляд не був визначений як читання, до обсягу структурних елементів, у яких погляд був визначений як читання, при наданні мультимедійної інформації, та необов'язково пред'являють на модулі відображення мультимедійної інформації.
У наступному аспекті корисної моделі після завершення сеансу надання мультимедійної бо інформації або її фрагмента у АПК-ВК формують сертифікат перевірки читання, зокрема як електронний документ-сертифікат перевірки читання, та необов'язково зберігають у модулі збереження даних.
У наступному аспекті корисної моделі сертифікат перевірки читання завантажують на АПК-К.
У наступному аспекті винаходом передбачено, що всі отримані дані суб'єкта зберігають у модулі збереження даних АПК-ВК та необов'язково АПК-К.
Фіг. 1 - Автоматизована система визначення обсягу розпізнавання інформації, де (1) АПК-К, (10) пристрій відеофіксації, (20) модуль відображення мультимедійної інформації, (30) модуль прийому та передачі даних, (50) модуль запису з пристрою відеофіксації даних відеопотоку, (40) модуль збереження даних, (70) модуль обробки даних, (80) блок обробки даних відеопотоку з пристрою відеофіксації АПК-К, (90) блок калібрування параметрів очей, (100) блок визначення окремих точок погляду у кожний момент часу у координатах площини модулю відображення мультимедійної інформації; (2) АПК-ВК, (21) модуль відображення мультимедійної інформації, (31) модуль прийому та передачі даних, (41) модуль збереження даних, (61) модуль верифікації особи суб'єкта-користувача, (71), модуль обробки даних, придатний для роботи та навчання штучної нейронної мережі, (81) блок роботи та навчання штучної нейронної мережі, (91) блок класифікації фрагментів мультимедійної інформації на структурні елементи, (101) блок обробки даних відеопотоку з пристрою відеофіксації АПК-К, (111) блок встановлення відповідності між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації, (121) блок встановлення вірогідності відношення кожного окремого погляду суб'єкта до читання, (131) блок формування даних множини поглядів та агрегування даних множини поглядів у координатну систему класифікованих структурних елементів наданої мультимедійної інформації, (141) блок розрахунку за кількістю у кожному структурному елементі щільності даних всіх поглядів й щільності даних поглядів визначених як читання, та встановлення відповідних порогових значень для розрахованих щільностей, (151) блок розрахунку відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, (161) блок встановлення обсягу розпізнаної суб'єктом інформації, (171) блок встановлення обсягу прочитаної суб'єктом текстової інформації, (181) блок надання статистичної інформації та формування звітів.
Зо Фіг. 2 - Показники у часових серіях.
Фіг. З - Фільтрування за допомогою ВРОСУ, ЕРОСМУ.
Фіг. 4 - Фільтрування тільки рухів погляду на екрані.
Фіг. 5 - Згорткова нейронна мережа, архітектура з 113,006 навчальними параметрами.
Фіг. 6 - Класифікація кожної групи фіксацій (спостереження, згруповані за ЕРОСІВ).
Докладний опис корисної моделі
Наявні способи та системи стеження за рухом очей для різноманітних цілей передбачають застосування спеціалізованих відеопристроїв - айтрекерів. Як правило, увага концентрується на визначенні точних координатних положень найменших структурних елементів тексту, зокрема слова, ще краще літери, та на відстеженні траєкторій та основних патернів руху. Існують певні обмеження застосування айтрекерів залежно від методу, на якому базується система, зокрема темної зіниці або світлої зіниці, та суттєвого впливу на отримані дані певних поведінкових реакцій.
Відомі методи не пропонують способів дистанційної обробки даних стеження за рухом очей отриманих від неспеціалізованих для відстеження руху очей пристроїв, зокрема, за допомогою стандартної веб-камери, що можуть бути визначені наприклад як веб-трекінг, або будь-якого відеопристрою, що приєднаний або інтегрований у будь-який електронний пристрій персонального використання, що придатний для отримання, обробки, передачі та, необов'язково збереження даних, де такий спосіб має високу точність визначення та легкодоступну користувачу.
Для цілей визначення обсягу розпізнаної та/або прочитаної інформації суб'єктом без залучення спеціалізованого обладнання у цій корисній моделі пропонується поєднання визначеним способом у автоматизовану систему налаштованих на виконання певних функцій програмно-апаратних засобів, як тут описано. Також для здійснення корисної моделі передбачено застосування штучної нейронної мережі, за допомогою навчання якої на первинному етапі створено шаблонні моделі визначення щільності погляду у визначених структурних елементах мультимедійної інформації, зокрема електронного документу, що у подальшому дозволило досягти 97 95 точності у визначенні обсягу розпізнавання наданої мультимедійної інформації та визначенні обсягу прочитаної інформації.
Описаний спосіб дозволяє суб'єкту-користувачу відстежувати і зберігати всі матеріали для бо читання і пов'язані з ними метадані зчитування, здійснювати пошук і фільтрацію вмісту шляхом зчитування параметрів шаблону (наприклад, час і швидкість фіксації дозволяють виділити окремо область інтересу всередині тексту); отримувати після обробки різні аналітичні анотації, отримувати опції допомоги в режимі реального часу під час ознайомлення із вмістом мультимедійної інформації, зокрема читання (наприклад, автоматизований переклад). У способі автоматично відстежується рух очей та співставляється з інформацією, наприклад текстом на екрані, що дозволяє обробляти шаблони зчитування в реальному часі і зберігати всі метадані для подальшого аналізу.
Для вирішення проблеми перевірки читання за допомогою комп'ютерних технологій у заявленій корисній моделі потрібно було перетворити звичайний стандартний відеопристрій, зокрема веб-камеру на пристрій відстеження очей. Для цих потреб було застосовано машинне навчання для побудови системи відстеження погляду очей та розпізнавання специфічних рухів очей під час читання, що разом із введенням нових елементів та вдосконалення відомих, а також за рахунок нових зав'язків та визначеної послідовності дій дозволило ефективно вирішити проблему перевірки читання.
Здійснення корисної моделі передбачає застосування звичайних відеопристроїв, зокрема підключених, вбудованих або інтегрованих у будь-які електронні пристрої, наприклад планшет, смартфон, ноутбук, персональний комп'ютер або інший відповідний, що вимагає створення пристосованого апаратно-програмного комплексу (АПК), де важливим також є вибір даних для відеофіксації, способу відеофіксації, спосіб їх обробки, передачі та вибір критеріїв для інтерпретації.
На початку була проведена робота щодо аналізу візуальної активності суб'єкта, де за даними погляду класифікували читання/нечитання, виявляли регресії, міжрядкові переходи (5вмеєр5) та сакади, картували множину окремих поглядів на структурних елементах мультимедійної інформації/документа. Як придатний засіб для цього було використано програму Ізокрема як описано, Вопота? В., Спацйв М., МеІпуспик У. Маспніпе І єатіпа Теснпіднев іп Веадіпу Тгаскіпд. Меєї усиг |(ІЗТОВМІ ООК)І / А. Вопота?, М. Спацв, М. МеІпуспик. - Веєпімеог
Асадету апа ВшеО їарбе раппегей м/йй о ОайаКоої арх. - Осі 19, 2018 перзв//тедійт.сот/єдВеепНімеогагоМр/тасніпе-Ієагтіпд-їесппідпевз-іп-теадіпд-ігасКіпа-тееї-уоцг- аіогуісок-бас7ббаваззЗа| для створення якої застосували переважно бібліотеки з відкритим
Зо кодом.
Відомості всіх патентів, опублікованих заявок та посилань, цитованих у цьому описі, включені як посилання що охоплюють всю їх повноту.
Збір даних
При зборі даних для відстеження людської діяльності використовували трекер, наприклад
СаеРоїіпі еує, що дозволило отримати координати погляду з кутом похибки не більше 1-1,5 градусів після калібрування. Під час кожного сеансу програма СаеРоїпі Апаїузів записує відео та зображення на екрані разом з табличними даними про рух погляду.
Весь набір даних складався з 2 частин: 51 часової серії читання та 85 - "не читання". Кожен учасник дослідження повинний був виконати наступні дії: читати 2-хвилинний текст; знайти конкретну інформацію та речі на зображеннях, дивитися 3-хвилинне відео.
Отримані часові серії складаються з декількох стовпців (Фіг. 2):
ЕРОСХ, ЕРОХУ - координати екрану, відносно роздільної здатності екрана, алгоритм А
ВРОСХ, ВРОХУ - координати екрану, відносно роздільної здатності екрана, алгоритм В
ЕРОІО - ідентифікатор фіксації
ФПОГД - тривалість фіксації очей
БПОГВ, ФПОГВ - обгрунтованість інформації
ВКІО - ідентифікатор блимання
Попередня обробка даних і вибір функцій
У ході нашого дослідження ми виявили, що відстежені координати не можуть бути ідеальними. Мигання, переміщення голови, змінне освітлення - всі ці чинники переривають або псують потік даних. Отже було зроблено додаткові кроки, що могли полегшити ситуацію, було прийнято згладжування руху погляду як основний варіант, хоча значення цього підходу має межі. Згладжування виключає одну важливу особливість - мікросакади. Сакади є швидким, одночасним рухом обох очей між двома точками кріплення. Мікросакади - це рух в межах однієї фіксації, що дає відповідь на те, як користувачі фіксують свій погляд. Хоча згладжування не є ідеальним вибором, коли мова йде про сакади, воно допомагає апроксимувати виявлення слів.
Ось що означало фільтрування для цих дослідницьких цілей (Фіг. 3,4): фільтрування за допомогою ВРОСУ, ЕРОСМУ, фільтрування тільки рухів погляду на екрані.
Щоб легко маніпулювати набором даних і моделями тренувань/гтестів було обрано вікно обробки часової послідовності шириною у 100 значень (що приблизно відповідає середньому часу для читання однієї площині на папері формату А4). Це призвело до розщеплення всіх наборів даних на 24 568 серій читання і 14 288 серій "не читання" багатьох часових серій з довжиною у 100 значень, з врахуванням 90 95 перекриття.
Класифікація читання/не читання
Далі було використано три основні методи класифікації часових рядів. Було створено три групи функцій: виявлення лінійного тренда для ЕРОСХ, сезонність та загальні характеристики, однак обрані функції виявилися не інформативними та не описували добре дані.
Наступною була застосована згорткова нейронна мережа. Використовувалися функції ах, ау. Після деякого налаштування було знайдено оптимальну архітектуру з 113,006 навчальними параметрами, див. Фіг. 5. Ця модель давала 96 95 точність на підгрупі тестів і згодом була обрана як базова модель для подальших досліджень.
Читання моделей кластеризації
Головне завдання полягало у класифікуванні кожної групи фіксацій (спостереження, згруповані за ЕРОСІВ) як одну з трьох основних патернів: сакади, міжрядкові переходи, регресії (Фіг. 6).
Основна перешкода, що виявилася на даному етапі, була маркування набору даних, оскільки дані з частотою 60 Гц по суті важко маркувати. Це також виявилося проблемою для кластеризації. Деякі з незначних проблем, які були вирішені, це висока подібність між регресіями та міжрядковими переходами, а також фіксаціями під час скролінгу (5сгоїІїпо), які виявилися викидами. Для виключення фіксацій під час скролінгу використали алгоритм класифікації читання.
Весь набір даних був відфільтрований лише від точок до сакад. Щоб отримати дані сакад, згрупували точки за ідентифікатором фіксацій (ЕРОСІЮ) і відібрали тільки останнє спостереження з кожної групи. В результаті, всі ідентифіковані сакади були розділені на мінімальні/максимальні значення з наївним алгоритмом уздовж горизонтальної осі, а мінімальні сакади були розділені на групи міжрядкових переходів та регресій. Для досягнення необхідних результатів використали кластеризацію із застосуванням методу К-середніх на трьох основних
Зо функціях сакад: проекція міжрядкових переходів по горизонтальній осі, кут міжрядкових переходів по горизонтальній осі та відмінність від попередньої сакади.
Одним з прикладів автоматизованої обробки мультимедійної інформації є створення цілісного текстового документа з відео у наступній послідовності: ідентифікація статичних кадрів на відео (з пороговим відхиленням між знімками), відокремлення листів (текстових фрагментів) з рамки, наступне об'єднані аркушів в єдиному "панорамному" зображенні, відокремлення тексту у відображений документ, виявлення точок інтересу.
У результаті вдалося отримати модель машинного навчання, здатну з точністю до 97 95 прогнозувати, чи читав/не читав користувач текст протягом 1,6 секунд запису.
Деякі основні висновки дослідження свідчать, що алгоритм, який спирається на передбачення попередньої моделі машинного навчання (МІ), може враховувати рух погляду (регресії, міжрядкові переходи (зу"еерз) та сакади) і обчислювати відносну швидкість читання; алгоритм, який надає інформацію про цікавість читача, забезпечує ваговий коефіцієнт для даного слова, що може бути важливим для читача.
Вчені, які досліджують таку поведінку людини, як відстеження погляду, можуть виявити раніше заблоковані області в техніці здоров'я і бізнесу. Як обгрунтовано даним алгоритмом, можна зробити прогнози в режимі реального часу, засновані на технологіях спостереження за поглядами, і, можливо, вийти за межі цього з більш науковим застосуванням, яке ніхто не вважав можливим раніше.
Визначення загальних параметрів читання без чіткого відокремлення тієї частини текстової інформація, що дійсно була прочитана, не дозволяє із високою точністю спрогнозувати або встановити обсяг розпізнаного змісту текстової інформації серед всієї мультимедійної або всієї текстової інформації, важкість її засвоєння, відокремлення особливо важливих за змістом фрагментів тощо.
Із залученням описаного вище для найкращого здійснення способу визначення обсягу розпізнавання інформації суб'єктом при наданні мультимедійної інформації, зокрема визначення обсягу прочитування суб'єктом структурних елементів мультимедійної інформації або електронного документа, визначеного як текст, було застосовано автоматизовану систему.
Обрані параметри для цільового навчання штучної нейронної мережі дозволяють проводити наступне визначення вірогідності відношення кожного окремого погляду суб'єкта до читання. 60 При цьому, за даними просторових та часових характеристик руху очей з врахуванням поведінкових реакцій можливо розподілити ділянки текстових фрагментів мультимедійної інформації на групи "уважне читання", "оглядове або ознайомлювальне читання", "сканувальне читання" та "скролінг" та відокремити для подальшого аналізу ділянки текстових фрагментів, що виділені як "уважне читання" або власне читання.
Автоматизований спосіб визначення обсягу розпізнавання інформації суб'єктом здійснюють наступним чином.
За допомогою блоку калібрування очей (90) у АПК-К (1) проводять калібрування параметрів очей з врахуванням індивідуальних анатомічних параметрів очей при наданні суб'єкту рухливих візуальних стимулів та завдання на стеження. Калібрування може проводитись як одноразово так й кілька - або багаторазово за потребою, зокрема із певною періодичністю або перед кожним сеансом надання суб'єкту мультимедійної інформації.
Зв'язок взаємодії суб'єкта із мультимедійною інформацією підтверджують шляхом верифікації особи суб'єкта у модулі (61), що здійснюють перед наданням суб'єкту мультимедійної інформації на підставі візуальних даних про суб'єкта, які вводять у віддалений
АПК-ВК, одноразово або кілька - або багаторазово, наприклад із певною періодичністю або перед кожним наступним наданням суб'єкту мультимедійної інформації, або після переривання сеансу перегляду на заздалегідь установлений час перед кожним сеансом надання мультимедійної інформації після такого переривання.
Ідентифікація/верифікація особи суб'єкта може відбуватися за рахунок внесення даних про суб'єкта у базу даних модулю збереження даних відповідного пристрою заздалегідь або при першому зверненні суб'єкта до АПК-К.О У подальших сеансах звернення суб'єкта до мультимедійної інформації щодо якої передбачено визначення обсягу розпізнавання та/або прочитання у будь-якому визначеному режимі порівнюють параметри суб'єкта із наявними у базі даних протягом всього періоду сеансу або сеансів обробки інформації суб'єктом. При авторизації у системі при першому зверненні для спрощення механізму ідентифікації/верифікації та скорочення часу на ідентифікацію може бути застосована система входу у систему за допомогою наявних акаунтів, зокрема акаунтів соціальних мереж тощо, що включають аудіо - та або фото - та/або відеофіксовані дані суб'єкта, зокрема його зовнішності, наприклад рис обличчя, тощо.
Зо Після калібрування або до нього, або під час калібрування за допомогою модулю прийому та передачі даних, що придатний для прийому та передачі інформації (31) завантажують мультимедійну інформацію на віддалений АПК-ВК (2) та за допомогою блоку класифікації фрагментів (91) класифікують її фрагменти на структурні елементи за ознаками - текст, зображення, таблиця та інше (уся інша інформація, відмінна від тексту, зображень або таблиць).
Далі передають класифіковану інформацію з віддаленого АПК-ВК (2) на АПК-К (1) та надають її суб'єкту на модулі відображення мультимедійної інформації (20).
Відображення мультимедійної інформації може відбуватися на будь-якому придатному засобі відображення, наприклад екран телевізора, монітор комп'ютера або ноутбука, дисплей смартфона, дисплей планшета тощо.
За допомогою пристрою відеофіксації (10) відеопотоку, у модулі запису (50) АПК-К (1) записують дані руху очей та/або погляду з врахуванням поведінкових реакцій у вигляді щонайменше мигання очей та/або рухів голови, та/або змін координат попередньо маркованих точок на обличчі, та у блоку обробки даних відеопотоку (80) модуля обробки даних (70) за допомогою блоку визначення окремих точок (100) визначають окремі точки погляду у кожний момент часу у координатах площини модулю відображення мультимедійної інформації (20)
АПК-К (1) під час надання мультимедійної інформації.
Важливим є те, що як пристрій відеофіксації застосовують будь-який відеопристрій, що виконаний з можливістю прийняття та передачі відеоданих, зокрема веб - камера або відеокамера, що підключена або інтегрована у АПК-К (1), зокрема може бути застосована підключена до персонального електронного пристрою (персональний комп'ютер, телефон, смартфон, планшет або інший) фото та/або відеокамера або наявна, вбудована у зазначений пристрій, або інше.
Отриману інформацію у будь-який відомий спосіб (дротовий або бездротовий) із застосуванням модулів прийому та передачі даних (30) та (31) передають на віддалений АПК-
ВК (2) та далі у модуль обробки даних (71).
Із застосування блоку роботи та навчання штучної нейронної мережі (81) та блоку встановлення відповідності (111) виявляють відповідність між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації, далі із застосуванням штучної бо нейронної мережі блоку (81) формують дані множини поглядів та за допомогою блока встановлення вірогідності (121) визначають вірогідність відношення кожного окремого погляду суб'єкта до читання.
Зазначені дані множини поглядів агрегують у координатну систему класифікованих структурних елементів наданої мультимедійної інформації у блоку формування та агрегування множини даних погляду (131).
Далі у модулі обробки даних (71) розраховують у блоку розрахунку (151) за кількістю у кожному структурному елементі щільність даних всіх поглядів й щільність даних поглядів визначених як читання, та встановлюють відповідні порогові значення для розрахованих щільностей, що відмежовують статистичний шум.
Додатково у модулі обробки даних (71), необов'язково у окремому блоці, що пов'язаний із блоками (81)-(181), визначають кількість переходів від визначеного тексту до супутніх матеріалів, зокрема таблиць та/або зображень та час, що витрачається на такі переходи, що враховують при визначенні поведінкових реакцій при читанні та "не читанні".
Потім у блоці розрахунку відношення площі перекриття області (151) визначають відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, й встановлюють обсяг розпізнаної інформації суб'єктом за допомогою блока (161) встановлення обсягу розпізнаної суб'єктом інформації, після чого за допомогою блоку (171) встановлення обсягу прочитаної суб'єктом текстової інформації визначають прочитану інформацію.
Мультимедійна інформація, яка підлягає обробці суб'єктом, являє собою будь який вид інформації, що придатний для відображення на різноманітних пристроях, й може містити текст або його фрагменти (зокрема наприклад написи, числа), таблиці, зображення, текстові фрагменти без зображень та/або таблиць або із зображеннями та/або таблицями у відомих форматах представлення електронних документів, наприклад являє собою електронний документ, електронну книгу (наприклад, виробничий документ, навчальний матеріал, електронний тестувальний матеріал, розважальний матеріал тощо) та/або відеоінформацію, що містить текстові фрагменти та/або зображення та/або таблиці. Після обробки у блоку (91) завантаженої у АПК-ВК мультимедійної інформації проводять її класифікацію шляхом
Зо відділення від всього обсягу контенту фрагментів, що містять ознаки тексту, що являють собою текстові фрагменти, таблиці (із текстовими елементами та числами) та зображення, зокрема, що пов'язані із текстовими та/або табличними фрагментами.
Суб'єкту мультимедійна інформація надається у звичайному форматі, але попередня класифікація дозволяє сконцентруватися на поведінкових реакціях та рухах очей у взаємозв'язку із цільовими частинами мультимедійної інформації.
Віддалений АПК-ВК додатково забезпечує можливість представлення результатів обробки даних стосовно обсягу розпізнавання та/або прочитання мультимедійної інформації на пристрої відображення (20) користувача у різноманітний спосіб. Обсяг та вид надання цих даних можуть визначатися оператором віддаленого АПК-ВК та/або володільцем цієї мультимедійної інформації та/або користувачем або іншим чином.
Зокрема, у блоку надання статистичної інформації (181) формують дані щодо поведінки суб'єкта під час читання, зокрема об'єму прочитаної інформації, швидкісті читання, складністі сприйняття інформації, дані щодо різних аспектів руху очей, та у подальшому на підставі цих даних формують звіт, зокрема сертифікат перевірки читання, зокрема як електронний документ, після завершення кожного сеансу або серії сеансів надання мультимедійної інформації або її фрагмента.
Зокрема, на модулі відображення мультимедійної інформації (20) та/або (21) надають сформований звіт та/або карту у будь-якій візуально прийнятній формі, та/або діаграму, та/або графік або інше, щільності поглядів та/або щільності даних поглядів, визначених як читання, та/або площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, та/або розрахований відсоток переглянутих структурних елементів від загальної кількості структурних елементів при наданні мультимедійної інформації, у яких погляд не був визначений як читання, та/або розрахований відсоток структурних елементів, у яких дані погляду були визначені як читання, від загальної кількості структурних елементів при наданні мультимедійної інформації, та/"або розраховане відношення обсягу переглянутих структурних елементів, у яких погляд не був визначений як читання, до обсягу структурних елементів, у яких дані погляду були визначені як читання, при наданні мультимедійної інформації тощо.
Така візуалізація результатів розпізнавання та/або читання мультимедійної інформації та бо швидкості цих процесів, може відбуватись як після завершення сеансу надання мультимедійної інформації, так й протягом сеансу після завершення перегляду певних визначених фрагментів мультимедійної інформації у режимі реального часу. Це є додатковим інструментом контролю процесу розпізнавання та/"або читання для користувача та/або володільця мультимедійної інформації та/або оператора відділеного АПК-ВК та розвивається у ряд додаткових можливостей описаного тут способу та системи.
Обмін даними між АПК-К та АПК-ВК здійснюється за допомогою дротової або бездротової передачі, при цьому налаштування АПК-ВК дозволяє розширити систему та здійснювати такий обмін даними з множиною АПК-К, а також забезпечує зменшення функціонально-програмного навантаження на АПК-К, всі отримані дані суб'єкта зберігають у модулі збереження даних (41)
АПК-ВК та необов'язково частину даних, зокрема звіти та/або карти та/або сертифікати - у АПК-
К.
Застосування підходу машинного навчання робить заявлений спосіб перевірки ознайомлення із мультимедійною інформацією та перевірки читання легко застосовним та стандартним на безлічі пристроїв. Завдяки заявленому способу та системі у режимі реального часу із застосуванням будь-якого засобу відеофіксації можна виявити з 97 95 точністю, чи людина читає в даний момент та розрахувати обсяг дійсно прочитаної інформації.
Отримані у такій спосіб дані щодо обсягу та/або швидкості розпізнавання та прочитання інформації дозволяють розширити можливості застосування описаних тут способів та/або систем, що базуються на технології стеження за рухом очей, для різних цілей.
Так, з урахуванням можливості чіткої ідентифікації/верифікації особи суб'єкта у зв'язку із конкретною мультимедійною інформацією, наприклад електронним документом, що він переглядає, розпізнає та прочитує, виникає можливість незалежного автоматизованого підтвердження ознайомлення цією особою із документом та підтвердження обсягу прочитаної інформації, що дозволяє із високим ступенем вірогідності стверджувати про глибину когнітивної обробки інформації конкретним суб'єктом. Це є корисним при різноманітних навчальних процесах, при оцінці певних професійних навичок, оцінці дистанційної взаємодії між персоналом всередині одного підприємства або між різними структурами, зокрема державного сектору, у юридичній практиці, тощо. Крім того, зв'язок між особою суб'єкта, конкретним електронним документом, із яким він ознайомився, та обсягом прочитаного у цьому документі контенту
Зо дозволяє здійснити автоматизовану та легкодоступну сертифікацію щодо прочитаного документа, зокрема шляхом створення сертифікату підписування документу, що може бути застосовано у безлічі галузей.
Хоча описані втілення базувалися на переважних варіантах, фахівцям в даній галузі техніки буде зрозуміло, що можуть бути внесені різні зміни у формі і деталях без відхилення від обсягу втілень, охоплених формулою корисної моделі, що додається.

Claims (15)

ФОРМУЛА КОРИСНОЇ МОДЕЛІ
1. Автоматизований спосіб визначення обсягу розпізнавання інформації суб'єктом при наданні мультимедійної інформації, що передбачає надання мультимедійної інформації, фіксацію та обробку даних щодо руху очей суб'єкта із застосуванням пристрою відеофіксації та визначення обсягу розпізнавання суб'єктом наданої мультимедійної інформації, який відрізняється тим, що спосіб здійснюють за допомогою системи, що включає: - апаратно-програмний комплекс користувача (АПК-К), у якому поєднані або інтегровані пристрій відеофіксації, модуль відображення мультимедійної інформації, модуль прийому та передачі даних, модуль запису з пристрою відеофіксації даних відеопотоку, модуль збереження даних, модуль автоматизованої обробки даних, та - віддалений апаратно-програмний комплекс взаємодії із користувачем (АПК-ВК), у якому поєднані або інтегровані модуль візуального надання мультимедійної інформації, модуль прийому та передачі даних, модуль збереження даних, модуль верифікації суб'єкта- користувача, модуль обробки даних, що придатний для роботи та навчання штучної нейронної мережі, й спосіб включає наступні етапи: - у АПК-К проводять калібрування параметрів очей при наданні суб'єкту тестової інформації у вигляді рухливих візуальних стимулів; - завантажують мультимедійну інформацію на віддалений АПК-ВК та класифікують її фрагменти на структурні елементи за ознаками - текст, зображення, таблиця та інше; - передають класифіковану інформацію з віддаленого АПК-ВК на АПК-К та надають її суб'єкту; - отримують за допомогою пристрою відеофіксації відеопоток, за даними якого у модулі запису АПК-К записують дані руху очей та/або погляду з врахуванням поведінкових реакцій у вигляді бо щонайменше мигання очей та/або рухів голови, та/або змін координат попередньо маркованих точок на обличчі, визначають окремі точки погляду у кожний момент часу у координатах площини модуля відображення мультимедійної інформації АПК-К під час надання мультимедійної інформації; передають отриману інформацію на віддалений АПК-ВК, у якому: - встановлюють відповідність між окремими точками погляду та наданим у цей час фрагментом мультимедійної інформації; - із застосуванням штучної нейронної мережі формують дані множини поглядів та встановлюють вірогідність відношення кожного окремого погляду суб'єкта до читання; - агрегують зазначені дані множини поглядів у координатну систему класифікованих структурних елементів наданої мультимедійної інформації; - розраховують за кількістю у кожному структурному елементі щільність даних всіх поглядів й щільність даних поглядів, визначених як читання, та встановлюють відповідні порогові значення для розрахованих щільностей, що відмежовують статистичний шум; - розраховують відношення площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, до загальної площі всіх структурних елементів, визначених у наданій мультимедійній інформації, й встановлюють обсяг розпізнаної інформації суб'єктом, за яким визначають інформацію як прочитану.
2. Спосіб за п. 1, який відрізняється тим, що мультимедійна інформація, що надають суб'єкту, являє собою електронний документ, текстові фрагменти без зображень та/або таблиць або із зображеннями та/або таблицями у відомих форматах представлення електронних документів та/або відеоінформацію, що містить текстові фрагменти та/або зображення, та/або таблиці.
З. Спосіб за п. 1 або 2, який відрізняється тим, що включає додатковий етап, на якому за допомогою модулю верифікації перед наданням суб'єкту мультимедійної інформації верифікують особу суб'єкта на підставі візуальних даних про суб'єкта, які вводять у віддалений АПК-ВК.
4. Спосіб за п. 3, який відрізняється тим, що верифікацію особи суб'єкта здійснюють перед кожним наступним наданням суб'єкту мультимедійної інформації або електронного документа.
5. Спосіб за будь-яким одним з пп. 1-4, який відрізняється тим, що калібрування параметрів очей та визначених поведінкових реакцій проводять перед кожним сеансом надання суб'єкту Зо мультимедійної інформації.
6. Спосіб за будь-яким одним з пп. 1-5, який відрізняється тим, що модулем відображення мультимедійної інформації є, зокрема, екран телевізора, монітор комп'ютера, дисплей смартфона, дисплей планшета або будь-який інший пристрій, що виконаний з можливістю надання мультимедійної інформації.
7. Спосіб за будь-яким одним з пп. 1-6, який відрізняється тим, що пристроєм відеофіксації є, зокрема, веб-камера або відеокамера, що підключена або інтегрована у АПК-К, зокрема у комп'ютер, смартфон, планшет або будь-який відеопристрій, що виконаний з можливістю прийняття та передачі відеоданих.
8. Спосіб за будь-яким одним з пп. 1-7, який відрізняється тим, що формують карту щільності поглядів та/або щільності даних поглядів, визначених як читання, та/"або площі перекриття області, де щільність даних всіх поглядів і щільність даних поглядів, визначених як читання, перевищує порогові значення, та необов'язково надають на модулі відображення мультимедійної інформації.
9. Спосіб за будь-яким одним з пп. 1-8, який відрізняється тим, що розраховують відсоток переглянутих структурних елементів від загальної кількості структурних елементів при наданні мультимедійної інформації, у яких погляд не був визначений як читання, та необов'язково надають на модулі відображення мультимедійної інформації.
10. Спосіб за будь-яким одним з пп. 1-8, який відрізняється тим, що розраховують відсоток структурних елементів, у яких дані погляду були визначені як читання, від загальної кількості структурних елементів при наданні мультимедійної інформації, та необов'язково надають на модулі відображення мультимедійної інформації.
11. Спосіб за будь-яким одним з пп. 9-10, який відрізняється тим, що розраховують відношення обсягу переглянутих структурних елементів, у яких погляд не був визначений як читання, до обсягу структурних елементів, у яких дані погляду були визначені як читання, при наданні мультимедійної інформації та необов'язково надають на модулі відображення мультимедійної інформації.
12. Спосіб за будь-яким одним з пп. 1-11, який відрізняється тим, що після завершення сеансу надання мультимедійної інформації або її фрагмента у модулі обробки даних АПК-ВК формують сертифікат перевірки читання, зокрема як електронний документ, та необов'язково 60 зберігають у модулі збереження даних.
13. Спосіб за п. 12, який відрізняється тим, що сертифікат перевірки читання завантажують на АПК-К.
14. Спосіб за будь-яким одним з пп. 1-13, який відрізняється тим, що всі отримані дані суб'єкта зберігають у модулі збереження даних АПК-ВК та необов'язково у АПК-К. Автоматиловзцо састома видзназення обся х розпізнавация інформанії Й ТАНОК САВК-ВК що » ! С «05 со ще ї / й Гі мережа і НЕК
Щ. ! . . І ; і 5 о 1, ві 039 ЩЕ і рі ! х ї ЩЕ г | І ; і і , ів шЩ по) ви і Ти ще ЩЕ ще ЩО ; ТЕО ОІВ БРОСХ РОВУ ОБРОБ ЯРОВО ТВОЄЮ РОЗМ ВО ВВОБУ ВБОСУ БК ЯКО ВКРШЯ ша НН ї алое она одів ма 095 23 1 п28953 омею її о 8а 2 2 ни вза ех МАВ 0 2 Р о30300 3966 З о що а З дою фо о маю 0 ре Бо Нам З ГУ 56 І й чв3Іо 335 ОЗ в 026357 Ко о оо ен їв ГУ КІ - ВРОБШХ, ЕРСКУУ «координати екрану, відносна роздільної здатності екрана, загоряим А « ВРОШХ, ВРУ - координати екрану, відносно роздільної зватності екрана, вягорстм В - ЕРОСТНІ - ідемтиднкатор фіксанії я ФПЛОГД - тривалість фікозц і ачей я БОГ. ФПОГВ - обгрунтованість формації 6 ВК - ідензацінкатов панмацня
Фіг. 2 у зкою рай даних пт З ; є о Відфльцювані дані ІЗ І: зе В. Ха й ЦЕ Зах МІ ЩІ ШНЕК ЕЕ НИ ІЗ ї КІ Я. її ЕІ ЕЕ» Не КК ЕЕ ЕЕ КК НН ЖЕ НЕ КК КА | п ОО та А ТА наче ко ках Зіяо ща МТУ -
Фіг. З
Ганзалість часових «ерій Бех Ж Чатвиня оораз5 ЩО хажєс Не чвтанни оаюЗо ВЕ . ПІ о ПЕЖО щих ТХ 0лобго о ШЕ ОВУ З ЩО 0 ЖеКоевое пово ШЕ Ш ЛАК оо ШЕ З по Мо а їх - алое її ж До ВОДНЕ ние ОМ де Ше с ооо 00 СС БОНН у МКК ШЕ Ех о.2обо5 о о с ні Є . . по З ПЕН у Х Кох КЕ ЗО ОХ б.од00о - КТ М 0 2 ЯК 5 вВо0 НО ак
Фіг. 4 зі це щі . нк Шчове, МЮУ самій сомів ; сеї (Мене. 100, б. шоти 1: Махровве З шум. | (еве Ю.М пах розвнаїй | МіІхРОВННЯЇІ фетр - т й і ери: | (Меле 50. 36)
с. шу: | (ове, 50, 36) сивіЯ У СТЬ фронт сем р ОмМоре ТА Й р оф ярок (Мем. ТТ ах, РООВНУ 2. МаХРОИВЦО. фен рання, соб: р (Міень 35.72) й я саме. ЗХ. копія Ж СоЙКІВ нене то рмак р Мове. 223 І сови Ме 25) мах фчайщенй А ОМаХРасВИхіЮ еру рон р Мен, КА Й вір: з аве, 15, 14) свій Ясно - 7 рик З Моме.
15, ЗЯЙ) ! Ї | Мопе 122158 івах російвзій А Махкоовво Ю с - пе т жінкою й охоче итет ето ечеюе чено й ; щури | бове о. ШМанею 1 БІАНеД. реф етттятттолнлояннняя опер ої Майте, КТ в і Н сворар: г гор ; т ЯМете. ТАЙ Н і Шрі попе, 1724) і дере є. Юелее і т і ок ро (чере,
Фіг. 5
4 корегувальна саккада сля зворотного . . А міжрядкового переходу /МІЖрядкові нереходи ле Т , динамічним фі ксаці х переліт КЗ : ; пл г з ши регресійна |і Р щй і й сосок й це січні АЖ а тевламії що прогресійна саккада Ат я- дуже короткі (50 ме) фіксації саккада Ше зов 1с т Ос Основні характеристики рухів очей при читанні, відомі з часів /аув!
Фіг. 6
UAU201904741U 2019-05-03 2019-05-03 Автоматизований спосіб визначення обсягу розпізнавання інформації UA141317U (uk)

Priority Applications (1)

Application Number Priority Date Filing Date Title
UAU201904741U UA141317U (uk) 2019-05-03 2019-05-03 Автоматизований спосіб визначення обсягу розпізнавання інформації

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
UAU201904741U UA141317U (uk) 2019-05-03 2019-05-03 Автоматизований спосіб визначення обсягу розпізнавання інформації

Publications (1)

Publication Number Publication Date
UA141317U true UA141317U (uk) 2020-04-10

Family

ID=71118083

Family Applications (1)

Application Number Title Priority Date Filing Date
UAU201904741U UA141317U (uk) 2019-05-03 2019-05-03 Автоматизований спосіб визначення обсягу розпізнавання інформації

Country Status (1)

Country Link
UA (1) UA141317U (uk)

Similar Documents

Publication Publication Date Title
Zaletelj et al. Predicting students’ attention in the classroom from Kinect facial and body features
Mathe et al. Actions in the eye: Dynamic gaze datasets and learnt saliency models for visual recognition
Asteriadis et al. Estimation of behavioral user state based on eye gaze and head pose—application in an e-learning environment
Mack et al. Object co-occurrence serves as a contextual cue to guide and facilitate visual search in a natural viewing environment
CN111046823A (zh) 基于课堂视频的学生课堂参与度分析系统
CN110674664A (zh) 视觉注意力的识别方法及系统、存储介质、处理器
Wang et al. Automated student engagement monitoring and evaluation during learning in the wild
Abdulkader et al. Optimizing student engagement in edge-based online learning with advanced analytics
Nguyen et al. Gaze-based notetaking for learning from lecture videos
WO2023041940A1 (en) Gaze-based behavioural monitoring system
Gupta et al. A multimodal facial cues based engagement detection system in e-learning context using deep learning approach
Bosch et al. Can computers outperform humans in detecting user zone-outs? Implications for intelligent interfaces
Startsev et al. Characterizing and automatically detecting smooth pursuit in a large-scale ground-truth data set of dynamic natural scenes
Shah et al. Assessment of student attentiveness to e-learning by monitoring behavioural elements
Singh et al. A robust, real-time camera-based eye gaze tracking system to analyze users’ visual attention using deep learning
Yi et al. Real time learning evaluation based on gaze tracking
Jayawardena et al. Automated filtering of eye gaze metrics from dynamic areas of interest
UA141317U (uk) Автоматизований спосіб визначення обсягу розпізнавання інформації
JP2022135476A (ja) 情報処理装置、及びプログラム
Fekry et al. Automatic detection for students behaviors in a group presentation
CN112005248A (zh) 计算设备注意力确定
UA141318U (uk) Автоматизований спосіб верифікації ознайомлення із електронним документом
Bennett et al. Looking at faces: autonomous perspective invariant facial gaze analysis
Harteis et al. Do We Betray Errors Beforehand? The Use of Eye Tracking, Automated Face Recognition and Computer Algorithms to Analyse Learning from Errors.
WO2020226603A1 (ru) Автоматизированный способ и система определения объема распознавания информации, и автоматизированный способ верификации ознакомления с электронным документом