RU2657858C2 - Способ оптимизации работы нейрокомпьютерного интерфейса - Google Patents
Способ оптимизации работы нейрокомпьютерного интерфейса Download PDFInfo
- Publication number
- RU2657858C2 RU2657858C2 RU2016111799A RU2016111799A RU2657858C2 RU 2657858 C2 RU2657858 C2 RU 2657858C2 RU 2016111799 A RU2016111799 A RU 2016111799A RU 2016111799 A RU2016111799 A RU 2016111799A RU 2657858 C2 RU2657858 C2 RU 2657858C2
- Authority
- RU
- Russia
- Prior art keywords
- processing
- interface
- commands
- command
- neuro
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Dentistry (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Physiology (AREA)
- Child & Adolescent Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurology (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Изобретение относится к нейрофизиологии, а именно к нейрокомпьютерным интерфейсам. Способ оптимизации работы нейрокомпьютерного интерфейса включает регистрацию активности головного мозга, как по отдельности, так и совместно в любой комбинации любым из следующих методов на основе использования инвазивных или неинвазивных датчиков: электроэнцефалографическим, магнитно-энцефалографическим, магнитно-резонансным томографическим, включая функциональный магнитно-резонансный томографический, транскраниальным оксиметрическим с последующей обработкой полученных данных компьютером на основе нейрокомпьютерного интерфейса, которая заключается в выделении из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды, и передаче означенных команд на внешние по отношению к устройству регистрации и обработки сигнала с мозга устройства, где под внешними устройствами понимаются самоходные шасси, летающие платформы или компьютеры, при этом в ходе обработки зарегистрированных временных последовательностей оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки с последующей передачей команды на внешнее устройство сообщаются в доступной для него форме с использованием как по отдельности, так и в любых комбинациях зрительного, звукового, тактильного канала коммуникации предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса. Использование изобретения позволяет улучшить распознавание программно-аппаратной частью нейрокомпьютерного интерфейса подаваемых пользователем команд. 2 ил., 3 пр.
Description
Изобретение относится к информационным технологиям и нейрофизиологии.
Традиционно, под нейрокомпьютерным интерфейсом (НКИ, синоним интерфейс мозг компьютер) подразумевают коммуникационную систему, в которой сообщения или команды, посылаемые индивидуумом во внешний мир, не проходят через обычные нормальные выходные каналы мозга в виде периферийных нервов и мышц [1]. Один из основоположников теории и практики НКИ [2].
В общем случае, взаимодействие человек-компьютер в рамках парадигмы НКИ выглядит следующим образом [US 2012059273; WO 2011123059; RU 2415642; [3]:
1. Пользователь, желая достичь определенного результата, изменяет активность своего головного мозга, что проявляется в изменении волновых паттернов электроэнцефалограммы (ЭЭГ), данных магнитоэнцефалограммы, степени оксигенации крови, метаболизма тех или иных отделов мозга.
2. Специализированный прибор регистрирует полученные паттерны и передает их для дальнейшей обработки на компьютер.
3. Компьютер, используя ряд алгоритмов обработки и классификации, определяет, какое именно действие необходимо совершить и реализует его через устройство-эффектор [4].
Для детекции изменения активности мозга требуется определенное время, включающая в себя как накопление необходимого временного отрезка, содержащего требуемую активность, так и время на ее обработку. При этом в рамках классической схемы управления нейрокомпьютерным интерфейсом во время от начала осознанной генерации пользователем команды до собственно вывода этой команды на управляемое устройство пользователь не имеет никакого представления о том, какие собственно команды из возможного алфавита комманд рассматриваются программно-аппаратным комплексом в плане выбора для отправки на устройство-эффектор, как соотносятся вероятности выбора этих команд и т.д. Как результат, пользователь видит какую именно команду реализовал интерфейс только тогда, когда устройство или программа-эффектор выполнили эту команду. Учитывая, что скорость работы нейрокомпьютерных интерфейсов составляет от 1 с (мировой рекорд) до 20-30 с на одну команду, очевидно, что пользователь между выполнениями команд устройством или программой-эффектором не имеет никакой информации о работе нейрокомпьютерного интерфейса, что не позволяет пользователю контролировать и/или изменять свои т.н. «ментальные» состояния, что в свою очередь не позволяет контролировать и/или изменять активность тех или иных отделов головного мозга и, следовательно, влиять на обработку означенных временных рядов.
Технической задачей изобретения является улучшение работы нейрокомпьютерного интерфейса, заключающееся в формировании дополнительного канала обратной связи компьютер-человек и обеспечивающее тем самым непосредственный контроль работы интерфейса мозг-компьютер в ходе обработки последним команд, поступивших из мозга.
Технический результат заключается в создании программно-аппаратными средствами дополнительного канала коммуникации обеспечивающий в режиме реального времени (или с минимальной временной задержкой) пользователя-оператора нейрокомпьютерным интерфейсом информацией о ходе обработки паттернов мозговой активности, что позволяет пользователю динамически менять свое т.н. «ментальное» состояние для улучшения распознания программно аппаратной частью нейрокомпьютерного интерфейса подаваемых пользователем команд.
Технический результат достигается тем, что при управлении устройствами, включая компьютер, на основе нейрокомпьютерного интерфейса (интерфейса мозг-компьютер) происходит регистрация активности головного мозга как по отдельности, так и совместно в любой комбинации любым из следующих методов: электроэнцефалографическим, магнитно-энцефалографическим, магнитно-резонансным томографическим (включая функциональный магнитно-резонансный томографический), транскраниальным оксиметрическим, включая как инвазивные, так и неинвазивные датчики. Полученные данные обрабатываются с целью выделения из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды. В дальнейшем осуществляется передача означенных команд на внешние, по отношению к устройству регистрации и обработки сигнала с мозга, устройства включая, но не ограничиваясь, самоходными шасси, летающими платформами, компьютерами.
Для достижения технического результата в ходе обработки зарегистрированных с мозга временных последовательностей оператору интерфейса сообщаются в доступной для него форме, в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство, предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса. Общее направление потоков информации при стандартной работе нейрокомпьтерного интерфейса (черные стрелки) и дополнительное направление согласно заявке (пунктирная стрелка), (фиг. 1). Данное сообщение осуществляется с использованием как по отдельности, так и в любых комбинациях зрительного, звукового, тактильного канала коммуникации. При этом важно отметить, что в рамках классического подхода, пользователь видит какая именно команда была выбрана нейрокомпьютерным интерфейсом на основе динамики мозговой активности пользователя только после того как команда взывала ту или иную реакцию устройства-эффектора (самоходного шасси, дрона, компьютера). Поскольку команда выдается не мгновенно, а ее расчет занимает некоторое время, включающее в себя накопление мозговой активности, непосредственно обработку этой активности, генерацию команд передачу их на устройство-эффектор (фиг. 2.) то в течение этого времени пользователь не знает, какая именно команда имеет большую вероятность быть выданной на устройство эффектор. Тем временем согласно представленной заявке программно-аппаратная часть нейрокомпьютерного интерфейса сообщает пользователю «промежуточные результаты» обработки его мозговой активности, делая возможным для пользователя коррекцию его т.н. «ментальных состояний» т.е. активности головного мозга порождающую команды для интерфейса. Наличие такой обратной связи существенно улучшает работу нейрокомпьютерного интерфеса.
Пример 1. Синхронный ЭЭГ-интерфейс на анализе потенциала Р300.
Регистрируется, согласно формуле изобретения, электрическая активность мозга методом ЭЭГ (датчики расположены на кожных покровах пользователя в соответствующих позициях). При этом происходит накопление вызванного потенциала и детекция компонента Р300, показывающего, какой именно стимул был выбран пользователем. Регистрация активности головного мозга осуществляется электроэнцефалографическим методом на основе использования неинвазивных датчиков. Обработка полученных данных компьютером на основе нейрокомпьютерного интерфейса включает выделение из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды, и передачу означенных команд на внешние устройства. Однако поскольку для накопления нужна серия стимулов, то, согласно формуле изобретения, после накопления каждого нового ЭЭГ паттерна, содержащего вызванный потенциал, пользователь информируется о текущих результатах расчетов и выделении потенциала Р300 с точки зрения выбора тех или иных символов, например подсвечиванием их другим цветом, отличным от цвета фона, символа и цвета стимула, выделяющего символ или группу символов. По завершении стимульной серии программно-аппаратная часть интерфейса принимает решение о том, какому стимулу соответствует наиболее выраженный потенциал Р300. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием зрительного канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.
Пример 2. Асихнронный интерфейс, основанный, на депрессии мю-ритма.
В этом варианте для выбора одной из двух команд пользователь должен в течение определенного времени представлять мысленные движения той рукой, которая соответствует нужной команде. В этом случае зарегистрированная ЭЭГ в дальнейшем обрабатывается спектральными методами, и, если в течение заданного времени на спектре ЭЭГ видна указанная депрессия ритма, в проекции контрлатерального полушария команда считается сгенерированной. Регистрация активности головного мозга осуществляется электроэнцефалографическим методом на основе использования неинвазивных датчиков. При этом, согласно заявке, возможен многократный расчет спектральных показателей ЭЭГ в ходе накопления сигнала, необходимого для анализа. При этом каждый этап расчета ЭЭГ показывает, какая из двух команд была бы выбрана при текущей эпохе анализа. Полученные промежуточные результаты могут сообщаться в виде тактильного стимула на ту руку пользователя, которая соответствует данной команде. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием тактильного канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.
Пример 3. BOLD фМРТ интерфейс.
Как и в примере 2, пользователю необходимо совершать мысленные действия одной из рук, соответствующей одной из двух команд. Область мозга, в которой зарегистрирован BOLD ответ, позволяет идентифицировать руку, которой пользователь выполняет мысленные движения. Регистрация активности головного мозга осущетвляется магнитно-резонансным методом на основе использования неинвазивных датчиков, с последующей обработкой полученных данных компьютером, на основе нейрокомпьютерного интерфейса. При этом по мере накопления сигнала, согласно заявке, пользователю может демонстрироваться, например, звуковая информация в виде звуков двух тонов, каждый из которых соответствует предварительному решению о выборе той или иной команды. Т.о. в ходе обработки зарегистрированных временных последовательностей с использованием звукового канала коммуникации оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки и передачи команды на внешнее устройство сообщаются в доступной для него форме предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.
BOLD реакция может быть замечена и с использованием транскраниальной оксиметрии. При этом, имея данные о текущем (промежуточном) решении программно-аппаратной части интерфейса, пользователь может тем, или иным путем (например, большей концентрацией внимания) попытаться изменить решение программно-аппаратной части интерфейса, если оно не соответствует генерируемой пользователем команде.
Источники информации
1. Wolpaw J.R., D.J. McFarland /Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans/ Proc. Natl. Acad. Sci. USA. - 2004.
2. Jonathan R. Wolpaw, Niels Birbaumer, Dennis J. McFarland, Gert Pfurtscheller, Theresa M. / Brain-computer interfaces for communication and control // Vaughan Clinical Neurophysiology 113, 2002, 767-791.
3. Luis Fernando Nicolas-Alonso Jaime Gomez-Gil /Brain Computer Interfaces/ 2012, 1211-1279.
4. F Lotte, M Congedo, A L'ecuyer, F Lamarche В Arnaldi J. Neural /А review of classification algorithms for EEG-based brain-computer interfaces/ 2007.
Claims (1)
- Способ оптимизации работы нейрокомпьютерного интерфейса, включающий регистрацию активности головного мозга, как по отдельности, так и совместно в любой комбинации любым из следующих методов на основе использования инвазивных или неинвазивных датчиков: электроэнцефалографическим, магнитно-энцефалографическим, магнитно-резонансным томографическим, включая функциональный магнитно-резонансный томографический, транскраниальным оксиметрическим с последующей обработкой полученных данных компьютером на основе нейрокомпьютерного интерфейса, которая заключается в выделении из зарегистрированных временных последовательностей паттернов, интерпретируемых как команды, и передаче означенных команд на внешние по отношению к устройству регистрации и обработки сигнала с мозга устройства, где под внешними устройствами понимаются самоходные шасси, летающие платформы или компьютеры, отличающийся тем, что в ходе обработки зарегистрированных временных последовательностей оператору интерфейса в период времени между началом обработки временной последовательности для выбора управляющей команды и завершением этой обработки с последующей передачей команды на внешнее устройство сообщаются в доступной для него форме с использованием как по отдельности, так и в любых комбинациях зрительного, звукового, тактильного канала коммуникации предварительные результаты выбора команды из всех возможных для выбора команд при текущем состоянии функционирования интерфейса.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016111799A RU2657858C2 (ru) | 2016-03-29 | 2016-03-29 | Способ оптимизации работы нейрокомпьютерного интерфейса |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016111799A RU2657858C2 (ru) | 2016-03-29 | 2016-03-29 | Способ оптимизации работы нейрокомпьютерного интерфейса |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2016111799A RU2016111799A (ru) | 2017-10-02 |
| RU2657858C2 true RU2657858C2 (ru) | 2018-06-15 |
Family
ID=60047708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016111799A RU2657858C2 (ru) | 2016-03-29 | 2016-03-29 | Способ оптимизации работы нейрокомпьютерного интерфейса |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2657858C2 (ru) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2415642C1 (ru) * | 2009-09-03 | 2011-04-10 | Российская Федерация, в лице которой выступает Министерство образования и науки Российской Федерации | Способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер |
| US20150142082A1 (en) * | 2013-11-15 | 2015-05-21 | ElectroCore, LLC | Systems and methods of biofeedback using nerve stimulation |
| US20150290454A1 (en) * | 2003-11-26 | 2015-10-15 | Wicab, Inc. | Systems and methods for altering brain and body functions and for treating conditions and diseases of the same |
| US20160066838A1 (en) * | 2001-01-30 | 2016-03-10 | R. Christopher deCharms | Methods for physiological monitoring, training, exercise and regulation |
-
2016
- 2016-03-29 RU RU2016111799A patent/RU2657858C2/ru not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160066838A1 (en) * | 2001-01-30 | 2016-03-10 | R. Christopher deCharms | Methods for physiological monitoring, training, exercise and regulation |
| US20150290454A1 (en) * | 2003-11-26 | 2015-10-15 | Wicab, Inc. | Systems and methods for altering brain and body functions and for treating conditions and diseases of the same |
| RU2415642C1 (ru) * | 2009-09-03 | 2011-04-10 | Российская Федерация, в лице которой выступает Министерство образования и науки Российской Федерации | Способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер |
| US20150142082A1 (en) * | 2013-11-15 | 2015-05-21 | ElectroCore, LLC | Systems and methods of biofeedback using nerve stimulation |
Non-Patent Citations (3)
| Title |
|---|
| ZHAO QiBin et al. EEG-based asynchronous BCI control of a car in 3D virtual reality environments, Chinese Science Bulletin, January 2009, vol. 54, no. 1, 78-87. * |
| ZHAO QiBin et al. EEG-based asynchronous BCI control of a car in 3D virtual reality environments, Chinese Science Bulletin, January 2009, vol. 54, no. 1, 78-87. КАПЛАН А.Я. и др. Экспериментально-теоретические основания и практические реализации технологии "Интерфейс мозг - компьютер", Бюллетень сибирской медицины, 2013, т.12, N2, с.21-29. * |
| КАПЛАН А.Я. и др. Экспериментально-теоретические основания и практические реализации технологии "Интерфейс мозг - компьютер", Бюллетень сибирской медицины, 2013, т.12, N2, с.21-29. * |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016111799A (ru) | 2017-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Beverina et al. | User adaptive BCIs: SSVEP and P300 based interfaces. | |
| Krepki et al. | The Berlin Brain-Computer Interface (BBCI)–towards a new communication channel for online control in gaming applications | |
| Scherer et al. | Toward self-paced brain–computer communication: navigation through virtual worlds | |
| Akcakaya et al. | Noninvasive brain–computer interfaces for augmentative and alternative communication | |
| Ren et al. | Enhanced motor imagery based brain-computer interface via FES and VR for lower limbs | |
| Tam et al. | A minimal set of electrodes for motor imagery BCI to control an assistive device in chronic stroke subjects: a multi-session study | |
| Citi et al. | P300-based BCI mouse with genetically-optimized analogue control | |
| DEL R. MILLÁN et al. | Non-invasive brain-machine interaction | |
| Pregenzer et al. | Frequency component selection for an EEG-based brain to computer interface | |
| Zhang et al. | A review of EEG-based brain-computer interface systems design | |
| Kus et al. | Asynchronous BCI based on motor imagery with automated calibration and neurofeedback training | |
| Krepki et al. | Berlin brain–computer interface—The HCI communication channel for discovery | |
| Edlinger et al. | How many people can use a BCI system? | |
| Bonci et al. | An introductory tutorial on brain–computer interfaces and their applications | |
| Cho et al. | A step-by-step tutorial for a motor imagery–based BCI | |
| Li et al. | Towards paradigm-independent brain computer interfaces | |
| Nam et al. | Brain–computer interface: an emerging interaction technology | |
| Chen et al. | Effects of visual attention on tactile P300 BCI | |
| López-Larraz et al. | EEG single-trial classification of visual, auditive and vibratory feedback potentials in brain-computer interfaces | |
| Scherer et al. | EEG-based endogenous online co-adaptive brain-computer interfaces: strategy for success? | |
| Ansari et al. | BCI: an optimised speller using SSVEP | |
| Huang et al. | EEG-based vibrotactile evoked brain-computer interfaces system: A systematic review | |
| Guger et al. | Hardware/software components and applications of BCIs | |
| RU2657858C2 (ru) | Способ оптимизации работы нейрокомпьютерного интерфейса | |
| Miah et al. | Real-time eeg classification of voluntary hand movement directions using brain machine interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20190330 |