KR20240024856A

KR20240024856A - 뇌-장치 인터페이스를 위한 무선 연성 두피 전자 장치 및 가상 현실 시스템

Info

Publication number: KR20240024856A
Application number: KR1020237044931A
Authority: KR
Inventors: 운홍 여; 뮤서 매무드
Original assignee: 조지아 테크 리서치 코포레이션
Priority date: 2021-05-27
Filing date: 2022-05-27
Publication date: 2024-02-26
Also published as: EP4351422A1; WO2022251696A1

Abstract

예시적인 무선 연성 두피 전자 시스템 및 방법이 개시되며, 이는 예를 들면 훈련된 신경망을 통해 동작 상상(MI) 뇌신호 또는 정상상태시각유발전위(SSVEP) 신호를 실시간으로 연속 분류함으로써 뇌-장치 인터페이스(BMI) 또는 뇌-컴퓨터 인터페이스(BCI)를 위한 명령을 실행한다. 일부 실시예에서 예시적인 시스템은 뇌-장치 인터페이스 제어기를 위한 EEG 신호를 획득할 수 있는 마이크로니들 전극을 포함하는 저상형 휴대용 시스템으로 구성된다. 마이크로니들 전극은 연성 무지각 무젤형 표피 관통 마이크로니들 전극으로 구성되어 개선된 접촉면 및 감소된 전극 임피던스 밀도를 제공하고, 예를 들면, EEG 신호 및 신호 분류 정확도를 향상시킬 수 있다. 마이크로니들 전극은 전극에 근접하여 국소적으로 장착할 수 있는 연성 전자 장치와 더 통합하여 눈에 거슬리는 배선을 줄이고 신호 획득 품질을 개선할 수 있다.

Description

뇌-장치 인터페이스를 위한 무선 연성 두피 전자 장치 및 가상 현실 시스템

본 발명은 국립보건원(National Institute of Health)이 제공한 승인 번호 R21AG064309의 정부 지원으로 창안된 것이다. 정부는 본 발명에 대한 일부 권리를 갖는다.

본 PCT 출원은 "WIRELESS SOFT SCALP ELECTRONICS AND VIRTUAL REALITY SYSTEM FOR MOTOR IMAGERY-BASED BRAIN-MACHINE INTERFACES"라는 제목으로 2021년 5월 27일에 출원된 미국 가출원 번호 63/194,111, 그리고 "VIRTUAL REALITY (VR)-ENABLED BRAIN -COMPUTER INTERFACES VIA WIRELESS SOFT BIOELECTRON ICS"라는 제목으로 2022년 2월 18일에 출원된 미국 가출원 번호 63/311,628에 대한 우선권을 주장하며, 상기 출원 각각의 전체가 본원에 참조로 원용된다.

동작 상상(MI: motor imagery) 뇌파검사는 뇌-장치 인터페이스를 위한 메커니즘을 제공하기 위해 신체 동작의 양상에 대한 의식적 접근을 통한 신체 동작의 정신적 시뮬레이션을 말한다. 동작 상상을 위한 기존의 뇌파검사(EEG)는 통상적으로 복수의 유선 전극과 젤이 있는 헤어캡을 사용하는데, 이는 설정 시간이 많이 걸리고 사용하기도 불편하다. 최신 EEG 설계는 일상적인 모바일 EEG 모니터링을 위한 무선 웨어러블 EEG를 지향하고 있지만 그럼에도 이들은 여전히 경성의 육중한 회로와 눈에 거슬리는 젤 기반 피부 접촉 전극을 계속 사용하는 데다, 소음의 영향을 받은 뇌신호 검출로 인해 정보 처리량은 낮고 기록 채널도 제한되어 있다.

유사한 EEG 하드웨어는 정상상태시각유발전위(SSVEP: steady-state visually evoked potential)의 획득에 사용할 수 있는데, 이는 특정 주파수의 시각적 자극에 대해 자연적으로 반응하는 뇌신호이다. 예를 들면, 3.5Hz 내지 75Hz 범위의 시각적 자극으로 망막이 흥분되면 뇌는 해당 시각적 자극과 동일한(또는 그 배수의) 주파수로 전기적 활성을 생성할 수 있다.

뇌-장치 인터페이스(BMI) 하드웨어 및 BMI 응용 기술을 개선한다면 혜택이 있을 것이다.

예시적인 무선 연성 두피 전자 시스템 및 방법이 개시되며, 이는 예를 들면 훈련된 신경망을 통해 동작 상상(MI) 뇌신호 또는 정상상태시각유발전위(SSVEP) 신호를 실시간으로 연속 분류함으로써 뇌-장치 인터페이스(BMI) 또는 뇌-컴퓨터 인터페이스(BCI)를 위한 명령을 실행한다.

일부 실시형태에서 상기 예시적인 시스템은 뇌-장치 인터페이스 제어기를 위한 EEG 신호를 획득할 수 있는 마이크로니들 전극을 포함하는 저상형(low-profile) 휴대용 시스템으로 구성된다. 마이크로니들 전극은 연성(soft) 무지각(imperceptible) 무젤형 표피 관통 마이크로니들 전극으로 구성되어 개선된 접촉면 및 감소된 전극 임피던스 밀도를 제공하고, 예를 들면, EEG 신호 및 신호 분류 정확도를 향상시킬 수 있다. 마이크로니들 전극은 전극에 근접하여 국소적으로 장착할 수 있는 연성 전자 장치와 더 통합하여 눈에 거슬리는 배선을 줄이고 신호 획득 품질을 개선할 수 있다.

예시적인 무선 연성 두피 전자 시스템 및 방법은 VR/AR 환경 제어기를 포함하는 가상 현실(VR) 또는 증강 현실(AR) 훈련 시스템과 조합하여 작동함으로써 MI 또는 SSVEP 응용 시 사용자에게 명확하고 일관된 시각적 정보 및 즉각적인 바이오피드백을 제공할 수 있다. 일부 실시예에서 VR/AR 환경 제어기는 획득되고 분류된 EEG 신호를 사용하여 MI 훈련 중 사용자를 위한 피드백으로서 동작 상상(예를 들면, 신체 동작의 양태를 실행할 수 있는 하나 이상의 신체 대상)과 연관된 대상 VR/AR 장면을 사용자가 볼 수 있도록 하는 명령을 생성할 수 있다. VR/AR 하드웨어 및 뇌-장치 인터페이스 하드웨어는 정상상태시각유발전위를 획득하기 위한 시각적 자극을 제공하고 획득하는 데 사용될 수 있다. VR/AR 하드웨어 및 관련 훈련은, 예를 들면, MI 및 SSVEP 응용에서 감지 가능한 EEG 반응의 변량을 줄일 수 있다. 본원에서 제시된 연구에서 두피 전자 시스템 및 관련 훈련은 동작 상상 응용 시 높은 분류 정확도(4개 클래스의 경우 93.22±1.33%)를 달성하여 가상 현실 게임에서 무선 실시간 제어가 가능하도록 하는 것으로 확인되었다.

일 양태에서 뇌전도 기반(EEG) 뇌-장치 인터페이스를 포함하는 시스템이 개시된다. 상기 시스템은 저상형 EEG 센서 세트를 포함할 수 있으며, 상기 세트는 가요성 회로 기판에 제조된 가요성 표피 관통 마이크로니들 전극 어레이를 각각 포함하고, 상기 가요성 회로 기판은 아날로그-디지털 변환기 회로에 작동 가능하게 연결되어 있으며, 뇌-장치 인터페이스는 상기 저상형 EEG 센서 세트에 작동 가능하게 연결되어 있으며, 상기 뇌-장치 인터페이스는 프로세서 및 상기 프로세서에 작동 가능하게 연결되어 있는 메모리를 포함하되, 상기 메모리는 그 안에 명령을 저장하고 있으며, 상기 프로세서가 상기 명령을 실행함으로써 상기 저상형 EEG 센서로부터 획득한 EEG 신호를 수신하고, 훈련된 신경망을 통해서 상기 획득된 EEG 신호로부터의 뇌신호를 제어신호로 연속적으로 분류하며, 상기 제어신호를 가상 현실 환경 제어기로 출력하여 상기 가상 현실 환경 제어기가 생성한 VR 장면이 대상(피험자)에게 보이도록 하는 명령(예를 들면, 훈련을 위한)을 생성하도록 한다.

일부 실시형태에서 상기 명령은 VR 장면에서 특정 지부(extremity)에 대한 일군의 동작을 유발하고, 훈련된 신경망은 상기 일군의 동작에 대한 뇌신호를 분류하도록 구성된다.

일부 실시형태에서 상기 저상형 EEG 센서 세트는 신축성 가요성 커넥터 세트를 통해서 뇌-장치 인터페이스에 연결된다.

일부 실시형태에서 상기 마이크로니들 전극은 확장된 접촉면과 감소된 전극 임피던스 밀도를 갖는다.

일부 실시형태에서 상기 시스템은 낮은 탄성의 엘라스토머 밴드를 포함하는 웨어러블 연성 헤드셋을 더 포함한다.

일부 실시형태에서 상기 훈련된 신경망은 공간적 합성곱 신경망을 포함한다.

일부 실시형태에서 상기 저상형 EEG 센서 세트는 동작 상상에 맞춰 두피를 따라 배치된다.

일부 실시형태에서 상기 저상형 EEG 센서 세트는 정상상태시각유발전위(SSVEP) 측정에 맞춰 두피를 따라 배치된다.

일부 실시형태에서 가상 현실 환경 제어기는 실시간 텍스트 철자생성기(speller) 인터페이스를 위해 가상 장면에서 분할안비동기자극(SEAS: split-eye asynchronous stimulus)을 생성하도록 구성된다.

일부 실시형태에서 프로세서는 명령의 실행을 통해서 획득된 EEG 신호를 훈련된 신경망의 재훈련 작업을 실행하는 원격 또는 클라우드 컴퓨팅 장치로 전송하며, 가상 현실 환경 제어기의 런타임 동작 동안 원격 또는 클라우드 컴퓨팅 장치로부터 업데이트된 훈련된 신경망을 수신한다.

일부 실시형태에서 어레이의 복수의 가요성 표피 관통 마이크로니들 전극 각각은 모발이 있는 두피에 장착할 수 있도록 높이는 적어도 500μm(예를 들면, 800μm)이고, 하단폭은 350μm이며, 면적은 약 36mm²이다.

일 양상에서 한 방법이 개시된다. 상기 방법은 사용자의 두피에 배치된 저상형 EEG 센서 세트를 제공하되, 상기 저상형 EEG 센서 세트는 각각 가요성 회로 기판 상에 제작된 가요성 표피 관통 마이크로니들 전극 어레이를 포함하고, 상기 가요성 회로 기판은 무선 인터페이스 회로에 작동 가능하게 연결된 아날로그-디지털 컨버터에 작동 가능하게 연결되는 것인 단계; 상기 저상형 EEG 센서 세트에 작동 가능하게 연결된 프로세서 또는 뇌-장치 인터페이스가 상기 저상형 EEG 센서 세트에서 획득한 EEG 신호를 수신하는 단계; 상기 프로세서가 훈련된 신경망을 통해서 상기 획득된 EEG 신호로부터 뇌신호를 제어신호로 연속적으로 분류하는 단계; 및 상기 프로세서가 상기 제어신호를 가상 현실 환경 제어기로 출력하여 대상이 상기 가상 현실 환경 제어기가 생성한 VR 장면을 볼 수 있도록 하는 명령을 실행하도록 하는 단계를 포함한다.

일부 실시형태에서 상기 저상형 EEG 센서 세트는 전도성 젤 또는 페이스트 없이 두피에 직접 배치된다.

일부 실시형태에서 상기 저상형 EEG 센서 세트는 i) 두피의 정수리 부분에 배치된 가요성 표피 관통 마이크로니들 전극의 기준 어레이 및 ii) 동작 상상 측정을 위한 제1 전두부, 제2 후두부, 및 4개 측두부에 위치한 저탄성 엘라스토머 밴드에 분리 가능하게 부착된 가요성 표피 관통 마이크로니들의 6개 어레이를 포함한다.

일부 실시형태에서 상기 저상형 EEG 센서 세트는 i) 두피의 후두부에 배치된 가요성 표피 관통 마이크로니들 전극의 기준 어레이 및 ii) 정상상태시각유발전위(SSVEP) 측정을 위해 두피의 후두부에 위치한 저탄성 엘라스토머 밴드에 분리 가능하게 부착된 가요성 표피 관통 마이크로니들의 4개 어레이를 포함한다.

일부 실시형태에서 상기 방법은 프로세서가 획득된 EEG 신호를 훈련된 신경망의 재훈련 작업을 실행하는 원격 또는 클라우드 컴퓨팅 장치로 전송하는 단계; 및 프로세서가 가상 현실 환경 제어기의 런타임 동작 동안 원격 또는 클라우드 컴퓨팅 장치로부터 업데이트된 훈련된 신경망을 수신하는 단계를 포함한다.

또 다른 양상에서 비일시적(non-transitory) 컴퓨터 판독 가능 매체가 개시된다. 비일시적 컴퓨터 판독 가능 매체에는 명령이 저장되어 있을 수 있으며, 뇌-장치 인터페이스 제어기의 프로세서는 상기 명령의 실행을 통해서: 사용자의 두피에 배치된 저상형 EEG 센서 세트로부터 획득된 EEG 신호를 수신하되, 상기 저상형 EEG 센서 세트 각각은 가요성 회로 기판에 제작된 가요성 표피 관통 마이크로니들 전극 어레이를 포함하며, 상기 가요성 회로 기판은 무선 인터페이스 회로에 작동 가능하게 연결되어 있는 아날로그-디지털 컨버터 회로에 작동 가능하게 연결되어 있으며, 상기 저상형 EEG 센서 세트는 전도성 젤 또는 페이스트 없이 두피에 직접 배치되는 것인 단계; 획득한 EEG 신호로부터 훈련된 신경망을 통해 뇌신호를 제어신호로 연속적으로 분류하는 단계; 상기 제어신호를 가상 현실 환경 제어기로 출력하여 대상이 가상 현실 환경 제어기가 생성한 VR 장면을 볼 수 있도록 하는 명령을 실행하도록 하는 단계를 수행한다.

일부 실시예에서 상기 프로세서는 상기 명령의 실행을 통해서 획득된 EEG 신호를 훈련된 신경망의 재훈련 작업을 실행하는 원격 또는 클라우드 컴퓨팅 장치로 전송하며; 가상 현실 환경 제어기의 런타임 작동 중에 상기 원격 또는 클라우드 컴퓨팅 장치로부터 업데이트된 훈련된 신경망을 수신한다.

통상의 기술자는 하기의 도면이 단지 예시의 목적을 위한 것임을 이해할 것이다.
도 1은 예시적인 일 실시형태에 따른 예시적인 뇌파검사 기반 뇌-장치-인터페이스 시스템을 도시한다.
도 2는 예시적인 실시형태에 따른 동작 상상(MI) 훈련 또는 작업을 위한 저상형 EEG 센서 연성 두피 전자 장치로 구성된 예시적인 EEG 뇌-장치-인터페이스 시스템을 도시한다.
도 3a, 3b, 및 3c는 각각 예시적인 실시형태에 따른 SSVEP 훈련 또는 작업을 위한 저상형 EEG 센서 연성 두피 전자 장치로 구성된 예시적인 EEG 뇌-장치-인터페이스 시스템의 양상을 도시한다.
도 4a는 예시적인 실시형태에 따른 예시적인 EEG 뇌-장치-인터페이스 시스템을 작동하는 방법을 도시한다.
도 4b는 예시적인 실시형태에 따른 런타임 동작 동안 예시적인 EEG 뇌-장치-인터페이스 시스템을 구성 및 재구성하는 예시적인 동작 방법을 도시한다.
도 5a, 5b, 5c, 5d, 및 5e는 각각 예시적인 실시형태에 따른 예시적인 EEG 뇌-장치-인터페이스 시스템의 구성 요소를 제작하는 예시적인 방법을 도시한다.
도 6a, 6b, 6c, 6d 및 6e는 각각 예시적인 실시형태에 따른 예시적인 EEG 뇌-장치-인터페이스 시스템을 사용하여 동작 상상 훈련 및 실시간 제어를 위한 가상 현실(VR) 구현 방법에 대한 연구의 양상을 도시한다.
도 7a 및 7b는 예시적인 실시형태에 따른 예시적인 EEG 뇌-장치-인터페이스 시스템의 구성 요소에 대한 기계적 특성화 결과를 도시한다.
도 8a, 8b, 8c, 8d, 8e, 8f, 8g는 각각 예시적인 실시형태에 따른 예시적인 EEG 뇌-장치-인터페이스 시스템을 사용하여 SSVEP 훈련 및 실시간 제어를 위한 가상 현실(VR) 구현 방법 개발에 대한 연구의 양상을 도시한다.

다양한 특허, 특허 출원 및 간행물을 포함할 수 있는 일부 문헌이 참고문헌 목록에 인용되어 있으며 본원에서 논의된다. 이러한 문헌의 인용 및/또는 논의는 단지 개시된 기술의 설명을 명확하게 하기 위해 제공되며, 그러한 문헌의 어떤 부분도 본원에 기술된 개시 기술의 임의의 양상에 대한 "선행 기술"임을 인정하는 것은 아니다. 표기법상 "[n]"은 목록의 n번째 문헌에 해당한다. 예를 들어, [1]은 목록의 첫 번째 문헌을 나타낸다. 본원에 인용되고 논의된 모든 문헌은 각각의 문헌이 개별적으로 본원에 참조로 원용된 것과 같은 정도로 그 전체가 본원에 참조로 원용된다.

예시 시스템

도 1은 예시적인 실시형태에 따른 예시적인 뇌파검사 기반(EEG) 뇌-장치-인터페이스 시스템(100)("EEG BMI" 시스템 100)을 도시한다. 상기 시스템(100)은 저상형 EEG 센서 세트(102)(102a, 102b, 102c, 102d로 도시)를 포함하고, 각각은 가요성 회로 기판(108) 상에 제조된 가요성 표피 관통 마이크로니들 전극(106)의 어레이(104)를 포함한다. 도 1에 도시된 실시예에서 제1 EEG 센서(102a)는 가요성 커넥터(109)를 통해 가요성 프런트엔드 전자 장치 조립체(110)에 연결된 기준 전극으로, 그리고 상기 조립체는 BMI 제어 시스템(112)과 연결되고 상기 시스템은 신경망(114)("공간 CNN" 114로 도시)을 통해서 뇌신호를 분류하여 컴퓨팅 장치 또는 장치(116)로 제어신호를 생성하는 것으로 도시되어 있다. 컴퓨팅 장치 또는 장치(116)는 VR/AR 훈련 시스템(118) 및/또는 장치 컴퓨터 시스템(119)을 포함할 수 있다. 이어서 VR/AR 훈련 시스템(118) 및/또는 장치/컴퓨터 시스템(119)은 VR/AR 애플리케이션(121)을 실행하도록 구성될 수 있다. 가상 현실 애플리케이션(121)은 BMI 렌더링 및 UI 모듈(122)과 게임 환경 매개변수(124)를 포함하는 모듈을 포함할 수 있다. "VR/AR"이란 가상 현실(Virtual Reality) 시스템, 증강 현실(Augmented Reality) 시스템, 또는 이 둘을 모두 제공할 수 있는 시스템을 의미한다.

다른 EEG 센서("센서 어레이" 102b, 102c, 102d로 도시)는 기준 센서(102a)와 관련하여 하드웨어 또는 소프트웨어를 통해 측정되며, 도 1의 실시예에서, 가요성 케이블(126)을 통해 기준 EEG 센서 조립체(102a)로 연결되어 있다. 상기 시스템(100)은 2개 이상의 기준 센서 조립체(예를 들면, 102a)를 도입할 수 있다.

도 1의 실시예에서 가요성 케이블링(126)은 레이저 가공된 신축성 및 가요성 인터커넥터(128)의 한 세트를 포함하고 있다. 인터커넥터(128)은 인터커넥터(128)가 늘어나거나 구부러지도록 허용하는 구불구불한 또는 사행(serpentine) 패턴(130)으로 형성된 전기 전도체를 가질 수 있다. 가요성 커넥터(109)는 기준 센서(102a)의 가요성 조립체를 가요성 프런트엔드 전자 장치 조립체(110)에 연결한다.

가요성 프런트엔드 전자 장치 조립체(110)는 가요성 케이블(126)을 통해 바늘 전극(102b, 102c, 102d)의 어레이(104)에 작동 가능하게 연결된 하나 이상의 아날로그-디지털 변환기(ADC)(132)를 포함할 수 있다. ADC(132)는 바늘 전극(102a)의 기준 어레이 및 센서 어레이(예를 들면, 102b, 102c, 102d)의 아날로그 신호를 디지털 신호로 변환할 수 있다. 디지털 신호는 네트워크 인터페이스(134)를 통해서 BMI 제어 시스템(112)의 네트워크 인터페이스(135)로 전송될 수 있다. 또한 가요성 프런트엔드 전자 장치 조립체(110)는 에너지 저장 장치(138), ADC(132) 및 네트워크 인터페이스(134)의 작동을 제어하도록 구성될 수 있는 제어기(136)를 포함할 수 있다.

BMI 제어 시스템(112)은 획득된 EEG 신호로부터 훈련된 신경망을 통해 뇌신호를 제어신호로 연속적으로 분류하도록 구성된다. BMI 제어 시스템(112)은, 예를 들면, 운송 수단(예를 들면, 전동 휠체어) 또는 로봇 팔다리 등을 작동시키기 위해 장치(119)에 제어신호를 제공할 수 있다.

BMI 제어 시스템(112)은 훈련된 신경망(114), 네트워크 인터페이스(135), 제어기(137), 필터 모듈(140) 및 스케일링 모듈(142)을 포함할 수 있다. 훈련된 신경망(114)은 획득된 EEG 신호를 분류하여 컴퓨팅 장치 또는 장치(116)에 제어신호를 생성하도록 구성된다. 도 1에 도시된 예시에서 훈련된 신경망(114)은 공간 CNN으로 구성된다. 훈련된 신경망은, 예를 들면, 본원에 기술되거나 참조된 다른 CNN 및 AI 시스템으로 구성될 수 있다.

일부 실시형태에서 BMI 제어 시스템(112)은 런타임 동작 동안 재구성되도록 구성된다. 도 1에 도시된 실시예에서 BMI 제어 시스템은 신경망 훈련 시스템(146)으로 구성된 클라우드 시스템(144)에 연결된 것으로 도시된다. 클라우드 시스템(144)은 BMI 제어 시스템(112)으로부터 획득된 EEG 신호를 수신하고 신경망(114)의 로컬 버전을 재훈련하도록 구성된다. 신경망 훈련 시스템(146)은 재훈련된 신경망(148)이 이전 신경망(114)보다 개선되는지를 결정한다. 상기 결정에 따라 신경망 훈련 시스템(146)은 재훈련된 신경망(148)을 BMI 제어 시스템(112)에 제공하고, 이는 (예를 들면, 그 제어기 137을 통해) 신경망(114)을 업데이트된 버전으로 교체한다.

분류를 위한 EEG 신호를 제공하기 위해, BMI 제어 시스템(112)은 가요성 프런트엔드 전자 장치 조립체(110)의 네트워크 인터페이스(134)와 통신하고 그로부터 수신하기 위한 네트워크 인터페이스(135)를 포함한다. 필터 모듈(140) 및 스케일링 모듈(142)은 분류 작업 전에 획득된 EEG 신호를 전처리하도록 구성된다. 일부 실시형태에서 필터 모듈(140)은, 예를 들면, 버터워스(Butterworth) 통과대역 필터를 사용하여 획득된 EEG 데이터를 필터링하도록 구성되고, 스케일링 모듈(142)은, 예를 들면, 선형 업스케일링 연산자를 사용하여 필터링된 EEG 데이터를 업스케일링하도록 구성된다.

도 1에 도시된 실시예에서 BMI 제어 시스템(112)은 VR 장면이 사용자에게 표시되도록 일련의 명령을 실행하기 위해서 분류된 제어신호를 사용할 수 있는 VR/AR 환경 제어기(미도시)를 포함하는 VR/AR 훈련 시스템(118)과 함께 작동하도록 구성될 수 있다. VR/AR 환경은 VR/AR 헤드셋과 VR/AR 소프트웨어를 이용하여 구현할 수 있다. VR/AR 환경은 VR/AR 헤드셋에 VR/AR 그래픽을 표시하도록 컴퓨팅 장치를 구성하기 위해 VR 소프트웨어(예를 들면, Unity)와 함께 작동할 수 있다. VR/AR 헤드셋(예를 들면, Samsung Gear VR)은 스마트폰과 연결될 수 있다. 예시적인 실시형태에서 VR 소프트웨어는 MI의 시각화를 촉진하기 하기 위해 손과 발 또는 기타 기하학적 대상의 3D 모델(Maya)을 렌더링할 수 있다.

이 예시적인 구현을 참조하여 설명된 애니메이션 소프트웨어, VR/AR 소프트웨어, VR/AR 헤드셋 및 다양한 컴퓨팅 장치는 모두 비제한적인 예시를 위한 것이며, 본 발명은 모든 적합한 애니메이션 소프트웨어, 스마트폰(또는 기타 컴퓨팅 장치), VR(또는 AR) 헤드셋 및/또는 AR 또는 VR 소프트웨어 패키지를 사용해서 구현될 수 있는 것으로 이해되어야 한다. 마찬가지로 설명된 게임은 비제한적인 예시이며 본 발명의 실시형태는 어떤 컴퓨팅 장치로부터든 출력을 제어하고 수신하는 데 사용될 수 있는 것으로 이해되어야 한다.

컴퓨팅 장치는 해당 컴퓨팅 장치의 동작에 필요한 산술 및 논리 연산을 수행하는 표준 프로그램 가능 프로세서일 수 있는 처리 장치를 포함할 수 있다. 다중 프로세서가 사용될 수 있다. 본원에 사용된 처리 장치 및 프로세서는 입력에 대한 기능을 수행하고 출력을 생성하기 위한 인코딩된 명령을 실행하는 물리적 하드웨어 장치로서, 예를 들면, 마이크로프로세서(MCU), 마이크로컨트롤러, 그래픽 처리 장치(GPU), 및 주문형회로(ASIC)를 포함하되 그로 국한되지 않는다. 따라서 명령이 하나의 프로세서로 실행되는 것으로 논의될 수 있더라도 그러한 명령은 하나 또는 복수의 프로세서로 동시에, 직렬로 또는 달리 실행될 수 있다. 컴퓨팅 장치는 해당 컴퓨팅 장치의 다양한 구성 요소 간에 정보를 전송하기 위한 버스 또는 기타 통신 메커니즘을 포함할 수 있다.

상기한 논리 연산은 (1) 컴퓨팅 시스템에서 실행되는 일련의 컴퓨터 구현 동작 또는 프로그램 모듈로서 및/또는 (2) 컴퓨팅 시스템 내의 상호 연결된 장치 논리 회로 또는 회로 모듈로서 구현될 수 있는 것으로 이해되어야 한다. 구현은 컴퓨팅 시스템의 성능 및 기타 요건에 따른 선택의 문제이다. 따라서 본원에 기술된 로직 연산은 상태 연산, 동작 또는 모듈로서 다양하게 지칭될 수 있다. 이러한 연산, 동작 및/또는 모듈은 소프트웨어, 펌웨어, 특수 목적의 디지털 로직, 하드웨어 및 이들의 임의의 조합으로 구현될 수 있다. 도면에 도시되고 본원에 기술된 것보다 더 많거나 더 적은 연산이 수행될 수 있다는 점도 인정되어야 한다. 이러한 연산은 본원에 기술된 순서와 다른 순서로 수행될 수도 있다.

하나 이상의 프로그램은 본원에 개시된 발명과 관련하여 설명된 프로세스, 예를 들면, 애플리케이션 프로그래밍 인터페이스(API), 재사용 가능한 제어 등을 통해 구현하거나 활용할 수 있다. 이러한 프로그램은 컴퓨터 시스템과 통신하기 위해 고급 절차적 또는 객체 지향 프로그래밍 언어로 구현될 수 있다. 그러나 원하는 경우 프로그램(들)을 어셈블리 언어나 기계어로 구현할 수 있다. 어떤 경우든 언어는 컴파일되거나 번역된(interpreted) 언어일 수 있으며 하드웨어 구현과 결합될 수 있다.

실시예 # 2 동작 상상 기반 뇌-장치 인터페이스

도 2는 예시적인 일 실시형태에 따라 VR/AR 헤드셋(202)(202a로 도시)과 연결된 동작 상상(MI) 훈련 또는 작업용의 저상형 EEG 센서 연성 두피 전자(SSE) 장치로 구성된 가요성 프런트엔드 전자 장치 조립체(110)(110a로 도시)를 포함하는 예시적 EEG BMI 시스템(100)(100a로 도시)을 도시한다. 상기 SSE 장치(110a)는 사용자의 두피를 따라 배치될 수 있으며 (i) 가요성 기판 상의 완전 휴대형 신호 획득 전자 장치 및 (ii) 가요성 마이크로니들 어레이(104) 세트(104a, 104b, 104c, 104d, 104e 및 104f로 도시)의 한 세트에 연결되는 신축성 인터커넥터(128)를 포함한다.

연성 두피 전자 시스템(110a)은 머리 착용 스트랩(206)을 통해 뇌 신호를 지속적으로 기록함으로써 항상적 BMI를 위한 MI 뇌신호를 검출할 수 있도록 구성될 수 있다. 상기 SSE 시스템(110a)은 획득된 EEC 신호를 무선 연결(또는 유선 연결)을 통해 외부 컴퓨팅 장치에 제공하고 상기 외부 컴퓨팅 장치는 상기 획득된 EEG 신호를, 예를 들면, MI 애플리케이션 또는 몰입형 시각화 훈련을 위한 신호로 분류하도록 구성된다.

도 2에 도시된 실시예에서 BMI 시스템(100a)은, 예를 들면, 종래의 EEG 애플리케이션과 비교하여 적은 수의 EEG 전극을 포함함으로써 설정이 간편하여 분류 성능을 희생하지 않으면서도 설정 활용의 복잡성을 줄이게 된다.

일 양상에서 도 2에 도시된 실시예에서 SSE 시스템(110a)은 가요성 마이크로니들 전극(FMNE)(예를 들면, 104)에 결합된 통합 신축성 인터커넥터(128)의 어레이를 포함한다. 연성 두피 전자 시스템(110a)은 가요성 멤브레인 회로를 사용하여 제작되어 기계적 적응성이 뛰어날 수 있다. 가요성 멤브레인 회로는 기계적 적응성이 유지될 수 있도록 전자 칩(예를 들면, 프런트엔드 획득 IC 및 네트워크 인터페이스 IC)과 통합될 수 있다.

도 2에 도시된 실시예에서 각 FMNE 어레이(예를 들면, 104)는, 예를 들면, 2보다 큰(예를 들면, 높이 800μm, 하단폭 350μm) 높은 종횡비의 바늘 세트를 포함한다. 다른 바늘 하단폭 대 높이 비율, 예를 들면, 1, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0이 사용될 수 있다. 일부 실시형태에서 바늘 하단면 대 높이의 비율은 2보다 클 수 있다.

도 2에 도시된 실시예에서 연성 두피 전자 시스템(110a)은 착용형 헤드 스트랩(206)에 부착되거나 고정되며, 이는 함께 성형되어 고정될 수 있는 저탄성 엘라스토머 밴드(208) 세트와 통합되어 사용자 두피의 MI 위치에서 복수의 FMNE을 고정할 수 있다. 주(primary)밴드(206)는 축상면(210)에서 사용자 머리 주변을 감쌈으로써 측두엽에서 5개의 FMNE(기준 FMNE 104a("Cz"), 제1 축 FMNE 104b("C2"), 제2 축 FMNE 104c("C3"), 제3 축 FMNE 104d("C4"), 제4 축 FMNE 104e("C5"))를 고정한다. 주밴드(208)는 가요성 인터커넥터를 통해 뒤통수점(inion) FMNE(104f)("Fz")와 코뿌리점(nasion) FMNE(104g)("POz")를 연결하여 기준 전극 어레이에 대해 6개의 EEC 측정 채널을 제공한다. 동일한 개략도가 도표(212)에 표시되어 있다. 도표(212)는 또한 20개 이상의 전극이 있는 표준 EEG 캡에서의 FMNE를 도시하고 있다. 주밴드(208)는 또한 귀 뒤에 배치되도록 구성된 접지 전극(214)에 연결된다. 7, 8, 9, 10, 11, 12개 등을 포함한 다른 수의 전극 어레이가 사용될 수 있다. 일부 실시형태에서 전극 어레이의 수는 12보다 클 수 있다.

전극 어레이(예를 들면, 104)는 연성-두피-전자 시스템(110a)의 ADC 프런트엔드 회로(132a로 도시된 ADC 132를 포함함)에 연결된다. 연성 두피 전자 시스템은 획득된 EEC 신호를 BMI 제어 시스템(112)("태블릿" 112a로 표시됨)에 전달할 수 있는 네트워크 인터페이스(134)("블루투스 제어기" 134a로 표시됨)를 포함한다. 도 2에 도시된 실시예에서 BMI 제어 시스템(112a)은 EEG 기록 기계 학습 분류 알고리즘(114)("합성곱 신경망" 114a로 도시됨)의 시퀀스를 처리하여 MI 분류를 생성하고 이는 VR/AR 시스템 환경에서 VR/AR 대상을 제어할 수 있는 제어신호로 사용될 수 있다. 장치 컴퓨터 시스템(120a)은 필터 연산(140)(140a로 도시됨) 및 재스케일링 연산(142)(142a로 도시됨)을 포함한다. 장치 컴퓨터 시스템(112a)은 이벤트 관련 동기화 및 비동기화, 예를 들면, 한쪽 손 및 양 발과 관련된 동기화 및 비동기화를 최적으로 캡처할 뿐만 아니라 전체 알파 리듬 활동을 캡처하도록 구성된다. ML 모델은 운동 피질의 복수의 쌍극 소스로부터 공간 특징을 분해할 수 있다. 분류의 출력은 VR 대상(222)으로 표시된 대상에 명령(220)으로 전송될 수 있다.

실시예 # 3 SSVEP 기반 뇌-장치 인터페이스

도 3a는 예시적인 일 실시형태에 따라 VR/AR 헤드셋(202)(202b로 도시)과 연결된 SSVEP 훈련 또는 연산을 위한 저상형 EEG-센서 연성 두피 전자(SSE) 장치로 구성된 연성 프런트엔드 전자 장치 조립체(110)(110b로 도시)를 포함하는 예시적인 EEG BMI 시스템(100)(100b로 도시)을 도시한다. SSE 장치(110b)는 또한 사용자의 두피를 따라 배치될 수 있으며 (i) 가요성 기판 상의 완전 휴대형 신호 획득 전자 장치 및 (ii) 가요성 마이크로니들 어레이 세트(104)(104', 예를 들면, 104a', 104b', 104c', 104d', 104e'로 도시됨, 도 3b 참조)에 연결된 가요성 인터커넥터(128)를 포함한다.

뇌 신호 기록 처리량을 향상시키기 위해, 도 3a에 도시된 실시예에서, EEG BMI 시스템(100b)이 분할안비동기자극(SEAS) 애플리케이션을 통해 각 눈에 제시되는 다양한 눈 특이 자극으로부터 SSVEP 신호를 획득하는 데 사용된다. 분리된 눈 자극은 고유한 비동기 자극 패턴을 생성하여 더 많은 인코딩된 채널을 제공함으로써 뇌 신호 기록 처리량을 개선할 수 있다. EEG BMI 시스템(100b)은, 예를 들면, 텍스트 철자에 대해 30개 이상의 채널을 갖는 휴대용 BCI에 대한 정상상태시각유발전위(SSVEP)의 실시간 모니터링을 제공하는 데 사용될 수 있다. 도 3a에 도시된 실시예에서 사용자 인터페이스 패널(302)은, 예를 들면, VR/AR 환경에서 텍스트 요소(304)와 함께 제시되는데, 여기에서 텍스트 요소(304)(강조 표시된 부분)는 서로 다른 정상 상태 깜박임 자극 패턴을 포함한다. 즉, 각 텍스트 요소(304)(32개 요소)는 고유한 정상 상태 깜박임 자극으로 인코딩될 수 있다. SEAS를 사용하면 정상 상태 깜박임 자극 패턴이 현재 왼쪽 및 오른쪽 디스플레이(각각 308 및 310으로 표시됨)에 대해 약간 다르게 나타날 수 있다.

도 3c는 예시적인 자극 주파수(312)와 대상("대상 텍스트" 314로 도시)를 도시한다. 도 3c에 도시된 실시예에서 자극 주파수(312)는 양쪽 눈(행 "1" 및 "3", 316 및 318로 도시)에서 동일한 주파수로 표시되거나 왼쪽 눈과 오른쪽 눈에 대해(행 "2" 및 "4", 320, 322로 도시) 서로 다른 주파수로 표시된다. 행 "2" 및 "4"(320, 324)에서 첫 번째 숫자(326) 각각은 왼쪽 눈에 보이는 주파수를 나타내고, 두 번째 숫자(328) 각각은 오른쪽 눈에 보이는 주파수를 나타낸다. 다른 구성을 사용할 수도 있다. 예를 들면, 행 "1" 및 "3"에 대한 동일한 주파수 출력은 눈이 추적할 수 있는 공통된 기준을 제공할 수 있으며, 이를 기준으로, 예를 들면, 행 "2" 및 "4"에 대해서 서로 다른 주파수가 비동기적으로 표시되고 일관성 있게 추적될 수 있다. 비동기 연산의 경우 왼쪽 눈과 오른쪽 눈 사이에 고유한 주파수를 활용해야 하는데, 이는 피험자에게 혼동이 발생할 수 있고 이는 분류에 영향을 미칠 수 있기 때문이다.

도 3c에 도시된 실시예는 특정 순서 또는 증분으로 배열되는 주파수를 보여주지만, 고유 주파수의 시퀀싱 순서는 변경될 수 있음(그럼에도 여전히 유사한 성능을 제공함)에 유의해야 한다.

본원에 설명된 딥러닝 알고리즘 및 연성 전자 하드웨어와 함께, EEG BMI 시스템(100b)은, 예를 들면, SSVEP 입력의 33개 클래스에 대한 실시간 데이터 처리 및 분류를 제공할 수 있다. 본원에 기술된 연구에서 EEG BMI 시스템(100b)은 0.8초의 획득 기간 내에 78.93%의 정확도와 2초 획득 기간 내에 91.73%의 정확도로 33개의 식별 가능한 클래스를 제공할 수 있는 것으로 확인되었다.

계속 도 3a를 참조하면 SSE 시스템(110b)은 또한 가요성 마이크로니들 전극(FMNE)(104')에 결합된 통합된 신축성 인터커넥터의 어레이를 포함할 수 있다. 연성 두피 전자 시스템(110b)은 가요성 멤브레인 회로를 사용하여 제조되어 기계적 적응성이 뛰어날 수 있다. 가요성 멤브레인 회로는 기계적 적응성이 유지될 수 있도록 전자 칩(예를 들면, 프런트엔드 획득 IC 및 네트워크 인터페이스 IC)과 통합될 수 있다.

도 3a 에 도시된 실시예에서 각 FMNE 어레이(104')는, 예를 들면, 2보다 큰(예를 들면, 높이 800μm, 하단폭 350μm) 높은 종횡비의 바늘 세트를 포함한다. 다른 바늘 하단폭 대 높이 비율, 예를 들면, 1, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0이 사용될 수 있다. 일부 실시형태에서 바늘 하단면 대 높이의 비율은 2보다 클 수 있다.

도 3a에 도시된 실시예에서 연성 두피 전자 시스템(110b)은 착용형 헤드 스트랩(206)(206'으로 도시)에 부착되거나 고정된 FMNE 어레이(104')에 연결된다.

전극 어레이(104')는 연성-두피-전자 시스템(110b)의 ADC 프런트엔드 회로(예를 들면, ADC 132를 포함)에 연결된다. 연성 두피 전자 시스템(110b)은 획득된 EEC 신호를 BMI 제어 시스템(예를 들면, 112)에 전달할 수 있는 네트워크 인터페이스(예를 들면, 134)를 포함한다. 도 3a 에 도시된 실시예에서 BMI 제어 시스템(112a)은 EEG 기록 기계 학습 분류 알고리즘(예를 들면, 114)의 시퀀스를 처리하여 SSVEP 분류를 생성하고 이는 VR/AR 시스템 환경에서 VR/AR 대상을 제어할 수 있는 제어신호로 사용될 수 있다.

자극의 복잡성에 대응하고 높은 수준의 분류 성능을 유지하기 위해 기계 학습 연산은 세션별로 수행할 수 있다. 도 4b는 런타임 동작 동안 BMI 제어 시스템(예를 들면, 112)을 구성 및 재구성하기 위한 예시적인 연산의 방법(330)을 도시한다.

도 4b에 도시된 실시예에서 방법(430)은, 예를 들면, 연성 두피 전자 시스템(110b)을 통해 EEG 신호를 획득하는 단계(432)를 포함한다. EEG 신호는 교정 연산 중에 획득될 수 있다. 최소한의 편향으로 기계 학습 모델을 훈련하는 데 충분한 데이터를 얻기 위해 복수의 훈련을 수행할 수 있다. 교정 연산은 각 세션 전에 수행될 수 있다. 그런 다음 방법(430)은 획득된 신호를 훈련 시스템(예를 들면, 클라우드 인프라)으로 전송하는 단계(434)를 포함한다. 훈련 시스템은 분할(438)(예를 들면, 0.8초 및 2초 범위의 데이터 분할), 필터링(440)(예를 들면, 코너 주파수 2.0Hz의 양방향 3차 고대역 버터워스 필터를 사용하여), 및 재스케일링 연산(441)(예를 들면, -0.5 내지 0.5 사이에서 선형 재스케일링)을 통해서 획득된 신호를 재처리(436)할 수 있다.

훈련 시스템은 하이퍼파라미터 조정(예를 들면, 필터 크기, 필터 수 및 합성곱 단계 수)을 사용하여 공간 CNN 모델의 변형을 훈련함으로써 분류 연산(438)을 수행할 수 있다. 그런 다음 훈련 시스템은 성능이 개선되었는지를 결정한다(440). 개선되었을 경우 훈련 시스템은 모델 매개변수를 런타임 시스템(예를 들면, BMI 제어 시스템 112)으로 전송한다(442).

일부 실시형태에서 SSVEP를 위한 EEG BMI 시스템(100b)은 MI를 위한 EEG BMI 시스템(100a)과 조합하여 사용될 수 있다.

예시적인 연산 방법

도 4a는 제어신호를 출력하기 위해 본원에 개시된 시스템의 일 실시형태를 사용하여 연산을 수행하는 방법(400)을 도시한다. 방법(400)은, 예를 들면, 도 1, 2a, 3a 또는 본원에 기술된 기타 BMI 구성과 관련하여 기술된 저상형 EEG 센서를 제공하는 단계(402)를 포함한다.

그런 다음 방법(400)은 저상형 EEG 센서 세트에 동작 가능하게 연결된 프로세서 또는 뇌-장치 인터페이스를 통해서 저상형 EEG 센서로부터 획득된 EEG 신호를 수신하는 단계(404)를 포함한다. 데이터 획득의 실시예가 도 1, 2a 및 3a를 참조하여 제시되어 있다.

방법(400)은 프로세서가 획득한 EEG 신호로부터 훈련된 신경망을 통해 뇌신호를 제어신호로 연속적으로 분류하는 단계(406)를 포함한다.

방법(400)은 프로세서가 가상 현실 환경 제어기에 제어신호를 출력하여 피험자가 가상 현실 환경 제어기가 생성한 VR 장면을 볼 수 있도록 하는 명령을 실행하도록 하는 단계(408)를 포함한다.

실시예 #1 가요성 마이크로니들 어레이의 제작 방법

도 5a는 본원의 예시적인 실시형태에 따라 기판 상에 전극 어레이를 제작하는 방법(500)을 도시한다. 도 5a의 실시예에서 각 전극 어레이의 면적은 약 36mm²일 수 있으며, 이는 통상적으로 전도성 젤이 필요한 종래의 대형 컵 전극(100mm²)에 비해 EEG 공간 분해능을 향상시킬 수 있다. 다른 어레이 크기, 예를 들면, 약 10mm², 약 15mm², 약 20mm², 약 25mm², 약 30mm², 약 35mm², 약 40mm²,약 45mm², 약 50mm²가 사용될 수 있으며, 여기에서 "약"은 ±1mm, ±2mm 또는 ±2.5mm를 의미한다 일부 실시형태에서 어레이 크기는 50mm² 내지 100mm²일 수 있다. 전도성 젤을 사용한 통상적인 EEG는 크기가 약 100mm²이다.

도 5a에서 공정(500)은 마스터 음각 PDMS(폴리디메틸실록산) 어레이 몰드를 제공하는 단계(502)를 포함한다. PDMS 어레이 몰드는 IPA를 사용하여 세척하고 60℃에서 10분 동안 건조할 수 있다. 공정(500)은 음각 PDMS 몰드를 사용하여 에폭시 양각 몰드를 생성하는 단계(504)를 포함한다. 양각 몰드는 에폭시 수지(예를 들면, Smooth On, Inc에서 제조한 EpoxAcast 수지)로 형성될 수 있다. 공정(500)은 에폭시 양각 몰드를 유리 슬라이드로 이송하는 단계(506)를 포함한다. 접착제를 사용하여 PDMS 음각 몰드를 PDMS의 결합층으로서 유리 슬라이드에 결합할 수 있다. 이미지(506')은 양각 에폭시 몰드를 도시한다. 공정(502 내지 506)은 에폭시 양각 몰드의 추가 사본을 형성하기 위해 반복될 수 있다. 일부 실시형태에서 PDMS 음각 몰드는 대기압 플라즈마로 (예를 들면, 2분 동안) 처리될 수 있다.

공정(500)은 트레이 내부의 어레이에 에폭시 양각 몰드의 사본을 위치시키는 단계(508)을 포함한다. 공정(500)은 새로운 세트의 음각 몰드를 형성하기 위해 트레이에 PDMS를 더하는 단계(510)를 포함한다. 단계(508)에 도시된 몰드는 4x2 어레이이지만, 단계(502 내지 506)에서 생성된 에폭시 몰드의 임의의 수가 사용될 수 있는 것으로 이해되어야 한다. 공정(500)은 단계(508 및 510)에서 사용된 트레이로부터 PDMS 음각 몰드를 분리하는 단계(512)를 포함한다. 이미지(512')는 PDMS로 형성된 음각 실리콘 몰드를 도시한다. 이미지(522')는 최종 코팅된 전극을 도시한다. 몰드 구성 요소는 단계(502 내지 512)에서 형성된다.

바늘을 제작하기 위해 공정(500)은 먼저 PDMS 음각 몰드에 희석된 폴리이미드(PI) 용액을 추가하고 그런 다음 약(soft)베이킹될 수 있도록(예를 들면, 80℃에서 10분 동안) 하는 단계(514)를 포함한다. 공정(500)은 제2 희석 폴리이미드 용액을 516의 몰드에 추가하고 그런 다음 강베이킹될 수 있도록(예를 들면, 200℃에서 1시간 동안)하는 단계(516)를 포함한다. 도 5a에 도시된 실시예에서 제1 희석 폴리이미드 용액은 3:1 비율의 용액이고, 제2 희석 폴리이미드 용액은 2:1 비율의 용액이다. 다른 비율과 처리 시간을 사용할 수 있다. 공정(500)은 몰드로부터 PI 바늘을 제거하는 단계, 예를 들면, PDMS 몰드로부터 폴리이미드 마이크로니들 어레이(PI MNA)를 벗겨내는 단계(518)를 포함한다.

그런 다음 PI 바늘을 전도성 층으로 코팅할 수 있다. 공정(500)은 PDMS 코팅된 슬라이드에 PDMS 바늘을 배치하는 단계(520)를 포함할 수 있다. 폴리이미드(PI)(예를 들면, HD Microsystems에서 상표명 PI 2610으로 판매되는 PI)의 박막 층이 약베이킹 전에 면도날로 긁어내어 음각 PDMS 몰드에 적용될 수 있다. PI는, 예를 들면, 60초 동안 800RPM으로 몰드에 스핀코팅될 수 있다. 공정(500)은, 예를 들면, Cr 코팅과 이어서 Au 코팅으로 PI 바늘을 스퍼터링 증착하되, CR 및 AU의 깊이가 각각 5nm 및 200nm가 되도록 하는 단계(522)를 포함한다. 스퍼터링은 여러 단계로 수행될 수 있다. 예를 들면, PI 바늘의 상단 또는 하단 표면은 한 단계로 스퍼터링 코팅될 수 있으며, 나머지 표면은 다음 단계로 스퍼터링 코팅될 수 있다.

실시예 #2 가요성 마이크로니들 어레이의 제작 방법

도 5b는 본 발명의 예시적인 실시형태에 따라 기판 상에 전극 어레이를 제작하는 또 다른 방법(530)을 도시한다. 방법(530)은, 예를 들면, 도 5a를 참조하여 기술한 바와 같이 PDMS 음각 몰드(512)를 생성하는 단계를 포함한다. 공정(530)은 그런 다음 바늘(533)을 형성하기 위해 에폭시(예를 들면, EP4CL-80MED, Master Bond Inc.)의 박층을 추가하는 단계(532)를 더 포함한다. 에폭시는 높은 인장 및 압축 강도와 생체 적합성을 갖춘 일액형(one-part) 에폭시일 수 있다. 일액형 에폭시는 용제 없이 사용할 수 있어 에폭시의 기포를 방지할 수 있고 혼합 단계가 필요하지 않으며 혼합으로 인해 공기가 에폭시에 혼합되는 것을 방지할 수 있다. 그 다음 공정(530)은 천공된 폴리이미드 시트(535)를 바늘에 추가하는 단계(534)를 포함한다. 이미지(534'')는 천공된 폴리이미드 시트의 예시적 디자인을 도시하고, 이미지(534')는 제작된 예시적인 천공된 폴리이미드 시트를 도시하며, 이는 기계적 적응성과 유연성을 가지고 있다. 이어서 공정(530)은 저온 경화(536)(예를 들면, 1시간 동안 100℃)를 수행하는 단계를 포함한다. 저온 경화를 사용하여 더 많은 복제 성형 주기에 걸쳐 금형을 반복적으로 사용할 수 있다. 그와 대조적으로 일부 실시형태에서는 고온 PI 경화를 사용하며 겨우 3번의 제조 사이클만으로도 PDMS 주형이 파괴될 수 있다.

그런 다음 공정(530)은 몰드로부터 바늘 구조물을 분리하고 이를 PDMS 코팅 슬라이드 상에 배치하는 단계(538)를 포함한다. 바늘 구조의 양면에 Cr/AU를 스퍼터링하여 바늘을 코팅(540)할 수 있다. 이미지(538')은 Cr/AU 코팅 전 바늘 조립체를 도시하고, 이미지(540')는 Cr/AU 코팅 후 바늘 조립체를 도시한다.

가요성 주회로의 제작 방법 실시예

도 5c 및 도 5d는 예시적인 실시형태에 따른 예시적인 가요성 주회로(main circuit)를 제작하는 방법(550)을 도시한다. 가요성 주회로는 전극이 굴절되면서 두피 표면에 밀착하도록 충분히 얇은 폴리이미드 기판을 포함할 수 있다.

방법(550)은 세정된 실리콘 웨이퍼 상에 PDMS를 스핀코팅(예를 들면, 30초 동안 3000rpm으로)하는 단계(552)를 포함한다. PDMS 코팅 웨이퍼는 경화될 수 있다(예를 들면, 150℃ 핫 플레이트에서 5분 동안). PDMS를 친수성으로 만들기 위해 산소 플라즈마 처리를 수행할 수 있다. 이미지(552')는 스핀코팅된 PDMS를 도시한다. 이어서 방법(550)은 폴리이미드를 스핀코팅(예를 들면, 4000rpm에서 1분 동안)한 다음, 진공 오븐에서 베이킹(예를 들면, 램핑 단계를 포함하여 3시간 동안 250℃에서)하는 단계(553)를 포함한다. 이미지(553')은 제1 폴리이미드 스핀코팅 웨이퍼를 도시한다.

방법(550)은 제1 금속층을 위해서 구리(예를 들면, 500nm 구리)를 스퍼터링하는 단계(554)를 포함한다. 이미지(554')는 제1 구리 증착 웨이퍼를 도시한다.

그런 다음 방법(550)은 포토레지스트(예를 들면, SC1827)를 스핀코팅하여(예를 들면, 3000rpm에서 30초 동안) 웨이퍼를 패터닝하고, 이를 베이킹하며(예를 들면, 110℃ 핫 플레이트에서 1분 동안), 마스크 얼라이너(예를 들면, MA6)를 사용하여 1차 금속 패턴(접지)을 UV에 노광시키고, 노광된 포토레지스트를 현상액(예를 들면, MF-319)으로 현상하는 단계(555)를 포함한다.

그런 다음 방법(550)은 노광된 구리를 구리 에칭제(APS-100, DI 물과 1:1로 희석) 및 스트립 포토레지스트로 에칭하는 단계(556)를 포함한다. 이미지(556')은 Cu 에칭이 수행된 하단 Cu 에칭 회로를 도시한다. 그런 다음 방법(550)은 폴리이미드를 스핀코팅(예를 들면, 850rpm에서 1분 동안)하고 이를 진공 오븐에서 베이킹(예를 들면, 램핑 단계를 포함하여 3시간 동안 250℃에서)하는 단계(557)를 포함한다. 이미지(557')은 제2 폴리이미드 스핀코팅 웨이퍼를 도시한다.

그 다음, 방법(550)은 포토레지스트(예를 들면, AZP4620)를 스핀코팅하여(예를 들면, 1000rpm에서 30초 동안) 웨이퍼를 패터닝하고, 이를 베이킹하고(예를 들면, 95℃ 핫 플레이트에서 4분 동안), 노광된 포토레지스트를 현상액(예를 들면, AZ400K, DI 물 4 파트로 희석)으로 현상하는 단계(558)를 포함한다. 그런 다음 방법(550)은 PI에 반응성 이온 에칭(Plasma-Therm)을 사용하는 산소 플라즈마 에칭을 적용하여 포토레지스트를 제거하는 단계(559)를 포함한다. 이미지(559')는 비아(via)로 에칭된 폴리이미드 회로를 도시한다.

그런 다음 방법(550)은 스퍼터링으로 제2 Cu 층(예를 들면, 제2 금속 층을 위한 1.5μm 구리)을 증착하는 단계(560)를 포함한다. 이미지(560')은 제2 증착 웨이퍼를 도시한다.

그런 다음 방법(550)은, 예를 들면, 3000rpm에서 30초 동안 포토레지스트(예를 들면, AZP462)를 스핀코팅하여 웨이퍼를 패터닝하고, 이를 베이킹(예를 들면, 95℃ 핫 플레이트에서 4분 동안)하고, 마스크 얼라이너(예를 들면, MA6)를 사용하여 2차 금속 패턴을 UV에 노광시키고 노광된 포토레지스트를 현상액(예를 들면, AZ400K, DI 물 4 파트로 희석)으로 현상하는 단계(561)를 포함한다. 방법(550)은 노광된 구리를 구리 에칭액(APS-100, DI 물과 1:1로 희석)으로 에칭하고 포토레지스트를 제거하는 단계(562)를 포함한다. 이미지(562')는 상단 Cu 에칭 회로를 도시한다.

이어서 방법(550)은 폴리이미드를 스핀코팅(예를 들면, 4000rpm에서 1분 동안)한 다음, 진공 오븐에서 베이킹(예를 들면, 램핑 단계를 포함하여 3시간 동안 250℃에서)하는 단계(563)를 포함한다. 이미지(563')은 제3 폴리이미드 스핀코팅 웨이퍼를 도시한다.

그 다음, 방법(550)은 포토레지스트(예를 들면, AZP462)를 스핀코팅하여(예를 들면, 2000rpm에서 30초 동안) 웨이퍼를 패터닝하고, 이를 베이킹하고(예를 들면, 95℃ 핫 플레이트에서 4분 동안) 노광된 포토레지스트를 현상액(예를 들면, AZ400K, DI 물 4 파트로 희석)으로 현상하는 단계(564)를 포함한다. 그런 다음 방법(550)은 PI에 반응성 이온 에칭(Plasma-Therm)을 사용하는 산소 플라즈마 에칭을 적용하여 포토레지스트를 제거하는 단계(565)를 포함한다. 이미지(565')는 노광된 Cu 증착층이 있는 폴리이미드 에칭된 상단 회로를 도시한다.

그런 다음 방법(550)은 회로를 유리 슬라이드로 이송하여 가요성 회로에 IC를 설치하고(이미지 566' 참조); 칩 구성 요소에 리플로우 솔더링으로 IC를 설치하고(이미지 566'' 참조), 전체 회로(예를 들면, 110)를 엘라스토머로 캡슐화하는 단계(566)(이미지 566''' 참조)를 포함한다. 도 5d는 제작된 최종 가요성 회로가 유리 슬라이드 위로 구부러져 있는 상태를 도시한다. 대안적인 방법이 Mahmood 등 2021; Mahmood 등 2019; Zavanelli 등 2021에 기술되어 있다.

실시예 #1 신축성 인터커넥터의 제작 방법

도 5e는 예시적인 실시형태에 따라 예시적인 가요성 인터커넥터(예를 들면, 128)를 제작하는 방법(570)을 도시한다. 처리량을 개선하고 제작 코드를 줄이기 위해(예를 들면, 클린룸의 기존 미세공정과 비교하여) 방법(570)은 펨토초 레이저 절단기(WS-Flex USP, OPTEC)를 사용하여 미세 가공 공정을 통해서 신축성 인터커넥터(예를 들면, 128)를 제작할 수 있다. 방법(570)은 세 가지 주요 제작 공정(폴리이미드 필름을 위한 PET 기판 준비, 폴리이미드 필름에 Cr/Au 스퍼터링 및 레이저 절삭 패터닝)을 포함할 수 있다.

PI 필름용 PET 기판을 준비하기 위해, 방법(570)은 PET 시트 상에 PDMS(Sylgard 184, Dow Corning)를 스핀코팅(예를 들면, 700rpm에서 60초 동안)하고, 이를 경화(예를 들면, 70℃에서 30분 동안)하고, 그런 다음 PI 시트에 준비된 Cr/Au를 PDMS에 적용하는 단계(예를 들면, 완전히 접착되고 기포나 잔물결이 없는지 확인)(572)를 포함한다. 그런 다음 방법(570)은 과잉 PI 2610을 증착(573) 및 스핀코팅(예를 들면, 3000rpm에서 1분간)하고, 핫 플레이트에서 제1 베이킹 단계를 수행하고(예를 들면, 70℃에서 30분간), 제1 베이킹 단계 후에 PDMS/PET 기판에서 PI 필름을 제거하고 깨끗한 핫 플레이트에 직접 테이핑(576)하여 열로 인한 말림 및 수축을 방지한 다음, 제2 베이킹 작업(578)(예를 들면, 100℃에서 15분 동안, 그런 다음 150℃에서 15분 동안, 그런 다음 200℃에서 15분, 그런 다음 250℃에서 15분 동안)을 진행하는 단계를 포함한다.

PI 필름에 Cr/Au를 스퍼터링하기 위해 방법(570)은 우선 PI 필름의 0.5mil 시트(Kapton HN Film, 0.5mil, DuPont)를 철저하게 세척(예를 들면, 먼저 IPA로, 그런 다음엔 아세톤으로)하고 각 세척후에 건조하는 단계를 포함할 수 있다. 방법(570)은 스퍼터 기계 내부에 맞도록 PI 필름을 6in x 4in 크기의 시트로 절단하는 단계를 포함할 수 있다. 방법(570)은 PI 필름 상에 Cr/Au(10nm/200nm)를 스퍼터링하는 단계(574)를 포함할 수 있다.

레이저 절단기(580)로 패턴화하기 위해 방법(570)은 PI 필름 샌드위치를 PET 기판의 PDMS에 다시 적용하고 펨토초 레이저 절단기(WS-Flex USP, OPTEC)를 사용하여 진공을 사용하여 재료를 스테이지에 고정하는 단계를 포함한다. 방법(570)은 재료를 스테이지와 정렬하고 레이저 헤드를 0점에 맞춰서 재료를 준비하여 마스킹된 영역이 디자인 내에서 인터커넥터 단부와 정렬되도록 하는 단계를 포함할 수 있다. 패턴은, 예를 들면, IFOV 모드, 60kHz 펄스, 60 이동 속도, 60 점프 속도, 12% 전력 및 2회 반복(총 3회 패스)으로 절단될 수 있다. 방법(570)은 끝이 가는 핀셋을 사용하여 PDMS 기판으로부터 최종 절단된 인터커넥터를 벗겨내는(예를 들면, 수동으로 벗겨내는) 단계(582)을 포함할 수 있다. 이미지(582')는 벗겨내기 전의 패턴화된 인터커넥터를 도시한다. 이미지(584)는 패턴화된 인터커넥터가 벗겨지는 모습을 도시한다. 이미지(584)는 0%, 50% 및 100% 신장(각각 584a, 584b 및 584c)에서 가요성 인터커넥터(예를 들면, 128)의 예시적인 신장성 특성을 도시한다. 도표(586)은 일련의 사이클 동안 가요성 인터커넥터(예를 들면, 128)의 기계적 테스트 결과를 도시하고, 도표(588)은 가요성 인터커넥터(예를 들면, 128)에 대한 변형/저항 곡선을 도시한다. 이 테스트는 250% 인장 후 기계적 파괴를 입증한다.

실시예 #2 신축성 인터커넥터의 제작 방법

인터커넥터용 기판을 2-mil PI 필름(200HPP-ST, DuPont) 위에 Cr/Au(5nm/200nm)를 전자빔 증발시켜 준비한다. 그런 다음 금속 코팅된 PI 필름을 PDMS 코팅된 PET 필름에 적층하여 레이저 절단 공정 중에 재료가 고정될 수 있도록 한다. 신축성 있는 인터커넥터 어레이가 금속 코팅된 PI 필름에 패턴화되면 패턴화된 인터커넥터 이외의 과잉의 재료를 PDMS 코팅된 PET 필름에서 수작업으로 벗겨낼 수 있다. 수용성 테이프를 사용하면 인터커넥터가 연성 엘라스토머 기판(Ecoflex 00-30, Smooth-On, Inc.)에 전사 인쇄되고 접촉 패드 이외의 영역은 추가 엘라스토머 층으로 캡슐화된다. 인터커넥터는 실버 페인트(속건식 실버 페인트, 테드 펠라)를 사용하여 전극 및 센서에 전기적으로 연결된다.

실험 결과 및 실시예 #1

가상 현실 뇌-장치 인터페이스를 개발하고 평가하기 위해 두 가지 연구가 수행되었다. 첫 번째 연구에서는 동작 상상 BMI를 사용하였고 두 번째 연구에서는 정상상태시각유발전위(SSVEP)를 사용하였다.

동작 상상 연구 개요. 도 6a, 6b, 6c, 6d 및 6e는 각각 예시적인 실시형태에 따른 예시적인 EEG 뇌-장치-인터페이스 시스템을 사용하여 동작 상상 훈련 및 실시간 제어를 위한 가상 현실(VR) 구현 방법에 대한 연구의 양상을 도시한다. 구체적으로 도 6a는 비디오 게임 시연에서 동작 상상 훈련 및 실시간 제어를 위한 가상 현실(VR) 구현 방법을 개발하기 위한 연구의 개요를 도시한다. 이 연구는 완전 휴대용 무선 연성 두피 전자 장치를 평가하였으며, 이 장치는 적어도 3개의 주요 구성 요소, 즉 1) 머리털이 있는 두피에 장착하기 위한 복수의 가요성 마이크로니들 전극, 2) 레이저로 가공된 신축성 및 가요성 인터커넥터, 및 3) 저상형 가요성 회로를 포함한다. 이 연구에는 동작 시각화를 지원하기 위해 편리하고 몰입도 높은 훈련 환경을 제공할 수 있는 가상 현실(VR) 구성 요소도 포함되어 있다. 이러한 구성 요소는 모션 아티팩트를 최소화하고 신호 품질을 최대화하기 위해 최적화된 하나의 일체형 EEG 시스템으로서 연구에서 사용되었다. 두피에 최적의 임피던스 밀도를 제공하고, 신호 대 소음비를 개선하고, MI 기록을 위한 공간 분해능을 향상시키기 위해 표피 관통 전극을 사용하였다. 전반적으로 연구는 본원의 예시적인 장치 및 시스템의 실시형태가 강력한 기계 학습 알고리즘과 가상 현실 환경에서 잘 작동할 수 있는 고성능 BMI 시스템에 대한 실행 가능한 접근 방식을 제공한다는 점을 입증하였다. 더불어 연구는 본 발명의 실시형태가 단지 6개의 EEG 채널을 가진 무지각, 머리 착용식 시스템을 사용할 수 있고, 4명의 인간 피험자에서 최대 정보 전송 속도 23.02비트/분으로 4개 클래스에 대해서 93.22 ± 1.33%의 높은 정확도를 달성할 수 있다는 점을 입증하였다.

방법론. 본 연구에서 MI 신호의 6개 채널에 대한 실시간 연속 동작 상상 분류를 제공하도록 구성된 맞춤형 안드로이드 애플리케이션을 개발하였다. 안드로이드 애플리케이션은 VR의 훈련 및 테스트 프로세스를 평가하는 데 사용되었다. 훈련 시스템에서 상기 시스템은 MI 응답 테스트용으로 설계된 텍스트 및 애니메이션 프롬프트를 사용하여 VR 시각 요소의 변형된 보기(630)를 피험자에게 제시하였다. 도 6a에 도시된 실시예에서 VR 화면(632)은 분리된 손과 발을 포함하는 예시적인 VR 장면이다. VR 화면(633)은 동작 상상을 통해 사용자가 작동할 수 있는 명확한 색상으로 구분된 시각적 신호와 텍스트 프롬프트를 포함하는 예시적인 VR 장면이다. 개발된 애플리케이션은 측정 장비에서 관찰된 관련 EEG 신호(637)와 함께 VR 장면(635)을 보여준다. 도표(619)는 안드로이드 애플리케이션의 인터페이스 중 하나로부터 획득된 EEG 신호(637)를 보여준다.

본 발명의 예시적인 실시형태의 결과는 훈련 도구로서 VR 환경의 우수한 성능을 입증한다(4명의 피험자로부터 수득한 2240개의 샘플, 피험자당 560개의 샘플, 측정 기간 w = 4초). FMNE 및 VR 설정에서도 정확도 향상이 더 관찰되었다. 향상된 정확도는 피험자의 시야 내에서 그들 자신의 지체와 거의 동일한 위치에 있는 분리된 손과 발이 표시되는(632) 몰입형 VR 훈련 프로그램 덕분일 수 있다. 상기 연구에서 피험자는 머리를 부드럽게 회전하거나 기울일 수 있었고 VR 애플리케이션에서 손이나 발을 시각화할 수 있었다.

신경망 훈련. 도 6b는 연구에 사용된 MI 분류 시스템의 신경망 훈련을 도시한다. 도 6b에 도시된 실시예에는 동작 상상 분류를 위한 공간 합성곱 신경망에 대한 훈련이 제시되어 있다. 시스템은 6개의 EEG 채널(618)을 획득하고 이를 운동 피질의 복수의 쌍극 소스로부터 공간적 특징으로 분해하였다. 입력(618)에는 미리 정의된 샘플 크기(이 샘플에서는 1000개의 샘플로 표시됨)를 갖는 6개의 EEG 데이터가 포함되었다. 연구에 사용된 공간 합성곱 신경망은 다수의 숨겨진 계층(634)를 포함하였다("2D 합성곱" 634a 및 "2D 공간 합성곱" 634b, 634c, 634d, 634e로 표시됨). 단계 637에서 조밀한 출력 층을 생성하기 위해 평탄화 단계가 수행될 수 있다.

분류 결과. 도 6c는 본 연구에서 도 6b의 공간 CNN을 이용한 분류 결과(N=4명의 피험자)를 도시한다. 도 6c는 미가공 데이터, 고역 통과 필터링된 데이터(HPF), 대역 통과 필터링된 데이터(대역 통과) 및 전력 스펙트럼 밀도 분석(PSDA)을 포함하는 4개의 분석 기반 간의 공간-CNN 분류 정확도의 비교 도표(640)을 포함한다. 분석이 수행되었으며 복수의 측정 기간(1, 2, 4초)에 걸쳐 그 결과가 표시되었다. 오류 막대는 4명의 피험자에 대한 표준 오차를 나타낸다.

도 6c는 또한 기존의 Ag/AgCl 젤 전극과 예시적인 FMNE의 사용 간의 공간-CNN 분류 정확도의 두 번째 비교 도표(642)을 포함한다. 또한 분석은 복수의 측정 기간(1초, 2초, 4초)에 걸쳐 수행되었으며 오류 막대는 4명의 피험자에 대한 표준 오차를 나타낸다.

도 6c는 또한 기존의 Ag/AgCl 전극과 예시적인 FMNE로 획득한 동작 상상 뇌 데이터의 실시간 정확도 테스트 결과를 나타내는 2개의 혼동 행렬(644, 646)을 도시한다. 행렬(644)에서 기존 Ag/AgCl 전극에 대한 결과는 89.65%의 전체 정확도를 보여준다(N = 2,240개 샘플, 측정 기간 = 4초, 4명의 인간 피험자). 행렬(646)에서 예시적인 FMNE에 대한 결과는 93.22%의 전체 정확도를 보여준다(N = 2,240개 샘플, 측정 기간 = 4초, 4명의 인간 피험자).

도 6c는 또한 공간-CNN 분류기를 사용하고 표준-CNN 분류기를 사용하여 획득된 동작 상상 뇌 데이터의 실시간 정확도 테스트 결과를 나타내는 두 개의 추가 혼동 행렬(648, 650)을 도시한다. 행렬(648)에서 공간-CNN 분류기 성능 결과는 FMNE 데이터 세트에서 93.3%의 전체 정확도를 보여준다(n = 4명의 피험자로부터 2240개 심플, 피험자당 560개 샘플, 측정 기간 w = 4초). 행렬(650)에서 FMNE 데이터 세트의 표준 CNN 분류기 성능 결과는 64%의 전체 정확도를 보여준다(n =4개 피험자로부터 2240개 샘플, 피험자당 560개 샘플, 측정 기간 w = 4초).

도 6e는 본원의 예시적인 실시형태와 참고 문헌 [15, 20, 25, 26, 27, 21]에 보고된 다른 장치를 비교한 표를 제시한다. 실제로, 본원의 예시적인 BMI 센서 장치 및 시스템은, 예를 들면, MI 패러다임을 사용하는 가상 현실 게임에 대한 정확한 제어를 제공할 수 있다는 점을 확인할 수 있다. 표에서는 구현 시 본원의 예시적인 BMI 센서 장치 및 시스템이 단지 6개의 전극을 사용하여 93% 이상의 정확도를 달성하고 약 23비트/분의 ITR을 제공할 수 있음을 입증하고 있다. 다른 구성에 대한 다른 성능 결과도 여기에 보고되어 있다.

채널 선택 분석. 도 6d는 최적화된 채널 수와 채널 선택을 평가하기 위해 연구에서 수행된 예비 분석 결과를 도시한다. 분석을 위해 이전 연구(고감마 데이터 세트)에서 수행된 13명의 건강하고 정상인 피험자에 대한 기존 128개 채널 중 44개 채널 데이터를 고려하였다[1]. 분석을 통해 44개 채널 중 가장 의미 있는 최적의 채널 6개를 결정하였다. 그런 다음 6개 채널을 감각 어레이 세트, 예를 들면, 도 2와 관련하여 도시 및 설명한 세트로 구현하였다. 다른 채널은 증상이 있는 피험자를 포함하여 평가되는 환자 또는 피험자에 따라 유사하게 선택될 수 있다.

도 6d에 도시된 실시예에 연구에 사용된 전체 데이터 세트(652)가 제시되어 있다. 데이터는 코너 주파수가 4Hz와 30Hz인 3차 버터워스 통과대역 필터를 사용하여 전처리되었으며 4초의 측정 기간으로 분할되었다.

데이터는 필터 크기 (10, 1), 제1 계층 표준 합성곱으로 합성곱 신경망(CNN)을 훈련(654)하는 데 사용되었으며 이어서 4개의 공간 합성곱 계층을 더해서 훈련된 네트워크를 생성하였다.

(나머지 채널을 제거하면서) 데이터 채널을 순환하는 생성기를 사용하여 데이터(652)를 평가(656)하여 선택된 채널에 대한 출력 섭동을 계산하였다. 이 결과 데이터를 훈련된 네트워크(654에서 생성됨)에 입력하였다. 출력 섭동을 실제 예상 출력과 비교하여 해당 채널에 대한 상대적 섭동을 생성하였다(658). 이러한 상대 섭동은 클래스에 걸쳐 합산되어(662) 각 채널에 대한 최종 섭동 값을 생성하였다.

그런 다음 결과를 비교하고 순위를 결정하였다(664). 막대 차트는 각 채널의 상대적인 변동을 나타내며 상위 6개 채널이 별도로 표시되어 있다. 본 연구에서는 전극 수를 줄여(예를 들면, 6개) 분류 성능을 크게 저하시키지 않으면서 설정의 복잡성을 줄였다.

실제로 분석한 결과 본원의 예시적인 FMNE를 사용하면 종래의 EEG 설정보다 더 적은 수의 채널을 사용할 수 있음이 확인되었다. 표준 10-10 전극 배치 시스템에 해당하는 전극의 대략적인 위치는 [16]에 논의되어 있다.

마이크로니들 전극의 좌굴력 평가. 도 7a는, 예를 들면, 도 5b와 관련하여 기술된 프로세스를 통해서 제작된 예시적인 마이크로니들 전극의 좌굴력 성능에 대한 연구 동안 수행된 정량적 기계적 테스트의 결과를 도시한다. 구체적으로 도 7a는 단일 마이크로니들에 축방향 힘을 통해 가해지는 전동 힘 게이지 하에서 평가된 마이크로니들 전극의 SEM 관찰(710)을 도시한다. 도표(712)은 5개 전극에 대한 좌굴력 평가에서 획득한 힘 대 변위 곡선을 도시한다. 5개의 제작된 FMNE는 단일 마이크로니들의 피부 삽입력(20 내지 167mN)보다 훨씬 높은 적어도 최대 626mN에 달하는 평균 외력을 견딜 수 있는 것으로 확인되었다[17].

마이크로니들 전극의 가요성 평가. 도 7b는 예시적인 FMNE의 가요성을 평가하기 위한, 예를 들면, 조직 삽입 시 기계적 강성을 평가하기 위한 사이클 굽힘 기계적 테스트의 결과를 도시한다. 예시적인 FMNE는 금 기반 전극으로 구성되어 피부 표면에 장착되며 생체 적합성이 뛰어나 사용하기에 안전한다. 도표(709)는 테스트 견본의 단면을 개략적으로 도시한다. 테스트 중 바늘 전극을 곡률 반경 5mm로 연속적으로 100회 구부리면서 전기 저항의 변화를 측정하였다. 결과는 0.6Ω 미만의 무시할 수 있는 저항 변화를 보여준다.

마이크로니들의 임피던스 밀도 특성화. 표 1은 마이크로니들(MN) 전극의 임피던스와 임피던스 밀도에 대한 비교 연구 결과를 보여준다. 이 연구에서는 다양한 높이의 다양한 마이크로니들 설계가 평가되었다. 이 설계에는 14 x 14 어레이에서 200μm의 고정 하단폭과 500μm의 높이가 포함되었다.

[표 1]

임피던스 밀도(ID; kΩ·cm²)는 측정된 임피던스(Z; kΩ)에 측정된 전극 접촉 면적(A; cm²)을 곱하여, 즉 ID=Z*A으로 계산할 수 있다.

동작 상상 논의. 뇌-장치 인터페이스(BMI)는 마비와 같은 신체적 장애 또는 유사한 운동 기능 장애를 초래하는 뇌 손상이 있는 개인에게 가능한 해결책을 제공한다. 그 중에서도 상당히 난처한 장애의 하나는 개인이 의식은 있지만 움직이거나 의사소통을 할 수 없는 감금 증후군(locked-in syndrome)이다[1]. 여기서 BMI는 이러한 개인의 일부 기능을 복원하여 운동과 의사소통 능력을 개선하여 삶의 질을 향상시킬 수 있다[1, 2]. 뇌파검사(EEG)는 뇌의 전기적 활동을 획득하기 위한 최고의 비침습적 방법이며[3-5], 여기에서 두피 표면에 장착된 전극이 대뇌 피질의 시냅스 후 전위의 합을 기록한다. 종래의 연구 및 의료 등급 EEG는 두피의 신호를 측정하기 위해 헤어캡이나 복수의 경성 전극이 있는 대형 헤드기어를 사용하고 있다. 이러한 무겁고 부피가 큰 시스템은 착용하기 불편하며 시스템에 부착하거나 긴 리드선을 사용하여 분리되어 있는 경성의 대형 전자 장치가 필요한 경우가 많다[3]. 이러한 장치는 일관된 피부-전극 임피던스에 크게 의존하며 일반적으로 상당한 움직임 아티팩트 및 전자기 간섭이 발생할 수 있다[3, 4]. 일반적으로 전극은 전도성 젤 또는 페이스트와 함께 사용하여 표면 접촉을 개선하고 임피던스를 줄이게 된다. 이러한 계면 물질은 움직임 아티팩트 또는 물질의 열화로 인해 해당 위치에서 발생하는 임피던스 변환에 따른 소음의 원인이 된다. 전반적으로 종래 시스템은 긴 설정 시간이 필요하며 사용하기 번거롭고 불편하다.

가볍고 유연한 전자 장치 및 건식 전극[6, 6', 6"]을 사용하면 신호 획득을 개선할 수 있을 것이다. 최신 EEG 디자인은 무선, 웨어러블 EEG에 대한 추세를 시사한다. 이는 종래의 증폭기 및 헤어캡 EEG에 비해 소형의 배터리 구동식 설계를 통해 일상적인 모바일 EEG 모니터링에 적합할 수 있다. 모바일 시스템의 경우 짧은 설정 시간, 피부 자극의 부재 및 우수한 장기 성능으로 인해 건식 전극이 선호된다[7, 8]. 또한 이들은 신호 품질 저하 없이 장시간 착용할 수 있으면서도 젤 기반 EEG 센서보다 성능이 더 좋은 경우가 많다[4, 7, 9]. 생체전위 획득을 위한 피부 인터페이스 전극의 최근 개발은 피부 생체전자공학에 대한 새로운 전략과 솔루션을 입증하고 있다[10]. 예를 들면 스크린 인쇄된 고전도성 복합재[11]와 용액에서 계면 수소 결합을 통해 제조되어 우수한 신축성과 계면 전도성 특성을 갖는 나노와이어 기반 네트워크[12]가 있다. 비침습적 EEG BMI 패러다임을 위한 다양한 전략이 있다[13]. 정상상태시각유발전위(SSVEP)를 연구할 수 있으며[3], 여기서 피험자는 서로 다른 주파수의 깜박이는 자극 사이에서 시선을 이동하여 장치 인터페이스를 작동할 수 있다. 그러나 SSVEP의 기록에서 사용자의 시야를 방해하는 시각적 자극 요소의 어레이에 대한 요구 사항으로 인해 실제 적용은 제한적이다. 또한 밝고 깜박이는 자극으로 인해 장시간 사용 시 눈의 피로와 피로를 유발할 수 있다. 이에 비해 동작 상상(MI)은 외부 자극을 사용할 필요가 없기 때문에 지속적인 BMI에 매우 유리한 패러다임이며, 그 클래스는 손을 열고 닫거나 발을 움직이는 것과 같은 상상의 동작 활동을 기반으로 한다[14, 15]. MI를 사용하면 특정 동작 상상 작업으로 인해 해당 운동 피질 영역에서 감각운동 리듬 변동이 발생할 수 있으며 이는 EEG로 측정할 수 있다.

실험 결과 및 실시예 #2

정상상태시각유발전위(SSVEP) 연구 개요. 무선 연성 생체전자 시스템과 VR 기반 SSVEP 감지 플랫폼을 평가하기 위한 제2 연구가 수행되었다. 도 8a, 8b, 8c, 8d, 8e, 8f, 8g는 각각 예시적인 실시형태에 따른 예시적인 EEG 뇌-장치-인터페이스 시스템을 사용하여 SSVEP 훈련 및 실시간 제어를 위한 가상 현실(VR) 구현 방법 개발에 대한 연구의 양상을 도시한다.

본 연구에서는 분할안비동기자극 연산을 위한 플랫폼을 구성하고 휴대용 뇌-컴퓨터 인터페이스(BCI)로서 정보 처리량을 평가하였다. 이 연구는 무엇보다도 33개의 자극 클래스를 갖춘 VR 인터페이스가 텍스트 철자를 위한 SSVEP의 실시간 무선 기록에서 사용될 수 있음을 확인하였다. 연성 웨어러블 플랫폼에는 가요성 회로, 신축성 있는 인터커넥터 및 건식 바늘 전극이 포함되어 있으며, 이들은 VR 헤드셋과 함께 작동하여 완전 휴대형 무선 BCI를 제공한다. 이 연구는 또한 피부 적응형 전극이 SSVEP의 고품질 기록을 위해 생체에 적합하고 일관된 피부 전극 접촉 임피던스를 제공한다는 점을 입증하였다. 종래의 테더링된 EEG 시스템과 비교하여 본원의 예시적인 무선 연성 전자 시스템은 SSVEP 기록에서 우수한 성능을 입증하였다. 연성 전자 장치와 통합된 공간 CNN 분류 방법은 실시간 데이터 처리 및 분류를 제공하여 9명의 인간 피험자로부터 33개 클래스에 대해 0.8초 동안 78.93%, 2초 동안 91.73%의 정확도를 보여주었다. 또한 EEG 기록 채널이 4개뿐인 생체전자 시스템은 종래 연구에 비해 높은 ITR 성능(243.6 ± 12.5비트/분)을 보여 실제 환경에서 VR 텍스트 철자 및 탐색 능력을 성공적으로 입증하였다.

이 연구는 또한 SSE용 연성 회로의 일체형 적응식 특성으로 인해 아티팩트가 최소화되고 신호 재현이 탁월하다는 점을 입증하였다. 경성의 전자 장치와 불요성 배선을 갖춘 종래 시스템에서는 움직임으로 인해 피부-전극 경계면에 응력이 집중될 수 있다. 이러한 응력은 기존 젤 기반 전극과 결합될 때 피부-전극 임피던스의 상당한 변화를 유발하여 움직임 아티팩트가 발생할 수 있다. 와이어가 늘어져 있을 경우 중력의 영향으로 이러한 문제가 악화될 수 있다. SSE 응용에서 연구된 FMNE는 건조하고 죽은 피부 세포로 구성된 최외각의 피부층을 관통함으로써 향상된 SNR을 제공하는 것으로 관찰되었다. 이러한 층을 관통하고 전극의 전도성부를 진피 내로 깊숙이 배치함으로써 시스템은 임피던스 밀도를 크게 줄이는 동시에 기존 설정보다 더 작은 전극을 사용하고 MI 감지를 위한 공간 분해능을 향상시킬 수 있다. 금표준 Ag/AgCl 젤 전극과 직접 비교했을 때 FMNE는 우수한 SNR을 달성하였다.

방법론. 이 연구에서는 VR 헤드셋, 건식 바늘 전극(예를 들면, 102), 신축성 인터커넥터(예를 들면, 109) 및 무선 가요성 회로(예를 들면, 110)를 포함한 여러 구성 요소를 갖춘 연성 생체전자 시스템을 사용하였다. 이 연구에서는 다양한 구성 요소의 기계적 신뢰도를 평가하였다. 이 연구는 또한 SSVEP 자극 설정을 위한 다양한 전극의 성능을 평가하였다.

훈련 설정에는 전극 위에 스트랩이 배치된 VR 헤드 장착 디스플레이(HMD)를 착용한 피험자가 포함되었다. 피험자는 뇌신호를 기록하는 VR HMD와 함께 헤드밴드로 고정된 건식 바늘 전극(머리털이 있는 부분)과 무선 회로(목)가 포함된 연성 전자 장치를 착용할 수 있다.

데이터는 여러 데이터 세트에 대해 사용자 설정된 EEG 시스템을 사용하여 500Hz에서 샘플링되었다. VR 헤드셋을 피험자에 배치하면 데이터 수집 안드로이드 장치에서 애플리케이션을 원격으로 제어하게 된다. 편향을 피하기 위해 자극은 피험자에게 그리드로 동시에 제시되었다(Xiao 등 2021). 피험자는 각 측정 동안 눈을 감고 8초 동안 알파리듬을 녹음하기 시작하였다. 이 기간이 끝나면 짧은 신호음이 울리고 피험자는 눈을 뜨고 자극을 살펴보았다. 피험자는 2초마다 다음 자극으로 눈을 이동할 것이며, 이는 큰 클릭 소음으로 표시된다. 자극은 피험자가 각자의 시선을 다음 대상으로 전환할 수 있도록 0.6초 동안 깜박임을 일시적으로 비활성화하였다. 이 과정은 모든 자극을 볼 때까지 계속되며 피험자에게 주기가 다시 시작되도록 눈을 감으라는 메시지가 표시된다. 더 짧은 시간 프레임(< 2초)의 경우 자극의 처음 0.8, 1.0 또는 1.2초만 데이터 분류에 사용된다. 따라서 샘플 수는 각 시간 프레임마다 동일하며 N = S × 40으로 계산될 수 있으며, 이 식에서 S는 자극 횟수이다. 본원에 기술된 기간 및 샘플 수는 단지 비제한적인 예시를 위한 것으로서 일부 실시형태에서는 다른 기간이 사용될 수 있는 것으로 이해되어야 한다.

도 8a는 연구 중에 개발되고 평가된 VR 텍스트 철자 생성기를 도시한다. 사진(802)는 BCI 시연을 위해 가상 현실 머리 장착형 디스플레이(VR HMD)와 연성 전자 장치(804)를 착용한 피험자를 도시한다. 도표(806)은 4개의 EEG 채널로부터 측정된 예시적 EEG 데이터가 블루투스(BLE) 통신을 통해서 중앙 프로세서로(안드로이드)로 전송되고 거기에서 신호가 실시간으로 처리 및 분류되는 구성을 도시한다.

컴퓨터 렌더링 출력(808)은 연구에 사용된 예시적인 시스템이 VR 환경에서 생성한 텍스트-철자 인터페이스를 도시한다. 흐름도(810)는 텍스트 철자생성기 인터페이스(808)를 생성하는 데 사용된 BCI 데모를 위해 개발된 안드로이드 소프트웨어의 동작 흐름을 도시한다. 상기 시스템에서 텍스트 철자생성기 소프트웨어와 자극 오버레이를 사용자에게 렌더링하기 위해 Unreal Engine 프로그램(아래에서 자세히 설명)을 사용하였다. 상기 소프트웨어는 전동 휠체어를 사용하여 증강 현실 뷰포트를 통해 실제 환경을 탐색할 수 있는 패스스루(passthrough) 카메라 작업이 포함되었다. 이 연구에서는 VR-HMD 뷰포트(812)와 증강 현실 뷰포트(814)라는 두 가지 하드웨어 세트에 시스템을 구현하였다. 증강 현실 뷰포트에서 SSVEP 명령은 탐색 제어(816)에 활용될 수 있다.

분할안비동기자극(SEAS) 플랫폼은 VR 하드웨어(Oculus Quest 2, Facebook)를 대상으로 널리 사용되는 크로스 플랫폼 소프트웨어 개발 엔진(Unreal Engine 4.26, Epic Games Inc.)을 사용하여 생성되었다. 상기 엔진의 2D 또는 3D 객체에 적용할 수 있는 "재료" 속성을 사용하여 연구는 렌더링되는 VR 패널의 크기에 따라 다르게 나타나는 재료를 생성하였다. 재료는 "스프라이트(sprite)"를 사용하여 애니메이션화되는데, 스프라이트는 연속적인 프레임이 n x n "시트"로 배열되는 래스터 그래픽 애니메이션이다. Unreal Engine에 내장된 텍스처 애니메이션 기능을 사용하여 이러한 프레임을 추출하고 렌더링하였다. 이러한 재료는 엔진 환경에서 대부분의 2D 또는 3D 개체와 평평한 표면을 애니메이션화하는 데 사용되었다. 제1 단계는 프레임 속도를 기반으로 관련 프레임이 포함된 시트를 생성하는 것이다. 여기에서 MATLAB로 프로그램을 만들어 정현파 파형을 생성하고, 해당 파형을 사인파 진폭에 따른 밝기를 사용하여 타일로 변환한 다음 해당 타일을 Unreal Engine의 텍스처 렌더링 시스템을 위한 10x10"시트"로 배열할 수 있도록 하였다. 도 8f 및 8g에는 VR 인터페이스를 생성하기 위한 Unreal Engine용 MATLAB 코드와 특정 지침이 포함되어 있다. 도 8g에는 자극 타일 생성의 예가 파형과 10x10 스프라이트의 해당 타일 레이아웃으로 표시되어 있다.

크로스 플랫폼 소프트웨어(Unreal Engine, Epic Games)를 사용하여 VR 패널의 왼쪽과 오른쪽에서 다르게 나타나는 애니메이션 텍스처를 개발하였다. 제1 테스트 세트('세트 1'이라고 함)의 경우 SSVEP 자극의 분리성을 결정하기 위해 10.0 내지 17.2Hz 사이의 10개 표준 자극이 생성되었다. 표 2는 왼쪽과 오른쪽 눈의 주파수와 위상을 도시한다.

VR 인터페이스에 대한 모든 자극은 필요한 주파수 및 위상 오프셋을 기반으로 프로그래밍 방식으로 생성되었다. 연구에 사용된 32개 자극과 그 빈도가 도 3c를 참조하여 표시되고 논의된다. 32개 자극 중 16개에 대해 두 개의 주파수가 사용되었으며, 그 중 첫 번째는 왼쪽 눈, 두 번째는 오른쪽 눈을 위한 것이다.

[표 2]

또 다른 테스트 세트('세트 2')에는 표 3과 같이 왼쪽 눈 주파수 범위 10.0 내지 17.7Hz, 오른쪽 눈 주파수 범위 16.9 내지 9.2Hz가 포함된다.

[표 3]

연구 중인 자극의 복잡성과 높은 수준의 분류 성능을 유지하기 위해 연구의 기계 학습은 세션별로 수행되었다. 예시적인 설명이 도 4b를 참조하여 제시되어 있다. 훈련 중에 0.8 내지 2초 범위에서 데이터는 코너 주파수가 2.0Hz인 3차 고역 통과 버터워스 필터를 사용하여 양방향으로 필터링되었다. 데이터는 훈련 데이터 세트 전체에서 [-0.5, 0.5] 범위로 선형적으로 재조정되었으므로 결과 값은 [0, 1] 범위로 나타난다. 이러한 유형의 전처리는 시간이 지남에 따라 신호 진폭이 변하고 전극 성능이 저하되므로 기존 Ag/AgCl 전극에 문제를 일으킬 수 있다. 그러나 연성 전자 장치의 예시적인 건식 바늘 전극은 향상된 피부 접촉으로 일관된 성능을 달성할 수 있다. 이는 분류 성능을 향상시키면서 전처리를 단순화하였다.

종래의 Ag/AgCl 전극을 이용한 연구에서는 알코올 물티슈로 각 피험자의 피부를 가볍게 문질러 깨끗이 닦아주고, 연마젤(NuPrep, Weaver, and Co.)을 이용하여 각질을 제거하여 모든 전극에서 접촉 임피던스가 10kΩ 미만으로 유지될 수 있도록 하였다. 알코올 천을 사용하여 연마 젤을 제거하고 깨끗한 종이 타월을 사용하여 표면을 건조시켰다. FMNE의 경우 수행된 유일한 피부 준비는 알코올 천으로 전극 위치를 부드럽게 문지르는 것뿐이었다. EEG 데이터는 저전력 블루투스 무선 통신을 사용하여 안드로이드 태블릿(Samsung Galaxy Tab S4)에서 실행되는 맞춤 애플리케이션을 사용하여 기록되었다.

예비 SSVEP 성능. 도 8b는 다양한 전극 위치에 대한 예비 성능 평가 결과를 도시한다. 32개 자극으로 텍스트 철자생성기 설정을 실행하기 전에 VR 환경에서 자극 사용의 타당성을 테스트하기 위해 예비 SSVEP 및 SEAS 테스트를 수행하였다. 도표(818)은 복수의 기간(0.8 내지 2초)에 걸쳐 두 개의 SSVEP 자극 세트에 대한 평균 분류 정확도를 도시한다. 도표(820)은 8명의 피험자로부터 수득한 2개 SSVEP 자극 세트에 대한 평균 정보 전송 속도(ITR)를 도시한다(세트 1의 경우 N=440, 세트 2의 경우 N=360). 제1 테스트 세트(표 2에 '세트 1'로 표시)의 경우 SSVEP 자극의 분리성을 결정하기 위해 10.0 내지 17.2Hz 사이의 10개 표준 자극이 생성되었다(자세한 내용은 표 S1 참조). 또 다른 테스트 세트(표 3에 '세트 2'로 표시)에는 각각 10.0 내지 17.7Hz 사이의 왼쪽 눈 주파수 범위와 16.9 내지 9.2Hz 사이의 오른쪽 눈 주파수 범위가 포함된다.

세트 "1"의 결과는 짧은 시간의 샘플에서 높은 정확도를 입증한다. 예를 들면, 기본 신호(cue) 안내 작업에서 세트 1의 8명의 피험자는 단 0.8초의 측정 기간 동안 91.25 ± 1.40%의 정확도를 보여주었다. 이 결과는 206.7 ± 7.3비트/분의 높은 처리량 ITR을 입증한다. 측정 기간이 증가함에 따라 전체 정확도는 1.0초에서 93.88±1.11%, 1.2초에서 95.03±0.97%, 2.0초에서 98.50±0.34%로 크게 증가한다.

도 8b는 또한 전극 위치의 두 가지 구성(구성 "A" 824, 구성 "B" 826)의 평가 결과를 도시한다. 도표(822)은 두 전극 배열 사이의 분류 정확도를 비교한 결과를 제시한다. 도표(822)에서 평가된 피험자에 대해 구성 "A"가 구성 "B"보다 더 강한 성능을 나타냄을 확인할 수 있다. 그래프의 오차 막대는 평균의 표준 오차를 나타낸다. 구성 "A"(824)에서는 두 개의 채널이 각각 반구 방향으로 편향된다. 구성 "B"(826)에서는 모든 채널이 중앙 기준을 공유한다.

상기 연구를 바탕으로 32개의 고유한 주파수 조합을 사용해서 새로운 자극 설정 '세트 3'을 개발하여 설정 '세트 2'에서 연구된 바와 같은 충돌을 최소화하고 부정확성이 방지될 수 있도록 하였다. 이 자극 설정의 상세한 내용을 도 3c를 참조하여 논의한다.

분당 비트 수로 측정되는 정보 전송 속도(ITR)를 사용하여 BCI 성능을 평가할 수 있다. ITR은 수식 1에 따라 대상 수, 명령을 전달하는 데 소요되는 평균 시간 및 분류 정확도를 기반으로 계산된다.

(식 1)

상기 식에서 N은 대상 수, A는 정확도, w는 데이터 수집 시간과 처리, 분류 및 실행 지연 시간을 포함하여 명령을 실행하는 데 필요한 총 시간이다.

CNN 분류 성능. CNN을 훈련하기 위해 테스트 데이터는 자극이 처음 제시된 시점으로 분할되었다. 각 시간 프레임(0.8 내지 1.2초)에 대해 첫 번째 기간만 사용되었고 나머지는 폐기되었다. 분할 후 데이터는 코너 주파수가 2.0Hz인 3차 버터워스 고역 통과 필터를 사용하여 전처리되었다. 데이터는 훈련 및 분류에 사용되기 전에 전처리되지 않았다. 세트 "1" 및 "2"의 경우 샘플 N이 교차 검증을 위해 10개의 그룹으로 세분화되었다. 세트 "3"의 경우 샘플 N은 더 빠른 설정 시간을 위한 4겹(fold) 교차 검증을 위해 4개의 그룹으로 세분화되었다. 분류는 공간 합성곱이 있는 합성곱 신경망(CNN)을 사용하여 수행되었다(Bevilacqua 등 2014; Mahmood 등 2021; Ravi 등 2020; Waytowich 등 2018). CNN의 경우 128개 샘플의 배치 크기가 사용되었으며, 100세대(epoch) 동안 훈련을 실행하거나 검증 데이터 분류가 10세대 동안 개선되지 않으면 조기 중단되었다. 실시간 분류에 사용하기 위해 가장 높은 성능의 분류 정확도를 갖춘 훈련된 네트워크가 저장되었다.

도 8c는 연구에 사용된 CNN 분류기에 대한 분류 성능 결과를 도시한다. CNN 분류기는 공간-CNN 분류를 사용하였다. 도 8c에는 다양한 숨겨진 레이어와 4채널 EEG 신호의 1초 세그먼트에서 추출된 특징을 포함하는 공간 CNN 모델의 개요(828)가 도시되어 있다. 이 연구에서는 왼쪽 자극 주파수가 8.2Hz이고 오른쪽 자극 주파수가 13.2Hz인 자극 설정을 사용하였다.

이 연구는 유선 Ag/AgCl 전극(Norton 등, 2015)과 본원의 예시적인 무선 연성 전자 장치를 갖춘 상용 설정을 사용하여 두 세트의 실험을 수행하였다. 두 설정 모두 4개의 EEG 채널과 33개의 클래스를 사용하였다. 기존의 설정에서는 유선 표준 전극 리드와 전도성 페이스트로 계면을 형성한 Ag/AgCl 전극을 사용하여 두피에서 EEG 신호를 기록하였다. 본원의 예시적인 연성 전자 시스템은, 예를 들면, 도 2를 참조하여 기술한 바의 전도성 젤을 사용하지 않는 헤드밴드와 건식 바늘 전극을 사용하였다.

도표(830 및 832)는 각각 두 세트의 실험에 대한 성능 결과를 도시한다. 도표(830)은 분류 정확도를 보여주고, 도표(832)는 두 세트의 실험 각각에 대한 평균 ITR을 보여준다. 4겹 교차 검증을 사용하여 상기 상용 설정은 (각각 도표 830 및 832를 통해) 0.8초의 데이터에서 74.72 ± 3.03%의 정확도를 보여주었다(ITR: 222.4±15.0비트/분). 측정 시간이 길어지면 정확도가 약간 더 높아질 것으로 예상된다. 반면에 본원의 예시적인 연성 전자 시스템은 각각 78.93 ± 2.36% 및 243.6 ± 12.5비트/분으로 분류 정확도 및 ITR의 상당한 증가를 (각각 도표 830 및 832를 통해) 보여주었다. 전반적으로 본 연구는 피부 준비 및 유선 전극이 필요한 종래의 테더링 시스템에 비해 건식 전극이 있는 무선 연성 플랫폼을 사용할 때 고유한 이점이 있다는 점을 입증하고 있다.

자극 주파수 및 위상 변이 특성화. 도 8d는 자극 주파수 및 위상 변이의 효과를 평가한 결과를 도시한다. 이 연구는 선행 기술의 설정과 본원의 예시적인 연성 전자 장치 설정을 사용하여 수행되었다. 도표(834)는 시각화된 연속 자극에 대응하는 좌안 및 우안 주파수 응답을 나타내고, 도표(836)은 대응하는 좌안 및 우안 위상 오프셋을 제시한다.

도표(838)은 33개 클래스 SEAS 자극(9명의 피험자)에 대한 연성 전자 장치의 결과로부터 생성된 혼동 행렬을 제시한다. 도표(840)은 선행 기술의 설정 대해 동일한 실험 조건에서 동일한 결과를 제시한다. 단일 주파수 자극의 경우 대부분의 혼동은 인접한 주파수에서 발생한다는 것을 관찰할 수 있다. 반면에 이중 주파수 자극은 단일 및 기타 이중 주파수 자극과 다양한 혼합을 보여준다. 이 결과는 한쪽 눈 또는 다른 쪽 눈의 자극이 시각 피질의 양쪽 반구에서 처리된다는 것을 입증하였다. 또한 이 연구는 분류가 수행될 수 있는 상당한 반구 관련 비동기성과 혼합이 있음을 입증하였다. 결과는 종래 기술에 비해 높은 수준에서 겨우 4개의 EEG 채널로도 가장 높은 ITR 중 하나를 달성할 수 있음을 입증하고 있다.

도 8e는 본원의 예시적인 연성 전자 장치와 종래 기술 사이의 성능 비교에 대한 표를 제시한다. 상기 표에 제시된 것처럼 본원의 예시적인 연성 전자 장치는 80%에 가까운 정확도로 4개의 전극 채널을 사용하여 33개 분류에 대해 243.5비트/분의 ITR을 달성할 수 있다.

SSVEP 논의. 감금 증후군(LIS)은 눈 깜박임과 안구 운동을 제외한 완전한 마비 상태를 나타낸다(Padfield 등 2019). 여기서 뇌 활동과 인지 기능은 일반적으로 영향을 받지 않아 환자는 움직이거나 의사소통하는 것은 할 수 없지만 자기와 환경을 인식할 수 있는 유사 혼수 상태에 있게 된다. 정상적인 피질 뇌 활동에도 불구하고 환자는 일반적으로 뇌 하부와 뇌간 손상으로 인해 운동 기능을 제어할 수 없게 된다. 인간에게 LIS를 유발하는 원인은 뇌간 뇌졸중, 외상성 뇌 손상 또는 출혈, 중독 또는 약물 과다 복용을 포함하되 그로 국한되지 않는다. 뇌 활동 분석은 일반적으로 영향을 받은 개인의 수면-각성 패턴을 관찰하는 뇌파검사(EEG)와 같은 장비로 LIS를 진단하는 데 사용된다. BCI의 출현으로 환자는 운동 기능에 대한 요건을 충족할 필요 없이 뇌 활동을 모니터링하여 컴퓨터나 보철 장치와 같은 장치를 제어할 수 있게 됐다. BCI는 LIS 또는 사지마비와 같은 심각한 신체 장애가 있는 환자에게 가능한 해법을 제공하고 이러한 개인의 운동 및 의사소통 능력을 회복시킴으로써 그들의 삶의 질을 향상시킬 수 있다. BCI를 위한 EEG 설계는 블루투스와 같은 공통 무선 프로토콜의 표준화 이후 무선 기능을 갖춘 웨어러블 장치를 지향하는 경향이 있다(Lin 등 2010). 건식 전극은 젤 기반 전극에 비해 우수하고 장기적으로 일관성 있는 성능을 보장한다(Norton 등 2015; Salvo 등 2012; Stauffer 등 2018). 단, 피부 준비, 증폭기, 차폐 및 전극 구성이 적절해야 한다(Li 등 2017; Salvo 등 2012). 최소한의 케이블링을 갖춘 경량 센서는 잘못 구성된 선행 기술 EEG에서 발생하는 지연 또는 움직임 아티팩트도 상당히 저감할 수 있다(Tallgren 등 2005).

SSVEP를 사용하면 다양한 주파수와 위상 오프셋을 갖는 최대 40개의 고유한 자극을 합리적인 정확도로 구별할 수 있다(Nakanishi 등 2017). 경험적 증거는 SSVEP 신호에 상당한 반구 비대칭이 있음을 시사한다(Martens 및 H

bner 2013; Wu 2016). 최근 연구는 교번 위상에서 점멸하는 두 개의 자극이 사용되는 비대칭 고주파 이중 자극 SSVEP를 제시하여 보다 효율적인 SSVEP 인코딩을 입증하고 있다(Yue 등 2020). 눈의 감각 수용체와 시각 피질 사이 연결의 비대칭 특성으로 인해 각 눈이 동시에 보는 서로 다른 자극이 한쪽 반구에서 측정 가능한 수준의 서로 다른 뇌 활동을 유발한다고 추론할 수 있다(Richard 등 2018).

본 발명의 실시형태는 SSVEP를 사용할 수 있는 연성 생체전자 시스템 및 SEAS 플랫폼을 사용하는 휴대용 VR 지원 BCI를 포함한다. VR을 사용하면 비동기 SSVEP 자극, 즉 각 눈에 서로 다른 주파수를 동시에 제시할 수 있다. 전반적으로 연성의 웨어러블 무선 장치와 함께 VR을 통해서 새로운 자극을 사용하면 높은 정확도와 낮은 제어 대기 시간을 갖춘 33개 클래스의 고처리량 SSVEP BCI가 가능하게 된다. 4개의 채널만을 사용하여 243.6 ± 12.5비트/분의 최대 정보 전송 속도에서 0.8초의 데이터에 대해 78.93 ± 1.05%의 정확도가 달성되는 것으로 관찰되었다. 고정밀 모드에서 장치는 126.6 ± 3.7비트/분의 처리량으로 2초의 데이터에 대해 91.73 ± 0.68%의 정확도를 달성한다. 이 성능은 완전 키보드 유형 설정을 사용하는 실시간 텍스트 철자생성기 인터페이스를 사용하여 입증되었다.

비록 본 발명의 예시적 실시형태가 본원에서 일부 예시를 통해서 상세하게 기술되어 있지만 다른 실시형태도 고려될 수 있는 것으로 이해되어야 한다. 따라서 본원은 본 발명을 하기 설명에 제시된 또는 도면에 제시된 구성 요소의 구조 및 배열에 대한 상세 기술로 그 범위를 한정할 의도를 갖지 않는다. 본 발명은 다른 실시형태가 있을 수 있거나 다양한 방법으로 실시 또는 수행될 수 있다.

명세서 및 첨부된 청구범위에 사용된 바와 같이, 단수형 "한", "하나" 및 "상기"는 문맥상 명백하게 달리 지시하지 않는 그 복수형을 포함한다는 점에 주의해야 한다. 범위는 본원에서 "약" 또는 "대략 5"으로 수식된 하나의 특정 값 및/또는 "약" 또는 "대략"으로 수식된 또 다른 특정 값까지로 표현될 수 있다. 그러한 한 범위가 표현될 때, 다른 예시적 실시형태는 해당 특정값 및/또는 또 다른 특정 값을 포함한다.

"포함하는" 또는 "함유하는" 또는 "갖는"과 같은 표현은 적어도 명시된 화합물, 요소, 입자 또는 방법 단계가 조성물, 물건 또는 방법에 존재하지만 다른 화합물, 재료, 입자, 방법 단계의 존재를, 비록 그러한 다른 화합물, 재료, 입자, 방법 단계가 명시된 것과 동일한 기능을 갖더라도, 배제하지 않는다는 것을 의미한다.

예시적 실시형태를 기술할 때, 명확성을 위해 용어를 참조한다. 각 용어는 통상의 기술자가 이해하는 바의 가장 넓은 의미가 고려되며 유사한 목적을 달성하기 위한 유사한 방법으로 작동하는 모든 기술적 등가물을 포함하는 의도를 갖는다. 또한 한 방법에 대한 하나 이상의 단계에 대한 명시는 해당 방법의 추가 단계 또는 그러한 명시된 단계 사이의 중단 단계의 존재를 배제하지 않는 것으로 이해되어야 한다. 한 방법의 단계는 본 발명의 범위를 벗어나지 않으면서도 본원에 기술된 순서와 다른 순서로 수행될 수 있다. 또한 하나의 장치 또는 시스템에서 하나 이상의 구성 요소에 대한 명시는 추가 구성 요소 또는 그러한 명시된 구성 요소 사이의 중간 구성 요소의 존재를 배재하지 않는 것으로 이해되어야 한다.

본원에서 논의되는 "대상(피험자)"은 임의의 적용 가능한 인간, 동물 또는 기타 유기체, 살아 있거나 죽었거나, 또는 기타 생물학적 또는 분자 구조 또는 화학적 환경일 수 있으며, 대상의 특정 구성 요소, 예를 들면, 대상의 특정 조직 또는 체액(예를 들면, 살아 있는 대상의 신체의 특정 영역에 있는 인간 조직)과 관련될 수 있으며, 이는 대상 내에서 특정 위치에 있을 수 있는 것으로서 본원에서 "관심 영역"으로 지칭될 수 있다.

본원에서 논의되는 대상은 인간 또는 임의의 동물일 수 있는 것으로 이해되어야 한다. 동물은 임의의 적용 가능한 유형의 변종일 수 있으며, 여기에는 포유류, 수의과 동물, 가축 또는 애완 동물 등을 포함하되 이에 국한되지 않는 것으로 이해되어야 한다. 예를 들면, 인간과 유사한 일부 특성을 갖는 것으로 특별히 선택된 실험실 동물일 수 있다(예를 들면, 쥐, 개, 돼지, 원숭이 등). 대상은, 예를 들면, 임의의 적용 가능한 인간 환자인 것으로 이해되어야 한다.

용어 "약"은 본원에서 대략, 그러한 정도, 개강, 또는 쯤을 의미하도록 사용된다. 용어 "약"이 수치 범위와 함께 사용되는 경우, 이는 기재된 수치 값보다 크거나 작은 방향으로 그 한계를 확장하여 그 범위를 수정한다. 일반적으로 용어 "약"은 본원에서 수치를 명시된 값 위아래로 10%의 변량만큼 가감하기 위해 사용된다. 일 양상에서 용어 "약"은 수식하는 수치에 10%를 더하거나 그로부터 그만큼을 빼는 것을 의미한다. 따라서 약 50%는 45% 내지 55% 범위를 의미한다. 본원에서 끝점으로 기술된 수치 범위는 해당 범위 내에 포함된 모든 숫자 및 분수를 포함한다(예를 들면, 1 내지 5에는 1, 1.5, 2, 2.75, 3, 3.90, 4, 4.24 및 5가 포함됨).

마찬가지로 본원에서 끝점으로 기술된 수치 범위는 해당 범위 내에 포함된 하위 범위를 포함한다(예를 들면, 1 내지 5는 1 내지 1.5, 1.5 내지 2, 2 내지 2.75, 2.75 내지 3, 3 내지 3.90, 3.90 내지 4, 4 내지 4.24, 4.24 내지 5, 2 내지 5, 3 내지 5, 1 내지 4, 및 2 내지 4를 포함한다). 또한 그러한 모든 숫자 및 분수는 "약"이라는 용어로 수식되는 것으로 가정된 것으로 이해되어야 한다.

하기된 그리고 본원 전체에 제시된 특허, 출원, 및 출판물은 그 전체가 본원에 참조로서 원용된다.

[1] N. Padfield, J. Zabalza, H. Zhao, V. Masero, J. Ren, Sensors 2019, 19, 1423.

[2] A. Venkatakrishnan, G. E. Francisco, J. L. Contreras-Vidal, Current physical medicine and rehabilitation reports 2014, 2, 93.

[3] M. Mahmood, D. Mzurikwao, Y.-S. Kim, Y. Lee, S. Mishra, R. Herbert, A. Duarte, C. S. Ang, W.-H. Yeo, Nature Machine Intelligence 2019, 1, 412.

[4] Norton 등, “Soft, curved electrode systems capable of integration on the auricle as a persistent brain-computer interface,” Proceedings of the National Academy of Sciences 2015, 112, 3920.

[5] Herbert 등, “Soft Material-Enabled, Flexible Hybrid Electronics for Medicine, Healthcare, and Human-Machine Interfaces,” Advanced Materials 2020, 32, 1901924; W.-H. Yeo, Y. Lee, Journal of Nature and Science 2015, 1, e132.

[6] Lin 등, “Review of Wireless and Wearable Electroencephalogram Systems and Brain-Computer Interfaces - A Mini-Review,” Gerontology 2010, 56, 112.

[6’] Tian 등, “Large-area MRI-compatible epidermal electronic interfaces for prosthetic control and cognitive monitoring,” Nature Biomedical Engineering 2019, 3, 194

[6”] Li 등, “Recent Developments on Graphene-Based Electrochemical Sensors toward Nitrite,” J. Wu, Y. Xia, Y. Wu, Y. Tian, J. Liu, D. Chen, Q. He, Journal of neural engineering 2020, 17, 026001.

[7] P. Salvo, R. Raedt, E. Carrette, D. Schaubroeck, J. Vanfleteren, L. Cardon, Sensors and Actuators A: Physical 2012, 174, 96.

[8] G. Li, S. Wang, Y. Y. Duan, Sensors and Actuators B: Chemical 2017, 241, 1244.

[9] F. Stauffer, M. Thielen, C. Sauter, S. Chardonnens, S. Bachmann, K. Tybrandt, C. Peters, C. Hierold, J. Voros, Adv Healthc Mater 2018, 7, e1700994; M. A. Lopez-Gordo, D. Sanchez-Morillo, F. P. Valle, Sensors 2014, 14, 12847.

[10] D. Gao, K. Parida, P. S. Lee, Advanced Functional Materials 2020, 30, 1907184; H. Wu, G. Yang, K. Zhu, S. Liu, W. Guo, Z. Jiang, Z. Li, Advanced Science 2021, 8, 2001938.

[11] W. Guo, P. Zheng, X. Huang, H. Zhuo, Y. Wu, Z. Yin, Z. Li, H. Wu, ACS applied materials & interfaces 2019, 11, 8567.

[12] Z. Jiang, M. O. G. Nayeem, K. Fukuda, S. Ding, H. Jin, T. Yokota, D. Inoue, D. Hashizume, T. Someya, Advanced Materials 2019, 31, 1903446.

[13] R. Abiri, S. Borhani, E. W. Sellers, Y. Jiang, X. Zhao, Journal of neural engineering 2019, 16, 011001.

[14] G. Pfurtscheller, C. Neuper, D. Flotzinger, M. Pregenzer, Electroencephalography and clinical Neurophysiology 1997, 103, 642

[14’] X. Tang, W. Li, X. Li, W. Ma, X. Dang, Expert Systems with Applications 2020, 149, 113285.

[15] R. Zhang, Q. Zong, L. Dou, X. Zhao, Journal of neural engineering 2019, 16, 066004.

[16] V. Jurcak, D. Tsuzuki, I. Dan, Neuroimage 2007, 34, 1600.

[17] O. Olatunji, A. Denloye, Journal of Polymers and the Environment 2019, 27, 1252; A. Rmgens, D. Bader, J. Bouwstra, F. Baaijens, C. Oomens, journal of the mechanical behavior of biomedical materials 2014, 40, 397.

[18] S. Russo, T. Ranzani, H. Liu, S. Nefti-Meziani, K. Althoefer, A. Menciassi, Soft robotics 2015, 2, 146

[18’] W. H. Yeo, Y. S. Kim, J. Lee, A. Ameen, L. Shi, M. Li, S. Wang, R. Ma, S. H. Jin, Z. Kang, Advanced materials 2013, 25, 2773.

[19] H. Yang, S. Sakhavi, K. K. Ang, C. Guan, "On the use of convolutional neural networks and augmented CSP features for multi-class motor imagery of EEG signals classification", 2015년 의학 및 생물학 학회의 IEEE 공학(EMBC) 제37회 국제학술대회에서 발표, 2015; S. Chaudhary, S. Taran, V. Bajaj, A. Sengur, IEEE Sensors Journal 2019, 19, 4494.

[20] Z. Tang, C. Li, S. Sun, Optik 2017, 130, 11.

[21] R. T. Schirrmeister, J. T. Springenberg, L. D. J. Fiederer, M. Glasstetter, K. Eggensperger, M. Tangermann, F. Hutter, W. Burgard, T. Ball, Human brain mapping 2017, 38, 5391.

[22] P. Welch, IEEE Transactions on audio and electroacoustics 1967, 15, 70.

[23] Y.-T. Kwon, H. Kim, M. Mahmood, Y.-S. Kim, C. Demolder, W.-H. Yeo, ACS Appl. Mater. Interfaces 2020, 12, 49398; Y.-T. Kwon, J. J. Norton, A. Cutrone, H.-R. Lim, S. Kwon, J. J. Choi, H. S. Kim, Y. C. Jang, J. R. Wolpaw, W.-H. Yeo, Biosens. Bioelectron. 2020, 165, 112404.

[24] M. Abadi, P. Barham, J. Chen, Z. Chen, A. Davis, J. Dean, M. Devin, S. Ghemawat, G. Irving, M. Isard, "Tensorflow: A system for large-scale machine learning", 운영 체제 설계 및 구현에 관한 제12차 {USENIX} 심포지엄에서 발표({OSDI} 16), 2016.

[25] Y. R. Tabar, U. Halici, Journal of neural engineering 2016, 14, 016003.

[26] N. Lu, T. Li, X. Ren, H. Miao, IEEE transactions on neural systems and rehabilitation engineering 2016, 25, 566.

[27] Z. Shi, F. Zheng, Z. Zhou, M. Li, Z. Fan, H. Ye, S. Zhang, T. Xiao, L. Chen, T. H. Tao, Y.-L. Sun, Y. Mao, Advanced Science 2019, 6, 1801617.

[28] Bevilacqua, V., Tattoli, G., Buongiorno, D., Loconsole, C., Leonardis, D., Barsotti, M., Frisoli, A., Bergamasco, M., 2014. A novel BCI-SSVEP based approach for control of walking in virtual environment using a convolutional neural network. 2014 International Joint Conference on Neural Networks (IJCNN), pp. 4121-4128. IEEE.

[29] Chen, X., Wang, Y., Nakanishi, M., Gao, X., Jung, T.P., Gao, S., 2015. High-speed spelling with a noninvasive brain-computer interface. Proc Natl Acad Sci U S A 112(44), E6058-6067.

[30] Kwak, N.S., Muller, K.R., Lee, S.W., 2017. A convolutional neural network for steady state visual evoked potential classification under ambulatory environment. PLoS One 12(2), e0172578.

[31] Li, G., Wang, S., Duan, Y.Y., 2017. Towards gel-free electrodes: A systematic study of electrode-skin impedance. Sensors and Actuators B: Chemical 241, 1244-1255.

[32] Lin, C.T., Ko, L.W., Chang, M.H., Duann, J.R., Chen, J.Y., Su, T.P., Jung, T.P., 2010. Review of wireless and wearable electroencephalogram systems and brain-computer interfaces--a mini-review. Gerontology 56(1), 112-119.

[33] Mahmood, M., Kwon, S., Kim, Y.-S., Siriaraya, P., Choi, J., Boris, O., Kang, K., Jun Yu, K., Jang, Y.C., Ang, C.S., 2021. Wireless Soft Scalp Electronics and Virtual Reality System for Motor Imagery-based Brain-Machine Interfaces. Advanced Science.

[34] Mahmood, M., Mzurikwao, D., Kim, Y.-S., Lee, Y., Mishra, S., Herbert, R., Duarte, A., Ang, C.S., Yeo, W.-H., 2019. Fully portable and wireless universal brain-machine interfaces enabled by flexible scalp electronics and deep learning algorithm. Nature Machine Intelligence 1(9), 412-422.

[35] Martens, U., Hbner, R., 2013. Functional hemispheric asymmetries of global/local processing mirrored by the steady-state visual evoked potential. Brain and cognition 81(2), 161-166.

[36] Nakanishi, M., Wang, Y., Chen, X., Wang, Y.-T., Gao, X., Jung, T.-P., 2017. Enhancing detection of SSVEPs for a high-speed brain speller using task-related component analysis. IEEE Transactions on Biomedical Engineering 65(1), 104-112.

[37] Norton, J.J.S., Lee, D.S., Lee, J.W., Lee, W., Kwon, O., Won, P., Jung, S.-Y., Cheng, H., Jeong, J.-W., Akce, A., Umunna, S., Na, I., Kwon, Y.H., Wang, X.-Q., Liu, Z., Paik, U., Huang, Y., Bretl, T., Yeo, W.-H., Rogers, J.A., 2015. Soft, curved electrode systems capable of integration on the auricle as a persistent brain-computer interface. Proceedings of the National Academy of Sciences 112(13), 3920-3925.

[38] Padfield, N., Zabalza, J., Zhao, H., Masero, V., Ren, J., 2019. EEG-based brain-computer interfaces using motor-imagery: Techniques and challenges. Sensors 19(6), 1423.

[39] Ravi, A., Beni, N.H., Manuel, J., Jiang, N., 2020. Comparing user-dependent and user-independent training of CNN for SSVEP BCI. Journal of neural engineering 17(2), 026028.

[40] Richard, B., Chadnova, E., Baker, D.H., 2018. Binocular vision adaptively suppresses delayed monocular signals. NeuroImage 172, 753-765.

[41] Rodeheaver, N., Herbert, R., Kim, Y.S., Mahmood, M., Kim, H., Jeong, J.W., Yeo, W.H., 2021. Strain-Isolating Materials and Interfacial Physics for Soft Wearable Bioelectronics and Wireless, Motion Artifact-Controlled Health Monitoring. Advanced Functional Materials 31(36), 2104070.

[42] Rodeheaver, N., Kim, H., Herbert, R., Seo, H., Yeo, W.-H., 2022. Breathable, Wireless, Thin-Film Wearable Biopatch Using Noise-Reduction Mechanisms. ACS Applied Electronic Materials.

[43] Salvo, P., Raedt, R., Carrette, E., Schaubroeck, D., Vanfleteren, J., Cardon, L., 2012. A 3D printed dry electrode for ECG/EEG recording. Sensors and Actuators A: Physical 174, 96-102.

[44] Stauffer, F., Thielen, M., Sauter, C., Chardonnens, S., Bachmann, S., Tybrandt, K., Peters, C., Hierold, C., Voros, J., 2018. Skin Conformal Polymer Electrodes for Clinical ECG and EEG Recordings. Adv Healthc Mater 7(7), e1700994.

[45] Tallgren, P., Vanhatalo, S., Kaila, K., Voipio, J., 2005. Evaluation of commercially available electrodes and gels for recording of slow EEG potentials. Clin Neurophysiol 116(4), 799-806.

[46] Volosyak, I., 2011. SSVEP-based Bremen-BCI interface--boosting information transfer rates. J Neural Eng 8(3), 036020.

[47] Wang, Y., Wang, Y.T., Jung, T.P., 2010. Visual stimulus design for high-rate SSVEP BCI. Electronics Letters 46(15).

[48] Waytowich, N., Lawhern, V.J., Garcia, J.O., Cummings, J., Faller, J., Sajda, P., Vettel, J.M., 2018. Compact convolutional neural networks for classification of asynchronous steady-state visual evoked potentials. Journal of neural engineering 15(6), 066031.

[49] Wu, Z., 2016. Physical connections between different SSVEP neural networks. Scientific reports 6(1), 1-9.

[50] Xiao, C., Chiang, K.-J., Nakanishi, M., Jung, T.-P., 2021. A Comparison Study of Single-and Multiple-Target Stimulation Methods for Eliciting Steady-State Visual Evoked Potentials. 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), pp. 698-701. IEEE.

[51] Xing, X., Wang, Y., Pei, W., Guo, X., Liu, Z., Wang, F., Ming, G., Zhao, H., Gui, Q., Chen, H., 2018. A high-speed SSVEP-based BCI using dry EEG electrodes. Scientific reports 8(1), 1-10.

[52] Yue, L., Xiao, X., Xu, M., Chen, L., Wang, Y., Jung, T.-P., Ming, D., 2020. A brain-computer interface based on high-frequency steady-state asymmetric visual evoked potentials. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pp. 3090-3093. IEEE.

[53] Zavanelli, N., Kim, H., Kim, J., Herbert, R., Mahmood, M., Kim, Y.-S., Kwon, S., Bolus, N.B., Torstrick, F.B., Lee, C.S., 2021. At-home wireless monitoring of acute hemodynamic disturbances to detect sleep apnea and sleep stages via a soft sternal patch. Science advances 7(52), eabl4146.

Claims

시스템으로서,
가요성 회로 기판에 제작된 가요성 표피 관통 마이크로니들 전극 어레이를 각각 포함하되, 상기 가요성 회로 기판이 무선 인터페이스 회로에 작동 가능하게 연결된 아날로그-디지털 변환기 회로에 작동 가능하게 연결된 저상형 EEG 센서 세트, 및
상기 저상형 EEG 센서 세트에 작동 가능하게 연결된 뇌-장치 인터페이스를 포함하되, 상기 뇌-장치 인터페이스는
프로세서; 및
상기 프로세서에 작동 가능하게 연결된 메모리를 포함하되, 상기 메모리는 명령을 저장하고 있으며, 상기 프로세서는 상기 명령을 실행함으로써 상기 프로세서가
상기 저상형 EEG 센서로부터 획득한 EEG 신호를 수신하고,
상기 획득한 EEG 신호로부터 훈련된 신경망을 통해 뇌신호를 제어신호로 연속적으로 분류하며,
상기 제어신호를 가상 현실 환경 제어기로 출력하여 대상이 상기 가상 현실 환경 제어기가 생성한 가상 현실(VR) 장면을 볼 수 있도록 하는 명령을 실행하게 하는 시스템.
제1항에 있어서, 상기 명령은 상기 VR 장면에서 특정 신체 지부(extremity)에 대한 일군의 동작을 유발하고, 상기 훈련된 신경망은 상기 일군의 동작에 대한 상기 뇌신호를 분류하도록 구성되는 시스템.
제1항 또는 제2항에 있어서, 상기 저상형 EEG 센서 세트는 신축성의 가요성 커넥터 세트를 통해 상기 뇌-장치 인터페이스에 연결되는 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 마이크로니들 전극은 확장된 접촉면 및 감소된 전극 임피던스 밀도를 갖는 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서,
저탄성 엘라스토머 밴드를 포함하는 착용 가능한 연성 헤드셋을 더 포함하는 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 훈련된 신경망은 공간적 합성곱 신경망을 포함하는 시스템.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 저상형 EEG 센서 세트는 동작 상상을 위해 두피를 따라 배치되는 시스템.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 저상형 EEG 센서 세트는 정상상태시각유발전위(SSVEP) 측정을 위해 두피를 따라 배치되는 시스템.
제8항에 있어서, 상기 가상 현실 환경 제어기는 실시간 텍스트 철자 인터페이스를 위해 상기 가상 장면에서 분할안비동기자극(SEAS)을 생성하도록 구성되는 시스템.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 프로세서가 상기 명령을 실행함으로써, 상기 프로세서가
상기 획득된 EEG 신호를 상기 훈련된 신경망의 재훈련 작업을 실행하는 원격 또는 클라우드 컴퓨팅 장치로 전송하고,
상기 가상 현실 환경 제어기의 런타임 작동 중에 상기 원격 또는 클라우드 컴퓨팅 장치로부터 업데이트된 훈련된 신경망을 수신하는 시스템.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 어레이의 복수의 가요성 표피 관통 마이크로니들 전극 각각은 모발이 있는 두피에 장착할 수 있도록 높이는 적어도 500μm(예를 들면, 800μm), 하단 폭은 약 350μm, 그리고 면적은 약 36mm²인 시스템.
방법으로서,
사용자의 두피에 배치된 저상형 EEG 센서 세트를 구비하되, 상기 저상형 EEG 센서 세트는 각각 가요성 회로 기판 상에 제작된 가요성 표피 관통 마이크로니들 전극의 어레이를 포함하며, 상기 가요성 회로 기판은 무선 인터페이스 회로에 작동 가능하게 연결된 아날로그-디지털 변환기 회로에 작동 가능하게 연결되는 단계;
상기 저상형 EEG 센서 세트에 작동 가능하게 연결된 프로세서 또는 뇌-장치 인터페이스가 상기 저상형 EEG 센서로부터 획득된 EEG 신호를 수신하는 단계;
상기 프로세서가 상기 획득된 EEG 신호로부터 훈련된 신경망을 통해 뇌신호를 제어신호로 연속적으로 분류하는 단계; 및
상기 프로세서가 상기 제어신호를 가상 현실 환경 제어기에 출력하여 대상이 상기 가상 현실 환경 제어기가 생성한 VR 장면을 볼 수 있도록 하는 명령을 실행하는 단계를 포함하는 방법.
제12항에 있어서, 상기 저상형 EEG 센서 세트는 전도성 젤 또는 페이스트 없이 상기 두피에 직접 배치되는 방법.
제12항 또는 제13항에 있어서, 상기 저상형 EEG 센서 세트는 i) 상기 두피의 정수리에 배치된 가요성 표피 관통 마이크로니들 전극의 기준 어레이와 ii) 동작 상상 측정을 위해 제1 전두부, 제2 후두부 및 4개의 측두부에 위치한 저탄성 엘라스토머 밴드에 분리 가능하게 부착된 가요성 표피 관통 마이크로니들 전극의 6개 어레이를 포함하는 방법.
제12항 또는 제13항에 있어서, 상기 저상형 EEG 센서 세트는 i) 상기 두피의 후두부에 배치된 가요성 표피 관통 마이크로니들 전극의 기준 어레이와 ii) 정상상태시각유발전위(SSVEP) 측정을 위해서 상기 두피의 후두부에 위치한 저탄성 엘라스토머 밴드에 분리 가능하게 부착된 가요성 표피 관통 마이크로니들 전극의 4개 어레이를 포함하는 방법.
제12항 내지 제15항 중 어느 한 항에 있어서,
상기 프로세서가 상기 획득된 EEG 신호를 상기 훈련된 신경망의 재훈련 동작을 실행하는 원격 또는 클라우드 컴퓨팅 장치로 전송하는 단계; 및
상기 프로세서가 상기 가상 현실 환경 제어기의 런타임 작동 중에 상기 원격 또는 클라우드 컴퓨팅 장치로부터 업데이트된 훈련된 신경망을 수신하는 단계를 더 포함하는 방법.
명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 매체로서, 뇌-장치 인터페이스 제어기의 프로세서가 상기 명령을 실행하여, 상기 프로세서가
사용자의 두피에 배치된 저상형 EEG 센서 세트로부터 획득된 EEG 신호를 수신하되, 상기 저상형 EEG 센서 세트 각각이 가요성 회로 기판에 제작된 가요성 표피 관통 마이크로니들 전극의 어레이를 포함하고, 상기 가요성 회로 기판은 무선 인터페이스 회로에 작동 가능하게 연결된 아날로그-디지털 변환기 회로에 작동 가능하게 연결되어 있으며, 상기 저상형 EEG 센서 세트는 전도성 젤이나 페이스트 없이 상기 두피에 직접 배치되며,
상기 획득한 EEG 신호로부터 훈련된 신경망을 통해 뇌신호를 제어신호로 연속적으로 분류하며,
상기 제어신호를 가상 현실 환경 제어기로 출력하여 대상이 상기 가상 현실 환경 제어기가 생성한 VR 장면을 볼 수 있도록 하는 명령을 실행하게 하는 컴퓨터 판독 가능 매체.
제17항에 있어서, 상기 저상형 EEG 센서 세트는 i) 상기 두피의 정수리에 배치된 가요성 표피 관통 마이크로니들 전극의 기준 어레이 및 ii) 동작 상상 측정을 위해 제1 전두부, 제2 후두부, 및 4개 측두부에 배치된 저탄성 엘라스토머 밴드에 분리 가능하게 부착된 가요성 표피 관통 마이크로니들 전극의 6개 어레이를 포함하는 컴퓨터 판독 가능 매체.
제17항에 있어서, 상기 저상형 EEG 센서 세트는 i) 상기 두피의 후두부에 배치된 가요성 표피 관통 마이크로니들 전극의 기준 어레이와 ii) 정상상태시각유발전위(SSVEP) 측정을 위해서 상기 두피의 후두부에 위치한 저탄성 엘라스토머 밴드에 분리 가능하게 부착된 가요성 표피 관통 마이크로니들 전극의 4개 어레이를 포함하는 컴퓨터 판독 가능 매체.
제17항 내지 제19항 중 어느 한 항에 있어서, 상기 프로세서가 상기 명령의 상기 실행을 통해서
상기 획득된 EEG 신호를 상기 훈련된 신경망의 재훈련 작업을 실행하는 원격 또는 클라우드 컴퓨팅 장치로 전송하고,
상기 가상 현실 환경 제어기의 런타임 작동 중에 상기 원격 또는 클라우드 컴퓨팅 장치로부터 업데이트된 훈련된 신경망을 수신하는 컴퓨터 판독 가능 매체.