KR20230104909A - 원격 신경 행동 테스트 시스템 및 방법 - Google Patents

원격 신경 행동 테스트 시스템 및 방법 Download PDF

Info

Publication number
KR20230104909A
KR20230104909A KR1020237018839A KR20237018839A KR20230104909A KR 20230104909 A KR20230104909 A KR 20230104909A KR 1020237018839 A KR1020237018839 A KR 1020237018839A KR 20237018839 A KR20237018839 A KR 20237018839A KR 20230104909 A KR20230104909 A KR 20230104909A
Authority
KR
South Korea
Prior art keywords
sound
images
eye
emitted
light
Prior art date
Application number
KR1020237018839A
Other languages
English (en)
Inventor
헨크-잔 보엘레
사무엘 에스.-에이치. 왕
Original Assignee
더 트러스티즈 오브 프린스턴 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 트러스티즈 오브 프린스턴 유니버시티 filed Critical 더 트러스티즈 오브 프린스턴 유니버시티
Publication of KR20230104909A publication Critical patent/KR20230104909A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4029Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
    • A61B5/4041Evaluating nerves condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling

Abstract

에어 퍼프 없이, 광원, 카메라 및 스피커가 있는 전자 장치를 활용하고 사용자가 조건 자극과 무조건 자극에 노출된 후 눈꺼풀이 감기는 정도에 기초하여 평가하는 눈깜박임 조건화 및 사전 박동 억제를 포함하는 신경 행동 테스트를 위한 시스템 및 방법.

Description

원격 신경 행동 테스트 시스템 및 방법
관련 출원들에 대한 상호 참조
본 출원은 2020년 11월 10일자로 출원된 미국 임시 특허 출원 번호 제63/111,960호, 2021년 6월 4일자로 출원된 미국 임시 특허 출원 번호 제63/197,002호, 및 2021년 7월 6일자로 출원된 미국 임시 특허 출원 번호 제63/218,607호에 대한 우선권을 주장하며, 그 각각은 그 전체가 본원에 참조로서 통합된다.
연방 지원 연구 또는 개발에 관한 성명서
본 발명은 미국 국립 보건원(National Institutes of Health)이 수여한 Grant # R01-NS045193 하에 정부 지원으로 이루어졌다. 정부는 발명에 대한 특정 권리를 가지고 있다.
특정 뇌 영역의 기능과 기능 장애를 연구하기 위해, 연구원과 임상의는 소위 광범위한 신경 행동 테스트(neurobehavioral tests)를 개발했다. 신경 행동 테스트는 특정 뇌 구조의 (기능 장애) 기능을 조사하기 위해 특별히 설계된 태스크로 정의될 수 있다. 심리학과 신경과학에서 특히 유용한 것으로 입증된 두 가지 태스크는 눈깜빡임 조건화(EBC)와 청각적 놀람 반사(PPI)의 사전 박동 억제이다. EBC는 이반 파블로프(Ivan Pavlov)가 수행한 고전적 조건화 실험의 인기 있는 변형이며, 특히 소뇌의 (기능 장애) 기능을 조사하기 위한 최고의 행동 방법 중 하나로 간주된다.
EBC 실험 중에, 피험자는 0.5초 후에 눈에 에어 퍼프(air puff)에 의한 신호음을 듣게 될 것이고, 이는 깜박임 반사를 유도할 것이다. 반복되는 신호음-퍼프 페어링으로 인해, 피험자는 신호음에 대한 반응으로 결국 눈을 감게 되는데, 이를 조건 반응(conditioned response; CR)이라고 한다. EBC는 형식이 단순하지만, 일상 생활에서 학습하는 방법의 여러 측면을 측정한다. 여기에는 피험자가 올바른 새 연관성을 만드는 법을 배우기 때문에 연상 학습이 포함되며, 밀리초 단위의 정밀도로 눈꺼풀 운동 반응을 배우기 때문에 운동 학습이 포함된다.
PPI는 짧고 큰 깜짝 소리(펄스)가 놀람 반사(사전 박동)를 일으키지 않는 약한 소리가 선행될 때 놀람 반응의 크기가 억제되는 행동 현상이다. 이와 함께, PPI는 과도한 자극으로부터 뇌를 보호하고 관련된 자극에 대한 적절한 반응을 가능하게 하기 위해 무관한 감각 정보를 걸러내는 신경계의 메커니즘인 감각 운동 게이팅을 측정한다. PPI는 뇌 영역 특이성이 적고 중뇌가 변연계, 시상 및 전두엽 영역에서 받는 중뇌 기능 및 조절 효과를 조사한다.
눈깜박임 조건화 및 PPI는 100년 이상 사용되어 왔으며, 이러한 태스크의 기본이 되는 신경 메커니즘이 매우 자세하게 설명되었다. 또한, 눈깜박임 조건화 및 PPI는 인간과 동물 모두에서 쉽게 수행될 수 있으며, 두 태스크 모두 번역 임상 연구에 잠재적으로 가치가 있는 것으로 나타났다. 게다가, 두 테스트의 성능은 자폐증 스펙트럼 장애(ASD)를 포함한 신경정신계 장애와 밀접한 관련이 있는 것으로 보이며, 따라서 잠재적인 생체 지표 또는 심지어 진단 도구로 반복적으로 제안되었다. 이러한 이유로, 두 태스크 모두 어느 시점에서 신경정신계 장애로 고통받는 환자에게 도움이 될 것이라는 약속을 가지고 있다.
그러나, 눈깜박임 조건화 및 PPI는 아직 일상적인 임상 실습에서 번역 또는 진단 기구로 사용되지 않다. 왜 안되는가? 첫째, 이종의 신경발달 및 신경정신계 장애를 진단하기 위한 테스트의 민감도와 특이성은 아직 특성화되지 않았다. 둘째, 인간의 눈깜빡임 조건화 PPI에 대한 연구는 종종 힘이 부족하고 포함 편향의 대상이 되면, 한 그룹(종종 '건강한 대조군' 역할을 하는 심리학 학생)이 과장되어 사회 전반을 이해하는 데 제한된 가치를 제공한다. 셋째, 눈깜박임 조건화 및 PPI 설정은 거의 상업적으로 이용 가능하지 않으며 종종 비용이 많이 든다. 넷째, 현재 형태의 태스크는 종종 참가자의 얼굴에 기구가 필요하고 눈에 혐오스러운 에어 퍼프를 사용하여, 어린 아동들과 특히 ASD 환자에게 이러한 태스크를 수행하는 것이 거의 불가능하기 때문에 불쾌한다. 마지막으로, 태스크에는 어떤 형태의 표준화도 없다; 예를 들어, 실험을 수행하는 실험자의 행동과 참가자의 감정 상태는 결과에 지대한 영향을 미쳐, 실험실 간의 재현성이 낮아질 수 있다. 다른 병원에서 검사한 환자들 사이의 다양성에 힘입어, 임상의는 일상적인 실습에서 눈깜박 조절 및 PPI를 사용하는 것을 주저하는 반면, 동시에 연구자들은 자체 실험실에서 정기적으로 눈깜박임 조건화 및 PPI 실험을 계속 수행하며, 이는 잘 제어되지만 종종 고유한 자극 파라미터 세트로 구성된다.
그 결과, 눈깜빡임 조건화 및 PPI에 대한 100년 간의 과학적 투자 이후에도, 이러한 노력은 환자에게 직접 전달되지 않았거나 아주 최소한으로 이루어졌다. 따라서, 신경발달 및 신경정신계 장애가 있는 환자의 진단을 효과적으로 향상시킬 수 있는 유용성으로, 신경 과정과 임상 응용 분야에 대한 기본 지식 사이의 이러한 격차를 메우는 시스템 및 방법이 유용하고 바람직하다.
본 개시의 제1 양태는 에어 퍼프 없이 눈깜빡임 조건화를 포함하는 신경 행동 테스트 방법에 관한 것이다. 방법은, 머리 또는 얼굴에 부착된 임의의 동가물을 필요로 하지 않고, 다음의 단계는, (i) 장치(바람직하게는 스마트폰과 같은 모바일 장치) 상의 스피커로부터 소리를 방출하기 시작하는 단계; (ii) 소리가 방출되는 동안 적어도 하나의 눈의 하나 이상의 초기 이미지를 캡처하는 단계; (iii) 소리가 방출되는 동안 모바일 장치 상의 광원으로부터 광을 방출하는 단계로서, 광의 방출은 소리가 방출되기 시작한 후 고정된 시간 기간(예컨대 100 밀리초 내지 1초)이 시작되는, 상기 방출하는 단계; (iv) 광 및 소리가 방출되는 동안 적어도 하나의 눈의 하나 이상의 최종 이미지를 캡처하는 단계; (v) 소리 및 광의 방출을 중지하는 단계; 및 단계 (i) 내지 (v)를 반복하는 단계를 포함한다.
방법은 바람직하게는 또한 초기 및 최종 이미지 각각에서 적어도 하나의 눈의 개방 정도를 결정하는 단계를 포함한다. 유리하게는, 방법은 개방 정도, 초기 이미지 및/또는 최종 이미지를 (예를 들어, 연구원 또는 의사가 결과를 검토할 수 있도록) 원격 장치 또는 서버로 전송하는 단계를 더 포함한다.
바람직하게는, 방법은 하나 이상의 초기 이미지에서 적어도 하나의 눈의 결정된 개방 정도에 기초하여, 조건 반응이 획득되는 정도를 결정하는 단계를 더 포함한다.
방법은 유리하게는 조건 반응이, (i) 모바일 장치 상의 스피커로부터 소리를 방출하기 시작하고; (ii) 소리가 방출되는 동안 적어도 하나의 눈의 하나 이상의 이미지를 캡처하고; (iii) 소리의 방출을 중지하고; (iv) 이러한 캡처된 이미지의 개방 정도를 결정하고 이러한 캡처된 이미지의 결정된 개방 정도에 기초하여, 조건 반응이 획득되는 정도를 결정함으로써 획득되는 정도를 테스트하는 단계를 포함할 수 있다.
일부 바람직한 실시예들에서, 방법은 원격 장치 또는 서버로부터 수신된 신호에 기초하여 개시된 방법의 단계 a 내지 f를 시작하는 단계를 포함할 수 있다.
유리하게는, 방법은 소리가 방출될 때 진동 모터를 활성화시키는 단계, 및 소리가 방출되는 것을 중지할 때 진동 모터를 비활성화시키는 단계를 더 포함한다.
본 개시의 제2 양태는 신경 행동 테스트에 대한 방법에 관한 것으로, 테스트에는 사용자의 사전 박동 억제를 검출하는 것이 포함된다. 방법은 백색 잡음 사전 박동을 방출하는 단계로서, 백색 잡음 사전 박동은 사용자에게 놀람 반사를 유도하지 않도록 구성된 제1 세기를 가지는, 상기 방출하는 단계, 및 그런 다음 백색 잡음이 방출되지 않는 지연 후에, 사용자에게 놀람 반사를 유발하도록 구성된 제2 세기를 갖는 백색 잡음 펄스를 방출하는 단계로서, 제2 세기는 제1 세기보다 큰, 상기 방출하는 단계를 포함한다. 상술한 바와 같은 눈 깜빡임 검출은 눈의 개방 정도를 측정하는데 사용될 수 있다. 표준과 비교하거나, 비교함으로써
본 개시의 제3 양태는 상기 방법을 수행하도록 구성된, 에어 퍼프 없이 눈깜빡임 조건화를 위한 장치(바람직하게는 스마트폰과 같은 모바일 또는 휴대용 장치)에 관한 것이다. 장치는 광원(예컨대, 카메라 플래시, 별도의 LED 또는 디스플레이 화면), 카메라, 스피커, 하나 이상의 프로세서, 선택적으로는 무선 트랜시버 및 선택적으로는 진동 발생 모터를 포함한다. 프로세서는, 실행 시, 프로세서가, (a) 스피커가 1 시점에서 소리를 방출하기 시작하도록 구성되고; (b) 광원이 고정된 지연 간격(예컨대, 100 밀리초 내지 1초 사이의 시간) 후 제1 시점을 따르는 제2 시점에서 광을 방출하기 시작(예를 들어, 소리가 방출되기 시작한 후 고정된 시간 동안 광을 방출하기 시작)하도록 구성되고; (c) 제3 시점에서 소리를 방출하는 것을 중지하고 광을 방출하는 것을 중지하고; (d) 스피커가 소리를 방출하고 광원이 광을 방출하지 않는 동안 카메라로부터 적어도 하나의 눈의 하나 이상의 제1 이미지를 수신하고; (e) 스피커가 소리를 방출하고 광원이 광을 방출하는 동안 카메라로부터 적어도 하나의 눈의 하나 이상의 제2 이미지를 수신하고; (f) 하나 이상의 제1 이미지 및 하나 이상의 제2 이미지 각각에서 적어도 하나의 눈의 개방 정도를 결정하도록 하는 여러 태스크들을 수행하도록 하는 명령어들로 구성된다.
일부 실시예들에서, 프로세서는 (예를 들어, 무선 트랜시버를 통해) 개방 정도를 원격 장치 또는 서버에 전송하고/하거나 하나 이상의 제1 이미지, 하나 이상의 제2 이미지 또는 이들의 조합을 원격 장치 또는 서버로 전송하도록 더 구성된다.
유리하게는, 일부 실시예들에서, 프로세서는 하나 이상의 제1 이미지에서 적어도 하나의 눈의 결정된 개방 정도에 기초하여, 조건 반응이 획득되는 정도를 결정하도록 더 구성된다.
유리하게는, 일부 실시예들에서, 진동 모터는 제1 시점에서 진동을 시작하도록 구성되고 제3 시점에서 진동을 중지하도록 구성된다.
일부 실시예들에서, 장치는 디스플레이 화면을 포함하고, 디스플레이 화면은 테스트 과정 동안 비디오 또는 이미지, 증강 현실 비디오 또는 이미지, 또는 가상 현실 비디오 또는 이미지를 디스플레이하도록 구성된다.
유리하게는, 하나 이상의 프로세서는 백색 잡음 사전 박동이 방출되도록 하고, 지연 기간 후, 백색 잡음 펄스가 방출되도록 함으로써 사전 박동 억제를 유발하도록 더 구성되며, 상기 펄스의 세기가 상기 사전 박동의 세기보다 크다.
도 1a는 신경 행동 테스트를 위한 방법의 일 실시예의 단순화된 흐름도이다.
도 1b는 에어 퍼프 없이 눈깜박임 조건화를 위한 단계들의 일 실시예의 단순화된 흐름도이다.
도 1c는 사전 박동 억제를 테스트하기 위한 단계의 일 실시예의 단순화된 흐름도이다.
도 2a는 얼굴 랜드마크, 특히 눈 랜드마크를 추적하기 위한 템플릿의 이미지이다.
도 2b는 눈꺼풀 포지셔닝을 추적하는 템플릿 오버레이가 있는 눈을 뜨고 있는 아기의 이미지이다.
도 2c는 눈꺼풀 포지셔닝을 추적하는 템플릿 오버레이가 있는 눈을 감은 아기의 이미지이다.
도 2d는 개시된 방법을 사용하여 이미지로부터 결정된 바와 같은 대표적인 정규화 부분 눈꺼풀 감김(FECNORM) 값을 나타내는 그래프이다.
도 2e는 여러 반복을 통해 검출된 눈깜빡임 조건화를 나타낸다.
도 2f는 사전 박동 억제를 테스트하는 과정을 나타낸다.
도 3은 본 개시의 일 실시예에 따른 시스템 및 장치의 단순화된 개략도이다.
본 개시의 실시예들은 유사한 참조 번호가 유사하거나 동일한 요소를 식별하는 도면을 참조하여 상세히 설명된다. 개시된 실시예들은 다양한 형태로 구현될 수 있는 본 개시의 예들일 뿐이라는 것이 이해되어야 한다. 불필요한 세부 사항으로 본 개시를 모호하게 하는 것을 피하기 위해 잘 알려진 기능 또는 구성은 상세히 기술되지 않는다. 따라서, 본원에 개시된 특정한 구조적 및 기능적 세부사항은 제한하는 것으로 해석되어서는 안 되며, 단지 청구범위의 기초로서 그리고 사실상 임의의 적절하게 상세한 구조로 본 개시를 다양하게 채용하도록 당업자를 교시하기 위한 대표적인 기초로서만 해석되어야 한다.
예를 들어, 눈깜빡임 조건화(eyeblink conditioning) 또는 사전 파동 억제(prepulse inhibition)를 포함할 수 있는 신경 행동 테스트를 위한 개시된 방법이 도 1a, 1b 및 1c를 참조하여 설명될 수 있다.
도 1a에서, 신경 행동 테스트를 위한 방법(1)은 일반적으로 에어 퍼프 없이 눈깜박임 조건화 테스트(3), 사전 파동 억제 테스트(4) 또는 이들의 조합 중 적어도 하나를 요구하는 것으로 이해될 수 있다. 둘 다 테스트되는 경우, 테스트 순서는 중요하지 않다 - 즉, 사전 파동 억제 테스트는 눈깜박임 조건화 전에 수행할 수 있으며, 그 반대의 경우도 마찬가지이다.
일부 실시예들에서, 테스트는 또한 교정 시퀀스(2)를 포함하며, 여기에서 피험자의 복수의 이미지가 캡처되며, 그 중 적어도 하나는 눈을 완전히 뜬 상태이고 그 중 적어도 하나는 눈을 완전히 감은 상태이다. 일부 실시예들에서, 이는 짧은 비디오 시퀀스(예컨대, 30초)를 캡처하여 수행한 다음, 비디오 시퀀스의 각 이미지는 아래 설명된 대로 분석되어 눈꺼풀이 열리는 최대 및 최소 정도를 결정한다.
눈깜박임 조건화
도 1b에서, 에어 퍼프가 없는 눈깜빡임 조건화 방법(3)의 일 실시예가 도시된다. 이 방법은 일반적으로 사용자가 장치, 바람직하게는 모바일 또는 휴대용 장치, 및 가장 바람직하게는 스마트폰 또는 태블릿에 액세스할 수 있어야 할 것이다. 장치에는 일반적으로 카메라, 광원 및 스피커가 필요할 것이며, 선택적으로 진동 모터 및/또는 무선 트랜시버가 필요할 것이다. 장비가 사용자의 얼굴 및/또는 머리에 부착되지 않는다(또는 부착될 필요가 없다). 일부 실시예들에서, 장치가 사용 중 사용자의 얼굴이나 머리에 접촉할 수 있지만 부착되지 않을 수 있다(예를 들어, 장치가 사용자의 눈 앞에 높인 것과 같이 사용자의 얼굴에 접촉되어 있는 동안, 사용자는 도움을 필요로 하거나 손 등을 사용하지 않고도 장치로부터 얼굴을 떼어낼 수 있음). 일부 실시예들에서, 장치는 사용 중 사용자의 얼굴이나 머리에 닿지 않는다.
방법(3)은 일반적으로 장치의 스피커로부터 소리를 방출하기 시작함으로써 시작한다(5). 이는 조건 자극이다. 일부 실시예들에서, 사용자는 방법(3)의 시작을 시작한다. 바람직한 실시예에서, 원격 장치 또는 서버는 장치에 신호를 보내는 데 사용되며, 신호에 기초하여, 방법(3)이 시작된다.
일부 바람직한 실시예들에서, 소리를 방출하는 것 외에, 장치에서 진동 모터가 활성화되어, 사용자가 소리가 방출되는 것과 동시에 진동을 경험하게 한다.
소리가 방출되고 사용자가 카메라를 향하고 있는 동안, 카메라는 사용자의 적어도 한쪽 눈의 하나 이상의 초기 이미지를 캡처(10)하는 데 사용된다. 바람직한 실시예들에서, 양쪽 눈이 캡처된다. 일부 실시예들에서, 한쪽 눈만 캡처된다.
일부 실시예들에서, 카메라는 하나 이상의 초기 이미지를 비디오로 캡처한다. 일부 실시예들에서, 카메라는 설정된 빈도(예컨대, 50밀리초마다, 100밀리초마다 또는 심지어 200밀리초마다)로 캡처된 개별 사진으로서 하나 이상의 초기 이미지를 캡처한다.
선택적으로, 캡처된 하나 이상의 초기 이미지는 비일시적 컴퓨터 판독 가능 저장 매체에 저장(11)된다. 일부 실시예들에서, 장치에 비일시적 컴퓨터 판독 가능 저장 매체가 있다. 일부 실시예들에서, 장치는 데이터베이스에 저장하기 위해 이미지를 원격 장치 또는 서버로 보낸다.
소리가 방출되기 시작한 후, 일정 시간 기간 동안 지연이 발생한다. 지연 후, 소리가 여전히 방출되고 있는 동안, 광원에서 사용자의 눈을 향해 광이 방출된다(15). 지연은 바람직하게는 1초 이하, 보다 바람직하게는 100밀리초와 1초 사이의 시간 기간 동안이다. 일부 실시예들에서, 이 시간 기간은 원격 장치나 서버에 의해 설정되거나 조정될 수 있다. 예를 들어, 일부 실시예들에서, 의사 또는 연구원은 피험자의 차이 등을 설명하기 위해 방법(3)이 시작되기 전에 시간 기간을 조정할 수 있다.
광 플래시의 경우, 색상은 임의의 색상일 수 있지만, 바람직하게는 흰색이 사용되며, 임의의 색 온도(예컨대 2800K 내지 5500K)가 사용될 수 있다. 디스플레이 화면을 광원으로 사용하는 경우, 방출된 광에 대해 폰에 의해 생성될 수 있는 최대 밝기가 사용된다(15).
광은 바람직하게는 카메라 플래시 또는 LED 또는 유사한 광원으로부터의 강렬한 백색 또는 실질적으로 백색의 밝은 광의 유사한 상대적으로 짧은 버스트이다. 여기에는 짧은 시간 기간 동안 가장 밝은 세기로 스마트폰에 전체 백색 화면을 디스플레이하는 것과 같은 대체 접근 방식이 포함된다. 일부 실시예들에서, 광원은 최소 2,500 루멘의 광을 출력하도록 구성된다. 일부 실시예들에서, 광원은 이 광을 1초 미만, 바람직하게는 1/10초 미만, 그리고 더 바람직하게는 1/100초 미만 동안 방출하도록 구성된다.
소리 및 광이 방출되고, 사용자가 카메라를 향하고 있는 동안, 카메라는 사용자의 적어도 한쪽 눈의 하나 이상의 최종 이미지를 캡처하는 데 사용된다(20). 바람직한 실시예들에서, 양쪽 눈이 캡처된다. 일부 실시예들에서, 한쪽 눈만 캡처된다.
일부 실시예에서, 카메라는 하나 이상의 최종 이미지를 비디오로 캡처한다. 일부 실시예들에서, 카메라는 설정된 빈도(예컨대, 50밀리초마다, 100밀리초마다 또는 심지어 200밀리초마다)로 캡처된 개별 사진으로서 하나 이상의 최종 이미지를 캡처한다.
선택적으로, 캡처된 하나 이상의 최종 이미지는 비일시적 컴퓨터 판독 가능 저장 매체에 저장된다(21). 일부 실시예들에서, 장치에 비일시적 컴퓨터 판독 가능 저장 매체가 있다. 일부 실시예들에서, 장치는 데이터베이스에 저장하기 위해 이미지를 원격 장치 또는 서버로 보낸다.
최종 이미지가 캡처된 후, 소리 및 광(그리고 사용되는 경우, 진동 모터)의 방출이 중지된다(25).
일반적으로, 상기 단계 (5 내지 25)는 적어도 1회, 바람직하게는 다수회, 그리고 더욱 바람직하게는 적어도 5회 반복된다.
적어도 하나의 초기 이미지가 캡처(10)된 후 언제든지, 방법은 바람직하게는 각각의 캡처된 이미지에서 적어도 한쪽 눈의 개방 정도를 결정하는 단계(30)를 포함한다.
바람직하게는, 컴퓨터 비전 및 이미지 처리 기술을 사용하여 사람 얼굴에서 완전히 자동화된 실시간 랜드마크를 검출한다. 보다 바람직하게는, 이 알고리즘은 성인과 유아 모두의 눈꺼풀의 빠르고 정확한 추적을 제공하도록 최적화된다. 기계 학습 알고리즘을 훈련하는 것으로 알려진 임의의 적절한 기술은 본원에서 활용될 수 있다.
바람직한 실시예들에서, 이 알고리즘을 사용하여 얼굴에서 복수의 랜드마크를 검출한다. 도 2a에는, 68개의 랜드마크를 사용한 템플릿(100)의 일 예가 도시되어 있다. 바람직한 실시예들에서, 템플릿(100)은 이미지에 캡처된 각 눈에 대한 6개의 랜드마크를 포함하거나 구성된다. 6개의 랜드마크는, 도 2a에서 보이는 바와 같이, 왼쪽 모서리(101), 왼쪽 위 눈꺼풀 마크(102), 오른쪽 위 눈꺼풀 마크(103), 오른쪽 모서리(104), 오른쪽 아래 눈꺼풀 마크(105) 및 왼쪽 아래 눈꺼풀 마크(106)이다.
랜드마크가 식별되면, 계산이 이루어질 수 있다.
구체적으로, 각 이미지에 대해, FEC(Fraction Eyelid Closure)가 계산될 수 있다. 바람직한 6개의 랜드마크를 일 예로서 사용하여, 개념적으로, 계산은 6개 마크의 위치 차이, 특히 다음의 식을 살펴봄으로써 이루어진다:
Figure pct00001
동일한 개인의 다수의 이미지를 볼 때, 최소 FEC(FECMIN) 및 최대 FEC(FECMAX)를 기반으로, 정규화(FECNORM)를 결정할 수 있다. 구체적으로, FECN0RM = 1 - (FEC - FECMIN)/(FECMAX)이다. FECNORM 0은 눈이 완전히 열린 상태에 해당하고, FECNORM 1은 눈이 완전히 열린 상태에 해당한다.
일부 실시예들에서, 2개의 눈이 검출되면, FEC가 각 눈에 대해 계산되고 결과가 함께 평균화된다. 일부 실시예들에서, 2개의 눈이 검출되면, FEC가 각 눈에 대해 계산되고, 최소값이 사용된다. 일부 실시예들에서, 2개의 눈이 검출되면, FEC가 각 눈에 대해 계산되고, 최대값이 사용된다. 일부 실시예들에서, 2개의 눈이 검출되면, FEC가 각 눈에 대해 계산되고, 두 개의 FEC 값 사이의 차이가 결정된다. 차이가 임계값보다 큰 경우, 플래그 값이 1로 설정되거나 변수가 증가하여, 비정상적인 반응이 발생했음을 나타낸다.
일부 실시예들에서, 주어진 이미지에서 눈이 검출되지 않거나, 또는 둘 이상의 눈이 검출되는 경우, 이미지가 스킵된다.
일부 실시예들에서, 보정 시퀀스(2)는 이 단계 이전에 발생했으며, FECMIN 및 FECMAX 값은 보정 중에 캡처된 이미지 또는 비디오를 기반으로 결정된다. 바람직한 실시예들에서, FECMIN 및 FECMAX 값은 위에서 논의된 초기 또는 최종 이미지의 일부로 캡처된 이미지 또는 비디오만을 기반으로 결정된다.
도 2b 및 2c를 참조하면, 눈을 완전히 뜨고(도 2b) 눈을 완전히 감은(도 2c) 아기의 눈 주위에서 랜드마크가 식별된 이미지를 볼 수 있다. 도 2d에서 볼 수 있는 바와 같이, 플래시가 발생하기 전후(도 2d에서, 플래시는 시간 t=0에 발생함)의 다수의 이미지를 분석함으로써, FECMIN(121)에 해당하는 이미지(여기서는, 도 2b)는 물론 FEXMAX(122)(여기서는, 도 2c)도 식별될 수 있다. 도 2d의 FECNORM 값을 보면, 다수의 이미지를 보면 시간 경과에 따라 눈꺼풀이 열리는 정도를 추적할 수 있다.
일부 실시예들에서, 방법은 하나 이상의 초기 이미지에서 적어도 하나의 눈의 결정된 개방 정도에 기초하여, 조건 반응이 획득되는 정도를 결정하는 단계(35)를 더 포함한다.
눈깜빡임 조건화는 도 2e와 관련하여 볼 수 있다. 상술한 단계(5 내지 25)의 1차 반복(130)에서는, 처음에 신호음이 울리고(133), 일정 시간(여기서는, 400ms) 후에 광이 깜박이고(134), 얼마 지나지 않아 눈이 완전히 감긴다. 주의할 점은, 광이 깜박이기 전에 신호음이 방출되는 때에도 눈이 완전히 열려 있다. 이후의 반복(131) 시, 소리가 방출된 후 그리고 400ms 후에 광이 깜박이기 전에 눈이 깜박이기(감기) 시작(138)하는 것을 볼 수 있다. 그러나, 광 플래시가 시작된 후에도 여전히 한 번에 최고조에 달한다. 이 단계에서, 일부 눈깜빡임 조건화가 발생했지만, 완전히 조건화되지는 않았다. 조건화의 정도는 다양한 방식으로 결정될 수 있다. 일부 실시예들에서, 정도는 단순히 광이 깜박이기 시작할 때 FECNORM의 최대값이다. 도 2e에서, 이후 반복(131)에서, 광 플래시가 시작될 때의 FECNORM은 대략 0.2이므로, 조건화 정도는 ~0.2 또는 약 20%일 것이다.
마지막 반복(132)에서, 눈깜박임 조건화가 완료된다. 도 2e에서, 플래시가 정상적으로 발생했을 때 눈이 완전히 감겨 있다(139). 이 경우, 플래시가 발생하지 않았다 - 소리만 방출되고 이미지는 캡처 및 분석되었다.
일부 실시예들에서, 이 방법은 조건 반응이 획득된 정도를 테스트하는 단계(40)를 포함한다. 도 2e의 마지막 반복(132)은 이 테스트를 나타낸다. 구체적으로, 조건화 정도를 테스트하기 위해, 테스트는 단계(5)와 유사하게, 먼저 스피커로부터 소리를 방출하기 시작하는 것을 포함할 수 있음을 알 수 있다. 이때 진동 모터도 진동을 시작할 수 있다. 그런 다음 소리가 방출되는 동안 하나 이상의 눈에서 하나 이상의 이미지가 캡처된 다음, 소리 방출이 중지된다. 그런 다음 캡처된 이미지는 각각의 캡처된 이미지에서 적어도 하나의 눈의 개방 정도를 결정(30)하는 것과 관련하여 위에서 논의된 바와 같이 분석된다.
일부 실시예들에서, 이 방법은 이미지 또는 계산된 값의 적어도 일부를 원격 장치 또는 서버에 전송하는 단계(45)를 더 포함한다. 일부 실시예들에서, 여기에는 결정된 개방 정도를 원격 장치 또는 서버로 전송하는 것이 포함된다. 일부 실시예들에서, 여기에는 하나 이상의 초기 이미지, 하나 이상의 최종 이미지 또는 이들의 조합을 원격 장치 또는 서버로 전송하는 것이 포함된다. 일부 실시예들에서, 여기에는 조건 반응의 정도를 원격 장치 또는 서버로 전송하는 것이 포함된다. 바람직한 실시예에서, 개방 정도 등을 결정하기 위한 이미지의 모든 처리(예를 들어, 단계(30, 35, 40))는 장치에서 수행된다. 또 다른 바람직한 실시예에서, 개방 정도 등을 결정하기 위한 이미지 처리(예를 들어, 단계(30, 35, 40))는 장치에서 수행되지 않는다 - 모든 처리는 원격 장치 또는 서버에서 수행된다.
일부 실시예에서, 테스트가 수행되기 전에, 주변 광 레벨이 검출된다. 예를 들어, 일부 실시예들에서, 주변 광 레벨이 너무 높으면 깜박임 반응이 감소하거나 제거될 수 있다. 이러한 경우, 주변 광 레벨이 주어진 임계값보다 높으면, 테스트가 중단되거나, 사용자에게 더 어두운 곳으로 이동하거나 광을 턴 오프하도록 지시하거나, 또는 데이터를 분석할 때 주변 광 세기가 종속 변수로 사용될 수 있다.
사전 파동 억제
상술한 바와 같이, 방법(1)은 또한 대안으로 청구항 1에 따라 사용자의 사전 박동 억제를 테스트하는 단계(4)를 포함할 수 있다.
도 1c를 참조하여, 방법(4)은 일반적으로 여러 단계를 포함한다. 사전 박동 억제를 테스트하기 위해, 방법은 선택적으로 먼저 백색 잡음 사전 박동을 방출(50)함으로써 시작하며, 백색 잡음 사전 박동은 사용자에게 놀람 반사를 유발하지 않도록 구성된 제1 세기를 갖는다. 이 사전 박동에 뒤따르는 놀람 반사의 부족은 사전 박동이 방출(50)된 후 하나 이상의 이미지를 캡처(65)하고, 눈깜빡임 조건화에 대해 위에서 설명한 바와 같이 임의의 실질적인 눈꺼풀 감김 정도를 검출하지 않음으로써 선택적으로 확인될 수 있다.
그런 다음 이 방법은 선택적으로 사용자에게 놀람 반사를 유발하도록 구성된 제2 세기를 갖는 백색 잡음 펄스를 방출하는 단계(55)를 포함할 수 있으며, 제2 세기는 제1 세기보다 크다. 이 맥박에 뒤따르는 놀람 반사의 존재는 펄스가 방출(55)된 후 하나 이상의 이미지를 캡처(65)하고, 눈깜빡임 조건화에 대해 위에서 설명한 바와 같이 제1 눈꺼풀 감김 정도를 결정함으로써 선택적으로 확인될 수 있다.
이 방법은 사전 박동과 펄스 모두가 그들 사이의 지연과 함께 방출(60)되는 것을 포함한다. 구체적으로, 이 단계는 백색 잡음 사전 박동을 방출(50)하는 단계로서, 백색 잡음 사전 박동은 사용자에게 놀람 반사를 유도하지 않도록 구성된 제1 세기를 가지는, 상기 단계, 및 그런 다음 백색 잡음이 방출되지 않는 지연 후에, 사용자에게 놀람 반사를 유발하도록 구성된 제2 세기를 갖는 백색 잡음 펄스를 방출하는 단계로서, 제2 세기는 제1 세기보다 큰, 상기 단계를 포함한다.
사전 박동 억제의 존재는 펄스가 방출된 후 하나 이상의 이미지를 캡처(65)한 다음, 눈깜빡임 조건화에 대해 위에서 설명한 바와 같이 또 다른 눈꺼풀 감김 정도를 결정함으로써 단계(60)에서 펄스 다음에 확인될 수 있다. 일부 경우에, 단계(60)면 충분하다. 일부 경우에, 단계(60 및 65)면 충분하다. 일부 실시예들에서, 이 방법은 또한 펄스가 방출(55)된 직후에 결정된 눈꺼풀 감김 정도를 사전 박동과 펄스가 방출(60)된 후에 결정된 눈꺼풀 감김 정도와 비교하는 단계(70)를 포함한다. 일부 실시예들에서, 둘 사이의 차이가 결정될 수 있다. 일부 실시예들에서, 둘의 비율이 결정될 수 있다.
도 2f에서 보이는 바와 같이, 상술된 과정이 예시된다. 제1 단계(140)에서, 사전 박동(143)은 시간 t<0에서 방출된다. FECNORM의 그래프에서 볼 수 있는 바와 같이, 눈깜박임이 발생하지 않는다. 제2 단계(141)에서, 펄스(144)는 시간 t=0에서 방출된다. 200ms 이내에서, 눈이 상당히 감겼지만, 완전히 감기지는 않았다(FECNORM의 피크 값 ∼0.67). 제3 단계에서, 사전 박동(143)은 시간 t<0에서 방출되고, 시간 t=0에서, 펄스(144)가 방출된다. 보이는 바와 같이, 사전 박동 억제가 발생했다 - 200ms 내에서, 눈 감김 정도와 상관 관계가 있는 시작 반사가 검출되었지만 상당히 감소했다(FECNORM의 피크 값 ∼0.1).
일부 실시예들에서, 과정은 백색 잡음 펄스/사전 박동에 의해 유발되는 사용자의 반응(예를 들어, 깜박임/깜박임 없음)을 측정하기 위해 폐쇄 루프 시스템을 사용한다. 소리가 너무 크면(예를 들어, 사전 박동이 놀람 반응을 유발함), 고정이 볼륨을 낮추고/낮추거나, 너무 약하면(예를 들어, 펄스가 놀람 반응을 유발하지 않음), 고정이 볼륨을 높인다. 적절한 세기에 도달할 때까지 볼륨 조정이 계속된다.
시스템/장치
도 3을 참조하면, 상기 방법을 수행하는데 유용한 시스템(200) 및 장치(210)의 실시예들을 볼 수 있다. 시스템(200)은 광범위하게 사용자 또는 참여자(220)에 의해 유지 및/또는 사용될 수 있는 장치(210), 예를 들어 장치(210)가 장치와 사용자와 직접 또는 간접적으로 상호 작용할 수 있는 원격 사용자(240)(예컨대, 임상의, 연구원, 의사 등)와 선택적으로 통신할 수 있는 하나 이상의 데이터베이스(231)를 포함하는 원격 위치(230)를 포함한다.
에어 퍼프를 사용하지 않거나 (압축 공기와 같은) 가스 공급원을 필요로 하지 않는 (눈 깜박임 조건화 및 사전 박동 억제와 같은) 신경 행동 테스트를 위한 장치(210)가 개시되어 있다. 장치(210)는 일반적으로 광원(211), 카메라(212), 스피커(213), 하나 이상의 프로세서(215), 선택적인 무선 트랜시버(216) 및 선택적인 진동 모터(217)를 포함한다. 모든 컴포넌트는 바람직하게는 적어도 부분적으로 외부 하우징(219) 내에 있다. 일부 실시예들에서, 장치(210)는 제2 광원(214)을 포함한다. 일부 바람직한 실시예들에서, 장치(210)는 광 센서(209)를 포함한다.
일부 실시예들에서, 장치는 데스크탑 또는 랩탑 컴퓨팅 장치이다. 장치는 바람직하게는 스마트폰 또는 태블릿과 같은 모바일 또는 휴대용 장치이다. 그런 다음 하나 이상의 프로세서는 프로세서가 특정 명령어들을 수행하도록 하는 프로그램(예컨대, 스마트폰 상의 앱)을 실행한다.
광원은 정상적인 사용 조건에서 사람이 깜박이게 할 수 있는 광을 생성할 수 있는 임의의 적절한 광원일 수 있다. 하나의 바람직한 실시예에서, 광원은 카메라 플래시(예컨대, 스마트폰 상의 카메라 플래시) 또는 디스플레이 화면이다. 예를 들어, 프로세서는 카메라 플래시를 발생시키거나, 디스플레이 화면이 짧은 시간 기간 동안 최대 밝기로 일반 백색(또는 실질적으로 백색) 화면을 디스플레이하도록 구성될 수 있다. 바람직한 실시예에서, 장치는 디스플레이 화면 및 카메라 플래시 모두 포함한다. 일부 실시예들에서, 앞에서 설명된 바와 같이 광을 방출하는 데 단 하나의 광원만 사용된다. 다른 실시예들에서, 모든 광원은 앞에서 설명된 바와 같이 광을 방출하는 데 사용된다.
일부 실시예들에서, 하나 이상의 프로세서는 별도의 하우징에 포함된 카메라 및/또는 광원에 유선(예를 들어, USB 케이블을 통해) 또는 무선으로(예를 들어, 블루투스를 통해) 연결되도록 구성된다. 예를 들어, 일부 실시예들에서, 데스크탑 컴퓨터는 Bulbitech의 Bulbicam 신경 안과 진단 도구와 같은 적절한 장치에 연결될 수 있다.
바람직한 실시예에서, 장치(210)는 주변 광 레벨을 검출하기 위한 광 센서(209)를 포함한다. 주변 밝기 레벨이 임계값 레벨보다 높으면, 사용자에게 더 어두운 위치로 이동하거나 일부 광을 턴 오프하도록 요청할 수 있다. 주변 밝기 레벨이 다른 임계값 레벨보다 낮으면, 사용자에게 더 밝은 위치로 이동하거나 일부 광을 턴 온하도록 요청할 수 있다.
장치(210)가 상기에 설명된 눈깜박임 조건화를 수행하도록 구성될 때, 하나 이상의 프로세서는, 실행 시, 하나 이상의 프로세서가, (i) 스피커(213)가 제1 시점에서 소리를 방출하기 시작하고 제2 시점에서 소리를 방출하는 것을 정지하도록 하고; (ii) 광원(211)이 제3 시점에서 사용자 또는 참여자(220)의 적어도 하나의 눈(221)(즉, 눈을 조명하도록 지시된 광)을 향해 광(218)을 방출하기 시작하도록 하고, 제3 시점은 고정된 지연 간격(예컨대, 100밀리초와 1초 사이) 후 제1 시점을 따르고; (iii) 스피커(213)가 소리를 방출하고 광원이 광을 방출하지 않는 동안 카메라(212)로부터 적어도 하나의 눈의 하나 이상의 제1 이미지를 수신하고; (iv) 스피커(213)가 소리를 방출하고 광원(211)이 광(218)을 방출하는 동안 카메라(212)로부터 적어도 하나의 눈(221)의 하나 이상의 제2 이미지를 수신하도록 하는 명령어들로 구성된다. 이 프로세서는 지연 후 과정을 반복하도록 구성될 수 있다.
바람직하게는, 하나 이상의 프로세서는 또한 하나 이상의 제1 이미지 및 하나 이상의 제2 이미지 각각에서 적어도 하나의 눈의 개방 정도를 결정하도록 구성된다. 이는 얼굴과 눈의 랜드마크를 식별하기 위해 얼굴 검출 및/또는 이미지 처리 소프트웨어를 사용하여, 예를 들어 각 이미지에 대한 FEC를 계산하여 이전에 설명된 바와 같이 달성된다.
앞서 설명된 바와 같이, 일부 실시예들에서, 장치는 진동 모터를 포함하고 프로세서는 진동 모터가 제1 시점에서 진동을 시작/활성화하고 제2 시점에서 진동을 중지/비활성화하도록(즉, 방출되는 소리와 일치하도록) 더 구성된다.
하나 이상의 프로세서는 비디오 또는 이미지, 증강 현실 비디오 또는 이미지, 또는 가상 현실 비디오 또는 이미지를 장치의 디스플레이 화면에 표시하거나 재생하도록 구성될 수 있다. 일부 실시예들에서, 이 디스플레이는 소리가 방출되기 전에 시작되고 테스트가 끝난 후(예컨대, 가상 또는 증강 현실 비디오 및 객체가 테스트에 사용되는 경우) 또는 광원에서 광이 방출되기 전에(전체 디스플레이가 밝은 광을 생성하는 데 필요한 경우) 중지할 수 있다.
이 과정은 참가자의 얼굴을 캡처하고 참가자의 뇌 기능의 고유한 기능을 측정해야 하므로, 저장되는 정보와 저장 위치를 결정할 때 개인 정보 보호 및 보안을 고려해야 한다.
바람직한 실시예에서, 얼굴의 원시 이미지는 장치를 떠나지 않는다. 이미지는 장치의 프로세서가 이미지를 분석하고 앞서 설명된 얼굴 랜드마크 검출 알고리즘 및 방정식을 사용하여 결정을 내릴 수 있도록 짧은 시간 동안 장치에 로컬로(예를 들어, 플래시 메모리에) 저장된다. 이러한 실시예들 중 일부에서, 하나 이상의 프로세서는 결정을 내린 후에, 성과 보고서를 (예를 들어, 디스플레이 화면에) 제공하고, 선택적으로 성별 및/또는 연령이 일치하는 다른 사용자들의 점수와 사용자 점수의 비교를 표시하도록 구성된다. 이러한 실시예들 중 일부에서, 사용자는 데이터가 익명으로 저장되는 원격 위치(230)에 있는 하나 이상의 데이터베이스(231)(로우 이미지는 아님)에 그들의 점수 및/또는 결정을 선택적으로 전송(253)할 수 있다. 일부 실시예들에서, 데이터베이스(231)는 원격 위치에서 컴퓨터(232)에 의해 관리 및/또는 조회(254)될 수 있다. 다른 실시예들에서, 데이터베이스(231)는 원격 사용자(240)(예컨대, 임상의, 연구원 등)에 의해 관리 및/또는 조회될 수 있다.
또 다른 바람직한 실시예에서, 시도 또는 테스트가 수행되는 경우와 같이, 원격 사용자(240)(예를 들어, 전문 사용자)는 바람직하게는 애플리케이션을 사용하여 주어진 수의 참가자 또는 환자에 대한 신경 행동 테스트를 수행할 것이다. 전문 사용자는 모든 자극 파라미터와 데이터 수집 파라미터를 제어할 수 있을 것이다. 일부 실시예들에서, 장치(210)는 원격 사용자(240)와 직접 통신(251)한다. 그러나, 바람직한 실시예들에서, 장치(210)는 원격 위치(230)(예를 들어, 원격 서버 및 하나 이상의 데이터베이스(231))와 통신(253)하고, 원격 사용자(240)는 원격 위치(230)(예를 들어, 동일한 원격 서버 및 하나 이상의 데이터베이스(231))와 통신(252)한다. 전문 사용자는 바람직하게는 일반적으로 정상적인 신경 행동 데이터 중에 사용할 수 있는 얼굴의 원시 이미지, 계산 또는 결정된 값 등을 포함하여 임의의 획득된 데이터의 일부 또는 전부에 액세스할 수 있다. 데이터는 임의의 원하는 플랫폼, 바람직하게는 SQL 관계형 데이터베이스 시스템으로 쉽게 내보낼 수 있으며, 일반 데스크탑 컴퓨터 또는 CPU/GPU 클러스터에서 실행되는 앞서 설명된 바와 같이 얼굴 랜드마크 검출 알고리즘을 사용하여 분석될 수 있다.
따라서, 일부 실시예들에서, 하나 이상의 프로세서(215)는 하나 이상의 제1 이미지에서 적어도 하나의 눈의 결정된 개방 정도에 기초하여, 조건 반응이 획득되는 정도를 결정하도록 더 구성된다. 그런 다음 이 결정은 원격 장치 또는 서버로 전송(251, 253)될 수 있다. 일부 실시예들에서, 하나 이상의 프로세서(215)는 개방 정도를 원격 장치 또는 서버에 전송(251, 253)하도록 더 구성된다. 일부 실시예들에서, 하나 이상의 프로세서(215)는 하나 이상의 제1 이미지, 하나 이상의 제2 이미지, 또는 이들의 조합을 원격 장치 또는 서버로 전송(251, 253)하도록 더 구성된다.
장치(210)는 상술된 바와 같이 사전 박동 억제 테스트를 수행하도록 구성되며, 하나 이상의 프로세서는, 실행 시, 하나 이상의 프로세서가, 최소한, (i) 백색 잡음 사전 박동이 방출되도록 하고, (ii) 지연 기간 후, 백색 잡음 펄스가 방출되도록 하는 명령어들로 구성되며, 펄스의 세기는 사전 박동의 세기보다 크다. 앞서 설명된 바와 같이, 하나 이상의 눈의 하나 이상의 이미지는 백색 잡음 펄스가 방출된 후에 캡처될 수 있고 백색 잡음 펄스에 의해 야기되는 최대 감김 정도를 결정하는 데 사용될 수 있다. 이 결정된 값은 선택적으로는 이전의 억제 결정과 비교되거나, 펄스(사전 박동이 방출되지 않음)에 바로 뒤따르는 이전의 감김 결정과 비교되거나, 임계값과 비교될 수 있다. 일부 실시예들에서, 이 결정된 값 및/또는 임의의 비교는 원격 장치 또는 서버로 전송(251, 253)된다.
일부 실시예들에서, 장치는 눈깜박임 조건화 또는 사전 박동 억제 테스트만 수행하도록 구성된다. 일부 실시예들에서, 장치는 모두 수행하도록 구성된다.
일부 실시예들에서, 장치는 상당한 양의 외부 광이 눈에 도달하는 것을 방지하기 위해 가상 현실(VR) 유형 뷰어(예를 들어, Google Cardboard® 뷰어와 유사)를 활용하도록 구성될 수 있다. 예를 들어, 하우징은 눈을 둘러싸고 효과적으로 동작하기 위해 카메라와 광원을 눈으로부터 적절한 거리에 배치하는 유연한 불투명 폴리머를 포함하거나 이에 연결될 수 있다.
기타 테스트
상술한 시스템 및 방법은 이미 눈의 검출을 포함하므로, 다른 눈 관련 추적 양태가 이 방법 또는 장치에 통합될 수 있다.
일부 실시예들에서, 하나 이상의 프로세서는 눈 위치 추적을 포함하도록 구성될 수도 있다. 눈 위치 추적에는 (i) 빠른 눈 움직임(단속 운동 및 미세 단속 운동), (ii) 부드러운 추적 움직임 및/또는 (iii) 전정 안구 움직임의 추적이 포함된다. 바람직한 실시예들에서, 눈 위치 추적이 활용되는 경우, 장치는 전술한 바와 같이 VR형 뷰어를 활용하도록 구성된다.
일부 실시예들에서, 하나 이상의 프로세서는 스마트폰 신경 행동 테스트 동안 사용자의 경각도를 측정하기 위해 동공 크기 추적을 포함하도록 구성될 수도 있다. 당업계에 공지된 바와 같이, 경각도가 약해짐에 따라 동공 크기가 감소한다. 동공 직경을 측정하기 위해 캡처된 이미지를 분석하고, 선택적으로 이들을 정규화함으로써, 사용자가 충분히 경각심이 있는지를 결정하기 위해 시간이 지남에 따라 동공 크기가 추적될 수 있다. 일부 실시예들에서, 경각도 레벨은 사용자의 테스트 중에 수집된 기타 동공 크기 측정값과 동공 크기를 비교하여 결정된다. 일부 실시예들에서, 경각도 레벨은 측정된 동공 크기를 임계값과 비교하여 결정된다.
일부 실시예들에서, 하나 이상의 프로세서는 조건 동공 반응을 측정하기 위해 동공 크기 추적을 포함하도록 구성될 수도 있다. 이는 눈깜박임 조건화와 유사하지만, 눈꺼풀 위치 대신 동공 크기가 측정된다. 즉, 동공을 포함하는 이미지가 캡처되고, 동공 직경이 측정되고, 눈깜빡임 조건화를 위해 FEC를 사용하여 수행되는 것과 마찬가지로, 조건 및 무조건 자극을 경험한 후 바람직하게는 정규화된다.
일부 실시예들에서, 하나 이상의 프로세서는 반응 시간의 조건을 측정하도록 구성될 수도 있다. 이의 한 예로서, 사용자는 예를 들어 5분, 10분 또는 20분과 같은 시간 동안 간단한 비디오 게임을 할 것이다. 게임 중에는, 화면에 큐(cue)가 반복적으로 나타날 것이다. 사용자는 이 큐가 나타난 직후에 화면을 탭하라는 지시를 받는다. 앱은 사용자의 반응 시간을 측정하고, 사용자는 가장 최근의 가장 빠른 반응 시간을 화면에 표시하여 자신의 성과에 대한 피드백을 받게 될 것이다. 사용자는 자신의 반응 시간을 개선(즉, 단축)하도록 동기를 부여 받는다. 게임 도중, 화면의 백그라운드 색이 서서히 변한다. 랜덤으로 선택된 색상(예를 들어, 보라색)은 고정된 시간 간격(예를 들어, 100밀리초 내지 1초) 내에서 항상 큐의 출현보다 앞서게 될 것이다. 사용자는 이를 미리 알 수 없을 것이다. 파블로프(Pavlovian) 용어에서, 이 선택된 색상(이 예에서는, 보라색)이 조건 자극(CS)이다. 큐는 무조건 자극(US)이다. 반응은 무조건 반응(UR)이다. 훈련 후 CS에 대한 손가락 탭은 조건 반응(CR)이다. 한 특정 예에서, 이 게임은 점차 색이 변하는 하늘(CS)에 나타나는 큐로 작은 용(US)으로 테스트되었다.
당업자는 단지 일상적인 실험을 사용하여 본원에 설명된 본 발명의 특정 실시예들에 대한 많은 등가물을 인식하거나 확인할 수 있을 것이다. 이러한 등가물은 다음 청구범위에 포함되도록 의도된다.

Claims (22)

  1. 에어 퍼프가 없는 눈깜박임 조건화 방법에 있어서,
    a. 모바일 장치 상의 스피커로부터 소리를 방출하기 시작하는 단계;
    b. 상기 소리가 방출되는 동안 적어도 하나의 눈의 하나 이상의 초기 이미지를 캡처하는 단계;
    c. 상기 소리가 방출되는 동안 상기 모바일 장치 상의 광원으로부터 광을 방출하는 단계로서, 상기 광의 방출은 상기 소리가 방출되기 시작한 후 고정된 시간 기간이 시작되는, 상기 방출하는 단계;
    d. 상기 광 및 소리가 방출되는 동안 상기 적어도 하나의 눈의 하나 이상의 최종 이미지를 캡처하는 단계;
    e. 상기 소리 및 상기 광의 방출을 중지하는 단계; 및
    f. 단계 a 내지 e를 반복하는 단계를 포함하며,
    사용자의 얼굴에 장비가 부착되지 않는, 방법.
  2. 제1항에 있어서, 상기 초기 및 최종 이미지 각각에서 상기 적어도 하나의 눈의 개방 정도를 결정하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서, 상기 개방 정도를 원격 장치 또는 서버로 전송하는 단계를 더 포함하는, 방법.
  4. 제3항에 있어서, 상기 하나 이상의 초기 이미지, 상기 하나 이상의 최종 이미지 또는 이들의 조합을 원격 장치 또는 서버로 전송하는 단계를 더 포함하는, 방법.
  5. 제4항에 있어서, 상기 하나 이상의 초기 이미지에서 상기 적어도 하나의 눈의 상기 결정된 개방 정도에 기초하여, 조건 반응이 획득되는 정도를 결정하는 단계를 더 포함하는, 방법.
  6. 제5항에 있어서, 조건 반응이,
    g. 모바일 장치 상의 스피커로부터 소리를 방출하기 시작하고;
    h. 상기 소리가 방출되는 동안 적어도 하나의 눈의 하나 이상의 초기 이미지를 캡처하고;
    i. 상기 소리의 방출을 중지함으로써, 획득된 상기 정도를 테스트하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서, 상기 고정된 시간 기간은 100 밀리초 내지 1초 사이인, 방법.
  8. 제7항에 있어서, 상기 소리가 방출될 때 진동 모터를 활성화시키는 단계 및 상기 소리가 방출되는 것을 중지할 때 상기 진동 모터를 비활성화시키는 단계를 더 포함하는, 방법.
  9. 제8항에 있어서, 원격 장치 또는 서버로부터의 신호에 기초하여 단계 (a)를 시작하는 단계를 더 포함하는, 방법.
  10. 사용자의 사전 박동 억제 방법에 있어서,
    백색 잡음 사전 박동을 방출하는 단계로서, 상기 백색 잡음 사전 박동은 상기 사용자에게 놀람 반사를 유발하지 않도록 구성된 제1 세기를 갖는, 상기 방출하는 단계; 및
    백색 잡음이 방출되지 않는 지연 후, 상기 사용자에게 놀람 반사를 유발하도록 구성된 제2 세기를 갖는 백색 잡음 펄스를 방출하는 단계로서, 상기 제2 세기는 상기 제1 세기보다 큰, 상기 방출하는 단계를 포함하는, 방법.
  11. 에어 퍼프가 없는 눈깜박임 조건화 장치에 있어서, 하나 이상의 프로세서를 포함하며, 실행 시, 상기 하나 이상의 프로세서가,
    a. 스피커가 제1 시점에서 소리를 방출하기 시작하고 제2 시점에서 소리를 방출하는 것을 정지하도록 구성되고;
    b. 광원이 제3 시점에서 광을 방출하기 시작하고 상기 제2 시점에서 광을 방출하는 것을 중지하도록 구성되며, 상기 제3 시점은 고정된 지연 간격 후 상기 제1 시점을 따르며;
    c. 상기 스피커가 소리를 방출하고 상기 광원이 광을 방출하지 않는 동안 카메라로부터 적어도 하나의 눈의 하나 이상의 제1 이미지를 수신하고;
    d. 상기 스피커가 소리를 방출하고 상기 광원이 광을 방출하는 동안 상기 카메라로부터 상기 적어도 하나의 눈의 하나 이상의 제2 이미지를 수신하고;
    e. 상기 하나 이상의 제1 이미지 및 상기 하나 이상의 제2 이미지 각각에서 상기 적어도 하나의 눈의 개방 정도를 결정하도록 하는 명령어들로 구성되는, 장치.
  12. 제11항에 있어서, 상기 하나 이상의 프로세서는 모바일 장치 내에 있는, 장치.
  13. 제12항에 있어서, 상기 모바일 장치는 스마트폰인, 장치.
  14. 제11항에 있어서, 무선 트랜시버를 더 포함하는, 장치.
  15. 제14항에 있어서, 상기 프로세서는 상기 개방 정도를 원격 장치 또는 서버로 전송하도록 더 구성되는, 장치.
  16. 제14항에 있어서, 상기 프로세서는 상기 하나 이상의 제1 이미지, 상기 하나 이상의 제2 이미지, 또는 이들의 조합을 원격 장치 또는 서버로 전송하도록 더 구성되는, 장치.
  17. 제11항에 있어서, 상기 프로세서는 상기 하나 이상의 제1 이미지에서 상기 적어도 하나의 눈의 상기 결정된 개방 정도에 기초하여, 조건 반응이 획득되는 정도를 결정하도록 더 구성되는, 장치.
  18. 제11항에 있어서, 상기 고정된 지연 간격은 100 밀리초 내지 1초 사이인, 장치.
  19. 제11항에 있어서, 상기 제1 시점에서 진동을 시작하고 상기 제2 시점에서 진동을 중지하도록 구성된 진동 모터를 더 포함하는, 장치.
  20. 제11항에 있어서, 상기 광원은 카메라 플래시 또는 디스플레이 화면인, 장치.
  21. 제11항에 있어서, 디스플레이 화면은 비디오 또는 이미지, 증강 현실 비디오 또는 이미지, 또는 가상 현실 비디오 또는 이미지를 디스플레이하는, 장치.
  22. 제11항에 있어서, 상기 하나 이상의 프로세서는 백색 잡음 사전 박동이 방출되도록 하고, 지연 기간 후, 백색 잡음 펄스가 방출되도록 함으로써 사전 박동 억제를 유발하도록 더 구성되며, 상기 펄스의 세기가 상기 사전 박동의 세기보다 큰, 장치.
KR1020237018839A 2020-11-10 2021-11-10 원격 신경 행동 테스트 시스템 및 방법 KR20230104909A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063111960P 2020-11-10 2020-11-10
US63/111,960 2020-11-10
US202163197002P 2021-06-04 2021-06-04
US63/197,002 2021-06-04
US202163218607P 2021-07-06 2021-07-06
US63/218,607 2021-07-06
PCT/US2021/058698 WO2022103784A1 (en) 2020-11-10 2021-11-10 System and method for remote neurobehavioral testing

Publications (1)

Publication Number Publication Date
KR20230104909A true KR20230104909A (ko) 2023-07-11

Family

ID=81602562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237018839A KR20230104909A (ko) 2020-11-10 2021-11-10 원격 신경 행동 테스트 시스템 및 방법

Country Status (6)

Country Link
US (1) US20230404464A1 (ko)
EP (1) EP4203785A1 (ko)
JP (1) JP2023549179A (ko)
KR (1) KR20230104909A (ko)
CA (1) CA3195596A1 (ko)
WO (1) WO2022103784A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406876B2 (en) * 2005-04-05 2013-03-26 Cardiac Pacemakers, Inc. Closed loop neural stimulation synchronized to cardiac cycles
US7303193B2 (en) * 2005-10-14 2007-12-04 Miletich Jack W Balancing tube game and apparatus
CN101715356B (zh) * 2007-04-24 2013-10-30 米切尔·A·奥尔特曼 引导眼镜
US9305225B2 (en) * 2013-10-14 2016-04-05 Daon Holdings Limited Methods and systems for determining user liveness

Also Published As

Publication number Publication date
JP2023549179A (ja) 2023-11-22
CA3195596A1 (en) 2022-05-19
WO2022103784A1 (en) 2022-05-19
EP4203785A1 (en) 2023-07-05
US20230404464A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
JP6951327B2 (ja) 視覚の様相を検査する方法及びシステム
US20180333092A1 (en) Portable ocular response testing device and methods of use
KR20190026651A (ko) 사람의 비전 성능에 접근하기 위해 비전 데이터를 획득, 집계 및 분석하기 위한 방법 및 시스템
US11723566B2 (en) Deception detection system and method
US20240023871A1 (en) Head mountable device
US20230389853A1 (en) Device, system and method for monitoring neurological functional status
CN113693552A (zh) 视觉疲劳监测方法、装置、电子设备及可读存储介质
US11642068B2 (en) Device and method to determine objectively visual memory of images
JP4179968B2 (ja) リラックス感評価用瞳孔対光反応計測具
US20220218253A1 (en) Impairment Detection Method and Devices
KR20230104909A (ko) 원격 신경 행동 테스트 시스템 및 방법
US11660031B2 (en) Measuring responses to sound using pupillometry
KR20190102732A (ko) 스마트폰을 이용한 안진 측정 장치
RU2421123C1 (ru) Способ исследования и оценки психофизиологического состояния человека
KR101451894B1 (ko) 스마트폰용 동공반응 검사 장치 및 방법
Rösler et al. Social anxiety modulates heart rate but not gaze in a real social interaction
JONES et al. EFFECTS OF INTENSE CONTINUOUS-AND IMPACTTYPE NOISE ON PUPIL SIZE AND VISUAL ACUITY
JP2023047826A (ja) 測定装置及び測定方法
Beani Quantitative measures of spontaneous and intervention-induced perceptual-motor development in children with neurodevelopmental disorders
Ruff Driver Cognitive Workload: A Comprehensive Multi-measure Approach
Różanowski et al. Pupillometric sleepiness measurements PST with concurrent video optic sensor of pupillary size
JP2023132324A (ja) 推定装置、推定システムおよび推定方法
Screenings When Instructions Fail
Ahtola Eye tracking Based Methods for Evaluation of Infants’ Visual Processing
ASGHAR et al. Towards Estimation of Emotions From Eye Pupillometry With Low-Cost Devices