KR20230042066A - 증강된 신경학적 재활을 위한 시스템들 및 방법들 - Google Patents

Abstract

환자의 증강된 신경학적 재활(ANR)을 위한 방법 및 시스템이 개시된다. ANR 시스템은, 일반적 비트 템포에 따라 동기화하고 치료 세션 동안 환자에게 출력되는 리드미컬한 청각 자극(RAS)과 시각적 증강 현실(AR) 장면을 생성한다. 환자에 의해 착용된 센서는 AR 시각적 콘텐츠 및 RAS와 동기식으로 환자에 의해 수행된 반복적 움직임들과 관련된 생체역학 데이터를 캡처한다. 비판적 사고 알고리즘은 센서 데이터를 분석하여 시각적 및 오디오 요소에 대한 환자의 움직임의 공간적 및 시간적 관계를 결정하고 환자의 동조의 레벨 및 임상/치료 목표를 향한 진행을 결정한다. 부가적으로, 3D AR 모델링 모듈은 결정된 동조의 레벨 및 훈련 목표가 달성되었는지에 기초하여 환자에게 출력되는 증강 현실 시각적 및 오디오 콘텐츠를 동적으로 조정하도록 프로세서를 구성한다.

Description

증강된 신경학적 재활을 위한 시스템들 및 방법들

본 출원은 2020년 7월 21일에 출원된 McCarthy 등의 "Systems and Methods for Augmented Neurologic Rehabilitation"이라는 제목의 미국 가특허 출원 번호 제63/054,599호에 기반하고 이에 대한 이익 및 우선권을 주장하고, 추가로 McCarthy 등의 "Systems and Methods for Neurologic Rehabilitation"에 대한 미국 특허 출원 번호 제16/569,388호의 부분 연속(continuation-in-part)이며, 이는 "Systems and Methods for Neurologic Rehabilitation"이라는 제목으로 2016년 4월 14일 출원된 미국 가특허 출원 번호 제62/322,504호에 기초하며 이에 대한 우선권을 주장하는, 2019년 10월 22일자로 발행된 "Systems and Methods for Neurologic Rehabilitation"라는 제목의 미국 특허 출원 번호 제10,448,888호의 연속이며, 이들은 이로써 본원에 그 개개의 전체 내용이 기술된 것처럼 인용에 의해 각각 포함된다.

본 발명은 일반적으로 음악 치료를 제공함으로써 신체 장애를 갖는 사용자의 재활을 위한 시스템 및 방법에 관한 것이다.

지난 수십년간의 많은 대조군 연구가 신경학적 재활에서 음악의 임상적 역할을 강조해 왔다. 예컨대, 조직화된 음악 치료는 인지, 운동 및 언어 향상을 직접적으로 가능하게 하는 것으로 알려져 있다. 음악을 듣는 프로세스는 주의력, 의미(semantic) 프로세싱, 기억, 인지, 운동 기능 및 감정적인 프로세싱와 관련된 뇌 영역의 광범위한 양방향 네트워크를 점화하여 여러 형태의 뇌 활동을 향상시킨다.

임상 데이터는 기억, 주의력, 실행 기능 및 기분을 향상시키는 음악 치료를 뒷받침한다. 음악 배후의 신경 메커니즘에 대한 PET 스캔 연구는 쾌적한 음악이 배쪽 선조체(ventral striatum), 중격 측좌핵(nucleus accumbens), 편도(amygdala), 인슐라(insula), 해마(hippocampus), 시상하부(hypothalamus), 배쪽 피개부(ventral tegmental area), 앞쪽 대상선(anterior cingulate), 안와전두 피질(orbitofrontal cortex) 및 배쪽 내측 전두엽 피질(ventral medial prefrontal cortex)을 포함하는 대뇌 피질 및 피질 하부 영역 사이의 광범위한 네트워크를 자극할 수 있다는 것을 밝혀냈다. 배쪽 피개부는 도파민을 생성하고 편도, 해마, 앞쪽 대상선 및 전전두엽 피질에 직접 연결된다. 이 중변연계(mesocorticolimbic) 시스템은 음악으로 활성화될 수 있으며, 각성, 감정, 보상, 기억, 주의력 및 실행 기능을 조정하는 데 중요한 역할을 한다.

신경과학 연구는 음악의 기억 형성을 위한 기본 조직 프로세스가 비음악적 기억 프로세스와 메커니즘을 공유하는 방법을 밝혀냈다. 구문 그룹화, 계층적 추상화 및 음악 패턴의 기초는 비음악적 기억 프로세스에 대한 시간적 청킹 원리(temporal chunking principles)와 직접적으로 유사하다. 이것은 음악으로 활성화된 기억 프로세스가 비음악적 프로세스를 번역하고 향상시킬 수 있음을 의미한다.

따라서, 사용자 신원의 사용을 보호하고 개인 정보를 안전하게 제공하기 위한 개선된 디바이스, 시스템 및 방법이 여전히 필요하다.

개시된 주제의 일 양상에서, 환자의 증강된 신경학적 재활을 위한 시스템이 제공된다. 시스템은 비일시적 저장 매체에 저장된 기계 판독 가능 명령을 포함하는 소프트웨어 모듈에 의해 구성된 프로세서를 갖는 컴퓨팅 시스템을 포함한다.

소프트웨어 모듈은 프로세서에 의해 실행될 때, 치료 세션 동안 환자에게 출력할 증강 현실(AR) 시각적 콘텐츠 및 리드미컬한 청각 자극(RAS)을 생성하도록 프로세서를 구성하는 AA/AR 모델링 모듈을 포함한다. 특히, RAS는 비트 템포로 출력되는 비트 신호들을 포함하고, AR 시각적 콘텐츠는 비트 템포에 기초하여 규정된 공간적 및 시간적 시퀀스로 이동하는 시각적 요소를 포함한다.

시스템은 AR 시각적 콘텐츠 및 RAS에 맞춰 환자에 의해 수행된 반복적 움직임에 관한 환자의 타임-스탬핑된 생체역학 데이터를 포함하는 실시간 환자 데이터를 수신하기 위해 프로세서와 통신하는 입력 인터페이스를 더 포함한다. 특히, 생체역학 데이터는 환자와 연관된 센서를 사용하여 측정된다.

소프트웨어 모듈은 타겟 파라미터에 대한 동조의 레벨을 결정하기 위해 비트 템포로 출력되는 비트 신호 및 시각적 요소에 대한 환자의 반복적 움직임의 시간적 관계를 결정하기 위해 타임-스탬핑된 생체역학 데이터를 분석하도록 프로세서를 구성하는 비판적 사고 알고리즘(CTA) 모듈을 더 포함한다. 또한, AA/AR 모델링 모듈은 추가로, 결정된 동조의 레벨에 기초하여 그리고 동기식으로 환자에 대한 AR 시각적 및 RAS 출력을 동적으로 조정하도록 프로세서를 구성한다.

추가 양상에 따르면, 신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법이 제공된다. 방법은 실행될 때 방법을 수행하는 기계 판독 가능 명령들에 의해 구성된 물리적 프로세서를 갖는 컴퓨터 시스템 상에서 구현된다.

방법은 치료 세션 동안 오디오 출력 디바이스를 통해 환자에게 출력하기 위한 리드미컬한 청각 자극(RAS)을 제공하는 단계를 포함한다. 특히, RAS는 비트 템포로 출력되는 비트 신호들을 포함한다.

방법은 또한 증강 현실(AR) 디스플레이 디바이스를 통해 환자에게 출력하기 위한 증강 현실(AR) 시각적 콘텐츠를 생성하는 단계를 포함한다. 특히, AR 시각적 콘텐츠는 RAS와 동기식으로 출력되고 비트 템포에 기초하여 규정된 공간적 및 시간적 시퀀스로 이동하는 시각적 요소를 포함한다. 방법은 RAS의 비트 신호 및 AR 시각적 콘텐츠의 시각적 요소의 대응하는 움직임에 맞춰 반복적 움직임을 수행하도록 환자에 지시하는 단계를 더 포함한다.

방법은 AR 시각적 콘텐츠 및 RAS에 맞춰 환자에 의해 수행된 반복적 움직임에 관한 환자의 타임-스탬핑된 생체역학 데이터를 포함하는 실시간 환자 데이터를 수신하는 단계를 더 포함한다. 특히, 생체역학 데이터는 환자와 연관된 센서를 사용하여 측정된다.

방법은 동조 포텐셜(entrainment potential)을 결정하기 위해 시각적 요소 및 비트 신호에 따라 출력되는 비트 신호들에 대한 환자의 반복적 움직임의 시간적 관계를 결정하기 위해 상기 타임-스탬핑된 생체역학 데이터를 분석하는 단계를 더 포함한다. 부가적으로, 방법은 결정된 동조 포텐셜이 규정된 동조 포텐셜을 충족하지 않는 것에 기초하여 그리고 동기식으로 환자에게 출력하기 위한 AR 시각적 콘텐츠 및 RAS를 동적으로 조정하는 단계 및 조정된 AR 시각적 콘텐츠 및 RAS를 사용하여 치료 세션을 계속하는 단계를 포함한다.

본원에서 설명된 디바이스, 시스템 및 방법의 전술한 및 다른 목적, 특징 및 이점은 첨부 도면에 도시된 바와 같이, 그 특정 실시예의 다음 설명으로부터 명백해질 것이다. 도면은 반드시 실척일 필요는 없으며, 오히려 본원에서 설명된 디바이스, 시스템 및 방법의 원리를 예시함에 있어 강조가 이루어진다.
도 1은 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 치료를 위한 시스템을 예시하는 도면이다.
도 2는 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 재활을 위한 시스템의 몇몇 구성요소를 예시하는 도면이다.
도 3은 개시된 주제의 예시적인 실시예에 따라 환자의 생체역학적 움직임을 측정하기 위한 센서의 개략도이다.
도 4는 개시된 주제의 예시적인 실시예에 따른 시스템의 몇몇 구성요소를 예시하는 도면이다.
도 5는 개시된 주제의 예시적인 실시예에 따라 음악 치료를 제공함에 의한 사용자의 재활을 위한 시스템의 구성요소의 예시적인 디스플레이를 예시한다.
도 6은 개시된 주제의 예시적인 실시예에 따른 분석 프로세스의 일 구현에 대한 흐름도이다.
도 7 내지 도 10은 개시된 주제의 예시적인 실시예에 따른 프로세스의 일 구현에 대한 흐름도이다.
도 11은 개시된 주제의 예시적인 실시예에 따른 음악 및 환자의 신체적 운동을 예시하는 흐름도이다.
도 12 및 도 13은 개시된 주제의 예시적인 실시예에 따른 환자 응답을 예시한다.
도 14 및 도 15는 개시된 주제의 예시적인 실시예에 따른 환자 응답을 예시한다.
도 16 및 도 17은 개시된 주제의 예시적인 실시예에 따른 환자 응답을 예시한다.
도 18은 개시된 주제의 예시적인 실시예에 따른 환자의 보행 훈련을 위한 기술의 구현을 예시한다.
도 19는 개시된 주제의 예시적인 실시예에 따른 환자의 무시 훈련을 위한 기술의 구현을 예시한다.
도 20은 개시된 주제의 예시적인 실시예에 따른 환자의 억양 훈련을 위한 기술의 구현을 예시한다.
도 21은 개시된 주제의 예시적인 실시예에 따른 환자의 음악 자극 훈련을 위한 기술의 구현을 예시한다.
도 22는 개시된 주제의 예시적인 실시예에 따른 환자의 대근육 운동 훈련을 위한 기술의 구현을 예시한다.
도 23은 개시된 주제의 예시적인 실시예에 따른 환자의 그립 강도 훈련을 위한 기술의 구현을 예시한다.
도 24는 개시된 주제의 예시적인 실시예에 따른 환자의 스피치 큐잉(speech cueing) 훈련을 위한 기술의 구현을 예시한다.
도 25는 개시된 주제의 예시적인 실시예에 따른 최소 의식 환자의 훈련을 위한 기술의 구현을 예시한다.
도 26 내지 도 28은 개시된 주제의 예시적인 실시예에 따른 환자의 주의력 훈련을 위한 기술의 구현을 예시한다.
도 29는 개시된 주제의 예시적인 실시예에 따른 환자의 손놀림 (dexterity) 훈련을 위한 기술의 구현을 예시한다.
도 30은 개시된 주제의 예시적인 실시예에 따른 환자의 구강 운동 훈련을 위한 기술의 구현을 예시한다.
도 31은 개시된 주제의 예시적인 실시예에 따른 환자의 호흡 훈련을 위한 기술의 구현을 예시한다.
도 32는 개시된 주제의 예시적인 실시예에 따라 환자에게 치료를 제공하기 위한 증강된 신경학적 재활, 회복 또는 유지("ANR") 시스템을 예시하는 도면이다.
도 33은 개시된 주제의 예시적인 실시예에 따라 도 32의 ANR 시스템을 사용하여 수행되는 치료 세션 동안 측정된 파라미터, 시스템 응답 및 타겟/목표 파라미터의 그래픽 시각화이다.
도 34는 개시된 주제의 예시적인 실시예에 따라 도 32의 ANR 시스템을 사용하여 수행된 훈련 세션으로부터 발생하는 대사 변화에 관한 예시적인 결과들을 도시하는 그래프이다.
도 35는 개시된 주제의 예시적인 실시예에 따라 치료 세션 동안 환자에게 디스플레이하기 위해 ANR 시스템에 의해 생성된 예시적인 증강 현실(AR) 디스플레이이다.
도 36a는 개시된 주제의 예시적인 실시예에 따라 치료 세션 동안 환자에게 디스플레이하기 위해 ANR 시스템에 의해 생성된 예시적인 AR 디스플레이이다.
도 36b는 개시된 주제의 예시적인 실시예에 따라 치료 세션 동안 환자에게 디스플레이하기 위해 ANR 시스템에 의해 생성된 예시적인 AR 디스플레이이다.
도 37은 개시된 주제의 예시적인 실시예에 따라 환자에게 증강된 오디오 및 시각적 자극을 제공함으로써 보행 훈련을 위한 기술의 구현을 나타낸다.
도 38은 개시된 주제의 예시적인 실시예에 따라 보행 훈련 기술을 구현하기 위해 구성된 ANR 시스템을 개념적으로 예시하는 하이브리드 시스템 및 프로세스 도면이다.
도 39는 개시된 주제의 예시적인 실시예에 따라 도 38의 ANR 시스템의 증강 오디오(AA) 디바이스 구성요소를 더 상세히 개념적으로 예시하는 하이브리드 시스템 및 프로세스 도면이다.
도 40은 개시된 주제의 예시적인 실시예에 따라 치료 세션 동안 환자에게 디스플레이하기 위해 ANR 시스템에 의해 생성된 예시적인 AR 디스플레이이다.
도 41은 개시된 주제의 예시적인 실시예에 따라 치료 세션 동안 환자에게 디스플레이하기 위해 ANR 시스템에 의해 생성된 예시적인 AR 디스플레이이다.

본 발명은 일반적으로 인간의 행동 및 기능 변화를 모니터링하고 지시하는 동적 폐루프 재활 플랫폼 시스템을 구현하는 시스템, 방법 및 장치에 관한 것이다. 그러한 변화는 음악적 리듬, 화성, 멜로디 및 포스(force) 큐에 의해 일시적으로 트리거되는 언어, 움직임 및 인지에 있다.

발명의 다양한 실시예에서, 도 1에 도시된 동적 폐루프 재활 플랫폼 음악 치료 시스템(100)이 제공되며, 이는 센서 구성요소 및 시스템(102), 에지 프로세싱 구성요소(104), 수집기 구성요소(106), 분석 시스템(108) 및 음악 치료 센터(110)를 포함한다. 이하에서 더 자세히 설명될 바와 같이, 센서 구성요소, 에지 프로세싱 구성요소, 수집기 구성요소, 기계 학습 프로세스 및 음악 치료 센터가 다양한 하드웨어 구성요소 상에 제공될 수 있다. 예컨대, 일 실시예에서, 센서 구성요소 및 에지 프로세싱 구성요소는 환자에 의해 착용되거나 위치될 수 있다. 이러한 실시예에서, 수집기 구성요소 및 음악 치료 센터는 핸드헬드 디바이스 상에 제공될 수 있다. 이러한 실시예에서, 분석 시스템은 원격 서버 상에 위치할 수 있다.

센서 시스템

본원의 설명에서, 용어 "환자"는 음악 치료 처치를 받는 개인을 지칭하는 데 사용된다. 용어 "치료사"는 음악 치료 처치를 제공하는 개인을 지칭하기 위해 사용된다. 일부 실시예에서, 환자는 처치를 관리하는 치료사의 존재 없이 본원에 설명된 이 시스템과 상호작용할 수 있다.

센서 구성요소(102)는 환자에 대한 감지된 생체역학 데이터를 제공한다. 일부 실시예에서, 센서 구성요소는, (1) 웨어러블 무선 실시간 모션 감지 디바이스 또는 IMU(inertial measurement units, 관성 측정 유닛), (2) 웨어러블 무선 실시간 조합 다중 족저압/6 차원 모션 캡처(IMU) 디바이스, 이를테면, 센서(200) (3) 웨어러블 무선 실시간 근전도(Electromyogram, EMG) 디바이스 이를테면, 센서(208) 및 (4) 실시간 무선 근적외선(NIR) 비디오 캡처 디바이스 이를테면, 이미징 디바이스(206)를 포함할 수 있다(도 4 참조).

도 2에 예시된 바와 같이, 본원에서 설명된 시스템 및 방법은 환자의 걷기 장애 치료와 관련하여 사용된다. 따라서, 예시적인 센서(200)는 조합 다중 구역 족저압/6 자유도(6-degrees of freedom) 모션 캡처 디바이스일 수 있다. 센서(200)는 음악 치료 세션 동안 환자가 걸을 때 환자의 족압 및 6 자유도 모션 프로파일을 레코딩한다. 일부 실시예에서, 족압/6 자유도 모션 캡처 디바이스는 1 내지 4개의 구역으로 구성되어 매초 마다 발당(per foot) 100 내지 400개의 압력 데이터 포인트를 산출하는 족압 프로파일에 대해 100Hz의 샘플링 레이트로 가변 레코딩 지속기간 간격을 가진다.

센서(200)는 (하나의 압력 구역, 예컨대, 발꿈치 충격 압력을 측정하기 위한) 발꿈치 패드 내지 (4개의 구역의 압력을 측정하기 위한) 전체 깔창(insole) 패드를 갖는 족압 패드(202)를 포함할 수 있다. 압력 측정은 환자의 체중이 발로 전달되는 것에 기인한 압축의 결과로서 트랜스듀서 재료에서 저항 변화를 감지함으로써 이루어진다. 이러한 족압 맵은 음악 치료 세션 동안 각각의 샘플링 간격 마다 또는 특정 순간에 획득된다.

센서(200)는 3차원의 선형 가속도 A_x ,A_y, A_z 및 피치(pitch), 요(yaw) 및 롤(roll)의 회전 동작을 결정하는 6 자유도 미세-전자-기계 시스템(Micro-Electro-Mechanical Systems, MIMS) 기반 센서를 통해 모션의 변화를 검출하는 6 차원 모션 캡처 디바이스를 포함할 수 있다. 100 Hz에서의 샘플링은 초당 600개의 모션 데이터 포인트를 생성할 것이다. 이들 발 모션 캡처는 음악 치료 세션 동안 각각의 샘플링 간격마다 또는 특정 순간에 획득된다.

6 자유도 모션 캡처 디바이스를 이용한 다중 구역 압력 감지는 걷는 동안 매핑 가능한(map-able) 공간적 및 시간적 보행 동적 추적을 가능하게 한다. 센서(200)의 개략도가 도 3에서 예시된다.

시스템 관점에서, 도 4에 예시된 바와 같이, 환자(P)는 각각의 발에 하나씩 오른쪽(200R) 및 왼쪽(200L)으로 지정된 2개의 발 센서(200)를 사용한다. 예시적인 실시예에서, 오른발 센서(200R)는 제1 채널, 예를 들면 IEEE 802.15.4 직접 시퀀스 스프레드 스펙트럼(DSSS) RF 대역의 채널 5를 통해, 타임-스탬핑된 내부 측정 유닛 데이터 및 발꿈치 충격 압력 데이터를 무선으로 통신한다. 왼발 센서(200L)는 제2 채널, 예컨대, IEEE 802.15.4 직접 시퀀스 스프레드 스펙트럼(DSSS) RF 대역의 채널 6을 통해, 타임-스탬핑된 내부 측정 유닛 데이터 및 발꿈치 충격 압력 데이터를 무선으로 통신한다. 후술하는 바와 같이 치료사(T)에 의해 선택적으로 사용되는 태블릿 또는 랩톱(220)은 오른발/왼발 센서 RF 데이터를 캡처하기 위해 제1 및 제2 채널, 예컨대, 채널 5 및 6에 튜닝된 2개의 IEEE 802.15.4 DSSS RF 트랜시버(transceivers)를 포함하는 무선 USB 허브를 포함한다. 아래에서 보다 상세히 논의되는 바와 같이 비디오를 시작 및 중지하고 그리고/또는 표기(notation)를 작성하고 시간 스트림을 인덱싱하기 위해 핸드헬드 무선 트리거(trigger)(250)가 사용된다.

비디오 분석 도메인은 치료 세션에 관한 환자 의미(semantic) 및 이벤트 정보를 추출하는 데 사용될 수 있다. 환자 액션 및 상호작용은 치료 컨텍스트(therapy context) 및 조직화(regiment)에 영향을 주는 치료 내 구성요소이다. 일부 실시예에서, 비디오 카메라와 같은 하나 이상의 이미지 캡처 디바이스(206)(도 4 참조)가 시간 동기화된 비디오 피드(a time-synched video feed)와 함께 사용된다. 환자 움직임을 캡처하기 위해 임의의 적절한 비디오가 시스템 내에 통합될 수 있지만, 환자의 사생활을 보호하고 프로세싱될 비디오 데이터를 감소시키기 위해 근적외선(NIR) 비디오 캡처가 유용하다. NIR 비디오 캡처 디바이스는 환자의 몸통 및 팔다리의 포지션과 같은 환자 신체의 NIR 비디오 이미지를 캡처한다. 또한, NIR 비디오 캡처 디바이스는 음악 치료 세션의 기능으로서 환자의 실시간 동적 보행 특성을 캡처한다. 일부 실시예에서, 비디오는 정지 카메라로 캡처되며, 여기서 배경은 전경 픽셀을 세그먼팅하기 위해 차감된다.

도 4에 예시된 바와 같이, 하나 이상의 비디오 카메라(206)는 치료 세션이 시작될 때 태블릿 또는 랩톱 애플리케이션에 의해 트리거된다. 비디오 카메라(206)는 치료사에 의해 핸드헬드 무선 트리거 유닛(250)에 의해 정지되거나 시작될 수 있다. 이는 레이블이 지정된(labeled) 타임-스탬핑된 인덱스가 캡처된 생체역학 센서 데이터 및 비디오 데이터 스트림에서 생성될 수 있게 한다.

일부 실시예에서, 웨어러블 무선 실시간 근전도(EMG) 디바이스(208)가 환자에 의해 착용될 수 있다. EMG 센서는 이동을 위한 주요 근육 발화(muscle firing)를 위한 전체 양발(bi-ped) 프로파일을 제공한다. 이러한 센서는 근육이 발화되는 정확한 시간에 관한 데이터를 제공한다.

에지 프로세싱

일부 실시예에서, 에지 프로세스는 센서(200)에서 수행되며, 여기에서 센서 데이터가 IMU 및 압력 센서로부터 캡처된다. 이 센서 데이터는 필터링되고, 추출된 속성 및 특징을 반영하는 프레임으로의 추가 프로세싱을 위해 다양한 어레이 크기로 그룹화되고, 이들 프레임은 예컨대, 무선으로 태블릿 또는 랩톱 상의 수집기(106)로 전송된다. 센서(200)로부터 획득된 미가공(raw) 생체역학 센서 데이터는 대안적으로 에지 프로세싱 기능이 발생하는 수집용 원격 프로세서로 전송될 수 있는 것으로 이해된다.

웨어러블 센서(200, 208) 및 비디오 캡처 디바이스(206)는 생체역학 특징 추출 및 분류를 용이하게 하기 위해 전체론적으로(holistically) 프로세싱되는 센서 데이터 스트림을 생성한다. 공통 이벤트를 캡처하는 다수의 센서로부터의 출력을 결합하는 센서 융합은 임의의 단일 구성 센서 입력보다 더 나은 결과를 캡처한다.

음악 치료 컨텍스트에서 환자 활동을 캡처하는 것은 음악 치료에 적용되는 동안 그리고 음악 치료 성과 및 효능에 대한 환자 특정적 및 일반화된 공식 표시자들을 개발함에 있어 상호작용을 공식화한다. 비디오 특징을 추출하고 그 후 분석하는 것은 환자 행동에 대한 의미론적의 고레벨 정보의 획득을 허용한다.

비디오 프로세싱에서, 학습된 배경 차감 기술이 사용되어 음악 치료가 일어나는 물리적 영역에서의 조명 조건 및 폐색(occlusions)의 임의의 변동을 통합하는 배경 모델을 생성한다. 배경 차감의 결과는 2차원 윤곽선인 전경 얼룩(blobs)의 어레이를 가진 이진 전경 맵이다. 따라서, 비디오는 향후 이미지 프로세싱 및 센서 융합을 위해 개별 이미지 프레임으로 슬라이싱된다. IIMU, 족압 패드(들) 및 EMG 센서로부터 센서 데이터를 에지 프로세싱 시에 병합함으로써 비디오 정보에 부가적인 메타 데이터가 제공된다. 센서 데이터는 RF 트리거를 사용하여 다른 데이터와 시간 동기화될 수 있다. 데이터는 수집기로 직접 전송되거나, 내부 보드의 메모리 상에 저장되거나, 또는 OpenCV 라이브러리를 실행하는 에지 상에서 분석될 수 있다.

에지 프로세서(104)는 초당 100 내지 400 전체 족압/6 자유도 모션 프로파일의 레이트로 고속 다중 구역 스캐닝을 가능하게 하는 족압/6 자유도 모션 캡처 디바이스에 통합된 32 비트 마이크로프로세서와 같은 마이크로프로세서일 수 있다.

족압/6 자유도 모션 캡처 디바이스는 특징 추출 및 분류를 야기하는 실시간 보행 분석을 위한 족압/6 자유도 모션 프로파일 데이터를 수집한다. 일부 실시예에서, 족압/6 자유도 모션 캡처 디바이스는 마이크로 제어기 유닛(MCU), 연속 연산자 프로세스(COP), 범용 입출력(GPIO), 직렬 주변기기 인터페이스(SPI), 인터럽트 요청(IRQ)을 초기화하고, 마이크로 제어기 유닛 초기화(MCUInit), 범용 입출력 초기화(GPIOInit), 직렬 주변기기 인터페이스 초기화(SPIInit), 인터럽트 요청 확인 초기화(IRQInit), 인터럽트 요청 확인 응답(IRQACK), 직렬 주변기기 인터페이스 드라이버 판독(SPIDrvRead) 및 IRQPinEnable를 포함하는 루틴을 호출함으로써 바람직한 RF 트랜시버 클록 주파수를 세팅한다. MCUInit은 MCU 워치독(watchdog)을 끄고 타이머 모듈을 세팅하여 32의 사전 스케일된 기준으로서 버스 클록(BUSCLK)을 사용하는 마스터 초기화 루틴이다.

상태 변수 gu8RTxMode는 SYSTEM_RESET_MODE로 세팅되고 루틴 GPIOInit, SPIInit 및 IRQInit가 호출된다. 상태 변수 gu8RTxMode가 RF_TRANSCEIVER_RESET_MODE로 세팅되고 IRQ가 어서트(assert)되는지를 확인하기 위해 IRQFLAG가 검사된다. RF 트랜시버 인터럽트는 먼저 SPIDrvRead를 사용하여 클리어(clear)되고, 다음 RF 트랜시버는 ATTN IRQ 인터럽트에 대해 검사된다. 마지막으로, MCUInit의 경우 신호의 네거티브 에지에서, 물리 MAC 계층을 리셋하기 위한 PLMEPhyReset, (보류중인 IRQ 인터럽트를 애크(ACK)하기 위한) IRQACK, 핀(pin)하기 위한 IRQPinEnable, Enable, IE 및 IRQ CLR에 대해 호출이 이루어진다.

족압/6 자유도 모션 센서(200)는 예컨대, 250 밀리초 동안 족압/6 자유도 모션 수집 노드로부터의 응답을 대기하여 디폴트 전체 족압 스캔이 행해질지 또는 매핑된 족압 스캔이 개시될지를 결정할 것이다. 매핑된 족압 스캔의 경우, 족압/6 자유도 모션 수집 노드는 적절한 전극에 족압 스캔 매핑 구성 데이터를 전송할 것이다.

분석 파이프라인의 일 양상은 분석을 위한 입력 데이터 구조를 정의하기 위해 특징 벡터를 생성하는 데 사용되는 캡처된 센서 값 및 그 결과적인 센서 융합된 값을 정의하는 특징 세트 엔지니어링 프로세스이다. 대표 값은 Ax(i), Ay(i), Az(i), Ph(i)이고, 여기에서 i는 i 번째 샘플이고, Ax(i)는 발 센서와 관련하여 측면인 x 방향의 가속도이고, Ay(i)는 발 센서와 관련하여 앞쪽인 y 방향의 가속도이고, Az(i)는 발 센서와 관련하여 위쪽인 z 방향의 가속도이고, Ph(i)는 발꿈치 충격 압력이다. 센서 값은 표 1에 나타나 있다.

Avg(Ax) = Sum [Ax(i) over i = 0 to i = N]/N

Avg(Ax) = Sum [Ax(i) over i = 0 to i = N]/N

Avg(Ay) = Sum [Ay(i) over i = 0 to i = N]/N

Avg(Az) = Sum [Az(i) over i = 0 to i = N]/N

i = 0 으로부터 i = N까지 Ax(i)의 범위 내의 Max(Ax)

i = 0 으로부터 i = N까지 Ay(i)의 범위 내의 Max(Ay)

i = 0 으로부터 i = N까지 Az(i)의 범위 내의 Max(Az)

i = 0 으로부터 i = N까지 Ax(i)의 범위 내의 Min(Ax)

i = 0 으로부터 i = N까지 Ay(i)의 범위 내의 Min(Ay)

i = 0 으로부터 i = N까지 Az(i)의 범위 내의 Min(Az)

Avg(Ph) = Sum [Ph(i) over i = 0 to i = N]/N

i = 0 으로부터 i = N까지 Ph(i)의 범위 내의 Max(Ph)

여기에서 N = 윈도우 크기

표 1

일부 실시예에서, 센서 융합 기술은 후술하는 바와 같이 데이터의 윈도우를 도출하기 위해 발꿈치 충격 압력 값 Ph(i)을 사용하여 다음의 예시적인 특징 값의 분석을 "게이팅(gate)"한다. 예컨대, 아래의 표 2에 제시된 바와 같이, "개시"(시작)는 발꿈치 충격을 나타내는 임계치를 초과하는 발꿈치 압력에 기초하여 결정될 수 있으며, "중지"는 발꿈치가 떨어지는 것을 나타내는 임계치 아래로 떨어지는 발꿈치 압력에 기초하여 결정될 수 있다. 발꿈치 충격 압력은 "게이트" 분석에 사용될 수 있는 파라미터의 일 예임이 이해된다. 일부 실시예에서, "게이팅(gating)"은 IMU 센서 데이터, 비디오 데이터 및/또는 EMG 데이터의 사용에 의해 결정된다.

Power Factor PF(i) = Sqrt(Ax(i)**2 + Ay(i)**2 + Az(i)**2)

윈도우된 전체 동작 강도= [Avg(Ax) + Avg(Ay) + Avg(Az)]/3

윈도우된 측면 떨림 강도= Sum [(Ax(i) Ax(i + 1))**2] from i = 0 to i = N

윈도우된 전체 떨림 강도=Sum [(Ax(i) Ax(i + 1))**2] + Sum [(Ay(i) Ay(i + 1))**2] + Sum [(Az(i) Az(i + 1))**2] from i = 0 to i = N

윈도우된 차등 Ax = Max(Ax) ― Min(Ax)

윈도우된 차등 Ay = Max(Ay) ― Min(Ay)

윈도우된 차등 Az = Max(Az) ― Min(Az)

여기서 N = 윈도우 크기

표 2

표 3에 제시된 예시적인 값과 같은 융합 센서 값으로부터 더 높은 레벨의 특징 값이 계산된다:

걸음 수(총 회수)

오른쪽 걸음 길이(센티미터 ― cm)

왼쪽 걸음 길이(cm)

오른쪽 걸음 시간(밀리초- msec)

왼쪽 걸음 시간(msec)

오른쪽/왼쪽 걸음 시간의 비대칭 요인 (오른쪽 걸음 시간 ― 왼쪽 걸음 시간)

걸음 넓이(cm)

박자(분당 걸음)

보폭 길이(cm)

보폭 속도(cm/sec)

오른쪽 보폭 시간(msec)

왼쪽 보폭 시간(msec)

오른쪽/왼쪽 보폭 시간의 비대칭 요인(오른쪽 보폭 시간 ― 왼쪽 보폭 시간)

보폭 떨림(윈도우된 측면 떨림 강도)

보폭 유동성(윈도우된 총 떨림 강도)

누적된 보폭 떨림(윈도우된 측면 떨림 강도)

누적된 보폭 유동성(윈도우된 총 떨림 강도)

오른쪽 발의 스윙 시간(msec)

왼쪽 발의 스윙 시간(msec)

오른쪽 발의 스탠스 위상(msec)

왼족 발의 스탠스 위상(msec)

오른쪽/왼쪽 자세 위상의 비대칭 요인 자세(오른쪽 자세 위상 ― 왼쪽 자세 위상)

더블 서포트 자세 시간(msec)

수직 변위[중간-자세] Max(cm)

수직 변위[더블 서포트] Max(cm)

오른발 뒤꿈치 타격 시간(msec)

왼발 뒤꿈치 타격 시간(msec)

오른발 뒤꿈치 타격 압력(쉬프트 N ― 뉴턴)

왼발 뒤꿈치 타격 압력(N)

오른발/왼발 뒤꿈치 타격 압력의 비대칭 요인(오른발 뒤꿈치 타격 압력 ― 왼발 뒤꿈치 타격 압력)

누적된 보행거리(m)

평균 속도(m/min)

각 요인들의 가변성

표 3

본원에서 설명된 시스템은 환자 생체역학 데이터에 대해 "게이팅"하거나 "윈도우"를 제공하는 기능을 제공한다. 생체역학 데이터의 게이팅은 환자가 걷는 동안 반복되는 보폭과 같은 반복적인 환자 움직임에 유용하다. 하나 이상의 소스 이를테면, 압력 센서, IMU 센서로부터의 센서 데이터, 비디오 데이터 및 EMG 데이터는 시간에 걸쳐 반복되는 움직임 사이클을 식별하는 데 사용된다. 예컨대, 환자가 걸을 때, 족압은 환자의 발이 땅에 닿고 그 다음 땅으로부터 들어 올려짐에 따라, 반복적으로 증가하고 감소한다. 마찬가지로, 발의 속도는 발이 전진함에 따라 증가하고, 발이 땅에 내려 놓아진 동안은 0으로 감소한다. 다른 예로, 환자의 발의 Y 포지션 또는 높이가 낮은 포지션(땅바닥)과 높은 포지션(대략 중간 보폭) 사이를 순환한다. "게이팅" 기술은 이러한 데이터 내에서 반복되는 사이클 또는 "윈도우"를 식별한다. 환자가 걷는 경우, 각각의 걸음마다 사이클이 반복된다. 사이클 사이, 예컨대, 걸음 사이에 변화가 있을 수 있지만, 특정한 패턴은 각각의 사이클마다 반복된다. 각각의 사이클의 개시 시간(시작 시간)을 선택하는 것은 생체역학적 파라미터의 식별 가능한 포인트(최대 또는 최소)를 찾는 것을 수반한다. 개시 시간에 대한 파라미터의 선택은 사용 가능한 데이터에 기초하여 선택된다. 따라서, 일부 실시예에서, 발꿈치 충격 압력이 임계치를 넘는 순간이 각각의 사이클의 개시 시간을 구분하는 데 사용될 수 있다(예컨대, 도 5 참조. 압력(316a 및 316b)은 주기적 특성을 포함함. "개시"는 압력이 임계치를 넘는 순간에 결정될 수 있음). 유사하게, 발의 속도가 0으로 떨어질 때 개시 시간이 구분될 수 있다. 일부 실시예에서, 미가공 프레임 데이터는 사전프로세싱되어, 즉각적인 데이터를 가져와서 이를 "게이팅", 예컨대, 윈도우를 식별한 다음, 해당 윈도우 내의 데이터를 분석하여 특이값(outliers)을 식별하고, 예컨대, 지수 분석, 다수의 윈도우 간의 데이터를 평균화하는 것과 같은 데이터 분석을 수행한다. IMU 데이터와 발꿈치 충격 데이터를 모두 포함시킴에 의한 센서 데이터의 융합은 단일 센서로부터의 데이터를 사용하는 것보다 단일 보폭 또는 다른 반복되는 모션 단위에 대한 개시 시간의 더욱 정밀한 식별을 허용한다. 단일 보폭 내에 캡처된 센서 데이터는 "윈도우"로 간주되며, 이 분석으로부터 추출된 정보는 보폭 길이(stride length), 걸음 수, 박자(cadence), 걸음 발생할 때의 시간, 이동 거리, 자세 위상/스윙 위상, 이중 지원 시간, 속도, (예컨대, 좌우 다리 사이의) 대칭 분석, 외측 스윙, 셔플링, 파워 벡터, 횡가속도, 걸음 폭(step width), 이들 치수 각각의 가변성, 상술 한 정보로부터 도출된 추가 파라미터 등을 포함할 수 있다. 특징 추출은 마이크로프로세서 칩, 예컨대, 32 비트 칩에서 프로세싱될 수 있다. 무선 동기식 게이트된 생체역학 센서 데이터의 캡처 및 비디오 데이터 캡처 기능은 시계열 템플릿 생성을 허용한다. 데이터는 음악 치료 세션 동안 환자 또는 치료사에 의해 인덱싱될 수 있다. 위에서 설명한 "게이팅" 기능은 예외 조건을 특정 보폭이나 걸음에 연결하는 데 유용하다. 예컨대, 치료사는 환자의 움직임에서 특정한 예외 조건나 행동(이를테면, 이상 또는 사건)을 관찰할 수 있다. 인덱싱 기능은 치료사가 도 4에 예시된 무선 트리거 유닛(250) 또는 음성 제어와 같은 핸드헬드 태블릿 또는 랩톱 상의 사용자 인터페이스를 통해 예외 조건 또는 행동의 "레코드(record)"를 위해 이를테면, 캡처를 개시하도록 허용한다. 걷는 동안 환자의 "비틀거림"이 발생하는 것과 같이, 타임스탬프와 설명을 포함하는 표기(notation)가 생성될 수 있다. 이러한 인덱스는 시계열 템플릿 생성을 용이하게 한다. 이들 시계열 템플릿은 치료 세션 이벤트를 검토하고 비선형 다층 퍼셉트론(NLMLP), 컨볼루션 신경망(CNN) 및 장단기 기억(LSTM)을 갖는 순환 신경망(RNN)과 같은 기계 학습 알고리즘을 훈련하기 위한 시계열 템플릿 개발을 위해 연구될 것이다.

일 실시예에서, 에지 프로세싱(104)으로부터(예컨대, 센서(200)에서) 센서 데이터를 수집기(106)로 전달하기 위해 통신 프로토콜이 제공된다. 아래의 표 4를 참조한다. 일부 실시예에서, 연결이 100ms 초과 동안 유휴 상태인 경우, RF는 타임아웃된다.

[0x10]	프레임 시작
[0x49]	FootClipSensor ID = 'I'
[0x52] or [0x4C]	Which FootClipSensor = 'R' or 'L'
[0x00 ~ 0xFF]	구역 1
[0x00 ~ 0xFF]	구역 2
[0x00 ~ 0xFF]	구역 3
[0x00 ~ 0xFF]	구역 4
[Az]	Az
[Ay]	Ay
[Ax]	Ax
[HighByteSeqNum]	High Byte Sequence
[LowByteSeqNum]	Low Byte Sequence
표 4

일 실시예에서, 족압 센서 구역 스캐닝은 FootDataBufferIndex가 초기화되고 족압 센서 구역이 출력 [PTCDD_PTCDDN = Output]에 대한 MCU 방향 모드를 사용 가능하게 하고 연관된 포트 라인을 로우(low) [PTCD_PTCD6 = 0]로 가져옴으로써 활성화되는 발스캔(FootScan) 루틴에 의해 수행된다. 족압 센서 구역 스캐닝 맵에 기초하여 족압 센서 구역이 활성화되면, MCU 아날로그 신호 포트에 부착된 족압 센서 구역이 샘플링되고 이어서 현재 전압 판독 값이 디지털 형식(시간 구역 족압)으로 변환된다. FootDataBufferIndex 및 IMUBufferIndex와 같은 몇몇 변수는 FootDataBuffer [] 및 IMUBuffer []에서 사용될 데이터를 전송하기 위한 IEEE 802.15.4 RF 패킷 gsTxPacket.gau8TxDataBuffer []를 준비하는 데 사용된다. RF 패킷은 RFSendRequest(& gsTxPacket) 루틴을 사용하여 전송된다. 이 루틴은 gu8RTxMode가 IDLE_MODE에 설정되어 있는지 확인하고 gsTxPacket을 포인터로 사용하여 RAMDrvWriteTx 루틴을 호출하는데, 이후 이것은 SPIDrvRead를 호출하여 RF 트랜시버의 TX 패킷 길이 레지스터 콘텐츠를 판독한다. 이들 콘텐츠를 사용하여 길이 설정 업데이트를 마스크한 다음 CRC에 2를 추가하고 코드 바이트에 2를 추가한다. SPISendChar는 제2 코드 바이트인 0x7E 바이트를 전송하기 위해 호출되고, SPIWaitTransferDone이 다시 호출되어 전송이 완료되었는지를 검증한다. 이들 코드 바이트를 전송하면, 패킷의 나머지가 for 루프를 사용하여 전송되며, 여기에서 psTxPkt → u8DataLength + 1은 SPISendChar, SPIWaitTransferDone, SPIClearRecieveDataReg의 순차적인 시리즈의 반복 횟수이다. 완료되면, RF 트랜시버에는 전송할 패킷이 로딩된다. ANTENNA_SWITCH는 전송하도록 설정되고, LNA_ON 모드가 활성화되고, 마지막으로 패킷을 실제로 전송하기 위해 RTXENAssert 호출이 수행된다.

수집기

수집기(106)의 주요 기능은 에지 프로세싱(104)으로부터 데이터를 캡처하고, 분석 시스템(108)으로 데이터를 전송하고 프로세싱된 데이터를 수신하고, 데이터를 아래에 기술되는 음악 치료 센터(110)로 전송하는 것이다. 일부 실시예에서, 수집기(106)는 제어 기능, 예컨대, 로그인을 위한 사용자 인터페이스를 제공하고, 시스템을 구성하고, 사용자와 상호작용하며, 데이터를 시각화/디스플레이하기 위한 디스플레이 유닛을 포함한다. 수집기(106)는 분류(예컨대, 측 방향 떨림, 비대칭, 불안정성 등)를 위한 경량 분석 또는 기계 학습 알고리즘을 포함할 수 있다.

수집기(106)는 에지 프로세서(104)로부터 신체, 모션 및 위치 데이터를 수신한다. 수집기(106)에서 수신되는 데이터는 미가공이거나 수집기로 전송되기 전에 에지(104)에서 프로세싱될 수 있다. 예컨대, 수집기(106)는 융합된 센서 데이터를 수신하며, 이는 "윈도우잉(windowing)" 및 특징 추출에 처해진다. 전송된 데이터는 2 레벨의 데이터: (1) 표 1에 설명된 바와 같이 오른발/왼발 센서로부터 전송된 RF 패킷, (2) 표 2 및 3에서 설명된 바와 같이 상위 레벨 속성 및 특징을 포함하는 오른발/왼발 센서로부터의 RF 패킷을 포함할 수 있다. 수집기(106)는 데이터를 로컬로 저장한다. 일부 실시예에서, 수집기(106)는 수신된 데이터로부터 움직임을 분류하는데 예컨대, 이를 로컬로 저장된(분석 시스템으로부터 미리 다운로드된) 또는 분류를 위해 분석 시스템으로 전송된 모델과 비교한다. 수집기는 데이터를 시각화/디스플레이하기 위한 디스플레이 유닛을 포함할 수 있다.

일부 실시예에서 수집기(106)는 메모리, 프로세서 및 디스플레이를 포함하는 로컬 컴퓨터상에서 동작한다. 수집기가 설치되는 예시적인 디바이스는 AR 디바이스, VR 디바이스, 태블릿, 모바일 디바이스, 랩톱 컴퓨터, 데스크톱 컴퓨터 등을 포함할 수 있다. 도 2는 디스플레이(222)를 가지며, 수집기 기능을 수행하는 핸드헬드 디바이스(220)를 도시한다. 일부 실시예에서, 환자 센서와 수집기 사이에서 데이터를 전송하기 위한 연결 파라미터는 윈도우즈(Windows)의 디바이스 관리자(예컨대, 전송 속도(Baud rate): 38400, 데이터 비트: 8, 패리티: 없음, 정지 비트: 1)의 사용을 포함하게 된다. 일부 실시예에서, 수집기(106)는 음악 치료 환자에 의해 소지되거나 착용되는 프로세서를 포함한다. 일부 실시예에서, 수집기(106)는 음악 치료 환자로부터 원격이고 치료사에 의해 휴대되며 음악 치료 환자에게 무선으로 또는 유선 연결을 통해 연결되는 프로세서를 포함한다.

일 실시예에서, 족압/6 자유도 모션 수집 노드는 실시간 족압/6 자유도 모션 프로파일 데이터를 포함하는 RF 송신 데이터 패킷을 족압/6 자유도 모션 캡처 디바이스로부터 캡처한다. 이는 RF 트랜시버 패킷 수신 인터럽트에서 콜백(call back) 기능에 의해 구동되는 RF 패킷 수신 대기열(queue)을 생성하는 족압/6 자유도 모션 수집 노드에 의해 시작된다.

RF 패킷이 족압/6 자유도 모션 캡처 디바이스(200)로부터 수신될 때, 이것이 새로운 또는 기존의 족압/6 자유도 모션 캡처 디바이스로부터의 것인지를 결정하기 위한 체크가 먼저 수행된다. 이것이 기존의 족압/6 자유도 모션 캡처 디바이스로부터의 것이라면, 패킷을 더 분석하기 전에 RF 패킷 시퀀스 번호를 체크하여 연속 동기화를 결정한다. 이것이 족압 캡처/6 자유도 모션 디바이스이면, 족압/6 자유도 모션 캡처 디바이스 컨텍스트 상태 블록이 생성되고 초기화된다. 컨텍스트 상태 블록은 정보, 예컨대, 족압 프로파일을 포함한다.

노드 대 노드 통신을 위한 이 RF 패킷 세션 레벨 프로세스 위에는, RF 패킷 데이터 페이로드의 분석이 있다. 이 페이로드는 6 자유도 모션 이후의 현재 가변 압력에 기초하는 족압 프로파일을 포함한다. 이는 다음과 같이 즉: | 0×10 | 시작 | F1 | F2 | F3 | F4 | Ax | Ay | Az | Pi | Yi | Ri | XOR 체크섬(checksum) | 로 구성된다.

IEEE 802.15.4 표준은 127 바이트의 최대 패킷 크기를 지정하고, 시간 동기화 메시 프로토콜(TSMP)은 동작을 위해 47 바이트를 예약하고, 페이로드를 위해 80 바이트를 남긴다. IEEE 802.15.4는 2.4 GHz 산업, 과학 및 의료(ISM) 대역 무선 주파수(RF) 트랜시버를 준수한다.

RF 모듈은 피어-투-피어(peer-to-peer), 스타(star) 및 메시(mesh) 네트워킹을 지원하는 IEEE 802.15.4 무선 표준을 위해 설계된 완전한 802.15.4 물리 계층(PHY) 모뎀을 포함한다. 이는 MCU와 결합되어 필요한 무선 RF 데이터 링크 및 네트워크를 생성한다. IEEE 802.15.4 트랜시버는 5.0 MHz 채널에서 250 kbps O-QPSK 데이터를 지원하며 전체 확산-스펙트럼(full spread-spectrum) 인코딩 및 디코딩을 지원한다.

일부 실시예에서, 제어, 상태 판독, 데이터 기록 및 데이터 판독은 감지 시스템 노드 디바이스의 RF 트랜시버 인터페이스 포트를 통해 이루어진다. 감지 시스템 노드 디바이스의 MPU는 바이트 길이의 데이터의 다중 버스트가 인터페이스 버스를 통해 전송되는 인터페이스 '트랜잭션(transaction)'을 통해 감지 시스템 노드 디바이스의 RF 트랜시버에 액세스한다. 각각의 트랜잭션은 트랜잭션 유형에 따라 3 이상의 버스트 길이이다. 트랜잭션은 항상 레지스터 주소에 대한 판독 액세스 또는 기록 액세스이다. 임의의 단일 레지스터 액세스에 대한 관련 데이터는 항상 16 비트 길이이다.

일부 실시예에서, 족압/6 자유도 모션 수집 노드의 RF 트랜시버 및 데이터 전송의 제어는 직렬 주변기기 인터페이스(SPI)에 의해 달성된다. 정상적인 SPI 프로토콜은 8 비트 전송을 기반으로 하지만, 족압/6 자유도 모션 수집 수집기 노드의 RF 트랜시버는 트랜잭션 당 여러개의 8 비트 전송을 기반으로 하는 더 높은 레벨의 트랜잭션 프로토콜을 부과한다. 단일 SPI 판독 또는 기록 트랜잭션은 8 비트 헤더 전송과 이어지는 2개의 8 비트 데이터 전송으로 구성된다.

헤더는 액세스 유형 및 레지스터 주소를 나타낸다. 다음 바이트는 판독 또는 기록 데이터이다. 또한 SPI는 추가 데이터 전송이 발생할 수 있는 재귀 '데이터 버스트' 트랜잭션을 지원한다. 재귀 모드는 주로 패킷 RAM 액세스 및 족압/6 자유도 모션 수집 노드의 RF에 대한 빠른 구성을 위한 것이다

일부 실시예에서, 모든 족압 센서 구역은 순차적으로 스캐닝되고 리셋 조건 또는 비활성 파워다운 모드가 될 때까지 전체 프로세스가 반복된다. 6 자유도 모션은 MCU로부터 관성 측정 유닛(IMU)으로의 직렬 UART 인터페이스에 의해 캡처된다. Ax, Ay, Az, 피치(Pitch), 요(Yaw), 롤(Roll)인 모든 감지 치수의 샘플링 레이트는 100 ― 300 Hz 이며, 샘플링된 데이터는 IMUBuffer []에 저장된다.

TX 패킷 길이 필드를 업데이트하기 위해 SPIDryWrite가 호출된다. 다음으로 SPIClearRecieveStatReg를 호출하여 상태 레지스터를 클리어한 다음 SPIClearRecieveDataReg를 호출하여 수신 데이터 레지스터를 클리어하여 SPI 인터페이스가 판독 또는 기록을 위해 준비되도록 한다. SPI 인터페이스가 준비되면, 첫 번째 코드 바이트를 나타내는 0xFF 문자를 전송하는 SPISendChar에 대한 호출이 이루어지고 다음 SPIWaitTransferDone이 호출되어 전송이 완료되었음을 검증한다.

도 5는 핸드헬드 디바이스의 디스플레이(222) 상에 제공될 수 있는 예시적인 출력(300)이다. 예컨대, 치료가 환자의 보행을 위해 제공될 때, 디스플레이 출력(300)은 오른발을 위한 부분(302) 및 왼발을 위한 부분(304)을 포함할 수 있다. 시간의 함수로서, 오른발에 대한 디스플레이는 가속도 Ax(310a), Ay(312a), Az(314a) 및 족압(316a)을 포함한다. 유사하게, 왼발에 대한 디스플레이는 가속도 Ax(310a), Ay(312a) 및 Az(314a) 및 족압(316a)을 포함한다.

분류는 데이터, 예컨대, 센서 융합 데이터, 특징 데이터 또는 속성 데이터와 실제 세계 이벤트, 예컨대, 환자의 활동 또는 배치의 상관 관계로서 이해된다. 일반적으로, 분류는 분석 시스템(108)에서 생성되고 수행된다. 일부 실시예에서, 수집기(106)는 일부 '템플릿'의 로컬 복사본을 갖는다. 따라서, 인입 센서 데이터 및 특징 추출된 데이터는 수집기 또는 분석 시스템에서 분류될 수 있다.

컨텍스트는 이벤트, 진술, 상황 또는 아이디어에 대한 설정을 형성하는 환경 또는 사실을 나타낸다. 컨텍스트 인식 알고리즘은 특정 데이터에 대해 알고리즘이 실행되는 환경 및 시간과 관련하여 "누가," "무엇을", "언제" 및 "어디서"를 검사한다. 일부 컨텍스트 인식 액션은 신원, 위치, 시간 및 실행중인 활동이 포함된다. 결정론적 액션을 공식화(formulate)하기 위해 컨텍스트 정보를 사용할 때, 환자, 환경 및 음악 치료 세션 간에 컨텍스트 인터페이스가 발생한다.

음악 치료 세션에 대한 환자의 응답 컨텍스트는 융합된 센서 데이터를 해석하여 더 높은 레벨의 정보를 추론하는 알고리즘의 계층을 포함할 수 있다. 이들 알고리즘은 환자 응답 컨텍스트를 정제(distill)한다. 예컨대, 환자의 생체-기계적 보행 시퀀스는 그것이 음악 치료 세션의 특정 부분과 관련될 때 분석된다. 일 예에서, "측 방향 떨림"이 관심 분류자이다. 따라서, 측 방향 떨림이 적으면 환자의 보행이 더 유동적으로 된다고 결정된다.

분석 시스템

때때로 백엔드(back end) 시스템으로 지칭되는, 분석 시스템(108)은 대형 모델/아카이브를 저장하고 본원에서 설명된 모델을 이용한 기계 학습/분석 프로세싱을 포함한다. 일부 실시예에서, 아카이브된 데이터를 보기 위한 로그인용 웹 인터페이스 및 대시보드가 또한 제공된다. 일부 실시예에서, 분석 시스템(108)은 원격 서버 컴퓨터 상에 위치되며 핸드헬드 디바이스 또는 태블릿(220)과 같은 핸드헬드 유닛 상에서 실행되는 수집기(106)로부터 데이터를 수신한다. 분석 시스템(108)의 분석 및 기계 학습 기능을 수행하기 위해 필요한 프로세싱 능력이 또한 핸드헬드 디바이스(220) 상에 위치될 수 있는 것으로 고려된다.

데이터는 분석 프로세싱을 위해 수집기(106)로부터 분석 시스템(108)으로 전달된다. 도 6에 도시된 바와 같이, 분석 프로세싱(400)은 수집기(106)로부터 데이터를 수신하기 위한 사용자 인터페이스(402)를 포함한다. 데이터베이스 저장 장치(404)는 저장을 위해 수집기(106)로부터 인입하는 데이터를 수신한다. 훈련 데이터 및 분석 프로세싱의 출력, 예컨대, 앙상블 기계 학습 시스템(410)은 또한 예측 모델 및 분류자의 생성 및 정제를 용이하게 하기 위해 저장 장치(404)에 저장될 수 있다. 데이터 버스(406)는 분석 프로세싱을 통해 데이터의 흐름을 허용한다. 훈련 프로세스(408)가 훈련 데이터에 대해 수행되어 하나 이상의 예측 모델을 유도한다. 앙상블 기계 학습 시스템(410)은 예측 모델을 이용한다. 앙상블 기계 학습 시스템(410)의 출력은 이들 예측 모델의 집계(aggregation)이다. 이 집계된 출력은 떨림, 대칭, 유동성과 같은 템플릿 분류자(412) 또는 동조, 개시 등과 같은 학습된 생체역학적 파라미터와 함께 분류 요구사항에 또한 사용된다. API(418)는 수집기 및/또는 음악 치료 센터에 연결된다. 치료 알고리즘(414) 및 예측 알고리즘(416)은 다층 퍼셉트론 신경망, 은닉 마르코프(Markov) 모델, 라달(Radal) 기반 기능 네트워크, 베이지안(Bayesian) 추론 모델 등을 포함한다.

본원에서 설명된 시스템 및 방법의 예시적인 응용은 환자의 생체-기계적 보행의 분석이다. 보행 시퀀스는 일련의 특징적 세부 특징(characteristic features)으로 특징-추출(feature-extracted)된다. 캡처된 센서 융합 데이터에서 이들 및 다른 특징의 존재는 환자의 생체-기계적 보행 시퀀스가 유효한지를 컨텍스트 검출 알고리즘에 알린다. 생체-기계적 보행 시퀀스 캡처는 강건한(robust) 컨텍스트 검출을 필요로 하며, 이는 그 후 음악 치료 환자의 대표 모집단에 대해 추상화된다.

이러한 활동의 일례는 한 시간 인스턴스에서 환자의 위치 및 그 시간에 음악 치료에 대한 그들의 응답이다. 환자 음악 치료 응답의 인식 및 상관 관계는 음악 치료 환자 응답의 특정한 패턴을 인식할 수 있게 한다. 그러면 특정한 음악 치료 체제는 음악 치료 환자 응답의 기준을 생성하고 이를 장래의 음악 치료 환자 응답에 상관시킴으로써 성과 및 효능을 벤치마킹 및 분석된다.

모션 감지와 조합하여, 보행 생체-기계적 캡처의 거리 메트릭(metric)이 둘 이상의 음악 치료 세션 사이의 시간적 및 공간적 변화/편차를 사용하여 환자 경로 궤적을 결정하기 위해 사용된다. 이 센서 융합 데이터 캡처로부터, 특징을 추출하고 분류하여 다양한 주요(key) 환자 치료 응답을 라벨링한다. 또한 센서 융합 데이터 분석은 히스토그램을 사용하여 초기 음악 치료 응답 패턴 검출을 허용한다.

음악 치료 세션 센서 융합 데이터 분석에 있어서, 초기에, 마르코프 체인을 활용하는 환자 특정 베이지안 추론 모델이 사용된다. 체인의 상태는 음악 치료 기준 세션으로부터 캡처된 환자 특정 응답 패턴을 나타낸다. 추론은 각각의 샘플 간격에서의 환자 응답 패턴 출현 및 이전 상태에 대한 시간적 링크에 대한 지식에 기초한다.

예측 루틴, 다층 퍼셉트론 신경망(MLPNN)은 후속 노드에 도달하고 환자의 센서 융합 데이터 특징 벡터를 획득하기 위한 요구사항을 예측하는 최상위 계층 루트 노드를 갖는 유향(directed) 그래프 노드 기반 모델을 사용한다. 이 센서 융합 데이터 특징 벡터는 추후 프로세싱을 위해 특히 중요한 시계열 프로세싱된 모션 데이터, 음악 서명 데이터 및 비디오 이미지 데이터를 포함한다. 이 경우 유향 그래프는 거꾸로 그려진 나무처럼 보이며, 잎은 나무 아래쪽에 있고 뿌리는 루트 노드이다. 각각의 노드로부터, 루틴은 왼쪽 ― 여기서 왼쪽은 루트 노드가 위치하는 최상위 계층 아래의 다음 계층에 있는 왼쪽 노드임 ― 으로 진행되어, 왼쪽 하위 노드를 다음 관찰 노드로서 선택하거나, 또는 오른쪽 ― 여기서 오른쪽은 루트 노드가 위치하는 최상위 계층 아래의 다음 계층에 있는 오른쪽 노드임 ― 으로 진행될 수 있으며, 이는 인덱스가 관찰된 노드에 저장된 특정 변수의 값을 기반으로 한다. 이 값이 임계치보다 작으면 루틴은 왼쪽 노드로 이동하고 크면 오른쪽 노드로 이동한다. 여기에서, 이들 왼쪽 및 오른쪽 영역이 예측 공간이 된다.

모델은 2 가지 유형의 입력 변수, 즉 서열 변수 및 범주형 변수를 사용한다. 서열 변수는 노드에 또한 저장된 임계치와 비교되는 값이다. 범주형 변수는 특정한 제한된 하위 집합 값에 속하는지 여부를 확인하기 위해 테스트되고 노드에 저장되는 불연속 값이다. 이는 다양한 분류에 적용될 수 있다. 예컨대, 경증, 중간 및 중증은 떨림을 설명하는 데 사용될 수 있으며 범주형 변수의 예이다. 반대로, 세밀한 수치 범위 또는 수치 스케일을 사용하여 떨림을 유사하지만 수치적으로 설명할 수 있다.

범주형 변수가 제한된 값 집합에 속하면, 루틴은 좌측 노드로 진행하고 그렇지 않으면 우측 노드 진행된다. 각각의 노드에서 variable_index, decision_rule(임계치/하위 집합) 엔티티 쌍이 이 결정을 내리는 데 사용된다. 이 쌍을 스플릿이라 하며 variable_index 변수에 대해 분할한다.

일단 노드에 도달하면, 이 노드에 할당된 값이 예측 루틴의 출력으로 사용된다. 다층 퍼셉트론 신경망은 루트 노드로부터 시작하여 재귀적으로 구축된다. 앞서 설명한 것처럼, 모든 훈련 데이터, 특징 벡터 및 응답은 루트 노드를 분할하는 데 사용되며, 여기에서 variable_index, decision_rule(임계치/하위 집합) 엔티티는 예측 영역을 세그먼트화한다. 각각의 노드에서 최상 기본 분할에 대한 최적 결정 규칙은 분류에 대한 지니(gini) "순도(purity)" 기준 및 회귀에 대한 제곱 오류의 합계를 기반으로 한다. 지니 인덱스는 집합 클래스에 걸친 총 분산의 척도를 기반으로 한다. 지니 "순도" 기준은 노드가 원하는 상태인 단일 클래스의 지배적인 관찰을 포함하는 것을 나타내는 작은 지니 인덱스 값을 지칭한다.

다층 퍼셉트론 신경망이 일단 구축되면, 이는 교차 확인 루틴(cross-validation routine)을 사용하여 프루닝될 수 있다. 모델 과적합(over-fitting)을 피하기 위해, 트리의 가지 일부가 제거된다. 이 루틴은 독립형 결정에 적용될 수 있다. 상술한 결정 알고리즘(MLPNN)의 두드러진 특징 중 하나는 각각의 변수의 상대적 결정력 및 중요도를 계산하는 능력이다.

가변 중요도 등급은 환자 상호 작용 특징 벡터에 대한 가장 빈번한 상호 작용 유형을 결정하는 데 사용된다. 패턴 인식은 음악 치료 응답 및 음악 치료 이벤트의 서로 다른 범주를 구별하기에 적합한 결정 공간의 정의로 시작된다. 결정 공간은 N 차원의 그래프로 나타낼 수 있으며, 여기에서 N은 음악 치료 응답 및 음악 치료 이벤트를 나타내는 것으로 간주되는 속성 또는 측정의 수이다. N 속성은 그래프에 플롯될 수 있는 특징 벡터 또는 서명을 구성한다. 충분한 샘플이 입력된 후, 결정 공간은 새로운 벡터를 이들 클러스터에 연관시키는 데 사용되는 상이한 범주에 속하는 음악 치료 응답 및 음악 치료 이벤트의 클러스터를 드러낸다.

동적 폐루프 재활 플랫폼 음악 치료 시스템은 패턴을 학습 및 기억해내기 위한 몇 가지 심층 학습 신경망을 이용한다. 일 실시예에서, 비선형 결정 공간은 적응적 방사 기저 함수(Radial Basis Function, RBF) 모델 생성기를 사용하여 구축된다. 새로운 벡터는 RBF 모델 및/또는 K-최근접 이웃 분류자를 사용하여 계산할 수 있다. 도 6은 동적 폐루프 재활 플랫폼 음악 치료 시스템의 기계 학습 서브 시스템의 작업 흐름을 도시한다.

도 7은 다수의 훈련 샘플(502)을 포함하는 감독된 훈련 프로세스(408)를 도시하며, 예컨대, 입력은 상기 표 3에 설명된 것과 같은 특징일 것이며, 예시적인 출력은 떨림, 비대칭 및 힘과 같은 항목, 이들 항목의 정도, 변화 예측, 환자의 회복 정도 분류일 것이다. 새로운 출력이 이 프로세스의 일부로 학습된다는 것을 이해할 것이다. 이는 상이한 사용 케이스(예를 들면, 상이한 질병 상태, 의약품과의 조합, 제공자에게 알리는 통지, 피트니스 및 낙상 방지)에 적용될 때 예측 및 분류의 추상화 레벨을 높이는 기반을 제공한다. 이들 훈련 샘플(502)은 학습 알고리즘 A1(504a), A2(504b), A3(504c) ... AN(504n)으로 실행되어 M1(506a), M2(506b), M3(506c) ... MN(506n)에서 예측 모델을 유도한다. 예시적인 알고리즘은 다층 퍼셉트론 신경망, 은닉 마르코프 모델, 방사 기반 함수 네트워크, 베이지안 추론 모델을 포함한다.

도 8은 다수의 예측 결과 데이터(606a, 606b, 606b ... 606n)를 제공하기 위해, 샘플 데이터(602), 예컨대, 특징 추출된 데이터에 대한 예측 모델 M1(506a), M2(506b), M3(506c), MN(506n)의 집계로서의 앙상블 기계 학습 시스템을 도시한다. 예컨대, 결정 규칙 및 투표를 포함하는 집계 계층(608)은 복수의 예측 모델이 주어지면 출력(610)을 유도하는 데 사용된다.

MR ConvNet 시스템은 2개의 계층을 가지며, 여기에서 제1 계층은 평균 풀링 지원을 갖는 컨벌루션(convolutional) 계층이다. MR ConvNet 시스템의 제2 계층은 다항 로지스틱 회귀(multinomial logistic regression)를 지원하는 완전히 연결된 계층(fully connected layer)이다. Softmax라고도 하는 다항 로지스틱 회귀는 여러 클래스를 처리하기 위한 로지스틱 회귀의 일반화이다. 로지스틱 회귀의 경우, 라벨은 이진(binary)이다.

Softmax는 상이한 가능한 출력의 확률을 예측하는 데 사용되는 모델이다. 다음은 Softmax 최종 출력 계층을 통해 m개의 개별 클래스로 구성된 다중 클래스 분류자를 가정한다.

[1]

[2]

[3]

[4]

일반적으로:

[5]

, j = 1 내지 N [6]

여기에서 Y = 분류자 출력; X = 샘플 입력(모든 스케일된(정규화된) 특징 값); W = 무게 매트릭스이다. 분류는, 예컨대, "보통 비대칭 점수 10점 만점에 6 점(높은 레벨의 비대칭 10 점에서 비대칭이 없는 경우 0 점)" 또는 보행 유동성 "보행 유동성 점수 10 점 만점에 8 점" 등과 같은 비대칭 점수를 부여한다. 분석 파이프라인은 도 9에 도시된다.

Softmax 회귀는 2를 초과하는 다수의 클래스를 처리할 수 있게 한다. 로지스틱 회귀의 경우: P(x) = 1/(1 + exp(-Wx))이며 여기에서 W는 비용 함수를 최소화하도록 훈련된 모델 파라미터를 포함한다. 또한, x는 입력 특징 벡터이며

[7]

는 훈련 세트를 나타낼 것이다. 다중 클래스 분류의 경우, Softmax 회귀가 사용되며 여기에서 y는 이진 경우의 1과 0 대신 클래스를 나타내는 N개의 상이한 값을 취할 수 있다. 따라서 훈련 세트((x(1), y(1)),…,(x(i), y(i)))에 대해, y(n)은 1에서 N 클래스 범위의 모든 값이 될 수 있다.

다음으로, p(y = N | x; W)는 i = 1, ..., N의 각각의 값에 대한 확률이다. 다음은 Softmax 회귀 프로세스를 수학적으로 설명한다.

[8]

여기에서 Y(x)가 가설에 대한 답인 경우, 입력 x가 주어지면, 정규화된 합이 1이 되도록 모든 클래스에 걸쳐 확률 분포를 출력한다.

MR ConvNet 시스템은 벡터로서의 모든 생체역학적 템플릿 필터와 함께, 벡터로서의 모든 윈도우된 생체역학 데이터 프레임을 컨벌브하고(convolve), 다음으로 특징 응답을 평균화하는 평균 풀(pool) 함수를 사용하여 응답을 생성한다. 컨볼루션 프로세스는 임의의 바이어스를 추가하는 동안 Wx를 계산한 다음 이를 로지스틱 회귀(sigmoid) 함수에 전달한다.

다음으로, MR ConvNet 시스템의 제2 계층에서, 서브샘플링된 생체역학적 템플릿 필터 응답은 각각의 컬럼이 윈도우된 생체역학 데이터 프레임을 벡터로서 나타내는 2 차원 매트릭스로 이동된다. Softmax 회귀 활성화 프로세스는 이제 다음을 사용하여 개시된다.

[9]

MR ConvNet 시스템은 비용 함수 J(W)가 정의되고 최소화되는 기울기 하강, 최적화 알고리즘으로 훈련된다.

[10]

여기에서 t(j)는 타겟 클래스이다. 이는 j개의 훈련 샘플에 대한 모든 교차 엔트로피의 평균이다. 교차 엔트로피 함수는 다음과 같다.

[11]

도 10에서, 앙상블 기계 학습 시스템(408)은 복수의 예측 모델을 포함하며, 예컨대, 템플릿 시리즈 1(떨림)(706a), 템플릿 시리즈 2(대칭)(706b), 템플릿 시리즈 3(유동성)(706c) …. 추가 템플릿(다른 학습된 생체역학적 파라미터, 예컨대, 동조(entrainment), 개시(initiation) 등)(706n)이며, 이들은 조건부 입력(702)으로 인가되고, 예컨대, 이는 다음: 우측 및 좌측에 대한 보폭 길이 특징(x1, x2), 우측 및 좌측 보폭 갈아 변동 특징(x3, x4), 우측 및 좌측 박자 특징(x6, x7), 우측 및 좌측 박자 변동 특징(x8, x9) 등일 수 있으며, 여기에서 샘플(x1, x2, .. xn)은 ML 알고리즘의 앙상블에서 702에 입력되는 벡터 X로 지칭된다. 이들은 정규화된 및/또는 스케일된 입력의 조건부 참조이다. 집합 분류자(708)는 떨림 스케일, 대칭 스케일, 유동성 스케일 등과 같은 정보를 출력한다.

음악 치료 센터

음악 치료 센터(110)는 도 2의 핸드헬드 디바이스 또는 랩톱 컴퓨터(220)와 같은, 프로세서 상에서 실행되는 의사 결정 시스템이다. 음악 치료 센터(110)는 수집기(106)에서 특징 추출된 센서 데이터로부터 입력을 취하여, 이들을 치료 전달을 위한 정의된 프로세스와 비교하고, 다음으로 음악 전달 시스템(230)을 통해 재생되는 청각 자극의 콘텐츠를 전달한다.

발명의 실시예는 컨텍스트 정보를 사용하여 상황이 발생하는 이유를 결정하고, 그 후 폐루프 방식으로, 시스템 상태 및 그에 따른 음악 치료 세션의 동적 및 변조된 변화를 야기하는 관찰된 액션을 인코딩한다.

환자와 음악 치료 세션 사이의 상호 작용은 모션, 자세, 보폭 및 보행 반응을 포함하는 음악 치료 환자 컨텍스트 인식을 결정하기 위한 실시간 데이터를 제공한다. (센서에서) 감지 노드에 의해 입력 데이터가 수집된 후, (에지 프로세싱에서) 임베디드 노드가 컨텍스트 인식 데이터를 프로세싱하고, 즉각적인 동적 액션을 제공하거나 및/또는 데이터를 분석 시스템(108), 예를 들면, 저장 및 추가 프로세싱 및 분석을 위한 탄성(elastic) 네트워크 기반 프로세싱 클라우드 환경으로 전송한다.

입력에 기초하여, 프로그램은 임의의 기존 노래 콘텐츠를 취하여 박자(cadence), 장조/단조 코드, 보격(meter) 및 음악 큐(예컨대, 멜로디, 화성, 리듬 및 포스 큐)를 변경한다. 시스템은 기존 노래에 메트로놈을 중첩할 수 있다. 노래 콘텐츠는 비트(beat) 매핑될 수 있거나(예컨대, AV 또는 MP3 파일에 응답하여 W 인 경우) 또는 MIDI 포맷일 수 있어 비트가 발생하는 시점에 대한 정확한 지식이 동조 포텐셜을 계산하는 데 사용될 수 있다. 환자의 센서는 음악 콘텐츠에서 햅틱/진동 피드백 펄스를 제공하도록 구성될 수 있다.

실시예

방법의 예시적인 적용이 본원에서 설명된다. 보행 훈련은 환자에게 재생되는 음악의 비트와 그러한 음악의 특정 비트에 응답하여 환자가 취한 개별 걸음 사이의 실시간 관계를 분석한다. 위에서 논의한 것과 같이, 게이팅 분석이 사용되어 각각의 걸음 또는 반복 움직임마다, 일부 변동을 가지고 반복되는 데이터 윈도우를 결정한다. 일부 실시예에서, 윈도우의 시작은 발꿈치 충격 압력이 임계치(또는 다른 센서 파라미터)를 초과하는 시간으로 결정된다. 도 11은 음악의 비트인 "시간 비트"와 환자가 걸은 걸음인 "시간 걸음"을 나타내는 예시적인 시간 플롯이다. 따라서, 이 경우의 개시 시간은 "시간 걸음"과 관련된다. 특히, 그래프는 시간 비트(Time Beat) 1에서의 음악의 시간 비트(1101)를 도시한다. 일정 시간 후, 환자는 시간 비트(1001)에 응답하여 한 걸음을 걷는다, 즉 시간 걸음(Time Step) 1에서 시간 걸음(1102)이 된다. 동조 포텐셜(1103)은 시간 비트 1 와 시간 걸음 1 사이의 지연(있는 경우)을 나타낸다.

도 12 내지 도 13은 본원에서 설명된 시스템을 사용하여 환자의 보행을 동조하는 예를 도시한다. 도 12는 "완벽한" 동조, 예컨대, 0의 일정한 동조 포텐셜을 도시한다. 이는 시간 비트와 시간 비트에 응답하여 취해진 연관된 시간 걸음 사이에 지연이 없거나 무시해도 될 정도의 지연일 때 발생한다. 도 13은 위상 시프트 동조, 예컨대, 동조 포텐셜이 0이 아니지만 시간에 걸쳐 일정하거나 변동이 최소인 상태를 도시한다. 이는 시간 경과에 따라 시간 비트와 시간 걸음 사이에, 공차 범위 내의 일정한 지연이 있을 때 발생한다.

계속해서 도 11을 참조하면, EP 비율(EP ratio)은 시간 걸음 사이의 지속 시간에 대한 시간 비트 사이의 지속 시간의 비율로서 계산된다:

[6]

여기에서 시간 비트 1(1101)은 제1 음악 비트의 시간에 대응하고, 시간 걸음 1(1102)는 시간 비트 1에 응답하는 환자 걸음의 시간에 대응한다. 시간 비트 2(1106)는 제2 음악 비트의 시간에 대응하고, 시간 걸음 2(1108)는 시간 비트 2 에 응답하는 환자 걸음의 시간에 대응한다. 목표는 EP 비율 = 1 또는 EP 비율/요인 = 1이다. 요인은 다음과 같이 결정된다:

[7]

이 요인은 비트의 세분화가 일어나도록 하거나 어떤 사람이 3 비트마다 또는 매 4 비트 중 3 비트마다 걸을 수 있게 한다. 이는 다양한 시나리오에 대한 유연성을 제공할 수 있다

도 14 및 도 15는 본원에서 설명된 기술을 사용하는 환자의 시간에 따른 동조 응답을 도시한다. 도 14(왼쪽 Y 축: EP 비율, 오른쪽 Y 축: 분당 비트, X 축: 시간)은 첫 번째 환자의 보행의 EP 비율의 평균을 나타내는 점들(1402)의 산란을 도시한다. 그래프는 +0.1의 상한(1404) 및 -0.1의 하한(1406)을 도시한다. 선(1408)은 시간에 따른 템포(분당 60 비트에서 시작하여 단계적으로 100 bpm으로 증가함)를 예시한다. 도 14는 템포가 60bpm에서 100bpm으로 증가함에 따라 EP 비가 1(± 0.1)에 가깝게 유지되는 것을 도시한다. 도 15는 템포가 60bpm에서 100bpm으로 증가함에 따라 EP 비율이 또한 1(± 0.1)에 가깝게 유지되는 두 번째 환자의 보행의 EP 비율을 도시한다.

도 16 및 도 17(Y 축: 동조 포텐셜, X 축: 시간)은 시간 비트의 변화(예컨대, 템포 변화) 및/또는 코드의 변화, 햅틱 피드백의 변화, 발의 큐잉 변화(예컨대, 좌-우, 또는 좌-우-지팡이(cane) 큐잉) 등에 대한 두 환자의 응답을 도시한다. 도 16은 환자의 보행이 "완전한 동조"(일정한 0 또는 무시할 만한 동조 포텐셜) 또는 일정하게 위상 시프트된 동조 포텐셜로 균형이 잡히는 시간 기반 플롯을 나타낸다. 도면에 도시된 바와 같이, 균형이 발생할 때까지 일정한 시간, 프라임 타임(1602)이 걸린다. 도 17은 환자의 보행이 균형 상태가 아니며, 예컨대, 시간 비트의 변화 후에 완전한 동조 또는 일정하게 위상 시프트된 동조 포텐셜에 이르지 못하는 시간 기반 플롯을 나타낸다. 프라임 타임은 동조의 정확도를 측정하는 것과는 별도의 데이터 집합을 나타내기 때문에 유용하다. 프라임 타임 파라미터는 또한 적합성을 위해 향후 노래를 선별하는 데 사용될 수 있다. 예컨대, 어떤 음악곡이 사용될 때 환자가 더 긴 프라임 타임 값을 나타내면, 그러한 음악곡은 치료 능력이 떨어진다.

도 18은 보행 훈련에 유용한 기술을 도시하며, 여기에서 반복 움직임은 걸을 때 환자가 행하는 걸음을 나타낸다. 보행 훈련은 개인화되고 개별화된 음악 개입을 전달하기 위하여 개별 환자 모집단, 진단 및 조건에 맞게 조정된다. 입력에 기초하여, 프로그램은 해당되는 경우 콘텐츠, 박자, 장조/단조 코드, 보격 및 음악 큐(예컨대, 멜로디, 화성 및 포스 큐)를 변경한다. 프로그램은 생년월일, 나열된 음악 선호 및 동조 템포를 사용하여 음악 셀렉션을 만들 수 있어 정기적으로 사용하도록 수동 음악 재생 목록을 제공할 수 있다. 보행 훈련을 위한 주요 입력은 신체 활동, 예컨대, 걷기를 실행하는 사용자의 박자, 대칭 및 보폭 길이이다. 프로그램은 연결된 하드웨어를 사용하여 음악의 BPM에서 햅틱/진동 피드백을 제공한다. 보행 훈련에 적합한 모집단은 외상성 뇌 손상(TBI), 뇌졸중, 파킨슨 병, MS 및 노화가 있는 환자를 포함한다.

방법은 단계(1802)에서 시작한다. 단계(1804)에서, 생체역학 데이터가 센서, 예컨대, 센서(200, 206, 208)로부터의 데이터에 기초하여 수집기(106)에서 수신된다. 생체역학 데이터는 개시, 보폭 길이, 박자, 대칭, 보조 디바이스에 대한 데이터, 또는 분석 시스템(108)에 의해 저장되고 생성된 다른 이러한 환자 특징 세트를 포함할 수 있다. 예시적인 생체역학 데이터 파라미터는 상기 표 1, 표 2 및 표 3에 나열되어 있다. 기준 조건은 하나 이상의 데이터 소스로부터 결정된다. 첫째, 재생되는 음악이 없는 환자의 보행이 감지된다. 환자의 개시, 보폭 길이, 박자, 대칭, 보조 디바이스에 관한 데이터 등에 관한 센서 및 특징 데이터는 치료 세션에 대한 환자의 기준 생체역학 데이터를 포함한다. 둘째, 동일한 환자의 이전 세션으로부터의 센서 데이터뿐만 아니라 분석 시스템(108)으로부터의 임의의 상위 레벨 분류 데이터는 환자의 이력 데이터를 포함한다. 셋째, 유사하게 위치하는 다른 환자에 대한 센서 데이터 및 상위 레벨 분류 데이터는 모집단 데이터를 구성한다. 따라서, 기준 조건은 (a) 치료 세션에 대한 환자의 기준 생체역학 데이터, (b) 환자의 이전 세션으로부터의 데이터 및 (c) 모집단 데이터 중 하나 이상으로부터의 데이터를 포함할 수 있다. 다음으로, 기준 비트 템포가 기준 조건에서 선택된다. 예컨대, 기준 비트 템포는 음악을 재생하기 전에 환자의 현재 박자와 매칭하도록 선택될 수 있다. 대안적으로, 기준 비트 템포를 환자의 현재 박자의 프랙션(fraction) 또는 배수로 선택할 수 있다. 다른 대안으로, 기준 비트 템포는 동일한 환자의 이전 세션에서 사용된 기준 비트 템포와 매칭하도록 선택될 수 있다. 또 다른 대안으로, 기준 비트 템포는 비슷한 신체 조건을 가진 다른 환자에게 사용되는 기준 비트 템포를 기반으로 선택될 수 있다. 마지막으로, 기준 비트 템포는 상술한 임의의 데이터의 조합을 기반으로 선택할 수 있다. 목표 비트 템포가 또한 이 데이터로부터 결정될 수 있다. 예컨대, 목표 비트 템포는 유사하게 위치하는 다른 환자가 보여준 개선을 참조하여 기준 비트 템포의 백분율 증가로서 선택될 수 있다. 템포는 음악의 비트 주파수를 나타내는 것으로 이해된다.

단계(1806)에서, 핸드헬드 디바이스(220)로부터 음악 전달 디바이스(230)(예컨대, 이어폰 또는 헤드폰 또는 스피커) 상에서 환자에게 제공되는 음악은 기준 템포 또는 기준 템포의 구획에서 시작된다. 기준 템포에서 환자에게 음악을 공급하기 위해, 데이터베이스에서 일정한 기준 템포를 갖는 음악이 선택되거나, 기존의 음악이 수정되어, 예컨대, 선택적으로 빨라지거나 또는 느려져, 일정한 템포의 비트 신호를 제공한다.

단계(1808)에서, 환자는 음악의 비트를 듣도록 지시된다. 단계(1810)에서, 환자는 기준 비트 템포로 걷도록 지시되고, 선택적으로 왼발 및 오른발에 대한 큐를 수신한다. 환자는 각각의 걸음이 음악의 비트와 가깝게 매칭하도록, 예컨대, 비트 템포에 "맞춰" 걷도록 지시된다. 단계(1806, 1808 및 1810)은 치료사에 의해, 또는 핸드헬드 디바이스(220) 상의 청각적 또는 시각적인 지시에 의해 개시될 수 있다.

단계(1812)에서, 환자의 센서(200, 206, 208)는 발꿈치 충격 압력, 6 차원 움직임, EMG 활동 및 환자 움직임의 비디오 레코드와 같은 환자 데이터를 레코딩하는 데 사용된다. 모든 센서 데이터는 타임-스탬핑된다. 본원에서 논의되는 "게이트" 분석을 포함하는 데이터 분석이 타임-스탬핑된 센서 데이터에 대해 수행된다. 예컨대, 각각의 걸음의 개시 시간을 결정하기 위해, 센서 데이터, 예컨대, 발꿈치 충격 압력의 분석이 이루어진다. 수신되는 추가 데이터는 환자에게 제공되는 음악의 각각의 비트 신호와 연관되는 시간을 포함한다.

단계(1814)에서, 예측 및 분류를 위해 동조 모델(예컨대, 분석 시스템(108)의 앙상블 기계 학습 시스템(410) 또는 수집기(106)에 다운로드되고 핸드헬드 디바이스(220) 상에서 실행되는 모델)에 대한 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 이러한 연결은 일반적으로 매우 빠르거나 즉각적이다.

단계(1816)에서, 분석 시스템(108)에서 수행되는 선택적인 동조 분석이 센서 데이터에 적용된다. 동조 분석은 비트 신호와 환자가 행한 각각의 걸음의 개시 사이의 지연의 결정을 포함한다. 동조 분석으로부터의 출력으로서, 동조 포텐셜 및 EP 비율에 관해 위에서 논의한 바와 같이, 동조의 정확도에 관한 결정, 예컨대, 기준 템포와 환자의 걸음 사이의 순간 관계의 측정이 이루어진다. 동조가 정확하지 않으면, 예컨대, 비트 템포의 속도를 올리거나 내리거나, 음량을 높이거나, 감각 입력을 증가시키거나, 메트로놈 또는 다른 관련된 사운드를 중첩하는 등의 조정이 단계(1818)에서 행해진다. 동조가 정확하면, 예컨대, 동조 포텐셜이 공차 내에서 일정하면, 단계(1820)에서 템포에 증분 변경이 수행된다. 예컨대, 핸드헬드 디바이스로 재생되는 음악의 기준 템포가 목표 템포를 향해 예컨대, 5 % 만큼 증가된다.

단계(1822)에서, 예측 및 분류를 위해 동조 모델에 대한 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 단계(1824)에서, 선택적 대칭 분석이 센서 데이터에 적용된다. 대칭 분석으로부터의 출력으로서, 환자 보행의 대칭, 예컨대, 보폭 길이, 속도, 자세 위상, 스윙 위상 등에 대해 환자의 왼발 모션이 환자의 오른발 모션과 얼마나 일치하는지에 관한 결정이 이루어진다. 걸음이 대칭적이지 않으면, 예컨대, 임계치 아래이면, 핸드헬드 디바이스에 의한 환자에게의 음악 방송에 대한 조정이 단계(1826)에서 이루어진다. 제1 변경은 환자의 발 중 하나의 움직임 중에 재생되는 음악에 대해 행해질 수 있고, 제2 변경은 환자의 다른 발의 움직임 중에 재생되는 음악에 대해 행해질 수 있다. 예컨대, 한 쪽, 예컨대, 영향을 받은 쪽에서 단조)(minor chord)(또는 증가된 음량, 감각 입력, 템포 변경 또는 사운드/메트로놈의 중첩)를 재생할 수 있으며, 다른 쪽, 예컨대, 영향을 받지 않은 쪽에서 장조를 재생할 수 있다. 기계 학습 시스템(410)은 예컨대, 비대칭을 나타내는 모션을 분석함으로써 이에 이르는 시나리오의 '핑거프린트(fingerprint)'에 기초하여 대칭 문제가 언제 나타날지 미리 예측한다. 비대칭은 그 배경이 한 측이 다른 측과 비교하여 어떻게 영향을 받았는지 결정할 수 있는 다른 사람과 정상적인 보행 파라미터를 비교하여 결정될 수 있다.

단계(1828)에서, 예측 및 분류를 위해 동조 모델에 대한 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 단계(1830)에서, 예컨대, 환자가 앞으로 기울고 있는지 여부와 같은 선택적 균형 중심 분석이 센서 데이터에 대해 수행된다. 분석은 발 센서의 출력과 비디오 출력을 결합하여 수행될 수 있다. 균형 중심 분석의 출력으로서, 환자가 앞으로 기울고 있는지에 관한 결정이 내려진다. 환자가 앞으로 기울이면, 단계(1832)에서 "똑바로 서십시오"라는 큐가 치료사에 의해 제공되거나, 또는 핸드헬드 디바이스의 청각적 또는 시각적 지시로 환자에게 이루어진다.

단계(1834)에서, 예측 및 분류를 위해 동조 모델에 대한 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 단계(1836)에서, 개시 분석은 센서 데이터, 예컨대, 환자가 망설임을 나타내거나 걷기의 개시를 어려워하는 것에 적용된다. 개시 분석의 결과로서, 환자가 개시에 문제를 나타내는지 여부에 관한 결정이 이루어진다. 환자가 개시 문제, 예컨대, 임계치 이하를 보이는 경우, 햅틱 피드백이 환자에게 제공될 수 있으며, 이는 단계(1838)에서 비트 템포에서의 카운트다운 또는 노래 시작 이전의 카운트다운을 포함할 수 있다.

단계(1840)에서, 환자가 보조 디바이스, 예컨대, 지팡이, 목발, 보행기 등을 사용하는지 여부가 선택적으로 결정된다. 일부 실시예에서, 핸드헬드 디바이스(220)는 환자 또는 치료사가 보조 디바이스 사용에 관한 정보를 입력하는 사용자 인터페이스를 제공한다. 지팡이가 있는 경우, 분석은 3 보격, 예컨대, 지팡이, 오른발, 왼발로 변경되고, "왼발", "오른발" 및 "지팡이"에 의한 큐잉이 단계(1842)에서 치료사에 의해, 또는 핸드헬드 디바이스의 청각적 또는 시각적 지시로 제공된다.

단계(1844)에서, 예측 및 분류를 위해 동조 모델에 대한 연결이 이루어진다. (이러한 연결은 사전에 존재할 수도 있고 이 시점에서 시작될 수도 있음을 이해할 것이다.) 선택적인 동조 분석(1846)이, 실질적으로 단계(1816)에서 상술한 바와 같이, 본원에서 언급되는 차이점과 함께 센서 데이터에 적용된다. 예컨대, 동조는 세션의 더 이전 부분, 환자의 이전 세션으로부터의 이전 동조 데이터, 또는 다른 환자의 동조와 연관된 데이터와 비교될 수 있다. 동조 분석의 출력으로서, 동조의 정확도, 예컨대, 환자의 보행이 기준 템포와 얼마나 가깝게 매칭하는지에 관한 결정이 이루어진다. 동조가 정확하지 않으면, 단계(1818)에서 상술한 바와 실질적으로 동일한 방식으로, 단계(1848)에서 조정이 이루어진다.

상기 동조가 정확하면, 단계(1850)에서 환자가 목표 템포로 걷고 있는지 여부가 결정된다. 목표 템포에 도달하지 않으면, 방법은 단계(1820)(전술함)로 진행하여, 템포에 대한 증분 변경이 이루어진다. 예컨대, 핸드헬드 디바이스로 재생되는 음악의 기준 템포는 목표 템포를 향해 예컨대, 5 % 만큼 증가 또는 감소된다. 목표 템포에 도달하면, 환자는 세션에서 남은 시간 동안 치료를 계속할 수 있다(단계 1852). 단계(1854)에서, 치료 세션에 있지 않을 때 사용되기 위한 바람직한 템포의 음악이 선정될 수 있고 도 2의 디바이스(220) 상에 남아 있을 수 있다. 이 음악 콘텐츠는 전용 치료 세션 사이에서 환자에 의해 숙제/연습으로서 사용된다. 단계(827)에서, 프로그램은 종료된다.

상술되고 도 18에 도시된 단계들은 개시된 것과 다른 순서로 수행될 수 있음을 이해할 것이다. 예컨대, 단계(1816, 1824, 1830, 1836, 1840, 1846 및 1850)에서의 평가는 동시에 수행될 수 있다. 또한, 분석 시스템(108)에 대한 복수의 연결(예컨대, 단계(1814, 1822, 1828, 1834 및 1844))은 기술된 치료 세션 전반에 걸쳐 한 번만 수행될 수 있다.

도 19는 무시(neglect) 훈련에 유용한 기술을 도시한다. 무시 훈련의 경우, 본원에서 설명된 시스템 및 방법은 연결된 하드웨어를 사용하여 환자가 표적을 정확하게 타격함에 따라 햅틱/진동 피드백을 제공한다. 연결된 하드웨어는 디바이스, 비디오 모션 캡처 시스템 또는 연결된 벨이 포함된다. 이 모든 디바이스는 설명된 시스템에 연결되고, 두드려지면 진동하며, 청각 피드백을 재생하는 스피커가 있다. 예컨대, 연결된 벨은 센서(200)와 동일한 방식으로 시스템에 데이터, 예컨대, 환자에 의한 벨 타격에 관한 데이터를 제공한다. 비디오 모션 캡처 시스템은 비디오 카메라(206)와 동일한 방식으로 비디오 데이터를 시스템에 제공한다. 무시 훈련을 위한 주요 입력은 특정 위치로의 움직임의 추적에 관한 정보이다. 이 프로그램은 연결된 하드웨어를 사용하여 환자가 표적을 정확하게 타격함에 따라 햅틱/진동 피드백을 제공한다. 무시 훈련을 위한 적합한 모집단은 공간적 무시 또는 편측 시각적 무시 조건을 가진 환자가 포함된다.

무시 훈련을 위한 도 19에 도시된 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 예컨대, 기준 테스트는 환자의 상태 및/또는 이전 테스트로부터의 개선을 설정한다. 일부 실시예에서, 기준 테스트는 스크린, 예컨대, 핸드헬드 디바이스(220)의 디스플레이(222) 상에 균등하게 이격된 4개의 객체를 보여주는 것을 포함한다. 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로, 배경 음악의 박자에 맞추어 객체를 타격하도록 지시된다. 보행 훈련에서와 같이, 환자는 배경 음악의 박자에 맞추어 벨을 타격하도록 지시된다. 모든 정확한 타격은 피드백을 제공한다. 일단 기준 정보가 수집되면, 왼쪽에서 오른쪽으로 균등하게 이격된 다수의 객체가 화면에 디스플레이된다. 위에서와 같이, 환자는 배경 음악의 박자에 맞추어 순서대로 왼쪽에서 오른쪽으로 객체를 타격하도록 지시된다. 모든 정확한 타격은 피드백을 제공한다. 보행 훈련과 마찬가지로, 분석 시스템(108)은 환자의 응답을 평가하고 응답을 분류하고, 객체를 추가 또는 감소시키거나, 또는 음악의 템포를 증가 또는 감소시켜 목표 템포에 도달하도록 지시를 제공한다.

도 20은 억양 훈련에 유용한 기술을 도시한다. 억양 훈련을 위해, 본원에서 설명된 시스템 및 방법은 음성 프로세싱 알고리즘에 의존한다. 일반적으로 선택되는 구절은 다음의 범주: 양순음(bilabial), 후두음(guttural) 및 모음 내의 일반적인 단어이다. 하드웨어는 환자에게 연결되어 환자의 한 손에 분당 비트로 햅틱 피드백을 제공한다. 억양 훈련을 위한 주요 입력은 음성의 톤과 발성된 단어 및 스피치의 리듬이다. 억양 훈련을 위한 적합한 모집단은 브로카 실어증(Broca's aphasia), 표현 실어증, 비유창성 실어증, 구어실행장애(apraxia), 자폐증 스펙트럼 장애 및 다운 증후군 환자를 포함한다.

억양 훈련을 위한 도 20의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기에서는 차이점만이 언급된다. 예컨대, 탭핑을 장려하기 위해 햅틱 피드백이 환자의 한 손에 제공된다. 그 다음, 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로, 재생되는 음악을 듣도록 지시된다. 학습을 위해 발성되는 구절은 이를 두 부분으로 나누어 재생되며, 두 부분 중 첫번째는 높은 피치이고 두 부분 중 두 번째는 낮은 피치이다. 다음으로 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로, 재생되는 2개의 피치를 사용하여 디바이스로 구절을 노래하도록 지시된다. 보행 훈련과 마찬가지로, 분석 시스템(108)은 환자의 응답을 평가하고, 피치의 정확도, 발성되는 단어 및 환자 또는 보조자/치료사에 의한 순위에 따라 응답을 분류하고, 대체 구절을 제공하고 목표 스피치 파라미터에 대한 응답을 비교하기 위한 지시를 제공한다.

도 21은 음악 자극 훈련에 유용한 기술을 도시한다. 음악 자극 훈련을 위해, 본원에서 설명된 시스템 및 방법은 음성 프로세싱 알고리즘에 의존한다. 익숙한 노래가 예상되는 부분을 분리하는 알고리즘(기대치 위반으로 지칭됨)과 함께 사용된다. 하드웨어는 환자에 의한 노래를 수신 및 프로세싱하기 위한 스피커를 포함하고, 일부 실시예에서는 치료사가 노래 정확도에 관한 입력을 수동으로 제공할 수 있다. 주요 입력은 음성의 톤과 발성되는 단어, 스피치의 리듬 및 음악 선호와 관련된 정보이다. 적합한 모집단은 브로카 실어증, 비유창성 실어증, TBI, 뇌졸중 및 원발성 진행성 실어증 환자를 포함한다.

음악 자극 훈련을 위한 도 21의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 예컨대, 환자를 위해 노래가 재생되고, 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로 노래를 듣도록 지시된다. 음악 큐가 노래에 추가된다. 이어서, 예상되는 지점에서, 단어나 사운드가 빠지며 제스처 음악 큐가 재생되어 환자가 누락된 단어나 사운드를 부르도록 한다. 보행 훈련과 마찬가지로, 분석 시스템(108)은 환자의 응답을 평가하고 피치의 정확도, 발성되는 단어 및 환자 또는 보조자/치료사에 의한 순위로 응답을 분류하고, 목표로 하는 스피치 파라미터로 스피치를 개선하기 위해 노래의 추가 부분을 재생하기 위한 지시를 제공한다.

도 22는 대근육 운동 훈련에 유용한 기술을 도시한다. 대근육 운동 훈련을 위하여, 본원에서 설명된 시스템 및 방법은 운동 실조(ataxia), 모션 범위 또는 개시를 돕도록 이루어진다. 더 어려운 연습 부분은 예컨대, 멜로디, 화성, 리듬 및/또는 포스 큐의 사용에 의해 음악적으로 "악센트(accent)"된다. 주요 입력은 연결된 하드웨어 또는 비디오 카메라 시스템을 통한 X, Y 및 Z 캡처의 운동과 연관된 정보이다. 적합한 모집단은 신경학, 정형외과, 근력, 지구력, 균형, 자세, 모션 범위, TBI, SCI, 뇌졸중 및 뇌성 마비가 있는 환자를 포함한다.

대근육 운동 훈련을 위한 도 22의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자에게는 음악 셀렉션의 기준 비트에 맞추어 이동하기 위한 큐가 제공된다. 분석 시스템(108)은 환자의 응답을 평가하고 위에서 논의한 바와 같이 모션의 정확도 및 동조로 응답을 분류하고, 재생되는 음악의 템포를 증가 또는 감소시키는 지시를 제공한다.

도 23은 그립 강도 훈련에 유용한 기술을 도시한다. 그립 강도 훈련을 위해, 본원에서 설명된 시스템 및 방법은 그리퍼 디바이스와 연관된 센서에 의존한다. 하드웨어는 압력 센서를 갖는 그리퍼 디바이스, 핸드헬드 디바이스(220)와 연관되고 연결된 스피커를 포함한다. 주요 입력은 센서(200)에 의해 측정된 발꿈치 충격 압력과 유사한 방식으로 환자에 의해 그리핑 디바이스에 제공되는 압력이다. 적합한 모집단은 신경학, 정형외과, 근력, 지구력, 균형, 자세, 모션 범위, TBI, SCI, 뇌졸중 및 뇌성 마비가 있는 환자를 포함한다.

그립 강도 훈련을 위한 도 23의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자에게는 음악 셀렉션의 기준 비트에 맞추어 그리핑 디바이스에 힘을 가하기 위한 큐가 제공된다. 분석 시스템(108)은 환자의 응답을 평가하고 위에서 논의한 바와 같이 모션의 정확도 및 동조로 응답을 분류하고, 재생되는 음악의 템포를 증가 또는 감소시키는 지시를 제공한다.

도 24는 스피치 큐잉 훈련에 유용한 기술을 도시한다. 스피치 큐잉 훈련을 위해, 본원에서 설명된 시스템 및 방법은 음성 프로세싱 알고리즘에 의존한다. 하드웨어는 환자에 의한 노래를 수신하고 프로세싱하기 위한 스피커를 포함할 수 있으며, 일부 실시예에서 치료사는 스피치 정확도에 관한 입력을 수동으로 제공할 수 있다. 주요 입력은 음성의 톤과 발성되는 단어 및 스피치의 리듬 및 음악 선호이다. 적합한 모집단은 로봇, 단어 찾기 및 말더듬 문제가 있는 환자를 포함한다.

스피치 큐잉 훈련을 위한 도 24의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로 음악 셀렉션의 각각의 비트에 맞추어 한 음절을 말함으로써 문장을 말하도록 큐를 제공받는다. 분석 시스템(108)은 환자의 스피치를 평가하고 위에서 논의한 바와 같이 스피치의 정확도 및 동조로 응답을 분류하고, 재생되는 음악의 템포를 증가 또는 감소시키는 지시를 제공한다.

도 25는 최소 의식 환자의 훈련에 유용한 기술을 도시한다. 본원에서 설명된 시스템 및 방법은 환자의 눈이 떠져 있는지의 여부, 환자가 보고 있는 방향, 및 결과로 생기는 환자 맥박 또는 심박수를 측정하기 위해 3차원 카메라와 같은 이미징 시스템에 의존한다. 프로그램은 심박수, 자극, 호흡률, 눈 감기, 자세 및 불안을 검색하고 최적화한다. 적절한 모집단은 혼수 상태 및 의식 장애가 있는 환자를 포함한다.

최소 의식 환자 훈련을 위한 도 25의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자는 환자의 호흡률(PBR)에서 증가하는 자극을 제공받는다. 예컨대, 환자에게 먼저 PBR의 음악 코드에서 자극이 제공되고 환자의 눈이 떠지는지 관찰한다. 환자의 눈이 떠지지 않으면, PBR에서 간단한 멜로디를 흥얼거리는 것에서부터, PBR에서 "아아(aah)"를 노래하기, PBR에서 환자의 이름을 노래하기(또는 그러한 사운드의 레코딩을 재생하기)로, 자극을 순차적으로 증가시키며, 각각의 입력에서 환자의 눈이 떠지는지 여부를 확인한다. 분석 시스템(108)은 환자의 안구 추적을 평가하고 의식 레벨에 따라 응답을 분류하고 자극을 변화시키기 위한 지시를 제공한다.

도 26 내지 도 28은 주의력 훈련에 유용한 기술을 설명한다. 주의력 훈련을 위해, 본원에서 설명된 시스템 및 방법은 환자가 관심을 유지, 분할, 대체 및 선택하는 것을 돕기 위해 폐루프 방식으로 동작한다. 어떤 움직임을 행할지 시그널링하는 시각적 큐는 허용되지 않는다. 적합한 모집단은 뇌종양, 다발성 경화증, 파킨슨 병, 신경 질환 및 상해를 가진 환자를 포함한다.

주의력 훈련을 위한 도 26의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 보행 훈련과 마찬가지로, 환자에게 악기(예컨대, 드럼스틱, 드럼, 키보드 또는 각각의 무선 연결된 버전과 같은 임의의 악기를 사용할 수 있다)가 제공되고, 환자는 디스플레이(222) 상에 나타나는 큐 또는 치료사에 의해 구두로, 도 26에 나타난 바와 같이 레벨 1 내지 레벨 9에 의해 정의된 오디오 큐를 따르거나 작업을 수행하도록 지시된다. 분석 시스템(108)은 작업을 정확하게 완료하는 환자의 능력을 평가하고 응답을 분류하여 작업의 템포 또는 난이도를 변화시킨다. 유사하게, 도 27은 왼쪽 귀 및 오른쪽 귀 사이에서 교대하는 오디오 큐를 따르거나 작업을 수행하도록, 디스플레이(222) 상에 나타나는 큐에 의해 또는 치료사에 의해 구두로 지시가 제공되는 교대 주의력 훈련을 위한 흐름도를 도시한다. 도 28은 왼쪽 귀와 오른쪽 귀 둘 다에서 오디오 신호들을 갖는 오디오 큐를 따르거나 작업을 수행하도록 지시가 제공되는 분할된 주의력에 대한 흐름도를 도시한다.

손놀림 훈련을 위한 도 29의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 손놀림 훈련을 위해, 기준 움직임 및 모션 범위 정보를 수집하기 위해 환자는 피아노 건반을 손가락으로 두드리도록 지시된다. 노래는 특정한 분당 비트로 시작되고, 환자는 기준 손가락 수로 두드리기 시작한다. 분석 시스템(108)은 작업을 정확하게 완료하는 환자의 능력을 평가하고 응답을 분류하여 작업의 템포 또는 난이도를 변화시킨다.

구강 운동 훈련을 위한 도 30의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 구강 운동 훈련을 위해, 환자는 예컨대, "오오" 및 "아아"와 같은 두 사운드를 번갈아 수행하도록 지시를 받는다. 분석 시스템(108)은 정확하게 과제를 완료할 수 있는 환자의 능력을 평가하고 응답을 분류하여 템포 또는 작업의 난이도를, 예컨대, 다른 목표 사운드를 제공함으로써 변화시킨다.

호흡 훈련을 위한 도 31의 흐름도는 보행 훈련을 위한 도 18에 도시된 흐름도와 실질적으로 동일하며, 여기서는 차이점만이 언급된다. 호흡 훈련을 위해, 기준 호흡률과 호흡의 얕음이 결정된다. 음악은 환자의 호흡률에서 기준 템포로 제공되고, 환자는 도 31에 기술된 레벨에서 호흡 작업을 수행하도록 지시된다. 분석 시스템(108)은 정확하게 작업을 완료할 수 있는 환자의 능력을 평가하고, 응답을 분류하여 템포 또는 작업의 난이도를, 예컨대, 다른 호흡 패턴을 제공함으로써 변화시킨다.

추가로, 운동 기능의 개선 또는 유지를 위한 차세대 의료 및 치료 시스템을 지원하기 위해 증강 현실(AR) 및 증강 오디오(AA)를 사용하기 위한 방법, 시스템 및 장치가 본원에서 설명된다. 본원에서 개시된 증강된 신경학적 재활, 회복 또는 유지("ANR") 시스템 및 방법의 예시적인 실시예는 치료 이점에 관한 결정을 내리고 폐루프 치료 알고리즘에 통지하기 위해 부가적인 센서 스트림들을 활용함으로써 동조 기술을 기반으로 한다. ANR 시스템 및 방법의 실시예를 실현하기 위해 활용될 수 있는 신경학적 재활을 위한 예시적인 시스템 및 방법은 위의 그리고 동시계류중이고 공동으로 양수된, McCarthy 등의 "Systems and Methods for Neurologic Rehabilitation"에 대한 미국 특허 출원 번호 제16/569,388호에서 도시되고 설명되며, 이는 "Systems and Methods for Neurologic Rehabilitation"이라는 제목으로 2016년 4월 14일 출원된 미국 가특허 출원 번호 제62/322,504호에 기초하며 이에 대한 우선권을 주장하는, 2019년 10월 22일자로 발행된 "Systems and Methods for Neurologic Rehabilitation"라는 제목의 미국 특허 출원 번호 제10,448,888호의 연속이며, 이들은 이로써 본원에 그 개개의 전체 내용이 기술된 것처럼 인용에 의해 각각 본원에 포함된다.

하나 이상의 실시예에 따르면, ANR 시스템 및 방법은 클라우드 및 로컬 데이터베이스에 질의함으로써 이미지, 사람의 비디오 또는 이미지를 획득하는 것을 포함하는 특정 사람 또는 객체의 AR 3-D 동적 모델을 제공하기 위한 방법을 포함할 수 있다. ANR 시스템 및 방법은 또한 동적 모델, 환자 또는 인간, 오디오 콘텐츠 및 환경에 대한 컨텍스트를, 운동 기능을 개선하는 음악의 능력에 대한 신경 과학뿐만 아니라 시각적 이미저리가 회복에 어떻게 영향을 미칠 수 있는지에 대한 신경 과학(예컨대, 미러 뉴런들의 사용)을 이용하는 동기화된 상태로 융합 및/또는 동기화하도록 구성될 수 있다.

하나 이상의 실시예에 따르면, ANR 시스템 및 방법은 반복 모션 활동들에 대한 AA 기술을 결합하기 위한 방법을 포함한다. 증강 오디오(AA)는 실제 세계 사운드와 감각 입력을 향상시키는 부가적인 컴퓨터 생성 오디오 "계층"을 결합한다. 그 핵심에 있는 리듬의 신경과학은 자극을 사용하여 걷기와 같은 반복 모션 활동을 위해 운동 시스템을 사용한다. 치료 프로토콜에 AA를 추가하는 것은 치료 효과를 향상시키고 치료 프로토콜에 대한 순응도(adherence)를 증가시키며 환자에게 향상된 상황 인식의 형태로 더 큰 안전성을 제공한다. AA를 추가하도록 구성된 개시된 실시예는 외부 환경 사운드 입력, 레코딩된 콘텐츠, 리듬 콘텐츠 및 음성 안내를 포함하는 다수의 오디오 신호들을 음악의 신경과학을 이용하는 동기화된 상태로 혼합할 수 있다. 부가적으로, 이는 운동 또는 신체 장애들을 갖는 환자들에 대해 [00218]에 자세히 설명된 기본 리듬 신호와 알고리즘적으로 생성된 음악을 결합하는 능력을 포함할 수 있다. 이는 이 생성 리듬을, 대화형 피드백 상태로의 환자의 실시간 바이오메트릭 데이터로부터의 입력과 융합함으로써 행해질 수 있다. 신경학적 재활과 관련하여 사용하기 위한 청각 자극을 알고리즘적으로 생성하기 위한 예시적인 시스템 및 방법은, 2017년 7월 24일에 출원된 미국 가출원 번호 제62/536,264호의 35 USC 119(e) 하에서 우선권의 이익을 주장하는, 2018년 7월 24일에 출원된 미국 특허 출원 번호 제16/044,240 ― 이는 현재 2020년 2월 11일에 "ENHANCING MUSIC FOR REPETITIVE MOTION ACTIVITIES"라는 제목으로 발행된 미국 특허 번호 제10,556,087호임 ― 의 연속인, 동시 계류 중이며 공동으로 양수된, 2020년 1월 15일에 "ENHNCING MUSIC FOR REPETITIVE MOTION ACTIVITIES"라는 제목으로 McCarthy 등에 의해 출원된 미국 특허 출원 번호 제16/743,946호에서 도시되고 설명되며, 이는 이로써 이들 각각의 전체 내용은 그 개개의 전문이 본원에 기술된 것처럼 본원에 통합된다.

신경가소성, 동조, 미러 뉴런의 과학은 개시된 실시예를 지원하는 근본적인 과학적 구성요소이다. 동조는 외부 리듬 자극에 대한 응답으로 뇌의 운동 센터의 활성화에 대한 용어이다. 연구들은, 청각-운동 통로들이 운동을 담당하는 뇌의 일부인 세망척수로(Reticulospinal tract)에 존재한다는 것을 보여주었다. 이러한 통로들을 통한 움직임의 프라이밍(priming) 및 타이밍은 움직임 패턴을 구동하기 위해 청각 시스템과 커플링되는 운동 시스템의 능력을 입증한다(Rossignol 및 Melville, 1976). 동조 프로세스는 효과적으로 걷기 속도를 증가시키고(Cha, 2014), 보행 변동성을 감소시키며(Wright, 2016), 낙상 위험을 낮추는 것(Trombetti, 2011)으로 나타났다. 신경가소성은 기존의 신경 연결을 강화하고 이에 따라 개인이 시간이 지남에 따라 새로운 기술을 습득하는 뇌의 능력을 지칭한다. 연구들은, 음악이 뇌의 특정 운동 영역의 변화를 용이하게 하며, 이는 음악이 신경가소성을 촉진할 수 있음을 입증하였다(Moore et al., 2017). 미러 뉴런은 당신이 액션을 수행할 때 및 동작을 수행하는 다른 사람을 관찰할 때 둘 모두에 발화한다(fire). 따라서 다른 사람이 액션을 수행하는 것을 당신이 볼 때, 당신의 뇌는 마치 당신이 그 동작을 하는 것처럼 응답한다. 이는 우리가 모방에 의해 행동을 학습하도록 허용한다. 이는 환자가 증강 현실 인간 시뮬레이션을 관찰할 때 미러 뉴런을 사용하여 자신의 액션을 모방할 수 있기 때문에 개시된 실시예의 컨텍스트에서 중요하다.

하나 이상의 실시예에 따르면, ANR 시스템 및 방법은 ANR 시스템에 대한 입력으로서 수신된 환자 또는 치료사 예외 조건에 대한 응답으로, 이미지/비디오로부터 지정된 크기보다 작거나 큰 사람/객체를 제거/추가하기 위해 이미지/비디오를 프로세싱하도록 구성된다. 이러한 예외는 장면 복잡성을 감소시키라는 명령, 장면 복잡성을 증가시키는 사람/객체가 될 수 있는 폐색을 도입하라는 위한 치료사 명령과 같은 환자 응답일 수 있다. 실시예는 세션 데이터 자체 외에 모든 환자 또는 치료사 예외 조건의 모든 데이터의 레코딩을 지원할 수 있다.

하나 이상의 실시예에 따르면, ANR 시스템 및 방법은 시스템을 사용하여 치료사와 원격으로 위치된 환자의 링킹(linking)을 허용하는 텔레프레즌스(telepresence) 방법을 포함한다. 텔레프레즌스 방법은 동일한 위치에 있을 때 환자 및 치료사에 의해 경험되는 모든 로컬 특징을 완전히 지원하는 것 외에도, 사람/객체의 AR 3-D 동적 모델에 대한 환자의 생체역학적 모션 추적을 포함한다.

AR 3-D 동적 모델은, 임상 또는 훈련 목표를 향한 결과를 용이하게 하기 위해 신경가소성, 동조 및 미러 뉴런의 과학의 기본 원리에 기초하여 애니메이팅된 AR/VR 시각적 장면을 생성하여 환자에게 제시하기 위한 ANR 시스템 및 방법의 소프트웨어 기반 알고리즘 프로세스이다. 텔레프레즌스 방법은 본 발명을 사용하여 치료사와 원격으로 위치된 환자 사이의 대화형 비디오 링크를 동작시키는 능력을 제공하도록 구성된다. 텔레프레즌스 방법은 AR 3-D 동적 모델에서 환자의 상대적 포지션을 표시하기 위해 본 발명에 따라 원격으로 위치된 환자로부터 이미지/비디오를 투사하는 것을 지원한다. 텔레프레즌스 방법은 또한 치료사가 AR 모델을 실시간으로 조정하고(공간적 위치 또는 어느 항목이 사용 가능한지) 세션에 대한 수정을 허용하는 능력을 제공할 수 있다. 텔레프레즌스 방법은 또한 치료사가 모델에 대해 환자를 보도록 허용할 것이다.

도 32는 임상 또는 훈련 목표를 향한 결과를 용이하게 하기 위해 사람을 측정, 분석하고 사람에 대해 작용하는 폐루프 피드백을 사용하는 예시적인 ANR 시스템(3200)의 주요 구성요소의 개념적 개요를 도시한다. ANR 시스템(3200)은 위에서 설명된 시스템(100)의 다양한 하드웨어 및/또는 소프트웨어 구성요소를 사용하여 실현될 수 있다는 것이 이해되어야 한다. 도시된 바와 같이, ANR 시스템은 보행 파라미터, 환경, 컨텍스트/사용자 의도(과거 성과 포함), 생리학적 파라미터 및 결과에 대한 실시간 피드백(예컨대, 폐루프, 실시간 의사 결정)과 관련된 입력을 측정하거나 수신한다. 이러한 입력 중 하나 또는 조합은 이 정보를 분석하고 이 정보에 따라 동작하는 것을 제어하는 임상적 사고 알고리즘 모듈(CTA)(3208)로 지향될 수 있다. 일부 실시예에서, 실시간 피드백의 예는 사용자의 측정된 보행 메트릭(예컨대, 대칭성, 안정성 및 보행 사이클 시간 변동) 품질이 모델링된 안전 임계치를 초과하고 이에 따라 새로운 큐잉 응답을 트리거한다는 CTA(3208)에 의한 결정일 수 있다. 예컨대, 이러한 큐잉 응답은 예컨대, 메트로놈 오디오 계층(metronome audio layer)을 추가하고 AR 풍경을 수정하여 사용자를 더 안전한 보행 속도 및 움직임 행동으로 모델링하거나 지시함으로써 음악의 비트 돌출성(beat salience)을 증기시키도록 시각적 및 오디오 둘 모두이다.

CTA 모듈(3208)에서, ANR 시스템에 의해 수행되는 액션은 입력의 분석에 기초하여 정의된다. 액션은 음악(또는 다른 구성요소), 리듬, 사운드의 소니피케이션(sonification), 발성된 단어, 증강 현실, 가상 현실, 증강 오디오 또는 촉각 피드백을 포함하는 다양한 유형의 자극 형태로 환자에게 출력될 수 있다. 도 32에 도시된 바와 같이, 다양한 입력, 결과 등과 관련된 비판적 사고 알고리즘에 의해 내려진 결정은 환자에 대한 출력을 동적으로 생성/수정하도록 프로그래밍된 AR/AA 출력 모델링 모듈(3210)에 제공된다. 출력은 시각적 및/또는 오디오 출력 디바이스 및/또는 촉각 피드백 디바이스와 같은 하나 이상의 출력 디바이스(3220)를 통해 환자에게 제공된다. 예컨대, AR 시각적 콘텐츠는 환자에 의해 착용되는 AR 안경(3222)으로 출력될 수 있다. 증강 오디오 콘텐츠는 오디오 스피커 또는 헤드폰(3225)을 통해 환자에 제공될 수 있다. 이해되는 바와 같이, 개시된 실시예의 범위로부터 벗어남 없이 다른 적합한 시각적 또는 오디오 디스플레이 디바이스가 사용될 수 있다. 부가적으로, 시스템의 다양한 요소가 도 32에서 별개로 도시되지만, 시스템의 다양한 양상의 특징 및 기능이 결합될 수 있다는 것이 이해되어야 한다.

이 의료/치료 시스템의 임상적 사고 알고리즘 모듈(3208)은 상지(upper extremity), 하지(lower extremity), 동요, 자세 안정성, 발 처짐(foot drop), 동적 안정성, 숨쉬기, 입 움직임, 호흡, 지구력, 심박수 훈련, 숨쉬기 빈도, 시각적 흐름(optical flow), 경계 지원 훈련, 전략 훈련(발목, 무릎 및 엉덩이), 어트랙터 커플링(attractor coupling), 근육 발화, 훈련 최적화 및 보행을 포함하여, 운동 기능의 회복, 유지 또는 향상에 초점을 맞춘 비판적 사고 알고리즘을 구현하도록 구성할 수 있다. 이러한 CTA 중 하나 이상은 또한 유사한 목표를 공유하는 다른 개입과 동기식으로 또는 조합하여 구현될 수 있다. 예들은 기능적 전기 자극, 심부 뇌 자극, 경피 전기 신경 자극(TENS), 감마 주파수 오디오 동조(20-50Hz) 또는 다른 전기 자극 시스템과 조합하여 CTA를 구현하는 것을 포함할 수 있다. 부가적으로, CTA의 투여 및 동작들은 항경직 약물 또는 신경독 주입과 조합한 투여와 결합될 수 있다. 예컨대, CTA는 이러한 개입이 운동 시스템을 프라이밍하는 방편으로서 해당 지점에 도달하기 전에 사용되도록 또는 그의 피크 효과에 있는 시간 윈도우 동안 적용하거나 시작할 수 있다.

ANR 시스템 입력

ANR 시스템(3200)에 대한 입력은 시스템이 임상 또는 훈련 목표를 향한 결과를 용이하게 하는 연속 루프에서 측정, 분석 및 동작하는 것을 가능하게 하는 데 중요하다.

시스템에서 입력을 수신하는 것은 센서를 통해 사람의 움직임을 측정하여 움직임의 생체역학적 파라미터(예컨대, 시간적, 공간적 및 좌/우 비교)를 결정하는 것을 포함할 수 있다. 이러한 모션 센서는 신체 상의 어느 곳에나 배치될 수 있으며 단일 센서 또는 센서의 어레이일 수 있다. 다른 유형의 센서가 다른 입력 파라미터를 측정하는 데 사용될 수 있으며, 이는 호흡률, 심박수, 산소 레벨, 온도, 뇌의 자발적인 전기 활동의 레코딩을 위한 뇌전도(EEG), 심장의 전기적 활동을 측정하기 위한 심전도(ECG 또는 EKG), 골격근에 의해 생성된 전기적 활동을 평가 및 레코딩하기 위한 근전도(EMG), 종종 피부의 광 흡수의 변화를 측정하는 펄스 옥시미터, 광학, 관성 측정 유닛, 비디오 카메라, 마이크로폰, 가속도계, 자이로스코프, 적외선, 초음파, 레이더, RF 모션 검출, GPS, 기압계, RFID의 레이더, 습도 또는 생리학적 또는 생체역학적 파라미터를 검출하는 다른 센서를 사용하여 조직의 미세혈관 베드(microvascular bed)에서 혈액 볼륨 변화를 검출하기 위한 광용적맥파도(PPG)를 포함할 수 있다. 예컨대, 도 32에 도시된 예시적인 ANR 시스템(3200)에서, 보행 파라미터는 IMU, 풋패드 센서, 스마트폰 센서(예컨대, 가속도계) 및 환경 센서와 같은 하나 이상의 센서(3252)를 사용하여 측정될 수 있다. 또한, 생리학적 파라미터는 PPG, EMG/EKG 및 호흡률 센서와 같은 하나 이상의 센서(3254)를 사용하여 측정될 수 있다.

부가적으로, 원하는 결과, 사용 환경, 과거 세션으로부터의 데이터, 다른 기술 및 다른 환경 조건에 대한 컨텍스트 정보가 CTA 모듈에 대한 입력으로서 수신되고 CTA의 응답을 조정할 수 있다. 예컨대, 도 32에 도시된 바와 같이, 컨텍스트 정보(3258) 및 환경 입력(3256) 정보는 CTA(3208)의 동작을 추가로 알리는 입력으로서 수신될 수 있다. 컨텍스트 정보를 사용하는 예로는 사용자의 보행 패턴에 대한 과거로부터의 정보가 인공 지능(AI) 또는 기계 학습(ML) 시스템과 조합하여 사용되어 환자에 대한 보다 개인화된 임상 목표 및 액션을 제공할 수 있다는 점이다. 이러한 목표는 분당 걸음 수에 관한 제한, 걷기 속도, 심박수 변동성, 산소 소비(VO2 최대), 호흡률, 세션 길이, 비대칭성, 가변성, 걸은 거리 또는 원하는 심박수와 같은 타겟 파라미터들을 수정할 수 있다.

부가적으로, 환경 정보는 블루투스 저 에너지(Bluetooth Low Energy; BLE) 비콘 또는 무선 삼각 측량 또는 도달 각도와 같은 다른 무선 근접 기술을 사용하여 검출되어 검출된 위치에 의존하여 AR 3-D 동적 모델과 관련하여 환자의 시야에 사람/객체가 나타나거나 사라지게 하는 무선 위치 트리거를 용이하게 한다. 일부 실시예에서, ANR 시스템에 의해 출력되는 AR 3-D 동적 모델은 환자에 대한 내비게이션 요건을 변경하거나 유지하도록 치료사 및/또는 비컨 트리거에 의해 제어될 수 있다. 이러한 트리거는 무선 비콘 트리거 외에 부가적인 트리거를 제공하기 위해 위에서 설명된 바와 같은 또는 생리학적 데이터와 함께 사용될 수 있다. 예컨대, IMU 제품으로부터의 보행 데이터 피드백은 AR 3-D 동적 모델 소프트웨어 프로세스에 변화를 가져오는 능력을 제공하는 보행 피드백 루프를 허용한다.

임상적 사고 알고리즘

하나 이상의 실시예에 따르면, CTA 모듈(3208)은 임상 또는 훈련 목표를 향한 결과를 용이하게 하기 위해 적용된 치료를 제어하도록 구성된 임상적 사고 알고리즘을 구현한다. 임상 목표는 도 18 내지 도 31과 관련하여 논의된 것과 같은 항목, 및 추가 예로서, 알츠하이머병, 치매, 양극성 장애 및 정신분열증에서의 동요(agitation)에 대한 개입 및 훈련/신체 활동 목표를 포함할 수 있다. 이 섹션은 예컨대, 리드미컬한 템포 및 동기화된 AR 시각적 풍경을 변조하는 CTA에 의해 결정된 바와 같은 적절한 재활 응답을 전달하는 데 사용할 수 있는 상이한 비제한적 예시 기술에 대해 논의한다. 이러한 기술 각각은 자립형 CTA를 사용하여 구현하거나 서로 결합될 수 있다. 하나 이상의 실시예에서, 시스템(3200)은 CTA(들)를 반복적 모션 활동들을 위한 동조 원리와 결합하도록 구성될 수 있고, 다른 경우에 이들은 다른 목표를 향해 서로 결합될 수 있다.

예로서 그리고 제한 없이, ANR 시스템(3200)의 CTA 모듈(3208)은 AR/AA 출력 인터페이스를 통해 가상 트레드밀 출력을 생성하기 위해 생체역학적, 생리학적 데이터 및 컨텍스트의 조합을 활용하도록 구성될 수 있다. 트레드밀이 물리적 벨트의 움직임으로 누군가에 대한 페이스를 맞추는 동안, 가상 트레드밀은 다른 움직임 개입과 유사하게, 프리-스탠딩 방식(free-standing manner)으로 사람의 걷기 또는 움직임 페이스를 변조하기 위해 동조 원칙에 따라 CTA를 사용하여 동적으로 조정된다. 이전에 논의된 바와 같은 생체역학적 목표를 향해 개인을 유도하기 위해 리드미컬한 자극을 사용하는 것 외에 또는 그 대신에 가상 트레드밀은 타겟 파라미터로서 위에 나열된 것과 같은 타겟 파라미터를 향한 환자의 동조에 기초하여 생성되고 동적으로 제어될 수 있다.

타겟 파라미터는 임상적으로 의미 있는 지점을 향해 또는 임상의, 사용자, 과거 데이터, 기본 조건으로부터의 입력에 기초하여 세팅될 수 있다. 부가적으로, 타겟 파라미터는 심장병, 천식, COPD, 낙상 예방, 근골격계 조건, 골관절염 및 일반적인 노화와 같은 특정 조건 특유의 운동 길이, 지속기간 및 강도에 대한 권고에 의해 세팅되거나 이를 따를 수 있다.

CTA 모듈(3208)이 AR 및 AA 출력 인터페이스(3220)를 통해 가상 트레드밀 및 리드미컬한 청각 자극 출력의 형태로 보행 훈련 치료를 제공하기 위해 생체역학 데이터, 생리학적 데이터 및 컨텍스트를 활용하도록 구성되는 ANR 시스템(3200)의 예시적인 실시예가 본원에서 추가로 설명된다.

도 37은 ANR 시스템(3200)을 사용하여 환자에게 보행 훈련 치료를 제공하기 위한 예시적인 루틴(3750)을 나타내는 프로세스 흐름도이다. 도 38은 개시된 주제의 예시적인 실시예에 따라 보행 훈련 루틴(3750)을 구현하기 위해 ANR 시스템(3200)의 양상들을 개념적으로 예시하는 하이브리드 시스템 및 프로세스 도면이다. 도시된 바와 같이, 센서(3252), 특히 발 장착 IMU는 CTA 모듈(3208)에 제공되는 보행 파라미터에 관한 센서 데이터를 캡처한다. 부가적으로, 오디오 엔진을 포함하는 AA/AR 모델링 구성요소(3210)는 CTA로부터 입력을 수신하고 리듬미컬한 음악 및 큐잉 콘텐츠, 대화형 음성 안내 및 공간 및 오디오 효과 프로세싱 중 하나 이상을 포함하는 오디오 큐잉 앙상블을 생성하도록 구성된다. 마찬가지로, AR/VR 모델링 엔진(AR 3-D 동적 모델로서 또한 지칭됨)을 포함하는 AA/AR 모델링 구성요소(3210)는 CTA로부터 입력을 수신하는 것으로 도시되고 가상 AR 액터 및 객체(예컨대, 걷는 가상 사람), 배경 모션 애니메이션(예컨대, 가상 트레드밀, 걸음/발자국 및 애니메이션) 및 장면 조명 및 음영 중 하나 이상을 포함하는 시각적 큐잉 앙상블을 생성하도록 구성된다.

도 39는 예시적인 오디오 출력 디바이스(3225) 및 ANR 시스템(3200)의 증강 오디오 생성 구성요소를 더 상세히 개념적으로 예시하는 하이브리드 시스템 및 프로세스 도면이다. 도 39에 도시된 바와 같이, 일 실시예에서, AA 디바이스는 예컨대, 스테레오 마이크로폰을 사용하여 환경 사운드를 캡처할 수 있다. AA 디바이스는 또한 스테레오 트랜스듀서를 사용하여 오디오 출력을 생성할 수 있다. AA 디바이스는 또한 머리-장착 IMU를 포함할 수 있다. 이해될 바와 같이, AA 디바이스는 또한, 단독으로 또는 환경 사운드와 같은 다른 콘텐츠와 조합하여 AA/AR 모듈(3210)로부터 수신된 증강 오디오 콘텐츠를 수신, 프로세싱 및 출력하기 위한 오디오 신호 프로세싱 하드웨어 및 소프트웨어 구성요소를 포함할 수 있다. 도시된 바와 같이, CTA 모듈(3208)은 발 장착 IMU 및 머리 장착 IMU를 포함하는 센서로부터 수신된 파라미터를 포함하는 보행 파라미터를 수신한다. 부가적으로, 실시예에서, CTA는 PPG 센서와 같은 다른 센서 디바이스로부터 생리학적 파라미터에 관한 데이터를 수신한다.

이제 도 37로 돌아가서, 단계(3700)에서, AR/AA 출력 디바이스(3220) 및 IMU 센서(3252)를 착용한 환자는 ANR 시스템(3200)이 보폭 길이(stride length), 속도, 보행 사이클 시간 및 대칭과 같은 예비 보행 데이터를 교정 및 수집하는 동안 걷기 시작한다. 단계(3701)에서, CTA 모듈(3208)은 디스플레이될 음악 재생 및 가상 AR 장면 둘 모두에 대한 기본 리드미컬한 템포를 결정한다. 예컨대, 기본 리드미컬한 템포는 도 18과 관련하여 설명된 바와 같이 CTA에 의해 결정될 수 있다.

사용자의 보행 사이클 시간을 입력으로 하여, 단계(3702)에서, 오디오 엔진(즉, AR/AA 모델링 모듈(3210)의 오디오 모델링 구성요소)은 메트로놈 사운드와 같은 임의의 보충적 리드미컬한 큐잉과 함께 대응하는 템포 조정된 음악을 생성하여 비트 돌출성을 강화한다.

단계(3703)에서, 시각적 AR 엔진(즉, AR/AA 모델링 모듈(3210)의 시각적 모델링 구성요소)은 비디오 게임 산업에서 이해되는 것과 같은 움직이는 가상 장면을 생성할 것이다. 보다 구체적으로, 실시예에서, 가상 장면은 시각적 장면의 요소를 음악 및 리듬 템포에 동기화하기 위해 CTA의 제어 하에 제시되고 오디오 엔진과 공통 타이밍 기준을 공유하는 시각적 요소를 포함한다. 본원에서 설명된 AR 장면은 가상 트레드밀 또는 가상 사람 및 발걸음을 포함하지만, AR 장면은 가상 트레드밀, 걷는 가상 사람, 가상 군중 또는 동적 가상 장면과 같이 본원에서 논의된 다양한 예들 중 임의의 하나 이상일 수 있다.

단계(3704 및 3705)에서, 이어폰(3225)을 갖는 경량 헤드업 디스플레이(예컨대, AR 고글(3222))와 같은 AR/AA 디바이스(3220)를 사용하여 음악/리듬 및 시각적 콘텐츠가 환자에게 전달된다. CTA의 제어 하에, 환자는 오디오 엔진에 의해 생성된 보이스오버 큐(voiceover cue)를 통해 치료에 관하여 단계(3706 및 3707)에서 명령을 수신한다. 이는 환자가 시각적 풍경 및 오디오 경험에 익숙해지고 연습하기 위해 사전 걷기 훈련 미리보기를 포함할 수 있다.

도 40은 환자가 동조하도록 제시된 예시적인 AR 가상 장면(4010)을 도시한다. 도시된 바와 같이, 장면은 환자 "앞에서" 걷고 있고 그의 걸음 및 걷는 모션이 음악 템포에 동기화되는 다른 사람의 애니메이팅된 3-D 이미지를 포함할 수 있다. 보다 구체적으로, 실시예에서, AR 액터는 CTA 및 오디오 엔진에 의해 생성된 오디오 콘텐츠의 기본 비트 템포와 동일한 템포로 걷는다. 이 예에서, 환자 목표는 오디오와 리드미컬하게 그리고 액터와 시각적으로 자신의 걸음을 매칭시키는 것일 수 있다. 부가적으로, 도 40에 도시된 바와 같이, AR 장면은 왼발 및 오른발을 나타내는 L 및 R과 같은 부가적인 큐를 갖는 복수의 발걸음을 포함할 수 있다.

발걸음을 포함하는 장면은 규정된 레이트로 환자를 향해 가상으로 움직일 수 있는 반면, 가상 액터는 환자로부터 멀어지는 방향으로 환자 앞에서 걷고 있다. 실시예에서, 장면은 보행 사이클 시간에 따라 움직일 수 있으며, 여기서 {GCT(오른발)/2*60 = CTA에 의해 정의된 음악 템포}이다. 또한, AR 장면과 관련하여 생성된 부가적인 큐는 시각적 큐를 강화하는 리드미컬한 오디오 큐를 포함할 수 있다. 예컨대, 하나의 효과적인 강화 방법은 공통 비트에 대한 그룹 행진을 시뮬레이팅하도록 리듬과 동기식으로 가상 액터의 발소리(footfall)의 사운드를 생성하는 AA 시스템(3210)을 포함할 수 있다. 시각적 요소의 모션을 리드미컬한 오디오 자극과 타이밍을 맞추는 것 외에도 시각적 자극에 기초하여 생성된 리드미컬한 오디오 구성요소를 환자에게 제공함으로써, 시스템은 동조 및 미러 뉴런의 기본 치료 개념 간의 선순환을 추가로 강화한다.

추가 예로서, 도 41은 환자가 동조하도록 제시된 예시적인 AR 가상 장면(4110)을 도시한다. 도 41에 도시된 바와 같이, 가상 트레드밀은 타겟 파라미터로서 위에 나열된 것과 같은 타겟 파라미터를 향한 환자의 동조에 기초하여 생성되고 동적으로 제어될 수 있다. 이 예에서, 생성된 AR 트레드밀은 트레드밀 표면(4115)의 움직임을 애니메이팅하고 청각 자극에 대해 CTA에 의해 정의된 것과 동일한 템포로 가상 걸음을 생성한다. 부가적으로, 가상 트레드밀의 3D 애니메이션은 CTA의 제어하에 생성된 리듬에 동조하는 동시에, 환자가 시각적 목표로서 사용할 수 있는 시각적으로 강조된 걸음 또는 타일(tile)을 포함할 수 있다. 따라서, 이 예에서, 환자의 목표는 오디오와 리드미컬하게 그리고 애니메이팅된 목표 걸음과 시각적으로 자신의 걸음을 매칭시키는 것이다. 도 41에 추가로 도시된 바와 같이, 애니메이팅된 발걸음(4120)은 방향 화살표로 예시된 환자를 향하는 방향으로 이동하는 가상 트레드밀(4115)의 표면 상에 보여질 수 있으며, 이는 환자가 뒤로 걷기 훈련 연습을 수행하는 경우 반전될 수 있다. 부가적으로, 목표 스텝(4125L(왼발 걸음) 및/또는 4125R(오른발 걸음))을 강조하는 애니메이션은 각각 CTA의 리듬과 동기식으로 강조되어 사용자가 대응하는 발(예컨대, 왼쪽 또는 오른쪽)로 발걸음을 밟도록 조장한다. 부가적으로, 본원에서 추가로 설명된 바와 같이, 도 40 및 도 41에 도시된 것과 같은 가상 장면은 환자의 동조 포텐셜(EP) 및 오디오 자극에 대한 대응하는 변화에 따라 동적으로 조정될 수 있다. 가상 장면에 대한 다른 조정은 상이한 걷기 시나리오, 날씨, 표면, 조명 및 경사를 시뮬레이팅하도록 가상 배경 환경을 변경하는 것을 포함할 수 있다.

이제 도 37로 돌아가서, 환자가 걷기 시작하면, 단계(3708)에서, 생체역학적 센서(예컨대, 센서(3252))는 환자의 동조 레벨을 평가하는 데 사용하기 위해 실시간 데이터를 측정한다. 단계(3709)에서, (예컨대, 도 18에 설명된 바와 같은) 동조 포텐셜은 CTA 모듈(3208)에 의해 결정되고 훈련 세션 목표가 어떻게 충족되는지를 결정하는 데 사용된다. 본 개시내용의 이전 실시예에서 논의된 바와 같이, 동조 포텐셜은 리드미컬한 오디오 자극 및 시각적 풍경을 수정 ― 이는 단계(3710)에서 발생함 ― 하기 위한 기초가 될 수 있다. 예컨대, CTA는 오디오 디바이스에 의해 환자에게 전달되는 비트의 리드미컬한 간격과 비교하여 환자의 보행 사이클 시간의 인입 데이터 히스토리를 분석한다. 동조 포텐셜에 기초하여 오디오 자극을 수정하기 위한 예시적인 접근법이 유사하게 위에서 설명된다. 일 예에서, 시간 기간에 걸쳐 환자의 걸음에 대해 계산된 EP 값이 수락 가능한 EP 값들의 규정된 범위 내에 있지 않고 그리고/또는 충분히 일관되지 않는 경우, CTA 모듈은 RAS의 템포를 조정(예컨대, 감소)하고 RAS와 동기식으로 AR 장면의 모션 속도를 대응하게 조정하도록 AA/AR 모델링 모듈에 지시할 수 있다. 추가 예에서, 충분한 걸음 시간이 비트 시간과 동위상인 경우, 환자는 CTA에 의해 동조되는 것으로 간주된다.

동조되면, 단계(3711)에서, CTA는 환자가 목표에 도달했는지를 평가한다. 목표가 도달되지 않은 경우, 단계(3712)에서, 하나 이상의 타겟 파라미터들이 조정될 수 있다. 예컨대, 일 예에서, CTA는 리드미컬한 템포 및/또는 배경 모션 속도가 비교를 고려하여 변경되기 전에 RAS 템포 및 연관된 AR 장면 속도를 타겟 템포 파라미터(예컨대, 훈련/치료 목표)와 비교한다. 동조 포텐셜에 따라 리드미컬한 청각 자극을 조정하기 위해 CTA 모듈(3208)이 구현할 수 있는 예시적인 방법이 예컨대, 도 18과 관련하여 위에 도시 및 설명된다.

예컨대, 환자가 그의 훈련 속도 목표에 도달하지 않은 경우, 타겟 파라미터를 수정하는 것은 단계(3712)에서 음악 템포를 증가시키거나 감소시키는 것을 포함할 수 있다. 이는 액션의 RAS 메커니즘을 사용하여 환자가 더 빨리 또는 더 느리게 걷도록 유도할 것이다. 대안적으로, 다른 트레이닝 목표는 환자의 보폭 길이를 늘리는 것일 수 있으며, 이는 이미저리의 모션 속도 파라미터를 느리게 함으로써 달성될 수 있다. 시각적 풍경을 수정함으로써, 환자는 액션의 미러링 메커니즘을 사용하여 그들에게 제시된 시각적 예를 모델링하도록 유도될 것이다.

오디오 및 시각적 출력들이 자극들을 상호 강화한다는 것을 이해하는 것이 중요하고; 시각적 풍경은 리드미컬한 자극과 동기식으로 함께 레이어링된다. 선택된 프로그램(예컨대, CTA)에 의존하여, CTA 모듈(3208)은 치료 목표를 충족시키기 위해 시각적 풍경 및 리드미컬한 템포에 동적 조정들을 행한다.

위의 예는 CTA 모듈(3208)을 사용하는 ANR 시스템(3200)이 보행 훈련을 촉진하기 위해 생체역학적 센서 입력에 기초하여 음악 템포 및 AR 풍경의 동기화를 제어할 수 있는 방법을 나타낸다. 이 실시예의 원리는 다수의 질병 징후 및 재활 시나리오들에 적용 가능하다는 것이 이해되어야 한다.

예시적인 구성에서, 가상 트레드밀은 산소 소비의 타겟 파라미터를 향한 환자의 걷기를 변조하기 위해 ANR 시스템(3200)에 의해 생성될 수 있다. 이 예에서, 가상 트레드밀은 동조를 사용하여 산소 소비 또는 효율 타겟 파라미터를 향해 걷는 속도를 변조하기 위해 생성되고 제어된다. 도 33은 타겟 파라미터로서 V02 max, 중간 목표로서 사용된 템포 변화들, 및 v02 max와 관련된 생리학적 변화들을 유도하기 위해 사용된 동조를 갖는 ANR 시스템(3200)을 사용하여 수행된 실시간 세션의 그래픽 시각화이다. 도 33은 이 프로세스가 실시간으로 작동하는 방법의 예를 도시한다. 보다 구체적으로, 도 33은 세션 동안 실시간으로 ANR 시스템에 의해 측정, 계산 및/또는 조정되는 다양한 두드러진 데이터-포인트들 및 파라미터 값들을 나타내는 그래픽 사용자 인터페이스이다. 도시된 바와 같이, 인터페이스 상단에는 세션 전반에 걸쳐 실시간으로 각각의 걸음에 대해 계산된 동조 포텐셜 값들의 차트를 도시한다. 특히, 상단 바는 걸음 당 계산된 개별 EP를 도시하며, 이는 이 예에서 걸음 시간 간격과 비트 시간 간격 사이의 위상 상관 관계(phase correlation)이다. EP=1 부근의 중앙 존은 비트에 충분히 동조된 걸음들, 즉 규정된 범위 내의 EP 값을 갖는 걸음을 나타낸다. 다음 윈도우는 파라미터가 안전한 범위 내에 있는지를 보여주는 상태 바를 제공한다. 아래의 다음 윈도우는 특히, 측정된 파라미터, 동조 및 CTA에 대한 위에서 언급된 다른 입력 및 피드백에 기초하여 CTA에 의해 유도되는 실시간 응답이 도시한다. 특히, 원 아이콘은 템포 변화 및 리드미컬한 자극 레벨(예컨대, 볼륨) 변화 둘 모두를 포함하는 알고리즘 응답들을 나타낸다. 아래 막대는 그 자체로 템포 및 템포 변화들만을 보여준다. 아래의 다음 윈도우는 CTA 응답에 따라 시간에 걸쳐 환자에게 제공되는 리드미컬한 자극의 실시간 템포를 도시한다. 하단 윈도우는 시간에 걸쳐 측정된 산소 소비 및 타겟 파라미터를 도시한다. 도 33에 도시되지는 않았지만, 환자에게는 리드미컬한 자극에 동기식으로 애니메이팅되고 리드미컬한 자극의 실시간 템포에 대한 조정들과 동기식으로 조정되는 시각적 요소를 갖는 증강 현실 장면(예컨대, 가상 트레드밀)이 제시될 수 있다는 것이 이해되어야 한다. 시각적 애니메이션 속도 및 오디오를 동기화하도록 AA/VR 모듈(3210)이 구성될 수 있는 방법의 예는 디스플레이된 반복 모션 레이트와 오디오 큐의 템포 사이의 관계를 정의하는 것을 포함할 수 있다. 예컨대, 비트 템포에 기초하여, 트레드밀의 레이트 및 걸음의 간격이 계산되어 오디오와 시각적 요소 간의 관계를 정의한다. 또한, 트레드밀의 기준 포지션, 발걸음의 타이밍 및 임의의 비트-타이밍 애니메이션이 비트 템포를 포함하는 비트의 출력 시간과 동기화된다. 애니메이션 산업에 알려진 시간 스케일링 및 비디오 프레임 보간 기술을 사용하여, 광범위한 동기화된 가상 장면이 오디오 및 시각적 요소 간의 정의된 관계에 따라 온 디멘드(on demand)로 AA/VR 모듈(3210)에 의해 프로그래밍 방식으로 생성될 수 있다.

도 34는 7명의 환자에 대한 제1 훈련 세션 동안의 대사 변화를 나타내는 그래프이다(점선에 의해 연결된 2개의 점의 개개의 세트로 표시됨). 도 34는 개인의 산소 소비를 개선할 수 있는 의도적인 동조를 지원하는 데이터를 도시한다. 이 경우에서, 그래프는 ANR 시스템을 사용하여 리듬에 맞춰 훈련하기 전과 리듬에 맞춰 훈련한 후 사람의 산소 소비(산소의 ml/kg/미터)를 도시한다. 이 도면은 평균 10%의 감소를 도시한다. 결과는 동조 프로세스가 지구력을 개선하고 걷는 동안 에너지 소비를 감소시킬 수 있음을 나타낸다.

이 앞선 프로세스는 위에서 언급된 다양한 가능한 타겟 파라미터 각각에 대해 유사하게 구현될 수 있고(예컨대, 산소 소비는 심박수와 같은 대안적인 목표로 교환될 수 있음) 도 18 내지 도 31과 관련하여 논의된 걷기 또는 다른 개입을 위해 수행될 수 있다.

하나 이상의 실시예에 따르면, ANR 시스템(3200)은 사람의 움직임에 관한 실시간 측정 정보를 치료 세션 동안 환자에게 출력되는 AR 이미지 및/또는 음악 콘텐츠의 구성요소(예컨대, 순간적인 템포, 리듬, 하모니, 멜로디 등)와 비교하도록 구성될 수 있다. 이는 동조 파라미터를 계산하거나 위상 동조를 결정하거나 기준 및 이월 특성을 설정하기 위해 시스템에 의해 사용될 수 있다. 예컨대, AR 이미지는 타겟 파라미터와 동일한 속도 또는 박자로 움직일 수 있다. 대안적으로, 이미지의 AR 관련 움직임은 사람이 움직여야 하는 방법과 동기식으로 리드미컬한 자극에 대해 동조될 수 있다.

AR 3-D 동적 모델 출력의 예는 치료를 수행하는 사람(실제 치료사)에 의해 개시되는 환자의 시야에서 걷고 있는 사람(가상 액터) 또는 치료사(가상 액터)를 투사하는 것을 포함할 수 있다. 예컨대, 도 35는 당업계에 알려진 예컨대, AR 안경을 사용하여 AR을 통해 환자 또는 트레이너 앞에 투사된 치료사 또는 코치의 모습을 나타낸다. 이 AR 3-D 동적 모델은 하나 또는 다양한 CTA로 제어된다. CTA의 조합에서, 가상 치료사는 도 22와 관련하여 도시되고 설명된 접근법으로 시작할 수 있고, 그 후 도 18과 관련하여 도시되고 설명된 바와 같은 보행 훈련 요법을 진행하도록 할 수 있다. 대안적으로, 이들은 이중 작업으로 동시에 행해질 수 있다. 이 경우 동안, 가상 액터가 환자의 영향을 받지 않은 측과 유사한 부드러운 움직임으로 걷거나 앞뒤로 움직이는 것으로 시스템에 의해 제어 가능하게 디스플레이될 수 있다. 이는 미러 뉴런을 활성화할 수 있으며, 이는 영향을 받은 뉴런이 영향을 받지 않은 뉴런의 성과를 미러링하도록 "장려"된다. 이 프로세스는 또한 가상 및/또는 실제 사람을 자극에 동기화하기 위해 오디오 자극을 제공하는 것을 포함할 수 있다.

다른 예에서, AR 3-D 동적 모델은 환자가 환자의 앞 및/또는 측에 객체를 갖는 사람들 및/또는 군중 내 또는 그 주위를 걷고 있는 시나리오를 시뮬레이팅하도록 구성될 수 있다. 예컨대, 도 36a는 AR을 통해 환자 앞에 투사된 군중의 모습을 나타낸다. 실제 세계 환경에서와 유사한 속도로 움직이거나 정지/시작하게 장려하도록 사람의 기준 보다 빠르거나 느리게 군중 또는 사람이 이동하는 것을 투사하도록 시스템이 구성될 수 있다. 군중 또는 사람은 리드미컬한 청각 자극의 비트 또는 다른 원하는 목표에 동조될 수 있다. 내비게이션의 다양한 레벨의 난이도는 AR 3-D 동적 모델에 의해 개시될 수 있다. 이해해야 하는 바와 같이, 치료사, 군중, 사람, 장애물 등의 AR 모습은 CTA의 출력에 따라 AR 3-D 동적 모델을 사용하여 동적으로 조정될 수 있다.

다른 예에서, AR 3-D 동적 모델은 환자가 내비게이팅할 수 있는 가상 장애물 코스를 구현하는 원뿔들의 배열 안이나 그 주위를 환자가 걷고 있는 시나리오를 시뮬레이팅하도록 구성될 수 있다. 원뿔들은 치료 환경에서 정상적인 장애물이지만, 이것의 다른 실시예는 일상 생활의 정상적인 활동(예컨대, 식료품 쇼핑)을 시뮬레이팅하도록 구성될 수 있다. 이 원뿔은 가상 장애물과 함께, 단지 전방 걷기 방향 변화만이 아니라, 각각의 측면으로의 측면 걸음을 갖는 걷기 및 후방 걷기 덕분에, 방향 변화를 장려할 수 있다. 여기에서도, ANR 시스템이 나타나고 그리고/또는 사라지는 원뿔을 제시하기 위해 무선 비콘 트리거가 사용될 수 있다. 비콘은 원뿔과 관련된 사람의 위치의 검출에 기초하여 트리거된다. 또한, 내비게이션 시간 및 길이 면에서 다양한 레벨의 난이도가 개시될 수 있다. 이 예에 대한 타겟 파라미터는 걷기 속도 또는 걷기 품질의 척도일 수 있다. 성공적인 내비게이션은 원뿔에 사실상 부딪힘 없이 원뿔 주위를 내비게이팅하는 것일 것이다. 시스템은 사람이 성공적으로 장애물을 피하고 걷기 품질이 저하(가변성의 증가 또는 악화되는 비대칭에 의해 측정됨)되지 않는 한, 더 어려워지는(예컨대, 더 많은 장애물 및 더 빠른 속도) 레벨들을 제시하도록 구성될 수 있다.

다른 예에서, AR 3-D 동적 모델은 실감 효과를 위한 장애물을 포함할 수 있는 절벽 및/또는 동굴 내 또는 그 주위를 환자가 걷고 있는 시나리오를 시뮬레이팅하도록 구성될 수 있다. 사실주의는 이전에 제시된 사용 사례에 대한 내비게이션에 대해 요구되는 세부사항들을 고조시킬 것이다. 비대칭 보행 패턴을 가진 사람의 다른 예에서, 사람이 영향을 받는 측 상에서 더 긴 걸음을 내딛는 것을 요구하는 굴곡 경로가 제시될 수 있다. 이 굴곡 경로는 또한 떨어지지 않기 위해 계곡을 넘어야 하는 별개의 절벽일 수 있다. ANR 시스템이 동굴 및/또는 절벽 장애물을 나타나게 하고 그리고/또는 사라지게 하여 내비게이션 시간 및 경로 길이 면에서 난이도 레벨을 변동시키게 하기 위해 무선 비콘 트리거가 사용될 수 있다. 센서 데이터는 굴곡 경로에 대한 움직임을 동기화하기 위해 시스템에 의해 사용될 수 있다. 환자에 의한 내비게이션 요건은 기준 규정된 코스의 변화들을 내비게이팅하기 위한 생체역학적 응답일 수 있다. 무선 공간 및 시간 비콘 트리거가 AR 3-D 동적 모델의 변화에 영향을 미치도록 시스템이 구성된다. 이러한 무선 트리거의 시간적 양상은 무선 트리거를 켜고 끄는 능력이다. 이는 치료 세션의 일부로서 환자가 이수해야 하는 코스에 대한 내비게이션 경로를 스크립팅하는데 있어 최대의 유연성이 허용할 것이다. 이 순간에 대한 타겟 파라미터는 걷기 속도 또는 걷기 품질의 척도이다. 성공적인 내비게이션은 경로를 벗어나 걸음을 하거나 절벽에서 떨어지지 않고 경로를 내비게이팅하는 것일 것이다. 시스템은 사람이 성공적으로 경로에 머물고 걷기 품질이 저하(가변성의 증가 또는 악화되는 비대칭에 의해 측정됨)되지 않는 한, 더 어려워지는(예컨대, 더 많은 장애물 및 더 빠른 속도) 레벨들을 제시하도록 구성될 수 있다.

다른 예에서, AR 3-D 동적 모델은 환자가 정적으로 서 있거나 앉아 있고 가상 객체가 제시되고 각각의 발에 접근할 때 행진하도록 요청받는 시나리오를 시뮬레이팅하도록 구성될 수 있다. 예컨대, 도 36b는 AR을 통해 환자 앞에 투사된 발자국의 모습을 나타낸다. ANR 시스템은 객체가 환자의 왼쪽 또는 오른쪽으로 접근하여 측면 걸음을 장려할 수 있는 가상 장면을 생성할 수 있다. 객체는 도 22에 설명된 바와 같이 결정 트리를 따르는 미리 정의된 템포 또는 비트로 환자에게 접근하는 것으로 제시될 것이다. 치료사 또는 과거 치료로부터의 환자에 의한 올바른 움직임의 비주얼이 또한 투사될 수 있다.

다른 예시적인 AR 3-D 동적 모델 구현에서, ANR 시스템은 햅틱 피드백을 치료에 통합하도록 구성될 수 있다. 예컨대, 촉각 피드백은 사용자가 투사된 AR 주변의 객체 또는 사람들에 너무 가까워지는 경우 신호로서 시스템에 의해 사용될 수 있다. 리드미컬한 햅틱 피드백은 또한 감각 입력을 증폭하기 위해 청각 큐와 동기화될 수 있다. AR은 또한 예컨대, 파킨슨병을 앓는 누군가의 보행 에피소드가 멈추는 동안 움직임의 개시 신호를 주기 위해 적응적으로 그리고 개별적으로 인에이블될 수 있다.

다른 예시적인 AR 3-D 동적 모델 구현에서, ANR 시스템은 광학 및 머리 추적을 통합하도록 추가로 구성될 수 있다. 이 추적은 자신의 눈 또는 머리가 향하는 곳에 대한 응답으로 청각 입력을 트리거하도록 구성된 ANR 시스템에 대한 피드백으로서 통합될 수 있다. 예컨대, 자신의 환경의 우측과만 상호작용하는 왼쪽 무시를 갖는 누군가의 경우, 눈 및 머리 추적은 자신의 왼쪽 반구 환경이 얼마나 관여되고 있는지에 대한 입력을 제공하고 왼쪽 반구에 더 많은 관심을 끌기 위해 청각 신호를 생성하도록 시스템을 트리거할 수 있다. 이 데이터는 각각의 반구의 인식 정도에 의해 임상 개선이 측정될 수 있으므로 시간에 걸친 진행을 추적하는 데에도 사용될 수 있다. 이에 대한 다른 예는 안구 운동 장애를 갖는 사람들의 경우인데, 왼쪽으로부터 오른쪽으로의 시각적 스캐닝이 외부 청각 리듬에 따라 스캐닝함으로써 개선될 수 있다.

다른 예시적인 AR 3-D 동적 모델 구현에서, ANR 시스템은 사용자의 개선을 디스플레이하기 위해 과거 세션의 디지털 프레즌스(digital presence)를 제공하도록 구성될 수 있다. 이러한 모델은 세션 마다 또는 처치의 수명을 비교하기 위해 세션 후 재생될 수 있다. 과거 세션(또는 증강 세션)의 디지털 프레즌스는 해당 세션의 오디오 입력과 페어링될 때 걷기 세션과 피로 제한 사이에서 실행을 위한 정신적 이미저리 작업으로서 사용될 수 있다. 이 모델은 보행 속도, 박자, 보폭 길이 및 대칭의 차이를 디스플레이하여 시간에 걸친 사용자 변화 및 처치가 사용자의 보행을 어떻게 개선하는지를 보여주는 데 도움이 될 것이다. 또한, 이 프레즌스는 세션 전에 치료사에 의해 사용되어 후속 세션을 위한 훈련 계획 또는 기술을 준비하는 데 도움이 될 수 있다. 이 모델링된 프레즌스는 또한 환자의 진행의 진전을 3D 이미저리로 더 잘 시각화하고 재애니메이팅하기 위해 연구자 및 임상의에 의해 사용될 수 있다.

다른 예시적인 AR 3-D 동적 모델 구현에서, 음악 콘텐츠와 동기화된 AR/VR 환경은 타원, 나선, 사문, 다른 것들과의 교차 경로 및 이중 작업 걷기를 포함하도록 상이한 걷기 또는 춤 패턴을 생성할 수 있다. 탱고와 같은 댄스 리듬은 인체 전체에 적용될 수 있는 신경학적 음악 치료(NMT) 및 RAS에서 비롯된 이점을 갖는 것으로 나타났다.

하나 이상의 실시예에 따르면, ANR 시스템은 동조 프로세스를 향상시키고, 사람에게 환경적 컨텍스트를 제공하고, AR 경험을 보조하기 위해 AA 기술을 활용하도록 구성될 수 있다. 회복 프로세스를 향상시키기 위해, 시스템은 환경, 센서 데이터, AR 환경, 동조 및 다른 방법으로부터 취해진 입력에 기초하여 본원에서 추가로 설명되는 예시적인 AA 경험을 생성하도록 구성될 수 있다.

치료/의료 사용 사례의 AA의 예는 안전 문제를 해결하고 치료 운동을 수행하는 환자에 대한 위험을 완화하는 것일 것이다. ANR 시스템은 최소 오디오 음량 임계치를 초과하는 외부 사운드를 순간적으로 치료의 리듬 및 오디오 큐잉 콘텐츠에 혼합함으로써 헤드폰으로 음악을 청취하는 동안 상황 인식을 개선하도록 구성할 수 있다. 외부 사운드의 예는 자동차의 경적 또는 긴급 차량의 사이렌일 수 있으며, 이는 동시에, 정상적인 청각 자극을 자동으로 중단하여 위험에 대한 가능성에 관하여 사람에게 인식을 제공한다. 이 기능 및 다른 기능을 수행하기 위해, 청취 장치는 이 작업을 수행하는데 전용되는 부가적인 마이크로폰 및 디지털 신호 프로세싱을 가질 수 있다.

추가 실시예에서, AA를 구현하는 ANR 시스템은 환자가 걷기 치료 세션을 수행하는 동안 리드미컬한 청각 큐잉을 환자의 "영향받는 측"과 정렬함으로써 AA의 양상 및 공간 지각의 조작을 결합하도록 구성될 수 있다. 예컨대, 환자의 우측이 더 많은 정도의 치료를 요구하는 경우, 오디오 큐잉 콘텐츠는 강조를 위해 우측과 공간적으로 정렬될 수 있다. 측면-특정 리드미컬한 청각 자극을 위한 기술을 사용하는 신경학적 재활을 위한 예시적인 시스템 및 방법이 동시 계류 중이며 공동 양도된, 2019년 11월 12일자로 출원된 SYSTEMS AND METHODS FOR NEUROLOGIC REHABILITATION이라는 제목의 미국 특허 출원 번호 제62/934,457호에서 개시되며, 이는 이로써 그 전체가 본원에서 설명된 것처럼 인용에 의해 포함된다.

추가의 실시예에서, AA를 구현하는 ANR 시스템은 보행 훈련 동안 머리 포지션의 공간 인식을 증가시키기 위해 고유한 청각 큐잉을 제공하여 사용자가 정중선에서 머리를 위로 한 채로 유지하고 눈을 전방으로 유지하도록 장려하고 동조 프로세스 또는 다른 CTA 경험을 진행하는 동안 균형 및 공간 인식을 개선하도록 구성될 수 있다.

추가 실시예에서, AA를 구현하는 ANR 시스템은 인지를 개선하고 기억력을 향상시키기 위해 바이노럴 비트 사운드를 제공하고 이를 인간 생리학(예컨대, 호흡률, 전기적 뇌 활동(EEG) 및 심박수)에 연결하도록 구성될 수 있다. ANR 시스템은 RAS 신호 입력에 보완하여 바이노럴 비트 오디오 신호 입력을 제공하도록 구성될 수 있다. 시스템에 의해 이루어지는 보행 측정의 실시간 동조 및 품질은 마찬가지로 생리학적 측정에 의해 보완된다. 예컨대, 바이노럴 비트 오디오를 위해 구성된 바와 같은 시스템은 왼쪽 귀 및 오른쪽 귀에 차동 주파수 신호 출력들을 사용하며, 그 차이는 신경 진동의 "감마" 주파수인 40Hz이다. 이러한 주파수는 알츠하이머 환자의 아밀로이드 축적을 감소시키고 인지 유연성에 도움이 될 수 있다. RAS 보행 훈련을 수행하는 동안 AA 디바이스를 통해 이러한 오디오 신호를 사용자에게 전달함으로써, 제2 유형의 신경 동조가 생체역학적 RAS 동조와 동시에 달성될 수 있다. 뇌 활성화의 네트워크 가설은 걷기 및 인지 둘 모두가 영향을 받을 것임을 암시한다. 따라서 이러한 청각적 감각 자극은 뇌의 신경 진동을 동조하는 반면, 리드미컬한 청각 자극은 운동 시스템을 동조한다.

추가 실시예에서, AA를 구현하는 ANR 시스템은 환자가 자신의 머리를 회전시키거나 자신의 자세를 변경할 때 위상 코히어런트 사운드 스테이지(예컨대, 올바른 오디오 공간 관점)를 제공하도록 구성될 수 있다. 사운드 스테이지는 스테레오 스피커 또는 헤드폰에 의해 생성되는 가상의 3D 이미지이다. 이는 청취자가 사운드 소스의 위치를 정확하게 듣도록 허용한다. 치료 세션에서 사운드 스테이지를 조작하는 예는 환자의 머리가 옆으로 돌려질 수 있는 동안에도 가상 코치의 음성 사운드를 환자의 "앞"으로 유지하는 것일 것이다. 이 특징은 방향 감각 상실을 회피하여, 치료를 수행하는 동안 보다 안정적이고 예측 가능하며 안전한 오디오 경험을 생성하는 데 도움이 될 수 있다. 이 특징은 도 34에서 사람 앞에 있는 AR 가상 코치/치료사와 결합될 수 있다. 그것은 또한 코스에 관한 지식 또는 실제 세계에서 사람이 취할 필요가 있는 방향과 결합될 수 있다.

추가의 실시예에서, ANR 시스템은 환자가 가상 군중과 동기화하는 방식으로 AA를 증강 현실(AR)과 결합하도록 구성될 수 있으며, 가상 음향 효과(예컨대, 장려 및 군중 발걸음)는 환자의 시각 시선과 관련하여 코히어런트 사운드 스테이지를 생성한다. 오디오는 또한 객체로부터의 거리 또는 객체에 대한 근접성에 관한 지각을 생성할 수 있다. 이러한 방식으로 공간 위치 또는 음량을 변경하는 것은 또한 AR 및 3-D 이미지와 결합하여 목표 타겟으로서 사용될 수 있다.

추가 실시예에서, ANR 시스템은 가상 기구 치료를 생성하는 방식으로 AA를 증강 현실(AR)과 결합하도록 구성될 수 있다. 벨, 드럼, 피아노, 기타와 같은 악기는 환자를 위한 일반적인 훈련 도구일 수 있다. 이러한 악기의 디지털 모델을 생성하고 상호작용 시에 AA 피드백을 제공함으로써, 환자에게는 몰입형 경험 및 환자 물리적으로 악기를 연주하고 있다는 지각이 주어질 수 있다. 이는 시간에 걸친 환자의 진행을 돕고 개선을 보여주기 위해 난이도에 대해 수정될 수 있다. 수정의 예는 피아노 상에 더 많은 건반을 추가하거나 기타 상에 더 많은 현을 추가하는 것을 포함할 수 있다. 가상 악기 외에도, 환자가 가상 악기 또는 실제 악기 중 어느 하나인 악기를 연주할 때 가상 악보 또는 음악 부호가 실시간으로 디스플레이될 수 있다. 다른 예는 도 19와 관련하여 논의된 개념과 결합될 수 있으며, 여기서 연결된 하드웨어는 AR에 의해 대체될 수 있다. 유사한 로직이 문서화된 개입 중 다른 것에 대해 사용될 수 있다.

추가 실시예에서, ANR 시스템은 치료사에 대해 공간적으로 정확한 오디오 경험을 제공하기 위해 텔레프레즌스와 결합하여 AA를 구현하도록 구성될 수 있다. 오디오는 또한 객체로부터의 거리 또는 객체에 대한 근접성에 관한 지각을 생성하도록 생성될 수 있다. AA의 공간적 위치 또는 음량을 변경하고 AR 모델을 활용함으로써, 시스템은, 환자가 가상 디바이스들의 재생과 연관된 목표들을 충족하는지를 보다 효과적으로 결정하고 보다 정확한 특별한 경험을 제공하는 데 사용될 수 있다.

하나 이상의 실시예에 따르면, ANR 시스템은 일 유형의 AA, 즉 리드미컬한 자극 엔진(RSE)을 구현할 수 있다. 리드미컬한 자극 엔진은 맞춤형 리드미컬한 청각 자극이며, 이는 환자에 대한 오리지널 및 커스텀 청각 리드미컬한 콘텐츠를 생성하면서, 치료 이점을 유도하기 위한 동조의 원리들을 구체화한다. 파킨슨병과 같은 일부 질병 상태들에 대해, 이것은 또한 환자의 환경에서 일정한 리듬 "사운드트랙"을 갖는 것이 유익할 수 있다. RSE는 미리 레코딩된 음악에 액세스할 필요 없이 이러한 연속적인 배경 리드미컬한 신경 자극을 수행하도록 구성될 수 있다. 일 예에서, ANR 시스템은 리드미컬한 자극 엔진(RSE) 및 AR과 조합하여, AA를 구현하여 인입 바이오메트릭 데이터, 치료 환경으로부터의 외부 오디오 입력, 생성된 리드미컬한 콘텐츠, AR 및 AA 출력 간에 완전히 동기화된 피드백 상태를 생성하도록 구성될 수 있다. 다른 예에서, 시스템은 대화형 방식으로 환자의 걷기 박자에 의해 RSE에 의해 생성된 리드미컬한 오디오 콘텐츠의 템포를 변조하도록 구성될 수 있다. 다른 예에서, RSE에 의해 생성된 리드미컬한 오디오 콘텐츠의 템포 및 박자표는 환자 사용자의 동조 정밀도 및 비트 요인, 이를테면, 대화형 방식으로 지팡이 또는 보조 디바이스를 사용하는 환자 사용자에 의해 변조될 수 있다. 다른 예에서, RSE는 엑소-슈트(exo-suit), 엑소-스켈레톤(exo-skeleton) 및/또는 FES 디바이스와 같은 보조 기술과 조합하여 보행 치료의 유효성을 증가시키는 신경자극을 제공할 수 있다. 다른 예에서, RSE는 종래의 댄스 리듬 템플릿들의 저장된 라이브러리로부터, 환자의 상체 및 팔다리로 치료를 확장할 수 있는 리듬 오디오 콘텐츠를 생성할 수 있다. 이는 춤추는 군중 또는 가상 댄스 플로어와 같이 위에서 언급된 AR 기술과 결합하도록 확장될 수 있다. 또 다른 예에서, 자가 학습 AI 및/또는 규칙-기반 시스템과 같은 기계 학습 기술은 박자 및 보행 파라미터의 품질 이를테면, 대칭 및 보행 사이클 시간 가변성을 보고하는 관성 모션 유닛(IMU) 입력에 의해 변조된 리듬을 실시간으로 생성할 수 있다. 감독되지 않은 ML 클러스터링 또는 결정 트리 모델을 사용하여, 다양한 보행 패턴이 생성식 음악 시스템에 대한 입력으로서 작용할 수 있다.

하나 이상의 실시예에 따르면, ANR 시스템은 AA의 유형, 즉 소니피케이션(Sonification)을 구현할 수 있으며, 이는 환자가 타겟 목표에 얼마나 근접한지 또는 멀리 있는지에 의존하여 음악 콘텐츠에 다양한 양의 신호 왜곡을 적용하는 것을 의미한다. 소니피케이션의 정도 및 유형은 환자를 정정 상태로 유도하는 데 도움이 된다. 소니피케이션 및 동조의 새로운 조합은 동조를 통한 청각 운동 동기화를 위한 피드포워드 메커니즘을 제공하는 동시에, 개인이 조정할 수 있는 일부 다른 생체역학적 또는 생리학적 파라미터의 음악 콘텐츠의 왜곡을 통해 피드백 메커니즘을 제공할 수 있다. 예컨대, 조합하여, 리듬 큐잉의 볼륨을 증가시키면서 음악 신호에 신호 왜곡을 추가하는 것은 어느 한 방법을 단독으로 사용하는 것보다, 더 뛰어난 유효성을 가질 수 있다.

하나 이상의 실시예에 따르면, ANR 시스템은 다음과 같이 신경독 주입과 조합하여 CTA를 구현할 수 있다. CTA는 보행과 같은 운동 기능을 개선하는 쪽으로 작동하도록 동조 원칙을 적용할 수 있다. 신경독 주입은 또한 근육의 경직을 타겟팅함으로써 보행 개선을 타겟팅하는 데 사용될 수 있다. 이러한 주입들은 효과가 나타나기까지 2~4일이 소요되며 효과가 최대 90일까지 지속된다(예컨대, 유효 기간). 동조 원칙에 대한 CTA의 투여량(dosing)(예컨대, CTA의 하나 이상의 파라미터의 세팅)은 주입이 효과를 나타내기 전 기간에 훈련이 덜 집중적이고 유효 기간 동안 증가하는 신경독 주사의 유효 곡선을 향하여 타겟팅될 수 있다.

하나 이상의 실시예에 따르면, ANR 시스템은 생체역학적 움직임 파라미터 대신, 음악 콘텐츠에 대한 심박동 또는 호흡률의 동기화를 사용하여 동조 파라미터를 계산하도록 구성될 수 있다. 사용 사례의 예는 다양한 형태의 치매, 알츠하이머, 양극성 장애, 정신분열증 등으로부터 동요를 갖는 사람들을 위한 것이다. 이 사용 사례에서, 기준 파라미터는 심박수 또는 호흡률에 의해 결정될 수 있다. 동조 또는 위상화된 동조는 음악 콘텐츠와 심박수 또는 호흡의 비교에 의해 결정될 수 있다. 부가적으로, 이러한 사람들의 삶의 질을 향상시키기 위해 동요의 양을 낮추도록 목표가 세팅될 수 있다.

위의 논의로부터 인지될 수 있는 바와 같이, 본 개시내용의 하나 이상의 실시예에 따른 환자의 증강된 신경학적 재활을 위한 시스템은 다음 포인트 중 하나 이상을 포함할 수 있다:

기계 판독 가능 명령을 포함하는 소프트웨어 모듈에 의해 구성된 하나 이상의 물리적 프로세서를 갖는 컴퓨팅 시스템. 소프트웨어 모듈은 프로세서에 의해 실행될 때, 치료 세션 동안 증강 현실 시각적 콘텐츠 및 오디오 콘텐츠를 생성하여 환자에게 제시하도록 프로세서를 구성하는 3D AR 모델링 모듈을 포함할 수 있다. 콘텐츠는 규정된 공간적 및 시간적 시퀀스로 움직이는 시각적 요소 및 비트 템포로 출력되는 리드미컬한 오디오 요소를 포함한다.

컴퓨팅 시스템은 또한 AR 시각적 및 오디오 콘텐츠와 관련하여 환자에 의해 수행된 움직임에 관한 환자의 타임-스탬핑된 생체역학 데이터 및 환자와 연관된 하나 이상의 센서들을 사용하여 측정된 생리학적 파라미터를 포함하는 입력을 수신하기 위해 프로세서와 통신하는 입력 인터페이스를 포함한다.

소프트웨어 모듈은 타임-스탬핑된 생체역학 데이터를 분석하여 시각적 및 오디오 요소에 대한 환자 움직임의 공간적 및 시간적 관계를 결정하고 타겟 생리적 파라미터에 대한 환자의 동조 레벨을 결정하도록 프로세서를 구성하는 비판적 사고 알고리즘을 또한 포함한다. 부가적으로, 3D AR 모델링 모듈은 추가로 타겟 파라미터에 대한 결정된 동조의 레벨에 기초하여 환자에게 출력되는 증강 현실 시각적 및 오디오 콘텐츠를 동적으로 조정하도록 프로세서를 구성한다.

상기 시스템, 디바이스, 방법, 프로세스 등은 하드웨어, 소프트웨어, 또는 애플리케이션에 적합한 이들의 임의의 조합으로 실현될 수 있다. 하드웨어는 범용 컴퓨터 및/또는 전용 컴퓨팅 디바이스를 포함할 수 있다. 이는 내부 및/또는 외부 메모리와 함께, 하나 이상의 마이크로프로세서, 마이크로제어기, 내장형 마이크로제어기, 프로그램 가능 디지털 신호 프로세서 또는 기타 프로그래밍 가능 디바이스 또는 프로세싱 회로에서의 구현을 포함한다. 이는 또한, 또는 대신에, 하나 이상의 주문형 집적 회로, 프로그램 가능 게이트 어레이, 프로그램 가능 어레이 로직 구성요소 또는 전자 신호를 프로세싱하도록 구성될 수 있는 임의의 다른 디바이스 또는 디바이스들을 포함할 수 있다. 상술한 프로세스 또는 디바이스의 실현은 C와 같은 구조화된 프로그래밍 언어, C++와 같은 객체 지향 프로그래밍 언어 또는 임의의 다른 고레벨 또는 저레벨 프로그래밍 언어(어셈블리 언어, 하드웨어 기술 언어 및 데이터베이스 프로그래밍 언어 및 기술 포함)를 사용하여 생성되며 저장되거나, 컴파일되거나 또는 상기 디바이스 중 하나에서 실행되도록 해석될 수 있는 컴퓨터 실행 가능 코드뿐 아니라, 프로세서의 이기종 조합, 프로세서 아키텍처 또는 상이한 하드웨어와 소프트웨어의 조합을 포함할 수 있음을 또한 이해할 것이다. 다른 양상에서, 방법은 그 단계를 수행하는 시스템에서 구현될 수 있으며, 여러 가지 방법으로 디바이스에 걸쳐 분산될 수 있다. 동시에, 프로세싱은 위에서 설명된 다양한 시스템과 같은 디바이스에 걸쳐 분산되거나, 모든 기능이 전용 독립 실행형 디바이스 또는 다른 하드웨어에 통합될 수 있다. 다른 양상에서, 위에서 설명된 프로세스와 연관된 단계를 수행하기 위한 수단은 위에서 설명된 임의의 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 이러한 모든 치환 및 조합은 본 개시내용의 범위에 속하는 것으로 의도된다.

본원에 개시된 실시예는 하나 이상의 컴퓨팅 디바이스에서 실행될 때 그 임의의 및/또는 모든 단계를 수행하는 컴퓨터 실행 가능 코드 또는 컴퓨터 사용 가능 코드를 포함하는 컴퓨터 프로그램 제품을 포함할 수 있다. 코드는 프로그램이 실행되는 메모리(프로세서와 연관된 랜덤 액세스 메모리와 같은) 또는 디스크 드라이브, 플래시 메모리 또는 다른 광, 전자기, 자기, 적외선 또는 다른 디바이스 또는 디바이스의 조합과 같은 저장 디바이스일 수 있는 컴퓨터 메모리에 비 일시적인 방식으로 저장될 수 있다. 다른 양상에서, 위에서 설명된 시스템 및 방법 중 임의의 것은 컴퓨터 실행 가능 코드 및/또는 그로부터의 임의의 입력 또는 출력을 전달하는 임의의 적절한 전송 또는 전파 매체로 구현될 수 있다.

위에서 설명된 디바이스, 시스템 및 방법은 제한이 아닌 예로서 설명되는 것으로 이해될 것이다. 반대로의 명백한 지시가 없으면, 개시된 단계들은 본 개시내용의 범위를 벗어나지 않고 변경, 보충, 생략 및/또는 재순서화될 수 있다. 많은 변형, 추가, 생략 및 다른 변경이 당업자에게 명백할 것이다. 또한, 위의 설명 및 도면에서 방법 단계의 순서 또는 제시는 순서가 명시적으로 요구되거나 문맥상 달리 명확하지 않은 한, 나열된 단계를 수행하는 그 순서를 요구하는 것으로 의도되지 않는다.

본원에서 설명된 구현의 방법 단계는 상이한 의미가 명시적으로 제공되거나 문맥으로부터 달리 명확하지 않으면, 다음의 청구범위의 특허성에 따라 수행되는 그러한 방법 단계를 수행하게 하는 임의의 적합한 방법을 포함하도록 의도된다. 따라서 예컨대, X의 단계를 수행하는 것은 원격 사용자, 원격 프로세싱 자원(예컨대, 서버 또는 클라우드 컴퓨터) 또는 기계와 같은 다른 당사자가 X의 단계를 수행하도록 하는 적절한 방법을 포함한다. 마찬가지로, X, Y 및 Z 단계의 수행에는 이러한 단계의 이점을 얻기 위해 단계 X, Y 및 Z를 수행하는 다른 개인 또는 자원의 조합을 지시하거나 제어하는 방법이 포함될 수 있다. 따라서, 본원에서 설명된 구현의 방법 단계는, 다른 의미가 명시적으로 제공되거나 문맥으로부터 달리 명확하지 않으면, 다음의 청구범위의 특허성에 따라, 하나 이상의 다른 당사자 또는 엔티티가 단계를 수행하도록 하는 임의의 적합한 방법을 포함하도록 의도된다. 그러한 당사자 또는 엔티티는 다른 당사자 또는 엔티티의 지시 또는 통제 하에 있지 않아도 되며, 특정 관할 구역 내에 위치할 필요가 없다.

위의 방법이 예로서 제공됨을 또한 인식해야 한다. 반대로의 명백한 지시가 없으면, 개시된 단계들은 본 개시내용의 범위를 벗어나지 않고 변경, 보충, 생략 및/또는 재순서화될 수 있다.

위에서 설명된 방법 및 시스템은 제한이 아닌 예로서 기술되어 있음을 이해할 것이다. 많은 변형, 추가, 생략 및 다른 변경이 당업자에게 명백할 것이다. 또한, 위의 설명 및 도면에서 방법 단계의 순서 또는 제시는 특정한 순서가 명시적으로 요구되거나 문맥에서 달리 명확하지 않은 한 나열된 단계를 수행하는 순서를 요구하는 것으로 의도하지 않는다. 따라서, 특정한 실시예가 도시되고 설명되었지만, 본 개시내용의 사상 및 범위를 벗어나지 않으면서 형태 및 세부 사항에서 다양한 변경 및 수정이 이루어질 수 있음은 당업자에게 명백할 것이다.

Claims (19)

1. 환자의 증강된 신경학적 재활을 위한 시스템으로서, 상기 시스템은:
   비일시적 저장 매체에 저장된 기계 판독 가능 명령을 포함하는 소프트웨어 모듈에 의해 구성된 프로세서를 갖는 컴퓨팅 시스템을 포함하고,
   상기 소프트웨어 모듈은,
   상기 프로세서에 의해 실행될 때, 치료 세션 동안 환자에게 출력하기 위한 증강 현실(AR) 시각적 콘텐츠 및 리드미컬한 청각 자극(RAS)을 생성하도록 상기 프로세서를 구성하는 AA/AR 모델링 모듈 ― 상기 RAS는 비트 템포로 출력되는 비트 신호를 포함하고, 상기 AR 시각적 콘텐츠는 상기 비트 템포에 기초하여 규정된 공간적 및 시간적 시퀀스로 이동하는 시각적 요소를 포함함 ― 을 포함하고;
   상기 AR 시각적 콘텐츠 및 RAS에 맞춰 상기 환자에 의해 수행된 반복적 움직임에 관한 상기 환자의 타임-스탬핑된 생체역학 데이터를 포함하는 실시간 환자 데이터를 수신하기 위해 상기 프로세서와 통신하는 입력 인터페이스를 포함하고, 상기 생체역학 데이터는 상기 환자와 연관된 센서를 사용하여 측정되고; 그리고
   상기 소프트웨어 모듈은,
   타겟 파라미터에 대한 동조의 레벨을 결정하기 위해 상기 비트 템포로 출력되는 비트 신호 및 상기 시각적 요소에 대한 상기 환자의 반복적 움직임의 시간적 관계를 결정하기 위해 상기 타임-스탬핑된 생체역학 데이터를 분석하도록 상기 프로세서를 구성하는 비판적 사고 알고리즘(CTA) 모듈을 더 포함하고,
   상기 AA/AR 모델링 모듈은 추가로, 상기 결정된 동조의 레벨에 기초하여 그리고 동기식으로 상기 환자에 대한 AR 시각적 및 RAS 출력을 동적으로 조정하도록 상기 프로세서를 구성하는,
   환자의 증강된 신경학적 재활을 위한 시스템.
2. 제1 항에 있어서,
   상기 프로세서는 상기 동조의 레벨을 고려하여 상기 RAS의 비트 템포를 조정하고 상기 조정된 비트 템포와 동기식으로 상기 시각적 요소의 규정된 공간적 및 시간적 시퀀스를 조정함으로써, 상기 결정된 동조의 레벨에 기초하여 상기 AR 시각적 콘텐츠 및 RAS를 동적으로 조정하는,
   환자의 증강된 신경학적 재활을 위한 시스템.
3. 제2 항에 있어서,
   상기 비트 신호는 개개의 출력 시간에 각각 출력되고;
   상기 동조의 레벨은 상기 비트 신호의 각각의 출력 시간에 대한 상기 반복적 움직임의 타이밍에 기초하여 결정되는,
   환자의 증강된 신경학적 재활을 위한 시스템.
4. 제3 항에 있어서,
   상기 CTA 모듈은,
   개개의 반복적 움직임의 개개의 시간을 식별하기 위해 상기 타임-스탬핑된 생체역학 데이터를 분석하고,
   하나 이상의 반복적 움직임의 상기 개개의 시간과 하나 이상의 연관된 비트 신호의 개개의 출력 시간 사이의 시간적 관계를 측정하고,
   상기 개개의 반복적 움직임 중 하나 이상에 대해 측정된 시간적 관계에 기초하여 동조 포텐셜(entrainment potential)을 계산함으로써 상기 동조의 레벨을 결정하도록 상기 프로세서를 구성하고; 그리고
   상기 프로세서는 상기 동조 포텐셜에 기초하여 상기 AR 시각적 및 RAS 출력 중 하나 이상을 동적으로 조정하도록 구성되는,
   환자의 증강된 신경학적 재활을 위한 시스템.
5. 제2 항에 있어서,
   상기 CTA 모듈은 추가로, 상기 환자에 대해 측정된 생체역학 데이터 또는 생리학적 데이터가 훈련 타겟 파라미터를 충족하는지를 결정하도록 상기 프로세서를 구성하고;
   상기 AA/AR 모델링 모듈은 추가로, 상기 훈련 목표 파라미터가 충족되지 않은 것에 대한 응답으로 상기 환자에 대한 상기 AR 시각적 콘텐츠 및 RAS 출력을 동적으로 조정하도록 상기 프로세서를 구성하는,
   환자의 증강된 신경학적 재활을 위한 시스템.
6. 제5 항에 있어서,
   상기 타겟 파라미터는 상기 비트 템포이고 상기 훈련 타겟 파라미터는 재활 결과인,
   환자의 증강된 신경학적 재활을 위한 시스템.
7. 제1 항에 있어서,
   상기 AR 시각적 콘텐츠를 상기 환자에게 제시하도록 구성된 AR 비디오 출력 디바이스;
   상기 RAS를 상기 환자에게 출력하도록 구성된 오디오 출력 디바이스; 및
   상기 환자와 연관되고 상기 환자의 타임-스탬핑된 생체역학 데이터를 측정하도록 구성된 센서를 더 포함하고, 상기 센서는 관성 측정 유닛(IMU) 디바이스를 포함하는,
   환자의 증강된 신경학적 재활을 위한 시스템.
8. 제5 항에 있어서,
   상기 환자와 연관되고 상기 환자의 생리학적 데이터를 측정하도록 구성된 센서를 더 포함하고, 상기 훈련 목표 파라미터는 생리학적 파라미터이고,
   상기 생리학적 파라미터는 심박수, 혈액 산소화, 호흡률, VO2, 전기적 뇌 활성(EEG) 중 하나 이상인,
   환자의 증강된 신경학적 재활을 위한 시스템.
9. 제1 항에 있어서,
   상기 AR 시각적 콘텐츠는,
   트레드밀의 최상부 표면이 상기 비트 템포에 대응하는 레이트로 상기 환자에게 접근하는 것처럼 보이도록 애니메이팅된 가상 트레드밀, 및
   상기 가상 트레드밀의 최상부 표면 상에 중첩된 복수의 발자국 ― 상기 발자국은 상기 비트 템포에 대응하는 레이트로 공간적으로 배열되고 환자에게 접근하는 것처럼 보임 ― 및
   상기 비트 템포에 대응하는 레이트로 반복 모션을 수행하는 애니메이팅된 사람 중 하나 이상을 포함하는 시각적 장면을 포함하는,
   환자의 증강된 신경학적 재활을 위한 시스템.
10. 제1 항에 있어서,
    상기 AR 시각적 콘텐츠를 수정하는 것은 상기 비트 템포의 변화를 고려하여 발자국의 간격을 변경하는 것, 애니메이팅된 사람이 상기 반복 모션을 수행하는 레이트를 변경하는 것, 트레드밀의 가상 최상부 표면이 상기 환자에게 접근하는 것처럼 보이는 레이트를 변경하는 것, 가상 장애물 또는 장면 동요(scene perturbation)가 상기 환자에게 보이는 레이트를 변경하는 것 중 하나 이상을 포함하는,
    환자의 증강된 신경학적 재활을 위한 시스템.
11. 신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법으로서,
    상기 방법은 실행될 때 상기 방법을 수행하는 기계 판독 가능 명령에 의해 구성된 물리적 프로세서를 갖는 컴퓨터 시스템 상에서 구현되고, 상기 방법은,
    치료 세션 동안 오디오 출력 디바이스를 통해 환자에게 출력하기 위한 리드미컬한 청각 자극(RAS)을 제공하는 단계 ― 상기 RAS는 비트 템포로 출력되는 비트 신호를 포함함 ― ;
    증강 현실(AR) 디스플레이 디바이스를 통해 환자에게 출력하기 위한 AR 시각적 콘텐츠를 생성하는 단계 ― 상기 AR 시각적 콘텐츠는 상기 RAS와 동기식으로 출력되고 상기 비트 템포에 기초하여 규정된 공간적 및 시간적 시퀀스로 이동하는 시각적 요소를 포함함 ― ;
    상기 RAS의 비트 신호 및 상기 AR 시각적 콘텐츠의 시각적 요소의 대응하는 움직임에 맞춰 반복적 움직임을 수행하도록 상기 환자에 지시하는 단계;
    상기 AR 시각적 콘텐츠 및 RAS에 맞춰 상기 환자에 의해 수행된 반복적 움직임에 관한 상기 환자의 타임-스탬핑된 생체역학 데이터를 포함하는 실시간 환자 데이터를 수신하는 단계 ― 상기 생체역학 데이터는 상기 환자와 연관된 센서를 사용하여 측정됨 ― ;
    동조 포텐셜을 결정하기 위해 상기 시각적 요소 및 상기 비트 신호에 따라 출력되는 비트 신호들에 대한 상기 환자의 반복적 움직임의 시간적 관계를 결정하기 위해 상기 타임-스탬핑된 생체역학 데이터를 분석하는 단계;
    상기 결정된 동조 포텐셜이 규정된 동조 포텐셜을 충족하지 않는 것에 기초하여 그리고 동기식으로 상기 환자에게 출력하기 위한 상기 AR 시각적 콘텐츠 및 RAS를 동적으로 조정하는 단계;
    상기 조정된 AR 시각적 콘텐츠 및 RAS를 사용하여 상기 치료 세션을 계속하는 단계를 포함하는,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.
12. 제11 항에 있어서,
    상기 환자로부터 상기 생체역학 데이터를 측정하는 단계를 더 포함하고, 상기 환자로부터 상기 생체역학 데이터를 측정하는 단계는 상기 환자와 연관된 센서를 제공하는 단계 및 상기 환자의 움직임과 연관된 모션, 가속도 및 압력 중 하나 이상을 측정하는 단계를 포함하는,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.
13. 제11 항에 있어서,
    상기 결정된 동조 포텐셜에 기초하여 상기 AR 시각적 콘텐츠 및 RAS를 동적으로 조정하는 단계는, 상기 동조 포텐셜에 기초하여 상기 RAS의 비트 템포를 조정하는 단계, 및 상기 조정된 비트 템포와 동기식으로 상기 시각적 요소의 규정된 공간적 및 시간적 시퀀스를 조정하는 단계를 포함하는,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.
14. 제13 항에 있어서,
    상기 비트 템포를 목표 비트 템포를 포함하는 훈련 목표 파라미터와 비교하는 단계; 및
    상기 비교 및 상기 비트 템포와 관련하여 결정된 동조 포텐셜의 함수로서 상기 RAS 및 상기 AR 시각적 콘텐츠를 동적으로 조정하는 단계를 더 포함하는,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.
15. 제14 항에 있어서,
    상기 동조 포텐셜이 규정된 레벨을 충족하고 상기 비트 템포가 상기 목표 비트 템포 미만인 경우, 상기 목표 비트 템포를 향해 상기 RAS의 비트 템포를 증가시키고 상기 조정된 비트 템포와 동기식으로 상기 시각적 요소의 규정된 공간적 및 시간적 시퀀스를 조정하는 단계를 더 포함하는,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.
16. 제11 항에 있어서,
    상기 비트 신호는 상기 비트 템포에 따라 개개의 출력 시간에서 각각 출력되고, 상기 동조 포텐셜을 측정하는 단계는 복수의 반복적 움직임 각각의 개개의 개시 시간을 연관된 비트 신호의 개개의 출력 시간과 실시간으로 비교하는 단계를 포함하고, 주어진 반복적 움직임에 대한 개시 시간은 상기 주어진 반복적 움직임 동안 규정된 식별 가능한 이벤트가 발생하는 시간인,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.
17. 제11 항에 있어서,
    상기 환자에 대해 측정된 생체역학 데이터 또는 생리학적 데이터를 포함하는 환자 데이터가 훈련 목표 파라미터를 충족하는지를 결정하는 단계를 더 포함하고;
    상기 AA/AR 모델링 모듈은 추가로, 상기 훈련 목표 파라미터가 충족되지 않은 것에 대한 응답으로 상기 환자에 대한 상기 AR 시각적 콘텐츠 및 RAS 출력을 동적으로 조정하도록 상기 프로세서를 구성하는,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.
18. 제17 항에 있어서,
    상기 환자로부터 상기 생리학적 데이터를 측정하는 단계를 더 포함하고, 상기 환자로부터 상기 생리학적 데이터를 측정하는 단계는 생리학적 파라미터를 측정하도록 구성되고 상기 환자와 연관된 센서를 제공하는 단계를 포함하고, 상기 생리학적 파라미터는 심박수, 호흡률 및 VO2max로 구성된 그룹으로부터 선택되는,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.
19. 제11 항에 있어서,
    상기 AR 시각적 콘텐츠는,
    트레드밀의 최상부 표면이 상기 비트 템포에 대응하는 레이트로 상기 환자에게 접근하는 것처럼 보이도록 애니메이팅된 가상 트레드밀, 및
    상기 가상 트레드밀의 최상부 표면 상에 중첩된 복수의 발자국 ― 상기 발자국은 상기 비트 템포에 대응하는 레이트로 공간적으로 배열되고 환자에게 접근하는 것처럼 보임 ― 및
    상기 비트 템포에 대응하는 레이트로 상기 반복 모션을 수행하는 애니메이팅된 사람 중 하나 이상을 포함하는 시각적 장면을 포함하는,
    신체 장애를 갖는 환자의 증강된 신경학적 재활을 위한 방법.

Images