KR20230079055A - 호흡기 병태 모니터링 및 케어를 위한 컴퓨터화된 의사결정 지원 툴 및 의료 디바이스 - Google Patents

호흡기 병태 모니터링 및 케어를 위한 컴퓨터화된 의사결정 지원 툴 및 의료 디바이스 Download PDF

Info

Publication number
KR20230079055A
KR20230079055A KR1020237010155A KR20237010155A KR20230079055A KR 20230079055 A KR20230079055 A KR 20230079055A KR 1020237010155 A KR1020237010155 A KR 1020237010155A KR 20237010155 A KR20237010155 A KR 20237010155A KR 20230079055 A KR20230079055 A KR 20230079055A
Authority
KR
South Korea
Prior art keywords
user
phoneme
respiratory condition
human subject
respiratory
Prior art date
Application number
KR1020237010155A
Other languages
English (en)
Inventor
시야말 파텔
폴 윌리엄 와크닉
카라 채피
로버트 매더
브라이언 트레이시
마리아 델 마르 산타마리아 세라
Original Assignee
화이자 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 화이자 인코포레이티드 filed Critical 화이자 인코포레이티드
Publication of KR20230079055A publication Critical patent/KR20230079055A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A61B5/4839—Diagnosis combined with treatment in closed-loop systems or methods combined with drug delivery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00—Medicinal preparations containing organic active ingredients
    • A61K31/66—Phosphorus compounds
    • A61K31/675—Phosphorus compounds having nitrogen as a ring hetero atom, e.g. pyridoxal phosphate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K38/00—Medicinal preparations containing peptides
    • A61K38/04—Peptides having up to 20 amino acids in a fully defined sequence; Derivatives thereof
    • A61K38/06—Tripeptides
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Abstract

사용자의 호흡기 병태를 모니터링하고, 사용자의 오디오 데이터를 분석함으로써 의사결정 지원을 제공하기 위한 기술이 개시된다. 오디오 데이터 내에서 발화된 음소들이 검출될 수 있고, 음소들에 대해 음향 특징들이 추출될 수 있다. 사용자의 음소 특징 세트들을 비교하기 위해 거리 메트릭이 컴퓨팅될 수 있다. 비교에 기반하여, 사용자가 호흡기 병태(예컨대, 감염)를 갖고 있는지 여부 및/또는 병태가 변하고 있는지 여부와 같은 사용자의 호흡기 병태에 관한 결정이 이루어질 수 있다. 일부 양상들은, 음소 특징 세트들을 활용하여 장래의 사용자의 호흡기 병태를 예측하는 것을 포함한다. 컴퓨터 애플리케이션들 또는 서비스들의 형태의 의사결정 지원 툴들은, 검출된 또는 예측된 호흡기 병태 정보를 활용하여, 현재 병태를 치료하거나 장래의 위험을 완화하기 위한 조치를 개시할 수 있다.

Description

호흡기 병태 모니터링 및 케어를 위한 컴퓨터화된 의사결정 지원 툴 및 의료 디바이스
인플루엔자와 같은 바이러스 및 박테리아 호흡기 감염은, 매년 대규모 집단에 영향을 미치고 경미함 내지 중증 범위의 증상들을 갖는다. 전형적으로, 바이러스 또는 박테리아 수준은 자가-보고(self-report) 증상들에 앞서서 감염된 사람의 신체에서 피크에 달하며, 종종, 개인이 감염에 대해 인지하지 못하게 한다. 부가적으로, 대부분의 개인들은 전형적으로, 새로운 또는 경도의 호흡기 증상들을 검출하거나 (증상들이 악화되거나 개선될 때) 증상들의 임의의 변화를 정량화하는 것을 어려워한다. 그러나, 호흡기 감염들의 조기 검출은, 감염의 지속기간 및/또는 중증도를 감소시키는 더 효과적인 개입으로 이어질 수 있다. 부가적으로, 조기 검출은 임상 시험들에서 유익한데, 그 이유는, 그것이 너무 늦어서 잠재적인 시험 참여자의 감염성 인자 부하가 너무 낮게 떨어지면, 관심 감염에 상관된 잠재적인 참여자의 증상들을 확인하는 것이 가능하지 않을 수 있기 때문이다. 그에 따라서, 객관적인 척도들을 활용하여, 증상들이, 전형적으로 의료 제공자에 대한 방문을 프롬프팅하도록 요구되는 수준으로 상승하기 전에 호흡기 감염 증상들을 검출 및 모니터링하기 위한 툴들에 대한 필요성이 존재한다.
본 개요는, 상세한 설명에서 아래에 추가로 설명되는 개념들의 선택을 간략화된 형태로 소개하기 위해 제공된다. 본 개요는, 청구된 주제의 핵심적인 특징들 또는 필수적인 특징들을 식별하도록 의도되지 않고, 청구된 주제의 범위를 결정하는 데 도움을 주기 위한 것으로서 별개로 사용되도록 의도되지도 않는다.
본 개시내용에서 설명된 기술들의 실시예들은, 이를테면, 개인의 호흡기 병태에 대해 발생하는 변화들을 결정 및 정량화하거나, 개인이 (호흡기 감염일 수 있는) 호흡기 병태를 가질 가능성을 결정하거나, 또는 장래의 개인의 호흡기 병태를 예측함으로써, 개인의 호흡기 병태를 모니터링하기 위한 개선된 컴퓨터화된 의사결정 지원 툴들을 가능하게 한다.
높은 수준에서, 이러한 실시예들은, 개인의 호흡기 병태를 표시하는 데이터를 자동으로 검출하기 위해, 사용자 컴퓨팅 디바이스, 이를테면 스마트폰에 통합될 수 있는 센서 디바이스, 이를테면 마이크로폰에 의해 취득되는 오디오 데이터를 활용하는 것을 포함할 수 있다. 예컨대, 이러한 기술들의 실시예의 사용자에 의해, 지속된 발성음(phonation)(예컨대, "aaaaaaaa"), 스크립트된 발화(speech), 또는 컴퓨팅 디바이스(예컨대, 스마트 스피커)와의 평상시의 상호작용들 동안 취득되는 스크립트되지 않은 발화의 형태일 수 있는 오디오 샘플들로서 오디오 데이터가 제공될 수 있다. 일부 실시예들은 또한, 사용자의 호흡기 병태를 모니터링하는 데 사용가능한 오디오 데이터를 제공하기 위한 절차를 통해 사용자를 안내하기 위한 명령어들을 제공할 수 있다. 이러한 방식으로, 호흡기 병태를 모니터링하기 위한 데이터는, 사용자의 가정에서의 활동을 포함하여 사용자가 일상적인 활동들을 수행하고 있는 동안에 눈에 띄지 않는 방식으로 그리고 비-실험실 설정에서 신뢰가능하게 획득될 수 있다. 그에 따라서, 본원에 설명된 실시예들은, 사용자의 호흡기 병태를 정확하고 효과적으로 모니터링하기 위해 신뢰가능한 데이터를 여전히 제공하면서 사용자 순응 가능성을 증가시킨다.
실시예에 따르면, 기록된 사용자 오디오 데이터로부터 음소들이 검출될 수 있고, 검출된 음소들에 대한 음향 특징들이 추출 또는 결정될 수 있다. 이러한 특징들은, 특정 시간 구간(예컨대, 날짜-시간)으로 사용자의 호흡기 병태를 특성화하는 음소 특징 세트 또는 특징 벡터를 포함할 수 있고, 그에 따라, 그 특정 시간 구간과 연관된 것으로 간주될 수 있다. 사용자는 다수의 시간 구간으로(예컨대, 매일, 또는 여러 날 동안의 매일 아침 및 저녁마다) 다수의 오디오 음성 샘플을 제공할 수 있으며, 이에 따라, 각각의 결정된 음소 특징 세트는 사용자에 의해 오디오 샘플 데이터가 제공된 특정 시간 구간과 연관된다. 예컨대, 일 양상에서, 검출된 음소들은 /a/, /e/, /m/, 또는 /n/, 또는 이들의 임의의 조합을 포함할 수 있다. 다른 양상에서, 검출된 음소들은 /i/, /e/, /ε/, /a/, /α/,
Figure pct00001
, /o/, 및 /u/와 같은 기본 모음 음소들 중 하나 이상을 포함할 수 있고, 음소들 /n/ 및/또는 /m/을 더 포함할 수 있다. 검출된 음소는 본원에 설명된 기술들의 실시예에 의해 호흡기 병태에 대한 생체지표를 결정하는 데 활용될 수 있다. 다른 양상에서, 이러한 음소들 또는 그들의 특징들 중 하나 이상에 대한 조합이 생체지표를 결정하는 데 활용될 수 있다. 또 다른 양상에서, 다른 음소들 또는 음소 특징들 및/또는 호흡기 또는 음성 관련 데이터가 생체지표를 결정하는 데 활용될 수 있다.
상이한 시간 구간들에 대한 음소 특징 세트들은 음소 특징들의 값들 사이의 차이들을 결정하기 위해 비교될 수 있다. 예를 들면, 음소 특징 세트들 사이에서 유클리드(Euclidian) 거리 측정치가 결정될 수 있다. 유사하게, 일부 실시예들에서, 이를테면, 사용자가 구절을 큰 소리로 읽는 것을 비교하는 구현들에 대해, 레벤슈타인(Levenshtein) 거리가 결정될 수 있다. 상이한 시간 구간들로부터의 음소 특징 세트들 사이의 차이들에 기반하여, 사용자의 호흡기 병태에 관한 결정이 제공될 수 있다. 예컨대, 본 개시내용의 실시예는, 사용자가 일반적으로 호흡기 병태를 갖고 있다는 것, 사용자가 특정 유형의 호흡기 병태(예컨대, 인플루엔자)를 갖고 있는 것, 및/또는 사용자의 호흡기 병태가 시간 기간에 걸쳐 악화되고 있다는 것, 개선되고 있다는 것, 및/또는 변하지 않고 있다는 것을 결정할 수 있다. 이러한 방식으로, 본원에 개시된 기술들은, 음소 특징들의 정량화가능한 검출된 변화들과 같은 사용자의 호흡기 병태의 객관적인 데이터에 기반하여, 호흡기 감염의 가능성과 같은 사용자의 호흡기 병태에 관한 결정을 자동으로 제공하는 데 활용될 수 있다. 일부 실시예들에서, 음소 특징들 사이의 이러한 결정된 차이들은 사용자의 장래의 호흡기 병태(즉, 장래의 시간에서의 병태)를 예측하는 데 활용될 수 있다. 일부 실시예들에서, 사용자의 생리학적 데이터, 자가-보고 증상들, 수면 데이터, 위치, 및/또는 날씨 관련 정보와 같은 컨텍스트 정보가 또한 음소 특징 데이터와 함께 사용자의 호흡기 병태를 결정 또는 예보하는 데 활용될 수 있다.
사용자의 호흡기 병태의 결정에 기반하여, 컴퓨팅 디바이스는 조치를 개시할 수 있다. 예로서, 그리고 제한 없이, 조치는, 사용자, 임상의, 또는 사용자에 대한 간병인에게 경고 또는 통지를 전자적으로 통신하는 것을 포함할 수 있다. 통지는 사용자의 호흡기 병태에 관한 정보를 포함할 수 있고, 일부 예시들에서, 사용자의 호흡기 병태의 검출된 변화 및/또는 장래의 사용자의 호흡기 병태의 예보를 포함할 수 있다. 조치의 다른 예는, 사용자의 결정된 또는 예보된 호흡기 병태에 기반하여 치료 또는 지원에 대한 권고를 통신하는 것을 포함할 수 있다. 예컨대, 권고는, 의료 제공자와 상담하는 것, 기존 처방 또는 일반의약품(over-the-counter) 의약을 계속하는 것(이를테면, 처방을 리필하는 것), 현재 치료 프로토콜의 투여량 또는 약물을 수정하는 것, 및/또는 호흡기 병태의 모니터링을 계속하는 것을 포함할 수 있다. 일부 양상들에서, 조치는, 이들 또는 다른 권고들 중 하나 이상을 개시하는 것, 이를테면, 사용자의 의료 제공자와의 예약(appointment)을 자동으로 스케줄링하는 것 및/또는 처방을 리필하기 위해 약국에 통지를 통신하는 것을 포함할 수 있다.
일부 예시들에서, 사용자의 음성 샘플들로부터의 음향 특징 정보를 활용하여, 사용자가 증상이 있다고 느끼지 못하는 경우에도 호흡기 병태가 결정될 수 있다(예컨대, 사용자가 감염을 가질 가능성이 있음). 본원에 개시된 기술들의 일부 실시예들에 의해 제공되는 바와 같은 이러한 능력은, 증상들의 발현 후에 임상의에 대한 방문으로부터 취득되는 주관적이거나 객관적인 데이터에만 의존할 수 있는 종래의 기술들에 비해 이점 및 개선이 있다. 호흡기 병태의 이러한 조기 검출 및 경고는 병태의 지속기간 및/또는 중증도를 감소시키기 위한 더 효과적인 치료를 가능하게 할 수 있다. 추가로, 조기 검출을 가능하게 하는 이러한 실시예들은, 종래의 접근법들보다 호흡기 병태의 조기 경고를 제공함으로써, 중증 급성 호흡기 증후군 코로나바이러스 2(SARS-CoV-2) 또는 코로나바이러스 질환(COVID-19)과 같은 호흡기 기반 유행병들에 대처하는 데 특히 유용할 수 있다. 병태가 바이러스 또는 박테리아에 의해 유발되는 경우, 조기 경고는, 사용자가 더 빨리 전염에 대한 예방책들(예컨대, 마스크 착용, 자가-격리, 또는 사회적 거리두기 실시)을 취할 수 있게 하고, 따라서, 다른 사람들에 대한 전염의 가능성을 감소시킬 수 있다. 본 개시내용의 실시예들을 통해 제공되는 조기 검출은 또한, 호흡기 감염들의 치료 및/또는 백신들을 연구하는 임상 시험들에서 유용할 수 있다. 일부 실시예들은, 감염성 인자 부하가 너무 낮게 떨어지기 전에 참여자들이 관심 감염과 상관되는 임의의 증상들에 관해 확인을 하는 것을 가능하게 할 수 있으며, 감염성 인자 부하가 너무 낮게 떨어지는 것은, 임상 시험들에서 사용되는 종래의 기술들에 대해 자주 발생하는 문제이다.
추가로, 호흡기 병태를 모니터링하기 위해 음성 기록들로부터의 음향 특징들을 활용하는 것은, 호흡기 병태들을 갖는 개인들을 치료함에 있어서 개선된 정확성을 가능하게 한다. 예컨대, 너무 이르게 그리고/또는 너무 긴 시간 기간 동안 개인에게 치료를 처방하는 것이 아니라, 치료, 이를테면 항생제가 필요한 때를 더 정확하게 결정하기 위해 음성 기록들을 활용하여 본 개시내용에 따라 개인의 잠재적인 호흡기 병태가 가정에서 추적될 수 있다. 추가로, 본 개시내용의 실시예에 따라 치료를 받고 있는 개인의 병태의 진행을 추적하는 것은, 약물 및/또는 투여량을 변경하는 것과 같은 치료의 변화가 권고되는지 여부를 결정하는 데 도움이 될 수 있다. 이러한 방식으로, 본원에 개시된 기술들은 항생제/항균 의약들의 더 정확한 활용을 용이하게 할 수 있는데, 그 이유는, 그러한 의약들은 개인의 호흡기 병태에서 검출된 객관적인 정량화가능한 변화에 기반하여 처방되거나 계속될 필요가 있기 때문이다.
본 개시내용의 양상들은 첨부된 도면들을 참조하여 아래에서 상세히 설명된다.
도 1은 본 개시내용의 양상들을 구현하는 데 적합한 예시적인 동작 환경의 블록도이다.
도 2는 본 개시내용의 양상들을 구현하는 데 적합한 예시적인 컴퓨팅 아키텍처를 도시하는 도면이다.
도 3a는 본 개시내용의 실시예에 따른, 호흡기 병태들을 모니터링하기 위한 예시적인 프로세스의 도식적 표현을 예시적으로 도시한다.
도 3b는 본 개시내용의 실시예에 따른, 호흡기 병태들을 모니터링하기 위해 데이터를 수집하는 예시적인 프로세스의 도식적 표현을 예시적으로 도시한다.
도 4a 내지 도 4f는 본 개시내용의 다양한 실시예들을 활용하는 예시적인 시나리오들을 예시적으로 도시한다.
도 5a 내지 도 5e는 본 개시내용의 다양한 실시예들에 따른, 예시적인 그래픽 사용자 인터페이스(GUI)들의 양상들을 도시하는 컴퓨팅 디바이스로부터의 예시적인 스크린샷들을 예시적으로 도시한다.
도 6a는 본 개시내용의 실시예에 따른, 호흡기 병태들을 모니터링하기 위한 예시적인 방법의 흐름도를 예시적으로 도시한다.
도 6b는 본 개시내용의 다른 실시예에 따른, 호흡기 병태들을 모니터링하기 위한 예시적인 방법의 흐름도를 예시적으로 도시한다.
도 7은 본 개시내용의 실시예에 따른, 시간 경과에 따른 예시적인 음향 특징들의 변화들의 표현들을 예시적으로 도시한다.
도 8은 본 개시내용의 실시예에 따른, 호흡기 감염 증상들에 대한 붕괴 상수들의 그래픽 표현을 예시적으로 도시한다.
도 9는 본 개시내용의 실시예에 따른, 음향 특징들과 호흡기 감염 증상들 사이의 상관관계들의 그래픽 표현을 예시적으로 도시한다.
도 10은 본 개시내용의 실시예에 따른, 예시적인 개인들에 대한 시간 경과에 따른 자가-보고 증상 점수들의 변화의 그래픽 표현을 예시적으로 도시한다.
도 11a 내지 도 11b는 본 개시내용의 실시예에 따른, 상이한 음향 특징들에 대해 컴퓨팅된 거리 메트릭과 자가-보고 증상 점수들 사이의 순위 상관관계의 그래픽 표현들을 예시적으로 도시한다.
도 12a는 본 개시내용의 실시예에 따른, 상이한 개인들에 걸친 거리 메트릭들과 자가-보고 증상 점수들 사이의 순위 상관관계들의 그래프 표현을 예시적으로 도시한다.
도 12b는 본 개시내용의 실시예에 따른, 음향 특징 유형들과 음소들 사이의 통계적으로 유의한 상관관계들을 예시적으로 도시한다.
도 13은 본 개시내용의 실시예에 따른, 3명의 예시적인 개인에 대한 시간 경과에 따른 음향 특징들 및 자가-보고 증상들의 상대적 변화들의 그래픽 표현들을 예시적으로 도시한다.
도 14는 본 개시내용의 실시예에 따른, 호흡기 감염 검출기의 성능의 예시적인 표현들을 예시적으로 도시한다.
도 15a 내지 도 15m은 본 개시내용의 다양한 실시예들에 따른, 호흡기 병태들을 모니터링하기 위해 음향 특징들을 추출하기 위한 예시적인 컴퓨터 프로그램 루틴을 도시한다.
도 16은 본 개시내용의 실시예를 구현하는 데 사용하기에 적합한 예시적인 컴퓨팅 환경의 블록도이다.
본 개시내용의 주제는 법정 요건들을 충족시키기 위해 상이한 양상들의 도움과 함께 특정성이 있게 본원에 설명된다. 그러나, 설명 그 자체는 본 특허의 범위를 제한하도록 의도되지 않는다. 청구된 주제는, 다른 현재 또는 장래의 기술들과 함께, 본 개시내용에 설명된 것들과 유사한 단계들의 조합들 또는 상이한 단계들을 포함하도록 다른 방식들로 구현될 수 있다. 더욱이, "단계" 및/또는 "블록"이라는 용어들이 이용된 방법들의 상이한 요소들을 함축하기 위해 본원에서 사용될 수도 있지만, 이 용어들은 개별 단계들의 순서가 명시적으로 언급되지 않는 한 그리고 그러한 때를 제외하고는, 본원에 개시된 다양한 단계들 간의 또는 그 사이의 임의의 특정 순서를 암시하는 것으로서 해석되지 않아야 한다. 본원에 설명된 각각의 방법은, 하드웨어, 펌웨어, 및/또는 소프트웨어의 임의의 조합을 사용하여 수행될 수 있는 컴퓨팅 프로세스를 포함할 수 있다. 예를 들면, 컴퓨터 메모리에 저장된 명령어들을 실행하는 프로세서에 의해 다양한 기능들이 수행될 수 있다. 방법들은 또한, 컴퓨터 저장 매체 상에 저장된 컴퓨터 사용가능 명령어들로서 구현될 수 있다. 방법들은, 몇몇 예를 들자면, 독립형 애플리케이션, 서비스 또는 호스팅된 서비스(독립형이거나 다른 호스팅된 서비스와 조합됨), 또는 다른 제품에 대한 플러그-인에 의해 제공될 수 있다.
본 개시내용의 양상들은, 호흡기 병태 모니터링 및 케어를 위한 컴퓨터화된 의사결정 지원 툴들에 관한 것이다. 호흡기 병태들은 매년 대규모 집단에 영향을 미치고 경미함 내지 중증 범위의 증상들을 갖는다. 그러한 호흡기 병태들은, 인플루엔자와 같은 박테리아 또는 바이러스 인자들에 의해 유발되는 호흡기 감염들을 포함할 수 있거나 또는 비-감염성 호흡계 증상들을 포함할 수 있다. 본 개시내용의 일부 양상들이 호흡기 감염들을 설명하지만, 그러한 양상들은 일반적으로 호흡기 병태에 적용될 수 있는 것으로 고려된다.
개인들은 전형적으로, 새로운 또는 경도의 호흡기 증상들을 검출하는 것뿐만 아니라 증상들의 변화(즉, 증상들이 악화될 때 또는 증상들이 개선될 때)를 정량화하는 것을 어려워한다. 호흡기 병태의 객관적인 척도들은 통상적으로 개인이 의료 전문가를 만나고 검체 분석이 수행될 때에만 결정된다. 그러나, 호흡기 감염을 유발할 수 있는 바이러스 또는 박테리아 수준들은 전형적으로 자가-보고 증상들에 앞서 감염된 개인의 신체에서 피크에 달하며, 종종, 임의의 진단을 받기 전에 개인이 감염에 대해 인지하지 못하게 한다. 예를 들면, 인플루엔자 또는 코로나바이러스 질환 2019 (COVID-19)를 갖는 개인들은 증상들을 느끼기 전에 다른 사람들을 감염시킬 수 있다. 초기 단계들에서, 감염과 같은 호흡기 병태의 경도의 증상들을 객관적으로 측정하는 능력의 부재는, 다른 개인들에 대한 감염의 전염, 호흡기 병태의 더 긴 지속기간, 및 호흡기 병태의 더 큰 중증도의 가능성을 증가시킨다.
호흡기 병태들의 모니터링 및 케어를 개선하기 위해, 본 개시내용의 실시예들은, 사용자의 음성 기록들로부터의 음향 데이터에 기반하여 사용자의 호흡기 병태를 결정하고/거나 장래의 사용자의 호흡기 병태를 예보하기 위한 하나 이상의 의사결정 지원 툴을 제공할 수 있다. 예컨대, 사용자는, 오디오 데이터의 음소들의 음향 특징들(본원에서 음소 특징들로 또한 지칭될 수 있음)이 결정될 수 있도록 음성 기록들을 통해 오디오 데이터를 제공할 수 있다. 일 실시예에서, 각각의 기록이 상이한 시간 구간에 대응하도록 복수의 음성 기록들이 수신될 수 있다(예컨대, 음성 기록은 연속되는 날들에 걸쳐 매일 획득될 수 있음). 시간 경과에 따라 사용자의 호흡기 병태의 변화가 존재했는지 여부와 같은 사용자의 호흡기 병태에 관한 정보를 결정하기 위해, 상이한 시간 구간들로부터의 음소 특징 값들이 비교될 수 있다. 조치, 이를테면 경고 또는 의사결정 지원 권고는, 사용자의 호흡기 병태의 결정에 기반하여 사용자 및/또는 사용자의 임상의에게 자동으로 제공될 수 있다.
일 실시예에서, 그리고 본원에서 추가로 설명되는 바와 같이, 음향 정보는 마이크로폰과 같은 센서를 활용함으로써 모니터링되는 개인(본원에서 사용자로 또한 지칭될 수 있음)으로부터 수신될 수 있다. 음향 정보는, 사용자의 음성(예컨대, 발성들 또는 다른 호흡기 소리들)의 하나 이상의 기록을 포함할 수 있다. 음성 기록들은, 예컨대, 지속된 발성음(예컨대, "aaaaaaaa"), 스크립트된 발화, 또는 스크립트되지 않은 발화의 오디오 샘플들을 포함할 수 있다. 마이크로폰은, 사용자 컴퓨팅 디바이스, 이를테면, 스마트폰, 스마트워치, 또는 스마트 스피커에 통합되거나 다른 방식으로 결합될 수 있다. 일부 예시들에서, 음성 오디오 샘플들은 사용자의 가정에서 또는 사용자의 일상적인 활동들 동안 기록될 수 있고, 스마트 스피커 또는 다른 사용자 컴퓨팅 디바이스와의 사용자의 평범한 상호작용들 동안 기록된 데이터를 포함할 수 있다.
일부 실시예들은 또한, 사용자의 호흡기 병태를 모니터링하는 데 사용가능한 오디오 데이터를 제공하기 위한 절차를 통해 사용자를 안내하기 위한 명령어들을 생성 및/또는 제공할 수 있다. 예컨대, 도 4a, 도 4b, 및 도 4c는 각각, 사용자 컴퓨팅 디바이스(또는 사용자 디바이스)가 평가 연습의 일부로서 (예컨대, 텍스트 및/또는 가청 명령어들의 형태로) 사용자에게 명령어들을 출력하는 시나리오들을 도시한다. 명령어들은, 사용자에게 특정 소리들을 발성할 것을 그리고 일부 실시예들에서는 발성에 대한 지속기간(예컨대, "aah" 소리를 말하고 5 초 동안 유지하십시오")을 프롬프팅할 수 있다. 일부 실시예들에서, 명령어들은, 사용자가 할 수 있는 한 오랫동안 발성, 이를테면, /a/와 같은 기본 모음들 중 하나의 발성을 유지 또는 지속할 것을 사용자에게 요청할 수 있다. 그리고 일부 실시예들에서, 명령어들은, 쓰여진 구절을 큰 소리로 읽을 것을 사용자에게 요청하는 것을 포함한다. 일부 실시예들은, 음성 샘플들이 사용가능함을 보장하기 위한 피드백을 제공하는 것, 이를테면, 언제 시작/중단하는지를, 더 길게 발화할 것을, 더 긴 지속기간 동안 유지할 것을, 배경 잡음을 감소시킬 것을, 그리고/또는 품질 제어를 위한 다른 피드백을 사용자에게 지시하는 것을 더 포함할 수 있다.
일부 실시예들에서, 사용자로부터 수신된 오디오 데이터로부터 음소들과 같은 음향 및 음성 정보가 검출될 수 있다. 일 실시예에서, 검출된 음소들은 음소들 /a/, /m/, 및 /n/을 포함할 수 있다. 다른 실시예에서, 검출된 음소들은 /a/, /e/, /m/, 및 /n/을 포함한다. 본원에 설명된 기술들의 일부 실시예들에서, 검출된 음소는 호흡기 병태 검출 및 모니터링을 위한 생체지표를 결정하는 데 활용될 수 있다. 일단 음소들이 검출되면, 검출된 음소들의 음향 특징들이 오디오 데이터로부터 추출 또는 결정될 수 있다. 음향 특징들의 예들은, 제한 없이, 파워 및 파워 변동성, 피치 및 피치 변동성, 스펙트럼 구조, 및/또는 형성음(formant)들의 척도들을 특성화하는 데이터를 포함할 수 있다. 일부 실시예들에서, 오디오 데이터에서 검출된 상이한 음소들에 대해 상이한 특징 세트들(즉, 음향 특징들의 상이한 조합들)이 결정될 수 있다. 예시적인 실시예에서, /n/ 음소에 대해 12개의 특징이 결정되고, /m/ 음소에 대해 12개의 특징이 결정되며, /a/ 음소에 대해 8개의 특징이 결정된다. 일부 실시예들에서, 음소들을 검출하는 것 및/또는 음소 특징들을 결정하는 것을 용이하게 하기 위해, 전처리 또는 신호 컨디셔닝 동작들이 수행될 수 있다. 이러한 동작들은 예컨대, 오디오 샘플 데이터의 트리밍, 주파수 필터링, 정규화, 배경 잡음, 간헐적 스파이크들, 다른 음향 아티팩트들의 제거, 또는 본원에 설명되는 바와 같은 다른 동작들을 포함할 수 있다.
시간 경과에 따라 사용자로부터 오디오 데이터가 취득됨에 따라, 음소 특징 벡터들을 포함할 수 있는 다수의 음소 특징 세트들이 생성되고 상이한 시간 구간들과 연관될 수 있다. 일부 실시예들에서, 특징 세트들과 연관된 시간 정보에 따라, 시간순 또는 시간 역순으로 사용자에 대한 연속적인 음소 특징 세트들의 시계열이 어셈블링될 수 있다. 상이한 시간 인스턴스들 또는 구간들에서 연관된 특징 세트들 내의 특징들의 값들의 차이들 또는 변화들이 결정될 수 있다. 예컨대, 상이한 시간 인스턴스들 또는 구간들과 연관된 2개 이상의 음소 특징 벡터를 비교함으로써 사용자에 대한 음소 특징 벡터들의 차이들이 결정될 수 있다. 일 실시예에서, 차이는, 특징 벡터들 사이의 유클리드 거리와 같은 거리 메트릭을 컴퓨팅함으로써 결정될 수 있다. 일부 예시들에서, 비교에 활용되는 음소 특징 세트들 중 하나는 사용자에 대한 건강한 상태(healthy) 기준선을 표현한다. 건강한 상태 기준선 특징 세트는, 사용자가 호흡기 병태가 없는 것으로 알려져 있거나 추정될 때 취득된 오디오 데이터에 기반하여 결정될 수 있다. 유사하게, 사용자가 호흡기 병태를 가지고 있다고 알려져 있거나 추정될 때 획득된 오디오 데이터에 기반하여 결정되는 아픈 상태(sick) 기준선 특징 세트가 활용될 수 있다.
상이한 시간들로부터의 음소 특징 세트들 사이의 차이들에 기반하여, 사용자의 호흡기 병태의 결정에 관한 정보가 제공될 수 있다. 일부 실시예들에서, 본원에서 추가로 설명되는 바와 같이, 이러한 결정은 호흡기 병태 점수로서 제공될 수 있다. 호흡기 병태 점수는, 사용자가 (예컨대, 일반적으로 임의의 호흡기 병태에 대한 또는 특정 호흡기 병태에 대한) 감염과 같은 호흡기 병태를 가질(또는 갖지 않을) 가능성 또는 확률에 대응할 수 있다. 대안적으로 또는 그에 부가하여, 호흡기 병태 점수는, 사용자의 호흡기 병태가 개선되고 있는지, 악화되고 있는지, 또는 변하지 않고 있는지를 표시할 수 있다. 예를 들면, 도 4f의 예시적인 시나리오는, 본원에 설명된 바와 같이, 사용자의 음성 정보의 분석에 기반하여 사용자가 호흡기 병태로부터 회복되지 않고 있다고 결정되는 실시예를 도시한다. 다른 실시예들에서, 호흡기 병태 점수는, 사용자가 장래의 시간 구간 내에 호흡기 병태를 나타내거나, 여전히 갖고 있거나, 또는 그로부터 회복될 가능성을 표시할 수 있다. 도 4e의 예시적인 시나리오는, 감기를 앓고 있는 사용자가 다음 3 일 내에 더 낫다고 느낄 것으로 예측되는 실시예를 도시한다.
일부 실시예들에서, 사용자의 호흡기 병태를 결정하거나 예측하기 위해, 사용자의 음성 정보에 부가하여 컨텍스트 정보가 활용될 수 있다. 본원에서 추가로 설명되는 바와 같이, 컨텍스트 정보는, 제한 없이, 사용자에 대한 생리학적 데이터, 이를테면, 체온, 수면 데이터, 운동성(mobility) 정보, 자가-보고 증상들, 위치, 또는 날씨 관련 정보를 포함할 수 있다. 자가-보고 증상 데이터는, 예컨대, 코막힘(congestion)과 같은 특정 증상을 사용자가 느끼고 있는지 여부를 포함할 수 있고, 증상을 경험하는 것에 대한 중증도의 정도 또는 등급을 더 포함할 수 있다. 일부 예시들에서, 사용자 증상 정보를 취득하기 위해 증상 자가-보고 툴이 활용될 수 있다. 일부 실시예들에서, 자가-보고 정보를 제공하라는 자동 프롬프팅(또는 사용자에게 증상 데이터를 보고할 것을 요청하는 통지)은, 사용자의 음성 관련 데이터의 분석 또는 사용자에 대한 결정된 호흡기 병태에 기반하여 발생할 수 있다. 도 4d의 예시적인 시나리오는, 사용자의 음성의 분석에 기반하여 사용자가 아픈 상태가 되고 있을 수 있다고 결정되는 실시예를 도시한다. 이러한 실시예에서, 모니터링 소프트웨어 애플리케이션은, 사용자에게, 예컨대, 사용자가 특정 호흡기 관련 증상들(예컨대, 코막힘, 피곤함 등)을 느끼고 있는지 여부를 문의할 수 있다. 도 4d의 예는 추가로, 일단 사용자가 코막힘에 관해 긍정하면 코막힘의 중증도의 등급을 매기도록 사용자에게 프롬프팅되는 것을 도시한다. 이러한 사용자의 자가-보고 증상들은, 사용자의 호흡기 병태에 관한 부가적인 결정들 또는 예보들을 행하는 데 활용될 수 있다. 일부 실시예들에서, 다른 컨텍스트 정보, 이를테면, 사용자의 생리학적 데이터(예컨대, 심박수, 체온, 수면, 또는 다른 데이터), 날씨 관련 정보(예컨대, 습도, 온도, 오염, 또는 유사한 데이터), 위치, 또는 본원에 설명된 다른 컨텍스트 정보, 이를테면, 사용자의 지역에서의 호흡기 감염 발병들에 관한 정보가 활용될 수 있다.
병태의 변화(또는 변화 없음)를 포함할 수 있는 사용자의 호흡기 병태의 결정에 기반하여, 컴퓨팅 디바이스는 조치를 개시할 수 있다. 조치는, 예컨대, 사용자, 임상의, 또는 사용자에 대한 간병인에게 경고 또는 통지를 전자적으로 통신하는 것을 포함할 수 있다. 일부 실시예들에서, 통지 또는 경고는, 사용자의 호흡기 병태에 관한 정보, 이를테면 호흡기 병태 점수, 사용자의 호흡기 병태의 변화를 정량화하거나 특성화하는 정보, 호흡기 병태의 현재 상태, 및/또는 장래의 사용자의 호흡기 병태의 예측을 포함할 수 있다. 일부 실시예들에, 조치는, 사용자의 호흡기 병태에 기반하여 치료에 대한 권고 및 지원을 제공하는 것을 포함할 수 있는, 의사결정을 행하기 위해 호흡기 병태 정보를 처리하는 것을 더 포함할 수 있다. 예컨대, 권고는, 의료 제공자와 상담하는 것, 기존 처방 또는 일반의약품 의약을 계속하는 것(이를테면, 처방을 리필하는 것), 현재 치료 프로토콜의 투여량 또는 약물을 수정하는 것, 및/또는 호흡기 병태의 모니터링을 수정하는 것 또는 수정하지 않는 것(계속하는 것)을 포함할 수 있다. 일부 양상들에서, 조치는, 이들 또는 다른 권고들 중 하나 이상을 개시하는 것, 이를테면, 사용자의 의료 제공자와의 예약을 자동으로 스케줄링하는 것 및/또는 처방을 리필하기 위해 약국에 통지를 통신하는 것을 포함할 수 있다. 도 4f의 예시적인 시나리오는, 사용자의 호흡기 병태가 개선되고 있지 않다는 결정에 기반하여, 사용자의 의사에게 통지되고, 항생제에 대한 처방이 리필되어 사용자에 대한 전달이 스케줄링되는 실시예를 도시한다.
또 다른 유형의 조치는, 사용자의 호흡기 병태의 모니터링 또는 치료와 연관된 동작을 자동으로 개시하거나 수행하는 것을 포함할 수 있다. 예로서, 그리고 제한 없이, 이러한 동작은, 사용자의 의료 제공자와의 예약을 자동으로 스케줄링하는 것, 처방을 리필하기 위해 약국에 통지를 전송하는 것, 또는 사용자의 호흡기 병태를 모니터링하는 것과 연관된 절차들 또는 그러한 모니터링에 활용되는 컴퓨터 동작들을 수정하는 것을 포함할 수 있다. 예시적인 조치의 일 실시예에서, 사용자 음성 관련 데이터를 획득하거나 분석하는 데 활용되는 음성 분석 절차들, 이를테면 컴퓨터 프로그래밍 동작들이 수정된다. 그러한 일 실시예에서, 사용자가, 더 자주, 이를테면 하루에 두 번 음성 샘플들을 제공하도록 프롬프팅될 수 있거나, 이를테면, 음성 정보가 컴퓨팅 디바이스와의 평범한 상호작용들로부터 수집되는 실시예들에서, 음성 정보가 더 자주 수집될 수 있다. 그러한 다른 실시예에서, 호흡기 병태 모니터링 애플리케이션에 의해 수집 또는 분석되는 특정 음소(들) 또는 특징 정보가 수정될 수 있다. 일 실시예에서, 컴퓨터 프로그래밍 동작들은, 사용자가 이전에 제공되었던 소리들과 상이한 세트의 소리들을 내도록 지시받을 수 있게 수정될 수 있다. 유사하게, 다른 유형의 조치에서, 이전에 설명된 바와 같이, 증상 데이터를 제공할 것을 사용자에게 프롬프팅하도록 컴퓨터 프로그래밍 동작들이 수정될 수 있다.
다른 것들 중에서도, 본원에 설명된 기술들의 실시예들에 의해 제공될 수 있는 하나의 이점은 감염과 같은 호흡기 병태의 조기 검출이다. 이러한 실시예들에 따르면, 호흡기 소리들을 포함하는 사용자 발성들의 음향 특징들이 활용되어, 심지어 경도의 호흡기 증상들 또는 호흡기 병태의 징후들을 검출하고, 개인이 질병을 의심하기 전에(예컨대, 사용자가 증상이 있다고 느끼기 전에) 개인 또는 의료 제공자에게 병태를 경고할 수 있다. 호흡기 병태들의 조기 검출은, 감염의 지속기간 및/또는 중증도를 감소시키는 더 효과적인 개입으로 이어질 수 있다. 호흡기 감염들의 조기 검출은 또한 다른 개인들에 대한 전염의 위험을 감소시킬 수 있는데, 그 이유는, 감염된 개인이 마스크를 착용하는 것 또는 자가-격리하는 것과 같은 전염에 대한 예방책들을 그렇지 않았다면 그들이 따랐을 때보다 더 빨리 취할 수 있게 하기 때문이다. 이러한 방식으로, 이러한 실시예들은, 호흡기 감염을 포함하는 호흡기 병태 검출에 대한 종래의 접근법들에 비해 개선을 제공하며, 이 종래의 접근법들은, 사용자 보고 증상들에 의존하고, 그에 따라, 병태가 나중에 검출되게(또는 전혀 검출되지 않게) 한다. 이러한 종래의 접근법들은 또한, 사용자의 자가-보고 데이터의 주관성으로 인해 덜 정확하거나 부정확하다.
호흡기 감염들의 조기 검출은 또한 임상 시험들에서 유익할 수 있다. 예컨대, 백신에 대한 임상 시험에서, 개인의 증상들과 관심 감염 사이의 상관관계의 확인이 요구된다. 개인이 충분히 조기에 진단되지 않은 경우, 개인의 감염성 인자 부하가 너무 낮게 떨어져, 관심 감염에 대한 개인의 증상들의 상관관계를 확인하는 것이 가능하지 않을 수 있다. 확인 없이, 개인은 시험에 참여할 수 없다. 그에 따라서, 본원에 설명된 실시예들은, 더 효과적인 치료들을 위한 조기 검출을 행하는 데 활용될 수 있을 뿐만 아니라, 임상 시험들에 활용될 때, 이러한 실시예들은 새로운 잠재적인 치료들 또는 백신들을 개발하기 위한 더 높은 시험 참여를 가능하게 할 수 있다.
본원에 개시된 기술들의 실시예들에 의해 제공될 수 있는 다른 이점은, 호흡기 병태들을 모니터링하는 것에 대한 증가된 사용자 순응 가능성이다. 예컨대, 그리고 본원에서 추가로 설명되는 바와 같이, 사용자의 음성 기록들이, 가정에서 또는 의사의 클리닉을 벗어나서, 그리고 일부 양상들에서는, 개인이 일상 루틴들을 수행하는 동안, 예컨대, 일상적인 대화들을 수행하는 시간 동안 눈에 띄지 않게 획득될 수 있으며, 여기서, 개인에 대한 부담이 거의 존재하지 않는다. 사용자 데이터를 획득하는 것을 포함하여 호흡기 병태들을 모니터링하기 위한 덜 부담스러운 방식은 사용자 순응을 증가시킬 수 있으며, 이는 차례로, 조기 검출을 보장하는 것을 도울 수 있고, 호흡기 병태를 모니터링하기 위한 종래의 접근법들에 비해 다른 개선을 제공할 수도 있다.
본원에 개시된 기술들의 실시예들에 의해 제공될 수 있는 또 다른 이점은, 호흡기 병태들을 갖는 개인들을 치료함에 있어서의 개선된 정확성이다. 특히, 본 개시내용의 실시예들 중 일부는, 감염과 같은 잠재적인 호흡기 병태를 추적하여, 그 병태가 악화되고 있는지, 개선되고 있는지, 또는 변하지 않고 있는지를 결정할 수 있게 하며, 이는, 개인의 치료에 영향을 미칠 수 있다. 예컨대, 처음에 경도의 증상들을 갖는 개인은 즉시 약물을 투여하거나 치료를 받을 필요는 없을 수도 있다. 본 개시내용의 일부 실시예들은, 병태의 진행을 모니터링하고, 치료(예컨대, 약물)가 필요할 수 있거나 권고되는 시점까지 병태가 악화되는 경우에 개인 및/또는 의료 제공자에게 경고하는 데 활용될 수 있다. 부가적으로, 본 개시내용의 실시예들은, 개인이 감염과 같은 호흡기 병태로부터 회복 중인지의 여부, 및 그에 따라서 약물 및/또는 투여량을 변경하는 것과 같은 치료의 변화가 권고되는지 여부를 결정할 수 있다. 다른 예에서, 본 개시내용의 실시예들은, 사용자가 특정 암 치료 약물들과 같은 잠재적인 호흡기 관련 부작용들을 갖는 약물을 처방받을 때 사용자의 호흡기 병태를 결정하고, 사용자가 호흡기 관련 부작용들을 경험하고 있는지 여부 및 어느 정도까지 경험하고 있는지에 기반하여 치료의 변화가 권고되는지 여부를 결정할 수 있다. 이러한 방식으로, 본원에 설명된 기술들의 일부 실시예들은, 약물들, 그리고 특히, 항생제/항균 의약들과 같은 의약들의 더 정확한 활용을 가능하게 함으로써 종래의 기술들에 대한 개선을 제공할 수 있는데, 그 이유는, 그러한 의약들이 개인의 호흡기 병태의 객관적이고 정량화가능한 검출된 변화(들)에 기반하여 처방되거나 계속될 수 있기 때문이다.
이제 도 1을 참조하면, 본 개시내용의 일부 실시예들이 이용될 수 있는 예시적인 동작 환경(100)을 도시하는 블록도가 제공된다. 본원에 설명된 이러한 배열 및 다른 배열은 단지 예들로서 기재된다는 것이 이해되어야 한다. 다른 배열들 및 요소들(예컨대, 기계들, 인터페이스들, 기능들, 순서들, 및 기능들의 그룹화들)이 도 1뿐만 아니라 다른 도면들에 도시된 것들에 부가하여 또는 그 대신에 사용될 수 있으며, 일부 요소들은 명확화를 위해 완전히 생략될 수 있다. 추가로, 본원에 설명된 요소들 중 다수는 이산 또는 분산형 구성요소들로서 또는 다른 구성요소들과 함께 그리고 임의의 적합한 조합 및 위치로 구현될 수 있는 기능적 엔티티들이다. 본원에 설명된 다양한 기능들 또는 동작들은, 하드웨어, 펌웨어, 소프트웨어, 및 이들의 조합을 포함하는 하나 이상의 엔티티에 의해 수행되는 것이다. 예를 들면, 메모리에 저장된 명령어들을 실행하는 프로세서에 의해 일부 기능들이 수행될 수 있다.
도 1에 도시된 바와 같이, 예시적인 동작 환경(100)은, 다수의 사용자 디바이스들, 이를테면, 사용자 컴퓨터 디바이스들("사용자 디바이스들"로 상호교환가능하게 지칭됨)(102a, 102b, 102c 내지 102n) 및 임상의 사용자 디바이스(108); 하나 이상의 의사결정 지원 애플리케이션, 이를테면 의사결정 지원 애플리케이션들(105a 및 105b); 전자 건강 기록(EHR)(104); 하나 이상의 데이터 소스, 이를테면 데이터 저장소(150); 서버(106); 하나 이상의 센서, 이를테면 센서(들)(103); 및 네트워크(110)를 포함한다. 도 1에 도시된 동작 환경(100)은 하나의 적합한 동작 환경의 예라는 것이 이해되어야 한다. 도 1에 도시된 구성요소들 각각은, 예컨대, 도 16과 관련하여 설명된 컴퓨팅 디바이스(1700)와 같은 임의의 유형의 컴퓨팅 디바이스를 통해 구현될 수 있다. 이러한 구성요소들은, 제한 없이, 하나 이상의 근거리 네트워크(LAN) 및/또는 광역 네트워크(WAN)를 포함할 수 있는 네트워크(110)를 통해 서로 통신할 수 있다. 예시적인 구현들에서, 네트워크(110)는, 다양한 가능한 공용 및/또는 개인 네트워크들 중 임의의 것 중에서 인터넷 및/또는 셀룰러 네트워크를 포함할 수 있다.
임의의 수의 사용자 디바이스들(이를테면, 102a-n 및 108), 서버들(이를테면, 106), 의사결정 지원 애플리케이션들(이를테면, 105a-b), 데이터 소스들(이를테면, 데이터 저장소(150)), 및 EHR들(이를테면, 104)이 본 개시내용의 범위 내에서 동작 환경(100) 내에서 이용될 수 있다는 것이 이해되어야 한다. 각각의 요소는, 단일 디바이스 또는 구성요소, 또는 분산형 환경에서 협력하는 다수의 디바이스들 또는 구성요소들을 포함할 수 있다. 예를 들면, 서버(106)는, 본원에 설명된 기능성을 집합적으로 제공하는, 분산형 환경에 배열된 다수의 디바이스들을 통해 제공될 수 있다. 부가적으로, 본원에 도시되지 않은 다른 구성요소들이 또한 분산형 환경 내에 포함될 수 있다.
사용자 디바이스들(102a, 102b, 102c 내지 102n) 및 임상의 사용자 디바이스(108)는 동작 환경(100)의 클라이언트 측 상의 클라이언트 사용자 디바이스들일 수 있는 한편, 서버(106)는 동작 환경(100)의 서버 측 상에 있을 수 있다. 서버(106)는, 사용자 디바이스들(102a, 102b, 102c 내지 102n 및 108) 상의 클라이언트 측 소프트웨어와 함께 작동하여 본 개시내용에서 논의된 특징들 및 기능성들의 임의의 조합을 구현하도록 설계되는 서버 측 소프트웨어를 포함할 수 있다. 이러한 동작 환경(100)의 분할은 적합한 환경의 일 예를 예시하기 위해 제공되고, 서버(106)와 사용자 디바이스들(102a, 102b, 102c 내지 102n 및 108)의 임의의 조합이 별개의 엔티티들로서 남아 있을 것을 요구하지 않는다.
사용자 디바이스들(102a, 102b, 102c 내지 102n 및 108)은 사용자에 의한 사용이 가능한 임의의 유형의 컴퓨팅 디바이스를 포함할 수 있다. 예컨대, 일 실시예에서, 사용자 디바이스들(102a, 102b, 102c 내지 102n 및 108)은 본원에서 도 16과 관련하여 설명된 컴퓨팅 디바이스들의 유형일 수 있다. 제한이 아닌 예로서, 사용자 디바이스는, 개인용 컴퓨터(PC), 랩톱 컴퓨터, 모바일 또는 모바일 디바이스, 스마트폰, 스마트 스피커, 태블릿 컴퓨터, 스마트워치, 웨어러블 컴퓨터, 개인 휴대 정보 단말기(PDA) 디바이스, 뮤직 플레이어 또는 MP3 플레이어, 전역 위치결정 시스템(GPS), 비디오 플레이어, 핸드헬드 통신 디바이스, 게이밍 디바이스, 엔터테인먼트 시스템, 차량 컴퓨터 시스템, 내장형 시스템 제어기, 카메라, 원격 제어부, 가전기기, 소비자 전자 디바이스, 워크스테이션, 또는 이러한 기술된 디바이스들의 임의의 조합, 또는 임의의 다른 적합한 컴퓨터 디바이스로서 구현될 수 있다.
일부 사용자 디바이스들, 이를테면 사용자 디바이스들(102a, 102b, 102c 내지 102n)은, 하나 이상의 센서, 이를테면 센서(들)(103)를 통해 관찰되고 있는 사용자에 의해 사용되도록 의도될 수 있다. 일부 실시예들에서, 사용자 디바이스는, 통합 센서(센서(들)(103)와 유사함)를 포함하거나 외부 센서(103과 유사함)와 함께 동작할 수 있다. 예시적인 실시예들에서, 센서(들)(103)는 음향 정보를 감지한다. 예컨대, 센서(들)(103)는, 스마트 스피커, 스마트 모바일 디바이스, 스마트워치와 같은 스마트 디바이스와 함께 또는 그를 통해 구현되거나, 그에 통신가능하게 결합되거나, 또는 별개의 마이크로폰 디바이스로서 하나 이상의 마이크로폰(또는 마이크로폰 어레이)을 포함할 수 있다. 생리학적 센서들(예컨대, 심박수, 혈압, 혈중 산소 수준들, 온도 및 관련 데이터를 검출하는 센서들)과 같은 다른 유형들의 센서들이 또한 사용자 디바이스들에 통합되거나 그와 함께 작동할 수 있다. 그러나, 본 개시내용의 실시예들에 따른 개인에 관한 생리학적 정보는 또한, EHR(104)의 개인의 이력 데이터로부터 또는 인간 측정들 또는 인간 관찰들로부터 수신될 수 있는 것으로 고려된다. 동작 환경(100)에서 구현될 수 있는 부가적인 유형들의 센서는, 사용자 위치를 검출하도록 구성되는 센서(예컨대, 실내 위치결정 시스템(IPS) 또는 전역 위치결정 시스템(GPS)); 대기 정보를 검출하도록 구성되는 센서(예컨대, 온도계, 습도계, 또는 기압계); 주변 광을 검출하도록 구성되는 센서(예컨대, 광검출기); 및 모션을 검출하도록 구성되는 센서(예컨대, 자이로스코프 또는 가속도계)를 포함한다.
일부 양상들에서, 센서(들)(103)는, 사용자에 의해 휴대되는 스마트폰(이를테면, 사용자 디바이스(102c)) 또는 개인이 위치될 수 있는 하나 이상의 영역에 위치되는 스마트 스피커(이를테면, (사용자 디바이스(102b))와 함께 또는 그를 통해 동작가능할 수 있다. 예컨대, 센서(들)(103)는, 사용자의 음성을 포함하여 스마트 스피커로부터 최대 거리 내에서 발생하는 소리 정보를 감지할 수 있는, 개인의 가정에 위치된 스마트 스피커에 통합되는 마이크로폰일 수 있다. 센서(들)(103)는 대안적으로, 착용자의 신체 상에 또는 그 근처에 위치된 디바이스에 통합되는 센서들과 같이 다른 방식들로 통합될 수 있는 것으로 고려된다. 다른 양상들에서, 센서(들)(103)는, 사용자의 피부에 부착되는 피부-패치 센서; 섭취가능 또는 피하 센서, 또는 사용자의 생활 환경(텔레비전, 온도조절기, 초인종, 카메라, 또는 다른 기기들을 포함함)에 통합되는 센서 구성요소들일 수 있다.
데이터는, 연속적으로, 주기적으로, 필요에 따라, 또는 이용가능하게 됨에 따라 센서(들)(103)에 의해 취득될 수 있다. 추가로, 센서(들)(103)에 의해 취득된 데이터는 시간 및 날짜 정보와 연관될 수 있고, 측정된 변수들의 하나 이상의 시계열로서 표현될 수 있다. 실시예에서, 센서(들)(103)는 미가공 센서 정보를 수집할 수 있고, 신호 처리, 변수 의사결정 통계 형성, 누적 합산, 트렌딩, 웨이블릿 처리, 임계 설정, 의사결정 통계의 계산 처리, 의사결정 통계의 논리적 처리, 전처리, 및/또는 신호 컨디셔닝을 수행할 수 있다. 일부 실시예들에서, 센서(들)(103)는, 아날로그 오디오 정보의 디지털 오디오 샘플링을 수행하기 위한 아날로그-디지털 변환기(analog-to-digital converter)(ADC) 및/또는 처리 기능성을 포함할 수 있다. 일부 실시예들에서, 디지털 오디오 정보를 결정하기 위해 디지털 오디오 샘플링을 수행하기 위한 아날로그-디지털 변환기 및/또는 처리 기능성은, 사용자 디바이스들(102a-n) 중 임의의 것 상에 또는 서버(106) 상에 구현될 수 있다. 대안적으로, 이러한 신호 처리 기능들 중 하나 이상은, 사용자 디바이스, 이를테면, 사용자 디바이스들(102a-n) 또는 임상의 사용자 디바이스(108), 서버(106), 및/또는 의사결정 지원 애플리케이션(앱)들(105a 또는 105b)에 의해 수행될 수 있다.
일부 사용자 디바이스들, 이를테면 임상의 사용자 디바이스(108)는, 센서(들)(103)와 연관된 사용자를 치료하거나 또는 다른 방식으로 모니터링하는 임상의에 의해 사용되도록 구성될 수 있다. 임상의 사용자 디바이스(108)는, 하나 이상의 컴퓨팅 디바이스, 이를테면, 사용자 디바이스들(102a-n) 또는 서버(106)로서 구현될 수 있으며, 네트워크(110)를 통해 EHR(104)에 통신가능하게 결합된다. 동작 환경(100)은, 네트워크(110)를 통한 임상의 사용자 디바이스(108)와 EHR(104) 사이의 간접적인 통신가능한 결합을 도시한다. 그러나, 임상의 사용자 디바이스(108)의 실시예는 EHR(104)에 직접 통신가능하게 결합될 수 있는 것으로 고려된다. 임상의 사용자 디바이스(108)의 실시예는, 임상의 사용자 디바이스(108) 상의 소프트웨어 애플리케이션 또는 애플리케이션들의 세트에 의해 동작되는 사용자 인터페이스(도 1에 도시되지 않음)를 포함할 수 있다. 일 실시예에서, 애플리케이션은 웹 기반 애플리케이션 또는 애플릿일 수 있다. 이러한 애플리케이션의 일 예는, 도 3a와 관련하여 설명되는 예시적인 대시보드(3108)와 같은 임상의 대시보드를 포함한다. 본원에 설명된 실시예들에 따르면, 의료 제공자 애플리케이션(예컨대, 임상의 사용자 디바이스(108) 상에서 동작할 수 있는 임상의 애플리케이션, 이를테면 대시보드 애플리케이션)은, 음향 특징들 및/또는 호흡기 병태 데이터가 결정될 수 있는 특정 환자 또는 환자들의 집단에 관한 정보에 액세스하고 그를 수신하는 것을 용이하게 할 수 있다. 임상의 사용자 디바이스(108)(또는 그 상에서 동작하는 임상의 애플리케이션)의 일부 실시예들은 추가로, 환자 이력; 의료 리소스 데이터; 생리학적 변수들 또는 데이터(예컨대, 활력 징후들); 측정치들, 시계열; 나중에 설명되는 예측들(결정된 결과를 플롯팅하거나 디스플레이하는 것 및/또는 경고를 송출하는 것을 포함함); 또는 다른 건강 관련 정보를 포함하는 특정 환자 또는 환자들의 집단에 관한 정보에 액세스하고 그를 수신하는 것을 용이하게 할 수 있다. 임상의 사용자 디바이스(108)는 추가로, 예컨대, 결과들, 권고들, 또는 지시들의 디스플레이를 용이하게 할 수 있다. 실시예에서, 임상의 사용자 디바이스(108)는, 호흡기 병태의 모니터링의 결과들 및 본원에 설명된 결정들 또는 예측들에 기반하여 환자에 대한 지시들을 수신하는 것을 용이하게 할 수 있다. 임상의 사용자 디바이스(108)는 또한, 다양한 실시예들과 함께 본원에 설명된 기술의 성능의 평가 또는 진단 서비스들을 제공하는 데 사용될 수 있다.
의사결정 지원 애플리케이션들(105a 및 105b)의 실시예들은, 하나 이상의 서버 상에 상주하거나, 클라우드 컴퓨팅 환경에 분산(예컨대, 의사결정 지원 애플리케이션(105b))되거나, 또는 하나 이상의 클라이언트 컴퓨팅 디바이스, 이를테면, 개인용 컴퓨터, 랩톱, 스마트폰, 태블릿, 모바일 컴퓨팅 디바이스, 또는 백-엔드 컴퓨팅 시스템들과 통신하는 프론트-엔드 단말기들, 또는 사용자 디바이스들(102a-n) 중 임의의 사용자 디바이스 상에 상주(예컨대, 의사결정 지원 애플리케이션(105a))하는 소프트웨어 애플리케이션 또는 애플리케이션들의 세트(프로그램들, 루틴들, 함수들, 또는 컴퓨터에 의해 수행되는 서비스들을 포함할 수 있음)를 포함할 수 있다. 실시예에서, 의사결정 지원 애플리케이션들(105a 및 105b)은, 본 개시내용의 실시예에 의해 제공되는 사용자 서비스들에 액세스하는 데 사용가능한 클라이언트 기반 및/또는 웹 기반 애플리케이션들(또는 앱) 또는 애플리케이션들(또는 앱들)의 세트를 포함할 수 있다. 그러한 일 실시예에서, 의사결정 지원 애플리케이션들(105a 및 105b) 각각은, 본 개시내용의 실시예들에 의해 결정된 예측들 및 평가들을 포함하여, 사용자 디바이스들(102a-n), 임상의 사용자 디바이스(108), 센서(들)(103), EHR(104), 또는 데이터 저장소(150)로부터 취득된 정보를 처리하고, 그를 해석하고, 그에 액세스하고, 그를 저장하고, 그를 리트리브(retrieve)하고, 그를 통신하는 것을 용이하게 할 수 있다.
의사결정 지원 애플리케이션들(105a 및 105b)을 통한 정보의 활용 및 리트리벌(retrieval), 또는 연관된 기능성의 활용은, 사용자, 이를테면, 환자 또는 임상의가 자격증명들로 로그인할 것을 요구할 수 있다. 추가로, 의사결정 지원 애플리케이션들(105a 및 105b)은, 임상의, 환자, 연관된 의료 시설 또는 시스템에 의해 정의된 개인정보 설정들, 및/또는 건강 정보를 보호하는 것에 관한 적용가능한 지역 및 연방 규칙들 및 규정들, 이를테면, 건강 보험 양도 및 책임 법률(Health Insurance Portability and Accountability Act)(HIPAA) 규칙들 및 규정들에 따라 데이터를 저장 및 송신할 수 있다.
실시예에서, 의사결정 지원 애플리케이션들(105a 및 105b)은, 네트워크(110)를 통해 임상의 사용자 디바이스(108) 또는 사용자 디바이스들(102a-n)에 직접 통지(이를테면, 경보 또는 표시)를 통신할 수 있다. 이러한 애플리케이션들이 이러한 디바이스들 상에서 동작하고 있지 않은 경우, 그들은 의사결정 지원 애플리케이션들(105a 및 105b)이 동작하고 있는 임의의 다른 디바이스 상에 통지를 표면화(surface)할 수 있다. 의사결정 지원 애플리케이션들(105a 및 105b)은 또한, 임상의 사용자 디바이스(108) 또는 사용자 디바이스들(102a-n)에 유지보수 표시들을 전송 또는 표면화할 수 있다. 추가로, 예컨대, 센서(들)(103)에 대한 기능들 또는 정보, 이를테면, 동작 설정들 또는 파라미터들, 사용자 식별, 센서(들)(103) 상에 저장된 사용자 데이터, 및 센서(들)(103)에 대한 진단 서비스들 또는 펌웨어 업데이트들에 대한 사용자(임상의/간병인 또는 환자를 포함함)에 의한 액세스를 용이하게 하기 위해 의사결정 지원 애플리케이션들(105a 및 105b)에서 인터페이스 구성요소가 사용될 수 있다.
추가로, 의사결정 지원 애플리케이션들(105a 및 105b)의 실시예들은, 센서(들)(103)로부터 직접 또는 간접적으로 센서 데이터를 수집할 수 있다. 도 2와 관련해서 설명된 바와 같이, 의사결정 지원 애플리케이션들(105a 및 105b)은, 센서 데이터를 활용하여 음향 특징들을 추출 또는 결정하고 호흡기 병태들 및/또는 증상들을 결정할 수 있다. 일 양상에서, 의사결정 지원 애플리케이션들(105a 및 105b)은, 다양한 그래픽, 오디오, 또는 다른 사용자 인터페이스들, 이를테면, 도 5a 내지 도 5e에 도시된 예시적인 그래픽 사용자 인터페이스(GUI)들을 포함하는 사용자 디바이스, 이를테면 사용자 디바이스들(102a-n 및 108)을 통해 사용자에게 그러한 프로세스들의 결과들을 디스플레이하거나 다른 방식으로 제공할 수 있다. 이러한 방식으로, 도 2와 관련하여 아래에 논의되는 하나 이상의 구성요소의 기능성은 의사결정 지원 애플리케이션들(105a 및 105b)과 함께 동작하거나 그의 일부이거나 또는 그에 의해 제어되는 컴퓨터 프로그램들, 루틴들, 또는 서비스들에 의해 수행될 수 있다. 그에 부가하여 또는 대안적으로, 의사결정 지원 애플리케이션들(105a 및 105b)은 의사결정 지원 툴들, 이를테면 도 2의 의사결정 지원 툴(들)(290)을 포함할 수 있다.
위에 언급된 바와 같이, 동작 환경(100)은, 모니터링되는 개인과 연관될 수 있는 하나 이상의 EHR(104)을 포함한다. EHR(104)은, 네트워크(110)를 통해 사용자 디바이스들(102a-n 및 108)에 직접 또는 간접적으로 통신가능하게 결합될 수 있다. 일부 실시예들에서, EHR(104)은 상이한 소스들로부터의 건강 정보를 표현할 수 있고, 별개의 기록 시스템들, 이를테면, 상이한 임상의 사용자 디바이스들(이를테면, 108)에 대한 별개의 EHR 시스템들로서 구현될 수 있다. 결과적으로, 임상의 사용자 디바이스들(이를테면, 108)은 상이한 제공자 네트워크들 또는 케어 시설들의 임상의들을 위한 것일 수 있다.
EHR(104)의 실시예들은, 데이터 저장소(150) 상에 저장될 수 있는 건강 기록들 또는 건강 정보의 하나 이상의 데이터 저장소를 포함할 수 있고, 건강 기록들을 저장하고 리트리브하는 것을 용이하게 하는 하나 이상의 컴퓨터 또는 서버(이를테면, 서버(106))를 더 포함할 수 있다. 일부 실시예들에서, EHR(104)은, 클라우드 기반 플랫폼으로서 구현될 수 있거나 다수의 물리적 위치들에 걸쳐 분산될 수 있다. EHR(104)은, 예컨대, 웨어러블, 병상, 또는 가정-내 환자 모니터들과 같은, 실시간 또는 거의 실시간 환자(또는 사용자) 정보를 저장할 수 있는 기록 시스템들을 더 포함할 수 있다.
데이터 저장소(150)는 하나 이상의 데이터 소스 및/또는 컴퓨터 데이터 저장 시스템을 표현할 수 있으며, 이들은, 동작 환경(100) 또는 도 2와 관련하여 설명된 시스템(200)의 다양한 구성요소들 중 임의의 것이 데이터를 이용가능하게 하도록 구성된다. 일 실시예에서, 데이터 저장소(150)는, 시스템(200)의 데이터 수집 구성요소(210)가 이용가능할 수 있는 센서 데이터를 제공할 수 있다(또는 액세스에 이용가능하게 함). 데이터 저장소(150)는 단일 데이터 저장소 또는 복수의 데이터 저장소들을 포함할 수 있고, 로컬로 그리고/또는 원격으로 위치될 수 있다. 데이터 저장소(150)의 일부 실시예들은, 클라우드 환경에 위치된 서버들(이를테면, 서버(106)) 상의 저장소를 포함하는 네트워킹된 저장소 또는 분산형 저장소를 포함할 수 있다. 데이터 저장소(150)는 사용자 디바이스들(102a-n 및 108) 및 서버(106)와 별개일 수 있거나 또는 그러한 디바이스들 중 적어도 하나와 통합되고/거나 그에 포함될 수 있다.
운영 환경(100)은, (도 2에 도시되고 그와 관련하여 설명된) 시스템(200)의 하나 이상의 구성요소, 또는 음성 데이터 또는 컨텍스트 정보를 수집하고; 그러한 데이터를 수집하기 위한 사용자와의 상호작용들을 용이하게 하고; 가능한 또는 알려져 있는 호흡기 병태(예컨대, 호흡기 감염 또는 비-감염성 호흡기 증상들)를 추적하고/거나; 의사결정 지원 툴(이를테면, 도 2의 의사결정 지원 툴(들)(290))을 구현하기 위한 구성요소들 또는 동작들을 포함하여 이러한 구성요소들에 의해 수행되는 동작들을 구현하는 데 활용될 수 있다. 동작 환경(100)은 또한, 도 6a 및 도 6b 각각과 함께 설명된 바와 같은 방법들(6100 및 6200)의 양상들을 구현하기 위해 활용될 수 있다.
이제 도 2를 참조하고 도 1을 계속 참조하면, 본 개시내용의 실시예를 구현하기에 적합하고 일반적으로 시스템(200)으로 지정된 예시적인 컴퓨팅 시스템 아키텍처의 양상들을 도시하는 블록도가 제공된다. 시스템(200)은 단지 적합한 컴퓨팅 시스템 아키텍처의 하나의 예를 표현한다. 다른 배열들 및 요소들이 도시된 것들에 부가하여 또는 그 대신에 사용될 수 있으며, 일부 요소들은 명확화를 위해 완전히 생략될 수 있다. 추가로, 도 1의 동작 환경(100)과 유사하게, 본원에 설명된 요소들 중 다수는 이산 또는 분산형 구성요소들로서 또는 다른 구성요소들과 함께 그리고 임의의 적합한 조합 및 위치로 구현될 수 있는 기능적 엔티티들이다.
예시적인 시스템(200)은, 도 1과 관련하여 설명되고 데이터 수집 구성요소(210), 제시 구성요소(220), 사용자 음성 모니터(260), 사용자 상호작용 관리자(280), 호흡기 병태 추적기(270), 의사결정 지원 툴(들)((290), 및 저장소(250)를 포함하는 시스템(200)의 구성요소들에 통신가능하게 결합되는 네트워크(110)를 포함한다. 이러한 구성요소들 중 하나 이상은, 예컨대, 도 16과 관련하여 설명되는 하나 이상의 컴퓨터 시스템, 이를테면 컴퓨팅 디바이스(1700) 상에서 수행되는 한 세트의 컴파일된 컴퓨터 명령어들 또는 기능들, 프로그램 모듈들, 컴퓨터 소프트웨어 서비스들, 또는 프로세스들의 배열로서 구현될 수 있다.
일 실시예에서, 시스템(200)의 구성요소들에 의해 수행되는 기능들은 하나 이상의 의사결정 지원 애플리케이션, 서비스, 또는 루틴(이를테면, 도 1의 의사결정 지원 애플리케이션들(105a-b))과 연관된다. 특히, 그러한 애플리케이션들, 서비스들, 또는 루틴들은 하나 이상의 사용자 디바이스 및 서버에 걸쳐 분산되거나 클라우드 환경(도시되지 않음)에서 구현되는, 하나 이상의 사용자 디바이스(이를테면, 사용자 디바이스(102a) 및/또는 임상의 사용자 디바이스(108)) 또는 서버(이를테면, 서버(106)) 상에서 동작할 수 있다. 더욱이, 일부 실시예들에서, 시스템(200)의 이러한 구성요소들은, 클라우드 환경에서 하나 이상의 서버(이를테면, 서버(106)) 및 클라이언트 디바이스(이를테면, 사용자 컴퓨터 디바이스들(102a-n) 또는 임상의 사용자 디바이스(108))를 연결하는 네트워크에 걸쳐 분산될 수 있거나, 또는 사용자 디바이스, 이를테면, 사용자 디바이스들(102a-n) 또는 임상의 사용자 디바이스(108) 중 임의의 것 상에 상주할 수 있다. 더욱이, 이러한 구성요소들에 의해 수행되는 기능들 또는 서비스들은, 컴퓨팅 시스템(들)의 적절한 추상화 계층(들), 이를테면, 운영 체제 계층, 애플리케이션 계층, 하드웨어 계층 등에서 구현될 수 있다. 대안적으로 또는 그에 부가하여, 이러한 구성요소들 및/또는 본원에 설명된 실시예들의 기능성은, 하나 이상의 하드웨어 논리 구성요소에 의해 적어도 부분적으로 수행될 수 있다. 예컨대, 제한 없이, 사용될 수 있는 하드웨어 논리 구성요소들의 예시적인 유형들은, 필드 프로그래밍가능 게이트 어레이(FPGA)들, 주문형 집적 회로(ASIC)들, 주문형 표준 제품(ASSP)들, 시스템-온-칩 시스템(SoC)들, 복합 프로그래밍가능 논리 디바이스(CPLD)들 등을 포함한다. 부가적으로, 예시적인 시스템(200)에서 도시된 특정 구성요소들과 관련하여 기능성이 본원에 설명되지만, 일부 실시예들에서, 이러한 구성요소들의 기능성은 다른 구성요소들에 걸쳐 공유되거나 분산될 수 있는 것으로 고려된다.
도 2에 대해 계속해서, 데이터 수집 구성요소(210)는 일반적으로, 본 개시내용의 실시예들에서 활용하기 위해, 하나 이상의 데이터 소스로부터의 데이터, 이를테면, 도 1의 센서(들)(103) 및/또는 데이터 저장소(150)로부터의 데이터에 액세스하거나 그를 수신하는 것(및 일부 경우들에서는 그를 식별하는 것)을 담당할 수 있다. 일부 실시예들에서, 데이터 수집 구성요소(210)는, 시스템(200)의 다른 구성요소들, 이를테면, 사용자 음성 모니터(260), 사용자 상호작용 관리자(280), 및/또는 호흡기 병태 추적기(270)에 대해 특정 사용자(또는 일부 경우들에서, 크라우드소싱된 데이터를 포함하는 복수의 사용자들)에 대해 취득된 센서 데이터의 축적을 용이하게 하기 위해 이용될 수 있다. 이러한 데이터는, 데이터 수집 구성요소(210)에 의해 수신(또는 액세스)되고, 누적되고, 재-포맷팅되고/거나 결합될 수 있고, 하나 이상의 데이터 저장소, 이를테면 저장소(250)에 저장될 수 있으며, 여기서, 그 저장소는 시스템(200)의 다른 구성요소들이 이용가능할 수 있다. 예컨대, 사용자 데이터는, 본원에 설명된 바와 같이, 개인 기록(240)에 저장되거나 그와 연관될 수 있다. 부가적으로 또는 대안적으로, 일부 실시예들에서, 임의의 개인 식별가능 데이터(즉, 특정 사용자들을 구체적으로 식별하는 사용자 데이터)는 업로드되지 않고, 하나 이상의 데이터 소스로부터 다른 방식으로 제공되고, 영구적으로 저장되지 않고/거나, 시스템(200)의 다른 구성요소들이 이용가능하게 되지 않는다. 일 실시예에서, 사용자 개인정보가 보존되도록 사용자 관련 데이터가 암호화되거나 또는 다른 보안 조치들이 구현된다. 다른 실시예에서, 사용자는, 본원에 설명된 기술들에 의해 제공되는 서비스들에 참여하거나 그를 탈퇴할 수 있고/거나 이러한 기술들에 의해 어느 사용자 데이터 및/또는 사용자 데이터의 어느 소스들이 활용될지를 선택할 수 있다.
본 개시내용의 실시예들에서 활용되는 데이터는 다양한 소스들로부터 수신될 수 있고 다양한 포맷들로 이용가능할 수 있다. 예컨대, 일부 실시예들에서, 데이터 수집 구성요소(210)를 통해 수신된 사용자 데이터는 하나 이상의 센서(이를테면, 도 1의 센서(들)(103))를 통해 결정될 수 있으며, 이는, 하나 이상의 사용자 디바이스(이를테면, 사용자 디바이스(102a)), 서버(이를테면, 서버(106)), 및/또는 다른 컴퓨팅 디바이스들에 저장되거나 그와 연관될 수 있다. 본원에서 사용되는 바와 같이, 센서는, 정보, 이를테면, 데이터 저장소(150)로부터의 사용자 데이터를 감지, 검출, 또는 다른 방식으로 획득하기 위한 기능, 루틴, 구성요소, 또는 이들의 조합을 포함할 수 있으며, 하드웨어, 소프트웨어, 또는 둘 모두로서 구현될 수 있다. 앞서 언급된 바와 같이, 제한이 아닌 예로서, 하나 이상의 센서로부터 감지 또는 결정되는 데이터는, 음향 정보(사용자 발화, 말소리(utterance)들, 호흡, 기침, 또는 다른 목소리들로부터의 정보를 포함함); 모바일 디바이스로부터 결정될 수 있는 위치 정보, 이를테면, 실내 위치결정 시스템(IPS) 또는 전역 위치결정 시스템(GPS) 데이터; 대기 정보, 이를테면, 온도, 습도, 및/또는 오염; 생리학적 정보, 이를테면, 체온, 심박수, 혈압, 혈중 산소 수준들, 수면 관련 정보; 모션 정보, 이를테면, 가속도계 또는 자이로스코프 데이터; 및/또는 주변 광 정보, 이를테면 광검출기 정보를 포함할 수 있다.
일부 양상들에서, 데이터 수집 구성요소(210)에 의해 수집되는 센서 정보는, 사용자 디바이스(들)의 추가적인 속성들 또는 특성들(이를테면, 디바이스 상태, 충전 데이터, 날짜/시간, 또는 모바일 디바이스 또는 스마트 스피커와 같은 사용자 디바이스로부터 도출되는 다른 정보); 일부 실시예들에서, 하나 초과의 사용자 디바이스 상에서 발생하는 사용자 활동을 포함하는 사용자 활동 정보(예컨대, 앱 사용, 온라인 활동, 온라인 검색, 자동 발화 인식과 같은 음성 데이터, 또는 활동 로그); 사용자 이력; 세션 로그들; 애플리케이션 데이터; 연락처들; 캘린더 및 스케줄 데이터; 통지 데이터; 소셜 네트워크 데이터; 뉴스(예컨대, 지리학적 지역에서의 호흡기 감염 수 또는 비율들에 관한 정보를 제공할 수 있는, 검색 엔진들, 소셜 네트워크들, 건강 부서 통지들 상의 인기 있는 또는 트렌딩 항목들을 포함함); 전자상거래 활동(아마존닷컴(Amazon.com®), 구글(Google®), 이베이(eBay®), 페이팔(PayPal®) 등과 같은 온라인 계정들로부터의 데이터를 포함함); 사용자 계정(들) 데이터(개인 비서 애플리케이션 또는 서비스와 연관된 사용자 선호도들 또는 설정들로부터의 데이터를 포함할 수 있음); 홈 센서 데이터; 가전기기 데이터; 차량 신호 데이터; 트래픽 데이터; 다른 웨어러블 디바이스 데이터; 다른 사용자 디바이스 데이터(예컨대, 디바이스 설정들, 프로파일들, 네트워크 관련 정보(예컨대, 네트워크 이름 또는 ID, 도메인 정보, 작업그룹 정보, 연결 데이터, 와이파이(wireless fidelity)(Wi-Fi) 네트워크 데이터, 또는 구성 데이터, 모델 번호, 펌웨어, 장비, 이를테면, 사용자가 블루투스(Bluetooth) 헤드셋과 페어링된 모바일 폰을 갖는 경우의 디바이스 페어링들에 관한 데이터, 또는 다른 네트워크 관련 정보)); 결제 또는 신용 카드 사용 데이터(예컨대, 사용자의 페이팔® 계정으로부터의 정보를 포함할 수 있음); 구매 이력 데이터(이를테면, 사용자의 아마존닷컴® 또는 온라인 약국 계정으로부터의 정보); 사용자와 연관된 센서 구성요소로부터 도출된 데이터(위치, 모션, 배향, 위치결정, 사용자 액세스, 사용자 활동, 네트워크 액세스, 사용자 디바이스 충전, 또는 하나 이상의 센서 구성요소에 의해 제공되는 것이 가능한 다른 데이터를 포함함)를 포함하는 센서(또는 다른 검출기) 구성요소(들)에 의해 감지되거나 다른 방식으로 검출될 수 있는 다른 센서 데이터; 다른 데이터에 기반하여 도출되는 데이터(예컨대, 와이파이, 셀룰러 네트워크, 또는 인터넷 프로토콜(IP) 어드레스 데이터로부터 도출될 수 있는 위치 데이터); 및 본원에 설명된 바와 같이, 감지되거나 결정될 수 있는 거의 모든 다른 데이터 소스를 더 포함할 수 있다.
일부 양상들에서, 데이터 수집 구성요소(210)는, 데이터 스트림들 또는 신호들의 형태로 수집된 데이터를 제공할 수 있다. "신호"는 대응하는 데이터 소스로부터의 데이터의 공급 또는 스트림일 수 있다. 예컨대, 사용자 신호는, 스마트 스피커, 스마트폰, 웨어러블 디바이스(예컨대, 피트니스 트래커 또는 스마트워치), 홈 센서 디바이스, (예컨대, 위치 좌표들을 위한) GPS 디바이스, 차량 센서 디바이스, 사용자 디바이스, 캘린더 서비스, 이메일 계정, 신용 카드 계정, 가입 서비스, 뉴스 또는 통지 피드, 웹사이트, 포털, 또는 임의의 다른 데이터 소스들로부터 취득된 사용자 데이터일 수 있다. 일부 실시예들에서, 데이터 수집 구성요소(210)는, 연속적으로, 주기적으로, 또는 필요에 따라 데이터를 수신하거나 그에 액세스한다.
추가로, 동작 환경(200)의 사용자 음성 모니터(260)는 일반적으로, 호흡기 병태를 검출 또는 모니터링하기 위해 활용될 수 있는 사용자 음성 관련 데이터를 수집 또는 결정하는 것을 담당할 수 있다. 음성 관련 데이터(본원에서 "음성 데이터" 또는 "음성 정보"로 상호교환가능하게 지칭됨)라는 용어는 본원에서 광범위하게 사용되며, 예로서, 그리고 제한 없이, 사용자 발화와 관련된 데이터, 발성들 또는 목소리들을 포함하는 말소리들, 또는 호흡, 기침, 재채기, 또는 코 훌쩍거림과 같은 사용자의 입 또는 코에 의해 생성되는 다른 소리들을 포함할 수 있다. 사용자 음성 모니터(260)의 실시예들은, 오디오 또는 음향 정보(예컨대, 발성들 또는 음성 샘플들의 오디오 기록들), 및 일부 양상에서는, 데이터 수집 구성요소(210)에 의해 수신될 수 있는 컨텍스트 정보를 획득하는 것을 용이하게 할 수 있다. 사용자 음성 모니터(260)의 실시예들은, 이러한 오디오 데이터로부터 관련된 음성 관련 정보, 이를테면 음소 특징들을 결정할 수 있다. 사용자 음성 모니터(260)는, 연속적으로, 주기적으로, 또는 필요에 따라 데이터를 수신할 수 있고, 유사하게, 연속적으로, 주기적으로, 또는 필요에 따라, 호흡기 병태들을 모니터링하기 위해 활용되는 음성 정보를 추출하거나 다른 방식으로 결정할 수 있다.
시스템(200)의 예시적인 실시예에서, 사용자 음성 모니터(260)는, 소리 기록 최적화기(2602), 음성 샘플 수집기(2604), 신호 준비 프로세서(2606), 샘플 기록 감사기(auditor)(2608), 음소 세그먼트화기(2610), 음향 특징 추출기(2614), 및 컨텍스트 정보 결정기(2616)를 포함할 수 있다. 사용자 음성 모니터(260)의 다른 실시예(도시되지 않음)에서, 이러한 하위 구성요소들 중 일부만이 포함될 수 있거나 또는 부가적인 하위 구성요소들이 부가될 수 있다. 본원에서 추가로 설명되는 바와 같이, 신호 준비 프로세서(2606)와 같은 사용자 음성 모니터(260)의 하나 이상의 구성요소는, 미가공 음향 데이터와 같은 오디오 데이터에 대해 전처리 동작들을 수행할 수 있다. 일부 실시예들에서, 데이터 수집 구성요소(210)에 따라 부가적인 전처리가 행해질 수 있는 것으로 고려된다.
소리 기록 최적화기(2602)는 일반적으로, 사용가능한 오디오 데이터를 획득하기 위한 적절한 또는 최적화된 구성을 결정하는 것을 담당할 수 있다. 위에 설명된 바와 같이, 본원에 설명된 기술의 실시예들은 가정 환경에서 또는, 실험실 또는 의사의 클리닉 오피스와 같은 제어된 환경 이외의 설정에서 최종 사용자에 의해 활용될 수 있는 것으로 고려된다. 그에 따라서, 일부 실시예들은, 사용자의 호흡기 병태를 모니터링하기 위해 사용될 충분한 품질의 오디오 데이터를 획득하는 것을 용이하게 하기 위한 기능성을 포함할 수 있다. 특히, 일 실시예에서, 소리 기록 최적화기(2602)는, 오디오 데이터 음성 관련 정보를 획득하기 위한 최적화된 구성을 제공함으로써 그러한 기능성을 제공하는 데 활용될 수 있다. 일 예시적인 실시예에서, 최적화된 구성은, 센서들을 조율하거나 또는 신호 강도, 지향성, 민감도, 주파수, 및 신호 대 잡음 비(SNR)와 같은 다른 음향 파라미터들(예컨대, 마이크로폰 파라미터들)을 수정함으로써 제공될 수 있다. 소리 기록 최적화기(2602)는, 설정들이 적절한 구성을 위한 미리 결정된 범위 내에 있다는 것 또는 미리 결정된 임계치를 충족시킨다는 것(예컨대, 마이크로폰 민감도 또는 수준이 사용자의 음성 데이터가 오디오 데이터로부터 획득되는 것을 가능하게 하도록 충분히 조정됨)을 결정할 수 있다. 일부 실시예들에서, 소리 기록 최적화기(2602)는 기록이 개시되는지 여부를 결정할 수 있다. 일부 실시예들에서, 소리 기록 최적화기(2602)는 또한, 샘플링 레이트가 임계 샘플링 레이트를 충족시키는지 여부를 결정할 수 있다. 일 예시적인 실시예에서, 소리 기록 최적화기(2602)는, 오디오 신호가, 일부 예시들에서는 44.1 킬로헤르츠(kHz)의 최소 레이트를 포함하는 나이퀴스트 레이트(Nyquist rate)로 샘플링된다는 것을 결정할 수 있다. 부가적으로, 소리 기록 최적화기(2602)는, 비트 심도가 임계치, 이를테면 16 비트를 충족시킨다는 것을 결정할 수 있다. 추가로, 일부 실시예들에서, 소리 기록 최적화기(2602)는, 마이크로폰이 조율되어 있는지 여부를 결정할 수 있다.
일부 실시예들에서, 소리 기록 최적화기(2602)는, 마이크로폰이 위치되는 특정 환경에 대한 마이크로폰 수준들을 최적화하기 위해 초기화 모드를 수행할 수 있다. 초기화 모드는, 소리 기록 최적화기(2602)가 특정 환경에 대한 적절한 수준들을 결정하기 위해 소리를 재생하거나 잡음을 만들 것을 사용자에게 프롬프팅하는 것을 포함할 수 있다. 초기화 모드에서, 소리 기록 최적화기(2602)는 또한, 사용자 입력을 요청할 때 사용자가 일반적으로 서 있거나 마이크로폰과 관련하여 자신을 위치시킬 곳에 서 있거나 자신을 위치시킬 것을 사용자에게 프롬프팅할 수 있다. 사용자 피드백(즉, 음성 기록들)에 기반하여, 초기화 모드 동안, 소리 기록 최적화기(2602)는, 범위들, 임계치들, 및/또는 다른 파라미터를 결정하여 장래의 기록 세션들을 위한 최적화된 구성을 제공하도록 오디오 수집 및 처리 구성요소들을 구성할 수 있다. 일부 실시예들에서, 소리 기록 최적화기(2602)는, 부가적으로 또는 대안적으로, 사용가능한 오디오 데이터를 획득하는 것을 용이하게 하기 위해 신호 처리 기능들 또는 구성들(예컨대, 아래에서 설명되는 바와 같은 잡음 소거)을 결정할 수 있다.
일부 실시예들에서, 소리 기록 최적화기(2602)는, 적합한 구성을 달성하기 위한 최적화된 조정들(예컨대, 수준 조정 또는 증폭)을 행하도록 전처리하기 위해 신호 준비 프로세서(2606)와 함께 작동할 수 있다. 대안적으로, 소리 기록 최적화기(2602)는, 신호 강도와 같은 특정 파라미터에 대한 미리 결정된 범위 또는 임계치 내의 수준들을 달성하도록 센서를 구성할 수 있다.
도 2에 도시된 바와 같이, 소리 기록 최적화기(2602)는, 일반적으로 배경 잡음을 식별하는 것, 및 일부 실시예들에서는 배경 잡음을 제거 또는 감소시키는 것을 담당할 수 있는 배경 잡음 분석기(2603)를 포함할 수 있다. 일부 실시예들에서, 배경 잡음 분석기(2603)는 잡음 강도 수준이 최대 임계치를 충족시키는지를 검사할 수 있다. 예를 들면, 배경 잡음 분석기(2603)는, 사용자의 기록 환경 내의 주변 잡음이 30 데시벨(dB) 미만이라고 결정할 수 있다. 배경 잡음 분석기(2603)는 (이를테면, 텔레비전 또는 라디오로부터 비롯되는) 발화를 검사할 수 있다. 배경 잡음 분석기(2603)는 또한, 예컨대, 어린이의 고함, 시끄러운 시계 똑딱거림, 또는 모바일 디바이스 상의 통지의 결과일 수 있는, 간헐적 스파이크들 또는 유사한 음향 아티팩트들을 검사할 수 있다.
일부 실시예들에서, 배경 잡음 분석기(2603)는, 기록이 개시된 후에 배경 잡음 검사를 수행할 수 있다. 그러한 일 실시예에서, 배경 잡음 검사는, (음소 세그먼트화기(2610)와 관련하여 설명된 바와 같이, 검출될 수 있는) 기록에서의 제1 음소의 검출 이전에, 미리 결정된 시간 구간 내에 수신된 오디오 데이터의 부분에 대해 행해진다. 예컨대, 배경 잡음 분석기(2603)는, 오디오 데이터에서의 제1 음소의 시작 5 초 전에 배경 잡음 검사를 수행할 수 있다.
배경 잡음이 검출되는 경우, 배경 잡음 분석기(2603)는 잡음을 감소시키거나 제거하기 위해 오디오 데이터를 처리(또는 처리하려고 시도)할 수 있다. 대안적으로, 배경 잡음 분석기(2603)에 의해 결정된 잡음의 표시는, 잡음을 감소시키거나 제거하기 위한 필터링 및/또는 감산 프로세스를 수행하기 위해 신호 준비 프로세서(2606)에 제공될 수 있다. 일부 실시예들에서, 배경 잡음을 자동으로 감소시키거나 제거하는 것에 부가하여 또는 그에 대한 대안으로서, 배경 잡음 분석기(2603)는, 배경 잡음이 음성 수집에 간섭하거나 잠재적으로 간섭한다는 것을 사용자에게(또는 사용자 상호작용 관리자(280)와 같은 시스템(200)의 다른 구성요소들에) 알리는 표시를 전송하고, 배경 잡음을 제거하기 위한 조치를 취할 것을 사용자에게 요청할 수 있다. 예컨대, 더 조용한 환경으로 이동하라는 통지가 (예컨대, 사용자 상호작용 관리자(280) 또는 제시 구성요소(220)를 통해) 사용자에게 제공될 수 있다.
일부 예시들에서, 오디오 데이터가 획득된 후에, 배경 잡음 분석기(2603)는 배경 잡음의 존재에 대해 그 오디오 데이터를 재검사할 수 있다. 예컨대, 소리 기록 최적화기(2602)(또는 일부 실시예들에서는, 신호 준비 프로세서(2606))가 잡음을 감소시키거나 제거하기 위해 설정들을 자동으로 조정한 후에, 다른 검사가 수행될 수 있다. 일부 양상들에서, 후속 검사들은, 필요에 따라, 기록 세션의 개시 시, 이전 검사 이후 미리 결정된 시간 기간 후에, 그리고/또는 배경 잡음을 감소시키거나 제거하기 위한 조치가 취해진다는 것을 표시하는 표시가 이를테면 사용자로부터 수신되는 경우 수행될 수 있다.
사용자 음성 모니터(260) 내에서, 음성 샘플 수집기(2604)는 일반적으로, 오디오 샘플 또는 기록의 형태로 사용자의 음성 관련 데이터를 획득하는 것을 담당할 수 있다. 음성 샘플 수집기(2604)는, 데이터 수집 구성요소(210) 및 사용자 상호작용 관리자(280)와 함께 동작하여 사용자의 발화 또는 다른 음성 정보의 샘플들을 획득할 수 있다. 오디오 샘플은, 지속된 음소들, 스크립트된 발화, 및/또는 스크립트되지 않은 발화의 기록들 또는 샘플들을 포함하는 하나 이상의 오디오 파일의 형태일 수 있다. 오디오 기록이라는 용어는, 본원에서 사용되는 바와 같이, 일반적으로 디지털 기록(예컨대, 아날로그-디지털 변환(ADC)을 활용하는 오디오 샘플링에 의해 결정될 수 있는 오디오 샘플)을 지칭한다.
일부 실시예들에서, 음성 샘플 수집기(2604)는, (센서(들)(103) 또는 아날로그 기록으로부터 수신될 수 있는) 아날로그 오디오로부터 디지털 오디오를 포착 및 처리하기 위한 기능성, 이를테면 ADC 변환 기능성을 포함할 수 있다. 이러한 방식으로, 음성 샘플 수집기(2604)의 일부 실시예들은 디지털 오디오 샘플을 제공하거나 그를 결정하는 것을 용이하게 할 수 있다. 일부 실시예들에서, 음성 샘플 수집기(2604)는 또한, 날짜-시간 정보를 오디오 데이터가 획득되는 시간 프레임에 대응하는 오디오 샘플과 연관시킬 수 있다(예컨대, 오디오 샘플에 날짜 및/또는 시간을 타임스탬핑함). 일 실시예에서, 오디오 샘플은, 개인 기록(240) 내의 음성 샘플들(242)과 같은 사용자와 연관된 개인 기록에 저장될 수 있다.
사용자 상호작용 관리자(280)와 관련하여 설명되고 도 4a 내지 도 4c 및 도 5b의 예에서 도시된 바와 같이, 음성 샘플들(242)은 사용자가 발화 관련 작업들에 참여하는 것에 대한 응답으로 획득될 수 있다. 예컨대, 그리고 제한 없이, 음성 샘플들(242)이 획득될 수 있도록, 시간 구간 동안 또는 사용자가 할 수 있는 한 오랫동안 특정 소리(예컨대, "mmmm")를 발화하고 유지하거나, 특정 단어들 또는 문구들을 반복하거나, 구절을 읽을 것을 요청받을 수 있거나, 또는 질문들에 대답하거나 대화에 참여하도록 사용자에게 프롬프팅될 수 있다. 다양한 유형들의 발화 관련 작업들을 표현하는 음성 샘플들(242)이 동일한 수집 세션에서 사용자로부터 획득될 수 있다. 예컨대, 사용자는 특정 시간 구간 동안 하나 이상의 음소를 발화하고 유지할 것을 그리고 사용자가 할 수 있는 한 오랫동안 하나 이상의 음소를 발화하고 유지할 것을 요청받을 수 있으며, 여기서, 후자의 음소(들)는 특정된 시간 구간 동안 유지된 음소(들)와 동일하거나 상이할 수 있다. 일부 실시예들에서, 사용자는 또한, 다양한 음소들을 가질 수 있는 쓰여진 구절을 읽을 것을 요청받을 수 있다.
본원에서의 음성 샘플은 오디오 샘플 내의 음성 관련 정보를 지칭하며, 본원서에서 설명되는 바와 같이 오디오 샘플로부터 결정될 수 있다. 예를 들면, 오디오 샘플은, 사용자의 음성과 관련되지 않은 다른 음향 정보, 이를테면 배경 잡음을 포함할 수 있다. 그에 따라서, 일부 예시들에서, 음성 샘플은, 음성 관련 정보를 갖는 오디오 샘플의 부분을 지칭할 수 있다. 일 실시예에서, 음성 샘플은, 사용자 컴퓨팅 디바이스(예컨대, 도 1의 사용자 디바이스(102a))와의 사용자의 평범한 또는 매일의 상호작용 동안 수집된 오디오로부터 결정될 수 있다. 예를 들면, 음성 샘플은, 사용자가 스마트 스피커에 프롬프팅되지 않은 명령들을 언급하거나 폰으로 통화할 때 수집될 수 있다. 일부 실시예들에서, 음성 샘플 정보가 사용자 디바이스와의 사용자의 평범한 상호작용으로부터 획득되는 경우, 발화 관련 작업들에 참여할 것을 사용자에게 프롬프팅하는 것이 불필요할 수도 있다. 유사하게, 일부 실시예들에서, 이를테면, 특정 음소에 관한 정보가 평범한 상호작용 발화로부터 획득되지 않았을 때, 평범한 상호작용으로부터의 사용자의 발화를 통해 아직 획득되지 않은 음성 샘플 정보를 획득하기 위해 발화 관련 작업들을 완료하도록 사용자에게 프롬프팅될 수 있다.
위에 언급된 바와 같이, 본원에 설명된 기술들은 사용자 개인정보를 보존 및 보호하는 것을 제공한다. 사용자 디바이스와의 평범한 상호작용으로부터 오디오 샘플들을 획득하는 실시예들은, 일단 호흡기 병태 모니터링을 위한 음성 관련 데이터가 결정되면 오디오 데이터를 삭제할 수 있는 것으로 고려된다. 유사하게, 오디오 데이터는 암호화될 수 있고/거나 사용자들은 (호흡기 병태를 모니터링하기 위한) 음성 관련 데이터가 소위 평범한 상호작용들로부터 수집되게 하는 것을 "옵트인(opt in)"할 수 있다.
신호 준비 프로세서(2606)는 일반적으로, 추가적인 분석을 위한 음소 특징들과 같은 음성 관련 정보를 추출하기 위한 오디오 샘플을 준비하는 것을 담당할 수 있다. 그에 따라서, 신호 준비 프로세서(2606)는, 음성 샘플 수집기(2604)에 의해 획득 또는 결정된 오디오 데이터에 대해 신호 처리, 전처리, 및/또는 컨디셔닝을 수행할 수 있다. 일 실시예에서, 신호 준비 프로세서(2606)는, 음성 샘플 수집기(2604)로부터 오디오 데이터를 수신할 수 있거나 또는 사용자와 연관된 개인 기록(240) 내의 음성 샘플들(242)로부터의 음성 샘플 데이터에 액세스할 수 있다. 신호 준비 프로세서(2606)에 의해 준비 또는 처리되는 오디오 데이터는 음성 샘플들(242)로서 저장되고/거나 사용자 음성 모니터(260)의 다른 하위 구성요소들 또는 시스템(200)의 다른 구성요소들에 제공될 수 있다.
일부 실시예들에서, 사용자의 호흡기 병태를 모니터링하기 위해 활용되는 특정 음소 특징들 또는 음성 정보는 오디오 데이터의 전부가 아닌 일부 주파수 대역들에 존재할 수 있다. 그에 따라서, 신호 준비 프로세서(2606)의 일부 실시예들은, 더 낮은 주파수 배경 잡음과 같이 덜 유용한 오디오 신호의 주파수들을 제거하거나 감쇠시키기 위해 고역 통과 또는 대역 통과 필터링과 같은 주파수 필터링을 수행할 수 있다. 신호 주파수 필터링은 또한, 오디오 샘플 크기를 감소시킴으로써 계산 효율을 개선하고 샘플들에 대한 처리 시간을 개선할 수 있다. 일 실시예에서, 신호 준비 프로세서(2606)는 1.5 내지 6.4 킬로헤르츠(kHz)의 대역 통과 필터를 적용할 수 있다. 도 15a 내지 도 15m에서 제공되는 컴퓨터 프로그램 루틴의 일 예시적인 실시예에서, 버터워스(Butterworth) 대역 통과 필터가 활용된다(도 15a에 예시됨). 일 예에서, 신호 준비 프로세서(26066)는 롤링 중간값 필터(rolling median filter)를 적용하여 이상치들을 평활화하고 특징들을 정규화할 수 있다. 3개의 샘플의 윈도우를 사용하여 롤링 중간값 필터가 적용될 수 있다. 특징 값들을 정규화하는 데 z-점수가 활용될 수 있다.
신호 준비 프로세서(2606)는 또한, 표적 신호 진폭 수준(들), 대역 필터들 및/또는 증폭기들의 적용을 통한 신호 대 잡음 비(SNR) 개선, 또는 다른 신호 컨디셔닝 또는 전처리를 달성하기 위해 오디오 정규화를 수행할 수 있다. 일부 실시예들에서, 신호 준비 프로세서(2606)는, 배경 잡음, 이를테면, 배경 잡음 분석기(2603)에 의해 결정된 배경 잡음을 제거하거나 감쇠시키기 위해 오디오 데이터를 처리할 수 있다. 예컨대, 일부 실시예들에서, 신호 준비 프로세서(2606)는, 배경 잡음 분석기(2603)에 의해 결정된 배경 잡음 정보를 사용하여 잡음 소거 동작을 수행할 수 있다(또는 잡음 아티팩트들을 포함하는 배경 잡음(들)을 다른 방식으로 감산하거나 감쇠시킬 수 있음).
사용자 음성 모니터(260)에서, 샘플 기록 감사기(2608)는 일반적으로, 충분한 오디오 샘플(또는 음성 샘플)이 획득되는지 여부를 결정하는 것을 담당할 수 있다. 그에 따라서, 샘플 기록 감사기(2608)는, 샘플 기록이 최소 시간 길이를 갖고/거나 특정 음성 관련 정보, 이를테면 발성음들 또는 다른 목소리들을 포함한다는 것을 결정할 수 있다. 일부 실시예들에서, 샘플 기록 감사기(2608)는, 검출될 특정 음소들 또는 음소 특징들에 기반하여 오디오 샘플을 검사하기 위한 기준들을 적용할 수 있다. 이러한 방식으로, 샘플 기록 감사기(2608)의 일부 실시예들은, 오디오 데이터에 대해 음소 검출을 수행하거나 음소 세그먼트화기(2610) 또는 사용자 음성 모니터(260)의 다른 하위 구성요소들과 함께 동작할 수 있다. 일부 실시예들에서, 샘플 기록 감사기(2608)는, 오디오 샘플(또는 일부 예시들에서는, 오디오 기록 내의 음성 샘플)이 임계 시간 길이를 충족시키는지 여부를 결정할 수 있다. 임계 시간 길이는, 기록되는 특정 유형의 발화 관련 작업에 기반하여 변할 수 있거나, 또는 음성 샘플로부터 획득하고자 하는 특정 음소 또는 음소 특징들, 및 그러한 특징들이 현재 세션 또는 시간 프레임에서 이미 결정된 정도에 기반할 수 있다. 일 실시예에서, 사용자 음성 샘플을 획득하기 위한 세션에서, 사용자에게 구절 읽기를 기록하도록 (예컨대, 사용자 상호작용 관리자(280)에 의해) 프롬프팅되는 경우, 샘플 기록 감사기(2608)는, 기록된 후속 음성 샘플이 적어도 15 초 길이인지 여부를 결정할 수 있다. 또한, 일 실시예에서, 샘플 기록 감사기(2608)는, 특정 오디오 샘플이 적어도 4.5 초 길이와 같은 충분한 지속기간 동안의 지속된 발성음을 포함하는지 여부를 결정할 수 있다. 유사하게, 사용자 컴퓨팅 디바이스(이를테면, 사용자 디바이스(102a))와의 평범한 상호작용들로부터 오디오 데이터 또는 음성 샘플들(이를테면, 242)을 획득하는 실시예들에 대해, 샘플 기록 감사기(2608)는, 음소들 또는 음소 특징들을 결정하는 것과 같은 추가적인 분석을 위해 활용될 특정의 음성 샘플이 임계 지속기간을 충족시키고/거나 특정 소리(들) 또는 음소 정보를 포함한다는 것을 결정할 수 있다. 감사 기준들(예컨대, 최소 임계 지속기간)을 충족시키지 않는 기록들 또는 음성 샘플들은 불완전한 것으로 간주될 수 있고, 삭제되거나 추가로 처리되지 않을 수 있다. 일부 실시예들에서, 샘플 기록 감사기(2608)는, 특정 샘플이 불완전하다는 또는 그렇지 않으면 부족하다는 표시를 사용자에게(또는 사용자 상호작용 관리자(280), 제시 구성요소(220), 또는 시스템(200)의 다른 구성요소들에) 제공할 수 있고, 사용자가 특정 음성 샘플을 재기록할 필요가 있다는 것을 추가로 표시할 수 있다.
일부 실시예들에서, 샘플 기록 감사기(2608)는, 각각이 시간 프레임 내에서(즉, 세션 내에서) 동일한(또는 유사한) 음성 관련 정보를 표현할 수 있는 (음성 샘플들(242)로부터 수신될 수 있는) 다수의 음성 샘플 중에서 음성 샘플을 선택할 수 있다. 일부 예시들에서, 이러한 선택에 후속하여, 다른 선택되지 않은 샘플들은 삭제 또는 폐기될 수 있다. 예컨대, 주어진 시점 또는 구간 동안 원하는 음소의 다수의 완전한 기록들(사용자가 특정 발화 관련 작업을 반복하는 것에 의해 생성되었을 수 있음)이 존재하는 경우, 샘플 기록 감사기(2608)는 분석을 위해 가장 최근에 획득된 기록(마지막으로 기록된 것)을 선택할 수 있고, 이는, 사용자가 이전 기록들 동안 직면한 기술적 문제들로 인해 스크립트된 발화를 재-기록했다는 가정 하에서 행해질 수 있다. 대안적으로, 샘플 기록 감사기(2608)는, 소리 파라미터들에 기반하여, 가장 낮은 양의 잡음 및/또는 가장 높은 볼륨을 갖는 것과 같은 음성 샘플을 선택할 수 있다.
추가적인 처리를 위한 충분한 음성 샘플 기록의 결정은 또한, 어떠한 잡음 아티팩트들도 없다고 결정하는 것, 최소량의 잡음 아티팩트들만이 존재한다고 결정하는 것, 및/또는 기록이 적어도 대략적으로 올바른 소리들을 포함한다는 것 또는 표시된 명령어들을 따른다는 것을 결정하는 것을 포함할 수 있다. 일부 실시예들에서, 샘플 기록 감사기(2608)는, 음성 샘플의 SNR이 20 데시벨(dB)과 같은 최대 허용가능 SNR을 충족시키는지 여부를 결정할 수 있다. 예컨대, 샘플 기록 감사기(2608)는 기록의 SNR이 20 dB의 임계치보다 크다고 결정할 수 있고, 새로운 음성 샘플이 사용자로부터 획득될 것을 요청하는 표시를 사용자에게(또는 시스템(200)의 다른 구성요소, 이를테면 사용자 상호작용 관리자(280)에) 제공할 수 있다.
샘플 기록 감사기(2608)의 일부 실시예들은, 요청된 발화 관련 작업들에 대응하는 샘플 소리들, 이를테면 특정한 지속된 발성음들(예컨대, /a/, /e/, /n/, /m/)이 존재하는지 여부를 결정할 수 있다. 특히, 음성 샘플이 사용자가 발화 관련 작업(예컨대, "5 초 동안 'mmm' 말하고 유지하는 것")을 하는 것으로부터 획득되는 경우, 음성 샘플은, 샘플이 작업에서 요청되는 소리(또는 음소)를 포함한다는 것을 결정하기 위해 검사 또는 감사될 수 있다. 일부 실시예들에서, 이러한 검사 동작은 자동 발화 인식(ASR) 기능성을 활용하여 음성 샘플 내의 음소를 결정하고, 샘플 내의 결정된 음소를 요청된 소리 또는 음소(즉, "라벨링된" 음소 또는 소리)와 비교할 수 있다. 불일치가 결정되는 경우 또는 라벨링된 음소 또는 소리가 샘플에서 검출되지 않는 경우, 샘플 기록 감사기(2608)는, 올바른 음성 샘플이 재획득될 수 있도록 사용자에게(또는 시스템(200)의 다른 구성요소, 이를테면 사용자 상호작용 관리자(280)에) 표시를 제공할 수 있다. ASR의 부가적인 세부사항들은 아래에서 음소 세그먼트화기(2610)와 함께 설명된다.
샘플 기록 감사기(2608)의 일부 실시예들은 오디오 샘플 내의 특정 음소의 존재를 반드시 결정할 필요는 없지만, 지속된 음소 또는 음소들의 조합이 그 샘플에서 포착된다는 것을 결정할 수 있다. 샘플 기록 감사기(2608)는 또한, 음성 샘플에서 음소들이 최소 지속기간 동안 유지되었는지 여부를 결정할 수 있다. 일 실시예에서, 최소 지속기간은 4.5 초일 수 있다.
샘플 기록 감사기(2608)는 추가로, 음성 샘플 기록의 불필요한 그리고/또는 사용불가능한 부분들을 제거하기 위해 트리밍, 절단, 또는 필터링을 수행할 수 있다. 일부 실시예들에서, 샘플 기록 감사기(2608)는, 그러한 동작들을 수행하기 위해 신호 준비 프로세서(2606)와 함께 작동할 수 있다. 예컨대, 샘플 기록 감사기(2608)는, 각각의 기록으로부터 개시 부분 및 종료 부분(예컨대, 0.25 초)을 트리밍할 수 있다. 음성 샘플의 사용가능한 부분들은, 음소 또는 특징 정보를 결정하기 위한 추가적인 처리에 충분한 음성 관련 데이터를 포함할 수 있다. 일부 실시예들에서, 샘플 기록 감사기(2608)(또는 음성 샘플 수집기(2604) 및/또는 사용자 음성 모니터(260)의 다른 하위 구성요소들)는, 사용가능한 것으로 결정된 부분만을 유지하기 위해 음성 샘플을 전정(prune) 또는 트리밍할 수 있다. 유사하게, 샘플 기록 감사기(2608)는, 동일한 시간 프레임 내에서(즉, 기록 세션 내에서) 획득될 수 있는 다수의 샘플들(이를테면, 음성 샘플들(242)) 중에서 오디오 샘플들의 사용가능한 부분들을 결정하는 것을 용이하게 할 수 있다.
샘플 기록 감사기(2608)는, 음성 샘플들(242)로부터 또는 사용자 음성 모니터(260)의 다른 하위 구성요소로부터 오디오 샘플 데이터를 수신할 수 있고, 음성 샘플들(242)에서 처리 또는 수정된 음성 샘플 데이터를 저장하거나 처리 또는 수정된 음성 샘플 데이터를 사용자 음성 모니터(260)의 다른 하위 구성요소에 제공할 수 있다. 일부 예시들에서, 이를테면, 기록 또는 사용불가능한 부분들의 제거 이후에 기록이 불완전한 경우에, 샘플 기록 감사기(2608)는, 새로운 기록 또는 음성 샘플이 획득될 필요가 있는지 여부, 및 사용자 상호작용 관리자(280)와 관련하여 아래에서 설명되는 사용자에게 제공되는 표시를 결정할 수 있다.
음소 세그먼트화기(2610)는 일반적으로, 음성 샘플에서 개별 음소들의 존재를 검출하는 것 및/또는 개별 음소들이 음성 샘플에 존재하는 타이밍 정보를 결정하는 것을 담당할 수 있다. 예컨대, 타이밍 정보는, 음성 샘플에서의 음소의 발생에 대한 개시 시간(즉, 시작 시간), 지속기간, 및/또는 종료 시간(즉, 중단 시간)을 포함할 수 있고, 이는, 특징 분석을 위한 음소의 식별 및/또는 분리를 용이하게 하는 데 활용될 수 있다. 일부 예시들에서, 시작 및 중단 시간 정보는 음소의 경계들로 지칭될 수 있다. 이전에 언급된 바와 같이, 음성 샘플들은, 지속된 개별 음소들을 발성하는 사용자의 또는 스크립트된 그리고 스크립트되지 않은 발화와 같은 음소들의 조합들의 기록들(예컨대, 오디오 샘플들)을 포함할 수 있다. 예컨대, 음성 샘플은 사용자가 단어 "spring"을 말할 때 생성될 수 있고, 이러한 음성 샘플은 개별 음소들(예컨대, /s/, /p/, /r/, /i/, 및 /ng/)로 세그먼트화될 수 있다. 일부 예시들에서, 지속된 개별 음소의 음성 샘플들은 샘플의 나머지로부터 음소를 분리하도록 세그먼트화될 수 있다.
일부 양상들에서, 음소 세그먼트화기(2610)는 음소들을 검출할 수 있고, 추가로, 음소들을 (예컨대, 오디오 샘플 내의 음소에 대한 포인터 또는 기준으로서 활용될 수 있는 타이밍 정보를 사용하여 논리적으로, 또는 이를테면, 오디오 샘플로부터 음소 관련 데이터를 복사 또는 추출함으로써 물리적으로) 분리할 수 있다. 음소 세그먼트화기(2610)에 의한 음소 검출은, 음성 샘플(또는 음성 샘플의 일부분)이 특정 음소 또는 특정 세트의 음소들 중 하나의 음소를 갖는다는 것을 결정하는 것을 포함할 수 있다. 음성 샘플 데이터는, 음성 샘플(242)로부터 또는 사용자 음성 모니터(260)의 다른 하위 구성요소로부터 수신될 수 있다. 음소 세그먼트화기(2610)에 의해 검출된 특정 음소(들)는 사용자의 호흡기 병태에 대해 분석되는 음소들에 기반할 수 있다. 예컨대, 일부 실시예들에서, 음소 세그먼트화기(2610)는, 샘플(또는 샘플들)이 /n/, /m/, /e/, 및/또는 /a/에 대응하는 음소들을 포함하는지 여부를 검출할 수 있다. 다른 실시예에서, 음소 세그먼트화기(2610)는, 샘플(또는 샘플들)이 /a/, /e/, /i/, /u/, /ae/, /n/, /m/, 및/또는 /ng/에 대응하는 음소들을 포함하는지 여부를 결정할 수 있다. 다른 실시예들에서, 음소 세그먼트화기(2610)는, 임의의 구어(spoken language)로부터의 음소들을 포함할 수 있는 다른 음소들 또는 음소들의 세트들을 검출할 수 있다.
음소 세그먼트화기(2610)의 일부 실시예들에서, 음성 샘플의 일부분으로부터 음소를 결정하는 데 자동 발화 인식(ASR)("음성 인식"으로 지칭됨) 기능성이 활용된다. ASR 기능성은 추가로, 하나 이상의 음향 모델 또는 발화 말뭉치(corpus)들을 활용할 수 있다. 실시예에서, 사용자의 음성 샘플에 대응하는 발화 신호를 처리하여 하나 이상의 가능성 있는 음소들의 세트를 결정하는 것에서 은닉 마르코프 모델(Hidden Markov Model)(HMM)이 활용될 수 있다. 다른 실시예에서, 때때로 본원에서 "신경망"으로 지칭되는 인공 신경망(ANN), ASR에 대한 다른 음향 모델들, 또는 이 모델들의 조합들을 사용하는 기법들이 활용될 수 있다. 예컨대, 신경망은, HMM의 적용 이전에 차원수 감소 또는 특징 변환을 수행하기 위해 ASR의 전처리 단계로서 활용될 수 있다. 음성 샘플로부터 음소들을 검출 또는 식별하기 위해 음소 세그먼트화기(2610)에 의해 수행되는 동작들의 일부 실시예들은, 발화 데이터를 처리하기 위한 소프트웨어 패키지, 모듈, 또는 라이브러리를 포함할 수 있는 발화 인식 엔진 또는 ASR 소프트웨어 툴킷을 통해 제공되는 ASR 기능성 또는 음향 모델들을 활용할 수 있다. 그러한 발화 인식 소프트웨어 툴들의 예들은, kaldi-asr.org를 통해 이용가능한 칼디(Kaldi) 발화 인식 툴킷; 카네기 멜런 대학(Carnegie Mellon University)에서 개발된 CMU 스핑크스(CMU Sphinx); 및 케임브리지 대학(Cambridge University)에서 개발된 은닉 마르코프 모델 툴킷(Hidden Markov Model Toolkit)(HTK)을 포함한다.
본원에 설명된 바와 같이, 음성 샘플을 획득하기 위한 일부 구현들에서, 사용자는, 도 5b와 관련하여 설명된 반복 소리 연습과 같은 평가 연습의 일부일 수 있는 발화 관련 작업을 수행할 수 있다. 이러한 발화 관련 작업들 중 일부는 특정 소리 또는 음소를 말하고 유지할 것을 사용자에게 요청할 수 있다. 부가적으로 또는 대안적으로, 발화 관련 작업은, 사용자가 할 수 있는 한 오랫동안 특정 소리 또는 음소를 말하고 지속할 것을 사용자에게 요청할 수 있다. 다양한 작업들이 상이한 음소들에 대해 사용될 수 있다. 예컨대, 일 실시예에서, 사용자는, 사용자가 할 수 있는 한 오랫동안 "aaaa"(또는 /a/ 음소)를 말하고 유지할 것을 요청받을 수 있지만, 5 초와 같은 미리 결정된 시간 기간 동안 다른 소리들 또는 음소들(예컨대, /e/, /n/, 또는 /m/)을 말하고 유지할 것을 요청받을 수 있다. 일부 실시예들에서, 동일한 음소에 대해 다수의 유형들의 발화 관련 작업들이 수집될 수 있다.
이러한 작업을 수행함으로써 생성되는 오디오 샘플은, 사용자가 말소리를 내도록 요청받는 소리 또는 음소가 라벨링되거나 다른 방식으로 그와 연관될 수 있다. 예컨대, 사용자가 5 초 동안 "mmm"을 말하고 유지하도록 프롬프팅되는 경우, 기록된 오디오 샘플은 "mmm" 소리(또는 /m/ 음소)가 라벨링되거나 그와 연관될 수 있다.
일부 실시예들에서, 음소 세그먼트화기(2610)는 ASR 기능성을 활용하여 오디오 샘플 내의 특정 소리(들) 또는 음소를 결정할 수 있는데, 오디오 샘플은, 발화 관련 작업을 수행함으로써 획득될 수 있거나 또는 사용자 디바이스와의 평범한 상호작용들을 통해 획득되는 사용자 발화로부터 수신될 수 있다. 이러한 실시예들에서, 일단 오디오 샘플의 소리 또는 음소가 결정되면, 오디오 샘플(또는 샘플의 일부분)은 소리 또는 음소가 라벨링되거나 그와 연관될 수 있다. 일 예시적인 실시예에서, 음소 세그먼트화기(2610)가 사용자로부터 획득된 오디오 샘플이 샘플의 특정 부분에서 발생하는 "aaa" 소리를 갖는다고 결정하는 경우, 음소 세그먼트화기(2610)는, "aaa" 소리(또는 /a/ 음소)를 검출하고 그에 따라서 (예컨대, 데이터베이스에서 라벨을 오디오 샘플 또는 부분과 연관시킴으로써) 오디오 샘플의 그 부분을 라벨링할 수 있다. 다른 실시예에서, 음소 세그먼트화기(2610)는, 오디오 샘플에서 타이밍 또는 음소 경계들을 결정하기 위해 음소를 분리할 수 있다.
일부 실시예들에서, 음소 세그먼트화기(2610)는, 음소 경계들, 또는 음소를 포착하는 음성 샘플 내의 구간의 시작 시간, 지속기간, 및/또는 중단 시간을 식별함으로써 음소를 분리할 수 있다. 일부 실시예들에서, 음소 세그먼트화기(2610)는 먼저 특정 음소의 존재를 검출하고, 이어서, 예컨대, /n/, /m/, /e/, 및 /a/와 같은 특정 음소를 분리한다. 대안적인 실시예에서, 음소 세그먼트화기(2610)는, 음성 샘플에 특정 음소들이 존재한다는 것을 검출하고 모든 검출된 음소들을 분리할 수 있다. 음소 세그먼트화기(2610)의 일부 실시예들은, 오디오 샘플에서 음소 또는 음소 경계의 시간 위치를 결정하는 것을 용이하게 하기 위해 음소 세그먼트화 또는 음소 정렬 툴들을 활용할 수 있다. 그러한 툴들의 예들은, 암스테르담 대학(University of Amsterdam)에서 개발된 발화 분석 및 음성학을 위한 프라트(Praat) 컴퓨터 소프트웨어 패키지, 및/또는 프라트와 함께 동작하는 소프트웨어 모듈, 이를테면, 음성 정렬을 수행하기 위해 제네바 대학(University of Geneva)에서 개발된 이지얼라인(EasyAlign)에 의해 제공되는 기능성에 포함된다.
예시적인 양상들에서, 음소 세그먼트화기(2610)는, 음성 샘플들에서 검출된 강도 수준들에 임계치들을 적용함으로써 자동화된 세그먼트화를 수행할 수 있다. 예컨대, 기록 전체에 걸친 음향 강도가 컴퓨팅될 수 있고, 배경 잡음을 샘플 내의 더 에너지 활성(energetic)인 이벤트들(발화 이벤트들을 표현함)로부터 분리시키기 위한 임계치가 적용될 수 있다. 실시예에서, 음향 강도의 계산은, 발화 분석 및 음성학을 위해 프라트 컴퓨터 소프트웨어 패키지에 의해 제공되는 기능들을 활용하여 수행될 수 있다. 도 15a 내지 도 15m은 프라트를 사용하는 그러한 일 예를 예시적으로 제공하며, 이는, 파셀마우스 파이썬(Parselmouth Python) 라이브러리를 사용하여 도시된다. 실시예에 따르면, 오츠(Otsu)의 방법을 사용하여 음소 세그먼트화에 대한 임계치가 결정될 수 있다. 일부 실시예들에서, 이러한 임계치는, 상이한 임계치들이 결정되고 동일한 사용자에 대한 상이한 음성 샘플들에 적용될 수 있도록 각각의 음성 샘플에 대해 결정될 수 있다. 일단 음향 강도 수준들이 컴퓨팅되고 임계치가 결정되면, 음소 세그먼트화기(2610)는, 컴퓨팅된 강도 수준들에 임계치를 적용하여 음소의 존재를 검출할 수 있고, 추가로, 검출된 음소의 개시와 종료에 각각 대응하는 시작 시간과 중단 시간을 식별할 수 있다. 일부 실시예들은, 음소 세그먼트화기(2610)에 의해 수행되는 자동화된 세그먼트화를 검증하기 위해 음성 샘플들 중 적어도 일부에 대해 수동 세그먼트화를 사용하는 것을 포함한다.
일부 실시예들에서, 음소로서 검출된 세그먼트 내의 갭들은 형태학적 "채우기" 동작을 사용하여 채워질 수 있다. 갭은, 갭의 지속기간이 최대 임계치, 이를테면 0.2 미만인 경우 채워질 수 있다. 부가적으로, 음소 세그먼트화기(2610)의 실시예들은 검출된 음소의 하나 이상의 부분을 트리밍할 수 있다. 예컨대, 음소 세그먼트화기(2610)는, 천이 효과들을 회피하기 위해 각각의 검출된 음소의 처음 0.75 초와 같은 초기 지속기간을 트리밍하거나 무시할 수 있다. 그에 따라서, 검출된 음소가 처음 0.75 초를 포함하지 않도록 검출된 음소의 시작 시간이 변경될 수 있다. 부가적으로, 일부 실시예들에서, 각각의 검출된 음소는, 음소의 총 지속기간이 2 초 또는 다른 설정된 지속기간이 되도록 트리밍될 수 있다.
일부 실시예들에서, 세그먼트화된 음소들에 대해 데이터 품질 검사들이 수행될 수 있다. 이러한 데이터 품질 검사들은, 음소 세그먼트화기(2610) 또는 사용자 음성 모니터(260)의 다른 구성요소, 이를테면, 신호 준비 프로세서(2606) 및/또는 샘플 기록 감사기(2608)에 의해 수행될 수 있다. 일 실시예에서, 각각의 음소 세그먼트에 대해, 검출된 세그먼트 내의 평균 강도를 검출된 세그먼트 외부의 평균 강도로 나눈 비로서 신호 대 잡음 비(SNR)가 추정된다. 추가로, 검출된 음소가 최소 지속기간을 충족시키는지 여부를 결정하기 위해 미리 결정된 세그먼트 지속기간 임계치가 적용될 수 있다. 다른 품질 검사는, 검출된 음소 수를 예상 음소 수와 비교함으로써 정확한 음소 수를 결정하는 것을 포함할 수 있으며, 예상 음소 수는, 사용자로부터의 음성 샘플을 트리거링하는 프롬프트(들)에 기반할 수 있다. 예컨대, 일 실시예에서, 정확한 음소 수는, 지속된 비강 자음 기록들에 대한 3개의 세그먼트화된 음소 및 지속된 모음 기록들에 대한 4개의 세그먼트화된 음소를 포함할 수 있다. 예시적인 양상에서, 세그먼트화된 음성 샘플은, 정확한 수의 음소들이 발견되고(예컨대, 지속된 비강 자음 기록들에 대한 3개 및 지속된 모음 기록들에 대한 4개), SNR이 9 데시벨보다 크고, 각각의 음소가 2 초 이상의 지속기간을 갖는 경우 양호한 품질로서 결정될 수 있다. 일부 실시예들에서, 모음 음성 샘플에 대해 부가적인 품질 검사가 수행될 수 있는데, 이는, 제1 형성음 주파수가 수용가능한 한계들 내에 있는지 여부를 결정하는 것을 포함할 수 있다. 허용가능한 한계들 내에 속하는 경우, 샘플은 양호한 품질을 갖는 것으로 결정된다. 그렇지 않은 경우, 샘플이 부족하다는, 불완전하다는, 또는 샘플이 재획득되어야 한다는 표시(사용자 상호작용 관리자(280)에 제공될 수 있음)가 제공된다.
사용자 음성 모니터(260)에 대해 계속하여, 음향 특징 추출기(2614)는 일반적으로, 음성 샘플 내에서 음소의 특징들을 추출(또는 다른 방식으로 결정)하는 것을 담당할 수 있다. 음소의 특징들은 미리 결정된 프레임 레이트로 음성 샘플로부터 추출될 수 있다. 일 예에서, 특징들은 10 밀리초의 레이트로 추출된다. 추출된 특징들은, 호흡기 병태 추적기(270)와 관련하여 추가로 설명되는 바와 같이 사용자의 호흡기 병태를 추적하기 위해 사용될 수 있다. 추출된 음향 특징들의 예들은, 예로서, 그리고 제한 없이, 파워 및 파워 변동성, 피치 및 피치 변동성, 스펙트럼 구조, 및/또는 형성음들의 척도들을 특성화하는 데이터를 포함할 수 있다.
파워 및 파워 변동성(진폭 관련 특징들로 또한 지칭될 수 있음)와 관련된 특징들의 추가적인 예들은, 음향 파워의 제곱 평균 제곱근(RMS), 쉬머(shimmer), 및 각각의 세그먼트화된 음소에 대한 1/3 옥타브 대역(즉, ⅓(third) 옥타브 대역)에서의 파워 요동들을 포함할 수 있다. 일부 실시예들에서, 음향 파워의 RMS는 임의의 다른 음향 특징들을 추출하기 전에 데이터를 정규화하기 위해 컴퓨팅 및 활용된다. 부가적으로, RMS는 파워 관련 특징 그 자체로서의 고려를 위해 데시벨로 변환될 수 있다. 쉬머는, 성문음 펄스 구간들에서 측정된 파형 진폭들의 빠른 변동성을 포착한다. 1/3 옥타브 대역 필터의 출력 내에서의 파워의 요동들은 다양한 주파수들에서 컴퓨팅될 수 있다. 예시적인 실시예에서, 추출된 특징은, 178 - 224 Hz의 통과 대역 주파수를 적용함으로써 결정될 수 있는 200 헤르츠(Hz) 1/3 옥타브 대역에서의 요동들을 표시할 수 있다.
피치 및 피치 변동성과 관련된 특징들의 추가적인 예들은 피치 및 지터의 변동 계수(COV)를 포함할 수 있다. 피치의 변동 계수를 추출하기 위해, 각각의 세그먼트에 걸쳐 평균 피치(pitchmn) 및 피치 표준 편차(pitchsd)가 결정될 수 있고, 피치의 변동 계수(pitchcov)는 copitchcov = pitchsd / pitchmn로서 컴퓨팅될 수 있다. 일부 실시예들에서, 특히, 음성 샘플에 잡음이 있는 경우, 추정 피치 값들이 사용자의 음성 데이터에 대한 적절한 주파수에 대해 컴퓨팅되는 것을 보장하기 위해 변동 계수 임계치가 적용될 수 있다. 예를 들면, 변동 계수가 변동 계수 값들의 10 %의 임계치 미만인지 여부가 결정될 수 있고(경험적으로 결정됨), 그 값이 임계치보다 큰 세그먼트들은 누락된 데이터로서 취급될 수 있다. 지터는 더 짧은 시간 척도들 상에서 피치 변동성을 포착할 수 있다. 지터는 로컬 지터 또는 로컬 절대 지터의 형태로 추출될 수 있다. 일부 양상들에서, 피치 관련 특징들은 자기 상관 방법을 사용하여 각각의 세그먼트로부터 추출된다. 피치 관련 특징들을 결정하기 위한 자기 상관의 일 예는, 암스테르담 대학에서 개발된 발화 분석 및 음성학을 위한 프라트 컴퓨터 소프트웨어 패키지에 의해 제공된다. 도 15e 및 도 15f는, 이러한 방식으로 프라트 기능성을 활용하는 실시예에 대한 예시적인 컴퓨터 프로그래밍 루틴의 양상들을 도시한다.
음향 특징 추출기(2614)(또는 사용자 음성 모니터(260))의 일부 실시예들은, 음향 특징 추출기(2614)에 의해 피치 관련 특징들을 추출하기 전에 피치 플로어를 조정하기 위한 처리 동작들을 수행할 수 있다. 예를 들면, 피치 플로어는, 거짓 피치 검출들을 방지하기 위해 남성 사용자들에 대해 80 Hz로 그리고 여성 사용자들에 대해 100 Hz로 증가될 수 있다. 실시예에 따르면, 피치 플로어를 상승시키는 것은 저주파수 주기적 배경 잡음이 존재하는 경우에 타당할 수 있다. 피치 플로어를 조정할지 여부의 결정은, 음성 데이터를 수집하는 시스템, 음성 데이터가 수집되는 환경, 및/또는 애플리케이션 설정들(예컨대, 설정들(249))에 기반하여 변할 수 있다.
스펙트럼 구조와 관련된 특징들은, 고조파 대 잡음 비(HNR, 때때로 "조화성"으로 지칭됨), 스펙트럼 엔트로피, 스펙트럼 대비, 스펙트럼 평탄도, 음성의 낮음 대 높음 비(voice low-to-high ratio)(VLHR), 멜-주파수 켑스트럼 계수(mel-frequency cepstral coefficient)(MFCC)들, 켑스트럼 피크 현저성(cepstral peak prominence)(CPP), 유성음(또는 무성음) 프레임들의 백분율 또는 비율, 및 선형 예측 계수(LPC)들을 포함할 수 있다. HNR 또는 조화성은 고조파 성분들에서의 파워 대 비-고조파 성분들에서의 파워의 비이고, 음향 주기성의 정도를 표현한다. HNR을 결정하는 예는 도 15e의 컴퓨터 프로그래밍 루틴에서 도시되며, 이는, 조화성을 결정하기 위해, 프라트 컴퓨터 소프트웨어 패키지에 의해 제공되는 기능성을 활용한다. 스펙트럼 엔트로피는, 특정 주파수 대역에서의 스펙트럼의 엔트로피를 표시한다. 스펙트럼 대비는, 특정 주파수 대역에서의 강도에 의해 파워 스펙트럼 값들을 정렬하고 주파수 대역에서 가장 높은 사분위수의 값들(피크들) 대 가장 낮은 사분위수의 값들(트로프(trough)들)의 비를 컴퓨팅함으로써 결정될 수 있다. 스펙트럼 평탄도는, 주어진 주파수 대역에서 스펙트럼 값들의 기하 평균 대 산술 평균의 비를 컴퓨팅함으로써 결정될 수 있다. 스펙트럼 엔트로피, 스펙트럼 대비, 및 스펙트럼 평탄도는 각각 특정 주파수 대역들에 대해 컴퓨팅될 수 있다. 일 실시예에서, 스펙트럼 엔트로피는 1.5 - 2.5 킬로헤르츠(kHz) 및 1.6 - 3.2 kHz에서 결정되고; 스펙트럼 평탄도는 1.5 - 2.5 kHz에서 결정되고; 스펙트럼 대비는 1.6 내지 3.2 kHz 및 3.2kHz - 6.4kHz에서 결정된다.
VLHR은, 적분된 저주파수 에너지 대 고주파수 에너지의 비를 컴퓨팅함으로써 결정될 수 있다. 일 실시예에서, 저주파수와 고주파수 사이의 분리는 600 Hz로 고정된다. 그러므로, 특징은 VLHR600으로 표시될 수 있다.
멜-주파수 켑스트럼 계수(MFCC)들은 스케일링된 파워 스펙트럼의 이산 코사인 변환을 표현하고, MFCC들은 집합적으로 멜-주파수 켑스트럼(MFC)을 구성한다. MFCC들은 전형적으로 스펙트럼의 변화들에 민감하고 환경 잡음에 강건하다. 예시적인 양상들에서, 평균 MFCC 값들 및 표준 편차 MFCC 값들이 결정된다. 일 실시예에서, 멜-주파수 켑스트럼 계수들 MFCC6 및 MFCC8에 대해 평균 값들이 결정되고, 멜-주파수 켑스트럼 계수들 MFCC1, MFCC2, MFCC3, MFCC8, MFCC9, MFCC10, MFCC11, 및 MFCC12에 대해 표준 편차 값들이 결정된다.
유성음을 내는 것은 기록된 발성음의 주기성을 지칭하고, 본 개시내용의 일부 양상들은, 유성음인 발성음 기록의 프레임들의 백분율, 비율, 또는 비를 결정하는 것을 포함한다. 대안적으로, 이러한 특징은 무성음 프레임들을 사용하여 결정될 수 있다. 유성음(또는 무성음) 프레임들을 결정하는 일부 예시들에서, 의심되는 발화를 갖는 프레임들에 대해 유성음 또는 무성음 프레임들의 백분율이 명명되도록 미리 결정된 피치 임계치가 적용될 수 있다. 일부 실시예들에서, 음성 처리에 대해 프라트 컴퓨터 소프트웨어 패키지 툴킷을 사용하여 유성음(또는 무성음) 프레임들의 백분율 또는 비율이 결정될 수 있다.
음향 특징 추출기(2614)에 의해 추출 또는 결정된 다른 특징들은, 성도의 공명을 표현하는 하나 이상의 음향 형성음들과 관련될 수 있다. 특히, 음성 샘플의 음소에 대해, 평균 형성음 주파수 및 형성음 대역폭의 표준 편차가 하나 이상의 형성음에 대해 컴퓨팅될 수 있다. 예시적인 양상들에서, 형성음 1(F1로 표시됨)에 대해 평균 형성음 주파수 및 형성음 대역폭의 표준 편차가 컴퓨팅되지만; 형성음 2 및 형성음 3(F2 및 F3으로 표시됨)과 같은 부가적인 것들 또는 대안들이 활용될 수 있는 것으로 고려된다. 일부 양상들에서, 형성음 특징들은, 사용자들이 소리들을 올바르게 발음하고 있다는 것을 보장하기 위해, 샘플 기록 감사기(2608)에 의해 수행될 수 있는 자동 검사들을 용이하게 함으로써 데이터 품질 대조군(control)으로서 동작할 수 있다.
일부 실시예들에서, 설명된 음향 특징들 각각은 상이한 음소들에 대해 추출 또는 결정될 수 있는 것으로 고려된다. 예를 들면, 일 실시예에서, 위의 특징들 중 23개(진폭에 대한 RMS를 포함하지 않음)가 7개의 음소(/a/, /e/, /i/, /u/, /ae/, /n/, /m/, 및 /ng/)에 대해 결정되어, 161개의 고유 음소 특징들이 초래된다. 본 개시내용의 일부 실시예들은, 추가적인 분석을 위해 특징들의 세트를 식별 또는 선택하는 것을 포함할 수 있다. 예컨대, 일 실시예는, 하나 이상의 음성 샘플 또는 기준 음성 데이터로부터 161개의 특징 모두를 결정하는 것, 및 사용자의 호흡기 감염 병태를 모니터링하는 것과 관련된 것으로 간주되는 특정 특징들을 선택하거나 다른 방식으로 결정하는 것을 포함할 수 있다.
부가적으로, 이러한 음향 특징들 중 하나 이상은 특정 유형들의 발화 관련 작업들만으로부터의 음성 샘플들로부터 추출될 수 있다. 예컨대, 위에 설명된 특징들은 미리 결정된 지속기간의 발성음들로부터 추출된 음소들에 대해 결정될 수 있다. 이러한 위에 설명된 특징들 중 하나 이상은 사용자가 구절을 읽는 것으로부터 추출된 발성음들에 대해 결정될 수 있다. 일부 실시예들에서, 특정 유형들의 발화 관련 작업들로부터 다른 특징들이 추출될 수 있다. 예컨대, 예시적인 양상들에서, 호흡 용량의 척도로서 사용될 수 있는 최대 발성음 시간은, 사용자가 가능한 한 오랫동안 소리를 유지하는 지속된 발성음 음성 샘플들로부터 결정될 수 있다. 본원에서 사용되는 바와 같이, 최대 발성음 시간은 사용자가 특정 발성음 지속하는 지속기간을 지칭한다.
추가로, 일부 실시예들에서, 이러한 유형들의 음성 샘플들에 대해, 지속된 발성음 내에서의 진폭의 변화가 또한 결정될 수 있다. 일부 예시적인 실시예에서, 구절 음성 샘플로부터 다른 음향 특징들이 결정된다. 예컨대, 사용자가 구절을 읽는 것의 기록 또는 모니터링으로부터, 발화율, 평균 단절(pause) 길이, 단절 카운트, 및/또는 전역 SNR이 결정될 수 있다. 발화율은 초당 음절 수 또는 단어 수로서 결정될 수 있다. 단절 길이는, 적어도 미리 결정된 최소 지속기간, 이를테면 200 밀리초인 사용자의 발화에서의 단절들을 지칭할 수 있다. 일부 양상들에서, 평균 단절 길이 및/또는 단절 카운트를 결정하는 데 사용되는 단절들은, 자동화된 발화-텍스트(speech-to-text) 알고리즘을 활용하여 사용자의 음성 샘플로부터 텍스트를 생성하고, 사용자가 단어를 시작할 때 및 사용자가 단어를 끝낼 때에 대한 타임스탬프들을 결정하고, 타임스탬프들을 사용하여, 단어들 사이의 지속기간들을 결정함으로써 결정될 수 있다. 전역 SNR은, 비-발화 시간을 포함하는 기록에 대한 신호 대 잡음 비일 수 있다.
추가로, 특정 특징들 또는 특징들의 조합들이 다른 것들보다 특정 유형들의 호흡기 감염들을 모니터링하기에 더 적합한 것으로 고려된다. 특징 선택의 실시예들은, 가능한 특징 조합들을 식별하는 것, 상이한 날들에 대한 특징 세트들 또는 벡터들 사이의 거리 메트릭을 계산하는 것, 및 호흡기 증상에 대한 자가-보고 등급들에 대한 거리 메트릭을 상관시키는 것을 포함할 수 있다. 일 예에서, 가능한 음소 조합들(예컨대, 예시적인 음소 조합들에 대해 도 11a 및 도 11b에 예시됨)에 대한 처음 6개의 주 성분을 컴퓨팅하고, 음성 데이터가 수집되는 날들의 각각의 쌍에 걸친 음소들의 조합에 대한 음향 특징들을 표현하는 벡터들 사이의 거리 메트릭, 이를테면 유클리드 거리를 계산하는 데 주 성분 분석(principal component analysis)(PCA)이 이용된다. 건강한 상태를 나타내는 마지막 날에 대한 각각의 날에 대한 거리 메트릭과 자가-보고 증상 등급들 사이에서 스피어먼(Spearman)의 순위 상관관계가 컴퓨팅될 수 있다.
추가로, 일부 실시예들에서, 데이터세트의 차원수를 추가로 감소시키기 위해 희소 PCA를 적용함으로써 비-지도(unsupervised) 특징 선택이 또한 수행된다. 대안적으로, 일부 실시예들에서, 차원수를 감소시키기 위해 선형 판별 분석(LCA)이 활용될 수 있다. 일부 실시예들에서, 영이 아닌 가중치를 갖는 (경험적으로 결정된) 주 성분들의 최고량에서의 특징들(구체적으로, 음소 및 특징 조합)이 추가적인 분석을 위해 선택될 수 있다. 특징 선택의 양상들은 도 7 내지 도 14와 관련하여 추가로 논의된다.
예시적인 양상들에서, 도 7 내지 도 14와 관련하여 설명된 특징 선택으로부터 결정되는 대표적인 음소 특징 세트는, /n/ 음소의 12개의 특징, /m/ 음소의 12개의 특징, 및 /a/ 음소의 8개의 특징을 포함하는 32개의 음소 특징을 포함한다. 이러한 예시적인 32개의 특징이 아래의 표에 열거된다.
Figure pct00002
위의 표에 표시된 바와 같이, 하나 이상의 특징에 대한 값들은 정규성을 위해 음향 특징 추출기(2614)에 의해 변환될 수 있다. 예컨대, 로그 변환(LG로 표시됨)이 특징들의 서브세트에 적용될 수 있다. 다른 특징들은 변환을 포함하지 않을 수 있다. 추가로, 위의 표에 포함되진 않지만, 제곱근 변환(SRT)과 같은 다른 변환들이 적용될 수 있는 것으로 고려된다. 일 실시예에서, 특징 선택은 많은 특징들 중 다양한 것에 대해 변환을 선택하는 것을 포함한다. 일 예에서, 하나 이상의 특징에 대해 SRT, LG, 또는 변환 없음과 같은 상이한 유형들의 변환들이 테스팅되고, 그 특정 특징에 대해 가장 정상적으로 분포된 데이터를 제공한 변환 유형을 선택하기 위해 샤피로-윌크(Shapiro-Wilk) 테스트가 사용될 수 있다.
일부 실시예들에서, 음향 특징 추출기(2614), 음소 세그먼트화기(2610), 또는 사용자 음성 모니터(260)의 다른 하위 구성요소들은, (도 2의 저장소(250)에 도시된 바와 같이) 음성-음소 추출 논리(233)를 활용하여 음소들을 결정하거나 음소에 대한 특징들을 추출할 수 있다. 음성-음소 추출 논리(233)는, 명령어들, 규칙들, 조건들, 연관들, 기계 학습 모델들, 또는 세그먼트 음소들에 대응하는 음향 데이터로부터 음향 특징 값들을 식별 및 추출하기 위한 다른 기준들을 포함할 수 있다. 일부 실시예들에서, 음성-음소 추출 논리(233)는, ASR 기능성, 음향 모델들, 또는 음소 세그먼트화기(2610)와 관련하여 설명된 관련 기능성을 활용한다. 예컨대, 다양한 분류 모델들 또는 소프트웨어 툴들(예컨대, 이전에 설명된 HMM, 신경망 모델들, 및 다른 소프트웨어 툴들)이 오디오 샘플에서 특정 음소를 식별하고 대응하는 음향 특징들을 결정하는 데 활용될 수 있다. 음향 특징 추출기(2614) 또는 음성-음소 추출 논리(233)의 일 예시적인 실시예는, 발화 분석 및 음성학을 위한 프라트 컴퓨터 소프트웨어 패키지에서 제공되는 기능성을 포함하거나 그를 활용할 수 있다. 컴퓨터 프로그램 루틴을 포함하는 그러한 일 실시예의 양상들이 도 15a 내지 도 15m에서 예시적으로 제공되며, 이들은 프라트 소프트웨어 패키지에 액세스하기 위한 파셀마우스 파이썬 라이브러리를 사용하여 도시된다.
음소 특징들을 결정한 후에, 음향 특징 추출기(2614)는, 기록 세션 또는 시간 프레임에 대응하는 사용자 음성 샘플(들)로부터 결정된 음소들에 대한 음소 특징 벡터(또는 음소 특징 벡터들의 세트)를 포함할 수 있는 음소 특징 세트를 결정할 수 있다. 예컨대, 사용자는 하루에 두 번(예컨대, 아침 세션 및 저녁 세션) 음성 샘플들을 제공할 수 있고, 각각의 세션은, 그 세션 동안 포착된 음성 샘플로부터 검출되는 음소들로부터 추출 또는 결정된 특징들을 표현하는 음소 특징 벡터 또는 벡터들의 세트에 대응할 수 있다. 음소 특징 세트는 사용자와 연관된 개인 기록(240), 이를테면 음소 특징 벡터들(244)에 저장될 수 있고, 음소 특징들을 결정하는 데 사용된 음성 샘플들이 획득되는 날짜 또는 시간에 대응하는 날짜-시간 정보와 함께 저장되거나 또는 다른 방식으로 그와 연관될 수 있다.
일부 예시들에서, "특징 세트" 및 "특징 벡터"라는 용어들은 본원에서 상호교환가능하게 사용될 수 있다. 예컨대, 2개의 특징 세트 사이의 비교를 수행하는 것을 용이하게 하기 위해, 각각의 벡터에서의 대응하는 특징들 사이의 거리 측정치(즉, 특징 벡터 비교)가 결정될 수 있도록 또는 특징들에 다른 동작들을 적용하는 것을 용이하게 하기 위해, 세트의 멤버 특징들은 특징 벡터로 간주될 수 있다. 일부 실시예들에서, 음소 특징 벡터들(244)은 정규화될 수 있다. 일부 예시들에서, 특징 벡터는, 각각의 음소가 특징들을 표현하는 차원들을 갖는 다차원 벡터일 수 있다. 일부 실시예들에서, 다차원 벡터들은, 호흡기 병태 추적기(270)와 관련하여 설명된 바와 같이, 이를테면, 2개의 특징 벡터들 사이의 비교를 결정하기 전에 평탄화될 수 있다.
음향 특징들을 결정하는 것에 부가하여, 사용자 음성 모니터(260)의 일부 실시예들은, 특징들이 결정되는 음성 샘플들과 관련된 컨텍스트 정보를 결정하기 위한 컨텍스트 정보 결정기(2616)를 포함할 수 있다. 컨텍스트 정보는, 예컨대, 음성 샘플 기록 시의 병태들을 표시할 수 있다. 예시적인 실시예들에서, 컨텍스트 정보 결정기(2616)는, 음향 특징 추출기(2614)에 의해 생성된 음소 특징 벡터(들)에 저장되거나 또는 다른 방식으로 그와 연관될 수 있는 기록의 날짜 및/또는 시간(즉, 타임스탬프) 또는 기록의 지속기간을 결정할 수 있다. 컨텍스트 정보 결정기(2616)에 의해 결정된 정보는, 추출된 음향 특징들에 부가하여 사용자의 호흡기 병태를 추적하는 것과 관련될 수 있다. 예컨대, 컨텍스트 정보 결정기(2616)는 또한, 음성 샘플이 획득되는 하루 중 특정 시간(예컨대, 아침, 오후, 또는 저녁) 및/또는 환경 또는 대기 관련 정보(예컨대, 날씨, 습도, 및/또는 오염 수준들)가 결정될 수 있는 사용자 위치를 결정할 수 있다. 일 실시예에서, 음성 샘플의 지속기간이 또한 사용자의 호흡기 병태를 추적하는 데 사용될 수 있다. 예컨대, 사용자는, 사용자가 할 수 있는 한 오랫동안 소리 "aaaa"(즉, 음소 /a/)를 말하고 유지할 것을 요청받을 수 있고, 사용자가 소리를 유지할 수 있었던 지속기간을 측정하는 지속기간 메트릭이 사용되어 사용자의 호흡기 병태가 결정될 수 있다.
일부 실시예들에서, 컨텍스트 정보 결정기(2616)는, 음성 샘플이 획득되는 시간 프레임과 연관될 수 있는, 사용자에 관한 생리학적 정보를 결정 또는 수신할 수 있다. 예컨대, 사용자는, 도 4d, 도 5d, 및 도 5e에 도시된 실시예에서 도시되고 설명된 바와 같이, 자신이 느끼고 있는 증상들에 대한 정보를 제공할 수 있다. 일부 예시들에서, 컨텍스트 정보 결정기(2616)는, 아래에서 설명되는 바와 같이, 증상 데이터를 획득하기 위해 사용자 상호작용 관리자(280)와 함께 동작할 수 있다. 일부 실시예들에서, 컨텍스트 정보 결정기(2616)는, 웨어러블 사용자 디바이스(예컨대, 피트니스 트래커) 상에서, 사용자의 프로파일/건강 데이터(EHR)(241) 또는 센서(이를테면, 도 1의 103)로부터 생리학적 데이터, 이를테면, 체온 또는 혈중 산소 수준들을 수신할 수 있다.
일부 실시예들에서, 컨텍스트 정보 결정기(2616)는, 사용자가 약물 치료 중인지 여부 및/또는 사용자가 약물을 복용했는지를 결정할 수 있다. 이러한 결정은, 사용자가 의약을 복용했다는 것을 나타내거나 또는 사용자가 자신의 의약을 복용했는지를 사용자에게 문의하는 스마트 디바이스로부터의 프롬프트에 응답하는 명시적 신호를 사용자가 제공하는 것, 이를테면, 디지털 애플리케이션 상에서 표시자를 선택하는 것에 기반할 수 있거나, 또는 다른 센서, 이를테면 스마트 약상자들 또는 의약 용기에 의해, 또는 다른 사용자, 이를테면 사용자의 간호인으로부터 제공될 수 있다. 일부 실시예들에서, 컨텍스트 정보 결정기(2616)는, 사용자의 전자 건강 기록(EHR)(241), 처방들 또는 구매들을 표시하는 이메일들 또는 메시징, 및/또는 구매 정보에 액세스함으로써, 사용자, 의사 또는 의료 제공자, 또는 간병인에 의해 제공되는 정보에 기반하여 사용자가 약물 치료 중이라는 것을 결정할 수 있다. 예컨대, 사용자 또는 케어 제공자는, 디지털 애플리케이션, 이를테면, 도 5d와 연계하여 설명된 예시적인 호흡기 감염 모니터 앱(5101)을 통해, 사용자가 복용하고 있는 특정 의약 또는 치료 요법을 특정할 수 있다.
컨텍스트 정보 결정기(2616)는 추가로, (예컨대, 사용자 디바이스 상의 위치 센서 또는 우편 번호(zip code)와 같은 위치 정보의 사용자의 입력에 의해) 사용자의 지리학적 지역을 결정할 수 있다. 일부 실시예들에서, 컨텍스트 정보 결정기(2616)는 추가로, 사용자의 지리학적 지역에 존재하는 호흡기 감염을 유발하는 것으로 알려져 있는 특정 바이러스 또는 박테리아, 이를테면 인플루엔자 또는 COVID-19의 정도를 결정할 수 있다. 그러한 정보는, 이를테면, 미국 질병 통제 예방 센터(CDC), 세계 보건 기구(WHO), 주 보건 부서, 또는 국가 보건 기관에 의해 운영되는 것들과 같은 정부 또는 의료 웹사이트들 또는 웹 포털들로부터 이용가능할 수 있다.
컨텍스트 정보 결정기(2616)에 의해 결정된 정보는 개인 기록(240)에 저장될 수 있고, 일부 실시예들에서, 정보는 관계형 데이터베이스에 저장될 수 있으며, 이에 따라, 컨텍스트 정보는 특정 음성 샘플 또는 음성 샘플로부터 결정된 특정 음소 특징 벡터(들)와 연관되고, 이는 또한 개인 기록(240)에 저장될 수 있다.
위에 설명된 바와 같이, 사용자 음성 모니터(260)는 일반적으로, 사용자의 음성의 오디오 샘플로부터 관련 음향 정보를 획득하는 것을 담당할 수 있다. 이러한 데이터의 수집은 사용자와의 상호작용들을 지시하는 것을 수반할 수 있다. 그에 따라서, 시스템(200)의 실시예들은, 음성 샘플들 및/또는 사용자 증상 정보를 획득하는 것을 포함하여 사용자 데이터의 수집을 용이하게 하기 위해 사용자 상호작용 관리자(280)를 더 포함할 수 있다. 그러므로, 사용자 상호작용 관리자(280)의 실시예들은, 사용자 명령어 생성기(282), 자가-보고 툴들(284), 및 사용자 입력 응답 생성기(286)를 포함할 수 있다. 사용자 상호작용 관리자(280)는, 사용자 음성 모니터(260)(또는 그의 하위 구성요소들 중 하나 이상), 제시 구성요소(220), 및 일부 실시예들에서는, 본원에서 나중에 설명되는 바와 같은 자가-보고 데이터 평가기(276)와 함께 작동할 수 있다.
사용자 명령어 생성기(282)는 일반적으로, 음성 샘플들을 제공하도록 사용자를 안내하는 것을 담당할 수 있다. 사용자 명령어 생성기(282)는 음성 데이터를 포착하기 위한 절차를 사용자에게 제공할 수 있다(예컨대, 이를테면 도 5a의 예에 도시된 그래픽 사용자 인터페이스를 통해 디스플레이하는 것, 또는 이를테면 도 4c의 예시적인 상호작용에 도시된 오디오 또는 음성 사용자 인터페이스를 통해 발화하는 것을 용이하게 할 수 있음). 다른 것들 중에서도, 사용자 명령어 생성기(282)는, 사용자에 대한 명령어들(231)(예컨대, "'aaa'를 5 초 동안 말하시오")을 읽고/거나 발화할 수 있다. 명령어들(231)은 사전 프로그래밍될 수 있고, 음소들, 음성 관련 데이터, 또는 사용자로부터 추구되는 다른 사용자 정보에 특정적일 수 있다. 일부 예시들에서, 명령어들(231)은 사용자의 간병인 또는 임상의에 의해 결정될 수 있다. 이러한 방식으로, 명령어들(231)은, 일부 실시예들에 따르면, (예컨대, 환자로서의 치료의 일부로서) 사용자에게 특정적이고/거나 호흡기 감염 또는 약물에 특정적일 수 있다. 대안적으로 또는 그에 부가하여, 명령어들(231)은 자동으로 생성(예컨대, 합성 또는 어셈블링)될 수 있다. 예컨대, 특정 음소에 관한 특징 정보가 사용자의 호흡기 병태를 결정하는 데 필요하거나 도움이 된다고 결정하는 것에 기반하여, 특정 음소를 요청하는 명령어들(231)이 생성될 수 있다. 유사하게, 미리 결정된 명령어들(231) 또는 동작들의 세트가 제공되고(예컨대, 임상의, 간병인으로부터 제공되거나, 또는 의사결정 지원 애플리케이션(이를테면, 105a 또는 105b)에 프로그래밍됨), 사용자에 대한 특정 또는 맞춤조정된 명령어들을 어셈블링하는 데 사용될 수 있다.
사전 프로그래밍된 또는 생성된 명령어들(231)은, 특정 발화 관련 작업을 수행하는 것, 이를테면, 설정된 지속기간 동안 특정 음소를 발화하는 것, 가능한 한 오랫동안 특정 음소를 발화하고 유지하는 것, 특정 단어들 또는 단어들의 조합들을 발화하는 것, 또는 구절을 큰 소리로 읽는 것과 관련될 수 있다. 구절을 큰 소리로 읽을 것이 사용자에게 요청되는 일부 실시예들에서, 구절의 텍스트가 사용자에게 제공되며, 이에 따라, 사용자는 제공된 구절을 큰 소리로 읽을 수 있다. 부가적으로 또는 대안적으로, 구절의 부분들이 사용자에게 청각적으로 출력될 수 있으며, 이에 따라, 사용자는 텍스트를 읽지 않고도 가청 구절들을 반복할 수 있다. 일 실시예에서, 사용자는 미리 결정된 음성학적으로 균형 잡힌 구절, 이를테면 무지개의 구절을 (쓰여진 텍스트를 읽거나 발화된 명령어들을 반복함으로써) 큰 소리로 말할 것을 요청받고, 구절의 특정 부분, 이를테면, 무지개의 구절 중 5개의 라인을 읽도록 요청받을 수 있다. 일부 예시들에서, 사용자는, 구절을 읽는 것을 완료하기 위해 미리 결정된 시간량, 이를테면 2 분을 소요할 수 있다.
일부 실시예들에서, 명령어들(231)은, 사용자에 의해 제공되도록 지시되는 음소들에 대한 샘플 소리들을 제공할 수 있다. 일부 실시예들에서, 사용자 명령어 생성기(282)는, 호흡기 병태 분석을 위해 추구되는 음소들 또는 소리들에 대해서만 명령어들(231)을 제공할 수 있으며, 이는, 명령어들(231)의 일부분만을 제공하는 것을 포함할 수 있다. 예컨대, 사용자 음성 모니터(260)가 주어진 시간 프레임 동안 특정 음소를 포함하는 음성 샘플을 아직 획득하지 못한 경우, 사용자 명령어 생성기(282)는, 그 음소 정보를 갖는 음성 샘플을 획득하는 것을 용이하게 하기 위한 명령어들(231)을 제공할 수 있다. 사용자 명령어 생성기(282)(또는 사용자 상호작용 관리자(280))에 의해 제공될 수 있는 명령어들(231)을 도시하는 부가적인 예들이 도 4a, 도 4b, 및 도 5b와 관련하여 도시되고 추가로 설명된다.
사용자 명령어 생성기(282)의 일부 실시예들은 특정 사용자에 대해 맞춤조정된 명령어들(231)을 제공할 수 있다. 그러므로, 사용자 명령어 생성기(282)는, 특정 사용자의 건강 상태, 임상의의 지시들, 처방들, 또는 사용자에 대한 권고들, 사용자의 인구통계 또는 EHR 정보(예컨대, 사용자가 흡연자인 것으로 결정되는 경우, 명령어들이 수정됨)에 기반하여, 또는 사용자로부터의 이전에 포착된 음성/음소 정보에 기반하여 명령어들(231)을 생성할 수 있다. 예컨대, 사용자에 의해 제공된 이전 음소들의 분석은 호흡기 감염 전체 또는 그 일부 동안(예컨대, 회복 동안) 더 많은 변화들을 나타내는 특정 음소들을 표시할 수 있다. 부가적으로 또는 대안적으로, 사용자가 다른 특징들에 비해 일부 음소 특징들에 의해 더 쉽게 검출 또는 추적되는 호흡기 병태를 갖는다는 것이 결정될 수 있다. 이러한 예시들에서, 사용자 명령어 생성기(282)의 실시예는, 그 음소(들)의 부가적인 샘플들을 포착하도록 사용자에게 지시할 수 있거나 또는 특정 사용자에게 덜 유용한 음소들을 갖는 음성 샘플들을 획득하기 위한 명령어들을 제거하도록(또는 제공하지 않도록) 명령어들(231)을 생성 또는 수정할 수 있다. 사용자 명령어 생성기(282)의 일부 실시예들에서, 명령어들(231)은, 사용자의 호흡기 병태의 이전 결정들(예컨대, 사용자가 아픈 상태인지 또는 회복 중인지 여부)에 기반하여 수정될 수 있다.
자가-보고 툴들(284)은 일반적으로, 자신의 호흡기 병태와 관련될 수 있는 데이터 및 다른 컨텍스트 정보를 제공하도록 사용자를 안내하는 것을 담당할 수 있다. 자가-보고 툴들(284)은, 자가-보고 데이터 평가기(276) 및 데이터 수집 구성요소(210)와 인터페이싱할 수 있다. 자가-보고 툴들(284)의 일부 실시예들은, 사용자 관련 데이터를 제공하도록 사용자를 안내하기 위한 명령어들(231)을 제공하기 위해 사용자 명령어 생성기(282)와 함께 동작할 수 있다. 예컨대, 자가-보고 툴들(284)은, 호흡기 병태와 관련하여 사용자가 경험하고 있는 증상들에 관한 정보를 제공할 것을 사용자에게 프롬프팅하기 위해 명령어들(231)을 활용할 수 있다. 일 실시예에서, 자가-보고 툴들(284)은, 코막힘 관련 또는 비-코막힘 관련일 수 있는 증상들의 세트 내의 각각의 증상의 중증도의 등급을 매길 것을 사용자에게 프롬프팅할 수 있다. 부가적으로 또는 대안적으로, 자가-보고 툴들(284)은, 명령어들(231)을 활용하거나 사용자에게 그 사용자의 건강 또는 사용자가 일반적으로 어떻게 느끼는지에 관한 정보를 제공할 것을 요청할 수 있다. 일 실시예에서, 자가-보고 툴들(284)은, 콧물이 목에 쌓이는 것(post-nasal discharge), 코 이물감(nasal obstruction), 콧물 흐름, 점액을 동반한 두꺼운 콧물, 기침, 인후통, 및 코를 풀 필요성의 중증도를 표시할 것을 사용자에게 프롬프팅할 수 있다. 일부 실시예들에서, 자가-보고 툴들(284)은, 사용자에게 프롬프팅하거나 사용자로부터 데이터를 수신하는 것을 용이하게 하기 위한 사용자 인터페이스 요소들을 포함할 수 있다. 예컨대, 자가-보고 툴들(284)을 제공하기 위한 GUI들의 양상들이 도 5d 및 도 5e에 도시된다. 자가-보고 툴들(284)을 제공하기 위한 음성 사용자 인터페이스(VUI)의 양상들을 도시하는 예시적인 사용자 상호작용들이 도 4d, 도 4e, 및 도 4f에 도시된다.
일부 실시예들에서, 자가-보고 툴들(284)은, 명령어들(231)을 활용하여, 하루에 여러 번 증상 또는 일반적인 상태 입력을 제공할 것을 사용자에게 프롬프팅할 수 있고, 요청된 입력은 하루 중 시간에 기반하여 변할 수 있다. 일부 실시예들에서, 입력 시간들은, 사용자 음성 샘플이 획득되는 시간 프레임들 또는 세션들에 대응할 수 있다. 일 예에서, 자가-보고 툴들(284)은, 아침에는 19개의 증상 그리고 저녁에는 16개의 증상의 인지된 중증도의 등급을 매길 것을 사용자에게 프롬프팅할 수 있다. 부가적으로 또는 대안적으로, 자가-보고 툴들(284)은, 아침에는 4개의 수면 관련 질문 그리고 저녁에는 하나의 일과 종료 피곤함 질문에 대답할 것을 사용자에게 프롬프팅할 수 있다. 아래의 표는, 명령어들(231)을 활용하여 자가-보고 툴들(284)에 의해 결정될 수 있고 자가-보고 툴들(284) 또는 사용자 상호작용 관리자(280)의 다른 하위 구성요소에 의해 출력될 수 있는 사용자 입력에 대한 프롬프트들의 예시적인 목록을 도시한다.
Figure pct00003
일부 실시예들에서, 자가-보고 툴들(284)은, 사용자의 검출된 음소 특징들(즉, 의심되는 호흡기 병태에 기반함), 이전에 포착된 음소 데이터, 및/또는 다른 자가-보고 입력에 기반하여 후속 질문들을 제공하거나 후속 프롬프트들을 제공할 수 있다. 일 예시적인 실시예에서, 음소 특징들의 분석이, 사용자가 호흡기 감염을 나타내고 있거나 여전히 호흡기 감염으로부터 회복 중일 수 있다는 것을 표시하는 경우, 자가-보고 툴들(284)은 증상들을 보고할 것을 사용자에게 프롬프팅하는 것을 용이하게 할 수 있다. 예컨대, 명령어들(231)을 활용하고/거나 사용자 상호작용 관리자(280)와 함께 동작할 수 있는 자가-보고 툴들(284)은, 사용자의 증상들에 관해 사용자에게 문의할 수 있다(또는 그를 청하는 요청을 디스플레이할 수 있음). 이러한 실시예에서, 사용자에게, "코가 막혔다고 느끼십니까?"와 같은 사용자가 어떻게 느끼는지에 관한 질문들이 문의될 수 있다. 유사한 예에서, 사용자가, 사용자가 코가 막혔거나 특정 증상을 갖는다고 보고하는 경우, 자가-보고 툴들(284)은, "1 - 10의 척도로 얼마나 코가 막혔습니까?"를 문의하거나 이러한 후속 세부사항을 제공할 것을 사용자에게 프롬프팅함으로써 후속 조처할 수 있다.
일부 실시예들에서, 자가-보고 툴들(284)은, 사용자의 생리학적 데이터의 자동 수집을 용이하게 하기 위해, 사용자가 웨어러블 디바이스, 건강 모니터, 또는 생리학적 센서를 통신가능하게 결합하는 것을 가능하게 하는 기능성을 포함할 수 있다. 그러한 일 실시예에서, 데이터는, 컨텍스트 정보 결정기(2616) 또는 시스템(200)의 다른 구성요소에 의해 수신될 수 있고 개인 기록(240)에 저장될 수 있다. 일부 실시예들에서, 이전에 설명된 바와 같이, 자가-보고 툴들(284)로부터 수신된 이러한 정보는 관계형 데이터베이스에 저장될 수 있으며, 이에 따라, 그 정보는 세션으로부터 획득된 음성 샘플로부터 결정되는 특정 음성 샘플 또는 특정 음소 특징 벡터(들)와 연관된다. 일부 실시예들에서, 수신된 생리학적 데이터에 기반하여, 자가-보고 툴들(284)은, 위에 설명된 바와 같이, 증상 정보를 자가-보고할 것을 사용자에게 프롬프팅 또는 요청할 수 있다.
사용자 입력 응답 생성기(286)는 일반적으로, 다양한 실시예들에 따라 사용자에게 피드백을 제공하는 것을 담당할 수 있다. 그러한 일 실시예에서, 사용자 입력 응답 생성기(286)는 사용자 데이터의 사용자의 입력, 이를테면, 발화 또는 음성 기록들을 분석할 수 있고, 사용자 명령어 생성기(282) 및/또는 샘플 기록 감사기(2608)와 함께 동작하여, 사용자의 입력에 기반하여 사용자에게 피드백을 제공할 수 있다. 일 실시예에서, 사용자 입력 응답 생성기(286)는, 사용자의 응답을 분석하여, 사용자가 양호한 음성 샘플을 제공했는지 여부를 결정하고, 이어서, 그 결정의 표시를 사용자에게 제공할 수 있다. 예를 들면, 기록된 샘플이 양호하다는 것을 표시하기 위해, 녹색 표시등(green light), 체크마크, 웃는 얼굴, 엄지손가락을 세워 보이는 것, 벨 또는 처프(chirp) 소리, 또는 유사한 표시자가 사용자에게 제공될 수 있다. 마찬가지로, 샘플이 불완전했거나 결함이 있었다는 것을 사용자에게 알리기 위해, 적색 표시등, 찡그린 얼굴, 버저(buzzer), 또는 유사한 표시자가 제공될 수 있다. 일부 실시예들에서, 사용자 입력 응답 생성기(286)는, 사용자가 사용자 명령어 생성기(282)로부터의 명령어들(231)을 준수하지 못했는지를 결정할 수 있다. 사용자 입력 응답 생성기(286)의 일부 실시예들은, 문제가 검출되는 경우 사용자에게 맥락에 맞는(in-context) 도움 또는 지원을 제공하기 위해 챗봇 소프트웨어 에이전트를 호출할 수 있다.
사용자 입력 응답 생성기(286)의 실시예들은, 이전 음성 샘플의 소리 수준 또는 다른 음향 특성들이 불충분하거나, 너무 많은 배경 잡음이 존재하는 경우, 또는 샘플에 기록되고 있는 소리가 충분히 길지 않은 경우 사용자에게 알릴 수 있다. 예컨대, 사용자가 초기 음성 샘플을 제공한 후에, 사용자 입력 응답 생성기(286)는, "그것을 듣지 못했습니다; 다시 시도해 주십시오. 5 초 동안 'aaaa'를 말해주시길 바랍니다"를 출력할 수 있다. 일 실시예에서, 사용자 입력 응답 생성기(286)는, 사용자가 기록 동안에 달성하려고 시도해야 하는 소리 세기(loudness)의 수준을 표시하고/거나, 음성 샘플이 수용가능한지의 여부에 대해 사용자에게 피드백을 제공할 수 있으며, 이는, 샘플 기록 감사기(2608)에 따라 결정될 수 있다.
일부 실시예들에서, 사용자 입력 응답 생성기(286)는, 소리 수준, 배경 잡음, 또는 음성 샘플을 획득하는 타이밍 지속기간에 관한 피드백을 사용자에게 제공하기 위해 사용자 인터페이스의 양상들을 활용할 수 있다. 예를 들면, 시각적 또는 오디오 카운트다운 클록 또는 타이머가 사용되어, 음성 샘플을 기록하기 위해 발화하는 것을 시작 또는 중단할 때가 사용자에게 시그널링될 수 있다. 타이머의 일 실시예는 도 5a에서 GUI 요소(5122)로서 도시된다. 사용자 입력 응답을 제공하기 위한 유사한 예는 도 5b에서 GUI 요소(5222)로서 도시되며, 이는, 타이머, 및 배경 잡음의 표시자를 포함한다. 다른 예들(도시되지 않음)은, 오디오 입력 수준(들), 배경 잡음, 단어들이 발화됨에 따라 사용자가 읽고 있는 단어들의 색상을 변경하는 것 또는 그 단어들을 따라 호핑하는 볼(ball), 또는 유사한 오디오 또는 시각적 표시자를 위한 GUI 요소들을 포함할 수 있다.
사용자 입력 응답 생성기(286)는, 특정 발화 관련 작업(예컨대, 발성음 발성) 또는 음성 세션의 진행의 표시를 사용자에게 제공할 수 있다. 예를 들면, 위에 설명된 바와 같이, 사용자 입력 응답 생성기(286)는 사용자가 지속된 발성음을 제공할 때 초를 카운팅할 수 있거나(그래픽 사용자 인터페이스 상에 또는 오디오 사용자 인터페이스를 통해 디스플레이됨), 또는 언제 시작 및/또는 중단할지를 사용자에게 알릴 수 있다. 사용자 입력 응답 생성기(286)(또는 사용자 명령어 생성기(282))의 일부 실시예들은, 완료될 발화 관련 작업들 또는 특정 세션, 시간 프레임 또는 날 동안 이미 완료된 발화 관련 작업들에 관한 표시를 제공할 수 있다.
이전에 설명된 바와 같이, 사용자 입력 응답 생성기(286)의 일부 실시예들은 사용자에 대한 시각적 표시자들을 생성할 수 있으며, 이에 따라, 사용자는, 예컨대, 샘플의 볼륨 수준, 샘플이 수용가능한지 여부, 및/또는 샘플이 올바르게 포착된지 여부의 표시자들과 같은 제공된 음성 샘플의 피드백을 볼 수 있다.
(단독으로 또는 사용자 상호작용 관리자(280)와 함께) 사용자 음성 모니터(260) 또는 호흡기 병태 추적기(270)에 의해 수집 및 결정된 음성 정보를 활용하여, 사용자의 호흡기 병태에 관한 정보 및/또는 사용자의 장래의 호흡기 병태에 관한 예측을 결정할 수 있다. 일 실시예에서, 호흡기 병태 추적기(270)는, 특정 시간 또는 시간 프레임과 연관되고 날짜 및/또는 시간 정보가 타임스탬핑될 수 있는 음소 특징 세트(예컨대, 하나 이상의 음소 특징 벡터)를 수신할 수 있다. 예를 들면, 음소 특징 세트는, 사용자 음성 모니터(260)로부터, 또는 사용자와 연관된 개인 기록(240), 이를테면 음소 특징 벡터들(244)로부터 수신될 수 있다. 음소 특징 세트와 연관된 시간 정보는, 본원에 설명된 바와 같이, 음소 특징 세트를 결정하는 데 사용된 음성 샘플(들)(또는 음성 관련 데이터)이 사용자로부터 획득되는 날짜 및/또는 시간에 대응할 수 있다. 호흡기 병태 추적기(270)는 또한, 개인 기록(240) 및/또는 사용자 음성 모니터(260)(또는 구체적으로는, 컨텍스트 정보 결정기(2616))로부터 수신될 수 있으며 음소 특징들이 결정되는 오디오 기록들 또는 음성 샘플들과 관련된 컨텍스트 정보를 수신할 수 있다. 호흡기 병태 추적기(270)의 실시예들은, 하나 이상의 분류기를 활용하여, 여러 번 동안의 음소 특징 세트들(벡터들) 및 일부 실시예들에서는 컨텍스트 정보에 기반하여 사용자의 가능성 있는 현재 호흡기 병태의 점수 또는 결정을 생성할 수 있다. 부가적으로 또는 대안적으로, 호흡기 병태 추적기(270)는, 예측기 모델을 활용하여, 사용자의 가능성 있는 장래의 호흡기 병태를 예보할 수 있다. 호흡기 병태 추적기(270)의 실시예들은, 특징 벡터 시간 시계열 어셈블러(272), 음소 특징 비교기(274), 자가-보고 데이터 평가기(276), 및 호흡기 병태 추론 엔진(278)을 포함할 수 있다.
특징 벡터 시계열 어셈블러(272)는, 사용자에 대한 연속적인 음소 특징 벡터들(또는 특징 세트들)의 시계열을 어셈블링하기 위해 이용될 수 있다. 시계열은, 특징 벡터들과 연관된 시간 정보(또는 타임스탬프들)에 따라 시간순 또는 시간 역순으로으로 어셈블링될 수 있다. 일부 실시예들에서, 시계열은, 사용자 또는 개인에 대해 수집된 음성 샘플들에 대해 생성된 음소 특징 벡터들, 개인이 아픈 상태(즉, 호흡기 감염을 가짐)인 시간 구간 내에 수집된 샘플들에 대해 생성된 음소 특징 벡터들, 또는 예컨대, 지난 3 - 5주, 지난 2 주, 또는 지난 주와 같은 설정되거나 미리 결정된 시간 구간 내의 시간들과 연관된 음소 특징 벡터들 전부를 포함할 수 있다. 다른 실시예들에서, 시계열은 2개의 특징 벡터만을 포함한다. 그러한 일 실시예에서, 시계열의 제1 음소 특징 벡터는 대응하는 타임스탬프에 따라 최근 시간 기간 또는 인스턴스와 연관될 수 있고, 그에 따라, 사용자의 현재 호흡기 병태에 관한 정보를 표현할 수 있는 한편, 제2 특징 벡터는 이전 시간 기간 또는 인스턴스와 연관될 수 있다. 일부 실시예들에서, 이전 시간 기간은 사용자의 호흡기 병태가 최근 시간 기간 또는 인스턴스와 상이한 시간 구간(즉, 사용자가 아픈 상태였던 또는 건강한 상태였던 시간)에 대응한다.
추가로, 음소 특징 비교기(274)는 일반적으로, 사용자에 대한 음소 특징 벡터들(244)의 차이들(또는 상이한 특징 세트들 내의 특징들의 값들의 차이들)을 결정하는 것을 담당할 수 있다. 음소 특징 비교기(274)는 2개 이상의 음소 특징 벡터를 비교함으로써 차이들을 결정할 수 있다. 예를 들면, 임의의 2개의 상이한 시간 인스턴스 또는 기간과 연관된 음소 특징 벡터들(244) 사이에서, 또는 최근 시간 기간 또는 인스턴스와 연관된 특징 벡터(들)와 이전 시간 기간 또는 인스턴스와 연관된 특징 벡터(들) 사이에서 비교가 수행될 수 있다. 각각의 비교된 음소 특징 세트(또는 벡터)는 상이한 시간 기간들 또는 인스턴스들과 연관될 수 있으며, 이에 따라, 음소 특징 비교기(274)에 의한 비교는 상이한 시간 기간들 또는 인스턴스들에 걸쳐 (사용자의 호흡기 병태의 변화들을 표현하는) 특징들의 변화들에 관한 정보를 제공할 수 있다. 일부 실시예들에서, 비교될 2개 이상의 특징 벡터가 동일한 지속기간을 가질 수 있거나 또는 각각의 벡터가 비교를 위한 대응하는 특징들(즉, 동일한 차원들)을 갖는 것으로 고려된다. 일부 예시들에서, 특징 벡터의 일부분(또는 특징들의 서브세트)만이 비교될 수 있다. 일 실시예에서, 각각이 상이한 시간 기간 또는 인스턴스와 연관된 3개 이상의 벡터를 포함할 수 있는 복수의 특징 벡터들이 음소 특징 비교기(274)에 의해 활용되어, 상이한 시간 기간들 또는 인스턴스들에 걸쳐 있는 시간 프레임에 걸친 특징 변화들을 특성화하는 분석이 수행될 수 있다. 예컨대, 분석은, 변화의 변화율을 결정하는 것, 회귀 또는 곡선 피팅(fitting), 클러스터 분석, 판별 분석, 또는 다른 분석을 포함할 수 있다. 이전에 설명된 바와 같이, "특징 세트" 및 "특징 벡터"라는 용어들이 특징 세트들 사이의 비교를 수행하는 것을 용이하게 하기 위해 본원에서 상호교환가능하게 사용될 수 있지만, 특징 세트의 개별 특징들이 특징 벡터로 간주될 수 있다.
일부 실시예들에서, 최근 시간 기간 또는 인스턴스의 특징 벡터(들)(예컨대, 가장 최근에 획득된 음성 샘플(들)로부터 결정된 특징 벡터(들))와 다수의 이전 시간 기간들 또는 인스턴스들에 대응하는 특징 벡터들의 평균 또는 합성(예컨대, 다수의 이전 특징 벡터들 또는 음성 샘플들에 기반한 박스카 이동 평균(boxcar moving average)) 사이에서 비교가 수행될 수 있다. 일부 예시들에서, 평균은, 사용자에 대한 이전 시간 기간들 또는 인스턴스들과 연관된 특징 벡터들(예컨대, 음성 샘플들을 획득하는 10개의 이전 세션에 대응하는 특징 벡터들로부터의 평균) 또는 지난 주 또는 지난 2 주와 같은 미리 결정된 이전 시간 구간으로부터의 특징 벡터들의 최대 수까지 고려할 수 있다. 음소 특징 비교기(274)는 대안적으로 또는 부가적으로, 최근 시간 구간에 대한 사용자의 특징 벡터(들)를 음소 특징 기준선과 비교할 수 있으며, 이는, 본원에서 추가로 설명되는 바와 같이, 사용자 또는 다른 사용자들, 이를테면, 대규모 집단 또는 모니터링되는 사용자와 유사한 다른 사용자들(예컨대, 모니터링되는 사용자와 유사한 호흡기 병태 또는 다른 유사성을 갖는 코호트(cohort))에 기반할 수 있다. 추가로, 일부 예시들에서, 비교는, 기준선에 관한(또는, 기준선을 활용하지 않는 실시예들에서는, 특징 세트들에 관한) 통계적 정보, 이를테면, 기준선에 대응하는(또는 특징 세트(들)에 대응하는) 특징 세트(들)의 통계적 분산 또는 표준 편차를 활용할 수 있다. 평균, 및 특히, 롤링 또는 이동 평균을 이용하는 것은, 일부 실시예들에서, 이전 특징 벡터들(즉, 이전 시간 기간들 또는 인스턴스들로부터 획득된 음성 샘플들에 대응하는 특징 벡터들)에 대한 평활화 함수로서 동작하는 것으로 간주될 수 있다. 이러한 방식으로, 이전 샘플들 간에 발생할 수 있는 호흡기 감염을 설명하지 않는 음성 관련 데이터의 변동들이 최소화될 수 있다(예컨대, 음성 샘플이 사용자가 처음 기상한 아침에 또는 그렇지 않은 아침에 획득되는지 대 긴 일과의 종료 시에 획득되는지 대 사용자가 큰 소리로 환호하거나 노래를 부른 후의 시간에 획득되는지 여부). 또한, 음소 특징 비교기(274)의 일부 실시예들은, 최근 특징 벡터들의 평균을 이전 특징 벡터들의 평균 또는 단일 이전 시간 기간 또는 인스턴스와 연관된 특징 벡터(들)와 비교할 수 있는 것으로 고려된다. 유사하게, 최근 특징들의 특징 값들(또는 특징 값들의 일부분) 간에 통계적 분산이 결정되고 이전 특징 값들(또는 그의 일부분)의 분산에 대해 비교될 수 있다.
음소 특징 비교기(274)의 일부 실시예들은, 음소 특징 벡터들의 비교를 결정하기 위해 음소 특징 비교 논리(235)를 활용할 수 있다. 음소 특징 비교 논리(235)는, 컴퓨터 명령어들(예컨대, 함수들, 루틴들, 프로그램들, 라이브러리들 등)을 포함할 수 있고, 제한 없이, 특징들 또는 특징 벡터들의 비교를 수행하거나, 또는 비교를 용이하게 하거나 또는 해석을 위해 비교를 처리하기 위한 하나 이상의 규칙, 조건, 프로세스, 모델, 또는 다른 논리를 포함할 수 있다. 일부 실시예들에서, 음소 특징 비교 논리(235)는, 음소 특징 벡터들의 거리 메트릭 또는 차이 측정치를 컴퓨팅하기 위해 음소 특징 비교기(274)에 의해 활용된다. 예시적인 양상들에서, 거리 측정치는, 사용자에 대한 시간의 경과에 따른 음성 정보의 음향 특징 공간의 변화를 정량화하는 것으로 간주될 수 있다. 이러한 방식으로, 사용자에 대한 음성 정보가 획득되는 2개 이상의 시간 사이의 음향 특징 공간(예컨대, 음소 특징들)에서 검출되는 정량화가능한 변화들에 기반하여 사용자의 호흡기 병태의 변화들이 관찰되고 정량화될 수 있다. 일 실시예에서, 음소 특징 비교기(274)는, 거리 측정치를 결정하기 위해 2개의 특징 벡터(또는 특징 벡터들의 평균들)에 대한 유클리드 측정치 또는 L2 거리를 결정할 수 있다. 일부 예시들에서, 음소 특징 비교 논리(235)는, 비교 동작 이전에 또는 비교 동작의 일부로서, 다차원 벡터들의 경우의 평탄화, 정규화, 또는 다른 처리 동작들을 수행하기 위한 논리를 포함할 수 있다. 일부 실시예들에서, 음소 특징 비교 논리(235)는 다른 거리 메트릭들(예컨대, 맨하튼(Manhattan) 거리)을 수행하기 위한 논리를 포함할 수 있다. 예컨대, 최근 특징 벡터와 이전 시간 기간들 또는 인스턴스들과 연관된 특징 벡터들의 세트 사이의 거리를 결정하기 위해 마할라노비스(Mahalanobis) 거리가이용될 수 있다. 일부 실시예들에서, 이를테면, 사용자가 구절을 큰 소리로 읽는 것을 비교하는 구현들에 대해, 레벤슈타인 거리가 결정될 수 있다. 예컨대, 실시예에 따르면, 발화-텍스트 알고리즘이 활용되어, 사용자의 구절 암송으로부터 텍스트가 생성될 수 있다. 구절의 음절들 또는 단어들 및 사용자가 그 단어들을 읽을 때의 대응하는 타임스탬프를 포함하는 하나 이상의 엔트리의 시계열이 결정될 수 있다. 시계열(또는 타임스탬프) 정보는, 유사한 방식으로 결정된 기준선 특징 벡터에 대한 (예컨대, 레벤슈타인 거리 알고리즘을 사용한) 비교를 위한 특징 벡터를 생성하기 위해 사용될 수 있다(또는 다른 방식으로 특징들로서 사용될 수 있음).
일부 실시예들에서, 음소 특징 차이(또는 거리 메트릭)는 개인에 대한 다수의 쌍들의 시간들에 대해 결정될 수 있다. 예컨대, 가장 최근의 날로부터의 음소 특징 벡터(들)와 가장 최근의 날 이전의 날로부터의 음소 특징 벡터(들) 사이의 거리가 컴퓨팅될 수 있고/거나, 가장 최근의 날로부터의 음소 특징 벡터(들)와 일주일 전에 수집된 샘플들로부터의 음소 특징 벡터(들) 사이의 또는 기준선을 표현하는 음소 특징 벡터 사이의 거리가 컴퓨팅될 수 있다. 추가로, 일부 실시예들에서, 상이한 음소 특징 벡터들 또는 특징들에 대한 상이한 유형들의 거리 측정치들이 컴퓨팅될 수 있다.
일부 실시예들에서, 음소 특징 차이(또는 거리 메트릭)는, 시간 기간 또는 인스턴스에 걸친 특정 음향 특징의 차이를 표시할 수 있다. 예컨대, 음소 특징 비교기(274)는 음소 /n/의 조화성에 대한 거리 메트릭을 컴퓨팅할 수 있고, 음소 /m/의 쉬머에 대해 다른 거리 메트릭이 컴퓨팅될 수 있다. 부가적으로 또는 대안적으로, 거리 메트릭들(또는 변화의 표시)은 시간 기간 또는 인스턴스에 걸친 음향 특징들의 조합들에 대해 결정될 수 있다.
일부 실시예들에서, 음소 특징 비교 논리(235)(또는 음소 특징 비교기(274))는, 사용자에 대한 특징 기준선을 생성 또는 활용하기 위한 컴퓨터 명령어들을 포함한다. 기준선은, 건강한 상태, 질병 상태(예컨대, 인플루엔자 상태 또는 호흡기 감염 상태), 회복 상태, 또는 사용자의 임의의 다른 상태를 표현할 수 있다. 다른 상태들의 예들은, 시간 인스턴스 또는 시간 구간(예컨대, 30 일 전)에서의 사용자의 상태; 이벤트와 연관된(예컨대, 수술 또는 부상 전의) 사용자의 상태; 병태에 따른 사용자의 상태(예컨대, 사용자가 약물을 복용하고 있는 시간으로부터의, 또는 사용자가 오염된 도시에 살고 있는 시간 동안의 사용자의 상태); 또는 다른 기준들과 연관된 상태를 포함할 수 있다. 예컨대, 건강한 상태에 대한 기준선은, 사용자가 건강한 상태였던 하나 또는 복수의 시간 구간(예컨대, 날들)에 대응하는 하나 또는 복수의 특징 세트를 활용하여 결정될 수 있다.
각각이 상이한 시간 구간에 대응하는 복수의 특징 세트들에 기반하여 결정된 기준선은, 본원에서 다중-기준 또는 다중-일(multiday) 기준선으로 지칭될 수 있다. 일부 예시들에서, 다중-기준 기준선은, 각각이 상이한 시간 구간들에 대응하는 복수의 또는 한 그룹의 특징 세트들을 포함한다. 대안적으로, 다중-기준인 기준선은, 다수의 시간 구간들로부터의 다수의 특징 세트들에 기반하는 단일의 대표적인 특징 세트를 포함할 수 있다(예컨대, 이를테면 이전에 설명된, 상이한 시간 기간들 또는 인스턴스들로부터의 특징 세트 값들의 평균 또는 합성을 포함함). 일부 실시예들에서, 기준선은 특징들에 관한 통계적 또는 보충적 데이터 또는 메타데이터를 포함할 수 있다. 예를 들면, 기준선은, 특징 세트(다수의 시간 구간들을 대표할 수 있음) 및 통계적 분산, 또는 다수의 특징 세트(예컨대, 다중-기준 기준선)가 사용되는 경우에는 특징 값들의 표준 편차를 포함할 수 있다. 보충적 데이터는, 기준선을 결정하기 위해 사용되는 특징 세트(들)의 시간 구간(들)과 연관될 수 있는 컨텍스트 정보를 포함할 수 있다. 메타데이터는, 기준선을 결정하는 데 사용되는 특징 세트(들)에 관한 정보, 이를테면, 시간 구간에서의 사용자의 호흡기 병태에 관한 정보(예컨대, 사용자가 건강한 상태, 아픈 상태, 회복 중인 것 등), 또는 기준선에 관한 다른 정보를 포함할 수 있다. 일부 실시예들에서, 본원에 설명된 바와 같이, 다양한 기준들에 기반하여, 상이한 비교들을 수행하기 위해 기준선들의 세트가 결정될 수 있다.
수집된 음성 샘플로부터 생성된 특징 벡터(들)와 특정 상태에 대한 기준선의 비교는, 사용자의 병태 또는 상태가 알려져 있는 병태 또는 상태와 비교되는 방식을 표시할 수 있다. 예시적인 실시예들에서, 기준선은, 기준선에 대한 비교가 사용자의 병태 또는 상태가 변했는지 여부를 표시할 것이도록 특정 사용자에 대해 결정된다. 대안적으로 또는 부가적으로, 기준선은, 대규모 집단에 대해 또는 유사한 사용자들의 코호트로부터 결정될 수 있다. 일부 실시예들에서, 상이한 특징 세트들에 대해 상이한 유형들의 기준선들이 사용된다. 예컨대, 일부 특징들은 사용자 특정 기준선과 비교될 수 있는 한편, 다른 특징들은 개인들의 집단으로부터의 데이터로부터 결정된 표준 기준선과 비교될 수 있다. 일부 실시예들에서, 사용자는, 기준선을 결정하는 것에서 사용하기 위한 특정의 음성 샘플, 날짜, 또는 시간 구간을 (예컨대, 설정(249)을 통해) 특정할 수 있다. 예컨대, 사용자는, 이를테면, 사용자의 알려져 있는 상태 또는 병태에 대응하는 캘린더 상의 날들을 선택함으로써 GUI를 통해 날짜 또는 날들의 범위를 특정할 수 있으며, 추가로, 알려져 있는 상태 또는 병태에 관한 정보를 제공할 수 있다(예컨대, "당신이 건강한 상태였던 적어도 하나의 이전 날짜를 선택하십시오"). 유사하게, 음성 샘플을 획득하기 위한 기록 세션 동안, 사용자는, 음성 샘플이 기준선을 결정하는 데 사용되어야 한다는 것을 표시할 수 있고, 사용자의 병태 또는 상태의 대응하는 표시를 제공할 수 있다. 예를 들면, 샘플을 건강한 상태(또는 아픈 상태 또는 회복 중 상태)에 대한 기준선으로서 사용하기 위한 GUI 체크박스가 기록 세션 동안 제시될 수 있다.
일부 실시예들에서, 음소 특징 비교 논리(235)는, 다중-일 또는 다중-기준 기준선을 생성 및 활용하기 위한 컴퓨터 명령어들을 포함할 수 있다. 다중일 기준선은, 예컨대, 롤링되거나 고정될 수 있다. 특히, 이러한 기준선에 대한 최근 특징 벡터의 비교를 수행함으로써, 음소 특징 비교기(274)는, 사용자의 호흡기 병태가 변했다는 것 및 사용자가 아픈 상태인지 또는 건강한 상태인지를 표시하는 정보를 결정할 수 있다. 음소 특징 비교기(274)에 의해 수행되는 비교에 기반한 사용자의 호흡기 병태의 결정에 관한 세부사항들이 호흡기 병태 추론 엔진(278)과 관련하여 설명된다. 유사하게, 음소 특징 비교 논리(235)는, 최근 음소 특징 벡터 및 이전 벡터들의 세트(또는 다중-기준 기준선)를 활용하여 복수의 비교들을 수행하기 위한 명령어들, 및 차이 측정치들을 서로에 대해 비교하기 위한 명령어들을 포함할 수 있으며, 이에 따라, 사용자의 호흡기 병태가 변했다는 것, 그리고 또한, 사용자가 아픈 상태(또는 건강한 상태)라는 것 또는 사용자의 병태가 나아지거나 악화다고 있다는 것이 (예컨대, 호흡기 병태 추론 엔진(278)에 의해) 결정될 수 있다. 거리 측정치들의 비교들을 포함하는 다수의 비교들을 수행하는 것의 부가적인 세부사항들이 호흡기 병태 추론 엔진(278)과 관련하여 설명된다.
일부 실시예들에서, 기준선은, 사용자에 관한 더 많은 정보가 획득됨에 따라 자동으로 동적으로 정의될 수 있다. 예컨대, 사용자의 음성 정보의 정상 변동성이 시간 경과에 따라 변함에 따라, 사용자의 기준선이 또한 사용자의 현재 정상 변동성을 반영하도록 변할 수 있다. 일부 실시예들은, 최근 특징 세트 또는 복수의 최근 특징 세트들(복수의 시간 구간들(예컨대, 날들)에 대응함)로부터 결정될 수 있고 기준선 기준들(예컨대, 건강한 상태, 아픈 상태, 회복 중)에 피팅되는 새로운 특징 세트들이 결정됨에 따라 업데이트되는 적응적 기준선을 활용할 수 있다. 예컨대, 적응적 기준선에 대해 활용되는 복수의 특징 세트들은 선입선출(FIFO) 데이터 흐름을 따를 수 있으며, 이에 따라, (예컨대, 더 최근의 날들로부터) 기준선에 대한 새로운 특징 세트들이 결정되는 경우 더 오래된 시간들로부터의 특징 세트들은 더 이상 고려되지 않는다. 이러한 방식으로, 적응적 기준선으로 인해, 사용자의 음성에서 발생할 수 있는 작은 변동들 또는 느린 변화들 및 적응들이 배제될 수 있다. 적응적 기준선을 활용하는 일부 실시예들에서, 기준선에 대한 파라미터(예컨대, 포함될 특징 세트들의 수 또는 포함될 최근 특징 세트들에 대한 시간 윈도우)가 애플리케이션 설정들(예컨대, 설정들(249))에서 구성될 수 있다. 다수의 시간 구간들(예컨대, 날들)로부터의 특징 세트들이 기준선에 대해 활용되는 실시예들의 일부 예시들에서, 기준선이 최신이도록, 더 최근에 결정된 특징 세트들이 더 유의성을 보유하도록 가중될 수 있다. 대안으로서 또는 부가적으로, 이전 시간 기간들 또는 인스턴스들에 대응하는 더 오래된(즉, "스테일(stale)") 특징 세트들은 시간 경과에 따라 붕괴되거나 기준선에 덜 기여하도록 가중될 수 있다.
일부 실시예들에서, 사용자의 기준선 내의 특정 특징들은 그 특정 사용자에 대해 맞춤조정될 수 있다. 이러한 방식으로, 상이한 사용자들은 그들 개개의 기준선들 내에서 음소 특징들의 상이한 조합을 가질 수 있고, 그에 따라서, 상이한 음소 특징들이 결정되고 각각의 사용자의 호흡기 병태를 모니터링하는 것에서 활용될 수 있다. 예컨대, 제1 사용자의 건강한 상태 음성 샘플에서, (일반적으로 또는 특정 음소에 대한) 특정 음향 특징이 자연스럽게 요동할 수 있으며, 이에 따라, 그 특징은 그 사용자의 호흡기 병태의 변화를 검출하는 것에 대해 유용하지 않을 수 있는 반면, 그 특징은 다른 사용자에 대해 유용하고 다른 사용자에 대한 기준선에 포함될 수 있다.
일부 실시예들에서, 사용자에 대한 기준선은, 날씨, 하루 중의 시간, 및/또는 계절(즉, 일 년 중의 시간)과 같은 컨텍스트 정보에 상관될 수 있다. 예컨대, 사용자에 대한 기준선은 높은 습도의 기간들 동안 기록된 샘플들로부터 생성될 수 있다. 이러한 기준선은, 높은 습도의 기간 동안 기록된 샘플들로부터 생성된 음소 특징 벡터들과 비교될 수 있다. 역으로, 상이한 기준선이, 상대적으로 낮은 습도의 기간 동안 획득된 샘플들로부터 생성되는 음소 특징 벡터와 비교될 수 있다. 이러한 방식으로, 주어진 사용자에 대해 결정되고 상이한 컨텍스트들에서 활용되는 다수의 기준선들이 존재할 수 있다.
추가로, 일부 실시예들에서, 기준선은 특정 사용자에 대해 결정되는 것이 아니라, 오히려, 공통 특성들의 세트를 공유하는 개인들과 같은 특정 코호트에 대해 결정될 수 있다. 예시적인 실시예에서, 기준선은, 그 기준선이 동일한 호흡기 병태(예컨대, 인플루엔자, 리노바이러스, COVID-19, 천식, 만성 폐쇄성 폐 질환(COPD) 등)를 갖는 것으로 알려져 있는 개인들로부터의 데이터를 활용하여 결정될 수 있다는 점에서 호흡기 병태 특정적일 수 있다. 사용자에 관한 더 많은 정보가 획득됨에 따라 기준선이 동적으로 정의될 수 있는 일부 실시예들에서, 대규모 집단 또는 사용자와 유사한 코호트로부터의 음소 특징 데이터에 기반하는 초기 기준선이 제공될 수 있다. 시간 경과에 따라, 사용자에 대한 더 많은 음소 특징 세트들이 결정되기 때문에, 사용자의 음소 특징 세트들을 사용하여 기준선이 업데이트되는 것에 의해 그 사용자에 대한 기준선이 개인화될 수 있다.
호흡기 병태 추적기(270)의 일부 실시예들은, 사용자 진단(예컨대, 사용자의 현재 호흡기 병태를 결정하는 것)을 위해 그리고/또는 장래의 병태를 예보하기 위해 상관되거나 고려될 수 있는 사용자로부터의 자가-보고 정보를 수집할 수 있는 자가-보고 데이터 평가기(276)를 포함할 수 있다. 자가-보고 데이터 평가기(276)는, 자가-보고 툴들(284) 및/또는 컨텍스트 정보 결정기(2616)로부터 이러한 정보를 수집할 수 있다. 정보는, 사용자가 어떻게 느끼고 있는지 또는 사용자의 현재 병태(들)에 관한 사용자-제공 데이터 또는 (예컨대, 온도, 호흡수, 혈중 산소 등을 표시하는 센서들로부터의) 사용자-도출 데이터일 수 있다. 일 실시예에서, 이러한 정보는, 호흡기 병태와 관련된 다양한 증상들의 인지된 중증도를 사용자가 자가-보고하는 것을 포함한다. 예를 들면, 정보는, 콧물이 목에 쌓이는 것, 코 이물감, 콧물 흐름, 점액을 동반한 두꺼운 콧물, 기침, 인후통, 및 코를 풀 필요성에 대한 사용자의 중증도 점수들을 포함할 수 있다.
자가-보고 데이터 평가기(276)는, 입력 데이터를 활용하여, 호흡기 병태 또는 증상의 중증도를 표시하는 증상 점수를 결정할 수 있다. 예컨대, 자가-보고 데이터 평가기(276)는, 다수의 증상들에 대한 점수들을 조합함으로써 컴퓨팅될 수 있는 복합 증상 점수(CSS)를 출력할 수 있다. 복합 증상 점수를 획득하기 위해 개별 증상 점수들이 합산 또는 평균될 수 있다. 예컨대, 일 실시예에서, 복합 증상 점수는 7개의 호흡기 병태 관련 증상에 대한 증상 점수들(0 내지 5의 범위)을 합산함으로써 결정될 수 있어서, 0 내지 35의 범위의 복합 증상 점수가 초래된다. 더 높은 증상 점수는 더 중증의 증상들을 표시할 수 있다. 일 실시예에서, 증상들은, 콧물이 목에 쌓이는 것, 코 이물감, 콧물 흐름, 점액을 동반한 두꺼운 콧물, 기침, 인후통, 및 코를 풀 필요성을 포함할 수 있다. 일부 실시예들에서, 코막힘 관련 증상들 및 비-코막힘 관련 증상들과 같은 모든 증상들에 대해 별개의 증상 점수들이 생성될 수 있다.
일부 실시예들에서, 자가-보고 데이터 평가기(276)는, 결정된 증상 점수를, 점수를 생성한 사용자 입력과 동일한 시간 윈도우에 대응하는 음성 샘플로부터 결정된 음소 특징(들)과 연관시킬 수 있다. 다른 실시예들에서, 자가-보고 데이터 평가기(276)는, 증상 점수를, 음소 특징 벡터 또는 음소 특징 벡터들을 비교함으로써 결정된 거리 메트릭에 상관시킬 수 있다. 코막힘 관련 증상들 또는 비-코막힘 관련 증상들을 포함하는 모든 증상들에 대한 복합 증상 점수와 같은 증상 점수들은, 지수 붕괴 모델을 피팅하고 음향 특징 값을 붕괴율과 상관시킴으로써 음소 특징들에 상관될 수 있다. 붕괴 모델은, 증상들의 변화의 크기 및 변화율을 추정하는 데 활용될 수 있다. 일 실시예에서, 지수 감쇠 모델에 대해
Figure pct00004
이 활용되며, 여기서, a는 변화의 크기를 표현하고, b는 붕괴율을 표현한다. 지수 붕괴 모델은 R 시스템(컴프리헨시브 R 아카이브 네트워크(Comprehensive R Archive Network)(CRAN)를 통해 액세스가능한 통계적 컴퓨팅을 위한 R-프로젝트)의 패키지 nlme(버전 3.1.144) 로부터의 랜덤 효과로서 대상(subject)에 대해 비-선형 혼합 효과 모델들을 사용하여 구현될 수 있다. 음소 특징 벡터들과 증상 점수들 사이의 그리고 음소 특징 벡터들 및/또는 도출된 거리 메트릭들 사이의 상관관계들의 예들이 도 9 및 도 11a 내지 도 11b에 각각 도시된다. 자가-보고 데이터 평가기(276)에 의해 생성된 증상 점수(들) 및, 일부 실시예들에서는, 음소 특징 벡터들 또는 거리 측정치들과의 연관들 및/또는 상관관계들이 사용자의 개인 기록(240)에 저장될 수 있다.
일부 실시예들에서, 자가-보고는 검출된 변화(예컨대, 사용자의 병태가 악화되고 있음)에 기반하여 개시되거나, 또는 사용자가 이미 아픈 상태일 때 개시된다. 자가-보고의 개시는 또한, 사용자 설정 선호도들, 이를테면, 개인 기록(240) 내의 설정들(249)에 기반할 수 있다. 일부 실시예들에서, 자가-보고는, 사용자의 수집된 음성 샘플들로부터 검출된 호흡기 병태들에 기반하여 개시된다. 예컨대, 자가-보고 데이터 평가기(276)는, 음소 특징 비교기(274)에 의해 수행되는 특징 벡터들의 비교에 기반하여 결정될 수 있는 음성 분석으로부터의 사용자의 병태의 검출에 기반하여 자가-보고 증상 정보를 획득할 것을 사용자에게 프롬프팅하기로 결정할 수 있다.
추가로, 호흡기 병태 추론 엔진(278)은 일반적으로, 사용자의 현재 호흡기 병태를 결정 또는 추론하는 것 및/또는 사용자의 장래의 호흡기 병태를 예측하는 것을 담당할 수 있다. 이러한 결정은, 특징 값들에서 검출된 변화들을 포함하는 사용자의 음향 특징들에 기반할 수 있다. 그러므로, 호흡기 병태 추론 엔진(278)은, 사용자의 음소 특징들 및/또는 특징들의 검출된 변화들에 관한 정보를 수신할 수 있으며, 이는, 거리 메트릭으로서 결정될 수 있다. 호흡기 병태 추론 엔진(278)의 일부 실시예들은 추가로, 컨텍스트 정보 결정기(2616)에 의해 결정될 수 있는 컨텍스트 정보, 및/또는 사용자의 자가-보고 데이터 또는 자가-보고형 데이터의 분석, 이를테면, 자가-보고 데이터 평가기(276)에 의해 결정된 복합 증상 점수를 활용할 수 있다. 일 실시예에서, 최대 발성음 시간, 또는 사용자가 하나 이상의 특정 음소, 이를테면, /a/, 다른 기본 모음 발성음, 또는 다른 발성음을 지속하는 지속기간이 사용자의 호흡기 병태의 표시자로서 호흡기 병태 추론 엔진(278)에 의해 사용될 수 있다. 예컨대, 짧은 최대 발성음 시간은 숨가쁨 및/또는 감소된 폐활량을 표시할 수 있으며, 이는, 악화되는 호흡기 병태와 연관될 수 있다. 추가로, 호흡기 병태 추론 엔진(278)은, 사용자의 호흡기 병태를 결정하기 위해 음향 특징들을 하나 이상의 기준선과 비교할 수 있다. 예컨대, 사용자의 호흡 용량이 증가 또는 감소하고 있는지를 결정하기 위해 사용자의 최대 발성음 시간이 사용자의 기준선 최대 발성음 시간과 비교될 수 있으며, 여기서, 감소하는 최대 발성음 시간은 악화되는 호흡기 병태를 표시할 수 있다. 유사하게, 미리 결정된 지속기간의 음성 샘플로부터 추출된 음소들에서의 유성성 프레임들의 백분율의 감소는 악화되는 호흡기 병태를 표시할 수 있다. 구절-읽기 음성 샘플의 경우, 검사로서 그리고 제한 없이, 다음의 특징들, 즉, 발화율의 감소, 평균 단절 길이의 증가, 단절 카운트의 증가, 및/또는 전역 SNR의 감소는 악화되는 호흡기 병태를 표시할 수 있다. 이러한 변화들 중 임의의 것을 결정하는 것은, 이를테면 본원에 설명된, 최근 샘플을 사용자 특정 기준선과 같은 기준선과 비교하는 것에 의해 행해질 수 있다.
호흡기 병태 추론 엔진(278)은, 이러한 입력 정보를 활용하여, 사용자의 현재 호흡기 병태 및/또는 장래의 병태(즉, 예측)를 표현하는 하나 이상의 호흡기 병태 점수 또는 분류들을 생성할 수 있다. 호흡기 병태 추론 엔진(278)으로부터의 출력은, 도 5c의 예시적인 GUI(5300)와 관련하여 설명된 바와 같이, 사용자의 개인 기록(240)의 결과들/추론된 병태들(246)에 저장될 수 있고, 사용자에게 제시될 수 있다.
일부 실시예들에서, 호흡기 병태 추론 엔진(278)은, 사용자의 호흡기 병태에서 검출된 정량화된 변화들에 대응하는 호흡기 병태 점수를 결정할 수 있다. 대안적으로 또는 그에 부가하여, 호흡기 병태 점수 또는 사용자의 호흡기 감염 상태의 추론은, 하나 이상의 특정 음소 특징의 검출된 값들(즉, 변화가 아니라 단일 읽기)에 기반하거나, 하나 이상의 특정 특징 값, 특징 값들의 검출된 변화들, 및 변화들의 상이한 변화율들의 조합에 기반할 수 있다. 일 실시예에서, 호흡기 병태 점수는, 사용자가 (예컨대, 일반적으로 임의의 병태에 대한 또는 특정 호흡기 감염에 대한) 호흡기 병태를 가질(또는 갖지 않을) 가능성 또는 확률을 표시할 수 있다. 예컨대, 호흡기 병태 점수는, 사용자가 호흡기 감염을 가질 60 % 가능성을 갖는다는 것을 표시할 수 있다. 일부 양상들에서, 호흡기 병태 점수는 복합 점수 또는 점수들의 세트(예컨대, 사용자가 호흡기 병태들의 세트를 갖는 확률들의 세트)를 포함할 수 있다. 예컨대, 호흡기 병태 추론 엔진(278)은, 사용자가 병태들 각각을 가질 대응하는 가능성들, 이를테면, 알레르기, 0.2; 리노바이러스, 0.3; COVID-19, 0.04 등으로 특정 호흡기 병태들의 벡터를 생성할 수 있다. 대안적으로 또는 그에 부가하여, 호흡기 병태 점수는, 알려져 있는 건강한 상태로부터의 사용자의 현재 상태의 차이를 표시할 수 있거나, 또는 이를테면 본원에서 설명된, 사용자의 현재 상태와 사용자의 기준선 또는 건강한 상태의 비교에 기반할 수 있다.
많은 예시들에서, 호흡기 병태 추론 엔진(278)은, 사용자가 증상이 있다고 느끼지 못할 때인 사용자의 건강한 상태로부터의 변화 또는 차이(또는 호흡기 감염의 확률)를 결정할 수 있다(또는 호흡기 병태 점수가 이를 표시할 수 있음). 이러한 능력은, 주관적인 데이터에 의존하는 종래의 기술들에 비해 이점 및 개선이 있다. 다른 한편으로는, 본원에서 제공되는 기술들의 실시예들은, 주관적인 데이터에 의존하는 것이 아니라, 사용자가 증상이 있다고 느끼기 전에 호흡기 감염의 발현을 검출할 수 있다. 이러한 실시예들은, 종래의 접근법들보다 호흡기 감염의 더 이른 경고를 제공함으로써, SARS-CoV-2(COVID-19)와 같은 호흡기 기반 유행병들에 대처하는 데 특히 유용할 수 있다. 예컨대, 가능한 감염을 표시하는 호흡기 병태 점수(또는 호흡기 병태 추론 엔진(278)에 의한 사용자의 호흡기 병태에 관한 결정)는, 사용자에게, 자가-격리, 사회적 거리두기, 안면마스크 착용을 행하거나 또는 다른 예방책들을 취할 것을, 그렇지 않았다면 사용자가 행했을 수 있는 때보다 더 빨리 알릴 수 있다.
일부 실시예들에서, 사용자가 호흡기 감염을 가질 확률을 표시하거나 그에 대응할 수 있는 호흡기 병태 점수는 사용자의 건강한 상태에 대한 값으로서 표현될 수 있다. 예컨대, 100(100은 건강한 상태를 표현함) 중 90의 호흡기 병태 점수는, 사용자의 호흡기 병태의 검출된 변화(들)가 사용자의 정상 또는 건강한 상태의 90 %(즉, 10 % 변화)라는 것을 표시할 수 있다. 이러한 예에서, 사용자는 90의 호흡기 병태 점수를 건강한 상태로 느낄 수 있지만, 그 점수는, 사용자가 호흡기 감염을 나타내고 있다는 것(또는 여전히 그로부터 회복 중이라는 것)을 표시할 수 있다. 유사하게, 20의 호흡기 병태 점수는 사용자가 아마도 아픈 상태라는 것(즉, 사용자가 호흡기 감염을 갖고 있을 가능성이 있음)을 표시할 수 있는 한편, 40의 호흡기 병태 점수는 또한, 사용자가 아마도 아픈 상태이지만 20의 호흡기 병태 점수에 의해 표시된 것만큼 아픈 상태일 가능성이 적다는 것(또는 그만큼 아픈 상태가 아닐 수 있다는 것)을 표시할 수 있다. 예컨대, 호흡기 병태 점수가 확률에 대응하는 경우, 20의 호흡기 병태 점수는, 사용자가 40의 호흡기 병태 점수보다 감염을 가질 더 높은 확률을 갖는다는 것을 표시할 수 있다. 그러나, 호흡기 병태 점수가 사용자의 현재 상태와 건강한 상태 기준선 사이의 차이를 반영하는 경우, 40의 호흡기 병태 점수는, 20의 호흡기 병태 점수보다 작은 기준선으로부터의 검출된 변화에 대응할 수 있고, 그에 따라, 사용자가 그다지 아픈 상태가 아닐 수 있음을 표시할 수 있다. 일부 예시들에서, 사용자의 호흡기 병태 점수는, 숫자가 아니라 또는 숫자에 부가하여, 색상 또는 기호를 사용하여 표시될 수 있다. 예컨대, 녹색은 사용자가 건강한 상태라는 것을 표시할 수 있는 한편, 황색, 주황색, 및 적색은 사용자의 건강한 상태로부터의 차이들의 증가를 표현할 수 있으며, 이는, 사용자가 호흡기 감염을 가질 가능성의 증가를 표시할 수 있다. 유사하게, 이모티콘들(예컨대, 웃는 얼굴 대 찡그리거나 아픈 상태 얼굴)이 호흡기 병태 점수들을 표현하는 데 활용될 수 있다.
본원에서의 실시예들은, 음소 특징 정보(음소 특징들의 변화들을 포함함)에 기반하여, 그리고 일부 실시예들에서는, 컨텍스트 정보(이를테면, 측정된 생리학적 데이터) 및/또는 사용자로부터의 자가-보고 증상 점수들에 추가로 기반하여, 사용자에 대한 호흡기 감염의 상태를 특성화하는 데 사용될 수 있다는 것이 이해되어야야 한다. 그에 따라서, 일부 예시들에서, 중증의 호흡기 감염 및 경도의 호흡기 감염 둘 모두가 동일한 음소 특징들(또는 특징들의 변화들)을 나타낼 수 있다. 그에 따라, 이러한 예시들에서, 상이한 호흡기 병태 점수들은 사용자가 "더 아픈 상태" 또는 "덜 아픈 상태"인 것을 표시하는 것에 대해 유용하지 않을 수 있지만, 대신에, 사용자가 호흡기 감염을 갖는다는 것(또는 갖지 않는다는 것)만을 표시(즉, 이진 표시)하거나 사용자가 아픈 상태일 확률을 표시할 수 있거나, 또는 호흡기 감염의 징후를 표시할 수 있는, 사용자의 현재 상태 대 건강한 상태의 차이를 표현할 수 있다.
또한, 처방 약물을 복용하는 것과 같은 호흡기 감염에 대한 사용자의 치료(컨텍스트 정보로서 수신될 수 있음)에 상관될 때 호흡기 병태 점수들의 변화들을 모니터링하는 것은 치료의 효능을 표시할 수 있다. 예컨대, 호흡기 감염으로 진단된 사용자는 그들의 임상의에 의해 항생제를 처방받고, 도 5a와 관련하여 설명된 호흡기 감염 모니터 앱(5101)과 같은 자신의 스마트폰 상의 호흡기 감염 모니터 앱을 사용할 것을 지시받는다. 초기 호흡기 병태 점수(또는 제1 세트의 호흡기 병태 점수들)는, 본원에 설명된 바와 같이 수집된 사용자 음성 샘플들로부터 결정될 수 있다. 일주일과 같은 일정 시간 구간 후에, 제2 호흡기 병태 점수는 사용자의 호흡기 병태의 변화를 표시할 수 있다. (아래에 설명되는 바와 같이 결정될 수 있는) 사용자의 병태가 개선되고 있다는 것을 표시하는 변화는, 항생제가 작용하고 있다는 것을 암시할 수 있다. 사용자의 병태가 개선되고 있지 않거나 동일하게 유지되고 있다는 것을 표시하는 변화는 항생제가 작용하고 있지 않다는 것을 암시할 수 있으며, 이 경우에, 사용자의 임상의는 상이한 치료를 처방하기를 원할 수 있다. 이러한 방식으로, 본원에 설명된 기술들의 실시예들은, 사용자의 호흡기 병태들에 대한 변화들에 관한 객관적인, 이를테면 정량화가능한 정보를 결정할 수 있고, 호흡기 감염들의 치료를 위해 처방된 항생제들이 더 주의 깊게 그리고 신중하게 활용될 수 있으며, 그에 의해, 그들의 효능이 연장되고 항균 내성이 최소화된다.
일부 실시예들에서, 호흡기 병태 추론 엔진(278)은, 사용자 병태 추론 논리(237)를 활용하여, 호흡기 병태 점수를 결정하거나 사용자의 호흡기 병태에 관한 추론들 및/또는 예측들을 행할 수 있다. 사용자 병태 추론 논리(237)는, 규칙들, 조건들, 연관들, 기계 학습 모델들, 또는 음성 관련 데이터로부터 가능성 있는 호흡기 병태를 추론 및/또는 예측하기 위한 다른 기준들을 포함할 수 있다. 사용자 병태 추론 논리(237)는, 사용되는 메커니즘(들) 및 의도된 출력에 따라 상이한 형태들을 취할 수 있다. 일 실시예에서, 사용자 병태 추론 논리(237)는, 사용자의 현재(또는 최근) 호흡기 병태를 결정 또는 추론하기 위한 하나 이상의 분류기 모델 및/또는 사용자의 가능성 있는 장래의 호흡기 병태를 예보하기 위한 하나 이상의 예측기 모델을 포함할 수 있다. 분류기 모델들의 예들은, 제한 없이, 의사결정 트리(들) 또는 랜덤 포레스트들, 나이브 베이즈(Naive Bayes), 신경망(들), 패턴 인식 모델들, 다른 기계 학습 모델들, 다른 통계적 분류기들, 또는 조합들(예컨대, 앙상블)을 포함할 수 있다. 일부 실시예들에서, 사용자 병태 추론 논리(237)는, 클러스터링 또는 논리 또는 비-지도 분류 기법들을 수행하기 위한 논리를 포함할 수 있다. 예측 모델들의 예들은, 제한 없이, 회귀 기법들(예컨대, 선형 또는 로지스틱 회귀, 최소 제곱, 일반화된 선형 모델(GLM), 다변량 적응 회귀 스플라인(MARS), 또는 다른 회귀 프로세스들), 신경망(들), 의사결정 트리(들) 또는 랜덤 포레스트, 또는 다른 예측 모델들 또는 모델들의 조합들(예컨대, 앙상블)을 포함할 수도 있다.
위에 설명된 바와 같이, 호흡기 병태 추론 엔진(278)의 일부 실시예들은, 사용자가 호흡기 감염을 갖거나 나타낼 확률을 결정할 수 있다. 일부 예시들에서, 확률은, 특징들에서 검출된 변화들 및 분류기 또는 예측 모델의 출력을 포함하는 사용자의 음향 특징들, 또는 충족되는 규칙들 또는 조건들에 기반할 수 있다. 예컨대, 실시예에 따르면, 사용자 병태 추론 논리(237)는, 특정 임계치(예컨대, 본원에 설명된 바와 같은 병태 변화 임계치)를 충족시키는 음소 특징 값들에 대한 변화들에 기반하거나 또는 하나 또는 다수의 음소 특징 값에 대해 발생하는 검출된 변화(들)의 정도에 기반하여 호흡기 감염의 확률을 결정하기 위한 규칙들을 포함할 수 있다. 일 실시예에서, 사용자 병태 추론 논리(237)는, 사용자가 호흡기 감염을 가질 가능성을 결정하기 위해 사용자의 현재 호흡기 병태와 기준선 사이의 차이 또는 검출된 변화를 해석하기 위한 규칙들을 포함할 수 있다. 추가적인 실시예에서, 사용자의 호흡기 병태의 다수의 최근 평가들(즉, 이전 시간들에 대한 최근 시간들로부터의 다수의 비교들)이 확률에 기여할 수 있다. 예로서 그리고 제한 없이, 사용자가 2일 연속으로 호흡기 병태의 변화를 나타내는 경우, 사용자가 단 하루 후에만 변화를 나타내는 것보다 더 높은 호흡기 감염 확률이 제공될 수 있다. 일 실시예에서, 검출된 변화들 및/또는 변화의 변화율들은, 특정 호흡기 감염들에 대한 알려져 있는 음소 특징 변화들의 하나 이상의 패턴의 세트, 또는 특징 변화들에 적용되고 알려져 있는 호흡기 감염들에 대응하는 임계치들의 세트와 비교될 수 있고, 비교에 기반하여 감염의 가능성이 결정된다. 추가로, 일부 실시예들에서, 사용자 병태 추론 논리(237)는, 컨텍스트 정보, 이를테면, 생리학적 정보 또는 호흡기 감염성 질병들의 지역 발병들에 관한 정보를 활용하여, 사용자가 호흡기 감염을 가질 확률을 결정할 수 있다.
사용자 병태 추론 논리(237)는, 음향 특징 정보의 결정된 변화(예컨대, 특징 세트 값들, 특징 벡터 거리 측정치들, 및 다른 데이터의 변화), 또는 본원에서 병태 변화 임계치들로 지칭될 수 있는 하나 이상의 임계치들에 대한 음향 특징 정보의 변화의 결정된 변화율의 비교를 수행하기 위한 컴퓨터 명령어들 및 규칙들 또는 조건들을 포함할 수 있다. 예컨대, 최근 및 이전 시간 구간들에 각각 대응하는 2개의 특징 벡터의 거리 측정치가 병태 변화 임계치와 비교될 수 있다. 병태 변화 임계치는 검출기로서(예컨대, 이상치 검출기로서) 활용될 수 있으며, 이에 따라, 비교에 기반하여, 임계치가 충족되는 경우(예컨대, 초과함), 사용자의 호흡기 병태의 변화가 검출된 것으로 간주된다. 병태 변화 임계치는 사용자의 병태의 유의미한 변화가 검출될 수 있도록 결정될 수 있지만, 무의하지만 그럼에도 불구하고 변하는 사소한 변동들은 사용자의 호흡기 병태에 대한 변화들로서 검출되지 않는다(또는 그러한 변화들인 것으로 결정되지 않음). 예를 들면, 다중-일 기준선을 활용하는 일부 실시예들은, 본원에서 추가로 설명되는 바와 같이, 다중-일 기준선 특징 값들의 2개의 표준 편차이도록 결정되는 병태 변화 임계치를 이용할 수 있다.
일부 실시예들에서, 병태 변화 임계치는 사용자의 병태의 상태(예컨대, 감염됨 또는 감염되지 않음)에 특정적이고, 특징 벡터들 사이의 변화의 크기가 병태 변화 임계치를 충족시키는 경우, 사용자의 병태가 변했다고 결정될 수 있다. 임계치(들)는 또한, 일반적으로 호흡기 병태의 트렌드를 결정할 뿐만 아니라 호흡기 병태의 가능성 있는 존재를 결정하는 데 사용될 수 있다. 일 실시예에서, (음소 특징 비교기(274)에 의해 수행될 수 있는) 비교가 병태 변화 임계치를 충족시키는 경우(예컨대, 초과함), 사용자의 호흡기 병태가 (병태 변화 임계치에 의해 특정된 바와 같은) 특정 크기만큼 변하고 있고, 그에 따라, 사용자의 병태가 개선되고 있거나 악화되고 있다는 것(즉, 트렌드)이 결정될 수 있다. 이러한 방식으로, 병태 변화 임계치를 충족시키지 않는 사소한 변화들은, 이러한 실시예에서, 고려되지 않을 수 있거나 사용자의 병태가 유효하게 변하지 않음을 표시할 수 있다.
일부 실시예들에서, 병태 변화 임계치는, 가중되고, 음소 특징들의 일부분에만 적용될 수 있고/거나, 특징 벡터의 각각의 음소 특징(또는 음소 특징 세트)의 또는 특징들의 서브세트에 대한 변화들을 특성화기 위한 임계치들의 세트를 포함할 수 있다. 예컨대, 제1 음소 특징의 작은 변화가 유의할 수 있는 반면, 제2 음소 특징의 작은 변화는 그다지 유의하지 않을 수 있거나 또는 심지어 흔히 발생할 수 것일 수 있다. 그에 따라, 제1 특징 값이 조금이라도 변했다는 것을 아는 것이 도움이 될 수 있고, 또한, 제2 특징 값이 더 큰 정도로 변했다는 것을 아는 것이 도움이 될 수 있다. 그에 따라서, 더 작은 제1 병태 변화 임계치(또는 가중 임계치)가 이 제1 음소 특징에 대해 사용될 수 있으며, 이에 따라, 심지어 작은 변화들도 이러한 제1 병태 변화 임계치를 충족시킬 수 있고, 더 높은 (제2) 병태 변화 임계치(또는 상이한 가중이 있는 임계치)가 제2 음소 특징에 대해 사용될 수 있다. 그러한 가중 또는 가변 병태 변화 임계치 애플리케이션은, 특정 음소 특징이 더 민감한 것으로 결정되는 경우(즉, 이러한 음소 특징의 변화들이 사용자의 호흡기 병태에 대한 변화를 더 잘 표시하는 경우) 특정 호흡기 감염들을 검출 또는 모니터링하는 데 활용될 수 있다.
일부 실시예들에서, 병태 변화 임계치는, 사용자에 대한 최근 음향 특징 값들에 대한 비교에 사용되는 기준선의 표준 편차에 기반한다. 예컨대, 다중-일 기준선과 같은 기준선은, 예컨대, 사용자가 건강한 상태(또는 아픈 상태)인 때로부터의 복수의 시간 구간들에 대한 특징 정보를 포함시키기 위해 (예컨대, 음소 특징 비교 논리(235)에 의해) 결정될 수 있다. 표준 편차는, 기준선에서 사용되는 상이한 시간 구간들(예컨대, 날들)로부터의 특징들의 특징 값들에 기반하여 결정될 수 있다. 병태 변화 임계치는 표준 편차에 기반하여 결정될 수 있다(예컨대, 2개의 표준 편차의 임계치가 활용됨). 예컨대, 최근 음소 특징 세트 대 건강한 상태 기준선의 비교(또는 시간 기간 또는 인스턴스에 걸친 사용자의 음소 특징 값들의 유사한 검출된 변화)가 기준선으로부터의 2개의 표준 편차를 충족시키는 경우, 사용자는 호흡기 감염 또는 다른 병태를 갖는 것으로 결정될 수 있다. 이러한 방식으로, 비교는 더 강건하다. 예로서 그리고 제한 없이, 사용자가 건강한 상태일 때 날마다 발생할 수 있는 사용자의 음향 특징들의 사소한 변동들이 병태 변화 임계치(들)에 하나의 요인으로 포함된다. 일부 예시들에서, 사용자의 현재 호흡기 병태와 기준선 사이의 차이의 정도를 결정 또는 정량화하기 위해, 표준 편차들에 기반하여 다수의 임계치들이 활용될 수 있다. 예컨대, 일 실시예에서, 건강한 상태 기준선과의 비교(또는 시간 경과에 따른 사용자의 음소 특징 값들의 유사한 검출된 변화)가 기준선으로부터의 2개의 표준 편차를 충족시키는 경우, 사용자는 낮은 호흡기 감염의 확률을 갖는 것으로 결정될 수 있으며, 비교가 기준선으로부터의 3개의 표준 편차를 충족시키는 경우, 사용자는 높은 호흡기 감염 확률을 갖는 것으로 결정될 수 있다.
일부 실시예들에서, 사용자 병태 추론 논리(237)에 따라 결정된 병태 변화 임계치는, (예컨대, 사용자, 임상의, 또는 사용자의 간병인에 의해) 수정될 수 있거나 또는 (예컨대, 임상의, 간병인, 또는 애플리케이션 개발자에 의해) 미리 결정될 수 있다. 병태 변화 임계치는 또한, 기준 집단 데이터에 기반하거나 특정 사용자에 대해 결정될 수 있다. 예컨대, 병태 변화 임계치는, 사용자의 특정 건강 정보(예컨대, 건강 진단, 약물들, 또는 건강 기록 데이터) 및/또는 개인 정보(예컨대, 나이, 사용자 행동 또는 활동, 이를테면, 노래 부르기 또는 흡연)에 기반하여 설정될 수 있다. 그에 부가하여 또는 대안적으로, 사용자(또는 간병인)는 개인 기록(240)의 설정들(249)에서와 같이 설정으로서 병태 변화 임계치를 설정 또는 조정할 수 있다. 일부 양상들에서, 병태 변화 임계치는 모니터링되고 있거나 검출되는 특정 호흡기 감염에 기반할 수 있다. 예컨대, 사용자 병태 추론 논리(237)는, 상이한 가능한 호흡기 감염들 또는 상태들을 모니터링하기 위해 상이한 임계치(또는 임계치들의 세트)를 활용하기 위한 논리를 포함할 수 있다. 그에 따라서, 사용자의 병태가 (예컨대, 진단에 후속하여) 알려져 있거나 또는 의심될 때 특정 임계치가 활용될 수 있으며, 이는, 일부 예시들에서, 컨텍스트 정보 또는 자가-보고 증상 정보로부터 결정될 수 있다. 일부 실시예들에서, 하나 초과의 병태 변화 임계치가 적용될 수 있다.
일부 실시예들에서, 사용자 병태 추론 논리(237)는, 이상치(또는 이상) 검출을 수행하기 위한 컴퓨터 명령어들을 포함할 수 있고, 사용자에 대한 호흡기 감염의 가능성 있는 발생을 검출하기 위해 이상치 검출기의 형태를 취할 수 있다(또는 이상치 검출 모델을 활용할 수 있음). 예컨대, 일 실시예에서, 사용자 병태 추론 논리(237)는, 본원에서 추가로 설명되는 바와 같이, 이상치 검출을 위한 임계치로서 기준선 특징 세트(예컨대, 다중-일 기준선)의 표준 편차를 결정 및 활용하기 위한 규칙들의 세트를 포함할 수 있다. 다른 실시예들에서, 사용자 병태 추론 논리(237)는, 이상치 검출 알고리즘을 활용하는 하나 이상의 기계 학습 모델의 형태를 취할 수 있다. 예컨대, 사용자 병태 추론 논리(237)는, 하나 이상의 확률론적 모델, 선형 회귀 모델, 또는 근접 기반 모델을 포함할 수 있다. 일부 양상들에서, 그러한 모델들은, 모델들이 사용자 특정 변동성을 검출하도록 사용자의 데이터에 대해 훈련될 수 있다. 다른 실시예들에서, 모델들은, 호흡기 병태 특정 코호트에 대한 기준 정보를 활용하도록 훈련될 수 있다. 예컨대, 인플루엔자, 천식, 및 만성 폐쇄성 폐 질환(COPD)과 같은 특정 호흡기 병태를 검출하기 위한 모델은, 그러한 병태를 갖는 것으로 알려져 있는 개인들에 대한 데이터로 훈련된다. 이러한 방식으로, 사용자 병태 추론 논리(237)는, 모니터링, 결정, 또는 예보되는 호흡기 병태의 유형에 특정적일 수 있다.
일부 실시예들에서, 사용자 병태 추론 논리(237)를 활용하는 호흡기 병태 추론 엔진(278)의 출력은 예측 또는 예보이다. 예측은, 음소 특징들 또는 호흡기 병태 점수들에서 검출된 변화들, 변화들의 변화율들, 및/또는 변화들의 패턴들에 기반하여 결정될 수 있고, 트렌드 분석, 회귀, 또는 본원에 설명된 다른 예측 모델을 활용할 수 있다. 일부 실시예들에서, 예측은, 대응하는 예측 확률 및/또는 예측에 대한 장래의 시간 구간을 포함할 수 있다(예컨대, 사용자는 다음 주까지 호흡기 감염을 나타낼 70 % 가능성을 가짐). 일 실시예는, 사용자의 호흡기 병태의 개선의 트렌드를 나타내는 사용자의 음소 특징들의 변화의 검출된 변화율에 기반하여 사용자가 다시 건강상 상태에 있을 가능성이 있는 때를 예측한다(예컨대, 이러한 실시예를 나타내는 예에 대해 도 4e를 참조). 일부 예시들에서, 예측은 사용자에 대한 트렌드 또는 전망(outlook)의 형태로 제공될 수 있거나(예컨대, 사용자가 회복 중이거나 악화되고 있음) 또는 사용자가 아픈 상태가 될 또는 회복할 확률/가능성으로서 제공될 수 있다. 일부 실시예들은, 사용자의 호흡기 병태에 대한 가능성 있는 장래의 예보를 결정하기 위해, 변경들의 패턴들을 사용자의 음소 특징들 또는 호흡기 병태 점수들과 비교하여 사람들의 기준 집단(예컨대, 대규모 집단 또는 유사한 호흡기 병태를 갖는 코호트와 같은 사용자와 유사한 집단)으로부터 패턴들을 결정할 수 있다. 일부 실시예들에서, 호흡기 병태 추론 엔진(278) 또는 사용자 병태 추론 논리(237)는, 사용자 음소 특징 벡터들의 하나 이상의 패턴을 어셈블링하기 위한 기능성을 포함할 수 있다. 패턴들은, 자가-보고 입력 또는 자가-보고 입력으로부터 생성된 증상 점수들 또는 결정들, 이를테면 복합 증상 점수들과 상관될 수 있다. 이어서, 사용자 음소 특징 패턴들은 특정 사용자에 대한 장래의 호흡기 병태를 예측하기 위해 분석될 수 있다. 대안적으로, 다른 사용자들, 즉, 대규모 집단을 표현하는 기준 집단, 특정 호흡기 병태를 갖는 개인들의 집단(예컨대, 인플루엔자, 천식, 리노바이러스, 만성 폐쇄성 폐 질환(COPD), COVD-19 등을 갖는 코호트) 또는 사용자와 유사한 개인들의 집단으로부터의 사용자 패턴들이 특정 사용자의 장래의 호흡기 병태를 예보하기 위해 활용될 수 있다. 호흡기 병태들의 예측들을 나타내는 예시적인 예시들이 도 4e(요소 (447)) 및 도 5c(요소(5316))에서 제공된다.
사용자 병태 추론 논리(237)는, 일부 실시예들에서, 음소 특징 벡터들의 변화들의 패턴들 또는 변화율들을 고려할 수 있고/거나, 사용자가 존재하는 영역에서의 감염 발병들과 같은 지리학적-국지화된 정보를 고려할 수 있다. 예컨대, 모든 또는 특정 음소 특징들의 변화의 특정 패턴(또는 변화율(들))은, 호흡기 병태들 또는 증상들의 진행(예컨대, 수 일 동안의 코막힘에 이어서 전형적으로 인후통이 후속되고 그에 이어서 전형적으로 후두염이 후속됨)을 나타내는 것들과 같은 특정 호흡기 감염들을 표시할 수 있다.
일부 실시예들에서, 사용자 병태 추론 논리(237)는, 음소 특징 정보의 다수의 변화(들) 또는 변화(들)의 변화율(들)을 결정 및/또는 비교하기 위한 컴퓨터 명령어들을 포함할 수 있다. 예컨대, 최근 음소 특징 벡터와 제1 이전 음소 특징 벡터 사이의 제1 비교(또는 비교들의 세트)는 사용자의 호흡기 병태가 변했다는 것을 표시할 수 있다. 실시예에서, 그 변화가 사용자의 병태가 개선되고 있는지 또는 악화되고 있는지를 표시하는지는 부가적인 비교들을 수행함으로써 결정될 수 있다. 예컨대, 최근 음소 특징 벡터와 건강한 상태 기준선 특징 벡터 또는 사용자가 건강한 상태인 것으로 알려져 있는 기간 또는 인스턴스로부터의 제2의 이전 음소 특징 벡터의 제2 비교가 결정될 수 있다. 추가로, 제1 이전 음소 특징 벡터와 기준선 또는 제2 이전 음소 특징 벡터 사이의 제3 비교가 결정될 수 있다. 제2 비교와 제3 비교 사이에 검출된 변화(들)가 (제4 비교에서) 비교되어, 사용자의 호흡기 병태가 개선되고 있는지(예컨대, 최근 음소 특징 벡터 대 건강한 상태 기준선 사이의 차이가 제1 이전 특징 벡터와 건강한 상태 기준선 사이의 차이 미만인 경우) 또는 악화되고 있는지(예컨대, 최근 음소 특징 벡터 대 건강한 상태 기준선 사이의 차이가 제1 이전 음소 특징 벡터와 건강한 상태 기준선 사이의 차이보다 큰 경우)가 결정될 수 있다. 추가로, 변화의 정도를 표시하는 임계치에 대한 부가적인 비교들은, 사용자의 호흡기 병태가 악화되었거나 개선된 정도, 사용자가 회복에 얼마나 가까운지(예컨대, 음소 특징 값들이 건강한 상태 기준선의 것들로 또는 그 근처로 돌아가는 경우), 또는 사용자가 회복 상태에 있을 것으로 예상할 수 있는 때(예컨대, 개선을 나타내는 트렌드에서의 사용자의 병태의 레이트 또는 변화(들)에 기반함)를 결정하는 데 활용될 수 있다.
일부 실시예들에서, 사용자 병태 추론 논리(237)는, 사용자의 자가-보고 및/또는 컨텍스트 데이터를 통합하기 위한 하나 이상의 의사결정 트리(또는 랜덤 포레스트 또는 다른 모델)를 포함할 수 있으며, 이는, 일부 예시들에서, 생리학적 데이터, 이를테면, 사용자 수면 정보(이용가능한 경우), 최근 사용자 활동에 관한 정보, 또는 사용자 위치 정보를 포함할 수 있다. 예컨대, 사용자의 음성 관련 데이터가 음성이 쉬었음을 표시하고, 컨텍스트 정보로부터, 사용자의 위치가 전날 밤에 경기장 현장에 있었고 전날 밤에 대한 "플레이오프 토너먼트"라는 제목의 캘린더 엔트리를 가졌다고 결정되는 경우, 사용자 병태 추론 논리(237)는, 사용자의 음성 데이터의 관찰된 변화들이 호흡기 감염이 아니라 사용자가 스포츠 경기에 참석한 결과일 가능성이 더 높다고 결정할 수 있다.
일부 실시예들에서, 사용자 병태 추론 논리(237)는, 사용자가 검출된 호흡기 관련 감염성 인자를 전염시킬 가능성 있는 위험을 결정하기 위한 컴퓨터 명령어들을 포함할 수 있다. 예컨대, 전염 위험은, 호흡기 병태 추론 엔진(278)에 의해 결정되는 호흡기 병태 또는 가능성 있는 장래의 병태에 적용되는 규칙들 또는 조건들, 또는 호흡기 감염을 갖는 사용자의 임상의의 진단에 기반하여 결정될 수 있다. 전염 위험은, 이진(예컨대, 사용자가 전염성이 있을 가능성이 있거나/전염성이 없음), 범주형(예컨대, 낮은, 중간, 또는 높은 전염 위험)일 수 있거나, 또는 전염가능성의 가능성을 표시할 수 있는 확률 또는 전염 위험 점수로서 결정될 수 있다. 일부 예시들에서, 전염 위험은, 사용자가 갖거나 가질 가능성이 있는 특정 호흡기 감염(예컨대, 인플루엔자, 리노바이러스, COVID-19, 특정 유형들의 폐렴 등)에 기반할 수 있다. 그러므로, 규칙은, 특정 조건(예컨대, COVID-19)을 갖는 사용자가 사용자의 병태에 기반하여 고정되거나 변할 수 있는 설정된 시간 지속기간 동안 전염성이 있다고 특정할 수 있다. 예컨대, 규칙은, 사용자가 더 이상 호흡기 감염을 경험하고 있지 않을 가능성이 있다는 호흡기 병태 추론 엔진(278)에 의한 결정 후에 24 시간 동안 전염성이 있다고 특정할 수 있다. 더욱이, 전염 위험은, 사용자가 호흡기 감염을 경험하는 있는(또는 경험하고 있을 가능성이 있는) 전체 지속기간 동안 정적일 수 있거나 또는 사용자의 호흡기 감염의 상태 또는 진행에 기반하여 변할 수 있다. 예를 들면, 전염 위험은, 최근 시간 구간에 걸친(예컨대, 지난 주에 걸친 또는 사용자가 아마 호흡기 감염을 갖는다고 호흡기 병태 추론 엔진(278)에 의해 처음 결정되는 시간으로부터의) 사용자의 호흡기 병태(또는 음성 관련 데이터)의 검출된 변화, 트렌드, 패턴, 변화율, 또는 검출된 변화들의 분석에 기반하여 변할 수 있다. 전염 위험은 사용자에게 제공되거나, 다른 사람들과의 밀접한 접촉을 회피하거나 또는 안면마스크를 착용하는 것과 같은 사용자에 대한 권고들을 결정하기 위해 (예컨대, 호흡기 병태 추론 엔진(278), 시스템(200)의 다른 구성요소, 또는 임상의에 의해) 활용될 수 있다. 호흡기 병태 추론 엔진(278)에 의해 사용자 병태 추론 논리(237)의 실시예에 따라 결정되는 전염 위험의 일 예가 도 5c의 요소(5314)에 도시된다.
일부 실시예들에서, 사용자 병태 추론 논리(237)는, 호흡기 병태, 예보, 전염 위험, 또는 호흡기 병태 추론 엔진(278)에 의한 다른 결정에 대응하는 권고를 결정 및/또는 제공하기 위한 규칙들, 조건들, 또는 명령어들을 포함할 수 있다. 권고(예컨대, 의사결정 지원 권고)는, 최종 사용자, 이를테면, 환자, 간병인, 또는 사용자와 연관된 임상의에게 제공될 수 있다. 예컨대, 사용자 또는 간병인에 대해 결정된 권고는, 전염을 최소화하거나, 호흡기 감염을 관리하거나, 또는 감염이 악화될 가능성을 최소화하기 위한 하나 이상의 권고된 관례를 포함할 수 있다. 일부 실시예들에서, 사용자 병태 추론 논리(237)는, 호흡기 병태 추론 엔진(278)에 의한 결정된 호흡기 감염 또는 다른 결정과 연관될 수 있는 건강 정보의 데이터베이스에 액세스하고, 정보의 적어도 일부를 사용자, 간병인, 또는 임상의에게 제공하기 위한 컴퓨터 명령어들을 포함할 수 있다. 부가적으로 또는 대안적으로, 건강 정보 데이터베이스 내의 정보를 활용하여 권고들이 결정될 수 있다(또는 그러한 정보로부터 선택 또는 어셈블링될 수 있음).
일부 실시예들에서, 권고들은, 사용자의 현재 및/또는 이력 정보(예컨대, 이력 음성 관련 데이터, 이전에 결정된 호흡기 병태들, 사용자의 호흡기 병태의 트렌드들 또는 변화들 등), 및/또는 컨텍스트 정보, 이를테면, 증상들, 생리학적 데이터, 또는 지리학적 위치에 기반하여 사용자에게 맞춤조정될 수 있다. 예컨대, 일 실시예에서, 사용자에 관한 정보는, 사용자에게 맞춤조정된 권고를 결정하는 것에서 사용하기 위한 건강 정보의 데이터베이스 내의 관련 정보를 식별하기 위한 선택 또는 필터링 기준들로서 활용될 수 있다.
권고는, 사용자, 간병인, 또는 임상의에게 제공될 수 있고/거나, 결과들/추론된 병태들(246)에서와 같이 사용자와 연관된 개인 기록(240)에 저장될 수 있다. 건강 정보 데이터베이스에 액세스하는 일부 실시예들에서, 데이터베이스는 저장소(250) 상에 그리고/또는 원격 서버 상에 또는 클라우드 환경에 저장될 수 있다. 호흡기 병태 추론 엔진(278)에 의해 사용자 병태 추론 논리(237)의 실시예에 따라 결정되는 권고의 예가 도 5c의 요소(5315)에 도시된다.
도 2에 도시된 바와 같이, 예시적인 시스템(200)은 또한, 호흡기 병태 추적기(270)(또는 호흡기 병태 추론 엔진(278)과 같은 그의 하위 구성요소들 중 하나)에 의해 또는 저장소로부터(예컨대, 사용자의 개인 기록(240) 내의 결과들/추론된 병태들(246)로부터) 결정된 사용자 호흡기 병태들 또는 예측들과 같은, 시스템(200)의 구성요소들의 출력 결정들을 소비하기 위한 다양한 컴퓨팅 애플리케이션들 또는 서비스들을 포함할 수 있는 의사결정 지원 툴(들)(290)을 포함한다. 의사결정 지원 툴(들)(290)은 일부 실시예들에 따르면, 이러한 정보를 활용하여 치료 및/또는 예방적 조치들을 가능하게 할 수 있다. 이러한 방식으로, 의사결정 지원 툴(들)(290)은, 모니터링되는 사용자 및/또는 모니터링되는 사용자의 간병인에 의해 활용될 수 있다. 이러한 의사결정 지원 툴(들)(290)은, 클라이언트 디바이스 상의 독립형 애플리케이션, 웹 애플리케이션, 분산형 애플리케이션 또는 서비스, 및/또는 기존 컴퓨팅 애플리케이션 상의 서비스의 형태를 취할 수 있다. 일부 실시예들에서, 하나 이상의 의사결정 지원 툴(들)(290)은, 호흡기 감염 모니터링 또는 추적 애플리케이션, 이를테면, 도 5a와 관련하여 설명된 호흡기 감염 모니터 앱(5101)의 일부이다.
일 예시적인 의사결정 지원 툴은 아픈 상태 모니터(292)를 포함한다. 아픈 상태 모니터(292)는, 사용자의 스마트폰(또는 스마트 스피커 또는 다른 사용자 디바이스) 상에서 동작하는 앱을 포함할 수 있다. 아픈 상태 모니터(292) 앱은 사용자의 발화를 모니터링하고, 사용자가 아픈 상태가 되고 있는지 또는 리노바이러스 또는 인플루엔자와 같은 호흡기 감염으로부터 회복 중인지를 사용자 및/또는 사용자의 케어 제공자에게 알릴 수 있다. 일부 실시예들에서, 아픈 상태 모니터(292)는, 음성 관련 데이터, 또는 일부 양상들에서는 다른 데이터를 수집하기 위해 사용자를 청취하는 것에 대한 허가를 요청할 수 있다. 아픈 상태 모니터(292)는, 사용자가 아픈 상태가 되고 있는지, 아픈 상태일 가능성이 있는지, 또는 회복 중인지를 표시하는 사용자에 대한 통지 또는 경고를 생성할 수 있다. 일부 실시예들에서, 아픈 상태 모니터(292)는, 호흡기 병태 결정 및/또는 예측에 기반하여 치료 권고를 개시 및/또는 스케줄링할 수 있다. 통지 또는 경고는, 호흡기 병태 결정 및/또는 예측에 기반한, 치료와 같은 개입 조치에 대한 권고된 조치를 포함할 수 있다. 치료 권고는, 예로서 그리고 제한 없이, 사용자가 취해야 할 권고된 조치들(예컨대, 안면마스크 착용), 일반의약품 의약, 임상의와의 상담, 및/또는 호흡기 감염의 존재를 확인하고/거나 호흡기 감염 및/또는 결과적인 증상들을 치료하기 위해 권고되는 테스팅을 포함할 수 있다. 예컨대, 아픈 상태 모니터(292)는, 사용자가 의료 제공자에 대한 방문을 스케줄링하고/거나 호흡기 병태의 확인을 위해 테스팅받을 것을 권고할 수 있다. 일부 실시예들에서, 아픈 상태 모니터(292)는, 의사의 예약 및/또는 테스팅 예약의 스케줄링을 개시하거나 용이하게 할 수 있다. 대안적으로 또는 부가적으로, 아픈 상태 모니터(292)는 일반의약품 의약과 같은 치료를 권고 또는 지시할 수 있다.
아픈 상태 모니터(292)의 실시예들은, 감염이 확산되는 것을 방지하기 위해, 사용자가 사용자의 가정 내의 다른 개인들에게 최소 거리를 유지하는 것과 같은 예방책들을 취할 것을 알리는 것을 권고할 수 있다. 일부 실시예들에서, 아픈 상태 모니터(292)는 이러한 통지를 권고할 수 있고, 사용자가 이러한 통지를 긍정적으로 허가할 시, 아픈 상태 모니터(292)는 감염된 사용자의 가정에 있는 다른 사용자들과 연관된 사용자 디바이스들에 대한 통지들을 개시할 수 있다. 아픈 상태 모니터(292)는, 사용자의 개인 기록(240)에 저장된 정보로부터, 이를테면 사용자 계정(들)/디바이스(들)(248)로부터 관련 사용자 디바이스들을 식별할 수 있다. 일부 실시예들에서, 아픈 상태 모니터(292)는, 다른 감지된 데이터(예컨대, 생리학적 데이터, 이를테면, 심박수, 온도, 수면 등), 다른 컨텍스트 데이터, 이를테면, 사용자의 지역에서의 호흡기 감염 발병들에 관한 정보, 또는 사용자로부터 입력되는 데이터(이를테면, 자가-보고 툴들(284)을 통해 제공된 증상 정보)를 호흡기 병태의 결정 및/또는 예측에 상관시켜 권고를 행할 수 있다.
일 실시예에서, 아픈 상태 모니터(292)는, 감염 접촉 추적 애플리케이션의 일부이거나 그와 함께 동작할 수 있다. 이러한 방식으로, 제1 사용자에 대한 가능한 호흡기 감염의 조기 검출에 관한 정보가 제1 사용자가 접촉한 다른 개인들에게 자동으로 통신될 수 있다. 부가적으로 또는 대안적으로, 정보는 그러한 다른 개인들의 호흡기 감염 모니터링을 개시하는 데 사용될 수 있다. 예컨대, 다른 개인들은 감염된 사람과의 가능한 접촉을 통지받을 수 있고, 아픈 상태 모니터(292) 또는 호흡기 감염 모니터링 애플리케이션, 이를테면, 도 5a와 관련하여 설명된 호흡기 감염 모니터링 앱(5101)을 다운로드하여 사용하도록 프롬프팅될 수 있다. 이러한 방식으로, 다른 개인들은, 심지어 제1 사용자가 아픈 상태를 느끼기 전에(즉, 제1 사용자가 증상이 있기 전에) 통지받고 모니터링을 시작할 수 있다.
다른 예시적인 의사결정 지원 툴(들)(290)은 도 2에 도시된 바와 같은 처방 모니터(294)이다. 처방 모니터(294)는, 처방이 리필되어야 하는지 여부를 결정하기 위해, 사용자의 호흡기 병태에 관한 결정들 및/또는 예측들, 이를테면, 사용자가 호흡기 감염을 갖는지 여부를 활용할 수 있다. 처방 모니터(294)는, 사용자의 개인 기록(240)으로부터, 예컨대, 사용자가 검출된 또는 예보된 호흡기 병태에 대한 현재 처방을 갖고 있는지 여부를 결정할 수 있다. 처방 모니터(294)는 또한, 약물을 복용하는 빈도에 대한 처방 지시들, 약물의 마지막 채움 날짜, 및/또는 이용가능한 리필 수량을 결정할 수 있다. 처방 모니터(294)는, 사용자가 현재 호흡기 감염을 갖고 있다는 결정 또는 사용자가 가까운 장래에 호흡기 감염을 가지거나 증상들을 보일 것이라는 예측에 기반하여 처방의 리필이 필요한지 여부를 결정할 수 있다.
처방 모니터(294)의 일부 실시예들은 또한, 감지된 데이터 또는 자가-보고 툴들(284)을 통한 사용자의 입력에 의해 사용자가 의약을 복용하고 있는지 여부를 결정할 수 있다. 사용자가 처방된 의약을 복용하고 있는지 여부를 표시하는 정보는, 현재 처방이 부족할 수 있는지 또는 언제 부족할 수 있는지를 결정하기 위해 처방 모니터(294)에 의해 사용된다. 처방 모니터(294)는, 처방이 리필되어야 함을 사용자에게 표시하는 경고 또는 통지를 송출할 수 있다. 일 실시예에서, 처방 모니터(294)는, 사용자가 리필을 요청하는 것에 대한 긍정적인 단계들을 취한 후에, 처방의 리필을 권고하는 통지를 송출한다. 처방 모니터(294)는 약국을 통해 리필을 주문하는 것을 개시할 수 있고, 약국의 정보는 사용자의 개인 기록(240)에 저장되어 있거나 리필 시에 사용자에 의해 입력될 수 있다. 처방 모니터(294)와 같은 예시적인 처방 모니터링 서비스의 양상들이 도 4f에 도시된다.
다른 예시적인 의사결정 지원 툴(들)(290)은 도 2에 도시된 바와 같은 약물 효능 추적기(296)이다. 약물 효능 추적기(296)는, 사용자가 복용하고 있는 약물의 유효성이 효과적인지 여부를 결정하기 위해, 사용자의 호흡기 병태에 관한 결정들 및/또는 예측들, 이를테면, 사용자의 병태가 개선되고 있는지 또는 악화되고 있는지를 활용할 수 있다. 그러므로, 약물 효능 추적기(296)는, 사용자의 개인 기록(240)으로부터, 사용자가 현재 처방을 갖고 있는지 여부를 결정할 수 있다. 약물 효능 추적기(296)는, 감지된 데이터 또는 자가-보고 툴들(284)을 통한 사용자의 입력에 의해 사용자가 실제로 의약을 복용하고 있는지 여부를 결정할 수 있다. 약물 효능 추적기(296)는 또한 처방 지시들을 결정할 수 있고, 사용자가 처방된 지시들에 따라 약물을 복용하고 있는지 여부를 결정할 수 있다.
일부 실시예들에서, 약물 효능 추적기(296)는, 음성 관련 데이터를 활용하는 것에 기반하여 호흡기 병태에 관한 추론들 또는 예보들을 상관시켜, 사용자가 약물을 복용하고 있는지 여부를 결정하고, 추가로, 약물이 효과적인지 여부를 결정할 수 있다. 예컨대, 사용자가 처방된 바와 같은 의약을 복용하고 있고 호흡기 병태가 악화되고 있거나 개선되고 있지 않은 경우, 이 사례에서는 처방 약물이 특정 사용자에 대해 효과적이지 않다고 결정될 수 있다. 그러므로, 약물 효능 추적기(296)는, 사용자가 처방을 변경하기 위해 임상의와 상담할 것을 권고할 수 있거나, 또는 임상의가 처방된 치료를 수정하는 것을 고려할 수 있도록 사용자의 의사 또는 임상의에게 전자적 통지를 자동으로 통신할 수 있다.
일부 실시예들에서, 약물 효능 추적기(296)는 부가적으로 또는 대안적으로, 모니터링되는 사용자의 임상의의 디바이스, 이를테면, 도 1의 임상의 사용자 디바이스(108) 상에서 또는 그와 함께 동작한다. 예컨대, 임상의는, 호흡기 감염에 대한 약물, 이를테면 항생제를 아픈 상태 환자에게 처방할 수 있고, 그와 함께, 본 개시내용의 실시예들에 따라 환자의 음성 관련 데이터를 모니터링하기 위해 약물 효능 추적 애플리케이션(이를테면, 296)을 환자에게 처방할 수 있다. 사용자가 악화하고 있거나 개선되고 있지 않다고 결정할 시, 약물 효능 추적기(296)는, 환자의 호흡기 병태의 추론들 또는 예보들을 임상의에게 통지할 수 있다. 일부 예시들에서, 약물 효능 추적기(296)는 추가로, 환자에 대한 처방된 치료를 변경하라는 권고들을 행할 수 있다.
다른 실시예에서, 약물 효능 추적기(296)는 약물에 대한 연구 또는 시험의 일부로서 활용될 수 있고, 다수의 참여자들에 대한 호흡기 병태들의 결정들 및/또는 예보들을 분석하여 연구된 약물이 참여자들의 그룹에 대해 효과적인지 여부를 결정할 수 있다. 부가적으로 또는 대안적으로, 일부 실시예들에서, 약물 효능 추적기(296)는, (예컨대, 기침, 코막힘, 콧물 흐름과 같은) 호흡기 관련 부작용들 또는 (예컨대, 열, 메스꺼움, 염증, 부종, 가려움과 같은) 비-호흡기 관련 부작용과 같은 약물의 부작용들이 존재하는지 여부를 결정하기 위해 센서(예컨대, 센서(들)(103)) 및/또는 자가-보고 툴들(284)과 함께 연구 또는 시험의 일부로서 활용될 수 있다.
위에 설명된 의사결정 지원 툴들(290)의 일부 실시예들은 사용자의 호흡기 병태를 치료하기 위한 양상들을 포함한다. 치료는, 호흡기 병태의 중증도를 감소시키도록 표적화될 수 있다. 호흡기 병태를 치료하는 것은, 새로운 치료제(들), 새로운 약제의 투여량 또는 사용자가 복용하는 기존 약제의 새로운 투여량 또는 새로운 약제의 투여량, 및/또는 새로운 약제를 투여하는 방식 또는 사용자가 복용하는 기존 약제의 새로운 투여 방식을 포함할 수 있는 새로운 치료 프로토콜을 결정하는 것을 포함할 수 있다. 새로운 치료 프로토콜에 대한 권고가 사용자 또는 사용자에 대한 간병인에게 제공될 수 있다. 일부 실시예들에서, 처방은, 사용자, 사용자의 간병인, 또는 사용자의 약국에 전송될 수 있다. 일부 예시들에서, 치료는, 변경을 행함이 없이 기존 처방을 리필하는 것을 포함할 수 있다. 추가적인 실시예들은, 권고 치료 프로토콜에 따라 권고된 치료제(들)를 사용자에게 투여하는 것 및/또는 권고된 치료제(들)의 적용 또는 사용을 추적하는 것을 포함할 수 있다. 이러한 방식으로, 본 개시내용의 실시예들은, 호흡기 병태를 치료하기 위한 치료제들의 사용 또는 적용을 제어, 모니터링 및/또는 관리하는 것을 더 양호하게 가능하게 할 수 있으며, 이는, 사용자의 병태에 대해 유익할 뿐만 아니라, 의료 제공자들 및 약물 제조업체들 뿐만 아니라 공급 체인 내의 다른 이들이 식품의약국 및 다른 관리 기관들에 의해 설정된 규정들 및 권고들을 더 양호하게 준수하는 것을 도울 수 있다.
예시적인 양상들에서, 치료는 다음으로부터의 하나 이상의 치료제를 포함한다:
● PLpro 억제제들, 아필로모드, EIDD-2801, 리바비린, 발간시클로비르, β-티미딘, 아스파탐, 옥스프레놀롤, 독시사이클린, 아세토페나진, 이오프로미드, 리보플라빈, 레프로테롤, 2,2′-시클로시티딘, 클로람페니콜, 클로르페네신 카르바메이트, 레보드로프로피진, 세파만돌, 플록수리딘, 티게시클린, 페메트렉시드, L(+)-아스코르브산, 글루타티온, 헤스페레틴, 아데메티오닌, 마소프로콜, 이소트레티노인, 단트롤렌, 술파살라진 항박테리아제, 실리빈, 니카르디핀, 실데나필, 플라티코딘, 크리신, 네오헤스페리딘, 바이칼린, 슈게트리올-3,9-디아세테이트, (―)-에피갈로카테킨 갈레이트, 파이탄트린 D, 2-(3,4-디히드록시페닐)-2-[[2-(3,4-디히드록시페닐)-3,4-디히드로-5,7-디히드록시-2H-1-벤조피란-3-일]옥시]-3,4-디히드로-2H-1-벤조피란-3,4,5,7-테트롤, 2,2-디(3-인돌릴)-3-인돌론, (S)-(1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로나프탈렌-2-일-2-아미노-3-페닐프로파노에이트, 피세아타놀, 로스마린산, 및/또는 마그놀롤;
● 3CLpro 억제제들, 리메시클린, 클로르헥시딘, 알푸조신, 실라스타틴, 파모티딘, 알미트린, 프로가비드, 네파페낙, 카르베딜롤, 암프레나비르, 티게시클린, 몬테루카스트, 카르민산, 미모신, 플라빈, 루테인, 세프피라미드, 페네테실린, 칸독사트릴, 니카르디핀, 에스트라디올 발레레이트, 피오글리타존, 코니밥탄, 텔미사르탄, 독시시클린, 옥시테트라시클린, (1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로나프탈렌-2-일5-((R)-1,2-디티올란-3-일) 펜타노에이트, 베툴로날, 크리신-7-O-β-글루쿠로니드, 안드로그라피시드, (1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로나프탈렌-2-일 2-니트로벤조에이트, 2β-히드록시-3,4-세코-프리에델로락톤-27-산 (S)-(1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐) 데카히드로나프탈렌-2-일-2-아미노-3-페닐프로파노에이트, 이소데코르티놀, 세레비스테롤, 헤스페리딘, 네오헤스페리딘, 안드로그라파닌, 2-((1R,5R,6R,8aS)-6-히드록시-5-(히드록시메틸)-5,8a-디메틸-2-메틸렌데카히드로나프탈렌-1-일)에틸 벤조에이트, 코스모신, 클레이스토칼톤 A, 2,2-디(3-인돌릴)-3-인돌론, 비오로빈, 그니디신, 필라엠블리놀, 테아플라빈 3,3′-디-O-갈레이트, 로스마린산, 코우이첸시드 I, 올레아놀산 산, 스티그마스트-5-엔-3-올, 데아세틸센타피크린, 및/또는 베르케몰;
● RdRp 억제제들, 발간시클로비르, 클로르헥시딘, 세프티부텐, 페노테롤, 플루다라빈, 이트라코나졸, 세푸록심, 아토바쿠온, 케노데옥시콜산, 크로몰린, 판쿠로늄 브로마이드, 코르티손, 티볼론, 노보비오신, 실리빈, 이다루비신 브로모크립틴, 디페녹실레이트, 벤질페니실로일 G, 다비가트란 에텍실레이트, 베툴로날, 그디니신, 2β,30β-디히드록시-3,4-세코-프리에델로락톤-27-락톤, 14-데옥시-11,12-디데히드로안드로그라폴리드, 그니디트린, 테아플라빈 3,3′-디-O-갈레이트, (R)-((1R,5aS,6R,9aS)-1,5a-디메틸-7-메틸렌-3-옥소-6-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로-1H-벤조[c]아제핀-1-일)메틸2-아미노-3-페닐프로파노에이트, 2β-히드록시-3,4-세코-프리에델로락톤-27-산, 2-(3,4-디히드록시페닐)-2-[[2-(3,4-디히드록시페닐)-3,4-디히드로-5,7-디히드록시-2H-1-벤조피란-3-일]옥시]-3,4-디히드로-2H-1-벤조피란-3,4,5,7-테트롤, 필라엠블리신 B, 14-히드록시사이페로툰돈, 안드로그라피시드, 2-((1R,5R,6R,8aS)-6-히드록시-5-(히드록시메틸)-5,8a-디메틸-2-메틸렌데카히드로 나프탈렌-1-일)에틸 벤조에이트, 안드로그라폴리드, 슈게트리올-3,9-디아세테이트, 바이칼린, (1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로나프탈렌-2-일 5-((R)-1,2-디티올란-3-일)펜타노에이트, 1,7-디히드록시-3-메톡시크산톤, 1,2,6-트리메톡시-8-[(6-O-β-D-자일로피라노실-β-D-글루코피라노실)옥시]-9H-크산텐-9-온, 및/또는 1,8-디히드록시-6-메톡시-2-[(6-O-β-D-자일로피라노실-β-D-글루코피라노실)옥시]-9H-크산텐-9-온, 8-(β-D-글로코피라노실옥시)-1,3,5-트리히드록시-9H-크산텐-9-온.
예시적인 양상에서, 치료는, COVID-19를 유발하는 SARS-CoV-2와 같은 바이러스 감염을 치료하기 위한 하나 이상의 치료제를 포함한다. 그러므로, 치료제는 하나 이상의 SARS-CoV-2 억제제를 포함할 수 있다. 일부 실시예들에서, 치료는, 하나 이상의 SARS-CoV-2 억제제와 위에 열거된 치료제들 중 하나 이상의 조합물을 포함한다.
일부 실시예들에서, 치료는, 이전에 식별된 약제들 중 임의의 것 뿐만 아니라 다음으로부터 선택된 하나 이상의 치료제를 포함한다:
● 디오스민, 헤스페리딘, MK-3207, 베네토클락스, 디히드로에르고크리스틴, 볼라진, R428, 디테르칼리늄, 에토포시드, 테니포시드, UK-432097, 이리노테칸, 루마카프토르, 벨파타스비르, 엘룩사돌린, 레디파스비르, 로피나비르 / 리토나비르 + 리바비린, 알페론, 및 프레드니손;
● 덱사메타손, 아지트로마이신, 및 렘데시비르뿐만 아니라 보세프레비르, 우미페노비르, 및 파비피라비르;
● 문헌 [Zhang, L.; Lin, D.; Sun, X.; Rox, K.; Hilgenfeld, R.; X-ray Structure of Main Protease of the Novel Coronavirus SARS-CoV-2 Enables Design of α-Ketoamide Inhibitors; bioRxiv preprint doi: https://doi.org/10.1101/2020.02.17.952879]에서 설명된 바와 같은, α-케토아미드 화합물 11r, 13a 및 13b;
● 미국 특허 제9,884,876호에서 설명된 것들과 같은 RIG 1 경로 활성화제들;
● DC402234에서 지정된 화합물을 포함하여, 문헌 [Dai W, Zhang B, Jiang X-M, et al. Structure-based design of antiviral drug candidates targeting the SARS-CoV-2 main protease. Science. 2020;368(6497):1331-1335]에서 설명된 것들과 같은 프로테아제 억제제들; 및/또는
● 항바이러스제, 이를테면 렘데시비르, 갈리데시비르, 파빌라비르/아비파비르, 몰누피라비르(MK-4482/EIDD 2801), AT-527, AT-301, BLD-2660, 파비피라비르, 카모스타트, SLV213 엠트릭타빈/테노피비르, 클레부딘, 달세트라피브, 보세프레비르, ABX464, (3S)-3-({N-[(4-메톡시-1H-인돌-2-일)카르보닐]-L-류실}아미노)-2-옥소-4-[(3S)-2-옥소피롤리딘-3-일]부틸 디히드로겐 포스페이트; 및/또는 그의 제약상 허용되는 염, 용매화물, 또는 수화물(PF-07304814), (1R,2S,5S)-N-{(1S)-1-시아노-2-[(3S)-2-옥소피롤리딘-3-일]에틸}-6,6-디메틸-3-[3-메틸-N-(트리플루오로아세틸)-L-발릴]-3-아자비시클로[3.1.0]헥산-2-카르복스아미드 또는 그의 용매화물 또는 수화물(PF-07321332), 및/또는 S-217622, 글루코코르티코이드, 이를테면 덱사메타손 및 히드로코르티손, 회복기 혈장, 재조합 인간 혈장, 이를테면 겔솔린(Rhu-p65N), 모노클로날 항체, 이를테면 레그단비맙(렉키로바(Regkirova)), 라불리주맙(울토미리스(Ultomiris)), VIR-7831/VIR-7832, BRII-196/BRII-198, COVI-AMG/COVI DROPS(STI-2020), 밤라니비맙(LY-CoV555), 마브릴리맙, 레론리맙(PRO140), AZD7442, 렌질루맙, 인플릭시맙, 아달리무맙, JS 016, STI-1499(COVIGUARD), 라나델루맙(탁자이로(Takhzyro)), 카나키누맙(일라리스(Ilaris)), 김실루맙 및 오틸리맙, 항체 칵테일, 이를테면 카시리비맙/임데비맙(REGN-Cov2), 재조합 융합 단백질, 이를테면 MK-7110(CD24Fc/SACCOVID), 항응고제, 이를테면 헤파린 및 아픽사반, IL-6 수용체 효능제, 이를테면 토실리주맙(악템라(Actemra)) 및/또는 사릴루맙(케브자라(Kevzara)), PIKfyve 억제제, 이를테면 아필리모드 디메실레이트, RIPK1 억제제, 이를테면 DNL758, DC402234, VIP 수용체 효능제, 이를테면 PB1046, SGLT2 억제제, 이를테면 다파글리포진, TYK 억제제, 이를테면 아비베르티닙, 키나제 억제제, 이를테면 ATR-002, 벰센티닙, 아칼라브루티닙, 로스마피모드, 바리시티닙 및/또는 토파시티닙, H2 차단제, 이를테면 파모티딘, 구충제, 이를테면 니클로사미드, 퓨린 억제제, 이를테면 디마나젠.
예를 들면, 일 실시예에서, 치료는, (3S)-3-({N-[(4-메톡시-1H-인돌-2-일)카르보닐]-L-류실}아미노)-2-옥소-4-[(3S)-2-옥소피롤리딘-3-일]부틸 디히드로겐 포스페이트, 및 그의 제약상 허용되는 염, 용매화물 또는 수화물(PF-07304814)로 이루어진 그룹으로부터 선택된다. 다른 실시예에서, 치료는, (1R,2S,5S)-N-{(1S)-1-시아노-2-[(3S)-2-옥소피롤리딘-3-일]에틸}-6,6-디메틸-3-[3-메틸-N-(트리플루오로아세틸)-L-발릴]-3-아자비시클로[3.1.0]헥산-2-카르복스아미드 또는 그의 용매화물 또는 수화물(PF-07321332)을 포함한다.
도 2 및 시스템(200)에 대해 계속하여, 시스템(200)의 제시 구성요소(220)는 일반적으로, 검출된 호흡기 병태 정보, 사용자 음성 데이터 및/또는 자가-보고 데이터를 획득하기 위한 사용자 명령어들 및/또는 피드백, 및 관련 정보를 제공하는 것을 담당할 수 있다. 제시 구성요소(220)는, 사용자 디바이스 상의, 다수의 사용자 디바이스들에 걸친, 또는 클라우드 환경 내의 하나 이상의 애플리케이션 또는 서비스를 포함할 수 있다. 예컨대, 일 실시예에서, 제시 구성요소(220)는, 통지들 및 경고들과 같은 정보를 사용자와 연관된 다수의 사용자 디바이스들에 걸쳐 그 사용자에게 제공하는 것을 관리할 수 있다. 제시 논리, 컨텍스트, 및/또는 다른 사용자 데이터에 기반하여, 제시 구성요소(220)는, 어느 사용자 디바이스(들)를 통해 콘텐츠가 제공되는지 뿐만 아니라 제공의 컨텍스트, 이를테면, 그것이 제공되는 방식(예컨대, 사용자 디바이스 또는 컨텍스트에 의존할 수 있는 포맷 및 콘텐츠), 그것이 제공되는 때, 또는 정보의 제공의 다른 그러한 양상들을 결정할 수 있다.
일부 실시예들에서, 제시 구성요소(220)는, 시스템(200)의 다른 구성요소들, 이를테면, 사용자 음성 모니터(260), 사용자 상호작용 관리자(280), 호흡기 병태 추적기(270), 및 의사결정 지원 툴(들)(290)의 양상들을 (모니터링되는 개인 또는 모니터링되는 개인의 임상의일 수 있는) 사용자에게 제시하는 것을 용이하게 하기 위해 사용되거나 그와 연관된 사용자 인터페이스 특징들을 생성할 수 있다. 그러한 특징들은, 그래픽 또는 오디오 인터페이스 요소들(이를테면, 아이콘들 또는 표시자들, 그래픽 버튼들, 슬라이더들, 메뉴들, 소리, 오디오 프롬프트들, 경고들, 경보들, 진동들, 팝업 윈도우들, 통지 바 또는 상태 바 항목들, 인-앱 통지들, 또는 사용자와 인터페이싱하기 위한 다른 유사한 특징들), 질의들, 및 프롬프트들을 포함할 수 있다. 제시 구성요소(220)의 일부 실시예들은, 스마트 스피커 상에서 동작되는 실시예들과 같은, 발화 합성, 텍스트-투-발화(text-to-speech), 또는 사용자에 대한 발화를 생성 및 제시하기 위한 유사한 기능성을 이용할 수 있다. 제시 구성요소(220)에 의해 생성되어 사용자(즉, 모니터링되는 개인 또는 임상의)에게 제공될 수 있는 그래픽 사용자 인터페이스(GUI)들의 예들 및 예시적인 오디오 사용자 인터페이스 요소들의 표현들은 도 5a 내지 도 5e와 관련하여 설명된다. 오디오 사용자 인터페이스 기능성을 활용하는 실시예들은 도 4c 내지 도 4f의 예들에 도시된다. 제시 구성요소(220)에 의해 제공되는 오디오 사용자 인터페이스의 일부 실시예들은, 음성 사용자 인터페이스(VUI), 이를테면, 스마트 스피커들 상의 VUI를 포함한다. 제시 구성요소(220)에 의해 생성되어 사용자(즉, 모니터링되는 개인 또는 임상의)에게 제공될 수 있는 그래픽 사용자 인터페이스(GUI)들의 예들 및 예시적인 오디오 사용자 인터페이스 요소들의 표현들은 또한 웨어러블 디바이스, 이를테면, 도 4b의 스마트워치(402a)와 관련하여 도시되고 설명된다.
예시적인 시스템(200)의 저장소(250)는 일반적으로, 본원에 설명된 실시예들에서 사용되는 데이터, 컴퓨터 명령어들(예컨대, 소프트웨어 프로그램 명령어들, 루틴들, 또는 서비스들), 논리, 프로파일들, 및/또는 모델들을 포함하는 정보를 저장할 수 있다. 실시예에서, 저장소(250)는 데이터 저장소(또는 컴퓨터 데이터 메모리), 이를테면, 도 1의 데이터 저장소(150)를 포함할 수 있다. 추가로, 저장소(250)는, 단일 데이터 저장 구성요소로서 도시되지만, 하나 이상의 데이터 저장소로서 또는 클라우드 환경에서 구현될 수 있다.
예시적인 시스템(200)에 도시된 바와 같이, 저장소(250)는, 음성-음소 추출 논리(233), 음소 특징 비교 논리(235), 및 사용자 병태 추론 논리(237)을 포함하며, 이들 모두는 이전에 설명되었다. 추가로, 저장소(250)는 하나 이상의 개인 기록(이를테면, 도 2에 도시된 바와 같은 개인 기록(240))을 포함할 수 있다. 개인 기록(240)은, 특정 모니터링되는 개인/사용자와 연관된 정보, 이를테면, 프로파일/건강 데이터(EHR)(241), 음성 샘플들(242), 음소 특징 벡터들(244), 결과들/추론된 병태들(246), 사용자 계정(들)/디바이스(들)(248), 및 설정들(249)을 포함할 수 있다. 개인 기록(240)에 저장된 정보는, 본원에 설명된 바와 같이, 데이터 수집 구성요소(210), 사용자 음성 모니터(260), 사용자 상호작용 관리자(280), 호흡기 병태 추적기(270), 의사결정 지원 툴(들)(290), 또는 예시적인 시스템(200)의 다른 구성요소들이 이용가능할 수 있다.
프로파일/건강 데이터(EHR)(241)는 모니터링되는 개인의 건강과 관련된 정보를 제공할 수 있다. 프로파일/건강 데이터(EHR)(241)의 실시예들은, 개인의 EHR의 일부분 또는 그 전부를, 또는 호흡기 병태들과 관련된 일부 건강 데이터만을 포함할 수 있다. 예컨대, 프로파일/건강 데이터(EHR)(241)는, 과거 또는 현재에 진단된 병태들, 이를테면, 인플루엔자, 리노바이러스, COVID-19, 만성 폐쇄성 폐 질환(COPD), 천식, 또는 호흡계에 영향을 주는 병태들; 호흡기 병태들을 치료하는 것 또는 호흡기 병태들의 잠재적 증상들과 연관된 약물들; 체중; 또는 나이를 표시할 수 있다. 프로파일/건강 데이터(EHR)(241)는, 사용자의 자가-보고 정보, 이를테면, 자가-보고 툴들(284)과 관련하여 설명된 바와 같은 자가-보고 증상들을 포함할 수 있다.
음성 샘플들(242)은, 이를테면, (도 1에 도시된) 센서(들)(103)로부터 수신되는 미가공 및/또는 처리된 음성 관련 데이터를 포함할 수 있다. 이러한 센서 데이터는, 호흡기 감염 추적에 사용되는 데이터, 이를테면, 수집된 음성 기록들 또는 샘플들을 포함할 수 있다. 일부 예시들에서, 음성 샘플들(242)은, 특징 벡터 분석이 수집된 샘플들에 대해 수행될 때까지 그리고/또는 미리 결정된 기간이 경과할 때까지 일시적으로 저장될 수 있다.
추가로, 음소 특징 벡터들(244)은, 특정 사용자에 대한 결정된 음소 특징들 및/또는 음소 특징 벡터들을 포함할 수 있다. 음소 특징 벡터들(244)은, 개인 기록(240) 내의 다른 정보, 이를테면, 컨텍스트 정보 또는 자가-보고 정보 또는 복합 증상 점수들(프로파일/건강 데이터(EHR)(241)의 일부일 수 있음)에 상관될 수 있다. 부가적으로, 음소 특징 벡터들(244)은, 음소 특징 비교 논리(235)와 관련하여 설명된 바와 같이, 특정 사용자에 대한 음소 특징 기준선을 설정하기 위한 정보를 포함할 수 있다.
결과들/추론된 병태들(246)은, 사용자 예보들 및 사용자의 추론된 호흡기 병태들을 포함할 수 있다. 결과들/추론된 병태들(246)은 호흡기 병태 추론 엔진(278)에 의한 출력일 수 있고, 그러므로, 현재 또는 장래의 시간 구간에서의 모니터링되는 사용자의 호흡기 병태의 점수들 및/또는 가능성을 포함할 수 있다. 결과들/추론된 병태들(246)은 위에 설명된 바와 같이 의사결정 지원 툴(들)(290)에 의해 활용될 수 있다.
사용자 계정(들)/디바이스(들)(248)는 일반적으로, 사용자가 액세스한, 사용한, 또는 다른 방식으로 사용자와 연관된 사용자 컴퓨팅 디바이스들에 관한 정보를 포함할 수 있다. 그러한 사용자 디바이스들의 예들은 도 1의 사용자 디바이스들(102a-n)을 포함할 수 있고, 그러므로, 스마트 스피커들, 모바일 폰들, 태블릿들, 스마트워치들, 또는 통합 음성 기록 능력들을 갖거나 그러한 디바이스들에 통신가능하게 연결될 수 있는 다른 디바이스들을 포함할 수 있다.
일 실시예에서, 사용자 계정(들)/디바이스(들)(248)은, 사용자와 연관된 계정들과 관련된 정보, 예컨대, 온라인 또는 클라우드 기반 계정들(예컨대, 온라인 건강 기록 포털들, 네트워크/건강관리 제공자, 네트워크 웹사이트들, 의사결정 지원 애플리케이션들, 소셜 미디어, 이메일, 전화, 전자상거래 웹사이트들 등)을 포함할 수 있다. 예컨대, 사용자 계정(들)/디바이스(들)(248)는, 의사결정 지원 툴(들)(290)과 같은 의사결정 지원 애플리케이션에 대한 모니터링되는 개인의 계정; 케어 제공자 사이트에 대한 계정(예컨대, 예약들의 전자 스케줄링을 가능하게 하기 위해 활용될 수 있음); 및 아마존닷컴® 또는 약국과 같은 온라인 전자상거래 계정들(예컨대, 치료약들의 온라인 주문을 가능하게 하기 위해 활용될 수 있음)을 포함할 수 있다.
부가적으로, 사용자 계정(들)/디바이스(들)(248)는 또한, 사용자의 캘린더, 예약들, 애플리케이션 데이터, 다른 사용자 계정들 등을 포함할 수 있다. 사용자 계정(들)/디바이스(들)(248)의 일부 실시예들은 하나 이상의 데이터베이스, 지식 그래프, 또는 데이터 구조에 걸쳐 정보를 저장할 수 있다. 이전에 설명된 바와 같이, 사용자 계정(들)/디바이스(들)(248)에 저장된 정보는 데이터 수집 구성요소(210)로부터 결정될 수 있다.
추가로, 설정들(249)은 일반적으로, 음성 데이터를 수집하는 것, 자가-보고 정보를 수집하는 것, 또는 사용자의 호흡기 병태를 추론 및/또는 예측하는 것을 포함하여 사용자 음성 데이터를 모니터링하기 위한 하나 이상의 단계, 또는 하나 이상의 의사결정 지원 애플리케이션, 이를테면 의사결정 지원 툴(들)(290)과 연관된 사용자 설정들 또는 선호도들을 포함할 수 있다. 예컨대, 일 실시예에서, 설정들(249)은, 음성 관련 데이터를 수집하기 위한 구성 설정들, 이를테면, 사용자가 평범하게 발화할 때 음성 정보를 수집하기 위한 설정들을 포함할 수 있다. 설정들(249)은, 생리학적 데이터를 획득하기 위한 설정들(예컨대, 웨어러블 센서 디바이스를 링크하는 정보)을 포함하여 컨텍스트 정보에 대한 구성들 또는 선호도들을 포함할 수 있다. 설정들(249)은 또한, 본원에 설명된 바와 같이, 개인정보 설정들을 포함할 수 있다. 설정들(249)의 일부 실시예들은, 호흡기 병태를 검출 또는 모니터링하기 위한 특정 음소들 또는 음소 특징들을 특정할 수 있고, 추가로, 검출 또는 추론 임계치들(예컨대, 병태 변화 임계치)을 특정할 수 있다. 설정들(249)은 또한, 본원에 설명된 바와 같이, 사용자들이 자신의 호흡기 병태의 기준선 상태를 설정하기 위한 구성들을 포함할 수 있다. 제한이 아닌 예로서, 다른 설정들은, 사용자가 사용자의 호흡기 병태 결정 또는 예측을 통지받기를 원하는 때 및 방식을 정의할 수 있는 사용자 통지 허용 임계치들들을 포함할 수 있다. 일부 양상들에서, 설정들(249)은, 애플리케이션들, 이를테면 통지들, 선호되는 간병인들, 선호되는 약국 또는 다른 상점들, 및 일반의약품 약물들에 대한 사용자 선호도들을 포함할 수 있다. 설정들(249)은, 사용자에 대한 치료의 표시, 이를테면 처방된 약물을 포함할 수 있다. 일 실시예에서, 센서(들)(이를테면, 도 1에 설명된 센서(103))의 교정, 초기화, 및 설정들이 또한 설정들(249)에 저장될 수 있다.
이제 도 3a를 참조하면, 시스템(200)의 구성요소들 중 적어도 일부를 포함하는 예시적인 프로세스(3100)의 도시적 표현이 도시된다. 예시적인 프로세스(3100)는, 하나 이상의 사용자(3102)가, 스마트 모바일 디바이스 및/또는 스마트 스피커와 같은 사용자 디바이스 상에서 동작할 수 있는 음성-증상 애플리케이션(3104)을 통해 데이터를 제공하는 것을 도시한다. 음성-증상 애플리케이션(3104)을 통해 제공되는 데이터는, 도 2의 사용자 음성 모니터(260)와 관련하여 설명된 바와 같이, 음소들이 추출될 수 있는 소리 기록들(예컨대, 도 2의 음성 샘플들(242))을 포함할 수 있다. 부가적으로, 수신된 데이터는, 사용자 상호작용 관리자(280)와 관련하여 설명된 바와 같이, 사용자에 의해 수동으로 입력될 수 있는 증상 등급 값들을 포함한다.
기록된 음성 샘플들 및 증상 값들을 수신하는 것에 기반하여, 서버(예컨대, 도 1의 서버(106)) 상에 상주할 수 있고 네트워크(예컨대, 도 1의 네트워크(110))를 통해 액세스될 수 있는 컴퓨터 시스템은, 사용자와 통신하는 것, 증상 알고리즘을 수행하는 것, 음성 특징들을 추출하는 것, 및 음성 알고리즘을 적용하는 것을 포함하는 동작들(3106)을 수행할 수 있다. 사용자와 통신하는 것은, 사용자 상호작용 관리자(280)와 관련하여 설명된 바와 같이, 사용가능한 데이터를 수집하기 위한 프롬프트들 및 피드백을 제공하는 것을 포함할 수 있다. 증상 알고리즘은, 자가-보고 데이터 평가기(276)와 관련하여 설명된 바와 같이, 사용자의 자가-보고 증상 값들에 기반하여 복합 증상 점수(CSS)를 생성하는 것을 포함할 수 있다. 음성 특징 추출은, 사용자 음성 모니터(260) 및 더 구체적으로는 음향 특징 추출기(2614)와 관련하여 설명된 바와 같이, 음성 샘플들 내의 검출된 음소들에 대한 추출된 음향 특징 값들을 포함할 수 있다. 음성 알고리즘이 추출된 음향 특징들에 적용될 수 있는데, 이는, 음소 특징 비교기(274)와 관련하여 설명된 바와 같이, 상이한 날들로부터의 개인에 대한 특징 벡터들을 비교하는 것(즉, 거리 메트릭을 컴퓨팅하는 것)을 포함할 수 있다.
적어도 일부 동작들(3106)에 기반하여, 리마인더들 및 통지들이 사용자 디바이스, 이를테면 도 1의 사용자 디바이스(102a)를 통해 하나 이상의 사용자(3102)에게 전자적으로 전송될 수 있다. 리마인더들은, 음성 샘플 또는 부가적인 정보, 이를테면 자가-보고 증상 등급들이 필요할 수 있다는 것을 알도록 사용자에게 상기시킬 수 있다. 통지들은, 사용자 상호작용 관리자(280)와 관련하여 설명된 바와 같이, 음성 샘플들을 제공할 때, 더 긴 지속기간, 더 큰 볼륨, 또는 더 적은 배경 잡음이 필요한지 여부를 표시하는 것과 같은 피드백을 사용자에게 제공할 수 있다. 통지들은 또한, 사용자가 음성 샘플들 및 일부 예시들에서는 증상 정보를 제공하는 것에 대해 규정된 프로토콜들을 따랐는지 여부 및 그 정도를 표시할 수 있다. 예컨대, 통지는, 사용자가 음성 샘플들을 제공하기 위한 음성 연습들의 50 %를 완료했다는 것을 표시할 수 있다.
부가적으로, 동작들(3106) 중 적어도 일부에 기반하여, 수집된 정보 및/또는 그의 결과적인 분석이 임상의와 연관된 하나 이상의 사용자 디바이스, 이를테면 도 1의 임상의 사용자 디바이스(108)에 전송될 수 있다. (도 1의) 임상의 사용자 디바이스(108) 상에서 또는 그와 함께 동작하는 컴퓨터 소프트웨어 애플리케이션, 이를테면 의사결정 지원 앱(105a 또는 105b)에 의해 임상의 대시보드(3108)가 생성될 수 있다. 임상의 대시보드(3108)는, 모니터링되고 있는 특정 환자 또는 환자들의 집합(즉, 모니터링되는 사용자들(3102))에 관한 정보에 액세스하고 그를 수신하는 것을 가능하게 하고, 일부 실시예들에서, 환자들과 직접 또는 간접적으로 통신하는 그래픽 사용자 인터페이스(GUI)를 포함할 수 있다. 임상의 대시보드(3108)는, 다수의 사용자들에 대한 정보를 제시하는 뷰(이를테면, 각각의 행이 상이한 사용자에 관한 정보를 포함하는 차트)를 포함할 수 있다. 부가적으로 또는 대안적으로, 임상의 대시보드(3108)는 모니터링되고 있는 단일 사용자에 대한 정보를 제시할 수 있다.
일 실시예에서, 임상의 대시보드(3108)는, 음성-증상 애플리케이션(3104)을 통해 사용자들(3102)의 데이터 수집을 모니터링하기 위해 임상의들에 의해 활용될 수 있다. 예컨대, 임상의 대시보드(3108)는, 사용자가 사용가능한 음성 샘플들을 제공했는지 그리고 일부 실시예들에서는 증상 증증도 등급들을 제공했는지 여부를 표시할 수 있다. 임상의 대시보드(3108)는, 사용자가 음성 샘플들 및/또는 다른 정보를 제공하는 것에 대해 규정된 프로토콜을 고수하고 있지 않은 경우 임상의에게 통지할 수 있다. 일부 실시예들에서, 임상의 대시보드(3108)는, 임상의가, 데이터를 수집하기 위한 프로토콜을 따르거나 수정된 프로토콜을 따르라는 리마인더를 사용자에게 통신(예컨대, 전자 메시지를 전송)할 수 있게 하는 기능성을 포함할 수 있다.
일부 실시예들에서, 동작들(3106)은, 수집된 음성 샘플들로부터 사용자의 호흡기 병태를 결정하는 것(예컨대, 사용자가 아픈 상태인지 여부를 결정하는 것)을 포함할 수 있으며, 이는, 일반적으로는 호흡기 병태 추적기(270)의 실시예에 의해, 더 구체적으로는, 도 2와 관련하여 설명된 바와 같은 호흡기 병태 추론 엔진(278)에 의해 수행될 수 있다. 이러한 실시예들에서, 결정된 호흡기 병태를 표시하는 통지들이 사용자들(3102)에게 전송될 수 있다. 일부 실시예들에서, 사용자들(3102)에 대한 통지들은, 의사결정 지원 툴(들)(290)과 관련하여 설명된 바와 같이, 조치에 대한 권고를 포함할 수 있다. 추가로, 사용자의 호흡기 병태를 결정하는 데 사용자의 음성 관련 정보가 활용되는 경우, 임상의 대시보드(3108)의 일부 실시예들은, 사용자의 호흡기 병태를 추적하기 위해 임상의에 의해 활용될 수 있다. 임상의 대시보드(3108)의 일부 실시예들은, 사용자의 호흡기 병태의 상태(예컨대, 호흡기 병태 점수, 사용자가 호흡기 감염을 갖는지 여부), 및/또는 사용자의 병태의 트렌드(예컨대, 사용자의 병태가 악화되고 있는지, 개선되고 있는지, 또는 동일하게 유지되고 있는지)를 표시할 수 있다. 사용자의 병태가 특히 나쁜지(이를테면, 호흡기 병태 점수가 임계 점수 미만일 때) 여부, 사용자에 대해 새로운 감염이 검출되는지 여부, 그리고/또는 사용자의 병태가 변했는지를 표시하기 위해 경고들 또는 통지들이 임상의에게 제공될 수 있다.
일부 실시예들에서, 임상의 대시보드(3108)는, 호흡기 감염에 대한 약물을 처방받았고/거나 임상의에 의해 호흡기 병태를 진단받았던 사용자들을 구체적으로 모니터링하는 데 활용될 수 있으며, 이에 따라, 의사결정 지원 툴(들)(290) 및 약물 효능 추적기(296)와 관련하여 논의된 바와 같이, 그러한 치료의 부작용을 포함하여 처방된 치료의 상태 및 효능을 임상의가 모니터링할 수 있다. 그러므로, 임상의 대시보드(3108)의 실시예들은, 처방된 약물 또는 치료, 및 사용자가 처방된 약물을 복용하거나 처방된 치료를 취하고 있는지 여부를 식별할 수 있다.
추가로, 일부 실시예들에서, 임상의 대시보드(3108)는, 임상의가, 권고 또는 요구되는 음성 샘플 수집 프로토콜(예컨대, 사용자가 얼마나 자주 음성 샘플들을 제공해야 하는지), 사용자의 처방된 치료 또는 약물들, 및 (예컨대, 액체류(fluids) 음용 여부, 휴식, 운동 회피, 자가-격리와 같은) 사용자에 대한 부가적인 권고들을 설정할 수 있게 하는 기능성을 포함할 수 있다. 임상의 대시보드(3108)는 또한, 모니터링 설정들을 설정 또는 조정하기 위해(예컨대, 임상의에 대한 그리고 일부 실시예들에서는 사용자에 대한 경고들을 생성하기 위한 임계치들을 설정하기 위해) 임상의에 의해 사용될 수 있다. 임상의 대시보드(3108)는 또한, 일부 실시예들에서, 임상의가, 음성-증상 애플리케이션(3104)이 적절하게 동작하고 있는지를 결정하고 음성-증상 애플리케이션(3104) 상에서 진단을 수행할 수 있게 하는 기능성을 포함할 수 있다.
도 3b는 호흡기 병태를 모니터링하기 위해 데이터를 수집하기 위한 예시적인 프로세스(3500)의 도식적 표현을 예시적으로 도시한다. 이러한 예시적인 프로세스(3500)에서, 모니터링되는 개인들은 음성 샘플들 및 증상 등급들이 제공되는 여러 수집 체크포인트들을 수행할 수 있다. 수집 체크포인트들은, 개인이 이미 호흡기 감염의 증상들을 경험하고 있거나, 또는 일부 실시예들에서는, 호흡기 감염 진단을 받은 시간 동안의 하나의 실험실-내 "아픈 상태" 방문, 및 개인이 호흡기 감염으로부터 회복한 하나의 실험실-내 "건강한 상태(well)" 방문을 포함할 수 있다. 부가적으로, 개인은 두 번의 실험실-내 방문 사이에 가정에서 하루에 두 번(또는 매일 또는 주기적으로) 수집 체크포인트를 가질 수 있다. 가정에서의 체크포인트들은 적어도 2 주의 기간에 걸쳐 발생할 수 있고 개인의 회복 시간이 2 주보다 긴 경우 더 길 수 있다. 각각의 수집 체크포인트 동안, 개인은 음성 샘플들을 제공하고 증상들의 등급을 매길 수 있다.
실험실-내 방문들은, 이를테면, 임상의의 오피스 또는 연구를 수행하는 실험실에서의 임상의에 대한 방문일 수 있다. 실험실-내 방문들 동안, 모니터링되는 개인의 음성 샘플들은 스마트폰 및 헤드셋에 결합된 컴퓨터를 통해 동시에 기록될 수 있다. 그러나, 프로세스(3500)의 실시예들은 실험실-내 방문들 동안 음성 샘플들을 수집하는 것에 대해 이러한 방법들 중 하나만을 활용할 수 있는 것으로 고려된다. 개인들은, 가정-내 수집들을 위해 스마트폰, 스마트워치, 및/또는 스마트 스피커를 활용하여, 음성 샘플들을 기록하고 증상 등급들을 제공할 수 있다.
실험실-내 방문들 및 가정-내 방문들 둘 모두에서의 음성 샘플들에 대해, 개인들은 각각 5 - 10 초 동안 비강 자음들 및 기본 모음들 둘 모두의 지속된 발성음들을 기록하도록 프롬프팅될 수 있다. 일 실시예에서, 4개의 모음 소리 및 3개의 코 콘스탄트가 기록된다. 국제 음성 기호(International Phonetic Alphabet)(IPA)를 사용하는 4개의 모음은 /a/, /i/, /u/, 및 /ae/일 수 있으며, 여기서, 개인은 더 토속적인 큐들인 "o", "E", "OO", 및 "a"를 사용하여 소리를 발음하도록 프롬프팅될 수 있다. 3개의 비강 자음은 /n/, /m/, 및 /ng/일 수 있다. 게다가, 개인들은 스크립트된 발화 및 스크립트되지 않은 발화를 기록하도록 요청받을 수 있다. 음성 기록 시스템들은 무손실(non-lossy) 압축을 사용하고 16의 비트 심도를 가질 수 있다. 일부 실시예들에서, 음성 데이터는 44.1 킬로헤르츠(kHz)에서 샘플링될 수 있다. 다른 실시예에서, 음성 데이터는 48 kHz로 샘플링될 수 있다.
가정-내 회복 기간 동안, 개인들은 아침마다 및 저녁마다 음성 샘플들을 제공하고 증상들을 보고하도록 요청받을 수 있다. 집에 있는 기간 동안의 증상 등급들에 대해, 개인들은 호흡기도 질병과 관련된 아침의 19개의 증상 및 저녁의 16개의 증상에 대해 그들의 인지된 증상 중증도(0 - 5)의 등급을 매기도록 요청받을 수 있다. 일 실시예에서, 4개의 수면 질문은 아침 목록에만 포함되고, 일과 종료 피곤함 질문은 저녁에만 문의된다. 증상 질문들의 예시적인 목록은 자가-보고 툴들(284)과 관련하여 제공될 수 있다. 복합 증상 점수(CSS)는 증상들의 적어도 일부의 점수들을 합산함으로써 결정될 수 있다. 일 실시예에서, CSS는 7개의 증상(콧물이 목에 쌓이는 것, 코 이물감, 콧물 흐름, 점액을 동반한 두꺼운 콧물, 기침, 인후통, 및 코를 풀 필요성)의 합산이다.
도 4a 내지 도 4f는 각각 개인(즉, 사용자(410))이 본 개시내용의 실시예들을 활용하는 예시적인 시나리오들을 예시적으로 도시한다. 사용자(410)는, 사용자 디바이스(예컨대, 사용자 컴퓨터 디바이스들(102a-n) 중 임의의 것) 상에서 실행되는 컴퓨터-소프트웨어 애플리케이션(예컨대, 도 1의 의사결정 지원 애플리케이션(105a))의, 도 2의 제시 구성요소(220)와 관련하여 설명된 바와 같은 하나 이상의 사용자 인터페이스(예컨대, 그래픽 사용자 인터페이스 및/또는 음성 사용자 인터페이스)와 상호작용할 수 있다. 각각의 시나리오는 (좌측으로부터 우측으로) 시간순으로 순서화되도록 의도되는 일련의 장면들(박스들)에 의해 표현된다. 상이한 장면들(박스들)이 반드시 상이한 별개의 상호작용들일 필요는 없지만, 사용자(410)와 사용자 인터페이스 구성요소 사이의 하나의 상호작용의 부분들일 수 있다.
도 4a, 도 4b, 및 도 4c는, 하나 이상의 사용자 디바이스 상에서 실행되는 앱 또는 프로그램, 이를테면, 도 3a의 음성-증상 애플리케이션(3104), 및/또는 아래에서 논의되는 바와 같은 도 5a 내지 도 5e의 호흡기 감염 모니터 앱(5101)의 실시예와의 상호작용들을 통해 사용자(410)로부터 수집되는 사용자의 음성 정보와 같은 데이터를 도시한다. 도 4a 내지 도 4c에 도시된 실시예들은, 시스템(200)의 하나 이상의 구성요소, 이를테면, 사용자 상호작용 관리자(280), 데이터 수집 구성요소(210), 및 제시 구성요소(220)에 의해 수행될 수 있다.
도 4a를 참조하면, 예컨대, 장면(401)에서, (도 1의 사용자 디바이스(102c)의 실시예일 수 있는) 스마트폰(402c)을 사용하는 사용자(410)에게, 지속된 발성음 제공하기 위한 명령어들(405)이 제공된다. 명령어(405)는: "음성-병태 평가를 시작합니다. "mmm" 소리를 5 초 동안 말하고 유지해 주시길 바라며, 지금 시작하십시오."를 언급한다. 이러한 명령어들(405)은 도 2의 사용자 명령어 생성기(282)의 실시예에 의해 제공될 수 있다. 명령어들(405)은, 스마트폰(402c)의 디스플레이 스크린 상에서 그래픽 사용자 인터페이스를 통해 텍스트로서 디스플레이될 수 있다. 부가적으로 또는 대안적으로, 명령어들(405)은 또한, 스마트폰(402c) 상의 음성 사용자 인터페이스를 활용하기 위한 가청 명령어들로서 제공될 수 있다. 장면(402)에서, 사용자(410)는 스마트폰(402c) 상에서 구두로 "mmmmmmmm..."을 시작함으로써 음성 샘플(407)을 제공하고 있는 것으로 도시되며, 이에 따라, 스마트폰(402c)의 마이크로폰(도시되지 않음)이 음성 샘플(407)을 픽업하고 기록할 수 있다.
도 4b는 유사하게, 장면(411)에서, 명령어들(415)이 사용자(410)에게 제공되는 것을 도시한다. 명령어들(415)은 사용자 명령어 생성기(282)의 실시예에 의해 생성될 수 있고, 도 1의 사용자 디바이스(102a)의 예시적인 실시예일 수 있는 스마트워치(402a)를 통해 제공된다. 그러므로, 명령어들(415)은 스마트워치(402a) 상에서 그래픽 사용자 인터페이스를 통해 텍스트로서 디스플레이될 수 있다. 부가적으로 또는 대안적으로, 명령어들(415)은 음성 사용자 인터페이스를 통해 가청 명령어들로서 제공될 수 있다. 장면(412)에서, 사용자(410)는, 스마트워치(402a)에 발화함으로써 음성 샘플(417)("aaaaaaaa...")을 생성하는 명령어들(415)에 응답한다.
도 4c는, 사용자(410)가 도 1의 사용자 디바이스(102b)의 실시예일 수 있는 스마트 스피커(402b)로부터의 일련의 명령어들(프롬프트들로 또한 지칭될 수 있음)에 의해 음성 샘플을 제공하도록 안내되는 것을 도시한다. 명령어들은 음성 사용자 인터페이스를 통해 스마트 스피커(402b)로부터 출력될 수 있고, 사용자(410)로부터의 응답은 스마트 스피커(402b) 또는 스마트 스피커(402b)에 통신가능하게 결합되는 또 다른 디바이스 상의 마이크로폰(도시되지 않음)에 의해 픽업되는 가청 응답들일 수 있다.
부가적으로, 본 개시내용의 일부 실시예들에 따르면, 도 4c는 스마트 스피커(402b) 상에서 또는 그와 함께 실행되는 애플리케이션 또는 프로그램에 의해 음성 기록 세션이 개시되는 것을 도시한다. 예컨대, 장면(421)에서, 스마트 스피커(402b)는 음성 기록 세션을 개시하려는 의도(424)를 큰 소리로 언급한다. 의도(424)는: "음성-병태 평가를 시작합니다. 지금 시간이 괜찮으신가요?"를 언급하며, 이에 대해, 사용자(410)는 가청 응답(425): "예"를 제공한다.
장면(422)에서, 스마트 스피커(402b)는 사용자(410)가 음성 샘플을 제공하기 따라야 할 가청 명령어들(426)을 제공하고, 사용자(410)는 일반적인 확인응답("OK") 및 지시된 소리("aaaaa...")를 포함하는 가청 응답(427)을 제공한다. 일단 사용자가 응답을 제공했다고 결정되면, 다른 음성 샘플에 대한 다음 명령어 세트가 주어져야 한다고 결정될 수 있다. 사용자(410)의 응답 및 사용자(410)에게 제공할 적절한 피드백 또는 다음 단계들을 결정하는 것은 사용자 입력 응답 생성기(286)의 실시예에 의해 수행될 수 있다. 장면(423)에서, 다음 음성 샘플에 대한 명령어들(428)이 스마트 스피커(402b)로부터 방출되고, 이에 대해, 사용자(410)는 가청 음성 샘플(429) "mmmmm..."으로 응답한다. 스마트 스피커(402b)와 사용자(410) 사이의 명령어들의 이러한 주고받음(back-and-forth)은 필요한 음성 샘플들 전부가 수집될 때까지 계속될 수 있다.
본원에 설명된 바와 같이, 사용자로부터의 수집된 음성 정보를 활용하여 사용자의 호흡기 병태가 모니터링 또는 추적될 수 있다. 그러므로, 도 4d, 도 4e, 및 도 4f는, 사용자가 사용자의 호흡기 병태의 추적의 다양한 양상들에 관해 통지받는 시나리오들을 도시한다. 도 4a 내지 도 4f의 추론들 및 예측들에 활용되는 오디오 데이터는, 도 4a 내지 도 4c에 도시된 바와 같이, 다양한 디바이스들을 통해 그리고 상이한 날들에 걸쳐 수집될 수 있다. 일부 실시예들에서, 도 4d 내지 도 4f의 시나리오들의 기반이 되는 추론들 및 예측들의 결정들은 도 2의 호흡기 병태 추론 엔진(278)에 의해 이루어질 수 있고, 그러한 결정들 및 추가적인 정보에 대한 요청들의 통지들은 사용자 상호작용 관리자(280) 및/또는 의사결정 지원 툴(들)(290), 이를테면 아픈 상태 모니터(292)의 실시예들에 의해 제공될 수 있다.
도 4d는 사용자(410)가 호흡기 병태 결정을 통지받는 것을 도시한다. 장면(431)에서, 스마트 스피커(402b)는, 최근 음성 데이터에 기반하여, 사용자(410)가 아픈 상태가 되고 있을 수 있다고 결정되는 것을 표시하는 가청 메시지(433)를 제공한다. 사용자가 아픈 상태일 수 있다는 이러한 결정은 호흡기 병태 추적기(270)의 실시예들에 따라 이루어질 수 있다. 가청 메시지(433)는 추가로, 호흡기 병태와 일치하는 증상들의 확인(예컨대, "코막힘, 피곤함 등이 느껴지십니까....?")을 요청하며, 이는, 자가-보고 툴들(284) 및/또는 사용자 입력 응답 생성기(286)의 실시예들에 따라 행해질 수 있다. 사용자(410)는 가청 응답(435) "약간"을 제공할 수 있다. 도 4d의 장면(432)에서, 코막힘을 느낀다는 사용자(410)의 응답(435)에 대한 응답으로 후속 메시지(437)가 스마트 스피커(402b)에 의해 제공된다. 후속 메시지(437)는, 사용자(410)에게 사용자의 코막힘의 등급을 매길 것을 요청함으로써 사용자로부터의 증상 피드백을 요청한다. 도 4d의 이러한 시나리오는, 사용자가 사용자의 코막힘 및/또는 임의의 다른 증상들의 등급을 매기는 응답을 제공하는 것으로 계속될 수 있다.
도 4e는, 사용자(410)의 호흡기 병태가 사용자(410)의 음성 데이터를 통해 계속 모니터링될 수 있을 때의 사용자(410)와 스마트 스피커(402b) 사이의 추가적인 상호작용들을 도시한다. 장면(441)에 도시된 가청 메시지(443)에서, 스마트 스피커(402b)는, 이전에 검출된 호흡기 병태(즉, 감기)가 추적되고 있다는 것을 사용자(410)에게 상기시키고, 더 최근의 데이터에 대해 이루어진 업데이트된 호흡기 병태 결정을 사용자(410)에게 통지한다. 구체적으로, 메시지(443)는: "...기침 빈도가 감소하고 있는 것으로 보이며, 음성의 분석은 개선을 나타내고 있습니다. 기분이 나아지셨나요?"라고 언급한다. 이어서, 사용자(410)는, 사용자(410)의 기분이 나아졌음을 표시하는 가청 응답(445)을 제공한다. 장면(442)에서, 스마트 스피커(402b)는, 장래의 사용자(410)의 호흡기 병태의 예측을 사용자(410)에게 통지하는 오디오 메시지(447)를 제공한다. 구체적으로, 메시지(447)는, 사용자(410)가 3 일 내에 사용자의 호흡기 병태에 관하여 정상처럼 느낄 것으로 예측된다는 것을 사용자(410)에게 통지한다. 메시지(447)는 또한, 계속 휴식을 취하고 의사의 지시들을 따르라는 권고를 제공한다. 도 4e에서, 사용자(410)의 음성이 개선되고 있다는 결정 및 사용자가 3 일 내에 회복될 수 있다는 결정은, 도 2와 관련하여 설명된 바와 같이, 호흡기 병태 추론 엔진(278)의 실시예들에 의해 이루어질 수 있다.
도 4f는 (예컨대, "여전히 질병 모니터링 모드에 있습니다..."라고 언급하는 장면(451) 내의 메시지(455)에 의해 표시되는 바와 같이) 사용자(410)의 호흡기 병태가 계속 모니터링되고 있는 시나리오를 도시한다. 장면(451)에서, 스마트 스피커(402b)는, 스마트 스피커(402b)가 여전히 질병 모니터링 모드에 있고 지난 수 일에 걸쳐 수집된 음성 샘플들의 분석에 기반하여 사용자(410)가 더 나아질 것으로 보이지 않는다는 것을 표시하는 가청 메시지(455)를 출력한다. 메시지(455)에서, 스마트 스피커(402b)는 또한 사용자(410)가 자신의 항생제 약물을 복용하고 있는지 여부를 문의한다. 사용자(410)에게 약물을 처방받았다는 결정은 처방 모니터(294)의 실시예에 의해 이루어질 수 있다. 사용자(410)는, 사용자(410)가 약물을 복용하고 있다는 것을 표시하는 응답(457)("예")을 제공한다. 장면(452)에서, 스마트 스피커(402b)는, 사용자(410)가 약물을 복용하고 있다는 것을 확인하는 사용자(410)의 응답(457)에 기반하여, 클라우드(458)에 의해 도시된 바와 같이, 네트워크를 통해 하나 이상의 다른 컴퓨팅 시스템 또는 디바이스에 통신한다. 일 실시예에서, 스마트 스피커(402b)는 사용자(410)가 여전히 아픈 상태이브로 사용자(410)의 처방을 리필하기 위해 사용자(410)의 케어 제공자와 직접 또는 간접적으로 통신할 수 있다. 결과적으로, 장면(453)에서, 스마트 스피커(402b)는, 사용자의 케어 제공자에게 연락되었고 항생제 처방의 리필이 지시되었음을 사용자(410)에게 알리는 가청 메시지(459)를 출력한다.
도 5a 내지 도 5e는 컴퓨터 소프트웨어 애플리케이션(또는 앱)에 대한 예시적인 그래픽 사용자 인터페이스(GUI)들의 양상들을 도시하는 컴퓨팅 디바이스로부터의 다양한 예시적인 스크린샷들을 도시한다. 특히, 도 5a 내지 도 5e의 스크린샷들에 도시된 GUI들의 예시적인 실시예들(이를테면, 도 5a의 GUI(5100))은, 이러한 예들에서 "호흡기 감염 모니터 앱"이라 지칭되는 컴퓨터 소프트웨어 애플리케이션(5101)에 대한 것이다. 도 5a 내지 도 5e에 도시된 예시적인 앱이 호흡기 감염들을 모니터링하는 것으로서 설명되지만, 본 개시내용은 일반적으로 호흡기 병태 및 호흡기 병태의 변화들을 모니터링하기 위한 애플리케이션에 유사하게 적용되는 것으로 또한 고려된다.
예시적인 호흡기 감염 모니터 앱(5101)은, 도 2와 관련하여 설명된 바와 같이, 사용자 음성 모니터(260), 사용자 상호작용 관리자(280), 및/또는 다른 구성요소들 또는 하위 구성요소들의 구현을 포함할 수 있다. 부가적으로 또는 대안적으로, 호흡기 감염 모니터 앱(5101)의 일부 양상들은, 도 1 및 도 2와 관련하여 각각 설명된 바와 같이, 의사결정 지원 앱(105a 또는 105b)의 구현을 포함할 수 있고/거나 하나 이상의 의사결정 지원 툴(들)(290)의 구현을 포함할 수 있다. 예시적인 호흡기 감염 모니터 앱(5101)은, 도 1과 관련하여 설명된 바와 같이, 사용자 디바이스들(102a-102n) 중 임의의 것으로서 구현될 수 있는 사용자 컴퓨팅 디바이스(또는 사용자 디바이스)(5102a) 상에서 동작할 수 있다(그리고, GUI가 그 사용자 컴퓨팅 디바이스 상에 디스플레이될 수 있음). 도 5a 내지 도 5e의 스크린샷들에 도시된 예시적인 GUI들의 GUI 요소들(이를테면, 도 5a의 햄버거 메뉴 아이콘(5107)) 중 일부는, 이를테면, GUI 요소를 터치하거나 클릭함으로써 사용자에 의해 선택될 수 있다. 사용자 컴퓨팅 디바이스(5102a)의 일부 실시예들은, 예컨대, GUI와의 사용자 상호작용을 용이하게 하기 위해, 스타일러스 또는 마우스와 함께 동작하는 터치스크린 또는 디스플레이를 포함할 수 있다.
일부 양상들에서, 호흡기 병태(예컨대, 인플루엔자, 리노바이러스, COVID-19, 천식 등)로 진단된 환자에 대한 처방된 또는 권고된 케어 표준은, (본원에 설명된 바와 같이) 모바일 디바이스 또는 다른 사용자 디바이스들(102a-102n)과 같은 사용자/환자 자신의 컴퓨팅 디바이스 상에서 동작할 수 있거나 또는 사용자/환자의 의료 제공자 또는 약국을 통해 사용자/환자에게 제공될 수 있는 호흡기 감염 모니터 앱(5101)의 실시예를 활용하는 것을 포함할 수 있는 것으로 고려된다. 특히, 호흡기 병태들을 모니터링 및 추적하기 위한 종래의 솔루션들은, 다른 결점들 중에서도, 주관적이고(즉, 자가-추적 증상들에 기인함) 조기 검출이 불가능하거나 조기 검출에 대해 실용적이지 않은 것으로부터 어려움을 겪을 수 있다. 그러나, 본원에 설명된 기술들의 실시예들은, 사용자에 대한 호흡기 병태 데이터를 모니터링하고, 검출하고, 추적하는 객관적이고 비-침습적이고 더 정확한 수단을 제공할 수 있다. 결과적으로, 이러한 실시예들은 그에 의해, 호흡기 병태들에 대해 특정 의약들을 처방받은 환자들에 대한 기술들의 신뢰가능한 사용을 가능하게 한다. 이러한 방식으로, 의사 또는 의료 제공자는, 다른 것들 중에서도, 사용자가 의약을 복용하고 컴퓨터 의사결정 지원 앱(예컨대, 호흡기 감염 모니터 앱(5101))을 사용하는 것을 포함할 수 있는 지시를 송출하고, 처방된 치료의 더 정확한 효능을 추적 및 결정할 수 있다. 유사하게, 의사 또는 의료 제공자는, 환자가 약물을 복용하기 전에 사용자의 호흡기 병태를 모니터링 또는 추적하기 위해 컴퓨터 의사결정 지원 앱을 사용하는 것을 포함하는(또는 케어 표준을 특정할 수 있는) 지시를 송출할 수 있으며, 이에 따라, 컴퓨터 의하결정 지원 앱이 제공한 분석, 권고, 또는 출력의 고려에 기반하여 의약이 처방될 수 있다. 예컨대, 컴퓨터 의사결정 지원 앱이, 사용자가 호흡기 병태를 갖고 있을 가능성이 있고 회복될 것으로 보이지 않는다고 결정하는 경우, 의사는 특정 항생제를 처방할 수 있다. 더욱이, 특정 의약을 투여받거나 처방받는 환자에 대한 케어 표준의 일부로서의 컴퓨터 의사결정 지원 앱(예컨대, 호흡기 감염 모니터 앱(5101))의 사용은, 의료 제공자가 처방된 의약의 부작용을 비롯한 효능을 더 양호하게 이해하거나, 투여량을 수정하거나 또는 특정 처방된 의약을 변경하거나, 또는 환자의 병태 개선으로 인해 그 의약이 더 이상 필요하지 않기 때문에 그 의약을 사용하는 것을 중단할 것을 사용자/환자에게 지시할 수 있게 함으로써 환자의 효과적인 치료를 지원한다.
도 5a를 참조하면, 사용자의 호흡기 병태를 모니터링하고 의사결정 지원을 제공하기 위해 사용될 수 있는 예시적인 호흡기 감염 모니터 앱(5101)의 양상들을 도시하는 예시적인 GUI(5100)가 도시된다. 예를 들면, 다른 목적들 중에서도, 호흡기 감염 모니터 앱(5101)의 실시예는, 호흡기 병태 데이터를 취득하는 것을 용이하게 하고/거나 사용자에 대한 호흡기 병태에 관한 정보를 결정하거나, 보거나, 추적하거나, 보충하거나, 또는 보고하는 데 사용될 수 있다. GUI(5100)에 도시된 예시적인 호흡기 감염 모니터 앱(5101)은, GUI(5100)의 상단 근처에 위치된 헤더 구역(5109)을 포함할 수 있고, 이는, 햄버거 메뉴 아이콘(5107), 디스크립터(5103), 공유 아이콘(5104), 청진기 아이콘(5106), 및 사이클 아이콘(5108)을 포함한다. 햄버거 아이콘(5107)을 선택하는 것은, 호흡기 감염 모니터 앱(5101)의 다른 서비스들, 특징들, 또는 기능성들의 메뉴에 대한 액세스를 사용자에게 제공할 수 있고, 도움말, 앱 버전 정보, 및 보안 사용자 계정 사인-인/사인-오프 기능성에 대한 액세스를 더 포함할 수 있다. 디스크립터(5103)는 이러한 예시적인 GUI(5100)에서 현재 날짜를 표시할 수 있다. 이러한 날짜는, 음성 분석기(5120) 및 도 5b와 관련하여 설명된 바와 같이, 사용자가 이 날에 음성 데이터 수집 프로세스를 시작할 경우 사용자에 의해 취득된 임의의 음성 관련 데이터와 연관될 날짜-시간이다. 일부 예시들에서, 디스크립터(5103)는, 이를테면 사용자가 이력 데이터에 액세스하고 있는 경우 과거 날짜를, 호흡기 감염 모니터 앱(5101)의 모드 또는 기능을, 사용자에 대한 통지를 표시할 수 있거나, 또는 공백일 수 있다.
공유 아이콘(5104)은, 전자 통신을 통해, 다양한 데이터, 분석들, 또는 진단, 보고들, 사용자에 의해 제공된 주석들, 또는 관찰들(예컨대, 메모들)을 공유하기 위해 선택될 수 있다. 예컨대, 공유 아이콘(5104)은, 사용자가 최근의 음소 특징 데이터, 호흡기 병태 변화들, 추론들, 또는 예측들, 또는 다른 데이터의 보고를 사용자의 간병인에게 이메일로 보내거나, 업로드하거나, 또는 송신할 수 있게 하는 것을 용이하게 할 수 있다. 일부 실시예들에서, 공유 아이콘(5104)은, 소셜 미디어 상에서 또는 다른 유사한 사용자들과 호흡기 감염 모니터 앱(5101)을 통해 포착, 결정, 디스플레이, 또는 액세스된 다양한 데이터의 양상들을 공유하는 것을 용이하게 할 수 있다. 일 실시예에서, 공유 아이콘(5104)은, 사용자의 호흡기 병태 데이터, 및 일부 예시들에서는, 관련 데이터(예컨대, 위치, 이력 데이터, 또는 다른 정보)를 정부 기관 또는 보건 부서와 공유하는 것을 용이하게 하여, 호흡기 감염의 발병들을 모니터링하는 것을 용이하게 할 수 있다. 이러한 공유된 정보는 사용자 개인정보를 보존하기 위해 식별해제(de-identify)되고 통신 전에 암호화될 수 있다.
청진기 아이콘(5106)의 선택은, 사용자에게 사용자의 의료 제공자에 대한 다양한 통신 또는 연결 옵션들을 제공할 수 있다. 예컨대, 청진기 아이콘(5106)을 선택하는 것은, 원격 예약을 스케줄링하는 것(또는 직접 방문 예약을 요청하는 것), 사용자의 의료 제공자에 의한 액세스를 위해 사용자의 의료 기록(예컨대, 도 2의 프로파일/건강 데이터(EHR)(241))을 공유하거나 데이터를 그에 업로드하는 것, 또는 부가적인 서비스들을 위해 의료 제공자의 온라인 포털에 액세스하는 것을 용이하게 하기 위한 기능성을 개시할 수 있다. 일부 실시예들에서, 청진기 아이콘(5106)을 선택하는 것은, 특정 데이터, 이를테면, 사용자가 현재 보고 있는 데이터를 사용자의 의료 제공자에게 통신하기 위한 기능성을 개시할 수 있거나, 또는 사용자의 의료 제공자에게 핑하여 사용자의 데이터를 보도록 의료 제공자에게 요청할 수 있다. 마지막으로, 사이클 아이콘(5108)을 선택하는 것은, 호흡기 감염 모니터 앱(5101)을 통해 디스플레이된 뷰들 및/또는 데이터에 대해, 뷰가 이용가능한 데이터에 관하여 최신이도록 리프레시 또는 업데이트를 야기할 수 있다. 일부 실시예들에서, 사이클 아이콘(5108)을 선택하는 것은, 센서로부터(또는 센서, 이를테면 도 1의 센서(들)(103)로부터의 데이터 수집과 연관된 컴퓨터 애플리케이션으로부터) 및/또는 사용자와 연관된 클라우드 데이터 저장소(예컨대, 온라인 데이터 계정)로부터 풀링된 데이터를 리프레시할 수 있다.
예시적인 GUI(5100)는 또한, 호흡기 감염 모니터 앱(5101)의 이러한 예시적인 실시예에 의해 제공되는 다양한 부가적인 기능성들에 대응하는 다양한 사용자 선택가능 아이콘들(5111, 5112, 5113, 5114, 및 5115)을 포함하는 아이콘 메뉴(5110)를 포함할 수 있다. 특히, 이러한 아이콘들을 선택하는 것은, 호흡기 감염 모니터 앱(5101)을 통해 제공되는 다양한 서비스들 또는 툴들로 사용자를 내비게이팅할 수 있다. 예로서 그리고 제한 없이, 홈 아이콘(5111)을 선택하는 것은, 도 5a 내지 도 5e와 관련하여 설명된 예시적인 GUI들 중 하나; 호흡기 감염 모니터 앱(5101)에 의해 제공되는 하나 이상의 일반적으로 활용되는 서비스 또는 툴을 포함할 수 있는 시작 스크린(이를테면, 도 5e의 GUI(5510)); 사용자에 대한 계정 정보; 또는 임의의 다른 뷰(도시되지 않음)를 포함할 수 있는 홈 스크린으로 사용자를 내비게이팅할 수 있다.
일부 실시예들에서, 예시적인 GUI(5100)에서 선택되는 것으로서 도시되어 있는 "voice rec" 아이콘(5112)의 선택은, 사용자로부터 음성 샘플들을 취득하는 것을 용이하게 해기 위한 애플리케이션 기능성을 포함하는 음성 분석기(5120)와 같은 음성 데이터 취득 모드로 사용자를 내비게이팅할 수 있다. 음성 분석기(5120)의 실시예들은, 도 2에서 설명된 바와 같은 사용자 음성 모니터(260)(또는 그의 하위 구성요소들 중 하나 이상)를 포함하는 시스템(200)의 하나 이상의 구성요소에 의해, 그리고 일부 예시들에서는, 또한 도 2에서에서 설명된 바와 같은 사용자 상호작용 관리자(280)(또는 그의 하위 구성요소들 중 하나 이상)에 의해 수행될 수 있다. 예컨대, 사용자 음성 샘플 데이터를 취득하기 위한 음성 분석기(5120)의 기능성은 음성 샘플 수집기(2604)와 관련하여 설명된 바와 같이 수행될 수 있다.
일부 실시예들에서, 음성 분석기(5120)는, GUI 요소(5105) 상에서 도 5a에 도시되고 도 5b와 관련하여 추가로 설명된 바와 같이, 음성 데이터 수집 프로세스를 통해 사용자를 안내하기 위한 명령어들을 제공할 수 있다. 특히, GUI 요소(5105)는, 사용자에게 설정된 시간 지속기간 동안 소리를 반복할 것을 프롬프팅하는 반복 소리 연습의 양상들을 도시한다. 여기서, 예컨대, 사용자는 5 초 동안 "mmm" 소리를 말할 것을 요청받는다. 일부 실시예들에서, 음성 분석기(5120)에 의해 제공되는 명령어들은, 사용자 상호작용 관리자(280) 또는 하위 구성요소들 중 하나 이상, 이를테면 사용자 명령어 생성기(282)에 따라 결정 또는 생성될 수 있다.
디스크립터(5103)는 수집된 음성 샘플과 연관될 현재 날짜를 표시한다. 타이머(GUI 요소(5122))는, 음성 샘플을 기록하는 것을 언제 시작 또는 종료할지를 사용자에게 지시하는 것을 용이하게 하기 위해 제공될 수 있다. 시각적 음성 샘플 기록 표시자(GUI 요소(5123))가 또한, 음성 샘플 기록에 관한 피드백을 사용자에게 제공하기 위해 디스플레이될 수 있다. 실시예에서, GUI 요소들(5122 및 5123)에 대한 동작들은 도 2와 관련하여 설명된 사용자 입력 응답 생성기(286)에 의해 수행된다. 다른 시각적 표시자들(도시되지 않음)은, 제한 없이, 배경 잡음 수준, mic 수준, 볼륨, 진행 표시자들, 또는 사용자 입력 응답 생성기(286)와 관련하여 설명된 다른 표시자들을 포함할 수 있다.
일부 실시예들(도시되지 않음)에서, 음성 분석기(5120)는 시간 구간 내에(예컨대, 하루 또는 반나절 동안) 음성 관련 데이터를 취득하는 것에 관한 사용자의 진행을 디스플레이할 수 있다. 예컨대, 음성 관련 데이터가 평범한 상호작용을 통해 또는 구절을 읽음으로써 취득되는 경우, 음성 분석기(5120)는, 완료에 대한 백분율, 다이얼 또는 슬라이딩 진행 바와 같은 사용자의 진행의 표시, 또는 사용자의 발화로부터 성공적으로 획득되었거나 아직 획득되지 않은 음소들의 표시를 나타낼 수 있다. 음성 분석기(5120)에 의해 수행되는 예시적인 음성 데이터 수집 프로세스에 대한 부가적인 GUI들 및 세부사항들이 도 5b와 관련하여 설명된다.
GUI(5100) 및 아이콘 메뉴(5110)에 대해 계속해서 다시 도 5a를 참조하면, 아웃룩 아이콘(5113)을 선택하는 것은, 사용자에게 사용자의 호흡기 병태에 관한 툴들 및 정보를 제공하기 위한 GUI 및 기능성으로 사용자를 내비게이팅할 수 있다. 이는, 예컨대, 사용자의 현재 호흡기 병태(들), 트렌드(들), 예보(들), 또는 권고(들)에 관한 정보를 포함할 수 있다. 아웃룩 아이콘(5113)과 연관된 기능성의 부가적인 세부사항들은 도 5c와 관련하여 설명된다. 로그 아이콘(5114)(도 5a)을 선택하는 것은, 도 5d 및 도 5e와 관련하여 설명된 바와 같이, 호흡기 병태 추적 또는 모니터링을 용이하게 하기 위한 기능성을 포함하는 로그 툴로 사용자를 내비게이팅할 수 있다. 실시예에서, 로그 툴 또는 로그 아이콘(5114)과 연관된 기능성은, 사용자에 대한 생리학적 데이터, 증상 데이터, 또는 다른 컨텍스트 정보를 수신하고 보기 위한 GUI 및 툴들 또는 서비스들을 포함할 수 있다. 예컨대, 로그 툴의 일 실시예는, 도 5d 및 도 5e와 관련하여 설명된 바와 같이, 사용자 증상들을 로그처리하기 위한 자가-보고 툴을 포함한다.
일부 실시예들에서, 설정 아이콘(5115)을 선택하는 것은, 호흡기 감염 모니터 앱(5101)의 다양한 사용자 선호도들, 설정들, 또는 구성들, 음성 관련 데이터의 양상들(예컨대, 민감도 임계치들, 음소 특징 비교 설정들, 음소 특징들에 관한 구성들, 또는 음성 관련 데이터의 취득 또는 분석에 관한 다른 설정들), 사용자 계정(들), 사용자의 케어 제공자(들), 간병인(들), 보험, 진단 또는 병태들에 관한 정보, 사용자 케어/치료, 또는 다른 설정들을 특정하는 것을 가능하게 할 수 있는 사용자 설정 구성 모드로 사용자를 내비게이팅할 수 있다. 일부 실시예들에서, 설정들의 적어도 일부분은 사용자의 의료 제공자 또는 임상의에 의해 구성될 수 있다. 설정 아이콘(5115)을 통해 액세스가능한 일부 설정들은 도 2의 설정들(249)과 관련하여 논의된 설정들을 포함할 수 있다.
이제 도 5b를 참조하면, 사용자가 다양한 발성들의 음성 샘플들을 제공하도록 안내되는 음성 관련 데이터를 취득하는 예시적인 프로세스의 양상들을 도시하는 예시적인 GUI(5210, 5220, 5230, 및 5240)의 시퀀스(5200)가 제공된다. 시퀀스(5200)의 GUI들에 도시된 프로세스는, GUI들(5210, 5220, 5230, 및 5240)을 디스플레이할 수 있는, 사용자 컴퓨팅 디바이스(5102a) 상에서 동작하는 호흡기 감염 모니터 앱(5101)에 의해 제공될 수 있다. 실시예에서, GUI들(5210, 5220, 5230, 및 5240)에 도시된 기능성은, 도 5a에서 설명된 음성 분석기(5120)와 같은 호흡기 감염 모니터 앱(5101)의 음성 데이터 취득 모드에 의해 제공되고, GUI(5100)(도 5a)의 음성 인식 아이콘(5112)을 선택함으로써 액세스 또는 개시될 수 있다. 사용자를 안내하기 위한 GUI들(5210, 5220, 5230, 및 5240)에 도시된 명령어들(예컨대, 명령어들(5213))은, 사용자 상호작용 관리자(280) 또는 하위 구성요소들 중 하나 이상, 이를테면 사용자 명령어 생성기(282)에 따라 결정 또는 생성될 수 있다.
GUI(5210)에 도시된 바와 같이, 반복 소리 연습의 일부로서 연속적인 소리를 발성하도록 사용자를 안내하는 명령어들(5213)이 도시된다. 반복 소리 연습은 사용자에 의해 수행될 하나 이상의 발성 작업을 포함할 수 있다. 이러한 예에서, 사용자는 시작 버튼(5215)을 선택함으로써 연습(또는 연습 내의 작업)을 시작할 수 있다. GUI(5210)는 또한, 이러한 세션 또는 시간 구간 동안 음성 샘플 데이터를 제공하는 것에 대한 사용자의 진행(예컨대, 60 % 완료)을 표시하는 슬라이딩 바인 진행 표시자(5214)를 도시한다.
GUI들(5220, 5230, 및 5240)은, 반복 소리 연습의 일부로서 연속적인 소리들을 발성하도록 사용자를 안내하는 양상들을 계속 도시한다. 시퀀스(5200)에서 도시된 바와 같이, 예시적인 GUI들(5220, 5230, 및 5240)은 사용자를 안내하는 것 또는 사용자에게 피드백을 제공하는 것을 용이하게 하기 위한 다양한 시각적 표시자들을 포함한다. 예를 들면, GUI(5220)는, 카운트다운 타이머 및 배경 잡음 검사의 표시자를 도시하는 GUI 요소(5222)를 포함한다. GUI 요소(5222)의 카운트다운 타이머는 사용자가 발성을 시작해야 할 때까지의 시간을 표시한다. GUI(5230)는, 이러한 예시에서, 사용자가 "ahhh" 소리를 발성하는 것을 지속한 시간의 지속기간을 표시하는 타이머의 다른 예를 도시하는 GUI 요소(5232)를 포함한다. 유사하게, GUI(5240)는, 이러한 예시에서, 사용자가 "mmm" 소리를 5 초 동안 발성했다는 것을 표시하는 타이머의 예를 도시하는 GUI 요소(5242)를 포함한다. GUI(5240)는 또한, "mmm" 소리에 대한 음성 샘플 기록에 관한 피드백을 사용자에게 제공하는 GUI 요소(5243)를 포함한다. 이전에 설명된 바와 같이, 진행 표시자(5214), GUI 요소(5222)의 카운트다운 타이머 및 배경 잡음 표시자, GUI 요소들(5232 및 5242)의 타이머들, 또는 GUI 요소(5243)의 음성 샘플 기록 표시자와 같은 시각적 표시자들과 연관된 기능성은 사용자 입력 응답 생성기(286)에 의해 제공될 수 있다. 제공될 수 있는 시각적 표시자들 및 사용자 피드백 동작들의 부가적인 예들이 사용자 입력 응답 생성기(286)와 관련하여 설명된다.
시퀀스(5200)에 대해 계속해서, GUI(5240)는, 음성 샘플 데이터를 취득하기 위한 반복 소리 연습의 최종 스테이지를 표현할 수 있거나 또는 음성 샘플 데이터를 취득하기 위한 프로세스의 다수의 스테이지들 중 하나의 스테이지의 끝을 표현할 수 있다. 예를 들면, 후속하여 수행될 부가적인 발성 작업들 또는 연습들이 존재할 수 있다. 음성 샘플을 제공할 시, 사용자는 완료 버튼(5245)을 선택함으로써 연습(또는 연습 내의 작업)을 종료할 수 있다. 대안적으로, 사용자가 작업을 다시 하여 다른 음성 샘플을 제공하기를 원하는 경우, 사용자는 다시 작업을 시작하기 위해 GUI 요소(5244)를 선택할 수 있다. 일부 실시예들에서, 사용자는, 샘플 기록 감사기(2608) 및 사용자 입력 응답 생성기(286)와 관련하여 설명된 바와 같이, 이를테면, 음성 샘플이 불충분한 것으로 결정되는 경우, 작업을 다시 하라는 표시 또는 명령어를 제공받을 수 있다.
음성 관련 데이터를 수집하기 위한 시퀀스(5200)에 도시된 예시적인 프로세스는, 반복 소리 연습의 일부로서 명령어들을 사용자에게 프롬프팅하는 것을 수반한다. 그러나, 호흡기 감염 모니터 앱(5101)의 다른 실시예들은, 본원에서 설명된 바와 같이, 평범한 상호작용으로부터 음성 관련 데이터를 취득할 수 있다. 추가로, 일부 실시예들에서, 음성 관련 데이터는, 도 5b의 예와 같이, 평범한 상호작용들의 조합으로부터 그리고 반복 소리 연습으로부터 수집될 수 있다. 예를 들면, 평범한 상호작용이 주어진 시간 구간 동안(예컨대, 해당 날 또는 반나절 동안) 충분한 또는 특정 유형의 사용가능한 음성 관련 데이터를 산출하지 못한 경우, 사용자는 반복 소리 연습 또는 유사한 상호작용을 통해 부가적인 음성 관련 데이터를 제공할 것을 (예컨대, 호흡기 감염 모니터 앱(5101)을 통해) 통지받을 수 있다. 일부 실시예들에서, 사용자는, 이를테면 설정 아이콘(5115)을 통해 또는 도 2의 설정들(249)과 관련하여 설명된 바와 같이, 자신의 음성 관련 데이터가 취득될 수 있는 방식에 대한 옵션들을 구성할 수 있다.
이제 도 5c를 참조하면, GUI(5300)를 포함하는 호흡기 감염 모니터 앱(5101)의 다른 양상이 도시된다. GUI(5300)는 사용자의 호흡기 병태 아웃룩(예컨대, 아웃룩(5301))을 디스플레이하기 위한 다양한 사용자 인터페이스(UI) 요소들을 포함하며, GUI(5300)에 도시된 기능성은 GUI(5100)(도 5a)의 아웃룩 아이콘(5113)을 선택함으로써 액세스 또는 개시될 수 있다. 예시적인 GUI(5300)는, 사용자가 호흡기 감염 모니터 앱(5101)의 아웃룩 기능성에 액세스하고 있는 현재 날짜(예컨대, Today, May the 4th)를 나타내는 디스크립터(5303), 및 사용자가 호흡기 감염 모니터 앱(5101)의 아웃룩 동작 모드에 있다는 것(또는 아웃룩 기능성에 액세스하고 있다는 것)을 표시하는 사용자의 아웃룩(5301)을 더 포함한다. 도 5c에 도시된 바와 같이, 아이콘 메뉴(5110)는, 사용자의 아웃룩(5301)을 도시하는 GUI(5300)를 사용자에게 제시할 수 있는 아웃룩 아이콘(5113)이 선택되는 것을 표시한다. 아웃룩(5301)은, 사용자에 대한 호흡기 병태 결정들 및/또는 예보들 및 관련 정보를 포함할 수 있다. 예컨대, 아웃룩(5301)은, 호흡기 병태 점수(5312), 관련 권고들(5315)을 포함할 수 있는 전염 위험(5314), 및 트렌드 정보, 이를테면, 트렌드 디스크립터(5316) 및 GUI 요소(5318)를 포함할 수 있다.
본원에 설명된 바와 같이, 호흡기 병태 점수(5312)는 사용자의 호흡기 병태를 정량화 또는 특성화할 수 있는데, 이는, 사용자의 현재 호흡기 병태, 사용자의 호흡기 병태의 변화, 또는 사용자의 가능성 있는 장래의 호흡기 병태를 표현할 수 있다. 본원에서 추가로 설명되는 바와 같이, 호흡기 병태 점수(5312)는, 사용자의 음성 관련 데이터, 이를테면, 도 5b에 도시된 또는 도 2의 사용자 음성 모니터(260)와 관련하여 설명된 예시적인 프로세스를 통해 취득된 음성 관련 데이터에 기반할 수 있다. 일부 예시들에서, 호흡기 병태 점수(5312)는 추가로, 컨텍스트 정보, 이를테면, 사용자 관찰들(예컨대, 자가-보고 증상 점수들), 건강 또는 생리학적 데이터(예컨대, 웨어러블 센서 또는 사용자의 건강 기록에 의해 제공되는 데이터), 날씨, 위치, 지역사회 감염 정보(예컨대, 사용자의 지리학적 위치에서의 현재 감염률), 또는 다른 컨텍스트들과 같은 컨텍스트 정보에 기반할 수 있다. 호흡기 병태 점수(5312)를 결정하는 것의 부가적인 세부사항들은 도 2의 호흡기 병태 추론 엔진(278) 및 도 6b의 방법(6200)과 관련하여 제공된다.
GUI(5300)의 전염 위험(5314)은, 사용자가 검출된 호흡 관련 감염성 인자를 전염시킬 위험을 표시할 수 있다. 전염 위험(5314)은, 도 2의 호흡기 병태 추론 엔진(278) 및 사용자 병태 추론 논리(237)와 관련하여 설명된 바와 같이 결정될 수 있다. 전염 위험은, 예시적인 GUI(5300)에서 중상(medium-to-high)의 위험을 표시하는 "med-high"와 같은 정량적 또는 범주형 표시자일 수 있다. 전염 위험(5314)과 함께, 아웃룩(5301)은 권고들(5315)을 제공할 수 있으며, 이는, 안면마스크 착용, 사회적 거리두기, 자가-격리(가정에 머무르는 것), 또는 의료 제공자와의 상담과 같은, 전염의 위험을 감소시키기 위한 권고된 관례들을 포함할 수 있다.
이러한 권고들(5315)은 미리 결정된 권고들을 포함할 수 있고, 일부 실시예들에서는, 규칙들의 세트에 따라 특정 검출된 호흡기 병태 및/또는 전염 위험(5314)에 기반하여 결정될 수 있다. 일부 실시예들에서, 권고들(5315)은, 사용자의 이력 정보, 이를테면 이력 음성 관련 정보, 및/또는 컨텍스트 정보, 이를테면 지리학적 위치에 기반하여 사용자에 대해 맞춤조정될 수 있다. 권고들(5315)을 결정하기 위한 부가적인 세부사항들은 도 2의 호흡기 병태 추론 엔진(278) 및 사용자 병태 추론 논리(237)와 관련하여 설명된다.
아웃룩(5301)은 트렌드 정보, 이를테면, 트렌드 디스크립터(5316), 및 일부 실시예들에서는, 시간 경과에 따른 트렌드 또는 사용자의 호흡기 병태의 변화의 시각화를 제공하는 GUI 요소(5318)를 제공할 수 있다. 트렌드 디스크립터(5316)는 사용자의 호흡기 병태에 대한 이전에 또는 현재 검출된 변화들을 표시할 수 있다. 여기서, 트렌드 디스크립터(5316)는 사용자의 호흡기 병태가 악화되고 있다고 언급한다. 추가로, GUI 요소(5318)는, 사용자의 데이터의 그래프 또는 차트, 또는 사용자 호흡기 병태에 대한 변화들, 이를테면, 지난 14 일에 걸친 음성 샘플들로부터 검출된 음소 특징들에 대한 변화들을 도시하는 다른 시각적 표시를 포함할 수 있다. 다른 실시예들에서, 아웃룩(5301)은 부가적으로 또는 대안적으로, 장래의 사용자의 호흡기 병태의 가능성 있는 트렌드의 예보를 제공한다. 예컨대, GUI 요소(5318)는, 일부 실시예들에서, 장래의 날짜들을 표시하고, 호흡기 병태 추론 엔진(278)과 관련하여 설명된 바와 같이 사용자의 호흡기 병태의 장래의 변화들을 예측할 수 있다. 일 실시예에서, 아웃룩(5301)은, 사용자가 호흡기 감염으로부터 언제 회복될 가능성이 있는지(예컨대, "3일 내에 정상처럼 느낄 것입니다")를 표시하는 예보를 제공한다. 아웃룩(5301)에 의해 제공될 수 있는 다른 예시적인 예보는, 이를테면, 가능성 있는 호흡기 감염의 처음 검출 시의 조기 경고 예보, 즉, 사용자가 장래의 시간 구간에 아픈 상태일 것으로 예상될 수 있다는 것을 표시하는 예보(예컨대, "호흡기 감염이 나타나고 있는 것처럼 보이며, 주말까지 아픈 상태를 느낄 수 있습니다")를 포함한다.
일부 예시들에서, 호흡기 감염 모니터 앱(5101)은, 예보에 관한 또는 아웃룩(5301)에 의해 제공되는 다른 정보에 관한 전자적 통지를 생성하거나 사용자(또는 간병인 또는 임상의)에게 제공할 수 있다. 트렌드 디스크립터(5316) 및/또는 GUI 요소(5318)를 생성하기 위해 활용되는 트렌드 또는 예보 정보를 포함할 수 있는, 아웃룩(5301)에 의해 제공되는 정보는, 도 2의 호흡기 병태 추적기(270) 또는 그의 하위 구성요소들 중 하나 이상, 이를테면 호흡기 병태 추론 엔진(278)의 예시적인 실시예에 의해 결정될 수 있다. 호흡기 병태 정보, 전염 위험(5314), 권고들(5315), 예보들, 또는 트렌드 정보(5316)를 결정하는 것의 부가적인 세부사항들은 도 2의 호흡기 병태 추적기(270)와 관련하여 설명된다.
이제 도 5d를 참조하면, GUI(5400)를 포함하는 호흡기 감염 모니터 앱(5101)의 다른 양상이 도시된다. GUI(5400)는, (호흡기 증상들과 같은) 호흡기 병태 관련 정보를 디스플레이하거나 수신하기 위한 UI 요소들을 포함하며, 로그 아이콘(5114)에 의해 표시되는 로그 기능성에 대응한다. 특히, GUI(5400)는, 현재 또는 이력 사용자 데이터를 로그처리하고, 보고, 일부 양상들에서는 주석부기하기 위한 로그 툴(5401)의 예를 도시한다. 로그 툴(5401)은 아이콘 메뉴(5110)로부터 로그 아이콘(5114)을 선택함으로써 액세스될 수 있다. 일부 실시예들에서, 로그 툴(5401)(또는 아래에 설명되는 자가-보고 툴(5415))은, 사용자가 호흡기 감염이거나 호흡기 감염을 가질 수 있다는 결정 시 사용자에게 제공될 수 있다(또는 사용자는 로그 툴(5401)에 액세스하기 위한 통지를 수신할 수 있음). 예시적인 GUI(5400)는, 로그 툴(5401)에 의해 디스플레이되는 정보가 Monday, May 4에 대한 것임을 표시하는 디스크립터(5403)를 더 포함한다. 로그 툴(5401)의 일부 실시예들에서, 사용자는, 예컨대, 날짜 화살표(5403a)를 선택하거나 이력 탭(5440)을 선택한 다음 캘린더 뷰(도시되지 않음)로부터 특정 캘린더 날짜를 선택함으로써, 이력 데이터에 액세스하기 위한 이전 날짜로 내비게이팅할 수 있다.
이러한 예시적인 호흡기 감염 모니터 앱(5101)의 GUI(5400)에 도시된 바와 같이, 로그 툴(5401)은 5개의 선택 가능한 탭: 증상들(5410), 노트들(5420), 보고들(5430), 이력(5440), 및 치료(5450)를 포함한다. 이러한 탭들은 로그 툴(5401)에 의해 제공되는 부가적인 기능성에 대응할 수 있다. 예컨대, GUI(5400)에 도시된 바와 같이, 증상 추가(5410)를 위한 탭이 선택되고, 그에 따라, 사용자가 자신의 호흡기 병태와 관련될 수 있는 증상들을 자가-보고하기 위한 다양한 UI 구성요소들이 제시된다. 특히, 증상 추가(5410)에 대응하는 기능성은, 증상들의 목록 및 사용자가 각각의 증상을 경험하고 있는 중증도에 관한 사용자 입력을 수신하기 위한 사용자 선택가능 슬라이더들을 포함하는 자가-보고 툴(5415)를 포함한다. 예컨대, GUI(5400)에 도시된 자가-보고 툴(5415)은, 사용자가 중등도 수준들의 숨가쁨 및 코막힘을 그리고 중증의 기침을 경험하고 있다는 것을 도시한다. 일부 실시예들에서, 사용자는, 자가-보고 툴(5415)을 활용하여 매일 또는 하루에 여러 번(예컨대, 매일 아침 및 매일 저녁) 이러한 증상 데이터를 입력할 수 있다. 일부 예시들에서, 증상 데이터는 사용자로부터 음성 관련 데이터를 수집하기 위한 시간 구간 또는 그 근처에 입력될 수 있다.
일부 실시예들에서, 증상 추가(5410)(또는 로그 툴(5401))는 또한, 사용자가 다른 컴퓨팅 디바이스로, 이를테면 웨어러블 스마트 디바이스 또는 유사한 센서로부터 데이터를 입력하기 위한 선택가능한 옵션(5412)을 포함할 수 있다. 예컨대, 사용자는, 로그 툴(5401)에 의해 수신될 수 있도록 피트니스 트래커로부터 데이터를 입력하기로 선택할 수 있다. 일부 실시예들에서, 데이터는, 디바이스와 연관된 데이터베이스(예컨대, 온라인 계정)로부터 또는 스마트 디바이스로부터 직접 그리고/또는 자동으로 수신될 수 있다. 일부 예시들에서, 사용자는, 데이터를 입력하기 위해 디바이스를 자신의 호흡기 감염 모니터 앱(5101)과(또는 호흡기 감염 모니터 앱(5101)과 연관된 사용자 계정과) 링크 또는 연관시킬 필요가 있을 수 있다. 일부 실시예들에서, 사용자는, (예컨대, 도 5a에서 설명된 바와 같은 설정 아이콘(5115)을 선택함으로써) 애플리케이션 설정들에서 다른 디바이스로부터 데이터를 입력하기 위한 다양한 파라미터들을 구성할 수 있다. 예컨대, 사용자는, 어느 데이터가 입력되어야 하는지(예컨대, 스마트워치에 의해 취득된 사용자의 수면 데이터), 데이터가 입력되어야 하는 때를 특정하거나, 허가 설정들, 계정 링크, 또는 다른 설정들을 구성할 수 있다.
예로서 그리고 제한 없이, 선택가능한 옵션(5412)을 활용하기 위해 그러한 데이터를 입력하는 것은 자가-보고 툴(5415)과 함께 또는 자가-보고 툴(5415) 없이 활용될 수 있다. 예컨대, 링크된 스마트 디바이스로부터 가져온 데이터는, 링크된 스마트 디바이스로 사용자가 입력한 정보에 기반하여 증상들에 대한 초기 중증도 등급들을 제공할 수 있지만, 사용자는 자가-보고 툴(5415)을 활용하여 그러한 초기 등급들을 조정할 수 있다. 부가적으로, 증상 추가(5410)는, 사용자가 증상들을 로그처리한 마지막 시간, 이를테면 이전 날 이후로 증상들이 변하지 않았다는 것을 표시하기 위한 다른 선탱가능한 옵션(5418)을 포함할 수 있다. GUI(5400)의 증상 추가(5410)와 연관된 기능성 및 UI 요소들은 도 2와 관련하여 설명된 사용자 상호작용 관리자(280) 또는 하나 이상의 하위 구성요소, 이를테면 자가-보고 툴들(284)의 실시예를 활용하여 생성될 수 있다.
도 5d에 도시된 GUI(5400)에 대해 계속하여, 메모(5420)에 대한 탭은, 사용자 또는 간병인으로부터 그 특정 날짜(여기서는, May 4)에 대한 관찰 데이터를 수신하고 디스플레이하기 위한 호흡기 감염 모니터 앱(5101)에 대한 기능성(또는 더 구체적으로는, 로그 아이콘(5401)과 연관된 로그 기능성)으로 사용자를 내비게이팅할 수 있다. 관찰 데이터의 예들은, 사용자의 호흡기 병태, 이를테면 증상들과 관련되거나 그를 문서화하는 메모(5420)를 포함할 수 있다. 일부 실시예들에서, 메모(5420)는, 사용자로부터 텍스트(또는 오디오 또는 비디오 기록들)를 수신하기 위한 UI를 포함한다. 일부 양상들에서, 메모(5420)에 대한 UI 기능성은, 잠재적인 또는 알려져 있는 호흡기 병태, 증상들, 또는 부작용들에 의해 이환된 사용자의 신체의 영역들을 표시하는 사용자로부터의 입력을 수신하도록 구성되는, 인체를 도시하는 GUI 요소를 포함할 수 있다. 일부 실시예들에서, 사용자는, 예컨대, 사용자의 지리학적 위치, 날씨, 및 사용자가 그 날 동안 참여한 임의의 신체 활동과 같은 컨텍스트 정보를 입력할 수 있다.
보고(5430)에 대한 탭은, 본원에 설명된 실시예들에 의해 검출되는 호흡기 병태 관련 데이터의 다양한 보고들을 보고 생성하기 위해 GUI로 사용자를 내비게이팅할 수 있다. 예컨대, 보고(5430)는, 사용자의 호흡기 병태 또는 사용자의 호흡기 병태의 예측에 관한 이력 또는 트렌드 정보를 포함할 수 있다. 다른 예에서, 보고(5430)는, 더 큰 집단에 대한 호흡기 병태 정보의 보고를 포함할 수 있다. 예를 들면, 보고(5430)는, 동일하거나 유사한 호흡기 병태가 검출된 호흡기 감염 모니터 앱(5101)의 다수의 다른 사용자들을 보여줄 수 있다. 일부 실시예들에서, 보고(5430)에 의해 제공되는 기능성은, 간병인 또는 임상의에게 (예컨대, 도 5a의 공유 아이콘(5104) 또는 청진기 아이콘(5106)을 통해) 통신되거나 공유될 호흡기 병태 관련 데이터를 포맷팅하거나 준비하기 위한 동작들을 포함할 수 있다.
이력(5440)에 대한 탭은, 호흡기 병태 모니터링과 관련된 사용자의 이력 데이터를 보기 위한 GUI로 사용자를 내비게이팅할 수 있다. 예컨대, 이력(5440)을 선택하는 것은 캘린더 뷰가 있는 GUI를 디스플레이할 수 있다. 캘린더 뷰는, 상이한 날짜들에 사용자에 대해 검출되고 해석된 호흡기 병태 관련 데이터에 액세스하거나 그를 디스플레이하는 것을 용이하게 할 수 있다. 예컨대, 디스플레이된 캘린더 내의 특정 이전 날짜를 선택함으로써, 사용자에게 그 날짜에 대한 데이터의 요약이 제시될 수 있다. 이력(5440)에 대한 탭을 선택할 시 디스플레이되는 캘린더 뷰 GUI의 일부 실시예들에서, 그 날짜와 연관된 검출된 또는 예보된 호흡기 병태 정보를 표시하는 표시자들 또는 정보가 캘린더의 날짜들 상에 디스플레이될 수 있다.
GUI(5400) 상의 치료(5450)를 지시하는 탭의 선택은, 사용자가 그 날짜에 임의의 치료를 취했는지 그리고/또는 임의의 부작용들을 가졌는지 여부와 같은 세부사항들을 사용자가 특정하기 위한 기능성을 갖는 호흡기 감염 모니터 앱(5101) 내의 GUI로 사용자를 내비게이팅할 수 있다. 예컨대, 사용자는, 특정 날짜에 사용자가 처방된 항생제를 복용했거나 호흡 치료를 취했다고 특정할 수 있다. 또한, 일부 실시예들에서, 소위 사물 인터넷(IoT) 기능성을 포함할 수 있는 스마트 약상자들 또는 스마트 용기들은, 사용자가 용기 내에 저장된 의약에 액세스했다는 것을 자동으로 검출할 수 있고, 사용자가 그 날짜에 치료를 취했다는 것을 표시하는 표시를 호흡기 감염 모니터 앱(5101)에 통신할 수 있는 것으로 고려된다. 일부 실시예들에서, 치료(5450)에 대한 탭은, 예를 들면, 사용자가 그 날짜에 따른 치료의 종류(예컨대, 처방 의약의 복용, 일반의약품 의약의 복용, 많은 양의 무색 액체류(clear fluids) 음용, 휴식 등)를 표시하는 체크박스들을 선택함으로써, 사용자(또는 사용자에 대한 간병인 또는 임상의)가 사용자의 치료를 특정할 수 있게 하는 UI를 포함할 수 있다.
도 5e를 참조하면, 사용자 개시 증상 보고에 대한 예시적인 프로세스의 양상들을 도시하는 예시적인 GUI들(5510, 5520, 및 5530)의 시퀀스(5500)가 제공된다. GUI들(5510, 5520, 및 5530)은, 도 2와 관련하여 설명된 자가-보고 툴들(284)의 실시예에 따라 생성될 수 있다. 일부 예시들에서, 사용자가 사용자 컴퓨팅 디바이스(5102a) 상에서 호흡기 감염 모니터 앱(5101)을 시작할 때, GUI(5510)는 시작/로그인 스크린으로서 제공될 수 있다. 본원에 설명된 바와 같이, 호흡기 감염 모니터 앱(5101)은 사용자 계정에 의해 표시될 수 있는 특정 사용자와 연관될 수 있다. 도시된 바와 같이, GUI(5510)는, 사용자 특정 정보가 액세스될 수 있도록 사용자를 식별하기 위해 사용자가 사용자 자격증명들(즉, 사용자 식별자, 이를테면 이메일 주소, 및 패스워드)을 입력하기 위한 UI 요소들을 포함하며, 사용자 입력은 사용자와 연관되어 적절히 저장될 수 있다. 사용자가 GUI(5510) 및 GUI(5520)를 통해 로그인하는 것에 후속하여, 증상들을 보고할 것을 사용자에게 프롬프팅하는 초기 명령어가 제공될 수 있다. GUI(5520)는, 사용자 증상 정보의 입력을 용이하게 하기 위한 UI 요소들을 갖는 GUI(5530)의 제시를 야기할 수 있는 선택가능한 "증상 보고" 버튼을 포함할 수 있다. GUI(5530)의 예시적인 실시예에서, 사용자는, GUI(5530) 내에 디스플레이된 각각의 증상에 대해 슬라이더를 적절한 중증도 수준으로 이동시킴으로써 증상들의 중증도의 등급을 매길 수 있다. 증상 정보의 사용자 입력의 추가적인 세부사항들은 도 5d의 GUI(5400)와 관련하여 설명된다.
도 6a 및 6b는 사용자의 호흡기 병태를 모니터링하는 것에서 활용되는 예시적인 방법들의 흐름도들을 도시한다. 예컨대, 도 6a는 본 개시내용의 실시예에 따른, 음소 특징들을 획득하기 위한 예시적인 방법(6100)을 예시하는 흐름도를 도시한다. 도 6b는 본 개시내용의 실시예에 따른, 음소 특징들에 기반하여 사용자의 호흡기 병태를 모니터링하기 위한 예시적인 방법(6200)을 예시하는 흐름도를 도시한다. 방법들(6100 및 6200)의 각각의 블록 또는 단계는, 하드웨어, 펌웨어, 및/또는 소프트웨어의 임의의 조합을 사용하여 수행될 수 있는 컴퓨팅 프로세스를 포함한다. 예를 들면, 메모리에 저장된 명령어들을 실행하는 프로세서에 의해 다양한 기능들이 수행될 수 있다. 방법들은 또한, 컴퓨터 저장 매체 상에 저장된 컴퓨터 사용가능 명령어들로서 구현될 수 있다. 방법들은, 몇몇 예를 들자면, 독립형 애플리케이션, 서비스 또는 호스팅된 서비스(독립형이거나 다른 호스팅된 서비스와 조합됨), 또는 다른 제품에 대한 플러그-인에 의해 제공될 수 있다. 그에 따라서, 방법들(6100 및 6200)은, 하나 이상의 컴퓨팅 디바이스, 이를테면, 스마트폰 또는 다른 사용자 디바이스, 서버, 또는 분산형 컴퓨팅 플랫폼에 의해, 이를테면 클라우드 환경에서 수행될 수 있다. 음소 특징 추출의 구현들을 커버하는 컴퓨터 프로그램 루틴들의 예시적인 양상들은 도 15a 내지 도 15m에서 예시적으로 도시된다.
도 6a의 방법(6100)을 참조하면, 방법(6100)은, 본 개시내용의 일 실시예에 따라 음소 특징들을 검출하기 위한 단계들을 포함하며, 방법(6100)의 실시예들은, 시스템(200)의 하나 이상의 구성요소, 이를테면, 도 2와 관련하여 설명된 사용자 음성 모니터(260)의 실시예들에 의해 수행될 수 있다. 단계(6110)에서, 오디오 데이터가 수신된다. 일부 실시예들에서, 단계(6110)는, 도 2와 관련하여 설명된 음성 샘플 수집기(2604)의 실시예에 의해 수행된다. 단계(6110)의 부가적인 실시예들은, 음성 샘플 수집기(2604) 및 사용자 음성 모니터(260)와 관련하여 설명된다.
단계(6110)에서 수신된 오디오 데이터는, 스크립트된 그리고 스크립트되지 않은 발화와 같은 개별 음소 소리들 또는 음소들의 조합들을 사용자가 발성하는 것의 기록들(예컨대, 오디오 샘플들, 음성 샘플들)을 포함할 수 있다. 이러한 방식으로, 오디오 데이터는 사용자에 관한 음성 정보를 포함한다. 오디오 데이터는, 마이크로폰과 같은 센서(이를테면, 도 1의 센서(들)(103)의 실시예)를 갖는 사용자 디바이스, 이를테면, 도 1의 사용자 디바이스들(102a-n)과의 사용자의 평범한 또는 일상적인 상호작용 동안 수집될 수 있다.
방법(6100)의 일부 실시예들은, 단계(6110)에서 오디오 데이터가 수신되기 전에 수행되는 동작을 포함한다. 예컨대, 사용가능한 오디오 데이터를 획득하기 위한 적절하거나 최적화된 구성을 결정하기 위한 동작들, 이를테면, 센서들(예컨대, 마이크로폰)에 대한 음향 파라미터들을 결정하는 것 및/또는 신호 강도, 지향성, 민감도, 주파수, 및 신호 대 잡음 비(SNR)와 같은 음향 파라미터들을 수정하는 것이 수행될 수 있다. 이러한 동작들은 도 2의 소리 기록 최적화기(2602)와 관련하여 이루어질 수 있다. 유사하게, 이러한 동작들은, 도 2의 배경 잡음 분석기(2603)와 관련하여 설명된 바와 같이, 배경 잡음을 식별하는 것, 및 일부 양상들에서는, 그를 제거하거나 감소시키는 것을 포함할 수 있다. 이러한 단계들은, 잡음 강도 수준들을 최대 임계치와 비교하는 것, 미리 결정된 주파수들 내의 발화를 검사하는 것, 및 간헐적인 스파이크들 또는 유사한 음향 아티팩트들을 검사하는 것을 포함할 수 있다.
일부 실시예들에서, 오디오 데이터를 수신하는 것을 용이하게 하기 위한 사용자 명령어들이 제공될 수 있다. 예컨대, 사용자는, 발화 관련 작업들에 따라 오디오 날짜를 제공하는 것을 통해 안내받을 수 있다. 사용자 명령어들은 또한 최근에 제공된 샘플들에 기반한 피드백, 이를테면, 사용자에게 더 크게 말하거나 더 긴 지속기간 동안 발성한 음소를 유지할 것을 지시하는 것을 포함할 수 있다. 오디오 데이터를 수신하는 것을 용이하게 하기 위한 사용자와의 상호작용들은, 일반적으로는 도 2와 관련하여 설명된 사용자 상호작용 관리자(280)의 실시예들에 의해 또는 그의 하위 구성요소인 사용자 명령어 생성기(282)의 실시예들에 의해 수행될 수 있다.
단계(6120)에서, 시간 구간에 대응하는 날짜-시간 값이 결정된다. 날짜-시간 값은, 오디오 데이터가 사용자의 발성(들)으로부터 수신 또는 기록되는 시간일 수 있다. 일부 실시예들에서, 단계(6120)는, 도 2와 관련하여 설명된 음성 샘플 수집기(2604)의 실시예에 의해 수행된다.
단계(6130)에서, 음소를 결정하기 위해 오디오 데이터의 적어도 일부분이 처리된다. 단계(6130)의 일부 실시예들은, 도 2와 관련하여 설명된 음소 세그먼트화기(2610)의 실시예에 의해 수행될 수 있다. 오디오 데이터의 일부분으로부터 음소를 결정하는 것은, 오디오 데이터의 일부분에 대해 자동 발화 인식(ASR)을 수행하여 음소를 검출하는 것, 및 검출된 음소를 오디오 데이터의 일부분과 연관시키는 것을 포함할 수 있다. ASR은 오디오 데이터의 일부분으로부터 텍스트(예컨대, 단어)를 결정할 수 있고, 음소는 인식된 텍스트에 기반하여 결정될 수 있다. 대안적으로, 음소를 결정하는 것은, 오디오 데이터의 일부분에 대응하는 음소의 표시를 수신하는 것, 및 음소를 오디오 데이터의 일부분과 연관시키는 것을 포함할 수 있다. 이러한 프로세스는, 오디오 데이터가 사용자에게 주어지는 발화 관련 작업들에 기반하여 지속된 음소 발성들을 갖는 경우 특히 유용할 수 있다. 예컨대, 사용자는, 5 초 동안 "aaa"를, 그에 이어서, 5 초 동안 "eee"를, 그에 이어서, 5 초 동안 "nnnn"을, 그에 이어서, 5 초 동안 "mmm"을 말할 것을 지시받을 수 있고, 그러한 명령어들은 오디오 데이터에 대해 예상되는 음소들의 순서(즉, /a/, /e/, /n/, 및 /m/)를 표시할 수 있다.
음소들을 결정하기 위해 오디오 데이터를 처리하는 것은 특정 음소들을 검출하고 분리하는 것을 포함할 수 있다. 일 실시예에서, /a/, /e/, /i/, /u/, /ae/, /n/, /m/, 및 /ng/에 대응하는 음소들이 검출된다. 다른 실시예에서, /a/, /e/, /m/, 및 /n/만이 검출된다. 대안적으로, 오디오 데이터를 처리하는 것은, 어떤 음소들이 존재하는지를 검출하는 것, 및 모든 검출된 음소들을 분리하는 것을 포함할 수 있다. 음소들은, 도 2의 음소 세그먼트화기(2610)와 관련하여 추가로 설명되는 바와 같이, 강도 임계치들을 적용하여 사용자의 음성으로부터 배경 잡음을 분리함으로써 검출될 수 있다.
단계(6130)에서 오디오 데이터를 처리하는 것의 일부 양상들은, 도 2의 신호 준비 프로세서(2606)의 실시예에 의해 수행될 수 있는 부가적인 처리 단계들을 포함할 수 있다. 예컨대, 배경 잡음을 표현하는 오디오 데이터의 주파수들을 제거하거나 감쇠시키기 위해 주파수 필터링, 이를테면, 고역 통과 또는 대역 통과 필터링이 적용될 수 있다. 일 실시예에서, 예컨대, 1.5 내지 6.4 킬로헤르츠(kHz)의 대역 통과 필터가 적용된다. 단계들(6130)는 또한, 표적 신호 진폭 수준(들), 대역 필터들 및/또는 증폭기들의 적용을 통한 SNR 개선, 또는 다른 신호 컨디셔닝 또는 전처리를 달성하기 위해 오디오 정규화를 수행하는 것을 포함할 수 있다.
단계(6140)에서, 결정된 음소에 기반하여, 음소 특징 세트가 결정된다. 단계(6140)의 일부 실시예들은, 도 2와 관련하여 설명된 음향 특징 추출기(2614)의 실시예들에 의해 수행된다. 음소 특징 세트는, 오디오 데이터의 처리된 부분을 특성화하는 적어도 하나의 음향 특징을 포함한다. 특징 세트는, 파워 및 파워 변동성, 피치 및 피치 변동성, 스펙트럼 구조, 및/또는 형성음들의 척도들을 포함할 수 있으며, 이들은 음향 특징 추출기(2614)와 관련하여 추가로 설명된다. 일부 실시예들에서, 오디오 데이터에서 검출된 상이한 음소들에 대해 상이한 특징 세트들(즉, 음향 특징들의 상이한 조합들)이 결정된다. 예컨대, 예시적인 실시예에서, /n/ 음소에 대해 12개의 특징이 결정되고, /m/ 음소에 대해 12개의 특징이 결정되며, /a/ 음소에 대해 8개의 특징이 결정된다. 검출된 /a/ 음소에 대한 특징 세트는, 형성음 1(F1) 대역폭의 표준 편차; 피치 사분위수 범위; 1.6 내지 3.2 킬로헤르츠(kHz) 주파수들에 대해 결정된 스펙트럼 엔트로피; 지터; 멜-주파수 켑스트럼 계수들 MFCC9 및 MFCC12의 표준 편차; 멜-주파수 켑스트럼 계수 MFCC6의 평균; 및 3.2 내지 6.4 kHz 주파수들에 대해 결정된 스펙트럼 대비를 포함할 수 있다. 검출된 /n/ 음소에 대한 특징 세트는, 조화성; F1 대역폭의 표준 편차; 피치 사분위수 범위; 1.5 내지 2.5 kHz 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 엔트로피; 1.5 내지 2.5 kHz 주파수들에 대해 결정된 스펙트럼 평탄도; 멜-주파수 켑스트럼 계수들 MFCC1, MFCC2, MFCC3, 및 MFCC11의 표준 편차; 멜-주파수 켑스트럼 계수 MFCC8의 평균; 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 대비를 포함할 수 있다. 검출된 /m/ 음소에 대한 특징 세트는, 조화성; F1 대역폭의 표준 편차; 피치 사분위수 범위; 1.5 내지 2.5 kHz 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 엔트로피; 1.5 내지 2.5 kHz 주파수들에 대해 결정된 스펙트럼 평탄도; 멜-주파수 켑스트럼 계수들 MFCC2 및 MFCC10의 표준 편차; 멜-주파수 켑스트럼 계수들 MFCC8의 평균; 쉬머; 3.2 내지 6.4 kHz 주파수들에 대해 결정된 스펙트럼 대비; 및 200 헤르츠(Hz) 1/3 옥타브 대역의 표준 편차를 포함할 수 있다. 부가적으로, 일부 실시예들에서, 특징 세트 내의 하나 이상의 특징의 값들이 변환될 수 있다. 예시적인 실시예에서, 피치 사분위수 범위, MFCC의 표준 편차, 스펙트럼 대비, 지터, 및 200 Hz 1/3 옥타브 대역 내에서의 표준 편차에 로그 변환이 적용된다.
단계(6155)에서, 처리할 부가적인 오디오 데이터가 존재하는지 여부가 결정된다. 일부 실시예들에서, 단계(6155)는 사용자 음성 모니터(260)의 실시예에 의해 수행된다. 설명된 바와 같이, 수신된 오디오 데이터는 다수의 지속된 음소들 또는 발화(스크립트되거나 스크립트되지 않음)의 기록일 수 있고, 그러므로, 다수의 음소들을 가질 수 있다. 이러한 방식으로, 상이한 음소들을 검출하기 위해 오디오 데이터의 상이한 부분들이 처리될 수 있다. 예컨대, 제1 부분은 제1 음소를 결정하도록 처리될 수 있고, 제2 부분은 제2 음소를 결정하도록 처리될 수 있고, 제3 부분은 제3 음소를 검출하도록 처리될 수 있으며, 여기서, 제1, 제2, 및 제3 음소들은 /a/, /n/, 및 /m/에 각각 대응할 수 있다. 일부 양상들에서, 제4 부분은 제4 음소를 검출하도록 처리되며, 여기서, 제4 음소는 /e/일 수 있다. 이러한 음소들은, 사용자가 하나의 기록에서 이러한 3개의 음소를 발성하는 것에 의해 기록될 수 있다. 그러므로, 단계(6155)에서의 부가적인 오디오 데이터는, 이미 부분적으로 처리된 동일한 음성 샘플의 부가적인 부분들을 포함할 수 있다. 그에 부가하여 또는 대안적으로, 단계(6155)는, 동일한 세션에서 기록된(즉, 동일한 시간 프레임에서 취득된) 부가적인 음성 샘플들로부터 처리할 부가적인 오디오 데이터가 존재하는지 여부를 결정하는 것을 포함할 수 있다. 예컨대, 3개의 음소는 동일한 세션으로부터의 별개의 기록들에 기록될 수 있다.
단계(6155)에서 처리할 부가적인 오디오 데이터가 남아 있는 경우, 부가적인 오디오 데이터 부분들에 대해 단계들(6130 및 6140)이 수행될 수 있다. 도 6a는, 단계(6155)가, 오디오 데이터의 초기 부분이 처리되고, 검출된 음소에 대해 특징 세트가 결정된 후에 발생하는 것을 도시하지만; 방법(6100)의 실시예들은, 임의의 특징 세트들이 추출되기 전에, 단계(6155)에서, 부가적인 음소들의 검출을 위해 처리할 부가적인 오디오 데이터가 존재하는지 여부를 결정하는 것을 포함할 수 있는 것으로 고려된다.
처리할 부가적인 오디오 데이터가 남아 있지 않고 결정할 특징 세트들이 남아 있지 않을 때, 방법(6100)은, 오디오 데이터로부터 추출된 음소 특징 세트가 사용자와 연관된 기록에 저장되는 단계(6160)로 진행한다. 저장된 음소 특징 세트는 날짜-시간 값의 표시를 포함한다. 일부 실시예들에서, 단계(6160)는, 사용자 음성 모니터(260), 또는 더 상세하게는, 음향 특징 추출기(2614)의 실시예에 의해 수행된다. 음소 특징 세트는 사용자의 개인 기록, 이를테면 개인 기록(240)에 저장될 수 있다. 더 상세하게는, 음소 특징 세트는 벡터로서 저장될 수 있고 도 2의 음소 특징 벡터들(244)로서 저장될 수 있다.
방법(6100)의 일부 실시예들은, 시간 경과에 따라 사용자의 호흡기 병태를 모니터링하고, 일부 양상들에서는, 사용자의 호흡기 병태의 변화를 검출하기 위한 부가적인 동작들을 포함한다. 예컨대, 제1 시간 구간 동안 기록된 제1 오디오 데이터 샘플에 대해 단계들(6110 내지 6160)이 수행될 수 있고, 후속하는 제2 시간 구간 동안 기록된 제2 오디오 데이터 샘플에 대해 단계들(6110 내지 6160)이 반복될 수 있다. 그러므로, 제1 음소 특징 세트는 제1 시간 구간 동안 결정 및 저장될 수 있고, 제2 음소 특징 세트는 제2 시간 구간 동안 결정 및 저장될 수 있다. 이어서, 방법(6100)은, 시간 경과에 따라 사용자의 호흡기 병태를 모니터링하기 위해 제1 및 제2 음소 특징 세트들을 활용하는 동작들을 포함할 수 있다. 예컨대, 변화를 검출하기 위해 제1 및 제2 음소 특징 세트들이 비교될 수 있다. 이러한 비교 동작은 음소 특징 비교기(274)의 실시예에 의해 수행될 수 있고, 제1 및 제2 시간 구간들에 대한 특징 세트 벡터들 사이의 특징 거리 측정치(예컨대, 유클리드 거리)를 결정하는 것을 포함할 수 있다. 특징 거리 측정치(예컨대, 측정치의 크기 및/또는 그것이 양인지 또는 음인지)에 기반하여, 사용자의 호흡기 병태가 제2 및 제1 시간 구간들 사이에서 변화했는지의 여부가 결정될 수 있다.
일부 실시예들에서, 방법(6100)은, 시간 구간(예컨대, 제1 시간 구간 및/또는 제2 시간 구간)과 연관된 컨텍스트 정보를 수신하는 단계, 및 관련 시간 구간 동안 결정된 특징 세트와 연관시켜 컨텍스트 정보를 기록에 저장하는 단계를 더 포함한다. 이러한 동작들은, 도 2의 컨텍스트 정보 결정기(2616)의 일 실시예에 의해 수행될 수 있다. 컨텍스트 정보는 사용자에 대한 생리학적 데이터를 포함할 수 있으며, 이는, 자가-보고되고, 하나 이상의 생리학적 센서로부터 수신되고/거나, 사용자의 전자 건강 기록(예컨대, 도 2의 프로파일/건강 데이터(EHR)(241))으로부터 결정될 수 있다. 부가적으로 또는 대안적으로, 컨텍스트 정보는, 관련 시간 구간 동안의 사용자의 위치 정보 또는 제1 시간 구간과 연관된 다른 컨텍스트 정보를 포함할 수 있다. 단계(6140)의 실시예들은, 관련 시간 구간에 대한 컨텍스트 데이터에 기반하여 추가로 결정되는 음소 특징 세트를 결정하는 것을 포함할 수 있다.
도 6b를 참조하면, 방법(6200)은 본 개시내용의 실시예들에 따른, 음소 특징들에 기반하여 사용자의 호흡기 병태를 모니터링하기 위한 예시적인 단계들을 포함한다. 방법(6200)은, 도 2와 관련하여 설명된 시스템(200)의 하나 이상의 구성요소, 이를테면 호흡기 병태 추적기(270)의 실시예들에 의해 수행될 수 있다. 단계(6210)는, 상이한 시간들에서 사용자의 음성 정보를 표현하는 음소 특징 벡터들(음소 특징 세트들로 또한 지칭될 수 있음)을 수신하는 것을 포함한다. 그러므로, 제1 음소 특징 벡터(즉, 제1 음소 특징 세트)는 제1 날짜-시간 값과 연관되고, 제2 음소 특징 벡터(즉, 제2 음소 특징 세트)는 제1 날짜-시간 값 이후에 발생하는 제2 날짜-시간 값과 연관된다. 예컨대, 제1 음소 특징 벡터는, 제2 구간(제2 시간-날짜 값에 대응함) 동안 제2 음소 특징 벡터를 결정하는 데 활용되는 오디오 데이터를 포착하는 것에서 대략적으로 24 시간(예컨대, 18 내지 36 시간) 내에 있는 제1 구간(제1 시간-날짜 값에 대응함) 동안 포착된 오디오 데이터에 기반할 수 있다. 제1 및 제2 시간-날짜 값들 사이의 시간은 더 적거나(예컨대, 8 내지 12 시간) 더 클 수(예컨대, 3 일, 5 일, 1 주, 2 주) 있는 것으로 고려된다. 단계(6210)는 일반적으로 호흡기 병태 추적기(270)에 의해 또는 더 구체적으로는 특징 벡터 시계열 어셈블러(272) 또는 음소 특징 비교기(274)에 의해 수행될 수 있다.
제1 및 제2 음소 특징 벡터들의 결정은 도 6a의 방법(6100)의 실시예에 따라 수행될 수 있다. 일부 실시예들에서, 제1 및/또는 제2 음소 특징 세트들을 결정하는 것은, 제1 및/또는 제2 세트의 음소들을 결정하기 위해 음성 정보를 포함하는 오디오 정보를 처리하고, 세트(들) 내의 각각의 음소에 대해, 음소를 특성화는 특징들의 세트를 추출함으로써 행해질 수 있다. 일부 실시예들에서, 제1 및 제2 특징 벡터들은 음소들 /a/, /m/, 및 /n/을 특성화하는 음향 특징 값들을 포함한다. 예시적인 실시예에서, 제1 및 제2 특징 벡터들은 각각 음소 /a/에 대한 8개의 특징, 음소 /n/에 대한 12개의 특징, 및 음소 /m/에 대한 12개의 특징을 포함한다. 음소 /a/에 대한 특징들은, 형성음 1(F1) 대역폭의 표준 편차; 피치 사분위수 범위; 1.6 내지 3.2 킬로헤르츠(kHz) 주파수들에 대해 결정된 스펙트럼 엔트로피; 지터; 멜-주파수 켑스트럼 계수들 MFCC9 및 MFCC12의 표준 편차; 멜-주파수 켑스트럼 계수 MFCC6의 평균; 및 3.2 내지 6.4 kHz 주파수들에 대해 결정된 스펙트럼 대비를 포함할 수 있다. 음소 /n/에 대한 특징들은, 조화성; F1 대역폭의 표준 편차; 피치 사분위수 범위; 1.5 내지 2.5 kHz 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 엔트로피; 1.5 내지 2.5 kHz 주파수들에 대해 결정된 스펙트럼 평탄도; 멜-주파수 켑스트럼 계수들 MFCC1, MFCC2, MFCC3, 및 MFCC11의 표준 편차; 멜-주파수 켑스트럼 계수 MFCC8의 평균; 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 대비를 포함할 수 있다. 음소 /m/에 대한 특징들은, 조화성; F1 대역폭의 표준 편차; 피치 사분위수 범위; 1.5 내지 2.5 kHz 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 엔트로피; 1.5 내지 2.5 kHz 주파수들에 대해 결정된 스펙트럼 평탄도; 멜-주파수 켑스트럼 계수들 MFCC2 및 MFCC10의 표준 편차; 멜-주파수 켑스트럼 계수들 MFCC8의 평균; 쉬머; 3.2 내지 6.4 kHz 주파수들에 대해 결정된 스펙트럼 대비; 및 200 헤르츠(Hz) 1/3 옥타브 대역의 표준 편차를 포함할 수 있다. 일부 실시예들에서, 이러한 특징들 중 하나 이상이 추출되어 /e/ 음소가 특성화된다.
일부 실시예들에서, 제1 시간 구간 동안 결정된 제1 음소 특징 벡터는 제2 날짜-시간 값 이전에 포착된 다수의 오디오 샘플로부터의 다수의 음소 특징 세트들에 기반한다. 제1 특징 벡터는 다수의 음소 특징 벡터들의 조합, 이를테면 평균을 표현할 수 있다. 이러한 다수의 오디오 샘플들은 개인이 건강한 상태인 것으로 알려져 있거나 추정되는(즉, 호흡기 감염이 없음) 시간들로부터 취해질 수 있으며, 이에 따라, 제1 특징 벡터는 건강한 상태 기준선을 표현할 수 있다. 대안적으로, 제1 음소 특징 벡터를 결정하기 위해 활용되는 오디오 샘플들은, 개인이 아픈 상태인 것으로 알려져 있거나 추정되는(즉, 호흡기 감염을 가짐) 시간들로부터 취해질 수 있고, 제1 음소 특징 벡터는 아픈 상태 기준선을 표현할 수 있다.
단계(6220)는, 음소 특징 세트 거리를 결정하기 위해 제1 및 제2 음소 특징 벡터들의 비교를 수행하는 것을 포함한다. 일부 실시예들에서, 단계(6220)는 도 2의 음소 특징 비교기(274)의 실시예에 의해 수행될 수 있다. 일부 실시예들에서, 이러한 비교는, 제1 및 제2 음소 특징 세트들 사이의 유클리드 거리를 결정하는 것을 포함한다. 특징 벡터에 의해 표현되는 각각의 특징은 다른 특징 벡터 내의 대응하는 특징과 비교될 수 있다. 예컨대, 제1 음소 특징 벡터의 제1 특징(예컨대, 음소 /a/에 대한 지터)은 제2 음소 특징 벡터의 대응하는 특징(예컨대, 음소 /a/에 대한 지터)과 비교될 수 있다.
단계(6230)에서, 제1 및 제2 음소 특징 벡터들 사이의 음소 특징 세트 거리에 기반하여, 사용자의 호흡기 병태가 변했다고 결정된다. 일부 실시예들에서, 단계(6230)는, 도 2와 관련하여 설명된 호흡기 병태 추론 엔진(278)의 실시예에 의해 수행된다. 사용자의 호흡기 병태가 변했다고 결정하는 것은, 음소 특징 세트 거리가 임계 거리(예컨대, 병태 변화 임계치)를 충족시킨다고 결정하는 것일 수 있으며, 이는, 간병인 또는 임상의에 의해 미리 결정되거나 또는 사용자의 생리학적 데이터(예컨대, 자가-보고됨), 사용자 설정, 또는 사용자에 대한 이력 호흡기 병태 정보에 기반하여 결정될 수 있다. 대안적으로, 병태 변화 임계치는 모니터링되는 개인들의 기준 집단에 기반하여 미리 설정될 수 있다.
일부 실시예들에서, 사용자의 호흡기 병태가 변했다고 결정하는 것은, 사용자의 호흡기 병태가 나아지고 있는지, 악화되고 있는지, 또는 전혀 변하지 않고 있는지(예컨대, 더 나아지거나 악화되지 않음)를 결정하는 것을 포함할 수 있다. 이는, 결정된 음소 특징 세트 거리를 병태 변화 기준선과 비교하는 것을 포함할 수 있으며, 병태 변화 기준선은, 기준 집단에 대한 정보로부터 결정된 일반 기준선일 수 있거나 또는 이전 사용자 데이터에 기반하여 사용자에 대해 결정될 수 있다. 예컨대, 건강한 상태 기준선을 표현하는 제3 음소 특징 벡터가, 사용자가 호흡기 감염을 갖지 않는 것으로 결정된 시간에 포착된 오디오 데이터로부터 결정될 수 있고, 제2(즉, 가장 최근) 및 제3(즉, 기준선) 음소 특징 벡터들 사이에서 제2 비교를 수행함으로써 제2 음소 특징 세트 거리가 결정된다. 제1(즉, 이전) 및 제3(즉, 기준선) 음소 특징 벡터들 사이에서 제3 비교를 수행함으로써 제3 음소 특징 세트 거리가 또한 결정될 수 있다. 제3 음소 특징 세트 거리(건강한 상태 기준선과 제1 음소 특징 벡터 사이에서의 변화를 표현함)는 제2 음소 특징 세트 거리(건강한 상태 기준선과 제1 음소 특징 벡터에 후속하여 포착된 데이터로부터의 제2 음소 특징 벡터 사이에서의 변화를 표현함)와 비교된다. 제2 음소 특징 세트 거리가 제3 특징 세트 거리 미만인 경우(이에 따라, 가장 최근에 획득된 데이터로부터의 벡터가 건강한 기준선에 더 가까움), 사용자의 호흡기 병태는 개선되고 있는 것으로 결정될 수 있다. 제2 음소 특징 세트 거리가 제3 특징 세트 거리보다 큰 경우(이에 따라, 가장 최근에 획득된 데이터로부터의 벡터가 건강한 기준선으로부터 더 멈), 사용자의 호흡기 병태는 악화되고 있는 것으로 결정될 수 있다. 제2 음소 특징 세트 거리가 제3 특징 세트 거리와 동일한 경우, 사용자의 호흡기 병태는 변하지 않고 있다고(또는 적어도 일반적으로 개선되고 있거나 악화되고 있지 않다고) 결정될 수 있다.
단계(6240)에서, 사용자의 호흡기 병태의 결정된 변화에 기반하여 조치가 개시된다. 예시적인 조치들은, 호흡기 병태 및/또는 병태의 증상들을 치료하기 위한 조치들 및 권고들을 포함할 수 있다. 단계(6240)는, 도 2의 (아픈 상태 모니터(292), 처방 모니터(294), 및/또는 약물 효능 추적기(296)를 포함하는) 의사결정 지원 툴(들)(290) 및/또는 제시 구성요소(220)의 실시예들에 의해 수행될 수 있다.
조치는, 사용자 디바이스, 이를테면 도 1의 사용자 디바이스들(102a-n)을 통해 사용자에게, 또는 임상의 사용자 디바이스, 이를테면 도 1의 임상의 사용자 디바이스(108)를 통해 임상의에게 경고 또는 통지를 전송하거나 다른 방식으로 전자적으로 통신하는 것을 포함할 수 있다. 통지는, 사용자의 호흡기 병태의 변화가 존재하는지 여부, 및 일부 실시예들에서는, 변화가 개선인지 여부를 표시할 수 있다. 통지 또는 경고는, 사용자의 호흡기 병태의 변화 및/또는 호흡기 병태의 현재 상태를 정량화 또는 특성화하는 호흡기 병태 점수를 포함할 수 있다.
일부 실시예들에, 조치는, 사용자의 호흡기 병태에 기반하여 치료에 대한 권고 및 지원을 제공하는 것을 포함할 수 있는, 의사결정을 행하기 위해 호흡기 병태 정보를 처리하는 것을 더 포함할 수 있다. 그러한 권고는, 의료 제공자와 상담하고, 기존 처방 또는 일반의약품 의약을 계속하고(이를테면, 처방을 리필함), 현재 치료의 투여량 및/또는 약물을 수정하고/거나, 호흡기 병태의 모니터링을 계속하라는 권고를 포함할 수 있다. 권고들 내의 이러한 조치들 중 하나 이상은 호흡기 병태의 검출된 변화(또는 변화 없음)에 대한 응답으로 수행될 수 있다. 예컨대, 결정된 변화(또는 변화 없음)에 기반하여, 본 개시내용의 실시예들에 의해, 사용자의 의료 제공자와의 예약이 스케줄링될 수 있고/거나 처방이 리필될 수 있다.
도 7 내지 도 14는 실제로 실시가 이루어진 본 개시내용의 예시적인 실시예들의 다양한 양상들을 도시한다. 예를 들면, 도 7 내지 도 14는, 분석된 음향 특징들, 음향 특징들과 사용자의 호흡기 병태(증상들을 포함함) 사이의 상관관계들, 및 자가-보고 정보의 양상들을 예시한다. 도면들에 반영된 정보는 다수의 사용자들에 대해 다수의 수집 체크포인트들에 걸쳐 (예컨대, 클리닉/실험실 내에서 그리고/또는 가정에서) 수집되었을 수 있다. 정보를 수집하는 예시적인 프로세스는 도 3b와 관련하여 설명된다.
도 7은, 일 실시예에서, 시간 경과에 따른 예시적인 음향 특징들의 대표적인 변화들을 도시한다. 이러한 실시예에서, 음향 특징들은 2개의 수집 체크포인트(방문 1 및 방문 2)에서 획득된 음성 샘플들로부터 추출된다. 방문 1은 그 동안에 사용자가 아픈 상태인 수집 체크포인트를 표현할 수 있는 반면, 방문 2는 그 동안 사용자가 건강한 상태(즉, 아픈 상태로부터 회복됨)인 수집 체크포인트를 표현할 수 있다. 도 7에 도시된 바와 같이, 7개의 음소에 대해 특징들이 측정되며, 그래프들(710, 720, 및 730)은 2개의 방문 사이의 각각의 음소에 대한 음향 특징들의 변화들을 도시한다. 그래프(710)는 지터(피치 불안정성의 척도)의 변화들을 도시하고; 그래프(720)는 쉬머(진폭의 척도)의 변화들을 도시하고; 그래프(730)는 스펙트럼 대비의 변화들을 도시한다. 그래프들(710 및 720)은, 모든 음소들에 대해 회복 동안에(즉, 방문 1과 방문 2 사이에서) 지터 및 쉬머가 감소하는 것을 도시하며, 이는, 개인들이 호흡기 감염으로부터의 회복 이후에 더 나은 음성 안정성을 가질 수 있다는 것을 표시한다. 그래프(730)는, 더 높은 주파수들에서의 스펙트럼 대비가 비음들(/n/, /m/, 및 /ng/)에 대해 증가하는 것을 도시하며, 이는, 회복 동안 코막힘이 감소함에 따라 비강 공명(nasal resonance)들이 더 확연해지는 것과 일치한다.
도 8은 호흡기 감염 증상들에 대한 붕괴 상수들의 그래픽 표현들을 도시한다. 히스토그램(810)은 모든 증상들에 대한 붕괴 상수들을 도시하고, 히스토그램(820)은 코막힘 증상들에 대한 붕괴 상수들을 도시하고, 히스토그램(830)은 비-코막힘 증상들에 대한 붕괴 상수들을 도시한다. 코막힘 증상들의 예들은, 코를 풀 필요성, 코 이물감, 및 콧물이 목에 쌓이는 것을 포함할 수 있는 한편, 비-코막힘 증상들의 예들은, 콧물 흐름, 기침, 인후통, 및 두꺼운 콧물을 포함할 수 있다. 히스토그램들(810, 820, 및 830)에 대해 활용되는 지수 붕괴 모델은
Figure pct00005
이고, 이는 이어서, 모니터링되는 사용자들의 그룹에 대한 일일 증상 표현형(즉, 코막힘, 비-코막힘, 또는 전부)에 피팅된다. 히스토그램들(810, 820, 및 830)의 양의 값들은 증상들의 감소에 대응하고; 영 값은 변화 없음에 대응하고; 음의 값은 증상들의 악화에 대응한다. 히스토그램들(810, 820, 및 830)은 자가-보고 증상들의 회복 프로파일들이 가변적이라는 것을 나타낸다. 회복 프로파일들의 2개의 예가 도 10과 관련하여 설명된다.
도 9는 음향 특징들과 자가-보고 호흡기 감염 증상들 사이의 상관관계들을 도시한다. 그래프(900)는, 모든 증상들에 대한 등급들의 합(예컨대, 복합 증상 점수), 모든 코막힘 관련 증상들의 등급들의 합, 및 모든 비-코막힘 관련 증상들의 등급들의 합에 대해 컴퓨팅되는 별개의 붕괴 상수들에 기반한다. 스피어먼 상관 계수들이 컴퓨팅되고, 유의성(p < 0.1)을 향한 트렌드를 갖는 모든 상관 값들이 증상 그룹의 함수로서 그래프(900)에 도시된다. 상관관계의 절대 값들이 그래프(900)에 도시된다.
대부분의 음향 특징들에 대해, 상관관계의 방향은 증상 그룹들 사이에서 동일하다. 그러나, 형성음 1 대역폭 변동성(bw1sdF)은 비-코막힘 증상들과 양의 상관관계가 있지만, 정체 증상과 음의 상관관계가 있다(그에 따라, 모든 합산된 증상들과는 비-상관됨). 그래프(900)는, 비-코막힘 표현형과 비교하여 코막힘 표현형과 연관된 자가-보고 증상들의 변화들과 더 높은 주파수 스펙트럼 구조의 변화들 사이의 더 강한 상관관계를 도시한다.
도 10은 두 명의 개인에 대한 시간 경과에 따른 자가-보고 증상 점수들의 변화들을 도시한다. 그래프(1010)는, 회복 동안에 복합 증상 점수(CSS)들에서 느린 붕괴를 갖는 한 명의 개인(피검자 26)에 대한 변화를 도시한다. 대조적으로, 그래프(1020)는, 다른 개인(피검자 14)이 회복 동안 CSS에서 상대적으로 빠른 붕괴를 갖는 것을 예시한다.
도 11a 내지 도 11b는 상이한 음향 특징들에 대해 컴퓨팅된 거리 메트릭과 자가-보고 증상 점수들 사이의 순위 상관관계의 그래픽 표현들을 도시한다. 도 11a의 그래프(1100)는 제1 세트의 음향 특징들에 대한 순위 상관관계들을 표현하는 한편, 도 11b의 그래프(1150)는 제2 세트의 음향 특징들에 대한 순위 상관관계들을 표현한다. 그래프들(1100 및 1150)은, 7개의 음소(/a/, /e/, /i/, /u/, /ae/, /n/, /m/, 및/또는 /ng/)의 모든 각각의 가능한 조합에 대한 모니터링되는 개인들의 그룹에 걸친 특징 벡터들에 대한 거리 메트릭과 자가-보고 증상 점수들(예컨대, CSS) 사이의 스피어먼 순위 상관관계의 분포를 도시한다. 음소 조합들은 사분위수 변동 계수(IQR/중간값)에 기반하여 오름차순으로 정렬된다.
그래프들(1100 및 1150)에서의 이러한 음향 특징들은, 본 개시내용의 실시예들에 따르면, 상이한 날들에 수집된 음성 샘플들로부터 추출될 수 있다. 하나의 음성 샘플은 개인이 아픈 상태인 날에 각각의 개인으로부터 수집될 수 있고, 다른 음성 샘플은 개인이 건강한 상태(즉, 아프지 않은 상태)인 나중의 날에 각각의 개인으로부터 수집될 수 있다. 거리 방법의 계산은 음소 특징 비교기(274)와 관련하여 설명된 바와 같이 행해질 수 있다. 거리 메트릭들은, 자가-보고 데이터 평가기(2746)와 관련하여 설명된 바와 같이 결정될 수 있는 개인의 자가-보고 증상들에 대한 점수에 대해 상관된다(예컨대, 스피어먼의 r). 그래프들(1100 및 1150)은, 음소들 /n/, /m/, 및 /a/를 포함하는 서브세트들이 사분위수 변동 계수의 가장 낮은 값을 초래했다는 것을 도시하며, 이는, 호흡기 병태들을 검출하는 관련성을 표시한다. 본 개시내용의 일 실시예에서, 그래프들(1100 및 1150)에 도시된 결과들에 기반하여, 3개의 음소 각각에 대한 음향 특징들의 서브세트를 식별하기 위해 희소 PCA를 이용하여 추가적인 하향-선택이 수행될 수 있고, 개인의 호흡기 병태에 관한 추론들 및/또는 예측들을 행하기 위해 32개의 총 특징(/n/으로부터의 12개의 특징, /m/로부터의 12개의 특징, 및 /a/로부터의 8개의 특징)의 서브세트가 선택될 수 있다.
도 12a는 상이한 개인들에 걸친 거리 메트릭들과 자가-보고 증상 점수들 사이의 순위 상관 값들을 도시하는 그래프(1200)를 도시한다. 순위 상관 값들을 컴퓨팅하는 데 활용되는 거리 메트릭들은 3개의 음소(예컨대, /n/, /m/, 및 /a/)로부터 도출된 32개의 음소 특징에 기반할 수 있다. 개인들은 증상들의 가장 큰 변화의 순서로 그래프(12200)에서 좌측에서 우측으로 정렬되고, (그래프(1200)에서 바들에 의해 보여지는 순위 상관관계의 정도에 반드시 대응하는 것은 아닐 수 있음), (*)는 도시된 순위 상관관계가 통계적으로 유의(예컨대, p < 0.05)한 것으로 결정된다는 것을 표시한다. 그래프(1200)는 더 빠른 회복(즉, 더 높은 값들의 b)을 나타낸 개인들에 대해 상관관계들이 일반적으로 더 높다는 것을 예시한다. 중간값보다 높은 b 값을 갖는 개인들에 대한 평균 순위 상관관계는 0.7(±0.13)인데 비해, 중간값보다 낮은 b 값을 갖는 개인들에 대해 0.46(±0.33)이다. 컴퓨팅된 거리 메트릭과 자가-보고 복합 증상 점수(CSS) 사이의 중간값 상관관계는 0.63이다.
도 12b는 본 개시내용의 일 실시예에 따른, 통계적으로 유의한 상관관계들을 나타내기 위해 아픈 상태 방문과 건강한 상태 방문 사이의 변화들에 대한 쌍을 이룬 T-테스트들(p-값들)의 결과들을 도시한다. p < 0.05인 값들만이 표(1210)에 포함된다. 표(1210)는, (붕괴 상수 b에 의해 측정되는 바와 같은) 모든 개인들에 대한 그리고 고회복 그룹 내의 개인들만에 대한 결과들을 도시한다. 표(910)에서, 표준 편차는 "sd"로 표기되고, 로그 변환은 "LG"로 표기된다.
도 13은 일부 실시예들에 따른, 피검자들(17, 20, 및 28)로서 식별된 세 명의 예시적인 개인들에 대한 시간 경과에 따른 음향 특징들 및 자가-보고 증상들의 상대적 변화들의 그래픽 표현들을 도시한다. 그래프들(1310, 1320, 및 1330)은 각각, 각각의 개인에 대한 시간 경과에 따른 음소 특징 벡터들(파선으로 표시됨)로부터 컴퓨팅된 거리 메트릭들 및 자가-보고 복합 증상 점수(CSS)들(수직 바들로 표시됨)의 변화들을 도시한다. 그래프(1310)는, 피검자 17이 시간 경과에 따라 증상들의 유의한 그리고 비교적 단조로운 감소를 나타냈다는 것을 예시하며, 이는, 거리 메트릭에서 또한 반영되어 있다. 그래프(1320)는, 피검자 28의 증상들의 감소가 피검자 17과 비교하여 더 점진적이고 덜 단조롭고, 피검자 28의 회복이 13일에 증상이 약간 떨어지기 전에 7일 내지 12일 쯤에 안정화되었다는 것을 예시한다. 그래프(1320)는 또한, 중등도의 거리 메트릭과의 일치 및 질병으로부터 회복으로의 관찰가능한 전이를 도시한다. 그래프들(1310 및 1320)과 대조적으로, 그래프(1330)는 피검자 20에 대한 자가-보고 증상들이 시작할 경도(1일에 CSS = 5)로 시작하여 시간 경과에 따라 비-코막힘 증상들(기침 및 인후통)이 악화되었다는 것을 예시한다. 결과적으로, 그래프들(1310 및 1320)에 비해 그래프(1330)에서 거리 메트릭과 덜 일치한다.
도 13의 그래프(1340)는 피검자들(17, 20, 및 28)을 포함하는 모니터링되는 개인들의 그룹에 걸친 시간 경과에 따른 컴퓨팅된 거리 메트릭들의 박스 플롯을 포함한다. 그래프(1340)는, 개인들이, 약 14일일 수 있는 회복된(또는 "건강한") 상태에 가까워짐에 따라 거리가 감소하는 트렌드가 있다는 것을 도시한다.
도 14는 호흡기 감염 검출기의 성능의 예시적인 표현들을 도시한다. 구체적으로, 도 14는, 자가-보고 증상 점수들(예컨대, CSS)에 의해 측정되는 바와 같은, 호흡기 병태의 변화들을 검출하는 본 개시내용의 실시예의 능력의 정량화를 예시한다. 그래프(1410)는, 자가-보고 증상 점수들의 변화들에 대한 거리 메트릭 변화들을 플롯팅하며, 이는, 주어진 날의 자가-보고 증상들의 차이가 증가함에 따라 음소 특징 벡터들 사이의 거리가 또한 증가한다는 것을 나타낸다. 그래프(1420)는 본 개시내용의 실시예들에 따른, 음소 특징들(및 음소 특징 벡터들 사이에서 컴퓨팅된 거리)을 활용하여 자가-보고 증상 점수들에서 상이한 크기의 변화들을 검출하기 위한 수신기 동작 특성(ROC) 곡선들 및 연관된 곡선 아래 면적(area under the curve)(AUC) 값들을 도시한다. 도시된 바와 같이, AUC 값은 7-포인트 변화(0 내지 35인 복합 증상 점수 범위의 20 %를 표현함)에 대해 0.89이다.
도 15a 내지 도 15m은 본원에 설명된 바와 같이, 호흡기 병태들을 추적하기 위해 음성 데이터로부터 음소 특징들을 추출하기 위한 컴퓨터 프로그램 루틴들의 예시적인 실시예들을 도시한다. 그러므로, 도 15a 내지 도 15m의 컴퓨터 프로그램 루틴은 사용자 음성 모니터(260) 또는 그의 하위 구성요소들 중 하나 이상에 의해 활용될 수 있다. 부가적으로, 도 15a 내지 도 15m의 컴퓨터 프로그램 루틴은 각각 도 6a 및 도 6b의 방법(6100 및 6200)의 하나 이상의 양상을 수행하는 데 활용될 수 있다.
그에 따라서, 사용자의 호흡기 병태를 모니터링하기 위한 시스템들 및 방법들에 관한 기술의 다양한 양상들이 제공된다. 본원에 설명된 실시예들의 다양한 특징들, 하위 조합들, 및 수정들은 유용하고, 다른 특징들 또는 하위 조합들을 참조함이 없이 다른 실시예들에서 이용될 수 있다는 것이 이해된다. 더욱이, 예시적인 방법들 또는 프로세스들에서 도시된 단계들의 순서 및 시퀀스들은 어떠한 방식으로든 본 개시내용의 범위를 제한하려는 것이 아니며, 실제로, 단계들은 본원의 실시예들 내에서 다양한 상이한 시퀀스들로 발생할 수 있다. 이들의 그러한 변형들 및 조합들이 또한 본 개시내용의 실시예들의 범위 내에 있는 것으로 고려된다.
다양한 구현들을 설명하였지만, 본 개시내용의 실시예들을 구현하기에 적합한 예시적인 컴퓨팅 환경이 이제 설명된다. 도 16을 참조하면, 예시적인 컴퓨팅 디바이스가 제공되고 일반적으로 컴퓨팅 디바이스(1700)로 지칭된다. 컴퓨팅 디바이스(1700)는 적합한 컴퓨팅 환경의 일 예이며, 본 개시내용의 실시예들의 사용 또는 기능성의 범위에 관한 임의의 제한을 제안하도록 의도되지 않는다. 컴퓨팅 디바이스(1700)가 예시된 구성요소들 중 임의의 것 또는 이들의 조합과 관련하여 임의의 종속성 또는 요건을 갖는 것으로서 해석되어서도 안 된다.
본 개시내용의 실시예들은, 컴퓨터 또는 다른 기계, 이를테면, 개인 휴대 정보 단말기, 스마트폰, 태블릿 PC, 또는 다른 핸드헬드 또는 웨어러블 디바이스, 이를테면 스마트워치에 의해 실행되는 컴퓨터 사용가능 또는 컴퓨터 실행가능 명령어들, 이를테면 프로그램 모듈들을 포함하는 컴퓨터 코드 또는 기계 사용가능 명령어들의 일반적인 컨텍스트에서 설명될 수 있다. 일반적으로, 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함하는 프로그램 모듈들은, 특정 작업들을 수행하거나 특정 추상적 데이터 유형들을 구현하는 코드를 지칭한다. 본 개시내용의 실시예들은, 핸드헬드 디바이스들, 소비자 전자기기, 범용 컴퓨터들, 또는 특수 컴퓨팅 디바이스들을 포함하는 다양한 시스템 구성들에서 실시될 수 있다. 본 개시내용의 실시예들은 또한, 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산형 컴퓨팅 환경들에서 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함하는 로컬 및 원격 컴퓨터 저장 매체 둘 모두에 위치될 수 있다.
도 16을 참조하면, 컴퓨팅 디바이스(1700)는, 메모리(1712), 하나 이상의 프로세서(들)(1714), 하나 이상의 제시 구성요소(들)(1716), 하나 이상의 입력/출력(I/O) 포트(들)(1718), 하나 이상의 I/O 구성요소(1720), 및 예시적인 파워 공급부(1722)를 포함하는 다양한 디바이스들을 직접 또는 간접적으로 결합하는 버스(1710)를 포함한다. 컴퓨팅 디바이스(1700)의 일부 실시예들은 하나 이상의 라디오(1724)을 더 포함할 수 있다. 버스(1710)는 하나 이상의 버스(예컨대 어드레스 버스, 데이터 버스, 또는 이들의 조합)를 표현한다. 도 16의 다양한 블록들이 명확화를 위해 라인들로 도시되지만, 실제로, 이러한 블록들은 반드시 실제는 아닌 논리적 구성요소들을 표현한다. 예컨대, 디스플레이 디바이스와 같은 제시 구성요소가 I/O 구성요소인 것으로 간주될 수 있다. 또한, 프로세서는 메모리를 가질 수 있다. 도 16은 단지 본 개시내용의 하나 이상의 실시예와 관련하여 사용될 수 있는 예시적인 컴퓨팅 디바이스를 예시한다. "워크스테이션", "서버", "랩톱", 또는 "핸드헬드 디바이스"가 모두 도 16의 범위 내에서 그리고 "컴퓨팅 디바이스"를 참조하여 고려되므로, 그러한 범주들 사이에 구별이 이루어지지 않는다.
컴퓨팅 디바이스(1700)는 전형적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는, 컴퓨팅 디바이스(1700)에 의해 액세스될 수 있는 이용가능한 임의의 이용가능한 매체일 수 있고, 휘발성 및 비-휘발성, 및 착탈식 및 비-착탈식 매체 모두를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는, 정보, 이를테면, 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비-휘발성, 착탈식 및 비-착탈식 매체 모두를 포함한다. 컴퓨터 저장 매체는, 랜덤 액세스 메모리(RAM), 판독 적용 메모리(ROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술, 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD) 또는 다른 광학 디스크 저장소, 자기 카세트들, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 요망되는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 디바이스(1700)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지 않는다. 컴퓨터 저장 매체는 신호들 그 자체를 포함하지는 않는다. 통신 매체는 전형적으로, 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터를 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호로 구현하고 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는, 신호 내의 정보를 인코딩하기 위한 그러한 방식으로 설정 또는 변경된 그 특성들 중 하나 이상을 갖는 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는, 유선 매체, 이를테면, 유선 네트워크 또는 직접 유선 연결, 및 무선 매체, 이를테면, 음향, 라디오 주파수(RF), 적외선, 및 다른 무선 매체를 포함한다. 또한, 상기의 것들 중 임의의 것의 조합들이 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
메모리(1712)는, 휘발성 및/또는 비-휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 메모리는 착탈식, 비-착탈식, 또는 이들의 조합일 수 있다. 예시적인 하드웨어 디바이스들은, 예컨대, 솔리드 스테이트 메모리, 하드 드라이브들, 및 광학 디스크 드라이브들을 포함한다. 컴퓨팅 디바이스(1700)는, 메모리(1712) 또는 I/O 구성요소들(1720)과 같은 다양한 디바이스들로부터 데이터를 판독하는 하나 이상의 프로세서(들)(1714)를 포함한다. 제시 구성요소(들)(1716)는 데이터 표시들을 사용자 또는 다른 디바이스에 제시한다. 예시적인 제시 구성요소(들)(1716)는, 디스플레이 디바이스, 스피커, 인쇄 구성요소, 진동 구성요소 등을 포함할 수 있다.
I/O 포트(들)(1718)는, 컴퓨팅 디바이스(1700)가, 일부가 내장될 수 있는 I/O 구성요소들(1720)을 포함하는 다른 디바이스들에 논리적으로 결합될 수 있게 한다. 예시적인 구성요소들은, 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 프린터, 또는 무선 디바이스를 포함한다. I/O 구성요소들(1720)은, 사용자에 의해 생성되는 허공 제스처들, 음성, 또는 다른 생리학적 입력들을 처리하는 내추럴 사용자 인터페이스(NUI)를 제공할 수 있다. 일부 예시들에서, 입력들은 추가적인 처리를 위해 적절한 네트워크 요소에 송신될 수 있다. NUI는, 발화 인식, 터치 및 스타일러스 인식, 얼굴 인식, 생체 인식, (스크린 상에서의 그리고 스크린에 인접한, 둘 모두로의) 제스처 인식, 허공 제스처들, 머리 및 눈 추적, 및 컴퓨팅 디바이스(1700) 상의 디스플레이들과 연관된 터치 인식의 임의의 조합을 구현할 수 있다. 컴퓨팅 디바이스(1700)에는, 제스처 검출 및 인식을 위해, 깊이 카메라들, 이를테면, 입체 카메라 시스템들, 적외선 카메라 시스템들, RGB 카메라 시스템들, 및 이들의 조합들이 구비될 수 있다. 부가적으로, 컴퓨팅 디바이스(1700)에는, 모션의 검출을 가능하게 하는 가속도계들 또는 자이로스코프들이 구비될 수 있다. 가속도계들 또는 자이로스코프들의 출력은, 몰입형 증강 현실 또는 가상 현실을 렌더링하기 위해 컴퓨팅 디바이스(1700)의 디스플레이에 제공될 수 있다.
컴퓨팅 디바이스(1700)의 일부 실시예들은, 하나 이상의 라디오(들)(1724)(또는 유사한 무선 통신 구성요소들)를 포함할 수 있다. 라디오(들)(1724)는 라디오 또는 무선 통신을 송신 및 수신한다. 컴퓨팅 디바이스(1700)는, 다양한 무선 네트워크들을 통해 통신들 및 매체를 수신하도록 적응되는 무선 단말기일 수 있다. 컴퓨팅 디바이스(1700)는, 다른 디바이스들과 통신하기 위해, 무선 프로토콜들, 이를테면, 코드 분할 다중 액세스("CDMA"), 모바일들을 위한 전역 시스템("GSM"), 시분할 다중 액세스("TDMA") 또는 다른 무선 수단을 통해 통신할 수 있다. 라디오 통신들은 단거리 연결, 장거리 연결, 또는 둘 모두의 조합일 수 있다. 본원에서, "짧은" 및 "긴" 유형들의 연결들은 2개의 디바이스 사이의 공간적 관계를 지칭하지 않는다. 대신에, 이러한 연결 유형들은 일반적으로, 상이한 범주들 또는 유형들의 연결들(즉, 1차 연결 및 2차 연결)로서 단거리 및 장거리를 지칭한다. 단거리 연결은, 제한이 아닌 예로서, 무선 통신 네트워크에의 액세스를 제공하는 디바이스에 대한 와이파이® 연결(예컨대, 모바일 핫스팟), 이를테면, 802.11 프로토콜을 사용하는 무선 근거리 네트워크(WLAN) 연결; 단거리 연결의 다른 예인 다른 컴퓨팅 디바이스에 대한 블루투스 연결; 또는 근접장 통신을 포함할 수 있다. 장거리 연결은, 제한이 아닌 예로서, CDMA, 일반 패킷 라디오 서비스(GPRS), GSM, TDMA, 및 802.16 프로토콜들 중 하나 이상을 사용하는 연결을 포함할 수 있다.
도시된 다양한 구성요소들 뿐만 아니라 도시되지 않은 구성요소들의 많은 상이한 배열들이 아래의 청구항들의 범주로부터 벗어남이 없이 가능하다. 본 개시내용의 실시예들은 제한적인 것이 아니라 예시적인 의도로 설명되었다. 대안적인 실시예들은 본 개시내용을 읽은 후에 이로 인해 본 개시내용의 독자들에게 명백해질 것이다. 전술된 것을 구현하는 대안적인 수단은 아래의 청구항들의 범위로부터 벗어남이 없이 완성될 수 있다. 특정 특징들 및 하위 조합들이 유용하고, 다른 특징들 및 하위 조합들을 참조하지 않으면서 이용될 수 있으며, 청구항들의 범위 내에 있는 것으로 고려된다.

Claims (47)

  1. 인간 피검자의 호흡기 병태를 모니터링하기 위한 컴퓨터화된 시스템으로서,
    하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의해 실행될 때 동작들을 수행하기 위한 컴퓨터 실행가능 명령어들이 저장되는 컴퓨터 메모리를 포함하며, 상기 동작들은, 상기 인간 피검자의 음성 정보를 포함하는 제1 오디오 데이터를 수신하는 것, 상기 제1 오디오 데이터의 제1 부분을 특성화하는 적어도 하나의 음향 특징을 포함하는 제1 음소 특징 세트를 결정하는 것 ― 상기 제1 부분은 제1 음소를 포함함 ―, 및 상기 제1 음소 특징 세트를 제2 오디오 데이터로부터 결정된 제2 음소 특징 세트와 비교함으로써 상기 호흡기 병태를 모니터링하는 것을 포함하는, 컴퓨터화된 시스템.
  2. 제1항에 있어서,
    상기 오디오 정보를 포착하도록 구성되는 음향 센서를 더 포함하는, 컴퓨터화된 시스템.
  3. 제2항에 있어서,
    상기 음향 센서는 스마트 스피커에 통합되는, 컴퓨터화된 시스템.
  4. 제1항에 있어서,
    상기 제1 음소 특징 세트는, /a/, /e/, /n/, 또는 /m/을 포함하는 적어도 하나의 음소를 특성화하는 음향 특징들을 포함하는, 컴퓨터화된 시스템.
  5. 제1항에 있어서,
    상기 제1 음소 특징 세트는 상기 제1 오디오 데이터의 제1 부분과 연관된 제1 음소, 상기 제1 오디오 데이터의 제2 부분과 연관된 제2 음소, 및 상기 제1 오디오 데이터의 제3 부분과 연관된 제3 음소를 특성화하는 음향 특징들을 포함하며, 상기 제1 음소는 /a/를 포함하고, 상기 제2 음소는 /n/을 포함하고, 상기 제3 음소는 /m/을 포함하는, 컴퓨터화된 시스템.
  6. 제5항에 있어서,
    상기 /a/ 음소에 대한 상기 음향 특징들은, 형성음 1(F1) 대역폭의 표준 편차, 피치 사분위수 범위, 1.6 내지 3.2 킬로헤르츠(kHz) 주파수들에 대해 결정된 스펙트럼 엔트로피, 지터, 멜-주파수 켑스트럼 계수(mel-frequency cepstral coefficient) MFCC9 및 MFCC12의 표준 편차, 멜-주파수 켑스트럼 계수 MFCC6의 평균, 및 3.2 내지 6.4 kHz 주파수들에 대해 결정된 스펙트럼 대비 중 적어도 하나를 포함하고, 상기 음소 /n/에 대한 음향 특징들은, 조화성, F1 대역폭의 표준 편차, 피치 사분위수 범위, 1.5 내지 2.5 kHz 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 엔트로피, 1.5 내지 2.5 kHz 주파수들에 대해 결정된 스펙트럼 평탄도, 멜-주파수 켑스트럼 계수들 MFCC1, MFCC2, MFCC3, 및 MFCC11의 표준 편차, 멜-주파수 켑스트럼 계수 MFCC8의 평균, 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 대비 중 적어도 하나를 포함하고, 상기 /m/ 음소에 대한 음향 특징들은, 조화성, F1 대역폭의 표준 편차, 피치 사분위수 범위, 1.5 내지 2.5 kHz 및 1.6 내지 3.2 kHz 주파수들에 대해 결정된 스펙트럼 엔트로피, 1.5 내지 2.5 kHz 주파수들에 대해 결정된 스펙트럼 평탄도, 멜-주파수 켑스트럼 계수들 MFCC2 및 MFCC10의 표준 편차, 멜-주파수 켑스트럼 계수 MFCC8의 평균, 쉬머(shimmer), 3.2 내지 6.4 kHz 주파수들에 대해 결정된 스펙트럼 대비, 및 200 헤르츠(Hz) 1/3 옥타브 대역의 표준 편차 중 적어도 하나를 포함하는, 컴퓨터화된 시스템.
  7. 제1항에 있어서,
    상기 동작들은, 제1 음소를 결정하기 위해 상기 제1 오디오 데이터의 제1 부분에 대해 자동 발화(speech) 인식을 수행하는 것; 및 상기 제1 오디오 데이터의 제1 부분을 상기 제1 음소와 연관시키는 것을 더 포함하는, 컴퓨터화된 시스템.
  8. 제7항에 있어서,
    상기 자동 발화 인식을 수행하는 것은, 상기 제1 오디오 데이터의 제1 부분에 대응하는 텍스트를 결정하는 것; 및 상기 텍스트에 기반하여 상기 제1 음소를 결정하는 것을 포함하는, 컴퓨터화된 시스템.
  9. 제1항에 있어서,
    상기 제1 오디오 데이터는 제1 날짜-시간 값에 대응하는 제1 시간 구간과 연관되고, 상기 제2 오디오 데이터는 제2 날짜-시간 값에 대응하는 제2 시간 구간과 연관되며, 상기 인간 피검자의 상기 호흡기 병태를 모니터링하는 것은, 상기 제1 음소 특징 세트 및 상기 제2 음소 특징 세트의 특징들의 적어도 일부분의 특징 거리 측정치를 결정하는 것; 및 상기 특징 거리 측정치에 기반하여, 상기 인간 피검자의 상기 호흡기 병태가 상기 제2 날짜-시간 값과 상기 제1 날짜-시간 값 사이에서 변했다는 것을 결정하는 것을 포함하는, 컴퓨터화된 시스템.
  10. 제9항에 있어서,
    상기 제2 날짜-시간 값은 상기 제1 날짜-시간 값에서 18 시간 내지 36 시간 이후에 발생하는, 컴퓨터화된 시스템.
  11. 제1항에 있어서,
    상기 동작들은, 상기 인간 피검자에 대한 제1 생리학적 데이터를 수신하는 것 ― 상기 제1 생리학적 데이터는 상기 제1 오디오 데이터와 연관되는 제1 시간 구간과 연관됨 ―; 및 상기 생리학적 데이터를 기록에 저장하는 것을 더 포함하는, 컴퓨터화된 시스템.
  12. 제1항에 있어서,
    상기 제1 오디오 데이터는 제1 시간 구간과 연관되고, 상기 동작들은, 상기 인간 피검자에 대한 제1 컨텍스트 데이터를 결정하는 것을 더 포함하며, 상기 제1 컨텍스트 데이터는 상기 제1 시간 구간과 연관되고, 상기 인간 피검자에 관한 생리학적 데이터, 상기 제1 시간 구간 동안의 상기 인간 피검자의 위치에 관한 정보, 또는 상기 제1 시간 구간과 연관된 컨텍스트 정보 중 적어도 하나를 포함하고, 상기 제1 음소 특징 세트는 추가로, 상기 제1 컨텍스트 데이터에 기반하여 결정되는, 컴퓨터화된 시스템.
  13. 제1항에 있어서,
    상기 제1 음소 특징 세트는 복수의 다른 음소 특징 세트들로부터 결정되고, 상기 다른 음소 특징 세트들 각각은, 상기 제2 오디오 데이터와 연관된 제2 시간 구간 이전에 발생하는 제1 날짜-시간 값과 연관되는, 컴퓨터화된 시스템.
  14. 제1항에 있어서,
    상기 제1 음소 특징 세트를 상기 제2 음소 특징 세트와 비교하는 것은, 상기 제1 음소 특징 세트의 적어도 일부분과 상기 제2 음소 특징 세트의 적어도 일부분 사이의 유클리드(Euclidian) 또는 레벤슈타인(Levenshtein) 거리를 결정하는 것을 포함하는, 컴퓨터화된 시스템.
  15. 제1항에 있어서,
    상기 제1 음소 특징 세트를 상기 제2 음소 특징 세트와 비교하는 것은, 적어도 상기 제1 음소 특징 세트의 제1 특징과 상기 제2 음소 특징 세트의 대응하는 제2 특징 사이의 비교를 수행하는 것을 포함하는, 컴퓨터화된 시스템.
  16. 제1항에 있어서,
    상기 인간 피검자의 상기 호흡기 병태를 모니터링하는 것은, 제1 특징 세트 거리를 결정하기 위해 상기 제1 음소 특징 세트와 상기 제2 음소 특징 세트의 비교를 수행하는 것; 및 상기 제1 특징 세트 거리를 임계 거리와 비교함으로써 상기 인간 피검자의 상기 호흡기 병태가 변했다는 것을 결정하는 것을 포함하는, 컴퓨터화된 시스템.
  17. 제16항에 있어서,
    상기 임계 거리는 임상의에 의해 미리 결정되거나, 사용자의 생리학적 데이터, 사용자 설정, 또는 사용자의 이력 호흡기 병태 정보 중 하나 이상에 기반하여 자동으로 결정되는, 컴퓨터화된 시스템.
  18. 제16항에 있어서,
    상기 동작들은, 상기 인간 피검자가 상기 호흡기 병태를 갖지 않는다고 결정되는 시간에 기준선을 표현하는 제3 음소 특징 세트를 수신하는 것을 더 포함하며, 상기 인간 피검자의 상기 호흡기 병태를 모니터링하는 것은, 제1 특징 세트 거리를 결정하기 위해 상기 제1 음소 특징 세트와 상기 제2 음소 특징 세트의 비교를 수행하는 것; 제2 특징 세트 거리를 결정하기 위해 상기 제2 음소 특징 세트와 상기 제3 음소 특징 세트 사이의 제2 비교를 수행하는 것; 제3 특징 세트 거리를 결정하기 위해 상기 제1 음소 특징 세트와 상기 제3 음소 특징 세트 사이의 제3 비교를 수행하는 것; 상기 제2 특징 세트 거리와 상기 제3 특징 세트 거리의 제4 비교를 수행하는 것; 및 상기 제4 비교에 기반하여, 상기 제2 특징 세트 거리가 상기 제3 특징 세트 거리 미만인 경우 상기 인간 피검자의 상기 호흡기 병태가 개선되고 있다는 표시를 제공하는 것, 상기 제2 특징 세트 거리가 상기 제3 특징 세트 거리보다 큰 경우 상기 인간 피검자의 상기 호흡기 병태가 악화되고 있다는 표시를 제공하는 것, 또는 상기 제2 특징 세트 거리가 상기 제3 특징 세트 거리와 동일한 경우 상기 인간 피검자의 상기 호흡기 병태가 변하지 않고 있다는 표시를 제공하는 것 중 하나를 수행하는 것을 포함하는, 컴퓨터화된 시스템.
  19. 제2항에 있어서,
    기준선을 표현하는 제3 음소 특징 세트는, 음소 특징 값들의 세트의 평균에 기반하여 결정된 특징 값들을 갖는 음소 특징들을 포함하고, 상기 음소 특징 값들의 세트 내의 각각의 음소 특징 값은 상기 인간 피검자가 상기 호흡기 병태를 갖지 않는 것으로 결정되는 시간 동안 상이한 시간 구간으로부터 결정되는, 컴퓨터화된 시스템.
  20. 제1항에 있어서,
    상기 동작들은, 상기 제1 음소 특징 세트를 상기 제2 음소 특징 세트와 비교함으로써 결정된 상기 호흡기 병태의 변화에 기반하여 조치를 개시하는 것을 더 포함하는, 컴퓨터화된 시스템.
  21. 제20항에 있어서,
    상기 인간 피검자의 상기 호흡기 병태의 변화에 기반하여 조치를 개시하는 것은, 상기 인간 피검자 또는 상기 인간 피검자의 임상의와 연관된 사용자 디바이스 중 적어도 하나에 통지를 송출하는 것; 상기 인간 피검자와 상기 인간 피검자의 임상의 사이의 예약을 스케줄링하는 것; 상기 호흡기 병태의 치료를 수정하기 위한 권고를 제공하는 것; 및 처방 약물 리필을 요청하는 것을 포함하는, 컴퓨터화된 시스템.
  22. 제1항에 있어서,
    상기 인간 피검자와 연관된 사용자 디바이스를 더 포함하며, 상기 인간 피검자의 상기 호흡기 병태를 모니터링하는 것은, 적어도 상기 제1 음소 특징 세트를 상기 제2 음소 특징 세트와 비교하는 것에 기반하여 호흡기 병태 점수를 결정하는 것을 포함하고, 상기 동작들은, 상기 사용자 디바이스의 사용자 인터페이스 상에, 상기 호흡기 병태 점수를 디스플레이하게 하는 것을 더 포함하는, 컴퓨터화된 시스템.
  23. 제1항에 있어서,
    상기 인간 피검자와 연관된 사용자 디바이스를 더 포함하며, 상기 인간 피검자의 상기 호흡기 병태를 모니터링하는 것은, 적어도 상기 제1 음소 특징 세트를 상기 제2 음소 특징 세트와 비교하는 것에 기반하여, 상기 인간 피검자가 상기 호흡기 병태와 연관된 감염성 인자를 전염시키는 위험을 표시하는 전염 위험 수준을 결정하는 것을 포함하고, 상기 동작들은, 상기 사용자 디바이스의 사용자 인터페이스 상에, 상기 전염 위험 수준을 디스플레이하게 하는 것을 더 포함하는, 컴퓨터화된 시스템.
  24. 제1항에 있어서,
    상기 인간 피검자와 연관된 사용자 디바이스를 더 포함하며, 상기 인간 피검자의 상기 호흡기 병태를 모니터링하는 것은, 적어도 상기 제1 음소 특징 세트를 상기 제2 음소 특징 세트와 비교하는 것에 기반하여 상기 인간 피검자의 상기 호흡기 병태의 트렌드를 결정하는 것을 포함하고, 상기 동작들은, 상기 사용자 디바이스의 사용자 인터페이스 상에, 상기 인간 피검자의 상기 호흡기 병태의 트렌드를 디스플레이하게 하는 것을 더 포함하는, 컴퓨터화된 시스템.
  25. 제1항에 있어서,
    상기 제1 오디오 데이터의 제1 부분은 기본 모음 음소의 지속된 발성음을 포함하고, 상기 제1 음소 특징 세트는 최대 발성음 시간에 기반하는, 컴퓨터화된 시스템.
  26. 제1항에 있어서,
    상기 제1 오디오 데이터는 다수의 음소들을 포함하는 발화된 구절의 기록을 포함하고, 상기 제1 음소 특징 세트는, 발화율, 평균 단절(pause) 길이, 단절 카운트, 및 전역 신호 대 잡음 비 중 하나 이상을 포함하는, 컴퓨터화된 시스템.
  27. 음향 센서 디바이스를 활용하여 호흡기 병태를 치료하기 위한 방법으로서,
    제1 시간 구간과 연관되는 제1 오디오 데이터를 수신하는 단계 ― 상기 제1 오디오 데이터는 인간 피검자의 음성 정보를 포함함 ―; 상기 제1 오디오 데이터의 제1 부분을 특성화하는 적어도 하나의 음향 특징을 포함하는 제1 음소 특징 세트를 결정하는 단계 ― 상기 제1 부분은 제1 음소를 포함함 ―; 상기 제1 음소 특징 세트와, 제2 시간 구간과 연관된 제2 오디오 데이터로부터 결정된 제2 음소 특징 세트의 비교를 수행하는 단계; 및 적어도 상기 비교에 기반하여, 상기 인간 피검자에 대한 상기 호흡기 병태를 치료하기 위한 치료 프로토콜을 개시하는 단계를 포함하는, 방법.
  28. 제27항에 있어서,
    상기 치료 프로토콜을 개시하는 단계는, 치료제, 투여량, 및 상기 치료제의 투여 방법 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
  29. 제28항에 있어서,
    상기 치료제는, PLpro 억제제, 아필로모드, EIDD-2801, 리바비린, 발간시클로비르, β-티미딘, 아스파탐, 옥스프레놀롤, 독시사이클린, 아세토페나진, 이오프로미드, 리보플라빈, 레프로테롤, 2,2′-시클로시티딘, 클로람페니콜, 클로르페네신 카르바메이트, 레보드로프로피진, 세파만돌, 플록수리딘, 티게시클린, 페메트렉시드, L(+)-아스코르브산, 글루타티온, 헤스페레틴, 아데메티오닌, 마소프로콜, 이소트레티노인, 단트롤렌, 술파살라진 항박테리아제, 실리빈, 니카르디핀, 실데나필, 플라티코딘, 크리신, 네오헤스페리딘, 바이칼린, 슈게트리올-3,9-디아세테이트, (―)-에피갈로카테킨 갈레이트, 파이탄트린 D, 2-(3,4-디히드록시페닐)-2-[[2-(3,4-디히드록시페닐)-3,4-디히드로-5,7-디히드록시-2H-1-벤조피란-3-일]옥시]-3,4-디히드로-2H-1-벤조피란-3,4,5,7-테트롤, 2,2-디(3-인돌릴)-3-인돌론, (S)-(1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로나프탈렌-2-일-2-아미노-3-페닐프로파노에이트, 피세아타놀, 로스마린산, 및 마그놀롤; 3CLpro 억제제, 리메시클린, 클로르헥시딘, 알푸조신, 실라스타틴, 파모티딘, 알미트린, 프로가비드, 네파페낙, 카르베딜롤, 암프레나비르, 티게시클린, 몬테루카스트, 카르민산, 미모신, 플라빈, 루테인, 세프피라미드, 페네테실린, 칸독사트릴, 니카르디핀, 에스트라디올 발레레이트, 피오글리타존, 코니밥탄, 텔미사르탄, 독시시클린, 옥시테트라시클린, (1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로나프탈렌-2-일5-((R)-1,2-디티올란-3-일) 펜타노에이트, 베툴로날, 크리신-7-O-β-글루쿠로니드, 안드로그라피시드, (1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로나프탈렌-2-일 2-니트로벤조에이트, 2β-히드록시-3,4-세코-프리에델로락톤-27-산 (S)-(1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐) 데카히드로나프탈렌-2-일-2-아미노-3-페닐프로파노에이트, 이소데코르티놀, 세레비스테롤, 헤스페리딘, 네오헤스페리딘, 안드로그라파닌, 2-((1R,5R,6R,8aS)-6-히드록시-5-(히드록시메틸)-5,8a-디메틸-2-메틸렌데카히드로나프탈렌-1-일)에틸 벤조에이트, 코스모신, 클레이스토칼톤 A, 2,2-디(3-인돌릴)-3-인돌론, 비오로빈, 그니디신, 필라엠블리놀, 테아플라빈 3,3′-디-O-갈레이트, 로스마린산, 코우이첸시드 I, 올레아놀산 산, 스티그마스트-5-엔-3-올, 데아세틸센타피크린, 및 베르케몰; RdRp 억제제, 발간시클로비르, 클로르헥시딘, 세프티부텐, 페노테롤, 플루다라빈, 이트라코나졸, 세푸록심, 아토바쿠온, 케노데옥시콜산, 크로몰린, 판쿠로늄 브로마이드, 코르티손, 티볼론, 노보비오신, 실리빈, 이다루비신 브로모크립틴, 디페녹실레이트, 벤질페니실로일 G, 다비가트란 에텍실레이트, 베툴로날, 그디니신, 2β,30β-디히드록시-3,4-세코-프리에델로락톤-27-락톤, 14-데옥시-11,12-디데히드로안드로그라폴리드, 그니디트린, 테아플라빈 3,3′-디-O-갈레이트, (R)-((1R,5aS,6R,9aS)-1,5a-디메틸-7-메틸렌-3-옥소-6-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로-1H-벤조[c]아제핀-1-일)메틸2-아미노-3-페닐프로파노에이트, 2β-히드록시-3,4-세코-프리에델로락톤-27-산, 2-(3,4-디히드록시페닐)-2-[[2-(3,4-디히드록시페닐)-3,4-디히드로-5,7-디히드록시-2H-1-벤조피란-3-일]옥시]-3,4-디히드로-2H-1-벤조피란-3,4,5,7-테트롤, 필라엠블리신 B, 14-히드록시사이페로툰돈, 안드로그라피시드, 2-((1R,5R,6R,8aS)-6-히드록시-5-(히드록시메틸)-5,8a-디메틸-2-메틸렌데카히드로 나프탈렌-1-일)에틸 벤조에이트, 안드로그라폴리드, 슈게트리올-3,9-디아세테이트, 바이칼린, (1S,2R,4aS,5R,8aS)-1-포름아미도-1,4a-디메틸-6-메틸렌-5-((E)-2-(2-옥소-2,5-디히드로푸란-3-일)에테닐)데카히드로나프탈렌-2-일 5-((R)-1,2-디티올란-3-일)펜타노에이트, 1,7-디히드록시-3-메톡시크산톤, 1,2,6-트리메톡시-8-[(6-O-β-D-자일로피라노실-β-D-글루코피라노실)옥시]-9H-크산텐-9-온, 및/또는 1,8-디히드록시-6-메톡시-2-[(6-O-β-D-자일로피라노실-β-D-글루코피라노실)옥시]-9H-크산텐-9-온, 8-(β-D-글로코피라노실옥시)-1,3,5-트리히드록시-9H-크산텐-9-온; 디오스민, 헤스페리딘, MK-3207, 베네토클락스, 디히드로에르고크리스틴, 볼라진, R428, 디테르칼리늄, 에토포시드, 테니포시드, UK-432097, 이리노테칸, 루마카프토르, 벨파타스비르, 엘룩사돌린, 레디파스비르, 로피나비르/리토나비르 및 리바비린의 조합물, 알페론, 및 프레드니손; 덱사메타손, 아지트로마이신, 렘데시비르, 보세프레비르, 우미페노비르, 및 파비피라비르; α-케토아미드 화합물; RIG 1 경로 활성화제; 프로테아제 억제제; 및 렘데시비르, 갈리데시비르, 파빌라비르/아비파비르, 몰누피라비르(MK-4482/EIDD 2801), AT-527, AT-301, BLD-2660, 파비피라비르, 카모스타트, SLV213 엠트릭타빈/테노피비르, 클레부딘, 달세트라피브, 보세프레비르, ABX464, (3S)-3-({N-[(4-메톡시-1H-인돌-2-일)카르보닐]-L-류실}아미노)-2-옥소-4-[(3S)-2-옥소피롤리딘-3-일]부틸 디히드로겐 포스페이트; 및 그의 제약상 허용되는 염, 용매화물, 또는 수화물(PF-07304814), (1R,2S,5S)-N-{(1S)-1-시아노-2-[(3S)-2-옥소피롤리딘-3-일]에틸}-6,6-디메틸-3-[3-메틸-N-(트리플루오로아세틸)-L-발릴]-3-아자비시클로[3.1.0]헥산-2-카르복스아미드 또는 그의 용매화물 또는 수화물(PF-07321332), S-217622, 글루코코르티코이드, 회복기 혈장, 재조합 인간 혈장, 모노클로날 항체, 라불리주맙, VIR-7831/VIR-7832, BRII-196/BRII-198, COVI-AMG/COVI DROPS(STI-2020), 밤라니비맙(LY-CoV555), 마브릴리맙, 레론리맙(PRO140), AZD7442, 렌질루맙, 인플릭시맙, 아달리무맙, JS 016, STI-1499(COVIGUARD), 라나델루맙(탁자이로(Takhzyro)), 카나키누맙(일라리스(Ilaris)), 김실루맙, 오틸리맙, 항체 칵테일, 재조합 융합 단백질, 항응고제, IL-6 수용체 효능제, PIKfyve 억제제, RIPK1 억제제, VIP 수용체 효능제, SGLT2 억제제, TYK 억제제, 키나제 억제제, 벰센티닙, 아칼라브루티닙, 로스마피모드, 바리시티닙, 토파시티닙, H2 차단제, 구충제, 및 퓨린 억제제로 이루어진 그룹으로부터 선택되는, 방법.
  30. 제28항에 있어서,
    상기 치료제는, (3S)-3-({N-[(4-메톡시-1H-인돌-2-일)카르보닐]-L-류실}아미노)-2-옥소-4-[(3S)-2-옥소피롤리딘-3-일]부틸 디히드로겐 포스페이트, 또는 그의 제약상 허용되는 염, 용매화물 또는 수화물(PF-07304814)인, 방법.
  31. 제38항에 있어서,
    상기 치료제는, (1R,2S,5S)-N-{(1S)-1-시아노-2-[(3S)-2-옥소피롤리딘-3-일]에틸}-6,6-디메틸-3-[3-메틸-N-(트리플루오로아세틸)-L-발릴]-3-아자비시클로[3.1.0]헥산-2-카르복스아미드 또는 그의 용매화물 또는 수화물(PF-07321332)인, 방법.
  32. 제27항에 있어서,
    상기 치료 프로토콜의 투여를 개시하는 것은, 사용자 디바이스 상의 디스플레이를 위해 제공되는 그래픽 사용자 인터페이스 요소를 생성하는 것을 포함하며, 상기 그래픽 사용자 인터페이스 요소는, 적어도 상기 제1 음소 특징 세트와 상기 제2 음소 특징 세트의 비교에 기반하는 상기 치료 프로토콜의 권고를 표시하는, 방법.
  33. 제32항에 있어서,
    상기 사용자 디바이스는 상기 음향 센서 디바이스와 별개인, 방법.
  34. 제32항에 있어서,
    상기 권고에 기반하여 상기 인간 피검자에게 상기 치료 프로토콜을 적용하는 단계를 더 포함하는, 방법.
  35. 제27항에 있어서,
    상기 호흡기 병태는 코로나바이러스 질환 2019(COVID-19)를 포함하는, 방법.
  36. 인간 피검자의 호흡기 병태를 치료하기 위한 치료제의 효능을 추적하는 컴퓨터화된 방법으로서,
    제1 음소 특징 세트 및 제2 음소 특징 세트를 수신하는 단계 ― 상기 제1 음소 특징 세트 및 상기 제2 음소 특징 세트 각각은 상기 인간 피검자의 음성 정보를 표현하고, 상기 제2 음소 특징 세트는 상기 제1 음소 특징 세트와 연관된 제1 날짜-시간 값 이후에 발생하는 제2 날짜-시간 값과 연관되고, 상기 치료제가 상기 인간 피검자에게 투여되고 있는 시간 기간은 적어도 상기 제2 날짜-시간 값을 포함함 ―; 제1 특징 세트 거리를 결정하기 위해 상기 제1 음소 특징 세트와 상기 제2 음소 특징 세트의 제1 비교를 수행하는 단계; 및 상기 제1 특징 세트 거리에 기반하여, 상기 인간 피검자의 상기 호흡기 병태의 변화가 존재하는지 여부를 결정하는 단계를 포함하는, 컴퓨터화된 방법.
  37. 제36항에 있어서,
    상기 호흡기 병태는 호흡기 감염이고, 상기 치료제는 항균제 약물인, 컴퓨터화된 방법.
  38. 제37항에 있어서,
    상기 치료제는 항생제 약물인, 컴퓨터화된 방법.
  39. 제37항에 있어서,
    적어도, 상기 인간 피검자의 상기 호흡기 병태의 변화가 존재하는지 여부를 결정하는 것에 기반하여, 항생제 약물의 효능의 변화를 결정하는 단계를 더 포함하는, 컴퓨터화된 방법.
  40. 제36항에 있어서,
    상기 인간 피검자의 상기 호흡기 병태의 변화가 존재하는지 여부를 결정하는 단계는, 상기 호흡기 병태가 개선되었는지, 악화되었는지, 또는 변하지 않았는지를 결정하는 단계를 포함하는, 컴퓨터화된 방법.
  41. 제36항에 있어서,
    상기 인간 피검자의 상기 호흡기 병태의 변화가 존재하는지 여부의 결정에 기반하여, 상기 인간 피검자를 치료하기 위한 조치를 개시하는 단계를 더 포함하는, 컴퓨터화된 방법.
  42. 제41항에 있어서,
    상기 인간 피검자를 치료하기 위한 조치는, 상기 호흡기 병태가 악화되었다고 결정할 시 개시되는, 컴퓨터화된 방법.
  43. 제41항에 있어서,
    상기 인간 피검자를 치료하기 위한 조치는, 상기 호흡기 병태가 악화되었거나 변하지 않았다고 결정할 시 개시되는, 컴퓨터화된 방법.
  44. 제41항에 있어서,
    상기 인간 피검자를 치료하기 위한 조치는, 상기 인간 피검자의 치료 프로토콜을 변경하는 것을 포함하는, 컴퓨터화된 방법.
  45. 제44항에 있어서,
    상기 인간 피검자의 치료 프로토콜을 변경하는 것은, 상기 치료제 또는 상기 치료제의 투여량 중 하나 이상을 조정하기 위한 권고를 개시하는 것을 포함하는, 컴퓨터화된 방법.
  46. 제44항에 있어서,
    상기 인간 피검자의 상기 치료 프로토콜을 변경하는 것은, 상기 인간 피검자의 케어 제공자에게 메시지를 전송하는 것을 포함하며, 상기 메시지는 상기 인간 피검자의 상기 치료 프로토콜의 수정을 요청하는, 컴퓨터화된 방법.
  47. 제41항에 있어서,
    상기 인간 피검자를 치료하기 위한 조치는, 상기 인간 피검자의 전자 건강 기록(EHR)으로부터 결정된 약국에 상기 치료제에 대한 리필 요청을 전자적으로 개시하는 것을 포함하는, 컴퓨터화된 방법.
KR1020237010155A 2020-08-28 2021-08-30 호흡기 병태 모니터링 및 케어를 위한 컴퓨터화된 의사결정 지원 툴 및 의료 디바이스 KR20230079055A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063071718P 2020-08-28 2020-08-28
US63/071,718 2020-08-28
US202163238103P 2021-08-27 2021-08-27
US63/238,103 2021-08-27
PCT/US2021/048242 WO2022047311A1 (en) 2020-08-28 2021-08-30 Computerized decision support tool and medical device for respiratory condition monitoring and care

Publications (1)

Publication Number Publication Date
KR20230079055A true KR20230079055A (ko) 2023-06-05

Family

ID=80354129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237010155A KR20230079055A (ko) 2020-08-28 2021-08-30 호흡기 병태 모니터링 및 케어를 위한 컴퓨터화된 의사결정 지원 툴 및 의료 디바이스

Country Status (10)

Country Link
US (1) US20230329630A1 (ko)
EP (1) EP4203775A1 (ko)
JP (1) JP2023539874A (ko)
KR (1) KR20230079055A (ko)
AU (1) AU2021333916A1 (ko)
BR (1) BR112023003624A2 (ko)
CA (1) CA3190906A1 (ko)
IL (1) IL300993A (ko)
MX (1) MX2023002470A (ko)
WO (1) WO2022047311A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230072242A1 (en) * 2021-09-07 2023-03-09 Canary Speech, LLC Paired neural networks for diagnosing health conditions via speech
US20230214850A1 (en) * 2022-01-04 2023-07-06 Nice Ltd. System and method for real-time fraud detection in voice biometric systems using phonemes in fraudster voice prints
KR102516391B1 (ko) * 2022-09-02 2023-04-03 주식회사 액션파워 음성 구간 길이를 고려하여 오디오에서 음성 구간을 검출하는 방법
EP4350701A1 (en) * 2022-10-07 2024-04-10 SIVA Health AG Classifying individuals suffering from chronic cough

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6599694B2 (en) * 2000-12-18 2003-07-29 Cytokinetics, Inc. Method of characterizing potential therapeutics by determining cell-cell interactions
CA2804165C (en) * 2010-07-08 2015-02-24 Pfizer Inc. Piperidinyl pyrimidine amides as kv7 potassium channel openers
US20160004831A1 (en) * 2014-07-07 2016-01-07 Zoll Medical Corporation Medical device with natural language processor

Also Published As

Publication number Publication date
CA3190906A1 (en) 2022-03-03
US20230329630A1 (en) 2023-10-19
WO2022047311A1 (en) 2022-03-03
AU2021333916A1 (en) 2023-03-30
IL300993A (en) 2023-04-01
EP4203775A1 (en) 2023-07-05
BR112023003624A2 (pt) 2023-03-28
MX2023002470A (es) 2023-07-20
JP2023539874A (ja) 2023-09-20

Similar Documents

Publication Publication Date Title
US20200388287A1 (en) Intelligent health monitoring
US20230329630A1 (en) Computerized decision support tool and medical device for respiratory condition monitoring and care
US10010288B2 (en) Screening for neurological disease using speech articulation characteristics
US9993166B1 (en) Monitoring device using radar and measuring motion with a non-contact device
US8784311B2 (en) Systems and methods of screening for medical states using speech and other vocal behaviors
US20210145306A1 (en) Managing respiratory conditions based on sounds of the respiratory system
US20180296092A1 (en) System and method for monitoring and determining a medical condition of a user
US20210233641A1 (en) Anxiety detection apparatus, systems, and methods
CN114206361A (zh) 一种用于语音属性的机器学习的系统和方法
US10052056B2 (en) System for configuring collective emotional architecture of individual and methods thereof
US11800996B2 (en) System and method of detecting falls of a subject using a wearable sensor
US11869641B2 (en) Systems and methods for determining whether an individual is sick based on machine learning algorithms and individualized data
Chatterjee et al. Assessing severity of pulmonary obstruction from respiration phase-based wheeze-sensing using mobile sensors
US20230233158A1 (en) Computerized decision support tool and medical device for scratch detection and flare prediction
Sedaghat et al. Unobtrusive monitoring of COPD patients using speech collected from smartwatches in the wild
EP4312768A2 (en) Systems and methods for digital speech-based evaluation of cognitive function
WO2023166453A1 (en) Computerized decision support tool and medical device for respiratory condition monitoring and care
CN116600698A (zh) 用于呼吸道状况监视和护理的计算机化决策支持工具和医疗设备
RU2818831C1 (ru) Компьютеризированное инструментальное средство поддержки принятия решений и медицинское устройство для обнаружения расчесов и прогнозирования покраснений
US20200129115A1 (en) Improved diagnostic instrument and methods
Nathan et al. Assessing Severity of Pulmonary Obstruction from Respiration Phase-Based Wheeze Sensing Using Mobile Sensors
Aljbawi et al. Developing a multi-variate prediction model for the detection of COVID-19 from Crowd-sourced Respiratory Voice Data

Legal Events

Date Code Title Description
A201 Request for examination