JP2023539874A - 呼吸器疾患モニタリングおよびケア用コンピュータ化意思決定支援ツールおよび医療機器 - Google Patents

呼吸器疾患モニタリングおよびケア用コンピュータ化意思決定支援ツールおよび医療機器 Download PDF

Info

Publication number
JP2023539874A
JP2023539874A JP2023513686A JP2023513686A JP2023539874A JP 2023539874 A JP2023539874 A JP 2023539874A JP 2023513686 A JP2023513686 A JP 2023513686A JP 2023513686 A JP2023513686 A JP 2023513686A JP 2023539874 A JP2023539874 A JP 2023539874A
Authority
JP
Japan
Prior art keywords
user
phoneme
human subject
respiratory
respiratory disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023513686A
Other languages
English (en)
Inventor
パテル シャマール
ウィリアム ウェイクニック ポール
チャッピー カーラ
メイザー ロバート
トレーシー ブライアン
デル マー サンタマリア セッラ マリア
Original Assignee
ファイザー・インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファイザー・インク filed Critical ファイザー・インク
Publication of JP2023539874A publication Critical patent/JP2023539874A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • A61B5/4839Diagnosis combined with treatment in closed-loop systems or methods combined with drug delivery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4842Monitoring progression or stage of a disease
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4848Monitoring or testing the effects of treatment, e.g. of medication
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K31/00Medicinal preparations containing organic active ingredients
    • A61K31/66Phosphorus compounds
    • A61K31/675Phosphorus compounds having nitrogen as a ring hetero atom, e.g. pyridoxal phosphate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K38/00Medicinal preparations containing peptides
    • A61K38/04Peptides having up to 20 amino acids in a fully defined sequence; Derivatives thereof
    • A61K38/06Tripeptides
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Primary Health Care (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Immunology (AREA)
  • Gastroenterology & Hepatology (AREA)

Abstract

ユーザの呼吸器疾患をモニタリングするとともに、ユーザのオーディオデータを解析することにより意思決定支援を提供する技術が開示される。オーディオデータ内の発話音素が検出され、これらの音素に対して音響特性が抽出されるようになっていてもよい。距離測定基準の演算によって、ユーザの音素特性集合を比較するようにしてもよい。この比較に基づいて、ユーザが呼吸器疾患(たとえば、感染症)であるか、および/または、疾患が変化しているか等、ユーザの呼吸器疾患に関する判定がなされるようになっていてもよい。いくつかの態様には、音素特性集合を利用して、ユーザの将来の呼吸器疾患を予測することを含む。コンピュータアプリケーションまたはサービスの形態の意思決定支援ツールによる検出または予測呼吸器疾患情報の利用によって、現在の疾患の処置または将来リスクの緩和のための動作を開始するようにしてもよい。

Description

インフルエンザ等のウイルスおよび細菌による呼吸器感染症は、毎年多くの人々に影響を及ぼし、軽度から重度までの症状を伴う。通常、感染者の体内では、自己報告症状よりも前にウイルスまたは細菌のレベルがピークとなり、患者が感染に気付かないことが多い。また、ほとんどの患者は通常、新規または軽度の呼吸器症状を検出したり、症状の変化(症状の悪化または改善)を定量化したりすることに困難を感じている。ただし、呼吸器感染症の早期検出によって、感染症の継続期間および/または重症度を抑えるより効果的な介入につながる可能性がある。また、臨床試験においても早期検出は有益である。潜在的な試験参加者の感染性因子負荷があまりに小さくなるほど遅くなってからでは、関心感染症と相関する潜在的な参加者の症状の確認が不可能となり得るためである。したがって、ヘルスケア提供者での受診が通常必要となるレベルまで症状が悪化する前に、客観的な尺度を利用して呼吸器感染症の症状を検出およびモニタリングするツールが求められている。
本概要は、以下の詳細な説明において詳述される概念の一部を簡略化形態にて紹介するために提供される。本概要は、特許請求の範囲に係る主題の重要または本質的な特徴を識別することも、特許請求の範囲に係る主題の範囲の決定の補助として単独で使用されることも意図されない。
本開示に記載の技術の実施形態は、改良されたコンピュータ化意思決定支援ツールによって、患者の呼吸器疾患の変化の判定および定量化、患者が(呼吸器感染症の可能性もある)呼吸器疾患となる可能性の決定、または患者の将来の呼吸器疾患の予測等により患者の呼吸器疾患をモニタリングすることを可能にする。
高いレベルにおいて、これらの実施形態には、スマートフォン等のユーザコンピュータ機器に組み込まれ得るマイク等のセンサ機器により取得されたオーディオデータを利用して、患者の呼吸器疾患を示すデータを自動的に検出することを含んでいてもよい。たとえば、オーディオデータは、これらの技術の一実施形態のユーザにより、オーディオサンプルとして提供されるようになっていてもよく、これは、コンピュータ機器(たとえば、スマートスピーカ)との日常的な相互作用中に取得された持続的な発声(たとえば、「アーア(aaaaaaaa)」)、計画された発話、または無計画の発話の形態であってもよい。また、いくつかの実施形態では、ユーザの呼吸器疾患のモニタリングに使用可能なオーディオデータを提供する手順にユーザをガイドする指示を与えるようにしてもよい。このように、ユーザが自宅での活動を含む日々の活動を実行している間に、呼吸器疾患をモニタリングするためのデータが非研究室的な設定で目立たず確実に取得されるようになっていてもよい。したがって、本明細書に記載の実施形態は、信頼性の高いデータを提供してユーザの呼吸器疾患を正確かつ効果的にモニタリングしつつ、ユーザの順守の可能性を高くする。
一実施形態によれば、ユーザの記録されたオーディオデータから音素が検出され、検出された音素に対する音響特性が抽出または決定されるようになっていてもよい。これらの特性には、特定の時間区分(たとえば、日時)におけるユーザの呼吸器疾患を特徴付ける音素特性集合または特性ベクトルを含み得るため、当該特定の時間区分と関連付けられると考えられる。ユーザは、複数の時間区分(たとえば、毎日または複数日の毎朝および毎夜)で複数のオーディオ音声サンプルを提供することにより、オーディオサンプルデータがユーザによって提供された特定の時間区分に対して決定された各音素特性集合が関連付けられるようにしてもよい。たとえば、一態様において、検出音素には、
またはこれらの任意の組み合わせを含み得る。別の態様において、検出音素には、
等の基本母音音素のうちの1つまたは複数を含み得るとともに、音素
をさらに含み得る。呼吸器疾患のバイオマーカを決定するため、検出音素が本明細書に記載の技術の一実施形態により利用されるようになっていてもよい。別の態様においては、バイオマーカを決定するため、上記音素またはそれぞれの特性のうちの1つまたは複数の組み合わせが利用されるようになっていてもよい。さらに別の態様においては、バイオマーカを決定するため、他の音素もしくは音素特性ならびに/または呼吸もしくは音声関連データが利用されるようになっていてもよい。
音素特性の値間の差を決定するため、異なる時間区分の音素特性集合が比較されるようになっていてもよい。たとえば、音素特性集合間のユークリッド距離測定結果が決定されるようになっていてもよい。同様に、いくつかの実施形態において、ユーザによる文章の音読を比較する実施態様等の場合は、レーベンシュタイン距離が決定されるようになっていてもよい。異なる時間区分の音素特性集合間の差に基づいて、ユーザの呼吸器疾患に関する判定がなされるようになっていてもよい。たとえば、本開示の一実施形態では、ユーザが概して呼吸器疾患である旨、ユーザが特定種類の呼吸器疾患(たとえば、インフルエンザ)である旨、ならびに/またはある期間にわたってユーザの呼吸器疾患が悪化している旨、改善している旨、および/もしくは変化していない旨を判定するようにしてもよい。このように、本明細書に開示の技術は、音素特性の定量化可能な検出変化等、ユーザの呼吸器疾患の客観的なデータに基づいて、呼吸器感染症の可能性等、ユーザの呼吸器疾患に関する自動的な判定に利用されるようになっていてもよい。いくつかの実施形態において、これらの決定された音素特性間の差は、ユーザの将来(すなわち、将来時点)の呼吸器疾患の予測に利用されるようになっていてもよい。また、いくつかの実施形態においては、ユーザの呼吸器疾患の判定または予想のため、音素特性データと併せて、ユーザの生理学的データ、自己報告症状、睡眠データ、場所、および/または天候関連情報等のコンテキスト情報が利用されるようになっていてもよい。
ユーザの呼吸器疾患の判定に基づいて、コンピュータ機器が動作を開始するようにしてもよい。非限定的な一例として、この動作には、ユーザ、臨床医、またはユーザの介護者へのアラートまたは通知の電子的な伝達を含んでいてもよい。通知には、ユーザの呼吸器疾患に関する情報を含んでいてもよく、場合によっては、ユーザの呼吸器疾患の検出変化および/またはユーザの将来の呼吸器疾患の予想を含んでいてもよい。動作の別の例には、ユーザの判定または予想された呼吸器疾患に基づく処置または支援の推奨の伝達を含んでいてもよい。たとえば、この推奨には、ヘルスケア提供者への相談、既存の処方もしくは市販薬剤の継続(処方の補充等)、現在の処置手順の投薬量もしくは薬剤の修正、および/または呼吸器疾患のモニタリングの継続を含んでいてもよい。いくつかの態様において、上記動作には、ユーザのヘルスケア提供者の自動予約および/または処方の補充に関する通知の薬局への伝達等、上記または他の推奨のうちの1つまたは複数の開始を含んでいてもよい。
場合によっては、ユーザの音声サンプルからの音響特性情報を利用することにより、ユーザが症状を感じていなくても、呼吸器疾患(たとえば、ユーザが感染症である可能性)が判定されるようになっていてもよい。本明細書に開示の技術のいくつかの実施形態により提供されるこの機能は、症状の発現後の臨床医の訪問により取得される主観的または客観的なデータのみに依拠し得る従来技術に対する利点および改良である。この呼吸器疾患の早期検出および警告によって、疾患の継続期間および/または重症度を抑えるより効果的な処置が可能となり得る。さらに、早期検出を可能にするこれらの実施形態は、従来手法よりも早期に呼吸器疾患を警告することによって、重度急性呼吸器症候群コロナウイルス2(SARS-CoV-2)またはコロナウイルス感染症(COVID-19)等の呼吸器系のパンデミックとの闘いに特に有用と考えられる。疾患がウイルスまたは細菌を原因とする場合は、早期警告によって、ユーザが伝播に対する予防策(たとえば、マスクの着用、自己検疫、またはソーシャルディスタンスの実行)を直ちに講じることができるため、他者への伝播の可能性が低くなり得る。また、本開示の実施形態により提供される早期検出は、呼吸器感染症のワクチンおよび/または処置を研究する臨床試験においても有用と考えられる。いくつかの実施形態によれば、臨床試験で使用される従来技術で頻繁に発生する問題として病原体負荷が小さくなり過ぎる前に、参加者は、任意の症状が関心感染症と相関していることに関する確認を行い得る。
さらに、音声記録からの音響特性を利用して呼吸器疾患をモニタリングすることにより、呼吸器疾患の患者の処置の精度を向上可能となる。たとえば、患者に対する処置が時期尚早および/または期間が長すぎることなく、抗生物質等の処置が必要なタイミングをより正確に決定するため、本開示に従って、患者の潜在的な呼吸器疾患が音声記録を利用して自宅で追跡されるようになっていてもよい。さらに、本開示の実施形態に従って処置されている患者の疾患の進展を追跡することは、薬剤および/または投薬量の変更等、処置の変更が推奨されるか否かの判定に役立ち得る。このように、本明細書に開示の技術は、抗生物質/抗菌薬のより正確な利用を促進し得る。このような薬剤は、患者の呼吸器疾患で検出される客観的かつ定量化可能な変化に基づく処方または継続の必要があるためである。
以下、添付の図面を参照しつつ、本開示の態様を詳しく説明する。
本開示の態様の実施に適した例示的な動作環境のブロック図である。 本開示の態様の実施に適した例示的なコンピュータアーキテクチャを示した図である。 本開示の一実施形態に係る、呼吸器疾患をモニタリングする例示的なプロセスの図解表現を例示的に示した図である。 本開示の一実施形態に係る、呼吸器疾患をモニタリングするためのデータを収集する例示的なプロセスの図解表現を例示的に示した図である。 本開示の一実施形態を利用した例示的なシナリオを例示的に示した図である。 本開示の一実施形態を利用した例示的なシナリオを例示的に示した図である。 本開示の一実施形態を利用した例示的なシナリオを例示的に示した図である。 本開示の一実施形態を利用した例示的なシナリオを例示的に示した図である。 本開示の一実施形態を利用した例示的なシナリオを例示的に示した図である。 本開示の一実施形態を利用した例示的なシナリオを例示的に示した図である。 本開示の一実施形態に係る、例示的なグラフィカルユーザインターフェース(GUI)の一態様を示したコンピュータ機器からの例示的なスクリーンショットを例示的に示した図である。 本開示の一実施形態に係る、例示的なグラフィカルユーザインターフェース(GUI)の一態様を示したコンピュータ機器からの例示的なスクリーンショットを例示的に示した図である。 本開示の一実施形態に係る、例示的なグラフィカルユーザインターフェース(GUI)の一態様を示したコンピュータ機器からの例示的なスクリーンショットを例示的に示した図である。 本開示の一実施形態に係る、例示的なグラフィカルユーザインターフェース(GUI)の一態様を示したコンピュータ機器からの例示的なスクリーンショットを例示的に示した図である。 本開示の一実施形態に係る、例示的なグラフィカルユーザインターフェース(GUI)の一態様を示したコンピュータ機器からの例示的なスクリーンショットを例示的に示した図である。 本開示の一実施形態に係る、呼吸器疾患をモニタリングする例示的な方法を例示的に示したフロー図である。 本開示の別の実施形態に係る、呼吸器疾患をモニタリングする例示的な方法を例示的に示したフロー図である。 本開示の一実施形態に係る、例示的な音響特性の経時的な変化の表現を例示的に示した図である。 本開示の一実施形態に係る、呼吸器感染症の症状の減衰定数のグラフ表現を例示的に示した図である。 本開示の一実施形態に係る、音響特性と呼吸器感染症の症状との相関のグラフ表現を例示的に示した図である。 本開示の一実施形態に係る、例示的な患者の自己報告症状スコアの経時的な変化のグラフ表現を例示的に示した図である。 本開示の一実施形態に係る、異なる音響特性に対して演算された距離測定基準と自己報告症状スコアとの順位相関のグラフ表現を例示的に示した図である。 本開示の一実施形態に係る、異なる音響特性に対して演算された距離測定基準と自己報告症状スコアとの順位相関のグラフ表現を例示的に示した図である。 本開示の一実施形態に係る、異なる患者に対する距離測定基準と自己報告症状スコアとの順位相関のグラフ表現を例示的に示した図である。 本開示の一実施形態に係る、音響特性種類と音素との統計的に有意な相関を例示的に示した図である。 本開示の一実施形態に係る、3人の例示的な患者の音響特性および自己報告症状の経時的な相対変化のグラフ表現を例示的に示した図である。 本開示の一実施形態に係る、呼吸器感染症検出器の性能の例示的な表現を例示的に示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の種々実施形態に係る、呼吸器疾患をモニタリングするための音響特性を抽出する例示的なコンピュータプログラムルーチンを示した図である。 本開示の一実施形態の実現における使用に適した例示的なコンピュータ環境のブロック図である。
本開示の主題は、法定要件を満たすためにさまざまな態様を用いることにより、本明細書において具体的に記載される。ただし、記載自体が本特許の範囲を制限することは意図されない。特許請求の範囲に係る主題は、他の方法での具現化により、現在または将来の他の技術と併せて、本開示に記載のものと類似の異なるステップまたはステップの組み合わせを含むことも考えられる。さらに、本明細書においては、採用方法のさまざまな要素の含意のため、用語「ステップ(step)」および/または「ブロック(block)」が用いられる場合があるものの、これらの用語は、個々のステップの順序が明示的に記載されている場合を除いて、本明細書に開示のさまざまなステップ間の任意特定の順序を暗示するものとして解釈されるべきではない。本明細書に記載の各方法は、ハードウェア、ファームウェア、および/またはソフトウェアの任意の組み合わせを用いて実行され得るコンピュータプロセスを含んでいてもよい。たとえば、コンピュータメモリに格納された命令を実行するプロセッサにより、さまざまな機能が実行されるようになっていてもよい。また、これらの方法は、コンピュータ記憶媒体に格納されたコンピュータ使用可能命令として具現化されていてもよい。これらの方法は、数例を挙げるなら、スタンドアロンのアプリケーション、サービスもしくはホスティングサービス(スタンドアロンもしくは別のホスティングサービスとの組み合わせ)、または別の製品へのプラグインによって提供され得る。
本開示の態様は、呼吸器疾患モニタリングおよびケア用コンピュータ化意思決定支援ツールに関する。呼吸器疾患は、毎年多くの人々に影響を及ぼし、軽度から重度までの症状を伴う。このような呼吸器疾患には、細菌性因子もしくはインフルエンザ等のウイルス性因子を原因とする呼吸器感染症または非感染性の呼吸器系症状を含み得る。本開示のいくつかの態様では呼吸器感染症を記載するが、このような態様は、呼吸器疾患全般に当てはまり得ると考えられる。
患者は通常、新規または軽度の呼吸器症状を検出するほか、症状の変化(すなわち、症状の悪化または改善)を定量化することに困難を感じている。従来は、患者がヘルスケア専門家を受診し、試料分析が実行された場合にのみ、呼吸器疾患の客観的な尺度が決定される。ただし、感染した患者の体内では、自己報告症状よりも前に、呼吸器感染症の原因となり得るウイルスまたは細菌のレベルが通常ピークとなり、診断を受けるまでは患者が感染に気付かないことが多い。たとえば、インフルエンザまたはコロナウイルス感染症2019(COVID-19)の患者は、症状を感じる前に他者に感染させる可能性がある。感染症等の呼吸器疾患の軽度の症状を早い段階で客観的に測定できなければ、感染症の他者への伝播、呼吸器疾患の長期化、および呼吸器疾患の重症化の可能性が高くなる。
呼吸器疾患のモニタリングおよびケアを改善するため、本開示の実施形態は、ユーザの音声記録からの音響データに基づいてユーザの呼吸器疾患の判定および/またはユーザの将来の呼吸器疾患の予想を行うための1つまたは複数の意思決定支援ツールを提供可能である。たとえば、ユーザが音声記録を通じてオーディオデータを提供することにより、オーディオデータ中の音素の音響特性(本明細書においては、音素特性と称される場合もある)が決定されるようになっていてもよい。一実施形態においては、異なる時間区分にそれぞれ対応する複数の音声記録が受信されるようになっていてもよい(たとえば、数日間にわたって、音声記録が毎日取得されるようになっていてもよい)。ユーザの呼吸器疾患の経時的な変化の有無等、ユーザの呼吸器疾患に関する情報を決定するため、異なる時間区分の音素特性値が比較されるようになっていてもよい。ユーザの呼吸器疾患の判定に基づいて、アラートまたは意思決定支援推奨等の動作がユーザおよび/またはユーザの臨床医に対して自動的に与えられるようになっていてもよい。
一実施形態においては、本明細書に別途記載の通り、マイク等のセンサを利用してモニタリング患者(本明細書においては、ユーザと称される場合もある)から音響情報が受信されるようになっていてもよい。音響情報には、ユーザの音声(たとえば、発声または他の呼吸音)の1つまたは複数の記録を含んでいてもよい。音声記録には、たとえば持続的な発声(たとえば、「アーア」)、計画された発話、または無計画の発話のオーディオサンプルを含んでいてもよい。マイクは、スマートフォン、スマートウォッチ、またはスマートスピーカ等のユーザコンピュータ機器に組み込まれていてもよいし、あるいは結合されていてもよい。場合によっては、ユーザの自宅またはユーザの日々の活動において音声オーディオサンプルが記録されるようになっていてもよく、また、スマートスピーカ等のユーザコンピュータ機器とのユーザの日常的な相互作用中に記録されたデータを含んでいてもよい。
また、いくつかの実施形態では、ユーザの呼吸器疾患のモニタリングに使用可能なオーディオデータを提供する手順にユーザをガイドする命令を生成および/または提供するようにしてもよい。たとえば、図4A、図4B、および図4Cはそれぞれ、ユーザコンピュータ機器(または、ユーザ機器)が評価行使の一部として(たとえば、テキストおよび/または可聴指示の形態の)指示をユーザに対して出力しているシナリオを示している。これらの指示は、特定音の発声をユーザに促し、いくつかの実施形態では、発声の継続時間を指示する(たとえば、「『アー(aah)』という音を5秒間言い続けてください」)。いくつかの実施形態においては、指示によって、
等の基本母音のうちの1つの発声等の発声を可能な限り長く保持または維持することをユーザに求めるようにしてもよい。また、いくつかの実施形態においては、書かれた文章の音読をユーザに求めることを指示に含む。いくつかの実施形態には、開始/終了のタイミング、長く話すこと、長時間にわたって保持すること、バックグラウンドノイズの低減、および/または品質管理のための他のフィードバックのユーザへの指示等、音声サンプルを使用可能にするフィードバックをユーザに与えることをさらに含んでいてもよい。
いくつかの実施形態においては、ユーザから受信されたオーディオデータから、音素等の音響および音声情報が検出されるようになっていてもよい。一実施形態において、検出音素には、音素
を含み得る。別の実施形態において、検出音素には、音素
を含む。本明細書に記載の技術のいくつかの実施形態において、検出音素は、呼吸器疾患の検出およびモニタリング用のバイオマーカの決定に利用されるようになっていてもよい。音素が検出されると、オーディオデータから、検出音素の音響特性が抽出または決定され得る。音響特性の例としては、パワーおよびパワー変動性、ピッチおよびピッチ変動性、スペクトル構造、ならびに/またはフォルマントの尺度を特徴付けるデータが挙げられるが、これらに限定されない。いくつかの実施形態においては、オーディオデータにおいて検出された異なる音素に対して、異なる特性集合(すなわち、音響特性の異なる組み合わせ)が決定されるようになっていてもよい。例示的な一実施形態においては、音素
に対して12個の特性が決定され、音素
に対して12個の特性が決定され、音素
に対して8つの特性が決定される。いくつかの実施形態においては、音素の検出の容易化および/または音素特性の決定のため、前処理または信号調節動作が実行されるようになっていてもよい。これらの動作には、たとえばオーディオサンプルデータのトリミング、周波数フィルタリング、正規化、バックグラウンドノイズの除去、断続的なスパイク、他の音響アーチファクト、または本明細書に記載のような他の動作を含んでいてもよい。
オーディオデータが経時的にユーザから取得されるため、音素特性ベクトルを含み得る複数の音素特性集合が生成され、異なる時間区分と関連付けられ得る。いくつかの実施形態においては、ユーザの音素特性集合と関連付けられた時間情報に従って、時間順または逆時間順に連続する特性集合により時系列が組み立てられていてもよい。異なる時点または時間区分で関連付けられた特性集合内の特性の値の差または変化が決定されるようになっていてもよい。たとえば、異なる時点または時間区分と関連付けられた1つまたは複数の音素特性ベクトルを比較することにより、ユーザの音素特性ベクトルの差が決定されるようになっていてもよい。一実施形態において、この差は、特性ベクトル間のユークリッド距離等の距離測定基準を演算することにより決定されるようになっていてもよい。場合によっては、比較に利用される音素特性集合のうちの1つがユーザの健康基準を表す。健康基準の特性集合は、ユーザが呼吸器疾患ではないことが把握されている場合または推定される場合に取得されたオーディオデータに基づいて決定されるようになっていてもよい。同様に、ユーザが呼吸器疾患であることが把握されている場合または推定される場合に取得されたオーディオデータに基づいて決定された疾病基準の特性集合が利用されるようになっていてもよい。
異なる時間の音素特性集合間の差に基づいて、呼吸器疾患に関するユーザの判定に関する情報が提供されるようになっていてもよい。いくつかの実施形態においては、本明細書に別途記載の通り、この決定が呼吸器疾患スコアとして提供されるようになっていてもよい。呼吸器疾患スコアは、(たとえば全般的に、任意の呼吸器疾患または特定の呼吸器疾患に関して)ユーザが感染症等の呼吸器疾患である(または、呼吸器疾患ではない)可能性または確率に対応していてもよい。この代替または追加として、呼吸器疾患スコアは、ユーザの呼吸器疾患が改善しているか、悪化しているか、または変化していないかを示すものであってもよい。たとえば、図4Fの例示的なシナリオは、本明細書に記載の通り、ユーザの音声情報の解析に基づいて、ユーザが呼吸器疾患から回復していないものと判定される一実施形態を示している。他の実施形態において、呼吸器疾患スコアは、将来の時間区分内でユーザが呼吸器疾患を発症する可能性、依然として罹患している可能性、または回復する可能性を示すものであってもよい。図4Eの例示的なシナリオは、風邪をひいているユーザが次の3日以内に良くなることが予測される一実施形態を示している。
いくつかの実施形態においては、ユーザの呼吸器疾患の判定または予測のため、ユーザの音声情報のほか、コンテキスト情報が利用されるようになっていてもよい。本明細書に別途記載の通り、コンテキスト情報としては、体温、睡眠データ等のユーザの生理学的データ、移動情報、自己報告症状、場所、または天候関連情報が挙げられるが、これに限定されない。自己報告症状データには、たとえばユーザが鼻づまり等の特定の症状を感じているか否かを含んでいてもよく、さらに、その症状の体感的な程度または重症度の評価を含んでいてもよい。場合によっては、ユーザの症状情報を取得するため、症状自己報告ツールが利用されるようになっていてもよい。いくつかの実施形態においては、ユーザの音声関連データの分析またはユーザの呼吸器疾患の判定に基づいて、自己報告情報を提供するための自動指示(または、症状データの報告をユーザに要求する通知)が発生するようになっていてもよい。図4Dの例示的なシナリオは、ユーザの音声の解析に基づいて、ユーザが発病している可能性があるものと判定される一実施形態を示している。本実施形態においては、モニタリング用ソフトウェアアプリケーションがユーザに対して、たとえばユーザが特定の呼吸器関連症状(たとえば、鼻づまり、疲労等)を感じているかを尋ねるようにしてもよい。図4Dの例は、鼻づまりを認めたユーザが鼻づまりの重症度を評価するように促されることをさらに示している。このユーザの自己報告症状は、ユーザの呼吸器疾患に関する付加的な判定または予想に利用されるようになっていてもよい。いくつかの実施形態においては、ユーザの生理学的データ(心拍数、体温、睡眠、もしくは他のデータ等)、天候関連情報(たとえば、湿度、温度、汚染、もしくは類似データ)、場所、または本明細書に記載の他のコンテキスト情報(ユーザの地域における呼吸器感染症の流行に関する情報等)といった他のコンテキスト情報が利用されるようになっていてもよい。
ユーザの呼吸器疾患(疾患の変化(または、変化の無さ)を含み得る)の判定に基づいて、コンピュータ機器が動作を開始するようにしてもよい。この動作には、たとえばユーザ、臨床医、またはユーザの介護者へのアラートまたは通知の電子的な伝達を含んでいてもよい。いくつかの実施形態において、通知またはアラートには、呼吸器疾患スコア、ユーザの呼吸器疾患の変化を定量化もしくは特徴付ける情報、呼吸器疾患の現在の状態、ならびに/またはユーザの将来の呼吸器疾患の予測等、ユーザの呼吸器疾患に関する情報を含んでいてもよい。いくつかの実施形態において、動作には、呼吸器疾患情報を処理してさらに意思決定することを含んでいてもよく、これは、ユーザの呼吸器疾患に基づく処置および支援の推奨を含んでいてもよい。たとえば、この推奨には、ヘルスケア提供者への相談、既存の処方もしくは市販薬剤の継続(処方の補充等)、現在の処置手順の投薬量もしくは薬剤の修正、および/または呼吸器疾患のモニタリングの修正もしくは無修正(すなわち、継続)を含んでいてもよい。いくつかの態様において、上記動作には、ユーザのヘルスケア提供者の自動予約および/または処方の補充に関する通知の薬局への伝達等、上記または他の推奨のうちの1つまたは複数の開始を含んでいてもよい。図4Fの例示的なシナリオは、ユーザの呼吸器疾患が改善していない旨の判定に基づいて、ユーザの医師にそのことが通知され、抗生物質の処方が補充されるとともにユーザへの送達がスケジューリングされる一実施形態を示している。
さらに別の種類の動作には、ユーザの呼吸器疾患のモニタリングまたは処置と関連付けられた動作の自動的な開始または実行を含んでいてもよい。非限定的な一例として、この動作には、ユーザのヘルスケア提供者の自動予約、処方の補充に関する通知の薬局への送付、またはユーザの呼吸器疾患のモニタリングと関連付けられた手順もしくはユーザの呼吸器疾患のモニタリングに利用されるコンピュータ動作の修正を含んでいてもよい。例示的な動作の一実施形態においては、ユーザの音声関連データの取得または解析に利用されるコンピュータプログラミング動作等の音声解析手順が修正される。このような一実施形態においては、一日に2回等、より高頻度に音声サンプルを提供することをユーザが促されるようになっていてもよいし、コンピュータ機器との日常的な相互作用から音声情報が収集される実施形態等においては、音声情報がより高頻度に収集されるようになっていてもよい。別のこのような実施形態においては、呼吸器疾患モニタリングアプリケーションにより収集または解析された特定の音素または特性情報が修正されるようになっていてもよい。一実施形態においては、過去に提供された音と異なる一組の音を出すようにユーザが指示され得るように、コンピュータプログラミング動作が修正されるようになっていてもよい。同様に、別の種類の動作においては、上述のような症状データを提供することをユーザに促すように、コンピュータプログラミング動作が修正されるようになっていてもよい。
とりわけ、本明細書に開示の技術の実施形態により提供され得る利点として、感染症等の呼吸器疾患の早期検出がある。これらの実施形態によれば、患者が病気を疑う前に(たとえば、ユーザが症状を感じる前に)、はるかに軽度の呼吸器症状または呼吸器疾患の兆候を検出するとともに、患者またはヘルスケア提供者に注意を促すため、呼吸音を含むユーザの発声の音響特性が利用されるようになっていてもよい。呼吸器疾患の早期検出によって、感染症の継続期間および/または重症度を抑えるより効果的な介入につながる可能性がある。また、呼吸器感染症の早期検出は、他の患者への伝播のリスクを低減可能である。他の患者が実行する前に、マスクの着用または自己検疫等、感染した患者が伝播に対して予防策を講じることができるためである。このように、これらの実施形態は、ユーザによる症状の報告に依存するため疾患の検出が遅くなる(または、検出されない)従来の呼吸器疾患(呼吸器感染症を含む)の検出手法に対する改良を提供する。また、これら従来の手法は、ユーザの自己報告データの主観性のため、低精度または不正確である。
また、呼吸器感染症の早期検出は、臨床試験においても有益となり得る。たとえば、ワクチンの臨床試験においては、患者の症状と関心感染症との相関の確認が求められる。患者が十分早期に診断されない場合は、患者の病原体負荷があまりにも小さくなるため、関心感染症に対する患者の症状の相関を確認できなくなる可能性もある。確認なしでは、患者が試験に参加することも不可能である。したがって、本明細書に記載の実施形態は、より効果的な処置のための早期検出に利用されるのみならず、臨床試験に利用される場合は、より多くの試験参加によって、新たな潜在的処置またはワクチンの開発が可能となり得る。
本明細書に開示の技術の実施形態により提供され得る別の利点として、ユーザが呼吸器疾患のモニタリングを順守する可能性が高くなる。たとえば、本明細書に別途記載の通り、自宅または診療所から離れた場所で、いくつかの態様においては、患者の負担がほとんどない日課(たとえば、日常会話)を行っている時間にユーザの音声記録が目立たずに取得されるようになっていてもよい。ユーザデータの取得を含めて、呼吸器疾患をモニタリングする低負担の方法は、ユーザの順守を高めるため、早期検出の保証に役立ち得るとともに、呼吸器疾患をモニタリングする従来の手法に対する別の改良を提供可能である。
本明細書に開示の技術の実施形態により提供され得るさらに別の利点として、呼吸器疾患の患者の処置における精度の向上がある。特に、本開示の実施形態のうちのいくつかでは、感染症等の潜在的な呼吸器疾患の追跡によって、疾患が悪化しているか、改善しているか、または変化していないかを判定可能であり、これは、患者の処置に影響を及ぼす可能性がある。たとえば、初期症状が軽度の患者は、即座の投薬または治療を要しない場合もある。本開示のいくつかの実施形態は、疾患の進展のモニタリングならびに処置(たとえば、投薬)が必要となり得る状態もしくは推奨される状態まで疾患が悪化した場合の患者および/もしくはヘルスケア提供者への注意喚起に利用されるようになっていてもよい。また、本開示の実施形態では、感染症等の呼吸器疾患から患者が回復しているか否か、ひいては、薬剤および/または投薬量の変更等の処置の変更が推奨されるか否かを判定するようにしてもよい。別の例において、本開示の実施形態では、特定の抗がん剤等、潜在的な呼吸器関連副作用を伴う薬剤をユーザが処方された場合のユーザの呼吸器疾患を判定するとともに、ユーザが呼吸器関連副作用を起こしているか否か、およびその程度に基づいて、処置の変更が推奨されるかを判定するようにしてもよい。このように、本明細書に記載の技術のいくつかの実施形態は、薬剤、特に、抗生薬/抗菌薬等の特定の薬剤のより正確な利用を可能にすることによって、従来技術に対する改良を提供可能である。このような薬剤は、患者の呼吸器疾患で検出される定量化可能な変化に基づく処方または継続がなされ得るためである。
ここで図1を参照して、本開示のいくつかの実施形態が採用され得る例示的な動作環境100を示したブロック図が提供される。この構成および本明細書に記載の他の構成は、例として示されるに過ぎないことが了解されるものとする。図1および他の図面に示される構成および要素(たとえば、装置、インターフェース、機能、順序、および機能のグループ化)の追加または代替として、他の構成および要素を使用可能であり、いくつかの要素は、明瞭化のため完全に省略される場合がある。さらに、本明細書に記載の要素の多くは、任意好適な組み合わせおよび場所において、離散または分散構成要素としての実現または他の構成要素と併せた実現がなされ得る機能的エンティティである。本明細書に記載のさまざまな機能または動作は、ハードウェア、ファームウェア、ソフトウェア、およびこれらの組み合わせを含む1つまたは複数のエンティティにより実行されている。たとえば、メモリに格納された命令を実行するプロセッサにより、いくつかの機能が実行されるようになっていてもよい。
図1に示されるように、例示的な動作環境100は、ユーザコンピュータ機器(同義で「ユーザ機器」と称される)102a,102b,102c~102nおよび臨床医ユーザ機器108等の多くのユーザ機器と、意思決定支援アプリケーション105aおよび105b等の1つまたは複数の意思決定支援アプリケーションと、電子健康レコード(EHR)104と、データストア150等の1つまたは複数のデータソースと、サーバ106と、センサ103等の1つまたは複数のセンサと、ネットワーク110と、を具備する。図1に示される動作環境100は、ある好適な動作環境の一例であることが了解されるものとする。図1に示される構成要素はそれぞれ、たとえば図16に関連して記載のコンピュータ機器1700等の如何なる種類のコンピュータ機器により実現されるようになっていてもよい。これらの構成要素は、1つまたは複数のローカルエリアネットワーク(LAN)および/またはワイドエリアネットワーク(WAN)を非限定的に含み得るネットワーク110を介して互いに通信するようになっていてもよい。例示的な実施態様において、ネットワーク110は、考え得る多様なパブリックネットワークおよび/またはプライベートネットワークのいずれかのうち、インターネットおよび/またはセルラーネットワークを含んでいてもよい。
動作環境100においては、本開示の範囲内の任意数のユーザ機器(102a~102nおよび108等)、サーバ(106等)、意思決定支援アプリケーション(105a、105b等)、データソース(データストア150等)、およびEHR(104等)が採用され得ることが了解されるものとする。各要素は、単一の機器または構成要素を備えていてもよいし、分散環境において協働する複数の機器または構成要素を備えていてもよい。たとえば、サーバ106は、本明細書に記載の機能を一体的に提供する分散環境に配置された複数の機器により提供されていてもよい。また、本明細書において図示されない他の構成要素が分散環境に含まれていてもよい。
ユーザ機器102a,102b,102c~102nおよび臨床医ユーザ機器108は動作環境100のクライアント側のクライアントユーザ機器であってもよく、一方、サーバ106は動作環境100のサーバ側であってもよい。サーバ106は、ユーザ機器102a,102b,102c~102nおよび108上のクライアント側ソフトウェアと連動するように設計されたサーバ側ソフトウェアを含むことにより、本開示において論じられる特徴および機能の任意の組み合わせを実現していてもよい。この動作環境100の区分は、好適な環境の一例を説明するために提供されており、サーバ106とユーザ機器102a,102b,102c~102nおよび108との任意の組み合わせが別個のエンティティのままであることを求めるものではない。
ユーザ機器102a,102b,102c~102nおよび108は、ユーザによる使用が可能な如何なる種類のコンピュータ機器を含んでいてもよい。たとえば、一実施形態において、ユーザ機器102a,102b,102c~102nおよび108は、本明細書の図16に関連して記載の種類のコンピュータ機器であってもよい。非限定的な一例として、ユーザ機器は、パソコン(PC)、ラップトップコンピュータ、モバイルもしくはモバイル機器、スマートフォン、スマートスピーカ、タブレットコンピュータ、スマートウォッチ、ウェアラブルコンピュータ、個人用デジタル補助(PDA)装置、音楽プレーヤもしくはMP3プレーヤ、全地球測位システム(GPS)、ビデオプレーヤ、手持ち式通信機器、ゲーム機器、娯楽システム、車両コンピュータシステム、組み込みシステムコントローラ、カメラ、リモートコントローラ、電化製品、家庭用電子機器、ワークステーション、またはこれらの機器の任意の組み合わせ、あるいはその他任意の好適なコンピュータ機器として具現化されていてもよい。
ユーザ機器102a,102b,102c~102n等のいくつかのユーザ機器は、センサ103等の1つまたは複数のセンサにより観測されているユーザによる使用が意図されていてもよい。いくつかの実施形態において、ユーザ機器は、(センサ103に類似の)組み込みセンサを具備していてもよいし、(103に類似の)外部センサと連動するようになっていてもよい。例示的な実施形態において、センサ103は、音響情報を検知する。たとえば、センサ103は、スマートスピーカ、スマートモバイル機器、スマートウォッチ等のスマート機器での実装、スマート機器を通じた実装、もしくはスマート機器に対する通信可能な結合、または、別個のマイク機器としての実装がなされた1つまたは複数のマイク(または、マイクアレイ)を含んでいてもよい。また、生理学的センサ(たとえば、心拍数、血圧、血中酸素濃度、体温、および関連するデータを検出するセンサ)等、他種のセンサがユーザ機器に組み込まれていてもよいし、ユーザ機器と協働するようになっていてもよい。ただし、本開示の実施形態に係る、患者に関する生理学的情報は、EHR104における患者の履歴データまたはヒトの測定結果もしくはヒトの観察結果から受け取られ得るとも考えられる。動作環境100において実装可能な別の種類のセンサとして、ユーザの場所を検出するように構成されたセンサ(たとえば、屋内測位システム(IPS)または全地球測位システム(GPS))、大気情報を検出するように構成されたセンサ(たとえば、温度計、湿度計、または気圧計)、周囲光を検出するように構成されたセンサ(たとえば、光検出器)、および運動を検出するように構成されたセンサ(たとえば、ジャイロスコープまたは加速度計)が挙げられる。
いくつかの態様において、センサ103は、ユーザにより携帯されるスマートフォン(ユーザ機器102c等)または患者が存在し得る1つもしくは複数のエリアに配置されたスマートスピーカ(ユーザ機器102b等)での動作またはこれらを通じた動作が可能であってもよい。たとえば、センサ103は、患者の自宅に配置されたスマートスピーカに組み込まれ、スマートスピーカからの最長距離内で発生する音情報(ユーザの音声を含む)を検知し得るマイクであってもよい。あるいは、装着者の身体またはその近傍に配置された機器への組み込み等、センサ103が他の方法で組み込まれ得るとも考えられる。他の態様において、センサ103は、たとえばユーザの皮膚に付着された皮膚パッチセンサ、摂取可能なセンサもしくは皮下センサ、またはユーザの生活環境(テレビ、サーモスタット、ドアベル、カメラ等の電化製品を含む)に組み込まれたセンサ構成要素であってもよい。
データは、センサ103により連続的、周期的、随時的、または利用可能となった場合に取得されるようになっていてもよい。さらに、センサ103により取得されたデータは、時間および日付情報と関連付けられていてもよく、また、1つまたは複数の時系列の測定変数として表されていてもよい。一実施形態において、センサ103は、生のセンサ情報を収集して、信号処理、変数決定統計値の形成、累積和、トレンド分析、ウェーブレット処理、閾値化、決定統計値の演算処理、決定統計値の論理処理、前処理、および/または信号条件を実行するようにしてもよい。いくつかの実施形態において、センサ103は、アナログオーディオ情報のデジタルオーディオサンプリングを実行するためのアナログ-デジタル変換器(ADC)および/または処理機能を含んでいてもよい。いくつかの実施形態において、デジタルオーディオサンプリングを実行してデジタルオーディオ情報を決定するアナログ-デジタル変換器および/または処理機能は、ユーザ機器102a~102nまたはサーバ106のいずれかに実装されていてもよい。あるいは、ユーザ機器102a~102nもしくは臨床医ユーザ機器108、サーバ106、および/または意思決定支援アプリケーション(アプリ)105aもしくは105b等のユーザ機器によって、これらの信号処理機能のうちの1つまたは複数が実行されるようになっていてもよい。
臨床医ユーザ機器108等のいくつかのユーザ機器は、センサ103と関連付けられたユーザを処置あるいはモニタリングしている臨床医により使用されるように構成されていてもよい。臨床医ユーザ機器108は、ユーザ機器102a~102nまたはサーバ106等の1つまたは複数のコンピュータ機器として具現化されていてもよく、また、ネットワーク110を通じてEHR104に通信結合されている。動作環境100は、臨床医ユーザ機器108とEHR104との間のネットワーク110を通じた間接的通信結合を示している。ただし、臨床医ユーザ機器108の一実施形態は、EHR104に直接、通信結合され得るとも考えられる。臨床医ユーザ機器108の一実施形態は、当該臨床医ユーザ機器108上のソフトウェアアプリケーションまたは一組のアプリケーションによって操作されるユーザインターフェース(図1には示さず)を含んでいてもよい。一実施形態において、このアプリケーションは、ウェブベースのアプリケーションまたはアプレットであってもよい。このアプリケーションの一例には、図3Aに関連して記載の例示的なダッシュボード3108等の臨床医ダッシュボードを含む。本明細書に記載の実施形態によれば、音響特性および/または呼吸器疾患データが決定され得る特定の患者または一組の患者に関する情報へのアクセスおよび受信をヘルスケア提供者アプリケーション(たとえば、臨床医ユーザ機器108上で動作し得るダッシュボードアプリケーション等の臨床医アプリケーション)が容易化し得る。臨床医ユーザ機器108(または、機器上で動作する臨床医アプリケーション)のいくつかの実施形態は、患者の履歴、ヘルスケアリソースデータ、生理学的変数もしくはデータ(たとえば、バイタルサイン)、測定結果、時系列、後述の予測(決定結果のプロットもしくは表示ならびに/またはアラートの発行を含む)、あるいは他のヘルスケア関連情報等、特定の患者または一組の患者に関する情報へのアクセスおよび受信をさらに容易化し得る。臨床医ユーザ機器108は、たとえば結果、推奨、または他の指示の表示をさらに容易化し得る。一実施形態において、臨床医ユーザ機器108は、本明細書に記載の呼吸器疾患のモニタリングおよび判定または予測の結果に基づく患者への指示の受け取りを容易化し得る。また、臨床医ユーザ機器108は、種々実施形態と併せて本明細書に記載の技術の性能の診断サービスまたは評価の提供に用いられるようになっていてもよい。
意思決定支援アプリケーション105aおよび105bの実施形態には、クラウドコンピューティング環境に分散した1つまたは複数のサーバ上に存在するソフトウェアアプリケーションまたは一組のアプリケーション(プログラム、ルーチン、機能、またはコンピュータ実行サービスを含み得る)(たとえば、意思決定支援アプリケーション105b)、あるいは、パソコン、ラップトップ、スマートフォン、タブレット、モバイルコンピュータ機器、もしくはバックエンドコンピュータシステムと連通したフロントエンド端末、またはユーザ機器102a~102nのいずれか等の1つまたは複数のクライアントコンピュータ機器上に存在するソフトウェアアプリケーションまたは一組のアプリケーション(プログラム、ルーチン、機能、またはコンピュータ実行サービスを含み得る)(たとえば、意思決定支援アプリケーション105a)を含んでいてもよい。一実施形態において、意思決定支援アプリケーション105aおよび105bには、本開示の一実施形態により提供されるユーザサービスへのアクセスに使用可能なクライアントベースおよび/またはウェブベースのアプリケーション(もしくは、アプリ)または一組のアプリケーション(もしくは、アプリ)を含んでいてもよい。このような一実施形態において、意思決定支援アプリケーション105aおよび105bはそれぞれ、本開示の実施形態により決定される予測および評価を含めて、ユーザ機器102a~102n、臨床医ユーザ機器108、センサ103、EHR104、またはデータストア150により取得された情報の処理、解釈、アクセス、格納、読み出し、および伝達を容易化し得る。
意思決定支援アプリケーション105aおよび105bを通じた情報の利用ならびに読み出しまたは関連する機能の利用には、患者または臨床医等のユーザの認証情報によるログインを要する場合がある。さらに、意思決定支援アプリケーション105aおよび105bは、臨床医、患者、関連するヘルスケア設備もしくはシステム、ならびに/または医療保険の携行性と責任に関する法律(HIPAA)の規約等の健康情報の保護に関して適用可能な地方および連邦規約により定められるプライバシ設定に従ってデータの格納および送信を行うようにしてもよい。
一実施形態において、意思決定支援アプリケーション105aおよび105bは、ネットワーク110を通じて臨床医ユーザ機器108またはユーザ機器102a~102nに直接、通知(警告または指示等)を伝達するようにしてもよい。これらのアプリケーションは、これらの機器上で動作していない場合、意思決定支援アプリケーション105aおよび105bが動作しているその他任意の機器に通知を表示するようにしてもよい。また、意思決定支援アプリケーション105aおよび105bは、臨床医ユーザ機器108またはユーザ機器102a~102nに保守指示を送信または表示するようにしてもよい。さらに、意思決定支援アプリケーション105aおよび105bにおけるインターフェースコンポーネントの使用によって、たとえば動作設定またはパラメータ、ユーザ識別、センサ103に格納されたユーザデータ、およびセンサ103の診断サービスまたはファームウェア更新等、センサ103の機能または情報へのユーザ(臨床医/介護者または患者を含む)によるアクセスを容易化するようにしてもよい。
さらに、意思決定支援アプリケーション105aおよび105bの実施形態では、センサ103から直接または間接的にセンサデータを収集するようにしてもよい。図2に関する記載の通り、意思決定支援アプリケーション105aおよび105bは、センサデータを利用して、音響特性を抽出または決定するとともに、呼吸器疾患および/または症状を判定するようにしてもよい。一態様において、意思決定支援アプリケーション105aおよび105bは、ユーザ機器102a~102nおよび108等のユーザ機器(図5A~図5Eに示される例示的なグラフィカルユーザインターフェース(GUI)等のさまざまなグラフィカルユーザインターフェース、オーディオユーザインターフェース、または他のユーザインターフェースを含む)を介して、上記のようなプロセスの結果をユーザに表示あるいは提供するようにしてもよい。このように、図2に関して以下に論じられる1つまたは複数の構成要素の機能は、意思決定支援アプリケーション105aもしくは105bとともに動作するコンピュータプログラム、ルーチン、もしくはサービス、意思決定支援アプリケーション105aもしくは105bの一部であるコンピュータプログラム、ルーチン、もしくはサービス、または意思決定支援アプリケーション105aおよび105bにより制御されるコンピュータプログラム、ルーチン、もしくはサービスによって実行されるようになっていてもよい。この追加または代替として、意思決定支援アプリケーション105aおよび105bは、図2の意思決定支援ツール290等の意思決定支援ツールを含んでいてもよい。
前述の通り、動作環境100は、モニタリング患者と関連付けられ得る1つまたは複数のEHR104を具備する。EHR104は、ネットワーク110を介して、ユーザ機器102a~102nおよび108に直接または間接的に通信結合されていてもよい。いくつかの実施形態において、EHR104は、さまざまなソースからの健康情報を表していてもよく、また、異なる臨床医ユーザ機器(108等)に対する別個のEHRシステム等の異なるレコードシステムとして具現化されていてもよい。結果として、臨床医ユーザ機器(108等)は、異なる提供者ネットワークまたはケア施設の臨床医に対するものであってもよい。
EHR104の実施形態は、データストア150に格納され得る健康レコードまたは健康情報の1つまたは複数のデータストアを含んでいてもよく、また、健康レコードの格納および読み出しを容易化する1つまたは複数のコンピュータまたはサーバ(サーバ106等)をさらに含んでいてもよい。いくつかの実施形態において、EHR104は、クラウドベースのプラットフォームとして実現されていてもよいし、複数の物理的な場所に分散していてもよい。EHR104は、たとえばウェアラブル、ベッドサイド、または家庭内患者モニタ等、リアルタイムまたは近リアルタイムの患者(または、ユーザ)情報を格納し得るレコードシステムをさらに具備していてもよい。
データストア150は、動作環境100または図2と併せて記載のシステム200のさまざまな構成要素のいずれかに対してデータを利用可能にするように構成された1つまたは複数のデータソースおよび/またはコンピュータデータストレージシステムを表していてもよい。一実施形態において、データストア150は、システム200のデータ収集コンポーネント210に対して利用可能となり得るセンサデータを提供するようにしてもよい(または、アクセスに利用可能としてもよい)。データストア150には、単一のデータストアまたは複数のデータストアを含んでいてもよく、また、ローカルおよび/またはリモートに配置されていてもよい。データストア150のいくつかの実施形態には、クラウド環境に配置されたサーバ(サーバ106等)上のストレージを含むネットワーク化ストレージまたは分散ストレージを含んでいてもよい。データストア150は、ユーザ機器102a~102nおよび108ならびにサーバ106から離散していてもよいし、これらの機器のうちの少なくとも1つとの組み合わせおよび/または一体化がなされていてもよい。
動作環境100は、音声データもしくはコンテキスト情報を収集するための構成要素もしくは動作を含めて、(図2に示されるとともに図2と併せて記載の)システム200の1つもしくは複数の構成要素もしくはこれらの構成要素により実行される動作の実装、このようなデータを収集するためのユーザとの相互作用の容易化、考え得る呼吸器疾患もしくは既知の呼吸器疾患(たとえば、呼吸器感染症もしくは非感染性の呼吸器症状)の追跡、および/または意思決定支援ツール(図2の意思決定支援ツール290等)の実装に利用されるようになっていてもよい。また、動作環境100は、それぞれ図6Aおよび図6Bと併せて記載のような方法6100および6200の態様の実現に利用されるようになっていてもよい。
ここで図2を参照するとともに図1を引き続き参照して、本開示の一実施形態の実現に適するとともにシステム200として大略指定される例示的なコンピュータシステムアーキテクチャの態様を示したブロック図が提供される。システム200は、好適なコンピュータシステムアーキテクチャの一例を表すに過ぎない。図示の構成および要素の追加または代替として、他の構成および要素が用いられるようになっていてもよく、いくつかの要素は、明瞭化のため完全に省略される場合がある。さらに、図1の動作環境100と同様に、本明細書に記載の多くの要素は、任意好適な組み合わせおよび場所において、離散もしくは分散構成要素としての実現または他の構成要素と併せた実現がなされ得る機能的エンティティである。
例示的なシステム200は、データ収集コンポーネント210、提示コンポーネント220、ユーザ音声モニタ260、ユーザ相互作用管理器280、呼吸器疾患追跡器270、意思決定支援ツール290、およびストレージ250等のシステム200の構成要素を通信結合する図1に関連して記載のネットワーク110を含む。たとえば図16に関連して記載のコンピュータ機器1700等の1つまたは複数のコンピュータシステム上で実行される一組のコンパイル済みコンピュータ命令もしくは機能、プログラムモジュール、コンピュータソフトウェアサービス、またはプロセスの構成として、上記構成要素のうちの1つまたは複数が具現化されていてもよい。
一実施形態において、システム200の構成要素により実行される機能は、1つまたは複数の意思決定支援アプリケーション、サービス、またはルーチン(図1の意思決定支援アプリケーション105aおよび105b)と関連付けられている。特に、このようなアプリケーション、サービス、またはルーチンは、1つもしくは複数のユーザ機器およびサーバでの分散またはクラウド環境(図示せず)における実装がなされた1つまたは複数のユーザ機器(ユーザ機器102aおよび/もしくは臨床医ユーザ機器108等)またはサーバ(サーバ106等)上で動作するようになっていてもよい。さらに、いくつかの実施形態において、システム200のこれらの構成要素は、クラウド環境において、1つもしくは複数のサーバ(サーバ106等)およびクライアント機器(ユーザ機器102a~102nもしくは臨床医ユーザ機器108等)を接続するネットワーク全体で分散していてもよいし、ユーザコンピュータ機器102a~102nまたは臨床医ユーザ機器108のいずれか等のユーザ機器上に存在していてもよい。さらに、これらの構成要素により実行される機能またはサービスは、コンピュータシステムのオペレーティングシステム層、アプリケーション層、ハードウェア層等の適当な抽象化層で実装されていてもよい。この代替または追加として、これらの構成要素および/または本明細書に記載の実施形態の機能は、1つまたは複数のハードウェア論理コンポーネントによって少なくとも部分的に実行されるようになっていてもよい。たとえば、使用可能なハードウェア論理コンポーネントの例示的な種類としては、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ・システム(SoC)、コンプレックスプログラマブルロジックデバイス(CPLD)等が挙げられるが、これらに限定されない。また、本明細書においては、例示的なシステム200に示される特定の構成要素に関して機能が記載されるが、いくつかの実施形態においては、これらの構成要素の機能を他の構成要素全体で共有または分散し得るとも考えられる。
引き続き図2を参照して、データ収集コンポーネント210は一般的に、本開示の実施形態において利用するため、図1のセンサ103および/またはデータストア150からのデータ等、1つまたは複数のデータソースからのデータのアクセスまたは受信(および、場合により識別)を担うようにしてもよい。いくつかの実施形態において、データ収集コンポーネント210は、ユーザ音声モニタ260、ユーザ相互作用管理器280、および/または呼吸器疾患追跡器270等、システム200の他の構成要素に対して、特定のユーザ(または場合により、クラウドソースデータを含む複数のユーザ)について取得されたセンサデータの蓄積を容易化するために採用されたものであってもよい。このデータは、データ収集コンポーネント210による受信(または、アクセス)、蓄積、再フォーマット化、および/または結合がなされ、ストレージ250等の1つまたは複数のデータストアに格納されることにより、システム200の他の構成要素に利用可能となり得る。たとえば、本明細書に記載の通り、ユーザデータは、患者レコード240に格納されていてもよいし、患者レコード240と関連付けられていてもよい。この追加または代替として、いくつかの実施形態においては、個人識別可能な如何なるデータ(すなわち、特定のユーザを具体的に識別するユーザデータ)もアップロードされず、1つまたは複数のデータソースからも提供されず、永久に保存されることおよび/またはシステム200の他の構成要素に利用可能となることもない。一実施形態においては、ユーザのプライバシが保護されるように、ユーザ関連データの暗号化等のセキュリティ対策が実施される。別の実施形態において、ユーザは、本明細書に記載の技術により提供されるサービスに対する参加もしくは脱退、ならびに/または、これらの技術により利用されるユーザデータおよび/もしくはユーザデータソースの選択が可能となる。
本開示の実施形態において利用されるデータは、多様なソースから受信されるようになっていてもよく、また、多様なフォーマットにて利用可能であってもよい。たとえば、いくつかの実施形態においては、データ収集コンポーネント210を介して受信されるユーザデータが1つまたは複数のセンサ(図1のセンサ103等)を介して決定されるようになっていてもよいし、1つまたは複数のユーザ機器(ユーザ機器102a等)、サーバ(サーバ106等)、ならびに/または他のコンピュータ機器に格納されていてもよいし、これらと関連付けられていてもよい。本明細書における使用の通り、センサは、データストア150からのユーザデータ等の情報を検知、検出、あるいは取得する機能、ルーチン、コンポーネント、またはこれらの組み合わせを含んでいてもよく、また、ハードウェア、ソフトウェア、または両者として具現化されていてもよい。前述の通り、非限定的な一例として、1つまたは複数のセンサにより検知または決定されるデータには、音響情報(ユーザの発話、発言、呼吸、咳、もしくは他の声音を含む)、モバイル機器により決定可能な屋内測位システム(IPS)もしくは全地球測位システム(GPS)データ等の場所情報、温度、湿度、および/もしくは汚染等の大気情報、体温、心拍数、血圧、血中酸素濃度、睡眠関連情報等の生理学的情報、加速度計もしくはジャイロスコープデータ等の運動情報、ならびに/または光検出器情報等の周囲光情報を含んでいてもよい。
いくつかの態様において、データ収集コンポーネント210により収集されるセンサ情報には、本明細書に記載の通り、ユーザ機器の別の特性または特徴(機器状態、充電データ、日付/時間、またはモバイル機器もしくはスマートスピーカ等のユーザ機器に由来する他の情報等)、ユーザ活動情報(たとえば、アプリ使用、オンライン活動、オンライン検索、自動発話認識等の音声データ、または活動ログ)(いくつかの実施形態においては、2つ以上のユーザ機器で発生するユーザ活動を含む)、ユーザ履歴、セッションログ、アプリケーションデータ、連絡先、カレンダーおよびスケジュールデータ、通知データ、ソーシャルネットワークデータ、ニュース(たとえば、検索エンジン、ソーシャルネットワーク上の人気またはトレンド項目、ある地理的地域における呼吸器感染症の数または割合に関する情報を提供し得る保健所の通知を含む)、eコマース活動(アマゾン(Amazon.com)(登録商標)、グーグル(Google)(登録商標)、イーベイ(eBay)(登録商標)、ペイパル(PayPal)(登録商標)等のオンラインアカウントからのデータを含む)、ユーザアカウントデータ(個人用補助アプリケーションまたはサービスと関連付けられたユーザ選好または設定からのデータを含み得る)、ホームセンサデータ、電化製品データ、車両信号データ、交通データ、他のウェアラブルデバイスデータ、他のユーザ機器データ(たとえば、機器設定、プロファイル、ネットワーク関連情報(たとえば、ネットワーク名またはID、ドメイン情報、ワークグループ情報、接続データ、ワイヤレスフィデリティ(Wi-Fi)ネットワークデータ、設定データ、たとえばユーザがBluetoothヘッドセットとペアリングされた携帯電話を有する場合のモデル番号、ファームウェア、機器、デバイスペアリングに関するデータ、または他のネットワーク関連情報))、支払いまたはクレジットカード使用データ(たとえば、ユーザのペイパル(登録商標)アカウントからの情報を含み得る)、購入履歴データ(ユーザのアマゾン(登録商標)またはオンラインドラッグストアのアカウントからの情報等)、ユーザと関連付けられたセンサコンポーネントに由来するデータを含むセンサ(または、他の検出器)コンポーネントにより感知あるいは検出され得る他のセンサデータ(場所、運動、配向、位置、ユーザアクセス、ユーザ活動、ネットワークアクセス、ユーザ機器充電、または1つもしくは複数のセンサコンポーネントにより提供され得る他のデータを含む)、他のデータ(たとえば、Wi-Fi、セルラーネットワーク、またはインターネットプロトコル(IP)アドレスデータに由来し得る位置データ)に基づいて導出されるデータ、ならびに検知または決定がなされ得る略その他任意のデータソースを含んでいてもよい。
いくつかの態様において、データ収集コンポーネント210は、データストリームまたは信号の形態で収集されたデータを提供するようにしてもよい。「信号」は、対応するデータソースからのデータのフィードまたはストリームであってもよい。たとえば、ユーザ信号としては、スマートスピーカ、スマートフォン、ウェアラブルデバイス(たとえば、フィットネストラッカーもしくはスマートウォッチ)、ホームセンサ機器、GPS機器(たとえば、位置座標用)、車両センサ機器、ユーザ機器、カレンダーサービス、電子メールアカウント、クレジットカードアカウント、サブスクリプションサービス、ニュースもしくは通知フィード、ウェブサイト、ポータル、またはその他任意のデータソースから取得されたユーザデータも可能である。いくつかの実施形態において、データ収集コンポーネント210は、連続的、周期的、または随時的なデータの受信またはアクセスを行う。
さらに、動作環境200のユーザ音声モニタ260は一般的に、呼吸器疾患の検出またはモニタリングに利用可能なユーザの音声関連データの収集または決定を担うものであってもよい。音声関連データ(voice-related data)という用語(本明細書においては、同義で「音声データ」または「音声情報」と称される)は、本明細書において広義に使用されており、非限定的な一例として、ユーザの発話、発声もしくは声音を含む発言、または呼吸、咳、くしゃみ、もしくは嗅音等、ユーザの口もしくは鼻により生成される他の音と関連するデータを含んでいてもよい。ユーザ音声モニタ260の実施形態は、データ収集コンポーネント210により受信され得るオーディオまたは音響情報(たとえば、発声または音声サンプルのオーディオ記録)、および、いくつかの態様においてはコンテキスト情報の取得を容易化し得る。ユーザ音声モニタ260の実施形態では、このオーディオデータから、音素特性等の関連する音声関連情報を決定するようにしてもよい。ユーザ音声モニタ260は、連続的、周期的、または随時的にデータを受信するようにしてもよく、同様に、呼吸器疾患のモニタリングに利用される音声情報を連続的、周期的、または随時的に抽出あるいは決定するようにしてもよい。
システム200の例示的な実施形態において、ユーザ音声モニタ260は、録音最適化器2602、音声サンプル収集器2604、信号作成プロセッサ2606、サンプル記録検査器2608、音素分割器2610、音響特性抽出器2614、およびコンテキスト情報決定器2616を備えていてもよい。ユーザ音声モニタ260の別の実施形態(図示せず)においては、これらの副構成要素のうちの一部のみが具備されていてもよいし、付加的な副構成要素が追加されていてもよい。本明細書において別途説明される通り、信号作成プロセッサ2606等、ユーザ音声モニタ260の1つまたは複数の構成要素が生の音響データ等のオーディオデータに対して前処理動作を実行するようにしてもよい。いくつかの実施形態においては、データ収集コンポーネント210に従って付加的な前処理が実行され得るとも考えられる。
録音最適化器2602は一般的に、使用可能なオーディオデータを取得するための適正な設定または最適化された設定の決定を担うものであってもよい。上述の通り、本明細書に記載の技術の実施形態は、自宅環境において利用されるようになっていてもよいし、研究所または診療所等の管理された環境以外の状況においてエンドユーザにより利用されるようになっていてもよい。したがって、いくつかの実施形態には、ユーザの呼吸器疾患のモニタリングに使用される十分な品質のオーディオデータの取得を容易化する機能を含んでいてもよい。特に、一実施形態において、録音最適化器2602は、オーディオデータ音声関連情報の取得のための最適化された設定による上記のような機能の提供に利用されるようになっていてもよい。例示的な一実施形態においては、センサの調節または信号強度、指向性、感度、周波数、および信号対雑音比(SNR)等の他の音響パラメータ(たとえば、マイクパラメータ)の修正によって、最適化された設定が提供されるようになっていてもよい。録音最適化器2602は、状況が適正な設定のための予め定められた範囲内であるものと判定するようにしてもよいし、予め定められた閾値を満たすようにしてもよい(たとえば、ユーザの音声データがオーディオデータから取得され得るように、マイクの感度またはレベルが十分に調整される)。いくつかの実施形態において、録音最適化器2602は、記録が開始されたか否かを判定するようにしてもよい。また、いくつかの実施形態において、録音最適化器2602は、サンプリングレートが閾値サンプリングレートを満たすか否かを判定するようにしてもよい。例示的な一実施形態において、録音最適化器2602は、オーディオ信号がナイキストレート(場合によっては、44.1キロヘルツ(kHz)の最小レートを含む)でサンプリングされているものと判定するようにしてもよい。また、録音最適化器2602は、ビット深度が16ビット等の閾値を満たすものと判定するようにしてもよい。さらに、いくつかの実施形態において、録音最適化器2602は、マイクが調節されたか否かを判定するようにしてもよい。
いくつかの実施形態において、録音最適化器2602は、初期化モードの実行により、マイクが配置される特定の環境に対してマイクレベルを最適化するようにしてもよい。初期化モードには、録音最適化器2602が特定の環境に対する適当なレベルを決定するため、音の再生または音の発生をユーザに促すことを含んでいてもよい。また、初期化モードにおいて、録音最適化器2602は、ユーザ入力を要求する際に、ユーザが通常マイクに対して対向または位置する場所に対向または位置することをユーザに促すようにしてもよい。ユーザフィードバック(すなわち、音声記録)に基づいて、初期化モードにおいては、録音最適化器2602が将来の記録セッションのために最適化された設定を提供するため、オーディオ収集および処理コンポーネントを設定するための範囲、閾値、および/または他のパラメータを決定するようにしてもよい。いくつかの実施形態において、録音最適化器2602は、この追加または代替として、使用可能なオーディオデータの取得を容易化するための信号処理機能または設定(たとえば、後述のようなノイズキャンセリング)を決定するようにしてもよい。
いくつかの実施形態において、録音最適化器2602は、信号作成プロセッサ2606との協働による前処理によって、好適な設定を実現するための最適化された調整(たとえば、レベルの調整または増幅)を行うようにしてもよい。あるいは、録音最適化器2602は、センサの設定によって、信号強度等の特定のパラメータに対して予め定められた範囲または閾値内のレベルを実現するようにしてもよい。
図2に示されるように、録音最適化器2602は、一般的にバックグラウンドノイズの識別および、いくつかの実施形態において、除去または低減を担い得るバックグラウンドノイズ解析器2603を具備していてもよい。いくつかの実施形態において、バックグラウンドノイズ解析器2603は、ノイズ強度レベルが最大閾値を満たすことを確認するようにしてもよい。たとえば、バックグラウンドノイズ解析器2603は、ユーザの記録環境における周囲ノイズが30デシベル(dB)未満であるものと判定するようにしてもよい。バックグラウンドノイズ解析器2603は、(テレビまたはラジオから到来するような)発話を確認するようにしてもよい。また、バックグラウンドノイズ解析器2603は、たとえば子どもの叫び声、大きな時計の音、またはモバイル機器の通知の結果と考えられる断続的なスパイクまたは類似の音響アーチファクトを確認するようにしてもよい。
いくつかの実施形態において、バックグラウンドノイズ解析器2603は、記録が開始された後、バックグラウンドノイズチェックを実行するようにしてもよい。このような一実施形態において、バックグラウンドノイズチェックは、(音素分割器2610と併せて記載される通りに検出可能な)記録中の第1の音素の検出に先立って、予め定められた時間区分内に受信されたオーディオデータの一部に対して実行される。たとえば、バックグラウンドノイズ解析器2603は、オーディオデータ中の第1の音素の開始に先立って、バックグラウンドノイズチェックを5秒間にわたり実行するようにしてもよい。
バックグラウンドノイズが検出された場合、バックグラウンドノイズ解析器2603は、オーディオデータの処理(または、処理の試行)によって、ノイズを低減または除去するようにしてもよい。あるいは、フィルタリングおよび/または減算プロセスの実行によるノイズの低減または除去のため、バックグラウンドノイズ解析器2603により決定されたノイズの指標が信号作成プロセッサ2606に与えられるようになっていてもよい。いくつかの実施形態においては、バックグラウンドノイズの自動的な低減または除去の追加または代替として、バックグラウンドノイズ解析器2603は、バックグラウンドノイズが音声収集を妨害していることまたは妨害する可能性があることをユーザ(または、ユーザ相互作用管理器280等のシステム200の他の構成要素)に知らせる指標を送信して、バックグラウンドノイズを除去するための行動をユーザに要求するようにしてもよい。たとえば、より静かな環境への移動のための通知が(たとえば、ユーザ相互作用管理器280または提示コンポーネント220を介して)ユーザに与えられるようになっていてもよい。
場合によって、オーディオデータが取得された後、バックグラウンドノイズ解析器2603は、当該オーディオデータについて、バックグラウンドノイズの有無を再確認するようにしてもよい。たとえば、録音最適化器2602(または、いくつかの実施形態において、信号作成プロセッサ2606)が設定を自動的に調整してノイズを低減または除去した後、別の確認が実行されるようになっていてもよい。いくつかの態様においては、記録セッションの開始時、前回の確認から予め定められた期間の後、および/またはバックグラウンドノイズの低減もしくは除去の実行を示す指示がユーザ等から受け付けられた場合に、後続の確認が必要に応じて実行されるようになっていてもよい。
ユーザ音声モニタ260内において、音声サンプル収集器2604は一般的に、オーディオサンプルまたは記録の形態のユーザの音声関連データの取得を担うものであってもよい。音声サンプル収集器2604は、データ収集コンポーネント210およびユーザ相互作用管理器280との連動により、ユーザの発話等の音声情報のサンプルを取得するようにしてもよい。オーディオサンプルは、持続的な音素、計画された発話、および/または無計画の発話の記録またはサンプルを含む1つまたは複数のオーディオファイルの形態であってもよい。本明細書における使用の通り、オーディオ記録(audio recording)という用語は概して、(たとえば、アナログ-デジタル変換(ADC)を利用したオーディオサンプリングにより決定され得るオーディオサンプルの)デジタル記録を表す。
いくつかの実施形態において、音声サンプル収集器2604は、(センサ103またはアナログ記録から受信され得る)アナログオーディオからデジタルオーディオを取り込んで処理するADC変換機能等の機能を含んでいてもよい。このように、音声サンプル収集器2604のいくつかの実施形態は、デジタルオーディオサンプルの決定を提供または容易化し得る。また、いくつかの実施形態において、音声サンプル収集器2604は、オーディオデータが取得されたタイムフレームに対応するオーディオサンプルに対して日時情報を関連付けるようにしてもよい(たとえば、日付および/または時刻でオーディオサンプルにタイムスタンプする)。一実施形態において、オーディオサンプルは、患者レコード240における音声サンプル242等、ユーザと関連付けられた患者レコードに格納されるようになっていてもよい。
ユーザ相互作用管理器280に関して、図4A~図4Cおよび図5Bの例に示されるように、音声サンプル242は、ユーザの発話関連タスクへの関与に応じて取得されるようになっていてもよい。たとえば、ユーザは、音声サンプル242が得られるように、特定の音(たとえば、「ウーン(mmmm)」)をある時間区分もしくは可能な限り長く発話し続けること、特定の単語もしくは言葉を繰り返すこと、文章を読むこと、を求められる、または質問に答えることもしくは会話に参加することを促される場合があるが、これらに限定されない。さまざまな種類の発話関連タスクを表す音声サンプル242が同じ収集セッションにおいてユーザから取得されるようになっていてもよい。たとえば、ユーザは、特定の時間区分にわたって1つまたは複数の音素を発話し続けることと、可能な限り長く1つまたは複数の音素を発話し続けることと、を求められる場合があり、後者の音素は、特定の時間区分にわたって保持された音素と同じであってもよいし、異なっていてもよい。また、いくつかの実施形態において、ユーザは、多様な音素を有し得る書かれた文章を読むことを求められる場合もある。
本明細書において、音声サンプルは、オーディオサンプル中の音声関連情報を表し、本明細書に記載の通り、オーディオサンプルから決定されるようになっていてもよい。たとえば、オーディオサンプルには、バックグラウンドノイズ等、ユーザの音声と関連しない他の音響情報を含んでいてもよい。したがって、場合により、音声サンプルは、音声関連情報を含むオーディオサンプルの一部を表していてもよい。一実施形態において、音声サンプルは、ユーザのユーザコンピュータ機器(たとえば、図1のユーザ機器102a)との日常的な相互作用または日々の相互作用中に収集されたオーディオから決定されるようになっていてもよい。たとえば、ユーザがスマートスピーカに対して自発的な指示を投げかけたり、電話で会話したりする場合に、音声サンプルが収集されるようになっていてもよい。いくつかの実施形態において、ユーザのユーザ機器との日常的な相互作用から音声サンプル情報が取得される場合は、発話関連タスクへの関与をユーザに促す必要はないと考えられる。同様に、いくつかの実施形態において、ユーザは、特定の音素に関する情報が日常的な相互作用発話から取得されていない場合等、ユーザの発話を介して日常的な相互作用から取得されていない音声サンプル情報を取得する発話関連タスクの完了を促される場合もある。
前述の通り、本明細書に記載の技術は、ユーザのプライバシの保全および保護を可能にする。ユーザ機器との日常的な相互作用からオーディオサンプルを取得する実施形態では、呼吸器疾患のモニタリング用の音声関連データが決定されたら、オーディオデータを消去し得ることも考えられる。同様に、オーディオデータの暗号化、および/または、いわゆる日常的な相互作用からのユーザによる(呼吸器疾患のモニタリング用の)音声関連データの収集への「参加」も可能である。
信号作成プロセッサ2606は一般的に、別途解析する音素特性等の音声関連情報を抽出するためのオーディオサンプルの作成を担うものであってもよい。したがって、信号作成プロセッサ2606は、音声サンプル収集器2604により取得または決定されたオーディオデータに対する信号処理、前処理、および/または調節を実行するようにしてもよい。一実施形態において、信号作成プロセッサ2606は、音声サンプル収集器2604からオーディオデータを受信するようにしてもよいし、ユーザと関連付けられた患者レコード240中の音声サンプル242からの音声サンプルデータにアクセスするようにしてもよい。信号作成プロセッサ2606により作成または処理されたオーディオデータは、音声サンプル242としての格納および/またはユーザ音声モニタ260の他の副構成要素もしくはシステム200の他の構成要素への提供がなされるようになっていてもよい。
いくつかの実施形態においては、オーディオデータの全部ではないが一部の周波数帯において、ユーザの呼吸器疾患のモニタリングに利用される特定の音素特性または音声情報が存在し得る。したがって、信号作成プロセッサ2606のいくつかの実施形態では、高域通過または帯域通過フィルタリング等の周波数フィルタリングの実行によって、低周波バックグラウンドノイズ等の有用ではないオーディオ信号の周波数の除去または減衰を行うようにしてもよい。また、信号周波数フィルタリングによれば、オーディオサンプルサイズの低減によって演算効率が向上するとともに、サンプルの処理時間が改善される。一実施形態において、信号作成プロセッサ2606は、1.5~6.4キロヘルツ(kHz)の帯域通過フィルタを適用するようにしてもよい。図15A~図15Mに提供されるコンピュータプログラムルーチンの例示的な一実施形態においては、バターワース帯域通過フィルタが利用される(図15Aに示される)。一例において、信号作成プロセッサ26066は、ローリングメディアンフィルタの適用によって、外れ値の平滑化および特性の正規化を行うようにしてもよい。ローリングメディアフィルタは、これらのサンプルのウィンドウを用いることにより適用され得る。特性値の正規化には、zスコアが利用されるようになっていてもよい。
また、信号作成プロセッサ2606は、オーディオ正規化の実行によって、目標とする信号振幅レベル、帯域フィルタおよび/もしくは増幅器の適用による信号対雑音比(SNR)の改善、または他の信号調節もしくは前処理を実現するようにしてもよい。いくつかの実施形態において、信号作成プロセッサ2606は、オーディオデータの処理によって、バックグラウンドノイズ解析器2603により決定されたバックグラウンドノイズ等のバックグラウンドノイズの除去または減衰を行うようにしてもよい。たとえば、いくつかの実施形態において、信号作成プロセッサ2606は、バックグラウンドノイズ解析器2603により決定されたバックグラウンドノイズ情報を用いて、ノイズキャンセリング動作(あるいは、ノイズアーチファクトを含むバックグラウンドノイズの減算または減衰)を実行するようにしてもよい。
ユーザ音声モニタ260において、サンプル記録検査器2608は一般的に、十分なオーディオサンプル(または、音声サンプル)が取得されたか否かの判定を担うものであってもよい。したがって、サンプル記録検査器2608は、サンプル記録が最短の時間を有する旨および/または発声もしくは声音等の特定の音声関連情報を含む旨の判定を行うにしてもよい。いくつかの実施形態において、サンプル記録検査器2608は、検出対象の特定の音素または音素特性に基づいてオーディオサンプルを確認する基準を適用するようにしてもよい。このように、サンプル記録検査器2608のいくつかの実施形態では、オーディオデータに対する音素検出を実行するようにしてもよいし、ユーザ音声モニタ260の音素分割器2610等の副構成要素と連動するようになっていてもよい。いくつかの実施形態において、サンプル記録検査器2608は、オーディオサンプル(または場合により、オーディオ記録内の音声サンプル)が閾値時間長を満たすか否かを判定するようにしてもよい。閾値時間長は、記録された特定種類の発話関連タスクにより異なるものであってもよいし、音声サンプルから取得しようとする特定の音素または音素特性およびこれらの特性が現在のセッションまたはタイムフレームにおいて決定済みである程度に基づくものであってもよい。一実施形態においては、ユーザ音声サンプルを取得するセッションにおいて、文章の読み上げの記録をユーザが(たとえば、ユーザ相互作用管理器280により)促された場合、サンプル記録検査器2608は、後続の音声サンプル記録の長さが少なくとも15秒であるか否かを判定するようにしてもよい。また、一実施形態において、サンプル記録検査器2608は、長さが少なくとも4.5秒等、特定のオーディオサンプルが十分な継続時間にわたる持続的な発声を含むか否かを判定するようにしてもよい。同様に、ユーザコンピュータ機器(ユーザ機器102a等)との日常的な相互作用からオーディオデータまたは音声サンプル(242等)を取得する実施形態の場合、サンプル記録検査器2608は、音素または音素特性の決定等の別途解析に利用される特定の音声サンプルが閾値継続時間を満たす旨および/または特定の音もしくは音素情報を含む旨の判定を行うようにしてもよい。検査基準(たとえば、最短閾値継続時間)を満たさない記録または音声サンプルは、不完全と考えられ、消去されるようになっていてもよいし、これ以上処理されなくてもよい。いくつかの実施形態において、サンプル記録検査器2608は、特定のサンプルが不完全あるいは不十分である旨の指標をユーザ(または、ユーザ相互作用管理器280、提示コンポーネント220、もしくはシステム200の他の構成要素)に提供するようにしてもよく、さらに、ユーザが特定の音声サンプルを再記録する必要があることを示すようにしてもよい。
いくつかの実施形態において、サンプル記録検査器2608は、あるタイムフレーム内(すなわち、あるセッション内)の同一(または、類似)の音声関連情報をそれぞれが表し得る複数の音声サンプル(音声サンプル242から得られる)から音声サンプルを選択するようにしてもよい。場合によっては、この選択の後、その他の未選択サンプルが消去または破棄されるようになっていてもよい。たとえば、所与の時点または時間区分について、所望の音素の複数の完全な記録(ユーザが特定の発話関連タスクを繰り返すことにより生成されたものであってもよい)が存在する場合、サンプル記録検査器2608は、最も新しく取得された記録(最後に記録されたもの)を解析用に選択するようにしてもよく、これは、前回記録時の技術的な問題から、計画された発話をユーザが再記録したことを前提として実行されるようになっていてもよい。あるいは、サンプル記録検査器2608は、最小ノイズおよび/または最大音量等の音パラメータに基づいて、音声サンプルを選択するようにしてもよい。
また、別途処理する十分な音声サンプル記録の判定には、ノイズアーチファクトが存在しない旨、最小限のノイズアーチファクトしか存在しない旨、および/または記録が少なくとも略正しい音を含む旨もしくは指定の指示に従う旨の判定を含んでいてもよい。いくつかの実施形態において、サンプル記録検査器2608は、音声サンプルのSNRが20デシベル(dB)等の最大許容SNRを満たすか否かを判定するようにしてもよい。たとえば、サンプル記録検査器2608は、記録のSNRが20dBの閾値より大きいものと判定するようにしてもよく、また、ユーザからの新たな音声サンプルの取得を要求する指標をユーザ(または、ユーザ相互作用管理器280等のシステム200の別の構成要素)に提供するようにしてもよい。
サンプル記録検査器2608のいくつかの実施形態では、特定の持続的な発声(たとえば、
)等、要求された発話関連タスクに対応するサンプル音が存在するかを判定するようにしてもよい。特に、ユーザが発話関連タスク(たとえば、「『ウーン』を5秒間言い続ける)を実行することにより音声サンプルが取得された場合は、タスクにおいて要求された音(または、音素)をサンプルが含むかを判定するため、音声サンプルの確認または検査が行われるようになっていてもよい。いくつかの実施形態において、この確認動作では、自動発話認識(ASR)機能を利用することにより、音声サンプル中の音素を決定するとともに、サンプル中の決定した音素を要求音または音素(すなわち、「ラベル付けされた」音素または音)と比較するようにしてもよい。不一致が判定された場合またはラベル付けされた音素もしくは音がサンプルにおいて検出されない場合、サンプル記録検査器2608は、正しい音声サンプルが再取得され得るように、指標をユーザ(または、ユーザ相互作用管理器280等のシステム200の別の構成要素)に提供するようにしてもよい。ASRの別途詳細については、音素分割器2610に関連して以下に記載される。
サンプル記録検査器2608のいくつかの実施形態では、オーディオサンプルにおける特定の音素の有無を必ずしも判定しなくてもよいが、当該サンプルにおいて、持続的な音素または音素の組み合わせが取り込まれたものと判定するようにしてもよい。また、サンプル記録検査器2608は、最短継続時間にわたって音素が音声サンプルで持続しているかを判定するようにしてもよい。一実施形態において、最短継続時間は、4.5秒であってもよい。
サンプル記録検査器2608はさらに、トリミング、カッティング、またはフィルタリングの実行によって、音声サンプル記録の不要な部分および/または使用不可能な部分を除去するようにしてもよい。いくつかの実施形態において、サンプル記録検査器2608は、信号作成プロセッサ2606との協働により、このような動作を実行するようにしてもよい。たとえば、サンプル記録検査器2608は、各記録から、開始部および終了部(たとえば、0.25秒)をトリミングするようにしてもよい。音声サンプルの使用可能な部分には、別途処理によって音素または特性情報を決定するのに十分な音声関連データを含み得る。いくつかの実施形態において、サンプル記録検査器2608(または、音声サンプル収集器2604および/もしくはユーザ音声モニタ260の他の副構成要素)は、音声サンプルの切り取りまたはトリミングによって、使用可能と判定された部分のみを保持するようにしてもよい。同様に、サンプル記録検査器2608は、同じタイムフレーム内(すなわち、記録セッション内)で取得され得る複数のサンプル(音声サンプル242等)のうちのオーディオサンプルの使用可能な部分の決定を容易化し得る。
サンプル記録検査器2608は、音声サンプル242またはユーザ音声モニタ260の別の副構成要素からオーディオサンプルデータを受信するようにしてもよく、また、処理または修正した音声サンプルデータを音声サンプル242に格納するようにしてもよいし、処理または修正した音声サンプルデータをユーザ音声モニタ260の別の副構成要素に提供するようにしてもよい。場合により(使用不可能な部分の記録または除去後に記録が不完全な場合等)、サンプル記録検査器2608は、新たな記録または音声サンプルの取得が必要であるか否かを判定して、指標をユーザに提供するようにしてもよいが、これについては、ユーザ相互作用管理器280に関して以下に記載される。
音素分割器2610は一般的に、音声サンプル中の個々の音素の有無の検出および/または個々の音素が音声サンプル中に存在するタイミング情報の決定を担うものであってもよい。たとえば、タイミング情報は、音声サンプル中の音素の発生に関する始まりの時間(すなわち、開始時間)、継続時間、および/または終了時間(すなわち、停止時間)を含んでいてもよく、これらは、特徴解析用の音素の識別および/または分離の容易化に利用されるようになっていてもよい。場合によっては、開始および停止時間情報を音素の境界と称し得る。前述の通り、音声サンプルは、ユーザが発した持続的な個々の音素または計画された発話および無計画の発話等の音素の組み合わせの記録(たとえば、オーディオサンプル)を含み得る。たとえば、ユーザが単語「春」を発した場合に音声サンプルが生成されるようになっていてもよく、この音声サンプルは、個々の音素(たとえば、
)へと分割されるようになっていてもよい。場合によっては、持続的な個々の音素の音声サンプルの分割によって、当該音素をその他のサンプルから分離するようにしてもよい。
いくつかの態様において、音素分割器2610は、音素を検出するとともに、(たとえば、オーディオサンプル中の音素へのポインタもしくは参照として利用可能なタイミング情報を使用して論理的に、または、オーディオサンプルからの音素関連データのコピーもしくは抽出等によって物理的に)音素をさらに分離するようにしてもよい。音素分割器2610による音素検出には、音声サンプル(または、音声サンプルの一部)が特定の一組の音素における特定の音素または1つの音素を有する旨の判定を含んでいてもよい。音声サンプルデータは、音声サンプル242またはユーザ音声モニタ260の別の副構成要素から受信されるようになっていてもよい。音素分割器2610により検出される特定の音素は、ユーザの呼吸器疾患について解析される音素に基づいていてもよい。たとえば、いくつかの実施形態において、音素分割器2610は、(1つまたは複数の)サンプルが
に対応する音素を含むか否かを検出するようにしてもよい。別の実施形態において、音素分割器2610は、(1つまたは複数の)サンプルが
に対応する音素を含むか否かを判定するようにしてもよい。他の実施形態において、音素分割器2610は、任意の発話言語の音素を含み得る他の音素または音素集合を検出するようにしてもよい。
音素分割器2610のいくつかの実施形態においては、音声サンプルの一部からの音素の判定に自動発話認識(ASR)(「音声認識」と称される)機能が利用される。ASR機能では、1つまたは複数の音響モデルまたは発話コーパスをさらに利用するようにしてもよい。一実施形態においては、一組の1つまたは複数の可能性が高い音素を決定するため、ユーザの音声サンプルに対応する発話信号の処理において、隠れマルコフモデル(HMM)が利用されるようになっていてもよい。別の実施形態においては、人工ニューラルネットワーク(ANN)(本明細書においては、「ニューラルネットワーク」と称される場合もある)、ASRのための他の音響モデル、またはこれらのモデルの組み合わせを使用する技術が利用されるようになっていてもよい。たとえば、HMMの適用に先立って、次元縮退または特性変換を実行するため、ニューラルネットワークがASRの前処理ステップとして利用されるようになっていてもよい。音声サンプルから音素を検出または識別するために音素分割器2610により実行される動作のいくつかの実施形態では、発話データを処理するためのソフトウェアパッケージ、モジュール、またはライブラリを含み得る発話認識エンジンまたはASRソフトウェアツールキットを介して提供されるASR機能または音響モデルを利用するようにしてもよい。このような発話認識ソフトウェアツールの例としては、kaldi-asr.orgを介して入手可能なKaldi発話認識ツールキット、Carnegie Mellon Universityで開発されたCMU Sphinx、Cambridge Universityで開発されたHidden Markov Model Toolkit(HTK)が挙げられる。
本明細書に記載の通り、音声サンプルを取得するいくつかの実施態様において、ユーザは、発話関連タスクを実行するようにしてもよく、これは、図5Bに関連して記載の繰り返し音行使等の評価行使の一部であってもよい。これらの発話関連タスクの一部では、ユーザが特定の音または音素を言い続けることを要求する場合がある。この追加または代替として、発話関連タスクでは、ユーザが可能な限り長く特定の音または音素を言い続けることを要求する場合がある。また、異なる音素に対して、さまざまなタスクが用いられるようになっていてもよい。たとえば、一実施形態において、ユーザは、可能な限り長く「アーア」(または、音素
)を言い続けることを求められる場合もあれば、5秒間等の予め定められた時間にわたって他の音または音素(たとえば、
)を言い続けることを求められる場合もある。いくつかの実施形態においては、同じ音素に対して、複数種類の発話関連タスクが収集されるようになっていてもよい。
このタスクの実行により生成されたオーディオサンプルは、ユーザが発言を要求された音または音素のラベル付けあるいは音または音素との関連付けがなされるようになっていてもよい。たとえば、ユーザが5秒間にわたって「ウーン」を言い続けるように促された場合、記録されるオーディオサンプルは、「ウーン」音(または、音素
)のラベル付けまたは「ウーン」音との関連付けがなされるようになっていてもよい。
いくつかの実施形態において、音素分割器2610は、ASR機能を利用して、発話関連タスクの実行による取得またはユーザ機器との日常的な相互作用により取得されたユーザ発話からの受信が可能なオーディオサンプル中の特定の音または音素を決定するようにしてもよい。これらの実施形態において、オーディオサンプルの音または音素が決定されると、オーディオサンプル(または、サンプルの一部)に対する音もしくは音素のラベル付けまたは音もしくは音素との関連付けがなされ得る。例示的な一実施形態において、音素分割器2610は、ユーザから取得されたオーディオサンプルが当該サンプルの特定の部分で発生した「アーア」音を有するものと判定した場合、「アーア」音を検出し、これに応じて(たとえば、データベース中のオーディオサンプルまたはその一部とのラベルの関連付けにより)オーディオサンプルの当該部分にラベル付けを行うようにしてもよい。別の実施形態において、音素分割器2610は、音素の分離によって、オーディオサンプル中のタイミングまたは音素境界を決定するようにしてもよい。
いくつかの実施形態において、音素分割器2610は、音素を取り込んだ音声サンプル内の音素境界またはある区分の開始時間、継続時間、および/もしくは停止時間の識別によって、音素を分離するようにしてもよい。いくつかの実施形態において、音素分割器2610はまず、特定の音素の有無を検出した後、その特定の音素を分離する(たとえば、
等)。代替実施形態において、音素分割器2610は、音声サンプル中に特定の音素が存在することを検出し、検出されたすべての音素を分離するようにしてもよい。音素分割器2610のいくつかの実施形態では、音素分割または音素整合ツールを利用することにより、オーディオサンプル中の音素または音素境界の時間位置の決定を容易化し得る。このようなツールの例としては、University of Amsterdamで開発された発話解析および音声学用のコンピュータソフトウェアパッケージPraat、ならびに/または、University of Genevaで開発された音素整合を実行するためのEasyAlign等、Praatと連動するソフトウェアモジュールにより提供される機能が挙げられる。
例示的な態様において、音素分割器2610は、音声サンプル中の検出強度レベルに対する閾値の適用によって、自動分割を実行するようにしてもよい。たとえば、記録全体で音響強度が演算され、サンプル中の高エネルギー事象(発話事象を表す)からバックグラウンドノイズを分離するための閾値が適用されるようになっていてもよい。一実施形態において、音響強度の演算は、発話解析および音声学用のコンピュータソフトウェアパッケージPraatにより提供される機能を利用して実行されるようになっていてもよい。図15A~図15Mは、Praatを使用する上記のような一例を例示するものであり、Parselmouth Pythonライブラリを用いて示される。一実施形態によれば、音素分割の閾値が大津の方法により決定されるようになっていてもよい。いくつかの実施形態において、この閾値は、同じユーザの異なる音声サンプルに対して異なる閾値が決定および適用され得るように、音声サンプルごとに決定されるようになっていてもよい。音響強度レベルが演算され、閾値が決定されると、音素分割器2610は、この閾値を演算強度レベルに適用して、音素の有無を検出するとともに、検出音素の開始および終了にそれぞれ対応する開始時間および停止時間をさらに識別するようにしてもよい。いくつかの実施形態には、音声サンプルの少なくとも一部に対する手動分割の使用によって、音素分割器2610により実行される自動分割を検証することを含む。
いくつかの実施形態においては、形態学的な「充填」操作を使用することにより、音素として検出されたセグメント内の間隙が充填されるようになっていてもよい。間隙は、その継続時間が0.2秒等の最大閾値未満の場合に充填されるようになっていてもよい。また、音素分割器2610の実施形態では、検出された音素の1つまたは複数の部分をトリミングするようにしてもよい。たとえば、音素分割器2610は、各検出音素の最初の0.75秒等の初期継続時間をトリミングまたは無視することにより、過渡効果を回避するようにしてもよい。したがって、検出音素が最初の0.75秒を含まないように、検出音素の開始時間が変更され得る。また、いくつかの実施形態においては、音素の総継続時間が2秒または他の設定継続時間となるように、各検出音素がトリミングされるようになっていてもよい。
いくつかの実施形態においては、分割された音素に対して、データ品質確認が実行されるようになっていてもよい。これらのデータ品質確認は、音素分割器2610により実行されるようになっていてもよいし、信号作成プロセッサ2606および/またはサンプル記録検査器2608等、ユーザ音声モニタ260の別の構成要素により実行されるようになっていてもよい。一実施形態においては、検出セグメント内の平均強度を検出セグメント外の平均強度で除した比として、音素セグメントごとに信号対雑音比(SNR)が推定される。さらに、検出音素が最短継続時間を満たすか否かを判定するため、予め定められたセグメント継続時間閾値が適用されるようになっていてもよい。別の品質確認には、ユーザから音声サンプルを出させる催促に基づき得る予想音素数に対する検出音素数の比較によって正しい音素数を決定することを含んでいてもよい。たとえば、一実施形態において、正しい音素数には、持続的な鼻音記録の場合に3つの分割音素を、持続的な母音記録の場合に4つの分割音素を含み得る。例示的な一態様においては、正しい音素数(たとえば、持続的な鼻音記録の場合に3つ、持続的な母音記録の場合に4つ)が見つかった場合、SNRが9デシベルよりも大きい場合、および各音素の継続時間が2秒以上である場合に、分割された音声サンプルが高品質と決定され得る。いくつかの実施形態においては、母音音声サンプルの場合に付加的な品質確認が実行されるようになっていてもよく、これには、第1フォルマント周波数が許容範囲内に含まれるか否かを判定することを含み得る。許容範囲内に含まれる場合、サンプルは高品質と決定される。許容範囲内に含まれない場合は、サンプルが不十分、不完全、または再取得が必要である旨の指標が提供される(ユーザ相互作用管理器280に提供されるようになっていてもよい)。
ユーザ音声モニタ260に関して引き続き、音響特性抽出器2614は一般的に、音声サンプル内の音素の特性の抽出(あるいは、決定)を担うものであってもよい。音素の特性は、予め定められたフレームレートで音声サンプルから抽出されるようになっていてもよい。一例においては、10ミリ秒のレートで特性が抽出される。抽出された特性は、呼吸器疾患追跡器270に関して別途記載のようなユーザの呼吸器疾患の追跡に利用されるようになっていてもよい。抽出される音響特性の例としては、非限定的な一例として、パワーおよびパワー変動性、ピッチおよびピッチ変動性、スペクトル構造、ならびに/またはフォルマントの尺度を特徴付けるデータが挙げられる。
パワーおよびパワー変動性に関する特性(振幅関連特性とも称され得る)の他の例としては、分割音素ごとの音響パワーの二乗平均平方根(RMS)、シマー、および1/3オクターブバンドにおけるパワー変動性が挙げられる。いくつかの実施形態において、音響パワーのRMSは、その他任意の音響特性の抽出に先立つデータの正規化のために演算および利用される。また、RMSは、パワー関連特性自体として考慮するために、デシベルに変換されるようになっていてもよい。シマーは、声門のパルス間隔で測定される波形振幅の急速な変動性を捉えたものである。また、1/3オクターブバンドフィルタの出力におけるパワーの変動がさまざまな周波数で演算されるようになっていてもよい。例示的な一実施形態においては、抽出特性が200ヘルツ(Hz)1/3オクターブバンドにおける変動を示していてもよく、これは、178~224Hzの通過帯域周波数を適用することにより決定され得る。
ピッチおよびピッチ変動性に関する特性の他の例としては、ピッチの変動係数(COV)およびジッターが挙げられる。ピッチの変動係数を抽出するため、各セグメントにわたって平均ピッチ(pitchmn)およびピッチ標準偏差(pitchsd)が決定され、ピッチの変動係数(pitchcov)は、pitchcov=pitchsd/pitchmnとして演算され得る。特に音声サンプルにノイズが多い場合のいくつかの実施形態においては、ユーザの音声データの適当な周波数に対して推定ピッチ値が確実に計算されるように、変動係数の閾値が適用され得る。たとえば、変動係数が変動係数値の10%の閾値を下回るか否かが判定され(経験的に判定され)、値が閾値よりも大きなセグメントが欠損データとして扱われるようになっていてもよい。ジッターは、より短い時間スケール上でピッチ変動性を捉えたものと考えられる。ジッターは、ローカルジッターまたはローカル絶対ジッターの形態で抽出されるようになっていてもよい。いくつかの態様においては、自己相関法を用いることにより、ピッチ関連特性が各セグメントから抽出される。ピッチ関連特性を決定するための自己相関の一例は、University of Amsterdamで開発された発話解析および音声学用のコンピュータソフトウェアパッケージPraatにより与えられる。図15Eおよび図15Fは、このようにPraat機能を利用する一実施形態の例示的なコンピュータプログラムルーチンの態様を示している。
音響特性抽出器2614(または、ユーザ音声モニタ260)のいくつかの実施形態では、音響特性抽出器2614によるピッチ関連特性の抽出に先立ってピッチフロアを調整する処理動作を実行するようにしてもよい。たとえば、ピッチフロアは、男性ユーザの場合に80Hzまで、女性ユーザの場合に100Hzまで高くなって、ピッチ誤検出を防止し得る。一実施形態によれば、低周波の周期的なバックグラウンドノイズが存在する場合に、ピッチフロアの上昇が保証され得る。ピッチフロアを調整するか否かの判定は、音声データを収集するシステム、音声データが収集される環境、および/またはアプリケーション設定(たとえば、設定249)によって異なり得る。
スペクトル構造に関する特性には、高調波対雑音比(HNR(「調和性」と称される場合もある)、スペクトルエントロピー、スペクトルコントラスト、スペクトル平坦性、音声低高比(VLHR)、メル周波数ケプストラム係数(MFCC)、ケプストラムピーク卓立度(CPP)、有声(または、無声)フレームの割合または比率、および線形予測係数(LPC)を含んでいてもよい。HNRまたは調和性は、非高調波成分のパワーに対する高調波成分のパワーの比であり、音響周期性の程度を表す。HNRを決定する一例が図15Eのコンピュータプログラミングルーチンに示されるが、これは、調和性を決定するため、コンピュータソフトウェアパッケージPraatにより提供される機能を利用する。スペクトルエントロピーは、特定の周波数帯におけるスペクトルのエントロピーを示す。スペクトルコントラストは、パワースペクトル値を特定の周波数帯の強度でソートし、周波数帯の最低四分位(トラフ)の値に対する最高四分位(ピーク)の値の比を演算することにより決定され得る。スペクトル平坦性は、所与の周波数帯におけるスペクトル値の算術平均に対する幾何平均の比を演算することにより決定され得る。スペクトルエントロピー、スペクトルコントラスト、およびスペクトル平坦性はそれぞれ、特定の周波数帯に対して演算されるようになっていてもよい。一実施形態においては、スペクトルエントロピーが1.5~2.5キロヘルツ(kHz)および1.6~3.2kHzで決定され、スペクトル平坦性が1.5~2.5kHzで決定され、スペクトルコントラストが1.6~3.2kHzおよび3.2~6.4kHzで決定される。
VLHRは、積分された低高周波数エネルギーの比率を演算することにより決定され得る。一実施形態においては、低高周波数間の分離が600Hzに固定されている。このため、この特性は、VLHR600として示され得る。
メル周波数ケプストラム係数(MFCC)は、スケーリングされたパワースペクトルの離散コサイン変換を表し、MFCCは、メル周波数ケプストラム(MFC)を一体的に構成する。MFCCは通常、スペクトルの変化の影響を受けやすく、環境ノイズに対して堅牢である。例示的な態様においては、平均MFCC値および標準偏差MFCC値が決定される。一実施形態においては、メル周波数ケプストラム係数MFCC6およびMFCC8について平均値が決定され、メル周波数ケプストラム係数MFCC1、MFCC2、MFCC3、MFCC8、MFCC9、MFCC10、MFCC11、およびMFCC12について標準偏差値が決定される。
有声は、記録された発声における周期性を表し、本開示のいくつかの態様には、有声の発声記録のフレームの割合、比率、または比の決定を含む。あるいは、この特性は、無声フレームを用いて決定されるようになっていてもよい。有声(または、無声)フレームの決定の場合によっては、発話が疑われるフレームに関して有声または無声フレームの割合が算出されるように、予め定められたピッチ閾値が適用されるようになっていてもよい。いくつかの実施形態において、有声(または、無声)フレームの割合または比率は、音声処理用のコンピュータソフトウェアパッケージツールキットPraatを用いて決定されるようになっていてもよい。
音響特性抽出器2614により抽出または決定される他の特性は、声道の共鳴を表す1つまたは複数の音響フォルマントに関連するものであってもよい。特に、音声サンプルの音素の場合は、1つまたは複数のフォルマントに対して、平均フォルマント周波数およびフォルマント帯域幅の標準偏差が演算されるようになっていてもよい。例示的な態様においては、フォルマント1(F1として示される)に対して平均フォルマント周波数およびフォルマント帯域幅の標準偏差が演算される。ただし、フォルマント2および3(F2およびF3として示される)等の追加または代替が利用されるようになっていてもよいと考えられる。いくつかの態様において、フォルマント特性は、ユーザが音を正しく発音することを保証するため、サンプル記録検査器2608によって実行され得る自動確認を容易化することによりデータ品質管理として動作し得る。
いくつかの実施形態においては、上記音響特性がそれぞれ、異なる音素に対して抽出または決定され得ると考えられる。たとえば、一実施形態においては、7つの音素(
)に対して、上記特性のうちの23個(振幅のRMSを含まない)が決定されることにより、161個の一意の音素特性が得られる。本開示のいくつかの実施形態には、別途解析する一組の特性を識別または選択することを含んでいてもよい。たとえば、一実施形態には、1つもしくは複数の音声サンプルまたは基準音声データから161個の全特性を決定することと、ユーザの呼吸器感染症疾患のモニタリングに関連すると考えられる特定の特性を選択あるいは決定することと、を含んでいてもよい。
また、特定の種類の発話関連タスクによる音声サンプルから、これらの音響特性のうちの1つまたは複数が抽出されるようになっていてもよい。たとえば、上記特性は、予め定められた継続時間の発声から抽出された音素に対して決定されるようになっていてもよい。また、ユーザによる文章の読み上げにより抽出された発声に対して、これら上記特性のうちの1つまたは複数が決定されるようになっていてもよい。いくつかの実施形態においては、特定の種類の発話関連タスクから、他の特性が抽出されるようになっていてもよい。たとえば、例示的な態様においては、ユーザが可能な限り長く音を維持する持続的な発声の音声サンプルから、呼吸容量の尺度として使用可能な最大発声時間が決定されるようになっていてもよい。本明細書における使用の通り、最大発声時間は、ユーザが特定の発声を持続する継続時間を表す。
さらに、いくつかの実施形態においては、上記種類の音声サンプルに対して、持続的な発声における振幅の変化が決定されるようになっていてもよい。いくつかの例示的な実施形態においては、文章音声サンプルから他の音響特性が決定される。たとえば、ユーザによる文章の読み上げの記録またはモニタリングから、発話速度、平均休止長、休止数、および/またはグローバルSNRが決定されるようになっていてもよい。発話速度は、1秒当たりの音節数または単語数として決定され得る。休止長は、200ミリ秒等、少なくとも予め定められた最短継続時間であるユーザの発話の休止を表し得る。いくつかの態様においては、ユーザの音声サンプルからテキストを生成し、ユーザが単語を開始したタイミングおよびユーザが単語を終了したタイミングのタイムスタンプを決定し、これらのタイムスタンプを使用して、単語間の継続時間を決定するため、自動発話テキスト化アルゴリズムを利用することにより、平均休止長および/または休止数の決定に用いられる休止が決定されるようになっていてもよい。グローバルSNRは、発話のない時間を含む記録全体での信号対雑音比と考えられる。
さらに、特定の種類の呼吸器感染症のモニタリングには、特定の特性または特性の組み合わせがより好適と考えられる。特性選択の実施形態には、考え得る特性組み合わせの識別、異なる日付の特性集合もしくはベクトル間の距離測定基準の計算、および呼吸器症状の自己報告評価に対する距離測定基準の相関を含んでいてもよい。一例においては、(たとえば、例示的な音素の組み合わせとして図11Aおよび図1IBに示される)考え得る音素の組み合わせの最初の6つの主成分を演算し、音声データが収集された各日付対全体での音素の組み合わせについての音響特性を表すベクトルの間のユークリッド距離等の距離測定基準を計算するのに、主成分分析(PCA)が利用される。また、良好な状態を表す最終日に対する各日の距離測定基準と自己報告症状評価との間でスペアマンの順位相関が演算されるようになっていてもよい。
さらに、いくつかの実施形態においては、データセットの次元をさらに縮退させるため、スパースPCAを適用することにより教師なし特性選択が実行される。あるいは、いくつかの実施形態においては、線形判別分析(LCA)が次元縮退に利用されるようになっていてもよい。いくつかの実施形態においては、非ゼロ重みの(経験的に決定される)上位の主成分中の特性(具体的には、音素および特性の組み合わせ)が選択され、さらに解析されるようになっていてもよい。特性選択の態様については、図7~図14と併せて以下に詳しく論じられる。
例示的な態様において、図7~図14に関連して記載の特性選択により決定される代表的な音素特性集合は、音素
の12個の特性、音素
の12個の特性、および音素
の8つの特性を含む32個の音素特性を含む。これらの例示的な32個の特性は、以下の表にリスト化されている。
上表に示されるように、正規性のため、音響特性抽出器2614によって、1つまたは複数の特性の値が変換されるようになっていてもよい。たとえば、特性の部分集合にログ変換(LGとして示される)が適用されるようになっていてもよい。他の特性は変換を含んでいなくてもよい。さらに、上表には含まれないが、二乗平方根変換(SRT)等の他の変換が適用され得るとも考えられる。一実施形態において、特性選択には、1つまたは複数のさまざまな特性に対する変換を選択することを含む。一例においては、1つまたは複数の特性に対して、SRT、LG等の異なる種類の変換または無変換が検定され、当該特定の特性について最も正規分布したデータを与える変換種別を選択するため、シャピロ・ウィルク検定が用いられるようになっていてもよい。
いくつかの実施形態においては、音響特性抽出器2614、音素分割器2610、またはユーザ音声モニタ260の他の副構成要素が(図2のストレージ250に示されるような)音声-音素抽出ロジック233を利用して、音素の決定または音素の特性の抽出を行うようにしてもよい。音声-音素抽出ロジック233は、分割音素に対応する音響データから音響特性値を識別して抽出するための命令、ルール、条件、関連付け、機械学習モデル、または他の基準を含んでいてもよい。いくつかの実施形態において、音声-音素抽出ロジック233は、音素分割器2610に関連して記載のASR機能、音響モデル、または関連する機能を利用する。たとえば、オーディオサンプル中の特定の音素の識別および対応する音響特性の決定には、さまざまな分類モデルまたはソフトウェアツール(たとえば、HMM、ニューラルネットワークモデル、および上述の他のソフトウェアツール)が利用されるようになっていてもよい。音響特性抽出器2614または音声-音素抽出ロジック233の例示的な一実施形態では、発話解析および音声学用のコンピュータソフトウェアパッケージPraatにおいて提供される機能を包含または利用するようにしてもよい。このような一実施形態の態様(コンピュータプログラムルーチンを含む)が図15A~図15Mにおいて例示的に提供されるが、これらは、ソフトウェアパッケージPraatにアクセスするためのParselmouth Pythonライブラリを用いて示される。
音素特性の決定後、音響特性抽出器2614は、記録セッションまたはタイムフレームに対応するユーザ音声サンプルから決定された音素の音素特性ベクトル(または、一組の音素特性ベクトル)を含み得る音素特性集合を決定するようにしてもよい。たとえば、ユーザが一日に2回(たとえば、朝セッションおよび夜セッション)、音声サンプルを提供するようにしてもよく、各セッションは、当該セッション中に取り込まれた音声サンプルから検出された音素から抽出または決定された特性を表す音素特性ベクトルまたは一組のベクトルに対応し得る。音素特性集合は、音素特性ベクトル244等、ユーザと関連付けられた患者レコード240に格納されるようになっていてもよく、また、音素特性の決定に用いられる音声サンプルが取得された日付または時刻に対応する日時情報との格納あるいは関連付けがなされるようになっていてもよい。
本明細書においては場合により、用語「特性集合(feature set)」および「特性ベクトル(feature vector)」が同義で使用され得る。たとえば、2つの特性集合間の比較の実行を容易化するため、各ベクトルの対応する特性間の距離測定結果が決定され得るように(すなわち、特性ベクトル比較)、または、他の動作の特性への適用を容易化するため、集合のメンバー特性が特性ベクトルと考えられる。いくつかの実施形態においては、音素特性ベクトル244が正規化されるようになっていてもよい。いくつかの実施形態においては、特性ベクトルが多次元ベクトルであってもよく、各音素は、特性を表す次元を有する。いくつかの実施形態においては、呼吸器疾患追跡器270に関連して記載の通り、2つの特性ベクトル間の比較の決定等に先立って、多次元ベクトルが平坦化されるようになっていてもよい。
音響特性の決定のほか、ユーザ音声モニタ260のいくつかの実施形態には、特性が決定された音声サンプルと関連するコンテキスト情報を決定するコンテキスト情報決定器2616を含んでいてもよい。コンテキスト情報は、たとえば音声サンプル記録時の条件を示し得る。例示的な実施形態において、コンテキスト情報決定器2616は、音響特性抽出器2614により生成された音素特性ベクトルとの格納あるいは関連付けがなされ得る記録の日付および/もしくは時刻(すなわち、タイムスタンプ)または記録の継続時間を決定するようにしてもよい。コンテキスト情報決定器2616により決定される情報は、抽出音響特性のほか、ユーザの呼吸器疾患の追跡と関連していてもよい。たとえば、コンテキスト情報決定器2616は、音声サンプルが得られる特定の時間帯(たとえば、朝、昼、もしくは夜)ならびに/または環境もしくは大気関連情報(たとえば、天候、湿度、および/もしくは汚染レベル)が決定され得るユーザ位置も決定可能である。また、一実施形態において、ユーザの呼吸器疾患の追跡には、音声サンプルの継続時間が用いられるようになっていてもよい。たとえば、ユーザは、可能な限り長く「アーア」音(すなわち、音素
)を言い続けるように求められる場合があり、ユーザの呼吸器疾患の判定には、ユーザがこの音を言い続けられる継続期間を測定する継続時間測定基準が用いられるようになっていてもよい。
いくつかの実施形態において、コンテキスト情報決定器2616は、音声サンプルが取得されたタイムフレームと関連付けられ得るユーザに関する生理学的情報を決定または受信するようにしてもよい。たとえば、ユーザは、図4D、図5D、および図5Eに示される実施形態に図示および記載の通り、自身が感じている症状に関する情報を提供するようにしてもよい。場合により、コンテキスト情報決定器2616は、後述の通り、ユーザ相互作用管理器280との連動によって、症状データを取得するようにしてもよい。いくつかの実施形態において、コンテキスト情報決定器2616は、ユーザのプロファイル/健康データ(EHR)241またはセンサ(図1の103等)から、ウェアラブルユーザデバイス(たとえば、フィットネストラッカー)上での体温または血中酸素濃度等の生理学的データを受信するようにしてもよい。
いくつかの実施形態において、コンテキスト情報決定器2616は、ユーザが投薬中であるか否かおよび/またはユーザが投薬済みであるか否かを判定するようにしてもよい。この判定は、ユーザが投薬済みであることを示すデジタルアプリケーション上のインジケータの選択またはユーザが投薬済みであるかを尋ねるスマートデバイスからの催促に対する応答等、ユーザによる明示的な信号の提供に基づいてもよいし、スマートピルボックスもしくは薬箱等の別のセンサによる提供またはユーザの介護者等の別のユーザからの提供がなされるようになっていてもよい。いくつかの実施形態において、コンテキスト情報決定器2616は、処方もしくは購入および/または購入情報を示すユーザの電子健康レコード(EHR)241、電子メール、またはメッセージにアクセスすることにより、ユーザ、医師もしくはヘルスケア提供者、または介護者により提供される情報に基づいて、ユーザが投薬中であるかを判定するようにしてもよい。たとえば、ユーザまたはヘルスケア提供者は、図5Dと併せて記載の例示的な呼吸器感染症モニタリングアプリ5101等のデジタルアプリケーションを介して、ユーザに投薬中の特定の薬剤または処置方針を指定するようにしてもよい。
コンテキスト情報決定器2616は、(たとえば、ユーザ機器上の位置センサまたは郵便番号等のユーザによる位置情報の入力によって)ユーザの地理的地域をさらに決定するようにしてもよい。いくつかの実施形態において、コンテキスト情報決定器2616は、ユーザの地理的地域に存在する呼吸器感染症の原因となることが知られている特定のウイルスまたは細菌(インフルエンザまたはCOVID-19等)の程度をさらに決定するようにしてもよい。このような情報は、米国疾病管理予防センター(CDC)、世界保健機関(WHO)、州保健局、または国家保健機関により運営されるような政府または医療機関のウェブサイトまたはウェブポータルから入手可能と考えられる。
コンテキスト情報決定器2616により決定された情報は、患者レコード240に格納されるようになっていてもよく、いくつかの実施形態においては、関係データベースに格納され、同じく患者レコード240に格納され得る特定の音声サンプルまたは音声サンプルから決定された特定の音素特性ベクトルとコンテキスト情報が関連付けられるようになっていてもよい。
上述の通り、ユーザ音声モニタ260は一般的に、ユーザの音声のオーディオサンプルからの関連する音響情報の取得を担うものであってもよい。このデータの収集には、ユーザとの相互作用の指示を含んでいてもよい。したがって、システム200の実施形態には、音声サンプルおよび/またはユーザ症状情報の取得を含むユーザデータの収集を容易化するユーザ相互作用管理器280をさらに含んでいてもよい。このため、ユーザ相互作用管理器280の実施形態には、ユーザ指示生成器282、自己報告ツール284、およびユーザ入力応答生成器286を含んでいてもよい。本明細書において後述される通り、ユーザ相互作用管理器280は、ユーザ音声モニタ260(または、その副構成要素のうちの1つもしくは複数)、提示コンポーネント220および、いくつかの実施形態において、自己報告データ評価器276と協働するようになっていてもよい。
ユーザ指示生成器282は一般的に、音声サンプルの提供に向けたユーザのガイドを担うものであってもよい。ユーザ指示生成器282は、音声データを取り込む手順をユーザに提供するようにしてもよい(たとえば、図5Aの例示に示されるようなグラフィカルユーザインターフェースを介した表示または図4Cの例示的な相互作用に示されるようなオーディオもしくは音声ユーザインターフェースを介した発話を容易化するようにしてもよい)。とりわけ、ユーザ指示生成器282は、ユーザに対する指示231の読み上げおよび/または発話を行うようにしてもよい(たとえば、「『アー』と5秒間言ってください」)。これらの指示231は、予めプログラムされたもので、ユーザに求められる音素、音声関連データ、または他のユーザ情報に固有であってもよい。場合によっては、ユーザの臨床医または介護者によって、指示231が決定されるようになっていてもよい。このように、いくつかの実施形態によれば、指示231は、(たとえば、患者としての処置の一部として)ユーザおよび/または呼吸器感染症もしくは薬剤に固有であってもよい。この代替または追加として、指示231が自動的に生成(たとえば、合成または構築)されるようになっていてもよい。たとえば、ユーザの呼吸器疾患の判定に対して特定の音素に関する特性情報が必要または有用である旨の判定に基づいて、特定の音素を要求する指示231が生成されるようになっていてもよい。同様に、ユーザに対する特定の指示または適合された指示の構築に対して、一組の予め定められた指示231または動作が(たとえば、臨床医もしくは介護者から)提供され(または、105aもしくは105b等の意思決定支援アプリケーションにプログラムされ)、使用されるようになっていてもよい。
予めプログラムまたは生成された指示231は、設定継続時間にわたる特定の音素の発話、可能な限り長時間にわたる特定の音素の発話継続、特定の単語もしくは単語の組み合わせの発話、または文章の音読等、特定の発話関連タスクの実行に関するものであってもよい。ユーザによる文章の音読が要求されるいくつかの実施形態においては、ユーザが提供された文章を音読できるように、文章のテキストがユーザに提供されるようになっていてもよい。この追加または代替として、ユーザがテキストを読まずに可聴文章を繰り返せるように、文章の一部がユーザに対して可聴出力されるようになっていてもよい。一実施形態において、ユーザは、(書かれたテキストの読み上げまたは発話指示の繰り返しによって)予め定められた音韻のバランスがとれた文章(虹の一節(rainbow passage)等)を声に出して、虹の一節の5行等、文章のある一部を読むように要求される場合がある。場合により、ユーザには、文章の読み上げの完了のため、2分間等の予め定められた時間が与えられ得る。
いくつかの実施形態において、指示231は、ユーザによる提供が指示された音素のサンプル音を提供するようにしてもよい。いくつかの実施形態において、ユーザ指示生成器282は、呼吸器疾患の解析に求められる音素または音のみに関する指示231を与えるようにしてもよく、これには、指示231の一部のみの提供を含み得る。たとえば、所与のタイムフレームにわたって特定の音素を含む音声サンプルをユーザ音声モニタ260が未だに取得していない場合、ユーザ指示生成器282は、当該音素情報を含む音声サンプルの取得を容易化する指示231を与えるようにしてもよい。ユーザ指示生成器282(または、ユーザ相互作用管理器280)により提供され得る指示231を示す別の例については、図4A、図4B、および図5Bに関連して図示および詳述される。
ユーザ指示生成器282のいくつかの実施形態では、特定のユーザに適合された指示231を与えるようにしてもよい。このため、ユーザ指示生成器282は、特定のユーザの健康状態、臨床医の指示、ユーザに対する処方もしくは推奨、ユーザの属性情報もしくはEHR情報(たとえば、ユーザが喫煙者と判定された場合は、指示が修正される)、またはユーザから過去に取り込まれた音声/音素情報に基づいて、指示231を生成するようにしてもよい。たとえば、ユーザにより提供された過去の音素の解析は、呼吸器感染症の全期間または一部期間(たとえば、回復時)により大きな変化を示す特定の音素を示し得る。この追加または代替としては、いくつかの音素特性によって、他の特性よりも容易に検出または追跡される呼吸器疾患をユーザが罹患しているものと判定されるようになっていてもよい。これらの例において、ユーザ指示生成器282の一実施形態では、当該関心音素の付加的なサンプルの取り込みをユーザに指示するようにしてもよいし、指示231を生成または修正することにより、特定のユーザに対して有用ではない音素を含む音声サンプルを取得する指示を除去する(または、提供しない)ようにしてもよい。ユーザ指示生成器282のいくつかの実施形態においては、ユーザの呼吸器疾患に関する過去の判定(たとえば、ユーザが病中であるか否か、または、回復しているか)に基づいて、指示231が修正されるようになっていてもよい。
自己報告ツール284は一般的に、呼吸器疾患と関連し得るデータおよび他のコンテキスト情報の提供に向けたユーザのガイドを担うものであってもよい。自己報告ツール284は、自己報告データ評価器276およびデータ収集コンポーネント210と連動するようになっていてもよい。自己報告ツール284のいくつかの実施形態では、ユーザ指示生成器282との連動によって、ユーザ関連データを提供するようにユーザをガイドする指示231を与えるようにしてもよい。たとえば、自己報告ツール284は、指示231を利用して、ユーザが呼吸器疾患に関して体験している症状に関する情報の提供をユーザに促すようにしてもよい。一実施形態において、自己報告ツール284は、一組の症状のうちの各症状(鼻づまりと関連していてもよいし、鼻づまりと関連していなくてもよい)の重症度の評価をユーザに促すようにしてもよい。この追加または代替として、自己報告ツール284は、ユーザの健康またはユーザの全般的な感じ方に関する情報を提供するように、指示231の利用またはユーザへの依頼を行うようにしてもよい。一実施形態において、自己報告ツール284は、後鼻漏、鼻閉、鼻水、粘液の多い鼻汁、咳、喉の痛み、鼻をかむ必要性の重症度の表示をユーザに促すようにしてもよい。いくつかの実施形態において、自己報告ツール284は、ユーザへの催促またはユーザからのデータの受け付けを容易化するユーザインターフェース要素を備えていてもよい。たとえば、図5Dおよび図5Eには、自己報告ツール284を提供するGUIの態様が示される。また、図4D、図4E、および図4Fには、自己報告ツール284を提供する音声ユーザインターフェース(VUI)の態様を示す例示的なユーザ相互作用が示される。
いくつかの実施形態において、自己報告ツール284は、指示231を利用して、一日に複数回の症状または全身状態の入力をユーザに促すようにしてもよく、また、要求される入力は、時間帯によって異なり得る。いくつかの実施形態において、入力時間は、ユーザ音声サンプルが取得されるタイムフレームまたはセッションに対応していてもよい。一例において、自己報告ツール284は、朝に19個の症状、夜に16個の症状について、知覚される重症度の評価をユーザに促すようにしてもよい。この追加または代替として、自己報告ツール284は、睡眠関連の質問について朝に4つ、一日の終わりの疲労感の質問について夜に1つ答えることをユーザに促すようにしてもよい。以下の表は、指示231を利用することにより自己報告ツール284によって決定され、自己報告ツール284またはユーザ相互作用管理器280の他の副構成要素によって出力され得るユーザ入力の催促の例示的なリストを示している。
いくつかの実施形態において、自己報告ツール284は、ユーザの検出された音素特性(すなわち、疑われる呼吸器疾患に基づく)、過去に取り込まれた音素データ、および/または他の自己報告入力に基づいて、追加の質問を提供するようにしてもよいし、追加の催促を与えるようにしてもよい。例示的な一実施形態において、ユーザが呼吸器感染症を発症している可能性または呼吸器感染症から回復中である可能性を音素特性の解析が示す場合、自己報告ツール284は、症状の報告に関するユーザへの催促を容易化するようにしてもよい。たとえば、指示231の利用および/またはユーザ相互作用管理器280との連動が可能な自己報告ツール284は、ユーザの症状に関する質問(または、ユーザの症状を求めるリクエストの表示)を行うようにしてもよい。本実施形態において、ユーザは、「鼻づまりを感じますか?」等、ユーザの感じ方に関する質問を尋ねられる場合がある。同様の例において、ユーザが鼻づまりまたは特定の症状を起こしていることを報告した場合、自己報告ツール284は、「1~10段階でどの程度の鼻づまりですか?」という質問またはこの追加詳細を提供する旨のユーザへの催促を別途行うようにしてもよい。
いくつかの実施形態において、自己報告ツール284は、ユーザがウェアラブルデバイス、健康モニタ、または生理学的センサの通信結合によってユーザの生理学的データの自動収集を容易化し得る機能を含んでいてもよい。このような一実施形態においては、コンテキスト情報決定器2616またはシステム200の他の構成要素によってデータが受信され、患者レコード240に格納されるようになっていてもよい。いくつかの実施形態においては、上述の通り、この自己報告ツール284から受信された情報が関係データベースに格納され、あるセッションから取得された特定の音声サンプルまたは音声サンプルから決定された特定の音素特性ベクトルと関連付けられるようになっていてもよい。いくつかの実施形態においては、受信した生理学的データに基づいて、自己報告ツール284が上述の通り、自己報告症状情報をユーザに催促または要求するようにしてもよい。
種々実施形態によれば、ユーザ入力応答生成器286は一般的に、ユーザへのフィードバックの提供を担うものであってもよい。このような一実施形態において、ユーザ入力応答生成器286は、発話または音声記録等、ユーザデータに関するユーザの入力を解析するようにしてもよく、また、ユーザ指示生成器282および/またはサンプル記録検査器2608との連動により、ユーザの入力に基づいてフィードバックをユーザに与えるようにしてもよい。一実施形態において、ユーザ入力応答生成器286は、ユーザの応答を解析して、ユーザが良好な音声サンプルを提供したか否かを判定した後、当該判定をユーザに示すようにしてもよい。たとえば、記録されたサンプルが良好であることを示すため、緑色の光、チェックマーク、スマイルマーク、サムズアップ、ベルもしくはチャープ音、または類似のインジケータがユーザに提供されるようになっていてもよい。同様に、サンプルが不完全または欠陥であったことをユーザに報知するため、赤色の光、しかめ面、ブザー、または類似のインジケータが提供されるようになっていてもよい。いくつかの実施形態において、ユーザ入力応答生成器286は、ユーザ指示生成器282からの指示231をユーザが順守できなかったかを判定するようにしてもよい。ユーザ入力応答生成器286のいくつかの実施形態では、問題が検出された場合、チャットボットソフトウェアエージェントを呼び出して、状況に応じたヘルプまたは補助をユーザに提供するようにしてもよい。
ユーザ入力応答生成器286の実施形態では、過去の音声サンプルの音レベル等の音響特性が不十分な場合、バックグラウンドノイズが多すぎる場合、またはサンプルで記録された音が十分な長さではない場合に、ユーザへの報知を行うようにしてもよい。たとえば、ユーザが最初の音声サンプルを提供した後、ユーザ入力応答生成器286は、「聞き取れませんでした。もう一度お願いします。『アーア』と5秒間言ってください。」と出力するようにしてもよい。一実施形態において、ユーザ入力応答生成器286は、記録時にユーザが実現すべき音量レベルの表示および/または音声サンプルが受け入れ可能であるか否かに関するフィードバックのユーザへの提供を行うようにしてもよく、これは、サンプル記録検査器2608に従って判定されるようになっていてもよい。
いくつかの実施形態において、ユーザ入力応答生成器286は、ユーザインターフェースの態様を利用して、音レベル、バックグラウンドノイズ、または音声サンプルを取得するタイミング継続時間に関するフィードバックをユーザに与えるようにしてもよい。たとえば、音声サンプルの記録のための発話を開始するタイミングまたは停止するタイミングを知らせるため、視覚的または聴覚的なカウントダウンクロックまたはタイマーが用いられるようになっていてもよい。図5Aには、GUI要素5122として、タイマーの一実施形態が示される。図5Bにおいては、GUI要素5222として、ユーザ入力応答を与える同様の例が示されており、これには、タイマーおよびバックグラウンドノイズのインジケータを含む。他の例(図示せず)としては、オーディオ入力レベル、バックグラウンドノイズ、単語の色替えもしくは単語の発話時にユーザが読んでいる単語に沿って跳ねるボール、または類似の聴覚的もしくは視覚的インジケータに関するGUI要素が挙げられる。
ユーザ入力応答生成器286は、特定の発話関連タスク(たとえば、発声)または音声セッションの進展の指標をユーザに与えるようにしてもよい。たとえば、上述の通り、ユーザ入力応答生成器286は、ユーザが持続的な発声を行う際の秒数を(グラフィカルユーザインターフェースまたはオーディオユーザインターフェースでの表示により)カウントするようにしてもよいし、開始および/または停止のタイミングをユーザに示すようにしてもよい。ユーザ入力応答生成器286(または、ユーザ指示生成器282)のいくつかの実施形態では、特定のセッション、タイムフレーム、または日付について、完了予定の発話関連タスクまたは完了済みの発話関連タスクに関する指標を提供するようにしてもよい。
上述の通り、ユーザ入力応答生成器286のいくつかの実施形態では、ユーザが提供した音声サンプルのフィードバックを確認し得るように、たとえばサンプルの音量レベル、サンプルが受け入れ可能であるか否か、および/またはサンプルが正しく取り込まれたか否かに関するインジケータ等、ユーザに対する視覚的なインジケータを生成するようにしてもよい。
ユーザ音声モニタ260により(単独もしくはユーザ相互作用管理器280との連動で)収集および決定された音声情報を利用して、呼吸器疾患追跡器270は、ユーザの呼吸器疾患に関する情報および/またはユーザの将来の呼吸器疾患に関する予測を決定するようにしてもよい。一実施形態において、呼吸器疾患追跡器270は、特定の時間またはタイムフレームと関連付けられ、日付および/または時刻情報でタイムスタンプされ得る音素特性集合(たとえば、1つまたは複数の音素特性ベクトル)を受信するようにしてもよい。たとえば、音素特性集合は、ユーザ音声モニタ260またはユーザと関連付けられた患者レコード240(音素特性ベクトル244等)から受信されるようになっていてもよい。本明細書に記載の通り、音素特性集合と関連付けられた時間情報は、音素特性集合の決定に用いられる音声サンプル(または、音声関連データ)がユーザから取得された日付および/または時刻に対応していてもよい。また、呼吸器疾患追跡器270は、音素特性が決定されたオーディオ記録または音声サンプルと関連するコンテキスト情報を受信するようにしてもよく、これはまた、患者レコード240および/またはユーザ音声モニタ260(もしくは具体的に、コンテキスト情報決定器2616)から受信されるようになっていてもよい。呼吸器疾患追跡器270の実施形態では、1つまたは複数の分類器を利用することにより、複数回の音素特性集合(ベクトル)および、いくつかの実施形態においては、コンテキスト情報に基づいて、ユーザの現在可能性の高い呼吸器疾患のスコアまたは判定を生成するようにしてもよい。この追加または代替として、呼吸器疾患追跡器270は、予測器モデルを利用して、ユーザの将来的に可能性の高い呼吸器疾患を予想するようにしてもよい。呼吸器疾患追跡器270の実施形態には、特性ベクトル時系列組立器272、音素特性比較器274、自己報告データ評価器276、および呼吸器疾患推論エンジン278を含んでいてもよい。
特性ベクトル時系列組立器272は、ユーザの連続する音素特性ベクトル(または、特性集合)の時系列の組み立てのために採用されたものであってもよい。時系列は、特性ベクトルと関連付けられた時間情報(または、タイムスタンプ)に従って、時間順または逆時間順に組み立てられていてもよい。いくつかの実施形態において、時系列には、ユーザもしくは患者の収集された音声サンプルに対して生成された音素特性ベクトル、患者が病中である(すなわち、呼吸器感染症である)時間区分内に収集されたサンプルに対して生成された音素特性ベクトル、または、たとえば過去3~5週間、過去2週間、もしくは過去1週間等、設定された時間区分もしくは予め定められた時間区分内の時間と関連付けられた音素特性ベクトルのすべてを含んでいてもよい。他の実施形態において、時系列には、2つの特性ベクトルのみを含む。このような一実施形態においては、時系列の第1の音素特性ベクトルが対応するタイムスタンプに応じた最新期間または時点と関連付けられていてもよく、このため、ユーザの現在の呼吸器疾患に関する情報を表す。一方、第2の特性ベクトルは、より早い期間または時点と関連付けられていてもよい。いくつかの実施形態において、より早い期間は、ユーザの呼吸器疾患が最新の期間または時点と異なる時間区分(すなわち、ユーザが病中または健康であった時間)に対応する。
さらに、音素特性比較器274は一般的に、ユーザの音素特性ベクトル244の差(または、異なる特性集合における特性の値の差)の決定を担うものであってもよい。音素特性比較器274は、2つ以上の音素特性ベクトルの比較によって差を決定するようにしてもよい。たとえば、任意の2つの異なる時点または期間と関連付けられた音素特性ベクトル244間または最新の期間もしくは時点と関連付けられた特性ベクトルとより早い期間もしくは時点と関連付けられた特性ベクトルとの間で比較が実行されるようになっていてもよい。音素特性比較器274による比較によって、異なる期間または時点にまたがる特性の変化に関する(ユーザの呼吸器疾患の変化を表す)情報が得られるように、比較される各音素特性集合(または、ベクトル)は、異なる期間または時点と関連付けられていてもよい。いくつかの実施形態においては、比較される2つ以上の特性ベクトルが同じ継続時間を有し得ること、または、各ベクトルが比較のための対応する特性(すなわち、同じ次元)を有することも考えられる。場合によっては、特性ベクトルの一部(または、特性の部分集合)のみが比較されるようになっていてもよい。一実施形態においては、異なる期間または時点に及ぶタイムフレームにわたる特性の変化を特徴付ける解析を実行するため、複数の特性ベクトル(異なる期間または時点とそれぞれ関連付けられた3つ以上のベクトルを含み得る)が音素特性比較器274により利用されるようになっていてもよい。たとえば、この解析には、変化率の決定、回帰もしくは曲線フィッティング、クラスタ分析、判別分析、または他の分析を含んでいてもよい。上述の通り、本明細書においては、特性集合間の比較の実行を容易化するため、用語「特性集合(feature set)」および「特性ベクトル(feature vector)」が同義で使用され得るものの、特性集合の個々の特性は特性ベクトルと考えられる。
いくつかの実施形態においては、最新の期間または時点の特性ベクトル(たとえば、最も新しく取得された音声サンプルから決定された特性ベクトル)と複数のより早い期間または時点に対応する特性ベクトルの平均または合成(たとえば、複数の先行特性ベクトルまたは音声サンプルに基づくボックスカー移動平均)との間で比較が実行されるようになっていてもよい。場合により、この平均には、ユーザの先行期間もしくは時点と関連付けられた最大数の特性ベクトルを考慮するようにしてもよいし(たとえば、音声サンプルを取得する10個の先行セッションに対応する特性ベクトルの平均)、過去1週間または2週間等、予め定められたより早い時間区分からの最大数の特性ベクトルを考慮するようにしてもよい。この代替または追加として、音素特性比較器274は、本明細書に別途記載の通り、一般大衆またはモニタリングユーザに類似する他のユーザ等のユーザまたは他のユーザ(たとえば、類似の呼吸器疾患またはモニタリングユーザに対する他の類似性を有するコホート)に基づき得る音素特性基準に対して、最新の時間区分に関するユーザの特性ベクトルを比較するようにしてもよい。さらに、場合により、この比較では、基準に対応する特性集合の(または、特性集合に対応する)統計的分散または標準偏差等、基準(または、基準を利用しない実施形態では、特性集合)に関する統計情報を利用するようにしてもよい。いくつかの実施形態においては、先行特性ベクトル(すなわち、より早い期間または時点に取得された音声サンプルに対応する特性ベクトル)に対する平滑化関数として動作するように、平均、特に、ローリング平均または移動平均の採用が考慮され得る。このように、早期サンプルで発生し得る呼吸器感染症を考慮しない音声関連データの変動(たとえば、音声サンプルの取得が、ユーザが最初に目覚めた朝か、長い一日の終わりか、ユーザが大きな声で応援したり歌ったりした後の時間か)が最小化され得る。また、音素特性比較器274のいくつかの実施形態では、早期の特性ベクトルの平均または単一のより早い期間もしくは時点と関連付けられた特性ベクトルに対して、最新の特性ベクトルの平均を比較し得るとも考えられる。同様に、最新の特性の特性値(または、特性値の一部)の統計的分散が決定され、早期の特性値(または、その一部)の分散に対して比較されるようになっていてもよい。
音素特性比較器274のいくつかの実施形態では、音素特性比較ロジック235を利用して、音素特性ベクトルの比較を決定するようにしてもよい。音素特性比較ロジック235には、コンピュータ命令(たとえば、関数、ルーチン、プログラム、ライブラリ等)を含んでいてもよく、特性もしくは特性ベクトルの比較の実行または比較もしくは比較の処理による解釈の容易化のための1つまたは複数のルール、条件、プロセス、モデル、または他のロジックが挙げられるが、これらに限定されない。いくつかの実施形態においては、音素特性ベクトルの距離測定基準または差分測定結果を演算するため、音素特性比較ロジック235が音素特性比較器274により利用される。例示的な態様において、距離測定結果は、ユーザの時間経過に対して、音声情報の音響特性空間の変化を定量化したものと考えられる。このように、ユーザの音声情報が取得された2つ以上の時刻間で音響特性空間(たとえば、音素特性)に検出される定量化可能な変化に基づいて、ユーザの呼吸器疾患の変化が観察および定量化されるようになっていてもよい。一実施形態において、音素特性比較器274は、距離測定結果を決定するため、2つの特性ベクトル(または、特性ベクトルの平均)に対するユークリッド測定結果またはL2距離を決定するようにしてもよい。場合により、音素特性比較ロジック235には、比較演算に先立って、または、比較演算の一部として、多次元ベクトルの場合の平坦化、正規化、または他の処理演算を実行するロジックを含んでいてもよい。いくつかの実施形態において、音素特性比較ロジック235には、他の距離測定基準(たとえば、マンハッタン距離)を実行するロジックを含んでいてもよい。たとえば、最新の特性ベクトルと、より早い期間または時点と関連付けられた一組の特性ベクトルとの間の距離を決定するため、マハラノビス距離が利用されるようになっていてもよい。いくつかの実施形態において、ユーザによる文章の音読を比較する実施態様等の場合は、レーベンシュタイン距離が決定されるようになっていてもよい。たとえば、一実施形態によれば、ユーザによる文章の音読からテキストを生成するため、発話テキスト化アルゴリズムが利用されるようになっていてもよい。また、文章の音節もしくは単語およびユーザがこれらの単語を読み上げたタイミングの対応するタイムスタンプを含む1つまたは複数のエントリの時系列が決定されるようになっていてもよい。この時系列(または、タイムスタンプ)情報は、同様に決定される基準特性ベクトルに対する(たとえば、レーベンシュタイン距離アルゴリズムを用いた)比較のための特性ベクトルの生成に用いられるようになっていてもよい(あるいは、特性として用いられるようになっていてもよい)。
いくつかの実施形態においては、患者の複数対の時間に対して、音素特性差(または、距離測定基準)が決定されるようになっていてもよい。たとえば、最も新しい日付の音素特性ベクトルと最新日の前の日付の音素特性ベクトルとの間の距離の演算、および/または、最も新しい日付の音素特性ベクトルと1週間前に収集されたサンプルの音素特性ベクトルもしくは基準を表す音素特性ベクトルとの間の距離の演算が行われるようになっていてもよい。さらに、いくつかの実施形態においては、異なる音素特性ベクトルまたは特性に対する異なる種類の距離測定結果が演算されるようになっていてもよい。
いくつかの実施形態においては、音素特性差(または、距離測定基準)が期間または時点に対する特定の音響特性の差を示し得る。たとえば、音素特性比較器274は、音素
の調和性に関する距離測定基準を演算するようにしてもよく、音素
のシマーに関しては別の距離測定基準が演算されるようになっていてもよい。この追加または代替として、期間または時点に対する音響特性の組み合わせに対して、距離測定基準(または、変化の指標)が決定されるようになっていてもよい。
いくつかの実施形態において、音素特性比較ロジック235(または、音素特性比較器274)は、ユーザに対する特性基準を生成または利用するコンピュータ命令を含む。基準は、健康状態、病気状態(たとえば、インフルエンザ状態もしくは呼吸器感染症状態)、回復状態、またはその他任意のユーザの状態を表し得る。他の状態の例としては、ある時点もしくは時間区分(たとえば、30日前)におけるユーザの状態、事象と関連付けられた(たとえば、手術もしくは負傷前の)ユーザの状態、条件に応じたユーザの状態(たとえば、投薬中もしくは汚染された都市に住んでいた時のユーザの状態)、または他の基準と関連付けられた状態が挙げられる。たとえば、健康状態の基準は、ユーザが健康であった1つまたは複数の時間区分(たとえば、日にち)に対応する1つまたは複数の特性集合を利用して決定されるようになっていてもよい。
本明細書においては、それぞれが異なる時間区分に対応する複数の特性集合に基づいて決定された基準が複数参照または複数日基準と称される場合もある。場合により、複数参照基準には、異なる時間区分にそれぞれ対応する複数の特性集合または一群の特性集合を含む。あるいは、複数参照の基準には、複数の時間区分の複数の特性集合に基づく単一の代表的な特性集合を含んでいてもよい(たとえば、上述の通り、異なる期間または時点の特性集合値の平均または合成を含む)。いくつかの実施形態において、基準には、特性に関する統計データ、補足データ、またはメタデータを含んでいてもよい。たとえば、複数の特性集合が使用される場合(たとえば、複数参照基準)、基準には、(複数の時間区分を代表し得る)特性集合ならびに特性値の統計的分散もしくは標準偏差を含んでいてもよい。補足データには、基準の決定に用いられる特性集合の時間区分と関連付けられ得るコンテキスト情報を含んでいてもよい。メタデータには、当該時間区分におけるユーザの呼吸器疾患に関する情報(たとえば、ユーザが健康、病中、回復中等)等、基準の決定に用いられる特性集合に関する情報または基準に関する他の情報を含んでいてもよい。いくつかの実施形態においては、本明細書に記載の通り、さまざまな基準に基づいて、異なる比較を実行するため、一組の基準が決定されるようになっていてもよい。
収集音声サンプルから生成された特性ベクトルを特定状態の基準と比較することで、既知の調子または状態と比較した場合のユーザの調子または状態を示すようにしてもよい。例示的な実施形態においては、基準に対する比較によってユーザの調子または状態が変化したか否かを示すように、特定のユーザに対して基準が決定される。この代替または追加として、一般大衆に対する基準の決定または類似ユーザのコホートからの基準の決定がなされるようになっていてもよい。いくつかの実施形態においては、異なる特性集合に対して異なる種類の基準が使用される。たとえば、一部の特性がユーザ固有の基準と比較される一方、他の特性は、多くの患者からのデータにより決定された標準的な基準と比較されるようになっていてもよい。いくつかの実施形態において、ユーザは、基準の決定に使用する特定の音声サンプル、日付、または時間区分を(たとえば、設定249によって)指定するようにしてもよい。たとえば、ユーザは、ユーザの既知の状態または調子に対応するカレンダー上の日にちの選択等、GUIによって日付またはある範囲の日にちを指定するようにしてもよく、さらに、既知の状態または調子に関する情報を提供するようにしてもよい(たとえば、「健康であった日付を少なくとも1つ選択してください」)。同様に、音声サンプルを取得する記録セッションにおいて、ユーザは、基準の決定に音声サンプルを使用すべき旨を示すとともに、ユーザの調子または状態に関する対応する指標を提供するようにしてもよい。たとえば、記録セッションにおいては、健康(または、病中もしくは回復)状態の基準としてサンプルを使用するためのGUIチェックボックスが提示されるようになっていてもよい。
いくつかの実施形態において、音素特性比較ロジック235は、複数日または複数参照基準を生成して利用するコンピュータ命令を含んでいてもよい。複数日基準は、たとえば変動していてもよいし、固定されていてもよい。特に、この基準に対する最新の特性ベクトルの比較を実行することによって、音素特性比較器274は、ユーザの呼吸器疾患が変化したことと、ユーザが病中であるか健康であるかを示す情報を決定するようにしてもよい。音素特性比較器274により実行される比較に基づくユーザの呼吸器疾患の判定に関する詳細については、呼吸器疾患推論エンジン278に関連して記載される。同様に、音素特性比較ロジック235は、(たとえば、呼吸器疾患推論エンジン278によって)ユーザの呼吸器疾患が変化した旨およびユーザが病中(もしくは、健康)である旨またはユーザの調子が上向きもしくは下向きである旨が判定され得るように、最新の音素特性ベクトルおよび一組の早期ベクトル(または、複数参照基準)を利用して複数の比較を実行する命令と、差分測定結果を互いに比較する命令と、を含んでいてもよい。距離測定結果の比較を含む複数の比較の実行の別途詳細については、呼吸器疾患推論エンジン278に関連して記載される。
いくつかの実施形態において、基準は、ユーザに関するより多くの情報が取得された場合に、動的かつ自動的に規定されるようになっていてもよい。たとえば、ユーザの音声情報の通常の変動性が経時的に変化するため、ユーザの基準も変化して、ユーザの現在の通常の変動性を反映し得る。いくつかの実施形態では、最新の特性集合または(複数の時間区分(たとえば、日にち)に対応する)複数の最新の特性集合から決定され得、基準の尺度(たとえば、健康、病中、回復)に適合する新たな特性集合が決定された場合に更新される適応型基準を利用するようにしてもよい。たとえば、基準に対する新たな特性集合が(たとえば、より新しい日にちから)決定された場合に、古い時間の特性集合が考慮されなくなるように、適応型基準に利用される複数の特性集合は、先入れ先出し(FIFO)データフローに従うものであってもよい。このように、適応型基準によって、ユーザの音声で発生し得る小さな変動または遅い変化および適応が除外され得る。適応型基準を利用するいくつかの実施形態において、この基準のパラメータ(たとえば、含まれる特性集合の数または含まれる最新の特性集合の時間ウィンドウ)は、アプリケーション設定(たとえば、設定249)において設定されていてもよい。複数の時間区分(たとえば、日にち)の特性集合が基準に利用される実施形態の場合によっては、基準が最新となるように、より新しく決定された特性集合が重み付けされ、より重要な意味を持つようにしてもよい。この代替または追加として、より早い期間または時点に対応する古い(すなわち、「陳腐な」)特性集合は、重み付けによって、経時的な減衰または基準に対する寄与度の低下が起こるようにしてもよい。
いくつかの実施形態においては、ユーザの基準内の特定の特性が当該特定のユーザに対して適合されるようになっていてもよい。このように、異なるユーザがそれぞれの基準内の音素特性の異なる組み合わせを有していてもよく、したがって、異なる音素特性が決定され、各ユーザの呼吸器疾患のモニタリングに利用されるようになっていてもよい。たとえば、第1のユーザの健康な音声サンプルにおいて、特定の音響特性は(概して、または、特定の音素に対して)、自然に変動することでユーザの呼吸器疾患の変化の検出には有用となり得ないものの、別のユーザに対しては有用で、その基準に含まれる可能性がある。
いくつかの実施形態においては、ユーザの基準が天候、時間帯、および/または季節(すなわち、時期)等のコンテキスト情報と相関されるようになっていてもよい。たとえば、高湿度の期間に記録されたサンプルからユーザの基準が生成されるようになっていてもよい。この基準は、高湿度の期間に記録されたサンプルから生成された音素特性ベクトルと比較されるようになっていてもよい。逆に、比較的低湿度の期間に取得されたサンプルから生成された音素特性ベクトルに対して、異なる基準が比較されるようになっていてもよい。このように、所与のユーザに対して決定され、異なるコンテキストで利用される複数の基準が存在していてもよい。
さらに、いくつかの実施形態においては、特定のユーザに対してではなく、一組の共通した特徴を共有する患者等の特定のコホートに対して基準が決定されるようになっていてもよい。例示的な一実施形態においては、呼吸器疾患(たとえば、インフルエンザ、ライノウイルス、COVID-19、喘息、慢性閉塞性肺疾患(COPD)等)が同じであることが知られている患者からのデータを利用して決定され得る点から、基準が呼吸器疾患に固有のものであってもよい。ユーザに関するより多くの情報が取得された場合に基準が動的に規定され得るいくつかの実施形態においては、一般大衆またはユーザに類似するコホートからの音素特性データに基づく初期基準が提供されるようになっていてもよい。時間の経過とともに、ユーザのより多くの音素特性集合が決定されると、ユーザの音素特性集合を用いることにより基準が更新され、当該ユーザに適合されるようになっていてもよい。
呼吸器疾患追跡器270のいくつかの実施形態には、ユーザの診断(たとえば、ユーザの現在の呼吸器疾患の決定)に相関もしくは考慮され得る自己報告情報および/または将来の調子を予想する自己報告情報をユーザから収集し得る自己報告データ評価器276を含んでいてもよい。自己報告データ評価器276は、自己報告ツール284および/またはコンテキスト情報決定器2616から、この情報を収集するようにしてもよい。この情報は、ユーザの感じ方またはユーザの現在の調子に関する(たとえば、体温、呼吸速度、血中酸素等を示すセンサからの)ユーザ提供データまたはユーザ由来データであってもよい。一実施形態において、この情報には、呼吸器疾患に関して、ユーザの自己報告によるさまざまな症状の知覚的重症度を含む。たとえば、この情報には、後鼻漏、鼻閉、鼻水、粘液の多い鼻汁、咳、喉の痛み、鼻をかむ必要性に関するユーザの重症度スコアを含んでいてもよい。
自己報告データ評価器276は、入力データを利用して、呼吸器疾患または症状の重症度を示す症状スコアを決定するようにしてもよい。たとえば、自己報告データ評価器276は、複数の症状のスコアを組み合わせることにより演算され得る合成症状スコア(CSS)を出力するようにしてもよい。また、合成症状スコアを求めるため、個々の症状スコアが合算または平均化されるようになっていてもよい。たとえば、一実施形態においては、7つの呼吸器疾患関連症状の症状スコア(0~5の範囲)を合算することにより合成症状スコアが決定されるようになっていてもよく、この結果、合成症状スコアの範囲は0~35である。症状スコアが高いほど、より重度の症状を示し得る。一実施形態において、症状には、後鼻漏、鼻閉、鼻水、粘液の多い鼻汁、咳、喉の痛み、鼻をかむ必要性を含んでいてもよい。いくつかの実施形態においては、鼻づまりに関連する症状および鼻づまりに関連しない症状等、すべての症状に対して別個の症状スコアが生成されるようになっていてもよい。
いくつかの実施形態において、自己報告データ評価器276は、決定した症状スコアを生成したユーザ入力と同じ時間ウィンドウに対応する音声サンプルから決定された音素特性に対して、当該症状スコアを関連付けるようにしてもよい。他の実施形態において、自己報告データ評価器276は、音素特性ベクトルまたは音素特性ベクトルの比較により決定された距離測定基準に対して、症状スコアを相関させるようにしてもよい。指数関数的な減衰モデルの適合および音響特性値の減衰率との相関によって、鼻づまりに関連する症状または鼻づまりに関連しない症状を含むすべての症状に対する合成症状スコア等の症状スコアが音素特性に対して相関されるようになっていてもよい。減衰モデルは、症状の変化の大きさおよび速度の推定に利用され得る。一実施形態においては、スコア≒ae-b(日数-1)+εが指数関数的な減衰モデルに利用される。ここで、aは変化の大きさを表し、bは減衰率を表す。この指数関数的な減衰モデルは、Rシステム(Comprehensive R Archive Network(CRAN)を通じてアクセス可能なthe R-project for Statistical Computing)のパッケージnlme(バージョン3.1.144)の被験者をランダム効果として用いた非線形混合効果モデルを用いることにより実装されていてもよい。音素特性ベクトルと症状スコアとの間ならびに音素特性ベクトルおよび/または導出された距離測定基準間の相関の例については、それぞれ図9ならびに図11Aおよび図11Bに示される。自己報告データ評価器276により生成された症状スコアならびに、いくつかの実施形態においては、音素特性ベクトルもしくは距離測定基準との関連付けおよび/もしくは相関は、ユーザの患者レコード240に格納されていてもよい。
いくつかの実施形態においては、検出された変化(たとえば、ユーザの調子が悪化していること)に基づいて、または、ユーザがすでに病中である場合に、自己報告が開始される。また、自己報告の開始は、患者レコード240における設定249等、ユーザ設定の選好に基づいていてもよい。いくつかの実施形態においては、ユーザの収集音声サンプルから検出された呼吸器疾患に基づいて、自己報告が開始される。たとえば、自己報告データ評価器276は、音素特性比較器274により実行される特性ベクトルの比較に基づいて決定され得る音声解析によるユーザの調子の検出に基づいて、自己報告症状情報の取得をユーザに促すことを決定するようにしてもよい。
さらに、呼吸器疾患推論エンジン278は一般的に、ユーザの現在の呼吸器疾患の決定もしくは推論および/またはユーザの将来の呼吸器疾患の予測を担うものであってもよい。この決定は、特性値において検出された変化を含むユーザの音響特性に基づいていてもよい。このため、呼吸器疾患推論エンジン278は、距離測定基準として決定され得るユーザの音素特性および/または検出された特性の変化に関する情報を受信するようにしてもよい。呼吸器疾患推論エンジン278のいくつかの実施形態では、コンテキスト情報決定器2616により決定され得るコンテキスト情報、および/または自己報告データ評価器276により決定された合成症状スコア等、ユーザの自己報告データもしくは自己報告データの解析をさらに利用するようにしてもよい。一実施形態においては、ユーザの呼吸器疾患の指標として、最長発声時間あるいは
等の1つもしくは複数の特定の音素、別の基本母音発声、または他の発声をユーザが持続する継続時間が呼吸器疾患推論エンジン278により用いられるようになっていてもよい。たとえば、最長発声時間が短い場合は、息切れおよび/または肺活量の減少を示し、呼吸器疾患の悪化と関連付けられ得る。さらに、呼吸器疾患推論エンジン278は、音響特性を1つまたは複数の基準と比較して、ユーザの呼吸器疾患を判定するようにしてもよい。たとえば、ユーザの呼吸容量が増加しているか減少しているかを判定するため、ユーザの最長発声時間がユーザの基準最長発声時間と比較されるようになっていてもよく、最長発生時間が短い場合は、呼吸器疾患の悪化を示し得る。同様に、予め定められた継続時間の音声サンプルから抽出された音素の有声フレームの割合が低い場合も、呼吸器疾患の悪化を示し得る。非限定的な一例として、文章を読み上げる音声サンプルの場合は、発話速度の低下、平均休止長の増大、休止数の増加、および/またはグローバルSNRの低下が呼吸器疾患の悪化を示し得る。これらの変化のいずれかを決定することは、本明細書に記載の通り、ユーザ固有の基準等の基準に対する最新サンプルの比較により行われるようになっていてもよい。
呼吸器疾患推論エンジン278は、この入力情報を利用して、ユーザの現在の呼吸器疾患および/または将来の疾患(すなわち、予測)を表す1つまたは複数の呼吸器疾患スコアまたは分類を生成するようにしてもよい。呼吸器疾患推論エンジン278からの出力は、ユーザの患者レコード240の結果/推論状態246に格納されるようになっていてもよく、また、図5Cの例示的なGUI5300に関連して記載の通り、ユーザに提示されるようになっていてもよい。
いくつかの実施形態において、呼吸器疾患推論エンジン278は、ユーザの呼吸器疾患において検出された定量的変化に対応する呼吸器疾患スコアを決定するようにしてもよい。この代替または追加として、ユーザの呼吸器感染症疾患の呼吸器疾患スコアまたは推論は、1つもしくは複数の特定の音素特性の検出値(すなわち、変化ではなく1回の測定値)または1つもしくは複数の特定の特性値、特性値の検出変化、および異なる変化率の組み合わせに基づいていてもよい。一実施形態において、呼吸器疾患スコアは、(たとえば全般的に、任意の疾患または特定の呼吸器感染症に関して)ユーザが呼吸器疾患である(または、呼吸器疾患ではない)可能性または確率を示し得る。たとえば、呼吸器疾患スコアは、ユーザが呼吸器感染症である可能性が60%であることを示し得る。いくつかの態様において、呼吸器疾患スコアには、合成スコアまたは一組のスコア(たとえば、ユーザが一組の呼吸器疾患を有する一組の確率)を含んでいてもよい。たとえば、呼吸器疾患推論エンジン278は、ユーザがアレルギー(0.2)、ライノウイルス(0.3)、COVID-19(0.04)等の各疾患である対応する可能性を伴う特定の呼吸器疾患のベクトルを生成するようにしてもよい。この代替または追加として、呼吸器疾患スコアは、既知の健康状態に対するユーザの現在の状態の差を示すものであってもよいし、本明細書に記載のようなユーザの基準または健康状態に対するユーザの現在の状態の比較に基づいていてもよい。
多くの場合、呼吸器疾患推論エンジン278は、ユーザが症状を感じないユーザの健康状態からの変化または差(または、呼吸器感染症の確率)を決定するようにしてもよい(または、呼吸器疾患スコアがこれを示していてもよい)。この機能は、主観的なデータに依拠する従来の技術に対する利点および改良である。一方、本明細書に提供される技術の実施形態では、主観的なデータに依拠するのではなく、ユーザが症状を感じる前に、呼吸器感染症の発症を検出するようにしてもよい。これらの実施形態は、従来手法よりも早期に呼吸器感染症を警告することによって、SARS-CoV-2(COVID-19)等の呼吸器系のパンデミックとの闘いに特に有用と考えられる。たとえば、感染症の可能性を示す呼吸器疾患スコア(または、呼吸器疾患推論エンジン278によるユーザの呼吸器疾患に関する判定)によって、ユーザが実行する前に、自己検疫、ソーシャルディスタンス、マスクの着用、または他の予防策がユーザに報知され得る。
いくつかの実施形態において、ユーザが呼吸器感染症である確率を示し得る呼吸器疾患スコアまたはその確率に対応し得る呼吸器疾患スコアは、ユーザの健康状態に対する値として表されるようになっていてもよい。たとえば、呼吸器疾患スコアが100のうちの90である場合(100が健康状態を表す)は、ユーザの呼吸器疾患の検出変化がユーザの通常の状態または健康状態の90%であること(すなわち、10%の変化)を示し得る。本例においては、ユーザが90の呼吸器疾患スコアで健康に感じ得るものの、スコアは、ユーザが呼吸器感染症を発症していること(または、依然として回復中であること)を示し得る。同様に、呼吸器疾患スコアが20の場合は、ユーザが病中である可能性が高い(すなわち、ユーザが呼吸器感染症である可能性が高い)ことを示し、呼吸器疾患スコアが40の場合は、同じくユーザが病中である可能性が高いものの、呼吸器疾患スコアが20の場合ほどの疾病状態ではない(または、その可能性がない)ことを示し得る。たとえば、呼吸器疾患スコアが確率に対応する場合、呼吸器疾患スコアが20の場合は、呼吸器疾患スコアが40の場合よりもユーザが感染症である確率が高いことを示し得る。ただし、呼吸器疾患スコアがユーザの現在の状態と健康基準との間の差を反映する場合、呼吸器疾患スコアが40の場合は、呼吸器疾患スコアが20の場合よりも基準からの検出変化が小さく、ユーザが疾病状態ではない可能性を示し得る。場合により、ユーザの呼吸器疾患スコアは、数字の代替または追加として、色または記号で示されるようになっていてもよい。たとえば、緑色はユーザが健康であることを示し、黄色、橙色、および赤色は、ユーザの健康状態からの差が大きくなっていることを表していてもよく、ユーザが呼吸器感染症である可能性が高くなっていることを示し得る。同様に、呼吸器疾患スコアを表すのに顔文字(たとえば、笑顔としかめ面または蒼白顔)が利用されるようになっていてもよい。
本明細書の実施形態は、音素特性情報(音素特性の変化を含む)ならびに、いくつかの実施形態においては、コンテキスト情報(測定された生理学的データ等)および/もしくはユーザからの自己報告症状スコアにさらに基づいてユーザの呼吸器感染症の状態を特徴付けるのに使用され得ることが了解されるものとする。したがって、場合によっては、重度の呼吸器感染症および軽度の呼吸器感染症がいずれも、同じ音素特性(または、特性の変化)を表し得る。したがって、これらの場合は、ユーザの「病状が重い」または「病状が軽い」を示すのに異なる呼吸器疾患スコアは有用と考えられず、代わりに、ユーザが呼吸器感染症である(または、呼吸器感染症ではない)ことのみを示すようにしてもよいし(すなわち、2進指標)、ユーザが病中である確率を示していてもよいし、ユーザの現在の状態と健康状態との間の差を表していてもよい(呼吸器感染症の兆候を示し得る)。
さらに、処方薬の服用等、ユーザの呼吸器感染症の処置(コンテキスト情報として受信され得る)と相関がある場合の呼吸器疾患スコアの変化をモニタリングすることによって、処置の効能を示すことができる。たとえば、呼吸器感染症と診断されたユーザは、臨床医によって抗生物質が処方され、図5Aに関連して記載の呼吸器感染症モニタリングアプリ5101等の呼吸器感染症モニタリングアプリをスマートフォン上で使用するように指示される。そして、本明細書に記載のように収集されたユーザ音声サンプルから、最初の呼吸器疾患スコア(または、第1の一組の呼吸器疾患スコア)が決定されるようになっていてもよい。1週間等の時間区分の後は、第2の呼吸器疾患スコアがユーザの呼吸器疾患の変化を示し得る。ユーザの疾患が改善していること(後述の通りに決定され得る)を示す変化は、抗生物質が効いていることを暗示し得る。ユーザの疾患が改善していないことすなわち同じ状態に留まっていることを示す変化は、抗生物質が効いていないことを暗示しており、この場合、ユーザの臨床医は、異なる処置を施したいと考える。このように、本明細書に記載の技術の実施形態では、ユーザの呼吸器疾患の変化に関する定量化可能な情報等の目的を決定可能であり、呼吸器感染症の処置のために処方された抗生物質は、より慎重かつ意図的に利用されることで効能が長続きし、抗菌剤の耐性を最小限に抑えることができる。
いくつかの実施形態において、呼吸器疾患推論エンジン278は、ユーザ疾患推論ロジック237を利用して、呼吸器疾患スコアの決定またはユーザの呼吸器疾患に関する推論および/もしくは予測を行うようにしてもよい。ユーザ疾患推論ロジック237は、音声関連データから呼吸器疾患の可能性を推論および/または予測するためのルール、条件、関連付け、機械学習モデル、または他の基準を含んでいてもよい。ユーザ疾患推論ロジック237は、使用メカニズムおよび意図される出力により異なる形態であってもよい。一実施形態において、ユーザ疾患推論ロジック237は、ユーザの現在(すなわち、最新)の呼吸器疾患を決定もしくは推論する1つもしくは複数の分類器モデルおよび/またはユーザの将来の呼吸器疾患の可能性を予想する1つもしくは複数の予測器モデルを含んでいてもよい。分類器モデルの例としては、決定木もしくはランダムフォレスト、ナイーブベイズ、ニューラルネットワーク、パターン認識モデル、他の機械学習モデル、他の統計的分類器、またはこれらの組み合わせ(たとえば、集合体)が挙げられるが、これらに限定されない。いくつかの実施形態において、ユーザ疾患推論ロジック237には、クラスタリングまたは教師なし分類技術を実行するためのロジックを含んでいてもよい。予測モデルの例としては、回帰技術(たとえば、線形回帰またはロジスティック回帰、最小二乗法、一般化線形モデル(GLM)、多変量適応回帰スプライン(MARS)、または他の回帰プロセス)、ニューラルネットワーク、決定木もしくはランダムフォレスト、または他の予測モデルもしくはモデルの組み合わせ(たとえば、集合体)が挙げられるが、これらに限定されない。
上述の通り、呼吸器疾患推論エンジン278のいくつかの実施形態では、ユーザが呼吸器感染症である確率または呼吸器感染症を発症する確率を決定するようにしてもよい。場合により、この確率は、ユーザの音響特性(特性において検出される変化を含む)、分類器もしくは予測モデルの出力、または満たされるルールもしくは条件に基づいていてもよい。たとえば、一実施形態によれば、ユーザ疾患推論ロジック237は、特定の閾値(たとえば、本明細書に記載の通り、疾患変化閾値)を満たす音素特性値の変化または1つもしくは複数の音素特性値に発生する検出変化の程度に基づいて呼吸器感染症の確率を決定するルールを含んでいてもよい。一実施形態において、ユーザ疾患推論ロジック237は、ユーザの現在の呼吸器疾患と基準との間の検出変化または差を解釈して、ユーザが呼吸器感染症である可能性を決定するルールを含んでいてもよい。別の実施形態においては、ユーザの呼吸器疾患に関する複数の最新の評価(すなわち、最新時間と早期時間との複数回の比較)が確率に寄与し得る。非限定的な一例として、ユーザが2日続きで呼吸器疾患の変化を示している場合は、1日だけ変化を示す場合よりも呼吸器感染症の確率が高くなり得る。一実施形態においては、特定の呼吸器感染症に関する既知の音素特性変化の一組の1つもしくは複数のパターンまたは特性変化に適用され、既知の呼吸器感染症に対応する一組の閾値、および比較に基づいて決定された感染症の可能性に対して、検出変化および/または変化率が比較されるようになっていてもよい。さらに、いくつかの実施形態において、ユーザ疾患推論ロジック237は、生理学的情報または呼吸器感染症疾患の地域的流行に関する情報等のコンテキスト情報を利用して、ユーザが呼吸器感染症である確率を決定するようにしてもよい。
ユーザ疾患推論ロジック237は、音響特性情報に関して決定された変化(たとえば、特性集合値、特性ベクトル距離測定結果、および他のデータの変化)または音響特性情報に関して決定された変化率を1つまたは複数の閾値(本明細書においては、疾患変化閾値と称される場合もある)と比較するためのコンピュータ命令およびルールもしくは条件を含んでいてもよい。たとえば、最新の時間区分および早期の時間区分それぞれに対応する2つの特性ベクトルの距離測定結果が疾患変化閾値と比較されるようになっていてもよい。比較に基づいて、閾値が満たされる場合(たとえば、閾値を超える場合)に、ユーザの呼吸器疾患の変化が検出されたものと考えられるように、疾患変化閾値が検出器(たとえば、外れ値検出器)として利用されるようになっていてもよい。疾患変化閾値は、ユーザの疾患の有意な変化が検出され得る一方、些細ながらも変化である小さな変動がユーザの呼吸器疾患の変化として検出されることがない(または、変化として判定されることがない)ように決定されていてもよい。たとえば、複数日基準を利用するいくつかの実施形態では、本明細書に別途記載の通り、複数日基準の特性値の2つの標準偏差として決定された疾患変化閾値を採用するようにしてもよい。
いくつかの実施形態においては、疾患変化閾値がユーザの疾患の状態(たとえば、感染または非感染)に固有であり、特性ベクトル間の変化の大きさが疾患変化閾値を満たす場合は、ユーザの疾患が変化したものと判定され得る。また、閾値は、一般的に呼吸器疾患のトレンドのほか、呼吸器疾患の可能性の判定に用いられるようになっていてもよい。一実施形態において、比較(音素特性比較器274により実行され得る)が疾患変化閾値を満たす(たとえば、超える)場合は、ユーザの呼吸器疾患が(疾患変化閾値により規定のような)ある大きさで変化しているため、ユーザの疾患が改善または悪化しているもの(すなわち、トレンド)と判定され得る。このように、本実施形態において、疾患変化閾値を満たさない軽微な変化は、考慮され得ない。または、ユーザの疾患が実質的に変化していないことを示し得る。
いくつかの実施形態において、疾患変化閾値は、重み付け、音素特性の一部のみへの適用、および/または特性ベクトル(もしくは、音素特性集合)の各音素特性もしくは特性の部分集合の変化を特徴付ける一組の閾値の包含が可能である。たとえば、第1の音素特性の変化は小さくても有意となり得る一方、第2の音素特性の変化は小さければ有意となり得ず、あるいは、一般的に発生するものと考えられる。このため、第1の特性値は、わずかでも変化したことを把握しておくのが役立ち、また、第2の特性値は、大きく変化した場合に把握しておくのが役立つと考えられる。したがって、この第1の音素特性には、小さな変化であっても満たし得るように、より小さな第1の疾患変化閾値(または、重み付け閾値)が用いられるようになっていてもよく、また、第2の音素特性には、より大きな(第2の)疾患変化閾値(または、異なる重み付けの閾値)が用いられるようになっていてもよい。このような重み付けまたは変更がなされた疾患変化閾値の適用は、特定の音素特性がより影響を受けやすいと判定される(すなわち、この音素特性の変化は、ユーザの呼吸器疾患の変化をより表す)特定の呼吸器感染症の検出またはモニタリングに利用されるようになっていてもよい。
いくつかの実施形態において、疾患変化閾値は、ユーザの最新の音響特性値に対する比較に用いられる基準の標準偏差に基づく。たとえば、複数日基準等の基準は、たとえばユーザが健康(または、病気)になり始めた複数の時間区分の特性情報を含むように、(たとえば、音素特性比較ロジック235により)決定され得る。標準偏差は、基準に用いられる異なる時間区分(たとえば、日にち)からの特性の特性値に基づいて決定され得る。疾患変化閾値は、標準偏差に基づいて決定されるようになっていてもよい(たとえば、2つの標準偏差の閾値が利用される)。たとえば、最新の音素特性集合と健康基準(または、期間もしくは時点に対するユーザの音素特性値の類似する検出変化)との比較が基準の2つの標準偏差を満たす場合、ユーザは、呼吸器感染症等の疾患であるものと判定され得る。このように、上記比較はより堅牢である。非限定的な一例として、健康な場合に日常的に起こり得るユーザの音響特性の軽微な変化が疾患変化閾値に加味される。場合によっては、ユーザの現在の呼吸器疾患と基準との差の程度を決定または定量化するため、標準偏差に基づいて、複数の閾値が利用されるようになっていてもよい。たとえば、一実施形態において、健康基準に対する比較(または、期間に対するユーザの音素特性値の類似する検出変化)が基準の2つの標準偏差を満たす場合は、ユーザの呼吸器感染症の確率が低いものと判定され、比較が基準の3つの標準偏差を満たす場合は、ユーザの呼吸器感染症の確率が高いものと判定され得る。
いくつかの実施形態において、ユーザ疾患推論ロジック237に従って決定された疾患変化閾値は、(たとえば、ユーザ、臨床医、またはユーザの介護者により)修正されるようになっていてもよいし、(たとえば、臨床医、介護者、またはアプリケーション開発者により)予め定められていてもよい。また、疾患変化閾値は、基準母集団データに基づいていてもよいし、特定のユーザに対して決定されるようになっていてもよい。たとえば、疾患変化閾値は、ユーザの特定の健康情報(たとえば、健康診断、薬剤、もしくは健康レコードデータ)および/または個人情報(たとえば、年齢、歌唱もしくは喫煙等のユーザの挙動もしくは行動)に基づいて設定されるようになっていてもよい。この追加または代替として、ユーザ(または、介護者)は、個人レコード240の設定249等の設定として疾患変化閾値を設定または調整するようにしてもよい。いくつかの態様において、疾患変化閾値は、モニタリングまたは検出されている特定の呼吸器感染症に基づいていてもよい。たとえば、ユーザ疾患推論ロジック237には、考え得る異なる呼吸器感染症または疾患をモニタリングするための異なる閾値(たとえば、一組の閾値)を利用するロジックを含んでいてもよい。したがって、ユーザの疾患が(たとえば、診断によって)把握されている場合または疑われる場合は、特定の閾値が利用されるようになっていてもよく、これは場合により、コンテキスト情報または自己報告症状情報により決定されるようになっていてもよい。いくつかの実施形態においては、2つ以上の疾患変化閾値が適用されるようになっていてもよい。
いくつかの実施形態において、ユーザ疾患推論ロジック237は、外れ値(または、例外)検出を実行するためのコンピュータ命令を含んでいてもよく、また、ユーザの呼吸器感染症の可能性を検出する外れ値検出器の形態であってもよい(または、外れ値検出モデルを利用するようにしてもよい)。たとえば、一実施形態において、ユーザ疾患推論ロジック237は、本明細書に別途記載の通り、基準特性集合(たとえば、複数日基準)の標準偏差を決定するとともに外れ値検出の閾値として利用する一組のルールを含んでいてもよい。他の実施形態において、ユーザ疾患推論ロジック237は、外れ値検出アルゴリズムを利用する1つまたは複数の機械学習モデルの形態であってもよい。たとえば、ユーザ疾患推論ロジック237は、1つまたは複数の確率モデル、線形回帰モデル、または近接性モデルを含んでいてもよい。いくつかの態様において、このようなモデルは、ユーザのデータに対するトレーニングによって、ユーザ固有の変動性を検出するようにしてもよい。他の実施形態においては、モデルのトレーニングによって、呼吸器疾患固有のコホートの基準情報を利用するようにしてもよい。たとえば、インフルエンザ、喘息、および慢性閉塞性肺疾患(COPD)等の特定の呼吸器疾患であることが知られている患者のデータによって、このような疾患を検出するためのモデルがトレーニングされる。このように、ユーザ疾患推論ロジック237は、モニタリング、判定、または予想される呼吸器疾患の種類に固有であってもよい。
いくつかの実施形態において、ユーザ疾患推論ロジック237を利用した呼吸器疾患推論エンジン278の出力は、予測または予想である。この予測は、音素特性または呼吸器疾患スコアにおいて検出された変化、変化率、および/または変化のパターンに基づいて決定されるようになっていてもよく、また、本明細書に記載のトレンド分析、回帰、または他の予測モデルを利用するようにしてもよい。いくつかの実施形態において、この予測には、対応する予測確率および/または当該予測の将来の時間区分を含んでいてもよい(たとえば、ユーザが次週までに呼吸器感染症を発症する可能性は70%である)。一実施形態においては、ユーザの呼吸器疾患の改善のトレンドを示すユーザの音素特性の検出変化率に基づいて、ユーザが再び健康になりそうなタイミングを予測する(たとえば、本実施形態を示す一例として、図4E参照)。場合によっては、ユーザのトレンドまたは見解(たとえば、ユーザが回復しているか、悪化しているか)の形態の予測が提供されるようになっていてもよいし、ユーザが発病または回復する確率/可能性として予測が提供されるようになっていてもよい。いくつかの実施形態においては、将来予想されるユーザの呼吸器疾患の可能性を決定するため、ユーザの音素特性または呼吸器疾患スコアの変化のパターンを比較することにより、基準母集団(たとえば、呼吸器疾患が類似するコホート等の一般大衆またはユーザに類似する母集団)のパターンを決定するようにしてもよい。いくつかの実施形態において、呼吸器疾患推論エンジン278またはユーザ疾患推論ロジック237は、ユーザの音素特性ベクトルの1つまたは複数のパターンを組み立てる機能を含んでいてもよい。これらのパターンは、自己報告入力または症状スコアと相関していてもよいし、合成症状スコア等、自己報告入力から生成された判定と相関していてもよい。そして、特定のユーザの将来の呼吸器疾患を予測するため、ユーザの音素特性パターンが解析されるようになっていてもよい。あるいは、他のユーザ(一般大衆を表す基準母集団、特定の呼吸器疾患の患者の母集団(たとえば、インフルエンザ、喘息、ライノウイルス、慢性閉塞性肺疾患(COPD)、COVID-19等のコホート)、またはユーザに類似する患者の母集団)からのユーザパターンが特定のユーザの将来の呼吸器疾患の予想に利用されるようになっていてもよい。呼吸器疾患の予測を示す例示な図が図4E(要素447)および図5C(要素5316)に提供される。
ユーザ疾患推論ロジック237は、いくつかの実施形態において、音素特性ベクトルのパターンもしくは変化率を考慮すること、および/または、ユーザが存在するエリアにおける感染症流行等の地理的特定情報を考慮することが可能である。たとえば、呼吸器疾患または症状の進展を表すような全部または特定の音素特性の変化の特定のパターン(または、変化率)が特定の呼吸器感染症を示し得る(たとえば、数日間の鼻づまりの後には通常、喉の痛みが生じ、その後には通常、喉頭炎が生じる)。
いくつかの実施形態において、ユーザ疾患推論ロジック237は、音素特性情報の複数の変化または変化率を決定および/または比較するためのコンピュータ命令を含んでいてもよい。たとえば、最新の音素特性ベクトルと第1の早期の音素特性ベクトルとの第1の比較(または、一組の比較)は、ユーザの呼吸器疾患が変化したことを示し得る。一実施形態において、当該変化がユーザの疾患の改善を示すか悪化を示すかについては、別の比較を実行することにより決定されるようになっていてもよい。たとえば、最新の音素特性ベクトルと健康基準特性ベクトルまたはユーザが健康であったことが把握されている期間または時点の第2の早期の音素特性ベクトルとの第2の比較が決定されるようになっていてもよい。さらには、第1の早期の音素特性ベクトルと基準すなわち第2の早期の音素特性ベクトルとの第3の比較が決定されるようになっていてもよい。第2の比較と第3の比較との間に検出される変化の比較(第4の比較)によって、ユーザの呼吸器疾患が改善しているか(たとえば、最新の音素特性ベクトルと健康基準との差が第1の早期の音素特性ベクトルと健康基準との差よりも小さいか)、悪化しているか(たとえば、最新の音素特性ベクトルと健康基準との差が第1の早期の音素特性ベクトルと健康基準との差よりも大きいか)を判定するようにしてもよい。さらに、ユーザの呼吸器疾患が悪化もしくは改善した程度、ユーザがどの程度回復に近づいているか(たとえば、音素特性値が健康基準もしくはその近くに戻っている場合)、またはユーザが回復状態になると予想し得るタイミング(たとえば、改善を示すトレンドにおけるユーザの状態の変化量または変化に基づく)を決定するため、変化の程度を示す閾値との追加の比較が利用されるようになっていてもよい。
いくつかの実施形態において、ユーザ疾患推論ロジック237は、ユーザの自己報告および/またはコンテキストデータ(場合によっては、ユーザの睡眠情報(利用可能な場合)等の生理学的データ、最近のユーザの活動に関する情報、またはユーザの位置情報を含み得る)を取り入れる1つまたは複数の決定木(または、ランダムフォレスト等のモデル)を含んでいてもよい。たとえば、ユーザの音声関連データが声のかすれを示し、コンテキスト情報から、ユーザの前夜の位置がアリーナ会場であり、前夜の予定項目が「プレーオフトーナメント」というタイトルであったと判定された場合、ユーザ疾患推論ロジック237は、ユーザの音声データにおいて観察される変化が呼吸器感染症ではなくユーザがスポーツイベントに参加した結果の可能性が高いと判定し得る。
いくつかの実施形態において、ユーザ疾患推論ロジック237は、検出された呼吸器関連病原体をユーザが伝播する蓋然性のリスクを決定するためのコンピュータ命令を含んでいてもよい。たとえば、呼吸器疾患推論エンジン278または呼吸器感染症のユーザの臨床医による診断により決定された呼吸器疾患または将来の疾患の可能性に適用されるルールまたは条件に基づいて、伝播リスクが決定されるようになっていてもよい。伝播リスクは、2値的(たとえば、ユーザが感染させる可能性がある/ない)、カテゴリ的(たとえば、伝播のリスクが低い、中間、もしくは高い)、または伝播の可能性を示し得る確率もしくは伝播リスクスコアとして決定されるようになっていてもよい。場合により、伝播リスクは、ユーザが罹患またはその可能性のある特定の呼吸器感染症(たとえば、インフルエンザ、ライノウイルス、COVID-19、特定種類の肺炎等)に基づいていてもよい。このため、ユーザの状態に基づいて固定または変更され得る設定時間にわたって、特定の疾患(たとえば、COVID-19)のユーザが感染させやすい状態であることをルールにより指定していてもよい。たとえば、このルールは、ユーザが呼吸器感染症ではなくなった可能性が旨の呼吸器疾患推論エンジン278による判定の後、24時間にわたってユーザが感染させやすい状態であることを指定していてもよい。さらに、伝播リスクは、呼吸器感染症を発症している(または、発症する可能性が高い)ユーザの全期間にわたり一定であってもよいし、ユーザの呼吸器感染症の状態または進展に基づいて変化するものであってもよい。たとえば、伝播リスクは、最新の時間区分(たとえば、過去1週間またはユーザの呼吸器感染症の可能性が呼吸器疾患推論エンジン278により最初に判定されて以降)におけるユーザの呼吸器疾患(すなわち、音声関連データ)の検出変化、トレンド、パターン、変化率、または解析に基づいて変化するものであってもよい。伝播リスクは、ユーザに提供されるようになっていてもよいし、(たとえば、呼吸器疾患推論エンジン278、システム200の別の構成要素、または臨床医による)ユーザへの推奨(他者との緊密な接触の回避またはマスクの着用等)の決定に利用されるようになっていてもよい。呼吸器疾患推論エンジン278によるユーザ疾患推論ロジック237の一実施形態に従って決定された伝播リスクの一例が図5Cの要素5314に示される。
いくつかの実施形態において、ユーザ疾患推論ロジック237は、呼吸器疾患、予想、伝播リスク、または呼吸器疾患推論エンジン278による他の判定に対応する推奨の決定および/または提供を行うルール、条件、または命令を含んでいてもよい。この推奨は、ユーザと関連付けられた患者、介護者、または臨床医等のエンドユーザに(たとえば、意思決定支援推奨として)提供されるようになっていてもよい。たとえば、ユーザまたは介護者に対して決定された推奨には、伝播の最小化、呼吸器感染症の管理、または感染症の悪化の可能性の最小化を行う1つまたは複数の推奨される実践事項を含んでいてもよい。いくつかの実施形態において、ユーザ疾患推論ロジック237は、決定された呼吸器感染症または呼吸器疾患推論エンジン278による他の判定と関連付けられ得る健康情報のデータベースにアクセスして、この情報の少なくとも一部をユーザ、介護者、または臨床医に提供するためのコンピュータ命令を含んでいてもよい。この追加または代替として、これらの推奨は、健康情報データベース中の情報を利用した決定(または、このような情報からの選択もしくは組み立て)がなされるようになっていてもよい。
いくつかの実施形態においては、ユーザの現在情報および/もしくは履歴情報(たとえば、履歴音声関連データ、過去に判定された呼吸器疾患、ユーザの呼吸器疾患のトレンドもしくは変化等)ならびに/または症状、生理学的データ、もしくは地理的位置等のコンテキスト情報に基づいて、推奨がユーザに適合されるようになっていてもよい。たとえば、一実施形態おいて、ユーザに関する情報は、ユーザに適合される推奨の決定に用いられる健康情報のデータベースにおいて関連する情報を識別する選択またはフィルタリング基準として利用されるようになっていてもよい。
推奨は、ユーザ、介護者、もしくは臨床医への提供、および/または結果/推論状態246等のユーザと関連付けられた患者レコード240への格納が行われるようになっていてもよい。健康情報データベースにアクセスするいくつかの実施形態において、このデータベースは、ストレージ250および/またはリモートサーバもしくはクラウド環境に格納されていてもよい。呼吸器疾患推論エンジン278によるユーザ疾患推論ロジック237の一実施形態に従って決定された推奨の一例が図5Cの要素5315に示される。
また、図2に示されるように、例示的なシステム200は、呼吸器疾患追跡器270(または、呼吸器疾患推論エンジン278等の副構成要素のうちの1つ)による決定またはストレージ(たとえば、ユーザの患者レコード240の結果/推論状態246)からの取得がなされたユーザの呼吸器疾患または予測等、システム200の構成要素の出力判定を取り込むさまざまなコンピュータアプリケーションまたはサービスを含み得る意思決定支援ツール290を具備する。いくつかの実施形態によれば、意思決定支援ツール290は、この情報を利用することにより、治療および/または予防行動を可能にし得る。このように、意思決定支援ツール290は、モニタリングユーザおよび/またはモニタリングユーザの介護者により利用されるようになっていてもよい。意思決定支援ツール290は、クライアント機器上のスタンドアロンアプリケーション、ウェブアプリケーション、分散アプリケーションもしくはサービス、および/または既存のコンピュータアプリケーション上のサービスの形態であってもよい。いくつかの実施形態において、1つまたは複数の意思決定支援ツール290は、図5Aに関連して記載の呼吸器感染症モニタリングアプリ5101等の呼吸器感染症モニタリングまたは追跡アプリケーションの一部である。
例示的な意思決定支援ツールとして、疾病モニタ292が挙げられる。疾病モニタ292は、ユーザのスマートフォン(または、スマートスピーカ等のユーザ機器)上で動作するアプリを含んでいてもよい。疾病モニタ292のアプリは、ユーザの発話をモニタリングして、ライノウイルスまたはインフルエンザ等の呼吸器感染症をユーザが発病しているか、回復中であるかをユーザおよび/またはユーザのケア提供者に報知するようにしてもよい。いくつかの実施形態において、疾病モニタ292は、ユーザに耳を傾けて音声関連データまたは、いくつかの態様においては、他のデータを収集する許可を要求するようにしてもよい。疾病モニタ292は、ユーザが発病しているか、発病の可能性があるか、または回復しているかを示す通知またはアラートをユーザに対して生成するようにしてもよい。いくつかの実施形態において、疾病モニタ292は、呼吸器疾患の判定および/または予測に基づいて、処置推奨の開始および/またはスケジューリングを行うようにしてもよい。通知またはアラートには、呼吸器疾患の判定および/または予測に基づいて、処置等の介入行動のための推奨行動を含んでいてもよい。処置推奨には、非限定的な一例として、ユーザが取るべき推奨行動(たとえば、マスクの着用)、市販薬剤、臨床医への相談、ならびに/または呼吸器感染症の有無の確認、呼吸器感染症および/もしくは結果としての症状の処置が推奨される試験を含んでいてもよい。たとえば、疾病モニタ292は、ユーザがヘルスケア提供者の訪問をスケジューリングすることおよび/または呼吸器疾患の確認の試験を受けることを推奨していてもよい。いくつかの実施形態において、疾病モニタ292は、医師の予約および/または試験の予約のスケジューリングを開始または容易化し得る。この代替または追加として、疾病モニタ292は、市販薬剤等の処置を推奨または指示するようにしてもよい。
疾病モニタ292の実施形態では、最小限の距離の確保等の予防策を講じて感染症の拡散を防止することをユーザが自宅内の他者に報知することを推奨するようにしてもよい。いくつかの実施形態において、疾病モニタ292は、この通知を推奨するとともに、ユーザがこの通知を肯定的に承認した場合、感染ユーザの自宅内の他のユーザと関連付けられたユーザ機器への通知を開始するようにしてもよい。疾病モニタ292は、ユーザアカウント/機器248等、ユーザの患者レコード240に格納された情報によって、関連するユーザ機器を識別するようにしてもよい。いくつかの実施形態において、疾病モニタ292は、他の検知データ(たとえば、心拍数、体温、睡眠等の生理学的データ)、ユーザの地域における呼吸器感染症の流行に関する情報等の他のコンテキストデータ、またはユーザから入力されたデータ(自己報告ツール284を介して提供された症状情報等)を呼吸器疾患の判定および/または予測と相関させて推奨を行うようにしてもよい。
一実施形態において、疾病モニタ292は、感染症接触トレースアプリケーションの一部であってもよいし、感染症接触トレースアプリケーションと連動するようになっていてもよい。このように、第1のユーザの考え得る呼吸器感染症の早期検出に関する情報が自動的に、第1のユーザが接触した他者に伝達されるようになっていてもよい。この追加または代替として、上記情報は、これら他者の呼吸器感染症モニタリングの開始に用いられるようになっていてもよい。たとえば、他者は、感染者との接触の可能性が通知され、疾病モニタ292または図5Aに関連して記載の呼吸器感染症モニタリングアプリ5101等の呼吸器感染症モニタリングアプリケーションのダウンロードおよび使用が促されるようになっていてもよい。このように、第1のユーザが体調を崩す前(すなわち、第1のユーザが症状を感じる前)であっても、他者への通知およびモニタリングの開始が可能となる。
図2に示されるように、別の例示的な意思決定支援ツール290は、処方モニタ294である。処方モニタ294は、ユーザが呼吸器感染症であるか否か等、ユーザの呼吸器疾患に関する判定および/または予測を利用して、処方が補充されるべきか否かを判定するようにしてもよい。処方モニタ294は、たとえばユーザの個人レコード240から、ユーザが検出呼吸器疾患または予想呼吸器疾患に関して現在の処方を有するか否かを判定するようにしてもよい。また、処方モニタ294は、薬剤の服用頻度、薬剤の最終充填日、および/または利用可能な補充数についての処方指示を決定するようにしてもよい。処方モニタ294は、ユーザが現時点で呼吸器感染症であるかの判定またはユーザが近い将来に呼吸器感染症となるか、症状を示すかの予測に基づいて、処方の補充が必要であるか否かを判定するようにしてもよい。
また、処方モニタ294のいくつかの実施形態では、検知データまたは自己報告ツール284を介したユーザの入力によって、ユーザが薬剤を服用しているか否かを判定するようにしてもよい。現在の処方が足りなくなるか、または、足りなくなるタイミングを判定するため、ユーザが処方された薬剤を服用しているか否かを示す情報が処方モニタ294により用いられる。処方モニタ294は、処方が補充されたことをユーザに示すアラートまたは通知を発行するようにしてもよい。一実施形態において、処方モニタ294は、ユーザが補充を要求する積極的な行動を取った後、処方の補充を推奨する通知を発行する。処方モニタ294は、薬局を通じて補充の注文を開始するようにしてもよく、薬局の情報は、ユーザの患者レコード240に格納されていてもよいし、補充時にユーザにより入力されるようになっていてもよい。処方モニタ294等の例示的な処方モニタリングサービスの態様については、図4Fに示される。
図2に示されるように、別の例示的な意思決定支援ツール290は、薬剤効能追跡器296である。薬剤効能追跡器296は、ユーザの疾患が改善しているか悪化しているか等、ユーザの呼吸器疾患に関する判定および/または予測を利用して、ユーザにより服用されている薬剤の効果が有効であるか否かを判定するようにしてもよい。このため、薬剤効能追跡器296は、ユーザの患者レコード240から、ユーザが現在の処方を有するか否かを判定するようにしてもよい。薬剤効能追跡器296は、検知データまたは自己報告ツール284を介したユーザの入力によって、ユーザが実際に薬剤を服用しているか否かを判定するようにしてもよい。また、薬剤効能追跡器296は、処方指示を決定するようにしてもよく、また、ユーザが処方指示に従って薬剤を服用しているか否かを判定するようにしてもよい。
いくつかの実施形態において、薬剤効能追跡器296は、音声関連データの利用に基づいて呼吸器疾患に関する推論または予想を相関させることにより、ユーザが薬剤を服用しているか否かを判定し、さらに、薬剤が有効であるか否かを判定するようにしてもよい。たとえば、ユーザが処方の通りに薬剤を服用していながら、呼吸器疾患が悪化している場合または改善していない場合は、処方薬剤がこの時点では特定のユーザに有効ではないと判定され得る。このため、薬剤効能追跡器296は、ユーザが処方の変更を臨床医に相談することを推奨するようにしてもよいし、ユーザの医師または臨床医に対して電子通知を自動で伝達することにより、臨床医が既定の処置の修正を考慮できるようにしてもよい。
いくつかの実施形態において、薬剤効能追跡器296は、上記の追加または代替として、図1の臨床医ユーザ機器108等、モニタリングユーザの臨床医の機器上での動作または機器との連動を行う。たとえば、臨床医は、呼吸器感染症に対する抗生物質等の薬剤を病中の患者に処方するようにしてもよく、これと併せて、薬剤効能追跡アプリケーション(296等)を患者に指示することにより、本開示の実施形態に従って、患者の音声関連データをモニタリングするようにしてもよい。ユーザが悪化している旨の判定または改善していない旨の判定により、薬剤効能追跡器296は、患者の呼吸器疾患の推論または予想を臨床医に通知するようにしてもよい。場合により、薬剤効能追跡器296は、患者に対する既定の処置を変更する推奨をさらに行うようにしてもよい。
別の実施形態において、薬剤効能追跡器296は、薬剤の研究または試験の一部として利用されるようになっていてもよく、また、複数の参加者の呼吸器疾患の判定および/または予想を解析することにより、研究の薬剤が参加者のグループに有効であるか否かを判定するようにしてもよい。この追加または代替として、いくつかの実施形態においては、呼吸器関連の副作用(たとえば、咳、鼻づまり、鼻水)または呼吸器関連ではない副作用(たとえば、熱、吐き気、炎症、腫れ、痒み)等、薬剤の副作用があるかを判定するため、センサ(たとえば、センサ103)と併せて、薬剤効能追跡器296が研究または試験の一部として利用されるようになっていてもよい。
上述の意思決定支援ツール290のいくつかの実施形態には、ユーザの呼吸器疾患を処置する態様を含む。この処置は、呼吸器疾患の重症度を抑えることが目標とされていてもよい。呼吸器疾患を処置することには、新たな治療薬、新たな薬剤の投薬量もしくはユーザに服用されている既存の薬剤の新たな投薬量、および/または新たな薬剤の投薬方法もしくはユーザに服用されている既存の薬剤の新たな投薬方法を含み得る新たな処置手順の決定を含んでいてもよい。新たな処置手順の推奨は、ユーザまたはユーザの介護者に提供されるようになっていてもよい。いくつかの実施形態においては、ユーザ、ユーザの介護者、またはユーザの薬局に処方が送られるようになっていてもよい。場合により、処置には、変更を伴わない既存の処方の補充を含んでいてもよい。他の実施形態には、推奨処置手順に応じた推奨治療薬のユーザへの投薬および/または推奨治療薬の適用もしくは使用の追跡を含んでいてもよい。このように、本開示の実施形態は、呼吸器疾患を処置するための治療薬の使用または適用のより良好な制御、モニタリング、および/または管理を可能にするが、これは、ユーザの状態に有益であるのみならず、食品医薬品局および他の統治機関により設定された規制および推奨をヘルスケア提供者および製薬業者、ならびにサプライチェーン内の他者がより良好に順守することにも役立ち得る。
例示的な態様において、処置には、
PLpro阻害剤(アピロモッド、EIDD-2801、リバビリン、バルガンシクロビル、β-チミジン、アスパルテーム、オクスプレノロール、ドキシサイクリン、アセトフェナジン、イオプロミド、リボフラビン、レプロテロール、2,2’-シクロチジン、クロラムフェニコル、クロルフェネシンカルバメート、レボドロプロピジン、セファマンドール、フロクスウリジン、チゲサイクリン、ペメトレキセド、L(+)-アスコルビン酸、グルタチオン、ヘスペレチン、アデメチオニン、マソプロコル、イソトレチノイン、ダントロレン、スルファサラジン抗菌、シリビニン、ニカルジピン、シルデナフィル、プラチコジン、クリシン、ネオヘスペリジン、バイカリン、スゲトリオール-3,9-ジアセテート、(-)-エピガロカテキンガレート、ファイタントリンD、2-(3,4-ジヒドロキシフェニル)-2-[[2-(3,4-ジヒドロキシフェニル)-3,4-ジヒドロ-5,7-ジヒドロキシ-2H-1-ベンゾピラン-3-イル]オキシ]-3,4-ジヒドロ-2H-1-ベンゾピラン-3,4,5,7-テトロール、2,2-ジ(3-インドリル)-3-インドロン、(S)-(1S,2R,4aS,5R,8aS)-1-ホルムアミド-1,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル-2-アミノ-3-フェニルプロパノエート、ピセアタンノール、ロスマリン酸、および/またはマグノール)、
3CLpro阻害剤(リメサイクリン、クロルヘキシジン、アルフゾシン、シラスタチン、ファモチジン、アルミトリン、プロガビド、ネパフェナク、カルベジロール、アンプレナビル、チゲサイクリン、モンテルカスト、カルミン酸、ミモシン、フラビン、ルテイン、セフピラミド、フェネチシリン、カンドキサトリル、ニカルジピン、エストラジオールバレラート、ピオグリタゾン、コニバプタン、テルミサルタン、ドキシサイクリン、オキシテトラサイクリン、(1S,2R,4aS,5R,8aS)-l-ホルムアミド-l,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル5-((R)-1,2-ジチオラン-3-イル)ペンタノエート、ベトロナール、クリシン-7-Ο-β-グルクロニド、アンドログラフィシド、(1S,2R,4aS,5R,8aS)-l-ホルムアミド-l,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル-2-ニトロベンゾエート、2β-ヒドロキシ-3,4-セコフリエデロラクトン-27-オイック酸(S)-(1S,2R,4aS,5R,8aS)-1-ホルムアミド-1,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル-2-アミノ-3-フェニルプロパノエート、イソデコルチノール、セレビステロール、ヘスペリジン、ネオヘスペリジン、アンドログラパニン、2-((1R,5R,6R,8aS)-6-ヒドロキシ-5-(ヒドロキシメチル)-5,8a-ジメチル-2-メチレンデカヒドロナフタレン-1-イル)エチルベンゾエート、コスモシイン、クレイストカルトンA、2,2-ジ(3-インドリル)-3-インドロン、ビオロビン、グニジシン、フィラエンブリノール、テアフラビン3,3’-ジ-Ο-ガレート、ロスマリン酸、コウイチェンシドI、オレアノール酸、スティグマスト-5-エン-3-オール、デアセチルセンタピクリン、および/またはベルケモール)、
RdRp阻害剤(バルガンシクロビル、クロルヘキシジン、セフチブテン、フェノテロール、フルダラビン、イトラコナゾール、セフロキシム、アトバコン、ケノデオキシコール酸、クロモリン、臭化パンクロニウム、コルチゾン、チボロン、ノボビオシン、シリビニン、イダルビシンブロモクリプチン、ジフェノキシレート、ベンジルペニシロイルG、ダビガトランエテキシレート、ベトロナール、グニジシン、2β,30β-ジヒドロキシ-3,4-セコフリエデロラクトン-27-ラクトン、14-デオキシ-11,12-ジドヒドロアンドログラフォリド、グニジトリン、テアフラビン3,3’-ジ-Ο-ガレート、(R)-((1R,5aS.6R,9aS)-1,5a-ジメチル-7-メチレン-3-オキソ-6-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロ-1H-ベンゾ[c]アゼピン-1-イル)メチル2-アミノ-3-フェニルプロパノエート、2β-ヒドロキシ-3,4-セコフリエデロラクトン-27-オイック酸、2-(3,4-ジヒドロキシフェニル)-2-[[2-(3,4-ジヒドロキシフェニル)-3,4-ジヒドロ-5,7-ジヒドロキシ-2H-1-ベンゾピラン-3-イル]オキシ]-3,4-ジヒドロ-2H-1-ベンゾピラン-3,4,5,7-テトロン、フィラエンブリシンB、14-ヒドロキシシペロタンドン、アンドログラフィシド、2-((1R,5R,6R,8aS)-6-ヒドロキシ-5-(ヒドロキシメチル)-5,8a-ジメチル-2-メチレンジデカヒドロナフタレン-1-イル)エチルベンゾエート、アンドログラフォリド、スゲトリオール-3,9-ジアセテート、バイカリン、(1S,2R,4aS,5R,8aS)-1-ホルムアミド-1,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル-5-((R)-1,2-ジチオラン-3-イル)ペンタノエート、l,7-ジヒドロキシ-3-メトキシキサントン、l,2,6-トリメトキシ-8-[(6-Ο-β-D-キシロピラノシル-β-D-グルコピラノシル)オキシ]-9H-キサンテン-9-オン、および/または1,8-ジヒドロキシ-6-メトキシ-2-[(6-Ο-β-D-キシロピラノシル-β-D-グルコピラノシル)オキシ]-9H-キサンテン-9-オン、8-(β-D-グルコピラノシロキシ)-l,3,5-トリヒドロキシ-9H-キサンテン-9-オン)、
といった治療薬のうちの1つまたは複数を含む。
例示的な態様において、処置には、COVID-19の原因となるSARS-CoV-2等のウイルス感染症を処置する1つまたは複数の治療薬を含む。このため、治療薬には、1つまたは複数のSARS-CoV-2阻害剤を含んでいてもよい。いくつかの実施形態において、処置には、1つまたは複数のSARS-CoV-2阻害剤と上掲の治療薬のうちの1つまたは複数との組み合わせを含む。
いくつかの実施形態において、処置には、上記特定の治療薬のいずれかおよび
ジオスミン、ヘスペリジン、MK-3207、ベネトクラクス、ジヒドロエルゴクリスチン、ボラジン、R428、ジテルカリニウム、エトポシド、テニポシド、UK-432097、イリノテカン、ルマカフトール、ベルパタスビル、エルクサドリン、レジパスビル、ロピナビル/リトナビル+リバビリン、アルフェロン、プレドニゾン、
デキサメタゾン、アジスロマイシンおよびレムデシビルならびにボセプレビル、ウミフェノビルおよびファビピラビル、
Zhang,L.;Lin,D.;Sun,X.;Rox,K.;Hilgenfeld,R.;X-ray Structure of Main Protease of the Novel Coronavirus SARS-CoV-2 Enables Design of a-Ketoamide Inhibitors(新型コロナウイルスSARS-CoV-2のメインプロテアーゼのX線構造からα-ケトアミド阻害剤の設計が可能に);bioRxiv preprint doi:https://doi.org/10.1101/2020.02.17.952879に記載のようなα-ケトアミド化合物Hr、13a、および13b、
米国特許第9884876号明細書に記載のようなRIG1経路活性化因子、
Dai W,Zhang B,Jiang X-M,et al.Structure-based design of antiviral drug candidates targeting the SARS-CoV-2 main protease(SARS-CoV-2メインプロテアーゼを標的とした抗ウイルス薬候補の構造ベースの設計).Science.2020;368(6497):1331-1335に記載のようなプロテアーゼ阻害剤(DC402234として指定される化合物を含む)、ならびに/あるいは
レムデシビル、ガリデシビル、ファビラビル/アビファビル、モルヌピラビル(MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、ファビピラビル、カモスタット、SLV213エムトリクタビン/テノフィビル、クレブジン、ダルセトラピブ、ボセプレビル、ABX464、(3S)-3-({N-[(4-メトキシ-1H-インドール-2-イル)カルボニル]-L-ロイシル}アミノ)-2-オキソ-4-[(3S)-2-オキソピロリジン-3-イル]ブチル二水素リン酸塩および/またはその薬学的に許容される塩、溶媒和物、もしくは水和物(PF-07304814)、(1R,2S,5S)-N-{(1S)-1-シアノ-2-[(3S)-2-オキソピロリジン-3-イル]エチル}-6,6-ジメチル-3-[(3-メチル-N-(トリフルオロアセチル)-L-バリル]-3-アザビシクロ[3.1.0]ヘキサン-2-カルボキサミドまたはその溶媒和物もしくは水和物(PF-07321332)、および/またはS-217622等の抗ウイルス剤、デキサメタゾンおよびヒドロコルチゾン等のグルココルチコイド、回復期血漿、ゲルソリン(Rhu-p65N)等の組み換えヒト血漿、レグダンビマブ(レッキロナ)、ラブリズマブ(ウルトミリス)等のモノクローナル抗体、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、バムラニビマブ(LY-CoV555)、マブリリマブ、レロンリマブ(PROMO)、AZD7442、レンジルマブ、インフリキシマブ、アダリムマブ、JS 016、STI-1499(COVIGUARD)、ラナデルマブ(タクザイロ)、カナキヌマブ(イラリス)、ギムシルマブ、オチリマブ、カシリビマブ/イムデビマブ(REGN-Cov2)等の抗体カクテル、MK-7110(CD24Fc/SACCOVID)等の組み換え融合タンパク質、ヘパリンおよびアピキサバン等の抗凝固剤、トシリズマブ(アクテムラ)および/またはサリルマブ(ケブザラ)等のIL-6受容体作動薬、ジメチル酸アピリモド等のPIKfyve阻害剤、DNL758、DC402234等のRIPK1阻害剤、PB1046等のVIP受容体作動薬、ダパグリフォジン等のSGLT2阻害剤、アビベルチニブ等のTYK阻害剤、ATR-002、ベムセンチニブ、アカラブルチニブ、ロスマピモド、バリシチニブ、および/またはトファシチニブ等のキナーゼ阻害剤、ファモチジン等のH2阻害薬、ニクロサミド等の駆虫剤、ジミナゼン等のフリン阻害剤、
から選択される1つまたは複数の治療薬を含む。
たとえば、一実施形態において、処置は、(3S)-3-({N-[(4-メトキシ-1H-インドール-2-イル)カルボニル]-L-ロイシル}アミノ)-2-オキソ-4-[(3S)-2-オキソピロリジン-3-イル]ブチルジヒドロゲンホスフェート、およびその薬学的に許容される塩、溶媒和物、または水和物(PF-07304814)を含む群から選択される。別の実施形態において、処置には、(lR,2S,5S)-N-{(1S)-1-シアノ-2-[(3S)-2-オキソピロリジン-3-イル]エチル}-6,6-ジメチル-3-[3-メチル-N-(トリフルオロアセチル)-L-バリル]-3-アザビシクロ[3.1.0]ヘキサン-2-カルボキサミドまたはその溶媒和物もしくは水和物(PF-07321332)を含む。
図2およびシステム200に関して引き続き、システム200の提示コンポーネント220は一般的に、検出された呼吸器疾患情報、ユーザ音声データおよび/もしくは自己報告データを取得するためのユーザ指示および/もしくはフィードバック、ならびに関連情報の提供を担うものであってもよい。提示コンポーネント220は、ユーザ機器上、複数のユーザ機器上、またはクラウド環境において、1つまたは複数のアプリケーションまたはサービスを含んでいてもよい。たとえば、一実施形態において、提示コンポーネント220は、ユーザと関連付けられた複数のユーザ機器上での通知およびアラート等の情報の当該ユーザへの提供を管理するようにしてもよい。提示ロジック、コンテキスト、および/または他のユーザデータに基づいて、提示コンポーネント220は、コンテンツが提供されるユーザ機器のほか、提供の方法(たとえば、フォーマットおよびコンテンツ(ユーザ機器もしくはコンテキストによって決まり得る))、提供のタイミング、または情報の提供に関する他の態様等の提供のコンテキストを決定するようにしてもよい。
いくつかの実施形態において、提示コンポーネント220は、ユーザ音声モニタ260、ユーザ相互作用管理器280、呼吸器疾患追跡器270、および意思決定支援ツール290等のシステム200の他の構成要素の態様と関連付けられたユーザインターフェース機能またはこのような態様のユーザ(モニタリングされている患者であってもよいし、モニタリング患者の臨床医であってもよい)への提示の容易化に用いられるユーザインターフェース機能を生成するようにしてもよい。このような機能には、グラフィカルまたはオーディオインターフェース要素(アイコンもしくはインジケータ、グラフィックボタン、スライダ、メニュー、サウンド、オーディオプロンプト、アラート、アラーム、振動、ポップアップウィンドウ、通知バーもしくはステータスバー項目、アプリ内通知、またはユーザとのインターフェースのための他の類似機能等)、クエリ、およびプロンプトを含み得る。提示コンポーネント220のいくつかの実施形態では、スマートスピーカ上で作用する実施形態等、発話を生成してユーザに提示するための発話合成、テキスト-発話変換、または類似の機能を採用するようにしてもよい。提示コンポーネント220により生成され、ユーザ(すなわち、モニタリング患者または臨床医)に提供され得るグラフィカルユーザインターフェース(GUI)の例および例示的なオーディオユーザインターフェース要素の説明については、図5A~図5Eに関連して記載される。オーディオユーザインターフェース機能を利用する実施形態については、図4C~図4Fの実施形態に示される。提示コンポーネント220により提供されるオーディオユーザインターフェースのいくつかの実施形態には、スマートスピーカ上の音声ユーザインターフェース(VUI)等のVUIを含む。また、提示コンポーネント220により生成され、ユーザ(すなわち、モニタリング患者または臨床医)に提供され得るグラフィカルユーザインターフェース(GUI)の例および例示的なオーディオユーザインターフェース要素の説明は、図4Bのスマートウォッチ402a等のウェアラブルデバイスにも関連して図示および記載される。
例示的なシステム200のストレージ250は一般的に、データ、コンピュータ命令(たとえば、ソフトウェアプログラム命令、ルーチン、もしくはサービス)、ロジック、プロファイル、および/または本明細書に記載の実施形態において用いられるモデルを含む情報を格納していてもよい。一実施形態において、ストレージ250は、図1のデータストア150等のデータストア(または、コンピュータデータメモリ)を備えていてもよい。さらに、ストレージ250は、単一のデータストアコンポーネントとして示されるが、1つまたは複数のデータストアとして具現化されていてもよいし、クラウド環境において具現化されていてもよい。
例示的なシステム200において示されるように、ストレージ250は、音声-音素抽出ロジック233、音素特性比較ロジック235、およびユーザ疾患推論ロジック237を含むが、これらはすべて上述されたものである。さらに、ストレージ250は、1つまたは複数の患者レコード(図2に示されるように、患者レコード240等)を含んでいてもよい。患者レコード240は、プロファイル/健康データ(EHR)241、音声サンプル242、音素特性ベクトル244、結果/推論状態246、ユーザアカウント/機器248、および設定249等、特定のモニタリング患者/ユーザと関連付けられた情報を含んでいてもよい。本明細書に記載の通り、患者レコード240に格納された情報は、データ収集コンポーネント210、ユーザ音声モニタ260、ユーザ相互作用管理器280、呼吸器疾患追跡器270、意思決定支援ツール290、または例示的なシステム200の他の構成要素に利用可能であってもよい。
プロファイル/健康データ(EHR)241は、モニタリング患者の健康に関する情報を提供するようにしてもよい。プロファイル/健康データ(EHR)241の実施形態には、患者のEHRの一部または全部を含んでいてもよいし、呼吸器疾患と関連する一部の健康データのみを含んでいてもよい。たとえば、プロファイル/健康データ(EHR)241は、インフルエンザ、ライノウイルス、COVID-19、慢性閉塞性肺疾患(COPD)、喘息、もしくは呼吸器系に影響を及ぼす疾患等、過去もしくは現在の診断状態、呼吸器疾患の処置もしくは呼吸器疾患の潜在的な症状と関連付けられた薬剤、体重、または年齢を示し得る。プロファイル/健康データ(EHR)241には、自己報告ツール284と併せて記載の自己報告症状等、ユーザの自己報告情報を含んでいてもよい。
音声サンプル242は、(図1に示される)センサ103等から受信されるデータ等、生のデータおよび/または処理済み音声関連データを含んでいてもよい。このセンサデータには、収集された音声記録またはサンプル等、呼吸器感染症追跡に用いられるデータを含んでいてもよい。場合により、音声サンプル242は、収集されたサンプルに対して音素ベクトル解析が実行されるまで、および/または、予め定められた期間が経過するまで、一時的に格納されるようになっていてもよい。
さらに、音素特性ベクトル244には、特定のユーザに対して決定された音素特性および/または音素特性ベクトルを含んでいてもよい。音素特性ベクトル244は、コンテキスト情報もしくは自己報告情報等の患者レコード240中の他の情報または合成症状スコア(プロファイル/健康データ(EHR)241の一部であってもよい)に対して相関されるようになっていてもよい。また、音素特性ベクトル244には、音素特性比較ロジック235と併せて記載のような特定のユーザの音素特性基準を定める情報を含んでいてもよい。
結果/推論状態246には、ユーザの予想およびユーザの推論呼吸器状態を含んでいてもよい。結果/推論状態246は、呼吸器疾患推論エンジン278による出力であってもよいため、モニタリングユーザの現在の呼吸器疾患または将来の時間区分における呼吸器疾患のスコアおよび/または可能性を含んでいてもよい。結果/推論状態246は、上述の通り、意思決定支援ツール290により利用されるようになっていてもよい。
ユーザアカウント/機器248は一般的に、アクセス、使用、あるいはユーザとの関連付けがなされるユーザコンピュータ機器に関する情報を含んでいてもよい。このようなユーザ機器の例としては、図1のユーザ機器102a~102nが挙げられ、スマートスピーカ、携帯電話、タブレット、スマートウォッチ、または音声記録機能が組み込まれた他の機器もしくは上記のような機器に通信接続され得る他の機器を含み得る。
一実施形態において、ユーザアカウント/機器248は、ユーザと関連付けられたアカウント(たとえば、オンラインまたはクラウドベースのアカウント(たとえば、オンライン健康記録ポータル、ネットワーク/健康プロバイダ、ネットワークウェブサイト、意思決定支援アプリケーション、ソーシャルメディア、電子メール、電話、電子商取引ウェブサイト等))と関連する情報を含んでいてもよい。たとえば、ユーザアカウント/機器248は、意思決定支援ツール290等の意思決定支援アプリケーションに関するモニタリング患者のアカウント、(たとえば、電子予約に利用可能な)ケア提供者サイトのアカウント、および(たとえば、処置のオンライン注文に利用可能な)アマゾン(登録商標)もしくはドラッグストア等のオンライン電子商取引アカウントを含んでいてもよい。
また、ユーザアカウント/機器248は、ユーザのカレンダー、予約、アプリケーションデータ、他のユーザアカウント等を含んでいてもよい。ユーザアカウント/機器248のいくつかの実施形態では、1つまたは複数のデータベース、ナレッジグラフ、またはデータ構造に跨って情報を格納するようにしてもよい。上述の通り、ユーザアカウント/機器248に格納される情報は、データ収集コンポーネント210により決定されるようになっていてもよい。
さらに、設定249は一般的に、音声データの収集、自己報告情報の収集、またはユーザの呼吸器疾患の推論および/もしくは予測を含めて、ユーザ音声データをモニタリングする1つまたは複数のステップとの関連付けあるいは意思決定支援ツール290等の1つまたは複数の意思決定支援アプリケーションとの関連付けがなされたユーザ設定または選好を含んでいてもよい。たとえば、一実施形態において、設定249には、ユーザが日常的に発話する際の音声情報を収集するための設定等、音声関連データを収集するための設定を含んでいてもよい。設定249には、生理学的データ(たとえば、ウェアラブルセンサデバイスを関連付ける情報)を取得するための設定を含めて、コンテキスト情報に対する設定または選好を含んでいてもよい。設定249には、本明細書に記載の通り、プライバシ設定をさらに含んでいてもよい。設定249のいくつかの実施形態では、特定の音素または音素特性を指定することにより、呼吸器疾患を検出またはモニタリングするようにしてもよく、さらに、検出または推論閾値(たとえば、疾患変化閾値)を指定するようにしてもよい。また、本明細書に記載の通り、設定249には、ユーザがそれぞれの呼吸器疾患の基準状態を設定するための設定を含んでいてもよい。非限定的な一例として、他の設定としては、ユーザが呼吸器疾患の判定または予測の通知を望むタイミングおよび様態を規定し得るユーザ通知許容閾値が挙げられる。いくつかの態様において、設定249は、通知、好ましい介護者、好ましい薬局等の店舗、および市販の薬剤等、適用に関するユーザの選好を含んでいてもよい。設定249には、処方薬剤等のユーザに対する処置の指示を含んでいてもよい。また、一実施形態において、設定249には、センサ(図1に記載のセンサ103等)の校正、初期化、および設定が格納されていてもよい。
ここで図3Aを参照して、システム200の構成要素のうちの少なくとも一部を組み込んだ例示的なプロセス3100の図解表現が示される。例示的なプロセス3100は、スマートモバイル機器および/またはスマートスピーカ等のユーザ機器上で動作し得る音声-症状アプリケーション3104を介して、1人または複数人のユーザ3102がデータを提供することを示している。音声-症状アプリケーション3104を介して提供されるデータには、図2のユーザ音声モニタ260に関して記載の通り、音素が抽出され得る音声記録(たとえば、図2の音声サンプル242)を含んでいてもよい。また、受信データには、ユーザ相互作用管理器280と併せて記載の通り、ユーザにより手動で入力され得る症状評価値を含む。
記録された音声サンプルおよび症状値の受信に基づいて、サーバ(たとえば、図1のサーバ106)上に存在するともにネットワーク(たとえば、図1のネットワーク110)を介してアクセス可能なコンピュータシステムは、ユーザとのやり取り、症状アルゴリズムの実行、音声特性の抽出、および音声アルゴリズムの適用を含む動作3106を実行するようにしてもよい。ユーザとのやり取りには、ユーザ相互作用管理器280と併せて記載の通り、使用可能なデータを収集するための催促およびフィードバックを含んでいてもよい。症状アルゴリズムには、自己報告データ評価器276と併せて記載の通り、ユーザの自己報告症状値に基づいて合成症状スコア(CSS)を生成することを含んでいてもよい。音声特性の抽出には、ユーザ音声モニタ260、より具体的には、音響特性抽出器2614と併せて記載の通り、音声サンプルにおいて検出された音素の音響特性値の抽出を含んでいてもよい。抽出された音響特性には、音素特性比較器274と併せて記載の通り、患者の異なる日にちの特性ベクトルの比較(すなわち、距離測定基準の演算)を含み得る音声アルゴリズムが適用されるようになっていてもよい。
少なくとも一部の動作3106に基づいて、図1のユーザ機器102a等のユーザ機器により、1人または複数人のユーザ3102に対して、リマインダおよび通知が電子的に送られるようになっていてもよい。リマインダは、音声サンプルまたは自己報告症状評価等の付加的な情報が必要となり得ることをユーザに知らせることができる。ユーザ相互作用管理器280に関して記載の通り、通知によって、音声サンプルの提供時に、より長い継続時間、より大きな音量、またはより小さなバックグラウンドノイズが必要となるか否かを示すようなフィードバックがユーザに与えられ得る。また、通知は、音声サンプル、場合によっては、症状情報を提供するための既定の手順にユーザが従ったか、および、その程度を示し得る。たとえば、音声サンプルを提供するためにユーザが音声行使の50%を完了したことを通知により示すようにしてもよい。
また、動作3106のうちの少なくとも一部に基づいて、収集された情報および/またはその解析結果が図1の臨床医ユーザ機器108等の臨床医と関連付けられた1つまたは複数のユーザ機器に送られるようになっていてもよい。また、(図1の)臨床医ユーザ機器108上での動作または臨床医ユーザ機器108との連動を行う意思決定支援アプリ105aまたは105b等のコンピュータソフトウェアアプリケーションによって、臨床医ダッシュボード3108が生成されるようになっていてもよい。臨床医ダッシュボード3108は、モニタリング対象の特定の患者または一組の患者(すなわち、モニタリングユーザ3102)に関する情報のアクセスおよび受信ならびに、いくつかの実施形態においては、患者との直接的または間接的な通信を可能にするグラフィカルユーザインターフェース(GUI)を含んでいてもよい。臨床医ダッシュボード3108は、複数のユーザに情報を提示するビュー(異なるユーザに関する情報を各行に含むチャート等)を含んでいてもよい。この追加または代替として、臨床医ダッシュボード3108は、モニタリング対象の単一のユーザに情報を提示するようにしてもよい。
一実施形態において、臨床医ダッシュボード3108は、音声-症状アプリケーション3104を介してユーザ3102のデータ収集をモニタリングするため、臨床医により利用されるようになっていてもよい。たとえば、臨床医ダッシュボード3108は、使用可能な音声サンプルおよび、いくつかの実施形態においては、症状重症度評価をユーザが提供済みであるか否かを示すようにしてもよい。臨床医ダッシュボード3108は、音声サンプルおよび/または他の情報を提供するための既定の手順をユーザが守っていない場合に、その旨を臨床医に通知するようにしてもよい。いくつかの実施形態において、臨床医ダッシュボード3108は、データを収集するための手順または改訂された手順に従わせるリマインダを臨床医がユーザに伝達可能となる(たとえば、電子メッセージを送信可能となる)機能を含んでいてもよい。
いくつかの実施形態において、動作3106には、収集された音声サンプルからユーザの呼吸器疾患を判定すること(たとえば、ユーザが病中であるか否かを判定すること)を含んでいてもよく、これは、図2と併せて記載の通り、一般的には呼吸器疾患追跡器270、より具体的には呼吸器疾患推論エンジン278の一実施形態により実行され得る。これらの実施形態においては、判定された呼吸器疾患を示す通知がユーザ3102に送られるようになっていてもよい。いくつかの実施形態において、ユーザ3102への通知は、意思決定支援ツール290と併せて記載の通り、行動の推奨を含んでいてもよい。さらに、ユーザの呼吸器疾患の判定にユーザの音声関連情報が利用される場合、臨床医ダッシュボード3108のいくつかの実施形態では、臨床医による利用によって、ユーザの呼吸器疾患を追跡するようにしてもよい。臨床医ダッシュボード3108のいくつかの実施形態では、ユーザの呼吸器疾患のステータス(たとえば、呼吸器疾患スコア、ユーザが呼吸器感染症であるか否か)および/またはユーザの疾患のトレンド(たとえば、ユーザの疾患が悪化しているか、改善しているか、もしくは変化していないか)を示すようにしてもよい。ユーザの疾患が特に悪いか(呼吸器疾患スコアが閾値スコアを下回る場合)、ユーザに新たな感染症が検出されたか、および/またはユーザの疾患が変化したかを示すため、アラートまたは通知が臨床医に提供されるようになっていてもよい。
いくつかの実施形態において、臨床医ダッシュボード3108は、意思決定支援ツール290および薬剤効能追跡器296に関して記載の通り、臨床医が既定の処置の状態および効能(このような処置の副作用を含む)をモニタリングできるように、呼吸器感染症の薬剤が処方されたユーザおよび/または臨床医によって呼吸器疾患が診断されたユーザの厳密なモニタリングに利用されるようになっていてもよい。このため、臨床医ダッシュボード3108の実施形態では、処方薬剤もしくは既定の処置およびユーザが処方薬剤の服用もしくは既定の処置を実行しているか否かを識別するようにしてもよい。
さらに、いくつかの実施形態において、臨床医ダッシュボード3108は、推奨もしくは所要の音声サンプル収集手順(たとえば、ユーザが音声サンプルを提供する頻度)、ユーザの既定の処置もしくは処方薬剤、およびユーザに対する付加的な推奨(たとえば、水分の摂取、休養、運動の回避、自己検疫)を臨床医が設定できるようにする機能を含んでいてもよい。また、モニタリング設定(たとえば、臨床医および、いくつかの実施形態においては、ユーザに対してアラートを生成する閾値)の設定または調整のため、臨床医ダッシュボード3108が臨床医により用いられるようになっていてもよい。また、いくつかの実施形態において、臨床医ダッシュボード3108は、音声-症状アプリケーション3104が適正に動作しているかの判定および音声-症状アプリケーション3104上での診断の実行を臨床医ができるようにする機能を含んでいてもよい。
図3Bは、呼吸器疾患をモニタリングするためのデータを収集する例示的なプロセス3500の図解表現を例示的に示している。この例示的なプロセス3500において、モニタリング患者は、音声サンプルおよび症状評価が提供される複数の収集チェックポイントを実行するようにしてもよい。収集チェックポイントには、患者が呼吸器感染症の症状を経験済みまたは、いくつかの実施形態においては、呼吸器感染症の診断を受ける1回の「病中」研究所訪問と、患者が呼吸器感染症から回復済みの1回の「健康」研究所訪問と、を含んでいてもよい。また、患者は、2回の研究所訪問間に自宅で、一日に2回の(または、一日に1回もしくは定期的な)収集チェックポイントを有するようにしてもよい。自宅チェックポイントは、少なくとも2週間の期間にわたって行われ、患者の回復期間が2週間よりも長い場合は、2週間より長くてもよい。各収集チェックポイントにおいて、患者は、音声サンプルおよび症状評価を提供するようにしてもよい。
研究所訪問は、臨床医の診療所または研究を行っている研究所等、臨床医の訪問であってもよい。研究所訪問時には、ヘッドセットに結合されたスマートフォンおよびコンピュータを通じて、モニタリング患者の音声サンプルが同時に記録されるようになっていてもよい。ただし、プロセス3500の実施形態では、これらの方法のうちの1つだけを研究所訪問時の音声サンプルの収集に利用し得るとも考えられる。患者は、自宅収集用のスマートフォン、スマートウォッチ、および/またはスマートスピーカを利用して、音声サンプルの記録および症状評価の提供を行うようにしてもよい。
研究所訪問および自宅訪問の両者の音声サンプルについて、患者は、鼻音および基本母音の両者それぞれの5~10秒間にわたる持続的な発声の記録を促される場合もある。一実施形態においては、4つの母音および3つの鼻音が記録される。国際音標文字(IPA)を用いた4つの母音は、
であってもよく、患者は、より言い慣れた出だし
での発音を促される場合もある。3つの鼻音は、
であってもよい。また、個人は、計画された発話および無計画の発話の記録を求められる場合もある。音声記録システムは、無損失圧縮を使用するとともに、ビット深度が16であってもよい。いくつかの実施形態において、音声データは、44.1キロヘルツ(kHz)でサンプリングされるようになっていてもよい。別の実施形態において、音声データは、48kHzでサンプリングされるようになっていてもよい。
自宅回復期間において、患者は、毎朝および毎晩、音声サンプルの提供および症状の報告を求められる場合もある。自宅期間中の症状評価のため、患者は、朝に19個の症状、夜に16個の症状について、気道疾患と関連する知覚症状の重症度(0~5)の評価を求められる場合もある。一実施形態においては、4つの睡眠に関する質問が朝のリストにだけ含まれ、一日の終わりの疲労感の質問が夜にだけ行われる。症状の質問の例示的なリストは、自己報告ツール284と併せて提供されるようになっていてもよい。これらの症状のうちの少なくとも一部のスコアを合算することにより、合成症状スコア(CSS)が決定されるようになっていてもよい。一実施形態において、CSSは、7つの症状(後鼻漏、鼻閉、鼻水、粘液の多い鼻汁、咳、喉の痛み、鼻をかむ必要性)の合計である。
図4A~図4Fはそれぞれ、本開示の実施形態を利用した患者(すなわち、ユーザ410)例示的なシナリオを例示的に示している。ユーザ410は、図2の提示コンポーネント220に関して記載の通り、ユーザ機器(たとえば、ユーザコンピュータ機器102a~102nのいずれか)上で動作するコンピュータソフトウェアアプリケーション(たとえば、図1の意思決定支援アプリケーション105a)の1つまたは複数のユーザインターフェース(たとえば、グラフィカルユーザインターフェースおよび/または音声ユーザインターフェース)と相互作用するようにしてもよい。各シナリオは、時系列(左から右へ)の順序付けが意図される一連のシーン(ボックス)により表される。異なるシーン(ボックス)が必ずしも異なる離散的な相互作用ではないものの、ユーザ410とユーザインターフェースコンポーネントとの間の1つの相互作用の一部と考えられる。
図4A、図4B、および図4Cは、図3Aの音声-症状アプリケーション3104および/または後述のような図5A~図5Eの呼吸器感染症モニタリングアプリ5101の一実施形態等、1つまたは複数のユーザ機器上で動作するアプリまたはプログラムとの相互作用によりユーザ410から収集されているユーザの音声情報等のデータを示す。図4A~図4Cに示される実施形態は、ユーザ相互作用管理器280、データ収集コンポーネント210、および提示コンポーネント220等、システム200の1つまたは複数の構成要素により実行されるようになっていてもよい。
たとえば図4Aを参照するに、シーン401において、スマートフォン402c(図1のユーザ機器102cの一実施形態であってもよい)を使用するユーザ410には、持続的な発声を提供する指示405が与えられる。指示405の内容は、「音声状態評価を始めましょう。今から、『ウーン』という音を5秒間言い続けてください。」である。これらの指示405は、図2のユーザ指示生成器282の一実施形態により提供されるようになっていてもよい。指示405は、スマートフォン402cの表示画面上のグラフィカルユーザインターフェースを介して、テキストとして表示されるようになっていてもよい。また、この追加または代替として、指示405は、スマートフォン402c上の音声ユーザインターフェースを利用する可聴指示として提供されるようになっていてもよい。シーン402には、スマートフォン402cに対して「ウーン・・・」という言葉を発することにより音声サンプル407を提供するユーザ410が示されており、スマートフォン402cのマイク(図示せず)がこの音声サンプル407を拾って記録することができる。
図4Bは同様に、シーン411において、指示415がユーザ410に与えられることを示している。指示415は、ユーザ指示生成器282の一実施形態により生成されるようになっていてもよく、また、スマートウォッチ402a(図1のユーザ機器102aの例示的な一実施形態であってもよい)を介して与えられる。このため、指示415は、スマートウォッチ402a上のグラフィカルユーザインターフェースを介して、テキストとして表示されるようになっていてもよい。この追加または代替として、指示415は、音声ユーザインターフェースを介して、可聴指示として提供されるようになっていてもよい。シーン412において、ユーザ410は、スマートウォッチ402aに対する発話により音声サンプル417(「アーア・・・」)を生成することによって、指示415に応答する。
図4Cは、スマートスピーカ402b(図1のユーザ機器102bの一実施形態であってもよい)からの一連の指示(催促と称される場合もある)によって音声サンプルを提供するようにユーザ410がガイドされていることを示している。これらの指示は、スマートスピーカ402bから音声ユーザインターフェースを介して出力されるようになっていてもよく、ユーザ410からの応答は、スマートスピーカ402b上のマイク(図示せず)またはスマートスピーカ402bに通信結合された別の機器により拾われる可聴応答であってもよい。
また、本開示のいくつかの実施形態によれば、図4Cは、スマートスピーカ402b上での動作またはスマートスピーカ402bとの連動を行うアプリケーションまたはプログラムにより開始される音声記録セッションを示している。たとえば、シーン421において、スマートスピーカ402bは、音声記録セッションを開始する意図424を声に出して述べる。意図424の内容は、「音声状態評価を始めましょう。今よろしいですか?」であり、これに対してユーザ410は、可聴応答425「はい」を与える。
シーン422において、スマートスピーカ402bは、ユーザ410に音声サンプルを提供させる可聴指示426を与える。ユーザ410は、通常の肯定(「OK」)および指示された音(「アーア・・・」)を含む可聴応答427を提供する。ユーザが応答したものと判定された場合は、別の音声サンプルを得るため、次の一組の指示が与えられるものとする。ユーザ410の応答を判定することおよびユーザ410に提供する適当なフィードバックまたは次のステップは、ユーザ入力応答生成器286の一実施形態により実行されるようになっていてもよい。シーン423においては、次の音声サンプルのための指示428がスマートスピーカ402bから発せられ、これに対してユーザ410は、可聴音声サンプル429「ウーン」で応じる。スマートスピーカ402bとユーザ410との間のこのような指示の往復は、必要とされる音声サンプルのすべてが収集されるまで続くものであってもよい。
本明細書に記載の通り、ユーザから収集された音声情報を利用して、ユーザの呼吸器疾患がモニタリングまたは追跡されるようになっていてもよい。このため、図4D、図4E、および図4Fは、ユーザの呼吸器疾患の追跡の種々態様がユーザに通知されるシナリオを示している。図4D~図4Fの推論および予測に利用されるオーディオデータは、図4A~図4Cに示されるようなさまざまな機器上でさまざまな方法により収集されるようになっていてもよい。いくつかの実施形態において、図4D~図4Fのシナリオの基礎となる推論および予測の決定は、図2の呼吸器疾患推論エンジン278により行われるようになっていてもよく、このような決定の通知および別途情報のリクエストは、ユーザ相互作用管理器280および/または意思決定支援ツール290(疾病モニタ292等)の実施形態により提供されるようになっていてもよい。
図4Dは、呼吸器疾患の判定がユーザ410に通知されることを示している。シーン431において、スマートスピーカ402bは、最新の音声データに基づいて、ユーザ410が発病している可能性があるものと判定されることを示す可聴メッセージ433を提供する。このようにユーザが病中である可能性の判定は、呼吸器疾患追跡器270の実施形態に従ってなされるようになっていてもよい。可聴メッセージ433が呼吸器疾患と合致する症状の確認をさらに要求する(たとえば、「鼻づまり、疲労、または・・・を感じますか?」)が、これは、自己報告ツール284および/またはユーザ入力応答生成器286の実施形態に従ってなされるようになっていてもよい。ユーザ410は、可聴応答435「少し」を与えるようにしてもよい。図4Dのシーン432においては、鼻づまりを感じる旨のユーザ410の応答435に対して、追加のメッセージ437がスマートスピーカ402bにより提供される。追加メッセージ437では、ユーザ410に対して鼻づまりの評価を求めることにより、ユーザからの症状フィードバックを要求する。この図4Dのシナリオは、鼻づまりおよび/またはその他任意の症状を評価する応答をユーザが与える場合に続くものであってもよい。
図4Eは、ユーザ410の音声データによってユーザ410の呼吸器疾患のモニタリングが継続され得る場合のユーザ410とスマートスピーカ402bとの間の別の相互作用を示している。シーン441に示される可聴メッセージ443において、スマートスピーカ402bは、過去に検出された呼吸器疾患(すなわち、風邪)が追跡されていることをユーザ410に知らせるとともに、より新しいデータに基づいてなされた更新された呼吸器疾患の判定をユーザ410に通知する。具体的に、メッセージ443の内容は、「・・・咳の頻度は低下しているようですし、音声解析は改善を示しています。お元気になりましたか?」である。ユーザ410はその後、元気であることを示す可聴応答445を与える。シーン442において、スマートスピーカ402bは、ユーザ410の将来の呼吸器疾患の予測をユーザ410に通知するオーディオメッセージ447を提供する。具体的に、メッセージ447は、ユーザ410がその呼吸器疾患に関して、3日以内に元の状態に戻ると予想される旨をユーザ410に通知する。また、メッセージ447は、引き続き安静にして、医師の指示に従う推奨を与える。図4Eにおいて、ユーザ410の音声が改善している旨の判定およびユーザが3日以内に回復し得る旨の判定は、図2と併せて記載の通り、呼吸器疾患推論エンジン278の実施形態によりなされるようになっていてもよい。
図4Fは、(たとえば、「疾病モニタリングモード中です。・・・」という内容のシーン451中のメッセージ455により示されるように)ユーザ410の呼吸器疾患が引き続きモニタリングされているシナリオを示している。シーン451において、スマートスピーカ402bは、疾病モニタリングモード中であり、過去数日間に収集された音声サンプルの解析に基づいて、ユーザ410が良くなっているようには見えないことを示す可聴メッセージ455を出力する。また、メッセージ455において、スマートスピーカ402bは、ユーザ410が抗生薬を服用しているか否かを尋ねる。ユーザ410が薬剤を処方されたかの判定は、処方モニタ294の一実施形態によりなされるようになっていてもよい。ユーザ410は薬剤を服用していることを示す応答457(「はい」)を与える。シーン452において、スマートスピーカ402bは、ユーザ410が薬剤を服用していることを裏付けるユーザ410の応答457に基づいて、クラウド458により示されるように、ネットワークを介して1つまたは複数の他のコンピュータシステムまたは機器に伝達する。一実施形態において、スマートスピーカ402bは、ユーザ410が依然として病中であることから、ユーザ410の処方を補充する旨をユーザ410のケア提供者に直接または間接的に伝達していてもよい。その結果、シーン453において、スマートスピーカ402bは、ユーザのケア提供者に連絡を取り、抗生薬処方の補充が発注されたことをユーザ410に知らせる可聴メッセージ459を出力する。
図5A~図5Eは、コンピュータ機器からの例示的な種々スクリーンショットを示したものであって、コンピュータソフトウェアアプリケーション(またはアプリ)の例示的なグラフィカルユーザインターフェース(GUI)の態様を示している。特に、図5A~図5Eのスクリーンショットに示されるGUI(図5AのGUI5100等)の例示的な実施形態は、コンピュータソフトウェアアプリケーション5101に関するものであり、これらの例においては、「呼吸器感染症モニタリングアプリ」と称される。図5A~図5Eに示される例示的なアプリは、呼吸器感染症をモニタリングするものとして記載されるが、本開示は概して、呼吸器疾患および呼吸器疾患の変化をモニタリングするアプリケーションにも同様に当てはまると考えられる。
例示的な呼吸器感染症モニタリングアプリ5101は、図2に関連して記載の通り、ユーザ音声モニタ260、ユーザ相互作用管理器280、および/または他の構成要素もしくは副構成要素の一実施態様を含んでいてもよい。この追加または代替として、呼吸器感染症モニタリングアプリ5101のいくつかの態様には、図1および図2に関連してそれぞれ記載の通り、意思決定支援アプリ105aもしくは105bの一実施態様および/または1つもしくは複数の意思決定支援ツール290の一実施態様を含んでいてもよい。例示的な呼吸器感染症モニタリングアプリ5101は、図1に関連して記載の通り、ユーザ機器102a~102nのいずれかとして具現化され得るユーザコンピュータ機器(または、ユーザ機器)5102a上で動作していてもよい(またGUIがユーザコンピュータ機器5102a上に表示されていてもよい)。図5A~図5Eのスクリーンショットに示される例示的なGUIのGUI要素(図5Aのハンバーガーメニューアイコン5107等)の一部は、GUI要素へのタッチまたはクリック等によって、ユーザにより選択可能であってもよい。ユーザコンピュータ機器5102aのいくつかの実施形態には、たとえばスタイラスまたはマウスとの連動によってユーザのGUIとの相互作用を容易化するタッチスクリーンまたはディスプレイを含んでいてもよい。
いくつかの態様において、呼吸器疾患(たとえば、インフルエンザ、ライノウイルス、COVID-19、喘息等)と診断された患者に対して既定または推奨される標準的なケアには、(本明細書に記載の通り)モバイル機器、または他のユーザ機器102a~102n等のユーザ/患者自身のコンピュータ機器上で動作し得る呼吸器感染症モニタリングアプリ5101の一実施形態の利用を含んでいてもよく、ユーザ/患者のヘルスケア提供者または薬局を通じてユーザ/患者に提供され得るとも考えられる。特に、呼吸器疾患をモニタリングおよび追跡する従来のソリューションは、数ある欠点の中でもとりわけ、主観的である(すなわち、症状の自己追跡である)、早期検出が不可能または現実的ではない、という問題がある。ただし、本明細書に記載の技術の実施形態であれば、ユーザの呼吸器疾患データをモニタリング、検出、および追跡するための客観的かつ非侵襲的で、より高精度な手段を提供可能である。結果として、これらの実施形態によれば、呼吸器疾患に対する特定の薬剤が処方された患者に対して技術を確実に使用可能となる。このように、医師またはヘルスケア提供者は、ユーザが薬を服用し、コンピュータ意思決定支援アプリ(たとえば、呼吸器感染症モニタリングアプリ5101)を使用して、とりわけ既定の処置のより正確な効能を追跡および判定できるような指示を発行可能である。同様に、医師またはヘルスケア提供者は、コンピュータ意思決定支援アプリにより提供される解析、推奨、または出力の考慮に基づいて薬剤が処方され得るように、薬剤の服用に先立って、患者がコンピュータ意思決定支援アプリを使用することによりユーザの呼吸器疾患をモニタリングまたは追跡することを含む(または、標準ケアにより指定し得る)指示を発行可能である。たとえば、医師が特定の抗生物質を処方するようにしてもよく、コンピュータ意思決定支援アプリは、ユーザが呼吸器疾患である可能性が高く、回復しているようには見えないものと判定するようにしてもよい。さらに、特定の薬剤を投与または処方された患者の標準ケアの一部としてのコンピュータ意思決定支援アプリ(たとえば、呼吸器感染症モニタリングアプリ5101)の使用は、処方薬剤の効能(副作用を含む)のより深い理解、特定の処方薬剤の投薬量の修正もしくは変更、またはユーザ/患者の疾患が改善していて必要がなくなったことによる使用中断の指示をヘルスケア提供者ができるようにすることで患者の効果的な処置を補助する。
図5Aを参照して、ユーザの呼吸器疾患のモニタリングおよび意思決定支援に使用し得る例示的な呼吸器感染症モニタリングアプリ5101の態様を示す例示的なGUI5100が示される。たとえば、数ある目的の中でもとりわけ、ユーザの呼吸器疾患データの取得の容易化および/または呼吸器疾患に関する情報の決定、閲覧、追跡、補完、もしくは報告に対して、呼吸器感染症モニタリングアプリ5101の一実施形態が用いられるようになっていてもよい。GUI5100に示される例示的な呼吸器感染症モニタリングアプリ5101は、GUI5100の最上部付近に配置され、ハンバーガーメニューアイコン5107、ディスクリプタ5103、供給アイコン5104、聴診器アイコン5106、およびサイクルアイコン5108を含むヘッダ領域5109を含んでいてもよい。ハンバーガーメニューアイコン5107の選択は、呼吸器感染症モニタリングアプリ5101の他のサービス、機構、または機能のメニューへのアクセスをユーザに提供し得るとともに、ヘルプ、アプリバージョン情報、およびセキュアなユーザアカウント・サインイン/サインオフ機能へのアクセスをさらに含み得る。ディスクリプタ5103は、この例示的なGUI5100において、現在の日付を示し得る。この日付は、音声アナライザ5120および図5Bに関連して記載の通り、ユーザが音声データ収集プロセスを開始した場合に、ユーザにより取得される任意の音声関連データと関連付けられる日付である。場合により、ディスクリプタ5103は、履歴データ、呼吸器感染症モニタリングアプリ5101のモードまたは機能、ユーザへの通知にユーザがアクセスしている場合等、過去の日付を示していてもよいし、空白であってもよい。
共有アイコン5104は、電子通信を介して、さまざまなデータ、解析もしくは診断、レポート、ユーザ提供アノテーション、または観察結果(たとえば、メモ)を共有するために選択されるようになっていてもよい。たとえば、共有アイコン5104は、最新の音素特性データ、呼吸器疾患の変化、推論もしくは予測、または他のデータから成るレポートのユーザによる介護者への電子メール、アップロード、または送信を容易化し得る。いくつかの実施形態において、共有アイコン5104は、呼吸器感染症モニタリングアプリ5101を介した取り込み、決定、表示、またはアクセスがなされたさまざまなデータの態様のソーシャルメディア上での共有または他の類似ユーザとの共有を容易化し得る。一実施形態において、共有アイコン5104は、ユーザの呼吸器疾患データおよび、場合によっては、関連データ(たとえば、位置、履歴データ、または他の情報)の政府機関または保健局との共有によって、呼吸器感染症の流行のモニタリングを容易化し得る。この共有情報は、ユーザのプライバシを保護するために非特定化され、通信に先立って暗号化されるようになっていてもよい。
聴診器アイコン5106の選択により、ユーザのヘルスケア提供者とのさまざまな伝達または連絡選択肢をユーザに提供可能である。たとえば、聴診器アイコン5106の選択によって、遠隔予約(または、面会予約の要求)、ユーザのヘルスケア提供者によるアクセスのためのユーザの医療レコード(たとえば、図2のプロファイル/健康データ(EHR)241)へのデータの共有もしくはアップロード、または付加的なサービスのためのヘルスケア提供者のオンラインポータルへのアクセスを容易化する機能を開始するようにしてもよい。いくつかの実施形態においては、聴診器アイコン5106の選択によって、ユーザが現在視聴しているデータ等の特定のデータをユーザのヘルスケア提供者に伝達する機能を開始するようにしてもよいし、ユーザのヘルスケア提供者に対してユーザのデータを見るように要求してもよい。最後に、サイクルアイコン5108の選択によって、利用可能なデータに関してビューが最新となるように、呼吸器感染症モニタリングアプリ5101を介して表示されるビューおよび/またはデータのリフレッシュまたは更新を行わせるようにしてもよい。いくつかの実施形態においては、サイクルアイコン5108の選択によって、センサ(もしくは、図1のセンサ103等のセンサからのデータ収集と関連付けられたコンピュータアプリケーション)および/またはユーザと関連付けられたクラウドデータストア(たとえば、オンラインデータアカウント)から引き出されたデータをリフレッシュするようにしてもよい。
また、例示的なGUI5100は、この呼吸器感染症モニタリングアプリ5101の例示的な実施形態により提供される付加的な種々機能に対応するさまざまなユーザ選択可能アイコン5111,5112,5113,5114、および5115を含むアイコンメニュー5110を含んでいてもよい。特に、これらのアイコンを選択することにより、呼吸器感染症モニタリングアプリ5101を介して提供されるさまざまなサービスまたはツールへとユーザをナビゲート可能である。非限定的な一例としては、ホームアイコン5111の選択により、図5A~図5Eに関連して記載の例示的なGUIのうちの1つ、呼吸器感染症モニタリングアプリ5101により提供される1つもしくは複数の一般に利用されるサービスもしくはツールを含み得るウェルカム画面(図5EのGUI5510等)、ユーザのアカウント情報、またはその他任意のビュー(図示されず)を含み得るホーム画面にユーザをナビゲート可能である。
いくつかの実施形態においては、例示的なGUI5100において選択されているものとして示される「音声記録」アイコン5112の選択により、ユーザからの音声サンプルの取得を容易化するアプリケーション機能を含む音声アナライザ5120等の音声データ取得モードへとユーザをナビゲート可能である。音声アナライザ5120の実施形態は、図2に記載のように、ユーザ音声モニタ260(または、その副構成要素のうちの1つもしくは複数)を含むシステム200の1つまたは複数の構成要素および、場合によっては、同じく図2に記載のように、ユーザ相互作用管理器280(または、その副構成要素のうちの1つもしくは複数)により実行されるようになっていてもよい。たとえば、ユーザ音声サンプルデータを取得するための音声アナライザ5120の機能は、音声サンプル収集器2604に関連して記載の通りに実行されるようになっていてもよい。
いくつかの実施形態において、音声アナライザ5120は、図5AのGUI要素5105に示されるとともに図5Bに関連して別途記載のような音声データ収集プロセスにユーザをガイドする指示を与えるようにしてもよい。特に、GUI要素5105は、設定の継続時間にわたって音を繰り返すことをユーザに促す繰り返し音行使の態様を示す。ここで、たとえば、ユーザは、「ウーン」という音を5秒間発することを要求される。いくつかの実施形態においては、ユーザ相互作用管理器280またはユーザ指示生成器282等の副構成要素のうちの1つもしくは複数に従って、音声アナライザ5120により提供される指示が決定または生成されるようになっていてもよい。
ディスクリプタ5103は、現在の日付を示しており、これは、収集された音声サンプルと関連付けられることになる。音声サンプルの記録の開始または終了のタイミングのユーザへの指示を容易化するため、タイマー(GUI要素5122)が設けられていてもよい。また、音声サンプル記録に関するフィードバックをユーザに与えるため、視覚的な音声サンプル記録インジケータ(GUI要素5123)が表示されていてもよい。一実施形態において、GUI要素5122および5123の動作は、図2に関連して記載のユーザ入力応答生成器286により実行されるようになっていてもよい。他の視覚的なインジケータ(図示せず)としては、バックグラウンドノイズレベル、マイクレベル、音量、進展インジケータ、またはユーザ入力応答生成器286に関連して記載の他のインジケータが挙げられるが、これらに限定されない。
いくつかの実施形態において(図示せず)、音声アナライザ5120は、ある時間区分内(たとえば、一日または半日)の音声関連データの取得に関するユーザの進展を表示していてもよい。たとえば、日常的な相互作用または文章の音読によって音声関連データが取得された場合、音声アナライザ5120は、完了までの割合、ダイヤル、もしくは摺動式の進展バー等のユーザの進展の指標またはユーザの発話の取得に成功した音素もしくは未だ取得されていない音素の指標を示していてもよい。音声アナライザ5120により実行される例示的な音声データ収集プロセスの別のGUIおよび詳細については、図5Bに関連して記載される。
図5Aを再び参照するに、GUI5100およびアイコンメニュー5110に関して引き続き、見解アイコン5113の選択では、ユーザの呼吸器疾患に関するツールおよび情報をユーザに提供するGUIおよび機能へとユーザをナビゲート可能である。これには、たとえばユーザの現在の呼吸器疾患、トレンド、予想、または推奨に関する情報を含んでいてもよい。見解アイコン5113と関連付けられた機能の別途詳細については、図5Cに関連して記載される。また、ログアイコン5114(図5A)の選択により、図5Dおよび図5Eに関連して記載のような呼吸器疾患の追跡またはモニタリングを容易化する機能を含むログツールへとユーザをナビゲート可能である。一実施形態において、ログツールまたはログアイコン5114と関連付けられた機能には、ユーザの生理学的データ、症状データ、または他のコンテキスト情報を受信して表示するGUIおよびツールまたはサービスを含んでいてもよい。たとえば、ログツールの一実施形態には、図5Dおよび図5Eに関連して記載のようなユーザ症状を記録する自己報告ツールを含む。
いくつかの実施形態においては、設定アイコン5115の選択によって、さまざまなユーザ選好、設定、または呼吸器感染症モニタリングアプリ5101の設定、音声関連データの態様(たとえば、感度閾値、音素特性比較設定、音素特性に関する設定、または音声関連データの取得もしくは解析に関する他の設定)、ユーザアカウント、ユーザのケア提供者に関する情報、介護者、保険、診断または状態、ユーザケア/処置、あるいは他の設定の指定を可能にし得るユーザ設定モードへとユーザをナビゲート可能である。いくつかの実施形態においては、設定の少なくとも一部がユーザのヘルスケア提供者または臨床医により構成されるようになっていてもよい。設定アイコン5115を介してアクセス可能ないくつかの設定には、図2の設定249に関連して記載の設定を含んでいてもよい。
ここで図5Bを参照して、さまざまな発声の音声サンプルを提供するようにユーザがガイドされる音声関連データの取得のための例示的なプロセスの態様を示す例示的なGUI5210,5220,5230、および5240のシーケンス5200が提供される。シーケンス5200のGUIに示されるプロセスは、ユーザコンピュータ機器5102a上で動作し、GUI5210,5220,5230、および5240を表示可能な呼吸器感染症モニタリングアプリ5101により提供されるようになっていてもよい。一実施形態において、GUI5210,5220,5230、および5240に示される機能は、図5Aに記載の音声アナライザ5120等、呼吸器感染症モニタリングアプリ5101の音声データ取得モードにより提供され、GUI5100の音声記録アイコン5112の選択によりアクセスまたは開始され得る(図5A)。ユーザをガイドするためにGUI5210,5220,5230、および5240に示される指示(たとえば、指示5213)は、ユーザ相互作用管理器280またはユーザ指示生成器282等の副構成要素のうちの1つもしくは複数に従って決定または生成されるようになっていてもよい。
GUI5210に示されるように、繰り返し音行使の一部としての連続音の発声をユーザにガイドする指示5213が示される。繰り返し音行使には、ユーザにより実行される1つまたは複数の発声タスクを含んでいてもよい。本例において、ユーザは、開始ボタン5215を選択することにより行使(または、行使内のタスク)を開始するようにしてもよい。また、GUI5210は、進展インジケータ5214を示しており、これは、このセッションまたは時間区分に関する音声サンプルデータの提供までのユーザの進展(たとえば、60%完了)を示すスライドバーである。
GUI5220,5230、および5240は引き続き、繰り返し音行使の一部としての連続音の発声をユーザにガイドする態様を示している。シーケンス5200に示されるように、例示的なGUI5220,5230、および5240は、ユーザのガイドまたはユーザへのフィードバックの提供を容易化するさまざまな視覚的インジケータを含む。たとえば、GUI5220は、カウントダウンタイマーおよびバックグラウンドノイズ確認のインジケータを示すGUI要素5222を含む。GUI要素5222のカウントダウンタイマーは、ユーザが発声を開始するまでの時間を示す。GUI5230は、タイマーの別の例、この場合は、ユーザが「アー」音の発声を持続させた継続時間を示すGUI要素5232を含む。同様に、GUI5240は、タイマーの一例、この場合は、ユーザが「ウーン」音を5秒間発声したことを示すGUI要素5242を含む。また、GUI5240は、「ウーン」音の音声サンプル記録に関するフィードバックをユーザに与えるGUI要素5243を含む。上述の通り、進展インジケータ5214、GUI要素5222のカウントダウンタイマーおよびバックグラウンドインジケータ、GUI要素5232および5242のタイマー、またはGUI要素5243の音声サンプル記録インジケータ等の視覚的インジケータと関連付けられた機能は、ユーザ入力応答生成器286により提供されるようになっていてもよい。提供可能な視覚的インジケータおよびユーザフィードバック動作の別の例については、ユーザ入力応答生成器286に関連して記載される。
シーケンス5200に関して引き続き、GUI5240は、音声サンプルデータを取得する繰り返し音行使の最終段階または音声サンプルデータを取得するプロセスの複数段階のうちの1つの最後を表し得る。たとえば、後で実行される付加的な発声タスクまたは行使が存在していてもよい。音声サンプルを提供したユーザは、完了ボタン5245を選択することにより行使(または、行使内のタスク)を終了するようにしてもよい。あるいは、ユーザは、タスクをやり直して別の音声サンプルを提供したい場合、GUI要素5244を選択してタスクを再び開始するようにしてもよい。いくつかの実施形態においては、サンプル記録検査器2608およびユーザ入力応答生成器286に関連して記載の通り、音声サンプルに欠陥があるものと判定された場合等に、タスクをやり直す指標または指示がユーザに与えられる場合がある。
音声関連データを収集するシーケンス5200に示される例示的なプロセスには、繰り返し音行使の一部として、ユーザに指示を促すことを含む。ただし、呼吸器感染症モニタリングアプリ5101の他の実施形態では、本明細書に記載の通り、日常的な相互作用から音声関連データを取得するようにしてもよい。さらに、いくつかの実施形態においては、図5Bの例のように、日常的な相互作用および繰り返し音行使の組み合わせから音声関連データが収集されるようになっていてもよい。たとえば、日常的な相互作用によって、所与の時間区分(たとえば、一日または半日)にわたる十分な使用可能音声関連データまたは特定種類の使用可能音声関連データが得られていない場合は、繰り返し音行使または類似の相互作用によって付加的な音声関連データを提供する旨が(たとえば、呼吸器感染症モニタリングアプリ5101を介して)ユーザに通知されるようになっていてもよい。いくつかの実施形態において、ユーザは、設定アイコン5115を介して、または、図2の設定249に関連して記載の通り、音声関連データを取得可能な方法の選択肢を設定するようにしてもよい。
ここで図5Cを参照して、GUI5300を含む呼吸器感染症モニタリングアプリ5101の別の態様が示される。GUI5300は、ユーザの呼吸器疾患の見解(たとえば、見解5301)を表示するさまざまなユーザインターフェース(UI)要素を含み、GUI5300に示される機能は、GUI5100の見解アイコン5113を選択することによりアクセスまたは開始されるようになっていてもよい(図5A)。例示的なGUI5300には、呼吸器感染症モニタリングアプリ5101の見解機能にユーザがアクセスしている現在の日付を示すディスクリプタ5303(たとえば、今日は5月4日)と、ユーザが呼吸器感染症モニタリングアプリ5101の見解動作モードにいる(または、見解機能にアクセスしている)ことを示すユーザの見解5301と、をさらに含む。図5Cに示されるように、アイコンメニュー5110は、見解アイコン5113が選択されたことを示しており、これによって、ユーザの見解5301を示すGUI5300をユーザに提示可能である。見解5301には、ユーザの呼吸器疾患判定および/もしくは予想ならびに関連情報を含んでいてもよい。たとえば、見解5301には、呼吸器疾患スコア5312、関連する推奨5315を含み得る伝播リスク5314、ならびにトレンドディスクリプタ5316およびGUI要素5318等のトレンド情報を含んでいてもよい。
本明細書に記載の通り、呼吸器疾患スコア5312は、ユーザの呼吸器疾患を定量化または特徴付けるものであってもよく、ユーザの現在の呼吸器疾患、ユーザの呼吸器疾患の変化、またはユーザの将来の呼吸器疾患の可能性を表し得る。本明細書に別途記載の通り、呼吸器疾患スコア5312は、図5Bに示される例示的なプロセスまたは図2のユーザ音声モニタ260に関連して記載の例示的なプロセスを通じて取得された音声関連データ等のユーザの音声関連データに基づいていてもよい。場合により、呼吸器疾患スコア5312はさらに、ユーザ観察結果(たとえば、自己報告症状スコア)、健康もしくは生理学的データ(たとえば、ウェアラブルセンサもしくはユーザの健康レコードにより提供されるデータ)、天候、場所、地域感染情報(たとえば、ユーザの地理的場所における現在の感染率)、または他のコンテキスト等のコンテキスト情報に基づいていてもよい。呼吸器疾患スコア5321を決定する別途詳細については、図2の呼吸器疾患推論エンジン278および図6Bの方法6200に関連して提供される。
GUI5300の伝播リスク5314は、検出された呼吸器関連病原体をユーザが伝播するリスクを示し得る。伝播リスク5314は、図2の呼吸器疾患推論エンジン278およびユーザ疾患推論ロジック237に関して記載の通りに決定されるようになっていてもよい。伝播リスクは、例示的なGUI5300において中~高リスクを示す「中高」等の定量的またはカテゴリ的なインジケータであってもよい。伝播リスク5314と併せて、見解5301は、マスクの着用、ソーシャルディスタンスの確保、自己検疫(自宅待機)、またはヘルスケア提供者への相談等、伝播リスクを抑えるために推奨される実践事項を含み得る推奨5315を提供するようにしてもよい。
これらの推奨5315には、予め定められた推奨を含んでいてもよく、いくつかの実施形態においては、特定の検出呼吸器疾患および/または一組のルールに応じた伝播リスク5314に基づいて決定されるようになっていてもよい。いくつかの実施形態において、推奨5315は、履歴音声関連情報等のユーザの履歴情報および/または地理的場所等のコンテキスト情報に基づいて、ユーザに適合されていてもよい。推奨5315を決定する別途詳細については、図2の呼吸器疾患推論エンジン278およびユーザ疾患推論ロジック237に関して記載される。
見解5301は、トレンドディスクリプタ5316等のトレンド情報および、いくつかの実施形態においては、ユーザの呼吸器疾患の経時的なトレンドまたは変化を視覚化するGUI要素5318を提供するようにしてもよい。トレンドディスクリプタ5316は、ユーザの呼吸器疾患について過去に検出された変化または現在検出されている変化を示していてもよい。ここでは、ユーザの呼吸器疾患が悪化していることをトレンドディスクリプタ5316が示している。さらに、GUI要素5318は、ユーザのデータのグラフもしくはチャート、または過去14日間に音声サンプルから検出された音素特性の変化等、ユーザの呼吸器疾患の変化を示す他の視覚的指標を含んでいてもよい。他の実施形態において、見解5301は、この追加または代替として、ユーザの将来の呼吸器疾患の蓋然的なトレンドの予想を提供する。たとえば、いくつかの実施形態において、GUI要素5318は、将来の日付を示すとともに、呼吸器疾患推論エンジン278に関して記載の通り、ユーザの呼吸器疾患の将来的な変化を予測するようにしてもよい。一実施形態において、見解5301は、ユーザが呼吸器感染症から回復する可能性が高いタイミングを示す予想を提供する(たとえば、「3日以内に正常な状態になります」)。見解5301により提供され得る別の例示的な予想には、呼吸器感染症の可能性の最初の検出に際して、将来のある時間区分にユーザが発病すると予想され得る旨を示す予想等の早期警告予想を含む(たとえば、「呼吸器感染症を発症しているように見えるため、週明けには体調を崩しているかもしれません」)。
場合により、呼吸器感染症モニタリングアプリ5101は、予想または見解5301により提供される他の情報に関する電子通知をユーザ(または、介護者もしくは臨床医)に対して生成または提供するようにしてもよい。見解5301により提供される情報(トレンドディスクリプタ5316および/またはGUI要素5318の生成に利用されるトレンドまたは予想情報を含み得る)は、図2の呼吸器疾患追跡器270またはその副構成要素のうちの1つもしくは複数(呼吸器疾患推論エンジン278等)の一実施形態により決定されるようになっていてもよい。呼吸器疾患情報、伝播リスク5314、推奨5315、予想、またはトレンド情報5316を決定する別途詳細については、図2の呼吸器疾患追跡器270に関連して記載される。
ここで図5Dを参照して、GUI5400を含む呼吸器感染症モニタリングアプリ5101の別の態様が示される。GUI5400は、呼吸器疾患関連情報(呼吸器症状等)の表示または受け付けを行うUI要素を含み、ログアイコン5114により示されるログ機能に対応する。特に、GUI5400は、現在のユーザデータまたは履歴ユーザデータの記録、表示および、いくつかの態様においては、アノテーションのためのログツール5401の一例を示している。ログツール5401は、アイコンメニュー5110のログアイコン5114を選択することによりアクセスされ得る。いくつかの実施形態において、ログツール5401(または、後述の自己報告ツール5415)は、ユーザが呼吸器感染症またはその可能性がある旨の判定により、ユーザに提示されるようになっていてもよい(または、ユーザがログツール5401にアクセスする旨の通知を受け取るようにしてもよい)。例示的なGUI5400は、ログツール5401により表示された情報が5月4日(月)の日付のものであることを示すディスクリプタ5403をさらに含む。ログツール5401のいくつかの実施形態においては、たとえば日付矢印5403aを選択することにより、または、履歴タブ5440を選択した後、カレンダービュー(図示せず)から特定のカレンダー日付を選択することにより、ユーザが過去の日付にナビゲートされて履歴データにアクセス可能となる。
この呼吸器感染症モニタリングアプリ5101の例示的なGUI5400に示されるように、ログツール5401は、5つの選択可能なタブ(症状の追加5410、メモ5420、レポート5430、履歴5440、および処置5450)を含む。これらのタブは、ログツール5401により提供される付加的な機能に対応していてもよい。たとえば、GUI5400に示されるように、症状の追加5410のタブが選択されると、さまざまなUIコンポーネントがユーザに提示されて、それぞれの呼吸器疾患と関連し得る症状を自己報告可能となる。特に、症状の追加5410に対応する機能は、ユーザが各症状について感じている重症度に関するユーザ入力を受け付けるための症状リストおよびユーザ選択可能なスライダを含む自己報告ツール5415を含む。たとえば、GUI5400に示される自己報告ツール5415は、中度の息切れおよび鼻づまりならびに重度の咳をユーザが感じていることを示す。いくつかの実施形態において、ユーザは、自己報告ツール5415を利用して、この症状データを毎日または一日に複数回(たとえば、毎朝および毎晩等)入力するようにしてもよい。場合によっては、ユーザから音声関連データを収集する時間区分またはその近傍で症状データが入力されるようになっていてもよい。
また、いくつかの実施形態において、症状の追加5410(または、ログツール5401)は、ウェアラブルスマートデバイスまたは類似のセンサ等の別のコンピュータ機器からユーザがデータを入力するための選択可能な選択肢5412を含んでいてもよい。たとえば、ユーザは、ログツール5401により受信され得るように、フィットネストラッカーからのデータの入力を選択するようにしてもよい。いくつかの実施形態においては、スマートデバイスまたはデバイスと関連付けられたデータベース(たとえば、オンラインアカウント)から、データが直接および/または自動的に受信されるようになっていてもよい。場合によっては、データを入力するため、機器をそれぞれの呼吸器感染症モニタリングアプリ5101(または、呼吸器感染症モニタリングアプリ5101と関連付けられたユーザアカウント)とリンクまたは関連付けることをユーザが求められる場合がある。いくつかの実施形態において、ユーザは、アプリケーション設定において(たとえば、図5Aに記載のような設定アイコン5115の選択により)、別の機器からデータを入力するためのさまざまなパラメータを設定するようにしてもよい。たとえば、ユーザは、データが入力される場合に、入力されるデータ(たとえば、スマートウォッチにより取得されたユーザの睡眠データ)を指定するようにしてもよいし、許可設定、アカウントリンク、または他の設定を行うようにしてもよい。
非限定的な一例として、このようなデータを入力して選択可能な選択肢5412を利用することは、自己報告ツール5415と併せて利用されるようになっていてもよいし、自己報告ツール5415と併せずに利用されるようになっていてもよい。たとえば、リンク済みスマートデバイスからインポートされたデータは、ユーザがリンク済みスマートデバイスに入力した情報に基づいて、症状の初期重症度評価を提供し得るが、ユーザは、自己報告ツール5415を利用して、これらの初期評価を調整するようにしてもよい。また、症状の追加5410には、ユーザが最後に症状を記録したタイミング(前日等)から症状が変化していないことを示す別の選択可能な選択肢5418を含んでいてもよい。GUI5400の症状の追加5410と関連付けられた機能およびUI要素は、図2と併せて記載のユーザ相互作用管理器280またはその1つもしくは複数の副構成要素(自己報告ツール284等)の一実施形態を利用することにより生成されるようになっていてもよい。
図5Dに示されるGUI5400と併せて、メモ5420のタブは、当該特定日(ここでは、5月4日)のユーザまたは介護者からの観察データを受け付けまたは表示する呼吸器感染症モニタリングアプリ5101の機能(または、より具体的に、ログツール5401と関連付けられたログ機能)をユーザにナビゲート可能である。観察データの例としては、ユーザの呼吸器疾患(症状等)を文書化したメモ5420またはユーザの呼吸器疾患に関連するメモ5420が挙げられる。いくつかの実施形態において、メモ5420には、ユーザからテキスト(または、オーディオもしくはビデオ記録)を受け付けるUIを含む。いくつかの態様において、メモ5420のUI機能には、潜在的または既知の呼吸器疾患、症状、または副作用の影響を受けるユーザの身体のエリアを示す入力をユーザから受け付けるように構成された人体を示すGUI要素を含んでいてもよい。いくつかの実施形態において、ユーザは、たとえば当該ユーザの地理的場所、天候、および当該日に行った任意の身体的活動等のコンテキスト情報を入力するようにしてもよい。
レポート5430のタブは、本明細書に記載の実施形態により検出された呼吸器疾患関連データのさまざまなレポートを表示および生成するためのGUIにユーザをナビゲート可能である。たとえば、レポート5430は、ユーザの呼吸器疾患またはユーザの呼吸器疾患の予測に関する履歴またはトレンド情報を含んでいてもよい。別の例において、レポート5430には、より大きな母集団の呼吸器関連情報のレポートを含んでいてもよい。たとえば、レポート5430は、同一または同様の呼吸器疾患が検出された呼吸器感染症モニタリングアプリ5101の多くの他ユーザを示していてもよい。いくつかの実施形態において、レポート5430により提供される機能には、(たとえば、図5Aの共有アイコン5104または聴診器アイコン5106を介して)介護者もしくは臨床医に伝達される呼吸器疾患関連データまたは介護者もしくは臨床医と共有される呼吸器疾患関連データのフォーマット化または作成のための動作を含んでいてもよい。
履歴5440のタブは、呼吸器疾患モニタリングに関連するユーザの履歴データを表示するGUIにユーザをナビゲート可能である。たとえば、履歴5440の選択によって、カレンダービューを伴うGUIを表示可能である。カレンダービューは、異なる日付に検出および解釈されたユーザの呼吸器疾患関連のデータのアクセスまたは表示を容易化し得る。たとえば、表示されたカレンダー内の特定の過去の日付を選択することにより、ユーザには、当該日付のデータのサマリーが提示され得る。履歴5440のタブを選択した際に表示されるカレンダービューGUIのいくつかの実施形態において、カレンダーの各日付には、当該日付と関連付けられた検出または予想呼吸器疾患情報を示すインジケータまたは情報が表示されるようになっていてもよい。
GUI5400上の処置5450を示すタブの選択により、ユーザが当該日付に処置を受けたかおよび/または副作用があったか等の詳細をユーザが指定する機能を含む呼吸器感染症モニタリングアプリ5101内のGUIにユーザをナビゲート可能である。たとえば、ユーザは、特定の日付に処方された抗生物質を服用したか、または、呼吸器系の処置を受けたかを指定するようにしてもよい。また、いくつかの実施形態において、いわゆるモノのインターネット(IoT)機能を含み得るスマートピルボックスまたはスマートコンテナは、ユーザがコンテナ内に格納された薬にアクセスしたことを自動的に検出し、ユーザが当該日付に処置を受けたことを示す指標を呼吸器感染症モニタリングアプリ5101に伝達し得るとも考えられる。いくつかの実施形態において、処置5450のタブには、たとえばユーザ(または、ユーザの介護者もしくは臨床医)が当該日付に受けた処置(たとえば、処方薬剤の服用、市販薬剤の服用、大量の清澄液の摂取、静養等)の種類を示すチェックボックスで選択することによって、ユーザがそれぞれの処置を指定できるUIを含んでいてもよい。
図5Eを参照して、ユーザが開始する症状レポートの例示的なプロセスの態様を示す例示的なGUI5510,5520、および5530から成るシーケンス5500が提供される。GUI5510,5520、および5530は、図2に関連して記載の自己報告ツール284の一実施形態に従って生成されるようになっていてもよい。場合により、ユーザがユーザコンピュータ機器5102a上で呼吸器感染症モニタリングアプリ5101を立ち上げた場合は、ウェルカム/ログイン画面としてGUI5510が提供されるようになっていてもよい。本明細書に記載の通り、呼吸器感染症モニタリングアプリ5101は、特定のユーザと関連付けられる一方、ユーザアカウントにより指定されるようになっていてもよい。図示のように、GUI5510は、ユーザ固有の情報にアクセスし得るとともに、ユーザ入力がユーザとの関連で適正に格納され得るように、ユーザを識別するユーザ認証情報(すなわち、電子メールアドレスおよびパスワード等のユーザ識別子)をユーザが入力するためのUI要素を含む。GUI5510を介してユーザがログインすると、症状の報告をユーザに促す最初の指示を含むGUI5520が提供されるようになっていてもよい。GUI5520は、ユーザ症状情報の入力を容易化するUI要素を含むGUI5530を提示させ得る選択可能な「症状レポート」ボタンを含んでいてもよい。GUI5530の例示的な実施形態において、ユーザは、GUI5530内に表示された各症状について、スライダを適当な重症度レベルまで移動させることにより、症状の重症度を評価するようにしてもよい。症状情報のユーザ入力の別途詳細については、図5DのGUI5400に関して記載される。
図6Aおよび図6Bは、ユーザの呼吸器疾患のモニタリングに利用される例示的な方法のフロー図である。たとえば、図6Aは、本開示の一実施形態に係る、音素特性を取得する例示的な方法6100を示したフロー図である。図6Bは、本開示の一実施形態に係る、音素特性に基づいてユーザの呼吸器疾患をモニタリングする例示的な方法6200を示したフロー図である。方法6100および6200の各ブロックまたはステップは、ハードウェア、ファームウェア、および/またはソフトウェアの任意の組み合わせを用いて実行され得るコンピュータプロセスを含む。たとえば、メモリに格納された命令を実行するプロセッサにより、さまざまな機能が実行されるようになっていてもよい。また、これらの方法は、コンピュータ記憶媒体に格納されたコンピュータ使用可能命令として具現化されていてもよい。これらの方法は、数例を挙げるなら、スタンドアロンのアプリケーション、サービスもしくはホスティングサービス(スタンドアロンもしくは別のホスティングサービスとの組み合わせ)、または別の製品へのプラグインによって提供され得る。したがって、方法6100および6200は、クラウド環境等にけるスマートフォン等のユーザ機器、サーバ、または分散コンピュータプラットフォーム等、1つまたは複数のコンピュータ機器により実行されるようになっていてもよい。音素特性抽出の実施態様を網羅するコンピュータプログラムルーチンの例示的な態様については、図15A~図15Mにおいて例示的に示される。
図6Aの方法6100を参照して、この方法6100は、本開示の一実施形態に従って音素特性を検出するステップを含み、方法6100の実施形態は、図2に関連して記載のユーザ音声モニタ260等、システム200の1つまたは複数の構成要素の実施形態により実行されるようになっていてもよい。ステップ6110においては、オーディオデータが受信される。いくつかの実施形態において、ステップ6110は、図2に関連して記載の音声サンプル収集器2604の一実施形態により実行される。ステップ6110の別の実施形態については、音声サンプル収集器2604およびユーザ音声モニタ260に関連して記載される。
ステップ6110において受信されるオーディオデータは、ユーザが発した個々の音素または計画された発話もしくは無計画の発話等の音素の組み合わせの記録(たとえば、オーディオサンプル、音声サンプル)を含み得る。このように、オーディオデータは、ユーザに関する音声情報を含む。オーディオデータは、マイク等のセンサ(図1のセンサ103の一実施形態等)を有する図1のユーザ機器102a~102n等のユーザ機器とのユーザの日常的な相互作用または日々の相互作用において収集されるようになっていてもよい。
方法6100のいくつかの実施形態には、ステップ6110におけるオーディオデータの受信前に実行される動作を含む。たとえば、センサ(たとえば、マイク)の音響パラメータ(信号強度、指向性、感度、周波数、および信号対雑音比(SNR)等)の決定および/または修正等、使用可能なオーディオデータを取得するための適正な設定または最適化された設定を決定する動作が実行されるようになっていてもよい。これらの動作は、図2の録音最適化器2602と関連していてもよい。同様に、これらの動作には、図2のバックグラウンドノイズ解析器2603に関連して記載のようなバックグラウンドノイズの識別および、いくつかの態様においては、除去または低減を含んでいてもよい。これらのステップは、ノイズ強度レベルを最大閾値と比較することと、予め定められた周波数内の発話を確認することと、断続的なスパイクまたは類似の音響アーチファクトを確認することと、を含んでいてもよい。
いくつかの実施形態においては、オーディオデータの受信を容易化するユーザ指示が提供されるようになっていてもよい。たとえば、ユーザは、発話関連タスクに従うことでオーディオデータの提供へとガイドされるようになっていてもよい。また、ユーザ指示には、より大きな声での発話またはより長い継続時間にわたる発声音素の維持のユーザへの指示等、最も新しく提供されたサンプルに基づくフィードバックを含んでいてもよい。オーディオデータの受信を容易化するユーザとの相互作用は概して、図2に関連して記載のユーザ相互作用管理器280またはその副構成要素であるユーザ指示生成器282の実施形態により実行されるようになっていてもよい。
ステップ6120においては、時間区分に対応する日時値が決定される。日時値は、ユーザの発声からオーディオデータが受信または記録された時間であってもよい。いくつかの実施形態において、ステップ6120は、図2に関連して記載の音声サンプル収集器2604の一実施形態により実行される。
ステップ6130においては、オーディオデータの少なくとも一部の処理によって、音素を決定する。ステップ6130のいくつかの実施形態は、図2に関連して記載の音素分割器2610の一実施形態により実行されるようになっていてもよい。オーディオデータの一部から音素を決定することは、オーディオデータの当該部分に対する自動発話認識(ASR)の実行によって音素を検出することと、検出された音素をオーディオデータの当該部分と関連付けることと、を含んでいてもよい。ASRは、オーディオデータの一部からテキスト(たとえば、単語)を決定するようにしてもよく、音素は、認識されたテキストに基づいて決定されるようになっていてもよい。あるいは、音素を決定することは、オーディオデータの一部に対応する音素の指標を受信することと、音素をオーディオデータの当該部分と関連付けることと、を含んでいてもよい。このプロセスは、オーディオデータがユーザに与えられた発話関連タスクに基づく持続的な音素の発声のものである場合に特に有用と考えられる。たとえば、ユーザは、「アーア」と5秒間発話し、「イーイ」と5秒間発話し、「ンーン」と5秒間発話し、最後に「ウーン」と5秒間発話する旨を指示されるようになっていてもよく、これらの指示は、オーディオデータについて予想される音素の順序(すなわち、
)を示し得る。
オーディオデータを処理して音素を決定することは、特定の音素を検出して分離することを含んでいてもよい。一実施形態においては、
に対応する音素が検出される。別の実施形態においては、
のみが検出される。あるいは、オーディオデータを処理することは、提示される音素を検出することと、検出されたすべての音素を分離することと、を含んでいてもよい。音素は、図2の音素分割器2610と併せて別途記載の通り、強度閾値を適用してユーザの音声からバックグラウンドノイズを分離することにより検出されるようになっていてもよい。
ステップ6130においてオーディオデータを処理するいくつかの態様には、図2の信号作成プロセッサ2606の一実施形態により実行され得る付加的な処理ステップを含んでいてもよい。たとえば、バックグラウンドノイズを表すオーディオデータの周波数の除去または減衰のため、高域通過または帯域通過フィルタリング等の周波数フィルタリングが適用されるようになっていてもよい。一実施形態においては、たとえば1.5~6.4キロヘルツ(kHz)の帯域通過フィルタが適用される。また、ステップ6130は、オーディオ正規化の実行によって、目標とする信号振幅レベル、帯域フィルタおよび/もしくは増幅器の適用によるSNRの改善、または他の信号調節もしくは前処理を実現することを含んでいてもよい。
ステップ6140においては、決定された音素に基づいて、音素特性集合が決定される。ステップ6140のいくつかの実施形態は、図2と併せて記載の音響特性抽出器2614の実施形態により実行される。音素特性集合は、オーディオデータの処理された部分を特徴付ける少なくとも1つの音響特性を含む。特性集合は、パワーおよびパワー変動性、ピッチおよびピッチ変動性、スペクトル構造、ならびに/またはフォルマントの尺度を含んでいてもよく、これらについては、音響特性抽出器2614に関連して別途記載される。いくつかの実施形態においては、オーディオデータにおいて検出された異なる音素に対して、異なる特性集合(すなわち、音響特性の異なる組み合わせ)が決定される。たとえば、例示的な一実施形態においては、音素
に対して12個の特性が決定され、音素
に対して12個の特性が決定され、音素
に対して8つの特性が決定される。検出された
音素の特性集合は、フォルマント1(Fl)の帯域幅の標準偏差、ピッチの四分位範囲、1.6~3.2キロヘルツ(kHz)の周波数に対して決定されたスペクトルエントロピー、ジッター、メル周波数ケプストラム係数MFCC9およびMFCC12の標準偏差、メル周波数ケプストラム係数MFCC6の平均、ならびに3.2~6.4kHzの周波数に対して決定されたスペクトルコントラストを含んでいてもよい。検出された
音素の特性集合は、調和性、F1帯域幅の標準偏差、ピッチの四分位範囲、1.5~2.5kHzおよび1.6~3.2kHzの周波数に対して決定されたスペクトルエントロピー、1.5~2.5kHzの周波数に対して決定されたスペクトル平坦性、メル周波数ケプストラム係数MFCC1、MFCC2、MFCC3、およびMFCC11の標準偏差、メル周波数ケプストラム係数MFCC8の平均、ならびに1.6~3.2kHzの周波数に対して決定されたスペクトルコントラストを含んでいてもよい。検出された
Hzおよび1.6~3.2kHzの周波数に対して決定されたスペクトルエントロピー、1.5~2.5kHzの周波数に対して決定されたスペクトル平坦性、メル周波数ケプストラム係数MFCC2およびMFCC10の標準偏差、メル周波数ケプストラム係数MFCC8の平均、シマー、3.2~6.4kHzの周波数に対して決定されたスペクトルコントラスト、ならびに200ヘルツ(Hz)1/3オクターブバンドの標準偏差を含んでいてもよい。また、いくつかの実施形態においては、特性集合における1つまたは複数の特性の値が変換されるようになっていてもよい。例示的な一実施形態においては、ピッチの四分位範囲、MFCCの標準偏差、スペクトルコントラスト、ジッター、および200Hz1/3オクターブバンド内の標準偏差にログ変換が適用される。
ステップ6155においては、オーディオデータを追加処理するか否かが判定される。いくつかの実施形態において、ステップ6155は、ユーザ音声モニタ260の一実施形態により実行される。上述の通り、受信オーディオデータは、複数の持続的な音素または発話(計画または無計画)の記録であってもよいため、複数の音素を有し得る。このように、異なる音素の検出のため、オーディオデータの異なる部分が処理されるようになっていてもよい。たとえば、第1の音素を決定するために第1の部分が処理され、第2の音素を決定するために第2の部分が処理され、第3の音素を検出するために第3の部分が処理されるようになっていてもよく、第1、第2、および第3の音素はそれぞれ、
に対応していてもよい。いくつかの態様においては、第4の音素を検出するために第4の部分が処理され、第4の音素は
であってもよい。これらの音素は、これら3つの音素を発声するユーザによって、1回の録音で記録されるようになっていてもよい。このため、ステップ6155の追加オーディオデータには、一部が処理済みの同じ音声サンプルの追加部分を含んでいてもよい。この追加または代替として、ステップ6155は、同じセッションにおいて記録された(すなわち、同じタイムフレームにおいて取得された)付加的な音声サンプルから、オーディオデータを追加処理するか否かを判定することを含んでいてもよい。たとえば、3つの音素は、同じセッションから別々に記録されるようになっていてもよい。
ステップ6155において、オーディオデータを追加処理する場合は、このオーディオデータの追加部分に対してステップ6130および6140が実行されるようになっていてもよい。図6Aは、オーディオデータの最初の部分が処理され、検出音素に対して特性集合が決定された後にステップ6155が生じることを示している。ただし、方法6100の実施形態には、任意の特性集合が抽出される前に、ステップ6155における追加音素の検出のため、オーディオデータを追加処理するか否かを判定することを含んでいてもよい。
オーディオデータを追加で処理することも特性集合を決定することもなければ、方法6100は、ステップ6160に進んで、ユーザと関連付けられたレコードに、オーディオデータから抽出された音素特性集合が格納される。格納される音素特性集合には、日時値の指標を含む。いくつかの実施形態において、ステップ6160は、ユーザ音声モニタ260、より詳細には、音響特性抽出器2614の一実施形態により実行される。音素特性集合は、患者レコード240等、ユーザの患者レコードに格納されるようになっていてもよい。より詳細に、音素特性集合は、ベクトルとして格納されるようになっていてもよく、また、図2の音素特性ベクトル244として格納されるようになっていてもよい。
方法6100のいくつかの実施形態には、ユーザの経時的な呼吸器疾患をモニタリングするとともに、いくつかの態様においては、ユーザの呼吸器疾患の変化を検出する付加的な動作を含む。たとえば、ステップ6110~6160は、第1の時間区分の第1のオーディオデータサンプル記録に対して実行され、第2の後続時間区分の第2のオーディオデータサンプル記録に対して繰り返されるようになっていてもよい。このため、第1の時間区分に対して第1の音素特性集合が決定および格納され、第2の時間区分に対して第2の音素特性集合が決定および格納されるようになっていてもよい。そして、方法6100は、第1および第2の音素特性集合を利用して、ユーザの経時的な呼吸器疾患をモニタリングする動作を含んでいてもよい。たとえば、変化を検出するため、第1および第2の音素特性集合が比較されるようになっていてもよい。この比較動作は、音素特性比較器274の一実施形態により実行されるようになっていてもよく、第1および第2の時間区分の特性集合ベクトル間の特性距離測定結果(たとえば、ユークリッド距離)を決定することを含んでいてもよい。特性距離測定結果(たとえば、測定結果の大きさおよび/または正負のいずれか)に基づいて、第2および第1の時間区分間でユーザの呼吸器疾患が変化したか否かが判定されるようになっていてもよい。
いくつかの実施形態において、方法6100は、時間区分(たとえば、第1の時間区分および/または第2の時間区分)と関連付けられたコンテキスト情報を受信することと、関連する時間区分に対して決定された特性集合と関連したレコードにコンテキスト情報を格納することと、をさらに含む。これらの動作は、図2のコンテキスト情報決定器2616の一実施形態により実行されるようになっていてもよい。コンテキスト情報は、ユーザの生理学的データを含んでいてもよく、これは、自己報告、1つもしくは複数の生理学的センサからの受信、および/またはユーザの電子健康レコード(たとえば、図2のプロファイル/健康データ(EHR)241)からの決定がなされたものであってもよい。この追加または代替として、コンテキスト情報には、関連する時間区分におけるユーザの場所情報または第1の時間区分と関連付けられた他のコンテキスト情報を含んでいてもよい。ステップ6140の実施形態には、関連する時間区分のコンテキストデータに基づいてさらに決定された音素特性集合を決定することを含んでいてもよい。
図6Bを参照して、方法6200は、本開示の一実施形態に係る、音素特性に基づいてユーザの呼吸器疾患をモニタリングするステップを含む。方法6200は、図2に関連して記載の呼吸器疾患追跡器270等、システム200の1つまたは複数の構成要素の実施形態により実行されるようになっていてもよい。ステップ6210は、異なる時間のユーザの音声情報を表す音素特性ベクトル(音素特性集合と称される場合もある)を受信することを含む。このため、第1の音素特性ベクトル(すなわち、第1の音素特性集合)が第1の日時値と関連付けられ、第2の音素特性ベクトル(すなわち、第2の音素特性集合)が第1の日時値の後に発生する第2の日時値と関連付けられる。たとえば、第1の音素特性ベクトルは、オーディオデータの取り込みの約24時間以内(たとえば、18~36時間)である第1の区分(第1の日時値に対応する)において取り込まれたオーディオデータに基づいていてもよく、第2の区分(第2の日時値に対応する)における第2の音素特性ベクトルの決定に利用される。第1および第2の日時値間の時間は、これより短くてもよいし(たとえば、8~12時間)、これより長くてもよい(たとえば、3日、5日、1週間、2週間)と考えられる。ステップ6210は概して、呼吸器疾患追跡器270、より具体的には、特性ベクトル時系列組立器272または音素特性比較器274により実行されるようになっていてもよい。
第1および第2の音素特性ベクトルの決定は、図6Aの方法6100の一実施形態に従って実行されるようになっていてもよい。いくつかの実施形態において、第1および/または第2の音素特性集合の決定は、音声情報を含むオーディオ情報を処理して第1および/または第2の音素集合を決定し、集合内の各音素について、音素を特徴付ける一組の特性を抽出することによりなされるようになっていてもよい。いくつかの実施形態において、第1および第2の特性集合は、音素
を特徴付ける音響特性値を含む。例示的な一実施形態において、第1および第2の特性ベクトルはそれぞれ、音素
に対して8つ、音素
に対して12個、音素
に対して12個の特性を含む。音素
の特性は、フォルマント1(Fl)の帯域幅の標準偏差、ピッチの四分位範囲、1.6~3.2キロヘルツ(kHz)の周波数に対して決定されたスペクトルエントロピー、ジッター、メル周波数ケプストラム係数MFCC9およびMFCC12の標準偏差、メル周波数ケプストラム係数MFCC6の平均、ならびに3.2~6.4kHzの周波数に対して決定されたスペクトルコントラストを含んでいてもよい。音素
の特性は、調和性、F1帯域幅の標準偏差、ピッチの四分位範囲、1.5~2.5kHzおよび1.6~3.2kHzの周波数に対して決定されたスペクトルエントロピー、1.5~2.5kHzの周波数に対して決定されたスペクトル平坦性、メル周波数ケプストラム係数MFCC1、MFCC2、MFCC3、およびMFCC11の標準偏差、メル周波数ケプストラム係数MFCC8の平均、ならびに1.6~3.2kHzの周波数に対して決定されたスペクトルコントラストを含んでいてもよい。音素
の特性は、調和性、F1帯域幅の標準偏差、ピッチの四分位範囲、1.5~2.5kHzおよび1.6~3.2kHzの周波数に対して決定されたスペクトルエントロピー、1.5~2.5kHzの周波数に対して決定されたスペクトル平坦性、メル周波数ケプストラム係数MFCC2およびMFCC10の標準偏差、メル周波数ケプストラム係数MFCC8の平均、シマー、3.2~6.4kHzの周波数に対して決定されたスペクトルコントラスト、ならびに200ヘルツ(Hz)1/3オクターブバンドの標準偏差を含んでいてもよい。いくつかの実施形態においては、
音素を特徴付けるため、これらの特性のうちの1つまたは複数が抽出される。
いくつかの実施形態において、第1の時間区分に対して決定された第1の音素特性ベクトルは、第2の日時値の前に取り込まれた複数のオーディオサンプルからの複数の音素特性集合に基づく。第1の特性ベクトルは、複数の音素特性ベクトルの組み合わせ(平均等)を表し得る。これら複数のオーディオサンプルは、第1の特性ベクトルが健康基準を表し得るように、患者が健康であること(すなわち、呼吸器感染症ではないこと)が把握されている場合または推定される場合に取得されたものであってもよい。あるいは、第1の音素特性ベクトルの決定に利用されるオーディオサンプルは、患者が病中であること(すなわち、呼吸器感染症であること)が把握されている場合または推定される場合に取得されたものであってもよく、第1の音素特性ベクトルが疾病基準を表し得る。
ステップ6220は、第1および第2の音素特性ベクトルの比較を実行して音素特性集合距離を決定することを含む。いくつかの実施形態において、ステップ6220は、図2の音素特性比較器274の一実施形態により実行されるようになっていてもよい。いくつかの実施形態において、この比較には、第1および第2の音素特性集合間のユークリッド距離を決定することを含む。特性ベクトルにより表される各特性が他方の特性ベクトル内の対応する特性と比較されるようになっていてもよい。たとえば、第1の音素特性ベクトルの第1の特性(たとえば、音素
のジッター)が第2の音素特性ベクトルの対応する特性(たとえば、音素
のジッター)と比較されるようになっていてもよい。
ステップ6230においては、第1および第2の音素特性ベクトル間の音素特性集合距離に基づいて、ユーザの呼吸器疾患が変化したものと判定される。いくつかの実施形態において、ステップ6230は、図2に関連して記載の呼吸器疾患推論エンジン278の一実施形態により実行される。ユーザの呼吸器疾患が変化したものと判定することは、介護者もしくは臨床医による事前の決定またはユーザの生理学的データ(たとえば、自己報告)、ユーザ設定、もしくはユーザの呼吸器疾患履歴情報に基づく決定が可能な閾値距離(たとえば、疾患変化閾値)を音素特性集合距離が満たす旨の判定であってもよい。あるいは、疾患変化閾値は、モニタリング患者の基準母集団に基づいて予め設定されていてもよい。
いくつかの実施形態において、ユーザの呼吸器疾患が変化したものと判定することは、ユーザの呼吸器疾患が改善しているか、悪化しているか、または変化していないか(たとえば、改善も悪化もしていないか)の判定を含んでいてもよい。これには、決定された音素特性集合距離の疾患変化基準(基準母集団に関する情報から決定された一般基準であってもよいし、過去のユーザデータに基づいてユーザごとに決定されたものであってもよい)との比較を含んでいてもよい。たとえば、ユーザが呼吸器感染症ではないと判定された時間に取り込まれたオーディオデータから、健康基準を表す第3の音素特性ベクトルが決定されるようになっていてもよく、第2(すなわち、最新)および第3(すなわち、基準)音素特性ベクトル間の第2の比較を実行することにより、第2の音素特性集合距離が決定される。また、第1(すなわち、早期)および第3(すなわち、基準)音素特性ベクトル間の第3の比較を実行することにより、第3の音素特性集合距離が決定されるようになっていてもよい。(健康基準と第1の音素特性ベクトルとの間の変化を表す)第3の音素特性集合距離は、(第1の音素特性ベクトルの後に取り込まれたデータによる健康基準と第2の音素特性ベクトルとの間の変化を表す)第2の音素特性集合距離と比較される。第2の音素特性集合距離が第3の特性集合距離よりも短い場合(最も新しく取得されたデータからのベクトルが健康基準に近い場合)は、ユーザの呼吸器疾患が改善しているものと判定され得る。第2の音素特性集合距離が第3の特性集合距離よりも長い場合(最も新しく取得されたデータからのベクトルが健康基準から遠い場合)は、ユーザの呼吸器疾患が悪化しているものと判定され得る。第2の音素特性集合距離が第3の特性集合距離に等しい場合は、ユーザの呼吸器疾患が変化していない(すなわち、少なくとも全般的には改善も悪化もしていない)ものと判定され得る。
ステップ6240においては、決定されたユーザの呼吸器疾患の変化に基づいて動作が開始される。例示的な行動としては、呼吸器疾患および/または疾患の症状を処置する行動および推奨が挙げられる。ステップ6240は、図2の意思決定支援ツール290(疾病モニタ292、処方モニタ294、および/もしくは薬剤効能追跡器296を含む)ならびに/または提示コンポーネント220の実施形態により実行されるようになっていてもよい。
上記動作には、図1のユーザ機器102a~102n等のユーザ機器を介してユーザに、または、図1の臨床医ユーザ機器108等の臨床医ユーザ機器を介して臨床医に、アラートまたは通知を送ることあるいは電子的に伝達することを含んでいてもよい。通知では、ユーザの呼吸器疾患の変化の有無および、いくつかの実施形態においては、変化が改善であるか否かを示すようにしてもよい。通知またはアラートには、ユーザの呼吸器疾患の変化および/または呼吸器疾患の現在の状態を定量化もしくは特徴付ける呼吸器疾患スコアを含んでいてもよい。
いくつかの実施形態において、動作には、呼吸器疾患情報を処理してさらに意思決定することを含んでいてもよく、これは、ユーザの呼吸器疾患に基づく処置および支援の推奨を含んでいてもよい。このような推奨としては、ヘルスケア提供者への相談、既存の処方もしくは市販薬剤の継続(処方の補充等)の継続、現在の処置の投薬量もしくは薬剤の修正、および/または呼吸器疾患のモニタリングの継続の推奨が挙げられる。呼吸器疾患の検出変化(または、無変化)に応答して、推奨されるこれら行動のうちの1つまたは複数が実行されるようになっていてもよい。たとえば、決定された変化(または、無変化)に基づいて、本開示の実施形態により、ユーザのヘルスケア提供者の予約および/または処方の補充がなされるようになっていてもよい。
図7~図14は、実際に実行された本開示の例示的な実施形態の種々態様を示している。たとえば、図7~図14は、音響特性の解析、音響特性とユーザの呼吸器疾患(症状を含む)との相関、および自己報告情報の態様を示している。これらの図面に反映された情報は、複数のユーザの(たとえば、診療所/研究所および/または自宅における)多くの収集チェックポイントに対して収集されたものと考えられる。情報を収集する例示的なプロセスについては、図3Bと併せて記載される。
一実施形態において、図7は、例示的な音響特性の経時的な代表的変化を示している。本実施形態においては、2つの収集チェックポイント(訪問1および訪問2)において取得された音声サンプルから、音響特性が抽出されている。訪問1は、ユーザが病中時の収集チェックポイントを表し、訪問2は、ユーザが健康時(すなわち、病気から回復した後)の収集チェックポイントを表し得る。図7に示されるように、7つの音素に関して特性が測定されており、グラフ710,720、および730は、2つの訪問間の各音素の音響特性の変化を示している。グラフ710は、ジッターの変化(ピッチ変動性の尺度)を示し、グラフ720は、シマーの変化(振幅の尺度)を示し、グラフ730は、スペクトルコントラストの変化を示している。グラフ710および720は、すべての音素について、回復中(すなわち、訪問1および訪問2間)にジッターおよびシマーが低下するため、呼吸器疾患からの回復後は、患者の音声がより安定し得ることを示している。グラフ730は、鼻音(
)の場合に、高周波でのスペクトルコントラストが増大することを示しており、これは、回復時に鼻づまりが少なくなると鼻腔共鳴がより顕著になることと一致する。
図8は、呼吸器感染症の症状の減衰定数のグラフ表現を示している。ヒストグラム810は、すべての症状の減衰定数を示し、ヒストグラム820は、鼻づまりの症状の減衰定数を示し、ヒストグラム830は、鼻づまり以外の症状の減衰定数を示している。鼻づまりの症状の例としては、鼻をかむ必要性、鼻閉、後鼻漏が挙げられる。一方、鼻づまり以外の症状としては、鼻水、喉の痛み、および粘液の多い鼻汁が挙げられる。ヒストグラム810,820、および830に利用される指数減衰モデルは、スコア≒ae-b(日数-1)+εであり、これは次いで、モニタリングユーザのグループに対する毎日の症状表現型(すなわち、鼻づまり、鼻づまり以外、または全症状)にフィッティングされる。ヒストグラム810,820、および830の正の値は症状の軽減に対応し、ゼロ値は無変化に対応し、負の値は症状の悪化に対応する。ヒストグラム810,820、および830は、自己報告症状の回復プロファイルが可変であることを示している。回復プロフィルの2つの例が図10と併せて記載される。
図9は、音響特性と自己報告の呼吸器感染症の症状との相関を示している。グラフ900は、すべての症状の評価の合計(たとえば、合成症状スコア)、鼻づまり関連のすべての症状の評価の合計、および鼻づまり以外に関連するすべての症状の評価の合計について演算された別個の減衰定数に基づく。スペアマンの相関係数が演算され、有意トレンド(p<0.1)のすべての相関値が症状グループの関数としてグラフ900に示される。グラフ900においては、相関の絶対値がプロットされている。
ほとんどの音響特性について、相関の方向は、症状グループ間で同じである。ただし、フォルマント1の帯域幅変動性(bw1sdF)は、鼻づまり以外の症状とは正の相関がある一方、鼻づまり症状とは負の相関がある(したがって、すべての症状の合計とは相関がない)。グラフ900は、鼻づまり以外の表現型と比較して、鼻づまり表現型と関連付けられた高周波スペクトル構造の変化と自己報告症状の変化との間に強い相関があることを示している。
図10は、2人の患者の自己報告症状スコアの経時的な変化を示している。グラフ1010は、1人の患者(被験体26)の変化を示しており、回復時の合成症状スコア(CSS)の減衰は緩慢である。これに対して、グラフ1020は、別の患者(被験体14)の回復時のCSSの減衰が相対的に急速であることを示している。
図11Aおよび図11Bは、異なる音響特性に対して演算された距離測定基準と自己報告症状スコアとの順位相関のグラフ表現を示している。図11Aのグラフ1100は、第1の一組の音響特性に対する順位相関を表す一方、図11Bのグラフ1150は、第2の一組の音響特性に対する順位相関を表す。グラフ1100および1150は、特性ベクトルの距離測定基準と7つの音素(
)の考え得るすべての組み合わせに関するモニタリング患者のグループ全体での自己報告症状スコア(たとえば、CSS)との間のスペアマンの順位相関の分布を示している。音素の組み合わせは、四分位変動係数(IQR/中央値)に基づいて昇順にソートされている。
これらグラフ1100および1150の音響特性は、本開示の実施形態に従って異なる日に収集された音声サンプルから抽出されたものであってもよい。患者が病中である日に各患者から1つの音声サンプルが収集され、患者が元気である(すなわち、病中ではない)後日に各患者から別の音声サンプルが収集されたものであってもよい。この距離法の演算は、音素特性比較器274と併せて記載のように行われるようになっていてもよい。距離測定基準は、自己報告データ評価器2746と併せて記載のように決定され得る患者の自己報告症状のスコアに対して相関される(たとえば、スピアマンのr)。グラフ1100および1150は、音素
を含む部分集合が四分位変動係数の最も低い値となり、呼吸器疾患の検出との関連性を示している。本開示の一実施形態においては、グラフ1100および1150に示される結果に基づいて、3つの音素それぞれの音響特性の部分集合を識別するため、スパースPCAを用いてさらなる絞り込みが実行されるようになっていてもよく、患者の呼吸器疾患に関する推論および/または予測を行うため、合計32個の特性(
に対して12個、
に対して12個、および
に対して8つの特性)の部分集合が選択されるようになっていてもよい。
図12Aは、異なる患者に対する距離測定基準と自己報告症状スコアとの順位相関値を示したグラフ1200である。順位相関値の演算に利用される距離測定基準は、3つの音素(たとえば、
)に由来する32個の音素特性に基づいていてもよい。グラフ12200においては、症状の変化が大きい順に左から右へと患者がソートされている(これは、グラフ1200のバーにより示される順位相関の程度と必ずしも一致しない場合がある)。(*)は、示された順位相関が統計的に有意(たとえば、p<0.05)と判断されたことを示している。グラフ1200は、回復がより急速な(すなわち、bの値が大きな)患者ほど相関が一般的に高くなることを示している。b値が中央値よりも高い患者の平均順位相関は0.7(±0.13)であるのに対し、b値が中央値よりも低い患者は0.46(±0.33)である。演算された距離測定基準と自己報告の合成症状スコア(CSS)との相関の中央値は、0.63である。
図12Bは、本開示の一実施形態に係る、統計的に有意な相関を示すための病中訪問と健康訪問との間の変化に関するペアT検定(p値)の結果を示している。表1210には、p<0.05の場合の値のみが含まれる。表1210は、すべての調査対象患者および高回復グループ(減衰定数bで測定)の患者のみについての結果を示している。表910においては、標準偏差が「sd」により示され、対数変換が「LG」により示される。
図13は、いくつかの実施形態に係る、被験体17,20、および28として識別される3人の例示的な患者について、音響特性および自己報告症状の経時的な相対的変化のグラフ表現を示している。グラフ1310,1320、および1330はそれぞれ、各患者の自己報告の合成症状スコア(CSS)(縦棒で示される)および音素特性ベクトルから演算された距離測定基準(破線で示される)の経時的な変化を示している。グラフ1310は、被験体17が時間の経過とともに症状の有意かつ比較的単調な軽減を示し、それが距離測定基準にも反映されていることを示している。グラフ1320は、被験体28の症状の軽減が被験体17よりも緩やかで、単調ではなく、被験体28の回復が7~12日目頃に安定した後、13日目に症状がわずかに軽減していることを示している。また、グラフ1320は、距離測定基準との一致が中程度であることを示しており、病気から回復への移行を観察可能である。グラフ1310および1320とは対照的に、グラフ1330は、被験体20の自己報告症状が当初は軽度(1日目のCSS=5)であり、鼻づまり以外の症状(咳および喉の痛み)が経時的に悪化することを示している。結果として、グラフ1330では、グラフ1310および1320よりも距離測定基準との一致が少ない。
図13のグラフ1340は、被験体17,20、および28を含むモニタリング患者のグループに対して演算された距離測定基準の経時的なボックスプロットを含む。グラフ1340は、患者が回復(または、「健康」)状態に近づくと距離が短くなる傾向を示しており、これは、14日前後と考えられる。
図14は、呼吸器感染症検出器の性能の例示的な表現を示している。具体的には、図14は、自己報告症状スコア(たとえば、CSS)により測定される呼吸器疾患の変化を検出するための本開示の一実施形態の能力の定量化を示している。グラフ1410は、自己報告症状スコアの変化に対する距離測定基準の変化をプロットしたものであり、ある日の自己報告症状の差が大きくなると、音素特性ベクトル間の距離も長くなることが分かる。グラフ1420は、本開示の実施形態に係る、音素特性(および、音素特性ベクトル間で演算された距離)を利用して、自己報告症状スコアの異なる大きさの変化を検出するための受信者動作特性(ROC)曲線および関連する曲線下面積(AUC)値を示している。図示のように、7ポイントの変化(0~35の合成症状スコア範囲の20%に相当)に対して、AUC値は0.89である。
図15A~図15Mは、本明細書に記載の通り、音声データから音素特性を抽出して呼吸器疾患を追跡するためのコンピュータプログラムルーチンの例示的な実施形態を示している。このため、図15A~図15Mのコンピュータプログラムルーチンは、ユーザ音声モニタ260またはその副構成要素のうちの1つもしくは複数により利用されるようになっていてもよい。また、図15A~図15Mのコンピュータプログラムルーチンは、図6Aおよび図6Bそれぞれの方法6100および6200の1つまたは複数の態様の実行に利用されるようになっていてもよい。
以上から、ユーザの呼吸器疾患のモニタリングのためのシステムおよび方法を対象とする技術の種々態様が提供される。本明細書に記載の実施形態のさまざまな特徴、副組み合わせ、および改良が有用であって、他の特徴または副組み合わせを参照することなく、他の実施形態に採用され得ることが了解される。さらに、例示的な方法またはプロセスに示されるステップの順序および順番は、本開示の範囲を何ら限定するものではなく、実際のところ、これらのステップは、本明細書の実施形態の範囲内において多様な異なる順番で現れ得る。このような変形例および組み合わせについても、本開示の実施形態の範囲内に含まれるものと考えられる。
以上、種々実施態様を説明したが、以下では、本開示の実施形態の実現に適した例示的なコンピュータ環境が記載される。図16を参照して、例示的なコンピュータ機器が提供されるが、一般的には、コンピュータ機器1700と称される。コンピュータ機器1700は、好適なコンピュータ環境の一例であり、本開示の実施形態の使用または機能の範囲に関する如何なる制限の示唆も意図されない。また、コンピュータ機器1700は、図示の構成要素のいずれか1つまたは組み合わせに関する依存性または要件を有するものとも解釈されるべきではない。
本開示の実施形態は、個人用デジタル補助装置、スマートフォン、タブレットPC、またはスマートウォッチ等の他の手持ち式もしくはウェアラブルデバイス等のコンピュータまたは他の機械により実行されるプログラムモジュール等のコンピュータコードまたは機械使用可能命令(コンピュータ使用可能命令またはコンピュータ実行可能命令を含む)の一般的な背景で説明され得る。一般的に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含むプログラムモジュールは、特定のタスクまたは特定の抽象データ型を実行するコードを表す。本開示の実施形態は、手持ち式の機器、家電製品、汎用コンピュータ、または専用コンピュータ機器を含む多様なシステム構成にて実現され得る。また、本開示の実施形態は、通信ネットワークを通じてリンクされたリモート処理機器によりタスクが実行される分散コンピュータ環境において実現され得る。分散コンピュータ環境においては、メモリ記憶装置を含むローカルおよびリモートの両コンピュータ記憶媒体にプログラムモジュールが配置され得る。
図16を参照して、コンピュータ機器1700は、メモリ1712、1つまたは複数のプロセッサ1714、1つまたは複数の提示コンポーネント1716、1つまたは複数の入出力(I/O)ポート1718、1つまたは複数のI/Oコンポーネント1720、および例示的な電源1722を含むさまざまな機器を直接または間接的に結合するバス1710を具備する。コンピュータ機器1700のいくつかの実施形態では、1つまたは複数の無線機1724をさらに具備していてもよい。バス1710は、1つまたは複数のバス(アドレスバス、データバス、またはこれらの組み合わせ)を表す。明瞭化のため、図16のさまざまなブロックは、線で示されるが、実際には、これらのブロックが論理的な構成要素を表しており、必ずしも実際の構成要素を表しているわけではない。たとえば、I/Oコンポーネントとなる表示装置等の提示コンポーネントも考えられる。また、プロセッサは、メモリを有していてもよい。図16は、本開示の1つまたは複数の実施形態に関連して使用し得る例示的なコンピュータ機器の例示に過ぎない。「ワークステーション」、「サーバ」、「ラップトップ」、または「手持ち式機器」といったカテゴリ間の区別はない。図16の範囲内では、「コンピュータ機器」の参照によってすべてが考慮されるためである。
コンピュータ機器1700は通常、多様なコンピュータ可読媒体を含む。コンピュータ可読媒体としては、コンピュータ機器1700によるアクセスが可能な任意の可用媒体が可能であって、揮発性および不揮発性ならびにリムーバブルおよび非リムーバブルの両媒体を含む。非限定的な一例として、コンピュータ可読媒体には、コンピュータ記憶媒体および通信媒体を含み得る。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報を格納するための任意の方法または技術で実装された揮発性および不揮発性ならびにリムーバブルおよび非リムーバブルの両媒体を含む。コンピュータ記憶媒体としては、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去・プログラム可能リードオンリーメモリ(EEPROM)、フラッシュメモリ等のメモリ技術、コンパクトディスクリードオンリーメモリ(CD-ROM)、デジタル多用途ディスク(DVD)等の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ等の磁気記憶装置、またはその他任意の媒体が挙げられるが、これらに限定されず、所望の情報の格納のための使用およびコンピュータ機器1700によるアクセスが可能である。コンピュータ記憶媒体は、それ自体が信号を含むわけではない。通信媒体は通常、搬送波等の変調データ信号または他の伝送機構においてコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを具現化するもので、如何なる情報配信媒体をも含む。用語「変調データ信号(modulated data signal)」は、その特性のうちの1つまたは複数が信号中の情報を符号化するように設定または変更された信号を意味する。非限定的な一例として、通信媒体には、有線ネットワークまたは直接有線接続等の有線媒体と、音響、無線(RF)、赤外線、および他の無線媒体等の無線媒体と、を含む。これらの如何なる組み合わせについても、コンピュータ可読媒体の範囲に含まれるものとする。
メモリ1712は、揮発性および/または不揮発性メモリの形態のコンピュータ記憶媒体を含む。メモリは、リムーバブルであってもよいし、非リムーバブルであってもよいし、これらの組み合わせであってもよい。例示的なハードウェア機器としては、たとえば固体メモリ、ハードドライブ、および光ディスクドライブが挙げられる。コンピュータ機器1700は、メモリ1712またはI/Oコンポーネント1720等のさまざまな機器からデータを読み込む1つまたは複数のプロセッサ1714を具備する。提示コンポーネント1716は、データ指標をユーザまたは他の機器に提示する。例示的な提示コンポーネント1716としては、表示装置、スピーカ、印刷コンポーネント、振動コンポーネント等が挙げられる。
I/Oポート1718は、I/Oコンポーネント1720を含む他の機器に対するコンピュータ機器1700の論理的な結合を可能にするが、その一部は組み込まれていてもよい。例示的なコンポーネントとしては、マイク、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナ、プリンタ、または無線機器が挙げられる。I/Oコンポーネント1720は、ユーザにより生成されたエアジェスチャ、音声、または他の生理学的入力を処理する自然なユーザインタフェース(NUI)を提供し得る。場合によっては、入力が適当なネットワーク要素に送信されて、別途処理されるようになっていてもよい。NUIは、発話認識、タッチおよびスタイラス認識、顔認識、生体認証、ジェスチャ認識(画面上および画面隣接の両者)、エアジェスチャ、ヘッドおよびアイトラッキング、ならびにコンピュータ機器1700上のディスプレイと関連付けられたタッチ認識の任意の組み合わせを実装し得る。コンピュータ機器1700には、ジェスチャ検出および認識のため、立体視カメラシステム、赤外線カメラシステム、RGBカメラシステム、およびこれらの組み合わせ等のデプスカメラが備わっていてもよい。また、コンピュータ機器1700には、運動の検出を可能にする加速度計またはジャイロスコープが備わっていてもよい。加速度計またはジャイロスコープの出力がコンピュータ機器1700のディスプレイに提供されて、没入型拡張現実または仮想現実をレンダリングするようになっていてもよい。
コンピュータ機器1700のいくつかの実施形態には、1つまたは複数の無線機1724(または、類似の無線通信コンポーネント)を含んでいてもよい。無線機1724は、無線通信の送受信を行う。コンピュータ機器1700は、さまざまな無線ネットワークを介して通信および媒体を受信するように構成された無線端末であってもよい。コンピュータ機器1700は、符号分割多重アクセス(「CDMA」)、モバイル用グローバルシステム(「GSM」)、時分割多重アクセス(「TDMA」)、または他の無線手段等の無線プロトコルを介して通信することにより、他の機器と通信可能である。無線通信は、短距離接続、長距離接続、またはこれらの組み合わせであってもよい。本明細書において、「短」および「長」の接続の種類は、2つの機器間の空間的な関係を表さない。代わりに、これらの接続の種類は一般的に、短距離および長距離を異なるカテゴリまたは接続の種類(すなわち、一次接続および二次接続)として表す。短距離接続の一例としては、802.11プロトコルを使用した無線ローカルエリアネットワーク(WLAN)接続等、無線通信ネットワークへのアクセスを提供する機器(たとえば、モバイルホットスポット)へのWi-Fi(登録商標)接続、短距離接続の別の例である別のコンピュータ機器へのBluetooth接続、または近距離通信が挙げられるが、これらに限定されない。長距離接続には、一例としてCDMA、汎用パケット無線システム(GPRS)、GSM、TDMA、および802.16プロトコルのうちの1つまたは複数を用いた接続を含むが、これらに限定されない。
以下の特許請求の範囲から逸脱することなく、図示のさまざまな構成要素および図示されない構成要素の多くの異なる構成が可能である。本開示の実施形態は、限定的ではなく例示的なものとなるように記載されている。本開示の読者には、本開示を読んだ後、本開示を読んだことで代替実施形態が明らかとなるであろう。以下の特許請求の範囲から逸脱することなく、前述の内容を実現する代替手段を完成させることができる。特定の特徴および副組み合わせが有用であって、他の特徴および副組み合わせを参照することなく採用可能であり、特許請求の範囲内において想到される。

Claims (47)

  1. ヒト被験体の呼吸器疾患をモニタリングするコンピュータ化システムであって、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサにより実行された場合に、前記ヒト被験体の音声情報を含む第1のオーディオデータを受信することと、第1の音素を含む前記第1のオーディオデータの第1の部分を特徴付ける少なくとも1つの音響特性を含む第1の音素特性集合を決定することと、第2のオーディオデータから決定された第2の音素特性集合に対して前記第1の音素特性集合を比較することにより、前記呼吸器疾患をモニタリングすることと、を含む動作を実行するコンピュータ実行可能命令が格納されたコンピュータメモリと、を備えた、コンピュータ化システム。
  2. オーディオ情報を取り込むように構成された音響センサをさらに備えた、請求項1に記載のコンピュータ化システム。
  3. 前記音響センサが、スマートスピーカに組み込まれた、請求項2に記載のコンピュータ化システム。
  4. 前記第1の音素特性集合が、

    を含む少なくとも1つの音素を特徴付ける音響特性を含む、請求項1に記載のコンピュータ化システム。
  5. 前記第1の音素特性集合が、前記第1のオーディオデータの前記第1の部分と関連付けられた第1の音素、前記第1のオーディオデータの第2の部分と関連付けられた第2の音素、および前記第1のオーディオデータの第3の部分と関連付けられた第3の音素を特徴付ける音響特性を含み、前記第1の音素が

    を含み、前記第2の音素が

    を含み、前記第3の音素が

    を含む、請求項1に記載のコンピュータ化システム。
  6. 前記

    音素の前記音響特性が、フォルマント1(Fl)の帯域幅の標準偏差、ピッチの四分位範囲、1.6~3.2キロヘルツ(kHz)の周波数に対して決定されたスペクトルエントロピー、ジッター、メル周波数ケプストラム係数MFCC9およびMFCC12の標準偏差、メル周波数ケプストラム係数MFCC6の平均、ならびに3.2~6.4kHzの周波数に対して決定されたスペクトルコントラストのうちの少なくとも1つを含み、前記

    音素の前記音響特性が、調和性、F1帯域幅の標準偏差、ピッチの四分位範囲、1.5~2.5kHzおよび1.6~3.2kHzの周波数に対して決定されたスペクトルエントロピー、1.5~2.5kHzの周波数に対して決定されたスペクトル平坦性、メル周波数ケプストラム係数MFCC1、MFCC2、MFCC3、およびMFCC11の標準偏差、メル周波数ケプストラム係数MFCC8の平均、ならびに1.6~3.2kHzの周波数に対して決定されたスペクトルコントラストのうちの少なくとも1つを含み、前記

    音素の前記音響特性が、調和性、F1帯域幅の標準偏差、ピッチの四分位範囲、1.5~2.5kHzおよび1.6~3.2kHzの周波数に対して決定されたスペクトルエントロピー、1.5~2.5kHzの周波数に対して決定されたスペクトル平坦性、メル周波数ケプストラム係数MFCC2およびMFCC10の標準偏差、メル周波数ケプストラム係数MFCC8の平均、シマー、3.2~6.4kHzの周波数に対して決定されたスペクトルコントラスト、ならびに200ヘルツ(Hz)1/3オクターブバンドの標準偏差のうちの少なくとも1つを含む、請求項5に記載のコンピュータ化システム。
  7. 前記動作が、前記第1のオーディオデータの前記第1の部分に対して自動発話認識を実行することにより第1の音素を決定することと、前記第1のオーディオデータの前記第1の部分を前記第1の音素と関連付けることと、をさらに含む、請求項1に記載のコンピュータ化システム。
  8. 自動発話認識を実行することが、前記第1のオーディオデータの前記第1の部分に対応するテキストを決定することと、前記テキストに基づいて前記第1の音素を決定することと、を含む、請求項7に記載のコンピュータ化システム。
  9. 前記第1のオーディオデータが、第1の日時値に対応する第1の時間区分と関連付けられ、前記第2のオーディオデータが、第2の日時値に対応する第2の時間区分と関連付けられ、前記ヒト被験体の前記呼吸器疾患をモニタリングすることが、前記第1の音素特性集合および前記第2の音素特性集合における特性の少なくとも一部の特性距離測定結果を決定することと、前記特性距離測定結果に基づいて、前記ヒト被験体の前記呼吸器疾患が前記第2の日時値と前記第1の日時値との間で変化したものと判定することと、を含む、請求項1に記載のコンピュータ化システム。
  10. 前記第2の日時値が、前記第1の日時値の18~36時間後に発生する、請求項9に記載のコンピュータ化システム。
  11. 前記動作が、前記第1のオーディオデータと関連付けられた第1の時間区分と関連付けられた前記ヒト被験体の第1の生理学的データを受信することと、前記生理学的データを記録に格納することと、をさらに含む、請求項1に記載のコンピュータ化システム。
  12. 前記第1のオーディオデータが、第1の時間区分と関連付けられ、前記動作が、第1の時間区分と関連付けられ、前記ヒト被験体に関する生理学的データ、前記第1の時間区分における前記ヒト被験体の場所に関する情報、または前記第1の時間区分と関連付けられたコンテキスト情報のうちの少なくとも1つを含む前記ヒト被験体の第1のコンテキストデータを決定することをさらに含み、前記第1の音素特性集合が、前記第1のコンテキストデータに基づいてさらに決定される、請求項1に記載のコンピュータ化システム。
  13. 前記第1の音素特性集合が、前記第2のオーディオデータと関連付けられた第2の時間区分の前に発生する第1の日時値とそれぞれ関連付けられた複数の他の音素特性集合から決定される、請求項1に記載のコンピュータ化システム。
  14. 前記第2の音素特性集合に対して前記第1の音素特性集合を比較することが、前記第1の音素特性集合の少なくとも一部と前記第2の音素特性集合の少なくとも一部との間のユークリッド距離またはレーベンシュタイン距離を決定することを含む、請求項1に記載のコンピュータ化システム。
  15. 前記第2の音素特性集合に対して前記第1の音素特性集合を比較することが、前記第1の音素特性集合の少なくとも第1の特性と前記第2の音素特性集合の対応する第2の特性との比較を実行することを含む、請求項1に記載のコンピュータ化システム。
  16. 前記ヒト被験体の前記呼吸器疾患をモニタリングすることが、前記第1の音素特性集合および前記第2の音素特性集合の比較を実行することにより第1の特性集合距離を決定することと、前記第1の特性集合距離を閾値距離と比較することにより、前記ヒト被験体の前記呼吸器疾患が変化したものと判定することと、を含む、請求項1に記載のコンピュータ化システム。
  17. 前記閾値距離が、臨床医により予め定められるか、または、ユーザの生理学的データ、ユーザ設定、もしくはユーザの呼吸器疾患履歴情報のうちの1つもしくは複数に基づいて自動的に決定される、請求項16に記載のコンピュータ化システム。
  18. 前記動作が、前記ヒト被験体が前記呼吸器疾患ではないと判定された時点の基準を表す第3の音素特性集合を受信することをさらに含み、前記ヒト被験体の前記呼吸器疾患をモニタリングすることが、前記第1の音素特性集合および前記第2の音素特性集合の比較を実行することにより第1の特性集合距離を決定することと、前記第2の音素特性集合と前記第3の音素特性集合との第2の比較を実行することにより第2の特性集合距離を決定することと、前記第1の音素特性集合と前記第3の音素特性集合との第3の比較を実行することにより第3の特性集合距離を決定することと、前記第2の特性集合距離および前記第3の特性集合距離の第4の比較を実行することと、前記第4の比較に基づいて、前記第2の特性集合距離が前記第3の特性集合距離よりも短い場合に、前記ヒト被験体の呼吸器疾患が改善している旨の指標を提供すること、前記第2の特性集合距離が前記第3の特性集合距離よりも長い場合に、前記ヒト被験体の呼吸器疾患が悪化している旨の指標を提供すること、または前記第2の特性集合距離が前記第3の特性集合距離に等しい場合に、前記ヒト被験体の呼吸器疾患が変化していない旨の指標を提供することのうちの1つを実行することと、を含む、請求項16に記載のコンピュータ化システム。
  19. 前記基準を表す前記第3の音素特性集合が、一組の音素特性値の平均に基づいて決定された特性値を有する音素特性を含み、前記一組の音素特性値がそれぞれ、前記ヒト被験体が前記呼吸器疾患ではないと判定された時間における異なる時間区分から決定される、請求項2に記載のコンピュータ化システム。
  20. 前記動作が、前記第1の音素特性集合を前記第2の音素特性集合と比較することにより決定された前記呼吸器疾患の変化に基づいて動作を開始することをさらに含む、請求項1に記載のコンピュータ化システム。
  21. 前記ヒト被験体の前記呼吸器疾患の変化に基づいて動作を開始することが、前記ヒト被験体と関連付けられたユーザ機器または前記ヒト被験体の臨床医の少なくとも一方に通知を発行することと、前記ヒト被験体と前記ヒト被験体の前記臨床医との間の予約を取ることと、前記呼吸器疾患の処置を修正する推奨を与えることと、処方薬の補充を要求することと、を含む、請求項20に記載のコンピュータ化システム。
  22. 前記ヒト被験体と関連付けられたユーザ機器をさらに備え、前記ヒト被験体の前記呼吸器疾患をモニタリングすることが、少なくとも前記第1の音素特性集合の前記第2の音素特性集合との比較に基づいて呼吸器疾患スコアを決定することを含み、前記動作が、前記呼吸器疾患スコアを前記ユーザ機器のユーザインターフェースに表示させることをさらに含む、請求項1に記載のコンピュータ化システム。
  23. 前記ヒト被験体と関連付けられたユーザ機器をさらに備え、前記ヒト被験体の前記呼吸器疾患をモニタリングすることが、少なくとも前記第1の音素特性集合の前記第2の音素特性集合との比較に基づいて、前記呼吸器疾患と関連付けられた病原体を前記ヒト被験体が伝播するリスクを示す伝播リスクレベルを決定することを含み、前記動作が、前記伝播リスクレベルを前記ユーザ機器のユーザインターフェースに表示させることをさらに含む、請求項1に記載のコンピュータ化システム。
  24. 前記ヒト被験体と関連付けられたユーザ機器をさらに備え、前記ヒト被験体の前記呼吸器疾患をモニタリングすることが、少なくとも前記第1の音素特性集合の前記第2の音素特性集合との比較に基づいて、前記ヒト被験体の前記呼吸器疾患のトレンドを決定することを含み、前記動作が、前記ヒト被験体の前記呼吸器疾患の前記トレンドを前記ユーザ機器のユーザインターフェースに表示させることをさらに含む、請求項1に記載のコンピュータ化システム。
  25. 前記第1のオーディオデータの前記第1の部分が、基本母音音素の持続的な発声を含み、前記第1の音素特性集合が、最大発声時間に基づく、請求項1に記載のコンピュータ化システム。
  26. 前記第1のオーディオデータが、複数の音素を含む発話文章の記録を含み、前記第1の音素特性集合が、発話速度、平均休止長、休止数、およびグローバル信号対雑音比のうちの1つまたは複数を含む、請求項1に記載のコンピュータ化システム。
  27. 音響センサ機器を利用して呼吸器疾患を処置する方法であって、第1の時間区分と関連付けられ、ヒト被験体の音声情報を含む第1のオーディオデータを受信するステップと、第1の音素を含む前記第1のオーディオデータの第1の部分を特徴付ける少なくとも1つの音響特性を含む第1の音素特性集合を決定するステップと、第2の時間区分と関連付けられた第2のオーディオデータから決定された第2の音素特性集合に対する前記第1の音素特性集合の比較を実行するステップと、少なくとも前記比較に基づいて、前記ヒト被験体に対する処置手順を開始することにより、前記呼吸器疾患を処置するステップと、を含む、方法。
  28. 前記処置手順を開始するステップが、治療薬、投薬量、および前記治療薬の投薬方法のうちの少なくとも1つを決定することを含む、請求項27に記載の方法。
  29. 前記治療薬が、PLpro阻害剤(アピロモッド、EIDD-2801、リバビリン、バルガンシクロビル、β-チミジン、アスパルテーム、オクスプレノロール、ドキシサイクリン、アセトフェナジン、イオプロミド、リボフラビン、レプロテロール、2,2’-シクロチジン、クロラムフェニコル、クロルフェネシンカルバメート、レボドロプロピジン、セファマンドール、フロクスウリジン、チゲサイクリン、ペメトレキセド、L(+)-アスコルビン酸、グルタチオン、ヘスペレチン、アデメチオニン、マソプロコル、イソトレチノイン、ダントロレン、スルファサラジン抗菌、シリビニン、ニカルジピン、シルデナフィル、プラチコジン、クリシン、ネオヘスペリジン、バイカリン、スゲトリオール-3,9-ジアセテート、(-)-エピガロカテキンガレート、ファイタントリンD、2-(3,4-ジヒドロキシフェニル)-2-[[2-(3,4-ジヒドロキシフェニル)-3,4-ジヒドロ-5,7-ジヒドロキシ-2H-1-ベンゾピラン-3-イル]オキシ]-3,4-ジヒドロ-2H-1-ベンゾピラン-3,4,5,7-テトロール、2,2-ジ(3-インドリル)-3-インドロン、(S)-(1S,2R,4aS,5R,8aS)-1-ホルムアミド-1,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル-2-アミノ-3-フェニルプロパノエート、ピセアタンノール、ロスマリン酸およびマグノール)、3CLpro阻害剤(リメサイクリン、クロルヘキシジン、アルフゾシン、シラスタチン、ファモチジン、アルミトリン、プロガビド、ネパフェナク、カルベジロール、アンプレナビル、チゲサイクリン、モンテルカスト、カルミン酸、ミモシン、フラビン、ルテイン、セフピラミド、フェネチシリン、カンドキサトリル、ニカルジピン、エストラジオールバレラート、ピオグリタゾン、コニバプタン、テルミサルタン、ドキシサイクリン、オキシテトラサイクリン、(1S,2R,4aS,5R,8aS)-l-ホルムアミド-l,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル5-((R)-1,2-ジチオラン-3-イル)ペンタノエート、ベトロナール、クリシン-7-Ο-β-グルクロニド、アンドログラフィシド、(1S,2R,4aS,5R,8aS)-l-ホルムアミド-l,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル-2-ニトロベンゾエート、2β-ヒドロキシ-3,4-セコフリエデロラクトン-27-オイック酸(S)-(1S,2R,4aS,5R,8aS)-1-ホルムアミド-1,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル-2-アミノ-3-フェニルプロパノエート、イソデコルチノール、セレビステロール、ヘスペリジン、ネオヘスペリジン、アンドログラパニン、2-((1R,5R,6R,8aS)-6-ヒドロキシ-5-(ヒドロキシメチル)-5,8a-ジメチル-2-メチレンデカヒドロナフタレン-1-イル)エチルベンゾエート、コスモシイン、クレイストカルトンA、2,2-ジ(3-インドリル)-3-インドロン、ビオロビン、グニジシン、フィラエンブリノール、テアフラビン3,3’-ジ-Ο-ガレート、ロスマリン酸、コウイチェンシドI、オレアノール酸、スティグマスト-5-エン-3-オール、デアセチルセンタピクリン、およびベルケモール)、RdRp阻害剤(バルガンシクロビル、クロルヘキシジン、セフチブテン、フェノテロール、フルダラビン、イトラコナゾール、セフロキシム、アトバコン、ケノデオキシコール酸、クロモリン、臭化パンクロニウム、コルチゾン、チボロン、ノボビオシン、シリビニン、イダルビシンブロモクリプチン、ジフェノキシレート、ベンジルペニシロイルG、ダビガトランエテキシレート、ベトロナール、グニジシン、2β,30β-ジヒドロキシ-3,4-セコフリエデロラクトン-27-ラクトン、14-デオキシ-11,12-ジドヒドロアンドログラフォリド、グニジトリン、テアフラビン3,3’-ジ-Ο-ガレート、(R)-((1R,5aS,6R,9aS)-1,5a-ジメチル-7-メチレン-3-オキソ-6-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロ-1H-ベンゾ[c]アゼピン-1-イル)メチル2-アミノ-3-フェニルプロパノエート、2β-ヒドロキシ-3,4-セコフリエデロラクトン-27-オイック酸、2-(3,4-ジヒドロキシフェニル)-2-[[2-(3,4-ジヒドロキシフェニル)-3,4-ジヒドロ-5,7-ジヒドロキシ-2H-1-ベンゾピラン-3-イル]オキシ]-3,4-ジヒドロ-2H-1-ベンゾピラン-3,4,5,7-テトロン、フィラエンブリシンB、14-ヒドロキシシペロタンドン、アンドログラフィシド、2-((1R,5R,6R,8aS)-6-ヒドロキシ-5-(ヒドロキシメチル)-5,8a-ジメチル-2-メチレンジデカヒドロナフタレン-1-イル)エチルベンゾエート、アンドログラフォリド、スゲトリオール-3,9-ジアセテート、バイカリン、(1S,2R,4aS,5R,8aS)-1-ホルムアミド-1,4a-ジメチル-6-メチレン-5-((E)-2-(2-オキソ-2,5-ジヒドロフラン-3-イル)エテニル)デカヒドロナフタレン-2-イル-5-((R)-1,2-ジチオラン-3-イル)ペンタノエート、l,7-ジヒドロキシ-3-メトキシキサントン、l,2,6-トリメトキシ-8-[(6-Ο-β-D-キシロピラノシル-β-D-グルコピラノシル)オキシ]-9H-キサンテン-9-オン、および/または1,8-ジヒドロキシ-6-メトキシ-2-[(6-Ο-β-D-キシロピラノシル-β-D-グルコピラノシル)オキシ]-9H-キサンテン-9-オン、8-(β-D-グルコピラノシロキシ)-l,3,5-トリヒドロキシ-9H-キサンテン-9-オン)、ジオスミン、ヘスペリジン、MK-3207、ベネトクラックス、ジヒドロエルゴクリスチン、ボラジン、R428、ジテルカリニウム、エトポシド、テニポシド、UK-432097、イリノテカン、ルマカフトール、ベルパタスビル、エルクサドリン、レジパスビル、ロピナビル/リトナビルとリバビリンとの組み合わせ、アルフェロン、およびプレドニゾン、デキサメタゾン、アジスロマイシン、レムデシビル、ボセプレビル、ウミフェノビル、およびファビピラビル、α-ケトアミド化合物、RIG1経路活性化因子、プロテアーゼ阻害剤、レムデシビル、ガリデシビル、ファビラビル/アビファビル、モルヌピラビル(MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、ファビピラビル、カモスタ、SLV213エムトリシタビン/テノフィビル、クレブジン、ダルセトラピブ、ボセプレビル、ABX464、(3S)-3-({N-[(4-メトキシ-1H-インドール-2-イル)カルボニル]-L-ロイシル}アミノ)-2-オキソ-4-[(3S)-2-オキソピロリジン-3-イル]ブチル二水素リン酸塩、およびその薬学的に許容される塩、溶媒和物、または水和物(PF-07304814)、(1R,2S,5S)-N-{(1S)-1-シアノ-2-[(3S)-2-オキソピロリジン-3-イル]エチル}-6,6-ジメチル-3-[(3-メチル-N-(トリフルオロアセチル)-L-バリル]-3-アザビシクロ[3.1.0]ヘキサン-2-カルボキシアミドまたはその溶媒和物もしくは水和物(PF-07321332)、S-217622、グルココルチコイド、回復期血漿、組み換えヒト血漿、モノクローナル抗体、ラブリズマブ、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、バムラニビマブ(LY-CoV555)、マブリリマブ、レロンリマブ(PRO140)、AZD7442、レンジルマブ、インフリキシマブ、アダリムマブ、JS 016、STI-1499(COVIGUARD)、ラナデルマブ(タクザイロ)、カナキヌマブ(イラリス)、ギムシルマブ、オチリマブ、抗体カクテル、組み換え融合タンパク質、抗凝固剤、IL-6受容体作動薬、PIKfyve阻害剤、RIPK1阻害剤、VIP受容体作動薬、SGLT2阻害剤、TYK阻害剤、キナーゼ阻害剤、ベムセンチニブ、アカラブルチニブ、ロスマピモド、バリシチニブ、トファシチニブ、H2阻害薬、駆虫剤、およびフリン阻害剤から成る群から選択される、請求項28に記載の方法。
  30. 前記治療薬が、(3S)-3-({N-[(4-メトキシ-1H-インドール-2-イル)カルボニル]-L-ロイシル}アミノ)-2-オキソ-4-[(3S)-2-オキソピロリジン-3-イル]ブチル二水素リン酸塩、またはその薬学的に許容される塩、溶媒和物、もしくは水和物(PF-07304814)である、請求項28に記載の方法。
  31. 前記治療薬が、(1R,2S,5S)-N-{(1S)-1-シアノ-2-[(3S)-2-オキソピロリジン-3-イル]エチル}-6,6-ジメチル-3-[(3-メチル-N-(トリフルオロアセチル)-L-バリル]-3-アザビシクロ[3.1.0]ヘキサン-2-カルボキシアミドまたはその溶媒和物もしくは水和物(PF-07321332)である、請求項38に記載の方法。
  32. 前記処置手順の管理を開始することが、ユーザ機器上の表示用に提供されるグラフィカルユーザインターフェース要素を生成することを含み、前記グラフィカルユーザインターフェース要素が、少なくとも前記第1の音素特性集合の前記第2の音素特性集合との比較に基づく前記処置手順の推奨を示す、請求項27に記載の方法。
  33. 前記ユーザ機器が、前記音響センサ機器とは別個である、請求項32に記載の方法。
  34. 前記推奨に基づいて、前記処置手順を前記ヒト被験体に適用するステップをさらに含む、請求項32に記載の方法。
  35. 前記呼吸器疾患が、コロナウイルス感染症2019(COVID-19)を含む、請求項27に記載の方法。
  36. ヒト被験体の呼吸器疾患を処置する治療薬の効能を追跡するコンピュータ化方法であって、前記ヒト被験体の音声情報をそれぞれ表す第1の音素特性集合および第2の音素特性集合を受信するステップであり、前記第2の音素特性集合が、前記第1の音素特性集合と関連付けられた第1の日時値の後に発生する第2の日時値と関連付けられ、前記治療薬が前記ヒト被験体に投与されている期間が、少なくとも前記第2の日時値を含む、ステップと、前記第1の音素特性集合および前記第2の音素特性集合の第1の比較を実行することにより第1の特性集合距離を決定するステップと、前記第1の特性集合距離に基づいて、前記ヒト被験体の前記呼吸器疾患に変化があるかを判定するステップと、を含む、コンピュータ化方法。
  37. 前記呼吸器疾患が、呼吸器感染症であり、前記治療薬が、抗菌薬である、請求項36に記載のコンピュータ化方法。
  38. 前記治療薬が、抗生薬である、請求項37に記載のコンピュータ化方法。
  39. 少なくとも前記ヒト被験体の前記呼吸器疾患に変化があるかを判定するステップに基づいて、前記抗生薬の効能の変化を決定するステップをさらに含む、請求項37に記載のコンピュータ化方法。
  40. 前記ヒト被験体の前記呼吸器疾患に変化があるかを判定するステップが、前記呼吸器疾患が改善したか、悪化したか、変化していないかを判定することを含む、請求項36に記載のコンピュータ化方法。
  41. 前記ヒト被験体の前記呼吸器疾患に変化があるかを判定するステップに基づいて、前記ヒト被験体を処置する動作を開始するステップをさらに含む、請求項36に記載のコンピュータ化方法。
  42. 前記ヒト被験体を処置する前記動作が、前記呼吸器疾患が悪化した旨の判定により開始される、請求項41に記載のコンピュータ化方法。
  43. 前記ヒト被験体を処置する前記動作が、前記呼吸器疾患が悪化した旨または変化していない旨の判定により開始される、請求項41に記載のコンピュータ化方法。
  44. 前記ヒト被験体を処置する前記動作が、前記ヒト被験体の処置手順を変更することを含む、請求項41に記載のコンピュータ化方法。
  45. 前記ヒト被験体の前記処置手順を変更することが、前記治療薬または前記治療薬の投薬量のうちの1つまたは複数を調整する推奨を開始することを含む、請求項44に記載のコンピュータ化方法。
  46. 前記ヒト被験体の前記処置手順を変更することが、前記ヒト被験体の前記処置手順の修正を要求するメッセージを前記ヒト被験体のケア提供者に送ることを含む、請求項44に記載のコンピュータ化方法。
  47. 前記ヒト被験体を処置する前記動作が、前記ヒト被験体の電子健康レコード(EHR)から決定された薬局に対して前記治療薬の補充リクエストを電子的に開始することを含む、請求項41に記載のコンピュータ化方法。
JP2023513686A 2020-08-28 2021-08-30 呼吸器疾患モニタリングおよびケア用コンピュータ化意思決定支援ツールおよび医療機器 Pending JP2023539874A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063071718P 2020-08-28 2020-08-28
US63/071,718 2020-08-28
US202163238103P 2021-08-27 2021-08-27
US63/238,103 2021-08-27
PCT/US2021/048242 WO2022047311A1 (en) 2020-08-28 2021-08-30 Computerized decision support tool and medical device for respiratory condition monitoring and care

Publications (1)

Publication Number Publication Date
JP2023539874A true JP2023539874A (ja) 2023-09-20

Family

ID=80354129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023513686A Pending JP2023539874A (ja) 2020-08-28 2021-08-30 呼吸器疾患モニタリングおよびケア用コンピュータ化意思決定支援ツールおよび医療機器

Country Status (10)

Country Link
US (1) US20230329630A1 (ja)
EP (1) EP4203775A1 (ja)
JP (1) JP2023539874A (ja)
KR (1) KR20230079055A (ja)
AU (1) AU2021333916A1 (ja)
BR (1) BR112023003624A2 (ja)
CA (1) CA3190906A1 (ja)
IL (1) IL300993A (ja)
MX (1) MX2023002470A (ja)
WO (1) WO2022047311A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230072242A1 (en) * 2021-09-07 2023-03-09 Canary Speech, LLC Paired neural networks for diagnosing health conditions via speech
US20230214850A1 (en) * 2022-01-04 2023-07-06 Nice Ltd. System and method for real-time fraud detection in voice biometric systems using phonemes in fraudster voice prints
KR102516391B1 (ko) * 2022-09-02 2023-04-03 주식회사 액션파워 음성 구간 길이를 고려하여 오디오에서 음성 구간을 검출하는 방법
EP4350701A1 (en) * 2022-10-07 2024-04-10 SIVA Health AG Classifying individuals suffering from chronic cough

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6599694B2 (en) * 2000-12-18 2003-07-29 Cytokinetics, Inc. Method of characterizing potential therapeutics by determining cell-cell interactions
EP2590961A1 (en) * 2010-07-08 2013-05-15 Pfizer Inc Piperidinyl pyrimidine amides as kv7 potassium channel openers
US20160004831A1 (en) * 2014-07-07 2016-01-07 Zoll Medical Corporation Medical device with natural language processor

Also Published As

Publication number Publication date
MX2023002470A (es) 2023-07-20
US20230329630A1 (en) 2023-10-19
KR20230079055A (ko) 2023-06-05
WO2022047311A1 (en) 2022-03-03
AU2021333916A1 (en) 2023-03-30
EP4203775A1 (en) 2023-07-05
BR112023003624A2 (pt) 2023-03-28
CA3190906A1 (en) 2022-03-03
IL300993A (en) 2023-04-01

Similar Documents

Publication Publication Date Title
US10010288B2 (en) Screening for neurological disease using speech articulation characteristics
US20200388287A1 (en) Intelligent health monitoring
US8784311B2 (en) Systems and methods of screening for medical states using speech and other vocal behaviors
US20230329630A1 (en) Computerized decision support tool and medical device for respiratory condition monitoring and care
US9070357B1 (en) Using speech analysis to assess a speaker's physiological health
US20200380957A1 (en) Systems and Methods for Machine Learning of Voice Attributes
US20180296092A1 (en) System and method for monitoring and determining a medical condition of a user
JP2021529382A (ja) 精神的健康評価のためのシステム及び方法
Crawley et al. Assessment of clinical and social characteristics that distinguish presbylaryngis from pathologic presbyphonia in elderly individuals
Sánchez Morillo et al. Computer-aided diagnosis of pneumonia in patients with chronic obstructive pulmonary disease
Taylor et al. Objective assessment of patient inhaler user technique using an audio-based classification approach
Deshpande et al. Audio, speech, language, & signal processing for covid-19: A comprehensive overview
US20210298711A1 (en) Audio biomarker for virtual lung function assessment and auscultation
Chatterjee et al. Assessing severity of pulmonary obstruction from respiration phase-based wheeze-sensing using mobile sensors
Rahman et al. Towards reliable data collection and annotation to extract pulmonary digital biomarkers using mobile sensors
Wisler et al. Speech-based estimation of bulbar regression in amyotrophic lateral sclerosis
Cho et al. Evaluating prediction models of sleep apnea from smartphone-recorded sleep breathing sounds
WO2021150989A1 (en) Systems and methods for audio processing and analysis of multi-dimensional statistical signature using machine learning algorithms
TW202343476A (zh) 用於呼吸病況監測及照護之電腦化決策支援工具及醫療裝置
CN116600698A (zh) 用于呼吸道状况监视和护理的计算机化决策支持工具和医疗设备
Nathan et al. Assessing Severity of Pulmonary Obstruction from Respiration Phase-Based Wheeze Sensing Using Mobile Sensors
Aljbawi et al. Developing a multi-variate prediction model for the detection of COVID-19 from Crowd-sourced Respiratory Voice Data
Niermeyer et al. Predicting Airflow from Measures Sensitive to Mid-cord Glottal Gap During the COVID-19 Pandemic
US20200129115A1 (en) Improved diagnostic instrument and methods
Barahona et al. Adolescent Asthma Monitoring: A Preliminary Study of Audio and Spirometry Modalities

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230419

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240312