JP6780182B2 - 音声分析による肺疾患の評価 - Google Patents

音声分析による肺疾患の評価 Download PDF

Info

Publication number
JP6780182B2
JP6780182B2 JP2018516182A JP2018516182A JP6780182B2 JP 6780182 B2 JP6780182 B2 JP 6780182B2 JP 2018516182 A JP2018516182 A JP 2018516182A JP 2018516182 A JP2018516182 A JP 2018516182A JP 6780182 B2 JP6780182 B2 JP 6780182B2
Authority
JP
Japan
Prior art keywords
voice
processor
subject
lung disease
related parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018516182A
Other languages
English (en)
Other versions
JP2018534026A5 (ja
JP2018534026A (ja
Inventor
ロタン、チャイム
クレマ−タル、シーガル
ロタン、アヴィヴ
シュリック、ズイーフ
ゲマール、アヴィノアム
シニール、イエーウダ
サッション、ヨナタン
シェインケルマン、マルガリータ
Original Assignee
コルディオ メディカル リミテッド
コルディオ メディカル リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コルディオ メディカル リミテッド, コルディオ メディカル リミテッド filed Critical コルディオ メディカル リミテッド
Publication of JP2018534026A publication Critical patent/JP2018534026A/ja
Publication of JP2018534026A5 publication Critical patent/JP2018534026A5/ja
Application granted granted Critical
Publication of JP6780182B2 publication Critical patent/JP6780182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4869Determining body composition
    • A61B5/4875Hydration status, fluid retention of the body
    • A61B5/4878Evaluating oedema
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Description

本発明は、病状、特に肺疾患の診断と治療に関するものである。
(関連出願の相互参照)
本願は2015年10月8日出願の名称「音声分析による肺疾患の評価」の米国暫定出願第62/238,732(特許文献1)の恩恵を主張し、それはここに参照して取り入れられる。
肺水腫は、肺の実質および空気空間内の体液の蓄積である。それはガス交換障害につながり、呼吸不全を引き起こす可能性がある。
胸水は、肺を取り囲む体液で満たされる空間である、胸膜腔に蓄積する余分な体液である。この過剰な体液は、肺の拡張を制限することにより呼吸を阻害する可能性がある。
参照により本明細書に組み込まれる米国特許出願公開第2015/0073306号(特許文献2)は、患者の音を処理するために計算装置を操作する方法を記載しており、前記方法は、前記患者の音のセグメントから特徴を抽出するステップと、前記抽出された特徴および所定の基準に基づいて前記セグメントを咳または咳でない音として分類するステップと、咳の音として分類された患者の音のセグメントに基づいて、計算装置の制御下でディスプレイ上に疾患関連の状態の診断を提示するステップとを含む。
参照によって本明細書に組み込まれる米国特許第7,267,652号(特許文献3)は、一般的に呼吸プレチスモグラフ、および特に歩行記録のための衣類に取り付けられた呼吸誘導性プレチスモグラフセンサから得られる呼吸信号を処理するシステムおよび方法を記載している。このシステムおよび方法は、人為的排除のための信号フィルタリング、および肺体積を示す出力を生成するためのセンサデータの較正を提供する。この参考文献はまた、呼吸パラメータの決定および選択された呼吸事象の認識を提供するために、測定または導出された肺容積信号を処理するためのシステムおよび方法を記載している。
その開示が参照により本明細書に組み込まれる米国特許出願公開第2011/0184250号(特許文献4)は、複数の患者が慢性的な健康状態を管理するのを支援するためのコンピュータによる実施方法およびシステムを記載している。この方法は、各患者について、(a)所定の将来の期間における予想される患者の活動について患者または患者ケアネットワークのメンバーから情報を受信するステップと;(b)所与の将来の期間における予想される患者の活動の間の、患者の周囲における予想される一時的な局所周囲条件を決定するステップと;(c)所望の患者制御設定ポイント範囲、予想される患者活動、および予想される一時的な局所的周囲条件に基づいて、患者の記憶されたコンピュータモデルを使用して患者の健康悪化を予測するステップと;(d)所定の将来の期間の前に患者または患者ケアネットワークのメンバーに対し、患者の予測される健康悪化を警告し、そして予測される健康悪化を回避または緩和するための患者に対する1つ以上の是正措置を識別するメッセージを、将来を見越して送信するステップと;を含む。
その開示が参照により本明細書に組み込まれるPCT出願WO2014/037843(特許文献5)は、慢性心不全、COPDまたは喘息を検出するための、ユーザの肺容量および持久力を測定するためのコンピュータ化された方法およびシステムであって:肺を空気で満たし、呼気中に特定の範囲のラウドネス(デシベル)内で声帯音を発するように前記ユーザに指示するための実行可能なコンピュータコードからなる、ユーザの移動通信装置上のクライアントアプリケーションを提供するステップと;前記移動通信装置が前記ユーザの声帯音を受信し登録するステップと;声帯音の登録を停止するステップと;ユーザの肺容量に比例する、ラウドネスの範囲内の声帯音の受音時間の長さ、を測定するステップと;受信された時間の長さを移動通信装置の画面に表示するステップと;を含む。
米国暫定出願第62/238,732 米国特許出願公開第2015/0073306号 米国特許第7,267,652号 米国特許出願公開第2011/0184250号 WO2014/037843
本発明のいくつかの実施形態によれば、ネットワークインタフェースおよびプロセッサを有装置が提供される。プロセッサは、ネットワークインタフェース経由で、余剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を受信し、その音声を分析することにより、音声の1つまたはそれ以上の音声関連パラメータを識別し、その音声関連パラメータに応答して、肺疾患の状態を評価し、そしてその評価に応答して、肺疾患の状態を示す出力を生成するように構成される。
いくつかの実施形態では、プロセッサは、音声のスペクトル分析を実行することにより音声を分析するように構成される。
いくつかの実施形態では、プロセッサは、音声のケプストラム分析を実行することにより音声を分析するように構成される。
いくつかの実施形態では、プロセッサは、音声を分析することにより、その音声の意味を識別するようにさらに構成され、ここでプロセッサは、意味に応答して状態を評価するように構成される。
いくつかの実施形態では、プロセッサは、被験者に対し、質問に口頭で応答することにより、音声を提供するように促すようにさらに構成される。
いくつかの実施形態では、プロセッサは、被験者に電話をかけ、そして被験者が電話に応答する時に、質問を被験者に聞くことにより、音声を提供するように被験者に促すように構成される。
いくつかの実施形態では、疾患は肺水腫、および胸水から構成されるグループから選択される。
いくつかの実施形態では、プロセッサは、状態の悪化を示す警告を提供することにより出力を生成するように構成される。
いくつかの実施形態では、音声関連パラメータは、音声の少なくとも1つのフォルマント周波数を含む。
いくつかの実施形態では、プロセッサは、フォルマント周波数をベースライン周波数と比較することにより肺疾患の状態を評価するように構成される。
いくつかの実施形態では、プロセッサは、音声に対応する時間空間の信号のそれぞれのフレームに対し:フレームのケプストラムを計算し;その後、フレームのケプストラムに対しローパスケプストラムリフタを適用し;その後、リフトされたケプストラムを逆変換し;そしてその後、逆変換された、リフトされたケプストラムのピークを識別することにより、フレームのフォルマント周波数を識別し;そしてフレームのそれぞれのフォルマント周波数に基づいて、当該音声の少なくとも1つのフォルマント周波数を識別する、ことにより音声を分析するように構成される。
いくつかの実施形態では、プロセッサは、分析のために:音声のエネルギーレベル、音声のピッチの安定性、音声のピッチの計算の信頼度、および音声のフォルマント周波数の安定性、からなるグループから選択される1つまたはそれ以上のメトリックに基づき、音声の少なくとも1つの部分を選択し、そしてその後、音声の選択された部分を分析する、ことにより音声を分析するように構成される。
いくつかの実施形態では、プロセッサは、音声関連パラメータに機械学習モデルを適用することにより、肺疾患の状態を評価するように構成される。
いくつかの実施形態では、音声関連パラメータは1組のメル周波数ケプストラム係数(MFCC)を含む。
いくつかの実施形態では、音声関連パラメータは1組のメル周波数ケプストラム係数(MFCC)の導関数を含む。
いくつかの実施形態では、音声関連パラメータは1組の相対スペクトル変換知覚線形予測(RASTA−PLP)ケプストラム成分を含む。
いくつかの実施形態では、音声関連パラメータは1組の相対スペクトル変換知覚線形予測(RASTA−PLP)スペクトル成分を含む。
いくつかの実施形態では、プロセッサは、音声内の咳音を識別することなく、かつ喘鳴音を識別することなく肺疾患の状態を評価するように構成される。
いくつかの実施形態では、プロセッサは、最初に被験者に対し音声を提供するように促すことなく、被験者の音声を分析するように構成される。
いくつかの実施形態ではさらに、方法であって、プロセッサを使用して、余剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を分析することにより、その音声の1つまたはそれ以上の音声関連パラメータを識別するステップを有する方法が提供される。方法はさらに、音声関連パラメータに応答して、自動的に肺疾患の状態を評価するステップと;そして評価に応答して、肺疾患の状態を示す出力を生成するステップと;を有する。
いくつかの実施形態ではさらに、移動通信端末とそしてプロセッサを備えるサーバとを有するシステムが提供される。プロセッサは、ネットワークインタフェース経由で、余剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を受信し、音声を分析することにより、音声の1つまたはそれ以上の音声関連パラメータを識別し、その音声関連パラメータに応答して、肺疾患の状態を評価し、そしてその評価に応答して、肺疾患の状態を示す出力を生成する、ように構成される。
いくつかの実施形態ではさらに、プログラム命令が保管される接触可能非一過性コンピュータ可読媒体を有するコンピュータ用ソフトウェアを有する製品が提供される。その命令は、プロセッサによって読み取られた場合に、プロセッサに対し、ネットワークインタフェース経由で、余剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を受信し、その音声を分析することにより、音声の1つまたはそれ以上の音声関連パラメータを識別し、その音声関連パラメータに応答して、肺疾患の状態を評価し、そしてその評価に応答して、肺疾患の状態を示す出力を生成する、ようにさせる。
いくつかの実施形態ではさらに、音響センサとおよびプロセッサとを有する装置が提供される。プロセッサは、ネットワークインタフェース経由で、余剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を受信し、その音声を分析することにより、音声の1つまたはそれ以上の音声関連パラメータを識別し、その音声関連パラメータに応答して、肺疾患の状態を評価し、そしてその評価に応答して、肺疾患の状態を示す出力を生成する、ように構成される。
本発明は以下の図を参照した実施形態の詳細な説明からより十分に理解されよう:
本発明のいくつかの実施形態による、肺疾患を評価するためのシステムの概略図である。 本発明のいくつかの実施形態による、プロセッサにより実行される事前処理方法の概略図である。 本発明のいくつかの実施形態による、被験者の音声を分析する方法の概略図である。
本発明の実施形態は、肺内または肺付近の過剰な体液の蓄積に関連する肺水腫または胸水疾患などの肺疾患の状態を評価する方法およびシステムを提供する。いくつかの実施形態では、肺疾患の状態を評価するシステムは、スマートフォンおよび遠隔サーバを含む。スマートフォンは、被験者が話すときに被験者を記録し、記録された音声信号を分析のために遠隔サーバに送信する。信号を自動的に分析することによって、遠隔サーバは、音声の1つまたはそれ以上の音声関連パラメータを識別し、そのパラメータに応答して、疾患の状態を評価する。次に、サーバは、スマートフォンを駆動するスマートフォンへの出力を生成し、次にスマートフォンは視覚出力のような、疾患の状態を示す出力を生成する。これに代えて、またはそれに加えて、被験者の状態が悪化した場合、サーバは、以下に説明するように、緊急コールセンターおよび/または被験者の医者または介護者に、その悪化を警告してもよい。
典型的には、評価の基礎となる音声関連パラメータは、音声の少なくとも1つのフォルマント周波数のような、音声のスペクトルおよび/またはケプストラム特性を含む。 フォルマント周波数は、通常、声道または上気道に関連するが、本発明の実施形態は、フォルマント周波数の変化が、実質、胸腔または肺に属す、または肺の近くにある解剖学的な他の部分に存在する体液の量の変化を示し得るという観察に基づいている。特に、フォルマント周波数の増加は、体液の量の増加を示し、逆もまた同様であることが観察された。したがって、システムは、フォルマント周波数の増加に基づいて疾患の状態の悪化を識別することができ、そしてその逆もあり得る。
代替的または追加的に、システムは、音声信号から抽出された特定のパラメータまたは「特徴」に機械学習モデルを適用することによって、疾患の状態を評価してもよい。このようなモデルは、状態を示す数値を出力する回帰子(リグレッサ)を含むことができる。例えば、回帰モデルは、肺の内部または近くの体液のベースラインに対する推定量を示す数値を出力してもよい。代替的にまたは追加的に、そのようなモデルは、肺疾患の現在の状態を分類する、および/または肺疾患の現在の状態に基づいて被験者の現在の状態を分類する分類子(クラシファイヤ)を含むことができる。例えば、そのような分類モデルは、被験者を「透析が必要」または「透析が必要でない」と分類してもよい。
本発明の実施形態は、肺疾患の状態を評価するために、必ずしも咳音、喘鳴音、呼吸音(例えば、鳴き声)、または他の音声に関連しないパラメータの識別を必要としないことが強調される。むしろ、評価は、被験者の音声のフォルマント周波数および/または本明細書に記載されている他の音声関連パラメータのいずれかなどの音声関連パラメータのみに基づいてもよい。さらに、被験者は、任意の特定の時間に、特定の音を発したり、特定の単語を言ったり、あるいは自然に話すように促される必要は必ずしもない。むしろ、システムは、スマートフォンでの被験者の通常の日常会話から得られた発話文を分析してもよい。(上記にかかわらず、いくつかの実施形態では、被験者は、特に、被験者の「自然な」音声の分析が決定的でない場合には、特定の音を発したり、および/または特定の単語を言ったりするように促されてもよい。
一般に、本明細書に記載の実施形態は、被験者の疾患の悪化の早期発見およびその治療介入を容易にし、それにより被験者の入院が必要でない可能性がある。例えば、本明細書に記載された実施形態では、被験者が服用中の特定のタイプおよび/または投薬量の薬剤の有効性を評価することを容易にし、それにより悪化が観察された場合、入院が必要となる前に、薬剤の特定のタイプおよび/または投薬量を調整してもよい。
(システムの記述)
最初に、本発明のいくつかの実施形態による、肺疾患の状態を評価するためのシステム20の概略図である図1を参照する。システム20は、スマートフォン24または他の移動通信端末などのような通信および/またはコンピューティングデバイス、およびサーバ26を備える。肺水腫または胸水などの肺疾患に罹患している被験者22は、典型的には、被験者の通常の日常会話活動の経過中にスマートフォン24に向かって話す。スマートフォンは、被験者の音声をサーバ26に送信し、サーバ26は、肺状態の状態を評価するなどのため、以下でさらに説明するように、音声を分析する。(このような分析は、被験者が話しているときに、オフラインで、またはリアルタイムで実行してもよい。)次に、サーバは分析の結果をスマートフォンに返し、スマートフォンは、肺疾患の状態を示す、音声および/または映像出力として出力を生成する。例えば、サーバは、疾患の悪化のサーバの識別に応答して、スマートフォンを介して、悪化を示す警告を提供し、および/または被験者に医師と話すよう指示し、処方された薬物を服用し、および/または、服用する薬剤のタイプを調整するか、または投薬量を増加させることができる。逆に、被験者の状態の改善または安定化に応答して、システムは投薬量の減少を推奨してもよい。
いくつかの実施形態では、サーバは、分析の結果および/または警報などの出力を遠隔端末に伝達するように構成され、代替的にまたは付加的に、これらの出力を被験者のスマートフォンに伝達するように構成される。したがって、例えば、サーバは、被験者の医師、介護者、保険会社、または雇用者、または病院、緊急コールセンター、またはデータセンターに出力を伝達してもよい。代替的または追加的に、スマートフォンは、そのような遠隔端末に出力を伝達してもよい。
いくつかの実施形態では、スマートフォンは、薬注ポンプを制御するように構成される。そのような実施形態では、被験者の疾患の悪化に応答して、スマートフォンは、警告を必ずしも生成することなく、ポンプによって被験者に送達される投薬量を自動的に増加させることができる。続いて、用量の増加が成功したかどうかを確認するために、追跡分析を行うことができる。投与量の増加がうまくいかなかった場合は、警告が生成されてもよい。代替的または追加的に、スマートフォンは、分析結果に応答して利尿ポンプを制御するように構成されてもよく、例えば、スマートフォンは、ポンプの動作周波数を自動的に変更してもよい。
一般的に、悪化に対する応答は、典型的に悪化の程度の大きさに依存する。例えば、比較的小さな悪化に対して、システムは、必ずしも警告を発することなく、被験者の音声が分析される頻度の増加を推奨するか、または自動的に実施し、および/または被験者の疾患に関連し得る追加のパラメータを識別するために分析を拡大してもよい。より大きな悪化に対しては、警告が生成されてもよく、および/またはシステムは、利尿薬のような薬剤の投薬量の増加を推奨するか、または自動的に実施してもよい。代替的または追加的に、システムは、被験者が医者に会うことを推奨してもよい。更に極端な場合には、システムは自動的に緊急コールセンターに連絡してもよい。
典型的には、サーバ26は、被験者22から離れて、例えば「クラウド内に」存在する。サーバは、入力をスマートフォンから受け取り、出力をスマートフォンに送信するネットワークインタフェースコントローラ(NIC)28などのネットワークインタフェースを備える。サーバはさらに、NIC28を介してスマートフォンから受信した入力に基づいて関連出力を計算し、NIC28を介してこれらの出力をスマートフォンに返信する、プロセッサ30を含む。同様に、スマートフォンは、プロセッサ34と、サーバとの通信を交換するためにプロセッサ34によって使用される無線送受信機(TCVR)32などのネットワークインタフェースとを備える。スマートフォンは、被験者によって発せられた音を受信するように構成された音響センサをさらに備える。
別の実施形態では、プロセッサ34などのローカルプロセッサ、またはラップトップまたはデスクトップコンピュータなどの別のローカルコンピューティングデバイスのプロセッサが、被験者の音声を処理する。例えば、被験者は、ラップトップコンピュータに付属するマイクロフォンに向かって話すことができ、次いで、ラップトップコンピュータのプロセッサは、マイクロフォンから得られた音声信号を処理してもよい。
典型的には、プロセッサ34は、専用のソフトウェアアプリケーションによって提供されるプログラム命令を実行することによって、本明細書に記載される関連機能を実行する。ソフトウェアアプリケーションは、典型的には、プロセッサによってバックグラウンドで連続的に実行され、それにより被験者は、アプリケーションの実行中にスマートフォンをいつも通り使用してもよい。被験者が電話に向かって話し始めると、被験者が必ずしも気付くことなく、アプリケーションは被験者の音声を記録し、および/または送信し始める。あるいは、アプリケーションは、被験者によって手作業で起動されてもよく、および/または被験者が呼び出しを開始または応答したときにプロセッサによって自動的に起動されてもよい。
典型的には、アプリケーションは、最新の分析から特定の持続時間が経過したとき、またはサーバまたは被験者が分析を要求するときはいつでも、解析のために音声信号をサーバに送るようにプロセッサ34に指示する。次いで、プロセッサ34は、被験者が通話に関与するのを待ち、その時点で、音声信号の受信後、プロセッサは音声信号をサーバに送信してもよい。あるいは、プロセッサは、音声信号を得ることができるように、(例えば、スマートフォンディスプレイ上にメッセージを表示することによって)被験者にスマートフォンで話すように促すことができる。いくつかの実施形態では、サーバは(自動的にスマートフォンを呼び出すことによって)被験者に自動的に電話をかけ、被験者が電話に応答すると被験者に話すように促す。例えば、サーバは、「あなたは今日あなたの薬を飲みましたか?」(質問は記録されてもよいし、音声合成されてもよい)と質問してもよい。被験者の回答を受信すると、サーバは、以下に説明するように、意味および/または音声特性について回答を分析してもよい。
あるいは、被験者は、医療従事者から指示を受けるなど、他の適切な方法で話すように促されてもよい。いくつかの実施形態では、被験者は、例えば、スマートフォンによって、特定の歩数だけ歩く、または特定の数だけ階段を登るなど、話す前に特定の行動を実行するよう促されてもよい。
典型的には、上述したように、プロセッサ30は、被験者の自然な「自由」な音声を分析する。しかしながら場合によっては、被験者は、本明細書に記載の分析を容易にするために見出された特定の単語または文を暗唱するように、例えばプロセッサ34によって促されてもよく、これらの単語または文はその後、分析のためにサーバに伝達されてもよい。(被験者の疾患をより効果的に評価するために、分析が実行されるたびに同じ特定の単語または文章を使用してもよい。)
いくつかの実施形態では、被験者の音声の意味(すなわち、意味内容)が自動的に識別され、その意味に応答して疾患の状態の評価が実行される。例えば、被験者は、特定の質問に口頭で応答することによって音声を提供するように、例えばスマートフォンによって促されてもよい。次に、質問に対する被験者の口頭応答は、本明細書に記載されている(応答のスペクトルおよび/またはケプストラム特性などの声質特性を記述する)音声関連パラメータの識別のため、および応答の意味のために分析される。(質問は、スマートフォンのディスプレイ上で視覚的に、および/または聴覚的に行われてもよい。)このような質問の例としては、「あなたは今日薬を飲みましたか」、「ご気分はいかがですか?」および「今日はどれだけ運動しましたか?」を含む。被験者の回答の音声特性および意味の両方を識別することによって、被験者の疾患の状態をよりよく評価してもよい。(そのような実施形態では、被験者は、分析を容易にするために、回答の候補の所定のグループから1つの回答を選択するように要求されうる。)例えば、被験者が「今日薬を飲みましたか?」という質問に「はい。」と答えたが、音声関連パラメータが被験者の状態の悪化を示している場合、プロセッサは、被験者に処方された薬の投薬量が十分に高くないことを確認してもよい。
ある場合には、プロセッサ30は、長い「ああ」のような特定の、場合によっては無意味な音を分析してもよい。(スマートフォンのプロセッサ34は、サーバからの要求を受信すると、そのような音声を発声するように被験者に促すように構成されてもよい。)これらの音を分析する際に、プロセッサ30は、本明細書に記載の1つまたはそれ以上の関連パラメータを識別してもよい。これらのパラメータは、選択肢としてその後、被験者の疾患の状態を評価するために、被験者の自然な音声から導出された1つまたは複数の他のパラメータと組み合わせて使用されてもよい。
一般に、プロセッサ30は、適切な任意の間隔で分離された任意の適切な所定の時間に被験者の音声を分析してもよい。例えば、プロセッサは、入院直後(被験者の疾患が比較的安定しているとき)、入院1週間後、入院3週間後の被験者の音声を分析してもよい。あるいは、例えば、プロセッサは、毎日(例えば、被験者の退院時に開始して)、または1日おきに被験者の音声を分析してもよい。いくつかの実施形態では、分析スケジュールは、被験者の疾患の知覚に対してカスタマイズされる。例えば、被験者が被験者の疾患の改善または悪化を知覚したときに分析が行われてもよい。
一般に、プロセッサ30およびプロセッサ34の各々は、単一のプロセッサとして、または協働的にネットワーク化された、またはクラスタ化されたプロセッサの1組として実現されてもよい。プロセッサ30およびプロセッサ34の各々は、典型的には、中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、ハードドライブまたはCD ROMドライブなどの不揮発性二次記憶装置、ネットワークインタフェース、および/または周辺装置を有する、プログラムされたデジタルコンピューティング装置である。ソフトウェアプログラムおよび/またはデータを含むプログラムコードは、既存技術で公知の通り、CPUによる実行および処理のためRAMにロードされ、そして結果は表示、出力、送信または記憶のために生成される。プログラムコードおよび/またはデータは、例えば、ネットワークを介して電子形式でプロセッサにダウンロードされてもよく、あるいは、代替的または追加的に、磁気的、光学的、または電子メモリのような非一過性接触可能媒体に提供および/または保管されてもよい。そのようなプログラムコードおよび/またはデータは、プロセッサに提供されると、本明細書で説明されるタスクを実行するように構成された、機械または専用コンピュータを形成する。
ここで、図2を参照する。それは、本発明のいくつかの実施形態による、プロセッサ30によって実行される前処理方法の概略図である。
いくつかの実施形態では、スマートフォンから受信した音声信号を分析する前に、プロセッサ30は音声信号を前処理して、分析に最も適した信号の部分を識別する。図2は、左側に、スマートフォンから受信した時間領域における元の音声信号36を示す。 典型的には、プロセッサは、まず、信号36を、それぞれがいくつかのサンプルを含む複数の(おそらくは重複する)フレームに分離する。(例えば、8kHzのサンプリングレートを仮定すると、40msのフレームは320のサンプルを含む)。次にプロセッサは、プロセッサによって信号の分析に最も適した部分を選択するために使用される、1つ以上のメトリックを信号36から導出する。
例えば、プロセッサは、例えば信号の最大エネルギーレベルに対して対数スケールで表現される音声信号のエネルギーレベル38を、計算してもよい。その後プロセッサは、分析のために、エネルギーレベルが特定の閾値40を上回る、信号の最大連続部分を選択してもよい。代替的にまたは追加的に、プロセッサは、音声信号のピッチ42および、ピッチ計算が実行された信頼度を示す、対応する信頼度レベル44を計算してもよい。次いで、プロセッサは、ピッチの値および/またはピッチ信頼レベルに基づいて、解析のための信号部分を選択してもよい。例えば、プロセッサは、ピッチの安定性が特定の閾値を上回る、すなわちピッチが特定の閾値よりも小さく変化する、および/またはピッチ計算の信頼度が特定の閾値より上である信号の、最大の連続部分を選択してもよい。代替的または追加的に、プロセッサは、信号に属する各フレームの少なくとも1つのフォルマント周波数46を計算し、フォルマント周波数の安定性に基づいて選択してもよい。
一般的には、上述の選択基準の全てが実施される。すなわち、一般的には、プロセッサは、(i)エネルギーレベルが閾値を上回る、(ii)ピッチが十分に安定している、(iii)ピッチ信頼性が十分高い、かつ(iv)フォルマント周波数が十分に安定している、信号の部分のみを選択する。詳細には、プロセッサは、エネルギーレベル基準に基づく信号の一部の選択に続いて、典型的には、信号を複数の大きめのセグメントに分割し、その各セグメントは数フレームを含み、次いでプロセッサは、分析のために、上記のピッチベースおよびフォルマントベースの選択基準を満たす、一連の連続したセグメントを選択する。例えば、フレーム131〜680が(図3に概略的に示されているように)十分なエネルギーを有すると仮定すると、プロセッサは、フレーム131〜680を、それぞれ55個のフレームを含む10個のセグメントS1,S2,...S10に分割してもよい。次いで、ピッチベースおよびフォルマントベースの選択基準に基づいて、これらのセグメントの連続する1つのサブセット(例えば、これらのセグメントの第2から第9まで)を選択してもよい。
上記の前処理は、典型的には、音声信号を何らかの方法でクリーニングすることを含まないことが強調される。言い換えれば、プロセッサ30は、典型的には、信号をより分析に適したものにするために、音声信号を変更しない。むしろ、上述したように、プロセッサは、これらの部分の元の内容を保存しながら、信号の任意の適切な部分を選択する。不十分な大きさの信号部分が解析に適していると分かった場合、プロセッサ30は、スマートフォンに、別の1つの信号をサーバに送信するように指示してもよい。上述した前処理技術に続いて、プロセッサ30は、音声の1つ以上の音声関連パラメータを識別するなどのために、分析に適していると確認された音声信号の部分を分析する。次に、そのパラメータに応答して、プロセッサは、肺疾患の状態を評価する。例えば、プロセッサは、音声の少なくとも1つのフォルマント周波数(例えばフォルマント周波数F1、F2、F3、および/またはF4)を識別し、そのフォルマント周波数に応答して肺疾患の状態を評価してもよい。典型的には、プロセッサは、フォルマント周波数をベースライン(または「基準」)周波数と比較することによって肺疾患の状態を評価する。そのようなベースライン周波数は、以前の期日に測定された、被験者の音声のフォルマント周波数であってもよい。現在のフォルマント周波数がこのベースライン周波数よりも大きい場合、被験者の疾患は悪化している。逆に、現在のフォルマント周波数がこのベースライン周波数よりも低い場合、被験者の疾患は改善している。現在のフォルマント周波数がベースライン周波数にほぼ等しい場合、被験者の疾患は安定している。
例えば、プロセッサは、ベースライン周波数として、病院からの被験者の退院時に測定された(例えば、プロセッサによって、本明細書に記載の技術を使用して)フォルマント周波数を使用してもよい。現在のフォルマント周波数がこのベースライン周波数よりも大きい場合、被験者の状態は悪化している。一方、フォルマント周波数の変化が少ないと、被験者の状態が安定していることを示す可能性がある。
あるいは、そのようなベースライン周波数は、被験者の状態が安定していると考えられるターゲット(または「プラトー」)周波数、または治療介入および/または入院が必要とされる「境界」周波数であってもよい。(このようなベースライン周波数は、被験者の病歴に基づいて、被験者ごとに別々に確立してもよい。)プロセッサは、現在のフォルマント周波数をそのようなベースライン周波数と比較することによって、肺疾患の現在の状態を評価してもよい。いくつかの実施形態では、現在のフォルマント周波数とターゲット周波数との間の差が特定の閾値より大きい場合、または現在のフォルマント周波数がボーダーライン周波数よりも大きい場合に警告が生成される。
いくつかの実施形態では、被験者のフォルマント周波数は、被験者が健康であると(例えば、医師によって)みなされる期間にわたって測定される。これらの測定値の平均をベースラインとし、これらの測定値の標準偏差はアラートが生成される閾値を定義するのに使用される。例えば、後続の1つのフォルマント周波数がベースラインを2標準偏差以上超える場合、警告が生成されてもよい。純粋に例示的な例として、フォルマント周波数F1は、F1が264Hzを超える場合に警告が生成されるように、17Hzの標準偏差を有する230Hzのベースラインを有してもよい。
被験者の履歴が利用可能でない場合など、場合によっては、ベースラインは母集団の平均に基づいてもよい。これに関して、対象の性別、体重、身長、年齢、または身体活動レベルなどの被験者に関連する特性を取得し、適切なベースラインを選択するために使用してもよい。例えば、個人の関連する特性に基づいて、個人の母集団を複数のクラスタにクラスタリングすることができ、次に関連するパラメータ(例えば、フォルマント周波数)の平均を被験者が属するクラスタに関して計算することによって、被験者に対するベースラインが選択されうる。
いくつかの実施形態では、プロセッサは、フォルマント周波数における傾向を識別し、識別された傾向に基づいてアラートなどの出力を生成する。例えば、プロセッサが特定の日数にわたりフォルマント周波数の増加を識別した場合、プロセッサは、被験者の状態の悪化を識別し、したがって警告を生成してもよい。(フォルマント周波数がベースライン周波数に基づく閾値を超えていなくても、そのような警告が生成されてもよい。)あるいは、プロセッサが特定の日数にわたりフォルマント周波数の減少を識別した場合、プロセッサは、被験者の状態の改善を示す出力を生成してもよい。
いくつかの実施形態では、フォルマント周波数を識別するために、プロセッサは、まず、選択されたセグメント内の各フレームのフォルマント周波数を識別する。(プロセッサは、最初に、各フレームにハミング窓を適用し、および/または各フレームをプリエンファシスフィルタでフィルタリングしてもよい。)次に、音声(すなわち、全体としての音声信号)のフォルマント周波数が各フレームのフォルマント周波数に基づいて識別される。例えば、プロセッサは、フレームのそれぞれのフォルマント周波数の平均または中央値を計算し、このメトリックを音声のフォルマント周波数として識別してもよい。
ここで、本発明のいくつかの実施形態による、被験者の音声を分析する方法の概略図である図3を参照する。図3に示す方法は、フォルマント周波数の識別を容易にする。
いくつかの実施形態で実行されるこの方法では、プロセッサはまず、位相アンラッピングに続いて、フレームのフーリエ変換の振幅の対数の逆フーリエ変換である各フレームのケプストラム48を計算する。ケプストラム48は、実数成分と虚数成分の両方を有する。いくつかの実施形態では、これらの成分の両方がプロセッサによって分析され、他の実施形態では、プロセッサは実成分のみを分析する。後者が、図3および以下の説明で想定されている;すなわち、図3にプロットされた「ケプストラムレベル」がケプストラムの実数成分であり、この実数成分に対して以下に説明する処理が行われる。(ケプストラムグラフの独立変数は「ケフレンシー」と呼ばれ、サンプル単位で測定される。)
続いて、プロセッサは、フレームのケプストラムにローパスケプストラムリフタ50を適用する。(ケプストラム上で動作するフィルタは、「ケプストラム・リフタ」と呼ばれる。)ケプストラム・リフタ50に対する適切なカットオフ・ケフレンシーは、ケプストラムの周期的な部分の十分なリフターオフを示す、逆変換されたリフタされたケプストラムが、閾値レベルの平滑さを有することを要件とすることによって見いだされる。
次に、プロセッサは、リフタされたケプストラムを周波数領域に逆変換し、逆変換された、リフタされたケプストラム信号52を導出する。その後プロセッサは、信号52のピーク54を識別することによって、フレームのフォルマント周波数を識別する。例えば、ピーク54が350Hzに位置すると仮定すると、フレームのフォルマント周波数は350Hzとなる。(図3に示す例では、識別されたフォルマント周波数はF1フォルマントである。他の場合には、F2のような他のフォルマント周波数をF1の代わりにまたはそれに加えて識別してもよい)。
上述したように、プロセッサは、信号36の各フレームについて上述した技術を実行し、フレーム特異のフォルマント周波数から単一の総合フォルマント周波数を計算する。この総合フォルマント周波数は、被験者の疾患の状態を評価するために使用される。
代替的にまたは付加的に、プロセッサは、信号36から抽出された他の音声関連パラメータに応答して被験者の疾患の状態を評価してもよい。このような他のパラメータは:1組のメル周波数ケプストラム係数(MFCC)またはそれらの導関数、1組の相対スペクトル変換知覚線形予測(RASTA−PLP)ケプストラム成分、および/または1組のRASTA−PLPスペクトル成分を含むことができる。被験者の音声から識別され、被験者の疾患を評価するために使用され得る様々な他のパラメータには、呼吸の間の時間間隔、音声の休止回数、音声の大きさ、音声の不規則性、どもりの数、および呼気長、ならびに任意の関連する周波数またはピッチパラメータを含む。後者の例として、被験者が低周波を生成できないこと、または観察された歪みの変化に基づいて、被験者の疾患を評価してもよい。
代替的にまたは追加的に、プロセッサは、被験者の画像(それは例えば、被験者が話している間に、スマートフォンの付属カメラ、または外部カメラによって取得されてもよい)、被験者の体重、被験者から採取された心エコー(ECG)記録、被験者の動脈酸素飽和度、および/または被験者の活動レベル(例えば、前の期間における歩数によって数値化される)などのような、他の非音声関連パラメータに基づいて評価してもよい。 これらのパラメータのいずれかが、例えば、被験者によって、スマートフォンに入力されてもよい。いくつかの実施形態では、スマートフォンは、これらのパラメータまたは他のパラメータの1つまたは複数を測定するように構成された外部装置、例えば、カメラ、肺活量計、パルスオキシメーター、心電計、心拍モニタ、血圧モニタ、皮膚伝導度センサ、姿勢モニタ等に例えば無線で、機能的にリンクされてもよい。
いくつかの実施形態では、プロセッサは、前述のパラメータの一部または全部に分類子または回帰子などの機械学習モデルを適用する。このような実施形態では、プロセッサは、典型的には、複数のラベル付けされた音声記録に基づいてモデルを学習するように構成されている。例えば、プロセッサには、透析治療の直前に記録が得られたことを示す「ウェット」、または透析治療の直後に記録が得られたことを示す「ドライ」のいずれかにラベル付けされた複数の音声記録が提供されてもよい。次いで、これらの記録の各々は、パラメータ(または「特徴」)抽出のために各記録の最も適切な部分を選択するなど、上記のように前処理されてもよい。その後、各記録から関連するパラメータが抽出され、k近傍法(KNN)、決定木、またはサポートベクトルマシン(SVM)などの機械学習アルゴリズムに、例えばガウスカーネルで供給される。例えば、いくつかの実施形態では、プロセッサは、それぞれの記録のそれぞれ選択された部分のそれぞれのフレームから、(i)12個のMFCCの1組、(ii)12個のMFCC一次導関数の1組、iii)12個のMFCC二次導関数の1組、(iv)8個のRASTA−PLPケプストラム成分の1組、および(v)8個のRASTA−PLPスペクトル成分の1組、を含む60個のパラメータの1組を抽出する。典型的には、主成分分析(PCA)などの次元削減アルゴリズムを使用して、フルセットの次元数を例えば48次元に削減する。この削減されたパラメータの1組は、関連するラベルとともに、関連する機械学習アルゴリズムに供給される。その後、そのアルゴリズムはモデルを学習し、その後の記録に適用してもよい。例えば、アルゴリズムは、後続の記録を「ウェット」または「ドライ」として分類することを学ぶことができる。
(一般に、D次元、1記録あたりのF個のフレーム、およびN個の記録を仮定すると、アルゴリズムに供給される「トレーニングセット」は、サイズDxFNのマトリックスを含む。例えば、20個の記録(例えば10個の「ウェット」個六と10個の「ドライ」記録)、記録当たり150フレーム、および48次元とすると、トレーニングセットは48x3000のサイズのマトリックスを含む。)
いくつかの実施形態では、後続の記録を分類するために、プロセッサは、まず、記録の各フレームを別々に分類する。(上述したように、プロセッサは、記録の最も適切な部分に属するフレームのみを使用してもよい)。例えば、プロセッサは、学習されたSVMモデルを適用することができ、各SVMモデルはそれぞれのフレームに対し0と1の間の確立を返し、ここで0は「ドライ」を示し、1は「ウェット」を示す。このようなモデルを適用する場合、プロセッサは、例えば0.3未満の確率は「ドライ」決定を提供し、0.7以上の確率は「ウェット」決定を提供し、そして中間の確率は決定を全く提供しないように、適切な判定閾値を設定してもよい。次に、プロセッサは、「ドライ」決定の総数を「ウェット」決定の総数と比較し、より多くの決定を受け取った分類をその記録に適用してもよい。(この比較を実行する際に、プロセッサは、判定閾値に近い確率に比較して、0または1に近い確率に高い重み付けをしてもよい)。
典型的には、適切な期間にわたって被験者から訓練データを取得し、次いでこれらのデータに適切な機械学習アルゴリズムを適用することによって、それぞれの被験者に対して別個のモデルが学習される。
本明細書の開示は、主として、肺の内部または近傍の過剰な体液の蓄積に関連する肺疾患に関するものであるが、本明細書に記載の実施形態は、慢性閉塞性肺疾患(COPD )または喘息などの他のタイプの肺疾患に対しても、必要な変更を施して適用できることに留意する必要がある。
当業者であれば、本発明は、上記の本明細書に特に示され記載されたものに限定されないことが理解されよう。むしろ、本発明の範囲は、上述の様々な特徴の組み合わせおよびサブ組み合わせ、ならびに先の記載を読むことにより当業者に想起される、先行技術にはない、それらの変化形および修正形の両方を含む。

Claims (41)

  1. 装置であって、
    ネットワークインタフェース;および
    プロセッサ;を有し、
    前記プロセッサは、
    前記ネットワークインタフェース経由で、余剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を受信し、
    前記音声を分析することにより、前記音声の1つまたはそれ以上の音声関連パラメータを識別し、
    前記音声関連パラメータに応答して、前記肺疾患の状態を評価し、そして
    前記評価に応答して、前記肺疾患の状態を示す出力を生成する、
    ように構成される、ことを特徴とする装置。
  2. 前記プロセッサは、前記音声のスペクトル分析を実行することにより前記音声を分析するように構成される、ことを特徴とする請求項1に記載の装置。
  3. 前記プロセッサは、前記音声のケプストラム分析を実行することにより前記音声を分析するように構成される、ことを特徴とする請求項1に記載の装置。
  4. 前記プロセッサは、前記音声を分析することにより、前記音声の意味を識別するようにさらに構成され、ここで前記プロセッサは、前記意味に応答して前記状態を評価するように構成される、ことを特徴とする請求項1に記載の装置。
  5. 前記プロセッサは、前記被験者に対し、質問に口頭で応答することにより、前記音声を提供するように促すようにさらに構成される、ことを特徴とする請求項1に記載の装置。
  6. 前記プロセッサは、
    前記被験者に電話をかけ、そして前記被験者が電話に応答する時に、前記質問を前記被験者に聞くことにより、
    前記音声を提供するように前記被験者に促すように構成される、ことを特徴とする請求項5に記載の装置。
  7. 前記疾患は肺水腫、および胸水から構成されるグループから選択される、ことを特徴とする請求項1に記載の装置。
  8. 前記プロセッサは、前記状態の悪化を示す警告を提供することにより前記出力を生成するように構成される、ことを特徴とする請求項1に記載の装置。
  9. 前記音声関連パラメータは、前記音声の少なくとも1つのフォルマント周波数を含む、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  10. 前記プロセッサは、前記フォルマント周波数をベースライン周波数と比較することにより前記肺疾患の状態を評価するように構成される、ことを特徴とする請求項9に記載の装置。
  11. 前記プロセッサは、
    前記音声に対応する時間空間の信号のそれぞれのフレームに対し:
    前記フレームのケプストラムを計算し;
    その後、前記フレームの前記ケプストラムに対しローパスケプストラムリフタを適用し;
    その後、前記ローパスケプストラムリフタを適用された前記ケプストラムを逆変換し;そして
    その後、前記逆変換された、前記リフトされたケプストラムのピークを識別することにより、前記フレームのフォルマント周波数を識別し;
    そして
    前記フレームのそれぞれの前記フォルマント周波数に基づいて、前記音声の少なくとも1つのフォルマント周波数を識別する、
    ことにより前記音声を分析するように構成される、ことを特徴とする請求項9に記載の装置。
  12. 前記プロセッサは、
    分析のために:前記音声のエネルギーレベル、前記音声のピッチの安定性、前記音声のピッチの計算の信頼度、および前記音声のフォルマント周波数の安定性、からなるグループから選択される1つまたはそれ以上のメトリックに基づき、前記音声の少なくとも1つの部分を選択し、そして
    その後、前記音声の前記選択された部分を分析する、
    ことにより前記音声を分析するように構成される、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  13. 前記プロセッサは、前記音声関連パラメータに機械学習モデルを適用することにより、前記肺疾患の状態を評価するように構成される、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  14. 前記音声関連パラメータは1組のメル周波数ケプストラム係数(MFCC)を含む、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  15. 前記音声関連パラメータは1組のメル周波数ケプストラム係数(MFCC)の導関数を含む、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  16. 前記音声関連パラメータは1組の相対スペクトル変換知覚線形予測(RASTA−PLP)ケプストラム成分を含む、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  17. 前記音声関連パラメータは1組の相対スペクトル変換知覚線形予測(RASTA−PLP)スペクトル成分を含む、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  18. 前記プロセッサは、前記音声内の咳音を識別することなく、かつ喘鳴音を識別することなく肺疾患の状態を評価するように構成される、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  19. 前記プロセッサは、最初に前記被験者に対し前記音声を提供するように促すことなく、前記被験者の前記音声を分析するように構成される、ことを特徴とする請求項1−8のいずれか1項記載の装置。
  20. 1つまたはそれ以上の装置を操作する方法であって、
    前記方法は前記装置のそれぞれのプロセッサにより実行され
    剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を分析するステップにより、前記音声の1つまたはそれ以上の音声関連パラメータを識別するステップと;
    前記音声関連パラメータに応答して、自動的に前記肺疾患の状態を評価するステップと;そして
    前記評価に応答して、前記肺疾患の状態を示す出力を生成するステップと;
    を有することを特徴とする1つまたはそれ以上の装置を操作する方法。
  21. 前記音声を分析するステップは、前記音声のスペクトル分析を実行するステップを有する、ことを特徴とする請求項20に記載の方法。
  22. 前記音声を分析するステップは、前記音声のケプストラム分析を実行するステップを有する、ことを特徴とする請求項20に記載の方法。
  23. 前記被験者の音声を自動的に分析することにより、前記音声の意味を識別するステップをさらに有し、前記状態を評価するステップは、前記意味に応答して前記状態を評価するステップを有する、ことを特徴とする請求項20に記載の方法。
  24. 前記被験者に対し、質問に口頭で応答することにより、前記音声を提供するように促すステップをさらに有する、ことを特徴とする請求項20に記載の方法。
  25. 前記被験者に対し音声を提供するように促すステップは、
    前記被験者に自動的に電話をかけるステップと、そして
    前記被験者が電話に応答する時に、前記プロセッサを使用して、前記質問を前記被験者に聞くステップと、
    を有する、ことを特徴とする請求項24に記載の方法。
  26. 前記疾患は肺水腫、および胸水から構成されるグループから選択される、ことを特徴とする請求項20に記載の方法。
  27. 前記出力を生成するステップは、前記状態の悪化を示す警告を提供するステップを有する、ことを特徴とする請求項20に記載の方法。
  28. 前記音声関連パラメータは、前記音声の少なくとも1つのフォルマント周波数を含む、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  29. 前記肺疾患の状態を評価するステップは、前記フォルマント周波数をベースライン周波数と比較することにより前記肺疾患の状態を評価するステップを有する、ことを特徴とする請求項28に記載の方法。
  30. 前記音声を分析するステップは、
    前記音声に対応する時間空間の信号のそれぞれのフレームに対し:
    前記フレームのケプストラムを計算するステップと;
    その後、前記フレームの前記ケプストラムに対しローパスケプストラムリフタを適用するステップと;
    その後、前記ローパスケプストラムリフタを適用された前記ケプストラムを逆変換するステップと;そして
    その後、前記逆変換されたリフトされたケプストラムのピークを識別することにより、前記フレームのフォルマント周波数を識別するステップと;
    そして
    前記フレームのそれぞれの前記フォルマント周波数に基づいて、前記音声の少なくとも1つのフォルマント周波数を識別するステップと、
    を有する、ことを特徴とする請求項28に記載の方法。
  31. 前記音声を分析するステップは:
    前記音声のエネルギーレベル、前記音声のピッチの安定性、前記音声のピッチの計算の信頼度、および前記音声のフォルマント周波数の安定性、からなるグループから選択される1つまたはそれ以上のメトリックに基づき、前記音声の少なくとも1つの部分を分析のために選択するステップと;、そして
    その後、前記音声の前記選択された部分を分析するステップと;
    を有する、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  32. 前記肺疾患の状態を評価するステップは、前記音声関連パラメータに機械学習モデルを適用するステップを有する、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  33. 前記音声関連パラメータは1組のメル周波数ケプストラム係数(MFCC)を含む、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  34. 前記音声関連パラメータは1組のメル周波数ケプストラム係数(MFCC)の導関数を含む、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  35. 前記音声関連パラメータは1組の相対スペクトル変換知覚線形予測(RASTA−PLP)ケプストラム成分を含む、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  36. 前記音声関連パラメータは1組の相対スペクトル変換知覚線形予測(RASTA−PLP)スペクトル成分を含む、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  37. 肺疾患の状態を評価するステップは、前記音声内の咳音を識別することなく、そして喘鳴音を識別することなく肺疾患の状態を評価するステップを有する、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  38. 前記被験者の前記音声を分析するステップは、最初に前記被験者に対し前記音声を提供するように促すことなく、前記被験者の前記音声を分析するステップを有する、ことを特徴とする請求項20−27のいずれか1項記載の方法。
  39. システムであって:
    移動通信端末と;そして
    プロセッサを備えるサーバと;を有し、
    前記プロセッサは、
    前記移動通信端末から、余剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を受信し、
    前記音声を分析することにより、前記音声の1つまたはそれ以上の音声関連パラメータを識別し、
    前記音声関連パラメータに応答して、前記肺疾患の状態を評価し、そして
    前記評価に応答して、前記肺疾患の状態を示す出力を生成する、
    ように構成される、
    ことを特徴とするシステム。
  40. ログラム命令が保管される接触可能非一過性コンピュータ可読媒体であって
    前記命令は、プロセッサによって読み取られた場合に、前記プロセッサに対し、
    剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を受信し、
    前記音声を分析することにより、前記音声の1つまたはそれ以上の音声関連パラメータを識別し、
    前記音声関連パラメータに応答して、前記肺疾患の状態を評価し、そして
    前記評価に応答して、前記肺疾患の状態を示す出力を生成する、
    ようにさせる、
    ことを特徴とするコンピュータ可読媒体
  41. 装置であって、
    音響センサと;および
    プロセッサと;を有し、
    前記プロセッサは、
    前記音響センサ経由で、余剰体液の蓄積に関係する肺疾患を罹患する被験者の音声を受信し、
    前記音声を分析することにより、前記音声の1つまたはそれ以上の音声関連パラメータを識別し、
    前記音声関連パラメータに応答して、前記肺疾患の状態を評価し、そして
    前記評価に応答して、前記肺疾患の状態を示す出力を生成する、
    ように構成される、ことを特徴とする装置。
JP2018516182A 2015-10-08 2016-10-05 音声分析による肺疾患の評価 Active JP6780182B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562238732P 2015-10-08 2015-10-08
US62/238,732 2015-10-08
PCT/IB2016/055954 WO2017060828A1 (en) 2015-10-08 2016-10-05 Assessment of a pulmonary condition by speech analysis

Publications (3)

Publication Number Publication Date
JP2018534026A JP2018534026A (ja) 2018-11-22
JP2018534026A5 JP2018534026A5 (ja) 2020-09-17
JP6780182B2 true JP6780182B2 (ja) 2020-11-04

Family

ID=58487267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018516182A Active JP6780182B2 (ja) 2015-10-08 2016-10-05 音声分析による肺疾患の評価

Country Status (6)

Country Link
US (1) US10796805B2 (ja)
EP (1) EP3359023A4 (ja)
JP (1) JP6780182B2 (ja)
CN (1) CN108135485B (ja)
AU (1) AU2016333816B2 (ja)
WO (1) WO2017060828A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017060828A1 (en) 2015-10-08 2017-04-13 Cordio Medical Ltd. Assessment of a pulmonary condition by speech analysis
JP7353592B2 (ja) * 2017-02-12 2023-10-02 カーディオコル リミテッド 心疾患を対象とする言葉による定期的なスクリーニング
US20190150849A1 (en) * 2017-11-17 2019-05-23 HD Data Incorporated Spiroxmeter smart system
AU2018386721A1 (en) * 2017-12-21 2020-07-16 The University Of Queensland A method for analysis of cough sounds using disease signatures to diagnose respiratory diseases
JP6909733B2 (ja) * 2018-01-26 2021-07-28 株式会社日立製作所 音声分析装置および音声分析方法
CN108417225A (zh) * 2018-02-11 2018-08-17 广州市碳码科技有限责任公司 一种呼吸音监测方法、装置、终端及计算机可读存储介质
JP7076732B2 (ja) * 2018-03-01 2022-05-30 公立大学法人広島市立大学 アデノイド肥大判定装置、アデノイド肥大判定方法及びプログラム
CN108766462B (zh) * 2018-06-21 2021-06-08 浙江中点人工智能科技有限公司 一种基于梅尔频谱一阶导数的语音信号特征学习方法
US11380351B2 (en) * 2018-09-20 2022-07-05 Samsung Electronics Co., Ltd. System and method for pulmonary condition monitoring and analysis
US10847177B2 (en) 2018-10-11 2020-11-24 Cordio Medical Ltd. Estimating lung volume by speech analysis
US11011188B2 (en) 2019-03-12 2021-05-18 Cordio Medical Ltd. Diagnostic techniques based on speech-sample alignment
US11024327B2 (en) 2019-03-12 2021-06-01 Cordio Medical Ltd. Diagnostic techniques based on speech models
CA3129884A1 (en) * 2019-03-12 2020-09-17 Cordio Medical Ltd. Diagnostic techniques based on speech-sample alignment
CN110111815A (zh) * 2019-04-16 2019-08-09 平安科技(深圳)有限公司 动物异常声音监控方法及装置、存储介质、电子设备
EP3976074A4 (en) * 2019-05-30 2023-01-25 Insurance Services Office, Inc. SYSTEMS AND METHODS FOR MACHINE LEARNING OF LANGUAGE FEATURES
JP7239109B2 (ja) * 2019-06-12 2023-03-14 株式会社モリタ製作所 推定装置、推定システム、推定装置の作動方法、および推定用プログラム
EP3838137A1 (en) * 2019-12-19 2021-06-23 Koninklijke Philips N.V. Automated and objective symptom severity score
US11232570B2 (en) 2020-02-13 2022-01-25 Olympus Corporation System and method for diagnosing severity of gastritis
US11484211B2 (en) * 2020-03-03 2022-11-01 Cordio Medical Ltd. Diagnosis of medical conditions using voice recordings and auscultation
US11877863B2 (en) * 2020-03-27 2024-01-23 Inkwell Health Ltd. Apparatus, systems, and methods for monitoring respiratory function
US11240579B2 (en) 2020-05-08 2022-02-01 Level 42 Ai Sensor systems and methods for characterizing health conditions
US11417342B2 (en) * 2020-06-29 2022-08-16 Cordio Medical Ltd. Synthesizing patient-specific speech models
US20220110542A1 (en) * 2020-10-08 2022-04-14 International Business Machines Corporation Multi-modal lung capacity measurement for respiratory illness prediction
CN112472065A (zh) * 2020-11-18 2021-03-12 天机医用机器人技术(清远)有限公司 基于咳嗽声识别的病症检测方法及其相关设备
US20220165295A1 (en) 2020-11-23 2022-05-26 Cordio Medical Ltd. Detecting impaired physiological function by speech analysis
KR20230109645A (ko) * 2020-11-23 2023-07-20 코디오 메디칼 리미티드 음성 분석을 통해 추출된 내쉬는 기체 농도와 스펙트럼 포락선으로부터 손상된 생리학적 기능 검출
US20220257175A1 (en) * 2021-02-11 2022-08-18 Samsung Electronics Co., Ltd Speech-based pulmonary assessment
WO2024058585A1 (ko) * 2022-09-16 2024-03-21 사회복지법인 삼성생명공익재단 음성 데이터 및 임상 정보를 이용하여 대상자의 폐질환의 중증도를 분류하는 방법 및 분석장치
WO2024081343A1 (en) * 2022-10-14 2024-04-18 The Johns Hopkins University Systems and methods for acoustic-based diagnosis

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1219618A (en) 1968-08-07 1971-01-20 Vsesojusny Nii Med Priborostro Apparatus for acoustic examination of the lungs
US4838275A (en) 1985-11-29 1989-06-13 Lee Arnold St J Home medical surveillance system
JPH0482538A (ja) * 1990-07-25 1992-03-16 Hitachi Ltd 呼吸音診断装置
US5864810A (en) 1995-01-20 1999-01-26 Sri International Method and apparatus for speech recognition adapted to an individual speaker
JPH09173320A (ja) 1995-12-25 1997-07-08 Casio Comput Co Ltd 音声検査装置
US5853005A (en) 1996-05-02 1998-12-29 The United States Of America As Represented By The Secretary Of The Army Acoustic monitoring system
FI2607U1 (fi) 1996-06-17 1996-09-27 Nokia Mobile Phones Ltd Lisäyksikkö, joka on tarkoitettu kytkettäväksi digitaaliseen langattomaan puhelimeen
US6168568B1 (en) 1996-10-04 2001-01-02 Karmel Medical Acoustic Technologies Ltd. Phonopneumograph system
US6241683B1 (en) 1998-02-20 2001-06-05 INSTITUT DE RECHERCHES CLINIQUES DE MONTRéAL (IRCM) Phonospirometry for non-invasive monitoring of respiration
US6389393B1 (en) 1998-04-28 2002-05-14 Texas Instruments Incorporated Method of adapting speech recognition models for speaker, microphone, and noisy environment
FI981508A (fi) 1998-06-30 1999-12-31 Nokia Mobile Phones Ltd Menetelmä, laite ja järjestelmä käyttäjän tilan arvioimiseksi
IL128000A0 (en) 1999-01-11 1999-11-30 Univ Ben Gurion A method for the diagnosis of thought states by analysis of interword silences
US6600949B1 (en) 1999-11-10 2003-07-29 Pacesetter, Inc. Method for monitoring heart failure via respiratory patterns
SE0004221L (sv) 2000-11-17 2002-04-02 Forskarpatent I Syd Ab Metod och anordning för talanalys
US7035797B2 (en) * 2001-12-14 2006-04-25 Nokia Corporation Data-driven filtering of cepstral time trajectories for robust speech recognition
CN1279871C (zh) * 2002-02-18 2006-10-18 吉峰贵司 诊断系统和移动电话
AU2003218320A1 (en) 2002-03-21 2003-10-08 U.S. Army Medical Research And Materiel Command Methods and systems for detecting, measuring, and monitoring stress in speech
US6983246B2 (en) 2002-05-21 2006-01-03 Thinkengine Networks, Inc. Dynamic time warping using frequency distributed distance measures
US7226422B2 (en) 2002-10-09 2007-06-05 Cardiac Pacemakers, Inc. Detection of congestion from monitoring patient response to a recumbent position
US7363226B2 (en) 2002-11-11 2008-04-22 Electronic Navigation Research Inst. Psychosomatic diagnosis system
US20080082018A1 (en) * 2003-04-10 2008-04-03 Sackner Marvin A Systems and methods for respiratory event detection
EP1622512B1 (en) 2003-04-10 2013-02-27 Adidas AG Systems and methods for respiratory event detection
IL155955A0 (en) 2003-05-15 2003-12-23 Widemed Ltd Adaptive prediction of changes of physiological/pathological states using processing of biomedical signal
JP2006075447A (ja) 2004-09-13 2006-03-23 Hitachi Ltd 携帯ヘルスチェック装置およびそれを用いた呼気分析サービス方法
US20060116878A1 (en) 2004-11-30 2006-06-01 Kenji Nagamine Asthma diagnostic apparatus, asthma diagnostic method, and storage medium storing asthma diagnostic program
US7762264B1 (en) 2004-12-14 2010-07-27 Lsvt Global, Inc. Total communications and body therapy
US20060167385A1 (en) 2005-01-24 2006-07-27 3M Innovative Properties Company Analysis of auscultatory sounds using voice recognition
US9089275B2 (en) 2005-05-11 2015-07-28 Cardiac Pacemakers, Inc. Sensitivity and specificity of pulmonary edema detection when using transthoracic impedance
US7529670B1 (en) 2005-05-16 2009-05-05 Avaya Inc. Automatic speech recognition system for people with speech-affecting disabilities
US7398213B1 (en) 2005-05-17 2008-07-08 Exaudios Technologies Method and system for diagnosing pathological phenomenon using a voice signal
US7457753B2 (en) 2005-06-29 2008-11-25 University College Dublin National University Of Ireland Telephone pathology assessment
JP4786384B2 (ja) 2006-03-27 2011-10-05 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
US8684900B2 (en) 2006-05-16 2014-04-01 Bao Tran Health monitoring appliance
US20080013747A1 (en) 2006-06-30 2008-01-17 Bao Tran Digital stethoscope and monitoring instrument
WO2008135985A1 (en) 2007-05-02 2008-11-13 Earlysense Ltd Monitoring, predicting and treating clinical episodes
US8221323B2 (en) * 2007-08-03 2012-07-17 Cardiac Pacemakers, Inc. Using acoustic energy to compute a lung edema fluid status indication
WO2009036327A1 (en) 2007-09-14 2009-03-19 Corventis, Inc. Adherent device for respiratory monitoring and sleep disordered breathing
US20090099848A1 (en) 2007-10-16 2009-04-16 Moshe Lerner Early diagnosis of dementia
WO2010123483A2 (en) 2008-02-28 2010-10-28 Mcclean Hospital Corporation Analyzing the prosody of speech
US20090326937A1 (en) 2008-04-21 2009-12-31 Microsoft Corporation Using personalized health information to improve speech recognition
EP2124223B1 (en) 2008-05-16 2018-03-28 Beyond Verbal Communication Ltd. Methods and systems for diagnosing a pathological phenomenon using a voice signal
GB0814442D0 (en) 2008-08-08 2008-09-10 Health Smart Ltd Breathing Monitor
US8320588B2 (en) 2009-02-10 2012-11-27 Mcpherson Jerome Aby Microphone mover
CN102362178B (zh) 2009-03-23 2014-11-12 皇家飞利浦电子股份有限公司 使用超声的气体感测
WO2011011413A2 (en) 2009-07-20 2011-01-27 University Of Florida Research Foundation, Inc. Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
US20110021940A1 (en) 2009-07-21 2011-01-27 Edmond Chu Incentive audio for pulmonary function diagnostics
US9138167B1 (en) 2009-09-25 2015-09-22 Krispin Johan Leydon Means for rendering key respiratory measurements accessible to mobile digital devices
US9357921B2 (en) 2009-10-16 2016-06-07 At&T Intellectual Property I, Lp Wearable health monitoring system
US9492096B2 (en) 2009-11-03 2016-11-15 Vivaquant Llc ECG sensing apparatuses, systems and methods
US8758262B2 (en) * 2009-11-25 2014-06-24 University Of Rochester Respiratory disease monitoring system
CN102971755A (zh) 2010-01-21 2013-03-13 阿斯玛西格诺斯公司 用于慢性病管理的早期告警方法和系统
AU2011289159C1 (en) 2010-08-13 2015-12-10 Respiratory Motion, Inc. Devices and methods for respiratory variation monitoring by measurement of respiratory volumes, motion and variability
US20130190641A1 (en) 2010-09-22 2013-07-25 Meytar (Dital) Engineering Limited Modular acoustic spirometer
US8784311B2 (en) * 2010-10-05 2014-07-22 University Of Florida Research Foundation, Incorporated Systems and methods of screening for medical states using speech and other vocal behaviors
EP2438863A1 (en) 2010-10-05 2012-04-11 Phibio Science AB System and methods for analysis of pause time durations in speech.
JP5519778B2 (ja) 2010-11-04 2014-06-11 パナソニック株式会社 生体音検査装置、及び、生体音検査方法
CA2825009A1 (en) * 2011-01-25 2012-08-02 Novartis Ag Systems and methods for medical use of motion imaging and capture
CN102125427B (zh) 2011-01-29 2012-08-22 清华大学 一种手机体检系统
US10271767B2 (en) 2011-01-31 2019-04-30 Koninklijke Philips N.V. Automated spirogram analysis and interpretation
WO2012123874A1 (en) 2011-03-16 2012-09-20 Koninklijke Philips Electronics N.V. Breathlessness and edema symptom assessment
US9070357B1 (en) 2011-05-11 2015-06-30 Brian K. Buchheit Using speech analysis to assess a speaker's physiological health
US20130018274A1 (en) 2011-07-13 2013-01-17 O'neill Alfonso V System and device for testing pulmonary function
GB201113572D0 (en) 2011-08-05 2011-09-21 Morgan David A portable device for the monitoring of medical conitions
CN103987314A (zh) 2011-09-20 2014-08-13 伊索尼亚有限公司 用于测量呼吸率以及动态地预测呼吸发作的系统、方法和套件
CN102423262A (zh) 2011-10-09 2012-04-25 江苏省莱科信息技术有限公司 一种具有肺活量检测功能的移动终端及其肺活量检测方法
CN202261466U (zh) 2011-10-09 2012-05-30 江苏省莱科信息技术有限公司 一种具有肺活量检测功能的移动终端
CN102497472B (zh) 2011-11-29 2014-09-10 惠州Tcl移动通信有限公司 基于手机麦克风的肺活量测试系统
WO2013089073A1 (ja) * 2011-12-13 2013-06-20 シャープ株式会社 情報解析装置、電子聴診器、情報解析方法、測定システム、制御プログラム、および、記録媒体
US20130158434A1 (en) 2011-12-20 2013-06-20 Delta Electronics, Inc. Apparatus for voice assisted medical diagnosis
CN110353685B (zh) * 2012-03-29 2022-03-04 昆士兰大学 用于处理患者声音的方法与装置
WO2013170131A1 (en) 2012-05-10 2013-11-14 University Of Washington Through Its Center For Commercialization Sound-based spirometric devices, systems, and methods
US20140073993A1 (en) 2012-08-02 2014-03-13 University Of Notre Dame Du Lac Systems and methods for using isolated vowel sounds for assessment of mild traumatic brain injury
CN104768460B (zh) 2012-09-05 2017-12-08 科尔迪奥医疗有限公司 用于测量肺容量和耐力的系统和方法
WO2014045257A1 (en) 2012-09-24 2014-03-27 Koninklijke Philips N.V. System and method for determining a person's breathing
US9922641B1 (en) 2012-10-01 2018-03-20 Google Llc Cross-lingual speaker adaptation for multi-lingual speech synthesis
WO2014062441A1 (en) 2012-10-16 2014-04-24 University Of Florida Research Foundation, Inc. Screening for neurologial disease using speech articulation characteristics
CA2798337A1 (en) 2012-12-04 2014-06-04 University Of Winnipeg Cardiovascular pulse wave analysis method and system
WO2014107798A1 (en) 2013-01-14 2014-07-17 University Health Network Mask and method for breathing disorder identification, characterization and/or diagnosis
EP2964084A4 (en) 2013-03-06 2016-10-26 Adam J Simon SHAPE FACTORS FOR MULTIMODAL PHYSIOLOGICAL ASSESSMENT OF BRAIN HEALTH
US20140302472A1 (en) 2013-04-09 2014-10-09 Xerox Business Services, Llc Lamaze breathing coach
US20140378810A1 (en) 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
US20140314212A1 (en) 2013-04-22 2014-10-23 Avaya Inc. Providing advisory information associated with detected auditory and visual signs in a psap environment
US10265012B2 (en) 2013-05-20 2019-04-23 Beyond Verbal Communication Ltd. Method and system for determining a pre-multisystem failure condition using time integrated voice analysis
US9183830B2 (en) * 2013-11-01 2015-11-10 Google Inc. Method and system for non-parametric voice conversion
WO2015168606A1 (en) 2014-05-02 2015-11-05 The Regents Of The University Of Michigan Mood monitoring of bipolar disorder using speech analysis
WO2016028495A1 (en) 2014-08-22 2016-02-25 Sri International Systems for speech-based assessment of a patient's state-of-mind
US10201307B2 (en) * 2014-09-24 2019-02-12 International Business Machines Corporation System and method to measure, analyze, and model pulmonary function and disease utilizing temporal, spatial, and contextual data
EP3211918B1 (en) 2014-10-20 2021-08-25 Sony Group Corporation Voice processing system
US20160302003A1 (en) * 2015-04-08 2016-10-13 Cornell University Sensing non-speech body sounds
WO2016166318A1 (en) 2015-04-16 2016-10-20 Koninklijke Philips N.V. Device, system and method for detecting a cardiac and/or respiratory disease of a subject
US10672385B2 (en) 2015-09-04 2020-06-02 Honeywell International Inc. Method and system for remotely training and commanding the speech recognition system on a cockpit via a carry-on-device in a connected aircraft
US10706873B2 (en) 2015-09-18 2020-07-07 Sri International Real-time speaker state analytics platform
WO2017060828A1 (en) 2015-10-08 2017-04-13 Cordio Medical Ltd. Assessment of a pulmonary condition by speech analysis
US20180303413A1 (en) 2015-10-20 2018-10-25 Healthymize Ltd System and method for monitoring and determining a medical condition of a user
WO2018021920A1 (en) 2016-07-27 2018-02-01 The University Of Canterbury Maskless speech airflow measurement system
US20180108440A1 (en) * 2016-10-17 2018-04-19 Jeffrey Stevens Systems and methods for medical diagnosis and biomarker identification using physiological sensors and machine learning
CN107622797B (zh) 2017-09-26 2020-07-28 李涵之 一种基于声音的身体状况确定系统及方法

Also Published As

Publication number Publication date
US20190080803A1 (en) 2019-03-14
EP3359023A1 (en) 2018-08-15
AU2016333816A1 (en) 2018-04-12
EP3359023A4 (en) 2019-05-22
AU2016333816B2 (en) 2018-09-27
WO2017060828A1 (en) 2017-04-13
CN108135485B (zh) 2021-08-17
US10796805B2 (en) 2020-10-06
JP2018534026A (ja) 2018-11-22
CN108135485A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
JP6780182B2 (ja) 音声分析による肺疾患の評価
US20220375491A1 (en) Verbal periodic screening for heart disease
US20120116186A1 (en) Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
JP7385299B2 (ja) スピーチ分析による肺気量の推定
US20200261014A1 (en) Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and non-transitory computer-readable storage medium
WO2014045257A1 (en) System and method for determining a person's breathing
EP3964134A1 (en) Lung health sensing through voice analysis
US20230045078A1 (en) Systems and methods for audio processing and analysis of multi-dimensional statistical signature using machine learing algorithms
US20220005494A1 (en) Speech analysis devices and methods for identifying migraine attacks
US20210219893A1 (en) System and method for measurement of vocal biomarkers of vitality and biological aging
US11752288B2 (en) Speech-based breathing prediction
WO2021132289A1 (ja) 病態解析システム、病態解析装置、病態解析方法、及び病態解析プログラム
US20230309839A1 (en) Systems and methods for estimating cardiac arrythmia
US20240049981A1 (en) Systems and methods for estimation of forced vital capacity using speech acoustics
US20210282736A1 (en) Respiration rate detection metholody for nebulizers
WO2022044131A1 (ja) 分析装置
WO2024086813A1 (en) User analysis and predictive techniques for digital therapeutic systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200715

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20200807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200901

R150 Certificate of patent or registration of utility model

Ref document number: 6780182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250