JP7208224B2 - 病状を検出するモデルを構築するための音声特徴の選択 - Google Patents

病状を検出するモデルを構築するための音声特徴の選択 Download PDF

Info

Publication number
JP7208224B2
JP7208224B2 JP2020511874A JP2020511874A JP7208224B2 JP 7208224 B2 JP7208224 B2 JP 7208224B2 JP 2020511874 A JP2020511874 A JP 2020511874A JP 2020511874 A JP2020511874 A JP 2020511874A JP 7208224 B2 JP7208224 B2 JP 7208224B2
Authority
JP
Japan
Prior art keywords
features
feature
speech
data item
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020511874A
Other languages
English (en)
Other versions
JP2020524310A (ja
Inventor
キム，ジャンウォン
クォン，ナミ
オコンネル，ヘンリー
ウォルスタッド，フィリップ
ヤン，ケビン・シェンビン
Original Assignee
カナリー・スピーチ，エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カナリー・スピーチ，エルエルシー filed Critical カナリー・スピーチ，エルエルシー
Publication of JP2020524310A publication Critical patent/JP2020524310A/ja
Priority to JP2023000544A priority Critical patent/JP2023052224A/ja
Application granted granted Critical
Publication of JP7208224B2 publication Critical patent/JP7208224B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Fuzzy Systems (AREA)

Description

本発明は、モデルの性能を向上させるために病状を検出する数学モデルを構築するために使用される音声特徴の選択に関する。
アルツハイマー病または脳震盪のように、病状の早期診断はその病状を発症した人に対する処置を改善し、生活の質を向上させることを考慮して行われると言っても差し支えない。病状を検出するために使用することができる１つの方法は、人の音声を処理することである。何故なら、人の声(voice)または人が使用する単語の音(sound)は、医療診断を行うために有用な情報を提供することができるからである。
人の音声から病状を検出するためには、音声から特徴を抽出することができ、数学モデルによってこの特徴を処理することもできる。音声から抽出された特徴の種類および数は、特に、モデルを訓練するための訓練データの量が限られている場合に、モデルの性能に影響を及ぼす可能性がある。したがって、適した特徴を選択すれば、モデルの性能を向上させることができる。
本明細書において説明するのは、病状を検出または診断する数学モデルを構築または訓練するために使用される音声の特徴を選択する技法である。本明細書において説明する技法は、任意の適した病状に使用することができるが、明確に述べるために、病状の例として、脳震盪およびアルツハイマー病を使用する。しかしながら、本明細書において説明する技法は、いずれの特定の病状にも限定されない。
本発明、および以下に続くその特定の実施形態の詳細な説明は、以下の図を参照することにより、理解することができよう。
音声に基づく医療評価システムの別の実施形態を示す模式ブロック図である。 医療診断を実行するために数学モデルで音声データを処理するシステムの一実施形態を示す模式ブロック図である。 音声データの訓練コーパス(training corpus)の一実施形態を示す模式ブロック図である。 病状を診断するときに使用するためのプロンプトのリストの一実施形態を示す模式ブロック図である。 病状を診断する数学モデルを訓練する機能(feature)を選択するシステムの一実施形態を示す模式ブロック図である。 特徴値および診断値の対をグラフで表す一実施形態を示す模式ブロック図である。 特徴値および診断値の対をグラフで表す別の実施形態を示す模式ブロック図である。 病状を診断する数学モデルを訓練する機能を選択する方法の一実施形態を示す模式フロー・チャート図である。 病状を診断する数学モデルと共に使用するプロンプトを選択する方法の一実施形態を示す模式フロー・チャート図である。 １組の選択されたプロンプトに相応しい、病状を診断する数学モデルを訓練する方法の一実施形態を示す模式フロー・チャート図である。 病状を診断する数学モデルを訓練およびデプロイするために使用することができるコンピューティング・デバイスの一実施形態を示す模式ブロック図である。
図１は、人の音声を使用して病状を診断するシステム例１００である。図１は、人の音声データを受け取り、この音声データを処理して、人に病状があるか否か判定する病状診断サービス１４０を含む。例えば、病状診断サービス１４０は、音声データを処理して、その人に病状があるか否かに関して、「はい」または「いいえ」の判定を計算する、あるいは人に病状がある確率(probability)または可能性(likelihood)、および／またはその状態の重症度を示すスコアを計算することができる。
本明細書において使用する場合、診断は、人に病状がある可能性があるか否かに関するあらゆる判定、または病状の可能な重症度に関するあらゆる判定に関する。診断は、病状に関する任意の形態の評価、結論付け、意見、または判定を含むことができる。場合によっては、診断が不正確であることもあり、病状があると診断された人が、実際には病状がないということもある。
病状診断サービス１４０は、任意の適した技法を使用して、人の音声データを受け取ることができる。例えば、人が移動体デバイス１１０に向かって話しかけてもよく、移動体デバイス１１０は、その音声を記録し、記録した音声データを病状診断サービス１４０にネットワーク１３０を通じて送信することができる。移動体デバイス１１０が記録した音声データを病状診断サービス１４０に送信するためには、任意の適した技法および任意の適したネットワークを使用することができる。例えば、アプリケーションまたは「アプリ」を移動体デバイス１１０上にインストールし、ＲＥＳＴ（表現状態転送：representational state transfer）ＡＰＩ（アプリケーション・プログラミング・インターフェース）コールを使用して、音声データをインターネットまたは移動体電話ネットワークを通じて送信するのでもよい。他の例では、医療供給者が医療供給者用コンピュータ１２０を有し、これを使用して、人の音声を記録し、音声データを病状診断サービス１４０に送信するのでもよい。
ある実施態様では、病状診断サービス１４０を移動体デバイス１１０または医療供給者用コンピュータ１２０上にインストールし、音声データをネットワークを通じて送信する必要をなくするようにしてもよい。図１Ｂの例は限定ではなく、数学モデルによる処理のために音声データを送信するためには、任意の適した技法を使用することができる。
次いで、病状診断サービス１４０の出力は、適した目的であればいずれにでも使用することができる。例えば、音声データを提供した人、またはこの人を治療している医療専門家に情報を提示することができる。
図２は、医療診断を実行する数学モデルによって音声データを処理するためのシステム例２００である。音声データを処理する際に、音声データから特徴を計算することができ、次いでこれらの特徴を数学モデルによって処理することができる。任意の適したタイプの特徴を使用することができる。
特徴には音響特徴を含めることができ、ここで音響特徴とは、音声データに対して音声認識を実行することを伴わずにまたは依存せずに、音声データから計算された任意の特徴である（例えば、音響特徴は、音声データにおいて発話されたデータについての情報を使用しない）。例えば、音響特徴は、メル周波数ケプストラム係数(mel-frequency cepstral coefficients)、知覚線形予測特徴(perceptual linear prediction features)、ジッタ、またはゆらぎ(shimmer)を含んでもよい。
特徴には言語特徴を含めることができ、ここで言語特徴は、音声認識の結果を使用して計算される。例えば、言語特徴は、発声速度（例えば、１秒当たりの母音または音節の数）、つなぎことば(pause filler)（例えば、「うーんと」および「えーと」）の数、単語の難しさ（例えば、普段余り使われない単語）、またはつなぎことばに続く単語の音声の部分を含んでもよい。
図２において、音声データは、音響特徴計算コンポーネント２１０および音声認識コンポーネント２２０によって処理される。音響特徴計算コンポーネント２１０は、本明細書において説明した音響特徴の内任意のものというような、音響特徴を音声データから計算することができる。音声認識コンポーネント２２０は、任意の適した技法（例えば、混合ガウス・モデル、音響モデリング、言語モデリング、およびニューラル・ネットワーク）を使用して、音声データに対して自動音声認識を実行することができる。
音声認識コンポーネント２２０は音声認識を実行するときに音響特徴を使用することがあるので、これら２つのコンポーネントの処理の一部が重複する可能性があり、つまり他の構成も可能である。例えば、音響特徴コンポーネント２１０が、音声認識コンポーネント２２０によって必要とされる音響特徴を計算することもでき、こうして、音声認識コンポーネント２２０が音響特徴を計算する必要を全くなくすることもできる。
言語特徴計算コンポーネント２３０は、音声認識コンポーネント２２０から音声認識結果を受け取り、音声認識結果を処理して、本明細書において説明した言語特徴の内任意のものというような、言語特徴を決定することができる。音声認識特徴は、適したフォーマットであればいずれでもよく、任意の適した情報を含むことができる。例えば、音声認識結果は、複数の可能な単語のシーケンス、つなぎことばについての情報、および単語、音節、母音、つなぎことば、または音声の任意の他の単位のタイミングを含む単語ラティス(word lattice)を含むことができる。
病状クラシファイア２４０は、音響特徴および言語特徴を数学モデルによって処理し、人に病状がある確率または可能性を示すスコア、および／または病状の重症度を示すスコアというような、人に病状があるか否かを示す１つ以上の診断スコアを出力することができる。病状クラシファイア２４０は、サポート・ベクター・マシン、または多層パーセプトロンのようなニューラル・ネットワークが実装されたクラシファイアというような、任意の適した技法を使用することができる。
病状クラシファイア２４０の処理能力(performance)は、音響特徴計算コンポーネント２１０および言語特徴計算コンポーネント２３０によって計算される特徴に依存する場合もある。更に、１つの病状については正しい処理を行う１組の特徴が、他の病状については正しい処理を行わないこともある。例えば、ことばの難しさは、アルツハイマー病を診断するためには重要な特徴であるが、人が脳震盪を起こしているか否か判定するためには有用ではないとして差し支えない。他の例をあげると、母音、音節、または単語の発音に関する特徴は、パーキンソン病にとっては重要であろうが、他の病状にとってはさほど重要でないこともある。したがって、第１病状について正しい処理を行う第１組の特徴を決定する技法が必要とされ、第２病状について正しい処理を行う第２組の特徴を決定するためには、このプロセスが繰り返えされることが必要になることもある。
ある実施態様では、病状クラシファイア２４０が、音響特徴および言語特徴に加えて、非音声特徴と呼んでもよい、他の特徴を使用することもできる。例えば、特徴は、人の人口統計学的情報（例えば、性別、年齢、居住地）、受療歴（例えば、体重、最新の血圧読み取り値、または以前の診断）からの情報、または任意の他の適した情報から得てもよく、あるいはこれらから計算してもよい。
病状を診断するための特徴の選択は、数学モデルを訓練するための訓練データの量が比較的少ない状況では、一層重要になるのはもっともである。例えば、脳震盪を診断する数学モデルを訓練するためには、脳震盪を経験した直後における多数の個人の音声データを含む訓練データが必要とされる場合もある。このようなデータは少ない量で存在することもあり、このようなデータの例を更に得るには、長大な時間期間を要する可能性がある。
数学モデルを訓練する際に、訓練データの量が少ない程、過剰適合になるおそれがある。この場合、数学モデルは特定の訓練データには適応しても、訓練データの量が少ないために、このモデルは新たなデータに対しては正しく処理できないおそれがある。例えば、モデルは、訓練データにおける脳震盪の全てを検出することができるモデルであっても、脳震盪を起こすおそれがある人々の生産データ(production data)を処理するときに、高いエラー率を出す可能性がある。
数学モデルを訓練するときに過剰適合を防止する１つの技法は、数学モデルを訓練するために使用される特徴の数を減らすことである。過剰適合を起こさずにモデルを訓練するために必要とされる訓練データの量は、特徴の数が増えるに連れて増大する。したがって、使用する特徴の数を減らすことによって、訓練データの量を減らして、モデルを構築することが可能になる。
特徴の数を少なくしてモデルを訓練する必要がある場合、モデルが正しく動作することを可能にする特徴を選択することが増々重要になる。例えば、大量の訓練データが入手可能であるとき、数百個の特徴を使用してモデルを訓練することができ、適した特徴が使用される可能性は一層高くなる。逆に、少ない数の訓練データしか入手可能でないとき、わずか１０個程度の特徴を使用してモデルを訓練する場合もあり、病状を診断するために最も重要である特徴を選択することが、増々重要になる。
これより、病状を診断するために使用することができる特徴の例を示す。
音響特徴は、短時間区分特徴(short-time segment features)を使用して計算することができる。音声データを処理するとき、この音声データの持続時間が変化する場合がある。例えば、ある音声は１秒または２秒であることもあるが、他の音声は数分以上になることもある。音声データを処理する際の一貫性のためには、短時間の区分（フレームと呼ぶこともある）単位で処理するとよい。例えば、各短時間区分を２５ミリ秒としてもよく、区分が１０ミリ秒の刻みで進み、２つの連続する区分にわたって１５ミリ秒の重複ができるようにしてもよい。
以下に、短時間区分特徴の非限定的な例を示す。スペクトル特徴（メル周波数ケプストラル係数または知覚線形予測のような）、韻律的特徴（発声の調子、エネルギ、確率のような特徴）、音声品質特徴（ジッタ、ジッタのジッタ、ゆらぎ、または高調波対ノイズ比のような特徴）、エントロピ（自然音声データ上で訓練された音響モデルの後部(posterior)からエントロピを計算することができる場合、例えば、どのくらい正確に発声が行われたか(pronounced)捕獲するため）。
短時間区分特徴を組み合わせて、音声に対する音響特徴を計算することができる。例えば、２秒の音声サンプルは、調子(pitch)について２００個の短時間区分特徴を生成することができ、これらを組み合わせると、調子について１つ以上の音響特徴を計算することができる。
任意の適した技法を使用すると、短時間区分特徴を組み合わせて音声サンプルについて音響特徴を計算することができる。ある実施態様では、音響特徴は、短時間区分特徴の統計（例えば、算術的平均、標準偏差、歪度、尖度、第１四分位、第２四分位、第３四分位、第２四分位から第１四分位を減じた値、第３四分位から第１四分位を減じた値、第３四分位から第２四分位を減じた値、０．０１パーセンタイル、０．９９パーセンタイル、０．９９パーセンタイルから０．０１パーセンタイルを減じた値）、短時間区分の内その値が閾値よりも高いものの百分率（例えば、閾値は範囲の７５％に最小値を加えた値）、区分の内その値が閾値よりも高いものの百分率（例えば、閾値は範囲の９０％に最小値を加えた値）、値の線形近似の傾き、値の線形近似のオフセット、線形近似と実際の値との差として計算される線形誤差、または線形近似と実際の値との差として計算される二次誤差を使用して計算することができる。ある実施態様では、音響特徴は、短時間区分特徴のｉ－ベクトルまたは単位ベクトル(identity vector)として計算することもできる。単位ベクトルは、要因分析技法および混合ガウス・モデルを使用して行例－ベクトル変換を実行するというような、任意の適した技法を使用して計算することができる。
以下に、言語特徴の非限定的な例を示す。全ての発話された単語の持続時間を母音数で除算して計算することによるというような発声速度、または発声速度の任意の他の適した尺度。（１）つなぎことばの数を発話された単語の持続時間で除算する、または（２）つなぎことばの数を発話された単語の数で除算するというようにして求める、音声において躊躇を示すと言ってもよい、つなぎことばの数。単語の難しさまたは普段使われない単語の使用の尺度。例えば、単語の難しさは、単語の頻度パーセンタイル（例えば、５％、１０％、１５％、２０％、３０％、または４０％）にしたがって単語を分類することによるというようにして、発話された単語の１－グラム確率(1-gram probabilities)の統計を使用して計算することができる。（１）各音声部分クラス(part-of-speech class)の個数を発話された単語の数で除算した値、または（２）各音声部分クラスの個数を全ての音声部分の個数の総和で除算した値というような、つなぎことばに続く単語の音声部分。
ある実施態様では、言語特徴は、人が質問に正しく答えたか否かの判定を含むこともできる。例えば、今年は何年か、または米国の大統領は誰か、人に尋ねてもよい。この人の音声を処理すれば、この人が質問に対する応答において言ったことを判断し、更にこの人が質問に正しく答えたか否か判断することができる。
病状を診断するモデルを訓練するためには、訓練データのコーパスを収集すればよい。訓練コーパスは、人の診断が分かる音声の例を含むのでよい。例えば、人が脳震盪を起こしていない、軽度の、中程度の、または重度の脳震盪を起こしていることが分かればよい。
図３は、脳震盪を診断するモデルを訓練するための音声データを含む訓練コーパスの例を示す。例えば、図３の表において、行がデータベースのエントリに対応するのでもよい。この例では、各エントリは、人の識別子、その人について分かっている診断（例えば、脳震盪ではない、軽度、中程度の、または重度の脳震盪）、人に提示されたプロンプトまたは質問の識別子（例えば、「今日の具合はいかがですか？」）、および音声データを収容するファイルのファイル名を含む。訓練データは、任意の適した格納技術を使用して、任意の適したフォーマットで格納されればよい。
訓練コーパスは、任意の適したフォーマットを使用して、人の音声の表現を格納することができる。例えば、訓練コーパスの音声データ項目は、マイクロフォンにおいて受け取ったオーディオ信号のディジタル・サンプルを含んでもよく、またはメル周波数ケプストラル係数のような、オーディオ信号の処理バージョンを含んでもよい。
１つの訓練コーパスが、複数の病状に関する音声データを収容してもよく、または病状毎に別個の訓練コーパスを使用してもよい（例えば、脳震盪のための第１訓練コーパスおよびアルツハイマー病のための第２訓練コーパス）。別個の訓練コーパスが、病状が分かっていないまたは診断されていない人の音声データを格納するために使用されてもよい。何故なら、この訓練コーパスは、複数の病状についてモデルを訓練するために使用することができるからである。
図４は、病状を診断するために使用することができるプロンプトを格納した例を示す。各プロンプトは、そのプロンプトに対する応答における人の音声を得るために、人（例えば、医療専門家）またはコンピュータのいずれかによって、人に提示することができる。各プロンプトはプロンプト識別子を有することができるので、訓練コーパスのプロンプト識別子と相互引用することができる。図４のプロンプトは、データベースのような、任意の適した格納技術を使用して格納すればよい。
図５は、病状を診断する数学モデルを訓練するための特徴を選択するために使用することができ、次いで選択された特徴を使用して数学モデルを訓練するシステム例５００である。システム５００は、異なる病状毎に特徴を選択するために複数回使用することができる。例えば、システム５００の第１回の使用が、脳震盪を診断するための特徴を選択するのでもよく、システム５００の第２回目の使用が、アルツハイマー病を診断するための特徴を選択するのでもよい。
図５は、病状を診断する数学モデルを訓練するための音声データ項目の訓練コーパス５１０を含む。訓練コーパス５１０は、病状があるおよび病状がない複数の人々の音声データ、人に病状があるか否かを示すラベル、および本明細書において説明した任意の他の情報というような、任意の適した情報を含むことができる。
音響特徴計算コンポーネント２１０、音声認識コンポーネント２２０、および言語特徴計算コンポーネント２３０は、訓練コーパスにおける音声データに対する音響特徴および言語特徴を計算するために、前述のように実装することができる。音響特徴計算コンポーネント２１０および言語特徴計算コンポーネント２３０は、最良の結果が得られる(best performing)特徴を決定できるように、多数の特徴を計算することができる。これは、図２において、これらのコンポーネントが生産システムにおいて使用され、したがって、これらのコンポーネントが、以前に選択された特徴だけを計算すればよい場合とは対照的であると言っても差し支えない。
特徴選択スコア計算コンポーネント５２０は、特徴（音響特徴、言語特徴、または本明細書において説明した任意の他の特徴でもよい）毎に選択スコアを計算することができる。 特徴に対して選択スコアを計算するために、訓練コーパスにおける音声データ項目毎に、１対の数値を作成することができる。この対の内第１の数値は特徴の値であり、この対の内第２の数値は病状診断の指標である。病状診断の指標の値は、２つの値を有してもよく（例えば、人に病状がない場合は０、人に病状がある場合は１）、またはそれよりも多い数の数値を有してもよい（例えば、０と１との間の実数、あるいは病状の可能性または重症度を示す複数の整数）。
したがって、特徴毎に、訓練コーパスの音声データ項目毎に１対の数値を得ることができる。図６Ａおよび図６Ｂは、第１の特徴および第２の特徴について、数値対の２つの概念的プロットを示す。図６Ａについては、第１の特徴の値と対応する診断値との間にはパターンまたは相関があるように見えないが、図６Ｂについては、第２の特徴の値と診断値との間にパターンまたは相関があるように見える。したがって、第２の特徴は、人に病状があるか否か判定するために有用な特徴である可能性が高く、第１の特徴はそうではないと結論付けることができる。
特徴選択スコア計算コンポーネント５２０は、特徴値と診断値との対を使用して、特徴について選択スコアを計算することができる。特徴選択スコア計算コンポーネント５２０は、特徴値と診断値との間においてパターンまたは相関を示す任意の適したスコアを計算することができる。例えば、特徴選択スコア計算コンポーネント５２０は、ランド指数、調節ランド指数、相互情報、調節相互情報、ピアソン相関、絶対ピアソン相関、スピアマン相関、または絶対スピアマン相関を計算することができる。
選択スコアは、病状を検出する際における特徴の有用性を示すことができる。例えば、高い選択スコアは、数学モデルを訓練するときにある特徴を使用すべきことを示すとしてよく、低い選択スコアは、数学モデルを訓練するときにその特徴を使用すべきでないことを示すとしてよい。
特徴安定性判定コンポーネント５３０は、特徴（音響特徴、言語特徴、または本明細書において説明した任意の他の特徴でもよい）が安定かまたは不安定か判定することができる。安定性判定を行うために、音声データ項目を複数のグループに分割することができる。このグループをフォールド(fold)と呼ぶこともある。例えば、音声データ項目を５つのフォールドに分割してもよい。ある実施態様では、各フォールドが、異なる性別および年齢グループに対してほぼ等しい数の音声データ項目を有するように、音声データ項目をフォールドに分割してもよい。
各フォールドの統計を他のフォールドの統計と比較することができる。例えば、第１フォールドについて、中央値（もしくは平均、あるいは分布の中心(center)または中央(middle)に関する任意の他の統計値）特徴値（Ｍ１で示す）を決定することができる。また、他のフォールドの組み合わせについて統計を計算することもできる。例えば、複数の他のフォールドの組み合わせについて、特徴値の中央値（Ｍ０で示す）、および四分位範囲、分散、または標準偏差というような、特徴値の変動性の統計的尺度(measuring)（Ｖ０で示す）を計算するのでもよい。第１フォールドの中央値が第２フォールドの中央値とは大きく異なり過ぎる場合、特徴は不安定であると判定することができる。例えば、
Figure 0007208224000001
である場合、特徴は不安定であると判定することができる。
ここで、Ｃは倍率である。次いで、このプロセスを他のフォールド毎に繰り返すことができる。例えば、前述のように、第２フォールドの中央値を他のフォールドの中央値および変動性と比較してもよい。
ある実施態様では、各フォールドを他のフォールドと比較した後、各フォールドの中央値が他のフォールドの中央値から離れ過ぎていない場合、特徴は安定であると判定することができる。逆に、いずれかのフォールドの中央値が他のフォールドの中央値から離れ過ぎている場合、特徴は不安定であると判定することができる。
ある実施態様では、特徴が安定か否かを示すために、特徴安定性判定コンポーネント５３０が特徴毎にブール値を出力することもできる。ある実施態様では、安定性判定コンポーネント５３０が特徴毎に安定性スコアを出力することもできる。例えば、安定性スコアは、あるフォールドと他のフォールドの中央値間の最も大きな距離（例えば、マハラノビス距離）として計算してもよい。
特徴選択計算コンポーネント５４０は、特徴選択スコア計算コンポーネント５２０から選択スコアを受け取り、更に特徴安定性判定コンポーネント５３０から安定性判定を受け取り、数学モデルを訓練するために使用される特徴の部分集合を選択することができる。特徴選択コンポーネント５４０は、最も高い選択スコアを有ししかも十分に安定である複数の特徴を選択することができる。
ある実施態様では、選択される特徴の数（または選択される特徴の最大数）を前もって設定してもよい。例えば、訓練データの量に基づいて数Ｎを決定してもよく、Ｎ個の特徴を選択すればよい。特徴の選択は、不安定な特徴を除去し（例えば、不安定であると判定された特徴、または安定性スコアが閾値よりも低い特徴）、次いで選択スコアが最も高いＮ個の特徴を選択することによって決定されてもよい。
ある実施態様では、選択される特徴の数が、選択スコアおよび安定性判定に基づいてもよい。例えば、特徴の選択が、不安定な特徴を除去し、次いで選択スコアが閾値よりも高い全ての特徴を選択することによって決定されてもよい。
ある実施態様では、特徴を選択するとき、選択スコアおよび安定性スコアを組み合わせてもよい。例えば、特徴毎に、複合スコア(combined score)を計算してもよく（特徴に対する選択スコアおよび安定性スコアを加算または乗算することによってというようにして）、この複合スコアを使用して特徴を選択してもよい。
次いで、モデル訓練コンポーネント５５０が、選択された特徴を使用して、数学モデルを訓練することができる。例えば、モデル訓練コンポーネント５５０は、訓練コーパスの音声データ項目を繰り返し、音声データ項目に対して選択された特徴を得て、次いで選択された特徴を使用して数学モデルを訓練することができる。ある実施態様では、モデル訓練の一部として、主成分分析または線形判別分析のような次元削減技法を、選択された特徴に適用してもよい。本明細書において説明する数学モデルの内任意のものというような、任意の適した数学モデルを訓練することができる。
ある実施態様では、ラッパー法のような他の技法を、特徴選択のために使用してもよく、または先に示した特徴選択技法と組み合わせて使用してもよい。ラッパー法は、１組の特徴を選択し、この選択した１組の特徴を使用して数学モデルを訓練し、次いで訓練したモデルを使用して１組の特徴の性能(performance)を評価することができる。可能な特徴の数が比較的少なく、および／または訓練時間が比較的短い場合、全ての可能な組の特徴を評価し、最良の結果が得られる(best performing)１組を選択してもよい。可能な特徴の数が比較的多く、および／または訓練時間が重要な要因である場合、良い結果が得られる(performs well)１組の特徴を繰り返し発見するために、最適化技法を使用してもよい。ある実施態様では、システム５００を使用して１組の特徴を選択してもよく、次いで最終的な１組の特徴として、ラッパー法を使用して、これらの特徴から部分集合を選択してもよい。
図７は、病状を診断する数学モデルを訓練するための特徴を選択する実施態様例のフロー・チャートである。図７および本明細書における他のフロー・チャートにおいて、ステップの順序は一例であり、他の順序も可能であり、全てのステップが必要とは限らず、ステップを組み合わせること（全体的または部分的に）または細分化することもでき、更にある実施態様では、一部のステップを省略できる場合もあり、または他のステップを追加できる場合もある。本明細書において説明するフロー・チャートによって記述する方法はいずれも、例えば、本明細書において説明するコンピュータまたはシステムの内任意のものによって実装することができる。
ステップ７１０において、音声データ項目の訓練コーパスを入手する。訓練コーパスは、人の音声のオーディオ信号の表現、この音声が得られた人の医療診断の指示、および本明細書において説明した情報の内任意のものというような、任意の他の適した情報を含むことができる。
ステップ７２０において、訓練コーパスの音声データ項目毎に音声認識結果を得る。音声認識結果は、前もって計算され、訓練コーパスと共に格納されてもよく、または他の場所に格納されてもよい。音声認識結果は、筆記録、最も高いスコアを得た筆記録のリスト（例えば、Ｎ個の最良リスト）、可能な転記(transcription)のラティスというような任意の適した情報、ならびに単語、つなぎことば、または他の音声単位の開始時刻および終了時刻というようなタイミング情報を含むことができる。
ステップ７３０において、訓練コーパスの音声データ項目毎に音響特徴を計算する。音響特徴は、本明細書において説明した音響特徴の内任意のものというような、音声データ項目の音声認識結果を使用せずに計算された任意の特徴を含むことができる。音響特徴は、音声認識プロセスにおいて使用されるデータを含んでもよく、またはこのデータから計算されてもよい（例えば、メル周波数ケプストラル係数または知覚線形予測子）が、音響特徴は、音声データ項目内に存在する単語またはつなぎことばについての情報というような、音声認識結果を使用しない。
ステップ７４０において、訓練コーパスの音声データ項目毎に、言語特徴を計算する。言語特徴は、本明細書において説明した言語特徴の内任意のものというような、音声認識結果を使用して計算される任意の特徴を含むことができる。
ステップ７５０において、各音響特徴および各言語特徴について、特徴選択スコアを計算する。特徴について特徴選択スコアを計算するために、訓練コーパスにおける音声データ項目毎の特徴の値を、音声データ項目に対応する既知の診断値というような、他の情報と共に使用してもよい。特徴選択スコアは、絶対ピアソン相関を計算することによってというように、本明細書において説明した技法の内任意のものを使用して計算すればよい。ある実施態様では、特徴選択スコアは、人の人口統計学的情報に関する特徴というような、他の特徴についても同様に計算されてもよい。
ステップ７６０において、特徴選択スコアを使用して複数の特徴を選択する。例えば、最高の選択スコアを有する複数の(a number of)特徴を選択してもよい。ある実施態様では、特徴毎に安定性判定を計算してもよく、本明細書において説明した技法の内任意のものを使用することによってというようにして、特徴選択スコアおよび安定性判定の双方を使用して、複数の特徴を選択してもよい。
ステップ７７０において、選択された特徴を使用して数学モデルを訓練する。ニューラル・ネットワークまたはサポート・ベクター・マシンというような、任意の適した数学モデルを訓練すればよい。数学モデルを訓練した後、病状の診断を実行するために、図１Ｂの音声モジュール１０４、システム１０９等のような、生産システム内にデプロイすることができる。
図７のステップは、種々の方法で実行することができる。例えば、ある実施態様では、ステップ７３０および７４０は、ループ状に実行してもよく、訓練コーパスにおける音声データ項目の各々に対して繰り返し実行する。第１の繰り返しでは、第１音声データ項目について音響および言語特徴を計算してもよく、第２の繰り返しでは、第２音声データ項目について音響および言語特徴を計算してもよい等である。
病状を診断するためにデプロイされたモデルを使用するとき、診断対象の人から音声を得るために、この人に対して一連のプロンプトまたは質問を発することができる。図４のプロンプトの内任意のものというような、任意の適したプロンプトを使用すればよい。以上で説明したようにして特徴が選択された後、選択されたプロンプトが選択された特徴について有用な情報を提供するように、プロンプトを選択することができる。
例えば、選択された特徴が調子(pitch)であると仮定する。調子は、病状を診断するためには有用な特徴であると判定されているが、有用な調子特徴(pitch feature)を得るには、あるプロンプトが他のものよりも優れているという場合もある。非常に短い発声（例えば、はい／いいえの答え）は、調子を精度高く計算するための十分なデータを提供できない場合もあり、したがって、より長い応答を引き出す(generate)プロンプト程、調子についての情報を得る際には一層有用となることができる。
他の例をあげると、選択された特徴が単語の難しさ(word difficulty)であると仮定する。単語の難しさは、病状を診断するためには有用な特徴であると判定されているが、有用な単語の難しさの特徴を得るのには、あるプロンプトが他のものよりも優れているという場合もある。提示された一節を読むようにユーザに求めるプロンプトは、一般に、その一節における単語が発声される結果となり、したがって、単語の難しさの特徴は、このプロンプトが提示される毎に同じ値を有することになる。つまり、このプロンプトは、単語の難しさについての情報を得るには有用ではない。対照的に「あなたの一日について私に話して下さい」というような自由回答式質問にすると、応答における語彙の多様性が広がる結果となり、したがって、単語の難しさについて一層有用な情報を提供することができる。
また、１組のプロンプトを選択することによって、病状を診断するシステムの性能を向上させ、被評価者にとってより良い体験を提供することができる。被評価者毎に同じ１組のプロンプトを使用することによって、病状を診断するシステムは一層正確な結果を得ることができる。何故なら、複数の人々から収集されたデータの方が、異なるプロンプトをひとりひとりに使用した場合よりも、比較し易いからである。更に、定められた１組のプロンプトを使用することにより、人の評価を予測し易くなり、病状の評価に適した所望の持続時間の評価も予測し易くなる。例えば、ある人がアルツハイマー病にかかっているか否か評価するためには、より多くのデータ量を収集するためにより多くのプロンプトを使用することが容認できるが、スポーツ・イベントにおいてある人が脳震盪を起こしたか否か評価するためには、結果をより素早く得るために、使用するプロンプトの数を減らすことが必要となるのはもっともである。
ある実施態様では、プロンプト選択スコアを計算することによって、プロンプトを選択してもよい。訓練コーパスが、１つのプロンプトに対して複数の音声データ項目を有する場合があり、または数多くの音声データ項目を有する場合さえもある。例えば、訓練コーパスが、異なる人々によって使用されるプロンプトの例を含むこともあり、または同じプロンプトが同じ人によって複数回使用されることもある。
図８は、病状を診断するためにデプロイされたモデルと共に使用するためのプロンプトを選択する実施態様例のフロー・チャートである。
ステップ８１０から８４０は、プロンプト毎にプロンプト選択スコアを計算するために、訓練コーパスにおけるプロンプト（またはプロンプトの部分集合）毎に実行してもよい。
ステップ８１０において、プロンプトを得て、ステップ８２０において、このプロンプトに対応する音声データ項目を訓練コーパスから得る。
ステップ８３０において、このプロンプトに対応する音声データ項目毎に、医療診断スコアを計算する。例えば、音声データ項目に対する医療診断スコアは、数学モデル（例えば、図７において訓練された数学モデル）によって出力される数値であってもよく、人に病状がある可能性、および／またはその病状の重症度を示す。
ステップ８４０において、計算された医療診断スコアを使用して、プロンプトに対してプロンプト選択スコアを計算する。プロンプト選択スコアの計算は、先に説明したような、特徴選択スコアの計算と同様であってもよい。プロンプトに対応する音声データ項目毎に、１対の数値を得ることができる。各対について、この対の最初の数値は、音声データ項目から計算された医療診断スコアとしてもよく、この対の２番目の数値は、人について分かっている病状診断（例えば、この人に病状があること、またはこの病状の重症度を示すことがわかっている）としてもよい。これらの数値対をプロットすると、図６Ａまたは図６Ｂと同様のプロットが得られ、プロンプトによっては、数値の対にパターンまたは相関がある場合とない場合が出る。
プロンプトに対するプロンプト選択スコアは、計算された医療診断スコアと既知の病状診断との間におけるパターンまたは相関を示す任意のスコアを含むことができる。例えば、プロンプト選択スコアは、ランド指標、調節ランド指標、相互情報、調節相互情報、ピアソン相関、絶対ピアソン相関、スピアマン相関、または絶対スピアマン相関を含んでもよい。
ステップ８５０において、他に処理すべきプロンプトが残っているか否か判定する。処理すべきプロンプトが残っている場合、処理はステップ８１０に進み、追加のプロンプトを処理することができる。全てのプロンプトが処理されている場合、処理はステップ８６０に進むことができる。
ステップ８６０において、プロンプト選択スコアを使用して、複数のプロンプトを選択する。例えば、最も高いプロンプト選択スコアを有する複数の(a number of)プロンプトを選択してもよい。ある実施態様では、プロンプト毎に安定性判定を計算してもよく、プロンプト選択スコアおよびプロンプト安定性スコアの双方を使用して、本明細書において説明した技法の内任意のものを使用することによってというようにして、複数のプロンプトを選択してもよい。
ステップ８７０において、選択されたプロンプトを、デプロイされた病状診断サービスと共に使用する。例えば、人を診断するとき、選択されたプロンプトを人に提示し、プロンプトの各々に対する応答において、この人の音声を得ることができる。
ある実施態様では、ラッパー法のような他の技法を、プロンプト選択のために使用してもよく、または先に提示したプロンプト選択技法と組み合わせて使用してもよい。ある実施態様では、図８のプロセスを使用して１組のプロンプトを選択してもよく、次いで、最終的な１組の特徴として、これらのプロンプトの部分集合を、ラッパー法を使用して選択してもよい。
ある実施態様では、病状診断サービスの作成に関与する人が、プロンプトの選択において補助してもよい。この人は、彼の知識または経験を使用して、選択された特徴に基づいてプロンプトを選択することができる。例えば、選択された特徴が単語の難しさである場合、この人はプロンプトを見直し、単語の難しさに関する有用な情報を提供する可能性が高い方からプロンプトを選択すればよい。この人は、選択された特徴の各々について有用な情報を提供する可能性が高い１つ以上のプロンプトを選択すればよい。
ある実施態様では、この人は、図８のプロセスによって選択されたプロンプトを見直し、病状診断システムの性能を向上させるために、プロンプトを追加または削除することができる。例えば、２つのプロンプトが各々単語の難しさについて有用な情報を提供することができるが、これら２つのプロンプトによって提供される情報が非常に冗長である場合もあり、双方のプロンプトを使用すると、これらの１つだけを使用する場合よりも有意な便益が得られないおそれもある。
ある実施態様では、プロンプト選択の後に、選択されたプロンプトに相応しい第２の数学モデルを訓練することもできる。図７において訓練された数学モデルは、１つの発声(utterance)（プロンプトに応答した）を処理して医療診断スコアを生成することができる。診断を実行するプロセスは、複数のプロンプトに対応する複数の発声を処理するステップを含み、次いで図７の数学モデルによって発声の各々を処理して、複数の医療診断スコアを生成することができる。総合的な医療診断について判定するために、複数の医療診断スコアを何らかの方法で組み合わせる必要がある場合もある。したがって、図７において訓練された数学モデルは、選択された１組のプロンプトに相応しくなくてもよい。
選択されたプロンプトが人を診断するセッションにおいて使用されるとき、プロンプトの各々をその人に提示して、プロンプトの各々に対応する発声を得ることができる。発声を別個に処理する代わりに、モデルによって発声を同時に処理して医療診断スコアを生成することもできる。したがって、モデルは、選択されたプロンプトの各々に対応する発声を同時に処理するように訓練されるので、選択されたプロンプトにモデルを適応させることができる。
図９は、１組の選択されたプロンプトに相応しい数学モデルを訓練する実施態様例のフロー・チャートである。ステップ９１０において、図７のプロセスを使用することによってというようにして、第１数学モデルを得る。ステップ９２０において、図８のプロセスによってというようにして、第１数学モデルを使用して、複数のプロンプトを選択する。
ステップ９３０において、複数の選択されたプロンプトに対応する複数の音声データ項目を同時に処理して医療診断スコアを生成する第２数学モデルを訓練する。第２数学モデルを訓練するとき、複数の選択されたプロンプトの各々に対応する音声データ項目によるセッションを含む訓練コーパスを使用することができる。この数学モデルを訓練するとき、数学モデルへの入力を、セッションからの、そして選択されたプロンプトの各々に対応する音声データ項目に固定してもよい。数学モデルの出力は、既知の医療診断に固定されてもよい。
次いで、このモデルのパラメータを訓練して、同時に医療診断スコアを生成するように音声データ項目を最適に処理することもできる。確率的勾配降下法のような、任意の適した訓練技法を使用することができる。
次いで、音声モジュール１０４、図１のサービス等のように、病状診断サービスの一部として、第２数学モデルをデプロイすることができる。第２数学モデルは、個別にではなく、発声を同時に処理するように訓練されているので、第２数学モデルは第１数学モデルよりも高い性能を発揮することができる。つまり、訓練は、全ての発声からの情報を組み合わせると、一層正しく病状診断スコアを生成することができる。
図１０は、以上で説明した技法の内任意のものを実装するためのコンピューティング・デバイス１０００の一実施態様のコンポーネントを示す。図１０では、コンポーネントは、１つのコンピューティング・デバイス上にあるように示されているが、例えば、エンド・ユーザ・コンピューティング・デバイス（例えば、スマート・フォンまたはタブレット）および／またはサーバ・コンピューティング・デバイス（例えば、クラウド・コンピューティング）を含む、コンピューティング・デバイスのシステムのように、複数のコンピューティング・デバイス間で、コンポーネントを分散させることもできる。
コンピューティング・デバイス１０００は、揮発性または不揮発性メモリ１０１０、１つ以上のプロセッサ１０１１、および１つ以上のネットワーク・インターフェース１０１２のような、コンピューティング・デバイスに典型的な任意のコンポーネントを含むことができる。また、コンピューティング・デバイス１０００は、ディスプレイ、キーボード、およびタッチ・スクリーンのような、任意の入力および出力コンポーネントも含むことができる。また、コンピューティング・デバイス１０００は、特定の機能を提供する種々のコンポーネントまたはモジュールも含むことができ、これらのコンポーネントまたはモジュールは、ソフトウェア、ハードウェア、またはこれらの組み合わせで実装することができる。以下に、実装の一例として、コンポーネントの様々な例について説明するが、他の実装では、追加のコンポーネントを含んでもよく、または以下で説明するコンポーネントの一部を除外してもよい。
コンピューティング・デバイス１０００は、先に説明したように音声データ項目について音響特徴を計算することができる音響特徴計算コンポーネント１０２１を有することができる。コンピューティング・デバイス１０００は、先に説明したように音声データ項目の言語特徴を計算することができる言語特徴計算コンポーネント１０２２を有することができる。コンピューティング・デバイス１０００は、先に説明したように音声データ項目について音声認識結果を生成することができる音声認識コンポーネント１０２３を有することができる。コンピューティング・デバイス１０００は、先に説明したように特徴に対して選択スコアを計算することができる特徴選択スコア計算コンポーネント１０３１を有することができる。コンピューティング・デバイス１０００は、先に説明したように安定性判定を行うまたは安定性スコアを計算することができる特徴安定性スコア計算コンポーネント１０３２を有することができる。コンピューティング・デバイス１０００は、先に説明したように選択スコアおよび／または安定性判定を使用して特徴を選択することができる特徴選択コンポーネント１０３３を有することができる。コンピューティング・デバイス１０００は、先に説明したようにプロンプトに対して選択スコアを計算することができるプロンプト選択スコア計算コンポーネント１０４１を有することができる。コンピューティング・デバイス１０００は、先に説明したように安定性判定を行うまたは安定性スコアを計算することができるプロンプト安定性スコア計算コンポーネント１０４２を有することができる。コンピューティング・デバイス１０００は、先に説明したように選択スコアおよび／または安定性判定を使用してプロンプトを選択することができるプロンプト選択コンポーネント１０４３を有することができる。コンピューティング・デバイス１０００は、先に説明したように数学モデルを訓練することができるモデル訓練コンポーネント１０５０を有することができる。コンピューティング・デバイス１０００は、先に説明したように音声データ項目を処理して医療診断スコアを決定することができる病状診断コンポーネント１０６０を有することができる。
コンピューティング・デバイス１０００は、訓練コーパス・データ・ストア１０７０のような、種々のデータ・ストアを含むこと、またはこれらにアクセスすることができる。データ・ストアは、ファイル、リレーショナル・データベースまたは非リレーショナル・データベース、あるいは任意の非一時的コンピュータ読み取り可能媒体のような、任意の周知の格納技術を使用することができる。
本明細書において説明した方法およびシステムは、部分的にまたは全体的に、コンピュータ・ソフトウェア、プログラム・コード、および／または命令をプロセッサ上で実行する機械によってデプロイすることもできる。「プロセッサ」とは、本明細書において使用する場合、少なくとも１つのプロセッサを含むことを意味し、文脈が明らかに別のことを示すのではない限り、複数および単数は相互可能であると理解されてしかるべきである。本開示の態様はいずれも、機械上の方法、機械の一部としてまたは機械に関係するシステムまたは装置(apparatus)、あるいは機械の１つ以上において実行するコンピュータ読み取り可能媒体において具体化されるコンピュータ・プログラム製品として実現することができる。プロセッサは、サーバ、クライアント、ネットワーク・インフラストラクチャ、移動体コンピューティング・プラットフォーム、静止コンピューティング・プラットフォーム、または他のコンピューティング・プラットフォームの一部であってもよい。プロセッサは、プログラム命令、コード、バイナリ命令等を実行することができる任意の種類の計算デバイスまたは処理デバイスとしてもよい。プロセッサは、１つのプロセッサ、ディジタル・プロセッサ、埋め込みプロセッサ、マイクロプロセッサ、あるいは格納されているプログラム・コードまたはプログラム命令の実行を直接または間接的に促進することができるコプロセッサ（マス・コプロセッサ、グラフィック・コプロセッサ、通信コプロセッサ等）のようなあらゆる変種等であってもよく、あるいは含んでもよい。加えて、プロセッサは、複数のプログラム、スレッド、およびコードの実行を可能にするのでもよい。プロセッサの性能を向上させるため、およびアプリケーションの同時処理を実行し易くために、複数のスレッドを同時に実行することもできる。一実施態様として、本明細書において説明した方法、プログラム・コード、プログラム命令等が１つ以上のスレッドにおいて実装されてもよい。スレッドが他のスレッドを生成する(spawn)こともでき、これらに関連付けて優先順位を割り当てることができ、プロセッサは、優先順位に基づいて、またはプログラム・コード内において与えられる命令に基づく任意の他の順序に基づいて、これらのスレッドを実行することができる。プロセッサは、本明細書および他の場所で説明されるような、方法、コード、命令、およびプログラムを格納するメモリを含むことができる。プロセッサは、本明細書および他の場所で説明されるような、方法、コード、および命令を格納することができる記憶媒体に、インターフェースを介してアクセスすることができる。方法、プログラム、コード、プログラム命令、またはコンピューティング・デバイスまたは処理デバイスによって実行することができる他のタイプの命令を格納するためにプロセッサに付随する記憶媒体には、ＣＤ－ＲＯＭ、ＤＶＤ、メモリ、ハード・ディスク、フラッシュ・ドライブ、ＲＡＭ、ＲＯＭ、キャッシュ等の内１つ以上を含むことができるが、これらに限定されなくてもよい。
プロセッサは、マルチプロセッサの速度および性能を向上させることができる１つ以上のコアを含んでもよい。実施形態では、プロセスは、デュアル・コア・プロセッサ、クアッド・コア・プロセッサ、または２つ以上の独立コア（ダイと呼ぶ）を組み合わせる他のチップ・レベル・マルチプロセッサ等であってもよい。
本明細書において説明した方法およびシステムは、部分的にまたは全体的に、サーバ、クライアント、ファイアウォール、ゲートウェイ、ハブ、ルータ、あるいは他のこのようなコンピュータおよび／またはネットワーキング・ハードウェア上でコンピュータ・ソフトウェアを実行する機械によってデプロイすることができる。ソフトウェア・プログラムは、ファイル・サーバ、プリント・サーバ、ドメイン・サーバ、インターネット・サーバ、イントラネット・サーバ、および二次サーバ、ホスト・サーバ、分散型サーバ等のような他の変種を含むことができるサーバと関連付けることができる。サーバは、メモリ、プロセッサ、コンピュータ読み取り可能媒体、記憶媒体、ポート（物理および仮想）、通信デバイス、ならびに他のサーバ、クライアント、機械、およびデバイスに有線またはワイヤレス媒体を通じてアクセスすることができるインターフェース等の内１つ以上を含むことができる。本明細書および他の場所で説明されるような方法、プログラム、またはコードは、サーバによって実行されてもよい。加えて、本願明細書において説明したような方法の実行に必要とされる他のデバイスは、サーバに関連するインフラストラクチャの一部として見なされてもよい。
サーバは、インターフェースを他のデバイスに提供することができる。他のデバイスには、限定ではなく、クライアント、他のサーバ、プリンタ、データベース・サーバ、プリント・サーバ、ファイル・サーバ、通信サーバ、分散型サーバ等が含まれる。加えて、このカプリング(coupling)および／または接続は、ネットワークを跨いだプログラムの遠隔実行を容易にすることができる。これらのデバイスの一部または全てをネットワーク接続することにより、本開示の範囲から逸脱することなく、１つ以上の場所におけるプログラムまたは方法の並列処理を容易にすることができる。加えて、インターフェースを介してサーバに取り付けられるデバイスはいずれも、方法、プログラム、コード、および／または命令を格納することができる少なくとも１つの記憶媒体を含むことができる。中央レポジトリが、異なるデバイス上で実行されるプログラム命令を提供してもよい。この実施態様では、遠隔レポジトリがプログラム・コード、命令、およびプログラムのための記憶媒体として作用することができる。
ソフトウェア・プログラムをクライアントと関連付けることもできる。クライアントには、ファイル・クライアント、プリント・クライアント、ドメイン・クライアント、インターネット・クライアント、イントラネット・クライアント、および二次クライアント、ホスト・クライアント、分散型クライアント等のような他の変種を含んでもよい。クライアントは、メモリ、プロセッサ、コンピュータ読み取り可能媒体、記憶媒体、ポート（物理および仮想）、通信デバイス、ならびに他のクライアント、サーバ、機械、およびデバイスに有線またはワイヤレス媒体を通じてアクセスすることができるインターフェース等の内１つ以上を含むことができる。本明細書および他の場所で説明されるような方法、プログラム、またはコードは、クライアントによって実行されてもよい。加えて、本明細書において説明したような方法の実行に必要とされる他のデバイスは、クライアントに関連するインフラストラクチャの一部として見なされてもよい。
クライアントは、インターフェースを他のデバイスに提供することができる。他のデバイスには、限定ではなく、サーバ、他のクライアント、プリンタ、データベース・サーバ、プリント・サーバ、ファイル・サーバ、通信サーバ、分散型サーバ等が含まれる。加えて、このカプリング(coupling)および／または接続は、ネットワークを跨いだプログラムの遠隔実行を容易にすることができる。これらのデバイスの一部または全てをネットワーク接続することにより、本開示の範囲から逸脱することなく、１つ以上の場所におけるプログラムまたは方法の並列処理を容易にすることができる。加えて、インターフェースを介してクライアントに取り付けられるデバイスはいずれも、方法、プログラム、アプリケーション、コード、および／または命令を格納することができる少なくとも１つの記憶媒体を含むことができる。中央レポジトリが、異なるデバイス上で実行されるプログラム命令を提供してもよい。この実施態様では、遠隔レポジトリがプログラム・コード、命令、およびプログラムのための記憶媒体として作用することができる。
本明細書において説明した方法およびシステムは、部分的にまたは全体的に、ネットワーク・インフラストラクチャを介してデプロイすることもできる。ネットワーク・インフラストラクチャは、コンピューティング・デバイス、サーバ、ルータ、ハブ、ファイアウォール、クライアント、パーソナル・コンピュータ、通信デバイス、ルーティング・デバイス、ならびに当技術分野において知られている他の能動および受動デバイス、モジュール、および／またはコンポーネントというようなエレメントを含むことができる。ネットワーク・インフラストラクチャと関連付けられるコンピューティングおよび／または非コンピューティング・デバイス（１つまたは複数）は、他のコンポーネント以外に、フラッシュ・メモリ、バッファ、スタック、ＲＡＭ、ＲＯＭ等のような記憶媒体を含むことができる。本明細書および他の場所において説明されるプロセス、方法、プログラム・コード、命令は、ネットワーク・インフラストラクチャ・エレメントの内１つ以上によって実行されてもよい。
本明細書および他の場所において説明された方法、プログラム・コード、および命令は、複数のセルを有するセルラ・ネットワーク上で実装することもできる。セルラ・ネットワークは、周波数分割多元接続（ＦＤＭＡ）ネットワーク、または符号分割多元接続（ＣＤＭＡ）ネットワークのいずれかであってもよい。セルラ・ネットワークは、移動体デバイス、セル・サイト、基地局、リピータ、アンテナ、タワー等を含むことができる。セルラ・ネットワークは、ＧＳＭ（登録商標）、ＧＰＲＳ、３Ｇ、ＥＶＤＯ、メッシュ、または他のネットワーク・タイプであってもよい。
本明細書および他の場所において説明された方法、プログラム・コード、および命令は、移動体デバイス上において、または移動体デバイスを通じて実装することもできる。移動体デバイスは、ナビゲーション・デバイス、セル・フォン、移動体電話機、移動体パーソナル・ディジタル・アシスタント、ラップトップ、パームトップ、ネットブック、ページャ、電子書籍リーダ、音楽プレーヤ等を含むことができる。これらのデバイスは、他のコンポーネント以外にも、フラッシュ・メモリのような記憶媒体、バッファ、ＲＡＭ、ＲＯＭ、および１つ以上のコンピューティング・デバイスを含むことができる。移動体デバイスと関連付けられたコンピューティング・デバイスが、そこに格納されているプログラム・コード、方法、および命令を実行することを可能にしてもよい。あるいは、移動体デバイスは、他のデバイスと協調して命令を実行するように構成されてもよい。移動体デバイスは、サーバとインターフェースされた基地局と通信し、プログラム・コードを実行するように構成されてもよい。移動体デバイスは、ピア・ツー・ピア・ネットワーク、メッシュ・ネットワーク、または他の通信ネットワーク上で通信することもできる。プログラム・コードは、サーバに付帯する記憶媒体上に格納され、サーバ内に埋め込まれたコンピューティング・デバイスによって実行されてもよい。基地局は、コンピューティング・デバイスおよび記憶媒体を含むことができる。記憶デバイスは、基地局と関連付けられたコンピューティング・デバイスによって実行されるプログラム・コードおよび命令を格納することができる。
コンピュータ・ソフトウェア、プログラム・コード、および／または命令は、機械読み取り可能媒体上に格納され、および／または機械読み取り可能媒体上でアクセスすることができる。機械読み取り可能媒体は、ある時間間隔で計算するために使用されるディジタル・データを保持するコンピュータ・コンポーネント、デバイス、および記録媒体；ランダム・アクセス・メモリ（ＲＡＭ）として知られる半導体ストレージ；光ディスク、ハード・ディスク、テープ、ドラム、カード、および他のタイプのような磁気ストレージの形態というような、通例ではより永続的な格納のための大容量ストレージ；プロセッサ・レジスタ、キャッシュ・メモリ、揮発性メモリ、不揮発性メモリ；ＣＤ、ＤＶＤのような光ストレージ；フラッシュ・メモリ（例えば、ＵＳＢスティックまたはキー）、フロッピ・ディスク、磁気テープ、紙テープ、パンチ・カード、単体ＲＡＭディスク、Ｚｉｐドライブ、リムーバブル大容量ストレージ、オフライン等のようなリムーバブル媒体；ダイナミック・メモリ、スタティック・メモリ、リード／ライト・ストレージ、可変ストレージ、読み取り専用、ランダム・アクセス、シーケンシャル・アクセス、位置アドレス可能、ファイル・アドレス可能、コンテンツ・アドレス可能、ネットワーク取付ストレージ、ストレージ・エリア・ネットワーク、バー・コード、磁気インク等のような他のコンピュータ・メモリを含むことができる。
本明細書において説明した方法およびシステムは、物理品目および／または無形品目を１つの状態から他の状態に変換することができる。また、本明細書において説明した方法およびシステムは、物理品目および／または無形品目を表すデータを１つの状態から他の状態に変換することができる。
図全体を通じて、フロー・チャートおよびブロック図に含まれ、本明細書において説明および図示したエレメントは、エレメント間に論理的な境界を暗示する。しかしながら、ソフトウェアおよびハードウェア設計の実際によれば、図示したエレメントおよびそれらの機能は、コンピュータ実行可能媒体を介して、プロセッサを有する機械上に実装されてもよい。プロセッサは、媒体上に格納されているプログラム命令を、モノリシック・ソフトウェア構造として、単体ソフトウェア・モジュールとして、または外部ルーチン、コード、サービス等を採用するモジュールとして、あるいはこれらの任意の組み合わせで実行することができ、このような実施態様の全てが、本開示の範囲内に該当する。このような機械の例には、パーソナル・ディジタル・アシスタント、ラップトップ、パーソナル・コンピュータ、移動体電話機、他のハンドヘルド・コンピューティング・デバイス、医療機器、有線またはワイヤレス通信デバイス、変換器、チップ、計算機、衛星、タブレットＰＣ、電子書籍、ガジェット(gadget)、電子デバイス、人工知能を有するデバイス、コンピューティング・デバイス、ネットワーキング機器、サーバ、ルータ等を含むことができるが、これらに限定されなくてもよい。更に、フロー・チャートおよびブロック図に示されたエレメント、または任意の他の論理コンポーネントは、プログラム命令を実行することができる機械上に実装されてもよい。つまり、以上の図面および説明は開示したシステムの機能的態様を明示するが、明白に言明されていなければ、またそうでなくても文脈から明らかでなければ、これらの説明から、これらの機能的態様を実装するためのソフトウェアの特定の構成が推論されなくてもよい。同様に、以上で確認および説明した種々のステップを様々に変更してもよいこと、そしてステップの順序は、本明細書において開示した技法の特定の用途に合わせて改変されてもよいことも認められよう。このような変形(variations) および変更の全ては、本開示の範囲内に該当することを意図している。したがって、種々のステップの順序の図示および／または説明は、特定の用途によって必要となるのではないなら、または明白に言明されていなければ、またそうでなくても文脈から明らかでなければ、これらのステップには特定の実行順序が必要であるとは解釈してはならない。
以上で説明した方法および／またはプロセス、ならびにそのステップは、特定の用途に適したハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの任意の組み合わせで実現することができる。ハードウェアは、汎用コンピュータおよび／または専用コンピューティング・デバイス、または特殊(specific)コンピューティング・デバイス、あるいは特定のコンピューティング・デバイスの特定の態様またはコンポーネントを含むことができる。プロセスは、１つ以上のマイクロプロセッサ、マイクロコントローラ、埋め込みマイクロコントローラ、プログラマブル・ディジタル信号プロセッサ、または他のプログラマブル・デバイスにおいて、内部および／または外部メモリも一緒に用いて、実現することができる。更に、または代わりに、プロセスは、特定用途集積回路、プログラマブル・ゲート・アレイ、プログラマブル・アレイ・ロジック、あるいは電子信号を処理するように構成することができる任意の他のデバイスまたはデバイスの組み合わせにおいて具体化することができる。更に、以上のプロセスの１つ以上は、機械読み取り可能媒体上で実行することができるコンピュータ実行可能コードとして実現できることは認められよう。
コンピュータ実行可能コードは、Ｃのような構造化プログラミング言語、Ｃ＋＋のようなオブジェクト指向プログラミング言語、あるいは任意の他の高級または低級プログラミング言語（アセンブリ言語、ハードウェア記述言語、ならびにデータベース・プログラミング言語および技術を含む）を使用して作成することができ、以上のデバイスの内の１つにおいて、更にはプロセッサ、プロセッサ・アーキテクチャ、または異なるハードウェアおよびソフトウェアの組み合わせ、あるいはプログラム命令を実行することができる任意の他の機械の異質な組み合わせにおいて実行するために、格納、コンパイル、または解釈することができる。
したがって、一態様では、以上で説明した各方法およびその組み合わせは、コンピュータ実行可能コードに具体化することができ、１つ以上のコンピューティング・デバイス上でコンピュータ実行可能コードを実行すると、そのステップを実行する。他の態様では、これらの方法は、そのステップを実行するシステムにおいて具体化することができ、更に複数の方法で(a number of ways)複数のデバイスにわたって分散することができ、あるいは機能の全てを専用の単体デバイスまたは他のハードウェアに統合することもできる。他の態様では、以上で説明したプロセスに関連するステップを実行する手段は、以上で説明したハードウェアおよび／またはソフトウェアの内任意のものを含むことができる。このような代替(permutations)および組み合わせは全て、本開示の範囲内に該当することを意図している。
以上、詳細に示し説明した好ましい実施形態と関連付けて本発明を開示したが、その種々の変更および改良は、当業者には容易に明白になるであろう。したがって、本発明の主旨および範囲は、以上の説明によって限定されるのではなく、法律によって許容される最も広い意味で理解されてしかるべきである。
本明細書において引用した文書は全て、引用したことによりその内容が本願にも含まれるものとする。

Claims (20)

  1. 病状を検出する数学モデルを訓練するためのシステムであって、前記システムが、
    音声データ項目を含む訓練コーパスを得て、各音声データ項目には診断値が付帯し、
    自動音声認識を使用して、音声データ項目毎に音声認識結果を得て、音声データ項目についての前記音声認識結果が、当該音声データ項目の転記を含み、
    前記訓練コーパスにおける音声データ項目毎に複数の音響特徴を計算し、前記複数の音響特徴が前記音声データ項目から計算され、前記複数の音響特徴の計算が、前記音声データ項目の音声認識結果を使用せず、
    前記音声認識結果を処理することによって、前記訓練コーパスにおける音声データ項目毎に複数の言語特徴を計算し、
    前記複数の音響特徴の特徴毎、および前記複数の言語特徴の特徴毎に特徴選択スコアを計算し、
    特徴に対する前記特徴選択スコアが、当該特徴の前記病状を検出することに対する有用性を示し、
    前記特徴選択スコアが、音声データ項目毎に、前記特徴の値、および前記音声データ項目に対応する診断値を使用して計算され、
    前記特徴選択スコアを使用して、前記複数の音響特徴および前記複数の言語特徴から複数の特徴を選択し、
    前記訓練コーパスの音声データ項目毎に、前記選択した複数の特徴を使用して、前記病状を検出する前記数学モデルを訓練する、
    ように構成された少なくとも１つのコンピュータを備える、システム。
  2. 請求項１に記載のシステムにおいて、前記少なくとも１つのコンピュータが、
    前記数学モデルを使用して、前記病状を検出する製品またはサービスをデプロイし、
    人の音声に対応する音声データ項目を受け取り、
    前記数学モデルを使用して前記音声データ項目を処理することにより、医療診断スコアを計算する、
    ように構成される、システム。
  3. 請求項１に記載のシステムにおいて、前記訓練コーパスの各音声データ項目が、複数のプロンプトの内の１つのプロンプトに対応し、前記少なくとも１つのコンピュータが、
    前記数学モデルによって前記音声データ項目を処理することによって、前記訓練コーパスの音声データ項目毎に医療診断スコアを計算し、
    前記医療診断スコアを使用して、前記複数のプロンプトのプロンプト毎にプロンプト選択スコアを計算し、
    前記プロンプト選択スコアを使用して、前記複数のプロンプトからプロンプトの部分集合を選択し、
    前記数学モデルおよび前記プロンプトの部分集合を使用して、前記病状を検出する製品またはサービスをデプロイし、
    前記プロンプトの部分集合のプロンプト毎に、人の音声に対応する音声データ項目を受け取り、
    前記数学モデルを使用して前記音声データ項目を処理することにより、前記人に対する医療診断スコアを計算する、
    ように構成される、システム。
  4. 請求項１に記載のシステムにおいて、前記少なくとも１つのコンピュータが、
    前記訓練コーパスを複数のフォールドに分割し、
    特徴毎および前記複数のフォールドのフォールド毎に統計を計算する、
    ように構成される、システム。
  5. 請求項４に記載のシステムにおいて、前記少なくとも１つのコンピュータが、
    特徴毎の前記統計および前記複数のフォールドの各フォールドを使用して、前記複数の音響特徴および前記複数の言語特徴の特徴毎に安定性判定を計算し、
    前記安定性判定を使用して、前記複数の特徴を選択する、
    ように構成される、システム。
  6. 請求項１に記載のシステムにおいて、前記数学モデルが、ニューラル・ネットワークまたはサポート・ベクトル・マシンを含む、システム。
  7. 請求項１に記載のシステムにおいて、前記複数の音響特徴が、スペクトル特徴、韻律的特徴、または声質特徴の内少なくとも１つを含む、システム。
  8. 病状を検出する数学モデルを訓練するためのコンピュータ実装方法であって、
    音声データ項目を含む訓練コーパスを得るステップであって、各音声データ項目には診断値が付帯する、ステップと、
    自動音声認識を使用して、音声データ項目毎に音声認識結果を得るステップであって、音声データ項目についての前記音声認識結果が、当該音声データ項目の転記を含む、ステップと、
    前記訓練コーパスにおける音声データ項目毎に複数の音響特徴を計算するステップであって、前記複数の音響特徴が前記音声データ項目から計算され、前記複数の音響特徴の計算が、前記音声データ項目の音声認識結果を使用しない、ステップと、
    前記音声認識結果を処理することによって、前記訓練コーパスにおける音声データ項目毎に複数の言語特徴を計算するステップと、
    前記複数の音響特徴の特徴毎および前記複数の言語特徴の特徴毎に特徴選択スコアを計算するステップであって、
    特徴に対する前記特徴選択スコアが、当該特徴の前記病状を検出することに対する有用性を示し、
    前記特徴選択スコアが、音声データ項目毎に、前記特徴の値、および前記音声データ項目に対応する診断値を使用して計算される、ステップと、
    前記特徴選択スコアを使用して、前記複数の音響特徴および前記複数の言語特徴から複数の特徴を選択するステップと、
    前記訓練コーパスの音声データ項目毎に、前記選択した複数の特徴を使用して、前記病状を検出する前記数学モデルを訓練するステップと、
    を含む、コンピュータ実装方法。
  9. 請求項８記載のコンピュータ実装方法において、前記病状が、脳震盪またはアルツハイマー病である、コンピュータ実装方法。
  10. 請求項８に記載のコンピュータ実装方法において、前記複数の言語特徴が、ある時間期間にわたるつなぎことばの数、ある数の単語にわたるつなぎことばの数、単語の難しさ、または話す速さの内１つ以上を含む、コンピュータ実装方法。
  11. 請求項８に記載のコンピュータ実装方法において、特徴に対する特徴選択スコアを計算するステップが、前記訓練コーパスの音声データ項目毎に１対の数値を生成するステップを含み、前記対の内第１の数値が特徴値に対応し、前記対の内第２の数値が診断値に対応する、コンピュータ実装方法。
  12. 請求項８に記載のコンピュータ実装方法であって、
    前記訓練コーパスを複数のフォールドに分割するステップと、
    特徴毎および前記複数のフォールドのフォールド毎に、統計を計算するステップと、
    を含む、コンピュータ実装方法。
  13. 請求項１２に記載のコンピュータ実装方法であって、
    特徴毎および前記複数のフォールドのフォールド毎の統計を使用して、前記複数の音響特徴および前記複数の言語特徴の特徴毎に安定性判定を計算するステップと、
    前記安定性判定を使用して、前記複数の特徴を選択するステップと、
    を含む、コンピュータ実装方法。
  14. 請求項８に記載のコンピュータ実装方法であって、
    前記数学モデルを使用して複数のプロンプトを選択するステップと、
    前記選択した複数のプロンプト、および前記訓練コーパスの音声データ項目を使用して、第２数学モデルを訓練するステップと、
    を含む、コンピュータ実装方法。
  15. コンピュータ実行可能命令を含む１つ以上の非一時的コンピュータ読み取り可能媒体であって、前記コンピュータ実行可能命令が実行されると、
    音声データ項目を含む訓練コーパスを得るアクションであって、各音声データ項目には診断値が付帯する、アクションと、
    自動音声認識を使用して、音声データ項目毎に音声認識結果を得るアクションであって、音声データ項目についての前記音声認識結果が、当該音声データ項目の転記を含む、アクションと、
    前記訓練コーパスにおける音声データ項目毎に複数の音響特徴を計算するアクションであって、前記複数の音響特徴が前記音声データ項目から計算され、前記複数の音響特徴の計算が、前記音声データ項目の音声認識結果を使用しない、アクションと、
    前記音声認識結果を処理することによって、前記訓練コーパスにおける音声データ項目毎に複数の言語特徴を計算するアクションと、
    前記複数の音響特徴の特徴毎、および前記複数の言語特徴の特徴毎に特徴選択スコアを計算するアクションであって、
    特徴に対する前記特徴選択スコアが、当該特徴の病状を検出することに対する有用性を示し、
    前記特徴選択スコアが、音声データ項目毎に、前記特徴の値、および前記音声データ項目に対応する診断値を使用して計算される、アクションと、
    前記特徴選択スコアを使用して、前記複数の音響特徴および前記複数の言語特徴から複数の特徴を選択するアクションと、
    前記訓練コーパスの音声データ項目毎に、前記選択した複数の特徴を使用して、前記病状を検出する数学モデルを訓練するアクションと、
    を含むアクションを、少なくとも１つのプロセッサに実行させる１つ以上の非一時的コンピュータ読み取り可能媒体。
  16. 請求項１５に記載の１つ以上の非一時的コンピュータ読み取り可能媒体において、前記複数の音響特徴の内第１音響特徴を計算するアクションが、
    複数の値を得るために、オーディオ信号の短時間区分毎に値を計算するアクションと、
    前記複数の値を使用して、前記第１音響特徴を計算するアクションと、
    を含む、１つ以上の非一時的コンピュータ読み取り可能媒体。
  17. 請求項１５に記載の１つ以上の非一時的コンピュータ読み取り可能媒体において、前記特徴選択スコアが、調節ランド指標、調節相互情報、絶対ピアソン相関、または絶対スピアマン相関を含む、１つ以上の非一時的コンピュータ読み取り可能媒体。
  18. 請求項１５に記載の１つ以上の非一時的コンピュータ読み取り可能媒体において、前記アクションが、
    前記複数の音響特徴および前記複数の言語特徴の特徴毎に安定性判定を計算するアクションと、
    前記安定性判定を使用して、前記複数の特徴を選択するアクションと、
    を含む、１つ以上の非一時的コンピュータ読み取り可能媒体。
  19. 請求項１５に記載の１つ以上の非一時的コンピュータ読み取り可能媒体において、前記訓練コーパスの各音声データ項目が複数のプロンプトの内１つのプロンプトに対応し、前記アクションが、
    前記数学モデルによって前記音声データ項目を処理することによって、前記訓練コーパスの音声データ項目に対する医療診断スコアを計算するアクションと、
    前記医療診断スコアを使用して、前記複数のプロンプトのプロンプト毎に、プロンプト選択スコアを計算するアクションと、
    前記プロンプト選択スコアを使用して、前記複数のプロンプトからプロンプトの部分集合を選択するアクションと、
    前記数学モデルおよび前記プロンプトの部分集合を使用して、前記病状を検出する製品またはサービスをデプロイするアクションと、
    を含む、１つ以上の非一時的コンピュータ読み取り可能媒体。
  20. 請求項１５に記載の１つ以上の非一時的コンピュータ読み取り可能媒体において、前記アクションが、
    前記訓練コーパスにおける音声データ項目毎に複数の非音声特徴を得るアクションと、
    前記複数の非音声特徴の特徴毎に、特徴選択スコアを計算するアクションと、
    前記複数の非音声特徴に対する前記特徴選択スコアを使用して、前記複数の特徴を選択するアクションと、
    を含む、１つ以上の非一時的コンピュータ読み取り可能媒体。
JP2020511874A 2017-05-05 2018-05-07 病状を検出するモデルを構築するための音声特徴の選択 Active JP7208224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023000544A JP2023052224A (ja) 2017-05-05 2023-01-05 病状を検出するモデルを構築するための音声特徴の選択

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762502584P 2017-05-05 2017-05-05
US62/502,584 2017-05-05
US201862614192P 2018-01-05 2018-01-05
US62/614,192 2018-01-05
PCT/US2018/031460 WO2018204934A1 (en) 2017-05-05 2018-05-07 Selecting speech features for building models for detecting medical conditions

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023000544A Division JP2023052224A (ja) 2017-05-05 2023-01-05 病状を検出するモデルを構築するための音声特徴の選択

Publications (2)

Publication Number Publication Date
JP2020524310A JP2020524310A (ja) 2020-08-13
JP7208224B2 true JP7208224B2 (ja) 2023-01-18

Family

ID=64014871

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020511874A Active JP7208224B2 (ja) 2017-05-05 2018-05-07 病状を検出するモデルを構築するための音声特徴の選択
JP2020511875A Active JP7208977B2 (ja) 2017-05-05 2018-05-07 音声に基づく医療評価
JP2022149805A Pending JP2022180516A (ja) 2017-05-05 2022-09-21 音声に基づく医療評価
JP2023000544A Pending JP2023052224A (ja) 2017-05-05 2023-01-05 病状を検出するモデルを構築するための音声特徴の選択

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020511875A Active JP7208977B2 (ja) 2017-05-05 2018-05-07 音声に基づく医療評価
JP2022149805A Pending JP2022180516A (ja) 2017-05-05 2022-09-21 音声に基づく医療評価
JP2023000544A Pending JP2023052224A (ja) 2017-05-05 2023-01-05 病状を検出するモデルを構築するための音声特徴の選択

Country Status (4)

Country Link
US (7) US10311980B2 (ja)
EP (2) EP3618698A4 (ja)
JP (4) JP7208224B2 (ja)
WO (2) WO2018204934A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939821B2 (en) * 2017-03-20 2021-03-09 Applications Technology (Apptek), Llc Systems and methods for diagnosing and analyzing concussions
JP7208224B2 (ja) 2017-05-05 2023-01-18 カナリー・スピーチ，エルエルシー 病状を検出するモデルを構築するための音声特徴の選択
US10910105B2 (en) * 2017-05-31 2021-02-02 International Business Machines Corporation Monitoring the use of language of a patient for identifying potential speech and related neurological disorders
US11114097B2 (en) * 2017-06-14 2021-09-07 Nec Corporation Notification system, notification method, and non-transitory computer readable medium storing program
US20190043623A1 (en) * 2017-08-04 2019-02-07 Thomas W. WATLINGTON, IV System and method for physiological and psychological support in home healthcare
US11436549B1 (en) 2017-08-14 2022-09-06 ClearCare, Inc. Machine learning system and method for predicting caregiver attrition
US11508479B2 (en) * 2017-10-16 2022-11-22 Optum, Inc. Automated question generation and response tracking
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
WO2019246239A1 (en) 2018-06-19 2019-12-26 Ellipsis Health, Inc. Systems and methods for mental health assessment
US20200042825A1 (en) * 2018-08-02 2020-02-06 Veritone, Inc. Neural network orchestration
US11120226B1 (en) 2018-09-04 2021-09-14 ClearCare, Inc. Conversation facilitation system for mitigating loneliness
US11633103B1 (en) 2018-08-10 2023-04-25 ClearCare, Inc. Automatic in-home senior care system augmented with internet of things technologies
WO2020044332A1 (en) * 2018-08-26 2020-03-05 Beyond Verbal Communication Ltd System and method for measurement of vocal biomarkers of vitality and biological aging
US11631401B1 (en) * 2018-09-04 2023-04-18 ClearCare, Inc. Conversation system for detecting a dangerous mental or physical condition
US11380351B2 (en) * 2018-09-20 2022-07-05 Samsung Electronics Co., Ltd. System and method for pulmonary condition monitoring and analysis
US10847177B2 (en) 2018-10-11 2020-11-24 Cordio Medical Ltd. Estimating lung volume by speech analysis
US11048793B2 (en) 2018-12-05 2021-06-29 Bank Of America Corporation Dynamically generating activity prompts to build and refine machine learning authentication models
US11120109B2 (en) 2018-12-05 2021-09-14 Bank Of America Corporation Processing authentication requests to secured information systems based on machine-learned event profiles
US11176230B2 (en) 2018-12-05 2021-11-16 Bank Of America Corporation Processing authentication requests to secured information systems based on user behavior profiles
US11113370B2 (en) 2018-12-05 2021-09-07 Bank Of America Corporation Processing authentication requests to secured information systems using machine-learned user-account behavior profiles
US11159510B2 (en) 2018-12-05 2021-10-26 Bank Of America Corporation Utilizing federated user identifiers to enable secure information sharing
US11036838B2 (en) 2018-12-05 2021-06-15 Bank Of America Corporation Processing authentication requests to secured information systems using machine-learned user-account behavior profiles
ES2964507T3 (es) * 2018-12-18 2024-04-08 Univ Szegedi Detección automática del deterioro neurocognitivo en función de una muestra de habla
US10943588B2 (en) * 2019-01-03 2021-03-09 International Business Machines Corporation Methods and systems for managing voice response systems based on references to previous responses
US11133026B2 (en) * 2019-01-04 2021-09-28 International Business Machines Corporation Natural language processor for using speech to cognitively detect and analyze deviations from a baseline
US11350885B2 (en) * 2019-02-08 2022-06-07 Samsung Electronics Co., Ltd. System and method for continuous privacy-preserved audio collection
US11651252B2 (en) * 2019-02-26 2023-05-16 Flatiron Health, Inc. Prognostic score based on health information
US11011188B2 (en) * 2019-03-12 2021-05-18 Cordio Medical Ltd. Diagnostic techniques based on speech-sample alignment
US11024327B2 (en) 2019-03-12 2021-06-01 Cordio Medical Ltd. Diagnostic techniques based on speech models
US20210373596A1 (en) * 2019-04-02 2021-12-02 Talkgo, Inc. Voice-enabled external smart processing system with display
CA3136790A1 (en) * 2019-04-15 2020-10-22 Janssen Pharmaceutica Nv System and method for detecting cognitive decline using speech analysis
JP7327987B2 (ja) * 2019-04-25 2023-08-16 キヤノン株式会社 医療診断支援システム、医療診断支援装置、医療診断支援方法及びプログラム
US11547345B2 (en) * 2019-05-04 2023-01-10 Intraneuron Dynamic neuropsychological assessment tool
CN110263641A (zh) * 2019-05-17 2019-09-20 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
EP3745412A1 (en) * 2019-05-28 2020-12-02 Corti ApS An intelligent computer aided decision support system
MX2021014721A (es) * 2019-05-30 2022-04-06 Insurance Services Office Inc Sistemas y metodos para aprendizaje de maquina de atributos de voz.
EP3809411A1 (en) * 2019-10-18 2021-04-21 LangAware, Inc. Multi-lingual system for early detection of alzheimer's disease
US11114113B2 (en) 2019-10-18 2021-09-07 LangAware, Inc. Multilingual system for early detection of neurodegenerative and psychiatric disorders
WO2021111964A1 (ja) * 2019-12-04 2021-06-10 株式会社ティーオースウィング 触質分析装置、触質情報提供システム、触質分析方法および触質分析用プログラム
CN112908317B (zh) * 2019-12-04 2023-04-07 中国科学院深圳先进技术研究院 一种针对认知障碍的语音识别系统
US11232570B2 (en) 2020-02-13 2022-01-25 Olympus Corporation System and method for diagnosing severity of gastritis
US11484211B2 (en) 2020-03-03 2022-11-01 Cordio Medical Ltd. Diagnosis of medical conditions using voice recordings and auscultation
JP2021151403A (ja) * 2020-03-24 2021-09-30 パナソニックＩｐマネジメント株式会社 認知機能判定方法、プログラム、及び認知機能判定システム
JP7450216B2 (ja) * 2020-03-24 2024-03-15 パナソニックＩｐマネジメント株式会社 認知機能判定システム、及びプログラム
US20210298711A1 (en) * 2020-03-25 2021-09-30 Applications Technology (Apptek), Llc Audio biomarker for virtual lung function assessment and auscultation
US20210315500A1 (en) * 2020-04-10 2021-10-14 döTERRA International LLC Systems and methods for determining wellness using a mobile application
CN112133284B (zh) * 2020-04-23 2023-07-07 中国医学科学院北京协和医院 一种医疗语音对话方法及装置
CA3179063A1 (en) * 2020-05-16 2021-11-25 Erik Edwards Machine learning systems and methods for multiscale alzheimer's dementia recognition through spontaneous speech
JP7410516B2 (ja) * 2020-06-19 2024-01-10 国立大学法人北海道大学 親子健康管理システム、親子健康分析装置、及び親子健康管理方法
US11417342B2 (en) 2020-06-29 2022-08-16 Cordio Medical Ltd. Synthesizing patient-specific speech models
JP2023533331A (ja) * 2020-07-10 2023-08-02 イモコグ カンパニー リミテッド 音声特性に基づくアルツハイマー病予測方法及び装置
KR102659616B1 (ko) * 2020-07-10 2024-04-23 주식회사 이모코그 음성 특성 기반 알츠하이머병 예측 방법 및 장치
US11526796B2 (en) * 2020-07-15 2022-12-13 International Business Machines Corporation Qubit pulse calibration via canary parameter monitoring
JP2023538287A (ja) * 2020-08-03 2023-09-07 ヴィルテック，ピービーシー 呼吸器症候群を検出するためのアンサンブル機械学習モデル
EP3965116A1 (en) * 2020-09-02 2022-03-09 Koninklijke Philips N.V. Responding to emergency calls
US20220076694A1 (en) * 2020-09-08 2022-03-10 Lifeline Systems Company Cognitive impairment detected through audio recordings
US11495211B2 (en) 2020-10-29 2022-11-08 International Business Machines Corporation Memory deterioration detection and amelioration
GB202019000D0 (en) * 2020-12-02 2021-01-13 Accexible Impacto S L Detection of cognitive impairment
CA3217118A1 (en) * 2021-03-31 2022-10-06 Gabriela STEGMANN Systems and methods for digital speech-based evaluation of cognitive function
US11887583B1 (en) * 2021-06-09 2024-01-30 Amazon Technologies, Inc. Updating models with trained model update objects
CN113838450B (zh) * 2021-08-11 2022-11-25 北京百度网讯科技有限公司 音频合成及相应的模型训练方法、装置、设备及存储介质
US20230072242A1 (en) 2021-09-07 2023-03-09 Canary Speech, LLC Paired neural networks for diagnosing health conditions via speech
WO2023095136A1 (en) * 2021-11-24 2023-06-01 B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University Subject diagnosis using speech analysis
WO2023094657A1 (en) * 2021-11-29 2023-06-01 Corti Aps Spoken language understanding by means of representations learned unsupervised
JP7509878B2 (ja) 2021-12-08 2024-07-02 セブンポイントワン インコーポレイテッド 人工知能コールを利用した質疑応答基盤の認知症検査方法及びサーバ
KR102380376B1 (ko) * 2021-12-08 2022-04-01 주식회사 세븐포인트원 인공지능 콜을 이용한 음성 질의응답 기반의 치매 검사 방법 및 서버
WO2023177595A1 (en) 2022-03-13 2023-09-21 Sonaphi, LLC Systems and method of providing health information through use of a person's voice
US12008921B2 (en) * 2022-04-22 2024-06-11 617 Education Inc. Systems and methods for grapheme-phoneme correspondence learning
KR20240062495A (ko) * 2022-11-01 2024-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160022193A1 (en) 2014-07-24 2016-01-28 Sackett Solutions & Innovations, LLC Real time biometric recording, information analytics and monitoring systems for behavioral health management
WO2016028495A1 (en) 2014-08-22 2016-02-25 Sri International Systems for speech-based assessment of a patient's state-of-mind

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067516A (en) 1997-05-09 2000-05-23 Siemens Information Speech and text messaging system with distributed speech recognition and speaker database transfers
JPH11197116A (ja) 1998-01-08 1999-07-27 Mitsubishi Electric Corp 健康管理装置
US6507790B1 (en) * 1998-07-15 2003-01-14 Horton, Inc. Acoustic monitor
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US7062443B2 (en) 2000-08-22 2006-06-13 Silverman Stephen E Methods and apparatus for evaluating near-term suicidal risk using vocal parameters
US20030105638A1 (en) 2001-11-27 2003-06-05 Taira Rick K. Method and system for creating computer-understandable structured medical data from natural language reports
US20030115214A1 (en) 2001-12-17 2003-06-19 Nir Essar Medical reporting system and method
US7315821B2 (en) 2002-01-31 2008-01-01 Sanyo Electric Co., Ltd. System and method for health care information processing based on acoustic features
US6804654B2 (en) 2002-02-11 2004-10-12 Telemanager Technologies, Inc. System and method for providing prescription services using voice recognition
US7825488B2 (en) * 2006-05-31 2010-11-02 Advanced Analogic Technologies, Inc. Isolation structures for integrated circuits and modular methods of forming the same
US6696339B1 (en) * 2002-08-21 2004-02-24 Micron Technology, Inc. Dual-damascene bit line structures for microelectronic devices and methods of fabricating microelectronic devices
US20040210159A1 (en) 2003-04-15 2004-10-21 Osman Kibar Determining a psychological state of a subject
US9240188B2 (en) * 2004-09-16 2016-01-19 Lena Foundation System and method for expressive language, developmental disorder, and emotion assessment
US20120277594A1 (en) 2009-01-23 2012-11-01 Pryor Timothy R Mental health and well-being
TW200735878A (en) 2005-11-18 2007-10-01 Astrazeneca Ab Pharmaceutical compositions
US8478596B2 (en) * 2005-11-28 2013-07-02 Verizon Business Global Llc Impairment detection using speech
WO2007070661A2 (en) 2005-12-13 2007-06-21 Naryx Pharma, Inc. Methods of measuring symptoms of chronic rhinosinusitis
CA2648706A1 (en) 2006-04-20 2007-11-01 Iq Life, Inc. Monitoring system
US8750971B2 (en) * 2007-05-24 2014-06-10 Bao Tran Wireless stroke monitoring
EP2356814B1 (en) 2008-11-07 2016-02-10 Koninklijke Philips N.V. Hospital tv/monitor display control with hierarchical access control
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US8494857B2 (en) 2009-01-06 2013-07-23 Regents Of The University Of Minnesota Automatic measurement of speech fluency
WO2010132541A2 (en) 2009-05-14 2010-11-18 University Of Delaware Electromagnetic detection apparatus and methods
US20120116186A1 (en) 2009-07-20 2012-05-10 University Of Florida Research Foundation, Inc. Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
US9087320B2 (en) * 2009-09-15 2015-07-21 Korrio, Inc. Sports collaboration and communication platform
AU2010357179A1 (en) 2010-07-06 2013-02-14 Rmit University Emotional and/or psychiatric state detection
US8784311B2 (en) 2010-10-05 2014-07-22 University Of Florida Research Foundation, Incorporated Systems and methods of screening for medical states using speech and other vocal behaviors
US20120310670A1 (en) 2011-06-01 2012-12-06 nPruv, Inc. Systems and methods for automated informed consent
US9055861B2 (en) 2011-02-28 2015-06-16 Samsung Electronics Co., Ltd. Apparatus and method of diagnosing health by using voice
US9514281B2 (en) 2011-05-03 2016-12-06 Graeme John HIRST Method and system of longitudinal detection of dementia through lexical and syntactic changes in writing
US9763617B2 (en) 2011-08-02 2017-09-19 Massachusetts Institute Of Technology Phonologically-based biomarkers for major depressive disorder
US20130158434A1 (en) * 2011-12-20 2013-06-20 Delta Electronics, Inc. Apparatus for voice assisted medical diagnosis
CN110353685B (zh) * 2012-03-29 2022-03-04 昆士兰大学 用于处理患者声音的方法与装置
US9517373B2 (en) * 2012-07-06 2016-12-13 Danny Rendon Sprinkler head removal system and method
US20140073993A1 (en) * 2012-08-02 2014-03-13 University Of Notre Dame Du Lac Systems and methods for using isolated vowel sounds for assessment of mild traumatic brain injury
US9579056B2 (en) 2012-10-16 2017-02-28 University Of Florida Research Foundation, Incorporated Screening for neurological disease using speech articulation characteristics
US20140113263A1 (en) * 2012-10-20 2014-04-24 The University Of Maryland, Baltimore County Clinical Training and Advice Based on Cognitive Agent with Psychological Profile
US9135571B2 (en) 2013-03-12 2015-09-15 Nuance Communications, Inc. Methods and apparatus for entity detection
US9295423B2 (en) 2013-04-03 2016-03-29 Toshiba America Electronic Components, Inc. System and method for audio kymographic diagnostics
US9495646B2 (en) * 2013-06-05 2016-11-15 The Trustees Of Columbia University In The City Of New York Monitoring health of dynamic system using speaker recognition techniques
WO2015107681A1 (ja) * 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
WO2015168606A1 (en) 2014-05-02 2015-11-05 The Regents Of The University Of Michigan Mood monitoring of bipolar disorder using speech analysis
US20160004831A1 (en) * 2014-07-07 2016-01-07 Zoll Medical Corporation Medical device with natural language processor
US9952685B2 (en) * 2014-07-22 2018-04-24 Logitech Europe S.A. Input device with means for altering the operating mode of the input device
WO2016077786A1 (en) * 2014-11-14 2016-05-19 Zoll Medical Corporation Medical premonitory event estimation
US20160135737A1 (en) 2014-11-17 2016-05-19 Elwha Llc Determining treatment compliance using speech patterns captured during use of a communication system
US20160140986A1 (en) * 2014-11-17 2016-05-19 Elwha Llc Monitoring treatment compliance using combined performance indicators
KR102477327B1 (ko) 2015-03-12 2022-12-13 아킬리 인터랙티브 랩스 인크. 인지 능력 측정을 위한 프로세서 구현 시스템 및 방법
US20160335399A1 (en) 2015-03-16 2016-11-17 Outside The Leather, Llc System and method for a patient initiated medical interview using a voice-based medical history questionnaire
US20160278633A1 (en) * 2015-03-23 2016-09-29 International Business Machines Corporation Monitoring a person for indications of a brain injury
US11638550B2 (en) 2015-07-07 2023-05-02 Stryker Corporation Systems and methods for stroke detection
EP3332322A4 (en) * 2015-08-06 2018-08-22 Avishai Abrahami Cognitive state alteration system integrating multiple feedback technologies
US10127929B2 (en) * 2015-08-19 2018-11-13 Massachusetts Institute Of Technology Assessing disorders through speech and a computational model
WO2017048730A1 (en) 2015-09-14 2017-03-23 Cogito Corporation Systems and methods for identifying human emotions and/or mental health states based on analyses of audio inputs and/or behavioral data collected from computing devices
US9899035B2 (en) * 2015-11-04 2018-02-20 Ioannis Kakadiaris Systems for and methods of intelligent acoustic monitoring
WO2017083480A1 (en) * 2015-11-12 2017-05-18 Avent, Inc. Patient outcome tracking platform
US11164596B2 (en) 2016-02-25 2021-11-02 Samsung Electronics Co., Ltd. Sensor assisted evaluation of health and rehabilitation
US11404170B2 (en) 2016-04-18 2022-08-02 Soap, Inc. Method and system for patients data collection and analysis
US10796715B1 (en) * 2016-09-01 2020-10-06 Arizona Board Of Regents On Behalf Of Arizona State University Speech analysis algorithmic system and method for objective evaluation and/or disease detection
US10939821B2 (en) * 2017-03-20 2021-03-09 Applications Technology (Apptek), Llc Systems and methods for diagnosing and analyzing concussions
JP7208224B2 (ja) 2017-05-05 2023-01-18 カナリー・スピーチ，エルエルシー 病状を検出するモデルを構築するための音声特徴の選択
US10614689B2 (en) 2017-09-07 2020-04-07 Ridgewood Technology Partners, LLC Methods and systems for using pattern recognition to identify potential security threats

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160022193A1 (en) 2014-07-24 2016-01-28 Sackett Solutions & Innovations, LLC Real time biometric recording, information analytics and monitoring systems for behavioral health management
WO2016028495A1 (en) 2014-08-22 2016-02-25 Sri International Systems for speech-based assessment of a patient's state-of-mind

Also Published As

Publication number Publication date
US11756693B2 (en) 2023-09-12
US11749414B2 (en) 2023-09-05
JP2023052224A (ja) 2023-04-11
US20220293286A1 (en) 2022-09-15
EP3619657A4 (en) 2021-02-17
EP3618698A4 (en) 2021-01-06
US20230352194A1 (en) 2023-11-02
JP2022180516A (ja) 2022-12-06
US11348694B2 (en) 2022-05-31
US20190311815A1 (en) 2019-10-10
US20180322961A1 (en) 2018-11-08
US10152988B2 (en) 2018-12-11
EP3618698A1 (en) 2020-03-11
JP2020524310A (ja) 2020-08-13
JP2020522028A (ja) 2020-07-27
US20180322894A1 (en) 2018-11-08
WO2018204934A1 (en) 2018-11-08
US20210142917A1 (en) 2021-05-13
JP7208977B2 (ja) 2023-01-19
WO2018204935A1 (en) 2018-11-08
US20190080804A1 (en) 2019-03-14
EP3619657A1 (en) 2020-03-11
US10311980B2 (en) 2019-06-04
US10896765B2 (en) 2021-01-19

Similar Documents

Publication Publication Date Title
JP7208224B2 (ja) 病状を検出するモデルを構築するための音声特徴の選択
US11545173B2 (en) Automatic speech-based longitudinal emotion and mood recognition for mental health treatment
US20220328064A1 (en) Acoustic and natural language processing models for speech-based screening and monitoring of behavioral health conditions
Jiang et al. Investigation of different speech types and emotions for detecting depression using different classifiers
Chlasta et al. Automated speech-based screening of depression using deep convolutional neural networks
EP3762942B1 (en) System and method for generating diagnostic health information using deep learning and sound understanding
EP3200188A1 (en) Computer implemented methods for assessing a disease through voice analysis and computer programs thereof
CN112470143A (zh) 痴呆症预测装置、预测模型生成装置及痴呆症预测用程序
KR102533467B1 (ko) 음성활동 평가를 이용한 기분삽화(우울삽화, 조증삽화) 조기 진단을 위한 정보 제공 방법
Marriwala et al. A hybrid model for depression detection using deep learning
Feng Toward knowledge-driven speech-based models of depression: Leveraging spectrotemporal variations in speech vowels
Morrison et al. Voting ensembles for spoken affect classification
US20240023877A1 (en) Detection of cognitive impairment
Tasnim et al. Cost-effective models for detecting depression from speech
Hinterleitner et al. Predicting the quality of text-to-speech systems from a large-scale feature set.
US20240071412A1 (en) Method and system for predicting a mental condition of a speaker
Hamza et al. Machine learning approaches for automated detection and classification of dysarthria severity
US20230072242A1 (en) Paired neural networks for diagnosing health conditions via speech
Abaei Koupaei Automated Mental Disorders Assessment Using Machine Learning
Wroge et al. An Analysis of Automated Parkinson’s Diagnosis Using Voice: Methodology and Future Directions
Abubakar et al. StutterNet: Stuttering Disfluencies Detection in Synthetic Speech Signals via Mel Frequency Cepstral Coefficients Features using Deep Learning
KR20220121183A (ko) 음소별 음성특징모델에 기반한 인지장애 예측 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230105

R150 Certificate of patent or registration of utility model

Ref document number: 7208224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150