JP7353592B2 - 心疾患を対象とする言葉による定期的なスクリーニング - Google Patents

心疾患を対象とする言葉による定期的なスクリーニング Download PDF

Info

Publication number
JP7353592B2
JP7353592B2 JP2019565085A JP2019565085A JP7353592B2 JP 7353592 B2 JP7353592 B2 JP 7353592B2 JP 2019565085 A JP2019565085 A JP 2019565085A JP 2019565085 A JP2019565085 A JP 2019565085A JP 7353592 B2 JP7353592 B2 JP 7353592B2
Authority
JP
Japan
Prior art keywords
audio
cardiac condition
speech
sample
optionally
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019565085A
Other languages
English (en)
Other versions
JP2020507437A5 (ja
JP2020507437A (ja
Inventor
イルミヤフ ホープトマン
アロン ゴレン
エリ アッタール
ピナス サバチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cardiokol Ltd
Original Assignee
Cardiokol Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cardiokol Ltd filed Critical Cardiokol Ltd
Publication of JP2020507437A publication Critical patent/JP2020507437A/ja
Publication of JP2020507437A5 publication Critical patent/JP2020507437A5/ja
Application granted granted Critical
Publication of JP7353592B2 publication Critical patent/JP7353592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

関連出願
本出願は、米国仮特許出願第６２／４５７，９１４号（出願日：２０１７年２月１２日）からの優先権を主張し、この文書の内容はその全体が参照により本明細書に組み込まれている。
本発明は、そのいくつかの実施形態においては、声を使用する医療診断に関し、より詳細には、これに限定されないが、人の声に基づいて心臓の状態を推定することに関する。
特許文献１には、利用者の健康状態を診断する方法および装置が開示されている。この装置は、利用者の音声を検出およびモニタリングする音声検出ユニットと、音声検出ユニットによって検出された音声から、診断される健康状態に基づいて音声の特徴を抽出する音声分析ユニットと、音声分析ユニットによって抽出された音声の特徴を異常状態の基準と比較することによって利用者の健康状態を診断し、かつ健康状態の変化を監視する、音声診断ユニットと、音声診断ユニットによって診断された健康状態および健康状態の変化に関する情報を出力する診断出力ユニットと、を含む。
特許文献２には、声を記録および分析する方法および計算システムであって、発声の一連のパラメータを計算することを可能にする、方法および計算システム、が開示されている。これらの方法および計算システムは、器質性障害（喉頭の生理機能に影響する）または神経障害（脳の言語中枢に影響する）によってもたらされる影響に関する関連情報を送信する。存在する機能障害の推定を得ることと、個人識別情報（personality）を割り当てることを可能にする分類方法も、この発明の本質的な部分と考えられる。
さらなる背景技術としては、以下が挙げられる。
非特許文献１（Ｗｅｂ上（www.ortra.com/events/Portals/16/Dias%20et%20al_AfekaConfSP2014.pdf）で公開されている）
非特許文献２（ポルト大学工学部に提出された修士論文）
非特許文献３
非特許文献４（博士論文）
特許文献３
特許文献４
特許文献５
特許文献６
特許文献７
特許文献８
特許文献９
特許文献１０
米国特許出願第２０１２／０２２０８９９号明細書 米国特許出願第２０１４／０１２２０６３号明細書 米国特許第８，０７８，４７０号明細書 米国特許出願第２００８／００４５８０５号明細書 米国特許第７，９１７，３６６号明細書 米国特許第８，２４９，８７５号明細書 米国特許第８，７６８，７０８号明細書 国際出願公開第２０１６／０３５０７０号 国際出願公開第２０１４／０３７９３７号 米国特許第７，３９８，２１３号明細書
"Glottal Pulse Estimation - A Frequency Domain Approach" by Sandra Dias and Anibal Ferreira, of the Department of Electrical and Computer Engineering, University of Porto - Faculty of Engineering, Porto, Portugal "Estimation of the glottal pulse from speech or singing voice" by Sandra de Oliviera Dias, in July 2012 "Discrete Wavelet Transform Decomposition Level Determination Exploiting Sparseness Measurement", by Lei Lei, Chao Wang, and Xin Liu, published in International Journal of Electrical, Computer, Energetic, Electronic and Communication Engineering Vol:7, No:9, 2013 "Advances in Glottal Analysis and its Applications" by Thomas Drugmore to obtain the title of PhD in Applied Sciences of University of Mons Yingyong Qi and Bobby R. Hunt, Voiced-Unvoiced-Silence Classifications of Speech Using Hybrid Features and a Network Classifier, Yingyong Qi and Bobby R. Hunt, 1993
例１． 被検者の音声サンプルを分析して不整脈の心臓の状態を判定する方法であって、
音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、
少なくとも１種類の音声特徴に対する血流の影響を検出するステップと、
この影響に基づいて不整脈の心臓の状態を判定するステップと、
を含む、方法。
例２． 不整脈の心臓の状態を判定するステップが、複数の識別された影響を統合するステップ、を含む、例１に記載の方法。
例３． 影響を識別するステップが、血流のタイミング、血流の周期性、および、血流の大きさまたは大きさの変化、のうちの少なくとも１つの影響を識別するステップ、を含む、例１または例２のいずれかに記載の方法。
例４． 音声サンプルを分類して有声セグメントを識別するステップ、をさらに含む、例１に記載の方法。
例５． 少なくともいくつかのセグメントが削除され、かつ残っているセグメントの端部が滑らかにされるように、有声セグメントを連結するステップ、をさらに含む、例４に記載の方法。
例６． 音声サンプルから削除されるセグメントにおける血流に関連するデータを外挿するステップ、をさらに含む、例１から例５のいずれか１つに記載の方法。
例７． 検出される影響が、心拍のタイミングを含む、例１から例６のいずれか１つに記載の方法。
例８． 影響を検出するステップが、心拍の少なくとも３回の連続する発生を識別するステップ、を含む、例７に記載の方法。
いくつかの実施形態においては、心拍の３回の連続する発生を識別することによって影響を検出するステップは、心拍の３回の連続する発生にほぼ等しい時間、または約２～３秒かかりうる。心臓の状態の影響を２～３秒検出することは、心電図による検出と比較すると、心電図では一般に準備（電極を配置する）だけで２～３秒以上を要する。
例９． 不整脈の心臓の状態を判定するステップが、心拍の少なくとも３回の連続する発生の間の時間間隔を計算するステップ、を含む、例８に記載の方法。
例１０． 不整脈の心臓の状態を判定するステップが、これらの時間間隔を、基準の心臓状態から得られる基準時間間隔と照合するステップ、を含む、例９に記載の方法。
例１１． 判定するステップが、
一致する確率を求めるステップと、
この確率をしきい値と比較して不整脈の心臓の状態を判定するステップと、
をさらに含む、
例１０に記載の方法。
例１２． 基準の心臓状態が、健康または不整脈である、例１１に記載の方法。
例１３． 心拍の少なくとも３回の連続する発生が、同じ有声セグメントにおいて識別されない、例７から例１２のいずれか１つに記載の方法。
例１４． 影響を検出するステップが、心拍の少なくとも２回の連続する発生を識別するステップ、を含む、例７から例１３のいずれか１つに記載の方法。
いくつかの実施形態においては、心拍の２回の連続する発生を識別することによって影響を検出するステップは、心拍の２回の連続する発生にほぼ等しい時間、または約２秒かかりうる。
例１５． 検出される影響が、心拍の大きさの影響、または心拍の大きさの変化の影響を含む、例１から例１４のいずれか１つに記載の方法。
例１６． 影響を検出するステップが、少なくとも１種類の音声特徴の複数の値の分布を計算するステップ、を含む、例１５に記載の方法。
例１７． 分布が、標準偏差を含む、例１６に記載の方法。
例１８． 不整脈の心臓の状態を影響に基づいて判定するステップが、分布の特徴パラメータをしきい値と比較するステップ、を含む、例１６または例１７のいずれかに記載の方法。
例１９． 特徴パラメータが、分布の形状を含む、例１８に記載の方法。
例２０． 値が、形状の幅を含む、例１９に記載の方法。
例２１． 検出される影響が、心拍の周期性の影響を含む、例１から例２０のいずれか１つに記載の方法。
例２２． 被検者の心拍数を推定するステップ、をさらに含む、例１から例２１のいずれか１つに記載の方法。
例２３． 不整脈の心臓の状態を判定するステップが、心拍数の周波数の前後の所定の範囲における周期性を特徴付けるステップ、を含む、例２２に記載の方法。
例２４． 特徴付けるステップが、所定の範囲におけるピークの帯域幅を計算するステップ、を含む、例２３に記載の方法。
例２５． 不整脈の心臓の状態を判定するステップが、この帯域幅をしきい値と比較するステップ、を含む、例２４に記載の方法。
例２６． 不整脈の心臓の状態の判定を確認するステップ、をさらに含む、例１から例２５のいずれか１つに記載の方法。
例２７． 確認するステップが、所定の発声を含む第２の音声サンプルを取得するステップ、を含む、例２６に記載の方法。
例２８． 確認するステップが、被検者に対する心電図検査（electrocardiogram test）および光電式容積脈波記録法検査（photoplethysmography test）の少なくとも一方を含む、例２６に記載の方法。
例２９． 不整脈の心臓の状態が、心房細動を含む、例１から例２８のいずれか１つに記載の方法。
例３０． 音声サンプルが、自発的な発話である、例１から例２９のいずれか１つに記載の方法。
例３１． 音声サンプルが、複数の被検者の音声を含む、例１から例３０のいずれか１つに記載の方法。
例３２． 音声サンプルから被検者の音声セグメントを抽出するステップ、をさらに含む、例３１に記載の方法。
例３３． 音声特徴が、ピッチを含む、例１から例３２のいずれか１つに記載の方法。
例３４． 音声特徴を抽出するステップが、メル周波数ケプストラム係数（ＭＦＣＣ：Mel Frequency Cepstral Coefficients）を抽出するステップを含む、例１から例３３のいずれか１つに記載の方法。
例３４．１． 音声特徴を抽出するステップが、クロスコヒーレンス（cross coherence）を計算するステップ、を含む、例１から例３４のいずれか１つに記載の方法。いくつかの実施形態においては、クロスコヒーレンスは、ピッチ周波数および／またはフォルマント周波数（formant frequencies）において計算される。いくつかの実施形態においては、クロスコヒーレンスは、オプションとして、発話信号における２つのセグメントの１つまたは複数のセットの間で計算される。いくつかの実施形態においては、より低いコヒーレンスを有するセット（２つのセグメント）は、オプションとして、それらのセグメント中に起こる心拍の指標の役割を果たすことができる。
いくつかの実施形態においては、クロスコヒーレンスは、次のように計算される。
Figure 0007353592000001
 式中、
「Ｔｓ」：フレーム間の時間ステップ［秒］
「Ｔｗ」：各フレームの持続時間［秒］
「ｍ」：フレーム番号
「ｔ」：時刻
「Ｓｐｅｅｃｈ」：発話サンプル
「Ｓｐｅｅｃｈ＿ｆｒａｍｅ（ｍ）」：時刻Ｔｓ＊ｍにおける発話サンプルのフレーム
Figure 0007353592000002
 Ｃｏｈ（ｍ，ｍ＋Ｔ）は、（時刻ｍ＊Ｔｓにおける）フレーム「ｍ」と、時刻（（ｍ＋Ｔ）＊Ｔｓ）におけるフレーム「ｍ＋Ｔ」との間のクロスコヒーレンスである。
コヒーレンスの値は、０～１の範囲内であり、１は完全な一致である。
上の方法は、オプションとして、（時刻Ｔｓ＊ｍ［秒］における）各フレームｍについて、コヒーレンスがしきい値よりも低下するフレーム距離Ｔを見つけるステップを含む。いくつかの実施形態においては、しきい値は、０．１～０．９８の間、例えば０．１、０．２、０．３、０．４、０．５、０．６、０．７、０．８、０．９、０．９５、０．９７、および０．９８である。
いくつかの実施形態においては、時刻Ｔ＊Ｔｓは、ＲＲ間隔の推定である。
いくつかの実施形態においては、クロスコヒーレンスの全体的な摂動（perturbation）（分布の幅）は、オプションとして、心房細動の指標の役割を果たす。すなわち、心房細動があるときの発話は、より広い分布（より大きい標準偏差）を有する。
例３４．２． 音声特徴を抽出するステップが、変調スペクトルの特定の特性を含む、例１から例３３のいずれか１つに記載の方法。
いくつかの実施形態においては、オプションとして各フレームにおいて計算される音響特徴（acoustic feature）のスペクトルの特性が、病的な発話の指標の役割を果たす。
例３４．３． 音声特徴を抽出するステップが、
ウェーブレット解析、
声門パルス分析、および、
線形予測符号化（ＬＰＣ：Linear Predictive Coding）分析、
からなる群から選択される、発話信号の分析、を実行するステップ、を含む、
例１から例３４．２のいずれか１つに記載の方法。
例３５． 音声特徴を抽出するステップが、発話信号の周期と、発話信号の別の周期との間のクロスコヒーレンスを実行するステップ、を含む、例１から例３３のいずれか１つに記載の方法。
例３６． 音声特徴を抽出するステップが、ウェーブレット変換（ＷＴ）を実行するステップ、を含む、例１から例３５のいずれか１つに記載の方法。
例３５． 被検者によって提供される音声サンプルにおいて不整脈の心臓の状態を判定するシステムであって、
音声サンプルのデジタル音声サンプルを取得する音声入力部と、
デジタル音声サンプルから少なくとも１種類の音声特徴を抽出する音声特徴抽出器と、
少なくとも１種類の音声特徴に対する心臓活動の影響を識別する音声特徴プロセッサと、
この影響に基づいて不整脈の心臓の状態を判定する心臓状態分類器と、
を備えている、システム。
例３６． 音声入力部が、携帯電話の一部を形成している、例３５に記載のシステム。
例３７． 音声入力部が、カーマルチメディアシステムの一部を形成している、例３５に記載のシステム。
例３８． 音声特徴抽出器、音声特徴プロセッサ、および心臓状態分類器、の少なくとも１つが、サーバーに位置している、例３５から例３７のいずれか１つに記載のシステム。
例３９． サーバーが、電話交換機と連携されており、交換機からデータを取得する、例３８に記載のシステム。
例４０． 音声入力部が、所定のスケジュールに従ってデジタル音声サンプルを取得するように構成されている、例３５から例３９のいずれか１つに記載のシステム。
例４１． 固定記憶装置をさらに備えている、例３５から例４０のいずれか１つに記載のシステム。
例４２． 記憶装置が、不整脈の心臓の状態または健康な心臓の状態に関連付けられる複数の音声サンプルから導かれる基準音声特徴、を記憶している、例４１に記載のシステム。
例４３． 心臓状態分類器が、基準音声特徴を特徴付ける訓練段階に基づいて、不整脈の心臓の状態を判定する、例４２に記載のシステム。
例４４． 固定記憶装置が、被検者から以前に集められた少なくとも１つの音声サンプルを記憶している、例４１に記載のシステム。
例４５． 心臓状態分類器が、以前に集められた音声サンプルとデジタル音声サンプルとの間の変化に基づいて、不整脈の心臓の状態を判定する、例４４に記載のシステム。
例４６． 被検者の音声サンプルを分析して心臓の状態を判定する方法であって、
音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、
少なくとも１種類の音声特徴に対する血流の影響を検出するステップであって、この影響が、血流のタイミング、血流の周期性、および、血流の大きさまたは大きさの変化、のうちの少なくとも１つである、ステップと、
影響に基づいて心臓の状態を判定するステップと、
を含む、方法。
例４７． 判定される心臓の状態が、異常な心拍数を含む、例４６に記載の方法。
例４８． 異常な心拍数が、心室頻拍（ventricle tachycardia）を含む、例４７に記載の方法。
例４９． 判定される心臓の状態が、異所性拍動（ectopic beat）を含む、例４６に記載の方法。
例５０． 異所性拍動を有する判定される心臓の状態が、心室性期外収縮（premature ventricular contraction）を含む、例４９に記載の方法。
例５１． 被検者の音声サンプルを分析して心臓の挙動を再現する方法であって、
音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、
少なくとも１種類の音声特徴に対する血流の影響を検出するステップと、
検出された影響から、心臓の挙動の１つまたは複数のパラメータを再現するステップと、
を含む、方法。
例５２． 心臓の挙動が、心細動の発生を含む、例５１に記載の方法。
例５３． 所定の回数よりも多くの心細動の発生を識別するときに、不整脈の心臓の状態の存在を判定するステップ、を含む、例５２に記載の方法。
例５４． 所定の回数よりも少ない心細動の発生を識別するときに、不整脈の心臓の状態の存在を排除するステップ、を含む、例５２に記載の方法。
例５５． 心臓の挙動の１つまたは複数のパラメータが、不整脈以外の心臓の状態を示す、例５１に記載の方法。
例５６． １つまたは複数のパラメータが、パルス波の形状を含む、例５１に記載の方法。
本発明のいくつかの実施形態の一態様によれば、被検者の音声サンプルを分析して不整脈の心臓の状態を判定する方法であって、音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、少なくとも１種類の音声特徴に対する心臓の状態の影響を検出するステップと、この影響に基づいて不整脈の心臓の状態を判定するステップと、を含む、方法、を提供する。
本発明のいくつかの実施形態によれば、少なくとも１種類の音声特徴に対する心臓の状態の影響を検出するステップは、血流、心室拍動、および心房拍動、からなる群から選択される、音声に影響を及ぼす少なくとも１つの原因、によって少なくとも１種類の音声特徴に対してもたらされる心臓の状態の影響、を検出するステップ、を含む。
本発明のいくつかの実施形態によれば、影響を検出するステップは、音声に影響する原因のタイミング、音声に影響する原因の周期性、音声に影響する原因の大きさまたは大きさの変化、のうちの少なくとも１つの影響を識別するステップ、を含む。
本発明のいくつかの実施形態によれば、不整脈の心臓の状態を判定するステップは、複数の識別された影響を統合するステップ、を含む。
本発明のいくつかの実施形態によれば、音声サンプルを分析して有声セグメントを識別するステップ、をさらに含む。
本発明のいくつかの実施形態によれば、少なくともいくつかのセグメントが削除され、かつ残っているセグメントの端部が滑らかにされるように、有声セグメントを連結するステップ、をさらに含む。
本発明のいくつかの実施形態によれば、音声サンプルから削除されるセグメントにおける、音声に影響する原因に関連するデータ、を外挿するステップ、をさらに含む。
本発明のいくつかの実施形態によれば、検出される影響は、心拍のタイミングを含む。
本発明のいくつかの実施形態によれば、影響を検出するステップは、心拍の３回の連続する発生を識別するステップ、を含む。
本発明のいくつかの実施形態によれば、不整脈の心臓の状態を判定するステップは、心拍の連続する発生の間の時間間隔を計算するステップと、この時間間隔を、基準の心臓状態から得られる基準時間間隔と照合するステップと、を含む。
本発明のいくつかの実施形態によれば、判定するステップは、一致する確率を求めるステップと、この確率をしきい値と比較して不整脈の心臓の状態を判定するステップと、をさらに含む。
本発明のいくつかの実施形態によれば、基準の心臓状態は、正常または不整脈である。
本発明のいくつかの実施形態によれば、心拍の３回の連続する発生は、同じ有声セグメントにおいて識別されない。
本発明のいくつかの実施形態によれば、影響を検出するステップは、心拍の２回の連続する発生を識別するステップ、を含む。
本発明のいくつかの実施形態によれば、検出される影響は、心拍の大きさの影響、または心拍の大きさの変化の影響を含む。
本発明のいくつかの実施形態によれば、影響を検出するステップは、少なくとも１種類の音声特徴の複数の値の分布を計算するステップ、を含む。
本発明のいくつかの実施形態によれば、不整脈の心臓の状態を影響に基づいて判定するステップは、分布の特徴パラメータをしきい値と比較するステップ、を含む。
本発明のいくつかの実施形態によれば、特徴パラメータは、分布の形状を含む。
本発明のいくつかの実施形態によれば、値は、形状の幅を含む。
本発明のいくつかの実施形態によれば、検出される影響は、心拍の周期性の影響を含む。
本発明のいくつかの実施形態によれば、被検者の心拍数を推定するステップ、をさらに含む。
本発明のいくつかの実施形態によれば、不整脈の心臓の状態を判定するステップは、心拍数の周波数の前後の所定の範囲における周期性を特徴付けるステップ、を含み、特徴付けるステップは、所定の範囲におけるピークの帯域幅を計算するステップ、を含み、不整脈の心臓の状態を判定するステップは、この帯域幅をしきい値と比較するステップ、を含む。
本発明のいくつかの実施形態によれば、不整脈の心臓の状態の判定を確認するステップ、をさらに含む。
本発明のいくつかの実施形態によれば、確認するステップは、所定の発声を含む第２の音声サンプルを取得するステップ、を含む。
本発明のいくつかの実施形態によれば、確認するステップは、被検者に対する心電図検査および光電式容積脈波記録法検査の少なくとも一方を含む。
本発明のいくつかの実施形態によれば、不整脈の心臓の状態は、心房細動を含む。
本発明のいくつかの実施形態によれば、音声サンプルは、自発的な発話である。
本発明のいくつかの実施形態によれば、音声特徴は、ピッチを含む。
本発明のいくつかの実施形態によれば、音声特徴を抽出するステップは、音声サンプルの第１のセグメントと、音声サンプルの第２のセグメントとの間のクロスコヒーレンスを実行するステップ、を含む。
本発明のいくつかの実施形態によれば、音声特徴を抽出するステップは、ウェーブレット解析、メル周波数ケプストラム係数（ＭＦＣＣ）分析、声門パルス分析、および線形予測符号化（ＬＰＣ）分析、からなる群から選択される、発話信号の分析、を実行するステップ、を含む。
本発明のいくつかの実施形態の一態様によれば、被検者によって提供される音声サンプルにおいて不整脈の心臓の状態を判定するシステムであって、音声サンプルのデジタル音声サンプルを取得する音声入力部と、デジタル音声サンプルから少なくとも１種類の音声特徴を抽出する音声特徴抽出器と、少なくとも１種類の音声特徴に対する心臓活動の影響を識別する音声特徴プロセッサと、この影響に基づいて不整脈の心臓の状態を判定する心臓状態分類器と、を含む、システム、を提供する。
本発明のいくつかの実施形態によれば、音声入力部は、携帯電話、情報端末、およびカーマルチメディアシステム、のうちの少なくとも１つの一部を形成している。
本発明のいくつかの実施形態によれば、音声特徴抽出器、音声特徴プロセッサ、および心臓状態分類器、の少なくとも１つは、サーバーに位置している。
本発明のいくつかの実施形態によれば、サーバーは、電話交換機と連携されており、交換機からデータを取得する。
本発明のいくつかの実施形態によれば、音声入力部は、所定のスケジュールに従ってデジタル音声サンプルを取得するように構成されている。
本発明のいくつかの実施形態によれば、固定記憶装置をさらに含み、この記憶装置は、不整脈の心臓の状態または健康な心臓の状態に関連付けられる複数の音声サンプルから導かれる基準音声特徴、を記憶している。
本発明のいくつかの実施形態によれば、心臓状態分類器は、基準音声特徴を特徴化する訓練段階に基づいて、不整脈の心臓の状態を判定する。
本発明のいくつかの実施形態によれば、固定記憶装置は、被検者から以前に集められた少なくとも１つの音声サンプルを記憶している。
本発明のいくつかの実施形態によれば、心臓状態分類器は、以前に集められた音声サンプルとデジタル音声サンプルとの間の変化に基づいて、不整脈の心臓の状態を判定する。
本発明のいくつかの実施形態の一態様によれば、被検者によって提供される音声サンプルにおいて心臓の状態を判定するシステムであって、音声サンプルのデジタル音声サンプルを取得する音声入力部と、デジタル音声サンプルから少なくとも１種類の音声特徴を抽出する音声特徴抽出器と、少なくとも１種類の音声特徴に対する心臓の状態の影響を識別する音声特徴プロセッサと、この影響に基づいて心臓の状態を判定する心臓状態分類器と、を含む、システム、を提供する。
本発明のいくつかの実施形態の一態様によれば、被検者の音声サンプルを分析して心臓の状態を判定する方法であって、音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、少なくとも１種類の音声特徴に対する血流の影響を検出するステップであって、この影響が、血流のタイミング、血流の周期性、および、血流の大きさまたは大きさの変化、のうちの少なくとも１つである、ステップと、影響に基づいて心臓の状態を判定するステップと、を含む、方法、を提供する。
本発明のいくつかの実施形態によれば、判定される心臓の状態は、異常な心拍数を含む。
本発明のいくつかの実施形態によれば、異常な心拍数は、心室頻拍を含む。
本発明のいくつかの実施形態によれば、判定される心臓の状態は、異所性拍動および心室性期外収縮の少なくとも一方を含む。
本発明のいくつかの実施形態の一態様によれば、被検者の音声サンプルを分析して心臓の挙動を再現する方法であって、音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、少なくとも１種類の音声特徴に対する血流の影響を検出するステップと、検出された影響から、心臓の挙動の１つまたは複数のパラメータを再現するステップと、を含む、方法、を提供する。
本発明のいくつかの実施形態によれば、心臓の挙動は、心細動の発生を含む。
本発明のいくつかの実施形態によれば、所定の回数よりも多くの心細動の発生を識別するときに、不整脈の心臓の状態の存在を判定するステップ、を含む。
本発明のいくつかの実施形態によれば、所定の回数よりも少ない心細動の発生を識別するときに、不整脈の心臓の状態の存在を排除するステップ、を含む。
本発明のいくつかの実施形態によれば、心臓の挙動の１つまたは複数のパラメータは、不整脈以外の心臓の状態を示す。
本発明のいくつかの実施形態によれば、１つまたは複数のパラメータは、パルス波の形状を含む。
当業者によって理解されるように、本発明のいくつかの実施形態は、システム、方法、またはコンピュータプログラム製品として実施することができる。したがって、本発明のいくつかの実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアの側面とハードウェアの側面を組み合わせた実施形態、の形をとることができ、これらはいずれも本明細書においては、一般に「回路」、「モジュール」、または「システム」と称することがある。さらに、本発明のいくつかの実施形態は、コンピュータ可読プログラムコードを実装した１つまたは複数のコンピュータ可読媒体に実施されたコンピュータプログラム製品の形をとることができる。本発明のいくつかの実施形態の方法および／またはシステムの実施は、選択されたタスクを、手動で、または自動的に、またはこれらの組合せにおいて、実行することを含むことができる。さらに、本発明の方法および／またはシステムのいくつかの実施形態の実際の機器類および装置によれば、いくつかの選択されたタスクを、ハードウェアによって、またはソフトウェアによって、またはファームウェアによって、および／またはこれらの組合せによって（例：オペレーティングシステムを使用して）、実施することができる。
例えば、本発明のいくつかの実施形態に係る選択されたタスクを実行するハードウェアを、チップまたは回路として実施することができる。ソフトウェアとしては、本発明のいくつかの実施形態に係る選択されたタスクを、任意の適切なオペレーティングシステムを使用するコンピュータによって実行される複数のソフトウェア命令として実施することができる。本発明の例示的な実施形態においては、本明細書に記載されている方法および／またはシステムのいくつかの例示的な実施形態に係る１つまたは複数のタスクは、データプロセッサ（複数の命令を実行するコンピューティングプラットフォーム、さらには携帯電話など）によって実行される。データプロセッサは、オプションとして、命令および／またはデータを記憶する揮発性メモリ、および／または、命令および／またはデータを記憶する不揮発性記憶装置（例えば磁気ハードディスクおよび／またはリムーバブル媒体）、を含む。オプションとして、ネットワーク接続も提供される。オプションとして、ディスプレイ、および／または、キーボードやマウスなどのユーザ入力デバイス、も提供される。
本発明のいくつかの実施形態では、１つまたは複数のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、以下に限定されないが、電子式、磁気式、光学式、電磁式、赤外線式、または半導体の、システム、装置、またはデバイス、またはこれらの任意の適切な組合せ、とすることができる。コンピュータ可読記憶媒体のさらに具体的な例（すべてを網羅していないリスト）としては、以下、すなわち、１本または複数本のワイヤを有する電気接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組合せ、が挙げられる。本文書の文脈においては、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、またはデバイスによって、またはこれらのシステム、装置、またはデバイスに関連して使用するためのプログラムを、含むまたは記憶することのできる任意の有形媒体とすることができる。
コンピュータ可読信号媒体としては、コンピュータ可読プログラムコードが、例えばベースバンドにおいて、または搬送波の一部として実施されている、伝搬されるデータ信号、が挙げられる。このような伝搬信号は、さまざまな形（以下に限定されないが、電磁気、光、またはこれらの任意の適切な組合せを含む）のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、かつ、命令を実行するシステム、装置、またはデバイスによって、またはこれらのシステム、装置、またはデバイスに関連して使用するためのプログラムを、伝える、伝搬させる、または運ぶことのできる、任意のコンピュータ可読媒体、とすることができる。
コンピュータ可読媒体に実施されているプログラムコード、および／または、このようなプログラムコードによって使用されるデータは、任意の適切な媒体（以下に限定されないが、ワイヤレス、有線、光ファイバケーブル、無線周波数など、またはこれらの任意の適切な組合せを含む）を使用して送信することができる。
本発明のいくつかの実施形態の動作を実行するためのコンピュータプログラムコードは、１種類または複数種類のプログラミング言語（オブジェクト指向プログラミング言語（Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋など）および従来の手続型プログラミング言語（「Ｃ」プログラミング言語または類似するプログラミング言語など）を含む）の任意の組合せにおいて書かれていてよい。プログラムコードは、独立したソフトウェアパッケージとして、その全体を使用者のコンピュータ上で実行する、またはその一部を使用者のコンピュータ上で実行する、または一部を使用者のコンピュータ上で実行しかつ一部を遠隔のコンピュータ上で実行する、または全体を遠隔のコンピュータまたはサーバー上で実行することができる。後者のシナリオでは、遠隔のコンピュータは、任意のタイプのネットワーク（ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む）を通じて使用者のコンピュータに接続することができる、または、（例えばインターネットサービスプロバイダを使用してインターネットを通じて）外部のコンピュータへの接続を形成することができる。
本発明のいくつかの実施形態は、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品の流れ図および／またはブロック図を参照しながら、以下に説明されている。流れ図および／またはブロック図の各ブロック、および、流れ図および／またはブロック図におけるブロックの組合せを、コンピュータプログラム命令によって実施できることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、またはマシンを形成するための他のプログラマブルデータ処理装置のプロセッサに提供することができ、したがってこれらの命令（コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される）は、流れ図および／またはブロック図の１つまたは複数のブロックに指定されている機能／動作を実施する手段を形成する。
これらのコンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の装置が特定の方法で機能するように導くことができるコンピュータ可読媒体に記憶してもよく、したがって、コンピュータ可読媒体に記憶されている命令は、流れ図および／またはブロック図の１つまたは複数のブロックに指定されている機能／動作を実施する命令を含む製品を形成する。
コンピュータ、他のプログラマブル装置、または他の装置上で一連の動作ステップが実行されて、コンピュータによって実施されるプロセスが生成されるように、コンピュータプログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードしてもよく、したがって、コンピュータまたは他のプログラマブル装置で実行される命令が、流れ図および／またはブロック図の１つまたは複数のブロックに指定されている機能／動作を実施する。
本明細書に記載されている方法のいくつかは、一般的にコンピュータによる使用のみを目的として設計されており、専門家が純粋に手動で実行するには適していない、または実用的ではないかもしれない。類似するタスク（音響的パターンを識別して照合するなど）を手動で実行することを望む専門家は、まったく異なる方法（例えば、専門知識および／または人の脳のパターン認識能力を利用する）（本明細書に記載されている方法のステップを手動で行うよりも大幅に効率的である）を使用することが予測されうる。
本明細書において使用される用語「回路」または「電気回路」は、例えば音声分析を行う目的で、選択されたタスクを実行するための命令を有するハードウェアおよび／またはソフトウェア（例えば、特定の計算を実行する、メモリを有するコントローラ（ソフトウェアまたはアルゴリズム）、またはいくつかの信号処理タスクを実行するチップ）を意味する。
本発明のいくつかの実施形態について、その例示のみを目的として添付の図面を参照して本明細書に記載する。以下、特に図面を詳細に参照して示す細部は、例示を目的とし、また本発明の実施形態の詳細な説明を目的とすることを強調する。同様に、図面と共に説明を見ることで、本発明の実施形態をどのように実践し得るかが当業者には明らかとなる。
本発明のいくつかの実施形態による、音声検出・分析の一般的な構成要素とそれらの間のデータの流れを示している高レベルの流れ図である。 本発明のいくつかの実施形態による、ウェーブレット分解の単純化された図である。 本発明のいくつかの実施形態による、オプションの音声分析ステーションの間のデータの流れを示しているデータフローマップである。 本発明のいくつかの実施形態による、音声サンプルに基づく心臓の状態の推定の、一般的な高レベルの概要である。 本発明のいくつかの実施形態による、例示的なプラットフォームにおける音声サンプリングおよび／または音声分析を概略的に示しており、図４Ａは携帯電話のプラットフォームを示している。 本発明のいくつかの実施形態による、例示的なプラットフォームにおける音声サンプリングおよび／または音声分析を概略的に示しており、図４Ｂは車両のプラットフォームを示している。 本発明のいくつかの実施形態による、例示的な音声処理を示しており、図５Ａは、音響ベクトルを得るための音声サンプル処理を示している。 本発明のいくつかの実施形態による、例示的な音声処理を示しており、図５Ｂは、音声特徴の正規化プロセスを示している。 本発明のいくつかの実施形態による、例示的な音声処理を示しており、図５Ｃは、正規化の例を提示している。 本発明のいくつかの実施形態による、分布の分析による、音声サンプルからの心臓の状態の推定を示している、一般的な高レベルの概要である。 本発明のいくつかの実施形態による、特徴の分布を分析するための詳細なプロセスを示している流れ図であり、音声特徴の例としてピッチを示している。 本発明のいくつかの実施形態による、心臓の状態を診断するための学習の方法の単純化された流れ図である。 本発明のいくつかの実施形態による、心臓の状態を分類する方法の単純化された流れ図である。 本発明のいくつかの実施形態による音声サンプルを提示しており、図７Ａには、セグメントを削除するように分類された音声サンプルを示してあり、図７Ｂでは、残っているセグメントが連結されている。 本発明のいくつかの実施形態による、平滑化された音声サンプルから抽出されるピッチデータの例を示しており、図８Ａは、音声の「自然な」変動の平滑化を示しており、図８Ｂは、平滑化されたデータを示している。 本発明のいくつかの実施形態による、フィルタリングおよび平滑化された後に音声サンプルから抽出されるピッチデータの例を示しており、図９Ａは、連結された有声セグメントの例を示しており、図９Ｂは、ピッチ抽出の例を示している。 本発明のいくつかの実施形態による、心房細動中に（図１０Ｂ）、および健康な人の発話中に（図１０Ａ）記録された発話のピッチの正規化された標準偏差値の分布のヒストグラムの例を示している。 本発明のいくつかの実施形態による、心房細動中に（図１０Ｄ）、および健康な人の発話中に（図１０Ｃ）記録された発話のピッチの正規化された標準偏差値の分布のヒストグラムの例を示している。 本発明のいくつかの実施形態による、パルス間隔分析の形における心臓タイミング分析を示しており、図１１Ａは、一般的な流れ図を示している。 本発明のいくつかの実施形態による、パルス間隔分析の形における心臓タイミング分析を示しており、図１１Ｂは詳細な流れ図を示している。 本発明のいくつかの実施形態による、パルス間隔分析の形における心臓タイミング分析を示しており、図１１Ｃは、本発明のいくつかの実施形態による、時間の経過に伴う例示的なパルス判定を示している。 本発明のいくつかの実施形態による、ＲＲ間隔推定の例示的なグラフを示している。 本発明のいくつかの実施形態による、ＭＦＣＣタイプの音声特徴の場合のフレーム間距離の例を示しており、上のグラフはフレーム間距離のパターンを示しており、下のグラフは基準としての心電図グラフを示している。 本発明のいくつかの実施形態による、コヒーレンス計算の例示的なグラフを示している。 本発明のいくつかの実施形態による、連続するパルスの発生を増やすときの、心臓の状態の判定の特異度に対する感度の変化の例を示している。 本発明のいくつかの実施形態による、心臓の状態を判定するために使用される心拍数の周期性を求めるプロセスを示しており、図１４Ａは高レベルの概要である。 本発明のいくつかの実施形態による、心臓の状態を判定するために使用される心拍数の周期性を求めるプロセスを示しており、図１４Ｂは詳細な流れ図である。 本発明のいくつかの実施形態による、声門波の単純化された図である。 本発明のいくつかの実施形態による、音声特徴のスペクトル特性を使用しての心拍数の病態の確率の決定を示しており、図１５Ａおよび図１５Ｃは、本発明のいくつかの実施形態による、健康なパターンを示しており、図１５Ｂおよび図１５Ｄは心房細動のパターンを示している。 本発明のいくつかの実施形態による、可能な治療およびモニタリングの時系列を示している。 本発明のいくつかの実施形態による、音声サンプルから心拍数を抽出する例を示している。 図１８Ａは、本発明のいくつかの実施形態による、発話者に依存しない検出結果を示しているグラフであり、図１８Ｂは、本発明のいくつかの実施形態による、発話者に依存する検出結果を示しているグラフである。
本発明は、そのいくつかの実施形態においては、声を使用する医療診断に関し、より詳細には、これに限定されないが、人の声に基づいて心臓の状態を推定することに関する。
概要
本発明いくつかの実施形態の一態様は、音声サンプルに対する心臓活動（血流など）のタイミングの影響、および／または影響の大きさ、を求めることに関する。
心臓活動は、以下の任意の１つまたは複数において、音声サンプルに影響しうる：
血流に影響し、血流が音声サンプルに影響する場合；
心臓の鼓動の影響が肺に伝わり、肺が音声サンプルに影響する場合（なお、左肺は、胸部の空間を心臓と共有する）；
心臓の鼓動の影響が気管支に伝わり、気管支が音声サンプルに影響する場合；
心臓の鼓動の影響が胸膜液に伝わり、胸膜液が音声サンプルに影響する場合；
喉頭（「発生器」）および声道に沿った動脈および筋肉の、心臓の鼓動に関連する機械的な変化によって、発声音における検出可能な変調がもたらされる可能性がある場合。
いくつかの実施形態においては、音声サンプルに対する心臓の状態の影響を検出することによって、被検者の音声サンプルを分析して不整脈の心臓の状態を判定する。
いくつかの実施形態においては、分析するステップは、音声サンプルに影響を及ぼす原因の影響を検出するステップを含む。
このような原因のいくつかの例としては以下が挙げられる（ただしこれらに限定されない）：
血流；
心室拍動；
心房拍動。
本出願においては、音声サンプルに影響を及ぼす血流の影響の例を説明し、用語「血流」は、本明細書および特許請求の範囲においては、音声サンプルに対する心臓の鼓動の影響を含むように意図されている。
いくつかの実施形態においては、心臓活動の影響には、心拍のタイミングによって影響される血流が含まれる。これに代えて、またはこれに加えて、心臓活動の影響には、心拍の大きさによって影響される血流が含まれる。いくつかの実施形態においては、音声サンプルに対する影響を使用して、不整脈の心臓の状態（例えば心房細動（ＡＦまたはＡｆｉｂ））を判定する。これに代えて、またはこれに加えて、音声サンプルに対する影響を使用して、異常な心臓の状態（例えば頻脈（ＶＴ））を判定する。これに代えて、またはこれに加えて、音声サンプルに対する影響を使用して、健康な心臓の状態（例えば、タイミングおよび／または大きさにおける十分な周期性を有する心臓の状態）を判定する。
いくつかの実施形態においては、（オプションとして自発的な発話中に）声をデジタル形式としてサンプリングし、そのデジタル音声サンプルを分析して心臓の状態を識別することによって、被検者の声に対する影響が判定される。これに代えて、またはこれに加えて、所定の有声音に基づいて、影響が判定される。いくつかの実施形態においては、被検者の発話は、被検者自身によって行われる能動的な動作なしに、受動的にサンプリングされる。いくつかの実施形態においては、音声サンプルを分析して、音声サンプルから音声特徴を抽出する。音声特徴は、例えば、ピッチおよび／またはメル周波数ケプストラム係数（ＭＦＣＣ）を含むことができる。これに代えて、またはこれに加えて、音声サンプル、または音声特徴自体を分析して、心臓のデータ（ＲＲ間隔、例えば連続する心拍の間の時間間隔）を抽出する。
いくつかの実施形態においては、心拍の変動性または変化が、検出される、および／または測定される。
本明細書において使用されている用語「音声特徴」は、発話から計算することのできる任意の値と、これに加えて、この値の任意の統計的操作および／または数学的演算（導関数、標準偏差、自己相関、コヒーレンス、クロスコヒーレンス、ウェーブレット変換、歪度など）を含む。さらに、用語「音声特徴」は、時間の経過に伴う発話特性の変化（時間の経過に伴う別の音声特徴の変化など）の値も含む。
一般には、発話を行っている間、声帯ヒダ（vocal folds）が振動して空気のパルスを形成する。声帯ヒダの大きさおよび緊張と、肺の空気圧とによって、ピッチが決まる。口腔／咽頭の構造および容積に従って、空気のパルスのスペクトル密度およびスペクトル組成が変化し、さまざまな音が形成される。
なお、心拍は、いくつかのメカニズムにおいて音声に影響する可能性がある。
一時的な血圧および／または血管容積を変化させる。声帯ヒダの組織におけるこれらの変化は、声帯の大きさの小さな変化をもたらし、これが声に影響する。
これに加えて、血圧および心臓の鼓動は、鼻腔および／または口腔の容積の小さな変化をもたらすこともあり、これも発話に影響しうる。
心臓の鼓動は「機械的なパルス」を形成し、肺、声帯、および／または口腔を振動させ、発話の変調をもたらす可能性がある。
頸部を通過する大動脈の脈動によって、声帯ヒダの機械的な振動がもたらされる可能性がある。
心房細動（ＡＦ）は、一般には、不規則な心臓のリズムによって識別され、臨床的には心房の非協調的収縮と定義される。心房細動は、無症候性であることがある。心房細動が存在すると、脳卒中が最大で５倍起こりやすくなる。現在の医療では、心房細動に関連する脳卒中の約８０％を防止することができる。したがって、治療を開始する目的で、心房細動を発症している被検者を早期に識別することは有利であり得る。
心房細動を検出するいくつかの方法は、主として、連続的な心電図記録（例：心臓ホルターモニター、移動性の心臓遠隔モニターなど）の使用に頼っている。一般に連続的な測定が必要であるのは、心房細動が１日あたり数分間しか起こらないことがあり、かつ無症候性であるためである。しかしながら、心電図による連続的な心臓のモニタリングには、さまざまな電極の正確な貼り付け、不快な装置、ケーブル配線、ウェアラブルセンサー、バッテリの交換または充電の問題などの課題が存在する。受動的なモニタリングには、スクリーニングされる被検者が能動的な行動を起こすことなく、かつ毎日の決まった仕事から逸脱する必要なしに、心臓の状態が識別されるという潜在的な利点がある。
いくつかの実施形態においては、声は、音声入力部（例えばマイクロフォン装置など）によってサンプリングされる。オプションとして、音声入力部は、電話の一部を形成している。これに代えて、またはこれに加えて、音声入力部は、コンピュータおよび／またはスマートフォンの一部を形成している。これに代えて、またはこれに加えて、音声入力部は、カーマルチメディアシステム、および／またはスピーカーフォン、および／または自動車における他の関連するシステム、の一部を形成している。これに代えて、またはこれに加えて、音声入力部は、音声サービス（Ａｌｅｘａ（登録商標）など）を含む。これに代えて、またはこれに加えて、音声入力部は、スマートウォッチ、および／またはマイクロフォンを有する他のウェアラブル手段、および／またはパーソナルモニター（セルラーおよび／または携帯型）、の一部を形成している。いくつかの実施形態においては、音声のサンプリングおよび／または分析のモジュールは、マイクロフォンを有するパニック警報ボタン（panic alarm button）（オプションとして個人用アプリケーションである、または医療緊急サービスに関連している）の一部を形成している。
いくつかの実施形態においては、声のサンプリングは、被検者によって開始される。これに代えて、またはこれに加えて、声のサンプリングは、音声入力部を有するサンプリング装置によって、オプションとして所定のスケジュールに従って、開始される（例えば、５分ごと、１時間に１回、１日に２回、およびより多くの、またはより少ない頻度の任意の使用計画で、音声サンプルを取得する）。いくつかの実施形態においては、時間の経過とともに複数の音声サンプルが取得されて分析される。複数のサンプルを取得する潜在的な利点は、検査結果および診断の特異度および／または感度が向上することである。いくつかの実施形態においては、音声サンプルの数、および／またはサンプリングの間の時間間隔は、所与の心臓の状態が検出される推定確率に基づいて決定される。例えば、一週間に１回起こることが疑われる心房細動の発症を探すときには、１時間毎に起こる心房細動の発症を探すときとは異なる使用計画（おそらくはより高い頻度）が提供される。
いくつかの実施形態においては、音声サンプルを分析するためにクラウドサーバー（プライベートおよび／またはパブリック）が使用される。いくつかの実施形態においては、例えば被検者が心臓の状態の推定サービスを求めて電話をかけたときに、電話交換機またはコールセンターにおいて声がサンプリングされ、少なくとも部分的に分析される。いくつかの実施形態においては、サーバーが電話交換機と連携されており、交換機からデータを取得する。
これに代えて、被検者が別のサービスを求めて電話をかけ、ただしその同じ電話によって心臓の状態の推定サービスを受ける。オプションとして、分析結果が被検者に送られる。これに代えて、またはこれに加えて、分析結果は、世話をする人に送られる。これに代えて、またはこれに加えて、分析結果は、要求されるまで、または支払が行われるまで、データベースに格納される。いくつかの実施形態においては、分析される有声サンプルの基準として、データベースおよび／または固定記憶装置が使用される。
いくつかの実施形態においては、分析は、スマートフォン、および／またはＣＰＵベースの装置、および／またはサーバー、における電気回路および／またはソフトウェア、によって実行される。いくつかの実施形態においては、電気回路は、音声サンプルを処理して発話者の心臓の状態を推定するための命令、を有する。既存の設備を受動的に使用する潜在的な利点は、心疾患の受動的なモニタリングを行うことができ、オプションとして、潜在的に疑いがある場合には、サンプリングされた被検者が能動的な動作を行うことなく、警告情報および／またはさらなる健康診断の推奨が提供されることである。もう１つの潜在的な利点は、毎日の生活の中で検査にアクセスできるため、早期発見の可能性が高いことである。早期発見によって、脳卒中および他の合併症を予防するための早期介入を提供することができ、再入院および／または死亡が防止される可能性がある。
いくつかの実施形態においては、電話の会話が第１のステーションにおいて暗号化され、第２のステーションにおいて復号される。このような実施形態においては、発話の分析は、オプションとして、第１のステーションまたは第２のステーションにおける電気回路および／またはソフトウェアによって実行され、オプションとして、暗号化されていない発話を分析する。
いくつかの実施形態においては、影響の特徴パラメータが、しきい値（または基準）と比較される。いくつかの実施形態においては、基準値は、同じ被検者から、ただし、健康であることが既知であるサンプル、および／または病的であることが既知であるサンプル、において取得される。影響を自己の基準と比較する潜在的な利点は、サンプリングされる個人において起こる変化を識別することができ、オプションとして、これらの変化に基づいて心臓の状態を判定できることである。これに代えて、またはこれに加えて、基準は、健康、および／または、心臓の病態を有することに関連付けられる複数の基準、を有するデータベースから提供される。これに代えて、またはこれに加えて、特徴パラメータは、心臓の状態を判定するための限界点としてあらかじめ決められているしきい値、と比較され、例えば、しきい値よりも低いときには健康な状態と判定され、しきい値よりも高いときには病的な状態と判定される。いくつかの実施形態においては、限界値を使用して、被検者が病態を有する確率を計算することができる。
いくつかの実施形態においては、しきい値または多次元しきい値（multi-dimensional threshold）は、オプションとして、機械学習に基づいて動的に決定され、オプションとして、音声サンプルから導かれる別のデータを使用する。いくつかの実施形態においては、訓練セットは、病態を有する別の患者および病態を有さない別の患者から計算された音声特徴を含む。いくつかの実施形態においては、訓練セットを最適に分類し、個別の検査セットを高度に分類するために、分類器が選択される。これらの方法は、例えば、ＳＶＭ、回帰、ＰＣＡ ＫＮＮを含むことができる。
いくつかの実施形態においては、いくつかの音声サンプル分析法の統合が実行される。いくつかの実施形態においては、オプションとして分析結果の特異度および／または感度に基づいて、各分析法に異なる重みが割り当てられる。いくつかの実施形態においては、各分析の重みを動的に決定するために、機械学習が使用される。オプションとして、統合プロセスにおいて別のデータ（被検者の病歴、および／または家族歴、および／または生理学的検査結果など）が使用される。
いくつかの実施形態においては、オプションとして、統合された結果に基づいて、不整脈の心臓の状態の重症度が判定される。オプションとして、不整脈の重症度は、識別された発症の回数（例えば識別された心房細動発症の回数）に従って判定される。これに代えて、またはこれに加えて、重症度は、識別された発症の間の時間間隔、および／または発症の持続時間に基づいて、判定される。これに代えて、またはこれに加えて、重症度は、音声サンプルに対して求められる影響の程度に基づいて判定され、例えば、音声サンプルが不規則であるほど、判定される病的状態は重症である。
いくつかの実施形態においては、心臓の状態を判定した後、確認検査が、オプションとして第２の音声サンプルの形において実行される。いくつかの実施形態においては、第２の音声サンプルは、所定の単語または母音を含む。これに代えて、またはこれに加えて、確認検査は、心電図（ＥＣＧ）検査および／または光電式容積脈波記録法（ＰＰＧ）検査、および／または、心電図検査および／またはＰＰＧ検査を実行するための指定されたモバイルアプリケーション、を含む。補足検査を使用する潜在的な利点は、診断の特異度および感度が高まることである。
いくつかの実施形態においては、音声への血流の影響を使用して、心拍数、および／または心拍数の変動性または変化を識別し、これらは、感情の状態（例えば、ストレス、怒り、神経過敏、興奮など）を識別するために使用される。これに代えて、またはこれに加えて、音声分析を使用して、サンプリングされる被検者の健康レベルを判定する。これに代えて、またはこれに加えて、音声分析を使用して、サンプリングされる被検者の一般的な健康状態および／または臨床状態を判定する。
音声に対する心臓活動のタイミングの影響の抽出
本発明のいくつかの実施形態の一態様は、音声に影響を及ぼす血流に対する心拍のタイミングの影響を検出することによって、心臓活動のタイミングが音声に対して有する影響を検出することに基づいて、心臓の状態を判定することに関する。不規則な心拍数では、血流に影響を及ぼす心拍の影響が不規則に起こり、このことが声に現れると推測される。
いくつかの実施形態においては、音声サンプルの有声セグメントから、時間軸上の心臓データが抽出される。時間軸上の心臓データは、例えば、少なくとも１つのＲＲ間隔を含む。オプションとして、Ｒの頂点は不連続である。本明細書において使用されている用語「Ｒ」は、心拍中の血圧のピークのタイミングを意味する。ＲＲは、２回の連続する心拍の間の時間的距離である。
いくつかの実施形態においては、心臓のパラメータは、自発的な発話から抽出される。自発的な発話は、一般には、有声音、無声音、および沈黙から構成される。本明細書において使用されているとき、有声音とは、発話のうち、声帯が閉じて振動する部分（「ｃａｔ」における音素／ａ／など）であり、無声音とは、発話のうち、声帯が開いている部分（「ｓｈａｍｅ」における音素／ｓｈ／など）であり、沈黙期間は、発話が存在しない部分（息継ぎなど）である。心臓活動は主として有声音に影響し、無声音は心臓活動による影響が小さく、沈黙期間はまったく影響されないと推測される。自発的な発話中の有声セグメントは比較的短く、通常では持続時間が３秒未満である。いくつかの実施形態においては、不連続な断片化された発話データから、心臓の状態が推定される。オプションとして、断片化された発話データは、自発的な発話の有声セグメントから抽出される。いくつかの実施形態においては、有声セグメントを識別するために音声サンプルが分類され、オプションとして、少なくともいくつかのセグメントが削除されて残っているセグメントの端部が滑らかにされるように、有声セグメントが連結される。
いくつかの実施形態においては、有声音は、標準的な音声分類法（例えば非特許文献５（その全体が参照により本明細書に組み込まれている）に記載されている分類法）によって分類される。
いくつかの実施形態においては、心拍データは、断続的な有声セグメントから導かれる。いくつかの実施形態においては、心拍データおよび／または血流の挙動が、パルスの発生を示唆する傾向にある、２つの有声セグメントの間にオプションとして見つかる有声ではないセグメントから、外挿される。いくつかの実施形態においては、Ｒパルスの２回の発生の間の時間間隔は、心臓の状態を判定するのに十分である。例えば、異常に高い心拍数状態（心室性頻拍など）を特徴付ける時間間隔を識別するときである。これに代えて、またはこれに加えて、Ｒパルスの少なくとも３回の発生は、不整脈（心房細動など）を判定するのに十分である。いくつかの実施形態においては、不整脈の心臓の状態は、心拍の３回の連続する発生の間の時間間隔を計算することによって判定される。いくつかの実施形態においては、多数の連続するＲパルスの発生（例えば、５回以上、および／または６回以上、および／または７回以上、および／または８回以上、および／または９回以上、および／または１０回以上の連続する発生）は、検査のより高い感度および／または特異度を提供する。いくつかの実施形態においては、識別される心拍の間の時間間隔が、健康であることが既知である、または病的および／または不整脈であることが既知である基準心臓状態から得られる基準時間間隔と照合される。オプションとして、心臓の状態を判定するために、一致する確率が計算されてしきい値と比較される。
本発明のいくつかの実施形態の一態様は、時間の経過に伴う音声からの関連情報を伝える特定のパラメータの変動を探すことによって、心臓の状態を推定することに関する。例えば、時間の経過に伴う音声特徴を分析し、それら音声特徴の値の周期性を計算することによる。いくつかの実施形態においては、音声特徴は、有声サンプル（オプションとして自発的な発話）から抽出される。いくつかの実施形態においては、音声特徴は、例えば、重み付けられたスペクトル、および／または線形予測係数（ＬＰＣ：Linear Predictive Coefficient）、および／またはＬＰＣに基づくスペクトル、および／またはメル周波数ケプストラム係数（ＭＦＣＣ）、および／または基本周波数（ピッチ）、および／またはエネルギー、および／またはゼロ交差（zero crossing）、および／またはフォルマント、および／または声門パルス（声帯パルス）、および／またはジッター、および／またはシマー（shimmer）、および／またはフラクタル次元、および／またはコヒーレンス、および／またはウェーブレット解析、または発話サンプルの任意の他の数学的／統計学的表現、を含む。
いくつかの実施形態においては、オプションとして被検者の音声サンプルを分析することによって、被検者の心拍数が推定される。いくつかの実施形態においては、例えば、心拍数の周波数の前後の所定の範囲における周波数における周期性を識別することによって、心臓活動のタイミングにおける不規則性を識別するために、音声特徴の不均一性が使用される。いくつかの実施形態においては、音声サンプルにおける周期的な変化および／または半周期的な変化を識別するために、スペクトル分析および／または自己相関が使用される。いくつかの実施形態においては、音声特徴の周期性は、心拍数の所定の範囲におけるスペクトルピークの帯域幅において計算される。一般には、帯域幅が広いほど周期性が小さく、したがって不整脈の確率が高い。いくつかの実施形態においては、心臓の状態を判定する目的で、帯域幅が所定のしきい値と比較される。
いくつかの実施形態においては、心臓の状態を判定するため、周期性の特徴パラメータがしきい値と比較される。例えば、心拍数の周波数付近の（ピッチなどの音声特徴の）自己相関関数のピークを、その帯域幅によって特徴付けることができ、所定のしきい値よりも大きい値を有する自己相関関数の帯域幅は、不整脈の心臓の状態の高い確率に関連付けられる。
いくつかの実施形態においては、発話のセグメントの間で、オプションとして、ピッチ周波数および／またはフォルマント周波数の付近で、および／または、心拍によって影響される可能性のある任意の周波数の付近で、発話のスペクトルクロスコヒーレンスが計算される。短時間だけ低い値に達するコヒーレンスは、心拍の指標であり得る。このように、心拍を発話の時系列上に位置させることができる。
音声に対する心臓活動の大きさの影響の抽出
本発明のいくつかの実施形態の一態様は、音声に対する心臓活動の大きさの影響を抽出することに基づいて、心臓の状態を判定することに関する。本明細書において使用されている用語「大きさ」は、血液の機械的影響（血圧および／または血管容積など）の程度、および／または、心室拍動および／または心房拍動の影響の程度、を意味する。不規則な心拍数は、発声領域への血流の大きさの変動性につながり、したがって音声に対する血流の影響の大きさの変動性につながると推測される。心臓の鼓動によって発話が変調され、それにより音響信号の変動がもたらされると推測される。したがって、（例えば洞律動によって特徴付けられる）規則的な心拍波は、おそらくは発話器官を通る血流が周期的に変化する結果として周期的な変調をもたらすと予測される。これに対して、不規則な心臓の鼓動（例えば心房細動）は、血流の無秩序な変化をもたらし、音響信号のより大きな変動をもたらす。
いくつかの実施形態においては、音声特徴の値の分布（例えば標準偏差）が求められる。いくつかの実施形態においては、心臓の状態を判定するために、分布の形状の特徴パラメータがしきい値と比較される。例えば、分布の形状の大きい幅、および／または、スペクトルピーク値の大きい幅を、不整脈の心臓の状態の高い確率に関連付けられる所定のしきい値と比較することができる。
いくつかの実施形態においては、オプションとしてマルチ特徴分類器（multi-feature classifier）が使用され（いくつかの特徴を組み合わせる）、オプションとして、音声特徴の値の多次元分布における多次元しきい値（multi-dimensional threshold）が、例えばサポートベクターマシン（ＳＶＭ：Support Vector Machine）法、および／またはベクトル量子化法（Ｋ－ＭＥＡＮＳクラスタリング解析など）を使用して求められる。
いくつかの実施形態においては、心臓の状態を判定するために、多次元分布の形状の特徴パラメータが、多次元しきい値と比較される。
心房細動の検出
本発明のいくつかの実施形態の一態様は、患者の声に対する心房細動の影響によって、心房細動を検出することに関する。
いくつかの実施形態においては、慢性的な病的状態は、音声パラメータの変化によって検出される可能性がある。いくつかの場合、心房細動（ＡＦ）は、左心房の拡大をもたらす（これは病的な心房細動のケースの大部分において起こる）。拡大は反回神経に強く影響し、声の一定の変化をもたらす。変化は、ピッチ信号のパラメータに現れる可能性があり、分析して検出することができる。
これにより、たとえ心臓の鼓動が正常な速度である場合にも、慢性状態の心房細動患者を検出することが可能になる。
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、必ずしもその用途が、以下の記載に示す、および／または図面および／または実施例で例示する、構成の詳細および要素の配置および／または方法に限定されるものではないことを理解するべきである。本発明は、他の実施形態が可能であり、また、さまざまな手段で実施または実行することが可能である。
例示的な声のサンプリングおよび分析
次に図面を参照し、図１Ａは、本発明のいくつかの実施形態による、人の声から心臓の状態を判定することを例示している高レベルのブロック図およびデータの流れであり、関与する要素と、要素の間のデータの流れを示している。
いくつかの実施形態においては、アナログ音声サンプル１が、音声出力１０２によって生成され、音声出力１０２は、１人または複数の話している被検者を含むことができる。いくつかの実施形態においては、アナログ音声サンプル１が、音声入力部１０４（例えばマイクロフォンを有する電子装置）によってサンプリングされ、デジタル音声サンプル３に変換される。いくつかの実施形態においては、デジタル音声サンプル３が、音声分析器１０６によって処理される。いくつかの実施形態においては、分析器１０６による処理は、音声の特徴５ａおよび／または心臓の特徴５ｂを識別する。心臓の特徴は、例えば、ＲＲ間隔、および／または心拍数、および／または心拍数の変動性を含むことができる。音声特徴の例として、ピッチ、および／またはフォルマント、および／またはメル周波数ケプストラム係数（ＭＦＣＣ）および／またはフレーム間のクロスコヒーレンス、および／またはウェーブレットに基づく特徴、および／またはこれらのパラメータの１つまたは複数のスペクトル帯エネルギーおよび帯域幅、および／またはこのような特徴の、発話中の変動および／または導関数、が挙げられる。
発話の特徴としてのクロスコヒーレンス： 時刻（ｔ）における発話サンプルの特定のフレームについて、時刻（ｔ＋Δｎ）におけるフレームに対するクロスコヒーレンスが計算される。オプションとして、この値は、次のようにＮ個の値を含むベクトルに格納される。
Figure 0007353592000003
特徴としてのウェーブレット：
ウェーブレット変換は、オプションとしていくつかの方法で発話の特徴として使用される。
第１の方法においては、いくつかの実施形態においては、オプションとして広域通過フィルタ（ＨＰＦ）分解および／または低域通過フィルタ（ＬＰＦ）分解を使用して、ウェーブレット分解が使用される。
次に図１Ｂを参照し、図１Ｂは、本発明のいくつかの実施形態による、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）によるウェーブレット分解の単純化された図である。
図１Ｂは、レベル１のＤＷＴ係数ｈ（ｎ）１２４およびｇ（ｎ）１２２を生成する信号ｘ（ｎ）１２０を示している。
さらに図１Ｂは、オプションとしてレベル２のＤＷＴ係数ｈ（ｎ）１２６およびｇ（ｎ）１２８を生成するレベル１のＤＷＴ係数ｇ（ｎ）１２２を示している。
図１Ｂは、各フィルタの出力エネルギーが、出力特徴ベクトルの要素として使用される例示的な実施形態を示している。
第２の方法においては、いくつかの実施形態においては、スペクトルを使用してのエネルギーおよび周波数に類似して、各フレームの「スケール」および「係数」の値がオプションとして計算され、これらの値を特徴として使用する。
変動の特徴のスペクトルエネルギーおよび帯域幅：
いくつかの実施形態においては、以下の２段階の計算が実行される：
各フレームごとに、発話の特徴ベクトルを計算する
スペクトル推定法を使用して特徴ベクトルのスペクトルを計算する。
本発明を制限しないいくつかの例として、特徴ベクトルが（フレームごとの）ピッチ周波数である場合には、
Figure 0007353592000004
 スペクトルは、
Figure 0007353592000005
いくつかの実施形態においては、特徴ベクトルが時間の経過に伴って変化する周波数を明らかにするために、ＳｐｅｃＶｅｃがオプションとして使用される。心拍によって音声信号のいくつかの特徴が変調されるため、ＳｐｅｃＶｅｃは、心拍数の周波数における周波数ピークを示す可能性がある。
いくつかの実施形態においては、スペクトル推定は、オプションとして例えば以下の方法によって実行される：
フーリエ変換；
共分散法；
ペリオドグラム法；
Ｙｕｌｅ－Ｗａｌｋｅｒ法；
多重信号分類（ＭＵＳＩＣ：Multiple Signal Classification）法；
固有ベクトル法。
いくつかの実施形態においては、スペクトル推定法は、オプションとして、発話ごとにいくつかの値を生成する：
（１つまたは複数の）スペクトルピークの位置［Ｈｚ］；
（１つまたは複数の）スペクトルピークの帯域幅［Ｈｚ］；
（１つまたは複数の）スペクトルピークのエネルギー（オプションとして帯域幅＊高さ）［ワット］。
上の値は、オプションとして心拍数の状態の指標として使用される。
いくつかの実施形態においては、心臓の状態７を推定するために、心臓／音声の特徴が心臓状態分類器１０８によって分析される。心臓の状態は、例えば、健康な心臓状態である、または病的な心臓状態である（例えば、不整脈および／または心房細動として識別される）。オプションとして、心臓の状態７が、心臓状態出力部１１０（例えば画面）によって提示される。
いくつかの実施形態においては、音声出力１０２は、アナログ音声サンプル１を生成する人の被検者を含む。被検者は、声を使用する心臓状態診断の候補者である任意の人とすることができる。オプションとして、例えば音声サンプル１が２人以上の被検者の間の会話を含むときには、音声出力１０２は、音声サンプル１を生成する２人以上の被検者を含む。いくつかの実施形態においては、識別された発話者のみが分析される。いくつかの実施形態においては、音声サンプル１は、自発的な発話（例えば、利用者が話しているセグメント、および／または利用者が会話しているセグメント、および／または沈黙期間のセグメント、および／または背景雑音のセグメント、および／または背景の発話者のセグメント、を含みうるシーケンス）を含む。これに代えて、またはこれに加えて、音声サンプル１は、限定された発話（例えば、オプションとしてあらかじめ決められた、または参照テーブルから選択される、特定の単語および／または母音）を含む。
いくつかの実施形態においては、音声入力部１０４は、アナログ音声サンプル１をデジタル音声サンプル３に変換することによって、アナログ音声サンプル１を記録する。いくつかの実施形態においては、音声入力部１０４は、マイクロフォンを有する装置である。例えば、音声入力部１０４は、固定電話、および／または携帯電話、および／またはコンピュータ、および／またはスピーカーフォン、および／またはボイスレコーダー、とすることができる。これに代えて、またはこれに加えて、音声入力部１０４は、デジタル音声サンプル３を記録するサーバー（オプションとして（例えばコールセンターに位置する）遠隔サーバー）である。
オプションとして、音声入力部１０４は、デジタル音声サンプル３を格納するデータベースを備えている。これに代えて、またはこれに加えて、音声入力部１０４は、音を長期にわたり格納せずに、音を変換してそれを送信するのみである。いくつかの実施形態においては、デジタル音声サンプル３は、音声データ形式（例えば、ＰＣＭ、および／またはＷＡＶ、および／またはＡＤＰＣＭ）において格納される。これに代えて、またはこれに加えて、アナログ音はデジタル形式に変換されず、アナログ分析回路によって分析され、次にアナログ分析回路がそれをデジタル形式に変換する。
いくつかの実施形態においては、音声入力部１０４によるサンプリングは、自動的に（すなわちサンプリングに関して被検者によって行われる能動的な動作なしに）提供される。これに代えて、またはこれに加えて、サンプリングは、被検者の能動的な動作によって操作されることによって（例えば、専用コールセンターに能動的に電話をかけることによって、または装置の録音ボタンを押すことによって、など）、手動で提供される。これに代えて、またはこれに加えて、サンプリングは、事前に予定された設定において提供され、オプションとして、特定の単語または音を話す、および／または発音するように、利用者に求められる。例えば、サービスが、事前に予定された時刻に利用者に電話をかけて会話をサンプリングすることができる。これに代えて、被検者が、空いた時間にデジタル音声サンプル３を記録し、この音声サンプルを（例えばサーバーにアップロードすることによって）サービスに送信することができる。
いくつかの実施形態においては、可能性のあるリスクが検出された後、事前に予定された動作を、モニタリング設備から、および／またはモニタリングアプリケーションから、および／または医療支援サービス（medical assistance）から、および／またはソフトウェアアプリケーションから、初期化することができる。いくつかの実施形態においては、事前に予定された動作は、定期的なスクリーニングを含む。定期的なスクリーニングの潜在的な利点は、被検者の状態が継続的にモニタリングされることである。いくつかの実施形態においては、事前に予定された動作は、オプションとして通知を送ることによって、人に特定の発話を発音させることを含む。いくつかの実施形態においては、通知は、口頭および／またはテキストのアラート、および／またはビープ音、および／またはスマートフォンへのテキストメッセージ、および／または音声命令、を含む。いくつかの実施形態においては、利用者が、システムのマニュアル起動を使用して、自分の血縁者のために検査を開始する。いくつかの実施形態においては、オプションとして利用者が合意した時点で、マイクロフォンを自動的に起動するように装置をプログラムすることができる。いくつかの実施形態においては、離れた場所から（例えば健康管理サービスを通じて）装置を起動することができる。
いくつかの実施形態においては、デジタルサンプル３は、音声分析器１０６における分析に送り込まれる前に分類される。例えば、交換機／サーバーアプリケーション（大規模な集中管理型スクリーニング）の場合、選択された電話のみを分析することができる。オプションとして、この選択は、サンプルの特徴（例えば、電話の持続時間、および／または雑音レベル、および／または特定の発話者の有声セグメントの持続時間、および／または有声セグメントの持続時間、および／または発話者の識別データ、および／または診断の感度もしくは特異度またはその両方に影響しうる任意の他の基準など）に基づいて行われる。
いくつかの実施形態においては、音声分析器１０６は、発話者の識別を実行する。発話者の識別は、いくつかの理由で（分析結果を誰に送るべきかを認識するなど）、重要でありうる。これに代えて、またはこれに加えて、発話者の識別を、発話者の個人情報に関連付けることができ、発話者の個人情報は、オプションとして臨床診断を支援するために使用される。個人情報は、例えば、体重、および／または喫煙習慣、および／または以前に既知の病態、および／または事前の医療診断、を含むことができる。いくつかの実施形態においては、利用者の識別は、複数の発話者から、および／または、参加者の間で音声サンプルが交互に現れる会話から、１人の発話者を識別するのに役立つ。オプションとして、音声分析器１０６は、識別に続いて、別の発話者を有する音声セグメントから被検者の音声セグメントを分離する。
いくつかの実施形態においては、識別された発話者のみが分析される。オプションとして、発話者は、要求されたときに分析される。これに代えて、発話者は、サービスの支払いが受領された時点で分析される。これに代えて、発話者がグループのメンバー（例えば保険または健康維持機構のメンバーである）として識別される場合に、発話者が分析される。
オプションとして、被検者の声は、事前に識別された発話者を有するデータベースを使用して、識別される。いくつかの実施形態においては、例えば、何人かの利用者が同じ分析装置を使用する場合、声紋を作成することによって、および／または、発話に関連する別の詳細情報もしくは別のパラメータ（例えば発信者識別番号など）またはその両方を使用することによって、利用者の間の分離を得ることができる。これに代えて、またはこれに加えて、所定の単語または単語のリストを発音することによって、利用者が識別される。
いくつかの実施形態においては、いくつかのアプリケーション（通信ネットワークにおけるモニタリングなど）では、発話者の識別情報は不明であるがシステムが心臓の病態の確率を検出した場合、オプションとして分析結果がシステムのデータベースに格納される。このような場合、いくつかの実施形態においては、代替の分類（例えば、電話番号、および／または発信者識別番号、および／または国際移動体装置識別番号など）を使用して、結果が格納される。例えば、コールセンターにおける集団スクリーニング時、診断結果がシステムのデータベースに格納されるとき、発話者が登録されている場合には発話者の個人ファイルに従って、発話者が既知ではない場合には発信者情報に基づいて、診断結果が保存される。
いくつかの実施形態においては、発話者の心臓の状態を推定する以外の将来的な使用のために、デジタル音声サンプル３が格納される。オプションとして、音声サンプル、および／または分析された音声サンプル、および／または診断結果を含むデータベースが、別の音声サンプルの今後の分析に使用される。これに代えて、またはこれに加えて、このようなデータベースは、例えばモニタリングされた病態に関する統計的情報を得る目的で、疫学調査に使用される。
いくつかの実施形態においては、音声サンプル３を処理するステップは、音声分析器１０６によって実行され、音声分析器１０６は、例えば、スマートフォンの電気回路、および／または遠隔のサーバー（クラウドコンピューティング）、および／または独立した装置（ＰＣおよび／またはタブレットなど）において実行されている電気回路、および／またはコールセンターにおけるサーバー（例えば、ある人が通話を開始することができ、その人の声が記録および分析される）、を含む。
いくつかの実施形態においては、音声分析器１０６は、音声入力部１０４と同じ装置内に実施されている。例えば、スマートフォンは、アナログ音声サンプル１をサンプリングしてそれをデジタル音声サンプル３に変換するマイクロフォン１０４を有することができ、さらに、音声を分析し、オプションとして音声の特徴５ａおよび／または心臓の特徴５ｂを導く音声分析器１０６（信号処理を実行する回路および／またはソフトウェアなど）を有することができる。
これに代えて、またはこれに加えて、音声分析器１０６は、音声入力部１０４とは異なる装置内である、および／または、地理的に異なる場所にある。例えば、スマートフォンは、音声入力部１０４（マイクロフォンなど）を有することができるが、音声分析器１０６の電気回路を有する遠隔のサーバーにデジタル音声サンプル３を送信することができる。
これに代えて、またはこれに加えて、音声入力部１０４および音声分析器１０６の両方が、音声出力１０２から離れている。例えば、被検者がコールセンターに電話をかけ、被検者の声が、通信ネットワーク内に存在するサーバーに記録され、さらにそのサーバーによって分析されるときである。
いくつかの実施形態においては、音声分析器１０６は、デジタル音声サンプル３から音声特徴５ａを抽出する。音声特徴５ａは、例えば、重み付けられたスペクトル、および／または線形予測係数（ＬＰＣ）、および／またはＬＰＣに基づくスペクトル、および／またはメル周波数ケプストラム係数（ＭＦＣＣ）、および／または基本周波数（ピッチ）、および／またはエネルギー、および／またはゼロ交差、および／またはフォルマント、および／または声門パルス（声帯パルス）、および／またはジッター、および／またはシマー、および／またはフラクタル次元、および／またはコヒーレンス、および／またはウェーブレット解析、または発話サンプルから関連情報（エネルギー、および／または平均電力、および／またはエントロピー、および／またはその他など）を抽出する任意の他の特徴、を含むことができる。
これに代えて、またはこれに加えて、音声分析器１０６は、デジタル音声サンプル３から、および／または音声特徴５ａから、心臓の特徴５ｂを抽出する。いくつかの実施形態においては、心臓の特徴５ｂは、パルスデータ（例えばＲＲ間隔）を含む。これに代えて、またはこれに加えて、心臓の特徴は、心拍数および／または心拍数の変動、を含む。
いくつかの実施形態においては、心臓状態分類器１０８は、音声特徴５ａおよび／または心臓の特徴５ｂを処理し、心臓の状態７を推定する。いくつかの実施形態においては、心臓状態分類器１０８は、被検者が不整脈を有する確率を求める。これに代えて、またはこれに加えて、心臓状態分類器１０８は、被検者が心房細動を有する確率を求める。これに代えて、またはこれに加えて、別の心臓の状態（例えば、急性冠動脈症候群、および／または塞栓性脳卒中の警告兆候、および／または心筋梗塞、および／または突然の心停止、および／または心室粗動、および／または心房粗動、および／または心房性頻拍、および／または心室性頻拍、および／または徐脈、および／または呼吸困難、および／または胸痛）が判定される。
オプションとして、推定された心臓の状態７、および／または音声特徴５ａ、および／または心臓の特徴５ｂが、心臓状態出力部１１０に提示される。いくつかの実施形態においては、心臓状態出力部１１０は、画面（例えばモニターおよび／または装置のディスプレイ）を含む。いくつかの実施形態においては、心臓状態出力１１０は、発話者および／または発話者の世話をする人への通知、を含む。通知の例としては、テキストメッセージ、および／または電子メール、および／または通話、および／またはメッセージングアプリケーション（ＷｈａｔｓＡｐｐ、フェイスブック、および利用者によって選択される他の手段など）が挙げられる。これに代えて、またはこれに加えて、通知は、グラフィカルな表現でもよい。これに代えて、またはこれに加えて、通知は、視覚的な通知、および／または音声通知の形とすることができる。例えば、車両に埋め込まれており、本発明のいくつかの実施形態に従って発話者の分析を提供するアプリケーションを有するスピーカーフォンを、車両の通知設備に接続することができる（点滅光、または車両のスピーカーシステムを通じての音声通知など）。
例示的なデータの流れ
次に図２を参照し、図２は、本発明のいくつかの実施形態による、オプションの音声分析ステーションの間のデータ伝送のいくつかのオプションのデータフローマップを示している。
いくつかの実施形態においては、少なくとも１人の被検者２２０が、フィーチャーフォン２４０として例示されている音声入力部（例：ボイスレコーダーおよび／またはフィーチャーフォンなど、マイクロフォンを有する装置）の範囲内で、アナログ音声サンプル１を出力する。これに代えて、またはこれに加えて、音声入力部は、タブレット２６０として例示されているスマートデバイス（例えば、パーソナルコンピュータ、および／またはスマートフォン、および／または任意の他の電話装置（移動電話および／またはスピーカーフォンなど）、および／またはタブレット）内のモジュールとすることができる。いくつかの実施形態においては、２４０および／または２６０における音声入力部は、アナログ音声サンプル１をデジタル音声サンプル３に変換する。
いくつかの実施形態においては、音声入力部は、オプションとしてウェアラブルマイクロフォン（図示していない）であり、オプションとして、分析用のコンピューティングユニットに、または、分析用のコンピューティングユニットに送信するための送信ユニットに、有線または無線によって接続されている。
いくつかの実施形態においては、デジタルサンプル３は分析器（サーバー２６２など）に送信され、サーバー２６２は、遠隔のサーバーまたはクラウドサーバーとすることができる。これに代えて、またはこれに加えて、デジタルサンプル３はコールセンターに送信され、オプションとしてコールセンターにおいて記録され、次いで分析される。これに代えて、またはこれに加えて、例えば、コールセンター２９０に導かれる前に電話交換機２６５を最初に通過するようにデジタルサンプル３を設定することによって、デジタルサンプル３が電話交換機２６５に送信される。例えば被検者は、２９０に位置する、行政機関または民間の顧客サービスに電話をかけて話すことができ、ただし被検者の声は、同意した時点で交換機２６５を通じて伝送され、心臓の状態を推定するために分析される。いくつかの実施形態においては、コールセンターは、分析されることを望む人のためのサービスを備えている。これに代えて、またはこれに加えて、コールセンターは、心臓の状態を診断する以外の目的のサービスを備えている。例えば、行政機関のサービスのためのコールセンターは、診断目的の副サービス用に音声サンプリングを含むことができる。通信サービスの別の例としては、健康通信サービス、および／または緊急コールセンター、および／または医療サービス、および／または保健サービス、および／または個人用仮想アシスタント、が挙げられる。
これに代えて、またはこれに加えて、スマートデバイス２６０は、デジタルサンプル３を分析し、かつオプションとして、例えば心臓および／または音声の特徴５、および／または推定された心臓の状態７、の形における出力を送信するための命令、をさらに有する。いくつかの実施形態においては、出力は、世話をする人２８０に直接送信される。これに代えて、またはこれに加えて、出力は、さらなる分析および／または格納のために、サーバー２６２に送信される。これに代えて、またはこれに加えて、出力は、交換機２６５を通過して、または通過せずに、コールセンター２９０に送信され、オプションとしてコールセンター２９０から、世話をする人２８０に送信される。いくつかの実施形態においては、出力は、分析された被検者２２０に提供される。
いくつかの実施形態においては、電気回路は、心房細動の現在の状態に関して利用者に報告するように構成されている。このような電気回路は、スマートフォン２４０および／またはクラウドサーバー２６２（プライベートおよび／またはパブリック）に実施することができる。既存の設備を利用する潜在的な利点は、例えば記録および／または分析および／または送信を行う外部の無線装置とは対照的に、検出および／またはデータ伝送のいずれにおいても追加の放射が存在しないことである。
いくつかの実施形態においては、ローカルな評価（local assessment）が提供される。ローカルな評価は、例えば、同じ装置が音声のサンプリングとその分析の両方を行うときに（スマートフォンが音声のサンプリングとその分析の両方を行って、特徴および／または心臓の状態を抽出するなど）、提供される。オプションとして、ローカルな評価は、手動操作によって提供される。これに代えて、またはこれに加えて、ローカルな評価は、例えば被検者が自分の電話を使用するたびに動作することによって、および／または、装置によって音声を定期的にサンプリングすることによって、自動的に動作する。
これに代えて、またはこれに加えて、遠隔評価が提供される。遠隔評価は、例えば、音声のサンプリングが１つの地理的場所で行われる一方で、音声サンプルの分析の少なくとも一部分が異なる地理的場所で行われるときに、提供される。例えば、被検者を電話によってサンプリングすることができるが、サンプリングされた音声を、遠隔のサーバーによって分析されるように送信することができる（クラウド、携帯電話回線、固定電話回線）。いくつかの実施形態においては、通信ネットワークの構成要素（基地局（ＢＴＳ）、および／または大容量記憶制御機構（ＭＳＣ）またはサーバー／クラウド、および／または交換機など）が、分析回路を備えている。いくつかの実施形態においては、分析回路が、ＶｏＩＰサーバー（Ｓｋｙｐｅ、ＷｈａｔｓＡｐｐ、Ｖｉｂｅｒ、会議通話、ビデオメッセージ、ビデオ記録など）に設けられている。暗号化通信の場合、いくつかの実施形態においては、心臓の情報を含む関連する音声特徴が、暗号化の前に装置において計算され、オプションとしてローカルに分析される、あるいはこれに代えて、またはこれに加えて、サーバーにおける遠隔分析に送られる。
いくつかの実施形態においては、被検者をその声を通じて識別するために、発話者の識別が使用される。例えば、ある人がサービスを受けるためにコールセンター２９０に電話をかけるとき、音声分析用に適合化されている電気回路を、被検者を識別するようにさらに構成することができ、例えば、オプションとして被検者を特定して、検出された状態を知らせる目的で、利用者の電話番号を使用することもできる。いくつかの実施形態においては、会話および／または会議通話をサンプリングするときなどに、複数の同時にサンプリングされる音声から、少なくとも１人の被検者、または複数の被検者を検出することができる。
例示的な高レベルの概要
次に図３を参照し、図３は、本発明のいくつかの実施形態による、音声サンプルに基づく心臓の状態の推定の、一般的な高レベルの流れ図を示している。
いくつかの実施形態においては、分析は３０２において開始され、例えば図５Ａに示したように、オプションとして断片化および／または分類された音声サンプルを取得する。いくつかの実施形態においては、３０４において、オプションとして音声サンプルの各断片ごとの音声特徴ベクトルの形で、音声特徴を抽出する。
いくつかの実施形態においては、３０６において、音声サンプルおよび／または音声特徴を使用して、音声特徴の分布を計算する、および／または、任意の数学的演算を計算して、関連する情報を明らかにする。例えば、音声特徴の複数の値のばらつきなど、分布を計算する。音声特徴は、心拍のタイミングおよびパワー／強さによる影響を受ける、発声器官への血流によって影響されると推測される。したがって、（不整脈において見られるような）不規則な心拍は、音声特徴への不規則な影響につながり、このことは音声特徴値の大きな変動性に表れると推測される。音声特徴の分布は、図６Ａ，６Ｂ、図７Ａ，７Ｂ、図８Ａ，８Ｂ、図９Ａ，９Ｂ、および図１０Ａ～図１０Ｄにさらに詳述、例示されている。
これに代えて、またはこれに加えて、３０８において、音声サンプルおよび／または音声特徴を使用して、心拍の発生の間の時間間隔を計算する。
いくつかの実施形態においては、音声特徴値の一時的な変化を、心拍の指標として使用する。時間スケール上の一時的な変化を特定することにより、心拍の位置の近似値が得られる。
いくつかの実施形態においては、音声サンプルを使用して、パルスの発生を識別し、連続する発生の間の時間間隔を計算する。いくつかの実施形態においては、複数の時間間隔をシーケンスとしてまとめる。いくつかの実施形態においては、心臓の状態は、このシーケンスに基づいて推定される。パルスの抽出は、図１１Ａ～図１１Ｄ、図１２Ａ，１２Ｂ、および図１３にさらに詳述、例示されている。
これに代えて、またはこれに加えて、３１０において、音声サンプルおよび／または音声特徴を使用して、心拍数付近の、音声特徴の周期性を計算する。例えば、音声特徴に、心拍数の値における自己相関の計算を行うことができる。音声特徴へのパルスの影響は、心拍が健康な状態にあるときには周期的であるが、心拍が不整脈であるときには不規則であると推測される。周期性の計算（自己相関など）によって、音声特徴がどれくらい規則的に影響されているかを明らかにすることができる。さらなる詳細および例は、図１４Ａ，１４Ｂ、図１５Ａ～図１５Ｄにおいて説明する。
いくつかの実施形態においては、３６２において、分析されたパターンの結果を統合して、心臓の状態の総合的な確率を提供し、３６４において、心臓の状態の評価に達する。
いくつかの実施形態においては、分析モジュール（３６２）は、本明細書にリストした３つの方法それぞれにおいて、発話の分析から得られた値を継続的に格納する。オプションとして、システムは、これらの値を学習する。これらの値は、モニタリングされた特定の人の健康な状態を定義する「正常値」として定義される。いくつかの実施形態においては、システムは、特定の人の進行中のモニタリング時に、格納されている（正常）値を現在の値と比較して、相対的な変化レベルを測定する。いくつかの実施形態においては、「正常値」と比較された値の変化量は、病態を有する確率に比例する。
オプションとして、３７０では、心臓の状態の評価において、検査されている被検者の病歴データおよび／または個人歴データをさらに考慮に入れる。これに代えて、またはこれに加えて、３８０において、バイオマーカー検査を考慮に入れる。
バイオマーカーの例としては、体重、性別、職業、過去に診断された病気および心房細動の発症、喫煙習慣、ＣＨＡＤＳ２（うっ血心不全の既往歴）、高血圧の既往歴、年齢、糖尿病の既往歴、脳卒中、およびＴＩＡ（一過性脳虚血発作）の症状、の任意の１つまたは組合せ、が挙げられる。
いくつかの実施形態においては、心臓の状態の評価が、出力部３９０（例えばディスプレイ）を通じて利用者に提示される。
オプションとして、３９５において、得られたデータを機械学習に使用する。例えば、音声サンプル、処理された音声データ、音声特徴、病歴データ、バイオマーカーデータ、および／または心臓の状態を使用して、将来のプロセスにおいてさらに正確に診断するための規則および統計学的な特徴を生成し、また、３６２において行われる統合を支援することができる。
いくつかの実施形態においては、機械学習は訓練段階を含む。訓練段階においては、例えば、音声サンプル、および／または、音声特徴および／または心臓の特徴を、健康な被検者と、心臓の病態を有することが既知である被検者とから取得し、基準として使用することができる。例えば訓練段階では、このデータに基づいて、健康な発話と病的な発話とを分離するための最も適切なアルゴリズムが得られる。運用段階時には、その機械学習モデルが、利用者の声（および／または特徴）から病態の確率を計算し、決定を支援する。
これに加えて、またはオプションとして、次いで音声サンプルの選択されたフレームにおいて音声特徴を計算することができ、各特徴についてスペクトル表現を計算することができる。各母集団のスペクトル分析に基づいて、健康なプロファイルを特徴付けるための訓練統計モデルを形成することができ、さらに、健康ではないプロファイルを特徴付けるための訓練統計モデルを形成することができる。
オプションとして、これら２つの訓練統計モデルを区別するために分類器が提供される。これに代えて、またはこれに加えて、確率を比較し、それに応じて決定を行う。
いくつかの実施形態においては、図３の流れ図に開示されているプロセスを使用して、さまざまな心臓の状態（不整脈であるか、または別の疾患であるか）を識別することができる。例えば、心房粗動、および／または心室頻拍、および／または心室性期外収縮（ＰＶＣ）、および／または異常心律動、および／または異所性拍動の診断は、前に説明した評価に類似する評価に基づき、オプションとして、３６２における統合プロセスおよび／または３６４における評価を、判定する特定の異常な心律動に調整する。これに代えて、またはこれに加えて、３０６において特徴の分布、および／または３０８においてパルスの間隔、および／または３１０において周期性を計算するときに使用されるしきい値および／または基準を調整する。
異常な心律動（心室頻拍または除脈など）を検出するときには、いくつかの実施形態においては、プロセスは上述したプロセスに類似するが、いくつかの変更を伴う。例えば、３０８において、いくつかの実施形態においては、極めて高い、または極めて低い心拍間隔を探すことによる（例えば、２００ＢＰＭよりも高い（頻拍）、または６０ＢＰＭよりも低い（除脈））。いくつかの実施形態においては、３０６において、分布を特徴付ける別のパラメータを計算する。いくつかの実施形態においては、３８０において、重要な入力は、モニタリングされる人の年齢（６０歳よりも上）である。
いくつかの実施形態においては、心房粗動、および／またはＰＶＣ、および／または任意の別のタイプの不整脈を検出する場合には、図３に示したプロセスに従うが、異なるしきい値およびパラメータ値を使用する。
いくつかの実施形態においては、呼吸困難および／または胸痛を検出する場合には、同じプロセスを使用するが、異なる音声特徴、および／またはしきい値、および／またはパラメータ値、を使用する。
例えば、上記の病態すべてにおいて、検出は以下のステップに基づくことができる。
（１）心拍のタイミング（ＲＲ間隔）を推定して心臓のリズムを検出し、それを、病的／健康であることが既知であるリズムと比較するステップ。
（２）発話の特徴の周期性を計算し（自己相関および／またはスペクトル領域）、それを、病的／健康であることが既知である周期性と比較するステップ。
（３）機械学習方式を使用して、健康な発話者からの音声特徴からの統計モデル、および／または病態を有する発話者からの音声特徴からの統計モデル、を訓練するステップ。
いくつかの実施形態においては、このプロセスを使用して、健康な心臓の状態を識別する（例えば洞律動を識別することによる）。
いくつかの実施形態においては、既知ではない発話者の場合、音響特徴を、病的なモデルおよび／または健康なモデル（訓練段階で計算されたモデルなど）のそれぞれと（例えば確率の計算によって）比較し、最も高い確率のモデルを結果とすることによって、病態が検出される。
音声サンプリングおよび／または音声分析の例示的な装置
次に図４Ａおよび図４Ｂを参照し、これらの図は、本発明のいくつかの実施形態による、例示的なプラットフォーム（図４Ａにおける携帯電話、図４Ｂにおける車両など）における音声サンプリングおよび／または音声分析を概略的に示している。オプションとして、本システムは、任意の音声プラットフォームおよび／または音声支援プラットフォーム（voice assisting platforms）に実施することができる。
いくつかの実施形態においては、サンプリングおよび／または分析の電気回路を埋め込むために車両が使用される。例えば、音声入力部および／または分析器を、カーマルチメディアシステムおよび／またはスピーカーフォンシステムに埋め込むことができる。例えば、被検者が車内の電話／スピーカーに向かって話しているとき、および／または音声命令を発しているとき、および／または車内で自発的に話しているときに、サンプリングすることによる。
いくつかの実施形態においては、音声入力部４２２（例えばマイクロフォン）を使用して音声サンプルをサンプリングするために、電話および／またはスマートフォンが使用される。オプションとして、音声サンプルの分析も、そのような分析のための命令を有する電気回路によって、電話において行われる。いくつかの実施形態においては、図５Ａ～図５Ｃにおいてさらに説明するように、音声プロセッサ４２０を使用して音声サンプルを処理する。いくつかの実施形態においては、音声プロセッサ４２０は、音声フィルタリングユニット４２４において、例えば、フィルタリングする、および／または分類する、および／または断片に断片化することによって、音声サンプルから不要成分を取り除く。例えば、フィルタリングユニット４２４は、雑音を除去し、サンプリングされた音声の信号から「不要成分を取り除く」ことができる。いくつかの実施形態においては、フィルタリングされた音声、またはフィルタリングされていない音声に対して、さらに分類を行う。オプションとして、音声サンプルは、発話部分および／または非発話部分および／または沈黙部分および／または遷移部分に分類される。いくつかの実施形態においては、フィルタリングユニット４２４は、オプションとして音の基準を使用することによって、音声ストリームから関連する発話データの位置を検出してマークするために使用される。音の基準は、例えば、エネルギー、および／またはゼロ交差、および／またはフォルマント、および／またはピッチとすることができる。例えば有声部分には、自己相関分析によってピッチ周波数における顕著なピークが示され、オプションとしてこのピークを使用して有声／無声を分類する。
いくつかの実施形態においては、特徴抽出器４２６は、音声サンプルからデータ（例えば音声特徴および／または音響ベクトルおよび／または心臓の特徴）を抽出する。いくつかの実施形態においては、フレームごとに音声特徴の少なくとも１つの値が計算される。音声特徴は、例えば、重み付けられたスペクトル、および／または線形予測係数（ＬＰＣ）および／またはＬＰＣに基づくスペクトル、および／またはメル周波数ケプストラム係数（ＭＦＣＣ）、および／または基本周波数（ピッチ）、および／またはエネルギー、および／またはゼロ交差、および／またはフォルマント、および／または声門パルス（声帯パルス）、および／またはジッター、および／またはシマー、および／またはフラクタル次元、および／またはコヒーレンス、および／またはウェーブレット解析、または発話サンプルから関連情報を抽出する任意の他の特徴、を含むことができる。これに代えて、またはこれに加えて、図５Ａにさらに実例を示したように、これらの音声特徴のいくつかまたはすべての組合せを使用して、複数の特徴を含む１つの高次元ベクトル（オプションとして各パラメータの統計的重みを含む）を形成する。
いくつかの実施形態においては、特徴プロセッサ４４０において、音声特徴および／または音響ベクトルおよび／または心臓の特徴が分析される。いくつかの実施形態においては、パルス間隔計算器４４２が、心拍の間の時間間隔を計算するために使用される。これに代えて、またはこれに加えて、音声特徴分布計算器４４４が、少なくとも１種類の音声特徴の分布および／または変動性を特徴付けるために使用される。これに代えて、またはこれに加えて、音声特徴周期性計算器４４６が、少なくとも１種類の音声特徴の時間の経過に伴う変化の規則性を識別するために使用される。
いくつかの実施形態においては、さまざまな統計的手法を使用して心臓の病態の確率を推定するために、特徴プロセッサ４４０の結果が心臓状態分類器４６０によって分析される。いくつかの実施形態においては、確率統合モジュール４６２が、特徴プロセッサ４４０のさまざまな結果（計算器４４２，４４４，４４６の結果の任意の組合せとすることができる）を重み付けるために使用される。いくつかの実施形態においては、心臓状態評価モジュール４６４が、確率統合モジュール４６２の重み付けの結果を使用して、心臓の状態の推定を導く。いくつかの実施形態においては、確率統合モジュール４６２および／または心臓状態評価モジュール４６４は、機械学習モジュール４６６とデータを交換する、機械学習モジュール４６６に送信する、および／または機械学習モジュール４６６から受信する。
オプションとして、図４Ｂに例示したように、心臓の状態を判定するシステム４００は、被検者４５０を収容する車室（例えば車両４０２など）に埋め込まれている。いくつかの実施形態においては、システム４００は、カーマルチメディアシステムおよび／または任意の別の計算ハードウェアに組み込まれている。いくつかの実施形態においては、システム４００は、被検者４５０からの音声サンプル４２０を入力するように構成されている。いくつかの実施形態においては、システム４００は、心臓の病態の分析の少なくとも一部を実行する電気回路を備えている。これに代えて、またはこれに加えて、音声サンプル、および／または、少なくとも部分的に分析された音声サンプルが、接続されているカーマルチメディアシステムを通じて、さらなる分析用のサーバーに送信される。いくつかの実施形態においては、結果が、被検者４５０に（例えばスマートフォンおよび／または電子メールを通じて）直接送られる。これに代えて、またはこれに加えて、出力が、自動車のインタフェース（例えばマルチメディアシステム、および／またはスピーカー、および／またはダッシュボードインタフェース（例えば警告灯の形のもの）など）を通じて、利用者に提示される。これに代えて、またはこれに加えて、結果は、世話をする人に送られる。
例示的な音声サンプル処理
次に図５Ａを参照し、図５Ａは、本発明のいくつかの実施形態による、例示的な音声処理を示している。いくつかの実施形態においては、得られた音声サンプルを、心臓の特徴および／または音声特徴の情報を有する可能性のあるフレームに分割し、そのような情報を提供する可能性が低いフレームを削除することは、有利であり得る。
いくつかの実施形態においては、５０２において、例えば雑音および／または歪みを除去するために、音声サンプルをフィルタリングする。オプションとして、音声のフィルタリングは、音声削減手法および／または能動型雑音消去手法を含む。例えば背景雑音および／または音声歪みを減衰させることによるフィルタリングの潜在的な利点は、後からの処理の効率が高まる可能性があることである。いくつかの実施形態においては、フィルタリングは、能動型雑音消去（発話から雑音が差し引かれる）によって行われる。これに代えて、またはこれに加えて、フィルタリングは、時間領域または周波数領域における雑音フィルタリングによって行われる。
いくつかの実施形態においては、５０４において、音声サンプルを分類する。心臓の鼓動の後の血流によって、発話信号の変調がもたらされると推測される。いくつかの実施形態においては、発話信号から心臓の情報および／または音響情報を抽出するために、オプションとして発話信号が４つの種類、すなわち、（ｉ）沈黙／背景雑音セグメント（一般には関連情報を有さない）、（ｉｉ）無声セグメント（一般には少ない情報を有する）、（ｉｉｉ）有声セグメント（関連情報を有すると推測される）、（ｉｖ）発話のうち、１つの音から別の音の間で発声器官がその構造（例：口腔の向き、および／または舌の位置、および／または唇の位置、および／または声帯の形状）を変化させる部分として定義される遷移部分、に分類される。オプションとして、分類の後、非発話（および／または雑音）セグメントが削除される。いくつかの実施形態においては、分類は、特定の母音（例えば、／ａｈ／母音のみ、または／ｅｈ／母音のみ、または／ｏｈ／母音のみ、または／ｕｈ／母音のみ、または／ｅｅｈ／母音のみ）を含める、または除外されるように、有声セグメントにおいて行われる。
いくつかの実施形態においては、５０６において、発話サンプルを、（例えば約０．１ｍｓｅｃ～約４００ｍｓｅｃの長さを有する）｛ｍ｝個のフレームに分割する。これに代えて、またはこれに加えて、フレームは、約２０ｍｓｅｃ～約４０ｍｓｅｃの長さを有する。オプションとして、フレームは、重なっている（例えば、１０％、および／または２０％、および／または３０％、および／または４０％、および／または５０％、および／または６０％の重なり、または１％～９９％の範囲内の重なり）。
いくつかの実施形態においては、５０８において、各フレーム｛ｍ｝において、｛ｊ｝個の音声特徴を計算し、したがって例えば以下である。
Figure 0007353592000006
 式中、
（ｍ）：フレーム番号
（ｔ）：サンプル時刻インデックス（ｔ＝１／Ｆｓ、Ｆｓは通常では６ＫＨｚ～１００ＫＨｚの間のサンプリング周波数）
（Ｔｓ）：フレームのステップ（Ｔｓ＝Ｔｗならば重なりがなく、Ｔｓ＝０．５＊Ｔｗは５０％の重なり）
（Ｔｗ）：フレームのサイズ（持続時間）
（Ｓｐｅｅｃｈ）：発話のサンプル
Ｆ｛｝は、発話サンプル＝音声特徴（発話の情報の代替表現である）の関数である。例えば、スペクトル、および／またはＭＦＣＣ、および／またはＬＰＣ、および／または自己相関、および／またはウェーブレットである。
いくつかの実施形態においては、５１０において、各特徴の時間導関数（任意の次数）も計算され、例えば以下である。
Figure 0007353592000007
いくつかの実施形態においては、発話信号に沿ったさまざまな点の間で、特徴の値の差が計算される。本発明を制限することのない一例として、心臓の鼓動によって、特徴の値が、あるパターンで変化する可能性があり、このパターンを使用してＲＲパルスを特定することができる。
いくつかの実施形態においては、本発明を制限することのない一例として、心臓の鼓動によって、ピッチ周波数およびフォルマント周波数におけるスペクトルのクロスコヒーレンスが変化する可能性があり、したがってコヒーレンスが最小である発話の２つの部分の間の時間差を使用して、ＲＲ間隔を推定することができる。
いくつかの実施形態においては、発話全体において、いくつかの特徴が平均される。
いくつかの実施形態においては、発話全体にわたり、いくつかの特徴のいくつかの統計値が計算される。オプションとして、いくつかの音声特徴用には、無声部分が使用される。これに代えて、またはこれに加えて、いくつかの音声特徴用には、（例えばフォルマントおよび／またはピッチなどの特徴を選ぶことによって）有声部分のみが使用される。いくつかの実施形態においては、連続するセグメントの間の小さいギャップ（例：ＢＰＭ長）の約２０％未満、および／またはＢＰＭ長の約１５％未満、および／またはＢＰＭ長の約１０％未満、および／またはＢＰＭ長の約５％未満）が無視される（例えば特徴のシーケンスから除外される）。小さいギャップは重要ではない可能性があり、なぜなら血圧に対する心拍の影響はギャップよりも長いと推測されるためである。これに代えて、またはこれに加えて、セグメントの間のギャップが再現される、および／または外挿され、例えば、セグメントの端部における傾斜と、次のセグメントにおける相補的な傾斜を識別するときに、音声特徴および／または心臓の特徴の発生を外挿することができる。
オプションとして、５１２において、例えば図５Ｂおよび図５Ｃに示したように音声特徴を正規化する。正規化の潜在的な利点は、より少ない情報を有する可能性のあるフレーム（遷移フレームなど）の分析を最小にすることである。いくつかの実施形態においては、５１４において、所定の規則に従ってフレームを削除し、この規則は、オプションとして、フレームが心臓の情報を示す可能性に関連する。
いくつかの実施形態においては、５１６において、計算された音声特徴を組み合わせて、各フレームを表す音響ベクトルにする。オプションとして、音響ベクトルは、１つのベクトルに組み合わせされる、いくつかの音声特徴（ＭＦＣＣ、ＬＰＣ、ウェーブレット、ピッチなどであり、総称して音響パラメータと称される）、および／または音声特徴の統計的情報および／または導関数（以下の等式では「ＤＩＦＦ」と表してある）を含み、例えば以下である。
Figure 0007353592000008
 この音響ベクトルは、一連の音響パラメータおよびそれらの導関数（一次導関数の場合はＤｉｆｆ１、二次導関数の場合はＤｉｆｆ２と表されている）を含む。
本発明を制限することのない一例として、フレーム「ｍ」の音響ベクトルは、例えば以下とすることができる。
Figure 0007353592000009
オプションとして、フレームごとの音声特徴ベクトルに、続く分析を行う（例えば心拍数の情報を導く）。これに代えて、またはこれに加えて、続く分析は、分布の計算および／または周期性の計算を含む。これに代えて、またはこれに加えて、続く分析には、音声特徴または音響ベクトルではなく、（オプションとしてフィルタリングおよび／または分類の後の）音声サンプルが使用される。
次に図５Ｂを参照し、図５Ｂは、本発明のいくつかの実施形態による、音声サンプルの正規化を例示している。音響ベクトルは、心臓の状態に関する情報と、発話の音声学的情報を含むため、心臓の情報を強調する目的で、発話の音声学的情報を除去する（例：正規化する）ことは有利であり得る。図５Ｂおよび図５Ｃは、（音声学的情報に起因する）発話の「自然な」変化を正規化する方法を例示している。
いくつかの実施形態においては、正規化のアルゴリズムは、例えば以下に説明するように、多項式回帰曲線フィッティング法（polynomial regression curve fitting method）を使用して、発話の「自然な」変化を推定する。
いくつかの実施形態においては、音声特徴ベクトルが得られた時点で、５４２において、音響ベクトルの係数を導く。いくつかの実施形態においては、５４４において、係数に対して多項式近似を行う。多項式関数は、特徴の時間変動（すなわち時間の関数としてのパラメータ）を推定する。多項式による変動関数の表現は、心拍の影響から生じる短い変化ではなく「自然な」長い変化のみを考慮する「滑らかな」関数である。
いくつかの実施形態においては、５４６において、傾斜変化を計算する。オプションとして、５４８において、（フレームごとの）特徴ベクトルに、所定のしきい値または範囲に関連して、それらの傾斜の値および位置に基づいて帯域通過フィルタをかける。いくつかの実施形態においては、多項式の推定は、発話の「自然な」変動（すなわち発声に起因する発話の変化）を反映し、オプションとして音声特徴から差し引かれる。例えば以下のとおりである。
いま、ｘ（ｉ）は、時刻ｔ（ｉ）（ｉ＝１．．．Ｎ）においてサンプリングされる、発話のセグメントｉ＝１．．．Ｎの音声特徴ベクトルの係数とする。
フレームのサンプリング間隔は、Ｔｓ（１／Ｆｒに等しい）である。
Ｆｒはフレームレートである。
推定にはＭ次の多項式が使用され、推定誤差ε（ｉ）が生じる。
Figure 0007353592000010
 これは次のように書くことができる。
Figure 0007353592000011
 または、
Figure 0007353592000012
 多項式の係数は、最小二乗推定を使用して推定することができる。
Figure 0007353592000013
 多項式の推定は、発話の「自然な」変動を反映し、音声特徴から差し引かれる。
Figure 0007353592000014
図５Ｃは、例示的な正規化プロセスを示しており、黒色の線は、時間の経過に伴う音声特徴値を示している（上のグラフ）。青色の（点）線は、３次多項式を使用した正規化－補正関数である。上のグラフは、元の信号および補正関数を示しており、下のグラフは、正規化後の信号を示している。いくつかの実施形態においては、発話のうち一定の音声期間の間の部分は、分析から除去される。
発話中、音声特徴は、音声情報および心臓の情報の両方を反映していると推測される。発話信号に対する心拍の影響は微細であると推測されるため、いくつかの実施形態においては、（オプションとして一定の音声期間の間、）音声特徴における「自然な」変化を低減するために正規化アルゴリズムが使用される。
このような音声正規化プロセスは、本発明のいくつかの実施形態においてオプションとして行われる。いくつかの実施形態においては、正規化アルゴリズムは、より多くのデータを分析において考慮する目的で、遷移部分を減らす、および／または、単一音声部分を「平滑化する」。図８Ａおよび図８Ｂは、ピッチパラメータを使用する別の例を示している。
分布の分析の例示的な高レベルの概要
次に図６Ａを参照し、図６Ａは、本発明のいくつかの実施形態による、分布の分析によって音声サンプルから心臓の状態を推定することを示している一般的な高レベルの概要である。
いくつかの実施形態においては、６０２において、音声をサンプリングし、６０４において、分析して少なくとも１種類の音声特徴を抽出する。いくつかの実施形態においては、６０６において、音声特徴の時間の経過に伴う分布を計算し、６０８において、この分布を使用して心臓の状態を判定する。オプションとして、分布の計算は、抽出された音声特徴の変動性を計算するステップを含む。心拍によって影響される血流は音声に影響すると推測され、不整脈が起きているとき、この影響は不規則であると推測される。したがって、病的な心臓の状態においては、音声特徴値の分布が変化すると推測される。
例示的な分布の分析の例示的な詳細な流れ図
次に図６Ｂを参照し、図６Ｂは、本発明のいくつかの実施形態による、特徴の分布を分析する詳細なプロセスを示している流れ図を示しており、音声特徴の例としてピッチを示している。
いくつかの実施形態においては、選択される音声特徴はピッチである。ピッチを計算する潜在的な利点は、ピッチが、心臓の鼓動に起因する声帯ヒダの大きさの変化によって心拍を示す主たる音声特徴の１つであることである。ピッチパラメータは、一定の発話信号の間は、比較的小さい「自然な」変化のみを有すると推測される。本明細書において使用されているとき、自然な変化とは、例えば呼吸を含む、音声の遷移時に（例えば音の間および／または音素の間に）音声特徴に起こる変化を意味する。この自然な変化は、心臓の鼓動に関連せず、いくつかの実施形態においては、図５Ｂ～図５Ｃに例示したように、正規化アルゴリズムによって最小にされる。音声の分析にピッチを使用することは、心臓以外に起因して変化しやすい他の音声特徴よりも有利であり得る。ピッチ特徴の他の潜在的な利点は、ピッチは一般に音声信号の時間の４０％以上において見つかることと、自発的な発話のさまざまな音にわたり安定的な値を維持する可能性が高いことである。
いくつかの実施形態においては、６１２において、音声をサンプリングし、６１４において、有声セグメントを分類する。いくつかの実施形態においては、６１６において、分類された有声セグメントを連結して、連続的なデータを受信する。いくつかの実施形態においては、６１８において、連結された有声セグメントからピッチを抽出する。
オプションとして、ピッチの自然な変動（例：血流に起因するのではなく発声器官の動きおよび／または動作に起因する）を、例えば図５Ｂおよび図５Ｃに説明および図解したプロセスを使用して、除去する。いくつかの実施形態においては、セグメントを削除した後、６２２において、残っている有声セグメントを連結し、６２４において、オプションとして滑らかにする。いくつかの実施形態においては、滑らかにするステップは、異なるセグメントの間の融合点における遷移部を滑らかにするステップを含む。
いくつかの実施形態においては、６２６において、ピッチの分布を計算する。分布の計算は、例えば、ピッチの値の統計的ばらつき、および／または、音声特徴に対する数学的演算から得られる任意の他の統計的情報（例えば、標準偏差、および／または高次モーメント、および／または非対称偏差（skew deviation）、および／または平均など）を含む。
いくつかの実施形態においては、６２８において、分布の値を所定のしきい値と比較し、６３０において、健康な状態と判定する、または６３２において、病的な状態と判定する。例えば、値の高い分布は不規則な影響を示唆し、したがって、しきい値よりも高い分布値は、病的な状態とみなすことができる。いくつかの実施形態においては、分布の値は、分布の形状とすることができる。
例示的な単一発話者法
いくつかの実施形態においては、オプションとして、ある時刻における１人の患者の声と、別の時刻における同じ患者の声とを比較したときの変動を測定することによって、パルスのリズムの変動が検出される。
いくつかの実施形態においては、異なる時刻に、特に、患者の心臓が不整脈であるときの１つの時刻と、患者の心臓の鼓動が規則的である時刻とにおいて、同じ（１つまたは複数の）音声および／または同じ（１つまたは複数の）音素を発声するように患者に要求する。
オプションとして、音声信号の分析によって、心臓のリズムの変化が検出される。
いくつかの実施形態においては、分析は、さまざまな時刻において患者のトーン、および／または音素、および／または単語、および／または発話を記録し、オプションとして、その患者の同じトーン、および／または同じ音素、および／または同じ単語、および／または同じ発話の生の発声と比較することである。
いくつかの実施形態においては、オプションとして、慢性疾患（慢性心疾患など）を有する患者の同じ音素が、患者の心拍が規則的であるときに分析され、分析の音響特徴がオプションとして保存され、生の発声の音響特徴と、または別の時刻における同じ患者の別の記録と、比較される。
音響特徴は、オプションとして、以下の１つまたは複数を含む：
スペクトルに基づくパラメータ（エネルギーのスペクトル分布、ピーク、ピークのエネルギー、ピークの帯域幅、スペクトルの傾斜など）；
メル周波数ケプストラム係数（ＭＦＣＣ）；
ＬＰＣ係数；
声門パルスパラメータ（声門パルスの立ち上がり時間、声門パルスの立ち下がり時間、声門パルスの開期間、声門パルスの閉期間、声門パルスの周波数、声門パルスのピークの位置、声門パルスのスペクトル、声門パルスの期間のジッター、声門パルスの振幅のジッター、その他）；
（１つまたは複数の）ピッチパラメータ；
偏相関係数（略してＰＡＲＣＯＲ）： これはパラメータ間の（ただし必ずしもすべてのパラメータの間ではない）相関の測度；
ウェーブレット解析パラメータ。
いくつかの実施形態においては、音響特徴を計算するステップは、以下の１つまたは複数を含む：
特徴空間の重心（オプションとしてＫ－ＭＥＡＮＳクラスタリング分析を使用する）；
特徴の変動のヒストグラムおよび／または確率密度関数（ＰＤＦ：Probability Density Function）。いくつかの実施形態においては、発話に対して１つまたは複数の音響特徴が計算され、オプションとして、それらの音響特徴の分布（最小値および最大値、標準偏差、分布の形状など）が、発話における心拍数の病態の指標として使用される；
変調パラメータ： 発話の（１つまたは複数の）音響パラメータを計算した後、オプションとして、それら（１つまたは複数の）パラメータのスペクトルが、パラメトリック法および／またはノンパラメトリック法を使用して計算される。使用されるスペクトルからのパラメータは、以下の１つまたは複数である；
（１つまたは複数の）ピークの位置、（１つまたは複数の）ピークの帯域幅、ピークのエネルギー、（１つまたは複数の）スペクトル傾斜など；
サポートベクターマシン（ＳＶＭ）を使用しての特徴空間の部分空間の計算；
機械学習手法からの他のクラスタリング法。
音響特徴の上記の計算では、オプションとして、健康な人の発話と、病的な心臓の状態を有する人の発話の、異なる特性の分布が生成される。
いくつかの実施形態においては、初期の学習／訓練段階において、オプションとして音響信号の統計モデル（オプションとして健康な規則的な心律動におけるＲＲ間隔の長さの分布と、病的な心律動におけるＲＲ間隔の長さの分布を含む）が計算され、音響特徴の１つまたは複数の統計的測度の健康な値と病的な値とを区別するために、しきい値が求められる。
いくつかの実施形態においては、統計的心臓状態分類器は、オプションとして、
心臓が健康である発話者と、心臓が健康ではない発話者の音声記録を収集するステップと、
これらの記録に対して、本明細書に説明されているように１つまたは複数の音響特徴を計算するステップと、
上述した手法および／または追加の機械学習手法を使用して、統計的分類器を訓練するステップと、
によって訓練される。
いくつかの実施形態においては、さまざまな人々（オプションとして、さらに多数の健康な発話者および／または多数の健康ではない発話者）の音声記録が収集される。
いくつかの実施形態においては、１人の人の音声記録が、例えばその人が健康であることが既知であるときに、収集される。
いくつかの実施形態においては、健康な発話における変化が検出されたとき、オプションとして、その人は健康ではない心臓の状態を有する可能性があると分類される。
いくつかの実施形態においては、オプションとして、１人の人の音声記録が、例えばその人が健康ではないことが既知である（オプションとして既知の心臓の状態を有する）ときにも、収集される。
いくつかの実施形態においては、発話が、（１つまたは複数の）健康ではない記録に類似していることが検出されたとき、オプションとして、その人は健康ではない心臓の状態を有する可能性があると分類される。
いくつかの実施形態においては、初期の学習／訓練段階において、オプションとして音響信号の統計モデル（オプションとして健康な規則的な心律動におけるＲＲ間隔の長さの分布と、病的な心律動におけるＲＲ間隔の長さの分布を含む）が計算され、音響特徴の１つまたは複数の統計的測度の健康な値と病的な値とを区別するために、しきい値が求められる。
次に図６Ｃを参照し、図６Ｃは、本発明のいくつかの実施形態による、心臓の状態を診断するための学習の方法の単純化された流れ図である。
図６Ｃは、以下のステップを含む方法を示している：
音声をサンプリングするステップ（６４０）；
音声特徴を抽出するステップ（６４２）；
オプションとして、いくつかの発話からの音声特徴を組み合わせるステップ（６４４）；
クラスター分析を実行するステップ（６４６）；
オプションとして、コードブックを生成するステップ（６４８）。
いくつかの実施形態においては、サンプリングは、オプションとして、６Ｈｚ～１００ＫＨｚを含む周波数の範囲内で音声をデジタル化することによって実行される。
いくつかの実施形態においては、音声のサンプリングは、オプションとして、心臓が健康である１人または複数の発話者によって、および／または、少なくとも（１人または複数の）発話者が病的ではない心臓のリズムを有する期間において、話されていることが既知である発話に対して、行われる。
いくつかの実施形態においては、音声のサンプリングは、オプションとして、病的な心臓のリズムを有する１人または複数の発話者によって話されていることが既知である（オプションとして病的な心臓のリズムを有する１人または複数の発話者の発話の例として認識される）発話、を含む。
いくつかの実施形態においては、いくつかの発話からの音声特徴をオプションとして組み合わせるステップは、オプションとして、（１人または複数の）健康な発話者の発話、および／または、（１人または複数の）発話者が病的ではない心臓のリズムを有するときの発話、に対して実行される。
いくつかの実施形態においては、いくつかの発話からの音声特徴をオプションとして組み合わせるステップは、オプションとして、（１人または複数の）健康な発話者の発話、および／または、（１人または複数の）発話者が病的ではない心臓のリズムを有するときの発話、に対して個別に実行され、かつ、病的な心臓のリズムを有する（１人または複数の）発話者の発話に対して個別に実行される。
いくつかの実施形態においては、クラスター分析は、オプションとして、（１人または複数の）健康な発話者の発話、および／または、（１人または複数の）発話者が病的ではない心臓のリズムを有するときの発話、に対して実行される。
いくつかの実施形態においては、クラスター分析は、オプションとして、（１人または複数の）健康な発話者の発話、および／または、（１人または複数の）発話者が病的ではない心臓のリズムを有するときの発話、に対して個別に実行され、かつ、病的な心臓のリズムを有する（１人または複数の）発話者の発話に対して個別に実行される。
いくつかの実施形態においては、コードブックは、オプションとして、（１人または複数の）健康な発話者のコードブックである、および／または、（１人または複数の）発話者が病的ではない心臓のリズムを有するときを表すコードブックである。
いくつかの実施形態においては、コードブックは、オプションとして、（１人または複数の）健康な発話者の発話と、病的な心臓のリズムを有する（１人または複数の）発話者の発話の分類、を含む。
いくつかの実施形態においては、クラスター分析は、オプションとして、Ｋ－ｍｅａｎｓ分析によって実行される。
次に図６Ｄを参照し、図６Ｄは、本発明のいくつかの実施形態による、心臓の状態を分類する方法の単純化された流れ図である。
図６Ｄは、以下のステップを含む方法を示している：
音声をサンプリングするステップ（６５０）；
音声特徴を抽出するステップ（６５２）；
オプションとして、音声特徴を選択するステップ（６５４）；
１つまたは複数のコードブック値からの音声特徴の距離を計算するステップ（６５６）；
距離をしきい値と比較するステップ（６５８）；
心臓の状態を分類するステップ（６５９）。
いくつかの実施形態においては、サンプリングは、オプションとして、６Ｈｚ～１００ＫＨｚを含む周波数の範囲内で音声をデジタル化することによって実行される。
いくつかの実施形態においては、心臓の状態の分類は、オプションとして、健康な心臓の状態の１つまたは複数のコードブック値からの距離がしきい値よりも大きいことに基づいて、判定される。
いくつかの実施形態においては、心臓の状態の分類は、オプションとして、健康な心臓の状態の１つまたは複数のコードブック値からの距離がしきい値よりも小さいことに基づいて、判定される。
いくつかの実施形態においては、心臓の状態の分類は、オプションとして、病的な心臓の状態の１つまたは複数のコードブック値からの距離がしきい値よりも大きいことに基づいて、判定される。
いくつかの実施形態においては、心臓の状態の分類は、オプションとして、病的な心臓の状態の１つまたは複数のコードブック値からの距離がしきい値よりも小さいことに基づいて、判定される。
連結された有声セグメントの例
次に図７Ａおよび図７Ｂを参照し、図７Ａは、本発明のいくつかの実施形態による、音声セグメントを削除するように分類された音声サンプルの例を示しており、図７Ｂでは、残っているセグメントが連結されている。
この例示的な分類においては、図７Ａの音声サンプルは、有声セグメント７０２および無声セグメント７０４に分類されている。図７Ｂに示したグラフは、残っている有声セグメント７０２が連結されていることを示している。なお、セグメントの連結は、本発明のいくつかの実施形態のみにおいて行われ、一般には、音声特徴の時系列がさほど重要ではなく、各点における挙動が分析されるとき、および／またはすべての点における挙動が全体として分析されるときに、行われることに留意されたい。
データの平滑化の例
次に図８Ａおよび図８Ｂを参照し、これらの図は、平滑化された音声サンプルから抽出されるピッチデータの例を示しており、図８Ａ，８Ｂは、声の「自然な」変動の平滑化を示している。赤色の線は、時間の経過に伴う音声特徴（この場合には時間の経過に伴うピッチ）を示しており、青色の線は、補正関数を示している。
図８Ｂは、正規化の後のピッチ信号を示している。一般には、音声特徴から「自然な」変化を除去した後には、心臓の情報がより高い精度で抽出される。
ピッチの抽出の例
次に図９Ａおよび図９Ｂを参照し、これらの図は、本発明のいくつかの実施形態による、フィルタリングおよび平滑化された後に音声サンプルから抽出されるピッチデータの例を示しており、図９Ａは、本発明のいくつかの実施形態による、連結された有声セグメントの例を示しており、図９Ｂは、図９Ａにおける連結された音声セグメントのピッチ抽出の例を示している。点線部分は、「自然な」変化が顕著であり心臓に起因する変化を隠しうる理由で分析から除外される個別のセグメントの間の「融合」部分である。
音声特徴の統計分析法を使用して心拍数の病態の確率を求める例
いくつかの実施形態においては、「健康な」音声特徴（および／またはその統計的操作および／または数学的演算）の分布は、健康な発話者の訓練セットから計算される（すなわち発話者に依存しないモデル）。これに代えて、またはこれに加えて、「健康な」音声特徴の分布（および／またはその統計的操作および／または数学的演算）は、既知の健康な（例えば十分に周期的な）状態時に検査されたその発話者から計算される（すなわち発話者に依存するモデル）。
次に図１０Ａ～図１０Ｄを参照し、これらの図は、本発明のいくつかの実施形態による、心房細動中に（図１０Ｂおよび図１０Ｄ）、および健康な人の発話中に（図１０Ａおよび図１０Ｃ）記録された発話のピッチの正規化された標準偏差値の分布のヒストグラムの例を示しており、音声特徴の分布の分析を使用しての心拍数の病態の確率の決定を例示している。
図１０Ａ（および図１０Ｃ（図１０Ａの同じ分布をより高い解像度で示している））には、健康な被検者から、図１０Ｂ（および図１０Ｄ（図１０Ｂの同じ分布をより高い解像度で示している））には、心房細動と診断された被検者から、それぞれ導かれた発話の訓練セットを通じて計算された、ピッチの正規化された標準偏差を例示してある。この例ではピッチパラメータが選択されており、なぜならピッチパラメータは、さまざまな音にわたり比較的安定性が高く、また自然な発話期間の４０％以上に存在するためである。
いくつかの実施形態においては、心房細動を検出するために、ピッチの正規化された標準偏差のしきい値が使用される。これに代えて、またはこれに加えて、健康な被検者の、訓練された統計的分布が形成され、健康ではない被検者の、訓練された統計的分布が形成され、オプションとして、現在の分布が、訓練された各分布と統計的に照合される。オプションとして、一致する高い統計的確率に基づいて、診断が推定される。
例えば以下は、発話のｉ番目のフレーム（ｉ＝１．．．Ｎ）に対して計算されるピッチ値の場合である。
発話信号のいくつかの部分の全体にわたり、標準偏差が計算される。これらの部分の持続時間は、使用される音響パラメータの変動性に従って、（病態の短い発症を検出する目的で）最小であるように選択される。
Figure 0007353592000015
この例の場合、規則的な心拍の標準偏差の８５％が０．０２未満であり、心房細動の記録の標準偏差の６０％が０．０２よりも大きいことを理解できる。
例示的な心拍数の抽出
いくつかの実施形態においては、いくつかの計算で、分析される被検者の心拍数が使用される。以下は、本発明のいくつかの実施形態による、被検者の音声サンプルから心臓の鼓動の周波数を抽出する例である。
Figure 0007353592000016
Figure 0007353592000017
この行列は、特定の時刻におけるさまざまな音声特徴を含むことができ、例えば以下である。
Ｖ（ｔ，１）： 時刻ｔにおけるピッチ値とすることができる
Ｖ（ｔ，２）： 時刻ｔにおけるピッチの導関数とすることができる
Ｖ（ｔ，３）： 時刻ｔにおけるＭＦＣＣ係数とすることができる。
次式を使用することによって、各係数（行列の行）に対して離散フーリエ変換を計算することができる。
Figure 0007353592000018
各行は、１つの音声特徴パラメータのフーリエ変換の絶対値に等しい。心拍数は、心拍数の周波数におけるピークによって周波数領域に示される。オプションとして、何種類かの音声特徴に対してＢＰＭ（心拍数の拍／分）が計算され、続いて平均し、その平均値を使用する、または、すべての計算された特徴の係数の中で最も一般的な値を多数決式に選択した後の値を使用する。いくつかの実施形態においては、妥当ではない値（例えば、約３０ｂｐｍよりも低い値、および約３００ｂｐｍよりも高い値）がフィルタリングされる。これに代えて、またはこれに加えて、極めて不規則な心拍の場合、スペクトルエネルギーを帯域制限しない。
例示的な心拍の間隔の抽出
次に図１１Ａを参照し、図１１Ａは、本発明のいくつかの実施形態による、パルスの間隔を計算するための一般的な流れ図を示している。
いくつかの実施形態においては、１１０４において、音声サンプル１１０２を使用して少なくとも２回の心拍を識別する。いくつかの実施形態においては、１１０６において、パルス発生の間の時間間隔を計算する。いくつかの実施形態においては、１１０８において、抽出された時間間隔に基づいて心臓の状態を推定する。
オプションとして、パルスは互いに連続的である。これに代えて、十分に短い時間間隔が計算される場合、連続していないパルスでも、心臓の状態を判定するのに十分である。
いくつかの実施形態においては、分析は、各フレームごとに個別に実行される。これに代えて、またはこれに加えて、分析は、複数のフレームの複合シーケンスに対して実行される。いくつかの実施形態においては、識別されたパルスのシーケンスが形成され、オプションとして、たとえこれらのパルスが異なるフレームで発生しても心拍の時系列を維持する。いくつかの実施形態においては、心臓の状態を判定する目的で、識別されたパルスの間の時間間隔が、基準および／またはしきい値と比較される。
例示的なパルス間隔の抽出の詳細
次に図１１Ｂを参照し、図１１Ｂは、本発明のいくつかの実施形態による、パルス間隔の抽出の詳細を例示する流れ図を示している。
いくつかの実施形態においては、１１１４において、音声サンプル１１１２を分類して有声セグメントを抽出する。いくつかの実施形態においては、有声セグメントは、約０．５秒～約３秒の長さを含む。いくつかの実施形態においては、１１１６において、有声セグメントを使用して心拍（例えば図１１Ｃおよび図１１Ｄにさらに詳述および記載されているように例えばＲパルスなど）を識別する。いくつかの実施形態においては、１１１８において、識別されたパルスの間の時間間隔を計算する。
いくつかの実施形態においては、１つの音声セグメントにおいて少なくとも２つのパルスが識別される。これに代えて、音声セグメントあたり、少なくとも３つのパルス、または少なくとも４つのパルス、または少なくとも５つのパルス、または少なくとも６つのパルス、または少なくとも７つのパルス、または少なくとも８つのパルス、が識別される。いくつかの実施形態においては、このセグメントは、連続していない部分を含む。いくつかの実施形態においては、互いに連続しているパルスのみが考慮される。これに代えて、被検者の心拍数に等しいかまたはそれよりも小さい時間間隔のみが考慮される。
オプションとして、１１２０において、識別されたパルスの間の時間間隔の短いシーケンスを基準と照合し、基準に一致する確率を計算する。いくつかの実施形態においては、基準は、同じ被検者において、ただし健康な状態時に識別されたパルスの時間間隔である。これに代えて、またはこれに加えて、基準は、健康な状態、および／または病的な状態の特性であることが既知であるパルスの時間間隔を含む。これに代えて、またはこれに加えて、基準は、別の健康な音声サンプルおよび／または病的な音声サンプルから導かれた複数の時間間隔のシーケンスのデータベース、を含む。いくつかの実施形態においては、準備段階において、健康な発話サンプルおよび病的な発話サンプルの両方のデータベースを使用して、基準のパターンが取得される。
いくつかの実施形態においては、１１２２において、値が一致する確率をしきい値と比較し、例えば、病的なシーケンスと照合するときには、しきい値よりも値が低ければ、１１３０において健康な状態と判定され、しきい値よりも値が高ければ、１１３２において病的な状態と判定される。いくつかの実施形態においては、しきい値は、所定の固定値である。これに代えて、しきい値は、複数のデータ源に基づいて（例えば機械学習を使用することによって）動的に決定される変数である。例えば、別の検査において、不整脈と判定される高い確率が検出される場合、１１２２において時間間隔に基づいて不整脈を判定するためのしきい値を下げることができる。
例示的なＲパルスの位置の識別
次に図１１Ｃを参照し、図１１Ｃは、時間軸上のＲパルスの位置の識別を例示する流れ図を示している。
したがって、いくつかの実施形態においては、発話フレームの分類（図５Ａ～図５Ｃに示してある）の後、かつオプションとして、沈黙、および／または情報が存在しないフレーム、および／または遷移フレームを除外した後である。
いくつかの実施形態においては、発話の連続的なセグメントにおいて、発話のフレームを表す音響ベクトルが取得される。いくつかの実施形態においては、各フレームの音響ベクトルからセグメント内のすべての他のフレームまでの距離が計算される。これらの距離は、組織の柔軟性を反映する発声器官組織における不連続／未知の小さい変化、および／または、筋肉の緊張の変化および／または血管の大きさおよび容積の変化による自然な変化、に起因する発話信号における変化に関する情報を保持している可能性がある。連続的なフレーム間の距離は小さいことが予測され、分離されるフレームが多いほど大きい。
いくつかの実施形態においては、１１５０において、各フレーム（ｔ）について、オプションとしてすべての発話フレームについて、以前の（後方の）フレームおよび以降の（前方の）フレームまでの距離を計算する。
例えば、２つの音響ベクトルの間の距離関数は、次式によって計算することができる。
Figure 0007353592000019
Figure 0007353592000020
 式中、Ｗ（ｐ）は、正規化およびスケーリングの役割を果たす重み付け係数である。
いくつかの実施形態においては、１１５２において、前方の距離系列（distance series）および／または後方の距離系列における極小を識別する。
点（ｔ＝ｔ１）から前方方向に（ｔ＞ｔ１）測定される距離における極小を見つける。
Figure 0007353592000021
 さらに後方方向における（ｔ＜ｔ１）極小を見つける。
Figure 0007353592000022
いくつかの実施形態においては、１１５４において、フレームｔに基づいて、極小までの距離の和を使用してＲＲ間隔を推定する。
Figure 0007353592000023
 式中、αは定数である。
次に図１１Ｄを参照し、図１１Ｄは、本発明のいくつかの実施形態による、ＲＲ間隔推定の例示的なグラフを示している。
図１１Ｄは、Ｘ軸１１０７に沿った時間ｔの関数として、Ｙ軸１１０６におけるＤ（ｔ）を示すグラフ１１００を含む。
グラフ１１００は、時刻ｔ１におけるＤ（ｔ１）１１０１と、ｔ１よりも前の時刻ｔ２におけるＤ（ｔ）の第１の極小１１０２と、ｔ１に続く時刻ｔ３におけるＤ（ｔ）の第２の極小１１０３とを示している。
図１１Ｄは、極小１１０２，１１０３の検出に基づいて、ＲＲ間隔が、ＲＲ＿ｉｎｔｅｒｖａｌ＝（ｔ３－ｔ２）として推定されることを示している。
いくつかの実施形態においては、いくつかのＲＲ間隔が推定される。
いくつかの実施形態においては、以下のような１つまたは複数の基準に従って、いくつかの推定されるＲＲ間隔のみが使用される。
（１）極小の形状（「深い」または「平坦」）
（２）ＲＲ間隔の妥当性。いくつかの実施形態においては、オプションとしてＲＲ間隔は、ＢＰＭ値を推定するのに常識の範囲内で適切である場合にのみ使用される（本発明を制限することのない一例として、４５ＢＰＭよりも大きく、かつ２５０ＢＰＭよりも小さい、など）。
（３）最も可能性の高いいくつかのＲＲ間隔を選択する。いくつかの実施形態においては、オプションとしてＲＲ間隔の長さが計算され、オプションとしてＲＲ間隔の長さの分布が計算される。オプションとして、平均のＲＲ間隔の長さの前後の特定のしきい値の範囲内に（平均の約±５％、±１０％、±２０％、±３３％、±５０％などの範囲内に）入るＲＲ間隔が選択される。オプションとして、平均心拍数の前後の心拍数に対応するＲＲ間隔長さの特定の範囲内に（平均の約±５％、±１０％、±２０％、±３３％、±５０％などの範囲内に）入るＲＲ間隔が選択される。いくつかの実施形態においては、このような分析は、オプションとして、発話のセグメント（オプションとして会話全体）を分析した後、可能性のあるＲＲ間隔のリストを取得した後に、行われる。
いくつかの実施形態においては、シーケンスの分析が行われ、最も可能性が高いパターンを探す。規則的な心拍数の場合、同程度のＲＲ間隔が見つかる。不規則な心拍数の場合、同程度のＲＲ間隔が見つからない、またはわずかに見つかる。
（４）「心拍」に関連しない自然な発話の変化の確率を推定するために、別の基準を使用する。
いくつかの実施形態においては、極小がはっきりしない（例：期間が長い）ときには、推定距離が次の分析から除去され、その次の最小が考慮される。いくつかの実施形態においては、一般に短いフレームセグメントの場合、フレームセグメントあたり１つのＲＲ間隔が計算される。これに代えて、一般に長いセグメントの場合、複数のＲＲ間隔が計算される。
いくつかの実施形態においては、すべてのフレーム｛ｔ＝０，１，．．．，Ｔ｝に対するＲＲ間隔が推定される。オプションとして、１１５６において、計算されるすべての特徴にわたり、発話サンプル全体から導かれるＲＲ間隔を平均し、オプションとして、１１５８において、発話サンプル全体の、ＲＲ間隔の総合的な推定を導く。
音声サンプルにおけるＲＲ間隔の識別の例
次に図１２Ａを参照し、図１２Ａは、本発明のいくつかの実施形態による、一定の母音におけるＭＦＣＣタイプの音声特徴の場合のフレーム間距離の例を提示しており、上のグラフは、（各フレームにおいて計算されたＭＦＣＣ音響特徴の）フレーム間距離のパターンを示しており、下のグラフは、基準としての心電図グラフを示している。図１２Ａに示した矢印は、２つのフレーム、すなわちフレーム（ｔ）およびフレーム（ｉ）を示している。所与のフレーム｛ｔ｝に対して、フレーム｛ｉ｝までのフレーム間距離は周期的な性質を有し、極小がＲＲ間隔毎に現れる可能性が高く、すなわちＤ（ｔ，ｉ）は、極小の間の時間距離がＲＲ間隔に等しい位置に極小を有する。上のグラフから下のグラフまでの矢印は、フレーム間距離の極小（上のグラフ）が、周期的にＲＲ間隔に類似する位置に現れる（下のグラフ）ことを示している。
コヒーレンスを使用しての音声サンプルにおけるＲＲ間隔の識別の例
いくつかの実施形態においては、発話の変動の測度としてコヒーレンス値を使用して、オプションとして上の方法が使用される。
上の方法および定義を使用する。
Figure 0007353592000024
 コヒーレンスの場合には、
Figure 0007353592000025
いくつかの実施形態においては、２つの発話フレーム（一方は時刻ｔ１から始まり、他方は時刻ｔ２から始まる）の間のスペクトルクロスコヒーレンスが計算される。
Figure 0007353592000026
 式中、Ｔｗは分析のフレームサイズである。
Figure 0007353592000027
次に図１２Ｂを参照し、図１２Ｂは、本発明のいくつかの実施形態による、コヒーレンス計算の例示的なグラフを示している。
図１２Ｂはグラフ１２３０を含み、このグラフは、Ｘ軸１２３７に沿った時刻ｔ（単位：ミリ秒）の関数としての、Ｙ軸１２３６におけるコヒーレンス値を示している。
グラフ１２３０は、ピッチ周波数におけるコヒーレンスを示しており、時刻ｔ１における点１２３１から、約８２０ｍｓｅｃの距離の時刻ｔ２における最小値１２３２に達する（周波数の最大変化に対応する）。時刻ｔ２は、患者の８５５ｍｓｅｃのパルス位置に近い。
ＲＲ間隔データの例
次に図１３を参照し、図１３は、本発明のいくつかの実施形態による、連続するパルスの発生を増やすときの、心臓の状態の判定の特異度に対する感度の変化の例を提示している。
このグラフは、Ｘ軸におけるＰ（ＦＡ）（１－確率で示してある）としての、人が病態を有すると誤って診断される確率に対する、Ｙ軸におけるＰ（Ｄ）としての、人が病態を有すると正しく診断される確率を示している。示したグラフは、連続するパルスの数が増えると感度がどのように高まるかを例示している。さらにこのグラフは、連続するパルスの数が増えると、特異度および感度の両方も高まることを示している。
なお、この計算は、後からの「総合的な不整脈の確率の統合」のセクション（わずか数個のＲＲパルスから心房細動を評価する方法を含む）に示したアルゴリズムに基づいていることに留意されたい。
例示的な周期性の判定の概要
次に図１４Ａを参照し、図１４Ａは、本発明のいくつかの実施形態による、心臓の状態を判定するために使用される、心拍数の周期性を求めるプロセスを示した流れ図を提示している。心拍数が周期的であると想定すると、血管の大きさおよび／または容積の変化は半周期的（または正常な洞性心拍数の場合には周期的）であると推測される。したがって心臓活動のタイミングは、フレーム間距離のパターンの周期的な変化を見つけることによって検出される可能性がある。
いくつかの実施形態においては、１４０２において、音声をサンプリングし、１４０４において、少なくとも１種類の音声特徴を抽出する。いくつかの実施形態においては、１４０６において、例えばスペクトル分析および／または自己相関を使用して、少なくとも１種類の音声特徴の周期性を計算する。いくつかの実施形態においては、１４０８において、音声特徴の周期性に基づいて心臓の状態を推定する。すなわち、規則的な心拍数では、（時間の経過に伴う音声特徴の）スペクトル領域／自己相関領域において「狭い」エネルギーが形成されると推測され、なぜならほとんどのエネルギーは心拍数の周波数に集中すると推測されるためである。不規則な心拍（ほとんどの心房細動）では、おそらくはエネルギーが１つの周波数に集中せず、平均心拍数に近いスペクトル／自己相関値がおそらくあまり集中しない。
例示的な音声特徴の周期性の判定の詳細
次に図１４Ｂを参照し、図１４Ｂは、本発明のいくつかの実施形態による、心臓活動のタイミングを、音声サンプルへの心臓活動の影響のタイミングに基づいて判定するための流れ図を提示している。
いくつかの実施形態においては、１４１２において、音声をサンプリングし、１４１４において、少なくとも１種類の音声特徴を抽出する。いくつかの実施形態においては、サンプリングされる被検者の心拍数を抽出するために音声サンプルが使用される。これに代えて、またはこれに加えて、心拍数は心拍数モニターによって測定される。いくつかの実施形態においては、１４１８において、心拍数の周波数を含む複数の周波数において、音声特徴の自己相関を計算する。自己相関は、オプションとして、心拍数の周波数の前後の所定の範囲において特徴付けられる。いくつかの実施形態においては、１４２０において、ピーク形状パラメータを識別してその値を求めることによって、特徴付けを行う。ピーク形状パラメータは、例えば、ピークの帯域幅および／またはピークの振幅とすることができる。いくつかの実施形態においては、１４２２において、このパラメータ値をしきい値と比較し、１４３０において健康な状態と判定する、または１４３２において病的な状態と判定する。
音声特徴の声門パルス分析の例
声門パルス分析は、潜在的に他の発話器官（例えば、口、舌、唇、および／または口腔／鼻腔）の影響なしに声門組織（glottal cord）の動きに起因するパルスを計算するための手法である。
次に図１４Ｃを参照し、図１４Ｃは、本発明のいくつかの実施形態による、声門波の単純化された図である。
図１４Ｃは、咽頭および声門の断面１４４１，１４４２，１４４３，１４４４，１４４５の図１４４０を示している。
さらに図１４Ｃは、Ｘ軸１４５２に沿った時刻ｔの関数としての、Ｙ軸１４５１上の空気流値を示している線１４５３を示したグラフ１４５０を含む。
咽頭および声門の断面１４４１，１４４２，１４４３，１４４４，１４４５の図１４４０は、声門のさまざまな状態を示しており、グラフ１４５０は、上の状態に対応する空気流値を示している。
いくつかの例として、図１４Ｃは以下を示している：
閉じた声門に対応する、線１４５３上の第１の位置１４５４；
開きつつある声門に対応する、線１４５３上の第２の位置１４５５；
開いている声門に対応する、線１４５３上の第３の位置１４５６；
閉じつつある声門に対応する、線１４５３上の第４の位置１４５７。この位置における声門は、位置１４５４の前に閉じつつある声門について線１４５３が示しているより速い速度で閉じつつある；
閉じた声門に対応する、線１４５３上の第５の位置１４５８。
声門パルスは、オプションとして発話信号から抽出される。
いくつかの実施形態においては、発話信号からの声門パルスの計算が、オプションとして、心拍数の状態を判定するために使用される。第１段階は、オプションとして声門パルスを取得することである。
いくつかの実施形態においては、声門パルスは、オプションとして、上に挙げた非特許文献２に記載されているように計算される。
いくつかの実施形態においては、声門パルス信号から以下のパラメータの１つまたは複数が計算される：
声門パルスの立ち上がり時間（１０％から９０％までの増大時間）；
声門パルスの立ち下がり時間（９０％から１０％までの減少時間）；
声門の開期間／閉期間；
周期（声門パルス信号のピーク間の距離）；
声門パルス信号のピークの高さおよび／または幅；
声門パルス信号のいくつかの期間のスペクトル。
いくつかの実施形態においては、オプションとしてパラメータの統計値が比較され、オプションとして心拍数の変動性の判定が行われる。
いくつかの実施形態においては、上に挙げたパラメータの１つまたは複数が、本明細書に記載されている処理手法における「音声特徴」として使用される。
声門信号を使用する潜在的な利点は、心拍に関連しない発声器官（舌および／または口の動きなど）の「自然な」変化が潜在的に考慮されずに、より正確な推定を得られる可能性があることである。
音声特徴のスペクトル分析の例
次に図１５Ａ～図１５Ｄを参照し、これらの図は、本発明のいくつかの実施形態による、音声特徴のスペクトル特性を使用しての心拍数の病態の確率の決定を提示しており、図１５Ａおよび図１５Ｃは、健康なパターン（振幅が大きく幅が小さいピークを特徴とする）を示しており、図１５Ｂおよび図１５Ｄは心房細動のパターン（振幅が小さく幅が広いピークを特徴とする）を示している。赤い円は、心拍数のスペクトルピーク（これは前に説明した方法において計算される）を示している。
心拍は発話を変調すると推測されるため、異なる鼓動のリズムは、音声特徴のスペクトルパターンにおける異なるパターンを形成すると予測される。スペクトルピークの帯域幅は、心臓のパラメータの周期性の程度に一致すると予測される。例えば、心房細動のパルスは、極めて不規則であり、スペクトル領域においてさまざまなピークを形成し、したがって、より広い帯域幅を有する。ピークの帯域幅は、心房細動および他の心拍障害において一般的な非周期的な変化を反映して、比較的大きい。これと比較して、規則的なパルス（すなわち周期的なパルス）は、発話の一定の変調をもたらすと予測され、一般にスペクトル領域において、おそらくは正確に心拍数における１つの主ピークを生成する。ピークは、周期的な変化（例：洞性心拍）を反映して狭い可能性が高い。
図１５Ａ～図１５Ｄに示した例は、ＭＦＣＣパラメータの一次導関数を使用して計算されている。導関数演算は、「自然な」（音声学的な）発話情報および内容の大部分を除去するため、有用である可能性がある。なお、この方法では、スペクトル分析に代えて、またはスペクトル分析に加えて、自己相関係数を使用できることに留意されたい。
例示的な総合的な不整脈の確率の統合
いくつかの実施形態においては、例えば図３のブロック３６２，３６４および図４Ａのブロック４６０～４６６に示したように計算される、心拍における不規則性の確率は、（ｉ）音声特徴の分布、（ｉｉ）音声特徴の周期性、（ｉｉｉ）パルス間隔データ、の少なくとも１つに基づく。
いくつかの心疾患は、一般に高い心拍数に現れる。いくつかの実施形態においては、高い心拍数とは、７０ＢＰＭよりも高い、または９０ＢＰＭよりも高い、または１００ＢＰＭよりも高い、または１２０ＢＰＭよりも高い、として定義される。いくつかの実施形態においては、これらの病態の場合、低く安定したＢＰＭが検出される（例：１つの周波数付近に集中した、スペクトル領域における高いエネルギー）ときには、これらの特定の病態の低い確率を推定することができる。
Figure 0007353592000028
心房細動の心拍数の合計変動（ＴＶ）の値と、正常な心拍数のＴＶ値は異なる値を有することが、実験によって判明した。結果として、（例えば図１１Ｂのブロック１１２２－１１３０および１１２２－１１３２に例示した）心房細動の検出のしきい値は、短い一連の心拍に基づいて得られる。
いくつかの実施形態においては、合計変動が所定のしきい値を超える場合、心房細動が検出される。オプションとして、特定の陽性の推定（例：心臓の病態の高い確率）の場合、例えば利用者に通知を送る、および／または、世話をする人に知らせることによって、さらなる健康診断を推奨する。
いくつかの実施形態においては、オプションとして、それより低い特定の推定（例：心臓の病態の中程度の確率）の場合、追加の音声検査を開始する。いくつかの実施形態においては、さらなる検査のため、被検者にいくつかの所定の発話信号を発音するように求める。オプションとして、より多くの情報を取得するため、事前に選択される発話音（例えば有声音／ａｈ／の３～６秒の長い繰り返し）を使用する。
いくつかの実施形態においては、心臓の病態の低い確率を示す被検者の場合、オプションとして以降の検査におけるさらなる分析用に、または健康な訓練モデルのデータベースに付加するために、被検者のデータが格納される。
いくつかの実施形態においては、病的な状態を有する確率が確定した時点で、被検者に、検出の感度を高める可能性のあるさらなる診断法を伝える。例えば被検者に、病院での健康診断を受けるように伝えることができる、および／または、補足的な家庭用アプリケーション（光電式容積脈波記録法（ＰＰＧ）および／または携帯型心電図モニター（これらは例えばスマートフォンにおいて使用することができる）など）を使用するように伝えることができる。いくつかの実施形態においては、ある状態が識別された時点で、補足的な家庭用アプリケーションの１つを適用する（したがって正確な診断の可能性を高める）ように被検者に通知する。
いくつかの実施形態においては、補足的なアプリケーションは、手動で操作される。オプションとして、補足的なアプリケーションは、所定の使用計画（例えば、１日に１回、１日に２回、１日に３回など）に従って、オプションとして、状態が発症する確率に従って、操作される。例えば、状態が発症する確率が高い場合、補足的なアプリケーションをより多くの回数操作することが望ましい。これに代えて、またはこれに加えて、病的な状態が推定された時点でただちに、補足的なアプリケーションが操作される。
例示的な治療のモニタリング
次に図１６を参照し、図１６は、本発明のいくつかの実施形態による、本明細書に記載されているシステムおよび方法によって提供される可能な治療およびモニタリングの時系列を示している。
いくつかの実施形態においては、人の大きな集団または１人の人にスクリーニング１６０２が提供される。いくつかの実施形態においては、十分な所定の確率において心臓の状態が判定された後、治療が行われる。これに代えて、またはこれに加えて、十分な所定の確率において心臓の状態が判定された後、第２の診断検査、または確認検査（例えば心電図モニタリングおよび／または光電式容積脈波記録法（ＰＰＧ）および／または所定の発声を含む第２の音声サンプルなど）が行われる。オプションとして、治療は、薬物治療１６３０（一般には、ある期間にわたる）を含む。これに代えて、またはこれに加えて、治療は、処置型治療（procedural treatment）１６４０（一般には１回の治療として提供される）を含む。
いくつかの実施形態においては、被検者が治療を開始することになった時点で、１６０４において、治療を開始する前に心臓の状態のモニタリングが提供される。オプションとして、状態の重症度がモニタリングされ、そのようなモニタリングの後に治療が変わることがある。これに代えて、またはこれに加えて、１６０６において、治療中に、オプションとして治療の効果を監視するために、モニタリングが提供される。これに代えて、またはこれに加えて、１６０８において、治療後に、オプションとして状態の再発を識別するために、モニタリングが提供される。
いくつかの実施形態においては、モニタリングのスケジュールは、被検者の診断された状態に基づく。例えば、毎日数時間にわたる心房細動を有する、心房細動の重症例では、１日に１回の被検者のサンプリングで十分でありうる。これに対して、被検者が心房細動の軽症例と診断された場合、検出を達成するためには、より高い頻度でのサンプリングが必要となりうる。
全般
本明細書で使用する「約」は、±２５％を指す。
用語「含む（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」およびその活用形は、「限定されるものではないが、含む（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」を意味する。
「からなる」という用語は、「含み、限定される」ことを意味する。
「から実質的になる」という用語は、組成物、方法または構造が追加の成分、工程および／または部分を含み得ることを意味する。但しこれは、追加の成分、工程および／または部分が、請求項に記載の組成物、方法または構造の基本的かつ新規な特性を実質的に変更しない場合に限られる。
本明細書において、単数形を表す「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明らかに他を示さない限り、複数をも対象とする。
本願全体を通して、本発明のさまざまな実施形態は、範囲形式にて示され得る。範囲形式での記載は、単に利便性および簡潔さのためであり、本発明の範囲の柔軟性を欠く制限ではないことを理解されたい。したがって、範囲の記載は、可能な下位の範囲の全部、およびその範囲内の個々の数値を特異的に開示していると考えるべきである。例えば、１～６といった範囲の記載は、１～３、１～４、１～５、２～４、２～６、３～６等の部分範囲のみならず、その範囲内の個々の数値、例えば１、２、３、４、５および６も具体的に開示するものとする。これは、範囲の大きさに関わらず適用される。
本明細書において数値範囲を示す場合、それは常に示す範囲内の任意の引用数（分数または整数）を含むことを意図する。第１の指示数と第２の指示数「との間の範囲」という表現と、第１の指示数「から」第２の指示数「までの範囲」という表現は、本明細書で代替可能に使用され、第１の指示数および第２の指示数と、それらの間の分数および整数の全部を含むことを意図する。
明確さのために別個の実施形態に関連して記載した本発明の所定の特徴はまた、１つの実施形態において、これら特徴を組み合わせて提供され得ることを理解されたい。逆に、簡潔さのために１つの実施形態に関連して記載した本発明の複数の特徴はまた、別々に、または任意の好適な部分的な組合せ、または適当な他の記載された実施形態に対しても提供され得る。さまざまな実施形態に関連して記載される所定の特徴は、その要素なしでは特定の実施形態が動作不能でない限り、その実施形態の必須要件であると捉えてはならない。
上述したように、本明細書に記載され、特許請求の範囲に請求される本発明のさまざまな実施形態および態様は、以下の実施例によって計算により支持されるものである。
音声サンプルを使用して心臓の状態を判定する実施例
次に以下の実施例を参照し、これらの実施例は、上の説明と併せて、本発明を制限することなく本発明のいくつかの実施形態を説明する。
いくつかの実施形態においては、人の声をサンプリングする。いくつかの実施形態においては、この音声サンプルを分析して、所望の音声セグメントを抽出する。例えば、沈黙期間を取り除く、および／または、有声セグメントのみを維持することができる。オプションとして、特定の種類の母音のみ（例えば、／ａｈ／母音のみ、または／ｅｈ／母音のみ、または／ｏｈ／母音のみ、または／ｕｈ／母音のみ、または／ｅｅｈ／母音のみ）を維持する。いくつかの実施形態においては、維持された音声セグメントを連結し、結果として、時系列に従うのではなく連続的なデータとなりうる。これに代えて、維持された音声セグメントは、時間の経過におけるその順序を維持し、セグメントのタイミングの情報が維持される。
いくつかの実施形態においては、有声セグメントを得るためにフィルタリングされ、かつ連結された音声セグメントから、音声特徴（ピッチなど）を抽出する。いくつかの実施形態においては、ピッチ値の変動のうち、発話の発声の変化である自然な変動と、声帯および声道（vocal cavities）の自然な変動に起因する変化である自然な変動、を除去する。いくつかの実施形態においては、心臓の鼓動に関連する変化を検出するときのより高い感度を達成するために、オプションとして自然な変動をフィルタリングする。いくつかの実施形態においては、自然な変動が除去された後、調整されたピッチを有する音声セグメントを連結する。オプションとして、連続する音声セグメントの融合点を滑らかにする。
いくつかの実施形態においては、連結されて平滑化されたピッチのデータを分析して、正規化された標準偏差（Ｎ－ＳＴＤ）を導く。いくつかの実施形態においては、Ｎ－ＳＴＤの値をしきい値と比較し、しきい値よりも大きい場合、サンプリングされた被検者を、病的な心臓の状態を有すると判定し、しきい値よりも小さい場合、サンプリングされた被検者を、健康な心臓の状態を有すると判定する。
いくつかの実施形態においては、同じ音声サンプルに対して第２の分析を行う。オプションとして、音声セグメントを抽出する。いくつかの実施形態においては、維持される各音声セグメントにおいてＲパルスを識別する。オプションとして、削除される音声セグメントに連続するＲパルスの少なくとも一部を識別することによって、Ｒパルスを外挿する。いくつかの実施形態においては、連続するＲパルスを特定することによって、ＲＲ間隔を計算する。例えば、同じ音声セグメントにおいて２個以上のＲパルスを特定することによって、および／または、無視することのできる短いギャップを有する相異なる音声セグメントにおいてＲパルスを特定することによって、および／または、外挿されたパルスに連続するＲパルスを識別することによる。
いくつかの実施形態においては、ＲＲ間隔を、基準（例えば、病的な心臓の状態（心房細動など）の特徴であることが既知であるＲＲ間隔を有する基準）と比較する。これに代えて、またはこれに加えて、基準は、同じサンプリングされた被検者の健康なＲＲ間隔のシーケンスを含む。これに代えて、またはこれに加えて、基準は、異なる健康な被検者および／または病的な被検者のサンプルを含む。
いくつかの実施形態においては、ＲＲ間隔のシーケンスが基準に一致する確率を、しきい値と比較する。例えば、ＲＲ間隔の確率が、病的なシーケンスと比較したときにしきい値よりも大きい場合、および／または、健康なシーケンスと比較したときにしきい値よりも小さい場合、病的な状態が判定される。これに代えて、またはこれに加えて、ＲＲ間隔の確率が、病的なシーケンスと比較したときにしきい値よりも小さい場合、および／または、健康なシーケンスと比較したときにしきい値よりも大きい場合、健康な状態が判定される。
いくつかの実施形態においては、音声サンプルに対して第３の分析を行う。なお、分析を行う順序は変えることができ、各分析は、他の２つの分析とは独立して、または組み合わせて、または単独で、行うことができることに留意されたい。
いくつかの実施形態においては、音声サンプルを分析して音声特徴を抽出する。いくつかの実施形態においては、オプションとして音声サンプル自体から心拍数を抽出することによって、心拍数を求める。いくつかの実施形態においては、心拍数の周波数における音声特徴の自己相関および／またはスペクトルを計算する。なお、発声領域に流れ込む血液、および発声領域から流れ出す血液は、おそらくは心拍に関連付けられる。音声特徴の変動性の少なくとも一部は、この血液の流れ、および／または心室拍動、および／または心房拍動によって影響されると推測される。したがって、健康な周期的な心拍数が存在する場合、その心拍数における自己相関分析および／またはスペクトル分析では、発声領域の血液の影響が、心拍数における高い周期性であることを示すピーク形状が得られると推測される。これに対して、不整脈が存在する場合、心拍数における自己相関では、不鮮明なピークが得られ、これは血液の影響がさほど周期的ではないことを示す。
いくつかの実施形態においては、ピーク形状のパラメータをしきい値と比較する。ピーク形状のパラメータは、例えば、ピークの帯域幅、および／または高さ、および／またはピークの合計面積、を含むことができる。いくつかの実施形態においては、ピーク形状のパラメータをしきい値と比較して、健康な心臓の状態または病的な心臓の状態を判定する。
いくつかの実施形態においては、上の分析に基づいて、健康な心臓の状態および／または病的な心臓の状態の、重み付けられた確率を計算する。
いくつかの実施形態においては、音声パラメータの変化によって、慢性的な状態が検出される可能性がある。いくつかの場合には、心房細動（ＡＦ）は、左心房の拡大をもたらす（これは病的な心房細動のケースの大部分において起こる）。拡大は反回神経に強く影響し、声の一定の変化をもたらす。変化は、ピッチ信号のパラメータに現れる可能性があり、分析して検出することができる。
これにより、たとえ心臓の鼓動が正常な回数である場合にも、慢性状態の心房細動患者を検出することが可能になる。
心拍数の抽出の実施例
次に図１７を参照し、図１７は、本発明のいくつかの実施形態による、音声サンプルからの心拍数の抽出の実施例を示している。心臓の鼓動と相互に関連する音声特徴は、心臓の鼓動の周波数においてピーク値を有すると推測される。例えば、図１７は、７４ＢＰＭを有する被検者の、／ａｈ／音の発話サンプルの分析を例示している。分析用に選択される音声特徴はｄＭＦＣＣ（ＭＦＣＣベクトルの一次導関数の絶対値）であり、高エネルギー（ピーク）が０．８４Ｈｚにあり、これは７４ｂｐｍである。
各フレームから音声特徴を導いた後、いくつかの実施形態では、時間の経過に伴う音声特徴のシーケンスにおいて、少なくとも１種類の音声特徴の周期的なパターンを識別する。周期的なパターンの識別は、例えば、スペクトル分析および／または自己相関分析を使用して行うことができる。いくつかの実施形態においては、識別された周期的なパターンから、拍／分（ＢＰＭ）単位の心拍数（オプションとして最大値）を推定する。
ここまでに記載されており「特許請求の範囲」に請求されている本発明のさまざまな実施形態および態様は、以下の実施例における実験および計算によって裏付けられる。
実施例
ここで、上記の記載と共に本発明を限定することなく説明する以下の実施例を参照する。
イスラエルの先端医療センターにおいて、不整脈状態にある不整脈患者と、正常な心拍数状態にある不整脈患者に対して、ＩＲＢ承認の臨床研究を実施した。
５８人の心房細動患者のうち、２６人が、電気的除細動を受け、（ａ）心房細動の発症中、および（ｂ）電気的除細動から２時間後の正常な心拍数状態時に、２回記録を取った。電気的除細動とは、異常に速い心拍数または他の心臓不整脈を、電気または薬物を使用して正常なリズムに変える医療処置である。次の表は、現時点までに集められた、心電図／音声の記録されたペアの数をまとめたものである。
Figure 0007353592000029
次に図１８Ａを参照し、図１８Ａは、本発明のいくつかの実施形態による、発話者に依存しない検出結果を示しているグラフである。
図１８Ａは、心房細動状態を有する５８人の患者と、正常な心臓のリズム（洞律動）を有する２３人の患者の記録を、心房細動または正常な心臓のリズムを決定するさまざまなしきい値において、本発明の例示的な実施形態によって分析した実験のグラフ１８０１を示している。
グラフ１８０１は、しきい値の定性値に対応するＸ軸１８０２と、患者の記録のうち患者の状態が正しく分析される部分（０～１の範囲内）に対応するＹ軸１８０３とを有する。
図１８Ａは、真陽性（心房細動状態を有する）の心臓状態分類の第１の線１８０４と、真陰性（洞律動）の心臓状態分類の第２の線１８０５を示している。
さらに図１８Ａは、同じ特定のしきい値によって、以下に具体的に説明する結果がもたらされる２つの例示的な点、すなわち、音声分析に基づいて心房細動の９２％の真陽性の識別を示す第１の点１８０６と、音声分析に基づいて心房細動の７０％の真陰性の識別（すなわち正常な洞律動としての識別）を示す第２の点１８０７、を示している。
図１８Ａは、発話者に依存しない結果（すなわち多数の発話者に基づいて訓練されており、既知ではない患者の心臓の状態を検出するために使用されるシステムの結果）を示している。示した結果は、人の声に基づいて心臓の状態を推定するのに成功していると考えられる。
次に図１８Ｂを参照し、図１８Ｂは、本発明のいくつかの実施形態による、発話者に依存する検出結果を示しているグラフである。
図１８Ｂは、心房細動状態下および正常な洞律動状態下で記録された、心房細動状態を有する３２人の患者の記録を、心房細動または正常な心臓のリズムを決定するさまざまなしきい値において、本発明の例示的な実施形態によって分析した実験のグラフ１８１１を示している。
グラフ１８１１は、しきい値の定性値に対応するＸ軸１８１２と、患者の記録のうち患者の状態が正しく分析される部分に対応するＹ軸１８１３とを有する。
図１８Ｂは、真陽性（心房細動状態を有する）の心臓状態分類の第１の線１８１４と、真陰性（洞律動）の心臓状態分類の第２の線１８１５を示している。
さらに図１８Ｂは、同じ特定のしきい値によって、以下に具体的に説明する結果がもたらされる２つの例示的な点、すなわち、音声分析に基づいて心房細動の９２％の真陰性（洞律動）の識別を示す第１の点１８１６と、音声分析に基づいて心房細動の７７％の真陽性の識別（すなわち心房細動リズムとしての識別）を示す第２の点１８１７、を示している。
図１８Ｂは、発話者に依存する結果（すなわち、１人の発話者の、特定の既知の心臓の状態（健康または心房細動）において取得された１つまたは複数の音声記録によって訓練されており、同じ発話者の心臓の状態を検出するために使用されるシステムの結果）を示している。示した結果は、人の声に基づいて心臓の状態を推定するのに成功していると考えられる。
比較ベンチマーク
次に、本発明のいくつかの実施形態と比較して、低頻度で（一週間に１回など）使用される単一時点心電図（ＥＣＧ）装置（または発作時記録計（event recorder））が心房細動の発症を捕捉するのにかかる時間長を推測する。下の表は、心房細動の異なる負荷および検査頻度のシナリオにおいてシミュレーションを実行したときの計算の結果をまとめている。
非自発的な発話の少なくとも２つのサンプルにおいて心房細動の音声バイオマーカーが検出されたときに、心房細動の検出を登録するように、シミュレーターを設定した。このような設定においては、本発明の実施形態では、９４％の検出感度（真陽性）および９２％の検出特異度（洞律動の真陰性検出）となった。
下の表に示したように、１日あたり６回の１０分間の発症の心房細動負荷に基づくと、シミュレーションによると、心電図に基づく週１回のモニタリングでは１６３日以内に心房細動が検出されるのに対して、本発明の実施形態では８日以内に心房細動が検出されることが示された。
Figure 0007353592000030
本発明をその特定の実施形態との関連で説明したが、多数の代替、修正および変種が当業者には明らかであろう。したがって、そのような代替、修正および変種の全ては、添付の特許請求の範囲の趣旨および広い範囲内に含まれることを意図するものである。
本明細書で言及した全ての刊行物、特許および特許出願は、個々の刊行物、特許および特許出願のそれぞれについて具体的かつ個別の参照により本明細書に組み込む場合と同程度に、それらの全体が参照により本明細書に組み込まれる。加えて、本願におけるいかなる参考文献の引用または特定は、このような参考文献が本発明の先行技術として使用できることの容認として解釈されるべきではない。また、各節の表題が使用される範囲において、必ずしも限定として解釈されるべきではない。

Claims (25)

  1. 被検者の音声サンプルを分析して病的な心臓の状態を判定するための命令を実行する回路であって、前記命令が、
    前記音声サンプルを受け取るステップと、
    前記音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、
    前記少なくとも１種類の音声特徴に対する心臓の状態の影響を検出するステップと、
    前記影響に基づいて前記病的な心臓の状態を判定するステップと、を含み、
    前記命令が、
    前記音声サンプルを分類して有声セグメントを識別するステップと、
    少なくともいくつかのセグメントが削除され、かつ残っているセグメントの端部が滑らかにされるように、前記有声セグメントを連結するステップと、
    をさらに含む、回路。
  2. 前記音声サンプルが、所定外の発話である、請求項１に記載の回路。
  3. 前記音声サンプルが、不連続な発話である、請求項１または２に記載の回路。
  4. 前記命令が、
    被験者の発話者を識別するステップと、
    被験者の発話者の音声セグメントを前記音声サンプルの別の内容から分離するステップと、
    をさらに含む、請求項１－３のいずれか一項に記載の回路。
  5. 前記命令が、前記音声サンプルから削除されたセグメントに対する、前記音声特徴に影響を及ぼす前記心臓の状態の前記影響に関連するデータ、を外挿するステップ、をさらに含む、請求項１に記載の回路。
  6. 前記音声サンプルが、携帯電話、情報端末、およびカーマルチメディアシステム、の少なくとも１つから受け取られる、請求項１－５のいずれか一項に記載の回路。
  7. 前記少なくとも１種類の音声特徴に対する心臓の状態の影響を検出する前記ステップが、
    血流、
    心室拍動、および
    心房拍動、
    からなる群から選択される、音声に影響を及ぼす少なくとも１つの原因、によってもたらされる心臓の状態の影響、を検出するステップ、を含む、
    請求項１－６のいずれか一項に記載の回路。
  8. 影響を検出する前記ステップが、
    音声に影響を及ぼす前記原因のタイミング、
    音声に影響を及ぼす前記原因の周期性、および
    音声に影響を及ぼす前記原因の大きさまたは大きさの変化、
    のうちの少なくとも１つの影響を識別するステップ、を含む、請求項７に記載の回路。
  9. 前記検出される影響が、異なる音声セグメントにおいて識別される心拍のタイミングを含む、請求項１－８のいずれか一項に記載の回路。
  10. 前記病的な心臓の状態を判定する前記ステップが、
    心拍の連続する発生の間の時間間隔を計算するステップと、
    前記時間間隔を、基準の心臓状態から得られる基準時間間隔と照合するステップと、
    前記照合で一致する確率を求めるステップと、
    前記確率をしきい値と比較して前記病的な心臓の状態を判定するステップと、
    を含む、請求項９に記載の回路。
  11. 影響を検出する前記ステップが、前記少なくとも１種類の音声特徴の複数の値の分布を計算するステップ、を含み、
    前記心臓の状態の影響が、前記分布の形状を含む、
    請求項１－１０のいずれか一項に記載の回路。
  12. 前記検出される影響が、心拍の周期性への影響を含み、
    前記命令が、前記被検者の平均心拍数を推定するステップ、をさらに含み、
    前記病的な心臓の状態を判定する前記ステップが、前記平均心拍数の値の前後の所定の範囲における前記周期性を特徴付けるステップ、を含み、
    前記特徴付けるステップが、前記所定の範囲におけるピークの帯域幅を計算するステップ、を含み、
    前記病的な心臓の状態を判定する前記ステップが、前記帯域幅をしきい値と比較するステップ、を含む、
    請求項１－１１のいずれか一項に記載の回路。
  13. 前記命令が、前記病的な心臓の状態の前記判定を確認するステップ、をさらに含む、請求項１－１２のいずれか一項に記載の回路。
  14. 前記確認するステップが、
    所定の発声を含む第２の音声サンプルを取得するステップ、
    前記被検者に対する心電図検査、および
    前記被検者に対する光電式容積脈波記録法検査、
    のうちの少なくとも１つを含む、請求項１３に記載の回路。
  15. 前記病的な心臓の状態が、心房細動を含む、請求項１－１４のいずれか一項に記載の回路。
  16. 前記音声特徴を抽出する前記ステップが、前記音声サンプルの第１のセグメントと、前記音声サンプルの第２のセグメントとの間のクロスコヒーレンスを実行するステップ、を含む、請求項１－１５のいずれか一項に記載の回路。
  17. 前記音声特徴を抽出する前記ステップが、
    ウェーブレット解析、
    メル周波数ケプストラム係数（ＭＦＣＣ）分析、
    声門パルス分析、および
    線形予測符号化（ＬＰＣ）分析、
    からなる群から選択される、発話信号の分析、を実行するステップ、を含む、
    請求項１－１６のいずれか一項に記載の回路。
  18. 被検者の音声サンプルを分析して病的な心臓の状態を判定するための装置を動作させるためのプログラムであって、
    前記音声サンプルを受け取るステップと、
    前記音声サンプルから複数種類の音声特徴を抽出するステップと、
    前記複数種類の音声特徴に対する血流の影響を検出するステップであって、前記影響が、前記血流のタイミング、前記血流の周期性、および、前記血流の大きさまたは大きさの変化、のうちの少なくとも１つである、ステップと、
    前記影響に基づいて前記病的な心臓の状態を判定するステップと、
    を有する命令を含み、
    前記判定される心臓の状態が、
    異常な心拍数、
    心室頻拍、
    異所性拍動、および
    心室性期外収縮、
    からなる群から選択される状態を含む、プログラム。
  19. 被検者の音声サンプルを分析して病的な心臓の状態を判定するための命令を実行する回路であって、前記命令が、
    前記音声サンプルを受け取るステップと、
    前記音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、
    前記少なくとも１種類の音声特徴に対する心臓の状態の影響を検出するステップと、
    前記影響に基づいて前記病的な心臓の状態を判定するステップと、を含み、
    前記少なくとも１種類の音声特徴に対する心臓の状態の影響を検出する前記ステップが、
    血流、
    心室拍動、および
    心房拍動、
    からなる群から選択される、音声に影響を及ぼす少なくとも１つの原因、によってもたらされる心臓の状態の影響、を検出するステップ、
    をさらに含む、回路。
  20. 影響を検出する前記ステップが、
    音声に影響を及ぼす前記原因のタイミング、
    音声に影響を及ぼす前記原因の周期性、および
    音声に影響を及ぼす前記原因の大きさまたは大きさの変化、
    のうちの少なくとも１つの影響を識別するステップ、を含む、請求項１９に記載の回路。
  21. 前記命令が、前記病的な心臓の状態の前記判定を確認するステップ、をさらに含み、
    前記確認するステップが、
    所定の発声を含む第２の音声サンプルを取得するステップ、
    前記被検者に対する心電図検査、および
    前記被検者に対する光電式容積脈波記録法検査、
    のうちの少なくとも１つを含む、請求項１９または２０に記載の回路。
  22. 前記病的な心臓の状態が、心房細動を含む、請求項１９－２１のいずれか一項に記載の回路。
  23. 被検者の音声サンプルを分析して病的な心臓の状態を判定するための命令を実行する回路であって、前記命令が、
    前記音声サンプルを受け取るステップと、
    前記音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、
    前記少なくとも１種類の音声特徴に対する心臓の状態の影響を検出するステップと、
    前記影響に基づいて前記病的な心臓の状態を判定するステップと、を含み、
    前記検出される影響が、異なる音声セグメントにおいて識別される心拍のタイミングを含む、回路。
  24. 前記病的な心臓の状態を判定する前記ステップが、
    心拍の連続する発生の間の時間間隔を計算するステップと、
    前記時間間隔を、基準の心臓状態から得られる基準時間間隔と照合するステップと、
    前記照合で一致する確率を求めるステップと、
    前記確率をしきい値と比較して前記病的な心臓の状態を判定するステップと、
    を含む、請求項２３に記載の回路。
  25. 被検者の音声サンプルを分析して病的な心臓の状態を判定するための命令を実行する回路であって、前記命令が、
    前記音声サンプルを受け取るステップと、
    前記音声サンプルから少なくとも１種類の音声特徴を抽出するステップと、
    前記少なくとも１種類の音声特徴に対する心臓の状態の影響を検出するステップと、
    前記影響に基づいて前記病的な心臓の状態を判定するステップと、を含み、
    影響を検出する前記ステップが、前記少なくとも１種類の音声特徴の複数の値の分布を計算するステップ、を含み、
    前記心臓の状態の影響が、前記分布の形状を含む、回路。
JP2019565085A 2017-02-12 2018-02-12 心疾患を対象とする言葉による定期的なスクリーニング Active JP7353592B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762457914P 2017-02-12 2017-02-12
US62/457,914 2017-02-12
PCT/IL2018/050162 WO2018146690A1 (en) 2017-02-12 2018-02-12 Verbal periodic screening for heart disease

Publications (3)

Publication Number Publication Date
JP2020507437A JP2020507437A (ja) 2020-03-12
JP2020507437A5 JP2020507437A5 (ja) 2021-03-25
JP7353592B2 true JP7353592B2 (ja) 2023-10-02

Family

ID=63107935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019565085A Active JP7353592B2 (ja) 2017-02-12 2018-02-12 心疾患を対象とする言葉による定期的なスクリーニング

Country Status (7)

Country Link
US (2) US11398243B2 (ja)
EP (1) EP3580754A4 (ja)
JP (1) JP7353592B2 (ja)
KR (1) KR20190113968A (ja)
CN (1) CN110494916A (ja)
IL (1) IL268664B2 (ja)
WO (1) WO2018146690A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3580754A4 (en) 2017-02-12 2020-12-16 Cardiokol Ltd. VERBAL PERIODIC SCREENING FOR HEART DISEASE
CN108806720B (zh) 2017-05-05 2019-12-06 京东方科技集团股份有限公司 话筒、数据处理器、监测系统及监测方法
WO2018220143A1 (en) 2017-05-31 2018-12-06 Foundry Innovation And Research 1, Ltd Implantable ultrasonic vascular sensor
US10643639B2 (en) * 2017-06-21 2020-05-05 Ajit Arun Zadgaonkar System and method for determining cardiac parameters and physiological conditions by analysing speech samples
GB201719734D0 (en) * 2017-10-30 2018-01-10 Cirrus Logic Int Semiconductor Ltd Speaker identification
US20210219893A1 (en) * 2018-08-26 2021-07-22 Vocalis Health Ltd. System and method for measurement of vocal biomarkers of vitality and biological aging
EP3618061B1 (en) * 2018-08-30 2022-04-27 Tata Consultancy Services Limited Method and system for improving recognition of disordered speech
US11380351B2 (en) * 2018-09-20 2022-07-05 Samsung Electronics Co., Ltd. System and method for pulmonary condition monitoring and analysis
US11311201B2 (en) 2018-11-02 2022-04-26 Samsung Electronics Co., Ltd. Feature selection for cardiac arrhythmia classification and screening
SG11202113302UA (en) * 2019-05-30 2021-12-30 Insurance Services Office Inc Systems and methods for machine learning of voice attributes
EP3754656B1 (en) * 2019-06-17 2022-11-30 Stichting IMEC Nederland System and method for calculating cardiovascular heartbeat information from an electronic audio signal
US20220238229A1 (en) * 2019-06-20 2022-07-28 Sony Group Corporation Information processing apparatus, information processing method, and program
US11545132B2 (en) * 2019-08-28 2023-01-03 International Business Machines Corporation Speech characterization using a synthesized reference audio signal
CN110974190A (zh) * 2019-11-27 2020-04-10 南京信息工程大学 基于微多普勒特征的心动状况无源感知方法
CN113040778B (zh) * 2019-12-26 2022-07-29 华为技术有限公司 诊断报告生成方法、装置、终端设备及可读存储介质
EP4117510A4 (en) * 2020-03-09 2024-04-24 Cardiokol Ltd SYSTEMS AND METHODS FOR ESTIMATION OF CARDIAC ARTHROMIA
US11557288B2 (en) * 2020-04-10 2023-01-17 International Business Machines Corporation Hindrance speech portion detection using time stamps
WO2023281515A1 (en) * 2021-07-07 2023-01-12 Cardiokol Ltd Device and system for detecting sounds from a subject's body
CN113488070B (zh) * 2021-09-08 2021-11-16 中国科学院自动化研究所 篡改音频的检测方法、装置、电子设备及存储介质
US20230248321A1 (en) * 2022-02-10 2023-08-10 Gn Hearing A/S Hearing system with cardiac arrest detection
WO2023170632A1 (en) * 2022-03-09 2023-09-14 Foundry Innovation & Research 1, Ltd. Heart failure diagnostic tools and methods using signal trace analysis
JP7246664B1 (ja) * 2022-06-03 2023-03-28 Ｐｓｔ株式会社 情報処理装置、情報処理方法、情報処理システム、及び情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287943A (ja) 1999-04-02 2000-10-17 Akira Akimoto 生体の活動状態検知装置
JP2009301125A (ja) 2008-06-10 2009-12-24 Hitachi Ltd 会議音声録音システム
JP2016043041A (ja) 2014-08-22 2016-04-04 セイコーエプソン株式会社 生体情報検出装置及び生体情報検出方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4156423A (en) * 1977-11-14 1979-05-29 Ernest H. Friedman Coronary atherosclerosis diagnostic method
US4377158A (en) * 1979-05-02 1983-03-22 Ernest H. Friedman Method and monitor for voice fluency
JPH0566774A (ja) 1991-09-06 1993-03-19 Casio Comput Co Ltd 音声データ生成装置および音声合成装置
JPH05329118A (ja) 1992-05-31 1993-12-14 Shimadzu Corp 生体データ収集装置
AU5205493A (en) 1992-12-01 1994-06-16 Siemens Aktiengesellschaft Cardiac event detection in implantable medical devices
JP3319140B2 (ja) * 1994-04-19 2002-08-26 いすゞ自動車株式会社 心拍変動波形解析方法及び装置
JP3093113B2 (ja) * 1994-09-21 2000-10-03 日本アイ・ビー・エム株式会社 音声合成方法及びシステム
US7917366B1 (en) 2000-03-24 2011-03-29 Exaudios Technologies System and method for determining a personal SHG profile by voice analysis
DE10022586A1 (de) * 2000-05-09 2001-11-22 Siemens Ag Verfahren zum Erzeugen einer Sprachdatenbank für einen Zielwortschatz zum Trainieren eines Spracherkennungssystems
SE517026C2 (sv) * 2000-11-17 2002-04-02 Forskarpatent I Syd Ab Metod och anordning för talanalys
US20030149423A1 (en) * 2002-02-04 2003-08-07 Fischell Robert E. Methods for the detection and treatment of cardiac events
WO2006059325A1 (en) 2004-11-30 2006-06-08 Oded Sarel Method and system of indicating a condition of an individual
US7398213B1 (en) 2005-05-17 2008-07-08 Exaudios Technologies Method and system for diagnosing pathological phenomenon using a voice signal
EP1969589A1 (en) 2005-12-22 2008-09-17 Exaudios Technologies Ltd. System for indicating emotional attitudes through intonation analysis and methods thereof
US7539532B2 (en) * 2006-05-12 2009-05-26 Bao Tran Cuffless blood pressure monitoring appliance
US8784311B2 (en) 2010-10-05 2014-07-22 University Of Florida Research Foundation, Incorporated Systems and methods of screening for medical states using speech and other vocal behaviors
US9055861B2 (en) 2011-02-28 2015-06-16 Samsung Electronics Co., Ltd. Apparatus and method of diagnosing health by using voice
US9070357B1 (en) * 2011-05-11 2015-06-30 Brian K. Buchheit Using speech analysis to assess a speaker's physiological health
ES2364401B2 (es) 2011-06-27 2011-12-23 Universidad Politécnica de Madrid Método y sistema para la estimación de parámetros fisiológicos de la fonación.
US8755871B2 (en) * 2011-11-30 2014-06-17 Covidien Lp Systems and methods for detecting arrhythmia from a physiological signal
BR112015004844A2 (pt) 2012-09-05 2017-08-08 Countingapp Medical Ltd sistema e método para medir a capacidade e vigor pulmonar
US9892155B2 (en) 2012-09-06 2018-02-13 Beyond Verbal Communication Ltd System and method for selection of data according to measurement of physiological parameters
CN105263401A (zh) * 2013-04-04 2016-01-20 健资国际私人有限公司 用于检测心搏不规律的方法和系统
US9536540B2 (en) * 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
WO2015019345A1 (en) * 2013-08-06 2015-02-12 Beyond Verbal Communication Ltd Emotional survey according to voice categorization
WO2016035070A2 (en) 2014-09-01 2016-03-10 Beyond Verbal Communication Ltd Social networking and matching communication platform and methods thereof
US11638550B2 (en) * 2015-07-07 2023-05-02 Stryker Corporation Systems and methods for stroke detection
US10127929B2 (en) * 2015-08-19 2018-11-13 Massachusetts Institute Of Technology Assessing disorders through speech and a computational model
CN105147252A (zh) * 2015-08-24 2015-12-16 四川长虹电器股份有限公司 心脏疾病识别及评估方法
EP3359023A4 (en) * 2015-10-08 2019-05-22 Cordio Medical Ltd. ASSESSMENT OF A PULMONARY SUFFERING BY LANGUAGE ANALYSIS
US20180303413A1 (en) 2015-10-20 2018-10-25 Healthymize Ltd System and method for monitoring and determining a medical condition of a user
WO2017108138A1 (en) * 2015-12-23 2017-06-29 Intel Corporation Biometric information for dialog system
US11179046B2 (en) * 2017-02-03 2021-11-23 Koninklijke Philips N.V. Method and system for detection of atrial fibrillation
EP3580754A4 (en) 2017-02-12 2020-12-16 Cardiokol Ltd. VERBAL PERIODIC SCREENING FOR HEART DISEASE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287943A (ja) 1999-04-02 2000-10-17 Akira Akimoto 生体の活動状態検知装置
JP2009301125A (ja) 2008-06-10 2009-12-24 Hitachi Ltd 会議音声録音システム
JP2016043041A (ja) 2014-08-22 2016-04-04 セイコーエプソン株式会社 生体情報検出装置及び生体情報検出方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KAUR, J., et al.，Extraction of Heart Rate Parameters Using Speech Analysis，International Journal of Science and Research，2014年10月，Vol.3, No.10，pp.1374-1376
MESLEH, A., et al.，Heart Rate Extraction from Vowel Speech Signals，JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY，2012年11月，Vol.27, No.6，pp.1243-1451
SCHULLER, B., et al.，AUTOMATIC RECOGNITION OF PHYSIOLOGICAL PARAMETERS IN THE HUMAN VOICE:HEART RATE AND SKIN CONDUCTANCE，2013 IEEE International Conference on Acoustics, Speech and Signal Processing，2013年05月26日，pp.7219-7223，<Date of Conference 26-31 May 2013>,<DOI: 10.1109/ICASSP.2013.6639064>
SKOPIN, D., et al.，Heartbeat Feature Extraction from Vowel Speech Signal Using 2D Spectrum Representation，2009年，<URL: https://www.zuj.edu.jo/conferences/ICIT09/PaperList/Papers/Image%20and%20Signal%20Processing/450Demitry.pdf>，<Corpus ID:13442370>
TSIARTAS, A., et al.，Prediction of Heart Rate Changes from Speech Features During Interaction with a Misbehaving Dialog System，Proc. Interspeech 2015，2015年，pp.3715-3719，<URL: https://www.isca-speech.org/archive/pdfs/interspeech_2015/tsiartas15_interspeech.pdf>，<doi: 10.21437/Interspeech.2015-737>

Also Published As

Publication number Publication date
US20220375491A1 (en) 2022-11-24
US20190362740A1 (en) 2019-11-28
IL268664B2 (en) 2023-06-01
EP3580754A4 (en) 2020-12-16
JP2020507437A (ja) 2020-03-12
CN110494916A (zh) 2019-11-22
KR20190113968A (ko) 2019-10-08
WO2018146690A1 (en) 2018-08-16
IL268664A (en) 2019-10-31
US11398243B2 (en) 2022-07-26
EP3580754A1 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
JP7353592B2 (ja) 心疾患を対象とする言葉による定期的なスクリーニング
US10796805B2 (en) Assessment of a pulmonary condition by speech analysis
Krishna et al. Speech synthesis using EEG
US11344225B2 (en) Determining apnea-hypopnia index AHI from speech
JP6268628B1 (ja) 認知機能評価装置、認知機能評価システム、認知機能評価方法及びプログラム
Kapoor et al. Parkinson’s disease diagnosis using Mel-frequency cepstral coefficients and vector quantization
WO2011011413A2 (en) Method and apparatus for evaluation of a subject&#39;s emotional, physiological and/or physical state with the subject&#39;s physiological and/or acoustic data
US20150154980A1 (en) Cepstral separation difference
Sharma Disease detection using analysis of voice parameters
Holi Automatic detection of neurological disordered voices using mel cepstral coefficients and neural networks
Usman et al. Heart rate detection and classification from speech spectral features using machine learning
US20240057936A1 (en) Speech-analysis based automated physiological and pathological assessment
JP2023517175A (ja) 音声録音と体内からの音の聴音を使用した医学的状態の診断
US20230309839A1 (en) Systems and methods for estimating cardiac arrythmia
Sanadi et al. Acoustic analysis of speech based on power spectral density features in detecting suicidal risk among female patients
Krishna et al. Voice Activity Detection in presence of background noise using EEG
JP7265293B2 (ja) 音声を用いて、精神・神経系疾患を推定する装置
US20220028416A1 (en) Predicting glottal insufficiency using frequency analysis
Alharbi SPECTRAL/CEPSTRAL ANALYSIS OF VOICE QUALITY IN PATIENTS WITH PARKINSON'S DISEASE

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20191225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220506

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230905

R150 Certificate of patent or registration of utility model

Ref document number: 7353592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150