JP6458973B2 - シャント狭窄診断支援システムおよび方法 - Google Patents

シャント狭窄診断支援システムおよび方法 Download PDF

Info

Publication number
JP6458973B2
JP6458973B2 JP2018020736A JP2018020736A JP6458973B2 JP 6458973 B2 JP6458973 B2 JP 6458973B2 JP 2018020736 A JP2018020736 A JP 2018020736A JP 2018020736 A JP2018020736 A JP 2018020736A JP 6458973 B2 JP6458973 B2 JP 6458973B2
Authority
JP
Japan
Prior art keywords
shunt
sound
data
stenosis
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018020736A
Other languages
English (en)
Other versions
JP2018149274A (ja
Inventor
鈴木 裕
裕 鈴木
初弘 加藤
初弘 加藤
瑞也 深澤
瑞也 深澤
治 阪田
治 阪田
隼人 脇
隼人 脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Yamanashi NUC
Original Assignee
University of Yamanashi NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Yamanashi NUC filed Critical University of Yamanashi NUC
Priority to JP2018020736A priority Critical patent/JP6458973B2/ja
Publication of JP2018149274A publication Critical patent/JP2018149274A/ja
Application granted granted Critical
Publication of JP6458973B2 publication Critical patent/JP6458973B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • External Artificial Organs (AREA)

Description

この発明は,シャント狭窄診断支援システムおよび方法に関する。
慢性腎不全患者の多くは,前腕部において動脈と静脈を吻合させるシャントと呼ばれる人工的な血管の改造手術を受けている。このシャントにより静脈から対外へ循環させる血流量を安定に保つことができ透析効率を高めることができる。シャントの問題は,シェアストレスなどにより,血管の狭窄や閉塞が生じることである。このため,血管の状態を定常的に診断するとともに,必要に応じて経皮的血管拡張術により血流の回復を行う必要がある。
シャントの狭窄状態の検査法として,血管造影検査が一般的であり,血流路が像として得られる信頼性の高い検査であるが,侵襲的である。加えて,高価な装置が必要であり,専門スタッフも複数人必要であることから,大きな病院でなければ導入されていない。非侵襲な一般的診断法は,シャントから発生する血流音(シャント音)を聴診することである。シャント音は狭窄がある場合,拍動がとぎれることや(断続狭窄音),高音が混在すること(高周波狭窄音)があり,熟練者による丁寧な聴診では7〜8割程度検出が可能であると言われている。しかしながら,熟練者による丁寧な聴診が必要であり,シャント狭窄診断が必要な患者数に比べて熟練者の数は圧倒的に少ない。そこで,熟練者による精密な診断が必要な患者を前もってスクリーニングできる自動機械の実現が望まれている。
これまでに,シャント音を信号処理によって判断する際,シャント音の音圧(音全体のパワー)(特許文献7)及び,そのスペクトル情報(FFT,LPC,ケプストラム)によって解析する方法が提案されている(特許文献1,2,5,非特許文献1,3)。また,ウェーブレット変換等,時間−周波数解析による手法も提案されている(特許文献3,6,非特許文献2)。しかし,解析結果を観察する方法では読解の技術が必要である。そこで,それらの解析結果から狭窄の程度を数値化するために,狭窄シャント音波形からの相関を算出する方法(特許文献4),音圧,スペクトルピーク情報を特徴ベクトルとしてニューラルネットワークで学習させる手法(特許文献2),ウェーブレット変換結果を画像解析手法を用いて各時間−周波数エリアのパワーから評価,及び画像の相関を利用する方法(特許文献3)が提案されているが,未だ対応できない狭窄音も存在する。その理由は,狭窄に伴う変化は多種存在すること,その狭窄の程度によって音色が異なる,また正常であっても個人差が存在するからである。
特開2011−98090 特開2010−29434 特開2009−254678 特開2009−233002 特開2005−328941 特開2005−40518 特開平5−115547
H. A. Mansy et al.:"Computerised analysis of auscultatory sounds associated with vascular patency of haemodialysis access", Medical & Biological Engineering & Computing, Vol.43, No.1, pp.56-62 (2005) T. Sato et al.:"Evaluation of blood access dysfunction based on a wavelet transform analysis of shunt murmurs", Journal of Artificial Organs, Vol.9, No.2, pp.97-104 (2006) 西谷陽志,他:「シャント狭窄に伴うシャント音周波数特性変化の解析」,透析会誌,43(3),pp.287-295 (2010)
他方,シャント音を採音するセンサについても問題がある。すなわち,基本的にシャント音はシャントによる血流がある静脈上でしか確認されない。また,狭窄音はシャント音の波及する狭窄部で顕著に確認され,それ以外の箇所では専門家による聴診,解析結果ともに正常音と変わらない結果が得られることが多い。これまでにシャント音の採音に用いられているセンサは原理的に1チャンネルごと設置するものであり,人による聴診によりシャント音を確認した後,その位置にセンサを取り付けることでしかシャント音を採取することができない。殊に,狭窄を検出するためには狭窄上に設置しなければならない。また,皮膚上の形状にフィットしない等,固定する方法に難のあるものもある。
さらに信号解析法上の改善も必要である。シャント狭窄診断に限らず,病気の医療診断や製造物の異常診断では,多数の音響データや加速度データあるいはX線吸収データなどから被検査対象の特徴を範疇に分類し,その特徴から被検対象の状態を判定する診断が行われており,この診断を行う有効な手段として自己特徴マップSOM法が知られている。精密で正確な診断と判定を行うために,データ数の増加とともにデータ自体の成分も増加させる傾向がある。このような背景から,データ量の増大が処理時間の増大をもたらすという問題があった。
この発明は,多様なシャント狭窄音の存在を前提として,これらのシャント狭窄音を識別して,シャント狭窄のスクリーニングを支援することのできるシャント狭窄診断支援システムおよび方法を提供するものである。
第1のシャント狭窄診断支援システムは,被験者から採音したシャント音の少なくとも1拍動分の被験シャント音波形データを生成するシャント音入力手段,上記シャント音入力手段で生成された被験サンプルのシャント音波形データと評価指標となる複数種類の指標サンプルのシャント音波形データの時間周波数特性のうちの少なくとも指標サンプルの時間周波数特性を用いて自己組織化マップを作成し,この作成された自己組織化マップ上における指標サンプルの位置に対する被験サンプルの位置を解析する第1の解析手段,および複数種類の指標サンプルのシャント音波形データの時間周波数特性に基づく複数種類のモデルを作成し,被験サンプルのシャント音波形データの時間周波数特性の上記各モデルに属する確率を解析する第2の解析手段を備えるものである。
被験者の採音により得られる音信号の複数拍動分の被験シャント音波形データを作成することが好ましい。
第1の解析手段による指標サンプルには正常音のサンプルと狭窄音のサンプルが含まれることが好ましく,さらに狭窄音のサンプルには複数種類の(多種多様な)異なる狭窄音のサンプルが含まれることが好ましい。正常音,狭窄音の区別,狭窄音の種類は熟達した専門家の判断に依る。各サンプルとも複数人数分あることが好ましく,また一人から得られる音信号から複数拍動分のシャント音サンプル波形データを作成することが好ましい。
上記第1の解析手段は,被験サンプルのデータと指標サンプルのデータとを混ぜて自己組織化マップを作成するものであってもよいし,指標サンプルのデータにより作成された自己組織化マップ上に占める被験サンプルの位置を示したものであってもよい。
好ましくは,上記第1の解析手段による解析結果に基づいてシャント狭窄の可能性についての判定を行う第1の判定手段をさらに備える。また,上記第2の解析手段による解析結果に基づいてシャント狭窄の可能性についての判定を行う第2の判定手段をさらに備える。
さらに,上記第1の解析手段による解析結果に基づいてシャント狭窄の可能性についての判定を行う第1の判定手段と,上記第2の解析手段による解析結果に基づいてシャント狭窄の可能性についての判定を行う第2の判定手段と,上記第1の判定手段の判定と上記第2の判定手段の判定とに基づいて統合的判定を行う統合判定手段をさらに備えるとよい。
これらの場合に,上記第1の解析手段による解析結果,上記第2の解析手段による解析結果,上記第1の判定手段による判定結果,上記第2の判定手段による判定結果,または上記統合判定手段による統合判定結果を出力する出力手段を備えるようにすると,解析結果や判定結果を知ることができる。
第1の解析手段による解析結果に基づいて人がシャント狭窄の有無や程度を判断してもよいし,同じように第2の解析手段による解析結果に基づいて人がシャント狭窄について判断してもよい。統合判定を人が行ってもよい。
この発明は,上記シャント音入力手段と上記第1の解析手段を含むシャント狭窄診断支援システム,および上記シャント音入力手段と上記第2の解析手段とを含むシャント狭窄診断支援システム,ならびにこれらのシステムに対応する方法を提供している。
シャント音の採音手段として,アレイ状採音センサ装置を用いるとよい。このアレイ状採音センサ装置の詳細は後述する。上記シャント音入力手段はこのアレイ状採音センサ装置の各マイクロホンからの出力信号のそれぞれに基づいて被験シャント音波形データを生成する。上記第1の解析手段および上記第2の解析手段は,上記各マイクロホンのそれぞれの出力信号に基づいて作成された被験シャント音波形データを解析に用いる。
第1のシャント狭窄診断支援システムによると,第1の解析手段および第2の解析手段という異なる解析方法の2系統の解析処理を行っているから,狭窄の可能性についての精度の高い検出が可能となる。また第1の解析手段において,多種多様な狭窄音の指標サンプル間での中間的な特徴を持った狭窄音を知ることができるようになる。
一実施態様では,第1の解析手段においては,自己組織化マップ(SOM:Self-Organizing Maps)を用い,結果として得られるSOM(これを特徴マップと呼ぶ)上で視覚的に診断することが可能である。SOMは教師なし競合近傍学習によって,類似した特徴のデータを近傍に集めた特徴マップを出力するニューラルネットワークであり,多数の臨床サンプルを診断の指標サンプルとし,被験サンプルを含めてSOMにより学習させる,または指標サンプルのみを学習させたのちに被験サンプルを入力する。結果として得られる特徴マップでは,被験サンプルがどのような指標サンプルに類似するのかを視覚的に判断できる。ゆえに,個人差や狭窄の形状,程度に由来する多様なシャント音に対応することが期待できる支援システムが実現する。もちろん,支援システムに判断を行なわせるようにしてもよい。
SOMへと入力する特徴ベクトルはSOMにとって正常,狭窄の特徴が捉えやすいようにシャント音から解析された信号であり,一実施態様では,時間−周波数解析結果であるSTMEM法(Short-time Maximum Entropy Method )を用いる。シャント音の解析には時間−周波数解析を行うことが経験的,実験的に示されているが,ウェーブレット変換では正常,狭窄による違い以外の情報量が多く,望ましくないことが確認されている。一方,STMEM法は短時間ごとのスペクトル包絡が得られる。その最適なスペクトル包絡を得るための次数は多くのシャント音を解析することによって正常,狭窄の情報が失われず,かつ過多な情報が入り込まない条件とすることができる。
第2の解析手段の好ましい実施態様としては,シャント音の特徴と同様に,周波数スペクトルと音圧の時間変化が重要な特徴である音声の認識技術として用いられる,メルケプストラム法(MFCC:Mel Frequency Cepstrum Coefficient)と隠れマルコフモデル(HMM:Hidden Markov Model )による機械学習を利用することができる。実験的検討の結果,SOMによる診断とHMMによる診断を併用することで狭窄検出の向上を図ることに有効であることが示されている。すなわち,SOMによる狭窄診断支援の性能に関して別のアプローチを通すことで,その評価を行うことができると共に,精度を向上させることができる。
上記支援システムにおいて,好ましくは,上記第1の解析手段が逐次細分化自己組織化マップを作成する手段(詳しくは後述する)を含む。
第2のシャント狭窄診断支援システムは逐次細分化自己組織化マップ作成処理を用いることを特徴としている。すなわち,第2のシャント狭窄診断支援システムは,被験者から採音したシャント音の少なくとも1拍動分の被験シャント音波形データを生成するシャント音入力手段,上記シャント音入力手段で生成された被験サンプルのシャント音波形データと評価指標となる複数種類の指標サンプルのシャント音波形データの時間周波数特性のうちの少なくとも指標サンプルの時間周波数特性を用いて逐次細分化自己組織化マップ作成処理により自己組織化マップを作成し,この作成された自己組織化マップ上における指標サンプルの位置に対する被験サンプルの位置を解析する解析手段,および上記解析手段による解析結果を出力する出力手段を備えるものである。
一実施態様では,上記解析手段は,指標サンプルのデータを学習データとして学習データから階層化した範疇データを作成する手段を有し,この作成手段が,最初の階層を作成する段階で,学習データを類型化する複数の代表データの作成,および学習データを当該代表データへ帰属させる処理を行い,次の階層以降を作成する段階で,前階層の各代表データに帰属する学習データを類型化する新代表データの作成,前階層の各代表データに帰属する学習データを当該の新代表データへ帰属させる処理,および前階層の各代表データからどの新代表データが作成されたかを示す帰属情報を作成する処理を指定された上限回数まで逐次的に繰り返すものである。
逐次細分化自己組織化マップ作成方法は,マップを次第に細分化しつつ主成分分析を実施することで,初期配置の大域的な構造を保ちつつ高速にマップを作成できる方法である。この方法は,主成分分析で初期値を作成する方法であるから,学習データの大域的な配置換えは,境界細分点を含むセルに属するデータのみである。したがって,主成分分析で得られた初期配置の大域的な構造を保ちつつマップを作成することができる。さらに,同じ学習データを用いてマップを再度作成すると,わずかに1%程度の点が隣接するセルに移動するだけであり,局所的な再現性も高い。
第2の支援システムにおいても,被験者の採音により得られる音信号の複数拍動分の被験シャント音波形データを作成することが好ましい。
上記解析手段における指標サンプルには正常音のサンプルと狭窄音のサンプルが含まれるこが好ましく,さらに狭窄音のサンプルには複数種類の(多種多様な)異なる狭窄音のサンプルが含まれることが好ましい。正常音,狭窄音の区別,狭窄音の種類は熟達した専門家の判断に依る。各サンプルとも複数人数分あることが好ましく,また一人から得られる音信号から複数拍動分のシャント音サンプル波形データを作成することが好ましい。
上記解析手段は,被験サンプルのデータと指標サンプルのデータとを混ぜて自己組織化マップを作成するものであってもよいし,指標サンプルのデータにより作成された自己組織化マップ上に被験サンプルのデータによるマップを重ねるものであってもよい。
好ましくは,上記解析手段による解析結果に基づいてシャント狭窄の可能性についての判定を行う判定手段をさらに備える。
解析結果の出力手段は表示装置,プリンタ,他の装置(サーバなど)に解析結果を送信する通信装置などである。出力手段に出力された解析手段による解析結果に基づいて人がシャント狭窄の有無や程度を判断してもよい。
シャント音の採音手段として,アレイ状採音センサ装置を用いることができる。上記シャント音入力手段はこのアレイ状採音センサ装置の各マイクロホンからの出力信号のそれぞれに基づいて被験シャント音波形データを生成する。上記解析手段は,上記各マイクロホンのそれぞれの出力信号に基づいて作成された被験シャント音波形データを解析に用いる。
この発明によるアレイ状採音センサ装置は,シート状軟質支持体に複数の空洞があけられ,これらの空間のそれぞれの底部にマイクロホンが設けられているものである。
好ましい実施態様では,上記空洞が複数列,複数行にわたって形成されているものであるが,縦,横方向に規則正しく配置する必要はなく,各列が同じ長さにわたっている必要もない。結果的にランダムにみえるような配置でもよい。また,マイクロホンの数は多い方がよいが,最低限2個のマイクロホン(空洞)があればよい。マイクロホンの上記のような数,配置を総称してアレイ状と呼ぶ。
このアレイ状採音センサ装置は,シート状軟質支持体を,その空洞の開口が被験者の前腕の皮膚と対向するように向けて,被験者の前腕のシャントが形成されている部分およびその前後,左右付近の皮膚を覆うように配置し,何らかの手段で固定する。たとえば,面ファスナーが設けられたゴム製または布製の押えバンド(保持帯)を支持体の上から被験者の腕に巻き,面ファスナーで固定するとよい。支持体にこのようなゴムバンドまたは布バンドを固定しておいてもよい。
アレイ状採音センサ装置には,複数のマイクロホンが設けられており,いずれか少なくとも一つのマイクロホンから被験者のシャントの狭窄状態を適切に表わす音信号を採取することが期待できるので,熟練者による事前の聴診を必ずしも行なわなくても被験者に装着して容易に採音することができる。また,シート状軟質支持体を用いているから,被験者の前腕における血管の走行等による皮膚の凹凸に応じて変形し血流を妨げずに密着させることができる。すなわち,被験者の血管の圧迫を最小限に抑えることができる。軟質支持体の密着によりマイクロホンが配置された空洞内の空間が隙間なくシールされ,音信号の高いS/N比が得られる。多数のマイクロホンが二次元的に配置されていれば,広い範囲にわたって多くの狭窄箇所を調べることができるし,シャント音の波及,静脈の走行等の調査も可能となる。上記のような押えバンドを用いれば,マイクロホンが採音中に外れてしまうこともない。
上記の逐次細分化自己組織化マップ作成処理を実行するプログラムは,コンピュータに,複数の学習データを引き渡し,当該学習データから階層化した範疇データを作成させるプログラムであって,前記の階層化した範疇データを得る手順が,最初の階層を作成する段階で,学習データを類型化する複数の代表データの作成,および学習データを当該代表データへ帰属させる処理を行うこと,ならびに次の階層以降を作成する段階で,前階層の各代表データに帰属する学習データを類型化する新代表データの作成,前階層の各代表データに帰属する学習データを当該の新代表データへ帰属させる処理,および前階層の各代表データからどの新代表データが作成されたかを示す帰属情報を作成する処理を指定された上限回数まで逐次的に繰り返すことを特徴とし,出力される範疇データが代表データとこれに帰属する学習データと次の階層の代表データを含んでいることを特徴とするものである。
一実施態様では,コンピュータに,入力データを引き渡し,当該入力データが上記プログラムで得られる範疇データのいずれに帰属するかを判定させるプログラムであって,当該プログラムが,学習データを上記のプログラムに引渡し範疇データを作成する手続き,入力データがどの範疇に帰属するかを判定する手続き,および当該判定結果を表示部へ伝達する手続きを有することを特徴とする。
他の実施態様では,コンピュータに,入力データと参照データ群を引き渡すことで動作させるプログラムであって,入力データと参照データを統合して学習データを作成する手続き,学習データを上記プログラムに引渡し範疇データを作成する手続き,および入力データがどの範疇に帰属するかを判定結果として表示部へ伝達する手続きを有することを特徴とする。
逐次細分化自己組織化マップ作製方法は,複数の学習データをコンピュータに引き渡し,当該学習データから階層化した範疇データを作成させる方法であって,前記の階層化した範疇データを得る手順が,最初の階層を作成する段階で,学習データを類型化する複数の代表データの作成,および学習データを当該代表データへ帰属させる処理を行うこと,次の階層以降を作成する段階で,前階層の各代表データに帰属する学習データを類型化する新代表データの作成,前階層の各代表データに帰属する学習データを当該の新代表データへ帰属させる処理,および前階層の各代表データからどの新代表データが作成されたかを示す帰属情報を作成する処理を特徴とし,出力される範疇データが,代表データとこれに帰属する学習データと次の階層の代表データを含んでいることを特徴とするものである。
逐次細分化自己組織化マップ作成装置は,所与の学習データから階層化した範疇データを作成する装置であって,前記の階層化した範疇データを得る手段が,最初の階層を作成する段階で,学習データを類型化する複数の代表データの作成,および学習データを当該代表データへ帰属させる処理を行い,次の階層以降を作成する段階で,前階層の各代表データに帰属する学習データを類型化する新代表データの作成,前階層の各代表データに帰属する学習データを当該の新代表データへ帰属させる処理,および前階層の各代表データからどの新代表データが作成されたかを示す帰属情報を作成する処理を指定された上限回数まで逐次的に繰り返すことを特徴とし,出力される範疇データが代表データとこれに帰属する学習データと次の階層の代表データを含んでいることを特徴とするものである。
逐次細分化自己組織化マップ作成プログラム,方法または装置によると,処理時間の増加という問題を解決するために,組み分ける範疇の数を次第に増加させるとともに範疇に帰属するデータ数を次第に少なくする,逐次的な処理を実現することで処理時間の短縮が可能となる。
シャント狭窄診断支援システムの全体構成を示すブロック図である。 アレイ状採音センサ装置を示す斜視図である。 図2のIII−III線に沿う拡大断面図である。 センサ装置の使用状態を示す。 全体的な処理の流れを示すフローチャートである。 信号処理の様子を示す波形図である。 MEMスペクトルに基づくシャント音の分類結果を示す。 MEMスペクトルに基づくシャント音の分類結果を示す。 MEMスペクトルに基づくシャント音の分類結果を示す。 MEMスペクトルに基づくシャント音の分類結果を示す。 MEMスペクトルに基づくシャント音の分類結果を示す。 指標サンプルに基づいて作成されたSOMの例を示す。 指標サンプルに基づいて作成されたSOMの他の例を示す。 指標サンプルに基づいて作成されたSOM上における被験サンプルの位置を示す例である。 指標サンプルのSOM上における被験サンプルの特徴を示す。 逐次細分化SOMの手順を示すフローチャートである。 学習データに基づく範疇データを作成したのちに入力データの帰属を決定する処理を示すフローチャートである。 参照データ(学習データ)と入力データとを統合して範疇を作成する手順を示すフローチャートである。 図10のS43,図11のS53または図12のS73の処理の詳細を示すフローチャートである。 図13のフローの他の手順を示すフローチャートである。 図13のS82,図14のS92またはS94の処理の詳細を示すフローチャートである。 図11のS62の処理の詳細を示すフローチャートである。 メモリ空間のデータ構造を示す。 組み分けが徐々に詳細になる様子を示す。
1 シャント狭窄診断支援システムの全体構成
図1はシャント狭窄診断支援システムの全体構成を示すものである。
センサ部1は被験者からシャント音を採音するものであり,後述するように複数のマイクロホンを含み,音信号を電気信号に変換する。マイクロホンから出力される電気信号は増幅器2で増幅される。増幅器2は複数のマイクロホンのそれぞれについて設けられる。これらのセンサ部1と増幅器2の具体的構成については後に詳述する。
採音された被験シャント音を表わす電気信号は次にA/D変換器3においてディジタル信号に変換される。マイクロホンごとに1チャンネルが割当てられる。A/D変換器3は全チャンネルの被験シャント音信号をディジタル信号に符号化し,シリアル信号として信号処理装置4に入力する。A/D変換器3は操作部11からのトリガ信号に応答して被験シャント音の採取(A/D変換)を開始する。
信号処理装置4は具体的にはコンピュータ(コンピュータ・システム)により実現される。信号処理装置4には,被験者データ記憶部7,参照データ群記憶部8および演算処理部10が含まれ,後述するフローチャート(図5,図10〜図16)に示される処理を実行するプログラムが格納されている。演算処理部10を大きく機能的に分けると,特徴抽出部5と解析判定部6が含まれる。演算処理部10は異なる手法に従う2種類の特徴抽出/解析処理を行う。第1の特徴抽出/解析処理は,シャント音の短時間最大エントロピー法(STMEM:Short Time Maximum Entropy Method )結果を特徴ベクトルとし,自己組織化マップ(SOM:Self-Organizing Maps)により学習させ,結果として得られるSOM(これを特徴マップと呼ぶ)により判定または診断するものである。第2の特徴抽出/解析処理は,周波数スペクトルと音圧の時間変化が重要な特徴である音声の認識技術として用いられる,メルケプストラム法(MFCC:Hel Frequency Cepstrum Coefficient)と隠れマルコフモデル(HMM:Hidden Markov Model )による機械学習を利用して判定または診断を行うものである。STMEM法またはMFCC法による時間周波数特徴抽出を特徴抽出部5が,SOM法またはHMM法による解析を解析判定部6がそれぞれ実行する。SOM法では逐次細分化SOM法を用いる。これらの特徴抽出,解析判定の詳細については後述する。解析判定部6における判定または診断には,後述するように人による診断のための解析結果の表示と,自動判定とがある。上記第1,第2の解析判定結果に基づく総合的な判定または診断も可能である。判定または診断によって,正常,狭窄,個人の特徴,狭窄の程度等が明らかになる。
A/D変換器3から出力されるシャント音のディジタル信号は被験者データ記憶部7に記憶される。また,そのデータは参照データ群記憶部8内の参照データ群に組み込むこともできる。これらのデータとともに被験者情報(氏名等)を記憶することにより,被験者の履歴として残すことができ,被験者個人の特徴を組み込んだ判定をすることも可能とする。
参照データ群とは,解析判定部6における判定アルゴリズムにおいて被験シャント音を判定する際に指標となるデータ群である。記憶部8には詳しく調べられた各種の特徴(正常,狭窄,狭窄タイプ,狭窄の程度)に応じてラベル付されたシャント音のディジタルデータが記憶されている。被験シャント音と同様に特徴ベクトル化され,判定アルゴリズムに用いられる。高速化のために予め特徴ベクトル化されたデータとして用意することも可能である。また,この参照データ群は記憶された被験シャント音に各種の特徴をラベル付けし,組み込むことで増加させることもできる。また,被験者個人の情報をラベル付けすることで,被験者個人の特徴を組み込んだ判定をすることも可能となる。また,参照データ群はネットワーク群等を介し,他機器間で共有することも可能である。
解析判定部6によって判定された結果は表示部9に表示される。表示としては,ディスプレイまたは紙による表示が可能である。判定結果と同時に,被験シャント音波形,周波数解析結果,時間周波数結果,過去の診断データを表示することも可能である。また,これらの表示はネットワーク群等を介し,遠隔による観測も可能である。出力装置としては表示部9以外に,プリンタ,他の装置に送信する送信装置等も含まれる。
操作部11は各種設定(個人情報入力,判定条件の設定,表示条件の設定),および診断の開始命令を入力する部分である。入力はボタンまたはタッチパネルディスプレイによる。各種設定の命令は信号処理装置4に渡される。また,開始命令はA/D変換器3に渡され,被験シャント音の採取開始がされ,また信号処理装置4に渡され,信号処理が開始される。
2 アレイ状採音センサ装置
上述したセンサ部1と増幅器2の具体例が図2から図4に示されている。
このアレイ状採音センサ装置20は,図2,図3に示すように,シート状軟質支持体21を有し,この支持体21の一面に複数の空洞(穴)22が形成されている。空洞22は内底面を有し,この内底面に小さなマイクロホン(たとえばシリコンマイク)23が固定されている。後述するように,空洞22の開口がわが被験者の前腕27に接するように支持体21が配置される。このとき,マイクロホン23と被験者の前腕の皮膚との間に空洞22内で空間が保たれるように空洞の深さが決められる。空洞22の形状は円筒状でも角筒状でもよい。マイクロホン23は空洞22の内底面に接し(接しなくてもよい),空洞の内側(周)面には接しない程度に空洞22の大きさに比べて小さいものが好ましい。
一例としては軟質樹脂(たとえば粘着性が高い軟質ウレタン造形用樹脂)21aに空洞22となる穴をその厚さ方向に貫通して形成し,軟質樹脂21aの一面にゴムシート(ゴム板)を接着して空洞22の一方の開口を塞ぎ,内底面を形成する。
支持体21(ゴムシート21b)の空洞22とは反対側の面に各マイクロホン23に対応する位置に増幅回路IC24が固定され,対応するマイクロホン23と電気的に接続される。IC24の出力側が上記のA/D変換器3に接続される(いずれも,電気的接続用のワイヤ,コード等は図示略)。
このようなアレイ状採音センサ装置20は,図4に示すように,シート状軟質支持体21を,その空洞22の開口が被験者の前腕の皮膚と対向するように向けて,被験者の前腕のシャントが形成されている部分およびその前後,左右付近の皮膚を覆うように配置し,何らかの手段で固定する。たとえば,面ファスナー26a,26bが設けられたゴム製または布製の押えバンド(保持帯)25を支持体21の上から被験者の腕に巻き,面ファスナー26a,26bで固定するとよい。
シート状軟質支持体21には,好ましくは,図示のように,複数列,複数行にわたって空洞22およびマイクロホン23が配置される。支持体21の大きさは,被験者の前腕の手首から肘までの半分ないし全部を覆い,前腕の周方向には半分から2/3程度を覆うくらいがよい。マイクロホン(空洞)の数は多い方が好ましい。マイクロホン(空洞)を図示のように,縦,横方向に規則正しく配置する必要はなく,各列が同じ長さにわたっている必要もない。結果的にランダムにみえるような配置でもよい。また,最低限2個のマイクロホン(空洞)があればよい。マイクロホンの上記のような数,配置を総称してこの明細書ではアレイ状と呼ぶ。
このように,アレイ状採音センサには,複数のマイクロホンが設けられており,いずれか少なくとも一つのマイクロホンから被験者のシャントの狭窄状態を適切に表わす音信号を採取することが期待できるので,熟練者による事前の聴診を必ずしも行なわなくても被験者に装着して容易に採音することができる。また,シート状軟質支持体を用いているから,被験者の前腕における血管の走行等による皮膚の凹凸に応じて変形し血流を妨げずに密着させることができる。すなわち,被験者の血管の圧迫を最小限に抑えることができる。軟質支持体の密着によりマイクロホンが配置された空洞内の空間が隙間なくシールされ,音信号の高いS/N比が得られる。多数のマイクロホンが二次元的に配置されていれば,広い範囲にわたって多くの狭窄箇所を調べることができるし,シャント音の波及,静脈の走行等の調査も可能となる。上述のような押えバンドを用いれば,マイクロホンが採音中に外れてしまうこともない。
3 全体の処理の流れ
信号処理装置4における全体の処理の流れを図5および図6を参照して説明する。
上述したように,アレイ状採音センサ装置20のマイクロホン23から増幅器2,A/D変換器3を得てシャント音波形が入力する(S1)。センサ装置20に含まれるマイクロホン23の数と等しい数のシャント音波形が得られる。
次に各シャント音の1拍動分の信号波形を抽出する(S2)。シャント音の時系列波形の半波の低周波成分のみを取り出すことでエンベロープを取得し,その極大点と極小点の中間の時刻を拍動の開始点として切り出す。切り出す信号は1拍動分以下,たとえば3/4程度でよい。このような信号波形は1チャンネル(1マイクロホン)当り複数個(たとえば10個)抽出される。
拍動ごとにSTMEMベクトルyp を算出する(S11)(第1の特徴抽出処理)。1拍動当りp個の特徴ベクトルが得られる。
このようにして得られた被験サンプルとあらかじめ用意された指標サンプルを(逐次細分化)SOMに同時に学習させる(S12)(第1の解析判定処理)。指標サンプルの学習結果に被験サンプルを通してもよい。ここで,被験サンプルは1拍動当りp個のSTMEMベクトルである。SOMは類似した特性のデータを近傍に集めたマップを出力するため,診断対象がどの指標サンプルのグループに属すのかを視覚的に判断することができる,または計算により判定結果を得ることができる(S13)。
他方,拍動ごとにMFCCにより特徴ベクトルを得(S21)(第2の特徴抽出処理),HMMに診断させる(S23)(第2の解析判定処理)。
両方の判定結果を統合して判定することもできる(S30)。
4 指標サンプル
上述したSOM処理(S12)では指標サンプルが必要である。また,HMM処理(S22)においても,あらかじめモデル学習(教師あり学習)のための指標サンプルが必要である。
シャント音を専門の医師を含めた試聴によって正常音,狭窄音(断続狭窄音および高周波狭窄音)の分類を行い,さらにスペクトログラム及び1拍動分のMEMスペクトル形状によって詳しく調べ,5種類に分類を行った結果を図7aから図7eに示す(これらの図において,PSD=Power Spectrum Density(スペクトル強度), Frequency(周波数),Time(時間), Spectrogram(スペクトログラム)である)。指標サンプルは沢山あることが好ましい。以下に示す5つのタイプのそれぞれについて少なくとも複数人(相当数)から採取したものが用いられる。
正常音,高周波狭窄音(3タイプA,B,C),断続狭窄音の5種類の特徴的なMEMスペクトル形状とスペクトログラムの特徴は次の通りである。
(a) 高周波狭窄音A(high-pitch A):500Hz以上のスペクトル成分が正常音ほど減衰せず,なだらかな傾斜を持った周波数成分が存在。
(b) 高周波狭窄音B(high-pitch B):スペクトルに局所的にピークが確認される。スペクトログラムでは時間軸方向に続く縞が現れる。笛音のような音が顕著に聴取される。
(c) 高周波狭窄音C(high-pitch C):正常音とは明らかに異なると判断のつくスペクトル形状であり,高周波狭窄音A,Bいずれとも異なるもので,便宜的にCとした。
(d) 断続狭窄音(intermittent):拍動の後,音圧が著しく減衰し,連続的な血流音として聴取できない。
(e) 正常音(normal):500Hz以下の低い帯域に周波数成分が集中し,周波数が上がるに従って,なだらかに減衰していく。スペクトログラムでは,低周波成分が途切れない。
5 処理の詳細と特徴
(1) 拍動抽出
上述したように,シャント音の半端整流をローパスフィルタにかけることによって包絡を得て,包絡線の極大点と極小点の中間の時刻を拍動の開始点としている。
(2) STMEM法
STMEM法によって,1拍動抽出した後,短時間ごとのスペクトル包絡を求めることで,判定処理部(SOM)の判定の得やすい特徴ベクトルを得ることができる。すなわち,正常・狭窄を得る上で余剰となる情報を可能な限り省いた特徴ベクトルを得る。
(3) SOM
SOMは教師なし学習であり,多くの被験サンプルから包括的に特徴を探索する手法であり,類似した音響特徴を持ったデータは近傍に集まった形で可視化される。すなわち,指標とするシャント音にどれだけ類似しているのかを判断することができる。これにより,個人のキャリブレーションが容易である。この手法によると,シャント音の個人差や狭窄の程度等,多様な種類に対応することができ,医師の判断の支援となる。
より詳しく述べると,SOMは教師なし競合近傍学習のアルゴリズムを用い,入力層と出力層(競合層)により構成された2層のニューラルネットワークである。出力層は可視化のために通常2次元または3次元に設定され,ノード(セル)が格子状に並べられた配置となる。入力がn次元ベクトルのとき,出力層上の各ノードはそれぞれn次元の参照ベクトルを持つこととなる。入力ベクトルypが与えられると,ypにもっとも類似した,つまりユークリッド距離が最小となる参照ベクトルを持つノードが勝ちノードとなり,yp の出力となる。SOMの学習は参照ベクトルを変更することであり,勝ちノードの参照ベクトルはypへと近づき,近傍のノードの参照ベクトルもまたypへと近づく。このように,高次元の入力ベクトルの集合を学習させることで,類似したサンプル群はマップ上の同一の位置(ノード)または近傍に集まった出力マップが得られる。
一例としてSOMに入力する特徴ベクトルSTMEMの条件は,1拍動を0.15sを1フレームとして拍動開始点から5フレームに分割し,フレームごとにMEMスペクトルを求めることによって作成される。MEMスペクトルの強度の出力点数は0〜2kHz の周波数帯域で等周波数間隔の 200点とした。ゆえに特徴ベクトルは1000個の要素を持ち,SOMへの入力層ノードは同数の1000個となる。
指標サンプルと被験サンプルを混ぜてSOMを学習させる。この際,被験サンプルはP拍動分に対応するP個のベクトルであり,SOMの計算ではそれぞれ独立したデータとして扱われる。指標サンプルについてのみ学習させ,その後被験サンプルを入力してもよい。
図8aは上述した5種類の指標サンプルを用いて得られたSOMの結果の一例を示している。
さらに図9は,5種類の指標サンプルに被験者から得られたシャント音(診断シャント音)のサンプルを加えていったSOMの結果を示している。
図8a,図9において(図8b,図8cについても同じ),これらは多数の六角格子マップであり,それぞれ六角形は出力ノードに対応し,入力ベクトル1データ(1拍動)に対して1つのノードが選択されて出力される。入力ベクトルが特徴空間に写像されたものであるため,縦軸及び横軸の概念はなく,近傍の出力ノードには類似した入力ベクトルをもったデータが出力され,離れた出力ノードほど入力ベクトルの類似しないデータが出力される。全ての出力が同時に表示されており,図8aにおいては正常音,高周波狭窄音ABC,断続狭窄音がグレーレベルの違いで示され,図9においてはハッチングの方向やグレー,黒で示されている。また,データが出力されるノードでは,図8aにおいてはその数が丸,三角,四角等の記号の数で表現され,図9においてはハッチングが施された六角形,グレー,黒の六角形の大きさで表現されている。
正常音データが出力される領域(図9では黒の線で囲まれた領域)が形成され,その領域内には狭窄音データは存在しないことがわかる。また,狭窄音データであっても,高周波狭窄音A,B,C,断続狭窄音の各データがそれぞれ大まかに領域を形成していることがわかる。
図9において,診断シャント音(被験シャント音)が正常音の範囲内(正常音の近く)に表わされており(黒の六角形),この被験者のシャント音は正常であることが分る。
図9に示すような学習結果を表示部9に表示することにより,被験者のシャント音の診断を支援することができる。すなわち,被験者のシャント音がSOM上で5種類のどの指標サンプルの近傍に表わされているかに応じて被験者のシャント音が5種類のどの指標サンプルに似ているかを判断することができる。
(4) 逐次細分化SOM
逐次細分化SOMは主成分分析とSOMを融合して学習データ(シャント音)を細分化しつつ行う自己組織化の手法である。従来のSOMはデータの初期配置をランダムに行うため,同じ学習データを用いても,作成(学習)するたびに得られるマップの配置が変化する。逐次細分化SOMによると最初に主成分分析を実施してデータを配置し,再び主成分分析を利用することで細分化することで,得られるマップは初期配置の大域的な構造を保ちつつ作製され,再現性が高い。(つまり,同じ学習データであれば,マップの変化は類似したものとなる可能性が極めて高い。しかし,必ずしも全く同じマップが得られるというわけではなく,SOMのアルゴリズムの特徴が失われるわけではない。それを「大域的」と表現している。)同じ学習データであれば,わずか1%程度のデータが隣接するセルに配置されることが実験的に得られている。
加えて高速であり,7774次元のベクトルデータ 511個を学習させた実験結果では,従来のSOMよりも42%の短縮ができている。
逐次細分化SOMの処理については後で詳述する。
(5) SOMによる狭窄レベルの定量化
採音された診断シャント音データが配置されるセル(ノード)」に最も近い「正常シャント音データが配置されるセル」とのユークリッド距離を計算することで狭窄レベルを定量的に求めることができる。
図8a,8b,8cに示されるようなSOMにおいて,背景が白色で塗りつぶされているセルは正常音を含んだものである。また,灰色(グレーレベル)のセルは狭窄した血管から抽出された学習データを含むものである。セルの灰色の濃さは,白色のセルとの間の距離が離れるに従い濃くなるように複数段階(たとえば図8aでは5段階,図8b,図8cでは32段階)に分かれている。この濃度レベル dc(=0,1,2,‥‥,32)(図8b,図8cの場合)を次のように定義する。各セルに割り当てられているモデルベクトルをMc(c=1,2,‥‥,C)とし,関数dis(Mc )をc番目のセルに最も近い正常音を含む白色のセルとの間のユークリッド距離とする。即ち,
とする。ただし,Wg は第g世代のマップにおいて背景が白いセル(即ち,正常音のみを含むセル)の指標が作る集合である。セルcに正常音のみが含まれる場合には,dis(Mc)=0である。関数dis(Mc)の値を,c番目のセルにマップされるシャント音と正常音の違いを示すパラメータとして使用できる。しかし,入力ベクトルの次元などによりその値が変化するので,次の様に規格化した量dc に変換する,
ここで,[x]で実数xを超えない最大の整数を表わし,Hg は第g世代のマップに含まれるセルの全ての指標の集合である。定数uは経験的なパラメータであり,灰色の背景色が正常音を含むセルを明瞭に囲むように定める。一例としてはu=3である。濃度レベルdcは,正常音との違いをMcの非線形関数により表現している。シャント音が狭窄に起因した信号を含むことでdc の値が増加するので,このパラメータを狭窄レベルと呼ぶ。
式(2) で表わされる狭窄レベルを算出し,これを所定のしきい値レベル(複数の段階でもよい)で弁別することにより,狭窄の疑いの有無または程度を自動的に判定することができる。これが図5のS13の判定処理の一例である。
(6) HMMによる診断と判定
MFCC係数は分析フレームにおけるスペクトル包絡を表しており,後に説明するΔMFCC,ΔΔMFCC,及び対数パワー,Δ対数パワー,ΔΔ対数パワーを求めることで,これらを時間−周波数解析となる(図5S21の処理)。これらをHMMへの入力ベクトルとする。
一例として,MFCC導出条件は,ハニング窓によるフレームを用いて幅20msとし,フレームシフト間隔は10msとした。MFCC係数の次元を24として算出し低次元の12次元を診断に用いる。ゆえに,1フレーム毎にMFCC(12)となり,ΔMFCC(12),ΔΔMFCC(12),対数パワー(1),Δ対数パワー(1),ΔΔ対数パワー(1)の計39次元のベクトルを求めた。1拍動あたり67フレーム(0.67s )としたため,2613の特徴ベクトルをHMMに学習させることになる。
HMMは“left-to-right ”型のモデルを用い,学習アルゴリズムとしてBaum-Welchアルゴリズムを用いている。また,HMMの状態数は8に設定した。1シャント音あたり10データ(10拍動)の出力が得られるが,3データ以上が狭窄音と出力された場合,そのシャント音は狭窄であると診断し,それ以外は正常であるとして診断した。複数の異なるしきい値を用いて判断することもできる。いずれにしてもこの判断が図5S23の判定である。
(7) メルケプストラム(MFCC)
ケプストラムは波形の短時間フーリエスペクトルの対数を逆フーリエ変換したものとして定義され,スペクトル包絡と微細構造を近似的に分離できる特徴がある。このケプストラム分析に,ヒトの聴覚機構のモデルを加味したものがMFCCである。
ヒトの聴覚は音の高さに関してメルスケールと呼ばれる対数に近い非線形特性を示し,低い周波数では細かく,高い周波数では粗い周波数分解能を持っている。ケプストラムの導出課程にヒトの聴覚特性を考慮したフィルタバンクを組み合わせることで求められる。メルスケールは周波数f[Hz]に対して式(1)で定義される。
シャント音信号は信号の性質が時間とともに変化する非定常信号であるため,メルケプストラム解析では信号を短い時間単位(フレーム)で切り出すこととし,このフレーム化処理には,ハニング窓を用いた。続いて各フレームに対し高速フーリエ変換を行い,この振幅スペクトルをメル尺度上で等間隔な24次元のフィルタバンクにかけ,各帯域のスペクトル成分mj を取り出す。フィルタバンクからの出力を対数変換し,さらに離散コサイン変換を行い次元N=24のケプストラムに変換する。これより得られるMFCC係数Ci は式(4) で定義される。ただし,ここではMFCC係数の低次成分12次元を用いるため式(4) から式(7) においてiは12まで算出する。
MFCC係数はある分析フレームにおけるスペクトル包絡を表している。一般的に,特徴ベクトルに使われるパラメータには,このほかにスペクトル包絡の時間変化に対応する,動的特徴量が用いられる。動的特徴量は式(5) で定義される。ある分析フレームnにおけるMFCC係数のi番目の値を Ci(n)とし,nを中心とした区間[n−δ,n+δ]におけるCi(n)の値に直線を当てはめた場合の傾きがΔCi(n)である。ここで,δ=2とし,ある分析フレームnの前後2フレームを加えた5フレームに対し計算を行う。始端(0番目)のフレームは,−1番目,−2番目のフレームが0番目と同じであると考え計算を行う。
また,終端も同様に扱う。ΔCi(n)はCi(n)の時間的な変化量を表すものである。MFCC係数Ci に対し,式(5) で得られたパラメータをΔMFCCと呼ぶ。更にΔMFCC係数に対し,式(6) で得られたパラメータをΔΔMFCC係数と呼ぶ。
また,式(7) より各フレーム毎にそのフレームの対数パワーをEとし求め,式(8) より求めたパラメータΔEをΔ対数パワー,式(9) より求めたパラメータΔΔEをΔΔ対数パワーと呼ぶ。ここで,式(7) においてM=12とした。各フレーム毎に,MFCC,ΔMFCC,ΔΔMFCC,対数パワー,Δ対数パワー,ΔΔ対数パワーをまとめて特徴ベクトルとする。
(8) 統括判定
図5S30の統括判定は人間が行うこともできるが,信号処理装置4が自動的に行うこともできる。
上述したように,図5S13の判定は図9のような表示をみて人間が行うこともできるし,式(2) によって求められる狭窄レベルを1または複数のしきい値と比較して,狭窄の有無,程度をコンピュータに判定させることができる。図5S23の判定においても狭窄の有無または程度をコンピュータが判定することができる。
図5S30では,S13とS23の判定結果を用いて判定が行なわれる。たとえば,S13の判定とS23の判定(狭窄の有無)のOR論理によって統合判定結果を得てもよい。S13,S23の判定が狭窄の程度を表わしているときには,そのうちの狭窄の程度の高い方を統括判定結果とすることができる。
このようにして,2系統の解析,判定に基づいて最終的に統括判定を行うことにより,信頼性の高い支援システムを実現することができる。
6 逐次細分化SOM
学習データを範疇に組み分ける逐次的な組み分け処理の手順,および入力データが帰属する範疇を判定する判定処理(逐次細分化SOMと判定:図5S12,S13)について以下に説明する。この処理は上記実施例では図1の解析判定部6で行なわれる処理であるが,ここでは一般化して記述する。解析判定部6には記憶部が設けられている。
この記憶部として例えばハードディスクまたは半導体メモリ装置などが利用可能であるとする。この記憶部に,センサなどで取り込み特徴ベクトルの抽出を行ったデータ(一例として被験サンプル)またはあらかじめ用意したデータ(一例として指標サンプル)が,学習データA(n,f)として保持されているとする。ここで,nは個々の学習データを指定する指標であり,学習データの総数をNとすると例えば番号1,2,3〜Nのいずれか,またはこれらの番号を指定し得る変数である。また,fは学習データの成分を指定する指標でありその総数をFとすると,番号1,2〜Fまたはこれらの番号を指定し得る変数である。例えば音響データの時系列信号を処理して周波数ごとの信号強度を当該データとした場合,周波数またはこれを指定する番号がfである。
記憶部に保持されるが学習データの成分が周波数で指定される信号強度であると限定してはおらず,当該成分が時系列信号の時間ごとの信号強度であってもよい。更には,時間周波数解析を行う場合のように時間と周波数の両者によって成分を指定してもよい。この場合,前記の指標fを,時間と周波数をともに指定する番号とする。この他,データの形式を全て枚挙できないが,取得するデータの特徴を捉え得る信号成分を有していることが学習データの要件である。
学習データの距離を示す量として,2つの指標nとmで指定されたデータA(n,f),A(m,f)を用いて,例えば
または,例えば正の実数であるw(f)を係数として用いて定義した量
を用いることができる。この他にも,
などを挙げることができる。このように,距離として使用できる量は限りなくあり全てを枚挙しないが,同一データ間の距離は0,またはこの数値に対応付けができる規則を持った関数の値として距離を定義する。
本発明に係わるプログラムの手順を図10に示す。また,階層的な範疇の作成手続き(図10のS43)を図13,図14に示す。これらの図で示されているように,学習データを範疇に組み分ける作業を複数回に渡って逐次的に実施し作成することが本処理の特徴であり,これに伴い,階層的な範疇データを作成することができる。この組み分け回数の上限をGとし(図10のS42の確認または入力),それまでの回数を1,2〜Gのいずれか,またはこれらに対応する番号gで指定する。この記号gを用いて,当該組み分け処理の手順を以下に説明する。なお,学習データの取得(図10S41)は,上記実施例における指標サンプルの取得のみを指す場合(図11)と,指標サンプルと被験サンプルの両方を含む場合(図12)とがある。上限回数を指定する情報Gと学習データは記憶部に記憶される(図17参照)。
図13に示すように,まず最初の組み分け,即ち,g=1の組み分けの手続きでは,記憶部に保持されている学習データと同じ成分を有するC(g)個の代表データB(g,c,f)を作成する(S81)。指標cは代表データを指定する機能を有しc=1,2〜C(g)と変化する。また,指標fは前記の学習データA(n,f)における指標fと同等の機能をはたす指標でありf=1,2〜Fのいずれかの値をとるとする。記憶部に保持されている指標nで指定される個々のデータA(n,f)ごとに,前記の距離を代表データB(g,c,f)との間で,cを1,2〜C(g)と変化させて求める。この値を dis(n,g,c)と表現する。
式(10)にしたがえば,この値は次式で表わされる(もちろん,式(11)または式(12)のように求めてもよい)。
これらの距離のなかで最小値を与える指標cを cmin(n,g)で表現する。この記号を用いると,指標nで指定される当該記憶部に保持された学習データが帰属するg番目の範疇を指標 cmin(n,g)で指定することが可能である。このように,記憶部のN個の学習データは,C(g)個用意されたいずれかの代表データに対応付けること即ち帰属させることができる。c番目の代表データに帰属させられた学習データの指標の総数をM(g,c)で示し,これらの指標を新たな指標iで指定したものを記号m(g,c,i)で表示する。ここで,指標iは1,2〜M(g,c)のいずれか,またはこれらに対応付け得る変数である。これらのデータは記憶部に記憶される(図17参照)。
前記の代表データB(g,c,f)の作成手続きは,g−1回目の組み分けのc番目の範疇に帰属するM(g−1,c’)個の学習データから作られた配列変数a(i,f)=A(m(g−1,c’,i),f)を用いて,例えば公知の方法である主成分分析を用いて次のように行うことができる。なお,最初の組み分けを意味するg=1ではg−1=0となるがこの場合,範疇は当該記憶部に保持されている全学習データから構成され,範疇の指標はc’=1のみで,C(g−1)=1,M(g−1,c’)=N,m(g−1,c’,i)=iであると見做す。
aa(f,f’)を積a(i,f)・a(i,f’)の指標iについて総和を求めて作成した新たな配列データであるとする。この配列データaa(f,f’)は,数学的には行列であり,その固有値s(k)と固有ベクトルv(k,f)を公知の方法で求めることができる。ここで,kは固有ベクトルを指定する指標であり,1,2〜Fのいずれかの値をとる番号である。また,v(k,f)の2乗を全てのfについて総和した値が1であるとする。これらの固有値s(k)をその大きさの順に例えば2個選びこれらの指標をk1,k2と表わすと,ベクトルv(k1,f)およびv(k2,f)は学習データのベクトル空間内で変動が最も大きな方向であることが,主成分分析の教えるとことである。係数の組(p1(k),p2(k))をkを1,2,3,4と変化させそれぞれ(0,0),(0,1),(1,0),(1,1)とするとき,b(k,f)=p1(k)・v(k1,f)/√{s(k1)}+p2(k)・v(k2,f)/√{s(k2)}を求め,これらを新たにg番目の組み分け処理の代表データの一部に追加しこれに伴い範疇を追加する。さらに,追加した当該範疇の指標をd(g,c,k)(k=1,2,3,4)と表示する。ここでは,指標kを変化させる個数を4個に限ったが,g−1番目のc’の範疇毎に異なった範疇を作成してもよいのでこの個数を一般的にD(g−1,c’)と表わすことにする。その拡張方法は,例えば前記の(p1,p2)に(0,2),(2,0),(1,2),(2,1)を加えることで実現できるばかりではなく,他の方法でも可能であることは容易に推測することができる。これらの手順は,g−1番目のそれぞれの範疇に対して実施できるのでこれらを全てまとめて新たに指標cを用いて指定することとして代表データをB(g,c,f)と表示する。以上の手続きから,g−1番目の組み分けのc’番目の範疇に含まれる学習データから,新たにg番目の組み分けの範疇がD(g−1,c’)個作成される(S82)。S82の詳細を図15に示す。
前記の組み分けに係わる手続きで,g番目の階層の範疇データ,即ち,g番目の組み分けのc番目の範疇に係わる代表データB(g,c,f)を,当該範疇に属する指標m(g.c,i)(i=1,2〜M(g,c))で指定された当該記憶部データA(m(g,c,i),f)の指標iに関する平均で置き換えることができる。この置き替えにともない,一つ前の階層の範疇データ,即ち,g−1番目の組み分けのc’番目の範疇から作成した範疇のM(g−1,c’)個のデータを前記の置き換えで得た代表データを用いて再配置することも可能である。さらに,この処理を所望の回数続けて繰り返すこともできる。本発明はこのような処理手続きを排除するものではない。この手順を図14に示す。図14のS92の処理の詳細もまた図15に示されている。
前記の組み分けに係わる手続きでM(g−1,c)=0の場合,g−2番目の範疇を作成するときに使用したv(k1,f),v(k2,f)を用いることで代表データを作成する。また,g−1=0のとき範疇の全個数を1と見做し,c’=1とし,M(g−1,c’)=Nであるとする。
前記の組み分けに係わる手続きで,新たに作成した代表データB(g,c,f)の異なる指標cで指定されるものの中に同じものが存在する可能性があるが,本発明ではその可能性を排除してはいない。さらに,意図的に同じ代表データを用意すると,g−1番目の組み分け処理で分離され別の範疇に分かれて帰属している学習データが,g番目の組み分けで前記記載の共通の範疇に帰属する可能性があり,学習データの過度の分離を回避する効果がある。
前記の組み分けに係わる手続きで,g−1とgをそれぞれgとg+1と読み直すと,g番目の組み分けの範疇に帰属する学習データを再度組み分けてg+1番目の範疇を作成することができる。さらに,任意回数の組み分けもこの手順を繰り返すことで逐次的に実施可能である。この組み分けの上限回数をGとして,この値を指定または確認する手続きを設けることも可能である。更に,下記に示すようにGが取り得る数値の範囲を拡大して,一般的にGを上限回数を指定する情報として定義することも可能である。
逐次的な組み分け手順を続けると最終的には,全ての範疇に帰属するデータの個数が1か0になる場合が必ずあるので,この回数を組み分け回数gの上限回数とできる。例えばG=−1と指定することで,当該上限まで組み分けを繰り返えさせる。さらには,例えばG=−2とするとき,g番目の組み分けの各範疇に帰属する学習データの最大値が例えば10になるまで,逐次的な組み分けを繰り返えすこともできる。本発明は,このような手続きを排除するものではない。
前記の組み分けに係わる手続きで,g番目の組み分け,即ち,g番目の階層のc番目の範疇とは,代表データB(g,c,f)と帰属する学習データを指示する指標m(g,c,i)(i=1,2〜M(g,c))と,逐次的に作成したg+1番目の組み分けの範疇を指定する指標d(g,c,k)(k=1,2〜D(g,c))からなる一連の情報である。このデータの構造を図17にまとめておく。これらの情報は作成される毎に記憶部に記憶される。
また,データを組み分ける手続きとは,当該範疇に係わる代表データと指標を作成する手続きである。一般にgの値が大きくなるに従い,組み分けが詳細になる。前記の階層的な範疇データを図に表示する一例として公知であるSOMの特徴マップと類似した図形を図18に示す。学習データとして,4つの類型A,B,C,Dがある場合の範疇データである。組み分けの番号gまたは階層の番号gによりひとつのマップが定まる。各マップには,範疇のひとつひとつが網の目状の図形で表示されており,異なる類型の学習データが異なるマーカーで範疇に帰属させられている。また,ひとつ前の階層の範疇が,白線で描かれた網の目で上書きされている。範疇を表す網の目の背景色の濃さは,類型Aの学習データが属する範疇の代表データと各範疇の代表データの距離が大きくなるに従って0,1,〜5と6段階で濃くなるように示されている。なお,公知であるSOMの特徴マップでは,マップを階層化できないことを記しておく。
前記の学習データと同じ成分を有する入力データをI(f)と記号で表現する。この入力データI(f)と代表データB(g,c,f)との間の距離を前記記載の定義に従い求めた値を dis(I;g,c)で表す。このとき,cを1,2〜C(g)と変化させ求めた dis(I;g,c)の値の中で最小値を与える指標cを cmin(I;g)と表わしこの値をもって,データI(f)または取得した入力データが,g番目に組み分けた範疇のいずれに帰属するかを判定した判定結果と定義する。この判定手続きを図11に示す。S51〜S53は図10のS41〜S43と同じである。
図11に示される手続きにおいて,学習データは上記実施例の指標サンプルに対応し,入力データは被験サンプルに対応する。指標サンプルに基づいてSOMマップを作成しておき(たとえば図8bに示すような),これに被験サンプルをあてはめる処理に相当する。これにより判定結果,すなわち指標サンプルにより作成されたSOMマップ上における被験サンプルの位置(たとえば図8cに示すような)を知ることができる。図8cにおいて,被験サンプルの位置は黒い正方形(診断シャント音)として示されている。なお,図11のS62の詳細は図16に示されている。
判定結果 cmin(I;G)を得るために,g=1,2〜G−1と順番に変化させ,次のように逐次的な処理を行うことができる(図11のS61〜S64)。まず,g=1として最初の組み分けのC(1)個の範疇のなから入力データが帰属する指標c1= cmin(I;1)を求める。次に,1番目の組み分けのc1番目の範疇に帰属するg+1番目の組み分けのD(g,c1,1)個の範疇から cmin(I;2)を求める。以下同様に, cmin(I;g)をg=3,4〜G−1と逐次的に繰り返えすと指標 cmin(I;G)が得られる。この手続きでは,入力データと代表データとの間の距離を求める回数は,C(1)とD(g, cmin(I;g))(g=1,2〜G−1)との和である。
入力データの判定処理を,入力データを学習データの一部に組み込んで実施することも可能である。この場合の手続きを図12に示す。学習データが中で当該入力データを示す指標をn0とすると,g番目の組み分けで入力データが帰属する範疇は前記に載の記号を用いて cmin(n0,g)(g=1,2〜G)で表される。これらも,本発明により得られる判定結果である。図12において,参照データ(学習データ)(上記実施例における指標サンプルに相当する)と入力データ(被験データに相当する)とを統合して(混ぜあわせて)これらをまとめて図10S43(図12のS73)の処理を行うものである。入力データの帰属の判定(S74)はたとえば上記の手順で cmin(n0,G)を決定する処理および上記の式(2) により表わされる狭窄レベルをしきい値処理することに相当し,この結果が図8cのようなSOMマップとともに表示される(S75)。
逐次的な処理により,学習データを組み分け範疇を作成する組み分処理の処理時間,および,入力データをいずれの範疇に帰属しているかを判定する判定処理のための処理時間を顕著に短縮できる。このことが本発明の効果である。以下にこの根拠を示す。
本発明の効果を説明するに際して,組み分け処理におけるg番目の組み分けで作成される範疇の個数を全て同じC1であるとする。即ち,前記に記載した説明で定義した記号を用いるとC1=C(1)=D(2,c)=・・・・=D(G−1,c)が任意の指標cに対して成立すると仮定する。ここで,逐次的な組み分けの上限回数をGとした。このとき,G番目の組み分けで得られる範疇の総数Ctは,C1のG乗である。なお,この仮定を取り除いた一般的な場合でも,以下の議論の本質は変化しないことは容易に推測できる事実である。
一般に,N個の学習データをCt個の範疇に直接組み分けるためには,学習データの各々に対してCt個の代表データと距離を求める必要があり,その回数は最低でもN・Ctである。
一方,逐次的な処理を行った場合に必要となる距離をもとめる回数は,G・N・C1で見積もることができる。
その理由は,最初の組み分け,即ちg=1の場合,N個の学習データとC1(=C(1))個の代表データとの比較が必要なので,距離を求める回数はN・C1である。次に,N個の学習データを,C1個の範疇に割り当てるが,その個数をN/C1で見積もることができる。一般には,この個数は範疇ごとに変動するが,その変動を考慮したとしても議論の本質が変更されることが無いことは,容易に推測することができる。
次に,g=2回目の組み分けで得られた各々の範疇のC1個の代表データと前記(N/C1)個のデータとの間で距離を求める回数は(N/C1)・C1であり,この操作をg−1番目のC1個の範疇で実施するので,更にC1を乗じた数N・C1が,2番目の組み分けで距離を求める最小の回数である。以下同様に,G回目までの組み分けまでその距離を求める回数はいずれもN・C1である。このことから,N・C1をG回加えた回数G・N・C1が,距離を求める最小の回数である。
前記の論証で指摘した事実から,記憶部のN個の学習データを組み分けする際に距離を求める回数は,逐次的な処理を行わない場合N・Ct回であるが,逐次的な処理を行うとN・G・C1回である。Ctが,C1のG乗である事から,逐次的な組み分けを行った場合の回数は,逐次的な組み分けを行わなかった場合の回数よりも顕著に小さくなり,これに伴い処理時間も短縮できる。しかも,この処理時間の短縮は学習データの個数Nが増大するに従い益々顕著になる。このことが,本発明の効果である。
前記に記載した入力データI(f)の判定処理を行う際,即ち,上限回数であるG番目の組み分けの範疇のいずれに当該入力データが帰属するかを決定する処理では,逐次的な処理を行わない場合,G番目の範疇の全代表データとの間で距離を求めることが必要なので,距離を求める回数はCt回である。一方,逐次的にg=1,2〜Gと変化させ夫々の回数の組み分けに係わる範疇への対応を行い判定を行う場合は,G・C1回だけ距離を求めるとよい。この場合も,逐次的な処理を行った方が距離を求める回数が少なく,処理時間を顕著に短縮できる。このことも,本発明の効果である。
分りやすくするために主要な記号の説明を以下に記しておく。
N 記憶部に保持された学習データの総数
G 逐次的な組み分けを実施する上限回数を指定する変数
A(n,f) 記憶部に保持されたn番目の学習データでF個の成分を有する(n=1,2,〜N,f=1,2〜F)
B(g,c,f) g番目の組み分けの際に作成するc番目の範疇を代表するデータで記憶部と同じ成分を有する
C(g) g番目の組み分けの際に作成する範疇の総数
M(g,c) g番目の組み分けのc番目の範疇に帰する学習データの指標の総数
D(g,c) g番目の組み分けのc番目の範疇に帰属するg+1番目の組み分けの範疇の総数
m(g,c,i) g番目の組み分けのc番目の範疇に帰属するi番目の学習データ指標(i=1,2〜M(g,c))
d(g,c,k) g番目の組み分けのc番目の範疇に帰属するg+1番目の組み分けの範疇の指標(k=1,2〜D(g,c))
dis(n,g,c) 学習データA(n,f)と代表データB(g,c,f)の距離
dis(I;g,c) 入力データI(f)と代表データB(g,c,f)の距離
cmin(n,g) 記憶部に保持されたn番目の学習データが属する,g番目の組み分けの範疇の指標
cmin(I;g) 入力データI(f)が帰属するg回目の組み分けの範疇の指標
1 センサ部
3 A/D変換器
4 信号処理装置
5 特徴抽出部
6 解析判定部
9 表示部
10 演算処理部
20 アレイ状採音センサ装置
21 シート状軟質支持体
22 空洞(穴)
23 マイクロホン
25 押えバンド

Claims (14)

  1. 被験者から採音したシャント音の少なくとも1拍動分の被験シャント音波形データを生成するシャント音入力手段,および
    上記シャント音入力手段で生成された被験サンプルのシャント音波形データと評価指標となる複数種類の指標サンプルのシャント音波形データの時間周波数特性のうちの少なくとも指標サンプルの時間周波数特性を用いて自己組織化マップを作成し,この作成された自己組織化マップ上における指標サンプルの位置に対する被験サンプルの位置を解析する第1の解析手段,
    を備えるシャント狭窄診断支援システム。
  2. 上記第1の解析手段による解析結果に基づいてシャント狭窄の可能性についての判定を行う第1の判定手段をさらに備える,請求項1に記載のシャント狭窄診断支援システム。
  3. 上記第1の解析手段による解析結果,または上記第1の判定手段による判定結果を出力する出力手段を備える,請求項1または2に記載のシャント狭窄診断支援システム。
  4. シート状軟質支持体に空洞があけられ,この空洞の底部にマイクロホンが設けられている採音センサをさらに備え,上記シャント音入力手段はこの採音センサのマイクロホンからの出力信号に基づいて被験シャント音波形データを生成し,上記第1の解析手段は,上記マイクロホンの出力信号に基づいて作成された被験シャント音波形データを解析に用いる,請求項1ないし3のいずれか一項に記載のシャント狭窄診断支援システム。
  5. 上記指標サンプルが,正常音のサンプルと狭窄音のサンプルとを含む,請求項1ないし4のいずれか一項に記載のシャント狭窄診断支援システム。
  6. 上記第1の解析手段が,被験サンプルのデータと指標サンプルのデータとを混ぜて自己組織化マップを作成するものである,請求項1ないし5のいずれか一項に記載のシャント狭窄診断支援システム。
  7. 上記第1の解析手段が,指標サンプルのデータにより作成された自己組織化マップ上に被験サンプルのデータによるマップを重ねるものである,請求項1ないし6のいずれか一項に記載のシャント狭窄診断支援システム。
  8. 被験者から採音したシャント音の少なくとも1拍動分の被験シャント音波形データを生成するシャント音入力手段,および
    評価指標となる複数種類の指標サンプルのシャント音波形データの時間周波数特性に基づく複数種類のモデルを作成し,上記シャント音入力手段により生成された被験サンプルのシャント音波形データの時間周波数特性の上記各モデルに属する確率を解析する第2の解析手段,
    を備えるシャント狭窄診断支援システム。
  9. 上記第2の解析手段による解析結果に基づいてシャント狭窄の可能性についての判定を行う第2の判定手段をさらに備える,請求項8に記載のシャント狭窄診断支援システム。
  10. 上記第2の解析手段による解析結果,または上記第2の判定手段による判定結果を出力する出力手段を備える,請求項8または9に記載のシャント狭窄診断支援システム。
  11. シート状軟質支持体に空洞があけられ,この空洞の底部にマイクロホンが設けられている採音センサをさらに備え,上記シャント音入力手段はこの採音センサのマイクロホンからの出力信号に基づいて被験シャント音波形データを生成し,上記第2の解析手段は,上記マイクロホンの出力信号に基づいて作成された被験シャント音波形データを解析に用いる,請求項8ないし10のいずれか一項に記載のシャント狭窄診断支援システム。
  12. 上記指標サンプルが,正常音のサンプルと狭窄音のサンプルとを含む,請求項8ないし11のいずれか一項に記載のシャント狭窄診断支援システム。
  13. シャント音入力手段が被験者から採音したシャント音の少なくとも1拍動分の被験シャント音波形データを生成し,第1の解析手段が,上記シャント音入力手段により生成された被験サンプルのシャント音波形データと評価指標となる複数種類の指標サンプルのシャント音波形データの時間周波数特性のうちの少なくとも指標サンプルの時間周波数特性を用いて自己組織化マップを作成し,この作成した自己組織化マップ上における指標サンプルの位置に対する被験サンプルの位置を解析する,
    シャント狭窄診断支援方法。
  14. シャント音入力手段が,被験者から採音したシャント音の少なくとも1拍動分の被験シャント音波形データを生成し,第2の解析手段が,評価指標となる複数種類の指標サンプルのシャント音波形データの時間周波数特性に基づく複数種類のモデルを作成し,上記シャント音入力手段により生成された被験サンプルのシャント音波形データの時間周波数特性の上記各モデルに属する確率を解析する,
    シャント狭窄診断支援方法。
JP2018020736A 2018-02-08 2018-02-08 シャント狭窄診断支援システムおよび方法 Expired - Fee Related JP6458973B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018020736A JP6458973B2 (ja) 2018-02-08 2018-02-08 シャント狭窄診断支援システムおよび方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018020736A JP6458973B2 (ja) 2018-02-08 2018-02-08 シャント狭窄診断支援システムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016146990A Division JP6299053B2 (ja) 2016-07-27 2016-07-27 アレイ状採音センサ装置

Publications (2)

Publication Number Publication Date
JP2018149274A JP2018149274A (ja) 2018-09-27
JP6458973B2 true JP6458973B2 (ja) 2019-01-30

Family

ID=63679863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018020736A Expired - Fee Related JP6458973B2 (ja) 2018-02-08 2018-02-08 シャント狭窄診断支援システムおよび方法

Country Status (1)

Country Link
JP (1) JP6458973B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725130B (zh) * 2019-02-01 2021-06-18 江西科技学院 提水装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3083378B2 (ja) * 1991-10-28 2000-09-04 徹 新里 シャント形成部位における血流状態のモニター装置
JPH1052490A (ja) * 1996-05-02 1998-02-24 Hagiwara Denki Kk シャント形成部位における血流状態のモニター装置
JP4344793B2 (ja) * 2003-07-25 2009-10-14 学校法人桐蔭学園 透析時のアクセストラブル検知システム
JP5070103B2 (ja) * 2008-03-26 2012-11-07 フクダ電子株式会社 シャント狭窄検出装置
JP4644268B2 (ja) * 2008-04-18 2011-03-02 中央電子株式会社 シャント状態検知装置
JP2010029434A (ja) * 2008-07-29 2010-02-12 Tom-Medic Co Ltd 血管狭窄度合い判定プログラム、記録媒体、情報端末装置、血管狭窄度合い判定システムおよび血管狭窄度合い判定方法
JP5514990B2 (ja) * 2009-11-06 2014-06-04 株式会社イデアルスター シャント音の監視システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725130B (zh) * 2019-02-01 2021-06-18 江西科技学院 提水装置

Also Published As

Publication number Publication date
JP2018149274A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
JP6056101B2 (ja) シャント狭窄診断支援システムおよび方法,アレイ状採音センサ装置,ならびに逐次細分化自己組織化マップ作成装置,方法およびプログラム
JP6299053B2 (ja) アレイ状採音センサ装置
Thiyagaraja et al. A novel heart-mobile interface for detection and classification of heart sounds
EP2440139B1 (en) Method and apparatus for recognizing moving anatomical structures using ultrasound
US8690789B2 (en) Categorizing automatically generated physiological data based on industry guidelines
US8992435B2 (en) System and method for classifying a heart sound
CA2595924A1 (en) Analysis of auscultatory sounds using voice recognition
Martinez-Alajarin et al. Efficient method for events detection in phonocardiographic signals
JP2010029434A (ja) 血管狭窄度合い判定プログラム、記録媒体、情報端末装置、血管狭窄度合い判定システムおよび血管狭窄度合い判定方法
Singh et al. Short unsegmented PCG classification based on ensemble classifier
Omarov et al. Artificial Intelligence in Medicine: Real Time Electronic Stethoscope for Heart Diseases Detection.
CN112971839A (zh) 一种基于前馈卷积神经网络的心音分类方法
Alexander et al. Screening of heart sounds using hidden Markov and Gammatone filterbank models
Rahmandani et al. Cardiac sound classification using mel-frequency cepstral coefficients (MFCC) and artificial neural network (ANN)
US20210090734A1 (en) System, device and method for detection of valvular heart disorders
Shokouhmand et al. Diagnosis of peripheral artery disease using backflow abnormalities in proximal recordings of accelerometer contact microphone (ACM)
JP6458973B2 (ja) シャント狭窄診断支援システムおよび方法
Sengur et al. A hybrid method based on artificial immune system and fuzzy k-NN algorithm for diagnosis of heart valve diseases
Narváez et al. Classification of heart sounds using linear prediction coefficients and mel-frequency cepstral coefficients as acoustic features
Arora et al. Health of things model for classifying human heart sound signals using co-occurrence matrix and spectrogram
Altaf et al. Systematic Review for Phonocardiography Classification Based on Machine Learning
Roquemen-Echeverri et al. An AI-powered tool for automatic heart sound quality assessment and segmentation
Arora et al. A fusion framework based on cepstral domain features from phonocardiogram to predict heart health status
Patidar et al. Detection of septal defects from cardiac sound signals using tunable-Q wavelet transform
Sh-Hussain et al. Application of multipoint auscultation for heart sound diagnostic system (MAHDS)

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181211

R150 Certificate of patent or registration of utility model

Ref document number: 6458973

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees