JP4647770B2

JP4647770B2 - 時系列信号解析装置

Info

Publication number: JP4647770B2
Application number: JP2000351775A
Authority: JP
Inventors: 敏雄茂出木
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2000-11-17
Filing date: 2000-11-17
Publication date: 2011-03-09
Anticipated expiration: 2020-11-17
Also published as: JP2002153434A

Description

【０００１】
【産業上の利用分野】
本発明は、心音、心電図等の生体信号、その他音響信号を含む時系列信号の解析技術に関する。
【０００２】
【従来の技術】
音響信号に代表される時系列信号には、その構成要素として複数の周期信号が含まれている。このため、与えられた時系列信号にどのような周期信号が含まれているかを解析する手法は、古くから知られている。例えば、フーリエ解析は、与えられた時系列信号に含まれる周波数成分を解析するための方法として広く利用されている。
【０００３】
このような時系列信号の解析方法を利用すれば、音響信号を符号化することも可能である。コンピュータの普及により、原音となるアナログ音響信号を所定のサンプリング周波数でサンプリングし、各サンプリング時の信号強度を量子化してデジタルデータとして取り込むことが容易にできるようになってきており、こうして取り込んだデジタルデータに対してフーリエ解析などの手法を適用し、原音信号に含まれていた周波数成分を抽出すれば、各周波数成分を示す符号によって原音信号の符号化が可能になる。
【０００４】
一方、電子楽器による楽器音を符号化しようという発想から生まれたＭＩＤＩ（Musical Instrument Digital Interface）規格も、パーソナルコンピュータの普及とともに盛んに利用されるようになってきている。このＭＩＤＩ規格による符号データ（以下、ＭＩＤＩデータという）は、基本的には、楽器のどの鍵盤キーを、どの程度の強さで弾いたか、という楽器演奏の操作を記述したデータであり、このＭＩＤＩデータ自身には、実際の音の波形は含まれていない。そのため、実際の音を再生する場合には、楽器音の波形を記憶したＭＩＤＩ音源が別途必要になるが、その符号化効率の高さが注目を集めており、ＭＩＤＩ規格による符号化および復号化の技術は、現在、パーソナルコンピュータを用いて楽器演奏、楽器練習、作曲などを行うソフトウェアに広く採り入れられている。
【０００５】
そこで、音響信号に代表される時系列信号に対して、所定の手法で解析を行うことにより、その構成要素となる周期信号を抽出し、抽出した周期信号をＭＩＤＩデータを用いて符号化しようとする提案がなされている。例えば、特開平１０−２４７０９９号公報、特開平１１−７３１９９号公報、特開平１１−７３２００号公報、特開平１１−９５７５３号公報、特開２０００−９９００９号公報、特開２０００−９９０９２号公報、特開平２０００−９９０９３号公報、特願平１１−５８４３１号明細書、特願平１１−１７７８７５号明細書、特願平１１−３２９２９７号明細書には、任意の時系列信号について、構成要素となる周波数を解析し、その解析結果からＭＩＤＩデータを作成することができる種々の方法が提案されている。
【０００６】
特に、特開平１０−２４７０９９号公報においては、心音あるいは肺音など生理的リズム音を、時系列の音響信号として取り込んだ後、符号化してその特徴を視覚的に表示することにより医療診断の支援を行なうことが記載されている。しかし、特開平１０−２４７０９９号公報においては、心音を符号化して表示するに留まっており、その症状を解析するまでには到っていない。
【０００７】
そもそも心音は心電図波形に比べて周波数帯域幅が広く病態も複雑であるため、自動解析が難しい。心音には健常者・異常者を問わず基本的なI音およびII音成分は必ず存在し、医師が診断を行なう際には、この心音成分を基準に他の余分な心音成分や心雑音成分を判断することが行なわれている。ところが、病弱な状態では不整脈を伴うことが多く、さらに心雑音が加わると、基本的なI音およびII音成分を検出することは熟練の医師でも困難である。近年では、このような心音の自動解析の試みも行なわれており、特開平５−３０９０７４号公報には、心電図の信号を同期信号として同時に取り込み、心音のI音およびII音成分を正しく獲得し、その上でニューラルネットにより病的な状態を判定する手法が開示されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の心音解析手法では、1)心音を取得するためのセンサ系とは別に心電図波形センサ系を必要とし、心音単独の信号は解析できない、2)病態判定手法は信号の振幅変化を基準にニューラルネットで行なっているため、ニューラルネットの学習状況（あらかじめ医師が多くのデータを入力して判定結果が正解になるように装置を訓練する必要あり）により診断能力が格段にばらつく、3)判定の基準に信号の振幅情報のみを用い、周波数分布を考慮していないため、音色が異なる心雑音の識別が原理的に困難である。4)判定結果は定性的に病態信号が言葉で示されるだけで、例えば「III音異常あり」といっても、どの程度の強さのIII音であるかという情報が残らない、等の問題が生じる。
【０００９】
上記のような点に鑑み、本発明は、心音信号のみから解析を行なうことが可能な時系列信号解析装置を提供することを課題とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明では、与えられた時系列信号に対して設定された所定の単位区間ごとに時系列信号と複数の周期関数との相関を求めることにより、各単位区間に対して複数の周波数要素を選出し、各単位区間ごとに、選出された複数の周波数要素を基に１つの統一周波数要素を算出し、算出された統一周波数要素を時系列に並べた統一周波数要素列の配列パターンを基に、連続する複数の統一周波数要素をブロック化したブロックデータを作成し、所定のルールに基づいて、作成された各ブロックデータに対して属性情報を付与するとともに、基本的な属性情報を付与することができなかったブロックデータに対応する統一周波数要素に対して、１つのブロックデータに対応する統一周波数要素列の配列パターンと詳細属性情報との対応関係を記録した詳細属性データベースを参照して付与すべき詳細属性情報を決定し、属性情報が付与された統一周波数要素を階層構造のテキスト情報として出力するようにしたことを特徴とする。請求項１に記載の発明によれば、特に周波数解析により得られる複数の周波数要素を１つの統一周波数要素にまとめ、この統一周波数要素列の配列パターンに基づいて診断情報などの属性情報を付与し、属性情報と共に統一周波数要素を構造文書化するようにしたので、与えられた時系列信号がどのような状態を意味しているのかを診断した結果の流通が容易になる。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１３】
（時系列信号の解析の基本原理）
はじめに、本発明に係る時系列信号の解析の基本原理を述べておく。この基本原理は、前掲の各公報あるいは明細書に開示されているので、ここではその概要のみを簡単に述べることにする。
【００１４】
図１（ａ）に示すように、時系列信号としてアナログ音響信号が与えられたものとする。図１の例では、横軸に時間ｔ、縦軸に振幅（強度）をとって、この音響信号を示している。ここでは、まずこのアナログ音響信号を、デジタルの音響データとして取り込む処理を行う。これは、従来の一般的なＰＣＭの手法を用い、所定のサンプリング周波数でこのアナログ音響信号をサンプリングし、振幅を所定の量子化ビット数を用いてデジタルデータに変換する処理を行えば良い。ここでは、説明の便宜上、ＰＣＭの手法でデジタル化した音響データの波形も図１（ａ）のアナログ音響信号と同一の波形で示すことにする。
【００１５】
続いて、この解析対象となる音響信号の時間軸上に、複数の単位区間を設定する。図１（ａ）に示す例では、時間軸ｔ上に等間隔に６つの時刻ｔ１〜ｔ６が定義され、これら各時刻を始点および終点とする５つの単位区間ｄ１〜ｄ５が設定されている。図１の例では、全て同一の区間長をもった単位区間が設定されているが、個々の単位区間ごとに区間長を変えるようにしてもかまわない。あるいは、隣接する単位区間が時間軸上で部分的に重なり合うような区間設定を行ってもかまわない。
【００１６】
こうして単位区間が設定されたら、各単位区間ごとの音響信号（以下、区間信号と呼ぶことにする）について、それぞれ代表周波数を選出する。各区間信号には、通常、様々な周波数成分が含まれているが、例えば、その中で成分の強度割合の大きな周波数成分を代表周波数として選出すれば良い。ここで、代表周波数とはいわゆる基本周波数が一般的であるが、音声のフォルマント周波数などの倍音周波数や、ノイズ音源のピーク周波数も代表周波数として扱うことがある。代表周波数は１つだけ選出しても良いが、音響信号によっては複数の代表周波数を選出した方が、より精度の高い符号化が可能になる。図１（ｂ）には、個々の単位区間ごとにそれぞれ３つの代表周波数を選出し、１つの代表周波数を１つの代表符号（図では便宜上、音符として示してある）として符号化した例が示されている。ここでは、代表符号（音符）を収容するために３つのトラックＴ１，Ｔ２，Ｔ３が設けられているが、これは個々の単位区間ごとに選出された３つずつの代表符号を、それぞれ異なるトラックに収容するためである。
【００１７】
例えば、単位区間ｄ１について選出された代表符号ｎ（ｄ１，１），ｎ（ｄ１，２），ｎ（ｄ１，３）は、それぞれトラックＴ１，Ｔ２，Ｔ３に収容されている。ここで、各符号ｎ（ｄ１，１），ｎ（ｄ１，２），ｎ（ｄ１，３）は、ＭＩＤＩ符号におけるノートナンバーを示す符号である。ＭＩＤＩ符号におけるノートナンバーは、０〜１２７までの１２８通りの値をとり、それぞれピアノの鍵盤の１つのキーを示すことになる。具体的には、例えば、代表周波数として４４０Ｈｚが選出された場合、この周波数はノートナンバーｎ＝６９（ピアノの鍵盤中央の「ラ音（Ａ３音）」に対応）に相当するので、代表符号としては、ｎ＝６９が選出されることになる。もっとも、図１（ｂ）は、上述の方法によって得られる代表符号を音符の形式で示した概念図であり、実際には、各音符にはそれぞれ強度に関するデータも付加されている。例えば、トラックＴ１には、ノートナンバーｎ（ｄ１，１），ｎ（ｄ２，１）・・・なる音高を示すデータとともに、ｅ（ｄ１，１），ｅ（ｄ２，１）・・・なる強度を示すデータが収容されることになる。この強度を示すデータは、各代表周波数の成分が、元の区間信号にどの程度の度合いで含まれていたかによって決定される。具体的には、各代表周波数をもった周期関数の区間信号に対する相関値に基づいて強度を示すデータが決定されることになる。また、図１（ｂ）に示す概念図では、音符の横方向の位置によって、個々の単位区間の時間軸上での位置が示されているが、実際には、この時間軸上での位置を正確に数値として示すデータが各音符に付加されていることになる。
【００１８】
音響信号を符号化する形式としては、必ずしもＭＩＤＩ形式を採用する必要はないが、この種の符号化形式としてはＭＩＤＩ形式が最も普及しているため、実用上はＭＩＤＩ形式の符号データを用いるのが好ましい。ＭＩＤＩ形式では、「ノートオン」データもしくは「ノートオフ」データが、「デルタタイム」データを介在させながら存在する。「ノートオン」データは、特定のノートナンバーＮとベロシティーＶを指定して特定の音の演奏開始を指示するデータであり、「ノートオフ」データは、特定のノートナンバーＮとベロシティーＶを指定して特定の音の演奏終了を指示するデータである。また、「デルタタイム」データは、所定の時間間隔を示すデータである。ベロシティーＶは、例えば、ピアノの鍵盤などを押し下げる速度（ノートオン時のベロシティー）および鍵盤から指を離す速度（ノートオフ時のベロシティー）を示すパラメータであり、特定の音の演奏開始操作もしくは演奏終了操作の強さを示すことになる。
【００１９】
前述の方法では、第ｉ番目の単位区間ｄｉについて、代表符号としてＪ個のノートナンバーｎ（ｄｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）が得られ、このそれぞれについて強度ｅ（ｄｉ，１），ｅ（ｄｉ，２），・・・，ｅ（ｄｉ，Ｊ）が得られる。そこで、次のような手法により、ＭＩＤＩ形式の符号データを作成することができる。まず、「ノートオン」データもしくは「ノートオフ」データの中で記述するノートナンバーＮとしては、得られたノートナンバーｎ（ｄｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）をそのまま用いれば良い。一方、「ノートオン」データもしくは「ノートオフ」データの中で記述するベロシティーＶとしては、得られた強度ｅ（ｄｉ，１），ｅ（ｄｉ，２），・・・，ｅ（ｄｉ，Ｊ）を所定の方法で規格化した値を用いれば良い。また、「デルタタイム」データは、各単位区間の長さに応じて設定すれば良い。
【００２０】
（周期関数との相関を求める具体的な方法）
上述した基本原理の基づく方法では、区間信号に対して、１つまたは複数の代表周波数が選出され、この代表周波数をもった周期信号によって、当該区間信号が表現されることになる。ここで、選出される代表周波数は、文字どおり、当該単位区間内の信号成分を代表する周波数である。この代表周波数を選出する具体的な方法には、後述するように、短時間フーリエ変換を利用する方法と、一般化調和解析の手法を利用する方法とがある。いずれの方法も、基本的な考え方は同じであり、あらかじめ周波数の異なる複数の周期関数を用意しておき、これら複数の周期関数の中から、当該単位区間内の区間信号に対する相関が高い周期関数を見つけ出し、この相関の高い周期関数の周波数を代表周波数として選出する、という手法を採ることになる。すなわち、代表周波数を選出する際には、あらかじめ用意された複数の周期関数と、単位区間内の区間信号との相関を求める演算を行うことになる。そこで、ここでは、周期関数との相関を求める具体的な方法を述べておく。
【００２１】
複数の周期関数として、図２に示すような三角関数が用意されているものとする。これらの三角関数は、同一周波数をもった正弦関数と余弦関数との対から構成されており、１２８通りの標準周波数ｆ（０）〜ｆ（１２７）のそれぞれについて、正弦関数および余弦関数の対が定義されていることになる。ここでは、同一の周波数をもった正弦関数および余弦関数からなる一対の関数を、当該周波数についての周期関数として定義することにする。すなわち、ある特定の周波数についての周期関数は、一対の正弦関数および余弦関数によって構成されることになる。このように、一対の正弦関数と余弦関数とにより周期関数を定義するのは、信号に対する周期関数の相関値を求める際に、相関値が位相の影響を受ける事を考慮するためである。なお、図２に示す各三角関数内の変数Ｆおよびｋは、区間信号Ｘについてのサンプリング周波数Ｆおよびサンプル番号ｋに相当する変数である。例えば、周波数ｆ（０）についての正弦波は、ｓｉｎ（２πｆ（０）ｋ／Ｆ）で示され、任意のサンプル番号ｋを与えると、区間信号を構成する第ｋ番目のサンプルと同一時間位置における周期関数の振幅値が得られる。
【００２２】
ここでは、１２８通りの標準周波数ｆ（０）〜ｆ（１２７）を図３に示すような式で定義した例を示すことにする。すなわち、第ｎ番目（０≦ｎ≦１２７）の標準周波数ｆ（ｎ）は、
ｆ（ｎ）＝４４０×２^γ ⁽ⁿ⁾
γ（ｎ）＝（ｎ−６９）／１２
なる式で定義されることになる。このような式によって標準周波数を定義しておくと、最終的にＭＩＤＩデータを用いた符号化を行う際に便利である。なぜなら、このような定義によって設定される１２８通りの標準周波数ｆ（０）〜ｆ（１２７）は、等比級数をなす周波数値をとることになり、ＭＩＤＩデータで利用されるノートナンバーに対応した周波数になるからである。したがって、図２に示す１２８通りの標準周波数ｆ（０）〜ｆ（１２７）は、対数尺度で示した周波数軸上に等間隔（ＭＩＤＩにおける半音単位）に設定した周波数ということになる。このため、本願では、図に掲載するグラフにおけるノートナンバー軸を、いずれも対数尺度で示すことにする。
【００２３】
続いて、任意の区間の区間信号に対する各周期関数の相関の求め方について、具体的な説明を行う。例えば、図４に示すように、ある単位区間ｄについて区間信号Ｘが与えられていたとする。ここでは、区間長Ｌをもった単位区間ｄについて、サンプリング周波数Ｆでサンプリングが行なわれており、全部でｗ個のサンプル値が得られているものとし、サンプル番号を図示のように、０，１，２，３，・・・，ｋ，・・・，ｗ−２，ｗ−１とする（白丸で示す第ｗ番目のサンプルは、右に隣接する次の単位区間の先頭に含まれるサンプルとする）。この場合、任意のサンプル番号ｋについては、Ｘ（ｋ）なる振幅値がデジタルデータとして与えられていることになる。短時間フーリエ変換においては、Ｘ（ｋ）に対して各サンプルごとに中央の重みが１に近く、両端の重みが０に近くなるような窓関数Ｗ（ｋ）を乗ずることが通常である。すなわち、Ｘ（ｋ）×Ｗ（ｋ）をＸ（ｋ）と扱って以下のような相関計算を行うもので、窓関数の形状としては余弦波形状のハミング窓が一般に用いられている。ここで、ｗは以下の記述においても定数のような記載をしているが、一般にはｎの値に応じて変化させ、区間長Ｌを超えない範囲で最大となるＦ／ｆ（ｎ）の整数倍の値に設定することが望ましい。
【００２４】
このような区間信号Ｘに対して、第ｎ番目の標準周波数ｆ（ｎ）をもった正弦関数Ｒｎとの相関値を求める原理を示す。両者の相関値Ａ（ｎ）は、図５の第１の演算式によって定義することができる。ここで、Ｘ（ｋ）は、図４に示すように、区間信号Ｘにおけるサンプル番号ｋの振幅値であり、ｓｉｎ（２πｆ（ｎ）ｋ／Ｆ）は、時間軸上での同位置における正弦関数Ｒｎの振幅値である。この第１の演算式は、単位区間ｄ内の全サンプル番号ｋ＝０〜ｗ−１の次元について、それぞれ区間信号Ｘの振幅値と正弦関数Ｒｎの振幅ベクトルの内積を求める式ということができる。
【００２５】
同様に、図５の第２の演算式は、区間信号Ｘと、第ｎ番目の標準周波数ｆ（ｎ）をもった余弦関数との相関値を求める式であり、両者の相関値はＢ（ｎ）で与えられる。なお、相関値Ａ（ｎ）を求めるための第１の演算式も、相関値Ｂ（ｎ）を求めるための第２の演算式も、最終的に２／ｗが乗ぜられているが、これは相関値を規格化するためのものでり、前述のとおりｗはｎに依存して変化させるのが一般的であるため、この係数もｎに依存する変数である。
【００２６】
区間信号Ｘと標準周波数ｆ（ｎ）をもった標準周期関数との相関実効値は、図５の第３の演算式に示すように、正弦関数との相関値Ａ（ｎ）と余弦関数との相関値Ｂ（ｎ）との二乗和平方根値Ｅ（ｎ）によって示すことができる。この相関実効値の大きな標準周期関数の周波数を代表周波数として選出すれば、この代表周波数を用いて区間信号Ｘを符号化することができる。
【００２７】
すなわち、この相関値Ｅ（ｎ）が所定の基準以上の大きさとなる１つまたは複数の標準周波数を代表周波数として選出すれば良い。なお、ここで「相関値Ｅ（ｎ）が所定の基準以上の大きさとなる」という選出条件は、例えば、何らかの閾値を設定しておき、相関値Ｅ（ｎ）がこの閾値を超えるような標準周波数ｆ（ｎ）をすべて代表周波数として選出する、という絶対的な選出条件を設定しても良いが、例えば、相関値Ｅ（ｎ）の大きさの順にＱ番目までを選出する、というような相対的な選出条件を設定しても良い。
【００２８】
（一般化調和解析の手法）
ここでは、本発明に係る時系列信号の解析を行う際に有用な一般化調和解析の手法について説明する。既に説明したように、音響信号を符号化する場合、個々の単位区間内の区間信号について、相関値の高いいくつかの代表周波数を選出することになる。一般化調和解析は、より高い精度で代表周波数の選出を可能にする手法であり、その基本原理は次の通りである。
【００２９】
図６（ａ）に示すような単位区間ｄについて、信号Ｓ（ｊ）なるものが存在するとする。ここで、ｊは後述するように、繰り返し処理のためのパラメータである（ｊ＝１〜Ｊ）。まず、この信号Ｓ（ｊ）に対して、図２に示すような１２８通りの周期関数すべてについての相関値を求める。そして、最大の相関値が得られた１つの周期関数の周波数を代表周波数として選出し、当該代表周波数をもった周期関数を要素関数として抽出する。続いて、図６（ｂ）に示すような含有信号Ｇ（ｊ）を定義する。この含有信号Ｇ（ｊ）は、抽出された要素関数に、その振幅として、当該要素関数の信号Ｓ（ｊ）に対する相関値を乗じることにより得られる信号である。例えば、周期関数として図２に示すように、一対の正弦関数と余弦関数とを用い、周波数ｆ（ｎ）が代表周波数として選出された場合、振幅Ａ（ｎ）をもった正弦関数Ａ（ｎ）ｓｉｎ（２πｆ（ｎ）ｋ／Ｆ）と、振幅Ｂ（ｎ）をもった余弦関数Ｂ（ｎ）ｃｏｓ（２πｆ（ｎ）ｋ／Ｆ）との和からなる信号が含有信号Ｇ（ｊ）ということになる（図６（ｂ）では、図示の便宜上、一方の関数しか示していない）。ここで、Ａ（ｎ），Ｂ（ｎ）は、図５の式で得られる規格化された相関値であるから、結局、含有信号Ｇ（ｊ）は、信号Ｓ（ｊ）内に含まれている周波数ｆ（ｎ）をもった信号成分ということができる。
【００３０】
こうして、含有信号Ｇ（ｊ）が求まったら、信号Ｓ（ｊ）から含有信号Ｇ（ｊ）を減じることにより、差分信号Ｓ（ｊ＋１）を求める。図６（ｃ）は、このようにして求まった差分信号Ｓ（ｊ＋１）を示している。この差分信号Ｓ（ｊ＋１）は、もとの信号Ｓ（ｊ）の中から、周波数ｆ（ｎ）をもった信号成分を取り去った残りの信号成分からなる信号ということができる。そこで、パラメータｊを１だけ増加させることにより、この差分信号Ｓ（ｊ＋１）を新たな信号Ｓ（ｊ）として取り扱い、同様の処理を、パラメータｊをｊ＝１〜Ｊまで１ずつ増やしながらＪ回繰り返し実行すれば、Ｊ個の代表周波数を選出することができる。
【００３１】
このような相関計算の結果として出力されるＪ個の含有信号Ｇ（１）〜Ｇ（Ｊ）は、もとの区間信号Ｘの構成要素となる信号であり、もとの区間信号Ｘを符号化する場合には、これらＪ個の含有信号の周波数を示す情報および振幅（強度）を示す情報を符号データとして用いるようにすれば良い。尚、Ｊは代表周波数の個数であると説明してきたが、標準周波数ｆ（ｎ）の個数と同一すなわちＪ＝１２８であってもよく、周波数スペクトルを求める目的においてはそのように行うのが通例である。
【００３２】
（本発明に係る時系列信号の解析方法）
続いて上記基本原理を利用した本発明に係る時系列信号解析の手法について説明する。図７は本発明による時系列信号の解析の概略を示すフローチャートである。図７に示すように、まず時系列信号の周波数解析を行なう（ステップＳ１）。ここで、時系列信号として取り込んだ心音波形の一例を図８に示す。ステップＳ１では、まず、図８に示したような心音波形（信号）に対して、上記基本原理で図１（ａ）を用いて説明したように単位区間を設定する。続いて、図２に示したような周期関数を用意し、各単位区間ごとに区間信号との相関を計算し、周波数要素を選出する。ここで周波数要素とは、選出される代表周波数と、この代表周波数に対応する相関強度の組を意味する。この周波数要素の選出には、上述のように短時間フーリエ変換か一般化調和解析のどちらかの手法が適用できるが、一般化調和解析の手法を用いるのが好ましい。また、上述のように選出する代表周波数の数は設定により決定することができるが、１６個程度とすることが好ましい。ステップＳ１の周波数解析の結果選出された周波数要素を図９に示す。
【００３３】
図９においては、周波数を音の高さ、相関強度を音の強さとして、周波数要素を下向きの三角形で示している。音の高さは三角形の上辺の上下方向における位置で表されており、音の強さは三角形の高さで表されている。また、単位区間の長さは三角形の上辺の長さで表されている。ステップＳ１の周波数解析において選出される周波数要素は各単位区間について１６個程度とすることが好ましいが、図面が繁雑になるのを避けるため図９の例では各単位区間について３個ずつで示している。
【００３４】
各単位区間について周波数要素が選出されたら、次に各単位区間ごとに統一周波数要素を算出する（ステップＳ２）。統一周波数要素を構成する統一周波数Ｎｒ（ｔ）および統一強度Ｖｒ（ｔ）は以下の（数式１）により算出される。
【００３５】
（数式１）
Ｎｒ（ｔ）＝［Σ｛ｎ×Ｖｎ（ｔ）｝］／ΣＶｎ（ｔ）
Ｖｒ（ｔ）＝［Σ｛Ｖｎ（ｔ）｝²］^1/2
【００３６】
上記（数式１）において、ｎはノートナンバーであり、Ｖｎ（ｔ）はノートナンバーｎに対応するベロシティである。また、Σにより算出される総和は周波数要素数分行なわれる。すなわち、１６個の周波数要素が選出された場合は、１６個分の総和が算出されることになる。（数式１）により統一周波数Ｎｒ（ｔ）としては、各周波数要素を周波数軸と強度軸からなるグラフ上にプロットしたときの重心位置の周波数が算出されることになり、統一強度Ｖｒ（ｔ）としては、強度分布の二乗平均値が算出されることになる。図９に示した周波数要素に対してステップＳ２の処理により算出された統一周波数要素を図１０に示す。
【００３７】
次に、心音のI音およびII音成分の含まれる可能性がない統一周波数要素を削除する（ステップＳ３）。心音のI音およびII音成分は比較的低い周波数帯域に存在している。そのため、所定の閾値より高い成分を削除する。この閾値は心音を音響信号として取り込むための心音センサ系の周波数特性などにより変化するため調整が必要であるが、通常ノートナンバー５０付近を設定する。また、ノイズを削除するため、所定の閾値より小さい強度を有する成分を削除する。この閾値はベロシティの中央付近６４程度が設定される。これにより図１０に示した統一周波数要素から高周波数を有するものが削除され、図１１に示すような統一周波数要素だけが残ることになる。
【００３８】
次に残った統一周波数要素を統合したブロックデータを作成する（ステップＳ４）。具体的には時系列方向に隣接する統一周波数要素の統一周波数、相関強度の平均値を、統合により得られるブロックのブロック周波数、ブロック強度とする。図１１に示した統一周波数要素をブロック化した状態を図１２に示す。図１２においてブロック化された周波数要素は四角形で示されている。四角形の上辺の上下方向における位置が音の高さを示しており、四角形の高さが音の強さを示している。また、四角形の幅は統合される単位区間の数が異なるため、各ブロックにより異なるものとなる。
【００３９】
続いて各ブロックに対して属性情報の付与を行なう（ステップＳ５）。具体的には、I音、II音、その他の３種類の属性情報を与える。この判定は、次の４つのルールに基づいて行なわれる。
【００４０】
音の高さ：II音はI音に比べて音高が高い。（II音＞I音）
音の長さ：I音およびII音とも音の長さが短く固定しており、II音はI音より短い。（I音およびII音＜長さ閾値、かつI音＞II音）
音の強さ：I音およびII音とも他の成分に比べて強く、聴取するセンサの位置によりI音とII音のバランスが変化する。例外として、逆流性心雑音などはI音およびII音より強い場合がある。（I音およびII音＞強さ閾値）
音の間隔：I音とII音の間隔はII音とI音の間隔に比べて短い。心拍数が増えるとII音とI音の間隔は短くなるが、I音とII音の間隔は変化しない、すなわちI音とII音の間隔に近づく。（I-II間隔＜II-I間隔）
【００４１】
この結果、図１２に示した各ブロックには、図１３に示すような属性情報が付与されることになる。続いて、統一周波数要素に対して対応する属性情報の付与を行なう（ステップＳ６）。ここで、ブロックデータと対応する統一周波数要素を重ねた状態を図１４に示す。図１４に示したような対応関係に基づき、ステップＳ６の処理では、まず、I音およびII音の属性情報が付与されたブロックデータに対応する統一周波数要素に同一の属性情報が付与される。続いて、その他の属性情報が付与されたブロックデータに対応する統一周波数要素については、その統一周波数要素列の配列パターンから詳細属性情報が登録されたデータベースを参照してIII音、IV音（またはIIIとIVの重合音）、心雑音（収縮期か拡張期かまたは連続性か、逆流性か駆動性かといったサブ分類も定義されている）、クリック音、摩擦音などのいずれであるかが決定され、該当する詳細属性情報が付与される。図１４の例では、その統一周波数要素列の配列パターンからIII音とIV音の重合音であるという詳細属性情報が付与されることになる。さらに、図１４の例では、ステップＳ３の処理において音高が所定の閾値よりも高いために削除された統一周波数要素に対してクリック音の詳細属性情報が付与される。この段階で、図１３に示したブロックデータあるいは図１４に示すような統一周波数要素をディスプレイ装置などの出力手段に表示させることも可能である。このように心音の属性情報と共に表示することにより患者の心音がどのような状態になっているかを一目で確認することができる。
【００４２】
本実施形態では、属性情報が付与された統一周波数要素をさらに構造文書化する（ステップＳ７）。構造化文書としてＸＭＬ（eXtensible Markup Language）規格を採用した場合のソースコードの一例を図１５に示す。図１５に示す例は、図１４に示した統一周波数要素の先頭から心音の１周期分を構造文書化したものであり、２１行で記述されている。なお、図１５に記述されている統一符号データはＭＩＤＩに準拠して記述されている。ＸＭＬは基本的に１対のタグで実データが囲まれるような形式となっている。図１５において、先頭の１行目と最終の２１行目の一対のタグにより、文書の開始と終了が定義されている。２行目に記述された一対のタグでは、この文書の開始から終了までに記載されているＭＩＤＩ規格準拠のイベントデータ（<Event>タグで定義）に定義されている発音開始時刻（<StartTime>タグで定義）および発音終了時刻（<EndTime>タグで定義）の時間の単位（１秒あたりの分解能）が定義されている。３行目の<HeartCycle>タグは心音の一周期分のデータが以下記載されていることを指示し、図１５ではスペースの関係で途中までしか記載していないため終了タグ</HeartCycle>は省略してある。４行目から７行目は心音第I音を記述したものであり、４行目と７行目は心音第I音であることを示す一対のタグ、５行目と６行目はそれぞれ統一符号データをＭＩＤＩ規格に準拠して記述したものである。例えば、５行目の<StartTime>、<EndTime>はＭＩＤＩ規格ではデルタタイムという相対時刻で表現されている時刻を絶対時刻で記述しており、時刻「１０」から時刻「２０」まで発音されることを示している。また、５行目の<Pitch>はＭＩＤＩ規格のノートナンバーに対応しており、ノートナンバー「３０」に対応する音高で発音されることを示している。５行目の<Level>はＭＩＤＩ規格のベロシティに対応しており、ベロシティ「６０」に対応する音の強さで発音されることを示している。
【００４３】
作成された構造化文書がＸＭＬ形式である場合は、インターネット・ブラウザで閲覧できると共に、専用プレイヤーソフトウェアとＭＩＤＩ音源を用いて心音を音響信号として再生することができる。具体的には、作成された構造化文書をＷＷＷサーバに登録しておき、ユーザは自分のパソコンでブラウザを起動してインターネットでＷＷＷサーバにアクセスし、ＸＭＬ文書を得る。次に、ブラウザにプラグインされているＭＩＤＩシーケンサソフトが、ＸＭＬ文書に記録されているＭＩＤＩデータに従ってＭＩＤＩ音源を制御しながら、音響信号の再生を行なう。このように心音を符号化してＸＭＬ形式で記録することは、インターネットを介して流通するのに便利であったり、ＭＩＤＩ音源を用いて再生するのに適しているだけでなく、近年ＸＭＬ形式を用いて電子カルテとして電子化が行なわれているカルテ情報との整合性の観点から見ても有効なものである。
【００４４】
心音の属性が付与されたＭＩＤＩデータを電子カルテとして保存すると、ＭＩＤＩ音源で心音を再生できるという前述の効果以外に、以下で述べるように文書から診断に必要な定量的病態を読み取ることができるという効果がある。例えば、I音とII音などには亢進、減弱、分裂という病態があるが、これらの病態は属性で囲まれたＭＩＤＩイベントデータの数値から判断できる。すなわち、<Level>タグで囲まれたベロシティ（強さ）または<Pitch>タグで囲まれたノートナンバー（高さ）が所定値より高ければ亢進であり、所定値より低ければ減弱である。そして、図１５のI音およびII音の例では時間軸上近接する２つのイベント（三角形で表現された音符）で構成されているが、これらが時間的に離れれば分裂と判断できる。すなわち前のイベントの<EndTime>タグの値と後のイベントの<StartTime>タグの値との差が所定値以上であれば分裂と判断できる。また心雑音の臨床診断でしばしばレビン（Levine）の分類（クラス１〜６まであり、１は聴診では聴取が困難で心音図でないと判別できない程度の弱い雑音で、６は聴診器をあてなくても側にいるだけで聞こえる強い雑音）が用いられるが、これも<Level>タグで囲まれたベロシティ（強さ）から判別できる。（ベロシティ数値から自動的に６クラスに分類することも可能であるが、ベロシティはオーディオ入力条件により変動するため完全自動化は困難である。）
【００４５】
次に上述した本発明に係る時系列信号の解析方法を実現するための装置について説明する。図１６は、時系列信号解析装置の一実施形態を示す機能ブロック図である。図１６において、１は時系列信号取得手段、２は周波数解析手段、３は統一周波数要素算出手段、４はブロックデータ作成手段、５は属性情報付与手段、６は詳細属性データベース、７は出力手段、８は構造化文書作成手段である。図１６に示す時系列信号解析装置は現実にはコンピュータにオーディオ関係の周辺機器を接続し、専用のプログラムを搭載することにより実現される。
【００４６】
時系列信号取得手段１は、時系列信号を取得するためのものであり、心音信号を取得する場合には、聴診器にマイクを取り付け、取得した心音をＰＣＭ等のデジタル信号に変換するサンプリング機器により実現される。周波数解析手段２は取得された時系列信号の周波数解析を行なって周波数要素を選出する機能を有し、具体的には、図７のステップＳ１の処理をコンピュータプログラムにしたがって実行する。統一周波数要素算出手段３は、周波数解析手段２により得られる各単位区間ごとの複数の周波数要素を統一した統一周波数要素を算出する機能を有し、具体的には、図７のステップＳ２の処理をコンピュータプログラムにしたがって実行する。ブロックデータ作成手段４は、複数の統一周波数要素をブロック化したブロックデータを作成する機能を有し、具体的には、図７のステップＳ３、Ｓ４の処理をコンピュータプログラムにしたがって実行する。属性情報付与手段５は、あらかじめ設定されたルールにしたがって、ブロックデータに対して、属性情報を付与すると共に、ブロックデータを作成する基になった統一周波数要素に属性情報を付与し、詳細属性データベース６から抽出した詳細属性情報をさらに付与する機能を有する。すなわち、属性情報付与手段５は、図７のステップＳ５、Ｓ６の処理をコンピュータプログラムにしたがって実行することになる。詳細属性データベース６は、統一周波数要素に付与するための詳細属性情報と統一周波数要素の配列パターンの対応を記録したデータベースであり、本実施形態では、心音の第III音、第IV音（またはIIIとIVの重合音）、心雑音（収縮期か拡張期かまたは連続性か、逆流性か駆動性かといったサブ分類も定義されている）、クリック音、摩擦音に対応するものが記録されている。出力手段７は作成されたブロックデータを対応する属性情報と共に表示したり、印刷したり、あるいはブロックデータに内包する音を合成再生するものであり、ＸＭＬ規格の特徴からＸＳＬで記述されたスタイルシートを変えることにより、グラフ形式、表形式など様々な書式で表現できる。具体的に出力手段７は、ＣＲＴ、液晶等のディスプレイ装置、モノクロまたはカラーの各種印刷方式のプリンタ装置、ＭＩＤＩ規格の音源装置、オーディオ出力アンプおよびスピーカ装置で実現される。構造化文書作成手段８は、詳細属性情報が付与された統一周波数要素をＸＭＬ規格等のテキスト情報に変換する機能を有しており、具体的には、図７のステップＳ７の処理をコンピュータプログラムにしたがって実行する。
【００４７】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず種々の変形が可能である。上記実施形態では、時系列信号として心音を解析する場合について説明したが、呼吸音などその他生体音響信号、心電図など非音響の生体時系列信号の解析にも適用でき、その他の分野では、例えばエンジン音などの音響信号を時系列信号として解析し、自動車のエンジンの故障診断などに適用することも可能である。
【００４８】
【発明の効果】
以上、説明したように本発明によれば、与えられた時系列信号に対して設定された所定の単位区間ごとに時系列信号と複数の周期関数との相関を求めることにより、各単位区間に対して複数の周波数要素を選出し、各単位区間ごとに、選出された複数の周波数要素を基に１つの統一周波数要素を算出し、算出された統一周波数要素を時系列に並べた統一周波数要素列の配列パターンを基に、連続する複数の統一周波数要素をブロック化したブロックデータを作成し、所定のルールに基づいて、作成された各ブロックデータに対して属性情報を付与し、属性情報が付与されたブロックデータを出力するようにしたので、与えられた時系列信号がどのような状態を意味しているのかを容易に確認することができ、同時にブロックデータに内包された統一周波数要素列を参照することにより定量的な診断基礎情報を得ることが可能となり、時系列信号として心音を取り込めば、患者の状態を正確に判断するのに役立つという効果を奏する。
【図面の簡単な説明】
【図１】本発明の時系列信号解析装置における信号解析の基本原理を示す図である。
【図２】本発明で利用される周期関数の一例を示す図である。
【図３】図２に示す各周期関数の周波数とＭＩＤＩノートナンバーｎとの関係式を示す図である。
【図４】解析対象となる信号と周期信号との相関計算の手法を示す図である。
【図５】図４に示す相関計算を行うための計算式を示す図である。
【図６】一般化調和解析の基本的な手法を示す図である。
【図７】本発明による時系列信号の解析の概略を示すフローチャートである。
【図８】時系列信号として取り込んだ心音波形の一例を示す図である。
【図９】図８に示した心音波形から周波数解析により選出された周波数要素を示す図である。
【図１０】図９に示した周波数要素を基に算出された統一周波数要素を示す図である。
【図１１】図１０に示した統一周波数要素から不要なものを削除した状態を示す図である。
【図１２】図１１に示した統一周波数要素を基に作成したブロックデータを示す図である。
【図１３】図１２に示した各ブロックに対して属性情報を付与した状態を示す図である。
【図１４】ブロックデータと対応する統一周波数要素を重ねた状態を示す図である。
【図１５】構造化文書としてＸＭＬ規格を採用した場合のソースコードを示す図である。
【図１６】本発明による時系列信号解析装置の一実施形態を示す機能ブロック図である。
【符号の説明】
１・・・時系列信号取得手段
２・・・周波数解析手段
３・・・統一周波数要素算出手段
４・・・ブロックデータ作成手段
５・・・属性情報付与手段
６・・・詳細属性データベース
７・・・出力手段
８・・・構造化文書作成手段

Claims

与えられた時系列信号に対して設定された所定の単位区間ごとに時系列信号と複数の周期関数との相関を求めることにより、各単位区間に対して複数の周波数要素を選出する周波数解析手段と、
各単位区間ごとに、選出された前記複数の周波数要素を基に１つの統一周波数要素を算出する統一周波数要素算出手段と、
前記統一周波数要素を時系列に並べた統一周波数要素列の配列パターンを基に、連続する複数の統一周波数要素をブロック化したブロックデータを作成するブロックデータ作成手段と、
１つのブロックデータに対応する統一周波数要素列の配列パターンと詳細属性情報との対応関係を記録した詳細属性データベースと、
所定のルールに基づいて、前記作成された各ブロックデータに対して付与すべき属性情報を決定し、決定された属性情報を前記各ブロックデータに対応する統一周波数要素に付与するとともに、基本的な属性情報を付与することができなかったブロックデータに対応する統一周波数要素に対して前記詳細属性データベースを参照して付与すべき詳細属性情報を決定する属性情報付与手段と、
前記属性情報が付与された統一周波数要素を階層構造のテキスト情報として出力するための構造化文書作成手段と、
を有することを特徴とする時系列信号解析装置。
前記時系列信号が心音信号であり、前記基本的な属性情報が心音のＩ音成分およびII音成分であり、前記詳細属性データベースにおいてはIII音成分IV音成分等の異常心音成分や心雑音成分に対する配列パターンとの対応付けがなされていることを特徴とする請求項１に記載の時系列信号解析装置。
前記統一周波数要素算出手段が、各単位区間において選出された複数の周波数要素の周波数、信号強度を基に周波数要素分布の重心値を統一周波数として算出し、前記複数の周波数要素の強度分布の二乗平均値を統一強度として与えるようにしていることを特徴とする請求項１または２に記載の時系列信号解析装置。
前記構造化文書作成手段が出力するテキスト情報がＸＭＬ規格の書式に準拠して記述されており、内包する統一周波数要素が区間に対応するデルタタイム情報、周波数に対応するノートナンバー情報、強度に対応するベロシティー情報をもつＭＩＤＩ形式で記述されていることを特徴とする請求項１から３のいずれか一項に記載の時系列信号解析装置。