JP6103591B2 - 聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラム - Google Patents

聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラム Download PDF

Info

Publication number
JP6103591B2
JP6103591B2 JP2013119147A JP2013119147A JP6103591B2 JP 6103591 B2 JP6103591 B2 JP 6103591B2 JP 2013119147 A JP2013119147 A JP 2013119147A JP 2013119147 A JP2013119147 A JP 2013119147A JP 6103591 B2 JP6103591 B2 JP 6103591B2
Authority
JP
Japan
Prior art keywords
heart sound
feature value
heart
parameters
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013119147A
Other languages
English (en)
Other versions
JP2014233598A (ja
Inventor
江 鐘偉
鐘偉 江
樹平 孫
樹平 孫
海濱 王
海濱 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaguchi University NUC
Original Assignee
Yamaguchi University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaguchi University NUC filed Critical Yamaguchi University NUC
Priority to JP2013119147A priority Critical patent/JP6103591B2/ja
Publication of JP2014233598A publication Critical patent/JP2014233598A/ja
Application granted granted Critical
Publication of JP6103591B2 publication Critical patent/JP6103591B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本発明は、聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラムに関する。
1,000人の新生児のうち8人といわれる先天性心疾患者の多くは、欠陥の種別や程度によって、成人していくにつれ自然に治る場合と、早期に検出することができれば高い確率で治癒できる場合がある。心室中隔欠損症(VSD)は最も一般的な先天性心疾患であり、中隔の欠損程度によっては早期に手術しなければならない場合もある。このような先天性心疾患の進行状況を比較的簡便な方法で計測し判別することができれば、子供の成長過程に応じて適切な時期に適切な処置を行うことができ、患者への負担を軽減できる。
心疾患の診察方法として、古くから聴診法があるが、心音から心疾患を判断することは、医師でも長年の経験を要する。このような経験を要する心音からの心疾患の判断とともに、近年ではコンピュータ技術の発展とその適用により、心音信号から心疾患や心機能に関連するパラメータを容易に抽出できるようになってきている。それに伴い、コンピュータを用いて心疾患の判別や心機能の評価を行うことが可能になっている。
聴診音による心疾患の解析に関して、次のような特許文献に開示されている。
特許文献1には、マイクにより取得した音を電気信号に変換し、この電気信号のうち心音に対応する周波数範囲の信号と呼吸音に対応する周波数範囲の信号とを選択的に増強し、他の周波数範囲の信号を選択的に減衰させるようにイコライザの周波数特性を設定した電子聴診器について記載されている。
この電子聴診器において、心音データの特性はある程度個人差があるため、場合によっては心音として増強されるべきものが減衰されることがあり、ノイズを効果的に減少させられるとは限らない事態も生じ得るものであった。
特許文献2には、プリエンファシス、聴力損失の補償等のためのデジタルフィルタを備え、観測される信号中の反復信号を抑制し雑音を除去するためのパターン認識手段を有する電子聴診器について記載されている。
しかしながら、これらの電子聴診器において、インパルス伝達関数を確率するフィルタ手段、プリエンファシスを行うためパターン認識手段等の要素を備えるために、装置が煩雑になり、心音の個人差によりフィルタ手段、パターン認識手段によって効果的にノイズが減少させられない場合も生じるものである。
特許文献3では、心音検出プローブにより検出された心音波形信号を信号変換装置においてゲイン調整し、AD変換して汎用パーソナルコンピュータの入力信号とし、汎用パーソナルコンピュータで目的に応じた演算処理を行う心音計について開示されている。特許文献3に示される心音計は、家庭用のような一般的ユーザ向けの心音計として、汎用パーソナルコンピュータを用いた簡易な構成により心音波形の信号を利用し得るようにしたものである。ところで、心音プローブにより検出される心音にはノイズが含まれており、心音変換装置においてどの程度にゲイン調整を行うかによって送出される心音を聴取する際、あるいは心音データを送信、受信して解析処理を行う上での信頼性に大きな影響が与えられるのであるが、特許文献3においては、心音解析を行う上で検出された心音波形信号をどのようにゲイン調整するのがよいかという点について考慮してはおらず、心音解析を的確に行う上では不十分なものであった。
特許文献4において、判定基準を設けることなく正確に心音データを判定するために、心音の振幅を経過時間とともに記憶し、記憶された振幅のうち所定箇所の特徴を描出し、その結果に基づいてニューラルネットワークにより所定の認識を行い、認識の程度を出力し、心音の異常の程度を表示するようにした心音解析装置が開示されている。
この心音解析装置により、心臓検診の一次検診で求められる精密検診の必要性の判断におけるボーダーラインの設定がなされるものではあるが、ニューラルネットワークを用いているため、構成が簡易ではなく、一般ユーザには利用し易いものではなかった。
特許文献5は本発明者らによるものであり、鼓膜の振動モデルを用いて測定された心音データから振動応答の特徴値波形を求め、特徴値波形から僧帽弁、三尖弁、大動脈弁、肺動脈弁のいずれかの閉鎖音の持続時間、閉鎖音間の時間、それらの組み合わせとなる評価指数を求め、検出した心音についての評価指数を評価指数の正常値範囲情報と比較して心音の正常・異常を判別するデジタル聴診解析システムを開示している。また、特許文献6も本発明者らよるものであり、鼓膜の振動モデルを用いて測定された心音データから振動応答の特徴値波形を求め、特徴値波形のピークの時間幅、時間間隔を示す評価指数を求め、評価指数からファジーメンバー関数により規定されるデータ集合の中心からの評価指数の分散状況を表す評価関数について、評価関数が最小となる閾値に対して求められた評価指数、データ集合の中心の分布状態を表示する聴診心音信号の処理方法、処理装置について開示している。
これらは振動モデルを用いて検出された心音についての特徴値波形、心音パラメータを求め解析するものであるが、特許文献5の場合に、心音異常の種類、特徴に応じて心音データ、振動応答の形が多様になることにより、多様な心音の特性に対して心音の異常を的確に把握し判断する上では難点があり、また、特許文献6の場合には、計算量が多くなり、解析処理のための装置としての規模も大きく、煩雑になるものであった。
非特許文献1には、心音データについて得られた特徴値波形から心音特徴値パラメータを求め、その分布範囲の境界線をサポートベクトルマシン方法(SVM)により求め、心疾患を判別することについて開示されている。しかしながら、SVMにより求めた境界線をもとに心疾患を判別することにおいては、計算量が多く、判別条件の設定が複雑になるため、容易に実施できないという難点があった。
特開2005−52521号公報 特表平10−504748号公報 特開昭61−290936号公報 特開平5−309075号公報 特許4759727号公報 特許4848524号公報
Shuping SUN 他「Heart Sound Feature parameters Distribution and Support Vector Machine-Based Classification Boundary Determination Method for Ventricular Septal Defect Auscultation」(Journal of Computational Science and Technology, Vol. 6, No. 3, 2012, pp.198-206)
収録された心音から心疾患を判別することに関し、従来技術の聴診装置においては、多様な特性をもち得る心音信号について心疾患の判別を精度よく行うとともに、判別のための演算処理量を多大にすることなく、比較的簡易に行えるようにすることにおいて不十分であり、装置が煩雑で扱いが容易でなく、システムの規模が大きくなり、一般的なユーザが利用し難いという難点があった。そのため、安価な簡易な構成により、心音から心疾患の判別を精度よく行えるようにすることが望まれていた。
本発明は、前述した課題を解決すべくなしたものであり、本発明による聴診心音信号の処理方法は、心音特徴値波形を求めるためのモデルパラメータを設定することと、
心音を検出しそれにより心音データを取得することと、
取得された心音データに対して設定されたモデルパラメータの下での時間域の特徴値波形とそれをフーリエ変換した周波数域の特徴値波形とを生成することと、
前記時間域の特徴値波形における前後の1音の間隔である心拍間隔(T11)及び1音−2音の間隔(T12)と、前記周波数域の特徴値波形におけるピークについて閾値(H)から定まる周波数域幅(F)及びピークの中心周波数(F)とを心音特徴値パラメータとして算出することと、
求められた時間域及び周波数域の心音特徴値パラメータ(T12,T11)及び(F,F)について分布域を囲む境界線を求めることと、
求められた時間域及び周波数域での境界線をそれぞれ最小二乗法により近似する楕円曲線を生成して楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求めることと、
からなるステップにより多種の取得された心音データについて得られた楕円パラメータを蓄積したデータベースを形成し、心疾患の判別をすべき心音データについて心音データの取得、心音特徴値波形を求めるためのモデルパラメータの設定、心音特徴値波形の生成、心音特徴値パラメータ(T12,T11)及び(F,F)の算出を行って、求められた心音特徴値パラメータ(T12,T11)及び(F,F)に対して前記求められた楕円パラメータ(x,y,θ)を用いて座標変換を行い、座標変換後の心音特徴値パラメータについて前記楕円パラメータ(a,b)及び心疾患の判断式を用いて心疾患の判別のための解析処理を行うことを特徴とする。
本発明による聴診心音信号の処理装置は、
心音を検出し心音データを取得する心音データ取得部と、
取得された心音データに対して、設定された心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形と、それをフーリエ変換した周波数域の特徴値波形とを生成する特徴値波形生成部と、
前記時間域の特徴値波形における時間域の心音特徴値パラメータ(T12,T11)と、周波数域の特徴値波形における周波数域の心音特徴値パラメータ(F,F)とを取得する心音特徴値パラメータ取得部と、
前記時間域の心音パラメータ及び周波数域の心音特徴値パラメータについてサポートベクターマシンを用いて心音特徴値パラメータの分布の境界線を生成する境界線生成部と、
生成された時間域及び周波数域における境界線を近似する楕円曲線を、最小二乗法を用いて生成し楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求める楕円曲線近似部と、
多種の取得された心音データについて楕円近似により求められた楕円パラメータを蓄積したデータベース部と、
心疾患の判別をすべき心音データの心疾患判別に際して前記心音データ取得部で取得された心音データ取得部について前記心音特徴値パラメータ取得部で取得された心音特徴値パラメータ(T12,T11)及び(F,F)を前記データベース部に蓄積された楕円パラメータを用いて座標変換するパラメータの座標変換部と、
座標変換された心音特徴値パラメータについて前記データベース部に蓄積された楕円パラメータと対比し、判断式を用いて心疾患の判別のための解析を行う心疾患解析部と、
からなることを特徴とする。
また、本発明による聴診心音信号の処理装置は、
心音を検出し心音データを取得する心音データ取得部と、
取得された心音データに対して、設定された心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形と、それをフーリエ変換した周波数域の特徴値波形とを生成する特徴値波形生成部と、
前記時間域の特徴値波形における時間域の心音特徴値パラメータ(T12,T11)と、周波数域の特徴値波形における周波数域の心音特徴値パラメータ(F,F)とを取得する心音特徴値パラメータ取得部と、
前記時間域の心音特徴値パラメータ及び周波数域の心音パラメータについてサポートベクターマシンを用いて心音特徴値パラメータの分布の境界線を生成する境界線生成部と、
生成された時間域及び周波数域における境界線を近似する楕円曲線を、最小二乗法を用いて生成し楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求める楕円曲線近似部と、
多種の取得された心音データについて楕円近似により求められた楕円パラメータを蓄積したデータベース部と、
を備える心疾患解析用パラメータデータ生成ユニットと、
心疾患の判別を求められる心音データを取得する心音データ取得部と、
設定された心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形と、それをフーリエ変換した周波数域の特徴値波形を生成する心音特徴値波形生成部と、
前記時間域の特徴値波形における時間域の心音特徴値パラメータ(T12,T11)と、周波数域の特徴値波形における周波数域の心音特徴値パラメータ(F,F)とを取得する心音特徴値パラメータ取得部と、
取得された心音特徴値パラメータに座標変換を行う座標変換部と、
座標変換された心音特徴値パラメータと前記心疾患解析用パラメータデータ生成ユニットにおけるデータベース部に蓄積された楕円パラメータと対比し、判断式を用いて心疾患の判別のための解析を行う心疾患解析部と、
を備える心疾患解析・判断ユニットと、
からなるようにしたものとしてもよく、さらに、前記心疾患解析・判断ユニットを、心音データ取得のための電子聴診部を付設した携帯用端末装置として構成し、前記心疾患解析用パラメータデータ生成ユニットからの交信によりデータベース部に蓄積された楕円パラメータを取得できるようにしてもよい。
本発明による聴診心音信号を処理するためのプログラムは、
検出された心音信号について心疾患を判別するための解析処理をコンピュータ上で実行する聴診心音信号を処理するためのプログラムであって、
取得された心音データに対して心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形とそれをフーリエ変換した周波数域の特徴値波形とを生成し、前記時間域の特徴値波形における前後の1音ピークの間隔である心拍間隔(T11)及び1音−2音のピーク間隔(T12)と、前記周波数域の特徴値波形におけるピークについて閾値(H)から定まる周波数域幅(F)及びピークの中心周波数(F)とを心音特徴値パラメータとして求め、求められた時間域及び周波数域の心音特徴値パラメータ(T12,T11)及び(F,F)について分布域を囲む境界線を求め、求められた時間域及び周波数域での境界線をそれぞれ最小二乗法により近似する楕円曲線を生成して楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求め、多種の取得された心音データについて得られた楕円パラメータを蓄積したデータベースを形成し、また、取得された心疾患の判別をすべき心音データについて心音特徴値波形を求めるためのモデルパラメータの下で心音特徴値波形を生成し心音特徴値パラメータ(T12,T11)及び(F,F)の算出を求め、求められた心音特徴値パラメータ(T12,T11)及び(F,F)に対して前記求められた楕円パラメータ(x,y,θ)を用いて座標変換を行い、座標変換後の心音特徴値パラメータについて前記楕円パラメータ(a,b)及び心疾患の判断式を用いて心疾患の判別のための解析処理を行うことをコンピュータ上で実行することを特徴とする。
本発明の聴診心音信号の処理においては、心音特徴値パラメータの分布の境界線を楕円曲線で近似し、判断式を用いて心音異常の判別を行うことにより、計算量を少なくすることができ、心疾患判別を簡易な構成により、容易に行うことができる。心疾患判別のための心音データの解析処理を行う部分を、アプリケーション・プログラムとして小規模の構成することができ、PC用あるいは形態端末機用アプリケーションとして構成できる。心疾患の状況、心機能の評価を簡便に行うことができ、一般ユーザにも利用し易いアプリケーションの適用が可能になる。
(a),(b)は心音特徴値波形を求めるためのパラメータに基づいて正常心音(NM)から求めた時間域及び周波数域の心音特徴値波形の結果を示す図であり、(c),(d)は心室中隔欠損症心音(VSD)から求めた時間域及び周波数域の心音特徴値波形の結果を示す図であり、(e),(f)はそれぞれ時間域における特徴値パラメータの分布と周波数域におけるパラメータの分布を示す図である。 (a)心室中隔の欠損孔の大きさ(LVSD, MVSD, SVSD)について時間域における心音特徴値パラメータの分布を示す図であり、(b)その周波数域におけるパラメータの分布を示す図である。 (a)時間域における心音パラメータの分布の境界線を近似した楕円曲線を示す図であり、(b)周波数域における心音パラメータの分布の境界線を近似した楕円曲線を示す図である。 楕円についての座標変換を説明する図である。 本発明による聴診音信号の解析処理の過程を示すフロー図である。 実際の例についての心音疾患判別結果を、(a)時間域、(b)周波数域について示す図である。 本発明による一つの形態の聴診音信号の処理装置の構成を示す図である。 本発明による他の形態の聴診音信号の処理装置の構成を示す図である。
本発明においては、収録された心音信号から心疾患を判別できるように心音信号の解析処理を行うのであるが、その際、収録された心音信号データの処理において、特徴値波形に基づいた心音信号データの処理を行う。以下では、本発明の聴診音データの解析による心疾患の判別について、最初に、特徴値波形と心音特徴値パラメータの導出について説明し、次に心音特徴値パラメータについて解析処理により心疾患の判別を行う処理手順について説明する。
(A)心音特徴値波形と心音特徴値パラメータ
心臓は左心房、左心室、右心房、右心室の4つの部分に分かれており、全体で収縮と弛緩を繰り返して血液を全身に循環させるポンプの役割を担っている。左心房の入口に僧帽弁、左心室の入口に大動脈弁、右心室の入口に三尖弁、右心房の入口に肺動脈弁があり、これらの弁膜が血液の逆流を防止しており、心音はこれらの弁膜が閉じる際に発する音である。聴診による心音が正常か、異常かを正確に聞き分けるのには専門的な知識、経験を要するが、一般の者でも比較的簡単に聞き分けられるものもある。
心音特徴値波形を求める方法として、特許文献5で提示された鼓膜の振動モデルを用いて測定された心音データから振動応答の特徴値波形を求める方法もあるが、ここでは、最も一般的な方法について説明する。心音時間域データをX(k), 処理対象の移動ウィンドウ幅をLとすると、特徴値波形を式(1)で求めることができる。
ここで、
である。Nは信号Xの長さである。
また、周波数域における特徴値波形は、心音時間域データに対してフーリエ変換を行い、さらに得られた波形に対して、一定幅長の移動平均法により次のように求められる。
ここで、
Nは信号XFの長さ、Lは移動平均のウィンドウ幅である。
図1(a)は、採集した正常者の心音データXTと時間域における特徴値波形Wを示し、(c)は、VSD患者の結果を示す。横軸が時間、縦軸が心音の強度(振幅)である。強度は最大値で除し正規化して示してある。一般に正常な心音の波形では、1音及び2音と呼ばれるピークが繰り返し現れることが知られている。この1音は僧帽弁及び三尖弁の閉鎖によって生じ、2音は大動脈弁及び肺動脈弁の閉鎖並びに緊張によって生じるのであり、心音の正常、異常を判断するためには、1及び2音の持続時間(ピークの時間幅)を解析、評価するのが有効であると考えられる。図1(b)と(d)はそれぞれ場合における周波数域における結果を示す。
図1(a)の時間域の波形におけるピークS1、S2の重心をそれぞれG(i)、G(i)とすると、
である。時間域における心音特徴値パラメータとしての心拍間隔T11、1音と2音の間隔T12はG(i)により次のように表される。
11(i)=G(i+1)−G(i)・・・・・・・・(6)
12(i)=G(i)−G(i) ・・・・・・・・(7)
周波数域におる特徴値パラメータとしての中心周波数F、周波数域幅Fは次のようになる。
=R−L ・・・・・・・・・・・・・・(9)
ただし、R、Lはそれぞれ周波数域での閾値Hの線が波形Wのピークと交差する位置での右側、左側の値である。ここで閾値Hの値は0.2としている。
図1(e)と(f)は、正常心音2例とVSD心音2例について求めた心音特徴値パラメータ(T12,T11)及び(F,F)の分布をプロットした結果である。正常心音NM2(○)とVSD心音VSD1(▽)のパラメータ(T12,T11)の分布がかなり近くて判別することは難しいが、それぞれの(F,F)の分布に関してはかなり離れており、分別することが可能である。一方、正常心音NM1とVSD心音VSD2のパラメータ(F,F)の分布が近いが、(T12,T11)の分布が離れている。このことから正常心音とVSD心音の判別は時間域ならびに周波数域の分布から総合的に判断することが重要であることがわかる。
(B)境界線の導出
聴診により得られた多数の心音データについて、(A)で求めた時間域の心音パラメータ、周波数域のパラメータをプロットすると、心音データの傾向に応じてある程度まとまった範囲に分布する。図2(a),(b)は、それぞれ時間域の心音パラメータ(T12,T11)、周波数域の心音パラメータ(F,F)の分布を示しており、心室中隔欠損孔の大きさLVSD(▽)、MVSD(□)、SVSD(○)に応じてある程度まとまった分布となっている。心音データの判別に際し、この心音パラメータの分布のまとまりを表す境界線を求めた上で解析を行うのがよい。心音パラメータの分布からその境界線を求めるのは、サポートベクターマシン(SVM)や確率統計等の方法を用いてなされるが、ここではSVMを用いて行う方法について説明する。
SVMは、サポートベクターという分類曲線を用いてデータ・クラスを分類する統計学習法であり、分類曲線g(x)=0を見出し、分類関数f(x)を求めるという形になる。一般的に、分離できない線形クラスに分離サンプルがある場合に、入力ベクターを高次の特徴空間に写像するために、φ(・):R→Rnhの非線形写像を用いる。この場合、分類関数f(x)は
f(x)=sign{g(x)} ・・・・・・・・・(10)
ただし、
g(x)=Wφ(x)+b ・・・・・・・・・(11)
であり、xは入力ベクター、Wは可変加重ベクター、bは偏差であり、g(x)はトレーニング・ベクターの一部となるサポートベクター(SV)で決定される識別関数である。
境界線に囲まれるデータの集合をDSs(−)=(T12,T11)とし、境界線の近辺に人工的に生成した修正データ集合をDSs(+)とする。境界線を求めるために人工的に生成するデータは次のように求める。
a)心音パラメータT12のデータ集合T12 (−)の平均値μT12と、その標準分散σT12を求める。
b)データ集合T12 (+)は、その平均値と標準分散がそれぞれμT12 (+)=μT12±8σT12、σT12 (+)=4σT12となるように人工的に生成する。このように生成されたデータ集合T12 (+)の約15%が実測した心音データ集合T12の境界線付近で重なることになる。
c)同様にデータ集合T11 (+)を求める。
このように人工的に生成したデータ集合はDSs(+)=(T12 (+),T11 (+))となる。
d)上記のように得られたデータ集合DSs(−)=(T12,T11)とDSs(+)=(T12 (+),T11 (+))に対してサポートベクターマシン(SVM)を用いて境界曲線を求める。
さらに、次式による判別正確度CA
が一定値になるように反復計算し、境界線を求める。式(12)で、TPは真陽性(true positive)、TNは真陰性(true negative)、FPは偽陽性(false positive)、FNは偽陰性(false negative)である。
e)データ集合(F,F)についても、同様にデータ集合DSs(+)=(FG(+),F (+))を人工的に生成し、SVMを用いて境界線を求める。
図2(a),(b)においては、このように求められた境界線を示してある。
(C)境界線の楕円近似
上述のように求められた心音データの分布の境界線を用いて心疾患の判別を行うことができるのであるが、図2に示されるように、境界線はそれほど単純な形状の曲線ではなく、心疾患の判別のための計算量が非常に多くなるとともに、判別条件の設定も複雑になる。このことから、境界線を楕円曲線で近似し、この近似した楕円曲線を用いて心疾患の判別を行うことが計算量を多大にせず、判別条件を簡易にする上で有効であると考えられる。
境界線を近似する楕円の方程式を次のように仮定する。
F(A,x,y)=A11+A21xy+A31
+A41x+A51y+A61=0 ・・・・・・(13)
ただし、A21 −4A1131<0である。
上記SVMにより求めた境界線に対し、最小二乗法を用いて楕円の式(13)における係数Ai1(i=1,2,...,6)を求める。図2(a),(b)の場合について求められた楕円はそれぞれ図3(a),(b)のようになる。
次に、図3(a),(b)における楕円について、図4に示すように(x,y)→(X,Y)への座標変換を行って、楕円の式を
に変換する。XY座標系の原点はxy座標系の(x,y)にある。xy座標系でのパラメータAi1(i=1,2,...,6)とXY座標系でのパラメータ[x,y,a,b,θ]との関係は次のとおりである。
(D)楕円曲線を用いた心疾患解析
上述のように、心疾患解析における心音判別用パラメータは次のようにして求められる。
1)採取された大量の心音データから心音特徴値パラメータ、例えば(x,y)=(T12,T11)あるいは(F,F)を求める。
2)SVMや確率統計などの方法を用いて心音パラメータのデータ分布範囲を示す境界線を求める。
3)境界線データに対して最小二乗法を用いて近似楕円曲線を決定するとともに、楕円曲線特性パラメータ(x,y,a,b,θ)を心疾患解析パラメータあるいは患者ごとのパラメータとして求める。
このように心音判別用パラメータを、多種の取得された心音データについて求め、蓄積データ格納手段に蓄積保持して心音判別用パラメータのデータベースを生成する。実際に判別することが求められる心音データについての心疾患の解析は次のように行われる。
a)採取された心音データより心音特徴値パラメータ(x,y)を求め、楕円パラメータ(x,y,θ)を用いてXY座標に変換する。
b)楕円曲線特性パラメータ(a,b)を用いて、次の判断式により心疾患を判別する。
IDTとIDFは、それぞれ時間域と周波数域における判別指数であり、楕円曲線の内側にある場合は1となり、外側にある場合はゼロとなる。このように、特定の心音データについての心疾患の判別は、採取された心音データについての心音特徴値パラメータが、心音判別用データベースにおける心疾患を特徴づける楕円曲線内にあるか否かを判別することによりなされる。
本発明による聴診音による心疾患解析では、上述したように、心音データから得られた心音パラメータの分布についてSVMを用いて境界線を求め、その境界線を近似した楕円曲線を求め、求められた楕円曲線について、式(21)による判断式を用いて心疾患の判別を行う。心音パラメータの分布についての境界線を楕円近似により単純化することにより、判断式が式(21)のように簡易なものとして設定され、また、心疾患判別のための解析処理における計算量を格段に少なくすることが可能になる。
本発明による心音解析処理は図5のフロー図で示すような手順でなされる。(A)心音解析用パラメータの生成の段階と、(B)心音データによる心疾患判別の段階とに分かれる。
(A)心音解析用パラメータの生成の段階では、
(1)電子聴診部により心音を検出し、心音データを取得する、
(2)心音特徴値波形を求めるためのモデルパラメータを設定する、
(3)得られた心音データに対し、設定されたパラメータの下で時間域及び周波数域の特徴値波形を生成する、
(4)特徴値波形から心音特徴値パラメータ(T12,T11)、(F,F)を算出する、
(5)サポートベクターマシン(SVM)を用いて心音パラメータの分布の境界線を生成する、
(6)生成された境界線について、これを近似する楕円曲線を、最小二乗法を用いて求める、
(7)多種の心音データについて得られた楕円曲線の楕円パラメータ(x,y,a,b,θ)を疾患ごとに、またはユーザごとに求め、蓄積してデータベース化する、
という手順になる。
(B)心音データによる心疾患判別の段階では、
(1)電子聴診部により心音を検出し、心音データを取得する、
(2)心音特徴値波形を求めるためのモデルパラメータを設定する、
(3)得られた心音データに対し、設定されたパラメータの下で時間域及び周波数域の特徴値波形を生成する、
(4)特徴値波形から心音特徴値パラメータ(T12,T11)、(F,F)を算出する、
(5)楕円パラメータ(x,y,θ)を用いて心音パラメータ(T12,T11)、(F,F)に対して座標変換を行う、
(6)座標変換後の心音特徴値パラメータについて、楕円パラメータ(a,b)を用いて判断式により心疾患の判別を行う、
という手順になる。
心疾患の判別をすべき心音データについて、通常は(A)心音解析用パラメータの生成の段階において生成されたデータベースの楕円パラメータを用いて座標変換を行う。ただし、個人の心音データの場合に、ある程度心音データが蓄積された際に、楕円パラメータを計算し直して更新することにより、精度を高めた判別が可能になることが考えられる。
本発明による聴診心音信号の解析処理では、心音パラメータの分布の境界線を楕円曲線で近似し、判断式を用いて心音異常の判別を行うことにより、計算量を少なくすることができ、簡易な形態で心疾患の判別ができるようになる。
(E)実施検証例
心音パラメータについての境界線を楕円近似することを用いた本発明による心疾患解析の具体例について、以下説明する。まず、124例のVSD心音(そのうちSVSDが56例、MVSDが30例、LVSDが28例)に対して、SVMを用いて求めた境界線による判別結果(SVM)、楕円近似による判別結果(EMs)を表1に示す。両方法による判別正確度に大差はないことから、楕円近似による方法でもSVMを用いられた境界線による判別と同等の正確度が得られることがわかり、楕円曲線法の妥当性が示されている。
なお、表1に示す感度(Se)と特異度(Sp)はそれぞれ下記のように定義される。
次に、採集した正常者(NM)、心室中隔欠損症(SVSD,MVSD,LVSD)、僧帽弁狭窄症(MS)、大動脈弁狭窄症(AS)、大動脈弁閉鎖不全症(AR)、心房性細動(AF)などの心音データ例に対して、楕円曲線法を用いた解析アルゴリズムを適用して求めた結果を図8と表2に示す。時間域と周波数域における判別指数IDTとIDFが共に1となれば、正しく判断されたことになる。
解析処理に際して、VSDを心室中隔欠損孔の大きさ(φ)から分類し、ここでは、SVSD(φ≦5mm)、MVSD(5mm<φ≦15mm)、LVSD(φ>15mm)の3ランクに分類して解析した。
(F)聴診心音信号の処理装置の形態
図7は、本発明による聴診心音信号の処理装置の形態について概略的に示すものである。
この聴診心音信号処理装置は、心音を検出する電子聴診部a、検出された心音信号をAD変換し解析処理に供するデジタル心音データとする心音データ取得部11、設定された心音特徴値波形を求めるためのモデルパラメータの下で心音データの時間域及び周波数域の特徴値波形を生成する特徴値波形生成部12、生成された特徴値波形から時間域の心音特徴値パラメータ(T12,T11)及び周波数域の心音特徴値パラメータ(F,F)を取得する心音特徴値パラメータ取得部13、多種の取得された心音特徴値パラメータについてサポートベクターマシン(SVM)を用いて心音パラメータの分布の境界線を生成する境界線生成部14、生成された境界線について最小二乗法を用いて近似する楕円曲線を生成する楕円曲線近似部15、生成された楕円曲線の楕円パラメータ(x,y,a,b,θ)を疾患ごとに、またはユーザごとに求め蓄積した楕円パラメータのデータベース部16、心疾患を判別すべき心音データから求められた心音特徴値パラメータ(T12,T11)及び(F,F)についてデータベース部16の楕円パラメータ(x,y,θ)を用いて座標変換を行うパラメータの座標変換部17、座標変換された心音特徴値パラメータをデータベース部における楕円パラメータ(a,b)及び心疾患の判断式を用いて心疾患の判別のための解析処理を行う心疾患解析部18,心疾患解析の結果を表示する結果表示部19を備えるものである。
図7の装置とは別形態のものとして、図8に示す聴診心音信号処理装置の形態とすることができる。この聴診心音信号処理装置は、心疾患解析用パラメータデータ生成ユニット20及び心疾患解析・判断ユニット30を備えている。心疾患解析用パラメータデータ生成ユニット20は、心音を検出する電子聴診部b、検出された心音信号をAD変換し解析処理に供するデジタル心音データとする心音データ取得部21、設定された心音特徴値波形を求めるためのモデルパラメータの下で心音データの時間域及び周波数域の特徴値波形を生成する特徴値波形生成部22、生成された特徴値波形から時間域の心音特徴値パラメータ(T12,T11)及び周波数域の心音特徴値パラメータ(F,F)を取得する心音特徴値パラメータ取得部23、多種の取得された心音特徴値パラメータについてサポートベクターマシン(SVM)を用いて心音パラメータの分布の境界線を生成する境界線生成部24、生成された境界線について最小二乗法を用いて近似する楕円曲線を生成する楕円近似部25、生成された楕円曲線の楕円パラメータ(x,y,a,b,θ)を疾患ごとに、またはユーザごとに求め蓄積した楕円パラメータのデータベース部26からなる。
また、心疾患解析・判断ユニット30は、心音を検出する電子聴診部c、検出された心音信号をAD変換し解析処理に供するデジタル心音データとする心音データ取得部31、設定された心音特徴値波形を求めるためのモデルパラメータの下で心音データの時間域及び周波数域の特徴値波形を生成する特徴値波形生成部32、生成された特徴値波形から時間域の心音特徴値パラメータ(T12,T11)及び周波数域の心音特徴値パラメータ(F,F)を取得する心音特徴値パラメータ取得部33、取得された心音特徴値パラメータに座標変換を行う座標変換部34、座標変換された心音特徴値パラメータと前記心疾患解析用パラメータデータ生成ユニットにおけるデータベース部に蓄積された楕円パラメータと対比し、判断式を用いて心疾患の判別のための解析を行う心疾患解析部35、心疾患解析の結果をモニター手段に表示する結果表示部36からなる。
図8の装置形態による聴診心音信号処理装置では、多種の心音データを取得してデータベースを生成する心疾患解析用パラメータデータ生成ユニット20を固定した装置(親機)として備え、心疾患を判別すべき心音データを取得する心疾患解析・判断ユニット30を可搬型の端末機(子機)として備えるものとし、一般的なユーザが簡易な形で利用して心疾患解析・判断を行うようにすることができる。
本発明による聴診心音信号の処理装置は、心音パラメータの分布の境界線を楕円曲線で近似し、判断式を用いて心音異常の判別を行うものであって、計算量を少なくすることにより、心疾患を判別するための装置構成を簡易なものとすることができる。図8における心疾患解析・判断ユニット30は、心疾患判別のための心音データの解析処理を行う部分であるが、アプリケーション・プログラムとしても小規模のものとして構成することができ、PC用あるいは形態端末機用アプリケーションとして構成できる。
(G)聴診心音信号を処理するためのプログラム
また、本発明は、聴診心音信号の解析処理を行うコンピュータ上で行うためのプログラムとしての面をも有する。このような聴診心音信号の解析処理を行うプログラムは、取得された心音データに対して心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形とそれをフーリエ変換した周波数域の特徴値波形とを生成し、前記時間域の特徴値波形における前後の1音ピークの間隔である心拍間隔(T11)及び1音−2音のピーク間隔(T12)と、前記周波数域の特徴値波形におけるピークについて閾値(H)から定まる周波数域幅(F)及びピークの中心周波数(F)とを心音特徴値パラメータとして求め、求められた時間域及び周波数域の心音特徴値パラメータ(T12,T11)及び(F,F)について分布域を囲む境界線を求め、求められた時間域及び周波数域での境界線をそれぞれ最小二乗法により近似する楕円曲線を生成して楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求め、多種の取得された心音データについて得られた楕円パラメータを蓄積したデータベースを形成し、また、取得された心疾患の判別をすべき心音データについて心音特徴値波形を求めるためのモデルパラメータの下で心音特徴値波形を生成し心音特徴値パラメータ(T12,T11)及び(F,F)の算出を求め、求められた心音特徴値パラメータ(T12,T11)及び(F,F)に対して前記求められた楕円パラメータ(x,y,θ)を用いて座標変換を行い、座標変換後の心音特徴値パラメータについて前記楕円パラメータ(a,b)及び心疾患の判断式を用いて心疾患の判別のための解析処理を行うことをコンピュータ上で実行するものである。
本発明は、心音データの解析処理により簡易な形態、構成の解析処理により心疾患の判別を行うことができ、一般的なユーザにも利用し易い形態での心疾患の判別が可能なものとして広範な有用性をもつものである。
11,21,31 心音データ取得部
12,22,32 特徴値波形生成部
13,23,33 心音特徴値パラメータ取得部
14,24 境界線生成部
15,25 楕円近似部
16,26 楕円パラメータのデータベース部
17,34 パラメータの座標変換部
18,35 心疾患解析部
19,36 結果表示部
20 心疾患解析用パラメータデータ生成ユニット
30 心疾患解析・判断ユニット
a,b,c 電子聴診部

Claims (5)

  1. 心音特徴値波形を求めるためのモデルパラメータを設定することと、
    心音を検出しそれにより心音データを取得することと、
    取得された心音データに対して設定されたモデルパラメータの下での時間域の特徴値波形とそれをフーリエ変換した周波数域の特徴値波形とを生成することと、
    前記時間域の特徴値波形における前後の1音の間隔である心拍間隔(T11)及び1音−2音の間隔(T12)と、前記周波数域の特徴値波形におけるピークについて閾値(H)から定まる周波数域幅(F)及びピークの中心周波数(F)とを心音特徴値パラメータとして算出することと、
    求められた時間域及び周波数域の心音特徴値パラメータ(T12,T11)及び(F,F)について分布域を囲む境界線を求めることと、
    求められた時間域及び周波数域での境界線をそれぞれ最小二乗法により近似する楕円曲線を生成して楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求めることと、
    からなるステップにより多種の取得された心音データについて得られた楕円パラメータを蓄積したデータベースを形成し、心疾患の判別をすべき心音データについて心音データの取得、心音特徴値波形を求めるためのモデルパラメータの設定、心音特徴値波形の生成、心音特徴値パラメータ(T12,T11)及び(F,F)の算出を行って、求められた心音特徴値パラメータ(T12,T11)及び(F,F)に対して前記求められた楕円パラメータ(x,y,θ)を用いて座標変換を行い、座標変換後の心音特徴値パラメータについて前記楕円パラメータ(a,b)及び心疾患の判断式を用いて心疾患の判別のための解析処理を行うことを特徴とする聴診心音信号の処理方法。
  2. 心音を検出し心音データを取得する心音データ取得部と、
    取得された心音データに対して、設定された心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形と、それをフーリエ変換した周波数域の特徴値波形とを生成する特徴値波形生成部と、
    前記時間域の特徴値波形における時間域の心音特徴値パラメータ(T12,T11)と、周波数域の特徴値波形における周波数域の心音特徴値パラメータ(F,F)とを取得する心音特徴値パラメータ取得部と、
    前記時間域の心音パラメータ及び周波数域の心音特徴値パラメータについてサポートベクターマシンを用いて心音特徴値パラメータの分布の境界線を生成する境界線生成部と、
    生成された時間域及び周波数域における境界線を近似する楕円曲線を、最小二乗法を用いて生成し楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求める楕円曲線近似部と、
    多種の取得された心音データについて楕円近似により求められた楕円パラメータを蓄積したデータベース部と、
    心疾患の判別をすべき心音データの心疾患判別に際して前記心音データ取得部で取得された心音データ取得部について前記心音特徴値パラメータ取得部で取得された心音特徴値パラメータ(T12,T11)及び(F,F)を前記データベース部に蓄積された楕円パラメータを用いて座標変換するパラメータの座標変換部と、
    座標変換された心音特徴値パラメータについて前記データベース部に蓄積された楕円パラメータと対比し、判断式を用いて心疾患の判別のための解析を行う心疾患解析部と、
    からなることを特徴とする聴診心音信号の処理装置。
  3. 心音を検出し心音データを取得する心音データ取得部と、
    取得された心音データに対して、設定された心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形と、それをフーリエ変換した周波数域の特徴値波形とを生成する特徴値波形生成部と、
    前記時間域の特徴値波形における時間域の心音特徴値パラメータ(T12,T11)と、周波数域の特徴値波形における周波数域の心音特徴値パラメータ(F,F)とを取得する心音特徴値パラメータ取得部と、
    前記時間域の心音特徴値パラメータ及び周波数域の心音パラメータについてサポートベクターマシンを用いて心音特徴値パラメータの分布の境界線を生成する境界線生成部と、
    生成された時間域及び周波数域における境界線を近似する楕円曲線を、最小二乗法を用いて生成し楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求める楕円曲線近似部と、
    多種の取得された心音データについて楕円近似により求められた楕円パラメータを蓄積したデータベース部と、
    を備える心疾患解析用パラメータデータ生成ユニットと、
    心疾患の判別を求められる心音データを取得する心音データ取得部と、
    設定された心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形と、それをフーリエ変換した周波数域の特徴値波形を生成する心音特徴値波形生成部と、
    前記時間域の特徴値波形における時間域の心音特徴値パラメータ(T12,T11)と、周波数域の特徴値波形における周波数域の心音特徴値パラメータ(F,F)とを取得する心音特徴値パラメータ取得部と、
    取得された心音特徴値パラメータに座標変換を行う座標変換部と、
    座標変換された心音特徴値パラメータと前記心疾患解析用パラメータデータ生成ユニットにおけるデータベース部に蓄積された楕円パラメータと対比し、判断式を用いて心疾患の判別のための解析を行う心疾患解析部と、
    心疾患解析の結果を表示する結果表示部と、
    を備える心疾患解析・判断ユニットと、
    からなることを特徴とする聴診心音信号の処理装置。
  4. 前記心疾患解析・判断ユニットを、心音データ取得のための電子聴診部を付設した携帯用端末装置として構成し、前記心疾患解析用パラメータデータ生成ユニットからの交信によりデータベース部に蓄積された楕円パラメータを取得できるようにしたことを特徴とする請求項3に記載の聴診心音信号の処理装置。
  5. 検出された心音信号について心疾患を判別するための解析処理をコンピュータ上で実行する聴診心音信号を処理するためのプログラムであって、
    取得された心音データに対して心音特徴値波形を求めるためのモデルパラメータの下で時間域の特徴値波形とそれをフーリエ変換した周波数域の特徴値波形とを生成し、前記時間域の特徴値波形における前後の1音ピークの間隔である心拍間隔(T11)及び1音−2音のピーク間隔(T12)と、前記周波数域の特徴値波形におけるピークについて閾値(H)から定まる周波数域幅(F)及びピークの中心周波数(F)とを心音特徴値パラメータとして求め、求められた時間域及び周波数域の心音特徴値パラメータ(T12,T11)及び(F,F)について分布域を囲む境界線を求め、求められた時間域及び周波数域での境界線をそれぞれ最小二乗法により近似する楕円曲線を生成して楕円曲線を特徴づける楕円パラメータ(x,y,a,b,θ)を求め、多種の取得された心音データについて得られた楕円パラメータを蓄積したデータベースを形成し、また、取得された心疾患の判別をすべき心音データについて心音特徴値波形を求めるためのモデルパラメータの下で心音特徴値波形を生成し心音特徴値パラメータ(T12,T11)及び(F,F)の算出を求め、求められた心音特徴値パラメータ(T12,T11)及び(F,F)に対して前記求められた楕円パラメータ(x,y,θ)を用いて座標変換を行い、座標変換後の心音特徴値パラメータについて前記楕円パラメータ(a,b)及び心疾患の判断式を用いて心疾患の判別のための解析処理を行うことをコンピュータ上で実行することを特徴とする聴診心音信号を処理するためのプログラム。
JP2013119147A 2013-06-05 2013-06-05 聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラム Expired - Fee Related JP6103591B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013119147A JP6103591B2 (ja) 2013-06-05 2013-06-05 聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013119147A JP6103591B2 (ja) 2013-06-05 2013-06-05 聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラム

Publications (2)

Publication Number Publication Date
JP2014233598A JP2014233598A (ja) 2014-12-15
JP6103591B2 true JP6103591B2 (ja) 2017-03-29

Family

ID=52136740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013119147A Expired - Fee Related JP6103591B2 (ja) 2013-06-05 2013-06-05 聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラム

Country Status (1)

Country Link
JP (1) JP6103591B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580448B (zh) * 2019-08-07 2022-12-13 北京必安必恒科技发展有限公司 一种心音分类模型构建、分类方法及装置
CN116759102B (zh) * 2023-08-17 2023-12-05 北京慧兰医疗科技有限公司 一种基于心脏康复数据的分析管理系统
CN117204830A (zh) * 2023-09-13 2023-12-12 广州医科大学附属第一医院(广州呼吸中心) 一种基于心血管疾病的智能诊断系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3019283B2 (ja) * 1993-06-03 2000-03-13 シャープ株式会社 曲面の境界条件生成装置
JP4848524B2 (ja) * 2005-10-21 2011-12-28 国立大学法人山口大学 聴診心音信号の処理方法及び聴診装置
JP5207174B2 (ja) * 2008-03-31 2013-06-12 国立大学法人山口大学 心音周波数解析装置
RU2523624C2 (ru) * 2008-09-10 2014-07-20 Конинклейке Филипс Электроникс Н.В. Способ и система для определения положения источника звука

Also Published As

Publication number Publication date
JP2014233598A (ja) 2014-12-15

Similar Documents

Publication Publication Date Title
Varghees et al. Effective heart sound segmentation and murmur classification using empirical wavelet transform and instantaneous phase for electronic stethoscope
Varghees et al. A novel heart sound activity detection framework for automated heart sound analysis
CN107945817B (zh) 心肺音信号分类方法、检测方法、装置、介质和计算机设备
WO2019161610A1 (zh) 心电信息处理方法和心电工作站系统
JP4848524B2 (ja) 聴診心音信号の処理方法及び聴診装置
Aydore et al. Classification of respiratory signals by linear analysis
JP2016209327A (ja) 睡眠深度推定装置、睡眠深度推定方法、およびプログラム
Kamson et al. Multi-centroid diastolic duration distribution based HSMM for heart sound segmentation
CN103315767B (zh) 心音信号的判别方法及心音信号的判别系统
JP6103591B2 (ja) 聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラム
Yıldız et al. Automated auscultative diagnosis system for evaluation of phonocardiogram signals associated with heart murmur diseases
Li et al. Crackles detection method based on time-frequency features analysis and SVM
Daqrouq et al. Wavelet based method for congestive heart failure recognition by three confirmation functions
Barnova et al. A comparative study of single-channel signal processing methods in fetal phonocardiography
Akbari et al. Systolic Murmurs Diagnosis Improvement by Feature Fusion and Decision Fusion
Pasanen et al. An automated procedure for identifying spontaneous otoacoustic emissions
Golpaygani et al. Detection and identification of S1 and S2 heart sounds using wavelet decomposition method
Celler et al. Blood pressure estimation using time domain features of auscultatory waveforms and GMM-HMM classification approach
Smrcka et al. New methods for precise detection of systolic complexes in the signal acquired from quantitative seismocardiograph
Li et al. The QRS complex detection of ECG signal based on IPCMM algorithm
JP2010125087A (ja) 心臓人工弁音診断装置およびプログラム
CN113345471B (zh) 基于人工智能心音识别方法、终端和可读存储介质
Santos et al. Detection of the S2 split using the Hilbert and wavelet transforms
Moukadem et al. Automatic heart sound analysis module based on Stockwell transform
CN112401924B (zh) 一种心音分割方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160525

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170222

R150 Certificate of patent or registration of utility model

Ref document number: 6103591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees