JP6956962B2 - てんかん発作検出装置及びてんかん発作検出プログラム - Google Patents

Description

本発明は、てんかん患者の発作を高精度かつ高速にて検出できる、てんかん発作検出装置及びてんかん発作検出プログラムに関する。

てんかんは脳の神経細胞の過剰な興奮によって生じる神経疾患であり、過剰興奮の生じる部位や範囲により様々な発作を呈する。てんかんは世界的に最も一般的な神経疾患の一つであり、人口の約１％がてんかんを患っていると言われている。てんかんに起因する発作の症状は様々であるが、てんかん発作の問題点として、以下の３点が挙げられる。
第一に、発作に起因する外傷や呼吸の悪化、循環動態の悪化等が起こり得る。
第二に、意識を失う可能性が高く、また意識を失っても倒れない場合や就寝中の場合には、患者の傍に目撃者が居ないと発作の発生を把握できない。
第三に、いつ何処で発作が起こるのか予測が不能である。

本発明の先行技術文献を特許文献１〜３及び非特許文献１〜３に示す。
特許文献１には、てんかん性発作の兆候を心電信号から検知する、てんかん性発作兆候検知装置に関する技術が開示されている。
特許文献２には、てんかん性発作を三軸加速度計から検出する、てんかん発作のモニタリングシステムに関する技術が開示されている。
特許文献３には、てんかん性発作を心電信号から検出する、てんかん発作検出装置に関する技術が開示されている。
非特許文献１には、てんかん性発作をＥＥＧ（脳波）から検知する、てんかん性発作検知装置に関する技術が開示されている。
非特許文献２及び３には、てんかん性発作を動画像データから検知する、てんかん性発作検知装置に関する技術が開示されている。

特開２０１５−１１２４２３号公報 特開２０１４−２１７６４９号公報 特開２０１３−１９８５６２号公報

H. Adeli, S. Ghosh-Dastidar, and N. Dadmehr, "A wavelet-chaos methodology for analysis of EEGs and EEG subbands to detect seizure and epilepsy," IEEE Transactions on Biomedical Engineering, vol. 54, no. 2, pp. 205-211, 2007. H. Lu, Y. Pan, B. Mandal, H.-L. Eng, C. Guan, and D. W. Chan, "Quantifying limb movements in epileptic seizures through color-based video analysis," IEEE Transactions on Biomedical Engineering, vol. 60, no. 2, pp. 461-469, 2013. S. Kalitzin, G. Petkov, D. Velis, B. Vledder, and F. L. da Silva, "Automatic segmentation of episodes containing epileptic clonic seizures in video sequences," IEEE Transactions on Biomedical Engineering, vol. 59, no. 12, pp. 3379-3385, 2012.

てんかん発作の重篤な例として、強直間代発作、いわゆる全身けいれんが挙げられる。強直間代発作は、一過性の無呼吸や、酷い場合には心静止が生じ得ることがあり、てんかんにおける予期せぬ突然死の最も重要な危険因子でもある。強直間代発作が生じたら、体位変換、酸素投与、気道吸引等の早期介入を行い、突然死や二次的傷病の発生を防ぐ必要がある。これらの措置は、患者の呼吸不全や脳機能抑制の時間を短縮し、患者の身体生命における危険を早期に除去することに繋がる。
つまり、てんかん患者の安全のためには、いつ何時起こるかわからないてんかん発作の発生を迅速に把握して、適切なアフターケアを施すために、理想的には２４時間の監視が必要である。
しかしながら、医療機関であっても医師や看護師の人的リソースは圧倒的に不足している。また、家庭においても、単身者はもちろん同居者による常時観察は困難であり、てんかん患者を人手にて２４時間３６５日監視し続けることは凡そ不可能である。

そこで、人手に頼らず機械的にてんかん発作を検出する仕組みが必要になる。前述の特許文献１、２及び３は、何れもてんかん患者の体表面に心拍を検出するための電極や発作を検出するための加速度計等を取り付ける必要があり、ＱｏＬ（Quality of Life）の面で好ましいとは言い難い。
また、非特許文献１に示すように、脳波からてんかん性発作を検出することも可能ではあるが、てんかん患者の頭部に電極を取り付ける必要が有るため、ＱｏＬの面で好ましいとは言い難い。
非特許文献２では、てんかん患者を撮影した動画像データから検出する。しかし、非特許文献２の技術は、患者に手足の部分が単色で染め上げられた特殊なパジャマを着用させ、患者の手足を動画像データから検出するため、演算処理が膨大である。また、てんかん発作の検出精度に課題が認められる。

本発明は係る状況に鑑みてなされたものであり、少ない演算量で高速かつ高い精度でてんかん発作を検出することができる、てんかん発作検出装置及びてんかん発作検出プログラムを提供することを目的とする。

上記課題を解決するために、本発明のてんかん発作検出装置は、白黒の動画像データを予め定められたブロック数に分割して、その平均値を算出するブロック平均演算処理部と、ブロック平均演算処理部が出力した平均値データと、１フレーム直前の平均値データとの差分を出力することで、平均値データに含まれるＤＣ成分を除去するブロック差分演算処理部と、ブロック差分演算処理部が出力した平均値差分データのブロック単位でＦＦＴを実行するＦＦＴ処理部とを具備する。そして、ＦＦＴ処理部が出力したＦＦＴ変換データに含まれる周波数成分の最大値が１Ｈｚより大きく６Ｈｚ以下の範囲にあることを以て、動画像データに写る被写体にてんかん発作に基づくけいれんが発生したと判断する。

上記課題を解決するために、本発明のてんかん発作検出装置は、白黒の動画像データを予め定められたブロック数に分割して、ブロックにおける輝度情報の平均値を算出するブロック平均演算処理部と、ブロック平均演算処理部が出力した平均値データと、１フレーム直前の平均値データとの差分を出力することで、平均値データに含まれるＤＣ成分を除去するブロック差分演算処理部と、ブロック差分演算処理部が出力した平均値差分データのブロック単位でＦＦＴを実行するＦＦＴ処理部とを具備する。そして、ＦＦＴ処理部が出力したＦＦＴ変換データに含まれる周波数成分の最大値が１Ｈｚより大きく６Ｈｚ以下の範囲にあることを以て、動画像データに写る被写体にてんかん発作に基づくけいれんが発生したと判断する。

本発明の実施形態に係るてんかん発作検出装置の全体構成を示す概略図である。 てんかん発作検出装置のハードウェア構成を示すブロック図である。 てんかん発作検出装置のソフトウェア機能を示すブロック図である。 本発明の実施形態に係るてんかん発作検出装置の、ソフトウェア機能の動作の流れを示すフローチャートである。 平均差分メモリ、ＦＦＴ処理部、ＦＦＴバッファの関係と、周波数帯別最大値割合演算処理部における、ＦＦＴ変換データを用いたデータ処理の動作を説明するための図である。 ＦＦＴ変換データを用いた、最大値成分周波数メモリ、第一最高最大値周波数取得部及び第二最高最大値周波数取得部における、データ処理の動作を説明するための図である。 第二の特徴である周波数の変化を検出する処理を含めたものと、含めないものとで、ブロック分割形状及び分割数を変化させつつ、サンプル動画データを読み込ませた際の検出率を示す表である。

てんかん患者のてんかん発作、特に強直間代発作に代表される全身けいれん症状には、他の疾病に起因するけいれん症状とは異なる、以下の特徴がある。
第一の特徴として、けいれんの周波数が１Ｈｚ以上６Ｈｚ以下の周波数範囲であること。
第二の特徴として、てんかん発作発生直後から時間が経過するに連れて、けいれんの周波数が徐々に低くなること。
本発明の実施形態に係るてんかん発作検出装置は、以上の二種類の特徴を動画像データから高速に抽出して、てんかん発作の検出を高精度に実現する。

［てんかん発作検出装置１０１：全体構成］
図１は、本発明の実施形態に係るてんかん発作検出装置１０１の全体構成を示す概略図である。
カメラ１０２はてんかん患者１０３が寝ているベッド１０４を撮影し、動画像データストリームを生成する。カメラ１０２が出力する動画像データストリームは、パソコンよりなるてんかん発作検出装置１０１に入力される。てんかん発作検出装置１０１は、動画像データストリームからてんかん患者１０３のてんかん発作を検出して、アラーム信号をその他の機器へ出力する。

例えば、てんかん発作検出装置１０１が出力するアラーム信号をそのままナースコールのシステムに供給することが可能である。また、監視用動画記録装置が周知のドライブレコーダのように動画像データをリングバッファに記録し続け、てんかん発作検出装置１０１が出力するアラーム信号に基づいてその動画像データを別途保存する、という使い方も可能である。
カメラ１０２の焦点距離は、撮影される画像の範囲内にベッド１０４あるいはてんかん患者１０３の全身が満遍なく写るように設定されることが好ましい。

［てんかん発作検出装置１０１：ハードウェア構成］
図２は、てんかん発作検出装置１０１のハードウェア構成を示すブロック図である。
一般的なパソコンよりなるてんかん発作検出装置１０１は、バス２０１に接続された、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、表示部２０５、操作部２０６、不揮発性ストレージ２０７、ＮＩＣ（Network Interface Card）２０８を備える。したがって、図１及び図２に示すてんかん発作検出装置１０１は、カメラ１０２とＬＡＮで接続される。
不揮発性ストレージ２０７には、パソコンをてんかん発作検出装置１０１として動作させるためのアプリケーションプログラムが格納されている。

なお、カメラ１０２とてんかん発作検出装置１０１との間のインターフェースは、ＵＳＢ等のシリアルインターフェースでもよい。また、英国ラズベリーパイ財団（http://www.raspberrypi.org/）が開発する「Ｒａｓｐｂｅｒｒｙ Ｐｉ」等を始めとする、近年普及している安価なシングルボードコンピュータを用いて、カメラ１０２にてんかん発作検出装置１０１を内蔵させることも可能である。この場合、表示部２０５及び操作部２０６は不要となる。

また、てんかん発作検出装置１０１の入力データは、カメラ１０２から供給される動画像データストリームだけに限定されない。録画済みの動画像データファイルであってもよい。図７で後述するてんかん発作検出装置１０１の性能検証においては、録画済みの動画像データファイルを使用している。

［てんかん発作検出装置１０１：ソフトウェア機能］
図３は、てんかん発作検出装置１０１のソフトウェア機能を示すブロック図である。なお、これ以降の説明において、てんかん発作検出装置１０１に入力される動画像データは一例として毎秒３０フレームであるものとする。当然、てんかん発作検出装置１０１に入力される動画像データのフレームレートは毎秒３０フレームに限定されるものではなく、てんかん患者１０３の発作に基づくけいれんの周波数を識別できる程度のフレームレートであればよい。また、圧縮された動画像データのデコード処理は当然にあるものとして記載を省略している。

カメラ１０２から出力されるカラーの動画ストリームデータ、または動画像ファイル３０１は、白黒変換処理部３０２にて色情報が削減され、例えば２５６階調の輝度情報のみで構成される白黒（モノクローム）の動画像データに変換される。なお、カメラ１０２が出力する動画ストリームデータ、または動画像ファイル３０１が最初から白黒動画像データである場合、白黒変換処理部３０２は不要である。
ブロック平均演算処理部３０３は、白黒変換処理部３０２が出力する白黒の動画像データを予め定められたブロック数に分割して、それらブロックに対し、輝度の平均値を算出する。
ブロック差分演算処理部３０４は、ブロック平均演算処理部３０３が出力した平均値データと、1フレーム直前の平均値データとの差分を出力することで、平均値データに含まれるＤＣ成分を除去する。
こうしてＤＣ成分が除去された平均値差分データは、平均差分メモリ３０５に格納される。

平均差分メモリ３０５は、平均値差分データを３００フレーム分（１０秒分）記憶する。
ＦＦＴ処理部３０６（Fast Fourier Transform）は平均差分メモリ３０５のブロックに注目して、ブロック毎のＦＦＴ変換データを出力する。
ＦＦＴ変換データは、一旦ＦＦＴバッファ３０７に保持される。
最大値成分周波数取得処理部３０８は、ＦＦＴバッファ３０７に保持されたＦＦＴ変換データを読み込み、最大値を示す周波数成分の周波数を取得して、最大値成分周波数メモリ３０９に出力する。
最大値成分周波数メモリ３０９は、ブロック毎の最大値成分周波数を３０フレーム分（１秒分）記憶する。

第一最高最大値周波数取得部３１０は、指定されたブロックについて、最大値成分周波数メモリ３０９の後半１５フレーム分（０．５秒分）の最高最大値周波数を出力する。
第二最高最大値周波数取得部３１１は、指定されたブロックについて、最大値成分周波数メモリ３０９の前半１５フレーム分（０．５秒分）の最高最大値周波数を出力する。
最高最大値周波数とは、最大値を示す周波数成分のうち最も高い周波数を意味する。最高最大値周波数の詳細については、図６にて後述する。
後半１５フレーム分の最高最大値周波数と前半１５フレーム分の最高最大値周波数は、第二コンパレータ３１２にて評価される。第二コンパレータ３１２は、後半１５フレーム分の最高最大値周波数が前半１５フレーム分の最高最大値周波数より大きい場合には、論理の真を出力する。

周波数帯別最大値割合演算処理部３１３は、ＦＦＴバッファ３０７に保持されたＦＦＴ変換データを読み込み、周波数帯毎に最大値を示す周波数成分の大きさ（Ｌ１、Ｌ２、Ｌ３）の割合（Ｃ）を演算し、周波数帯別最大値割合メモリ３１４に出力する。
周波数帯別最大値割合メモリ３１４に保持された周波数帯別最大値割合は、第一閾値３１５と共に第一コンパレータ３１６にて評価される。第一コンパレータ３１６は、第一閾値３１５より周波数帯別最大値割合が大きい場合には論理の真を出力する。
第二コンパレータ３１２の出力論理値と第一コンパレータ３１６の出力論理値は、ＡＮＤゲート３１７によって論理積が出力される。ＡＮＤゲート３１７の論理積出力はフラグメモリ３１８に格納される。フラグメモリ３１８はブロックに対応するフラグを１フレーム分有する。

第一カウンタとも言えるフラグカウンタ３１９はフラグメモリ３１８中の論理の真の数を計数する。
フラグカウンタ３１９が出力する論理の真の数は、第二閾値３２０と共に第三コンパレータ３２１にて評価される。第三コンパレータ３２１は、第二閾値３２０より論理の真の数が多い場合には論理の真を出力する。
第三コンパレータ３２１の出力は第二カウンタ３２２に入力される。第二カウンタ３２２は入力の論理が偽の時にはリセットされ、入力の論理が真の時に入出力制御部３２３から出力されるトリガを計数する。

第二カウンタ３２２の出力データは第四コンパレータ３２４に入力される。第四コンパレータ３２４は第二カウンタ３２２の出力データを第三閾値３２５と比較して、第三閾値３２５以上の値であれば論理の真を出力する。第三閾値３２５には１秒を示すフレーム数が設定される。本実施形態の場合、入力される動画像データが毎秒３０フレームなので、第三閾値３２５は「３０」という数になる。
この、第四コンパレータ３２４の論理値出力がアラーム出力となり、表示処理部３２６を通じて表示部２０５にて表示される他、種々のその他機器へ出力される。

入出力制御部３２３は、
・平均差分メモリ３０５からＦＦＴ処理部３０６に読み込む際のアドレス制御、
・最大値成分周波数メモリ３０９から第一最高最大値周波数取得部３１０及び第二最高最大値周波数取得部３１１に読み込む際のアドレス制御、
・ＡＮＤゲート３１７の論理積出力値をフラグメモリ３１８に書き込む際のアドレス制御、
・フラグカウンタ３１９を起動するタイミング制御、
・第二カウンタ３２２に与える計数用パルスの出力、
・データ処理の実行制御
等を行う。

図４は、本発明の実施形態に係るてんかん発作検出装置１０１の、ソフトウェア機能の動作の流れを示すフローチャートである。
なお、図４のフローチャートでは、動画像データストリームの１フレームにおけるａ行ｂ列の処理を、要素数ｉの処理に見立てている。
処理を開始すると（Ｓ４０１）、先ず、入出力制御部３２３はカウンタ変数ｊを１に初期化する（Ｓ４０２）。次に、カウンタ変数ｉを１に初期化する（Ｓ４０３）。

次にＦＦＴ処理部３０６は、カウンタ変数ｉに該当するブロックについて、直前１０秒のサンプルに対しＦＦＴを実行する。そして、周波数帯別最大値割合演算処理部３１３は、周波数範囲毎の最大値を示す周波数成分の大きさＬ１（ｉ，ｔ）、Ｌ２（ｉ，ｔ）、Ｌ３（ｉ，ｔ）を取得する。更に、最大値成分周波数取得処理部３０８は、最大値を示す周波数成分の周波数Ｆｍｘを取得する（Ｓ４０４）。
ここで、Ｌ２（ｉ，ｔ）は、周波数ｆが１Ｈｚ＜ｆ≦６Ｈｚの範囲における、最大値を示す周波数成分の大きさである。
同様に、Ｌ１（ｉ，ｔ）は、周波数ｆが０Ｈｚ＜ｆ≦１Ｈｚの範囲における、最大値を示す周波数成分の大きさである。
Ｌ３（ｉ，ｔ）は、周波数ｆが６Ｈｚ＜ｆ≦１０Ｈｚの範囲における、最大値を示す周波数成分の大きさである。

次に、周波数帯別最大値割合演算処理部３１３は、Ｌ１（ｉ，ｔ）、Ｌ２（ｉ，ｔ）、Ｌ３（ｉ，ｔ）から１Ｈｚ以上６Ｈｚ未満の周波数帯のピーク値周波数のレベルの割合Ｃ（ｉ，ｔ）を算出する。そして第一コンパレータ３１６は、Ｃ（ｉ，ｔ）が第一閾値Ｚｃより大きいか否かを確認する（Ｓ４０５）。

Ｃ（ｉ，ｔ）が第一閾値Ｚｃより大きいならば（Ｓ４０５のＹＥＳ）、第一最高最大値周波数取得部３１０は最大値成分周波数メモリ３０９を読み込み、後半１５フレームのＦｍｘのうち最も高い周波数（Ｆｍｍ（ｉ，ｔ−１６，ｔ−３０））を出力する。第二最高最大値周波数取得部３１１は最大値成分周波数メモリ３０９を読み込み、前半１５フレームのＦｍｘのうち最も高い周波数（Ｆｍｍ（ｉ，ｔ，ｔ−１５））を出力する。そして第二コンパレータ３１２は、Ｆｍｍ（ｉ，ｔ−１６，ｔ−３０）とＦｍｍ（ｉ，ｔ，ｔ−１５）とを比較して、Ｆｍｍ（ｉ，ｔ，ｔ−１５）がＦｍｍ（ｉ，ｔ−１６，ｔ−３０）より下がっているか否かを確認する（Ｓ４０６）。
なお、Ｆｍｍ（ｉ，ｔ，ｔ−１５）は、時点ｔからｔ−１５（ｔ〜０．５秒）の間における、最大値を示す周波数成分の周波数であるＦｍｘのうち最も高い周波数を指す。
同様に、Ｆｍｍ（ｉ，ｔ−１６，ｔ−３０）は、時点ｔ−１６からｔ−３０（（ｔ−０．５）秒〜（ｔ−１）秒）の間における、最大値を示す周波数成分の周波数であるＦｍｘのうち最も高い周波数を指す。

Ｆｍｍ（ｉ，ｔ−１６，ｔ−３０）＞Ｆｍｍ（ｉ，ｔ，ｔ−１５）であるならば（Ｓ４０６のＹＥＳ）、入出力制御部３２３はｉ番目のフラグ配列変数Ｆｌｇ（ｉ）を論理の真（図４中、「．ｔ．」と表記）に設定する（Ｓ４０７）。
ステップＳ４０５でＣ（ｉ，ｔ）が第一閾値Ｚｃ以下か（Ｓ４０５のＮＯ）、またはステップＳ４０６でＦｍｍ（ｉ，ｔ−１６，ｔ−３０）≦Ｆｍｍ（ｉ，ｔ，ｔ−１５）であるならば（Ｓ４０６のＮＯ）、ｉ番目のフラグ配列変数Ｆｌｇ（ｉ）を論理の偽（図４中、「．ｆ．」と表記）に設定する（Ｓ４０８）。

ステップＳ４０７、Ｓ４０８の何れの場合でも、入出力制御部３２３は処理を実行した後、カウンタ変数ｉを１インクリメントする（Ｓ４０９）。
そして入出力制御部３２３は、カウンタ変数ｉがｉの最大値ｉｍａｘより大きいか否かを確認する（Ｓ４１０）。
ｉ≦ｉｍａｘなら（Ｓ４1０のＮＯ）、入出力制御部３２３は再びステップＳ４０４から処理を繰り返す。

ｉ＞ｉｍａｘなら（Ｓ４１０のＹＥＳ）、次にフラグカウンタ３１９はフラグ配列変数Ｆｌｇの、論理の真の要素数を数える。そして第三コンパレータ３２１は、その総数（ΣＦｌｇ）が第二閾値Ｚｂより大きいか否かを確認する（Ｓ４１１）。
ΣＦｌｇ＞Ｚｂなら（Ｓ４１１のＹＥＳ）、入出力制御部３２３はカウンタ変数ｊを１インクリメントする（Ｓ４１２）。
ΣＦｌｇ≦Ｚｂなら（Ｓ４１１のＮＯ）、入出力制御部３２３はカウンタ変数ｊを１に初期化する（Ｓ４１３）。

ステップＳ４１２、Ｓ４１３の何れの場合でも、第四コンパレータ３２４はカウンタ変数ｊが第三閾値３２５の「３０」以上であるか否かを確認する（Ｓ４１４）。
カウンタ変数ｊが３０以上である、すなわち第三コンパレータ３２１の出力論理値が真の状態が１秒以上継続していれば（Ｓ４１４のＹＥＳ）、入出力制御部３２３はてんかん患者にてんかん発作が生じたと判断し、アラームを出力する（Ｓ４１５）。
カウンタ変数ｊが３０未満である、すなわち第三コンパレータ３２１の出力論理値が真の状態が１秒以上継続していなければ（Ｓ４１４のＮＯ）、入出力制御部３２３はてんかん患者にてんかん発作が生じていないと判断し、アラームを出力しない（Ｓ４１６）。
ステップＳ４１５、Ｓ４１６の何れの場合でも、入出力制御部３２３はステップＳ４０３から処理を繰り返す。

図５は、平均差分メモリ３０５、ＦＦＴ処理部３０６、ＦＦＴバッファ３０７の関係と、周波数帯別最大値割合演算処理部３１３において、ＦＦＴバッファ３０７に格納されるＦＦＴ変換データ３０７を用いたデータ処理の例を示す。
平均差分メモリ３０５は、１フレームにおけるブロック毎の平均差分値の集合体を、３００フレーム分保持している。
ＦＦＴ処理部３０６は、ステップＳ４０３におけるカウンタ変数ｉに該当するブロックについて、直前１０秒のサンプルに対しＦＦＴを実行する。ＦＦＴの実行結果であるＦＦＴ変換データは３００サンプルのＦＦＴバッファ３０７に保持される。

ＦＦＴバッファ３０７に格納されたＦＦＴ変換データはグラフＰ５０１に示すように、周波数毎のレベルが格納されている。周波数帯別最大値割合演算処理部３１３は、このＦＦＴ変換データを３つの周波数帯に分けて、その最大値をＬ１（ｉ，ｔ）、Ｌ２（ｉ，ｔ）、Ｌ３（ｉ，ｔ）として取得し、その割合を演算する。
演算の結果得られた周波数帯別最大値割合は、第一閾値Ｚｃと比較されて、論理値として出力される。

前述の通り、てんかん患者１０３の全身けいれん症状における第一の特徴として、けいれんの周波数が１Ｈｚ以上６Ｈｚ以下の周波数範囲である、と記した。てんかん患者１０３が発作を起こしてけいれんすると、患者の手足を含む全身がけいれんで震える。この震えを、動画像データから抽出することができれば、てんかん患者１０３の全身けいれん症状における第一の特徴を捉えることが可能になる。
そこで、先ずは動画像データを白黒に変換した後、例えば縦１０×横１０等の大雑把な複数のブロックに分割する。そして、ブロック毎に輝度の平均値を算出する。すると、動画像データの解像度が著しく低下された、周知のモザイク状の画像に変換される。てんかん患者１０３がけいれんした動画像データに周知のモザイク処理を施すと、けいれんはモザイクの明滅となって現れる。このモザイクの明滅の周期をフーリエ変換によって特定すれば、てんかん患者１０３の発作に基づくけいれんの周波数範囲であるか否かを判定することが可能になる。

例えば、元の動画像データが１０２４×７６８ピクセルの２５６色カラー動画像であった場合、画面データのデータ量は、１フレーム当たり１バイト×３色×１０２４×７６８ピクセル＝２３５９２９６バイト、凡そ２．４Ｍバイトである。この画面データに対し、縦７６８ピクセルを７６〜７７ピクセル毎に１０等分、横１０２４ピクセルを１０２〜１０３ピクセル毎に１０等分する。そして、（１０２〜１０３）×（７６〜７７）ピクセルの範囲について、白黒変換とブロック平均演算、そしてＤＣ成分を除去するための差分演算を行う。すると、白黒変換処理部３０２による白黒変換処理と、ブロック平均演算処理部３０３によるブロック平均演算処理によって、１フレーム当たり１バイト×１０×１０＝１００バイトと、演算の要素数は大幅に減少する。

次に、画面を分割したブロック毎に、ＦＦＴを実行する。例えば１０×１０のブロックの、縦３番目、横５番目のブロックであれば、現時点のフレームの縦３番目、横５番目のブロック、１フレーム前のフレームの同じ位置のブロック、２フレーム前のフレームの同じ位置のブロック、…、３００フレーム前のフレームの同じ位置のブロックを抽出する。そして、抽出した要素に対し、ＦＦＴを実行する。ＦＦＴ処理部３０６によって抽出する周波数成分が約０．１〜１４Ｈｚ程度の低周波であるため、より正確なＦＦＴ実行結果を得るために、このＦＦＴ処理部３０６が対象とする元データのサンプル数は、ある程度長い時間間隔のサンプル数が必要である。本発明の実施形態では、この時間間隔を１０秒とした。
図５において模式的に説明した平均差分メモリ３０５は、フレーム毎の画面をブロックで分割した平均差分値の２次元配列が１０秒分設けられている。動画像データが毎秒３０フレームであれば、３００フレームとなる。

３００フレーム分（１０秒分）のサンプルに対してＦＦＴを実行すると、３００サンプルの実行結果が得られる。この実行結果は、周波数毎のレベルである。例えば、図５のグラフＰ５０１のような実行結果が得られる。この実行結果を、３個の周波数帯域に分割して、それらの周波数帯域における、最大値を示す周波数成分の大きさを取得する。

先ず、てんかん患者１０３の発作に基づくけいれんの周波数範囲として、１Ｈｚ＜ｆ≦６Ｈｚの範囲における、最大値を示す周波数成分の大きさＬ２（ｉ，ｔ）を得る。
次に、Ｌ２より低い周波数成分として、０Ｈｚ＜ｆ≦１Ｈｚの範囲における、最大値を示す周波数成分の大きさＬ１（ｉ，ｔ）を得る。
そして、Ｌ２より高い周波数成分として、６Ｈｚ＜ｆ≦１０Ｈｚの範囲における、最大値を示す周波数成分の大きさＬ３（ｉ，ｔ）を得る。
以上、Ｌ２（ｉ，ｔ）、Ｌ１（ｉ，ｔ）、Ｌ３（ｉ，ｔ）を得た後、Ｌ２の割合Ｃ（ｉ，ｔ）＝（Ｌ２（ｉ，ｔ）−Ｌ１（ｉ，ｔ）−Ｌ３（ｉ，ｔ））／（Ｌ２（ｉ，ｔ）＋Ｌ１（ｉ，ｔ）＋Ｌ３（ｉ，ｔ））を算出する。これが周波数帯別最大値割合演算処理部３１３の処理内容である。

周波数帯別最大値割合演算処理部３１３で算出された割合Ｃ（ｉ，ｔ）は、一旦、周波数帯別最大値割合メモリ３１４に格納された後、第一コンパレータ３１６によって第一閾値と比較される。割合Ｃ（ｉ，ｔ）が一定の値以上であれば、１Ｈｚ＜ｆ≦６Ｈｚの周波数範囲の最大値を示す周波数成分が、ＦＦＴ処理部３０６で処理を行った１０秒間における、主たる周波数成分であると推測できる。つまり、てんかん患者１０３の発作に基づくけいれんの周波数の可能性が高い。
割合Ｃ（ｉ，ｔ）を第一閾値と比較する理由は、てんかん患者１０３が安静状態である時はノイズしか検出できないからであり、このため割合Ｃ（ｉ，ｔ）の第一閾値との比較は、誤検出を防ぐために行われる。

図６は、ＦＦＴバッファ３０７に格納されるＦＦＴ変換データに基づいて行われる、最大値成分周波数メモリ３０９と、第一最高最大値周波数取得部３１０及び第二最高最大値周波数取得部３１１におけるデータ処理の動作を説明するための図である。
ＦＦＴ変換データから抜き出された最大値成分周波数は、最大値成分周波数メモリ３０９に記憶される。
最大値成分周波数メモリ３０９は、１フレームにおけるブロック毎の最大値成分周波数の集合体を、３０フレーム分（１秒分）保持している。
第一最高最大値周波数取得部３１０は、ステップＳ４０５において、後半１５フレームの最大値を示す周波数成分の周波数であるＦｍｘのうち最も高い周波数（Ｆｍｍ（ｉ，ｔ−１６，ｔ−３０））を取得する。すなわち第一最高最大値周波数取得部３１０は、後半１５フレームの最高最大値周波数を取得する。
第二最高最大値周波数取得部３１１は、ステップＳ４０５において、前半１５フレームの最大値を示す周波数成分の周波数であるＦｍｘのうち最も高い周波数（Ｆｍｍ（ｉ，ｔ，ｔ−１５））を取得する。すなわち第二最高最大値周波数取得部３１１は、前半１５フレームの最高最大値周波数を取得する。

フレーム毎の最も高い周波数は、図６の右下のグラフＰ６０１のようになる。
第二コンパレータ３１２は、後半１５フレーム分の最高最大値周波数と前半１５フレーム分の最高最大値周波数を比較して、後半１５フレーム分の最高最大値周波数が前半１５フレーム分の最高最大値周波数より大きい場合に、論理の真を出力する。

前述の通り、てんかん患者１０３の全身けいれん症状における第二の特徴として、てんかん発作発生直後から時間が経過するに連れて、けいれんの周波数が徐々に低くなる、と記した。例えば、図６のグラフＰ６０１に示すような傾向を示すものと思われる。ところで、図５の説明において、ブロック毎に１０秒間のサンプルに対してＦＦＴを実行した。このＦＦＴ処理部３０６の実行結果を用いて、時間の経過と共にけいれんの周波数が低下しているか否かを検証する。

図５の説明において、ＦＦＴ処理部３０６の実行結果として、３００フレーム分（１０秒分）のサンプルに対してＦＦＴを実行すると、３００サンプルの実行結果が得られることは説明した。この実行結果の最大値を示す周波数成分の周波数を取得する。
図５では３つの周波数帯域に分割したが、この図６における処理では周波数帯域を分けることはせず、ＦＦＴ処理部３０６の実行結果全体を評価の対象とする。また、図５では最大値を示す周波数成分の大きさを取得したが、この図６における処理では、最大値を示す周波数成分の周波数を取得する。

取得したブロック毎の最も高い周波数は、最大値成分周波数メモリ３０９に格納される。最大値成分周波数メモリ３０９は平均差分メモリ３０５と似た、ブロック毎の値を格納する構成であるが、平均差分メモリ３０５が３００フレーム（１０秒分）の値を格納するのとは異なり、最大値成分周波数メモリ３０９は３０フレーム（１秒分）の値を格納する。
次に、最大値成分周波数メモリ３０９を前半１５フレーム分と後半１５フレーム分に分割して、それぞれのブロックの最高最大値周波数を取得する。

後半１５フレームについては第一最高最大値周波数取得部３１０が、最高最大値周波数を取得する。前半１５フレームについては第二最高最大値周波数取得部３１１が、最高最大値周波数を取得する。
てんかん患者１０３が発作を発生した時、あるブロックにおける最も高い周波数の推移は、例えば図６のグラフＰ６０１に示すように変化する。図６のグラフＰ６０１に示されるように、最も高い周波数が時間の経過と共に低下していれば、てんかん患者１０３の発作に基づくけいれんが発生している可能性が高い。

第一最高最大値周波数取得部３１０が出力する後半１５フレームの最高最大値周波数と、第二最高最大値周波数取得部３１１が出力する前半１５フレームの最高最大値周波数とを、第一コンパレータ３１６で比較する。後半１５フレームの最高最大値周波数より前半１５フレームの最高最大値周波数が低い値であれば、第二コンパレータ３１２は論理の真を出力する。

図５で説明した第一コンパレータ３１６が出力する論理値と、図６で説明した第二コンパレータ３１２が出力する論理値とをＡＮＤゲート３１７で論理積を採る。つまり、あるブロックについて、てんかん発作に起因するけいれんの、第一の特徴と第二の特徴とを満たすか否かを評価する。第一の特徴及び第二の特徴を同時に満たすブロックについては、フラグメモリ３１８に論理の真を書き込む。

例えば、１０×１０個のブロックについて、第一の特徴及び第二の特徴を同時に満たすブロックに論理の真を、そうでないブロックには論理の偽をフラグメモリ３１８に書き込む。フラグメモリ３１８の全ての要素の値が決定したら、フラグカウンタ３１９で論理の真の数を数えて、その数を第三コンパレータ３２１で第二閾値３２０と比較する。第一の特徴及び第二の特徴を同時に満たすブロックの数が一定の数以上であれば、動画像データに写っているてんかん患者１０３が発作を発生し、けいれんを起こしているものと、高い確率で推定することができる。

なお、平均差分メモリ３０５の３００フレーム（１０秒分）、最大値成分周波数メモリ３０９の３０フレーム（１秒分）、第三閾値３２５に設定される３０フレーム数（１秒分）の値は、カメラ１０２のフレームレートや、ＣＰＵ２０２の演算処理能力に応じて、適宜変更される。したがって、各々の数値は必ずしも上記数値に固定されるものではない。
また、周波数帯別最大値割合演算処理部３１３における、Ｌ２（ｉ，ｔ）の周波数範囲は、１Ｈｚ以上であってもよい。すなわち、Ｌ２（ｉ，ｔ）の周波数範囲に１Ｈｚを含むか否かは設計的事項である。

［てんかん発作検出装置１０１：検証結果］
図７Ａは、第二の特徴である周波数の変化を検出する処理を含めて、ブロック分割形状及び分割数を変化させつつ、サンプル動画データを読み込ませた際の検出率を示す表である。サンプル動画データは、１９人のてんかん患者１０３の発作を含む動画データである。
図７Ｂは、第二の特徴である周波数の変化を検出する処理を含めずに、ブロック分割形状及び分割数を変化させつつ、サンプル動画データを読み込ませた際の検出率を示す表である。
図７Ａ中の「＊」を付した、ブロック分割数が５×１０、１０×１０、２０×２０、２０×４０、４０×４０、４０×８０の場合において、特異度が１を示し、そして誤検出が０秒となった。すなわち、これらのブロック分割数における誤検出の確率が「０」である。したがって、ブロック分割数及びブロック分割形状は、最適な範囲が存在することが明確になった。
また、図７Ａと図７Ｂを比較して判るように、第二の特徴である周波数の変化を検出する処理は、てんかん発作の検出精度向上に極めて有効である。

誤検出の確率が０となるブロック分割数のうち、最もブロックの数が少ないブロック分割数を用いることで、てんかん発作検出装置１０１は最小の演算量で最大のてんかん発作検出率を得ることが可能になる。
但し、最適なブロック分割数は、カメラ１０２に写るてんかん患者１０３の、画像内における面積に応じて変動する。必要以上にカメラ１０２の画角が大きく設定されてしまうと、画像内に写るてんかん患者１０３の、画像内における占有面積が小さくなる。すると、大きなブロック分割数ではてんかん発作を正しく検出することが困難になってしまう虞が生じる。このため、できるだけ画像内に写るてんかん患者１０３の、画像内における占有面積を大きくするべく、カメラ１０２の画角を調整することが望ましい。

本発明の実施形態では、てんかん発作検出装置１０１を開示した。
てんかん発作検出装置１０１は、動画像データを白黒変換処理部３０２による白黒変換、ブロック平均演算処理部３０３によるブロック平均演算、そしてブロック差分演算処理部３０４によるブロック差分演算を経て、情報量を削減する。そしてブロック単位でＦＦＴ処理部３０６を実行し、てんかん患者１０３の発作に基づくけいれんの発生を、ＦＦＴ処理部３０６の実行結果に含まれる最大振幅の周波数成分から判別する。更に、けいれんの中心周波数が時間経過に連れて低下する現象も取得して、てんかん患者の発作に基づくけいれんを判別する。

てんかん発作検出装置１０１は、てんかん患者１０３を一般的なデジタルカメラにて撮影し、動画像データを得るだけで、てんかん患者の発作に基づくけいれんの発生を、極めて高精度に検出することができる。したがって、病院やてんかん患者１０３の自宅における監視に要する労力を省力化することができる。てんかん発作検出装置１０１が出力するアラーム信号をそのままナースコールのシステムに供給することで、病院における看護師の負担を大幅に軽減することが可能になる。

てんかん発作検出装置１０１の、てんかん発作に基づくけいれんの発生の検出に必要な演算処理の負荷は、従来の類似する先行技術と比べて圧倒的に低い。したがって、安価なシングルボードコンピュータで実現することが可能である。あるいは、カメラを内蔵する中古のスマートフォンにてんかん発作検出装置１０１のプログラムをインストールして、てんかん患者１０３の監視カメラとして流用することも可能である。周知のドライブレコーダのように動画像データをリングバッファに記録し続け、発作を検出したらその動画像データを別途保存する。
更に、てんかん発作検出装置１０１のデータ処理は、動画像データの情報量を削減するモザイク処理を含む。このため、てんかん発作検出装置１０１に動画像データストリームを与えるデジタルカメラの解像度は低いもので十分実用可能である。したがって、デジタルカメラに要するコストを削減することができる。

また、てんかん発作検出装置１０１のデータ処理は、カラー動画像データを白黒変換する処理を含む。すなわち、動画像データにおいて色を再現する必要がない。このため、夜間のてんかん患者１０３の監視に近赤外線ＬＥＤを用いた照明を利用することが可能である。
そして、前述のようにてんかん発作検出装置１０１は、動画像データにおいて色を再現する必要はない。必要であることは、ベッド１０４とてんかん患者１０３との、輝度を明確に異ならせることだけである。例えば、ベッド１０４に用いているシーツや布団が白色であれば、てんかん患者１０３が着用するパジャマはある程度輝度が低ければ、どのような色で着色されていても構わない。また、パジャマに輝度の低い色で着色された模様が付されていればなおよい。このため、てんかん患者１０３のＱｏＬの面で好ましい。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

１０１…てんかん発作検出装置、１０２…カメラ、１０３…てんかん患者、１０４…ベッド、２０１…バス、２０２…ＣＰＵ、２０３…ＲＯＭ、２０４…ＲＡＭ、２０５…表示部、２０６…操作部、２０７…不揮発性ストレージ、２０８…ＮＩＣ、３０１…動画像ファイル、３０２…白黒変換処理部、３０３…ブロック平均演算処理部、３０４…ブロック差分演算処理部、３０５…平均差分メモリ、３０６…ＦＦＴ処理部、３０７…ＦＦＴバッファ、３０８…値成分周波数取得処理部、３０９…最大値成分周波数メモリ、３１０…第一最高最大値周波数取得部、３１１…第二最高最大値周波数取得部、３１２…第二コンパレータ、３１３…周波数帯別最大値割合演算処理部、３１４…周波数帯別最大値割合メモリ、３１５…第一閾値、３１６…第一コンパレータ、３１７…ＡＮＤゲート、３１８…フラグメモリ、３１９…フラグカウンタ、３２０…第二閾値、３２１…第三コンパレータ、３２２…第二カウンタ、３２３…入出力制御部、３２４…第四コンパレータ、３２５…第三閾値、３２６…表示処理部

Claims (5)

1. 輝度情報のみで構成される白黒の動画像データを予め定められたブロック数に分割して、前記ブロックにおける前記輝度情報の平均値を算出するブロック平均演算処理部と、
   前記ブロック平均演算処理部が出力した平均値データと、１フレーム直前の平均値データとの差分を出力することで、前記平均値データに含まれるＤＣ成分を除去するブロック差分演算処理部と、
   前記ブロック差分演算処理部が出力した平均値差分データのブロック単位でＦＦＴを実行するＦＦＴ処理部と
   を具備し、
   前記ＦＦＴ処理部が出力したＦＦＴ変換データに含まれる周波数成分の最大値が１Ｈｚより大きく６Ｈｚ以下の範囲にあることを以て、前記動画像データに写る被写体にてんかん発作に基づくけいれんが発生したと判断する、てんかん発作検出装置。
2. 前記ＦＦＴ処理部が出力したＦＦＴ変換データに含まれる周波数成分の最大値が１Ｈｚより大きく６Ｈｚ以下の範囲にあることに加え、前記周波数成分の最大値の周波数が時間経過と共に低下することを以て、前記動画像データに写る被写体にてんかん発作に基づくけいれんが発生したと判断する、請求項１に記載のてんかん発作検出装置。
3. 前記ＦＦＴ処理部が出力したＦＦＴ変換データに含まれる周波数成分の最大値が１Ｈｚより大きく６Ｈｚ以下の範囲にあることに加え、前記周波数成分の最大値の周波数が時間経過と共に低下するブロックが全ブロック数のうち所定の数以上存在することを以て、前記動画像データに写る被写体にてんかん発作に基づくけいれんが発生したと判断する、請求項２に記載のてんかん発作検出装置。
4. 更に、
   カラーの動画像データを前記白黒の動画像データに変換して前記ブロック平均演算処理部に供給する白黒変換処理部と
   を具備する、請求項３に記載のてんかん発作検出装置。
5. 輝度情報のみで構成される白黒の動画像データを予め定められたブロック数に分割して、前記ブロックにおける前記輝度情報の平均値を算出するブロック平均演算処理部の機能と、
   前記ブロック平均演算処理部が出力した平均値データと、１フレーム直前の平均値データとの差分を出力することで、前記平均値データに含まれるＤＣ成分を除去するブロック差分演算処理部の機能と、
   前記ブロック差分演算処理部が出力した平均値差分データのブロック単位でＦＦＴを実行するＦＦＴ処理部の機能と、
   前記ＦＦＴ処理部が出力したＦＦＴ変換データに含まれる周波数成分の最大値が１Ｈｚより大きく６Ｈｚ以下の範囲にあることを以て、前記動画像データに写る被写体にてんかん発作に基づくけいれんが発生したと判断する機能を、コンピュータに実現させるためのてんかん発作検出プログラム。

Images