JP6749696B2

JP6749696B2 - 復元装置、復元方法、プログラム、ならびに、情報記録媒体

Info

Publication number: JP6749696B2
Application number: JP2017522254A
Authority: JP
Inventors: 玄堀
Original assignee: RIKEN Institute of Physical and Chemical Research
Current assignee: RIKEN Institute of Physical and Chemical Research
Priority date: 2015-06-02
Filing date: 2016-06-02
Publication date: 2020-09-02
Anticipated expiration: 2036-06-02
Also published as: US11058341B2; US20190053727A1; JPWO2016195029A1; WO2016195029A1

Description

本発明は、1つの対象を複数箇所から、間引いて測定し、もしくは、測定してから間引くことにより得られる測定済値から、当該複数箇所の各時点の活動を復元する復元装置、復元方法、これらをコンピュータにより実現するためのプログラム、ならびに、当該プログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体に関する。

従来から、1つの対象を複数箇所から測定した後、測定済値を間引いて、データ量を圧縮する技術が提案されている。たとえば、非特許文献1では、人間の頭部の複数箇所において脳波を測定して得られた測定済値を間引いて約4割を残したデータから、元の脳の電気活動を復元することができた、との報告がされている。

一方で、複数の頭皮上電極を用いる脳波計では、各電極にアナログ・デジタル変換器が接続されており、出力されたデジタル情報をコンピュータで処理することが可能となっている。このように、1つの対象の複数箇所における電気活動を測定する技術が、広く利用されている。

Angshul Majumdar, Anupriya Gogna and Rabab Ward, A Low-Rank Matrix Recovery Approach for Energy Efficient EEG Acquisition for a Wireless Body Area Network, Sensors 2014, vol.14, pp.15729-15748, ISSN 1424-8220, 2014年8月25日

しかしながら、多数のアナログ・デジタル変換器を用意すると、測定を行うための装置の製造コストやサイズが増大する、という問題が生じる。一方で、非特許文献1に開示される技術では、データ量は4割程度までしか削減できない。

したがって、測定装置が、1つの対象を複数箇所から測定することにより得られた電気活動を、1つもしくは当該複数箇所よりも少ない個数のアナログ・デジタル変換器によって変換することによって取得されたデジタル情報から、元の電気活動を復元する技術が求められている。より一般に、1つの対象の複数箇所における間引かれた測定値から、元の活動を復元する技術が求められている。

本発明は、上記の課題を解決するためのもので、1つの対象を複数箇所から、間引いて測定し、もしくは、測定してから間引くことにより得られる測定済値から、当該複数箇所の各時点の活動を復元する復元装置、復元方法、これらをコンピュータにより実現するためのプログラム、ならびに、当該プログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体を提供することを目的とする。

本発明においては、復元装置は、
1つの対象を複数箇所から間引いて測定し、もしくは、測定してから間引くことにより得られる測定済値を処理する。

前記復元装置は、
前記測定済値のうち異なる箇所にて同時刻に測定された較正用値から、前記複数箇所同士の分散共分散行列を計算し、
前記複数箇所の各々において前記測定済値がない時刻における未測定値を補間することにより、修正済値を得る。

ここで、前記復元装置は、前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に近付くように、前記修正済値を得る。

本発明の他の観点においては、測定装置が、1つのアナログ・デジタル変換器により、
(a)較正モードでは、1つの対象の複数箇所にて同じ時刻に測定された電気活動を、
(b)測定モードでは、前記複数箇所にて異なる時刻に測定された電気活動を、
逐次的にアナログ・デジタル変換して出力する。

一方、復元装置は、
前記測定装置により前記較正モードにおいて出力された較正用値から、前記複数箇所同士の分散共分散行列を計算し、
前記測定装置により前記測定モードにおいて出力された測定済値から、前記複数箇所の各々において前記測定済値が出力されていない時刻における未測定値を補間することにより、修正済値を得る。

そして、前記復元装置は、前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に近付くように、前記修正済値を得る。

本発明によれば、1つの対象を複数箇所から、間引いて測定し、もしくは、測定してから間引くことにより得られる測定済値から、当該複数箇所の各時点の活動を復元する復元装置、復元方法、これらをコンピュータにより実現するためのプログラム、ならびに、当該プログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体を提供することができる。

本発明の実施例に係る脳波計の構成を示す説明図である。脳頭皮上電極の配置の一例を示す説明図である。較正モードにおいて得られる電気活動の各箇所と時点を表すタイムテーブルである。測定モードにおいて得られる電気活動の各箇所と時点を表すタイムテーブルである。本発明の実施例に係る復元装置の構成を示す説明図である。本発明の実施例に係る復元処理の流れを示すフローチャートである。全時点全箇所における脳波の元データを表すグラフである。時点と箇所を間引いた脳波の測定済値を表すグラフである。間引いた測定済値を補間した補間済値を表すグラフである。補間済値を修正した修正済値を表すグラフである。元データ、測定済値、補間済値、修正済値を重ねたグラフである。

以下に、本発明の実施形態を説明する。なお、本実施形態は、説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば、本実施形態の各要素もしくは全要素を、これと均等なものに置換した実施形態を採用することが可能である。また、各実施例にて説明する要素は、用途に応じて適宜省略することも可能である。このように、本発明の原理にしたがって構成された実施形態は、いずれも本発明の範囲に含まれる。
理解を容易にするため、以下では、まず、一人の人間を測定の対象とし、複数の電極により各箇所にて測定される電位を電気活動とする実施形態について説明し、ついで、その他の分野に適用する実施形態について説明する。

(脳波計の構成)
以下では、本実施形態で処理するデジタル情報を測定できる安価な脳波計について説明する。本実施形態に係る脳波計は、被験者の頭皮の複数箇所に接する頭皮上電極を有しキャップ状の外観を持つ脳波計を用い、頭皮電位を測定する。図1は、本発明の実施例に係る脳波計の構成を示す説明図である。以下、本図を参照して説明する。

本図に示すように、本実施形態に係る脳波計11では、人間の頭皮上に接触する電極12を複数用意しており、測定された電位を増幅器13により増幅する。

そして、較正モードでは、増幅器13により増幅された信号が、サンプルホールド回路14により一定時間保持されて、マルチプレクサ15に与えられる。測定モードでは、増幅器13により増幅された信号が、そのまま直接マルチプレクサ15に与えられる。

マルチプレクサは、各クロックにおいて、与えられた信号のうちいずれか1つを選択的にA/D(Analog/Digital)変換器16に与える。本実施形態に係る脳波計11では、クロック数はF=2048Hzであるが、測定の環境や用途に応じて、適宜クロック数を変更しても良い。

本実施形態に係る脳波計11では、複数の電極から得られる信号が、マルチプレクサ15によって選択されて逐次的に出力される。すなわち、電極にて測定された電位が間引かれた上で、A/D変換器16によりA/D変換されることになる。

図2は、脳頭皮上電極の配置の一例を示す説明図である。以下、本図を参照して説明する。本図に示す例では、頭皮上電極の数Nは14個である(AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4)。したがって、A/D変換器16から1クロックにつき1電極にて測定された電位がA/D変換される状況で、上記設定では、全電極を巡回するのに、時間長N/F = 14/2048秒 = 6.836msを要することになる。なお、ある巡回と次の巡回の間に、適宜猶予を設けるため、ダミー電極を想定することとしても良い。たとえば、2つのダミー電極を設けた場合には、N = 14+2となり、巡回の周期はN/F = 16/2048秒 = 7.8135msとなる。

較正モードでは、全サンプルホールド回路14が同期する。そして、各々に接続された電極12の電位を、巡回周期おきに取得して、次の取得まで保持する。すなわち、巡回周期で、全サンプルホールド回路14のスイッチSが一瞬(コンデンサCへの充電をするための極く短い時間長)だけ接続され、それ以外の時刻では、スイッチSは開放(切断)される。

一方、測定モードでは、全サンプルホールド回路14のスイッチSは、接続されたままとなる。

測定箇所の数NやA/D変換の頻度Fは、適宜変更が可能である。また、測定箇所として、脳表を侵襲的に測定しても良い。また、測定の対象となる電気活動は、電位のほか、電極接触抵抗により測定しても良いし、神経細胞の電気活動にともなって頭表面近傍に生じる磁場を測定することとしても良い。

以下では、測定箇所に番号1, 2, …, Nを付与し、i番目の箇所にて、時刻tに電極12から取得された電位b_i,t(アナログ値)をA/D変換した結果を出力値x_i,t(デジタル値)と表記する。以下では、時刻tは、0から始まり、上記のクロック単位でカウントされる整数値により表現することとするが、それ以外の表現を採用することも可能である。

脳波計11において、時刻tにマルチプレクサ15によりi番目の箇所に配置された電極が選択されたものとすると、測定モードでは、脳波計11のA/D変換器16は、電位b_i,tをA/D変換した出力値x_i,tを、時刻tに出力する。一方、較正モードでは、脳波計11は、時刻tに最も近い現在もしくは過去のサンプルホールド時刻sにおける電位b_i,sをA/D変換した出力値x_i,sを、時刻tに出力する。

以下、理解を容易にするため、周期N/Fで全電極を所定順序で巡回する態様を考える。この態様では、時刻tにマルチプレクサ15により選択される電極の番号iが
i = modulo(t,N)+1
となるように、電極の順序を定めることができる。また、時刻tに最も近い現在もしくは過去のサンプルホールド時刻sは、
s = floor(t/N)×N
となる。ここでmodulo(.,.)は整数の割り算における余りを意味し、floor(.)は切り捨てによる整数化を意味する。

図3は、較正モードにおいて得られる電気活動の各箇所と時点を表すタイムテーブルである。図4は、測定モードにおいて得られる電気活動の各箇所と時点を表すタイムテーブルである。以下、これらの図を参照して説明する。

これらの図に示されるタイムテーブルにおける水平方向は時間の経過を、縦軸は、測定箇所を表す。テーブル内の桝目が灰色に表記されている要素は、その要素のタイミングでその要素の測定箇所の電位がA/D変換されて出力されることを意味する。これらの図においては、電極は14箇所であり、ダミーの測定位置を2箇所設けることで、巡回周期のクロック数が2の羃乗になるように設定している。

図3に示すように、較正モードでは、全測定位置の電位が同時に取得され、その電位が逐次的に順にA/D変換されて出力されるので、灰色の桝目は縦一列に、巡回周期間隔で並んでいる。

図4に示すように、測定モードでは、各測定位置の電位が逐次に取得されてA/D変換されて出力されるので、灰色の桝目は斜め45度に、巡回周期間隔で並んでいる。

以下では、理解を容易にするため、出力値x_i,tのうち、処理の対象となるi,tの対(すなわち、対(i,t)は、間引かれた結果残った出力値の添字である。)を要素とする集合Pを考える。さらに、較正モードが継続している間の時刻の集合をQ、作業モードが継続している間の時刻の集合をRと書くこととする。

たとえば、上記の脳波計11により、時刻0から3N-1まで較正モード、時刻3Nから6N-1まで測定モード、で、デジタル情報を取得した場合には、集合P, Q, Rは、時刻6N-1の段階では以下のようになる。
P = {(1,0), (2,0), …, (N,0),
(1,N), (2,N), …, (N,N),
(1,2N), (2,2N), …, (N,2N),
(1,3N), (2,3N+1), …, (N,4N-1),
(1,4N), (2,4N+1), …, (N,5N-1),
(1,5N), (2,5N+1), …, (N,6N-1)};
Q = {0, 1, 2, …, 3N-1};
R = {3N, 3N+1, 3N+2, …, 6N-1}
なお、集合P, Q, Rは、データが取得されるごとに要素が適宜追加されるようにすれば、オンラインによる処理が可能となる。また、一括して測定データを取得する場合には、集合P, Q, Rは、定数と考えることができる。これはオフラインによる処理に相当する。

まず、上記の巡回順序によるデジタル情報の取得においては、サンプルホールド時刻sに対して、
(1,s)∈P & (2,s)∈P & … & (N,s)∈P
が成立する。すなわち、すべてのサンプルホールド時刻を要素とする集合は、
{s | (1,s)∈P & (2,s)∈P & … & (N,s)∈P}
により得られる。また、較正モードt∈Qにおいてサンプルホールド時刻s以外の時刻
{(i,t) | t∈Q & (i,t)∈P }
は空集合となる。

このほか、測定モードにおけるある時刻t∈Rでは、集合
{(i,t) | (i,t)∈P}
の要素は1個である。また、箇所iに対する測定済値が得られている任意の時刻は
{t | (i,t)∈P}
により得られ、測定モードにて箇所iに対する測定済値が得られている時刻は、
{t | t∈R & (i,t)∈P}
あるいは
{t | (i,t)∈P} - {s | (1,s)∈P & (2,s)∈P & … & (N,s)∈P}
により得られる。ここで「-」は集合の差を表す。

これらの集合記法により表現されるデータは、たとえばリスト内包表記に表現されたデータと解釈することもでき、公知の技術により、コンピュータで動作するプログラムにおける配列やリスト等により表現することができ、当該配列やリスト等に対する繰り返し処理や並列処理ならびにフィルタ処理等の、公知の処理により、計算することができる。

なお、巡回の順序については、後述する実施例に示すように、適宜変形が可能である。また、上記のように巡回をする場合には、A/D変換器16は1個だけ利用することとなるが、後述する実施例に示すように、測定箇所以下の個数のA/D変換器を利用したり、非特許文献1に開示されるように、測定箇所のすべてにA/D変換器を設けた上で、得られた測定済値を間引きすることとしても良い。また、サンプルホールド回路を利用すれば、過去のある時刻における値を保持することができる。したがって、サンプルホールド時刻の刻み幅をマルチプレクサ15やA/D変換器16の動作クロック幅の整数倍とし、複数の電極に対して同時にサンプリングするサンプリング時刻を調整すれば、1つのA/D変換器16によりあたかも複数のA/D変換器があるかのように振る舞わせることが可能である。

(復元装置が実現されるハードウェア)
本実施形態に係る復元装置は、典型的には、プログラムをコンピュータが実行することによって実現される。当該コンピュータは、脳波計11もしくは、その出力結果を保存した記憶装置に接続され、これらの機器と情報を送受する。

コンピュータにて実行されるプログラムは、当該コンピュータが通信可能に接続されたサーバにより配布、販売することができるほか、CD-ROM(Compact Disk Read Only Memory)やフラッシュメモリ、EEPROM(Electrically Erasable Programmable ROM)などの非一時的(non-transitory)な情報記録媒体に記録した上で、当該情報記録媒体を配布、販売等することも可能である。

プログラムは、コンピュータが有するハードディスク、ソリッドステートドライブ、フラッシュメモリ、EEPROM等などの非一時的な情報記録媒体にインストールされる。すると、当該コンピュータにより、本実施形態における情報処理装置が実現されることになる。一般的には、コンピュータのCPU(Central Processing Unit)は、コンピュータのOS(Operating System)による管理の下、情報記録媒体からRAM(Random Access Memory)へプログラムを読み出してから、当該プログラムに含まれるコードを解釈、実行する。ただし、CPUがアクセス可能なメモリ空間内に情報記録媒体をマッピングできるようなアーキテクチャでは、RAMへの明示的なプログラムのロードは不要なこともある。なお、プログラムの実行の過程で必要とされる各種情報は、RAM内に一時的(temporary)に記録しておくことができる。

なお、汎用のコンピュータにより本実施形態の情報処理装置を実現するのではなく、専用の電子回路を用いて本実施形態の情報処理装置を構成することも可能である。この態様では、プログラムを電子回路の配線図やタイミングチャート等を生成するための素材として利用することもできる。このような態様では、プログラムに定められる仕様を満たすような電子回路がFPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)により構成され、当該電子回路は、当該プログラムに定められた機能を果たす専用機器として機能して、本実施形態の情報処理装置を実現する。

以下では、理解を容易にするため、復元装置は、コンピュータがプログラムを実行することによって実現される態様を想定して説明する。

(復元装置の構成)
図5は、本発明の実施例に係る復元装置の構成を示す説明図である。図6は、本発明の実施例に係る復元処理の流れを示すフローチャートである。本図に示すように、復元装置101は、計算部102および修正部103を備える。そして、脳波計11に直接接続され、もしくは、脳波計11から出力されたデジタル情報を記録した記録媒体や記憶装置に接続される。

まず、本復元処理が開始されると、復元装置101は、脳波計11の出力値x_i,tを取得する(ステップS301)。

上記のように、出力値x_i,tは間引かれており、取得された添字対(i,t)の集合Pや動作モードに応じた時刻の集合Q, R、ならびに、集合Pの各要素を添字とする出力値が、このステップで取得される。

たとえば、巡回的に出力値x_i,tを得ることで間引く場合には、
{(i,s) | (1,s)∈P & (2,s)∈P & … & (N,s)∈P, i∈{1, 2, …, N}}
は、較正モードで出力された出力値(較正用値)の全添字対の集合である。

また、測定モードで出力された出力値(測定用値)の全添字対の集合は
{(i,t) | (i,t)∈P} - {(j,s) | (1,s)∈P & (2,s)∈P & … & (N,s)∈P, j∈{1, 2, …, N}}
と表記できる。

次に、復元装置101の計算部102は、取得された出力値から、較正用に、各測定箇所の平均値および各測定箇所同士の分散共分散行列を計算する(ステップS302)。以下、箇所iの出力値の平均値をμ_iと表記し、分散共分散行列Sのi行j列の要素、すなわち、箇所iの出力値と箇所jの出力値の分散もしくは共分散をS_i,jと表記する。

これらの値は、較正モードにおいて得られる出力値から、
μ_i = AVG_{(1,s)∈P & (2,s)∈P & … & (N,s)∈P}〔x_i,s〕;
S_i,j = AVG_{(1,s)∈P & (2,s)∈P & … & (N,s)∈P}〔(x_i,s-μ_i)×(x_j,s-μ_j)〕
のように計算できる。ここで、AVG_p〔f(e_p)〕は、添字に指定された条件pを満たす要素e_pを抽出し、抽出された各要素e_pに対して演算f(.)を施した結果の平均を求める演算である。

また、較正モードと測定モードを融合して考える場合や、A/D変換が同時に複数行われる場合等には、
μ_i = AVG_(i,t)∈P〔x_i,t〕;
S_i,j = AVG_{(i,t)∈P & (j,t)∈P}〔(x_i,t-μ_i)×(x_j,t-μ_j)〕
のように計算しても良い。

次に、修正部103は、各箇所i (i = 1, 2, …, N)のそれぞれについて、測定済値x_i,tから得られていない未測定値を補間して、補間済値y_i,tを得る(ステップS303)。上記のように、測定済値x_i,tは間引かれており、対(i,t)が集合Pの要素でなければ、x_i,tは未定義となる。そこで、このような未定義の要素をすべて補間する。

補間には、種々の技術を適用することができる。たとえば、アップサンプリングを用いる場合には、まず、箇所iに対する一時変数q_iのt番目の要素に対して、
q_i,t = x_i,t, if (i,t)∈P;
= 0, otherwise
のように、取得済の要素にはx_i,tを、そうでなければ0を設定する。

そして、箇所iにおける一時変数q_iの時系列
q_i,0, q_i,1, q_i,2, …
に対して、適切な周波数のローパスフィルタを適用して、
y_i,t = x_i,t, if (i,t)∈P;
= q_iにローパスフィルタを適用した結果の時系列のt番目の値
と設定することにより、補間済値
y_i,0, y_i,1, y_i,2, …
が得られる。
この手法は、サンプリング周波数変換の技術を適用したものである。なお、ローパスフィルタの周期は、出力値x_i,tが持つ高周波成分を付加しないように選択する必要がある。したがって、巡回的な順序で出力値が得られる場合には、ローパスフィルタの周期として、巡回周期であるNを採用すれば良い。あるいは、連続して0が補充された長さの平均からその2倍程度の周期を採用しても良い。

このほか、線形補間を含む多項式補間、スプライン補間、ラグランジュ補間、ニュートン補間等の、各種の補間技術を利用しても良い。

なお、上記の例では、較正モードと測定モードを分けずにローパスフィルタを適用しているが、両者を分けて、測定モードにおける時刻t∈Rについてのみ、補間をすることとしても良い。

さらに、修正部103は、修正用に、補間済値y_i,tから、上記と同様に平均φおよび分散共分散行列Vを計算する(ステップS304)。平均φのi番目の要素ならびに分散共分散行列Vのi行j列の要素は、
φ_i = AVG_t∈R〔y_i,t〕;
V_i,j = AVG_t∈R〔(y_i,t-φ_i)×(y_j,t-φ_j)〕
のように計算することができる。

較正モードと測定モードを分けない場合には、
φ_i = AVG_t∈Q∪R〔y_i,t〕;
V_i,j = AVG_t∈Q∪R〔(y_i,t-μ_i)×(y_j,t-μ_j)〕
のように計算しても良い。

さて、各箇所の測定値がそれぞれ正規分布にしたがうと仮定したときには、分散共分散行列S, Vは一致するはずである。しかしながら、一般には、補間だけでは充分な復元ができないため、分散共分散行列S, Vにはずれがある。

そこで、修正部103は、分散共分散行列S, Vに基づいて、より具体的には、両者の差に基づいて、y_i,tを修正することにより、修正済値z_i,tを得て(ステップS305)、本処理を終了する。ここで得られる修正済値z_i,tが、出力値から復元された電気活動の復元結果である。

修正済値z_i,tは、以下のように求める。まず、出力値が得られている場合には、明らかに、
z_d,t = x_d,t, if t∈R & (d,t)∈P
とすれば良い。

(i,t)∈Pでない場合については、修正済値z_i,tから得られる(と仮定した)分散共分散行列Wが較正用に計算された分散共分散行列Sに一致もしくは近付くように、当該時刻tにおける残りの要素にアフィン変換を施す。

上記の巡回順序を採用した場合、測定モードの時刻t∈Rでは、集合{d | (d,t)∈P}の要素は1つだけである。ここでは、当該要素をそのままdと表記する。すると、時刻tについては、要素x_d,t = z_d,tを固定して、それ以外の要素(1, 2, …, d-1, d+1, d+2, …, N番目の要素)を修正すれば良いことになる。

さて、時刻tにおける各箇所の測定値は多次元正規分布にしたがうと仮定している。したがって、その測定値のうち、d番目の要素を固定した場合にも、それ以外の要素は、多次元正規分布にしたがうはずである。

そこで、較正モードにおいて、
μ₁, μ₂, …, μ_Nからd番目の要素を除いたものを並べた(n-1)次元ベクトルをM^(≠d)とし、
分散共分散行列Sのd列目からd番目の要素を除いたものを並べた(n-1)次元ベクトルをS^(d,≠d)とし、
分散共分散行列Sから、d行目ならびにd列目を除いてできた(n-1)×(n-1)の行列をS^(≠d)とする。

すると、d番目の要素を固定した残りの要素の平均を表す(n-1)次元のベクトルAのi番目がとるべき値A_iは、以下のように計算される。
A_i = M^(≠d) _i + 〔(x_d,t - μ_d)/S^(≠d) _d,d〕×S^(d,≠d) _i
また、残りの要素の分散共分散行列Bのi行j列の要素B_i,jがとるべき値は、以下のように計算される。
B_i,j = S^(≠d) _i,j - 〔1/S^(≠d) _d,d〕S^(d,≠d) _i×S^(d,≠d) _j

また、測定モードにおいて、
φ₁, φ₂, …, φ_Nからd番目の要素を除いたものを並べた(n-1)次元ベクトルをF^(≠d)とし、
分散共分散行列Vのd列目からd番目の要素を除いたものを並べた(n-1)次元ベクトルをV^(d,≠d)とし、
分散共分散行列Vから、d行目ならびにd列目を除いてできた(n-1)×(n-1)の行列をV^(≠d)とする。

すると、d番目の要素を固定した残りの要素の平均を表す(n-1)次元のベクトルCのi番目がとるべき値C_iは、以下のように計算される。
C_i = F^(≠d) _i + 〔(x_d,t - φ_d)/V^(≠d) _d,d〕×V^(d,≠d) _i
また、残りの要素の分散共分散行列Dのi行j列の要素D_i,jがとるべき値は、以下のように計算される。
D_i,j = V^(≠d) _i,j - 〔1/V^(≠d) _d,d〕V^(d,≠d) _i×V^(d,≠d) _j

ここで、行列Xの平方根(√X)を、Xの固有値分解
X = T^-1 L T
により、
X = T^-1 (√L) T
により定義する。ここで、行列Lは対角行列であり、行列√Lは、行列Lの各対角要素の平方根を対角要素とする対角行列である。

さらに、y_1,t, y_2,t, …, y_N,tからd番目の要素を除いたものを並べた(n-1)次元ベクトルY^(≠d)を考える。すると、以下のようなアフィン変換によってベクトルWが得られる。
W = (√B) (√D)^-1 (Y^(≠d) - F^(≠d))) + M^(≠d)

そして、上記のように、x_d,tをz_d,tとして設定するほか、ベクトルWの
(1) 1番目から(d-1)番目の要素をz_1,t, …, z_d-1,tとして設定し、
(2) d番目から(N-1)番目の要素を、z_d+1,t, …, z_N,tとして設定する
ことによって、補間済値y_1,t, y_2,t, …, y_N,tを修正した修正済値z_1,t, z_2,t, …, z_N,tが得られることになる。

この処理を、各時刻t∈Rについて繰り返し実行することで、測定モードにおける未測定値を補間して修正することができる。このほか、測定モードと較正モードを混ぜた態様では、各時刻t = 0, 1, 2, …のすべてについて、上記の処理を繰り返せば良い。

このようにして得られた修正済値z_i,tの平均や分散共分散行列は、較正モードにおける測定装置11の出力値から求められた平均や分散共分散行列と一致する。したがって、単なる補間を行うよりも、一層正確な復元が可能となる。

(実験結果)
以下では、4箇所の頭皮上電位を全時点において測定した元データから、上記実施形態における巡回順序にて間引きをして測定済値を得て、測定済値から元データがどの程度復元できるか、を数値実験した結果について説明する。図7は、全時点全箇所における脳波の元データを表すグラフである。図8は、時点と箇所を間引いた脳波の測定済値を表すグラフである。図9は、間引いた測定済値を補間した補間済値を表すグラフである。図10は、補間済値を修正した修正済値を表すグラフである。図11は、元データ、測定済値、補間済値、修正済値を重ねたグラフである。これらのグラフでは、測定モードにおける様子を図示している。また、図11では、ドット(・)付きの実線で元データを、丸印(○)で測定済値を、三角印(△)付きの実線で補間済値を、四角印(□)付きの実線で修正済値を、それぞれ図示している。

これらの図においては、補間済値(△)と元データ(・)は乖離していることがままあるが、その場合であっても、ほとんどの場合において、修正済値(□)は元データ(・)に重なるように修正がされていることがわかる。

上記実施例では、主として、測定モードにおいてある時点に1つの電極の電位のみが出力される状況を想定しており、測定モードの時刻tにおいては、箇所modulo(t,N)+1の電極の電位をA/D変換して出力することとしていた。しかしながら、電極の箇所の選び方は、種々変形することが可能である。

たとえば、整数1, 2, …, Nからなる順列をランダムに生成して連結した擬似乱数列をあらかじめ用意する。そして、箇所modulo(t,N)+1のかわりに、この擬似乱数列におけるt番目の要素rand(t)を採用するものである。

たとえば、整数1, 2, …, Nからなる順列は、N! = 1×2×…×N通り存在する。そこで、これらの順列をどの順序で連結するか、を、擬似乱数によって決定すれば良い。

このほか、N!通りの順列すべてを採用するのではなく、できるだけ各要素がまばらに均等に並ぶようなものを採用しても良い。たとえば、N行N列のラテン方格を1個又は複数個用意し、その各行を連結することを繰り返すことで、各要素がまばらに均等に並ぶような擬似乱数列を得ることができる。

このほか、上述した通り、較正モードと測定モードは、必ずしも明確に分離しなくとも良い。すなわち、ある箇所iについての平均を、当該箇所iについてのすべての測定済値から計算し、ある箇所i, j同士の分散を、箇所i, jについての同時に得られたすべての測定済値から計算すれば、較正モードと測定モードを混ぜることができる。

このときは、補間済値を修正するにあたって、平均を表すベクトルから複数の要素を削除したり、分散共分散行列から、複数の行ならびに列を削除する必要がある。このときには、上記の1要素あるいは1行1列を削除する手法を、当該削除すべき要素あるいは各行、各列について、繰り返せば良い。

較正モードと測定モードを混ぜた態様は、非特許文献1で利用されているような電極1つにつきA/D変換器1つを割り当てた脳波計による測定結果を、間引く際にも適用が可能である。

発明者らの実験によれば、非特許文献1に開示される事項のみでは、充分な精度の復元はできないことがほとんどである。本実施例によれば、修正済値から求められるべき平均や分散共分散行列が、較正用値から求めた平均や分散共分散行列に一致するように、較正用値から求めた平均や分散共分散行列と補間済値から求めた平均や分散共分散行列との相違を考慮して修正を行うので、より一層正確な復元が可能となる。

(制約を課した補完)
非特許文献1においては、低ランク行列復元技術、あるいは、疎行列からの補完技術が採用されている。ここで、低ランク行列復元技術、あるいは、疎行列からの補完技術は、画像の圧縮および復元にも利用されている。

画像の圧縮および復元においては、ある画素の画素値と上下左右に隣接したり、近傍に存在する画素の画素値とが類似していることを利用する。非特許文献1では、単に行列補完を利用すれば、脳波の復元ができると主張している。しかしながら、本願発明者の実験によれば、従来広く使われている行列補完を利用しても、脳波の復元は、充分にはできないことが判明している。

一方、本願発明者は、上記のように、分散共分散行列により、測定位置に関する類似関係を表現することで、より正確な復元が可能であることを発見している。

そこで、低ランク行列復元技術、あるいは、疎行列からの補完技術に、分散共分散行列を組み合わせることで、より一層正確な復元ができると考えられる。

このとき、単純に平均および分散共分散行列を用いるだけでは、位置方向の類似関係は表現されるが、時間方向の類似関係は無視されてしまう。

そこで、本実施形態では、各測定位置における出力値の自己共分散や、時間方向に隣りの成分との差の自乗和を、時間方向の類似関係として採用する。

たとえば、間引きされた出力値において、測定箇所i、離間時間kの自己相関R_i,kは、以下のように計算が可能である。
R_i,k = avg_{(i,t)∈P & (i,t+k)∈P}〔(x_i,t-μ_i)×(x_i,t+k-μ_i)〕

また、補間済値や修正済値に基づいて、各箇所1, 2, …, Nについて、時間方向に隣接する成分同士の差の自乗和を計算すれば、各箇所1, 2, …, Nにおける非類似度を計算することができ、さらに、これらの総和を求めれば、補間済値や修正済値の全体における時間方向における非類似度を計算することができる。

上記態様では、修正済値から計算されるべき平均ベクトルおよび分散共分散行列が、較正用値から求められた平均ベクトルおよび分散共分散行列に一致するように、修正を加えている。

そこで、本態様においては、
(1)修正済値から計算されるべき平均ベクトル、分散共分散行列が測定済値から求められた平均ベクトルおよび分散共分散行列に一致もしくはできるだけ近付き、かつ、
(2a)修正済値から計算されるべき自己相関が、測定値から求められた自己相関に一致もしくはできるだけ近付くように、あるいは、
(2b)修正済値から計算されるべき時間方向の隣接成分の非類似度が最小化される
ように、低ランク行列復元技術、あるいは、疎行列からの補完技術に制約を与えて、修正を施すのである。

画像処理における行列補完では、計算量を抑制するため、隣接画素との画素値の差の自乗和を最小化する、という制約を加えて、行列補完を行っている。この手法に相当するものは、上記(1)(2b)の組み合わせである。一方、計算量がある程度大きくなるものの、上記(1)(2a)の組み合わせを採用することもできる。

本実施形態においては、画像処理などで利用される低ランク行列復元技術、あるいは、疎行列からの補完技術に制約を加えて改良することで、より一層正確な復元を可能とすることができる。

(測定の対象と電気活動の他の実施形態)
上記の技術では、電気活動として、脳波計の電極により測定された電位を採用していたが、本発明の原理は、一つの対象(一つの生体や一つの物理現象等)を複数の測定箇所にて各種のセンサにより測定を行い、当該センサから測定結果として得られる電流、電位、電圧、電力等を電気活動とすることにより、一般化することができる。

脳波計等で電位を検知する電極のほか、温度センサ、照度センサ、色センサ、圧力センサ、匂いセンサ、マイク等の音量センサ、磁力を検知する磁気センサ、電磁波を検知するアンテナなどの各種のセンサの出力を、電気活動として採用することができる。

なお、一つの対象の複数箇所で測定される電気活動の種類は、異なるものであっても良い。脳波計の例では、全箇所で電極により電位を測定していたが、一人の人間について、ある箇所では体温を測定し、ある箇所では血圧を測定し、ある箇所では血管の色を測定する、等の態様で測定を行うこととしても良い。一人の人間の体温、血圧、血管の色などには、互いに関連性があるから、これらを測定することにより得られる電気活動も、関連性があると考えられるからである。

脳波計11において、電極12のかわりに、各種センサが接続可能な互換性のあるコネクタを採用すれば、サンプルホールド回路14、マルチプレクサ15、A/D変換器16からなる構成を、脳波のみならず、種々の測定に利用することができる。

また、上記の脳波計11においては、各サンプルホールド回路14のスイッチSの前段と後段の両方に増幅器13が用意されているが、測定される電気活動の特性に応じて、一方もしくは双方を省略することも可能である。

さらに、CMOSイメージセンサやCCDイメージセンサにより検知される動画についても、本発明の対象とすることができる。非特許文献1では、静止画の画素を間引く技術を脳波計の出力に適用する旨の主張がなされている。しかしながら、本発明では、上述の通り、位置の類似関係と時間の類似関係とをまとめて制約として、間引いた測定済値から元の電気活動を復元することもできる。すなわち、動画の間引き圧縮を簡易かつ安価なハードウェアで行い、本発明の技術を利用して動画の復元を行うことができる。

CMOSイメージセンサやCCDイメージセンサにおいては、行列状に配置されたフォトダイオードから得られる電気活動を取得する際に、どの行、どの列の測定値を出力すべきか、を、行デコーダおよび列デコーダに指定することにより、選択する。そこで、各フォトダイオードに対してコンデンサを製造プロセス段階で設置することで、サンプルホールド回路14に相当する構成を実現することができる。

上記の態様は、CMOSイメージセンサによる動画像取得時にハードウェア的に間引くものであるが、通常のCMOSイメージセンサ等により得られた動画像に対して、事後的かつソフトウェア的に間引くことも可能である。たとえば、撮影された動画の冒頭の所定フレーム数分だけは、通常の動画フォーマットをそのまま採用し、残りのフレームについては、画素を間引くことにより動画データを圧縮する。この場合、冒頭の動画情報が、較正モードでの測定済値に相当し、残りの間引かれたフレーム情報が、測定モードでの測定済値に相当することになる。

動画において撮影環境や場面が極端に変化する場合には、復元が正確にできないことがある。このような場合には、再度、所定フレーム数分だけ通常の動画フォーマットを採用し、引き続いて画素を間引いた圧縮データを採用することができる。任意の測定データを事後的に間引いて圧縮する場合にも、同様の手法を採用することができる。

このように、本実施形態によれば、複数箇所の脳波の測定に適用できるだけではなく、各種の測定対象の複数箇所にて測定された各種の電気活動のデータを、間引いて測定することにより圧縮し、圧縮されたデータから元の電気活動を復元することができる。

(まとめ)
以上説明したように、本発明の復元装置は、1つのアナログ・デジタル変換器により、
(a)較正モードでは、1つの対象の複数箇所にて同じ時刻に測定された電気活動を、
(b)測定モードでは、前記複数箇所にて異なる時刻に測定された電気活動を、
逐次的にアナログ・デジタル変換して出力する測定装置から出力された値を処理する復元装置であって、
前記測定装置により前記較正モードにおいて出力された較正用値から、前記複数箇所同士の分散共分散行列を計算する計算部、
前記測定装置により前記測定モードにおいて出力された測定済値から、前記複数箇所の各々において前記測定済値が出力されていない時刻における未測定値を補間することにより、修正済値を得る修正部
を備え、
前記修正部は、前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に近付くように、前記修正済値を得る。

また、本発明の復元装置において、
前記修正部は、
(p)アップサンプリング、多項式補間、スプライン補間、ラグランジュ補間、もしくはニュートン補間により、前記未測定値を補間して補間済値を得てから、
(q)前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に一致するように、前記補間済値をアフィン変換する
ことにより、前記修正済値を得る
ように構成することができる。

また、本発明の復元装置において、
前記修正部は、前記修正済値が、多次元正規分布にしたがうと仮定することにより、前記修正済値を得る
ように構成することができる。

また、本発明の復元装置において、
前記修正部は、低ランク行列復元法により、前記未測定値を補間する
ように構成することができる。

また、本発明の復元装置において、
時刻tに前記複数箇所のi(i=1, 2, …, N)番目の箇所にて測定されるべき前記電気活動b_i,tに対して、
前記較正モードでは、b_{modulo(t,N)+1, floor(t/N)×N}をアナログ・デジタル変換した値x_{modulo(t,N)+1, floor(t/N)×N}を、時刻tに前記較正用値として出力し、
前記測定モードでは、b_{modulo(t,N)+1, t}をアナログ・デジタル変換した値x_{modulo(t,N)+1, t}を、時刻tに前記測定済値として出力する
ように構成することができる。

また、本発明の復元装置において、
時刻tに前記複数箇所のi(i=1, 2, …, N)番目の箇所にて測定されるべき前記電気活動b_i,t、ならびに、整数1, 2, …, Nの順列を重複可能に選択して連結することにより定められた疑似乱数列のt番目の要素rand(t)に対して、
前記較正モードでは、b_{rand(t), floor(t/N)×N}をアナログ・デジタル変換した値x_{rand(t), floor(t/N)×N}を、時刻tに前記較正用値として出力し、
前記測定モードでは、b_{rand(t), t}をアナログ・デジタル変換した値x_{rand(t), t}を、時刻tに前記測定済値として出力する
ように構成することができる。

また、本発明の復元装置において、
前記擬似乱数列は、1つ又は複数のN×Nラテン方格に含まれる各行を連結することを繰り返すことにより定められる
ように構成することができる。

また、本発明の復元装置において、
前記アナログ・デジタル変換器に対する入力を選択する選択回路に対して、前記複数箇所に配置されたセンサを、
(a)前記較正モードでは、サンプルホールド回路を介して接続し、
(b)前記測定モードでは、前記サンプルホールド回路を介さずに接続する
ように構成することができる。

本発明の復元方法は、
1つのアナログ・デジタル変換器により、
(a)較正モードでは、1つの対象の複数箇所にて同じ時刻に測定された電気活動を、
(b)測定モードでは、前記複数箇所にて異なる時刻に測定された電気活動を、
逐次的にアナログ・デジタル変換して出力する測定装置から出力された値を処理する復元装置が
前記測定装置により前記較正モードにおいて出力された較正用値から、前記複数箇所同士の分散共分散行列を計算し、
前記測定装置により前記測定モードにおいて出力された測定済値から、前記複数箇所の各々において前記測定済値が出力されていない時刻における未測定値を補間することにより、修正済値を得る
復元方法であって、
前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に近付くように、前記修正済値を得る。

本発明の復元装置は、
1つの対象を複数箇所から、間引いて測定し、もしくは、測定してから間引くことにより得られる測定済値を処理する復元装置であって、
前記測定済値のうち異なる箇所にて同時刻に測定された較正用値から、前記複数箇所同士の分散共分散行列を計算する計算部、
前記複数箇所の各々において前記測定済値がない時刻における未測定値を補間することにより、修正済値を得る修正部
を備え、
前記修正部は、前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に近付くように、前記修正済値を得る。

本発明の復元方法は、
1つの対象を複数箇所から、間引いて測定し、もしくは、1つの対象の複数箇所にて測定してから間引くことにより得られる測定済値を処理する復元装置が、
前記測定済値のうち異なる箇所にて同時刻に測定された較正用値から、前記複数箇所同士の分散共分散行列を計算し、
前記複数箇所の各々において前記測定済値がない時刻における未測定値を補間することにより、修正済値を得る
復元方法であって、
前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に近付くように、前記修正済値を得る。

本発明に係るプログラムは、コンピュータを、上記の復元装置が備える各部として機能させる。

本発明に係る非一時的なコンピュータ読取可能な情報記録媒体は、上記のプログラムを記録する。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
本願においては、日本国に対して平成27年(2015年)6月2日(火)に出願した特許出願特願2015-112113を基礎とする優先権を主張するものとし、指定国の法令が許す限り、当該基礎出願の内容を本願に取り込むものとする。

11 脳波計
12 電極
13 増幅器
14 サンプルホールド回路
15 マルチプレクサ
16 A/D変換器
101 復元装置
102 計算部
103 修正部

Claims

1つの対象を複数箇所から、間引いて測定し、もしくは、測定してから間引くことにより得られる測定済値を処理する復元装置であって、
前記測定済値のうち異なる箇所にて同時刻に測定された較正用値から、前記複数箇所同士の分散共分散行列を計算する計算部、
前記複数箇所の各々において前記測定済値がない時刻における未測定値を補間することにより、修正済値を得る修正部
を備え、
前記修正部は、前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に近付くように、前記修正済値を得る
ことを特徴とする復元装置。

前記復元装置は、1つのアナログ・デジタル変換器により、
(a)較正モードでは、前記複数箇所にて同じ時刻に測定された電気活動を、
(b)測定モードでは、前記複数箇所にて異なる時刻に測定された電気活動を、
逐次的にアナログ・デジタル変換して出力する測定装置から出力された値を処理し、
前記計算部は、前記測定装置により前記較正モードにおいて出力された較正用値から、前記複数箇所同士の分散共分散行列を計算し、
前記修正部は、前記測定装置により前記測定モードにおいて出力された測定済値から、前記複数箇所の各々において前記測定済値が出力されていない時刻における未測定値を、低ランク行列復元法により補間し、
前記アナログ・デジタル変換器に対する入力を選択する選択回路に対して、前記複数箇所に配置されたセンサを、
(a)前記較正モードでは、サンプルホールド回路を介して接続し、
(b)前記測定モードでは、前記サンプルホールド回路を介さずに接続する
ことを特徴とする請求項1に記載の復元装置。

1つの対象を複数箇所から、間引いて測定し、もしくは、測定してから間引くことにより得られる測定済値を処理する復元装置が、
前記測定済値のうち異なる箇所にて同時刻に測定された較正用値から、前記複数箇所同士の分散共分散行列を計算し、
前記複数箇所の各々において前記測定済値がない時刻における未測定値を補間することにより、修正済値を得る
復元方法であって、
前記修正済値から計算されるべき前記複数箇所同士の分散共分散行列が、前記較正用値から計算された分散共分散行列に近付くように、前記修正済値を得る
ことを特徴とする復元方法。

コンピュータを、請求項1に記載の復元装置が備える計算部および修正部として機能させることを特徴とするプログラム。