以下本発明を実施するための最良の形態について、図面を用いて詳細に説明する。なお、本発明はこれら実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲において種々なる態様で実施しうる。
<本実施形態の概要>
本発明のイメージングデータ処理システムを用いたデータ処理方法は、被測定物(例、心臓、脳、工場内のシステム、など)から任意の事象(例:呼吸、外的ストレス、爆音など)が生じた際の時間変化イメージングデータ(例:膜電位イメージングデータ、サーモグラフィー、など)を1回以上測定したデータを取得すると、当該データを利用して、被測定物の各点(部位、位置など)の状態変化を時系列に抽出することができる。また、図1に示すように、任意の事象により生じた、被測定物の各点(部位、位置など)の状態変化の変遷を直観的に把握することができるようにマッピング表示することを特徴とする。
<本実施形態の機能的構成>
本実施形態のイメージングデータ処理システムの機能ブロックの一例を図2に示す。図2に示すように、本実施形態の「イメージングデータ処理システム」(0200)は、「測定データ取得部」(0201)と、「分割部」(0202)と、「解析単位変化データ取得部」(0203)と、「定常状態データ抽出部」(0204)と、「モデル関数生成部」(0205)と、「残差データ算出部」(0206)を有する。また、「検定値演算部」(0207)を有してもよい。さらに、「検定値マッピング部」(0208)を有してもよい。
ここで、本装置の機能ブロックは、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、CPUやRAM、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CD−ROMやDVD−ROMなどの記憶メディアとそれらメディアの読取ドライブなど)、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部やその外部周辺機器用のI/Oポート、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるユーザインターフェイスなどが挙げられる。
またこれらハードウェアやソフトウェアは、RAM上に展開したプログラムをCPUで演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェイスを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、および同製品を記憶媒体に固定した記憶媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
以下、本実施形態の「イメージングデータ処理システム」(0200)の、「測定データ取得部」(0201)と、「分割部」(0202)と、「解析単位変化データ取得部」(0203)と、「定常状態データ抽出部」(0204)と、「モデル関数生成部」(0205)と、「残差データ算出部」(0206)と、「検定値演算部」(0207)と、「検定値マッピング部」(0208)の機能的構成について詳細に説明する。
「測定データ取得部」(0201)は、静止状態にある被測定物の各点が発する信号の時間変化を被測定物のイメージングデータと関連付けて記録した時間変化イメージングデータを取得するよう構成されている。ここで、「被測定物」は、脳、心臓、肺などの生体中の臓器の他、工場内のシステムなど、空間的または平面的に配置された観測点で時系列に信号を計測可能なあらゆるものが該当する。被測定物の「各点」とは、脳、心臓などの被測定物を任意に平面的または空間的にグリッド上に区画した際の各区画に位置する部位や、工場内のシステムなどの被測定物を任意に平面的または空間的にグリッド上に区画した際の各区画の位置などが該当する。「静止状態にある被測定物」とは、時間変化イメージングデータを測定可能な状態におかれた被測定物と同等の意味である。すなわち、被測定物が脳、心臓など生体の臓器の場合には、生きた状態の被測定物を、測定装置下に留置または固定した状態をさす。また、工場内のシステムなどの場合には、システム内の機器などの配置を固定した状態をさす。「被測定物の各点が発する信号」とは、被測定物から時系列に測定可能なあらゆるデータが該当し、例えば、生体から測定可能な膜電位、筋電位、脳波などの電気信号や、工場内のシステムの温度などが該当する。「時間変化イメージングデータ」とは、前記のような被測定物をイメージングデータ(被測定物を任意の構図で捉えた画像)上で平面的または空間的なグリッド上に区画し、各区画に対応する被測定物上の点(部位、位置など)から測定された信号の時間変化データを、イメージングデータ上の各区画と関連付けて記録したデータのことである。
ここで、「時間変化イメージングデータ」を測定する手段としては以下のような手段が考えられる。例えば、生体の臓器などを被測定物とする場合には、膜電位感受性色素を用いて、被測定物の各部位が発する光をCCDカメラにより複数の静止イメージで撮影する手段などが考えられる。膜電位感受性色素とは、色素を塗布した点(部位)の膜電位の変化に応じて、吸光度や蛍光強度が変化する特徴を有した色素である。すなわち、当該色素を塗布した被測定物の静止イメージをCCDカメラで所定時間おきに複数撮影し、被測定物の各点(部位)に塗布された前記色素の光量変化を記録することで、被測定物の各点(部位)が発する信号の時間変化(膜電位の時間変化)を記録することができる。このような膜電位感受性色素としては、styryl系化合物、cyanine系化合物、oxonol系化合物、rhodamine誘導体など多種存在するが、測定部位や測定条件などを考慮して使い分けることができる。かかる場合、被測定物の各点が発する信号の時間変化を関連付ける被測定物のイメージングデータとして、CCDカメラにより撮影された被測定物の静止イメージを利用することで、容易に、各点が発する信号の時間変化を被測定物のイメージングデータと関連付けて記録することができる。
その他、生体の臓器などを被測定物とする場合の時間変化イメージングデータの測定手段としては、例えば、まず、被測定物のイメージングデータを用意し、イメージングデータ上で被測定物を平面的または空間的な任意のグリッド上に区画する。そして、各区画に対応する被測定物の部位ごとに、電極などを用いて、脳波、筋電図などを測定する。そして、測定したデータを、イメージングデータの各区画と関連付けて記録するようにしてもよい。
なお、膜電位感受性色素を利用する手段は、前記のように電極などを利用して部位ごとに電位変化を測定する手段に比べて、ノイズ成分が多くなるというデメリットがある反面、被測定物の複数の部位の電位変化を同時に測定できるというメリットを有する。一方の電極などを利用して部位ごとに電位変化を測定する手段は、膜電位感受性色素を利用する手段に比べて、ノイズ成分が少なくなるというメリットを有する反面、被測定物の複数の部位の電位変化を同時に測定するのが困難であるというデメリットがある。よって、測定手段としては、被測定物の種類、区画する領域の数、などに応じて使い分けるのが望ましい。
その他、工場内のシステムなどを被測定物とする場合の時間変化イメージングデータの測定手段としては、例えば、サーモグラフィーなどを用いて、工場内のシステムの温度変化を測定してもよい。かかる場合も、サーモグラフィーにより撮影された被測定物の静止イメージを利用することで、容易に、各点が発する信号の時間変化を被測定物のイメージングデータと関連付けて記録することができる。
なお、前記測定手段は一例であり、本発明の時間変化イメージングデータは、その他の手段により、被測定物から測定された時間変化イメージングデータであってもよい。
測定データ取得部(0201)は、前記のような時間変化イメージングデータを1回以上測定したデータを取得する。ここでの測定回数は、任意の事象(例:呼吸、外的ストレス、電気刺激、爆音など)が1回生じた際に被測定物の各点(部位、位置など)が発する信号の時間変化を測定するのを1回とする。具体的には、例えば、1回の呼吸(1回吸って1回吐く動作)が生じた際に脳の解析対象の各部位が発する信号の時間変化を測定するのを1回とする。なお、測定データ取得部(0201)が取得するデータの測定回数としては特段制限されず、例えば、1回、2回、10回、30回、100回、それ以上でもよい。しかし、以下で説明する「検定値演算部」(0207)の統計検定を考慮すると、おおよそ30回以上であることが望ましい。また、複数回測定したデータは、「1回ごとに測定されたデータ」であってもよいし、「複数回連続的に測定されたデータ」であってもよい。「1回ごとに測定されたデータ」とは、「測定開始→任意の事情→測定終了」→「測定開始→任意の事象→測定終了」→「・・・」のようにして複数回の時間変化イメージングデータを測定する場合などである。かかる場合、時間変化イメージングデータは、測定回ごとに分類されて保存される。一方、「複数回連続的に測定されたデータ」とは、「測定開始→任意の事象→任意の事象→・・・測定終了」のようにして複数回の時間変化イメージングデータを測定する場合などである。かかる場合、時間変化イメージングデータは、測定回ごとに分類されず、保存される。
ここで、測定データ取得部(0201)が前記のような時間変化イメージングデータを取得する手段としては特段制限されず、例えば、同一機器の内部メモリに保存されている時間変化イメージングデータを取り出すことで取得してもよいし、または、時間変化イメージングデータを保存している外部機器との有線/無線の通信により、取得してもよい。
「分割部」(0202)は、測定データ取得部が取得した時間変化イメージングデータを、複数の領域に区画した解析単位に分割するよう構成されている。「解析単位」とは、被測定物から測定された時間変化イメージングデータを用いて状態変化の抽出などの解析を行う最小の単位であり、被測定物のイメージングデータを任意の数の領域に区画し、1つの区画において測定された時間変化イメージングデータを1つの解析単位とする。分割部(0202)が、取得した時間変化イメージングデータを解析単位に分割する手段としては特段制限されないが、以下のようなものであってもよい。
例えば、時間変化イメージングデータが被測定物を2次元で捉えたデータ(例:被測定物の表面のみのイメージングデータ)である場合には、CCDカメラやサーモグラフィーなどにより撮影した静止イメージをピクセルごとに区画することで実現してもよい。そして、各区画(ピクセル)に対応する時間変化イメージングデータを、1つの解析単位として分割してもよい。かかる場合、分割部は(0202)は、ピクセル数(L×M(ピクセル))に応じて、時間変化イメージングデータをL×M(個)の解析単位(区画)に分割する。
その他、時間変化イメージングデータが被測定物を3次元で捉えたデータ(例:被測定物を複数にスライスして得た試料の表面の静止イメージ)である場合にも、CCDカメラやサーモグラフィーなどにより撮影した静止イメージをピクセルごとに区画することで実現できる。なお、かかる場合には、分割部(0202)は、時間変化イメージングデータを、スライス(N枚にスライス)した試料ごとにも分割し、L×M×N(個)の解析単位(区画)に分割する。
また、時間変化イメージングデータが電極などを利用してイメージングデータの各区画に対応する被測定物上の点(部位、位置など)ごとに信号(電位変化など)を測定したものである場合には、時間変化イメージングデータは、区画ごとのデータとして保存されている。よって、かかる場合には、分割部(0202)は、前記区画に従い、1つの区画の時間変化イメージングデータを、1つの解析単位として分割することができる。
なお、前記分割の手段はあくまで一例であり、その他の手段により、時間変化イメージングデータを解析単位に分割してもよい。例えば、一つのピクセルを一つの解析単位とするのではなく、複数のピクセル(例:矩形を構成するように隣接したp2個のピクセル:pは自然数)の時間変化イメージングデータを一つの解析単位としてもよい。
ここで、分割部(0202)は、測定データ取得部(0201)が取得した時間変化イメージングデータが複数回測定した時間変化イメージングデータであった場合には、時間変化イメージングデータを測定回ごとに分割するように構成してもよい。分割の手段としては、以下のようなものであってもよい。
例えば、複数回測定した時間変化イメージングデータが、「複数回連続的に測定されたデータ」(「測定開始→任意の事象→任意の事象→・・・測定終了」)である場合には、一回の測定における測定時間を定めて(例:5sec/回)時間変化イメージングデータを測定するようにする。そして、分割部(0202)は、取得した時間変化イメージングデータの時間長を識別し、予め保持しておいた測定時間(例:5sec/回)を利用して、測定回数(R回)を算出してもよい。そして、分割部(0202)は、取得した時間変化イメージングデータを、最初から所定時間(測定時間)間隔でR個のグループに分割するように構成してもよい。
なお、複数回測定した時間変化イメージングデータが、「1回ごとに測定されたデータ」(「測定開始→任意の事情→測定終了」→「測定開始→任意の事象→測定終了」→「・・・)である場合には、時間変化イメージングデータはすでに測定回ごとに分割されているので、分割部(0202)は、複数回測定した時間変化イメージングデータを測定回ごとに分割する必要はない。
分割部(0202)は、測定データ取得部(0201)が複数回測定した時間変化イメージングデータを取得した場合には、1回の測定の、1つの区画の時間変化イメージングデータを1つの解析単位として分割する。すなわち、測定データ取得部(0201)が、被測定物を3次元で捉え、R回測定した時間変化イメージングデータを取得した場合には、R×L×M×N個の解析単位に分割することとなる。
「解析単位変化データ取得部」(0203)は、分割された解析単位ごとに変化データを取得するよう構成されている。「変化データ」とは、被測定物の各点(部位、位置など)から測定された信号(電気信号など)の時間変化に関するデータである。すなわち、時間変化イメージングデータが、膜電位感受性色素を利用して生体の臓器の各部位の光量変化を測定したものである場合には、変化データは各部位の光量変化を示すデータが該当する。また、時間変化イメージングデータが、電極などを用いて生体の臓器の各部位の電位を測定していたものである場合には、変化データは各部位の電位変化が該当する。また、時間変化イメージングデータが、サーモグラフィーを用いて工場内のシステムの温度変化を測定したものである場合には、各位置の温度変化を示すデータが該当する。ここで、一つの解析単位が、複数のピクセルで特定される場合には、変化データは、複数のピクセルから取得された複数の変化データの平均値などとしてもよい。
なお、1つの解析単位から取得される変化データのデータ数は、測定条件により異なる。すなわち、例えば、1回の測定で、0.02secごとに、256枚の静止イメージを記録した時間変化イメージングデータの場合には、1つの解析単位から256個の変化データが取得される。電極などにより電位を測定した場合も同様に、1回の測定で記録したデータ数分の変化データが取得される。
「定常状態データ抽出部」(0204)は、解析単位ごとに、解析単位変化データ取得部が取得した変化データから定常状態データを抽出するよう構成されている。「定常状態データ」とは、被測定物が定常状態(任意の事象が生じた際の影響を受けていない状態)にある際の変化データである。変化データの中から定常状態データを特定して抽出する手段としては、以下のようなものであってもよい。例えば、1回で測定する時間変化イメージングデータは、任意の事象が生じる前後に十分な時間(例:3sec)をとって測定するようにする。そして、定常状態データ抽出部(0204)は、解析単位変化データ取得部(0203)が取得した変化データの中から、最初の所定時間(例:0.52sec)分の変化データを定常状態データとして取得するように構成してもよい。
その他の手段としては、例えば、1回で測定する時間変化イメージングデータは、任意の事象が生じた際に影響を受ける時間幅よりも、任意の事象が生じた際の影響を受けていない時間幅を十分長くとって測定するようにする。そして、定常状態抽出部(0204)は、変化データの平均値を算出すると、その平均値から最も乖離した変化データを特定し、当該データを中心にした所定の時間幅(任意にあらかじめ設定)に含まれるデータ以外の変化データを定常状態データとして取得するように構成してもよい。
「モデル関数生成部」(0205)は、抽出した定常状態データに基づいて、解析単位ごとに定常状態モデル関数を生成するよう構成されている。「定常状態モデル関数」とは、自己回帰モデル、自己回帰移動平均モデル、状態空間モデルなどのダイナミックモデル式であり、最小二乗法やカルマンフィルタを用いた最尤法などの統計的手法により算出される。解析単位ごとに算出する定常状態モデル関数は、その解析単位で特定される1つの区画(部位、位置など)の変化データのみを利用して算出される単変量のモデル式であってもよいし、または、その解析単位で特定される1つの区画の周辺の区画(部位、位置など)の影響を考慮して算出される多変量の外生変数型モデル式であってもよい。これらのモデル式は、従来技術を利用して算出可能であるので、ここでの詳細な説明は省略する。なお、外生変数型モデル式を算出する場合は、その解析単位で特定される1つの区画(部位、位置など)の近傍の区画(部位、位置など)のみの影響を考慮したNEAREST−NEIGHBORS AUTOREGRESSIVE MODEL WITH EXTERNAL INPUTS(NNARX)などの手法を用いて、多変量のモデル式を算出してもよい。当該手法の詳細については、非特許文献1から3に記述されているので、ここでの詳細な説明は省略する。
なお、モデル関数生成部(0205)は、解析単位ごとに定常状態モデル関数を生成する。すなわち、例えば、分割部(0202)で分割された解析単位がR×L×M×N(個)の場合、モデル関数生成部(0205)は、R×L×M×N(個)の定常状態モデル関数を生成することとなる。
「残差データ算出部」(0206)は、生成した定常状態モデル関数を利用して、解析単位ごとに変化データとの残差データを時系列に算出するよう構成されている。すなわち、残差データ算出部(0206)は、解析単位ごとに生成した定常状態モデル関数を利用して、解析単位ごとに推定値と実測値の差である残差データを算出する。
例えば、1回の測定でT個のデータを記録するとし(例:1回の測定でT個の静止イメージを記録)、r回目(1≦r≦R|r、R:自然数)の測定における3次元のグリッド上の(l、m、n)で特定される区画(1≦l≦L、1≦m≦M、1≦n≦N|l、m、n、L、M、N:自然数)において、実際に計測された変化データの中の最初からt番目(1≦t≦T|t、T:自然数)の変化データをxt lmnrとする(以下に出てくる、r、R、l、L、m、M、n、N、t、T、については、特別な言及がない限り、当該前提と同様である。)。かかる場合、NNARXの手法を用い、「(l、m、n)で特定される区画は、(l1≦l≦l2、m1≦m≦m2、n1≦n≦n2|l1、l2、m1、m2、n1、n2:自然数)で特定される区画のみから影響を受けると仮定」を条件に生成した定常状態モデル関数を利用して算出したr回目の(l、m、n)で特定される解析単位の残差データet lmnrは、以下の式により計算することができる。
残差データ算出部(0206)は、数7で示される算出式などを用いて、解析単位ごとに、定常状態モデル関数を利用して算出された推定値と実際に測定された変化データとの差である残差データを時系列に算出する。ここで、残差データ算出部(0206)が算出する残差データの数は、前記を前提にすると、R×L×M×N×T(個)の残差データを算出することとなる。
なお、算出した残差データは、図3に示すように、マッピング表示してもよい。図3は、ある区画(l、m、n)で算出されたR×T(個)の残差データを、マッピングしたものである。縦軸は測定回数を示し、r回に対応する。横軸は時間を示しているが、T個のデータを均等時間(p(sec))おきに記録した場合、横軸はデータを記録した順番t番目に対応させることもできる。すなわち、図3は、ある区画(l、m、n)で算出された残差データの大小を、測定回数ごとに、測定の時間軸に沿って、色の濃淡により示したものである。図中、白い部分は残差の大きい部分であり、色が濃い部分は残差の小さい部分を示している。当該図より被測定物の(l、m、n)で特定される区画(部位、位置など)においては、測定開始から1.0sec〜2.0secの間に大きい残差が算出されており、これは、複数回の測定において同様の傾向であることが読み取れる。すなわち、当該図より、被測定物の(l、m、n)で特定される区画(部位、位置など)は、測定開始から1.0sec〜2.0secの間に、何らかの要因により、比較的大きな状態変化(電位変化)が起きていることが直感的に把握できる。
「検定値演算部」(0207)は、測定データ取得部において取得される繰返測定によって得られた複数セットの時間変化イメージングデータに基づいて残差データ算出部にて算出される複数セットの残差データを用いて、複数の領域に区画された時間変化イメージングデータの区画ごとに定常状態の残差データと他の残差検出時間帯の残差データの差の大きさを統計検定し、検定値を時系列に算出するよう構成されている。
ここで、時間変化イメージングデータの「セット数」は、任意の事象(例:呼吸、外的ストレス、爆音など)が1回生じた際に被測定物の各点(部位、位置など)が発する信号の時間変化を記録した時間変化イメージングデータを1セットの時間変化イメージングデータとして考える。すなわち、「繰返測定によって得られた複数セットの時間変化イメージングデータ」とは、前記を複数回繰返測定して取得した時間変化イメージングデータのことである。当該前提は、以下のすべての「セット数」において同様である。
「複数セットの残差データ」とは、複数回の測定分の時間変化イメージングデータ(複数セットの時間変化イメージングデータ)を利用して、測定回ごとに(セットごとに)算出された残差データが該当する。具体的には、1回の測定の時間変化データ(1セットの時間変化イメージングデータ)を利用して定常状態モデル関数を生成し、その定常状態モデル関数を利用して1セット分の残差データが算出される。そして、前記処理を複数回の測定分の時間変化イメージングデータすべてに対して行い、複数セットの残差データが算出される。
検定値演算部(0207)は、複数セットの残差データを、複数の領域に区画された時間変化イメージングデータの区画ごとにグループ化し、その区画の定常状態の残差データと他の残差検出時間帯の残差データの差の大きさを統計検定する。以下、その詳細について説明する。
<検定値演算部の統計検定>
<<区画ごとに、「定常状態の残差データ」と「他の残差検出時間帯の残差データ」を抽出>>
まず、検定値演算部(0207)は、すべてのセット(R回測定分)の残差データの中から、(l、m、n)で特定される区画の残差データ(R×T(個))を取り出す。そして、取り出したR×T(個)の残差データの中から、定常状態の残差データAlmn={a1、a2、・・・、ai}を抽出する。定常状態の特定手段は、前記した「定常状態データ抽出部」(0204)と同様の手段により、特定することができる。具体的には、検定値演算部(0207)は、測定開始から所定時間(例:0.52sec)分の残差データを定常状態の残差データとして抽出してもよい。これは、図3における、Aの枠で囲った部分の残差データが該当する。次に、検定値演算部(0207)は、他の残差検出時間帯の残差データBh lmn={b1、b2、・・・、bj}を抽出する。「他の残差検出時間帯」とは、1回の測定時間内の任意の時間帯であり、図3における、Bの枠で囲った部分の残差データなどが該当する。ここで、図3中、Bの枠の位置はあくまで一例であり、検定値演算部(0207)は、測定開始時間から測定終了時間までBの枠を時間軸に沿って順にスライド移動しながら、「他の残差検出時間帯」を順に特定する。そして、特定した時間帯の残差データを抽出する。この時、他の残差検出時間帯(図3中、枠B)が、定常状態の時間帯(図3中、枠A)と重なってもよい。なお、「他の残差検出時間帯」の時間幅(図3中のBの枠の時間軸上の幅)は任意の設計事項である。しかし、なるべく小さい時間幅に設定するのが好ましい。
<<「定常状態の残差データ」の代表値と「他の残差検出時間帯の残差データ」の代表値の大きさの差を統計検定>>
次に、検定値演算部(0207)は、定常状態の残差データAlmn={a1、a2、・・・、ai}の代表値と、他の残差検出時間帯の残差データBh lmn={b1、b2、・・・、bj}の代表値の差の大きさに、所定の有意水準以上の有意性があるか検討するため、統計検定する。統計検定の手法としては、例えば、t検定などのパラメトリック検定を用いることができる。以下、t検定による統計検定を簡易に説明する。
まず、t検定の場合、それぞれの残差データの代表値として、それぞれの残差データの平均値を適用することができる。具体的には、残差データAlmnの代表値Almn´は、(a1+a2+・・・+ai)/iで算出される。また、残差データBh lmnの代表値Bh lmn´は、(b1+b2+・・・+bj)/jで算出される。そして、残差データAlmnとBh lmnのそれぞれの不遍分散をUA lmn、UBh lmnとすると、検定値th lmnは、以下の式で算出される。
検定値演算部(0207)は、時間軸に沿って「他の残差検出時間帯」を順に特定しながら、それぞれの時間帯の検定値th lmnを算出し、格納していく。そして、すべての「他の残差検出時間帯」の検定値th lmnを算出すると、他の区画(例:(l、m、n+1))を特定し、同様にして検定値th lmn+1を算出する。その後、すべての区画に対して、前記のような検定値th lmnの算出処理を行う。
そして、検定値演算部(0207)は、すべての区画の検定値th lmnの算出処理を行うと、その中から、所定の有意水準以上の検定値のみを抽出し、その検定値の区画(l、m、n)、および、測定開始からの時間帯を特定する情報と関連付けて、ユーザに出力可能に保存する。ユーザは、当該情報を参照することで、被測定物において一定水準以上の有意性がある状態変化が生じた点(部位、位置など)、および、時間帯を識別することができる。また、その状態変化の大きさを検出することもできる。なお、前記抽出した検定値と関連付けられる「測定開始からの時間帯」は、1回の時間変化イメージングデータの測定で、T個のデータを均等時間(p(sec))おきに記録した場合に、t番目に記録した変化データの測定開始からの時間帯は、p×t(sec)で特定することができる。
ここで、前記はt検定による統計検定について説明したが、その他に、サロゲート法などのノンパラメトリック検定などを利用することもできる。これらの検定を使い分ける条件としては、例えば、「定常状態の残差データの数と、他の残差検出時間帯の残差データの数がともに30以上であり、かつ、それらの分布がともに正規分布とみなすことが可能な場合には、パラトメリック検定を、それ以外の場合には、ノンパラメトリック検定を利用する。」のようなものであってもよい。しかし、前記条件はあくまで一般的目安であり、必ず当該条件に従って検定方法を選択しなければいけないというものではない。なお、サロゲート法については、一般的に知られている技術であるので、ここでの詳細な説明は省略する。
「検定値マッピング部」(0208)は、時系列に算出した検定値を、被測定物のイメージングデータ上に時系列にマッピングするよう構成されている。すなわち、検定値マッピング部(0208)は、算出した検定値の中から、所定の有意水準以上の有意性を有する検定値のみを抽出すると、その検定値に対応する区間(l、m、n)、および、測定開始からの時間帯(p×t)を特定する。そして、測定開始からの時間帯ごとに、被測定物のイメージングデータ上の各区間に、抽出した検定値をマッピングする。マッピングの手法としては、カラープロットや等高線プロットなどが考えられる。図4に、時系列(測定開始からの時間帯(p×t)ごと)に、被測定物のイメージングデータ上に所定の有意水準以上の検定値をマッピングした図の一例を示す。図中、上側の4つの図が、被測定物のイメージングデータ上に所定の有意水準以上の有意性を有する検定値をマッピングした図である。図は、任意の4つの時間帯において、マッピングしたものを示している。当然に、他の時間帯においても、同様の手法により、マッピング図を作成することが可能である。図の下側は、被測定物に対して生じた任意の事象に関するデータである。図4のように、任意の事象との時間帯を合わせて表示することで、任意の事象に対応した、被測定物における状態変化点の変遷が、直観的に把握することができる。また、図4中、上側に示したマッピング図は、図のように示すだけでなく、時間軸に従い、スライド表示などしてもよい。このように表示することで、被測定物の状態変化点の変遷が、より直観的に把握しやすくなる。なお、所定の有意水準の値としては特段制限されず、測定対象、および、実験内容などに応じ、任意に設定可能である。参考までに、生体などから発する電気信号を検定する場合には、95%以上であることが望ましい。
<本実施形態のハードウェア構成>
図5は、上記機能的構成をハードウェアとして実現した際の構成の一例を表す図である。
以下に、図5のハードウェア図を用いて、本実施形態を実現する手段の一例を説明する。図に示すように、本実施形態のイメージングデータ処理システムは、「測定データ取得部」、「分割部」、「解析単位変化データ取得部」、「定常状態データ抽出部」、「モデル関数生成部」、「残差データ算出部」、「検定値演算部」、「検定値マッピング部」などを構成する「CPU」(0501)、「主記憶装置」(0502)、「プログラム記憶装置」(0503)、「2次記憶装置」(0504)、「ユーザI/F」(0505)、「外部機器I/F」(0506)、「ディスプレイ」(0507)、「バス」(0508)などを備えている。
主記憶装置(0502)は、プログラム実行中に動的にデータ書換可能な記憶装置である。主記憶装置(0502)はプログラム記憶装置(0503)に記憶されているプログラムを実行するために必要なスタックやヒープ等のワーク領域を提供する。また主記憶装置(0502)は、測定データ取得プログラムに従い取得した時間変化イメージングデータや、分割プログラムに従い解析単位ごとに分割された時間変化イメージングデータから解析単位ごとに取得した変化データや、定常状態モデル関数生成プログラムに従い解析単位ごとに生成した定常状態モデル関数や、残差データ算出プログラムに従い定常状態モデル関数を利用して解析単位ごとに算出した残差データや、統計検定プログラムに従い区画ごとにグループ化された残差データや、区画ごとにグループ化された残差データを利用して区画ごとに算出された検定値データや、算出された検知値データの中から取り出された所定の有意水準以上の検定値データや、検定値マッピングプログラムに従いマッピングデータ上に所定の有意水準以上の検定値データをマッピングされたデータなどを保持したりする。
2次記憶装置(0504)はプログラム実行中に動的にデータ書換可能な記憶装置であり、信号処理装置の電源が切れても、記憶しているデータが消去されない。2次記憶装置は、統計検定における所定の有意水準を定める有意水準データや、所定の有意水準以上の検定値をマッピングするためのマッピングデータなどを保持する。
ユーザI/F(0505)は、ユーザからデータ処理の指示信号などを受信する。外部機器I/F(0506)は、有線または無線で外部機器と通信し、被測定物から測定された時間変化イメージングデータなどを受信したりする。ディスプレイ(0507)は、ユーザの指示信号の入力を誘導するようなインターフェイスを文字・静止画像・動画像などで表示したり、処理データをマッピングしたマッピングデータを表示したりする。
以下、本実施形態のイメージングデータ処理システムが、繰返測定によって得られた複数セットの時間変化イメージングデータを取得し、当該データを利用して、被測定物の状態変化点を高精度に抽出し、結果をマッピングする処理の一例について説明する。
まず、ユーザI/F(0505)を介して、データ処理を開始する指示信号を受信すると、主記憶装置(0502)のワーク領域に展開された測定データ取得プログラムに従い、外部機器I/F(0506)を介して、被測定物から測定したデータである時間変化イメージングデータを取得し、主記憶装置(0502)のデータ領域に格納する。この時、図5中には記載していないが、本システムの中にHDDなどを有しておき、そこに保存しておいた時間変化イメージングデータを取得するようにしてもよい。
次に、主記憶装置(0502)のワーク領域に展開された分割プログラムに従い、取得した時間変化イメージングデータを解析単位ごとに分割する。具体的には、まず、時間変化イメージングデータを測定回数ごとにR個のグループに分割する。そして、被測定物を複数の領域(L×M×N)に区画し、合計R×L×M×N個の解析単位に分割する。その後、主記憶装置(0502)のワーク領域に展開された定常状態モデル関数生成プログラムに従い、解析単位ごとに時系列の変化データを取得すると、その中から所定の時間幅の定常状態変化データを抽出する。そして、抽出した定常状態変化データを利用して、NNARXなどを用いて、解析単位ごとに自己回帰モデル(定常状態モデル関数)を生成し、主記憶装置(0502)のデータ領域に格納する。
次に、主記憶装置(0502)のワーク領域に展開された残差データ算出プログラムに従い、解析単位ごとに生成した定常状態モデル関数を利用して、解析単位ごとに時系列の残差データを算出する。そして、解析単位ごとに算出した残差データを、区画ごとにグループ化して(L×M×N個のグループ)、区画毎残差データとして主記憶装置(0502)のデータ領域に格納する。
次に、主記憶装置(0502)のワーク領域に展開された統計検定プログラムに従い、区画ごとに残差データの統計検定を行う。具体的には、まず、一つの区画の区画毎残差データを取り出すと、その中から定常状態の残差データを抽出する。次に、他の残差検出時間帯を特定して残差データを抽出し、それぞれの代表値を算出する。そして、その代表の差の大きさをt検定などの手法により統計検定し、検定値を算出する。その後、他の残差検出時間帯を時間軸に従って順に特定していく。前記検定値算出処理をすべての他の残差検出時間帯に対して実施すると、算出した時系列の検定値を検定値データとして主記憶装置(0502)のデータ領域に格納する。そして、前記処理をすべての区画毎残差データに対して実施し、算出したデータを区画毎検定値データとして格納する。その後、2次記憶装置(0504)に保存していた有意水準データを取り出すと、区画毎検定値データの中から、有意水準データで特定される所定の有意水準以上に該当する検定値データのみを抽出し、区画毎有意水準検定値データとして、主記憶装置(0502)のデータ領域に格納する。当該データは、ユーザからの求めに応じて、ディスプレイ(0507)などに数値データなどのより表示してもよい。
次に、主記憶装置(0502)のワーク領域に展開された検定値マッピングプログラムに従い、2次記憶装置(0504)からマッピングデータを取り出すと、マッピングデータ上に、時間変化イメージングデータに含まれる被測定物の静止イメージを展開し、また、区画毎有意水準検定値データを利用して、時系列に、所定の有意水準以上の検定値の大きさを、被測定物のイメージングデータ上の所定の区画に識別可能にマッピングする。そして、マッピングしたデータをディスプレイ(0507)を介して出力する。
<本実施形態の処理の流れ>
本実施形態の処理の流れの一例を図6〜10のフローチャートに示す。図6は、取得した時間変化イメージングデータを利用して、解析単位ごとに残差データを時系列に算出する処理の一例である。図7は、取得した複数セットの時間変化イメージングデータを利用して、被測定物の状態変化点を高精度に時系列に抽出し、マッピングする処理の一例である。そして、図8〜10は、本実施形態の一部の処理の流れの一例である。
なお、本実施形態のイメージングデータ処理システムのデータ処理方法は、以下のような流れでデータの取得を行い、データの処理を行うような単純方法であってもよいし、または、以下のような流れを電子計算機の一連の動作方法として実現したものであってもよい。
<<残差データを時系列に算出する処理の流れ(図6)>>
まず、外部機器や内臓HDDなどから、被測定物を測定した時間変化イメージングデータを取得する(S0601)。その後、時間変化イメージングデータを、測定回ごとに複数の領域に区画した解析単位に分割する(S0602)。この時、測定回数が1回の場合には、時間変化イメージングデータを測定回ごとに分割する作業は行わず、複数の領域に区画した解析単位に分割することとなる。
そして、解析単位ごとに定常状態のデータを利用して、NNARXなどの手法を用い、自己回帰モデル(定常状態モデル関数)を生成する(S0603)。その後、解析単位ごとに生成した定常状態モデル関数を利用して、解析単位ごとに残差データを算出する(S0604)。
<<被測定物の状態変化点を時系列に抽出しマッピングする処理の流れ(図7)>>
まず、外部機器や内臓HDDなどから、被測定物を複数回繰返測定したデータである複数セットの時間変化イメージングデータを取得する(S0701)。その後、時間変化イメージングデータを、セットごとに(測定回ごとに)複数の領域に区画した解析単位に分割する(S0702)。
そして、解析単位ごとに定常状態のデータを利用して、NNARXなどの手法を用い、自己回帰モデル(定常状態モデル関数)を生成する(S0703)。その後、解析単位ごとに生成した定常状態モデル関数を利用して、解析単位ごとに残差データを算出する(S0704)。
そして、解析単位ごとに算出した残差データを、区画ごとにグループ化し(S0705)、区画ごとに残差データの統計検定を行う(S0706)。その後、統計検定の結果を被測定物のイメージングデータ上に、時系列にマッピング表示する(S0707)。
以下、前記所理の流れの中の、ステップS0703、S0704、S0706の詳細について説明する。
<<定常状態モデル関数の生成:ステップS0703(図8)>>
まず、1つの解析単位を特定すると(S0801)、その解析単位の変化データ(例:電位変化、光量変化、温度変化)を取得する(S0802)。そして、その中から定常状態のデータを抽出する(S0803)。次に、抽出した定常状態データを利用して、NNARXなどの手法を用い、自己回帰モデル(定常状態モデル関数)を生成する(S0804)。
その後、前記処理(S0801〜S0804)をすべての解析単位の定常状態モデル関数を生成するまで繰り返す(S0805)。
<<残差データの算出:S0704(図9)>>
まず、1つの解析単位を特定すると(S0901)、時間軸に従い1つの変化データを抽出する(S0902)。そして、生成した定常状態モデル関数を利用して推定値を算出し(S0903)、残差データを算出する(S0904)。前記処理(S0902〜S0904)をすべての変化データの残差データを時系列に算出するまで繰り返す(S0905)。
その後、前記処理(S0901〜S0905)をすべての解析単位の残差データを算出するまで繰り返す(S0906)。
<<統計検定:S0706(図10)>>
まず、1つの区画を特定すると(S1001)、その区画の残差データの中から定常状態の残差データを抽出し(S1002)、代表値を算出する(S1003)。そして、時間軸に従い、その区画の残差データの中から、1つの残差検出時間帯を特定し(S1004)、その残差検出時間帯の残差データを抽出すると(S1005)、代表値を算出する(S1004)。その後、定常状態の代表値と、1つの残差検出時間帯の代表値の差の大きさを統計検定し(S1007)、検定値を格納する(S1008)。前記処理(S1004〜S1008)をすべての残差検出時間帯の検定値を算出するまで繰り返す(S1009)。
そして、すべての残差検出時間帯の検定値を算出すると、所定の有意水準以上の検定値のみを抽出する(S1010)。
その後、前記処理(S1001〜S1010)をすべての区画の残差データに対して行うまで繰り返す。
<本実施形態を利用した具体的実施例>
<<実施例の目的>>
図11の左図は、ラットの脳を腹側から見た写真であり、右図は、その一部の拡大模式図である。図中、四角(1101)で囲った領域には、pFRGなどの呼吸関連部位が存在し、C4脊髄神経・横隔神経へ出力信号が送られることが知られている。本実施例では、呼吸に応じて、四角(1101)で囲った領域内の神経細胞の賦活状態がどのように変遷していくのかを算出し、直観的に把握可能にマッピングすることを目的とする。
<<時間変化イメージングデータ>>
本実施例では、膜電位感受性色素を利用し、CCDカメラにより、呼吸が起きた際の被測定物(脳)の表面の光量変化を複数の静止イメージで記録した。静止イメージは、100×100ピクセルで、0.02secおきに、256点記録した。1回の呼吸(1回吸って、1回吐く)に応じて、1回測定(256点)するようにし、前記を合計27回測定した。1回の測定においては、呼吸が生じる前に十分な時間(1sec程度)を確保するようにした。また、C4からも電気信号を測定し、その信号の立ち上がりを利用して同期をとることで、複数回測定したデータの呼吸の位相が揃うようにした。参考までに、C4から測定したデータを図12に示す。図中、上側が測定データであり、下側は、上側のデータに対して周波数解析を行った後のデータである。
<<解析単位に分割>>
本実施例では、被測定物の表面を2次元で捉えた時間変化イメージングデータを解析した。すなわち解析単位の分割処理としては、まず、時間変化イメージングデータを測定回数ごとに27個のグループに分割し、静止イメージ上の被測定物をL×M個の領域に区画した。具体的には、静止画像のピクセル数に応じて、100×100個の領域に区画した。すなわち、本実施例では、時間変化イメージングデータを27×100×100個の解析単位に分割した。
<<定常状態モデル関数の生成>>
本実施例では、NNARXの手法を用いて定常状態モデル関数を生成した。まず、影響を考慮する近傍は、周辺に位置する8つのピクセルのみとし、モデルのラグは3とした。そして、測定開始から0.52sec間を定常状態とした。
<<残差データの算出>>
前記生成した定常状態モデル関数を利用して、解析単位ごとに時系列の残差データを算出した。1つの解析単位につき、256個の残差データが算出された。
図3に、一つの区画(ピクセル)の残差データの時間変化をマッピングした図を示す。縦軸は、測定回数に該当し、横軸は時間軸に該当する。図は、256個×27回分の残差データをマッピングしている。図中、色の濃い部分が残差の小さいことを示し、色の白い部分が残差の大きいことを示している。当該図より、すべての回の測定において、大体1.0sec〜2.0secの間に、大きい残差が算出されていることがわかる。すなわち、大体1.0sec〜2.0secの間に、当該区画(ピクセル)に対応する被測定物の部位で状態変化が起きていることがわかる。
<<残差の統計検定>>
本実施例では、測定開始から0.52sec間を定常状態とし、他の残差検出時間帯は、0.02sec単位で、測定開始から時間軸に従って順に特定した。図3中、四角Aで囲った部分が定常状態の残差データに該当し、四角Bで囲った部分が、一つの他の残差検出時間帯の残差データに該当する。すなわち、定常状態の残差データは、26×27点の残差データを有し、1つの残差検出時間帯の残差データは1×27点の残差データを有する。
定常データと他の残差データは,正規分布とみなすことができ、データ数もおおむね30以上あるので、t検定を用いて統計検定を行った。なお、所定の有意水準としては、業界の慣行に従い、95%を適用した。
<<検定値のマッピング>>
図4に、検定値を時系列にマッピングした様子を示す。図中、上側が、被測定物のイメージングデータ上に、所定の有意水準以上の検定値をマッピングしたものであり、下側は、呼吸のタイミングを示すためにプロットしたC4信号である。図中、上側は、それぞれの時間帯において、所定の有意水準以上の大きさの残差が算出された部位をプロットしたものである。なお、図中の4つの時間帯はあくまで一例であり、その他の時間帯においても、同様のマッピング図を表示することができる。また、これらのマッピング図をスライド表示などすることも可能である。
図4より、C4信号がピークを迎える前に賦活する部位、同期して賦活する部位、2.5secほど遅れて賦活する部位を容易に把握することができる。
<発明の効果>
本発明のイメージングデータ処理システムおよびそのデータ処理方法により、測定した被測定物(生体、工場内のシステムなど)のイメージングデータ上で、状態変化点を高精度に時系列に抽出することができる。また、状態変化点が時間軸に従いどのように変遷していくかを直観的に把握することができるようになる。