JP7200774B2 - 情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体 - Google Patents

情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体 Download PDF

Info

Publication number
JP7200774B2
JP7200774B2 JP2019049953A JP2019049953A JP7200774B2 JP 7200774 B2 JP7200774 B2 JP 7200774B2 JP 2019049953 A JP2019049953 A JP 2019049953A JP 2019049953 A JP2019049953 A JP 2019049953A JP 7200774 B2 JP7200774 B2 JP 7200774B2
Authority
JP
Japan
Prior art keywords
information
brain
brain activity
cross
extreme value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049953A
Other languages
English (en)
Other versions
JP2020151011A (ja
Inventor
聡史 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019049953A priority Critical patent/JP7200774B2/ja
Priority to US16/811,267 priority patent/US11553884B2/en
Publication of JP2020151011A publication Critical patent/JP2020151011A/ja
Application granted granted Critical
Publication of JP7200774B2 publication Critical patent/JP7200774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体に関する。
脳磁計や脳波計を用いて生体から計測された生体信号に基づき、その元となった信号源の空間的な強度分布を推定し、MRI(Magnetic Resonance Imaging)などによって生成された形態画像に重畳することで脳活動を分析する活動が一般的に行われている。例えば、脳機能マッピングと呼ばれる研究分野では、被験者に所定のタスクや刺激を与え、それに伴う脳活動の時間や周波数の変化を分析することによって、重要な身体機能を司る領野を特定するが、その際に、脳活動を形態画像に重畳する可視化方法が用いられている。
しかし、脳活動は三次元的に分布している上に、時間軸や周波数軸の上で脳活動の特徴的な変動を見つけるためには、試行錯誤で目的の変動を探索する必要があり、多大な労力を要する。すなわち、脳活動は、空間を表す三次元に、時間や周波数の次元を加えた四次元から五次元の膨大なデータ量を有する。このような課題に対して、従来、脳活動の三次元分布の中から極値(ピーク)を取る位置を自動的に検出するピーク検出と呼ばれる技術が用いられていた。
ピーク検出は、推定された信号源の空間的な強度分布を分析する。しかし、この強度分布の推定は、一般に脳の形状を単純化して行われるため、その分布は脳の形状を正確に反映したものとはならない。このため、ピーク検出で得られた位置 (ピーク位置) が脳領域の外部に存在する場合もある。したがって、形態画像の中からピーク位置に対応する断面画像を検出して表示すると、一部の断面画像が脳領域を含まず、利用者に不要な混乱や推定結果に対する不信感を招く恐れがあった。
本発明は、上記に鑑みてなされたものであって、脳領域を含む断面画像を適切に表示することが可能な情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体を提供することを目的とする。
前述した課題を解決し、目的を達成するために、本発明の情報表示方法は、生体から計測された生体信号を用いて計算される脳活動情報を、複数の断面画像から構成される形態画像に重畳表示する表示方法であって、前記形態画像において脳に属する領域を表すマスク情報を取得するマスク情報取得工程と、前記マスク情報と前記脳活動情報とを照らし合わせることによって、前記脳活動情報において空間的な極値を取る極値位置のうち、前記脳の領域に属する極値位置を検出する極値検出工程と、を備えて、前記形態画像から前記極値位置に対応する前記断面画像を取得して、前記脳活動情報から前記断面画像に対応する脳活動分布を取得して、前記極値検出工程で検出された極値位置を、前記脳活動分布前記断面画像に重畳して表示することを特徴とする。
本発明によれば、脳領域を含む断面画像を適切に表示することができる。
図1は、第1の実施形態に係る生体信号計測システムの概略図である。 図2は、第1の実施形態に係る情報処理装置のハードウェア構成の一例を示すハードウェアブロック図である。 図3は、第1の実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。 図4は、計測収集画面の一例を示す図である。 図5は、時間周波数解析画面の一例を示す図である。 図6は、ピークリストの設定例を示す図である。 図7は、再生制御パネルの操作によりヒートマップおよび立体図が再生表示される状態を示す図である。 図8は、ピーク位置が脳領域の内側に検出された場合の断面画像の表示例を示す図である。 図9は、ピーク位置が脳領域の外側に検出された場合の断面画像の表示例を示す図である。 図10は、断面画像にピーク位置を重畳表示する処理の流れの一例を示すフローチャートである。 図11は、第2の実施形態において、断面画像にピーク位置を重畳表示する処理の流れの一例を示すフローチャートである。 図12は、第3の実施形態において、断面画像にピーク位置を重畳表示する処理の流れの一例を示すフローチャートである。
(第1の実施形態)
以下に、図面を参照しながら、本発明に係る情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体の実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、及びいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更、及び組み合わせを行うことができる。
(生体信号計測システムの概略構成)
図1は、第1の実施形態に係る生体信号計測システムの概略図である。図1を用いて、本実施形態に係る生体信号計測システム1の概略構成を説明する。
生体信号計測システム1は、被検者の複数種類の生体信号(例えば、脳磁(MEG:Magneto-Encephalography)信号、及び脳波(EEG:Electro-Encephalography)信号)を計測し、表示するシステムである。なお、計測対象となる生体信号は、脳磁信号及び脳波信号に限られるものではなく、脳活動に係るその他の信号であってもよい。図1に示すように、生体信号計測システム1は、被検者の1以上の生体信号を計測する計測装置3と、計測装置3で計測された生体信号を記録するサーバ装置40と、サーバ装置40に記録された生体信号を解析する情報処理装置50と、を含む。なお、図1では、サーバ装置40と情報処理装置50とを別々に記載しているが、例えば、サーバ装置40が有する機能の少なくとも一部が情報処理装置50に組み込まれる形態であってもよい。なお、生体信号計測システム1は、情報表示システムの一例である。また、情報処理装置50は、情報表示装置の一例である。
図1の例では、被検者は、頭に脳波計測用の電極(又はセンサ)を付けた状態でテーブル4に横たわり、計測装置3のデュワ31の窪み32に頭部を入れる。デュワ31は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ31の窪み32の内側には脳磁計測用の多数の磁気センサが配置される。計測装置3は、電極からの脳波信号と、磁気センサからの脳磁信号とを収集し、収集した脳波信号及び脳磁信号を含むデータ(以下、「計測データ」と称する場合がある)をサーバ装置40へ出力する。サーバ装置40へ出力された計測データは、情報処理装置50に読み出されて表示され、解析される。なお、磁気センサを内蔵するデュワ31及びテーブル4は、一般的には磁気シールドルームに配置されるが、図1では便宜上、磁気シールドルームの図示を省略している。
情報処理装置50は、複数の磁気センサからの脳磁信号の波形と、複数の電極からの脳波信号の波形を、同じ時間軸上に同期させて表示する装置である。脳波信号とは、神経細胞の電気的な活動(シナプス伝達の際のニューロンの樹状突起で起こるイオン電荷の流れ)を電極間の電圧値として表した信号である。脳磁信号とは、脳の電気活動により生じた微小な電場変動を表す信号である。脳磁場は、高感度の超伝導量子干渉計(SQUID:Superconducting Quantum Interference Device)センサで検知される。これらの脳波信号及び脳磁信号は、「生体信号」の一例である。
(情報処理装置のハードウェア構成)
図2は、第1の実施形態に係る情報処理装置のハードウェア構成の一例を示すハードウェアブロック図である。図2を用いて、本実施形態に係る情報処理装置50のハードウェア構成を説明する。
図2に示すように、情報処理装置50は、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、補助記憶装置104と、ネットワークI/F105と、入力装置106と、表示装置107とを備える。そして、これらのハードウェアは、バス108で相互に接続される。
CPU101は、情報処理装置50の全体の動作を制御し、各種の情報処理を行う演算装置である。CPU101は、ROM103又は補助記憶装置104に記憶された情報表示プログラムを実行して、計測収集画面及び解析画面(時間周波数解析画面等)の表示動作を制御する。
RAM102は、CPU101のワークエリアとして用いられ、主要な制御パラメータ及び情報を記憶する揮発性の記憶装置である。ROM103は、基本入出力プログラム等を記憶する不揮発性の記憶装置である。例えば、前述の情報表示プログラムがROM103に記憶されてもよい。
補助記憶装置104は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)等の記憶装置である。補助記憶装置104は、例えば、情報処理装置50の動作を制御する制御プログラム、及び情報処理装置50の動作に必要な各種のデータ及びファイル等を記憶する。
ネットワークI/F105は、サーバ装置40等のネットワーク上の機器と通信を行うための通信インタフェースである。ネットワークI/F105は、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)に準拠したNIC(Network Interface Card)等によって実現される。
入力装置106は、タッチパネル、キーボード、マウス及び操作ボタン等の入力機能を備えたユーザインタフェース装置である。表示装置107は、各種の情報を表示するディスプレイ装置である。表示装置107は、例えば、タッチパネルの表示機能、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機EL(Electro-Luminescence)等によって実現される。表示装置107は、計測収集画面及び解析画面を表示し、入力装置106を介した入出力操作に応じて画面を更新する。
なお、図2に示す情報処理装置50のハードウェア構成は一例であり、これ以外の装置が備えられるものとしてもよい。また、図2に示す情報処理装置50は、例えば、PC(Personal Computer)を想定したハードウェア構成であるが、これに限定されるものではなく、タブレット等のモバイル端末であってもよい。この場合、ネットワークI/F105は、無線通信機能を有する通信インタフェースであればよい。
(情報処理装置の機能構成)
図3は、実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。図3を用いて、本実施形態に係る情報処理装置50の機能構成を説明する。
図3に示すように、情報処理装置50は、収集表示制御部201と、解析表示制御部202と、ピークリスト制御部203と、通信制御部204と、センサ情報取得部205と、マスク情報取得部206と、解析部207と、記憶部208と、情報入力部209とを有する。
収集表示制御部201は、センサ情報の収集動作時の画面表示を制御する機能部である。
解析表示制御部202は、センサ情報取得部205により取得されたセンサ情報(脳波信号及び脳磁信号)から解析部207により算出された生体信号の信号強度等の画面表示を制御する機能部である。解析表示制御部202は、更に、ヒートマップ表示制御部211と、立体表示制御部212と、断面表示制御部213と、再生表示制御部214と、を有する。
ヒートマップ表示制御部211は、後述する時間周波数解析画面601(図5参照)のヒートマップ611の画面表示を制御する機能部である。立体表示制御部212は、時間周波数解析画面601の立体図612の画面表示を制御する機能部である。断面表示制御部213は、時間周波数解析画面601の頭部三面図613の画面表示を制御する機能部である。再生表示制御部214は、時間周波数解析画面601の再生制御パネル615に対する操作入力に従って、再生表示を制御する機能部である。
ピークリスト制御部203は、設定された条件を満たす信号強度の極値(ピーク)を検出する。また、ピークリスト制御部203は、検出した極値を、時間周波数解析画面601のピークリスト614に登録する機能部である。
ここで、ピークリスト制御部203が、信号強度の極値を検出する方法を説明する。ピークリスト制御部203は、脳活動のイメージング結果から空間的な極値を取る位置を検出する。空間的な極値とは、あるボクセルに着目した際に、その隣接ボクセル(前後上下左右の6方向、ないしそれらに斜め方向を加えた26方向)の全てと比較してボクセルに格納された値が大きい状態(極大)ないし小さい状態(極小)である。なお、隣接ボクセル同士の値の大小関係の判定に際しては、値が等しい場合を許容してもよい。また、隣接ボクセル同士の値の大小関係の判定に閾値を設けて、差の絶対値が閾値以上の場合のみ、値が大きいないし小さいと判定してもよい。
また、ピークリスト制御部203は、ピーク位置に加えてピーククラスタサイズを導出してもよい。ピーククラスタとは、ピークの広がりを表す指標であり、ピーク位置のボクセルと連結する所定の条件を満たすボクセルの数である。所定の条件は、例えば、ピーク位置が極大である場合には、ボクセルの持つ値が予め決定された閾値以上であることである。また、ピーク位置が極小である場合には、ボクセルの持つ値が予め決定された閾値以下であることである。
通信制御部204は、計測装置3又はサーバ装置40等とデータ通信を行う機能部である。通信制御部204は、図2に示すネットワークI/F105によって実現される。
センサ情報取得部205は、計測装置3又はサーバ装置40から、通信制御部204を介して、センサ情報(脳波信号及び脳磁信号)を取得する機能部である。
マスク情報取得部206は、被験者の脳領域のマスク画像(マスク情報)を取得する。マスク画像とは、生体信号計測システム1が計測した被験者の生体信号に基づいて生成した、脳の形態画像(又はそれを構成する断面画像)において、脳領域とその他の領域とを識別する情報を格納した画像である。マスク画像は、例えば、脳領域に属する画素が画素値「1」を有して、脳領域に属さない画素が画素値「0」を有する二値画像である。なお、マスク画像は、二値画像に限定されるものではなく、脳領域とそれ以外の領域とが識別できさえすれば、画像の形式は問わない。また、マスク画像と呼んでいるが、必ずしも画像の形式をとる必要はなく、例えば、脳領域に属する形態画像上の座標値を格納したリストであってもよい。
マスク画像は、例えば、被験者の脳の形態画像を構成する断面画像を処理することによって作成される。マスク画像は、予め作成してファイル等に保存しておいてもよいし、センサ情報取得部205が取得したセンサ情報に基づいて、マスク情報取得部206が自ら作成してもよい。また、例えば解析部207がマスク画像を作成してもよい。或いは、解析表示制御部202が表示した断面画像に対して、生体信号計測システム1の操作者が画面上で脳領域を指定することによって、マスク画像を作成してもよい。
なお、ここでは利用者が着目し分析対象となる脳部位をまとめて、単に脳領域と呼ぶ。したがって、脳領域は必ずしもすべての脳部位を包含する訳ではない。例えば、脳活動の解析において小脳や脳幹は除外されるケースがあり、これらを除く脳部位を脳領域と呼ぶ場合もある。
解析部207は、センサ情報取得部205により取得されたセンサ情報(計測された信号)を解析し、脳内の各部における信号強度を示す信号(以下、当該信号についても「生体信号」と称する場合がある)を算出する機能部である。
具体的には、解析部207は、マスク画像により定義される脳領域を小領域(ボクセル)に分割し、ボクセル毎に脳活動の度合いを推定する(脳活動のイメージングと呼ぶ)。脳活動の度合いを表す指標には、信号強度や信号強度の変化度合いなどを用いることができる。脳活動のイメージングには任意の方法を利用することができ、例示すれば、Adaptive Beamformerと呼ばれる手法やベイズ因子分析を用いる手法など公知の技術を用いればよい。また、前者の方法は後者の方法と比較して、周波数方向の分解能を持つため、脳活動のイメージング結果には周波数の次元が増える。
一般に、イメージングを行う際には脳領域のマスク画像により構成される三次元形状を1つないし複数の球体でモデル化し、その内部に対して計算を行う。このため、モデル化の誤差として脳領域の外部が包含されたり、脳溝など微細な構造が失われたりする傾向にある。尚、脳領域の一部が欠損しないよう、あえて実際の脳領域よりも大きめにモデル化する場合がある。
記憶部208は、解析部207により算出された信号強度を示す生体信号のデータ等を記憶する機能部である。記憶部208は、図2に示すRAM102又は補助記憶装置104によって実現される。
情報入力部209は、センサ情報に対して、関連する情報を注釈として付加するアノテーション情報の入力操作、及び時間周波数解析画面601に対する各種入力操作を受け付ける機能部である。情報入力部209は、図2に示す入力装置106によって実現される。
前述の収集表示制御部201、解析表示制御部202、ピークリスト制御部203、センサ情報取得部205、マスク情報取得部206、及び解析部207は、CPU101がROM103等に記憶されたプログラムをRAM102に展開して実行することにより実現される。なお、収集表示制御部201、解析表示制御部202、ピークリスト制御部203、センサ情報取得部205、マスク情報取得部206、及び解析部207の一部又は全部は、ソフトウェアであるプログラムではなく、ASIC(Application Specific Integrated Circuit)又はFPGA(Field-Programmable Gate Array)等のハードウェア回路によって実現されてもよい。
また、図3に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図3で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図3の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
(計測収集時の動作)
図4は、計測収集画面の一例を示す図である。計測収集画面502は、図4に示すように、計測された生体信号(ここでは、脳磁信号及び脳波信号)の信号波形を表示する領域511aと、信号波形以外のモニタ情報を表示する領域511bと、を有する。
表示画面の領域511bでは、計測中に被験者の様子を確認するためのモニタウィンドウ512が表示される。計測中の被験者のライブ映像を表示することで、信号波形のチェック及び判断の信頼性を高めることができる。図4では、1台のモニタディスプレイ(表示装置107)の表示画面に、計測収集画面502の全体が表示される場合を示しているが、左側の領域511a及び右側の領域511bを、2台又はそれ以上のモニタディスプレイに分けて別々に表示してもよい。
領域511aは、信号検出の時間情報を画面の水平方向に表示する第1表示領域530と、信号検出に基づく複数の信号波形を画面の垂直方向に並列に表示する第2表示領域521,522,523と、を有する。
領域511aでは、同種の複数のセンサから取得される複数の信号波形、又は複数種類のセンサ群から取得される複数種類の信号の波形が、同じ時間軸531で同期して表示される。図4に示す例では、第2表示領域521には被験者の頭部右側から得られる複数の脳磁信号の波形が、第2表示領域522には被験者の頭部左側から得られる複数の脳磁信号の波形が、それぞれ並列に表示される。第2表示領域523には、複数の脳波信号の波形が並列に表示される。これらの複数の脳波信号の波形は、各電極間で計測された電圧信号である。これらの複数の信号波形のそれぞれは、その信号が取得されたセンサの識別番号又はチャネル番号と対応付けられて表示される。
計測が開始され、各センサからの計測情報が収集されると、時間の経過と共に、領域511aの各第2表示領域521~523に、左端から右方向に向けて信号波形が表示される。ライン532は、現在の時刻を示しており、画面の左から右へ向けて移動する。領域511aの右端(時間軸531の右端)まで信号波形が表示されると、その後は画面の左端から右へ向けて徐々に信号波形が消え、消えた位置に新しい信号波形が順次左から右方向に表示され、かつ、ライン532も左端から右へ向けて移動する。これと共に、水平方向の第1表示領域530には、時間の経過が時間軸531上に表示される。計測収集は、終了ボタン539が押下されるまで継続される。
領域511bのモニタウィンドウ512には、頭部を計測装置3に入れてテーブル4に横たわっている被験者の状態のライブ映像が表示される。領域511bには、第2表示領域521、522、523の信号波形のそれぞれに対応する脳磁分布図541、542と、脳波分布図550と、アノテーションリスト560とが表示される。アノテーションリスト560は、図4の信号波形上でマークされたアノテーションの一覧である。第2表示領域521~523で信号波形上の位置又は範囲が指定されてアノテーションが付される都度、対応する情報がアノテーションリスト560に順次追加される。
終了ボタン539が選択(押下)され計測が終了すると、第2表示領域521~523で指定されたハイライト箇所は信号波形に対応付けて保存される。第1表示領域530の対応する時刻位置に表示されたアノテーション情報も、アノテーション番号と時刻とに対応付けて保存される。また、アノテーションリスト560の内容等の関連情報も保存される。これらの表示情報を保存することで、計測者と解析者とが異なる場合でも、解析者は問題となる箇所を容易に認識し、解析することができる。
(時間周波数解析画面における解析動作)
次に、図5を用いて、情報処理装置50に表示される時間周波数解析画面601における解析動作について説明する。図5は、時間周波数解析画面の一例を示す図である。
非図示の開始画面において「解析」ボタンが押下されると、解析部207は、計測収集動作によって収集されたセンサ情報(脳波信号又は脳磁信号)を解析し、脳内の各位置における信号強度を示す生体信号を算出する。信号強度を算出する方法としては、例えば、公知の方法である空間フィルタ法等が挙げられるが、その他の方法を用いてもよい。
解析表示制御部202は、非図示の開始画面において、「解析」ボタンが選択されると、表示装置107に、図5に示す時間周波数解析画面601を表示させる。時間周波数解析画面601は、図5に示すように、解析画面切替リスト605と、ヒートマップ611と、立体図612と、頭部三面図613と、ピークリスト614と、再生制御パネル615とを表示する。
時間周波数解析画面601を用いた解析及び計測の主目的は、視覚野、聴覚野、体性感覚野、運動野及び言語野等の人間の生存に欠かせない部位を特定して表示することである。ピークリスト614の右側に表示されるピークリスト設定ボタン614aは、ピークリスト614に登録されるピークの条件を設定するためのウィンドウを表示させるためのボタンである。ピークリスト設定ボタン614aの機能は後述する。また、ヒートマップ611、立体図612、頭部三面図613、ピークリスト614及び再生制御パネル615の表示内容の詳細、及び動作の詳細は、順次後述する。
<ピークリストについて>
次に、図6を用いて、ピークリストについて説明する。図6は、ピークリストの設定例を示す図である。
ピークリスト614は、ピークリスト制御部203により検出された、設定された条件を満たす信号強度のピークが登録されたリストである。図6に示すように、ピークリスト制御部203は、ピークリスト614がプルダウンされた場合に、登録された信号強度の一覧であるプルダウンリスト656を表示する。
また、ピークリスト制御部203により検出される信号強度のピークの条件は、ピークリスト設定ボタン614aを押下することにより設定することができる。ピークリスト制御部203は、ピークリスト設定ボタン614aが押下されると、検出される信号強度のピークの条件を設定するためのダイアログボックス655を表示させる。
ダイアログボックス655では、まず、ピークリスト614に登録されたピーク情報をどのようにソートするかを設定することができる。ダイアログボックス655において、「ピークの値が大きい順番」が選択された場合、ピークリスト制御部203は、ピークリスト614で登録されるピーク情報を、ピークの信号強度が大きい順にソートする。一方、ダイアログボックス655において、「ピークの高さ(頂点と谷点の差)が大きい順番」が選択された場合、ピークリスト制御部203は、ピークリスト614で登録されるピーク情報を、ピーク点の信号強度と、当該ピークの谷部分の信号強度との差が大きい順にソートする。
さらに、ダイアログボックス655では、ピークリスト614に登録するピーク情報の種類を設定することができる。ダイアログボックス655において、「すべての空間的なピーク」が選択された場合、ピークリスト制御部203は、時刻・周波数平面の各時刻・各周波数においての脳全体における空間的なピークを検出して、ピークリスト614に登録する。ここで、空間的なピークとは、着目する時刻・周波数の生体信号の、脳全体における信号強度のピークである。
また、ダイアログボックス655において、「すべての時刻/周波数的なピーク」が選択された場合、ピークリスト制御部203は、脳全体の各位置においての時刻・周波数平面における時刻/周波数的なピークを検出して、ピークリスト614に登録する。ここで、時刻/周波数的なピークとは、着目する脳の位置での、生体信号の時刻・周波数平面における信号強度のピークである。
また、ダイアログボックス655において、「指定されている時刻/周波数における空間的なピーク」が選択された場合、ピークリスト制御部203は、時刻・周波数平面で指定されている時刻・周波数においての脳全体における空間的なピークを検出して、ピークリスト614に登録する。なお、指定された時刻/周波数は一点とは限らず、範囲で選択される場合もある。
また、ダイアログボックス655において、「指定されている位置における時刻/周波数的なピーク」が選択された場合、ピークリスト制御部203は、指定されている脳の位置においての時刻・周波数平面における時刻/周波数的なピークを検出して、ピークリスト614に登録する。なお、指定された位置は一点とは限らず、範囲で選択される場合もある。例えば、視覚野についてのピークを検出する場合、後頭部全体の範囲を指定することによって、所望のピークを検出しやすくなる。
<ヒートマップについて>
ヒートマップ611は、図5に示すように、解析部207により算出された脳内の各位置の信号強度を示す生体信号について時間周波数分析を施して、横軸を時刻、縦軸を周波数、そして、時刻及び周波数で特定される生体信号の信号強度の分布を色で表した図である。図5に示す例では、信号強度は、例えば、所定の基準に対する増減で示される。ここで所定の基準とは、例えば、被験者に何も刺激を与えていない場合の信号強度の平均値を0[%]とする。また、ヒートマップ611は、例えば、時刻0[ms]に被験者に対して何らかの刺激(物理的に衝撃を与える、腕を動かす、言葉を発する、音を聴かせる等)を与えた場合、その後の時刻では刺激を与えた後の脳の活動状態を示し、時刻0[ms]以前の時刻では、刺激を与える前の脳の活動状態を示すことになる。このヒートマップ611の表示動作は、ヒートマップ表示制御部211によって制御される。
また、解析者による情報入力部209に対するドラッグ操作又はスワイプ操作によって、ヒートマップ611上の特定の範囲を指定することができる。ヒートマップ表示制御部211は、指定された範囲に、例えば、ドラッグ操作等で定まる面積を有する矩形形状の指定領域622-1等(図7参照)を表示する。なお、指定領域は、白抜きの矩形範囲、丸形状、自由形状等の任意の表示態様で表示される。
このように、ヒートマップ611において特定の範囲が指定されると、指定された範囲に含まれる時刻及び周波数に対応する生体信号の信号強度の平均の分布が、立体図612及び頭部三面図613に表示される。具体的には、図5に示すように、立体図612には、部位712a-1~712a-5、712b-1~712b-5が表示される。また、頭部三面図613には、部位713a-1、713a-2、713b、713c、713dが表示される。
<立体図について>
立体図612は、図5に示すように、所定の視点からの脳の立体画像(3D画像)を表示する図である。立体図612には、ヒートマップ611上で指定された位置(点又は範囲)、または、ピークリスト614で選択されたピークの位置に対応する生体信号の信号強度が、ヒートマップとして重畳表示される。立体図612において、同じ行には同じ視点からの脳の立体画像が表示される。図5に示す例では、立体図612の上側の行の立体図は、脳の左側面の画像であり、下側の行の立体図は、脳の右側面の画像である。この立体図612の表示動作は、立体表示制御部212によって制御される。
なお、図5に示す立体図612は、2つの視点から見た脳の立体図、すなわち、2行で構成された脳の立体図であるが、これに限定されるものではなく、その他の数の行で表示してもよく、行の数を設定により変更できるものとしてもよい。例えば、脳の言語野の計測であれば、左右の差が重要な情報となるため、脳の左側面及び右側面からの2つの視点からの脳の立体図を表示(2行で表示)するものとすればよい。
<頭部三面図について>
頭部三面図613は、図5に示すように、脳の特定の位置(点)における3方向の断面図(以下、「三面図」と総称する場合がある)である。頭部三面図613は、脳の前後方向に対して垂直な断面を示す断面図641(コロナル断面図)、脳の左右方向に対して垂直な断面を示す断面図642(サジタル断面図)、及び脳の上下方向に対して垂直な断面を示す断面図643(アキシャル断面図)を含む。また、頭部三面図613は、3D画像である立体画像644を含んでもよい。
頭部三面図613には、前述した特定の位置(点)を通る、縦横に延びる基準線が描画される。なお、基準線について、詳しくは後述する(図8参照)。頭部三面図613の表示動作は、断面表示制御部213によって制御される。
<再生制御パネルについて>
再生制御パネル615は、解析者の操作によって、時間経過と共に、ヒートマップ611、立体図612及び頭部三面図613の状態を再生表示するためのユーザインタフェースである。
解析者が、再生制御パネル615の「再生」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、図7(a)及び図7(b)に示すように、指定領域622-1、及びその周りの対応領域622-2~622-5を、時間経過と共に、右方向(時間が進む方向)に移動させるように指示する。また、再生表示制御部214は、指定領域622-1及び対応領域622-2~622-5の移動に伴い、立体表示制御部212に対して、図7(a)及び図7(b)に示すように、各領域に対応した立体図612の表示を切り替えるように指示する。また、再生表示制御部214は、指定領域622-1の移動に伴い、断面表示制御部213に対して、移動している指定領域622-1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、頭部三面図613及び立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「コマ戻し」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、指定領域622-1、及びその周りの対応領域622-2~622-5を、所定時間分だけ左方向(時間が戻る方向)に移動させるように指示する。また、再生表示制御部214は、指定領域622-1及び対応領域622-2~622-5の移動に伴い、立体表示制御部212に対して、各領域に対応した立体図612の表示を切り替えるように指示する。また、再生表示制御部214は、指定領域622-1の移動に伴い、断面表示制御部213に対して、移動した指定領域622-1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、頭部三面図613及び立体画像644に表示させるように指示する。
(ピーク位置の表示例)
次に、図8,図9を用いて、信号強度のピーク位置の表示例を説明する。図8は、ピーク位置が脳領域の内側に検出された場合の断面画像の表示例を示す図である。図9は、ピーク位置が脳領域の外側に検出された場合の断面画像の表示例を示す図である。
断面表示制御部213は、検出された信号強度のピーク位置の中から所定の基準に基づいて1つを選択し、選択されたピーク位置Pに対応する頭部三面図613(断面画像)に、対応する脳活動のイメージング結果を重畳して表示する。ピーク位置Pの位置は、基準線の十字の交点として表示される。仮にピーク位置Pが検出されなかった場合は、利用者にその旨を通知した上で、予め決定された基準(形態画像の中心など)に従い、表示に使用する断面画像を選択する。なお、頭部三面図613は、図8に示すように、コロナル断面図641と、サジタル断面図642と、アキシャル断面図643とを並べて表示するのが望ましい。
なお、ピーク位置Pの選択基準としては、当該ピーク位置Pの脳活動が最も強い(絶対値が最大)ものを選択する方法や、予め指定された脳部位の最近傍に存在するピーク位置Pを選択する方法、ピーククラスタサイズが最大であるピーク位置Pを選択する方法などが挙げられる。尚、ピーク位置Pをリストとして利用者に提示し、利用者によって選択されたピーク位置Pに対応する断面画像を表示してもよい。
図8に示すように、コロナル断面図641には、選択されたピーク位置Pを通る、基準線645aと基準線645bとが描画される。サジタル断面図642には、選択されたピーク位置Pを通る、基準線645aと基準線645cとが描画される。そして、アキシャル断面図643には、選択されたピーク位置Pを通る、基準線645dと基準線645bとが描画される。
なお、断面画像の空間解像度と脳活動のイメージング結果の空間解像度とが異なり、ピーク位置Pが正確に断面画像の画素と一致しない場合には、ピーク位置Pからの距離が最小となる断面画像を選択してもよいし、複数の断面画像を用いて補間画像を作成して、作成された補間画像を断面画像の代用としてもよい。
なお、断面画像を表示する際に、図8に示すように、断面画像に対応する平面の脳活動のイメージング結果を重畳表示することが望ましい。重畳表示を行う際に、断面画像とイメージング結果とで空間解像度が異なる場合には、解像度の高い側に合わせて他方を適宜補間して表示するのが望ましい。一般的には、イメージング結果の方がより低解像度であるため、イメージング結果を補間することになる。補間方法は公知の技術を用いればよく、最近傍補間、線形補間、キュービック補間などが例示できる。
また、脳活動のイメージング結果は、脳活動の強弱を色や濃度で区別できるように表示するのが望ましく、また、重畳した際に断面画像の情報を参照できるよう、透過率又は不透明度を設定できるのが望ましい。
図9は、ピーク位置が脳領域の外側に検出された場合の断面画像の表示例を示す図である。図9において、色のついている領域Rが、注目している脳領域のうち活動が強い部分であり、ピーク位置Pは領域Rの中に検出されるのが望ましい。しかしながら、脳活動の推定の過程で行われる脳領域のモデル化に際して、脳領域の外部が包含されたり、脳溝など微細な構造が失われたりすることで、実際の脳領域の外側に脳活動が推定され、条件によってピーク位置Pとして検出される場合がある。このような場合、利用者は、ピーク位置Pが重畳表示された断面画像を見て、計測結果の使用可否等を判断する。
(ピーク位置を重畳表示する処理の流れ)
次に、図10を用いて、情報処理装置50が行う、断面画像にピーク位置Pを重畳表示する処理の流れを説明する。図10は、断面画像にピーク位置を重畳表示する処理の流れの一例を示すフローチャートである。
マスク情報取得部206は、マスク画像を読み込む(ステップS11)。
解析部207は、センサ情報取得部205が取得したセンサ情報を解析して、生体信号を算出する。そして、解析表示制御部202は、算出された生体信号に基づいて脳活動のイメージングを行う(ステップS12)。
ピークリスト制御部203は、イメージングされた生体信号のピーク位置を検出する(ステップS13)。
さらに、ピークリスト制御部203は、ピーク位置Pが脳領域内にあるかを判定する(ステップS14)。ピーク位置Pが脳領域内にあると判定される(ステップS14:Yes)と、ステップS15に進む。一方、ピーク位置Pが脳領域内にあると判定されない(ステップS14:No)と、ステップS17に進む。
なお、ピークリスト制御部203は、ステップS13で検出されたピーク位置Pを脳領域のマスク画像と照らし合わせて、ピーク位置Pが脳領域の内部に存在するかを判定する。ピーク位置Pが脳領域の内部に存在するか否かを判定する方法としては、ピーク位置Pの最近傍のマスク画像の画素の値を採用する方法や、ピーク位置Pの四近傍のマスク画像の画素が全て脳領域内である場合のみ脳領域内と判定する方法などが例示できる。
ステップS14において、Yesと判定されると、解析表示制御部202(断面表示制御部213)は、ピーク位置Pに対応する断面画像を、表示装置107に表示する(ステップS15)。
次に、解析表示制御部202(断面表示制御部213)は、断面画像に対応する平面の脳活動のイメージング結果を表示装置107に重畳表示する(ステップS16)。その後、情報処理装置50は、図10に示す一連の処理を終了する。
一方、ステップS14において、Noと判定されると、解析表示制御部202(断面表示制御部213)は、表示装置107に、利用者の注意を喚起する情報を表示して、ピーク位置Pが脳領域内にないことを利用者に通知する(ステップS17)。その後、ステップS15に進む。
以上説明したように、第1の実施形態の情報処理装置50(情報表示装置)は、マスク情報取得部206が、形態画像において脳に属する領域を表すマスク情報を取得する(マスク情報取得工程)。そして、ピークリスト制御部203が、マスク情報に基づいて、脳活動情報において空間的な極値を取るピーク位置P(極値位置)を検出する(極値検出工程)。そして、断面表示制御部213が、形態画像からピーク位置Pに対応する断面画像を取得して、センサ情報取得部205が、脳活動情報から断面画像に対応する脳活動分布を取得して、断面表示制御部213が、脳活動分布を断面画像に重畳して表示する。したがって、脳領域を含む断面画像を適切に表示することができる。
また、第1の実施形態の情報処理装置50(情報表示装置)は、マスク情報取得部206が、形態画像において脳に属する領域を表すマスク情報を取得する。ピークリスト制御部203は、マスク情報を参照して、特定したピーク位置の中から脳の領域に属するピーク位置Pを検出する。断面表示制御部213は、検出されたピーク位置Pを、脳活動分布と断面画像とに重畳して表示する。したがって、一旦ピーク位置の検出を行った後で、脳領域の内部に存在するピーク位置Pを検出して表示に用いるため、脳領域外のピーク位置が選択されるのを防止することができる。
また、第1の実施形態の情報処理装置50(情報表示装置)は、断面表示制御部213が、脳活動分布と断面画像に、更に、ピーク位置P(極値位置)を重畳して表示する。したがって、ピーク位置Pを認識しやすい形態で表示することができる。
(第1の実施形態の変形例)
第1の実施形態では、ステップS13で検出したピーク位置の中から脳領域の内側に存在するピーク位置Pを検出(つまり、脳領域の外側に存在するものを除外)した。これに対して、図10のステップS14において、ピーク位置Pが脳領域の外側に存在すると判定された際(ステップS14がNoと判定された場合)に、当該ピーク位置Pを別の位置で代替してもよい。
脳活動のイメージング結果からピーク位置Pが検出された場合、仮にそのピーク位置Pが脳領域の外側であっても、そのピーク位置Pの周辺には重要な情報が存在している可能性がある。このため、脳領域外のピーク位置Pを含むピーククラスタに着目し、当該クラスタに含まれる他のボクセルであって、脳領域内に存在するボクセルの位置で、前記ピーク位置Pを代替してもよい。代替に用いるボクセルの選択方法として、次のような方法が例示できる。
第1の方法は、脳領域の境界面に存在し、ピーク位置Pから最も近いボクセルを選択する方法である。
第2の方法は、脳領域の境界面を含む内側に存在し、ピーク位置Pから所定の距離以内にある、ピーク位置Pと値が最も近いボクセルを選択する方法である。
すなわち、情報処理装置50の解析表示制御部202(断面表示制御部213)は、図10のステップS17に代わって、これらの方法でボクセルを選択する処理を行うことによって、ピーク位置Pの代替位置を検出し、表示することができる。
以上説明したように、第1の実施形態の変形例の情報処理装置50(情報表示装置)において、ピークリスト制御部203は、ピーク位置とマスク情報とに基づいて、ピーク位置の中から脳の領域に属さないピーク位置Pを検出して、検出されたピーク位置Pを、空間的に近接する代替位置で置き換える。そして、断面表示制御部213は、ピーク位置Pの代替位置を、脳活動分布と前記断面画像とに重畳して表示する。したがって、ピーク位置Pが脳領域の外側に検出された場合であっても、所定の基準を満たす近傍の位置で代替することで、ピーク位置Pの情報を有効活用することができる。
(第2の実施形態)
次に、本発明に係る情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体の第2の実施形態を詳細に説明する。
第2の実施形態の情報処理装置50a(非図示)は、脳活動のイメージングを行った後に、イメージング結果から脳領域外の情報を排除することで、ピーク位置の検出を行った際に、脳領域の外側にピーク位置Pが検出されないようにするものである。
情報処理装置50aは、情報処理装置50と同じハードウェア構成(図2)を有する。また、情報処理装置50aは、情報処理装置50とほぼ同じ機能構成(図3)を有するが、解析表示制御部202の断面表示制御部213のみが、第1の実施形態とは異なる機能を備える。すなわち、情報処理装置50aは、解析表示制御部202aを備える。そして、解析表示制御部202aは、解析表示制御部202において、断面表示制御部213の代わりに、断面表示制御部213aを備える。なお、その他の構成部位は、第1の実施形態と同じであるため、共通の符号を用いて説明する。
第2の実施形態において、解析表示制御部202a(断面表示制御部213a)は、脳活動のイメージング結果から、脳領域の内部に存在するイメージング結果のみを抽出することで、次ステップのピーク位置の検出において、脳領域の外側にピーク位置が検出されないようにイメージング結果を更新する。
前述したように、脳活動のイメージングは実際の脳領域よりも広い範囲に対して行われ、その計算単位はボクセルである。したがって、断面表示制御部213aは、各ボクセルの座標値に対応するマスク画像の画素値を参照し、当該ボクセルが脳領域の内外いずれに存在するかを判定する。そして、断面表示制御部213aは、この判定結果に基づいて、脳領域の内側に存在するボクセルのみを抽出したイメージング結果を作成してもよいし、又は、イメージング結果において脳領域の外側に属するボクセルの値を抑制することでピークが検出されないようにしてもよい。ボクセルの値の抑制は、脳活動がないことを表す数値で置き換えることで実現でき、例えば、イメージング結果として格納された画素値をゼロで置き換えればよい。
なお、前述したイメージング結果の更新に、脳領域内のボクセルのみの抽出をするか、脳領域外のボクセルの抑制をするかは、次ステップのピーク位置の検出の方法に応じて選択すればよい。一般的には、データの構造が変わらない、脳領域外のボクセルの抑制を行うのが望ましい。
(ピーク位置を重畳表示する処理の流れ)
次に、図11を用いて、情報処理装置50aが行う、断面画像にピーク位置Pを重畳表示する処理の流れを説明する。図11は、第2の実施形態において、断面画像にピーク位置を重畳表示する処理の流れの一例を示すフローチャートである。
情報処理装置50aは、脳領域のマスク画像を読み込んで(ステップS21)、脳活動のイメージングを行う(ステップS22)。これらの処理は、第1の実施形態で、情報処理装置50が行うステップS11及びステップS12の処理と同じ内容である。
次に、解析表示制御部202a(断面表示制御部213a)は、イメージング結果から脳領域に該当する領域を抽出する(ステップS23)。具体的には、前述したように、各ボクセルの座標値に対応するマスク画像の画素値を参照し、当該ボクセルが脳領域の内外いずれに存在するかを判定する。
続いて、ピークリスト制御部203は、イメージングされた生体信号のピーク位置を検出して(ステップS24)、断面表示制御部213aは、ピーク位置Pに対応する断面画像を、表示装置107に表示する(ステップS25)。そして、断面表示制御部213aは、断面画像に対応する平面の脳活動のイメージング結果を表示装置107に重畳表示する(ステップS26)。これらの処理内容は、情報処理装置50が行う、いずれも前述したステップS13,ステップS15,ステップS16の処理内容と同じである。
以上説明したように、第2の実施形態の情報処理装置50a(情報表示装置)は、マスク情報に基づいて、脳活動情報の中から脳の領域に属さない情報を排除して、極値検出工程によりピーク位置P(極値位置)を特定する。したがって、ピーク位置Pが脳領域外に検出されなくなることから、ピーク位置Pが脳領域内にあるか否かの検証が不要となる。また、第2の実施形態によると、第1の実施形態よりも多くのピーク位置を得ることができる。さらに、第1の実施形態では、脳領域外に存在するピーク位置Pは除外されるため、仮に当該ピーク位置Pを含むピーククラスタが脳領域と重複している場合には、当該クラスタに関する情報が利用者に提供されなかった。しかし、第2の実施形態によれば、ピーククラスタのうち、脳領域と重複した領域からピーク位置Pが検出されるため、問題を改善することができる。
(第3の実施形態)
次に、本発明に係る情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体の第3の実施形態を詳細に説明する。
第3の実施形態の情報処理装置50b(非図示)は、脳活動のイメージングに際して、計算上脳領域外の活動が推定されないようにすることで、第1の実施形態や第2の実施形態で例示したような対応を行わなくても、ピーク位置の検出において脳領域の外側にピーク位置Pが検出されないようにするものである。
情報処理装置50bは、情報処理装置50と同じハードウェア構成(図2)を有する。また、情報処理装置50bは、情報処理装置50とほぼ同じ機能構成(図3)を有するが、解析部207のみが、第1の実施形態とは異なる機能を備える。すなわち、情報処理装置50bは、解析部207aを備える。なお、その他の構成部位は、第1の実施形態と同じであるため、共通の符号を用いて説明する。
第3の実施形態の情報処理装置50bにおいて、解析部207aは、脳領域の内部のみで、脳活動のイメージングを行う。
脳磁計を用いて計測された脳磁場データや、脳波計を用いて計測された脳波データに基づき、脳活動の空間分布を推定するには、リードフィールド行列と呼ばれる各装置を構成するセンサの空間的な感度分布を、脳活動の推定に先立って計算する必要がある。(あるセンサのある空間的位置に対する感度を単にリードフィールドと呼ぶ)このリードフィールド行列の計算する上で、脳領域を1つ以上の球体でモデル化することが一般的に行われている(1つの球でモデル化する手法はSingle-Sphereモデル、複数の球でモデル化する手法はMultiple-Spheresモデル又はOverlapping-Spheresモデルと呼ばれる)。前述したように、モデル化の誤差として脳領域の外部が包含されたり、脳溝など微細な構造が失われたりする傾向にある他、脳領域の一部が欠損しないように、あえて実際の脳領域よりも大きめにモデル化する場合がある。このため、センサは脳領域の外側にも感度を持つようにリードフィールド行列が計算されるため、このリードフィールド行列を用いることで脳領域の外側にも脳活動が推定されてしまう場合がある。
したがって、各センサが脳領域の内側のみに感度を持つようにリードフィールド行列を構成することで、脳領域の外側に脳活動が推定されないようにすることができる。これを実現する具体的な方法として、次のような方法が例示できる。
第1に、リードフィールド行列を計算した後に、脳領域外のリードフィールドを無効化する方法がある。リードフィールドは通常ボクセル単位で計算されることから、一旦全てのボクセルに対してリードフィールドを計算した後、各ボクセルが脳領域の内外いずれに存在するかを、マスク画像を参照して判定し、脳領域外に存在するボクセルのリードフィールドをゼロに置き換えることで無効化する方法である。
第2に、リードフィールド行列の計算に際して、脳領域外の位置を計算対象から除外する方法がある。すなわち、第1の方法のようにリードフィールドを全てのボクセルに対して計算するのではなく、各ボクセルに対して計算していく過程で、注目しているボクセルが脳領域の内外いずれに存在するかを、マスク画像を参照して逐次確認し、脳領域の内側に存在するボクセルのみリードフィールドを計算することで、センサが脳領域の外側に感度を持たないようにする方法である。
本実施形態において、解析部207aは、前述したいずれかの方法に基づいて、脳活動のイメージングを行う。
(ピーク位置を重畳表示する処理の流れ)
次に、図12を用いて、情報処理装置50bが行う、断面画像にピーク位置Pを重畳表示する処理の流れを説明する。図12は、第3の実施形態において、断面画像にピーク位置を重畳表示する処理の流れの一例を示すフローチャートである。
情報処理装置50bは、脳領域のマスク画像を読み込む(ステップS31)。この処理は、第1の実施形態で、情報処理装置50が行うステップS11の処理と同じ内容である。
次に、解析部207aは、前述したいずれかの方法を用いて、センサ情報取得部205が取得したセンサ情報を解析し、脳領域内のみで生体信号を算出する。そして、解析表示制御部202は、脳領域内のみで脳活動のイメージングを行う(ステップS32)。
続いて、ピークリスト制御部203は、イメージングされた生体信号のピーク位置を検出して(ステップS33)、断面表示制御部213は、ピーク位置Pに対応する断面画像を、表示装置107に表示する(ステップS34)。そして、断面表示制御部213は、断面画像に対応する平面の脳活動のイメージング結果を表示装置107に重畳表示する(ステップS35)。これらの処理内容は、情報処理装置50が行う、いずれも前述したステップS13,ステップS15,ステップS16の処理内容と同じである。
以上説明したように、第3の実施形態の変形例の情報処理装置50b(情報表示装置)は、解析部207aが、マスク情報に基づく脳の領域に属さない位置を除外して脳活動情報を計算する(脳活動情報計算工程)。したがって、脳活動のイメージング結果が脳領域のみに値を持つことから、ピーク位置Pが脳領域外に検出されなくなることにより、ピーク位置Pが脳領域内にあるか否かの検証が不要となる。
以上、本発明の実施の形態について説明したが、前述した実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 生体信号計測システム(情報表示システム)
3 計測装置
50,50a,50b 情報処理装置(情報表示装置)
202 解析表示制御部
203 ピークリスト制御部
205 センサ情報取得部
206 マスク情報取得部
207,207a 解析部
213,213a 断面表示制御部
P ピーク位置
特開2018-153612号公報

Claims (9)

  1. 生体から計測された生体信号を用いて計算される脳活動情報を、複数の断面画像から構成される形態画像に重畳表示する表示方法であって、
    前記形態画像において脳に属する領域を表すマスク情報を取得するマスク情報取得工程と、
    前記マスク情報と前記脳活動情報とを照らし合わせることによって、前記脳活動情報において空間的な極値を取る極値位置のうち、前記脳の領域に属する極値位置を検出する極値検出工程と、を備えて、
    前記形態画像から前記極値位置に対応する前記断面画像を取得して、
    前記脳活動情報から前記断面画像に対応する脳活動分布を取得して、
    前記極値検出工程で検出された極値位置を、前記脳活動分布前記断面画像に重畳して表示する、
    情報表示方法。
  2. 前記極値位置と前記マスク情報とに基づいて、当該極値位置の中から脳の領域に属さない極値位置を検出して、
    検出された前記極値位置を、空間的に近接する代替位置で置き換えて、
    前記代替位置を、前記脳活動分布と前記断面画像とに重畳して表示する、
    請求項1に記載の情報表示方法。
  3. 前記マスク情報に基づいて、前記脳活動情報の中から脳の領域に属さない情報を排除して、前記極値検出工程により極値位置を特定する、
    請求項1に記載の情報表示方法。
  4. 前記生体信号を用いて前記脳活動情報を計算する脳活動情報計算工程を更に備えて、
    前記脳活動情報計算工程が、前記マスク情報に基づく脳の領域に属さない位置を除外して脳活動情報を計算する、
    請求項1に記載の情報表示方法。
  5. 前記脳活動分布と前記断面画像に、更に、前記極値位置を重畳して表示する、
    請求項1から請求項のいずれか1項に記載の情報表示方法。
  6. 生体から計測された生体信号を用いて計算される脳活動情報を、複数の断面画像から構成される形態画像に重畳表示する情報表示装置であって、
    前記形態画像において脳に属する領域を表すマスク情報を取得するマスク情報取得部と、
    前記マスク情報に基づいて、前記脳活動情報において空間的な極値を取る極値位置を検出する極値検出部と、
    前記形態画像から前記極値位置に対応する前記断面画像を取得して、前記脳活動情報から前記断面画像に対応する脳活動分布を取得して、前記脳活動分布を前記断面画像に重畳して表示する表示制御部と、を備えて、
    請求項1から請求項のいずれか1項に記載の情報表示方法を実現する情報表示装置。
  7. 生体信号を計測する計測装置と、
    当該計測装置で計測された生体信号を用いて計算される脳活動情報を、複数の断面画像から構成される形態画像に重畳表示する情報表示装置と、を備えて、
    請求項1から請求項のいずれか1項に記載の情報表示方法を実現する情報表示システム。
  8. 生体から計測された生体信号を用いて計算される脳活動情報を、複数の断面画像から構成される形態画像に重畳表示する情報表示装置を制御するコンピュータを、
    前記形態画像において脳に属する領域を表すマスク情報を取得するマスク情報取得部と、
    前記マスク情報と前記脳活動情報とを照らし合わせることによって、前記脳活動情報において空間的な極値を取る極値位置のうち、前記脳の領域に属する極値位置を検出する極値検出部と、
    前記形態画像から前記極値位置に対応する前記断面画像を取得して、前記脳活動情報から前記断面画像に対応する脳活動分布を取得して、前記極値検出部で検出された極値位置を、前記脳活動分布前記断面画像に重畳して表示する表示制御部と、
    して機能させるプログラム。
  9. 請求項に記載のプログラムを格納した記録媒体。
JP2019049953A 2019-03-18 2019-03-18 情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体 Active JP7200774B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019049953A JP7200774B2 (ja) 2019-03-18 2019-03-18 情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体
US16/811,267 US11553884B2 (en) 2019-03-18 2020-03-06 Information display method, information display device, information display system, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049953A JP7200774B2 (ja) 2019-03-18 2019-03-18 情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2020151011A JP2020151011A (ja) 2020-09-24
JP7200774B2 true JP7200774B2 (ja) 2023-01-10

Family

ID=72514015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049953A Active JP7200774B2 (ja) 2019-03-18 2019-03-18 情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体

Country Status (2)

Country Link
US (1) US11553884B2 (ja)
JP (1) JP7200774B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328933A (ja) 2004-05-18 2005-12-02 Shimadzu Corp 経頭蓋的脳機能測定装置
JP2018153612A (ja) 2017-03-17 2018-10-04 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07227386A (ja) * 1993-11-08 1995-08-29 Osaka Gas Co Ltd 磁気計測装置
JPH10295659A (ja) * 1997-04-24 1998-11-10 Shimadzu Corp 生体活動電流源表示装置
FR3026932A1 (fr) * 2014-10-14 2016-04-15 Assist Publique - Hopitaux De Paris Methode d’analyse de l’activite cerebrale d’un sujet
US20180143199A1 (en) * 2016-11-23 2018-05-24 The Board Of Trustees Of The Leland Stanford Junior University Methods of identifying glioblastoma patients as susceptible to anti-angiogenic therapy using quantitative imaging features and molecular profiling
WO2018168722A1 (en) * 2017-03-17 2018-09-20 Ricoh Company, Ltd. Information processing apparatus, information processing method, program, and biological signal measurement system
US10679394B2 (en) 2018-01-30 2020-06-09 Ricoh Company, Ltd. Information processing device, information processing method, computer program product, and biosignal measurement system
JP7135845B2 (ja) 2018-01-30 2022-09-13 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
US11311249B2 (en) * 2018-03-12 2022-04-26 Ricoh Company, Ltd. Information processing apparatus, information processing method, non-transitory computer-readable medium, and information processing system for displaying biological signal measurements
CN111354001B (zh) * 2018-12-20 2024-02-02 西门子医疗系统有限公司 脑肿瘤图像分割方法、装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328933A (ja) 2004-05-18 2005-12-02 Shimadzu Corp 経頭蓋的脳機能測定装置
JP2018153612A (ja) 2017-03-17 2018-10-04 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム

Also Published As

Publication number Publication date
JP2020151011A (ja) 2020-09-24
US20200297289A1 (en) 2020-09-24
US11553884B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
Robertson et al. Spatial view cells in the primate hippocampus: effects of removal of view details
US8725241B2 (en) Visualization of physiological data for virtual electrodes
EP1998668B1 (en) Method and apparatus for localising and displaying electrophysiological signals
CA2873042A1 (en) Channel integrity detection
US10679394B2 (en) Information processing device, information processing method, computer program product, and biosignal measurement system
JP7009906B2 (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
US20200294189A1 (en) Information processing device, information processing method, recording medium storing program code, and information processing system
JP2018153612A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
KR101999271B1 (ko) Pso기반 최적의 eeg채널 결정 방법 및 장치
Sawada et al. Electrophysiological correlates of the efficient detection of emotional facial expressions
US10945627B2 (en) Systems and methods for super-resolving electromagnetic localization and causality
US20200297231A1 (en) Information processing device, information processing method, recording medium storing program code, and biomedical-signal measuring system
JP6996135B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7200774B2 (ja) 情報表示方法、情報表示装置、情報表示システム、プログラム及び記録媒体
KR102253982B1 (ko) 뇌파도의 증강된 해상도 데이터 생성 장치 및 방법
JP2020146206A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
JP7135845B2 (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
JP2021536272A (ja) 非侵襲的電磁記録におけるアーチファクトを抑制するための装置、システム、および方法
Liu et al. Rapidly decoding image categories from MEG data using a multivariate short-time FC pattern analysis approach
JP7176197B2 (ja) 情報処理装置、生体信号計測システム、表示方法、及びプログラム
JP2021087761A (ja) 信号分離装置、プログラムおよび信号分離方法
JP2021019954A (ja) 情報処理装置、生体信号表示装置およびプログラム
JP2021145875A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
US20200400429A1 (en) Information processing device, biological information measurement device, and computer-readable medium
US20230128461A1 (en) Information processing apparatus and computer-readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R151 Written notification of patent or utility model registration

Ref document number: 7200774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151