JP7135845B2 - Information processing device, information processing method, program, and biological signal measurement system - Google Patents
Information processing device, information processing method, program, and biological signal measurement system Download PDFInfo
- Publication number
- JP7135845B2 JP7135845B2 JP2018243640A JP2018243640A JP7135845B2 JP 7135845 B2 JP7135845 B2 JP 7135845B2 JP 2018243640 A JP2018243640 A JP 2018243640A JP 2018243640 A JP2018243640 A JP 2018243640A JP 7135845 B2 JP7135845 B2 JP 7135845B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- control unit
- displayed
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報処理装置、情報処理方法、プログラムおよび生体信号計測システムに関する。 The present invention relates to an information processing device, an information processing method, a program, and a biological signal measurement system.
脳外科手術等を行うためには、切除対象となる脳の疾患部位であるターゲット部位と、切除せずに温存すべき温存部位とを特定することが必要となる。温存部位としては、視覚野、聴覚野、体性感覚野、運動野および言語野等がある。これらの温存部位を誤って切除してしまうと、人間の感覚および運動等が害されることになるので、脳外科手術等に際してのターゲット部位および温存部位の特定は非常に重要である。このような脳外科手術等のために、事前に脳の活動を調べるためには脳磁計、脳波計、ｆＭＲＩ（ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、またはｆＮＩＲＳ（ｆｕｎｃｔｉｏｎａｌ Ｎｅａｒ－Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ）等を用いて脳内の物理現象を計測する。このうち、ｆＭＲＩおよびｆＮＩＲＳは、脳内を流れる血流を測定して生体信号を得るものであるが、血流という性質上、脳の活動を計測するのに精度的に制限がある。一方、脳磁計および脳波計は、脳内の電気的活動、および電気的活動により生じる磁場を測定して波形として生体信号を測定できる。 In order to perform brain surgery or the like, it is necessary to specify a target region, which is a diseased region of the brain to be resected, and a preservation region that should be preserved without being resected. The preserved regions include the visual area, auditory area, somatosensory area, motor area and language area. Accidental excision of these preserved regions impairs human senses and movements, so it is very important to specify the target region and the preserved region in brain surgery or the like. In order to investigate the activity of the brain in advance for such brain surgery etc., the brain is examined using magnetoencephalography, electroencephalography, fMRI (functional Magnetic Resonance Imaging), or fNIRS (functional Near-Infrared Spectroscopy). Measure physical phenomena. Of these, fMRI and fNIRS measure blood flow in the brain to obtain biosignals, but due to the nature of blood flow, there is a limit to the accuracy of measuring brain activity. On the other hand, magnetoencephalographs and electroencephalographs can measure electrical activity in the brain and magnetic fields generated by the electrical activity to measure biological signals as waveforms.
このような測定により得られた波形を用いて脳内の活動を解析する技術として、波形を表示し、波形レベルでの解析を行うために、センサの位置と波形との対応を分かりやすくするために、波形の表示に対応付けてセンサの表示色を変えるという工夫を凝らした技術が開示されている（特許文献１参照）。しかし、測定された生体信号を波形のままで表示させても、脳内の温存部位を特定することはできない。そこで、技術の進歩により、脳内の活動を波形ではなく、波形の情報から脳内の発火位置（生体信号の発生源（信号源）の位置）を特定し、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）等で計測された脳の形状を示す図に重畳して表示する技術が提案されてきている。これによって、脳のどの部位で生体信号が発生しているのかが一目瞭然となり、診察を容易としている。ここで、発火（ｆｉｒｅ）とは、脳内のニューロンが他のニューロンからの刺激を受けて活動することをいう。 As a technology to analyze activity in the brain using waveforms obtained from such measurements, waveforms are displayed and analyzed at the waveform level. (see Japanese Patent Application Laid-Open No. 2002-100003) discloses a technique in which the display color of the sensor is changed in association with the display of the waveform. However, even if the measured biological signal is displayed as a waveform, it is not possible to specify the preserved part in the brain. Therefore, with the progress of technology, the firing position in the brain (the position of the source of the biological signal (signal source)) is specified from the information of the waveform, not the waveform of the activity in the brain, and MRI (Magnetic Resonance Imaging) etc. Techniques for superimposing and displaying a diagram showing the shape of the measured brain have been proposed. As a result, it becomes clear at a glance which part of the brain the biosignal is generated in, facilitating diagnosis. Here, "fire" means that a neuron in the brain receives stimulation from another neuron and becomes active.
次のステップとして、脳内で特定された信号源がどのように移動するかに注目が集まっている。このように脳内で特定された信号源がどのように移動するかを確認するためには、これまで動画が用いられることが多い。 As a next step, attention is focused on how the identified signal sources move in the brain. Moving images have often been used to see how these identified signal sources move in the brain.
しかしながら、脳内で特定された信号源がどのように移動するかを確認するために動画を用いた場合、最も強く発火していた（最も強く生体信号が発生した）時刻が分かりにくく、前後の時刻の発火の状態を比較することも困難であるという問題点がある。また、動画だけでは、直感的に理解はしやすいものの、カンファレンス等の場において多人数で詳細な解析を行うには不向きであるという問題点もある。 However, when moving images were used to confirm how the signal source identified in the brain moved, it was difficult to determine the time when the strongest firing occurred (the strongest biological signal was generated). There is also the problem that it is difficult to compare firing states at different times. In addition, although it is easy to understand intuitively with only moving images, there is also the problem that it is not suitable for detailed analysis by a large number of people at conferences and the like.
本発明は、上記に鑑みてなされたものであって、脳の活動を示す静止画をコマ送り的またはコマ戻し的に表示して、脳の活動の解析を容易にすることができる情報処理装置、情報処理方法、プログラムおよび生体信号計測システムを提供することを目的とする。 The present invention has been made in view of the above, and an information processing apparatus capable of displaying still images showing brain activity in a frame-by-frame or frame-by-frame fashion to facilitate analysis of brain activity. , an information processing method, a program, and a biological signal measurement system.
上述した課題を解決し、目的を達成するために、本発明は、特定の発信源からの生体信号について時間および周波数に分解して構成される第１強度分布を表示装置に表示させる第１表示制御部と、前記第１強度分布上で指定された点または領域に対応する時間に対応する前記生体信号の第２強度分布を重畳した前記発信源の形状の第１画像、および該対応する時間の前後の前記生体信号の第２強度分布を重畳した前記発信源の形状の第２画像を並べて前記表示装置に表示させる第２表示制御部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention provides a first display that causes a display device to display a first intensity distribution configured by resolving a biological signal from a specific transmission source into time and frequency. a control unit, a first image of the shape of the transmission source superimposed with the second intensity distribution of the biological signal corresponding to the time corresponding to the point or region designated on the first intensity distribution, and the corresponding time and a second display control unit that causes the display device to display a second image of the shape of the transmission source on which the second intensity distribution of the biological signal before and after is superimposed side by side.
本発明によれば、脳の活動を示す静止画をコマ送り的またはコマ戻し的に表示して、脳の活動の解析を容易にすることができる。 According to the present invention, still images showing brain activity can be displayed in a frame-by-frame or frame-by-frame fashion to facilitate analysis of brain activity.
以下に、図面を参照しながら、本発明に係る情報処理装置、情報処理方法、プログラムおよび生体信号計測システムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。 Hereinafter, embodiments of an information processing apparatus, an information processing method, a program, and a biological signal measurement system according to the present invention will be described in detail with reference to the drawings. In addition, the present invention is not limited by the following embodiments, and the constituent elements in the following embodiments can be easily conceived by those skilled in the art, substantially the same, and so-called equivalent ranges. is included. Furthermore, various omissions, replacements, changes and combinations of components can be made without departing from the gist of the following embodiments.
（生体信号計測システムの概略）
図１は、実施形態に係る生体信号計測システムの概略図である。図１を参照しながら、本実施形態に係る生体信号計測システム１の概略について説明する。
(Overview of biological signal measurement system)
FIG. 1 is a schematic diagram of a biological signal measurement system according to an embodiment. An outline of a biological
生体信号計測システム１は、被検者の複数種類の生体信号（例えば、脳磁（ＭＥＧ：Ｍａｇｎｅｔｏ－ｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）信号、および脳波（ＥＥＧ：Ｅｌｅｃｔｒｏ－ｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）信号）を計測し、表示するシステムである。なお、測定対象となる生体信号は、脳磁信号および脳波信号に限られるものではなく、例えば、心臓の活動に応じて発生する電気信号（心電図として表現可能な電気信号）であってもよい。図１に示すように、生体信号計測システム１は、被検者の１以上の生体信号を測定する測定装置３と、測定装置３で測定された１種類以上の生体信号を記録するサーバ４０と、サーバ４０に記録された１種類以上の生体信号を解析する情報処理装置５０と、を含む。なお、図１では、サーバ４０と情報処理装置５０とが別々に記載されているが、例えば、サーバ４０が有する機能の少なくとも一部が情報処理装置５０に組み込まれる形態であってもよい。
The biological
図１の例では、被検者（被測定者）は、頭に脳波測定用の電極（またはセンサ）を付けた状態で測定テーブル４に仰向けで横たわり、測定装置３のデュワ３１の窪み３２に頭部を入れる。デュワ３１は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ３１の窪み３２の内側には脳磁測定用の多数の磁気センサが配置されている。測定装置３は、電極からの脳波信号と、磁気センサからの脳磁信号とを収集し、収集した脳波信号および脳磁信号を含むデータ（以下、「測定データ」と称する場合がある）をサーバ４０へ出力する。サーバ４０へ出力された測定データは、情報処理装置５０に読み出されて表示され、解析される。一般的に、磁気センサを内蔵するデュワ３１および測定テーブル４は、磁気シールドルーム内に配置されているが、図１では便宜上、磁気シールドルームの図示を省略している。
In the example of FIG. 1, the subject (person to be measured) is lying face up on the measurement table 4 with electrodes (or sensors) for electroencephalogram measurement attached to the head. put the
情報処理装置５０は、複数の磁気センサからの脳磁信号の波形と、複数の電極からの脳波信号の波形を、同じ時間軸上に同期させて表示する装置である。脳波信号とは、神経細胞の電気的な活動（シナプス伝達の際のニューロンの樹状突起で起きるイオン電荷の流れ）を電極間の電圧値として表される信号である。脳磁信号とは、脳の電気活動により生じた微小な電場変動を表す信号である。脳磁場は、高感度の超伝導量子干渉計（ＳＱＵＩＤ：Ｓｕｐｅｒｃｏｎｄｕｃｔｉｎｇ Ｑｕａｎｔｕｍ Ｉｎｔｅｒｆｅｒｅｎｃｅ Ｄｅｖｉｃｅ）センサで検知される。これらの脳波信号および脳磁信号は、「生体信号」の一例である。
The
（情報処理装置のハードウェア構成）
図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施形態に係る情報処理装置５０のハードウェア構成について説明する。
(Hardware configuration of information processing device)
FIG. 2 is a diagram illustrating an example of the hardware configuration of the information processing apparatus according to the embodiment; The hardware configuration of the
図２に示すように、情報処理装置５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、補助記憶装置１０４と、ネットワークＩ／Ｆ１０５と、入力装置１０６と、表示装置１０７と、を有し、これらがバス１０８で相互に接続されている。
As shown in FIG. 2, the
ＣＰＵ１０１は、情報処理装置５０の全体の動作を制御し、各種の情報処理を行う演算装置である。ＣＰＵ１０１は、ＲＯＭ１０３または補助記憶装置１０４に記憶された情報表示プログラムを実行して、測定収集画面および解析画面（時間周波数解析画面等）の表示動作を制御する。
The CPU 101 is an arithmetic device that controls the overall operation of the
ＲＡＭ１０２は、ＣＰＵ１０１のワークエリアとして用いられ、主要な制御パラメータおよび情報を記憶する揮発性の記憶装置である。ＲＯＭ１０３は、基本入出力プログラム等を記憶する不揮発性の記憶装置である。例えば、上述の情報表示プログラムがＲＯＭ１０３に記憶されているものとしてもよい。
A
補助記憶装置１０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。補助記憶装置１０４は、例えば、情報処理装置５０の動作を制御する制御プログラム、ならびに、情報処理装置５０の動作に必要な各種のデータおよびファイル等を記憶する。
The
ネットワークＩ／Ｆ１０５は、サーバ４０等のネットワーク上の機器と通信を行うための通信インターフェースである。ネットワークＩ／Ｆ１０５は、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に準拠したＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等によって実現される。
A network I/
入力装置１０６は、タッチパネルの入力機能、キーボード、マウスおよび操作ボタン等のユーザインターフェース等である。表示装置１０７は、各種の情報を表示するディスプレイ装置である。表示装置１０７は、例えば、タッチパネルの表示機能、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）等によって実現される。表示装置１０７は、測定収集画面および解析画面を表示し、入力装置１０６を介した入出力操作に応じて画面が更新される。
The
なお、図２に示す情報処理装置５０のハードウェア構成は一例であり、これ以外の装置が備えられるものとしてもよい。また、図２に示す情報処理装置５０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を想定したハードウェア構成であるが、これに限定されるものではなく、タブレット等のモバイル端末であってもよい。この場合、ネットワークＩ／Ｆ１０５は、無線通信機能を有する通信インターフェースであればよい。
Note that the hardware configuration of the
（情報処理装置の機能ブロック構成）
図３は、実施形態に係る情報処理装置の機能ブロック構成の一例を示す図である。図３を参照しながら、本実施形態に係る情報処理装置５０の機能ブロック構成について説明する。
(Functional block configuration of information processing device)
FIG. 3 is a diagram illustrating an example of the functional block configuration of the information processing apparatus according to the embodiment; A functional block configuration of the
図３に示すように、情報処理装置５０は、収集表示制御部２０１と、解析表示制御部２０２と、ピークリスト制御部２０３（ピーク制御部）と、通信部２０４と、センサ情報取得部２０５と、解析部２０６（算出部）と、記憶部２０７と、入力部２０８と、を有する。
As shown in FIG. 3, the
収集表示制御部２０１は、センサ情報の収集動作時の画面表示を、図５～図１０を参照して説明する手法で制御する機能部である。
The collection
解析表示制御部２０２は、センサ情報取得部２０５により取得されたセンサ情報（脳波信号または脳磁信号）から解析部２０６により算出された生体信号の信号強度等の画面表示を、図１１～図５９を参照して説明する手法で制御する機能部である。解析表示制御部２０２は、図３に示すように、ヒートマップ表示制御部２１１（第１表示制御部）と、立体表示制御部２１２（第２表示制御部）と、断面表示制御部２１３（第３表示制御部）と、再生表示制御部２１４と、を有する。 The analysis display control unit 202 displays screen displays such as the signal strength of the biological signal calculated by the analysis unit 206 from the sensor information (electroencephalogram signal or magnetoencephalogram signal) acquired by the sensor information acquisition unit 205, as shown in FIGS. is a functional unit controlled by the method described with reference to . As shown in FIG. 3, the analysis display control unit 202 includes a heat map display control unit 211 (first display control unit), a stereoscopic display control unit 212 (second display control unit), and a cross-sectional display control unit 213 (second display control unit). 3 display control unit) and a playback display control unit 214 .
ヒートマップ表示制御部２１１は、後述する図１１等に示す時間周波数解析画面６０１のヒートマップ６１１の画面表示を制御する機能部である。立体表示制御部２１２は、時間周波数解析画面６０１の立体図６１２の画面表示を制御する機能部である。断面表示制御部２１３は、時間周波数解析画面６０１の頭部三面図６１３の画面表示を制御する機能部である。再生表示制御部２１４は、時間周波数解析画面６０１の再生制御パネル６１５に対する操作入力に従って、再生表示を制御する機能部である。
The heat map display control unit 211 is a functional unit that controls screen display of a
ピークリスト制御部２０３は、設定された条件を満たす信号強度のピークを抽出して、後述する図１１等に示す時間周波数解析画面６０１のピークリスト６１４に登録する機能部である。
The peak
通信部２０４は、測定装置３またはサーバ４０等とデータ通信を行う機能部である。通信部２０４は、図２に示すネットワークＩ／Ｆ１０５によって実現される。
The communication unit 204 is a functional unit that performs data communication with the measuring
センサ情報取得部２０５は、測定装置３またはサーバ４０から、通信部２０４を介して、センサ情報（脳波信号または脳磁信号）を取得する機能部である。解析部２０６は、センサ情報取得部２０５により取得されたセンサ情報（測定された信号）を解析し、脳内の各部における信号強度を示す信号（以下、当該信号についても「生体信号」と称する場合がある）を算出する機能部である。
The sensor information acquisition unit 205 is a functional unit that acquires sensor information (electroencephalogram signal or magnetoencephalogram signal) from the
記憶部２０７は、解析部２０６により算出された信号強度を示す生体信号のデータ等を記憶する機能部である。記憶部２０７は、図２に示すＲＡＭ１０２または補助記憶装置１０４によって実現される。
The
入力部２０８は、センサ情報に付加されるアノテーション情報の入力操作、および、時間周波数解析画面６０１に対する各種入力操作を受け付ける機能部である。入力部２０８は、図２に示す入力装置１０６によって実現される。
The input unit 208 is a functional unit that receives input operations for annotation information added to sensor information and various input operations for the time-
上述の収集表示制御部２０１、解析表示制御部２０２、ピークリスト制御部２０３、センサ情報取得部２０５および解析部２０６は、ＣＰＵ１０１がＲＯＭ１０３等に記憶されたプログラムをＲＡＭ１０２に展開して実行することにより実現される。なお、収集表示制御部２０１、解析表示制御部２０２、ピークリスト制御部２０３、センサ情報取得部２０５および解析部２０６の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。
The collection
また、図３に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。 Also, each functional unit shown in FIG. 3 conceptually shows the function, and is not limited to such a configuration. For example, a plurality of functional units illustrated as independent functional units in FIG. 3 may be configured as one functional unit. On the other hand, the function of one functional unit in FIG. 3 may be divided into a plurality of functions to form a plurality of functional units.
（開始画面での動作）
図４は、実施形態に係る情報処理装置に表示される開始画面の一例を示す図である。図４を参照しながら、開始画面５０１での動作について説明する。
(Operation on the start screen)
FIG. 4 is a diagram illustrating an example of a start screen displayed on the information processing apparatus according to the embodiment; The operation on the start screen 501 will be described with reference to FIG.
開始画面５０１には、「測定収集」および「解析」の選択ボタンが表示される。脳波測定および脳磁測定の場合、データの測定収集とデータの解析とでは、別々の主体によって行われる場合が多い。例えば、測定技師（測定者）によって「測定収集」のボタンが選択されると、測定装置３で測定されたデータは順次、サーバ４０に保存され、情報処理装置５０に読み出されて表示される。測定収集の終了後、医師によって「解析」のボタンが選択されると、収集された測定データが読み出されて解析される。
On the start screen 501, selection buttons for "measurement collection" and "analysis" are displayed. In the case of electroencephalography and magnetoencephalography, measurement collection of data and analysis of data are often performed by different subjects. For example, when the measurement engineer (measurer) selects the "measurement collection" button, the data measured by the
（測定収集時の動作）
図５は、測定収集画面の一例を示す図である。測定収集画面５０２は、図５に示すように、測定された生体信号（ここでは、脳磁信号および脳波信号）の信号波形を表示する領域５１１ａと、信号波形以外のモニタ情報を表示する領域５１１ｂと、を有する。信号波形を表示する領域５１１ａは、測定者からみて画面の左側に配置され、信号波形以外のモニタ情報を表示する領域５１１ｂは、測定者からみて画面の右側に配置されている。これによって、リアルタイムで検出され表示される波形の動き（画面の左側から右側に向かって表示される）に合わせた測定者の視線の動きと、画面左側の領域５１１ａから右側の領域５１１ｂへマウスを移動させるときの動きに無駄が生じず、作業効率が向上する。
(Operation when collecting measurements)
FIG. 5 is a diagram showing an example of a measurement collection screen. As shown in FIG. 5, the
表示画面の領域５１１ｂでは、測定中に被測定者の様子を確認するためのモニタウィンドウ５１２が表示される。測定中の被測定者のライブ映像を表示することで、後述するように、信号波形のチェックおよび判断の信頼性を高めることができる。図５では、１台のモニタディスプレイ（表示装置１０７）の表示画面に、測定収集画面５０２の全体が表示される場合を示しているが、左側の領域５１１ａおよび右側の領域５１１ｂを、２台またはそれ以上のモニタディスプレイに分けて別々に表示してもよい。
In the
図６は、測定収集画面の左側の領域の拡大図である。領域５１１ａは、信号検出の時間情報を画面の水平方向（第１方向）に表示する第１表示領域５３０と、信号検出に基づく複数の信号波形を画面の垂直方向（第２方向）に並列に表示する第２表示領域５２１～５２３と、を有する。
FIG. 6 is an enlarged view of the left area of the measurement collection screen. The
第１表示領域５３０で表示される時間情報は、図６の例では、時間軸５３１に沿って付された時間表示を含むタイムラインであるが、時間（数字）を表示せずに、帯状の軸だけでもよく、軸を設けずに時間（数字）の表示だけであってもよい。また、画面上側の第１表示領域５３０の他に、第２表示領域５２３の下側に時間軸５３１を表示して、タイムラインを表示してもよい。
In the example of FIG. 6, the time information displayed in the
領域５１１ａでは、同種の複数のセンサから取得される複数の信号波形、または複数種類のセンサ群から取得される複数種類の信号の波形が、同じ時間軸５３１で同期して表示される。図６に示す例では、第２表示領域５２１には被測定者の頭部右側から得られる複数の脳磁信号の波形が、第２表示領域５２２には被測定者の頭部左側から得られる複数の脳磁信号の波形が、それぞれ並列に表示されている。第２表示領域５２３には、複数の脳波信号の波形が並列に表示されている。これらの複数の脳波信号の波形は、各電極間で測定された電圧信号である。これらの複数の信号波形それぞれは、その信号が取得されたセンサの識別番号またはチャネル番号と対応付けられて表示されている。
In the
測定が開始され各センサからの測定情報が収集されると、時間の経過と共に領域５１１ａの各第２表示領域５２１～５２３の左端から右方向に向けて信号波形が表示される。ライン５３２は、計測の時刻（現在）を示しており、画面の左から右へ向けて移動する。領域５１１ａの右端（時間軸５３１の右端）まで信号波形が表示されると、その後は画面の左端から右へ向けて徐々に信号波形が消え、消えた位置に新しい信号波形が順次左から右方向に表示され、かつ、ライン５３２も左端から右へ向けて移動していく。これと共に、水平方向の第１表示領域５３０でも測定の進行に対応して、時間の経過が時間軸５３１上に表示される。測定収集は、終了ボタン５３９が押下されるまで継続される。
When the measurement is started and the measurement information from each sensor is collected, the signal waveforms are displayed rightward from the left end of each of the
実施形態の特徴として、測定者（収集者）がデータ収集中に信号波形上で波形の乱れ、振幅の特異点等に気付いたときに、問題となる箇所または範囲を信号波形上でマークすることができる。マーキングの箇所または範囲は、マウスによるポインタ操作またはクリック操作で指定することができる。指定された箇所または範囲は、第２表示領域５２１～５２３の信号波形上に強調表示されると共に、指定結果が対応する時刻位置または時間範囲で、第１表示領域５３０の時間軸５３１に沿って表示される。時間軸５３１上への表示を含むマーキングの情報は、信号波形データと共に保存される。指定された箇所は、ある時刻に対応し、指定された範囲は、ある時刻を含む一定範囲に対応する。
As a feature of the embodiment, when the measurer (collector) notices waveform disturbance, amplitude peculiarities, etc. on the signal waveform during data collection, the problematic point or range is marked on the signal waveform. can be done. The marking location or range can be specified by pointer operation or click operation with a mouse. The specified point or range is highlighted on the signal waveform in the
図６の例では、時刻ｔ１で、第２表示領域５２３で１以上のチャネルを含む範囲が指定され、マーク５２３ａ－１で時刻ｔ１を含んだ時間がハイライトで表示されている。マーク５２３ａ－１の表示と関連して第１表示領域５３０の対応する時刻位置に、指定結果を示すアノテーション５３０ａ－１が表示されている。時刻ｔ２で、第２表示領域５２３で別の波形位置またはその近傍がマークされ、その位置（時刻ｔ２）または近傍の領域（少なくとも時間範囲か複数の波形のいずれか一つが指示される）にマーク５２３ａ－２がハイライト表示されている。同時に、第１表示領域５３０の対応する時刻位置（時間範囲）に、アノテーション５３０ａ－２が表示される。ここで、アノテーションとは、あるデータに対して関連する情報を注釈として付与することを示す。本実施形態では、少なくとも指定された時間情報に基づいて注釈として表示されるものであって、少なくとも時間情報に基づく波形が表示される位置と結び付けて、注釈として表示するものである。また、複数のチャネルを表示する場合、対応するチャネル情報と結びつけ、注釈として表示してもよい。
In the example of FIG. 6, at time t1, a range including one or more channels is designated in the
時刻ｔ１で第１表示領域５３０に追加されたアノテーション５３０ａ－１は、一例として、アノテーション識別番号と、波形の属性を示す情報と、を含む。この例では、アノテーション番号「１」と共に、波形の属性を表わすアイコンと「ｓｔｒｏｎｇ ｓｐｉｋｅ」（ストロングスパイク）というテキスト情報が表示されている。
The
時刻ｔ２で、測定者が別の波形箇所またはその近傍領域を指定すると、指定された箇所でマーク５２３ａ－２がハイライト表示され、これと共に、第１表示領域５３０の対応する時刻位置に、アノテーション番号「２」が表示される。さらに、ハイライト表示された箇所に、属性選択のためのポップアップウィンドウ５３５が表示される。ポップアップウィンドウ５３５は、種々の属性を選択する選択ボタン５３５ａと、コメントおよび追加情報を入力する入力ボックス５３５ｂと、を有する。選択ボタン５３５ａには、波形の属性として「速波（ｆａｓｔ ａｃｔｉｖｉｔｙ）」、「眼球運動（ｅｙｅ ｍｏｔｉｏｎ）」、「体動（ｂｏｄｙ ｍｏｔｉｏｎ）」、「スパイク（ｓｐｉｋｅ）」等、波形乱れの要因が示されている。測定者は、画面の領域５１１ｂのモニタウィンドウ５１２で被測定者の様子を確認することができるので、波形の乱れの原因を示す属性を適切に選択することができる。例えば、波形にスパイクが生じたときに、てんかんの症状を示すスパイクなのか、被測定者の体動（くしゃみ等）に起因するスパイクなのかを判断することができる。
At time t2, when the subject designates another waveform point or its neighboring area, the
時刻ｔ１でも同じ操作が行われており、図６では、ポップアップウィンドウ５３５で「スパイク」の選択ボタン５３５ａが選択され、入力ボックス５３５ｂに「ｓｔｒｏｎｇ ｓｐｉｋｅ」と入力されたことにより第１表示領域５３０にアノテーション５３０ａ－１が表示されている。このような表示態様により、同じ時間軸５３１上に多数の信号波形を同期して表示する際に、信号波形の注目箇所または範囲を視認により容易に特定することができ、かつ注目箇所の基本情報を容易に把握することができる。
The same operation is performed at time t1. In FIG. 6, the "spike"
なお、アノテーション５３０ａ－１の一部または全部、例えば、属性アイコンおよびテキスト情報の少なくとも一方を、第２表示領域５２３の信号波形上のマーク５２３ａ－１の近傍にも表示してもよい。ここで、信号波形上へのアノテーションの追加は、波形形状のチェックの妨げになる場合もあり得るので、第２表示領域５２１～５２３の信号波形上にアノテーションを表示させる場合は、表示・非表示を選択可能にしておくことが望ましい。
Part or all of the
カウンタボックス５３８は、スパイクのアノテーションの累積数を表示する。「スパイク」が選択される都度、カウンタボックス５３８のカウンタ値がインクリメントされ、収録開始から現在（ライン５３２）までのトータルのスパイク数が一目でわかるようになっている。
A
図７は、測定収集画面の右側の領域の拡大図である。図７は、図６と同じ時刻（ライン５３２の時点）での状態を示している。領域５１１ｂのモニタウィンドウ５１２では、頭部を測定装置３に入れて測定テーブル４に横たわっている被測定者の状態のライブ映像が表示される。領域５１１ｂでは、第２表示領域５２１、５２２、５２３の信号波形のそれぞれに対応する脳磁分布図５４１、５４２、脳波分布図５５０と、アノテーションリスト５６０と、が表示される。アノテーションリスト５６０は、図６の信号波形上でマークされたアノテーションの一覧である。第２表示領域５２１～５２３で信号波形上の位置または範囲が指定されアノテーションが付される都度、対応する情報がアノテーションリスト５６０に順次追加される。測定収集画面５０２におけるアノテーションリスト５６０への追加および表示は、例えば、降順（新しいデータを上に表示）で行われるが、この例に限定されない。アノテーションリスト５６０の表示を昇順にしても構わないが、第１表示領域５３０で時間軸５３１に沿って表示されるアノテーションとの対応関係がわかるように表示する。さらに、表示順序を変更させたり、項目ごとにソートさせることも可能である。
FIG. 7 is an enlarged view of the right area of the measurement collection screen. FIG. 7 shows the state at the same time as FIG. 6 (at line 532). In the
図７の例では、アノテーションリスト５６０には、アノテーション番号「１」に対応する時刻情報と、付加されたアノテーション情報と、がリストされている。アノテーション情報として、「スパイク」を表わす属性アイコンと、「ｓｔｒｏｎｇ ｓｐｉｋｅ」というテキストが記録されている。また、マーク５２３ａ－１がハイライト表示された時点で、アノテーション番号「２」に対応する時刻情報がリストされている。ここでは、「アノテーション」は、アノテーション番号と、時刻情報と、アノテーション情報との組であると考えてもよいし、アノテーション情報のみであると考えてもよいし、アノテーション情報と、アノテーション番号または時刻情報との組であると考えてもよい。
In the example of FIG. 7, the
また、アノテーションリスト５６０の近傍に、表示／非表示の選択ボックス５６０ａが配置されている。選択ボックス５６０ａで非表示が選択されると、第２表示領域５２１～５２３で、信号波形上のハイライトマーク以外のアノテーションが非表示にされるが、第１表示領域５３０の時間軸５３１に沿ったアノテーションの表示は維持される。これにより、信号波形の視認性を阻害せずにアノテーション情報を認識可能にする。
A display/
図８は、アノテーション情報が入力された直後の状態を示す図である。具体的には、図８は、時刻ｔ２でポップアップウィンドウ５３５の「スパイク」が選択され、「ｎｏｒｍａｌ ｓｐｉｋｅ」（ノーマルスパイク）というテキストが入力された直後の画面を示す。図６で例示したポップアップウィンドウ５３５で「ＯＫ」ボタンが選択されると、ポップアップウィンドウ５３５が閉じて、図８に示すように第１表示領域５３０の対応する時刻位置にアノテーション５３０ａ－２が表示される。アノテーション番号「２」と対応付けて、「スパイク」を表わす属性アイコンと、「ｎｏｒｍａｌ ｓｐｉｋｅ」のテキスト情報が表示される。これと同時に、カウンタボックス５３８の値がインクリメントされる。また、ハイライト表示されたマーク５２３ａ－２の近傍に、属性アイコン５２６－２が表示される。この例では、マーク５２３ａ－１の近傍にも属性アイコン５２６－１が表示されているが、上述したように、属性アイコン５２６－１、５２６－２の表示、非表示は選択可能である。マーク５２３ａ－１と属性アイコン５２６－１とを含むアノテーションＡ１、およびマーク５２３ａ－２と属性アイコン５２６－２とを含むアノテーションＡ２も、アノテーション情報に含まれる。
FIG. 8 is a diagram showing a state immediately after annotation information is input. Specifically, FIG. 8 shows the screen immediately after "spike" in pop-up
図９は、更新されたアノテーションリストの図である。測定収集画面５０２の画面左側の領域５１１ａでマーク５２３ａ－２に対応するアノテーションが付加されたことにより、アノテーションリスト５６０が更新される。アノテーション番号「２」に「ｎｏｒｍａｌ ｓｐｉｋｅ」というメモが追加される。
FIG. 9 is a diagram of the updated annotation list. The
以下同様に、測定中に領域５１１ａで信号波形上の特定の箇所または範囲が指定される都度、指定箇所が強調表示されると共に、第１表示領域５３０の時間軸５３１に沿ってアノテーション情報が表示される。領域５１１ｂでは、アノテーションリスト５６０にアノテーション情報が順次追加される。
Similarly, each time a specific point or range on the signal waveform is specified in the
アノテーションリスト５６０および信号波形表示の領域５１１ａにおいて、アノテーション番号の表示は必須ではなく、用いなくてもよい。付加されたアノテーションを識別できる情報であれば任意の情報を識別情報として用いることができる。例えば、属性アイコンと、属性文字列（「ｓｔｒｏｎｇ ｓｐｉｋｅ」等）と、時間軸５３１の近傍での時刻とを対応付けて表示してもよい。さらに、領域５１１ａにファイル番号（図９の「Ｆｉｌｅ」の項目に表示される番号）を併記して表示してもよい。
In the
終了ボタン５３９（図８参照）が選択（押下）され測定が終了すると、第２表示領域５２１～５２３で指定されたハイライト箇所は信号波形に対応付けて保存される。第１表示領域５３０の対応する時刻位置に表示されたアノテーション情報も、アノテーション番号と時刻とに対応付けて保存される。カウンタボックス５３８のカウンタ値、および、アノテーションリスト５６０の内容等の関連情報も保存される。これらの表示情報を保存することで、測定者と解析者とが異なる場合でも、解析者は容易に問題となる箇所を認識し、解析することができる。
When the end button 539 (see FIG. 8) is selected (depressed) to end the measurement, the highlighted points specified in the
図１０は、実施形態に係る情報処理装置における測定収集動作の一例を示すフローチャートである。図１０を参照しながら、本実形態に係る情報処理装置５０での測定収集動作について説明する。
10 is a flowchart illustrating an example of a measurement collection operation in the information processing apparatus according to the embodiment; FIG. A measurement collection operation in the
図４に示す開始画面５０１で「測定収集」が選択されると（ステップＳ１１）、測定が開始され、複数の信号の波形が同じ時間軸に沿って同期して表示される（ステップＳ１２）。ここで「複数の信号波形」という場合は、同一種類の複数のセンサで検知された信号波形、および、異なる種類のセンサのそれぞれで検知された複数の信号波形の両方を含む。この例では、複数の生体信号の波形は、被測定者の頭部右側に対応する磁気センサ群から得られる脳磁信号の波形と、被測定者の頭部左側に対応する磁気センサ群から得られる脳磁信号の波形と、被測定者の脳波測定用の電極から得られる脳波信号の波形と、から構成されるが、これに限られるものではない。なお、センサの選択については、左／右のセンサ群にとらわれず、頭頂部、前頭葉、側頭葉等のパートから、任意に選択可能である。例えば、図７等に示す「ＭＥＧ Ｗｉｎｄｏｗ Ｃｏｎｔｒｏｌ １」で頭頂部のセンサが選択された場合は、「ＭＥＧ Ｗｉｎｄｏｗ Ｃｏｎｔｒｏｌ ２」でそれ以外のセンサが選択された状態となる。
When "measurement collection" is selected on the start screen 501 shown in FIG. 4 (step S11), measurement is started, and waveforms of a plurality of signals are synchronously displayed along the same time axis (step S12). Here, the term "plurality of signal waveforms" includes both signal waveforms detected by a plurality of sensors of the same type and a plurality of signal waveforms detected by sensors of different types. In this example, the plurality of biomedical signal waveforms are the waveforms of magnetoencephalogram signals obtained from a group of magnetic sensors corresponding to the right side of the subject's head, and the waveforms of a magnetic brain signal obtained from a group of magnetic sensors corresponding to the left side of the subject's head. A waveform of a magnetoencephalogram signal obtained from a subject and a waveform of an electroencephalogram signal obtained from electrodes for electroencephalogram measurement of a person to be measured, but the present invention is not limited to this. It should be noted that the sensor can be selected arbitrarily from parts such as the parietal region, the frontal lobe, and the temporal lobe, regardless of the left/right sensor groups. For example, when a sensor on the top of the head is selected in "
情報処理装置５０は、表示されている信号波形上で注目箇所または範囲が指定されたか否かを判断する（ステップＳ１３）。注目箇所または範囲の指定があると（ステップＳ１３：Ｙｅｓ）、信号波形の表示領域（第２表示領域５２１～５２３）に指定箇所を強調表示すると共に、時間軸領域（第１表示領域５３０）の対応する時刻位置に指定結果を表示する（ステップＳ１４）。指定結果には、指定がなされたこと自体を示す情報、または指定の識別情報が含まれる。時間軸領域への指定結果の表示と同時に、または前後して、アノテーションの入力要求の有無を判断する（ステップＳ１５）。アノテーション入力の要求がある場合は（ステップＳ１５：Ｙｅｓ）、入力されたアノテーション情報を時間軸領域の対応する時刻位置に表示すると共に、アノテーションリストに追加する（ステップＳ１６）。その後、測定終了コマンドが入力されたか否かを判断する（ステップＳ１７）。注目位置（領域）の指定がない場合（ステップＳ１３：Ｎｏ）、および、アノテーションの入力要求がない場合（ステップＳ１５：Ｎｏ）は、ステップＳ１７へ移行して測定終了の判断を行う。測定が終了するまで（ステップＳ１７：Ｙｅｓ）、ステップＳ１３～Ｓ１６を繰り返す。
The
この情報表示方法により、複数のセンサからの信号を収集する際に、信号情報の視認性の高い測定収集画面５０２が提供される。
This information display method provides a highly visible
（時間周波数解析画面における解析動作）
図１１は、時間周波数解析画面の一例を示す図である。図１１を参照しながら、情報処理装置５０に表示される時間周波数解析画面６０１における解析動作について説明する。
(Analysis operation on the time-frequency analysis screen)
FIG. 11 is a diagram showing an example of the time-frequency analysis screen. The analysis operation on the time-
上述の図４に示す開始画面５０１において「解析」ボタンが押下されると、解析部２０６は、上述の測定収集画面５０２での測定収集動作により収集されたセンサ情報（脳波信号または脳磁信号）を解析し、脳（生体部位の一例、発信源の一例）内の各位置における信号強度を示す生体信号を算出する。信号強度を算出する方法としては、例えば、公知の方法である空間フィルタ法等が挙げられるが、その他の方法を用いるものとしてもよい。解析表示制御部２０２は、上述の図４に示す開始画面５０１において、「解析」ボタンが選択されると、表示装置１０７に図１１に示す時間周波数解析画面６０１を表示させる。時間周波数解析画面６０１は、図１１に示すように、解析画面切替リスト６０５と、ヒートマップ６１１と、立体図６１２と、頭部三面図６１３と、ピークリスト６１４と、再生制御パネル６１５と、を表示する。時間周波数解析画面６０１を用いた解析および測定の主目的は、視覚野、聴覚野、体性感覚野、運動野および言語野等の人間の生存に欠かせない部位を特定して表示することである。ピークリスト６１４の右側に表示されているピークリスト設定ボタン６１４ａは、ピークリスト６１４に登録されるピークの条件を設定するためのウィンドウを表示させるためのボタンである。ピークリスト設定ボタン６１４ａの押下による上述の設定については後述する。また、ヒートマップ６１１、立体図６１２、頭部三面図６１３、ピークリスト６１４および再生制御パネル６１５の表示および動作の詳細は、順次後述する。
When the "analyze" button is pressed on the start screen 501 shown in FIG. is analyzed, and a biological signal indicating the signal intensity at each position in the brain (an example of a biological part, an example of a transmission source) is calculated. As a method for calculating the signal intensity, for example, a known method such as a spatial filter method can be used, but other methods may be used. Analysis display control unit 202 causes display device 107 to display time-
解析画面切替リスト６０５は、各種解析画面を選択するためのリストである。解析画面切替リスト６０５から選択できる解析画面としては、本実施形態の生体信号に対する時間および周波数での解析をするための時間周波数解析画面６０１の他、生体信号からてんかん等の部位を推定および解析を行うためのダイポール推定を行うための解析画面等がある。本実施形態では時間周波数解析画面６０１での解析動作について説明する。
The analysis
＜ヒートマップについて＞
図１３は、ヒートマップにおいて特定の位置が指定された状態の一例を示す図である。図１４は、ヒートマップにおいてピークリストの３つのピークの位置を表示した状態の一例を示す図である。図１５は、ヒートマップにおいてピークの情報に応じて表示形態を変えた状態の一例を示す図である。図１６は、ヒートマップにおいて特定の範囲が指定された状態の一例を示す図である。図１７は、ヒートマップにおいて特定の範囲が複数指定された状態の一例を示す図である。図１８は、時間周波数解析画面において立体図および頭部三面図が追加された状態の一例を示す図である。図１３～図１８を参照しながら、時間周波数解析画面６０１のヒートマップ６１１についての動作について説明する。
<About heat map>
FIG. 13 is a diagram illustrating an example of a state in which a specific position is designated on the heat map. FIG. 14 is a diagram showing an example of a state in which the positions of three peaks in the peak list are displayed on the heat map. FIG. 15 is a diagram showing an example of a state in which the display form is changed according to peak information in the heat map. FIG. 16 is a diagram showing an example of a state in which a specific range is specified in the heat map. FIG. 17 is a diagram illustrating an example of a state in which a plurality of specific ranges are specified in the heat map. FIG. 18 is a diagram showing an example of a state in which a stereoscopic view and a three-view head view are added to the time-frequency analysis screen. The operation of the
図１１に示すように、ヒートマップ６１１は、解析部２０６により算出された脳内の各位置の信号強度を示す生体信号について時間周波数分解を施し、横軸を時刻（トリガ時刻からの時間）、縦軸を周波数、そして、時刻および周波数で特定される生体信号の信号強度の分布（第１強度分布）を色で表した図である。図１１に示す例では、信号強度は、例えば、所定の基準に対する増減で示されている。ここで所定の基準とは、例えば、被験者に何も刺激を与えていない場合の信号強度の平均値を０［％］とする。なお、本実施形態では、０±１００［％］で図示しているが、これに限られず、１００［％］以上の場合には、例えば２００［％］等、レンジを変えて表示してもよい。また、単位［％］に代えて、例えば図１２に示すヒートマップ６１１のように、［ｄｂ］（デシベル）で表記してもよい。また、ヒートマップ６１１は、例えば、時刻０［ｍｓ］に被験者に対して何らかの刺激（物理的に衝撃を与える、腕を動かす、言葉を発する、音を聴かせる等）を与えた場合、その後の時刻では刺激を与えた後の脳の活動状態を示し、時刻０［ｍｓ］以前の時刻では、刺激を与える前の脳の活動状態を示すことになる。このヒートマップ６１１の表示動作は、ヒートマップ表示制御部２１１によって制御される。
As shown in FIG. 11, the
図１３に示すように、解析者による入力部２０８に対する操作入力（クリック操作またはタップ操作）によって、ヒートマップ６１１上の特定の位置（点）を指定することができる。図１３に示すように、ヒートマップ表示制御部２１１は、指定された位置を、例えば、指定部６２１のように表示する。なお、指定部６２１は、白抜きの矩形で示しているが、これに限定されるものではなく、その他の表示態様で示すものとしてもよい。
As shown in FIG. 13 , a specific position (point) on the
また、図１３に示すヒートマップ６１１では、入力部２０８に対する操作入力によって指定された位置を表示しているが、ピークリスト６１４に登録されたピークのうち選択されたピークの時刻および周波数でのヒートマップおよびそのピーク位置が表示されるものとしてもよい。また、例えば、ピークリスト６１４で選択されたピークから数えて上位Ｎ個のピークの位置がヒートマップ６１１に表示されるものとしてもよい。図１４では、上位３個のピークの位置が表示された例を示す。なお、設定によりピークの位置をどのように表示させるかが決定されてもよく、例えば、上述の他、ピークそのものを表示させない設定、信号強度がＭ以上のピークを表示させる設定等を切り替えられるものとしてもよい。
In addition, the
また、図１５に示すように、ヒートマップ６１１上に表示された複数のピークについて、当該ピークの属性情報に応じて、表示の形態を変えるものとしてもよい。図１５では、表示されたピークごとに番号を付加し、番号の表示部分の色をそれぞれ異なる色となるように変えて表示させた例を示している。
Further, as shown in FIG. 15, the form of display of a plurality of peaks displayed on the
上述のように、ヒートマップ６１１において特定の位置が指定されると、指定された位置に対応する時刻および周波数に対応する生体信号の信号強度の分布が、例えば図１１に示すように、立体図６１２の脳の図では部位７１２ａ－１～７１２ａ－５、７１２ｂ－１～７１２ｂ－５のように、頭部三面図６１３の脳の図では部位７１３ａ－１、７１３ａ－２、７１３ｂ、７１３ｃ、７１３ｄのようにヒートマップ（ヒートマップ６１１におけるヒートマップとは異なる）として表示される。具体的には、ヒートマップ６１１において指定された位置に対応する時刻および周波数の生体信号の信号強度が、赤～青のヒートマップとして表示される。
As described above, when a specific position is specified in the
また、図１６に示すように、解析者による入力部２０８に対するドラッグ操作またはスワイプ操作によって、ヒートマップ６１１上の特定の範囲を指定することができる。図１６に示すように、ヒートマップ表示制御部２１１は、指定された範囲を、例えば、ドラッグ操作等で定まる面積を有する矩形形状の指定領域６２２のように表示する。なお、指定領域６２２は、白抜きの矩形範囲で示しているが、これに限定されるものではなく、丸形状、自由形状その他の表示態様で示すものとしてもよい。
Further, as shown in FIG. 16 , a specific range on the
このように、ヒートマップ６１１において特定の範囲が指定されると、指定された範囲に含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布が、例えば図１１に示すように、立体図６１２の脳の図では部位７１２ａ－１～７１２ａ－５、７１２ｂ－１～７１２ｂ－５のように、頭部三面図６１３の脳の図では部位７１３ａ－１、７１３ａ－２、７１３ｂ、７１３ｃ、７１３ｄのようにヒートマップ（ヒートマップ６１１におけるヒートマップとは異なる）として表示される。
In this way, when a specific range is specified in the
また、図１７に示すように、解析者による入力部２０８に対する追加の操作（例えば、右クリックによるドラッグ操作、または新たなスワイプ操作等）によって、すでに指定された指定領域６２２の他、追加で指定領域６２３のように指定することができる。この場合、新たに指定された指定領域６２３に対応する立体図および頭部三面図として、図１８に示すように、それぞれ立体図６１２ａおよび頭部三面図６１３ａが表示される。そして、指定領域６２３に含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布が、立体図６１２ａおよび頭部三面図６１３ａの脳の図にヒートマップ（ヒートマップ６１１におけるヒートマップとは異なる）として表示される。ヒートマップ６１１で複数指定した情報を受け取ると、この情報を受け取った順にこれに対応する立体図６１２および頭部三面図６１３が上から下に表示される。図１８の例では、指定領域６２２、６２３の順に選択された例を示す。このように表示することで、直感的にわかりやすくなる。ここで、ヒートマップ６１１で複数選択した情報を受け取ると、この情報を受け取った順にこれに対応する立体図６１２および頭部三面図６１３が下から上に表示される形態としてもよい。この場合、ヒートマップ６１１の直下に、最新で指定された選択領域に対応する立体図６１２および頭部三面図６１３が表示されるため、ヒートマップ６１１、立体図６１２、頭部三面図６１３への視線の移動を少なくできる。なお、ヒートマップ６１１上で複数の位置を指定する場合、上述の指定領域６２２、６２３のような範囲に限らず、指定部６２１のように点位置を複数指定することも可能である。このように、ヒートマップ６１１上で複数の位置（点または領域）が指定されることによって、その指定された時刻および周波数に対応する生体信号の信号強度の分布を比較することができる。
In addition, as shown in FIG. 17 , by an additional operation (for example, a drag operation by right-clicking or a new swipe operation) performed by the analyst on the input unit 208, an additional specified
＜立体図について＞
図１９は、時間周波数解析画面における立体図の一例を示す図である。図２０は、ヒートマップで指定された位置に対応する脳の状態を立体図において中央に表示させた状態の一例を示す図である。図２１は、ヒートマップで指定された範囲に対応する脳の状態を立体図において中央に表示させた状態の一例を示す図である。図２２は、立体図に表示された脳がヒートマップ上のどの時刻・周波数に対応するのかを線分で示した状態の一例を示す図である。図２３は、立体図に表示された脳がヒートマップ上のどの時刻・周波数の範囲に対応するのかを矩形領域で示した状態の一例を示す図である。図２４は、立体図上をドラッグすることによって立体図の表示、およびヒートマップ上の矩形領域の表示が移動する状態の一例を示す図である。図２５は、立体図上のいずれかの脳の表示をクリックすることによって、立体図の表示、およびヒートマップ上の矩形領域の表示が移動する状態の一例を示す図である。図１９～図２５を参照しながら、時間周波数解析画面６０１の立体図６１２の基本的な表示動作について説明する。
<About 3D drawing>
FIG. 19 is a diagram showing an example of a three-dimensional diagram on the time-frequency analysis screen. FIG. 20 is a diagram showing an example of a state in which the state of the brain corresponding to the position designated on the heat map is displayed in the center of the stereogram. FIG. 21 is a diagram showing an example of a state in which the state of the brain corresponding to the range designated by the heat map is displayed in the center of the stereogram. FIG. 22 is a diagram showing an example of a state in which line segments indicate to which time/frequency on the heat map the brain displayed in the stereoscopic view corresponds. FIG. 23 is a diagram showing an example of a state in which a rectangular region indicates to which time/frequency range on the heat map the brain displayed in the stereoscopic view corresponds. FIG. 24 is a diagram showing an example of a state in which the display of the stereographic diagram and the display of the rectangular area on the heat map are moved by dragging the stereographic diagram. FIG. 25 is a diagram showing an example of a state in which the display of the stereogram and the display of the rectangular area on the heat map are moved by clicking any brain display on the stereogram. A basic display operation of the three-
図１９に示すように、立体図６１２は、所定の視点からの脳の立体画像（３Ｄ画像）を表示する図であり、ヒートマップ６１１上で指定された位置（点または範囲）、または、ピークリスト６１４で選択されたピークの位置に対応する生体信号の信号強度をヒートマップ（第２強度分布）として重畳表示する。図１９に示すように、立体図６１２では、同じ行では同じ視点からの脳の立体画像が表示される。図１９に示す例では、立体図６１２の上側の行である表示領域６１２－１に表示された脳の立体画像は、脳の左側面からの視点での画像であり、下側の行である表示領域６１２－２に表示された脳の立体画像は、脳の右側面からの視点での画像である。この立体図６１２の表示動作は、立体表示制御部２１２によって制御される。
As shown in FIG. 19, a
なお、図１９に示す立体図６１２では２つの視点から見た場合の脳の立体図、すなわち、２行で構成された脳の立体図であるが、これに限定されるものではなく、その他の数の行で表示するものとしてもよく、行の数を設定により変更できるものとしてもよい。例えば、脳の言語野の測定であれば、左右の際が重要な情報となるので、脳の左側面および右側面からの２つの視点からの脳の立体図を表示（２行で表示）するものとすればよい。ここで、測定対象と視点の対応の一例を下記の（表１）に示す。測定対象は、測定時に被験者へ与える刺激（刺激装置による付与であり（表１）のＮｏ．１～４に対応する）や、被験者の動作（（表１）のＮｏ．５）を示し、収集時に測定収集画面上で選択する項目である。この測定対象を選択することで、これに対応する視点の脳立体図が表示される。また、視点は、被験者の正面を起点としたときの方向を示す。なお、行数についても別途設定することができるものとしてもよい。また、図１９に示す立体図は、（表１）におけるＮｏ．２に相当する。以降の説明では、便宜上、立体図６１２は、２つの行（２つの視点）で構成されているものとして説明する。
また、図２０に示すように、ヒートマップ６１１上で指定部６２１が指定されると、立体表示制御部２１２は、指定部６２１に対応する時刻を立体図６１２の表示領域の中心として、前後の時刻に対応した脳における信号強度のヒートマップを立体図６１２に表示する。図２０の例では、ヒートマップ６１１上で時刻５６０［ｍｓ］が指定されたため、立体図６１２において５６０［ｍｓ］を中心として、５５０、５５５、５６０、５６５、５７０［ｍｓ］のように、隣り合う脳の表示時刻の間隔を５［ｍｓ］おきで表示している。ただし、隣り合う脳の表示時刻の間隔は、その他１０［ｍｓ］、２５［ｍｓ］等、設定で変更できるようにしてもよい。
Further, as shown in FIG. 20, when a designated
なお、図２１に示すように、ヒートマップ６１１上で範囲（指定領域６２２）が指定された場合、当該範囲内の信号強度を平均した信号強度のヒートマップを立体図６１２に表示するものとすればよい。この場合、選択された時刻の範囲に応じて、立体図６１２で表示される隣り合う立体画像の時刻を調整設定するものとすればよい。例えば、図２１に示すように、指定領域６２２の範囲が４５０～６００［ｍｓ］の場合、立体図６１２で表示させる隣り合う立体画像の表示時刻の間隔を１５０［ｍｓ］に設定したとき、立体図６１２の中央に表示される立体画像は４５０～６００［ｍｓ］に対応する。立体図６１２の中央の立体画像の左の立体画像は３００～４５０［ｍｓ］に対応する図とし、右の立体画像は、６００～７５０［ｍｓ］に対応する図とすればよい。また、各立体画像に表示されるヒートマップは、各時間幅における平均値である。
As shown in FIG. 21, when a range (specified region 622) is specified on the
次に、図２２および図２３を参照しながら、ヒートマップ６１１上の位置または範囲と、立体図６１２の各立体画像との対応付けについて説明する。このような対応付けとしては、まず、図２２に示すように、ヒートマップ６１１上で特定の点位置である指定部６２１－１が指定された場合、その指定部６２１－１の時刻および周波数に対応する脳の立体画像（第１画像）が立体図６１２に表示される。この場合、その脳の立体画像を中心として前後の時刻に対応した脳の立体画像（第２画像）が表示されるので（図２２に示す例では５つの時刻に対応する脳）、ヒートマップ表示制御部２１１は、それぞれの脳の時刻に対応する点を、ヒートマップ６１１上で対応部６２１－２～６２１－５としてそれぞれ表示させる。この場合、対応部６２１－２～６２１－５の周波数位置は、指定部６２１－１の周波数位置に合わせる。さらに、ヒートマップ表示制御部２１１は、図２２に示すように、ヒートマップ６１１上の指定部６２１－１および対応部６２１－２～６２１－５と、立体図６１２上の対応する脳の立体画像とをそれぞれ結ぶ線分６３１－１～６３１－５で表示する。これによって、立体図６１２上で表示されている脳の状態が、ヒートマップ６１１上のどの位置に対応する状態であるのかを一目で確認することができる。なお、図２２に示す例では、線分を用いているが、その他の対応付けの方法として、指定部６２１－１および対応部６２１－２～６２１－５のマークと、立体図６１２の脳の背景色とを合わせる等、対応付けが確認できる方法であればよい。また、この場合、解析者が指定した指定部６２１－１は、対応部６２１－２～６２１－５と区別する態様で表示するものとすればよい。
Next, referring to FIGS. 22 and 23, the correspondence between the position or range on the
また、ヒートマップ６１１上で特定の範囲である指定領域６２２－１が指定された場合、まず、図２３に示すように、その指定領域６２２－１の時刻および周波数に対応する脳の立体画像が立体図６１２に表示される。この場合、その脳の立体画像を中心として前後の時刻範囲に対応した脳の立体画像が表示されるので（図２３に示す例では５つの時刻範囲に対応する脳）、ヒートマップ表示制御部２１１は、それぞれの脳の時刻範囲に対応する範囲を、ヒートマップ６１１上で対応領域６２２－２～６２２－５としてそれぞれ表示させる。また、この場合、解析者が指定した指定領域６２２－１は、対応領域６２２－２～６２２－５と区別する態様で表示するものとすればよく、例えば、指定領域６２２－１の矩形の枠の色だけ異なる色となるように表示するものとすればよい。さらに、立体表示制御部２１２は、図２３に示すように、ヒートマップ６１１上の指定領域６２２－１および対応領域６２２－２～６２２－５と同様な矩形を、立体図６１２上で対応する脳の立体画像を囲うように表示させる。これによって、立体図６１２上で表示されている脳の状態が、ヒートマップ６１１上のどの範囲に対応する状態であるのかを一目で確認することができる。なお、ヒートマップ６１１上で特定の範囲である指定領域６２２－１が指定された場合、指定領域６２２－１および対応領域６２２－２～６２２－５の枠を表示すると共に、立体図６１２上で、枠７２２－１～７２２－５およびヒートマップを表示するものとしてもよい。
Also, when a specified region 622-1, which is a specific range, is specified on the
次に、図２４および図２５を参照しながら、立体図６１２上でドラッグ操作、スワイプ操作またはカーソルキー操作をした場合に、立体図６１２の表示を左右に移動させる動作について説明する。図２４では、立体図６１２上でドラッグ操作、スワイプ操作またはカーソルキー操作により、立体図６１２の立体画像を右側に移動させた状態の例を示す。この場合、図２４に示すように、移動した結果、表示されている脳に応じて時刻表示も更新され、立体図６１２で中央に表示された脳の立体図が選択された状態となるように矩形が表示される。さらに、立体表示制御部２１２は、立体図６１２における立体画像に移動に従って、ヒートマップ６１１上の指定領域６２２－１および対応領域６２２－２～６２２－５の表示も移動させる。
Next, with reference to FIGS. 24 and 25, the operation of moving the display of the
また、図２５に示すように、解析者による操作によって、立体図６１２上の中央の立体画像以外の立体画像がクリック操作またはタップ操作されると、操作された脳の立体画像が立体図６１２の中心に移動する。なお、実装上は脳の画像はそのままで、オーバーラップするヒートマップのみが移動するものとしてもよい。この場合、図２５に示すように、移動した結果、表示されている脳に応じて時刻表示も更新され、立体図６１２で中央に表示された脳の立体図が選択された状態となるように矩形が表示される。さらに、立体表示制御部２１２は、立体図６１２における立体画像に移動に従って、ヒートマップ６１１上の指定領域６２２－１および対応領域６２２－２～６２２－５の表示も移動させる。
Further, as shown in FIG. 25 , when the analyst clicks or taps a stereoscopic image other than the central stereoscopic image on the stereoscopic diagram 612 , the operated stereoscopic image of the brain is displayed on the stereoscopic diagram 612 . Move to center. In terms of implementation, the image of the brain may remain as it is, and only the overlapping heatmaps may be moved. In this case, as shown in FIG. 25, as a result of movement, the time display is updated according to the displayed brain, and the stereoscopic view of the brain displayed in the center of the
以上のように、立体図６１２における表示を自由に移動することが可能となることにより、時間の前後で脳の状態の変化を素早く確認することができる。
As described above, it is possible to freely move the display in the three-
図２６は、立体図に表示されたいずれかの脳の視点を変更した場合、同じ行のすべての脳の視点を変更する状態の一例を示す図である。図２７は、立体図に表示されたいずれかの脳の視点を変更した場合、すべての行のすべての脳の視点を変更する状態の一例を示す図である。図２８は、図２７における視点の変更動作を具体的に説明する図である。図２９は、立体図に表示されたいずれかの脳の視点を変更した場合、すべての行のすべての脳の視点を変更する状態の別の例を示す図である。図３０は、図２９における視点の変更動作を具体的に説明する図である。図３１は、立体図にコメントを付加した状態の一例を示す図である。図２６～図３１を参照しながら、時間周波数解析画面６０１の立体図６１２の特定の立体画像について視点変更を行った場合の動作について説明する。
FIG. 26 is a diagram showing an example of a state in which, when the viewpoint of any one of the brains displayed in the stereogram is changed, the viewpoints of all the brains on the same line are changed. FIG. 27 is a diagram showing an example of a state in which the viewpoints of all brains in all rows are changed when the viewpoint of any one of the brains displayed in the stereogram is changed. FIG. 28 is a diagram specifically explaining the viewpoint changing operation in FIG. FIG. 29 is a diagram showing another example of a state in which the viewpoints of all brains in all rows are changed when the viewpoint of any one of the brains displayed in the stereogram is changed. FIG. 30 is a diagram specifically explaining the viewpoint changing operation in FIG. FIG. 31 is a diagram showing an example of a state in which a comment is added to a 3D drawing. 26 to 31, the operation when the viewpoint is changed for a specific stereoscopic image in the
立体図６１２に立体画像として表示されている脳は、解析者による操作（例えば、ドラッグ操作またはスワイプ操作等）によって視点を変更することが可能である。この場合、立体図６１２の特定の脳の立体画像の視点を変更した場合において、他の立体画像への反映方法の類型について以下に説明する。
The viewpoint of the brain displayed as a stereoscopic image in the
まず、特定の立体画像の視点が変更された場合に、同じ行の他の立体画像について同じ視点変更がなされる場合について説明する。図２６（ａ）に示すように、解析者は、２行で表示された立体図６１２において、表示領域６１２－１に表示された脳の立体画像のうち右端の立体画像（以下、「対象立体画像」と称する場合がある）に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部２１２は、図２６（ｂ）に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の背面の視点の立体画像の表示となるように視点変更する。このとき、脳の画像に重畳しているヒートマップも同様に視点変更する。そして、立体表示制御部２１２は、図２６（ｃ）に示すように、対象立体画像と同じ行（表示領域６１２－１）の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。これによって、特定の立体画像（対象立体画像）に対する視点変更を行うのみで、同じ行の他の立体画像についてもその視点変更が反映されるので、操作性が向上し、同じ視点での時間的に前後の脳の活動変化を確認することが容易になる。なお、立体画像の視点変更の操作として、例えば、視点変更したい立体画像上にマウスを合わせてドラック操作またはクリック操作等でもよく、ポップアップ表示によるパラメータの指定等でもよい。 First, a case will be described where, when the viewpoint of a specific stereoscopic image is changed, the same viewpoint change is made for other stereoscopic images in the same row. As shown in FIG. 26( a ), in the stereoscopic diagram 612 displayed in two lines, the analyst sees the rightmost stereoscopic image of the brain displayed in the display area 612 - 1 (hereinafter referred to as “object stereoscopic image”). It is assumed that an operation to change the viewpoint has been performed on the image. In this case, as shown in FIG. 26(b), the stereoscopic display control unit 212 changes the target stereoscopic image from the viewpoint of the left side of the brain into a stereoscopic image from the viewpoint of the back of the brain according to the operation of the analyst. Change your perspective like this. At this time, the viewpoint of the heat map superimposed on the brain image is similarly changed. Then, as shown in FIG. 26(c), the stereoscopic display control unit 212 displays the same viewpoint as that of the target stereoscopic image for another stereoscopic image in the same row (display area 612-1) as the target stereoscopic image. change and display. As a result, simply by changing the viewpoint for a specific stereoscopic image (target stereoscopic image), the viewpoint change is reflected in other stereoscopic images on the same line, thereby improving operability and improving temporal stability at the same viewpoint. This makes it easier to check changes in brain activity before and after. Note that the operation for changing the viewpoint of the stereoscopic image may be, for example, a drag operation or a click operation while placing the mouse on the stereoscopic image whose viewpoint is to be changed, or may be a parameter designation by means of a pop-up display.
次に、特定の立体画像の視点が変更された場合に、他のすべての立体画像について同じ視点変更がなされる場合について説明する。図２７（ａ）に示すように、解析者は、２行で表示された立体図６１２において、表示領域６１２－１に表示された脳の立体画像のうち右端の対象立体画像に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部２１２は、図２７（ｂ）に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の背面の視点の立体画像の表示となるように視点変更する。そして、立体表示制御部２１２は、図２７（ｃ）に示すように、対象立体画像と同じ行（表示領域６１２－１）の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図２８（ａ）に示す脳の左側面の視点を、表示領域６１２－１の他の立体画像について、図２８（ｂ）に示すように、脳の背面の視点となるように変更する。さらに、立体表示制御部２１２は、図２７（ｃ）に示すように、対象立体画像と異なる行（表示領域６１２－２）の立体画像に対しても、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図２８（ａ）に示す脳の右側面の視点を、表示領域６１２－２の立体画像について、図２８（ｃ）に示すように、脳の前面の視点となるように変更する。なお、処理環境に余裕があれば図２８（ａ）～図２８（ｃ）の処理を高速に行い、見た目上すべての脳の視点が同時に変わっているようにしてもよいし、処理環境が貧弱な場合には、ユーザーが動かしている画像のみについて視点を変えた後、それが確定したタイミング（例えばドラッグ操作で脳画像を回転させることで視点を変更している場合、マウスのボタンを離したタイミング）で他の画像の視点を変えてもよい。このとき、脳の画像に重畳しているヒートマップもそれぞれ同様に視点を変更する。これによって、特定の立体画像（対象立体画像）に対する視点変更を行うのみで、同じ行の他の立体画像、および他の行の立体画像についてもその視点変更が反映されるので、操作性が向上し、時間的に前後の脳の活動変化を確認することが容易になる。
Next, a case will be described in which when the viewpoint of a specific stereoscopic image is changed, all other stereoscopic images undergo the same viewpoint change. As shown in FIG. 27(a), in a
そして、特定の立体画像の視点が変更された場合に、同じ行の他の立体画像については同じ視点変更がなされ、他の行の立体画像については、対応する視点変更（具体的には、脳の中心面（対象面）に対して面対称となる視点変更）がなされる場合について説明する。図２９（ａ）に示すように、解析者は、２行で表示された立体図６１２において、表示領域６１２－１に表示された脳の立体画像のうち右端の対象立体画像に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部２１２は、図２９（ｂ）に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の左前側の視点の立体画像の表示となるように視点変更する。そして、立体表示制御部２１２は、図２９（ｃ）に示すように、対象立体画像と同じ行（表示領域６１２－１）の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図３０（ａ）に示す脳の左側面の視点を、表示領域６１２－１の他の立体画像について、図３０（ｂ）に示すように、脳の左前側の視点となるように変更する。さらに、立体表示制御部２１２は、図２９（ｃ）に示すように、対象立体画像と異なる行（表示領域６１２－２）の立体画像に対して、対象立体画像の視点変更に対応する視点変更をして表示する。すなわち、図３０（ａ）に示す脳の右側面の視点を、表示領域６１２－２の立体画像について、図３０（ｃ）に示すように、脳の中心面（対象面）に対して面対称となるような視点変更、すなわち、脳の右前側の視点となるように変更する。このとき、脳の画像に重畳しているヒートマップもそれぞれ同様に視点を変更する。これによって、特定の立体画像（対象立体画像）に対する視点変更を行うのみで、同じ行の他の立体画像についてはその視点変更が反映され、他の行の立体画像については、対応する視点変更が反映されるので、操作性が向上し、さらに、複数の行を見比べることによって、対応する視点から時間的に前後の脳の活動変化を確認することができる。
Then, when the viewpoint of a specific stereoscopic image is changed, the same viewpoint change is made for the other stereoscopic images in the same row, and the stereoscopic images in the other rows are subjected to the corresponding viewpoint change (specifically, the brain A case in which the viewpoint is changed so as to be symmetrical with respect to the central plane (target plane) of the will be described. As shown in FIG. 29(a), in a
以上で説明した３つの他の立体画像への反映方法のうち、いずれの方法を採用してもよく、または、これらの方法のうちどの方法で反映するかを設定により切り替えることができるものとしてもよい。 Any one of the three other methods of reflecting to the stereoscopic image described above may be adopted, or it is possible to switch which of these methods to reflect by setting. good.
なお、図２６～図３０で上述したように、解析者が最初に視点変更の操作の対象とする対象立体画像を、表示領域６１２－１の右端の立体画像としたが、これに限定されるものではなく、表示領域６１２－１または表示領域６１２－２のいずれの立体画像が操作の対象であってもよい。また、表示領域６１２－１に含まれる一群の立体画像、および表示領域６１２－２に含まれる一群の立体画像が、それぞれ本発明の「形状画像」または「第３画像」に相当する。 As described above with reference to FIGS. 26 to 30, the target stereoscopic image that the analyst initially operates to change the viewpoint is the stereoscopic image at the right end of the display area 612-1, but the present invention is limited to this. Any stereoscopic image in the display area 612-1 or the display area 612-2 may be the object of the operation. Also, the group of stereoscopic images included in display area 612-1 and the group of stereoscopic images included in display area 612-2 respectively correspond to the "shape image" or the "third image" of the present invention.
また、立体図６１２の特定の脳の立体画像の視点を変更した場合に、他の立体画像へ視点変更を反映する動作を説明したが、立体画像に対して変更を加える表示態様について視点だけではなく、例えば、拡大縮小、輝度の変更、または透明度の変更等であってもよい。これらの変更についても、上述の視点変更の趣旨を逸脱しない範囲で、他の立体画像に変更を反映するものとすればよい。
Also, when the viewpoint of a specific stereoscopic image of the brain in the
また、上述のように、立体図６１２に表示される立体画像に対して変更を加えた結果、図３１に示すように、解析者による入力部２０８への操作入力により、特定の立体画像に対してメモ（例えば、図３１に示すコメント６３５）を付加できるようにしてもよい。これによって、解析者（医者等）が脳の気になる活動部位に対するコメントをその立体画像に関連付けて保存しておくことができ、脳に対する外手術の他、当該脳の疾患についてのカンファレンスにおいても役立てることができる。
In addition, as a result of changing the stereoscopic image displayed in the
＜頭部三面図について＞
図３２は、時間周波数解析画面における頭部三面図の一例を示す図である。図３３は、頭部三面図の立体画像としてカットモデルを表示した状態の一例を示す図である。図３４は、頭部三面図においてピークリストで選択されたピークの位置を示した状態の一例を示す図である。図３５は、頭部三面図においてピークリストで選択されたピークの位置、および時間的な前後のピークの位置を示した状態の一例を示す図である。図３６は、頭部三面図においてピークリストで選択されたピークの位置、および時間的な前後のピークの位置を色を変えて示した状態の一例を示す図である。図３７は、頭部三面図の立体画像にダイポール推定の結果を重畳表示した状態の一例を示す図である。図３８は、頭部三面図の立体画像に複数の測定対象の結果（ヒートマップ）を重畳表示した状態の一例を示す図である。図３２～図３８を参照しながら、時間周波数解析画面６０１の頭部三面図６１３の基本的な表示動作について説明する。
<About the three-sided view of the head>
FIG. 32 is a diagram showing an example of a trihedral view of the head on the time-frequency analysis screen. FIG. 33 is a diagram showing an example of a state in which a cut model is displayed as a stereoscopic image of a three-view view of the head. FIG. 34 is a diagram showing an example of a state in which positions of peaks selected in the peak list are shown in a trihedral view of the head. FIG. 35 is a diagram showing an example of a state showing the position of a peak selected from the peak list and the positions of temporally preceding and following peaks in a trihedral view of the head. FIG. 36 is a diagram showing an example of a state in which the position of a peak selected in the peak list and the positions of temporally preceding and succeeding peaks are shown in different colors in a trihedral view of the head. FIG. 37 is a diagram showing an example of a state in which the results of dipole estimation are superimposed on a stereoscopic image of a trihedral view of the head. FIG. 38 is a diagram showing an example of a state in which the results (heat map) of a plurality of measurement objects are displayed superimposed on the stereoscopic image of the head trihedral view. 32 to 38, the basic display operation of the three-
図３２に示すように、頭部三面図６１３は、脳の特定の位置（点）における３方向の断面図（以下、「三面図」と総称する場合がある）、および３Ｄ画像である立体画像６４４を含む図である。図３２に示す例では、頭部三面図６１３は、脳の特定の位置における３方向の断面図として、脳の前後方向に対して垂直な断面を示す断面図６４１、脳の左右方向に対して垂直な断面を示す断面図６４２、および、脳の上下方向に対して垂直な断面を示す断面図６４３を含む。断面図６４１は、上述の特定の位置を通るように基準線６４５ａおよび基準線６４５ｂが引かれている。また、断面図６４２は、上述の特定の位置を通るように、基準線６４５ａおよび基準線６４５ｃが引かれている。また、断面図６４３は、上述の特定の位置を通るように、基準線６４５ｂおよび基準線６４５ｄが引かれている。断面図６４１～６４３には、それぞれ、ヒートマップ６１１で指定された位置（点または範囲）に対応する時刻および周波数の生体信号の信号強度の分布を示すヒートマップ（ヒートマップ６１１とは異なる）（第３強度分布）が重畳して表示される。この頭部三面図６１３の表示動作は、断面表示制御部２１３によって制御される。
As shown in FIG. 32 , the
基準線６４５ａは、上述の脳の特定の位置の上下方向の位置を規定する線であるため、断面図６４１および断面図６４２にわたって連続した線として描画されている。また、基準線６４５ｂは、上述の脳の特定の位置の左右方向の位置を規定する線であるため、断面図６４１および断面図６４３にわたって連続した線として描画されている。また、基準線６４５ｃは、断面図６４２において、上述の脳の特定の位置の前後方向の位置を規定する線である。また、基準線６４５ｄは、断面図６４３において、上述の脳の特定の位置の前後方向の位置を規定する線である。なお、頭部三面図６１３における断面図６４１～６４３の並びは、上述のように、基準線６４５ａおよび基準線６４５ｂが複数の断面図に連続して描画することが可能であるために、図３２に示す並びとしているが、これに限定されるものではなく、任意でよい。その場合、各断面図において、脳の特定の位置を通るように基準線がそれぞれ描画されるものとすればよい。また、基準線は必ずしも描画される必要はなく、各断面図において、脳の特定の位置を示すマーク等が表示されるものとしてもよい。
The
立体画像６４４は、脳の３Ｄ画像であり、後述するように、この立体画像６４４に対する操作に応じて、立体図６１２に描画された脳の立体画像の視点が変更される。また、立体画像６４４には、ヒートマップ６１１で指定された位置（点または範囲）に対応する時刻および周波数の生体信号の信号強度の分布を示すヒートマップ（ヒートマップ６１１とは異なる）（第４強度分布）が重畳して表示される。なお、立体画像６４４は、脳の特定の視点の立体画像を表示することに限定されるものではなく、例えば、図３３に示すように、三面図で特定される脳の位置を中心に３次元方向で一部カットしたカットモデル画像であってもよい。
The
また、図３２に示す頭部三面図６１３では、ピークリスト６１４に登録されたピークのうち選択されたピークの位置が特定される三面図を表示し、図３４に示すように、立体画像６４４上に当該選択されたピーク位置を示すピーク点６４６を表示するものとしてもよい。また、例えば、ピークリスト６１４で選択されたピークから数えて上位Ｎ個のピークの位置が立体画像６４４に表示されるものとしてもよい。図３５では、上位３個のピークの位置（ピーク点６４６、６４６ａ、６４６ｂ）が表示された例を示す。また、図３５では、上位３個ではなく、ピークリスト６１４で選択されたピークの前後の時刻におけるピーク位置をピーク点６４６、６４６ａ、６４６ｂとして表示（ピークの軌跡を表示）するものとしてもよい。なお、設定によりピークの位置をどのように表示させるかが決定されてもよく、例えば、上述の他、ピークそのものを表示させない設定、信号強度がＭ以上のピークを表示させる設定等を切り替えられるものとしてもよい。
32, a trihedral view in which the position of the peak selected from among the peaks registered in the
また、図３６に示すように、立体画像６４４上に表示された複数のピークについて、当該ピークの属性情報に応じて、表示の形態を変えるものとしてもよい。図３６では、表示されたピークごとにマークの色をそれぞれ異なる色となるように変えて表示させた例を示している。
Further, as shown in FIG. 36, the form of display of a plurality of peaks displayed on the
また、図３７に示すように、断面表示制御部２１３は、立体画像６４４に対して、他の解析画面等でダイポール推定の結果であるダイポール６４７を重畳表示させるものとしてもよい。これによって、立体画像６４４が示す温存部位を示すヒートマップと、疾患部位（ターゲット部位）を示すダイポールとの位置関係を把握することができ、外科手術等に役立てることができる。
Further, as shown in FIG. 37, the slice
また、三面図のいずれかの断面図上で、解析者による入力部２０８を用いてクリック操作またはタップ操作によって、脳の三次元空間の特定の位置を指定することができる。このように、三面図において特定の位置が指定されると、指定された位置（点）に対応する時刻および周波数に関する生体信号の信号強度の分布がヒートマップ６１１に反映される。
In addition, the analyst can specify a specific position in the three-dimensional space of the brain by clicking or tapping the input unit 208 on any cross-sectional view of the trihedral view. In this way, when a specific position is specified in the three-view drawing, the
また、三面図のいずれかの断面図上で、解析者による入力部２０８に対するドラッグ操作またはスワイプ操作によって、脳の三次元空間の特定の範囲を指定することができる。このように、三面図において特定の範囲が指定されると、指定された範囲に対応する時刻および周波数に関する生体信号の信号強度（その範囲での平均）の分布がヒートマップ６１１に反映される。
In addition, the analyzer can designate a specific range in the three-dimensional space of the brain by dragging or swiping the input unit 208 on any cross-sectional view of the three views. In this way, when a specific range is specified in the orthographic view, the
なお、立体画像６４４（および三面図）に描画されるヒートマップ（信号強度の強弱を示す等高線図）は、各脳の部位の活動が活発となるようなそれぞれの刺激の結果を重畳して表示するものとしてもよい。例えば、言語刺激（測定時）を行った信号に対する結果と、視覚刺激（測定時）を行った信号に対する結果を求めた後に、断面表示制御部２１３は、図３８（ａ）に示す言語野を活性化させた場合のヒートマップと、図３８（ｂ）に示す視覚野を活性化させた場合のヒートマップとを、図３８（ｃ）に示すように、重畳させて表示可能とするものとしてもよい。このように図３８（ｃ）に示すように重畳されたヒートマップで示される部位が温存部位であるということが確認できる。重畳させるための操作方法としては、現在表示されている測定結果が言語野であるものとした場合、メニューによって異なる測定結果（例えば、視覚野）を選択することができるようにすればよい。なお、重畳する際には、測定対象より刺激に対する反応時間が異なる可能性もある。そこで、測定対象を追加する場合に時間のずれを設定できるようにすれば、より的確に重畳することができる。さらに、ヒートマップを重畳した結果である図３８（ｃ）に示す立体画像を、図３８（ｄ）に示すように反転表示させることによって、逆に温存部位ではない切除可能な部位を示すことが可能になる。
In addition, the heat map (contour diagram showing strength and weakness of the signal) drawn on the stereoscopic image 644 (and the trihedral view) displays the result of each stimulus that activates the activity of each brain region in a superimposed manner. It may be assumed that For example, after obtaining the result for the signal with verbal stimulation (during measurement) and the result for the signal with visual stimulation (during measurement), the cross-sectional
また、頭部三面図６１３に示す断面図は、断面方向の異なる３つの断面図である三面図としているが、これに限定されるものではなく、特定の断面方向の１つの断面図、または断面方向の異なる２つもしくは４つ以上の断面図であってもよい。
In addition, the cross-sectional view shown in the head
図３９は、頭部三面図の立体画像に対して視点が変更される前の状態の一例を示す図である。図４０は、頭部三面図の立体画像に対して視点が変更された場合に表示されるダイアログボックスを示す図である。図４１は、立体画像の視点変更により立体図の１行目に同じ表示を反映するための設定例を示す図である。図４２は、頭部三面図の立体画像に対して視点が変更された場合、立体図の１行目に同じ表示を反映した状態を示す図である。図４３は、立体画像の視点変更により立体図の１、２行目に同じ変換を反映するための設定例を示す図である。図４４は、頭部三面図の立体画像に対して視点が変更された場合、立体図の１、２行目に同じ変換を反映した状態を示す図である。図４５は、立体画像の視点変更により立体図の１、２行目に、対応した変換を反映するための設定例を示す図である。図４６は、頭部三面図の立体画像に対して視点が変更された場合、立体図の１、２行目に、対応した変換を反映した状態を示す図である。図４７は、立体画像の視点変更により立体図に同じ表示の新たな行を追加するための設定例を示す図である。図４８は、頭部三面図の立体画像に対して視点が変更された場合、立体図に同じ表示の新たな行を追加した状態を示す図である。図３９～図４８を参照しながら、時間周波数解析画面６０１の頭部三面図６１３の立体画像に対して視点変更した場合における立体図６１２への反映動作について説明する。
FIG. 39 is a diagram showing an example of the state before the viewpoint is changed with respect to the stereoscopic image of the three-view head view. FIG. 40 is a diagram showing a dialog box displayed when the viewpoint is changed with respect to the three-view head view stereoscopic image. FIG. 41 is a diagram showing a setting example for reflecting the same display on the first line of the stereoscopic image by changing the viewpoint of the stereoscopic image. FIG. 42 is a diagram showing a state in which the same display is reflected in the first line of the stereoscopic image when the viewpoint is changed with respect to the stereoscopic image of the three-view head view. FIG. 43 is a diagram showing a setting example for reflecting the same transformation on the first and second lines of the stereoscopic image by changing the viewpoint of the stereoscopic image. FIG. 44 is a diagram showing a state in which the same conversion is reflected in the first and second lines of the stereoscopic image when the viewpoint is changed with respect to the stereoscopic image of the head trihedral view. FIG. 45 is a diagram showing a setting example for reflecting the corresponding conversion on the first and second lines of the stereoscopic image by changing the viewpoint of the stereoscopic image. FIG. 46 is a diagram showing a state in which the corresponding transformation is reflected in the first and second lines of the stereoscopic view when the viewpoint is changed with respect to the stereoscopic image of the head trihedral view. FIG. 47 is a diagram showing a setting example for adding a new line of the same display to the stereoscopic view by changing the viewpoint of the stereoscopic image. FIG. 48 is a diagram showing a state in which a new row of the same display is added to the stereoscopic view when the viewpoint is changed with respect to the stereoscopic image of the head trihedral view. Referring to FIGS. 39 to 48, a description will be given of the reflection operation to the
頭部三面図６１３の立体画像６４４に表示されている脳は、立体図６１２と同様に、解析者による操作（例えば、ドラッグ操作またはスワイプ操作等）によって視点を変更することが可能である。この場合、立体画像６４４の脳の視点を変更した場合において、立体図６１２に表示された脳の視点に反映するものとしてもよく、以下、その反映方法の類型について以下に説明する。
The viewpoint of the brain displayed in the
図３９に示すような時間周波数解析画面６０１に表示された頭部三面図６１３の立体画像６４４に対して、解析者による操作（例えば、ドラッグ操作またはスワイプ操作等）が行われると、断面表示制御部２１３は、図４０に示すように、ダイアログボックス６５０を表示させる。ダイアログボックス６５０は、立体画像６４４の脳について視点変更された場合に、どのように立体図６１２に反映するかを決定するための画面である。ここで、例えば、「立体図は変更しない」ボタンが押下されると、立体図６１２の立体画像に対する視点変更はなされない。ここでは、解析者は、図４０に示すように、脳の左側面の視点の立体画像６４４を、脳の背面の視点の立体画像の表示となるように視点変更したものとする。
When the analyst performs an operation (for example, a drag operation or a swipe operation) on the
まず、図４１に示すように、ダイアログボックス６５０の「立体図の行の表示に反映する」ボタンが押下されたものとする。すると、断面表示制御部２１３は、図４１に示すように、立体図６１２にどのように反映するかの詳細を設定するためのダイアログボックス６５１を表示させる。解析者は、図４１に示すように、ダイアログボックス６５１において、変更する行として立体図６１２の１行目に選択し、「立体図の３Ｄと同じ表示」を選択したものとする。この場合、立体表示制御部２１２は、図４２に示すように、立体図６１２の１行目（上の行）の立体画像に対して、立体画像６４４の変更された視点と同じ視点となるように表示する。
First, as shown in FIG. 41, it is assumed that the button "reflect on display of row of stereoscopic drawing" in
次に、図４０のように視点変更された状態から、解析者は、図４３に示すように、ダイアログボックス６５０の「立体図の行の表示に反映する」ボタンを押下し、ダイアログボックス６５１において、変更する行として立体図６１２の１行目および２行目に選択し、「立体図の３Ｄと同じ変換」を選択したものとする。この場合、立体表示制御部２１２は、図４４に示すように、もともと立体画像６４４と同じ視点であった立体図６１２の１行目の立体画像に対して、立体画像６４４の視点変更と同じ視点変更をして表示する。すなわち、図４４に示すように、脳の背面の視点となるように変更する。さらに、立体表示制御部２１２は、図４４に示すように、もともと脳の右側面の視点であった立体図６１２の２行目の立体画像に対して、立体画像６４４の視点変更と同じ視点変更をして表示する。すなわち、図４４に示すように、脳の前面の視点となるように変更する。なお、「立体図の行の表示に反映する」ボタン押下によるダイアログボックス６５１での選択を初期設定済みとするか初期設定可能なようにしておき、その上で、例えば、［ビューのリンク］／［ビューのリンク解除］ボタンを設けることで、その選択結果を表示するようにしてもよい。このような構成とすることで毎回の選択動作を省略（簡略化）できる。
Next, from the state in which the viewpoint has been changed as shown in FIG. 40, the analyst presses the "Reflect on the display of rows in the stereoscopic diagram" button in the
次に、解析者は、図４６に示すように、脳の左側面の視点の立体画像６４４を、脳の左前側の視点の立体画像の表示となるように視点変更したものとする。そして、この状態から、解析者は、図４５に示すように、ダイアログボックス６５０の「立体図の行の表示に反映する」ボタンを押下し、ダイアログボックス６５１において、変更する行として立体図６１２の１行目および２行目に選択し、「立体図の３Ｄに対応した変換」を選択したものとする。この場合、立体表示制御部２１２は、図４６に示すように、もともと立体画像６４４と同じ視点であった立体図６１２の１行目の立体画像に対して、立体画像６４４の視点変更と同じ視点変更をして表示する。すなわち、図４６に示すように、脳の左前側の視点となるように変更する。さらに、立体表示制御部２１２は、図４６に示すように、もともと脳の右側面の視点であった立体図６１２の２行目の立体画像に対して、立体画像６４４の視点変更に対応する視点変更をして表示する。すなわち、図４６に示すように、脳の中心面（対象面）に対して面対称となるような視点変更、すなわち、脳の右前側の視点となるように変更する。
Next, as shown in FIG. 46, the analyst changes the viewpoint of the
次に、図４０のように視点変更された状態から、解析者は、図４７に示すように、ダイアログボックス６５０の「立体図の行を追加する」ボタンを押下することによって表示されるダイアログボックス６５２において、「立体図の３Ｄと同じ表示」を選択したものとする。この場合、立体表示制御部２１２は、図４８に示すように、立体画像６４４の視点変更の結果、同一の視点となる脳の立体画像を、立体図６１２の表示領域６１２－３に新たな行として表示する。すなわち、図４８に示すように、表示領域６１２－３における新たな行に、脳の背面の視点の立体画像が表示される。
Next, from the state in which the viewpoint has been changed as shown in FIG. 40, the analyst presses the "add stereoscopic row" button in the
以上のように、頭部三面図６１３における立体画像６４４に対して行った視点変更を、各種設定に応じて、立体図６１２の時系列に並んだ脳の立体画像の視点に反映することができる。これによって、立体画像６４４の視点変更と同様の視点変更を、立体図６１２に対して改めて行う必要がないので、操作性が向上し、さらに、立体画像６４４で変更した視点と同一の視点、または対応する視点で、立体図６１２において脳の状態の変化を時系列に確認することができる。
As described above, the viewpoint change made to the
なお、図４１、図４３、図４５および図４７で示すダイアログボックス６５０～６５２によって設定される立体図６１２に表示された脳の視点への反映方法は、一例であり、その他の反映方法が設定できるものとしてもよい。
41, 43, 45, and 47, which are set by the
また、立体画像６４４の視点を変更した場合に、立体図６１２の立体画像へ視点変更を反映する動作を説明したが、立体画像６４４に対して変更を加える表示態様は視点だけではなく、例えば、拡大縮小、輝度の変更、または透明度の変更等であってもよい。これらの変更についても、上述の視点変更の趣旨を逸脱しない範囲で、立体図６１２の立体画像に変更を反映するものとすればよい。
Also, when the viewpoint of the
＜ピークリストについて＞
図４９は、ピークリストの設定例を示す図である。図５０は、空間的なピークを説明する図である。図５１は、時間・周波数的なピークを説明する図である。図５２は、プルダウンされたピークリストから特定のピークを選択する状態を示す図である。図５３は、プルダウンされたピークリストから選択されたピークについてヒートマップ、立体図および頭部三面図に反映させた状態を示す図である。図４９～図５３を参照しながら、時間周波数解析画面６０１のピークリスト６１４の基本的な動作について説明する。
<About the peak list>
FIG. 49 is a diagram showing a setting example of a peak list. FIG. 50 is a diagram for explaining spatial peaks. FIG. 51 is a diagram for explaining time/frequency peaks. FIG. 52 is a diagram showing a state of selecting a specific peak from a pull-down peak list. FIG. 53 is a diagram showing a state in which the peaks selected from the pull-down peak list are reflected in the heat map, the three-dimensional diagram, and the head three-view diagram. The basic operation of the
ピークリスト６１４は、ピークリスト制御部２０３により抽出された、設定された条件を満たす信号強度のピークが登録されたリストである。図４９に示すように、ピークリスト制御部２０３は、ピークリスト６１４でプルダウンされることによって登録された信号強度の一覧であるプルダウンリスト６５６を表示する。
The
また、上述のピークリスト制御部２０３により抽出される信号強度のピークの条件は、ピークリスト設定ボタン６１４ａを押下することにより設定することができる。ピークリスト制御部２０３は、ピークリスト設定ボタン６１４ａが押下されると、抽出される信号強度のピークの条件を設定するためのダイアログボックス６５５を表示させる。
Further, the conditions for the signal intensity peaks extracted by the peak
ダイアログボックス６５５では、まず、ピークリスト６１４に登録されたピーク情報をどのようにソートするかを設定することができる。ダイアログボックス６５５において、「ピークの値が大きい順番」が選択された場合、ピークリスト制御部２０３は、ピークリスト６１４で登録されているピーク情報を、ピークの信号強度が大きい順にソートする。一方、ダイアログボックス６５５において、「ピークの高さ（頂点と谷点の差）が大きい順番」が選択された場合、ピークリスト制御部２０３は、ピークリスト６１４で登録されているピーク情報を、ピーク点の信号強度と、当該ピークの谷部分の信号強度との差が大きい順にソートする。
In the
さらに、ダイアログボックス６５５では、ピークリスト６１４にどのようなピーク情報を登録（リストアップ）させるかを設定することができる。ダイアログボックス６５５において、「すべての空間的なピーク」が選択された場合、ピークリスト制御部２０３は、時刻・周波数平面の各時刻・各周波数においての脳全体における空間的なピークを抽出して、ピークリスト６１４に登録する。ここで、空間的なピークとは、図５０に示すピーク部８０１のように、着目する時刻・周波数の生体信号の、脳全体における信号強度のピークであり、このピーク部８０１の信号強度は、周辺より信号強度が強い。
Furthermore, in a
また、ダイアログボックス６５５において、「すべての時刻／周波数的なピーク」が選択された場合、ピークリスト制御部２０３は、脳全体の各位置においての時刻・周波数平面における時刻／周波数的なピークを抽出して、ピークリスト６１４に登録する。ここで、時刻／周波数的なピークとは、図５１に示すピーク部８０２のように、着目する脳の位置での生体信号の、時刻・周波数平面における信号強度のピークであり、このピーク部８０２の信号強度は、周辺よりも信号強度が強い。
Also, when "all time/frequency peaks" is selected in the
また、ダイアログボックス６５５において、「指定されている時刻／周波数における空間的なピーク」が選択された場合、ピークリスト制御部２０３は、時刻・周波数平面で指定された時刻・周波数においての脳全体における空間的なピークを抽出して、ピークリスト６１４に登録する。なお、指定されている時刻／周波数は一点とは限らず、範囲で選択される場合もある。
Further, when "spatial peak at specified time/frequency" is selected in the
また、ダイアログボックス６５５において、「指定されている位置における時刻／周波数的なピーク」が選択された場合、ピークリスト制御部２０３は、指定された脳の位置においての時刻・周波数平面における時刻／周波数的なピークを抽出して、ピークリスト６１４に登録する。なお、指定されている位置は一点とは限らず、範囲で選択される場合もある。例えば、視覚野についてのピークを抽出する場合、後頭部全体の範囲を指定することによって、所望のピークを抽出しやすくなる。
In the
次に、各ピーク情報が登録されたピークリスト６１４から特定のピーク情報を選択した場合の動作について説明する。解析者によって、ピークリスト６１４から表示されたプルダウンリスト６５６から特定のピーク情報（例えば、図５２に示す「９５％／９ｍｓ／７０Ｈｚ／ｖｏｘｅｌ：１７３６」）が選択されると、ヒートマップ表示制御部２１１は、当該ピーク情報が示す脳の特定の位置に対応するヒートマップ６１１を表示する。この場合、ヒートマップ表示制御部２１１は、図１４で上述したように、ヒートマップ６１１においてピーク情報が示すピークの位置を具体的に示すものとすればよい。
Next, the operation when specific peak information is selected from the
また、立体表示制御部２１２は、選択されたピーク情報が示す時刻・周波数の脳の立体画像を立体図６１２の各行の中央に表示させ、さらに、その時刻の前後の脳の立体画像を表示させる。この場合、立体図６１２の脳の各立体画像に重畳されるヒートマップは、ピーク情報が示す周波数の生体信号の信号強度に対応するものとすればよい。
In addition, the stereoscopic display control unit 212 displays the stereoscopic image of the brain at the time and frequency indicated by the selected peak information in the center of each row of the stereoscopic diagram 612, and further displays the stereoscopic image of the brain before and after that time. . In this case, the heat map superimposed on each stereoscopic image of the brain in the
また、断面表示制御部２１３は、選択されたピーク情報が示す脳の位置を通る三面図を頭部三面図６１３に表示させる。さらに、断面表示制御部２１３は、選択されたピーク情報が示す時刻・周波数の生体信号の信号強度に対応するヒートマップを立体画像６４４の脳に重畳表示させるものとすればよい。なお、断面表示制御部２１３は、図５３に示すように、選択されたピーク情報が示す脳の位置を中心に３次元方向で一部カットしたカットモデルを立体画像６４４に表示させるものとしてもよい。
In addition, the cross-sectional
以上のように、ピークリスト６１４に登録されたピーク情報から特定のピーク情報を選択することによって、当該ピーク情報に対応したヒートマップ６１１、立体図６１２および頭部三面図６１３が表示される。これによって、選択したピークが脳のどの位置、およびどの時刻・周波数であるかを瞬時に認識することができ、さらに、ヒートマップ６１１においては当該ピークおよびその周りの時刻／周波数における信号強度の状態、および、当該ピークの位置およびその周りの脳の信号強度の状態も把握することが可能となる。
As described above, by selecting specific peak information from the peak information registered in the
＜再生制御パネルについて＞
図５４は、再生制御パネルの操作によりヒートマップおよび立体図が再生表示される状態を示す図である。図５５は、再生制御パネルの操作によりヒートマップおよび立体図がコマ戻しされる状態を示す図である。図５６は、再生制御パネルの操作によりヒートマップおよび立体図がコマ送りされる状態を示す図である。図５４～図５６を参照しながら、時間周波数解析画面６０１の再生制御パネル６１５を操作した場合の動作について説明する。
<About the playback control panel>
FIG. 54 is a diagram showing a state in which a heat map and a three-dimensional diagram are reproduced and displayed by operating the reproduction control panel. FIG. 55 is a diagram showing a state in which the heat map and the stereoscopic view are reversed frame by frame by operating the playback control panel. FIG. 56 is a diagram showing a state in which a heat map and a three-dimensional figure are advanced frame by frame by operating the playback control panel. The operation when the
再生制御パネル６１５は、解析者の操作によって、時間経過と共に、ヒートマップ６１１、立体図６１２および頭部三面図６１３の状態を再生表示するためのユーザインターフェースである。
The
例えば、解析者が、再生制御パネル６１５の「再生」ボタンを押下すると、再生表示制御部２１４は、ヒートマップ表示制御部２１１に対して、図５４（ａ）および図５４（ｂ）に示すように、ヒートマップ６１１で指定されている指定領域６２２－１、およびその周りの対応領域６２２－２～６２２－５を、時間経過と共に、右方向（時間が進む方向）に移動させるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１および対応領域６２２－２～６２２－５の移動に伴い、立体表示制御部２１２に対して、図５４（ａ）および図５４（ｂ）に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１の移動に伴い、断面表示制御部２１３に対して、移動している指定領域６２２－１に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像６４４に表示させるように指示する。
For example, when the analyst presses the "play" button on the
また、解析者が、再生制御パネル６１５の「コマ戻し」ボタンを押下すると、再生表示制御部２１４は、ヒートマップ表示制御部２１１に対して、図５５（ａ）および図５５（ｂ）に示すように、ヒートマップ６１１で指定されている指定領域６２２－１、およびその周りの対応領域６２２－２～６２２－５を、所定時間分だけ左方向（時間が戻る方向）に移動させるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１および対応領域６２２－２～６２２－５の移動に伴い、立体表示制御部２１２に対して、図５５（ａ）および図５５（ｂ）に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１の移動に伴い、断面表示制御部２１３に対して、移動した指定領域６２２－１に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像６４４に表示させるように指示する。
Also, when the analyst presses the "frame back" button on the
また、解析者が、再生制御パネル６１５の「コマ送り」ボタンを押下すると、再生表示制御部２１４は、ヒートマップ表示制御部２１１に対して、図５６（ａ）および図５６（ｂ）に示すように、ヒートマップ６１１で指定されている指定領域６２２－１、およびその周りの対応領域６２２－２～６２２－５を、所定時間分だけ右方向（時間が進む方向）に移動させるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１および対応領域６２２－２～６２２－５の移動に伴い、立体表示制御部２１２に対して、図５６（ａ）および図５６（ｂ）に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１の移動に伴い、断面表示制御部２１３に対して、移動した指定領域６２２－１に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像６４４に表示させるように指示する。
Also, when the analyst presses the "advance frame" button on the
また、解析者が、再生制御パネル６１５の「停止」ボタンを押下すると、再生表示制御部２１４は、ヒートマップ表示制御部２１１、立体表示制御部２１２および断面表示制御部２１３に対して、ヒートマップ６１１、立体図６１２、および頭部三面図６１３におけるそれぞれの再生表示動作を停止するように指示する。
Further, when the analyst presses the "stop" button on the
また、解析者が、再生制御パネル６１５の「先頭へ移動」ボタンを押下すると、再生表示制御部２１４は、ヒートマップ表示制御部２１１に対して、ヒートマップ６１１で指定されている指定領域６２２－１を、時刻の先頭に移動させるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１の移動に伴い、立体表示制御部２１２に対して、指定領域６２２－１に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１の移動に伴い、断面表示制御部２１３に対して、移動した指定領域６２２－１に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像６４４に表示させるように指示する。
Also, when the analyst presses the “move to top” button on the
また、解析者が、再生制御パネル６１５の「末尾へ移動」ボタンを押下すると、再生表示制御部２１４は、ヒートマップ表示制御部２１１に対して、ヒートマップ６１１で指定されている指定領域６２２－１を、時刻の末尾に移動させるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１の移動に伴い、立体表示制御部２１２に対して、指定領域６２２－１に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部２１４は、ヒートマップ６１１における指定領域６２２－１の移動に伴い、断面表示制御部２１３に対して、移動した指定領域６２２－１に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像６４４に表示させるように指示する。
Further, when the analyst presses the “move to end” button on the
以上のように、再生表示させることによって、立体図６１２および頭部三面図６１３に表示される信号強度の分布（ヒートマップ）の時間経過による変化を動画として確認することができ、時間経過によるピークの移動等を視覚的に確認することができる。
As described above, by reproducing and displaying, it is possible to confirm, as a moving image, changes over time in the distribution (heat map) of the signal intensity displayed in the three-
＜初期表示について＞
図５７は、ピークに対してどの視点からの図を初期表示させるかを説明する図である。図５８は、２つのピークに対してどの視点からの図を初期表示させるかを説明する図である。図５９は、図５８に説明する視点からの図を立体図に初期表示させた状態を示す図である。図５７～図５９を参照しながら、時間周波数解析画面６０１を起動した（開いた）場合におけるヒートマップ６１１、立体図６１２および頭部三面図６１３の初期表示について説明する。
<About the initial display>
FIG. 57 is a diagram for explaining from which viewpoint a diagram is initially displayed with respect to a peak. FIG. 58 is a diagram for explaining from which viewpoint a diagram is initially displayed with respect to two peaks. FIG. 59 is a diagram showing a state in which a view from the viewpoint explained in FIG. 58 is initially displayed in a stereoscopic view. The initial display of the
解析者が、時間周波数解析画面６０１を起動した（開いた）場合に、ヒートマップ６１１、立体図６１２および頭部三面図６１３の初期表示としてどのような画像を表示させるかについての類型を説明する。
When the analyst activates (opens) the time-
例えば、解析表示制御部２０２は、時刻・周波数全体を通じて、脳全体において信号強度が最大となる時刻・周波数および脳内の位置を求める。この場合、ヒートマップ表示制御部２１１は、解析表示制御部２０２により求められた脳内の位置でのヒートマップ６１１を表示させる。また、立体表示制御部２１２は、解析表示制御部２０２により求められた信号強度が最大となる時刻・周波数に対応する脳の立体画像を立体図６１２に表示させる。また、断面表示制御部２１３は、解析表示制御部２０２により求められた脳内の位置を通るような三面図を頭部三面図６１３に表示させ、解析表示制御部２０２により求められた信号強度が最大となる時刻・周波数のヒートマップを三面図および立体画像６４４に重畳させる。
For example, the analysis display control unit 202 obtains the time/frequency and the position in the brain where the signal intensity is maximized in the entire brain throughout the time/frequency. In this case, the heat map display control unit 211 displays the
また、解析表示制御部２０２は、時刻・周波数全体を通じての信号強度の平均が最大となる脳内の位置を求めるものとしてもよい。この場合、ヒートマップ表示制御部２１１は、解析表示制御部２０２により求められた脳内の位置でのヒートマップ６１１を表示させる。また、立体表示制御部２１２は、表示されたヒートマップ６１１のうち信号強度が最大となる時刻・周波数に対応する脳の立体画像を立体図６１２に表示させる。また、断面表示制御部２１３は、解析表示制御部２０２により求められた脳内の位置を通るような三面図を頭部三面図６１３に表示させ、表示されたヒートマップ６１１のうち信号強度が最大となる時刻・周波数のヒートマップを三面図および立体画像６４４に重畳させる。
Also, the analysis display control unit 202 may obtain the position in the brain where the average signal intensity is maximized over the entire time and frequency. In this case, the heat map display control unit 211 displays the
また、解析表示制御部２０２は、脳全体で信号強度の平均値が最大となる時刻・周波数を求めるものとしてもよい。この場合、立体表示制御部２１２は、解析表示制御部２０２により求められた時刻・周波数に対応する脳の立体画像を立体図６１２に表示させる。また、ヒートマップ表示制御部２１１は、立体図６１２の立体画像に表示された、解析表示制御部２０２により求められた時刻・周波数に対応するヒートマップにおいて信号強度が最大となる脳内の位置を求め、当該位置でのヒートマップ６１１を表示させる。また、断面表示制御部２１３は、ヒートマップ表示制御部２１１により求められた脳内の位置を通るような三面図を頭部三面図６１３に表示させ、解析表示制御部２０２により求められた時刻・周波数のヒートマップを三面図および立体画像６４４に重畳させる。
Further, the analysis display control unit 202 may obtain the time/frequency at which the average value of the signal strength in the entire brain is maximized. In this case, the stereoscopic display control unit 212 displays a stereoscopic image of the brain corresponding to the time and frequency obtained by the analysis display control unit 202 on the
また、立体表示制御部２１２は、ピークリスト６１４に登録されているピーク情報のうち、先頭のピーク情報が示す脳内の位置でのヒートマップ６１１を表示させるものとしてもよい。また、立体表示制御部２１２は、ピークリスト６１４に登録されているピーク情報のうち、先頭のピーク情報が示す時刻・周波数に対応する脳の立体画像を立体図６１２に表示させる。また、断面表示制御部２１３は、ピークリスト６１４に登録されているピーク情報のうち、先頭のピーク情報が示す脳内の位置を通るような三面図を頭部三面図６１３に表示させ、当該ピーク情報が示す時刻・周波数のヒートマップを三面図および立体画像６４４に重畳させる。
Further, the stereoscopic display control unit 212 may display the
また、立体表示制御部２１２は、測定の対象（視覚野、聴覚野、体性感覚野、運動野および言語野等）に応じてプリセットされた脳内の位置でのヒートマップ６１１を表示させるものとしてもよい。また、立体表示制御部２１２は、測定の対象（視覚野、聴覚野、体性感覚野、運動野および言語野等）に応じてプリセットされた時刻・周波数に対応する脳の立体画像を立体図６１２に表示させる。また、断面表示制御部２１３は、測定の対象（視覚野、聴覚野、体性感覚野、運動野および言語野等）に応じてプリセットされた脳内の位置を通るような三面図を頭部三面図６１３に表示させ、当該ピーク情報が示す時刻・周波数のヒートマップを三面図および立体画像６４４に重畳させる。
In addition, the stereoscopic display control unit 212 displays a
次に、解析者が、時間周波数解析画面６０１を起動した（開いた）場合に、立体図６１２の脳の立体画像、および、頭部三面図６１３の立体画像６４４の表示の初期視点について説明する。
Next, when the analyst activates (opens) the time-
例えば、測定の対象（視覚野、聴覚野、体性感覚野、運動野および言語野等）に応じてプリセットされた視点を初期視点として用いるものとしてもよい。この場合、立体図６１２については、行（視点）の数もプリセットしておく。立体図６１２が２行である場合、２つの視点をプリセットしておく必要がある。例えば、言語野が測定対象であれば、脳の左側面および右側面の視点をプリセットしておく。
For example, a viewpoint preset according to the object of measurement (visual field, auditory field, somatosensory field, motor field, language field, etc.) may be used as the initial viewpoint. In this case, the number of rows (viewpoints) is also preset for the
また、ピークリスト６１４において先頭に登録されているピークが最もよく見えるような視点を初期視点として用いるものとしてもよい。具体的には、図５７に示すように、脳の中心とピークとを結んだ直線８１１上に初期視点として視点Ｐ０を設定するものとすればよい。
Also, a viewpoint from which the peak registered at the top in the
また、ピークリスト６１４において所定のパラメータ（例えば、図５０に示すピークの値（信号強度）またはピークの高さ）が、所定の閾値を超えたピークを用いて設定した視点を初期視点として用いるものとしてもよい。例えば、閾値を超えたピークが２つある場合、立体図６１２の表示を２行表示とし、図５８に示すように、脳の中心とそれぞれのピークとを結んだ直線８１２、８１３上に、初期視点としてそれぞれ視点Ｐ１、Ｐ２を設定するものとすればよい。この場合において、視点Ｐ１からの脳の立体画像を立体図６１２の上の行に、視点Ｐ２からの脳の立体画像を立体図６１２の下の行に表示した例を、図５９に示す。
Also, a viewpoint set using a peak whose predetermined parameter (for example, the peak value (signal intensity) or peak height shown in FIG. 50) exceeds a predetermined threshold in the
以上のように、脳内の特定の位置または特定の範囲における生体信号の時刻・周波数に関するヒートマップ６１１を表示するものとし、そのヒートマップ６１１上で指定された点または範囲に対応する脳の活動を示すヒートマップが重畳された立体画像を中心に、その時刻の前後の脳の活動を示す立体画像を表示、すなわち、脳の活動を示す静止画（ここでは立体画像）をコマ送り的またはコマ戻し的に表示するものとしている。これによって、脳の活動を示す静止画を適切かつ迅速に抽出することができ、脳の活動の解析を容易にすることができる。また、カンファレンス等で議論のベースにすることが容易となる。
As described above, the
また、ピークリスト６１４に登録されたピーク情報から特定のピーク情報を選択することによって、当該ピーク情報に対応したヒートマップ６１１、立体図６１２および頭部三面図６１３が表示される。これによって、選択したピークが脳のどの位置、およびどの時刻・周波数であるかを瞬時に認識することができ、さらに、ヒートマップ６１１においては当該ピークおよびその周りの時刻／周波数における信号強度の状態、および、当該ピークの位置およびその周りの脳の信号強度の状態も把握することが可能となる。
Further, by selecting specific peak information from the peak information registered in the
また、立体図６１２上で自由に脳の視点を変更することができ、さらに、その視点変更に基づく変更を同じ行または異なる行の脳に対しても反映することができる。これによって、特定の立体画像（対象立体画像）に対する視点変更を行うのみで、他の立体画像についてもその視点変更に基づく変更が反映されるので、操作性が向上し、さらに、複数の行を見比べることによって、対応する視点から時間的に前後の脳の活動変化を容易に確認することができる。また、立体画像で描画される脳の視点を自在に変えることによって、ある視点では見えなかった発火位置を確認することができる。 In addition, the viewpoint of the brain can be freely changed on the three-dimensional diagram 612, and further, the change based on the viewpoint change can be reflected in the brain on the same line or on a different line. As a result, by simply changing the viewpoint for a specific stereoscopic image (target stereoscopic image), the change based on the viewpoint change is reflected in other stereoscopic images as well. By comparing the images, it is possible to easily confirm temporal changes in brain activity from corresponding viewpoints. In addition, by freely changing the viewpoint of the brain drawn in the stereoscopic image, it is possible to confirm the firing position that could not be seen from a certain viewpoint.
また、頭部三面図６１３における立体画像６４４に対して行った視点変更を、各種設定に応じて、立体図６１２の時系列に並んだ脳の立体画像の視点に反映することができる。これによって、立体画像６４４の視点変更と同様の視点変更を、立体図６１２に対して改めて行う必要がないので、操作性が向上し、さらに、立体画像６４４で変更した視点と同一の視点、または対応する視点で、立体図６１２において脳の状態の変化を時系列に確認することができる。
In addition, the viewpoint change made to the
なお、上述の実施形態は、生体部位としての脳についての生体信号を取り扱うものとしたが、これに限定されるものではなく、例えば、脊髄、筋肉等の生体部位の生体信号に対して適用することが可能である。例えば、脳の図で説明した立体図６１２を、腰椎の場合、図６０のように表示することが可能である。図６０では、図６０（ａ）～図６０（ｄ）の順で時系列に腰椎の信号が上に伝わっていく状態を示している。 In addition, although the above-described embodiment deals with biosignals of the brain as a body part, it is not limited to this, and can be applied to biosignals of body parts such as the spinal cord and muscles, for example. It is possible. For example, it is possible to display a three-dimensional diagram 612 described in the diagram of the brain as shown in FIG. 60 in the case of the lumbar spine. FIG. 60 shows the state in which the signals of the lumbar vertebrae are transmitted upward in time series in the order of FIGS. 60(a) to 60(d).
また、上述の実施形態において、生体信号計測システム１の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態に係る生体信号計測システム１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態の生体信号計測システム１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の生体信号計測システム１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態の生体信号計測システム１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵがＲＯＭ等からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。
Further, in the above-described embodiment, when at least one of the functional units of the
１ 生体信号計測システム
３ 測定装置
４ 測定テーブル
３１ デュワ
３２ 窪み
４０ サーバ
５０ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 補助記憶装置
１０５ ネットワークＩ／Ｆ
１０６ 入力装置
１０７ 表示装置
１０８ バス
２０１ 収集表示制御部
２０２ 解析表示制御部
２０３ ピークリスト制御部
２０４ 通信部
２０５ センサ情報取得部
２０６ 解析部
２０７ 記憶部
２０８ 入力部
２１１ ヒートマップ表示制御部
２１２ 立体表示制御部
２１３ 断面表示制御部
２１４ 再生表示制御部
５０１ 開始画面
５０２ 測定収集画面
５１１ａ、５１１ｂ 領域
５１２ モニタウィンドウ
５２１～５２３ 第２表示領域
５２３ａ－１、５２３ａ－２ マーク
５２６－１、５２６－２ 属性アイコン
５３０ 第１表示領域
５３０ａ－１、５３０ａ－２ アノテーション
５３１ 時間軸
５３２ ライン
５３５ ポップアップウィンドウ
５３５ａ 選択ボタン
５３５ｂ 入力ボックス
５３８ カウンタボックス
５３９ 終了ボタン
５４１、５４２ 脳磁分布図
５５０ 脳波分布図
５６０ アノテーションリスト
５６０ａ 選択ボックス
６０１ 時間周波数解析画面
６０５ 解析画面切替リスト
６１１ ヒートマップ
６１２、６１２ａ 立体図
６１２－１～６１２－３ 表示領域
６１３、６１３ａ 頭部三面図
６１４ ピークリスト
６１４ａ ピークリスト設定ボタン
６１５ 再生制御パネル
６２１、６２１－１ 指定部
６２１－２～６２１－５ 対応部
６２２、６２２－１ 指定領域
６２２－２～６２２－５ 対応領域
６２３ 指定領域
６３１－１～６３１－５ 線分
６３５ コメント
６４１～６４３ 断面図
６４４ 立体画像
６４５ａ～６４５ｄ 基準線
６４６、６４６ａ、６４６ｂ ピーク点
６４７ ダイポール
６５０～６５２ ダイアログボックス
６５５ ダイアログボックス
６５６ プルダウンリスト
７１２ａ－１～７１２ａ－５ 部位
７１２ｂ－１～７１２ｂ－５ 部位
７１３ａ－１、７１３ａ－２、７１３ｂ～７１３ｄ 部位
７２２－１～７２２－５ 枠
８０１、８０２ ピーク部
８１１～８１３ 直線
Ａ１、Ａ２ アノテーション
Ｐ０～Ｐ２ 視点
REFERENCE SIGNS
102 RAMs
103 ROMs
104
106 input device 107 display device 108 bus 201 collection display control unit 202 analysis display control unit 203 peak list control unit 204 communication unit 205 sensor information acquisition unit 206 analysis unit 207 storage unit 208 input unit 211 heat map display control unit 212 stereoscopic display control Unit 213 Section display control unit 214 Reproduction display control unit 501 Start screen 502 Measurement collection screen 511a, 511b Area 512 Monitor window 521 to 523 Second display area 523a-1, 523a-2 Mark 526-1, 526-2 Attribute icon 530 First display area 530a-1, 530a-2 Annotation 531 Time axis 532 Line 535 Pop-up window 535a Selection button 535b Input box 538 Counter box 539 End button 541, 542 Magnetoencephalogram 550 Electroencephalogram 560 Annotation list 560a Selection box 601 Time-frequency analysis screen 605 Analysis screen switching list 611 Heat map 612, 612a Stereo view 612-1 to 612-3 Display area 613, 613a Head trihedral view 614 Peak list 614a Peak list setting button 615 Playback control panel 621, 621-1 Designated parts 621-2 to 621-5 Corresponding parts 622, 622-1 Designated areas 622-2 to 622-5 Corresponding areas 623 Designated areas 631-1 to 631-5 Line segments 635 Comments 641 to 643 Cross-sectional views 644 Stereoscopic images 645a ~645d Reference line 646, 646a, 646b Peak point 647 Dipole 650~652 Dialog box 655 Dialog box 656 Pull-down list 712a-1~712a-5 Site 712b-1~712b-5 Site 713a-1, 713a-2, 713b~ 713d Part 722-1 to 722-5 Frame 801, 802 Peak 811 to 813 Straight line A1, A2 Annotation P0 to P2 Viewpoint
Claims (20)
前記第１強度分布上で指定された点または領域に対応する時間に対応する前記生体信号の第２強度分布を重畳した前記発信源の形状の第１画像、および該対応する時間の前後の前記生体信号の第２強度分布を重畳した前記発信源の形状の第２画像を並べて前記表示装置に表示させる第２表示制御部と、
を備えた情報処理装置。 a first display control unit that causes a display device to display a first intensity distribution configured by decomposing a biological signal from a specific transmission source into time and frequency ;
A first image of the shape of the transmission source superimposed with a second intensity distribution of the biosignal corresponding to the time corresponding to the point or region designated on the first intensity distribution, and the image before and after the corresponding time a second display control unit that displays a second image of the shape of the transmission source on which the second intensity distribution of the biological signal is superimposed side by side on the display device;
Information processing device with
前記第１画像および前記第２画像を一組とする形状画像を同一の表示態様で表示させ、
前記形状画像の表示態様とは異なる表示態様の第３画像を表示させる請求項３に記載の情報処理装置。 The second display control unit
Displaying a shape image that is a set of the first image and the second image in the same display mode,
4. The information processing apparatus according to claim 3, wherein a third image is displayed in a display mode different from the display mode of the shape image.
前記第１表示制御部は、入力装置からの操作入力に従って、前記ピーク制御部により抽出された前記ピークから選択されたピークが示す前記発信源内の位置での前記生体信号の前記第１強度分布を表示させ、
前記第２表示制御部は、前記選択されたピークが示す時間および周波数に対応する前記第１画像および前記第２画像を表示させる請求項１～１２のいずれか一項に記載の情報処理装置。 a peak controller that extracts peaks from the biosignal according to criteria based on time, frequency, and location within the source ;
The first display control unit displays the first intensity distribution of the biological signal at a position within the transmission source indicated by a peak selected from the peaks extracted by the peak control unit, according to an operation input from an input device. display,
The information processing apparatus according to any one of claims 1 to 12, wherein the second display control section displays the first image and the second image corresponding to the time and frequency indicated by the selected peak.
前記生体信号から時間、周波数、および前記発信源内の位置に基づく基準に従ってピークを抽出するピーク制御部を、さらに備え、
前記第３表示制御部は、入力装置からの操作入力に従って、前記ピーク制御部により抽出された前記ピークから選択されたピークが示す前記発信源内の位置に対応する前記断面画像を表示させ、前記選択されたピークが示す時間および周波数に対応する前記生体信号の前記第４強度分布を重畳した前記立体画像を表示させる請求項８に記載の情報処理装置。 The first display control unit displays the first intensity distribution configured by decomposing the biological signal into time and frequency,
a peak controller that extracts peaks from the biosignal according to criteria based on time, frequency, and location within the source ;
The third display control unit displays the cross-sectional image corresponding to the position within the transmission source indicated by the peak selected from the peaks extracted by the peak control unit, according to an operation input from the input device, and 9. The information processing apparatus according to claim 8, which displays the stereoscopic image on which the fourth intensity distribution of the biological signal corresponding to the time and frequency indicated by the peak is superimposed.
表示した前記第１強度分布上で指定された点または領域に対応する時間に対応する前記生体信号の第２強度分布を重畳した前記発信源の形状の第１画像、および該対応する時間の前後の前記生体信号の第２強度分布を重畳した前記発信源の形状の第２画像を並べて前記表示装置に表示させる第２表示制御ステップと、
を有する情報処理方法。 a first display control step of causing a display device to display a first intensity distribution configured by decomposing a biological signal from a specific transmission source into time and frequency ;
A first image of the shape of the transmission source superimposed with the second intensity distribution of the biological signal corresponding to the time corresponding to the point or region designated on the displayed first intensity distribution, and the corresponding time before and after the transmission source A second display control step of displaying a second image of the shape of the transmission source on which the second intensity distribution of the biological signal is superimposed side by side on the display device;
An information processing method comprising:
特定の発信源からの生体信号について時間および周波数に分解して構成される第１強度分布を表示装置に表示させる第１表示制御ステップと、
表示した前記第１強度分布上で指定された点または領域に対応する時間に対応する前記生体信号の第２強度分布を重畳した前記発信源の形状の第１画像、および該対応する時間の前後の前記生体信号の第２強度分布を重畳した前記発信源の形状の第２画像を並べて前記表示装置に表示させる第２表示制御ステップと、
を実行させるためのプログラム。 to the computer,
a first display control step of causing a display device to display a first intensity distribution configured by decomposing a biological signal from a specific transmission source into time and frequency ;
A first image of the shape of the transmission source superimposed with the second intensity distribution of the biological signal corresponding to the time corresponding to the point or region designated on the displayed first intensity distribution, and the corresponding time before and after the transmission source A second display control step of displaying a second image of the shape of the transmission source on which the second intensity distribution of the biological signal is superimposed side by side on the display device;
program to run the
請求項１～１７のいずれか一項に記載の情報処理装置と、
を備えた生体信号計測システム。 a measuring device for measuring one or more biosignals from a subject;
The information processing device according to any one of claims 1 to 17 ,
A biological signal measurement system with
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/255,892 US10679394B2 (en) | 2018-01-30 | 2019-01-24 | Information processing device, information processing method, computer program product, and biosignal measurement system |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018014142 | 2018-01-30 | ||
| JP2018014142 | 2018-01-30 | ||
| JP2018219725 | 2018-11-22 | ||
| JP2018219725 | 2018-11-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020089700A JP2020089700A (en) | 2020-06-11 |
| JP7135845B2 true JP7135845B2 (en) | 2022-09-13 |
Family
ID=71012041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018243640A Active JP7135845B2 (en) | 2018-01-30 | 2018-12-26 | Information processing device, information processing method, program, and biological signal measurement system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7135845B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7200774B2 (en) | 2019-03-18 | 2023-01-10 | 株式会社リコー | INFORMATION DISPLAY METHOD, INFORMATION DISPLAY DEVICE, INFORMATION DISPLAY SYSTEM, PROGRAM AND RECORDING MEDIUM |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000005133A (en) | 1998-06-19 | 2000-01-11 | Toshiba Corp | Picture image display device for medical use |
| JP2009534103A (en) | 2006-04-21 | 2009-09-24 | リージェンツ オブ ザ ユニバーシティ オブ ミネソタ | System and method for current source analysis of seizures |
-
2018
- 2018-12-26 JP JP2018243640A patent/JP7135845B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000005133A (en) | 1998-06-19 | 2000-01-11 | Toshiba Corp | Picture image display device for medical use |
| JP2009534103A (en) | 2006-04-21 | 2009-09-24 | リージェンツ オブ ザ ユニバーシティ オブ ミネソタ | System and method for current source analysis of seizures |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020089700A (en) | 2020-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11113856B2 (en) | Information displaying system and information displaying device | |
| US20200294189A1 (en) | Information processing device, information processing method, recording medium storing program code, and information processing system | |
| US11207044B2 (en) | Information processing apparatus, information processing method, computer-readable medium, and biological signal measurement system | |
| US10679394B2 (en) | Information processing device, information processing method, computer program product, and biosignal measurement system | |
| JP2018153612A (en) | Information processing apparatus, information processing method, program, and biological signal measurement system | |
| US20200297231A1 (en) | Information processing device, information processing method, recording medium storing program code, and biomedical-signal measuring system | |
| US11666262B2 (en) | Information display device, biological signal measurement system and computer-readable recording medium | |
| US11311249B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable medium, and information processing system for displaying biological signal measurements | |
| US11237712B2 (en) | Information processing device, biomedical-signal measuring system, display method, and recording medium storing program code | |
| JP7187785B2 (en) | Information display device, biological signal measurement system and program | |
| US11457856B2 (en) | Information processing device, information processing method, recording medium storing program code, and biomedical-signal measuring system | |
| US11138779B2 (en) | Information processing apparatus, information processing method, computer-readable medium, and biological signal measurement system | |
| JP7135845B2 (en) | Information processing device, information processing method, program, and biological signal measurement system | |
| US11484268B2 (en) | Biological signal analysis device, biological signal measurement system, and computer-readable medium | |
| US11229389B2 (en) | Information processing device, biomedical-signal measuring system, and recording medium storing program code | |
| JP7176197B2 (en) | Information processing device, biological signal measurement system, display method, and program | |
| JP2021019954A (en) | Information processing unit, biological signal display device, and program | |
| JP2021145875A (en) | Information processor, information processing method, program and living body signal measuring system | |
| JP2021145969A (en) | Information processor, information processing method, program and living body signal measuring system | |
| JP7200774B2 (en) | INFORMATION DISPLAY METHOD, INFORMATION DISPLAY DEVICE, INFORMATION DISPLAY SYSTEM, PROGRAM AND RECORDING MEDIUM | |
| JP2019155074A (en) | Information processing device, information processing method, program and biological signal measurement system | |
| JP2019162404A (en) | Information display system, information display device and program | |
| Tian et al. | TopoToolbox Manual |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7135845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |