WO2012121341A1 - 画像データ処理装置および経頭蓋磁気刺激装置 - Google Patents
画像データ処理装置および経頭蓋磁気刺激装置 Download PDFInfo
- Publication number
- WO2012121341A1 WO2012121341A1 PCT/JP2012/055995 JP2012055995W WO2012121341A1 WO 2012121341 A1 WO2012121341 A1 WO 2012121341A1 JP 2012055995 W JP2012055995 W JP 2012055995W WO 2012121341 A1 WO2012121341 A1 WO 2012121341A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- head
- subject
- dimensional
- magnetic stimulation
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N2/00—Magnetotherapy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N2/00—Magnetotherapy
- A61N2/004—Magnetotherapy specially adapted for a specific therapy
- A61N2/006—Magnetotherapy specially adapted for a specific therapy for magnetic stimulation of nerve tissue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N2/00—Magnetotherapy
- A61N2/02—Magnetotherapy using magnetic fields produced by coils, including single turn loops or electromagnets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurology (AREA)
- High Energy & Nuclear Physics (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Magnetic Treatment Devices (AREA)
Abstract
Description
この特許文献1においては、かかる方法で施した経頭蓋磁気刺激治療により難治性の神経障害性疼痛が有効に軽減され、更に、より正確な局所刺激がより高い疼痛軽減効果を実現することが確認されている。但し、最適刺激部位は個々の患者によって微妙に異なることも明らかにされている。
かかる治療用コイルの位置決めについては、例えば赤外線を用いた光学式トラッキングシステムを利用して患者頭部に対する治療用コイルの位置決めを行う構成のものが公知であり(例えば、特許文献2,3参照)、既に一部には市販され臨床応用されている。
図1は、本実施形態に係る経頭蓋磁気刺激装置の構成の概要を模式的に示す説明図である。この経頭蓋磁気刺激装置1は、被験者2(例えば、患者や検査受検者など)の頭部2h内の特定部位(最適刺激部位)に磁気刺激を加えて治療を行なうためのものである。
図1に示すように、経頭蓋磁気刺激装置1(以下、適宜、単に「装置」と略称する)は、その主な構成として、画像モニタ部10,装置本体ユニット20,磁気刺激コイルユニット30,ステレオカメラ40及びプロジェクタ50を備えている。尚、前記装置1に含まれるステレオカメラ40は、3次元空間内における対象物の空間座標情報を得るための一例を示したものであり、後で説明するような他の態様により、被験者2の顔や磁気刺激コイルユニット30の空間座標情報を得るように構成することも可能である。
装置本体ユニット20に含まれる画像表示制御部21は、予め撮影された被験者2の頭部2hの3次元MRI画像を読み出し可能に保持すると共に、画像モニタ部10に表示させるべき各種の画像の表示制御を行うものである。尚、前記3次元MRI画像は、画像表示制御部21に付設された若しくは装置本体ユニット20の外部に付設されたメモリ装置に、読み出し可能に保持されていてもよい。磁気刺激コイル制御部22は、磁気刺激コイルユニット30に印加する磁束生成電流のオン/オフおよび電流を制御するものである。また、3次元情報生成部23は、ステレオカメラ40から入力される複数(本実施形態では、例えば2つ)の画像の視差を利用して、被験者頭部2hおよび磁気刺激コイルユニット30の空間内における位置および姿勢の情報を生成するとともに、プロジェクタ50が行なうランダムドットパターン投影動作の制御を行うものである。以上の画像表示制御部21,磁気刺激コイル制御部22及び3次元情報生成部23は、それぞれ所要の制御回路および演算回路等を備えて構成されている。これら画像表示制御部21,磁気刺激コイル制御部22及び3次元情報生成部23の具体的な動作については後述する。
尚、本明細書において、「治療用コイルの姿勢」とは、治療用コイル33の方向および角度を意味し、「治療用コイルの方向」とは、被験者頭部2hの頭皮表面におけるコイル33の向きのことであり、「治療用コイルの角度」とは、被験者頭部2hの頭皮表面の法線とコイル33の磁場方向とがなす角度を意味するものとする。
また、プロジェクタ50は、被験者頭部2hの表面にランダムドットパターンを投影し、画像処理のための抽出点とするためのものである。
従来の経頭蓋磁気刺激装置が有する技術的な課題を克服するため、本願発明者は、経頭蓋磁気刺激装置1が備えるべき要件を分析した結果、以下の知見を得た。
まず、磁気刺激治療を行うためには、被験者頭部2hの3次元撮影画像と3次元MRIデータとの正確な位置合わせを行わなければならない。被験者2を拘束せずにこのような正確な位置合わせを行うためには、時々刻々と変化する被験者頭部2hの位置と向き(姿勢)を解析し、常に、MRIデータと頭部画像とを一致させる処理が必要である。本実施形態では、被験者2の頭部2hの3次元外観画像として、指定し易い特徴点を数多く含む被験者2の顔を対象とした3次元顔画像を用いることとした。
さらに、施術者(医師等)は3次元MRI画像による頭蓋内の情報(脳の表皮の画像)を参照しながら刺激をおこなう必要があるため、脳表の情報,頭部(顔)の姿勢および磁気刺激コイルユニット30の姿勢をわかりやすく表示するインタフェースも必要である。
(1)3次元MRI計測データと被験者2の現在の頭部(顔)の姿勢との姿勢照合機能を備えること。
(2)リアルタイムに被験者2の頭部(顔)の姿勢を追跡する機能を備えること。
(3)リアルタイムに磁気刺激コイルユニット30の位置および姿勢を追跡する機能を備えること。
(4)脳表における磁気刺激ポイントなど、刺激状況の把握が容易なインタフェース機能を備えること。
であり、これら4つの要件を、十分な精度と操作性および経済性の下で実現することが重要である。
図1に示す構成を備えた前記経頭蓋磁気刺激装置1の基本的な動作について、具体的に説明する。尚、以下の説明では、画像処理の具体的な算法など、データを処理する手順や方法を主眼として説明を行うので、図1を用いて先に説明をした本装置1の各構成の機能や動作として直接言及されない場合がある。しかし、その場合でも、これら説明がなされる機能や動作は、図1に図示した経頭蓋磁気刺激装置1の機能や動作として実現されているため、装置1のどの構成に対応するかは容易に特定が行なえるものである。
(I)初期位置合わせ
(II)被験者頭部の姿勢の追跡
(III)治療用コイルの追跡
(IV)追跡結果の表示
装置1の作動がスタートすると、まず、ステップ#1で、例えばステレオカメラ40を用いて、被験者頭部2h及び磁気刺激コイルユニット30を含む画像フレーム(初期画像フレーム)が取得され、次に、ステップ#2で、この初期画像フレームに基づいて得られた初期状態での被験者2の3次元顔画像と、前記装置本体ユニット20の画像表示制御部21に読み出し可能に保持されていた被験者頭部2hの3次元MRI画像との初期位置合わせが行われる。この工程が、前述の「(I)初期位置合わせ」工程に相当している。
このとき、被験者頭部2hの姿勢のリアルタイム追跡結果に、ステップ#2での初期位置合わせの結果を反映することで、今現在の被験者2の3次元顔画像と3次元MRI画像とを正しい位置および姿勢で重ね合わせることができる。このスッテプ#4及びステップ#5の工程が、前述の「(II)被験者頭部の姿勢の追跡」工程に相当している。
前記ステップ#3からステップ#9の一連のステップは、磁気刺激治療を終えて装置1が停止されるまで、常時、継続して繰り返し実行される。
磁気刺激治療に先立って医療機関に設置されたMRI装置により得られた頭部MRI画像データと,本装置1の一つの例示態様であるステレオカメラ40によるステレオ計測(視差を利用した3次元位置計測)により得られた計測データとは、異なる計測機で、しかも異なる患者の姿勢で計測されており、同―座標系上で三次元表示すると2つのデータ間にズレが発生する(図3(a)参照)。このため、この2つのデータを一致させる必要がある。位置あわせ後の2つのデータを図3(b)に示す。
この処理を位置合わせといい、各データの姿勢を決める剛体変換パラメータである3行3列の回転行列Rと、3次元の平行移動ベクトルtを求めることに相当する。本装置1では、この位置合わせの手法として、ICP(Iterative Closest Point)アルゴリズムを用いる。このアルゴリズムは、反復計算により対応点間の距離を最小化するような剛体変換パラメータを求める手法である。この手法を用いることで、計測データ間の対応関係や、計測装置と対象物体との事前のキャリブレーションを必要とせずに、高精度に位置合わせを行うことができる。
(1)MRIデータの読み込み
(2)2台のカメラ(左カメラ41,右カメラ42)を用いた顔のキャプチャ
(3)左右のカメラ41,42から得られた画像からAdaboost(後述する)を用いた顔検出を行い、画像中の顔領域を抜き出す。
(4)顔領域に対してステレオ計測を行い、顔形状を計測する
(5)MRIデータとステレオ計測により得られた顔形状データとを、ICPアルゴリズムを用いて位置合わせを行なう。
ここで、本装置1が用いる3次元位置検出方法の一つの態様であるステレオ計測について説明する。
ステレオ計測とは、光学的な3次元形状計測手法の1種であり、左右に配置された2台のカメラで計測対象を撮影し、視差情報から三角測量法により3次元位置を推測する手法である。ステレオ計測は、(a)対応点の探索と(b)3次元位置の算出の2つの処理を行う必要がある。
三角測量法を用いて3次元位置を求める場合、左カメラ41で撮影された画像が右カメラ42で撮影された画像のどの部分に対応するかを調べ、対応点のズレ(視差)を求める必要がある。
図4に、ステレオ計測で用いる左右2つの画像の例を示す。本実施形態で用いるステレオカメラ40は平行ステレオ(右のカメラ42の光軸と左のカメラ41の光軸とが平行)であるために、横方向にのみ対応点のずれが発生する。したがって、対応点探索は横方向のみを考慮すればよく、左目画像からみた右目画像の対応点は、すべて左目画像より左側にあることになる。
以上の対応点探索によって求められた視差dを用いて、既知の三角測量法により3次元位置を算出する。
図5に、平行ステレオと計測対象との3次元位置の関係を例示する。平行ステレオでは、対応点が水平線上に存在するため、奥行きは視差の反比例として算出することができる。注視点の3次元位置は、次式(数6)によって計算できる。
ここで、Bはカメラ間の距離,fは各カメラの焦点距離である。B及びfの値は計測時に既知であるので、対応点探索によって求まる視差dを用いることで、注視点の3次元位置を算出することができる。
MRIデータとステレオ計測により得られたデータとの位置合わせには、顔表面の3次元データのみを用いる。MRIデータについては、必要な領域のみを事前に抽出しておく。一方、ステレオ計測データについては、カメラ40により得られた画像から顔領域を検出し、その領域の3次元データを用いる。本装置1では、顔抽出処理として、画像特微量であるHaar-like特微量と学習アルゴリズムであるAdaboostアルゴリズムを用いたオブジェクト検出を用いる。このオブジェクト検出処理は、Paul Viola等のオブジェクト検出の研究(Paul Viola and Michael Jones: "Object Detection using a Boosted Cascade of Simple", IEEE CVPR, 2001)を元に、Rainer Lienhart等が改良したもので(Rainer Lienhart and Jochen Maydt: "An Extended Set of Haar-lide Feature for Rapid Object Detection", IEEE ICIP 2002, vol. 1, pp.900-903 (2002))、高速にオブジェクトを検出することができる。
MRIデータとステレオ計測で得られたデータとの位置合わせの手法として、ICPアルゴリズムを用いる。ICPアルゴリズムとは、1992年にBesl等により提案された手法で(P. J. Best and N. D. McKay: “A Method for Registration of 3-D Shapes", IEEE Trans. Pattern Anal. Machine Intell, vol. 14, No. 2, pp. 239-256 (1992-2))、反復計算により対応点間の距離を最小化するような剛体変換パラメータを求める手法である。
剛体変換パラメータである回転行列R,平行移動ベクトルtは、次式(数10)に示す誤差関数E(R,t)を最小化することで求めることができる。尚、(数10)の式は、前述の(数1)及び(数3)の式と同一のものである。
(i)点群Aの各点aiにおける点群Bとの最近点miを求める。
(ii)誤差Eを最小にする剛体変換パラメータを求める。
(iii)点群Aを求められたパラメータ(R,t)を用いて変換する。
(iv)誤差Eが閾値以下であれば反復計算を終了する。それ以外の場合には、(i)に戻って、同様のステップを繰り返して実行する。
以上の説明では、対象被験者2の顔や磁気刺激コイルユニット30の3次元空間内の位置情報を得るための方法として、ステレオカメラ40の視差、つまり、複数の視点から撮影した画像の視差、を利用していたが(第1の態様)、かかる方法に限定されることなく、他の態様にて前記位置情報の取得を実現することができる。
例えば第2の態様として、プロジェクタやレーザ照射手段のような投光手段と、ビデオカメラのような一つの視点のみを有する(複数の視点から撮影した画像の視差を利用する方式ではない)撮像手段とを用い、投光手段から発した光が対象物で反射し、その反射光を撮像手段が捉えた状態で、各光軸の角度の情報から上記と同様の三角測量原理によって、対象物までの距離および角度を知り、この結果、対象物の光反射点の空間座標を得ることができる。
前述のように、MRIデータとステレオ計測により得られたデータは、ICPアルゴリズムを用いることで、同一座標系において初期状態が一致した状態にある。ここで、被験者2を拘束しない状態で磁気刺激を行うためには、リアルタイムに被験者頭部2hの初期姿勢からの変化を追跡し、今現在の姿勢への剛体変換パラメータを求める必要がある。
尚、前述のように、本実施形態では、被験者2の頭部2hの3次元外観画像として、指定し易い特徴点を数多く含む被験者2の顔を対象とした3次元顔画像を用いている。従って、この場合、「被験者頭部2hの姿勢」は被験者2の「顔姿勢」と表現することもできる。
そこで、本実施形態では、顔特徴として、両眼の目尻および目頭,口元(両端),鼻頭の7点を指定し、この顔特徴についてテンプレートマッチングを用いて追跡することで、剛体変換パラメータを算出するようにした。顔特徴領域は、顔画像中で特徴的でありトラッキングに適したパターンを持っていることを選択の基準とした。
(1)ステレオカメラを用いて初期姿勢での顔画像を取得する。
(2)各特徴領域(両眼の目尻および目頭,口元(両端),鼻頭)を指定し、各領域の画像(テンプレート)と3次元座標とを保存する。
(3)現在の姿勢での顔画像を、ステレオカメラを用いて取得する。
(4)テンプレートマッチングを用いて、左右の画像中の特徴点位置を調べ、その3次元座標を求める。
(5)最急降下法により、初期姿勢からの変化を求める(つまり、初期姿勢での測定値を現在の姿勢にフィッテイングさせる剛体変換を求める)。
ここに、前記(1)及び(2)の処理は、初期化処理であり、追跡開始時に一度だけ行えばよい。リアルタイムで行なう顔の追跡は、前記(3)~(5)の処理を繰り返すことで行う。
ここで、前記テンプレートマッチング法について説明する。
ある画像(テンプレート)が、他の画像中のどの部分に存在するかを対応づける処理をテンプレートマッチングという。これは、図8に示すように、テンプレートと呼ばれる画像を予め用意し、これを移動させながら対象画像と重ね合わせ、テンプレートと対象画像との相関を調べる方法である。
二つの画像の違いを測る尺度としては、相関係数Cを用いる。この相関関数Cは、対象画像をI(m,n),テンプレート画像をT(m,n)(画像サイズ:M×N)とすると、次式(数11)で表される。このとき、相関係数Cの値が大きいほど画像間の相関は大きく、画像中で最も相関係数の値が大きくなった領域を対応する領域とする。
顔姿勢の追跡を行うためには、初期姿勢からの姿勢変化を求める必要がある。本装置1では、前述のように、両眼の目尻および目頭,口元(両端),鼻頭の7点の特徴領域の3次元的な姿勢変化(回転R(α,β,γ)と平行移動t(x,y,z)を求める姿勢追跡を行う(図9参照)。
次に、各特徴領域の3次元位置の計測結果から、頭部の位置および姿勢を求める問題は、次式(数10)に示す誤差関数Eを最小とする剛体変換パラメータである回転行列Rと平行移動ベクトルtを求める問題に帰着する。尚、(数12)の式は、前述の(数2)及び(数4)の式と同一のものである。
磁気刺激治療を行うためには、治療用コイル33の3次元位置および姿勢を把握し、対象に対して正確に刺激できているかを常に観測する必要がある。磁気刺激治療にとって有効とされる精度は、一般に、頭蓋内部で直径1cm程度であり、そのスポットをターゲットとして治療用コイル33から磁束ビームを指向させる必要がある。治療用コイル33の追跡では、既知のマーカ(画像データ上から特徴点を抽出するために、被写体表面に配置した図形パターン)を用い、このマーカを追跡することでコイル33の3次元位置や姿勢を求める。
(1)ステレオカメラ44を用いて画像を取得する。
(2)左右の画像に対してマーカ認識を行い、マーカ32の四隅の画素を探索する。
(3)ステレオ視によりマーカ32の四隅の3次元位置を求める。
(4)マーカ平面の法線ベクトルを求め、磁束の方向(刺激方向)を求める。
治療用コイル33の追跡における最も重要な技術は、画像中のマーカ領域を正確に把握することである。マーカ認識では、使用するマーカ32を事前に登録しておく必要があり、探索画像中のマーカ候補領域を探索し、登録マーカとの相関を調べることでマーカ領域を確定する。
図10(a)~(f)は、マーカ認識の具体的な処理を示す一連の説明図である。図10(a)に示すマーカを用いた場合における、マーカ認識の具体的な処理は、以下に示す通りである。
:カメラから入力した画像(図10(b))を、閾値を用い、閾値より明るい領域を黒で、暗い領域を白で表示する(図10(c))。
(ii)暗い領域において、閉領域を探索しラベリングする。
:2値化した画像中の白の領域に対して、閉領域を探索する。さらに、各閉領域に番号(ラベル)を割り振ることで区別できるようにする(ラベリング処理)。図10(d)では、閉領域の区別の様子を色の違いで示している。
(iii)各閉領域で頂点数を調べ、4つの頂点を持つ領域を4角形と判断する。
:各閉領域の頂点数を調べ、頂点数が4の領域を4角形と判断して、マーカの候補領域とする(図10(e)参照)。このとき、閉領域の面積が非常に小さいか、又は非常に大きい領域は、除外する。
(iv)4角形内の画像を単純化する。
:4角形の領域に対してアフィン変換を用いることで、領域が正方形になるように修正する(図10(f)参照)。
(v)単純化された画像と登録パターンとの比較
:単純化された画像と登録マーカとの画素比較を行い、誤差を計算する。全ての4角形領域の中で最も誤差の小さな領域を、マーカ領域と判断する。
実際の医療現場で経頭蓋磁気刺激装置を運用するためには、頭部追跡およびコイル追跡の結果として、治療のための磁束が、現在、脳のどの部分を刺激しようとしているのかをユーザに伝えるためのユーザ・インターフェースが必要となる。
本実施形態では、施術者が治療用コイル33を用いて磁気刺激を行う際には、脳表の模様を参考に刺激部位を決定していることから、脳の3次元モデルを表示し、表示角度や大きさを自由に変更できるインタフェースを採用した。
また、治療用コイル33による刺激点の表示には、コイルの中心を貫く角柱を表示し、角柱と脳表との関係から現在の刺激部位を判断できるようにした(後述する図10参照)。この図10では、被験者2の脳表或いは頭部2hの3次元MRI画像に対して、治療用の磁束の位置と向きを、相対的な関係が把握できるように表示がなされていることがわかる。
本実施例は、次表1の機材および開発言語などを用いて実現した。
前述のように、初期位置合わせでは、ICPアルゴリズムを用いて、MRIデータとステレオ計測データとの初期位置を一致させる。そのためには、MRIで得られた断面画像からICPに用いる顔表面の3次元データを事前に取得しておく必要がある。また、ステレオ計測時にノイズが発生するとICPの結果に大きな影響を与えるため、このノイズを低減させる必要もある。更に、対応点探索は計算コストが非常に高く、また、処理に時間も掛かる。
そこで、本実施例では、CUDAというGPU(Graphics Processing Unit)向けの開発環境を用いて処理を並列化することで、対応点探索の高速化を実現した。
(1)MRIデータから取得した顔の3次元モデルを読み込む。
(2)プロジェクタから患者に対してランダムドットを投影し、640×480画素の画像サイズで左右のカメラから取り込む。
(3)左右の画像に対して顔認識を行い、画像中の顔領域を検出する。この処理は、Open CVの機能を用いて実現している。
(4)左右の画像に対して、3×3画素のSobelフィルタを用いてエッジ検出を行い、エッジの周囲7画素に対して、ブロックマッチングを行う。ブロ尽くマッチングは11×11画素のブロックを用いた。また、GPUを用いて処理を並列化しており、高速な対応点探索を可能にしている。エッジを検出し、その周囲のみ対応点探索することで、誤対応によるノイズの発生を低減させることができる。
(5)ブロックマッチングにより得られた視差情報から、三角測量法により3次元位置を求める。
(6)計測された顔形状とMRIデータから得た顔形状どうしを、ICPアルゴリズムを用いて位置合わせする。ICPアルゴリズムは、VTK(Visualization Tool Kit)の機能を用いて実装しており、実行することで回転行列Rと平行移動ベクトルtとが得られる。
被験者頭部2hのMRIの計測では、図11(a)のような断面画像の集合として頭部スキャンの結果が得られる。ICPアルゴリズムを用いて位置合わせを行うためには、この断面画像からマッチングに必要な領域(顔の表面)の3次元点群を取得することが必要である。
本実施例に使用したMRI画像は、例えば、256×256ピクセルの大きさで、130枚の断面画像で構成されている。断面のスライス間隔は例えば1.40mmであり、1ピクセルの大きさは例えば0.98×0.98mmである。画像中の顔の輪郭領域は、白く表示されていることに注目し、図11(b)の矢印線(11-1)のように、画像のx方向の最大値から走査し、例えば、最初に輝度値が30以上になる画素を顔の表面として取得した。取得した画素は、断面画像の番号N(0≦N<130)、取得した画素値目I(i,j)とすると、スライス間隔(例えば1.40mm),画素サイズ(例えば0.98×0.98mm)を用いて、次式(数13)のように3次元座標(X,Y,Z)Tに変換できる。
パッシブステレオ計測において最も困難な問題は対応点探索である。前述のように、ブロックマッチングによる対応点探索では、ブロック内の画素値の差が最も小さい領域どうしを対応させる。従って、表面の特徴が少ない領域の対応点探索では、画素値に差が生じ難く、誤対応が発生しやすくなる。
そこで、本実施例ではプロジェクタからランダムドットパターンを投影し、計測対象に擬似的に表面特徴を付加した。また、3×3画素のSobelフィルタを用いてエッジ(画像上での色変化の大きな領域)を検出し、エッジとその周囲の画素のみを対応点探索することで、誤対応によるノイズの発生を低減させた。
CUDAとは、NVIDIA社が開発したGPU向けの並列コンピューティングアーキテクチャである。GPUは、シンプルな演算ユニットを多数搭載しているため、並列性の高い演算処理では、CPUと比較して高い演算能力を発揮できる。CUDAを用いることで、C言語を用いてGPU向けのプログラミングを行うことができる。本実施例では、最も計算コストが高く時間も掛かる対応点探索処理を、並列計算させることで、処理の高速化およびコスト低減を図るようにした(図13参照)。
左画像を固定し、右画像を1画素ずつ移動させてSSDを求め、最もSSDが小さくなるときの移動量を各スレッドについて求めることで、画像全体の視差を求めることができる。本実施例では、64個のスレッドを用い、11×11画素のブロックサイズで対応点探索を行った。
初期位置合わせ処理が終了した後、顔姿勢の追跡が開始される。前述のように、顔姿勢追跡では顔の特徴領域(両眼の目尻および目頭,口元(両端),鼻頭の7点)を追跡し、初期状態からの3次元的な変化量を求める。本実施例に係るシステムでは、この特徴領域を手動で与える必要がある。また、前提条件として、追跡開始時の初期姿勢と初期位置合わせ時の姿勢が一致している必要がある。具体的には、以下の処理手順で顔姿勢の追跡を行った。
(2)右画像中の両眼の目尻および目頭,口元(両端),鼻頭の7点をマウスでクリックすることで、その領域を、例えば17×17画素のテンプレート画像として取得する。また、取得したテンプレート画像を用いて、左画像中の特徴領域をテンプレートマッチングによって検出し、ステレオ視により各特徴領域の3次元位置を保存する。
(3)毎フレーム得られる左右カメラの画像に対して、処理(2)で取得したテンプレート画像を用いて特徴領域を探索する。探索結果からステレオ視により特徴領域の3次元位置を求める。
(4)前記処理(2)で取得した初期姿勢の3次元位置と前記処理(3)で取得した現在の姿勢の3次元位置との剛体変換パラメータを、前述の[数2]で示される式の誤差関数Eを最小にすることで求める。この最適化計算には、最急降下法を用いている。
治療用コイルの位置および姿勢は、既知のマーカを用いて追跡を行った。本実施例では、このマーカを認識するのに、ARToolkitを用いた。このARToolkitとは、拡張現実感(AR:Augmented Reality)を実現するためのC言語ライブラリである(加藤博一,Mark Billinghurst,浅野浩一,橘啓八郎:「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」;日本バーチャルリアリティ学会論文誌,vol. 4, No. 4 (1999))。本実施例では、このライブラリのマーカ認識機能を利用している。
<脳の三次元表示>
前述のように、施術者は被験者2の脳表の模様を参考に磁気刺激部位を決定する。従って、MRIにより得られた断面データから脳の3次元モデルを作成する必要がある。そこで、次の手順にて実施を行なった。
(1)ソフトウェアMRIcroを用いて、被験者頭部2hの横断面画像を取得する(図15(a)参照)。
(2)取得した被験者頭部2hの横断面画像から、手動で脳領域の画像を切り取る(図15(b)参照)。
(3)切り取った脳領域の画像から、前述の3次元再構成手法を用いて、脳画像を3次元再構成する。これにより、図15(c)に示すような脳の3次元点群を取得することができる。
そこで、脳表に沿ったメッシュモデルを作成し、ポリゴンによって表面のみを表示し、そこに、脳表模様をテクスチャとしてマッピングするようにした。次に、脳のメッシュモデルとテクスチャ画像の作成方法について説明する。
テクスチャ画像の作成には、脳の3次元点群の色情報を用いる。脳の中心を原点とする極座標を設定し、図16(a)に示すように、点群データの各点の極座標を求める。3次元座標で(x,y,z)で表される点について、極座標要素の角度(θ,φ)と距離rは、次式(数14)で求まる。
メッシュモデルは、断面画像を基にして作成する。断面画像の脳の境界線座標を取得し、その極座標と3次元座標を取得する。テクスチャ画像の作成時と同様の配列を用意し、取得した点を極座標を基に配列に格納する。これにより、図18(a)に示すように、取得した点を2次元状にマッピングすることができる。この点から、ドロネー三角形分割法(山本裕之,内山晋二,田村秀行:「三次元形状モデリングのためのドロネー網生成法」,電気情報通信学会論文誌D-11,Vol. J83-D-11, No. 5, pp. 745-753 (1995-5))を用いて、面情報を取得する(図18(b)参照)。
こうして取得した面情報と3次元座標を用いて、脳表の3次元モデルとすることができる。脳表を3次元表示し、図17に示すようなテクスチャ画像を用いてテクスチャマッピングしたものを図18(c)に示す。
以上、説明した実施例について、前述の「初期位置合わせ」,「被験者頭部の姿勢(顔姿勢)の追跡」,「治療用コイルの追跡」の各工程での精度評価を行った。
精度評価に用いた機材等は前述の表1に示したものと同様である。また、ステレオカメラから計測対象までの距離は、70cmから100cmとした。
図19(a)に示すようなMRIデータとステレオ計測データとを用意し、前述のIPCアルゴリズムの精度評価を行った。IPCアルゴリズムにより取得した剛体変換パラメータを用いて2つのデータをマッチングさせたものを図19(b)に示す。鼻筋や目の位置を参照すれば、2つのデータが略一致していることが分かる。
顔姿勢追跡の精度評価には、人形の顔模型を用い、この顔模型を回転板(回転軸:z軸)に載せて、z軸廻りに±12.5度ずつ、2.5度刻みで回転させたときに得られる、回転行列,平行移動ベクトル,各特徴点の誤差平均をそれぞれ取得した。その結果を図21に示す。図21(a)は各軸廻りの回転量を、図21(b)は各軸方向の平行移動量を、図21(c)は各特徴点の誤差平均を、それぞれ示している。
各軸廻りの平均回転誤差は、x軸廻りが0.7度,y軸廻りが0.5度,z軸廻りが1.1度であった。また、各軸方向への平均移動誤差は、x軸方向に4mm,y軸方向に3mm,z軸方向に0mmであり、各特徴点と実測値との平均誤差は6mmであった。
コイル位置の追跡の精度評価として、マーカ中心の観測値と3次元空間中の実際の位置との誤差平均を算出した。平均誤差として、x軸方向に4mm,y軸方向に4mm,z軸方向に0mmであり、精度良くマーカの3次元位置を検出できていることが確認できた。
様々な位置検出方法は、それぞれ検出誤差を有している。例えば、図1のステレオカメラ40を用いた方式で説明すれば、よく知られた三角測量の原理でカメラから被写体までの距離を測定するので、カメラから被写体の距離が遠ざかるにつれて理論上の誤差は拡大する。
ステレオカメラ70の測定座標原点から見た磁気刺激コイル60の位置及び姿勢は設計上で決定されるか、あるいは使用開始時に一度測定をすれば、その後の測定は不要である。従って、治療に際して測定すべき対象は、被験者2の頭部2hただ一つとなり、理論誤差の積み重ねが確実に回避できる。
この経頭蓋磁気刺激装置1bは、操作に応じて位置および姿勢を変更可能に構成された磁気刺激コイル60と、磁気刺激コイル60に対して相対的な位置及び姿勢が固定されたステレオカメラ等の撮像手段70とを備えると共に、磁気刺激コイル60をスイートスポットまで移動操作する教示のための画面表示を行う制御部80を備えている。
この制御部80は、磁気刺激を行うべき特定部位の位置がマークされた被験者の頭部MRI3次元画像を記録保持しており、頭部MRI3次元画像と、撮像手段70が撮影した頭部外観画像とを、対応する部位が重なるよう重ね合わせを行い、グリップ61を持って患者が移動操作するよう構成された磁気刺激コイル60に対する相対的な距離及び姿勢が変わり得る、現在の当該被験者の頭部を撮像手段70が撮影した現在の頭部外観画像と、重ね合わせに用いられた頭部外観画像との間の距離及び姿勢の差を算出し、この算出の結果を用いて、磁気刺激コイル60と、現在のスイートスポットとの相対的な距離及び姿勢の差を測定する。そして、その測定の結果を用いて、磁気刺激コイル60をスイートスポットまで移動操作する教示のための画面表示を行うように構成されている。
2 被験者
2h 被験者の頭部
10 画像モニタ部
20 装置本体ユニット
21 画像表示制御部
22 磁気刺激コイル制御部
23 3次元情報生成部
30,60 磁気刺激コイルユニット
32 マーカ部
33,63 治療用コイル
40,70 ステレオカメラ
41 左カメラ
42 右カメラ
80 制御部
Claims (18)
- 予め撮影された被験者頭部の3次元MRI画像を保存する保存手段と、
前記被験者頭部の3次元外観画像を生成する3次元外観画像生成手段と、
前記3次元MRI画像と前記3次元外観画像とを位置合わせし、その位置合わせされた被験者頭部3次元画像を生成する画像生成手段と、
被験者頭部が移動した際に、前記位置合わせされた移動後の被験者頭部3次元画像を生成する移動後画像生成手段と、
前記被験者頭部の3次元MRI画像上での特定部位との位置関係を維持すべく移動操作される操作対象物の現在位置を示す操作対象物画像を生成する操作対象物画像生成手段と、
移動後の前記被験者頭部3次元画像と前記操作対象物画像とを同一画像内に表示する表示手段と、
を備えることを特徴とする画像データ処理装置。 - 被験者頭部の3次元MRI画像である第一の画像と、当該被験者頭部の3次元外観画像である第二の画像との位置合わせを行なうための画像データ処理装置であって、
前記第一の画像に含まれるN個の点aiそれぞれについて、前記第二の画像に含まれる複数の点bjの中から、予め決められた条件を満足する各点miを選択する選択手段と、
前記選択手段により選択された各点miにおいて、前記第一の画像に含まれる各点から、対応する前記第二の画像に含まれる各点へ剛体変換するためのパラメータとして、回転行列Rおよび平行移動ベクトルtを用いた所定の算出手順から成る誤差関数E(R,t)の値が最小となるように、前記回転行列Rおよび前記平行移動ベクトルtを決定するパラメータ決定手段と、
前記誤差関数E(R,t)の値が予め決められた閾値以下となるまで、前記各点aiを前記回転行列Rおよび前記平均移動ベクトルtで剛体変換し、変換後の各点aiについて、前記選択手段による前記各点miの選択と前記パラメータ決定手段による前記回転行列Rおよび前記平行移動ベクトルtの決定とを行わせるデータ処理手段と、
を備えることを特徴とする画像データ処理装置。 - 前記選択手段は、前記N個の点aiそれぞれについて、前記複数の点bjの中からユークリッド距離が最小である各点miを選択する、ことを特徴とする請求項2に記載の画像データ処理装置。
- 被験者の頭部の位置と向きを追跡するための画像データ処理装置であって、
前記被験者頭部の3元外観画像を生成する画像生成手段と、
前記3次元外観画像から、少なくとも一つの特徴領域を抽出して、3次元のテンプレート画像として保存する抽出保存手段と、
被験者頭部が移動した際に、移動後の被験者頭部の3次元外観画像を生成する移動後画像生成手段と、
前記移動後の被験者頭部の3次元画像上にて、前記テンプレート画像を移動させ、両画像データの相互の相関が最大となる位置を、移動後の前記特徴領域の位置として決定する特徴領域決定手段と、
移動前の前記特徴領域に含まれる各点を、前記移動後の特徴領域に含まれる各点へ剛体変換するためのパラメータとして、回転行列Rおよび平行移動ベクトルtを用いた所定の算出手順から成る誤差関数E(R,t)の値が最小となるように、前記回転行列Rおよび前記平行移動ベクトルtを決定するパラメータ決定手段と、
を備えることを特徴とする画像データ処理装置。 - 前記被験者頭部の3次元外観画像は、複数の視点から撮影した画像の視差を利用して生成される、ことを特徴とする請求項1から6の何れか一に記載の画像データ処理装置。
- 前記被験者頭部の3次元外観画像は、1つの視点から光または超音波の到達時間を利用して生成される、ことを特徴とする請求項1から6の何れか一に記載の画像データ処理装置。
- 前記操作対象物に対する、前記3次元外観画像生成手段の被験者頭部を撮影する撮像手段の相対的な位置及び姿勢が固定されている、ことを特徴とする請求項1から8の何れか一に記載の画像データ処理装置。
- 被験者頭部内の特定部位に対し、頭部外にある磁場発生手段を用いて磁気刺激を加えるための経頭蓋磁気刺激装置であって、
操作に応じて位置および姿勢を変更可能に構成された前記磁場発生手段と、
予め撮影された被験者頭部の3次元MRI画像を保存する保存手段と、
前記被験者頭部の3次元外観画像を生成する3次元外観画像生成手段と、
前記3次元MRI画像と前記3次元外観画像とを位置合わせし、その位置合わせされた被験者頭部3次元画像を生成する画像生成手段と、
被験者頭部が移動した際に、前記位置合わせされた移動後の被験者頭部3次元画像を生成する移動後画像生成手段と、
前記被験者頭部の3次元MRI画像上での特定部位との位置関係を維持すべく操作される前記磁場発生手段の現在位置を示す磁場発生手段画像を生成する磁場発生手段画像生成手段と、
移動後の前記被験者頭部3次元画像と前記磁場発生手段画像とを同一画像内に表示する表示手段と、
を備えることを特徴とする経頭蓋磁気刺激装置。 - 被験者頭部内の特定部位に対し、頭部外にある磁場発生手段を用いて磁気刺激を加えるための経頭蓋磁気刺激装置であって、
被験者頭部の3次元MRI画像である第一の画像と、当該被験者頭部の3次元外観画像である第二の画像との位置合わせを行なうための画像データ処理装置を有し、該画像データ処理装置は、
前記第一の画像に含まれるN個の点aiそれぞれについて、前記第二の画像に含まれる複数の点bjの中から、予め決められた条件を満足する各点miを選択する選択手段と、
前記選択手段により選択された各点miにおいて、前記第一の画像に含まれる各点から、対応する前記第二の画像に含まれる各点へ剛体変換するためのパラメータとして、回転行列Rおよび平行移動ベクトルtを用いた所定の算出手順から成る誤差関数E(R,t)の値が最小となるように、前記回転行列Rおよび前記平行移動ベクトルtを決定するパラメータ決定手段と、
前記誤差関数E(R,t)の値が予め決められた閾値以下となるまで、前記各点aiを前記回転行列Rおよび前記平均移動ベクトルtで剛体変換し、変換後の各点aiについて、前記選択手段による前記各点miの選択と前記パラメータ決定手段による前記回転行列Rおよび前記平行移動ベクトルtの決定とを行わせるデータ処理手段と、
を備えることを特徴とする経頭蓋磁気刺激装置。 - 前記選択手段は、前記N個の点aiそれぞれについて、前記複数の点bjの中からユークリッド距離が最小である各点miを選択する、ことを特徴とする請求項11に記載の経頭蓋磁気刺激装置。
- 被験者頭部内の特定部位に対し、頭部外にある磁場発生手段を用いて磁気刺激を加えるための経頭蓋磁気刺激装置であって、
被験者の頭部の位置と向きを追跡するための画像データ処理装置を有し、該画像データ処理装置は、
前記被験者頭部の3元外観画像を生成する画像生成手段と、
前記3次元外観画像から、少なくとも一つの特徴領域を抽出して、3次元のテンプレート画像として保存する抽出保存手段と、
被験者頭部が移動した際に、移動後の被験者頭部の3次元外観画像を生成する移動後画像生成手段と、
前記移動後の被験者頭部の3次元画像上にて、前記テンプレート画像を移動させ、両画像データの相互の相関が最大となる位置を、移動後の前記特徴領域の位置として決定する特徴領域決定手段と、
移動前の前記特徴領域に含まれる各点を、前記移動後の特徴領域に含まれる各点へ剛体変換するためのパラメータとして、回転行列Rおよび平行移動ベクトルtを用いた所定の算出手順から成る誤差関数E(R,t)の値が最小となるように、前記回転行列Rおよび前記平行移動ベクトルtを決定するパラメータ決定手段と、
を備えている、ことを特徴とする経頭蓋磁気刺激装置。 - 前記被験者頭部の3次元外観画像は、複数の視点から撮影した画像の視差を利用して3次元画像を生成するよう構成されている、ことを特徴とする請求項10から15の何れか一に記載の経頭蓋磁気刺激装置。
- 前記被験者頭部の3次元外観画像は、1つの視点から光または超音波の到達時間を利用して生成される、ことを特徴とする請求項10から15の何れか一に記載の経頭蓋磁気刺激装置。
- 前記磁場発生手段に対する、前記3次元外観画像生成手段の被験者頭部を撮影する撮像手段の相対的な位置及び姿勢が固定されている、ことを特徴とする請求項10~17の何れか一に記載の経頭蓋磁気刺激装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013503607A JP6161004B2 (ja) | 2011-03-09 | 2012-03-08 | 画像データ処理装置および経頭蓋磁気刺激装置 |
EP15159364.7A EP2919194B1 (en) | 2011-03-09 | 2012-03-08 | Image data processing device and transcranial magnetic stimulation apparatus |
EP12754418.7A EP2684518A4 (en) | 2011-03-09 | 2012-03-08 | IMAGE DATA PROCESSING DEVICE AND DEVICE FOR TRANSCRANIAL MAGNETIC STIMULATION |
US14/004,060 US9993655B2 (en) | 2011-03-09 | 2012-03-08 | Image data processing device and transcranial magnetic stimulation apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011051871 | 2011-03-09 | ||
JP2011-051871 | 2011-03-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012121341A1 true WO2012121341A1 (ja) | 2012-09-13 |
Family
ID=46798296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/055995 WO2012121341A1 (ja) | 2011-03-09 | 2012-03-08 | 画像データ処理装置および経頭蓋磁気刺激装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9993655B2 (ja) |
EP (2) | EP2684518A4 (ja) |
JP (1) | JP6161004B2 (ja) |
ES (1) | ES2818078T3 (ja) |
WO (1) | WO2012121341A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015098155A1 (ja) * | 2013-12-24 | 2015-07-02 | 国立大学法人大阪大学 | 操作教示装置および経頭蓋磁気刺激装置 |
WO2015122369A1 (ja) * | 2014-02-14 | 2015-08-20 | 国立大学法人東京大学 | 脳内電流シミュレーション方法とその装置,及び脳内電流シミュレーション装置を含む経頭蓋磁気刺激システム |
JP2017029629A (ja) * | 2015-08-06 | 2017-02-09 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置 |
JP2017164075A (ja) * | 2016-03-15 | 2017-09-21 | 富士フイルム株式会社 | 画像位置合せ装置、方法およびプログラム |
JP2018047035A (ja) * | 2016-09-21 | 2018-03-29 | 学校法人自治医科大学 | 医療支援方法および医療支援装置 |
JP2018061837A (ja) * | 2016-10-11 | 2018-04-19 | バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. | 撮像装置を備える磁気追跡システムの重ね合わせ法 |
JP2019533218A (ja) * | 2016-08-10 | 2019-11-14 | コー・ヤング・テクノロジー・インコーポレーテッド | 3次元データ整合装置及び方法 |
CN113243923A (zh) * | 2021-05-19 | 2021-08-13 | 中科芯未来微电子科技成都有限公司 | 一种提高心电图监测的准确性的方法和装置 |
JP2021180866A (ja) * | 2017-08-25 | 2021-11-25 | ニューロフェット インコーポレイテッドNeurophet Inc. | パッチガイド方法及びプログラム |
CN114190922A (zh) * | 2020-09-18 | 2022-03-18 | 四川大学 | Tms头动检测方法 |
JP7486603B2 (ja) | 2020-04-22 | 2024-05-17 | ブレイン ナビ バイオテクノロジー カンパニー リミテッド | 拡張現実画像上に医用スキャン画像情報を補う方法及びシステム |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101470411B1 (ko) * | 2012-10-12 | 2014-12-08 | 주식회사 인피니트헬스케어 | 가상 환자 모델을 이용한 의료 영상 디스플레이 방법 및 그 장치 |
US20160228011A1 (en) * | 2013-09-26 | 2016-08-11 | Sharp Kabushiki Kaisha | Bio-information acquiring device and bio-information acquiring method |
US9477878B2 (en) * | 2014-01-28 | 2016-10-25 | Disney Enterprises, Inc. | Rigid stabilization of facial expressions |
EP3104241B1 (en) * | 2015-06-12 | 2020-09-16 | Accenture Global Services Limited | An augmented reality method and system for measuring and/or manufacturing |
US10248883B2 (en) * | 2015-08-20 | 2019-04-02 | Align Technology, Inc. | Photograph-based assessment of dental treatments and procedures |
US11311193B2 (en) * | 2017-03-30 | 2022-04-26 | The Trustees Of Columbia University In The City Of New York | System, method and computer-accessible medium for predicting response to electroconvulsive therapy based on brain functional connectivity patterns |
US11399778B2 (en) * | 2017-04-07 | 2022-08-02 | National Institute Of Advanced Industrial Science And Technology | Measuring instrument attachment assist device and measuring instrument attachment assist method |
KR102060483B1 (ko) | 2017-09-11 | 2019-12-30 | 뉴로핏 주식회사 | Tms 자극 내비게이션 방법 및 프로그램 |
US11058887B2 (en) | 2017-12-21 | 2021-07-13 | NeuraLace Medical, Inc. | Devices, systems, and methods for non-invasive chronic pain therapy |
US11291852B2 (en) | 2018-02-06 | 2022-04-05 | The Board Of Trustees Of The Leland Stanford Junior University | Accurate patient-specific targeting of cranial therapy using a brain atlas |
CN109260593B (zh) * | 2018-09-27 | 2020-09-08 | 武汉资联虹康科技股份有限公司 | 一种经颅磁刺激治疗方法及设备 |
CN110896609B (zh) * | 2018-09-27 | 2023-09-26 | 武汉资联虹康科技股份有限公司 | 一种用于经颅磁刺激治疗的tms定位导航方法 |
WO2020172781A1 (zh) * | 2019-02-26 | 2020-09-03 | 武汉资联虹康科技股份有限公司 | 一种基于摄像头的经颅磁刺激诊疗导航系统 |
CN110300993B (zh) * | 2019-02-26 | 2023-10-27 | 武汉资联虹康科技股份有限公司 | 一种用于经颅磁刺激诊疗的摄像系统 |
WO2020172782A1 (zh) * | 2019-02-26 | 2020-09-03 | 武汉资联虹康科技股份有限公司 | 一种基于摄像头的经颅磁刺激诊疗检测系统 |
CN111436905B (zh) * | 2020-04-03 | 2024-03-19 | 图湃(北京)医疗科技有限公司 | 一种光学相干层析血管造影方法及装置 |
US11779218B2 (en) * | 2020-05-18 | 2023-10-10 | The Trustees Of Columbia University In The City Of New York | System, method and computer-accessible medium for predicting response to electroconvulsice therapy based on brain functional connectivity patterns |
CN111657947B (zh) * | 2020-05-21 | 2022-07-05 | 四川大学华西医院 | 一种神经调控靶区的定位方法 |
CN111553979B (zh) * | 2020-05-26 | 2023-12-26 | 广州雪利昂生物科技有限公司 | 基于医学影像三维重建的手术辅助系统及方法 |
CN112704486B (zh) | 2021-01-14 | 2021-10-26 | 中国科学院自动化研究所 | 基于电磁仿真计算的tms线圈位姿图谱生成方法 |
CN114176776A (zh) * | 2021-12-15 | 2022-03-15 | 中国医学科学院生物医学工程研究所 | 一种用于同步双线圈磁刺激的神经导航定位系统 |
CN114224486A (zh) * | 2021-12-15 | 2022-03-25 | 中国医学科学院生物医学工程研究所 | 一种用于声场和磁场正交定位的神经导航定位系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09511430A (ja) * | 1994-09-01 | 1997-11-18 | マサチューセッツ インスティチュート オブ テクノロジー | 三次元データ組の登録システムおよび登録方法 |
JP2003180649A (ja) | 2001-10-17 | 2003-07-02 | Nexstim Oy | 磁気刺激量の計算方法及び装置 |
JP2004000636A (ja) | 2002-05-31 | 2004-01-08 | Nexstim Oy | 脳の磁気刺激のターゲティング方法及び装置 |
JP2007209531A (ja) * | 2006-02-09 | 2007-08-23 | Hamamatsu Univ School Of Medicine | 手術支援装置、方法及びプログラム |
WO2007123147A1 (ja) | 2006-04-18 | 2007-11-01 | Osaka University | 経頭蓋磁気刺激用頭部固定具及び経頭蓋磁気刺激装置 |
JP2008526422A (ja) * | 2005-01-13 | 2008-07-24 | メイザー サージカル テクノロジーズ リミテッド | 鍵穴脳神経外科用画像ガイドロボットシステム |
JP2008262555A (ja) * | 2007-03-20 | 2008-10-30 | National Univ Corp Shizuoka Univ | 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム |
JP2009515147A (ja) | 2005-10-19 | 2009-04-09 | メサ・イメージング・アー・ゲー | 変調電磁波場を復調する装置およびその方法 |
JP2009529951A (ja) * | 2006-03-13 | 2009-08-27 | ブラッコ イメージング エス.ピー.エー. | 手術ナビゲーションプロセスを記録し精査するための方法および装置 |
WO2010143400A1 (ja) * | 2009-06-10 | 2010-12-16 | 三菱電機株式会社 | 画像照合装置及びこれを用いた患者位置決め装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3512992B2 (ja) * | 1997-01-07 | 2004-03-31 | 株式会社東芝 | 画像処理装置および画像処理方法 |
CA2443819C (en) * | 2001-05-04 | 2011-07-19 | Board Of Regents, The University Of Texas System | Apparatus and methods for delivery of transcranial magnetic stimulation |
US7711431B2 (en) * | 2003-08-04 | 2010-05-04 | Brainlab Ag | Method and device for stimulating the brain |
JP4868382B2 (ja) * | 2005-05-17 | 2012-02-01 | 公立大学法人広島市立大学 | 磁気刺激における刺激部位の特定あるいはターゲッティングを行うための装置 |
US7925066B2 (en) * | 2006-09-13 | 2011-04-12 | Nexstim Oy | Method and apparatus for correcting an error in the co-registration of coordinate systems used to represent objects displayed during navigated brain stimulation |
WO2008130906A1 (en) * | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
US8010177B2 (en) | 2007-04-24 | 2011-08-30 | Medtronic, Inc. | Intraoperative image registration |
ES2869957T3 (es) * | 2011-06-03 | 2021-10-26 | Nexstim Oyj | Procedimiento para combinar patrones de conectividad anatómica y estimulación cerebral navegada |
JP6190809B2 (ja) * | 2011-09-27 | 2017-08-30 | ザ マックリーン ホスピタル コーポレイション | 球状表面の構成部分の2つの層を有する磁気コイル |
-
2012
- 2012-03-08 JP JP2013503607A patent/JP6161004B2/ja not_active Expired - Fee Related
- 2012-03-08 WO PCT/JP2012/055995 patent/WO2012121341A1/ja active Application Filing
- 2012-03-08 US US14/004,060 patent/US9993655B2/en not_active Expired - Fee Related
- 2012-03-08 EP EP12754418.7A patent/EP2684518A4/en not_active Withdrawn
- 2012-03-08 ES ES15159364T patent/ES2818078T3/es active Active
- 2012-03-08 EP EP15159364.7A patent/EP2919194B1/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09511430A (ja) * | 1994-09-01 | 1997-11-18 | マサチューセッツ インスティチュート オブ テクノロジー | 三次元データ組の登録システムおよび登録方法 |
JP2003180649A (ja) | 2001-10-17 | 2003-07-02 | Nexstim Oy | 磁気刺激量の計算方法及び装置 |
JP2004000636A (ja) | 2002-05-31 | 2004-01-08 | Nexstim Oy | 脳の磁気刺激のターゲティング方法及び装置 |
JP2008526422A (ja) * | 2005-01-13 | 2008-07-24 | メイザー サージカル テクノロジーズ リミテッド | 鍵穴脳神経外科用画像ガイドロボットシステム |
JP2009515147A (ja) | 2005-10-19 | 2009-04-09 | メサ・イメージング・アー・ゲー | 変調電磁波場を復調する装置およびその方法 |
JP2007209531A (ja) * | 2006-02-09 | 2007-08-23 | Hamamatsu Univ School Of Medicine | 手術支援装置、方法及びプログラム |
JP2009529951A (ja) * | 2006-03-13 | 2009-08-27 | ブラッコ イメージング エス.ピー.エー. | 手術ナビゲーションプロセスを記録し精査するための方法および装置 |
WO2007123147A1 (ja) | 2006-04-18 | 2007-11-01 | Osaka University | 経頭蓋磁気刺激用頭部固定具及び経頭蓋磁気刺激装置 |
JP2008262555A (ja) * | 2007-03-20 | 2008-10-30 | National Univ Corp Shizuoka Univ | 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム |
WO2010143400A1 (ja) * | 2009-06-10 | 2010-12-16 | 三菱電機株式会社 | 画像照合装置及びこれを用いた患者位置決め装置 |
Non-Patent Citations (8)
Title |
---|
HIROKAZU KATO; MARK BILLINGHURST; KOICHI ASANO; KEIHACHIRO TACHIBANA: "An Augmented Reality System and its Calibration based on Marker Tracking", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 4, no. 4, 1999 |
HIROYUKI YAMAMOTO; SHINJI UCHIYAMA; HIDEYUKI TAMURA: "Method for Generating The Delaunay Mesh for Three-Dimensional Modeling", IEICE TRANSACTIONS D-11, vol. J83-D-11, no. 5, May 1995 (1995-05-01), pages 745 - 753 |
MASAYUKI HIRATA ET AL.: "Preoperative and intraoperative evaluation of visual function using magnetoencephalography, electrocorticogram, fiber tracking and transcranial magnetic stimulation", RINSHO NOHA, vol. 51, no. 12, 1 December 2009 (2009-12-01), pages 721 - 728, XP008171556 * |
P. J. BESL; N. D. MCKAY: "A Method for Registration of 3-D Shapes", IEEE TRANS. PATTERN ANAL. MACHINE INTELL, vol. 14, no. 2, February 1992 (1992-02-01), pages 239 - 256 |
PAUL J.BESL ET AL.: "A Method for Registration of 3-D Shapes", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 14, no. 2, February 1992 (1992-02-01), pages 239 - 256, XP000248481 * |
PAUL VIOLA; MICHAEL JONES: "Object Detection using a Boosted Cascade of Simple", IEEE CVPR, 2001 |
RAINER LIENHART; JOCHEN MAYDT: "An Extended Set of Haar-like Feature for Rapid Object Detection", IEEE ICIP 2002, vol. 1, 2002, pages 900 - 903 |
See also references of EP2684518A4 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015098155A1 (ja) * | 2013-12-24 | 2017-03-23 | 国立大学法人大阪大学 | 操作教示装置および経頭蓋磁気刺激装置 |
US10675479B2 (en) | 2013-12-24 | 2020-06-09 | Osaka University | Operation teaching device and transcranial magnetic stimulation device |
WO2015098155A1 (ja) * | 2013-12-24 | 2015-07-02 | 国立大学法人大阪大学 | 操作教示装置および経頭蓋磁気刺激装置 |
US10292645B2 (en) | 2014-02-14 | 2019-05-21 | The University Of Tokyo | Intracerebral current simulation method and device thereof, and transcranial magnetic stimulation system including intracerebral current simulation device |
WO2015122369A1 (ja) * | 2014-02-14 | 2015-08-20 | 国立大学法人東京大学 | 脳内電流シミュレーション方法とその装置,及び脳内電流シミュレーション装置を含む経頭蓋磁気刺激システム |
JP2017029629A (ja) * | 2015-08-06 | 2017-02-09 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置 |
JP2017164075A (ja) * | 2016-03-15 | 2017-09-21 | 富士フイルム株式会社 | 画像位置合せ装置、方法およびプログラム |
JP2019533218A (ja) * | 2016-08-10 | 2019-11-14 | コー・ヤング・テクノロジー・インコーポレーテッド | 3次元データ整合装置及び方法 |
US11481867B2 (en) | 2016-08-10 | 2022-10-25 | Koh Young Technology Inc. | Device and method for registering three-dimensional data |
JP2018047035A (ja) * | 2016-09-21 | 2018-03-29 | 学校法人自治医科大学 | 医療支援方法および医療支援装置 |
JP2018061837A (ja) * | 2016-10-11 | 2018-04-19 | バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. | 撮像装置を備える磁気追跡システムの重ね合わせ法 |
JP7046553B2 (ja) | 2016-10-11 | 2022-04-04 | バイオセンス・ウエブスター・(イスラエル)・リミテッド | 撮像装置を備える磁気追跡システムの重ね合わせ法 |
JP2021180866A (ja) * | 2017-08-25 | 2021-11-25 | ニューロフェット インコーポレイテッドNeurophet Inc. | パッチガイド方法及びプログラム |
JP7271000B2 (ja) | 2017-08-25 | 2023-05-11 | ニューロフェット インコーポレイテッド | パッチガイド方法及びプログラム |
JP7486603B2 (ja) | 2020-04-22 | 2024-05-17 | ブレイン ナビ バイオテクノロジー カンパニー リミテッド | 拡張現実画像上に医用スキャン画像情報を補う方法及びシステム |
CN114190922A (zh) * | 2020-09-18 | 2022-03-18 | 四川大学 | Tms头动检测方法 |
CN114190922B (zh) * | 2020-09-18 | 2023-04-21 | 四川大学 | Tms头动检测方法 |
CN113243923A (zh) * | 2021-05-19 | 2021-08-13 | 中科芯未来微电子科技成都有限公司 | 一种提高心电图监测的准确性的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2919194A1 (en) | 2015-09-16 |
JP6161004B2 (ja) | 2017-07-12 |
JPWO2012121341A1 (ja) | 2014-07-17 |
EP2919194B1 (en) | 2020-08-19 |
EP2684518A1 (en) | 2014-01-15 |
US20130345491A1 (en) | 2013-12-26 |
ES2818078T3 (es) | 2021-04-09 |
US9993655B2 (en) | 2018-06-12 |
EP2684518A4 (en) | 2014-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6161004B2 (ja) | 画像データ処理装置および経頭蓋磁気刺激装置 | |
EP3309749B1 (en) | Registration of a magnetic tracking system with an imaging device | |
US11744465B2 (en) | Method and program for generating three-dimensional brain map | |
US11745012B2 (en) | Method and program for navigating TMS stimulation | |
US11576645B2 (en) | Systems and methods for scanning a patient in an imaging system | |
CN103371870B (zh) | 一种基于多模影像的外科手术导航系统 | |
ES2550455T3 (es) | Método y aparato para corregir un error en el registro conjunto de sistemas de coordenadas usados para representar objetos visualizados durante la estimulación guiada del cerebro | |
EP2965285B1 (en) | Scan region determining apparatus | |
Boctor et al. | A novel closed form solution for ultrasound calibration | |
US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
Ettinger et al. | Experimentation with a transcranial magnetic stimulation system for functional brain mapping | |
RU2594811C2 (ru) | Визуализация для навигационного указания | |
JP6644795B2 (ja) | 解剖学的オブジェクトをセグメント化する超音波画像装置及び方法 | |
JP6550660B2 (ja) | 操作教示装置および経頭蓋磁気刺激装置 | |
EP3292835B1 (en) | Ent image registration | |
US20230074362A1 (en) | Method and system for non-contact patient registration in image-guided surgery | |
EP4091567A1 (en) | Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system | |
CN116580820B (zh) | 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统 | |
JP6795744B2 (ja) | 医療支援方法および医療支援装置 | |
Ettinger | Hierarchical three-dimensional medical image registration | |
US20220309690A1 (en) | Method and system for non-contact patient registration in image-guided surgery | |
Abdalbari | A framework of Image Processing for Image-guided Procedures | |
Chemaly | Multimodality image registration for visualization in robotic assisted breast biopsy | |
CN116982079A (zh) | 用于图像引导手术中的非接触式患者配准的方法和系统 | |
WO2024069498A1 (en) | Three-dimensional model generation for tumor treating fields transducer layout |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12754418 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013503607 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14004060 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012754418 Country of ref document: EP |