JP5485853B2

JP5485853B2 - MEDICAL IMAGE DISPLAY DEVICE AND MEDICAL IMAGE GUIDANCE METHOD

Info

Publication number: JP5485853B2
Application number: JP2010231432A
Authority: JP
Inventors: 信隆阿部
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 2010-10-14
Filing date: 2010-10-14
Publication date: 2014-05-07
Anticipated expiration: 2030-10-14
Also published as: JP2012081167A

Description

本発明は、Ｘ線ＣＴ装置、ＭＲＩ装置、超音波撮像装置などの医用画像撮像装置で得られる医用画像を用いた医用画像誘導（ナビゲーション）機能を有する医用画像表示装置及び医用画像誘導方法に係り、具体的には被検体である実空間の患者位置と画像位置との位置合わせ（レジストレーション）を行なう技術に関する。 The present invention relates to a medical image display apparatus having a medical image guidance (navigation) function using a medical image obtained by a medical image imaging apparatus such as an X-ray CT apparatus, an MRI apparatus, and an ultrasonic imaging apparatus, and a medical image guidance method. Specifically, the present invention relates to a technique for performing registration (registration) between a patient position and an image position in a real space as a subject.

医用画像誘導機能を有する医用画像表示装置は、術者が操作する術具や超音波プローブの実空間における位置情報を検出して、医用画像撮像装置で得られる医用画像上に術具等の仮想画像を描画することにより、術者の操作を誘導するものである。このような医用画像表示装置では、撮像される実空間の患者位置の変化に合わせ、患者位置と撮像された医用画像との位置合わせするため、従来、医用撮像マーカーを用いた手法が種々提案されている（例えば、特許文献１）。 A medical image display apparatus having a medical image guidance function detects position information in a real space of a surgical instrument or an ultrasonic probe operated by an operator, and a virtual instrument such as a surgical instrument on a medical image obtained by the medical image imaging apparatus. The operator's operation is guided by drawing an image. In such a medical image display apparatus, conventionally, various methods using a medical imaging marker have been proposed in order to align a patient position with a captured medical image in accordance with a change in a patient position in a real space to be captured. (For example, Patent Document 1).

特開２００１−１７００７２号公報Japanese Patent Laid-Open No. 2001-170072

しかしながら、医用撮像マーカーを用いた従来技術は、いずれも、医用画像上に撮影された医用撮像マーカーの位置を特定する手段と、実空間の患者上に設定された医用撮像マーカーの位置を特定する手段を用いて、患者位置と画像位置との位置合わせを行なっている。そのため、医用撮像マーカーの位置特定作業のために、手術前の貴重な時間が費やされるという問題がある。 However, all of the conventional techniques using medical imaging markers specify means for specifying the position of the medical imaging marker imaged on the medical image and the position of the medical imaging marker set on the patient in real space. Using the means, the patient position and the image position are aligned. Therefore, there is a problem that valuable time before the operation is spent for the work of specifying the position of the medical imaging marker.

一方、医用画像上の医用撮像マーカーの位置を画像処理により検出し、操作者の負担や所要時間を低減する手法も提案されている。しかし、医用撮像マーカーの検出能は、医用画像の画質にも依存するため、必ずしもうまく機能する保証はない。 On the other hand, a method has been proposed in which the position of a medical imaging marker on a medical image is detected by image processing to reduce the burden on the operator and the required time. However, since the detection capability of the medical imaging marker depends on the image quality of the medical image, there is no guarantee that it will function well.

本発明が解決しようとする課題は、医用撮像マーカーを使用することなく、患者位置と画像位置との位置合わせを行なうことにある。 The problem to be solved by the present invention is to perform alignment between a patient position and an image position without using a medical imaging marker.

上記課題を解決するため、本発明の医用画像誘導方法を適用してなる医用画像表示装置システムは、被検体の医用画像を撮像する医用画像撮像装置と、前記医用画像を表示する表示装置と、前記被検体の位置情報を検出するために前記被検体に相対位置関係を固定して設けられる被検体位置検出具と、前記医用画像撮像装置の位置情報を検出するために前記医用画像撮像装置に固定して設けられる撮像装置位置検出具と、前記被検体位置検出具と前記撮像装置位置検出具のそれぞれの位置情報を計測するための三次元位置計測装置と、前記被検体の位置情報と前記医用画像の位置情報の位置合わせを行う医用画像表示装置とを備えてなる。
特に、前記医用画像表示装置は、前記医用画像に付された画像位置及び向きを含む位置情報が展開される医用画像座標系Ｃ_５と前記被検体位置検出具により展開される被検体位置検出座標系Ｃ_２を、前記医用画像撮像装置の撮像装置座標系Ｃ_３及び撮像空間座標系Ｃ_４と三次元位置計測座標系Ｃ_１を用いて座標変換する同次座標変換行列Ｔ_５を算出し、該同次座標変換行列Ｔ_５を前記被検体の位置情報と前記医用画像の位置情報の位置合わせ情報として用いることを特徴とする。 In order to solve the above problems, a medical image display apparatus system to which the medical image guidance method of the present invention is applied includes a medical image imaging apparatus that captures a medical image of a subject, a display apparatus that displays the medical image, A subject position detector provided with a fixed relative positional relationship to the subject for detecting the position information of the subject, and a medical image pickup device for detecting position information of the medical image pickup device. An imaging device position detection tool provided in a fixed manner, a three-dimensional position measurement device for measuring position information of each of the subject position detection tool and the imaging device position detection tool, position information of the subject, and the And a medical image display device for aligning position information of medical images.
In particular, the medical image display apparatus includes a medical image coordinate system C _{5 in} which position information including an image position and orientation attached to the medical image is developed, and subject position detection coordinates developed by the subject position detection tool. Calculating a homogeneous coordinate transformation matrix T ₅ for coordinate transformation of the system C ₂ using the imaging device coordinate system C ₃ and imaging space coordinate system C _{4 of the} medical image imaging device and the three-dimensional position measurement coordinate system C ₁ ; characterized by using the of identity following coordinate transformation matrix T ₅ as an alignment information of the position information of the position information and the medical image of the subject.

本発明は、医用画像には、画像位置及び向きを含む位置情報として、通常、ＤＩＣＯＭ情報が付されていることに鑑みなされたものである。しかし、ＤＩＣＯＭ情報に限られるものでないことは言うまでもなく、要は、画像位置及び向きを含む位置情報が医用画像に付されていればよい。これにより、医用画像についてＤＩＣＯＭ情報等の位置情報により医用画像座標系Ｃ_５が展開される。また、被検体位置検出具により展開される被検体位置検出座標系Ｃ_２と、医用画像撮像装置に設けられた撮像装置位置検出具により展開される撮像装置座標系Ｃ_３と、医用画像撮像装置を基準に設定される撮像空間座標系Ｃ_４は、それぞれ予め認識できる。したがって、三次元位置計測装置によって被検体位置検出具と撮像装置位置検出具の位置情報を計測することにより、三次元位置計測座標系Ｃ_１と被検体位置検出座標系Ｃ_２の座標変換、三次元位置計測座標系Ｃ_１と医用画像座標系Ｃ_５の座標変換を演算により行なうことができる。さらに、三次元位置計測座標系Ｃ_１を介して、被検体位置検出座標系Ｃ_２と医用画像座標系Ｃ_５の同次座標変換行列Ｔ_５を直接演算により算出できる。本発明は、この同次座標変換行列Ｔ_５を位置合わせ情報として用いることにより、医用撮像マーカーを使用することなく、被検体の位置情報と医用画像の位置情報との位置合わせを行なうようにしたのである。 The present invention has been made in view of the fact that DICOM information is usually attached to medical images as position information including the image position and orientation. However, it goes without saying that the information is not limited to DICOM information. In short, it is only necessary that position information including an image position and an orientation is attached to a medical image. Accordingly, the medical image coordinate system C ₅ is deployed by the position information such as DICOM information about medical image. Also, the subject position detection coordinate system C _2, which is developed by the subject position detection device, an imaging device coordinate system C ₃ to be deployed by the imaging device position detection device provided on the medical imaging apparatus, a medical imaging apparatus the imaging space coordinate system C ₄ to be set to the reference may previously recognized respectively. Thus, by measuring the position information of the object position detection device and the imaging device position detection device by a three-dimensional position measuring device, three-dimensional position coordinate transformation of the measurement coordinate system C ₁ and subject position detection coordinate system C _2, tertiary the coordinate transformation of the original position measuring coordinate system C ₁ and the medical image the coordinate system C ₅ can be carried out by calculation. Furthermore, the homogeneous coordinate transformation matrix T ₅ between the subject position detection coordinate system C ₂ and the medical image coordinate system C ₅ can be calculated directly through the three-dimensional position measurement coordinate system C ₁ . The present invention, by using the homogeneous coordinate transformation matrix T ₅ as an alignment information without using the medical imaging marker, and to perform alignment between the position information of the position information and the medical image of the subject It is.

つまり、前記医用画像表示装置は、前記三次元位置計測装置により展開される三次元空間位置座標系Ｃ_１を、前記被検体位置検出具により展開される被検体位置検出座標系Ｃ_２に変換する同次座標変換行列Ｔ_１を算出する。そして、前記三次元空間位置座標系Ｃ_１と、前記撮像装置位置検出具により展開される撮像装置位置検出座標系Ｃ_３と、前記医用画像撮像装置の撮像空間により展開される撮像空間座標系Ｃ_４と、前記医用画像に付された画像の位置情報の医用画像座標系Ｃ_５とに基づいて、前記被検体位置検出座標系Ｃ_２を前記医用画像座標系Ｃ_５に変換する同次座標変換行列Ｔ_５を算出する。 In other words, the medical image display apparatus, converts the three-dimensional spatial coordinates system C _1, which is developed by the three-dimensional position measuring device, wherein the subject position detection coordinate system C _2, which is developed by the subject position detection device calculating a homogeneous coordinate transformation matrix T _1. Then, the three-dimensional spatial coordinates system C _1, the imaging apparatus position detection coordinate system C ₃ to be expanded by the image pickup device position detecting device, the imaging space coordinate system is developed by the imaging space of the medical imaging apparatus C ₄ and the medical image coordinate system C ₅ of the position information of the image attached to the medical image, the homogeneous coordinate transformation for transforming the subject position detection coordinate system C ₂ into the medical image coordinate system C ₅ to calculate the matrix _{T 5.}

上記の場合において、前記医用画像表示装置は、前記同次座標変換行列Ｔ_１とＴ_５に基づいて、前記三次元位置計測装置により計測される前記被検体位置検出具の位置情報の変化に対応させて前記三次元空間位置座標系Ｃ_１を前記医用画像座標系Ｃ_５に変換する同次座標変換行列Ｔregを算出して前記位置合わせ情報とすることができる。これによれば、被検体が移動するような場合でも、速やかに、移動後の位置合わせ情報を生成することができる。 In the above case, the medical image display device responds to a change in position information of the subject position detection tool measured by the three-dimensional position measurement device based on the homogeneous coordinate transformation matrices T ₁ and T _5. is allowed can be said alignment information and calculate the homogeneous coordinate transformation matrix Treg for converting the three-dimensional spatial position coordinates C ₁ to the medical image coordinate system C ₅ to. According to this, even when the subject moves, the alignment information after the movement can be generated promptly.

また、本発明は、上記の場合において、さらに、前記被検体に手術を施す術具の位置情報を検出するための術具位置検出具を設け、前記医用画像表示装置は、三次元位置計測座標系Ｃ_１で計測される術具の位置情報を前記同次座標変換行列Ｔ_５又はＴregを用いて医用画像座標系Ｃ_５の位置情報に変換して、前記術具の仮想術具表示を前記医用画像に重ねて表示させることができる。これにより、術具の仮想術具表示が医用画像に重ねてナビゲーション画像として表示されるから、術者が操作する術具を被検体の手術部位に的確に誘導することができる。 In the above case, the present invention further includes a surgical instrument position detection tool for detecting position information of a surgical instrument for performing surgery on the subject, and the medical image display device includes three-dimensional position measurement coordinates. is converted to the position information of the medical image coordinate system C ₅ position information of the surgical instrument measured by the system C ₁ above using the homogeneous coordinate transformation matrix T ₅ or Treg, the virtual surgical instrument display of the surgical instrument It can be displayed superimposed on a medical image. As a result, the virtual instrument display of the surgical instrument is displayed as a navigation image superimposed on the medical image, so that the surgical instrument operated by the operator can be accurately guided to the surgical site of the subject.

また、本発明は、上記の場合において、前記医用画像撮像装置が超音波医用撮像装置であり、前記超音波撮像装置の超音波プローブの位置情報を検出するためのプローブ位置検出具を備えている医用画像表示装置システムに適用することができる。この場合、前記医用画像表示装置は、三次元位置計測座標系Ｃ_１で計測される前記超音波プローブの位置情報を前記同次座標変換行列Ｔ_５又はＴregを用いて医用画像座標系Ｃ_５の位置情報に変換して、前記超音波プローブの仮想プローブ表示を前記医用画像に重ねて表示させることができる。これにより、超音波プローブにより撮像する断層部位に超音波プローブを的確に誘導することができる。 Further, according to the present invention, in the above case, the medical image imaging apparatus is an ultrasonic medical imaging apparatus, and includes a probe position detector for detecting position information of an ultrasonic probe of the ultrasonic imaging apparatus. The present invention can be applied to a medical image display apparatus system. In this case, the medical image display apparatus, the medical image coordinate system C ₅ using a three-dimensional position measuring coordinate system the ultrasound the homogeneous coordinate transformation matrix T ₅ or Treg position information of the probe measured by C ₁ By converting into position information, the virtual probe display of the ultrasonic probe can be displayed superimposed on the medical image. As a result, the ultrasonic probe can be accurately guided to the tomographic site imaged by the ultrasonic probe.

なお、本発明において、前記医用画像表示装置は、前記三次元位置計測装置により計測される前記被検体位置検出具の位置情報を取得する度に前記位置合わせ情報を更新することができる。また、前記医用画像表示装置は、前記被検体位置検出具の位置情報を計測できないときは、更新前の前記位置合わせ情報を用いることができる。また、前記医用画像表示装置は、前記被検体位置検出具の位置情報が取得できなった場合に、前記位置合わせ情報が更新できなかったことを前記表示装置に警告表示することができる。 In the present invention, the medical image display device can update the alignment information every time it acquires the position information of the subject position detector measured by the three-dimensional position measurement device. Further, when the position information of the subject position detecting tool cannot be measured, the medical image display apparatus can use the alignment information before update. The medical image display device can display a warning on the display device that the alignment information could not be updated when the position information of the subject position detection tool could not be acquired.

本発明によれば、医用撮像マーカーを使用することなく、患者位置と画像位置との位置合わせを行なうことができる。 According to the present invention, the patient position and the image position can be aligned without using a medical imaging marker.

本発明の医用画像表示装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the medical image display apparatus of this invention. 本発明の医用画像誘導方法の実施例１の処理の流れを示す図である。It is a figure which shows the flow of a process of Example 1 of the medical image guidance method of this invention. 本発明の医用画像誘導方法の実施例１の位置合わせ前の状態を示す医用画像表示システムの概念図である。It is a conceptual diagram of the medical image display system which shows the state before the alignment of Example 1 of the medical image guidance method of this invention. 本発明の医用画像誘導方法の実施例１の位置合わせ後の状態を示す医用画像表示システムの概念図である。It is a conceptual diagram of the medical image display system which shows the state after the alignment of Example 1 of the medical image guidance method of this invention. 本発明の医用画像誘導方法の実施例１で用いる空間座標系と、異なる空間座標系の座標変換に用いる同次座標変換行列の関係を示す図である。It is a figure which shows the relationship between the spatial coordinate system used in Example 1 of the medical image guidance method of this invention, and the homogeneous coordinate transformation matrix used for the coordinate transformation of a different spatial coordinate system. 本発明の医用画像誘導方法の実施例１によるナビゲーション画像の表示画面の一例を示す図である。It is a figure which shows an example of the display screen of the navigation image by Example 1 of the medical image guidance method of this invention. 本発明の医用画像誘導方法の実施例２の処理の流れを示す図である。It is a figure which shows the flow of a process of Example 2 of the medical image guidance method of this invention. 本発明の医用画像誘導方法の実施例３の処理の流れを示す図である。It is a figure which shows the flow of a process of Example 3 of the medical image guidance method of this invention. 本発明の医用画像誘導方法の実施例４によるナビゲーション画像の表示画面の他の一例を示す図である。It is a figure which shows another example of the display screen of the navigation image by Example 4 of the medical image guidance method of this invention.

以下、添付図面に従って本発明に係る医用画像誘導方法を適用してなる医用画像表示装置の好ましい実施形態について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。 A preferred embodiment of a medical image display apparatus to which a medical image guiding method according to the present invention is applied will be described below with reference to the accompanying drawings. In the following description and the accompanying drawings, the same reference numerals are given to the constituent elements having the same functional configuration, and redundant description will be omitted.

図１に示すように、本発明の一実施の形態の医用画像表示システムは、医用画像表示装置１と、ネットワーク１２を介して医用画像表示装置１に通信可能に接続された医用画像撮像装置１３や医用画像データベース１４と、三次元位置計測装置１５を備えて構成される。医用画像表示装置１は、ＣＰＵ(Central Processing Unit)２、主メモリ３、記憶装置４、表示メモリ５、表示装置６、マウス８に接続されたコントローラ７、キーボード９、ネットワークアダプタ１０が、それぞれシステムバス１１を介して接続されている。マウス８に接続されたコントローラ７及びキーボード９は、医用画像の処理条件の入力を受付ける入力装置として機能する。また、ＣＰＵ２は、入力される医用画像の処理条件に基づき、プログラムに従って医用画像処理を実行する画像処理装置として機能するようになっている。 As shown in FIG. 1, a medical image display system according to an embodiment of the present invention includes a medical image display device 1 and a medical image imaging device 13 that is communicably connected to the medical image display device 1 via a network 12. And a medical image database 14 and a three-dimensional position measuring device 15. The medical image display device 1 includes a CPU (Central Processing Unit) 2, a main memory 3, a storage device 4, a display memory 5, a display device 6, a controller 7 connected to a mouse 8, a keyboard 9, and a network adapter 10, respectively. They are connected via a bus 11. The controller 7 and keyboard 9 connected to the mouse 8 function as an input device that accepts input of medical image processing conditions. Further, the CPU 2 functions as an image processing apparatus that executes medical image processing according to a program based on the processing conditions of the input medical image.

三次元位置計測装置１５は、システムバス１１に信号送受可能に接続されている。医用画像撮像装置１３と医用画像データベース１４は、ＬＡＮ（Local Area Network）等のネットワーク１２を介して、ネットワークアダプタ１０と信号送受可能に接続されている。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。 The three-dimensional position measuring device 15 is connected to the system bus 11 so as to be able to send and receive signals. The medical imaging device 13 and the medical image database 14 are connected to the network adapter 10 via a network 12 such as a LAN (Local Area Network) so as to be able to send and receive signals. Here, “to enable signal transmission / reception” indicates a state in which signals can be transmitted / received to each other or from one to the other, regardless of whether they are electrically or optically wired or wireless.

また、ＣＰＵ２は、各構成要素の動作を制御する機能を備えており、記憶装置４に格納されるプログラムやプログラム実行に必要なデータを主メモリ３にロードして実行する。記憶装置４は、医用画像撮像装置１３により撮像された医用画像情報を格納する装置であり、具体的にはハードディスク等である。また、記憶装置４は、フレシキブルディスク、光(磁気)ディスク、ＺＩＰメモリ、ＵＳＢメモリ等の可搬性記録媒体とデータの受け渡しをする装置であってもよい。医用画像情報は、ネットワーク１２を介して医用画像撮像装置１３や医用画像データベース１４から取得される。また、記憶装置４には、ＣＰＵ２が実行するプログラムやプログラム実行に必要なデータが格納される。主メモリ３は、ＣＰＵ２が実行するプログラムや演算処理の途中経過を記憶するものである。 In addition, the CPU 2 has a function of controlling the operation of each component, and loads a program stored in the storage device 4 and data necessary for program execution into the main memory 3 for execution. The storage device 4 is a device that stores medical image information captured by the medical image capturing device 13, and is specifically a hard disk or the like. Further, the storage device 4 may be a device that exchanges data with a portable recording medium such as a flexible disk, an optical (magnetic) disk, a ZIP memory, and a USB memory. The medical image information is acquired from the medical image capturing device 13 and the medical image database 14 via the network 12. The storage device 4 stores a program executed by the CPU 2 and data necessary for program execution. The main memory 3 stores the program executed by the CPU 2 and the progress of arithmetic processing.

表示メモリ５は、液晶ディスプレイやＣＲＴ(Cathode Ray Tube)等の表示装置６に表示するための表示データを一時的に格納するものである。マウス８やキーボード９は、操作者が医用画像表示装置１に対して操作指示を行う操作デバイスである。マウス８はトラックパッドやトラックボールなどの他のポインティングデバイスであってもよい。コントローラ７は、マウス８の状態を検出して、表示装置６上のマウスポインタの位置を取得し、取得した位置情報等をＣＰＵ２へ出力するものである。ネットワークアダプタ１０は、医用画像表示装置１をＬＡＮ、電話回線、インターネット等のネットワーク１２に接続するためのものである。 The display memory 5 temporarily stores display data to be displayed on the display device 6 such as a liquid crystal display or a CRT (Cathode Ray Tube). The mouse 8 and the keyboard 9 are operation devices for an operator to give an operation instruction to the medical image display apparatus 1. The mouse 8 may be another pointing device such as a track pad or a track ball. The controller 7 detects the state of the mouse 8, acquires the position of the mouse pointer on the display device 6, and outputs the acquired position information and the like to the CPU 2. The network adapter 10 is for connecting the medical image display apparatus 1 to a network 12 such as a LAN, a telephone line, or the Internet.

三次元位置計測装置１５は、術具等に設けられた術具位置検出具の三次元的な位置情報を取得し、取得した位置情報をＣＰＵ２へ出力するものである。医用画像撮像装置１３は、図３に示すように被検体３０１の断層画像等の医用画像情報を取得する装置である。医用画像撮像装置１３は、例えば、ＭＲＩ装置、Ｘ線ＣＴ装置、超音波撮像装置、シンチレーションカメラ装置、ＰＥＴ装置、又はＳＰＥＣＴ装置などを適用することができる。医用画像データベース１４は、医用画像撮像装置１３によって撮像された医用画像情報を記憶するデータベースシステムである。 The three-dimensional position measurement device 15 acquires three-dimensional position information of a surgical instrument position detection tool provided on a surgical instrument and outputs the acquired positional information to the CPU 2. The medical image capturing apparatus 13 is an apparatus that acquires medical image information such as a tomographic image of the subject 301 as shown in FIG. For example, an MRI apparatus, an X-ray CT apparatus, an ultrasonic imaging apparatus, a scintillation camera apparatus, a PET apparatus, or a SPECT apparatus can be applied to the medical image imaging apparatus 13. The medical image database 14 is a database system that stores medical image information captured by the medical image capturing device 13.

このように構成される医用画像表示装置１のＣＰＵ２は、以下に述べる実施例の医用画像誘導の演算処理を実行することにより、位置合わせ情報（レジストレーション情報）を生成する。そして、表示装置６に、医用画像撮像装置１３によって撮像された医用画像に手術を施す術具等のナビゲーション画像を表示させることができるようになっている。以下、本発明の特徴部である医用画像表示装置１の医用画像誘導方法の位置合わせ情報（レジストレーション情報）を生成する方法を、実施例に沿って説明する。 The CPU 2 of the medical image display apparatus 1 configured as described above generates registration information (registration information) by executing a medical image guidance calculation process according to an embodiment described below. The display device 6 can display a navigation image of a surgical instrument or the like for performing an operation on the medical image captured by the medical image capturing device 13. Hereinafter, a method for generating registration information (registration information) of a medical image guidance method of the medical image display apparatus 1 which is a characteristic part of the present invention will be described according to an embodiment.

図２は、本発明の実施例１の位置合わせ情報を生成する処理の流れを示す図である。以下、図２の各ステップについて、図３、図４及び図５を参照しながら詳細に説明する。なお、以下の説明で用いる位置情報には、計測対象の空間座標における位置及び向き、姿勢等の情報を含む。
(ステップＳ２０１)
ＣＰＵ２は、記憶装置４又は医用画像データベース１４に事前に記憶させておいた医用画像撮像装置１３の撮像装置位置検出具３１２上で展開される撮像装置位置検出座標系Ｃ_３から医用画像撮像装置１３のアイソセンタ３１３を原点として展開される撮像空間座標系Ｃ_４への同次座標変換行列Ｔ_３を取得する。アイソセンタ３１３は、医用画像撮像装置１３の撮像空間座標の基準点又は原点として予め設定されているものである。同次座標変換行列Ｔ_３は、撮像装置位置検出座標系Ｃ_３から撮像空間座標系Ｃ_４への回転行列をＭ_３、撮像空間座標系Ｃ_４の原点に対する撮像装置位置検出座標系Ｃ_３の原点への相対ベクトルをｄ_３とすれば、その行列成分は次式（１）で表される。

FIG. 2 is a diagram showing a flow of processing for generating alignment information according to the first embodiment of the present invention. Hereafter, each step of FIG. 2 is demonstrated in detail, referring FIG.3, FIG4 and FIG.5. Note that the position information used in the following description includes information such as the position, orientation, and posture of the measurement target in the spatial coordinates.
(Step S201)
CPU2 is medical imaging apparatus from the imaging device position detection coordinate system C ₃ to be loaded to the imaging device position detection device 312 of the medical imaging apparatus 13 that has been previously stored in the storage device 4 or the medical image database 14 13 The homogeneous coordinate transformation matrix T ₃ to the imaging space coordinate system C ₄ developed with the isocenter 313 of the first is acquired. The isocenter 313 is set in advance as a reference point or origin of imaging space coordinates of the medical image imaging device 13. Homogeneous coordinate transformation matrix T ₃ is the rotation matrix from the imaging device position detection coordinate system C ₃ to the imaging space coordinate system C ₄ M _3, the imaging device position detection coordinate system C ₃ to the origin of the imaging space coordinate system C ₄ if the relative vector to the origin and d _3, the matrix component is represented by the following formula (1).

（ステップＳ２０２、Ｓ２０３）
ＣＰＵ２は、ステップＳ２０２において、三次元位置計測装置１５を用いて被検体位置検出具３１１の位置情報を計測し、この位置情報を入力として、三次元位置計測装置１５上で展開される三次元位置計測座標系Ｃ_１から被検体位置検出具３１１上で展開される被検体位置検出座標系Ｃ_２への同次座標変換行列Ｔ_１を算出する。また、ＣＰＵ２は、ステップＳ２０３において、三次元位置計測装置１５を用いて撮像装置位置検出具３１２の位置情報を計測し、この位置情報を入力として、三次元位置計測装置１５上で展開される位置計測装置座標系Ｃ_１から撮像装置位置検出座標系Ｃ_３への同次座標変換行列Ｔ_２を算出する。ここで、三次元位置計測装置１５から取得する計測情報が、各検出座標系から位置計測装置座標系Ｃ_１への回転行列Ｍ_１、Ｍ_２と、位置計測装置座標系Ｃ_１における位置計測装置座標系Ｃ_１の原点に対する各検出座標系の原点への相対ベクトルをｄ_１、ｄ_２とすれば、同次座標変換行列Ｔ_１，Ｔ_２の行列成分はそれぞれ次式（２）で表される。

なお、ＭＲＩ装置等のように、被検体が横臥されるベッドが撮像時に移動しない撮像装置の場合は、撮像直前又は直後の各位置情報を計測し、これら各位置情報から各同次座標変換行列を算出する。一方、Ｘ線ＣＴ装置等のように撮像時にベッドが移動する撮像装置の場合は、任意の断層像を取得し、その断層位置での各位置情報を計測し、これら各位置情報から各同次座標変換行列を算出する。 (Steps S202 and S203)
In step S <b> 202, the CPU 2 measures the position information of the subject position detection tool 311 using the three-dimensional position measurement device 15, and uses this position information as an input to develop the three-dimensional position developed on the three-dimensional position measurement device 15. A homogeneous coordinate transformation matrix T ₁ from the measurement coordinate system C ₁ to the subject position detection coordinate system C ₂ developed on the subject position detection tool 311 is calculated. In step S203, the CPU 2 measures the position information of the imaging device position detector 312 using the three-dimensional position measurement device 15, and uses the position information as an input to develop the position developed on the three-dimensional position measurement device 15. A homogeneous coordinate transformation matrix T ₂ from the measuring device coordinate system C ₁ to the imaging device position detection coordinate system C ₃ is calculated. Here, measurement information acquired from the three-dimensional position measurement device 15 includes rotation matrices M ₁ and M ₂ from each detection coordinate system to the position measurement device coordinate system C ₁ , and a position measurement device in the position measurement device coordinate system C ₁ . If the relative vectors to the origin of each detection coordinate system with respect to the origin of the coordinate system C ₁ are d ₁ and d ₂ , the matrix components of the homogeneous coordinate transformation matrices T ₁ and T ₂ are expressed by the following equations (2), respectively. The

In the case of an imaging apparatus such as an MRI apparatus in which the bed on which the subject is lying does not move at the time of imaging, each position information immediately before or after imaging is measured, and each homogeneous coordinate transformation matrix is calculated from each position information. Is calculated. On the other hand, in the case of an imaging apparatus such as an X-ray CT apparatus in which the bed moves at the time of imaging, an arbitrary tomographic image is acquired, each position information at the tomographic position is measured, and each position information is obtained from each position information A coordinate transformation matrix is calculated.

（ステップＳ２０４）
ＣＰＵ２は、医用画像診断装置１３又は医用画像データベース１４から撮像した医用画像を取得する。取得した医用画像のＤＩＣＯＭ（Digital Imaging and Communication in Medicine）情報から、医用画像撮像装置１３上の撮像空間座標系Ｃ_４に対する画像の位置及び方向を取得する。そして、撮像空間座標系Ｃ_４の基準点として設定されたアイソセンタ３１３に対する医用画像の位置及び方向を演算して、撮像空間座標系Ｃ_４から医用画像座標系Ｃ_５への同次座標変換行列Ｔ_４を算出する。取得した行方向、列方向の画像方向をそれぞれベクトルａ、ｂとし、各スライスデータの画像位置から割り出したボリュームデータの原点位置をベクトルｃとすれば、同次座標変換行列Ｔ_４の行列成分は次式（３）で表される。

(Step S204)
The CPU 2 acquires a medical image captured from the medical image diagnostic apparatus 13 or the medical image database 14. From the acquired DICOM (Digital Imaging and Communication in Medicine ) information of the medical image to obtain the position and orientation of the image to the imaging space coordinate system C ₄ on medical imaging apparatus 13. Then, to compute the position and orientation of the medical image for the isocenter 313 which is set as a reference point of the image space coordinate system C _4, homogeneous coordinate transformation matrix T from the imaging space coordinate system C ₄ to medical image coordinate system C ₅ ₄ is calculated. Fetched row direction and the column direction of the image orientation each vector a, is b, if the position of the origin of the volume data indexing from the image position of each slice data and the vector c, the matrix component of the homogeneous coordinate transformation matrix T ₄ is It is represented by the following formula (3).

(ステップＳ２０５)
ＣＰＵ２は、ステップＳ２０１で取得した同次座標変換行列Ｔ_３と、ステップＳ２０２、Ｓ２０３で取得した各同次座標変換行列Ｔ_１及びＴ_２と、ステップＳ２０４で算出した同次座標変換行列Ｔ_４とから、被検体位置検出座標系Ｃ_２から医用画像座標系Ｃ_５への同次座標変換行列Ｔ_５を、次式（４）で算出する。このようにして、被検体位置である患者位置と医用画像位置との位置合わせ（ナビゲーション）情報として、同次座標変換行列Ｔ_５を生成する。つまり、三次元位置計測装置１５により被検体位置検出具３１１の位置情報を計測すれば、同次座標変換行列Ｔ_５により患者位置に対応する医用画像位置を直ちに算出して、患者位置と医用画像位置の位置合わせを行うことができる。

Ｔ_５＝Ｔ_４Ｔ_３Ｔ_２Ｔ_１ ^−１・・・（４）
(Step S205)
CPU2 is a homogeneous coordinate transformation matrix _{T 3} obtained in step S201, and the homogeneous coordinate transformation matrix _{T 1} and _{T 2} obtained in step S202, S203, and homogeneous coordinate transformation matrix _{T 4} calculated in step S204 Thus, a homogeneous coordinate transformation matrix T ₅ from the subject position detection coordinate system C ₂ to the medical image coordinate system C ₅ is calculated by the following equation (4). In this way, as an alignment (navigation) information between the patient position and the medical image position is subject position, to produce a homogeneous coordinate transformation matrix T _5. That is, by measuring the position information of the object position detection device 311 by the three-dimensional position measuring apparatus 15, immediately calculates the medical image position corresponding to the patient position by the homogeneous coordinate transformation matrix T _5, patient position and the medical image Position alignment can be performed.

T ₅ = T ₄ T ₃ T ₂ T ₁ ⁻¹ (4)

(ステップＳ２０６)
ＣＰＵ２は、三次元位置計測装置１５を用いて、被検体３０１を移動した後の被検体位置検出具３１１の位置情報を計測し、この位置情報を入力として、三次元位置計測座標系Ｃ_１から被検体位置検出座標系Ｃ_２への同次座標変換行列Ｔ_１′を算出する。次いで、ステップＳ２０５で算出した同次座標変換行列Ｔ_５を入力として、三次元位置計測座標系Ｃ_１から医用画像座標系Ｃ_５への同次座標変換行列Ｔregを、次式（５）で算出する。この同次座標変換行列Ｔregは、被検体の移動に対応する位置合わせ情報として、被検体の移動に合わせて、あるいは周期的に算出する。これにより、三次元位置計測装置１５により被検体位置検出具３１１の位置情報を計測すれば、同次座標変換行列Ｔregにより患者位置に対応する医用画像位置を直ちに算出して、患者位置と医用画像位置の位置合わせを行うことができる。

Ｔreg＝Ｔ_５Ｔ_１′ ・・・（５）
(Step S206)
CPU2, using the three-dimensional position measuring apparatus 15 measures the positional information of the object position detecting device 311 after moving the object 301, as input positional information from the three-dimensional position measurement coordinate system C ₁ A homogeneous coordinate transformation matrix T ₁ ′ to the subject position detection coordinate system C ₂ is calculated. Then, as input homogeneous coordinate transformation matrix T ₅ calculated in step S205, the homogeneous coordinate transformation matrix Treg from the three-dimensional position measurement coordinate system C ₁ to medical image coordinate system C _5, calculated by the following equation (5) To do. The homogeneous coordinate transformation matrix Treg is calculated as the alignment information corresponding to the movement of the subject or periodically according to the movement of the subject. Accordingly, when the position information of the subject position detector 311 is measured by the three-dimensional position measuring device 15, the medical image position corresponding to the patient position is immediately calculated by the homogeneous coordinate transformation matrix Treg, and the patient position and the medical image are calculated. Position alignment can be performed.

Treg = T ₅ T ₁ ′ (5)

（ステップＳ２０７）
このステップは、術具等の操作を誘導するために、術具の位置情報を計測して、医用画像に術具の位置情報の表示を行う処理である。つまり、ＣＰＵ２は、三次元位置計測装置１５を用いて、図４に示す術具４０１に設けられた術具位置検出具４０２の位置情報（ベクトル）ｄsensorを計測し、この位置情報を入力として同次座標（ベクトル）ｒsensor算出し、ステップＳ２０６で算出した同次座標変換行列Ｔregを入力として、医用画像座標系Ｃ_５での術具位置検出具４０２の同次座標（ベクトル）ｒimageを算出する。同次座標ｒimageは次式（６）で表される。なお、術具位置検出具４０２の位置情報ｄsensorには、術具４０１の先端までのオフセットも含まれているものとする。

このようにして、ステップＳ２０６とＳ２０７により、被検体３０１が移動された場合、その移動後の被検体位置検出具３１１の位置情報を三次元位置計測装置１５により計測して、三次元位置計測座標系Ｃ_１から被検体位置検出座標系Ｃ_２への被検体３０１が移動後の同次座標変換行列Ｔ_１′を算出する。そして、三次元位置計測座標系Ｃ_１から医用画像座標系Ｃ_５への同次座標変換行列Ｔregを前記式（５）で算出する。算出された同次座標変換行列Ｔregを用いて、三次元位置計測装置１５により計測された術具位置検出具４０２の位置情報（ベクトル）ｄsensorを、医用画像座標系Ｃ_５での術具位置検出具４０２の同次座標（ベクトル）ｒimageに変換する。これにより、移動操作後の術具４０１の位置情報を直ちに医用画像における位置情報に変換でき、例えば術具４０１の仮想画像表示の位置を医用画像に位置合わせすることができる。 (Step S207)
This step is a process of measuring the position information of the surgical tool and displaying the position information of the surgical tool on the medical image in order to guide the operation of the surgical tool or the like. That is, the CPU 2 uses the three-dimensional position measurement device 15 to measure the position information (vector) dsensor of the surgical instrument position detection tool 402 provided in the surgical instrument 401 shown in FIG. and coordinate (vector) Rsensor calculated as input homogeneous coordinate transformation matrix Treg calculated in step S206, calculates the homogeneous coordinates (vector) Rimage the surgical instrument position detection device 402 in the medical image coordinate system C _5. The homogeneous coordinate rimage is expressed by the following equation (6). It is assumed that the position information dsensor of the surgical instrument position detection tool 402 includes an offset to the distal end of the surgical instrument 401.

In this way, when the subject 301 is moved in steps S206 and S207, the positional information of the subject position detector 311 after the movement is measured by the three-dimensional position measurement device 15, and the three-dimensional position measurement coordinates are measured. A homogeneous coordinate transformation matrix T ₁ ′ after movement of the subject 301 from the system C ₁ to the subject position detection coordinate system C ₂ is calculated. Then calculated by the homogeneous coordinates transformation matrix Treg from the three-dimensional position measurement coordinate system C ₁ to medical image coordinate system C ₅ (5). Was calculated using the homogeneous coordinate transform matrix Treg, the position information (vector) Dsensor of the three-dimensional position measuring apparatus 15 surgical implement position detection device 402 measured by, operation tools position detection in the medical image coordinate system C ₅ Convert to the homogeneous coordinate (vector) rimage of the tool 402. Thereby, the position information of the surgical instrument 401 after the moving operation can be immediately converted into position information in the medical image. For example, the position of the virtual image display of the surgical instrument 401 can be aligned with the medical image.

（ステップＳ２０８）
ＣＰＵ２は、同次座標ｒimageを入力として、術具先端位置でのナビゲーション画像として、例えば術具４０１の仮想画像表示を表示装置６に表示する。なお、画像処理条件（パラメータ等）については、マウス８およびキーボード９により適時入力が可能である。ＣＰＵ２は、入力される画像処理条件に応じた処理を施したナビゲーション画像を表示装置６へ表示する。 (Step S208)
For example, the CPU 2 displays a virtual image display of the surgical instrument 401 on the display device 6 as a navigation image at the distal end position of the surgical instrument, using the homogeneous coordinate rimage as an input. Note that image processing conditions (parameters, etc.) can be input in a timely manner using the mouse 8 and keyboard 9. The CPU 2 displays on the display device 6 a navigation image that has been processed according to the input image processing conditions.

図６に、実施例１により得られるナビゲーション画像の表示画面の一例を示す。図示のように、表示画面５０１は、ナビゲーション画像として、被検体３０１の手術部位の直交３断面画像であるアキシャル断面５１１、サジタル断面５１２及びコロナル断面５１３と、３次元レンダリング画像５１４に、位置合わせ情報に従って形成された仮想術具表示５１５が重ねて表示されている。
また、表示画面５０１の右部上には、被検体位置計測インターフェイスである位置取得アイコン５２１と、位置合わせ実行インターフェイスであるレジストレーションアイコン５２２が入力用として表示されている。また、表示画面５０１の右部下には、画像処理指令を入力する画像閾値インターフェイス５３１、視点位置平行移動インターフェイス５３２、視点位置回転移動インターフェイス５３３及び画像拡大インターフェイス５３４のアイコンが表示されている。 FIG. 6 shows an example of a navigation image display screen obtained in the first embodiment. As shown in the figure, the display screen 501 includes, as a navigation image, an axial section 511, a sagittal section 512, a coronal section 513, and a three-dimensional rendering image 514, which are orthogonal three-section images of the surgical site of the subject 301. A virtual surgical instrument display 515 formed according to the above is displayed in an overlapping manner.
In addition, on the right side of the display screen 501, a position acquisition icon 521 that is a subject position measurement interface and a registration icon 522 that is a positioning execution interface are displayed for input. In addition, icons of an image threshold interface 531 for inputting an image processing command, a viewpoint position translation interface 532, a viewpoint position rotation movement interface 533, and an image enlargement interface 534 are displayed at the lower right portion of the display screen 501.

以上説明したように、本実施例１によれば、三次元位置計測装置１５により計測される被検体３０１もしくは被検体３０１との相対的な位置関係が変化しない剛体（ベッド、固定具など）に固定された被検体位置検出具３１１の位置情報と、三次元位置計測装置１５により計測される医用画像撮像装置１３の位置情報と、医用画像撮像装置１３に固有な撮像空間の基準点（例えば、アイソセンタの位置）の位置情報と、医用画像に付された画像位置情報であるＤＩＣＯＭ情報とから、医用撮像マーカーを使用せずに、患者位置と画像位置との位置合わせに必要な位置合わせ情報を生成することができる。その位置合わせ情報と術具４０１の位置情報に基づいて、術具４０１に仮想術具表示の位置と向きを医用画像に位置合わせて表示させることにより、画像誘導を短時間で行なうことができる。 As described above, according to the first embodiment, the object 301 measured by the three-dimensional position measurement device 15 or a rigid body (bed, fixture, etc.) whose relative positional relationship with the object 301 does not change. Position information of the fixed subject position detector 311, position information of the medical image pickup device 13 measured by the three-dimensional position measurement device 15, and a reference point (for example, an imaging space unique to the medical image pickup device 13) From the position information of the isocenter position) and the DICOM information that is the image position information attached to the medical image, the alignment information necessary for the alignment between the patient position and the image position is obtained without using the medical imaging marker. Can be generated. Image guidance can be performed in a short time by causing the surgical instrument 401 to display the position and orientation of the virtual surgical instrument in alignment with the medical image based on the alignment information and the positional information of the surgical instrument 401.

図７は、本発明の実施例２の位置合わせ情報を生成する処理の流れを示す図である。以下、図７の各ステップについて詳細に説明する。本実施例２は、実施例１で生成した位置合わせ情報を、被検体３０１の移動に合わせて随時更新する処理である。 FIG. 7 is a diagram showing a flow of processing for generating alignment information according to the second embodiment of the present invention. Hereinafter, each step of FIG. 7 will be described in detail. The second embodiment is a process of updating the alignment information generated in the first embodiment as needed according to the movement of the subject 301.

（ステップＳ６０１）
ＣＰＵ２は、三次元位置計測装置１５を用いて、被検体位置検出具３１１の位置情報を計測するごとに、実施例１のステップＳ２０６及びＳ２０７を実施し、同次座標変換行列Ｔregを随時更新し、医用画像座標系Ｃ_５での術具位置検出具４０２の同次座標を算出する。
（ステップＳ６０２）
ＣＰＵ２は、ステップＳ６０１で算出した同次座標を入力として、術具先端位置を含む仮想術具表示５１５をナビゲーション画像として表示装置６に表示する。なお、画像処理条件（パラメータ等）については、マウス８およびキーボード９により適時入力が可能であり、入力に応じた処理を実施したナビゲーション画像を表示装置６へ表示する。 (Step S601)
The CPU 2 performs steps S206 and S207 of the first embodiment each time the position information of the subject position detector 311 is measured using the three-dimensional position measuring device 15, and updates the homogeneous coordinate transformation matrix Treg as needed. calculates the homogeneous coordinates of the surgical tool position detection device 402 in the medical image coordinate system C _5.
(Step S602)
The CPU 2 displays the virtual surgical instrument display 515 including the surgical instrument tip position on the display device 6 as a navigation image using the homogeneous coordinates calculated in step S601 as an input. Note that the image processing conditions (parameters, etc.) can be input with the mouse 8 and the keyboard 9 in a timely manner, and a navigation image that has been processed according to the input is displayed on the display device 6.

なお、ステップＳ２０６において、被検体位置検出具３１１の位置情報が何らかの理由で検出できなかった場合には、更新前の同次座標変換行列Ｔregを用いて、医用画像座標系Ｃ_５での術具位置検出具４０２の同次座標を算出してもよい。また、被検体位置検出具３１１の位置が更新できなかったことを警告表示してもよい。本実施例２によれば、実施例１の効果に加えて、被検体が移動しても画像誘導を行なうことができるという効果が得られる。 Note that, in step S206, when the position information of the subject position detection device 311 can not be detected for some reason, by using the homogeneous coordinate transformation matrix Treg before update, surgical instrument in the medical image coordinate system C ₅ The homogeneous coordinates of the position detector 402 may be calculated. Further, a warning may be displayed that the position of the subject position detector 311 could not be updated. According to the second embodiment, in addition to the effect of the first embodiment, an effect that the image can be guided even when the subject moves is obtained.

図８は、本発明の実施例３の位置合わせ情報を生成する処理の流れを示す図である。以下、図８の各ステップについて詳細に説明する。本実施例３は、被検体位置検出具３１１が複数設置されている場合の位置合わせ方法であり、実施例１により、術具位置検出具４０２の同次座標を、複数の被検体位置検出具３１１に対してそれぞれ算出することが異なる。 FIG. 8 is a diagram showing a flow of processing for generating alignment information according to the third embodiment of the present invention. Hereinafter, each step of FIG. 8 will be described in detail. The third embodiment is an alignment method when a plurality of subject position detection tools 311 are installed. According to the first embodiment, the homogeneous coordinates of the surgical tool position detection tool 402 are converted into a plurality of subject position detection tools. The calculation is different for 311.

（ステップＳ８０１）
ＣＰＵ２は、実施例１のステップＳ２０７で複数の被検体位置検出具３１１について算出した術具位置検出具４０２のそれぞれの同次座標から、術具先端位置を算出する。この場合、複数の同次座標を加算平均して１つの同次座標を算出する。あるいはこれに代えて、複数の同次座標の最頻値、平均位置からの距離に基づいた中央値、統計学的尤度に基づいた値、などを採用することができる。また、算出した術具位置検出具４０２の各同次座標の相対距離が、設定された閾値よりも大きくなった場合には、表示装置６へ位置精度が低下したことを警告表示することができる。 (Step S801)
The CPU 2 calculates the surgical tool tip position from the homogeneous coordinates of the surgical tool position detection tool 402 calculated for the plurality of subject position detection tools 311 in step S207 of the first embodiment. In this case, one homogeneous coordinate is calculated by averaging a plurality of homogeneous coordinates. Alternatively, a mode value of a plurality of homogeneous coordinates, a median value based on the distance from the average position, a value based on statistical likelihood, and the like can be employed. In addition, when the calculated relative distance between the homogeneous coordinates of the surgical instrument position detection tool 402 is larger than a set threshold value, a warning can be displayed on the display device 6 that the positional accuracy has decreased. .

（ステップＳ８０２）
ＣＰＵ２は、ステップＳ８０１で算出した同次座標を入力として、図６に示したように、術具先端位置を含む仮想術具表示５１５をナビゲーション画像として表示装置６に表示する。また、画像処理条件（パラメータ等）については、マウス８およびキーボード９により適時入力が可能であり、入力に応じた処理を実施したナビゲーション画像を表示装置６へ表示することは、実施例１、２と同様である。
本実施例３によれば、実施例１の効果に加えて、被検体の動きにより位置合わせ精度が低下した場合に、精度低下を通知することができる。 (Step S802)
As shown in FIG. 6, the CPU 2 displays the virtual surgical instrument display 515 including the surgical instrument tip position on the display device 6 as a navigation image, using the homogeneous coordinates calculated in step S801 as an input. The image processing conditions (parameters, etc.) can be input in a timely manner using the mouse 8 and the keyboard 9, and displaying a navigation image that has been processed according to the input on the display device 6 is the same as in the first and second embodiments. It is the same.
According to the third embodiment, in addition to the effects of the first embodiment, when the alignment accuracy is lowered due to the movement of the subject, a reduction in accuracy can be notified.

図９に、本発明の実施例４の位置合わせ情報の生成処理により生成されたナビゲーション画像の他の表示例を示す。本実施例４は、実施例１〜３の術具の画像誘導方法とは異なり、超音波プローブの画像誘導方法に本発明を適用した例である。すなわち、図９の３次元レンダリング画像７１３に仮想超音波プローブ表示７１４を重ねて表示させた例である。したがって、本実施例の医用画像撮像装置１３は、超音波画像撮像装置である。そして、本実施例４の場合は、術具位置検出具に代えて超音波プローブ位置検出具を設け、超音波プローブにより撮像される断層像等の位置及び向きをナビゲーションして、撮像操作を支援する。図９において、符号７１１は任意断面のナビゲーション画像、符号７１２は超音波診断画像である。本実施例４のナビゲーション画像７１１には、超音波プローブ及び超音波スキャン面の仮想画像が描画されるようになっている。 FIG. 9 shows another display example of the navigation image generated by the registration information generation process according to the fourth embodiment of the present invention. The fourth embodiment is an example in which the present invention is applied to the image guiding method of the ultrasonic probe, unlike the image guiding method of the surgical instrument of the first to third embodiments. In other words, this is an example in which the virtual ultrasonic probe display 714 is superimposed on the three-dimensional rendering image 713 in FIG. Therefore, the medical image capturing apparatus 13 of the present embodiment is an ultrasonic image capturing apparatus. In the case of the fourth embodiment, an ultrasonic probe position detector is provided instead of the surgical instrument position detector, and the position and orientation of a tomographic image and the like imaged by the ultrasonic probe are navigated to support the imaging operation. To do. In FIG. 9, reference numeral 711 denotes a navigation image having an arbitrary cross section, and reference numeral 712 denotes an ultrasonic diagnostic image. In the navigation image 711 of the fourth embodiment, a virtual image of the ultrasonic probe and the ultrasonic scan plane is drawn.

以上、本発明を実施例に基づいて説明したが、本発明はこれらの実施例に限定されるものではない。要は、医用画像撮像装置により撮像した医用画像に付されたＤＩＣＯＭ情報等の画像の位置情報と、三次元位置計測装置により計測される医用画像撮像装置の位置情報と、医用画像撮像装置の画像空間に設定された基準位置の位置情報と、被検体位置検出具の位置情報とに基づいて、被検体の位置情報と医用画像の位置情報の位置合わせ情報を生成することを特徴とする。さらに、要約すれば、医用画像に付されたＤＩＣＯＭ情報等の画像の医用画像座標系Ｃ_５と被検体位置検出座標系Ｃ_２を、医用画像を撮像する撮像装置座標系Ｃ_３及び撮像空間座標系Ｃ_４と三次元位置計測座標系Ｃ_１を介して座標変換する同次座標変換行列Ｔ_５を位置合わせ情報として採用したことを特徴とする。そして、この位置合わせ情報を用い、三次元位置計測座標系Ｃ_１で計測される術具の位置情報を医用画像座標系Ｃ_５に変換して、医用画像に重ねて表示する仮想術具表示の位置を精度良くかつ位置合わせできる。 As mentioned above, although this invention was demonstrated based on the Example, this invention is not limited to these Examples. In short, the positional information of the image such as DICOM information attached to the medical image captured by the medical imaging device, the positional information of the medical imaging device measured by the three-dimensional position measuring device, and the image of the medical imaging device Alignment information of the position information of the subject and the position information of the medical image is generated based on the position information of the reference position set in the space and the position information of the subject position detection tool. Furthermore, in summary, the medical image coordinate system C ₅ between the subject position detection coordinate system C ₂ of the image such as DICOM information attached to the medical image, the imaging device coordinate system C ₃ and the imaging space coordinates to image the medical image characterized in that employing the homogeneous coordinate transformation matrix T ₅ is a coordinate transformation through the system C ₄ a three-dimensional position measurement coordinate system C ₁ as an alignment information. Then, using the positioning information, it converts the position information of the surgical instrument measured by the three-dimensional position measurement coordinate system C ₁ to the medical image coordinate system C _5, the virtual surgical instrument display to be displayed over the medical image The position can be accurately and aligned.

１医用画像表示装置
２ＣＰＵ
３主メモリ
４記憶装置
５表示メモリ
６表示装置
７コントローラ
８マウス
９キーボード
１０ネットワークアダプタ
１１システムバス
１２ネットワーク
１３医用画像撮影装置
１４医用画像データベース
１５三次元位置計測装置
３０１被検体
３１１被検体位置検出具
３１２撮像装置位置検出具
３１３アイソセンタ
４０１術具
４０２術具位置検出具 1 medical image display device 2 CPU
DESCRIPTION OF SYMBOLS 3 Main memory 4 Memory | storage device 5 Display memory 6 Display apparatus 7 Controller 8 Mouse 9 Keyboard 10 Network adapter 11 System bus 12 Network 13 Medical imaging device 14 Medical image database 15 Three-dimensional position measuring device 301 Subject 311 Subject position detection tool 312 Imaging device position detector 313 Isocenter 401 Surgical tool 402 Surgical instrument position detector

Claims

A medical image imaging device that captures a medical image of a subject, a display device that displays the medical image, and a subject that is provided with a relative positional relationship fixed to the subject in order to detect positional information of the subject A position detector, an imaging device position detector fixed to the medical imaging device for detecting position information of the medical imaging device, the subject position detector, and the imaging device position detector. A medical image display device system comprising: a three-dimensional position measurement device for measuring each position information; and a medical image display device for aligning the position information of the subject and the position information of the medical image. And
The medical image display device includes a medical image coordinate system C _{5 in} which position information including an image position and orientation attached to the medical image is developed, and a subject position detection coordinate system C developed by the subject position detection tool. ₂ is calculated as a homogeneous coordinate transformation matrix T ₅ for coordinate transformation through the imaging device coordinate system C ₃ and imaging space coordinate system C _{4 of the} medical image imaging device and the three-dimensional position measurement coordinate system C _1. the medical image display system, which comprises using the coordinate transformation matrix T ₅ as an alignment information of the position information of the medical image and the position information of the subject.

The medical image display apparatus system according to claim 1,
The medical image display device includes:
A homogeneous coordinate transformation matrix T ₁ is calculated for transforming the three-dimensional spatial position coordinate system C ₁ developed by the three-dimensional position measuring device into the subject position detection coordinate system C ₂ developed by the subject position detector. ,
And the three-dimensional spatial coordinates system C _1, the imaging apparatus position detection coordinate system C ₃ to be expanded by the image pickup device position detection device, an imaging space coordinate system C ₄ to be deployed by the imaging space of the medical imaging apparatus the on the basis of the medical image coordinate system C ₅ position information of the image attached to the medical image, the homogeneous coordinate transformation matrix T ₅ for converting the subject position detection coordinate system C ₂ to the medical image coordinate system C5 A medical image display apparatus system characterized by calculating

The medical image display apparatus system according to claim 2 ,
The medical image display device includes:
Based on the homogeneous coordinate transformation matrices T ₁ and T ₅ , the three-dimensional spatial position coordinate system C ₁ is made to correspond to a change in the position information of the subject position detector measured by the three-dimensional position measuring device. the medical image display system, characterized by a homogeneous coordinate transformation matrix Treg said alignment information and calculate the converting the medical image coordinate system C _5.

The medical image display apparatus system according to any one of claims 1 to 3,
Furthermore, it has a surgical instrument position detector for detecting position information of a surgical instrument that performs an operation on the subject,
The medical image display apparatus converts the position information of the medical image coordinate system C ₅ using a three-dimensional position measurement coordinate system C ₁ in measured by the surgical instrument position information the homogeneous coordinate transformation matrix T ₅ or Treg A medical image display system that displays a virtual surgical instrument display of the surgical instrument on the medical image.

The medical image display apparatus system according to any one of claims 1 to 3,
The medical image pickup device is an ultrasonic medical image pickup device, and includes a probe position detector for detecting position information of an ultrasonic probe of the ultrasonic image pickup device;
The medical image display apparatus, the position information of the medical image coordinate system C ₅ using a three-dimensional position measuring coordinate system the ultrasound the homogeneous coordinate transformation matrix T ₅ or Treg position information of the probe measured by C ₁ A medical image display apparatus system that converts and displays a virtual probe display of the ultrasonic probe superimposed on the medical image.

The medical image display apparatus system according to any one of claims 1 to 3,
The medical image display apparatus system, wherein the position information including the image position and orientation attached to the medical image is DICOM information.

The medical image display apparatus system according to any one of claims 1 to 6,
The medical image display system updates the alignment information every time it acquires the position information of the subject position detector measured by the three-dimensional position measurement device.

The medical image display system according to claim 7,
The medical image display system uses the alignment information before update when the position information of the subject position detector cannot be measured.

The medical image display system according to any one of claims 1 to 8,
The medical image display device displays a warning on the display device that the alignment information could not be updated when the position information of the subject position detector could not be acquired. system.

The medical image display system according to claim 4, wherein
The medical image display device, when the subject position detection device is provided with a plurality, the generated positioning information T ₅ or Treg for each of the plurality of subject position detection device, the three-dimensional position measurement coordinates A plurality of position information of the surgical instrument measured by the system C ₁ is converted into position information of the medical image coordinate system C ₅ using the homogeneous coordinate conversion matrix T ₅ or Treg, respectively, and the converted medical image coordinates obtains the first position information based on a plurality of position information system C _5, medical, characterized in that to display overlaid virtual surgical instrument display of the surgical instrument in the medical image based on the first position information obtained Image display system.

The medical image display system according to claim 10, wherein the medical image display device compares with a threshold value for determining alignment accuracy based on the plurality of pieces of position information of the medical image coordinate system C ₅ that have been converted. A medical image display system that displays a warning of a decrease in accuracy.

A medical image imaging device that captures a medical image of a subject, a display device that displays the medical image, and a subject that is provided with a relative positional relationship fixed to the subject in order to detect positional information of the subject A position detector, an imaging device position detector fixed to the medical imaging device for detecting position information of the medical imaging device, the subject position detector, and the imaging device position detector. A medical image guiding method for aligning the position information of the subject and the position information of the medical image using a three-dimensional position measurement device for measuring each position information,
The medical image imaging system C _{5 in} which position information including the image position and orientation attached to the medical image is developed and the subject position detection coordinate system C ₂ developed by the subject position detection tool are captured in the medical image. calculating a homogeneous coordinate transformation matrix T ₅ is a coordinate transformation through the imaging device coordinate system C ₃ and the imaging space coordinate system C ₄ and the three-dimensional position measurement coordinate system C ₁ of the apparatus, a of identity following coordinate transformation matrix T ₅ A medical image guiding method, wherein the position information of the subject and position information of the medical image are used as alignment information.

The medical image guiding method according to claim 12,
A homogeneous coordinate transformation matrix T ₁ is calculated for transforming the three-dimensional spatial position coordinate system C ₁ developed by the three-dimensional position measuring device into the subject position detection coordinate system C ₂ developed by the subject position detector. ,
And the three-dimensional spatial coordinates system C _1, the imaging apparatus position detection coordinate system C ₃ to be expanded by the image pickup device position detection device, an imaging space coordinate system C ₄ to be deployed by the imaging space of the medical imaging apparatus the on the basis of the medical image coordinate system C ₅ position information of the image attached to the medical image, the homogeneous coordinate transformation matrix T ₅ for converting the subject position detection coordinate system C ₂ to the medical image coordinate system C5 A medical image guiding method characterized by calculating

The medical image guiding method according to claim 13 ,
Based on the homogeneous coordinate transformation matrices T ₁ and T ₅ , the three-dimensional spatial position coordinate system C ₁ is made to correspond to a change in the position information of the subject position detector measured by the three-dimensional position measuring device. medical imaging-guided method, characterized in that the said positioning information to calculate the homogeneous coordinate transformation matrix Treg be converted to the medical image coordinate system C _5.

The medical image guidance method according to any one of claims 12 to 14,
Furthermore, using a surgical instrument position detector for detecting position information of a surgical instrument that performs surgery on the subject,
Is converted to the position information of the medical image coordinate system C ₅ position information of the surgical instrument measured by the three-dimensional position measurement coordinate system C ₁ using the homogeneous coordinate transformation matrix T ₅ or Treg, virtual said surgical instrument A medical image guidance method, wherein a surgical instrument display is displayed on the medical image.

The medical image guidance method according to any one of claims 12 to 14,
Using an ultrasonic medical imaging device as the medical image imaging device and a probe position detector for detecting position information of an ultrasonic probe of the ultrasonic imaging device,
Is converted to the position information of the medical image coordinate system C ₅ position information of the ultrasound probe measured by the three-dimensional position measurement coordinate system C ₁ using the homogeneous coordinate transformation matrix T ₅ or Treg, the ultrasonic A medical image guidance method, wherein a virtual probe display of a probe is displayed so as to be superimposed on the medical image.