JP2024037685A - Medical image processing apparatus, x-ray diagnostic system, and medical image processing program - Google Patents
Medical image processing apparatus, x-ray diagnostic system, and medical image processing program Download PDFInfo
- Publication number
- JP2024037685A JP2024037685A JP2023125592A JP2023125592A JP2024037685A JP 2024037685 A JP2024037685 A JP 2024037685A JP 2023125592 A JP2023125592 A JP 2023125592A JP 2023125592 A JP2023125592 A JP 2023125592A JP 2024037685 A JP2024037685 A JP 2024037685A
- Authority
- JP
- Japan
- Prior art keywords
- ultrasound
- detector
- ultrasound catheter
- view
- imaging target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000003384 imaging method Methods 0.000 claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000002604 ultrasonography Methods 0.000 claims description 269
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 19
- 230000005484 gravity Effects 0.000 claims description 13
- 238000013459 approach Methods 0.000 claims description 11
- 238000003745 diagnosis Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 description 48
- 238000010586 diagram Methods 0.000 description 28
- 210000005248 left atrial appendage Anatomy 0.000 description 19
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013175 transesophageal echocardiography Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 241000699670 Mus sp. Species 0.000 description 3
- 210000005246 left atrium Anatomy 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 210000003157 atrial septum Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 210000004115 mitral valve Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 208000035478 Interatrial communication Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 210000001765 aortic valve Anatomy 0.000 description 1
- 208000013914 atrial heart septal defect Diseases 0.000 description 1
- 206010003664 atrial septal defect Diseases 0.000 description 1
- 238000013158 balloon valvuloplasty Methods 0.000 description 1
- 210000005242 cardiac chamber Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 235000012489 doughnuts Nutrition 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003191 femoral vein Anatomy 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000002695 general anesthesia Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000002697 interventional radiology Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002690 local anesthesia Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 210000005245 right atrium Anatomy 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本明細書及び図面に開示の実施形態は、医用画像処理装置、X線診断システム、及び医用画像処理プログラムに関する。 Embodiments disclosed in this specification and drawings relate to a medical image processing device, an X-ray diagnostic system, and a medical image processing program.
従来、X線診断装置、超音波診断装置、X線CT(Computed Tomography)装置、及び磁気共鳴イメージング装置等の医用画像診断装置のうち、異なる種類の複数の医用画像診断装置を、治療の精度や効率の向上などを図るために併用することがある。一例として、カテーテルを用いた画像下治療(IVR:Interventional Radiology)における、X線診断装置と超音波診断装置との併用が挙げられる。 Conventionally, different types of medical image diagnostic equipment such as X-ray diagnostic equipment, ultrasound diagnostic equipment, X-ray CT (Computed Tomography) equipment, and magnetic resonance imaging equipment have been used to improve treatment accuracy and They may be used together to improve efficiency. One example is the combined use of an X-ray diagnostic device and an ultrasound diagnostic device in image-guided therapy (IVR: Interventional Radiology) using a catheter.
X線診断装置は、被検体内にX線を透過し、その透過像を画像化する装置である。例えば、カテーテルを用いたIVRでは、医師は、X線アンギオグラフィ装置等のX線診断装置による透視画像又は撮影画像から血管内のカテーテルの位置を確認しながら、被検体にカテーテルを挿入する。被検体の治療対象部位(又は、診断対象部位)にカテーテルが進行した後には、X線の透視画像及び撮影画像から確認し難い組織、例えば、軟部組織等を描出するために、超音波画像が併用されることがある。 An X-ray diagnostic device is a device that transmits X-rays into a subject and converts the transmitted image into an image. For example, in IVR using a catheter, a doctor inserts a catheter into a subject while confirming the position of the catheter in a blood vessel from a fluoroscopic image or a captured image by an X-ray diagnostic device such as an X-ray angiography device. After the catheter has advanced to the treatment target site (or diagnosis target site) of the subject, ultrasound images are used to visualize tissues that are difficult to identify from X-ray fluoroscopic images and photographed images, such as soft tissue. May be used together.
また、従来から、左心耳閉塞等の構造的心疾患(SHD:Structural Heart Disease)のカテーテル治療や心臓及び大血管の解剖学的構造や生理機能の観察等において、経食道心エコー検査(TEE:Transesophageal Echocardiography)が有用であることが知られている。しかし、TEEは、口から食道に超音波内視鏡を挿入し、食道から心臓を観察する検査であるため、一般的には被検体の全身麻酔が必要となる。それに対して、先端に超音波を送受信するフェーズドアレイ式の素子を内蔵した超音波カテーテルの一つである心腔内カテーテルエコー(ICE:Intracardiac Echocardiography)は、局所麻酔下で手技可能なため、TEEよりも被検体に低侵襲である。そのため、SHD治療等において、X線診断装置と併用したICEが注目されている。 Transesophageal echocardiography (TEE) has also been used for catheter treatment of structural heart disease (SHD) such as left atrial appendage obstruction, and for observation of the anatomical structure and physiological function of the heart and large blood vessels. Transesophageal echocardiography) is known to be useful. However, since TEE is a test in which an ultrasound endoscope is inserted into the esophagus through the mouth and the heart is observed through the esophagus, general anesthesia of the subject is generally required. In contrast, intracardiac catheter echocardiography (ICE), which is a type of ultrasound catheter with a built-in phased array element at its tip that transmits and receives ultrasound waves, can be performed under local anesthesia, so TEE It is less invasive to the subject. Therefore, ICE used in combination with an X-ray diagnostic device is attracting attention in SHD treatment and the like.
しかしながら、一般的に、ICEにより収集された信号から生成される超音波画像の領域、即ちICEの撮像領域(以下、視野という)は、TEEと比較して狭いため、SHD治療等において関心領域である左心耳等の患部や、左心耳閉鎖デバイス等の医用デバイスの一部又は全部が、ICEの視野から外れてしまうことがある。そして、関心領域の一部又は全部がICEの視野から外れた場合に、手技者は、関心領域がICEの視野内に描出されるように適切にICEを進行させる必要がある。 However, in general, the area of the ultrasound image generated from the signals collected by ICE, that is, the imaging area of ICE (hereinafter referred to as the field of view), is narrower than that of TEE, so it cannot be used as an area of interest in SHD treatment, etc. Part or all of an affected area, such as a certain left atrial appendage, or a medical device, such as a left atrial appendage closure device, may be out of the field of view of the ICE. When part or all of the region of interest is out of the field of view of the ICE, the operator needs to advance the ICE appropriately so that the region of interest is drawn within the field of view of the ICE.
また、関心領域である治療対象部位や医用デバイスの全部が、ICEの視野内の一部に描出されていた場合であっても、ICEの視野から、医用デバイスの留置状態等を確認できる2次元超音波画像を探索し表示させることは、煩雑な作業である。さらに、関心領域の一部又は全部がICEの視野内に描出されていない場合には、ICEの進行操作を行いながら、関心領域の2次元超音波画像を探索することになり、手技者にとって負担が大きい。 In addition, even if the treatment target area or medical device, which is the area of interest, is depicted in a part of the field of view of the ICE, it is possible to check the placement status of the medical device from the field of view of the ICE in a two-dimensional manner. Searching and displaying ultrasound images is a tedious task. Furthermore, if part or all of the region of interest is not visualized within the field of view of the ICE, a two-dimensional ultrasound image of the region of interest must be searched while the ICE is advanced, which is a burden to the operator. is large.
一方、近年では、カテーテルを用いた手技を支援するためのカテーテル手技支援ロボットも開発されている。カテーテル手技支援ロボットは、カテーテル手技を遠隔地から行うことを可能にすることを狙って、或いは、カテーテル手技を全自動化又は半自動化することを狙って開発されている。すなわち、上記手技者がカテーテル手技支援ロボットとなることもありうる。 On the other hand, in recent years, catheter procedure support robots have also been developed to support procedures using catheters. Catheter procedure support robots have been developed with the aim of making it possible to perform catheter procedures from a remote location, or with the aim of fully or semi-automating catheter procedures. That is, the above-mentioned operator may become a catheter operation support robot.
本明細書及び図面に開示の実施形態が解決しようとする課題の1つは、操作者が超音波カテーテルの進行を適切に行えるように支援することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限らない。後述する各実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。 One of the problems that the embodiments disclosed herein and in the drawings seek to solve is to assist an operator in properly navigating an ultrasound catheter. However, the problems to be solved by the embodiments disclosed in this specification and the drawings are not limited to the above problems. Problems corresponding to the effects of each configuration shown in each embodiment described later can also be positioned as other problems.
一実施形態の医用画像処理装置は、第1取得部と、第2取得部と、検出部と、算出部と、を備える。第1取得部は、被検体の体内に挿入された超音波カテーテルの検出器により収集された信号から生成された超音波画像を取得する。第2取得部は、超音波カテーテルの検出器、並びに、被検体の体内に挿入された医用デバイス及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物、が描出されたX線画像を取得する。検出部は、(a)X線画像に描出された超音波カテーテルの検出器の位置、並びに、(b)超音波画像、及び、X線画像の少なくとも一方に描出された撮像対象物の位置、を検出する。算出部は、検出された超音波カテーテルの検出器の位置、及び、撮像対象物の位置に基づいて、撮像対象物が検出器の視野内に入るように超音波カテーテルを進行させるための進行支援情報、又は、撮像対象物が検出器の視野の中心に近づくように超音波カテーテルを進行させるための進行支援情報を算出する。 A medical image processing apparatus according to one embodiment includes a first acquisition section, a second acquisition section, a detection section, and a calculation section. The first acquisition unit acquires an ultrasound image generated from signals collected by a detector of an ultrasound catheter inserted into the body of the subject. The second acquisition unit includes a detector of the ultrasound catheter, a medical device inserted into the body of the subject, and an imaging target that is at least one of a region of interest in the body of the subject. Get the image. The detection unit detects (a) the position of the detector of the ultrasound catheter depicted in the X-ray image; (b) the position of the imaging target depicted in at least one of the ultrasound image and the X-ray image; Detect. The calculation unit provides advancement support for advancing the ultrasound catheter so that the imaging target enters the field of view of the detector, based on the detected position of the detector of the ultrasound catheter and the position of the imaging target. information or advancement support information for advancing the ultrasound catheter so that the imaging target approaches the center of the field of view of the detector.
以下、図面を参照しながら、医用画像処理装置、X線診断システム、及び医用画像処理プログラムの実施形態について詳細に説明する。 Hereinafter, embodiments of a medical image processing device, an X-ray diagnostic system, and a medical image processing program will be described in detail with reference to the drawings.
(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理装置を備えるX線診断システム1の構成例を示す第1の概略図である。例えば、図1に示すように、X線診断システム1は、医用画像処理装置100及びX線診断装置200を備えて構成される。医用画像処理装置100及びX線診断装置200は、ネットワーク2を介して相互に接続される。また、ネットワーク2には超音波診断装置300も接続される。
(First embodiment)
FIG. 1 is a first schematic diagram showing a configuration example of an X-ray diagnostic system 1 including a medical image processing apparatus according to the first embodiment. For example, as shown in FIG. 1, an X-ray diagnostic system 1 includes a medical image processing device 100 and an X-ray diagnostic device 200. The medical image processing apparatus 100 and the X-ray diagnostic apparatus 200 are connected to each other via a network 2. Further, an ultrasound diagnostic apparatus 300 is also connected to the network 2 .
図2は、第1の実施形態に係る医用画像処理装置を備えるX線診断システム1の構成例を示す第2の概略図である。図2には、第1の実施形態に係るX線診断装置200と、X線診断システム1に接続される超音波診断装置300の構成例の概略図が示されている。 FIG. 2 is a second schematic diagram showing a configuration example of the X-ray diagnostic system 1 including the medical image processing apparatus according to the first embodiment. FIG. 2 shows a schematic diagram of a configuration example of an X-ray diagnostic apparatus 200 according to the first embodiment and an ultrasound diagnostic apparatus 300 connected to the X-ray diagnostic system 1.
図2に示すように、第1の実施形態に係るX線診断装置200は、架台装置210、寝台220、コントローラ230、及び、画像処理装置240を備えている。架台装置210、寝台220、及びコントローラ230は、一般的には、手技室(検査・治療室)に設置される一方、画像処理装置240は、手技室に隣接する制御室に設置される。 As shown in FIG. 2, the X-ray diagnostic apparatus 200 according to the first embodiment includes a gantry device 210, a bed 220, a controller 230, and an image processing device 240. The gantry device 210, bed 220, and controller 230 are generally installed in a procedure room (examination/treatment room), while the image processing device 240 is installed in a control room adjacent to the procedure room.
架台装置210は、X線高電圧発生装置211、X線照射装置212、天板(カテーテルテーブル)221、Cアーム214、X線検出装置215、Cアーム駆動制御機構231、及び寝台駆動制御機構232を有している。 The gantry device 210 includes an X-ray high voltage generator 211, an X-ray irradiation device 212, a top plate (catheter table) 221, a C-arm 214, an X-ray detection device 215, a C-arm drive control mechanism 231, and a bed drive control mechanism 232. have.
X線照射装置212は、Cアーム214の一端に設けられる。X線照射装置212は、コントローラ230による制御によって、前後動が可能なように設けられる。X線照射装置212は、X線源216(例えば、X線管)及び可動絞り装置217を有している。X線管は、X線高電圧発生装置211から高電圧電力の供給を受けて、高電圧電力の条件に応じてX線を発生する。可動絞り装置217は、X線管のX線照射口で、X線を遮蔽する物質から構成された絞り羽根を移動可能に支持する。なお、X線管の前面に、X線管によって発生されたX線の線質を調整する線質調整フィルタを備えてもよい。 X-ray irradiation device 212 is provided at one end of C-arm 214. The X-ray irradiation device 212 is provided so as to be movable back and forth under the control of a controller 230. The X-ray irradiation device 212 includes an X-ray source 216 (for example, an X-ray tube) and a movable aperture device 217. The X-ray tube receives supply of high voltage power from the X-ray high voltage generator 211 and generates X-rays according to the conditions of the high voltage power. The movable aperture device 217 movably supports aperture blades made of a substance that blocks X-rays at the X-ray irradiation port of the X-ray tube. Note that a radiation quality adjustment filter may be provided on the front surface of the X-ray tube to adjust the radiation quality of the X-rays generated by the X-ray tube.
X線検出装置215は、Cアーム214の他端であってX線照射装置212に対向するように設けられる。X線検出装置215は、コントローラ230による制御によって、前後動が可能なように設けられる。X線検出装置215は、FPD(平面検出器:Flat Panel Detector)218及びADC(Analog to Digital Converter)219を備える。 The X-ray detection device 215 is provided at the other end of the C-arm 214 so as to face the X-ray irradiation device 212 . The X-ray detection device 215 is provided so as to be movable back and forth under the control of the controller 230. The X-ray detection device 215 includes an FPD (Flat Panel Detector) 218 and an ADC (Analog to Digital Converter) 219.
FPD218は、二次元に配列された複数の検出素子を有する。FPD218の各検出素子間は、走査線と信号線とが直交するように配設される。なお、FPD218の前面に、グリッドが備えられてもよい。
ADC219は、FPD218から出力される時系列的なアナログ信号(ビデオ信号)の投影データをデジタル信号に変換し、画像処理装置240に出力する。
FPD 218 has a plurality of detection elements arranged two-dimensionally. Between each detection element of FPD218, it is arranged so that a scanning line and a signal line may cross at right angles. Note that a grid may be provided on the front surface of the FPD 218.
The ADC 219 converts projection data of a time-series analog signal (video signal) output from the FPD 218 into a digital signal, and outputs the digital signal to the image processing device 240.
Cアーム214は、X線照射装置212とX線検出装置215とを、被検体を中心に対向配置させる。Cアーム214は、コントローラ230による制御の下、Cアーム駆動制御機構231によって、X線照射装置212及びX線検出装置215を一体としてCアーム214の円弧方向に円弧動させる。なお、X線診断装置200がCアーム214を備え、Cアーム214がX線照射装置212及びX線検出装置215を一体として動作させる構成を例にとって説明するが、その場合に限定されるものではない。例えば、X線診断装置200がCアーム214を備えずに、X線照射装置212及びX線検出装置215をそれぞれ独立して動作させる構成であってもよい。 The C-arm 214 arranges an X-ray irradiation device 212 and an X-ray detection device 215 to face each other with the subject at the center. Under the control of a controller 230, the C-arm 214 moves the X-ray irradiation device 212 and the X-ray detection device 215 together in an arc in the arc direction of the C-arm 214 by a C-arm drive control mechanism 231. In addition, although the X-ray diagnostic apparatus 200 includes a C-arm 214 and the C-arm 214 operates the X-ray irradiation apparatus 212 and the X-ray detection apparatus 215 as an example, the present invention is not limited to this case. do not have. For example, the X-ray diagnostic apparatus 200 may not include the C-arm 214, and the X-ray irradiation apparatus 212 and the X-ray detection apparatus 215 may be operated independently.
図2は、Cアームを1つだけ有するシングルプレーン型のX線診断装置200の構成例を示しているが、X線診断装置200は、2つのアームによって同時に2方向からの透視が可能なバイプレーン型のX線診断装置200であってもよい。 FIG. 2 shows an example of the configuration of a single-plane type X-ray diagnostic apparatus 200 having only one C-arm. The X-ray diagnostic apparatus 200 may be a plain type.
寝台220は、床面に支持され、天板221を支持する。寝台220は、コントローラ230による制御の下、寝台駆動制御機構232によって、天板221をスライド(X、Z軸方向)動、上下(Y軸方向)動及びローリングさせることができる。なお、架台装置210は、X線照射装置212が天板221下方に位置するアンダーチューブタイプである場合を説明するが、X線照射装置212が天板221の上方に位置するオーバーチューブタイプである場合であってもよい。 The bed 220 is supported on the floor and supports the top plate 221. The bed 220 can slide (in the X and Z axis directions), move up and down (in the Y axis direction), and roll the top plate 221 by the bed drive control mechanism 232 under the control of the controller 230 . Note that the case where the gantry device 210 is an undertube type in which the X-ray irradiation device 212 is located below the top plate 221 will be described, but it is an overtube type in which the X-ray irradiation device 212 is located above the top plate 221. It may be a case.
コントローラ230は、図示しないCPU(Central Processing Unit)及びメモリを含む。コントローラ230は、画像処理装置240の制御に従って、位置合わせのために、架台装置210のX線照射装置212、X線検出装置215、及びCアーム214の駆動と、寝台220の駆動とを制御する。また、コントローラ230は、画像処理装置240の制御に従って、手技用のX線撮影やX線透視のために、X線照射装置212、X線検出装置215、及びCアーム駆動制御機構231等の動作を制御する。 The controller 230 includes a CPU (Central Processing Unit) and memory (not shown). The controller 230 controls the driving of the X-ray irradiation device 212, the X-ray detection device 215, and the C-arm 214 of the gantry device 210, and the driving of the bed 220 for positioning according to the control of the image processing device 240. . The controller 230 also operates the X-ray irradiation device 212, the X-ray detection device 215, the C-arm drive control mechanism 231, etc. for X-ray photography and X-ray fluoroscopy for procedures according to the control of the image processing device 240. control.
画像処理装置240は、コンピュータをベースとして構成されており、処理回路241、記憶回路242、入力インターフェース243、ネットワークインターフェース244、及びディスプレイ250を有する。 The image processing device 240 is configured based on a computer, and includes a processing circuit 241, a storage circuit 242, an input interface 243, a network interface 244, and a display 250.
処理回路241は、専用又は汎用のプロセッサを有し、記憶回路242に記憶させるプログラムを実行することによるソフトウェア処理等によって、X線診断装置200全体の動作制御をする回路であり、入力インターフェース243を介した操作者からの入力や、記憶回路242から読み込んだ各種プログラムの実行及び各種データに基づき、コントローラ230を制御する。また、処理回路241は、架台装置210によって取得された信号に基づいて、被検体PのX線画像(透視画像や撮影画像)を生成し、記憶回路242が記憶する表示用のX線画像をディスプレイ250等にて表示するようにX線診断装置200を制御する。 The processing circuit 241 has a dedicated or general-purpose processor, and is a circuit that controls the operation of the entire X-ray diagnostic apparatus 200 through software processing by executing a program stored in the storage circuit 242. The controller 230 is controlled based on input from an operator via the controller 230, execution of various programs read from the storage circuit 242, and various data. Furthermore, the processing circuit 241 generates an X-ray image (a fluoroscopic image or a photographed image) of the subject P based on the signal acquired by the gantry device 210, and generates an X-ray image for display stored in the storage circuit 242. The X-ray diagnostic apparatus 200 is controlled to display information on the display 250 or the like.
記憶回路242は、コントローラ230の制御、画像処理、及び表示処理等を行なうための各種プログラム、診断情報、診断プロトコル等の各種データ、画像データ等を記憶する。記憶回路242は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。 The storage circuit 242 stores various programs for controlling the controller 230, image processing, display processing, etc., diagnostic information, various data such as diagnostic protocols, image data, and the like. The storage circuit 242 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, a hard disk, an optical disk, or the like.
ネットワークインターフェース244は、有線又は無線で、ネットワーク2に接続された各種の装置と通信を行うためのインターフェースである。例えば、X線診断装置200は、ネットワークインターフェース244によって、医用画像処理装置100や、超音波診断装置300等との間で各種データや画像のやり取りを行うことができる。 The network interface 244 is an interface for communicating with various devices connected to the network 2 by wire or wirelessly. For example, the X-ray diagnostic apparatus 200 can exchange various data and images with the medical image processing apparatus 100, the ultrasound diagnostic apparatus 300, and the like via the network interface 244.
入力インターフェース243は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等によって実現される。 The input interface 243 includes an input device that can be operated by an operator and an input circuit that inputs signals from the input device. Input devices include mice, keyboards, touchpads that perform input operations by touching the operating surface, touchscreens that integrate the display screen and touchpad, non-contact input circuits using optical sensors, voice input circuits, etc. Realized.
ディスプレイ250は、入力インターフェース243を用いた操作者の指示を受け付けるためのGUIや、画像処理装置240において生成されたX線画像等を表示する。また、ディスプレイ250は、X線診断装置200の処理状況や処理結果を操作者に通知するために、各種のメッセージや表示情報を表示する。また、ディスプレイ250は、スピーカーを有し、音声として出力できてもよい。また、ディスプレイ250は、ネットワーク2に接続された各種の装置から受信したデータや画像等、医用画像処理装置100で生成される手技を支援するための各種の支援画像や支援情報等を表示することもできる。 The display 250 displays a GUI for receiving instructions from an operator using the input interface 243, an X-ray image generated by the image processing device 240, and the like. Further, the display 250 displays various messages and display information in order to notify the operator of the processing status and processing results of the X-ray diagnostic apparatus 200. Further, the display 250 may have a speaker and may be able to output audio. The display 250 can also display various support images and support information generated by the medical image processing device 100 to support the procedure, such as data and images received from various devices connected to the network 2. You can also do it.
一方、図2に示すように、超音波診断装置300は、超音波装置本体310、入力インターフェース320、及びディスプレイ330を備える他、超音波カテーテル3を備えて構成される。超音波カテーテル3は、超音波装置本体310と通信可能に接続される。 On the other hand, as shown in FIG. 2, the ultrasonic diagnostic apparatus 300 includes an ultrasonic catheter 3 in addition to an ultrasonic apparatus main body 310, an input interface 320, and a display 330. The ultrasound catheter 3 is communicably connected to the ultrasound device main body 310.
超音波装置本体310は、コンピュータをベースとして構成されており、送受信回路311、処理回路312、記憶回路313、及びネットワークインターフェース314を有する。 The ultrasound device main body 310 is configured based on a computer, and includes a transmitting/receiving circuit 311, a processing circuit 312, a storage circuit 313, and a network interface 314.
送受信回路311は、超音波カテーテル3に超音波駆動信号を供給し、超音波カテーテル3が受信した反射波信号から反射波データを生成する。 The transmitting/receiving circuit 311 supplies an ultrasonic drive signal to the ultrasound catheter 3 and generates reflected wave data from the reflected wave signal received by the ultrasound catheter 3.
処理回路312は、専用又は汎用のプロセッサを有し、記憶回路313に記憶させるプログラムを実行することによるソフトウェア処理等によって、超音波診断装置300の全体の動作制御をする回路であり、入力インターフェース320を介した操作者からの入力や、記憶回路313から読み込んだ各種プログラムの実行及び各種データに基づき、送受信回路311の処理を制御する。また、処理回路312は、超音波カテーテル3が受信した反射波信号に基づいて超音波画像データを生成し、生成した超音波画像データから表示用の超音波画像を生成する。また、処理回路312は、記憶回路313が記憶する表示用の超音波画像をディスプレイ330等にて表示するように超音波診断装置300を制御する。 The processing circuit 312 is a circuit that has a dedicated or general-purpose processor and controls the overall operation of the ultrasound diagnostic apparatus 300 through software processing by executing a program stored in the storage circuit 313. The processing of the transmitting/receiving circuit 311 is controlled based on the input from the operator via the memory circuit 313, the execution of various programs read from the storage circuit 313, and various data. Furthermore, the processing circuit 312 generates ultrasound image data based on the reflected wave signal received by the ultrasound catheter 3, and generates an ultrasound image for display from the generated ultrasound image data. Furthermore, the processing circuit 312 controls the ultrasound diagnostic apparatus 300 to display the display ultrasound image stored in the storage circuit 313 on the display 330 or the like.
記憶回路313は、超音波送受信、画像処理及び表示処理を行なうための各種プログラム、診断情報、診断プロトコル等の各種データ、反射波データ、画像データ等を記憶する。記憶回路120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。 The storage circuit 313 stores various programs for transmitting and receiving ultrasonic waves, image processing, and display processing, various data such as diagnostic information and diagnostic protocols, reflected wave data, image data, and the like. The storage circuit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, a hard disk, an optical disk, or the like.
ネットワークインターフェース314は、有線又は無線で、ネットワーク2に接続された各種の装置と通信を行うためのインターフェースである。例えば、超音波診断装置300は、ネットワークインターフェース314によって、医用画像処理装置100や、X線診断装置200等との間で各種データのやり取りを行うことができる。 The network interface 314 is an interface for communicating with various devices connected to the network 2 by wire or wirelessly. For example, the ultrasonic diagnostic apparatus 300 can exchange various data with the medical image processing apparatus 100, the X-ray diagnostic apparatus 200, etc. via the network interface 314.
入力インターフェース320は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等によって実現される。 The input interface 320 includes an input device that can be operated by an operator and an input circuit that inputs signals from the input device. Input devices include mice, keyboards, touchpads that perform input operations by touching the operating surface, touchscreens that integrate the display screen and touchpad, non-contact input circuits using optical sensors, voice input circuits, etc. Realized.
ディスプレイ330は、入力インターフェース320を用いた操作者の指示を受け付けるためのGUIや、超音波装置本体310において生成された超音波画像等を表示する。また、ディスプレイ330は、超音波装置本体310の処理状況や処理結果を操作者に通知するために、各種のメッセージや表示情報を表示する。また、ディスプレイ330は、スピーカーを有し、音声を出力できてもよい。また、ディスプレイ330は、ネットワーク2に接続された各種の装置から受信したデータや画像等、医用画像処理装置100で生成される手技を支援するための各種の支援画像や支援情報等を表示することもできる。 The display 330 displays a GUI for receiving instructions from an operator using the input interface 320, an ultrasound image generated in the ultrasound apparatus main body 310, and the like. Further, the display 330 displays various messages and display information in order to notify the operator of the processing status and processing results of the ultrasound apparatus main body 310. Further, the display 330 may include a speaker and may be able to output audio. The display 330 can also display various support images and support information generated by the medical image processing device 100 to support the procedure, such as data and images received from various devices connected to the network 2. You can also do it.
図2では、手技に用いられる超音波カテーテル3も図示されている。本明細書では、主に、被検体Pの心腔内に挿入し、超音波装置本体310と通信可能に接続された超音波プローブを超音波カテーテル3と呼ぶものとする。超音波カテーテル3としては、例えば、大腿静脈から体腔内に挿入され、心臓内まで進行させ、左心房、左心耳、大動脈、僧帽弁、大動脈弁などを走査して超音波画像を生成することができるICE等がある。この他、被検体Pの血管等の管状組織などに挿入され、管状組織等を走査して超音波画像を生成するデバイスを超音波カテーテル3としてもよい。 In FIG. 2, an ultrasound catheter 3 used for the procedure is also illustrated. In this specification, the ultrasound probe inserted into the heart chamber of the subject P and communicably connected to the ultrasound device main body 310 is mainly referred to as the ultrasound catheter 3. For example, the ultrasound catheter 3 may be inserted into a body cavity from the femoral vein, advanced into the heart, and scan the left atrium, left atrial appendage, aorta, mitral valve, aortic valve, etc. to generate ultrasound images. There are ICEs etc. that can do this. In addition, the ultrasound catheter 3 may be a device that is inserted into a tubular tissue such as a blood vessel of the subject P and scans the tubular tissue or the like to generate an ultrasound image.
超音波カテーテル3は、被検体Pの体腔内に挿入され、体腔内で操作される。超音波カテーテル3は、図9に示すように、その先端部に検出器30を有し、その検出器30のアレイ面31には、複数の圧電素子を有する。その複数の圧電素子は、超音波装置本体310からケーブル32により供給される駆動信号に基づき超音波を発生し、また、被検体Pからの反射波を受信して電気信号に変換する。アレイ面31は、3次元空間をスキャンできる2次元アレイである。また、アレイ面31は、2次元空間をスキャンできる1次元アレイでもよい。 The ultrasound catheter 3 is inserted into the body cavity of the subject P and operated within the body cavity. As shown in FIG. 9, the ultrasound catheter 3 has a detector 30 at its tip, and an array surface 31 of the detector 30 has a plurality of piezoelectric elements. The plurality of piezoelectric elements generate ultrasonic waves based on a drive signal supplied from the ultrasound device main body 310 via the cable 32, and also receive reflected waves from the subject P and convert them into electrical signals. The array surface 31 is a two-dimensional array that can scan a three-dimensional space. Further, the array surface 31 may be a one-dimensional array that can scan a two-dimensional space.
図2では、手技に用いられる第1の実施形態に係る手技用カテーテル4も図示されている。本明細書では、主に、被検体Pの体腔内や血管等の管状組織等に挿入し、治療、診断、又は治療を行うため(すなわち、治療過程)の支援を行う細い医療器具を手技用カテーテル4と呼ぶものとする。手技用カテーテル4は、例えば、カテーテルと呼ばれる細いチューブ、カテーテルを治療対象部位へ誘導するためのガイドワイヤ、及び、カテーテルの先端部に取り付けられた医用デバイス40を備えて構成されている。 In FIG. 2, a catheter 4 for a procedure according to the first embodiment used for a procedure is also illustrated. In this specification, the term ``procedure'' refers to a thin medical device that is inserted into a body cavity of a subject P or into a tubular tissue such as a blood vessel to support treatment, diagnosis, or treatment (i.e., a treatment process). It shall be referred to as catheter 4. The procedure catheter 4 includes, for example, a thin tube called a catheter, a guide wire for guiding the catheter to a treatment target site, and a medical device 40 attached to the distal end of the catheter.
デバイス操作部41は、医師等の手技者が、手技用カテーテル4を被検体Pの血管に挿入し、所定の対象部位までを進行させるための手動操作を行う器具である。ここで、所定の対象部位とは、治療、診断、又は治療過程の支援を行う部位であり、被検体Pの体内の関心領域ということもできる。
医用デバイス40は、手技用カテーテル4が被検体Pの体内に挿入された後、治療が行われる所定の対象部位で用いられる部材である。医用デバイス40としては、例えば、閉塞デバイス、バルーン、及びステント等のデバイス(例えば、図5の医用デバイス40a)がある。
The device operation section 41 is an instrument that a medical technician such as a doctor manually operates to insert the surgical catheter 4 into the blood vessel of the subject P and advance it to a predetermined target site. Here, the predetermined target site is a site that performs treatment, diagnosis, or supports the treatment process, and can also be referred to as a region of interest within the body of the subject P.
The medical device 40 is a member used at a predetermined target site where treatment is performed after the surgical catheter 4 is inserted into the body of the subject P. Examples of the medical device 40 include devices such as occlusion devices, balloons, and stents (eg, medical device 40a in FIG. 5).
医用デバイス40は、他に、手技用カテーテル4が被検体Pの体内に挿入された後、治療過程の所定の対象部位で用いられる部材であってもよい。医用デバイス40は、穿刺針(例えば、図4の医用デバイス40b)等であってもよい。なお、1つの手技用カテーテル4に複数の医用デバイス40が備えられていてもよい。 The medical device 40 may also be a member that is used at a predetermined target site in the treatment process after the procedure catheter 4 is inserted into the body of the subject P. The medical device 40 may be a puncture needle (for example, the medical device 40b in FIG. 4) or the like. Note that one surgical catheter 4 may be equipped with a plurality of medical devices 40.
図3乃至図5は、それぞれ、第1の実施形態に係る手技部位の一例と、第1の実施形態に係る手技の一例である中隔穿刺及び左心耳閉塞手技と、を説明するための図である。左心耳閉塞手技では、一般的に、超音波カテーテル3と手技用カテーテル4とが、被検体Pの体内に血管から挿入された後、右心房、左心房、そして治療対象部位である左心耳近傍へと進行される。 3 to 5 are diagrams for explaining an example of a surgical site according to the first embodiment, and a septal puncture and a left atrial appendage occlusion technique, which are examples of the surgical procedure according to the first embodiment, respectively. It is. In the left atrial appendage occlusion procedure, the ultrasound catheter 3 and the procedure catheter 4 are generally inserted into the body of the subject P through a blood vessel, and then inserted into the right atrium, the left atrium, and the vicinity of the left atrial appendage, which is the treatment target site. will proceed to.
具体的には、図4に示すように、超音波カテーテル3と手技用カテーテル4とは、治療対象部位である左心耳近傍へ進行するために、中隔穿刺が行われる。中核穿刺とは、治療過程において、心房中隔に穿刺針により穴を開ける処置である。手技者は、医用デバイス40bと治療過程の処置を行う所定の対象部位の双方もしくはその一方を観察する。そのために、手技者は、超音波カテーテル3と手技用カテーテル4との双方を操作して、医用デバイス40と治療過程の処置を行う対象部位の双方が良好に描出される位置まで、超音波カテーテル3を進行させることになる。例えば、中隔穿刺では、心房中隔近傍が被検体Pの体内の関心領域として、超音波カテーテル3により観察される。 Specifically, as shown in FIG. 4, septal puncture is performed in order for the ultrasound catheter 3 and the procedure catheter 4 to proceed to the vicinity of the left atrial appendage, which is the treatment target site. Core puncture is a procedure in which a hole is made in the atrial septum with a puncture needle during the treatment process. The operator observes the medical device 40b and/or a predetermined target site to be treated during the treatment process. For this purpose, the operator operates both the ultrasound catheter 3 and the procedure catheter 4 to move the ultrasound catheter to a position where both the medical device 40 and the target area to be treated in the treatment process can be visualized well. 3 will proceed. For example, in septal puncture, the vicinity of the atrial septum is observed with the ultrasound catheter 3 as a region of interest within the body of the subject P.
続いて、中隔穿刺後には、図5に示すように、第1に、閉塞デバイスのサイズ決めのために、超音波カテーテル3により治療対象部位である左心耳のサイズが計測される。第2に、左心耳のサイズに適した閉塞デバイスが左心房にナビゲートされる。第3に、閉塞デバイスが留置される直前にX線画像上で左心耳の形状が観察されるために造影剤が流される。第4に、左心耳が閉塞されるように手技用カテーテル4の先端部の閉塞デバイスが展開され、留置される。第4の段階において、手技者は、左心耳と閉塞デバイスの密着状態等、治療対象部位の状況を観察し、観察状況に応じて閉塞デバイスの再留置等の処置を行う。 Subsequently, after the septal puncture, as shown in FIG. 5, first, the size of the left atrial appendage, which is the treatment target site, is measured using the ultrasound catheter 3 in order to determine the size of the occlusion device. Second, an occlusion device appropriate to the size of the left atrial appendage is navigated into the left atrium. Third, a contrast agent is flushed to observe the shape of the left atrial appendage on the X-ray image just before the occlusion device is placed. Fourth, the occlusion device at the tip of the procedure catheter 4 is deployed and placed so that the left atrial appendage is occluded. In the fourth step, the operator observes the condition of the treatment target site, such as the state of close contact between the left atrial appendage and the occlusion device, and performs measures such as re-indwelling the occlusion device depending on the observation situation.
すなわち、第4の段階において、手技者は、医用デバイス40と治療を行う所定の対象部位の双方もしくはその一方を観察するために、超音波カテーテル3と手技用カテーテル4との双方を操作して、医用デバイス40と治療対象部位との双方が良好に描出される位置まで、超音波カテーテル3を進行させることになる。例えば、左心耳閉塞手技では、左心耳近傍が被検体Pの体内の関心領域として、超音波カテーテル3により観察される。 That is, in the fourth step, the operator operates both the ultrasound catheter 3 and the procedure catheter 4 in order to observe the medical device 40 and/or the predetermined target site to be treated. , the ultrasound catheter 3 is advanced to a position where both the medical device 40 and the treatment target site are well visualized. For example, in a left atrial appendage occlusion procedure, the vicinity of the left atrial appendage is observed with the ultrasound catheter 3 as a region of interest within the body of the subject P.
なお、図3及至図5では、第1の実施形態に係る手技の一例として左心耳閉塞手技及び閉塞デバイスについて説明したが、本実施形態は、左心耳閉塞手技以外の心腔内手技、例えば、心房中隔欠損閉塞手技、僧帽弁閉塞手技、バルーン大動脈弁形成手技等の他の手技や治療過程の処置を排除するものではない。また、穿刺針や閉塞デバイス以外の医用デバイス40を排除するものではない。また、第1の実施形態に係る手技例として、医用デバイス40による治療過程及び治療について説明したが、本実施形態は、医用デバイス40による診断等を排除するものではない。 Note that in FIGS. 3 to 5, the left atrial appendage occlusion technique and the occlusion device have been described as an example of the procedure according to the first embodiment, but the present embodiment describes intracardiac procedures other than the left atrial appendage occlusion technique, for example, It does not exclude other procedures or course of treatment procedures, such as atrial septal defect occlusion, mitral valve occlusion, balloon aortic valvuloplasty. Furthermore, medical devices 40 other than puncture needles and occlusion devices are not excluded. Further, although the treatment process and treatment using the medical device 40 have been described as an example of a procedure according to the first embodiment, this embodiment does not exclude diagnosis and the like using the medical device 40.
図6は、第1の実施形態に係る医用画像処理装置の構成例を説明するための概略図である。図6に示すように、第1の実施形態に係る医用画像処理装置100は、X線診断装置200、及び超音波診断装置300、に接続可能であり、例えば、ワークステーションやパーソナルコンピュータ等のコンピュータとして構成される。医用画像処理装置100は、手技者に対して、手技を支援するための画像や情報を提供する。 FIG. 6 is a schematic diagram for explaining a configuration example of a medical image processing apparatus according to the first embodiment. As shown in FIG. 6, the medical image processing apparatus 100 according to the first embodiment can be connected to an X-ray diagnostic apparatus 200 and an ultrasound diagnostic apparatus 300, and is connected to a computer such as a workstation or a personal computer. Constructed as. The medical image processing apparatus 100 provides images and information for supporting a surgical procedure to a medical technician.
医用画像処理装置100は、処理回路110、記憶回路120、入力インターフェース130、及びネットワークインターフェース140を少なくとも備える。 The medical image processing apparatus 100 includes at least a processing circuit 110, a storage circuit 120, an input interface 130, and a network interface 140.
また、医用画像処理装置100は、ディスプレイ150をさらに備えていてもよい。ディスプレイ150は、医用画像処理装置100で生成される超音波カテーテル3の進行支援情報を手技者に提供する。ディスプレイ150は、例えば、手技者に見えやすい位置に配置される大型のディスプレイ装置であってもよく、スピーカーを有し、進行支援情報を音声で出力できてもよい。また、ディスプレイ150は、処理回路110によって生成された進行支援情報等のデータの他に、医用画像処理装置100で生成された手技を支援するための画像等の各種画像や、ネットワーク2で接続された各種装置から受信したデータ、画像等を表示することもできる。 Furthermore, the medical image processing apparatus 100 may further include a display 150. The display 150 provides the operator with progress support information for the ultrasound catheter 3 generated by the medical image processing apparatus 100. The display 150 may be, for example, a large display device placed in a position that is easily visible to the operator, and may have a speaker and be able to output progress support information in audio form. In addition to data such as progress support information generated by the processing circuit 110, the display 150 also displays various images such as images generated by the medical image processing device 100 to support a procedure, and images connected to the network 2. It is also possible to display data, images, etc. received from various devices.
ネットワークインターフェース140は、有線又は無線で、ネットワーク2に接続された各種の装置と通信を行うためのインターフェースである。例えば、医用画像処理装置100は、ネットワークインターフェース140によって、X線診断装置200や、超音波診断装置300等との間で各種データのやり取りを行うことができる。 The network interface 140 is an interface for communicating with various devices connected to the network 2 by wire or wirelessly. For example, the medical image processing apparatus 100 can exchange various data with an X-ray diagnostic apparatus 200, an ultrasound diagnostic apparatus 300, etc. via the network interface 140.
入力インターフェース130は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等によって実現される。 The input interface 130 includes an input device that can be operated by an operator and an input circuit that inputs signals from the input device. Input devices include mice, keyboards, touchpads that perform input operations by touching the operating surface, touchscreens that integrate the display screen and touchpad, non-contact input circuits using optical sensors, voice input circuits, etc. Realized.
記憶回路120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。記憶回路120は、処理回路110において用いられる各種処理プログラム(アプリケーションプログラムの他、OS(Operating System)等も含まれる)や、プログラムの実行に必要なデータを記憶する。また、記憶回路120は、入力インターフェース130やネットワークインターフェース140を介して入力した画像データ等の各種データを記憶することができる。 The memory circuit 120 is configured by, for example, a semiconductor memory element such as a RAM (Random Access Memory), a flash memory, a hard disk, an optical disk, or the like. The storage circuit 120 stores various processing programs used in the processing circuit 110 (including an OS (Operating System) and the like in addition to application programs) and data necessary for executing the programs. Furthermore, the storage circuit 120 can store various data such as image data input via the input interface 130 and the network interface 140.
処理回路110は、専用又は汎用のプロセッサを有し、記憶回路120に記憶させるプログラムを実行することによるソフトウェア処理によって、後述する各種の機能を実現する。 The processing circuit 110 has a dedicated or general-purpose processor, and implements various functions described below through software processing by executing a program stored in the storage circuit 120.
処理回路110は、第1取得機能F01、第2取得機能F02、検出機能F03、判定機能F04、及び算出機能F05の各機能を実現する。 The processing circuit 110 realizes each function of a first acquisition function F01, a second acquisition function F02, a detection function F03, a determination function F04, and a calculation function F05.
これらの各機能について、図7に示すフローチャート、及び、図8乃至図11に示す説明図を用いて説明する。図7は、第1の実施形態に係る医用画像処理装置100の動作例、あるいは、医用画像処理プログラムを示すフローチャートである。 Each of these functions will be explained using the flowchart shown in FIG. 7 and the explanatory diagrams shown in FIGS. 8 to 11. FIG. 7 is a flowchart showing an example of the operation of the medical image processing apparatus 100 or a medical image processing program according to the first embodiment.
ステップST10では、診断又は治療対象の被検体Pの体内に挿入された超音波カテーテル3の検出器30により、超音波診断装置300で収集された信号から生成された超音波画像を取得する。ステップST10の被検体Pの超音波画像を取得する処理は、第1取得機能F01が行う。 In step ST10, the detector 30 of the ultrasound catheter 3 inserted into the body of the subject P to be diagnosed or treated acquires an ultrasound image generated from signals collected by the ultrasound diagnostic apparatus 300. The process of acquiring the ultrasound image of the subject P in step ST10 is performed by the first acquisition function F01.
ステップST11では、X線診断装置200を用いて撮像された、診断又は治療対象の被検体PのX線画像を取得する。ステップST11で取得されるX線画像は、超音波カテーテル3の検出器30、並びに、被検体Pの体内に挿入された医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物、が描出されたX線画像である。
また、図8は、第1の実施形態に係るX線画像撮像について説明するための図である。図8に示すように、ステップST11のX線画像は、同一部位を含むように、少なくとも2方向からX線を照射して撮像される、撮影画像(静止画)、又は透視画像(動画)である。ステップST11の被検体PのX線画像データを取得する処理は、第2取得機能F02が行う。
In step ST11, an X-ray image of the subject P to be diagnosed or treated is acquired using the X-ray diagnostic apparatus 200. The X-ray image acquired in step ST11 is obtained by imaging at least one of the detector 30 of the ultrasound catheter 3, the medical device 40 inserted into the body of the subject P, and the region of interest inside the body of the subject P. This is an X-ray image depicting an object.
Further, FIG. 8 is a diagram for explaining X-ray image capturing according to the first embodiment. As shown in FIG. 8, the X-ray image in step ST11 is a captured image (still image) or a fluoroscopic image (video) that is captured by irradiating X-rays from at least two directions so as to include the same region. be. The process of acquiring the X-ray image data of the subject P in step ST11 is performed by the second acquisition function F02.
ステップST12では、ステップST11で取得されたX線画像に描出された超音波カテーテル3の検出器30の位置を検出する。ステップST11で取得された、同一部位を含む複数のX線画像から、例えば、ステレオカメラの原理等により、超音波カテーテル3の検出器30の、例えばX線座標系における位置が特定される。ステップST12の超音波カテーテル3の検出器30の位置を検出する処理は、検出機能F03が行う。なお、ここで、X線座標系とは、図2に示すように、3体軸のうち、被検体の左右方向の軸をX軸、背腹方向の軸をY軸、頭足方向の軸をZ軸、とした右手系座標とする。 In step ST12, the position of the detector 30 of the ultrasound catheter 3 depicted in the X-ray image acquired in step ST11 is detected. From the plurality of X-ray images including the same region acquired in step ST11, the position of the detector 30 of the ultrasound catheter 3 in, for example, the X-ray coordinate system is specified, for example, based on the principle of a stereo camera. The process of detecting the position of the detector 30 of the ultrasound catheter 3 in step ST12 is performed by the detection function F03. As shown in Figure 2, the X-ray coordinate system here refers to the three body axes: the X-axis is the left-right axis of the subject, the Y-axis is the dorsal-ventral axis, and the head-foot axis is the X-axis. Let be right-handed coordinates with the Z axis as the Z axis.
図9は、第1の実施形態に係る超音波検出器の位置情報と超音波画像における視野について説明するための図である。図9に示すように、超音波カテーテル3の検出器30の位置情報として、例えば、超音波カテーテル3の検出器30のX線座標系における重心位置と、重心位置から延びる、検出器30のアレイ面31の法線ベクトルとがある。 FIG. 9 is a diagram for explaining the position information of the ultrasound detector and the field of view in the ultrasound image according to the first embodiment. As shown in FIG. 9, the position information of the detector 30 of the ultrasound catheter 3 includes, for example, the barycenter position of the detector 30 of the ultrasound catheter 3 in the X-ray coordinate system, and the array of the detectors 30 extending from the barycenter position. There is a normal vector of the surface 31.
また、図9において、超音波カテーテル3の検出器30のアレイ面31は2次元アレイである。本明細書では、超音波カテーテル3の検出器30の位置と検出器30のアレイ面31の角度とを固定した状態で、収集される超音波データから生成される複数の扇形の2次元超音波画像をそれぞれ「ビュー」と呼ぶ。また、その複数の「ビュー」を全ての範囲において重ね合わせた3次元超音波画像に対応する範囲を、すなわち、全「ビュー」の集合に対応する範囲を「視野」と呼ぶ。
「視野」は、超音波カテーテル3の検出器30の位置と検出器30のアレイ面31の角度とを固定した状態で、検出器30の走査範囲が定まれば算出可能である。
Further, in FIG. 9, the array surface 31 of the detector 30 of the ultrasound catheter 3 is a two-dimensional array. In this specification, a plurality of fan-shaped two-dimensional ultrasound waves are generated from collected ultrasound data while the position of the detector 30 of the ultrasound catheter 3 and the angle of the array surface 31 of the detector 30 are fixed. Each image is called a "view." Further, a range corresponding to a three-dimensional ultrasound image obtained by superimposing all the multiple "views", that is, a range corresponding to a set of all "views" is called a "field of view".
The "field of view" can be calculated if the scanning range of the detector 30 is determined while the position of the detector 30 of the ultrasound catheter 3 and the angle of the array surface 31 of the detector 30 are fixed.
図7に戻り、ステップST13では、ステップST10で取得された超音波画像を用いて、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物が超音波カテーテル3の検出器30の視野内に入っているか否かを判定する。具体的には、ステップST10で取得した超音波画像に医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物が描出されているとき、撮像対象物が検出器30の視野内に入っていると判定する。また、ステップST10で取得した超音波画像に医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物が描出されていないとき、撮像対象物が検出器30の視野内に入っていないと判定する。ステップST13の撮像対象物が超音波カテーテル3の検出器30の視野内に入っているか否かを判定する処理は、判定機能F04が行う。 Returning to FIG. 7, in step ST13, the ultrasound catheter 3 is detected as the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body, using the ultrasound image acquired in step ST10. It is determined whether the object is within the field of view of the device 30. Specifically, when the imaging target that is at least one of the medical device 40 and the region of interest inside the subject's body is depicted in the ultrasound image acquired in step ST10, the imaging target is located on the detector 30. It is determined that it is within the field of view. Further, when the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body, is not depicted in the ultrasound image acquired in step ST10, the imaging target is within the field of view of the detector 30. It is determined that it is not included. The process of determining whether or not the object to be imaged in step ST13 is within the field of view of the detector 30 of the ultrasound catheter 3 is performed by the determination function F04.
また、「視野」が1つの「ビュー」で構成される場合、つまり、検出器30の視野が2次元である場合も、ステップST13の撮像対象物が超音波カテーテル3の検出器30の視野内に入っているか否かを判定する処理は可能である。 Also, when the "field of view" is composed of one "view", that is, when the field of view of the detector 30 is two-dimensional, the object to be imaged in step ST13 is within the field of view of the detector 30 of the ultrasound catheter 3. It is possible to perform processing to determine whether or not the
ステップST14は、ステップST13において、YESの場合、すなわち、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物の一部又は全部が超音波カテーテル3の検出器30の視野内に入っている場合に行われる。ステップST14では、ステップST10で取得された超音波画像とステップST11で取得されたX線画像との少なくとも一方から、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物の位置を検出する。ステップST14の撮像対象物の位置を検出する処理は、検出機能F03が行う。 Step ST14 is performed when step ST13 is YES, that is, a part or all of the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body, is detected by the detector 30 of the ultrasound catheter 3. This is done when it is within the field of view. In step ST14, from at least one of the ultrasound image acquired in step ST10 and the X-ray image acquired in step ST11, the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body, is determined. Detect the position of. The process of detecting the position of the object to be imaged in step ST14 is performed by the detection function F03.
ステップST10で取得された超音波画像から、ステップST14の医用デバイス40の位置を検出する場合には、超音波画像に描出されている医用デバイス40の位置、例えば、視野内における医用デバイス40の位置から、医用デバイス40のX線座標系における重心位置を検出する。 When detecting the position of the medical device 40 in step ST14 from the ultrasound image acquired in step ST10, the position of the medical device 40 depicted in the ultrasound image, for example, the position of the medical device 40 within the field of view. From this, the center of gravity position of the medical device 40 in the X-ray coordinate system is detected.
例えば、医用デバイス40の端の部分しか超音波画像に描出されていない場合等、超音波画像に描出されている医用デバイス40が、その重心を含まない場合について、図5の医用デバイス40aを例に説明する。図5に示すように、医用デバイス40a(40)の径Lとなりうる治療対象部位のサイズと医用デバイス40a(40)の展開後の形状(例えば、球、楕円球、ドーナツ型、筒状型等)とから、医用デバイス40a(40)のX線座標系における重心位置を推定してもよい。治療対象部位のサイズは、例えば、医用デバイス40a(40)のサイズ決めの際に計測したデータ、医用デバイス40a(40)を留置する直前に治療対象部位の形状をみるために撮像したX線画像等を使用することができる。 For example, when the medical device 40 depicted in the ultrasound image does not include its center of gravity, such as when only the end portion of the medical device 40 is depicted in the ultrasound image, the medical device 40a in FIG. 5 is used as an example. Explain. As shown in FIG. 5, the size of the treatment target region that can be the diameter L of the medical device 40a (40) and the shape of the medical device 40a (40) after deployment (for example, a sphere, an ellipsoid, a donut shape, a cylindrical shape, etc.) are shown. ), the center of gravity position of the medical device 40a (40) in the X-ray coordinate system may be estimated. The size of the treatment target region can be determined using, for example, data measured when determining the size of the medical device 40a (40), or an X-ray image taken to see the shape of the treatment target region immediately before placing the medical device 40a (40). etc. can be used.
ステップST11で取得されたX線画像から、ステップST14の医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物の位置を検出する場合には、ステップST11で取得された複数のX線画像から、例えば、ステレオカメラの原理等により、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物のX線座標系における重心位置を検出してもよい。 When detecting the position of the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body in step ST14, from the X-ray image acquired in step ST11, The position of the center of gravity in the X-ray coordinate system of the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body, may be detected from a plurality of X-ray images, for example, using the principle of a stereo camera. good.
ステップST15は、ステップST13において、NOの場合、すなわち、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物が超音波カテーテル3の検出器30の視野内に入っていない場合に行われる。ステップST15では、ステップST11で取得されたX線画像に描出された医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物の位置を検出する。ステップST11で取得された複数のX線画像から、例えば、ステレオカメラの原理等により、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物の位置として、撮像対象物のX線座標系における重心位置が検出される。ステップST15の撮像対象物の位置を検出する処理は、検出機能F03が行う。 Step ST15 is performed if step ST13 is NO, that is, the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body, is within the field of view of the detector 30 of the ultrasound catheter 3. It is done if there is no. In step ST15, the position of the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body depicted in the X-ray image acquired in step ST11, is detected. From the plurality of X-ray images acquired in step ST11, for example, based on the principle of a stereo camera, the position of the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body, is determined. The position of the center of gravity in the X-ray coordinate system is detected. The process of detecting the position of the object to be imaged in step ST15 is performed by the detection function F03.
ステップST16では、ステップST12で検出された超音波カテーテル3の検出器30の位置である、検出器30を構成するアレイ面31の重心位置とアレイ面31の向きから算出される法線ベクトル、及び検出器30の所定の走査範囲(即ち、既知の走査範囲)から、検出器30の視野を算出する。図9に示したように、検出器30の視野は、超音波カテーテル3の検出器30の位置と検出器30のアレイ面31の角度とが固定された状態において、検出器30の走査範囲から算出可能である。ステップST16の超音波カテーテル3の検出器30の視野を算出する処理は、算出機能F05が行う。 In step ST16, the normal vector calculated from the position of the center of gravity of the array surface 31 constituting the detector 30 and the direction of the array surface 31, which is the position of the detector 30 of the ultrasound catheter 3 detected in step ST12, and The field of view of the detector 30 is calculated from a predetermined scanning range (ie, a known scanning range) of the detector 30. As shown in FIG. 9, the field of view of the detector 30 is from the scanning range of the detector 30 when the position of the detector 30 of the ultrasound catheter 3 and the angle of the array surface 31 of the detector 30 are fixed. Calculable. The process of calculating the field of view of the detector 30 of the ultrasound catheter 3 in step ST16 is performed by the calculation function F05.
ステップST17では、超音波カテーテル3の検出器30、並びに、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物、の位置に基づいて、撮像対象物が超音波カテーテル3の検出器30の視野内に入るように超音波カテーテル3を進行させるための進行支援情報を算出する。又は、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物が超音波カテーテル3の検出器30の視野の中心に近づくように超音波カテーテル3を進行させるための進行支援情報を算出する。ステップST17の超音波カテーテル3の進行支援情報を算出する処理は、算出機能F05が行う。 In step ST17, based on the position of the detector 30 of the ultrasound catheter 3 and the imaging target that is at least one of the medical device 40 and the region of interest inside the subject's body, it is determined that the imaging target is the ultrasound catheter. Progress support information for advancing the ultrasound catheter 3 so as to enter the field of view of the detector 30 of No. 3 is calculated. Alternatively, the ultrasound catheter 3 is advanced so that the imaging target, which is at least one of the medical device 40 and the region of interest inside the subject's body, approaches the center of the field of view of the detector 30 of the ultrasound catheter 3. Calculate support information. The process of calculating the advancement support information for the ultrasound catheter 3 in step ST17 is performed by the calculation function F05.
図10、及び図11は、それぞれ、第1の実施形態に係る医用デバイス40の一部又は全部が超音波カテーテル3の検出器30の視野から、いる場合の超音波カテーテル3の進行支援について、(a)進行支援前(b)進行支援後の一例を説明するための斜視図である。 FIGS. 10 and 11 respectively show assistance in advancing the ultrasound catheter 3 when part or all of the medical device 40 according to the first embodiment is visible from the field of view of the detector 30 of the ultrasound catheter 3. It is a perspective view for explaining an example (a) before progress support, and (b) after progress support.
以下、図10、及び図11を用いて、ステップST17について、撮像対象物が医用デバイス40である場合について説明する。しかしながら、撮像対象物は、医用デバイス40に限定されない。撮像対象物は、被検体の体内の関心領域である場合や、医用デバイス40と被検体の体内の関心領域との両方を含む場合であってもよく、同様に、その撮像対象物の一部又は全部が、超音波カテーテル3の検出器30の視野から、外れている場合においても、超音波カテーテル3の進行支援ができる。 Hereinafter, with reference to FIGS. 10 and 11, step ST17 will be described for the case where the imaging target is the medical device 40. However, the object to be imaged is not limited to the medical device 40. The object to be imaged may be a region of interest within the body of the subject, or may include both the medical device 40 and the region of interest within the body of the subject; Alternatively, even if the entire ultrasound catheter 3 is out of the field of view of the detector 30 of the ultrasound catheter 3, the ultrasound catheter 3 can be supported in its advancement.
図10(a)、及び図11(a)に示すように、ステップST17では、医用デバイス40の一部又は全部が超音波カテーテル3の検出器30の視野から、外れている場合に、医用デバイス40が超音波カテーテル3の検出器30の視野内に入るように、又は、医用デバイス40が超音波カテーテル3の検出器30の視野の中心に近づくように超音波カテーテル3が進行可能な進行量、及び進行方向や、検出器30のアレイ面31の角度を算出される。なお、本明細書において、進行量、及び進行方向は、後退量、及び後退方向であってもよい。言い換えれば、進行量、及び進行方向は、移動量、及び移動方向ということができる。 As shown in FIGS. 10(a) and 11(a), in step ST17, if a part or all of the medical device 40 is out of the field of view of the detector 30 of the ultrasound catheter 3, the medical device 40 is within the field of view of the detector 30 of the ultrasound catheter 3, or the medical device 40 approaches the center of the field of view of the detector 30 of the ultrasound catheter 3. , the traveling direction, and the angle of the array surface 31 of the detector 30 are calculated. In addition, in this specification, the amount of advance and the direction of advance may be the amount of retreat and the direction of retreat. In other words, the amount of movement and the direction of movement can be said to be the amount of movement and the direction of movement.
また、ステップST17では、医用デバイス40の全部が超音波カテーテル3の検出器30の視野内に入っている状態から医用デバイス40を移動させた場合においても、医用デバイス40の一部、又は全部が超音波カテーテル3の検出器30の視野から外れないための、超音波カテーテル3の進行量、及び進行方向、或いは、検出器30のアレイ面31の角度を算出できる。 Further, in step ST17, even if the medical device 40 is moved from a state where the entire medical device 40 is within the field of view of the detector 30 of the ultrasound catheter 3, some or all of the medical device 40 is The amount and direction of travel of the ultrasound catheter 3 or the angle of the array surface 31 of the detector 30 can be calculated so that the ultrasound catheter 3 does not go out of the field of view of the detector 30 .
超音波カテーテル3の進行量、及び進行方向は、図10(a)、及び図11(a)に示すように、例えば、超音波カテーテル3の検出器30のX線座標系における重心位置を位置(x1,y1,z1)から位置(x2,y2,z2)へと移動させる量である。また、検出器30のアレイ面31の角度は、検出器30の軸を中心に回転する量である。 As shown in FIGS. 10(a) and 11(a), the amount of movement and direction of movement of the ultrasonic catheter 3 are determined by, for example, the position of the center of gravity of the detector 30 of the ultrasonic catheter 3 in the X-ray coordinate system. This is the amount of movement from (x1, y1, z1) to position (x2, y2, z2). Further, the angle of the array surface 31 of the detector 30 is the amount of rotation around the axis of the detector 30.
医用デバイス40の一部又は全部が、検出器30の視野内に入っていない場合には、例えば、ステップST14、又はステップST15によって既知である医用デバイス40のX線座標系における重心位置と医用デバイス40の径となりうる治療対象部位のサイズと医用デバイス40の展開後の形状を仮定することで、検出器30の視野と医用デバイス40の全部との3次元空間における重なりがわかる。その重なりから、検出器30の視野に医用デバイス40の全部を3次元空間において重ねるため必要とされる超音波カテーテル3の進行量、及び進行方向や、検出器30のアレイ面31の角度が算出できる。 If part or all of the medical device 40 is not within the field of view of the detector 30, for example, the center of gravity position of the medical device 40 in the X-ray coordinate system known in step ST14 or step ST15 and the medical device 40 and the shape of the medical device 40 after deployment, the overlap between the field of view of the detector 30 and the entire medical device 40 in three-dimensional space can be determined. From the overlap, the amount and direction of movement of the ultrasound catheter 3 required to overlap all of the medical devices 40 in the field of view of the detector 30 in three-dimensional space, and the angle of the array surface 31 of the detector 30 are calculated. can.
超音波カテーテル3の進行量、及び進行方向や、検出器30のアレイ面31の角度は、医用デバイス40の全部が超音波カテーテル3の検出器30の視野内に、「最大限に収まる」ための量であることが好ましい。本明細書において、「最大限に収まる」とは、医用デバイス40の全部が超音波カテーテル3の検出器30の視野内に入っていて、さらに、検出器30の視野の範囲内に可能な限り大きく描出される状態である。 The amount and direction of movement of the ultrasonic catheter 3 and the angle of the array surface 31 of the detector 30 are determined so that the entire medical device 40 can be "maximally accommodated" within the field of view of the detector 30 of the ultrasonic catheter 3. It is preferable that the amount is . As used herein, "to the maximum extent" means that the entire medical device 40 is within the field of view of the detector 30 of the ultrasound catheter 3, and furthermore, the medical device 40 is within the field of view of the detector 30 as much as possible. This is a state that is greatly depicted.
医用デバイス40の一部が超音波カテーテル3の検出器30の視野内に入っている場合には、超音波カテーテル3の進行方向は、ステップST10で取得された複数の超音波画像内のどのビューに医用デバイス40が描出されているかによって決められてもよい。例えば、超音波カテーテル3の検出器30の視野がビューV1からビューV10までの10枚のビューの範囲で構成される場合に、医用デバイス40が、ビューV1とビューV2とにのみ描出されていたら、医用デバイス40はビューV1側の検出器30の視野外にあるとして、ビューV2、ビューV1、及びビューV1側の検出器30の視野外が描出される方向を超音波カテーテル3の進行方向としてもよい。なお、ビューの枚数は10枚に限定されない。 When a part of the medical device 40 is within the field of view of the detector 30 of the ultrasound catheter 3, the direction of movement of the ultrasound catheter 3 is determined by which view in the plurality of ultrasound images acquired in step ST10. It may be determined based on whether the medical device 40 is depicted in the image. For example, if the field of view of the detector 30 of the ultrasound catheter 3 is comprised of 10 views from view V1 to view V10, and the medical device 40 is depicted only in view V1 and view V2, then , assuming that the medical device 40 is outside the field of view of the detector 30 on the view V1 side, the direction in which the view V2, the view V1, and the outside of the field of view of the detector 30 on the view V1 side are depicted is taken as the traveling direction of the ultrasound catheter 3. Good too. Note that the number of views is not limited to ten.
また、超音波カテーテル3の進行支援情報は、超音波カテーテル3の先端の位置にある被検体Pの組織又は臓器に適した超音波カテーテル3の進行速度を決定するための情報と、決定した進行速度に基づいて超音波カテーテル3を進行させたり、被検体Pの組織又は臓器にぶつからないように迂回するように進行させたりする、推奨経路に関する情報を含んでもよい。 Further, the advancement support information of the ultrasound catheter 3 includes information for determining the advancement speed of the ultrasound catheter 3 suitable for the tissue or organ of the subject P at the position of the tip of the ultrasound catheter 3, and the determined advancement speed. Information regarding a recommended route for advancing the ultrasound catheter 3 based on the speed, or for advancing the ultrasound catheter 3 in a detour manner so as not to collide with the tissues or organs of the subject P may be included.
図7に戻り、ステップST18では、ステップST17で算出された超音波カテーテル3の進行支援情報を出力する。超音波カテーテル3の進行支援情報は、ディスプレイ150に出力され、ディスプレイ150に表示される。また、超音波カテーテル3の進行支援情報は、X線診断装置200に備えられたディスプレイ250、及び、超音波診断装置300に備えられたディスプレイ330の少なくとも一方のディスプレイに出力され、これらに表示されてもよい。 Returning to FIG. 7, in step ST18, the advancement support information for the ultrasound catheter 3 calculated in step ST17 is output. The advancement support information for the ultrasound catheter 3 is output to and displayed on the display 150. Further, the advancement support information for the ultrasound catheter 3 is output to at least one of the display 250 provided in the X-ray diagnostic apparatus 200 and the display 330 provided in the ultrasound diagnostic apparatus 300, and is displayed on these displays. It's okay.
ディスプレイに出力される超音波カテーテル3の進行支援情報の出力には、ステップST17で算出された進行支援情報のうち少なくとも1つが含まれる。
超音波カテーテル3の進行支援情報が手技者に提供されることにより、超音波カテーテル3の操作数が減り、より手技用カテーテル4の操作に集中できるワークフローの向上が期待できる。
The output of the advancement support information of the ultrasound catheter 3 that is output to the display includes at least one of the advancement support information calculated in step ST17.
By providing the procedure support information for the ultrasound catheter 3 to the operator, the number of operations on the ultrasound catheter 3 is reduced, and it is expected that the workflow will be improved so that the operator can concentrate on operating the procedure catheter 4 more.
第1の実施形態において、ステップST10、ステップST11、及びステップST12は、ステップST12がステップST11の後に行われる順序であればよく、ステップST10、ステップST11、ステップST12の順に限らず、ステップST11、ステップST12、ステップST10の順でも、ステップST11、ステップST10、ステップST12の順でもよい。 In the first embodiment, step ST10, step ST11, and step ST12 may be performed in the order in which step ST12 is performed after step ST11, and are not limited to the order in which step ST10, step ST11, and step ST12 are performed. The order may be ST12, step ST10, or step ST11, step ST10, step ST12.
(第1の実施形態の変形例1)
図12は、第1の実施形態の変形例1に係る医用画像処理装置の動作例、あるいは、医用画像処理プログラムを示すフローチャートである。図12に示すように、ステップST13を行わずに、ステップST12の次のステップを、ステップST15としてもよい。
(Modification 1 of the first embodiment)
FIG. 12 is a flowchart showing an operation example of the medical image processing apparatus or a medical image processing program according to the first modification of the first embodiment. As shown in FIG. 12, the step following step ST12 may be set as step ST15 without performing step ST13.
(第2の実施形態)
図13は、第2の実施形態に係る医用画像処理装置100の構成例を示す図である。第2の実施形態(図13)と第1の実施形態(図7)との相違点は、図13に示す医用画像処理装置100の処理回路110が、画像出力機能F06を有している点である。画像出力機能F06は、超音波画像を出力する機能である。
(Second embodiment)
FIG. 13 is a diagram showing a configuration example of a medical image processing apparatus 100 according to the second embodiment. The difference between the second embodiment (FIG. 13) and the first embodiment (FIG. 7) is that the processing circuit 110 of the medical image processing apparatus 100 shown in FIG. 13 has an image output function F06. It is. The image output function F06 is a function to output an ultrasound image.
また、図14は、第2の実施形態に係る医用画像処理装置100の動作例、あるいは、医用画像処理プログラムを示すフローチャートである。図14に示すように、ステップST20は、ステップST18の後に行われるステップであり、ステップST20では、ステップST10で取得された複数の超音波画像内から、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物の一部又は全部が描出されている超音波画像を抽出して、抽出した超音波画像を出力する。ステップST20の超音波画像を出力する処理は、画像出力機能F06が行う。 Further, FIG. 14 is a flowchart showing an example of the operation of the medical image processing apparatus 100 or a medical image processing program according to the second embodiment. As shown in FIG. 14, step ST20 is a step performed after step ST18, and in step ST20, the medical device 40 and the region of interest inside the subject's body are selected from among the plurality of ultrasound images acquired in step ST10. An ultrasound image in which a part or all of at least one of the imaging targets is depicted is extracted, and the extracted ultrasound image is output. The process of outputting the ultrasound image in step ST20 is performed by the image output function F06.
ステップST20における超音波画像の抽出方法は医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物の一部又は全部が描出されている超音波画像を抽出していればよい。例えば、治療対象部位に着目した超音波画像を出力する観点から、ステップST20の超音波画像は、治療対象部位と医用デバイス40との双方が描出された超音波画像としてもよい。 The ultrasonic image extraction method in step ST20 extracts an ultrasonic image in which part or all of the object to be imaged, which is at least one of the medical device 40 and the region of interest inside the subject's body, is depicted. good. For example, from the viewpoint of outputting an ultrasound image focused on the treatment target site, the ultrasound image in step ST20 may be an ultrasound image in which both the treatment target site and the medical device 40 are depicted.
図15は、第2の実施形態に係る超音波画像の一例を説明するための図である。図15に例示した左心耳閉塞手技の場合には、例えば、超音波カテーテル3の視野(図15では、ビューV1からビューV10までの全ビューの集合)のうち、左心耳と閉塞デバイス(医用デバイス40)の双方が描出されている超音波画像(図15では、ビューV4からビューV8までのビューの範囲)をステップST20の超音波画像とすると、左心耳と閉塞デバイスの密着状態等、治療対象部位に重点的に着目した観察が容易になる。 FIG. 15 is a diagram for explaining an example of an ultrasound image according to the second embodiment. In the case of the left atrial appendage occlusion technique illustrated in FIG. 15, for example, the left atrial appendage and the occlusion device (medical device 40) (in FIG. 15, the range of views from view V4 to view V8) is the ultrasound image in step ST20. Observations that focus on specific parts become easier.
また、ステップST20において、抽出した複数の超音波画像の出力順序に特に制限はないが、治療対象部位の状況を認識しやすくするために、出力順序を設定してもよい。図15は、第2の実施形態に係る超音波画像の出力順序の一例を説明するための図でもある。超音波画像の出力順序は、抽出したビューの範囲の一端の超音波画像から他端の超音波画像に向かう順で往復させて出力してもよい。図15に従って説明すると、例えば、ビューV4、ビューV5、ビューV6、ビューV7、ビューV8、ビューV7、ビューV6、ビューV5、ビューV4、ビューV5、・・・、と繰り返す出力順序である。また、出力を開始するビューは任意であるが、抽出したビューの範囲の中央付近の超音波画像を起点として両端の超音波画像に往復させて出力してもよい。図15に従って説明すると、例えば、ビューV6、ビューV7、ビューV8、ビューV7、ビューV6、ビューV5、ビューV4、ビューV5、ビューV6、ビューV7、ビューV8、ビューV7、・・・、と繰り返す出力順序である。 Further, in step ST20, although there is no particular restriction on the output order of the plurality of extracted ultrasound images, the output order may be set in order to make it easier to recognize the situation of the treatment target region. FIG. 15 is also a diagram for explaining an example of the output order of ultrasound images according to the second embodiment. The output order of the ultrasound images may be outputted back and forth from the ultrasound image at one end of the extracted view range to the ultrasound image at the other end. Explaining according to FIG. 15, for example, the output order is repeated as view V4, view V5, view V6, view V7, view V8, view V7, view V6, view V5, view V4, view V5, . . . . Furthermore, although the view from which the output is started is arbitrary, the ultrasonic image near the center of the extracted view range may be used as the starting point, and the ultrasonic images at both ends may be reciprocated and output. To explain according to FIG. 15, for example, view V6, view V7, view V8, view V7, view V6, view V5, view V4, view V5, view V6, view V7, view V8, view V7, etc. are repeated. This is the output order.
図16は、第2の実施形態に係る超音波画像に基づいて超音波カテーテル3を進行させる(a)進行支援前(b)進行支援後の一例を説明するための斜視図である。図16(a)は、図15と同じ図であり、抽出した複数の超音波画像が描出されている。前述したように、超音波カテーテル3の進行量、及び進行方向や、検出器30のアレイ面31の角度は、医用デバイス40及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物の一部又は全部が、超音波カテーテル3の検出器30の視野内に、「最大限に収まる」ための量であることが好ましい。 FIG. 16 is a perspective view for explaining an example of (a) before advancement support and (b) after advancement support in which the ultrasound catheter 3 is advanced based on an ultrasound image according to the second embodiment. FIG. 16(a) is the same diagram as FIG. 15, and depicts a plurality of extracted ultrasound images. As described above, the amount and direction of movement of the ultrasound catheter 3 and the angle of the array surface 31 of the detector 30 are determined based on the imaging target, which is at least one of the medical device 40 and the region of interest inside the body of the subject. It is preferable that a part or all of the amount is such that it "maximally fits" within the field of view of the detector 30 of the ultrasound catheter 3.
そこで、図16(b)に示すように、撮像対象物が検出器30の視野内に入るように超音波カテーテル3を進行させるための進行支援情報を算出してもよい。また、撮像対象物が検出器30の視野の中心に近づくように超音波カテーテル3を進行させるための進行支援情報を算出してもよい。この場合の進行支援情報は、例えば、ステップST10で取得された複数の超音波画像内から、撮像対象物の一部又は全部が描出されている超音波画像を抽出して、抽出した超音波画像に基づいて、算出される。 Therefore, as shown in FIG. 16(b), advancement support information for advancing the ultrasound catheter 3 so that the object to be imaged falls within the field of view of the detector 30 may be calculated. Further, advancement support information for advancing the ultrasound catheter 3 so that the object to be imaged approaches the center of the field of view of the detector 30 may be calculated. In this case, the progress support information is, for example, an ultrasound image that is extracted by extracting an ultrasound image in which a part or all of the object to be imaged is depicted from among the plurality of ultrasound images acquired in step ST10. Calculated based on.
ステップST20の超音波画像の出力は、ディスプレイ150にて行われてもよく、X線診断装置200に備えられたディスプレイ250、及び、超音波診断装置300に備えられたディスプレイ330の少なくとも一方のディスプレイで行われてもよい。
例えば、医用デバイス40の一部又は全部が描出されている超音波画像が抽出されて出力されることで、医用デバイス40と治療対象部位領域の超音波画像の手技者による探索作業の負担が低減される。また、例えば、被検体の体内の関心領域が描出されている超音波画像が抽出されて出力されることで、治療や治療過程における対象部位領域の観察が容易になる。
The output of the ultrasound image in step ST20 may be performed on the display 150, which is at least one of the display 250 provided in the X-ray diagnostic apparatus 200 and the display 330 provided in the ultrasound diagnostic apparatus 300. It may be done in
For example, by extracting and outputting an ultrasound image in which part or all of the medical device 40 is depicted, the burden on the operator of searching for ultrasound images of the medical device 40 and the treatment target region is reduced. be done. Furthermore, for example, by extracting and outputting an ultrasound image depicting a region of interest inside the body of a subject, observation of a target region during treatment or treatment process becomes easier.
(第3の実施形態)
図17は、第3の実施形態に係る医用画像処理装置を備えるX線診断システム1の構成例を示すブロック図である。第3の実施形態に係る医用画像処理装置100は、支援ロボット6を制御する機能を有している。ここで、支援ロボット6は、被検体Pに対して超音波カテーテル3や手技用カテーテル4を挿入し、これらを被検体の治療対象部位まで進行させる操作を、例えば、遠隔地に設置された操作卓を介したユーザ操作基づいて行ったり、遠隔地からの制御データに基づいて行ったりすることが可能な装置である。
図17に示すように、支援ロボット6は、操作卓の他、ロボット本体60を有している。ロボット本体60は、寝台220の近くに配設され、被検体Pに対して超音波カテーテル3や手技用カテーテル4を挿入し、これらを被検体の治療対象部位まで進行させる。支援ロボット6の操作卓は、手技室とは異なる遠隔地に配置されてもよいし、手技室内に配置してもよい。支援ロボット6は、ネットワーク2を介してX線診断システム1に接続されてもよい。
(Third embodiment)
FIG. 17 is a block diagram showing a configuration example of an X-ray diagnostic system 1 including a medical image processing apparatus according to the third embodiment. The medical image processing apparatus 100 according to the third embodiment has a function of controlling the support robot 6. Here, the support robot 6 inserts the ultrasonic catheter 3 and the procedure catheter 4 into the subject P and advances them to the treatment target area of the subject, for example, through an operation installed at a remote location. This is a device that can perform operations based on user operations via a desk or based on control data from a remote location.
As shown in FIG. 17, the support robot 6 includes a robot body 60 in addition to an operation console. The robot main body 60 is disposed near the bed 220, inserts the ultrasound catheter 3 and the procedure catheter 4 into the subject P, and advances these to the treatment target site of the subject. The operation console of the support robot 6 may be placed in a remote location different from the procedure room, or may be placed within the procedure room. The support robot 6 may be connected to the X-ray diagnostic system 1 via the network 2.
図18は、第3の実施形態に係る医用画像処理装置100の構成例を示す図である。第1の実施形態(図6)及び第2の実施形態(図13)との相違点は、第3の実施形態に係る医用画像処理装置100の処理回路110が、ロボット制御機能F07を有している点である。ロボット制御機能F07は、医用画像処理装置100やX線診断装置200と別構成である支援ロボット6との間で制御データを授受し、支援ロボット6の動作を制御する機能である。 FIG. 18 is a diagram showing a configuration example of a medical image processing apparatus 100 according to the third embodiment. The difference between the first embodiment (FIG. 6) and the second embodiment (FIG. 13) is that the processing circuit 110 of the medical image processing apparatus 100 according to the third embodiment has a robot control function F07. The point is that The robot control function F07 is a function that controls the operation of the support robot 6 by exchanging control data between the medical image processing apparatus 100, the X-ray diagnostic apparatus 200, and the support robot 6, which is a separate configuration.
第3の実施形態のロボット制御機能F07は、算出された超音波カテーテル3の進行支援情報を、支援ロボット6の制御データに変換して支援ロボット6に出力する。これにより、進行支援情報に基づいて超音波カテーテル3を進行させるように、支援ロボット6の動作を制御する。 The robot control function F07 of the third embodiment converts the calculated advancement support information of the ultrasound catheter 3 into control data for the support robot 6 and outputs the control data to the support robot 6. Thereby, the operation of the support robot 6 is controlled to advance the ultrasound catheter 3 based on the advancement support information.
ロボット制御機能F07は、さらに、推奨経路に関する進行支援情報に基づいて、超音波カテーテル3の先端の位置にある被検体Pの組織又は臓器に適した超音波カテーテル3の進行速度を決定したり、決定した進行速度に基づいて超音波カテーテル3を進行させたり、被検体Pの組織又は臓器にぶつからないように迂回するように進行させたりして、支援ロボット6の動作を制御してもよい。例えば、心臓のような動きのある臓器では、医用デバイスの進行速度を低くするように支援ロボット6の動作を制御してもよい。 The robot control function F07 further determines the advancement speed of the ultrasound catheter 3 suitable for the tissue or organ of the subject P located at the tip of the ultrasound catheter 3 based on the advancement support information regarding the recommended route; The operation of the support robot 6 may be controlled by advancing the ultrasound catheter 3 based on the determined advancement speed, or by causing it to advance in a detour so as not to collide with the tissues or organs of the subject P. For example, in the case of a moving organ such as the heart, the operation of the support robot 6 may be controlled to reduce the advancement speed of the medical device.
以上説明した少なくとも1つの実施形態によれば、操作者が超音波カテーテルの進行を適切に行えるように支援することができる。 According to at least one embodiment described above, it is possible to assist the operator in appropriately advancing the ultrasound catheter.
なお、上記実施形態において、「プロセッサ」という文言は、例えば、専用、又は、汎用のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及び、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路に保存されたプログラム(医用画像処理プログラム)を読み出して実行することにより、各種機能を実現する。また、プロセッサが例えばASICである場合、記憶回路にプログラムを保存するかわりに、当該プログラムに相当する機能がプロセッサの回路内に論理回路として直接組み込まれる。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行するハードウェア処理により各種機能を実現する。或いは、また、プロセッサは、ソフトウェア処理とハードウェア処理とを組み合わせて各種機能を実現することもできる。 In the above embodiments, the term "processor" refers to, for example, a dedicated or general-purpose CPU (Central Processing Unit), GPU (Graphics Processing Unit), or Application Specific Integrated Circuit (ASIC). ), programmable logic devices (e.g., Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), and Field Programmable Gate Array (FPGA)), etc. circuit. When the processor is, for example, a CPU, the processor realizes various functions by reading and executing a program (medical image processing program) stored in a storage circuit. Further, when the processor is, for example, an ASIC, instead of storing the program in a storage circuit, the function corresponding to the program is directly incorporated into the processor circuit as a logic circuit. In this case, the processor implements various functions through hardware processing that reads and executes programs built into the circuit. Alternatively, the processor can also realize various functions by combining software processing and hardware processing.
また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶回路は、プロセッサごとに個別に設けられてもよいし、1つの記憶回路が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。 Furthermore, in the above embodiment, an example is shown in which a single processor of the processing circuit realizes each function, but a processing circuit may be configured by combining multiple independent processors, and each processor realizes each function. Good too. Furthermore, when multiple processors are provided, a memory circuit for storing programs may be provided individually for each processor, or a single memory circuit may collectively store programs corresponding to the functions of all processors. Good too.
なお、各実施形態における、第1取得機能、第2取得機能、検出機能、判定機能、算出機能、画像出力機能、及び、ロボット制御機能は、それぞれ、第1取得部、第2取得部、検出部、判定部、算出部、画像出力部、及び、ロボット制御部の一例である。 In addition, in each embodiment, the first acquisition function, the second acquisition function, the detection function, the determination function, the calculation function, the image output function, and the robot control function are the first acquisition section, the second acquisition section, and the detection function, respectively. This is an example of a unit, a determination unit, a calculation unit, an image output unit, and a robot control unit.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.
以上の実施形態に関し、発明の一側面及び選択的な特徴として以下の付記を開示する。 Regarding the above embodiments, the following additional notes are disclosed as one aspect and optional features of the invention.
(付記1)
一実施形態の医用画像処理装置は、被検体の体内に挿入された超音波カテーテルの検出器により収集された信号から生成された超音波画像を取得し、超音波カテーテルの検出器、並びに、被検体の体内に挿入された医用デバイス及び被検体の体内の関心領域のうち少なくとも1つである撮像対象物、が描出されたX線画像を取得し、(a)X線画像に描出された超音波カテーテルの検出器の位置、並びに、(b)超音波画像、及び、X線画像の少なくとも一方に描出された撮像対象物の位置、を検出し、検出された超音波カテーテルの検出器の位置、及び、撮像対象物の位置に基づいて、撮像対象物が検出器の視野内に入るように超音波カテーテルを進行させるための進行支援情報、又は、撮像対象物が検出器の視野の中心に近づくように超音波カテーテルを進行させるための進行支援情報を算出する、処理回路、を備える。
(Additional note 1)
A medical image processing apparatus according to an embodiment acquires an ultrasound image generated from a signal collected by a detector of an ultrasound catheter inserted into a subject's body, Obtain an X-ray image in which at least one of a medical device inserted into the body of the subject and an imaging target that is a region of interest in the body of the subject are depicted, and (a) Detecting the position of the detector of the ultrasound catheter and (b) the position of the imaging target depicted in at least one of the ultrasound image and the X-ray image, and the detected position of the detector of the ultrasound catheter , and advancement support information for advancing the ultrasound catheter so that the imaging target is within the field of view of the detector based on the position of the imaging target, or when the imaging target is in the center of the field of view of the detector. A processing circuit is provided that calculates advancement support information for advancing the ultrasound catheter so as to approach the ultrasound catheter.
(付記2)
前記処理回路は、前記撮像対象物が、前記検出器の視野内に入っているか否かをさらに判定し、取得した前記超音波画像に前記撮像対象物が描出されているとき、前記撮像対象物が前記検出器の視野内に入っていると判定し、取得した前記超音波画像に前記撮像対象物が描出されていないとき、前記撮像対象物が前記検出器の視野内に入っていないと判定してもよい。
(Additional note 2)
The processing circuit further determines whether or not the imaging target is within the field of view of the detector, and when the imaging target is depicted in the acquired ultrasound image, the imaging target is is determined to be within the field of view of the detector, and when the imaging target is not depicted in the acquired ultrasound image, it is determined that the imaging target is not within the field of view of the detector. You may.
(付記3)
前記処理回路は、前記撮像対象物が前記検出器の視野内に入っている場合は、前記超音波画像から前記視野内における前記撮像対象物の位置を検出し、前記X線画像から前記超音波カテーテルの前記検出器の位置を検出してもよい。
(Additional note 3)
When the imaging target is within the field of view of the detector, the processing circuit detects the position of the imaging target within the field of view from the ultrasound image, and detects the ultrasound from the X-ray image. The position of the detector on the catheter may be detected.
(付記4)
前記処理回路は、前記撮像対象物が前記検出器の視野内に入っていない場合は、前記X線画像から、前記超音波カテーテルの前記検出器の位置と、前記撮像対象物の位置とを検出してもよい。
(Additional note 4)
If the imaging target is not within the field of view of the detector, the processing circuit detects the position of the detector of the ultrasound catheter and the position of the imaging target from the X-ray image. You may.
(付記5)
前記処理回路は、前記撮像対象物が前記検出器の視野内に入っていない場合は、前記X線画像から、前記超音波カテーテルの前記検出器を構成するアレイ面の重心位置と前記アレイ面の向きを検出し、前記アレイ面の重心位置、前記アレイ面の向きから算出される法線ベクトル、及び、前記検出器の所定の走査範囲から、前記検出器の前記視野を算出してもよい。
(Appendix 5)
If the object to be imaged is not within the field of view of the detector, the processing circuit determines, from the X-ray image, the center of gravity position of the array surface constituting the detector of the ultrasound catheter and the position of the center of gravity of the array surface. The field of view of the detector may be calculated from the position of the center of gravity of the array surface, a normal vector calculated from the orientation of the array surface, and a predetermined scanning range of the detector.
(付記6)
前記処理回路で算出される進行支援情報は、前記超音波カテーテルの進行量、前記超音波カテーテルの進行方向、前記超音波カテーテルのアレイ面の角度、及び、前記超音波カテーテルの推奨経路情報のうち少なくとも1つを含んでもよい。
(Appendix 6)
The advancement support information calculated by the processing circuit includes the amount of advancement of the ultrasound catheter, the direction of travel of the ultrasound catheter, the angle of the array surface of the ultrasound catheter, and recommended route information of the ultrasound catheter. It may include at least one.
(付記7)
前記超音波カテーテルの進行支援情報を操作者に提供するためのディスプレイ、をさらに備えてもよい。
(Appendix 7)
The ultrasound catheter may further include a display for providing progress support information for the ultrasound catheter to an operator.
(付記8)
前記処理回路は、前記超音波カテーテルの操作を支援する支援ロボットをさらに制御してもよい。
(Appendix 8)
The processing circuit may further control an assistance robot that assists in manipulating the ultrasound catheter.
(付記9)
前記処理回路は、取得された複数の超音波画像内から、前記撮像対象物の一部又は全部が描出されている超音波画像を抽出して、抽出した前記超音波画像を前記ディスプレイにさらに出力してもよい。
(Appendix 9)
The processing circuit extracts an ultrasound image in which part or all of the object to be imaged is depicted from among the plurality of acquired ultrasound images, and further outputs the extracted ultrasound image to the display. You may.
(付記10)
前記処理回路は、取得された複数の超音波画像内から、前記撮像対象物の一部又は全部が描出されている超音波画像を抽出し、抽出した前記超音波画像に基づいて、前記撮像対象物が前記検出器の視野内に入るように前記超音波カテーテルを進行させるための進行支援情報、又は、前記撮像対象物が前記検出器の視野の中心に近づくように前記超音波カテーテルを進行させるための進行支援情報を算出してもよい。
(Appendix 10)
The processing circuit extracts an ultrasound image in which a part or all of the object to be imaged is depicted from among the plurality of acquired ultrasound images, and based on the extracted ultrasound image, the image to be imaged is Advancement support information for advancing the ultrasound catheter so that an object enters the field of view of the detector, or advancing the ultrasound catheter so that the object to be imaged approaches the center of the field of view of the detector. You may also calculate progress support information for this purpose.
(付記11)
前記処理回路は、抽出した複数の前記超音波画像を、抽出した範囲の一端の超音波画像から他端の超音波画像に向かう順で往復させて出力してもよいし、又は、前記抽出した範囲の中央付近の超音波画像を起点として両端の超音波画像に往復させて出力してもよい。
(Appendix 11)
The processing circuit may output the plurality of extracted ultrasound images by reciprocating them in the order from an ultrasound image at one end of the extracted range to an ultrasound image at the other end, or The ultrasonic image near the center of the range may be used as a starting point, and the ultrasonic images at both ends may be reciprocated and output.
(付記12)
前記被検体の体内の関心領域は治療、診断、又は治療過程の支援を行う部位であってもよい。
(Appendix 12)
The region of interest within the subject's body may be a site for treatment, diagnosis, or assistance in a treatment process.
(付記13)
ネットワークを介してX線診断装置と通信可能なネットワークインターフェースを、さらに備え、前記処理回路は、前記X線診断装置から前記X線画像を取得してもよい。
(Appendix 13)
The processing circuit may further include a network interface capable of communicating with an X-ray diagnostic device via a network, and the processing circuit may acquire the X-ray image from the X-ray diagnostic device.
(付記14)
ネットワークを介して支援ロボットと通信可能なネットワークインターフェースを、さらに備え、前記処理回路は、前記超音波カテーテルの操作を支援する支援ロボットを制御してもよい。
(Appendix 14)
The apparatus may further include a network interface capable of communicating with a support robot via a network, and the processing circuit may control the support robot that supports operation of the ultrasound catheter.
(付記15)
被検体の体内に挿入された超音波カテーテルの検出器により収集された信号から生成された超音波画像を取得するステップと、
前記超音波カテーテルの前記検出器、並びに、前記被検体の体内に挿入された医用デバイス及び前記被検体の体内の関心領域のうち少なくとも1つである撮像対象物、が描出されたX線画像を取得するステップと、
(a)前記X線画像に描出された前記超音波カテーテルの前記検出器の位置、並びに、(b)前記超音波画像、及び、前記X線画像の少なくとも一方に描出された前記撮像対象物の位置、を検出するステップと、
検出された前記超音波カテーテルの前記検出器の位置、及び、前記撮像対象物の位置に基づいて、前記撮像対象物が前記検出器の視野内に入るように前記超音波カテーテルを進行させるための進行支援情報、又は、前記撮像対象物が前記検出器の視野の中心に近づくように前記超音波カテーテルを進行させるための進行支援情報を算出するステップと、
を、コンピュータに実行させるための医用画像処理プログラム。
(Additional note 15)
obtaining an ultrasound image generated from signals collected by a detector of an ultrasound catheter inserted into the body of the subject;
An X-ray image in which the detector of the ultrasound catheter, an imaging target that is at least one of a medical device inserted into the body of the subject and a region of interest in the body of the subject are depicted. Steps to obtain
(a) the position of the detector of the ultrasound catheter depicted in the X-ray image; and (b) the object to be imaged depicted in at least one of the ultrasound image and the X-ray image. a step of detecting the position;
Based on the detected position of the detector of the ultrasound catheter and the position of the imaging target, advancing the ultrasound catheter so that the imaging target enters the field of view of the detector. calculating advancement support information or advancement support information for advancing the ultrasound catheter so that the imaging target approaches the center of the field of view of the detector;
A medical image processing program that allows a computer to execute
(付記16)
前記医用画像処理プログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
(Appendix 16)
A computer-readable storage medium storing the medical image processing program.
1…X線診断システム 3…超音波カテーテル 4…手技用カテーテル 6…支援ロボット 30…検出器 31…アレイ面 40…医用デバイス 100…医用画像処理装置 110…処理回路 120…記憶回路 130…入力インターフェース 140…ネットワークインターフェース 150…ディスプレイ 200…X線診断装置 300…超音波診断装置 F01…第1取得機能 F02…第2取得機能 F03…検出機能 F04…判定機能 F05…算出機能 F06…画像出力機能 F07…ロボット制御機能
1... X-ray diagnostic system 3... Ultrasonic catheter 4... Manipulation catheter 6... Support robot 30... Detector 31... Array surface 40... Medical device 100... Medical image processing device 110... Processing circuit 120... Memory circuit 130... Input interface 140...Network interface 150...Display 200...X-ray diagnostic device 300...Ultrasonic diagnostic device F01...First acquisition function F02...Second acquisition function F03...Detection function F04...Judgment function F05...Calculation function F06...Image output function F07... Robot control function
Claims (15)
前記超音波カテーテルの前記検出器、並びに、前記被検体の体内に挿入された医用デバイス及び前記被検体の体内の関心領域のうち少なくとも1つである撮像対象物、が描出されたX線画像を取得する第2取得部と、
(a)前記X線画像に描出された前記超音波カテーテルの前記検出器の位置、並びに、(b)前記超音波画像、及び、前記X線画像の少なくとも一方に描出された前記撮像対象物の位置、を検出する検出部と、
検出された前記超音波カテーテルの前記検出器の位置、及び、前記撮像対象物の位置に基づいて、前記撮像対象物が前記検出器の視野内に入るように前記超音波カテーテルを進行させるための進行支援情報、又は、前記撮像対象物が前記検出器の視野の中心に近づくように前記超音波カテーテルを進行させるための進行支援情報を算出する算出部と、
を備える医用画像処理装置。 a first acquisition unit that acquires an ultrasound image generated from signals collected by a detector of an ultrasound catheter inserted into the body of the subject;
An X-ray image in which the detector of the ultrasound catheter, an imaging target that is at least one of a medical device inserted into the body of the subject and a region of interest in the body of the subject are depicted. a second acquisition part to acquire;
(a) the position of the detector of the ultrasound catheter depicted in the X-ray image; and (b) the object to be imaged depicted in at least one of the ultrasound image and the X-ray image. a detection unit that detects the position;
Based on the detected position of the detector of the ultrasound catheter and the position of the imaging target, advancing the ultrasound catheter so that the imaging target enters the field of view of the detector. a calculation unit that calculates advancement support information or advancement assistance information for advancing the ultrasound catheter so that the imaging target approaches the center of the field of view of the detector;
A medical image processing device comprising:
をさらに備え、
前記判定部は、取得した前記超音波画像に前記撮像対象物が描出されているとき、前記撮像対象物が前記検出器の視野内に入っていると判定し、取得した前記超音波画像に前記撮像対象物が描出されていないとき、前記撮像対象物が前記検出器の視野内に入っていないと判定する、
請求項1に記載の医用画像処理装置。 a determination unit that determines whether the imaging target is within the field of view of the detector;
Furthermore,
The determination unit determines that the imaging target is within the field of view of the detector when the imaging target is depicted in the acquired ultrasound image, and the determination unit determines that the imaging target is within the field of view of the detector, and determining that the imaging target is not within the field of view of the detector when the imaging target is not depicted;
The medical image processing device according to claim 1.
前記検出部は、前記超音波画像から前記視野内における前記撮像対象物の位置を検出し、前記X線画像から前記超音波カテーテルの前記検出器の位置を検出する、
請求項2に記載の医用画像処理装置。 When the imaging target is within the field of view of the detector,
The detection unit detects the position of the imaging target within the field of view from the ultrasound image, and detects the position of the detector of the ultrasound catheter from the X-ray image.
The medical image processing device according to claim 2.
前記検出部は、前記X線画像から、前記超音波カテーテルの前記検出器の位置と、前記撮像対象物の位置とを検出する、
請求項2に記載の医用画像処理装置。 If the imaged object is not within the field of view of the detector,
The detection unit detects the position of the detector of the ultrasound catheter and the position of the imaging target from the X-ray image.
The medical image processing device according to claim 2.
前記検出部は、前記X線画像から、前記超音波カテーテルの前記検出器を構成するアレイ面の重心位置と前記アレイ面の向きを検出し、
前記算出部は、前記アレイ面の重心位置、前記アレイ面の向きから算出される法線ベクトル、及び、前記検出器の所定の走査範囲から、前記検出器の前記視野を算出する、
請求項2に記載の医用画像処理装置。 If the imaged object is not within the field of view of the detector,
The detection unit detects, from the X-ray image, a center of gravity position of an array surface constituting the detector of the ultrasound catheter and a direction of the array surface,
The calculation unit calculates the field of view of the detector from a center of gravity position of the array surface, a normal vector calculated from the orientation of the array surface, and a predetermined scanning range of the detector.
The medical image processing device according to claim 2.
請求項1又は2のいずれかに記載の医用画像処理装置。 The advancement support information calculated by the calculation unit includes the amount of advancement of the ultrasound catheter, the direction of travel of the ultrasound catheter, the angle of the array surface of the ultrasound catheter, and the recommended route information of the ultrasound catheter. containing at least one piece of information;
A medical image processing apparatus according to claim 1 or 2.
請求項1又は2のいずれかに記載の医用画像処理装置。 further comprising a display for providing advancement support information for the ultrasound catheter to an operator;
A medical image processing apparatus according to claim 1 or 2.
請求項1又は2のいずれかに記載の医用画像処理装置。 further comprising a robot control unit for controlling a robot that supports the ultrasound catheter;
A medical image processing apparatus according to claim 1 or 2.
請求項1に記載の医用画像処理装置。 A display for providing advancement support information for the ultrasound catheter to an operator, and a part or all of the object to be imaged is depicted from within the plurality of ultrasound images acquired by the first acquisition unit. further comprising an image output unit that extracts an ultrasound image and outputs the extracted ultrasound image;
The medical image processing device according to claim 1.
抽出した前記超音波画像に基づいて、前記撮像対象物が前記検出器の視野内に入るように前記超音波カテーテルを進行させるための進行支援情報、又は、前記撮像対象物が前記検出器の視野の中心に近づくように前記超音波カテーテルを進行させるための進行支援情報を算出する、
請求項1に記載の医用画像処理装置。 The calculation unit extracts an ultrasound image in which part or all of the object to be imaged is depicted from among the plurality of ultrasound images acquired by the first acquisition unit,
Progress support information for advancing the ultrasound catheter so that the imaging target is within the field of view of the detector based on the extracted ultrasound image, or advancement support information for advancing the ultrasound catheter so that the imaging target is within the field of view of the detector. calculating advancement support information for advancing the ultrasound catheter so as to approach the center of the ultrasound catheter;
The medical image processing device according to claim 1.
請求項9に記載の医用画像処理装置。 The image output unit outputs the plurality of extracted ultrasound images by reciprocating them in the order from an ultrasound image at one end of the extracted range to an ultrasound image at the other end, or outputs the extracted ultrasound images at the center of the extracted range. Outputs a nearby ultrasound image as a starting point and outputs a round trip to ultrasound images at both ends.
The medical image processing device according to claim 9.
請求項1に記載の医用画像処理装置。 The region of interest within the subject's body is a site for treatment, diagnosis, or support in a treatment process;
The medical image processing device according to claim 1.
前記医用画像処理装置は、
被検体の体内に挿入された超音波カテーテルの検出器により収集された信号から生成された超音波画像を取得する第1取得部と、
前記超音波カテーテルの前記検出器、並びに、前記被検体の体内に挿入された医用デバイス及び前記被検体の体内の関心領域のうち少なくとも1つである撮像対象物、が描出されたX線画像を取得する第2取得部と、
(a)前記X線画像に描出された前記超音波カテーテルの前記検出器の位置、並びに、(b)前記超音波画像、及び、前記X線画像の少なくとも一方に描出された前記撮像対象物の位置、を検出する検出部と、
検出された前記超音波カテーテルの前記検出器の位置、及び、前記撮像対象物の位置に基づいて、前記撮像対象物が前記検出器の視野内に入るように前記超音波カテーテルを進行させるための進行支援情報、又は、前記撮像対象物が前記検出器の視野の中心に近づくように前記超音波カテーテルを進行させるための進行支援情報を算出する算出部と、
を備えるX線診断システム。 An X-ray diagnostic system comprising a medical image processing device and a network interface capable of communicating with the medical image processing device via a network,
The medical image processing device includes:
a first acquisition unit that acquires an ultrasound image generated from signals collected by a detector of an ultrasound catheter inserted into the body of the subject;
An X-ray image in which the detector of the ultrasound catheter, an imaging target that is at least one of a medical device inserted into the body of the subject and a region of interest in the body of the subject are depicted. a second acquisition part to acquire;
(a) the position of the detector of the ultrasound catheter depicted in the X-ray image; and (b) the object to be imaged depicted in at least one of the ultrasound image and the X-ray image. a detection unit that detects the position;
Based on the detected position of the detector of the ultrasound catheter and the position of the imaging target, advancing the ultrasound catheter so that the imaging target enters the field of view of the detector. a calculation unit that calculates advancement support information or advancement assistance information for advancing the ultrasound catheter so that the imaging target approaches the center of the field of view of the detector;
An X-ray diagnostic system equipped with
請求項13に記載のX線診断システム。 further comprising a robot control unit for controlling a robot that supports operation of the ultrasound catheter;
The X-ray diagnostic system according to claim 13.
被検体の体内に挿入された超音波カテーテルの検出器により収集された信号から生成された超音波画像を取得する第1取得手段と、
前記超音波カテーテルの前記検出器、並びに、前記被検体の体内に挿入された医用デバイス及び前記被検体の体内の関心領域のうち少なくとも1つである撮像対象物、が描出されたX線画像を取得する第2取得手段と、
(a)前記X線画像に描出された前記超音波カテーテルの前記検出器の位置、並びに、(b)前記超音波画像、及び、前記X線画像の少なくとも一方に描出された前記撮像対象物の位置、を検出する検出手段と、
検出された前記超音波カテーテルの前記検出器の位置、及び、前記撮像対象物の位置に基づいて、前記撮像対象物が前記検出器の視野内に入るように前記超音波カテーテルを進行させるための進行支援情報、又は、前記撮像対象物が前記検出器の視野の中心に近づくように前記超音波カテーテルを進行させるための進行支援情報を算出する算出手段と、
して機能させるためのプログラム。 computer,
a first acquisition means for acquiring an ultrasound image generated from signals collected by a detector of an ultrasound catheter inserted into the body of the subject;
An X-ray image in which the detector of the ultrasound catheter, an imaging target that is at least one of a medical device inserted into the body of the subject and a region of interest in the body of the subject are depicted. a second acquisition means for acquiring;
(a) the position of the detector of the ultrasound catheter depicted in the X-ray image; and (b) the object to be imaged depicted in at least one of the ultrasound image and the X-ray image. a detection means for detecting the position;
Based on the detected position of the detector of the ultrasound catheter and the position of the imaging target, advancing the ultrasound catheter so that the imaging target enters the field of view of the detector. Calculating means for calculating advancement support information or advancement support information for advancing the ultrasound catheter so that the imaging target approaches the center of the field of view of the detector;
A program to make it work.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/458,263 US20240074737A1 (en) | 2022-09-07 | 2023-08-30 | Medical image processing apparatus, x-ray diagnostic system, and non-transitory computer-readable storage medium storing medical image processing program |
EP23195477.7A EP4335378A1 (en) | 2022-09-07 | 2023-09-05 | Medical image processing apparatus and medical image processing program |
CN202311156008.2A CN117653179A (en) | 2022-09-07 | 2023-09-07 | Medical image processing device, X-ray diagnostic system, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022142553 | 2022-09-07 | ||
JP2022142553 | 2022-09-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024037685A true JP2024037685A (en) | 2024-03-19 |
Family
ID=90300245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023125592A Pending JP2024037685A (en) | 2022-09-07 | 2023-08-01 | Medical image processing apparatus, x-ray diagnostic system, and medical image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024037685A (en) |
-
2023
- 2023-08-01 JP JP2023125592A patent/JP2024037685A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10524865B2 (en) | Combination of 3D ultrasound and computed tomography for guidance in interventional medical procedures | |
JP5911243B2 (en) | Image display device | |
JP2024020483A (en) | Speed determination for intraluminal ultrasound imaging and associated devices, systems, and methods | |
JP2015505686A (en) | Robot guidance of ultrasonic probe in endoscopic surgery | |
JP5112021B2 (en) | Intravascular image diagnostic apparatus and intravascular image diagnostic system | |
JP2009022733A (en) | Apparatus and method for supporting medical diagnosis, and radiological diagnostic apparatus | |
JP2019013788A (en) | Biopsy probe, biopsy support apparatus and biopsy support method | |
JP5025423B2 (en) | Catheter insertion guide system and medical image diagnostic apparatus incorporating the system | |
KR20140120155A (en) | Radiopaque Hemisphere Shape Maker for Cardiovascular Diagnosis and Procedure Guiding Image Real Time Registration | |
US20100030022A1 (en) | Method and system with encapsulated imaging and therapy devices, coupled with an extracorporeal imaging device | |
JP7258483B2 (en) | Medical information processing system, medical information processing device and ultrasonic diagnostic device | |
JP7049325B6 (en) | Visualization of image objects related to instruments in in-vitro images | |
JP5498181B2 (en) | Medical image acquisition device | |
JP2019093123A (en) | Medical image diagnostic apparatus and medical image processing apparatus | |
JP5314934B2 (en) | Image alignment system | |
CN110123372B (en) | Medical image diagnosis apparatus and X-ray irradiation control apparatus | |
JP2024037685A (en) | Medical image processing apparatus, x-ray diagnostic system, and medical image processing program | |
EP4335378A1 (en) | Medical image processing apparatus and medical image processing program | |
JP7165600B2 (en) | X-ray diagnostic equipment and medical information processing equipment | |
JP6462331B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and diagnostic imaging system | |
CN117653179A (en) | Medical image processing device, X-ray diagnostic system, and storage medium | |
US20160361019A1 (en) | Device and method for virtual angiography | |
JP7514673B2 (en) | Medical image processing device and medical image processing system | |
JP5675930B2 (en) | X-ray diagnostic equipment | |
JP7297457B2 (en) | Image processing device, X-ray diagnostic device and ultrasonic diagnostic device |