JP5939601B1 - Ultrasonic probe position and orientation presentation system, image generation apparatus and program thereof - Google Patents
Ultrasonic probe position and orientation presentation system, image generation apparatus and program thereof Download PDFInfo
- Publication number
- JP5939601B1 JP5939601B1 JP2015048953A JP2015048953A JP5939601B1 JP 5939601 B1 JP5939601 B1 JP 5939601B1 JP 2015048953 A JP2015048953 A JP 2015048953A JP 2015048953 A JP2015048953 A JP 2015048953A JP 5939601 B1 JP5939601 B1 JP 5939601B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- basic data
- orientation
- current
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000523 sample Substances 0.000 title claims abstract description 173
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000010276 construction Methods 0.000 claims abstract description 9
- 238000002604 ultrasonography Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000052 comparative effect Effects 0.000 claims 2
- 239000000284 extract Substances 0.000 claims 1
- 238000001727 in vivo Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 210000004204 blood vessel Anatomy 0.000 description 64
- 238000010586 diagram Methods 0.000 description 6
- 210000003462 vein Anatomy 0.000 description 6
- 230000010349 pulsation Effects 0.000 description 5
- 230000000241 respiratory effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000001953 Hypotension Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 208000012866 low blood pressure Diseases 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】超音波プローブの手振れや組織の移動や変形があった場合に、超音波プローブの最適状態に対する現在のずれ具合を提示できる超音波診断装置を提供する。【解決手段】位置姿勢提示システム１０は、超音波プローブ１３の位置及び姿勢を検出する位置姿勢検出装置２０と、当該位置及び姿勢に基づいてプローブ状態表示画像を生成する画像生成装置２１とを備えている。画像生成装置２１は、組織周辺の複数の超音波画像の各画像情報に、位置姿勢検出装置２０で検出された情報を加えた基礎データを生成する基礎データ生成手段２３と、組織の状態変化に対応して基礎データを補正する基礎データ補正手段２４と、基礎データ補正手段２４を経た基礎データに基づいて、最適画像が得られる超音波プローブ１３の最適状態に対する現在の超音波プローブ１３のずれ具合を所定のマークで表示するようにプローブ状態表示画像を構築する画像構築手段２５とを備えている。【選択図】図１An ultrasonic diagnostic apparatus capable of presenting a current degree of deviation from an optimal state of an ultrasonic probe when an ultrasonic probe is shaken or a tissue is moved or deformed. A position and orientation presentation system 10 includes a position and orientation detection device 20 that detects the position and orientation of an ultrasonic probe 13, and an image generation device 21 that generates a probe state display image based on the position and orientation. ing. The image generation device 21 includes basic data generation means 23 for generating basic data obtained by adding information detected by the position and orientation detection device 20 to each piece of image information of a plurality of ultrasonic images around the tissue, and changes in the state of the tissue. Correspondingly, the basic data correcting means 24 for correcting the basic data, and the deviation degree of the current ultrasonic probe 13 with respect to the optimum state of the ultrasonic probe 13 from which the optimum image is obtained based on the basic data passed through the basic data correcting means 24. And an image construction means 25 for constructing a probe state display image so as to display with a predetermined mark. [Selection] Figure 1
Description
本発明は、超音波ガイド下で血管等の組織に穿刺を行う際に、超音波プローブの操作をガイドするための超音波プローブの位置姿勢提示システム、画像生成装置及びそのプログラムに関する。更に詳しくは、穿刺の最適部位が現れる超音波画像が得られた後、超音波プローブを操作する医師等の操作者の手振れ、患者の動作、拍動や呼吸動による組織の変形等が生じることにより、超音波画像内から最適部位が外れた場合に、当該最適部位が現れる超音波画像をスムーズに再取得するための超音波プローブの位置姿勢提示システム、画像生成装置及びそのプログラムに関する。 The present invention relates to an ultrasonic probe position / posture presentation system, an image generation apparatus, and a program for guiding operation of an ultrasonic probe when puncturing a tissue such as a blood vessel under an ultrasonic guide. More specifically, after an ultrasound image showing the optimum site for puncture is obtained, the hand shake of an operator such as a doctor who operates the ultrasound probe, patient motion, tissue deformation due to pulsation or respiratory motion, etc. may occur. Thus, the present invention relates to an ultrasonic probe position and orientation presentation system, an image generation apparatus, and a program thereof for smoothly reacquiring an ultrasonic image in which the optimal part appears when the optimal part deviates from the ultrasonic image.
患者の体内組織への穿刺は、医療の様々な場面に用いられており、一例として、輸液を行うために中心静脈にカテーテルを体表から経皮的に挿入するための中心静脈カテーテル挿入（Ｃｅｎｔｒａｌ Ｖｅｎｏｕｓ Ｃａｔｈｅｔｅｒｉｚａｔｉｏｎ、以下、「ＣＶＣ」と称する）がある。このＣＶＣは、患者の体外から中心静脈内にカテーテルを挿入するまで、医師が超音波画像で観察しながら行われる。ここで、カテーテルが挿入される中心静脈は、体表から約１０ｍｍ程度離れた深い位置にあるため、穿刺針の進入経路が中心静脈から外れ易い。また、中心静脈は、血圧が低いために穿刺中に血管が潰れて針先端が静脈を突き抜け易い。このように、穿刺経路のずれや針の突き抜けが生じると、動脈や肺への誤穿刺による大量出血や気胸などの合併症を発生させる虞がある。 The puncture of a patient's body tissue is used in various medical scenes. For example, central venous catheter insertion (Central) for percutaneously inserting a catheter into a central vein from the body surface for infusion. (Venous Cathetization, hereinafter referred to as “CVC”). This CVC is performed while the doctor observes the ultrasound image until the catheter is inserted from outside the patient's body into the central vein. Here, since the central vein into which the catheter is inserted is at a deep position about 10 mm away from the body surface, the entry path of the puncture needle is likely to deviate from the central vein. In addition, since the central vein has a low blood pressure, the blood vessel is crushed during puncture and the needle tip tends to penetrate the vein. As described above, when the puncture path is displaced or the needle penetrates, there is a risk of complications such as massive bleeding or pneumothorax due to erroneous puncture of the artery or lung.
そこで、ＣＶＣ等の手技における精確な穿刺を支援するために、穿刺針の先端を血管内のターゲットに確実に到達させるように穿刺針を自動的に動作させるマニピュレータを備えた穿刺支援システムが研究されている（特許文献１参照）。この穿刺支援システムでは、操作者が超音波プローブを手で把持して患者の皮膚上を走査し、その際に得られる超音波画像を操作者が見ながら穿刺を行う血管の最適部位を探索する。そして、当該最適部位が発見されたら、そのときの超音波プローブの位置及び姿勢を操作者が維持しながら、スイッチを押すことで、マニピュレータの動作により、超音波プローブの撮像面に沿って穿刺針が移動する。ＣＶＣにおいては、血管軸に平行となる向きで超音波プローブを設置して、その際に得られる長軸断面の超音波画像を取得することが必要であり、その中でも、血管軸を含む長軸断面の断層画像は、当該画像中で血管の上壁と下壁間の距離が最大となるため、穿刺を行う際の血管の最適部位が現れる超音波画像となる。従って、ＣＶＣにおける穿刺の際には、血管軸を含む長軸断面の断層画像が得られるように、超音波プローブの位置及び姿勢が調整される。 Therefore, in order to support accurate puncture in procedures such as CVC, a puncture support system including a manipulator that automatically operates the puncture needle so that the tip of the puncture needle reliably reaches the target in the blood vessel has been studied. (See Patent Document 1). In this puncture support system, an operator scans the patient's skin by grasping an ultrasonic probe by hand, and searches for an optimal portion of a blood vessel to be punctured while viewing the ultrasonic image obtained at that time. . And if the said optimal site | part is discovered, an operator maintains the position and attitude | position of an ultrasonic probe at that time, and a puncture needle is moved along the imaging surface of an ultrasonic probe by operation | movement of a manipulator by pushing a switch. Move. In CVC, it is necessary to install an ultrasonic probe in a direction parallel to the blood vessel axis and acquire an ultrasonic image of a long-axis cross section obtained at that time, and among them, a long axis including a blood vessel axis The tomographic image of the cross section is an ultrasonic image in which the optimal portion of the blood vessel at the time of puncture appears because the distance between the upper wall and the lower wall of the blood vessel is maximized in the image. Therefore, at the time of puncturing in CVC, the position and posture of the ultrasonic probe are adjusted so that a tomographic image of a long-axis cross section including the blood vessel axis can be obtained.
ここで、操作者は、血管の最適部位が現れる超音波画像が得られてからマニピュレータで穿刺を行うまでの間、そのときの超音波プローブの位置及び姿勢を維持する必要がある。しかしながら、この間に操作者の手振れが生じた場合に、血管の最適部位から外れた超音波画像が得られ、そのままでは精確な穿刺を行えないため、操作者が血管の最適部位を再探索する必要が生じる。また、血管の最適部位が現れる超音波画像が得られた後で、超音波プローブの位置及び姿勢を一定の状態に維持していても、患者の動作、血管の拍動、呼吸動、或いは、患者への超音波プローブによる押圧力の変化に起因する体内組織の変形等が生じた場合、ターゲットとする血管の移動や変形等の状態変化が生じることになり、この場合にも、操作者が血管の最適部位を再探索する必要が生じる。これらの場合、操作者は、血管の最適部位が現れる超音波画像が得られるように、超音波プローブの最適な位置及び姿勢を再度手探りで発見しなければならず、作業が面倒であり、穿刺までの準備時間が掛かることになる。そこで、これらの場合のように、血管の最適部位が超音波画像から外れたとしても、一旦発見した血管の最適部位が現れる超音波画像を再取得する上で、どの程度、超音波プローブを移動、回転させれば良いかを直感的に操作者に提示可能なツールがあると、血管の最適部位の再探索をスムーズに行うことができる。 Here, the operator needs to maintain the position and posture of the ultrasonic probe at that time from when an ultrasonic image in which the optimal region of the blood vessel appears is obtained until puncture is performed with the manipulator. However, if the operator's hand shake occurs during this time, an ultrasonic image deviating from the optimal site of the blood vessel is obtained, and accurate puncture cannot be performed as it is, so the operator needs to re-search for the optimal site of the blood vessel. Occurs. In addition, even after maintaining the position and posture of the ultrasound probe in a certain state after obtaining an ultrasound image in which the optimal site of the blood vessel appears, the patient's motion, blood vessel pulsation, respiratory motion, or When the body tissue is deformed due to a change in the pressing force applied to the patient by the ultrasonic probe, a change in state such as movement or deformation of the target blood vessel occurs. It becomes necessary to re-search for the optimal site of the blood vessel. In these cases, the operator has to find the optimal position and posture of the ultrasonic probe again by hand so that an ultrasonic image in which the optimal part of the blood vessel appears can be obtained. It will take time to prepare. Therefore, as in these cases, even if the optimal part of the blood vessel deviates from the ultrasonic image, how much the ultrasonic probe is moved to reacquire the ultrasonic image in which the optimal part of the blood vessel is found once. If there is a tool that can intuitively present to the operator whether or not it should be rotated, it is possible to smoothly search for the optimum site of the blood vessel.
ところで、特許文献２には、超音波プローブの位置、姿勢に応じて、超音波プローブによる超音波ビームの方向を表す映像指示子が画面に提示される超音波システムが開示されている。この超音波システムでは、初期化ボタンの操作により、そのときの超音波プローブの位置、姿勢が、基準位置、基準姿勢として設定された上で、当該基準位置、基準姿勢に対する現在の超音波プローブの位置、姿勢に応じて映像指示子を画面上で移動させるようになっている。従って、この超音波システムにあっては、血管の最適部位が得られる超音波プローブの最適な位置及び姿勢のときに、前記初期化ボタンを操作し、その後、手振れ等によって超音波プローブの位置や姿勢が変わった場合でも、操作者は、最適となる超音波ビームの方向に対する現在のずれ状態を画面上で認識することできる。
By the way,
しかしながら、前記特許文献２の超音波システムにあっては、治療中の患者の動き等に起因する血管の体内移動が生じた場合や、血管の拍動、患者の呼吸動、或いは超音波プローブの押圧力の変化等に起因する体内組織の変形が生じた場合に、超音波プローブの位置ずれ、姿勢ずれの状態を画面に正確に表示できないという不都合がある。すなわち、これらの場合では、操作者が超音波プローブの位置や姿勢を維持していても、ターゲットとする血管が体内で移動、変形してしまっているため、得られる超音波画像は、血管の最適部位から外れた画像になってしまう。ところが、前記超音波システムの画面上では、超音波プローブの位置や姿勢が空間内で維持されていることから、前記基準位置及び基準姿勢のときの超音波ビームの方向から映像指示子が動かない。このため、血管の移動や変形が生じた場合には、実際取得した超音波画像の状態と映像指示子の状態とが合致せず、映像指示子を超音波プローブの操作上の目安として利用することができない。
However, in the ultrasonic system disclosed in
本発明は、このような不都合に着目して案出されたものであり、その目的は、操作者による超音波プローブの手振れや、ターゲットとなる組織の移動や変形があった場合に、所望とする超音波画像が得られる超音波プローブの位置や姿勢に対する現在のずれ具合を正確に提示することのできる超音波プローブの位置姿勢提示システム、画像生成装置及びそのプログラムを提供することにある。 The present invention has been devised by paying attention to such inconveniences, and the purpose of the present invention is as desired when the operator shakes the ultrasonic probe or the target tissue is moved or deformed. It is an object to provide an ultrasonic probe position / posture presentation system, an image generation apparatus, and a program thereof that can accurately present the current degree of deviation from the position and posture of an ultrasonic probe from which an ultrasonic image is obtained.
本発明は、主として、操作者が患者の体表部分に超音波プローブを接触させることにより、当該患者の体内組織の超音波画像を取得する超音波診断装置に付設され、前記超音波プローブの位置及び姿勢に基づく配置状態を表示するプローブ状態表示画像を前記操作者に提示する超音波プローブの位置姿勢提示システムにおいて、前記超音波プローブの位置及び姿勢を検出する位置姿勢検出装置と、当該位置姿勢検出装置によって検出された前記超音波プローブの位置及び姿勢に基づいて、前記プローブ状態表示画像を生成する画像生成装置とを備え、前記画像生成装置は、ターゲットとする組織周辺で予め取得された複数の前記超音波画像の各画像情報に前記位置姿勢検出装置で検出された情報を加えた基礎データを生成する基礎データ生成手段と、前記組織の状態変化に対応して前記基礎データを補正する基礎データ補正手段と、当該基礎データ補正手段を経た前記基礎データに基づいて、所望とする前記超音波画像である最適画像が得られる前記超音波プローブの最適状態に対する現在の前記超音波プローブのずれ具合を所定のマークで表示するように、前記プローブ状態表示画像を構築する画像構築手段とを備える、という構成を採っている。 The present invention is mainly attached to an ultrasonic diagnostic apparatus that acquires an ultrasonic image of a body tissue of a patient when an operator brings the ultrasonic probe into contact with a body surface portion of the patient, and the position of the ultrasonic probe And a position and orientation detection device for detecting the position and orientation of the ultrasonic probe, and a position and orientation detection apparatus for presenting the probe state display image for displaying an arrangement state based on the orientation to the operator. An image generation device that generates the probe state display image based on the position and orientation of the ultrasonic probe detected by the detection device, and the image generation device includes a plurality of images acquired in advance around a target tissue. Basic data generation for generating basic data obtained by adding information detected by the position and orientation detection device to each image information of the ultrasonic image And an optimal image that is the desired ultrasonic image based on the basic data corrected through the basic data correction means and the basic data correction means for correcting the basic data in response to a change in the state of the tissue. An image construction means for constructing the probe state display image is provided so as to display the current degree of deviation of the ultrasound probe with respect to the optimum state of the obtained ultrasound probe with a predetermined mark. .
本発明によれば、所望とする超音波画像が得られる超音波プローブの最適状態に対する現在の前記超音波プローブのずれ具合を表すプローブ状態表示画像が生成され、操作者に提示されるため、超音波プローブの手振れが生じた場合でも、操作者は、プローブ状態表示画像を見ながら血管の最適部位の再探索をスムーズに行うことができる。しかも、プローブ状態表示画像は、組織の状態変化に対応して補正された基礎データに基づいて生成されるため、ターゲットとなる組織の移動や変形があった場合でも、超音波プローブの最適状態に対する現在のずれ具合を正確に提示することができる。 According to the present invention, a probe state display image representing the current degree of deviation of the ultrasonic probe with respect to the optimum state of the ultrasonic probe from which a desired ultrasonic image is obtained is generated and presented to the operator. Even when hand movement of the sonic probe occurs, the operator can smoothly re-search for the optimal portion of the blood vessel while viewing the probe state display image. Moreover, since the probe state display image is generated based on the basic data corrected in accordance with the change in the state of the tissue, even if there is a movement or deformation of the target tissue, the probe state display image The current deviation can be accurately presented.
以下、本発明の実施形態について図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１には、本実施形態に係る超音波プローブの位置姿勢提示システムの概略構成図が示されている。この図において、前記位置姿勢提示システム１０は、人体の体表から超音波を当てて体内の断層画像を取得する公知の超音波診断装置１１に付設されるシステムである。 FIG. 1 shows a schematic configuration diagram of an ultrasonic probe position and orientation presentation system according to the present embodiment. In this figure, the position / orientation presentation system 10 is a system attached to a known ultrasonic diagnostic apparatus 11 that obtains a tomographic image inside the body by applying ultrasonic waves from the body surface of the human body.
ここで、超音波診断装置１１は、患者の体表部分に接触して超音波パルスの送波及びエコーの受波を行う超音波プローブ１３（超音波探触子）と、超音波プローブ１３からの信号によって、超音波プローブ１３が接触する体表部分の下の体内組織の断層画像である超音波画像（Ｂモード画像）を生成する断層画像生成手段１４と、超音波画像等を表示するモニタ１６とを備えている。
Here, the ultrasonic diagnostic apparatus 11 includes an ultrasonic probe 13 (ultrasonic probe) that transmits ultrasonic pulses and receives echoes in contact with a patient's body surface, and an
ここで、超音波診断装置１１は、公知の構造のものが採用されており、本発明の本質部分ではないため、ここでは、構成等の詳細な説明を省略する。 Here, since the ultrasonic diagnostic apparatus 11 employs a known structure and is not an essential part of the present invention, detailed description of the configuration and the like is omitted here.
前記超音波プローブ１３には、超音波診断装置１１で取得した超音波画像に基づき、穿刺針Ｎを動作させて組織としての血管Ｂ内のターゲットに穿刺を行う穿刺支援マニピュレータ１７を支持可能なアタッチメント１８が取り付けられている。穿刺支援マニピュレータ１７は、医師等の操作者によるスイッチ操作により、所望の位置で穿刺針Ｎを体内のターゲットに向かって移動させる公知の構造となっている。この穿刺支援マニピュレータ１７の動作に際して、操作者は、モニタ１６の超音波画像を見ながら、アタッチメント１８の部分を手で持って超音波プローブ１３を患者の皮膚表面に沿って動かし、穿刺に最適となる血管Ｂの最適部位を探索する。そして、当該最適部位が発見されたら、このときの超音波画像に基づいて穿刺支援マニピュレータ１７の動作時の穿刺針Ｎの進路が決定され、操作者のスイッチ操作により、前記進路に沿って穿刺針Ｎが移動してターゲットへの穿刺がなされる。従って、穿刺支援マニピュレータ１７を用いて血管Ｂのターゲットに穿刺を行う際には、当該血管Ｂの最適部位の超音波画像が得られる超音波プローブ１３の位置及び姿勢となる最適状態を操作者の手で保持する必要がある。
An attachment capable of supporting a
なお、特に限定されるものではないが、本実施形態においては、穿刺支援マニピュレータ１７が中心静脈カテーテル挿入（ＣＶＣ）による穿刺に適用されるようになっており、この場合の血管Ｂにおける最適部位は、血管軸に平行となる血管Ｂの長軸方向における長軸断面の断層画像のうち、血管Ｂの上壁及び下壁の間の距離が最大となる断層画像、すなわち、図２に示されるように、血管軸Ａを通る長軸断面の断層画像に表れる血管部位となる。換言すると、ＣＶＣにおいて、穿刺時に所望とする超音波画像である最適画像Ｖｂは、血管軸Ａを通る長軸断面の断層画像となる。ここで、最適画像Ｖｂは、血管軸Ａに沿う長軸方向（図２中Ｘ軸方向）に垂直となる短軸方向（同図中Ｚ軸方向）に、操作者の手で超音波プローブ１３を走査することで発見される。
Although not particularly limited, in this embodiment, the puncture assist
前記位置姿勢提示システム１０は、最適画像Ｖｂが得られるときの超音波プローブ１３の位置及び姿勢のときの最適状態に対する現在の超音波プローブ１３の変化状態を画像で表したプローブ状態表示画像を生成し、当該プローブ状態表示画像をモニタ１６に表示するシステムである。ここで、特に限定されるものではないが、図３に示されるように、モニタ１６には、超音波プローブ１３で取得された超音波画像の表示領域１６Ａと、プローブ状態表示画像Ｐの表示領域１６Ｂとが設けられている。ここで、図４に示されるように、プローブ状態表示画像Ｐには、最適画像Ｖｂが得られるときの超音波プローブ１３の位置及び姿勢に対応して擬似的に設けられた目標マークＭ１と、現在の超音波プローブ１３の位置及び姿勢に対応して擬似的に設けられた現状マークＭ２とが配置される。このプローブ状態表示画像Ｐにおいては、超音波プローブ１３の動きに合わせて現状マークＭ２が、目標マークＭ１に対して画面内を動くことで、最適画像Ｖｂが得られる超音波プローブ１３の最適状態に対する現在の超音波プローブ１３の位置及び姿勢のずれ具合を表示可能となっている。
The position / orientation presentation system 10 generates a probe state display image that represents the change state of the
この位置姿勢提示システム１０は、図１に示されるように、超音波プローブ１３の位置及び姿勢を検出する位置姿勢検出装置２０と、位置姿勢検出装置２０によって検出された超音波プローブ１３の位置及び姿勢に基づいて、プローブ状態表示画像Ｐを生成する画像生成装置２１とを備えている。
As shown in FIG. 1, the position and orientation presentation system 10 includes a position and
前記位置姿勢検出装置２０は、超音波プローブ１３に取り付けられて、実空間内の所定位置を原点とする直交３軸のグローバル座標系（図２参照）における超音波プローブ１３の３次元の位置及び姿勢を検出可能な公知のセンサからなる。このセンサとしては、当該３次元の位置及び姿勢を検出できる限りにおいて、磁気式や光学式等の種々の非接触タイプのものを用いることができる。また、位置姿勢検出装置２０では、検出した超音波プローブ１３の位置及び姿勢により、このときの超音波プローブ１３の撮像面における画像面領域（図２中破線領域）のグローバル座標系における位置及び姿勢が求められる。
The position /
前記画像生成装置２１は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるようになっている。 The image generation device 21 is configured by a computer including an arithmetic processing device such as a CPU and a storage device such as a memory and a hard disk, and the computer functions as the following units.
この画像生成装置２１は、ターゲットとする血管Ｂの周辺の各位置で予め取得された複数の超音波画像の各画像情報に位置姿勢検出装置２０で検出された情報を加えた基礎データを生成する基礎データ生成手段２３と、体内の血管Ｂの状態変化に対応して基礎データを補正する基礎データ補正手段２４と、基礎データ補正手段２４を経た基礎データに基づいてプローブ状態表示画像Ｐを構築する画像構築手段２５とを備えて構成されている。
The image generation device 21 generates basic data obtained by adding information detected by the position and
前記基礎データ生成手段２３は、図５に示されるように、超音波診断装置１１の断層画像生成手段１４で生成された超音波画像の画像情報を取得する画像情報取得部２７と、位置姿勢検出装置２０で検出された超音波プローブ１３の位置姿勢情報を取得する位置姿勢情報取得部２８と、画像情報取得部２７で取得した画像情報と位置姿勢情報取得部２８で取得した位置姿勢情報とにより基礎データを構築する基礎データ構築部２９と、基礎データを記憶する記憶部３０とを備えて構成されている。
As shown in FIG. 5, the basic
前記画像情報取得部２７では、操作者が超音波プローブ１３のアタッチメント１８に設けられたスキャンスイッチＳ１（図１参照）を押したときに、予め設定されたスキャン時間において、予め設定された一定の時間間隔で断層画像生成手段１７によりそれぞれ生成された超音波画像の画像情報が取得される。
In the image
前記位置姿勢情報取得部２８では、各超音波画像が得られたときの超音波プローブ１３の位置姿勢情報が取得される。
The position / orientation
操作者は、患者に穿刺を行う前の初期設定として、スキャンスイッチＳ１を押した後、前記スキャン時間内において、モニタ１６に表示される超音波画像を見ながら、ターゲットとなる血管の周囲の皮膚面に沿って超音波プローブ１３を移動させることにより、一定時間間隔で、超音波プローブ１３の位置及び姿勢が相違した状態で撮像した超音波画像がそれぞれ取得されることになる。そこで、画像情報取得部２７では、当該初期設定時に撮像された各超音波画像の画像情報が取り込まれ、位置姿勢情報取得部２８では、当該各超音波画像が得られたときの超音波プローブ１３の位置姿勢情報が取り込まれる。また、初期設定時において、操作者が、穿刺に最適となる超音波画像である最適画像Ｖｂを発見したときに、アタッチメント１８に設けられた最適状態登録スイッチＳ２を押すと、そのときの画像情報が最適画像Ｖｂの画像情報として画像情報取得部２７に登録される。併せて、位置姿勢情報取得部２８では、最適画像Ｖｂが得られたときの超音波プローブ１３の位置姿勢情報が登録される。
As an initial setting before puncturing the patient, the operator presses the scan switch S1 and then observes the ultrasonic image displayed on the
前記基礎データ構築部２９では、画像情報取得部２７で取り込まれた初期設定時の各超音波画像の画像情報に、当該超音波画像が得られたときの超音波プローブ１３の位置姿勢情報を対応させた上で、次の座標変換により、前記基礎データが構築される。
In the basic
すなわち、先ず、最適画像Ｖｂが得られたときの超音波プローブ１３の所定位置を原点Ｏとする直交３軸の局所座標系（図２参照）が設定される。この局所座標系は、最適画像Ｖｂが得られるときの超音波プローブ１３の下面中央部分、すなわち、位置姿勢検出装置２０の設置部分を原点として、超音波画像の撮像面である画像面領域における横方向（幅方向）をＸ軸、当該画像面領域における縦方向（深さ方向）をＹ軸、当該画像面領域における法線方向をＺ軸とするように設定される。そして、位置姿勢情報取得部２８で取得したグローバル座標系における各超音波画像の各ピクセル位置が、局所座標系に変換され、当該座標変換後の各ピクセル位置に、当該各ピクセルの画像情報（輝度情報）が対応して記憶された連側断層画像群からなるボクセルデータが基礎データ（図６（Ａ）参照）として生成される。その後、当該基礎データが記憶部３０に記憶される。なお、本実施形態では、超音波画像としてＢモードを対象としているが、本発明はこれに限定されず、例えば、カラードプラ等の他のモードの超音波画像を対象とすることもでき、この場合、ＲＧＢ情報が前記画像情報とされる。
That is, first, an orthogonal three-axis local coordinate system (see FIG. 2) having the origin O as a predetermined position of the
前記基礎データ補正手段２４は、図５に示されるように、位置姿勢検出装置２０で検出された現在の超音波プローブ１３の位置及び姿勢に基づき、このときの超音波プローブ１３で得られた超音波画像に前記位置姿勢情報を付加した現データを取得する現データ取得部３２と、当該現データを基礎データと対比するデータ対比部３３と、当該対比の結果から、穿刺対象となる血管Ｂの状態変化の有無を判定し、当該状態変化の種類に応じて基礎データを補正する補正部３４とを備えて構成されている。
As shown in FIG. 5, the basic data correction means 24 is based on the current position and orientation of the
前記現データ取得部３２では、現在撮像されている超音波画像である現在画像の画像情報とともに、このときに位置姿勢検出装置２０で検出した位置姿勢情報が取り込まれ、現在画像の各ピクセルの画像情報に、当該現在画像の各ピクセル位置を付加することで、現データを取得するようになっている。ここでの各ピクセルの位置は、位置姿勢検出装置２０で検出された現在画像の画像面領域のグローバル座標系における位置及び姿勢に基づき、グローバル座標系での位置として求められる。
The current
前記データ対比部３３は、記憶部３０に記憶された基礎データについて、現在画像の画像面領域に平行に所定間隔で切り出すことにより、２次元輝度分布データである比較画像を多数生成する比較画像生成部３６と、これら各比較画像それぞれを現在画像と対比して、現在画像に画像情報が最も近似する比較画像を近似画像として抽出する近似画像抽出部３７と、抽出された近似画像の画像面領域の位置及び姿勢を特定する近似画像状態特定部３８とからなる。
The data comparison unit 33 generates a plurality of comparison images, which are two-dimensional luminance distribution data, by cutting out the basic data stored in the
前記比較画像生成部３６では、図６（Ｂ）に示されるように、現在画像Ｖｎにおける画像面領域の位置を中心として予め設定された一定間隔毎に、当該画像面領域の法線方向（同図中１点鎖線の延出方向）に沿って、現在画像Ｖｎの画像面領域から平行移動しながら、基礎データが多数の画像面領域として切り出され、当該画像面領域が同図中破線で表される比較画像Ｖｃとされる。
As shown in FIG. 6 (B), the comparison
前記近似画像抽出部３７では、テンプレートマッチング等の公知の画像処理手法により、各比較画像Ｖｃと現在画像Ｖｎとが比較されて、各比較画像Ｖｃについて、現在画像Ｖｎとの相関係数が算出される。そして、算出された相関係数のうち、所定の閾値以上で、且つ、相関係数が最大となる比較画像Ｖｃが近似画像Ｖｅとして特定される。
In the approximate
前記近似画像状態特定部３８では、局所座標系における近似画像Ｖｅの各ピクセルの位置から、当該近似画像Ｖｅの画像面領域のグローバル座標系における位置及び姿勢が求められる。
The approximate image
前記補正部３４は、図５に示されるように、現在画像Ｖｎ及び近似画像Ｖｅそれぞれについて、各画像面領域の位置及び姿勢の差である位置姿勢差を求める画像位置姿勢差算出部４２と、現在画像Ｖｎ及び近似画像Ｖｅのそれぞれに現れる血管Ｂの領域を特定する組織特定部４３と、組織特定部４３で特定された血管Ｂの領域の所定部分の距離を求める組織内距離検出部４４と、現在画像Ｖｎ及び近似画像Ｖｅにおける当該距離の差である距離差を求める画像間距離差算出部４５と、前記位置姿勢差及び前記距離差に基づき、基礎データを生成したときの初期設定時に対する血管Ｂの状態変化について判定し、当該状態変化に応じて基礎データを加工する判定処理部４６とからなる。
As shown in FIG. 5, the correction unit 34, for each of the current image Vn and the approximate image Ve, an image position / posture
前記組織特定部４３では、超音波診断装置１１で得られた超音波画像の画像情報に基づく画像処理によって、当該画像内に現れる血管壁部分を特定する公知の処理手法が用いられており、当該処理手法については、発明の本質部分ではないため、ここでは詳細な説明を省略する。
The
前記組織内距離検出部４４では、現在画像Ｖｎ及び近似画像Ｖｅのそれぞれについて、組織特定部４３で特定された血管Ｂの上壁と下壁の間の距離が求められる。ここで、当該距離は、血管Ｂの脈動によって周期的に変動するため、超音波プローブ１３の状態を維持する際に数秒間の測定によって得られたそれぞれの値の平均値が採用される。
In the tissue
なお、組織特定部４３、組織内距離検出部４４及び画像間距離差算出部４５は、本実施形態において位置姿勢提示システム１０側に設けられているが、この態様に限定されず、それら一部若しくは全部の機能を超音波診断装置１１側に設け、前記距離の決定値若しくは前記距離差が位置姿勢提示システム１０側に送られる態様とすることもできる。
Note that the
前記判定処理部４６では、画像位置姿勢差算出部４２で求めた現在画像Ｖｎ及び近似画像Ｖｅの画像面領域の位置姿勢差について、予め設定された許容誤差を閾値として、当該閾値以上か否かが判定されるとともに、画像間距離差算出部４５で求めた現在画像Ｖｎ及び近似画像Ｖｅにおける血管Ｂの上壁及び下壁の距離差について、予め設定された許容誤差を閾値として、当該閾値以上か否かが判定され、これらの判定結果に応じ、次のようにして基礎データが補正される。
In the
第１の場合として、前記位置姿勢差が前記許容誤差以上で、前記距離差が前記許容誤差未満のときには、基礎データを取得した初期設定時と穿刺を行おうとする現時点との間で、患者自身が動いた等、超音波プローブ１３に対して血管Ｂが移動したと判定され、次の処理が行われる。すなわち、この場合には、基礎データが、グローバル座標系に変換された上で、図６（Ｂ）中矢印により概念的に示したように、現在画像Ｖｎ及び近似画像Ｖｅのそれぞれ画像面領域の位置及び姿勢が合致するように、基礎データ全体について移動変換及び／又は回転変換がなされ、基礎データの各位置がシフトされることになる。
In the first case, when the position / orientation difference is greater than or equal to the allowable error and the distance difference is less than the allowable error, the patient himself / herself is set between the initial setting at which basic data is acquired and the current point at which puncture is to be performed. It is determined that the blood vessel B has moved with respect to the
第２の場合として、前記第１の場合の逆に、前記位置姿勢差が前記許容誤差未満で、前記距離差が前記許容誤差以上のときには、基礎データを取得した初期設定時と穿刺を行おうとする現時点との間で、血管Ｂの拍動、患者の呼吸動、超音波プローブ１３の押圧力の変化等によって、体内組織に変形が生じたと判定され、次の処理が行われる。すなわち、この場合には、予め記憶された有限要素モデル等に基づく変位計算式を用い、求めた前記距離差から、血管Ｂを含めたその周囲の組織の変形状態（変位分布）が推定され、当該推定に基づく基礎データの各位置における変位量が、当該各位置の座標に加算され、その結果、基礎データ全体が歪み変形されることになる。
As a second case, contrary to the first case, when the position and orientation difference is less than the allowable error and the distance difference is equal to or larger than the allowable error, puncture is performed at the time of initial setting when the basic data is acquired. In the meantime, it is determined that the body tissue has been deformed due to the pulsation of the blood vessel B, the patient's respiratory motion, the change in the pressing force of the
第３の場合として、前記位置姿勢差と前記距離差が何れも前記許容誤差以上のときには、前記第１及び第２の場合の双方の事象が発生していると判定され、これら各場合における前述の各処理の双方が行われる。 As a third case, when both the position and orientation difference and the distance difference are greater than or equal to the allowable error, it is determined that both the first and second cases have occurred, and the above-described cases in each case are described. Both processes are performed.
第４の場合として、前記位置姿勢差と前記距離差が何れも前記許容誤差未満のときには、基礎データを取得した初期設定時と穿刺を行おうとする現時点との間で、血管Ｂの移動や変形が殆ど生じていないと判定され、初期設定時に生成された基礎データの加工処理は行われない。 As a fourth case, when both the position and orientation difference and the distance difference are less than the allowable error, the movement or deformation of the blood vessel B between the initial setting at which the basic data is acquired and the current point at which puncture is to be performed. Therefore, the basic data generated at the initial setting is not processed.
前記第１、第２及び第３の場合において、前述の補正後の基礎データは、基礎データ生成手段２３で生成された当初の基礎データに対し、グローバル座標系において、初期設定時に設定した最適画像Ｖｂにおける画像面領域の位置及び姿勢がシフトしているため、当該位置及び姿勢が改めて特定されて、次のプローブ状態表示画像Ｐの生成に用いられる。一方、前記第４の場合においては、初期設定時の最適画像Ｖｂにおける画像面領域のグローバル座標系での位置及び姿勢がプローブ状態表示画像Ｐの生成に用いられる。 In the first, second, and third cases, the corrected basic data is the optimum image set at the time of initial setting in the global coordinate system with respect to the initial basic data generated by the basic data generating means 23. Since the position and orientation of the image plane area in Vb are shifted, the position and orientation are specified again and used to generate the next probe state display image P. On the other hand, in the fourth case, the position and orientation in the global coordinate system of the image plane area in the optimum image Vb at the initial setting are used for generating the probe state display image P.
前記画像構築手段２５では、基礎データ補正手段２４での処理を経た最適画像Ｖｂの画像面領域における位置及び姿勢と、位置姿勢検出装置２０で検出された超音波プローブ１３の現在位置での画像面領域における位置及び姿勢とから、プローブ状態表示画像Ｐが生成される。なお、これら位置及び姿勢は、グローバル座標系における値が用いられる。
In the image construction means 25, the position and orientation in the image plane area of the optimum image Vb processed by the basic data correction means 24, and the image plane at the current position of the
プローブ状態表示画像Ｐとしては、例えば、図４に示されるように、最適画像Ｖｂが得られる超音波プローブ１３の位置及び姿勢の状態を表す前記目標マークＭ１と、現在の超音波プローブ１３の位置及び姿勢の状態を表す前記現状マークＭ２とが、立体的に表現されたものが挙げられる。ここでは、血管軸Ａに沿う方向をＸ軸、体表からの深さ方向をＹ軸、血管軸Ａに垂直となる方向をＺ軸とした直交３軸の表示画像用座標系が設定される。
As the probe state display image P, for example, as shown in FIG. 4, the target mark M1 representing the position and posture state of the
前記目標マークＭ１は、超音波プローブ１３を立方体形状として表現したものであり、その中心部が表示画像用座標系の原点Ｏに一致し、且つ、所定の姿勢となるように、プローブ状態表示画像Ｐ内に配置される。
The target mark M1 is a representation of the
前記現状マークＭ２は、目標マークＭ１と同一サイズの立方体形状とされ、特に限定されるものではないが、目標マークＭ１に対して異なる色彩等が付されて視覚的に区別可能なデザインに設けられている。 The current mark M2 has a cubic shape that is the same size as the target mark M1, and is not particularly limited. However, the target mark M1 is provided with a design that is visually distinguishable by adding a different color to the target mark M1. ing.
プローブ状態表示画像Ｐは、次のようにして生成される。すなわち、先ず、基礎データ補正手段２４での処理を経た最適画像Ｖｂの画像面領域における位置及び姿勢と、現在の超音波プローブ１３により取得される現在画像Ｖｎの画像面領域における位置及び姿勢とから、目標に対する現在の超音波プローブ１３の位置及び姿勢の差が求められる。そして、これらの差が、表示画像用座標系における目標マークＭ１に対する現状マークＭ２の位置及び姿勢の差として変換され、これらマークＭ１，Ｍ２が、当該変換後の差に対応した位置及び姿勢となるように、プローブ状態表示画像Ｐ内に配置される。
The probe state display image P is generated as follows. That is, first, from the position and orientation in the image plane area of the optimum image Vb that has undergone the processing in the basic data correction means 24 and the position and attitude in the image plane area of the current image Vn acquired by the current
なお、本実施形態では、これらマークＭ１，Ｍ２を立方体形状としたが、超音波プローブ１３の形状に模した立体形状にする等、マークＭ１，Ｍ２の形状、色彩、模様等の形態を変更することも可能である。
In the present embodiment, the marks M1 and M2 have a cubic shape, but the shapes of the marks M1 and M2, such as the shape, color, and pattern, are changed, such as a three-dimensional shape imitating the shape of the
また、前記プローブ状態表示画像Ｐとしては、基礎データ補正手段２４での処理を経た基礎データを血管軸Ａに垂直となる短軸方向に切り出し、図７に示されるように、前記目標マークＭ１として、最適画像Ｖｂの画像面領域の位置及び姿勢を示す直線をし、現状マークＭ２として、現在画像Ｖｎの画像面領域の位置及び姿勢を示す直線とすることも可能である。要するに、プローブ状態表示画像Ｐとしては、最適画像Ｖｂが得られる超音波プローブ１３の状態に対し、現在の超音波プローブ１３の状態を視覚的に比較して提示可能な限りにおいて、様々の表現態様を採用することができる。
Further, as the probe state display image P, the basic data that has been processed by the basic data correction means 24 is cut out in the short axis direction perpendicular to the blood vessel axis A, and as shown in FIG. A straight line indicating the position and orientation of the image plane area of the optimum image Vb may be formed, and the current mark M2 may be a straight line indicating the position and orientation of the image plane area of the current image Vn. In short, as the probe state display image P, various representation modes can be used as long as the current state of the
次に、前記画像生成装置２１におけるプローブ状態表示画像Ｐの生成手順につき説明する。 Next, a procedure for generating the probe state display image P in the image generating device 21 will be described.
先ず、穿刺支援マニピュレータ１７による穿刺を行う前に、対象となる血管Ｂの部位を探索するために、操作者は、自身の手で患者の皮膚に沿って超音波プローブ１３を動かしながら、各位置での超音波画像を視認する作業を行う。そして、この作業が行われているときに、プローブ状態表示画像Ｐを生成するための初期設定が行われる。すなわち、操作者がスキャンスイッチＳ１を押した後、予め設定されたスキャン時間内において、ターゲットとなる血管Ｂの周囲の皮膚上を超音波プローブ１３で走査する。この際、操作者が、血管軸Ａを通る長軸断面の断層画像を発見したときに、穿刺の最適位置として、最適状態登録スイッチＳ２が押され、そのときの超音波画像が最適画像Ｖｂとして登録される。
First, before performing the puncture by the
そして、基礎データ生成手段２３では、前記スキャン時間において所定時間毎に取得した各超音波画像の断層画像群の各ピクセルにおける画像情報に、各超音波画像が得られるときの超音波プローブ１３の位置及び姿勢に基づく各ピクセルの位置を対応させた最適画像Ｖｂの領域を含む基礎データが生成される。
And in the basic data generation means 23, the position of the
次に、基礎データ補正手段２４において、現在の超音波プローブ１３の位置及び姿勢で得られた現在画像Ｖｎに位置姿勢情報を付加した現データが取得される。そして、現在画像Ｖｎと、現在画像Ｖｎと平行に切り出された基礎データにおける各比較画像Ｖｃとの対比により、最も近似する比較画像Ｖｃが近似画像Ｖｅとして決定され、現在画像Ｖｎと近似画像Ｖｅの差異に応じて、穿刺対象となる血管Ｂの状態変化が推定され、当該状態変化に応じて基礎データ全体の移動及び変形等の補正がなされる。
Next, the basic
その後、画像構築手段２５では、基礎データ補正手段２４での処理を経た最適画像Ｖｂの画像面領域における位置及び姿勢と、現在の超音波プローブ１３の位置及び姿勢により得られる現在画像Ｖｎの画像面領域における位置及び姿勢とに基づいて、目標マークＭ１及び現状マークＭ２とが表されたプローブ状態表示画像Ｐが生成され、モニタ１６に表示される。
Thereafter, in the image construction means 25, the image plane of the current image Vn obtained from the position and orientation in the image plane area of the optimum image Vb that has undergone the processing in the basic data correction means 24 and the current position and orientation of the
操作者は、穿刺に最適となる超音波プローブ１３の位置及び姿勢である最適状態を維持し、超音波画像を見ながら穿刺支援マニピュレータ１７を動作して穿刺を行うが、この際、操作者の手振れ、穿刺対象の血管Ｂの移動や変形等によって、超音波プローブ１３が最適状態に対する位置ずれや姿勢ずれが生じる場合がある。ここで、操作者の手振れが生じた場合には、血管Ｂの移動及び変形が生じていないため、基礎データが補正されず、初期設定された状態の最適画像Ｖｂが用いられる。一方、血管Ｂの移動や変形が生じた場合には、前述のように補正された基礎データを用い、初期設定された状態から位置及び姿勢を変更した最適画像Ｖｂが用いられる。そして、操作者は、最適画像Ｖｂが得られる超音波プローブ１３の位置及び姿勢に対応する目標マークＭ１と、現在画像Ｖｎが得られる超音波プローブ１３の位置及び姿勢に対応する現状マークＭ２とが表示されたプローブ状態表示画像Ｐを見ながら、最適状態に対する超音波プローブ１３の現在の位置及び姿勢のずれ状態を直感的に把握することができる。
The operator maintains an optimal state that is the position and posture of the
従って、このような実施形態によれば、超音波プローブ１３の操作用のガイドツールとして有用であり、一旦発見した最適画像Ｖｂを得るための超音波プローブ１３の位置及び姿勢に素早く戻すことが可能になるという効果を得る。
Therefore, according to such an embodiment, it is useful as a guide tool for operating the
なお、前記実施形態での位置姿勢提示システム１０は、穿刺時における血管Ｂの最適位置の探索用として、操作者に超音波プローブ１３のずれ具合を提示するシステムとなっているが、本発明はこれに限定されるものではなく、同様の処理により、他の臓器等の体内組織における目標位置の探索用として、操作者に超音波プローブ１３のずれ具合を提示可能なシステムとすることもできる。
The position / orientation presentation system 10 in the above embodiment is a system for presenting the degree of displacement of the
また、本発明における処理アルゴリズムは、超音波プローブ１３を操作者の手によって移動させる手持ち型の穿刺支援マニピュレータ１７への適用のための画像表示目的に限定されるものではなく、超音波プローブ１３を自動的に動作させるロボットにおける超音波プローブ１３の位置合わせのアルゴリズムとしても、利用可能である。
The processing algorithm in the present invention is not limited to the purpose of displaying an image for application to the hand-held
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。 In addition, the configuration of each part of the apparatus in the present invention is not limited to the illustrated configuration example, and various modifications are possible as long as substantially the same operation is achieved.
１０ 位置情報提示システム
１１ 超音波診断装置
１３ 超音波プローブ
２０ 位置姿勢検出装置
２１ 画像生成装置
３２ 現データ取得部
３３ データ対比部
３４ 補正部
３６ 比較画像生成部
３７ 近似画像抽出部
３８ 近似画像状態特定部
４２ 画像位置姿勢差算出部
４３ 組織特定部
４４ 組織内距離検出部
４５ 画像間距離差算出部
４６ 判定処理部
Ｂ 血管（組織）
Ｍ１ 目標マーク
Ｍ２ 現状マーク
Ｐ プローブ状態表示画像
Ｖｂ 最適画像
Ｖｃ 比較画像
Ｖｅ 近似画像
Ｖｎ 現在画像
DESCRIPTION OF SYMBOLS 10 Position information presentation system 11 Ultrasound
M1 target mark M2 current mark P probe state display image Vb optimum image Vc comparison image Ve approximation image Vn current image
Claims (10)
前記超音波プローブの位置及び姿勢を検出する位置姿勢検出装置と、当該位置姿勢検出装置によって検出された前記超音波プローブの位置及び姿勢に基づいて、前記プローブ状態表示画像を生成する画像生成装置とを備え、
前記画像生成装置は、ターゲットとする体内組織周辺で予め取得された複数の前記超音波画像の各画像情報に前記位置姿勢検出装置で検出された情報を加えた基礎データを生成する基礎データ生成手段と、前記体内組織の状態変化に対応して前記基礎データを補正する基礎データ補正手段と、当該基礎データ補正手段を経た前記基礎データに基づいて、所望とする前記超音波画像である最適画像が得られる前記超音波プローブの最適状態に対する現在の前記超音波プローブのずれ具合を所定のマークで表示するように、前記プローブ状態表示画像を構築する画像構築手段とを備え、
前記基礎データ補正手段は、現在の前記超音波画像である現在画像の画像情報と、そのときの前記位置姿勢検出装置で検出された情報とを現データとして取得する現データ取得部と、当該現データを前記基礎データと対比するデータ対比部と、当該対比の結果から前記体内組織の状態変化の有無を判定し、当該状態変化の種類に応じて前記基礎データを補正する補正部とを備えたことを特徴とする超音波プローブの位置姿勢提示システム。 An arrangement state based on the position and posture of the ultrasonic probe, which is attached to an ultrasonic diagnostic apparatus that acquires an ultrasonic image of the patient's body tissue by bringing the ultrasonic probe into contact with the body surface of the patient. In the position / posture presentation system of the ultrasonic probe for presenting the probe state display image for displaying the operator to the operator,
A position and orientation detection device for detecting the position and orientation of the ultrasonic probe, and an image generation device for generating the probe state display image based on the position and orientation of the ultrasonic probe detected by the position and orientation detection device; With
The image generation device generates basic data that generates basic data obtained by adding information detected by the position and orientation detection device to each piece of image information of the plurality of ultrasonic images acquired in advance around a target body tissue And a basic data correction unit that corrects the basic data in response to a change in the state of the body tissue, and an optimal image that is the desired ultrasonic image based on the basic data that has passed through the basic data correction unit. Image constructing means for constructing the probe state display image so as to display the current degree of deviation of the ultrasound probe with respect to the optimum state of the obtained ultrasound probe with a predetermined mark ;
The basic data correction means includes a current data acquisition unit that acquires, as current data, image information of a current image that is the current ultrasonic image and information detected by the position and orientation detection device at that time, A data comparison unit that compares data with the basic data, and a correction unit that determines the presence or absence of a state change of the body tissue from the result of the comparison and corrects the basic data according to the type of the state change A position and orientation presentation system for an ultrasonic probe.
前記画像構築手段では、前記最適画像と前記近似画像との各画像面領域における位置及び姿勢の差に対応させて、前記超音波プローブのずれ具合を表示することを特徴とする請求項１記載の超音波プローブの位置姿勢提示システム。 In the basic data that has undergone the processing by the basic data correction means, the image plane area of the optimum image and the image plane area of the approximate image that approximates the current image are identified by comparison with the image information of the current image. ,
The image constructing means displays the degree of displacement of the ultrasonic probe in correspondence with a difference in position and orientation in each image plane region between the optimum image and the approximate image. Ultrasound probe position and orientation presentation system.
前記補正部では、前記近似画像の画像面領域が、前記現在画像の画像面領域の位置及び姿勢に一致するように、前記基礎データ全体を移動変換及び／又は回転変換することを特徴とする請求項２記載の超音波プローブの位置姿勢提示システム。 In the data comparison unit , among the comparative images obtained by cutting out the basic data at a predetermined interval in parallel with the image plane area of the current image, an image that is closest to the image information of the current image is selected as the approximate image. age,
The correction unit performs movement conversion and / or rotation conversion on the entire basic data so that the image plane area of the approximate image matches the position and orientation of the image plane area of the current image. Item 3. The position and orientation presentation system for an ultrasonic probe according to Item 2.
前記補正部では、前記近似画像の画像情報が、前記現在画像の画像情報に一致するように、前記基礎データを補正することを特徴とする請求項２記載の超音波プローブの位置姿勢提示システム。 In the data comparison unit, among the comparative image obtained by cutting in parallel with the basic data regular intervals at the the image plane region of the current image, having image information most similar to the image information of the current image An approximate image is identified,
The ultrasonic probe position / posture presentation system according to claim 2, wherein the correction unit corrects the basic data so that image information of the approximate image matches image information of the current image.
前記位置姿勢差が前記許容誤差未満で、前記距離差が前記許容誤差以上となる第２の場合に、前記体内組織が変形したと判定され、前記現在画像及び前記近似画像のそれぞれの画像情報が合致するように、前記基礎データ全体を変形する処理がなされ、
前記位置姿勢差が前記許容誤差以上で、前記距離差が前記許容誤差以上となる第３の場合に、前記体内組織の移動及び変形の双方が生じたと判定され、前記第１及び第２の場合の双方の処理を行うことを特徴とする請求項７記載の超音波プローブの位置姿勢提示システム。 The determination processing unit determines that the body tissue has moved in a first case where the position and orientation difference is greater than or equal to a preset tolerance and the distance difference is less than a preset tolerance, A process of moving and / or rotating and converting the entire basic data so that the positions and orientations of the image plane regions of the current image and the approximate image match,
In the second case where the position and orientation difference is less than the tolerance and the distance difference is greater than or equal to the tolerance, it is determined that the body tissue has been deformed, and the image information of the current image and the approximate image is A process for transforming the entire basic data so as to match,
In the third case where the position and orientation difference is greater than or equal to the tolerance and the distance difference is greater than or equal to the tolerance, it is determined that both movement and deformation of the body tissue have occurred, and the first and second cases. The ultrasonic probe position and orientation presentation system according to claim 7 , wherein both of the processes are performed.
ターゲットとする体内組織周辺で予め取得された複数の前記超音波画像の各画像情報に、前記超音波プローブの位置及び姿勢に対応する情報を加えた基礎データを生成する基礎データ生成手段と、前記体内組織の状態変化に対応して前記基礎データを補正する基礎データ補正手段と、当該基礎データ補正手段を経た前記基礎データに基づいて、所望とする前記超音波画像である最適画像が得られる前記超音波プローブの最適状態に対する現在の前記超音波プローブのずれ具合を所定のマークで表示するように、前記プローブ状態表示画像を構築する画像構築手段とを備え、
前記基礎データ補正手段は、現在の前記超音波画像である現在画像の画像情報に、そのときの前記超音波プローブの位置姿勢情報を付加した現データを取得する現データ取得部と、当該現データを前記基礎データと対比するデータ対比部と、当該対比の結果から前記体内組織の状態変化の有無を判定し、当該状態変化の種類に応じて前記基礎データを補正する補正部とを備えたことを特徴とする画像生成装置。 In an image generation apparatus that generates a probe state display image that displays an arrangement state based on the position and orientation of an ultrasonic probe of an ultrasonic diagnostic apparatus that acquires an ultrasonic image,
Basic data generation means for generating basic data by adding information corresponding to the position and posture of the ultrasonic probe to each image information of the plurality of ultrasonic images acquired in advance around the target body tissue; Based on the basic data correcting unit that corrects the basic data in response to a change in the state of the body tissue, and the basic data that has passed through the basic data correcting unit, an optimal image that is the desired ultrasonic image is obtained. Image constructing means for constructing the probe state display image so as to display the current degree of deviation of the ultrasound probe with respect to the optimum state of the ultrasound probe with a predetermined mark ;
The basic data correction means includes a current data acquisition unit that acquires current data obtained by adding the position and orientation information of the ultrasonic probe to the image information of the current image that is the current ultrasonic image, and the current data A data comparison unit that compares the basic data with the basic data, and a correction unit that determines the presence or absence of a state change of the body tissue from the result of the comparison and corrects the basic data according to the type of the state change. An image generation apparatus characterized by the above.
ターゲットとする体内組織周辺で予め取得された複数の前記超音波画像の各画像情報に、前記超音波プローブの位置及び姿勢に対応する情報を加えた基礎データを生成する基礎データ生成手段と、前記体内組織の状態変化に対応して前記基礎データを補正する基礎データ補正手段と、当該基礎データ補正手段を経た前記基礎データに基づいて、所望とする前記超音波画像である最適画像が得られる前記超音波プローブの最適状態に対する現在の前記超音波プローブのずれ具合を所定のマークで表示するように、前記プローブ状態表示画像を構築する画像構築手段として、前記コンピュータを機能させ、
前記基礎データ補正手段は、現在の前記超音波画像である現在画像の画像情報に、そのときの前記超音波プローブの位置姿勢情報を付加した現データを取得する現データ取得部と、当該現データを前記基礎データと対比するデータ対比部と、当該対比の結果から前記体内組織の状態変化の有無を判定し、当該状態変化の種類に応じて前記基礎データを補正する補正部とを備えることを特徴とする画像生成装置のプログラム。
In a program for causing a computer of an image generation apparatus to generate a probe state display image to display an arrangement state based on the position and orientation of an ultrasonic probe of an ultrasonic diagnostic apparatus that acquires an ultrasonic image,
Basic data generation means for generating basic data by adding information corresponding to the position and posture of the ultrasonic probe to each image information of the plurality of ultrasonic images acquired in advance around the target body tissue; Based on the basic data correcting unit that corrects the basic data in response to a change in the state of the body tissue, and the basic data that has passed through the basic data correcting unit, an optimal image that is the desired ultrasonic image is obtained. The computer is functioned as an image construction means for constructing the probe state display image so as to display the current degree of deviation of the ultrasonic probe with respect to the optimum state of the ultrasonic probe with a predetermined mark ,
The basic data correction means includes a current data acquisition unit that acquires current data obtained by adding the position and orientation information of the ultrasonic probe to the image information of the current image that is the current ultrasonic image, and the current data Rukoto comprising a data comparison unit for comparison with the basic data, to determine whether the state change of the body tissue from the results of the comparison, and a correction unit that corrects the basic data in accordance with the type of the state change An image generation apparatus program characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015048953A JP5939601B1 (en) | 2015-03-12 | 2015-03-12 | Ultrasonic probe position and orientation presentation system, image generation apparatus and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015048953A JP5939601B1 (en) | 2015-03-12 | 2015-03-12 | Ultrasonic probe position and orientation presentation system, image generation apparatus and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5939601B1 true JP5939601B1 (en) | 2016-06-22 |
| JP2016168142A JP2016168142A (en) | 2016-09-23 |
Family
ID=56184655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015048953A Active JP5939601B1 (en) | 2015-03-12 | 2015-03-12 | Ultrasonic probe position and orientation presentation system, image generation apparatus and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5939601B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111544036A (en) * | 2020-05-12 | 2020-08-18 | 上海深至信息科技有限公司 | Ultrasonic navigation system and method |
| CN112444565A (en) * | 2019-08-28 | 2021-03-05 | 株式会社东芝 | Display control system, inspection management system, display control method, and storage medium |
| CN112991166A (en) * | 2019-12-16 | 2021-06-18 | 无锡祥生医疗科技股份有限公司 | Intelligent auxiliary guiding method, ultrasonic equipment and storage medium |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112399828A (en) | 2018-05-15 | 2021-02-23 | 纽约大学 | System and method for capture orientation of ultrasound images |
| JP6611104B1 (en) * | 2018-12-12 | 2019-11-27 | フォルテ グロウ メディカル株式会社 | Portable ultrasound imaging system |
| WO2021111581A1 (en) * | 2019-12-05 | 2021-06-10 | 株式会社Ｆｕｊｉ | Ultrasonic diagnosis system |
| WO2022244552A1 (en) * | 2021-05-18 | 2022-11-24 | 富士フイルム株式会社 | Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004016268A (en) * | 2002-06-12 | 2004-01-22 | Toshiba Corp | Ultrasonic diagnostic equipment, ultrasonic probe, and method for providing navigation information in ultrasonography |
| JP2007000439A (en) * | 2005-06-24 | 2007-01-11 | Toshiba Corp | Ultrasonic diagnostic apparatus |
| JP2014188017A (en) * | 2013-03-26 | 2014-10-06 | Konica Minolta Inc | Ultrasonic diagnostic apparatus and control method for ultrasonic diagnostic apparatus |
-
2015
- 2015-03-12 JP JP2015048953A patent/JP5939601B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004016268A (en) * | 2002-06-12 | 2004-01-22 | Toshiba Corp | Ultrasonic diagnostic equipment, ultrasonic probe, and method for providing navigation information in ultrasonography |
| JP2007000439A (en) * | 2005-06-24 | 2007-01-11 | Toshiba Corp | Ultrasonic diagnostic apparatus |
| JP2014188017A (en) * | 2013-03-26 | 2014-10-06 | Konica Minolta Inc | Ultrasonic diagnostic apparatus and control method for ultrasonic diagnostic apparatus |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112444565A (en) * | 2019-08-28 | 2021-03-05 | 株式会社东芝 | Display control system, inspection management system, display control method, and storage medium |
| CN112991166A (en) * | 2019-12-16 | 2021-06-18 | 无锡祥生医疗科技股份有限公司 | Intelligent auxiliary guiding method, ultrasonic equipment and storage medium |
| CN111544036A (en) * | 2020-05-12 | 2020-08-18 | 上海深至信息科技有限公司 | Ultrasonic navigation system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016168142A (en) | 2016-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5939601B1 (en) | Ultrasonic probe position and orientation presentation system, image generation apparatus and program thereof | |
| CN113164117A (en) | Ultrasound guided alignment and insertion of percutaneous cannula instrument | |
| JP5531239B2 (en) | Puncture support system | |
| JP5127371B2 (en) | Ultrasound image diagnostic system and control method thereof | |
| US20140296694A1 (en) | Method and system for ultrasound needle guidance | |
| KR20160086629A (en) | Method and Apparatus for Coordinating Position of Surgery Region and Surgical Tool During Image Guided Surgery | |
| CN110090069A (en) | Ultrasonic puncture bootstrap technique, guide device and storage medium | |
| US20210015448A1 (en) | Methods and systems for imaging a needle from ultrasound imaging data | |
| CN105491955A (en) | Ultrasonic diagnostic device and ultrasonic image generation method | |
| JP2019072259A (en) | Endoscope image processing program, endoscope system, and endoscope image processing method | |
| US20200077976A1 (en) | Ultrasonic Diagnostic Device and Volume Data Acquiring Method | |
| JP6580243B2 (en) | Information processing apparatus, ultrasonic diagnostic imaging system, information processing method, and program | |
| CN116585032A (en) | Minimally invasive puncture system based on navigation system | |
| EP3738515A1 (en) | Ultrasound system and method for tracking movement of an object | |
| JP2017169786A (en) | Ultrasonic diagnostic system | |
| JP6355788B2 (en) | Information processing apparatus, information processing method, information processing system, and program | |
| JP2015134132A (en) | Ultrasonic diagnostic equipment | |
| JP6338510B2 (en) | Information processing apparatus, information processing method, information processing system, and program | |
| US12076183B2 (en) | Image processing device and image display method | |
| CN114601494A (en) | Ultrasonic diagnostic system and operation support method | |
| JP6463539B2 (en) | Information processing apparatus, ultrasonic diagnostic imaging system, information processing method, and program | |
| JP6221166B2 (en) | Display device, medical device, and program | |
| US20240225590A9 (en) | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus | |
| US20240225690A9 (en) | Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus | |
| JP5854399B2 (en) | Medical system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5939601 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |