JPWO2015044978A1 - Information processing apparatus, photographing system, information processing method, and program - Google Patents
Information processing apparatus, photographing system, information processing method, and program Download PDFInfo
- Publication number
- JPWO2015044978A1 JPWO2015044978A1 JP2015538635A JP2015538635A JPWO2015044978A1 JP WO2015044978 A1 JPWO2015044978 A1 JP WO2015044978A1 JP 2015538635 A JP2015538635 A JP 2015538635A JP 2015538635 A JP2015538635 A JP 2015538635A JP WO2015044978 A1 JPWO2015044978 A1 JP WO2015044978A1
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- transmission
- image
- frame
- reception unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 33
- 238000003672 processing method Methods 0.000 title claims description 4
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 135
- 230000005540 biological transmission Effects 0.000 claims abstract description 115
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- 239000000523 sample Substances 0.000 claims abstract description 39
- 238000003325 tomography Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 7
- 244000208734 Pisonia aculeata Species 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 208000031481 Pathologic Constriction Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000037804 stenosis Diseases 0.000 description 4
- 230000036262 stenosis Effects 0.000 description 4
- 210000004351 coronary vessel Anatomy 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000002608 intravascular ultrasound Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
術者が望む血管位置へと断層像撮影装置のプローブが有する送受信部を迅速に移動させることができる。送受信部を有するプローブを血管内に挿入している間に撮影された、1以上のフレームで構成される血管の透視像について、それぞれのフレームに含まれる送受信部の像の位置を取得する。透視像のフレームのうち少なくとも1つを表示させる。表示された透視像のフレーム上でユーザが指定した血管位置を取得する。ユーザが指定した血管位置により近い位置にある送受信部の像を含む透視像のフレームを特定する。特定されたフレームについて、フレームが撮影された際の送受信部の血管長さ方向の位置を取得し、断層像撮影装置の送受信部の血管長さ方向の位置が、特定されたフレームが撮影された際の送受信部の血管長さ方向の位置と同様となるように、送受信部の移動指示を断層像撮影装置に送信する。The transmitting / receiving unit of the probe of the tomography apparatus can be quickly moved to the blood vessel position desired by the operator. For a fluoroscopic image of a blood vessel composed of one or more frames taken while a probe having a transmission / reception unit is inserted into a blood vessel, the position of the image of the transmission / reception unit included in each frame is acquired. At least one of the frames of the fluoroscopic image is displayed. The blood vessel position designated by the user on the frame of the displayed fluoroscopic image is acquired. A frame of a fluoroscopic image including an image of a transmission / reception unit located closer to the blood vessel position designated by the user is specified. For the identified frame, the position in the blood vessel length direction of the transmission / reception unit when the frame was imaged was acquired, and the position in the blood vessel length direction of the transmission / reception unit of the tomographic imaging apparatus was captured. An instruction to move the transmission / reception unit is transmitted to the tomography apparatus so as to be the same as the position of the transmission / reception unit in the blood vessel length direction.
Description
本発明は、情報処理装置、撮影システム、情報処理方法及びプログラムに関するものであり、特に、医療診断のための画像撮影に関するものである。 The present invention relates to an information processing apparatus, an imaging system, an information processing method, and a program, and more particularly, to imaging for medical diagnosis.
例えばバルーンやステント等を備えるカテーテルを用いた血管内医療行為は、通常、診断画像を参照しながら行われる。従来より、カテーテルを用いた手術の際には、血管造影法(アンギオグラフィー,Angio)により連続的に撮影された透視画像、例えばX線画像を観察することで、血管の狭窄や閉塞等が確認されている。近年では、超音波血管内視鏡(IVUS)、又は光干渉画像診断装置(OCT)若しくはその改良型である波長掃引を利用した光干渉画像診断装置(OFDI)等から得られる血管の断層画像を併せて確認する手技が普及しつつある。 For example, an intravascular medical practice using a catheter including a balloon, a stent, or the like is usually performed with reference to a diagnostic image. Conventionally, during surgery using a catheter, stenosis or occlusion of blood vessels can be confirmed by observing fluoroscopic images, for example, X-ray images, taken continuously by angiography (angio, angio). Has been. In recent years, a tomographic image of a blood vessel obtained from an ultrasonic vascular endoscope (IVUS), an optical interference diagnostic imaging apparatus (OCT), or an optical interference diagnostic imaging apparatus (OFDI) using an improved wavelength sweep, etc. Techniques to check together are becoming widespread.
これらの透視画像及び断層画像は、主に手術前の診断や、手術後の治療効果の確認のために利用されている。例えば、ステントを血管内に挿入して血管の狭窄部位を広げる治療を行う場合、術者(操作者)はX線画像から目的とする冠動脈の全体形状を確認し、血管の狭窄部位を特定する。さらに、術者は狭窄部における断層画像を用いて血管内の病状を把握し、最終的にステントの留置位置やサイズ等を決定する。 These fluoroscopic images and tomographic images are mainly used for diagnosis before surgery and confirmation of therapeutic effect after surgery. For example, when performing treatment to insert a stent into a blood vessel and widen the stenosis of the blood vessel, the operator (operator) confirms the overall shape of the target coronary artery from the X-ray image and specifies the stenosis of the blood vessel . Furthermore, the surgeon grasps the pathological condition in the blood vessel using the tomographic image in the stenosis, and finally determines the placement position and size of the stent.
得られた画像の表示方法として、例えば特許文献1には、被験者に挿入したIVUSプローブが有する、撮影に用いられる送受信部の位置をX線画像上に表示することが記載されている。また、特許文献2には、X線透視像から超音波プローブが有する送受信部の移動位置を検出する方法が開示されている。特許文献2には、さらに、所定位置の超音波像を録画することと、ユーザによる位置指定に従って録画された超音波像を表示することと、が開示されている。 As a display method of the obtained image, for example, Patent Document 1 describes that the position of a transmission / reception unit used for imaging possessed by an IVUS probe inserted into a subject is displayed on an X-ray image. Patent Document 2 discloses a method for detecting a moving position of a transmission / reception unit of an ultrasonic probe from an X-ray fluoroscopic image. Patent Document 2 further discloses recording an ultrasonic image at a predetermined position and displaying the recorded ultrasonic image in accordance with the position designation by the user.
撮影された血管の断層画像又は透視画像の確認中に、さらに精細な断層画像を希望する場合等、術者が断層画像を再撮影することを望むことがある。しかしながら、位置指定の困難性のために、術者が望む血管位置へとプローブが有する送受信部を迅速に移動させることは容易ではなかった。 While confirming the tomographic image or fluoroscopic image of the imaged blood vessel, the operator may desire to re-image the tomographic image, for example, when a finer tomographic image is desired. However, due to the difficulty of position designation, it is not easy to quickly move the transmission / reception unit of the probe to the blood vessel position desired by the operator.
本発明は、術者が望む血管位置へと断層像撮影装置のプローブが有する送受信部を迅速に移動させることを目的とする。 An object of the present invention is to quickly move a transmission / reception unit included in a probe of a tomography apparatus to a blood vessel position desired by an operator.
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
送受信部を有するプローブを血管内に挿入し、該送受信部の血管長さ方向の位置を制御しながら該送受信部を用いて血管の断層像を撮影する断層像撮影装置と通信可能に接続された情報処理装置であって、
前記プローブを血管内に挿入している間に撮影された、1以上のフレームで構成される血管の透視像について、それぞれのフレームに含まれる送受信部の像の位置を取得する第1の取得手段と、
前記透視像のフレームのうち少なくとも1つを表示手段に表示させる表示制御手段と、
前記表示手段に表示された前記透視像のフレーム上でユーザが指定した血管位置を取得する第2の取得手段と、
前記ユーザが指定した血管位置により近い位置にある送受信部の像を含む前記透視像のフレームを特定する特定手段と、
前記特定されたフレームについて、該フレームが撮影された際の前記送受信部の血管長さ方向の位置を取得し、前記断層像撮影装置の送受信部の血管長さ方向の位置が、前記特定されたフレームが撮影された際の送受信部の血管長さ方向の位置と同様となるように、前記送受信部の移動指示を前記断層像撮影装置に送信する送信手段と、
を備えることを特徴とする。In order to achieve the object of the present invention, for example, an information processing apparatus of the present invention comprises the following arrangement. That is,
A probe having a transmission / reception unit is inserted into a blood vessel, and connected to a tomography apparatus that takes a tomographic image of the blood vessel using the transmission / reception unit while controlling the position of the transmission / reception unit in the blood vessel length direction. An information processing apparatus,
First acquisition means for acquiring a position of an image of a transmission / reception unit included in each frame of a perspective image of a blood vessel composed of one or more frames taken while the probe is inserted into the blood vessel When,
Display control means for displaying at least one of the frames of the fluoroscopic image on a display means;
Second acquisition means for acquiring a blood vessel position designated by a user on a frame of the fluoroscopic image displayed on the display means;
A specifying means for specifying a frame of the fluoroscopic image including an image of a transmission / reception unit located closer to a blood vessel position specified by the user;
For the identified frame, the position in the blood vessel length direction of the transmission / reception unit when the frame is imaged is obtained, and the position in the blood vessel length direction of the transmission / reception unit of the tomographic imaging apparatus is identified. Transmitting means for transmitting an instruction to move the transmission / reception unit to the tomographic imaging apparatus so that the position of the transmission / reception unit when the frame is imaged is similar to the position in the blood vessel length direction;
It is characterized by providing.
術者が望む血管位置へと断層像撮影装置のプローブが有する送受信部を迅速に移動させることができる。 The transmitting / receiving unit of the probe of the tomography apparatus can be quickly moved to the blood vessel position desired by the operator.
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。 Other features and advantages of the present invention will become apparent from the following description with reference to the accompanying drawings. In the accompanying drawings, the same or similar components are denoted by the same reference numerals.
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the scope of the present invention is not limited to the following embodiments.
[実施形態1]
以下に、実施形態1に係る情報処理装置について説明する。図1は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。本実施形態に係る情報処理装置100は、画像収集部110と、対応取得部120と、検出部125と、ユーザ指示取得部130と、表示制御部140と、フレーム特定部145と、指示送信部150と、を備える。また、情報処理装置100は、断層像撮影装置170及び表示装置190と通信可能に接続されており、これらの動作を制御することができる。[Embodiment 1]
The information processing apparatus according to the first embodiment will be described below. FIG. 1 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment. The information processing apparatus 100 according to the present embodiment includes an image collection unit 110, a correspondence acquisition unit 120, a detection unit 125, a user instruction acquisition unit 130, a display control unit 140, a frame specification unit 145, and an instruction transmission unit. 150. The information processing apparatus 100 is communicably connected to the tomographic imaging apparatus 170 and the display apparatus 190, and can control these operations.
画像収集部110は、血管の断層像と透視像とを収集する。血管の断層像の種類は特に限定されないが、例えば超音波断層像又は光断層像等でありうる。本実施形態において、画像収集部110が収集する断層像は、送受信部を有するプローブを血管内に挿入することによって撮影されたものである。また、本実施形態において、画像収集部110が収集する透視像は、送受信部を有するプローブを血管内に挿入することによって血管の断層像を撮影している間に撮影されたものである。この送受信部は、送受信部の位置における血管の断層像を撮影するために用いられる。一実施形態において、送受信部は診断用の波動を送受信する。例えば、超音波断層像を撮影する際には送受信部は超音波を送受信し、光断層像を撮影する際には送受信部は光を送受信する。本実施形態において、画像収集部110は断層像撮影装置170及び透視像撮影装置180に接続されており、これらの装置から断層像及び透視像を収集する。これらの装置は通常血管径方向の横断面画像を取得するが、横断面画像から血管長さ方向の縦断面画像を得ることもできる。 The image collection unit 110 collects tomographic images and fluoroscopic images of blood vessels. The type of tomographic image of the blood vessel is not particularly limited, and may be, for example, an ultrasonic tomographic image or an optical tomographic image. In the present embodiment, the tomographic image collected by the image collection unit 110 is taken by inserting a probe having a transmission / reception unit into a blood vessel. Further, in the present embodiment, the fluoroscopic images collected by the image collecting unit 110 are taken while taking a tomographic image of a blood vessel by inserting a probe having a transmission / reception unit into the blood vessel. This transmission / reception unit is used to take a tomographic image of a blood vessel at the position of the transmission / reception unit. In one embodiment, the transceiver transmits and receives diagnostic waves. For example, the transmission / reception unit transmits / receives ultrasonic waves when imaging an ultrasonic tomogram, and the transmission / reception unit transmits / receives light when imaging an optical tomogram. In the present embodiment, the image collecting unit 110 is connected to the tomographic imaging apparatus 170 and the fluoroscopic imaging apparatus 180, and collects a tomographic image and a fluoroscopic image from these apparatuses. These devices usually acquire a transverse cross-sectional image in the blood vessel radial direction, but a vertical cross-sectional image in the blood vessel length direction can also be obtained from the cross-sectional image.
超音波断層像は、例えば血管内超音波診断装置(IVUS:Intra Vascular Ultra Sound)等により取得することができる。また、光断層像は、例えば光干渉断層診断装置(OCT:Optical Coherence Tomography)又は波長掃引を利用した光干渉画像診断装置(OFDI:Optical Frequency Domain Imaging)等により取得することができる。以下の説明においては、画像収集部110は、OFDI装置を用いて得られた光断層像を収集するものとする。 An ultrasonic tomogram can be acquired by, for example, an intravascular ultrasonic diagnostic apparatus (IVUS: Intra Vessel Ultra Sound). The optical tomographic image can be acquired by, for example, an optical coherence tomography (OCT: Optical Coherence Tomography) or an optical interference image diagnostic apparatus (OFDI: Optical Frequency Domain Imaging) using a wavelength sweep. In the following description, it is assumed that the image collection unit 110 collects an optical tomographic image obtained using an OFDI apparatus.
本実施形態で画像収集部110が収集する断層画像は、複数のフレームにより構成されている。例えば、OFDI装置の光プローブを冠動脈内等の血管内にカテーテルを介して挿入し、光プローブを引っ張りながら、光プローブが有する送受信部を用いて連続して断層画像を撮影することにより、複数のフレームにより構成される断層像を得ることができる。 In the present embodiment, the tomographic image collected by the image collection unit 110 is composed of a plurality of frames. For example, an optical probe of an OFDI apparatus is inserted into a blood vessel such as a coronary artery through a catheter, and a tomographic image is continuously captured using a transmission / reception unit of the optical probe while pulling the optical probe. A tomographic image composed of frames can be obtained.
また、血管の透視像の種類も特に限定されないが、例えばアンギオグラフィー法により造影剤を用いて撮影されたX線画像でありうる。すなわち、OFDI装置の光プローブを引っ張りながらX線画像を連続して撮影することにより、複数のフレームにより構成される透視像を得ることができる。 Further, the type of the fluoroscopic image of the blood vessel is not particularly limited, but may be an X-ray image taken using a contrast agent by an angiography method, for example. That is, by continuously capturing X-ray images while pulling the optical probe of the OFDI apparatus, it is possible to obtain a perspective image composed of a plurality of frames.
以下で、OFDI装置について図3を参照して簡単に説明する。OFDI装置300は、プローブ部301と、スキャナ及びプルバック部302と、操作制御装置303とを備え、スキャナ及びプルバック部302と操作制御装置303とは、信号線304により各種信号が伝送可能に接続されている。 Hereinafter, the OFDI apparatus will be briefly described with reference to FIG. The OFDI apparatus 300 includes a probe unit 301, a scanner / pullback unit 302, and an operation control device 303. The scanner / pullback unit 302 and the operation control device 303 are connected via a signal line 304 so that various signals can be transmitted. ing.
プローブ部301は、直接血管内に挿入され、伝送された光(測定光)を連続的に血管内に送信するとともに、血管内からの反射光を連続的に受信する光送受信部を備えるイメージングコアが内挿されている。通常、送受信部を備えるイメージングコアはプローブ部301の先端付近に設けられる。OFDI装置300では、該イメージングコアを用いることで血管内部の状態を測定する。 The probe unit 301 is directly inserted into a blood vessel and continuously transmits the transmitted light (measurement light) into the blood vessel, and includes an optical transmission / reception unit that continuously receives reflected light from the blood vessel. Is interpolated. Usually, an imaging core including a transmission / reception unit is provided near the tip of the probe unit 301. In the OFDI apparatus 300, the state inside the blood vessel is measured by using the imaging core.
スキャナ及びプルバック部302は、プローブ部301が着脱可能に取り付けられ、内蔵されたモータを駆動させることでプローブ部301に内挿されたイメージングコアの血管内の軸方向の動作及び回転方向の動作を規定している。本実施形態においてスキャナ及びプルバック部302は、操作制御装置303の指示に従って、例えばプローブの血管内への挿入長さを制御することにより送受信部の血管長さ方向の位置を制御することができる。プローブ部301は、スキャナ及びプルバック部302によって制御された位置で血管内部の状態を測定し、この測定結果に従って断層像が生成される。また、スキャナ及びプルバック部302は、光送受信部において受信された反射光を取得し、操作制御装置303に対して送信する。 The scanner and pullback unit 302 is detachably attached to the probe unit 301, and operates in the axial direction and rotational direction in the blood vessel of the imaging core inserted in the probe unit 301 by driving a built-in motor. It prescribes. In the present embodiment, the scanner and pullback unit 302 can control the position of the transmission / reception unit in the blood vessel length direction by controlling the insertion length of the probe into the blood vessel, for example, in accordance with an instruction from the operation control device 303. The probe unit 301 measures a state inside the blood vessel at a position controlled by the scanner and the pull back unit 302, and a tomographic image is generated according to the measurement result. In addition, the scanner and pullback unit 302 acquires the reflected light received by the optical transmission / reception unit and transmits it to the operation control device 303.
操作制御装置303は、測定を行うにあたり、各種設定値を入力するための機能や、測定により得られたデータを処理し、断層像を生成して、生成された断層像の各フレーム(血管内の横方向断面画像及び縦方向断面画像)を表示するための機能を備える。生成された断層像は、情報処理装置100へと送信されうる。 The operation control device 303 performs a function for inputting various set values and processes data obtained by the measurement to generate a tomographic image, and generates each frame (intravascular vessel) of the generated tomographic image. Of the horizontal cross-sectional image and the vertical cross-sectional image). The generated tomographic image can be transmitted to the information processing apparatus 100.
操作制御装置303において、311は本体制御部であり、測定により得られた反射光に基づいて生成されたラインデータを処理することで、光断面画像を生成する。 In the operation control device 303, reference numeral 311 denotes a main body control unit, which generates line section images by processing line data generated based on reflected light obtained by measurement.
311−1はプリンタ及びDVDレコーダであり、本体制御部311における処理結果を印刷したり、データとして記憶したりする。312は操作パネルであり、ユーザは該操作パネル312を介して、各種設定値及び指示の入力を行う。313は表示装置としてのLCDモニタであり、本体制御部311において生成された断面画像を表示する。 Reference numeral 311-1 denotes a printer and a DVD recorder, which print processing results in the main body control unit 311 or store them as data. Reference numeral 312 denotes an operation panel, and the user inputs various setting values and instructions via the operation panel 312. Reference numeral 313 denotes an LCD monitor as a display device, which displays a cross-sectional image generated by the main body control unit 311.
本実施形態に係る情報処理装置100は、断層像及び透視像の撮影装置から断層像及び透視像を収集するが、本実施形態に係る情報処理装置100が断層像又は透視像の撮影装置に組み込まれていてもよい。例えば、図3に示す本体制御部311が、図1に示す情報処理装置100の各構成要素を備えていてもよい。この場合、表示制御部140はLCDモニタ313の表示を制御することができ、ユーザ指示取得部130は操作パネル312からユーザ指示を取得することができる。また、断層像を撮影する断層像撮影装置170と、透視像を撮影する透視像撮影装置180とを備える撮影システムが、さらに本実施形態に係る情報処理装置100を備えていてもよい。 The information processing apparatus 100 according to the present embodiment collects tomographic images and fluoroscopic images from the tomographic image and fluoroscopic image capturing apparatus. The information processing apparatus 100 according to the present embodiment is incorporated in the tomographic image or fluoroscopic image capturing apparatus. It may be. For example, the main body control unit 311 illustrated in FIG. 3 may include each component of the information processing apparatus 100 illustrated in FIG. In this case, the display control unit 140 can control the display on the LCD monitor 313, and the user instruction acquisition unit 130 can acquire a user instruction from the operation panel 312. An imaging system including a tomographic imaging apparatus 170 that captures a tomographic image and a fluoroscopic imaging apparatus 180 that captures a fluoroscopic image may further include the information processing apparatus 100 according to the present embodiment.
対応取得部120は、透視像を構成する各フレームと、断層像を構成する各フレームとの対応関係を取得する。具体的には、対応取得部120は、透視像を構成する各フレームについて、このフレームと略同時に撮影された断層像のフレームを判定する。対応関係の取得方法は特に限定されない。透視像のフレームと略同時に撮影された断層像のフレームとは、透視像のフレームの撮影時刻から所定の時間間隔内において撮影された断層像のフレームでありうる。透視像を構成するフレームについて、略同時に撮影された断層像のフレームが存在しない場合には、対応取得部120は、対応する断層像のフレームは存在しないことを記録することができる。 The correspondence acquisition unit 120 acquires a correspondence relationship between each frame constituting the fluoroscopic image and each frame constituting the tomographic image. Specifically, the correspondence acquisition unit 120 determines, for each frame constituting the fluoroscopic image, a tomographic image frame that is captured substantially simultaneously with this frame. The method for acquiring the correspondence relationship is not particularly limited. The tomographic image frame photographed substantially simultaneously with the fluoroscopic image frame may be a tomographic image frame photographed within a predetermined time interval from the photographing time of the fluoroscopic image frame. When there is no tomographic image frame captured at substantially the same time as the frame constituting the fluoroscopic image, the correspondence acquisition unit 120 can record that there is no corresponding tomographic image frame.
例えば、対応取得部120は、断層像及び透視像に対する画像処理によってこの対応関係を取得することができる。一例としては、対応取得部120は、透視像からプローブが有する送受信部の位置を検出し、送受信部の挿入長さを算出し、算出された挿入長さに対応する断層像を判定することができる。また、対応取得部120は、透視像から検出された血管の分枝位置と、断層像から検出された血管の分枝位置と、に従ってこの対応関係を取得することもできる。さらには、対応取得部120は、透視像を構成する各フレームに付されたタイムスタンプと、断層像を構成する各フレームに付されたタイムスタンプとを参照して、この対応関係を取得することができる。さらなる方法として、対応取得部120は、透視像のフレームレートと、断層像のフレームレートとを参照して、この対応関係を取得することができる。 For example, the correspondence acquisition unit 120 can acquire this correspondence by image processing for a tomographic image and a fluoroscopic image. As an example, the correspondence acquisition unit 120 detects the position of the transmission / reception unit included in the probe from the fluoroscopic image, calculates the insertion length of the transmission / reception unit, and determines the tomographic image corresponding to the calculated insertion length. it can. The correspondence acquisition unit 120 can also acquire this correspondence according to the branch position of the blood vessel detected from the fluoroscopic image and the branch position of the blood vessel detected from the tomographic image. Furthermore, the correspondence acquisition unit 120 refers to the time stamp attached to each frame constituting the fluoroscopic image and the time stamp attached to each frame constituting the tomographic image to obtain this correspondence relationship. Can do. As a further method, the correspondence acquisition unit 120 can acquire the correspondence relationship with reference to the frame rate of the fluoroscopic image and the frame rate of the tomographic image.
検出部125は、透視像を構成する各フレームに含まれる、送受信部の像の位置を検出する。例えば、X線吸収性の高い部材をOFDI装置の光プローブが有する送受信部に取り付けることにより、透視像のフレームから送受信部の位置を検出することができる。この場合、送受信部の位置は血管中のより吸収性の高い部分として検出される。もっとも、情報処理装置100が検出部125を備える必要はない。例えば、画像収集部110は、透視像とともに又はこれとは別に、透視像を構成する各フレームにおける送受信部の位置を示す情報を取得してもよい。 The detection unit 125 detects the position of the image of the transmission / reception unit included in each frame constituting the fluoroscopic image. For example, by attaching a member having high X-ray absorption to the transmission / reception unit included in the optical probe of the OFDI apparatus, the position of the transmission / reception unit can be detected from the frame of the fluoroscopic image. In this case, the position of the transmission / reception unit is detected as a more absorbable part in the blood vessel. However, the information processing apparatus 100 does not have to include the detection unit 125. For example, the image collection unit 110 may acquire information indicating the position of the transmission / reception unit in each frame constituting the fluoroscopic image together with or separately from the fluoroscopic image.
ユーザ指示取得部130は、血管位置を指定するユーザ指示を取得する。ユーザ指示は、表示装置190上に表示された透視像のフレーム上でなされる。例えば、ユーザはマウスのような入力装置(不図示)を用いて表示された透視像上の所定位置の血管を指定することができ、この場合ユーザ指示取得部130は指定された血管位置を取得する。図4は、ユーザによる指定例を示す。図4においては、透視像に示される血管上の1点が、マウスポインタによって指定されている。なお、図4においては、説明のために血管の位置が強調表示されているが、血管の位置を強調することは必須ではない。表示装置190がタッチスクリーンを備える場合には、ユーザは位置指定をタッチスクリーンを介して入力してもよい。 The user instruction acquisition unit 130 acquires a user instruction that specifies a blood vessel position. The user instruction is given on the frame of the fluoroscopic image displayed on the display device 190. For example, the user can specify a blood vessel at a predetermined position on the displayed fluoroscopic image using an input device (not shown) such as a mouse, and in this case, the user instruction acquisition unit 130 acquires the specified blood vessel position. To do. FIG. 4 shows an example of designation by the user. In FIG. 4, one point on the blood vessel shown in the fluoroscopic image is designated by the mouse pointer. In FIG. 4, the position of the blood vessel is highlighted for explanation, but it is not essential to emphasize the position of the blood vessel. When the display device 190 includes a touch screen, the user may input a position designation via the touch screen.
表示制御部140は、断層像及び透視像を表示装置190に表示させる。本実施形態においては、術者(操作者)のより正確な判断を可能とするために、表示制御部140は、断層像のフレームと、この断層像のフレームと略同時に撮影された透視像のフレームと、を同時に表示装置190に表示させる。本実施形態において、表示制御部140は横断面画像を表示装置190に表示させるものとするが、さらに縦方向断面画像を表示装置190に表示させることもできる。表示制御部140の具体的な処理については、後述する。 The display control unit 140 displays the tomographic image and the fluoroscopic image on the display device 190. In the present embodiment, in order to enable a surgeon (operator) to make a more accurate determination, the display control unit 140 includes a frame of a tomographic image and a fluoroscopic image captured substantially simultaneously with the frame of the tomographic image. The frame is simultaneously displayed on the display device 190. In the present embodiment, the display control unit 140 displays the cross-sectional image on the display device 190, but can further display the vertical cross-sectional image on the display device 190. Specific processing of the display control unit 140 will be described later.
フレーム特定部145は、ユーザ指示取得部130が取得したユーザ指示が示す血管位置により近い位置にある送受信部の像を含む透視像のフレームを特定する。フレーム特定部145の具体的な処理については、後述する。 The frame specifying unit 145 specifies a frame of a fluoroscopic image including an image of the transmitting / receiving unit located closer to the blood vessel position indicated by the user instruction acquired by the user instruction acquiring unit 130. Specific processing of the frame specifying unit 145 will be described later.
指示送信部150は、断層像撮影装置170へと送受信部の移動指示を送信する。また、指示送信部150は、断層像撮影装置170へと、断層像の撮影指示を送信する。指示送信部150の具体的な処理についても、後述する。 The instruction transmission unit 150 transmits a movement instruction of the transmission / reception unit to the tomography apparatus 170. The instruction transmission unit 150 also transmits a tomographic image capturing instruction to the tomographic image capturing apparatus 170. Specific processing of the instruction transmission unit 150 will also be described later.
次に、本実施形態に係る情報処理装置100が行う処理の一例を、図2のフローチャートを参照して説明する。 Next, an example of processing performed by the information processing apparatus 100 according to the present embodiment will be described with reference to the flowchart of FIG.
ステップS210において画像収集部110は、上述したように、血管の断層像と透視像とを収集する。ステップS220において対応取得部120は、上述したように、血管の透視像と断層像との対応関係を取得する。ステップS230において検出部125は、透視像を構成する各フレームから、上述のように送受信部の位置を検出する。例えば、対称となる透視像のフレームの番号をk、検出された送受信部の位置の座標を(x,y)とする場合、検出部125は(x,y,k)の組を複数記録する。 In step S210, the image collection unit 110 collects a tomographic image and a fluoroscopic image of the blood vessel as described above. In step S220, the correspondence acquisition unit 120 acquires the correspondence relationship between the fluoroscopic image and the tomographic image of the blood vessel as described above. In step S230, the detection unit 125 detects the position of the transmission / reception unit from each frame constituting the fluoroscopic image as described above. For example, when the frame number of the perspective image to be symmetric is k and the coordinates of the detected position of the transmission / reception unit are (x, y), the detection unit 125 records a plurality of sets of (x, y, k). .
ステップS240において表示制御部140は、透視像のうち少なくとも1フレームと、対応する断層像のフレームとを、表示装置190に同時に表示させる。ステップS240において表示させるフレームの選択方法は特に限定されない。例えば表示制御部140は、透視像を構成するフレームのうち最初のフレームを表示してもよい。選択された透視像のフレームに対応する断層像のフレームが存在しない場合には、表示制御部140は、断層像を表示させなくてもよい。別の方法として、表示制御部140は、選択された透視像のフレームに対応する断層像のフレームが存在しない場合には、この透視像のフレームの撮影時刻と最も近い時刻に撮影された断層像のフレームを表示させてもよい。 In step S240, the display control unit 140 causes the display device 190 to simultaneously display at least one frame of the fluoroscopic image and the frame of the corresponding tomographic image. The method for selecting a frame to be displayed in step S240 is not particularly limited. For example, the display control unit 140 may display the first frame among the frames constituting the fluoroscopic image. When there is no tomographic frame corresponding to the selected perspective image frame, the display control unit 140 may not display the tomographic image. As another method, if there is no tomographic frame corresponding to the selected perspective image frame, the display control unit 140 captures a tomographic image captured at the time closest to the imaging time of the perspective image frame. The frame may be displayed.
ステップS250においてユーザ指示取得部130は、血管位置を指定するユーザ指示を上述のように取得する。ステップS250でユーザ指示取得部130が取得した位置を、以下では(xu,yu)とする。In step S250, the user instruction acquisition unit 130 acquires a user instruction for specifying a blood vessel position as described above. The position acquired by the user instruction acquisition unit 130 in step S250 is hereinafter referred to as (x u , yu ).
ステップS260においてフレーム特定部145は、ユーザ指示取得部130のユーザ指示に従って、ユーザ指示により指定された血管位置に対応する透視像のフレームを特定する。具体的な例としては、フレーム特定部145は、ユーザ指示により指定された血管位置により近い位置にある送受信部の像を含む透視像のフレームを選択することができる。例えば、フレーム特定部145は、ステップS220で記録された複数の(x,y,k)の組のうち、座標(x0,y0)とステップS240で取得された座標(xu,yu)との距離がより短いような組(x0,y0,k0)を選択することができる。具体的には、座標(x0,y0)と座標(xu,yu)との距離が最も近くなるように、フレーム特定部145は、(x0,y0,k0)を選択することができる。こうして決定されたフレームk0が、ステップS260で選択される透視像のフレームとなる。こうして選択されたフレームは、ユーザ指示により指定された血管位置の近傍に送受信部が存在する時に撮影されたフレームに対応する。In step S260, the frame specifying unit 145 specifies the frame of the fluoroscopic image corresponding to the blood vessel position specified by the user instruction in accordance with the user instruction of the user instruction acquiring unit 130. As a specific example, the frame specifying unit 145 can select a frame of a fluoroscopic image including an image of a transmission / reception unit located closer to the blood vessel position specified by a user instruction. For example, the frame identification unit 145, among the set of recorded multiple (x, y, k) in step S220, the coordinates (x 0, y 0) and obtained in step S240 coordinates (x u, y u ) (X 0 , y 0 , k 0 ) can be selected such that the distance between them is shorter. Specifically, the frame specifying unit 145 selects (x 0 , y 0 , k 0 ) so that the distance between the coordinates (x 0 , y 0 ) and the coordinates (x u , yu ) is the shortest. can do. The frame k 0 determined in this way becomes the frame of the fluoroscopic image selected in step S260. The frame selected in this way corresponds to a frame photographed when the transmission / reception unit exists in the vicinity of the blood vessel position designated by the user instruction.
フレーム特定部145は、座標(x0,y0)と座標(xu,yu)との距離が最も近くなるように、(x0,y0,k0)を選択した。このときフレーム特定部145は、座標(x0,y0)と座標(xu,yu)との距離が所定の閾値以内であるか否かをさらに判定してもよい。距離が所定の閾値を超える場合には、送受信部の位置を移動させずに、処理はステップS250に戻り、再びユーザ指示が取得されてもよい。この場合、表示制御部140は、移動が行われなかったことを表示装置190を介してユーザに通知することができる。The frame specifying unit 145 selects (x 0 , y 0 , k 0 ) so that the distance between the coordinates (x 0 , y 0 ) and the coordinates (x u , yu ) is closest. At this time, the frame specifying unit 145 may further determine whether or not the distance between the coordinates (x 0 , y 0 ) and the coordinates (x u , yu ) is within a predetermined threshold. If the distance exceeds the predetermined threshold, the process may return to step S250 without moving the position of the transmission / reception unit, and the user instruction may be acquired again. In this case, the display control unit 140 can notify the user via the display device 190 that the movement has not been performed.
ステップS270において指示送信部150は、ステップS260で特定されたフレームが撮影された際の送受信部の血管長さ方向の位置を取得する。そして、指示送信部150は、送受信部の位置が、ステップS260で特定されたフレームが撮影された際の送受信部の位置と同様となるように、送受信部を移動させる移動指示を、断層像撮影装置170に送信する。指示送信部150は、例えば、断層像の各フレームについての、撮影時における基準位置に対するプローブの押し込み長さを示す情報を参照して、移動指示を生成することができる。画像収集部110は、このような情報を断層像とともに断層像撮影装置170から取得することができる。具体的には、指示送信部150は、ステップS220で取得した対応関係に従って、透視像のフレームk0に対応する断層像のフレームk1を決定する。そして、指示送信部150は、プローブの押し込み長さが、断層像のフレームk1に対応する押し込み長さと同様となるように、断層像撮影装置170にプローブを移動させる。すると、プローブの移動に伴って、送受信部も所望の位置に移動させられる。In step S270, the instruction transmission unit 150 acquires the position in the blood vessel length direction of the transmission / reception unit when the frame specified in step S260 is captured. Then, the instruction transmission unit 150 provides a movement instruction to move the transmission / reception unit so that the position of the transmission / reception unit is the same as the position of the transmission / reception unit when the frame specified in step S260 is captured. To device 170. For example, the instruction transmission unit 150 can generate a movement instruction with reference to information indicating the pressing length of the probe with respect to the reference position at the time of imaging for each frame of the tomographic image. The image collection unit 110 can acquire such information from the tomographic imaging apparatus 170 together with the tomographic image. Specifically, the instruction transmission unit 150 determines the tomographic image frame k 1 corresponding to the fluoroscopic image frame k 0 according to the correspondence acquired in step S 220. The instruction transmitting unit 150, pushing the length of the probe, so that similar to the indentation length corresponding to the frame k 1 of the tomographic image, the probe is moved to the tomography apparatus 170. Then, with the movement of the probe, the transmission / reception unit is also moved to a desired position.
透視像のフレームk0に対応する断層像のフレームk1が存在しない場合には、指示送信部150は、プローブを移動させる指示を送信しなくてもよい。この場合、処理はステップS250に戻り、再びユーザ指示が取得されてもよい。この場合、表示制御部140は、移動が行われなかったことを、表示装置190を介してユーザに通知することができる。When there is no tomographic frame k 1 corresponding to the fluoroscopic image frame k 0 , the instruction transmission unit 150 may not transmit an instruction to move the probe. In this case, the process may return to step S250 and the user instruction may be acquired again. In this case, the display control unit 140 can notify the user via the display device 190 that the movement has not been performed.
透視像のフレームk0に対応する断層像のフレームk1が存在しない場合、フレーム特定部145は、ユーザ指示により指定された血管位置の近傍に送受信部が存在する時に撮影された別のフレームを新たに選択してもよい。新たに選択されるフレームは、例えば、座標(x0,y0)と座標(xu,yu)との距離が所定の閾値以内となるような任意のフレームでありうる。指示送信部150は、ステップS220で取得した対応関係に従って、新たな透視像のフレームk0に対応する断層像のフレームk1を決定できる。When the tomographic frame k 1 corresponding to the fluoroscopic image frame k 0 does not exist, the frame specifying unit 145 selects another frame imaged when the transmitting / receiving unit exists in the vicinity of the blood vessel position designated by the user instruction. A new selection may be made. The newly selected frame can be, for example, an arbitrary frame in which the distance between the coordinates (x 0 , y 0 ) and the coordinates (x u , yu ) is within a predetermined threshold. The instruction transmission unit 150 can determine the tomographic image frame k 1 corresponding to the new perspective image frame k 0 in accordance with the correspondence acquired in step S 220.
ステップS280において、指示送信部150は、ステップS270で生成された移動指示に従う位置に送受信部を移動させた状態で、断層像撮影装置170に断層像を撮影させる撮影指示を、断層像撮影装置170に送信する。こうして、ステップS250において取得したユーザ指示に従う血管位置において、断層像が撮影される。撮影された断層像は、断層像撮影装置170に格納されてもよいし、画像収集部110によって収集されてもよい。表示制御部140は、収集された断層像を表示装置190に表示させてもよい。この場合、表示制御部140は、ステップS260で特定された透視像のフレームを、収集された断層像と同時に、表示装置190に表示させてもよい。 In step S280, the instruction transmission unit 150 gives a photographing instruction for causing the tomographic imaging apparatus 170 to capture a tomographic image in a state where the transmission / reception unit is moved to a position according to the movement instruction generated in step S270. Send to. Thus, a tomographic image is taken at the blood vessel position according to the user instruction acquired in step S250. The photographed tomographic image may be stored in the tomographic image photographing apparatus 170 or may be collected by the image collecting unit 110. The display control unit 140 may cause the display device 190 to display the collected tomographic image. In this case, the display control unit 140 may cause the display device 190 to display the frame of the fluoroscopic image specified in step S260 simultaneously with the collected tomographic image.
ステップS280においては、指示送信部150は、ステップS210で収集した断層像よりも高い解像度で、断層像撮影装置170に断層像を撮影させることができる。具体的には、血管周方向の解像度が高くてもよいし、血管径方向の解像度が高くてもよい。 In step S280, the instruction transmission unit 150 can cause the tomographic imaging apparatus 170 to capture a tomographic image with a higher resolution than the tomographic image collected in step S210. Specifically, the resolution in the blood vessel circumferential direction may be high, or the resolution in the blood vessel radial direction may be high.
以上説明した本実施形態によれば、透視像上で指定された位置へと送受信部が移動するようにプローブを操作し、透視像上で指定された位置における断層像を撮影することが可能となる。 According to the present embodiment described above, it is possible to take a tomographic image at a position specified on the fluoroscopic image by operating the probe so that the transmission / reception unit moves to the position specified on the fluoroscopic image. Become.
[変形例1]
別の実施形態として、ステップS270において、指示送信部150は、ステップS260で特定されたフレームが撮影された際の送受信部の位置から所定範囲内で送受信部が動くように、断層像撮影装置170に移動指示を送信してもよい。そして、ステップS280において、指示送信部150は、この所定範囲内における複数の位置で断層像を撮影するように、断層像撮影装置170に撮影指示を送信してもよい。この場合、透視像上で指定された血管位置の周辺において、複数のフレームで構成される断層像を再撮影することができる。この場合にも、指示送信部150は、ステップS210で収集した断層像よりも高い解像度で、断層像撮影装置170に断層像を撮影させることができる。具体的には、血管周方向の解像度が高くてもよいし、血管径方向の解像度が高くてもよいし、血管長さ方向の解像度が高くてもよい。[Modification 1]
As another embodiment, in step S270, the instruction transmission unit 150 causes the tomography apparatus 170 so that the transmission / reception unit moves within a predetermined range from the position of the transmission / reception unit when the frame specified in step S260 is captured. A movement instruction may be transmitted to In step S280, the instruction transmission unit 150 may transmit an imaging instruction to the tomographic imaging apparatus 170 so that a tomographic image is captured at a plurality of positions within the predetermined range. In this case, a tomographic image composed of a plurality of frames can be re-photographed around the blood vessel position designated on the fluoroscopic image. Also in this case, the instruction transmission unit 150 can cause the tomographic imaging apparatus 170 to capture a tomographic image with a higher resolution than the tomographic image collected in step S210. Specifically, the blood vessel circumferential direction resolution may be high, the blood vessel radial direction resolution may be high, or the blood vessel length direction resolution may be high.
また、ステップS250において、ユーザ指示取得部130は、2つの血管位置を指定するユーザ指示を取得してもよい。この場合、ステップS260において、フレーム特定部145は、2つの血管位置のそれぞれについて、実施形態1と同様に対応する透視像のフレームを特定することができる。さらに、ステップS270において、指示送信部150は、特定された2つのフレームのそれぞれについて、撮影された際の送受信部の血管長さ方向の位置を取得することができる。この場合、指示送信部150は、取得された2つの位置の間で断層像を再撮影するように、断層像撮影装置170に撮影指示を送信することができる。 In step S250, the user instruction acquisition unit 130 may acquire a user instruction that specifies two blood vessel positions. In this case, in step S260, the frame specifying unit 145 can specify corresponding fluoroscopic image frames for each of the two blood vessel positions in the same manner as in the first embodiment. Furthermore, in step S270, the instruction transmission unit 150 can acquire the position in the blood vessel length direction of the transmission / reception unit when each of the two specified frames is captured. In this case, the instruction transmission unit 150 can transmit a photographing instruction to the tomographic imaging apparatus 170 so as to re-photograph a tomographic image between the two acquired positions.
[変形例2]
別の実施形態として、ステップS260においてフレーム特定部145は、ユーザ指示により指定された血管位置により近い位置にある送受信部の像を含む透視像のフレームを2以上選択してもよい。ステップS270において、指示送信部150は、2以上のフレームのそれぞれについての送受信部が検出された座標と送受信部の血管長さ方向の位置との関係を用いて、ユーザ指示により指定された血管位置に対応する送受信部の血管長さ方向の位置を補間により求めることができる。[Modification 2]
As another embodiment, in step S260, the frame specifying unit 145 may select two or more frames of a fluoroscopic image including an image of a transmission / reception unit located closer to the blood vessel position specified by a user instruction. In step S270, the instruction transmission unit 150 uses the relationship between the coordinates at which the transmission / reception unit is detected for each of two or more frames and the position of the transmission / reception unit in the blood vessel length direction to specify the blood vessel position. The position in the blood vessel length direction of the transmission / reception unit corresponding to can be obtained by interpolation.
[変形例3]
血管は、体の動きにより移動しうるため、透視像の各フレーム上での血管の位置が変化することがある。特に、冠動脈は心臓の拍動に従って大きく移動する。このような場合、透視像上での血管の位置に応じて、ステップS230で検出された送受信部の位置、及びステップS250で取得した画像上のユーザ指定位置を補正することができる。[Modification 3]
Since the blood vessel can move due to the movement of the body, the position of the blood vessel on each frame of the fluoroscopic image may change. In particular, the coronary arteries move greatly as the heart beats. In such a case, according to the position of the blood vessel on the fluoroscopic image, the position of the transmission / reception unit detected in step S230 and the user-specified position on the image acquired in step S250 can be corrected.
具体的な例としては、ユーザが指定した透視像上の座標を、血管像に対する相対座標へと変換することができる。例えば、ユーザ指示取得部130は、透視像のフレームから、血管の特徴点を検出することができる。この特徴点は、例えば血管の分岐点等であり、ユーザ指示取得部130が自動的に検出してもよいし、操作者が入力してもよい。そしてユーザ指示取得部130は、検出された特徴点を基準とする相対座標系へと、ユーザが指定した透視像上の座標を変換することができる。検出部125も、同様に、検出した送受信部の位置を、検出された特徴点を基準とする相対座標系へと変換することができる。この場合、ステップS260における透視像のフレームの選択処理は、相対座標を用いて行うことができる。 As a specific example, coordinates on the fluoroscopic image designated by the user can be converted into relative coordinates with respect to the blood vessel image. For example, the user instruction acquisition unit 130 can detect a feature point of a blood vessel from a frame of a fluoroscopic image. This feature point is, for example, a blood vessel branch point or the like, and may be automatically detected by the user instruction acquisition unit 130 or may be input by the operator. Then, the user instruction acquisition unit 130 can convert the coordinates on the fluoroscopic image designated by the user into a relative coordinate system based on the detected feature points. Similarly, the detection unit 125 can also convert the detected position of the transmission / reception unit into a relative coordinate system based on the detected feature point. In this case, the process of selecting a perspective image frame in step S260 can be performed using relative coordinates.
別の方法として、心臓の収縮期と弛緩期との一方で撮影された画像を処理の対象とせず、他方で撮影された画像を処理の対象とする方法がある。具体的には、ステップS260において表示制御部140は、ユーザ指示に従う血管位置に対応する透視像のフレームであって、心臓の弛緩期に撮影された画像を、表示されるフレームとして選択することができる。この方法によれば、血管が大きく移動している心臓の収縮期の画像が選択対象外となり、意図しない画像が表示されることを防ぐことが可能となる。また、ユーザ指示取得部130が、弛緩期の心臓の透視像上で指定された血管位置を取得し、収縮期の心臓の透視像上で指定された血管位置は取得しないように構成することもできる。 As another method, there is a method in which an image captured in one of the systole and relaxation periods of the heart is not processed, and an image captured in the other is processed. Specifically, in step S260, the display control unit 140 can select a frame of a fluoroscopic image corresponding to a blood vessel position according to a user instruction, which is captured during the relaxation period of the heart, as a frame to be displayed. it can. According to this method, it is possible to prevent the image of the systole of the heart in which the blood vessel is moving greatly from being selected, and to display an unintended image. Further, the user instruction acquisition unit 130 may be configured to acquire a blood vessel position designated on a fluoroscopic image of the heart in the relaxation period and not to acquire a blood vessel position designated on the fluoroscopic image of the heart in the systole. it can.
さらなる方法として、心臓の収縮期に撮影された画像と、心臓の弛緩期に撮影された画像とを、独立に扱うこともできる。すなわち、ユーザ指示取得部130が、弛緩期の心臓の透視像上で指定された血管位置を取得した場合には、表示制御部140は、心臓の弛緩期に撮影された画像を、表示されるフレームとして選択することができる。一方で、ユーザ指示取得部130が、収縮期の心臓の透視像上で指定された血管位置を取得した場合には、表示制御部140は、心臓の収縮期に撮影された画像を、表示されるフレームとして選択することができる。このような場合、検出部125は、弛緩期の透視像と収縮期の透視像とのそれぞれについて、別々に(x,y,k)の組を記録することができる。 As an additional method, an image taken during the systole of the heart and an image taken during the relaxation of the heart can be handled independently. That is, when the user instruction acquisition unit 130 acquires the designated blood vessel position on the fluoroscopic image of the heart in the relaxation period, the display control unit 140 displays an image taken in the relaxation period of the heart. Can be selected as a frame. On the other hand, when the user instruction acquisition unit 130 acquires the designated blood vessel position on the perspective image of the heart in the systole, the display control unit 140 displays the image captured in the heart systole. Frame can be selected. In such a case, the detection unit 125 can record a set of (x, y, k) separately for each of the fluoroscopic image in the relaxation period and the fluoroscopic image in the contraction period.
[変形例4]
実施形態1においては、ステップS210において、画像収集部110は血管の透視像を収集した。また、ステップS220において、対応取得部120は血管の透視像と断層像との対応関係を取得した。しかしながら、ステップS260で特定された透視像のフレームが撮影された際の送受信部の血管長さ方向の位置が既知であれば、ステップS210及びS220の処理は省略することができる。この場合、情報処理装置100は対応取得部120を有さなくてもよい。[Modification 4]
In the first embodiment, in step S210, the image collection unit 110 collects fluoroscopic images of blood vessels. In step S220, the correspondence acquisition unit 120 acquires the correspondence between the fluoroscopic image and the tomographic image of the blood vessel. However, if the position of the transmission / reception unit in the blood vessel length direction when the frame of the fluoroscopic image specified in step S260 is taken is known, the processing in steps S210 and S220 can be omitted. In this case, the information processing apparatus 100 may not have the correspondence acquisition unit 120.
具体的には、透視像撮影装置180が撮影した透視像の各フレームについて、撮影した時の送受信部の位置が関連付けられて保存されていれば、指示送信部150は透視像及び対応関係を参照する必要はない。例えば、透視像撮影装置180又はその他の情報処理装置は、断層像撮影装置170と通信することにより、送受信部の位置を関連付けながら撮影された透視像の各フレームを記録することができる。 Specifically, for each frame of the fluoroscopic image captured by the fluoroscopic image capturing device 180, if the position of the transmitting / receiving unit at the time of capturing is associated and stored, the instruction transmitting unit 150 refers to the fluoroscopic image and the correspondence relationship. do not have to. For example, the fluoroscopic image capturing apparatus 180 or other information processing apparatus can record each frame of the fluoroscopic image captured while associating the position of the transmission / reception unit by communicating with the tomographic image capturing apparatus 170.
また、ステップS240における断層像の表示を省略してもよい。さらに、ステップS210において画像収集部110が収集する透視像は1フレームの画像であってもよい。 Further, the display of the tomographic image in step S240 may be omitted. Further, the fluoroscopic image collected by the image collecting unit 110 in step S210 may be a one-frame image.
[実施形態2]
上述の各実施形態は、コンピュータがコンピュータプログラムを実行することによっても実現できる。すなわち、上述の各実施形態に係る各部の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体等を介してコンピュータを備えるシステム又は装置に供給する。そして、プロセッサとメモリとを備えるコンピュータが、コンピュータプログラムをメモリに読み込み、プロセッサがメモリ上のコンピュータプログラムに従って動作することにより、上述の各実施形態を実現することができる。[Embodiment 2]
Each of the embodiments described above can also be realized by a computer executing a computer program. That is, a computer program that realizes the function of each unit according to each embodiment described above is supplied to a system or apparatus including a computer via a network or a storage medium. Then, the above-described embodiments can be realized by a computer including a processor and a memory reading a computer program into the memory and the processor operating according to the computer program on the memory.
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。 The present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the spirit and scope of the present invention. Therefore, in order to make the scope of the present invention public, the following claims are attached.
Claims (10)
前記プローブを血管内に挿入している間に撮影された、1以上のフレームで構成される血管の透視像について、それぞれのフレームに含まれる送受信部の像の位置を取得する第1の取得手段と、
前記透視像のフレームのうち少なくとも1つを表示手段に表示させる表示制御手段と、
前記表示手段に表示された前記透視像のフレーム上でユーザが指定した血管位置を取得する第2の取得手段と、
前記ユーザが指定した血管位置により近い位置にある送受信部の像を含む前記透視像のフレームを特定する特定手段と、
前記特定されたフレームについて、該フレームが撮影された際の前記送受信部の血管長さ方向の位置を取得し、前記断層像撮影装置の送受信部の血管長さ方向の位置が、前記特定されたフレームが撮影された際の送受信部の血管長さ方向の位置と同様となるように、前記送受信部の移動指示を前記断層像撮影装置に送信する送信手段と、
を備えることを特徴とする情報処理装置。A probe having a transmission / reception unit is inserted into a blood vessel, and connected to a tomography apparatus that takes a tomographic image of the blood vessel using the transmission / reception unit while controlling the position of the transmission / reception unit in the blood vessel length direction. An information processing apparatus,
First acquisition means for acquiring a position of an image of a transmission / reception unit included in each frame of a perspective image of a blood vessel composed of one or more frames taken while the probe is inserted into the blood vessel When,
Display control means for displaying at least one of the frames of the fluoroscopic image on a display means;
Second acquisition means for acquiring a blood vessel position designated by a user on a frame of the fluoroscopic image displayed on the display means;
A specifying means for specifying a frame of the fluoroscopic image including an image of a transmission / reception unit located closer to a blood vessel position specified by the user;
For the identified frame, the position in the blood vessel length direction of the transmission / reception unit when the frame is imaged is obtained, and the position in the blood vessel length direction of the transmission / reception unit of the tomographic imaging apparatus is identified. Transmitting means for transmitting an instruction to move the transmission / reception unit to the tomographic imaging apparatus so that the position of the transmission / reception unit when the frame is imaged is similar to the position in the blood vessel length direction;
An information processing apparatus comprising:
前記第1の取得手段は、前記透視像の各フレームから前記送受信部の像を検出することにより、該送受信部の像の位置を取得することを特徴とする、請求項1又は2に記載の情報処理装置。A collecting means for collecting a fluoroscopic image of a blood vessel composed of a plurality of frames, which is taken while the probe is inserted into the blood vessel;
The said 1st acquisition means acquires the position of the image of this transmission / reception part by detecting the image of the said transmission / reception part from each flame | frame of the said fluoroscopic image, It is characterized by the above-mentioned. Information processing device.
前記透視像の各フレームについて、該フレームと略同時に撮影された前記断層像のフレームを示す情報を取得する第3の取得手段と、をさらに備え、
前記表示制御手段は、前記透視像のフレームと、該フレームと略同時に撮影された前記断層像のフレームと、を同時に前記表示手段に表示させる
ことを特徴とする、請求項1又は2に記載の画像処理装置。A perspective image of a blood vessel composed of a plurality of frames taken while the probe is inserted into the blood vessel, and a plurality of frames photographed by inserting the probe into the blood vessel. A collecting means for collecting a tomographic image of a blood vessel;
For each frame of the fluoroscopic image, further comprising third acquisition means for acquiring information indicating the frame of the tomographic image taken substantially simultaneously with the frame;
3. The display control unit according to claim 1, wherein the display control unit causes the display unit to simultaneously display the frame of the fluoroscopic image and the frame of the tomographic image captured substantially simultaneously with the frame. Image processing device.
前記プローブを血管内に挿入している間に撮影された、1以上のフレームで構成される血管の透視像について、それぞれのフレームに含まれる送受信部の像の位置を取得する第1の取得工程と、
前記透視像のフレームのうち少なくとも1つを表示手段に表示させる表示制御工程と、
前記表示手段に表示された前記透視像のフレーム上でユーザが指定した血管位置を取得する第2の取得工程と、
前記ユーザが指定した血管位置により近い位置にある送受信部の像を含む前記透視像のフレームを特定する特定工程と、
前記特定されたフレームについて、該フレームが撮影された際の前記送受信部の血管長さ方向の位置を取得し、前記断層像撮影装置の送受信部の血管長さ方向の位置が、前記特定されたフレームが撮影された際の送受信部の血管長さ方向の位置と同様となるように、前記送受信部の移動指示を前記断層像撮影装置に送信する送信工程と、
を備えることを特徴とする情報処理方法。A probe having a transmission / reception unit is inserted into a blood vessel, and connected to a tomography apparatus that takes a tomographic image of the blood vessel using the transmission / reception unit while controlling the position of the transmission / reception unit in the blood vessel length direction. An information processing method performed by an information processing apparatus,
A first acquisition step of acquiring a position of an image of a transmission / reception unit included in each frame for a fluoroscopic image of a blood vessel composed of one or more frames taken while the probe is inserted into the blood vessel When,
A display control step of displaying at least one of the frames of the fluoroscopic image on a display means;
A second acquisition step of acquiring a blood vessel position designated by a user on a frame of the fluoroscopic image displayed on the display means;
A specifying step of specifying a frame of the fluoroscopic image including an image of a transmission / reception unit located closer to a blood vessel position specified by the user;
For the identified frame, the position in the blood vessel length direction of the transmission / reception unit when the frame is imaged is obtained, and the position in the blood vessel length direction of the transmission / reception unit of the tomographic imaging apparatus is identified. A transmission step of transmitting a movement instruction of the transmission / reception unit to the tomographic imaging apparatus so as to be the same as the position in the blood vessel length direction of the transmission / reception unit when the frame is imaged;
An information processing method comprising:
前記プローブを血管内に挿入している間に撮影された、1以上のフレームで構成される血管の透視像について、それぞれのフレームに含まれる送受信部の像の位置を取得する第1の取得手順と、
前記透視像のフレームのうち少なくとも1つを表示手段に表示させる表示制御手順と、
前記表示手段に表示された前記透視像のフレーム上でユーザが指定した血管位置を取得する第2の取得手順と、
前記ユーザが指定した血管位置により近い位置にある送受信部の像を含む前記透視像のフレームを特定する特定手順と、
前記特定されたフレームについて、該フレームが撮影された際の前記送受信部の血管長さ方向の位置を取得し、前記断層像撮影装置の送受信部の血管長さ方向の位置が、前記特定されたフレームが撮影された際の送受信部の血管長さ方向の位置と同様となるように、前記送受信部の移動指示を前記断層像撮影装置に送信する送信手順と、
を実行させるためのプログラム。A probe having a transmission / reception unit is inserted into a blood vessel, and connected to a tomography apparatus that takes a tomographic image of the blood vessel using the transmission / reception unit while controlling the position of the transmission / reception unit in the blood vessel length direction. On the computer,
First acquisition procedure for acquiring a position of an image of a transmission / reception unit included in each frame of a fluoroscopic image of a blood vessel composed of one or more frames taken while the probe is inserted into the blood vessel When,
A display control procedure for causing the display means to display at least one of the frames of the fluoroscopic image;
A second acquisition procedure for acquiring a blood vessel position designated by a user on a frame of the fluoroscopic image displayed on the display means;
A specifying procedure for specifying a frame of the fluoroscopic image including an image of a transmitting / receiving unit located closer to a blood vessel position specified by the user;
For the identified frame, the position in the blood vessel length direction of the transmission / reception unit when the frame is imaged is obtained, and the position in the blood vessel length direction of the transmission / reception unit of the tomographic imaging apparatus is identified. A transmission procedure for transmitting a movement instruction of the transmission / reception unit to the tomographic imaging apparatus so as to be the same as the position in the blood vessel length direction of the transmission / reception unit when the frame is imaged;
A program for running
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/005695 WO2015044978A1 (en) | 2013-09-26 | 2013-09-26 | Information processing device, imaging system, information processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015044978A1 true JPWO2015044978A1 (en) | 2017-03-02 |
JP6100910B2 JP6100910B2 (en) | 2017-03-22 |
Family
ID=52742194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015538635A Active JP6100910B2 (en) | 2013-09-26 | 2013-09-26 | Information processing apparatus, photographing system, information processing method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6100910B2 (en) |
WO (1) | WO2015044978A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2913531T3 (en) | 2015-04-16 | 2022-06-02 | Gentuity Llc | Micro-optic probes for neurology |
WO2017040484A1 (en) | 2015-08-31 | 2017-03-09 | Gentuity, Llc | Imaging system includes imaging probe and delivery devices |
EP3700406A4 (en) | 2017-11-28 | 2021-12-29 | Gentuity LLC | Imaging system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003093326A (en) * | 2001-09-25 | 2003-04-02 | Pentax Corp | Flexible electronic endoscope device |
JP2007282974A (en) * | 2006-04-19 | 2007-11-01 | Shimadzu Corp | Diagnostic imaging apparatus for circulatory organ |
JP2008220641A (en) * | 2007-03-13 | 2008-09-25 | Toshiba Corp | Radiography equipment and method for inserting and guiding catheter |
JP2010526556A (en) * | 2006-11-22 | 2010-08-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Combined with X-ray transvascularly collected data |
JP2013056113A (en) * | 2011-09-09 | 2013-03-28 | Toshiba Corp | Image display device |
JP2013090968A (en) * | 2013-02-18 | 2013-05-16 | Toshiba Corp | X-ray diagnostic apparatus |
-
2013
- 2013-09-26 WO PCT/JP2013/005695 patent/WO2015044978A1/en active Application Filing
- 2013-09-26 JP JP2015538635A patent/JP6100910B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003093326A (en) * | 2001-09-25 | 2003-04-02 | Pentax Corp | Flexible electronic endoscope device |
JP2007282974A (en) * | 2006-04-19 | 2007-11-01 | Shimadzu Corp | Diagnostic imaging apparatus for circulatory organ |
JP2010526556A (en) * | 2006-11-22 | 2010-08-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Combined with X-ray transvascularly collected data |
JP2008220641A (en) * | 2007-03-13 | 2008-09-25 | Toshiba Corp | Radiography equipment and method for inserting and guiding catheter |
JP2013056113A (en) * | 2011-09-09 | 2013-03-28 | Toshiba Corp | Image display device |
JP2013090968A (en) * | 2013-02-18 | 2013-05-16 | Toshiba Corp | X-ray diagnostic apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2015044978A1 (en) | 2015-04-02 |
JP6100910B2 (en) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6181192B2 (en) | Information processing apparatus and program | |
WO2015045368A1 (en) | Image processing device, image display system, imaging system, image processing method, and program | |
JP7391100B2 (en) | Velocity determination and related devices, systems, and methods for intraluminal ultrasound imaging | |
US10957013B2 (en) | Method and apparatus for synthesizing medical images | |
JP2005253964A (en) | Method of forming intraluminal image | |
JP6095770B2 (en) | Diagnostic imaging apparatus, operating method thereof, program, and computer-readable storage medium | |
JP2012090820A (en) | Ultrasonic diagnostic apparatus | |
JP2009153573A (en) | Ultrasonic diagnostic apparatus and tomographic image processing method | |
JP6284944B2 (en) | Diagnostic imaging apparatus, operating method thereof, and storage medium | |
US20150087986A1 (en) | Systems and methods for producing intravascular images | |
JP5534703B2 (en) | X-ray diagnostic equipment | |
JP6717801B2 (en) | Image diagnostic apparatus and image construction method | |
JP2022549208A (en) | Combinatorial imaging system and method | |
JP6100910B2 (en) | Information processing apparatus, photographing system, information processing method, and program | |
EP3048982A1 (en) | Systems and methods for producing intravascular images | |
JP6313913B2 (en) | Endoscopic image observation support system | |
JP2008237369A (en) | Image processing device and image processing method | |
JP6100911B2 (en) | Diagnostic imaging apparatus and operating method thereof | |
JP4634179B2 (en) | Diagnostic imaging equipment | |
JP5468759B2 (en) | Method and system for collecting a volume of interest based on position information | |
JP6750000B2 (en) | Image diagnostic apparatus, control method of image diagnostic apparatus, computer program, computer-readable storage medium | |
WO2014162366A1 (en) | Image diagnostic device, method for controlling same, program, and computer-readable storage medium | |
JP5485753B2 (en) | Information processing apparatus, processing method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6100910 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |