WO2020149028A1 - 放射線撮像装置、画像処理方法及び画像処理プログラム - Google Patents

放射線撮像装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2020149028A1
WO2020149028A1 PCT/JP2019/046705 JP2019046705W WO2020149028A1 WO 2020149028 A1 WO2020149028 A1 WO 2020149028A1 JP 2019046705 W JP2019046705 W JP 2019046705W WO 2020149028 A1 WO2020149028 A1 WO 2020149028A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
region
observation
radiation
Prior art date
Application number
PCT/JP2019/046705
Other languages
English (en)
French (fr)
Inventor
和喜 松崎
恵介 山川
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2020149028A1 publication Critical patent/WO2020149028A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies

Definitions

  • the present invention relates to a radiation imaging apparatus for imaging a subject, and relates to a technique for accurately disposing a treatment tool such as forceps inside a lesion in an image acquired by the radiation imaging apparatus.
  • EBUS EndoBronchi Ultra-Sound
  • EBUS EndoBronchi Ultra-Sound
  • Patent Document 1 discloses that the position of the treatment tool is superimposed on the image of the subject collected in advance in real time in order to assist the placement of the treatment tool at the position of the lesion.
  • a point in the real space created from the coordinates of the contour of the subject extracted from the images collected in advance and the coordinates of the surface of the subject in the real space is set as a point in the image space.
  • the position of the treatment tool detected in real time in real space is superimposed on the image space using the conversion matrix for conversion.
  • Patent Document 1 the position of the treatment tool is merely superimposed on the image of the subject collected in advance, and the position of the treatment tool cannot be superimposed on the image acquired in real time. Further, in order to treat a lesion around the bronchus detected by an observation instrument such as EBUS, it is necessary to remove the observation instrument inserted into the subject and then place a treatment tool such as forceps on the lesion. Difficult to place.
  • the present invention provides a radiation imaging capable of accurately arranging a treatment tool such as forceps at a predetermined site such as a lesion detected by an observation instrument such as EBUS inserted into a subject under a fluoroscopic image with the observation instrument removed.
  • the purpose is to provide a device.
  • the present invention is based on a radiation source for irradiating a subject with radiation, a radiation detector for detecting radiation passing through the subject, and an amount of radiation detected by the radiation detector.
  • a radiation imaging apparatus including a data processing unit that generates a fluoroscopic image of the subject, wherein the observation is performed in a first image that is a fluoroscopic image when an observation instrument that detects a predetermined region is inserted into the subject.
  • a characteristic portion extraction unit that extracts the position of the characteristic portion of the instrument, based on the position extracted by the characteristic portion extraction unit, to the second image is a perspective image when the observation instrument is removed from the subject, It is characterized by further comprising a display processing unit for displaying an object referred to when the treatment tool inserted into the subject is arranged.
  • the present invention is an image processing method for image-processing a fluoroscopic image of a subject acquired by a radiation imaging apparatus, which is a fluoroscopic image when an observation instrument for detecting a predetermined site is inserted into the subject.
  • the present invention is an image processing program for causing a computer to perform image processing on a fluoroscopic image of a subject acquired by a radiation imaging apparatus, when an observation instrument for detecting a predetermined part is inserted into the subject.
  • radiation capable of accurately arranging a treatment tool such as forceps on a predetermined site such as a lesion detected by an observation instrument such as EBUS inserted into a subject under a fluoroscopic image with the observation instrument removed An imaging device can be provided.
  • the radiation imaging apparatus of the present invention is a fluoroscopic source that irradiates a subject with radiation, a radiation detector that detects the radiation that passes through the subject, and a fluoroscope based on the amount of radiation detected by the radiation detector.
  • generates an image is provided.
  • an X-ray imaging device in which radiation is X-ray will be described as an example of the radiation imaging device.
  • the X-ray imaging apparatus 101 of this embodiment will be described with reference to FIG.
  • the X-ray imaging apparatus 101 includes an X-ray source 102, a detector 103, a device control unit 104, a display unit 107, a storage unit 108, and a data processing unit 109.
  • the X-ray source 102 is a device that irradiates the subject with X-rays, and is, for example, an X-ray tube device.
  • the detector 103 is a device that detects X-rays that pass through the subject, and is, for example, a flat panel detector.
  • the device control unit 104 is a device that controls the X-ray source 102, the detector 103, and the like, and includes a drive unit 105 and a data collection unit 106.
  • the drive unit 105 drives the X-ray source 102 and the detector 103, and arbitrarily sets the direction in which the subject is seen through.
  • the data collection unit 106 collects the data detected by the detector 103 and generates a fluoroscopic image.
  • the data processing unit 109 is a device that performs various processes on the data collected by the data collection unit 106 and the generated fluoroscopic image, and is, for example, a CPU (Central Processing Unit).
  • the fluoroscopic image generated by the data collection unit 106 and the processing result by the data processing unit 109 are displayed on the display unit 107 such as a liquid crystal display or stored in the storage unit 108 such as HHD (Hard Disk Drive).
  • EBUS EndoBronchial Ultra-Sound
  • the ultrasound signal acquired by EBUS differs depending on the presence or absence of a lesion around the bronchi. The position of is accurately detected.
  • a treatment tool such as forceps is added to the fluoroscopic image when the observation instrument is pulled out based on the position of the characteristic portion of the observation instrument that is extracted from the fluoroscopic image when the observation instrument such as EBUS is inserted. Shows the objects that are referenced when you place them.
  • the processing such as the extraction of the position of the characteristic part of the observation tool and the display of the object are executed by the characteristic part extraction section 110 and the display processing section 112 included in the data processing section 109, for example.
  • the characteristic part extraction unit 110 and the display processing unit 112 will be described as software executed on the CPU.
  • the characteristic part extraction unit 110 and the display processing unit 112 may be configured as dedicated hardware.
  • the characteristic part extraction unit 110 extracts the position of the characteristic part of the observing instrument in a first image which is a fluoroscopic image when a observing instrument that detects a lesion, for example, a lesion, is inserted into the subject.
  • the characteristic part of the observing instrument may be any part as long as the position of the observing instrument can be specified, and is, for example, a tip portion or a protrusion of the observing instrument.
  • the position of the extracted characteristic part is held in the coordinate system on the first image.
  • the display processing unit 112 arranges the treatment tool to be inserted into the subject on the second image, which is a perspective image when the observation instrument is pulled out from the subject, based on the position extracted by the characteristic site extracting unit 110.
  • Display objects referenced by. The object may have any shape and is preferably clearly distinguishable from other structures in the second image.
  • the characteristic part extraction unit 110 acquires a fluoroscopic image.
  • the drive unit 105 moves the X-ray source 102 and the detector 103 to desired positions.
  • the X-ray source 102 irradiates the subject with X-rays, and the X-rays that have passed through the subject are detected by the detector 103.
  • the data collection unit 106 collects the data detected by the detector 103 and generates a fluoroscopic image.
  • the generated perspective image is displayed on the display unit 107.
  • the operator inserts an observation instrument such as EBUS into the subject while looking at the fluoroscopic image displayed on the display unit 107 to search for the location of the lesion.
  • an observation instrument such as EBUS
  • search the position of the lesion is detected, and the fluoroscopic image when the observation instrument is inserted into the subject is acquired by the characteristic part extraction unit 110.
  • the characteristic part extraction unit 110 extracts the position of the characteristic part of the observation instrument in the fluoroscopic image acquired in step 201.
  • FIG. 3 shows an example of a fluoroscopic image when EBUS is inserted into a subject as an observation tool. Since EBUS has a sufficiently high X-ray attenuation coefficient and has a line segment shape as compared with a human body structure, it is clearly depicted on a fluoroscopic image. Therefore, the characteristic part extraction unit 110 detects a region having a high X-ray attenuation coefficient and a line segment shape from the fluoroscopic image as a region of the observing instrument, and detects the position of the characteristic part of the observing instrument from the detected region of the observing instrument. Extract.
  • the extracted characteristic part is, for example, the tip of the observation tool.
  • the characteristic part extraction unit 110 holds the position of the characteristic part extracted in step 202.
  • the position of the extracted characteristic part is held in the coordinate system on the first image which is a perspective image when the observation tool is inserted into the subject.
  • FIG. 4 shows an example of a fluoroscopic image when the extracted characteristic part is the tip of the observation instrument.
  • the center of the cross line segment in the fluoroscopic image indicates the position of the tip of the observation instrument.
  • the position of the extracted characteristic part may be stored in the storage unit 108.
  • Step 204 The data processing unit 109 acquires a new perspective image. Prior to acquiring a new fluoroscopic image, the operator pulls out the observation instrument from the subject in order to insert a treatment tool for collecting a part of the lesion, for example, forceps. The observation tool is not depicted in the fluoroscopic image acquired with the observation tool removed from the subject.
  • Step 205 The display processing unit 112 displays the object referred to when the treatment tool is placed on the new fluoroscopic image acquired in step 204, based on the position of the characteristic part held in step 203. Since the subject is stationary in the present embodiment, the coordinate system on the first image that holds the position of the characteristic portion is the same as the coordinate system on the second image that is the perspective image when the observation instrument is pulled out. Is. That is, the object placed at the position of the characteristic part held in step 203 is displayed on the second image.
  • FIG. 5 shows an example of a perspective image from the insertion of the observation tool to the display of the object.
  • 5A is a perspective image when the observation instrument is inserted
  • FIG. 5B is a perspective image when the observation instrument is removed
  • FIG. 5C is a perspective image when the object is displayed.
  • the operator can grasp the position of the lesion by confirming the position of the tip of the observation instrument
  • FIG. 5B it is difficult for the operator to grasp the position of the lesion. Therefore, by displaying the object on the fluoroscopic image as shown in FIG. 5C, the operator can grasp the position of the lesion by referring to the object even when the observation instrument is pulled out, and the forceps or the like is used.
  • the treatment tool can be accurately placed at the position of the lesion.
  • the display form of the object is not limited to that shown in FIG.
  • FIG. 6A is a perspective image when the observing instrument is inserted
  • FIG. 6B is a perspective image when the observing instrument is removed
  • FIG. 6C is a perspective image when the object is displayed.
  • FIG. 6A shows a state in which the position of the tip of the observation instrument is extracted during the process of inserting the observation instrument or the process of removing the observation instrument. That is, the position of the characteristic portion is extracted from each of the plurality of first images.
  • the auxiliary object is displayed on the perspective image together with the object referred to when the treatment tool is placed based on the position of the characteristic part extracted in each of the plurality of first images.
  • the display position of the object is determined based on the position of the characteristic part of the observation instrument when a predetermined part such as a lesion is detected, and the auxiliary object is the position of the characteristic part extracted in the process of inserting or removing the observation instrument.
  • the display position is determined based on. While it is difficult for the operator to grasp the position of the lesion in FIG. 6(b), which is a fluoroscopic image with the observation instrument removed, in FIG. Since the auxiliary object indicating the route is displayed, it becomes easier for the operator to accurately place the treatment tool such as forceps at the position of the lesion.
  • Step 206 The data processing unit 109 determines whether or not there is a new perspective image. When there is a new perspective image, the process returns to step 204, and when there is no new perspective image, the process flow ends.
  • the object referred to when the treatment tool is placed is displayed on the fluoroscopic image when the observation instrument inserted into the subject to detect a predetermined site such as a lesion is pulled out. .. Since the object is displayed on the fluoroscopic image, the operator can insert a treatment tool such as forceps while referring to the object displayed on the fluoroscopic image even when the observation instrument is pulled out. Can be accurately arranged at a predetermined site.
  • the data processing unit 109 of this embodiment will be described with reference to FIG. 7.
  • the data processing unit 109 has the characteristic part extraction unit 110 and the display processing unit 112 as in the first embodiment, and also has the region of interest setting unit 701 and the position calculation unit 703.
  • the ROI setting unit 701 and the position calculating unit 703 will be described as software executed on the CPU, but may be configured as dedicated hardware.
  • the region-of-interest setting unit 701 observes the region of interest including the position of the characteristic portion of the observation instrument extracted in the first image, which is a perspective image when the observation instrument is inserted into the subject, from the first image or the subject. This is set for the second image which is a perspective image when is removed.
  • the shape and size of the region of interest may be arbitrary. However, since it is difficult to extract an observation tool in a region having a relatively high X-ray attenuation coefficient, for example, a bone region, it is preferable that the region of interest does not include a region having a relatively high X-ray attenuation coefficient.
  • the position calculation unit 703 calculates the pixel information in the region of interest set for the first image by the region of interest setting unit 701 and the pixels in the second image that is a perspective image when the observation tool is removed from the subject.
  • the position of the region of interest in the second image is calculated by comparing with the information. That is, even if a displacement occurs between the coordinate system of the first image and the coordinate system of the second image due to body movement, a region having pixel information similar to the pixel information in the region of interest is searched for in the second image. By doing so, it is possible to grasp the positional deviation between both coordinate systems in the vicinity of the characteristic portion.
  • the position calculation unit 703 selects the pixel information of the region of interest and the third image which is a perspective image captured after the image capturing time of the second image.
  • the position of the region of interest in the third image is calculated by comparing with the pixel information.
  • the display processing unit 112 of the present embodiment determines the display position of the object referred to when the treatment tool is placed, based on the position of the region of interest in the second image or the third image calculated by the position calculation unit 703. .. Since the display position of the object is determined based on the calculation result of the position calculation unit 703, the object is accurately displayed in the second image or the third image even when there is body movement.
  • Step 801 The characteristic part extraction unit 110 acquires a fluoroscopic image. Specifically, since the process is the same as that of step 201, the description thereof will be omitted.
  • Step 802 The characteristic part extraction unit 110 extracts the position of the characteristic part of the observation instrument in the fluoroscopic image acquired in step 801. Specifically, since the process is the same as that of step 202, the description thereof will be omitted.
  • Step 803 The region-of-interest setting unit 701 sets a region of interest including the position of the characteristic region extracted in step 802 in the first image.
  • FIG. 9 shows an example of the region of interest set for the first image.
  • the region of interest in FIG. 9 has a square shape, and the tip of the observation tool, which is an example of the position of the characteristic portion, is located at the center of the region of interest.
  • the center of the cross line segment in the fluoroscopic image indicates the position of the tip of the observation instrument.
  • Step 804 The position calculation unit 703 acquires the pixel information in the region of interest set in step 803.
  • the region of interest includes the region of the observing instrument, it is preferable to obtain pixel information other than the region of the observing instrument. That is, when the region of interest is set for the first image that is the fluoroscopic image when the observation instrument is inserted, it is preferable to exclude the region of the observation instrument.
  • Step 805 The data processing unit 109 acquires a new perspective image. Prior to acquiring a new fluoroscopic image, the operator pulls out the observation instrument from the subject in order to insert a treatment tool for collecting a part of the lesion, for example, forceps. The observation tool is not drawn in the second image, which is a fluoroscopic image acquired with the observation tool removed from the subject.
  • the position calculation unit 703 calculates the position of the region of interest in the second image by comparing the pixel information in the second image acquired in step 805 with the pixel information in the region of interest acquired in step 804. .. For example, while scanning a scanning region having the same shape and size as the region of interest on the second image, the correlation coefficient of the pixel value between each scanning region and the region of interest is calculated, and the highest correlation The position of the scanning region that is a number is calculated as the position of the region of interest in the second image.
  • Fig. 10 shows an example calculated as the position of the region of interest in the second image.
  • 10A shows an example of a region of interest set in the first image
  • FIG. 10B shows an example of a scanning region having the highest correlation coefficient with the pixel value of the region of interest.
  • the region of interest set in the first image includes the region of the observing instrument, whereas the second image does not include the region of the observing instrument, so the pixel information in the region of interest indicates the region of the observing instrument. It is preferable that the data is acquired excluding.
  • the position of the region of interest in the second image is calculated with high accuracy by removing the region of the observation tool from the region of interest and acquiring pixel information.
  • the scanning of the scanning area on the second image may be performed for each pixel, or the scanning time may be shortened by performing scanning for each predetermined number of pixels. Further, the scanning area is not scanned in the entire range of the second image, but is calculated by scanning the scanning area only in a partial range of the second image, for example, in the vicinity of the position of the region of interest in the first image. You may try to shorten the time.
  • FIG. 11A is an example of the position of the characteristic part extracted for each of the three first images when there is a body movement. That is, the position of the characteristic part changes due to body movement, and in FIG. 11A, a range including the three positions of the characteristic part is indicated by a dotted line as a changing range of the characteristic part.
  • FIG. 11B is an example in which the search range, which is the range for scanning the scanning region on the second image, is set based on the variation range of the characteristic portion.
  • Step 807 The display processing unit 112 displays the object referred to when arranging the treatment tool on the new fluoroscopic image acquired in step 805 based on the position of the region of interest calculated in step 806.
  • the position of the characteristic region in the region of interest is known. For example, in FIG. 9, the characteristic region is located at the center of the region of interest. Therefore, by calculating the position of the region of interest in the second image, the object is displayed in the second image. To be done.
  • Step 808 The data processing unit 109 determines whether or not there is a new perspective image. When there is a new perspective image, the process returns to step 805, and when there is no new image, the flow of the process ends.
  • FIG. 12 shows a display example of an object when Steps 805 to 808 are repeated three times. Note that FIG. 12A is a first-time perspective image, FIG. 12B is a second-time perspective image, and FIG. 12C is a third-time perspective image. In FIG. 12(b), the objects displayed in the previous perspective image are shown by dotted lines, and in FIG. 12(c), the objects displayed in the previous and last two perspective images are shown by dotted lines. As shown in FIG. 12, the object displayed in the fluoroscopic image before the previous time is also displayed, so that the operator can grasp the variation range of a predetermined site such as a lesion.
  • ⁇ Third embodiment> In the first embodiment, the extraction of the position of the characteristic portion of the observation tool in the plane of the fluoroscopic image has been described. When a plurality of fluoroscopic images with different fluoroscopic directions are acquired, the three-dimensional position of the characteristic part of the observation instrument can be acquired. Therefore, in the present embodiment, it will be described that the three-dimensional position of the characteristic part of the observation instrument is used to display the object referred to when the treatment tool is arranged on the perspective images in different perspective directions. Since some of the configurations and functions described in the first embodiment can be applied to this embodiment, description of similar configurations and functions will be omitted.
  • the X-ray imaging apparatus 101 of this embodiment will be described with reference to FIG.
  • the X-ray imaging apparatus 101 of this embodiment has a three-dimensional position calculation unit 1301 in the data processing unit 109 in addition to the configuration of the first embodiment.
  • the three-dimensional position calculation unit 1301 is software executed on the CPU, and calculates the three-dimensional position of the characteristic part of the observation instrument based on the plurality of first images with different perspective directions.
  • the three-dimensional position calculation unit 1301 may be configured as dedicated hardware.
  • the characteristic part extraction unit 110 extracts the position of the characteristic part of the observing instrument in each of the plurality of fluoroscopic images having different fluoroscopic directions. In addition, each fluoroscopic image is imaged in a state where the observation tool is held at a predetermined position in the subject.
  • Step 1402 The three-dimensional position calculation unit 1301 acquires the fluoroscopic direction of each fluoroscopic image.
  • the three-dimensional position calculation unit 1301 calculates the three-dimensional position of the characteristic part of the observation tool based on the position of the characteristic part extracted in step 1401 and the direction of the fluoroscopy extracted in step 1402.
  • FIG. 15A An example of a method of calculating the three-dimensional position of the characteristic part of the observation tool will be described with reference to FIG.
  • the position of the characteristic site extracted in the fluoroscopic image 1 acquired when the position of the X-ray source is S1 is acquired as D1
  • the position of the X-ray source is acquired as S2.
  • the position of the characteristic part extracted in the fluoroscopic image 2 is D2.
  • the three-dimensional position of the characteristic portion is obtained as the intersection of the straight line S1-D1 and the straight line S2-D2. Note that, in reality, the straight line S1-D1 and the straight line S2-D2 do not necessarily intersect in the same plane as shown in FIG.
  • the point on the straight line S1-D1 when the two straight lines are closest to each other is Q1
  • the point on the straight line S2-D2 is Q2
  • the midpoint between the points Q1 and Q2 that is, the midpoint of the line segment u is the characteristic part. 3D position of.
  • the points Q1 and Q2 can be calculated by the following equations.
  • Q1 S1+(D1-D2 ⁇ Dv)/(1-Dv ⁇ Dv) ⁇ v1
  • Q2 S2+(D2-D1 ⁇ Dv)/(Dv ⁇ Dv-1) ⁇ v2
  • Q1, Q2, S1, S2, D1, D2, v1 and v2 are vectors representing coordinates
  • x is an operator representing an outer product
  • ⁇ is an operator representing an inner product.
  • Step 1601 The display processing unit 112 acquires the three-dimensional position of the characteristic part of the observation instrument calculated by the three-dimensional position calculation unit 1301.
  • Step 1602 The data processing unit 109 acquires a new perspective image. Prior to acquiring a new fluoroscopic image, the operator pulls out the observation instrument from the subject in order to insert a treatment tool for collecting a part of the lesion, for example, forceps.
  • the observation tool is not drawn in the second image, which is a fluoroscopic image acquired with the observation tool removed from the subject. The operator may change the direction of the fluoroscopy to a direction suitable for inserting the treatment tool.
  • Step 1603 The display processing unit 112 acquires the perspective direction of the second image acquired in step 1602.
  • Step 1604 The display processing unit 112 calculates the position of the characteristic part on the second perspective image.
  • the position of the characteristic part on the second perspective image is calculated by subjecting the three-dimensional position acquired in step 1601 to the projection direction acquired in step 1603.
  • Step 1605 The display processing unit 112 displays the object referred to when arranging the treatment tool on the new fluoroscopic image acquired in step 1602 based on the position of the characteristic part calculated in step 1604.
  • Step 1606 The data processing unit 109 determines whether or not there is a new perspective image. When there is a new perspective image, the process returns to step 1602, and when there is no new perspective image, the flow of the process ends.
  • FIG. 17 shows a display example of an object when steps 1602 to 1606 are repeated three times.
  • 17(a), 17(b), and 17(c) are perspective images with different perspective directions, and the positions of objects are different.
  • the object referred to when the treatment tool is placed is displayed on the fluoroscopic image when the observation instrument inserted into the subject to detect a predetermined site such as a lesion is pulled out. .. Since the object is displayed on the fluoroscopic image, the operator can insert a treatment tool such as forceps while referring to the object displayed on the fluoroscopic image even when the observation instrument is pulled out. Can be accurately arranged at a predetermined site. Further, even when the direction of fluoroscopy is changed in a state where the observation tool is pulled out, the object is accurately displayed on the fluoroscopic image.
  • the configuration when the three-dimensional position of the characteristic part of the observation tool is recognized by the three-dimensional position recognition device 1801 which is a device different from the X-ray imaging device 101 will be described with reference to FIG.
  • the three-dimensional position recognition device 1801 is a device that recognizes the three-dimensional position of a characteristic part of the observation tool using, for example, a magnetic sensor or the like.
  • the three-dimensional position recognized by the three-dimensional position recognizing device 1801 is input to the three-dimensional position calculating unit 1301 and further passed from the three-dimensional position calculating unit 1301 to the display processing unit 112. After that, the object is displayed on the perspective image according to the flow of the processing in FIG.
  • the radiation imaging apparatus of the present invention is not limited to the above-described embodiment, and constituent elements can be modified and embodied without departing from the scope of the invention. Moreover, you may combine suitably the some component disclosed in the said embodiment. For example, by combining the second embodiment and the third embodiment, even when there is a body movement and the direction of the fluoroscopy is changed in a state where the observation tool is pulled out, the object is not displayed on the fluoroscopic image. It is displayed correctly. Further, some constituent elements may be deleted from all the constituent elements shown in the above embodiment.
  • each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized in hardware by designing a part or all of them with, for example, an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file that realizes each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.
  • SSD Solid State Drive
  • control lines and information lines are shown to be necessary for explanation, and not all control lines and information lines are shown on the product. In practice, it may be considered that almost all configurations are connected to each other.
  • the image processing method of the present invention is an image processing program for causing a computer to execute each procedure, a computer-readable recording medium recording the image processing program, and a program product that includes the image processing program and can be loaded into an internal memory of a computer.
  • a computer such as a server including the program, or the like.
  • 101 X-ray imaging device
  • 102 X-ray source
  • 103 detector
  • 104 device control unit
  • 105 drive unit
  • 106 data collection unit
  • 107 display unit
  • 108 storage unit
  • 109 data processing unit
  • 112 display processing unit
  • 701 region of interest setting unit
  • 703 position calculation unit
  • 1301 three-dimensional position calculation unit
  • 1801 three-dimensional position recognition device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

被検体に挿入されたＥＢＵＳ等の観察器具によって検出された病変等の所定の部位に鉗子等の処置具を、観察器具が抜かれた透視画像下で正確に配置可能な放射線撮像装置を提供する。 被検体に放射線を照射する放射線源と、前記被検体を透過する放射線を検出する放射線検出器と、前記放射線検出器によって検出された放射線の量に基づいて前記被検体の透視画像を生成するデータ処理部を備える放射線撮像装置であって、所定の部位を検出する観察器具が前記被検体に挿入されたときの透視画像である第一画像において前記観察器具の特徴部位の位置を抽出する特徴部位抽出部と、前記特徴部位抽出部によって抽出された位置に基づいて、前記被検体から前記観察器具が抜かれたときの透視画像である第二画像に、前記被検体に挿入される処置具を配置するときに参照されるオブジェクトを表示する表示処理部をさらに備えることを特徴とする。

Description

放射線撮像装置、画像処理方法及び画像処理プログラム
　本発明は被検体を撮像する放射線撮像装置に係り、放射線撮像装置により取得される画像中の病変内に鉗子等の処置具を正確に配置する技術に関する。
　病変を処置するための切開範囲を低減する手技として、Ｘ線透視下で患者の体内に処置具を挿入するインターベンションがある。インターベンションでは、病変の位置を正確に検出することと、検出された位置に処置具を正確に配置することが重要である。Ｘ線透視では検出されにくい気管支周囲の病変に対して、超音波気管支鏡（ＥＢＵＳ：ＥｎｄｏＢｒｏｎｃｈｉａｌ　Ｕｌｔｒａ－Ｓｏｕｎｄ）が用いられることがある。気管支に挿入されたＥＢＵＳによって取得される超音波信号は病変の有無によって異なるので、ＥＢＵＳの利用によって気管支周囲の病変の位置を正確に検出できる。
　また病変の位置への処置具の配置を補助するために、予め収集された被検体の画像上に処置具の位置をリアルタイムに重畳することが特許文献１に開示されている。特許文献１では、予め収集された画像から抽出される被検体の輪郭の座標と、実空間上の被検体の表面の座標とから作成される、実空間上の点を画像空間上の点に変換する変換行列を用いて、実空間上でリアルタイムに検出される処置具の位置が画像空間上に重畳される。
特許第３５５２３００号公報
　しかしながら特許文献１では、予め収集された被検体の画像上に処置具の位置を重畳されるに過ぎず、リアルタイムに取得される画像上に処置具の位置を重畳することはできない。またＥＢＵＳ等の観察器具によって検出される気管支周囲の病変を処置するには、被検体に挿入された観察器具を抜いてから鉗子等の処置具を病変に配置する必要があり、処置具の正確な配置が困難である。
　そこで本発明は、被検体に挿入されたＥＢＵＳ等の観察器具によって検出された病変等の所定の部位に鉗子等の処置具を、観察器具が抜かれた透視画像下で正確に配置可能な放射線撮像装置を提供することを目的とする。
　上記目的を達成するために本発明は、被検体に放射線を照射する放射線源と、前記被検体を透過する放射線を検出する放射線検出器と、前記放射線検出器によって検出された放射線の量に基づいて前記被検体の透視画像を生成するデータ処理部を備える放射線撮像装置であって、所定の部位を検出する観察器具が前記被検体に挿入されたときの透視画像である第一画像において前記観察器具の特徴部位の位置を抽出する特徴部位抽出部と、前記特徴部位抽出部によって抽出された位置に基づいて、前記被検体から前記観察器具が抜かれたときの透視画像である第二画像に、前記被検体に挿入される処置具を配置するときに参照されるオブジェクトを表示する表示処理部をさらに備えることを特徴とする。
　また本発明は、放射線撮像装置によって取得される被検体の透視画像を画像処理する画像処理方法であって、所定の部位を検出する観察器具が前記被検体に挿入されたときの透視画像である第一画像において前記観察器具の特徴部位の位置を抽出する特徴部位抽出ステップと、抽出された位置に基づいて、前記被検体から前記観察器具が抜かれたときの透視画像である第二画像に、前記被検体に挿入される処置具を配置するときに参照されるオブジェクトを表示する表示処理ステップを備えることを特徴とする。
　また本発明は、放射線撮像装置によって取得される被検体の透視画像に対する画像処理をコンピュータに実行させる画像処理プログラムであって、所定の部位を検出する観察器具が前記被検体に挿入されたときの透視画像である第一画像において前記観察器具の特徴部位の位置を抽出する特徴部位抽出ステップと、抽出された位置に基づいて、前記被検体から前記観察器具が抜かれたときの透視画像である第二画像に、前記被検体に挿入される処置具を配置するときに参照されるオブジェクトを表示する表示処理ステップを備えることを特徴とする。
　本発明によれば、被検体に挿入されたＥＢＵＳ等の観察器具によって検出された病変等の所定の部位に鉗子等の処置具を、観察器具が抜かれた透視画像下で正確に配置可能な放射線撮像装置を提供することができる。
本発明の第一実施形態のＸ線撮像装置の構成の一例を示す概要図である。 第一実施形態における処理の流れの一例を示す図である。 観察器具が挿入された被検体の透視画像の一例を示す図である。 観察器具が挿入された被検体の透視画像において観察器具の先端が抽出されたときの一例を示す図である。 被検体に観察器具が挿入されてからオブジェクトが表示されるまでの透視画像の一例を示す図である。 観察器具が抜かれたときの透視画像に表示されるオブジェクトの他の表示形態を示す図である。 第二実施形態におけるデータ処理部の構成の一例を示す図である。 第二実施形態における処理の流れの一例を示す図である。 観察器具が挿入された被検体の透視画像に対して設定された関心領域の一例を示す図である。 観察器具が抜かれたときの透視画像において関心領域の位置が算出された例を示す図である。 観察器具の特徴部位の変動範囲に基づく第二画像の探索範囲の設定について説明する図である。 第二実施形態におけるオブジェクトの表示形態の一例を示す図である。 第三実施形態のＸ線撮像装置の構成の一例を示す概要図である。 観察器具の特徴部位の三次元位置を算出する処理の流れの一例を示す図である。 観察器具の特徴部位の三次元位置を算出する方法の一例について説明する図である。 第三実施形態における処理の流れの一例を示す図である。 第三実施形態におけるオブジェクトの表示形態の一例を示す図である。 第三実施形態のＸ線撮像装置の構成の他の例を示す概要図である。
　以下、図面を参照して、本発明の実施形態を説明する。なお本発明の放射線撮像装置は、被検体に放射線を照射する放射線源と、前記被検体を透過する放射線を検出する放射線検出器と、前記放射線検出器によって検出された放射線の量に基づいて透視画像を生成するデータ処理部を備える。以降の説明では、放射線撮像装置の一例として、放射線がＸ線であるＸ線撮像装置について述べる。
　＜第一実施形態＞
　図１を用いて、本実施形態のＸ線撮像装置１０１について説明する。Ｘ線撮像装置１０１は、Ｘ線源１０２、検出器１０３、装置制御部１０４、表示部１０７、記憶部１０８、データ処理部１０９を備える。Ｘ線源１０２は被検体にＸ線を照射する装置であり、例えばＸ線管装置である。検出器１０３は被検体を透過するＸ線を検出する装置であり、例えばフラットパネルディテクタである。装置制御部１０４は、Ｘ線源１０２や検出器１０３等を制御する装置であり、駆動部１０５とデータ収集部１０６を備える。駆動部１０５はＸ線源１０２と検出器１０３を駆動し、被検体を透視する方向を任意に設定する。データ収集部１０６は検出器１０３で検出されたデータを収集し、透視画像を生成する。データ処理部１０９はデータ収集部１０６で収集されたデータや生成された透視画像に様々な処理を施す装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。データ収集部１０６で生成された透視画像やデータ処理部１０９での処理結果は、液晶ディスプレイ等の表示部１０７に表示されたり、ＨＨＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の記憶部１０８に記憶されたりする。
　Ｘ線撮像装置１０１を用いたインターベンションでは、透視画像下で被検体に対して様々な観察器具や処置具が挿入される。特にＸ線による透視画像では検出されにくい気管支周囲の病変に対しては、ＥＢＵＳ（ＥｎｄｏＢｒｏｎｃｈｉａｌ　Ｕｌｔｒａ－Ｓｏｕｎｄ）が気管支に挿入される。ＥＢＵＳは人体構造物に比べてＸ線減弱係数が十分に高いので、Ｘ線による透視画像下で明確に描出され、ＥＢＵＳによって取得される超音波信号は気管支周囲の病変の有無によって異なるので、病変の位置は正確に検出される。ただし検出された病変を処置するには、ＥＢＵＳのような観察器具を抜いてから鉗子等の処置具を病変に配置する必要があり、処置具の正確な配置が困難である。
　そこで本実施形態では、ＥＢＵＳ等の観察器具が挿入されたときの透視画像において抽出される観察器具の特徴部の位置に基づいて、観察器具が抜かれたときの透視画像に鉗子等の処置具を配置するときに参照されるオブジェクトが表示される。観察器具の特徴部の位置の抽出や、オブジェクトの表示といった処理は、例えばデータ処理部１０９が有する特徴部位抽出部１１０と表示処理部１１２によって実施される。以降では、特徴部位抽出部１１０と表示処理部１１２はＣＰＵ上で実行されるソフトウェアとして説明する。なお、特徴部位抽出部１１０と表示処理部１１２は専用のハードウェアとして構成されても良い。
　特徴部位抽出部１１０は、所定の部位、例えば病変を検出する観察器具が被検体に挿入されたときの透視画像である第一画像において観察器具の特徴部位の位置を抽出する。観察器具の特徴部位は、観察器具の位置を特定できれば任意の部位で良く、例えば観察器具の先端部や突起部等である。抽出される特徴部位の位置は、第一画像上の座標系で保持される。
　表示処理部１１２は特徴部位抽出部１１０によって抽出された位置に基づいて、被検体から観察器具が抜かれたときの透視画像である第二画像に、被検体に挿入される処置具を配置するときに参照されるオブジェクトを表示する。オブジェクトは任意の形状で良く、第二画像中の他の構造物と明確に区別できることが好ましい。
　図２を用いて、本実施形態の処理の流れの一例について説明する。
　（ステップ２０１）
　特徴部位抽出部１１０は透視画像を取得する。なおＸ線画像の取得に先立ち、駆動部１０５によりＸ線源１０２と検出器１０３は所望の位置に移動させられる。所望の位置において、Ｘ線源１０２から被検体へＸ線が照射され、被検体を透過したＸ線が検出器１０３で検出される。データ収集部１０６は検出器１０３で検出されたデータを収集し、透視画像を生成する。生成された透視画像は表示部１０７に表示される。
　術者は表示部１０７に表示される透視画像を見ながら、ＥＢＵＳ等の観察器具を被検体に挿入して病変の位置を探索する。探索の結果、病変の位置が検出され、観察器具が被検体に挿入されたときの透視画像が特徴部位抽出部１１０によって取得される。
　（ステップ２０２）
　特徴部位抽出部１１０はステップ２０１で取得された透視画像において観察器具の特徴部位の位置を抽出する。図３に、観察器具としてＥＢＵＳが被検体に挿入されたときの透視画像の一例を示す。ＥＢＵＳは人体構造物に比べてＸ線減弱係数が十分に高く、線分形状を有するので、透視画像下で明確に描出される。そこで特徴部位抽出部１１０は、透視画像からＸ線減弱係数が高く線分形状を有する領域を観察器具の領域として検出し、検出された観察器具の領域の中から観察器具の特徴部位の位置を抽出する。抽出される特徴部位は、例えば観察器具の先端である。
　（ステップ２０３）
　特徴部位抽出部１１０はステップ２０２で抽出された特徴部位の位置を保持する。抽出された特徴部位の位置は、観察器具が被検体に挿入されたときの透視画像である第一画像上の座標系で保持される。図４に、抽出された特徴部位が観察器具の先端であるときの透視画像の一例を示す。透視画像中の十字線分の中心が観察器具の先端の位置を示す。また抽出された特徴部位の位置は記憶部１０８に記憶されても良い。
　（ステップ２０４）
　データ処理部１０９は新たな透視画像を取得する。なお新たな透視画像の取得に先立ち、術者は病変の一部を採取するための処置具、例えば鉗子を挿入するために、被検体から観察器具を抜く。被検体から観察器具が抜かれた状態で取得される透視画像には観察器具は描出されない。
　（ステップ２０５）
　表示処理部１１２はステップ２０３で保持された特徴部位の位置に基づいて、ステップ２０４で取得された新たな透視画像上に処置具を配置するときに参照されるオブジェクトを表示する。なお本実施形態では被検体が静止しているので、特徴部位の位置を保持する第一画像上の座標系は、観察器具が抜かれたときの透視画像である第二画像上の座標系と同じである。すなわち、ステップ２０３で保持された特徴部位の位置に配置されたオブジェクトが第二画像上に表示される。
　図５に、観察器具が挿入されてからオブジェクトが表示されるまでの透視画像の一例を示す。なお図５（ａ）は観察器具が挿入されたとき、図５（ｂ）は観察器具が抜かれたとき、図５（ｃ）はオブジェクトが表示されたときの透視画像である。図５（ａ）では観察器具の先端の位置を確認することにより病変の位置を術者が把握できるのに対し、図５（ｂ）では病変の位置の把握は術者にとって困難である。そこで、図５（ｃ）のように透視画像上にオブジェクトが表示されることにより、観察器具が抜かれた状態であっても術者はオブジェクトを参照することにより病変の位置を把握でき、鉗子等の処置具を正確に病変の位置に配置できる。なおオブジェクトの表示形態は図５に限定されない。
　図６を用いて、オブジェクトの他の表示形態について説明する。なお図６（ａ）は観察器具が挿入されたとき、図６（ｂ）は観察器具が抜かれたとき、図６（ｃ）はオブジェクトが表示されたときの透視画像である。図６（ａ）には観察器具が挿入される過程または観察器具が抜かれる過程において、観察器具の先端の位置が抽出される様子が示される。すなわち複数の第一画像のそれぞれにおいて、特徴部位の位置が抽出される。
　図６の表示形態では、複数の第一画像のそれぞれにおいて抽出された特徴部位の位置に基づいて、処置具を配置するときに参照されるオブジェクトとともに、補助オブジェクトが透視画像上に表示される。なお、オブジェクトは病変などの所定の部位が検出されたときの観察器具の特徴部位の位置に基づいて表示位置が定まり、補助オブジェクトは観察器具が挿入または抜かれる過程で抽出される特徴部位の位置に基づいて表示位置が定まる。観察器具が抜かれた透視画像である図６（ｂ）では病変の位置の把握が術者にとって困難であるのに対し、図６（ｃ）では病変の位置を示すオブジェクトとともに、病変に至るまでの経路を示す補助オブジェクトが表示されるので、術者は鉗子等の処置具を正確に病変の位置に配置しやすくなる。
　（ステップ２０６）
　データ処理部１０９は新たな透視画像が有るか無いかを判定する。新たな透視画像が有る場合はステップ２０４へ処理が戻り、無い場合は処理の流れは終了となる。
　以上の処理の流れにより、病変などの所定の部位を検出するために被検体に挿入された観察器具が抜かれたときの透視画像に、処置具を配置するときに参照されるオブジェクトが表示される。透視画像上にオブジェクトが表示されることにより、観察器具が抜かれた状態であっても、術者は透視画像上に表示されるオブジェクトを参照しながら鉗子等の処置具を挿入できるので、処置具を所定の部位に正確に配置できる。
　＜第二実施形態＞
　第一実施形態では、被検体が静止している場合について説明した。被検体には呼吸等による体動があるので、観察器具が挿入されたときの第一画像上の座標系と、観察器具が抜かれたときの第二画像上の座標系とを同じとすると、オブジェクトの表示位置に位置ずれが生じる場合がある。そこで本実施形態では、体動がある場合でも処置具を配置するときに参照されるオブジェクトを正確に表示させることについて説明する。なお本実施形態には、第一実施形態で説明した構成や機能の一部を適用できるので、同様の構成、機能については説明を省略する。
　図７を用いて本実施形態のデータ処理部１０９について説明する。データ処理部１０９は、第一実施形態と同様に特徴部位抽出部１１０と表示処理部１１２を有するとともに、関心領域設定部７０１と位置算出部７０３を有する。以下、関心領域設定部７０１と位置算出部７０３はＣＰＵ上で実行されるソフトウェアとして説明するが、専用のハードウェアとして構成されても良い。
　関心領域設定部７０１は、観察器具が被検体に挿入されたときの透視画像である第一画像において抽出された観察器具の特徴部位の位置を含む関心領域を第一画像または被検体から観察器具が抜かれたときの透視画像である第二画像に対して設定する。関心領域の形状及び大きさは任意で良い。ただし、Ｘ線減弱係数が比較的高い領域、例えば骨領域では観察器具の抽出が困難になるので、関心領域にはＸ線減弱係数が比較的高い領域が含まれないことが好ましい。
　位置算出部７０３は関心領域設定部７０１によって第一画像に対して設定された関心領域の中の画素情報と、被検体から観察器具が抜かれたときの透視画像である第二画像の中の画素情報とを比較することにより、第二画像における関心領域の位置を算出する。すなわち、体動によって第一画像の座標系と第二画像の座標系に位置ずれが生じたとしても、関心領域の中の画素情報に類似する画素情報を有する領域を第二画像の中から探索することにより、特徴部位の近傍における両座標系の位置ずれを把握することができる。なお関心領域が第二画像に対して設定された場合には、位置算出部７０３は関心領域の画素情報と、第二画像の撮像時刻より後に撮像された透視画像である第三画像の中の画素情報とを比較することにより、第三画像における関心領域の位置を算出する。
　本実施形態の表示処理部１１２は、位置算出部７０３によって算出される第二画像または第三画像における関心領域の位置に基づいて、処置具を配置するときに参照されるオブジェクトの表示位置を定める。位置算出部７０３の算出結果に基づいてオブジェクトの表示位置が定められるので、体動がある場合でもオブジェクトは第二画像または第三画像の中に正確に表示される。
　図８を用いて、本実施形態の処理の流れの一例について説明する。
　（ステップ８０１）
　特徴部位抽出部１１０は透視画像を取得する。具体的には、ステップ２０１と同じ処理であるので説明を省略する。
　（ステップ８０２）
　特徴部位抽出部１１０はステップ８０１で取得された透視画像において観察器具の特徴部位の位置を抽出する。具体的には、ステップ２０２と同じ処理であるので説明を省略する。
　（ステップ８０３）
　関心領域設定部７０１はステップ８０２で抽出された特徴部位の位置を含む関心領域を第一画像に対して設定する。図９に、第一画像に対して設定された関心領域の一例を示す。図９の関心領域の形状は正方形であり、特徴部位の位置の一例である観察器具の先端が関心領域の中心に位置する。なお透視画像中の十字線分の中心が観察器具の先端の位置を示す。
　（ステップ８０４）
　位置算出部７０３はステップ８０３で設定された関心領域の中の画素情報を取得する。なお関心領域の中に観察器具の領域が含まれる場合は、観察器具の領域以外の画素情報が取得されることが好ましい。すなわち観察器具が挿入されたとき透視画像である第一画像に対して関心領域が設定された場合は、観察器具の領域は除かれることが好ましい。
　（ステップ８０５）
　データ処理部１０９は新たな透視画像を取得する。なお新たな透視画像の取得に先立ち、術者は病変の一部を採取するための処置具、例えば鉗子を挿入するために、被検体から観察器具を抜く。被検体から観察器具が抜かれた状態で取得される透視画像である第二画像には観察器具は描出されない。
　（ステップ８０６）
　位置算出部７０３はステップ８０５で取得された第二画像の中の画素情報と、ステップ８０４で取得された関心領域の中の画素情報との比較により、第二画像における関心領域の位置を算出する。例えば、形状と大きさが関心領域と同じ領域である走査領域を第二画像上で走査させながら、各走査領域と関心領域との間で画素値の相関係数を計算し、最も高い相関係数となる走査領域の位置を第二画像における関心領域の位置として算出する。
　図１０に第二画像における関心領域の位置として算出された例を示す。図１０（ａ）は第一画像に設定された関心領域、図１０（ｂ）は関心領域の画素値との相関係数が最も高い走査領域の例である。第一画像に設定された関心領域には観察器具の領域が含まれるのに対し、第二画像には観察器具の領域は含まれないので、関心領域の中の画素情報は観察器具の領域を除いて取得されることが好ましい。関心領域から観察器具の領域が除かれて画素情報が取得されることにより、第二画像における関心領域の位置は高精度に算出される。
　なお第二画像上での走査領域の走査は一画素毎でも良いし、所定の画素数毎の走査とすることにより演算時間の短縮を図っても良い。また第二画像の全範囲で走査領域を走査させるのではなく、第二画像の一部の範囲、例えば第一画像の関心領域の位置の近傍範囲に限定して走査領域を走査させることにより演算時間の短縮を図っても良い。
　図１１を用いて、複数の第一画像のそれぞれに対して抽出される特徴部位の位置に基づいて、走査領域を走査させる第二画像上での範囲を限定することについて説明する。図１１（ａ）は体動がある場合に３つの第一画像のそれぞれに対して抽出された特徴部位の位置の例である。すなわち、体動により特徴部位の位置は変動しており、図１１（ａ）では特徴部位の３つの位置を含む範囲が特徴部位の変動範囲として点線で示される。図１１（ｂ）は、第二画像上で走査領域を走査させる範囲である探索範囲が、特徴部位の変動範囲に基づいて設定された例である。特徴部位の変動範囲に基づいて探索範囲が設定されることにより、演算時間の短縮が図れるとともに、第二画像における関心領域の位置が高精度に算出される。
　（ステップ８０７）
　表示処理部１１２はステップ８０６で算出された関心領域の位置に基づいて、ステップ８０５で取得された新たな透視画像上に処置具を配置するときに参照されるオブジェクトを表示する。関心領域の中の特徴部位の位置は既知、例えば図９では関心領域の中心に特徴部位が位置するので、第二画像における関心領域の位置が算出されることにより、第二画像にオブジェクトが表示される。
　（ステップ８０８）
　データ処理部１０９は新たな透視画像が有るか無いかを判定する。新たな透視画像が有る場合はステップ８０５へ処理が戻り、無い場合は処理の流れは終了となる。図１２に、ステップ８０５からステップ８０８までが三回繰り返されたときのオブジェクトの表示例を示す。なお図１２（ａ）は一回目であり、図１２（ｂ）は二回目、図１２（ｃ）は三回目の透視画像である。図１２（ｂ）には前回の透視画像に表示されたオブジェクトが、図１２（ｃ）には前回と前々回の透視画像に表示されたオブジェクトが点線で示される。図１２のように前回以前の透視画像に表示されたオブジェクトも表示されることにより、術者は病変等の所定の部位の変動範囲を把握することができる。
　以上の処理の流れにより、体動がある場合でも、病変などの所定の部位を検出するために被検体に挿入された観察器具が抜かれたときの透視画像に、処置具を配置するときに参照されるオブジェクトが表示される。体動がある場合でも透視画像上にオブジェクトが表示されることにより、観察器具が抜かれた状態であっても、術者は透視画像上に表示されるオブジェクトを参照しながら鉗子等の処置具を挿入できるので、処置具を所定の部位に正確に配置できる。
　＜第三実施形態＞
　第一実施形態では、観察器具の特徴部位の位置を透視画像の面内において抽出することについて説明した。透視の方向が異なる複数の透視画像が取得された場合、観察器具の特徴部位の三次元位置を取得できる。そこで本実施形態では観察器具の特徴部位の三次元位置を利用し、異なる透視の方向の透視画像に対して、処置具を配置するときに参照されるオブジェクトを表示させることについて説明する。なお本実施形態には、第一実施形態で説明した構成や機能の一部を適用できるので、同様の構成、機能については説明を省略する。
　図１３を用いて本実施形態のＸ線撮像装置１０１について説明する。本実施形態のＸ線撮像装置１０１は、第一実施形態の構成に加えて、データ処理部１０９の中に三次元位置算出部１３０１を有する。三次元位置算出部１３０１は、ＣＰＵ上で実行されるソフトウェアであり、透視の方向が異なる複数の第一画像に基づいて、観察器具の特徴部位の三次元位置を算出する。なお、三次元位置算出部１３０１は、専用のハードウェアとして構成されても良い。
　図１４を用いて、透視の方向が異なる複数の第一画像、すなわち観察器具が挿入された被検体の透視画像に基づいて、観察器具の特徴部位の三次元位置を算出する処理の流れの一例について説明する。
　（ステップ１４０１）
　特徴部位抽出部１１０は、透視の方向が異なる複数の透視画像のそれぞれにおいて観察器具の特徴部位の位置を抽出する。なお各透視画像は、観察器具が被検体の中の所定の位置に留められた状態で撮像される。
　（ステップ１４０２）
　三次元位置算出部１３０１は、各透視画像の透視の方向を取得する。
　（ステップ１４０３）
　三次元位置算出部１３０１は、ステップ１４０１で抽出された特徴部位の位置と、ステップ１４０２で抽出された透視の方向とに基づいて、観察器具の特徴部位の三次元位置を算出する。
　図１５を用いて、観察器具の特徴部位の三次元位置を算出する方法の一例について説明する。図１５（ａ）に示すように、Ｘ線源の位置がＳ１のときに取得される透視画像１において抽出される特徴部位の位置をＤ１、Ｘ線源の位置がＳ２のときに取得される透視画像２において抽出される特徴部位の位置をＤ２とする。このとき特徴部位の三次元位置は、直線Ｓ１－Ｄ１と直線Ｓ２－Ｄ２との交点として求められる。なお実際にはＸ線撮像装置１０１のたわみ等による計測誤差により、直線Ｓ１－Ｄ１と直線Ｓ２－Ｄ２とは図１５（ｂ）に示すように同一平面内で交わるとは限らない。そこで、二直線が最近接するときの直線Ｓ１－Ｄ１上の点をＱ１、直線Ｓ２－Ｄ２上の点をＱ２とし、点Ｑ１と点Ｑ２との中点、すなわち線分ｕの中点を特徴部位の三次元位置とする。
　点Ｑ１と点Ｑ２は次式で求めることができる。
　　Ｑ１＝Ｓ１＋（Ｄ１－Ｄ２×Ｄｖ）／（１－Ｄｖ×Ｄｖ）×ｖ１
　　Ｑ２＝Ｓ２＋（Ｄ２－Ｄ１×Ｄｖ）／（Ｄｖ×Ｄｖ－１）×ｖ２
　　　ただし、
　　　　　Ｄ１＝（Ｓ２－Ｓ１）・ｖ１
　　　　　Ｄ２＝（Ｓ２－Ｓ１）・ｖ２
　　　　　Ｄｖ＝ｖ１・ｖ２
なお上式において、Ｑ１、Ｑ２、Ｓ１、Ｓ２、Ｄ１、Ｄ２、ｖ１、ｖ２は座標を表すベクトルであり、×は外積を表す演算子、・は内積を表す演算子である。
　上式により求められる点Ｑ１と点Ｑ２の三次元位置を用いて、観察器具の特徴部位の三次元位置は次式のように求められる。
（Ｑ１＋Ｑ２）／２
　図１６を用いて、本実施形態の処理の流れの一例について説明する。
　（ステップ１６０１）
　表示処理部１１２は、三次元位置算出部１３０１によって算出された観察器具の特徴部位の三次元位置を取得する。
　（ステップ１６０２）
　データ処理部１０９は新たな透視画像を取得する。なお新たな透視画像の取得に先立ち、術者は病変の一部を採取するための処置具、例えば鉗子を挿入するために、被検体から観察器具を抜く。被検体から観察器具が抜かれた状態で取得される透視画像である第二画像には観察器具は描出されない。また術者は、処置具の挿入に適した方向に透視の方向を変更しても良い。
　（ステップ１６０３）
　表示処理部１１２は、ステップ１６０２で取得された第二画像の透視の方向を取得する。
　（ステップ１６０４）
　表示処理部１１２は、第二透視画像上での特徴部位の位置を算出する。第二透視画像上での特徴部位の位置は、ステップ１６０１で取得された三次元位置をステップ１６０３で取得された透視の方向により投影処理することにより算出される。
　（ステップ１６０５）
　表示処理部１１２はステップ１６０４で算出された特徴部位の位置に基づいて、ステップ１６０２で取得された新たな透視画像上に処置具を配置するときに参照されるオブジェクトを表示する。
　（ステップ１６０６）
　データ処理部１０９は新たな透視画像が有るか無いかを判定する。新たな透視画像が有る場合はステップ１６０２へ処理が戻り、無い場合は処理の流れは終了となる。図１７に、ステップ１６０２からステップ１６０６までが三回繰り返されたときのオブジェクトの表示例を示す。なお図１７（ａ）、図１７（ｂ）、図１７（ｃ）はそれぞれ透視の方向が異なる透視画像であり、オブジェクトの位置が異なる。
　以上の処理の流れにより、病変などの所定の部位を検出するために被検体に挿入された観察器具が抜かれたときの透視画像に、処置具を配置するときに参照されるオブジェクトが表示される。透視画像上にオブジェクトが表示されることにより、観察器具が抜かれた状態であっても、術者は透視画像上に表示されるオブジェクトを参照しながら鉗子等の処置具を挿入できるので、処置具を所定の部位に正確に配置できる。また観察器具が抜かれた状態で透視の方向が変更された場合であっても、透視画像上にオブジェクトが正確に表示される。
　図１８を用いて、観察器具の特徴部位の三次元位置が、Ｘ線撮像装置１０１とは別の装置である三次元位置認識装置１８０１で認識される場合の構成について説明する。三次元位置認識装置１８０１は、例えば磁気センサー等を用いて観察器具の特徴部位の三次元位置を認識する装置である。三次元位置認識装置１８０１で認識された三次元位置は三次元位置算出部１３０１に入力され、さらに三次元位置算出部１３０１から表示処理部１１２へ受け渡される。その後、図１６の処理の流れに従って、透視画像上にオブジェクトが表示される。
　以上、本発明の放射線撮像装置について複数の実施形態を説明した。本発明の放射線撮像装置は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素を適宜組み合わせても良い。例えば、第二実施形態と第三実施形態を組み合わせることにより、体動がある場合であって観察器具が抜かれた状態で透視の方向が変更された場合であっても、透視画像上にオブジェクトが正確に表示される。さらに、上記実施形態に示される全構成要素からいくつかの構成要素を削除しても良い。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　本発明の画像処理方法は、その各手順をコンピュータに実行させるための画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
１０１：Ｘ線撮像装置、１０２：Ｘ線源、１０３：検出器、１０４：装置制御部、１０５：駆動部、１０６：データ収集部、１０７：表示部、１０８：記憶部、１０９：データ処理部、１１０：特徴部位抽出部、１１２：表示処理部、７０１：関心領域設定部、７０３：位置算出部、１３０１：三次元位置算出部、１８０１：三次元位置認識装置

Claims (8)

  1. 　被検体に放射線を照射する放射線源と、前記被検体を透過する放射線を検出する放射線検出器と、前記放射線検出器によって検出された放射線の量に基づいて前記被検体の透視画像を生成するデータ処理部を備える放射線撮像装置であって、
    　所定の部位を検出する観察器具が前記被検体に挿入されたときの透視画像である第一画像において前記観察器具の特徴部位の位置を抽出する特徴部位抽出部と、
    　前記特徴部位抽出部によって抽出された位置に基づいて、前記被検体から前記観察器具が抜かれたときの透視画像である第二画像に、前記被検体に挿入される処置具を配置するときに参照されるオブジェクトを表示する表示処理部をさらに備えることを特徴とする放射線撮像装置。
  2. 　請求項１に記載の放射線撮像装置であって、
    　前記特徴部位抽出部によって抽出される前記特徴部位の位置を含む関心領域を設定する関心領域設定部と、
    　前記関心領域の中の画素情報と前記第二画像の中の画素情報とを比較することにより、前記第二画像における前記関心領域の位置を算出する位置算出部をさらに備え、
    　前記表示処理部は、前記位置算出部によって算出される位置に基づいて前記第二画像に前記オブジェクトを表示することを特徴とする放射線撮像装置。
  3. 　請求項２に記載の放射線撮像装置であって、
    　前記位置算出部は、複数の前記第一画像のそれぞれに対して抽出される前記特徴部位の位置に基づいて、前記関心領域と比較される前記第二画像の中の探索領域を設定することを特徴とする放射線撮像装置。
  4. 　請求項２に記載の放射線撮像装置であって、
    　前記位置算出部は、前記関心領域が前記第一画像に対して設定される場合に、前記関心領域から前記観察器具の領域を除いて前記関心領域の中の画素情報を取得することを特徴とする放射線撮像装置。
  5. 　請求項１に記載の放射線撮像装置であって、
    　前記特徴部位抽出部は、前記観察器具が前記被検体に挿入される過程または前記観察器具が前記被検体から抜かれる過程における前記特徴部位の位置を抽出し、
    　前記表示処理部は、前記過程における前記特徴部位の位置を前記オブジェクトとともに前記第二画像に表示することを特徴とする放射線撮像装置。
  6. 　請求項１に記載の放射線撮像装置であって、
    　前記データ処理部は透視の方向が異なる複数の第一画像を生成し、
    　特徴部位抽出部は、前記複数の第一画像に基づいて前記観察器具の特徴部位の三次元位置を算出する三次元位置算出部を有し、
    　前記表示処理部は、前記三次元位置算出部によって算出された前記三次元位置に基づいて、透視の方向が異なる複数の第二画像のそれぞれに前記オブジェクトを表示することを特徴とする放射線撮像装置。
  7. 　放射線撮像装置によって取得される被検体の透視画像を画像処理する画像処理方法であって、
    　所定の部位を検出する観察器具が前記被検体に挿入されたときの透視画像である第一画像において前記観察器具の特徴部位の位置を抽出する特徴部位抽出ステップと、
    　抽出された位置に基づいて、前記被検体から前記観察器具が抜かれたときの透視画像である第二画像に、前記被検体に挿入される処置具を配置するときに参照されるオブジェクトを表示する表示処理ステップを備えることを特徴とする画像処理方法。
  8. 　放射線撮像装置によって取得される被検体の透視画像に対する画像処理をコンピュータに実行させる画像処理プログラムであって、
    　所定の部位を検出する観察器具が前記被検体に挿入されたときの透視画像である第一画像において前記観察器具の特徴部位の位置を抽出する特徴部位抽出ステップと、
    　抽出された位置に基づいて、前記被検体から前記観察器具が抜かれたときの透視画像である第二画像に、前記被検体に挿入される処置具を配置するときに参照されるオブジェクトを表示する表示処理ステップを備えることを特徴とする画像処理プログラム。
PCT/JP2019/046705 2019-01-17 2019-11-29 放射線撮像装置、画像処理方法及び画像処理プログラム WO2020149028A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019005685A JP2020110513A (ja) 2019-01-17 2019-01-17 放射線撮像装置、画像処理方法及び画像処理プログラム
JP2019-005685 2019-01-17

Publications (1)

Publication Number Publication Date
WO2020149028A1 true WO2020149028A1 (ja) 2020-07-23

Family

ID=71614203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046705 WO2020149028A1 (ja) 2019-01-17 2019-11-29 放射線撮像装置、画像処理方法及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP2020110513A (ja)
WO (1) WO2020149028A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008526387A (ja) * 2005-01-11 2008-07-24 ヴォルケイノウ・コーポレーション 血管情報取得装置
JP2013537444A (ja) * 2010-07-29 2013-10-03 エスワイエヌシー−アールエックス、リミテッド 管腔内データおよび管腔外画像化の併用
US20140270436A1 (en) * 2013-03-12 2014-09-18 Lightlab Imaging, Inc. Vascular Data Processing and Image Registration Systems, Methods, and Apparatuses
JP2017158892A (ja) * 2016-03-10 2017-09-14 株式会社島津製作所 医用画像処理装置および医用画像処理方法
JP2018134197A (ja) * 2017-02-21 2018-08-30 株式会社日立製作所 医用手技ナビゲーションシステムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008526387A (ja) * 2005-01-11 2008-07-24 ヴォルケイノウ・コーポレーション 血管情報取得装置
JP2013537444A (ja) * 2010-07-29 2013-10-03 エスワイエヌシー−アールエックス、リミテッド 管腔内データおよび管腔外画像化の併用
US20140270436A1 (en) * 2013-03-12 2014-09-18 Lightlab Imaging, Inc. Vascular Data Processing and Image Registration Systems, Methods, and Apparatuses
JP2017158892A (ja) * 2016-03-10 2017-09-14 株式会社島津製作所 医用画像処理装置および医用画像処理方法
JP2018134197A (ja) * 2017-02-21 2018-08-30 株式会社日立製作所 医用手技ナビゲーションシステムおよび方法

Also Published As

Publication number Publication date
JP2020110513A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
CN106659373B (zh) 用于在肺内部的工具导航的动态3d肺图谱视图
US9406134B2 (en) Image system for supporting the navigation of interventional tools
US10582902B2 (en) Catheter tip-end rotation angle detection apparatus, catheter tip-end rotation angle detection method, and catheter tip-end rotation angle detection program
JP7337556B2 (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理方法
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
CN111093505B (zh) 放射线拍摄装置以及图像处理方法
JP6349278B2 (ja) 放射線撮像装置、画像処理方法及びプログラム
AU2020294163A1 (en) Orientation detection in fluoroscopic images
CN106725851A (zh) 用于外科器械重建的图像采集的系统和方法
US9754404B2 (en) Method for generating display image data
JP2007159933A (ja) 画像表示方法、プログラム、及び装置
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
US20230316550A1 (en) Image processing device, method, and program
WO2020149028A1 (ja) 放射線撮像装置、画像処理方法及び画像処理プログラム
US7340291B2 (en) Medical apparatus for tracking movement of a bone fragment in a displayed image
JP6703470B2 (ja) データ処理装置及びデータ処理方法
JP2011182946A (ja) 医用画像表示装置及び医用画像表示方法
Naik et al. Feature-based registration framework for pedicle screw trajectory registration between multimodal images
US20230346351A1 (en) Image processing device, method, and program
US20240005495A1 (en) Image processing device, method, and program
US20240016365A1 (en) Image processing device, method, and program
US11857276B2 (en) System and method for displaying an alignment CT
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
CN117731311A (zh) 医用图像处理系统以及医用图像处理方法
JP2022001227A (ja) 医用画像処理装置、ｘ線診断装置、および医用画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910542

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19910542

Country of ref document: EP

Kind code of ref document: A1