WO2021065750A1 - 診断支援装置、診断支援システム、及び診断支援方法 - Google Patents

診断支援装置、診断支援システム、及び診断支援方法 Download PDF

Info

Publication number
WO2021065750A1
WO2021065750A1 PCT/JP2020/036452 JP2020036452W WO2021065750A1 WO 2021065750 A1 WO2021065750 A1 WO 2021065750A1 JP 2020036452 W JP2020036452 W JP 2020036452W WO 2021065750 A1 WO2021065750 A1 WO 2021065750A1
Authority
WO
WIPO (PCT)
Prior art keywords
catheter
control unit
data
living tissue
support device
Prior art date
Application number
PCT/JP2020/036452
Other languages
English (en)
French (fr)
Inventor
泰一 坂本
克彦 清水
石原　弘之
クレモン ジャケ
トマ エン
ヌワン ヘラト
イセリン エリックセン
亮介 佐賀
Original Assignee
テルモ株式会社
株式会社ロッケン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社, 株式会社ロッケン filed Critical テルモ株式会社
Priority to EP20871331.3A priority Critical patent/EP4042944A4/en
Priority to JP2021551207A priority patent/JPWO2021065750A1/ja
Priority to CN202080068991.0A priority patent/CN114554970B/zh
Publication of WO2021065750A1 publication Critical patent/WO2021065750A1/ja
Priority to US17/708,460 priority patent/US20220218309A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852—Catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00345—Vascular system
    • A61B2018/00404—Blood vessels other than those in or around the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577—Ablation

Definitions

  • This disclosure relates to a diagnostic support device, a diagnostic support system, and a diagnostic support method.
  • Patent Documents 1 to 3 describe a technique for generating a three-dimensional image of a heart cavity or a blood vessel using a US imaging system.
  • US is an abbreviation for ultrasonic.
  • IVUS is an abbreviation for intravascular ultrasound.
  • IVUS is a device or method that provides a two-dimensional image of a plane perpendicular to the long axis of the catheter.
  • a 3D image representing the structure of a living tissue such as a heart cavity or a blood vessel is automatically generated from a 2D image of IVUS, and the generated 3D image is displayed to the operator.
  • a catheter other than the IVUS catheter such as an ablation catheter, it is conceivable to further display a three-dimensional image representing the other catheter.
  • the purpose of the present disclosure is to make it easy to understand whether or not the catheter and the living tissue are in contact with each other in the three-dimensional image.
  • the diagnostic support device as one aspect of the present disclosure generates three-dimensional data of the biological tissue based on the tomographic data of the biological tissue into which the catheter is inserted, and displays the generated three-dimensional data as a three-dimensional image on the display. It is a diagnostic support device, and in the three-dimensional data, a point of contact with the tip of the catheter of the living tissue is specified as a contact point, and in the three-dimensional image, the color of the voxel corresponding to the contact point is specified.
  • a diagnostic support device with a control unit that sets the to the default color.
  • control unit adds the predetermined color element to the color of each voxel in the three-dimensional image according to the distance from the tip of the catheter to each point of the living tissue in the three-dimensional data. Adjust the inclusion ratio.
  • control unit analyzes the tomographic data, detects the position of the biological tissue in contact with the tip of the catheter, and corresponds to the detected position in the three-dimensional data. Is specified as the contact point.
  • control unit analyzes the three-dimensional data to identify the contact point.
  • control unit receives input of position data indicating a position where the tip of the catheter is in contact with the living tissue, refers to the position data, and obtains an analysis result of the three-dimensional data. to correct.
  • control unit receives input of position data indicating the position where the tip of the catheter is in contact with the living tissue, and corresponds to the position indicated by the position data in the three-dimensional data.
  • the point to be used is specified as the contact point.
  • control unit calculates the distance from the tip of the catheter to each point of the living tissue within a certain range including the contact point in the three-dimensional data, and obtains the calculated distance.
  • the ratio of including the element of the predetermined color in the color of each voxel of the voxel group corresponding to the range of the three-dimensional image is adjusted.
  • control unit when the control unit receives input of ablation data indicating that a part of the living tissue including the contact point has been ablated by the ablation catheter as the catheter, the control unit receives the input of the ablation data indicating that the area includes the contact point.
  • the color of the corresponding voxel group is set to a color different from the default color.
  • the diagnostic support system as one aspect of the present disclosure includes the diagnostic support device and a sensor that acquires the tomographic data while moving in the living tissue.
  • the diagnostic support system further includes the display.
  • the diagnostic support method as one aspect of the present disclosure generates three-dimensional data of the biological tissue based on the tomographic data of the biological tissue into which the catheter is inserted, and displays the generated three-dimensional data as a three-dimensional image on the display.
  • a point in which the tip of the catheter is in contact with the living tissue is specified as a contact point in the three-dimensional data, and the color of the voxel corresponding to the contact point in the three-dimensional image is specified. Is set to the default color.
  • step S2 of FIG. It is a flowchart which shows the process performed in step S2 of FIG. It is a figure which shows the process performed in step S201 of FIG. It is a figure which shows the process performed in step S202 and step S203 of FIG. 7 in one modification. It is a figure which shows the coloring of the voxel group corresponding to the ablation area which concerns on one modification. It is a flowchart which shows the process performed in step S2 of FIG. 4 in one modification.
  • the diagnostic support device 11 generates three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 of the biological tissue 60 into which the catheter 63 is inserted.
  • the diagnosis support device 11 displays the generated three-dimensional data 52 as a three-dimensional image 53 on the display 16.
  • the diagnosis support device 11 identifies the point where the tip of the catheter 63 of the biological tissue 60 is in contact as the contact point Pi.
  • the diagnostic support device 11 sets the color of the voxel corresponding to the contact point Pi to a default color in the three-dimensional image 53.
  • the catheter 63 and the living tissue 60 are in contact with each other in the three-dimensional image 53.
  • the user is an operator who performs ablation surgery, it is easy to know whether or not the ablation catheter and the tissue in the heart chamber are in contact with each other, so that the ablation surgery can be easily performed.
  • the biological tissue 60 is, for example, an organ such as a blood vessel or a heart.
  • the diagnostic support system 10 includes a diagnostic support device 11, a cable 12, a drive unit 13, a keyboard 14, a mouse 15, and a display 16.
  • the diagnosis support device 11 is a dedicated computer specialized for image diagnosis in the present embodiment, but may be a general-purpose computer such as a PC. "PC” is an abbreviation for personal computer.
  • the cable 12 is used to connect the diagnostic support device 11 and the drive unit 13.
  • the drive unit 13 is a device used by connecting to the probe 20 shown in FIG. 2 to drive the probe 20.
  • the drive unit 13 is also called an MDU.
  • MDU is an abbreviation for motor drive unit.
  • the probe 20 is applied to IVUS.
  • the probe 20 is also called an IVUS catheter or a diagnostic imaging catheter.
  • the keyboard 14, mouse 15, and display 16 are connected to the diagnostic support device 11 via an arbitrary cable or wirelessly.
  • the display 16 is, for example, an LCD, an organic EL display, or an HMD.
  • LCD is an abbreviation for liquid crystal display.
  • EL is an abbreviation for electroluminescence.
  • HMD is an abbreviation for head-mounted display.
  • the diagnostic support system 10 further includes a connection terminal 17 and a cart unit 18 as options.
  • connection terminal 17 is used to connect the diagnostic support device 11 and an external device.
  • the connection terminal 17 is, for example, a USB terminal.
  • USB is an abbreviation for Universal Serial Bus.
  • the external device is, for example, a recording medium such as a magnetic disk drive, a magneto-optical disk drive, or an optical disk drive.
  • the cart unit 18 is a cart with casters for movement.
  • a diagnostic support device 11, a cable 12, and a drive unit 13 are installed in the cart body of the cart unit 18.
  • a keyboard 14, a mouse 15, and a display 16 are installed on the table at the top of the cart unit 18.
  • the probe 20 includes a drive shaft 21, a hub 22, a sheath 23, an outer tube 24, an ultrasonic oscillator 25, and a relay connector 26.
  • the drive shaft 21 passes through the sheath 23 inserted into the body cavity of the living body and the outer tube 24 connected to the base end of the sheath 23, and extends to the inside of the hub 22 provided at the base end of the probe 20.
  • the drive shaft 21 has an ultrasonic vibrator 25 at its tip that transmits and receives signals, and is rotatably provided in the sheath 23 and the outer tube 24.
  • the relay connector 26 connects the sheath 23 and the outer pipe 24.
  • the hub 22, the drive shaft 21, and the ultrasonic vibrator 25 are connected to each other so as to move forward and backward in the axial direction. Therefore, for example, when the hub 22 is pushed toward the tip side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the tip side. For example, when the hub 22 is pulled toward the proximal end side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the proximal end side as shown by arrows.
  • the drive unit 13 includes a scanner unit 31, a slide unit 32, and a bottom cover 33.
  • the scanner unit 31 is connected to the diagnosis support device 11 via the cable 12.
  • the scanner unit 31 includes a probe connecting portion 34 that connects to the probe 20 and a scanner motor 35 that is a drive source for rotating the drive shaft 21.
  • the probe connecting portion 34 is detachably connected to the probe 20 via the insertion port 36 of the hub 22 provided at the base end of the probe 20. Inside the hub 22, the base end of the drive shaft 21 is rotatably supported, and the rotational force of the scanner motor 35 is transmitted to the drive shaft 21. Further, a signal is transmitted and received between the drive shaft 21 and the diagnosis support device 11 via the cable 12. The diagnosis support device 11 generates a tomographic image of the biological lumen and performs image processing based on the signal transmitted from the drive shaft 21.
  • the slide unit 32 mounts the scanner unit 31 so as to be able to move forward and backward, and is mechanically and electrically connected to the scanner unit 31.
  • the slide unit 32 includes a probe clamp portion 37, a slide motor 38, and a switch group 39.
  • the probe clamp portion 37 is provided coaxially with the probe connecting portion 34 on the tip side thereof, and supports the probe 20 connected to the probe connecting portion 34.
  • the slide motor 38 is a drive source that generates a driving force in the axial direction.
  • the scanner unit 31 moves forward and backward by driving the slide motor 38, and the drive shaft 21 moves forward and backward in the axial direction accordingly.
  • the slide motor 38 is, for example, a servo motor.
  • the switch group 39 includes, for example, a forward switch and a pullback switch that are pressed when the scanner unit 31 is moved forward and backward, and a scan switch that is pressed when the image drawing is started and ended. Not limited to the example here, various switches are included in the switch group 39 as needed.
  • the slide motor 38 rotates in the forward direction and the scanner unit 31 moves forward.
  • the pullback switch is pressed, the slide motor 38 rotates in the reverse direction, and the scanner unit 31 retracts.
  • the scanner motor 35 When the scan switch is pressed, image drawing is started, the scanner motor 35 is driven, and the slide motor 38 is driven to retract the scanner unit 31.
  • a user such as an operator connects the probe 20 to the scanner unit 31 in advance so that the drive shaft 21 moves to the axial base end side while rotating at the start of image drawing.
  • the scanner motor 35 and the slide motor 38 stop when the scan switch is pressed again, and the image drawing ends.
  • the bottom cover 33 covers the bottom surface of the slide unit 32 and the entire circumference of the side surface on the bottom surface side, and is freely close to and separated from the bottom surface of the slide unit 32.
  • the diagnosis support device 11 includes a control unit 41, a storage unit 42, a communication unit 43, an input unit 44, and an output unit 45.
  • the control unit 41 includes at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a specific process.
  • CPU is an abbreviation for central processing unit.
  • GPU is an abbreviation for graphics processing unit.
  • the dedicated circuit is, for example, FPGA or ASIC.
  • FPGA is an abbreviation for field-programmable gate array.
  • ASIC is an abbreviation for application specific integrated circuit.
  • the control unit 41 executes processing related to the operation of the diagnosis support device 11 while controlling each part of the diagnosis support system 10 including the diagnosis support device 11.
  • the storage unit 42 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or at least two combinations thereof.
  • the semiconductor memory is, for example, RAM or ROM.
  • RAM is an abbreviation for random access memory.
  • ROM is an abbreviation for read only memory.
  • the RAM is, for example, SRAM or DRAM.
  • SRAM is an abbreviation for static random access memory.
  • DRAM is an abbreviation for dynamic random access memory.
  • the ROM is, for example, an EEPROM.
  • EEPROM is an abbreviation for electrically erasable programmable read only memory.
  • the storage unit 42 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 42 stores data used for the operation of the diagnostic support device 11 such as tomographic data 51 and data obtained by the operation of the diagnostic support device 11 such as the three-dimensional data 52 and the three-dimensional image 53. ..
  • the communication unit 43 includes at least one communication interface.
  • the communication interface is a wired LAN interface, a wireless LAN interface, or an image diagnostic interface that receives and A / D-converts IVUS signals.
  • LAN is an abbreviation for local area network.
  • a / D is an abbreviation for analog to digital.
  • the communication unit 43 receives the data used for the operation of the diagnosis support device 11 and transmits the data obtained by the operation of the diagnosis support device 11.
  • the drive unit 13 is connected to the diagnostic imaging interface included in the communication unit 43.
  • the input unit 44 includes at least one input interface.
  • the input interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with short-range wireless communication such as Bluetooth (registered trademark).
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI High-Definition Multimedia Interface
  • the input unit 44 accepts an operation of inputting data used for the operation of the diagnosis support device 11.
  • the keyboard 14 and the mouse 15 are connected to the USB interface included in the input unit 44 or the interface corresponding to short-range wireless communication.
  • the touch screen is provided integrally with the display 16, the display 16 may be connected to the USB interface or the HDMI (registered trademark) interface included in the input unit 44.
  • the output unit 45 includes at least one output interface.
  • the output interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with short-range wireless communication such as Bluetooth (registered trademark).
  • the output unit 45 outputs the data obtained by the operation of the diagnosis support device 11.
  • the display 16 is connected to the USB interface or the HDMI (registered trademark) interface included in the output unit 45.
  • the function of the diagnosis support device 11 is realized by executing the diagnosis support program according to the present embodiment on the processor included in the control unit 41. That is, the function of the diagnostic support device 11 is realized by software.
  • the diagnosis support program is a program for causing a computer to execute a process of a step included in the operation of the diagnosis support device 11 so that the computer can realize a function corresponding to the process of the step. That is, the diagnosis support program is a program for making the computer function as the diagnosis support device 11.
  • the program can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium is, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, or a semiconductor memory.
  • the distribution of the program is carried out, for example, by selling, transferring, or renting a portable recording medium such as a DVD or CD-ROM in which the program is recorded.
  • DVD is an abbreviation for digital versatile disc.
  • CD-ROM is an abbreviation for compact disc read only memory.
  • the program may be distributed by storing the program in the storage of the server and transferring the program from the server to another computer via the network.
  • the program may be provided as a program product.
  • the computer temporarily stores the program recorded on the portable recording medium or the program transferred from the server in the main storage device. Then, the computer reads the program stored in the main storage device by the processor, and executes the processing according to the read program by the processor.
  • the computer may read the program directly from the portable recording medium and perform processing according to the program.
  • the computer may sequentially execute processing according to the received program each time the program is transferred from the server to the computer.
  • the process may be executed by a so-called ASP type service that realizes the function only by the execution instruction and the result acquisition without transferring the program from the server to the computer. "ASP" is an abbreviation for application service provider.
  • the program includes information used for processing by a computer and equivalent to the program. For example, data that is not a direct command to a computer but has the property of defining the processing of a computer corresponds to "a program-like data".
  • a part or all the functions of the diagnosis support device 11 may be realized by a dedicated circuit included in the control unit 41. That is, some or all the functions of the diagnostic support device 11 may be realized by hardware.
  • the operation of the diagnostic support system 10 according to the present embodiment will be described with reference to FIG.
  • the operation of the diagnosis support system 10 corresponds to the diagnosis support method according to the present embodiment.
  • the probe 20 Prior to the start of the flow of FIG. 4, the probe 20 is primed by the user. After that, the probe 20 is fitted into the probe connecting portion 34 and the probe clamp portion 37 of the drive unit 13, and is connected and fixed to the drive unit 13. Then, the probe 20 is inserted to a target site in the biological tissue 60 such as a blood vessel or the heart.
  • step S1 the scan switch included in the switch group 39 is pressed, and the pullback switch included in the switch group 39 is pressed to perform a so-called pullback operation.
  • the probe 20 transmits ultrasonic waves inside the living tissue 60 by an ultrasonic vibrator 25 that retracts in the axial direction by a pullback operation.
  • the ultrasonic vibrator 25 transmits ultrasonic waves in a radial pattern while moving inside the living tissue 60.
  • the ultrasonic oscillator 25 receives the reflected wave of the transmitted ultrasonic wave.
  • the probe 20 inputs the signal of the reflected wave received by the ultrasonic vibrator 25 to the diagnosis support device 11.
  • the control unit 41 of the diagnosis support device 11 processes the input signal to sequentially generate cross-sectional images of the living tissue 60, thereby acquiring tomographic data 51 including a plurality of cross-sectional images.
  • the probe 20 is a plurality of probes 20 moving outward from the center of rotation by the ultrasonic vibrator 25 while rotating the ultrasonic vibrator 25 in the circumferential direction and moving it in the axial direction inside the biological tissue 60.
  • the probe 20 receives reflected waves from reflectors existing in each of a plurality of directions inside the living tissue 60 by the ultrasonic vibrator 25.
  • the probe 20 transmits the received reflected wave signal to the diagnostic support device 11 via the drive unit 13 and the cable 12.
  • the communication unit 43 of the diagnosis support device 11 receives the signal transmitted from the probe 20.
  • the communication unit 43 performs A / D conversion of the received signal.
  • the communication unit 43 inputs the A / D converted signal to the control unit 41.
  • the control unit 41 processes the input signal to calculate the intensity value distribution of the reflected wave from the reflecting object existing in the transmission direction of the ultrasonic wave of the ultrasonic vibrator 25.
  • the control unit 41 sequentially generates a two-dimensional image having a brightness value distribution corresponding to the calculated intensity value distribution as a cross-sectional image of the biological tissue 60, thereby acquiring the tomographic data 51 which is a data set of the cross-sectional image.
  • the control unit 41 stores the acquired tomographic data 51 in the storage unit 42.
  • the reflected wave signal received by the ultrasonic transducer 25 corresponds to the raw data of the tomographic data 51
  • the cross-sectional image generated by the diagnostic support device 11 processing the reflected wave signal is the tomographic data. It corresponds to the processing data of 51.
  • the control unit 41 of the diagnosis support device 11 may store the signal input from the probe 20 as it is in the storage unit 42 as tomographic data 51.
  • the control unit 41 may store the data showing the intensity value distribution of the reflected wave calculated by processing the signal input from the probe 20 in the storage unit 42 as the tomographic data 51.
  • the tomographic data 51 is not limited to the data set of the cross-sectional image of the biological tissue 60, and may be data representing the cross-sectional shape of the biological tissue 60 at each moving position of the ultrasonic vibrator 25 in some form.
  • an ultrasonic vibrator that transmits ultrasonic waves in a plurality of directions without rotating is used. You may.
  • the tomographic data 51 may be acquired using OFDI or OCT instead of being acquired using IVUS.
  • OFDI is an abbreviation for optical frequency domain imaging.
  • OCT is an abbreviation for optical coherence tomography.
  • the ultrasonic transducer 25 that transmits ultrasonic waves in the biological tissue 60 and acquires the tomographic data 51 as a sensor that acquires the tomographic data 51 while moving in the biological tissue 60. Instead, a sensor is used that radiates light in the living tissue 60 to acquire tomographic data 51.
  • the diagnostic support device 11 instead of the diagnostic support device 11 generating a data set of a cross-sectional image of the biological tissue 60, another device generates a similar data set, and the diagnostic support device 11 uses the data set. It may be obtained from the other device. That is, instead of the control unit 41 of the diagnostic support device 11 processing the IVUS signal to generate a cross-sectional image of the living tissue 60, another device processes the IVUS signal to produce a cross-sectional image of the living tissue 60. The generated cross-sectional image may be input to the diagnostic support device 11.
  • step S2 the control unit 41 of the diagnosis support device 11 generates three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S1.
  • control unit 41 of the diagnosis support device 11 stacks the cross-sectional images of the biological tissue 60 included in the tomographic data 51 stored in the storage unit 42 to make the biological tissue 60 three-dimensional, thereby making the biological tissue 60 three-dimensional.
  • Generate data 52 As the three-dimensional method, any method among rendering methods such as surface rendering or volume rendering, and accompanying various processes such as texture mapping including environment mapping and bump mapping is used.
  • the control unit 41 stores the generated three-dimensional data 52 in the storage unit 42.
  • the tomographic data 51 includes the data of the catheter 63 as well as the data of the living tissue 60. Therefore, in step S2, the three-dimensional data 52 generated by the control unit 41 also includes the data of the catheter 63 as well as the data of the living tissue 60.
  • the control unit 41 identifies the point where the tip of the catheter 63 of the biological tissue 60 is in contact as the contact point Pi in the three-dimensional data 52. Then, the control unit 41 sets the color of the voxel corresponding to the contact point Pi to a default color in the three-dimensional image 53 displayed in step S3.
  • the "default color” is red in the present embodiment, but any color may be used as long as the voxel corresponding to the contact point Pi can be distinguished from other voxel groups.
  • control unit 41 specifies a certain range of the biological tissue 60 including the contact point Pi as the contact unit 64 in the three-dimensional data 52. Then, the control unit 41 sets the color of the voxel group corresponding to the contact unit 64 to the default color in the three-dimensional image 53 displayed in step S3.
  • the control unit 41 analyzes the tomographic data 51 stored in the storage unit 42 to detect the position of the biological tissue 60 where the tip of the catheter 63 is in contact. Any method may be used for analyzing the tomographic data 51, but in the present embodiment, the biological tissue 60 and the catheter 63 in the cross-sectional image included in the tomographic data 51 are detected, and the biological tissue 60 and the catheter 63 are detected. By measuring the distance between the tip and the tip of the catheter 63, a method of determining whether or not the living tissue 60 and the tip of the catheter 63 are in contact with each other is used. The control unit 41 identifies a point corresponding to the detected position as a contact point Pi in the three-dimensional data 52.
  • control unit 41 may analyze the three-dimensional data 52 to specify the contact point Pi. Any method may be used for analyzing the three-dimensional data 52. For example, the tip of the catheter 63 included in the three-dimensional data 52 is detected, and the distance between the biological tissue 60 and the tip of the catheter 63 is measured. By doing so, a method of determining whether or not the living tissue 60 and the tip of the catheter 63 are in contact with each other is used.
  • control unit 41 may receive input of position data indicating the position where the tip of the catheter 63 of the biological tissue 60 is in contact.
  • control unit 41 is a communication unit from an external system that determines whether or not the tip of the catheter 63 is in contact with the inner wall of the biological tissue 60 by using a sensor such as an electrode provided at the tip of the catheter 63.
  • the position data may be input via the 43 or the input unit 44. Then, the control unit 41 may correct the analysis result of the three-dimensional data 52 with reference to the input position data.
  • control unit 41 corresponds to the position indicated by the position data input from the external system as described above in the three-dimensional data 52 without analyzing the three-dimensional data 52.
  • the point may be specified as the contact point Pi.
  • step S3 the control unit 41 of the diagnostic support device 11 displays the three-dimensional data 52 generated in step S2 as a three-dimensional image 53 on the display 16.
  • the control unit 41 may arrange the viewpoint for displaying the three-dimensional image 53 on the display 16 and the virtual light source 72 at arbitrary positions.
  • the "viewpoint" is the position of the virtual camera 71 as shown in FIG. 5 arranged in the three-dimensional space.
  • the number and relative positions of the light sources 72 are not limited to those shown in the figure, and can be changed as appropriate.
  • control unit 41 of the diagnosis support device 11 generates a three-dimensional image 53 from the three-dimensional data 52 stored in the storage unit 42.
  • the control unit 41 displays the generated three-dimensional image 53 on the display 16 via the output unit 45.
  • step S4 if there is a user operation, the processes of steps S5 to S8 are performed. If there is no user operation, the processes of steps S5 to S8 are skipped.
  • step S5 the control unit 41 of the diagnosis support device 11 receives the operation of setting the position of the opening 62 as shown in FIG. 5 via the input unit 44.
  • the position of the opening 62 is set in the three-dimensional image 53 displayed in step S3 so that the inner wall surface 61 of the living tissue 60 is exposed to the outside of the living tissue 60 through the opening 62.
  • the control unit 41 of the diagnostic support device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of cutting off a part of the biological tissue 60 is received via the input unit 44.
  • the control unit 41 accepts an operation of cutting off a part of the biological tissue 60 so that the inner wall surface 61 of the biological tissue 60 has an open shape in the cross section of the biological tissue 60.
  • the "cross section of the living tissue 60" is, for example, a tomographic cross section having two opposite edges of the opening 62 and an inner wall surface 61 of the living tissue 60 facing the opening 62, but the cross section is not limited to this fault cross section.
  • the "cross section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 perpendicularly to the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the "longitudinal section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 along the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the “other cross section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 diagonally with respect to the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the "open shape” is, for example, a substantially C-shaped, approximately U-shaped, approximately three-shaped, or a hole in which any of these is originally vacant in the living tissue 60, such as a branch of a blood vessel or a pulmonary vein opening.
  • the shape is partially chipped due to the presence of.
  • the shape of the inner wall surface 61 of the living tissue 60 is substantially C-shaped.
  • step S6 the control unit 41 of the diagnostic support device 11 determines the position set by the operation received in step S5 as the position of the opening 62.
  • control unit 41 of the diagnostic support device 11 opens the three-dimensional coordinates of the boundary of the portion of the biological tissue 60 cut off by the user's operation in the three-dimensional data 52 stored in the storage unit 42. It is specified as the three-dimensional coordinates of the edge.
  • the control unit 41 stores the specified three-dimensional coordinates in the storage unit 42.
  • step S7 the control unit 41 of the diagnostic support device 11 forms an opening 62 in the three-dimensional data 52 that exposes the inner wall surface 61 of the biological tissue 60 toward the outside of the biological tissue 60 in the three-dimensional image 53.
  • control unit 41 of the diagnostic support device 11 displays the three-dimensional image 53 of the three-dimensional data 52 stored in the storage unit 42, which is specified by the three-dimensional coordinates stored in the storage unit 42. Set to be hidden or transparent when displayed in.
  • step S8 the control unit 41 of the diagnostic support device 11 adjusts the viewpoint when displaying the three-dimensional image 53 on the display 16 according to the position of the opening 62 formed in step S7.
  • the control unit 41 arranges the viewpoint on a straight line extending from the inner wall surface 61 of the biological tissue 60 through the opening 62 to the outside of the biological tissue 60. Therefore, the user can look into the inside of the living tissue 60 from the opening 62 and virtually observe the inner wall surface 61 of the living tissue 60.
  • control unit 41 of the diagnostic support device 11 is a position where the inner wall surface 61 of the biological tissue 60 can be seen through a portion set to be hidden or transparent in the three-dimensional image 53 displayed on the display 16.
  • a virtual camera 71 is arranged in.
  • the control unit 41 has a first straight line L1 extending from the inner wall surface 61 of the living tissue 60 to the outside of the living tissue 60 through the first edge E1 of the opening 62 in the cross section of the living tissue 60.
  • the virtual camera 71 is arranged in the region AF sandwiched between the inner wall surface 61 of the living tissue 60, the second edge E2 of the opening 62, and the second straight line L2 extending to the outside of the living tissue 60.
  • the point where the first straight line L1 intersects the inner wall surface 61 of the living tissue 60 is the same point Pt as the point where the second straight line L2 intersects the inner wall surface 61 of the living tissue 60. Therefore, no matter where the virtual camera 71 is placed in the area AF, the user can observe the point Pt on the inner wall surface 61 of the biological tissue 60.
  • the point Pt is drawn perpendicularly to the third straight line L3 from the midpoint Pc of the third straight line L3 connecting the first edge E1 of the opening 62 and the second edge E2 of the opening 62. It is the same as the point where the fourth straight line L4 intersects the inner wall surface 61 of the living tissue 60. Therefore, it is easy for the user to observe the point Pt on the inner wall surface 61 of the biological tissue 60 through the opening 62.
  • the virtual camera 71 is arranged on the extension line of the fourth straight line L4, the user can easily observe the point Pt on the inner wall surface 61 of the biological tissue 60.
  • the position of the virtual camera 71 may be any position where the inner wall surface 61 of the biological tissue 60 can be observed through the opening 62, but in the present embodiment, it is within the range facing the opening 62.
  • the position of the virtual camera 71 is preferably set to an intermediate position facing the central portion of the opening 62.
  • the minimum distance Lmin from the point Pt to the position of the camera 71 is set according to the minimum value Smin
  • the maximum distance Lmax from the point Pt to the position of the virtual camera 71 is set according to the maximum value Smax. May be set.
  • the minimum distance Lmin from the point Pt to the position of the camera 71 may be set to a distance so that the camera 71 does not come closer to the point Pt than the opening 62 regardless of the minimum value Smin.
  • the maximum distance Lmax from the point Pt to the position of the virtual camera 71 is set so that the camera 71 does not move away from the point Pt so that the user cannot observe the inner wall surface 61 of the biological tissue 60 regardless of the maximum value Smax. It may be set.
  • step S9 If the fault data 51 is updated in step S9, the processing after step S1 is performed again. If the tomographic data 51 is not updated, the presence or absence of user operation is reconfirmed in step S4.
  • the control unit 41 of the diagnostic support device 11 changes the position of the opening 62 from the first position to the second position, and the viewpoint is set to the third position according to the first position. To the 4th position according to the 2nd position.
  • the control unit 41 moves the virtual light source 72 when displaying the three-dimensional image 53 on the display 16 in accordance with the movement of the viewpoint from the third position to the fourth position.
  • the control unit 41 moves the virtual light source 72 by using the rotation matrix used for moving the virtual camera 71 when changing the circumferential position of the opening 62 in the cross section of the biological tissue 60.
  • the control unit 41 may instantaneously switch the viewpoint from the third position to the fourth position, but in the present embodiment, the viewpoint is the third position.
  • a moving image that gradually moves from the position to the fourth position is displayed on the display 16 as a three-dimensional image 53. Therefore, it is easy for the user to know that the viewpoint has moved.
  • step S5 the control unit 41 of the diagnostic support device 11 performs an operation of setting the position of the opening 62 and an operation of setting the position of the target point desired by the user to be performed by the input unit 44. May be accepted via.
  • control unit 41 of the diagnostic support device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of designating the position of the target point may be accepted via the input unit 44.
  • the control unit 41 performs an operation of setting the position of the point Pt as the position of the point where the first straight line L1 and the second straight line L2 intersect with the inner wall surface 61 of the biological tissue 60 via the input unit 44. May be accepted.
  • step S5 the control unit 41 of the diagnostic support device 11 inputs an operation of setting the position of the target point desired by the user instead of the operation of setting the position of the opening 62. It may be accepted via the unit 44. Then, in step S6, the control unit 41 may determine the position of the opening 62 according to the position set by the operation received in step S5.
  • control unit 41 of the diagnostic support device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of designating the position of the target point may be accepted via the input unit 44.
  • the control unit 41 may determine the position of the opening 62 according to the position of the target point.
  • the control unit 41 performs an operation of setting the position of the point Pt as the position of the point where the first straight line L1 and the second straight line L2 intersect with the inner wall surface 61 of the biological tissue 60 via the input unit 44. May be accepted.
  • the control unit 41 may determine a fan-shaped region centered on the point Pt and having a central angle set in advance or an angle ⁇ specified by the user as the region AF.
  • the control unit 41 may determine the position of the biological tissue 60 that overlaps with the region AF at the position of the opening 62.
  • the control unit 41 may determine the normal line of the inner wall surface 61 of the biological tissue 60 that is perpendicular to the tangent line passing through the point Pt as the fourth straight line L4.
  • the area AF may be set narrower than the width of the opening 62. That is, the region AF may be set so as not to include at least one of the first edge E1 of the opening 62 and the second edge E2 of the opening 62.
  • the point where the first straight line L1 intersects the inner wall surface 61 of the living tissue 60 does not have to be the same as the point where the second straight line L2 intersects the inner wall surface 61 of the living tissue 60.
  • the point P1 at which the first straight line L1 intersects the inner wall surface 61 of the living tissue 60 and the point P2 at which the second straight line L2 intersects the inner wall surface 61 of the living tissue 60 are centered on the point Pt. It may be on the circumference. That is, the points P1 and P2 may be approximately equidistant from the point Pt.
  • step S2 the details of the process performed in step S2 when the catheter 63 is inserted into the living tissue 60 will be described.
  • step S201 the control unit 41 of the diagnostic support device 11 detects the biological tissue 60 and the catheter 63 in the cross-sectional image included in the tomographic data 51 acquired in step S1.
  • the control unit 41 of the diagnosis support device 11 classifies the pixel group of the cross-sectional image included in the tomographic data 51 acquired in step S1 into two or more classes.
  • These two or more classes include at least a class of biological tissue 60 and a class of catheter 63, a class of blood cells, a class of medical devices other than the catheter 63 such as a guide wire, and a class of indwelling objects such as a stent. , Or a class of lesions such as lime or plaque may be further included.
  • Any method may be used as the classification method, but in the present embodiment, a method of classifying the pixel group of the cross-sectional image by the trained model is used.
  • the trained model is trained so that the region corresponding to each class can be detected from the cross-sectional image of IVUS as a sample by performing machine learning in advance.
  • control unit 41 binarizes each pixel of the cross-sectional image included in the tomographic data 51 to 1 if the pixel value corresponds to the class of the biological tissue 60, and 0 otherwise. To do.
  • the control unit 41 downsamples the binarized cross-sectional image, and sets each pixel of the obtained two-dimensional image as a voxel at a position corresponding to the two-dimensional image in the long axis direction of the biological tissue 60. ..
  • control unit 41 may detect the biological tissue 60 by extracting an edge in the cross-sectional image.
  • step S202 the control unit 41 of the diagnostic support device 11 measures the distance between the biological tissue 60 detected in step S201 and the tip of the catheter 63, so that the biological tissue 60 and the tip of the catheter 63 come into contact with each other. Determine if it is.
  • the control unit 41 of the diagnosis support device 11 creates a catheter list by listing the catheters 63 detected in step S201.
  • the control unit 41 detects the tip of the catheter 63 for each entry in the catheter list. If only one catheter 63 is detected in step S201, the number of entries in the catheter list is one.
  • the control unit 41 lists the tips of the detected catheters 63 to create a catheter tip list.
  • the control unit 41 identifies the position closest to the tip of the catheter 63 on the inner wall surface 61 of the biological tissue 60 for each entry in the catheter tip list.
  • the control unit 41 calculates the distance between the tip of the catheter 63 and the specified position.
  • control unit 41 determines that the biological tissue 60 and the tip of the catheter 63 are in contact with each other. If the calculated distance is equal to or greater than the first threshold value, the control unit 41 determines that the biological tissue 60 and the tip of the catheter 63 are not in contact with each other.
  • step S203 the control unit 41 of the diagnostic support device 11 detects the biological tissue 60 and the tip of the catheter 63 in step S201.
  • the range of the living tissue 60 in which the distance between the two and the living tissue 60 is less than a certain value is specified as the contact portion 64.
  • the control unit 41 sets the color of the voxel group corresponding to the contact unit 64 to a default color in the three-dimensional image 53 displayed in step S3.
  • control unit 41 of the diagnostic support device 11 has a range in which the distance from the inner wall surface 61 of the biological tissue 60 to the tip of the catheter 63 is less than the second threshold value for each entry in the catheter tip list created in step S202. Is specified as the contact portion 64.
  • the control unit 41 sets the color of the voxel group corresponding to the contact unit 64 to red in the three-dimensional image 53 displayed in step S3.
  • step S202 If it is determined in step S202 that the biological tissue 60 and the tip of the catheter 63 are not in contact with each other, the process of step S203 is skipped.
  • the control unit 41 of the diagnostic support device 11 has each of the three-dimensional images 53 according to the distance from the tip 63d of the catheter 63 to each point of the biological tissue 60 in the three-dimensional data 52. You may adjust the proportion of voxel colors that include the default color element. That is, in the three-dimensional image 53, the biological tissue 60 may be colored with a gradation centered on the position where the catheter 63 and the biological tissue 60 are in contact with each other.
  • the control unit 41 calculates the distance Dist between the tip 63d of the catheter 63 and each point Pn of the inner wall surface 61 of the biological tissue 60, as shown in FIG.
  • the two-dimensional grid is shown in FIG. 9 for convenience, the processing is originally performed by the three-dimensional grid.
  • G D is a predetermined distance from the tip 63 d of the catheter 63
  • C F is a contact coefficient
  • the control unit 41 calculates the contact coefficient of each voxel including the inner wall surface 61 of the biological tissue 60 by the following calculation.
  • C F 1-clamp (Dist / G D, 0,1)
  • clamp () is a clamp function.
  • a voxel having a contact coefficient closer to 1 is closer to the tip 63d of the catheter 63, and a voxel having a contact coefficient closer to 0 is farther from the tip 63d of the catheter 63.
  • Contact coefficient voxels closer than G D from the distal end 63d of the catheter 63 is zero.
  • the contact coefficient of the voxel located at the center of the contact portion 64 is 1.
  • Visible voxel information V P the color of the Color CP V P, Color Pd default colors, when the Color LT was the color of the living tissue 60, each voxel of the control unit 41, the three-dimensional image 53 by the following calculation Set the color of.
  • Color CP CF x Color Pd + (1- CF ) x Color LT
  • the "visible voxel information" refers to the voxel information in which the biological tissue 60 exists in the three-dimensional data 52.
  • Color CP , Color Pd , and Color LT are RGB values. Color Pd is, for example, red.
  • Color LT may be any color other than Color Pd.
  • Color LT may be a single color, or may be a color depending on the reference point, the reference line, or the distance from the reference plane.
  • the reference point, reference line, and reference plane may be arranged at arbitrary positions, but are preferably arranged according to the position of the opening 62.
  • the control unit 41 has the position of the virtual camera 71, which is the viewpoint when displaying the three-dimensional image 53 on the display 16, and the first edge E1 of the opening 62 in the cross section of the biological tissue 60.
  • a reference point can be placed on a straight line passing through the midpoint Pc of the third straight line L3 connecting the second edge E2 of the opening 62.
  • the positions of the viewpoint, the reference point, and the midpoint Pc in the left-right direction are aligned, when the user observes the inner wall surface 61 of the biological tissue 60 through the opening 62, the unevenness due to the difference in the color tone of the three-dimensional image 53 And it is easy to grasp the depth.
  • the reference point is arranged on the fourth straight line L4
  • the user can easily grasp the point Pt on the inner wall surface 61 of the biological tissue 60 and the unevenness and depth around the point Pt.
  • the portion that is remote or G D from the distal end 63d of the catheter 63 colors are consistent with Color LT.
  • the grid at the corresponding position is filled in order to show the tip 63d of the catheter 63, each point Pn of the inner wall surface 61 of the biological tissue 60, and the outer edge of the contact portion 64 of the biological tissue 60.
  • the Color CP is calculated using the above formula, the gradation is colored radially toward each grid indicated by 64, centering on the grid indicated by 63d.
  • the control unit 41 calculates the distance from the tip 63d of the catheter 63 to all the points of the biological tissue 60 in the three-dimensional data 52, but instead of calculating the distance from the tip 63d of the catheter 63 in the three-dimensional data 52, the biological tissue 60. , The distance to each point within a certain range including the contact point Pi may be calculated. In that case, the control unit 41 adjusts the ratio of including the default color element in the color of each voxel of the voxel group corresponding to the range of the three-dimensional image 53 according to the calculated distance.
  • the control unit 41 identifies a calculation area within a certain range, and only in that calculation area, the tip 63d of the catheter 63 and each point of the inner wall surface 61 of the living tissue 60.
  • the distance Dist to Pn may be calculated. According to this example, the distance Dist does not have to be calculated for all voxels, which speeds up the process.
  • the contact portion 64 may be regarded as a "fixed range". That is, in the three-dimensional image 53, the gradation coloring may be performed only on the voxel group corresponding to the contact portion 64.
  • the control unit 41 shows that a part of the biological tissue 60 including the contact point Pi was cauterized by the ablation catheter as the catheter 63.
  • the area may be specified as the ablation area 65.
  • the control unit 41 may set the color of the voxel group corresponding to the ablation region 65 to a color different from the default color in the three-dimensional image 53 displayed in step S3.
  • the "color different from the default color” is orange in this modification, but a color that distinguishes the voxel group corresponding to the ablation region 65 from the voxel group corresponding to the contact portion 64 and other voxel groups. Anything is fine.
  • FIG. 10 the control unit 41 shows that a part of the biological tissue 60 including the contact point Pi was cauterized by the ablation catheter as the catheter 63.
  • the area may be specified as the ablation area 65.
  • the control unit 41 may set the color of the voxel group corresponding to the ablation region 65 to a color different from the default color in the three
  • the ablation data is input a plurality of times. Therefore, the color of the voxel group corresponding to the other ablation regions 65a and 65b is also set to orange, as in the case of the voxel group corresponding to the ablation region 65.
  • step S2 the details of the process performed in step S2 when the ablation catheter is inserted into the living tissue 60 and the ablation operation is performed will be described.
  • steps S211 to S213 Since the processing of steps S211 to S213 is the same as the processing of steps S201 to S203 of FIG. 7, the description thereof will be omitted.
  • the control unit 41 of the diagnostic support device 11 changes the color tone of the ablation region 65 including the center of the contact portion 64.
  • the size of the ablation region 65 may be the same as that of the contact portion 64, may be slightly larger, or may be slightly smaller. Any method may be used as the method for accepting the input of the ablation data, but in this modified example, the operator clicks the corresponding icon when the biological tissue 60 and the tip of the catheter 63 are in contact with each other. A method of accepting an input operation such as an operation or an operation of pressing the corresponding shortcut key via the input unit 44 is used. Alternatively, when the biological tissue 60 and the tip of the catheter 63 are in contact with each other, a method of acquiring applied information from a device that controls energy application or voltage application to the ablation catheter via the communication unit 43 is used. May be good.
  • step S215 If no ablation data is input in step S214, the process of step S215 is skipped.
  • the control unit 41 of the diagnostic support device 11 generates the three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 of the biological tissue 60 into which the catheter 63 is inserted.
  • the control unit 41 displays the generated three-dimensional data 52 as a three-dimensional image 53 on the display 16.
  • the control unit 41 identifies the point where the tip of the catheter 63 of the biological tissue 60 is in contact as the contact point Pi.
  • the control unit 41 sets the color of the voxel corresponding to the contact point Pi to a default color in the three-dimensional image 53.
  • the catheter 63 and the living tissue 60 are in contact with each other in the three-dimensional image 53.
  • the user is an operator who performs ablation surgery, it is easy to know whether or not the ablation catheter and the tissue in the heart chamber are in contact with each other, so that the ablation surgery can be easily performed.
  • the contact portion 64 is changed in color to indicate that the catheter 63 and the wall of the living tissue 60 are in contact with each other in a three-dimensional space. Can be indicated by.
  • the positions of the camera 71 and the light source 72 move so that the inside of the living tissue 60 can be seen from the opening 62. Therefore, when the position of the opening 62 is changed to another position, it is possible to avoid a situation in which only the outer wall surface of the biological tissue 60 is visible and the object of interest cannot be confirmed.
  • the present disclosure is not limited to the above-described embodiment.
  • a plurality of blocks described in the block diagram may be integrated, or one block may be divided.
  • they may be executed in parallel or in a different order according to the processing capacity of the device that executes each step, or as necessary.
  • Other changes are possible without departing from the spirit of this disclosure.
  • Diagnostic support system 11 Diagnostic support device 12 Cable 13 Drive unit 14 Keyboard 15 Mouse 16 Display 17 Connection terminal 18 Cart unit 20 Probe 21 Drive shaft 22 Hub 23 Sheath 24 Outer tube 25 Ultrasonic transducer 26 Relay connector 31 Scanner unit 32 Slide Unit 33 Bottom cover 34 Probe connection 35 Scanner motor 36 Outlet 37 Probe clamp 38 Slide motor 39 Switch group 41 Control 42 Storage 43 Communication 44 Input 45 Output 51 Fault data 52 3D data 53 3D Image 60 Living tissue 61 Inner wall surface 62 Opening 63 Catheter 63d Tip 64 Contact area 65 Caulking area 65a Caulking area 65b Caulking area 71 Camera 72 Light source 80 screen

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Plasma & Fusion (AREA)
  • Otolaryngology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

診断支援装置は、カテーテルが挿入された生体組織の断層データに基づいて生体組織の３次元データを生成し、生成した３次元データを３次元画像としてディスプレイに表示する診断支援装置であって、３次元データにおいて、生体組織の、カテーテルの先端が接触している点を接触点として特定し、３次元画像において、接触点に対応するボクセルの色を既定の色に設定する制御部を備える。

Description

診断支援装置、診断支援システム、及び診断支援方法
　本開示は、診断支援装置、診断支援システム、及び診断支援方法に関する。
　特許文献１から特許文献３には、ＵＳ画像システムを用いて心腔又は血管の３次元画像を生成する技術が記載されている。「ＵＳ」は、ultrasoundの略語である。
米国特許出願公開第２０１０／０２１５２３８号明細書 米国特許第６３８５３３２号明細書 米国特許第６２５１０７２号明細書
　心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる治療が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。
　現状として、術者は頭の中でＩＶＵＳの２次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。アブレーションカテーテルなど、ＩＶＵＳカテーテルとは別のカテーテルが生体組織に挿入されている場合は、その別のカテーテルを表現する３次元画像をさらに表示することが考えられる。
　しかし、３次元画像では、カテーテルと生体組織とが接触しているかどうかがわかりにくい場合がある。
　本開示の目的は、３次元画像において、カテーテルと生体組織とが接触しているかどうかをわかりやすくすることである。
　本開示の一態様としての診断支援装置は、カテーテルが挿入された生体組織の断層データに基づいて前記生体組織の３次元データを生成し、生成した３次元データを３次元画像としてディスプレイに表示する診断支援装置であって、前記３次元データにおいて、前記生体組織の、前記カテーテルの先端が接触している点を接触点として特定し、前記３次元画像において、前記接触点に対応するボクセルの色を既定の色に設定する制御部を備える診断支援装置。
　一実施形態として、前記制御部は、前記３次元データにおける、前記カテーテルの先端から前記生体組織の各点までの距離に応じて、前記３次元画像の各ボクセルの色に前記既定の色の要素を含める比率を調整する。
　一実施形態として、前記制御部は、前記断層データを解析して、前記生体組織の、前記カテーテルの先端が接触している位置を検出し、前記３次元データにおいて、検出した位置に対応する点を前記接触点として特定する。
　一実施形態として、前記制御部は、前記３次元データを解析して、前記接触点を特定する。
　一実施形態として、前記制御部は、前記生体組織の、前記カテーテルの先端が接触している位置を示す位置データの入力を受け、前記位置データを参照して、前記３次元データの解析結果を補正する。
　一実施形態として、前記制御部は、前記生体組織の、前記カテーテルの先端が接触している位置を示す位置データの入力を受け、前記３次元データにおいて、前記位置データで示された位置に対応する点を前記接触点として特定する。
　一実施形態として、前記制御部は、前記３次元データにおける、前記カテーテルの先端から、前記生体組織の、前記接触点を含む一定の範囲内の各点までの距離を算出し、算出した距離に応じて、前記３次元画像の、当該範囲に対応するボクセル群の各ボクセルの色に前記既定の色の要素を含める比率を調整する。
　一実施形態として、前記制御部は、前記カテーテルとしてのアブレーションカテーテルによって、前記生体組織の、前記接触点を含む一部の領域が焼灼されたことを示す焼灼データの入力を受けると、当該領域に対応するボクセル群の色を前記既定の色とは別の色に設定する。
　本開示の一態様としての診断支援システムは、前記診断支援装置と、前記生体組織の中を移動しながら前記断層データを取得するセンサとを備える。
　一実施形態として、前記診断支援システムは、前記ディスプレイをさらに備える。
　本開示の一態様としての診断支援方法は、カテーテルが挿入された生体組織の断層データに基づいて前記生体組織の３次元データを生成し、生成した３次元データを３次元画像としてディスプレイに表示する診断支援方法であって、前記３次元データにおいて、前記生体組織の、前記カテーテルの先端が接触している点を接触点として特定し、前記３次元画像において、前記接触点に対応するボクセルの色を既定の色に設定するものである。
　本開示によれば、３次元画像において、カテーテルと生体組織とが接触しているかどうかがわかりやすくなる。
一実施形態に係る診断支援システムの斜視図である。 一実施形態に係るプローブ及び駆動ユニットの斜視図である。 一実施形態に係る診断支援装置の構成を示すブロック図である。 一実施形態に係る診断支援システムの動作を示すフローチャートである。 一実施形態に係る生体組織の断面、開口、及び視点の位置関係を示す図である。 一実施形態に係るディスプレイの画面に対する３次元画像のサイズの比率、及び接触部に対応するボクセル群の色付けを示す図である。 図４のステップＳ２で行われる処理を示すフローチャートである。 図７のステップＳ２０１で行われる処理を示す図である。 一変形例において図７のステップＳ２０２及びステップＳ２０３で行われる処理を示す図である。 一変形例に係る焼灼領域に対応するボクセル群の色付けを示す図である。 一変形例において図４のステップＳ２で行われる処理を示すフローチャートである。
　以下、一実施形態について、図を参照して説明する。
　各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　図１、図３、及び図５を参照して、本実施形態の概要を説明する。
　本実施形態に係る診断支援装置１１は、カテーテル６３が挿入された生体組織６０の断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。診断支援装置１１は、生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示する。診断支援装置１１は、３次元データ５２において、生体組織６０の、カテーテル６３の先端が接触している点を接触点Ｐｉとして特定する。診断支援装置１１は、３次元画像５３において、接触点Ｐｉに対応するボクセルの色を既定の色に設定する。
　本実施形態によれば、３次元画像５３において、カテーテル６３と生体組織６０とが接触しているかどうかがわかりやすくなる。例えば、ユーザがアブレーション手術を行う術者であれば、アブレーションカテーテルと心腔内の組織とが接触しているかどうかがわかりやすいため、アブレーション手術を行いやすくなる。
　生体組織６０は、例えば、血管、又は心臓などの臓器である。
　図１を参照して、本実施形態に係る診断支援システム１０の構成を説明する。
　診断支援システム１０は、診断支援装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。
　診断支援装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。
　ケーブル１２は、診断支援装置１１と駆動ユニット１３とを接続するために用いられる。
　駆動ユニット１３は、図２に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。
　キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で診断支援装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。「ＨＭＤ」は、head-mounted displayの略語である。
　診断支援システム１０は、オプションとして、接続端子１７及びカートユニット１８をさらに備える。
　接続端子１７は、診断支援装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。
　カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、診断支援装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。
　図２を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。
　プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。
　駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。
　ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５がシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示すように、シース２３の内部を基端側へ移動する。
　駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。
　スキャナユニット３１は、ケーブル１２を介して診断支援装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。
　プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と診断支援装置１１との間で信号が送受信される。診断支援装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
　スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的且つ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。
　プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。
　スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。
　スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。
　フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。
　スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。
　ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。
　図３を参照して、本実施形態に係る診断支援装置１１の構成を説明する。
　診断支援装置１１は、制御部４１、記憶部４２、通信部４３、入力部４４、及び出力部４５を備える。
　制御部４１には、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、診断支援装置１１を含む診断支援システム１０の各部を制御しながら、診断支援装置１１の動作に関わる処理を実行する。
　記憶部４２には、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれる。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、断層データ５１など、診断支援装置１１の動作に用いられるデータと、３次元データ５２及び３次元画像５３など、診断支援装置１１の動作によって得られたデータとが記憶される。
　通信部４３には、少なくとも１つの通信用インタフェースが含まれる。通信用インタフェースは、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、local area networkの略語である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、診断支援装置１１の動作に用いられるデータを受信し、また診断支援装置１１の動作によって得られるデータを送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。
　入力部４４には、少なくとも１つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信に対応したインタフェースである。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、診断支援装置１１の動作に用いられるデータを入力する操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェース、又は近距離無線通信に対応したインタフェースにキーボード１４及びマウス１５が接続される。タッチスクリーンがディスプレイ１６と一体的に設けられている場合、入力部４４に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続されてもよい。
　出力部４５には、少なくとも１つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信に対応したインタフェースである。出力部４５は、診断支援装置１１の動作によって得られるデータを出力する。本実施形態では、出力部４５に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。
　診断支援装置１１の機能は、本実施形態に係る診断支援プログラムを、制御部４１に含まれるプロセッサで実行することにより実現される。すなわち、診断支援装置１１の機能は、ソフトウェアにより実現される。診断支援プログラムは、診断支援装置１１の動作に含まれるステップの処理をコンピュータに実行させることで、当該ステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、診断支援プログラムは、コンピュータを診断支援装置１１として機能させるためのプログラムである。
　プログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ又はＣＤ－ＲＯＭなどの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
　コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
　診断支援装置１１の一部又は全ての機能が、制御部４１に含まれる専用回路により実現されてもよい。すなわち、診断支援装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。
　図４を参照して、本実施形態に係る診断支援システム１０の動作を説明する。診断支援システム１０の動作は、本実施形態に係る診断支援方法に相当する。
　図４のフローの開始前に、ユーザによって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管又は心臓などの生体組織６０内の目的部位まで挿入される。
　ステップＳ１において、スイッチ群３９に含まれるスキャンスイッチが押され、さらにスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織６０の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。超音波振動子２５は、生体組織６０の内部を移動しながら放射線状に超音波を送信する。超音波振動子２５は、送信した超音波の反射波を受信する。プローブ２０は、超音波振動子２５により受信した反射波の信号を診断支援装置１１に入力する。診断支援装置１１の制御部４１は、入力された信号を処理して生体組織６０の断面画像を順次生成することで、複数の断面画像を含む断層データ５１を取得する。
　具体的には、プローブ２０は、生体組織６０の内部で超音波振動子２５を周方向に回転させながら、且つ軸方向に移動させながら、超音波振動子２５により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ２０は、生体組織６０の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子２５により受信する。プローブ２０は、受信した反射波の信号を、駆動ユニット１３及びケーブル１２を介して診断支援装置１１に送信する。診断支援装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。制御部４１は、入力された信号を処理して、超音波振動子２５の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部４１は、算出した強度値分布に相当する輝度値分布を持つ２次元画像を生体組織６０の断面画像として順次生成することで、断面画像のデータセットである断層データ５１を取得する。制御部４１は、取得した断層データ５１を記憶部４２に記憶する。
　本実施形態において、超音波振動子２５が受信する反射波の信号は、断層データ５１の生データに相当し、診断支援装置１１が反射波の信号を処理して生成する断面画像は、断層データ５１の加工データに相当する。
　本実施形態の一変形例として、診断支援装置１１の制御部４１は、プローブ２０から入力された信号をそのまま断層データ５１として記憶部４２に記憶してもよい。あるいは、制御部４１は、プローブ２０から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ５１として記憶部４２に記憶してもよい。すなわち、断層データ５１は、生体組織６０の断面画像のデータセットに限られず、超音波振動子２５の各移動位置における生体組織６０の断面を何らかの形式で表すデータであればよい。
　本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子２５の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。
　本実施形態の一変形例として、断層データ５１は、ＩＶＵＳを用いて取得される代わりに、ＯＦＤＩ又はＯＣＴを用いて取得されてもよい。「ＯＦＤＩ」は、optical frequency domain imagingの略語である。「ＯＣＴ」は、optical coherence tomographyの略語である。ＯＦＤＩ又はＯＣＴが用いられる場合、生体組織６０の中を移動しながら断層データ５１を取得するセンサとして、生体組織６０の中で超音波を送信して断層データ５１を取得する超音波振動子２５の代わりに、生体組織６０の中で光を放射して断層データ５１を取得するセンサが用いられる。
　本実施形態の一変形例として、診断支援装置１１が生体組織６０の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、診断支援装置１１はそのデータセットを当該他の装置から取得してもよい。すなわち、診断支援装置１１の制御部４１が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成し、生成した断面画像を診断支援装置１１に入力してもよい。
　ステップＳ２において、診断支援装置１１の制御部４１は、ステップＳ１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。
　具体的には、診断支援装置１１の制御部４１は、記憶部４２に記憶した断層データ５１に含まれる生体組織６０の断面画像を積層して３次元化することで、生体組織６０の３次元データ５２を生成する。３次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部４１は、生成した３次元データ５２を記憶部４２に記憶する。
　アブレーションカテーテルなど、ＩＶＵＳカテーテルとは別のカテーテル６３が生体組織６０に挿入されている場合、断層データ５１には、生体組織６０のデータと同じように、カテーテル６３のデータが含まれている。そのため、ステップＳ２において、制御部４１により生成される３次元データ５２にも、生体組織６０のデータと同じように、カテーテル６３のデータが含まれる。
　図５に示すように、制御部４１は、３次元データ５２において、生体組織６０の、カテーテル６３の先端が接触している点を接触点Ｐｉとして特定する。そして、制御部４１は、ステップＳ３で表示する３次元画像５３において、接触点Ｐｉに対応するボクセルの色を既定の色に設定する。「既定の色」は、本実施形態では赤色であるが、接触点Ｐｉに対応するボクセルを他のボクセル群と区別できる色であればよい。
　本実施形態では、図５及び図６に示すように、制御部４１は、３次元データ５２において、生体組織６０の、接触点Ｐｉを含む一定の範囲を接触部６４として特定する。そして、制御部４１は、ステップＳ３で表示する３次元画像５３において、接触部６４に対応するボクセル群の色を既定の色に設定する。
　具体的には、制御部４１は、記憶部４２に記憶した断層データ５１を解析して、生体組織６０の、カテーテル６３の先端が接触している位置を検出する。断層データ５１を解析する方法としては、任意の方法を用いてよいが、本実施形態では、断層データ５１に含まれる断面画像内の生体組織６０及びカテーテル６３を検出し、生体組織６０とカテーテル６３の先端との間の距離を計測することで、生体組織６０とカテーテル６３の先端とが接触しているかどうかを判定する方法が用いられる。制御部４１は、３次元データ５２において、検出した位置に対応する点を接触点Ｐｉとして特定する。
　本実施形態の一変形例として、制御部４１は、３次元データ５２を解析して、接触点Ｐｉを特定してもよい。３次元データ５２を解析する方法としては、任意の方法を用いてよいが、例えば、３次元データ５２に含まれるカテーテル６３の先端を検出し、生体組織６０とカテーテル６３の先端との距離を計測することで、生体組織６０とカテーテル６３の先端とが接触しているかどうかを判定する方法が用いられる。
　この変形例において、制御部４１は、生体組織６０の、カテーテル６３の先端が接触している位置を示す位置データの入力を受けてもよい。具体的には、制御部４１は、カテーテル６３の先端に設けられた電極などのセンサを用いてカテーテル６３の先端が生体組織６０の内壁に接触しているかどうかを判定する外部システムから、通信部４３又は入力部４４を介して位置データの入力を受けてもよい。そして、制御部４１は、入力された位置データを参照して、３次元データ５２の解析結果を補正してもよい。
　本実施形態の一変形例として、制御部４１は、３次元データ５２を解析することなく、３次元データ５２において、上述のような外部システムから入力された位置データで示された位置に対応する点を接触点Ｐｉとして特定してもよい。
　ステップＳ３において、診断支援装置１１の制御部４１は、ステップＳ２で生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示する。この時点では、制御部４１は、３次元画像５３をディスプレイ１６に表示する際の視点、及び仮想の光源７２をそれぞれ任意の位置に配置してよい。「視点」とは、３次元空間に配置される、図５に示すような仮想のカメラ７１の位置のことである。光源７２の数及び相対位置は、図示したものに限らず、適宜変更することができる。
　具体的には、診断支援装置１１の制御部４１は、記憶部４２に記憶した３次元データ５２から３次元画像５３を生成する。制御部４１は、生成した３次元画像５３を、出力部４５を介してディスプレイ１６に表示する。
　ステップＳ４において、ユーザの操作があれば、ステップＳ５からステップＳ８の処理が行われる。ユーザの操作がなければ、ステップＳ５からステップＳ８の処理はスキップされる。
　ステップＳ５において、診断支援装置１１の制御部４１は、図５に示すような開口６２の位置を設定する操作を、入力部４４を介して受け付ける。開口６２の位置は、ステップＳ３で表示された３次元画像５３において、開口６２を通じて生体組織６０の内壁面６１が生体組織６０の外部に露出するような位置に設定される。
　具体的には、診断支援装置１１の制御部４１は、ディスプレイ１６に表示している３次元画像５３において、ユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて生体組織６０の一部を切り落とす操作を、入力部４４を介して受け付ける。図５の例では、制御部４１は、生体組織６０の断面において、生体組織６０の内壁面６１が開いた形状になるように生体組織６０の一部を切り落とす操作を受け付ける。「生体組織６０の断面」は、例えば、開口６２の互いに対向する２つの端縁と開口６２に対向する生体組織６０の内壁面６１とを有する断層断面であるが、この断層断面に限らず、生体組織６０の横断面でもよいし、生体組織６０の縦断面でもよいし、又は生体組織６０の他の断面でもよい。「生体組織６０の横断面」とは、生体組織６０の中で超音波振動子２５が移動する方向に対して垂直に生体組織６０を切断した切断面のことである。「生体組織６０の縦断面」とは、生体組織６０の中で超音波振動子２５が移動する方向に沿って生体組織６０を切断した切断面のことである。「生体組織６０の他の断面」とは、生体組織６０の中で超音波振動子２５が移動する方向に対して斜めに生体組織６０を切断した切断面のことである。「開いた形状」は、例えば、略Ｃ字状、略Ｕ字状、略３字状、又はこれらのいずれかが血管の分岐部、若しくは肺静脈口など、生体組織６０に元々空いている孔の存在によって部分的に欠けた形状である。図５の例では、生体組織６０の内壁面６１の形状が略Ｃ字状になっている。
　ステップＳ６において、診断支援装置１１の制御部４１は、ステップＳ５で受け付けた操作によって設定された位置を開口６２の位置に決定する。
　具体的には、診断支援装置１１の制御部４１は、記憶部４２に記憶した３次元データ５２において、生体組織６０の、ユーザの操作によって切り落とされた部分の境界の３次元座標を開口６２の縁の３次元座標として特定する。制御部４１は、特定した３次元座標を記憶部４２に記憶する。
　ステップＳ７において、診断支援装置１１の制御部４１は、３次元画像５３において生体組織６０の内壁面６１を生体組織６０の外部に向けて露出させる開口６２を３次元データ５２に形成する。
　具体的には、診断支援装置１１の制御部４１は、記憶部４２に記憶した３次元データ５２において、記憶部４２に記憶した３次元座標で特定される部分を、３次元画像５３をディスプレイ１６に表示する際に非表示又は透明になるように設定する。
　ステップＳ８において、診断支援装置１１の制御部４１は、ステップＳ７で形成した開口６２の位置に応じて、３次元画像５３をディスプレイ１６に表示する際の視点を調整する。本実施形態では、制御部４１は、生体組織６０の内壁面６１から開口６２を通って生体組織６０の外部に延びる直線の上に視点を配置する。よって、ユーザが開口６２から生体組織６０の内部を覗き込んで生体組織６０の内壁面６１を仮想的に観察することができる。
　具体的には、診断支援装置１１の制御部４１は、ディスプレイ１６に表示している３次元画像５３において、非表示又は透明になるように設定した部分を通じて生体組織６０の内壁面６１が見える位置に、仮想のカメラ７１を配置する。図５の例では、制御部４１は、生体組織６０の断面において、生体組織６０の内壁面６１から開口６２の第１端縁Ｅ１を通って生体組織６０の外部に延びる第１直線Ｌ１と、生体組織６０の内壁面６１から開口６２の第２端縁Ｅ２を通って生体組織６０の外部に延びる第２直線Ｌ２とで挟まれる領域ＡＦの中に仮想のカメラ７１を配置する。第１直線Ｌ１が生体組織６０の内壁面６１と交わる点は、第２直線Ｌ２が生体組織６０の内壁面６１と交わる点と同一の点Ｐｔである。よって、領域ＡＦのどの位置に仮想のカメラ７１を配置しても、ユーザが生体組織６０の内壁面６１の点Ｐｔを観察することができる。
　図５の例では、点Ｐｔは、開口６２の第１端縁Ｅ１と開口６２の第２端縁Ｅ２とを結んだ第３直線Ｌ３の中点Ｐｃから第３直線Ｌ３に対して垂直に引いた第４直線Ｌ４が生体組織６０の内壁面６１と交わる点と同一である。よって、ユーザが開口６２を通じて生体組織６０の内壁面６１の点Ｐｔを観察しやすい。特に、図５に示すように、第４直線Ｌ４の延長線上に仮想のカメラ７１を配置すると、ユーザが生体組織６０の内壁面６１の点Ｐｔを観察しやすくなる。
　仮想のカメラ７１の位置は、開口６２を介して生体組織６０の内壁面６１を観察可能な任意の位置でよいが、本実施形態では開口６２に対向する範囲内である。仮想のカメラ７１の位置は、開口６２の中央部に対向する中間位置に設定されることが好ましい。
　図６の例では、ディスプレイ１６の画面８０の中心から一端までの距離Ｕｍに対する、画面８０と３次元画像５３との中心が重なるように画面８０に表示された３次元画像５３の中心から一端までの距離Ｕｎの比率Ｓについて、最小値Ｓminと、最大値Ｓmaxとが設定される。例えば、Ｓmin＝１／３、Ｓmax＝１のように設定される。図５の例において、点Ｐｔからカメラ７１の位置までの最小距離Ｌminを、最小値Ｓminに応じて設定し、点Ｐｔから仮想のカメラ７１の位置までの最大距離Ｌmaxを、最大値Ｓmaxに応じて設定してもよい。あるいは、点Ｐｔからカメラ７１の位置までの最小距離Ｌminを、最小値Ｓminに関係なく、カメラ７１が開口６２よりも点Ｐｔに近づかないような距離に設定してもよい。点Ｐｔから仮想のカメラ７１の位置までの最大距離Ｌmaxを、最大値Ｓmaxに関係なく、ユーザが生体組織６０の内壁面６１を観察できなくなるほどカメラ７１が点Ｐｔから遠ざからないような距離に設定してもよい。
　ステップＳ９において、断層データ５１の更新があれば、ステップＳ１以降の処理が再度行われる。断層データ５１の更新がなければ、ステップＳ４において、ユーザの操作の有無が再度確認される。
　２回目以降のステップＳ５からステップＳ８において、診断支援装置１１の制御部４１は、開口６２の位置を第１位置から第２位置に変更する場合に、視点を第１位置に応じた第３位置から第２位置に応じた第４位置に移動させる。制御部４１は、視点の第３位置から第４位置への移動に合わせて、３次元画像５３をディスプレイ１６に表示する際の仮想の光源７２を移動させる。
　制御部４１は、生体組織６０の断面において、開口６２の周方向位置を変更する場合に、仮想のカメラ７１の移動に使用する回転行列を用いて、仮想の光源７２を移動させる。
　制御部４１は、開口６２の位置を第１位置から第２位置に変更する場合に、視点を第３位置から第４位置に瞬時に切り替えてもよいが、本実施形態では、視点が第３位置から第４位置へ徐々に移動する動画像を３次元画像５３としてディスプレイ１６に表示する。そのため、視点が移動したことがユーザに伝わりやすい。
　本実施形態の一変形例として、ステップＳ５において、診断支援装置１１の制御部４１は、開口６２の位置を設定する操作とともに、ユーザが見たい目標点の位置を設定する操作を、入力部４４を介して受け付けてもよい。
　具体的には、診断支援装置１１の制御部４１は、ディスプレイ１６に表示している３次元画像５３において、ユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて目標点の位置を指定する操作を、入力部４４を介して受け付けてもよい。図５の例では、制御部４１は、第１直線Ｌ１及び第２直線Ｌ２が生体組織６０の内壁面６１と交わる点の位置として、点Ｐｔの位置を設定する操作を、入力部４４を介して受け付けてもよい。
　本実施形態の一変形例として、ステップＳ５において、診断支援装置１１の制御部４１は、開口６２の位置を設定する操作の代わりに、ユーザが見たい目標点の位置を設定する操作を、入力部４４を介して受け付けてもよい。そして、ステップＳ６において、制御部４１は、ステップＳ５で受け付けた操作によって設定された位置に応じて、開口６２の位置を決定してもよい。
　具体的には、診断支援装置１１の制御部４１は、ディスプレイ１６に表示している３次元画像５３において、ユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて目標点の位置を指定する操作を、入力部４４を介して受け付けてもよい。そして、制御部４１は、その目標点の位置に応じて、開口６２の位置を決定してもよい。図５の例では、制御部４１は、第１直線Ｌ１及び第２直線Ｌ２が生体組織６０の内壁面６１と交わる点の位置として、点Ｐｔの位置を設定する操作を、入力部４４を介して受け付けてもよい。制御部４１は、生体組織６０の断面において、点Ｐｔを中心、中心角を予め設定されるか、又はユーザによって指定される角度αとする扇形の領域を領域ＡＦに決定してもよい。制御部４１は、生体組織６０の、領域ＡＦと重なる位置を開口６２の位置に決定してもよい。制御部４１は、生体組織６０の内壁面６１の、点Ｐｔを通る接線に垂直な法線を第４直線Ｌ４に決定してもよい。
　領域ＡＦは、開口６２の幅よりも狭く設定されてもよい。すなわち、領域ＡＦは、開口６２の第１端縁Ｅ１と開口６２の第２端縁Ｅ２とのうち少なくともいずれかを含まないように設定されてもよい。
　本実施形態の一変形例として、第１直線Ｌ１が生体組織６０の内壁面６１と交わる点は、第２直線Ｌ２が生体組織６０の内壁面６１と交わる点と同一でなくてもよい。例えば、第１直線Ｌ１が生体組織６０の内壁面６１と交わる点である点Ｐ１、及び第２直線Ｌ２が生体組織６０の内壁面６１と交わる点である点Ｐ２は、点Ｐｔを中心とする円周上にあってもよい。すなわち、点Ｐ１及び点Ｐ２は、点Ｐｔから略等距離にあってもよい。
　図７を参照して、カテーテル６３が生体組織６０に挿入されている場合にステップＳ２で行われる処理の詳細を説明する。
　ステップＳ２０１において、診断支援装置１１の制御部４１は、ステップＳ１で取得した断層データ５１に含まれる断面画像内の生体組織６０及びカテーテル６３を検出する。
　具体的には、診断支援装置１１の制御部４１は、ステップＳ１で取得した断層データ５１に含まれる断面画像の画素群を２つ以上のクラスに分類する。これら２つ以上のクラスには、少なくとも生体組織６０のクラスと、カテーテル６３のクラスとが含まれ、血球のクラス、ガイドワイヤなど、カテーテル６３以外の医療器具のクラス、ステントなどの留置物のクラス、又は石灰若しくはプラークなどの病変のクラスがさらに含まれていてもよい。分類方法としては、任意の方法を用いてよいが、本実施形態では、学習済みモデルによって断面画像の画素群を分類する方法が用いられる。学習済みモデルは、事前に機械学習を行うことによって、サンプルとなるＩＶＵＳの断面画像から、各クラスに該当する領域を検出できるように調教されている。
　図８の例では、制御部４１は、断層データ５１に含まれる断面画像の各画素を、画素値が生体組織６０のクラスに該当すれば１、そうでなければ０になるように２値化する。制御部４１は、２値化した断面画像のダウンサンプリングを行い、得られた２次元画像の各画素を、生体組織６０の長軸方向において、その２次元画像が対応する位置のボクセルに設定する。
　本実施形態の一変形例として、制御部４１は、断面画像内のエッジを抽出することで、生体組織６０を検出してもよい。
　ステップＳ２０２において、診断支援装置１１の制御部４１は、ステップＳ２０１で検出した生体組織６０とカテーテル６３の先端との間の距離を計測することで、生体組織６０とカテーテル６３の先端とが接触しているかどうかを判定する。
　具体的には、診断支援装置１１の制御部４１は、ステップＳ２０１で検出したカテーテル６３をリストアップしてカテーテルリストを作成する。制御部４１は、カテーテルリストのエントリごとに、カテーテル６３の先端を検出する。ステップＳ２０１で１本のカテーテル６３しか検出されていなければ、カテーテルリストのエントリ数は１つである。制御部４１は、検出したカテーテル６３の先端をリストアップしてカテーテル先端リストを作成する。制御部４１は、カテーテル先端リストのエントリごとに、生体組織６０の内壁面６１でカテーテル６３の先端に最も近い位置を特定する。制御部４１は、カテーテル６３の先端と特定した位置との間の距離を算出する。制御部４１は、算出した距離が第１閾値未満であれば、生体組織６０とカテーテル６３の先端とが接触していると判定する。制御部４１は、算出した距離が第１閾値以上であれば、生体組織６０とカテーテル６３の先端とが接触していないと判定する。
　ステップＳ２０２で生体組織６０とカテーテル６３の先端とが接触していると判定された場合、ステップＳ２０３において、診断支援装置１１の制御部４１は、ステップＳ２０１で検出した生体組織６０とカテーテル６３の先端との間の距離が一定値未満の、生体組織６０の範囲を接触部６４として特定する。制御部４１は、ステップＳ３で表示する３次元画像５３において、接触部６４に対応するボクセル群の色を既定の色に設定する。
　具体的には、診断支援装置１１の制御部４１は、ステップＳ２０２で作成したカテーテル先端リストのエントリごとに、生体組織６０の内壁面６１でカテーテル６３の先端までの距離が第２閾値未満の範囲を接触部６４として特定する。制御部４１は、ステップＳ３で表示する３次元画像５３において、接触部６４に対応するボクセル群の色を赤色に設定する。
　ステップＳ２０２で生体組織６０とカテーテル６３の先端とが接触していないと判定された場合、ステップＳ２０３の処理はスキップされる。
　本実施形態の一変形例として、診断支援装置１１の制御部４１は、３次元データ５２における、カテーテル６３の先端６３ｄから生体組織６０の各点までの距離に応じて、３次元画像５３の各ボクセルの色に既定の色の要素を含める比率を調整してもよい。すなわち、３次元画像５３において、生体組織６０に対し、カテーテル６３と生体組織６０とが接触している位置を中心としたグラデーションの色付けが行われてもよい。
　この変形例では、制御部４１は、図９に示すように、カテーテル６３の先端６３ｄと、生体組織６０の内壁面６１の各点Ｐｎとの間の距離Distを算出する。なお、図９では、便宜上、２次元のグリッドを示しているが、本来は３次元のグリッドで処理が行われる。ＧDをカテーテル６３の先端６３ｄからの所定距離、ＣFを接触係数としたとき、制御部４１は、以下の計算によって生体組織６０の内壁面６１を含む各ボクセルの接触係数を算出する。
　ＣF＝１－clamp（Dist／ＧD，０，１）
　ここで、clamp（）はクランプ関数である。接触係数が１に近いボクセルほど、カテーテル６３の先端６３ｄに近接しており、接触係数が０に近いボクセルほど、カテーテル６３の先端６３ｄから離れていることになる。カテーテル６３の先端６３ｄからＧD以上離れているボクセルの接触係数は０になる。接触部６４の中心に位置するボクセルの接触係数は１になる。
　ＶPを可視ボクセル情報、ColorCPをＶPの色、ColorPdを既定の色、ColorLTを生体組織６０の色としたとき、制御部４１は、以下の計算によって３次元画像５３の各ボクセルの色を設定する。
　ColorCP＝ＣF×ColorPd＋（１－ＣF）×ColorLT
　ここで、「可視ボクセル情報」とは、３次元データ５２において生体組織６０が存在するボクセル情報のことを指す。ColorCP、ColorPd、及びColorLTはＲＧＢ値である。ColorPdは、例えば赤色である。ColorLTは、ColorPd以外の色であればよい。ColorLTは、単一色でもよいし、又は基準点、基準線、若しくは基準面からの距離に応じた色でもよい。基準点、基準線、及び基準面は、任意の位置に配置されてよいが、開口６２の位置に応じて配置されることが好ましい。図５の例では、制御部４１は、生体組織６０の断面において、３次元画像５３をディスプレイ１６に表示する際の視点である仮想のカメラ７１の位置と、開口６２の第１端縁Ｅ１と開口６２の第２端縁Ｅ２とを結んだ第３直線Ｌ３の中点Ｐｃとを通る直線の上に基準点を配置することができる。よって、左右方向における視点、基準点、及び中点Ｐｃの位置が揃うため、ユーザが開口６２を介して生体組織６０の内壁面６１を観察したときに、３次元画像５３の色調の違いによって凹凸及び奥行きを把握しやすい。特に、第４直線Ｌ４の上に基準点を配置すると、ユーザが生体組織６０の内壁面６１の点Ｐｔ、及び点Ｐｔの周辺の凹凸及び奥行きを把握しやすくなる。なお、ColorCPを上述の式を用いて決めるため、３次元画像５３において、生体組織６０の、カテーテル６３の先端６３ｄからＧD以上離れている箇所の色は、ColorLTと一致する。また、図９では便宜上、カテーテル６３の先端６３ｄ、生体組織６０の内壁面６１の各点Ｐｎ、及び生体組織６０の接触部６４の外縁を示すため、相当する位置のグリッドを塗りつぶしている。上述した式を用いてColorCPを算出すると、６３ｄで示すグリッドを中心に、６４で示す各グリッドに向かって放射状にグラデーションの色付けが行われる。
　制御部４１は、３次元データ５２における、カテーテル６３の先端６３ｄから生体組織６０の全ての点までの距離を算出する代わりに、３次元データ５２における、カテーテル６３の先端６３ｄから、生体組織６０の、接触点Ｐｉを含む一定の範囲内の各点までの距離を算出してもよい。その場合、制御部４１は、算出した距離に応じて、３次元画像５３の、当該範囲に対応するボクセル群の各ボクセルの色に既定の色の要素を含める比率を調整する。一例として、制御部４１は、接触点Ｐｉを特定後、ある一定の範囲にある計算領域を特定し、その計算領域においてのみ、カテーテル６３の先端６３ｄと、生体組織６０の内壁面６１の各点Ｐｎとの間の距離Distを算出してもよい。この例によれば、全ボクセルについて距離Distを計算しなくてよいため、処理が早くなる。接触部６４を「一定の範囲」とみなしてもよい。すなわち、３次元画像５３において、接触部６４に対応するボクセル群のみにグラデーションの色付けが行われてもよい。
　本実施形態の一変形例として、図１０に示すように、制御部４１は、カテーテル６３としてのアブレーションカテーテルによって、生体組織６０の、接触点Ｐｉを含む一部の領域が焼灼されたことを示す焼灼データの入力を受けると、当該領域を焼灼領域６５として特定してもよい。そして、制御部４１は、ステップＳ３で表示する３次元画像５３において、焼灼領域６５に対応するボクセル群の色を既定の色とは別の色に設定してもよい。「既定の色とは別の色」は、この変形例ではオレンジ色であるが、焼灼領域６５に対応するボクセル群を、接触部６４に対応するボクセル群、及びその他のボクセル群と区別できる色であればよい。図１０の例では、焼灼データが複数回入力されている。そのため、焼灼領域６５に対応するボクセル群と同じように、他の焼灼領域６５ａ，６５ｂに対応するボクセル群の色もオレンジ色に設定されている。
　図１１を参照して、この変形例において、アブレーションカテーテルが生体組織６０に挿入され、アブレーション手術が行われている場合にステップＳ２で行われる処理の詳細を説明する。
　ステップＳ２１１からステップＳ２１３の処理については、図７のステップＳ２０１からステップＳ２０３の処理と同じであるため、説明を省略する。
　ステップＳ２１４で焼灼データが入力された場合、診断支援装置１１の制御部４１は、接触部６４の中心を含む焼灼領域６５の色調を変化させる。焼灼領域６５の大きさは、接触部６４と同じでもよいし、少し大きくてもよいし、又は少し小さくてもよい。焼灼データの入力を受け付ける方法としては、任意の方法を用いてよいが、この変形例では、生体組織６０とカテーテル６３の先端とが接触しているときに、術者が該当するアイコンをクリックする操作、又は該当するショートカットキーを押す操作などの入力操作を、入力部４４を介して受け付ける方法が用いられる。あるいは、生体組織６０とカテーテル６３の先端とが接触しているときに、アブレーションカテーテルへのエネルギー印加又は電圧印加を制御する機器から印加情報を、通信部４３を介して取得する方法が用いられてもよい。
　ステップＳ２１４において、焼灼データが入力されなかった場合、ステップＳ２１５の処理はスキップされる。
　上述のように、本実施形態では、診断支援装置１１の制御部４１は、カテーテル６３が挿入された生体組織６０の断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。制御部４１は、生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示する。制御部４１は、３次元データ５２において、生体組織６０の、カテーテル６３の先端が接触している点を接触点Ｐｉとして特定する。制御部４１は、３次元画像５３において、接触点Ｐｉに対応するボクセルの色を既定の色に設定する。
　本実施形態によれば、３次元画像５３において、カテーテル６３と生体組織６０とが接触しているかどうかがわかりやすくなる。例えば、ユーザがアブレーション手術を行う術者であれば、アブレーションカテーテルと心腔内の組織とが接触しているかどうかがわかりやすいため、アブレーション手術を行いやすくなる。
　本実施形態では、カテーテル６３と生体組織６０の壁とが接触している場合、接触部６４の色を変えることで、カテーテル６３と生体組織６０の壁とが接触していることを３次元空間で示すことができる。
　本実施形態では、開口６２の位置が決まると、開口６２から生体組織６０の内部を覗き込むことができるように、カメラ７１及び光源７２の位置が移動する。そのため、開口６２の位置を別の位置に変更した際に、生体組織６０の外壁面しか見えなくなり、興味の対象を確認できなくなるという事態を回避できる。
　本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
　１０　診断支援システム
　１１　診断支援装置
　１２　ケーブル
　１３　駆動ユニット
　１４　キーボード
　１５　マウス
　１６　ディスプレイ
　１７　接続端子
　１８　カートユニット
　２０　プローブ
　２１　駆動シャフト
　２２　ハブ
　２３　シース
　２４　外管
　２５　超音波振動子
　２６　中継コネクタ
　３１　スキャナユニット
　３２　スライドユニット
　３３　ボトムカバー
　３４　プローブ接続部
　３５　スキャナモータ
　３６　差込口
　３７　プローブクランプ部
　３８　スライドモータ
　３９　スイッチ群
　４１　制御部
　４２　記憶部
　４３　通信部
　４４　入力部
　４５　出力部
　５１　断層データ
　５２　３次元データ
　５３　３次元画像
　６０　生体組織
　６１　内壁面
　６２　開口
　６３　カテーテル
　６３ｄ　先端
　６４　接触部
　６５　焼灼領域
　６５ａ　焼灼領域
　６５ｂ　焼灼領域
　７１　カメラ
　７２　光源
　８０　画面

Claims (11)

  1. 　カテーテルが挿入された生体組織の断層データに基づいて前記生体組織の３次元データを生成し、生成した３次元データを３次元画像としてディスプレイに表示する診断支援装置であって、
    　前記３次元データにおいて、前記生体組織の、前記カテーテルの先端が接触している点を接触点として特定し、前記３次元画像において、前記接触点に対応するボクセルの色を既定の色に設定する制御部を備える診断支援装置。
  2. 　前記制御部は、前記３次元データにおける、前記カテーテルの先端から前記生体組織の各点までの距離に応じて、前記３次元画像の各ボクセルの色に前記既定の色の要素を含める比率を調整する請求項１に記載の診断支援装置。
  3. 　前記制御部は、前記断層データを解析して、前記生体組織の、前記カテーテルの先端が接触している位置を検出し、前記３次元データにおいて、検出した位置に対応する点を前記接触点として特定する請求項１又は請求項２に記載の診断支援装置。
  4. 　前記制御部は、前記３次元データを解析して、前記接触点を特定する請求項１又は請求項２に記載の診断支援装置。
  5. 　前記制御部は、前記生体組織の、前記カテーテルの先端が接触している位置を示す位置データの入力を受け、前記位置データを参照して、前記３次元データの解析結果を補正する請求項４に記載の診断支援装置。
  6. 　前記制御部は、前記生体組織の、前記カテーテルの先端が接触している位置を示す位置データの入力を受け、前記３次元データにおいて、前記位置データで示された位置に対応する点を前記接触点として特定する請求項１又は請求項２に記載の診断支援装置。
  7. 　前記制御部は、前記３次元データにおける、前記カテーテルの先端から、前記生体組織の、前記接触点を含む一定の範囲内の各点までの距離を算出し、算出した距離に応じて、前記３次元画像の、当該範囲に対応するボクセル群の各ボクセルの色に前記既定の色の要素を含める比率を調整する請求項１に記載の診断支援装置。
  8. 　前記制御部は、前記カテーテルとしてのアブレーションカテーテルによって、前記生体組織の、前記接触点を含む一部の領域が焼灼されたことを示す焼灼データの入力を受けると、当該領域に対応するボクセル群の色を前記既定の色とは別の色に設定する請求項１から請求項７のいずれか１項に記載の診断支援装置。
  9. 　請求項１から請求項８のいずれか１項に記載の診断支援装置と、
    　前記生体組織の中を移動しながら前記断層データを取得するセンサと
    を備える診断支援システム。
  10. 　前記ディスプレイをさらに備える請求項９に記載の診断支援システム。
  11. 　カテーテルが挿入された生体組織の断層データに基づいて前記生体組織の３次元データを生成し、生成した３次元データを３次元画像としてディスプレイに表示する診断支援方法であって、
    　前記３次元データにおいて、前記生体組織の、前記カテーテルの先端が接触している点を接触点として特定し、前記３次元画像において、前記接触点に対応するボクセルの色を既定の色に設定する診断支援方法。
PCT/JP2020/036452 2019-09-30 2020-09-25 診断支援装置、診断支援システム、及び診断支援方法 WO2021065750A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20871331.3A EP4042944A4 (en) 2019-09-30 2020-09-25 DIAGNOSTIC ASSISTANT DEVICE, DIAGNOSTIC ASSISTANT SYSTEM AND DIAGNOSTIC ASSISTANT METHOD
JP2021551207A JPWO2021065750A1 (ja) 2019-09-30 2020-09-25
CN202080068991.0A CN114554970B (zh) 2019-09-30 2020-09-25 诊断支援装置、诊断支援系统及诊断支援方法
US17/708,460 US20220218309A1 (en) 2019-09-30 2022-03-30 Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-178983 2019-09-30
JP2019178983 2019-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/708,460 Continuation US20220218309A1 (en) 2019-09-30 2022-03-30 Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method

Publications (1)

Publication Number Publication Date
WO2021065750A1 true WO2021065750A1 (ja) 2021-04-08

Family

ID=75336564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036452 WO2021065750A1 (ja) 2019-09-30 2020-09-25 診断支援装置、診断支援システム、及び診断支援方法

Country Status (5)

Country Link
US (1) US20220218309A1 (ja)
EP (1) EP4042944A4 (ja)
JP (1) JPWO2021065750A1 (ja)
CN (1) CN114554970B (ja)
WO (1) WO2021065750A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013601A1 (ja) * 2021-08-02 2023-02-09 テルモ株式会社 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6251072B1 (en) 1999-02-19 2001-06-26 Life Imaging Systems, Inc. Semi-automated segmentation method for 3-dimensional ultrasound
US6385332B1 (en) 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
JP2008220802A (ja) * 2007-03-15 2008-09-25 Hitachi Medical Corp 医用画像診断装置
JP2010088584A (ja) * 2008-10-06 2010-04-22 Toshiba Corp 超音波診断装置
US20100215238A1 (en) 2009-02-23 2010-08-26 Yingli Lu Method for Automatic Segmentation of Images
JP2013031655A (ja) * 2011-07-06 2013-02-14 Toshiba Corp 医用画像診断装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7306593B2 (en) * 2002-10-21 2007-12-11 Biosense, Inc. Prediction and assessment of ablation of cardiac tissue
DE102006013476B4 (de) * 2006-03-23 2012-11-15 Siemens Ag Verfahren zur positionsgenauen Darstellung von interessierenden Gewebebereichen
US9757036B2 (en) * 2007-05-08 2017-09-12 Mediguide Ltd. Method for producing an electrophysiological map of the heart
JP5586465B2 (ja) * 2008-07-15 2014-09-10 株式会社日立メディコ 超音波診断装置
GB201303917D0 (en) * 2013-03-05 2013-04-17 Ezono Ag System for image guided procedure
EP3137159A1 (en) * 2014-05-02 2017-03-08 Koninklijke Philips N.V. Contact determination apparatus
US10549128B2 (en) * 2015-11-04 2020-02-04 Vytronus, Inc. Systems and methods for imaging and ablating tissue
US10660613B2 (en) * 2017-09-29 2020-05-26 Siemens Medical Solutions Usa, Inc. Measurement point determination in medical diagnostic imaging
US11304669B2 (en) * 2017-10-12 2022-04-19 Canon Medical Systems Corporation X-ray diagnosis apparatus, medical image processing apparatus, medical image processing system, and medical image processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6251072B1 (en) 1999-02-19 2001-06-26 Life Imaging Systems, Inc. Semi-automated segmentation method for 3-dimensional ultrasound
US6385332B1 (en) 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
JP2008220802A (ja) * 2007-03-15 2008-09-25 Hitachi Medical Corp 医用画像診断装置
JP2010088584A (ja) * 2008-10-06 2010-04-22 Toshiba Corp 超音波診断装置
US20100215238A1 (en) 2009-02-23 2010-08-26 Yingli Lu Method for Automatic Segmentation of Images
JP2013031655A (ja) * 2011-07-06 2013-02-14 Toshiba Corp 医用画像診断装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4042944A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013601A1 (ja) * 2021-08-02 2023-02-09 テルモ株式会社 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
EP4042944A4 (en) 2022-11-02
JPWO2021065750A1 (ja) 2021-04-08
CN114554970A (zh) 2022-05-27
EP4042944A1 (en) 2022-08-17
CN114554970B (zh) 2024-04-19
US20220218309A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
JP7300352B2 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2021065750A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
CN114502079B (zh) 诊断支援装置、诊断支援系统及诊断支援方法
WO2021065746A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2022202200A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2023013601A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
WO2022071250A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022071251A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2023176741A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20240013390A1 (en) Image processing device, image processing system, image display method, and image processing program
US20240013387A1 (en) Image processing device, image processing system, image display method, and image processing program
WO2023054001A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021200294A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2024071054A1 (ja) 画像処理装置、画像表示システム、画像表示方法、及び画像処理プログラム
US20240016474A1 (en) Image processing device, image processing system, image display method, and image processing program
WO2022085373A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021200296A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
JP2023024072A (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2020217860A1 (ja) 診断支援装置及び診断支援方法
WO2021200295A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
JP2024051695A (ja) 画像処理装置、画像表示システム、画像処理方法、及び画像処理プログラム
CN113645907A (zh) 诊断支援装置、诊断支援系统以及诊断支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20871331

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551207

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020871331

Country of ref document: EP

Effective date: 20220502