WO2021065963A1 - 診断支援装置、診断支援システム、及び診断支援方法 - Google Patents

診断支援装置、診断支援システム、及び診断支援方法 Download PDF

Info

Publication number
WO2021065963A1
WO2021065963A1 PCT/JP2020/037036 JP2020037036W WO2021065963A1 WO 2021065963 A1 WO2021065963 A1 WO 2021065963A1 JP 2020037036 W JP2020037036 W JP 2020037036W WO 2021065963 A1 WO2021065963 A1 WO 2021065963A1
Authority
WO
WIPO (PCT)
Prior art keywords
living tissue
opening
straight line
support device
diagnostic support
Prior art date
Application number
PCT/JP2020/037036
Other languages
English (en)
French (fr)
Inventor
泰一 坂本
克彦 清水
石原 弘之
クレモン ジャケ
トマ エン
ヌワン ヘラト
イセリン エリックセン
亮介 佐賀
Original Assignee
テルモ株式会社
株式会社ロッケン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社, 株式会社ロッケン filed Critical テルモ株式会社
Priority to JP2021551341A priority Critical patent/JPWO2021065963A1/ja
Priority to EP20872054.0A priority patent/EP4039195A4/en
Priority to AU2020359142A priority patent/AU2020359142A1/en
Priority to CN202080068975.1A priority patent/CN114502079B/zh
Publication of WO2021065963A1 publication Critical patent/WO2021065963A1/ja
Priority to US17/708,452 priority patent/US20220218304A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Definitions

  • This disclosure relates to a diagnostic support device, a diagnostic support system, and a diagnostic support method.
  • Patent Documents 1 to 3 describe a technique for generating a three-dimensional image of a heart cavity or a blood vessel using a US imaging system.
  • US is an abbreviation for ultrasonic.
  • IVUS is an abbreviation for intravascular ultrasound.
  • IVUS is a device or method that provides a two-dimensional image of a plane perpendicular to the long axis of the catheter.
  • a 3D image representing the structure of a living tissue such as a heart cavity or a blood vessel is automatically generated from a 2D image of IVUS, and the generated 3D image is displayed to the operator. Can be considered.
  • the purpose of the present disclosure is to enable the user to see the inside of the living tissue with a three-dimensional image.
  • the diagnostic support device as one aspect of the present disclosure is a diagnostic support device that generates three-dimensional data of the biological tissue based on tomographic data of the biological tissue and displays the generated three-dimensional data as a three-dimensional image on a display. Then, in the three-dimensional image, an opening for exposing the inner wall surface of the living tissue toward the outside of the living tissue is formed in the three-dimensional data, and the three-dimensional image is displayed according to the position of the formed opening. It is equipped with a control unit that adjusts the viewpoint when displaying on the display.
  • control unit arranges the viewpoint on a straight line extending from the inner wall surface of the living tissue through the opening to the outside of the living tissue.
  • control unit comprises a first straight line extending from the inner wall surface of the living tissue through the first edge of the opening to the outside of the living tissue in a cross section of the living tissue, and the living tissue.
  • the viewpoint is arranged in a region sandwiched by a second straight line extending from the inner wall surface through the second edge of the opening to the outside of the living tissue.
  • the point where the first straight line intersects the inner wall surface of the living tissue is the same as the point where the second straight line intersects the inner wall surface of the living tissue.
  • the point where the first straight line intersects the inner wall surface of the living tissue is from the midpoint of the third straight line connecting the first edge of the opening and the second edge of the opening to the third.
  • the fourth straight line drawn perpendicular to the straight line is the same as the point where it intersects the inner wall surface of the living tissue.
  • the point where the first straight line intersects the inner wall surface of the living tissue and the point where the second straight line intersects the inner wall surface of the living tissue are the first edge of the opening and the second of the opening.
  • the fourth straight line drawn perpendicular to the third straight line from the midpoint of the third straight line connecting the edges is approximately equidistant from the point where it intersects the inner wall surface of the living tissue.
  • the diagnostic support device further includes an input unit that accepts a user's operation, and the control unit has a position of the opening and the first straight line and the second straight line are the inner wall surface of the living tissue. The operation of setting the position of the intersecting point is accepted via the input unit.
  • the diagnostic support device further includes an input unit that accepts a user's operation, and the control unit sets the position of a point where the first straight line and the second straight line intersect with the inner wall surface of the living tissue.
  • the operation to be performed is received via the input unit, and the position of the opening is determined according to the position set by the received operation.
  • control unit has the viewpoint on an extension of a straight line drawn perpendicular to the straight line from the midpoint of the straight line connecting the first end edge of the opening and the second end edge of the opening. To place.
  • control unit when the control unit changes the position of the opening from the first position to the second position, the control unit changes the viewpoint from the third position corresponding to the first position to the second position. Move to 4 positions.
  • control unit moves a virtual light source for displaying the three-dimensional image on the display in accordance with the movement of the viewpoint from the third position to the fourth position.
  • control unit obtains a moving image in which the viewpoint gradually moves from the third position to the fourth position when the position of the opening is changed from the first position to the second position. It is displayed on the display as a dimensional image.
  • control unit displays the first image and the second image side by side on the display as the three-dimensional image, forms the first opening which is the opening for the first image, and the viewpoint.
  • first viewpoint In addition to adjusting the first viewpoint, the position of the first opening is rotated in the circumferential direction of the second opening that exposes the inner wall surface of the living tissue toward the outside of the living tissue in the second image. It is formed at a position, and the second viewpoint when displaying the second image on the display is adjusted according to the position of the second opening.
  • the position of the second opening is a position obtained by rotating the position of the first opening by 90 degrees in the circumferential direction.
  • control unit forms the opening by cutting off a part of the living body tissue in the three-dimensional data, and represents a region corresponding to the cut off part on a cross-sectional image of the living body tissue. The image is displayed on the display.
  • the diagnostic support system as one aspect of the present disclosure includes the diagnostic support device and a sensor that acquires the tomographic data while moving in the living tissue.
  • the diagnostic support system further includes the display.
  • the diagnostic support method as one aspect of the present disclosure is a diagnostic support method that generates three-dimensional data of the biological tissue based on tomographic data of the biological tissue and displays the generated three-dimensional data as a three-dimensional image on a display. Then, in the three-dimensional image, an opening for exposing the inner wall surface of the living tissue to the outside of the living tissue is formed in the three-dimensional data, and the three-dimensional image is displayed on the display according to the position of the formed opening. It adjusts the viewpoint when displaying on.
  • the user can see the inside of the living tissue with a three-dimensional image.
  • the diagnostic support device 11 generates three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 of the biological tissue 60.
  • the diagnosis support device 11 displays the generated three-dimensional data 52 as a three-dimensional image 53 on the display 16.
  • the diagnosis support device 11 forms an opening 62 in the three-dimensional data 52 that exposes the inner wall surface 61 of the biological tissue 60 toward the outside of the biological tissue 60 in the three-dimensional image 53.
  • the diagnosis support device 11 adjusts the viewpoint when displaying the three-dimensional image 53 on the display 16 according to the position of the formed opening 62.
  • the "viewpoint" is the position of the virtual camera 71 arranged in the three-dimensional space.
  • the user can see the inside of the living tissue 60 with the three-dimensional image 53. For example, if the user is an operator, it becomes easier to perform an operation on the inside of the biological tissue 60.
  • the biological tissue 60 is, for example, an organ such as a blood vessel or a heart.
  • the diagnostic support system 10 includes a diagnostic support device 11, a cable 12, a drive unit 13, a keyboard 14, a mouse 15, and a display 16.
  • the diagnosis support device 11 is a dedicated computer specialized for image diagnosis in the present embodiment, but may be a general-purpose computer such as a PC. "PC” is an abbreviation for personal computer.
  • the cable 12 is used to connect the diagnostic support device 11 and the drive unit 13.
  • the drive unit 13 is a device used by connecting to the probe 20 shown in FIG. 2 to drive the probe 20.
  • the drive unit 13 is also called an MDU.
  • MDU is an abbreviation for motor drive unit.
  • the probe 20 is applied to IVUS.
  • the probe 20 is also called an IVUS catheter or a diagnostic imaging catheter.
  • the keyboard 14, mouse 15, and display 16 are connected to the diagnostic support device 11 via an arbitrary cable or wirelessly.
  • the display 16 is, for example, an LCD, an organic EL display, or an HMD.
  • LCD is an abbreviation for liquid crystal display.
  • EL is an abbreviation for electroluminescence.
  • HMD is an abbreviation for head-mounted display.
  • the diagnostic support system 10 further includes a connection terminal 17 and a cart unit 18 as options.
  • connection terminal 17 is used to connect the diagnostic support device 11 and an external device.
  • the connection terminal 17 is, for example, a USB terminal.
  • USB is an abbreviation for Universal Serial Bus.
  • the external device is, for example, a recording medium such as a magnetic disk drive, a magneto-optical disk drive, or an optical disk drive.
  • the cart unit 18 is a cart with casters for movement.
  • a diagnostic support device 11, a cable 12, and a drive unit 13 are installed in the cart body of the cart unit 18.
  • a keyboard 14, a mouse 15, and a display 16 are installed on the table at the top of the cart unit 18.
  • the probe 20 includes a drive shaft 21, a hub 22, a sheath 23, an outer tube 24, an ultrasonic oscillator 25, and a relay connector 26.
  • the drive shaft 21 passes through the sheath 23 inserted into the body cavity of the living body and the outer tube 24 connected to the base end of the sheath 23, and extends to the inside of the hub 22 provided at the base end of the probe 20.
  • the drive shaft 21 has an ultrasonic vibrator 25 at its tip that transmits and receives signals, and is rotatably provided in the sheath 23 and the outer tube 24.
  • the relay connector 26 connects the sheath 23 and the outer pipe 24.
  • the hub 22, the drive shaft 21, and the ultrasonic vibrator 25 are connected to each other so as to move forward and backward in the axial direction. Therefore, for example, when the hub 22 is pushed toward the tip side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the tip side. For example, when the hub 22 is pulled toward the proximal end side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the proximal end side as shown by arrows.
  • the drive unit 13 includes a scanner unit 31, a slide unit 32, and a bottom cover 33.
  • the scanner unit 31 is connected to the diagnosis support device 11 via the cable 12.
  • the scanner unit 31 includes a probe connecting portion 34 that connects to the probe 20 and a scanner motor 35 that is a drive source for rotating the drive shaft 21.
  • the probe connecting portion 34 is detachably connected to the probe 20 via the insertion port 36 of the hub 22 provided at the base end of the probe 20. Inside the hub 22, the base end of the drive shaft 21 is rotatably supported, and the rotational force of the scanner motor 35 is transmitted to the drive shaft 21. Further, a signal is transmitted and received between the drive shaft 21 and the diagnosis support device 11 via the cable 12. The diagnosis support device 11 generates a tomographic image of the biological lumen and performs image processing based on the signal transmitted from the drive shaft 21.
  • the slide unit 32 mounts the scanner unit 31 so as to be able to move forward and backward, and is mechanically and electrically connected to the scanner unit 31.
  • the slide unit 32 includes a probe clamp portion 37, a slide motor 38, and a switch group 39.
  • the probe clamp portion 37 is provided coaxially with the probe connecting portion 34 on the tip side thereof, and supports the probe 20 connected to the probe connecting portion 34.
  • the slide motor 38 is a drive source that generates a driving force in the axial direction.
  • the scanner unit 31 moves forward and backward by driving the slide motor 38, and the drive shaft 21 moves forward and backward in the axial direction accordingly.
  • the slide motor 38 is, for example, a servo motor.
  • the switch group 39 includes, for example, a forward switch and a pullback switch that are pressed when the scanner unit 31 is moved forward and backward, and a scan switch that is pressed when the image drawing is started and ended. Not limited to the example here, various switches are included in the switch group 39 as needed.
  • the slide motor 38 rotates in the forward direction and the scanner unit 31 moves forward.
  • the pullback switch is pressed, the slide motor 38 rotates in the reverse direction, and the scanner unit 31 retracts.
  • the scanner motor 35 When the scan switch is pressed, image drawing is started, the scanner motor 35 is driven, and the slide motor 38 is driven to retract the scanner unit 31.
  • a user such as an operator connects the probe 20 to the scanner unit 31 in advance so that the drive shaft 21 moves to the axial base end side while rotating at the start of image drawing.
  • the scanner motor 35 and the slide motor 38 stop when the scan switch is pressed again, and the image drawing ends.
  • the bottom cover 33 covers the bottom surface of the slide unit 32 and the entire circumference of the side surface on the bottom surface side, and is freely close to and separated from the bottom surface of the slide unit 32.
  • the diagnosis support device 11 includes a control unit 41, a storage unit 42, a communication unit 43, an input unit 44, and an output unit 45.
  • the control unit 41 includes at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a specific process.
  • CPU is an abbreviation for central processing unit.
  • GPU is an abbreviation for graphics processing unit.
  • the dedicated circuit is, for example, FPGA or ASIC.
  • FPGA is an abbreviation for field-programmable gate array.
  • ASIC is an abbreviation for application specific integrated circuit.
  • the control unit 41 executes processing related to the operation of the diagnosis support device 11 while controlling each part of the diagnosis support system 10 including the diagnosis support device 11.
  • the storage unit 42 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or at least two combinations thereof.
  • the semiconductor memory is, for example, RAM or ROM.
  • RAM is an abbreviation for random access memory.
  • ROM is an abbreviation for read only memory.
  • the RAM is, for example, SRAM or DRAM.
  • SRAM is an abbreviation for static random access memory.
  • DRAM is an abbreviation for dynamic random access memory.
  • the ROM is, for example, an EEPROM.
  • EEPROM is an abbreviation for electrically erasable programmable read only memory.
  • the storage unit 42 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 42 stores data used for the operation of the diagnostic support device 11 such as tomographic data 51 and data obtained by the operation of the diagnostic support device 11 such as the three-dimensional data 52 and the three-dimensional image 53. ..
  • the communication unit 43 includes at least one communication interface.
  • the communication interface is a wired LAN interface, a wireless LAN interface, or an image diagnostic interface that receives and A / D-converts IVUS signals.
  • LAN is an abbreviation for local area network.
  • a / D is an abbreviation for analog to digital.
  • the communication unit 43 receives the data used for the operation of the diagnosis support device 11 and transmits the data obtained by the operation of the diagnosis support device 11.
  • the drive unit 13 is connected to the diagnostic imaging interface included in the communication unit 43.
  • the input unit 44 includes at least one input interface.
  • the input interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with short-range wireless communication such as Bluetooth (registered trademark).
  • HDMI registered trademark
  • HDMI High-Definition Multimedia Interface
  • the input unit 44 accepts an operation of inputting data used for the operation of the diagnosis support device 11.
  • the keyboard 14 and the mouse 15 are connected to the USB interface included in the input unit 44 or the interface corresponding to short-range wireless communication.
  • the touch screen is provided integrally with the display 16, the display 16 may be connected to the USB interface or the HDMI (registered trademark) interface included in the input unit 44.
  • the output unit 45 includes at least one output interface.
  • the output interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with short-range wireless communication such as Bluetooth (registered trademark).
  • the output unit 45 outputs the data obtained by the operation of the diagnosis support device 11.
  • the display 16 is connected to the USB interface or the HDMI (registered trademark) interface included in the output unit 45.
  • the function of the diagnosis support device 11 is realized by executing the diagnosis support program according to the present embodiment on the processor included in the control unit 41. That is, the function of the diagnostic support device 11 is realized by software.
  • the diagnosis support program is a program for causing a computer to execute a process of a step included in the operation of the diagnosis support device 11 so that the computer can realize a function corresponding to the process of the step. That is, the diagnosis support program is a program for making the computer function as the diagnosis support device 11.
  • the program can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium is, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, or a semiconductor memory.
  • the distribution of the program is carried out, for example, by selling, transferring, or renting a portable recording medium such as a DVD or CD-ROM in which the program is recorded.
  • DVD is an abbreviation for digital versatile disc.
  • CD-ROM is an abbreviation for compact disc read only memory.
  • the program may be distributed by storing the program in the storage of the server and transferring the program from the server to another computer via the network.
  • the program may be provided as a program product.
  • the computer temporarily stores the program recorded on the portable recording medium or the program transferred from the server in the main storage device. Then, the computer reads the program stored in the main storage device by the processor, and executes the processing according to the read program by the processor.
  • the computer may read the program directly from the portable recording medium and perform processing according to the program.
  • the computer may sequentially execute processing according to the received program each time the program is transferred from the server to the computer.
  • the process may be executed by a so-called ASP type service that realizes the function only by the execution instruction and the result acquisition without transferring the program from the server to the computer. "ASP" is an abbreviation for application service provider.
  • the program includes information used for processing by a computer and equivalent to the program. For example, data that is not a direct command to a computer but has the property of defining the processing of a computer corresponds to "a program-like data".
  • a part or all the functions of the diagnosis support device 11 may be realized by a dedicated circuit included in the control unit 41. That is, some or all the functions of the diagnostic support device 11 may be realized by hardware.
  • the operation of the diagnostic support system 10 according to the present embodiment will be described with reference to FIG.
  • the operation of the diagnosis support system 10 corresponds to the diagnosis support method according to the present embodiment.
  • the probe 20 Prior to the start of the flow of FIG. 4, the probe 20 is primed by the user. After that, the probe 20 is fitted into the probe connecting portion 34 and the probe clamp portion 37 of the drive unit 13, and is connected and fixed to the drive unit 13. Then, the probe 20 is inserted to a target site in the biological tissue 60 such as a blood vessel or the heart.
  • step S1 the scan switch included in the switch group 39 is pressed, and the pullback switch included in the switch group 39 is pressed to perform a so-called pullback operation.
  • the probe 20 transmits ultrasonic waves inside the living tissue 60 by an ultrasonic vibrator 25 that retracts in the axial direction by a pullback operation.
  • the ultrasonic vibrator 25 transmits ultrasonic waves in a radial pattern while moving inside the living tissue 60.
  • the ultrasonic oscillator 25 receives the reflected wave of the transmitted ultrasonic wave.
  • the probe 20 inputs the signal of the reflected wave received by the ultrasonic vibrator 25 to the diagnosis support device 11.
  • the control unit 41 of the diagnosis support device 11 processes the input signal to sequentially generate cross-sectional images of the living tissue 60, thereby acquiring tomographic data 51 including a plurality of cross-sectional images.
  • the probe 20 is a plurality of probes 20 moving outward from the center of rotation by the ultrasonic vibrator 25 while rotating the ultrasonic vibrator 25 in the circumferential direction and moving it in the axial direction inside the biological tissue 60.
  • the probe 20 receives reflected waves from reflectors existing in each of a plurality of directions inside the living tissue 60 by the ultrasonic vibrator 25.
  • the probe 20 transmits the received reflected wave signal to the diagnostic support device 11 via the drive unit 13 and the cable 12.
  • the communication unit 43 of the diagnosis support device 11 receives the signal transmitted from the probe 20.
  • the communication unit 43 performs A / D conversion of the received signal.
  • the communication unit 43 inputs the A / D converted signal to the control unit 41.
  • the control unit 41 processes the input signal to calculate the intensity value distribution of the reflected wave from the reflecting object existing in the transmission direction of the ultrasonic wave of the ultrasonic vibrator 25.
  • the control unit 41 sequentially generates a two-dimensional image having a brightness value distribution corresponding to the calculated intensity value distribution as a cross-sectional image of the biological tissue 60, thereby acquiring the tomographic data 51 which is a data set of the cross-sectional image.
  • the control unit 41 stores the acquired tomographic data 51 in the storage unit 42.
  • the reflected wave signal received by the ultrasonic transducer 25 corresponds to the raw data of the tomographic data 51
  • the cross-sectional image generated by the diagnostic support device 11 processing the reflected wave signal is the tomographic data. It corresponds to the processing data of 51.
  • the control unit 41 of the diagnosis support device 11 may store the signal input from the probe 20 as it is in the storage unit 42 as tomographic data 51.
  • the control unit 41 may store the data showing the intensity value distribution of the reflected wave calculated by processing the signal input from the probe 20 in the storage unit 42 as the tomographic data 51.
  • the tomographic data 51 is not limited to the data set of the cross-sectional image of the biological tissue 60, and may be data representing the cross-sectional shape of the biological tissue 60 at each moving position of the ultrasonic vibrator 25 in some form.
  • an ultrasonic vibrator that transmits ultrasonic waves in a plurality of directions without rotating is used. You may.
  • the tomographic data 51 may be acquired using OFDI or OCT instead of being acquired using IVUS.
  • OFDI is an abbreviation for optical frequency domain imaging.
  • OCT is an abbreviation for optical coherence tomography.
  • the ultrasonic transducer 25 that transmits ultrasonic waves in the biological tissue 60 and acquires the tomographic data 51 as a sensor that acquires the tomographic data 51 while moving in the biological tissue 60. Instead, a sensor is used that radiates light in the living tissue 60 to acquire tomographic data 51.
  • the diagnostic support device 11 instead of the diagnostic support device 11 generating a data set of a cross-sectional image of the biological tissue 60, another device generates a similar data set, and the diagnostic support device 11 uses the data set. It may be obtained from the other device. That is, instead of the control unit 41 of the diagnostic support device 11 processing the IVUS signal to generate a cross-sectional image of the living tissue 60, another device processes the IVUS signal to produce a cross-sectional image of the living tissue 60. The generated cross-sectional image may be input to the diagnostic support device 11.
  • step S2 the control unit 41 of the diagnosis support device 11 generates three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S1.
  • control unit 41 of the diagnosis support device 11 stacks the cross-sectional images of the biological tissue 60 included in the tomographic data 51 stored in the storage unit 42 to make the biological tissue 60 three-dimensional, thereby making the biological tissue 60 three-dimensional.
  • Generate data 52 As the three-dimensional method, any method among rendering methods such as surface rendering or volume rendering, and accompanying various processes such as texture mapping including environment mapping and bump mapping is used.
  • the control unit 41 stores the generated three-dimensional data 52 in the storage unit 42.
  • step S3 the control unit 41 of the diagnostic support device 11 displays the three-dimensional data 52 generated in step S2 as a three-dimensional image 53 on the display 16.
  • the control unit 41 may arrange the viewpoint for displaying the three-dimensional image 53 on the display 16 at an arbitrary position.
  • control unit 41 of the diagnosis support device 11 generates a three-dimensional image 53 from the three-dimensional data 52 stored in the storage unit 42.
  • the control unit 41 displays the generated three-dimensional image 53 on the display 16 via the output unit 45.
  • step S4 if there is a user operation, the processes of steps S5 to S8 are performed. If there is no user operation, the processes of steps S5 to S8 are skipped.
  • step S5 the control unit 41 of the diagnosis support device 11 receives the operation of setting the position of the opening 62 as shown in FIG. 5 via the input unit 44.
  • the position of the opening 62 is set in the three-dimensional image 53 displayed in step S3 so that the inner wall surface 61 of the living tissue 60 is exposed to the outside of the living tissue 60 through the opening 62.
  • the control unit 41 of the diagnostic support device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of cutting off a part of the biological tissue 60 is received via the input unit 44.
  • the control unit 41 accepts an operation of cutting off a part of the biological tissue 60 so that the inner wall surface 61 of the biological tissue 60 has an open shape in the cross section of the biological tissue 60.
  • the "cross section of the living tissue 60" is, for example, a tomographic cross section having two opposite edges of the opening 62 and an inner wall surface 61 of the living tissue 60 facing the opening 62, but the cross section is not limited to this fault cross section.
  • the "cross section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 perpendicularly to the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the "longitudinal section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 along the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the “other cross section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 diagonally with respect to the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the "open shape” is, for example, a substantially C-shaped, approximately U-shaped, approximately three-shaped, or a hole in which any of these is originally vacant in the living tissue 60, such as a branch of a blood vessel or a pulmonary vein opening.
  • the shape is partially chipped due to the presence of.
  • the shape of the inner wall surface 61 of the living tissue 60 is substantially C-shaped.
  • step S6 the control unit 41 of the diagnostic support device 11 determines the position set by the operation received in step S5 as the position of the opening 62.
  • control unit 41 of the diagnostic support device 11 opens the three-dimensional coordinates of the boundary of the portion of the biological tissue 60 cut off by the user's operation in the three-dimensional data 52 stored in the storage unit 42. It is specified as the three-dimensional coordinates of the edge.
  • the control unit 41 stores the specified three-dimensional coordinates in the storage unit 42.
  • step S7 the control unit 41 of the diagnostic support device 11 forms an opening 62 in the three-dimensional data 52 that exposes the inner wall surface 61 of the biological tissue 60 toward the outside of the biological tissue 60 in the three-dimensional image 53.
  • control unit 41 of the diagnostic support device 11 displays the three-dimensional image 53 of the three-dimensional data 52 stored in the storage unit 42, which is specified by the three-dimensional coordinates stored in the storage unit 42. Set to be hidden or transparent when displayed in.
  • step S8 the control unit 41 of the diagnostic support device 11 adjusts the viewpoint when displaying the three-dimensional image 53 on the display 16 according to the position of the opening 62 formed in step S7.
  • the control unit 41 arranges the viewpoint on a straight line extending from the inner wall surface 61 of the biological tissue 60 through the opening 62 to the outside of the biological tissue 60. Therefore, the user can look into the inside of the living tissue 60 from the opening 62 and virtually observe the inner wall surface 61 of the living tissue 60.
  • control unit 41 of the diagnostic support device 11 is a position where the inner wall surface 61 of the biological tissue 60 can be seen through a portion set to be hidden or transparent in the three-dimensional image 53 displayed on the display 16.
  • a virtual camera 71 is arranged in.
  • the control unit 41 has a first straight line L1 extending from the inner wall surface 61 of the living tissue 60 to the outside of the living tissue 60 through the first edge E1 of the opening 62 in the cross section of the living tissue 60.
  • the virtual camera 71 is arranged in the region AF sandwiched between the inner wall surface 61 of the living tissue 60, the second edge E2 of the opening 62, and the second straight line L2 extending to the outside of the living tissue 60.
  • the point where the first straight line L1 intersects the inner wall surface 61 of the living tissue 60 is the same point Pt as the point where the second straight line L2 intersects the inner wall surface 61 of the living tissue 60. Therefore, no matter where the virtual camera 71 is placed in the area AF, the user can observe the point Pt on the inner wall surface 61 of the biological tissue 60.
  • the point Pt is drawn perpendicularly to the third straight line L3 from the midpoint Pc of the third straight line L3 connecting the first edge E1 of the opening 62 and the second edge E2 of the opening 62. It is the same as the point where the fourth straight line L4 intersects the inner wall surface 61 of the living tissue 60. Therefore, it is easy for the user to observe the point Pt on the inner wall surface 61 of the biological tissue 60 through the opening 62. In particular, if the virtual camera 71 is arranged on the extension line of the fourth straight line L4, the user can easily observe the point Pt on the inner wall surface 61 of the biological tissue 60.
  • the position of the virtual camera 71 may be any position where the inner wall surface 61 of the biological tissue 60 can be observed through the opening 62, but in the present embodiment, it is within the range facing the opening 62.
  • the position of the virtual camera 71 is preferably set to an intermediate position facing the central portion of the opening 62.
  • the minimum distance Lmin from the point Pt to the position of the camera 71 is set according to the minimum value Smin
  • the maximum distance Lmax from the point Pt to the position of the virtual camera 71 is set according to the maximum value Smax. May be set.
  • the minimum distance Lmin from the point Pt to the position of the camera 71 may be set to a distance so that the camera 71 does not come closer to the point Pt than the opening 62 regardless of the minimum value Smin.
  • the maximum distance Lmax from the point Pt to the position of the virtual camera 71 is set so that the camera 71 does not move away from the point Pt so that the user cannot observe the inner wall surface 61 of the biological tissue 60 regardless of the maximum value Smax. It may be set.
  • step S9 If the fault data 51 is updated in step S9, the processing after step S1 is performed again. If the tomographic data 51 is not updated, the presence or absence of user operation is reconfirmed in step S4.
  • control unit 41 of the diagnostic support device 11 changes the position of the opening 62 from the first position to the second position as shown in FIGS. 7 and 8. Is moved from the third position according to the first position to the fourth position according to the second position.
  • the control unit 41 moves the virtual light source 72 when displaying the three-dimensional image 53 on the display 16 in accordance with the movement of the viewpoint from the third position to the fourth position.
  • control unit 41 uses a rotation matrix R ( ⁇ ) to move the virtual camera 71 when changing the circumferential position of the opening 62 in the cross section of the biological tissue 60. It is used to move the virtual light source 72.
  • R rotation matrix
  • the number and relative positions of the light sources 72 are not limited to those shown in the figure, and can be changed as appropriate.
  • the control unit 41 may instantaneously switch the viewpoint from the third position to the fourth position, but in the present embodiment, the viewpoint is the third position.
  • a moving image that gradually moves from the position to the fourth position is displayed on the display 16 as a three-dimensional image 53. Therefore, it is easy for the user to know that the viewpoint has moved.
  • step S5 the control unit 41 of the diagnostic support device 11 performs an operation of setting the position of the opening 62 and an operation of setting the position of the target point desired by the user to be performed by the input unit 44. May be accepted via.
  • control unit 41 of the diagnostic support device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of designating the position of the target point may be accepted via the input unit 44.
  • the control unit 41 performs an operation of setting the position of the point Pt as the position of the point where the first straight line L1 and the second straight line L2 intersect with the inner wall surface 61 of the biological tissue 60 via the input unit 44. May be accepted.
  • step S5 the control unit 41 of the diagnostic support device 11 inputs an operation of setting the position of the target point desired by the user instead of the operation of setting the position of the opening 62. It may be accepted via the unit 44. Then, in step S6, the control unit 41 may determine the position of the opening 62 according to the position set by the operation received in step S5.
  • control unit 41 of the diagnostic support device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of designating the position of the target point may be accepted via the input unit 44.
  • the control unit 41 may determine the position of the opening 62 according to the position of the target point.
  • the control unit 41 performs an operation of setting the position of the point Pt as the position of the point where the first straight line L1 and the second straight line L2 intersect with the inner wall surface 61 of the biological tissue 60 via the input unit 44. May be accepted.
  • the control unit 41 may determine a fan-shaped region centered on the point Pt and having a central angle set in advance or an angle ⁇ specified by the user as the region AF.
  • the control unit 41 may determine the position of the biological tissue 60 that overlaps with the region AF at the position of the opening 62.
  • the control unit 41 may determine the normal line of the inner wall surface 61 of the biological tissue 60 that is perpendicular to the tangent line passing through the point Pt as the fourth straight line L4.
  • the area AF may be set narrower than the width of the opening 62. That is, the region AF may be set so as not to include at least one of the first edge E1 of the opening 62 and the second edge E2 of the opening 62.
  • the point where the first straight line L1 intersects the inner wall surface 61 of the living tissue 60 does not have to be the same as the point where the second straight line L2 intersects the inner wall surface 61 of the living tissue 60.
  • the point P1 at which the first straight line L1 intersects the inner wall surface 61 of the living tissue 60 and the point P2 at which the second straight line L2 intersects the inner wall surface 61 of the living tissue 60 are points Pt. It is on the circumference of radius r centered on. That is, the points P1 and P2 are approximately equidistant from the point Pt.
  • the point Pt is formed from the midpoint Pc of the third straight line L3 connecting the first edge E1 of the opening 62 and the second edge E2 of the opening 62. It is the same as the point where the fourth straight line L4 drawn perpendicular to the three straight lines L3 intersects the inner wall surface 61 of the living tissue 60. Therefore, it is easy for the user to observe the point Pt of the inner wall surface 61 of the biological tissue 60 and its surroundings through the opening 62. In particular, if the virtual camera 71 is arranged on the extension line of the fourth straight line L4, the user can easily observe the point Pt of the inner wall surface 61 of the biological tissue 60 and its surroundings.
  • the point Pt may be manually set as the observation target point, and the radius r may be manually set as the observation target range.
  • the point Pt may be set by clicking the three-dimensional image 53, and the radius r may be set in the menu.
  • the setting of the point Pt and the radius r defines a sphere containing a user-observable zone.
  • the angle ⁇ , the unit vector from the point Pt to the front side of FIG. 9, that is, the unit vector up in the direction orthogonal to the cross section of the biological tissue 60, and the unit vector dir in the direction from the point Pt to the midpoint Pc. May be set manually.
  • P2 Pt-r * normalize (cross (up, dir))
  • Pf Pt-dir * (r / tan ( ⁇ / 2))
  • cross () is the outer product calculation
  • normalize () is the unit vector calculation.
  • the control unit 41 of the diagnostic support device 11 may display a plurality of images side by side on the display 16 as a three-dimensional image 53. Specifically, as shown in FIG. 10, the control unit 41 may display the first image 53a and the second image 53b side by side on the display 16 as the three-dimensional image 53.
  • the control unit 41 forms the first opening, which is the opening 62, with respect to the first image 53a, and adjusts the first viewpoint, which is the viewpoint.
  • the control unit 41 forms a second opening that exposes the inner wall surface 61 of the living tissue 60 toward the outside of the living tissue 60 in the second image 53b at a position where the position of the first opening is rotated in the circumferential direction.
  • control unit 41 adjusts the second viewpoint when displaying the second image 53b on the display 16 according to the position of the second opening.
  • the position of the second opening is, for example, a position obtained by rotating the position of the first opening by 90 degrees in the circumferential direction.
  • the biological tissue 60 is the heart.
  • the second opening and the second viewpoint obtained by rotating the position of the first opening by 90 degrees in the circumferential direction are automatically set. .. Then, the first image 53a in which the inner wall surface 61 can be seen from the first viewpoint through the first opening and the second image 53b in which the inner wall surface 61 can be seen from the second viewpoint through the second opening are displayed side by side.
  • the image from the first viewpoint that captures the fossa ovalis 63 in front and the image from the second viewpoint that captures the fossa ovalis 63 from the side are displayed, so that the operator can see the left atrium.
  • the fossa ovalis 63 is pierced from the right atrium toward the right atrium, the distance from the fossa ovalis 63 to the right atrium wall can be visually grasped, and it is possible to prevent accidentally puncturing the right atrium wall.
  • the control unit 41 of the diagnostic support device 11 cuts off a part of the biological tissue 60 in the three-dimensional data 52 to form an opening 62, and further views the viewpoint.
  • the position of the camera 71 and the cut line may be displayed on the display 16.
  • the control unit 41 has the position of the camera 71 in the cross section of the biological tissue 60 and the first straight line L1 corresponding to the cut line in the state where the biological tissue 60 is not cut.
  • the second straight line L2 may be displayed.
  • the color of the region 64 corresponding to the cut-off portion is changed in order to clearly indicate which portion of the cross section is cut.
  • the area 64 corresponding to the cut-off portion may be displayed on the original cross-sectional image.
  • the control unit 41 of the diagnostic support device 11 may display a two-dimensional image 54 on the cross-sectional image of the biological tissue 60 showing the region 64 corresponding to the cut-off portion on the display 16. ..
  • the position of the camera 71 is also represented by the two-dimensional image 54.
  • the cross-sectional image an image corresponding to the current position of the sensor may be used, but an image corresponding to a position other than the current position of the sensor may be used.
  • the control unit 41 of the diagnostic support device 11 generates the three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 of the biological tissue 60.
  • the control unit 41 displays the generated three-dimensional data 52 as a three-dimensional image 53 on the display 16.
  • the control unit 41 forms an opening 62 in the three-dimensional data 52 that exposes the inner wall surface 61 of the biological tissue 60 toward the outside of the biological tissue 60 in the three-dimensional image 53.
  • the control unit 41 adjusts the viewpoint when displaying the three-dimensional image 53 on the display 16 according to the position of the formed opening 62.
  • the user can see the inside of the living tissue 60 with the three-dimensional image 53. For example, if the user is an operator, it becomes easier to perform an operation on the inside of the biological tissue 60.
  • the positions of the camera 71 and the light source 72 move so that the inside of the living tissue 60 can be seen from the opening 62. Therefore, when the position of the opening 62 is changed to another position, it is possible to avoid a situation in which only the outer wall surface of the biological tissue 60 is visible and the object of interest cannot be confirmed.
  • the present disclosure is not limited to the above-described embodiment.
  • a plurality of blocks described in the block diagram may be integrated, or one block may be divided.
  • they may be executed in parallel or in a different order according to the processing capacity of the device that executes each step, or as necessary.
  • Other changes are possible without departing from the spirit of this disclosure.
  • Diagnostic support system 11 Diagnostic support device 12 Cable 13 Drive unit 14 Keyboard 15 Mouse 16 Display 17 Connection terminal 18 Cart unit 20 Probe 21 Drive shaft 22 Hub 23 Sheath 24 Outer tube 25 Ultrasonic transducer 26 Relay connector 31 Scanner unit 32 Slide Unit 33 Bottom cover 34 Probe connection 35 Scanner motor 36 Outlet 37 Probe clamp 38 Slide motor 39 Switch group 41 Control 42 Storage 43 Communication 44 Input 45 Output 51 Fault data 52 3D data 53 3D Image 53a 1st image 53b 2nd image 54 2D image 60 Living tissue 61 Inner wall surface 62 Opening 63 Oval fossa 64 Area 71 Camera 72 Light source 80 screen

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

診断支援装置は、生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援装置であって、前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる開口を前記3次元データに形成するとともに、形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整する制御部を備える。

Description

診断支援装置、診断支援システム、及び診断支援方法
 本開示は、診断支援装置、診断支援システム、及び診断支援方法に関する。
 特許文献1から特許文献3には、US画像システムを用いて心腔又は血管の3次元画像を生成する技術が記載されている。「US」は、ultrasoundの略語である。
米国特許出願公開第2010/0215238号明細書 米国特許第6385332号明細書 米国特許第6251072号明細書
 心腔内、心臓血管、及び下肢動脈領域などに対してIVUSを用いる治療が広く行われている。「IVUS」は、intravascular ultrasoundの略語である。IVUSとはカテーテル長軸に対して垂直平面の2次元画像を提供するデバイス又は方法のことである。
 現状として、術者は頭の中でIVUSの2次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、IVUSの2次元画像から心腔又は血管などの生体組織の構造を表現する3次元画像を自動生成し、生成した3次元画像を術者に向けて表示することが考えられる。
 しかし、術者が3次元画像で生体組織の外壁しか見えないのであれば、生体組織の内部に対する施術を行えない。
 本開示の目的は、ユーザが3次元画像で生体組織の内部を見ることができるようにすることである。
 本開示の一態様としての診断支援装置は、生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援装置であって、前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる開口を前記3次元データに形成するとともに、形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整する制御部を備える。
 一実施形態として、前記制御部は、前記生体組織の内壁面から前記開口を通って前記生体組織の外部に延びる直線の上に前記視点を配置する。
 一実施形態として、前記制御部は、前記生体組織の断面において、前記生体組織の内壁面から前記開口の第1端縁を通って前記生体組織の外部に延びる第1直線と、前記生体組織の内壁面から前記開口の第2端縁を通って前記生体組織の外部に延びる第2直線とで挟まれる領域の中に前記視点を配置する。
 一実施形態として、前記第1直線が前記生体組織の内壁面と交わる点は、前記第2直線が前記生体組織の内壁面と交わる点と同一である。
 一実施形態として、前記第1直線が前記生体組織の内壁面と交わる点は、前記開口の第1端縁と前記開口の第2端縁とを結んだ第3直線の中点から前記第3直線に対して垂直に引いた第4直線が前記生体組織の内壁面と交わる点と同一である。
 一実施形態として、前記第1直線が前記生体組織の内壁面と交わる点、及び前記第2直線が前記生体組織の内壁面と交わる点は、前記開口の第1端縁と前記開口の第2端縁とを結んだ第3直線の中点から前記第3直線に対して垂直に引いた第4直線が前記生体組織の内壁面と交わる点から略等距離にある。
 一実施形態として、前記診断支援装置は、ユーザの操作を受け付ける入力部をさらに備え、前記制御部は、前記開口の位置と、前記第1直線及び前記第2直線が前記生体組織の内壁面と交わる点の位置とを設定する操作を、前記入力部を介して受け付ける。
 一実施形態として、前記診断支援装置は、ユーザの操作を受け付ける入力部をさらに備え、前記制御部は、前記第1直線及び前記第2直線が前記生体組織の内壁面と交わる点の位置を設定する操作を、前記入力部を介して受け付け、受け付けた操作によって設定された位置に応じて、前記開口の位置を決定する。
 一実施形態として、前記制御部は、前記開口の第1端縁と前記開口の第2端縁とを結んだ直線の中点から当該直線に対して垂直に引いた直線の延長線上に前記視点を配置する。
 一実施形態として、前記制御部は、前記開口の位置を第1位置から第2位置に変更する場合に、前記視点を前記第1位置に応じた第3位置から前記第2位置に応じた第4位置に移動させる。
 一実施形態として、前記制御部は、前記視点の前記第3位置から前記第4位置への移動に合わせて、前記3次元画像を前記ディスプレイに表示する際の仮想の光源を移動させる。
 一実施形態として、前記制御部は、前記開口の位置を第1位置から第2位置に変更する場合に、前記視点が前記第3位置から前記第4位置へ徐々に移動する動画像を前記3次元画像として前記ディスプレイに表示する。
 一実施形態として、前記制御部は、前記3次元画像として、第1画像及び第2画像を並べて前記ディスプレイに表示し、前記第1画像について、前記開口である第1開口を形成し、前記視点である第1視点を調整するとともに、前記第2画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる第2開口を、前記第1開口の位置を周方向に回転させた位置に形成し、前記第2開口の位置に応じて、前記第2画像を前記ディスプレイに表示する際の第2視点を調整する。
 一実施形態として、前記第2開口の位置は、前記第1開口の位置を周方向に90度回転させた位置である。
 一実施形態として、前記制御部は、前記3次元データにおいて前記生体組織の一部を切り落とすことで前記開口を形成し、切り落とした部分に相当する領域を前記生体組織の断面画像上で表す2次元画像を前記ディスプレイに表示する。
 本開示の一態様としての診断支援システムは、前記診断支援装置と、前記生体組織の中を移動しながら前記断層データを取得するセンサとを備える。
 一実施形態として、前記診断支援システムは、前記ディスプレイをさらに備える。
 本開示の一態様としての診断支援方法は、生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援方法であって、前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に対して露出させる開口を前記3次元データに形成し、形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整するものである。
 本開示によれば、ユーザが3次元画像で生体組織の内部を見ることができるようになる。
一実施形態に係る診断支援システムの斜視図である。 一実施形態に係るプローブ及び駆動ユニットの斜視図である。 一実施形態に係る診断支援装置の構成を示すブロック図である。 一実施形態に係る診断支援システムの動作を示すフローチャートである。 一実施形態に係る生体組織の断面、開口、及び視点の位置関係を示す図である。 一実施形態に係るディスプレイの画面に対する3次元画像のサイズの比率を示す図である。 一実施形態に係る開口、視点、及び仮想の光源の変更前の位置を示す図である。 一実施形態に係る開口、視点、及び仮想の光源の変更後の位置を示す図である。 一変形例に係る生体組織の断面、開口、及び視点の位置関係を示す図である。 一変形例に係る3次元画像の例を示す図である。 一変形例に係る生体組織の断面、開口、切り落とされた部分に相当する領域、及び視点の位置関係を示す図である。 一変形例に係る2次元画像の例を示す図である。
 以下、一実施形態について、図を参照して説明する。
 各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
 図1、図3、及び図5を参照して、本実施形態の概要を説明する。
 本実施形態に係る診断支援装置11は、生体組織60の断層データ51に基づいて生体組織60の3次元データ52を生成する。診断支援装置11は、生成した3次元データ52を3次元画像53としてディスプレイ16に表示する。診断支援装置11は、3次元画像53において生体組織60の内壁面61を生体組織60の外部に向けて露出させる開口62を3次元データ52に形成する。診断支援装置11は、形成した開口62の位置に応じて、3次元画像53をディスプレイ16に表示する際の視点を調整する。「視点」とは、3次元空間に配置される仮想のカメラ71の位置のことである。
 本実施形態によれば、ユーザが3次元画像53で生体組織60の内部を見ることができるようになる。例えば、ユーザが術者であれば、生体組織60の内部に対する施術を行いやすくなる。
 生体組織60は、例えば、血管、又は心臓などの臓器である。
 図1を参照して、本実施形態に係る診断支援システム10の構成を説明する。
 診断支援システム10は、診断支援装置11、ケーブル12、駆動ユニット13、キーボード14、マウス15、及びディスプレイ16を備える。
 診断支援装置11は、本実施形態では画像診断に特化した専用のコンピュータであるが、PCなどの汎用のコンピュータでもよい。「PC」は、personal computerの略語である。
 ケーブル12は、診断支援装置11と駆動ユニット13とを接続するために用いられる。
 駆動ユニット13は、図2に示すプローブ20に接続して用いられ、プローブ20を駆動する装置である。駆動ユニット13は、MDUとも呼ばれる。「MDU」は、motor drive unitの略語である。プローブ20は、IVUSに適用される。プローブ20は、IVUSカテーテル又は画像診断用カテーテルとも呼ばれる。
 キーボード14、マウス15、及びディスプレイ16は、任意のケーブルを介して、又は無線で診断支援装置11と接続される。ディスプレイ16は、例えば、LCD、有機ELディスプレイ、又はHMDである。「LCD」は、liquid crystal displayの略語である。「EL」は、electro luminescenceの略語である。「HMD」は、head-mounted displayの略語である。
 診断支援システム10は、オプションとして、接続端子17及びカートユニット18をさらに備える。
 接続端子17は、診断支援装置11と外部機器とを接続するために用いられる。接続端子17は、例えば、USB端子である。「USB」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。
 カートユニット18は、移動用のキャスタ付きのカートである。カートユニット18のカート本体には、診断支援装置11、ケーブル12、及び駆動ユニット13が設置される。カートユニット18の最上部のテーブルには、キーボード14、マウス15、及びディスプレイ16が設置される。
 図2を参照して、本実施形態に係るプローブ20及び駆動ユニット13の構成を説明する。
 プローブ20は、駆動シャフト21、ハブ22、シース23、外管24、超音波振動子25、及び中継コネクタ26を備える。
 駆動シャフト21は、生体の体腔内に挿入されるシース23と、シース23の基端に接続した外管24とを通り、プローブ20の基端に設けられたハブ22の内部まで延びている。駆動シャフト21は、信号を送受信する超音波振動子25を先端に有してシース23及び外管24内に回転可能に設けられる。中継コネクタ26は、シース23及び外管24を接続する。
 ハブ22、駆動シャフト21、及び超音波振動子25は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ22が先端側に向けて押される操作がなされると、駆動シャフト21及び超音波振動子25がシース23の内部を先端側へ移動する。例えば、ハブ22が基端側に引かれる操作がなされると、駆動シャフト21及び超音波振動子25は、矢印で示すように、シース23の内部を基端側へ移動する。
 駆動ユニット13は、スキャナユニット31、スライドユニット32、及びボトムカバー33を備える。
 スキャナユニット31は、ケーブル12を介して診断支援装置11と接続する。スキャナユニット31は、プローブ20と接続するプローブ接続部34と、駆動シャフト21を回転させる駆動源であるスキャナモータ35とを備える。
 プローブ接続部34は、プローブ20の基端に設けられたハブ22の差込口36を介して、プローブ20と着脱自在に接続する。ハブ22の内部では、駆動シャフト21の基端が回転自在に支持されており、スキャナモータ35の回転力が駆動シャフト21に伝えられる。また、ケーブル12を介して駆動シャフト21と診断支援装置11との間で信号が送受信される。診断支援装置11では、駆動シャフト21から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
 スライドユニット32は、スキャナユニット31を進退自在に載せており、スキャナユニット31と機械的且つ電気的に接続している。スライドユニット32は、プローブクランプ部37、スライドモータ38、及びスイッチ群39を備える。
 プローブクランプ部37は、プローブ接続部34よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部34に接続されるプローブ20を支持する。
 スライドモータ38は、軸方向の駆動力を生じさせる駆動源である。スライドモータ38の駆動によってスキャナユニット31が進退動し、それに伴って駆動シャフト21が軸方向に進退動する。スライドモータ38は、例えば、サーボモータである。
 スイッチ群39には、例えば、スキャナユニット31の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群39に含まれる。
 フォワードスイッチが押されると、スライドモータ38が正回転し、スキャナユニット31が前進する。一方、プルバックスイッチが押されると、スライドモータ38が逆回転し、スキャナユニット31が後退する。
 スキャンスイッチが押されると画像描写が開始され、スキャナモータ35が駆動するとともに、スライドモータ38が駆動してスキャナユニット31を後退させていく。術者などのユーザは、事前にプローブ20をスキャナユニット31に接続しておき、画像描写開始とともに駆動シャフト21が回転しつつ軸方向基端側に移動するようにする。スキャナモータ35及びスライドモータ38は、スキャンスイッチが再度押されると停止し、画像描写が終了する。
 ボトムカバー33は、スライドユニット32の底面及び底面側の側面全周を覆っており、スライドユニット32の底面に対して近接離間自在である。
 図3を参照して、本実施形態に係る診断支援装置11の構成を説明する。
 診断支援装置11は、制御部41、記憶部42、通信部43、入力部44、及び出力部45を備える。
 制御部41には、少なくとも1つのプロセッサ、少なくとも1つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、CPU若しくはGPUなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「CPU」は、central processing unitの略語である。「GPU」は、graphics processing unitの略語である。専用回路は、例えば、FPGA又はASICである。「FPGA」は、field-programmable gate arrayの略語である。「ASIC」は、application specific integrated circuitの略語である。制御部41は、診断支援装置11を含む診断支援システム10の各部を制御しながら、診断支援装置11の動作に関わる処理を実行する。
 記憶部42には、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ、又はこれらのうち少なくとも2種類の組み合わせが含まれる。半導体メモリは、例えば、RAM又はROMである。「RAM」は、random access memoryの略語である。「ROM」は、read only memoryの略語である。RAMは、例えば、SRAM又はDRAMである。「SRAM」は、static random access memoryの略語である。「DRAM」は、dynamic random access memoryの略語である。ROMは、例えば、EEPROMである。「EEPROM」は、electrically erasable programmable read only memoryの略語である。記憶部42は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部42には、断層データ51など、診断支援装置11の動作に用いられるデータと、3次元データ52及び3次元画像53など、診断支援装置11の動作によって得られたデータとが記憶される。
 通信部43には、少なくとも1つの通信用インタフェースが含まれる。通信用インタフェースは、有線LANインタフェース、無線LANインタフェース、又はIVUSの信号を受信及びA/D変換する画像診断用インタフェースである。「LAN」は、local area networkの略語である。「A/D」は、analog to digitalの略語である。通信部43は、診断支援装置11の動作に用いられるデータを受信し、また診断支援装置11の動作によって得られるデータを送信する。本実施形態では、通信部43に含まれる画像診断用インタフェースに駆動ユニット13が接続される。
 入力部44には、少なくとも1つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、USBインタフェース、HDMI(登録商標)インタフェース、又はBluetooth(登録商標)などの近距離無線通信に対応したインタフェースである。「HDMI」は、High-Definition Multimedia Interfaceの略語である。入力部44は、診断支援装置11の動作に用いられるデータを入力する操作を受け付ける。本実施形態では、入力部44に含まれるUSBインタフェース、又は近距離無線通信に対応したインタフェースにキーボード14及びマウス15が接続される。タッチスクリーンがディスプレイ16と一体的に設けられている場合、入力部44に含まれるUSBインタフェース又はHDMI(登録商標)インタフェースにディスプレイ16が接続されてもよい。
 出力部45には、少なくとも1つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、USBインタフェース、HDMI(登録商標)インタフェース、又はBluetooth(登録商標)などの近距離無線通信に対応したインタフェースである。出力部45は、診断支援装置11の動作によって得られるデータを出力する。本実施形態では、出力部45に含まれるUSBインタフェース又はHDMI(登録商標)インタフェースにディスプレイ16が接続される。
 診断支援装置11の機能は、本実施形態に係る診断支援プログラムを、制御部41に含まれるプロセッサで実行することにより実現される。すなわち、診断支援装置11の機能は、ソフトウェアにより実現される。診断支援プログラムは、診断支援装置11の動作に含まれるステップの処理をコンピュータに実行させることで、当該ステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、診断支援プログラムは、コンピュータを診断支援装置11として機能させるためのプログラムである。
 プログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したDVD又はCD-ROMなどの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。「DVD」は、digital versatile discの略語である。「CD-ROM」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
 コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるASP型のサービスによって処理を実行してもよい。「ASP」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
 診断支援装置11の一部又は全ての機能が、制御部41に含まれる専用回路により実現されてもよい。すなわち、診断支援装置11の一部又は全ての機能が、ハードウェアにより実現されてもよい。
 図4を参照して、本実施形態に係る診断支援システム10の動作を説明する。診断支援システム10の動作は、本実施形態に係る診断支援方法に相当する。
 図4のフローの開始前に、ユーザによって、プローブ20がプライミングされる。その後、プローブ20が駆動ユニット13のプローブ接続部34及びプローブクランプ部37に嵌め込まれ、駆動ユニット13に接続及び固定される。そして、プローブ20が血管又は心臓などの生体組織60内の目的部位まで挿入される。
 ステップS1において、スイッチ群39に含まれるスキャンスイッチが押され、さらにスイッチ群39に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ20は、生体組織60の内部で、プルバック操作によって軸方向に後退する超音波振動子25により超音波を送信する。超音波振動子25は、生体組織60の内部を移動しながら放射線状に超音波を送信する。超音波振動子25は、送信した超音波の反射波を受信する。プローブ20は、超音波振動子25により受信した反射波の信号を診断支援装置11に入力する。診断支援装置11の制御部41は、入力された信号を処理して生体組織60の断面画像を順次生成することで、複数の断面画像を含む断層データ51を取得する。
 具体的には、プローブ20は、生体組織60の内部で超音波振動子25を周方向に回転させながら、且つ軸方向に移動させながら、超音波振動子25により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ20は、生体組織60の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子25により受信する。プローブ20は、受信した反射波の信号を、駆動ユニット13及びケーブル12を介して診断支援装置11に送信する。診断支援装置11の通信部43は、プローブ20から送信された信号を受信する。通信部43は、受信した信号をA/D変換する。通信部43は、A/D変換した信号を制御部41に入力する。制御部41は、入力された信号を処理して、超音波振動子25の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部41は、算出した強度値分布に相当する輝度値分布を持つ2次元画像を生体組織60の断面画像として順次生成することで、断面画像のデータセットである断層データ51を取得する。制御部41は、取得した断層データ51を記憶部42に記憶する。
 本実施形態において、超音波振動子25が受信する反射波の信号は、断層データ51の生データに相当し、診断支援装置11が反射波の信号を処理して生成する断面画像は、断層データ51の加工データに相当する。
 本実施形態の一変形例として、診断支援装置11の制御部41は、プローブ20から入力された信号をそのまま断層データ51として記憶部42に記憶してもよい。あるいは、制御部41は、プローブ20から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ51として記憶部42に記憶してもよい。すなわち、断層データ51は、生体組織60の断面画像のデータセットに限られず、超音波振動子25の各移動位置における生体組織60の断面を何らかの形式で表すデータであればよい。
 本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子25の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。
 本実施形態の一変形例として、断層データ51は、IVUSを用いて取得される代わりに、OFDI又はOCTを用いて取得されてもよい。「OFDI」は、optical frequency domain imagingの略語である。「OCT」は、optical coherence tomographyの略語である。OFDI又はOCTが用いられる場合、生体組織60の中を移動しながら断層データ51を取得するセンサとして、生体組織60の中で超音波を送信して断層データ51を取得する超音波振動子25の代わりに、生体組織60の中で光を放射して断層データ51を取得するセンサが用いられる。
 本実施形態の一変形例として、診断支援装置11が生体組織60の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、診断支援装置11はそのデータセットを当該他の装置から取得してもよい。すなわち、診断支援装置11の制御部41が、IVUSの信号を処理して生体組織60の断面画像を生成する代わりに、他の装置が、IVUSの信号を処理して生体組織60の断面画像を生成し、生成した断面画像を診断支援装置11に入力してもよい。
 ステップS2において、診断支援装置11の制御部41は、ステップS1で取得した断層データ51に基づいて生体組織60の3次元データ52を生成する。
 具体的には、診断支援装置11の制御部41は、記憶部42に記憶した断層データ51に含まれる生体組織60の断面画像を積層して3次元化することで、生体組織60の3次元データ52を生成する。3次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部41は、生成した3次元データ52を記憶部42に記憶する。
 ステップS3において、診断支援装置11の制御部41は、ステップS2で生成した3次元データ52を3次元画像53としてディスプレイ16に表示する。この時点では、制御部41は、3次元画像53をディスプレイ16に表示する際の視点を任意の位置に配置してよい。
 具体的には、診断支援装置11の制御部41は、記憶部42に記憶した3次元データ52から3次元画像53を生成する。制御部41は、生成した3次元画像53を、出力部45を介してディスプレイ16に表示する。
 ステップS4において、ユーザの操作があれば、ステップS5からステップS8の処理が行われる。ユーザの操作がなければ、ステップS5からステップS8の処理はスキップされる。
 ステップS5において、診断支援装置11の制御部41は、図5に示すような開口62の位置を設定する操作を、入力部44を介して受け付ける。開口62の位置は、ステップS3で表示された3次元画像53において、開口62を通じて生体組織60の内壁面61が生体組織60の外部に露出するような位置に設定される。
 具体的には、診断支援装置11の制御部41は、ディスプレイ16に表示している3次元画像53において、ユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて生体組織60の一部を切り落とす操作を、入力部44を介して受け付ける。図5の例では、制御部41は、生体組織60の断面において、生体組織60の内壁面61が開いた形状になるように生体組織60の一部を切り落とす操作を受け付ける。「生体組織60の断面」は、例えば、開口62の互いに対向する2つの端縁と開口62に対向する生体組織60の内壁面61とを有する断層断面であるが、この断層断面に限らず、生体組織60の横断面でもよいし、生体組織60の縦断面でもよいし、又は生体組織60の他の断面でもよい。「生体組織60の横断面」とは、生体組織60の中で超音波振動子25が移動する方向に対して垂直に生体組織60を切断した切断面のことである。「生体組織60の縦断面」とは、生体組織60の中で超音波振動子25が移動する方向に沿って生体組織60を切断した切断面のことである。「生体組織60の他の断面」とは、生体組織60の中で超音波振動子25が移動する方向に対して斜めに生体組織60を切断した切断面のことである。「開いた形状」は、例えば、略C字状、略U字状、略3字状、又はこれらのいずれかが血管の分岐部、若しくは肺静脈口など、生体組織60に元々空いている孔の存在によって部分的に欠けた形状である。図5の例では、生体組織60の内壁面61の形状が略C字状になっている。
 ステップS6において、診断支援装置11の制御部41は、ステップS5で受け付けた操作によって設定された位置を開口62の位置に決定する。
 具体的には、診断支援装置11の制御部41は、記憶部42に記憶した3次元データ52において、生体組織60の、ユーザの操作によって切り落とされた部分の境界の3次元座標を開口62の縁の3次元座標として特定する。制御部41は、特定した3次元座標を記憶部42に記憶する。
 ステップS7において、診断支援装置11の制御部41は、3次元画像53において生体組織60の内壁面61を生体組織60の外部に向けて露出させる開口62を3次元データ52に形成する。
 具体的には、診断支援装置11の制御部41は、記憶部42に記憶した3次元データ52において、記憶部42に記憶した3次元座標で特定される部分を、3次元画像53をディスプレイ16に表示する際に非表示又は透明になるように設定する。
 ステップS8において、診断支援装置11の制御部41は、ステップS7で形成した開口62の位置に応じて、3次元画像53をディスプレイ16に表示する際の視点を調整する。本実施形態では、制御部41は、生体組織60の内壁面61から開口62を通って生体組織60の外部に延びる直線の上に視点を配置する。よって、ユーザが開口62から生体組織60の内部を覗き込んで生体組織60の内壁面61を仮想的に観察することができる。
 具体的には、診断支援装置11の制御部41は、ディスプレイ16に表示している3次元画像53において、非表示又は透明になるように設定した部分を通じて生体組織60の内壁面61が見える位置に、仮想のカメラ71を配置する。図5の例では、制御部41は、生体組織60の断面において、生体組織60の内壁面61から開口62の第1端縁E1を通って生体組織60の外部に延びる第1直線L1と、生体組織60の内壁面61から開口62の第2端縁E2を通って生体組織60の外部に延びる第2直線L2とで挟まれる領域AFの中に仮想のカメラ71を配置する。第1直線L1が生体組織60の内壁面61と交わる点は、第2直線L2が生体組織60の内壁面61と交わる点と同一の点Ptである。よって、領域AFのどの位置に仮想のカメラ71を配置しても、ユーザが生体組織60の内壁面61の点Ptを観察することができる。
 図5の例では、点Ptは、開口62の第1端縁E1と開口62の第2端縁E2とを結んだ第3直線L3の中点Pcから第3直線L3に対して垂直に引いた第4直線L4が生体組織60の内壁面61と交わる点と同一である。よって、ユーザが開口62を通じて生体組織60の内壁面61の点Ptを観察しやすい。特に、第4直線L4の延長線上に仮想のカメラ71を配置すると、ユーザが生体組織60の内壁面61の点Ptを観察しやすくなる。
 仮想のカメラ71の位置は、開口62を介して生体組織60の内壁面61を観察可能な任意の位置でよいが、本実施形態では開口62に対向する範囲内である。仮想のカメラ71の位置は、開口62の中央部に対向する中間位置に設定されることが好ましい。
 図6の例では、ディスプレイ16の画面80の中心から一端までの距離Umに対する、画面80と3次元画像53との中心が重なるように画面80に表示された3次元画像53の中心から一端までの距離Unの比率Sについて、最小値Sminと、最大値Smaxとが設定される。例えば、Smin=1/3、Smax=1のように設定される。図5の例において、点Ptからカメラ71の位置までの最小距離Lminを、最小値Sminに応じて設定し、点Ptから仮想のカメラ71の位置までの最大距離Lmaxを、最大値Smaxに応じて設定してもよい。あるいは、点Ptからカメラ71の位置までの最小距離Lminを、最小値Sminに関係なく、カメラ71が開口62よりも点Ptに近づかないような距離に設定してもよい。点Ptから仮想のカメラ71の位置までの最大距離Lmaxを、最大値Smaxに関係なく、ユーザが生体組織60の内壁面61を観察できなくなるほどカメラ71が点Ptから遠ざからないような距離に設定してもよい。
 ステップS9において、断層データ51の更新があれば、ステップS1以降の処理が再度行われる。断層データ51の更新がなければ、ステップS4において、ユーザの操作の有無が再度確認される。
 2回目以降のステップS5からステップS8において、診断支援装置11の制御部41は、図7及び図8に示すように、開口62の位置を第1位置から第2位置に変更する場合に、視点を第1位置に応じた第3位置から第2位置に応じた第4位置に移動させる。制御部41は、視点の第3位置から第4位置への移動に合わせて、3次元画像53をディスプレイ16に表示する際の仮想の光源72を移動させる。
 制御部41は、図7及び図8に示すように、生体組織60の断面において、開口62の周方向位置を変更する場合に、仮想のカメラ71の移動に使用する回転行列R(θ)を用いて、仮想の光源72を移動させる。光源72の数及び相対位置は、図示したものに限らず、適宜変更することができる。
 制御部41は、開口62の位置を第1位置から第2位置に変更する場合に、視点を第3位置から第4位置に瞬時に切り替えてもよいが、本実施形態では、視点が第3位置から第4位置へ徐々に移動する動画像を3次元画像53としてディスプレイ16に表示する。そのため、視点が移動したことがユーザに伝わりやすい。
 本実施形態の一変形例として、ステップS5において、診断支援装置11の制御部41は、開口62の位置を設定する操作とともに、ユーザが見たい目標点の位置を設定する操作を、入力部44を介して受け付けてもよい。
 具体的には、診断支援装置11の制御部41は、ディスプレイ16に表示している3次元画像53において、ユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて目標点の位置を指定する操作を、入力部44を介して受け付けてもよい。図5の例では、制御部41は、第1直線L1及び第2直線L2が生体組織60の内壁面61と交わる点の位置として、点Ptの位置を設定する操作を、入力部44を介して受け付けてもよい。
 本実施形態の一変形例として、ステップS5において、診断支援装置11の制御部41は、開口62の位置を設定する操作の代わりに、ユーザが見たい目標点の位置を設定する操作を、入力部44を介して受け付けてもよい。そして、ステップS6において、制御部41は、ステップS5で受け付けた操作によって設定された位置に応じて、開口62の位置を決定してもよい。
 具体的には、診断支援装置11の制御部41は、ディスプレイ16に表示している3次元画像53において、ユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて目標点の位置を指定する操作を、入力部44を介して受け付けてもよい。そして、制御部41は、その目標点の位置に応じて、開口62の位置を決定してもよい。図5の例では、制御部41は、第1直線L1及び第2直線L2が生体組織60の内壁面61と交わる点の位置として、点Ptの位置を設定する操作を、入力部44を介して受け付けてもよい。制御部41は、生体組織60の断面において、点Ptを中心、中心角を予め設定されるか、又はユーザによって指定される角度αとする扇形の領域を領域AFに決定してもよい。制御部41は、生体組織60の、領域AFと重なる位置を開口62の位置に決定してもよい。制御部41は、生体組織60の内壁面61の、点Ptを通る接線に垂直な法線を第4直線L4に決定してもよい。
 領域AFは、開口62の幅よりも狭く設定されてもよい。すなわち、領域AFは、開口62の第1端縁E1と開口62の第2端縁E2とのうち少なくともいずれかを含まないように設定されてもよい。
 図9に示すように、第1直線L1が生体組織60の内壁面61と交わる点は、第2直線L2が生体組織60の内壁面61と交わる点と同一でなくてもよい。図9の例では、第1直線L1が生体組織60の内壁面61と交わる点である点P1、及び第2直線L2が生体組織60の内壁面61と交わる点である点P2は、点Ptを中心とする半径rの円周上にある。すなわち、点P1及び点P2は、点Ptから略等距離にある。
 図9の例では、図5の例と同じように、点Ptは、開口62の第1端縁E1と開口62の第2端縁E2とを結んだ第3直線L3の中点Pcから第3直線L3に対して垂直に引いた第4直線L4が生体組織60の内壁面61と交わる点と同一である。よって、ユーザが開口62を通じて生体組織60の内壁面61の点Pt及びその周囲を観察しやすい。特に、第4直線L4の延長線上に仮想のカメラ71を配置すると、ユーザが生体組織60の内壁面61の点Pt及びその周囲を観察しやすくなる。
 観察の目標点として点Pt、観察の目標範囲として半径rが手動で設定されてもよい。例えば、点Ptが3次元画像53をクリックすることで設定され、半径rがメニューで設定されてもよい。点Pt及び半径rの設定によってユーザが観察可能なゾーンを含む球が定義される。さらに、角度αと、点Ptから図9の手前方向への単位ベクトル、すなわち、生体組織60の断面と直交する方向の単位ベクトルupと、点Ptから中点Pcに向かう方向の単位ベクトルdirとが手動で設定されてもよい。その結果、ユーザが観察可能なゾーンの両端点である点P1及び点P2、並びにユーザが観察可能なゾーンを含む球が内接する円錐の頂点である点Pfが以下のように自動で設定される。
 P1=Pt+r*normalize(cross(up,dir))
 P2=Pt-r*normalize(cross(up,dir))
 Pf=Pt-dir*(r/tan(α/2))
 ここで、cross()は外積計算、normalize()は単位ベクトル計算である。
 本実施形態の一変形例として、ステップS3において、診断支援装置11の制御部41は、3次元画像53として、複数の画像を並べてディスプレイ16に表示してもよい。具体的には、制御部41は、図10に示すように、3次元画像53として、第1画像53a及び第2画像53bを並べてディスプレイ16に表示してもよい。この変形例において、制御部41は、第1画像53aについて、開口62である第1開口を形成し、視点である第1視点を調整する。制御部41は、第2画像53bにおいて生体組織60の内壁面61を生体組織60の外部に向けて露出させる第2開口を、第1開口の位置を周方向に回転させた位置に形成する。そして、制御部41は、第2開口の位置に応じて、第2画像53bをディスプレイ16に表示する際の第2視点を調整する。第2開口の位置は、例えば、第1開口の位置を周方向に90度回転させた位置である。
 図10の例では、生体組織60は、心臓である。この例では、第1開口の位置、及び第1視点が設定されたときに、第1開口の位置を周方向に90度回転させた第2開口、及び第2視点が自動的に設定される。そして、第1視点から第1開口を通じて内壁面61が見える第1画像53aと、第2視点から第2開口を通じて内壁面61が見える第2画像53bとが並べて表示される。
 この例によれば、卵円窩63を正面に捉えた第1視点からの画像とともに、卵円窩63を真横から捉えた第2視点からの画像が表示されるため、術者が、左心房から右心房に向かって卵円窩63を穿刺する際に、卵円窩63から右心房壁までの距離を視覚的に把握でき、誤って右心房壁を穿刺することを防止できる。
 本実施形態の一変形例として、ステップS7及びステップS8において、診断支援装置11の制御部41は、3次元データ52において生体組織60の一部を切り落とすことで開口62を形成し、更に視点を調整したときに、カメラ71の位置、及びカットラインをディスプレイ16に表示してもよい。具体的には、制御部41は、図11に示すように、生体組織60がカットされていない状態で、生体組織60の断面におけるカメラ71の位置と、カットラインに相当する第1直線L1及び第2直線L2とを表示してもよい。図11の例では、断面のどの部分がカットされているかを明示するために、切り落とされた部分に相当する領域64の色が変えられている。
 切り落とされた部分に相当する領域64は、元の断面画像上で表示されてもよい。例えば、診断支援装置11の制御部41は、図12に示すように、切り落とした部分に相当する領域64を生体組織60の断面画像上で表す2次元画像54をディスプレイ16に表示してもよい。図12の例では、カメラ71の位置も2次元画像54で表されている。断面画像としては、センサの現在位置に対応する画像が用いられることが考えられるが、センサの現在位置以外の位置に対応する画像が用いられてもよい。
 上述のように、本実施形態では、診断支援装置11の制御部41は、生体組織60の断層データ51に基づいて生体組織60の3次元データ52を生成する。制御部41は、生成した3次元データ52を3次元画像53としてディスプレイ16に表示する。制御部41は、3次元画像53において生体組織60の内壁面61を生体組織60の外部に向けて露出させる開口62を3次元データ52に形成する。制御部41は、形成した開口62の位置に応じて、3次元画像53をディスプレイ16に表示する際の視点を調整する。
 本実施形態によれば、ユーザが3次元画像53で生体組織60の内部を見ることができるようになる。例えば、ユーザが術者であれば、生体組織60の内部に対する施術を行いやすくなる。
 本実施形態では、開口62の位置が決まると、開口62から生体組織60の内部を覗き込むことができるように、カメラ71及び光源72の位置が移動する。そのため、開口62の位置を別の位置に変更した際に、生体組織60の外壁面しか見えなくなり、興味の対象を確認できなくなるという事態を回避できる。
 本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は1つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
 10 診断支援システム
 11 診断支援装置
 12 ケーブル
 13 駆動ユニット
 14 キーボード
 15 マウス
 16 ディスプレイ
 17 接続端子
 18 カートユニット
 20 プローブ
 21 駆動シャフト
 22 ハブ
 23 シース
 24 外管
 25 超音波振動子
 26 中継コネクタ
 31 スキャナユニット
 32 スライドユニット
 33 ボトムカバー
 34 プローブ接続部
 35 スキャナモータ
 36 差込口
 37 プローブクランプ部
 38 スライドモータ
 39 スイッチ群
 41 制御部
 42 記憶部
 43 通信部
 44 入力部
 45 出力部
 51 断層データ
 52 3次元データ
 53 3次元画像
 53a 第1画像
 53b 第2画像
 54 2次元画像
 60 生体組織
 61 内壁面
 62 開口
 63 卵円窩
 64 領域
 71 カメラ
 72 光源
 80 画面

Claims (18)

  1.  生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援装置であって、
     前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる開口を前記3次元データに形成するとともに、形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整する制御部を備える診断支援装置。
  2.  前記制御部は、前記生体組織の内壁面から前記開口を通って前記生体組織の外部に延びる直線の上に前記視点を配置する請求項1に記載の診断支援装置。
  3.  前記制御部は、前記生体組織の断面において、前記生体組織の内壁面から前記開口の第1端縁を通って前記生体組織の外部に延びる第1直線と、前記生体組織の内壁面から前記開口の第2端縁を通って前記生体組織の外部に延びる第2直線とで挟まれる領域の中に前記視点を配置する請求項2に記載の診断支援装置。
  4.  前記第1直線が前記生体組織の内壁面と交わる点は、前記第2直線が前記生体組織の内壁面と交わる点と同一である請求項3に記載の診断支援装置。
  5.  前記第1直線が前記生体組織の内壁面と交わる点は、前記開口の第1端縁と前記開口の第2端縁とを結んだ第3直線の中点から前記第3直線に対して垂直に引いた第4直線が前記生体組織の内壁面と交わる点と同一である請求項4に記載の診断支援装置。
  6.  前記第1直線が前記生体組織の内壁面と交わる点、及び前記第2直線が前記生体組織の内壁面と交わる点は、前記開口の第1端縁と前記開口の第2端縁とを結んだ第3直線の中点から前記第3直線に対して垂直に引いた第4直線が前記生体組織の内壁面と交わる点から略等距離にある請求項3に記載の診断支援装置。
  7.  ユーザの操作を受け付ける入力部をさらに備え、
     前記制御部は、前記開口の位置と、前記第1直線及び前記第2直線が前記生体組織の内壁面と交わる点の位置とを設定する操作を、前記入力部を介して受け付ける請求項3から請求項6のいずれか1項に記載の診断支援装置。
  8.  ユーザの操作を受け付ける入力部をさらに備え、
     前記制御部は、前記第1直線及び前記第2直線が前記生体組織の内壁面と交わる点の位置を設定する操作を、前記入力部を介して受け付け、受け付けた操作によって設定された位置に応じて、前記開口の位置を決定する請求項3から請求項6のいずれか1項に記載の診断支援装置。
  9.  前記制御部は、前記開口の第1端縁と前記開口の第2端縁とを結んだ直線の中点から当該直線に対して垂直に引いた直線の延長線上に前記視点を配置する請求項1から請求項8のいずれか1項に記載の診断支援装置。
  10.  前記制御部は、前記開口の位置を第1位置から第2位置に変更する場合に、前記視点を前記第1位置に応じた第3位置から前記第2位置に応じた第4位置に移動させる請求項1から請求項9のいずれか1項に記載の診断支援装置。
  11.  前記制御部は、前記視点の前記第3位置から前記第4位置への移動に合わせて、前記3次元画像を前記ディスプレイに表示する際の仮想の光源を移動させる請求項10に記載の診断支援装置。
  12.  前記制御部は、前記開口の位置を第1位置から第2位置に変更する場合に、前記視点が前記第3位置から前記第4位置へ徐々に移動する動画像を前記3次元画像として前記ディスプレイに表示する請求項10又は請求項11に記載の診断支援装置。
  13.  前記制御部は、前記3次元画像として、第1画像及び第2画像を並べて前記ディスプレイに表示し、前記第1画像について、前記開口である第1開口を形成し、前記視点である第1視点を調整するとともに、前記第2画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる第2開口を、前記第1開口の位置を周方向に回転させた位置に形成し、前記第2開口の位置に応じて、前記第2画像を前記ディスプレイに表示する際の第2視点を調整する請求項1から請求項12のいずれか1項に記載の診断支援装置。
  14.  前記第2開口の位置は、前記第1開口の位置を周方向に90度回転させた位置である請求項13に記載の診断支援装置。
  15.  前記制御部は、前記3次元データにおいて前記生体組織の一部を切り落とすことで前記開口を形成し、切り落とした部分に相当する領域を前記生体組織の断面画像上で表す2次元画像を前記ディスプレイに表示する請求項1から請求項14のいずれか1項に記載の診断支援装置。
  16.  請求項1から請求項15のいずれか1項に記載の診断支援装置と、
     前記生体組織の中を移動しながら前記断層データを取得するセンサと
    を備える診断支援システム。
  17.  前記ディスプレイをさらに備える請求項16に記載の診断支援システム。
  18.  生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援方法であって、
     前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に対して露出させる開口を前記3次元データに形成し、
     形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整する診断支援方法。
PCT/JP2020/037036 2019-09-30 2020-09-29 診断支援装置、診断支援システム、及び診断支援方法 WO2021065963A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021551341A JPWO2021065963A1 (ja) 2019-09-30 2020-09-29
EP20872054.0A EP4039195A4 (en) 2019-09-30 2020-09-29 DIAGNOSTIC AID DEVICE, DIAGNOSTIC AID SYSTEM AND DIAGNOSTIC AID METHOD
AU2020359142A AU2020359142A1 (en) 2019-09-30 2020-09-29 Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method
CN202080068975.1A CN114502079B (zh) 2019-09-30 2020-09-29 诊断支援装置、诊断支援系统及诊断支援方法
US17/708,452 US20220218304A1 (en) 2019-09-30 2022-03-30 Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019178972 2019-09-30
JP2019-178972 2019-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/708,452 Continuation US20220218304A1 (en) 2019-09-30 2022-03-30 Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method

Publications (1)

Publication Number Publication Date
WO2021065963A1 true WO2021065963A1 (ja) 2021-04-08

Family

ID=75336977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037036 WO2021065963A1 (ja) 2019-09-30 2020-09-29 診断支援装置、診断支援システム、及び診断支援方法

Country Status (6)

Country Link
US (1) US20220218304A1 (ja)
EP (1) EP4039195A4 (ja)
JP (1) JPWO2021065963A1 (ja)
CN (1) CN114502079B (ja)
AU (1) AU2020359142A1 (ja)
WO (1) WO2021065963A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6251072B1 (en) 1999-02-19 2001-06-26 Life Imaging Systems, Inc. Semi-automated segmentation method for 3-dimensional ultrasound
US6385332B1 (en) 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
JP2003010186A (ja) * 2001-04-24 2003-01-14 Toshiba Corp 超音波診断装置
US20100215238A1 (en) 2009-02-23 2010-08-26 Yingli Lu Method for Automatic Segmentation of Images
JP2018157938A (ja) * 2017-03-22 2018-10-11 テルモ株式会社 画像診断装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407169B2 (ja) * 1995-10-12 2003-05-19 富士写真光機株式会社 超音波画像立体表示装置及び超音波画像立体表示方法
EP1815796A4 (en) * 2004-11-17 2009-10-28 Hitachi Medical Corp ULTRASONOGRAPH AND ULTRASONIC IMAGE DISPLAY METHOD
DE102006013476B4 (de) * 2006-03-23 2012-11-15 Siemens Ag Verfahren zur positionsgenauen Darstellung von interessierenden Gewebebereichen
CN109601018B (zh) * 2016-06-10 2023-05-26 皇家飞利浦有限公司 用于根据3d超声数据生成b模式图像的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6251072B1 (en) 1999-02-19 2001-06-26 Life Imaging Systems, Inc. Semi-automated segmentation method for 3-dimensional ultrasound
US6385332B1 (en) 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
JP2003010186A (ja) * 2001-04-24 2003-01-14 Toshiba Corp 超音波診断装置
US20100215238A1 (en) 2009-02-23 2010-08-26 Yingli Lu Method for Automatic Segmentation of Images
JP2018157938A (ja) * 2017-03-22 2018-10-11 テルモ株式会社 画像診断装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4039195A4

Also Published As

Publication number Publication date
CN114502079B (zh) 2024-05-03
US20220218304A1 (en) 2022-07-14
EP4039195A1 (en) 2022-08-10
EP4039195A4 (en) 2022-11-09
JPWO2021065963A1 (ja) 2021-04-08
CN114502079A (zh) 2022-05-13
AU2020359142A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
JP5175275B2 (ja) 表示前方視画像データのためのレンダリングのための装置
US20220218309A1 (en) Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method
WO2021065963A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
JP5498090B2 (ja) 画像処理装置及び超音波診断装置
WO2021065746A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2022071250A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021200296A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021200294A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022085373A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021200295A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022071251A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202203A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202200A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2023176741A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202202A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2023013601A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
WO2023054001A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202201A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
JP2023024072A (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20240177834A1 (en) Image processing device, image processing system, image processing method, and image processing program
WO2024071054A1 (ja) 画像処理装置、画像表示システム、画像表示方法、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20872054

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551341

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020872054

Country of ref document: EP

Effective date: 20220502

ENP Entry into the national phase

Ref document number: 2020359142

Country of ref document: AU

Date of ref document: 20200929

Kind code of ref document: A