WO2021200296A1 - 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2021200296A1
WO2021200296A1 PCT/JP2021/011535 JP2021011535W WO2021200296A1 WO 2021200296 A1 WO2021200296 A1 WO 2021200296A1 JP 2021011535 W JP2021011535 W JP 2021011535W WO 2021200296 A1 WO2021200296 A1 WO 2021200296A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
living tissue
color
image
dimensional image
Prior art date
Application number
PCT/JP2021/011535
Other languages
English (en)
French (fr)
Inventor
泰一 坂本
克彦 清水
石原　弘之
クレモン ジャケ
ステフェン チェン
トマ エン
亮介 佐賀
Original Assignee
テルモ株式会社
株式会社ロッケン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社, 株式会社ロッケン filed Critical テルモ株式会社
Priority to CN202180026625.3A priority Critical patent/CN115397336A/zh
Priority to JP2022511935A priority patent/JPWO2021200296A1/ja
Publication of WO2021200296A1 publication Critical patent/WO2021200296A1/ja
Priority to US17/957,318 priority patent/US20230027335A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Definitions

  • the present disclosure relates to an image processing device, an image processing system, an image display method, and an image processing program.
  • Patent Document 1 describes a technique for displaying a three-dimensional image in which the endocardial surface is color-coded so that a region where the myocardium is relatively thick is blue and a region where the myocardium is relatively thin is red.
  • IVUS is an abbreviation for intravascular ultrasound.
  • IVUS is a device or method that provides a two-dimensional image of a plane perpendicular to the long axis of the catheter.
  • a 3D image representing the structure of a living tissue such as a heart cavity or a blood vessel is automatically generated from a 2D image of IVUS, and the generated 3D image is displayed to the operator.
  • a 3D image representing the structure of a living tissue such as a heart cavity or a blood vessel is automatically generated from a 2D image of IVUS, and the generated 3D image is displayed to the operator.
  • When displaying a three-dimensional image it is conceivable to color-code the tissue surface according to the thickness of the living tissue.
  • the "thickness" as used herein is the minimum distance from the surface of one tissue at an arbitrary portion of the living tissue to the surface of the other tissue through the tissue at the location. Also called directional dimension.
  • the uneven structure can be seen when the operator looks straight at the surface of the living tissue in a three-dimensional image. It may be difficult. For example, if there is a convex portion that protrudes in a direction intersecting the line-of-sight direction and has a small dimension in the thickness direction, this convex portion is projected as a thin tissue on the tissue surface behind the convex portion as seen from the operator. It ends up. As a result, the surgeon may mistakenly think that the tissue behind the convex part is thin, not the convex part.
  • An object of the present disclosure is to make it easy to understand the structure of at least a part of living tissue in the line-of-sight direction when a three-dimensional image is displayed.
  • the image processing device as one aspect of the present disclosure is an image processing device that displays three-dimensional data representing a living tissue on a display as a three-dimensional image, and is viewed from a viewpoint when the three-dimensional image is displayed on the display.
  • a control unit that adjusts the color tone of each pixel of the three-dimensional image according to the size of the living body tissue in the linear direction is provided.
  • control unit sets the color of the pixel group of the three-dimensional image in which the dimension of the living tissue in the linear direction is smaller than the first threshold value to be a first color different from other pixels. Set to.
  • control unit has a first mode in which the color tone of each pixel of the three-dimensional image is adjusted according to the dimensions of the living body tissue in the linear direction, and the living body in the thickness direction of the living body tissue.
  • the display mode is switched between the second mode for adjusting the color tone of each pixel of the three-dimensional image and the second mode for adjusting the color tone of each pixel of the three-dimensional image according to the dimensions of the structure.
  • control unit selects the color of a pixel group of the three-dimensional image in which the dimension of the biological tissue in the thickness direction of the biological tissue is larger than the second threshold value. , Set to a second color different from other pixels.
  • the control unit selects the color of a pixel group of the three-dimensional image in which the dimension of the biological tissue in the thickness direction of the biological tissue is larger than the second threshold value.
  • the second color is set, and the color of pixels whose dimensions in the thickness direction of the living tissue are smaller than the third threshold, which is less than the second threshold, is set to a third color different from the second color.
  • the color of the pixel whose dimension of the living tissue in the thickness direction of the living tissue is equal to or greater than the third threshold and equal to or less than the second threshold is set to a color different from the second color and the third color.
  • control unit forms an opening in the three-dimensional image that exposes the lumen of the living tissue in the three-dimensional data, and adjusts the position of the viewpoint according to the position of the formed opening. do.
  • the image processing system as one aspect of the present disclosure is a sensor that acquires tomographic data of the biological tissue while moving in the lumen of the biological tissue, and the three-dimensional data based on the tomographic data acquired by the sensor. It is provided with the image processing device to be generated.
  • the image processing system further includes the display.
  • An image display method as one aspect of the present disclosure is an image display method for displaying three-dimensional data representing a living tissue on a display as a three-dimensional image, when the computer displays the three-dimensional image on the display.
  • the color tone of each pixel of the three-dimensional image is adjusted according to the dimensions of the living tissue in the linear direction from the viewpoint.
  • An image processing program as one aspect of the present disclosure is described in a linear direction from a viewpoint when a computer for displaying three-dimensional data representing a living tissue as a three-dimensional image is displayed on the display.
  • a process of adjusting the color tone of each pixel of the three-dimensional image is executed according to the dimensions of the living tissue.
  • the image processing device 11 is a computer that displays three-dimensional data 52 representing the living tissue 60 as a three-dimensional image 53 on the display 16.
  • the image processing device 11 adjusts the color tone of each pixel of the three-dimensional image 53 according to the dimension of the biological tissue 60 in the linear direction from the viewpoint when the three-dimensional image 53 is displayed on the display 16.
  • the structure of at least a part of the biological tissue 60 in the line-of-sight direction when the three-dimensional image 53 is displayed it is possible to make it easy to understand the structure of at least a part of the biological tissue 60 in the line-of-sight direction when the three-dimensional image 53 is displayed. For example, if the user is an operator, it becomes easier to understand the tissue structure in the direction viewed straight from the operator, and it becomes easier to perform the treatment on the inside of the living tissue 60.
  • the biological tissue 60 includes, for example, an organ such as a blood vessel or a heart.
  • the living tissue 60 is the right atrium.
  • the portion of the right atrium adjacent to the fossa ovalis 65 is raised inward to form the ridge 64.
  • hatching representing a cross section of the right atrium tissue is omitted for convenience.
  • 4B and 4C are cross-sectional views of the biological tissue 60 of FIG. 4A viewed along the line-of-sight direction.
  • FIG. 4B shows, as a comparative example, an example in which a color tone change based on the dimensions in the thickness direction is applied to the tissue surface.
  • FIG. 4C shows an example in which the color tone change based on the dimension in the line-of-sight direction is applied to the tissue surface in the present embodiment.
  • the coloring of the ridge 64 and the oviduct 65 is represented by hatching for convenience.
  • the dimension Db of the ridge 64 in the thickness direction is substantially the same as the dimension Dd of the oviduct 65 in the thickness direction. Therefore, as shown in FIG. 4B, if the tissue surface is color-coded according to the dimensions in the thickness direction, the boundary between the ridge 64 and the oviduct 65 is hardly visible. As a result, the operator may mistakenly identify the ovary socket 65 including the ridge 64, and it may be difficult to properly perform an operation such as an atrial septal puncture.
  • the dimension Da of the ridge 64 in the line-of-sight direction does not match the dimension Db of the ridge 64 in the thickness direction, and tends to be relatively larger than the dimension Dd of the ovary fossa 65 in the thickness direction. Therefore, as shown in FIG. 4C, the ridge 64 can be displayed separately from the oviduct 65 by color-coding the tissue surface according to the dimension in the line-of-sight direction. That is, the portion of the ridge 64 is expressed as it is, and it becomes easy for the operator to recognize that a part of the oviduct 65 is hidden in the ridge 64. As a result, the operator can easily understand the tissue structure of the oviduct 65 and its surroundings. Therefore, it becomes easier to perform an operation such as an atrial septal puncture.
  • the image processing system 10 includes an image processing device 11, a cable 12, a drive unit 13, a keyboard 14, a mouse 15, and a display 16.
  • the image processing device 11 is a dedicated computer specialized for image diagnosis in the present embodiment, but may be a general-purpose computer such as a PC. "PC” is an abbreviation for personal computer.
  • the cable 12 is used to connect the image processing device 11 and the drive unit 13.
  • the drive unit 13 is a device used by connecting to the probe 20 shown in FIG. 2 to drive the probe 20.
  • the drive unit 13 is also called an MDU.
  • MDU is an abbreviation for motor drive unit.
  • the probe 20 is applied to IVUS.
  • the probe 20 is also called an IVUS catheter or a diagnostic imaging catheter.
  • the keyboard 14, mouse 15, and display 16 are connected to the image processing device 11 via an arbitrary cable or wirelessly.
  • the display 16 is, for example, an LCD, an organic EL display, or an HMD.
  • LCD is an abbreviation for liquid crystal display.
  • EL is an abbreviation for electroluminescence.
  • HMD is an abbreviation for head-mounted display.
  • the image processing system 10 further includes a connection terminal 17 and a cart unit 18 as options.
  • connection terminal 17 is used to connect the image processing device 11 and an external device.
  • the connection terminal 17 is, for example, a USB terminal.
  • USB is an abbreviation for Universal Serial Bus.
  • the external device is, for example, a recording medium such as a magnetic disk drive, a magneto-optical disk drive, or an optical disk drive.
  • the cart unit 18 is a cart with casters for movement.
  • An image processing device 11, a cable 12, and a drive unit 13 are installed in the cart body of the cart unit 18.
  • a keyboard 14, a mouse 15, and a display 16 are installed on the table at the top of the cart unit 18.
  • the probe 20 includes a drive shaft 21, a hub 22, a sheath 23, an outer tube 24, an ultrasonic vibrator 25, and a relay connector 26.
  • the drive shaft 21 passes through the sheath 23 inserted into the body cavity of the living body and the outer tube 24 connected to the base end of the sheath 23, and extends to the inside of the hub 22 provided at the base end of the probe 20.
  • the drive shaft 21 has an ultrasonic vibrator 25 at its tip that transmits and receives signals, and is rotatably provided in the sheath 23 and the outer tube 24.
  • the relay connector 26 connects the sheath 23 and the outer pipe 24.
  • the hub 22, the drive shaft 21, and the ultrasonic vibrator 25 are connected to each other so as to move forward and backward in the axial direction. Therefore, for example, when the hub 22 is pushed toward the tip side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the tip side. For example, when the hub 22 is pulled toward the proximal end side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the proximal end side as shown by arrows.
  • the drive unit 13 includes a scanner unit 31, a slide unit 32, and a bottom cover 33.
  • the scanner unit 31 is connected to the image processing device 11 via the cable 12.
  • the scanner unit 31 includes a probe connecting portion 34 that connects to the probe 20 and a scanner motor 35 that is a drive source for rotating the drive shaft 21.
  • the probe connecting portion 34 is detachably connected to the probe 20 via the insertion port 36 of the hub 22 provided at the base end of the probe 20. Inside the hub 22, the base end of the drive shaft 21 is rotatably supported, and the rotational force of the scanner motor 35 is transmitted to the drive shaft 21. In addition, signals are transmitted and received between the drive shaft 21 and the image processing device 11 via the cable 12. The image processing device 11 generates a tomographic image of the living lumen and performs image processing based on the signal transmitted from the drive shaft 21.
  • the slide unit 32 mounts the scanner unit 31 so as to be able to move forward and backward, and is mechanically and electrically connected to the scanner unit 31.
  • the slide unit 32 includes a probe clamp portion 37, a slide motor 38, and a switch group 39.
  • the probe clamp portion 37 is provided coaxially with the probe connecting portion 34 on the tip side thereof, and supports the probe 20 connected to the probe connecting portion 34.
  • the slide motor 38 is a drive source that generates a driving force in the axial direction.
  • the scanner unit 31 moves forward and backward by driving the slide motor 38, and the drive shaft 21 moves forward and backward in the axial direction accordingly.
  • the slide motor 38 is, for example, a servo motor.
  • the switch group 39 includes, for example, a forward switch and a pullback switch that are pressed when the scanner unit 31 is moved forward and backward, and a scan switch that is pressed when the image drawing is started and ended. Not limited to the example here, various switches are included in the switch group 39 as needed.
  • the slide motor 38 rotates in the forward direction and the scanner unit 31 moves forward.
  • the pullback switch is pressed, the slide motor 38 rotates in the reverse direction, and the scanner unit 31 retracts.
  • the scanner motor 35 When the scan switch is pressed, image drawing is started, the scanner motor 35 is driven, and the slide motor 38 is driven to retract the scanner unit 31.
  • a user such as an operator connects the probe 20 to the scanner unit 31 in advance so that the drive shaft 21 moves to the axial base end side while rotating at the start of image drawing.
  • the scanner motor 35 and the slide motor 38 stop when the scan switch is pressed again, and the image drawing ends.
  • the bottom cover 33 covers the bottom surface of the slide unit 32 and the entire circumference of the side surface on the bottom surface side, and is freely close to and separated from the bottom surface of the slide unit 32.
  • the image processing device 11 includes a control unit 41, a storage unit 42, a communication unit 43, an input unit 44, and an output unit 45.
  • the control unit 41 includes at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a specific process.
  • CPU is an abbreviation for central processing unit.
  • GPU is an abbreviation for graphics processing unit.
  • the dedicated circuit is, for example, FPGA or ASIC.
  • FPGA is an abbreviation for field-programmable gate array.
  • ASIC is an abbreviation for application specific integrated circuit.
  • the control unit 41 executes processing related to the operation of the image processing device 11 while controlling each unit of the image processing system 10 including the image processing device 11.
  • the storage unit 42 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or at least two combinations thereof.
  • the semiconductor memory is, for example, RAM or ROM.
  • RAM is an abbreviation for random access memory.
  • ROM is an abbreviation for read only memory.
  • the RAM is, for example, SRAM or DRAM.
  • SRAM is an abbreviation for static random access memory.
  • DRAM is an abbreviation for dynamic random access memory.
  • the ROM is, for example, an EEPROM.
  • EEPROM is an abbreviation for electrically erasable programmable read only memory.
  • the storage unit 42 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 42 stores data used for the operation of the image processing device 11 such as tomographic data 51 and data obtained by the operation of the image processing device 11 such as the three-dimensional data 52 and the three-dimensional image 53. ..
  • the communication unit 43 includes at least one communication interface.
  • the communication interface is, for example, a wired LAN interface, a wireless LAN interface, or an image diagnostic interface that receives and A / D-converts IVUS signals.
  • LAN is an abbreviation for local area network.
  • a / D is an abbreviation for analog to digital.
  • the communication unit 43 receives the data used for the operation of the image processing device 11 and transmits the data obtained by the operation of the image processing device 11.
  • the drive unit 13 is connected to the diagnostic imaging interface included in the communication unit 43.
  • the input unit 44 includes at least one input interface.
  • the input interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with short-range wireless communication such as Bluetooth (registered trademark).
  • HDMI registered trademark
  • HDMI registered trademark
  • Bluetooth registered trademark
  • “HDMI®” is an abbreviation for High-Definition Multimedia Interface.
  • the input unit 44 accepts a user's operation such as an operation of inputting data used for the operation of the image processing device 11.
  • the keyboard 14 and the mouse 15 are connected to the USB interface included in the input unit 44 or the interface corresponding to short-range wireless communication.
  • the touch screen is provided integrally with the display 16, the display 16 may be connected to the USB interface or the HDMI (registered trademark) interface included in the input unit 44.
  • the output unit 45 includes at least one output interface.
  • the output interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with short-range wireless communication such as Bluetooth (registered trademark).
  • the output unit 45 outputs the data obtained by the operation of the image processing device 11.
  • the display 16 is connected to the USB interface or the HDMI (registered trademark) interface included in the output unit 45.
  • the function of the image processing device 11 is realized by executing the image processing program according to the present embodiment on the processor corresponding to the control unit 41. That is, the function of the image processing device 11 is realized by software.
  • the image processing program causes the computer to function as the image processing device 11 by causing the computer to execute each process of the image processing device 11. That is, the computer functions as the image processing device 11 by executing each process of the image processing device 11 according to the image processing program.
  • the program can be stored on a non-temporary computer-readable medium.
  • Non-temporary computer-readable media are, for example, flash memory, magnetic recording devices, optical discs, photomagnetic recording media, or ROMs.
  • the program is distributed, for example, by selling, transferring, or renting a portable medium such as an SD card, DVD, or CD-ROM that stores the program.
  • SD is an abbreviation for Secure Digital.
  • DVD is an abbreviation for digital versatile disc.
  • CD-ROM is an abbreviation for compact disc read only memory.
  • the program may be distributed by storing the program in the storage of the server and transferring the program from the server to another computer.
  • the program may be provided as a program product.
  • the computer temporarily stores the program stored in the portable medium or the program transferred from the server in the main storage device. Then, the computer reads the program stored in the main storage device by the processor, and executes the processing according to the read program by the processor.
  • the computer may read the program directly from the portable medium and perform processing according to the program.
  • the computer may sequentially execute processing according to the received program each time the program is transferred from the server to the computer.
  • the process may be executed by a so-called ASP type service that realizes the function only by the execution instruction and the result acquisition without transferring the program from the server to the computer. "ASP" is an abbreviation for application service provider.
  • the program includes information used for processing by a computer and equivalent to the program. For example, data that is not a direct command to a computer but has the property of defining the processing of a computer corresponds to "a program-like data".
  • a part or all the functions of the image processing device 11 may be realized by a dedicated circuit corresponding to the control unit 41. That is, some or all the functions of the image processing device 11 may be realized by hardware.
  • the operation of the image processing system 10 according to the present embodiment will be described with reference to FIG.
  • the operation of the image processing system 10 corresponds to the image display method according to the present embodiment.
  • the probe 20 Prior to the start of the flow of FIG. 5, the probe 20 is primed by the user. After that, the probe 20 is fitted into the probe connecting portion 34 and the probe clamp portion 37 of the drive unit 13, and is connected and fixed to the drive unit 13. Then, the probe 20 is inserted to a target site in the biological tissue 60 such as a blood vessel or the heart.
  • step S101 the scan switch included in the switch group 39 is pressed, and the pullback switch included in the switch group 39 is pressed, so that a so-called pullback operation is performed.
  • the probe 20 transmits ultrasonic waves inside the living tissue 60 by an ultrasonic vibrator 25 that retracts in the axial direction by a pullback operation.
  • the ultrasonic vibrator 25 transmits ultrasonic waves in a radial pattern while moving inside the living tissue 60.
  • the ultrasonic vibrator 25 receives the reflected wave of the transmitted ultrasonic wave.
  • the probe 20 inputs the signal of the reflected wave received by the ultrasonic vibrator 25 to the image processing device 11.
  • the control unit 41 of the image processing device 11 processes the input signal to sequentially generate cross-sectional images of the biological tissue 60, thereby acquiring tomographic data 51 including a plurality of cross-sectional images.
  • the probe 20 is a plurality of probes 20 moving outward from the center of rotation by the ultrasonic vibrator 25 while rotating the ultrasonic vibrator 25 in the circumferential direction and moving it in the axial direction inside the biological tissue 60.
  • the probe 20 receives the reflected waves from the reflecting objects existing in each of the plurality of directions inside the living tissue 60 by the ultrasonic vibrator 25.
  • the probe 20 transmits the received reflected wave signal to the image processing device 11 via the drive unit 13 and the cable 12.
  • the communication unit 43 of the image processing device 11 receives the signal transmitted from the probe 20.
  • the communication unit 43 performs A / D conversion of the received signal.
  • the communication unit 43 inputs the A / D converted signal to the control unit 41.
  • the control unit 41 processes the input signal to calculate the intensity value distribution of the reflected wave from the reflecting object existing in the transmission direction of the ultrasonic wave of the ultrasonic vibrator 25.
  • the control unit 41 acquires the tomographic data 51, which is a data set of the cross-sectional image, by sequentially generating a two-dimensional image having a brightness value distribution corresponding to the calculated intensity value distribution as a cross-sectional image of the biological tissue 60.
  • the control unit 41 stores the acquired tomographic data 51 in the storage unit 42.
  • the reflected wave signal received by the ultrasonic transducer 25 corresponds to the raw data of the tomographic data 51, and the cross-sectional image generated by the image processing device 11 processing the reflected wave signal is the tomographic data. It corresponds to the processing data of 51.
  • the control unit 41 of the image processing device 11 may store the signal input from the probe 20 as it is in the storage unit 42 as tomographic data 51.
  • the control unit 41 may store the data showing the intensity value distribution of the reflected wave calculated by processing the signal input from the probe 20 in the storage unit 42 as the tomographic data 51.
  • the tomographic data 51 is not limited to the data set of the cross-sectional image of the biological tissue 60, and may be data representing the cross-section of the biological tissue 60 at each moving position of the ultrasonic vibrator 25 in some form.
  • an ultrasonic vibrator that transmits ultrasonic waves in a plurality of directions without rotating is used. You may.
  • the tomographic data 51 may be acquired using OFDI or OCT instead of being acquired using IVUS.
  • OFDI is an abbreviation for optical frequency domain imaging.
  • OCT is an abbreviation for optical coherence tomography.
  • an ultrasonic vibrator that transmits ultrasonic waves in the lumen of the biological tissue 60 to acquire the tomographic data 51.
  • 25 a sensor that radiates light in the lumen of the biological tissue 60 to acquire tomographic data 51 is used.
  • another device instead of the image processing device 11 generating a data set of a cross-sectional image of the biological tissue 60, another device generates a similar data set, and the image processing device 11 uses the data set. It may be obtained from the other device. That is, instead of the control unit 41 of the image processing device 11 processing the IVUS signal to generate a cross-sectional image of the biological tissue 60, another device processes the IVUS signal to produce a cross-sectional image of the biological tissue 60. The generated cross-sectional image may be input to the image processing device 11.
  • step S102 the control unit 41 of the image processing device 11 generates three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S101.
  • control unit 41 of the image processing device 11 stacks the cross-sectional images of the biological tissue 60 included in the tomographic data 51 stored in the storage unit 42 to make it three-dimensional, thereby making the biological tissue 60 3D.
  • Generate dimensional data 52 As the three-dimensional method, any method among rendering methods such as surface rendering or volume rendering, and accompanying various processes such as texture mapping including environment mapping and bump mapping is used.
  • the control unit 41 stores the generated three-dimensional data 52 in the storage unit 42.
  • step S103 the control unit 41 of the image processing device 11 displays the three-dimensional data 52 generated in step S102 on the display 16 as a three-dimensional image 53.
  • the control unit 41 may arrange the viewpoint for displaying the three-dimensional image 53 on the display 16 and the virtual light source 72 at arbitrary positions.
  • the "viewpoint" is the position of the virtual camera 71 as shown in FIG. 6 arranged in the three-dimensional space.
  • the number and relative positions of the light sources 72 are not limited to those shown in the figure, and can be changed as appropriate.
  • control unit 41 of the image processing device 11 generates the three-dimensional image 53 from the three-dimensional data 52 stored in the storage unit 42.
  • the control unit 41 displays the generated three-dimensional image 53 on the display 16 via the output unit 45.
  • step S104 if there is a user operation, the processes of steps S105 to S108 are performed. If there is no user operation, the processing of steps S105 to S108 is skipped.
  • step S105 the control unit 41 of the image processing device 11 receives an operation of setting the position of the opening 62 as shown in FIG. 6 via the input unit 44.
  • the position of the opening 62 is set so that the lumen of the living tissue 60 is exposed through the opening 62 in the three-dimensional image 53 displayed in step S103.
  • the control unit 41 of the image processing device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of cutting off a part of the biological tissue 60 is received via the input unit 44.
  • the control unit 41 accepts an operation of cutting off a part of the biological tissue 60 so that the inner surface 61 of the biological tissue 60 has an open shape in the cross section of the biological tissue 60.
  • the "cross section of the living tissue 60" is, for example, a tomographic cross section having two opposite edges of the opening 62 and an inner surface 61 of the living tissue 60 facing the opening 62, but the cross section is not limited to this fault cross section.
  • the "cross section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 perpendicularly to the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the "longitudinal section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 along the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the “other cross section of the living tissue 60” is a cut surface obtained by cutting the living tissue 60 diagonally with respect to the direction in which the ultrasonic vibrator 25 moves in the living tissue 60.
  • the "open shape” is, for example, a substantially C-shaped, approximately U-shaped, approximately three-shaped, or a hole in which any of these is originally vacant in the living tissue 60, such as a branch of a blood vessel or a pulmonary vein opening.
  • the shape is partially chipped due to the presence of.
  • the inner surface 61 of the biological tissue 60 has a substantially C-shape, and the portion facing the opening 62 is missing.
  • step S106 the control unit 41 of the image processing device 11 determines the position set by the operation received in step S105 as the position of the opening 62.
  • control unit 41 of the image processing device 11 opens the three-dimensional coordinates of the boundary of the portion of the biological tissue 60 cut off by the user's operation in the three-dimensional data 52 stored in the storage unit 42. It is specified as the three-dimensional coordinates of the edge of.
  • the control unit 41 stores the specified three-dimensional coordinates in the storage unit 42.
  • step S107 the control unit 41 of the image processing device 11 forms an opening 62 in the three-dimensional data 52 that exposes the lumen of the biological tissue 60 in the three-dimensional image 53.
  • control unit 41 of the image processing device 11 displays the portion of the three-dimensional data 52 stored in the storage unit 42 specified by the three-dimensional coordinates stored in the storage unit 42 as the three-dimensional image 53. It is set to be hidden or transparent when it is displayed on the display 16.
  • step S108 the control unit 41 of the image processing device 11 adjusts the viewpoint when displaying the three-dimensional image 53 on the display 16 according to the position of the opening 62 formed in step S107.
  • the control unit 41 arranges the viewpoint on a straight line extending from the inner surface 61 of the biological tissue 60 to the outside of the biological tissue 60 through the opening 62. Therefore, the user can look into the inside of the living tissue 60 from the opening 62 and virtually observe the inner surface 61 of the living tissue 60.
  • control unit 41 of the image processing device 11 is a position where the inner surface 61 of the living tissue 60 can be seen through a portion set to be hidden or transparent in the three-dimensional image 53 displayed on the display 16.
  • a virtual camera 71 is arranged in.
  • the control unit 41 has a first straight line L1 extending from the inner surface 61 of the living tissue 60 to the outside of the living tissue 60 through the first edge E1 of the opening 62 in the cross section of the living tissue 60.
  • the virtual camera 71 is arranged in the region AF sandwiched between the inner surface 61 of the living tissue 60, the second edge E2 of the opening 62, and the second straight line L2 extending to the outside of the living tissue 60.
  • the point where the first straight line L1 intersects the inner surface 61 of the living tissue 60 is the same point Pt as the point where the second straight line L2 intersects the inner surface 61 of the living tissue 60. Therefore, no matter where the virtual camera 71 is placed in the area AF, the user can observe the point Pt on the inner surface 61 of the biological tissue 60.
  • the point Pt is drawn perpendicularly to the third straight line L3 from the midpoint Pc of the third straight line L3 connecting the first edge E1 of the opening 62 and the second edge E2 of the opening 62.
  • the fourth straight line L4 is the same as the point where the inner surface 61 of the living tissue 60 intersects. Therefore, it is easy for the user to observe the point Pt on the inner surface 61 of the biological tissue 60 through the opening 62.
  • the virtual camera 71 is arranged on the extension line of the fourth straight line L4
  • the user can easily observe the point Pt on the inner surface 61 of the biological tissue 60.
  • the position of the virtual camera 71 may be any position where the inner surface 61 of the biological tissue 60 can be observed through the opening 62, but in the present embodiment, it is within the range facing the opening 62.
  • the position of the virtual camera 71 is preferably set to an intermediate position facing the central portion of the opening 62.
  • the minimum distance from the point Pt to the position of the camera 71 is set according to the minimum value Smin
  • the maximum distance from the point Pt to the position of the virtual camera 71 is set according to the maximum value Smax. You may.
  • the minimum distance from the point Pt to the position of the camera 71 may be set so that the camera 71 does not come closer to the point Pt than the opening 62 regardless of the minimum value Smin.
  • the maximum distance from the point Pt to the position of the virtual camera 71 is set so that the camera 71 does not move away from the point Pt so that the user cannot observe the inner surface 61 of the biological tissue 60 regardless of the maximum value Smax. You may.
  • step S108 the control unit 41 of the image processing device 11 determines each pixel of the three-dimensional image 53 according to the dimension of the biological tissue 60 in the linear direction from the viewpoint when displaying the three-dimensional image 53 on the display 16. Adjust the color tone of.
  • the linear direction from the viewpoint may be a direction common to all pixels, or may be a different direction depending on the pixel. In the former case, the direction in which any one pixel of the three-dimensional image 53 is viewed straight from the viewpoint is set in common for all the pixels including the one pixel. In the latter case, the direction in which each pixel of the three-dimensional image 53 is viewed straight from the viewpoint is set individually for each pixel.
  • control unit 41 of the image processing device 11 indicates the linear direction of the three-dimensional data 52 from the viewpoint toward one point on the inner surface 61 of the biological tissue 60, as shown in FIG. Set as the direction Dc.
  • the control unit 41 sets the distance from each point on the inner surface 61 of the biological tissue 60 to the corresponding point on the outer surface 63 of the biological tissue 60 in the line-of-sight direction Dc as the dimension of the biological tissue 60 in the line-of-sight direction Dc. calculate.
  • the control unit 41 sets the linear direction toward each point on the inner surface 61 of the biological tissue 60 in the three-dimensional data 52 from the viewpoint as an individual line-of-sight direction Di as shown in FIG.
  • the control unit 41 sets the distance from each point on the inner surface 61 of the biological tissue 60 to the corresponding point on the outer surface 63 of the biological tissue 60 in the line-of-sight direction Di as the dimension of the biological tissue 60 in the line-of-sight direction Di. calculate. Then, the control unit 41 stores the calculated distance for each point on the inner surface 61 in the storage unit 42. The control unit 41 converts the distance stored in the storage unit 42 into a color tone using a preset conversion formula or conversion table for each point on the inner surface 61. The control unit 41 stores the color tone calculated by using the conversion formula or the conversion table in the storage unit 42 for each point on the inner surface 61.
  • the control unit 41 sets the color tone of the corresponding pixel of the three-dimensional image 53 to the color tone stored in the storage unit 42 for each point on the inner surface 61.
  • a method for setting the color tone of each pixel any method such as a method by calculating an RGB value or a method by calculating an ARGB value including transparency in the RGB value may be used.
  • step S109 If the fault data 51 is updated in step S109, the processes of steps S110 and S111 are performed. If the fault data 51 is not updated, the presence or absence of user operation is reconfirmed in step S104.
  • step S110 the control unit 41 of the image processing device 11 processes at least one cross-sectional image of the biological tissue 60 by processing the signal input from the probe 20 as in the process of step S101.
  • Acquire tomographic data 51 including a new cross-sectional image.
  • step S111 the control unit 41 of the image processing device 11 updates the three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S110. Then, in step S103, the control unit 41 causes the display 16 to display the three-dimensional data 52 updated in step S111 as a three-dimensional image 53.
  • the control unit 41 of the image processing device 11 changes the position of the opening 62 from the first position to the second position, and the viewpoint is set to the third position according to the first position. To the 4th position according to the 2nd position.
  • the control unit 41 moves the virtual light source 72 when displaying the three-dimensional image 53 on the display 16 in accordance with the movement of the viewpoint from the third position to the fourth position.
  • the control unit 41 moves the virtual light source 72 by using the rotation matrix used for moving the virtual camera 71 when changing the circumferential position of the opening 62 in the cross section of the living tissue 60.
  • the control unit 41 may instantaneously switch the viewpoint from the third position to the fourth position, but in the present embodiment, the viewpoint is the third position.
  • a moving image that gradually moves from the position to the fourth position is displayed on the display 16 as a three-dimensional image 53. Therefore, it is easy for the user to know that the viewpoint has moved.
  • step S105 the control unit 41 of the image processing device 11 performs an operation of setting the position of the opening 62 and an operation of setting the position of the target point desired by the user to be performed by the input unit 44. May be accepted via.
  • control unit 41 of the image processing device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of designating the position of the target point may be accepted via the input unit 44.
  • the control unit 41 sets the position of the point Pt as the position of the point where the first straight line L1 and the second straight line L2 intersect with the inner surface 61 of the biological tissue 60 via the input unit 44. May be accepted.
  • step S105 the control unit 41 of the image processing device 11 inputs an operation of setting the position of the target point desired by the user instead of the operation of setting the position of the opening 62. It may be accepted via the unit 44. Then, in step S106, the control unit 41 may determine the position of the opening 62 according to the position set by the operation received in step S105.
  • control unit 41 of the image processing device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 in the three-dimensional image 53 displayed on the display 16.
  • the operation of designating the position of the target point may be accepted via the input unit 44.
  • the control unit 41 may determine the position of the opening 62 according to the position of the target point.
  • the control unit 41 sets the position of the point Pt as the position of the point where the first straight line L1 and the second straight line L2 intersect with the inner surface 61 of the biological tissue 60 via the input unit 44. May be accepted.
  • the control unit 41 may determine a fan-shaped region centered on the point Pt and having a central angle set in advance or an angle specified by the user as the region AF.
  • the control unit 41 may determine the position of the biological tissue 60 that overlaps with the region AF at the position of the opening 62.
  • the control unit 41 may determine the normal line of the inner surface 61 of the biological tissue 60, which is perpendicular to the tangent line passing through the point Pt, as the fourth straight line L4.
  • the area AF may be set narrower than the width of the opening 62. That is, the region AF may be set so as not to include at least one of the first edge E1 of the opening 62 and the second edge E2 of the opening 62.
  • the point where the first straight line L1 intersects the inner surface 61 of the living tissue 60 does not have to be the same as the point where the second straight line L2 intersects the inner surface 61 of the living tissue 60.
  • the point P1 at which the first straight line L1 intersects the inner surface 61 of the living tissue 60 and the point P2 at which the second straight line L2 intersects the inner surface 61 of the living tissue 60 are centered on the point Pt. It may be on the circumference. That is, the points P1 and P2 may be approximately equidistant from the point Pt.
  • the control unit 41 of the image processing device 11 sets the color of the pixel whose size of the biological tissue 60 in the linear direction from the viewpoint is smaller than the first threshold value to be different from that of the other pixels. It may be set to a color.
  • the "first color” is, for example, red, but any color may be used as long as the pixel to be colored can be distinguished from other pixels.
  • the portion of the oviduct 65 can be made conspicuous as shown in FIG. 4C.
  • the coloring of the ridge 64 is represented by hatching in FIG.
  • the color of the ridge 64 may be the same as the part other than the ovary socket 65, such as the tissue surface around the ovary fossa 65.
  • the ovary socket 65 may be colored red, and the ridge 64 and the tissue surface around the ovary socket 65 may be colored blue.
  • the first threshold value is preferably set between 1.0 mm and 5.0 mm.
  • the control unit 41 of the image processing device 11 has a first mode of adjusting the color tone of each pixel of the three-dimensional image 53 according to the dimension of the biological tissue 60 in the linear direction from the viewpoint.
  • the display mode may be switched between the second mode for adjusting the color tone of each pixel of the three-dimensional image 53 according to the dimension of the biological tissue 60 in the thickness direction of the biological tissue 60.
  • the control unit 41 of the image processing device 11 has a pixel group of the three-dimensional image 53 in which the dimension of the biological tissue 60 in the linear direction from the viewpoint is smaller than the first threshold value.
  • the color may be set to a first color different from other pixels.
  • the control unit 41 of the image processing device 11 selects the color of the pixel group of the three-dimensional image 53 in which the dimension of the biological tissue 60 in the thickness direction of the biological tissue 60 is larger than the second threshold value. It may be set to a second color different from other pixels.
  • the "second color" is, for example, blue, but any color may be used as long as the pixel to be colored can be distinguished from other pixels. For example, by setting the threshold value to 1.0 mm or more, in cardiac ablation for treating arrhythmia, a large portion of tissue thickness to which a larger energy than usual should be given can be conspicuous.
  • the control unit 41 of the image processing device 11 determines the color of the pixel group of the three-dimensional image 53 in which the dimension of the biological tissue 60 in the thickness direction of the biological tissue 60 is larger than the second threshold value. Is set to the second color, and the color of the pixel whose dimension of the living tissue 60 in the thickness direction of the living tissue 60 is smaller than the third threshold and is less than the second threshold is set to a third color different from the second color.
  • the color of the pixel whose dimension of the living tissue 60 in the thickness direction of the living tissue 60 is equal to or greater than the third threshold and equal to or less than the second threshold may be set to a color different from the second color and the third color.
  • the second threshold value For example, by setting the second threshold value to 1.0 mm and the third threshold value to 0.5 mm, in cardiac ablation for treating arrhythmia, care should be taken not to break through the tissue when pressing the ablation catheter. Both small parts and large parts of tissue thickness that should be given greater energy than normal can be highlighted.
  • the display mode may be switched manually by user operation, or automatically triggered by an arbitrary event.
  • the control unit 41 of the image processing device 11 displays the three-dimensional data 52 representing the biological tissue 60 on the display 16 as the three-dimensional image 53.
  • the control unit 41 adjusts the color tone of each pixel of the three-dimensional image 53 according to the dimension of the biological tissue 60 in the linear direction from the viewpoint when the three-dimensional image 53 is displayed on the display 16.
  • the structure of at least a part of the biological tissue 60 in the line-of-sight direction when the three-dimensional image 53 is displayed it is possible to make it easy to understand the structure of at least a part of the biological tissue 60 in the line-of-sight direction when the three-dimensional image 53 is displayed. For example, if the user is an operator, it becomes easier to understand the tissue structure in the direction viewed straight from the operator, and it becomes easier to perform the treatment on the inside of the living tissue 60.
  • the positions of the camera 71 and the light source 72 move so that the inside of the living tissue 60 can be seen from the opening 62. Therefore, when the position of the opening 62 is changed to another position, it is possible to avoid a situation in which only the outer surface 63 of the biological tissue 60 is visible and the object of interest cannot be confirmed.
  • the present disclosure is not limited to the above-described embodiment.
  • a plurality of blocks described in the block diagram may be integrated, or one block may be divided.
  • they may be executed in parallel or in a different order according to the processing capacity of the device that executes each step, or if necessary.
  • Other changes are possible without departing from the spirit of this disclosure.
  • Image processing system 11 Image processing device 12 Cable 13 Drive unit 14 Keyboard 15 Mouse 16 Display 17 Connection terminal 18 Cart unit 20 Probe 21 Drive shaft 22 Hub 23 Sheath 24 Outer tube 25 Ultrasonic transducer 26 Relay connector 31 Scanner unit 32 slide Unit 33 Bottom cover 34 Probe connection 35 Scanner motor 36 Outlet 37 Probe clamp 38 Slide motor 39 Switch group 41 Control 42 Storage 43 Communication 44 Input 45 Output 51 Fault data 52 3D data 53 3D Image 60 Living tissue 61 Inner surface 62 Opening 63 Outer surface 64 Ridge 65 Oval fossa 71 Camera 72 Light source 80 screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

画像処理装置は、生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、前記３次元画像を前記ディスプレイに表示させる際の視点からの直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する制御部を備える。

Description

画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
　本開示は、画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラムに関する。
　特許文献１には、心筋が相対的に厚い領域が青色、心筋が相対的に薄い領域が赤色になるように心内膜表面を色分けした３次元画像を表示する技術が記載されている。
米国特許第８０７７９４７号明細書
　心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる治療が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。
　現状として、術者は頭の中でＩＶＵＳの２次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。３次元画像を表示する際には、生体組織の厚さによって組織表面を色分けすることが考えられる。ここでいう「厚さ」とは、生体組織の任意の箇所において、当該箇所における一方の組織表面から当該箇所の組織を通って他方の組織表面に至るまでの最小距離のことであり、厚さ方向の寸法ともいう。
　生体組織の表面に凹凸構造がある場合、厚さ方向の寸法によって組織表面を色分けしてしまうと、３次元画像において術者が生体組織の表面を真っ直ぐに見た際に、その凹凸構造が分かり難くなるおそれがある。例えば、視線方向と交差する方向に突出し、且つ厚さ方向の寸法の小さな凸部があったとすると、この凸部は、術者から見て凸部の裏にある組織表面に薄い組織として投影されてしまう。その結果、術者が凸部ではなく、その裏の組織が薄いと誤認するおそれがある。
　本開示の目的は、３次元画像が表示される際の視線方向における生体組織の少なくとも一部の構造をわかりやすくすることである。
　本開示の一態様としての画像処理装置は、生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、前記３次元画像を前記ディスプレイに表示させる際の視点からの直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する制御部を備える。
　一実施形態として、前記制御部は、前記３次元画像の画素群のうち、前記直線方向における前記生体組織の寸法が第１閾値よりも小さい画素の色を、他の画素とは異なる第１色に設定する。
　一実施形態として、前記制御部は、前記直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する第１モードと、前記生体組織の厚さ方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する第２モードとの間で表示モードを切り替える。
　一実施形態として、前記制御部は、前記第２モードにおいて、前記３次元画像の画素群のうち、前記生体組織の厚さ方向における前記生体組織の寸法が第２閾値よりも大きい画素の色を、他の画素とは異なる第２色に設定する。
　一実施形態として、前記制御部は、前記第２モードにおいて、前記３次元画像の画素群のうち、前記生体組織の厚さ方向における前記生体組織の寸法が第２閾値よりも大きい画素の色を第２色に設定し、前記生体組織の厚さ方向における前記生体組織の寸法が前記第２閾値未満の第３閾値よりも小さい画素の色を前記第２色とは異なる第３色に設定し、前記生体組織の厚さ方向における前記生体組織の寸法が前記第３閾値以上前記第２閾値以下の画素の色を前記第２色及び前記第３色とは異なる色に設定する。
　一実施形態として、前記制御部は、前記３次元画像において前記生体組織の内腔を露出させる開口を前記３次元データに形成するとともに、形成した開口の位置に応じて、前記視点の位置を調整する。
　本開示の一態様としての画像処理システムは、前記生体組織の内腔を移動しながら前記生体組織の断層データを取得するセンサと、前記センサにより取得された断層データに基づいて前記３次元データを生成する前記画像処理装置とを備える。
　一実施形態として、前記画像処理システムは、前記ディスプレイをさらに備える。
　本開示の一態様としての画像表示方法は、生体組織を表す３次元データを３次元画像としてディスプレイに表示する画像表示方法であって、コンピュータが、前記３次元画像を前記ディスプレイに表示させる際の視点からの直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する、というものである。
　本開示の一態様としての画像処理プログラムは、生体組織を表す３次元データを３次元画像としてディスプレイに表示させるコンピュータに、前記３次元画像を前記ディスプレイに表示させる際の視点からの直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する処理を実行させる。
　本開示によれば、３次元画像が表示される際の視線方向における生体組織の少なくとも一部の構造をわかりやすくすることができる。
本開示の一態様としての画像処理システムの斜視図である。 本開示の一態様としての画像処理システムのプローブ及び駆動ユニットの斜視図である。 本開示の一態様としての画像処理装置の構成を示すブロック図である。 視線方向におけるリッジの寸法と厚さ方向におけるリッジの寸法とを示す横断面図である。 厚さ方向の寸法に基づく色調変化を示す縦断面図である。 視線方向の寸法に基づく色調変化を示す縦断面図である。 本開示の一態様としての画像処理システムの動作を示すフローチャートである。 本開示の一態様における生体組織の断面、開口、及び視点の位置関係を示す図である。 本開示の一態様としての画像処理システムのディスプレイの画面に対する３次元画像のサイズの比率を示す図である。
　以下、本開示の一態様の具体例としての一実施形態について、図を参照して説明する。
　各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　図１、図３、及び図４Ａから図４Ｃを参照して、本実施形態の概要を説明する。
　本実施形態に係る画像処理装置１１は、生体組織６０を表す３次元データ５２を３次元画像５３としてディスプレイ１６に表示させるコンピュータである。画像処理装置１１は、３次元画像５３をディスプレイ１６に表示させる際の視点からの直線方向における生体組織６０の寸法に応じて、３次元画像５３の各画素の色調を調整する。
　本実施形態によれば、３次元画像５３が表示される際の視線方向における生体組織６０の少なくとも一部の構造をわかりやすくすることができる。例えば、ユーザが術者であれば、術者から真っ直ぐに見た方向の組織構造がわかりやすくなり、生体組織６０の内部に対する施術を行いやすくなる。
　生体組織６０は、例えば、血管、又は心臓などの臓器を含む。図４Ａから図４Ｃの例では、生体組織６０は、右心房である。この例では、右心房の卵円窩６５に隣接する部分が内側に隆起してリッジ６４が形成されている。図４Ａから図４Ｃでは、便宜上、右心房組織の断面を表すハッチングを省略している。図４Ｂ及び図４Ｃは、図４Ａの生体組織６０を視線方向に沿って見た断面図である。ここでは、卵円窩６５が正面に見えるように視線方向が設定されているため、卵円窩６５については厚さ方向と視線方向とが略同じであるが、リッジ６４については厚さ方向と視線方向とが異なっている。図４Ｂは、比較例として、厚さ方向の寸法に基づく色調変化を組織表面に適用した例を示している。図４Ｃは、本実施形態における、視線方向の寸法に基づく色調変化を組織表面に適用した例を示している。図４Ｂ及び図４Ｃでは、便宜上、リッジ６４及び卵円窩６５の色付けをハッチングで表している。
　図４Ａにおいて、厚さ方向におけるリッジ６４の寸法Ｄｂは、厚さ方向における卵円窩６５の寸法Ｄｄと略同じである。このため、図４Ｂに示すように、厚さ方向の寸法によって組織表面を色分けしてしまうと、リッジ６４と卵円窩６５との境がほとんどわからなくなる。その結果、リッジ６４も含めて卵円窩６５であると術者が誤認し、心房中隔穿刺などの施術を適切に行いにくくなるおそれがある。一方で、視線方向におけるリッジ６４の寸法Ｄａは、厚さ方向におけるリッジ６４の寸法Ｄｂとは一致せず、厚さ方向における卵円窩６５の寸法Ｄｄよりも相対的に大きくなる傾向がある。このため、図４Ｃに示すように、視線方向の寸法によって組織表面を色分けすることにより、リッジ６４を卵円窩６５とは分けて表示することが可能となる。すなわち、リッジ６４の部分をそのまま表現して、卵円窩６５の一部がリッジ６４に隠れていることを術者に認識させやすくなる。その結果、術者にとって、卵円窩６５及びその周囲の組織構造がわかりやすくなる。よって、心房中隔穿刺などの施術を行いやすくなる。
　図１を参照して、本実施形態に係る画像処理システム１０の構成を説明する。
　画像処理システム１０は、画像処理装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。
　画像処理装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。
　ケーブル１２は、画像処理装置１１と駆動ユニット１３とを接続するために用いられる。
　駆動ユニット１３は、図２に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。
　キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で画像処理装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。「ＨＭＤ」は、head-mounted displayの略語である。
　画像処理システム１０は、オプションとして、接続端子１７及びカートユニット１８をさらに備える。
　接続端子１７は、画像処理装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。
　カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、画像処理装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。
　図２を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。
　プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。
　駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。
　ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５がシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示すように、シース２３の内部を基端側へ移動する。
　駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。
　スキャナユニット３１は、ケーブル１２を介して画像処理装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。
　プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と画像処理装置１１との間で信号が送受信される。画像処理装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
　スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的且つ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。
　プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。
　スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。
　スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。
　フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。
　スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。
　ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。
　図３を参照して、画像処理装置１１の構成を説明する。
　画像処理装置１１は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。
　制御部４１は、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、画像処理装置１１を含む画像処理システム１０の各部を制御しながら、画像処理装置１１の動作に関わる処理を実行する。
　記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、断層データ５１など、画像処理装置１１の動作に用いられるデータと、３次元データ５２及び３次元画像５３など、画像処理装置１１の動作によって得られたデータとが記憶される。
　通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、local area networkの略語である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、画像処理装置１１の動作に用いられるデータを受信し、また画像処理装置１１の動作によって得られるデータを送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。
　入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信に対応したインタフェースである。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、画像処理装置１１の動作に用いられるデータを入力する操作などのユーザの操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェース、又は近距離無線通信に対応したインタフェースにキーボード１４及びマウス１５が接続される。タッチスクリーンがディスプレイ１６と一体的に設けられている場合、入力部４４に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続されてもよい。
　出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信に対応したインタフェースである。出力部４５は、画像処理装置１１の動作によって得られるデータを出力する。本実施形態では、出力部４５に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。
　画像処理装置１１の機能は、本実施形態に係る画像処理プログラムを、制御部４１に相当するプロセッサで実行することにより実現される。すなわち、画像処理装置１１の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置１１の各処理をコンピュータに実行させることで、コンピュータを画像処理装置１１として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置１１の各処理を実行することにより画像処理装置１１として機能する。
　プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
　コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
　画像処理装置１１の一部又は全ての機能が、制御部４１に相当する専用回路により実現されてもよい。すなわち、画像処理装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。
　図５を参照して、本実施形態に係る画像処理システム１０の動作を説明する。画像処理システム１０の動作は、本実施形態に係る画像表示方法に相当する。
　図５のフローの開始前に、ユーザによって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管又は心臓などの生体組織６０内の目的部位まで挿入される。
　ステップＳ１０１において、スイッチ群３９に含まれるスキャンスイッチが押され、さらにスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織６０の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。超音波振動子２５は、生体組織６０の内部を移動しながら放射線状に超音波を送信する。超音波振動子２５は、送信した超音波の反射波を受信する。プローブ２０は、超音波振動子２５により受信した反射波の信号を画像処理装置１１に入力する。画像処理装置１１の制御部４１は、入力された信号を処理して生体組織６０の断面画像を順次生成することで、複数の断面画像を含む断層データ５１を取得する。
　具体的には、プローブ２０は、生体組織６０の内部で超音波振動子２５を周方向に回転させながら、且つ軸方向に移動させながら、超音波振動子２５により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ２０は、生体組織６０の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子２５により受信する。プローブ２０は、受信した反射波の信号を、駆動ユニット１３及びケーブル１２を介して画像処理装置１１に送信する。画像処理装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。制御部４１は、入力された信号を処理して、超音波振動子２５の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部４１は、算出した強度値分布に相当する輝度値分布を持つ２次元画像を生体組織６０の断面画像として順次生成することで、断面画像のデータセットである断層データ５１を取得する。制御部４１は、取得した断層データ５１を記憶部４２に記憶させる。
　本実施形態において、超音波振動子２５が受信する反射波の信号は、断層データ５１の生データに相当し、画像処理装置１１が反射波の信号を処理して生成する断面画像は、断層データ５１の加工データに相当する。
　本実施形態の一変形例として、画像処理装置１１の制御部４１は、プローブ２０から入力された信号をそのまま断層データ５１として記憶部４２に記憶させてもよい。あるいは、制御部４１は、プローブ２０から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ５１として記憶部４２に記憶させてもよい。すなわち、断層データ５１は、生体組織６０の断面画像のデータセットに限られず、超音波振動子２５の各移動位置における生体組織６０の断面を何らかの形式で表すデータであればよい。
　本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子２５の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。
　本実施形態の一変形例として、断層データ５１は、ＩＶＵＳを用いて取得される代わりに、ＯＦＤＩ又はＯＣＴを用いて取得されてもよい。「ＯＦＤＩ」は、optical frequency domain imagingの略語である。「ＯＣＴ」は、optical coherence tomographyの略語である。ＯＦＤＩ又はＯＣＴが用いられる場合、生体組織６０の内腔を移動しながら断層データ５１を取得するセンサとして、生体組織６０の内腔で超音波を送信して断層データ５１を取得する超音波振動子２５の代わりに、生体組織６０の内腔で光を放射して断層データ５１を取得するセンサが用いられる。
　本実施形態の一変形例として、画像処理装置１１が生体組織６０の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、画像処理装置１１はそのデータセットを当該他の装置から取得してもよい。すなわち、画像処理装置１１の制御部４１が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成し、生成した断面画像を画像処理装置１１に入力してもよい。
　ステップＳ１０２において、画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像を積層して３次元化することで、生体組織６０の３次元データ５２を生成する。３次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部４１は、生成した３次元データ５２を記憶部４２に記憶させる。
　ステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０２で生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。この時点では、制御部４１は、３次元画像５３をディスプレイ１６に表示させる際の視点、及び仮想の光源７２をそれぞれ任意の位置に配置してよい。「視点」とは、３次元空間に配置される、図６に示すような仮想のカメラ７１の位置のことである。光源７２の数及び相対位置は、図示したものに限らず、適宜変更することができる。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２から３次元画像５３を生成する。制御部４１は、生成した３次元画像５３を、出力部４５を介してディスプレイ１６に表示させる。
　ステップＳ１０４において、ユーザの操作があれば、ステップＳ１０５からステップＳ１０８の処理が行われる。ユーザの操作がなければ、ステップＳ１０５からステップＳ１０８の処理はスキップされる。
　ステップＳ１０５において、画像処理装置１１の制御部４１は、図６に示すような開口６２の位置を設定する操作を、入力部４４を介して受け付ける。開口６２の位置は、ステップＳ１０３で表示された３次元画像５３において、開口６２を通じて生体組織６０の内腔が露出するような位置に設定される。
　具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３において、ユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて生体組織６０の一部を切り落とす操作を、入力部４４を介して受け付ける。図６の例では、制御部４１は、生体組織６０の断面において、生体組織６０の内表面６１が開いた形状になるように生体組織６０の一部を切り落とす操作を受け付ける。「生体組織６０の断面」は、例えば、開口６２の互いに対向する２つの端縁と開口６２に対向する生体組織６０の内表面６１とを有する断層断面であるが、この断層断面に限らず、生体組織６０の横断面でもよいし、生体組織６０の縦断面でもよいし、又は生体組織６０の他の断面でもよい。「生体組織６０の横断面」とは、生体組織６０の中で超音波振動子２５が移動する方向に対して垂直に生体組織６０を切断した切断面のことである。「生体組織６０の縦断面」とは、生体組織６０の中で超音波振動子２５が移動する方向に沿って生体組織６０を切断した切断面のことである。「生体組織６０の他の断面」とは、生体組織６０の中で超音波振動子２５が移動する方向に対して斜めに生体組織６０を切断した切断面のことである。「開いた形状」は、例えば、略Ｃ字状、略Ｕ字状、略３字状、又はこれらのいずれかが血管の分岐部、若しくは肺静脈口など、生体組織６０に元々空いている孔の存在によって部分的に欠けた形状である。図６の例では、生体組織６０の内表面６１が略Ｃ字状、且つ開口６２に対向する箇所が欠けた形状になっている。
　ステップＳ１０６において、画像処理装置１１の制御部４１は、ステップＳ１０５で受け付けた操作によって設定された位置を開口６２の位置に決定する。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２において、生体組織６０の、ユーザの操作によって切り落とされた部分の境界の３次元座標を開口６２の縁の３次元座標として特定する。制御部４１は、特定した３次元座標を記憶部４２に記憶させる。
　ステップＳ１０７において、画像処理装置１１の制御部４１は、３次元画像５３において生体組織６０の内腔を露出させる開口６２を３次元データ５２に形成する。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２において、記憶部４２に記憶された３次元座標で特定される部分を、３次元画像５３をディスプレイ１６に表示させる際に非表示又は透明になるように設定する。
　ステップＳ１０８において、画像処理装置１１の制御部４１は、ステップＳ１０７で形成した開口６２の位置に応じて、３次元画像５３をディスプレイ１６に表示させる際の視点を調整する。本実施形態では、制御部４１は、生体組織６０の内表面６１から開口６２を通って生体組織６０の外部に延びる直線の上に視点を配置する。よって、ユーザが開口６２から生体組織６０の内部を覗き込んで生体組織６０の内表面６１を仮想的に観察することができる。
　具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３において、非表示又は透明になるように設定した部分を通じて生体組織６０の内表面６１が見える位置に、仮想のカメラ７１を配置する。図６の例では、制御部４１は、生体組織６０の断面において、生体組織６０の内表面６１から開口６２の第１端縁Ｅ１を通って生体組織６０の外部に延びる第１直線Ｌ１と、生体組織６０の内表面６１から開口６２の第２端縁Ｅ２を通って生体組織６０の外部に延びる第２直線Ｌ２とで挟まれる領域ＡＦの中に仮想のカメラ７１を配置する。第１直線Ｌ１が生体組織６０の内表面６１と交わる点は、第２直線Ｌ２が生体組織６０の内表面６１と交わる点と同一の点Ｐｔである。よって、領域ＡＦのどの位置に仮想のカメラ７１を配置しても、ユーザが生体組織６０の内表面６１の点Ｐｔを観察することができる。
　図６の例では、点Ｐｔは、開口６２の第１端縁Ｅ１と開口６２の第２端縁Ｅ２とを結んだ第３直線Ｌ３の中点Ｐｃから第３直線Ｌ３に対して垂直に引いた第４直線Ｌ４が生体組織６０の内表面６１と交わる点と同一である。よって、ユーザが開口６２を通じて生体組織６０の内表面６１の点Ｐｔを観察しやすい。特に、図６に示すように、第４直線Ｌ４の延長線上に仮想のカメラ７１を配置すると、ユーザが生体組織６０の内表面６１の点Ｐｔを観察しやすくなる。
　仮想のカメラ７１の位置は、開口６２を介して生体組織６０の内表面６１を観察可能な任意の位置でよいが、本実施形態では開口６２に対向する範囲内である。仮想のカメラ７１の位置は、開口６２の中央部に対向する中間位置に設定されることが好ましい。
　図７の例では、ディスプレイ１６の画面８０の中心から一端までの距離Ｕｍに対する、画面８０と３次元画像５３との中心が重なるように画面８０に表示された３次元画像５３の中心から一端までの距離Ｕｎの比率Ｓについて、最小値Ｓminと、最大値Ｓmaxとが設定される。例えば、Ｓmin＝１／３、Ｓmax＝１のように設定される。図６の例において、点Ｐｔからカメラ７１の位置までの最小距離を、最小値Ｓminに応じて設定し、点Ｐｔから仮想のカメラ７１の位置までの最大距離を、最大値Ｓmaxに応じて設定してもよい。あるいは、点Ｐｔからカメラ７１の位置までの最小距離を、最小値Ｓminに関係なく、カメラ７１が開口６２よりも点Ｐｔに近づかないような距離に設定してもよい。点Ｐｔから仮想のカメラ７１の位置までの最大距離を、最大値Ｓmaxに関係なく、ユーザが生体組織６０の内表面６１を観察できなくなるほどカメラ７１が点Ｐｔから遠ざからないような距離に設定してもよい。
　さらに、ステップＳ１０８において、画像処理装置１１の制御部４１は、３次元画像５３をディスプレイ１６に表示させる際の視点からの直線方向における生体組織６０の寸法に応じて、３次元画像５３の各画素の色調を調整する。視点からの直線方向は、全画素に共通の方向でもよいし、又は画素によって異なる方向でもよい。前者の場合、視点から３次元画像５３のいずれか１つの画素を真っ直ぐに見た方向が、当該１つの画素を含む全ての画素に対して共通に設定される。後者の場合、視点から３次元画像５３のそれぞれの画素を真っ直ぐに見た方向が、それぞれの画素に対して個別に設定される。
　具体的には、画像処理装置１１の制御部４１は、視点から、３次元データ５２における、生体組織６０の内表面６１上の１点に向かう直線方向を、図６に示すような共通の視線方向Ｄｃとして設定する。制御部４１は、生体組織６０の内表面６１上の各点から、生体組織６０の外表面６３上の、視線方向Ｄｃにおいて対応する点までの距離を、視線方向Ｄｃにおける生体組織６０の寸法として算出する。あるいは、制御部４１は、視点から、３次元データ５２における、生体組織６０の内表面６１上の各点に向かう直線方向を、図６に示すような個別の視線方向Ｄｉとして設定する。制御部４１は、生体組織６０の内表面６１上の各点から、生体組織６０の外表面６３上の、視線方向Ｄｉにおいて対応する点までの距離を、視線方向Ｄｉにおける生体組織６０の寸法として算出する。そして、制御部４１は、内表面６１上の点ごとに、算出した距離を記憶部４２に記憶させる。制御部４１は、内表面６１上の点ごとに、記憶部４２に記憶された距離を、予め設定された換算式又は換算テーブルを用いて色調に換算する。制御部４１は、内表面６１上の点ごとに、換算式又は換算テーブルを用いて算出した色調を記憶部４２に記憶させる。制御部４１は、内表面６１上の点ごとに、３次元画像５３の対応する画素の色調を、記憶部４２に記憶された色調に設定する。各画素の色調の設定方法としては、ＲＧＢ値の計算による方法、ＲＧＢ値に透明度を含んだＡＲＧＢ値の計算による方法など、任意の方法を用いてよい。
　ステップＳ１０９において、断層データ５１の更新があれば、ステップＳ１１０及びステップＳ１１１の処理が行われる。断層データ５１の更新がなければ、ステップＳ１０４において、ユーザ操作の有無が再度確認される。
　ステップＳ１１０において、画像処理装置１１の制御部４１は、ステップＳ１０１の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像を新たに生成することで、少なくとも１つの新たな断面画像を含む断層データ５１を取得する。
　ステップＳ１１１において、画像処理装置１１の制御部４１は、ステップＳ１１０で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１１１で更新した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。
　２回目以降のステップＳ１０５からステップＳ１０８において、画像処理装置１１の制御部４１は、開口６２の位置を第１位置から第２位置に変更する場合に、視点を第１位置に応じた第３位置から第２位置に応じた第４位置に移動させる。制御部４１は、視点の第３位置から第４位置への移動に合わせて、３次元画像５３をディスプレイ１６に表示させる際の仮想の光源７２を移動させる。
　制御部４１は、生体組織６０の断面において、開口６２の周方向位置を変更する場合に、仮想のカメラ７１の移動に使用する回転行列を用いて、仮想の光源７２を移動させる。
　制御部４１は、開口６２の位置を第１位置から第２位置に変更する場合に、視点を第３位置から第４位置に瞬時に切り替えてもよいが、本実施形態では、視点が第３位置から第４位置へ徐々に移動する動画像を３次元画像５３としてディスプレイ１６に表示させる。そのため、視点が移動したことがユーザに伝わりやすい。
　本実施形態の一変形例として、ステップＳ１０５において、画像処理装置１１の制御部４１は、開口６２の位置を設定する操作とともに、ユーザが見たい目標点の位置を設定する操作を、入力部４４を介して受け付けてもよい。
　具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３において、ユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて目標点の位置を指定する操作を、入力部４４を介して受け付けてもよい。図６の例では、制御部４１は、第１直線Ｌ１及び第２直線Ｌ２が生体組織６０の内表面６１と交わる点の位置として、点Ｐｔの位置を設定する操作を、入力部４４を介して受け付けてもよい。
　本実施形態の一変形例として、ステップＳ１０５において、画像処理装置１１の制御部４１は、開口６２の位置を設定する操作の代わりに、ユーザが見たい目標点の位置を設定する操作を、入力部４４を介して受け付けてもよい。そして、ステップＳ１０６において、制御部４１は、ステップＳ１０５で受け付けた操作によって設定された位置に応じて、開口６２の位置を決定してもよい。
　具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３において、ユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて目標点の位置を指定する操作を、入力部４４を介して受け付けてもよい。そして、制御部４１は、その目標点の位置に応じて、開口６２の位置を決定してもよい。図６の例では、制御部４１は、第１直線Ｌ１及び第２直線Ｌ２が生体組織６０の内表面６１と交わる点の位置として、点Ｐｔの位置を設定する操作を、入力部４４を介して受け付けてもよい。制御部４１は、生体組織６０の断面において、点Ｐｔを中心、中心角を予め設定されるか、又はユーザによって指定される角度とする扇形の領域を領域ＡＦに決定してもよい。制御部４１は、生体組織６０の、領域ＡＦと重なる位置を開口６２の位置に決定してもよい。制御部４１は、生体組織６０の内表面６１の、点Ｐｔを通る接線に垂直な法線を第４直線Ｌ４に決定してもよい。
　領域ＡＦは、開口６２の幅よりも狭く設定されてもよい。すなわち、領域ＡＦは、開口６２の第１端縁Ｅ１と開口６２の第２端縁Ｅ２とのうち少なくともいずれかを含まないように設定されてもよい。
　本実施形態の一変形例として、第１直線Ｌ１が生体組織６０の内表面６１と交わる点は、第２直線Ｌ２が生体組織６０の内表面６１と交わる点と同一でなくてもよい。例えば、第１直線Ｌ１が生体組織６０の内表面６１と交わる点である点Ｐ１、及び第２直線Ｌ２が生体組織６０の内表面６１と交わる点である点Ｐ２は、点Ｐｔを中心とする円周上にあってもよい。すなわち、点Ｐ１及び点Ｐ２は、点Ｐｔから略等距離にあってもよい。
　本実施形態の一変形例として、画像処理装置１１の制御部４１は、視点からの直線方向における生体組織６０の寸法が第１閾値よりも小さい画素の色を、他の画素とは異なる第１色に設定してもよい。「第１色」は、例えば赤色であるが、色付け対象の画素を他の画素と区別できる色であればよい。例えば、第１閾値を０．５ｍｍから８．０ｍｍの間で設定することにより、図４Ｃに示すように、卵円窩６５の部分を目立たせることができる。なお、図４Ｃでは、リッジ６４の色付けをハッチングで表しているが、リッジ６４の色は、卵円窩６５の周辺の組織表面など、卵円窩６５以外の部分と同じ色でもよい。例えば、卵円窩６５が赤色、リッジ６４と卵円窩６５の周辺の組織表面とが青色に色付けされてもよい。なお、第１閾値は、１．０ｍｍから５．０ｍｍの間で設定することが好ましい。
　本実施形態の一変形例として、画像処理装置１１の制御部４１は、視点からの直線方向における生体組織６０の寸法に応じて、３次元画像５３の各画素の色調を調整する第１モードと、生体組織６０の厚さ方向における生体組織６０の寸法に応じて、３次元画像５３の各画素の色調を調整する第２モードとの間で表示モードを切り替えてもよい。この変形例によれば、術者にとって、心房中隔穿刺時には、卵円窩６５及びその周囲の組織構造がわかりやすくなるとともに、不整脈を治療する心臓アブレーション時には、アブレーションの対象箇所の組織厚を認識しやすくなる。
　第１モードにおいて、画像処理装置１１の制御部４１は、上述したように、３次元画像５３の画素群のうち、視点からの直線方向における生体組織６０の寸法が第１閾値よりも小さい画素の色を、他の画素とは異なる第１色に設定してもよい。
　第２モードにおいて、画像処理装置１１の制御部４１は、３次元画像５３の画素群のうち、生体組織６０の厚さ方向における生体組織６０の寸法が第２閾値よりも大きい画素の色を、他の画素とは異なる第２色に設定してもよい。「第２色」は、例えば青色であるが、色付け対象の画素を他の画素と区別できる色であればよい。例えば、閾値を１．０ｍｍ以上で設定することにより、不整脈を治療する心臓アブレーションにおいて、通常よりも大きなエネルギーを与えるべき組織厚の大きな部分を目立たせることができる。
　あるいは、第２モードにおいて、画像処理装置１１の制御部４１は、３次元画像５３の画素群のうち、生体組織６０の厚さ方向における生体組織６０の寸法が第２閾値よりも大きい画素の色を第２色に設定し、生体組織６０の厚さ方向における生体組織６０の寸法が第２閾値未満の第３閾値よりも小さい画素の色を第２色とは異なる第３色に設定し、生体組織６０の厚さ方向における生体組織６０の寸法が第３閾値以上第２閾値以下の画素の色を第２色及び第３色とは異なる色に設定してもよい。例えば、第２閾値を１．０ｍｍ、第３閾値を０．５ｍｍで設定することにより、不整脈を治療する心臓アブレーションにおいて、アブレーションカテーテルを押し付ける際に組織を突き破らないように注意すべき組織厚の小さな部分と、通常よりも大きなエネルギーを与えるべき組織厚の大きな部分との両方を目立たせることができる。
　表示モードの切替えは、ユーザ操作によって手動で行われてもよいし、又は任意のイベントをトリガとして自動的に行われてもよい。
　上述のように、本実施形態では、画像処理装置１１の制御部４１は、生体組織６０を表す３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、３次元画像５３をディスプレイ１６に表示させる際の視点からの直線方向における生体組織６０の寸法に応じて、３次元画像５３の各画素の色調を調整する。
　本実施形態によれば、３次元画像５３が表示される際の視線方向における生体組織６０の少なくとも一部の構造をわかりやすくすることができる。例えば、ユーザが術者であれば、術者から真っ直ぐに見た方向の組織構造がわかりやすくなり、生体組織６０の内部に対する施術を行いやすくなる。
　本実施形態では、開口６２の位置が決まると、開口６２から生体組織６０の内部を覗き込むことができるように、カメラ７１及び光源７２の位置が移動する。そのため、開口６２の位置を別の位置に変更した際に、生体組織６０の外表面６３しか見えなくなり、興味の対象を確認できなくなるという事態を回避できる。
　本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
　１０　画像処理システム
　１１　画像処理装置
　１２　ケーブル
　１３　駆動ユニット
　１４　キーボード
　１５　マウス
　１６　ディスプレイ
　１７　接続端子
　１８　カートユニット
　２０　プローブ
　２１　駆動シャフト
　２２　ハブ
　２３　シース
　２４　外管
　２５　超音波振動子
　２６　中継コネクタ
　３１　スキャナユニット
　３２　スライドユニット
　３３　ボトムカバー
　３４　プローブ接続部
　３５　スキャナモータ
　３６　差込口
　３７　プローブクランプ部
　３８　スライドモータ
　３９　スイッチ群
　４１　制御部
　４２　記憶部
　４３　通信部
　４４　入力部
　４５　出力部
　５１　断層データ
　５２　３次元データ
　５３　３次元画像
　６０　生体組織
　６１　内表面
　６２　開口
　６３　外表面
　６４　リッジ
　６５　卵円窩
　７１　カメラ
　７２　光源
　８０　画面

Claims (10)

  1. 　生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、
    　前記３次元画像を前記ディスプレイに表示させる際の視点からの直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する制御部を備える画像処理装置。
  2. 　前記制御部は、前記３次元画像の画素群のうち、前記直線方向における前記生体組織の寸法が第１閾値よりも小さい画素の色を、他の画素とは異なる第１色に設定する請求項１に記載の画像処理装置。
  3. 　前記制御部は、前記直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する第１モードと、前記生体組織の厚さ方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する第２モードとの間で表示モードを切り替える請求項１又は請求項２に記載の画像処理装置。
  4. 　前記制御部は、前記第２モードにおいて、前記３次元画像の画素群のうち、前記生体組織の厚さ方向における前記生体組織の寸法が第２閾値よりも大きい画素の色を、他の画素とは異なる第２色に設定する請求項３に記載の画像処理装置。
  5. 　前記制御部は、前記第２モードにおいて、前記３次元画像の画素群のうち、前記生体組織の厚さ方向における前記生体組織の寸法が第２閾値よりも大きい画素の色を第２色に設定し、前記生体組織の厚さ方向における前記生体組織の寸法が前記第２閾値未満の第３閾値よりも小さい画素の色を前記第２色とは異なる第３色に設定し、前記生体組織の厚さ方向における前記生体組織の寸法が前記第３閾値以上前記第２閾値以下の画素の色を前記第２色及び前記第３色とは異なる色に設定する請求項３に記載の画像処理装置。
  6. 　前記制御部は、前記３次元画像において前記生体組織の内腔を露出させる開口を前記３次元データに形成するとともに、形成した開口の位置に応じて、前記視点の位置を調整する請求項１から請求項５のいずれか１項に記載の画像処理装置。
  7. 　前記生体組織の内腔を移動しながら前記生体組織の断層データを取得するセンサと、
    　前記センサにより取得された断層データに基づいて前記３次元データを生成する請求項１から請求項６のいずれか１項に記載の画像処理装置と
    を備える画像処理システム。
  8. 　前記ディスプレイをさらに備える請求項７に記載の画像処理システム。
  9. 　生体組織を表す３次元データを３次元画像としてディスプレイに表示する画像表示方法であって、
    　コンピュータが、前記３次元画像を前記ディスプレイに表示させる際の視点からの直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する画像表示方法。
  10. 　生体組織を表す３次元データを３次元画像としてディスプレイに表示させるコンピュータに、
    　前記３次元画像を前記ディスプレイに表示させる際の視点からの直線方向における前記生体組織の寸法に応じて、前記３次元画像の各画素の色調を調整する処理を実行させる画像処理プログラム。
PCT/JP2021/011535 2020-03-31 2021-03-19 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム WO2021200296A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180026625.3A CN115397336A (zh) 2020-03-31 2021-03-19 图像处理装置、图像处理系统、图像显示方法及图像处理程序
JP2022511935A JPWO2021200296A1 (ja) 2020-03-31 2021-03-19
US17/957,318 US20230027335A1 (en) 2020-03-31 2022-09-30 Image processing device, image processing system, image display method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-061802 2020-03-31
JP2020061802 2020-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/957,318 Continuation US20230027335A1 (en) 2020-03-31 2022-09-30 Image processing device, image processing system, image display method, and image processing program

Publications (1)

Publication Number Publication Date
WO2021200296A1 true WO2021200296A1 (ja) 2021-10-07

Family

ID=77927093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011535 WO2021200296A1 (ja) 2020-03-31 2021-03-19 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20230027335A1 (ja)
JP (1) JPWO2021200296A1 (ja)
CN (1) CN115397336A (ja)
WO (1) WO2021200296A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010186A (ja) * 2001-04-24 2003-01-14 Toshiba Corp 超音波診断装置
JP2012196437A (ja) * 2011-03-10 2012-10-18 Toshiba Corp 医用画像診断装置、医用画像表示装置、医用画像処理装置、及び医用画像処理プログラム
WO2013187335A1 (ja) * 2012-06-15 2013-12-19 株式会社東芝 超音波診断装置、コンピュータプログラムプロダクト及び制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010186A (ja) * 2001-04-24 2003-01-14 Toshiba Corp 超音波診断装置
JP2012196437A (ja) * 2011-03-10 2012-10-18 Toshiba Corp 医用画像診断装置、医用画像表示装置、医用画像処理装置、及び医用画像処理プログラム
WO2013187335A1 (ja) * 2012-06-15 2013-12-19 株式会社東芝 超音波診断装置、コンピュータプログラムプロダクト及び制御方法

Also Published As

Publication number Publication date
JPWO2021200296A1 (ja) 2021-10-07
CN115397336A (zh) 2022-11-25
US20230027335A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
US12053260B2 (en) Catheter-based off-axis optical coherence tomography imaging system
JP5175275B2 (ja) 表示前方視画像データのためのレンダリングのための装置
US9161741B2 (en) Ultrasonic image processing apparatus, ultrasonic diagnostic apparatus, and ultrasonic image processing method
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP5460547B2 (ja) 医用画像診断装置、及び医用画像診断装置の制御プログラム
WO2021200296A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20220218309A1 (en) Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method
JP5981178B2 (ja) 医用画像診断装置、画像処理装置及びプログラム
JP7536777B2 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2021065746A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
US11123043B2 (en) Ultrasound diagnostic apparatus, medical image processing apparatus, and medical image processing method
WO2022202200A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022071250A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20230245306A1 (en) Image processing device, image processing system, image display method, and image processing program
WO2022085373A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202201A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20240016474A1 (en) Image processing device, image processing system, image display method, and image processing program
WO2022202202A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20240177834A1 (en) Image processing device, image processing system, image processing method, and image processing program
US20240242396A1 (en) Image processing device, image processing system, image display method, and image processing program
US20230021992A1 (en) Image processing device, image processing system, image display method, and image processing program
JP2023024072A (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
JP2023136332A (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
JP5936850B2 (ja) 超音波診断装置及び画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21780920

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511935

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21780920

Country of ref document: EP

Kind code of ref document: A1