WO2022071250A1 - 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2022071250A1
WO2022071250A1 PCT/JP2021/035458 JP2021035458W WO2022071250A1 WO 2022071250 A1 WO2022071250 A1 WO 2022071250A1 JP 2021035458 W JP2021035458 W JP 2021035458W WO 2022071250 A1 WO2022071250 A1 WO 2022071250A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
cross
control unit
dimensional
Prior art date
Application number
PCT/JP2021/035458
Other languages
English (en)
French (fr)
Inventor
泰一 坂本
克彦 清水
弘之 石原
クレモン ジャケ
ステフェン チェン
トマ エン
亮介 佐賀
Original Assignee
テルモ株式会社
株式会社ロッケン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社, 株式会社ロッケン filed Critical テルモ株式会社
Priority to JP2022553969A priority Critical patent/JPWO2022071250A1/ja
Publication of WO2022071250A1 publication Critical patent/WO2022071250A1/ja
Priority to US18/190,566 priority patent/US20230252749A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • the present disclosure relates to an image processing device, an image processing system, an image display method, and an image processing program.
  • Patent Documents 1 to 3 describe a technique for generating a three-dimensional image of a heart chamber or a blood vessel using a US imaging system.
  • US is an abbreviation for ultrasonic.
  • IVUS is an abbreviation for intravascular ultrasound.
  • IVUS is a device or method that provides a two-dimensional image of a plane perpendicular to the long axis of the catheter.
  • a 3D image expressing the structure of a living tissue such as a heart cavity or a blood vessel is automatically generated from a 2D image of IVUS, and the generated 3D image is displayed to the operator. Can be considered.
  • the purpose of this disclosure is to show how a part of the structure of living tissue is cut off.
  • the image processing device as one aspect of the present disclosure is an image processing device that displays three-dimensional data representing a living tissue on a display as a three-dimensional image, and cuts to expose the lumen of the living tissue in the three-dimensional image.
  • a control unit is provided which forms a region in the three-dimensional data and displays a two-dimensional image representing a cross section of the biological tissue and a region corresponding to the cut region in the cross section on the display together with the three-dimensional image.
  • control unit accepts an operation of setting a region corresponding to the cut region with respect to a cross-sectional image showing a cross section of the biological tissue, and forms the cut region according to the set region. ..
  • control unit accepts an operation of setting two straight lines extending from one point in the cross-sectional image as an operation of setting a region corresponding to the cutting region.
  • control unit accepts an operation of designating the direction of one of the two straight lines and the angle formed by the two straight lines as an operation of setting the two straight lines. ..
  • control unit accepts an operation of drawing the two straight lines on the cross-sectional image as an operation of setting the two straight lines.
  • the one point is the center of gravity of the cross section of the living tissue
  • the control unit intersects at one line passing through the center of gravity of each cross section of the living tissue, and the two straight lines are formed.
  • the cut region is formed by setting two planes including each as a cut surface.
  • control unit generates, as the two-dimensional image, an image in which the color of the region corresponding to the cutting region is represented by a color different from the remaining region.
  • control unit is a voxel representing at least the inner surface of the biological tissue, or the inner surface of the first voxel group corresponding to the cross section represented by the two-dimensional image in the three-dimensional image.
  • the voxels representing the lumen adjacent to the voxels representing the above are colored separately from the second voxel group corresponding to other cross sections of the living tissue.
  • control unit is not only the first voxel group, but also a voxel group representing at least the inner surface of the voxel group corresponding to a cross section adjacent to the cross section to which the first voxel group corresponds, or the said.
  • Voxels that are adjacent to the voxels that represent the inner surface and that represent the lumen are also colored separately from the voxels that correspond to other cross sections of the living tissue.
  • the image processing system as one aspect of the present disclosure includes the image processing apparatus and a probe having a sensor for acquiring tomographic data of the living tissue while moving in the lumen, and the control unit is operated by the sensor.
  • the three-dimensional data is generated based on the acquired tomographic data.
  • the image processing system further includes the display.
  • the image display method as one aspect of the present disclosure is an image display method in which three-dimensional data representing a living tissue is displayed on a display as a three-dimensional image, and a computer displays a cavity of the living tissue in the three-dimensional image. A cut region to be exposed is formed in the three-dimensional data, and the computer displays a two-dimensional image showing a cross section of the biological tissue and a region corresponding to the cut region in the cross section on the display together with the three-dimensional image. It is to let you.
  • a computer that displays three-dimensional data representing a living tissue as a three-dimensional image on a display displays a cut region that exposes the lumen of the living tissue in the three-dimensional image.
  • a process of forming into dimensional data and a process of displaying a two-dimensional image representing a cross section of the living body tissue and a region corresponding to the cut region in the cross section on the display together with the three-dimensional image are executed.
  • the image processing device 11 is a computer that displays the three-dimensional data 52 representing the biological tissue 60 on the display 16 as the three-dimensional image 53. As shown in FIG. 4, the image processing apparatus 11 forms a cut region 62 in the three-dimensional image 53 that exposes the lumen 63 of the biological tissue 60 in the three-dimensional data 52. As shown in FIG. 2, the image processing device 11 causes the display 16 to display a two-dimensional image 56 representing a cross section 64 of the biological tissue 60 and a region 65 corresponding to the cut region 62 in the cross section 64 together with the three-dimensional image 53. ..
  • the user can grasp from the two-dimensional image 56 what kind of structure the cut-out and not displayed portion of the biological tissue 60 is in the three-dimensional image 53. For example, if the user is an operator, it becomes easier to perform an operation on the inside of the living tissue 60.
  • the image processing device 11 generates and updates the three-dimensional data 52 based on the tomographic data 51 acquired by the sensor that acquires the tomographic data 51 of the biological tissue 60 while moving in the lumen 63 of the biological tissue 60.
  • the image processing apparatus 11 includes at least the biological tissue 60 of the first voxel group 54 corresponding to the cross section 64 shown by the tomographic data 51 newly acquired by the sensor in the three-dimensional image 53.
  • the voxels representing the inner surface 61, or the voxels adjacent to the voxels representing the inner surface 61 and representing the lumen 63, are colored to distinguish them from the second voxel group 55 corresponding to the other cross section of the biological tissue 60.
  • the information currently obtained by the sensor that is, which part of the three-dimensional image 53 the latest information corresponds to, can be understood by the user who is observing the lumen 63 of the biological tissue 60 using the three-dimensional image 53. It will be easier.
  • the voxels representing the inner surface 61 and the voxels representing the lumen 63 may also be colored to distinguish them from the voxel groups corresponding to other cross sections of the biological tissue 60.
  • the width of the voxel group to be colored separately from the voxel group corresponding to other cross sections in the moving direction becomes wider, and the user can easily recognize the voxel group in the three-dimensional image 53. ..
  • all the voxels representing the biological tissue 60 in the first voxel group 54 may be colored separately from the second voxel group 55.
  • the first voxel group 54 is colored differently from the second voxel group 55 even on the cut surface of the living tissue 60 formed for observing the lumen 63 of the living tissue 60, which is the latest. It becomes easier for the user to understand which part of the three-dimensional image 53 the information corresponds to.
  • the image processing apparatus 11 uses the two-dimensional image 56 representing the cross section 64 as a voxel representing at least the inner surface 61 of the biological tissue 60 in the first voxel group 54 corresponding to the cross section 64, or the inner surface thereof.
  • the voxel representing the lumen 63 adjacent to the voxel representing 61 is displayed on the display 16 together with the colored three-dimensional image 53 in distinction from the second voxel group 55 corresponding to the other cross section. Therefore, the relationship between the two-dimensional image 56 and the three-dimensional image 53 can be shown.
  • the biological tissue 60 includes, for example, an organ such as a blood vessel or a heart.
  • the biological tissue 60 is not limited to an anatomically a single organ or a part thereof, but also includes a tissue having a lumen straddling a plurality of organs.
  • An example of such tissue is, specifically, a portion of vascular tissue that extends from the upper part of the inferior vena cava through the right atrium to the lower part of the superior vena cava.
  • the biological tissue 60 is a blood vessel.
  • the operation panel 81, the two-dimensional image 56, the three-dimensional image 53, the first graphic element 86, and the second graphic element 87 are displayed on the screen 80.
  • the operation panel 81 is a GUI component for setting the cutting area 62. "GUI" is an abbreviation for graphic user interface.
  • the operation panel 81 has a check box 82 for selecting whether to activate the setting of the cutting area 62, a slider 83 for setting the base angle, a slider 84 for setting the opening angle, and a center of gravity. There is a check box 85 for selecting whether or not to use.
  • the base angle is the rotation angle of one of the two straight lines L1 and L2 extending from one point M in the cross-sectional image showing the cross section 64 of the biological tissue 60. Therefore, setting the base angle corresponds to setting the direction of the straight line L1.
  • the opening angle is the angle between the two straight lines L1 and L2. Therefore, setting the opening angle corresponds to setting the angle formed by the two straight lines L1 and L2.
  • the point M is the center of gravity of the cross section 64. The point M may be set to a point other than the center of gravity on the cross section 64 when it is selected not to use the center of gravity.
  • the two-dimensional image 56 is an image obtained by processing a cross-sectional image.
  • the color of the region 65 corresponding to the cut region 62 is changed in order to clearly indicate which part of the cross section 64 is cut.
  • the viewpoint when displaying the three-dimensional image 53 on the screen 80 is adjusted according to the position of the cutting region 62.
  • the viewpoint is the position of the virtual camera 71 arranged in the three-dimensional space.
  • the position of the camera 71 with respect to the cross section 64 is displayed.
  • the cutting region 62 can be determined using the two-dimensional image 56. Specifically, as shown in FIG. 3, by adjusting the base angle or the opening angle, the position or size of the region 65 separated by the two straight lines L1 and L2 in the two-dimensional image 56 is set. , The position or size of the cutting area 62 can be set. For example, when the base angle is changed so that the straight line L1 rotates counterclockwise by about 90 degrees, a region 65a moved according to the change in the base angle is obtained in the two-dimensional image 56a. Then, the position of the cutting region 62 is adjusted according to the position of the region 65a.
  • a region 65b that is enlarged according to the change in the opening angle can be obtained in the two-dimensional image 56b.
  • the size of the cutting region 62 is adjusted according to the size of the region 65b.
  • both the position and the size of the cutting region 62 can be set.
  • the position of the camera 71 may be appropriately adjusted according to the position or size of the cutting region 62.
  • the image corresponding to the current position of the sensor that is, the latest image is always displayed as the two-dimensional image 56, but as a modification of the present embodiment, after the cutting region 62 is determined, , An image corresponding to a position other than the current position of the sensor may be displayed as a two-dimensional image 56.
  • the base angle may be set by dragging the straight line L1 instead of being set by operating the slider 83, or may be set by inputting a numerical value. May be good.
  • the opening angle may be set by dragging the straight line L2 or by inputting a numerical value instead of being set by operating the slider 84.
  • the cut area 62 determined by using the two-dimensional image 56 is hidden or transparent. Further, in the three-dimensional image 53, the first voxel group corresponding to the current position of the sensor is used to represent the position where the sensor is currently present in the longitudinal direction of the lumen 63 and is currently being updated in real time. The colors of 54 have been changed.
  • the voxel representing the inner surface 61 of the biological tissue 60 is set to a color different from that of the second voxel group 55, whereby the second voxel is set.
  • the voxels representing the living tissue 60 in the first voxel group 54 may be set to different colors. ..
  • the contrast between the first voxel group 54 and the second voxel group 55 is adjusted, so that the first voxel group 54 and the second voxel group 55 are set to different colors.
  • the 1 voxel group 54 may be colored separately from the 2nd voxel group 55.
  • the first graphic element 86 is a graphic element representing the movement range of the sensor.
  • the second graphic element 87 is a graphic element representing the position of the sensor.
  • the combination of the first graphic element 86 and the second graphic element 87 is configured as a slider.
  • the first graphic element 86 and the second graphic element 87 may be displayed at arbitrary positions, but in the present embodiment, they are displayed on the right side of the three-dimensional image 53.
  • the X direction and the Y direction orthogonal to the X direction correspond to the lateral direction of the lumen 63 of the living tissue 60, respectively.
  • the Z direction orthogonal to the X direction and the Y direction corresponds to the longitudinal direction of the lumen 63 of the living tissue 60.
  • the check box 85 of the operation panel 81 is in the checked state, that is, it is selected to use the center of gravity.
  • the image processing device 11 calculates the positions of the centers of gravity B1, B2, B3, B4 of each of the cross sections C1, C2, C3, and C4 of the biological tissue 60 using the three-dimensional data 52.
  • the image processing device 11 sets two planes that intersect at one line Lb passing through the positions of the centers of gravity B1, B2, B3, and B4 and include two straight lines L1 and L2, respectively, as cut planes P1 and P2. For example, assuming that the point M shown in FIG.
  • the image processing device 11 forms a region that is sandwiched between the cut surfaces P1 and P2 in the three-dimensional image 53 and exposes the lumen 63 of the biological tissue 60 as a cut region 62 in the three-dimensional data 52.
  • cross sections C1, C2, C3, and C4 are shown as a plurality of cross sections in the lateral direction of the lumen 63 of the biological tissue 60, but the number of cross sections for which the position of the center of gravity is calculated is four.
  • the number is not limited to one, and is preferably the same as the number of cross-sectional images acquired by IVUS.
  • the check box 85 of the operation panel 81 is not checked, that is, it is selected not to use the center of gravity.
  • the image processing apparatus 11 intersects at one arbitrary line passing through the point M, such as a straight line extending in the Z direction through the point M, and includes two straight lines L1 and L2, respectively.
  • the plane is set as the cut surfaces P1 and P2.
  • the image processing system 10 includes an image processing device 11, a cable 12, a drive unit 13, a keyboard 14, a mouse 15, and a display 16.
  • the image processing device 11 is a dedicated computer specialized for image diagnosis in the present embodiment, but may be a general-purpose computer such as a PC. "PC” is an abbreviation for personal computer.
  • the cable 12 is used to connect the image processing device 11 and the drive unit 13.
  • the drive unit 13 is a device used by connecting to the probe 20 shown in FIG. 5 to drive the probe 20.
  • the drive unit 13 is also called an MDU.
  • MDU is an abbreviation for motor drive unit.
  • the probe 20 is applied to IVUS.
  • the probe 20 is also called an IVUS catheter or a diagnostic imaging catheter.
  • the keyboard 14, the mouse 15, and the display 16 are connected to the image processing device 11 via an arbitrary cable or wirelessly.
  • the display 16 is, for example, an LCD, an organic EL display, or an HMD.
  • LCD is an abbreviation for liquid crystal display.
  • EL is an abbreviation for electroluminescence.
  • HMD is an abbreviation for head-mounted display.
  • the image processing system 10 further includes a connection terminal 17 and a cart unit 18 as options.
  • connection terminal 17 is used to connect the image processing device 11 and an external device.
  • the connection terminal 17 is, for example, a USB terminal.
  • USB is an abbreviation for Universal Serial Bus.
  • the external device is, for example, a recording medium such as a magnetic disk drive, a magneto-optical disk drive, or an optical disk drive.
  • the cart unit 18 is a cart with casters for movement.
  • An image processing device 11, a cable 12, and a drive unit 13 are installed in the cart body of the cart unit 18.
  • a keyboard 14, a mouse 15, and a display 16 are installed on the table at the top of the cart unit 18.
  • the probe 20 includes a drive shaft 21, a hub 22, a sheath 23, an outer tube 24, an ultrasonic vibrator 25, and a relay connector 26.
  • the drive shaft 21 passes through the sheath 23 inserted into the body cavity of the living body and the outer tube 24 connected to the base end of the sheath 23, and extends to the inside of the hub 22 provided at the base end of the probe 20.
  • the drive shaft 21 has an ultrasonic vibrator 25 for transmitting and receiving signals at its tip, and is rotatably provided in the sheath 23 and the outer tube 24.
  • the relay connector 26 connects the sheath 23 and the outer pipe 24.
  • the hub 22, the drive shaft 21, and the ultrasonic vibrator 25 are connected to each other so as to move forward and backward in the axial direction. Therefore, for example, when the hub 22 is pushed toward the tip side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the tip side. For example, when the hub 22 is pulled toward the proximal end side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the proximal end side as shown by arrows.
  • the drive unit 13 includes a scanner unit 31, a slide unit 32, and a bottom cover 33.
  • the scanner unit 31 is connected to the image processing device 11 via the cable 12.
  • the scanner unit 31 includes a probe connecting portion 34 connected to the probe 20 and a scanner motor 35 which is a drive source for rotating the drive shaft 21.
  • the probe connecting portion 34 is detachably connected to the probe 20 via the insertion port 36 of the hub 22 provided at the base end of the probe 20. Inside the hub 22, the base end of the drive shaft 21 is rotatably supported, and the rotational force of the scanner motor 35 is transmitted to the drive shaft 21. In addition, signals are transmitted and received between the drive shaft 21 and the image processing device 11 via the cable 12. The image processing device 11 generates a tomographic image of the living lumen and performs image processing based on the signal transmitted from the drive shaft 21.
  • the slide unit 32 mounts the scanner unit 31 so as to be able to move forward and backward, and is mechanically and electrically connected to the scanner unit 31.
  • the slide unit 32 includes a probe clamp portion 37, a slide motor 38, and a switch group 39.
  • the probe clamp portion 37 is provided coaxially with the probe connecting portion 34 on the tip side thereof, and supports the probe 20 connected to the probe connecting portion 34.
  • the slide motor 38 is a drive source that generates a drive force in the axial direction.
  • the scanner unit 31 moves forward and backward by driving the slide motor 38, and the drive shaft 21 moves forward and backward in the axial direction accordingly.
  • the slide motor 38 is, for example, a servo motor.
  • the switch group 39 includes, for example, a forward switch and a pullback switch that are pressed when the scanner unit 31 is moved forward and backward, and a scan switch that is pressed at the start and end of image rendering. Not limited to the example here, various switches are included in the switch group 39 as needed.
  • the slide motor 38 rotates in the forward direction and the scanner unit 31 moves forward.
  • the pullback switch is pressed, the slide motor 38 rotates in the reverse direction, and the scanner unit 31 retracts.
  • the scanner motor 35 When the scan switch is pressed, image rendering is started, the scanner motor 35 is driven, and the slide motor 38 is driven to retract the scanner unit 31.
  • a user such as an operator connects the probe 20 to the scanner unit 31 in advance so that the drive shaft 21 moves to the axial base end side while rotating at the start of image rendering.
  • the scanner motor 35 and the slide motor 38 stop when the scan switch is pressed again, and the image rendering ends.
  • the bottom cover 33 covers the bottom surface of the slide unit 32 and the entire circumference of the side surface on the bottom surface side, and is freely close to and separated from the bottom surface of the slide unit 32.
  • the image processing device 11 includes a control unit 41, a storage unit 42, a communication unit 43, an input unit 44, and an output unit 45.
  • the control unit 41 includes at least one processor, at least one programmable circuit, at least one dedicated circuit, or any combination thereof.
  • the processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a specific process.
  • CPU is an abbreviation for central processing unit.
  • GPU is an abbreviation for graphics processing unit.
  • the programmable circuit is, for example, an FPGA.
  • FPGA is an abbreviation for field-programmable gate array.
  • the dedicated circuit is, for example, an ASIC.
  • ASIC is an abbreviation for application specific integrated circuit.
  • the control unit 41 executes processing related to the operation of the image processing device 11 while controlling each unit of the image processing system 10 including the image processing device 11.
  • the storage unit 42 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or any combination thereof.
  • the semiconductor memory is, for example, RAM or ROM.
  • RAM is an abbreviation for random access memory.
  • ROM is an abbreviation for read only memory.
  • the RAM is, for example, an SRAM or a DRAM.
  • SRAM is an abbreviation for static random access memory.
  • DRAM is an abbreviation for dynamic random access memory.
  • the ROM is, for example, EEPROM.
  • EEPROM is an abbreviation for electrically erasable programmable read only memory.
  • the storage unit 42 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 42 stores data used for the operation of the image processing device 11 such as tomographic data 51 and data obtained by the operation of the image processing device 11 such as the three-dimensional data 52 and the three-dimensional image 53. ..
  • the communication unit 43 includes at least one communication interface.
  • the communication interface is, for example, a wired LAN interface, a wireless LAN interface, or an image diagnostic interface that receives and A / D-converts an IVUS signal.
  • LAN is an abbreviation for local area network.
  • a / D is an abbreviation for analog to digital.
  • the communication unit 43 receives the data used for the operation of the image processing device 11 and transmits the data obtained by the operation of the image processing device 11.
  • the drive unit 13 is connected to the image diagnosis interface included in the communication unit 43.
  • the input unit 44 includes at least one input interface.
  • the input interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface corresponding to a short-range wireless communication standard such as Bluetooth (registered trademark).
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI High-Definition Multimedia Interface
  • the input unit 44 accepts user operations such as an operation for inputting data used for the operation of the image processing device 11.
  • the keyboard 14 and the mouse 15 are connected to the USB interface included in the input unit 44 or the interface corresponding to short-range wireless communication.
  • the touch screen is provided integrally with the display 16, the display 16 may be connected to the USB interface or the HDMI (registered trademark) interface included in the input unit 44.
  • the output unit 45 includes at least one output interface.
  • the output interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface corresponding to a short-range wireless communication standard such as Bluetooth (registered trademark).
  • the output unit 45 outputs the data obtained by the operation of the image processing device 11.
  • the display 16 is connected to the USB interface or the HDMI (registered trademark) interface included in the output unit 45.
  • the function of the image processing device 11 is realized by executing the image processing program according to the present embodiment on the processor as the control unit 41. That is, the function of the image processing device 11 is realized by software.
  • the image processing program causes the computer to function as the image processing device 11 by causing the computer to execute the operation of the image processing device 11. That is, the computer functions as the image processing device 11 by executing the operation of the image processing device 11 according to the image processing program.
  • the program can be stored on a non-temporary computer-readable medium.
  • the non-temporary computer readable medium is, for example, a flash memory, a magnetic recording device, an optical disk, a photomagnetic recording medium, or a ROM.
  • the distribution of the program is performed, for example, by selling, transferring, or renting a portable medium such as an SD card, DVD, or CD-ROM in which the program is stored.
  • SD is an abbreviation for Secure Digital.
  • DVD is an abbreviation for digital versatile disc.
  • CD-ROM is an abbreviation for compact disc read only memory.
  • the program may be distributed by storing the program in the storage of the server and transferring the program from the server to another computer.
  • the program may be provided as a program product.
  • the computer temporarily stores the program stored in the portable medium or the program transferred from the server in the main storage device. Then, the computer reads the program stored in the main storage device by the processor, and executes the processing according to the read program by the processor.
  • the computer may read the program directly from the portable medium and perform processing according to the program.
  • the computer may sequentially execute processing according to the received program each time the program is transferred from the server to the computer.
  • the process may be executed by a so-called ASP type service that realizes the function only by the execution instruction and the result acquisition without transferring the program from the server to the computer. "ASP" is an abbreviation for application service provider.
  • the program includes information used for processing by a computer and equivalent to the program. For example, data that is not a direct command to the computer but has the property of defining the processing of the computer corresponds to "a program-like data".
  • a part or all the functions of the image processing device 11 may be realized by a programmable circuit or a dedicated circuit as the control unit 41. That is, some or all the functions of the image processing device 11 may be realized by hardware.
  • the operation of the image processing system 10 according to the present embodiment will be described with reference to FIGS. 7 and 8.
  • the operation of the image processing system 10 corresponds to the image display method according to the present embodiment.
  • the probe 20 Prior to the start of the flow of FIG. 7, the probe 20 is primed by the user. After that, the probe 20 is fitted into the probe connecting portion 34 and the probe clamp portion 37 of the drive unit 13, and is connected and fixed to the drive unit 13. Then, the probe 20 is inserted to a target site in the biological tissue 60 such as a blood vessel or the heart.
  • step S101 the scan switch included in the switch group 39 is pressed, and the pullback switch included in the switch group 39 is pressed to perform a so-called pullback operation.
  • the probe 20 transmits ultrasonic waves inside the living tissue 60 by an ultrasonic vibrator 25 that retracts in the axial direction by a pullback operation.
  • the ultrasonic vibrator 25 transmits ultrasonic waves in a radial manner while moving inside the living tissue 60.
  • the ultrasonic oscillator 25 receives the reflected wave of the transmitted ultrasonic wave.
  • the probe 20 inputs the signal of the reflected wave received by the ultrasonic vibrator 25 to the image processing device 11.
  • the control unit 41 of the image processing device 11 processes the input signal to sequentially generate a cross-sectional image of the biological tissue 60, thereby acquiring tomographic data 51 including a plurality of cross-sectional images.
  • the probe 20 has a plurality of probes 20 moving outward from the center of rotation by the ultrasonic vibrator 25 while rotating the ultrasonic vibrator 25 in the circumferential direction and moving the ultrasonic vibrator 25 in the axial direction inside the biological tissue 60.
  • the probe 20 receives the reflected wave from the reflecting object existing in each of the plurality of directions inside the living tissue 60 by the ultrasonic vibrator 25.
  • the probe 20 transmits the received reflected wave signal to the image processing device 11 via the drive unit 13 and the cable 12.
  • the communication unit 43 of the image processing device 11 receives the signal transmitted from the probe 20.
  • the communication unit 43 performs A / D conversion of the received signal.
  • the communication unit 43 inputs the A / D converted signal to the control unit 41.
  • the control unit 41 processes the input signal to calculate the intensity value distribution of the reflected wave from the reflecting object existing in the transmission direction of the ultrasonic wave of the ultrasonic vibrator 25.
  • the control unit 41 sequentially generates a two-dimensional image having a brightness value distribution corresponding to the calculated intensity value distribution as a cross-sectional image of the biological tissue 60, thereby acquiring the tomographic data 51 which is a data set of the cross-sectional image.
  • the control unit 41 stores the acquired tomographic data 51 in the storage unit 42.
  • the reflected wave signal received by the ultrasonic transducer 25 corresponds to the raw data of the tomographic data 51, and the cross-sectional image generated by the image processing device 11 processing the reflected wave signal is the tomographic data. It corresponds to the processing data of 51.
  • the control unit 41 of the image processing device 11 may store the signal input from the probe 20 as it is in the storage unit 42 as tomographic data 51.
  • the control unit 41 may store the data showing the intensity value distribution of the reflected wave calculated by processing the signal input from the probe 20 in the storage unit 42 as the tomographic data 51.
  • the tomographic data 51 is not limited to the data set of the cross-sectional image of the biological tissue 60, and may be any data that represents the cross-section of the biological tissue 60 at each moving position of the ultrasonic vibrator 25 in some form.
  • an ultrasonic vibrator that transmits ultrasonic waves in a plurality of directions without rotating is used. You may.
  • the tomographic data 51 may be acquired using OFDI or OCT instead of being acquired using IVUS.
  • OFDI is an abbreviation for optical frequency domain imaging.
  • OCT is an abbreviation for optical coherence tomography.
  • OFDI or OCT as a sensor for acquiring tomographic data 51 while moving in the lumen 63 of the biological tissue 60, ultrasonic waves are transmitted in the lumen 63 of the biological tissue 60 to acquire the tomographic data 51.
  • a sensor that radiates light in the lumen 63 of the living tissue 60 and acquires tomographic data 51 is used.
  • another device instead of the image processing device 11 generating a data set of a cross-sectional image of the biological tissue 60, another device generates a similar data set, and the image processing device 11 uses the data set. It may be obtained from the other device. That is, instead of the control unit 41 of the image processing device 11 processing the IVUS signal to generate a cross-sectional image of the biological tissue 60, another device processes the IVUS signal to produce a cross-sectional image of the biological tissue 60. You may generate and input the generated cross-sectional image to the image processing apparatus 11.
  • step S102 the control unit 41 of the image processing device 11 generates three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S101. That is, the control unit 41 generates the three-dimensional data 52 based on the tomographic data 51 acquired by the sensor.
  • the control unit 41 when the already generated 3D data 52 exists, it is possible to update only the data at the corresponding location by the updated fault data 51 instead of regenerating all the 3D data 52 from scratch. preferable. In that case, the amount of data processing when generating the three-dimensional data 52 can be reduced, and the real-time property of the three-dimensional image 53 in the subsequent step S103 can be improved.
  • control unit 41 of the image processing device 11 superimposes the cross-sectional images of the biological tissue 60 included in the tomographic data 51 stored in the storage unit 42 to make the biological tissue 60 three-dimensional. Generate dimensional data 52.
  • the three-dimensional method any method among rendering methods such as surface rendering or volume rendering, and accompanying various processes such as texture mapping including environment mapping and bump mapping is used.
  • the control unit 41 stores the generated three-dimensional data 52 in the storage unit 42.
  • step S103 the control unit 41 of the image processing device 11 displays the three-dimensional data 52 generated in step S102 on the display 16 as a three-dimensional image 53.
  • the control unit 41 may set the angle at which the three-dimensional image 53 is displayed to an arbitrary angle.
  • the control unit 41 displays the latest cross-sectional image included in the tomographic data 51 acquired in step S101 on the display 16 together with the three-dimensional image 53.
  • control unit 41 of the image processing device 11 generates a three-dimensional image 53 from the three-dimensional data 52 stored in the storage unit 42.
  • the control unit 41 displays the latest cross-sectional image and the generated three-dimensional image 53 of the cross-sectional images of the biological tissue 60 included in the tomographic data 51 stored in the storage unit 42 via the output unit 45. To display.
  • the control unit 41 of the image processing apparatus 11 is the biological tissue 60 of the first voxel group 54 corresponding to the cross section 64 shown by the tomographic data 51 newly acquired by the sensor in the three-dimensional image 53.
  • the voxels representing the inner surface 61 of the living tissue 60 are colored separately from the second voxel group 55 corresponding to the other cross section of the biological tissue 60.
  • the control unit 41 uses the color of the voxel representing the inner surface 61 of the biological tissue 60 in the first voxel group 54 as any color of the second voxel group 55. By setting different colors, among the first voxel group 54, the voxels representing the inner surface 61 of the biological tissue 60 are colored separately from the second voxel group 55.
  • the control unit 41 of the image processing apparatus 11 sets all the voxels representing the biological tissue 60 in the first voxel group 54 as the second voxel group 55. You may color it separately. Specifically, the control unit 41 sets the colors of all the voxels representing the biological tissue 60 in the first voxel group 54 to be different from any of the colors of the second voxel group 55, so that the first voxel can be used. Of the group 54, all voxels representing the biological tissue 60 may be colored separately from the second voxel group 55.
  • the control unit 41 of the image processing device 11 combines the first graphic element 86 and the second graphic element 87 and displays them on the display 16 together with the three-dimensional image 53. Specifically, as shown in FIG. 2, the control unit 41 connects a slider configured by combining the first graphic element 86 and the second graphic element 87 to the right side of the three-dimensional image 53 via the output unit 45. To display.
  • the control unit 41 of the image processing device 11 sets the first graphic element 86 in a direction in which the longitudinal direction of the lumen 63 in the three-dimensional image 53 and the long axis direction of the first graphic element 86 are parallel to each other. It is displayed on the display 16. Specifically, as shown in FIG. 2, the control unit 41 matches the movement range of the sensor indicated by the first graphic element 86 with the display range of the three-dimensional image 53 in the vertical direction of the screen 80. At the same time, the position of the sensor indicated by the second graphic element 87 and the position of the first voxel group 54 are matched.
  • step S104 if there is an operation of setting an angle for displaying the three-dimensional image 53 as a user change operation, the process of step S105 is performed. If there is no change operation by the user, the process of step S106 is performed.
  • step S105 the control unit 41 of the image processing device 11 receives an operation of setting an angle for displaying the three-dimensional image 53 via the input unit 44.
  • the control unit 41 adjusts the angle at which the three-dimensional image 53 is displayed to the set angle.
  • step S103 the control unit 41 causes the display 16 to display the three-dimensional image 53 at the angle set in step S105.
  • control unit 41 of the image processing device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 to display the three-dimensional image 53 displayed on the display 16.
  • the operation of rotating is received via the input unit 44.
  • the control unit 41 interactively adjusts the angle at which the three-dimensional image 53 is displayed on the display 16 according to the user's operation.
  • the control unit 41 uses the input unit 44 to input the numerical value of the angle at which the three-dimensional image 53 is displayed by the user using the touch screen provided integrally with the keyboard 14, the mouse 15, or the display 16. Accept through.
  • the control unit 41 adjusts the angle at which the three-dimensional image 53 is displayed on the display 16 according to the input numerical value.
  • step S106 If the fault data 51 is updated in step S106, the processes of steps S107 and S108 are performed. If the fault data 51 is not updated, the presence or absence of the user's change operation is confirmed again in step S104.
  • step S107 the control unit 41 of the image processing apparatus 11 processes at least one cross-sectional image of the biological tissue 60 by processing the signal input from the probe 20 as in the process of step S101.
  • the tomographic data 51 including a new cross-sectional image is acquired.
  • step S108 the control unit 41 of the image processing device 11 updates the three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S107. That is, the control unit 41 updates the three-dimensional data 52 based on the tomographic data 51 acquired by the sensor. Then, in step S103, the control unit 41 displays the three-dimensional data 52 updated in step S108 on the display 16 as a three-dimensional image 53. The control unit 41 displays the latest cross-sectional image included in the tomographic data 51 acquired in step S107 on the display 16 together with the three-dimensional image 53. In step S108, it is preferable that only the data at the location corresponding to the updated fault data 51 is updated. In that case, the amount of data processing when generating the three-dimensional data 52 can be reduced, and the real-time property of the three-dimensional image 53 can be improved in step S108.
  • step S111 if there is an operation for setting the disconnection area 62 as a user setting operation, the process of step S112 is performed.
  • step S112 the control unit 41 of the image processing device 11 receives the operation of setting the cutting area 62 via the input unit 44.
  • control unit 41 of the image processing device 11 performs an operation of setting an area 65 corresponding to the cutting area 62 with respect to the cross-sectional image displayed on the display 16 in step S103 via the input unit 44.
  • control unit 41 accepts an operation of setting two straight lines L1 and L2 extending from one point M in the cross-sectional image as an operation of setting the area 65 corresponding to the cutting area 62.
  • control unit 41 of the image processing device 11 allows the user to integrally set the base angle and the opening angle with the keyboard 14, the mouse 15, or the display 16 on the operation panel 81 as shown in FIG.
  • An operation specified by using the provided touch screen is received via the input unit 44. That is, the control unit 41 designates the direction of one of the two straight lines L1 and L2 and the angle formed by the two straight lines L1 and L2 as an operation for setting the two straight lines L1 and L2. Accept the operation to be performed.
  • the check box 85 of the operation panel 81 is in the checked state, that is, it is selected to use the center of gravity.
  • the control unit 41 of the image processing device 11 uses the two straight lines L1 and L2 as the keyboard 14, the mouse 15, or the display 16 on the cross-sectional image displayed on the display 16.
  • the operation of drawing using the integrally provided touch screen may be accepted via the input unit 44. That is, the control unit 41 may accept an operation of drawing two straight lines L1 and L2 on the cross-sectional image as an operation of setting the two straight lines L1 and L2.
  • step S113 the control unit 41 of the image processing device 11 calculates the position of the center of gravity of a plurality of cross sections of the lumen 63 of the biological tissue 60 in the lateral direction using the latest three-dimensional data 52 stored in the storage unit 42. ..
  • the latest 3D data 52 is the 3D data 52 generated in step S102 if the processing of step S108 has not been performed, and is updated in step S108 if the processing of step S108 has been performed. It is the three-dimensional data 52 that has been created.
  • the control unit 41 of the image processing device 11 After replacing it with the new cross-sectional image, binarize it.
  • the control unit 41 extracts a point cloud on the inner surface of the biological tissue 60 from the binarized cross-sectional image.
  • the control unit 41 extracts one point corresponding to the inner surface of the main blood vessel along the vertical direction of the cross-sectional image having the r-axis as the horizontal axis and the ⁇ -axis as the vertical axis, thereby extracting the inner surface of the blood vessel one by one. Extract the point cloud of.
  • the position of the center of gravity obtained as a result is shown in FIG.
  • the point Cn is the center of the cross-sectional image.
  • the point Bp is the center of gravity of the point cloud on the inner surface.
  • the point Bv is the center of gravity of the vertices of the polygon.
  • the point Bx is the center of gravity of the polygon as a convex hull.
  • a method for calculating the position of the center of gravity of a blood vessel a method different from the method for calculating the position of the center of gravity of a polygon as a convex hull may be used.
  • a method of calculating the center position of the maximum circle that fits in the main blood vessel as the position of the center of gravity may be used.
  • a method of calculating the average position of the pixels in the main blood vessel region as the position of the center of gravity may be used. Similar methods can be used even when the living tissue 60 is not a blood vessel.
  • step S114 the control unit 41 of the image processing device 11 executes smoothing on the calculation result of the center of gravity position in step S113.
  • control unit 41 of the image processing device 11 executes smoothing on the calculation result of the position of the center of gravity by using the moving average as shown by the broken line in FIG.
  • a method different from the moving average may be used. For example, exponential smoothing, kernel method, local regression, Ramer-Douglas-Peucker algorithm, Sabitsky Goley method, smoothing spline, or SGM may be used. Alternatively, a method of performing a fast Fourier transform and then removing the high frequency component may be used. Alternatively, a Kalman filter or a low-pass filter such as a Butterworth filter, a Chebyshev filter, a digital filter, an elliptic filter, or a KZ filter may be used. "SGM” is an abbreviation for stretched grid method. "KZ” is an abbreviation for Kolmogorov-Zurbenko.
  • the control unit 41 divides and divides the calculation result of the center of gravity position according to the positions of the plurality of cross sections of the lumen 63 of the living tissue 60 in the longitudinal direction of the lumen 63 of the living tissue 60. Smoothing may be executed for each calculation result. That is, when the curve of the center of gravity position overlaps the tissue region as shown by the broken line in FIG. 13, the control unit 41 divides the curve of the center of gravity position into a plurality of sections and executes individual smoothing for each section. good.
  • control unit 41 performs smoothing on the calculation result of the center of gravity position according to the positions of a plurality of cross sections of the lumen 63 of the living tissue 60 in the longitudinal direction of the lumen 63 of the living tissue 60.
  • the degree may be adjusted. That is, when the curve of the center of gravity position as shown by the broken line in FIG. 13 overlaps the tissue region, the control unit 41 may reduce the degree of smoothing performed for a part of the section including the overlapped points. ..
  • step S115 the control unit 41 of the image processing apparatus 11 sets, as shown in FIG. 4, two planes intersecting by one line Lb passing through the position of the center of gravity calculated in step S113 as the cut surfaces P1 and P2. ..
  • the control unit 41 sets the cut surfaces P1 and P2 after performing smoothing on the calculation result of the center of gravity position in step S114, but the processing in step S114 may be omitted.
  • control unit 41 of the image processing device 11 sets the curve of the position of the center of gravity obtained as a result of the smoothing in step S114 as the line Lb.
  • the control unit 41 sets two planes that intersect at the set line Lb and include the two straight lines L1 and L2 set in step S112, respectively, as the cut surfaces P1 and P2.
  • the control unit 41 sets the three-dimensional coordinates intersecting the cut surfaces P1 and P2 of the biological tissue 60 in the latest three-dimensional data 52 stored in the storage unit 42, and the lumen 63 of the biological tissue 60 in the three-dimensional image 53. It is specified as the three-dimensional coordinates of the edge of the opening to be exposed.
  • the control unit 41 stores the specified three-dimensional coordinates in the storage unit 42.
  • step S116 the control unit 41 of the image processing apparatus 11 is sandwiched between the cut surfaces P1 and P2 in the three-dimensional image 53, and the region that exposes the lumen 63 of the biological tissue 60 is formed in the three-dimensional data 52 as the cut region 62. do.
  • control unit 41 of the image processing device 11 displays a portion of the latest 3D data 52 stored in the storage unit 42 specified by the 3D coordinates stored in the storage unit 42 as a 3D image.
  • the control unit 41 forms the cutting region 62 in accordance with the region 65 set in step S112.
  • step S117 the control unit 41 of the image processing device 11 displays the three-dimensional data 52 forming the cutting region 62 in step S116 on the display 16 as a three-dimensional image 53.
  • the control unit 41 includes a cross section 64 shown by the tomographic data 51 newly acquired by the sensor, which is represented by a cross section image displayed on the display 16 in step S103, and a region 65 corresponding to the cutting region 62 in the cross section 64.
  • the two-dimensional image 56 representing the above is displayed on the display 16 together with the three-dimensional image 53.
  • control unit 41 of the image processing device 11 processes the latest cross-sectional image of the cross-sectional image of the biological tissue 60 included in the tomographic data 51 stored in the storage unit 42, and is shown in FIG. Such a two-dimensional image 56 is generated.
  • the control unit 41 generates a three-dimensional image 53 as shown in FIG. 2, in which the portion specified by the three-dimensional coordinates stored in the storage unit 42 is hidden or transparent.
  • the control unit 41 displays the generated two-dimensional image 56 and three-dimensional image 53 on the display 16 via the output unit 45.
  • the control unit 41 of the image processing apparatus 11 represents the color of the region 65 corresponding to the cutting region 62 as a two-dimensional image 56 with a color different from the remaining regions. Generate an image. For example, it is conceivable to change the white portion in a general IVUS image to red in the region 65.
  • step S118 if there is an operation of setting the disconnection area 62 as a user change operation, the process of step S119 is performed. If there is no change operation by the user, the process of step S120 is performed.
  • step S119 the control unit 41 of the image processing device 11 receives the operation of setting the cutting area 62 via the input unit 44, as in the process of step S112. Then, the processing after step S115 is performed.
  • step S120 If the fault data 51 is updated in step S120, the processes of steps S121 and S122 are performed. If the fault data 51 is not updated, the presence or absence of the user's change operation is confirmed again in step S118.
  • step S121 the control unit 41 of the image processing apparatus 11 processes the signal input from the probe 20 to newly generate a cross-sectional image of the biological tissue 60, as in the process of step S101 or step S107.
  • the tomographic data 51 including at least one new cross-sectional image is acquired.
  • step S122 the control unit 41 of the image processing device 11 updates the three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S121. After that, the processing after step S113 is performed. In step S122, it is preferable that only the data at the location corresponding to the updated fault data 51 is updated. In that case, the amount of data processing when generating the three-dimensional data 52 can be reduced, and the real-time performance of the data processing after step S113 can be improved.
  • the control unit 41 of the image processing device 11 displays the three-dimensional data 52 representing the biological tissue 60 on the display 16 as the three-dimensional image 53.
  • the control unit 41 forms a cut region 62 in the three-dimensional data 52 that exposes the lumen 63 of the biological tissue 60 in the three-dimensional image 53.
  • the control unit 41 displays the two-dimensional image 56 representing the cross section 64 of the biological tissue 60 and the region 65 corresponding to the cut region 62 in the cross section 64 on the display 16 together with the three-dimensional image 53.
  • the user can grasp from the two-dimensional image 56 what kind of structure the cut-out and not displayed portion of the biological tissue 60 is in the three-dimensional image 53. For example, if the user is an operator, it becomes easier to perform an operation on the inside of the living tissue 60.
  • the control unit 41 of the image processing apparatus 11 moves the living tissue 60 based on the tomographic data 51 acquired by the sensor that acquires the tomographic data 51 of the living tissue 60 while moving through the lumen 63 of the living tissue 60.
  • the three-dimensional data 52 representing 60 is generated and updated.
  • the control unit 41 displays the three-dimensional data 52 as a three-dimensional image 53 on the display 16.
  • the control unit 41 is a voxel representing at least the inner surface 61 of the biological tissue 60 among the first voxel group 54 corresponding to the cross section 64 shown by the tomographic data 51 newly acquired by the sensor in the three-dimensional image 53.
  • the voxels representing the lumen 63 adjacent to the voxels representing the inner surface 61 are colored to distinguish them from the second voxel group 55 corresponding to other cross sections of the biological tissue 60.
  • the information currently obtained by the sensor that is, which part of the three-dimensional image 53 the latest information corresponds to, can be understood by the user observing the lumen 63 of the biological tissue 60 using the three-dimensional image 53. It will be easier.
  • the present disclosure is not limited to the above-described embodiment.
  • two or more blocks described in the block diagram may be integrated, or one block may be divided.
  • they may be executed in parallel or in a different order according to the processing power of the device that executes each step, or as necessary. good.
  • Other changes are possible without departing from the spirit of this disclosure.
  • Image processing system 11 Image processing device 12 Cable 13 Drive unit 14 Keyboard 15 Mouse 16 Display 17 Connection terminal 18 Cart unit 20 Probe 21 Drive shaft 22 Hub 23 Sheath 24 Outer tube 25 Ultrasonic transducer 26 Relay connector 31 Scanner unit 32 Slide Unit 33 Bottom cover 34 Probe connection 35 Scanner motor 36 Outlet 37 Probe clamp 38 Slide motor 39 Switch group 41 Control 42 Storage 43 Communication 44 Input 45 Output 51 Fault data 52 3D data 53 3D Image 54 1st boxel group 55 2nd boxel group 56, 56a, 56b 2D image 60 Living tissue 61 Inner surface 62 Cutting area 63 Chamber 64 Cross section 65, 65a, 65b area 71 Camera 80 Screen 81 Operation panel 82 Check box 83 Slider 84 Slider 85 Check box 86 1st graphic element 87 2nd graphic element

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置は、生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、前記３次元画像において前記生体組織の内腔を露出させる切断領域を前記３次元データに形成し、前記生体組織の断面と、当該断面において前記切断領域に相当する領域とを表す２次元画像を前記３次元画像とともに前記ディスプレイに表示させる制御部を備える。

Description

画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
　本開示は、画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラムに関する。
　特許文献１から特許文献３には、ＵＳ画像システムを用いて心腔又は血管の３次元画像を生成する技術が記載されている。「ＵＳ」は、ultrasoundの略語である。
米国特許出願公開第２０１０／０２１５２３８号明細書 米国特許第６３８５３３２号明細書 米国特許第６２５１０７２号明細書
　心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる治療が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。
　現状として、術者は頭の中でＩＶＵＳの２次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。
　しかし、術者が３次元画像で生体組織の外壁しか見えないのであれば、生体組織の内部に対する施術を行えない。そのため、３次元画像において、生体組織の構造の一部を切り取り、内腔を覗けるようにすることが考えられる。その際、どのように生体組織の構造の一部が切り取られているかを確認できるようにすることが求められる。
　本開示の目的は、どのように生体組織の構造の一部が切り取られているかを示すことである。
　本開示の一態様としての画像処理装置は、生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、前記３次元画像において前記生体組織の内腔を露出させる切断領域を前記３次元データに形成し、前記生体組織の断面と、当該断面において前記切断領域に相当する領域とを表す２次元画像を前記３次元画像とともに前記ディスプレイに表示させる制御部を備える。
　一実施形態として、前記制御部は、前記生体組織の断面を表す断面画像に対して、前記切断領域に相当する領域を設定する操作を受け付け、設定された領域に合わせて前記切断領域を形成する。
　一実施形態として、前記制御部は、前記切断領域に相当する領域を設定する操作として、前記断面画像において１つの点から延びる２本の直線を設定する操作を受け付ける。
　一実施形態として、前記制御部は、前記２本の直線を設定する操作として、前記２本の直線のうち一方の直線の向きと、前記２本の直線のなす角とを指定する操作を受け付ける。
　一実施形態として、前記制御部は、前記２本の直線を設定する操作として、前記断面画像に対して前記２本の直線を描画する操作を受け付ける。
　一実施形態として、前記１つの点は、前記生体組織の断面の重心であり、前記制御部は、前記生体組織の各断面の重心を通る１本の線で交わり、かつ前記２本の直線をそれぞれ含む２つの平面を切断面として設定することで、前記切断領域を形成する。
　一実施形態として、前記制御部は、前記２次元画像として、前記切断領域に相当する領域の色を、残りの領域とは異なる色で表す画像を生成する。
　一実施形態として、前記制御部は、前記３次元画像において、前記２次元画像で表される断面に対応する第１ボクセル群のうち、少なくとも前記生体組織の内表面を表すボクセル、又は当該内表面を表すボクセルに隣接し前記内腔を表すボクセルを、前記生体組織の他の断面に対応する第２ボクセル群と区別して色付けする。
　一実施形態として、前記制御部は、前記第１ボクセル群だけでなく、前記第１ボクセル群が対応する断面に隣接する断面に対応するボクセル群のうち、少なくとも前記内表面を表すボクセル、又は前記内表面を表すボクセルに隣接し前記内腔を表すボクセルも、前記生体組織の他の断面に対応するボクセル群と区別して色付けする。
　本開示の一態様としての画像処理システムは、前記画像処理装置と、前記内腔を移動しながら前記生体組織の断層データを取得するセンサを有するプローブとを備え、前記制御部は、前記センサによって取得された断層データに基づいて、前記３次元データを生成する。
　一実施形態として、前記画像処理システムは、前記ディスプレイを更に備える。
　本開示の一態様としての画像表示方法は、生体組織を表す３次元データを３次元画像としてディスプレイに表示する画像表示方法であって、コンピュータが、前記３次元画像において前記生体組織の内腔を露出させる切断領域を前記３次元データに形成し、前記コンピュータが、前記生体組織の断面と、当該断面において前記切断領域に相当する領域とを表す２次元画像を前記３次元画像とともに前記ディスプレイに表示させる、というものである。
　本開示の一態様としての画像処理プログラムは、生体組織を表す３次元データを３次元画像としてディスプレイに表示させるコンピュータに、前記３次元画像において前記生体組織の内腔を露出させる切断領域を前記３次元データに形成する処理と、前記生体組織の断面と、当該断面において前記切断領域に相当する領域とを表す２次元画像を前記３次元画像とともに前記ディスプレイに表示させる処理とを実行させる。
　本開示によれば、どのように生体組織の構造の一部が切り取られているかを示すことができる。
本開示の実施形態に係る画像処理システムの斜視図である。 本開示の実施形態に係る画像処理システムによりディスプレイに表示される画面の例を示す図である。 本開示の実施形態に係る画像処理システムによりディスプレイに表示される２次元画像の例を示す図である。 本開示の実施形態に係る画像処理システムにより形成される切断領域の例を示す図である。 本開示の実施形態に係るプローブ及び駆動ユニットの斜視図である。 本開示の実施形態に係る画像処理装置の構成を示すブロック図である。 本開示の実施形態に係る画像処理システムの動作を示すフローチャートである。 本開示の実施形態に係る画像処理システムの動作を示すフローチャートである。 本開示の実施形態において生体組織の断面画像を２値化した結果を示す図である。 本開示の実施形態において生体組織の内表面の点群を抽出した結果を示す図である。 本開示の実施形態において生体組織の断面の重心位置を算出した結果を示す図である。 本開示の実施形態において生体組織の複数断面の重心位置を算出した結果を示す図である。 図１２の結果に対してスムージングを実行した結果を示す図である。 本開示の実施形態の一変形例に係る画像処理システムによりディスプレイに表示される画面の例を示す図である。
　以下、本開示の実施形態について、図を参照して説明する。
　各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　図１から図４、及び図６を参照して、本実施形態の概要を説明する。
　本実施形態に係る画像処理装置１１は、生体組織６０を表す３次元データ５２を３次元画像５３としてディスプレイ１６に表示させるコンピュータである。画像処理装置１１は、図４に示すように、３次元画像５３において生体組織６０の内腔６３を露出させる切断領域６２を３次元データ５２に形成する。画像処理装置１１は、図２に示すように、生体組織６０の断面６４と、断面６４において切断領域６２に相当する領域６５とを表す２次元画像５６を３次元画像５３とともにディスプレイ１６に表示させる。
　本実施形態によれば、どのように生体組織６０の構造の一部が切り取られているかを示すことができる。したがって、３次元画像５３において生体組織６０の切り取られて表示されていない部分がどのような構造であるかを、ユーザが２次元画像５６から把握することができる。例えば、ユーザが術者であれば、生体組織６０の内部に対する施術を行いやすくなる。
　画像処理装置１１は、生体組織６０の内腔６３を移動しながら生体組織６０の断層データ５１を取得するセンサによって取得された断層データ５１に基づいて、３次元データ５２を生成及び更新する。画像処理装置１１は、図２に示すように、３次元画像５３において、センサにより新たに取得された断層データ５１で示される断面６４に対応する第１ボクセル群５４のうち、少なくとも生体組織６０の内表面６１を表すボクセル、又は当該内表面６１を表すボクセルに隣接し内腔６３を表すボクセルを、生体組織６０の他の断面に対応する第２ボクセル群５５と区別して色付けする。
　本実施形態によれば、センサによって新たに取得された断層データ５１で示される生体組織６０の断面６４が３次元画像５３内のどの部分に当たるかを示すことができる。したがって、センサで現在得られている情報、すなわち、最新情報が３次元画像５３内のどの部分に当たるかが、３次元画像５３を用いて生体組織６０の内腔６３を観察しているユーザにとってわかりやすくなる。
　本実施形態の一変形例として、第１ボクセル群５４だけでなく、第１ボクセル群５４が対応する断面６４に隣接する断面に対応するボクセル群のうち、少なくとも内表面６１を表すボクセル、又は当該内表面６１を表すボクセルに隣接し内腔６３を表すボクセルも、生体組織６０の他の断面に対応するボクセル群と区別して色付けしてもよい。この変形例によれば、他の断面に対応するボクセル群と区別して色付けされるボクセル群のセンサの移動方向における幅が広くなり、３次元画像５３内で当該ボクセル群をユーザが認識しやすくなる。
　本実施形態の一変形例として、図１４に示すように、第１ボクセル群５４のうち、生体組織６０を表すボクセル全てを第２ボクセル群５５と区別して色付けしてもよい。この変形例によれば、生体組織６０の内腔６３を観察するために形成される生体組織６０の切断面上でも第１ボクセル群５４が第２ボクセル群５５と区別して色付けされるため、最新情報が３次元画像５３内のどの部分に当たるかが、ユーザにとってよりわかりやすくなる。
　本実施形態では、画像処理装置１１は、断面６４を表す２次元画像５６を、断面６４に対応する第１ボクセル群５４のうち、少なくとも生体組織６０の内表面６１を表すボクセル、又は当該内表面６１を表すボクセルに隣接し内腔６３を表すボクセルが他の断面に対応する第２ボクセル群５５と区別して色付けされた３次元画像５３とともにディスプレイ１６に表示させる。よって、２次元画像５６と３次元画像５３との関係性を示すことができる。
　生体組織６０は、例えば、血管、又は心臓などの臓器を含む。生体組織６０は、解剖学的に単一の器官又はその一部のみに限らず、複数の器官を跨いで内腔を有する組織も含む。そのような組織の一例として、具体的には、下大静脈の上部から右心房を抜けて上大静脈の下部に至る血管系組織の一部が挙げられる。図２から図４の例では、生体組織６０は、血管である。
　図２において、画面８０に、操作パネル８１と、２次元画像５６と、３次元画像５３と、第１グラフィック要素８６と、第２グラフィック要素８７とが表示されている。
　操作パネル８１は、切断領域６２を設定するためのＧＵＩコンポーネントである。「ＧＵＩ」は、graphical user interfaceの略語である。操作パネル８１には、切断領域６２の設定をアクティブにするかどうかを選択するためのチェックボックス８２と、ベース角度を設定するためのスライダー８３と、開き角度を設定するためのスライダー８４と、重心を利用するかどうかを選択するためのチェックボックス８５とが設けられている。
　ベース角度とは、生体組織６０の断面６４を表す断面画像において１つの点Ｍから延びる２本の直線Ｌ１，Ｌ２のうち一方の直線Ｌ１の回転角度のことである。よって、ベース角度を設定することは、直線Ｌ１の向きを設定することに相当する。開き角度とは、２本の直線Ｌ１，Ｌ２間の角度のことである。よって、開き角度を設定することは、２本の直線Ｌ１，Ｌ２のなす角を設定することに相当する。点Ｍは、断面６４の重心である。点Ｍは、重心を利用しないことが選択されている場合は、断面６４上の重心以外の点に設定されてもよい。
　２次元画像５６は、断面画像を加工して得られた画像である。２次元画像５６では、断面６４のどの部分が切り取られているかを明示するために、切断領域６２に相当する領域６５の色が変えられている。
　本実施形態では、切断領域６２の位置に応じて、３次元画像５３を画面８０に表示する際の視点が調整される。視点とは、３次元空間に配置される仮想のカメラ７１の位置のことである。２次元画像５６では、断面６４に対するカメラ７１の位置が表示されている。
　本実施形態では、２次元画像５６を使用して切断領域６２を決定することができる。具体的には、図３に示すように、ベース角度又は開き角度を調整して、２次元画像５６において２本の直線Ｌ１，Ｌ２で区切られた領域６５の位置又は大きさを設定することで、切断領域６２の位置又は大きさを設定することができる。例えば、直線Ｌ１が反時計回りに約９０度回転するようにベース角度を変更すると、２次元画像５６ａにおいて、ベース角度の変更に応じて移動した領域６５ａが得られる。そして、領域６５ａの位置に応じて、切断領域６２の位置が調整される。あるいは、２本の直線Ｌ１，Ｌ２間の角度が大きくなるように開き角度を変更すると、２次元画像５６ｂにおいて、開き角度の変更に応じて拡大した領域６５ｂが得られる。そして、領域６５ｂの大きさに応じて、切断領域６２の大きさが調整される。ベース角度及び開き角度の両方を調整して、２次元画像５６において領域６５の位置及び大きさの両方を設定することで、切断領域６２の位置及び大きさの両方を設定することもできる。カメラ７１の位置は、切断領域６２の位置又は大きさに応じて適宜調整されてもよい。
　本実施形態では、常に、センサの現在位置に対応する画像、すなわち、最新の画像が２次元画像５６として表示されるが、本実施形態の一変形例として、切断領域６２が決定された後は、センサの現在位置以外の位置に対応する画像が２次元画像５６として表示されてもよい。
　本実施形態の一変形例として、ベース角度は、スライダー８３を操作することで設定される代わりに、直線Ｌ１をドラッグすることで設定されてもよいし、又は数値を入力することで設定されてもよい。同様に、開き角度は、スライダー８４を操作することで設定される代わりに、直線Ｌ２をドラッグすることで設定されてもよいし、又は数値を入力することで設定されてもよい。
　３次元画像５３では、２次元画像５６を使用して決定された切断領域６２が非表示又は透明になっている。また、３次元画像５３では、内腔６３の長手方向において現在センサが存在しており、現在リアルタイムで更新が行われている位置を表現するために、センサの現在位置に対応する第１ボクセル群５４の色彩が変えられている。
　本実施形態では、図２に示すように、第１ボクセル群５４のうち、生体組織６０の内表面６１を表すボクセルが第２ボクセル群５５とは異なる色に設定されることで、第２ボクセル群５５と区別して色付けされるが、本実施形態の一変形例として、図１４に示すように、第１ボクセル群５４のうち、生体組織６０を表すボクセル全てが異なる色に設定されてもよい。更なる変形例として、第１ボクセル群５４と第２ボクセル群５５とが異なる色に設定される代わりに、第１ボクセル群５４と第２ボクセル群５５とのコントラストが調整されることで、第１ボクセル群５４が第２ボクセル群５５と区別して色付けされてもよい。
　第１グラフィック要素８６は、センサの移動範囲を表すグラフィック要素である。第２グラフィック要素８７は、センサの位置を表すグラフィック要素である。本実施形態では、第１グラフィック要素８６及び第２グラフィック要素８７の組合せがスライダーとして構成されている。第１グラフィック要素８６及び第２グラフィック要素８７は、任意の位置に表示されてよいが、本実施形態では、３次元画像５３の右側に表示されている。
　図４において、Ｘ方向、及びＸ方向に直交するＹ方向は、それぞれ生体組織６０の内腔６３の短手方向に相当する。Ｘ方向及びＹ方向に直交するＺ方向は、生体組織６０の内腔６３の長手方向に相当する。
　図４の例では、操作パネル８１のチェックボックス８５がチェック状態、すなわち、重心を利用することが選択されているとする。画像処理装置１１は、３次元データ５２を用いて生体組織６０の断面Ｃ１，Ｃ２，Ｃ３，Ｃ４それぞれの重心Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置を算出する。画像処理装置１１は、重心Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置を通る１本の線Ｌｂで交わり、かつ２本の直線Ｌ１，Ｌ２をそれぞれ含む２つの平面を切断面Ｐ１，Ｐ２として設定する。例えば、図２に示した点Ｍが点Ｂ３であるとすると、直線Ｌ１は断面Ｃ３と切断面Ｐ１との交線、直線Ｌ２は断面Ｃ３と切断面Ｐ２との交線となる。画像処理装置１１は、３次元画像５３において切断面Ｐ１，Ｐ２に挟まれ、生体組織６０の内腔６３を露出させる領域を切断領域６２として３次元データ５２に形成する。
　図４のように屈曲した血管の３次元モデルの場合、１つの平面をもって３次元モデルを切断して内腔６３を表示すると、正しく血管内を表示させ得ないケースがある。本実施形態では、図４のように、血管の重心を捕捉し続けることにより、確実に血管の中を表示させ得るように３次元モデルを切断することが可能となる。
　図４では、便宜上、生体組織６０の内腔６３の短手方向の複数断面として、４つの断面Ｃ１，Ｃ２，Ｃ３，Ｃ４を示しているが、重心位置の算出対象となる断面の数は４つに限らず、好適にはＩＶＵＳで取得される断面画像の数と同数である。
　図４とは別の例として、操作パネル８１のチェックボックス８５がチェックされていない状態、すなわち、重心を利用しないことが選択されているとする。そのような例において、画像処理装置１１は、点Ｍを通ってＺ方向に延びる直線など、点Ｍを通る１本の任意の線で交わり、かつ２本の直線Ｌ１，Ｌ２をそれぞれ含む２つの平面を切断面Ｐ１，Ｐ２として設定する。
　図１を参照して、本実施形態に係る画像処理システム１０の構成を説明する。
　画像処理システム１０は、画像処理装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。
　画像処理装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。
　ケーブル１２は、画像処理装置１１と駆動ユニット１３とを接続するために用いられる。
　駆動ユニット１３は、図５に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。
　キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で画像処理装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。「ＨＭＤ」は、head-mounted displayの略語である。
　画像処理システム１０は、オプションとして、接続端子１７及びカートユニット１８をさらに備える。
　接続端子１７は、画像処理装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。
　カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、画像処理装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。
　図５を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。
　プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。
　駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。
　ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５がシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示すように、シース２３の内部を基端側へ移動する。
　駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。
　スキャナユニット３１は、ケーブル１２を介して画像処理装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。
　プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と画像処理装置１１との間で信号が送受信される。画像処理装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
　スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的かつ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。
　プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。
　スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。
　スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。
　フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。
　スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。
　ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。
　図６を参照して、画像処理装置１１の構成を説明する。
　画像処理装置１１は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。
　制御部４１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、画像処理装置１１を含む画像処理システム１０の各部を制御しながら、画像処理装置１１の動作に関わる処理を実行する。
　記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、断層データ５１など、画像処理装置１１の動作に用いられるデータと、３次元データ５２及び３次元画像５３など、画像処理装置１１の動作によって得られたデータとが記憶される。
　通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、local area networkの略語である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、画像処理装置１１の動作に用いられるデータを受信し、また画像処理装置１１の動作によって得られるデータを送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。
　入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、画像処理装置１１の動作に用いられるデータを入力する操作などのユーザの操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェース、又は近距離無線通信に対応したインタフェースにキーボード１４及びマウス１５が接続される。タッチスクリーンがディスプレイ１６と一体的に設けられている場合、入力部４４に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続されてもよい。
　出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。出力部４５は、画像処理装置１１の動作によって得られるデータを出力する。本実施形態では、出力部４５に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。
　画像処理装置１１の機能は、本実施形態に係る画像処理プログラムを、制御部４１としてのプロセッサで実行することにより実現される。すなわち、画像処理装置１１の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置１１の動作をコンピュータに実行させることで、コンピュータを画像処理装置１１として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置１１の動作を実行することにより画像処理装置１１として機能する。
　プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
　コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
　画像処理装置１１の一部又は全ての機能が、制御部４１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、画像処理装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。
　図７及び図８を参照して、本実施形態に係る画像処理システム１０の動作を説明する。画像処理システム１０の動作は、本実施形態に係る画像表示方法に相当する。
　図７のフローの開始前に、ユーザによって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管又は心臓などの生体組織６０内の目的部位まで挿入される。
　ステップＳ１０１において、スイッチ群３９に含まれるスキャンスイッチが押され、さらにスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織６０の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。超音波振動子２５は、生体組織６０の内部を移動しながら放射線状に超音波を送信する。超音波振動子２５は、送信した超音波の反射波を受信する。プローブ２０は、超音波振動子２５により受信した反射波の信号を画像処理装置１１に入力する。画像処理装置１１の制御部４１は、入力された信号を処理して生体組織６０の断面画像を順次生成することで、複数の断面画像を含む断層データ５１を取得する。
　具体的には、プローブ２０は、生体組織６０の内部で超音波振動子２５を周方向に回転させながら、かつ軸方向に移動させながら、超音波振動子２５により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ２０は、生体組織６０の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子２５により受信する。プローブ２０は、受信した反射波の信号を、駆動ユニット１３及びケーブル１２を介して画像処理装置１１に送信する。画像処理装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。制御部４１は、入力された信号を処理して、超音波振動子２５の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部４１は、算出した強度値分布に相当する輝度値分布を持つ２次元画像を生体組織６０の断面画像として順次生成することで、断面画像のデータセットである断層データ５１を取得する。制御部４１は、取得した断層データ５１を記憶部４２に記憶させる。
　本実施形態において、超音波振動子２５が受信する反射波の信号は、断層データ５１の生データに相当し、画像処理装置１１が反射波の信号を処理して生成する断面画像は、断層データ５１の加工データに相当する。
　本実施形態の一変形例として、画像処理装置１１の制御部４１は、プローブ２０から入力された信号をそのまま断層データ５１として記憶部４２に記憶させてもよい。あるいは、制御部４１は、プローブ２０から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ５１として記憶部４２に記憶させてもよい。すなわち、断層データ５１は、生体組織６０の断面画像のデータセットに限られず、超音波振動子２５の各移動位置における生体組織６０の断面を何らかの形式で表すデータであればよい。
　本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子２５の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。
　本実施形態の一変形例として、断層データ５１は、ＩＶＵＳを用いて取得される代わりに、ＯＦＤＩ又はＯＣＴを用いて取得されてもよい。「ＯＦＤＩ」は、optical frequency domain imagingの略語である。「ＯＣＴ」は、optical coherence tomographyの略語である。ＯＦＤＩ又はＯＣＴが用いられる場合、生体組織６０の内腔６３を移動しながら断層データ５１を取得するセンサとして、生体組織６０の内腔６３で超音波を送信して断層データ５１を取得する超音波振動子２５の代わりに、生体組織６０の内腔６３で光を放射して断層データ５１を取得するセンサが用いられる。
　本実施形態の一変形例として、画像処理装置１１が生体組織６０の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、画像処理装置１１はそのデータセットを当該他の装置から取得してもよい。すなわち、画像処理装置１１の制御部４１が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成し、生成した断面画像を画像処理装置１１に入力してもよい。
　ステップＳ１０２において、画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。すなわち、制御部４１は、センサによって取得された断層データ５１に基づいて３次元データ５２を生成する。ここで、既に生成済みの３次元データ５２が存在する場合、全ての３次元データ５２を一から生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１０３における３次元画像５３のリアルタイム性を向上させることができる。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像を積層して３次元化することで、生体組織６０の３次元データ５２を生成する。３次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部４１は、生成した３次元データ５２を記憶部４２に記憶させる。
　ステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０２で生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。この時点では、制御部４１は、３次元画像５３を表示させる角度を任意の角度に設定してよい。制御部４１は、ステップＳ１０１で取得した断層データ５１に含まれる最新の断面画像を３次元画像５３とともにディスプレイ１６に表示させる。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２から３次元画像５３を生成する。制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像のうち、最新の断面画像と、生成した３次元画像５３とを、出力部４５を介してディスプレイ１６に表示させる。
　本実施形態では、画像処理装置１１の制御部４１は、３次元画像５３において、センサにより新たに取得された断層データ５１で示される断面６４に対応する第１ボクセル群５４のうち、生体組織６０の内表面６１を表すボクセルを、生体組織６０の他の断面に対応する第２ボクセル群５５と区別して色付けする。具体的には、制御部４１は、図２に示したように、第１ボクセル群５４のうち、生体組織６０の内表面６１を表すボクセルの色を、第２ボクセル群５５のいずれの色とも異なる色に設定することで、第１ボクセル群５４のうち、生体組織６０の内表面６１を表すボクセルを第２ボクセル群５５と区別して色付けする。
　本実施形態の一変形例として、画像処理装置１１の制御部４１は、図１４に示したように、第１ボクセル群５４のうち、生体組織６０を表すボクセル全てを第２ボクセル群５５と区別して色付けしてもよい。具体的には、制御部４１は、第１ボクセル群５４のうち、生体組織６０を表すボクセル全ての色を、第２ボクセル群５５のいずれの色とも異なる色に設定することで、第１ボクセル群５４のうち、生体組織６０を表すボクセル全てを第２ボクセル群５５と区別して色付けしてもよい。
　本実施形態では、画像処理装置１１の制御部４１は、第１グラフィック要素８６と第２グラフィック要素８７とを組み合わせて３次元画像５３とともにディスプレイ１６に表示させる。具体的には、制御部４１は、図２に示したように、第１グラフィック要素８６と第２グラフィック要素８７とを組み合わせて構成したスライダーを、出力部４５を介して３次元画像５３の右側に表示させる。
　本実施形態では、画像処理装置１１の制御部４１は、３次元画像５３における内腔６３の長手方向と、第１グラフィック要素８６の長軸方向とが平行になる向きで第１グラフィック要素８６をディスプレイ１６に表示させる。具体的には、制御部４１は、図２に示したように、画面８０の縦方向において、第１グラフィック要素８６で示されるセンサの移動範囲と、３次元画像５３の表示範囲とを一致させるとともに、第２グラフィック要素８７で示されるセンサの位置と、第１ボクセル群５４の位置とを一致させる。
　ステップＳ１０４において、ユーザの変更操作として、３次元画像５３を表示させる角度を設定する操作があれば、ステップＳ１０５の処理が行われる。ユーザの変更操作がなければ、ステップＳ１０６の処理が行われる。
　ステップＳ１０５において、画像処理装置１１の制御部４１は、３次元画像５３を表示させる角度を設定する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３を表示させる角度を、設定された角度に調整する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０５で設定された角度で３次元画像５３をディスプレイ１６に表示させる。
　具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて回転させる操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、ユーザの操作に応じてインタラクティブに調整する。あるいは、制御部４１は、３次元画像５３を表示させる角度の数値をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、入力された数値に合わせて調整する。
　ステップＳ１０６において、断層データ５１の更新があれば、ステップＳ１０７及びステップＳ１０８の処理が行われる。断層データ５１の更新がなければ、ステップＳ１０４において、ユーザの変更操作の有無が再度確認される。
　ステップＳ１０７において、画像処理装置１１の制御部４１は、ステップＳ１０１の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像を新たに生成することで、少なくとも１つの新たな断面画像を含む断層データ５１を取得する。
　ステップＳ１０８において、画像処理装置１１の制御部４１は、ステップＳ１０７で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。すなわち、制御部４１は、センサによって取得された断層データ５１に基づいて３次元データ５２を更新する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０８で更新した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、ステップＳ１０７で取得した断層データ５１に含まれる最新の断面画像を３次元画像５３とともにディスプレイ１６に表示させる。ステップＳ１０８においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、ステップＳ１０８において、３次元画像５３のリアルタイム性を向上させることができる。
　ステップＳ１１１において、ユーザの設定操作として、切断領域６２を設定する操作があれば、ステップＳ１１２の処理が行われる。
　ステップＳ１１２において、画像処理装置１１の制御部４１は、切断領域６２を設定する操作を、入力部４４を介して受け付ける。
　具体的には、画像処理装置１１の制御部４１は、ステップＳ１０３でディスプレイ１６に表示させた断面画像に対して、切断領域６２に相当する領域６５を設定する操作を、入力部４４を介して受け付ける。本実施形態では、制御部４１は、切断領域６２に相当する領域６５を設定する操作として、断面画像において１つの点Ｍから延びる２本の直線Ｌ１，Ｌ２を設定する操作を受け付ける。
　より具体的には、画像処理装置１１の制御部４１は、図２に示したような操作パネル８１上で、ベース角度及び開き角度をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて指定する操作を、入力部４４を介して受け付ける。すなわち、制御部４１は、２本の直線Ｌ１，Ｌ２を設定する操作として、２本の直線Ｌ１，Ｌ２のうち一方の直線Ｌ１の向きと、２本の直線Ｌ１，Ｌ２のなす角とを指定する操作を受け付ける。ここでは、操作パネル８１のチェックボックス８５がチェック状態、すなわち、重心を利用することが選択されているものとする。
　本実施形態の一変形例として、画像処理装置１１の制御部４１は、ディスプレイ１６に表示された断面画像上で、２本の直線Ｌ１，Ｌ２をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて描画する操作を、入力部４４を介して受け付けてもよい。すなわち、制御部４１は、２本の直線Ｌ１，Ｌ２を設定する操作として、断面画像に対して２本の直線Ｌ１，Ｌ２を描画する操作を受け付けてもよい。
　ステップＳ１１３において、画像処理装置１１の制御部４１は、記憶部４２に記憶された最新の３次元データ５２を用いて生体組織６０の内腔６３の短手方向の複数断面の重心位置を算出する。最新の３次元データ５２とは、ステップＳ１０８の処理が行われていなければ、ステップＳ１０２で生成された３次元データ５２のことであり、ステップＳ１０８の処理が行われていれば、ステップＳ１０８で更新された３次元データ５２のことである。ここで、既に生成済みの３次元データ５２が存在する場合、３次元データ５２を一から全て生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１１７における３次元画像５３のリアルタイム性を向上させることができる。
　具体的には、画像処理装置１１の制御部４１は、図９に示すように、ステップＳ１０１で生成した複数の断面画像のそれぞれを、ステップＳ１０７で対応する新たな断面画像を生成していれば、その新たな断面画像に置き換えた上で２値化する。制御部４１は、図１０に示すように、２値化した断面画像から生体組織６０の内表面の点群を抽出する。例えば、制御部４１は、ｒ軸を横軸、θ軸を縦軸とする断面画像の縦方向に沿って主血管の内表面に該当する点を１つずつ抽出することで、血管の内表面の点群を抽出する。制御部４１は、単に、抽出した内表面の点群の重心を求めてもよいが、その場合、点群が内表面に亘って均一にサンプリングされないため、重心位置にズレが生じる。そこで、本実施形態では、制御部４１は、抽出した内表面の点群の凸包を算出し、以下のように多角形の重心を求める式を用いて重心位置Ｃｎ＝（Ｃｘ，Ｃｙ）を算出する。ただし、以下の式においては、図１０に示すような内表面の点群としてｎ個の頂点（ｘ０，ｙ０），（ｘ１，ｙ１），・・・，（ｘｎ－１，ｙｎ－１）が反時計回りに凸包上に存在するものとし、（ｘｎ，ｙｎ）は（ｘ０，ｙ０）とみなす。
Figure JPOXMLDOC01-appb-M000001
　結果として得られる重心位置を図１１に示す。図１１において、点Ｃｎは、断面画像の中心である。点Ｂｐは、内表面の点群の重心である。点Ｂｖは、多角形の頂点の重心である。点Ｂｘは、凸包としての多角形の重心である。
　血管の重心位置を算出する手法として、凸包としての多角形の重心位置を算出する手法とは別の手法が用いられてもよい。例えば、２値化されていない元の断面画像において、主血管に収まる最大円の中心位置を重心位置として算出する手法が用いられてもよい。あるいは、ｒ軸を横軸、θ軸を縦軸とする２値化された断面画像において、主血管領域のピクセルの平均位置を重心位置として算出する手法が用いられてもよい。生体組織６０が血管でない場合についても、これらと同様の手法を用いることができる。
　ステップＳ１１４において、画像処理装置１１の制御部４１は、ステップＳ１１３の重心位置の算出結果に対してスムージングを実行する。
　図１２に示すように、重心位置の算出結果を時間関数として見た場合、拍動の影響が大きく生じることがわかる。そこで、本実施形態では、画像処理装置１１の制御部４１は、図１３に破線で示すように、移動平均を用いることで重心位置の算出結果に対してスムージングを実行する。
　スムージングの手法として、移動平均とは別の手法が用いられてもよい。例えば、指数平滑法、カーネル法、局所回帰、Ramer-Douglas-Peuckerアルゴリズム、サビツキーゴーレイ法、平滑化スプライン、又はＳＧＭが用いられてもよい。あるいは、高速フーリエ変換を実行してから高周波成分を除去する手法が用いられてもよい。あるいは、カルマンフィルタ、又はバターワースフィルタ、チェビシェフフィルタ、デジタルフィルタ、楕円フィルタ、若しくはＫＺフィルタなどのローパスフィルタが用いられてもよい。「ＳＧＭ」は、stretched grid methodの略語である。「ＫＺ」は、Kolmogorov-Zurbenkoの略語である。
　単にスムージングを実行すると、重心位置が組織の中に入ってしまう場合がある。その場合、制御部４１は、生体組織６０の内腔６３の長手方向における、生体組織６０の内腔６３の短手方向の複数断面の位置に応じて重心位置の算出結果を分割し、分割した算出結果ごとにスムージングを実行してもよい。すなわち、制御部４１は、図１３に破線で示すような重心位置の曲線が組織領域に重なった場合、重心位置の曲線を複数の区間に分割し、区間ごとに個別のスムージングを実行してもよい。あるいは、制御部４１は、生体組織６０の内腔６３の長手方向における、生体組織６０の内腔６３の短手方向の複数断面の位置に応じて重心位置の算出結果に対して実行するスムージングの度合いを調整してもよい。すなわち、制御部４１は、図１３に破線で示すような重心位置の曲線が組織領域に重なった場合、重なった点を含む一部の区間に対して実行するスムージングの度合いを減少させてもよい。
　ステップＳ１１５において、画像処理装置１１の制御部４１は、図４に示したように、ステップＳ１１３で算出した重心位置を通る１本の線Ｌｂで交わる２つの平面を切断面Ｐ１，Ｐ２として設定する。本実施形態では、制御部４１は、ステップＳ１１４で重心位置の算出結果に対してスムージングを実行した上で切断面Ｐ１，Ｐ２を設定するが、ステップＳ１１４の処理は省略してもよい。
　具体的には、画像処理装置１１の制御部４１は、ステップＳ１１４のスムージングの結果として得られた重心位置の曲線を線Ｌｂとして設定する。制御部４１は、設定した線Ｌｂで交わり、かつステップＳ１１２で設定された２本の直線Ｌ１，Ｌ２をそれぞれ含む２つの平面を切断面Ｐ１，Ｐ２として設定する。制御部４１は、記憶部４２に記憶された最新の３次元データ５２において、生体組織６０の切断面Ｐ１，Ｐ２と交差する３次元座標を、３次元画像５３において生体組織６０の内腔６３を露出させる開口の縁の３次元座標として特定する。制御部４１は、特定した３次元座標を記憶部４２に記憶させる。
　ステップＳ１１６において、画像処理装置１１の制御部４１は、３次元画像５３において切断面Ｐ１，Ｐ２に挟まれ、生体組織６０の内腔６３を露出させる領域を切断領域６２として３次元データ５２に形成する。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された最新の３次元データ５２において、記憶部４２に記憶された３次元座標で特定される部分を、３次元画像５３をディスプレイ１６に表示させる際に非表示又は透明になるように設定する。すなわち、制御部４１は、ステップＳ１１２で設定された領域６５に合わせて切断領域６２を形成する。
　ステップＳ１１７において、画像処理装置１１の制御部４１は、ステップＳ１１６で切断領域６２を形成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、ステップＳ１０３でディスプレイ１６に表示させた断面画像で表される、センサにより新たに取得された断層データ５１で示される断面６４と、断面６４において切断領域６２に相当する領域６５とを表す２次元画像５６を３次元画像５３とともにディスプレイ１６に表示させる。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像のうち、最新の断面画像を加工して、図２に示したような２次元画像５６を生成する。制御部４１は、記憶部４２に記憶された３次元座標で特定される部分が非表示又は透明になっている、図２に示したような３次元画像５３を生成する。制御部４１は、生成した２次元画像５６及び３次元画像５３を、出力部４５を介してディスプレイ１６に表示させる。
　本実施形態では、画像処理装置１１の制御部４１は、図２に示したように、２次元画像５６として、切断領域６２に相当する領域６５の色を、残りの領域とは異なる色で表す画像を生成する。例えば、一般的なＩＶＵＳ画像における白色部分を、領域６５では赤色に変えることが考えられる。
　ステップＳ１１８において、ユーザの変更操作として、切断領域６２を設定する操作があれば、ステップＳ１１９の処理が行われる。ユーザの変更操作がなければ、ステップＳ１２０の処理が行われる。
　ステップＳ１１９において、画像処理装置１１の制御部４１は、ステップＳ１１２の処理と同様に、切断領域６２を設定する操作を、入力部４４を介して受け付ける。そして、ステップＳ１１５以降の処理が行われる。
　ステップＳ１２０において、断層データ５１の更新があれば、ステップＳ１２１及びステップＳ１２２の処理が行われる。断層データ５１の更新がなければ、ステップＳ１１８において、ユーザの変更操作の有無が再度確認される。
　ステップＳ１２１において、画像処理装置１１の制御部４１は、ステップＳ１０１又はステップＳ１０７の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像を新たに生成することで、少なくとも１つの新たな断面画像を含む断層データ５１を取得する。
　ステップＳ１２２において、画像処理装置１１の制御部４１は、ステップＳ１２１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。その後、ステップＳ１１３以降の処理が行われる。ステップＳ１２２においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、ステップＳ１１３以降のデータ処理のリアルタイム性を向上させることができる。
　上述のように、本実施形態では、画像処理装置１１の制御部４１は、生体組織６０を表す３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、３次元画像５３において生体組織６０の内腔６３を露出させる切断領域６２を３次元データ５２に形成する。制御部４１は、生体組織６０の断面６４と、断面６４において切断領域６２に相当する領域６５とを表す２次元画像５６を３次元画像５３とともにディスプレイ１６に表示させる。
　本実施形態によれば、どのように生体組織６０の構造の一部が切り取られているかを示すことができる。したがって、３次元画像５３において生体組織６０の切り取られて表示されていない部分がどのような構造であるかを、ユーザが２次元画像５６から把握することができる。例えば、ユーザが術者であれば、生体組織６０の内部に対する施術を行いやすくなる。
　本実施形態では、画像処理装置１１の制御部４１は、生体組織６０の内腔６３を移動しながら生体組織６０の断層データ５１を取得するセンサによって取得された断層データ５１に基づいて、生体組織６０を表す３次元データ５２を生成及び更新する。制御部４１は、３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、３次元画像５３において、センサにより新たに取得された断層データ５１で示される断面６４に対応する第１ボクセル群５４のうち、少なくとも生体組織６０の内表面６１を表すボクセル、又は当該内表面６１を表すボクセルに隣接し内腔６３を表すボクセルを、生体組織６０の他の断面に対応する第２ボクセル群５５と区別して色付けする。
　本実施形態によれば、センサによって新たに取得された断層データ５１で示される生体組織６０の断面６４が３次元画像５３内のどの部分に当たるかを示すことができる。したがって、センサで現在得られている情報、すなわち、最新情報が３次元画像５３内のどの部分に当たるかが、３次元画像５３を用いて生体組織６０の内腔６３を観察しているユーザにとってわかりやすくなる。
　本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
　１０　画像処理システム
　１１　画像処理装置
　１２　ケーブル
　１３　駆動ユニット
　１４　キーボード
　１５　マウス
　１６　ディスプレイ
　１７　接続端子
　１８　カートユニット
　２０　プローブ
　２１　駆動シャフト
　２２　ハブ
　２３　シース
　２４　外管
　２５　超音波振動子
　２６　中継コネクタ
　３１　スキャナユニット
　３２　スライドユニット
　３３　ボトムカバー
　３４　プローブ接続部
　３５　スキャナモータ
　３６　差込口
　３７　プローブクランプ部
　３８　スライドモータ
　３９　スイッチ群
　４１　制御部
　４２　記憶部
　４３　通信部
　４４　入力部
　４５　出力部
　５１　断層データ
　５２　３次元データ
　５３　３次元画像
　５４　第１ボクセル群
　５５　第２ボクセル群
　５６，５６ａ，５６ｂ　２次元画像
　６０　生体組織
　６１　内表面
　６２　切断領域
　６３　内腔
　６４　断面
　６５，６５ａ，６５ｂ　領域
　７１　カメラ
　８０　画面
　８１　操作パネル
　８２　チェックボックス
　８３　スライダー
　８４　スライダー
　８５　チェックボックス
　８６　第１グラフィック要素
　８７　第２グラフィック要素

Claims (13)

  1. 　生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、
    　前記３次元画像において前記生体組織の内腔を露出させる切断領域を前記３次元データに形成し、前記生体組織の断面と、当該断面において前記切断領域に相当する領域とを表す２次元画像を前記３次元画像とともに前記ディスプレイに表示させる制御部を備える画像処理装置。
  2. 　前記制御部は、前記生体組織の断面を表す断面画像に対して、前記切断領域に相当する領域を設定する操作を受け付け、設定された領域に合わせて前記切断領域を形成する請求項１に記載の画像処理装置。
  3. 　前記制御部は、前記切断領域に相当する領域を設定する操作として、前記断面画像において１つの点から延びる２本の直線を設定する操作を受け付ける請求項２に記載の画像処理装置。
  4. 　前記制御部は、前記２本の直線を設定する操作として、前記２本の直線のうち一方の直線の向きと、前記２本の直線のなす角とを指定する操作を受け付ける請求項３に記載の画像処理装置。
  5. 　前記制御部は、前記２本の直線を設定する操作として、前記断面画像に対して前記２本の直線を描画する操作を受け付ける請求項３に記載の画像処理装置。
  6. 　前記１つの点は、前記生体組織の断面の重心であり、
    　前記制御部は、前記生体組織の各断面の重心を通る１本の線で交わり、かつ前記２本の直線をそれぞれ含む２つの平面を切断面として設定することで、前記切断領域を形成する請求項３から請求項５のいずれか１項に記載の画像処理装置。
  7. 　前記制御部は、前記２次元画像として、前記切断領域に相当する領域の色を、残りの領域とは異なる色で表す画像を生成する請求項１から請求項６のいずれか１項に記載の画像処理装置。
  8. 　前記制御部は、前記３次元画像において、前記２次元画像で表される断面に対応する第１ボクセル群のうち、少なくとも前記生体組織の内表面を表すボクセル、又は当該内表面を表すボクセルに隣接し前記内腔を表すボクセルを、前記生体組織の他の断面に対応する第２ボクセル群と区別して色付けする請求項１から請求項７のいずれか１項に記載の画像処理装置。
  9. 　前記制御部は、前記第１ボクセル群だけでなく、前記第１ボクセル群が対応する断面に隣接する断面に対応するボクセル群のうち、少なくとも前記内表面を表すボクセル、又は前記内表面を表すボクセルに隣接し前記内腔を表すボクセルも、前記生体組織の他の断面に対応するボクセル群と区別して色付けする請求項８に記載の画像処理装置。
  10. 　請求項１から請求項９のいずれか１項に記載の画像処理装置と、
    　前記内腔を移動しながら前記生体組織の断層データを取得するセンサを有するプローブと
    を備え、
    　前記制御部は、前記センサによって取得された断層データに基づいて、前記３次元データを生成する画像処理システム。
  11. 　前記ディスプレイを更に備える請求項１０に記載の画像処理システム。
  12. 　生体組織を表す３次元データを３次元画像としてディスプレイに表示する画像表示方法であって、
    　コンピュータが、前記３次元画像において前記生体組織の内腔を露出させる切断領域を前記３次元データに形成し、
    　前記コンピュータが、前記生体組織の断面と、当該断面において前記切断領域に相当する領域とを表す２次元画像を前記３次元画像とともに前記ディスプレイに表示させる画像表示方法。
  13. 　生体組織を表す３次元データを３次元画像としてディスプレイに表示させるコンピュータに、
    　前記３次元画像において前記生体組織の内腔を露出させる切断領域を前記３次元データに形成する処理と、
    　前記生体組織の断面と、当該断面において前記切断領域に相当する領域とを表す２次元画像を前記３次元画像とともに前記ディスプレイに表示させる処理と
    を実行させる画像処理プログラム。
PCT/JP2021/035458 2020-09-29 2021-09-27 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム WO2022071250A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022553969A JPWO2022071250A1 (ja) 2020-09-29 2021-09-27
US18/190,566 US20230252749A1 (en) 2020-09-29 2023-03-27 Image processing device, image processing system, image display method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020164184 2020-09-29
JP2020-164184 2020-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/190,566 Continuation US20230252749A1 (en) 2020-09-29 2023-03-27 Image processing device, image processing system, image display method, and image processing program

Publications (1)

Publication Number Publication Date
WO2022071250A1 true WO2022071250A1 (ja) 2022-04-07

Family

ID=80951671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035458 WO2022071250A1 (ja) 2020-09-29 2021-09-27 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20230252749A1 (ja)
JP (1) JPWO2022071250A1 (ja)
WO (1) WO2022071250A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316864A (ja) * 1999-05-11 2000-11-21 Olympus Optical Co Ltd 超音波診断装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316864A (ja) * 1999-05-11 2000-11-21 Olympus Optical Co Ltd 超音波診断装置

Also Published As

Publication number Publication date
JPWO2022071250A1 (ja) 2022-04-07
US20230252749A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
JP5575278B2 (ja) 前方視画像データを収集するデバイスからの表示用画像データのためのレンダリングのための装置
JP7300352B2 (ja) 診断支援装置、診断支援システム、及び診断支援方法
US20220218309A1 (en) Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method
WO2022071250A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022071251A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022085373A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021200294A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202203A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021065746A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2022202202A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2023054001A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021065963A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2022202201A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202200A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20240242396A1 (en) Image processing device, image processing system, image display method, and image processing program
WO2021200296A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2023013601A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
WO2023176741A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
JP2023024072A (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2020217860A1 (ja) 診断支援装置及び診断支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875552

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553969

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21875552

Country of ref document: EP

Kind code of ref document: A1