WO2021200294A1 - 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2021200294A1
WO2021200294A1 PCT/JP2021/011533 JP2021011533W WO2021200294A1 WO 2021200294 A1 WO2021200294 A1 WO 2021200294A1 JP 2021011533 W JP2021011533 W JP 2021011533W WO 2021200294 A1 WO2021200294 A1 WO 2021200294A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
lumen
dimensional
living tissue
Prior art date
Application number
PCT/JP2021/011533
Other languages
English (en)
French (fr)
Inventor
泰一 坂本
克彦 清水
石原　弘之
トマ エン
クレモン ジャケ
ステフェン チェン
亮介 佐賀
Original Assignee
テルモ株式会社
株式会社ロッケン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社, 株式会社ロッケン filed Critical テルモ株式会社
Priority to EP21779253.0A priority Critical patent/EP4119061A4/en
Priority to JP2022511933A priority patent/JPWO2021200294A1/ja
Priority to CN202180026702.5A priority patent/CN115361910A/zh
Priority to AU2021249194A priority patent/AU2021249194A1/en
Publication of WO2021200294A1 publication Critical patent/WO2021200294A1/ja
Priority to US17/957,158 priority patent/US20230021992A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present disclosure relates to an image processing device, an image processing system, an image display method, and an image processing program.
  • Patent Documents 1 to 3 describe a technique for generating a three-dimensional image of a heart chamber or a blood vessel using a US imaging system.
  • US is an abbreviation for ultrasonic.
  • IVUS is an abbreviation for intravascular ultrasound.
  • IVUS is a device or method that provides a two-dimensional image of a plane perpendicular to the long axis of the catheter.
  • a 3D image representing the structure of a living tissue such as a heart cavity or a blood vessel is automatically generated from a 2D image of IVUS, and the generated 3D image is displayed to the operator. Can be considered.
  • the purpose of the present disclosure is to enable a user to see the inside of a living tissue with a three-dimensional image.
  • the image processing device as one aspect of the present disclosure is an image processing device that displays three-dimensional data representing a living tissue having a longitudinal lumen on a display as a three-dimensional image, and the three-dimensional data is used to display the three-dimensional data.
  • the position of the center of gravity of a plurality of cross sections of the living body tissue in the lateral direction is calculated, and a pair of faces intersecting with one line passing through the calculated center of gravity position is set as a cut surface, and the living body is shown in the three-dimensional image.
  • a control unit is provided that forms an opening in the three-dimensional data that exposes the lumen of the tissue from a region sandwiched between the cut surfaces.
  • control unit when at least a part of the lumen of the living tissue is bent in the longitudinal direction, serves as the opening and the cavity of the bent portion in the three-dimensional image.
  • An opening is formed in the three-dimensional data to expose the entire longitudinal direction.
  • control unit sets the cut surface after performing smoothing on the calculation result of the center of gravity position.
  • control unit divides the calculation result of the center of gravity position according to the position of the plurality of cross sections in the longitudinal direction of the lumen of the living tissue, and executes the smoothing for each of the divided calculation results. ..
  • control unit adjusts the degree of smoothing to be performed with respect to the calculation result of the center of gravity position according to the positions of the plurality of cross sections in the longitudinal direction of the lumen of the living tissue.
  • the image processing device further includes an input unit that accepts a user's operation, and the control unit receives an operation of setting an angle between the cut surfaces via the input unit.
  • the image processing device further includes an input unit that accepts a user's operation, and the control unit receives and sets an operation of setting an angle for displaying the three-dimensional image via the input unit. The position of the cut surface is adjusted according to the angle.
  • the biological tissue includes blood vessels.
  • the image processing system as one aspect of the present disclosure includes a sensor that acquires tomographic data of the biological tissue while moving in the lumen of the biological tissue, and the three-dimensional data based on the tomographic data acquired by the sensor.
  • the image processing apparatus is provided.
  • the image processing system further includes the display.
  • the image display method as one aspect of the present disclosure is an image display method for displaying three-dimensional data representing a living tissue having a longitudinal lumen on a display as a three-dimensional image, and a computer displays the three-dimensional data.
  • the position of the center of gravity of a plurality of cross sections of the living body tissue in the lateral direction is calculated, and the computer sets a pair of faces intersecting with one line passing through the calculated position of the center of gravity as a cut surface.
  • the computer forms an opening in the three-dimensional data that exposes the lumen of the living tissue from a region sandwiched between the cut surfaces in the three-dimensional image.
  • the image processing program uses the three-dimensional data on a computer for displaying three-dimensional data representing a biological tissue having a longitudinal lumen on a display as a three-dimensional image, and uses the three-dimensional data to describe the biological tissue.
  • the process of forming an opening in the three-dimensional data that exposes the lumen of the living tissue from the region sandwiched between the surfaces is executed.
  • the user can see the inside of the living tissue with a three-dimensional image.
  • the image processing device 11 is a computer that displays three-dimensional data 52 representing a living tissue 60 having a longitudinal lumen on a display 16 as a three-dimensional image 53.
  • the image processing device 11 calculates the position of the center of gravity of a plurality of cross sections in the lateral direction of the lumen of the biological tissue 60 using the three-dimensional data 52.
  • the image processing device 11 sets a pair of surfaces that intersect with each other on a line passing through the calculated position of the center of gravity as a cut surface.
  • the image processing device 11 forms an opening in the three-dimensional data 52 that exposes the lumen of the biological tissue 60 from the region sandwiched between the cut surfaces in the three-dimensional image 53.
  • the biological tissue 60 having a longitudinal lumen referred to here is not limited to an anatomically a single organ or a part thereof, but also includes a tissue having a longitudinal lumen straddling a plurality of organs. ..
  • An example of such tissue is, specifically, a portion of vascular tissue that extends from the upper part of the inferior vena cava through the right atrium to the lower part of the superior vena cava.
  • the user can see the inside of the living tissue 60 with the three-dimensional image 53. For example, if the user is an operator, it becomes easier to perform an operation on the inside of the biological tissue 60.
  • the biological tissue 60 includes, for example, an organ such as a blood vessel or a heart.
  • the biological tissue 60 is a blood vessel.
  • the X direction and the Y direction orthogonal to the X direction correspond to the lateral direction of the lumen of the living tissue 60, respectively.
  • the Z direction orthogonal to the X direction and the Y direction corresponds to the longitudinal direction of the lumen of the living tissue 60.
  • the image processing device 11 calculates the positions of the centers of gravity B1, B2, B3, and B4 of each of the cross sections C1, C2, C3, and C4 of the biological tissue 60 using the three-dimensional data 52.
  • the image processing device 11 sets a pair of surfaces intersecting with each other on one line L1 passing through the positions of the centers of gravity B1, B2, B3, and B4 as cut surfaces P1 and P2.
  • the image processing device 11 forms an opening in the three-dimensional data 52 that exposes the lumen of the biological tissue 60 from the region sandwiched between the cut surfaces P1 and P2 in the three-dimensional image 53.
  • cross sections C1, C2, C3, and C4 are shown as a plurality of cross sections in the lateral direction of the lumen of the biological tissue 60, but the number of cross sections for which the position of the center of gravity is calculated is four. The number is preferably the same as the number of cross-sectional images acquired by IVUS.
  • the image processing system 10 includes an image processing device 11, a cable 12, a drive unit 13, a keyboard 14, a mouse 15, and a display 16.
  • the image processing device 11 is a dedicated computer specialized for image diagnosis in the present embodiment, but may be a general-purpose computer such as a PC. "PC” is an abbreviation for personal computer.
  • the cable 12 is used to connect the image processing device 11 and the drive unit 13.
  • the drive unit 13 is a device used by connecting to the probe 20 shown in FIG. 2 to drive the probe 20.
  • the drive unit 13 is also called an MDU.
  • MDU is an abbreviation for motor drive unit.
  • the probe 20 is applied to IVUS.
  • the probe 20 is also called an IVUS catheter or a diagnostic imaging catheter.
  • the keyboard 14, mouse 15, and display 16 are connected to the image processing device 11 via an arbitrary cable or wirelessly.
  • the display 16 is, for example, an LCD, an organic EL display, or an HMD.
  • LCD is an abbreviation for liquid crystal display.
  • EL is an abbreviation for electroluminescence.
  • HMD is an abbreviation for head-mounted display.
  • the image processing system 10 further includes a connection terminal 17 and a cart unit 18 as options.
  • connection terminal 17 is used to connect the image processing device 11 and an external device.
  • the connection terminal 17 is, for example, a USB terminal.
  • USB is an abbreviation for Universal Serial Bus.
  • the external device is, for example, a recording medium such as a magnetic disk drive, a magneto-optical disk drive, or an optical disk drive.
  • the cart unit 18 is a cart with casters for movement.
  • An image processing device 11, a cable 12, and a drive unit 13 are installed in the cart body of the cart unit 18.
  • a keyboard 14, a mouse 15, and a display 16 are installed on the table at the top of the cart unit 18.
  • the probe 20 includes a drive shaft 21, a hub 22, a sheath 23, an outer tube 24, an ultrasonic vibrator 25, and a relay connector 26.
  • the drive shaft 21 passes through the sheath 23 inserted into the body cavity of the living body and the outer tube 24 connected to the base end of the sheath 23, and extends to the inside of the hub 22 provided at the base end of the probe 20.
  • the drive shaft 21 has an ultrasonic vibrator 25 at its tip that transmits and receives signals, and is rotatably provided in the sheath 23 and the outer tube 24.
  • the relay connector 26 connects the sheath 23 and the outer pipe 24.
  • the hub 22, the drive shaft 21, and the ultrasonic vibrator 25 are connected to each other so as to move forward and backward in the axial direction. Therefore, for example, when the hub 22 is pushed toward the tip side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the tip side. For example, when the hub 22 is pulled toward the proximal end side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the proximal end side as shown by arrows.
  • the drive unit 13 includes a scanner unit 31, a slide unit 32, and a bottom cover 33.
  • the scanner unit 31 is connected to the image processing device 11 via the cable 12.
  • the scanner unit 31 includes a probe connecting portion 34 that connects to the probe 20 and a scanner motor 35 that is a drive source for rotating the drive shaft 21.
  • the probe connecting portion 34 is detachably connected to the probe 20 via the insertion port 36 of the hub 22 provided at the base end of the probe 20. Inside the hub 22, the base end of the drive shaft 21 is rotatably supported, and the rotational force of the scanner motor 35 is transmitted to the drive shaft 21. In addition, signals are transmitted and received between the drive shaft 21 and the image processing device 11 via the cable 12. The image processing device 11 generates a tomographic image of the living lumen and performs image processing based on the signal transmitted from the drive shaft 21.
  • the slide unit 32 mounts the scanner unit 31 so as to be able to move forward and backward, and is mechanically and electrically connected to the scanner unit 31.
  • the slide unit 32 includes a probe clamp portion 37, a slide motor 38, and a switch group 39.
  • the probe clamp portion 37 is provided coaxially with the probe connecting portion 34 on the tip side thereof, and supports the probe 20 connected to the probe connecting portion 34.
  • the slide motor 38 is a drive source that generates a driving force in the axial direction.
  • the scanner unit 31 moves forward and backward by driving the slide motor 38, and the drive shaft 21 moves forward and backward in the axial direction accordingly.
  • the slide motor 38 is, for example, a servo motor.
  • the switch group 39 includes, for example, a forward switch and a pullback switch that are pressed when the scanner unit 31 is moved forward and backward, and a scan switch that is pressed when the image drawing is started and ended. Not limited to the example here, various switches are included in the switch group 39 as needed.
  • the slide motor 38 rotates in the forward direction and the scanner unit 31 moves forward.
  • the pullback switch is pressed, the slide motor 38 rotates in the reverse direction, and the scanner unit 31 retracts.
  • the scanner motor 35 When the scan switch is pressed, image drawing is started, the scanner motor 35 is driven, and the slide motor 38 is driven to retract the scanner unit 31.
  • a user such as an operator connects the probe 20 to the scanner unit 31 in advance so that the drive shaft 21 moves to the axial base end side while rotating at the start of image drawing.
  • the scanner motor 35 and the slide motor 38 stop when the scan switch is pressed again, and the image drawing ends.
  • the bottom cover 33 covers the bottom surface of the slide unit 32 and the entire circumference of the side surface on the bottom surface side, and is freely close to and separated from the bottom surface of the slide unit 32.
  • the image processing device 11 includes a control unit 41, a storage unit 42, a communication unit 43, an input unit 44, and an output unit 45.
  • the control unit 41 includes at least one processor, at least one dedicated circuit, or a combination thereof.
  • the processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a specific process.
  • CPU is an abbreviation for central processing unit.
  • GPU is an abbreviation for graphics processing unit.
  • the dedicated circuit is, for example, FPGA or ASIC.
  • FPGA is an abbreviation for field-programmable gate array.
  • ASIC is an abbreviation for application specific integrated circuit.
  • the control unit 41 executes processing related to the operation of the image processing device 11 while controlling each unit of the image processing system 10 including the image processing device 11.
  • the storage unit 42 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or at least two combinations thereof.
  • the semiconductor memory is, for example, RAM or ROM.
  • RAM is an abbreviation for random access memory.
  • ROM is an abbreviation for read only memory.
  • the RAM is, for example, SRAM or DRAM.
  • SRAM is an abbreviation for static random access memory.
  • DRAM is an abbreviation for dynamic random access memory.
  • the ROM is, for example, an EEPROM.
  • EEPROM is an abbreviation for electrically erasable programmable read only memory.
  • the storage unit 42 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 42 stores data used for the operation of the image processing device 11 such as tomographic data 51 and data obtained by the operation of the image processing device 11 such as the three-dimensional data 52 and the three-dimensional image 53. ..
  • the communication unit 43 includes at least one communication interface.
  • the communication interface is, for example, a wired LAN interface, a wireless LAN interface, or an image diagnostic interface that receives and A / D-converts IVUS signals.
  • LAN is an abbreviation for local area network.
  • a / D is an abbreviation for analog to digital.
  • the communication unit 43 receives the data used for the operation of the image processing device 11 and transmits the data obtained by the operation of the image processing device 11.
  • the drive unit 13 is connected to the diagnostic imaging interface included in the communication unit 43.
  • the input unit 44 includes at least one input interface.
  • the input interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with short-range wireless communication such as Bluetooth (registered trademark).
  • HDMI registered trademark
  • HDMI registered trademark
  • Bluetooth registered trademark
  • “HDMI®” is an abbreviation for High-Definition Multimedia Interface.
  • the input unit 44 accepts a user's operation such as an operation of inputting data used for the operation of the image processing device 11.
  • the keyboard 14 and the mouse 15 are connected to the USB interface included in the input unit 44 or the interface corresponding to short-range wireless communication.
  • the touch screen is provided integrally with the display 16, the display 16 may be connected to the USB interface or the HDMI (registered trademark) interface included in the input unit 44.
  • the output unit 45 includes at least one output interface.
  • the output interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with short-range wireless communication such as Bluetooth (registered trademark).
  • the output unit 45 outputs the data obtained by the operation of the image processing device 11.
  • the display 16 is connected to the USB interface or the HDMI (registered trademark) interface included in the output unit 45.
  • the function of the image processing device 11 is realized by executing the image processing program according to the present embodiment on the processor corresponding to the control unit 41. That is, the function of the image processing device 11 is realized by software.
  • the image processing program causes the computer to function as the image processing device 11 by causing the computer to execute each process of the image processing device 11. That is, the computer functions as the image processing device 11 by executing each process of the image processing device 11 according to the image processing program.
  • the program can be stored on a non-temporary computer-readable medium.
  • Non-temporary computer-readable media are, for example, flash memory, magnetic recording devices, optical discs, photomagnetic recording media, or ROMs.
  • the program is distributed, for example, by selling, transferring, or renting a portable medium such as an SD card, DVD, or CD-ROM that stores the program.
  • SD is an abbreviation for Secure Digital.
  • DVD is an abbreviation for digital versatile disc.
  • CD-ROM is an abbreviation for compact disc read only memory.
  • the program may be distributed by storing the program in the storage of the server and transferring the program from the server to another computer.
  • the program may be provided as a program product.
  • the computer temporarily stores the program stored in the portable medium or the program transferred from the server in the main storage device. Then, the computer reads the program stored in the main storage device by the processor, and executes the processing according to the read program by the processor.
  • the computer may read the program directly from the portable medium and perform processing according to the program.
  • the computer may sequentially execute processing according to the received program each time the program is transferred from the server to the computer.
  • the process may be executed by a so-called ASP type service that realizes the function only by the execution instruction and the result acquisition without transferring the program from the server to the computer. "ASP" is an abbreviation for application service provider.
  • the program includes information used for processing by a computer and equivalent to the program. For example, data that is not a direct command to a computer but has the property of defining the processing of a computer corresponds to "a program-like data".
  • a part or all the functions of the image processing device 11 may be realized by a dedicated circuit corresponding to the control unit 41. That is, some or all the functions of the image processing device 11 may be realized by hardware.
  • the operation of the image processing system 10 according to the present embodiment will be described with reference to FIGS. 6 and 7.
  • the operation of the image processing system 10 corresponds to the image display method according to the present embodiment.
  • the probe 20 Prior to the start of the flow of FIG. 6, the probe 20 is primed by the user. After that, the probe 20 is fitted into the probe connecting portion 34 and the probe clamp portion 37 of the drive unit 13, and is connected and fixed to the drive unit 13. Then, the probe 20 is inserted to a target site in the biological tissue 60 such as a blood vessel or the heart.
  • step S101 the scan switch included in the switch group 39 is pressed, and the pullback switch included in the switch group 39 is pressed, so that a so-called pullback operation is performed.
  • the probe 20 transmits ultrasonic waves inside the living tissue 60 by an ultrasonic vibrator 25 that retracts in the axial direction by a pullback operation.
  • the ultrasonic vibrator 25 transmits ultrasonic waves in a radial pattern while moving inside the living tissue 60.
  • the ultrasonic vibrator 25 receives the reflected wave of the transmitted ultrasonic wave.
  • the probe 20 inputs the signal of the reflected wave received by the ultrasonic vibrator 25 to the image processing device 11.
  • the control unit 41 of the image processing device 11 processes the input signal to sequentially generate cross-sectional images of the biological tissue 60, thereby acquiring tomographic data 51 including a plurality of cross-sectional images.
  • the probe 20 is a plurality of probes 20 moving outward from the center of rotation by the ultrasonic vibrator 25 while rotating the ultrasonic vibrator 25 in the circumferential direction and moving it in the axial direction inside the biological tissue 60.
  • the probe 20 receives the reflected waves from the reflecting objects existing in each of the plurality of directions inside the living tissue 60 by the ultrasonic vibrator 25.
  • the probe 20 transmits the received reflected wave signal to the image processing device 11 via the drive unit 13 and the cable 12.
  • the communication unit 43 of the image processing device 11 receives the signal transmitted from the probe 20.
  • the communication unit 43 performs A / D conversion of the received signal.
  • the communication unit 43 inputs the A / D converted signal to the control unit 41.
  • the control unit 41 processes the input signal to calculate the intensity value distribution of the reflected wave from the reflecting object existing in the transmission direction of the ultrasonic wave of the ultrasonic vibrator 25.
  • the control unit 41 acquires the tomographic data 51, which is a data set of the cross-sectional image, by sequentially generating a two-dimensional image having a brightness value distribution corresponding to the calculated intensity value distribution as a cross-sectional image of the biological tissue 60.
  • the control unit 41 stores the acquired tomographic data 51 in the storage unit 42.
  • the reflected wave signal received by the ultrasonic transducer 25 corresponds to the raw data of the tomographic data 51, and the cross-sectional image generated by the image processing device 11 processing the reflected wave signal is the tomographic data. It corresponds to the processing data of 51.
  • the control unit 41 of the image processing device 11 may store the signal input from the probe 20 as it is in the storage unit 42 as tomographic data 51.
  • the control unit 41 may store the data showing the intensity value distribution of the reflected wave calculated by processing the signal input from the probe 20 in the storage unit 42 as the tomographic data 51.
  • the tomographic data 51 is not limited to the data set of the cross-sectional image of the biological tissue 60, and may be data representing the cross-section of the biological tissue 60 at each moving position of the ultrasonic vibrator 25 in some form.
  • an ultrasonic vibrator that transmits ultrasonic waves in a plurality of directions without rotating is used. You may.
  • the tomographic data 51 may be acquired using OFDI or OCT instead of being acquired using IVUS.
  • OFDI is an abbreviation for optical frequency domain imaging.
  • OCT is an abbreviation for optical coherence tomography.
  • an ultrasonic vibrator that transmits ultrasonic waves in the lumen of the biological tissue 60 to acquire the tomographic data 51.
  • 25 a sensor that radiates light in the lumen of the biological tissue 60 to acquire tomographic data 51 is used.
  • another device instead of the image processing device 11 generating a data set of a cross-sectional image of the biological tissue 60, another device generates a similar data set, and the image processing device 11 uses the data set. It may be obtained from the other device. That is, instead of the control unit 41 of the image processing device 11 processing the IVUS signal to generate a cross-sectional image of the biological tissue 60, another device processes the IVUS signal to produce a cross-sectional image of the biological tissue 60. The generated cross-sectional image may be input to the image processing device 11.
  • step S102 the control unit 41 of the image processing device 11 generates three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S101.
  • the updated fault data 51 updates only the data at the corresponding location instead of regenerating all the 3D data 52 from scratch. Is preferable.
  • the amount of data processing when generating the three-dimensional data 52 can be reduced, and the real-time property of the three-dimensional image 53 in the subsequent step S103 can be improved.
  • control unit 41 of the image processing device 11 stacks the cross-sectional images of the biological tissue 60 included in the tomographic data 51 stored in the storage unit 42 to make it three-dimensional, thereby making the biological tissue 60 3D.
  • Generate dimensional data 52 As the three-dimensional method, any method among rendering methods such as surface rendering or volume rendering, and accompanying various processes such as texture mapping including environment mapping and bump mapping is used.
  • the control unit 41 stores the generated three-dimensional data 52 in the storage unit 42.
  • step S103 the control unit 41 of the image processing device 11 displays the three-dimensional data 52 generated in step S102 on the display 16 as a three-dimensional image 53.
  • the control unit 41 may set the angle at which the three-dimensional image 53 is displayed to an arbitrary angle.
  • control unit 41 of the image processing device 11 generates the three-dimensional image 53 from the three-dimensional data 52 stored in the storage unit 42.
  • the control unit 41 displays the generated three-dimensional image 53 on the display 16 via the output unit 45.
  • step S104 if there is an operation of setting an angle for displaying the three-dimensional image 53 as a user change operation, the process of step S105 is performed. If there is no change operation by the user, the process of step S106 is performed.
  • step S105 the control unit 41 of the image processing device 11 receives an operation of setting an angle for displaying the three-dimensional image 53 via the input unit 44.
  • the control unit 41 adjusts the angle at which the three-dimensional image 53 is displayed to the set angle.
  • step S103 the control unit 41 causes the display 16 to display the three-dimensional image 53 at the angle set in step S105.
  • control unit 41 of the image processing device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 to display the three-dimensional image 53 displayed on the display 16.
  • the operation of rotating is received via the input unit 44.
  • the control unit 41 interactively adjusts the angle at which the three-dimensional image 53 is displayed on the display 16 according to the user's operation.
  • the control unit 41 uses the input unit 44 to input the numerical value of the angle at which the three-dimensional image 53 is displayed by the user using the touch screen provided integrally with the keyboard 14, the mouse 15, or the display 16. Accept through.
  • the control unit 41 adjusts the angle at which the three-dimensional image 53 is displayed on the display 16 according to the input numerical value.
  • step S106 If the fault data 51 is updated in step S106, the processes of steps S107 and S108 are performed. If the fault data 51 is not updated, the presence or absence of the user's change operation is reconfirmed in step S104.
  • step S107 the control unit 41 of the image processing device 11 processes at least one cross-sectional image of the biological tissue 60 by processing the signal input from the probe 20 as in the process of step S101.
  • the tomographic data 51 including a new cross-sectional image is acquired.
  • step S108 the control unit 41 of the image processing device 11 updates the three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S107. Then, in step S103, the control unit 41 causes the display 16 to display the three-dimensional data 52 updated in step S108 as a three-dimensional image 53. In step S108, it is preferable that only the data at the location corresponding to the updated fault data 51 is updated. As a result, the amount of data processing when generating the three-dimensional data 52 can be reduced, and the real-time property of the three-dimensional image 53 can be improved in step S108.
  • step S111 if there is an operation of setting the angle between the cut surfaces P1 and P2 as shown in FIG. 4 as a user setting operation, the process of step S112 is performed.
  • step S112 the control unit 41 of the image processing device 11 receives an operation of setting the angle between the cut surfaces P1 and P2 via the input unit 44.
  • control unit 41 of the image processing device 11 uses a touch screen provided by the user integrally with the keyboard 14, the mouse 15, or the display 16 to set the numerical value of the angle between the cut surfaces P1 and P2.
  • the operation to be input is accepted via the input unit 44.
  • step S113 the control unit 41 of the image processing device 11 calculates the position of the center of gravity of a plurality of cross sections of the lumen of the biological tissue 60 in the lateral direction using the latest three-dimensional data 52 stored in the storage unit 42.
  • the latest three-dimensional data 52 is the three-dimensional data 52 generated in step S102 if the processing in step S108 has not been performed, and is updated in step S108 if the processing in step S108 has been performed. It is the three-dimensional data 52 that has been created.
  • the updated fault data 51 should update only the data at the corresponding location, instead of regenerating all the 3D data 52 from scratch. Is preferable.
  • the amount of data processing when generating the three-dimensional data 52 can be reduced, and the real-time property of the three-dimensional image 53 in the subsequent step S117 can be improved.
  • control unit 41 of the image processing device 11 if it generates a new cross-sectional image corresponding to each of the plurality of cross-sectional images generated in step S101 in step S107. , After replacing it with the new cross-sectional image, it is binarized. As shown in FIG. 9, the control unit 41 extracts a point cloud on the inner surface of the biological tissue 60 from the binarized cross-sectional image. For example, the control unit 41 extracts points corresponding to the inner surface of the main blood vessel one by one along the vertical direction of the cross-sectional image having the r-axis as the horizontal axis and the ⁇ -axis as the vertical axis, thereby extracting the inner surface of the blood vessel one by one.
  • the position of the center of gravity obtained as a result is shown in FIG.
  • the point Cn is the center of the cross-sectional image.
  • the point Bp is the center of gravity of the point cloud on the inner surface.
  • the point Bv is the center of gravity of the vertices of the polygon.
  • the point Bx is the center of gravity of the polygon as a convex hull.
  • a method for calculating the position of the center of gravity of a blood vessel a method different from the method for calculating the position of the center of gravity of a polygon as a convex hull may be used.
  • a method of calculating the center position of the maximum circle that fits in the main blood vessel as the position of the center of gravity may be used.
  • a method of calculating the average position of the pixels in the main blood vessel region as the position of the center of gravity may be used. The same method can be used even when the living tissue 60 is not a blood vessel.
  • step S114 the control unit 41 of the image processing device 11 executes smoothing on the calculation result of the center of gravity position in step S113.
  • control unit 41 of the image processing device 11 executes smoothing on the calculation result of the position of the center of gravity by using the moving average as shown by the broken line in FIG.
  • a method different from the moving average may be used. For example, exponential smoothing, kernel method, local regression, Ramer-Douglas-Peucker algorithm, Savitzky-Golay method, smoothing spline, or SGM may be used. Alternatively, a method of performing a fast Fourier transform and then removing the high frequency component may be used. Alternatively, a Kalman filter or a low-pass filter such as a Butterworth filter, a Chebyshev filter, a digital filter, an elliptic filter, or a KZ filter may be used. "SGM” is an abbreviation for stretched grid method. "KZ” is an abbreviation for Kolmogorov-Zurbenko.
  • the control unit 41 divides the calculation result of the center of gravity position according to the positions of a plurality of cross sections of the lumen of the living tissue 60 in the longitudinal direction of the lumen of the living tissue 60, and the divided calculation result. Smoothing may be performed on a case-by-case basis. That is, when the curve at the center of gravity as shown by the broken line in FIG. 12 overlaps the tissue region, the control unit 41 divides the curve at the center of gravity into a plurality of sections and executes individual smoothing for each section. good.
  • control unit 41 determines the degree of smoothing to be executed for the calculation result of the position of the center of gravity according to the positions of a plurality of cross sections in the lateral direction of the lumen of the biological tissue 60 in the longitudinal direction of the lumen of the biological tissue 60. You may adjust. That is, when the curve of the center of gravity position as shown by the broken line in FIG. 12 overlaps the tissue region, the control unit 41 may reduce the degree of smoothing executed for a part of the section including the overlapped points. ..
  • step S115 the control unit 41 of the image processing device 11 sets a pair of surfaces intersecting on one line L1 passing through the position of the center of gravity calculated in step S113 as cut surfaces P1 and P2.
  • the control unit 41 sets the cut surfaces P1 and P2 after performing smoothing on the calculation result of the center of gravity position in step S114, but the processing in step S114 may be omitted.
  • control unit 41 of the image processing device 11 sets the curve of the position of the center of gravity obtained as a result of the smoothing in step S114 as the line L1.
  • the control unit 41 sets a pair of surfaces that intersect at the set line L1 and form an angle set in step S112 as the cut surfaces P1 and P2.
  • the control unit 41 exposes the three-dimensional coordinates intersecting the cut surfaces P1 and P2 of the biological tissue 60 in the latest three-dimensional data 52 stored in the storage unit 42, and exposes the lumen of the biological tissue 60 in the three-dimensional image 53. It is specified as the three-dimensional coordinates of the edge of the opening to be made.
  • the control unit 41 stores the specified three-dimensional coordinates in the storage unit 42.
  • the positions of the cut surfaces P1 and P2 may be set to arbitrary positions, but in the present embodiment, the openings are set to be located in front of the screen of the display 16.
  • step S116 the control unit 41 of the image processing device 11 forms an opening in the three-dimensional data 52 that exposes the lumen of the biological tissue 60 from the region sandwiched between the cut surfaces P1 and P2 in the three-dimensional image 53.
  • control unit 41 of the image processing device 11 displays a portion of the latest three-dimensional data 52 stored in the storage unit 42 specified by the three-dimensional coordinates stored in the storage unit 42 as a three-dimensional image.
  • the 53 is displayed on the display 16, it is set to be hidden or transparent.
  • step S117 the control unit 41 of the image processing device 11 displays the three-dimensional data 52 formed with the opening in step S116 on the display 16 as a three-dimensional image 53.
  • control unit 41 of the image processing device 11 generates a three-dimensional image 53 in which the portion specified by the three-dimensional coordinates stored in the storage unit 42 is hidden or transparent.
  • the control unit 41 displays the generated three-dimensional image 53 on the display 16 via the output unit 45. Therefore, the user can look into the inside of the living tissue 60 from the opening and virtually observe the inner wall surface of the living tissue 60.
  • step S118 if there is an operation of setting the angle between the cut surfaces P1 and P2 or an operation of setting the angle for displaying the three-dimensional image 53 as the user change operation, the process of step S119 is performed. If there is no change operation by the user, the process of step S120 is performed.
  • step S119 the control unit 41 of the image processing device 11 receives the operation of setting the angle between the cut surfaces P1 and P2 via the input unit 44, as in the process of step S112. In that case, the processing after step S115 is performed. Alternatively, the control unit 41 receives the operation of setting the angle for displaying the three-dimensional image 53 via the input unit 44, as in the process of step S105. The control unit 41 adjusts the angle at which the three-dimensional image 53 is displayed to the set angle. In that case as well, the processes after step S115 are performed. In step S115, the control unit 41 adjusts the positions of the cut surfaces P1 and P2 according to the set angle at which the three-dimensional image 53 is displayed. That is, the positions of the cut surfaces P1 and P2 are readjusted so that the opening is located in front of the screen of the display 16.
  • step S120 If the fault data 51 is updated in step S120, the processes of steps S121 and S122 are performed. If the fault data 51 is not updated, the presence or absence of the user's change operation is reconfirmed in step S118.
  • step S121 the control unit 41 of the image processing device 11 processes the signal input from the probe 20 to generate a new cross-sectional image of the biological tissue 60, as in the process of step S101 or step S107.
  • the tomographic data 51 including at least one new cross-sectional image is acquired.
  • step S122 the control unit 41 of the image processing device 11 updates the three-dimensional data 52 of the biological tissue 60 based on the tomographic data 51 acquired in step S121. After that, the processes after step S113 are performed. In step S122, it is preferable that only the data at the location corresponding to the updated fault data 51 is updated. As a result, the amount of data processing when generating the three-dimensional data 52 can be reduced, and the real-time performance of the data processing after step S113 can be improved.
  • the control unit 41 of the image processing device 11 displays the three-dimensional data 52 representing the biological tissue 60 having a longitudinal lumen on the display 16 as the three-dimensional image 53.
  • the control unit 41 calculates the position of the center of gravity of a plurality of cross sections in the lateral direction of the lumen of the biological tissue 60 using the three-dimensional data 52.
  • the control unit 41 sets a pair of surfaces that intersect with each other on a line passing through the calculated position of the center of gravity as a cut surface.
  • the control unit 41 forms an opening in the three-dimensional data 52 that exposes the lumen of the living tissue 60 from the region sandwiched between the cut surfaces in the three-dimensional image 53.
  • the user can see the inside of the living tissue 60 with the three-dimensional image 53. For example, if the user is an operator, it becomes easier to perform an operation on the inside of the biological tissue 60.
  • control unit 41 of the image processing device 11 bends in the three-dimensional image 53 as the opening when at least a part of the lumen of the biological tissue 60 is bent in the longitudinal direction.
  • An opening is formed in the 3D data 52 that exposes the lumen of the portion over the entire longitudinal direction.
  • the user can see the inside of the living tissue 60 with the three-dimensional image 53 without being blocked by the outer wall of the living tissue 60.
  • control unit 41 of the image processing device 11 sets the cut surface after performing smoothing on the calculation result of the center of gravity position.
  • the influence of pulsation on the calculation result of the center of gravity position can be suppressed.
  • the present disclosure is not limited to the above-described embodiment.
  • a plurality of blocks described in the block diagram may be integrated, or one block may be divided.
  • they may be executed in parallel or in a different order according to the processing capacity of the device that executes each step, or if necessary.
  • Other changes are possible without departing from the spirit of this disclosure.
  • Image processing system 11 Image processing device 12 Cable 13 Drive unit 14 Keyboard 15 Mouse 16 Display 17 Connection terminal 18 Cart unit 20 Probe 21 Drive shaft 22 Hub 23 Sheath 24 Outer tube 25 Ultrasonic transducer 26 Relay connector 31 Scanner unit 32 slide Unit 33 Bottom cover 34 Probe connection 35 Scanner motor 36 Outlet 37 Probe clamp 38 Slide motor 39 Switch group 41 Control 42 Storage 43 Communication 44 Input 45 Output 51 Fault data 52 3D data 53 3D Image 60 Living tissue

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像処理装置は、長手状の内腔を有する生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、前記３次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、算出した重心位置を通る１本の線で交わる１対の面を切断面として設定し、前記３次元画像において前記生体組織の前記内腔を前記切断面に挟まれた領域から露出させる開口を前記３次元データに形成する制御部を備える。

Description

画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
　本開示は、画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラムに関する。
　特許文献１から特許文献３には、ＵＳ画像システムを用いて心腔又は血管の３次元画像を生成する技術が記載されている。「ＵＳ」は、ultrasoundの略語である。
米国特許出願公開第２０１０／０２１５２３８号明細書 米国特許第６３８５３３２号明細書 米国特許第６２５１０７２号明細書
　心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる治療が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。
　現状として、術者は頭の中でＩＶＵＳの２次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。
　しかし、術者が３次元画像で生体組織の外壁しか見えないのであれば、生体組織の内部に対する施術を行えない。
　本開示の目的は、ユーザが３次元画像で生体組織の内部を見ることができるようにすることである。
　本開示の一態様としての画像処理装置は、長手状の内腔を有する生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、前記３次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、算出した重心位置を通る１本の線で交わる１対の面を切断面として設定し、前記３次元画像において前記生体組織の前記内腔を前記切断面に挟まれた領域から露出させる開口を前記３次元データに形成する制御部を備える。
　一実施形態として、前記制御部は、前記生体組織の前記内腔の少なくとも一部が長手方向において屈曲している場合に、前記開口として、前記３次元画像において当該屈曲している部分の内腔を長手方向全体に亘って露出させる開口を前記３次元データに形成する。
　一実施形態として、前記制御部は、前記重心位置の算出結果に対してスムージングを実行した上で前記切断面を設定する。
　一実施形態として、前記制御部は、前記生体組織の前記内腔の長手方向における前記複数断面の位置に応じて前記重心位置の算出結果を分割し、分割した算出結果ごとに前記スムージングを実行する。
　一実施形態として、前記制御部は、前記生体組織の前記内腔の長手方向における前記複数断面の位置に応じて前記重心位置の算出結果に対して実行する前記スムージングの度合いを調整する。
　一実施形態として、前記画像処理装置は、ユーザの操作を受け付ける入力部をさらに備え、前記制御部は、前記切断面の間の角度を設定する操作を、前記入力部を介して受け付ける。
　一実施形態として、前記画像処理装置は、ユーザの操作を受け付ける入力部をさらに備え、前記制御部は、前記３次元画像を表示させる角度を設定する操作を、前記入力部を介して受け付け、設定された角度に応じて前記切断面の位置を調整する。
　一実施形態として、前記生体組織は、血管を含む。
　本開示の一態様としての画像処理システムは、前記生体組織の前記内腔を移動しながら前記生体組織の断層データを取得するセンサと、前記センサにより取得された断層データに基づいて前記３次元データを生成する前記画像処理装置とを備える。
　一実施形態として、前記画像処理システムは、前記ディスプレイをさらに備える。
　本開示の一態様としての画像表示方法は、長手状の内腔を有する生体組織を表す３次元データを３次元画像としてディスプレイに表示する画像表示方法であって、コンピュータが、前記３次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、前記コンピュータが、算出した重心位置を通る１本の線で交わる１対の面を切断面として設定し、前記コンピュータが、前記３次元画像において前記切断面に挟まれた領域から前記生体組織の前記内腔を露出させる開口を前記３次元データに形成する、というものである。
　本開示の一態様としての画像処理プログラムは、長手状の内腔を有する生体組織を表す３次元データを３次元画像としてディスプレイに表示させるコンピュータに、前記３次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出する処理と、算出した重心位置を通る１本の線で交わる１対の面を切断面として設定する処理と、前記３次元画像において前記切断面に挟まれた領域から前記生体組織の前記内腔を露出させる開口を前記３次元データに形成する処理とを実行させる。
　本開示によれば、ユーザが３次元画像で生体組織の内部を見ることができるようになる。
本開示の一態様としての画像処理システムの斜視図である。 本開示の一態様としての画像処理システムのプローブ及び駆動ユニットの斜視図である。 本開示の一態様としての画像処理装置の構成を示すブロック図である。 本開示の一態様において設定される１対の切断面を示す図である。 比較例において設定される１つの切断面を示す図である。 本開示の一態様としての画像処理システムの動作を示すフローチャートである。 本開示の一態様としての画像処理システムの動作を示すフローチャートである。 本開示の一態様において生体組織の断面画像を２値化した結果を示す図である。 本開示の一態様において生体組織の内表面の点群を抽出した結果を示す図である。 本開示の一態様において生体組織の断面の重心位置を算出した結果を示す図である。 本開示の一態様において生体組織の複数断面の重心位置を算出した結果を示す図である。 図１１の結果に対してスムージングを実行した結果を示す図である。
　以下、本開示の一態様の具体例としての一実施形態について、図を参照して説明する。
　各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　図１、図３、及び図４を参照して、本実施形態の概要を説明する。
　本実施形態に係る画像処理装置１１は、長手状の内腔を有する生体組織６０を表す３次元データ５２を３次元画像５３としてディスプレイ１６に表示させるコンピュータである。画像処理装置１１は、３次元データ５２を用いて生体組織６０の内腔の短手方向の複数断面の重心位置を算出する。画像処理装置１１は、算出した重心位置を通る１本の線で交わる１対の面を切断面として設定する。画像処理装置１１は、３次元画像５３において当該切断面に挟まれた領域から生体組織６０の内腔を露出させる開口を３次元データ５２に形成する。なお、ここでいう長手状の内腔を有する生体組織６０は、解剖学的に単一の器官又はその一部のみに限らず、複数の器官を跨いで長手状の内腔を有する組織も含む。そのような組織の一例として、具体的には、下大静脈の上部から右心房を抜けて上大静脈の下部に至る血管系組織の一部が挙げられる。
　本実施形態によれば、ユーザが３次元画像５３で生体組織６０の内部を見ることができるようになる。例えば、ユーザが術者であれば、生体組織６０の内部に対する施術を行いやすくなる。
　生体組織６０は、例えば、血管、又は心臓などの臓器を含む。図４の例では、生体組織６０は、血管である。
　図４において、Ｘ方向、及びＸ方向に直交するＹ方向は、それぞれ生体組織６０の内腔の短手方向に相当する。Ｘ方向及びＹ方向に直交するＺ方向は、生体組織６０の内腔の長手方向に相当する。
　図４の例では、画像処理装置１１は、３次元データ５２を用いて生体組織６０の断面Ｃ１，Ｃ２，Ｃ３，Ｃ４それぞれの重心Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置を算出する。画像処理装置１１は、重心Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置を通る１本の線Ｌ１で交わる１対の面を切断面Ｐ１，Ｐ２として設定する。画像処理装置１１は、３次元画像５３において切断面Ｐ１，Ｐ２に挟まれた領域から生体組織６０の内腔を露出させる開口を３次元データ５２に形成する。
　図４のように屈曲した血管の３次元モデルの場合、１つの平面をもって３次元モデルを切断して内腔を表示すると、図５のように切断面Ｐ０が正しく血管内を表示させ得ないケースがある。本実施形態では、図４のように、血管の重心を捕捉し続けることにより、確実に血管の中を表示させ得るように３次元モデルを切断することが可能となる。
　図４では、便宜上、生体組織６０の内腔の短手方向の複数断面として、４つの断面Ｃ１，Ｃ２，Ｃ３，Ｃ４を示しているが、重心位置の算出対象となる断面の数は４つに限らず、好適にはＩＶＵＳで取得される断面画像の数と同数である。
　図１を参照して、本実施形態に係る画像処理システム１０の構成を説明する。
　画像処理システム１０は、画像処理装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。
　画像処理装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。
　ケーブル１２は、画像処理装置１１と駆動ユニット１３とを接続するために用いられる。
　駆動ユニット１３は、図２に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。
　キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で画像処理装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。「ＨＭＤ」は、head-mounted displayの略語である。
　画像処理システム１０は、オプションとして、接続端子１７及びカートユニット１８をさらに備える。
　接続端子１７は、画像処理装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。
　カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、画像処理装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。
　図２を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。
　プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。
　駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。
　ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５がシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示すように、シース２３の内部を基端側へ移動する。
　駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。
　スキャナユニット３１は、ケーブル１２を介して画像処理装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。
　プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と画像処理装置１１との間で信号が送受信される。画像処理装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
　スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的且つ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。
　プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。
　スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。
　スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。
　フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。
　スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。
　ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。
　図３を参照して、画像処理装置１１の構成を説明する。
　画像処理装置１１は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。
　制御部４１は、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、画像処理装置１１を含む画像処理システム１０の各部を制御しながら、画像処理装置１１の動作に関わる処理を実行する。
　記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、断層データ５１など、画像処理装置１１の動作に用いられるデータと、３次元データ５２及び３次元画像５３など、画像処理装置１１の動作によって得られたデータとが記憶される。
　通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、local area networkの略語である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、画像処理装置１１の動作に用いられるデータを受信し、また画像処理装置１１の動作によって得られるデータを送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。
　入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信に対応したインタフェースである。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、画像処理装置１１の動作に用いられるデータを入力する操作などのユーザの操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェース、又は近距離無線通信に対応したインタフェースにキーボード１４及びマウス１５が接続される。タッチスクリーンがディスプレイ１６と一体的に設けられている場合、入力部４４に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続されてもよい。
　出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信に対応したインタフェースである。出力部４５は、画像処理装置１１の動作によって得られるデータを出力する。本実施形態では、出力部４５に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。
　画像処理装置１１の機能は、本実施形態に係る画像処理プログラムを、制御部４１に相当するプロセッサで実行することにより実現される。すなわち、画像処理装置１１の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置１１の各処理をコンピュータに実行させることで、コンピュータを画像処理装置１１として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置１１の各処理を実行することにより画像処理装置１１として機能する。
　プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
　コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
　画像処理装置１１の一部又は全ての機能が、制御部４１に相当する専用回路により実現されてもよい。すなわち、画像処理装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。
　図６及び図７を参照して、本実施形態に係る画像処理システム１０の動作を説明する。画像処理システム１０の動作は、本実施形態に係る画像表示方法に相当する。
　図６のフローの開始前に、ユーザによって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管又は心臓などの生体組織６０内の目的部位まで挿入される。
　ステップＳ１０１において、スイッチ群３９に含まれるスキャンスイッチが押され、さらにスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織６０の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。超音波振動子２５は、生体組織６０の内部を移動しながら放射線状に超音波を送信する。超音波振動子２５は、送信した超音波の反射波を受信する。プローブ２０は、超音波振動子２５により受信した反射波の信号を画像処理装置１１に入力する。画像処理装置１１の制御部４１は、入力された信号を処理して生体組織６０の断面画像を順次生成することで、複数の断面画像を含む断層データ５１を取得する。
　具体的には、プローブ２０は、生体組織６０の内部で超音波振動子２５を周方向に回転させながら、且つ軸方向に移動させながら、超音波振動子２５により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ２０は、生体組織６０の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子２５により受信する。プローブ２０は、受信した反射波の信号を、駆動ユニット１３及びケーブル１２を介して画像処理装置１１に送信する。画像処理装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。制御部４１は、入力された信号を処理して、超音波振動子２５の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部４１は、算出した強度値分布に相当する輝度値分布を持つ２次元画像を生体組織６０の断面画像として順次生成することで、断面画像のデータセットである断層データ５１を取得する。制御部４１は、取得した断層データ５１を記憶部４２に記憶させる。
　本実施形態において、超音波振動子２５が受信する反射波の信号は、断層データ５１の生データに相当し、画像処理装置１１が反射波の信号を処理して生成する断面画像は、断層データ５１の加工データに相当する。
　本実施形態の一変形例として、画像処理装置１１の制御部４１は、プローブ２０から入力された信号をそのまま断層データ５１として記憶部４２に記憶させてもよい。あるいは、制御部４１は、プローブ２０から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ５１として記憶部４２に記憶させてもよい。すなわち、断層データ５１は、生体組織６０の断面画像のデータセットに限られず、超音波振動子２５の各移動位置における生体組織６０の断面を何らかの形式で表すデータであればよい。
　本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子２５の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。
　本実施形態の一変形例として、断層データ５１は、ＩＶＵＳを用いて取得される代わりに、ＯＦＤＩ又はＯＣＴを用いて取得されてもよい。「ＯＦＤＩ」は、optical frequency domain imagingの略語である。「ＯＣＴ」は、optical coherence tomographyの略語である。ＯＦＤＩ又はＯＣＴが用いられる場合、生体組織６０の内腔を移動しながら断層データ５１を取得するセンサとして、生体組織６０の内腔で超音波を送信して断層データ５１を取得する超音波振動子２５の代わりに、生体組織６０の内腔で光を放射して断層データ５１を取得するセンサが用いられる。
　本実施形態の一変形例として、画像処理装置１１が生体組織６０の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、画像処理装置１１はそのデータセットを当該他の装置から取得してもよい。すなわち、画像処理装置１１の制御部４１が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成し、生成した断面画像を画像処理装置１１に入力してもよい。
　ステップＳ１０２において、画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。なお、このとき、既に生成済みの３次元データ５２が存在する場合、全ての３次元データ５２を一から生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。これにより、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１０３における３次元画像５３のリアルタイム性を向上させることができる。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像を積層して３次元化することで、生体組織６０の３次元データ５２を生成する。３次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部４１は、生成した３次元データ５２を記憶部４２に記憶させる。
　ステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０２で生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。この時点では、制御部４１は、３次元画像５３を表示させる角度を任意の角度に設定してよい。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２から３次元画像５３を生成する。制御部４１は、生成した３次元画像５３を、出力部４５を介してディスプレイ１６に表示させる。
　ステップＳ１０４において、ユーザの変更操作として、３次元画像５３を表示させる角度を設定する操作があれば、ステップＳ１０５の処理が行われる。ユーザの変更操作がなければ、ステップＳ１０６の処理が行われる。
　ステップＳ１０５において、画像処理装置１１の制御部４１は、３次元画像５３を表示させる角度を設定する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３を表示させる角度を、設定された角度に調整する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０５で設定された角度で３次元画像５３をディスプレイ１６に表示させる。
　具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて回転させる操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、ユーザの操作に応じてインタラクティブに調整する。あるいは、制御部４１は、３次元画像５３を表示させる角度の数値をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、入力された数値に合わせて調整する。
　ステップＳ１０６において、断層データ５１の更新があれば、ステップＳ１０７及びステップＳ１０８の処理が行われる。断層データ５１の更新がなければ、ステップＳ１０４において、ユーザの変更操作の有無が再度確認される。
　ステップＳ１０７において、画像処理装置１１の制御部４１は、ステップＳ１０１の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像を新たに生成することで、少なくとも１つの新たな断面画像を含む断層データ５１を取得する。
　ステップＳ１０８において、画像処理装置１１の制御部４１は、ステップＳ１０７で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０８で更新した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。なお、ステップＳ１０８においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。これにより、３次元データ５２を生成する際のデータ処理量を削減し、ステップＳ１０８において、３次元画像５３のリアルタイム性を向上させることができる。
　ステップＳ１１１において、ユーザの設定操作として、図４に示したような切断面Ｐ１，Ｐ２の間の角度を設定する操作があれば、ステップＳ１１２の処理が行われる。
　ステップＳ１１２において、画像処理装置１１の制御部４１は、切断面Ｐ１，Ｐ２の間の角度を設定する操作を、入力部４４を介して受け付ける。
　具体的には、画像処理装置１１の制御部４１は、切断面Ｐ１，Ｐ２の間の角度の数値をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部４４を介して受け付ける。
　ステップＳ１１３において、画像処理装置１１の制御部４１は、記憶部４２に記憶された最新の３次元データ５２を用いて生体組織６０の内腔の短手方向の複数断面の重心位置を算出する。最新の３次元データ５２とは、ステップＳ１０８の処理が行われていなければ、ステップＳ１０２で生成された３次元データ５２のことであり、ステップＳ１０８の処理が行われていれば、ステップＳ１０８で更新された３次元データ５２のことである。なお、このとき、既に生成済みの３次元データ５２が存在する場合、３次元データ５２を一から全て生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。これにより、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１１７における３次元画像５３のリアルタイム性を向上させることができる。
　具体的には、画像処理装置１１の制御部４１は、図８に示すように、ステップＳ１０１で生成した複数の断面画像のそれぞれを、ステップＳ１０７で対応する新たな断面画像を生成していれば、その新たな断面画像に置き換えた上で２値化する。制御部４１は、図９に示すように、２値化した断面画像から生体組織６０の内表面の点群を抽出する。例えば、制御部４１は、ｒ軸を横軸、θ軸を縦軸とする断面画像の縦方向に沿って主血管の内表面に該当する点を１つずつ抽出することで、血管の内表面の点群を抽出する。制御部４１は、単に、抽出した内表面の点群の重心を求めてもよいが、その場合、点群が内表面に亘って均一にサンプリングされないため、重心位置にズレが生じる。そこで、本実施形態では、制御部４１は、抽出した内表面の点群の凸包を算出し、以下のように多角形の重心を求める式を用いて重心位置Ｃｎ＝（Ｃｘ，Ｃｙ）を算出する。ただし、以下の式においては、図９に示すような内表面の点群としてｎ個の頂点（ｘ０，ｙ０），（ｘ１，ｙ１），・・・，（ｘｎ－１，ｙｎ－１）が反時計回りに凸包上に存在するものとし、（ｘｎ，ｙｎ）は（ｘ０，ｙ０）とみなす。
Figure JPOXMLDOC01-appb-M000001
　結果として得られる重心位置を図１０に示す。図１０において、点Ｃｎは、断面画像の中心である。点Ｂｐは、内表面の点群の重心である。点Ｂｖは、多角形の頂点の重心である。点Ｂｘは、凸包としての多角形の重心である。
　血管の重心位置を算出する手法として、凸包としての多角形の重心位置を算出する手法とは別の手法が用いられてもよい。例えば、２値化されていない元の断面画像において、主血管に収まる最大円の中心位置を重心位置として算出する手法が用いられてもよい。あるいは、ｒ軸を横軸、θ軸を縦軸とする２値化された断面画像において、主血管領域のピクセルの平均位置を重心位置として算出する手法が用いられてもよい。生体組織６０が血管でない場合についても、これらと同様の手法を用いることができる。
　ステップＳ１１４において、画像処理装置１１の制御部４１は、ステップＳ１１３の重心位置の算出結果に対してスムージングを実行する。
　図１１に示すように、重心位置の算出結果を時間関数として見た場合、拍動の影響が大きく生じることがわかる。そこで、本実施形態では、画像処理装置１１の制御部４１は、図１２に破線で示すように、移動平均を用いることで重心位置の算出結果に対してスムージングを実行する。
　スムージングの手法として、移動平均とは別の手法が用いられてもよい。例えば、指数平滑法、カーネル法、局所回帰、Ramer-Douglas-Peuckerアルゴリズム、サビツキーゴーレイ法、平滑化スプライン、又はＳＧＭが用いられてもよい。あるいは、高速フーリエ変換を実行してから高周波成分を除去する手法が用いられてもよい。あるいは、カルマンフィルタ、又はバターワースフィルタ、チェビシェフフィルタ、デジタルフィルタ、楕円フィルタ、若しくはＫＺフィルタなどのローパスフィルタが用いられてもよい。「ＳＧＭ」は、stretched grid methodの略語である。「ＫＺ」は、Kolmogorov-Zurbenkoの略語である。
　単にスムージングを実行すると、重心位置が組織の中に入ってしまう場合がある。その場合、制御部４１は、生体組織６０の内腔の長手方向における、生体組織６０の内腔の短手方向の複数断面の位置に応じて重心位置の算出結果を分割し、分割した算出結果ごとにスムージングを実行してもよい。すなわち、制御部４１は、図１２に破線で示すような重心位置の曲線が組織領域に重なった場合、重心位置の曲線を複数の区間に分割し、区間ごとに個別のスムージングを実行してもよい。あるいは、制御部４１は、生体組織６０の内腔の長手方向における、生体組織６０の内腔の短手方向の複数断面の位置に応じて重心位置の算出結果に対して実行するスムージングの度合いを調整してもよい。すなわち、制御部４１は、図１２に破線で示すような重心位置の曲線が組織領域に重なった場合、重なった点を含む一部の区間に対して実行するスムージングの度合いを減少させてもよい。
　ステップＳ１１５において、画像処理装置１１の制御部４１は、ステップＳ１１３で算出した重心位置を通る１本の線Ｌ１で交わる１対の面を切断面Ｐ１，Ｐ２として設定する。本実施形態では、制御部４１は、ステップＳ１１４で重心位置の算出結果に対してスムージングを実行した上で切断面Ｐ１，Ｐ２を設定するが、ステップＳ１１４の処理は省略してもよい。
　具体的には、画像処理装置１１の制御部４１は、ステップＳ１１４のスムージングの結果として得られた重心位置の曲線を線Ｌ１として設定する。制御部４１は、設定した線Ｌ１で交わり、且つステップＳ１１２で設定された角度をなす１対の面を切断面Ｐ１，Ｐ２として設定する。制御部４１は、記憶部４２に記憶された最新の３次元データ５２において、生体組織６０の切断面Ｐ１，Ｐ２と交差する３次元座標を、３次元画像５３において生体組織６０の内腔を露出させる開口の縁の３次元座標として特定する。制御部４１は、特定した３次元座標を記憶部４２に記憶させる。切断面Ｐ１，Ｐ２の位置は、任意の位置に設定されてよいが、本実施形態では、開口がディスプレイ１６の画面上で正面に位置するように設定される。
　ステップＳ１１６において、画像処理装置１１の制御部４１は、３次元画像５３において生体組織６０の内腔を切断面Ｐ１，Ｐ２に挟まれた領域から露出させる開口を３次元データ５２に形成する。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された最新の３次元データ５２において、記憶部４２に記憶された３次元座標で特定される部分を、３次元画像５３をディスプレイ１６に表示させる際に非表示又は透明になるように設定する。
　ステップＳ１１７において、画像処理装置１１の制御部４１は、ステップＳ１１６で開口を形成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。
　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元座標で特定される部分が非表示又は透明になっている３次元画像５３を生成する。制御部４１は、生成した３次元画像５３を、出力部４５を介してディスプレイ１６に表示させる。よって、ユーザが開口から生体組織６０の内部を覗き込んで生体組織６０の内壁面を仮想的に観察することができる。
　ステップＳ１１８において、ユーザの変更操作として、切断面Ｐ１，Ｐ２の間の角度を設定する操作、又は３次元画像５３を表示させる角度を設定する操作があれば、ステップＳ１１９の処理が行われる。ユーザの変更操作がなければ、ステップＳ１２０の処理が行われる。
　ステップＳ１１９において、画像処理装置１１の制御部４１は、ステップＳ１１２の処理と同様に、切断面Ｐ１，Ｐ２の間の角度を設定する操作を、入力部４４を介して受け付ける。その場合、ステップＳ１１５以降の処理が行われる。あるいは、制御部４１は、ステップＳ１０５の処理と同様に、３次元画像５３を表示させる角度を設定する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３を表示させる角度を、設定された角度に調整する。その場合も、ステップＳ１１５以降の処理が行われる。ステップＳ１１５では、制御部４１は、設定された、３次元画像５３を表示させる角度に応じて切断面Ｐ１，Ｐ２の位置を調整する。すなわち、切断面Ｐ１，Ｐ２の位置は、開口がディスプレイ１６の画面上で正面に位置するように再度調整される。
　ステップＳ１２０において、断層データ５１の更新があれば、ステップＳ１２１及びステップＳ１２２の処理が行われる。断層データ５１の更新がなければ、ステップＳ１１８において、ユーザの変更操作の有無が再度確認される。
　ステップＳ１２１において、画像処理装置１１の制御部４１は、ステップＳ１０１又はステップＳ１０７の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像を新たに生成することで、少なくとも１つの新たな断面画像を含む断層データ５１を取得する。
　ステップＳ１２２において、画像処理装置１１の制御部４１は、ステップＳ１２１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。その後、ステップＳ１１３以降の処理が行われる。なお、ステップＳ１２２においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。これにより、３次元データ５２を生成する際のデータ処理量を削減し、ステップＳ１１３以降のデータ処理のリアルタイム性を向上させることができる。
　上述のように、本実施形態では、画像処理装置１１の制御部４１は、長手状の内腔を有する生体組織６０を表す３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、３次元データ５２を用いて生体組織６０の内腔の短手方向の複数断面の重心位置を算出する。制御部４１は、算出した重心位置を通る１本の線で交わる１対の面を切断面として設定する。制御部４１は、３次元画像５３において生体組織６０の内腔を切断面に挟まれた領域から露出させる開口を３次元データ５２に形成する。
　本実施形態によれば、ユーザが３次元画像５３で生体組織６０の内部を見ることができるようになる。例えば、ユーザが術者であれば、生体組織６０の内部に対する施術を行いやすくなる。
　本実施形態では、画像処理装置１１の制御部４１は、生体組織６０の内腔の少なくとも一部が長手方向において屈曲している場合に、上記開口として、３次元画像５３において当該屈曲している部分の内腔を長手方向全体に亘って露出させる開口を３次元データ５２に形成する。
　本実施形態によれば、ユーザが３次元画像５３で生体組織６０の内部を、生体組織６０の外壁で遮られることなく、見ることができるようになる。
　本実施形態では、画像処理装置１１の制御部４１は、重心位置の算出結果に対してスムージングを実行した上で切断面を設定する。
　本実施形態によれば、重心位置の算出結果に対する拍動の影響を抑えることができる。
　本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
　１０　画像処理システム
　１１　画像処理装置
　１２　ケーブル
　１３　駆動ユニット
　１４　キーボード
　１５　マウス
　１６　ディスプレイ
　１７　接続端子
　１８　カートユニット
　２０　プローブ
　２１　駆動シャフト
　２２　ハブ
　２３　シース
　２４　外管
　２５　超音波振動子
　２６　中継コネクタ
　３１　スキャナユニット
　３２　スライドユニット
　３３　ボトムカバー
　３４　プローブ接続部
　３５　スキャナモータ
　３６　差込口
　３７　プローブクランプ部
　３８　スライドモータ
　３９　スイッチ群
　４１　制御部
　４２　記憶部
　４３　通信部
　４４　入力部
　４５　出力部
　５１　断層データ
　５２　３次元データ
　５３　３次元画像
　６０　生体組織

Claims (12)

  1. 　長手状の内腔を有する生体組織を表す３次元データを３次元画像としてディスプレイに表示させる画像処理装置であって、
    　前記３次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、算出した重心位置を通る１本の線で交わる１対の面を切断面として設定し、前記３次元画像において前記生体組織の前記内腔を前記切断面に挟まれた領域から露出させる開口を前記３次元データに形成する制御部を備える画像処理装置。
  2. 　前記制御部は、前記生体組織の前記内腔の少なくとも一部が長手方向において屈曲している場合に、前記開口として、前記３次元画像において当該屈曲している部分の内腔を長手方向全体に亘って露出させる開口を前記３次元データに形成する請求項１に記載の画像処理装置。
  3. 　前記制御部は、前記重心位置の算出結果に対してスムージングを実行した上で前記切断面を設定する請求項１又は請求項２に記載の画像処理装置。
  4. 　前記制御部は、前記生体組織の前記内腔の長手方向における前記複数断面の位置に応じて前記重心位置の算出結果を分割し、分割した算出結果ごとに前記スムージングを実行する請求項３に記載の画像処理装置。
  5. 　前記制御部は、前記生体組織の前記内腔の長手方向における前記複数断面の位置に応じて前記重心位置の算出結果に対して実行する前記スムージングの度合いを調整する請求項３に記載の画像処理装置。
  6. 　ユーザの操作を受け付ける入力部をさらに備え、
    　前記制御部は、前記切断面の間の角度を設定する操作を、前記入力部を介して受け付ける請求項１から請求項５のいずれか１項に記載の画像処理装置。
  7. 　ユーザの操作を受け付ける入力部をさらに備え、
    　前記制御部は、前記３次元画像を表示させる角度を設定する操作を、前記入力部を介して受け付け、設定された角度に応じて前記切断面の位置を調整する請求項１から請求項５のいずれか１項に記載の画像処理装置。
  8. 　前記生体組織は、血管を含む請求項１から請求項７のいずれか１項に記載の画像処理装置。
  9. 　前記生体組織の前記内腔を移動しながら前記生体組織の断層データを取得するセンサと、
    　前記センサにより取得された断層データに基づいて前記３次元データを生成する請求項１から請求項８のいずれか１項に記載の画像処理装置と
    を備える画像処理システム。
  10. 　前記ディスプレイをさらに備える請求項９に記載の画像処理システム。
  11. 　長手状の内腔を有する生体組織を表す３次元データを３次元画像としてディスプレイに表示する画像表示方法であって、
    　コンピュータが、前記３次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、
    　前記コンピュータが、算出した重心位置を通る１本の線で交わる１対の面を切断面として設定し、
    　前記コンピュータが、前記３次元画像において前記切断面に挟まれた領域から前記生体組織の前記内腔を露出させる開口を前記３次元データに形成する画像表示方法。
  12. 　長手状の内腔を有する生体組織を表す３次元データを３次元画像としてディスプレイに表示させるコンピュータに、
    　前記３次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出する処理と、
    　算出した重心位置を通る１本の線で交わる１対の面を切断面として設定する処理と、
    　前記３次元画像において前記切断面に挟まれた領域から前記生体組織の前記内腔を露出させる開口を前記３次元データに形成する処理と
    を実行させる画像処理プログラム。
PCT/JP2021/011533 2020-03-30 2021-03-19 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム WO2021200294A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21779253.0A EP4119061A4 (en) 2020-03-30 2021-03-19 IMAGE PROCESSING DEVICE, IMAGE PROCESSING SYSTEM, IMAGE DISPLAY METHOD AND IMAGE PROCESSING PROGRAM
JP2022511933A JPWO2021200294A1 (ja) 2020-03-30 2021-03-19
CN202180026702.5A CN115361910A (zh) 2020-03-30 2021-03-19 图像处理装置、图像处理系统、图像显示方法及图像处理程序
AU2021249194A AU2021249194A1 (en) 2020-03-30 2021-03-19 Image processing device, image processing system, image display method, and image processing program
US17/957,158 US20230021992A1 (en) 2020-03-30 2022-09-30 Image processing device, image processing system, image display method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020061493 2020-03-30
JP2020-061493 2020-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/957,158 Continuation US20230021992A1 (en) 2020-03-30 2022-09-30 Image processing device, image processing system, image display method, and image processing program

Publications (1)

Publication Number Publication Date
WO2021200294A1 true WO2021200294A1 (ja) 2021-10-07

Family

ID=77928836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011533 WO2021200294A1 (ja) 2020-03-30 2021-03-19 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム

Country Status (6)

Country Link
US (1) US20230021992A1 (ja)
EP (1) EP4119061A4 (ja)
JP (1) JPWO2021200294A1 (ja)
CN (1) CN115361910A (ja)
AU (1) AU2021249194A1 (ja)
WO (1) WO2021200294A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11299787A (ja) * 1998-04-15 1999-11-02 Olympus Optical Co Ltd 超音波画像診断装置
US6251072B1 (en) 1999-02-19 2001-06-26 Life Imaging Systems, Inc. Semi-automated segmentation method for 3-dimensional ultrasound
US6385332B1 (en) 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
JP2003010186A (ja) * 2001-04-24 2003-01-14 Toshiba Corp 超音波診断装置
JP2004113630A (ja) * 2002-09-27 2004-04-15 Olympus Corp 超音波診断装置
JP2006018606A (ja) * 2004-07-01 2006-01-19 Ziosoft Inc 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
JP2009072400A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 超音波診断装置、医用画像処理装置、及び医用画像処理プログラム
US20100215238A1 (en) 2009-02-23 2010-08-26 Yingli Lu Method for Automatic Segmentation of Images
WO2014136137A1 (ja) * 2013-03-04 2014-09-12 テルモ株式会社 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体
JP2014210084A (ja) * 2013-04-19 2014-11-13 株式会社東芝 医用画像処理装置および医用画像処理プログラム
JP2018522703A (ja) * 2015-07-25 2018-08-16 ライトラボ・イメージング・インコーポレーテッド 血管内データ視覚化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407169B2 (ja) * 1995-10-12 2003-05-19 富士写真光機株式会社 超音波画像立体表示装置及び超音波画像立体表示方法
US7333648B2 (en) * 1999-11-19 2008-02-19 General Electric Company Feature quantification from multidimensional image data
EP1523939B1 (en) * 2003-10-14 2012-03-07 Olympus Corporation Ultrasonic diagnostic apparatus

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11299787A (ja) * 1998-04-15 1999-11-02 Olympus Optical Co Ltd 超音波画像診断装置
US6251072B1 (en) 1999-02-19 2001-06-26 Life Imaging Systems, Inc. Semi-automated segmentation method for 3-dimensional ultrasound
US6385332B1 (en) 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
JP2003010186A (ja) * 2001-04-24 2003-01-14 Toshiba Corp 超音波診断装置
JP2004113630A (ja) * 2002-09-27 2004-04-15 Olympus Corp 超音波診断装置
JP2006018606A (ja) * 2004-07-01 2006-01-19 Ziosoft Inc 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
JP2009072400A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 超音波診断装置、医用画像処理装置、及び医用画像処理プログラム
US20100215238A1 (en) 2009-02-23 2010-08-26 Yingli Lu Method for Automatic Segmentation of Images
WO2014136137A1 (ja) * 2013-03-04 2014-09-12 テルモ株式会社 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体
JP2014210084A (ja) * 2013-04-19 2014-11-13 株式会社東芝 医用画像処理装置および医用画像処理プログラム
JP2018522703A (ja) * 2015-07-25 2018-08-16 ライトラボ・イメージング・インコーポレーテッド 血管内データ視覚化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4119061A4

Also Published As

Publication number Publication date
US20230021992A1 (en) 2023-01-26
JPWO2021200294A1 (ja) 2021-10-07
AU2021249194A1 (en) 2022-11-03
EP4119061A1 (en) 2023-01-18
CN115361910A (zh) 2022-11-18
EP4119061A4 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
JP5575278B2 (ja) 前方視画像データを収集するデバイスからの表示用画像データのためのレンダリングのための装置
JP7300352B2 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2021200294A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022085373A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021065750A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2022071251A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022071250A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202203A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202202A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021065963A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2022202201A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021065746A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
WO2023054001A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2024071054A1 (ja) 画像処理装置、画像表示システム、画像表示方法、及び画像処理プログラム
WO2023013601A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
WO2021200295A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2021200296A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
JP2023024072A (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2023176741A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202200A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2020217860A1 (ja) 診断支援装置及び診断支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779253

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511933

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021779253

Country of ref document: EP

Effective date: 20221011

ENP Entry into the national phase

Ref document number: 2021249194

Country of ref document: AU

Date of ref document: 20210319

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE