WO2016054775A1 - 超声虚拟内窥成像系统和方法及其装置 - Google Patents

超声虚拟内窥成像系统和方法及其装置 Download PDF

Info

Publication number
WO2016054775A1
WO2016054775A1 PCT/CN2014/088141 CN2014088141W WO2016054775A1 WO 2016054775 A1 WO2016054775 A1 WO 2016054775A1 CN 2014088141 W CN2014088141 W CN 2014088141W WO 2016054775 A1 WO2016054775 A1 WO 2016054775A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
point
marked
image
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2014/088141
Other languages
English (en)
French (fr)
Inventor
杨芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Original Assignee
Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mindray Bio Medical Electronics Co Ltd filed Critical Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority to PCT/CN2014/088141 priority Critical patent/WO2016054775A1/zh
Priority to CN201480075906.8A priority patent/CN106028943B/zh
Publication of WO2016054775A1 publication Critical patent/WO2016054775A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves

Definitions

  • the present invention relates to ultrasound virtual endoscopic imaging technology, and more particularly to an ultrasound virtual endoscopic imaging system and method and apparatus therefor.
  • Virtual Endoscopy is the application of virtual reality technology in modern medicine. It uses medical images as raw data, and combines image processing, computer graphics, scientific computing visualization and other means to simulate a technology of traditional optical endoscopes.
  • the virtual endoscopic technology overcomes the shortcomings of traditional optical endoscopes that need to insert the endoscope body into the human body. It is a completely contactless inspection method, which can be used in clinical diagnosis, surgical planning and precise positioning of the operation. Wait.
  • Virtual endoscopic technology has been matured for many years in 3D CT and MR imaging. Due to the imaging characteristics of CT and MR, it is mainly used to concentrate on organs with cavity structure such as colon, trachea, blood vessels, esophagus, heart and the like.
  • Ultrasound is widely used in the clinic as a rapid, non-invasive imaging technique. Recently, 2D conventional ultrasound often has defects such as incomplete scanning range and missing information. 3D ultrasound images can see the true position and orientation of organs and deep embedded structures, providing clinicians with more accurate information. Ultrasound 3D and 4D technologies are rapidly developing, and are widely used in such fields as obstetrics and gynecology, endovascular medicine, and urology.
  • Ultrasound virtual endoscopic technique is to place the observation angle into the lumen or blood vessel filled with liquid, and display the internal structure of the cavity stereoscopically in combination with visualization technology to achieve more accurate diagnosis and treatment plan.
  • ultrasound virtual endoscopy can be understood as a fly through method.
  • This technology is a unique ultrasonic post-processing method that provides a new perspective to observe the internal structure of the organ.
  • the current 3D ultrasound virtual endoscopic display is only provided by three orthogonal planes of multi-planar reformation (MPR) and three-dimensional rendering virtual endoscopic images.
  • MPR multi-planar reformation
  • the resolution of ultrasound images is relatively poor.
  • the problem is to provide an ultrasound virtual endoscopic imaging system and method and apparatus therefor.
  • the invention provides an ultrasound virtual endoscopic imaging system, which comprises:
  • a display processing module configured to simultaneously display at least one planar image and at least one stereoscopic image obtained by using a virtual endoscopic technique on the same display interface
  • a fixed point selection module configured to obtain a pre-marked point or region from any one of the images displayed on the display interface
  • a space mapping module configured to obtain, according to a spatial mapping relationship, a position of the pre-marked point or region corresponding to all images on the display interface according to a spatial mapping relationship of the pre-marked point or region;
  • a marking module for marking the pre-marked point or region corresponding to a corresponding position in all images on the display interface.
  • the present invention also provides an ultrasound virtual endoscopic imaging method, including:
  • the present invention also provides an ultrasound virtual endoscopic imaging apparatus, comprising:
  • An image acquisition module configured to transmit and receive ultrasonic shapes, to obtain three-dimensional image data of a target tissue
  • a memory for storing the three-dimensional image data and performing an operation on the three-dimensional image data
  • a human-machine interaction module configured to acquire an instruction to operate the three-dimensional image data
  • a display for simultaneously displaying at least one planar image and at least one stereoscopic image obtained by using a virtual endoscopic technique
  • a processor module configured to obtain a position of a pre-marked point or an area from any one of the images displayed on the display interface, and obtain the pre-marking based on a spatial mapping relationship according to a spatial position coordinate of the pre-marked point or area
  • the points or regions correspond to locations in all of the images on the display interface and mark the pre-marked points or regions corresponding to corresponding locations in all of the images on the display interface.
  • the ultrasonic virtual endoscopic imaging system and method and device thereof of the present invention can conveniently establish a correspondence between a 3D image and a 2D image through a human-computer interaction mode on the basis of a conventional ultrasound virtual endoscopic mode, according to the user.
  • a point or region of interest is specified in a 2D or 3D image, and the position in the corresponding 3D or 2D image can be obtained through a spatial mapping relationship, and can be marked and displayed, thereby providing medical personnel with more accurate, more detailed, more humane. Rationalized physiological information.
  • FIG. 1 is a schematic structural view of an ultrasound virtual endoscopic imaging system of the present invention
  • FIG. 2 is a schematic diagram of a display interface of the present invention.
  • FIG. 3 is a schematic structural diagram of a space mapping module 130 according to the present invention.
  • Figure 4 is a schematic view of parallel projection and perspective projection
  • Figure 5 is a schematic view of light projection
  • Figure 6 is a schematic diagram of sampling at equal intervals along the direction of the light
  • Figure 7 is a schematic plan view of the imaging
  • FIG. 8 is a schematic structural diagram of an embodiment of a marking module 140
  • FIG. 9 is a schematic structural view of still another embodiment of the marking module 140.
  • FIG. 10 is a schematic structural view of an embodiment of an ultrasound virtual endoscopic imaging system according to the present invention.
  • FIG. 11 is a schematic diagram of a display interface of the embodiment of FIG. 10;
  • FIG. 12 is a schematic structural view of still another embodiment of an ultrasound virtual endoscopic imaging system according to the present invention.
  • FIG. 13 is a schematic diagram of a display interface of the embodiment of FIG. 12;
  • FIG. 14 is a schematic structural view of another embodiment of an ultrasound virtual endoscopic imaging system according to the present invention.
  • Figure 15 is a schematic view showing the display interface of the embodiment of Figure 14;
  • 16 is a schematic flow chart of an ultrasonic virtual endoscopic imaging method according to the present invention.
  • FIG. 17 is a schematic structural view of an ultrasonic virtual endoscopic imaging apparatus according to the present invention.
  • 19 is a schematic diagram of a preferred embodiment of implementing coordinate conversion in the present invention.
  • Figure 20 is a schematic illustration of another preferred embodiment of the present invention for implementing coordinate transformation.
  • the invention is based on 3D ultrasound virtual endoscopic imaging technology, and provides an ultrasound virtual endoscopic imaging system and method and device thereof, which can conveniently establish 3D images through human-computer interaction mode on the basis of the conventional ultrasound virtual endoscopic mode.
  • the position in the corresponding 3D or 2D image can be obtained and marked and displayed by the spatial mapping relationship.
  • the ultrasonic virtual endoscopic imaging system of the present invention is mainly applied to an ultrasound virtual endoscopic imaging device, and the device generally comprises: an image acquisition module for transmitting and receiving ultrasonic shape analysis to obtain three-dimensional image data of a target tissue, for storing the above three-dimensional Image data and a memory for performing a result of the operation on the three-dimensional image data, a human-machine interaction module for acquiring an operation instruction for the three-dimensional image data, and a display for displaying an image obtained based on multi-planar recombination (MPR).
  • MPR multi-planar recombination
  • the display processing module 110 is configured to simultaneously display at least one planar image and at least one stereoscopic image obtained by using the virtual endoscopic technique on the same display interface 1, where the planar image refers to a two-dimensional image of the cut surface obtained by multi-plane recombination, In the A, B, and C areas shown in Figure 2, the perspective view here.
  • the planar image refers to a two-dimensional image of the cut surface obtained by multi-plane recombination, In the A, B, and C areas shown in Figure 2, the perspective view here.
  • the planar image refers to a two-dimensional image of the cut surface obtained by multi-plane recombination
  • the fixed point selection module 120 is configured to obtain a pre-marked point or region 2 from any one of the images displayed on the display interface, such as a pre-marked point or region 2 represented by a black square in FIG. 2;
  • the space mapping module 130 is configured to obtain, according to the spatial mapping relationship, the position of the pre-marked point or the area 2 corresponding to all the images on the display interface according to the spatial mapping relationship of the pre-marked point or the area 2;
  • the marking module 140 is configured to mark the corresponding position of the pre-marked point or area 2 corresponding to all the images on the display interface. As shown in FIG. 2, the corresponding black square points are marked in the A ⁇ B ⁇ C ⁇ 3D area. 2, used to indicate the position of the pre-marked point or area in the corresponding image.
  • the present embodiment can provide medical personnel with more accurate and more accurate display by displaying related points or regions of interest (such as pre-marked points or regions 2 in FIG. 2) on all images on the same display interface.
  • related points or regions of interest such as pre-marked points or regions 2 in FIG. 2
  • the meticulous and more humane physiological information judgment basis makes it convenient for the medical staff to directly obtain the correspondence between the D image and the 2D image through the display image on the display.
  • the space mapping module 130 in this embodiment includes:
  • the first conversion unit 131 is configured to convert the spatial position coordinates of the pre-marked point or region from the planar image into a position corresponding to the pre-marked point or region in the stereoscopic image;
  • a second converting unit 132 configured to convert spatial position coordinates of the pre-marked point or region from the stereoscopic image into a position corresponding to the pre-marked point or region in all the planar images
  • the determining unit 133 is configured to determine whether the pre-marked point or region is from any one of the above-mentioned planar images, or whether it is from the stereoscopic image, and invokes the first converting unit or the second converting unit according to the determination result.
  • the first converting unit 131 is mainly used to convert coordinate positions in a 2D image into coordinate positions in a 3D image
  • the second converting unit 132 is mainly used to convert coordinate positions in a 3D image into coordinates in a 2D image.
  • location and spatial mapping refer to the following.
  • the ultrasonic virtual endoscopic technique is different from the parallel projection method adopted by the conventional 3D volume rendering.
  • a perspective projection method is adopted.
  • the parallel projected view body as shown in Fig. 4(a) is a parallel rectangular parallelepiped with the same ends, that is, the distance between the object and the screen does not affect its size.
  • the perspective projection is a trapezoidal body similar to a pyramid. The end is large and the other end is small, so the closer the object is to the screen, the larger it looks, as shown in Figure 4(b).
  • Figure 6 shows the process of sampling at equal intervals along the direction of the light. Assume that a set of rays 503 are emitted from the eye position P (501), intersect the boundary of the object 504 across the view plane 502 at point F, are thrown from the point L, and are equally spaced during the traversal of the object. The color and transparency values obtained according to the predetermined rule during the sampling process are then cumulatively mixed to finally obtain the pixel value of the image plane S point S(u, v) as the final result displayed on the screen of width W and height H (view plane) Above, as shown in Figure 7.
  • the specific first conversion unit 131 may include the following units:
  • a first location unit configured to obtain a space of a second mapping point or region (ie, Q point in FIG. 5) corresponding to the pre-marked point or region in the XYZ space system according to the pre-marked point or region from the planar image Position coordinates;
  • a first calculating unit configured to calculate, according to a perspective projection imaging mode in the XYZ space system, a first mapping point or region (ie, point S in FIG. 5) in the viewing plane through the eye position to the second mapping point or region
  • a first mapping point or region ie, point S in FIG. 5
  • the straight-line distance equation see equation (1) below
  • equation (2) the equation of the above-mentioned apparent plane
  • a first solving unit configured to correlate the linear distance equation and the calculation of the above-mentioned viewing plane equation to obtain coordinates of a first mapping point or region (ie, point S in FIG. 5) in the viewing plane in the XYZ space system;
  • a first position conversion unit configured to convert the obtained coordinates of the first mapping point or region (ie, point S in FIG. 5) in the XYZ space system into the first mapping point or region (ie, in FIG. 5 Point S) coordinates in the view plane, thereby obtaining the position of the pre-marked point or region corresponding to the above-described stereoscopic image.
  • the object is usually sampled based on the XYZ space system.
  • the eye position P remains unchanged, that is, the coordinates are (x 0 , y 0 , z 0 ).
  • the equation of the spatial straight line PQ can be expressed as the following formula (1).
  • the intersection point S(x, y, z) of the straight line PQ and the apparent plane can be calculated, and the intersection point is a point in the XYZ space system, and the spatial mapping relationship is to the UV plane S (u). , v), then the pixel position at (u, v) on the view plane is the position of the spatial point Q on the 3D rendered image.
  • the specific second conversion unit 132 may include the following units:
  • a second location unit configured to obtain, according to the pre-marked point or region from the stereoscopic image, the first mapping point or region corresponding to the pre-marked point or region in the view plane based on the perspective projection imaging mode (ie, in FIG. 5 Spatial position coordinates of point S);
  • a second position conversion unit configured to convert spatial position coordinates of the first mapping point or region (ie, point S in FIG. 5) in the above view plane into coordinates in the XYZ space system;
  • a second calculating unit configured to: based on the first mapping point or region (ie, point S in FIG. 5) from the eye position, to the second mapping point or region corresponding to the pre-marked point or region in the XYZ space system ( That is, the straight-line distance equation established by point Q in FIG. 5 (see the above formula (1) for details), and the ray is emitted from the XYZ space system coordinates of the first map point or region (ie, point S in FIG. 5).
  • Ray projection vector and tracking configured to: based on the first mapping point or region (ie, point S in FIG. 5) from the eye position, to the second mapping point or region corresponding to the pre-marked point or region in the XYZ space system ( That is, the straight-line distance equation established by point Q in FIG. 5 (see the above formula (1) for details), and the ray is emitted from the XYZ space system coordinates of the first map point or region (ie, point S in FIG. 5).
  • a second determining unit establishing a spatial position of the second mapping point or region (ie, Q point in FIG. 5) in the XYZ space system according to the ray casting vector and the sampling interval, and determining the second mapping point in the sampling time or Whether the spatial position of the area meets the preset condition;
  • a second solving unit configured to obtain, according to a spatial position of the second mapping point or region (ie, Q point in FIG. 5) corresponding to the preset condition, that the pre-marking point or region corresponds to all the above-mentioned flats The position in the face image.
  • the preset condition mentioned above may be whether the gray value at the time of sampling the spatial position of the second mapping point or region (ie, the Q point in FIG. 5) reaches a preset threshold.
  • the specific principle of this embodiment is as follows: as shown in FIG. 2 and FIG. 4 to FIG. 7, when the pre-marked point or area 2 is selected according to the 3D image of the image rendered by the user in the 3D, the visual position P is always in the interactive process. It remains unchanged and the coordinates are (x 0 , y 0 , z 0 ).
  • the point is located at a position S within the imaging plane (u, v) (ie, the above-mentioned viewing plane).
  • the S(u,v) is transformed into the XYZ space system, and the coordinates S(x 1 , y 1 , z 1 ) of the position S in the imaging plane (u, v) in the XYZ space system are obtained. Then, the equation of the line connecting the two points P and S and ending with the Q point can be expressed as the content of the above formula (1).
  • the ray casting vector of the ray is expressed as the content of the following formula (3).
  • the object space is sampled along the ray, and the spatial position coordinates of the Q point (ie, the second mapping point or region) in the XYZ space system can be expressed as the following formula (4). .
  • ⁇ t is the sampling interval
  • P is the coordinate of the visual eye position P.
  • the spatial mapping module 130 further includes: if the pre-marked point or region is from the planar image, performing spatial position coordinates of a pre-marked point or region from any one of the planar images, The unit in which the pre-marked points or regions correspond to the positions in the other planar images described above.
  • the positional mapping of the points of interest between the planar images can be obtained based on the mapping relationship between the two-dimensional image obtained by performing the plurality of aspects at the Q-point position in FIG. 5 and the spatial position of the Q point.
  • a mark instruction receiving unit 141 configured to provide a prompt box, or a button, or an instruction input box for selecting a selected mark symbol and/or color on the display interface to obtain a first mark instruction
  • the mark execution unit 142 is configured to superimpose the mark symbol and/or the color information selected in the first mark instruction to the corresponding position in the image corresponding to the pre-marked point or the area on the display interface.
  • the marking module 140 in this embodiment further includes:
  • a transparency selection unit 143 configured to provide a prompt box, or a button, or an instruction input box for selectively selecting a transparency of the padding area on the display interface to obtain a second tag instruction
  • the display adjusting unit 144 is configured to adjust, according to the transparency selection information in the second marking instruction, the color transparency superimposed on the pre-marked point or the area corresponding to the corresponding position in all the images.
  • the ultrasonic virtual endoscopic imaging system 100 of the present embodiment further includes:
  • the distance setting unit 170 is configured to provide, on the display interface, a prompt box for selecting a scale of the scale or the scale indication information and/or a scale of the scale, or a button or an instruction input box to obtain a scale adjustment. Instruction;
  • the scale adjustment unit 160 is configured to adjust the scale of the scale or the scale indication information in the background image according to the scale in the scale adjustment command and/or the scale ratio information.
  • the parallel lead wires 7 are respectively connected to the scale 5 located above and to the left of the imaging area 4, so that the image observer can be conveniently informed of the corresponding position of the mark points. Further, in order not to affect the observation of the map of the other areas of the imaging area, it is preferable that both the vertical lead and the parallel lead 7 disappear when the pre-marking point or the area is selected for release.
  • the ultrasound virtual endoscopic imaging system 100 of the present embodiment further includes:
  • a distance indication module 191 configured to measure a distance between two pre-marked points or regions obtained by the fixed-point selection module
  • the embodiment further provides an ultrasound virtual endoscopic imaging method, including:
  • Step 610 Simultaneously display at least one planar image and at least one stereoscopic image obtained by using virtual endoscopic technology on the same display interface;
  • Step 620 obtaining pre-marked points or regions from any one of the images displayed on the display interface
  • Step 630 obtaining, according to the spatial mapping relationship, the position of the pre-marked point or the area corresponding to all the images on the display interface according to the spatial mapping relationship of the pre-marked point or the area;
  • Step 640 marking the pre-marked point or area corresponding to the corresponding position in all the images on the display interface.
  • Step 631 determining whether the pre-marked point or region is from any of the above-mentioned planar images, or whether it is from the stereoscopic image;
  • Step 632 if the pre-marked point or region is from the plane image, converting the spatial position coordinates of the pre-marked point or region from the plane image into the pre-marked point or region corresponding to the above The position in the stereo image;
  • Step 633 If the pre-marked point or region is from the stereoscopic image, convert the spatial position coordinates of the pre-marked point or region from the stereoscopic image into a position corresponding to the pre-marked point or region in all the planar images.
  • step 632 is mainly used to convert the coordinate position in the 2D image into a coordinate position in the 3D image
  • step 633 is mainly used to convert the coordinate position in the 3D image into a coordinate position in the 2D image
  • the spatial mapping relationship The specific implementation method is specifically as follows.
  • Step 321 obtaining spatial position coordinates of the second mapping point or region corresponding to the pre-marked point or region in the XYZ space system according to the pre-marked point or region from the planar image;
  • Step 322 Calculate a linear distance equation of the visual position of the eye through the first mapping point or region in the viewing plane to the second mapping point or region and the equation of the viewing plane based on the perspective projection imaging mode in the XYZ space system;
  • Step 323 correlating the linear distance equation and the calculation of the above-mentioned viewing plane equation to obtain coordinates of the first mapping point or region in the above view plane in the XYZ space system;
  • Step 324 Convert the obtained coordinates of the first mapping point or region in the XYZ space system into coordinates of the first mapping point or the region in the viewing plane, thereby obtaining the pre-marking point or region corresponding to the stereo image. The location in .
  • Step 331 obtain, according to the pre-marked point or region from the stereoscopic image, a spatial position coordinate of the first mapping point or region corresponding to the first mapping point or region in the viewing plane when the perspective projection imaging mode is obtained;
  • Step 332 Convert the spatial position coordinates of the first mapping point or region in the above view plane into coordinates in the XYZ space system;
  • Step 334 establishing a spatial position of the second mapping point or region in the XYZ space system according to the ray casting vector and the sampling interval, and determining whether the spatial position of the second mapping point or region satisfies a preset condition in the sampling time;
  • Step 335 Obtain a position corresponding to the pre-marked point or region in all the plane images according to a spatial position of the second mapping point or region corresponding to the preset condition.
  • the plurality of selected pre-marked points or regions can be marked on the same display interface.
  • the step 640 of marking the pre-marked points or regions corresponding to the corresponding positions in all the images on the display interface includes:
  • the above-mentioned reference symbols in this embodiment are one of a cross, a dot, a rectangle, a square, a triangle, and the like.
  • the above-mentioned pre-marked point or region pair is marked in the embodiment.
  • the step 640 of the corresponding position in all of the images on the display interface described above further includes:
  • the method further includes: superimposing a scale or a background image containing the scale indication information on the planar image and/or the stereoscopic image.
  • the image is displayed as a background.
  • the method in the embodiment further includes: when the position of the pre-marked point or region is selected, in the display interface Vertical lines and/or parallel lines are respectively generated in all of the above images, and are associated with the above-mentioned scale or the scale indication information in the background image to indicate the scale information.
  • Vertical lines and/or parallel lines are respectively generated in all of the above images, and are associated with the above-mentioned scale or the scale indication information in the background image to indicate the scale information.
  • the ultrasonic virtual endoscopic imaging method in this embodiment further includes: providing the above-mentioned scale or alternatively on the display interface, in order to enable the scale or the tick mark information to be adjusted according to the needs of the customer.
  • the scale marks the scale of the information and/or the prompt box of the scale ratio, or a button or an instruction input box to obtain a scale adjustment instruction; and adjusts the scale according to the scale and/or the scale ratio information in the scale adjustment instruction
  • the scale or the scale in the background image above indicates information.
  • the technical solution of the ultrasonic virtual endoscopic imaging system and method of the present invention may be embodied in the form of a software product in essence or in the form of a software product stored in a non-easy A readable storage medium (such as a ROM, a magnetic disk, or an optical disk) includes a plurality of instructions for causing a terminal device (which may be a mobile phone, a computer, a server, or a network device, etc.) to perform the embodiments of the present invention.
  • a terminal device which may be a mobile phone, a computer, a server, or a network device, etc.
  • the present invention further provides an ultrasound virtual endoscopic imaging device apparatus 700, including:
  • a display 703 configured to simultaneously display at least one planar image and at least one stereoscopic image obtained by using a virtual endoscopic technique
  • the processor module 704 converts the spatial position coordinates of the pre-marked point or region from the planar image into the pre-marked point or region corresponding to the stereoscopic image.
  • the position or the spatial position coordinates of the pre-marked points or regions from the stereoscopic image are converted into the positions of the pre-marked points or regions corresponding to all of the above-mentioned planar images.
  • the processor module 704 is configured to provide transparency for selectively selecting the filling area on the display interface.
  • a prompt box, or a button, or an instruction input box to obtain a second marking instruction including transparency selection information, and according to the transparency selection information in the second marking instruction, to adjust the superposition to the pre-marking point or the area corresponding to all The color transparency of the corresponding position in the image.
  • the processor module 704 further superimposes the scale or the background image containing the scale indication information onto the plane.
  • the image and/or the above stereo image are displayed as a background.
  • the explanation of the scale here or the background image containing the scale indication information is as described above in relation to FIG.
  • the processor module 704 is further provided on the display interface for selectively selecting the scale or the above
  • the scale marks the scale of the information and/or the prompt box of the scale ratio, or a button, or an instruction input box, to obtain a scale adjustment instruction including the set scale and/or the scale ratio information, for adjusting the instruction according to the above scale
  • the scale and/or the scale ratio information adjusts the scale of the scale or the scale indication information in the background image.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

一种超声虚拟内窥成像系统和方法及其装置，其系统包括：显示处理模块（110），用于在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；定点选择模块（120），用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域；空间映射模块（130），用于根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；及标记模块（140），用于标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置；所述系统及方法解决了现有技术中3D超声虚拟内窥成像技术中无法显示3D图像和2D图像之间对应关系的问题。

Description

超声虚拟内窥成像系统和方法及其装置 技术领域
本发明涉及超声虚拟内窥成像技术，特别是涉及一种超声虚拟内窥成像系统和方法及其装置。
背景技术
虚拟内窥技术(Virtual Endoscopy，VE)是虚拟现实技术在现代医学中的应用。它利用医学影像作为原始数据，融合图像处理、计算机图形学、科学计算可视化等手段，模拟传统光学内窥镜的一种技术。虚拟内窥技术克服了传统光学内窥镜需要把内窥镜体插入人体内的缺点，是一种完全无接触式的检查方法，临床中可以用于辅助诊断、手术规划和实现手术的精确定位等。虚拟内窥技术在3D CT和MR成像中已经成熟应用多年，由于CT和MR的成像特性，主要用于集中在具有空腔结构的器官例如结肠、气管、血管、食道、心脏等。
超声作为一种快速、无创的影像检查技术在临床中应用广泛。近来，由于2D传统超声中往往会存在扫查范围不全面、遗漏信息等缺陷，3D超声影像可以看到器官和深层嵌入结构的真正位置和方向，为临床医生提供更准确的信息。超声的3D和4D技术迅速发展，在如妇产科、血管内科、泌尿科等都有广泛的应用。
超声虚拟内窥技术是将观察视角置入液体充盈的管腔或血管内部，结合可视化技术立体地展示观察空腔内部结构，以达到更为准确地诊断效果和制定治疗方案等。作为一项不同于传统超声3D的fly over方式，超声虚拟内窥可以理解为fly through方式进行观察，该项技术是一种独特的超声后处理方法，提供全新的视角以观察器官内部的结构。但是，目前的3D超声虚拟内窥的显示时仅仅是提供多平面重组(Multi-planar reformation，MPR)的三个正交面和三维渲染虚拟内窥图像。一方面，与CT、MR相比，超声图像的分辨率比较差，3D渲染图像中往往会存在伪像，容易与病灶混淆，从而会影响医生对病情的判断。 医生需要不断结合2D图像来判断3D图像上对应位置是病灶还是伪像。另一方面，由于内窥模式与传统的3D成像模式视角不同，同时医生更加习惯看二维超声图像，因此使用者难以想象空间结构关系，在使用中往往很难将3D图像和2D图像联系起来。基于现有技术中存在的问题有待进一步的提高相关图像处理技术。
发明内容
基于此，有必要针对现有技术中3D超声虚拟内窥成像技术中无法显示3D图像和2D图像之间对应关系从而导致无法给医护人员提供更加准确、更加细致、更加人性化的生理信息判断依据的问题，提供一种超声虚拟内窥成像系统和方法及其装置。
本发明提供的一种超声虚拟内窥成像系统，其包括：
显示处理模块，用于在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；
定点选择模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域；
空间映射模块，用于根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；及
标记模块，用于标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。
基于上述系统结构，本发明还提供了一种超声虚拟内窥成像方法，其包括：
在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；
从所述显示界面上显示的任意一幅图像中获得预标记点或区域；
根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；
标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位 置。基于上述系统和方法，本发明还提供了一种超声虚拟内窥成像装置，其包括：
图像采集模块，用于发射和接收超声波形，获得目标组织的三维图像数据；
存储器，用于存储所述三维图像数据及对所述三维图像数据执行操作的结果；
人机交互模块，用于获取对所述三维图像数据进行操作的指令；
显示器，用于同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；及
处理器模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域的位置，根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置，并标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。
本发明的超声虚拟内窥成像系统和方法及其装置，在常规超声虚拟内窥模式的基础上，通过人机交互方式，可以方便的建立3D图像与2D图像之间的对应关系，根据用户在2D或者3D图像中指定感兴趣点或区域，通过空间映射关系即可获得其对应的3D或者2D图像中的位置，并且可加以标记与显示，从而给医护人员提供更加准确、更加细致、更加人性化的生理信息判断依据。
附图说明
图1为本发明的超声虚拟内窥成像系统的结构示意图；
图2为本发明显示界面示意图；
图3为本发明空间映射模块130的结构示意图；
图4为平行投影和透视投影示意图；
图5为光线投射示意图；
图6为沿光线方向等间距采样示意图；
图7为成像平面示意图；
图8为标记模块140的一实施例结构示意图；
图9为标记模块140的又一实施例结构示意图；
图10为本发明超声虚拟内窥成像系统的一实施例结构示意图；
图11为图10实施例的显示界面的示意图；
图12为本发明超声虚拟内窥成像系统的又一实施例结构示意图；
图13为图12实施例的显示界面的示意图；
图14为本发明超声虚拟内窥成像系统的另一实施例结构示意图；
图15为图14实施例的显示界面的示意图；
图16为本发明的超声虚拟内窥成像方法的流程示意图；
图17为本发明的超声虚拟内窥成像装置的结构示意图；
图18为本发明超声虚拟内窥成像方法的一实施例流程示意图；
图19为本发明在实现坐标转换的一优选实施例示意图；
图20为本发明在实现坐标转换的另一优选实施例示意图。
具体实施方式
本发明基于3D超声虚拟内窥成像技术，提供一种超声虚拟内窥成像系统和方法及其装置，其在常规超声虚拟内窥模式的基础上，通过人机交互方式，可以方便的建立3D图像与2D图像之间的对应关系，根据用户在2D或者3D图像中指定感兴趣点或区域，通过空间映射关系即可获得其对应的3D或者2D图像中的位置并且加以标记与显示。以下结合附图详细说明本发明的各个具体实施方式。
本发明的超声虚拟内窥成像系统主要应用于超声虚拟内窥成像装置上，该装置通常包括：用于发射和接收超声波形解析获得目标组织的三维图像数据的图像采集模块、用于存储上述三维图像数据及对上述三维图像数据执行操作的结果的存储器、用于获取对上述三维图像数据进行操作指令的人机交互模块和用于显示基于多平面重组(MPR)所获得图像的显示器。如图1和图2所示，基于上述硬件环境，本实施例提供了一种超声虚拟内窥成像系统100，其包括：
显示处理模块110，用于在同一显示界面1上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像，这里的平面图像是指通过多平面重组获得的切面二维图像，用于显示在图2中的A、B、C区域，这里的立体图 像是指3D渲染虚拟内窥图像，用于显示在图2中的3D区域；
定点选择模块120，用于从上述显示界面上显示的任意一幅图像中获得预标记点或区域2，如图2中的黑方点所表示的预标记点或区域2；
空间映射模块130，用于根据上述预标记点或区域2的空间位置坐标，基于空间映射关系获得上述预标记点或区域2对应在上述显示界面上的所有图像中的位置；及
标记模块140，用于标记上述预标记点或区域2对应在上述显示界面上的所有图像中的相应位置，如图2所示，在A\B\C\3D区域均标记对应的黑方点2，用以表示预标记点或区域在相应图像中的位置。
如图2所示，本实施例通过在同一显示界面上所有图像上关联显示指定的感兴趣点或区域(如图2中的预标记点或区域2)，可以为医护人员提供更加准确、更加细致、更加人性化的生理信息判断依据，方便医护人员直接通过显示器上的显示图像直观获得D图像与2D图像之间的对应关系。
基于上述实施例，如图3所示，本实施例中的空间映射模块130包括：
第一转换单元131，用于将来自上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述立体图像中的位置；
第二转换单元132，用于将来自上述立体图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述所有平面图像中的位置；及
判断单元133，用于判断上述预标记点或区域是否来自任意一副上述平面图像、或者是否来自上述立体图像，根据判断结果调用上述第一转换单元或上述第二转换单元。
本实施例中第一转换单元131主要用于将2D图像中的坐标位置转换为3D图像中的坐标位置，第二转换单元132主要用于将3D图像中的坐标位置转换为2D图像中的坐标位置，空间映射关系的具体实现方法具体参见下述内容。
通常超声虚拟内窥技术与传统3D体绘制采用的平行投影方式不同，为了仿真内窥镜的成像效果，采用透视投影方式。如图4(a)所示平行投影的视景体是一个平行的长方体，两端相同，也就是说物体和屏幕之间的距离并不会影响其看上去的大小。与此不同，透视投影的视景体是一个类似于金字塔的梯形体，一 端大而另一端小，因此物体距离屏幕越近看上去就显得越大，如图4(b)所示。
透视投影中光线投射方式如图5所示，假定一条光线从视眼位置P点发出沿单位向量d方向投射，与视平面UV相交于S(u,v)点，与物体相交于Q点，P点与Q点的直线距离是t，那么Q点的坐标为Q＝P+td。
图6展示了沿光线方向等间距采样的过程。假设一组光线503从视眼位置P(501)发出，穿过视平面502与物体504边界相交于F点，从L点投出，在物体中穿越过程中进行等间隔采样。采样过程中按照预定规则获得的颜色与透明度值，然后进行累加混合最终获得图像平面S点S(u,v)的像素值作为最终结果显示在宽度为W、高度为H的屏幕(视平面)上，如图7所示。
基于上述有关图4至图7的模型原理，本实施例中，为了将2D坐标转换为3D坐标，本实施例提供了一最优实现方案，具体的第一转换单元131可以包括以下单元：
第一位置单元，用于根据来自上述平面图像的预标记点或区域，获得在XYZ空间系中该预标记点或区域对应的第二映射点或区域(即图5中的Q点)的空间位置坐标；
第一计算单元，用于基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域(即图5中的S点)到上述第二映射点或区域的直线距离方程(具体参见下述公式(1))和上述视平面的方程(具体参见下述公式(2))；
第一求解单元，用于关联上述直线距离方程和上述视平面方程的计算，获得在XYZ空间系中上述视平面中第一映射点或区域(即图5中的S点)的坐标；及
第一位置转换单元，用于将获得的上述第一映射点或区域(即图5中的S点)在XYZ空间系中的坐标，转换为上述第一映射点或区域(即图5中的S点)在视平面中的坐标，从而获得上述预标记点或区域对应在上述立体图像中的位置。
本实施例的具体原理如下所示：
通常基于XYZ空间系对物体进行采样，在2D和3D互相定位交互过程中，视眼位置P始终保持不变，即坐标为(x0,y0,z0)。当用户在界面上选择预标记点或区 域后，相当于图5中Q点坐标唯一确定为(x1,y1,z1)。因此，空间直线PQ的方程可以表示为下述公式(1)。
Figure PCTCN2014088141-appb-000001
     公式(1)
已知P点到视平面距离为D，视平面法线方向为N(A,B,C)，则视平面方程可以写成下述公式(2)。
Figure PCTCN2014088141-appb-000002
     公式(2)
联立上述公式(1)和公式(2)可以计算出直线PQ与视平面的交点S(x,y,z)，该交点为XYZ空间系中一点，通过空间映射关系到UV平面S(u,v)，则视平面上位于(u,v)的像素点位置就是空间点Q在3D渲染图像上对应的位置。
基于上述有关图4至图7的模型原理，本实施例中，为了将3D坐标转换为2D坐标，本实施例提供了一最优实现方案，具体的第二转换单元132可以包括以下单元：
第二位置单元，用于根据来自上述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域(即图5中的S点)的空间位置坐标；
第二位置转换单元，用于将上述视平面中的第一映射点或区域(即图5中的S点)的空间位置坐标转换为XYZ空间系下的坐标；
第二计算单元，用于基于从视眼位置经过上述第一映射点或区域(即图5中的S点)到上述预标记点或区域对应在XYZ空间系中的第二映射点或区域(即图5中的Q点)建立的直线距离方程(具体见上述公式(1))，计算从上述第一映射点或区域(即图5中的S点)的XYZ空间系坐标发射出光线的光线投射向量并跟踪；
第二判断单元，根据上述光线投射向量和采样间隔建立上述第二映射点或区域(即图5中的Q点)在XYZ空间系中的空间位置，并判断采样时间内上述第二映射点或区域的空间位置是否满足预设条件；及
第二求解单元，用于根据满足上述预设条件时对应的上述第二映射点或区域(即图5中的Q点)的空间位置，获得上述预标记点或区域对应在上述所有平 面图像中的位置。上述提到的预设条件可以是针对上述第二映射点或区域(即图5中的Q点)的空间位置采样时的灰度值是否达到预设阈值。
本实施例的具体原理如下所示：如图2和图4至图7所示，在根据用户在3D渲染的图像3D区域中选择预标记点或区域2时，在交互过程中视眼位置P始终保持不变，坐标为(x0,y0,z0)。当用户在在3D渲染的图像3D区域中设置预标记点或区域2时，该点位于成像平面(u,v)(即上述视平面)内的位置S。将S(u,v)变换到XYZ空间系，获得成像平面(u,v)内位置S在XYZ空间系下的坐标S(x1,y1,z1)。那么连接P、S两点并以Q点为末端的直线方程可以表示为上述公式(1)的内容。
基于上述公式(1)，则该光线的光线投射向量表示为下述公式(3)的内容。
Figure PCTCN2014088141-appb-000003
     公式(3)
根据光线投射算法，沿该条光线对物体空间进行采样，则上述Q点(即上述第二映射点或区域)在XYZ空间系中的空间位置坐标可以表示为下述公式(4)所示内容。
Figure PCTCN2014088141-appb-000004
     公式(4)
其中Δt为采样间隔，i＝0,1,......为采样点索引，P表示视眼位置P的坐标。当采样时间内，针对Q点的采样首次到达某个满足预设条件(例如灰度值大于某阈值Gth)采样位置时，该空间位置即为最终需要标记的3D图像中位置坐标。
基于上述坐标转换的过程，上述空间映射模块130还包括：若上述预标记点或区域来自上述平面图像，则执行将来自任意一副上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述其他平面图像中位置的步骤的单元。这里平面图像之间的感兴趣点的位置映射，可以基于图5中在Q点位置进行多个切面而获得的二维图像与Q点空间位置的映射关系获得。
基于上述各个实施例，本实施例中对于获得的预标记点或区域对应在显示界面上所有图像内的位置进行标记时，如图2所示，可以利用颜色或者符号对相应位置进行特殊标记，以示区别。如图2中采用黑色方框标示预标记点或区 域，也可以采用十字、圆点、矩形、方框、三角形等多种图标中的一种来进行标记，颜色的选择应与背景图像对比度差异较大的色彩。同时为了使图标不会阻挡图像、不影响用户观察，颜色标记应该能够调节透明度达到可以透视的效果。
基于上述实施例，本实施例中为了提供用户更多的选择和便于根据需要自由选择标记方式，并同时实现在同一个显示界面上能对多个选择的预标记点或区域进行区分标记，则如图8所示，上述标记模块140包括：
标记指令接收单元141，用于在上述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，以获取第一标记指令；及
标记执行单元142，用于将上述第一标记指令中选择的标记符号和/或颜色信息，叠加到上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。
基于上述实施例，如图9所示，为了实现对颜色的透明度进行自由选择，本实施例中标记模块140还包括：
透明度选择单元143，用于在上述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，以获取第二标记指令；及
显示调整单元144，用于根据上述第二标记指令中的透明度选择信息，调整叠加到上述预标记点或区域对应在上述所有图像中相应位置的颜色透明度。
基于上述实施例，为了便于能够基于上述标记位置直接读取相关位置的实际尺寸，则如图10和图11所示，本实施例的超声虚拟内窥成像系统还包括：背景叠加模块150，用于将标尺或含有刻度标示信息的背景图像叠加到上述平面图像和/或上述立体图像中作为背景显示。具体如图11所示(其中虚线框3表示截取的上述显示界面的一部分，以下同)，图11(a)中在虚线框3内的成像区域4为宽度为W、高度为H的显示图像(即可以是基于多平面重组(MPR)所获得二维平面图像或立体图像)，则在该成像区域4的上面或左边分别叠加标尺5，根据标尺上的刻度可以直观清晰的了解在二维平面图像或立体图像中标记的位置的相应尺寸。这里的标尺优选在成像区域4的上面时为长度为W的标尺，而在在成像区域4的左边时为长度为H的标尺。此外，还可以采用另一种方式 直观显示标记位置的相应尺寸，即如图11(b)所示在虚线框3内的成像区域4为宽度为W、高度为H的显示图像，在该成像区域4内成像时叠加等间距网格图像6作为背景显示，这里的等间距网格图像6即为含有刻度标示信息的背景图像，但本发明不限于此一种方式的含有刻度标示信息的背景图像，只要可以在显示界面上直观显示标记位置的相关定量位置关系的背景图像均可，比如将图11(a)中的标尺5替换为，仅具有一行或一列的等间距网格，对一行或一列中等间距划分即可以表示刻度标示信息。
基于上述实施例，如图12所示，为了能使标尺或含有刻度标示信息可以随客户的需要进行调整，本实施的超声虚拟内窥成像系统100还包括：
距离设定单元170，用于在上述显示界面上提供用于择一选择上述标尺或上述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，以获取刻度调整指令；及
刻度调整单元160，用于根据上述刻度调整指令中的刻度和/或该刻度比例信息，调整上述标尺的刻度或上述背景图像中的刻度标示信息。
基于上述实施例，如图12和图13所示，为了能更加直观准确的了解图像中被标记位置与叠加尺寸信息的关系，本实施的超声虚拟内窥成像系统100还包括：引线产生模块180，用于在上述预标记点或区域的位置被选中时，在上述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至上述标尺或上述背景图像中的刻度标示信息用以指示刻度标示信息。如图13所示，在虚线框3内的成像区域4为宽度为W、高度为H的显示图像，当其中的被标记点(即图中的黑色方点)被选中时，则生成垂直引线和平行引线7分别连接到位于成像区域4上方和左边的标尺5上，可以很方便的令图像观察者了解该标记点的相应位置。此外，为了不影响对成像区域其他地方图的观察，则优选当释放预标记点或区域的选中时，则垂直引线和平行引线7均消失。
基于上述实施例，如图14和图15所示，本实施的超声虚拟内窥成像系统100还包括：
距离标示模块191，用于测量上述定点选择模块获得的两个预标记点或区域的位置之间的距离；及
距离标记模块192，用于将含有上述距离的信息叠加到上述平面图像和/或立体图像中用以显示。
具体的如图15所示，在虚线框3内的成像区域4为宽度为W、高度为H的显示图像，针对用黑色方点标记的预标记点或区域2-2、黑色三角形方点标记的预标记点或区域2-1、黑色圆点标记的预标记点或区域2-3中的每两个点之间叠加相应的距离信息8，这样可以更加方便直观的了解多个标记位置的相对位置关系，为系统使用者提供更加人性化的、更加直观的定量分析显示结果。
基于上述超声虚拟内窥成像系统，如图16所示，本实施例还提供了一种超声虚拟内窥成像方法，其包括：
步骤610，在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；
步骤620，从上述显示界面上显示的任意一幅图像中获得预标记点或区域；
步骤630，根据上述预标记点或区域的空间位置坐标，基于空间映射关系获得上述预标记点或区域对应在上述显示界面上的所有图像中的位置；
步骤640，标记上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。
本实施例其实提供了一种成像标记显示方法，利用本实施例的方法可以对利用虚拟内窥技术获得的图像进行标记与显示，能从同时显示平面图像和立体图像的显示界面上直观、清晰的获得感兴趣点的位置对应关系，为传统的超声虚拟内窥成像系统增加了新的功能。上述步骤620中获得预标记点或区域可以利用人机交互模块来实现在显示图像上标记相应位置的方式获得。
基于上述实施例，本实施例中，如图18所示，上述步骤630根据上述预标记点或区域的空间位置坐标，基于空间映射关系获得上述预标记点或区域对应在上述显示界面上的所有图像中的位置的过程包括：
步骤631，判断上述预标记点或区域是否来自任意一副上述平面图像、或者是否来自上述立体图像；
步骤632，若上述预标记点或区域来自上述平面图像，则将来自上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述 立体图像中的位置；
步骤633，若上述预标记点或区域来自上述立体图像，则将来自上述立体图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述所有平面图像中的位置。
本实施例中步骤632主要用于将2D图像中的坐标位置转换为3D图像中的坐标位置，步骤633主要用于将3D图像中的坐标位置转换为2D图像中的坐标位置，空间映射关系的具体实现方法具体参见下述内容。
基于上述实施例，如图19所示，本实施例中上述将来自上述平面图像的预标记点或区域的空间位置坐标、转换为上述预标记点或区域对应在上述立体图像中的位置的步骤632优选采用以下方式实现：
步骤321，根据来自上述平面图像的预标记点或区域，获得在XYZ空间系中该预标记点或区域对应的第二映射点或区域的空间位置坐标；
步骤322，基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域到上述第二映射点或区域的直线距离方程和上述视平面的方程；
步骤323，关联上述直线距离方程和上述视平面方程的计算，获得在XYZ空间系中上述视平面中第一映射点或区域的坐标；
步骤324，将获得的上述第一映射点或区域在XYZ空间系中的坐标，转换为上述第一映射点或区域在视平面中的坐标，从而获得上述预标记点或区域对应在上述立体图像中的位置。
基于上述实施，如图20所示，本实施例中上述将来自上述立体图像的预标记点或区域的空间位置坐标、转换为上述预标记点或区域对应在上述所有平面图像中的位置的步骤633包括：
步骤331，根据来自上述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域的空间位置坐标；
步骤332，将上述视平面中的第一映射点或区域的空间位置坐标转换为XYZ空间系下的坐标；
步骤333，基于从视眼位置经过上述第一映射点或区域到上述预标记点或区域对应在XYZ空间系中的第二映射点或区域建立的直线距离方程，计算从上述第一映射点或区域的XYZ空间系坐标发射出光线的光线投射向量并跟踪；
步骤334，根据上述光线投射向量和采样间隔建立上述第二映射点或区域在XYZ空间系中的空间位置，并判断采样时间内上述第二映射点或区域的空间位置是否满足预设条件；
步骤335，根据满足上述预设条件时对应的上述第二映射点或区域的空间位置，获得上述预标记点或区域对应在上述所有平面图像中的位置。
这里的第一映射点或区域为图5中的S点，第二映射点或区域为图5中的Q点，以上有关步骤632和步骤633的原理解释参见上述关于第一转换单元131和第二转换单元132的相关说明，在此不作累述。
基于上述实施例，如图18所示，本实施例中还包括：若上述预标记点或区域来自上述平面图像，则还包括将来自任意一副上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述其他平面图像中位置的步骤634。这里平面图像之间的感兴趣点的位置映射，可以基于图5中在Q点位置进行多个切面而获得的二维图像与Q点空间位置的映射关系获得。
基于上述各个实施例，为了提供用户更多的选择和便于根据需要自由选择标记方式，并同时实现在同一个显示界面上能对多个选择的预标记点或区域进行区分标记，本实施例中上述标记预标记点或区域对应在上述显示界面上的所有图像中的相应位置的步骤640包括：
在上述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，以获取第一标记指令；
将上述第一标记指令中选择的标记符号和/或颜色信息，叠加到上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。
本实施例中的上述标记符号为十字、圆点、矩形、方框、三角形等中的一种。
基于上述各个实施例，为了实现对颜色的透明度进行自由选择，并使图标不会阻挡图像、不影响用户观察，本实施例中上述标记上述预标记点或区域对 应在上述显示界面上的所有图像中的相应位置的步骤640还包括：
在上述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，以获取第二标记指令；
根据上述第二标记指令中的透明度选择信息，调整叠加到上述预标记点或区域对应在上述所有图像中相应位置的颜色透明度。
基于上述实施例，通过选择不同的标记符号和/或颜色，可以同时在同一个显示界面上同时区别显示多个预标记点或区域的位置。
基于上述实施例，为了便于能够基于上述标记位置直接读取相关位置的实际尺寸，本实施例中上述方法还包括：将标尺或含有刻度标示信息的背景图像叠加到上述平面图像和/或上述立体图像中作为背景显示。具体标记显示方式参见上述有关图11的相关说明。
基于上述实施例，为了能更加直观准确的了解图像中被标记位置与叠加尺寸信息的关系，本实施例中上述方法还包括：在上述预标记点或区域的位置被选中时，在上述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至上述标尺或上述背景图像中的刻度标示信息用以指示刻度信息。具体标记显示方式参见上述有关图13的相关说明。
基于上述实施例，为了能使标尺或含有刻度标示信息可以随客户的需要进行调整，本实施例中的超声虚拟内窥成像方法还包括：在上述显示界面上提供用于择一选择上述标尺或上述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，以获取刻度调整指令；并根据上述刻度调整指令中的刻度和/或该刻度比例信息，调整上述标尺的刻度或上述背景图像中的刻度标示信息。
基于上述实施例，本实施例中的上述超声虚拟内窥成像方法还包括：测量上述定点选择模块获得的两个预标记点或区域的位置之间的距离，并将含有上述距离的信息叠加到上述平面图像和/或立体图像中用以显示。本实施可以直接通过距离信息的标记显示直接获知多个标记位置之间的相对位置关系，为系统使用者提供更加人性化的、更加直观的定量分析显示结果。
上述有关超声虚拟内窥成像方法中的相关细化内容可以参见上述有关超声 虚拟内窥成像系统的相关说明，比如基于空间映射关系进行坐标转换的方法可以参见上述有关公式(1)至公式(4)的具体说明内容。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例系统和方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的超声虚拟内窥成像系统及方法的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性计算机可读存储介质(如ROM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的系统结构和方法。
如果将上述各个实施例所呈现的本发明的超声虚拟内窥成像系统及方法应用于超声虚拟内窥成像装置中，即可赋予其新的功能，使得在现有超声虚拟内窥成像装置中能够具有可视化2D与3D图像对应关系并量化标记点位置的功能，为超声虚拟内窥成像装置的使用者提供更加直观、更加精确的对比信息。具体如下所示。
基于上述内容，如图17所示，本发明还提供了一种超声虚拟内窥成像装置装置700，其包括：
图像采集模块705，用于发射和接收超声波形，获得目标组织的三维图像数据；
存储器702，用于存储上述三维图像数据及对上述三维图像数据执行操作的结果；
人机交互模块701，用于获取对上述三维图像数据进行操作的指令；
显示器703，用于同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；及
处理器模块704，用于从上述显示界面上显示的任意一幅图像中获得预标记点或区域的位置，根据上述预标记点或区域的空间位置坐标，基于空间映射关系获得上述预标记点或区域对应在上述显示界面上的所有图像中的位置，并标记上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。
基于上述的超声虚拟内窥成像装置，本实施例的装置在根据预标记点或区域的空间位置坐标、基于空间映射关系获得上述预标记点或区域对应在上述显示界面上的所有图像中的位置时，通过判断上述预标记点或区域是否来自任意一副上述平面图像、或者是否来自上述立体图像来获得转换指令，根据该转换指令，选择执行将来自上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述立体图像中的位置，或执行将来自上述立体图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述所有平面图像中的位置。这里有关转换指令获得的具体流程可参见上述结合附图18进行的相关说明，在此不累述。
在本实施例的超声虚拟内窥成像装置中，上述处理器模块704在将来自上述平面图像的预标记点或区域的空间位置坐标、转换为上述预标记点或区域对应在上述立体图像中的位置时或将来自上述立体图像的预标记点或区域的空间位置坐标、转换为上述预标记点或区域对应在上述所有平面图像中的位置时，可参见上述结合附图19和20的有关步骤632和633的相关具体说明，在此不累述。
基于上述的超声虚拟内窥成像装置，为了能提供更多的标记方式选择，并同时在同一个显示界面上同时区别显示多个预标记点或区域的位置，其上述处理器模块704通过在上述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，来获取包含设定的标记符号和/或颜色信息的第一标记指令，用以将上述第一标记指令中选择的标记符号和/或颜色信息，叠加到上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。这里的标记符号可以为十字、圆点、矩形、方框、三角形等中的一种。
基于上述的超声虚拟内窥成像装置，为了在选择标记颜色后，图标不会阻挡图像、不影响用户观察，其上述处理器模块704通过在上述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，来获取包含透明度选择信息的第二标记指令，根据上述第二标记指令中的透明度选择信息，用以调整叠加到上述预标记点或区域对应在上述所有图像中相应位置的颜色透明度。
基于上述的超声虚拟内窥成像装置，为了能使用户直观的从显示界面上获取标记位置的尺寸信息，则其上述处理器模块704还通过将标尺或含有刻度标示信息的背景图像叠加到上述平面图像和/或上述立体图像中作为背景显示。这里的标尺或含有刻度标示信息的背景图像的解释参见上述有关图11的相关说明。
基于上述的超声虚拟内窥成像装置，为了能使用户自由选择上述标尺和背景图像中刻度信息的大小，其上述处理器模块704还通过在上述显示界面上提供用于择一选择上述标尺或上述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，来获取包含设定的刻度和/或该刻度比例信息的刻度调整指令，用以根据上述刻度调整指令中的刻度和/或该刻度比例信息，调整上述标尺的刻度或上述背景图像中的刻度标示信息。
基于上述的超声虚拟内窥成像装置，为了直观了解多个标记位置之间的相对位置关系，其上述处理器模块704通过测量同一显示图像中被选中的两个预标记点或区域位置之间的距离，并将含有上述距离的信息叠加到上述平面图像和/或立体图像中用以显示。
基于上述的超声虚拟内窥成像装置，为了能精确的了解标记位置对应在上述标尺或刻度信息上的尺寸信息，则其在上述预标记点或区域的位置被选中时，在上述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至上述标尺或上述背景图像中的刻度标示信息用以指示刻度信息。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (23)

  1. 一种超声虚拟内窥成像系统，其特征在于，所述系统包括：
    显示处理模块，用于在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；
    定点选择模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域；
    空间映射模块，用于根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；及
    标记模块，用于标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。
  2. 根据权利要求1所述的超声虚拟内窥成像系统，其特征在于，所述空间映射模块包括：
    第一转换单元，用于将来自所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述立体图像中的位置；
    第二转换单元，用于将来自所述立体图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述所有平面图像中的位置；及
    判断单元，用于判断所述预标记点或区域是否来自任意一副所述平面图像、或者是否来自所述立体图像，根据判断结果调用所述第一转换单元或所述第二转换单元。
  3. 根据权利要求2所述的超声虚拟内窥成像系统，其特征在于，所述空间映射模块还包括：若所述预标记点或区域来自所述平面图像，则执行将来自任意一副所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述其他平面图像中位置的步骤的单元。
  4. 根据权利要求2所述的超声虚拟内窥成像系统，其特征在于，所述第一转换单元包括：
    第一位置单元，用于根据来自所述平面图像的预标记点或区域，获得在XYZ 空间系中该预标记点或区域对应的第二映射点或区域的空间位置坐标；
    第一计算单元，用于基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域到所述第二映射点或区域的直线距离方程和所述视平面的方程；
    第一求解单元，用于关联所述直线距离方程和所述视平面方程的计算，获得在XYZ空间系中所述视平面中第一映射点或区域的坐标；及
    第一位置转换单元，用于将获得的所述第一映射点或区域在XYZ空间系中的坐标，转换为所述第一映射点或区域在视平面中的坐标，从而获得所述预标记点或区域对应在所述立体图像中的位置。
  5. 根据权利要求2所述的超声虚拟内窥成像系统，其特征在于，所述第二转换单元包括：
    第二位置单元，用于根据来自所述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域的空间位置坐标；
    第二位置转换单元，用于将所述视平面中的第一映射点或区域的空间位置坐标转换为XYZ空间系下的坐标；
    第二计算单元，用于基于从视眼位置经过所述第一映射点或区域到所述预标记点或区域对应在XYZ空间系中的第二映射点或区域建立的直线距离方程，计算从所述第一映射点或区域的XYZ空间系坐标发射出光线的光线投射向量并跟踪；
    第二判断单元，根据所述光线投射向量和采样间隔建立所述第二映射点或区域在XYZ空间系中的空间位置，并判断采样时间内所述第二映射点或区域的空间位置是否满足预设条件；及
    第二求解单元，用于根据满足所述预设条件时对应的所述第二映射点或区域的空间位置，获得所述预标记点或区域对应在所述所有平面图像中的位置。
  6. 根据权利要求2所述的超声虚拟内窥成像系统，其特征在于，所述标记模块包括：
    标记指令接收单元，用于在所述显示界面上提供用于择一选择标记符号和/ 或颜色的提示框、或按键、或指令输入框，以获取第一标记指令；及
    标记执行单元，用于将所述第一标记指令中选择的标记符号和/或颜色信息，叠加到所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。
  7. 根据权利要求6所述的超声虚拟内窥成像系统，其特征在于，所述标记模块还包括：
    透明度选择单元，用于在所述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，以获取第二标记指令；及
    显示调整单元，用于根据所述第二标记指令中的透明度选择信息，调整叠加到所述预标记点或区域对应在所述所有图像中相应位置的颜色透明度。
  8. 根据权利要求1所述的超声虚拟内窥成像系统，其特征在于，所述系统还包括：
    背景叠加模块，用于将标尺或含有刻度标示信息的背景图像叠加到所述平面图像和/或所述立体图像中作为背景显示。
  9. 根据权利要求8所述的超声虚拟内窥成像系统，其特征在于，所述系统还包括：
    距离设定单元，用于在所述显示界面上提供用于择一选择所述标尺或所述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，以获取刻度调整指令；及
    刻度调整单元，用于根据所述刻度调整指令中的刻度和/或该刻度比例信息，调整所述标尺的刻度或所述背景图像中的刻度标示信息。
  10. 根据权利要求1所述的超声虚拟内窥成像系统，其特征在于，所述系统还包括：
    距离标示模块，用于测量所述定点选择模块获得的两个预标记点或区域的位置之间的距离；及
    距离标记模块，用于将含有所述距离的信息叠加到所述平面图像和/或立体图像中用以显示。
  11. 根据权利要求8所述的超声虚拟内窥成像系统，其特征在于，所述系统还包括：
    引线产生模块，用于在所述预标记点或区域的位置被选中时，在所述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至所述标尺或所述背景图像中的刻度标示信息。
  12. 一种超声虚拟内窥成像方法，其特征在于，所述方法包括：
    在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；
    从所述显示界面上显示的任意一幅图像中获得预标记点或区域；
    根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；
    标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。
  13. 根据权利要求12所述的超声虚拟内窥成像方法，其特征在于，所述根据所述预标记点或区域的空间位置坐标、基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置的步骤包括：
    判断所述预标记点或区域是否来自任意一副所述平面图像、或者是否来自所述立体图像；
    若所述预标记点或区域来自所述平面图像，则将来自所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述立体图像中的位置；
    若所述预标记点或区域来自所述立体图像，则将来自所述立体图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述所有平面图像中的位置。
  14. 根据权利要求13所述的超声虚拟内窥成像方法，其特征在于，所述方法中还包括：若所述预标记点或区域来自所述平面图像，则还包括将来自任意一副所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述其他平面图像中位置的步骤。
  15. 根据权利要求13所述的超声虚拟内窥成像方法，其特征在于，所述将来自所述平面图像的预标记点或区域的空间位置坐标、转换为所述预标记点或 区域对应在所述立体图像中的位置的步骤包括：
    根据来自所述平面图像的预标记点或区域，获得在XYZ空间系中该预标记点或区域对应的第二映射点或区域的空间位置坐标；
    基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域到所述第二映射点或区域的直线距离方程和所述视平面的方程；
    关联所述直线距离方程和所述视平面方程的计算，获得在XYZ空间系中所述视平面中第一映射点或区域的坐标；
    将获得的所述第一映射点或区域在XYZ空间系中的坐标，转换为所述第一映射点或区域在视平面中的坐标，从而获得所述预标记点或区域对应在所述立体图像中的位置。
  16. 根据权利要求13所述的超声虚拟内窥成像方法，其特征在于，所述将来自所述立体图像的预标记点或区域的空间位置坐标、转换为所述预标记点或区域对应在所述所有平面图像中的位置的步骤包括：
    根据来自所述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域的空间位置坐标；
    将所述视平面中的第一映射点或区域的空间位置坐标转换为XYZ空间系下的坐标；
    基于从视眼位置经过所述第一映射点或区域到所述预标记点或区域对应在XYZ空间系中的第二映射点或区域建立的直线距离方程，计算从所述第一映射点或区域的XYZ空间系坐标发射出光线的光线投射向量并跟踪；
    根据所述光线投射向量和采样间隔建立所述第二映射点或区域在XYZ空间系中的空间位置，并判断采样时间内所述第二映射点或区域的空间位置是否满足预设条件；
    根据满足所述预设条件时对应的所述第二映射点或区域的空间位置，获得所述预标记点或区域对应在所述所有平面图像中的位置。
  17. 根据权利要求12所述的超声虚拟内窥成像方法，其特征在于，所述标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置的步骤 包括：
    在所述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，以获取第一标记指令；
    将所述第一标记指令中选择的标记符号和/或颜色信息，叠加到所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。
  18. 根据权利要求17所述的超声虚拟内窥成像方法，其特征在于，所述标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置的步骤还包括：
    在所述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，以获取第二标记指令；
    根据所述第二标记指令中的透明度选择信息，调整叠加到所述预标记点或区域对应在所述所有图像中相应位置的颜色透明度。
  19. 根据权利要求12所述的超声虚拟内窥成像方法，其特征在于，所述方法还包括：将标尺或含有刻度标示信息的背景图像叠加到所述平面图像和/或所述立体图像中作为背景显示。
  20. 根据权利要求19所述的超声虚拟内窥成像方法，其特征在于，所述方法还包括：在所述显示界面上提供用于择一选择所述标尺或所述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，以获取刻度调整指令；并根据所述刻度调整指令中的刻度和/或该刻度比例信息，调整所述标尺的刻度或所述背景图像中的刻度标示信息。
  21. 根据权利要求12所述的超声虚拟内窥成像方法，其特征在于，所述方法还包括：测量所述定点选择模块获得的两个预标记点或区域的位置之间的距离，并将含有所述距离的信息叠加到所述平面图像和/或立体图像中用以显示。
  22. 根据权利要求19所述的超声虚拟内窥成像方法，其特征在于，所述方法还包括：在所述预标记点或区域的位置被选中时，在所述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至所述标尺或所述背景图像中的刻度标示信息。
  23. 一种超声虚拟内窥成像装置，其特征在于，所述装置包括：
    图像采集模块，用于发射和接收超声波形，获得目标组织的三维图像数据；
    存储器，用于存储所述三维图像数据及对所述三维图像数据执行操作的结果；
    人机交互模块，用于获取对所述三维图像数据进行操作的指令；
    显示器，用于同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；及
    处理器模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域的位置，根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置，并标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。
PCT/CN2014/088141 2014-10-08 2014-10-08 超声虚拟内窥成像系统和方法及其装置 Ceased WO2016054775A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2014/088141 WO2016054775A1 (zh) 2014-10-08 2014-10-08 超声虚拟内窥成像系统和方法及其装置
CN201480075906.8A CN106028943B (zh) 2014-10-08 2014-10-08 超声虚拟内窥成像系统和方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/088141 WO2016054775A1 (zh) 2014-10-08 2014-10-08 超声虚拟内窥成像系统和方法及其装置

Publications (1)

Publication Number Publication Date
WO2016054775A1 true WO2016054775A1 (zh) 2016-04-14

Family

ID=55652464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/088141 Ceased WO2016054775A1 (zh) 2014-10-08 2014-10-08 超声虚拟内窥成像系统和方法及其装置

Country Status (2)

Country Link
CN (1) CN106028943B (zh)
WO (1) WO2016054775A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109044400A (zh) * 2018-08-31 2018-12-21 上海联影医疗科技有限公司 超声图像标注方法、装置、处理器及可读存储介质
CN110087553A (zh) * 2017-05-24 2019-08-02 深圳迈瑞生物医疗电子股份有限公司 超声设备及其三维超声图像显示方法
CN110989901A (zh) * 2019-11-29 2020-04-10 北京市商汤科技开发有限公司 图像定位的交互显示方法及装置、电子设备和存储介质
CN117237776A (zh) * 2023-09-28 2023-12-15 武汉联影智融医疗科技有限公司 融合处理方法、装置、计算机设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345632B (zh) * 2018-09-17 2023-04-07 深圳达闼科技控股有限公司 一种获取图像的方法、相关装置及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759418A (zh) * 2003-03-13 2006-04-12 皇家飞利浦电子股份有限公司 用于在数据体积中标示感兴趣对象的3d成像系统和方法
WO2006118100A1 (ja) * 2005-04-28 2006-11-09 Hitachi Medical Corporation 画像表示装置及びプログラム
JP4177217B2 (ja) * 2003-09-24 2008-11-05 アロカ株式会社 超音波診断装置
CN101647717A (zh) * 2008-08-13 2010-02-17 株式会社东芝 超声波诊断装置、超声波图像显示装置及医用图像诊断装置
CN103565470A (zh) * 2012-08-07 2014-02-12 香港理工大学 基于三维虚拟图像的超声图像自动标注方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10246355A1 (de) * 2002-10-04 2004-04-15 Rust, Georg-Friedemann, Dr. Interaktive virtuelle Endoskopie

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759418A (zh) * 2003-03-13 2006-04-12 皇家飞利浦电子股份有限公司 用于在数据体积中标示感兴趣对象的3d成像系统和方法
JP4177217B2 (ja) * 2003-09-24 2008-11-05 アロカ株式会社 超音波診断装置
WO2006118100A1 (ja) * 2005-04-28 2006-11-09 Hitachi Medical Corporation 画像表示装置及びプログラム
CN101647717A (zh) * 2008-08-13 2010-02-17 株式会社东芝 超声波诊断装置、超声波图像显示装置及医用图像诊断装置
CN103565470A (zh) * 2012-08-07 2014-02-12 香港理工大学 基于三维虚拟图像的超声图像自动标注方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087553A (zh) * 2017-05-24 2019-08-02 深圳迈瑞生物医疗电子股份有限公司 超声设备及其三维超声图像显示方法
CN110087553B (zh) * 2017-05-24 2022-04-26 深圳迈瑞生物医疗电子股份有限公司 超声设备及其三维超声图像显示方法
CN109044400A (zh) * 2018-08-31 2018-12-21 上海联影医疗科技有限公司 超声图像标注方法、装置、处理器及可读存储介质
CN110989901A (zh) * 2019-11-29 2020-04-10 北京市商汤科技开发有限公司 图像定位的交互显示方法及装置、电子设备和存储介质
CN110989901B (zh) * 2019-11-29 2022-01-18 北京市商汤科技开发有限公司 图像定位的交互显示方法及装置、电子设备和存储介质
TWI765404B (zh) * 2019-11-29 2022-05-21 中國商北京市商湯科技開發有限公司 圖像定位的互動顯示方法、電子設備和電腦可讀儲存媒體
CN117237776A (zh) * 2023-09-28 2023-12-15 武汉联影智融医疗科技有限公司 融合处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN106028943B (zh) 2019-04-12
CN106028943A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP5430203B2 (ja) 画像処理装置、画像処理方法
US11103200B2 (en) Medical device approaches
JP5950619B2 (ja) 情報処理装置
KR101293744B1 (ko) 복수의 2차원 영상들과 3차원 모델의 합성을 위한 방법 및 장치
JP5631453B2 (ja) 画像処理装置、画像処理方法
US11771508B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
CN104706382A (zh) 用于使用医学图像提供血管分析信息的方法和设备
ITUB20155830A1 (it) "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
US9940747B2 (en) Mapping 3D to 2D images
US20140193789A1 (en) Cutting simulation device and cutting simulation program
JP2013063253A (ja) 情報処理装置、超音波撮影装置および情報処理方法
EP4631433A1 (en) Renal puncture guidance method, apparatus, system, program product, storage medium and computer device based on multi-modal fusion
CN109907801B (zh) 一种可定位超声引导穿刺方法
WO2016054775A1 (zh) 超声虚拟内窥成像系统和方法及其装置
US20260000386A1 (en) Systems and methods for acquiring ultrasonic data
CN102609620A (zh) 一种带有影像分割装置的消融治疗影像引导设备
JP6400160B2 (ja) 情報処理装置
JP2013048688A (ja) 画像処理装置、画像処理方法及びプログラム
CN202815838U (zh) 一种带有影像三维处理装置的消融治疗影像引导设备
CN102609622A (zh) 一种带有影像测量装置的消融治疗影像引导设备
CN202815839U (zh) 一种带有影像测量装置的消融治疗影像引导设备
CN202815840U (zh) 一种带有影像配准装置的消融治疗影像引导设备
CN102609621A (zh) 一种带有影像配准装置的消融治疗影像引导设备
CN102819657A (zh) 一种用于消融治疗的影像引导设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14903792

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14903792

Country of ref document: EP

Kind code of ref document: A1