WO2020246773A1 - 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법 - Google Patents

초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법 Download PDF

Info

Publication number
WO2020246773A1
WO2020246773A1 PCT/KR2020/007147 KR2020007147W WO2020246773A1 WO 2020246773 A1 WO2020246773 A1 WO 2020246773A1 KR 2020007147 W KR2020007147 W KR 2020007147W WO 2020246773 A1 WO2020246773 A1 WO 2020246773A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ultrasound
medical image
probe
alignment operation
Prior art date
Application number
PCT/KR2020/007147
Other languages
English (en)
French (fr)
Inventor
아야니바브야
바라드와즈아디트야
무크호파드야이수미크
박준성
손유리
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190167137A external-priority patent/KR20200140683A/ko
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Publication of WO2020246773A1 publication Critical patent/WO2020246773A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • Embodiments of the present disclosure relate to an ultrasound imaging device for aligning an ultrasound image and a 3D medical image, a method for controlling an ultrasound imaging device, and a computer program product.
  • Ultrasound imaging apparatuses have the advantage of obtaining real-time images and are widely used for medical imaging.
  • the ultrasound imaging apparatus is used for purposes such as a biopsy guide, a procedure guide, and a surgical guide.
  • cancer for example, prostatic cancer (PCa)
  • PCa prostatic cancer
  • MRI/MR Magnetic Resonance Imaging/Magnetic Resonance
  • MRI/MR Magnetic Resonance Imaging/Magnetic Resonance
  • Fusion or target biopsy is a technology that can improve clinically meaningful biopsy results for cancer by fusion of MR images and ultrasound images.
  • the suspicious areas are first displayed on the MR image before surgery, and during the real-time biopsy, they are overlaid on the intraoperative ultrasound image to guide clinicians for the biopsy.
  • rigid alignment between ultrasound images during surgery and 3D MR images before surgery is very important for accurate biopsy.
  • Accurate biopsy facilitates side-by-side visualization of MR images similar to visualization of real-time ultrasound for cognitive biopsy, and facilitates mapping of targets from MR images onto ultrasound images for fusion guide biopsy.
  • volume data from both 3D ultrasound images and 3D MR images require an expensive 3D ultrasound probe.
  • 3D reconstruction of the ultrasonic volume data from the 2D sweep is required.
  • this approach requires skilled urologists, radiologists, etc., and causes errors due to sweeps or reconstruction, which reduces accuracy.
  • long-term segmentation in both the 3D ultrasound volume and the 3D MR volume is often required for rigid alignment from surface to surface.
  • Embodiments of the present disclosure are for performing 3D rigid alignment between an ultrasound image and a 3D medical image (MR image, CT image, X-ray image, etc.) that do not require long-term segmentation on 3D ultrasound volume data or 3D ultrasound. It is to provide a method and system.
  • embodiments of the present disclosure in fusion biopsy, by establishing an anatomical relationship between a 2D ultrasound image obtained from a known anatomical orientation and 3D medical image data using a previous 3D anatomical organ model. This is to establish rigid alignment of coarse 3D ultrasound-medical images.
  • embodiments of the present disclosure may be performed by constructing a 3D correction from a set of in-plane corrections for a set of 2D ultrasound images obtained from a plurality of orientations, thereby reducing the residual in 3D ultrasound-medical image rigid alignment. This is to correct for errors.
  • a probe for transmitting an ultrasonic signal and detecting an echo signal for the ultrasonic signal;
  • a storage unit for storing a 3D medical image; Acquiring the tracking information of the probe, generating an ultrasound image from the echo signal, and the 3D medical image based on the 3D medical image corresponding to the first object and the ultrasound image corresponding to the first object, A synchronization operation of performing an initial alignment operation between the ultrasound image and the probe, and defining a first section of the 3D medical image corresponding to the ultrasound image based on a result of the initial alignment operation and tracking information of the probe And performing an additional alignment operation between the 3D medical image, the ultrasound image, and tracking of the probe based on at least one ultrasound image generated after the initial alignment operation, and performing the additional alignment operation and the One or more processors that repeatedly perform a synchronization operation; And a display for displaying the 3D medical image and the ultrasound image.
  • the 3D medical image may include at least one of an MRI image, a CT image, or an X-ray image, or a combination thereof.
  • the initial alignment operation and the additional alignment operation may be performed based on feature points on the 3D medical image and the ultrasound image.
  • the boundary of the anatomical structure is determined in the first cross-section of the 3D medical image, and the boundary of the anatomical structure is determined in the ultrasound image, And aligning the boundary determined in the first cross-section with the boundary determined in the ultrasound image, and determining a relationship between the 3D medical image and tracking information of the probe.
  • a target cross-sectional image of the 3D medical image is displayed through the display, the ultrasound image corresponding to the target cross-sectional image is received, and alignment is performed between the target cross-sectional image and the ultrasound image.
  • the additional alignment operation an image of a first cross-section of the 3D medical image and the ultrasound image that is moved by the synchronization operation are displayed through the display, and a real-time ultrasound image generated from the echo signal of the probe is displayed. It is possible to receive input and perform additional alignment between the 3D medical image, the real-time ultrasound image, and the probe.
  • a frame rate of an ultrasound image performing the synchronization operation may be greater than or equal to a frame rate of an ultrasound image performing the additional alignment operation.
  • the at least one processor may determine an alignment index indicating a degree of alignment between the 3D medical image, the ultrasound image, and the probe, and display them through the display.
  • the at least one processor displays a target cross-sectional image of the 3D medical image through the display, and a guide for capturing the ultrasound image corresponding to the target cross-sectional image Information can be displayed through the display.
  • the guide information may include information on a photographing position of a probe for photographing the ultrasound image corresponding to the target cross-sectional image or an orientation of the probe.
  • the 3D medical image may include 3D organ segmentation information, and a target cross section of the 3D medical image for the initial alignment operation may be determined based on the 3D organ segmentation information.
  • the one or more processors may perform the additional alignment operation based on 3D organ segmentation information included in the 3D medical image.
  • the at least one processor calculates a boundary of an anatomical structure in the ultrasound image by using a weighted average value obtained by applying a motion weight to a plurality of alignment results, and calculates the boundary of the ultrasound image and the 3D Alignment between the boundaries in the first cross section of the medical image may be performed.
  • the probe includes a tracking device, and the one or more processors may obtain tracking information of the probe from a detection signal of the tracking device.
  • storing a 3D medical image corresponding to a first object Transmitting an ultrasonic signal using a probe, and detecting an echo signal for the ultrasonic signal; Obtaining tracking information of the probe; Generating an ultrasound image from the echo signal; Performing an initial alignment operation between the 3D medical image, the ultrasound image, and the probe based on the 3D medical image and the first ultrasound image corresponding to the first object; Performing a synchronization operation of defining a first section of the 3D medical image corresponding to the ultrasound image based on a result of the initial alignment operation and tracking information of the probe; And performing an additional alignment operation between the 3D medical image, the ultrasound image, and the tracking of the probe based on at least one ultrasound image generated after the initial alignment operation, and performing the additional alignment operation and the synchronization operation.
  • a method for controlling an ultrasound imaging apparatus including repeatedly performing the steps.
  • the computer program includes at least one instruction for performing a method of controlling an ultrasound imaging apparatus when executed by a processor, and the ultrasound image
  • a method of controlling a device may include storing a 3D medical image corresponding to a first object; Transmitting an ultrasonic signal using a probe, and detecting an echo signal for the ultrasonic signal; Obtaining tracking information of the probe; Generating an ultrasound image from the echo signal; Performing an initial alignment operation between the 3D medical image, the ultrasound image, and the probe based on the 3D medical image and the first ultrasound image corresponding to the first object; Performing a synchronization operation of defining a first cross section of the 3D medical image in correspondence with the ultrasound image based on a result of the initial alignment operation and tracking information of the probe; And performing an additional alignment operation between the 3D medical image, the ultrasound image, and the tracking of the probe based on at least one ultrasound image generated after the initial alignment operation, and performing the additional alignment operation
  • 3D rigid alignment between an ultrasound image and a 3D medical image that does not require long-term segmentation on 3D ultrasound volume data or 3D ultrasound is performed.
  • a fusion body by establishing an anatomical relationship between a 2D ultrasound image obtained from a known anatomical orientation and 3D medical image data using a previous 3D anatomical organ model, a fusion body There is an effect of establishing a rigid alignment of a 3D ultrasound-medical image that has been rough in examination.
  • FIG. 1 is a block diagram illustrating a configuration of an ultrasound imaging apparatus 100 according to an exemplary embodiment.
  • FIGS. 2A, 2B, and 2C are diagrams illustrating an ultrasound imaging apparatus according to an exemplary embodiment.
  • FIG. 3 is a block diagram showing the structure of an ultrasound imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of controlling an ultrasound imaging apparatus according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating an alignment operation according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating an operation of synchronizing a 3D medical image and an ultrasound image according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an alignment operation and a synchronization operation of an ultrasound imaging apparatus according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating an initial alignment operation, a synchronization operation, and an additional alignment operation according to an embodiment.
  • FIG. 9 is a diagram illustrating an additional alignment operation according to an exemplary embodiment.
  • FIG. 10 is a block diagram showing the structure of the processor 320 according to an embodiment.
  • FIG. 11 is a diagram illustrating a 3D ultrasound-medical image alignment process according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a process of performing 3D rigid alignment according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an image alignment process according to an exemplary embodiment.
  • FIG. 14 is a block diagram illustrating an alignment operation according to an embodiment of the present disclosure.
  • 15 is a diagram illustrating a process of performing a rigid alignment process of a 3D ultrasound-medical image according to an embodiment of the present disclosure.
  • 16 is a diagram illustrating a process of performing rigid alignment processing of a 3D ultrasound-medical image according to an exemplary embodiment.
  • FIG. 17 is a diagram illustrating a configuration in which an ultrasound imaging apparatus provides an alignment index according to an exemplary embodiment.
  • FIG. 18 is a diagram illustrating a process of providing information for guiding a position where additional photographing is required for an alignment operation, according to an exemplary embodiment.
  • a probe for transmitting an ultrasonic signal and detecting an echo signal for the ultrasonic signal;
  • a storage unit for storing a 3D medical image; Acquiring the tracking information of the probe, generating an ultrasound image from the echo signal, and the 3D medical image based on the 3D medical image corresponding to the first object and the ultrasound image corresponding to the first object, A synchronization operation of performing an initial alignment operation between the ultrasound image and the probe, and defining a first section of the 3D medical image corresponding to the ultrasound image based on a result of the initial alignment operation and tracking information of the probe And performing an additional alignment operation between the 3D medical image, the ultrasound image, and tracking of the probe based on at least one ultrasound image generated after the initial alignment operation, and performing the additional alignment operation and the One or more processors that repeatedly perform a synchronization operation; And a display for displaying the 3D medical image and the ultrasound image.
  • the image may include a medical image acquired by a medical imaging device such as a magnetic resonance imaging (MRI) device, a computed tomography (CT) device, an ultrasound imaging device, or an X-ray imaging device.
  • a medical imaging device such as a magnetic resonance imaging (MRI) device, a computed tomography (CT) device, an ultrasound imaging device, or an X-ray imaging device.
  • the'object' is a subject to be photographed and may include a person, an animal, or a part thereof.
  • the object may include a part of the body (an organ or organ) or a phantom.
  • ultrasonic image refers to an image of an object transmitted to the object and processed based on an ultrasonic signal reflected from the object.
  • the ultrasound imaging apparatus 100 includes a probe 20, an ultrasound transceiving unit 110, a control unit 120, an image processing unit 130, a display unit 140, a storage unit 150, and a communication unit 160. ), and an input unit 170 may be included.
  • the ultrasound imaging apparatus 100 may be implemented not only as a cart type but also as a portable type.
  • Examples of the portable ultrasound imaging apparatus may include a smart phone including a probe and an application, a laptop computer, a PDA, and a tablet PC, but are not limited thereto.
  • the probe 20 may include a plurality of transducers.
  • the plurality of transducers may transmit ultrasonic signals to the object 10 according to a transmission signal applied from the transmitter 113.
  • the plurality of transducers may receive the ultrasound signal reflected from the object 10 and form a received signal.
  • the probe 20 may be implemented integrally with the ultrasound imaging apparatus 100 or may be implemented as a separate type that is connected to the ultrasound imaging apparatus 100 by wire or wirelessly.
  • the ultrasound imaging apparatus 100 may include one or a plurality of probes 20 according to an implementation form.
  • the control unit 120 controls the transmission unit 113 to form a transmission signal to be applied to each of the plurality of transducers in consideration of the locations and focus points of the plurality of transducers included in the probe 20.
  • the control unit 120 converts the received signal received from the probe 20 to analog and digital, and adds the digitally converted received signal in consideration of the positions and focal points of the plurality of transducers, thereby generating ultrasonic data. ) To control.
  • the image processing unit 130 generates an ultrasound image by using the ultrasound data generated by the ultrasound receiving unit 115.
  • the display unit 140 may display the generated ultrasound image and various information processed by the ultrasound imaging apparatus 100.
  • the ultrasound imaging apparatus 100 may include one or more display units 140 according to an implementation form.
  • the display unit 140 may be implemented as a touch screen in combination with a touch panel.
  • the controller 120 may control an overall operation of the ultrasound imaging apparatus 100 and a signal flow between internal components of the ultrasound imaging apparatus 100.
  • the controller 120 may include a memory storing a program or data for performing a function of the ultrasound imaging apparatus 100 and a processor processing the program or data.
  • the controller 120 may control an operation of the ultrasound imaging apparatus 100 by receiving a control signal from the input unit 170 or an external device.
  • the ultrasound imaging apparatus 100 includes a communication unit 160, and can be connected to an external device (eg, a server, a medical device, a portable device (smart phone, tablet PC, wearable device, etc.)) through the communication unit 160.
  • an external device eg, a server, a medical device, a portable device (smart phone, tablet PC, wearable device, etc.)
  • the communication unit 160 may include one or more constituent elements that enable communication with an external device, and may include, for example, at least one of a short-range communication module, a wired communication module, and a wireless communication module.
  • the communication unit 160 receives a control signal and data from an external device and transmits the received control signal to the controller 120 so that the controller 120 controls the ultrasound imaging apparatus 100 according to the received control signal. It is also possible.
  • control unit 120 may control the external device according to the control signal of the control unit by transmitting a control signal to the external device through the communication unit 160.
  • the external device may process data of the external device according to the control signal of the controller received through the communication unit.
  • a program capable of controlling the ultrasound imaging apparatus 100 may be installed in the external device, and the program may include a command for performing some or all of the operations of the controller 120.
  • the program may be installed in advance on an external device, or a user of the external device may download and install a program from a server providing an application.
  • the server providing the application may include a recording medium in which the corresponding program is stored.
  • the storage unit 150 may store various data or programs for driving and controlling the ultrasound imaging apparatus 100, input/output ultrasound data, and acquired ultrasound images.
  • the input unit 170 may receive a user's input for controlling the ultrasound imaging apparatus 100.
  • the user's input is input to manipulate buttons, keypad, mouse, trackball, jog switch, knob, etc., input to touch a touch pad or touch screen, voice input, motion input, biometric information input (for example, iris recognition, fingerprint recognition, etc.) may be included, but the present invention is not limited thereto.
  • FIGS. 2A, 2B, and 2C An example of the ultrasound imaging apparatus 100 according to an embodiment will be described later with reference to FIGS. 2A, 2B, and 2C.
  • FIGS. 2A, 2B, and 2C are diagrams illustrating an ultrasound imaging apparatus according to an exemplary embodiment.
  • the ultrasound imaging apparatuses 100a and 100b may include a main display unit 121 and a sub display unit 122.
  • One of the main display unit 121 and the sub display unit 122 may be implemented as a touch screen.
  • the main display unit 121 and the sub display unit 122 may display an ultrasound image or various information processed by the ultrasound imaging apparatuses 100a and 100b.
  • the main display unit 121 and the sub display unit 122 may be implemented as a touch screen and provide a GUI to receive data for controlling the ultrasound imaging apparatuses 100a and 100b from a user.
  • the main display unit 121 may display an ultrasound image
  • the sub display unit 122 may display a control panel for controlling the display of the ultrasound image in the form of a GUI.
  • the sub-display unit 122 may receive data for controlling the display of an image through a control panel displayed in the form of a GUI.
  • the ultrasound imaging apparatuses 100a and 100b may control the display of an ultrasound image displayed on the main display unit 121 by using the received control data.
  • the ultrasound imaging apparatus 100b may further include a control panel 165 in addition to the main display unit 121 and the sub display unit 122.
  • the control panel 165 may include buttons, trackballs, jog switches, and knobs, and may receive data for controlling the ultrasound imaging apparatus 100b from a user.
  • the control panel 165 may include a Time Gain Compensation (TGC) button 171, a Freeze button 172, and the like.
  • TGC button 171 is a button for setting a TGC value for each depth of an ultrasound image.
  • the ultrasound imaging apparatus 100b may maintain a state in which a frame image at a corresponding time point is displayed.
  • buttons, trackballs, jog switches, and knobs included in the control panel 165 may be provided on the main display unit 121 or the sub display unit 122 as a GUI.
  • the ultrasound imaging apparatus 100c may be implemented as a portable type.
  • Examples of the portable ultrasound imaging apparatus 100c may include a smart phone including a probe and an application, a laptop computer, a PDA, and a tablet PC, but are not limited thereto.
  • the ultrasound imaging apparatus 100c includes a probe 20 and a body 40, and the probe 20 may be connected to one side of the body 40 by wire or wirelessly.
  • the body 40 may include a touch screen 145.
  • the touch screen 145 may display an ultrasound image, various information processed by the ultrasound imaging apparatus, and a GUI.
  • FIG. 3 is a block diagram showing the structure of an ultrasound imaging apparatus according to an embodiment of the present disclosure.
  • the ultrasound imaging apparatus 300 includes a probe 310, a processor 320, a display 330, and a storage unit 340.
  • the probe 310 includes a plurality of transducer arrays, transmits an ultrasound signal to an object, and detects an echo signal reflected from the object.
  • the probe 310 may correspond to the probe 20 of FIG. 1.
  • the probe 310 according to the embodiments of the present disclosure may correspond to a 2D probe having a single row of transducer arrays or a 3D probe having a 2D transducer array of m*n (m, n is a natural number).
  • the probe 310 may include a tracking device 312.
  • the tracking device 312 includes at least one sensor that detects the position, movement, or orientation of the probe 310.
  • the tracking device 312 may include, for example, an acceleration sensor, a gyro sensor, or a position sensor.
  • the tracking device 312 may include one or more sensors.
  • the tracking device 312 may include an electromagnetic sensor or an optical sensor. The detection signal output from the tracking device 312 may be output to the processor 320.
  • the processor 320 controls the overall operation of the ultrasound imaging apparatus 300.
  • the processor 320 may be implemented with one or more processors.
  • the processor 320 reconstructs an ultrasound image by receiving an ultrasound signal from the probe 310.
  • the ultrasonic signal generated by the probe 310 is transmitted to the processor 320 through predetermined signal processing through a beamformer, an amplifier, an analog-to-digital converter, or the like.
  • the processor 320 may execute an instruction or command stored in the memory to perform a predetermined operation.
  • the processor 320 performs an alignment and synchronization operation between a 3D medical image stored in the storage unit 340 and a real-time ultrasound image.
  • the processor 320 generates a GUI (Graphic User Interface) view for the alignment operation and synchronization operation between the 3D medical image and the real-time ultrasound image, and outputs a GUI view that outputs the results of the real-time alignment operation and the real-time synchronization operation.
  • GUI Graphic User Interface
  • the 3D medical image is a 3D medical image acquired before real-time ultrasound imaging, and is a medical image having a modality different from that of the ultrasound image.
  • the 3D medical image may be a margnetic resonance (MR) image, a computerized tomography (CT) image, or an X-ray image.
  • the 3D medical image may be a medical image having segmentation information by performing segmentation processing.
  • the 3D medical image is stored in a DICOM format, and may include segmentation information, object information, and photographing date and time information in the DICOM format.
  • additional information related to a 3D medical image may be stored together in the storage unit 340.
  • the additional information may be stored in the same file as the 3D medical image or as a separate file.
  • Additional information related to the 3D medical image may include diagnosis information related to the object. For example, information such as a suspicious area and a region of interest of the object may be stored as additional information.
  • the processor 320 may display additional information together.
  • the processor 320 generates tracking information by calculating the position, movement, or orientation of the probe 310 based on the output signal of the tracking device 312.
  • the tracking information may include at least one of location information, orientation information, or motion information of the probe 310, or a combination thereof.
  • the processor 320 generates tracking information based on tracking information obtained from an external tracker (electromagnetic, optical, etc.) in order to map the 2D ultrasound into a world space.
  • the processor 320 may use tracking information of a probe received from an external device.
  • the location information defines the location of the probe 310 in a predetermined space including the object on a predetermined coordinate system.
  • the orientation information indicates an orientation of the probe 310, and indicates an orientation of the probe 310 using a predetermined reference line or an angle of the probe 310 with respect to a reference plane.
  • the motion information indicates at least one or a combination of a moving distance, a moving direction, or a moving speed of the probe 310.
  • the processor 320 performs alignment between the ultrasound image and the 3D medical image, and performs a synchronization operation between the ultrasound image and the 3D medical image based on the alignment result and tracking information.
  • the display 330 displays an ultrasound image and predetermined data.
  • the display 330 displays a GUI view of the ultrasound imaging apparatus 300.
  • the display 330 may correspond to the display unit 140 of FIG. 1.
  • the display 330 displays a real-time ultrasound image and a 3D medical image, and displays a GUI view of an alignment operation and a synchronization operation.
  • the storage unit 340 may store data and commands necessary for the operation of the ultrasound imaging apparatus 300.
  • the storage unit 340 may be implemented as at least one of a volatile storage medium or a nonvolatile storage medium, or a combination thereof.
  • the storage unit 340 may store at least one 3D medical image. Further, the storage unit 340 may store segmentation information related to a 3D medical image, 3D organ model information, information on an object, diagnosis information, and the like.
  • the storage unit 340 may correspond to the storage unit 150 of FIG. 1.
  • FIG. 4 is a flowchart illustrating a method of controlling an ultrasound imaging apparatus according to an exemplary embodiment.
  • Each step of the method of controlling an ultrasound imaging apparatus of the present disclosure may be performed by various types of electronic devices including a processor.
  • This specification will be described focusing on an embodiment in which the ultrasound imaging apparatus 300 according to embodiments of the present disclosure performs a method of controlling an ultrasound imaging apparatus. Accordingly, the embodiments described for the ultrasound imaging apparatus 300 can be applied to embodiments of the method for controlling the ultrasound imaging apparatus, whereas the embodiments described for the ultrasound imaging apparatus control method are applicable to the ultrasound imaging apparatus 300. Applicable to embodiments.
  • the method of controlling an ultrasound imaging apparatus according to the disclosed embodiments is performed by the ultrasound imaging apparatus 300 disclosed in the present specification, and the embodiment is not limited, and may be performed by various types of electronic devices.
  • the ultrasound imaging apparatus 300 stores at least one 3D medical image in the storage unit 340 (S402).
  • the 3D medical image may be input from an external device.
  • the at least one 3D medical image includes an image of the same object as that of the ultrasound imaging object.
  • the ultrasound imaging apparatus provides a user interface view for selecting one of at least one stored 3D medical image.
  • the ultrasound imaging apparatus may search for and output a 3D medical image stored in the storage unit 340 based on information such as an identification number, patient information, file name, and a photographing date input through a user interface or an input/output interface.
  • the ultrasound imaging apparatus 300 transmits an ultrasound signal to the object using the probe 310 and detects an echo signal reflected from the object (S404).
  • the ultrasound imaging apparatus 300 acquires tracking information from a detection signal of the tracking device 312 of the probe 310.
  • the processor 320 acquires a detection signal from the tracking device 312 and acquires tracking information including at least one or a combination of position information, motion information, or orientation information of the probe 310.
  • the ultrasound imaging apparatus 300 generates an ultrasound image from the echo signal (S408).
  • the ultrasound image may be a real-time 2D ultrasound image.
  • the operation of acquiring tracking information (S406) and the operation of generating an ultrasound image from the echo signal (S408) may be sequentially repeated or performed in parallel.
  • the ultrasound imaging apparatus 300 performs an initial alignment operation between the ultrasound image, the 3D medical image, and the probe 310 (S410).
  • the ultrasound imaging apparatus 300 guides a user to acquire an ultrasound image corresponding to one or more predefined anatomical sections for an initial alignment operation, and initial alignment by using an ultrasound image of one or more predefined anatomical sections. Perform the action.
  • the ultrasound imaging apparatus 300 may display a 3D medical image and a real-time ultrasound image on the display 330 and provide a GUI of an initial alignment operation mode including guide information for an initial alignment operation.
  • the ultrasound imaging apparatus 300 When the initial alignment operation S410 is completed, the ultrasound imaging apparatus 300 generates a cross-sectional image of a 3D medical image corresponding to the real-time ultrasound image based on the result of the initial alignment operation and the tracking information of the probe 310, and A display synchronization operation is performed (S414). In addition, the ultrasound imaging apparatus 300 performs an additional alignment operation (S412) between the ultrasound image, the probe, and the 3D medical image by using the real-time ultrasound image input after the initial alignment operation (S410). The synchronization operation (S414) and the additional alignment operation (S412) are repeatedly performed. In addition, the synchronization operation S414 and the additional alignment operation S412 may be repeatedly performed sequentially or may be repeatedly performed in parallel.
  • the additional sorting operation S412 may be activated or deactivated by a user's selection.
  • the ultrasound imaging apparatus 300 may provide a user interface menu for selecting whether to perform the additional alignment operation S412 performed together with the synchronization operation S414.
  • the ultrasound imaging apparatus 300 does not perform the additional alignment operation S412, but performs a synchronization operation S414 on the real-time ultrasound image using the latest alignment result.
  • a minimum alignment operation is performed in the initial alignment operation (S410) to provide quick alignment at the beginning of ultrasound image capturing, and subsequent alignment between different modalities is continuously performed in a synchronization mode.
  • embodiments of the present disclosure provide priority alignment by using a small number of ultrasound images in the initial alignment operation (S410) and then perform additional alignment in a synchronization mode, thereby using a 2D ultrasound image while using a 3D ultrasound image.
  • the initial alignment operation S410
  • Fast alignment may be provided using a 2D ultrasound image by performing alignment for some spaces and additionally performing alignment for the remaining spaces in the additional alignment operation S412.
  • the initial alignment operation S410 and the additional alignment operation S412 may use the same alignment algorithm.
  • the alignment algorithm used in the embodiments of the present disclosure may include various types of alignment algorithms, and may include, for example, rigid alignment or non-rigid alignment algorithm.
  • FIG. 5 is a diagram illustrating an alignment operation according to an exemplary embodiment.
  • the ultrasound imaging apparatus 300 performs an alignment operation defining a relationship between the coordinates of the 3D medical image 502, the coordinates of the 3D ultrasound image 504, and tracking information of the probe 310.
  • the 3D ultrasound image 504 refers to virtual 3D ultrasound image volume data that can be generated by accumulation and rendering of 2D ultrasound images.
  • the ultrasound imaging apparatus 300 may define coordinates of the 3D ultrasound image 504 by assuming a virtual space including 3D ultrasound image volume data, and indicating a position in the virtual space through a predetermined coordinate system. have.
  • the ultrasound imaging apparatus 300 uses the result of the alignment operation and performs a synchronization operation between the 3D medical image and the ultrasound image based on the tracking information.
  • the ultrasound imaging apparatus 300 is a function representing a relationship between coordinates of a 3D medical image defined in a predetermined space and coordinates of an ultrasound image defined in a predetermined space, tracking information of the probe 310 and an ultrasound image.
  • R2 representing the relationship between the coordinates of and R3 representing the relationship between the coordinates of the 3D medical image 502 and tracking information of the probe 310 may be defined.
  • the coordinates of the 3D medical image 502, the coordinates of the ultrasound image 504, and the coordinates of the probe 310 may be defined in different coordinate systems.
  • the ultrasound imaging apparatus 300 may define two of R1, R2, and R3 to calculate the other function.
  • the ultrasound imaging apparatus 300 may calculate the R1 function based on the 3D medical image 502 and anatomical feature information of the ultrasound image 504. For example, the ultrasound imaging apparatus 300 may calculate the R1 function by detecting anatomical feature points corresponding to each other from a 2D ultrasound image and a slice or cross-sectional image of a 3D medical image corresponding to the 2D ultrasound image. According to an embodiment, the ultrasound imaging apparatus 300 may generate a slab image using a plurality of frames of adjacent cross sections of a 2D ultrasound image, and perform alignment with image data of a predetermined slice of a 3D medical image. have. The slab image of the ultrasound image may be generated by accumulating frames of the ultrasound image acquired through a predetermined sweep operation.
  • the ultrasound imaging apparatus 300 displays a target cross-sectional image required for alignment in an initial alignment operation, and the user captures an ultrasound image by moving the probe 310 to obtain an ultrasound image corresponding to the displayed target cross-sectional image do. Therefore, in the initial alignment operation, a boundary representing an anatomical characteristic is detected from the target cross-sectional image and the ultrasound image, and the R1 function can be calculated by matching feature points on the boundary.
  • the boundary corresponds to the surface of the anatomical structure. Feature points on the boundary may be defined by anatomical features or may be defined at predetermined intervals on the boundary.
  • the ultrasound imaging apparatus 300 additionally aligns the cross section of the determined 3D medical image corresponding to the real-time ultrasound image and the real-time ultrasound image by a synchronization operation in the additional alignment operation.
  • the R1 function is updated by the additional sorting operation, and in the subsequent synchronization operation, the synchronization operation is performed using the updated R1 function.
  • the ultrasound imaging apparatus 300 may calculate an R2 function representing a relationship between tracking information of the probe 310 and an ultrasound image.
  • the tracking information includes location information and orientation information
  • the R2 function may represent a relationship between the location information and orientation information of the probe 310 and a cross section of the ultrasound image volume data.
  • the ultrasound imaging apparatus 300 may define a cross section of the ultrasound image 504 corresponding to the current position and orientation of the probe 310 using the tracking information and the R2 function.
  • the ultrasound imaging apparatus 300 may calculate an R3 function representing a relationship between the tracking information of the probe 310 and the 3D medical image 502 using the R1 function and the R2 function.
  • the R3 function may define a cross section of the 3D medical image 502 corresponding to the position and orientation of the probe 310.
  • the ultrasound imaging apparatus 300 may calculate the R3 function by synthesizing the R2 function and the R1 function (eg, multiplying the R2 function and the R1 function).
  • FIG. 6 is a diagram illustrating an operation of synchronizing a 3D medical image and an ultrasound image according to an exemplary embodiment.
  • the ultrasound imaging apparatus 300 synchronizes the real-time ultrasound image 602 and the 3D medical image 502 based on the tracking information of the probe 310 and the R3 function.
  • the ultrasound imaging apparatus 300 defines a first section 604 corresponding to the real-time ultrasound image 602 in a 3D medical image by inputting tracking information into the R3 function, and a 2D section corresponding to the first section 604 Information on the medical image or the first section 604 is displayed.
  • the ultrasound imaging apparatus 300 performs a synchronization operation and updates the first cross-section 604 of the 3D medical image 502 according to the movement or orientation change of the probe 310.
  • the ultrasound imaging apparatus 300 is a 2D medical image that is a cross-sectional image from volume data corresponding to the first section 604. Can be created.
  • FIG. 7 is a diagram illustrating an alignment operation and a synchronization operation of an ultrasound imaging apparatus according to an exemplary embodiment.
  • the ultrasound imaging apparatus 300 includes a first mode P1 for performing an initial alignment operation and a second mode P2 for performing a synchronization operation and an additional alignment operation.
  • a synchronization operation and an additional alignment operation are repeatedly performed.
  • the synchronization operation and the additional alignment operation are performed sequentially.
  • the synchronization operation and the further alignment operation are performed in parallel.
  • the frame rate of the additional alignment operation may be less than or equal to the frame rate of the synchronization operation.
  • the synchronization operation may be performed at the same frame rate as the frame rate at which the real-time ultrasound image is input, and the additional alignment operation may be performed at a frame rate lower than the frame rate of the real-time ultrasound image by sampling some frames of the real-time ultrasound image. have.
  • the ultrasound imaging apparatus 300 performs an initial alignment operation using a predetermined number of ultrasound images for a predetermined target cross-section required for an initial alignment operation.
  • the predetermined target cross-section may include major anatomical cross-sections, for example, a coronal plane, a sagittal plane, a transverse plane, an anterior, a posterior, an upper surface ( superior), etc.
  • information on the target cross section 702 and the target cross section image 704 in the 3D medical image 502 may be provided through a GUI.
  • a real-time ultrasound image 710 may be provided in the first mode P1.
  • guide information and object information related to the alignment operation may be provided in the GUI of the first mode P1.
  • the ultrasound imaging apparatus 300 includes cross-sectional information 706 and synchronized cross-sectional image 708 of a real-time ultrasound image 720 and a 3D medical image 502 corresponding to the real-time ultrasound image 720. Can be provided through GUI.
  • the cross-sectional information 706 and the synchronized cross-sectional image 708 of the 3D medical image 502 may be determined through a synchronization operation.
  • FIG. 8 is a diagram illustrating an initial alignment operation, a synchronization operation, and an additional alignment operation according to an embodiment.
  • the ultrasound imaging apparatus 300 receives a 2D ultrasound image 832 corresponding to a target cross section 804 of the 3D medical image 802 for an initial alignment operation 810 and performs an initial alignment operation 810. .
  • the ultrasound imaging apparatus 300 performs an initial R3 function representing the relationship between the tracking information of the probe 310 and the 3D medical image 802 as a result of the initial alignment operation 810 ( R3 i ) is calculated, and a synchronization operation and an additional alignment operation 820 are performed based on the R3 i function and tracking information.
  • R3 i the initial alignment operation 810
  • the ultrasound imaging apparatus 300 receives ultrasound images 836 and 838 of various orientations in the additional alignment operation 820, refines the initial alignment result that is not complete, and aligns the 3D ultrasound volume data 802 completely. You can get the result.
  • the R3 function R3 t is updated and converges to a complete R3 function R3 f .
  • the first section 806 of the 3D ultrasound image output as a result of the synchronization operation may be updated together.
  • the ultrasound imaging apparatus 300 may perform 3D rigid alignment using a 2D ultrasound image without 3D organ segmentation.
  • the ultrasound imaging apparatus 300 performs an incomplete initial alignment using the minimum number of ultrasound images, immediately performs a synchronization operation according to the initial alignment result, and then performs additional alignment during the synchronization operation to improve alignment accuracy. By raising it, there is an effect of providing a fast synchronization operation using a 2D ultrasound image.
  • FIG. 9 is a diagram illustrating an additional alignment operation according to an exemplary embodiment.
  • the period T2 of the additional alignment operation may be longer than the period T1 of the synchronization operation.
  • the synchronization operation 934 may be performed based on tracking information at a corresponding time point whenever real-time ultrasound images 921, 922, 923, 924, 925, 926, and 927 are input.
  • the additional alignment operation 930 may be performed by sampling some images 921, 924, and 927 of real-time ultrasound images.
  • the additional alignment operation 930 is performed, as the R3 function is updated, the alignment of the real-time ultrasound image and the 3D medical image is updated based on the updated R3 function (932).
  • Synchronization operation 934 is performed. According to embodiments of the present disclosure, it may be observed that the cross-sectional image of the 3D medical image is updated according to the alignment update 932 during the synchronization operation 934.
  • FIG. 10 is a block diagram showing the structure of the processor 320 according to an embodiment.
  • the processor 320 includes an alignment unit 1010 and a synchronization unit 1020.
  • the alignment unit 1010 and the synchronization unit 1020 may correspond to software blocks or hardware blocks executed by computer program code.
  • the processor 320 may include various software blocks or hardware blocks for the operation of the ultrasound imaging apparatus 100.
  • the alignment unit 1010 performs an operation of aligning a 3D medical image and an ultrasound image using various alignment algorithms.
  • the alignment unit 1010 may perform an initial alignment operation and an additional alignment operation according to embodiments of the present disclosure.
  • the alignment unit 1010 receives a 3D medical image stored in the storage unit 340, a real-time ultrasound image generated from the echo signal obtained from the probe 310, and tracking information obtained from the probe 310, and aligns
  • the resulting R3 function is output to the synchronization unit 1020.
  • the synchronization unit 1020 performs a synchronization operation of the 3D medical image and the real-time ultrasound image based on the tracking information obtained from the probe 310.
  • the synchronization unit 1020 defines a cross section of a 3D medical image corresponding to a real-time ultrasound image based on the tracking information, and outputs a 2D image of the cross section.
  • the synchronization unit 1020 may display the position of the cross section of the 3D medical image corresponding to the real-time ultrasound image in a 3D space, and output information on the cross section of the 3D medical image corresponding to the real-time ultrasound image. .
  • the synchronization unit 1020 receives a 3D medical image stored in the storage unit 340, a real-time ultrasound image generated from an echo signal obtained from the probe 310, and tracking information obtained from the probe 310, and receives Information about a cross section of a 3D medical image corresponding to an ultrasound image and a 2D medical image about the cross section may be output.
  • FIG. 11 is a diagram illustrating a 3D ultrasound-medical image alignment process according to an embodiment of the present disclosure.
  • the ultrasound imaging apparatus 300 may perform an alignment operation using the 3D organ model 1120.
  • the 3D organ model 1120 is a predefined 3D model for a predetermined organ.
  • the 3D organ model 1120 may be generated by preprocessing before the scanning operation of the ultrasound image.
  • the 3D organ model 1120 may be generated based on image data capturing the shape of the organ of interest.
  • the 3D organ model 1120 may be generated in advance from a plurality of 3D medical image training data sets.
  • the 3D medical image training data may include an MR image or a CT image.
  • the 3D organ model 1120 may be generated by the ultrasound imaging apparatus 300 or may be generated by another apparatus and input to the ultrasound imaging apparatus 300.
  • 3D segmentation of an organ of interest from 3D medical image data may be calculated using various automatic methods or semi-automatic methods (deep learning, morphological shape model, etc.).
  • Organ segmentation of the 3D medical image 1130 may be performed based on the 3D organ model 1120.
  • the 3D medical image 1130 may be matched with the 3D organ model 1120, and organ segmentation of the 3D medical image 1130 may be performed based on the matching result.
  • the 3D organ model 1120 is a 3D medical image 1130 by organ segmentation using appropriate methods (e.g., iterative closest point (ICT) algorithm, etc.) to estimate the organ model by medical image rigid transformation. Can be rigidly aligned.
  • the segmentation information of the 3D medical image 1130 may be generated by the ultrasound imaging apparatus 300 or generated by another apparatus and input to the ultrasound imaging apparatus 300.
  • the ultrasound image 1110 is mapped to the 3D organ model 1120, and based on the mapping result of the 3D organ model 1120 of the ultrasound image 1110, the ultrasound image 1110 and the 3D medical image 1130 ), the alignment operation 1140 may be performed.
  • the ultrasound image 1110 is mapped to the 3D organ model 1120, and the 3D medical image 1130 is mapped to the 3D organ model 1120, so that the ultrasound image 1110 and the 3D Alignment between medical images 1130 may be performed.
  • FIG. 12 is a diagram illustrating a process of performing 3D rigid alignment according to an embodiment of the present disclosure.
  • a user may acquire a 2D ultrasound image 1220 from a known anatomical orientation or plane (mid-axial, mid-sagittal, etc.).
  • a known anatomical orientation or plane mid-axial, mid-sagittal, etc.
  • one of the anatomical planes previously marked in the 3D organ model 1240 using various methods (e.g., plane lock) in which the rotation component of the organ model transformation from the ultrasound image 1220 is It is estimated by mapping a given anatomical plane of the 2D ultrasound image 1220 obtained by using.
  • the outline of the 3D organ model on the center of the field of view (FOV) and the anatomical plane on the 2D ultrasound image 1220 in which the rotation component or offset component from the ultrasound image 1220 to the 3D organ model 1240 is obtained It can be estimated by aligning the centroid of the (contour).
  • the ultrasound imaging apparatus 300 converts the ultrasound image 1220 to a 3D image, and performs organ model transformation using a 3D organ model on the converted ultrasound image. By composing the ultrasound image, a coarse 3D ultrasound-medical image may be rigidly aligned.
  • performing 2D segmentation of an organ of interest on a 2D ultrasound image 1220 using various standard segmentation approaches eg, deep learning, etc.
  • various standard segmentation approaches eg, deep learning, etc.
  • transforming or offsetting for rigid alignment the center of the organ segmentation between the 2D ultrasound image 1220 and the 2D medical image may be matched.
  • the processor 320 may perform an anatomical plane matching 1230 operation using the anatomical plane information 1216 of the 3D medical image 1210 and the anatomical plane information 1226 of the ultrasound image 1220.
  • the anatomical plane information 1216 and 1226 may correspond to anatomical plane information corresponding to a target cross-sectional image of the 3D medical image 1210 in case of an initial alignment operation. In the case of an additional alignment operation, anatomical plane information 1216 and 1226 may be defined based on the result of the initial alignment operation.
  • the processor 320 may perform anatomical plane correction 1250 based on the 3D organ model 1240 and segmentation information of the 3D medical image.
  • the anatomical plane correction 1250 may include a process of correcting a position of a first section corresponding to an ultrasound image in the 3D medical image 1210 based on a result of mapping with the 3D organ model 1240. .
  • the processor 320 performs a 3D rigid alignment operation 1260 between the ultrasound image 1220 and the first cross-sectional image 1212 of the 3D medical image 1210.
  • the processor 320 defines a first boundary 1214 of an anatomical structure based on segmentation information in a corresponding cross-sectional image 1212, and a second boundary of the anatomical structure in the ultrasound image 1220. After defining (1224), a three-dimensional rigid alignment operation is performed through alignment between the two boundaries 1214 and 1224. The processor 320 may redefine the boundaries 1214 and 1224 when the cross-sectional image 1212 to be processed is changed or when the real-time ultrasound image is changed. Further, according to an embodiment, the processor 320 defines at least one feature point 1218a, 1218b, and 1218c in the first boundary 1214, and at least one feature point 1228a, 1228b in the second boundary 1224.
  • the feature points 1218a, 1218b, 1218c, 1228a, 1228b, and 1228c may be defined based on anatomical features.
  • the feature points 1218a, 1218b, 1218c, 1228a, 1228b, and 1228c may be defined based on a morphological feature observed anatomically.
  • the feature points 1218a, 1218b, 1218c, 1228a, 1228b, and 1228c may be defined on the first boundary 1214 and the second boundary 1224 at a predetermined interval from a predetermined reference point.
  • rough 3D ultrasound-medical image rigid alignment based on anatomy minimizes an appropriate cost metric (e.g., cross correlation normalization, etc.) in parameters of a shallow search space. It can be further refined by selectively matching a 2D ultrasound image on a 3D medical image using various standard 2D-3D matching methods (eg, gradient descent algorithm, etc.).
  • cost metric e.g., cross correlation normalization, etc.
  • 2D-3D matching methods eg, gradient descent algorithm, etc.
  • FIG. 13 is a diagram illustrating an image alignment process according to an exemplary embodiment.
  • multi-modality 2D-3D registration may be performed using a pseudo 3D ultrasound image reconstructed from a 3D medical image using a machine learning model and a 2D ultrasound image.
  • the 3D medical image 1310 may be converted into a pseudo 3D ultrasound image 1330 using the machine learning image conversion model 1320.
  • the machine learning image transformation model 1320 includes a plurality of layers and is a model trained using a plurality of 3D medical images and 3D ultrasound images.
  • the machine learning image transformation model 1320 may include a combination of various layers such as a convolution layer, an activation layer, and a pooling layer.
  • the machine learning image transformation model 1320 may have, for example, a structure of a deep neural networ (DNN), and may use an algorithm such as a convolution neural network (CNN) and a recurrent neural network (RNN). .
  • the machine learning image transformation model 1320 can be trained using various types of learning algorithms, and is trained using various methods such as supervised learning, unsupervised learning, and reinforcement learning. Can be.
  • the machine learning image conversion model 1320 is, for example, a 3D medical image and an actual 3D ultrasound image corresponding to each 3D medical image to be trained using a Generative Adversarial Networks (GAN) algorithm. I can.
  • GAN Generative Adversarial Networks
  • the machine learning image conversion model 1320 receives a 3D medical image 1310 and generates a pseudo 3D ultrasound image 1330.
  • the pseudo 3D ultrasound image 1330 is an image generated to have characteristics of an ultrasound image while representing an object corresponding to a 3D medical image.
  • segmentation information or boundary information 1312 of the 3D medical image 1310 is input to the machine learning image conversion model 1320, and the segmentation information or boundary information 1312 may be converted together.
  • the pseudo 3D ultrasound image 1330 may include boundary information 1332 generated from boundary information 1312 of the 3D medical image 1310.
  • the processor 320 calculates an R3 function representing the relationship between the 3D medical image 1310 and tracking information by performing a matching operation 1350 between the ultrasound image 1340 and the pseudo 3D ultrasound image 1330.
  • the matching framework 1350 performs predetermined alignment and matching operations.
  • FIG. 14 is a block diagram illustrating an alignment operation according to an embodiment of the present disclosure.
  • a residual error in 3D ultrasound-medical image rigid alignment is performed by performing a 3D correction from a set of in-plane corrections for a set 1460 of 2D ultrasound images acquired from a plurality of orientations. Can be corrected.
  • a user acquires a set 1460 of 2D ultrasound images of an organ of interest.
  • the 2D ultrasound images 1460 may be acquired by a partial or total sweep of an organ in a rotational and/or translational manner.
  • a set 1460 of 2D ultrasound images of the organ of interest may be acquired in parallel.
  • the corresponding 2D medical image is re-slicing the 3D medical image 1410 using the current 3D ultrasound-medical image rigid alignment and tracking transformation.
  • the rigid intra-plane correction 1420 may be calculated by matching the 2D medical image and the 2D ultrasound image 1450 using various matching methods such as gradient descent.
  • the in-plane rigid correction 1420 may be mapped to a homologous three-dimensional correction in a three-dimensional space using an appropriate transformation of the basic transformation.
  • the processor 320 performs in-plane correction on the 3D medical image 1410 and the 2D ultrasound image 1450.
  • Plane correction estimation process 1420 in calculates the estimated value of a correction plane (A 3D t), update of R3 t function to synthesize the in the current R3 t function and the planar corrected estimated value (A 3D t) value Calculate R3 t+1 .
  • the processor 320 updates the updated R3 function R3 t+1 to the current R3 function.
  • the processor 320 receives tracking information (T 3D t ) from the tracking device 312 to estimate a previous probe motion (M 3D t-1 ) and a current probe motion (M 3D t ), In-plane correction estimation processing 1420 is performed using the estimated probe motion (M 3D t ).
  • the probe motion estimation process 1440, the in-plane correction estimation process 1420, and the R3 function update process may be repeatedly performed.
  • 15 is a diagram illustrating a process of performing a rigid alignment process of a 3D ultrasound-medical image according to an embodiment of the present disclosure.
  • 16 is a diagram illustrating a process of performing rigid alignment processing of a 3D ultrasound-medical image according to an exemplary embodiment.
  • a weighted average of the last several in-plane corrections in a 3D space is calculated.
  • An instantaneous in-plane rigid correction may be performed for the current 3D ultrasound-medical image rigid alignment by the motion estimation processing 1610 applied.
  • the processor 320 may obtain a motion-estimated ultrasound image by performing a motion estimation process 1610 on the resultant image A 3D t of the in-plane correction estimation 1420.
  • Motion estimation processing 1610 is a motion-estimated ultrasound image (C 3D t ) using a weighted average value to which a predetermined weight is applied to in - plane corrected images (A 3D t , A 3D t-1 ) at different viewpoints. To obtain.
  • the weight (B) can be applied in various ways according to embodiments.
  • the embodiments of the present disclosure may calculate a motion estimation image from a dynamic image through the motion estimation processing 1610 and perform rigid alignment processing using the motion estimation image regardless of whether the in-plane correction is estimated.
  • the processor 320 calculates a weight for motion estimation with respect to the ultrasound images at each viewpoint based on the ECG signal, and applies the weight to the ultrasound images at each viewpoint to estimate motion.
  • An image may be calculated and rigid alignment processing may be performed on the motion estimation image and the 3D medical image.
  • the weight for motion estimation may be determined based on phase information of the 3D medical image.
  • the processor 320 may generate a motion-estimated ultrasound image by determining a weight of motion estimation so as to correspond to the phase of the 3D medical image.
  • FIG. 17 is a diagram illustrating a configuration in which an ultrasound imaging apparatus provides an alignment index according to an exemplary embodiment.
  • the ultrasound imaging apparatus 300 may provide information 1730 on an alignment index indicating a degree of alignment while performing an initial alignment operation and an additional alignment operation.
  • the processor 320 may calculate an alignment index while performing an initial alignment operation and an additional alignment operation, and provide information 1730 about the alignment index through a GUI view.
  • the processor 320 may calculate an alignment index based on a ratio of the aligned volume data among the total volume data of the 3D medical image 1710. For example, in the 3D medical image 1710, the processor 320 may determine a volume in a predetermined range that can be regarded as having been aligned by the cross-section 1712 and the cross-section 1712 in which alignment is performed. It is determined, and the alignment index can be calculated by calculating the ratio of the volume on which the alignment has been performed among the total volumes.
  • the processor 320 may calculate an alignment index based on a degree to which the R3 function changes due to the additional alignment operation. For example, the processor 320 may calculate the alignment index by indexing the amount of change of the parameters of the R3 function while updating the R3 function through an additional alignment operation.
  • the alignment index may be determined such that the smaller the amount of change of the R3 function is, the higher the degree of completion of alignment is.
  • the processor 320 performs an additional alignment operation, and after the R3 function is updated by the additional alignment operation, the processor 320 is aligned based on the amount of change in the position of the synchronization section by the updated R3 function in the 3D medical image. Indicators can be calculated. For example, as the R3 function is updated, the cross section 1712 of the 3D medical image 1710 corresponding to the ultrasound image 1720 is (x1, y1, respectively) in the X-axis direction, Y-axis direction, and Z-axis direction. If it has moved by z1), the processor 320 may calculate the alignment index based on the sum of squares of (x1, y1, z1) (x1 2 + y1 2 + z1 2 ).
  • the alignment index is a ratio of the volume data that has been aligned among the total volume data of the 3D medical image 1710, the degree to which the R3 function is changed by an additional alignment operation, and the R3 function is determined by the additional alignment operation.
  • it may be determined based on a composite value of a plurality of indices such as an amount of change in the position of the synchronization section by the updated R3 function in the 3D medical image.
  • the processor 320 may determine an alignment index based on a weighted average value of a plurality of indicators.
  • FIG. 18 is a diagram illustrating a process of providing information for guiding a position where additional photographing is required for an alignment operation, according to an exemplary embodiment.
  • the ultrasound imaging apparatus 300 may additionally receive additional scan information 1810a, 1810b, 1810c indicating an orientation that requires an ultrasound image to be captured in a second mode P2 in which a synchronization operation and an additional alignment operation are performed. Can provide. Since the ultrasound imaging apparatus 300 performs an alignment operation only for a minimum orientation and performs fast synchronization in an initial alignment operation, alignment may not be complete for some volume data. To this end, the ultrasound imaging apparatus 300 may guide information on an ultrasound image to be photographed first for additional alignment, and induce a user to quickly improve alignment accuracy. According to an embodiment, as shown in FIG.
  • additional scan information 1810a, 1810b, and 1810c in the form of arrows indicating information on the photographing position and orientation of the probe 310 for obtaining an ultrasound image required for additional alignment. ) Can be provided to intuitively provide a guide for additional scans to the user.
  • the processor 320 may determine a target cross-sectional image or a guide for an additional scan based on the additional information stored for the 3D medical image 1710.
  • the additional information may include information on a suspicious region or a region of interest in the 3D medical image 1710.
  • the processor 320 indicates the ultrasound scan position required to acquire the ultrasound image 1720 from the suspicious area or the cross section corresponding to the area of interest as additional scan information 1810a, 1810b, 1810c, or in the suspicious area or area of interest.
  • the corresponding cross section can be determined as the target cross section.
  • the ultrasound imaging apparatus 300 may also provide label information 1820 for additional scan information 1810a, 1810b, and 1810c.
  • an organ of interest may be segmented with respect to a 2D ultrasound.
  • multi-modality 2D-3D matching between 2D ultrasound and pseudo 3D ultrasound may be performed.
  • a current or past tracking transformation is used to minimize an error in correction within the estimated plane due to the probe motion using any standard method (eg, a Kalman filter, etc.) Are used.
  • the existing 3D ultrasound-medical image rigid alignment may be continuously updated by composing in-plane corrections estimated in a 3D space in order to gradually correct a residual error.
  • visualization of ultrasound data and medical image data may be updated in real time with respect to cognitive feedback for error correction in 3D ultrasound-medical image rigid alignment.
  • the cost, processing time, and expertise required for fusion processing are provided. It has the effect of reducing knowledge and increasing adequacy.
  • Embodiments of the present disclosure may be implemented through at least one software program that is executed on at least one hardware device and performs network management functions for controlling elements.
  • the elements may be at least one of a hardware device or a combination of a hardware device and a software module.
  • the disclosed embodiments may be implemented in the form of a computer-readable recording medium that stores instructions and data executable by a computer.
  • the instruction may be stored in the form of a program code, and when executed by a processor, a predetermined program module may be generated to perform a predetermined operation.
  • a predetermined program module when executed by a processor, certain operations of the disclosed embodiments may be performed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 개시의 일 실시예의 일 측면에 따르면, 제1 대상체에 대응하는 상기 3차원 의료 영상과 상기 제1 대상체에 대응하는 상기 초음파 영상에 기초하여 상기 3차원 의료 영상, 초음파 영상, 및 프로브 간의 초기 정렬 동작을 수행하고, 초기 정렬 동작의 결과 및 프로브의 트래킹 정보에 기초하여 상기 초음파 영상에 대응하는 3차원 의료 영상의 제1 단면을 정의하는 동기화 동작을 수행하고, 초기 정렬 동작 이후에 생성된 적어도 하나의 초음파 영상에 기초하여, 3차원 의료 영상, 초음파 영상, 및 프로브의 트래킹 간의 추가 정렬 동작을 수행하고, 추가 정렬 동작 및 동기화 동작을 반복적으로 수행하는 초음파 영상 장치가 제공된다.

Description

초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법
본 개시의 실시 예들은 초음파 영상과 3차원 의료 영상의 정렬을 위한 초음파 영상 장치, 초음파 영상 장치 제어 방법, 및 컴퓨터 프로그램 제품에 관한 것이다.
초음파 영상 장치는 실시간 영상을 얻을 수 있는 장점을 갖고 있어, 의료 영상 촬영을 위해 널리 이용되고 있다. 예를 들면, 초음파 영상 장치는 생체 검사 가이드, 시술 가이드, 수술 가이드 등의 목적으로 이용된다. 그러나 암이 의심되는 경우(예를 들면 전립선 암(Prostatic cancer; PCa)) 초음파 영상은 이를 시각화하기 어려운 한계가 있다. 반면에 MRI/MR(Magnetic Resonance Imaging/Magnetic Resonance)은 암으로 의심되는 경우를 검출하는데 있어서 우수한 감도(sensitivity)를 갖는 반면에, 실시간 생검 가이드를 위해서는 실용적이지 않다는 단점이 있다.
퓨전(Fusion) 또는 타겟 생체 검사는, MR 영상 및 초음파 영상의 퓨전에 의해 임상적으로 의미 있는 암에 대한 생체 검사 성과를 개선시킬 수 있는 기술이다. 여기서 의심 영역은 수술 전 MR 영상에 처음으로 표시되고, 실시간 생체 검사 동안 이들이 생체 검사에 대한 임상가(clinicians)를 가이드하기 위해 수술 중 초음파 영상 상에 오버레이된다. 그러나 수술 중 초음파 영상들과 수술 전 3D MR 영상 사이에 리지드 정렬은 정확한 생체 검사에 매우 중요하다. 정확한 생체 검사는, 인지 생검을 위한 실시간 초음파의 시각화와 유사한 MR 이미지의 나란한 시각화를 용이하게 하고, 퓨전 가이드 생체 검사를 위해 MR 영상으로부터 초음파 영상 상에 타겟을 매핑하는 것을 용이하게 한다.
그러나 리지드 정렬에 대해, 현 상태의 기술적 방법들은 3D 초음파 영상 및 3D MR 영상 모두로부터의 볼륨 데이터의 이용을 요구한다. 3D 초음파 볼륨 획득은 고가의 3D 초음파 프로브를 요구한다. 대안으로 2D 스윕으로부터 초음파 볼륨 데이터의 3D 재구성이 요구된다. 그러나 이러한 접근은 숙련된 비뇨기과 전문의, 방사선 전문의 등을 요구하고, 스윕 또는 재구성으로인해 오류를 야기하여 정확도를 떨어뜨린다. 나아가 3D 초음파 볼륨 및 3D MR 볼륨 양쪽에서의 장기 세그멘테이션(segmentation)이 표면으로부터 표면으로의 리지드 정렬을 위해 종종 요구된다.
본 개시의 실시예들은 3D 초음파 볼륨 데이터 또는 3D 초음파 상에서의 장기 세그멘테이션이 필요 없는, 초음파 영상과 3차원 의료 영상(MR 영상, CT 영상, X-ray 영상 등) 간의 3차원 리지드 정렬을 수행하기 위한 방법 및 시스템을 제공하기 위한 것이다.
또한, 본 개시의 실시예들은, 알려진 해부학적 오리엔테이션으로부터 획득된 2차원 초음파 영상과, 이전의 3차원 해부학적 장기 모델을 이용한 3차원 의료 영상 데이터 사이의 해부학적 관계를 수립함에 의해 퓨전 생체 검사에서 거친(coarse) 3차원 초음파-의료 영상 리지드 정렬을 수립하기 위한 것이다.
또한, 본 개시의 실시예들은 복수의 오리엔테이션으로부터 획득된 2차원 초음파 이미지 세트에 대해 평면 내(in-plane) 보정의 세트로부터 3차원 보정을 구성함에 의해 3차원 초음파-의료 영상 리지드 정렬에서의 잔여 오류에 대한 보정을 하기 위한 것이다.
본 개시의 일 실시예의 일 측면에 따르면, 초음파 신호를 송신하고, 상기 초음파 신호에 대한 에코 신호를 검출하는 프로브; 3차원 의료 영상을 저장하는 저장부; 상기 프로브의 트래킹 정보를 획득하고, 상기 에코 신호로부터 초음파 영상을 생성하고, 제1 대상체에 대응하는 상기 3차원 의료 영상과 상기 제1 대상체에 대응하는 상기 초음파 영상에 기초하여 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 초기 정렬 동작을 수행하고, 상기 초기 정렬 동작의 결과 및 상기 프로브의 트래킹 정보에 기초하여 상기 초음파 영상에 대응하는 상기 3차원 의료 영상의 제1 단면을 정의하는 동기화 동작을 수행하고, 상기 초기 정렬 동작 이후에 생성된 적어도 하나의 초음파 영상에 기초하여, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브의 트래킹 간의 추가 정렬 동작을 수행하고, 상기 추가 정렬 동작 및 상기 동기화 동작을 반복적으로 수행하는 하나 이상의 프로세서; 및 상기 3차원 의료 영상 및 상기 초음파 영상을 디스플레이하는 디스플레이를 포함하는, 초음파 영상 장치가 제공된다.
일 실시예에 따르면, 상기 3차원 의료 영상은 MRI 영상, CT 영상, 또는 엑스레이 영상 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 상기 초기 정렬 동작 및 상기 추가 정렬 동작은 상기 3차원 의료 영상 및 상기 초음파 영상 상의 특징점에 기초하여 수행될 수 있다.
일 실시예에 따르면, 상기 초기 정렬 동작 및 상기 추가 정렬 동작은, 상기 3차원 의료 영상의 제1 단면에서 해부학적 구조의 바운더리를 결정하고, 상기 초음파 영상에서 상기 해부학적 구조의 바운더리를 결정하고, 상기 제1 단면에서 결정된 바운더리와 상기 초음파 영상에서 결정된 바운더리를 정렬하고, 상기 3차원 의료 영상과 상기 프로브의 트래킹 정보 간의 관계를 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 하나 이상의 프로세서는,
상기 초기 정렬 동작에서, 상기 디스플레이를 통해 상기 3차원 의료 영상의 목표 단면 영상을 디스플레이하고, 상기 목표 단면 영상에 대응하는 상기 초음파 영상을 입력받아, 상기 목표 단면 영상과 상기 초음파 영상 사이에 정렬을 수행하고, 상기 추가 정렬 동작에서, 상기 디스플레이를 통해 상기 동기화 동작에 의해 이동하는 상기 3차원 의료 영상의 제1 단면의 영상 및 상기 초음파 영상을 디스플레이하고, 상기 프로브의 에코 신호로부터 생성된 실시간 초음파 영상을 입력받아 상기 3차원 의료 영상, 상기 실시간 초음파 영상, 및 상기 프로브 사이에 추가 정렬을 수행할 수 있다.
일 실시예에 따르면, 상기 동기화 동작을 수행하는 초음파 영상의 프레임 레이트는 상기 추가 정렬 동작을 수행하는 초음파 영상의 프레임 레이트보다 크거나 같을 수 있다.
일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 정렬의 정도를 나타내는 정렬 지표를 결정하여(identifying) 상기 디스플레이를 통해 디스플레이할 수 있다.
일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 초기 정렬 동작에서, 상기 디스플레이를 통해 상기 3차원 의료 영상의 목표 단면 영상을 디스플레이하고, 상기 목표 단면 영상에 대응하는 상기 초음파 영상을 촬영하기 위한 가이드 정보를 상기 디스플레이를 통해 표시할 수 있다.
일 실시예에 따르면, 상기 가이드 정보는 상기 목표 단면 영상에 대응하는 상기 초음파 영상을 촬영하기 위한 프로브의 촬영 위치 또는 프로브의 오리엔테이션에 대한 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 3차원 의료 영상은 3차원 장기 세그멘테이션 정보를 포함하고, 상기 3차원 장기 세그멘테이션 정보에 기초하여 상기 초기 정렬 동작을 위한 상기 3차원 의료 영상의 목표 단면을 결정할 수 있다.
일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 3차원 의료 영상에 포함된 3차원 장기 세그멘테이션 정보에 기초하여 상기 추가 정렬 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 하나 이상의 프로세서는, 복수의 정렬 결과에 움직임 가중치를 적용한 가중 평균 값을 이용하여 상기 초음파 영상에서 해부학적 구조의 바운더리를 산출하고, 상기 초음파 영상에서의 바운더리와 상기 3차원 의료 영상의 제1 단면에서의 바운더리 사이의 정렬을 수행할 수 있다.
일 실시예에 따르면, 상기 프로브는 트래킹 장치를 포함하고, 상기 하나 이상의 프로세서는 상기 트래킹 장치의 검출 신호로부터 상기 프로브의 트래킹 정보를 획득할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면, 제1 대상체에 대응하는 3차원 의료 영상을 저장하는 단계; 프로브를 이용하여, 초음파 신호를 송신하고, 상기 초음파 신호에 대한 에코 신호를 검출하는 단계; 상기 프로브의 트래킹 정보를 획득하는 단계; 상기 에코 신호로부터 초음파 영상을 생성하는 단계; 상기 3차원 의료 영상과 상기 제1 대상체에 대응하는 상기 제1 초음파 영상에 기초하여 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 초기 정렬 동작을 수행하는 단계; 상기 초기 정렬 동작의 결과 및 상기 프로브의 트래킹 정보에 기초하여 상기 초음파 영상에 대응하는 상기 3차원 의료 영상의 제1 단면을 정의하는 동기화 동작을 수행하는 단계; 및 상기 초기 정렬 동작 이후에 생성된 적어도 하나의 초음파 영상에 기초하여, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브의 트래킹 간의 추가 정렬 동작을 수행하고, 상기 추가 정렬 동작 및 상기 동기화 동작을 반복적으로 수행하는 단계를 포함하는 초음파 영상 장치 제어 방법이 제공된다.
본 개시의 일 실시예의 또 다른 측면에 따르면, 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 프로세서에 의해 수행되었을 때 초음파 영상 장치 제어 방법을 수행하는 적어도 하나의 인스트럭션을 포함하고, 상기 초음파 영상 장치 제어 방법은, 제1 대상체에 대응하는 3차원 의료 영상을 저장하는 단계; 프로브를 이용하여, 초음파 신호를 송신하고, 상기 초음파 신호에 대한 에코 신호를 검출하는 단계; 상기 프로브의 트래킹 정보를 획득하는 단계; 상기 에코 신호로부터 초음파 영상을 생성하는 단계; 상기 3차원 의료 영상과 상기 제1 대상체에 대응하는 상기 제1 초음파 영상에 기초하여 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 초기 정렬 동작을 수행하는 단계; 상기 초기 정렬 동작의 결과 및 상기 프로브의 트래킹 정보에 기초하여 상기 초음파 영상에 대응하여 상기 3차원 의료 영상의 제1 단면을 정의하는 동기화 동작을 수행하는 단계; 및 상기 초기 정렬 동작 이후에 생성된 적어도 하나의 초음파 영상에 기초하여, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브의 트래킹 간의 추가 정렬 동작을 수행하고, 상기 추가 정렬 동작 및 상기 동기화 동작을 반복적으로 수행하는 단계를 포함하는, 컴퓨터 프로그램이 제공된다.
본 개시의 실시예들에 따르면, 3D 초음파 볼륨 데이터 또는 3D 초음파 상에서의 장기 세그멘테이션이 필요 없는, 초음파 영상과 3차원 의료 영상(MR 영상, CT 영상, X-ray 영상 등) 간의 3차원 리지드 정렬을 수행하기 위한 방법 및 시스템을 제공할 수 있는 효과가 있다.
또한, 본 개시의 실시예들에 따르면, 알려진 해부학적 오리엔테이션으로부터 획득된 2차원 초음파 영상과, 이전의 3차원 해부학적 장기 모델을 이용한 3차원 의료 영상 데이터 사이의 해부학적 관계를 수립함에 의해 퓨전 생체 검사에서 거친 3차원 초음파-의료 영상 리지드 정렬을 수립할 수 있는 효과가 있다.
또한, 본 개시의 실시예들에 따르면, 복수의 오리엔테이션으로부터 획득된 2차원 초음파 이미지 세트에 대해 평면 내 보정의 세트로부터 3차원 보정을 구성함에 의해 3차원 초음파-의료 영상 리지드 정렬에서의 잔여 오류에 대한 보정을 할 수 있는 효과가 있다.
도 1은 일 실시 예에 따른 초음파 영상 장치(100)의 구성을 도시한 블록도이다.
도 2a, 도 2b, 및 도 2c는 일 실시 예에 따른 초음파 영상 장치를 나타내는 도면들이다.
도 3은 본 개시의 일 실시예에 따른 초음파 영상 장치의 구조를 나타낸 블록도이다.
도 4는 일 실시예에 따른 초음파 영상 장치의 제어 방법을 나타낸 흐름도이다.
도 5는 일 실시예에 따른 정렬 동작을 나타낸 도면이다.
도 6은 일 실시예에 따른 3차원 의료 영상과 초음파 영상의 동기화 동작을 나타낸 도면이다.
도 7은 일 실시예에 따른 초음파 영상 장치의 정렬 동작 및 동기화 동작을 나타낸 도면이다.
도 8은 일 실시예에 따른 초기 정렬 동작, 동기화 동작, 및 추가 정렬 동작을 나타낸 도면이다.
도 9는 일 실시예에 따른 추가 정렬 동작을 나타낸 도면이다.
도 10은 일 실시예에 따른 프로세서(320)의 구조를 나타낸 블록도이다.
도 11은 본 개시의 일 실시예에 따라 3차원 초음파-의료 영상 정렬 과정을 나타낸 도면이다.
도 12는 본 개시의 일 실시예에 따라 3차원 리지드 정렬을 수행하는 과정을 나타낸 도면이다.
도 13은 일 실시예에 따른 영상 정렬 과정을 나타낸 도면이다.
도 14은 본 개시의 일 실시예에 따른 정렬 동작을 나타낸 블록도이다.
도 15는 본 개시의 일 실시예에 따라 3차원 초음파-의료 영상 리지드 정렬 처리를 하는 과정을 나타낸 도면이다.
도 16은 일 실시예에 따라 3차원 초음파-의료 영상 리지드 정렬 처리를 하는 과정을 나타낸 도면이다.
도 17은 일 실시예에 따라 초음파 영상 장치에서 정렬 지표를 제공하는 구성을 나타낸 도면이다.
도 18은 일 실시예에 따라 정렬 동작을 위해 추가 촬영이 필요한 위치를 가이드하는 정보를 제공하는 과정을 나타낸 도면이다.
본 개시의 일 실시예의 일 측면에 따르면, 초음파 신호를 송신하고, 상기 초음파 신호에 대한 에코 신호를 검출하는 프로브; 3차원 의료 영상을 저장하는 저장부; 상기 프로브의 트래킹 정보를 획득하고, 상기 에코 신호로부터 초음파 영상을 생성하고, 제1 대상체에 대응하는 상기 3차원 의료 영상과 상기 제1 대상체에 대응하는 상기 초음파 영상에 기초하여 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 초기 정렬 동작을 수행하고, 상기 초기 정렬 동작의 결과 및 상기 프로브의 트래킹 정보에 기초하여 상기 초음파 영상에 대응하는 상기 3차원 의료 영상의 제1 단면을 정의하는 동기화 동작을 수행하고, 상기 초기 정렬 동작 이후에 생성된 적어도 하나의 초음파 영상에 기초하여, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브의 트래킹 간의 추가 정렬 동작을 수행하고, 상기 추가 정렬 동작 및 상기 동기화 동작을 반복적으로 수행하는 하나 이상의 프로세서; 및 상기 3차원 의료 영상 및 상기 초음파 영상을 디스플레이하는 디스플레이를 포함하는, 초음파 영상 장치가 제공된다.
본 명세서는 본 개시의 청구항의 권리범위를 명확히 하고, 본 개시의 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시의 실시 예들을 실시할 수 있도록, 본 개시의 실시 예들의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시 예들이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 개시의 실시 예들, 및 실시 예들의 작용 원리에 대해 설명한다.
본 명세서에서 영상은 자기 공명 영상(MRI) 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 또는 엑스레이 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
본 명세서에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
명세서 전체에서 "초음파 영상"이란 대상체로 송신되고, 대상체로부터 반사된 초음파 신호에 근거하여 처리된 대상체(object)에 대한 영상을 의미한다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 초음파 영상 장치(100)의 구성을 도시한 블록도이다. 일 실시 예에 따른 초음파 영상 장치(100)는 프로브(20), 초음파 송수신부(110), 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160), 및 입력부(170)를 포함할 수 있다.
초음파 영상 장치(100)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 영상 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
프로브(20)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(20)는 초음파 영상 장치(100)와 일체형으로 구현되거나, 또는 초음파 영상 장치(100)와 유무선으로 연결되는 분리형으로 구현될 수 있다. 또한, 초음파 영상 장치(100)는 구현 형태에 따라 하나 또는 복수의 프로브(20)를 구비할 수 있다.
제어부(120)는 프로브(20)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.
제어부(120)는 프로브(20)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(115)를 제어 한다.
영상 처리부(130)는 초음파 수신부(115)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.
디스플레이부(140)는 생성된 초음파 영상 및 초음파 영상 장치(100)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 영상 장치(100)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(140)를 포함할 수 있다. 또한, 디스플레이부(140)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
제어부(120)는 초음파 영상 장치(100)의 전반적인 동작 및 초음파 영상 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(120)는 초음파 영상 장치(100)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 및 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(120)는 입력부(170) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 영상 장치(100)의 동작을 제어할 수 있다.
초음파 영상 장치(100)는 통신부(160)를 포함하며, 통신부(160)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(160)가 외부 장치로부터 제어 신호 및 데이터를 수신하고, 수신된 제어 신호를 제어부(120)에 전달하여 제어부(120)로 하여금 수신된 제어 신호에 따라 초음파 영상 장치(100)를 제어하도록 하는 것도 가능하다.
또는, 제어부(120)가 통신부(160)를 통해 외부 장치에 제어 신호를 송신함으로써, 외부 장치를 제어부의 제어 신호에 따라 제어하는 것도 가능하다.
예를 들어 외부 장치는 통신부를 통해 수신된 제어부의 제어 신호에 따라 외부 장치의 데이터를 처리할 수 있다.
외부 장치에는 초음파 영상 장치(100)를 제어할 수 있는 프로그램이 설치될 수 있는 바, 이 프로그램은 제어부(120)의 동작의 일부 또는 전부를 수행하는 명령어를 포함할 수 있다.
프로그램은 외부 장치에 미리 설치될 수도 있고, 외부장치의 사용자가 어플리케이션을 제공하는 서버로부터 프로그램을 다운로드하여 설치하는 것도 가능하다. 어플리케이션을 제공하는 서버에는 해당 프로그램이 저장된 기록매체가 포함될 수 있다.
저장부(150)는 초음파 영상 장치(100)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
입력부(170)는, 초음파 영상 장치(100)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.
일 실시 예에 따른 초음파 영상 장치(100)의 예시는 도 2a, 도 2b, 및 도 2c를 통해 후술된다.
도 2a, 도 2b, 및 도 2c는 일 실시 예에 따른 초음파 영상 장치를 나타내는 도면들이다.
도 2a 및 도 2b를 참조하면, 초음파 영상 장치(100a, 100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122)를 포함할 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 초음파 영상 또는 초음파 영상 장치(100a, 100b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 영상 장치(100a, 100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(121)는 초음파 영상을 표시하고, 서브 디스플레이부(122)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(122)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 영상 장치(100a, 100b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(121)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 2b를 참조하면, 초음파 영상 장치(100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122) 이외에 컨트롤 패널(165)을 더 포함할 수 있다. 컨트롤 패널(165)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 영상 장치(100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(165)은 TGC(Time Gain Compensation) 버튼(171), Freeze 버튼(172) 등을 포함할 수 있다. TGC 버튼(171)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 영상 장치(100b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(172) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(165)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(121) 또는 서브 디스플레이부(122)에 GUI로 제공될 수 있다.
도 2c를 참조하면, 초음파 영상 장치(100c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 영상 장치(100c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 영상 장치(100c)는 프로브(20)와 본체(40)를 포함하며, 프로브(20)는 본체(40)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(40)는 터치 스크린(145)을 포함할 수 있다. 터치 스크린(145)은 초음파 영상, 초음파 영상 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
도 3은 본 개시의 일 실시예에 따른 초음파 영상 장치의 구조를 나타낸 블록도이다.
본 개시의 일 실시 예에 따른 초음파 영상 장치(300)는 프로브(310), 프로세서(320), 디스플레이(330), 및 저장부(340)를 포함한다.
프로브(310)는 복수의 트랜스듀서 어레이를 포함하고, 초음파 신호를 대상체로 전송하고, 대상체로부터 반사된 에코 신호를 검출한다. 프로브(310)는 도 1의 프로브(20)에 대응될 수 있다. 본 개시의 실시예들에 따른 프로브(310)는 1열의 트랜스듀서 어레이를 갖는 2D 프로브, 또는 m*n(m, n은 자연수)의 2차원 트랜스듀서 어레이를 갖는 3D 프로브에 대응될 수 있다.
본 개시의 일 실시예에 따르면, 프로브(310)는 트래킹 장치(312)를 포함할 수 있다. 트래킹 장치(312)는 프로브(310)의 위치, 움직임, 또는 오리엔테이션을 검출하는 적어도 하나의 센서를 포함한다. 트래킹 장치(312)는 예를 들면, 가속도 센서, 자이로 센서, 또는 위치 센서 등을 포함할 수 있다. 트래킹 장치(312)는 하나 또는 그 이상의 센서를 포함할 수 있다. 또한, 트래킹 장치(312)는 전자기 센서 또는 광학 센서를 포함할 수 있다. 트래킹 장치(312)에서 출력된 검출 신호는 프로세서(320)로 출력될 수 있다.
프로세서(320)는 초음파 영상 장치(300) 전반의 동작을 제어한다. 프로세서(320)는 하나 또는 그 이상의 프로세서로 구현될 수 있다. 프로세서(320)는 프로브(310)로부터 초음파 신호를 수신하여 초음파 영상을 재구성한다. 프로브(310)에서 생성된 초음파 신호는 빔포머, 증폭기, 아날로그-디지털 컨버터 등을 통해 소정의 신호 처리를 거쳐서 프로세서(320)로 전달된다. 프로세서(320)는 메모리에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다.
또한, 프로세서(320)는 저장부(340)에 저장된 3차원 의료 영상과 실시간 초음파 영상 사이의 정렬 동작 및 동기화 동작을 수행한다. 프로세서(320)는 3차원 의료 영상과 실시간 초음파 영상 사이의 정렬 동작 및 동기화 동작에 대한 GUI(Graphic User Interface) 뷰를 생성하여, 실시간 정렬 동작 및 실시간 동기화 동작의 결과를 출력하는 GUI 뷰를 출력할 수 있다. 정렬 동작 및 동기화 동작의 상세한 동작은 아래에서 상술한다.
본 개시의 실시예들에서 3차원 의료 영상은 실시간 초음파 촬영 이전에 획득된 3차원 의료 영상으로서, 초음파 영상과 다른 모달리티(modality)의 의료 영상이다. 예를 들면, 3차원 의료 영상은 MR(margnetic resonance) 영상, CT(computerized tomography) 영상, 또는 엑스레이 영상일 수 있다. 일 실시예에 따르면, 3차원 의료 영상은 세그멘테이션 처리가 수행되어, 세그멘테이션 정보를 갖는 의료 영상일 수 있다. 3차원 의료 영상은 DICOM 형식으로 저장되고, DICOM 형식 내에 세그멘테이션 정보, 대상체 정보, 촬영 일시 정보 등을 포함할 수 있다.
일 실시예에 따르면, 저장부(340)에 3차원 의료 영상에 관련된 추가 정보가 함께 저장될 수 있다. 추가 정보는 3차원 의료 영상과 동일 파일로 저장되거나, 별개 파일로 저장될 수 있다. 3차원 의료 영상과 관련된 추가 정보는 대상체와 관련된 진단 정보를 포함할 수 있다. 예를 들면, 대상체의 의심 영역, 관심 영역 등의 정보가 추가 정보로 저장될 수 있다. 프로세서(320)는 3차원 의료 영상을 디스플레이(330)를 통해 디스플레이할 때, 추가 정보를 함께 디스플레이할 수 있다.
또한, 프로세서(320)는 트래킹 장치(312)의 출력 신호에 기초하여, 프로브(310)의 위치, 움직임, 또는 오리엔테이션을 산출하여 트래킹 정보를 생성한다. 트래킹 정보는 프로브(310)의 위치 정보, 오리엔테이션 정보, 또는 움직임 정보 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 프로세서(320)는 소정 공간(world space)으로 2D 초음파를 맵핑하기 위해 외부 트랙커(전자기, 광학 등)로부터 획득된 트래킹 정보에 기초하여, 트랙킹 정보를 생성한다. 일 실시예에 따르면, 프로세서(320)는 외부 장치로부터 수신된 프로브의 트래킹 정보를 이용할 수 있다. 위치 정보는 대상체를 포함하는 소정의 공간 내에서 프로브(310)의 위치를 소정의 좌표계 상에서 정의한다. 오리엔테이션 정보는 프로브(310)의 오리엔테이션을 나타내고, 소정의 기준선 또는 기준 면에 대한 프로브(310)의 각도 등을 이용하여 프로브(310)의 오리엔테이션을 나타낸다. 움직임 정보는 프로브(310)의 이동 거리, 이동 방향, 또는 이동 속도 중 적어도 하나 또는 이들이 조합을 나타낸다.
프로세서(320)는 초음파 영상과 3차원 의료 영상 사이의 정렬을 수행하고, 정렬 결과 및 트래킹 정보에 기초하여, 초음파 영상과 3차원 의료 영상 사이의 동기화 동작을 수행한다.
디스플레이(330)는 초음파 영상 및 소정의 데이터를 표시한다. 디스플레이(330)는 초음파 영상 장치(300)의 GUI 뷰를 표시한다. 디스플레이(330)는 도 1의 디스플레이부(140)에 대응될 수 있다. 또한, 디스플레이(330)는 실시간 초음파 영상 및 3차원 의료 영상을 디스플레이하고, 정렬 동작 및 동기화 동작의 GUI 뷰를 디스플레이한다.
저장부(340)는 초음파 영상 장치(300)의 동작에 필요한 데이터 및 명령어를 저장할 수 있다. 저장부(340)는 휘발성 저장 매체 또는 비휘발성 저장 매체 중 적어도 하나 또는 이들의 조합으로 구현될 수 있다. 저장부(340)는 적어도 하나의 3차원 의료 영상을 저장할 수 있다. 또한, 저장부(340)는 3차원 의료 영상에 관련된 세그멘테이션 정보, 3차원 장기(organ) 모델 정보, 대상체에 대한 정보, 진단 정보 등을 저장할 수 있다. 저장부(340)는 도 1의 저장부(150)에 대응될 수 있다.
도 4는 일 실시예에 따른 초음파 영상 장치의 제어 방법을 나타낸 흐름도이다.
본 개시의 초음파 영상 장치 제어 방법의 각 단계들은 프로세서를 구비하는 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 명세서는 본 개시의 실시예들에 따른 초음파 영상 장치(300)가 초음파 영상 장치 제어 방법을 수행하는 실시예를 중심으로 설명한다. 따라서 초음파 영상 장치(300)에 대해 설명된 실시예들은 초음파 영상 장치 제어 방법에 대한 실시예들에 적용 가능하고, 반대로 초음파 영상 장치 제어 방법에 대해 설명된 실시예들은 초음파 영상 장치(300)에 대한 실시예들에 적용 가능하다. 개시된 실시예들에 따른 초음파 영상 장치 제어 방법은 본 명세서에 개시된 초음파 영상 장치(300)에 의해 수행되는 것으로 그 실시예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.
초음파 영상 장치(300)는 저장부(340)에 적어도 하나의 3차원 의료 영상을 저장한다(S402). 3차원 의료 영상은 외부 장치로부터 입력될 수 있다. 적어도 하나의 3차원 의료 영상은 초음파 촬영의 대상체와 동일한 대상체의 영상을 포함한다. 또한, 초음파 영상 장치는 저장된 적어도 하나의 3차원 의료 영상 중 하나를 선택할 수 있는 사용자 인터페이스 뷰를 제공한다. 초음파 영상 장치는 사용자 인터페이스 또는 입출력 인터페이스를 통해 입력된 식별번호, 환자 정보, 파일명, 촬영 일자 등의 정보에 기초하여 저장부(340)에 저장된 3차원 의료 영상을 검색하고 출력할 수 있다.
다음으로, 초음파 영상 장치(300)는 프로브(310)를 이용하여 초음파 신호를 대상체로 송신하고, 대상체로부터 반사된 에코 신호를 검출한다(S404). 또한, 초음파 영상 장치(300)는 프로브(310)의 트래킹 장치(312)의 검출 신호로부터 트래킹 정보를 획득한다. 프로세서(320)는 트래킹 장치(312)로부터 검출 신호를 획득하여, 프로브(310)의 위치 정보, 움직임 정보, 또는 오리엔테이션 정보 중 적어도 하나 또는 이들의 조합을 포함하는 트래킹 정보를 획득한다.
또한, 초음파 영상 장치(300)는 에코 신호로부터 초음파 영상을 생성한다(S408). 일 실시예에 따르면, 초음파 영상은 실시간 2D 초음파 영상일 수 있다.
트래킹 정보를 획득하는 동작(S406)과 에코 신호로부터 초음파 영상을 생성하는 동작(S408)은 순차적으로 반복되면서 수행되거나, 병렬적으로 수행될 수 있다.
다음으로, 초음파 영상 장치(300)는 초음파 영상, 3차원 의료 영상, 및 프로브(310) 간의 초기 정렬 동작을 수행한다(S410). 초음파 영상 장치(300)는 초기 정렬 동작을 위해, 미리 정의된 하나 이상의 해부학적 단면에 대응하는 초음파 영상을 획득하도록 사용자를 가이드하고, 미리 정의된 하나 이상의 해부학적 단면의 초음파 영상을 이용하여 초기 정렬 동작을 수행한다. 이를 위해 초음파 영상 장치(300)는 3차원 의료 영상과 실시간 초음파 영상을 디스플레이(330) 상에 디스플레이하고, 초기 정렬 동작을 위한 가이드 정보를 포함하는 초기 정렬 동작 모드의 GUI를 제공할 수 있다.
초기 정렬 동작(S410)이 완료되면, 초음파 영상 장치(300)는 초기 정렬 동작의 결과 및 프로브(310)의 트래킹 정보에 기초하여, 실시간 초음파 영상에 대응하는 3차원 의료 영상의 단면 영상을 생성하고 디스플레이하는 동기화 동작을 수행한다(S414). 또한, 초음파 영상 장치(300)는 초기 정렬 동작(S410) 이후에 입력되는 실시간 초음파 영상을 이용하여 초음파 영상, 프로브, 및 3차원 의료 영상 간의 추가 정렬 동작(S412)을 수행한다. 동기화 동작(S414) 및 추가 정렬 동작(S412)은 반복적으로 수행된다. 또한, 동기화 동작(S414) 및 추가 정렬 동작(S412)은 순차적으로 반복 수행되거나, 병렬적으로 반복 수행될 수 있다.
일 실시예에 따르면, 추가 정렬 동작(S412)은 사용자의 선택에 의해 활성화되거나 비활성화될 수 있다. 초음파 영상 장치(300)는 동기화 동작(S414)과 함께 수행되는 추가 정렬 동작(S412)의 수행 여부를 선택 가능한 사용자 인터페이스 메뉴를 제공할 수 있다. 추가 정렬 동작(S412)이 비활성화되는 경우, 초음파 영상 장치(300)는, 추가 정렬 동작(S412)을 수행하지 않고, 최근 정렬 결과를 이용하여 실시간 초음파 영상에 대해 동기화 동작(S414)을 수행한다.
본 개시의 실시예들은, 초기 정렬 동작(S410)에서 최소한의 정렬 동작을 수행하여 초음파 영상 촬영 초기에 빠른 정렬을 제공하고, 이후에 동기화 모드에서 추가적인 정렬을 계속해서 수행함에 의해, 서로 다른 모달리티 간의 퓨전 동작에서 빠른 정렬 및 빠른 동기화를 제공할 수 있는 효과가 있다.
또한, 본 개시의 실시예들은, 초기 정렬 동작(S410)에서 적은 개수의 초음파 영상을 이용하여 우선 정렬을 제공하고 이후에 동기화 모드에서 추가적인 정렬을 수행함에 의해, 2차원 초음파 영상을 이용하면서도 3차원 의료 영상과 빠른 정렬을 제공할 수 있는 효과가 있다. 일반적으로 3차원 의료 영상과의 퓨전을 위해서는 3차원 초음파 영상을 입력받거나, 프로브 스윕 동작에 의해 획득된 매우 많은 개수의 2차원 초음파 영상이 필요한데, 본 개시의 실시예들은 초기 정렬 동작(S410)에서 일부 공간에 대해 정렬을 수행하고, 추가 정렬 동작(S412)에서 나머지 공간에 대해 추가적으로 정렬을 수행함에 의해 2차원 초음파 영상을 이용하여 빠른 정렬을 제공할 수 있다.
또한, 본 개시의 실시예들에 따르면, 사용자가 수동으로 3차원 의료 영상의 디스플레이 영역을 이동시키고, 3차원 의료 영상과 초음파 영상 상에서 특징점을 수동으로 입력해야 하는 번거로움 없이, 대상체 스캔 도중에 실시간으로 3차원 의료 영상과 초음파 영상의 정합이 가능한 장점이 있다. 이러한 장점으로 인해, 사용자는 대상체 스캔 중에 특징점을 입력해야 하는 동작을 하지 않아도 되고, 실시간으로 초음파 영상에 대응하는 3차원 의료 영상의 영역을 볼 수 있다. 또한, 사용자는 특징점 입력이 불필요함에 의해, 대상체 스캔 동작을 빠르게 완료할 수 있는 효과가 있다.
본 개시의 실시예들에서 초기 정렬 동작(S410)과 추가 정렬 동작(S412)은 기본적으로 동일한 정렬 알고리즘을 이용할 수 있다. 본 개시의 실시예들에서 사용하는 정렬 알고리즘은 다양한 종류의 정렬 알고리즘을 포함할 수 있고, 예를 들면 리지드 정렬, 또는 비-리지드(non-rigid) 정렬 알고리즘을 포함할 수 있다.
도 5는 일 실시예에 따른 정렬 동작을 나타낸 도면이다.
초음파 영상 장치(300)는 3차원 의료 영상(502)의 좌표, 3차원 초음파 영상(504)의 좌표, 프로브(310)의 트래킹 정보 사이의 관계를 정의하는 정렬 동작을 수행한다. 여기서 3차원 초음파 영상(504)은 2차원 초음파 영상의 누적 및 렌더링에 의해 생성될 수 있는 가상의 3차원 초음파 영상 볼륨 데이터를 의미한다. 초음파 영상 장치(300)는 3차원 초음파 영상 볼륨 데이터를 포함하는 가상의 공간을 가정하고, 가상의 공간 내에서의 위치를 소정의 좌표계를 통해 나타내어 3차원 초음파 영상(504)의 좌표를 정의할 수 있다. 초음파 영상 장치(300)는 정렬 동작의 결과를 이용하고, 트래킹 정보에 기초하여 3차원 의료 영상과 초음파 영상 사이의 동기화 동작을 수행한다. 초음파 영상 장치(300)는 소정 공간 내에서 정의된 3차원 의료 영상의 좌표와, 소정 공간 내에서 정의된 초음파 영상의 좌표 사이의 관계를 나타내는 함수인 R1, 프로브(310)의 트래킹 정보와 초음파 영상의 좌표 사이의 관계를 나타내는 R2, 및 3차원 의료 영상(502)의 좌표와 프로브(310)의 트래킹 정보 사이의 관계를 나타내는 R3를 정의할 수 있다. 3차원 의료 영상(502)의 좌표, 초음파 영상(504)의 좌표, 및 프로브(310)의 좌표는 서로 다른 좌표계에서 정의될 수 있다.
초음파 영상 장치(300)는 R1, R2, 및 R3 중 2개를 정의하여, 나머지 하나의 함수를 산출할 수 있다.
일 실시예에 따르면, 초음파 영상 장치(300)는 3차원 의료 영상(502)과 초음파 영상(504)의 해부학적 특징 정보에 기초하여 R1 함수를 산출할 수 있다. 예를 들면, 초음파 영상 장치(300)는 2D 초음파 영상과, 2D 초음파 영상에 대응되는 3차원 의료 영상의 슬라이스 또는 단면 영상에서, 서로 대응되는 해부학적 특징점을 검출하여 R1 함수를 산출할 수 있다. 일 실시예에 따르면, 초음파 영상 장치(300)는 2차원 초음파 영상의 인접한 단면의 복수의 프레임을 이용하여 슬랩 이미지를 생성하고, 3차원 의료 영상의 소정의 슬라이스의 영상 데이터와 정렬을 수행할 수 있다. 초음파 영상의 슬랩 이미지는 소정의 스윕 동작을 통해 획득된 초음파 영상의 프레임을 누적하여 생성될 수 있다.
초음파 영상 장치(300)는, 초기 정렬 동작에서 정렬을 위해 요구되는 목표 단면 영상을 디스플레이하고, 사용자는 디스플레이된 목표 단면 영상에 대응하는 초음파 영상을 획득하도록 프로브(310)를 이동하여 초음파 영상을 촬영한다. 따라서 초기 정렬 동작에서는 목표 단면 영상과 초음파 영상에서, 해부학적 특징을 나타내는 바운더리를 검출하고, 바운더리 상에서 특징점을 매칭하여 R1 함수를 산출할 수 있다. 바운더리는 해부학적 구조의 표면(surface)에 대응한다. 바운더리 상에서의 특징점은 해부학적 특징에 의해 정의되거나, 바운더리 상에서 소정 간격으로 정의될 수 있다.
초음파 영상 장치(300)는 추가 정렬 동작에서 동기화 동작에 의해 실시간 초음파 영상에 대응하는 결정된 3차원 의료 영상의 단면과 실시간 초음파 영상을 추가로 정렬한다. 추가 정렬 동작에 의해 R1 함수가 업데이트되고, 이후 동기화 동작에서는 업데이트된 R1 함수를 이용하여 동기화 동작을 수행한다.
초음파 영상 장치(300)는 프로브(310)의 트래킹 정보와 초음파 영상 사이의 관계를 나타내는 R2 함수를 산출할 수 있다. 트래킹 정보는 위치 정보 및 오리엔테이션 정보를 포함하고, R2 함수는 프로브(310)의 위치 정보 및 오리엔테이션 정보와 초음파 영상 볼륨 데이터의 단면 사이의 관계를 나타낼 수 있다. 초음파 영상 장치(300)는 트래킹 정보과 R2 함수를 이용하여, 현재의 프로브(310) 위치 및 오리엔테이션에 대응하는 초음파 영상(504)의 단면을 정의할 수 있다.
초음파 영상 장치(300)는 R1 함수 및 R2 함수를 이용하여 프로브(310)의 트래킹 정보와 3차원 의료 영상(502) 사이의 관계를 나타내는 R3 함수를 산출할 수 있다. R3 함수는 프로브(310)의 위치 및 오리엔테이션에 대응하는 3차원 의료 영상(502)의 단면을 정의할 수 있다. 초음파 영상 장치(300)는 R2 함수와 R1 함수를 합성하여(예를 들면, R2 함수와 R1 함수를 곱함) R3 함수를 산출할 수 있다.
도 6은 일 실시예에 따른 3차원 의료 영상과 초음파 영상의 동기화 동작을 나타낸 도면이다.
일 실시예에 따르면, 초음파 영상 장치(300)는 프로브(310)의 트래킹 정보와 R3 함수에 기초하여, 실시간 초음파 영상(602)과 3차원 의료 영상(502)을 동기화한다. 초음파 영상 장치(300)는 트래킹 정보를 R3 함수에 입력하여 3차원 의료 영상에서 실시간 초음파 영상(602)에 대응하는 제1 단면(604)을 정의하고, 제1 단면(604)에 대응하는 2차원 의료 영상 또는 제1 단면(604)에 대한 정보를 디스플레이한다. 초음파 영상 장치(300)는 프로브(310)의 이동 또는 오리엔테이션 변화에 따라, 동기화 동작을 수행하고 3차원 의료 영상(502)의 제1 단면(604)을 업데이트한다. 초음파 영상 장치(300)는 실시간 초음파 영상(602)에 대응되는 3차원 의료 영상의 제1 단면(604)이 정의되면, 제1 단면(604)에 대응하는 볼륨 데이터로부터 단면 영상인 2차원 의료 영상을 생성할 수 있다.
도 7은 일 실시예에 따른 초음파 영상 장치의 정렬 동작 및 동기화 동작을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 초음파 영상 장치(300)는 초기 정렬 동작을 수행하는 제1 모드(P1) 및 동기화 동작과 추가 정렬 동작을 수행하는 제2 모드(P2)를 포함한다. 제2 모드(P2)에서는 동기화 동작과 추가 정렬 동작이 반복적으로 수행된다. 일 실시예에 따르면, 동기화 동작과 추가 정렬 동작은 순차적으로 수행된다. 다른 실시예에 따르면, 동기화 동작과 추가 정렬 동작은 병렬적으로 수행된다. 일 실시예에 따르면, 추가 정렬 동작의 프레임 레이트는 동기화 동작의 프레임 레이트보다 작거나 같은 수 있다. 예를 들면, 동기화 동작은 실시간 초음파 영상이 입력되는 프레임 레이트와 동일 프레임 레이트로 수행되고, 추가 정렬 동작은 실시간 초음파 영상 중 일부 프레임을 샘플링하여 실시간 초음파 영상의 프레임 레이트보다 낮은 프레임 레이트로 수행될 수 있다.
제1 모드(P1)에서 초음파 영상 장치(300)는 초기 정렬 동작을 위해 필요한 소정 목표 단면에 대한 소정 개수의 초음파 영상을 이용하여 초기 정렬 동작을 수행한다. 소정 목표 단면은 주요 해부학적 단면들을 포함할 수 있고, 예를 들면, 관상면(coronal plane), 시상면(sagittal plane), 횡단면(transverse plane), 전면(anterior), 후면(posterior), 상면(superior) 등의 단면을 포함할 수 있다. 제1 모드(P1)에서 3차원 의료 영상(502)에서 목표 단면(702)에 대한 정보 및 목표 단면 영상(704)이 GUI를 통해 제공될 수 있다. 또한, 제1 모드(P1)에서 실시간 초음파 영상(710)이 제공될 수 있다. 추가적으로 제1 모드(P1)의 GUI에서 정렬 동작에 관련된 가이드 정보, 대상체 정보 등이 제공될 수 있다.
제2 모드(P2)에서 초음파 영상 장치(300)는 실시간 초음파 영상(720) 및 실시간 초음파 영상(720)에 대응하는 3차원 의료 영상(502)의 단면 정보(706) 및 동기화 단면 영상(708)을 GUI를 통해 제공할 수 있다. 3차원 의료 영상(502)의 단면 정보(706) 및 동기화 단면 영상(708)은 동기화 동작을 통해 결정될 수 있다.
도 8은 일 실시예에 따른 초기 정렬 동작, 동기화 동작, 및 추가 정렬 동작을 나타낸 도면이다.
초음파 영상 장치(300)는 초기 정렬 동작(810)을 위해 3차원 의료 영상(802)의 목표 단면(804)에 대응하는 2차원 초음파 영상(832)을 입력 받아 초기 정렬 동작(810)을 수행한다. 초기 정렬 동작(810)이 완료되면, 초음파 영상 장치(300)는 초기 정렬 동작(810)의 결과로 프로브(310)의 트래킹 정보와 3차원 의료 영상(802) 사이의 관계를 나타내는 초기 R3 함수(R3 i)를 산출하고, R3 i 함수 및 트래킹 정보에 기초하여 동기화 동작 및 추가 정렬 동작(820)을 수행한다. 초기 정렬 동작(810)에서는 최소 개수의 초음파 영상을 이용하여 정렬을 수행하기 때문에, 완전하지 않은 초기 정렬이 이루어진다.
이후 초음파 영상 장치(300)는 추가 정렬 동작(820)에서 다양한 오리엔테이션의 초음파 영상(836, 838)을 입력 받아, 완전하지 않은 초기 정렬 결과를 정교화하여 3차원 초음파 볼륨 데이터(802)에 대해 완전한 정렬 결과를 얻을 수 있다. 추가 정렬 동작(820)이 수행됨에 따라 R3 함수(R3 t)가 업데이트되고, 완전한 R3 함수(R3 f)로 수렴한다. 추가 정렬 동작(820)으로 R3 함수(R3 t)가 업데이트 됨에 따라 동기화 동작의 결과로 출력되는 3차원 초음파 영상의 제1 단면(806)도 함께 업데이트될 수 있다.
일 실시예에 따르면, 초음파 영상 장치(300)는 대상체의 퓨전 생체 검사를 수행할 때, 2차원 초음파 영상을 이용하여 3차원 장기 세그멘테이션 없이 3차원 리지드 정렬을 수행할 수 있다. 초음파 영상 장치(300)는 최소 개수의 초음파 영상을 이용하여 완전하지 않은 초기 정렬을 수행하고, 초기 정렬 결과에 따라 바로 동기화 동작을 수행하고, 이후 동기화 동작 과정에서 추가적으로 정렬을 수행하여 정렬의 정확도를 높임에 의해, 2차원 초음파 영상을 이용하여 빠른 동기화 동작을 제공할 수 있는 효과가 있다.
도 9는 일 실시예에 따른 추가 정렬 동작을 나타낸 도면이다.
일 실시예에 따르면, 추가 정렬 동작의 주기(T2)는 동기화 동작의 주기(T1)보다 길 수 있다. 동기화 동작(934)은 실시간 초음파 영상(921, 922, 923, 924, 925, 926, 927)이 입력될 때마다, 해당 시점의 트래킹 정보에 기초하여 수행될 수 있다. 추가 정렬 동작(930)은 실시간 초음파 영상 중 일부 영상(921, 924, 927)을 샘플링하여 수행될 수 있다. 추가 정렬 동작(930)이 수행되면, R3 함수가 업데이트됨에 따라, 업데이트된 R3 함수에 기초하여 실시간 초음파 영상과 3차원 의료 영상의 정렬이 업데이트되고(932), 업데이트된 R3 함수에 기초하여 이후의 동기화 동작(934)이 수행된다. 본 개시의 실시예들에 따르면, 동기화 동작(934) 중에 정렬 업데이트(932)에 따라 3차원 의료 영상의 단면 영상이 업데이트되는 모습이 관찰될 수 있다.
도 10은 일 실시예에 따른 프로세서(320)의 구조를 나타낸 블록도이다.
일 실시예에 따르면, 프로세서(320)는 정렬부(1010) 및 동기화부(1020)를 포함한다. 정렬부(1010) 및 동기화부(1020)는 컴퓨터 프로그램 코드에 의해 수행되는 소프트웨어 블록 또는 하드웨어 블록에 대응될 수 있다. 프로세서(320)는 정렬부(1010) 및 동기화부(1020) 이외에도 초음파 영상 장치(100)의 동작을 위한 다양한 소프트웨어 블록 또는 하드웨어 블록을 포함할 수 있다.
정렬부(1010)는 다양한 정렬 알고리즘을 이용하여 3차원 의료 영상 및 초음파 영상을 정렬하는 동작을 수행한다. 정렬부(1010)는 본 개시의 실시예들에 따라 초기 정렬 동작 및 추가 정렬 동작을 수행할 수 있다. 정렬부(1010)는 저장부(340)에 저장된 3차원 의료 영상과, 프로브(310)에서 획득된 에코 신호로부터 생성된 실시간 초음파 영상과, 프로브(310)에서 획득된 트래킹 정보를 입력 받고, 정렬 결과 생성된 R3 함수를 동기화부(1020)로 출력한다.
동기화부(1020)는 프로브(310)에서 획득된 트래킹 정보에 기초하여, 3차원 의료 영상과 실시간 초음파 영상의 동기화 동작을 수행한다. 동기화부(1020)는 트래킹 정보에 기초하여 실시간 초음파 영상에 대응되는 3차원 의료 영상의 단면을 정의하고, 해당 단면의 2차원 영상을 출력한다. 또한, 동기화부(1020)는 실시간 초음파 영상에 대응되는 3차원 의료 영상의 단면의 위치를 3차원 공간 상에서 표시하여, 실시간 초음파 영상에 대응하는 3차원 의료 영상의 단면에 대한 정보를 출력할 수 있다. 동기화부(1020)는 저장부(340)에 저장된 3차원 의료 영상과, 프로브(310)에서 획득된 에코 신호로부터 생성된 실시간 초음파 영상과, 프로브(310)에서 획득된 트래킹 정보를 입력 받고, 실시간 초음파 영상에 대응하는 3차원 의료 영상의 단면에 대한 정보 및 단면에 대한 2차원 의료 영상을 출력할 수 있다.
도 11은 본 개시의 일 실시예에 따라 3차원 초음파-의료 영상 정렬 과정을 나타낸 도면이다.
일 실시예에 따르면, 초음파 영상 장치(300)는 3차원 장기 모델(1120)을 이용하여 정렬 동작을 수행할 수 있다.
3차원 장기 모델(1120)은 소정의 장기에 대해 미리 정의된 3차원 모델이다. 3차원 장기 모델(1120)은 초음파 영상의 스캔 동작 전에 전처리에 의해 생성될 수 있다. 3차원 장기 모델(1120)은 관심 장기의 형태를 캡쳐한 영상 데이터에 기초하여 생성될 수 있다. 3차원 장기 모델(1120)은 복수의 3차원 의료 영상 트레이닝 데이터 세트로부터 미리 생성될 수 있다. 3차원 의료 영상 트레이닝 데이터는 MR 영상 또는 CT 영상을 포함할 수 있다. 3차원 장기 모델(1120)은 초음파 영상 장치(300)에 의해 생성되거나, 다른 장치에 의해 생성되고 초음파 영상 장치(300)로 입력될 수 있다.
또한, 3차원 의료 영상 데이터에서 관심 장기의 3차원 세그멘테이션이 다양한 자동적인 방법 또는 준-자동적인 방법(딥러닝, 형태학적 형태 모델 등)을 이용하여 산출될 수 있다. 3차원 의료 영상(1130)의 장기 세그멘테이션이 3차원 장기 모델(1120)에 기초하여 수행될 수 있다. 이를 위해 3차원 의료 영상(1130)이 3차원 장기 모델(1120)에 정합되고, 정합 결과에 기초하여 3차원 의료 영상(1130)에 대한 장기 세그멘테이션이 수행될 수 있다. 3차원 장기 모델(1120)은 의료 영상 리지드 변환으로 장기 모델을 추정하기 위해 적절한 방법들(예를 들면, ICT(iterative closest point) 알고리즘 등)을 이용하여 장기 세그멘테이션으로 3차원 의료 영상(1130)에 리지드하게 정렬될 수 있다. 3차원 의료 영상(1130)의 세그멘테이션 정보는 초음파 영상 장치(300)에 의해 생성되거나, 다른 장치에 의해 생성되어 초음파 영상 장치(300)로 입력될 수 있다.
또한, 초음파 영상(1110)이 3차원 장기 모델(1120)에 맵핑되고, 초음파 영상(1110)의 3차원 장기 모델(1120) 맵핑 결과에 기초하여, 초음파 영상(1110)과 3차원 의료 영상(1130)의 정렬 동작(1140)이 수행될 수 있다. 일 실시예에 따르면, 초음파 영상(1110)이 3차원 장기 모델(1120)로 맵핑되고, 3차원 의료 영상(1130)이 3차원 장기 모델(1120)로 맵핑되어, 초음파 영상(1110)과 3차원 의료 영상(1130) 간의 정렬이 수행될 수 있다.
도 12는 본 개시의 일 실시예에 따라 3차원 리지드 정렬을 수행하는 과정을 나타낸 도면이다.
도 12를 참조하면, 생체 검사 동안, 사용자는 알려진 해부학적 오리엔테이션 또는 평면(mid-axial, mid-sagittal 등)으로부터 2차원 초음파 영상(1220)을 획득할 수 있다. 다음으로 초음파 영상(1220)으로부터 장기 모델 변환의 회전 성분이 다양한 방법(예를 들면 평면 잠금(plane lock))을 이용하여 3차원 장기 모델(1240)에서 사전에 마킹된 해부학적 평면들 중 하나를 이용하여 획득된 2차원 초음파 영상(1220)의 주어진 해부학적 평면을 매핑함에 의해 추정된다. 초음파 영상(1220)으로부터 3차원 장기 모델(1240)로의 회전 성분 또는 오프셋 성분이 획득된 2차원 초음파 영상(1220) 상에서 FOV(field of view)의 중심과 해부학적 평면 상에 3차원 장기 모델의 윤곽(contour)의 중심(centroid)을 정렬함에 의해 추정될 수 있다. 일 실시예에 따르면, 초기 정렬 동작의 전처리 단계로서, 초음파 영상 장치(300)는 초음파 영상(1220)을 3차원 영상 변환하고, 변환된 초음파 영상에 3차원 장기 모델을 이용한 장기 모델 변환을 수행하여 초음파 영상을 컴포징(composing)함에 의해, 거친(coarse) 3차원 초음파-의료 영상 리지드 정렬을 수행할 수 있다.
본 개시의 실시예들에 따르면, 다양한 표준 세그멘테이션 접근(예를 들면, 딥러닝 등)을 이용하여 2차원 초음파 영상(1220) 상에서 관심 장기의 2차원 세그멘테이션을 수행하고, 리지드 정렬을 위한 변환 또는 오프셋을 추정하기 위해 2차원 초음파 영상(1220)과 2차원 의료 영상 사이의 장기 세그멘테이션의 중심을 매칭할 수 있다.
프로세서(320)는 3차원 의료 영상(1210)의 해부학적 평면 정보(1216) 및 초음파 영상(1220)의 해부학적 평면 정보(1226)를 이용하여 해부학적 평면 매칭(1230) 동작을 수행할 수 있다. 해부학적 평면 정보(1216, 1226)는 초기 정렬 동작의 경우 3차원 의료 영상(1210)의 목표 단면 영상에 대응하는 해부학적 평면 정보에 대응할 수 있다. 추가 정렬 동작의 경우, 초기 정렬 동작 결과에 기초하여 해부학적 평면 정보(1216, 1226)가 정의될 수 있다. 해부학적 평면이 매칭되면, 프로세서(320)는 3차원 장기 모델(1240) 및 3차원 의료 영상의 세그멘테이션 정보에 기초하여, 해부학적 평면 보정(1250)을 수행할 수 있다. 해부학적 평면 보정(1250)은 3차원 장기 모델(1240)과의 매핑 결과에 기초하여, 3차원 의료 영상(1210)에서 초음파 영상에 대응하는 제1 단면의 위치를 보정하는 처리를 포함할 수 있다. 다음으로 프로세서(320)는 초음파 영상(1220)과 3차원 의료 영상(1210)의 제1 단면 영상(1212) 사이의 3차원 리지드 정렬 동작(1260)을 수행한다.
일 실시예에 따르면, 프로세서(320)는 대응 단면 영상(1212)에서 세그멘테이션 정보에 기초하여 해부학적 구조의 제1 바운더리(1214)를 정의하고, 초음파 영상(1220)에서 해부학적 구조의 제2 바운더리(1224)를 정의한 후, 두 바운더리(1214, 1224) 사이의 정렬을 통해 3차원 리지드 정렬 동작을 수행한다. 프로세서(320)는 처리 대상 단면 영상(1212)이 변경되는 경우, 또는 실시간 초음파 영상이 변경되는 경우에 바운더리(1214, 1224)를 다시 정의할 수 있다. 또한, 일 실시예에 따르면, 프로세서(320)는 제1 바운더리(1214)에서 적어도 하나의 특징점(1218a, 1218b, 1218c)을 정의하고, 제2 바운더리(1224)에서 적어도 하나의 특징점(1228a, 1228b, 1228c)를 정의한 후, 특징점들(1218a, 1218b, 1218c, 1228a, 1228b, 1228c)들 간의 정렬을 함에 의해, 3차원 리지드 정렬 동작을 수행한다. 일 실시예에 따르면, 특징점들(1218a, 1218b, 1218c, 1228a, 1228b, 1228c)은 해부학적 특징에 기초하여 정의될 수 있다. 예를 들면, 해부학적으로 관찰되는 형태적 특징에 기초하여 특징점들(1218a, 1218b, 1218c, 1228a, 1228b, 1228c)이 정의될 수 있다. 다른 실시예에 따르면, 특징점들(1218a, 1218b, 1218c, 1228a, 1228b, 1228c)은 제1 바운더리(1214) 및 제2 바운더리(1224) 상에서, 소정의 기준점으로부터 일정 간격으로 정의될 수 있다.
도 12를 참조하면, 해부학에 기초한 거친 3차원 초음파-의료 영상 리지드 정렬은 얕은 검색 공간의 파라미터들에서 적절한 비용 메트릭(cost metric)(예를 들면 상호 상관(cross correlation) 정규화 등)을 최소화화는 다양한 표준 2차원-3차원 정합 방법(예를 들면, 기울기 하강(gradient descent) 알고리즘 등)을 이용하여 3차원 의료 영상 상에 2차원 초음파 영상을 선택적으로 매칭함에 의해 추가로 정교화될 수 있다. 여기서 파라미터들은 이전 정보로부터 정의되고 해부학적 변화에 의존할 수 있다.
도 13은 일 실시예에 따른 영상 정렬 과정을 나타낸 도면이다.
일 실시예에 따르면, 머신 러닝 모델을 이용하여 3차원 의료 영상으로부터 재구성된 슈도(pseudo) 3차원 초음파 영상과 2차원 초음파 영상을 이용하여, 멀티-모달리티 2차원-3차원 정합을 수행할 수 있다. 일 실시예에 따르면, 머신 러닝 이미지 변환 모델(1320)을 이용하여, 3차원 의료 영상(1310)을 슈도 3차원 초음파 영상(1330)으로 변환할 수 있다. 머신 러닝 이미지 변환 모델(1320)은 복수의 레이어를 포함하고, 다수의 3차원 의료 영상 및 3차원 초음파 영상을 이용하여 트레이닝 된 모델이다. 머신 러닝 이미지 변환 모델(1320)은 컨벌루션 레이어, 액티베이션 레이어, 풀링 레이어 등의 다양한 레이어의 조합을 포함할 수 있다. 머신 러닝 이미지 변환 모델(1320)은 예를 들면, DNN(Deep Neural Networ)의 구조를 가질 수 있고, 예를 들면, CNN(Convolution Neural Network), RNN(Recurrent Neural Network) 등의 알고리즘을 이용할 수 있다. 머신 러닝 이미지 변환 모델(1320)은 다양한 종류의 학습 알고리즘을 이용하여 학습될 수 있고, 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(Reinforcement learning) 등 다양한 방식을 이용하여 학습될 수 있다. 머신 러닝 이미지 변환 모델(1320)은 예를 들면, 3차원 의료 영상 및 각 3차원 의료 영상에 대응하는 실제 3차원 초음파 이미지를 트레이닝 데이터로 이용하여, GAN(Generative Adversarial Networks) 알고리즘을 이용하여 학습될 수 있다.
머신 러닝 이미지 변환 모델(1320)은 3차원 의료 영상(1310)을 입력 받아, 슈도 3차원 초음파 영상(1330)을 생성한다. 슈도 3차원 초음파 영상(1330)은 3차원 의료 영상에 대응되는 대상체를 나타내면서 초음파 영상의 특성을 갖도록 생성된 영상이다. 일 실시예에 따르면, 3차원 의료 영상(1310)의 세그멘테이션 정보 또는 바운더리 정보(1312)가 머신 러닝 이미지 변환 모델(1320)로 입력되고, 세그멘테이션 정보 또는 바운더리 정보(1312)가 함께 변환될 수 있다. 예를 들면 슈도 3차원 초음파 영상(1330)은 3차원 의료 영상(1310)의 바운더리 정보(1312)로부터 생성된 바운더리 정보(1332)를 포함할 수 있다.
프로세서(320)는 초음파 영상(1340)과 슈도 3차원 초음파 영상(1330)의 정합 동작(1350)을 수행하여 3차원 의료 영상(1310)과 트래킹 정보 사이의 관계를 나타내는 R3 함수를 산출한다. 정합 프레임워크(1350)는 소정의 정렬 및 정합 동작을 수행한다.
도 14은 본 개시의 일 실시예에 따른 정렬 동작을 나타낸 블록도이다.
본 개시의 일 실시예에 따르면, 복수의 오리엔테이션으로부터 획득된 2차원 초음파 영상들의 세트(1460)에 대한 평면 내 보정들의 세트로부터 3차원 보정을 수행하여 3차원 초음파-의료 영상 리지드 정렬에서 잔차 오류를 보정할 수 있다. 도 14을 참조하면, 사용자는 관심 장기의 2차원 초음파 이미지들의 세트(1460)를 획득한다. 2차원 초음파 이미지들(1460)은 회전 및/또는 병진(translational) 방식으로 장기의 부분적 또는 전체적 스윕(sweep)에 의해 획득될 수 있다. 관심 장기의 2차원 초음파 이미지들의 세트(1460)는 병렬적으로 획득될 수 있다. 모든 2차원 초음파 이미지(1450)에 대해, 대응하는 2차원 의료 영상이 현재의 3차원 초음파-의료 영상 리지드 정렬 및 트랙킹 변환을 이용하여 3차원 의료 영상(1410)을 재-단면화(re-slicing)함에 의해 얻어질 수 있다. 다음으로 리지드 평면 내 보정(1420)이 예를 들면 기울기 하강(gradient descent)과 같은 다양한 정합 방법을 이용하여 2차원 의료 영상과 2차원 초음파 영상(1450)을 정합함에 의해 산출될 수 있다. 평면 내 리지드 보정(1420)은 기본 변환의 적절한 변환을 이용하여 3차원 공간 내에서 동종(homologous) 3차원 보정으로 매핑될 수 있다.
프로세서(320)는 3차원 의료 영상(1410) 및 2차원 초음파 영상(1450)에 대해 평면 내 보정을 수행한다. 평면 내 보정 추정 처리(1420)는 평면 내 보정의 추정 값(A 3D t)을 산출하고, 현재의 R3 t 함수와 평면 내 보정의 추정 값(A 3D t)을 합성하여 R3 t 함수의 업데이트 값인 R3 t+1을 산출한다. 프로세서(320)는 업데이트된 R3 함수(R3 t+1)를 현재의 R3 함수로 업데이트한다.
일 실시예에 따르면, 프로세서(320)는 트래킹 장치(312)로부터 트래킹 정보(T 3D t)를 수신하여 이전 프로브 모션(M 3D t-1) 및 현재 프로브 모션(M 3D t)을 추정하고, 추정된 프로브 모션(M 3D t)을 이용하여 평면 내 보정 추정 처리(1420)를 수행한다. 프로브 모션 추정 처리(1440), 평면 내 보정 추정 처리(1420), 및 R3 함수 업데이트 처리는 반복적으로 수행될 수 있다.
도 15는 본 개시의 일 실시예에 따라 3차원 초음파-의료 영상 리지드 정렬 처리를 하는 과정을 나타낸 도면이다.
일 실시예에 따르면, 프로세서(320)는 복수의 2차원 초음파 영상들(1520)에 대해 산출된, 3차원 공간에서의 평면 내 보정들의 세트(A 3D t, A 3D t-1, …, A 3D 0)를 컴포징(composing, 1530)함에 의해 3차원 보정(A 3D)을 처음으로 수립하고, 현재의 3차원 초음파-의료 영상 리지드 정렬을 업데이트(R3 t+1 = A 3D t * R3 t)한다.
도 16은 일 실시예에 따라 3차원 초음파-의료 영상 리지드 정렬 처리를 하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 현재의 3차원 초음파-의료 영상 리지드 정렬(R3 t)을 업데이트함 없이 모션으로 인한 다이나믹 에러를 보정하기 위해 3차원 공간에서 마지막 수개의 평면 내 보정의 가중 평균을 적용하는 모션 추정 처리(1610)에 의해 현재의 3차원 초음파-의료 영상 리지드 정렬에 대한 순간 평면 내 리지드 보정을 수행할 수 있다. 프로세서(320)는 평면 내 보정 추정(1420)의 결과 영상(A 3D t)에 대해 모션 추정 처리(1610) 처리를 수행하여, 모션 추정된 초음파 영상을 획득할 수 있다. 모션 추정 처리(1610)는 서로 다른 시점의 평면 내 보정 영상들(A 3D t, A 3D t-1)에 대해 소정의 가중치를 적용한 가중 평균 값을 이용하여 모션 추정된 초음파 영상(C 3D t)을 획득한다. 가중치(B)는 실시예에 따라 다양하게 적용될 수 있다.
본 개시의 실시예들은, 평면 내 보정 추정 여부와 무관하게, 모션 추정 처리(1610)를 통해 다이나믹 영상으로부터 모션 추정 영상을 산출하고, 모션 추정 영상을 이용하여 리지드 정렬 처리를 수행할 수 있다. 예를 들면, 심장 초음파 영상의 경우, 프로세서(320)는 ECG 신호에 기초하여 각 시점의 초음파 영상들에 대해 모션 추정을 위한 가중치를 산출하고, 각 시점의 초음파 영상들에 가중치를 적용하여 모션 추정 영상을 산출하고, 모션 추정 영상과 3차원 의료 영상에 대해 리지드 정렬 처리를 수행할 수 있다. 모션 추정을 위한 가중치는, 3차원 의료 영상의 위상 정보에 기초하여 결정될 수 있다. 프로세서(320)는 3차원 의료 영상의 위상에 대응되도록 모션 추정의 가중치를 결정하여 모션 추정된 초음파 영상을 생성할 수 있다.
도 17은 일 실시예에 따라 초음파 영상 장치에서 정렬 지표를 제공하는 구성을 나타낸 도면이다.
일 실시예에 따르면, 초음파 영상 장치(300)는 초기 정렬 동작, 및 추가 정렬 동작을 수행하면서, 정렬의 정도를 나타내는 정렬 지표에 대한 정보(1730)를 제공할 수 있다. 프로세서(320)는 초기 정렬 동작 및 추가 정렬 동작을 수행하면서, 정렬 지표를 산출하고, GUI 뷰를 통해 정렬 지표에 대한 정보(1730)를 제공할 수 있다.
일 실시예에 따르면 프로세서(320)는 3차원 의료 영상(1710)의 전체 볼륨 데이터 중 정렬이 수행된 볼륨 데이터의 비율에 기초하여 정렬 지표를 산출할 수 있다. 예를 들면, 프로세서(320)는 3차원 의료 영상(1710)에서 정렬이 수행된 단면(1712) 및 정렬이 수행된 단면(1712)에 의해 정렬이 수행된 것으로 간주할 수 있는 소정 범위의 볼륨을 결정하고, 전체 볼륨 중 정렬이 수행된 볼륨의 비율을 산출하여 정렬 지표를 산출할 수 있다.
다른 실시예에 따르면, 프로세서(320)는 추가 정렬 동작을 수행하면서, 추가 정렬 동작에 의해 R3 함수가 변화되는 정도에 기초하여 정렬 지표를 산출할 수 있다. 예를 들면, 프로세서(320)는 추가 정렬 동작에 의해 R3 함수를 업데이트하면서, R3 함수의 파라미터들의 변화 양을 지표화하여 정렬 지표를 산출할 수 있다. 정렬 지표는 R3 함수의 변화 양이 작을수록 정렬의 완성도가 높은 것으로 정의되도록 결정될 수 있다.
다른 실시예에 따르면, 프로세서(320)는 추가 정렬 동작을 수행하면서, 추가 정렬 동작에 의해 R3 함수가 업데이트된 후 3차원 의료 영상에서 업데이트된 R3 함수에 의한 동기화 단면의 위치의 변화량에 기초하여 정렬 지표를 산출할 수 있다. 예를 들면, R3 함수가 업데이트됨에 따라 초음파 영상(1720)에 대응하는 3차원 의료 영상(1710)의 단면(1712)이 X축 방향, Y축 방향, 및 Z축 방향으로 각각 (x1, y1, z1)만큼 이동하였다면, 프로세서(320)는 (x1, y1, z1)의 제곱 합 값(x1 2 + y1 2 + z1 2)에 기초하여 정렬 지표를 산출할 수 있다.
다른 실시예에 따르면, 정렬 지표는 3차원 의료 영상(1710)의 전체 볼륨 데이터 중 정렬이 수행된 볼륨 데이터의 비율, 추가 정렬 동작에 의해 R3 함수가 변화되는 정도, 추가 정렬 동작에 의해 R3 함수가 업데이트된 후 3차원 의료 영상에서 업데이트된 R3 함수에 의한 동기화 단면의 위치의 변화량 등 복수의 지표들의 합성 값에 기초하여 결정될 수 있다. 예를 들면 프로세서(320)는 복수의 지표들의 가중 평균 값에 기초하여 정렬 지표를 결정할 수 있다.
도 18은 일 실시예에 따라 정렬 동작을 위해 추가 촬영이 필요한 위치를 가이드하는 정보를 제공하는 과정을 나타낸 도면이다.
일 실시예에 따르면, 초음파 영상 장치(300)는 동기화 동작과 추가 정렬 동작을 수행하는 제2 모드(P2)에서 추가적으로 초음파 영상의 촬영이 필요한 오리엔테이션을 나타내는 추가 스캔 정보(1810a, 1810b, 1810c)를 제공할 수 있다. 초음파 영상 장치(300)는 초기 정렬 동작에서 최소한의 오리엔테이션에 대해서만 정렬 동작을 수행하고 빠른 동기화를 수행하기 때문에, 일부 볼륨 데이터에 대해서는 정렬이 완전하지 않을 수 있다. 이를 위해, 초음파 영상 장치(300)는 추가적인 정렬이 위해 우선적으로 촬영되어야 할 초음파 영상에 대한 정보를 가이드하여, 빠르게 정렬의 정확도를 향상시키도록 사용자를 유도할 수 있다. 일 실시예에 따르면, 도 18에 도시된 바와 같이 추가 정렬을 위해 필요한 초음파 영상을 획득하기 위한 프로브(310)의 촬영 위치 및 오리엔테이션에 대한 정보를 나타내는 화살표 형식으로 추가 스캔 정보(1810a, 1810b, 1810c)를 제공하여, 사용자에게 직관적으로 추가 스캔을 위한 가이드를 제공할 수 있다.
일 실시예에 따르면, 프로세서(320)는 3차원 의료 영상(1710)에 대해 저장된 추가 정보에 기초하여 목표 단면 영상 또는 추가 스캔을 위한 가이드를 결정할 수 있다. 추가 정보는 3차원 의료 영상(1710)에서의 의심 영역 또는 관심 영역에 대한 정보를 포함할 수 있다. 프로세서(320)는 의심 영역 또는 관심 영역에 대응되는 단면에서 초음파 영상(1720)을 획득하기 위해 요구되는 초음파 스캔 위치를 추가 스캔 정보(1810a, 1810b, 1810c)로 나타내거나, 의심 영역 또는 관심 영역에 대응되는 단면을 목표 단면으로 결정할 수 있다.
또한, 초음파 영상 장치(300)는 추가 스캔 정보(1810a, 1810b, 1810c)에 대한 레이블 정보(1820)을 함께 제공할 수 있다.
본 개시의 실시예들에 의하면, 3차원 의료 영상에 대해 피처(feature) 기반 평면 내 정합의 주어진 장기 세그멘테이션을 수행하기 위해 2차원 초음파에 대해 관심 장기의 세그멘테이션을 수행할 수 있다.
본 개시의 실시예들에 의하면, 도 13에 도시된 바와 같이 2차원 초음파 및 슈도 3차원 초음파 사이의 멀티-모달리티 2차원-3차원 정합을 수행할 수 있다.
본 개시의 실시예들에 의하면, 어떠한 표준 방법(예를 들면, 칼만 필터(Kalman filter) 등)을 이용하여 프로브 모션으로 인한 추정도니 평면 내 보정에서의 에러를 최소화하기 위해 현재 또는 과거의 트래킹 변환들이 이용된다.
본 개시의 실시예들에 의하면, 잔차 에러에 대해 점진적으로 보정하기 위해 3차원 공간에서 추정된 평면 내 보정들을 컴포징함에 의해 기존 3차원 초음파-의료 영상 리지드 정렬을 계속적으로 업데이트할 수 있다.
본 개시의 실시예들에 의하면, 3차원 초음파-의료 영상 리지드 정렬에서 에러 보정에 대한 인지 피드백에 대해 실시간으로 초음파 데이터 및 의료 영상 데이터의 시각화를 업데이트할 수 있다.
본 개시의 실시예들에 의하면, 3차원 초음파 볼륨 데이터를 요구함 없이 3차원 초음파 영상과 3차원 의료 영상을 리지드 정렬하는 방법 및 시스템을 제공함에 의해, 퓨전 처리를 위해 요구되는 비용, 처리 시간 및 전문 지식을 감소시키고 적정성을 증가시키는 효과가 있다.
본 개시의 실시예들은 적어도 하나의 하드웨어 장치에서 실행되고 엘리먼트들을 제어하기 위한 네트워크 관리 기능들을 수행하는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다. 엘리먼트들은 하드웨어 장치, 또는 하드웨어 장치와 소프트웨어 모듈의 조합 중 적어도 하나일 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 초음파 신호를 송신하고, 상기 초음파 신호에 대한 에코 신호를 검출하는 프로브;
    3차원 의료 영상을 저장하는 저장부;
    상기 프로브의 트래킹 정보를 획득하고, 상기 에코 신호로부터 초음파 영상을 생성하고, 제1 대상체에 대응하는 상기 3차원 의료 영상과 상기 제1 대상체에 대응하는 상기 초음파 영상에 기초하여 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 초기 정렬 동작을 수행하고, 상기 초기 정렬 동작의 결과 및 상기 프로브의 트래킹 정보에 기초하여 상기 초음파 영상에 대응하는 상기 3차원 의료 영상의 제1 단면을 정의하는 동기화 동작을 수행하고, 상기 초기 정렬 동작 이후에 생성된 적어도 하나의 초음파 영상에 기초하여, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브의 트래킹 간의 추가 정렬 동작을 수행하고, 상기 추가 정렬 동작 및 상기 동기화 동작을 반복적으로 수행하는 하나 이상의 프로세서; 및
    상기 3차원 의료 영상 및 상기 초음파 영상을 디스플레이하는 디스플레이를 포함하는, 초음파 영상 장치.
  2. 제1항에 있어서,
    상기 3차원 의료 영상은 MRI 영상, CT 영상, 또는 엑스레이 영상 중 적어도 하나 또는 이들의 조합을 포함하는, 초음파 영상 장치.
  3. 제1항에 있어서,
    상기 초기 정렬 동작 및 상기 추가 정렬 동작은 상기 3차원 의료 영상 및 상기 초음파 영상 상의 특징점에 기초하여 수행되는, 초음파 영상 장치.
  4. 제1항에 있어서,
    상기 초기 정렬 동작 및 상기 추가 정렬 동작은, 상기 3차원 의료 영상의 제1 단면에서 해부학적 구조의 바운더리를 결정하고, 상기 초음파 영상에서 상기 해부학적 구조의 바운더리를 결정하고, 상기 제1 단면에서 결정된 바운더리와 상기 초음파 영상에서 결정된 바운더리를 정렬하고, 상기 3차원 의료 영상과 상기 프로브의 트래킹 정보 간의 관계를 결정하는 동작을 포함하는, 초음파 영상 장치.
  5. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 초기 정렬 동작에서, 상기 디스플레이를 통해 상기 3차원 의료 영상의 목표 단면 영상을 디스플레이하고, 상기 목표 단면 영상에 대응하는 상기 초음파 영상을 입력받아, 상기 목표 단면 영상과 상기 초음파 영상 사이에 정렬을 수행하고,
    상기 추가 정렬 동작에서, 상기 디스플레이를 통해 상기 동기화 동작에 의해 이동하는 상기 3차원 의료 영상의 제1 단면의 영상 및 상기 초음파 영상을 디스플레이하고, 상기 프로브의 에코 신호로부터 생성된 실시간 초음파 영상을 입력받아 상기 3차원 의료 영상, 상기 실시간 초음파 영상, 및 상기 프로브 사이에 추가 정렬을 수행하는, 초음파 영상 장치.
  6. 제1항에 있어서,
    상기 동기화 동작을 수행하는 초음파 영상의 프레임 레이트는 상기 추가 정렬 동작을 수행하는 초음파 영상의 프레임 레이트보다 크거나 같은, 초음파 영상 장치.
  7. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 정렬의 정도를 나타내는 정렬 지표를 결정하여(identifying) 상기 디스플레이를 통해 디스플레이하는, 초음파 영상 장치.
  8. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 초기 정렬 동작에서, 상기 디스플레이를 통해 상기 3차원 의료 영상의 목표 단면 영상을 디스플레이하고, 상기 목표 단면 영상에 대응하는 상기 초음파 영상을 촬영하기 위한 가이드 정보를 상기 디스플레이를 통해 표시하는, 초음파 영상 장치.
  9. 제8항에 있어서,
    상기 가이드 정보는 상기 목표 단면 영상에 대응하는 상기 초음파 영상을 촬영하기 위한 프로브의 촬영 위치 또는 프로브의 오리엔테이션에 대한 정보를 포함하는, 초음파 영상 장치.
  10. 제1항에 있어서,
    상기 3차원 의료 영상은 3차원 장기 세그멘테이션 정보를 포함하고, 상기 3차원 장기 세그멘테이션 정보에 기초하여 상기 초기 정렬 동작을 위한 상기 3차원 의료 영상의 목표 단면을 결정하는, 초음파 영상 장치.
  11. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 3차원 의료 영상에 포함된 3차원 장기 세그멘테이션 정보에 기초하여 상기 추가 정렬 동작을 수행하는, 초음파 영상 장치.
  12. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 복수의 정렬 결과에 움직임 가중치를 적용한 가중 평균 값을 이용하여 상기 초음파 영상에서 해부학적 구조의 바운더리를 산출하고, 상기 초음파 영상에서의 바운더리와 상기 3차원 의료 영상의 제1 단면에서의 바운더리 사이의 정렬을 수행하는, 초음파 영상 장치.
  13. 제1항에 있어서,
    상기 프로브는 트래킹 장치를 포함하고,
    상기 하나 이상의 프로세서는 상기 트래킹 장치의 검출 신호로부터 상기 프로브의 트래킹 정보를 획득하는, 초음파 영상 장치.
  14. 제1 대상체에 대응하는 3차원 의료 영상을 저장하는 단계;
    프로브를 이용하여, 초음파 신호를 송신하고, 상기 초음파 신호에 대한 에코 신호를 검출하는 단계;
    상기 프로브의 트래킹 정보를 획득하는 단계;
    상기 에코 신호로부터 초음파 영상을 생성하는 단계;
    상기 3차원 의료 영상과 상기 제1 대상체에 대응하는 상기 제1 초음파 영상에 기초하여 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 초기 정렬 동작을 수행하는 단계;
    상기 초기 정렬 동작의 결과 및 상기 프로브의 트래킹 정보에 기초하여 상기 초음파 영상에 대응하는 상기 3차원 의료 영상의 제1 단면을 정의하는 동기화 동작을 수행하는 단계; 및
    상기 초기 정렬 동작 이후에 생성된 적어도 하나의 초음파 영상에 기초하여, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브의 트래킹 간의 추가 정렬 동작을 수행하고, 상기 추가 정렬 동작 및 상기 동기화 동작을 반복적으로 수행하는 단계를 포함하는 초음파 영상 장치 제어 방법.
  15. 프로세서에 의해 수행되었을 때 초음파 영상 장치 제어 방법을 수행하는 적어도 하나의 인스트럭션을 포함하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 초음파 영상 장치 제어 방법은,
    제1 대상체에 대응하는 3차원 의료 영상을 저장하는 단계;
    프로브를 이용하여, 초음파 신호를 송신하고, 상기 초음파 신호에 대한 에코 신호를 검출하는 단계;
    상기 프로브의 트래킹 정보를 획득하는 단계;
    상기 에코 신호로부터 초음파 영상을 생성하는 단계;
    상기 3차원 의료 영상과 상기 제1 대상체에 대응하는 상기 제1 초음파 영상에 기초하여 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브 간의 초기 정렬 동작을 수행하는 단계;
    상기 초기 정렬 동작의 결과 및 상기 프로브의 트래킹 정보에 기초하여 상기 초음파 영상에 대응하여 상기 3차원 의료 영상의 제1 단면을 정의하는 동기화 동작을 수행하는 단계; 및
    상기 초기 정렬 동작 이후에 생성된 적어도 하나의 초음파 영상에 기초하여, 상기 3차원 의료 영상, 상기 초음파 영상, 및 상기 프로브의 트래킹 간의 추가 정렬 동작을 수행하고, 상기 추가 정렬 동작 및 상기 동기화 동작을 반복적으로 수행하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2020/007147 2019-06-06 2020-06-02 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법 WO2020246773A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN201941022449 2019-06-06
KR10-2019-0167137 2019-12-13
KR1020190167137A KR20200140683A (ko) 2019-06-06 2019-12-13 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법
IN201941022449 2020-01-20

Publications (1)

Publication Number Publication Date
WO2020246773A1 true WO2020246773A1 (ko) 2020-12-10

Family

ID=73652633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007147 WO2020246773A1 (ko) 2019-06-06 2020-06-02 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2020246773A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768546A (zh) * 2021-09-14 2021-12-10 上海市第六人民医院 超声弹性图像生成与处理系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070046000A (ko) * 2005-10-28 2007-05-02 바이오센스 웹스터 인코포레이티드 전기적 맵핑과 초음파 영상 데이터의 동기화
US20080095421A1 (en) * 2006-10-20 2008-04-24 Siemens Corporation Research, Inc. Registering 2d and 3d data using 3d ultrasound data
KR20090127091A (ko) * 2008-06-04 2009-12-09 주식회사 메디슨 초음파 영상과 ｃｔ 영상의 정합 시스템 및 방법
KR20160138502A (ko) * 2014-03-28 2016-12-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적인 3차원 모델의 3차원 영상과의 정렬
KR20170084945A (ko) * 2016-01-13 2017-07-21 삼성메디슨 주식회사 영상 정합 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070046000A (ko) * 2005-10-28 2007-05-02 바이오센스 웹스터 인코포레이티드 전기적 맵핑과 초음파 영상 데이터의 동기화
US20080095421A1 (en) * 2006-10-20 2008-04-24 Siemens Corporation Research, Inc. Registering 2d and 3d data using 3d ultrasound data
KR20090127091A (ko) * 2008-06-04 2009-12-09 주식회사 메디슨 초음파 영상과 ｃｔ 영상의 정합 시스템 및 방법
KR20160138502A (ko) * 2014-03-28 2016-12-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적인 3차원 모델의 3차원 영상과의 정렬
KR20170084945A (ko) * 2016-01-13 2017-07-21 삼성메디슨 주식회사 영상 정합 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768546A (zh) * 2021-09-14 2021-12-10 上海市第六人民医院 超声弹性图像生成与处理系统和方法
CN113768546B (zh) * 2021-09-14 2024-02-20 上海市第六人民医院 超声弹性图像生成与处理系统和方法

Similar Documents

Publication Publication Date Title
CN112288742B (zh) 用于超声探头的导航方法、装置、存储介质以及电子设备
US8756033B2 (en) Ultrasonic diagnostic imaging system and control method thereof
CN109567865B (zh) 一种面向非医护人员的智能超声诊断设备
WO2018155894A1 (ko) 영상 정합 장치 및 영상 정합 방법
CN109009211B (zh) 智能设备、基于超声波检测的方法及装置
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
WO2014200230A1 (en) Method and apparatus for image registration
US20150005622A1 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
WO2019132614A1 (ko) 수술영상 분할방법 및 장치
WO2020027377A1 (ko) 3d 영상 정합 제공 장치 및 그 방법
WO2015076508A1 (en) Method and apparatus for displaying ultrasound image
CN111657981A (zh) 产生虚拟患者模型的方法、患者模型产生装置和检查系统
EP3701874A1 (en) Ultrasound imaging apparatus for registering ultrasound image with image from another modality and method of operating ultrasound imaging apparatus
EP3071113A1 (en) Method and apparatus for displaying ultrasound image
WO2020246773A1 (ko) 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법
JP2018121841A (ja) 超音波診断装置および超音波診断支援プログラム
WO2016076522A1 (en) Magnetic resonance imaging apparatus and magnetic resonance image processing method
WO2018139707A1 (ko) 대상체에 관한 횡파 탄성 데이터를 표시하는 초음파 진단 장치 그 동작 방법
WO2013168930A1 (en) Ultrasonic diagnostic apparatus and control method thereof
WO2022092627A1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
JP5485853B2 (ja) 医用画像表示装置及び医用画像誘導方法
WO2017135698A1 (ko) 초음파 진단장치 및 그 제어방법
WO2020159008A1 (ko) 초음파 영상 장치 및 초음파 영상 생성 방법
WO2021242053A1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2021182726A1 (ko) 초음파 진단 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20819574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20819574

Country of ref document: EP

Kind code of ref document: A1