WO2021157851A1 - 초음파 진단 장치 및 그 동작 방법 - Google Patents

초음파 진단 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2021157851A1
WO2021157851A1 PCT/KR2020/018468 KR2020018468W WO2021157851A1 WO 2021157851 A1 WO2021157851 A1 WO 2021157851A1 KR 2020018468 W KR2020018468 W KR 2020018468W WO 2021157851 A1 WO2021157851 A1 WO 2021157851A1
Authority
WO
WIPO (PCT)
Prior art keywords
mark
ultrasound
probe
scan
image
Prior art date
Application number
PCT/KR2020/018468
Other languages
English (en)
French (fr)
Inventor
현동규
박진기
최영민
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to US17/797,405 priority Critical patent/US20230062672A1/en
Priority to EP20917625.4A priority patent/EP4085845A4/en
Publication of WO2021157851A1 publication Critical patent/WO2021157851A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4405—Device being mounted on a trolley
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to an ultrasound diagnosis apparatus and an operating method thereof.
  • the ultrasound diagnosis apparatus irradiates an ultrasound signal generated from a transducer of a probe to an object, receives information on a signal reflected from the object, and examines an internal part (eg, soft tissue or blood flow) of the object. Get at least one image.
  • An object is to provide information on a cross-section scanned from an object and a positional relationship between an object and a probe by displaying a scan mark corresponding to an ultrasound image obtained by an ultrasound diagnosis apparatus.
  • the method comprising: acquiring a first ultrasound image of the object based on an ultrasound signal received by a probe and reflected from the object; recognizing a first cross-section in which the object is observed from the first ultrasound image; Acquiring a first scan mark in which information on a first positional relationship between the object and the probe when the first ultrasound image is acquired is reflected, based on a result of recognizing the first cross-section - the first scan mark represents a mark in which a probe mark is disposed on the first body mark of the object based on the information of the first positional relationship; and displaying the first scan mark.
  • a computer program stored in a medium for executing the method of operating the ultrasound diagnosis apparatus in the ultrasound diagnosis apparatus.
  • a probe for transmitting an ultrasound signal to an object and receiving an ultrasound signal reflected from the object; obtaining a first ultrasound image of the object based on the reflected ultrasound signal, recognizing a first cross-section in which the object is observed from the first ultrasound image, and recognizing the first cross-section based on a result of recognizing the first cross-section, a processor configured to acquire a first scan mark in which information on a first positional relationship between the object and the probe is reflected when the first ultrasound image is acquired; and a display displaying the first scan mark, wherein the first scan mark represents a mark in which a probe mark is disposed on a first body mark of the object based on the information of the first positional relationship.
  • the device is disclosed.
  • a scan mark corresponding to the ultrasound image may be displayed.
  • FIG. 1 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • FIGS. 2A to 2C are diagrams illustrating an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • FIG. 3 is a view for explaining a process of displaying a scan mark in which a probe mark is disposed on a body mark of an object based on a result of recognizing a cross-section of an object observed in an ultrasound image, according to an exemplary embodiment
  • FIG. 4 is a diagram for describing a method of operating an ultrasound diagnosis apparatus, according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing a plurality of reference images and scan marks for the plurality of reference images, according to an exemplary embodiment.
  • FIG. 6A is a diagram for explaining a process of guiding an ultrasound image corresponding to an omitted reference cross-section from among a plurality of reference cross-sections in an ultrasound diagnosis apparatus, according to an exemplary embodiment
  • FIG. 6B is a view for explaining a screen for discriminating and displaying a scan mark of a scanned cross-section and a scan mark of an unscanned cross-section in the ultrasound diagnosis apparatus, according to an exemplary embodiment
  • FIG. 7 is a view for explaining a screen for displaying scan marks corresponding to an ultrasound image in an ultrasound diagnosis apparatus and guiding a scan order of an object based on the scan marks, according to an exemplary embodiment
  • FIG. 8 is a diagram schematically illustrating an artificial neural network used to determine a reference image matching a predetermined image, according to an embodiment.
  • FIG. 9 is a diagram illustrating an ultrasound diagnosis apparatus using a learning model to determine a first reference image corresponding to a first ultrasound image, and based on information on a probe mark mapped to the first reference image, a second reference image; 1 A diagram for explaining a process of displaying a scan mark.
  • FIG. 10 is a diagram for explaining a screen on which a first scan mark is displayed in an ultrasound diagnosis apparatus, according to an exemplary embodiment.
  • FIG. 11 is a diagram for describing a screen on which a scan mark on which probe type information is reflected in an ultrasound diagnosis apparatus is displayed, according to an exemplary embodiment.
  • FIG. 12 is a diagram for describing a process of acquiring an ultrasound image of a standard view of an object by using a scan mark in an ultrasound diagnosis apparatus, according to an exemplary embodiment.
  • FIG. 13 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • an image may include a medical image obtained by a medical imaging apparatus such as a magnetic resonance imaging (MRI) apparatus, a computed tomography (CT) apparatus, an ultrasound imaging apparatus, or an X-ray imaging apparatus.
  • MRI magnetic resonance imaging
  • CT computed tomography
  • ultrasound imaging apparatus an ultrasound imaging apparatus
  • X-ray imaging apparatus an X-ray imaging apparatus
  • an 'object' is a subject to be photographed, and may include a person, an animal, or a part thereof.
  • the object may include a body part (such as an organ or an organ) or a phantom.
  • an “ultrasound image” refers to an image of an object transmitted to and processed based on an ultrasound signal reflected from the object.
  • the ultrasound diagnosis apparatus 100 includes a probe 20 , an ultrasound transceiver 110 , a control unit 120 , an image processing unit 130 , a display unit 140 , a storage unit 150 , and a communication unit 160 . ), and an input unit 170 .
  • the ultrasound diagnosis apparatus 100 may be implemented not only as a cart type but also as a portable type.
  • Examples of the portable ultrasound diagnosis apparatus may include, but are not limited to, a smart phone including a probe and an application, a laptop computer, a PDA, a tablet PC, and the like.
  • the probe 20 may include a plurality of transducers.
  • the plurality of transducers may transmit an ultrasound signal to the object 10 according to a transmission signal applied from the transmitter 113 .
  • the plurality of transducers may receive the ultrasound signal reflected from the object 10 to form a received signal.
  • the probe 20 may be implemented integrally with the ultrasound diagnosis apparatus 100 or may be implemented as a separate type connected to the ultrasound diagnosis apparatus 100 by wire or wireless.
  • the ultrasound diagnosis apparatus 100 may include one or a plurality of probes 20 according to an implementation form.
  • the controller 120 controls the transmitter 113 to form a transmission signal to be applied to each of the plurality of transducers in consideration of positions and focal points of the plurality of transducers included in the probe 20 .
  • the controller 120 converts the received signal received from the probe 20 to analog to digital, and by summing the digitally converted received signals in consideration of positions and focal points of a plurality of transducers, the receiving unit 115 generates ultrasound data. ) to control.
  • the image processing unit 130 generates an ultrasound image by using the ultrasound data generated by the ultrasound receiving unit 115 .
  • the display unit 140 may display the generated ultrasound image and various information processed by the ultrasound diagnosis apparatus 100 .
  • the ultrasound diagnosis apparatus 100 may include one or a plurality of display units 140 according to an implementation form.
  • the display unit 140 may be implemented as a touch screen in combination with a touch panel.
  • the controller 120 may control the overall operation of the ultrasound diagnosis apparatus 100 and a signal flow between internal components of the ultrasound diagnosis apparatus 100 .
  • the controller 120 may include a memory for storing a program or data for performing a function of the ultrasound diagnosis apparatus 100 , and a processor for processing the program or data. Also, the controller 120 may receive a control signal from the input unit 170 or an external device to control the operation of the ultrasound diagnosis apparatus 100 .
  • the ultrasound diagnosis apparatus 100 includes a communication unit 160, and can be connected to an external device (eg, a server, a medical device, a portable device (smartphone, tablet PC, wearable device, etc.)) through the communication unit 160 . there is.
  • an external device eg, a server, a medical device, a portable device (smartphone, tablet PC, wearable device, etc.)
  • the communication unit 160 may include one or more components that enable communication with an external device, and may include, for example, at least one of a short-range communication module, a wired communication module, and a wireless communication module.
  • the communication unit 160 receives a control signal and data from an external device, and transmits the received control signal to the control unit 120 so that the control unit 120 controls the ultrasound diagnosis apparatus 100 according to the received control signal. It is also possible
  • the controller 120 transmits a control signal to the external device through the communication unit 160 , thereby controlling the external device according to the control signal of the controller.
  • the external device may process data of the external device according to a control signal of the controller received through the communication unit.
  • a program for controlling the ultrasound diagnosis apparatus 100 may be installed in the external device, and the program may include a command for performing some or all of the operations of the controller 120 .
  • the program may be pre-installed in an external device, or a user of the external device may download and install the program from a server that provides an application.
  • the server providing the application may include a recording medium in which the corresponding program is stored.
  • the storage 150 may store various data or programs for driving and controlling the ultrasound diagnosis apparatus 100 , input/output ultrasound data, an acquired ultrasound image, and the like.
  • the input unit 170 may receive a user's input for controlling the ultrasound diagnosis apparatus 100 .
  • the user's input includes an input for manipulating a button, a key pad, a mouse, a trackball, a jog switch, a knob, etc., an input for touching a touch pad or a touch screen, a voice input, a motion input, and an input for biometric information (for example, iris recognition, fingerprint recognition, etc.), but is not limited thereto.
  • FIGS. 2A to 2C An example of the ultrasound diagnosis apparatus 100 according to an exemplary embodiment will be described later with reference to FIGS. 2A to 2C .
  • FIGS. 2A to 2C are diagrams illustrating an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • the ultrasound diagnosis apparatuses 100a and 100b may include a main display unit 121 and a sub-display unit 122 . At least one of the main display unit 121 and the sub display unit 122 may be implemented as a touch screen. The main display unit 121 and the sub display unit 122 may display an ultrasound image or various information processed by the ultrasound diagnosis apparatuses 100a and 100b. In addition, the main display unit 121 and the sub display unit 122 are implemented as a touch screen, and by providing a GUI, data for controlling the ultrasound diagnosis apparatuses 100a and 100b can be received from a user.
  • the main display unit 121 may display an ultrasound image
  • the sub display unit 122 may display a control panel for controlling the display of the ultrasound image in the form of a GUI.
  • the sub-display unit 122 may receive data for controlling the display of an image through a control panel displayed in the form of a GUI.
  • the ultrasound diagnosis apparatuses 100a and 100b may control the display of the ultrasound image displayed on the main display unit 121 by using the received control data.
  • the ultrasound diagnosis apparatus 100b may further include a control panel 165 in addition to the main display unit 121 and the sub-display unit 122 .
  • the control panel 165 may include a button, a trackball, a jog switch, a knob, and the like, and may receive data for controlling the ultrasound diagnosis apparatus 100b from a user.
  • the control panel 165 may include a Time Gain Compensation (TGC) button 171 , a Freeze button 172 , and the like.
  • TGC button 171 is a button for setting a TGC value for each depth of an ultrasound image.
  • the ultrasound diagnosis apparatus 100b may maintain a state in which a frame image at a corresponding time is displayed.
  • buttons, trackballs, jog switches, knobs, etc. included in the control panel 165 may be provided to the main display unit 121 or the sub-display unit 122 as a GUI.
  • the ultrasound diagnosis apparatus 100c may be implemented as a portable type.
  • Examples of the portable ultrasound diagnosis apparatus 100c include, but are not limited to, a smart phone including a probe and an application, a laptop computer, a PDA, a tablet PC, and the like.
  • the ultrasound diagnosis apparatus 100c includes a probe 20 and a main body 40 , and the probe 20 may be connected to one side of the main body 40 by wire or wirelessly.
  • the body 40 may include a touch screen 145 .
  • the touch screen 145 may display an ultrasound image, various information processed by the ultrasound diagnosis apparatus, and a GUI.
  • FIG. 3 is a view for explaining a process of displaying a scan mark in which a probe mark is disposed on a body mark of an object based on a result of recognizing a cross-section of an object observed in an ultrasound image, according to an exemplary embodiment
  • the ultrasound diagnosis apparatus 100 may acquire an ultrasound image 311 of an object.
  • the ultrasound diagnosis apparatus 100 may acquire the scan mark 323 based on a result of recognizing the cross-section of the object observed in the ultrasound image 311 .
  • the scan mark 323 may be a mark in which the probe mark 321 is disposed on the body mark 322 of the object. That is, the scan mark 323 is a mark in which information on the first positional relationship between the object and the probe when the ultrasound image 311 is acquired is reflected, and the probe is placed on the body mark 322 of the object based on the information on the first positional relationship. It may be a mark on which the mark 321 is disposed.
  • the body mark 322 may be a mark indicating an object displayed on a medical image.
  • the body mark 322 may be generated based on at least one of an external shape of a body including an object, a shape of the object, and a shape.
  • the body mark 322 may be generated based on a 2D model or a 3D model of the object. Also, the body mark 322 may be set as a predetermined icon based on a user's input. For example, when the object is a liver, the body mark 322 may be generated based on the shape of the liver. In addition, the body mark 322 may be generated based on the shape of the liver and organs located in the vicinity of the liver. In addition, the body mark 322 may be generated based on the appearance of the body surrounding the liver. As the object is displayed as the body mark 322 , the user may easily identify the object in the medical image.
  • the probe mark 321 may be disposed on the body mark 322 of the object based on a position at which the probe is positioned in the vicinity of the object to scan a predetermined cross-section of the object.
  • the ultrasound diagnosis apparatus 100 may display an ultrasound image 311 and a scan mark 323 . Also, the ultrasound diagnosis apparatus 100 may display information 332 describing a cross-section of the ultrasound image 311 .
  • the information 332 describing a cross section of the ultrasound image 311 may be information indicating that the ultrasound image of the first standard view of the object has been acquired. Since the scan mark 330 in which the probe mark 321 is disposed is displayed on the body mark 322 , the user may easily identify a positional relationship between the object and the probe.
  • FIG. 4 is a diagram for describing a method of operating an ultrasound diagnosis apparatus, according to an exemplary embodiment.
  • the ultrasound diagnosis apparatus 100 may acquire a first ultrasound image of an object using a probe.
  • a probe in the ultrasound diagnosis apparatus 100 may transmit an ultrasound signal to an object and receive an ultrasound signal reflected from the object.
  • the ultrasound diagnosis apparatus 100 may acquire a first ultrasound image of the object based on the reflected ultrasound signal.
  • the object may be an organ such as a liver, heart, uterus, brain, breast, abdomen, or a blood vessel.
  • the ultrasound diagnosis apparatus 100 may acquire a first scan mark based on a result of recognizing the first ultrasound image.
  • the ultrasound diagnosis apparatus 100 may recognize the first cross section in which the object is observed from the first ultrasound image.
  • the ultrasound diagnosis apparatus 100 may acquire a first scan mark based on a result of recognizing the first cross-section.
  • the first scan mark may be a mark in which a probe mark is disposed on a first body mark corresponding to the object based on information on a first positional relationship between the object and the probe.
  • the ultrasound diagnosis apparatus 100 may acquire a first body mark corresponding to the object.
  • the ultrasound diagnosis apparatus 100 may obtain information on the first positional relationship from the first ultrasound image based on the first cross-section in which the object is observed from the first ultrasound image.
  • the ultrasound diagnosis apparatus 100 may acquire first information on the probe mark with respect to the position or angle of the probe mark in the first body mark, based on the information on the first positional relationship.
  • the ultrasound diagnosis apparatus 100 may acquire a first scan mark in which first information of the probe mark is reflected.
  • the ultrasound diagnosis apparatus 100 may acquire a first body mark corresponding to the object based on a user input received from the user interface device of the ultrasound diagnosis apparatus 100 .
  • the user interface device may be a device that includes a predetermined button, a key pad, a mouse, a trackball, a jog switch, a knob, a touch pad, and the like, and receives a predetermined input.
  • the user interface apparatus of the ultrasound diagnosis apparatus 100 may receive an input for selecting a first body mark corresponding to an object from among a plurality of body marks.
  • the ultrasound diagnosis apparatus 100 may acquire a first body mark corresponding to the object based on a preset set in the ultrasound diagnosis apparatus 100 .
  • the preset may mean that setting information related to the ultrasound diagnosis apparatus 100 is previously stored.
  • the preset may mean that at least one parameter used to control the ultrasound diagnosis apparatus 100 and values of the at least one parameter are preset and stored.
  • the preset may be set according to the type of the probe or the object.
  • the ultrasound diagnosis apparatus 100 may separately include a preset button for executing a preset function.
  • the ultrasound diagnosis apparatus 100 may display a preset button on the user interface device.
  • the ultrasound diagnosis apparatus 100 may receive an input for selecting a preset button for the liver and acquire a first body mark corresponding to the liver.
  • the ultrasound diagnosis apparatus 100 may obtain a first body mark corresponding to the object based on a result of recognizing the first cross-section in which the object is observed from the first ultrasound image. For example, the ultrasound diagnosis apparatus 100 may recognize the first cross section in which the object is observed from the first ultrasound image. For example, when the object of the first cross-section is recognized as a liver as a result of recognizing the first cross-section, the ultrasound diagnosis apparatus 100 may obtain a first body mark corresponding to the liver.
  • the ultrasound diagnosis apparatus 100 may detect a first body mark corresponding to the object from among the plurality of body marks.
  • the plurality of body marks may include body marks for organs such as liver, heart, uterus, brain, breast, abdomen, or blood vessels.
  • the ultrasound diagnosis apparatus 100 may detect a body mark corresponding to the heart from among a plurality of body marks.
  • the ultrasound diagnosis apparatus 100 generates a first reference image from among reference images corresponding to a plurality of cross-sections of a plurality of objects based on an anatomical structure of the object observed in the first ultrasound image. 1 It may be determined as an image matching the ultrasound image.
  • the ultrasound diagnosis apparatus 100 may determine a first reference image matching the first ultrasound image by using a learning model that determines a reference image matching a predetermined image based on the reference images.
  • the learning model for determining the reference image matching the predetermined image uses the artificial neural network to obtain reference images corresponding to a plurality of cross-sections of a plurality of objects and a position between the object and the probe when the reference images are acquired. It may be learned based on the correlation of the relationship. Also, the learning model may be learned based on a correlation between reference images and scan marks in which a probe mark is disposed on a body mark of an object.
  • the scan mark may be a mark in which a probe mark is disposed on a body mark of the object based on a positional relationship between the object and the probe when reference images are acquired.
  • the ultrasound diagnosis apparatus 100 may directly generate and update a learning model by using reference images and scan marks. Also, the ultrasound diagnosis apparatus 100 may acquire a learning model from an external server.
  • the ultrasound diagnosis apparatus 100 may learn the positional relationship between the object and the probe, and check the positional relationship between the object and the probe in the ultrasound image from the learned result. Also, the ultrasound diagnosis apparatus 100 may map and store one or more reference images with a positional relationship between the object and the probe. Also, the ultrasound diagnosis apparatus 100 may store a positional relationship between one or more reference images and an object, and may store a positional relationship between one or more reference images and a probe. The ultrasound diagnosis apparatus 100 may acquire a positional relationship between one or more reference images and a probe based on a positional relationship between one or more reference images and an object and a positional relationship between one or more reference images and a probe.
  • the ultrasound diagnosis apparatus 100 may acquire a first scan mark based on a result of recognizing the first cross-section.
  • the first scan mark may be a mark in which information on a first positional relationship between the object and the probe when the first ultrasound image is acquired is reflected.
  • the information on the first positional relationship may include information on at least one of a relative position of the probe with respect to the object and an angle of the probe with respect to the object when the first ultrasound image is acquired.
  • the information on the angle of the probe with respect to the object may include direction information of a transducer in the probe or direction information of an axis of the probe.
  • the ultrasound diagnosis apparatus 100 may obtain first information on the probe mark with respect to the position or angle of the probe mark on the first body mark based on the information on the first positional relationship.
  • the probe mark may be displayed in a form corresponding to the type of the probe.
  • the probe mark may be displayed as an indicator indicating the direction information of the transducer in the probe and the axial direction information of the probe.
  • the ultrasound diagnosis apparatus 100 may obtain a first scan mark in which first information of the probe mark is reflected, from among the plurality of scan marks.
  • the plurality of scan marks may be previously stored in the ultrasound diagnosis apparatus 100 .
  • the ultrasound diagnosis apparatus 100 may obtain a plurality of reference cross-sections for standard views of the object. For example, standard views of the object may be preset and may be changed by a user.
  • the ultrasound diagnosis apparatus 100 may map each of the plurality of reference cross-sections with information on a scan mark in which information on a positional relationship between the object and the probe is reflected and store the mapping.
  • the ultrasound diagnosis apparatus 100 may determine an image corresponding to the first cross-section as the first reference image.
  • the ultrasound diagnosis apparatus 100 may acquire a first scan mark mapped and stored with a first reference image.
  • the first scan mark may indicate a mark in which information on a positional relationship between the object and the probe is reflected when the first reference image is acquired.
  • the ultrasound diagnosis apparatus 100 may acquire a first scan mark indicating a first positional relationship among a plurality of scan marks based on a result of recognizing the first cross-section.
  • the ultrasound diagnosis apparatus 100 may display the first scan mark.
  • the ultrasound diagnosis apparatus 100 may highlight and display a first scan mark among a plurality of scan marks for an object.
  • the ultrasound diagnosis apparatus 100 may determine whether ultrasound images corresponding to a plurality of reference cross-sections of the object are obtained from the plurality of ultrasound images acquired by the ultrasound diagnosis apparatus 100 .
  • the ultrasound diagnosis apparatus 100 may display information on at least one omitted reference cross-section from among a plurality of reference cross-sections based on the confirmation result.
  • the ultrasound diagnosis apparatus 100 may display at least one scan mark corresponding to at least one omitted reference cross-section.
  • the ultrasound diagnosis apparatus 100 may select scan marks corresponding to the reference cross-sections of the plurality of obtained ultrasound images based on a result of determining whether ultrasound images corresponding to the plurality of reference cross-sections of the object are obtained. and at least one scan mark corresponding to the at least one omitted reference cross-section may be distinguished and displayed.
  • the ultrasound diagnosis apparatus 100 may acquire probe type information.
  • the ultrasound diagnosis apparatus 100 may display a first scan mark in which a first probe mark corresponding to probe type information is disposed on a first body mark of an object. For example, if the type information of the probe is different, the probe mark disposed on the first scan mark may be different.
  • the ultrasound diagnosis apparatus 100 when the first ultrasound image is acquired using the first probe, the ultrasound diagnosis apparatus 100 performs a first scan in which a first probe mark corresponding to the type information of the first probe is disposed on the first body mark of the object. mark can be displayed.
  • the ultrasound diagnosis apparatus 100 may display a second probe mark corresponding to the type information of the second probe disposed on the first body mark of the object. Scan marks can be displayed.
  • FIG. 5 is a diagram for describing a plurality of reference images and scan marks for the plurality of reference images, according to an exemplary embodiment.
  • the ultrasound diagnosis apparatus 100 may acquire a plurality of reference images for a plurality of reference cross-sections of an object, and a scan mark for each of the plurality of reference images.
  • the ultrasound diagnosis apparatus 100 may store a plurality of reference images by mapping them with scan marks for each of the plurality of reference images.
  • the ultrasound diagnosis apparatus 100 may acquire a plurality of reference images for a plurality of reference cross-sections used when diagnosing an object.
  • the plurality of reference cross-sections may be cross-sections for standard views of the object.
  • the standard view may be preset by the user.
  • the plurality of reference images may be obtained using a probe of the ultrasound diagnosis apparatus 100 or may be received from an external device.
  • reference cross-sections are, with reference to the table 510 of FIG. 5 , a common Bile Duct longitudinal section, a Gallbladder longitudinal section, and a hepatic vein intercostal section. subcostal section), Left Liver transverse section, Left Liver longitudinal section, Portal Vein transverse section, Right Liver Dome section, Hepatic Vein It may be a Right Liver intercostals section including a right liver, a Right Liver intercostals section including a portal vein, and a Right Liver transverse section.
  • the reference cross-section shown in the table 510 of FIG. 5 is an example, and a cross-section different from the above-described cross-section may be included.
  • the ultrasound diagnosis apparatus 100 may acquire a scan mark in which information on a positional relationship between an object and a probe is reflected when a reference image with respect to a reference cross-section is acquired.
  • the scan mark may be a mark in which information on a positional relationship between the object and the probe when the reference image is acquired is reflected.
  • the scan mark may be a mark in which a probe mark is disposed on a body mark of the object based on information on a positional relationship between the object and the probe.
  • the information on the positional relationship between the object and the probe may include information about at least one of a relative position of the probe with respect to the object and an angle of the probe with respect to the object when a reference image is acquired.
  • the body mark may be displayed in the form of an appearance of a body including the object. Also, the body mark may be displayed in the form of an object. Also, the probe mark may be displayed in a shape corresponding to the type of the probe. In addition, the probe mark may be displayed as an indicator indicating the direction information of the transducer in the probe and the axial direction information of the probe.
  • the body mark of the liver may be expressed in the form of a body including the human liver.
  • the predetermined scan mark may be a mark in which a probe mark is disposed on a body mark of the liver based on position information of a probe in which a user places a probe in the vicinity of the liver in order to observe a predetermined cross section of the liver.
  • the ultrasound diagnosis apparatus 100 may acquire a first reference image 520-1 of a longitudinal cross-section of the common bile duct.
  • the ultrasound diagnosis apparatus 100 may acquire the first scan mark 530-1 in which the positional relationship between the object and the probe is reflected when the longitudinal cross-section of the common bile duct is scanned.
  • the ultrasound diagnosis apparatus 100 may map and store the first reference image 520-1 and the first scan mark 530-1.
  • the ultrasound diagnosis apparatus 100 may acquire a second reference image 520 - 2 of a longitudinal section of the gallbladder and a second scan mark 530 - 2 corresponding to the second reference image 520 - 2 .
  • the ultrasound diagnosis apparatus 100 may map and store the second reference image 520 - 2 and the second scan mark 530 - 2 .
  • the ultrasound diagnosis apparatus 100 provides reference images 520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, and 520-10 for reference cross-sections of the liver. ) can be obtained.
  • the ultrasound diagnosis apparatus 100 may perform an operation when the reference images 520 - 3 , 520 - 4 , 520 - 5 , 520 - 6 , 520 - 7 , 520 - 8 , 520 - 9 and 520 - 10 are obtained.
  • the scan marks 530-3, 530-4, 530-5, 530-6, 530-7, 530-8, 530-9, and 530-10 reflecting the positional relationship between the object and the probe may be acquired.
  • the ultrasound diagnosis apparatus 100 includes reference images 520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, and 520-10 and scan marks 530- 3, 530-4, 530-5, 530-6, 530-7, 530-8, 530-9, 530-10) can be mapped and stored. Also, the ultrasound diagnosis apparatus 100 includes reference images 520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, and 520-10 and probe mark information. They can be mapped and saved.
  • the ultrasound diagnosis apparatus 100 may acquire a first ultrasound image of the liver.
  • the ultrasound diagnosis apparatus 100 determines the plurality of reference images 520-1, 520-2, 520-3, 520-4, 520-5, and 520- based on the anatomical structure of the liver observed in the first ultrasound image. 6, 520-7, 520-8, 520-9, and 520-10), a first reference image corresponding to the first ultrasound image may be determined. For example, if the cross-section observed in the first ultrasound image is a left liver cross-section, the ultrasound diagnosis apparatus 100 may determine the fourth reference image 520 - 4 as an image matching the first ultrasound image.
  • the ultrasound diagnosis apparatus 100 extracts predetermined feature points corresponding to the liver based on the anatomical structure of the liver observed in the first ultrasound image, and selects a plurality of reference images ( 520-1, 520-2, 520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, 520-10), the fourth matching the first ultrasound image A reference image 520 - 4 may be acquired.
  • the ultrasound diagnosis apparatus 100 may obtain a fourth reference image 520 - 4 matching the first ultrasound image by using a learning model that determines a reference image matching a predetermined image of the liver. there is. A process of obtaining a reference image matching a predetermined image using the learning model will be described with reference to FIGS. 8 to 9 .
  • the ultrasound diagnosis apparatus 100 may acquire a fourth scan mark 530 - 4 that is mapped and stored with the fourth reference image 520 - 4 .
  • the ultrasound diagnosis apparatus 100 may display the fourth scan mark 530 - 4 . An operation of displaying the scan mark in the ultrasound diagnosis apparatus 100 will be described with reference to FIG. 10 .
  • FIG. 6A is a diagram for explaining a process of guiding an ultrasound image corresponding to an omitted reference cross-section from among a plurality of reference cross-sections in an ultrasound diagnosis apparatus, according to an exemplary embodiment
  • the ultrasound diagnosis apparatus 100 may acquire a plurality of ultrasound images of a plurality of cross-sections of an object.
  • the ultrasound diagnosis apparatus 100 may determine whether ultrasound images corresponding to a plurality of reference cross-sections of the object are obtained from the plurality of ultrasound images.
  • the plurality of reference cross-sections may be cross-sections for standard views of the object.
  • the plurality of reference cross-sections may be cross-sections preset by a user to observe the object.
  • the ultrasound diagnosis apparatus 100 determines at least one omitted reference cross-section from among the plurality of reference cross-sections based on a result of determining whether ultrasound images corresponding to the plurality of reference cross-sections of the object are obtained, and determines the omitted at least one reference cross-section. Information of one reference section can be displayed.
  • images of 10 reference cross-sections may be included in the reference images of the liver.
  • the 10 reference cross-sections may be cross-sections for a standard view used for diagnosing the liver.
  • the ultrasound diagnosis apparatus 100 may acquire a plurality of ultrasound images of the patient's liver.
  • the ultrasound diagnosis apparatus 100 may determine whether all images corresponding to the plurality of reference images have been acquired, based on the plurality of ultrasound images. That is, the ultrasound diagnosis apparatus 100 may determine whether there is a reference image matching each of the plurality of ultrasound images based on the anatomical structure of the liver observed in each of the plurality of ultrasound images.
  • the ultrasound diagnosis apparatus 100 may confirm that an ultrasound image of a longitudinal cross-section of a left liver and an ultrasound image of a cross-section of a right liver dome are not acquired among the plurality of reference cross-sections.
  • the ultrasound diagnosis apparatus 100 includes scan marks 610-1, 610-2, 610-3, 610-4, 610-6, 610-8, 610-9, and 610 corresponding to reference cross-sections of a plurality of ultrasound images. -10) and scan marks 610-5 and 610-7 corresponding to the omitted left-to-left longitudinal cross-section and right-to-right dome cross-section may be distinguished and displayed.
  • the ultrasound diagnosis apparatus 100 includes scan marks 610-1, 610-2, 610-3, and scan marks corresponding to reference cross-sections of a plurality of ultrasound images.
  • 610-4, 610-6, 610-8, 610-9, 610-10) can be shaded and displayed, and scan marks (610-5, 610-) corresponding to the left-to-left longitudinal section and the right-to-right dome section 7) can be displayed without shading.
  • the user can easily check information on the omitted cross-section from among the cross-sections to be observed in the object.
  • the user may acquire an ultrasound image of the omitted section.
  • the user can easily check the scanning method of the cross-sections to be observed in the object.
  • scan marks 610-1, 610-2, 610-3, 610-4, 610-6, 610-8, 610-9, Although 610-10) and the scan marks 610-5 and 610-7 of the unscanned section are distinguished, they may be distinguished by the presence or absence of other image processing.
  • the ultrasound diagnosis apparatus 100 may display guide information for guiding to acquire an ultrasound image corresponding to the omitted reference cross-section from among the plurality of reference cross-sections.
  • the standard view of the liver may consist of 10 standard views
  • the cross section for the fifth standard view may be a left liver longitudinal section
  • the cross section for the seventh standard view may be a right liver dome cross section.
  • the ultrasound diagnosis apparatus 100 may display a message indicating that the ultrasound image for the fifth standard view and the ultrasound image for the seventh standard view are not acquired.
  • the ultrasound diagnosis apparatus 100 may display guide information guiding a method of scanning an unscanned standard view. can For example, as shown in the image 630 of FIG.
  • the ultrasound diagnosis apparatus 100 may display a scan mark 610 - 5 corresponding to a longitudinal cross-section of the left liver of the fifth standard view. Also, the ultrasound diagnosis apparatus 100 may display guide information 631 for guiding the position of the probe in order to acquire an ultrasound image of a longitudinal cross-section of the left liver with respect to the fifth standard view.
  • FIG. 6B is a view for explaining a screen for discriminating and displaying a scan mark of a scanned cross-section and a scan mark of an unscanned cross-section in the ultrasound diagnosis apparatus, according to an exemplary embodiment
  • the ultrasound diagnosis apparatus 100 may confirm that the ultrasound image for the fifth standard view and the ultrasound image for the seventh standard view are not acquired.
  • the ultrasound diagnosis apparatus 100 may display the scan marks of the scanned cross-section by shading, and the scan marks 641- of the left liver for the fifth standard view. 2) and the scan mark 642-2 of the cross-section of the dome between the right for the 7th standard view may be displayed without shading. Also, the ultrasound diagnosis apparatus 100 may display an ultrasound image of each scanned cross-section. On the other hand, since the ultrasound image of the unscanned cross-section is not stored in the ultrasound diagnosis apparatus 100 , the ultrasound diagnosis apparatus 100 displays the areas 641-1 and 642-1 in which the ultrasound image is to be displayed as blank areas. can do.
  • FIG. 7 is a view for explaining a screen for displaying scan marks corresponding to an ultrasound image in an ultrasound diagnosis apparatus and guiding a scan order of an object based on the scan marks, according to an exemplary embodiment
  • the ultrasound diagnosis apparatus 100 may acquire a first ultrasound image 720 , and when the first ultrasound image 720 is acquired, a first position between the object and the probe A first scan mark 730 - 1 reflecting the relationship may be displayed. 7 , the ultrasound diagnosis apparatus 100 displays a first ultrasound image 720 and a plurality of scan marks 730-1, 730-2, 730-3, and 730-4 on one screen. can be displayed Also, the ultrasound diagnosis apparatus 100 may display the first ultrasound image 720 and the plurality of scan marks 730 - 1 , 730 - 2 , 730 - 3 and 730 - 4 on separate screens.
  • the ultrasound diagnosis apparatus 100 may highlight and display the first scan mark 730 - 1 among the plurality of scan marks 730 - 1 , 730 - 2 , 730 - 3 and 730 - 4 .
  • the ultrasound diagnosis apparatus 100 may display the outer edge of the first scan mark 730 - 1 with a dotted line.
  • the ultrasound diagnosis apparatus 100 may display scan marks according to the order of cross-sections to be scanned from the object. By displaying the scan marks according to the order of the cross-section to be scanned, the user may easily obtain an ultrasound image of the cross-section to be observed in the object.
  • the display order of the scan marks may be preset according to the type information of the object, the diagnosis result information of the patient, and the history information.
  • the ultrasound diagnosis apparatus 100 may distinguish and display the scan mark of the cross-section in which the scan is completed and the scan mark of the cross-section in which the scan is not completed.
  • the scan mark of the cross-section on which the scan is completed may be displayed by being shaded, and the scan mark of the cross-section in which the scan is not completed may be displayed without being shaded.
  • an indicator indicating that the scan is completed may be displayed on the scan mark of the cross-section where the scan is completed.
  • FIG. 8 is a diagram schematically illustrating an artificial neural network used to determine a reference image matching a predetermined image, according to an embodiment.
  • the ultrasound diagnosis apparatus 100 compares a first reference image with the first ultrasound image among reference images corresponding to a plurality of cross-sections of a plurality of objects based on an anatomical structure of the object observed in the first ultrasound image. It can be determined by matching images. For example, the ultrasound diagnosis apparatus 100 may determine a first reference image matching the first ultrasound image by using a learning model that determines a reference image matching a predetermined image based on the reference images. A learning model may be generated based on an artificial neural network structure.
  • the artificial neural network may include an input layer 810 , at least one or more hidden layers 820 and 830 , and an output layer 840 .
  • the operation through the artificial neural network may be performed by a processor in the ultrasound diagnosis apparatus 100 or a processor in a server.
  • the ultrasound diagnosis apparatus 100 and the server may perform an operation through a separate artificial neural network through a separate processor, controller, or chip.
  • a weight between each layer and a node may be learned through learning and training performed in the hidden layers 820 and 830 .
  • the processor in the ultrasound diagnosis apparatus 100 or the processor of the server acquires a plurality of reference images and a plurality of reference images through repeated learning, a weight value indicating a correlation between a positional relationship between an object and a probe can be obtained.
  • a processor in the ultrasound diagnosis apparatus 100 or a processor of a server may generate a learning model for determining a reference image matching a predetermined image in an artificial neural network trained by applying the obtained weight value.
  • FIG. 9 is a diagram illustrating an ultrasound diagnosis apparatus using a learning model to determine a first reference image corresponding to a first ultrasound image, and based on information on a probe mark mapped to the first reference image, a second reference image; 1 A diagram for explaining a process of displaying a scan mark.
  • the ultrasound diagnosis apparatus 100 determines a reference image matching the first ultrasound image acquired by the ultrasound diagnosis apparatus 100 using a learning model for determining a reference image matching a predetermined image, and maps the reference image to the first ultrasound image obtained by the ultrasound diagnosis apparatus 100 . Scan marks can be displayed.
  • the ultrasound diagnosis apparatus 100 may acquire reference images corresponding to a plurality of cross-sections of a plurality of objects.
  • the object may be an organ such as a liver, heart, uterus, brain, breast, abdomen, or a blood vessel. If the object is different, information of a cross section to be observed in the object may be different.
  • the cross-section information may include cross-sectional direction information and cross-sectional information based on an anatomical structure between the object and objects surrounding the object.
  • the ultrasound diagnosis apparatus 100 may acquire information on a positional relationship between the object and the probe when the reference images are acquired.
  • the ultrasound diagnosis apparatus 100 may acquire information on a first positional relationship between the object and the probe, and a plurality of first reference images of a first reference cross-section corresponding to the first positional relationship. As the number of first reference images with respect to the first reference cross-section increases, the amount of learning between the first positional relationship and the first reference images increases, so that an image matching the first reference image may be accurately determined.
  • the ultrasound diagnosis apparatus 100 learns to determine a reference image matching a predetermined image based on the correlation between the reference images and the positional relationship between the object and the probe with respect to the reference images.
  • the model 900 may be trained.
  • the ultrasound diagnosis apparatus 100 may learn the correlation between the anatomical structure of the object observed in the reference image and the positional relationship between the object and the probe when the reference image is acquired.
  • the ultrasound diagnosis apparatus 100 may learn the correlation between the anatomical structure of the object observed in the reference image and the scan mark corresponding to the reference image.
  • the scan mark corresponding to the reference image may be a mark in which the probe mark is disposed on the body mark of the object based on information on the positional relationship between the object and the probe.
  • the information on the positional relationship between the object and the probe may include information about at least one of a relative position of the probe with respect to the object and an angle of the probe with respect to the object when a reference image is acquired. That is, the scan mark may be a mark in which information on a position or angle of a probe mark is reflected in a body mark of an object based on information on a positional relationship between the object and the probe.
  • the ultrasound diagnosis apparatus 100 may generate a learning model 900 that determines a reference image matching a predetermined image based on the learning result.
  • the ultrasound diagnosis apparatus 100 may acquire a first ultrasound image of the object.
  • the ultrasound diagnosis apparatus 100 may determine a first reference image by applying the first ultrasound image to the learning model. Also, the ultrasound diagnosis apparatus 100 may acquire information on the probe mark that is mapped and stored on the first reference image. Also, the ultrasound diagnosis apparatus 100 may acquire scan mark information that is mapped to and stored in the first reference image.
  • the ultrasound diagnosis apparatus 100 may display a first scan mark in which a probe mark is disposed on a first body mark of the object.
  • FIG. 10 is a diagram for explaining a screen on which a first scan mark is displayed in an ultrasound diagnosis apparatus, according to an exemplary embodiment.
  • the ultrasound diagnosis apparatus 100 may acquire a first ultrasound image 1011 of a predetermined cross-section of an object.
  • the ultrasound diagnosis apparatus 100 may determine which cross-section the predetermined cross-section observed in the first ultrasound image 1011 is of the object, based on the anatomical structure of the object.
  • the ultrasound diagnosis apparatus 100 may determine the first reference cross-section of the object as a cross-section matching a predetermined cross-section based on the anatomical structure of the object or at least one feature point corresponding to the anatomical structure.
  • the ultrasound diagnosis apparatus 100 may determine the first reference image of the first reference cross-section as an image matching the first ultrasound image 1011 of the predetermined cross-section.
  • the ultrasound diagnosis apparatus 100 may acquire information on a first positional relationship between the object and the probe when the first reference image is acquired.
  • the ultrasound diagnosis apparatus 100 may acquire the first scan mark 1013 to which the information of the first positional relationship is reflected.
  • the ultrasound diagnosis apparatus 100 may display the first scan mark 1013 .
  • the first scan mark 1013 is, based on the information of the first positional relationship, a position at which the probe mark 1014 is disposed or an angle of the probe mark 1014 in the first body mark 1015 of the object. It may be a mark in which the first information of the probe mark 1014 is reflected.
  • the ultrasound diagnosis apparatus 100 displays the first scan mark 1013 and information 1016 describing the cross-section of the object observed in the first ultrasound image 1013 .
  • a screen 1012 may be displayed.
  • the ultrasound diagnosis apparatus 100 displays a screen including a first ultrasound image 1011 and a screen 1012 including a first scan mark 1013 and information 1016 describing a cross-section of an object on one display. can do. Also, when two displays are provided in the ultrasound diagnosis apparatus 100 , the ultrasound diagnosis apparatus 100 displays a screen including the ultrasound image 1011 on the first display, and includes the first scan mark 1013 and the object. A screen 1012 including information 1016 describing a cross section of may be displayed on the second display.
  • the ultrasound diagnosis apparatus 100 may acquire a second ultrasound image 1021 of a predetermined cross-section of an object.
  • the ultrasound diagnosis apparatus 100 may acquire a second reference image matching the second ultrasound image 1021 .
  • the ultrasound diagnosis apparatus 100 may acquire the second scan mark 1022 mapped to the second reference image.
  • the second scan mark 1022 may be a mark in which information on a second positional relationship between the object and the probe is reflected when the second reference image is acquired.
  • the ultrasound diagnosis apparatus 100 may display the second scan mark 1022 on the second ultrasound image 1021 .
  • FIG. 11 is a diagram for describing a screen on which a scan mark on which probe type information is reflected in an ultrasound diagnosis apparatus is displayed, according to an exemplary embodiment.
  • the ultrasound diagnosis apparatus 100 may acquire type information of a probe used to acquire an ultrasound image of an object.
  • the ultrasound diagnosis apparatus 100 may include a plurality of probes.
  • the ultrasound diagnosis apparatus 100 may detect a probe used by a user from among a plurality of probes, and obtain information on the type of probe used.
  • the ultrasound diagnosis apparatus 100 may detect a motion of taking out the first probe accommodated in the probe holder, and acquire type information of the first probe based on the sensed motion.
  • the ultrasound diagnosis apparatus 100 may acquire a first ultrasound image by using a first probe.
  • the ultrasound diagnosis apparatus 100 may recognize a first cross-section in which the object is observed from the first ultrasound image, and acquire a first scan mark corresponding to the first ultrasound image based on a result of recognizing the first cross-section .
  • the ultrasound diagnosis apparatus 100 may acquire information on a first positional relationship between the object and the probe when the first ultrasound image is acquired.
  • the ultrasound diagnosis apparatus 100 may acquire a first scan mark in which a first probe mark corresponding to the first probe type information is disposed on a first body mark of the object based on the information on the first positional relationship.
  • the ultrasound diagnosis apparatus 100 may display the scan mark in which the probe type information is reflected.
  • the ultrasound diagnosis apparatus 100 may acquire type information 1111 of the first probe.
  • the type information 1111 of the first probe may be an A-type probe.
  • the ultrasound diagnosis apparatus 100 provides a first scan mark 1112 in which the first probe mark corresponding to the first probe type information 1111 is disposed on the first probe type information 1111 and the first body mark of the object. can be displayed.
  • the ultrasound diagnosis apparatus 100 may acquire type information 1121 of the second probe.
  • the type information 1121 of the second probe may be a B-type probe.
  • the ultrasound diagnosis apparatus 100 includes a second scan mark 1122 in which a second probe mark corresponding to the type information 1121 of the second probe is disposed on the type information 1121 of the second probe and the first body mark of the object. can be displayed.
  • the first scan mark 1112 and the second scan mark 1122 may have the same body mark, but the probe mark may be different.
  • the shape and position of the first probe mark in the first scan mark 1112 and the second probe mark in the second scan mark 1122 may be different from each other.
  • FIG. 12 is a diagram for describing a process of acquiring an ultrasound image of a standard view of an object by using a scan mark in an ultrasound diagnosis apparatus, according to an exemplary embodiment.
  • the ultrasound diagnosis apparatus 100 may acquire an ultrasound image of a predetermined cross-section of the first standard view of the object. However, if the probe is not positioned at a position suitable for acquiring the first standard view, effectiveness of a predetermined cross-section of the object observed in the acquired ultrasound image may be low. Therefore, when the matching rate of the acquired ultrasound image with the standard image for the first standard view is less than a predetermined value, as shown in the image 1220 of FIG. 12 , the ultrasound diagnosis apparatus 100 displays the first standard view in the first standard view. Information for guiding to acquire an ultrasound image again may be displayed.
  • the ultrasound diagnosis apparatus 100 may display guide information for guiding the re-acquisition of the ultrasound image for the standard view.
  • the ultrasound diagnosis apparatus 100 indicates, "The matching rate between the currently acquired ultrasound image and the first standard image is 80%. In order to obtain an accurate image, the direction of the probe is scanned to the left. Please change it like the mark". Also, the ultrasound diagnosis apparatus 100 may display the scan mark 1221 reflecting the positional relationship between the object and the probe when the cross-sectional image of the first standard view is acquired.
  • the ultrasound diagnosis apparatus 100 may again acquire an ultrasound image for the first standard view. If the matching rate between the re-acquired ultrasound image and the standard image is greater than or equal to 90%, the ultrasound diagnosis apparatus 100 may display information indicating that the ultrasound image for the first standard view is normally acquired.
  • the ultrasound diagnosis apparatus 100 may display a scan mark 1241 for the first standard view on the ultrasound image for the first standard view.
  • FIG. 13 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to an exemplary embodiment.
  • the ultrasound diagnosis apparatus 100 may include a probe 1310 , a user interface device 1320 , a display 1330 , and a processor 1340 .
  • the ultrasound diagnosis apparatus 100 may be implemented by more components than the illustrated components, and the ultrasound diagnosis apparatus 100 may be implemented by fewer components.
  • the ultrasound diagnosis apparatus 100 illustrated in FIG. 13 may be the same as the ultrasound diagnosis apparatus 100 described with reference to FIGS. 1 and 2 .
  • the ultrasound diagnosis apparatus 100 of FIG. 13 may perform the operating method of the ultrasound diagnosis apparatus 100 described with reference to FIGS. 3 to 12 .
  • the probe 1310 may include a plurality of transducer elements for mutually converting an ultrasound signal and an electrical signal. That is, the probe 1310 may include a transducer array including a plurality of transducer elements, and the plurality of transducer elements may be arranged in one dimension or two dimensions. Each of the plurality of transducer elements may separately generate an ultrasonic signal, or the plurality of transducer elements may simultaneously generate an ultrasonic signal. An ultrasound signal transmitted from each transducer element is reflected from an impedance discontinuity inside the object. Each transducer element may convert the reflected ultrasonic signal into an electrical reception signal.
  • the user interface device 1320 refers to a device that receives data or signals for controlling the ultrasound diagnosis apparatus 100 from a user.
  • the processor 1340 may control the display 1330 to generate and output a user interface screen for receiving a predetermined command or data from a user.
  • the display 1330 displays a predetermined screen. Specifically, the display 1330 displays a predetermined screen under the control of the processor 1340 .
  • the display 1330 includes a display 1330 panel, and may display an ultrasound image or the like on the display 1330 panel.
  • the ultrasound diagnosis apparatus 100 may further include a memory (not shown).
  • a memory (not shown) may store a program for executing an operating method of the ultrasound diagnosis apparatus 100 .
  • a memory (not shown) may store a code indicating an operation method of the ultrasound diagnosis apparatus 100 .
  • the probe 1310 may transmit an ultrasound signal to an object and receive an ultrasound signal reflected from the object.
  • the processor 1340 may acquire a first ultrasound image of the object based on the reflected ultrasound signal.
  • the object may be an organ such as a liver, heart, uterus, brain, breast, abdomen, or a blood vessel.
  • the processor 1340 may acquire a first scan mark based on a result of recognizing the first ultrasound image.
  • the processor 1340 may recognize the first cross-section in which the object is observed from the first ultrasound image.
  • the processor 1340 may acquire a first scan mark based on a result of recognizing the first cross-section.
  • the first scan mark may be a mark in which a probe mark is disposed on a first body mark corresponding to the object based on information on a first positional relationship between the object and the probe.
  • the processor 1340 may acquire a first body mark corresponding to the object.
  • the processor 1340 from the first ultrasound image may obtain information on the first positional relationship based on the first cross-section in which the object is observed from the first ultrasound image.
  • the processor 1340 may obtain first information of the probe mark with respect to the position or angle of the probe mark at which the probe mark is disposed in the first body mark, based on the information of the first positional relationship.
  • the processor 1340 may obtain a first scan mark in which first information of the probe mark is reflected.
  • the processor 1340 may acquire a first body mark corresponding to the object based on a user input received from the user interface device 1320 .
  • the user interface device 1320 may be a device that includes a predetermined button, a key pad, a mouse, a trackball, a jog switch, a knob, a touch pad, and the like, and receives a predetermined input.
  • the user interface device 1320 may receive an input for selecting a first body mark corresponding to an object from among a plurality of body marks.
  • the processor 1340 may acquire a first body mark corresponding to the object based on a preset set in the ultrasound diagnosis apparatus 100 .
  • the preset may mean that setting information related to the ultrasound diagnosis apparatus 100 is previously stored.
  • the preset may mean that at least one parameter used to control the ultrasound diagnosis apparatus 100 and values of the at least one parameter are preset and stored.
  • the preset may be set according to the type of the probe or the object.
  • the ultrasound diagnosis apparatus 100 may separately include a preset button for executing a preset function.
  • the processor 1340 may control the preset button to be displayed on the user interface device.
  • the user interface device 1320 may receive an input for selecting a preset button for the liver, and the processor 1340 may acquire a first body mark corresponding to the liver.
  • the processor 1340 may acquire a first body mark corresponding to the object based on a result of recognizing the first cross-section in which the object is observed from the first ultrasound image. For example, the processor 1340 may recognize the first cross-section in which the object is observed from the first ultrasound image. For example, when the object of the first cross-section is recognized as a liver as a result of recognizing the first cross-section, the processor 1340 may obtain a first body mark corresponding to the liver.
  • the processor 1340 may detect a first body mark corresponding to the object from among the plurality of body marks.
  • the plurality of body marks may include body marks for organs such as liver, heart, uterus, brain, breast, abdomen, or blood vessels.
  • the processor 1340 may detect a body mark corresponding to the heart from among a plurality of body marks.
  • the processor 1340 selects a first reference image from among reference images corresponding to a plurality of cross-sections of a plurality of objects based on an anatomical structure of the object observed in the first ultrasound image. It can be determined as an image matching the image.
  • the processor 1340 may determine a first reference image matching the first ultrasound image by using a learning model that determines a reference image matching a predetermined image based on the reference images.
  • the learning model for determining the reference image matching the predetermined image is, through the artificial neural network, reference images corresponding to a plurality of cross-sections of the plurality of objects, and the object and the probe 1310 when the reference images are acquired. ) may be learned based on the correlation of the positional relationship between them. Also, the learning model may be learned based on a correlation between reference images and scan marks in which a probe mark is disposed on a body mark of an object.
  • the scan mark may be a mark in which the probe mark is disposed on the body mark of the object based on the positional relationship between the object and the probe 1310 when the reference images are acquired.
  • the processor 1340 may directly generate and update a learning model using reference images and scan marks. Also, the processor 1340 may acquire a learning model from an external server.
  • the processor 1340 may acquire a first scan mark based on a result of recognizing the first cross-section.
  • the first scan mark may be a mark in which information on a first positional relationship between the object and the probe 1310 when the first ultrasound image is acquired is reflected.
  • the information on the first positional relationship may include at least one of a relative position of the probe 1310 with respect to the object and an angle of the probe 1310 with respect to the object when the first ultrasound image is acquired.
  • the information on the angle of the probe 1310 with respect to the object may include direction information of a transducer in the probe 1310 or information on the direction of an axis of the probe 1310 .
  • the processor 1340 may obtain first information of the probe mark with respect to a position at which the probe mark is disposed in the first body mark or an angle of the probe mark, based on the information of the first positional relationship.
  • the probe mark may be displayed in a shape corresponding to the type of the probe 1310 .
  • the probe mark may be displayed as an indicator indicating direction information of a transducer in the probe 1310 and axial direction information of the probe 1310 .
  • the processor 1340 may obtain a first scan mark to which the first information of the probe mark is reflected, from among the plurality of scan marks.
  • the plurality of scan marks may be previously stored in a memory (not shown) of the ultrasound diagnosis apparatus 100 .
  • the processor 1340 may obtain a plurality of reference cross-sections for standard views of the object. For example, standard views of the object may be preset and may be changed by a user.
  • the processor 1340 may store each of the plurality of reference cross-sections in a memory (not shown) by mapping each of the plurality of reference cross-sections with information on a scan mark in which information on a positional relationship between the object and the probe 1310 is reflected.
  • the processor 1340 may determine an image corresponding to the first cross-section as the first reference image.
  • the processor 1340 may obtain a first scan mark mapped and stored with the first reference image.
  • the first scan mark may indicate a mark in which information on a positional relationship between the object and the probe 1310 is reflected when the first reference image is acquired.
  • the processor 1340 may obtain a first scan mark indicating a first positional relationship among a plurality of scan marks based on a result of recognizing the first cross-section.
  • the display 1330 may display the first scan mark.
  • the display 1330 may highlight and display a first scan mark among a plurality of scan marks for the object.
  • the processor 1340 may check whether ultrasound images corresponding to the plurality of reference cross-sections of the object are obtained from the plurality of ultrasound images acquired by the ultrasound diagnosis apparatus 100 .
  • the processor 1340 may display information on at least one reference cross-section omitted from among the plurality of reference cross-sections through the display 1330 based on the confirmation result.
  • the display 1330 may display at least one scan mark corresponding to at least one omitted reference cross-section.
  • the display 1330 may omit scan marks corresponding to the reference cross-sections of the plurality of obtained ultrasound images based on a result of determining whether ultrasound images corresponding to the plurality of reference cross-sections of the object are obtained. At least one scan mark corresponding to the at least one reference cross-section may be distinguished and displayed.
  • the processor 1340 may obtain type information of the probe 1310 .
  • the display 1330 may display a first scan mark in which a first probe mark corresponding to type information of the probe 1310 is disposed on a first body mark of the object. For example, if the type information of the probe 1310 is different, the probe mark disposed on the first scan mark may be different. Accordingly, when the first ultrasound image is acquired using the first probe, the display 1330 displays a first scan mark on the first body mark of the object in which the first probe mark corresponding to the type information of the first probe is disposed.
  • the display 1330 displays a second scan mark in which a second probe mark corresponding to the type information of the second probe is disposed on the first body mark of the object. can be displayed.
  • the ultrasound diagnosis apparatus 100 described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • ALU arithmetic logic unit
  • FPA field programmable array
  • PLU programmable logic unit
  • microprocessor or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • the software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave.
  • the software may be distributed over networked computer systems, and stored or executed in a distributed manner.
  • Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

프로브에 의해 수신된, 대상체로부터 반사된 초음파 신호에 기초하여, 상기 대상체의 제1 초음파 영상을 획득하는 단계; 상기 제1 초음파 영상에 기초하여, 상기 제1 초음파 영상의 획득 시의 상기 대상체와 상기 프로브 간의 제1 위치 관계의 정보가 반영된, 제1 스캔 마크를 획득하는 단계 -상기 제1 스캔 마크는, 상기 제1 위치 관계의 정보에 기초하여 상기 대상체의 제1 바디 마크에 프로브 마크가 배치된 마크를 나타냄-; 및 상기 제1 스캔 마크를 표시하는 단계를 포함하는, 초음파 진단 장치의 동작 방법이 개시된다.

Description

초음파 진단 장치 및 그 동작 방법
초음파 진단 장치 및 그 동작 방법에 관한 것이다.
초음파 진단 장치는 프로브(probe)의 트랜스듀서(transducer)로부터 생성되는 초음파 신호를 대상체로 조사하고, 대상체로부터 반사된 신호의 정보를 수신하여 대상체 내부의 부위(예를 들면, 연조직 또는 혈류)에 대한 적어도 하나의 영상을 얻는다.
초음파 진단 장치에서 획득된 초음파 영상에 대응되는 스캔 마크를 표시함으로써, 대상체에서 스캔된 단면에 대한 정보 및 대상체와 프로브 간의 위치 관계의 정보를 제공하고자 한다.
일측에 따르면, 프로브에 의해 수신된, 대상체로부터 반사된 초음파 신호에 기초하여, 상기 대상체의 제1 초음파 영상을 획득하는 단계; 상기 제1 초음파 영상으로부터 상기 대상체가 관찰되는 제1 단면을 인식하는 단계; 상기 제1 단면을 인식한 결과에 기초하여, 상기 제1 초음파 영상의 획득 시의 상기 대상체와 상기 프로브 간의 제1 위치 관계의 정보가 반영된, 제1 스캔 마크를 획득하는 단계 -상기 제1 스캔 마크는, 상기 제1 위치 관계의 정보에 기초하여 상기 대상체의 제1 바디 마크에 프로브 마크가 배치된 마크를 나타냄- ; 및 상기 제1 스캔 마크를 표시하는 단계를 포함하는, 초음파 진단 장치의 동작 방법이 개시된다.
다른 일측에 따르면, 상기 초음파 진단 장치의 동작 방법을 초음파 진단 장치에서 실행시키기 위해 매체에 저장된 컴퓨터 프로그램이 제공된다.
또 다른 일측에 따르면, 대상체로 초음파 신호를 송신하고, 상기 대상체로부터 반사된 초음파 신호를 수신하는 프로브; 상기 반사된 초음파 신호에 기초하여, 상기 대상체의 제1 초음파 영상을 획득하고, 상기 제1 초음파 영상으로부터 상기 대상체가 관찰되는 제1 단면을 인식하고, 상기 제1 단면을 인식한 결과에 기초하여, 상기 제1 초음파 영상의 획득 시의 상기 대상체와 상기 프로브 간의 제1 위치 관계의 정보가 반영된, 제1 스캔 마크를 획득하는 프로세서; 및 상기 제1 스캔 마크를 표시하는 디스플레이를 포함하고, 상기 제1 스캔 마크는, 상기 제1 위치 관계의 정보에 기초하여 상기 대상체의 제1 바디 마크에 프로브 마크가 배치된 마크를 나타내는, 초음파 진단 장치가 개시된다.
초음파 진단 장치에서 획득된 초음파 영상에 대응되는 스캔 마크를 표시함으로써, 대상체에서 스캔된 단면에 대한 정보 및 대상체와 프로브 간의 위치 관계의 정보를 제공할 수 있다.
또한, 초음파 진단 장치에서 초음파 영상이 획득될 때마다 초음파 영상에 대응되는 스캔 마크를 표시할 수 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일 실시 예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 2의 (a) 내지 (c)는 일 실시 예에 따른 초음파 진단 장치를 나타내는 도면들이다.
도 3은 일실시예에 따라, 초음파 영상에서 관찰되는 대상체의 단면을 인식한 결과에 기초하여, 대상체의 바디 마크에 프로브 마크가 배치된 스캔 마크를 표시하는 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따라, 초음파 진단 장치의 동작 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따라, 복수의 참조 영상들 및 복수의 참조 영상들에 대한 스캔 마크들을 설명하기 위한 도면이다.
도 6a는 일실시예에 따라, 초음파 진단 장치에서 복수의 참조 단면들 중에서 생략된 참조 단면에 대응되는 초음파 영상을 획득하기 위해 가이드 하는 과정을 설명하기 위한 도면이다.
도 6b는 일실시예에 따라, 초음파 진단 장치에서 스캔된 단면의 스캔 마크와 스캔되지 않은 단면의 스캔 마크를 구별하여 표시하는 화면을 설명하기 위한 도면이다.
도 7은 일실시예에 따라, 초음파 진단 장치에서 초음파 영상에 대응되는 스캔 마크를 표시하고, 스캔 마크에 기초하여 대상체의 스캔 순서를 가이드 하는 화면을 설명하기 위한 도면이다.
도 8은 일실시예에 따라, 소정 영상과 매칭되는 참조 영상을 판별하는 데에 이용되는 인공 신경망을 개략적으로 도시한 도면이다.
도 9는 일실시예에 따라, 초음파 진단 장치에서 학습 모델을 이용하여, 제1 초음파 영상에 대응되는 제1 참조 영상을 결정하고, 제1 참조 영상에 매핑된 프로브 마크의 정보에 기초하여, 제1 스캔 마크를 표시하는 과정을 설명하기 위한 도면이다.
도 10은 일실시예에 따라, 초음파 진단 장치에서 제1 스캔 마크를 표시하는 화면을 설명하기 위한 도면이다.
도 11은 일실시예에 따라, 초음파 진단 장치에서 프로브의 타입 정보가 반영된 스캔 마크를 표시하는 화면을 설명하기 위한 도면이다.
도 12는 일실시예에 따라, 초음파 진단 장치에서 스캔 마크를 이용하여 대상체의 표준뷰에 대한 초음파 영상을 획득하는 과정을 설명하기 위한 도면이다.
도 13은 일실시예에 따라, 초음파 진단 장치의 구성을 도시한 블록도이다.
프로브에 의해 수신된, 대상체로부터 반사된 초음파 신호에 기초하여, 상기 대상체의 제1 초음파 영상을 획득하는 단계; 상기 제1 초음파 영상에 기초하여, 상기 제1 초음파 영상의 획득 시의 상기 대상체와 상기 프로브 간의 제1 위치 관계의 정보가 반영된, 제1 스캔 마크를 획득하는 단계 -상기 제1 스캔 마크는, 상기 제1 위치 관계의 정보에 기초하여 상기 대상체의 제1 바디 마크에 프로브 마크가 배치된 마크를 나타냄- ; 및 상기 제1 스캔 마크를 표시하는 단계를 포함하는, 초음파 진단 장치의 동작 방법이 개시된다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 영상은 자기 공명 영상(MRI) 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 또는 엑스레이 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
본 명세서에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
명세서 전체에서 "초음파 영상"이란 대상체로 송신되고, 대상체로부터 반사된 초음파 신호에 근거하여 처리된 대상체(object)에 대한 영상을 의미한다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따른 초음파 진단 장치(100)의 구성을 도시한 블록도이다. 일 실시예에 따른 초음파 진단 장치(100)는 프로브(20), 초음파 송수신부(110), 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160), 및 입력부(170)를 포함할 수 있다.
초음파 진단 장치(100)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
프로브(20)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(20)는 초음파 진단 장치(100)와 일체형으로 구현되거나, 또는 초음파 진단 장치(100)와 유무선으로 연결되는 분리형으로 구현될 수 있다. 또한, 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 프로브(20)를 구비할 수 있다.
제어부(120)는 프로브(20)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.
제어부(120)는 프로브(20)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(115)를 제어 한다.
영상 처리부(130)는 초음파 수신부(115)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.
디스플레이부(140)는 생성된 초음파 영상 및 초음파 진단 장치(100)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(140)를 포함할 수 있다. 또한, 디스플레이부(140)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
제어부(120)는 초음파 진단 장치(100)의 전반적인 동작 및 초음파 진단 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(120)는 초음파 진단 장치(100)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 및 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(120)는 입력부(170) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 진단 장치(100)의 동작을 제어할 수 있다.
초음파 진단 장치(100)는 통신부(160)를 포함하며, 통신부(160)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(160)가 외부 장치로부터 제어 신호 및 데이터를 수신하고, 수신된 제어 신호를 제어부(120)에 전달하여 제어부(120)로 하여금 수신된 제어 신호에 따라 초음파 진단 장치(100)를 제어하도록 하는 것도 가능하다.
또는, 제어부(120)가 통신부(160)를 통해 외부 장치에 제어 신호를 송신함으로써, 외부 장치를 제어부의 제어 신호에 따라 제어하는 것도 가능하다.
예를 들어 외부 장치는 통신부를 통해 수신된 제어부의 제어 신호에 따라 외부 장치의 데이터를 처리할 수 있다.
외부 장치에는 초음파 진단 장치(100)를 제어할 수 있는 프로그램이 설치될 수 있는 바, 이 프로그램은 제어부(120)의 동작의 일부 또는 전부를 수행하는 명령어를 포함할 수 있다.
프로그램은 외부 장치에 미리 설치될 수도 있고, 외부장치의 사용자가 어플리케이션을 제공하는 서버로부터 프로그램을 다운로드하여 설치하는 것도 가능하다. 어플리케이션을 제공하는 서버에는 해당 프로그램이 저장된 기록매체가 포함될 수 있다.
저장부(150)는 초음파 진단 장치(100)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
입력부(170)는, 초음파 진단 장치(100)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.
일 실시예에 따른 초음파 진단 장치(100)의 예시는 도 2의 (a) 내지 (c)를 통해 후술된다.
도 2의 (a) 내지 (c)는 일 실시예에 따른 초음파 진단 장치를 나타내는 도면들이다.
도 2의 (a) 및 도 2의 (b)를 참조하면, 초음파 진단 장치(100a, 100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122)를 포함할 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122) 중 하나 이상은 터치스크린으로 구현될 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 초음파 영상 또는 초음파 진단 장치(100a, 100b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 진단 장치(100a, 100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(121)는 초음파 영상을 표시하고, 서브 디스플레이부(122)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(122)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 진단 장치(100a, 100b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(121)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 2의 (b)를 참조하면, 초음파 진단 장치(100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122) 이외에 컨트롤 패널(165)을 더 포함할 수 있다. 컨트롤 패널(165)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 진단 장치(100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(165)은 TGC(Time Gain Compensation) 버튼(171), Freeze 버튼(172) 등을 포함할 수 있다. TGC 버튼(171)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 진단 장치(100b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(172) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(165)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(121) 또는 서브 디스플레이부(122)에 GUI로 제공될 수 있다.
도 2의 (c)를 참조하면, 초음파 진단 장치(100c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치(100c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 진단 장치(100c)는 프로브(20)와 본체(40)를 포함하며, 프로브(20)는 본체(40)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(40)는 터치 스크린(145)을 포함할 수 있다. 터치 스크린(145)은 초음파 영상, 초음파 진단 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
도 3은 일실시예에 따라, 초음파 영상에서 관찰되는 대상체의 단면을 인식한 결과에 기초하여, 대상체의 바디 마크에 프로브 마크가 배치된 스캔 마크를 표시하는 과정을 설명하기 위한 도면이다.
초음파 진단 장치(100)의 동작 310에서, 초음파 진단 장치(100)는 대상체의 초음파 영상(311)을 획득할 수 있다.
초음파 진단 장치(100)의 동작 320에서, 초음파 진단 장치(100)는 초음파 영상(311)에서 관찰되는 대상체의 단면을 인식한 결과에 기초하여, 스캔 마크(323)를 획득할 수 있다.
여기서, 스캔 마크(323)는 대상체의 바디 마크(322)에 프로브 마크(321)가 배치된 마크일 수 있다. 즉, 스캔 마크(323)는 초음파 영상(311)의 획득 시의 대상체와 프로브 간의 제1 위치 관계의 정보가 반영된 마크이고, 제1 위치 관계의 정보에 기초하여 대상체의 바디 마크(322)에 프로브 마크(321)가 배치된 마크일 수 있다. 바디 마크(322)는, 의료 영상에 표시된 대상체를 나타내는 마크일 수 있다. 바디 마크(322)는, 대상체를 포함하는 바디의 외관의 형태, 대상체의 형태, 형상 중 적어도 하나에 기초하여 생성될 수 있다. 바디 마크(322)는, 대상체에 대한 2D 모델 또는 3D 모델에 기초하여 생성될 수 있다. 또한, 바디 마크(322)는 사용자의 입력에 기초하여 소정 아이콘으로 설정될 수 있다. 예를 들어, 대상체가 간인 경우, 바디 마크(322)는 간의 형태에 기초하여 생성될 수 있다. 또한, 바디 마크(322)는, 간 및 간의 주변에 위치한 장기들의 형태에 기초하여 생성될 수도 있다. 또한, 바디 마크(322)는, 간을 둘러싼 신체의 외관에 기초하여 생성될 수도 있다. 대상체가 바디 마크(322)로 표시됨으로써, 사용자는 의료 영상 내의 대상체를 용이하게 식별할 수 있다. 프로브 마크(321)는 프로브가 대상체의 소정 단면을 스캔하기 위해 대상체의 부근에 위치되는 위치에 기초하여, 대상체의 바디 마크(322)에 배치될 수 있다.
초음파 진단 장치(100)의 동작 330에서, 초음파 진단 장치(100)는 초음파 영상(311) 및 스캔 마크(323)를 표시할 수 있다. 또한, 초음파 진단 장치(100)는 초음파 영상(311)에 대한 단면을 설명하는 정보(332)를 표시할 수 있다. 예를 들면, 초음파 영상(311)에 대한 단면을 설명하는 정보(332)는 대상체의 제1 표준뷰에 대한 초음파 영상이 획득되었음을 나타내는 정보일 수 있다. 바디 마크(322)에 프로브 마크(321)가 배치된 스캔 마크(330)가 표시됨으로써, 사용자는 대상체와 프로브 간의 위치 관계를 용이하게 식별할 수 있다.
도 4는 일실시예에 따라, 초음파 진단 장치의 동작 방법을 설명하기 위한 도면이다.
도 4를 참고하면, 단계 S410에서, 초음파 진단 장치(100)는 프로브를 이용하여, 대상체의 제1 초음파 영상을 획득할 수 있다. 예를 들면, 초음파 진단 장치(100) 내의 프로브는 대상체로 초음파 신호를 송신하고, 대상체로부터 반사된 초음파 신호를 수신할 수 있다. 초음파 진단 장치(100)는 반사된 초음파 신호에 기초하여, 대상체의 제1 초음파 영상을 획득할 수 있다. 예를 들면, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관일 수 있다.
단계 S420에서, 초음파 진단 장치(100)는 제1 초음파 영상을 인식한 결과에 기초하여, 제1 스캔 마크를 획득할 수 있다. 예를 들면, 초음파 진단 장치(100)는 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면을 인식할 수 있다. 초음파 진단 장치(100)는 제1 단면을 인식한 결과에 기초하여, 제1 스캔 마크를 획득할 수 있다. 여기서, 제1 스캔 마크는, 대상체와 프로브 간의 제1 위치 관계의 정보에 기초하여, 대상체에 대응되는 제1 바디 마크에 프로브 마크가 배치된 마크일 수 있다.
구체적인 예를 들면, 초음파 진단 장치(100)는 대상체에 대응되는 제1 바디 마크를 획득할 수 있다. 초음파 진단 장치(100)는 제1 초음파 영상으로부터 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면에 기초하여, 제1 위치 관계의 정보를 획득할 수 있다. 초음파 진단 장치(100)는 제1 위치 관계의 정보에 기초하여, 제1 바디 마크에서 프로브 마크가 배치되는 위치 또는 프로브 마크의 각도에 대한 프로브 마크의 제1 정보를 획득할 수 있다. 초음파 진단 장치(100)는 프로브 마크의 제1 정보가 반영된 제1 스캔 마크를 획득할 수 있다.
한편, 초음파 진단 장치(100)는 초음파 진단 장치(100)의 사용자 인터페이스 장치로부터 수신된 사용자 입력에 기초하여, 대상체에 대응되는 제1 바디 마크를 획득할 수 있다. 예를 들면, 사용자 인터페이스 장치는 소정 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉, 터치 패드 등을 구비하고, 소정 입력을 수신하는 장치일 수 있다. 예를 들면, 초음파 진단 장치(100)의 사용자 인터페이스 장치는, 복수의 바디 마크들 중에서 대상체에 대응되는 제1 바디 마크를 선택하는 입력을 수신할 수 있다.
또한, 초음파 진단 장치(100)는 초음파 진단 장치(100) 내에 설정된 프리셋에 기초하여, 대상체에 대응되는 제1 바디 마크를 획득할 수 있다. 예를 들면, 프리셋은, 초음파 진단 장치(100)와 관련된 설정 정보가 미리 저장된 것을 의미할 수 있다. 예를 들면, 프리셋은, 초음파 진단 장치(100)를 제어하는 데에 이용되는 적어도 하나의 파라미터들 및 적어도 하나의 파라미터들의 값들이 미리 설정되어 저장된 것을 의미할 수 있다. 예를 들면, 프리셋은, 프로브의 종류 또는 대상체에 따라 각각 설정될 수 있다. 한편, 초음파 진단 장치(100)는 프리셋 기능을 실행시키는 프리셋 버튼을 별도로 구비할 수 있다. 또한, 초음파 진단 장치(100)는 프리셋 버튼을 사용자 인터페이스 장치에 표시할 수도 있다. 예를 들면, 초음파 진단 장치(100)는 간에 대한 프리셋 버튼을 선택하는 입력을 수신할 수 있고, 간에 대응되는 제1 바디 마크를 획득할 수 있다.
또한, 초음파 진단 장치(100)는 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면을 인식한 결과에 기초하여, 대상체에 대응되는 제1 바디 마크를 획득할 수 있다. 예를 들면, 초음파 진단 장치(100)는 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면을 인식할 수 있다. 예를 들면, 제1 단면을 인식한 결과, 제1 단면의 대상체가 간으로 인식된 경우, 초음파 진단 장치(100)는 간에 대응되는 제1 바디 마크를 획득할 수 있다.
예를 들면, 초음파 진단 장치(100)는 복수의 바디 마크들 중에서, 대상체에 대응되는 제1 바디 마크를 검출할 수 있다. 예를 들면, 복수의 바디 마크들에는, 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관 등에 대한 바디 마크들이 포함될 수 있다. 예를 들어, 대상체가 심장인 경우, 초음파 진단 장치(100)는 복수의 바디 마크들 중에서 심장에 대응되는 바디 마크를 검출할 수 있다.
예를 들면, 초음파 진단 장치(100)는 제1 초음파 영상에서 관찰되는 대상체의 해부학적 구조에 기초하여, 복수의 대상체들에 대한 복수의 단면들에 대응되는 참조 영상들 중에서 제1 참조 영상을 제1 초음파 영상과 매칭되는 영상으로 결정할 수 있다.
예를 들면, 초음파 진단 장치(100)는 참조 영상들에 기초하여 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델을 이용하여, 제1 초음파 영상과 매칭되는 제1 참조 영상을 결정할 수 있다.
여기서, 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델은, 인공 신경망을 통해, 복수의 대상체들에 대한 복수의 단면들에 대응되는 참조 영상들, 및 참조 영상들의 획득 시에 대상체와 프로브 간의 위치 관계의 상관 관계에 기초하여 학습된 것일 수 있다. 또한, 상기 학습 모델은, 대상체의 바디 마크에 프로브 마크가 배치된 스캔 마크들과 참조 영상들의 상관 관계에 기초하여 학습된 것일 수 있다. 여기서, 스캔 마크는, 참조 영상들의 획득 시의 대상체와 프로브의 위치 관계에 기초하여 대상체의 바디 마크에 프로브 마크가 배치된 마크일 수 있다.
한편, 초음파 진단 장치(100)는 참조 영상들 및 스캔 마크들을 이용하여, 학습 모델을 직접 생성 및 업데이트를 할 수 있다. 또한, 초음파 진단 장치(100)는 외부 서버로부터 학습 모델을 획득할 수도 있다.
또한, 초음파 진단 장치(100)는 대상체와 프로브 간의 위치 관계를 학습하고, 학습된 결과로부터 초음파 영상 내의 대상체와 프로브 간의 위치 관계를 확인할 수 있다. 또한, 초음파 진단 장치(100)는 하나 이상의 참조 영상을 대상체와 프로브 간의 위치 관계와 매핑하여 저장할 수 있다. 또한, 초음파 진단 장치(100)는 하나 이상의 참조 영상과 대상체 간의 위치 관계를 저장할 수 있고, 하나 이상의 참조 영상과 프로브 간의 위치 관계를 저장할 수 있다. 초음파 진단 장치(100)는 하나 이상의 참조 영상과 대상체 간의 위치 관계 및 하나 이상의 참조 영상과 프로브 간의 위치 관계에 기초하여, 하나 이상의 참조 영상과 프로브 간의 위치 관계를 획득할 수 있다.
초음파 진단 장치(100)는 제1 단면을 인식한 결과에 기초하여, 제1 스캔 마크를 획득할 수 있다. 예를 들면, 제1 스캔 마크는, 제1 초음파 영상의 획득 시의 대상체와 프로브 간의 제1 위치 관계의 정보가 반영된 마크일 수 있다. 예를 들면, 제1 위치 관계의 정보는, 제1 초음파 영상의 획득 시의 대상체에 대한 프로브의 상대적인 위치 및 대상체에 대한 프로브의 각도 중 적어도 하나의 정보를 포함할 수 있다. 예를 들면, 대상체에 대한 프로브의 각도의 정보는 프로브 내의 트랜스듀서의 방향 정보 또는 프로브의 축의 방향 정보를 포함할 수 있다.
예를 들면, 초음파 진단 장치(100)는 제1 위치 관계의 정보에 기초하여, 제1 바디 마크에서 프로브 마크가 배치되는 위치 또는 프로브 마크의 각도에 대한 프로브 마크의 제1 정보를 획득할 수 있다. 예를 들면, 프로브 마크는, 프로브의 타입에 대응되는 형태로 표시될 수 있다. 또한, 프로브 마크는 프로브 내의 트랜스듀서의 방향 정보 및 프로브의 축 방향 정보를 나타내는 지시자로 표시될 수 있다.
초음파 진단 장치(100)는 복수의 스캔 마크들 중에서, 프로브 마크의 제1 정보가 반영된 제1 스캔 마크를 획득할 수 있다. 여기서, 복수의 스캔 마크들은 초음파 진단 장치(100)에 미리 저장될 수 있다.
예를 들면, 초음파 진단 장치(100)는 대상체의 표준뷰들에 대한 복수의 참조 단면들을 획득할 수 있다. 예를 들면, 대상체의 표준뷰들은 미리 설정될 수 있고, 사용자에 의해 변경될 수 있다. 초음파 진단 장치(100)는 복수의 참조 단면들 각각을 대상체와 프로브의 간의 위치 관계의 정보가 반영된 스캔 마크의 정보와 매핑하여 저장할 수 있다. 초음파 진단 장치(100)는 제1 단면을 인식한 결과로, 제1 단면에 대응되는 영상을 제1 참조 영상으로 결정할 수 있다. 초음파 진단 장치(100)는 제1 참조 영상과 매핑되어 저장된, 제1 스캔 마크를 획득할 수 있다. 여기서, 제1 스캔 마크는 제1 참조 영상의 획득 시의 대상체와 프로브 간의 위치 관계의 정보가 반영된 마크를 나타낼 수 있다.
예를 들면, 초음파 진단 장치(100)는 제1 단면을 인식한 결과에 기초하여, 복수의 스캔 마크들 중에서 제1 위치 관계를 나타내는 제1 스캔 마크를 획득할 수 있다.
단계 S430에서, 초음파 진단 장치(100)는 제1 스캔 마크를 표시할 수 있다.
예를 들면, 초음파 진단 장치(100)는 대상체에 대한 복수의 스캔 마크들 중에서 제1 스캔 마크를 강조하여 표시할 수 있다.
한편, 초음파 진단 장치(100)는, 초음파 진단 장치(100)에서 획득된 복수의 초음파 영상들로부터, 대상체에 대한 복수의 참조 단면들에 대응되는 초음파 영상들이 획득되었는지를 확인할 수 있다. 초음파 진단 장치(100)는 확인 결과에 기초하여, 복수의 참조 단면들 중에서 생략된 적어도 하나의 참조 단면의 정보를 표시할 수 있다.
예를 들면, 초음파 진단 장치(100)는 생략된 적어도 하나의 참조 단면에 대응되는, 적어도 하나의 스캔 마크를 표시할 수 있다. 다른 예를 들면, 초음파 진단 장치(100)는 대상체에 대한 복수의 참조 단면들에 대응되는 초음파 영상들이 획득되었는지를 확인 결과에 기초하여, 획득된 복수의 초음파 영상들의 참조 단면에 대응되는 스캔 마크들과 생략된 적어도 하나의 참조 단면에 대응되는 적어도 하나의 스캔 마크를 구별하여 표시할 수 있다.
또한, 초음파 진단 장치(100)는 프로브의 타입 정보를 획득할 수 있다. 초음파 진단 장치(100)는, 대상체의 제1 바디 마크에 프로브의 타입 정보에 대응되는 제1 프로브 마크가 배치된, 제1 스캔 마크를 표시할 수 있다. 예를 들면, 프로브의 타입 정보가 다르면, 제1 스캔 마크에 배치된 프로브 마크가 다를 수 있다.
따라서, 제1 프로브를 이용하여 제1 초음파 영상이 획득된 경우, 초음파 진단 장치(100)는 대상체의 제1 바디 마크에 제1 프로브의 타입 정보에 대응되는 제1 프로브 마크가 배치된 제1 스캔 마크를 표시할 수 있다. 반면에, 제2 프로브를 이용하여 제2 초음파 영상이 획득된 경우, 초음파 진단 장치(100)는 대상체의 제1 바디 마크에 제2 프로브의 타입 정보에 대응되는 제2 프로브 마크가 배치된 제2 스캔 마크를 표시할 수 있다.
도 5는 일실시예에 따라, 복수의 참조 영상들 및 복수의 참조 영상들에 대한 스캔 마크들을 설명하기 위한 도면이다.
도 5를 참고하면, 초음파 진단 장치(100)는 대상체의 복수의 참조 단면들에 대한 복수의 참조 영상들, 및 복수의 참조 영상들 각각에 대한 스캔 마크를 획득할 수 있다. 초음파 진단 장치(100)는, 복수의 참조 영상들을 복수의 참조 영상들 각각에 대한 스캔 마크와 매핑하여 저장할 수 있다.
예를 들면, 초음파 진단 장치(100)는 대상체를 진단할 때 이용되는, 복수의 참조 단면들에 대한 복수의 참조 영상들을 획득할 수 있다. 여기서, 복수의 참조 단면들은 대상체의 표준뷰들에 대한 단면일 수 있다. 예를 들면, 표준뷰는 사용자에 의해 미리 설정될 수 있다. 복수의 참조 영상들은, 초음파 진단 장치(100)의 프로브를 이용하여 획득되거나, 외부 장치로부터 수신될 수 있다.
예를 들면, 대상체가 간인 경우, 참조 단면은, 도 5의 테이블(510)을 참고하면, 총담관 종단면(Common Bile Duct longitudinal section), 쓸개 종단면(Gall Bladder longitudinal section), 간정맥 늑간 단면(Hepatic Vein subcostal section), 왼쪽 간 횡단면(Left Liver transverse section), 왼쪽 간 종단면(Left Liver longitudinal section), 간문맥 횡단면(Portal Vein transverse section), 오른쪽 간 돔 단면(Right Liver Dome section), 간정맥(Hepatic Vein)을 포함하는 오른쪽 간의 늑간 단면(Right Liver intercostals section), 간문맥(Portal Vein)을 포함하는 오른쪽 간의 늑간 단면(Right Liver intercostals section), 오른쪽 간 횡단면(Right Liver transverse section)일 수 있다.
도 5의 테이블(510)에 도시된 참조 단면은, 일예시이고, 상기 설명된 단면과 다른 간의 단면이 포함될 수 있다.
또한, 초음파 진단 장치(100)는, 참조 단면에 대한 참조 영상의 획득 시에 대상체와 프로브 간의 위치 관계의 정보가 반영된 스캔 마크를 획득할 수 있다. 여기서, 스캔 마크는, 참조 영상의 획득 시의 대상체와 프로브 간의 위치 관계의 정보가 반영된 마크일 수 있다. 스캔 마크는 대상체와 프로브 간의 위치 관계의 정보에 기초하여, 대상체의 바디 마크에 프로브 마크가 배치된 마크일 수 있다. 대상체와 프로브 간의 위치 관계의 정보는, 참조 영상의 획득 시의 대상체에 대한 프로브의 상대적인 위치 및 대상체에 대한 프로브의 각도 중 적어도 하나의 정보를 포함할 수 있다. 여기서, 바디 마크는 대상체를 포함하는 바디의 외관의 형태로 표시될 수 있다. 또한, 바디 마크는 대상체의 형태로 표시될 수 있다. 또한, 프로브 마크는 프로브의 타입에 대응되는 형태로 표시될 수 있다. 또한, 프로브 마크는 프로브 내의 트랜스듀서의 방향 정보 및 프로브의 축 방향 정보를 나타내는 지시자로 표시될 수 있다.
예를 들면, 대상체가 사람의 간인 경우, 간의 바디 마크는, 사람의 간을 포함하는 신체의 형태로 표현될 수 있다. 소정의 스캔 마크는, 간의 소정 단면을 관찰하기 위해 사용자가 간의 부근에 프로브를 위치시키는 프로브의 위치 정보에 기초하여, 간의 바디 마크에 프로브 마크가 배치된 마크일 수 있다.
도 5의 테이블(510)을 참고하면, 초음파 진단 장치(100)는 총담관 종단면에 대한 제1 참조 영상(520-1)을 획득할 수 있다. 초음파 진단 장치(100)는 총담관 종단면이 스캔될 때의 대상체와 프로브 간의 위치 관계가 반영된 제1 스캔 마크(530-1)를 획득할 수 있다. 초음파 진단 장치(100)는 제1 참조 영상(520-1)과 제1 스캔 마크(530-1)를 매핑하여 저장할 수 있다.
또한, 초음파 진단 장치(100)는 쓸개 종단면에 대한 제2 참조 영상(520-2), 및 제2 참조 영상(520-2)에 대응되는 제2 스캔 마크(530-2)를 획득할 수 있다. 초음파 진단 장치(100)는 제2 참조 영상(520-2)과 제2 스캔 마크(530-2)를 매핑하여 저장할 수 있다.
마찬가지로, 초음파 진단 장치(100)는 간의 참조 단면들에 대한 참조 영상들(520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, 520-10)을 획득할 수 있다. 또한, 초음파 진단 장치(100)는 참조 영상들(520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, 520-10)이 획득될 때의 대상체와 프로브 간의 위치 관계가 반영된 스캔 마크들(530-3, 530-4, 530-5, 530-6, 530-7, 530-8, 530-9, 530-10)을 획득할 수 있다. 초음파 진단 장치(100)는 참조 영상들(520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, 520-10)과 스캔 마크들(530-3, 530-4, 530-5, 530-6, 530-7, 530-8, 530-9, 530-10)을 매핑하여 저장할 수 있다. 또한, 초음파 진단 장치(100)는 참조 영상들(520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, 520-10)과 프로브 마크의 정보들과 매핑하여 저장할 수 있다.
한편, 초음파 진단 장치(100)는 간에 대한 제1 초음파 영상을 획득할 수 있다. 초음파 진단 장치(100)는 제1 초음파 영상에서 관찰되는 간의 해부학적 구조에 기초하여, 복수의 참조 영상들(520-1, 520-2, 520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, 520-10) 중에서 제1 초음파 영상과 대응되는 제1 참조 영상을 결정할 수 있다. 예를 들면, 제1 초음파 영상에서 관찰되는 단면이 왼쪽 간 횡단면이면, 초음파 진단 장치(100)는 제4 참조 영상(520-4)을 제1 초음파 영상에 매칭되는 영상으로 결정할 수 있다.
예를 들면, 초음파 진단 장치(100)는 제1 초음파 영상에서 관찰되는 간의 해부학적 구조에 기초하여, 간에 대응되는 소정의 특징점들을 추출하고, 추출된 특징점들에 기초하여, 복수의 참조 영상들(520-1, 520-2, 520-3, 520-4, 520-5, 520-6, 520-7, 520-8, 520-9, 520-10) 중에서 제1 초음파 영상과 매칭되는 제4 참조 영상(520-4)을 획득할 수 있다.
다른 예를 들면, 초음파 진단 장치(100)는 간에 대한 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델을 이용하여, 제1 초음파 영상과 매칭되는 제4 참조 영상(520-4)을 획득할 수 있다. 학습 모델을 이용하여 소정 영상과 매칭되는 참조 영상을 획득하는 과정은 도 8 내지 도 9에서 설명한다.
초음파 진단 장치(100)는 제4 참조 영상(520-4)과 매핑되어 저장된 제4 스캔 마크(530-4)를 획득할 수 있다. 초음파 진단 장치(100)는 제4 스캔 마크(530-4)를 표시할 수 있다. 초음파 진단 장치(100)에서 스캔 마크를 표시하는 동작은 도 10에서 설명한다.
도 6a는 일실시예에 따라, 초음파 진단 장치에서 복수의 참조 단면들 중에서 생략된 참조 단면에 대응되는 초음파 영상을 획득하기 위해 가이드 하는 과정을 설명하기 위한 도면이다.
초음파 진단 장치(100)는 대상체의 복수의 단면들에 대한 복수의 초음파 영상들을 획득할 수 있다. 초음파 진단 장치(100)는 복수의 초음파 영상들로부터, 대상체에 대한 복수의 참조 단면들에 대응되는 초음파 영상들이 획득되었는지를 확인할 수 있다. 예를 들면, 복수의 참조 단면들은, 대상체의 표준뷰들에 대한 단면일 수 있다. 또한, 복수의 참조 단면들은, 대상체를 관찰하기 위해 사용자에 의해 미리 설정된 단면일 수 있다.
초음파 진단 장치(100)는 대상체에 대한 복수의 참조 단면들에 대응되는 초음파 영상들이 획득되었는지를 확인한 결과에 기초하여, 복수의 참조 단면들 중에서 생략된 적어도 하나의 참조 단면을 결정하고, 생략된 적어도 하나의 참조 단면의 정보를 표시할 수 있다.
예를 들면, 도 5에서 설명했던 바와 같이, 간에 대한 참조 영상들에는 10개의 참조 단면에 대한 영상들이 포함될 수 있다. 10개의 참조 단면들은 간을 진단하는 데에 이용되는 표준뷰에 대한 단면일 수 있다. 초음파 진단 장치(100)는 환자의 간에 대한 복수의 초음파 영상들을 획득할 수 있다. 초음파 진단 장치(100)는 복수의 초음파 영상들에 기초하여, 복수의 참조 영상들에 대응되는 영상들이 모두 획득되었는지를 확인할 수 있다. 즉, 초음파 진단 장치(100)는 복수의 초음파 영상들 각각에서 관찰되는 간의 해부학적 구조에 기초하여, 복수의 초음파 영상들 각각에 매칭되는 참조 영상이 있는지를 확인할 수 있다.
예를 들면, 초음파 진단 장치(100)는 복수의 참조 단면들 중에서 왼쪽 간 종단면에 대한 초음파 영상, 오른쪽 간 돔 단면에 대한 초음파 영상이 획득되지 않았음을 확인할 수 있다.
초음파 진단 장치(100)는 복수의 초음파 영상들의 참조 단면에 대응되는 스캔 마크들(610-1, 610-2, 610-3, 610-4, 610-6, 610-8, 610-9, 610-10)과 생략된 왼쪽 간 종단면 및 오른쪽 간 돔 단면에 대응되는 스캔 마크들(610-5, 610-7)을 구별하여 표시할 수 있다.
예를 들면, 도 6의 테이블(610)에 도시된 바와 같이, 초음파 진단 장치(100)는 복수의 초음파 영상들의 참조 단면에 대응되는 스캔 마크들(610-1, 610-2, 610-3, 610-4, 610-6, 610-8, 610-9, 610-10)을 음영 처리하여 표시할 수 있고, 왼쪽 간 종단면 및 오른쪽 간 돔 단면에 대응되는 스캔 마크들(610-5, 610-7)을 음영 처리하지 않고 표시할 수 있다.
초음파 진단 장치(100)에서 생략된 적어도 하나의 참조 단면의 스캔 마크를 표시함으로써, 사용자는 대상체에서 관찰하고자 하는 단면들 중 생략된 단면의 정보를 용이하게 확인할 수 있다. 사용자는 생략된 단면에 대한 초음파 영상을 획득할 수 있다. 또한, 사용자는 대상체에서 관찰하고자 하는 단면들의 스캔 방법을 용이하게 확인할 수 있다.
도 6의 테이블(610)에서, 음영 처리의 유무로 스캔된 단면의 스캔 마크들(610-1, 610-2, 610-3, 610-4, 610-6, 610-8, 610-9, 610-10)과 스캔되지 않은 단면의 스캔 마크들(610-5, 610-7)을 구별하였으나, 다른 영상 처리의 유무로 구별할 수도 있다.
한편, 초음파 진단 장치(100)는 복수의 참조 단면들 중에서 생략된 참조 단면에 대응되는 초음파 영상을 획득하기 위해 가이드 하는 가이드 정보를 표시할 수 있다.
예를 들어, 간의 표준뷰는 10개의 표준뷰로 구성될 수 있고, 제5 표준뷰에 대한 단면은 왼쪽 간 종단면이고, 제7 표준뷰에 대한 단면은 오른쪽 간 돔 단면일 수 있다. 도 6의 이미지(620)에 도시된 바와 같이, 초음파 진단 장치(100)는 제5 표준뷰에 대한 초음파 영상 및 제7 표준뷰에 대한 초음파 영상이 획득되지 않았음을 나타내는 메시지를 표시할 수 있다. 초음파 진단 장치(100)에서 스캔되지 않은 표준뷰에 대한 스캔을 가이드 하는 가이드 정보의 요청이 수신되면, 초음파 진단 장치(100)는 스캔되지 않은 표준뷰를 스캔하는 방법을 가이드 하는 가이드 정보를 표시할 수 있다. 예를 들면, 도 6의 이미지(630)에 도시된 바와 같이, 초음파 진단 장치(100)는 제5 표준뷰에 대한 왼쪽 간 종단면에 대응되는 스캔 마크(610-5)를 표시할 수 있다. 또한, 초음파 진단 장치(100)는 제5 표준뷰에 대한 왼쪽 간 종단면의 초음파 영상을 획득하기 위해 프로브의 위치를 가이드 하는 가이드 정보(631)를 표시할 수 있다.
도 6b는 일실시예에 따라, 초음파 진단 장치에서 스캔된 단면의 스캔 마크와 스캔되지 않은 단면의 스캔 마크를 구별하여 표시하는 화면을 설명하기 위한 도면이다.
도 6a에서 설명했던 바와 같이, 초음파 진단 장치(100)는 제5 표준뷰에 대한 초음파 영상 및 제7 표준뷰에 대한 초음파 영상이 획득되지 않았음을 확인할 수 있다.
도 6b의 테이블(640)에 도시된 바와 같이, 초음파 진단 장치(100)는 스캔된 단면의 스캔 마크들을 음영 처리하여 표시할 수 있고, 제5 표준뷰에 대한 왼쪽 간 종단면의 스캔 마크(641-2) 및 제7 표준뷰에 대한 오른쪽 간 돔 단면의 스캔 마크(642-2)를 음영 처리하지 않고 표시할 수 있다. 또한, 초음파 진단 장치(100)는 각 스캔된 단면의 초음파 영상을 표시할 수 있다. 반면에, 스캔 되지 않은 단면의 초음파 영상은 초음파 진단 장치(100)에 저장되어 있지 않으므로, 초음파 진단 장치(100)는 초음파 영상이 표시될 영역(641-1, 642-1)을 빈 영역으로 표시할 수 있다.
도 7은 일실시예에 따라, 초음파 진단 장치에서 초음파 영상에 대응되는 스캔 마크를 표시하고, 스캔 마크에 기초하여 대상체의 스캔 순서를 가이드 하는 화면을 설명하기 위한 도면이다.
도 7의 이미지(710)을 참고하면, 초음파 진단 장치(100)는 제1 초음파 영상(720)을 획득할 수 있고, 제1 초음파 영상(720)의 획득 시에 대상체와 프로브의 간의 제1 위치 관계가 반영된, 제1 스캔 마크(730-1)를 표시할 수 있다. 도 7에 도시된 바와 같이, 초음파 진단 장치(100)는 제1 초음파 영상(720) 및 복수의 스캔 마크들(730-1, 730-2, 730-3, 730-4)을 하나의 화면에 표시할 수 있다. 또한, 초음파 진단 장치(100)는 제1 초음파 영상(720)과 복수의 스캔 마크들(730-1, 730-2, 730-3, 730-4)을 별개의 화면에 표시할 수도 있다.
한편, 초음파 진단 장치(100)는 복수의 스캔 마크들(730-1, 730-2, 730-3, 730-4) 중에서 제1 스캔 마크(730-1)를 강조하여 표시할 수 있다. 예를 들면, 초음파 진단 장치(100)는 제1 스캔 마크(730-1)의 외곽을 점선으로 표시할 수 있다.
또한, 초음파 진단 장치(100)는 대상체에서 스캔될 단면의 순서에 따라 스캔 마크들을 표시할 수 있다. 스캔될 단면의 순서에 따라 스캔 마크들을 표시함으로써, 사용자는 대상체에서 관찰할 단면의 초음파 영상을 용이하게 획득할 수 있다. 스캔 마크의 표시 순서는, 대상체의 종류 정보, 환자의 진단 결과 정보, 이력 정보에 따라 미리 설정될 수 있다.
또한, 초음파 진단 장치(100)는 스캔이 완료된 단면의 스캔 마크와 스캔이 미완료된 단면의 스캔 마크를 구별하여 표시할 수 있다. 예를 들면, 스캔이 완료된 단면의 스캔 마크는 음영 처리되어 표시될 수 있고, 스캔이 미완료된 단면의 스캔 마크를 음영 처리되지 않고 표시될 수 있다. 또한, 스캔이 완료된 단면의 스캔 마크에는 스캔이 완료되었음을 나타내는 지시자가 표시될 수 있다.
도 8은 일실시예에 따라, 소정 영상과 매칭되는 참조 영상을 판별하는 데에 이용되는 인공 신경망을 개략적으로 도시한 도면이다.
초음파 진단 장치(100)는 제1 초음파 영상에서 관찰되는 대상체의 해부학적 구조에 기초하여, 복수의 대상체들에 대한 복수의 단면들에 대응되는 참조 영상들 중에서 제1 참조 영상을 제1 초음파 영상과 매칭되는 영상으로 결정할 수 있다. 예를 들면, 초음파 진단 장치(100)는 참조 영상들에 기초하여 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델을 이용하여, 제1 초음파 영상과 매칭되는 제1 참조 영상을 결정할 수 있다. 학습 모델은 인공 신경망 구조에 기반하여 생성될 수 있다.
도 8을 참고하면, 인공 신경망은 입력 레이어(input layer)(810), 적어도 하나 이상의 히든 레이어(hidden layer)(820, 830) 및 출력 레이어(output layer)(840)를 포함할 수 있다. 또한, 인공 신경망을 통한 연산은 초음파 진단 장치(100) 내의 프로세서 또는 서버 내의 프로세서에서 수행될 수 있다. 초음파 진단 장치(100) 및 서버는 별도의 인공 신경망을 통한 연산을 수행하기 위한 별도의 프로세서, 컨트롤러, 또는 칩을 통하여 수행할 수도 있다.
또한, 히든 레이어(820, 830)에서 수행된 학습 및 훈련을 통해 각 레이어와 노드 사이의 가중치가 학습될 수 있다. 예를 들면, 초음파 진단 장치(100) 내의 프로세서 또는 서버의 프로세서는 반복적인 학습을 통하여 복수의 참조 영상들과 복수의 참조 영상들의 획득 시에 대상체와 프로브의 위치 관계의 상관 관계를 나타내는 가중치의 값을 획득할 수 있다. 초음파 진단 장치(100) 내의 프로세서 또는 서버의 프로세서는 획득된 가중치의 값이 적용되어 훈련된 인공 신경망에서, 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델을 생성할 수 있다.
도 9는 일실시예에 따라, 초음파 진단 장치에서 학습 모델을 이용하여, 제1 초음파 영상에 대응되는 제1 참조 영상을 결정하고, 제1 참조 영상에 매핑된 프로브 마크의 정보에 기초하여, 제1 스캔 마크를 표시하는 과정을 설명하기 위한 도면이다.
초음파 진단 장치(100)는 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델을 이용하여, 초음파 진단 장치(100)에서 획득된 제1 초음파 영상과 매칭되는 참조 영상을 결정하고, 참조 영상과 매핑된 스캔 마크를 표시할 수 있다.
학습 모델(900)의 동작 910에서, 초음파 진단 장치(100)는 복수의 대상체들에 대한 복수의 단면들에 대응되는 참조 영상들을 획득할 수 있다. 예를 들면, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관일 수 있다. 대상체가 다르면, 대상체에서 관찰하고자 하는 단면의 정보는 다를 수 있다. 예를 들면, 단면의 정보에는 단면의 방향 정보, 대상체와 대상체의 주변 대상체들 간의 해부학적 구조에 기초하는 단면의 정보가 포함될 수 있다. 초음파 진단 장치(100)는 참조 영상들을 획득할 시의 대상체와 프로브 간의 위치 관계의 정보를 획득할 수 있다.
예를 들면, 초음파 진단 장치(100)는 대상체와 프로브 간의 제1 위치 관계의 정보, 제1 위치 관계에 대응되는 제1 참조 단면에 대한 복수의 제1 참조 영상들을 획득할 수 있다. 제1 참조 단면에 대한 제1 참조 영상들이 많을수록, 제1 위치 관계와 제1 참조 영상들 간의 학습량이 많기 때문에, 제1 참조 영상에 매칭되는 영상의 판별이 정확해질 수 있다.
학습 모델(900)의 동작 920에서, 초음파 진단 장치(100)는 참조 영상들과 참조 영상들에 대한 대상체와 프로브 간의 위치 관계의 상관 관계에 기초하여, 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델(900)을 학습할 수 있다.
예를 들면, 초음파 진단 장치(100)는 참조 영상 내에서 관찰되는 대상체의 해부학적 구조와, 참조 영상의 획득 시의 대상체와 프로브 간의 위치 관계의 상관 관계를 학습할 수 있다.
또한, 초음파 진단 장치(100)는 참조 영상 내에서 관찰되는 대상체의 해부학적 구조와 참조 영상에 대응되는 스캔 마크의 상관 관계를 학습할 수 있다. 여기서, 참조 영상에 대응되는 스캔 마크는, 대상체와 프로브 간의 위치 관계의 정보에 기초하여, 대상체의 바디 마크에 프로브 마크가 배치된 마크일 수 있다. 대상체와 프로브 간의 위치 관계의 정보는, 참조 영상의 획득 시의 대상체에 대한 프로브의 상대적인 위치 및 대상체에 대한 프로브의 각도 중 적어도 하나의 정보를 포함할 수 있다. 즉, 스캔 마크는, 대상체와 프로브 간의 위치 관계의 정보에 기초하여, 대상체의 바디 마크에서 프로브 마크가 배치되는 위치 또는 프로브 마크의 각도의 정보가 반영된 마크일 수 있다
초음파 진단 장치(100)는 학습 결과에 기초하여, 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델(900)을 생성할 수 있다..
학습 모델(900)의 동작(925)에서, 초음파 진단 장치(100)는 대상체의 제1 초음파 영상을 획득할 수 있다.
학습 모델(900)의 동작(930)에서, 초음파 진단 장치(100)는 학습 모델에 제1 초음파 영상을 적용하여, 제1 참조 영상을 결정할 수 있다. 또한, 초음파 진단 장치(100)는 제1 참조 영상에 매핑되어 저장된, 프로브 마크의 정보를 획득할 수 있다. 또한, 초음파 진단 장치(100)는 제1 참조 영상에 매핑되어 저장된, 스캔 마크의 정보를 획득할 수 있다.
학습 모델(900)의 동작 (935)에서, 초음파 진단 장치(100)는 대상체의 제1 바디 마크에 프로브 마크가 배치된, 제1 스캔 마크를 표시할 수 있다.
도 10은 일실시예에 따라, 초음파 진단 장치에서 제1 스캔 마크를 표시하는 화면을 설명하기 위한 도면이다.
도 10의 이미지(1010)을 참고하면, 초음파 진단 장치(100)는 대상체의 소정 단면에 대한 제1 초음파 영상(1011)을 획득할 수 있다. 초음파 진단 장치(100)는 대상체의 해부학적 구조에 기초하여, 제1 초음파 영상(1011)에서 관찰되는 소정 단면이 대상체의 어떤 단면인지를 결정할 수 있다. 예를 들면, 초음파 진단 장치(100)는 대상체의 해부학적 구조 또는 해부학적 구조에 대응되는 적어도 하나의 특징점에 기초하여, 대상체의 제1 참조 단면을 소정 단면과 매칭되는 단면으로 결정할 수 있다. 초음파 진단 장치(100)는 제1 참조 단면에 대한 제1 참조 영상을 소정 단면에 대한 제1 초음파 영상(1011)과 매칭되는 영상으로 결정할 수 있다.
초음파 진단 장치(100)는 제1 참조 영상의 획득 시의 대상체와 프로브 간의 제1 위치 관계의 정보를 획득할 수 있다. 초음파 진단 장치(100)는 제1 위치 관계의 정보가 반영된 제1 스캔 마크(1013)를 획득할 수 있다. 초음파 진단 장치(100)는 제1 스캔 마크(1013)를 표시할 수 있다. 여기서, 제1 스캔 마크(1013)는, 제1 위치 관계의 정보에 기초하여, 대상체의 제1 바디 마크(1015)에서 프로브 마크(1014)가 배치되는 위치 또는 프로브 마크(1014)의 각도에 대한 프로브 마크(1014)의 제1 정보가 반영된 마크일 수 있다.
도 10의 이미지(1010)에 도시된 바와 같이, 초음파 진단 장치(100)는 제1 스캔 마크(1013) 및 제1 초음파 영상(1013)에서 관찰되는 대상체의 단면을 설명하는 정보(1016)를 표시하는 화면(1012)을 표시할 수 있다.
초음파 진단 장치(100)는 제1 초음파 영상(1011)을 포함하는 화면과 제1 스캔 마크(1013) 및 대상체의 단면을 설명하는 정보(1016)를 포함하는 화면(1012)을 하나의 디스플레이에 표시할 수 있다. 또한, 초음파 진단 장치(100) 내에 두 개의 디스플레이가 구비된 경우, 초음파 진단 장치(100)는 초음파 영상(1011)을 포함하는 화면을 제1 디스플레이에 표시하고, 제1 스캔 마크(1013) 및 대상체의 단면을 설명하는 정보(1016)를 포함하는 화면(1012)을 제2 디스플레이에 표시할 수 있다.
도 10의 이미지(1020)을 참고하면, 초음파 진단 장치(100)는 대상체의 소정 단면에 대한 제2 초음파 영상(1021)을 획득할 수 있다. 초음파 진단 장치(100)는 제2 초음파 영상(1021)과 매칭되는 제2 참조 영상을 획득할 수 있다. 초음파 진단 장치(100)는 제2 참조 영상과 매핑된 제2 스캔 마크(1022)를 획득할 수 있다. 여기서, 제2 스캔 마크(1022)는 제2 참조 영상의 획득 시의 대상체와 프로브 간의 제2 위치 관계의 정보가 반영된 마크일 수 있다. 초음파 진단 장치(100)는 제2 초음파 영상(1021) 상에 제2 스캔 마크(1022)를 표시할 수 있다.
도 11은 일실시예에 따라, 초음파 진단 장치에서 프로브의 타입 정보가 반영된 스캔 마크를 표시하는 화면을 설명하기 위한 도면이다.
초음파 진단 장치(100)는 대상체의 초음파 영상을 획득하는 데에 이용되는 프로브의 타입 정보를 획득할 수 있다. 예를 들면, 초음파 진단 장치(100)는 복수의 프로브들을 구비할 수 있다. 초음파 진단 장치(100)는 복수의 프로브들 중에서 사용자에 의해 사용되는 프로브를 검출하고, 사용되는 프로브의 타입 정보를 획득할 수 있다. 예를 들면, 초음파 진단 장치(100)는 프로브 홀더에 수용된 제1 프로브를 꺼내는 동작을 감지하고, 감지된 동작에 기초하여, 제1 프로브의 타입 정보를 획득할 수 있다.
초음파 진단 장치(100)는 제1 프로브를 이용하여 제1 초음파 영상을 획득할 수 있다. 초음파 진단 장치(100)는 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면을 인식하고, 제1 단면을 인식한 결과에 기초하여, 제1 초음파 영상에 대응되는 제1 스캔 마크를 획득할 수 있다.
구체적으로, 초음파 진단 장치(100)는 제1 초음파 영상의 획득 시의 대상체와 프로브 간의 제1 위치 관계의 정보를 획득할 수 있다. 초음파 진단 장치(100)는 제1 위치 관계의 정보에 기초하여, 대상체의 제1 바디 마크에 제1 프로브 타입 정보에 대응되는 제1 프로브 마크가 배치된, 제1 스캔 마크를 획득할 수 있다.
대상체의 소정 단면을 스캔할 때 프로브의 타입에 따라 대상체에 프로브를 위치시키는 프로브의 위치 또는 프로브의 방향이 다를 수 있다. 따라서, 초음파 진단 장치(100)는 프로브 타입 정보가 반영된 스캔 마크를 표시할 수 있다.
도 11의 이미지(1110)을 참고하면, 초음파 진단 장치(100)는 제1 프로브의 타입 정보(1111)를 획득할 수 있다. 예를 들면, 제1 프로브의 타입 정보(1111)는 A 타입의 프로브일 수 있다. 초음파 진단 장치(100)는 제1 프로브의 타입 정보(1111) 및 대상체의 제1 바디 마크에 제1 프로브의 타입 정보(1111)에 대응되는 제1 프로브 마크가 배치된 제1 스캔 마크(1112)를 표시할 수 있다.
도 11의 이미지(1120)을 참고하면, 초음파 진단 장치(100)는 제2 프로브의 타입 정보(1121)를 획득할 수 있다. 예를 들면, 제2 프로브의 타입 정보(1121)는 B 타입의 프로브일 수 있다. 초음파 진단 장치(100)는 제2 프로브의 타입 정보(1121) 및 대상체의 제1 바디 마크에 제2 프로브의 타입 정보(1121)에 대응되는 제2 프로브 마크가 배치된 제2 스캔 마크(1122)를 표시할 수 있다.
제1 스캔 마크(1112)와 제2 스캔 마크(1122)는 동일한 바디 마크를 갖지만, 프로브 마크는 다를 수 있다. 제1 스캔 마크(1112) 내의 제1 프로브 마크와 제2 스캔 마크(1122) 내의 제2 프로브 마크의 형태 및 위치는 서로 다를 수 있다.
도 12는 일실시예에 따라, 초음파 진단 장치에서 스캔 마크를 이용하여 대상체의 표준뷰에 대한 초음파 영상을 획득하는 과정을 설명하기 위한 도면이다.
도 12의 이미지(1210)을 참고하면, 초음파 진단 장치(100)는 대상체의 제1 표준뷰에 대한 소정 단면의 초음파 영상을 획득할 수 있다. 그러나, 프로브가 제1 표준뷰를 획득하는 데에 적합한 위치에 위치하지 않으면, 획득된 초음파 영상 내에서 관찰되는 대상체의 소정 단면의 유효성은 낮을 수 있다. 따라서, 획득된 초음파 영상이 제1 표준뷰에 대한 표준 영상과의 매칭률이 소정 수치 미만이면, 도 12의 이미지(1220)에 도시된 바와 같이, 초음파 진단 장치(100)는 제1 표준뷰에 대한 초음파 영상을 다시 획득하도록 가이드 하는 정보를 표시할 수 있다.
예를 들면, 획득된 초음파 영상과 표준 영상 간의 매칭률이 90% 미만이면, 초음파 진단 장치(100)는 표준뷰에 대한 초음파 영상을 다시 획득하도록 가이드 하는 가이드 정보를 표시할 수 있다.
도 12의 이미지(1220)를 참고하면, 초음파 진단 장치(100)는 "현재 획득된 초음파 영상과 제1 표준 영상의 매칭률은 80% 입니다. 정확한 영상을 획득하기 위해, 프로브의 방향을 왼쪽 스캔 마크와 같이 변경해 보세요"라는 메시지를 표시할 수 있다. 또한, 초음파 진단 장치(100)는 제1 표준뷰의 단면 영상을 획득할 때의 대상체와 프로브 간의 위치 관계가 반영된 스캔 마크(1221)를 표시할 수 있다.
도 12의 이미지(1230)을 참고하면, 초음파 진단 장치(100)는 제1 표준뷰에 대한 초음파 영상을 다시 획득할 수 있다. 다시 획득된 초음파 영상과 표준 영상 간의 매칭률이 90% 이상이면, 초음파 진단 장치(100)는 제1 표준뷰에 대한 초음파 영상이 정상적으로 획득되었음을 알리는 정보를 표시할 수 있다.
도 12의 이미지(1240)을 참고하면, 초음파 진단 장치(100)는 제1 표준뷰에 대한 초음파 영상 상에 제1 표준뷰에 대한 스캔 마크(1241)를 표시할 수 있다.
도 13은 일실시예에 따라, 초음파 진단 장치의 구성을 도시한 블록도이다.
도 13에 도시된 바와 같이, 초음파 진단 장치(100)는 프로브(1310), 사용자 인터페이스 장치(1320), 디스플레이(1330), 및 프로세서(1340)를 포함할 수 있다. 그러나, 도시된 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 초음파 진단 장치(100)가 구현될 수 있고, 그보다 적은 구성 요소에 의해서도 초음파 진단 장치(100)가 구현될 수 있다. 이하 상기 구성 요소들에 대해 살펴본다. 도 13에 도시된 초음파 진단 장치(100)는 도 1 및 도 2에서 설명한 초음파 진단 장치(100)와 동일할 수 있다. 또한, 도 13의 초음파 진단 장치(100)는 도 3 내지 도 12에서 설명한 초음파 진단 장치(100)의 동작 방법을 수행할 수 있다.
프로브(1310)는 초음파 신호와 전기 신호를 상호 변환하기 위한 복수의 트랜스듀서 소자들을 포함할 수 있다. 즉, 프로브(1310)는 복수의 트랜스듀서 소자들로 구성된 트랜스듀서 어레이를 포함할 수 있고, 복수의 트랜스듀서 소자들은 1차원 또는 2차원으로 배열될 수 있다. 복수의 트랜스듀서 소자들 각각은 별도로 초음파 신호를 발생시키기도 하고, 복수의 트랜스듀서 소자들이 동시에 초음파 신호를 발생시키기도 한다. 각 트랜스듀서 소자들에서 송신된 초음파 신호는 대상체 내부의 임피던스의 불연속면에서 반사된다. 각 트랜스듀서 소자들은 반사된 초음파 신호를 전기적 수신신호로 변환할 수 있다.
사용자 인터페이스 장치(1320)는 사용자로부터 초음파 진단 장치(100)를 제어하기 위한 데이터 또는 신호를 입력 받는 장치를 의미한다. 프로세서(1340)는 사용자로부터 소정 명령 또는 데이터를 입력 받기 위한 사용자 인터페이스 화면이 생성 및 출력되도록 디스플레이(1330)를 제어할 수 있다.
디스플레이(1330)는 소정 화면을 표시한다. 구체적으로, 디스플레이(1330)는 프로세서(1340)의 제어에 따라서 소정 화면을 표시한다. 디스플레이(1330)는 디스플레이(1330) 패널을 포함하며, 디스플레이(1330) 패널 상으로, 초음파 영상 등을 표시할 수 있다.
한편, 초음파 진단 장치(100)는 메모리(미도시)를 더 포함할 수 있다. 메모리(미도시)는 초음파 진단 장치(100)의 동작 방법을 실행하는 프로그램을 저장할 수 있다. 또한, 메모리(미도시)는 초음파 진단 장치(100)의 동작 방법을 나타낸 코드를 저장할 수 있다.
프로브(1310)는 대상체로 초음파 신호를 송신하고, 대상체로부터 반사된 초음파 신호를 수신할 수 있다. 프로세서(1340)는 반사된 초음파 신호에 기초하여, 대상체의 제1 초음파 영상을 획득할 수 있다. 예를 들면, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관일 수 있다.
프로세서(1340)는, 제1 초음파 영상을 인식한 결과에 기초하여, 제1 스캔 마크를 획득할 수 있다. 프로세서(1340)는 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면을 인식할 수 있다. 프로세서(1340)는 제1 단면을 인식한 결과에 기초하여, 제1 스캔 마크를 획득할 수 있다. 여기서, 제1 스캔 마크는, 대상체와 프로브 간의 제1 위치 관계의 정보에 기초하여, 대상체에 대응되는 제1 바디 마크에 프로브 마크가 배치된 마크일 수 있다.
구체적인 예를 들면, 프로세서(1340)는 대상체에 대응되는 제1 바디 마크를 획득할 수 있다. 프로세서(1340)는 제1 초음파 영상으로부터 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면에 기초하여, 제1 위치 관계의 정보를 획득할 수 있다. 프로세서(1340)는 제1 위치 관계의 정보에 기초하여, 제1 바디 마크에서 프로브 마크가 배치되는 위치 또는 프로브 마크의 각도에 대한 프로브 마크의 제1 정보를 획득할 수 있다. 프로세서(1340)는 프로브 마크의 제1 정보가 반영된 제1 스캔 마크를 획득할 수 있다.
한편, 프로세서(1340)는 사용자 인터페이스 장치(1320)로부터 수신된 사용자 입력에 기초하여, 대상체에 대응되는 제1 바디 마크를 획득할 수 있다. 예를 들면, 사용자 인터페이스 장치(1320)는 소정 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉, 터치 패드 등을 구비하고, 소정 입력을 수신하는 장치일 수 있다. 예를 들면, 사용자 인터페이스 장치(1320)는, 복수의 바디 마크들 중에서 대상체에 대응되는 제1 바디 마크를 선택하는 입력을 수신할 수 있다.
또한, 프로세서(1340)는 초음파 진단 장치(100) 내에 설정된 프리셋에 기초하여, 대상체에 대응되는 제1 바디 마크를 획득할 수 있다. 예를 들면, 프리셋은, 초음파 진단 장치(100)와 관련된 설정 정보가 미리 저장된 것을 의미할 수 있다. 예를 들면, 프리셋은, 초음파 진단 장치(100)를 제어하는 데에 이용되는 적어도 하나의 파라미터들 및 적어도 하나의 파라미터들의 값들이 미리 설정되어 저장된 것을 의미할 수 있다. 예를 들면, 프리셋은, 프로브의 종류 또는 대상체에 따라 각각 설정될 수 있다. 한편, 초음파 진단 장치(100)는 프리셋 기능을 실행시키는 프리셋 버튼을 별도로 구비할 수 있다. 또한, 프로세서(1340)는 프리셋 버튼이 사용자 인터페이스 장치에 표시되도록 제어할 수도 있다. 예를 들면, 사용자 인터페이스 장치(1320)는 간에 대한 프리셋 버튼을 선택하는 입력을 수신할 수 있고, 프로세서(1340)는 간에 대응되는 제1 바디 마크를 획득할 수 있다.
또한, 프로세서(1340)는 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면을 인식한 결과에 기초하여, 대상체에 대응되는 제1 바디 마크를 획득할 수 있다. 예를 들면, 프로세서(1340)는 제1 초음파 영상으로부터 대상체가 관찰되는 제1 단면을 인식할 수 있다. 예를 들면, 제1 단면을 인식한 결과, 제1 단면의 대상체가 간으로 인식된 경우, 프로세서(1340)는 간에 대응되는 제1 바디 마크를 획득할 수 있다.
예를 들면, 프로세서(1340)는 복수의 바디 마크들 중에서, 대상체에 대응되는 제1 바디 마크를 검출할 수 있다. 예를 들면, 복수의 바디 마크들에는, 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관 등에 대한 바디 마크들이 포함될 수 있다. 예를 들어, 대상체가 심장인 경우, 프로세서(1340)는 복수의 바디 마크들 중에서 심장에 대응되는 바디 마크를 검출할 수 있다.
예를 들면, 프로세서(1340)는 제1 초음파 영상에서 관찰되는 대상체의 해부학적 구조에 기초하여, 복수의 대상체들에 대한 복수의 단면들에 대응되는 참조 영상들 중에서 제1 참조 영상을 제1 초음파 영상과 매칭되는 영상으로 결정할 수 있다.
예를 들면, 프로세서(1340)는 참조 영상들에 기초하여 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델을 이용하여, 제1 초음파 영상과 매칭되는 제1 참조 영상을 결정할 수 있다.
여기서, 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델은, 인공 신경망을 통해, 복수의 대상체들에 대한 복수의 단면들에 대응되는 참조 영상들, 및 참조 영상들의 획득 시에 대상체와 프로브(1310) 간의 위치 관계의 상관 관계에 기초하여 학습된 것일 수 있다. 또한, 상기 학습 모델은, 대상체의 바디 마크에 프로브 마크가 배치된 스캔 마크들과 참조 영상들의 상관 관계에 기초하여 학습된 것일 수 있다. 여기서, 스캔 마크는, 참조 영상들의 획득 시의 대상체와 프로브(1310)의 위치 관계에 기초하여 대상체의 바디 마크에 프로브 마크가 배치된 마크일 수 있다.
한편, 프로세서(1340)는 참조 영상들 및 스캔 마크들을 이용하여, 학습 모델을 직접 생성 및 업데이트를 할 수 있다. 또한, 프로세서(1340)는 외부 서버로부터 학습 모델을 획득할 수도 있다.
프로세서(1340)는 제1 단면을 인식한 결과에 기초하여, 제1 스캔 마크를 획득할 수 있다. 예를 들면, 제1 스캔 마크는, 제1 초음파 영상의 획득 시의 대상체와 프로브(1310) 간의 제1 위치 관계의 정보가 반영된 마크일 수 있다. 예를 들면, 제1 위치 관계의 정보는, 제1 초음파 영상의 획득 시의 대상체에 대한 프로브(1310)의 상대적인 위치 및 대상체에 대한 프로브(1310)의 각도 중 적어도 하나의 정보를 포함할 수 있다. 예를 들면, 대상체에 대한 프로브(1310)의 각도의 정보는 프로브(1310) 내의 트랜스듀서의 방향 정보 또는 프로브(1310)의 축의 방향 정보를 포함할 수 있다.
예를 들면, 프로세서(1340)는 제1 위치 관계의 정보에 기초하여, 제1 바디 마크에서 프로브 마크가 배치되는 위치 또는 프로브 마크의 각도에 대한 프로브 마크의 제1 정보를 획득할 수 있다. 예를 들면, 프로브 마크는, 프로브(1310)의 타입에 대응되는 형태로 표시될 수 있다. 또한, 프로브 마크는 프로브(1310) 내의 트랜스듀서의 방향 정보 및 프로브(1310)의 축 방향 정보를 나타내는 지시자로 표시될 수 있다.
프로세서(1340)는 복수의 스캔 마크들 중에서, 프로브 마크의 제1 정보가 반영된 제1 스캔 마크를 획득할 수 있다. 여기서, 복수의 스캔 마크들은 초음파 진단 장치(100)의 메모리(미도시)에 미리 저장될 수 있다.
예를 들면, 프로세서(1340)는 대상체의 표준뷰들에 대한 복수의 참조 단면들을 획득할 수 있다. 예를 들면, 대상체의 표준뷰들은 미리 설정될 수 있고, 사용자에 의해 변경될 수 있다. 프로세서(1340)는 복수의 참조 단면들 각각을 대상체와 프로브(1310)의 간의 위치 관계의 정보가 반영된 스캔 마크의 정보와 매핑하여 메모리(미도시)에 저장할 수 있다. 프로세서(1340)는 제1 단면을 인식한 결과로, 제1 단면에 대응되는 영상을 제1 참조 영상으로 결정할 수 있다. 프로세서(1340)는 제1 참조 영상과 매핑되어 저장된, 제1 스캔 마크를 획득할 수 있다. 여기서, 제1 스캔 마크는 제1 참조 영상의 획득 시의 대상체와 프로브(1310) 간의 위치 관계의 정보가 반영된 마크를 나타낼 수 있다.
예를 들면, 프로세서(1340)는 제1 단면을 인식한 결과에 기초하여, 복수의 스캔 마크들 중에서 제1 위치 관계를 나타내는 제1 스캔 마크를 획득할 수 있다.
디스플레이(1330)는 제1 스캔 마크를 표시할 수 있다.
예를 들면, 디스플레이(1330)는 대상체에 대한 복수의 스캔 마크들 중에서 제1 스캔 마크를 강조하여 표시할 수 있다.
한편, 프로세서(1340)는, 초음파 진단 장치(100)에서 획득된 복수의 초음파 영상들로부터, 대상체에 대한 복수의 참조 단면들에 대응되는 초음파 영상들이 획득되었는지를 확인할 수 있다. 프로세서(1340)는 확인 결과에 기초하여, 복수의 참조 단면들 중에서 생략된 적어도 하나의 참조 단면의 정보를 디스플레이(1330)를 통해 표시할 수 있다.
예를 들면, 디스플레이(1330)는 생략된 적어도 하나의 참조 단면에 대응되는, 적어도 하나의 스캔 마크를 표시할 수 있다. 다른 예를 들면, 디스플레이(1330)는 대상체에 대한 복수의 참조 단면들에 대응되는 초음파 영상들이 획득되었는지를 확인 결과에 기초하여, 획득된 복수의 초음파 영상들의 참조 단면에 대응되는 스캔 마크들과 생략된 적어도 하나의 참조 단면에 대응되는 적어도 하나의 스캔 마크를 구별하여 표시할 수 있다.
또한, 프로세서(1340)는 프로브(1310)의 타입 정보를 획득할 수 있다. 디스플레이(1330)는, 대상체의 제1 바디 마크에 프로브(1310)의 타입 정보에 대응되는 제1 프로브 마크가 배치된, 제1 스캔 마크를 표시할 수 있다. 예를 들면, 프로브(1310)의 타입 정보가 다르면, 제1 스캔 마크에 배치된 프로브 마크가 다를 수 있다. 따라서, 제1 프로브를 이용하여 제1 초음파 영상이 획득된 경우, 디스플레이(1330)는 대상체의 제1 바디 마크에 제1 프로브의 타입 정보에 대응되는 제1 프로브 마크가 배치된 제1 스캔 마크를 표시할 수 있다. 반면에, 제2 프로브를 이용하여 제2 초음파 영상이 획득된 경우, 디스플레이(1330)는 대상체의 제1 바디 마크에 제2 프로브의 타입 정보에 대응되는 제2 프로브 마크가 배치된 제2 스캔 마크를 표시할 수 있다.
이상에서 설명된 초음파 진단 장치(100)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.
이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 프로브에 의해 수신된, 대상체로부터 반사된 초음파 신호에 기초하여, 상기 대상체의 제1 초음파 영상을 획득하는 단계;
    상기 제1 초음파 영상을 인식한 결과에 기초하여, 상기 제1 초음파 영상의 획득 시의 상기 대상체와 상기 프로브 간의 제1 위치 관계의 정보가 반영된, 제1 스캔 마크를 획득하는 단계, -상기 제1 스캔 마크는, 상기 제1 위치 관계의 정보에 기초하여 상기 대상체의 제1 바디 마크에 프로브 마크가 배치된 마크를 나타냄- ; 및
    상기 제1 스캔 마크를 표시하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 제1 위치 관계의 정보는,
    상기 제1 초음파 영상의 획득 시의 상기 대상체에 대한 상기 프로브의 상대적인 위치 및 상기 대상체에 대한 상기 프로브의 각도 중 적어도 하나의 정보를 포함하는, 초음파 진단 장치의 동작 방법.
  3. 제1항에 있어서,
    상기 제1 초음파 영상을 인식한 결과에 기초하여, 상기 제1 위치 관계가 반영된 제1 스캔 마크를 획득하는 단계는,
    상기 대상체에 대응되는 상기 제1 바디 마크를 획득하는 단계;
    상기 제1 초음파 영상으로부터 상기 대상체가 관찰되는 제1 단면에 기초하여, 상기 제1 위치 관계의 정보를 획득하는 단계;
    상기 제1 위치 관계의 정보에 기초하여, 상기 제1 바디 마크에서 상기 프로브 마크가 배치되는 위치 또는 상기 프로브 마크의 각도에 대한 상기 프로브 마크의 제1 정보를 획득하는 단계; 및
    복수의 스캔 마크들 중에서, 상기 프로브 마크의 제1 정보가 반영된 상기 제1 스캔 마크를 획득하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
  4. 제1항에 있어서,
    상기 초음파 진단 장치의 사용자 인터페이스 장치로부터 수신된 사용자 입력에 기초하여, 상기 대상체에 대응되는 상기 제1 바디 마크를 획득하는 단계;
    상기 초음파 진단 장치에 설정된 프리셋에 기초하여, 상기 대상체에 대응되는 상기 제1 바디 마크를 획득하는 단계; 및
    상기 제1 단면을 인식한 결과에 기초하여, 상기 대상체에 대응되는 상기 제1 바디 마크를 획득하는 단계 중 적어도 하나의 단계를 더 포함하는, 초음파 진단 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 초음파 진단 장치에서 획득된 복수의 초음파 영상들로부터, 상기 대상체에 대한 복수의 참조 단면들에 대응되는 초음파 영상들이 획득되었는지를 확인하는 단계; 및
    확인 결과에 기초하여, 상기 복수의 참조 단면들 중에서 생략된 적어도 하나의 참조 단면의 정보를 표시하는 단계를 더 포함하는, 초음파 진단 장치의 동작 방법.
  6. 제5항에 있어서,
    상기 생략된 적어도 하나의 참조 단면의 정보를 표시하는 단계는,
    상기 생략된 적어도 하나의 참조 단면에 대응되는, 적어도 하나의 스캔 마크를 표시하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
  7. 제5항에 있어서,
    상기 생략된 적어도 하나의 참조 단면의 정보를 표시하는 단계는,
    상기 확인 결과에 기초하여, 상기 획득된 복수의 초음파 영상들의 참조 단면에 대응되는 스캔 마크들과 상기 생략된 적어도 하나의 참조 단면에 대응되는 적어도 하나의 스캔 마크를 구별하여 표시하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
  8. 제1항에 있어서,
    상기 제1 스캔 마크를 표시하는 단계는,
    상기 대상체에 대한 복수의 스캔 마크들 중에서 상기 제1 스캔 마크를 강조하여 표시하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
  9. 제1항에 있어서,
    상기 제1 초음파 영상에 기초하여, 상기 제1 스캔 마크를 획득하는 단계는,
    상기 제1 초음파 영상에서 관찰되는 상기 대상체의 해부학적 구조에 기초하여, 하나 이상의 참조 영상 중에서 제1 참조 영상을 상기 제1 초음파 영상과 매칭되는 영상으로 결정하는 단계; 및
    복수의 스캔 마크들 중에서 상기 제1 참조 영상과 매핑되는 상기 제1 스캔 마크를 획득하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 제1 참조 영상을 상기 제1 초음파 영상과 매칭되는 영상으로 결정하는 단계는,
    상기 하나 이상의 참조 영상에 기초하여 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델을 이용하여, 상기 제1 초음파 영상과 매칭되는 상기 제1 참조 영상을 결정하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 소정 영상과 매칭되는 참조 영상을 판별하는 학습 모델은,
    인공 신경망을 통해, 상기 하나 이상의 참조 영상의 획득 시에 상기 대상체와 상기 프로브 간의 위치 관계의 상관 관계에 기초하여 학습된 것인, 초음파 진단 장치의 동작 방법.
  12. 제1항에 있어서,
    상기 대상체의 하나 이상의 참조 단면에 대한 하나 이상의 참조 영상을 획득하는 단계; 및
    상기 하나 이상의 참조 영상을 상기 대상체와 상기 프로브 간의 위치 관계의 정보가 반영된 스캔 마크의 정보와 매핑하여 저장하는 단계를 더 포함하는, 초음파 진단 장치의 동작 방법.
  13. 제1항에 있어서,
    상기 제1 스캔 마크를 표시하는 단계는,
    상기 제1 초음파 영상 상에 상기 제1 스캔 마크를 표시하는 단계; 및
    상기 제1 스캔 마크 및 상기 제1 초음파 영상을 매핑하여 표시하는 단계 중 적어도 하나의 단계를 포함하는, 초음파 진단 장치의 동작 방법.
  14. 대상체로 초음파 신호를 송신하고, 상기 대상체로부터 반사된 초음파 신호를 수신하는 프로브;
    상기 반사된 초음파 신호에 기초하여, 상기 대상체의 제1 초음파 영상을 획득하고, 상기 제1 초음파 영상을 인식한 결과에 기초하여, 상기 제1 초음파 영상의 획득 시의 상기 대상체와 상기 프로브 간의 제1 위치 관계의 정보가 반영된, 제1 스캔 마크를 획득하는 프로세서; 및
    상기 제1 스캔 마크를 표시하는 디스플레이를 포함하고,
    상기 제1 스캔 마크는, 상기 제1 위치 관계의 정보에 기초하여 상기 대상체의 제1 바디 마크에 프로브 마크가 배치된 마크를 나타내는, 초음파 진단 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 대상체에 대응되는 상기 제1 바디 마크를 획득하고,
    상기 제1 초음파 영상으로부터 상기 대상체가 관찰되는 제1 단면에 기초하여, 상기 제1 위치 관계의 정보를 획득하고,
    상기 제1 위치 관계의 정보에 기초하여, 상기 제1 바디 마크에서 상기 프로브 마크가 배치되는 위치 또는 상기 프로브 마크의 각도에 대한 상기 프로브 마크의 제1 정보를 획득하고,
    복수의 스캔 마크들 중에서, 상기 프로브 마크의 제1 정보가 반영된 상기 제1 스캔 마크를 획득하는, 초음파 진단 장치.
PCT/KR2020/018468 2020-02-05 2020-12-16 초음파 진단 장치 및 그 동작 방법 WO2021157851A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/797,405 US20230062672A1 (en) 2020-02-05 2020-12-16 Ultrasonic diagnostic apparatus and method for operating same
EP20917625.4A EP4085845A4 (en) 2020-02-05 2020-12-16 ULTRASONIC DIAGNOSTIC APPARATUS AND METHOD FOR OPERATING IT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200013958A KR20210099967A (ko) 2020-02-05 2020-02-05 초음파 진단 장치 및 그 동작 방법
KR10-2020-0013958 2020-02-05

Publications (1)

Publication Number Publication Date
WO2021157851A1 true WO2021157851A1 (ko) 2021-08-12

Family

ID=77200144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018468 WO2021157851A1 (ko) 2020-02-05 2020-12-16 초음파 진단 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US20230062672A1 (ko)
EP (1) EP4085845A4 (ko)
KR (1) KR20210099967A (ko)
WO (1) WO2021157851A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220111526A (ko) * 2021-02-02 2022-08-09 자이메드 주식회사 실시간 생체 이미지 인식 방법 및 장치
WO2023204610A2 (ko) * 2022-04-19 2023-10-26 주식회사 온택트헬스 심장 초음파에 대한 가이드 방법 및 이를 이용한 심장 초음파에 대한 가이드용 디바이스
US20240023937A1 (en) * 2022-07-19 2024-01-25 EchoNous, Inc. Automation-assisted venous congestion assessment in point of care ultrasound

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004057379A (ja) * 2002-07-26 2004-02-26 Aloka Co Ltd 超音波診断装置
JP2005118142A (ja) * 2003-10-14 2005-05-12 Aloka Co Ltd 超音波診断装置
JP2012245205A (ja) * 2011-05-30 2012-12-13 Ge Medical Systems Global Technology Co Llc 超音波診断装置及びその制御プログラム
JP2016137212A (ja) * 2015-01-29 2016-08-04 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
KR20170098480A (ko) * 2016-02-22 2017-08-30 주식회사 힐세리온 휴대용 초음파 장치를 위한 레퍼런스 영상 제공

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064637A (ja) * 2012-09-25 2014-04-17 Fujifilm Corp 超音波診断装置
KR20160012590A (ko) * 2014-07-24 2016-02-03 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어방법
KR101705120B1 (ko) * 2014-08-28 2017-02-09 삼성전자 주식회사 자가 진단 및 원격 진단을 위한 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
KR101922180B1 (ko) * 2016-12-09 2018-11-26 삼성메디슨 주식회사 초음파 영상 처리 장치 및 초음파 영상 처리 방법
FI3793447T3 (fi) * 2018-05-15 2023-03-18 Univ New York Järjestelmä ja menetelmä ultraäänikuvien ottamisen suuntaamiseksi

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004057379A (ja) * 2002-07-26 2004-02-26 Aloka Co Ltd 超音波診断装置
JP2005118142A (ja) * 2003-10-14 2005-05-12 Aloka Co Ltd 超音波診断装置
JP2012245205A (ja) * 2011-05-30 2012-12-13 Ge Medical Systems Global Technology Co Llc 超音波診断装置及びその制御プログラム
JP2016137212A (ja) * 2015-01-29 2016-08-04 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
KR20170098480A (ko) * 2016-02-22 2017-08-30 주식회사 힐세리온 휴대용 초음파 장치를 위한 레퍼런스 영상 제공

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4085845A4 *

Also Published As

Publication number Publication date
KR20210099967A (ko) 2021-08-13
US20230062672A1 (en) 2023-03-02
EP4085845A1 (en) 2022-11-09
EP4085845A4 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
WO2021157851A1 (ko) 초음파 진단 장치 및 그 동작 방법
WO2021145584A1 (ko) 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
WO2016032298A1 (en) Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus
WO2015002409A1 (en) Method of sharing information in ultrasound imaging
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2020185003A1 (ko) 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
WO2015080522A1 (en) Method and ultrasound apparatus for marking tumor on ultrasound elastography image
WO2019164275A1 (ko) 수술도구 및 카메라의 위치 인식 방법 및 장치
WO2015088277A1 (ko) 초음파 영상 표시 방법 및 장치
WO2018182308A1 (ko) 초음파 진단 장치 및 그 동작 방법
WO2014200230A1 (en) Method and apparatus for image registration
WO2015076508A1 (en) Method and apparatus for displaying ultrasound image
EP3071113A1 (en) Method and apparatus for displaying ultrasound image
EP3073930A1 (en) Method and ultrasound apparatus for marking tumor on ultrasound elastography image
WO2022203229A1 (ko) 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
WO2016006765A1 (ko) 엑스선 장치
WO2016093453A1 (en) Ultrasound diagnostic apparatus and method of operating the same
WO2017179782A1 (ko) 초음파 진단 장치 및 그 제어 방법
WO2016098929A1 (ko) 초음파 영상 장치 및 그 제어방법
WO2017135500A1 (ko) 대상체의 속도를 출력하는 방법 및 이를 위한 초음파 진단 장치
WO2020246773A1 (ko) 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법
WO2018139707A1 (ko) 대상체에 관한 횡파 탄성 데이터를 표시하는 초음파 진단 장치 그 동작 방법
WO2013168930A1 (en) Ultrasonic diagnostic apparatus and control method thereof
WO2021194053A1 (ko) 초음파 진단 장치 및 그 동작 방법
WO2021182726A1 (ko) 초음파 진단 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20917625

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020917625

Country of ref document: EP

Effective date: 20220803

NENP Non-entry into the national phase

Ref country code: DE