WO2022177083A1 - 초음파 영상 제공 방법 및 그 러닝 알고리즘 - Google Patents

초음파 영상 제공 방법 및 그 러닝 알고리즘 Download PDF

Info

Publication number
WO2022177083A1
WO2022177083A1 PCT/KR2021/011063 KR2021011063W WO2022177083A1 WO 2022177083 A1 WO2022177083 A1 WO 2022177083A1 KR 2021011063 W KR2021011063 W KR 2021011063W WO 2022177083 A1 WO2022177083 A1 WO 2022177083A1
Authority
WO
WIPO (PCT)
Prior art keywords
similarity
ultrasound image
providing
ultrasound
measurement item
Prior art date
Application number
PCT/KR2021/011063
Other languages
English (en)
French (fr)
Inventor
권자영
박예진
이진용
박성욱
박진기
이동은
이지훈
최광연
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to EP21926882.8A priority Critical patent/EP4295779A1/en
Priority to CN202180091834.6A priority patent/CN116801813A/zh
Priority to US18/271,118 priority patent/US20240074736A1/en
Publication of WO2022177083A1 publication Critical patent/WO2022177083A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a method for providing an ultrasound image and a learning algorithm thereof.
  • the ultrasound diagnosis apparatus irradiates an ultrasound signal generated from a transducer of a probe to an object, receives a signal reflected from the object, and processes the image, so that at least a measurement item corresponding to the length, circumference, etc. of the object is measured.
  • One ultrasound image may be provided.
  • an ultrasound image represents a cross-section of an object, and a cross-section selection criterion for measuring a measurement item may be different for each user.
  • a technical problem to be solved is to provide an ultrasound image providing method and a learning algorithm capable of automatically providing an ultrasound image for a measurement item by reflecting users' various cross-section selection criteria.
  • a method for providing an ultrasound image includes measuring a plurality of similarities with respect to at least one measurement item in ultrasound images; comparing each of the plurality of similarities with a plurality of default thresholds corresponding to the plurality of similarities; if none of the plurality of similarities is greater than a corresponding default threshold, selecting a measurement item maintaining the highest similarity among the plurality of similarities for a reference time; and providing an ultrasound image for the selected measurement item as an output ultrasound image.
  • the ultrasound image providing method may further include updating the reference time for the selected measurement item based on a scan time in which the greatest similarity is maintained.
  • the reference time for each of the measurement items may be different.
  • the ultrasound image providing method may further include updating the output ultrasound image with the added ultrasound image when an ultrasound image having a higher similarity than the largest similarity is added to the selected measurement item. have.
  • the ultrasound image providing method may further include providing an indicator indicating that the similarity of the selected measurement item is lower than the default threshold with respect to the provided output ultrasound image.
  • a method for providing an ultrasound image includes measuring a plurality of similarities with respect to at least one measurement item in ultrasound images; comparing each of the plurality of similarities with a plurality of default thresholds corresponding to the plurality of similarities; providing a first ultrasound image for a first measurement item having a first similarity greater than a first default threshold as a first output ultrasound image; and after the first output ultrasound image is provided, a second ultrasound image for a second measurement item maintaining the largest second similarity among similarities smaller than the default thresholds for a reference time is provided as a second output ultrasound image including the steps of
  • the ultrasound image providing method may further include updating the reference time for the second measurement item based on a scan time during which the second similarity is maintained.
  • the reference time for each of the measurement items may be different.
  • the ultrasound image providing method may further include updating the first output ultrasound image with the added ultrasound image when an ultrasound image having a higher similarity than the first similarity is added to the first measurement item.
  • the ultrasound image providing method may further include updating the second output ultrasound image with the added ultrasound image when an ultrasound image having a higher similarity than the second similarity is added to the second measurement item.
  • the ultrasound image providing method may further include providing a first indicator indicating that the first similarity is higher than the first default threshold with respect to the first output ultrasound image.
  • the ultrasound image providing method may further include providing a second indicator indicating that the second similarity is lower than a second default threshold with respect to the second output ultrasound image.
  • a method for providing an ultrasound image includes measuring a plurality of similarities with respect to at least one measurement item in ultrasound images; comparing each of the plurality of similarities with a plurality of default thresholds corresponding to the plurality of similarities; if none of the plurality of similarities is greater than a corresponding default threshold, selecting a measurement item that maintains a similarity greater than a reference threshold for a reference time; and providing an ultrasound image for the selected measurement item as an output ultrasound image.
  • the method of providing an ultrasound image may further include updating the reference time for the selected measurement item based on a scan time during which the similarity of the selected measurement item is maintained.
  • the ultrasound image providing method may further include updating the reference threshold for the selected measurement item based on the similarity of the selected measurement item.
  • the reference threshold value may be smaller than the default threshold value both before and after the update.
  • the reference time and the reference threshold value for each of the measurement items may be different from each other.
  • the ultrasound image providing method may further include updating the output ultrasound image with the added ultrasound image when an ultrasound image having a higher similarity than the similarity is added to the selected measurement item.
  • the ultrasound image providing method may further include providing an indicator indicating that the similarity of the selected measurement item is lower than the default threshold with respect to the provided output ultrasound image.
  • a method for providing an ultrasound image includes measuring a plurality of similarities with respect to at least one measurement item in ultrasound images; comparing each of the plurality of similarities with a plurality of default thresholds corresponding to the plurality of similarities; providing a first ultrasound image for a first measurement item having a first similarity greater than a first default threshold as a first output ultrasound image; and providing, as a second output ultrasound image, a second ultrasound image for a second measurement item that maintains a second similarity that is greater than a reference threshold and less than a second default threshold for a reference time after the first ultrasound image is provided. includes steps.
  • the ultrasound image providing method may further include updating the reference time for the second measurement item based on a scan time during which the second similarity is maintained.
  • the ultrasound image providing method may further include updating the reference threshold for the second measurement item based on the second similarity.
  • the reference threshold value may be smaller than the default threshold value both before and after the update.
  • the reference time and the reference threshold value for each of the measurement items may be different from each other.
  • the ultrasound image providing method may further include updating the first output ultrasound image with the added ultrasound image when an ultrasound image having a higher similarity than the first similarity is added to the first measurement item.
  • the ultrasound image providing method may further include updating the second output ultrasound image with the added ultrasound image when an ultrasound image having a higher similarity than the second similarity is added to the second measurement item.
  • the ultrasound image providing method may further include providing a first indicator indicating that the first similarity is higher than the first default threshold with respect to the first ultrasound image.
  • the ultrasound image providing method may further include providing a second indicator indicating that the second similarity is lower than the second default threshold with respect to the second ultrasound image.
  • a learning algorithm including at least one hidden layer between an input layer and an output layer is recorded in the recording medium
  • the learning algorithm may include: receiving ultrasound images as first inputs of the input layer; receiving, as a second input of the input layer, information on ultrasound images maintaining similarity for a first reference time among the ultrasound images; and providing, as a first output of the output layer, whether the ultrasound images include one or more measurement items, based on the first inputs and the second input.
  • the first reference time is information about a first user among a plurality of users
  • the learning algorithm receives first reward information of the first user as a feedback with respect to the first output to the hidden layer. It may further include the step of modifying.
  • the learning algorithm may include: receiving, as a third input of the input layer, information on ultrasound images maintaining similarity for a second reference time among the ultrasound images; and providing, as a second output of the output layer, whether the ultrasound images include the one or more measurement items, based on the first inputs and the third input.
  • the second reference time is information about a second user among the plurality of users, and the learning algorithm receives the second reward information of the second user with respect to the second output and corrects the hidden layer. may further include.
  • the learning algorithm may further include updating the first reference time based on the scan time in which the similarity is maintained.
  • the learning algorithm may further include updating the first reference time based on a difference between a time point at which a last image is input and a time point at which the first image is input among the ultrasound images maintaining the similarity.
  • the ultrasound image providing method and the learning algorithm thereof according to the present invention may automatically provide an ultrasound image for a measurement item by reflecting various cross-section selection criteria of users.
  • FIG. 1 is a block diagram illustrating a configuration of an ultrasound diagnosis apparatus according to an exemplary embodiment of the present invention.
  • FIGS. 2A to 2C are views illustrating an ultrasound diagnosis apparatus according to an exemplary embodiment of the present invention.
  • 3 and 4 are diagrams for explaining a method for providing an ultrasound image according to an embodiment of the present invention.
  • 5 and 6 are diagrams for explaining a method for providing an ultrasound image according to another embodiment of the present invention.
  • FIG. 7 is a view for explaining a display screen of a display unit according to an embodiment of the present invention.
  • FIGS. 8 and 9 are diagrams for explaining a method of providing an ultrasound image according to another embodiment of the present invention.
  • FIGS. 10 and 11 are diagrams for explaining a method for providing an ultrasound image according to another embodiment of the present invention.
  • FIGS. 12 and 13 are diagrams for explaining a learning algorithm according to an embodiment of the present invention.
  • the expression “the same” in the description may mean “substantially the same”. That is, it may be the same degree to which a person with ordinary knowledge can convince as the same.
  • Other expressions may be expressions in which “substantially” is omitted.
  • a part when a part is "connected" to another part, it includes not only a case in which it is directly connected, but also a case in which it is indirectly connected, and the indirect connection refers to being connected through a wireless communication network.
  • first may be referred to as a second component
  • second component may also be referred to as a first component
  • ⁇ part may mean a unit for processing at least one function or operation.
  • the terms may mean at least one process processed by at least one hardware such as a field-programmable gate array (FPGA) / application specific integrated circuit (ASIC), at least one software stored in a memory, or a processor. have.
  • FPGA field-programmable gate array
  • ASIC application specific integrated circuit
  • an image may include a medical image obtained by a medical imaging apparatus such as a magnetic resonance imaging (MRI) apparatus, a computed tomography (CT) apparatus, an ultrasound imaging apparatus, or an X-ray imaging apparatus.
  • MRI magnetic resonance imaging
  • CT computed tomography
  • ultrasound imaging apparatus an ultrasound imaging apparatus
  • X-ray imaging apparatus an X-ray imaging apparatus
  • the term “object” is a subject to be photographed, and may include a person, an animal, or a part thereof.
  • the object may include a part of the body (such as an organ or organ; organ) or a phantom.
  • an “ultrasound image” refers to an image of an object transmitted to and processed based on an ultrasound signal reflected from the object.
  • the ultrasound diagnosis apparatus 100 includes a probe 20 , an ultrasound transceiver 110 , a controller 120 , an image processing unit 130 , a display unit 140 , a storage unit 150 , and a communication unit 160 . ), and an input unit 170 .
  • the ultrasound diagnosis apparatus 100 may be implemented not only as a cart type but also as a portable type.
  • Examples of the portable ultrasound diagnosis apparatus include, but are not limited to, a smart phone including a probe and an application, a laptop computer, a PDA, a tablet PC, and the like.
  • the probe 20 may include a plurality of transducers.
  • the plurality of transducers may transmit an ultrasound signal to the object 10 according to a transmission signal applied from the transmitter 113 .
  • the plurality of transducers may receive the ultrasound signal reflected from the object 10 to form a received signal.
  • the probe 20 may be implemented integrally with the ultrasound diagnosis apparatus 100 or may be implemented as a separate type connected to the ultrasound diagnosis apparatus 100 by wire or wireless.
  • the ultrasound diagnosis apparatus 100 may include one or a plurality of probes 20 according to an implementation form.
  • the controller 120 controls the transmitter 113 to form a transmission signal to be applied to each of the plurality of transducers in consideration of the positions and focal points of the plurality of transducers included in the probe 20 .
  • the control unit 120 converts the received signal received from the probe 20 to analog to digital, considers the positions and focal points of the plurality of transducers, and adds the digitally converted received signals to the receiving unit 115 to generate ultrasound data. ) to control.
  • the image processing unit 130 generates an ultrasound image by using the ultrasound data generated by the ultrasound receiving unit 115 .
  • the display 140 may display the generated ultrasound image and various information processed by the ultrasound diagnosis apparatus 100 .
  • the ultrasound diagnosis apparatus 100 may include one or a plurality of display units 140 according to an implementation form.
  • the display unit 140 may be implemented as a touch screen in combination with a touch panel.
  • the controller 120 may control the overall operation of the ultrasound diagnosis apparatus 100 and a signal flow between internal components of the ultrasound diagnosis apparatus 100 .
  • the controller 120 may include a memory for storing a program or data for performing a function of the ultrasound diagnosis apparatus 100 , and a processor for processing the program or data. Also, the controller 120 may receive a control signal from the input unit 170 or an external device to control the operation of the ultrasound diagnosis apparatus 100 .
  • the ultrasound diagnosis apparatus 100 includes a communication unit 160, and can be connected to an external device (eg, a server, a medical device, a portable device (smartphone, tablet PC, wearable device, etc.)) through the communication unit 160 .
  • an external device eg, a server, a medical device, a portable device (smartphone, tablet PC, wearable device, etc.)
  • the communication unit 160 may include one or more components that enable communication with an external device, and may include, for example, at least one of a short-range communication module, a wired communication module, and a wireless communication module.
  • the communication unit 160 receives a control signal and data from an external device, and transmits the received control signal to the control unit 120 so that the control unit 120 controls the ultrasound diagnosis apparatus 100 according to the received control signal. It is also possible
  • the controller 120 transmits a control signal to the external device through the communication unit 160 , thereby controlling the external device according to the control signal of the controller.
  • the external device may process data of the external device according to a control signal of the controller received through the communication unit.
  • a program (artificial intelligence, etc.) capable of controlling the ultrasound diagnosis apparatus 100 may be installed in the external device, and the program may include a command to perform some or all of the operations of the controller 120 .
  • the program may be pre-installed in an external device, or a user of the external device may download and install the program from a server that provides an application.
  • the server providing the application may include a recording medium in which the corresponding program is stored.
  • the program may include a storage medium of a server or a storage medium of a client device in a system consisting of a server and a client device.
  • the program product may include a storage medium of the third device.
  • the program may include the S/W program itself transmitted from the server to the client device or the third device, or transmitted from the third device to the client device.
  • one of the server, the client device, and the third device may execute the program to perform the method according to the disclosed embodiments.
  • two or more of the server, the client device, and the third device may execute the program to distribute the method according to the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server
  • the storage 150 may store various data or programs for driving and controlling the ultrasound diagnosis apparatus 100 , input/output ultrasound data, an acquired ultrasound image, and the like.
  • the input unit 170 may receive a user input for controlling the ultrasound diagnosis apparatus 100 .
  • the user's input may include an input for manipulating a button, a keypad, a mouse, a trackball, a jog switch, a knob, etc., an input for touching a touch pad or a touch screen, a voice input, a motion input, and an input for biometric information (for example, iris recognition, fingerprint recognition, etc.), but is not limited thereto.
  • FIGS. 2A to 2C An example of the ultrasound diagnosis apparatus 100 according to an exemplary embodiment will be described later with reference to FIGS. 2A to 2C .
  • FIGS. 2A to 2C are views illustrating an ultrasound diagnosis apparatus according to an exemplary embodiment of the present invention.
  • the ultrasound diagnosis apparatuses 100a and 100b may include a main display unit 121 and a sub-display unit 122 .
  • One of the main display unit 121 and the sub display unit 122 may be implemented as a touch screen.
  • the main display unit 121 and the sub display unit 122 may display an ultrasound image or various information processed by the ultrasound diagnosis apparatuses 100a and 100b.
  • the main display unit 121 and the sub display unit 122 are implemented as a touch screen, and by providing a GUI, data for controlling the ultrasound diagnosis apparatuses 100a and 100b can be received from a user.
  • the main display unit 121 may display an ultrasound image
  • the sub display unit 122 may display a control panel for controlling the display of the ultrasound image in the form of a GUI.
  • the sub-display unit 122 may receive data for controlling the display of an image through a control panel displayed in the form of a GUI.
  • the ultrasound diagnosis apparatuses 100a and 100b may control the display of the ultrasound image displayed on the main display unit 121 by using the received control data.
  • the ultrasound diagnosis apparatus 100b may further include a control panel 165 in addition to the main display unit 121 and the sub-display unit 122 .
  • the control panel 165 may include a button, a trackball, a jog switch, a knob, and the like, and may receive data for controlling the ultrasound diagnosis apparatus 100b from a user.
  • the control panel 165 may include a Time Gain Compensation (TGC) button 171 , a Freeze button 172 , and the like.
  • TGC button 171 is a button for setting a TGC value for each depth of an ultrasound image.
  • the ultrasound diagnosis apparatus 100b may maintain a state in which a frame image of the corresponding time point is displayed.
  • buttons, trackballs, jog switches, knobs, etc. included in the control panel 165 may be provided to the main display unit 121 or the sub-display unit 122 as a GUI.
  • the ultrasound diagnosis apparatus 100c may be implemented as a portable type.
  • Examples of the portable ultrasound diagnosis apparatus 100c include, but are not limited to, a smart phone including a probe and an application, a laptop computer, a PDA, a tablet PC, and the like.
  • the ultrasound diagnosis apparatus 100c includes a probe 20 and a main body 40 , and the probe 20 may be connected to one side of the main body 40 by wire or wirelessly.
  • the body 40 may include a touch screen 145 .
  • the touch screen 145 may display an ultrasound image, various information processed by the ultrasound diagnosis apparatus, and a GUI.
  • 3 and 4 are diagrams for explaining a method for providing an ultrasound image according to an embodiment of the present invention.
  • the image processing unit 130 may generate ultrasound images by using the ultrasound data generated by the ultrasound receiver 115 , and the display unit 140 may time-series the ultrasound images.
  • the user may view the display unit 140 and manually select an ultrasound image that meets his/her cross-section selection criteria from among the ultrasound images.
  • the image processing unit 130 may first generate ultrasound images using ultrasound data, and may provide an ultrasound image satisfying a condition among the ultrasound images as an output ultrasound image.
  • the display unit 140 may display the received ultrasound image as a still image on a part of the display screen.
  • the image processing unit 130 may measure a plurality of similarities with respect to at least one or more measurement items in ultrasound images ( S101 ).
  • the ultrasound images may be images generated in chronological order as the user scans the object 10 using the probe 20 .
  • the ultrasound images may be previously stored in the storage unit 150 or may be received from an external device through the communication unit 160 .
  • the plurality of measurement items may be dimensions or indexes of some or all of the object 10 .
  • the plurality of measurement items may correspond to at least one of a length, a circumference, a thickness, an area, a volume, and an index of a part or all of the object 10 .
  • the measurement items are head circumference (HC), a four-chamber view (4CV), and amniotic fluid index (AFI). ), abdomen (abdomen), femur length (FL), and the like.
  • the similarity to the measurement item of the ultrasound image may mean a confidence level when the corresponding measurement item is measured using the ultrasound image.
  • the similarity may be determined by a machine trained classifier, an algorithm that considers the total sum of brightness values or gradient magnitudes of a specific region, an image similarity comparison algorithm, etc. may be used.
  • the algorithm for determining the similarity may use known algorithms of deep learning and machine learning.
  • the image processing unit 130 may compare a plurality of similarities and a plurality of default thresholds corresponding to each of the plurality of similarities ( S102 ).
  • a similarity higher than the default threshold value may indicate that the corresponding ultrasound image is suitable for measuring the corresponding measurement item.
  • a similarity lower than the default threshold value may indicate that the corresponding ultrasound image is not suitable for measuring the corresponding measurement item.
  • the default threshold value may be a threshold value determined empirically to satisfy various users. Default threshold values may be stored in advance in the storage unit 150 . Depending on the embodiment, the default thresholds may be updated.
  • the default threshold values may be independently set for each measurement item.
  • the default threshold values may be set differently for each measurement item.
  • a default threshold value may be set to 0.8 for the head circumference, and a default threshold value may be set to 0.7 for the quadrangular image.
  • some default thresholds may be set equal to each other.
  • the image processing unit 130 may select a measurement item maintaining the greatest similarity among the plurality of similarities for a reference time ( S103 ). .
  • an ultrasound image having a low similarity to a measurement item may be provided to a user, such as a shadow appearing on an ultrasound image due to the posture of a fetus.
  • a user cannot easily change the posture of the fetus, and although the similarity is low, the user can increase the scan time of the probe 20 with a will to acquire the corresponding ultrasound image (or even a slightly better ultrasound image). have.
  • the measurement item that maintains the greatest similarity among the plurality of similarities during the reference time may be a measurement item that the user has a willingness to measure. For example, when it is determined that the similarity of the head circumference is 0.55, the similarity of the four atrium images is 0.5, and the similarity of the thigh length is 0.4 in the ultrasound images within the reference time, the image processing unit 130 selects the head circumference as a measurement item.
  • the reference time may be independently set for each user.
  • the reference time may be set differently for each user.
  • the reference time for each of the plurality of measurement items may be set independently of each other.
  • the reference time for each of the plurality of measurement items may be different from each other.
  • the image processing unit 130 may provide an ultrasound image for the selected measurement item as an output ultrasound image.
  • the image processing unit 130 may provide at least one of ultrasound images captured (generated) for a reference time as an output ultrasound image for the selected measurement item.
  • the image processing unit 130 may provide an ultrasound image having the highest similarity to a selected measurement item among ultrasound images captured (generated) for a reference time as an output ultrasound image.
  • the image processing unit 130 calculates statistics such as a maximum value (Max), an average value (Mean), and a median value (Median) for a selected measurement item among ultrasound images captured (generated) for a reference time.
  • the selected ultrasound image may be provided as an output ultrasound image.
  • the image processing unit 130 outputs a selected ultrasound image using statistics such as a maximum value, an average value, a median value, etc. for the selected measurement item among ultrasound images having a similarity of at least a certain level with respect to the selected measurement item.
  • Ultrasound images can be provided.
  • the image processing unit 130 may automatically provide an ultrasound image for a measurement item by setting an independent reference time for each user, reflecting each user's cross-section selection criteria.
  • the image processing unit 130 may update the reference time for the selected measurement item based on the scan time at which the greatest similarity is maintained ( S105 ).
  • the reference time may be updated to be longer as the scan time is longer, and the reference time may be updated to be shorter as the scan time is shorter.
  • the user used an average of 20 seconds to scan the circumference of the head with the probe 20 in the past, but may now use an average of 15 seconds to scan the circumference of the head.
  • the first user may use an average of 17 seconds to scan the circumference of the head with the probe 20, but the second user may use an average of 12 seconds to scan the circumference of the head.
  • the ultrasound image for the measurement item may be automatically provided by reflecting the cross-section selection criteria of each user.
  • the default threshold values and the reference time may be stored in the storage unit 150 or received from an external device through the communication unit 160 .
  • the image processing unit 130 may update the output ultrasound image with the added ultrasound image. Accordingly, it is possible to help the user to more easily measure the measurement item.
  • the image processing unit 130 may provide an indicator indicating that the similarity of the selected measurement item is lower than a default threshold with respect to the provided ultrasound image. Accordingly, it is possible to give the user a choice, whether to further search for an ultrasound image having a higher similarity or whether to perform a diagnosis using the provided output ultrasound image.
  • 5 and 6 are diagrams for explaining a method for providing an ultrasound image according to another embodiment of the present invention.
  • 7 is a view for explaining a display screen of the display unit 140 according to an embodiment of the present invention.
  • the image processing unit 130 may measure a plurality of similarities of at least one or more measurement items in ultrasound images ( S201 ). Since the step S201 is the same as the step S101 described with reference to FIG. 3 , a redundant description will be omitted.
  • the image processing unit 130 may compare a plurality of similarities and a plurality of default threshold values respectively. In the description of this step, redundant description of the same part as that of step S102 described with reference to FIG. 3 will be omitted. Specifically, the image processing unit 130 may select a measurement item that has not yet been determined ( S202 ) and determine whether the similarity of the selected measurement item is greater than a default threshold value ( S203 ).
  • an ultrasound image for the selected measurement item may be provided as a first output ultrasound image (S204).
  • the image processing unit 130 may provide a first ultrasound image for a first measurement item having a first similarity greater than a first default threshold as a first output ultrasound image.
  • the first measurement item TB1 may be an amniotic fluid index (AFI)
  • the display unit 140 may display the first ultrasound image US12 for the amniotic fluid index (AFI) on a part of the display screen. There is (see Fig. 7).
  • the image processing unit 130 may check whether the determination of all measurement items is finished ( S205 ). For example, when it is confirmed that the femoral length has not yet been determined, the image processing unit 130 may select the thigh length as a measurement item to be determined ( S202 ).
  • the image processing unit 130 determines that the similarity (eg, second similarity) of the selected measurement item (eg, the second measurement item) is smaller than the default threshold (eg, the second default threshold). In step S203 , it may be determined whether the selected measurement item maintains the greatest similarity (eg, second similarity) among similarities smaller than default thresholds for a reference time ( S206 ).
  • the similarity eg, second similarity
  • the default threshold eg, the second default threshold
  • the default threshold value of the sixth measurement item is 0.8
  • the default threshold value of the seventh measurement item is 0.81
  • the default threshold value of the thigh length is set to 0.82
  • the similarity of the sixth measurement item for each reference time is When it is determined that 0.5, the similarity of the seventh measurement item is 0.55, and the similarity of the thigh length is 0.6, the image processing unit 130 may determine that the thigh length maintains the greatest similarity.
  • the image processing unit 130 may provide the ultrasound image for the measurement item (eg, the length of the thigh) as the second output ultrasound image (S207). That is, after the first ultrasound image is provided, the image processing unit 130 generates a second ultrasound image for a second measurement item maintaining the largest second similarity among similarities smaller than default thresholds for a reference time period. It can be provided as an output ultrasound image.
  • the second measurement item TB2 may be the thigh length FL
  • the display unit 140 may display the second ultrasound image US22 for the thigh length FL on a part of the display screen. There is (see Fig. 7).
  • the image processing unit 130 may repeat the above-described steps until the determination of all measurement items is completed (S205 and S202). Referring to FIG. 7 , it is determined that the similarity of the head circumference HC, which is the third measurement item TB3, exceeds the third default threshold value, so that the third ultrasound image US32 is provided, and the fourth measurement item TB4 ), it is determined that the similarity of the four atrium image 4CV exceeds the fourth default threshold, so that the fourth ultrasound image US41 is provided, and the similarity of the fifth measurement item TB5, Abdomen, is the fifth A case in which it is determined that the default threshold value is exceeded and the fifth ultrasound image US51 is provided is illustrated as an example.
  • the image processing unit 130 may automatically provide an ultrasound image for a measurement item by setting an independent reference time for each user, reflecting each user's cross-section selection criteria.
  • the image processing unit 130 may update the reference time for the second measurement item based on the scan time at which the second similarity is maintained ( S208 ).
  • the reference time may be updated to be longer as the scan time is longer, and the reference time may be updated to be shorter as the scan time is shorter.
  • Reference times for each of the plurality of measurement items may be different.
  • the reference time for each of the plurality of users may be different.
  • the ultrasound image for the measurement item may be automatically provided by reflecting the cross-section selection criteria of each user.
  • the default threshold values and the reference time may be stored in the storage unit 150 or received from an external device through the communication unit 160 .
  • the image processing unit 130 may be configured to, when an ultrasound image US11 having a higher similarity than the first similarity is added to the first measurement item TB1, a first output ultrasound image (ie, a first 1) the ultrasound image US12) may be updated with the added ultrasound image US11. Accordingly, it is possible to help the user to more easily measure the measurement item.
  • the display unit 140 simultaneously displays the ultrasound image US11 and the first ultrasound image US12, thereby giving a user a choice for diagnosis.
  • the display unit 140 may display only the ultrasound image US11 without displaying the first ultrasound image US12 any longer.
  • an ultrasound image US31 added to the third measurement item TB3 is also displayed.
  • the image processing unit 130 is configured to, when an ultrasound image US21 having a higher similarity than the second similarity is added to the second measurement item TB2, a second output ultrasound image (ie, the second 2) the ultrasound image US22) may be updated with the added ultrasound image US21. Accordingly, it is possible to help the user to more easily measure the measurement item.
  • the image processing unit 130 may generate a first indicator (eg, the dashed-dotted border of US12 ) indicating that the first similarity is higher than the first default threshold with respect to the first ultrasound image US12 .
  • the image processing unit 130 provides a second indicator (eg, a dotted border of US22) indicating that the second similarity is lower than the second default threshold with respect to the second ultrasound image US22. can do.
  • the image processing unit 130 may be configured with a third indicator (eg, US11) indicating that a similarity (eg, third similarity) is higher than the first similarity with respect to the added ultrasound image US11. of solid borders) can be provided. Accordingly, it is possible to give the user a choice, whether to further search for an ultrasound image having a higher similarity, or whether to perform a diagnosis using the provided ultrasound image.
  • FIGS. 8 and 9 are diagrams for explaining a method of providing an ultrasound image according to another embodiment of the present invention.
  • the image processing unit 130 may measure a plurality of similarities with respect to one or more measurement items in ultrasound images ( S101 ). Next, the image processing unit 130 may compare a plurality of similarities and a plurality of default thresholds corresponding to each of the plurality of similarities ( S102 ). Next, when none of the plurality of similarities is greater than a corresponding default threshold, the image processing unit 130 may select a measurement item that maintains a similarity greater than the reference threshold for a reference time ( S103 ′). Next, the image processing unit 130 may provide an ultrasound image for the selected measurement item as an output ultrasound image (S104).
  • Steps ( S101 , S102 , S104 , and S105 ) of the embodiments of FIGS. 8 and 9 are the same as those described with reference to FIGS. 3 and 4 , and thus redundant descriptions are omitted.
  • a redundant description will be omitted.
  • a condition of a reference threshold value is added.
  • the reference threshold may be smaller than a default threshold.
  • the reference threshold may be independently set for each user.
  • the reference threshold value may be set differently for each user.
  • the reference threshold may be independently set for each measurement item.
  • the reference threshold value may be set differently for each measurement item.
  • the reference threshold value may be stored in the storage unit 150 .
  • the image processing unit 130 may automatically provide an ultrasound image for a measurement item by setting an independent reference threshold value for each user, reflecting each user's cross-section selection criterion. .
  • the image processing unit 130 may update a reference threshold for the selected measurement item based on the similarity of the selected measurement item ( S106 ).
  • the update may be performed to increase the reference threshold as the similarity increases, and may be updated to decrease the reference threshold as the similarity decreases.
  • the reference threshold may be smaller than the default threshold at both a time point before and a time point after the update. According to the present embodiment, by setting a customized reference threshold value to the user, the ultrasound image for the measurement item may be automatically provided by reflecting the cross-section selection criteria of each user.
  • FIGS. 10 and 11 are diagrams for explaining a method for providing an ultrasound image according to another embodiment of the present invention.
  • the image processing unit 130 may measure a plurality of similarities with respect to one or more measurement items in ultrasound images ( S201 ).
  • the image processing unit 130 may compare a plurality of similarities and a plurality of default threshold values corresponding to each of the plurality of similarities ( S202 , S203 , and S205 ).
  • the image processing unit 130 may provide the first ultrasound image for the first measurement item having a first similarity greater than the first default threshold as the first output ultrasound image ( S204 ).
  • the image processing unit 130 outputs a second ultrasound image for a second measurement item that maintains a second similarity that is greater than a reference threshold and less than a second default threshold for a reference time period. It can be provided as an image (S206', S207).
  • Steps S201, S202, S203, S204, S205, S207, and S208 of the embodiments of FIGS. 10 and 11 are the same as those described with reference to FIGS. 5, 6, and 7, and thus redundant descriptions are omitted. .
  • a redundant description will be omitted.
  • a condition of a reference threshold is added.
  • the reference threshold may be smaller than a default threshold.
  • the reference threshold may be independently set for each user.
  • the reference threshold value may be set differently for each user.
  • the reference threshold may be independently set for each measurement item.
  • the reference threshold value may be set differently for each measurement item.
  • the reference threshold value may be stored in the storage unit 150 .
  • the image processing unit 130 may automatically provide an ultrasound image for a measurement item by setting an independent reference threshold value for each user, reflecting each user's cross-section selection criterion. .
  • the image processing unit 130 may update the reference threshold for the second measurement item based on the second similarity ( S209 ).
  • the update may be performed to increase the reference threshold as the second similarity increases, and may be updated to decrease the reference threshold as the second similarity decreases.
  • the reference threshold may be smaller than the default threshold at both a time point before and a time point after the update. According to the present embodiment, by setting a customized reference threshold value to the user, the ultrasound image for the measurement item may be automatically provided by reflecting the cross-section selection criteria of each user.
  • FIGS. 12 and 13 are diagrams for explaining a learning algorithm according to an embodiment of the present invention.
  • a learning algorithm including at least one hidden layer (HDL) between an input layer (INL) and an output layer (OTL) is illustrated by way of example.
  • HDL hidden layer
  • the learning algorithm may be recorded in a recording medium and executed by the ultrasound diagnosis apparatus 100 .
  • the recording medium may correspond to the storage unit 150 of the ultrasound diagnosis apparatus 100 .
  • the recording medium may be embedded in an external server of the ultrasound diagnosis apparatus 100 , and the ultrasound diagnosis apparatus 100 may execute a learning algorithm by communicating with the external server through the communication unit 160 .
  • the recording medium includes all kinds of recording devices in which data, algorithms, or programs that can be read by a computer system can be stored.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, hard disk, external hard disk, SSD, USB storage device, DVD, Blu-ray disk, etc.
  • the computer-readable recording medium may be a combination of a plurality of devices or may be distributed in a computer system connected through a network. Such a recording medium may be a non-transitory computer readable medium.
  • a non-transitory computer-readable recording medium is not a medium that stores data or a program for a short moment, such as a register, cache, memory, etc., but semi-permanently stores data or a program, and refers to a computer-readable medium.
  • the input layer INL may include first inputs IN11 , IN12 , ..., IN1n and a second input IN2 .
  • the hidden layer HDL may include a plurality of nodes ND11, ND12, ND13, ND14, and ND15.
  • the output layer OTL may include first outputs OT11 , OT12 , OT13 , OT14 , and OT15 .
  • the number of inputs, nodes, and outputs may vary depending on the embodiment. Also, whether the layers are all fully connected or connected in another way may vary according to an embodiment.
  • the learning algorithm of the present embodiment may be referred to as shallow learning or deep learning depending on the number of hidden layers (HDL).
  • the learning algorithm may include receiving ultrasound images as first inputs IN11 to IN1n of the input layer INL. Also, the learning algorithm may include receiving, as a second input IN2 of the input layer INL, information on ultrasound images maintaining similarity for a first reference time among ultrasound images.
  • the learning algorithm determines whether the ultrasound images include at least one or more measurement items based on the first inputs IN11 to IN1n and the second input IN2 as a first output of the output layer OTL. It may include the step of providing. In FIG. 11 , it is assumed that the output layer OTL includes first outputs OT11 to OT15 for a plurality of measurement items.
  • the relationship between the first inputs IN11 to IN1n, the second input IN2, and the first outputs OT11 to OT15 includes connection relationships between the layers INL, HDL, and OTL, weights, It may be determined by biases and the like.
  • the first outputs OT11 to OT15 correspond to the head circumference HC, the four atrial image 4CV, the amniotic fluid index (AFI), the abdomen, and the thigh length FL, respectively.
  • the learning algorithm is It may be determined that the ultrasound images correspond to the four atrium image 4CV.
  • the first reference time may be information about a first user among a plurality of users.
  • the learning algorithm receives the first reward information of the first user with respect to the first output (eg, the first outputs OT11 to OT15) and corrects the hidden layer (HDL). It may include further steps.
  • the first reward information is information provided by the first user by observing the first outputs OT11 to OT15, and may be information indicating that the first outputs OT11 to OT15 are correct conclusions or incorrect conclusions.
  • Modifying the hidden layer HDL means modifying at least one of connection relationships, weights, and biases between the aforementioned layers INL, HDL, and OTL.
  • the ultrasound diagnosis apparatus 100 may provide at least one of the ultrasound images as an ultrasound image of a measurement item indicated by the first outputs OT11 to OT15.
  • a customized ultrasound image may be provided to the first user by reflecting the similarity between the first reference time, which is the subjective criterion of the first user, and the measurement item.
  • FIG. 13 a learning algorithm for a second user is illustrated by way of example.
  • descriptions of contents overlapping those of FIG. 12 will be omitted.
  • the input layer INL may include first inputs IN11 , IN12 , ..., IN1n and a third input IN3 .
  • the hidden layer HDL may include a plurality of nodes ND21 , ND22 , ND23 , ND24 , and ND25 .
  • the output layer OTL may include second outputs OT21 , OT22 , OT23 , OT24 , and OT25 .
  • the number of inputs, nodes, and outputs may vary depending on the embodiment.
  • the learning algorithm of the present embodiment may further include receiving, as a third input IN3 of the input layer INL, information on ultrasound images maintaining similarity for a second reference time among ultrasound images.
  • the learning algorithm determines whether the ultrasound images correspond to at least one or more measurement items based on the first inputs IN11 to IN1n and the third input IN3 as a second output of the output layer OTL.
  • the method may further include providing as (eg, second outputs OT21 to OT25).
  • the second reference time may be information about a second user among a plurality of users.
  • the second user is different from the first user.
  • the learning algorithm may further include modifying the hidden layer (HDL) by receiving the second reward information of the second user as feedback for the second output (eg, the second outputs OT21 to OT25). .
  • HDL hidden layer
  • the learning algorithm may provide different outputs depending on the user even for the same first inputs IN11 to IN1n.
  • a customized ultrasound image may be provided for each of a plurality of users by reflecting a reference time, which is a subjective criterion, and a degree of similarity to a measurement item.
  • the learning algorithm may further include updating the first reference time based on the scan time at which the similarity is maintained (eg, the probe scan time of the first user). Similarly, the learning algorithm may further include updating the second reference time based on the scan time at which the similarity is maintained (eg, the probe scan time of the second user).
  • the learning algorithm further performs a step of updating the first reference time based on a difference between a time point at which the last image is input and a time point at which the first image is input among ultrasound images maintaining similarity.
  • the learning algorithm may further include updating the second reference time based on a difference between a time point at which the last image is input and a time point at which the first image is input among ultrasound images maintaining similarity.

Abstract

본 발명의 초음파 영상 제공 방법은, 초음파 영상들을 수신하는 단계; 상기 초음파 영상들 중 적어도 하나에서, 복수의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계; 상기 복수의 유사도들과 대응하는 디폴트 임계값들을 각각 비교하는 단계; 상기 복수의 유사도들 중 어떠한 것도 대응하는 디폴트 임계값 보다 크지 않은 경우, 기준 시간 동안 상기 복수의 유사도들 중 가장 큰 유사도를 유지하는 측정 항목을 선택하는 단계; 및 상기 선택된 측정 항목에 대한 초음파 영상을 초음파 영상으로 제공하는 단계를 포함한다.

Description

초음파 영상 제공 방법 및 그 러닝 알고리즘
본 발명은 초음파 영상 제공 방법 및 그 러닝 알고리즘에 관한 것이다.
초음파 진단 장치는 프로브(probe)의 트랜스듀서(transducer)로부터 생성되는 초음파 신호를 대상체로 조사하고, 대상체로부터 반사된 신호를 수신하여 영상 처리함으로써, 대상체의 길이, 둘레 등에 해당하는 측정 항목에 대한 적어도 하나의 초음파 영상을 제공할 수 있다.
일반적으로 초음파 영상은 대상체의 단면을 표현하는데, 측정 항목을 측정하기 위한 단면 선택 기준은 사용자 마다 다를 수 있다.
측정 항목에 적합한 초음파 영상을 자동으로 선택하는 알고리즘이 제시되고 있으나, 획일적인 단면 선택 기준만 제시됨으로써 사용자들의 다양한 단면 선택 기준을 반영하지 못하는 문제점이 있다.
해결하고자 하는 기술적 과제는, 사용자들의 다양한 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있는 초음파 영상 제공 방법 및 그 러닝 알고리즘을 제공하는 데 있다.
본 발명의 한 실시예에 따른 초음파 영상 제공 방법은, 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계; 상기 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교하는 단계; 상기 복수의 유사도들 중 어떠한 것도 대응하는 디폴트 임계값 보다 크지 않은 경우, 기준 시간 동안 상기 복수의 유사도들 중 가장 큰 유사도를 유지하는 측정 항목을 선택하는 단계; 및 상기 선택된 측정 항목에 대한 초음파 영상을 출력 초음파 영상으로 제공하는 단계를 포함한다.
상기 초음파 영상 제공 방법은, 상기 선택된 측정 항목에 대한 상기 기준 시간을, 상기 가장 큰 유사도가 유지된 스캔 시간에 기초하여 갱신(update)하는 단계를 더 포함할 수 있다.
상기 측정 항목들 각각에 대한 상기 기준 시간은 서로 다를 수 있다.
상기 초음파 영상 제공 방법은, 상기 선택된 측정 항목에 대해서, 상기 가장 큰 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제공된 출력 초음파 영상에 대해서, 상기 선택된 측정 항목의 유사도가 상기 디폴트 임계값보다 낮음을 가리키는 인디케이터를 제공하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 초음파 영상 제공 방법은, 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계; 상기 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교하는 단계; 제1 디폴트 임계값보다 큰 제1 유사도를 갖는 제1 측정 항목에 대한 제1 초음파 영상을 제1 출력 초음파 영상으로 제공하는 단계; 및 상기 제1 출력 초음파 영상이 제공된 이후, 기준 시간 동안 상기 디폴트 임계값들보다 작은 유사도들 중 가장 큰 제2 유사도를 유지하는 제2 측정 항목에 대한 제2 초음파 영상을 제2 출력 초음파 영상으로 제공하는 단계를 포함한다.
상기 초음파 영상 제공 방법은, 상기 제2 측정 항목에 대한 상기 기준 시간을, 상기 제2 유사도가 유지된 스캔 시간에 기초하여 갱신하는 단계를 더 포함할 수 있다.
상기 측정 항목들 각각에 대한 상기 기준 시간은 서로 다를 수 있다.
상기 초음파 영상 제공 방법은, 상기 제1 측정 항목에 대해서, 상기 제1 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 제1 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제2 측정 항목에 대해서, 상기 제2 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 제2 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제1 출력 초음파 영상에 대해서, 상기 제1 유사도가 상기 제1 디폴트 임계값보다 높음을 가리키는 제1 인디케이터를 제공하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제2 출력 초음파 영상에 대해서, 상기 제2 유사도가 제2 디폴트 임계값보다 낮음을 가리키는 제2 인디케이터를 제공하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 초음파 영상 제공 방법은, 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계; 상기 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교하는 단계; 상기 복수의 유사도들 중 어떠한 것도 대응하는 디폴트 임계값 보다 크지 않은 경우, 기준 시간 동안 기준 임계값보다 큰 유사도를 유지하는 측정 항목을 선택하는 단계; 및 상기 선택된 측정 항목에 대한 초음파 영상을 출력 초음파 영상으로 제공하는 단계를 포함한다.
상기 초음파 영상 제공 방법은, 상기 선택된 측정 항목에 대한 상기 기준 시간을, 상기 선택된 측정 항목의 상기 유사도가 유지된 스캔 시간에 기초하여 갱신하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 선택된 측정 항목에 대한 상기 기준 임계값을, 상기 선택된 측정 항목의 상기 유사도에 기초하여 갱신하는 단계를 더 포함할 수 있다.
상기 기준 임계값은 갱신 전 시점 및 갱신 후 시점 모두에서 상기 디폴트 임계값보다 작을 수 있다.
상기 측정 항목들 각각에 대한 상기 기준 시간 및 상기 기준 임계값은 서로 다를 수 있다.
상기 초음파 영상 제공 방법은, 상기 선택된 측정 항목에 대해서, 상기 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제공된 출력 초음파 영상에 대해서, 상기 선택된 측정 항목의 유사도가 상기 디폴트 임계값보다 낮음을 가리키는 인디케이터를 제공하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 초음파 영상 제공 방법은, 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계; 상기 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교하는 단계; 제1 디폴트 임계값보다 큰 제1 유사도를 갖는 제1 측정 항목에 대한 제1 초음파 영상을 제1 출력 초음파 영상으로 제공하는 단계; 및 상기 제1 초음파 영상이 제공된 이후, 기준 시간 동안 기준 임계값보다 크고 제2 디폴트 임계값보다 작은 제2 유사도를 유지하는 제2 측정 항목에 대한 제2 초음파 영상을 제2 출력 초음파 영상으로 제공하는 단계를 포함한다.
상기 초음파 영상 제공 방법은, 상기 제2 측정 항목에 대한 상기 기준 시간을, 상기 제2 유사도가 유지된 스캔 시간에 기초하여 갱신하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제2 측정 항목에 대한 상기 기준 임계값을, 상기 제2 유사도에 기초하여 갱신하는 단계를 더 포함할 수 있다.
상기 기준 임계값은 갱신 전 시점 및 갱신 후 시점 모두에서 상기 디폴트 임계값보다 작을 수 있다.
상기 측정 항목들 각각에 대한 상기 기준 시간 및 상기 기준 임계값은 서로 다를 수 있다.
상기 초음파 영상 제공 방법은, 상기 제1 측정 항목에 대해서, 상기 제1 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 제1 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제2 측정 항목에 대해서, 상기 제2 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 제2 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제1 초음파 영상에 대해서, 상기 제1 유사도가 상기 제1 디폴트 임계값보다 높음을 가리키는 제1 인디케이터를 제공하는 단계를 더 포함할 수 있다.
상기 초음파 영상 제공 방법은, 상기 제2 초음파 영상에 대해서, 상기 제2 유사도가 상기 제2 디폴트 임계값보다 낮음을 가리키는 제2 인디케이터를 제공하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 러닝 알고리즘이 기록된 기록 매체는, 입력 레이어 및 출력 레이어 사이에 적어도 하나의 히든 레이어(hidden layer)를 포함하는 러닝 알고리즘(learning algorithm)이 기록된 기록 매체에 있어서, 상기 러닝 알고리즘은: 초음파 영상들을 상기 입력 레이어의 제1 입력들로서 수신하는 단계; 상기 초음파 영상들 중 제1 기준 시간 동안 유사도를 유지한 초음파 영상들에 대한 정보를 상기 입력 레이어의 제2 입력으로서 수신하는 단계; 및 상기 제1 입력들 및 상기 제2 입력에 기초하여, 상기 초음파 영상들이 적어도 하나 이상의 측정 항목들을 포함하는 지 여부를 상기 출력 레이어의 제1 출력으로서 제공하는 단계를 포함한다.
상기 제1 기준 시간은 복수의 사용자들 중 제1 사용자에 대한 정보이고, 상기 러닝 알고리즘은, 상기 제1 출력에 대해서 상기 제1 사용자의 제1 리워드 정보(first reward information)를 피드백받아 상기 히든 레이어를 수정하는 단계를 더 포함할 수 있다.
상기 러닝 알고리즘은: 상기 초음파 영상들 중 제2 기준 시간 동안 유사도를 유지한 초음파 영상들에 대한 정보를 상기 입력 레이어의 제3 입력으로서 수신하는 단계; 및 상기 제1 입력들 및 상기 제3 입력에 기초하여, 상기 초음파 영상들이 상기 적어도 하나 이상의 측정 항목들을 포함하는 지 여부를 상기 출력 레이어의 제2 출력으로서 제공하는 단계를 더 포함할 수 있다.
상기 제2 기준 시간은 상기 복수의 사용자들 중 제2 사용자에 대한 정보이고, 상기 러닝 알고리즘은, 상기 제2 출력에 대해서 상기 제2 사용자의 제2 리워드 정보를 피드백받아 상기 히든 레이어를 수정하는 단계를 더 포함할 수 있다.
상기 러닝 알고리즘은, 상기 유사도가 유지된 스캔 시간에 기초하여, 상기 제1 기준 시간이 갱신되는 단계를 더 포함할 수 있다.
상기 러닝 알고리즘은, 상기 유사도를 유지한 초음파 영상들 중 마지막 영상이 입력된 시점과 첫 번째 영상이 입력된 시점의 차이에 기초하여, 상기 제1 기준 시간이 갱신되는 단계를 더 포함할 수 있다.
본 발명에 따른 초음파 영상 제공 방법 및 그 러닝 알고리즘은 사용자들의 다양한 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
도 1은 본 발명의 한 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 2의 (a) 내지 (c)는 본 발명의 한 실시예에 따른 초음파 진단 장치를 나타내는 도면들이다.
도 3 및 도 4는 본 발명의 한 실시예에 따른 초음파 영상 제공 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 다른 실시예에 따른 초음파 영상 제공 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 한 실시예에 따른 디스플레이부의 표시 화면을 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 또 다른 실시예에 따른 초음파 영상 제공 방법을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명의 또 다른 실시예에 따른 초음파 영상 제공 방법을 설명하기 위한 도면이다.
도 12 및 도 13은 본 발명의 한 실시예에 따른 러닝 알고리즘을 설명하기 위한 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.
또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 과장되게 나타낼 수 있다.
또한, 설명에서 "동일하다"라고 표현한 것은, "실질적으로 동일하다"는 의미일 수 있다. 즉, 통상의 지식을 가진 자가 동일하다고 납득할 수 있을 정도의 동일함일 수 있다. 그 외의 표현들도 "실질적으로"가 생략된 표현들일 수 있다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.
본 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 본 명세서에서 사용한 "제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(field-programmable gate array) / ASIC(application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
또한, 본 명세서에서 영상은 자기 공명 영상(MRI) 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 또는 엑스레이 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
또한, 본 명세서에서 "대상체(object)"는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
명세서 전체에서 "초음파 영상"이란 대상체로 송신되고, 대상체로부터 반사된 초음파 신호에 근거하여 처리된 대상체(object)에 대한 영상을 의미한다.
이하에서는 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 한 실시예에 따른 초음파 진단 장치(100)의 구성을 도시한 블록도이다. 한 실시예에 따른 초음파 진단 장치(100)는 프로브(20), 초음파 송수신부(110), 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160), 및 입력부(170)를 포함할 수 있다.
초음파 진단 장치(100)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
프로브(20)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(20)는 초음파 진단 장치(100)와 일체형으로 구현되거나, 또는 초음파 진단 장치(100)와 유무선으로 연결되는 분리형으로 구현될수 있다. 또한, 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 프로브(20)를 구비할 수 있다.
제어부(120)는 프로브(20)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.
제어부(120)는 프로브(20)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(115)를 제어 한다.
영상 처리부(130)는 초음파 수신부(115)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.
디스플레이부(140)는 생성된 초음파 영상 및 초음파 진단 장치(100)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(140)를 포함할 수 있다. 또한, 디스플레이부(140)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
제어부(120)는 초음파 진단 장치(100)의 전반적인 동작 및 초음파 진단 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(120)는 초음파 진단 장치(100)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 및 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(120)는 입력부(170) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 진단 장치(100)의 동작을 제어할 수 있다.
초음파 진단 장치(100)는 통신부(160)를 포함하며, 통신부(160)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(160)가 외부 장치로부터 제어 신호 및 데이터를 수신하고, 수신된 제어 신호를 제어부(120)에 전달하여 제어부(120)로 하여금 수신된 제어 신호에 따라 초음파 진단 장치(100)를 제어하도록 하는 것도 가능하다.
또는, 제어부(120)가 통신부(160)를 통해 외부 장치에 제어 신호를 송신함으로써, 외부 장치를 제어부의 제어 신호에 따라 제어하는 것도 가능하다.
예를 들어 외부 장치는 통신부를 통해 수신된 제어부의 제어 신호에 따라 외부 장치의 데이터를 처리할 수 있다.
외부 장치에는 초음파 진단 장치(100)를 제어할 수 있는 프로그램(인공 지능 등)이 설치될 수 있는 바, 이 프로그램은 제어부(120)의 동작의 일부 또는 전부를 수행하는 명령어를 포함할 수 있다.
프로그램은 외부 장치에 미리 설치될 수도 있고, 외부 장치의 사용자가 어플리케이션을 제공하는 서버로부터 프로그램을 다운로드하여 설치하는 것도 가능하다. 어플리케이션을 제공하는 서버에는 해당 프로그램이 저장된 기록매체가 포함될 수 있다.
또한, 프로그램은 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등)가 존재하는 경우, 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 프로그램은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 프로그램을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 프로그램을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 프로그램을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
저장부(150)는 초음파 진단 장치(100)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
입력부(170)는, 초음파 진단 장치(100)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.
일 실시예에 따른 초음파 진단 장치(100)의 예시는 도 2의 (a) 내지 (c)를 통해 후술된다.
도 2의 (a) 내지 (c)는 본 발명의 한 실시예에 따른 초음파 진단 장치를 나타내는 도면들이다.
도 2의 (a) 및 도 2의 (b)를 참조하면, 초음파 진단 장치(100a, 100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122)를 포함할 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 초음파 영상 또는 초음파 진단 장치(100a, 100b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 진단 장치(100a, 100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(121)는 초음파 영상을 표시하고, 서브 디스플레이부(122)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(122)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 진단 장치(100a, 100b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(121)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 2의 (b)를 참조하면, 초음파 진단 장치(100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122) 이외에 컨트롤 패널(165)을 더 포함할 수 있다. 컨트롤 패널(165)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 진단 장치(100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(165)은 TGC(Time Gain Compensation) 버튼(171), Freeze 버튼(172) 등을 포함할 수 있다. TGC 버튼(171)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 진단 장치(100b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(172) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(165)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(121) 또는 서브 디스플레이부(122)에 GUI로 제공될 수 있다.
도 2의 (c)를 참조하면, 초음파 진단 장치(100c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치(100c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 진단 장치(100c)는 프로브(20)와 본체(40)를 포함하며, 프로브(20)는 본체(40)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(40)는 터치 스크린(145)을 포함할 수 있다. 터치 스크린(145)은 초음파 영상, 초음파 진단 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
도 3 및 도 4는 본 발명의 한 실시예에 따른 초음파 영상 제공 방법을 설명하기 위한 도면이다.
전술한 바와 같이, 일반적으로, 영상 처리부(130)는 초음파 수신부(115)에서 생성된 초음파 데이터를 이용하여, 초음파 영상들을 생성할 수 있고, 디스플레이부(140)는 초음파 영상들을 시계열적으로 표시할 수 있다. 이에 따라, 사용자는 디스플레이부(140)를 보고, 초음파 영상들 중 자신의 단면 선택 기준에 부합하는 초음파 영상을 수동으로 선택할 수 있다.
다만, 이하에서는, 영상 처리부(130)에서 사용자의 단면 선택 기준에 부합하는 초음파 영상을 자동으로 선택하는 실시예들을 설명한다. 이러한 실시예들에서 영상 처리부(130)는 초음파 데이터를 이용하여 초음파 영상들을 먼저 생성하고, 초음파 영상들 중 조건을 만족하는 초음파 영상을 출력 초음파 영상으로 제공할 수 있다. 디스플레이부(140)는 수신한 초음파 영상을 표시 화면의 일부에 정지 영상으로써 표시할 수 있다.
먼저, 영상 처리부(130)는 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정할 수 있다(S101).
초음파 영상들은 사용자가 프로브(20)를 이용하여 대상체(10)를 스캔함에 따라 시간 순서로 생성되는 영상들일 수 있다. 다른 예에서, 초음파 영상들은 저장부(150)에 미리 저장되어 있거나, 통신부(160)를 통해서 외부 장치로부터 수신될 수도 있다.
복수의 측정 항목들은 대상체(10)의 일부 또는 전부의 치수(dimension) 또는 지수(index)일 수 있다. 예를 들어, 복수의 측정 항목들은 대상체(10)의 일부 또는 전부의 길이, 둘레, 두께, 면적, 부피, 지수 중 적어도 하나에 해당할 수 있다. 예를 들어, 대상체(10)가 자궁 또는 태아의 전부 또는 일부인 경우, 측정 항목들은 머리 둘레(head circumference, HC), 사심방 영상(4-chamber view, 4CV), 양수 지수(amniotic fluid index, AFI), 복부(abdomen), 대퇴부 길이(femur length, FL) 등일 수 있다.
초음파 영상의 측정 항목에 대한 유사도는, 해당 초음파 영상을 이용하여 해당 측정 항목을 측정했을 때의 신뢰 수준(confidence level)을 의미할 수 있다. 유사도는 기계 학습된 분류기(Machine trained classifier)에 의해 결정 되거나, 특정 영역의 밝기 값 또는 그래디언트 크기(gradient magnitude)의 총 합을 고려하는 알고리즘, 이미지 유사도 비교 알고리즘 등을 이용해서 결정될 수 있다. 유사도를 결정하는 알고리즘은 이미 알려진 딥 러닝(deep learning), 머신 러닝(machine learning)의 알고리즘들을 이용할 수도 있다.
다음으로, 영상 처리부(130)는 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교할 수 있다(S102).
디폴트 임계값보다 높은 유사도는 해당 초음파 영상이 해당 측정 항목을 측정하기에 적합함을 가리킬 수 있다. 디폴트 임계값보다 낮은 유사도는 해당 초음파 영상이 해당 측정 항목을 측정하기에 부적합함을 가리킬 수 있다. 다만, 전술한 바와 같이, 사용자들은 다양한 단면 선택 기준을 갖기 때문에, 모든 사용자들에게 적합한 디폴트 임계값을 미리 설정하는 것은 매우 어려운 일이다. 본 실시예에서 디폴트 임계값은 다양한 사용자들을 만족시킬 수 있도록 경험적으로 결정된 임계값일 수 있다. 디폴트 임계값들은 저장부(150)에 미리 저장될 수 있다. 실시예에 따라, 디폴트 임계값들은 갱신(update)될 수도 있다.
실시예에 따라, 디폴트 임계값들은 측정 항목들마다 독립적으로 설정될 수 있다. 예를 들어, 디폴트 임계값들은 측정 항목들마다 다르게 설정될 수 있다. 예를 들어, 머리 둘레에 대해서는 디폴트 임계값이 0.8로 설정되고, 사심방 영상에 대해서는 디폴트 임계값이 0.7로 설정될 수 있다. 경우에 따라, 몇몇 디폴트 임계값들은 서로 동일하게 설정될 수도 있다.
다음으로, 영상 처리부(130)는, 복수의 유사도들 중 어떠한 것도 대응하는 디폴트 임계값보다 크지 않은 경우, 기준 시간 동안 복수의 유사도들 중 가장 큰 유사도를 유지하는 측정 항목을 선택할 수 있다(S103).
예를 들어, 태아의 자세에 의해서 초음파 영상에 그림자가 나타나는 등, 측정 항목에 대한 유사도가 낮은 초음파 영상이 사용자에게 제공되는 경우가 발생할 수 있다. 이때 사용자는 태아의 자세를 쉽게 바꿀 수는 없다고 판단하고, 비록 유사도는 낮지만 해당 초음파 영상(또는 조금이라도 더 나은 초음파 영상)을 획득하고자 하는 의지를 갖고 프로브(20)의 스캔 시간을 증가시킬 수 있다.
즉, 기준 시간 동안 복수의 유사도들 중 가장 큰 유사도를 유지하는 측정 항목은, 사용자가 측정하고자 하는 의지를 갖는 측정 항목일 수 있다. 예를 들어, 기준 시간 내의 초음파 영상들에서 머리 둘레의 유사도가 0.55, 사심방 영상의 유사도가 0.5, 대퇴부 길이의 유사도가 0.4로 판단되는 경우, 영상 처리부(130)는 머리 둘레를 측정 항목으로 선택할 수 있다.
실시예에 따라, 기준 시간은 사용자들마다 독립적으로 설정될 수 있다. 예를 들어, 기준 시간은 사용자들마다 다르게 설정될 수 있다. 실시예에 따라, 복수의 측정 항목들 각각에 대한 기준 시간은 서로 독립적으로 설정될 수 있다. 예를 들어, 복수의 측정 항목들 각각에 대한 기준 시간은 서로 다를 수 있다.
다음으로, 영상 처리부(130)는 선택된 측정 항목에 대한 초음파 영상을 출력 초음파 영상으로 제공할 수 있다. 한 실시예에서, 영상 처리부(130)는 기준 시간 동안 촬영된(생성된) 초음파 영상들 중 적어도 하나를 선택된 측정 항목에 대한 출력 초음파 영상으로 제공할 수 있다.
한 실시예에서, 영상 처리부(130)는 기준 시간 동안 촬영된(생성된) 초음파 영상들 중 선택된 측정 항목에 대한 유사도가 가장 높은 초음파 영상을 출력 초음파 영상으로 제공할 수 있다. 다른 실시예에서, 영상 처리부(130)는 기준 시간 동안 촬영된(생성된) 초음파 영상들 중 선택된 측정 항목에 대한 최대 값(Max), 평균 값(Mean), 중간 값(Median) 등의 통계를 이용하여 선택된 초음파 영상을 출력 초음파 영상으로 제공할 수 있다. 다른 실시예에서, 영상 처리부(130)는 선택된 측정 항목에 대해 일정 수준 이상의 유사도를 갖는 초음파 영상들 중 선택된 측정 항목에 대한 최대 값, 평균 값, 중간 값 등의 통계를 이용하여 선택된 초음파 영상을 출력 초음파 영상으로 제공할 수 있다.
도 3의 실시예에 따르면, 영상 처리부(130)는 사용자들마다 독립적인 기준 시간을 설정함으로써, 사용자들 각각의 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
도 4를 참조하면, 영상 처리부(130)는 선택된 측정 항목에 대한 기준 시간을, 가장 큰 유사도가 유지된 스캔 시간에 기초하여 갱신(update)할 수 있다(S105). 한 실시예에서, 스캔 시간이 길수록 기준 시간을 길도록 갱신하고, 스캔 시간이 짧아질 수록 기준 시간을 짧아지도록 갱신할 수 있다.
예를 들어, 사용자가 과거에는 머리 둘레를 프로브(20)로 스캔하는데 평균 20초를 이용했으나, 현재는 머리 둘레의 스캐닝에 평균 15초를 이용할 수도 있다. 또한, 제1 사용자가 머리 둘레를 프로브(20)로 스캔하는데 평균 17초를 이용하나, 제2 사용자는 머리 둘레를 스캐닝하는데 평균 12초를 이용할 수도 있다.
본 실시예에 따르면, 사용자에게 맞춤형 기준 시간을 설정함으로써, 사용자들 각각의 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
디폴트 임계값들 및 기준 시간은 저장부(150)에 저장되거나, 통신부(160)를 통해서 외부 장치로부터 수신될 수 있다.
한 실시예에서, 영상 처리부(130)는, 선택된 측정 항목에 대해서, 가장 큰 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 출력 초음파 영상을 추가된 초음파 영상으로 갱신할 수 있다. 이로써, 측정 항목의 측정이 보다 용이하도록 사용자를 도와줄 수 있다.
한 실시예에서, 영상 처리부(130)는, 제공된 초음파 영상에 대해서, 선택된 측정 항목의 유사도가 디폴트 임계값보다 낮음을 가리키는 인디케이터(indicator)를 제공할 수 있다. 이로써, 더 높은 유사도를 갖는 초음파 영상을 더 찾아볼 것인지, 제공된 출력 초음파 영상으로 진단을 할 것인지, 사용자에게 선택지를 줄 수 있다.
도 5 및 도 6은 본 발명의 다른 실시예에 따른 초음파 영상 제공 방법을 설명하기 위한 도면이다. 도 7은 본 발명의 한 실시예에 따른 디스플레이부(140)의 표시 화면을 설명하기 위한 도면이다.
먼저, 영상 처리부(130)는, 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정할 수 있다(S201). 단계(S201)는, 도 3을 참조하여 설명한 단계(S101)과 동일하므로 중복된 설명은 생략한다.
다음으로, 영상 처리부(130)는, 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교할 수 있다. 본 단계의 설명 중, 도 3을 참조하여 설명한 단계(S102)와 동일한 부분에 대한 중복 설명은 생략한다. 구체적으로, 영상 처리부(130)는, 아직 판단되지 않은 측정 항목을 선택하고(S202), 선택된 측정 항목의 유사도가 디폴트 임계값보다 큰 지를 판단할 수 있다(S203).
만약, 선택된 측정 항목(예를 들어, 제1 측정 항목)의 유사도(예를 들어, 제1 유사도)가 디폴트 임계값(예를 들어, 제1 디폴트 임계값)보다 크다면(S203), 영상 처리부(130)는 선택된 측정 항목에 대한 초음파 영상을 제1 출력 초음파 영상으로 제공할 수 있다(S204). 예를 들어, 영상 처리부(130)는 제1 디폴트 임계값보다 큰 제1 유사도를 갖는 제1 측정 항목에 대한 제1 초음파 영상을 제1 출력 초음파 영상으로 제공할 수 있다. 예를 들어, 제1 측정 항목(TB1)은 양수 지수(AFI)일 수 있고, 디스플레이부(140)는 양수 지수(AFI)에 대한 제1 초음파 영상(US12)을 표시 화면 중 일부에 표시할 수 있다(도 7 참조).
다음으로, 영상 처리부(130)는, 모든 측정 항목들에 대한 판단이 종료되었는지 확인할 수 있다(S205). 예를 들어, 영상 처리부(130)는 대퇴부 길이에 대한 판단이 아직 안된 것을 확인한 경우, 대퇴부 길이를 판단 대상인 측정 항목으로 선택할 수 있다(S202).
다음으로, 영상 처리부(130)는 선택된 측정 항목(예를 들어, 제2 측정 항목)의 유사도(예를 들어, 제2 유사도)가 디폴트 임계값(예를 들어, 제2 디폴트 임계값)보다 작다면(S203), 선택된 측정 항목이 기준 시간 동안 디폴트 임계값들보다 작은 유사도들 중 가장 큰 유사도(예를 들어, 제2 유사도)를 유지했는 지를 판단할 수 있다(S206).
예를 들어, 제6 측정 항목의 디폴트 임계값이 0.8, 제7 측정 항목의 디폴트 임계값이 0.81, 대퇴부 길이의 디폴트 임계값이 0.82로 설정되고, 각각의 기준 시간 동안 제6 측정 항목의 유사도가 0.5, 제7 측정 항목의 유사도가 0.55, 대퇴부 길이의 유사도가 0.6으로 판단되는 경우, 영상 처리부(130)는 대퇴부 길이가 가장 큰 유사도를 유지했다고 판단할 수 있다.
이에 따라서, 영상 처리부(130)는, 측정 항목(예를 들어, 대퇴부 길이)에 대한 초음파 영상을 제2 출력 초음파 영상으로 제공할 수 있다(S207). 즉, 영상 처리부(130)는, 제1 초음파 영상이 제공된 이후, 기준 시간 동안 디폴트 임계값들보다 작은 유사도들 중 가장 큰 제2 유사도를 유지하는 제2 측정 항목에 대한 제2 초음파 영상을 제2 출력 초음파 영상으로 제공할 수 있다. 예를 들어, 제2 측정 항목(TB2)은 대퇴부 길이(FL)일 수 있고, 디스플레이부(140)는 대퇴부 길이(FL)에 대한 제2 초음파 영상(US22)을 표시 화면 중 일부에 표시할 수 있다(도 7 참조).
영상 처리부(130)는 모든 측정 항목들에 대한 판단을 완료할 때까지(S205, S202) 전술한 단계들을 반복할 수 있다. 도 7을 참조하면, 제3 측정 항목(TB3)인 머리 둘레(HC)의 유사도는 제3 디폴트 임계값을 초과한 것으로 판단되어 제3 초음파 영상(US32)이 제공되고, 제4 측정 항목(TB4)인 사심방 영상(4CV)의 유사도는 제4 디폴트 임계값을 초과한 것으로 판단되어 제4 초음파 영상(US41)이 제공되고, 제5 측정 항목(TB5)인 복부(Abdomen)의 유사도는 제5 디폴트 임계값을 초과한 것으로 판단되어 제5 초음파 영상(US51)이 제공된 경우가 예시적으로 도시된다.
도 5의 실시예에 따르면, 영상 처리부(130)는 사용자들마다 독립적인 기준 시간을 설정함으로써, 사용자들 각각의 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
도 6을 참조하면, 영상 처리부(130)는 제2 측정 항목에 대한 기준 시간을, 제2 유사도가 유지된 스캔 시간에 기초하여 갱신할 수 있다(S208). 한 실시예에서, 스캔 시간이 길수록 기준 시간을 길도록 갱신하고, 스캔 시간이 짧아질 수록 기준 시간을 짧아지도록 갱신할 수 있다.
복수의 측정 항목들 각각에 대한 기준 시간은 서로 다를 수 있다. 복수의 사용자들 각각에 대한 기준 시간은 서로 다를 수 있다. 본 실시예에 따르면, 사용자에게 맞춤형 기준 시간을 설정함으로써, 사용자들 각각의 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
디폴트 임계값들 및 기준 시간은 저장부(150)에 저장되거나, 통신부(160)를 통해서 외부 장치로부터 수신될 수 있다.
한 실시예에서, 영상 처리부(130)는, 제1 측정 항목(TB1)에 대해서, 제1 유사도보다 더 높은 유사도를 갖는 초음파 영상(US11)이 추가되는 경우, 제1 출력 초음파 영상(즉, 제1 초음파 영상(US12))을 추가된 초음파 영상(US11)으로 갱신할 수 있다. 이로써, 측정 항목의 측정이 보다 용이하도록 사용자를 도와줄 수 있다.
예를 들어, 도 7과 같이, 디스플레이부(140)는 초음파 영상(US11)과 제1 초음파 영상(US12)을 동시에 표시함으로써, 사용자의 진단에 선택지를 줄 수 있다. 다른 예에서, 디스플레이부(140)는 제1 초음파 영상(US12)을 더 이상 표시하지 않고, 초음파 영상(US11)만 표시할 수도 있다. 도 7의 예시에서는, 제3 측정 항목(TB3)에 대해서도 추가된 초음파 영상(US31)이 표시된다.
한 실시예에서, 영상 처리부(130)는, 제2 측정 항목(TB2)에 대해서, 제2 유사도보다 더 높은 유사도를 갖는 초음파 영상(US21)이 추가되는 경우, 제2 출력 초음파 영상(즉, 제2 초음파 영상(US22))을 추가된 초음파 영상(US21)으로 갱신할 수 있다. 이로써, 측정 항목의 측정이 보다 용이하도록 사용자를 도와줄 수 있다.
한 실시예에서, 영상 처리부(130)는, 제1 초음파 영상(US12)에 대해서, 제1 유사도가 제1 디폴트 임계값보다 높음을 가리키는 제1 인디케이터(예를 들어, US12의 일점 쇄선 테두리)를 제공할 수 있다. 한 실시예에서, 영상 처리부(130)는, 제2 초음파 영상(US22)에 대해서, 제2 유사도가 제2 디폴트 임계값보다 낮음을 가리키는 제2 인디케이터(예를 들어, US22의 점선 테두리)를 제공할 수 있다. 한 실시예에서, 영상 처리부(130)는, 추가된 초음파 영상(US11)에 대해서, 그 유사도(예를 들어, 제3 유사도)가 제1 유사도보다 높음을 가리키는 제3 인디케이터(예를 들어, US11의 실선 테두리)를 제공할 수 있다. 이로써, 더 높은 유사도를 갖는 초음파 영상을 더 찾아볼 것인지, 제공된 초음파 영상으로 진단을 할 것인지, 사용자에게 선택지를 줄 수 있다.
도 8 및 도 9는 본 발명의 또 다른 실시예에 따른 초음파 영상 제공 방법을 설명하기 위한 도면이다.
도 8의 실시예를 참조하면, 영상 처리부(130)는 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정할 수 있다(S101). 다음으로, 영상 처리부(130)는 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교할 수 있다(S102). 다음으로, 영상 처리부(130)는 복수의 유사도들 중 어떠한 것도 대응하는 디폴트 임계값 보다 크지 않은 경우, 기준 시간 동안 기준 임계값보다 큰 유사도를 유지하는 측정 항목을 선택할 수 있다(S103'). 다음으로, 영상 처리부(130)는 선택된 측정 항목에 대한 초음파 영상을 출력 초음파 영상으로 제공할 수 있다(S104).
도 8 및 도 9의 실시예 중 단계들(S101, S102, S104, S105)은 도 3 및 도 4를 참조하여 설명한 바와 동일하므로, 중복된 설명은 생략한다. 그 외에, 도 3 및 도 4를 참조하여 설명한 모든 내용은 도 8 및 도 9의 실시예에 적용될 수 있으므로, 중복된 설명은 생략한다.
도 8의 단계(S103')을 참조하면, 도 3의 단계(S103)과 비교했을 때, 기준 임계값의 조건이 추가되었다. 기준 임계값은 디폴트 임계값보다 작을 수 있다. 기준 임계값은 사용자들마다 독립적으로 설정될 수 있다. 예를 들어, 기준 임계값은 사용자들마다 다르게 설정될 수 있다. 기준 임계값은 측정 항목들마다 독립적으로 설정될 수 있다. 예를 들어, 기준 임계값은 측정 항목들마다 다르게 설정될 수 있다. 기준 임계값은 저장부(150)에 저장될 수 있다.
도 8의 실시예에 따르면, 영상 처리부(130)는 사용자들 마다 독립적인 기준 임계값을 설정함으로써, 사용자들 각각의 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
도 9를 참조하면, 영상 처리부(130)는, 선택된 측정 항목에 대한 기준 임계값을, 선택된 측정 항목의 유사도에 기초하여 갱신할 수 있다(S106). 한 실시예에서, 유사도가 증가할수록 기준 임계값을 증가시키도록 갱신하고, 유사도가 감소할수록 기준 임계값을 감소시키도록 갱신할 수 있다.
기준 임계값은 갱신 전 시점 및 갱신 후 시점 모두에서 디폴트 임계값보다 작을 수 있다. 본 실시예에 따르면, 사용자에게 맞춤형 기준 임계값을 설정함으로써, 사용자들 각각의 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
도 10 및 도 11은 본 발명의 또 다른 실시예에 따른 초음파 영상 제공 방법을 설명하기 위한 도면이다.
도 10의 실시예를 참조하면, 영상 처리부(130)는 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정할 수 있다(S201). 영상 처리부(130)는 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교할 수 있다(S202, S203, S205). 영상 처리부(130)는 제1 디폴트 임계값보다 큰 제1 유사도를 갖는 제1 측정 항목에 대한 제1 초음파 영상을 제1 출력 초음파 영상으로 제공할 수 있다(S204). 영상 처리부(130)는 제1 초음파 영상이 제공된 이후, 기준 시간 동안 기준 임계값보다 크고 제2 디폴트 임계값보다 작은 제2 유사도를 유지하는 제2 측정 항목에 대한 제2 초음파 영상을 제2 출력 초음파 영상으로 제공할 수 있다(S206', S207).
도 10 및 도 11의 실시예 중 단계들(S201, S202, S203, S204, S205, S207, S208)은 도 5, 도 6, 및 도 7을 참조하여 설명한 바와 동일하므로, 중복된 설명은 생략한다. 그 외에, 도 5, 도 6, 및 도 7을 참조하여 설명한 모든 내용은 도 10 및 도 11의 실시예에 적용될 수 있으므로, 중복된 설명은 생략한다.
도 10의 단계(S206')을 참조하면, 도 5의 단계(S206)과 비교했을 때, 기준 임계값의 조건이 추가되었다. 기준 임계값은 디폴트 임계값보다 작을 수 있다. 기준 임계값은 사용자들마다 독립적으로 설정될 수 있다. 예를 들어, 기준 임계값은 사용자들마다 다르게 설정될 수 있다. 기준 임계값은 측정 항목들마다 독립적으로 설정될 수 있다. 예를 들어, 기준 임계값은 측정 항목들마다 다르게 설정될 수 있다. 기준 임계값은 저장부(150)에 저장될 수 있다.
도 10의 실시예에 따르면, 영상 처리부(130)는 사용자들 마다 독립적인 기준 임계값을 설정함으로써, 사용자들 각각의 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
도 11을 참조하면, 영상 처리부(130)는, 제2 측정 항목에 대한 기준 임계값을, 제2 유사도에 기초하여 갱신할 수 있다(S209). 한 실시예에서, 제2 유사도가 증가할수록 기준 임계값을 증가시키도록 갱신하고, 제2 유사도가 감소할수록 기준 임계값을 감소시키도록 갱신할 수 있다. 기준 임계값은 갱신 전 시점 및 갱신 후 시점 모두에서 디폴트 임계값보다 작을 수 있다. 본 실시예에 따르면, 사용자에게 맞춤형 기준 임계값을 설정함으로써, 사용자들 각각의 단면 선택 기준을 반영하여, 측정 항목에 대한 초음파 영상을 자동으로 제공할 수 있다.
도 12 및 도 13은 본 발명의 한 실시예에 따른 러닝 알고리즘을 설명하기 위한 도면이다.
도 12를 참조하면, 입력 레이어(INL) 및 출력 레이어(OTL) 사이에 적어도 하나의 히든 레이어(hidden layer, HDL)를 포함하는 러닝 알고리즘(learning algorithm)이 예시적으로 도시된다.
러닝 알고리즘은 기록 매체에 기록되어, 초음파 진단 장치(100)에 의해서 실행될 수 있다. 기록 매체는 초음파 진단 장치(100)의 저장부(150)에 해당할 수도 있다. 한편 기록 매체는 초음파 진단 장치(100)의 외부 서버에 내장되고, 초음파 진단 장치(100)는 통신부(160)를 통해서 외부 서버와 통신함으로써 러닝 알고리즘을 실행할 수도 있다.
기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터, 알고리즘, 또는 프로그램이 저장될 수 있는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드디스크, 외장하드디스크, SSD, USB 저장 장치, DVD, 블루레이 디스크 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 복수 장치의 조합일 수도 있으며, 네트워크로 연결된 컴퓨터 시스템에 분산되어 있을 수도 있다. 이러한 기록매체는 비일시적인 컴퓨터로 읽을 수 있는 기록매체(non-transitory computer readable medium)일 수 있다. 비일시적인 컴퓨터로 읽을 수 있는 기록매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터 또는 프로그램을 저장하는 매체가 아니라 반영구적으로 데이터 또는 프로그램을 저장하며, 컴퓨터에 의해 판독가능한 매체를 의미한다.
입력 레이어(INL)는 제1 입력들(IN11, IN12, ..., IN1n) 및 제2 입력(IN2)을 포함할 수 있다. 히든 레이어(HDL)는 복수의 노드들(ND11, ND12, ND13, ND14, ND15)을 포함할 수 있다. 출력 레이어(OTL)는 제1 출력들(OT11, OT12, OT13, OT14, OT15)을 포함할 수 있다. 입력들, 노드들, 및 출력들의 개수는 실시예에 따라 달라질 수 있다. 또한, 레이어들이 모두 풀리 커넥티드(fully connected)될 것인지 또는 다른 방식으로 연결된 것인지는 실시예에 따라 달라질 수 있다. 본 실시예의 러닝 알고리즘은 히든 레이어(HDL)의 개수에 따라 얕은 러닝(shallow learning)으로 지칭되기도 하고, 딥 러닝(deep learning)으로 지칭될 수도 있다.
러닝 알고리즘은, 초음파 영상들을 입력 레이어(INL)의 제1 입력들(IN11~IN1n)로서 수신하는 단계를 포함할 수 있다. 또한, 러닝 알고리즘은, 초음파 영상들 중 제1 기준 시간 동안 유사도를 유지한 초음파 영상들에 대한 정보를 입력 레이어(INL)의 제2 입력(IN2)으로서 수신하는 단계를 포함할 수 있다.
또한, 러닝 알고리즘은, 제1 입력들(IN11~IN1n) 및 제2 입력(IN2)에 기초하여, 초음파 영상들이 적어도 하나 이상의 측정 항목들을 포함하는 지 여부를 출력 레이어(OTL)의 제1 출력으로서 제공하는 단계를 포함할 수 있다. 도 11에서는 출력 레이어(OTL)가 복수의 측정 항목들에 대한 제1 출력들(OT11~OT15)을 포함하는 경우를 가정한다.
제1 입력들(IN11~IN1n), 제2 입력(IN2), 및 제1 출력들(OT11~OT15)의 관계는 레이어들(INL, HDL, OTL) 간의 연결 관계들, 가중치들(weights), 바이어스들(biases) 등에 의해서 정해질 수 있다.
예를 들어, 제1 출력들(OT11~OT15)이 머리 둘레(HC), 사심방 영상(4CV), 양수 지수(AFI), 복부(abdomen), 및 대퇴부 길이(FL)에 각각 대응한다고 가정한다. 이때 제1 출력(OT11)이 0, 제1 출력(OT12)이 1, 제1 출력(OT13)이 0, 제1 출력(OT14)이 0, 제1 출력(OT15)이 0이라면, 러닝 알고리즘은 초음파 영상들이 사심방 영상(4CV)에 대응한다고 결정할 수 있다.
한 실시예에 따르면, 제1 기준 시간은 복수의 사용자들 중 제1 사용자에 대한 정보일 수 있다. 이때, 러닝 알고리즘은, 제1 출력(예를 들어, 제1 출력들(OT11~OT15))에 대해서 제1 사용자의 제1 리워드 정보(first reward information)를 피드백받아 히든 레이어(HDL)를 수정하는 단계를 더 포함할 수 있다.
제1 리워드 정보는 제1 사용자가 제1 출력들(OT11~OT15)을 관찰하여 제공하는 정보로서, 제1 출력들(OT11~OT15)이 올바른 결론임 또는 잘못된 결론임을 가리키는 정보일 수 있다.
히든 레이어(HDL)를 수정한다는 것은, 전술한 레이어들(INL, HDL, OTL) 간의 연결 관계들, 가중치들, 바이어스들 중 적어도 하나를 수정한다는 것을 의미한다.
초음파 진단 장치(100)는 초음파 영상들 중 적어도 하나를 제1 출력들(OT11~OT15)이 가리키는 측정 항목에 대한 초음파 영상으로서 제공할 수 있다. 본 실시예에 의하면, 제1 사용자의 주관적인 기준인 제1 기준 시간과 측정 항목에 대한 유사도를 반영하여, 제1 사용자에게 맞춤형 초음파 영상을 제공할 수 있다.
도 13을 참조하면, 제2 사용자에 대한 러닝 알고리즘이 예시적으로 도시된다. 도 13을 설명함에 있어서, 도 12와 중복되는 내용은 설명을 생략한다.
입력 레이어(INL)는 제1 입력들(IN11, IN12, ..., IN1n) 및 제3 입력(IN3)을 포함할 수 있다. 히든 레이어(HDL)는 복수의 노드들(ND21, ND22, ND23, ND24, ND25)을 포함할 수 있다. 출력 레이어(OTL)는 제2 출력들(OT21, OT22, OT23, OT24, OT25)을 포함할 수 있다. 입력들, 노드들, 및 출력들의 개수는 실시예에 따라 달라질 수 있다.
본 실시예의 러닝 알고리즘은, 초음파 영상들 중 제2 기준 시간 동안 유사도를 유지한 초음파 영상들에 대한 정보를 입력 레이어(INL)의 제3 입력(IN3)으로서 수신하는 단계를 더 포함할 수 있다. 또한, 러닝 알고리즘은, 제1 입력들(IN11~IN1n) 및 제3 입력(IN3)에 기초하여, 초음파 영상들이 적어도 하나 이상의 측정 항목들에 대응하는 지 여부를 출력 레이어(OTL)의 제2 출력(예를 들어, 제2 출력들(OT21~OT25))으로서 제공하는 단계를 더 포함할 수 있다.
제2 기준 시간은 복수의 사용자들 중 제2 사용자에 대한 정보일 수 있다. 제2 사용자는 제1 사용자와 다른 사람이다. 러닝 알고리즘은, 제2 출력(예를 들어, 제2 출력들(OT21~OT25))에 대해서 제2 사용자의 제2 리워드 정보를 피드백받아 히든 레이어(HDL)를 수정하는 단계를 더 포함할 수 있다.
본 실시예에 의하면, 러닝 알고리즘은, 동일한 제1 입력들(IN11~IN1n)에 대해서도 사용자에 따라서 다른 출력들을 제공할 수 있다. 본 실시예에 의하면, 복수의 사용자들 각각에 대해서, 주관적인 기준인 기준 시간과 측정 항목에 대한 유사도를 반영하여, 맞춤형 초음파 영상을 제공할 수 있다.
본 발명의 한 실시예에 따르면, 러닝 알고리즘은 유사도가 유지된 스캔 시간(예를 들어, 제1 사용자의 프로브 스캔 시간)에 기초하여, 제1 기준 시간이 갱신되는 단계를 더 포함할 수 있다. 유사하게, 러닝 알고리즘은 유사도가 유지된 스캔 시간(예를 들어, 제2 사용자의 프로브 스캔 시간)에 기초하여, 제2 기준 시간이 갱신되는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따르면, 러닝 알고리즘은 유사도를 유지한 초음파 영상들 중 마지막 영상이 입력된 시점과 첫 번째 영상이 입력된 시점의 차이에 기초하여, 제1 기준 시간이 갱신되는 단계를 더 포함할 수 있다. 유사하게, 러닝 알고리즘은 유사도를 유지한 초음파 영상들 중 마지막 영상이 입력된 시점과 첫 번째 영상이 입력된 시점의 차이에 기초하여, 제2 기준 시간이 갱신되는 단계를 더 포함할 수 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (34)

  1. 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계;
    상기 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교하는 단계;
    상기 복수의 유사도들 중 어떠한 것도 대응하는 디폴트 임계값 보다 크지 않은 경우, 기준 시간 동안 상기 복수의 유사도들 중 가장 큰 유사도를 유지하는 측정 항목을 선택하는 단계; 및
    상기 선택된 측정 항목에 대한 초음파 영상을 출력 초음파 영상으로 제공하는 단계를 포함하는,
    초음파 영상 제공 방법.
  2. 제1 항에 있어서,
    상기 선택된 측정 항목에 대한 상기 기준 시간을, 상기 가장 큰 유사도가 유지된 스캔 시간에 기초하여 갱신(update)하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  3. 제2 항에 있어서,
    상기 측정 항목들 각각에 대한 상기 기준 시간은 서로 다른,
    초음파 영상 제공 방법.
  4. 제1 항에 있어서,
    상기 선택된 측정 항목에 대해서, 상기 가장 큰 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  5. 제1 항에 있어서,
    상기 제공된 출력 초음파 영상에 대해서, 상기 선택된 측정 항목의 유사도가 상기 디폴트 임계값보다 낮음을 가리키는 인디케이터를 제공하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  6. 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계;
    상기 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교하는 단계;
    제1 디폴트 임계값보다 큰 제1 유사도를 갖는 제1 측정 항목에 대한 제1 초음파 영상을 제1 출력 초음파 영상으로 제공하는 단계; 및
    상기 제1 출력 초음파 영상이 제공된 이후, 기준 시간 동안 상기 디폴트 임계값들보다 작은 유사도들 중 가장 큰 제2 유사도를 유지하는 제2 측정 항목에 대한 제2 초음파 영상을 제2 출력 초음파 영상으로 제공하는 단계를 포함하는,
    초음파 영상 제공 방법.
  7. 제6 항에 있어서,
    상기 제2 측정 항목에 대한 상기 기준 시간을, 상기 제2 유사도가 유지된 스캔 시간에 기초하여 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  8. 제7 항에 있어서,
    상기 측정 항목들 각각에 대한 상기 기준 시간은 서로 다른,
    초음파 영상 제공 방법.
  9. 제6 항에 있어서,
    상기 제1 측정 항목에 대해서, 상기 제1 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 제1 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  10. 제6 항에 있어서,
    상기 제2 측정 항목에 대해서, 상기 제2 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 제2 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  11. 제6 항에 있어서,
    상기 제1 출력 초음파 영상에 대해서, 상기 제1 유사도가 상기 제1 디폴트 임계값보다 높음을 가리키는 제1 인디케이터를 제공하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  12. 제11 항에 있어서,
    상기 제2 출력 초음파 영상에 대해서, 상기 제2 유사도가 제2 디폴트 임계값보다 낮음을 가리키는 제2 인디케이터를 제공하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  13. 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계;
    상기 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교하는 단계;
    상기 복수의 유사도들 중 어떠한 것도 대응하는 디폴트 임계값 보다 크지 않은 경우, 기준 시간 동안 기준 임계값보다 큰 유사도를 유지하는 측정 항목을 선택하는 단계; 및
    상기 선택된 측정 항목에 대한 초음파 영상을 출력 초음파 영상으로 제공하는 단계를 포함하는,
    초음파 영상 제공 방법.
  14. 제13 항에 있어서,
    상기 선택된 측정 항목에 대한 상기 기준 시간을, 상기 선택된 측정 항목의 상기 유사도가 유지된 스캔 시간에 기초하여 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  15. 제14 항에 있어서,
    상기 선택된 측정 항목에 대한 상기 기준 임계값을, 상기 선택된 측정 항목의 상기 유사도에 기초하여 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  16. 제15 항에 있어서,
    상기 기준 임계값은 갱신 전 시점 및 갱신 후 시점 모두에서 상기 디폴트 임계값보다 작은,
    초음파 영상 제공 방법.
  17. 제13 항에 있어서,
    상기 측정 항목들 각각에 대한 상기 기준 시간 및 상기 기준 임계값은 서로 다른,
    초음파 영상 제공 방법.
  18. 제13 항에 있어서,
    상기 선택된 측정 항목에 대해서, 상기 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  19. 제13 항에 있어서,
    상기 제공된 출력 초음파 영상에 대해서, 상기 선택된 측정 항목의 유사도가 상기 디폴트 임계값보다 낮음을 가리키는 인디케이터를 제공하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  20. 초음파 영상들에서, 적어도 하나 이상의 측정 항목들에 대한 복수의 유사도들을 측정하는 단계;
    상기 복수의 유사도들과 대응하는 복수의 디폴트 임계값들을 각각 비교하는 단계;
    제1 디폴트 임계값보다 큰 제1 유사도를 갖는 제1 측정 항목에 대한 제1 초음파 영상을 제1 출력 초음파 영상으로 제공하는 단계; 및
    상기 제1 초음파 영상이 제공된 이후, 기준 시간 동안 기준 임계값보다 크고 제2 디폴트 임계값보다 작은 제2 유사도를 유지하는 제2 측정 항목에 대한 제2 초음파 영상을 제2 출력 초음파 영상으로 제공하는 단계를 포함하는,
    초음파 영상 제공 방법.
  21. 제20 항에 있어서,
    상기 제2 측정 항목에 대한 상기 기준 시간을, 상기 제2 유사도가 유지된 스캔 시간에 기초하여 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  22. 제21 항에 있어서,
    상기 제2 측정 항목에 대한 상기 기준 임계값을, 상기 제2 유사도에 기초하여 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  23. 제22 항에 있어서,
    상기 기준 임계값은 갱신 전 시점 및 갱신 후 시점 모두에서 상기 디폴트 임계값보다 작은,
    초음파 영상 제공 방법.
  24. 제20 항에 있어서,
    상기 측정 항목들 각각에 대한 상기 기준 시간 및 상기 기준 임계값은 서로 다른,
    초음파 영상 제공 방법.
  25. 제20 항에 있어서,
    상기 제1 측정 항목에 대해서, 상기 제1 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 제1 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  26. 제25 항에 있어서,
    상기 제2 측정 항목에 대해서, 상기 제2 유사도보다 더 높은 유사도를 갖는 초음파 영상이 추가되는 경우, 상기 제2 출력 초음파 영상을 상기 추가된 초음파 영상으로 갱신하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  27. 제20 항에 있어서,
    상기 제1 초음파 영상에 대해서, 상기 제1 유사도가 상기 제1 디폴트 임계값보다 높음을 가리키는 제1 인디케이터를 제공하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  28. 제27 항에 있어서,
    상기 제2 초음파 영상에 대해서, 상기 제2 유사도가 상기 제2 디폴트 임계값보다 낮음을 가리키는 제2 인디케이터를 제공하는 단계를 더 포함하는,
    초음파 영상 제공 방법.
  29. 입력 레이어 및 출력 레이어 사이에 적어도 하나의 히든 레이어(hidden layer)를 포함하는 러닝 알고리즘(learning algorithm)이 기록된 기록 매체에 있어서,
    상기 러닝 알고리즘은:
    초음파 영상들을 상기 입력 레이어의 제1 입력들로서 수신하는 단계;
    상기 초음파 영상들 중 제1 기준 시간 동안 유사도를 유지한 초음파 영상들에 대한 정보를 상기 입력 레이어의 제2 입력으로서 수신하는 단계; 및
    상기 제1 입력들 및 상기 제2 입력에 기초하여, 상기 초음파 영상들이 적어도 하나 이상의 측정 항목들을 포함하는 지 여부를 상기 출력 레이어의 제1 출력으로서 제공하는 단계를 포함하는,
    러닝 알고리즘이 기록된 기록 매체.
  30. 제29 항에 있어서,
    상기 제1 기준 시간은 복수의 사용자들 중 제1 사용자에 대한 정보이고,
    상기 러닝 알고리즘은, 상기 제1 출력에 대해서 상기 제1 사용자의 제1 리워드 정보(first reward information)를 피드백받아 상기 히든 레이어를 수정하는 단계를 더 포함하는,
    러닝 알고리즘이 기록된 기록 매체.
  31. 제30 항에 있어서,
    상기 러닝 알고리즘은:
    상기 초음파 영상들 중 제2 기준 시간 동안 유사도를 유지한 초음파 영상들에 대한 정보를 상기 입력 레이어의 제3 입력으로서 수신하는 단계; 및
    상기 제1 입력들 및 상기 제3 입력에 기초하여, 상기 초음파 영상들이 상기 적어도 하나 이상의 측정 항목들을 포함하는 지 여부를 상기 출력 레이어의 제2 출력으로서 제공하는 단계를 더 포함하는,
    러닝 알고리즘이 기록된 기록 매체.
  32. 제31 항에 있어서,
    상기 제2 기준 시간은 상기 복수의 사용자들 중 제2 사용자에 대한 정보이고,
    상기 러닝 알고리즘은, 상기 제2 출력에 대해서 상기 제2 사용자의 제2 리워드 정보를 피드백받아 상기 히든 레이어를 수정하는 단계를 더 포함하는,
    러닝 알고리즘이 기록된 기록 매체.
  33. 제29 항에 있어서,
    상기 유사도가 유지된 스캔 시간에 기초하여, 상기 제1 기준 시간이 갱신되는 단계를 더 포함하는,
    러닝 알고리즘이 기록된 기록 매체.
  34. 제29 항에 있어서,
    상기 유사도를 유지한 초음파 영상들 중 마지막 영상이 입력된 시점과 첫 번째 영상이 입력된 시점의 차이에 기초하여, 상기 제1 기준 시간이 갱신되는 단계를 더 포함하는,
    러닝 알고리즘이 기록된 기록 매체.
PCT/KR2021/011063 2021-02-16 2021-08-19 초음파 영상 제공 방법 및 그 러닝 알고리즘 WO2022177083A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21926882.8A EP4295779A1 (en) 2021-02-16 2021-08-19 Ultrasonic image providing method and learning algorithm thereof
CN202180091834.6A CN116801813A (zh) 2021-02-16 2021-08-19 超声图像提供方法及其学习算法
US18/271,118 US20240074736A1 (en) 2021-02-16 2021-08-19 Ultrasonic image providing method and learning algorithm thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210020741A KR20220117074A (ko) 2021-02-16 2021-02-16 초음파 영상 제공 방법 및 그 러닝 알고리즘
KR10-2021-0020741 2021-02-16

Publications (1)

Publication Number Publication Date
WO2022177083A1 true WO2022177083A1 (ko) 2022-08-25

Family

ID=82931165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011063 WO2022177083A1 (ko) 2021-02-16 2021-08-19 초음파 영상 제공 방법 및 그 러닝 알고리즘

Country Status (5)

Country Link
US (1) US20240074736A1 (ko)
EP (1) EP4295779A1 (ko)
KR (1) KR20220117074A (ko)
CN (1) CN116801813A (ko)
WO (1) WO2022177083A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6402693B1 (en) * 2000-01-13 2002-06-11 Siemens Medical Solutions Usa, Inc. Ultrasonic transducer aligning system to replicate a previously obtained image
KR100527315B1 (ko) * 2001-11-16 2005-11-09 주식회사 메디슨 지식 기반 조정 수단을 이용한 초음파 영상 진단 시스템
WO2009013871A1 (ja) * 2007-07-20 2009-01-29 Panasonic Corporation 超音波診断装置
JP2013198635A (ja) * 2012-03-26 2013-10-03 Masahiko Nakada 超音波診断装置
JP2014171755A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6402693B1 (en) * 2000-01-13 2002-06-11 Siemens Medical Solutions Usa, Inc. Ultrasonic transducer aligning system to replicate a previously obtained image
KR100527315B1 (ko) * 2001-11-16 2005-11-09 주식회사 메디슨 지식 기반 조정 수단을 이용한 초음파 영상 진단 시스템
WO2009013871A1 (ja) * 2007-07-20 2009-01-29 Panasonic Corporation 超音波診断装置
JP2013198635A (ja) * 2012-03-26 2013-10-03 Masahiko Nakada 超音波診断装置
JP2014171755A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
KR20220117074A (ko) 2022-08-23
US20240074736A1 (en) 2024-03-07
CN116801813A (zh) 2023-09-22
EP4295779A1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
WO2016032298A1 (en) Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus
WO2016182166A1 (en) Method of displaying elastography image and ultrasound diagnosis apparatus performing the method
WO2015130070A2 (en) Ultrasound diagnostic apparatus and method of operating the same
WO2015102474A1 (en) Ultrasound diagnostic apparatus, ultrasound image capturing method, and computer-readable recording medium
WO2016186279A1 (en) Method and apparatus for synthesizing medical images
WO2015080522A1 (en) Method and ultrasound apparatus for marking tumor on ultrasound elastography image
WO2016027959A1 (en) Method, apparatus, and system for outputting medical image representing object and keyboard image
WO2012134106A2 (ko) 의료 영상 정보 저장과 표시 방법 및 그 장치
WO2015076508A1 (en) Method and apparatus for displaying ultrasound image
EP3073930A1 (en) Method and ultrasound apparatus for marking tumor on ultrasound elastography image
WO2015141913A1 (en) Ultrasonic diagnostic apparatus and method of operating the same
WO2018092993A1 (ko) 초음파 진단 장치 및 그 동작 방법
WO2017215354A1 (zh) 测量仪数据存储方法和装置
WO2014208950A1 (en) Method and apparatus for managing medical data
WO2017179782A1 (ko) 초음파 진단 장치 및 그 제어 방법
WO2015002400A1 (en) Ultrasonic diagnostic apparatus and method of operating the same
WO2022177083A1 (ko) 초음파 영상 제공 방법 및 그 러닝 알고리즘
WO2017135500A1 (ko) 대상체의 속도를 출력하는 방법 및 이를 위한 초음파 진단 장치
WO2019039697A1 (en) ULTRASONIC DIAGNOSTIC APPARATUS AND METHOD OF OPERATION
WO2016093453A1 (en) Ultrasound diagnostic apparatus and method of operating the same
EP3197366A1 (en) Ultrasound image processing method and ultrasound imaging apparatus thereof
WO2015137616A1 (en) Medical diagnostic apparatus and operating method thereof
WO2021182726A1 (ko) 초음파 진단 장치 및 그 동작방법
EP3672492A1 (en) Ultrasound diagnosis apparatus and method of operating the same
WO2020162683A1 (ko) 사용자 프리셋을 제공하는 초음파 진단 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21926882

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18271118

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180091834.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021926882

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021926882

Country of ref document: EP

Effective date: 20230918